JP5595207B2 - Medical image display device - Google Patents

Medical image display device Download PDF

Info

Publication number
JP5595207B2
JP5595207B2 JP2010224468A JP2010224468A JP5595207B2 JP 5595207 B2 JP5595207 B2 JP 5595207B2 JP 2010224468 A JP2010224468 A JP 2010224468A JP 2010224468 A JP2010224468 A JP 2010224468A JP 5595207 B2 JP5595207 B2 JP 5595207B2
Authority
JP
Japan
Prior art keywords
projection
image
projection image
displayed
image display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010224468A
Other languages
Japanese (ja)
Other versions
JP2012075728A5 (en
JP2012075728A (en
Inventor
修次 岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Healthcare Manufacturing Ltd
Original Assignee
Hitachi Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Medical Corp filed Critical Hitachi Medical Corp
Priority to JP2010224468A priority Critical patent/JP5595207B2/en
Publication of JP2012075728A publication Critical patent/JP2012075728A/en
Publication of JP2012075728A5 publication Critical patent/JP2012075728A5/ja
Application granted granted Critical
Publication of JP5595207B2 publication Critical patent/JP5595207B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Nuclear Medicine (AREA)
  • Image Generation (AREA)

Description

この発明は、MRI装置、X線CT装置等の医用画像診断装置で撮影した3次元ボリュームデータを表示する医用画像表示装置及びこれを用いた投影像作成方法に係り、特に、該3次元ボリュームデータの投影像を好適に作成する技術に関する。   The present invention relates to a medical image display device that displays three-dimensional volume data captured by a medical image diagnostic apparatus such as an MRI apparatus or an X-ray CT apparatus, and a projection image creation method using the same, and more particularly, the three-dimensional volume data It is related with the technique which produces the projection image of (2) suitably.

MRI装置、X線CT装置等の医用画像診断装置では、被検体の断層像を撮影することができる。更に、複数の断層像をスライス面に垂直な方向に積み重ねることにより3次元ボリュームデータを得ることが可能である。このような3次元ボリュームデータは、通常投影像に変換されてから画面に表示される。   A medical image diagnostic apparatus such as an MRI apparatus or an X-ray CT apparatus can take a tomographic image of a subject. Furthermore, it is possible to obtain three-dimensional volume data by stacking a plurality of tomographic images in a direction perpendicular to the slice plane. Such three-dimensional volume data is displayed on the screen after being converted into a normal projection image.

3次元ボリュームデータを投影する手法として、一般的に光線軌跡法がよく知られている。この方法では、3次元ボリュームデータと2次元平面(投影面)を3次元空間に並べて配置し、2次元平面から3次元画像データに向かって仮想的な光線を投射し、光線上にある3次元ボリュームデータ中から所定の値の画素を用いて、2次元平面上の対応する画素の値とする。その際、光線上の画素のうち最大輝度値を選択して投影する手法が最大値投影法(MIP:Maximum Intensity Projection)、最小輝度値を選択して投影する手法が最小値投影法であり、描出しようとする組織に応じて適宜選択される。また3次元ボリュームデータの各画素に不透明度を与え、通過する光の量に基いて投影像を構成するボリュームレンダリング法などの手法もある。   The ray trajectory method is generally well known as a method for projecting three-dimensional volume data. In this method, 3D volume data and a 2D plane (projection plane) are arranged in a 3D space, and a virtual ray is projected from the 2D plane to the 3D image data. A pixel having a predetermined value from the volume data is used as the value of the corresponding pixel on the two-dimensional plane. At that time, the method of selecting and projecting the maximum luminance value among the pixels on the light ray is the maximum value projection method (MIP: Maximum Intensity Projection), and the method of selecting and projecting the minimum luminance value is the minimum value projection method. It is appropriately selected according to the tissue to be drawn. There is also a technique such as a volume rendering method in which opacity is given to each pixel of three-dimensional volume data and a projection image is formed based on the amount of light passing therethrough.

ここで、投影像を生成する場合に、3次元ボリュームデータの全てを投影しようとすると、脂肪領域等の必要の無い領域まで含んで投影されてしまい、特に、医療画像であれば、診断しにくい投影像となるか、又は、誤診を招く危険性がある。そこで、必要な領域のみを投影対象とするために、投影対象領域を制限して所望の領域のみ選択して(クリッピングという。)、その制限された領域(クリッピング領域)に対して投影処理を行って投影像を得ることが行われている(例えば、特許文献1のステップ705)。   Here, when generating a projection image, if all of the three-dimensional volume data is to be projected, it will be projected including areas that are not necessary, such as fat areas, and it is particularly difficult to diagnose a medical image. There is a risk of becoming a projected image or causing misdiagnosis. Therefore, in order to target only the necessary area, the projection area is limited and only a desired area is selected (referred to as clipping), and projection processing is performed on the limited area (clipping area). Thus, a projection image is obtained (for example, step 705 of Patent Document 1).

特開2006−340939号公報JP 2006-340939

しかしながら、より具体的に特許文献1では、クリッピング領域の範囲をAX(アクシャル)、COR(コロナル)、SAG(サジタル)画像上にROIで指定して、更にクリッピング領域内の投影の方向をアイコンで示された方向ベクトル(特許文献1の図3の301a〜301c)で指定していた。この場合、該指定した方向の画像を投影像として特許文献1の図4の画面右下の領域に表示する際に、読影者が観察の対象とする領域(例えば目等)が必ずしも画面右下の領域の中央に表示されず見にくいという問題があった。   However, more specifically, in Patent Document 1, the range of the clipping region is designated by ROI on the AX (Axial), COR (Coronal), and SAG (Sagittal) images, and the direction of projection in the clipping region is further indicated by an icon. It was specified by the indicated direction vector (301a to 301c in FIG. 3 of Patent Document 1). In this case, when the image in the designated direction is displayed as a projected image in the lower right area of the screen in FIG. There was a problem that it was difficult to see because it was not displayed in the center of the area.

そこで本発明は、上記課題を解決するためになされたものであり、投影領域と投影中心を簡便に設定可能な医用画像表示装置及びこれを用いた投影像生成方法を提供することを目的とする。   Accordingly, the present invention has been made to solve the above-described problems, and an object thereof is to provide a medical image display apparatus capable of easily setting a projection area and a projection center and a projection image generation method using the medical image display apparatus. .

上記課題を解決するために、本発明によれば、3次元ボリュームデータに対し第1の方向から投影して第1の投影像を生成する第1投影像生成手段と、前記第1の投影像上に、前記3次元ボリュームデータに対し第2の投影像を生成する際の第2の方向を指標として入力する入力手段と、前記指標に基づいて前記第2の投影像を生成する第2投影像生成手段と、前記第1の投影像と第2の投影像を表示する表示手段を備えた医用画像表示装置において、前記指標は、前記3次元ボリュームデータ内での位置情報を含み、前記第2投影像生成手段は、前記第2の投影像を、前記位置情報を投影中心として生成することを特徴とする医用画像表示装置が提供される。   In order to solve the above problems, according to the present invention, first projection image generation means for generating a first projection image by projecting from a first direction onto three-dimensional volume data, and the first projection image An input means for inputting, as an index, a second direction when generating a second projection image for the three-dimensional volume data, and a second projection for generating the second projection image based on the index In the medical image display device including an image generation unit and a display unit that displays the first projection image and the second projection image, the index includes position information in the three-dimensional volume data, and A two-projection image generation unit is provided with a medical image display device that generates the second projection image with the position information as a projection center.

また、前記表示手段は、前記投影中心となる位置が、画面上で前記第2の投影像が表示される領域の中央になるようにして、前記第2の投影像を表示することを特徴とする医用画像表示装置が提供される。   Further, the display means displays the second projection image such that the position serving as the projection center is the center of the area where the second projection image is displayed on the screen. A medical image display device is provided.

また、前記表示手段は、矢印で前記指標を表示することを特徴とする医用画像表示装置が提供される。   In addition, a medical image display device is provided in which the display means displays the index with an arrow.

また、前記指標は前記第2の投影像を生成する領域情報を含むことを特徴とする医用画像表示装置が提供される。   The medical image display apparatus is characterized in that the index includes area information for generating the second projection image.

また、前記表示手段は、矢印の長さで前記領域情報の奥行きを表示することを特徴とする医用画像表示装置が提供される。   Further, a medical image display device is provided in which the display means displays the depth of the area information with the length of an arrow.

また、前記表示手段は、ROIで前記領域情報の奥行きと幅を表示することを特徴とする医用画像表示装置が提供される。   Further, there is provided a medical image display device characterized in that the display means displays the depth and width of the region information by ROI.

また、前記入力手段は、画面上で矢印を移動させることにより、前記投影中心を移動させることを特徴とする医用画像表示装置が提供される。   Further, there is provided a medical image display device characterized in that the input means moves the projection center by moving an arrow on the screen.

また、前記表示手段は、前記第1の投影像の画面上のROI内で矢印を移動させることにより、前記第2の投影像の前記第2の投影像の画面上での位置を移動させることを特徴とする医用画像表示装置が提供される。   Further, the display means moves the position of the second projection image on the screen by moving an arrow within the ROI on the screen of the first projection image. A medical image display device characterized by the above is provided.

また、前記第1の投影像は、前記被検体の任意の方向に投影された少なくとも1枚の投影像であることを特徴とする医用画像表示装置が提供される。   In addition, there is provided a medical image display device, wherein the first projection image is at least one projection image projected in an arbitrary direction of the subject.

また、前記第1の投影像は、前記被検体の直交する3方向について投影された3枚の投影像であることを特徴とする医用画像表示装置が提供される。   In addition, the medical image display device is characterized in that the first projected image is three projected images projected in three orthogonal directions of the subject.

また、3次元ボリュームデータに対し第1の方向から投影して第1の投影像を生成する工程と、前記第1の投影像上に、前記3次元ボリュームデータに対し第2の投影像を生成する際の第2の方向を指標として入力する工程と、前記指標に基づいて前記第2の投影像を生成する工程と、前記第1の投影像と第2の投影像を表示する工程とを備えた投影像作成方法において、 前記指標は、前記3次元ボリュームデータ内での位置情報を含み、前記第2の投影像は、前記位置情報を投影中心として生成されることを特徴とする投影像作成方法が提供される。   In addition, the first projection image is generated by projecting the three-dimensional volume data from the first direction, and the second projection image is generated for the three-dimensional volume data on the first projection image. A step of inputting the second direction as an index, a step of generating the second projection image based on the index, and a step of displaying the first projection image and the second projection image In the projection image creation method provided, the index includes position information in the three-dimensional volume data, and the second projection image is generated with the position information as a projection center. A creation method is provided.

また、前記表示する工程は、前記投影中心となる位置が、画面上で前記第2の投影像が表示される領域の中央になるようにして、前記第2の投影像を表示することを特徴とする投影像作成方法が提供される。   In the display step, the second projection image is displayed such that a position serving as the projection center is a center of a region where the second projection image is displayed on the screen. A projection image creation method is provided.

また、前記表示する工程は、矢印で前記指標を表示することを特徴とする投影像作成方法が提供される。   In the display step, the projected image is generated by displaying the index with an arrow.

また、前記指標は前記第2の投影像を生成する領域情報を含むことを特徴とする投影像作成方法が提供される。   Further, there is provided a projection image creating method, wherein the index includes area information for generating the second projection image.

また、前記表示する工程は、矢印の長さで前記領域情報の奥行きを表示することを特徴とする投影像作成方法が提供される。   In the display step, the depth of the area information is displayed by the length of an arrow.

本発明によれば、投影領域と投影中心を簡便に設定可能な医用画像表示装置及びこれを用いた投影像生成方法を提供することが可能となる。   ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to provide the medical image display apparatus which can set a projection area | region and a projection center simply, and a projection image production | generation method using the same.

本発明に係る医用画像表示装置の一例の全体構成を示す図The figure which shows the whole structure of an example of the medical image display apparatus which concerns on this invention 画像表示装置の制御系に関わる構成の一実施形態を示す図The figure which shows one Embodiment of the structure in connection with the control system of an image display apparatus 3次元ボリュームデータの投影像を生成する際の、投影方向と投影像の表示例を示す図The figure which shows the example of a display of a projection direction and a projection image at the time of generating a projection image of three-dimensional volume data 本発明の実施例1の投影像生成方法の処理フローを示すフローチャート5 is a flowchart showing a processing flow of the projection image generation method according to the first embodiment of the present invention. 本発明の実施例1において3次元ボリュームデータの投影像を生成する際の、投影方向と投影中心と投影像の表示例を示す図The figure which shows the example of a display of a projection direction, a projection center, and a projection image at the time of producing | generating the projection image of three-dimensional volume data in Example 1 of this invention 直交3方向の投影像上に表示されたベクトルと実際の投影方向である3次元のベクトルの関係を示す図The figure which shows the relationship between the vector which is displayed on the projection image of three orthogonal directions and the three-dimensional vector which is the actual projection direction 本発明の実施例2の投影像生成方法の処理フローを示すフローチャート7 is a flowchart showing a processing flow of a projection image generation method according to the second embodiment of the present invention. 本発明の実施例2において3次元ボリュームデータの投影像を生成する際の、投影方向と投影範囲と投影像の表示例を示す図The figure which shows the example of a display of a projection direction, a projection range, and a projection image at the time of producing | generating the projection image of three-dimensional volume data in Example 2 of this invention. 本発明の3次元ボリュームデータの投影像を生成する際の、投影範囲の表示例を示す図The figure which shows the example of a display of the projection range at the time of producing | generating the projection image of the three-dimensional volume data of this invention AX方向投影像のみを第1の投影像(左側)とする例を示す図The figure which shows the example which makes only AX direction projection picture 1st projection picture (left side)

以下、本発明に係る医用画像表示装置及びこれを用いた投影像生成方法の実施例を図面を参照して説明する。
図1は、本発明に係る医用画像表示装置の一例の全体構成を示す図であり、この医用画像表示装置(以下、単に画像表示装置ともいう)100は、MRI装置、X線CT装置などの撮像装置200から送られる画像データを入力し、画像処理し、後述するディスプレイ104へ画像として表示させるとともに、操作者への操作手段を提供するためのGUIを後述するディスプレイ104へ表示させる制御系である画像処理部(CPU)101と、画像やその他のデータを一時的に記憶するメモリ102と、撮像装置200から送られる画像や画像処理部101で作成された投影像、GUIのためのテンプレート等の画像を保存する磁気ディスク等の記憶装置103と、GUI及び画像を表示するディスプレイ104と、ディスプレイに表示されたGUIの操作を行うポインティングデバイス等の入力装置105とを備えている。
Embodiments of a medical image display apparatus and a projection image generation method using the same according to the present invention will be described below with reference to the drawings.
FIG. 1 is a diagram showing an overall configuration of an example of a medical image display apparatus according to the present invention, and this medical image display apparatus (hereinafter also simply referred to as an image display apparatus) 100 includes an MRI apparatus, an X-ray CT apparatus, and the like. A control system that inputs image data sent from the imaging apparatus 200, processes the image, displays it as an image on the display 104, which will be described later, and displays a GUI for providing operation means for the operator on the display 104, which will be described later An image processing unit (CPU) 101, a memory 102 for temporarily storing images and other data, images sent from the imaging device 200, projection images created by the image processing unit 101, templates for GUI, etc. A storage device 103 such as a magnetic disk for storing the image, a display 104 for displaying the GUI and the image, and an input device 105 such as a pointing device for operating the GUI displayed on the display.

本実施例においては、撮像装置200としてMRI装置の場合を説明する。ただし、MRI装置に限定されず、X線CT装置や、陽電子撮像装置(PET)等の他の医用画像診断装置にも本発明は適用できる。図示しないが、一般的な構成として垂直方向或いは水平方向に均一な磁場を発生する静磁場磁石と、静磁場に対しX、Y及びZの3軸方向に傾斜磁場を付与する3組の傾斜磁場発生コイルと、被検体に高周波磁場を照射するRF照射コイルと、被検体から発生するNMR信号を検出するRF受信コイルと、NMR信号を信号処理する信号処理系と、傾斜磁場発生コイルおよびRF照射コイルの動作を所定の撮像シーケンスに従い制御するシーケンサと、信号処理系及びシーケンサに指令を送りその動作を制御するとともに撮像に必要な種々の計算を行う制御系とを備えている。画像表示装置100は、撮像装置(MRI装置)200と一体の画像診断装置の一部であってもよいし、撮像装置200とケーブル或いは無線で接続された独立の表示装置であってもよい。画像診断装置の一部である場合には、上記画像処理部101は画像診断装置が備える制御系(装置の制御や各種演算を行う部分)をその機能として備えても良い。   In this embodiment, the case where the imaging apparatus 200 is an MRI apparatus will be described. However, the present invention is not limited to the MRI apparatus, and the present invention can also be applied to other medical image diagnostic apparatuses such as an X-ray CT apparatus and a positron imaging apparatus (PET). Although not shown, as a general configuration, a static magnetic field magnet that generates a uniform magnetic field in the vertical or horizontal direction, and three sets of gradient magnetic fields that apply gradient magnetic fields in the X, Y, and Z directions to the static magnetic field Generating coil, RF irradiation coil for irradiating a subject with a high-frequency magnetic field, RF receiving coil for detecting an NMR signal generated from the subject, a signal processing system for processing the NMR signal, a gradient magnetic field generating coil and RF irradiation A sequencer for controlling the operation of the coil according to a predetermined imaging sequence, and a control system for controlling the operation by sending commands to the signal processing system and the sequencer and performing various calculations necessary for imaging. The image display apparatus 100 may be a part of an image diagnostic apparatus integrated with the imaging apparatus (MRI apparatus) 200, or may be an independent display apparatus connected to the imaging apparatus 200 via a cable or wirelessly. In the case of being a part of an image diagnostic apparatus, the image processing unit 101 may include a control system (a part for controlling the apparatus and performing various calculations) included in the image diagnostic apparatus as its function.

図2は、上述した画像表示装置の制御系に関わる構成の一実施形態を示す図である。本実施形態において、制御系は、ディスプレイ104への表示の諧調、縮尺、色等を制御する表示制御部111、操作者の操作に必要なGUIをディスプレイ104へ表示するとともに、GUI上の操作を介して操作者の指令を受付けるGUI部112、画像データに投影処理、合成処理等の画像処理を施すとともに、GUI部112を介して入力される指令を受け取り、画像データの座標変換等の計算を行う演算部113、およびこれら各部の動作を総括的に制御する主制御部110を有している。   FIG. 2 is a diagram showing an embodiment of a configuration related to the control system of the image display apparatus described above. In this embodiment, the control system displays the display control unit 111 that controls the gradation, scale, color, and the like of the display on the display 104, the GUI necessary for the operation of the operator, and the operation on the GUI. GUI unit 112 that accepts an operator's command via image processing, and performs image processing such as projection processing and composition processing on image data, and also receives commands input via GUI unit 112, and performs calculations such as coordinate conversion of image data A calculation unit 113 that performs the operation and a main control unit 110 that comprehensively controls operations of these units are provided.

画像表示装置がMRI装置の一部である場合には、さらに制御系は、所定の撮像シーケンスに従いMRI装置200のRF送信系、傾斜磁場発生系などを制御する撮像制御部等を備えている。   When the image display apparatus is a part of the MRI apparatus, the control system further includes an imaging control unit that controls the RF transmission system, the gradient magnetic field generation system, and the like of the MRI apparatus 200 according to a predetermined imaging sequence.

次に、以上のような構成の画像表示装置100及びこれを用いた投影像生成方法の実施例1   Next, Embodiment 1 of the image display device 100 configured as described above and a projection image generation method using the image display device 100

を図3及び図4のフローチャート、図5、図6を用いて説明する。図3は、ディスプレイ104上の画像表示領域を4つの領域に分割して、3次元ボリュームデータを直交3軸方向(AX(アキシャル)方向、COR(コロナル)方向、及びSAG(サジタル)方向)からそれぞれ投影して得られた3つの2次元画像を3つの分割領域にそれぞれ表示し、残る1領域に、3次元ボリュームデータに対して所望の投影方向からの投影の処理を行った結果の画像を表示する例を示している。 This will be described with reference to the flowcharts of FIGS. 3 and 4 and FIGS. 5 and 6. FIG. FIG. 3 shows that the image display area on the display 104 is divided into four areas, and three-dimensional volume data is obtained from three orthogonal axes (AX (axial) direction, COR (coronal) direction, and SAG (sagittal) direction). Three two-dimensional images obtained by projection are displayed in three divided areas, respectively, and the remaining one area is the result of projection processing from the desired projection direction to the three-dimensional volume data. An example of display is shown.

これらの投影処理は、CPU101が磁気ディスク103に記録された所定のプログラムを実行することによって行われる。その際、CPU101は、磁気ディスク103からメモリ102に被検体の3次元ボリュームデータを取得する取得手段により得られた3次元ボリュームデータを読み出し、そのデータに対して所定のプログラムに従って投影処理等を行い、その結果をディスプレイ104に表示する。   These projection processes are performed by the CPU 101 executing a predetermined program recorded on the magnetic disk 103. At that time, the CPU 101 reads out the 3D volume data obtained by the acquisition means for acquiring the 3D volume data of the subject from the magnetic disk 103 to the memory 102, and performs a projection process or the like on the data according to a predetermined program. The result is displayed on the display 104.

より具体的に図3(a)は、互いに直交する3つの投影方向である、AX方向、COR方向、及びSAG方向のそれぞれ及び、これら3つの方向とは同じか異なる所望の投影方向を示している。この所望の投影方向は、後述するように操作者によって設定される。   More specifically, FIG. 3 (a) shows three projection directions orthogonal to each other, each of the AX direction, the COR direction, and the SAG direction, and a desired projection direction that is the same as or different from these three directions. Yes. The desired projection direction is set by the operator as will be described later.

図3(b)は、4分割された領域のうちの左下部にAX方向投影像を、左上部にCOR方向投影像を、右上部にSAG方向投影像を表示し、右下部に所望の投影方向(より具体的には、方向がCOR方向と同じで、投影中心が被検体の左目となる位置からの方向)の投影像を表示している例を示している。   Figure 3 (b) shows the AX direction projection image at the lower left of the four divided areas, the COR direction projection image at the upper left, the SAG direction projection image at the upper right, and the desired projection at the lower right. An example is shown in which a projected image in a direction (more specifically, a direction from the position where the direction is the same as the COR direction and the projection center is the left eye of the subject) is displayed.

本実施例は、前記右下部に表示される所望の投影方向からの投影像の方向の指定を、直交3方向投影像上にそれぞれベクトルで表示し、それぞれのベクトルの方向を入力装置105を介して指定し、それらの3つのベクトルの合成ベクトルを所望の投影方向とすることによって、行なうことができる。そして、このような操作によって指定された方向に投影して得られた画像が右下部に表示される。この際に該右下部の表示更新は、直交3方向投影像上のベクトルが変更される度に行われるようにしても良く、投影方向が最終的に確定した後にその方向に投影して得られた投影像を表示するようにしてもよい。   In this embodiment, designation of the direction of the projected image from the desired projection direction displayed on the lower right is displayed as a vector on the orthogonal three-direction projected image, and the direction of each vector is input via the input device 105. And the combined vector of these three vectors is set as a desired projection direction. Then, an image obtained by projecting in the direction designated by such an operation is displayed in the lower right. At this time, the display update at the lower right may be performed every time the vector on the orthogonal three-direction projection image is changed, and is obtained by projecting in that direction after the projection direction is finally determined. The projected image may be displayed.

次に本発明の実施例1に係わる投影像生成方法の手順を図4のフローチャートを用い説明する。以下、このフローチャートをステップ毎に説明する。ただし、このフローチャートで示された処理フローは、図1におけるCPU101が、図1における磁気ディスク103に保存されているプログラムを読み出して起動することによって実行される。   Next, the procedure of the projection image generation method according to the first embodiment of the present invention will be described with reference to the flowchart of FIG. Hereinafter, this flowchart will be described step by step. However, the processing flow shown in this flowchart is executed by the CPU 101 in FIG. 1 reading and starting a program stored in the magnetic disk 103 in FIG.

(ステップ401)
ステップ401では、ユーザによる入力の指令に基づいてCPU101が磁気ディスク103に予め格納されている被検体の3次元ボリュームデータを取得する取得手段により得られた3次元ボリュームデータを読み込む。あるいは磁気ディスク103に記憶されているデータが複数のスライス画像の場合には、予め格納されている複数のスライス画像データをメモリ102上に読み込んで、3次元ボリュームデータを構築する。
(Step 401)
In step 401, the CPU 101 reads the three-dimensional volume data obtained by the obtaining unit that obtains the three-dimensional volume data of the subject stored in advance on the magnetic disk 103 based on a command input by the user. Alternatively, when the data stored in the magnetic disk 103 is a plurality of slice images, the plurality of slice image data stored in advance is read onto the memory 102 to construct three-dimensional volume data.

(ステップ402)
ステップ402では、ユーザによる入力の指令に基づいてCPU101は基準方向における投影像を前記3次元ボリュームデータに対して第1の方向から第1の投影像を生成する第1投影像生成手段を用いて投影して作成してUIに表示する。より具体的には、図5に示すように、直交3方向(AX方向, COR方向, 及びSAG方向)を基準方向として、それらの方向毎に3次元ボリュームデータの投影像を生成して表示する。各基準方向投影像は、図5に示すように、ディスプレイ104上の4分割された表示領域における各分割領域(より具体的にはAX方向投影像を左下、COR方向投影像を左上、SAG方向投影像を右上)にそれぞれに表示される。
(Step 402)
In step 402, based on an input command from the user, the CPU 101 uses a first projection image generation unit that generates a first projection image from a first direction with respect to the three-dimensional volume data as a projection image in a reference direction. Project and create and display on UI. More specifically, as shown in FIG. 5, with three orthogonal directions (AX direction, COR direction, and SAG direction) as reference directions, a projection image of 3D volume data is generated and displayed for each of those directions. . As shown in FIG. 5, each reference direction projection image is divided into four divided areas on the display 104 (more specifically, the AX direction projection image is the lower left, the COR direction projection image is the upper left, and the SAG direction. The projected images are displayed in the upper right).

(ステップ403)
ステップ403では、ユーザが右下の分割領域に表示する投影像のための所望とする投影の方向を前記第1の投影像上に、前記3次元ボリュームデータに対し第2の投影像を生成する際の第2の方向を指標として入力する入力手段により設定する。より具体的には直交3方向における投影像上に、所望の方向の投影像を生成するための、方向(指標の1つ)を、ベクトル(矢印)を入力することにより設定する。例えば、図5に示すように、直交3方向の投影像上に表示されたベクトル501の角度をそれぞれ入力装置105を介して入力変更することにより、所望の投影方向を設定する。そして、CPU101は、3つのベクトルを合成した方向を分割領域の右下に表示すべき投影像の投影方向として所望の第4の画像を、前記指標に基づいて前記第2の投影像を生成する第2投影像生成手段により生成する。また、ディスプレイ104は前記第1の投影像と前記第2の投影像を表示する表示手段により、第1の投影像である直交3方向の投影像と第2の投影像である所望の投影方向からの投影像を表示する。
(Step 403)
In step 403, a second projection image is generated for the three-dimensional volume data on the first projection image with a desired projection direction for the projection image to be displayed in the lower right divided region by the user. The second direction is set by an input means for inputting as an index. More specifically, a direction (one of indices) for generating a projection image in a desired direction is set by inputting a vector (arrow) on a projection image in three orthogonal directions. For example, as shown in FIG. 5, a desired projection direction is set by changing the angle of a vector 501 displayed on a projection image in three orthogonal directions via the input device 105, respectively. Then, the CPU 101 generates the second projection image based on the index, using the desired fourth image as the projection direction of the projection image to be displayed at the lower right of the divided region, with the direction in which the three vectors are combined. It is generated by the second projection image generation means. In addition, the display 104 displays the first projection image and the second projection image, and the display unit displays the first projection image and the desired projection direction that is the second projection image in the three orthogonal directions as the first projection image. The projected image from is displayed.

(ステップ404)
ステップ404では、ユーザが所望とする投影中心を設定する。投影中心とは、クリッピングにより被検体の一部領域を投影する際の中心となる座標のことである。例えば、図5に示すように、基準方向の投影像上に表示されたベクトル501をそれぞれ入力装置105を介して移動することにより、所望投影中心502を設定する。具体的にCPU101は、3つのベクトルの中心の座標(×で示されたもの)所望の投影中心とする。すなわち、前記指標は、前記3次元ボリュームデータ内での位置情報を含み、前記第2の投影像は、前記位置情報を投影中心として生成される。
(Step 404)
In step 404, the projection center desired by the user is set. The projection center is a coordinate serving as a center when a partial region of the subject is projected by clipping. For example, as shown in FIG. 5, the desired projection center 502 is set by moving the vectors 501 displayed on the projection image in the reference direction via the input device 105, respectively. Specifically, the CPU 101 sets the coordinates of the centers of the three vectors (shown by x) as a desired projection center. That is, the index includes position information in the three-dimensional volume data, and the second projection image is generated with the position information as a projection center.

(ステップ405)
ステップ405では、CPU101は、ステップ403とステップ404で入力した所望の投影方向と投影中心で3次元ボリュームデータを投影して投影像を生成する。生成した投影像は、例えば図5に示すように、ディスプレイ104上の4分割領域の右下の残りの1領域に表示され、ベクトルの中心で示された被検体上での位置が、該残りの1領域における中央となっている。すなわち、前記表示手段は、前記投影中心となる位置が、画面上で前記第2の投影像が表示される領域の中央になるようにして、前記第2の投影像が表示されている。
(Step 405)
In step 405, the CPU 101 projects three-dimensional volume data with the desired projection direction and projection center input in steps 403 and 404 to generate a projection image. For example, as shown in FIG. 5, the generated projection image is displayed in the remaining one area at the lower right of the four-divided area on the display 104, and the position on the subject indicated by the center of the vector is the remaining area. It is the center in one area. That is, the display means displays the second projection image such that the position serving as the projection center is the center of the area where the second projection image is displayed on the screen.

直交3方向の投影像上に表示されたベクトルと実際の投影方向である3次元のベクトルの関係を図6(a)及び図6(b)を用いて説明する。ただし、図6(a)は図5におけるベクトルの配置例、図6(b)は図6(a)と異なるベクトルの配置例である。図6(a)及び図6(b)によれば、直交3方向の投影像上に表示されたベクトル601は、実際の投影方向を示す3次元のベクトル602を直交3方向の投影像上で表したものとなっている。ユーザが直交3方向の投影像上に表示されたベクトル601を操作することで、実際の投影方向を示す3次元のベクトル602が連動し、投影方向が決定できる。   The relationship between the vector displayed on the projection image in the three orthogonal directions and the three-dimensional vector as the actual projection direction will be described with reference to FIGS. 6 (a) and 6 (b). However, FIG. 6 (a) is an example of vector arrangement in FIG. 5, and FIG. 6 (b) is an example of vector arrangement different from FIG. 6 (a). According to FIG. 6 (a) and FIG. 6 (b), the vector 601 displayed on the projection image in the three orthogonal directions is a three-dimensional vector 602 indicating the actual projection direction on the projection image in the three orthogonal directions. It is what you represent. When the user operates the vector 601 displayed on the projection image in the three orthogonal directions, the three-dimensional vector 602 indicating the actual projection direction is linked to determine the projection direction.

ただし、本実施例では、図5では3次元空間でのベクトルを、投影像上で矢印あるいは点で表示したが、点で示されたものは、ベクトルの方向が投影像の何れか一つと鉛直な場合を示している。ただし、簡略化のため、点を表示しなくても良い。また、ステップ403とステップ404の順番はどちらでもよい。   However, in the present embodiment, in FIG. 5, the vector in the three-dimensional space is displayed as an arrow or a point on the projection image. However, in the case indicated by the point, the direction of the vector is perpendicular to one of the projection images. Shows the case. However, for simplification, it is not necessary to display the points. Further, the order of step 403 and step 404 may be either.

上記実施例によれば、右下部に所望の方向で投影された投影像を生成して表示するために該投影の方向が入力される際に、その投影中心をも入力可能としたので、該所望の方向の投影像を表示する際、所望の位置を真ん中にして表示することができ、操作者の読影の対象とする場所を好適に観察することができる。すなわち、上記実施例によれば、前記入力手段は、画面上で矢印を移動させることにより、前記投影中心を移動させるようになっている。ただし、矢印で示されたものは、長さを持たず、投影中心を示すものとして点だけで示しても良いことは言うまでもない。   According to the above embodiment, when the projection direction is input in order to generate and display a projection image projected in the desired direction on the lower right, the projection center can be input. When a projected image in a desired direction is displayed, the desired position can be displayed in the middle, and the place to be interpreted by the operator can be preferably observed. That is, according to the above embodiment, the input means moves the projection center by moving an arrow on the screen. However, it goes without saying that what is indicated by an arrow does not have a length and may be indicated by only a point as indicating the projection center.

次に、図1及び図2に示された構成を持つ画像表示装置100が可能とする画像表示装置及びこれを用いた投影像生成方法の実施例2を図7のフローチャート及び図8を用いて説明する。ただし、本実施例は、前記指標は前記第2の投影像を生成する領域情報(以下、投影範囲という。)をも含むことを特徴とする実施例である。   Next, an embodiment 2 of the image display apparatus and the projection image generation method using the image display apparatus 100 that can be performed by the image display apparatus 100 having the configuration shown in FIGS. 1 and 2 will be described with reference to the flowchart of FIG. 7 and FIG. explain. However, the present embodiment is an embodiment in which the index includes region information (hereinafter referred to as a projection range) for generating the second projection image.

以下、図7のフローチャートをステップ毎に説明する。   Hereinafter, the flowchart of FIG. 7 will be described step by step.

ステップ701〜ステップ703は、ステップ401〜403と同じであるため説明は省略する。   Steps 701 to 703 are the same as steps 401 to 403, and thus description thereof is omitted.

(ステップ704)
ステップ704で、ユーザが所望とする投影範囲を設定する。投影範囲とは、クリッピングにより被検体の一部の領域を投影する際に投影する空間的領域のことである。例えば、図8に示すように、基準方向の投影像上に表示されたベクトル801の長さあるいは投影範囲を表すROI802の縦横の長さを入力装置105を介して変更することにより、所望投影範囲802を設定する。CPU101は、3つの基準方向の投影像上に表示されたベクトル801の方向あるいは長さあるいはROI802の縦と横で決定される領域を所望投影範囲とする。すなわち、前記表示手段は、矢印の長さで前記領域情報の奥行きを表示している。あるいは、前記表示手段は、ROIで前記領域情報の奥行きと幅を表示している。
(Step 704)
In step 704, a projection range desired by the user is set. The projection range is a spatial region to be projected when projecting a partial region of the subject by clipping. For example, as shown in FIG. 8, a desired projection range can be obtained by changing the length of a vector 801 displayed on the projection image in the reference direction or the vertical and horizontal lengths of the ROI 802 representing the projection range via the input device 105. Set 802. The CPU 101 sets a region determined by the direction or length of the vector 801 displayed on the projection images in the three reference directions or the vertical and horizontal directions of the ROI 802 as a desired projection range. That is, the display means displays the depth of the area information by the length of the arrow. Alternatively, the display means displays the depth and width of the area information by ROI.

(ステップ705)
ステップ705で、システムがステップ703及び704で入力した所望の投影方向と投影範囲で3次元画像データを投影して投影像を生成する。生成した投影像は、例えば図8に示すように、ディスプレイ104上の4分割領域の右下の残りの1領域に表示する。
(Step 705)
In step 705, the system projects the 3D image data in the desired projection direction and projection range input in steps 703 and 704 to generate a projection image. The generated projection image is displayed in the remaining one area at the lower right of the four divided areas on the display 104, for example, as shown in FIG.

本実施例では、図8では3次元空間でのベクトルを、投影像上で矢印あるいは点で表示したが、点で示されたものは、ベクトルの方向が直交3方向の投影像の何れか一つと鉛直な場合を示している。ただし、簡略化のため、点を表示しなくても良い。また、ステップ703とステップ704の順番はどちらでもよい。   In this embodiment, the vector in the three-dimensional space is displayed as an arrow or a point on the projection image in FIG. 8, but the one indicated by the point is one of the projection images in which the vector direction is three orthogonal directions. The vertical case is shown. However, for simplification, it is not necessary to display the points. Also, the order of step 703 and step 704 may be either.

上記実施例によれば、右下部に所望の方向で投影された投影像を生成して表示するために該投影の方向が入力される際に、その投影範囲(投影像を生成する領域情報)をも入力可能としたので、該所望の方向の投影像を表示する際、該範囲を真ん中にして表示することができ、操作者の読影の対象とする場所を好適に観察することができる。また、前記表示手段は、画面上のROI内で矢印を移動させることにより、前記第2の投影像の前記画面上での位置を移動させるようになっていても良い。   According to the above embodiment, when the projection direction is input in order to generate and display the projection image projected in the desired direction on the lower right, the projection range (region information for generating the projection image) Therefore, when displaying the projected image in the desired direction, the range can be displayed in the middle, and the place to be interpreted by the operator can be preferably observed. The display means may be configured to move the position of the second projection image on the screen by moving an arrow within the ROI on the screen.

次に、図1及び図2に示された構成を持つ画像表示装置100が可能とする画像表示装置及びこれを用いた投影像生成方法の実施例3を図9を用いて説明する。   Next, a third embodiment of the image display device and the projection image generation method using the image display device that can be performed by the image display device 100 having the configuration shown in FIGS. 1 and 2 will be described with reference to FIG.

本実施例が、実施例2と異なるのは、ステップ704で、基準方向の投影像上に投影範囲を表示する際の方法についてである。より具体的には、例えば投影範囲の表示例として、図9(a)に示すように3次元的なボリュームを持つ投影範囲の奥行きを投影像上での厚さを濃淡で表現して表示する。例えば、COR方向投影像上に表示されるベクトル901の長さが投影領域902を指定し、AX方向投影像上には投影領域903のように投影範囲の厚さを濃淡で表現される。また、図9(b)に示すように投影範囲を奥側の線と手前側の線まで含めて4本のAX方向投影像上での縦方向の線で表現する。   The present embodiment is different from the second embodiment in a method for displaying a projection range on a projected image in the reference direction in step 704. More specifically, for example, as a display example of the projection range, as shown in FIG. 9 (a), the depth of the projection range having a three-dimensional volume is displayed by expressing the thickness on the projection image with shading. . For example, the length of the vector 901 displayed on the COR direction projection image designates the projection area 902, and the thickness of the projection range is expressed by shading on the AX direction projection image as in the projection area 903. Further, as shown in FIG. 9 (b), the projection range is expressed by vertical lines on the four AX direction projection images including the back line and the near line.

本実施例によれば、実施例2と比して投影範囲の奥行きを把握しやすくなる利点がある
本発明は、要旨を逸脱しない範囲で種々に変更可能である。例えば、実施例1と2では基準となる第1の投影像が直交3方向(AX方向,COR方向,及びSAG方向)で3画像あったが、任意の1方向の少なくとも1画像(1枚の投影像)でも良いことは言うまでもない。図10は、その1つの例であり、AX方向投影像のみを第1の投影像(左側)とする例を示している。ただし、図10の右側は、第2の投影像を示している。
According to the present embodiment, there is an advantage that the depth of the projection range can be easily grasped as compared with the second embodiment. The present invention can be variously changed without departing from the gist. For example, in Examples 1 and 2, the reference first projection image has three images in three orthogonal directions (AX direction, COR direction, and SAG direction), but at least one image in one arbitrary direction (one image) Needless to say, it may be a projected image. FIG. 10 is an example of this, and shows an example in which only the AX direction projection image is the first projection image (left side). However, the right side of FIG. 10 shows a second projection image.

501 ベクトル、502 投影中心   501 vector, 502 projection center

Claims (6)

3次元ボリュームデータをアキシャル、コロナル、サジタルの3方向からそれぞれ投影して3つの第1の投影像を生成する第1投影像生成手段と、
画像表示領域を4つの領域に分割して、その3つの分割領域に、前記3つの第1の投影像を表示する表示手段と、
前記3次元ボリュームデータの所望の立体的範囲に対して所望の投影方向からの投影の処理を行った結果の第2の投影像を生成する第2投影像生成手段と、
前記表示手段は、前記画像表示領域の残る1分割領域に、前記第2の投影像を表示する医用画像表示装置において、
前記第2の投影像を生成する方向と範囲を、前記表示手段により表示された前記3つの第1の投影像上の少なくとも一つに矢印と矩形により表示し、前記立体的範囲の前記画面表示領域の垂直な方向への厚さを、前記矩形内の前記第1の投影像上に濃淡で表現して表示することを特徴とする医用画像表示装置。
First projection image generation means for generating three first projection images by projecting three-dimensional volume data from three directions of axial, coronal, and sagittal, respectively;
Display means for dividing an image display area into four areas and displaying the three first projection images in the three divided areas;
Second projection image generation means for generating a second projection image as a result of performing projection processing from a desired projection direction on a desired three-dimensional range of the three-dimensional volume data;
In the medical image display device that displays the second projection image in the remaining one divided area of the image display area,
The direction and the range for generating the second projection image are displayed on at least one of the three first projection images displayed by the display means by an arrow and a rectangle, and the screen display of the stereoscopic range A medical image display apparatus, characterized in that the thickness of a region in a vertical direction is displayed in a shade on the first projection image in the rectangle .
前記表示手段は、前記矢印の位置によって前記第2の投影像の投影中心の位置を表し、前記第2の投影像を表示する際には、前記投影中心の位置が前記残る1分割領域の中央になるようにして、前記第2の投影像を表示することを特徴とする請求項1に記載の医用画像表示装置。The display means represents the position of the projection center of the second projection image by the position of the arrow, and when displaying the second projection image, the position of the projection center is the center of the remaining one divided area. The medical image display apparatus according to claim 1, wherein the second projection image is displayed. 前記表示手段は、前記矢印の長さで、前記立体的範囲の奥行きを表示することを特徴とする請求項1に記載の医用画像表示装置。The medical image display apparatus according to claim 1, wherein the display unit displays the depth of the three-dimensional range with the length of the arrow. 前記表示手段は、矩形で前記立体的範囲の奥行きと幅を表示することを特徴とする請求項1に記載の医用画像表示装置。The medical image display apparatus according to claim 1, wherein the display unit displays a depth and a width of the stereoscopic range in a rectangular shape. 前記矢印を前記画像表示領域上で移動させることにより、前記投影中心の位置を移動させるための入力手段を備えたことを特徴とする請求項2に記載の医用画像表示装置。The medical image display apparatus according to claim 2, further comprising an input unit configured to move the position of the projection center by moving the arrow on the image display area. 前記表示手段は、前記矩形内で矢印を移動させることにより、前記第2の投影像の前記残る1分割領域上での位置を移動させることを特徴とする請求項4に記載の医用画像表示装置。The medical image display apparatus according to claim 4, wherein the display unit moves the position of the second projection image on the remaining one divided region by moving an arrow within the rectangle. .
JP2010224468A 2010-10-04 2010-10-04 Medical image display device Active JP5595207B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010224468A JP5595207B2 (en) 2010-10-04 2010-10-04 Medical image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010224468A JP5595207B2 (en) 2010-10-04 2010-10-04 Medical image display device

Publications (3)

Publication Number Publication Date
JP2012075728A JP2012075728A (en) 2012-04-19
JP2012075728A5 JP2012075728A5 (en) 2013-11-21
JP5595207B2 true JP5595207B2 (en) 2014-09-24

Family

ID=46236673

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010224468A Active JP5595207B2 (en) 2010-10-04 2010-10-04 Medical image display device

Country Status (1)

Country Link
JP (1) JP5595207B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6104627B2 (en) * 2013-02-12 2017-03-29 東芝メディカルシステムズ株式会社 MRI equipment
KR101466153B1 (en) 2013-05-02 2014-11-27 삼성메디슨 주식회사 Medicalimaging apparatus and control method for the same
JP5669118B1 (en) * 2013-12-05 2015-02-12 独立行政法人国立循環器病研究センター 3D brain state image analyzer
JP6249317B2 (en) * 2014-11-18 2017-12-20 株式会社島津製作所 Tomographic image display device
JP7022554B2 (en) * 2017-10-03 2022-02-18 キヤノン株式会社 Image processing equipment and its control method, program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5052767B2 (en) * 2005-06-10 2012-10-17 株式会社日立メディコ Projection image generation method and image processing apparatus
JP4685826B2 (en) * 2007-04-12 2011-05-18 富士フイルム株式会社 Projection image generation apparatus, method, and program
JP5472892B2 (en) * 2008-04-03 2014-04-16 株式会社東芝 Three-dimensional medical image display device and display method thereof

Also Published As

Publication number Publication date
JP2012075728A (en) 2012-04-19

Similar Documents

Publication Publication Date Title
JP5224451B2 (en) Projection image creation apparatus, method and program
CN107169919B (en) Method and system for accelerated reading of 3D medical volumes
JP5808146B2 (en) Image processing system, apparatus and method
JP2938502B2 (en) Image display device
JP5818531B2 (en) Image processing system, apparatus and method
US10417808B2 (en) Image processing system, image processing apparatus, and image processing method
US20130009957A1 (en) Image processing system, image processing device, image processing method, and medical image diagnostic device
JP6040193B2 (en) Three-dimensional direction setting device, method and program
JP5492024B2 (en) Region division result correction apparatus, method, and program
JPWO2006033377A1 (en) Medical image display apparatus and method, and program
US9426443B2 (en) Image processing system, terminal device, and image processing method
JP6430149B2 (en) Medical image processing device
JP5595207B2 (en) Medical image display device
JP5000976B2 (en) Image processing apparatus, magnetic resonance imaging apparatus, and image processing method
JP7210506B2 (en) 3D perspective indicator, method for generating 3D perspective indicator, and applications thereof
JP2001022964A (en) Three-dimensional image display device
JP5974238B2 (en) Image processing system, apparatus, method, and medical image diagnostic apparatus
JP5052767B2 (en) Projection image generation method and image processing apparatus
JP2012100955A (en) Medical image display device
US20130257870A1 (en) Image processing apparatus, stereoscopic image display apparatus, image processing method and computer program product
JP6533687B2 (en) MEDICAL IMAGE PROCESSING APPARATUS, MEDICAL IMAGE PROCESSING METHOD, AND MEDICAL IMAGE PROCESSING PROGRAM
JP6510187B2 (en) Medical image processing device
JP2008067915A (en) Medical picture display
JP2002101428A (en) Image stereoscopic vision display device
JP2001101449A (en) Three-dimensional image display device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131003

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131003

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140722

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140805

R150 Certificate of patent or registration of utility model

Ref document number: 5595207

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250