JP2006087601A - Medical image diagnosis supporting system, medical image diagnosis supporting device, medical image diagnosis supporting method, storage medium readable by computer, and computer program - Google Patents

Medical image diagnosis supporting system, medical image diagnosis supporting device, medical image diagnosis supporting method, storage medium readable by computer, and computer program Download PDF

Info

Publication number
JP2006087601A
JP2006087601A JP2004275683A JP2004275683A JP2006087601A JP 2006087601 A JP2006087601 A JP 2006087601A JP 2004275683 A JP2004275683 A JP 2004275683A JP 2004275683 A JP2004275683 A JP 2004275683A JP 2006087601 A JP2006087601 A JP 2006087601A
Authority
JP
Japan
Prior art keywords
image
treatment
medical image
dimensional
diagnosis support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004275683A
Other languages
Japanese (ja)
Other versions
JP4612379B2 (en
Inventor
Yasuta Aoyanagi
康太 青柳
Hitoshi Yamagata
仁 山形
Takehiro Ema
武博 江馬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Canon Medical Systems Corp
Original Assignee
Toshiba Corp
Toshiba Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Medical Systems Corp filed Critical Toshiba Corp
Priority to JP2004275683A priority Critical patent/JP4612379B2/en
Publication of JP2006087601A publication Critical patent/JP2006087601A/en
Application granted granted Critical
Publication of JP4612379B2 publication Critical patent/JP4612379B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To display a treatment result of an affected position effectively and appropriately for observation, and to adjust display positions of a plurality of three-dimensional images on a screen easily and speedily in a medical image diagnosis apparatus. <P>SOLUTION: A medical image diagnosis supporting apparatus 10 comprises an image server 13 for storing/managing three-dimensional images 101A and 101B constructed by an ultrasonic image diagnostic apparatus 11a along with various image information, a medical image diagnosis supporting device 14 for generating and displaying a treatment margin cross-sectional image 106 from the three-dimensional images 101A and 101B stored in the image server 13, an image display means 15 for displaying the treatment margin cross-sectional image 106 generated by the medical image diagnosis supporting device 14, and an input device 16 which allows an operator to input a command signal to the medical image diagnosis supporting device 14. The ultrasonic image diagnostic apparatus 11a, the image server 13, and the medical image diagnosis supporting device 14 are connected via an LAN (local area network) 18 to allow data communication. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、患者の患部を含む撮像領域を映像化して取得した画像データから患部の像を含む三次元画像を構築して表示する技術に係り、特に三次元画像を用いた治療効果の表示によって治療支援を行なうことができる医用画像診断支援システム、医用画像診断支援装置、医用画像診断支援方法、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラムに関する。   The present invention relates to a technique for constructing and displaying a three-dimensional image including an image of an affected area from image data acquired by imaging an imaged area including the affected area of a patient, and in particular, by displaying a therapeutic effect using the 3D image. The present invention relates to a medical image diagnosis support system, a medical image diagnosis support device, a medical image diagnosis support method, a computer-readable storage medium, and a computer program that can perform treatment support.

現在、国内において三大疾患の中で、癌疾患による死亡率が唯一伸びており、癌疾患の患者に対する診断のみならず治療への社会的な要請が強い。癌疾患の中でも肝癌が約10%を占めており、増加の傾向にある。   At present, among the three major diseases in Japan, the mortality rate due to cancer diseases is the only increase, and there is a strong social demand not only for diagnosis but also treatment for patients with cancer diseases. Among cancer diseases, liver cancer accounts for about 10% and is increasing.

この肝癌の診断に関しては、既に超音波画像診断装置、MRI(Magnetic Resonance Imaging)、CT(Computerized Tomography)等の医用画像診断装置の技術進歩により早期の段階で発見できるようになってきている。   With regard to the diagnosis of liver cancer, it has already become possible to detect it at an early stage due to technological progress of medical image diagnostic apparatuses such as an ultrasonic image diagnostic apparatus, MRI (Magnetic Resonance Imaging), and CT (Computerized Tomography).

一方、肝癌の治療としては以下の4種類の治療法が施行されている。
1.肝動脈内抗ガン剤注入療法
2.肝動脈塞栓療法
3.低侵襲治療法
4.腹外科手術
この中で最も多く施行されているのは低侵襲治療法である。この治療は他の方法に比べて手技が簡単で患者への負担も少ないためである。低侵襲治療法には経皮的エタノール注入法(PEIT:Percutaneous Ethanol Injection Technique)やマイクロ波穿刺焼灼法があり、従来から超音波画像診断装置によるリアルタイム撮像下でその穿刺針をモニタして行なわれてきた。
On the other hand, the following four types of treatments have been implemented for the treatment of liver cancer.
1. Intrahepatic arterial anticancer drug infusion therapy 2. Hepatic artery embolization therapy Minimally invasive treatment 4. Abdominal surgery The most frequently performed is minimally invasive treatment. This is because the treatment is simpler and less burdensome on the patient than other methods. The minimally invasive treatment methods include percutaneous ethanol injection technique (PEIT) and microwave puncture cauterization, which have been performed by monitoring the puncture needle under real-time imaging with an ultrasonic diagnostic imaging device. I came.

最近では焼灼治療法の一つとして高周波焼灼法(RFA:Radio-Frequency Ablation)が脚光を浴び始め、臨床適用がかなり進められている。RFAには単一針であるCoolTipや複数展開針のRITAがあり、各々、現在臨床評価が進められている。   Recently, radiofrequency ablation (RFA) has been in the limelight as one of the ablation treatment methods, and clinical application has been considerably advanced. RFA includes CoolTip, which is a single needle, and RITA, which is a multi-deployment needle, and clinical evaluations are currently underway.

最近は、穿刺針を的確に患部へ到達させ治療するために三次元画像表示を利用する方法が提案されている(例えば、特許文献1参照。)。
特開2002−224109号公報
Recently, a method using three-dimensional image display has been proposed in order to accurately treat a puncture needle to reach an affected area (see, for example, Patent Document 1).
JP 2002-224109 A

経皮的治療において治療効果を判定するためには、治療前後の画像を比較する必要がある。しかし、治療前後の画像を同一画面上に並べて表示する方法では、操作者が画面を観察して治療効果を判断するが、その判断が困難である。さらに、表示される画像が三次元画像となればなおさら判断が困難となる。   In order to determine the therapeutic effect in percutaneous treatment, it is necessary to compare images before and after treatment. However, in the method of displaying images before and after treatment side by side on the same screen, an operator observes the screen to determine the therapeutic effect, but this determination is difficult. Furthermore, if the displayed image is a three-dimensional image, the determination becomes even more difficult.

また、経皮的治療においては再発を防ぐために実際の患部よりも多少の治療マージンをとって治療する。的確に治療が行なえたかを判断するためには、表示される治療マージン部像の観察が重要であるが、従来の方法では、治療マージン部像の表示が効果的に行なえないと言う問題があった。   In the case of percutaneous treatment, treatment is performed with a slight margin of treatment from the actual affected area in order to prevent recurrence. Observation of the displayed treatment margin image is important to determine whether treatment has been performed accurately, but the conventional method has a problem that the display of the treatment margin image cannot be performed effectively. It was.

さらに、患部の大きさ等を治療前後の画像で比較する場合、治療前後でほぼ同じ撮像領域を測定するにもかかわらず、治療前後でそれぞれ取得した画像に対して撮像領域設定を行なわなければならず、操作性に問題があった。   Furthermore, when comparing the size of the affected area with the images before and after the treatment, the imaging region must be set for each of the images acquired before and after the treatment, even though the same imaging region is measured before and after the treatment. There was a problem in operability.

本発明は、上述した事情を考慮してなされたもので、患部の治療結果の観察に適した画像表示を効果的に行なうことができる医用画像診断支援システム、医用画像診断支援装置、医用画像診断支援方法、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラムを提供することを目的とする。   The present invention has been made in consideration of the above-described circumstances, and is a medical image diagnosis support system, a medical image diagnosis support device, and a medical image diagnosis that can effectively perform image display suitable for observation of a treatment result of an affected area. An object is to provide a support method, a computer-readable storage medium, and a computer program.

また、本発明の他の目的は、画像の画面上における表示位置を簡易迅速に調整することができる医用画像診断支援システム、医用画像診断支援装置、医用画像診断支援方法、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラムを提供することにある。   Another object of the present invention is to provide a medical image diagnosis support system, a medical image diagnosis support device, a medical image diagnosis support method, and a computer-readable storage medium capable of easily and quickly adjusting the display position of an image on the screen. And providing a computer program.

本発明に係る医用画像診断支援システムは、上述した課題を解決するために、患者の患部を含む撮像領域を映像化して取得した画像データから前記患部の像を含む三次元画像を構築する医用画像診断装置において、前記医用画像診断装置で構築した三次元画像を各種画像情報と共に保管・管理する画像サーバと、前記画像サーバに保管された複数の前記三次元画像から治療マージン断面画像を生成して表示させるための医用画像診断支援装置と、前記医用画像診断支援装置で生成した治療マージン断面画像を表示する画像表示手段と、操作者によって前記医用画像診断支援装置に指令信号を入力可能とする入力デバイスとを備え、前記医用画像診断装置、前記画像サーバ及び前記医用画像診断支援装置をネットワークを介してデータ通信可能に接続した。   In order to solve the above-described problem, a medical image diagnosis support system according to the present invention constructs a three-dimensional image including an image of an affected area from image data acquired by imaging an imaging area including the affected area of a patient. In the diagnostic apparatus, an image server that stores and manages the three-dimensional image constructed by the medical image diagnostic apparatus together with various image information, and generates a treatment margin cross-sectional image from the plurality of three-dimensional images stored in the image server. Medical image diagnosis support apparatus for displaying; image display means for displaying a treatment margin cross-sectional image generated by the medical image diagnosis support apparatus; and input enabling an operator to input a command signal to the medical image diagnosis support apparatus Device, and can communicate data between the medical image diagnostic apparatus, the image server, and the medical image diagnostic support apparatus via a network It was connected.

また、本発明に係る医用画像診断支援システムは、患者の患部を含む撮像領域を映像化して取得した画像データから前記患部の像を含む三次元画像を構築する医用画像診断装置において、前記医用画像診断装置で構築した複数の三次元画像から治療マージン断面画像を生成して表示させるための医用画像診断支援装置と、前記医用画像診断支援装置で生成した治療マージン断面画像を表示する画像表示手段と、操作者によって前記医用画像診断支援装置に指令信号を入力可能とする入力デバイスとを備え、前記医用画像診断装置及び前記医用画像診断支援装置をネットワークを介してデータ通信可能に接続した。   The medical image diagnosis support system according to the present invention is a medical image diagnostic apparatus that constructs a three-dimensional image including an image of the affected area from image data acquired by imaging an imaging area including the affected area of a patient. A medical image diagnosis support apparatus for generating and displaying a treatment margin cross-sectional image from a plurality of three-dimensional images constructed by the diagnosis apparatus; and an image display means for displaying the treatment margin cross-section image generated by the medical image diagnosis support apparatus; And an input device that allows an operator to input a command signal to the medical image diagnosis support apparatus, and the medical image diagnosis apparatus and the medical image diagnosis support apparatus are connected via a network so that data communication is possible.

本発明に係る医用画像診断支援装置は、上述した課題を解決するために、患者の患部を含む撮像領域を映像化して取得した画像データから前記患部の像を含む三次元画像を構築する医用画像診断装置において、複数の前記三次元画像から治療マージン断面画像を生成して表示させるための医用画像診断支援装置と、前記医用画像診断支援装置で生成した治療マージン断面画像を表示する画像表示手段と、操作者によって前記医用画像診断支援装置に指令信号を入力可能とする入力デバイスとを備えた。   In order to solve the above-described problem, the medical image diagnosis support apparatus according to the present invention constructs a three-dimensional image including an image of an affected area from image data acquired by imaging an imaging area including the affected area of a patient. In the diagnostic apparatus, a medical image diagnosis support apparatus for generating and displaying a treatment margin cross-sectional image from a plurality of the three-dimensional images, and an image display means for displaying the treatment margin cross-sectional image generated by the medical image diagnosis support apparatus; And an input device that allows an operator to input a command signal to the medical image diagnosis support apparatus.

本発明に係る医用画像診断支援方法は、上述した課題を解決するために、治療前及び治療後で患者の患部を含む撮像領域を映像化して取得した画像データから、治療予定患部像を含む三次元画像と治療患部像を含む三次元画像とをそれぞれ構築する医用画像診断方法において、前記治療予定患部像を含む三次元画像と前記治療患部像を含む三次元画像とが重ね合わされて同一空間座標同士で差分され、この差分結果をグラフィック化して治療マージン三次元画像が生成される治療マージン三次元画像生成工程と、前記治療マージン三次元画像を所要断面方向からみた治療マージン断面画像が生成される治療マージン断面画像生成工程と、前記治療マージン断面画像が表示される治療マージン断面画像表示工程とを有する。   In order to solve the above-described problem, the medical image diagnosis support method according to the present invention is a tertiary including an image of an affected area to be treated from image data acquired by imaging an imaging area including an affected area of a patient before and after treatment. In the medical image diagnostic method for constructing an original image and a three-dimensional image including a treatment affected part image, respectively, the same spatial coordinates are obtained by superimposing the three-dimensional image including the treatment target affected part image and the three-dimensional image including the treatment affected part image. A treatment margin three-dimensional image generation step of generating a treatment margin three-dimensional image by generating a difference between each other, and generating a treatment margin three-dimensional image, and a treatment margin cross-sectional image of the treatment margin three-dimensional image viewed from a required cross-sectional direction is generated. A treatment margin cross-sectional image generation step, and a treatment margin cross-sectional image display step in which the treatment margin cross-sectional image is displayed.

また、本発明に係る医用画像診断支援システム、医用画像診断支援装置、医用画像診断支援方法、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラムによると、患部の治療結果の観察に適した表示を効果的に行なうことができる。   Further, according to the medical image diagnosis support system, medical image diagnosis support device, medical image diagnosis support method, computer readable storage medium, and computer program according to the present invention, a display suitable for observing the treatment result of the affected area is effectively provided. Can be done.

本発明に係る医用画像診断支援システム、医用画像診断支援装置、医用画像診断支援方法、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラムによると、複数の三次元画像の画面上における表示位置を簡易迅速に調整することができる。   According to the medical image diagnosis support system, the medical image diagnosis support device, the medical image diagnosis support method, the computer-readable storage medium, and the computer program according to the present invention, the display positions of a plurality of three-dimensional images on the screen can be adjusted quickly and easily. can do.

本発明に係る医用画像診断支援システム、医用画像診断支援装置、医用画像診断支援方法、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラムの実施の形態について、添付図面を参照して説明する。   Embodiments of a medical image diagnosis support system, a medical image diagnosis support device, a medical image diagnosis support method, a computer-readable storage medium, and a computer program according to the present invention will be described with reference to the accompanying drawings.

なお、添付図面中、同一の構成要素には同一符号を付して重複した説明を省略する。   In the accompanying drawings, the same constituent elements are denoted by the same reference numerals, and redundant description is omitted.

図1は、本発明に係る医用画像診断支援システム、医用画像診断支援装置、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラムの第1実施の形態を示すブロック図である。   FIG. 1 is a block diagram showing a first embodiment of a medical image diagnosis support system, a medical image diagnosis support device, a computer-readable storage medium, and a computer program according to the present invention.

図1は、本発明に係る医用画像診断支援システム10を示し、この医用画像診断支援システム10は、患者の患部を含む撮像領域を映像化して取得した画像データから患部の像を含む三次元画像101を構築する医用画像診断装置(モダリティ)11、例えば超音波画像診断装置11a、と、この超音波画像診断装置11aで構築された三次元画像101を各種画像情報と共に保管・管理する画像サーバ13と、この画像サーバ13に保管された複数の三次元画像101から治療マージン断面画像を生成して表示させるためのコンピュータである医用画像診断支援装置14と、この医用画像診断支援装置14で生成した治療マージン断面画像106を表示する画像表示手段15と、操作者によって医用画像診断支援装置14に操作入力可能な入力デバイス16とが備えられる。   FIG. 1 shows a medical image diagnosis support system 10 according to the present invention. This medical image diagnosis support system 10 includes a three-dimensional image including an image of an affected area from image data acquired by imaging an imaging area including the affected area of a patient. A medical image diagnostic apparatus (modality) 11 that constructs 101, for example, an ultrasonic image diagnostic apparatus 11a, and an image server 13 that stores and manages the three-dimensional image 101 constructed by the ultrasonic image diagnostic apparatus 11a together with various image information. And a medical image diagnosis support apparatus 14 that is a computer for generating and displaying a treatment margin cross-sectional image from a plurality of three-dimensional images 101 stored in the image server 13, and the medical image diagnosis support apparatus 14 The image display means 15 for displaying the treatment margin cross-sectional image 106 and the operator can input an operation to the medical image diagnosis support apparatus 14 A force device 16 is provided.

なお、医用画像診断支援装置14は、超音波画像診断装置11aで構築された三次元画像101から治療マージン断面画像106を生成して表示させることもできる。   The medical image diagnosis support apparatus 14 can also generate and display a treatment margin cross-sectional image 106 from the three-dimensional image 101 constructed by the ultrasonic image diagnosis apparatus 11a.

超音波画像診断装置11a、画像サーバ13及び医用画像診断支援装置14は、病院内のネットワーク、例えばLAN18、でデータ通信可能に接続されている。   The ultrasonic image diagnosis apparatus 11a, the image server 13, and the medical image diagnosis support apparatus 14 are connected to each other via a hospital network such as a LAN 18 so that data communication is possible.

超音波画像診断装置11aは、エコーデータの収集(data acquisition)、エコーデータの再構築(data reconstruction)及び三次元画像の構築(rendering)を行なう。   The ultrasonic diagnostic imaging apparatus 11a performs echo data acquisition (data acquisition), echo data reconstruction (data reconstruction), and three-dimensional image rendering (rendering).

医用画像診断支援装置14には、ROM(Read Only Memory)21と、CPU(Central Processing Unit)22と、RAM(Random Access Memory)23と、外部記憶装置24と、記憶媒体駆動装置25と、通信装置26とが設けられ、ROM21、CPU22、RAM23、外部記憶装置24、記憶媒体駆動装置25及び通信装置26は、バス29によってそれぞれ接続されている。   The medical image diagnosis support apparatus 14 includes a ROM (Read Only Memory) 21, a CPU (Central Processing Unit) 22, a RAM (Random Access Memory) 23, an external storage device 24, a storage medium drive device 25, and a communication. The ROM 26, the CPU 22, the RAM 23, the external storage device 24, the storage medium driving device 25, and the communication device 26 are respectively connected by a bus 29.

ROM21には、コンピュータである医用画像診断支援装置14を動作させるための基本プログラム等が予め記憶されている。基本プログラムは、基礎的な操作をキー、トラックボール、マウス、トラックパッド及びタブレット等のポインティングデバイス操作を用いて行なうことができるGUI(Graphical User Interface)を少なくとも実装している。RAM23は、CPU22の作業領域等として用いられる。   The ROM 21 stores in advance a basic program for operating the medical image diagnosis support apparatus 14 that is a computer. The basic program implements at least a GUI (Graphical User Interface) capable of performing basic operations using pointing device operations such as keys, trackballs, mice, trackpads, and tablets. The RAM 23 is used as a work area for the CPU 22.

記憶媒体駆動装置25は、記録媒体30を動作させる。記録媒体30は、例えば、CD(Compact Disk)−ROMから構成される。このCD−ROMには、治療予定患部像102Aを含む三次元画像と治療患部像102Bを含む三次元画像とを重ね合わせて同一空間座標同士で差分し、この差分結果をグラフィック化して治療マージン三次元画像105を生成する手順と、治療マージン三次元画像105を所要断面方向からみた断面画像を生成し、治療マージン部像104を二次元的に観察するための治療マージン断面画像106を生成する手順と、治療マージン断面画像106を表示する手順とを医用画像診断支援装置14に実行させる医用画像診断支援実行プログラム等が記録されている。記憶媒体駆動装置25は、CD−ROMドライブ等から構成され、CPU22制御の下、記録媒体30から医用画像診断支援実行プログラム等を読み出し、必要に応じて医用画像診断支援実行プログラム等が外部記憶装置24に記録されるように橋渡しする。   The storage medium driving device 25 operates the recording medium 30. The recording medium 30 is composed of, for example, a CD (Compact Disk) -ROM. In this CD-ROM, the three-dimensional image including the treatment target lesion image 102A and the three-dimensional image including the treatment lesion image 102B are overlapped and differentiated between the same spatial coordinates, and the difference result is displayed as a graphic to obtain a treatment margin tertiary. A procedure for generating the original image 105, a procedure for generating a cross-sectional image of the treatment margin three-dimensional image 105 viewed from the required cross-sectional direction, and generating a treatment margin cross-sectional image 106 for two-dimensional observation of the treatment margin image 104 A medical image diagnosis support execution program for causing the medical image diagnosis support apparatus 14 to execute the procedure for displaying the treatment margin cross-sectional image 106 and the like is recorded. The storage medium drive device 25 is composed of a CD-ROM drive or the like, reads a medical image diagnosis support execution program from the recording medium 30 under the control of the CPU 22, and stores the medical image diagnosis support execution program or the like as needed. Bridge as recorded in 24.

なお、記憶媒体30は、CD−ROMに限定されるものではなく、記憶媒体駆動装置25としてDVD(Digital Versatile Disk)ドライブ及びフレキシブルディスクドライブ等が設けられる場合、DVD及びFD等であってもよい。   The storage medium 30 is not limited to a CD-ROM, and may be a DVD, an FD, or the like when a DVD (Digital Versatile Disk) drive, a flexible disk drive, or the like is provided as the storage medium drive device 25. .

外部記憶装置24は、例えば、HDD(Hard Disk Drive)から構成される。外部記憶装置24には、上記のように、医用画像診断支援実行プログラムが記録(インストール)されると共に、種々のコンピュータプログラムが一般的な方法にて予め記録されている。   The external storage device 24 is composed of, for example, an HDD (Hard Disk Drive). As described above, the medical image diagnosis support execution program is recorded (installed) in the external storage device 24, and various computer programs are recorded in advance by a general method.

CPU22は、ROM21から基本プログラム等を読み出すと共に、外部記憶装置24から医用画像診断支援実行プログラムを読み出し、治療マージン断面画像106の生成及び表示を行なうためのデータ処理等を実行する。なお、ROM21に基本プログラム等に加えて医用画像診断支援実行プログラムを記録しておいてもよく、この場合には、CPU22が、ROM21から基本プログラム等と医用画像診断支援実行プログラムを読み出し、治療マージン断面画像106の生成及び表示を行なうためのデータ処理等を実行する。   The CPU 22 reads a basic program and the like from the ROM 21 and reads a medical image diagnosis support execution program from the external storage device 24 to execute data processing and the like for generating and displaying the treatment margin cross-sectional image 106. In addition to the basic program and the like, a medical image diagnosis support execution program may be recorded in the ROM 21. In this case, the CPU 22 reads the basic program and the medical image diagnosis support execution program from the ROM 21, and a treatment margin. Data processing for generating and displaying the cross-sectional image 106 is executed.

表示手段15は、CRT(Cathode Ray Tube)又は液晶表示装置等から構成される。表示手段15には、CPU22制御の下、治療マージン断面画像106の生成及び表示の際に使用される種々の画面が表示される。   The display means 15 is composed of a CRT (Cathode Ray Tube) or a liquid crystal display device. Various screens used when generating and displaying the treatment margin cross-sectional image 106 are displayed on the display unit 15 under the control of the CPU 22.

入力デバイス16は、キーボード、トラックボール、マウス、トラックパッド及びタブレット等から構成される。そして、操作者の操作に応じた種々の指令等が医用画像診断支援装置14に入力される。   The input device 16 includes a keyboard, a trackball, a mouse, a trackpad, a tablet, and the like. Various commands and the like corresponding to the operation of the operator are input to the medical image diagnosis support apparatus 14.

また、医用画像診断支援装置14、表示手段15及び入力デバイス16は、医用画像診断支援装置14、表示手段15及び入力デバイス16が一体の構成となったPC(Personal Computer)であってもよい。   The medical image diagnosis support apparatus 14, the display unit 15, and the input device 16 may be a PC (Personal Computer) in which the medical image diagnosis support apparatus 14, the display unit 15, and the input device 16 are integrated.

なお、モダリティ11は超音波画像診断装置11aに限定されるものではなく、ボリュームデータを取得し処理する機能をもつX線診断装置、X線CT(Computerized Tomography)装置、磁気共鳴診断装置、核医学診断装置等であってもよい。   The modality 11 is not limited to the ultrasonic diagnostic imaging apparatus 11a, but an X-ray diagnostic apparatus, an X-ray CT (Computerized Tomography) apparatus, a magnetic resonance diagnostic apparatus, and a nuclear medicine having a function of acquiring and processing volume data. It may be a diagnostic device or the like.

また、医用画像診断支援システム10では、画像処理装置が超音波画像診断装置11aと一体となっている構成としているが、両者が分離された構成であってもよい。   In the medical image diagnosis support system 10, the image processing apparatus is integrated with the ultrasonic image diagnosis apparatus 11a. However, the image processing apparatus may be separated from each other.

続いて、本発明に係る医用画像診断支援システム、医用画像診断支援方法、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラムを用いた医用画像診断支援方法について、図2に示されたフローチャートを用いて説明する。   Next, a medical image diagnosis support system, a medical image diagnosis support method, a computer readable storage medium, and a medical image diagnosis support method using a computer program according to the present invention will be described with reference to the flowchart shown in FIG. .

被検体である患者の患部を治療する前に、医用画像診断支援システム10の超音波画像診断装置11aによって、患者の治療予定患部を含む撮像領域が撮像され、エコーデータの収集が行なわれる。このエコーデータの収集では、二次元の断層画像(二次元断層面)データが得られる。三次元エコーデータの収集法としては、二次元断層面を収集する際の探触子の移動方式によってそれぞれ平行に移動させるパラレル方式、扇状に移動させるファン方式、180度回転させるローテイト方式等がある。これら探触子の移動方式の移動時に複数の二次元断層面を得ることにより、X,Y,Z座標空間上で、全体としてそれぞれの探触子移動方式に対応する形状となる三次元エコーデータが取得される。パラレル方式の場合の三次元エコーデータを図3に示す。   Prior to treating the affected area of the patient as the subject, the imaging area including the affected area of the patient to be treated is imaged by the ultrasonic diagnostic imaging apparatus 11a of the medical image diagnosis support system 10, and echo data is collected. In the collection of echo data, two-dimensional tomographic image (two-dimensional tomographic plane) data is obtained. The three-dimensional echo data collection method includes a parallel method in which the probe is moved in parallel according to a probe moving method when collecting a two-dimensional tomographic plane, a fan method in which the probe is moved in a fan shape, and a rotate method in which the probe is rotated 180 degrees. . By obtaining a plurality of two-dimensional tomographic planes during the movement of these probe movement methods, three-dimensional echo data having a shape corresponding to each probe movement method as a whole in the X, Y, Z coordinate space Is acquired. FIG. 3 shows three-dimensional echo data in the case of the parallel method.

次いで、超音波画像診断装置11aで、データの再構築が行なわれる。このデータの再構築では、収集されたエコーデータが立方体(ボクセル)の集合に変換される。   Next, data reconstruction is performed by the ultrasonic diagnostic imaging apparatus 11a. In this data reconstruction, the collected echo data is converted into a set of cubes (voxels).

次いで、超音波画像診断装置11aで、撮像領域における三次元画像101Aの構築が行なわれる。この三次元画像101Aの構築では、一般的な手法であるボリュームレンダリング法によって行なわれるものとするが、特に三次元画像101Aの構築を迅速に行ないたい場合は、スキャンライン法やマーチングキューブ法等による三次元画像101Aの構築も有効である。   Next, the ultrasonic image diagnostic apparatus 11a constructs a three-dimensional image 101A in the imaging region. The construction of the three-dimensional image 101A is performed by a volume rendering method that is a general technique, but particularly when the construction of the three-dimensional image 101A is desired to be performed quickly, the scan line method, marching cube method, or the like is used. The construction of the three-dimensional image 101A is also effective.

超音波画像診断装置11aでは、三次元画像101A内に現れる治療予定患部像102Aを内包するように、計測ROI(Region of Interest)103Aが設定される。なお、計測ROI103Aの設定は画像サーバ13で行なってもよい。また、計測ROI103Aの設定は、表示手段15の画面上に表示された三次元画像101Aを見ながら操作者によって手動的に行なわれてもよく、予め与えられた空間座標によって自動的に行なわれてもよい。   In the ultrasonic diagnostic imaging apparatus 11a, a measurement ROI (Region of Interest) 103A is set so as to include the treatment target affected part image 102A appearing in the three-dimensional image 101A. The measurement ROI 103A may be set by the image server 13. The setting of the measurement ROI 103A may be performed manually by the operator while viewing the three-dimensional image 101A displayed on the screen of the display unit 15, or is automatically performed based on the spatial coordinates given in advance. Also good.

三次元画像101Aは、LAN18を介して画像サーバ13に入力され、画像サーバ13で保管及び管理される。また、画像サーバ13には、三次元画像101Aの、表示画面上の大きさ、位置及び視点方向を決定し得る各種画像情報、例えばDepth、Zoom及び画素サイズ、が三次元画像101Aと共に保存される。さらに、三次元画像101A内に設定された計測ROI103Aの空間座標等の情報や、血流量等の計測結果の情報が三次元画像101Aと共に保存される。   The three-dimensional image 101A is input to the image server 13 via the LAN 18, and stored and managed by the image server 13. Further, the image server 13 stores various image information that can determine the size, position, and viewpoint direction of the 3D image 101A on the display screen, for example, Depth, Zoom, and pixel size, together with the 3D image 101A. . Further, information such as the spatial coordinates of the measurement ROI 103A set in the three-dimensional image 101A and information on the measurement result such as blood flow are stored together with the three-dimensional image 101A.

患者の治療予定患部に対して焼灼治療(RFA:Radio-Frequency Ablation)等の経皮的治療が行なわれる。   Percutaneous treatment such as ablation (RFA: Radio-Frequency Ablation) is performed on the affected area of the patient.

焼灼治療等の経皮的治療後、超音波画像診断装置11aで、患者の治療患部を含む撮像領域が撮像され、治療前と同様の動作でエコーデータの収集、エコーデータの再構築及び三次元画像101Bの構築が行なわれる。   After percutaneous treatment such as ablation treatment, an imaging region including the affected area of the patient is imaged by the ultrasonic diagnostic imaging apparatus 11a, and echo data is collected, echo data is reconstructed and three-dimensionally operated in the same manner as before treatment. The image 101B is constructed.

三次元画像101Bは、LAN18を介して画像サーバ13に入力され、画像サーバ13で保管及び管理される。また、画像サーバ13には、三次元画像101Bの、表示画面上の大きさ、位置及び視点方向を決定し得る各種画像情報、例えばDepth、Zoom及び画素サイズ、が三次元画像101Bと共に保存される。   The three-dimensional image 101B is input to the image server 13 via the LAN 18, and stored and managed by the image server 13. Also, the image server 13 stores various image information that can determine the size, position, and viewpoint direction of the 3D image 101B on the display screen, such as Depth, Zoom, and pixel size, together with the 3D image 101B. .

次いで、操作者は入力デバイス16を用いて、医用画像診断支援実行プログラムを実行する。この医用画像診断支援実行プログラムが実行されると、まず、医用画像診断支援装置14のCPU22は、画像サーバ13からLAN18及び医用画像診断支援装置14の通信装置26を介して入力される複数の三次元画像を重ね合わせて同一空間座標同士で差分し、差分結果をグラフィック化して治療マージン三次元画像105を生成する(ステップS1)。   Next, the operator uses the input device 16 to execute a medical image diagnosis support execution program. When this medical image diagnosis support execution program is executed, first, the CPU 22 of the medical image diagnosis support apparatus 14 receives a plurality of tertiary inputs from the image server 13 via the LAN 18 and the communication device 26 of the medical image diagnosis support apparatus 14. The original images are overlaid and differentiated between the same space coordinates, and the difference result is graphically generated to generate the treatment margin three-dimensional image 105 (step S1).

ここで、画像サーバ13で管理されている治療予定患部像102Aを含む三次元画像101Aと、治療患部像102Bを含む三次元画像101Bとは、Depth、Zoom、画素サイズ等に差異がある。よって、三次元画像101A,101Bを画面上にそのまま表示した場合、画面上における三次元画像101A,101B双方の大きさ、位置及び視点方向には差異が生じる。   Here, the three-dimensional image 101A including the treatment target affected part image 102A managed by the image server 13 and the three-dimensional image 101B including the treated affected part image 102B are different in depth, zoom, pixel size, and the like. Therefore, when the 3D images 101A and 101B are displayed on the screen as they are, there are differences in the size, position, and viewpoint direction of the 3D images 101A and 101B on the screen.

したがって、まず、CPU22は、画像サーバ13で管理されている三次元画像101Aと共に保存されたDepth、Zoom及び画素サイズ等の各種画像情報と、三次元画像101Bと共に保存されたDepth、Zoom及び画素サイズ等の各種画像情報とのうち一方又は両方を補正する。このように、三次元画像101Aと共に管理された各種画像情報と、三次元画像101Bと共に管理された各種画像情報のうち一方又は両方の各種画像情報を補正することで、CPU22は、三次元画像101A,101Bを基に、画面上での大きさ、位置及び視点方向が一致され、各種画像情報が補正された三次元画像101a,101bをそれぞれ作成する(ステップS1a)。   Therefore, first, the CPU 22 stores various image information such as Depth, Zoom and pixel size stored together with the 3D image 101A managed by the image server 13, and Depth, Zoom and pixel size stored together with the 3D image 101B. One or both of various image information such as the above are corrected. In this way, the CPU 22 corrects one or both of the various image information managed together with the 3D image 101A and the various image information managed together with the 3D image 101B, so that the CPU 22 can correct the 3D image 101A. , 101B, three-dimensional images 101a, 101b are created in which the size, position, and viewpoint direction on the screen are matched and various image information is corrected (step S1a).

ここで、三次元画像101aが作成されると、三次元画像101A内の治療予定患部像102A及び計測ROI103Aは、治療予定患部像102a及び計測ROI103aとして三次元画像101a内にそれぞれ現れる。   Here, when the three-dimensional image 101a is created, the treatment planned affected part image 102A and the measurement ROI 103A in the three-dimensional image 101A appear in the three-dimensional image 101a as the treatment planned affected part image 102a and the measurement ROI 103a, respectively.

CPU22は、Depth、Zoom及び画素サイズ等の各種画像情報が補正された三次元画像101bを表示手段15の画面上に表示する。また、三次元画像101bとの比較対照として、Depth、Zoom及び画素サイズ等の各種画像情報が補正された三次元画像101aを、三次元画像101bに重ね合わせて表示手段15の画面上に表示する(ステップS1b)。すなわち、三次元画像101aと三次元画像101bとが、画面上に位置変更可能に重ね合わされる。   The CPU 22 displays on the screen of the display means 15 the three-dimensional image 101b in which various pieces of image information such as depth, zoom, and pixel size are corrected. Further, as a comparison with the three-dimensional image 101b, the three-dimensional image 101a in which various image information such as Depth, Zoom, and pixel size is corrected is superimposed on the three-dimensional image 101b and displayed on the screen of the display means 15. (Step S1b). That is, the three-dimensional image 101a and the three-dimensional image 101b are superimposed on the screen so that the position can be changed.

さらに、操作者は、入力デバイス16、例えばキーボード又はトラックボール、を操作して、表示手段15の画面上に表示された三次元画像101a,101bを画面上で位置合わせし、画面上における三次元画像101a,101b双方の位置を微調整する。なお、三次元画像101a,101b双方の位置を微調整する際、三次元画像101a,101bを表示手段15の画面上に重ね合わせて表示すると、三次元画像101a,101b双方を識別できなくなる場合がある。その場合、キーボード又はトラックボール等の入力デバイス16を操作して、三次元画像101a,101bのうち一方を択一的に前面に画面表示できるように、三次元画像101a,101bを切替可能に表示する。   Further, the operator operates the input device 16 such as a keyboard or a trackball to align the three-dimensional images 101a and 101b displayed on the screen of the display unit 15 on the screen, and the three-dimensional image on the screen. Finely adjust the positions of both the images 101a and 101b. When finely adjusting the positions of both the three-dimensional images 101a and 101b, if the three-dimensional images 101a and 101b are displayed superimposed on the screen of the display unit 15, both of the three-dimensional images 101a and 101b may not be identified. is there. In that case, the input device 16 such as a keyboard or a trackball is operated so that the three-dimensional images 101a and 101b can be switched so that one of the three-dimensional images 101a and 101b can be selectively displayed on the front. To do.

操作者が、表示手段15の画面上に表示される三次元画像101a,101bの画面上の位置を微調整することで、CPU22は、表示手段15の画面上における三次元画像101a,101bの位置を確定する(ステップS1c)。   When the operator finely adjusts the positions of the three-dimensional images 101 a and 101 b displayed on the screen of the display unit 15 on the screen, the CPU 22 positions the three-dimensional images 101 a and 101 b on the screen of the display unit 15. Is determined (step S1c).

表示手段15の画面上における三次元画像101a,101bの位置が確定されると、CPU22は、三次元画像101aと三次元画像101bとを重ね合わせて同一空間座標同士で輝度値変化(輝度値の差)を求め、この輝度値変化が所要値を超える空間座標を抽出する(ステップS1d)。そして、CPU22は、抽出された空間座標の集合領域をグラフィック化して(ステップS1e)治療マージン部像104を含む治療マージン三次元画像105を生成する。   When the positions of the three-dimensional images 101a and 101b on the screen of the display unit 15 are determined, the CPU 22 superimposes the three-dimensional image 101a and the three-dimensional image 101b to change the luminance value between the same spatial coordinates (the luminance value). A difference) is obtained, and spatial coordinates whose luminance value change exceeds a required value are extracted (step S1d). Then, the CPU 22 generates a treatment margin three-dimensional image 105 including the treatment margin part image 104 by graphicizing the set region of the extracted spatial coordinates (step S1e).

ここで、三次元画像101aと三次元画像101bとの差分を、治療マージン部像104を含む治療マージン三次元画像105とすることで、三次元画像101a内の治療予定患部像102a以外の像と、三次元画像101b内の治療患部像102b以外の像とが相殺される。よって、治療マージン部像104のみがグラフィック表示された治療マージン三次元画像105を提供することができる。   Here, the difference between the three-dimensional image 101a and the three-dimensional image 101b is set as the treatment margin three-dimensional image 105 including the treatment margin image 104, so that an image other than the treatment target affected part image 102a in the three-dimensional image 101a can be obtained. The images other than the treatment affected part image 102b in the three-dimensional image 101b are canceled out. Therefore, it is possible to provide the treatment margin three-dimensional image 105 in which only the treatment margin portion image 104 is graphically displayed.

次いで、CPU22は、ステップS1で生成した治療マージン三次元画像105を所要断面方向からみた断面画像を生成し、治療マージン部像104を二次元的に観察するための治療マージン断面画像106を生成する(ステップS2)。   Next, the CPU 22 generates a cross-sectional image obtained by viewing the treatment margin three-dimensional image 105 generated in step S1 from the required cross-sectional direction, and generates a treatment margin cross-sectional image 106 for two-dimensional observation of the treatment margin portion image 104. (Step S2).

次いで、ステップS2で生成された治療マージン断面画像106を表示手段15の画面上に表示する(ステップS3)。   Next, the treatment margin cross-sectional image 106 generated in step S2 is displayed on the screen of the display means 15 (step S3).

図4は、表示手段15の画面上に表示される治療マージン断面画像106を示す図である。   FIG. 4 is a diagram showing a treatment margin cross-sectional image 106 displayed on the screen of the display unit 15.

ステップS1で治療予定患部像102aを含む三次元画像101aと、治療患部像102bを含む三次元画像101bを生成する。そして、三次元画像101a,101bの差分から、治療マージン部像104を含む治療マージン三次元画像105を生成する。図4は、治療マージン三次元画像105を所要断面方向、例えば断面方向F、からみた断面画像を生成し、この断面画像を治療マージン断面画像106として表示手段15に表示したものである。   In step S1, a three-dimensional image 101a including a treatment target affected part image 102a and a three dimensional image 101b including a treated affected part image 102b are generated. Then, a treatment margin three-dimensional image 105 including a treatment margin image 104 is generated from the difference between the three-dimensional images 101a and 101b. FIG. 4 shows a cross-sectional image obtained by viewing the treatment margin three-dimensional image 105 from the required cross-sectional direction, for example, the cross-sectional direction F, and this cross-sectional image is displayed on the display unit 15 as the treatment margin cross-sectional image 106.

操作者は、図4に示された治療マージン断面画像106内の二次元的な治療マージン部像104を観察し、さらに、入力デバイス16を操作して所要断面方向を変化させながら治療マージン断面画像106内の二次元的な治療マージン部像104を観察することで、治療患部に対する治療マージンを三次元的に観察することができる。   The operator observes the two-dimensional treatment margin image 104 in the treatment margin cross-sectional image 106 shown in FIG. 4, and further operates the input device 16 to change the required cross-sectional direction while changing the required cross-sectional direction. By observing the two-dimensional treatment margin part image 104 in 106, the treatment margin for the treatment affected part can be observed three-dimensionally.

図5は、表示手段15の画面上に表示される治療マージン断面画像106の第1変形例を示す図である。   FIG. 5 is a view showing a first modification of the treatment margin cross-sectional image 106 displayed on the screen of the display means 15.

図5は、ステップS1で生成された治療マージン三次元画像105と、ステップS1cで確定された治療予定患部像102aを含む三次元画像101aとを合成し、合成された三次元画像を、所要断面方向、例えば断面方向G、からみた断面画像を生成し、この断面画像を治療マージン断面画像106として表示したものである。この治療マージン断面画像106では、治療マージン部像104と治療予定患部像102aとが相対的に区別できなくなる場合がある。その場合、双方を相対的に区別できるように治療マージン部像104の表示形態、例えば透明度、を設定するものとする。   FIG. 5 synthesizes the treatment margin three-dimensional image 105 generated in step S1 and the three-dimensional image 101a including the treatment target affected part image 102a determined in step S1c. A cross-sectional image viewed from a direction, for example, the cross-sectional direction G, is generated, and this cross-sectional image is displayed as a treatment margin cross-sectional image 106. In the treatment margin cross-sectional image 106, the treatment margin portion image 104 and the treatment planned affected portion image 102a may be relatively indistinguishable. In this case, the display form of the treatment margin image 104, for example, transparency is set so that both can be relatively distinguished.

また、治療予定患部像102aをグラフィック化して表示してもよい。その場合、双方を相対的に区別できるように治療予定患部像102aの表示形態を設定することもできる。   In addition, the treatment target affected part image 102a may be displayed as a graphic. In that case, the display form of the treatment target affected part image 102a can also be set so that both can be relatively distinguished.

操作者は、図5に示された治療マージン断面画像106内の二次元的な治療マージン部像104を観察し、さらに、入力デバイス16を操作して所要断面方向を変化させながら治療マージン断面画像106内の二次元的な治療マージン部像104を観察することで、治療患部に対する治療マージンを三次元的に観察することができる。   The operator observes the two-dimensional treatment margin portion image 104 in the treatment margin cross-sectional image 106 shown in FIG. 5, and further operates the input device 16 to change the required cross-sectional direction while changing the required cross-sectional image. By observing the two-dimensional treatment margin part image 104 in 106, the treatment margin for the treatment affected part can be observed three-dimensionally.

図6は、表示手段15の画面上に表示される治療マージン断面画像106の第2変形例を示す図である。   FIG. 6 is a view showing a second modification of the treatment margin cross-sectional image 106 displayed on the screen of the display means 15.

図6は、ステップS1で生成された治療マージン三次元画像105と、治療予定患部像102aを含む三次元画像101a内の計測ROI103aとを合成し、合成された三次元画像を、所要断面方向、例えば断面方向H、からみた断面画像を生成し、この断面画像を治療マージン断面画像106として表示したものである。この治療マージン断面画像106では、治療マージン部像104と計測ROI103aの像とが相対的に区別できなくなる場合がある。その場合、双方を相対的に区別できるように治療マージン部像104又は計測ROI103aの像の表示形態、例えば透明度、を設定するものとする。   FIG. 6 synthesizes the treatment margin three-dimensional image 105 generated in step S1 and the measurement ROI 103a in the three-dimensional image 101a including the treatment target affected part image 102a, and displays the synthesized three-dimensional image in the required cross-sectional direction, For example, a cross-sectional image viewed from the cross-sectional direction H is generated, and this cross-sectional image is displayed as a treatment margin cross-sectional image 106. In this treatment margin cross-sectional image 106, the treatment margin portion image 104 and the image of the measurement ROI 103a may be relatively indistinguishable. In this case, the display form of the treatment margin image 104 or the measurement ROI 103a, for example, transparency is set so that the two can be relatively distinguished.

なお、図6のように表示手段15の画面上に表示される計測ROI103aの位置や大きさは、キー及びトラックボール等の入力デバイス16を用いた操作によって、操作者によって調整できる。   Note that the position and size of the measurement ROI 103a displayed on the screen of the display unit 15 as shown in FIG. 6 can be adjusted by the operator by an operation using the input device 16 such as a key and a trackball.

また、CPU22は、画像サーバ13に保管された血流量等の計測結果と、調整後の計測ROI103aに対する計測結果から血流量の変化量や変化率を計算して、計算結果を画面上に表示することもできる。   Further, the CPU 22 calculates the change amount and rate of change of the blood flow from the measurement result such as the blood flow stored in the image server 13 and the measurement result for the adjusted measurement ROI 103a, and displays the calculation result on the screen. You can also

操作者は、図6に示された治療マージン断面画像106内の二次元的な治療マージン部像104を観察し、さらに、入力デバイス16を操作して所要断面方向を変化させながら治療マージン断面画像106内の二次元的な治療マージン部像104を観察することで、治療患部に対する治療マージンを三次元的に観察することができる。   The operator observes the two-dimensional treatment margin image 104 in the treatment margin cross-sectional image 106 shown in FIG. 6, and further operates the input device 16 to change the required cross-sectional direction while changing the required cross-sectional direction. By observing the two-dimensional treatment margin part image 104 in 106, the treatment margin for the treatment affected part can be observed three-dimensionally.

本発明に係る医用画像診断支援システム10、医用画像診断支援装置14、医用画像診断支援方法、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラムによると、治療前後で取得した患部の三次元画像101a(101A),101b(101B)の同一空間座標同士での輝度値変化から治療マージン断面画像106を生成して表示することで、患部の治療結果の観察に適した表示を効果的に行なうことができる。   According to the medical image diagnosis support system 10, the medical image diagnosis support device 14, the medical image diagnosis support method, the computer-readable storage medium, and the computer program according to the present invention, the three-dimensional image 101a (101A) of the affected part acquired before and after the treatment , 101b (101B), the treatment margin cross-sectional image 106 is generated from the luminance value change in the same space coordinates and displayed, and thus display suitable for observing the treatment result of the affected area can be effectively performed.

また、本発明に係る医用画像診断支援システム10、医用画像診断支援装置14、医用画像診断支援方法、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラムによると、治療前後で取得した患部の三次元画像101A,101Bの各種画像情報を一致させて三次元画像101a,101bを生成して表示し、操作者によって画面上位置の微調整が行なわれることで、三次元画像101a,101bの画面上における表示位置を簡易迅速に調整することができる。   According to the medical image diagnosis support system 10, the medical image diagnosis support device 14, the medical image diagnosis support method, the computer-readable storage medium, and the computer program according to the present invention, the three-dimensional images 101A of the affected area acquired before and after the treatment The three-dimensional images 101a and 101b are generated and displayed by matching the various image information of 101B, and the display position of the three-dimensional images 101a and 101b on the screen is adjusted by fine adjustment of the position on the screen by the operator. Easy and quick adjustment.

図7は、本発明に係る医用画像診断支援システム、医用画像診断支援装置、医用画像診断支援方法、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラムの第2実施の形態を示すブロック図である。   FIG. 7 is a block diagram showing a second embodiment of a medical image diagnosis support system, a medical image diagnosis support device, a medical image diagnosis support method, a computer-readable storage medium, and a computer program according to the present invention.

図7は、本発明に係る医用画像診断支援システム10Aを示し、この医用画像診断支援システム10Aは、患者の患部を含む撮像領域を映像化して取得した画像データから患部の像を含む三次元画像101を構築する医用画像診断装置11、例えば超音波画像診断装置11a、と、この超音波画像診断装置11aの三次元画像101から治療マージン断面画像を生成して表示させるためのコンピュータである医用画像診断支援装置14と、この医用画像診断支援装置14で生成した治療マージン断面画像106を表示する画像表示手段15と、操作者によって医用画像診断支援装置14に操作入力可能な入力デバイス16とが備えられる。   FIG. 7 shows a medical image diagnosis support system 10A according to the present invention. This medical image diagnosis support system 10A is a three-dimensional image including an image of an affected area from image data acquired by imaging an imaging area including the affected area of a patient. Medical image diagnostic apparatus 11 that constructs 101, for example, an ultrasonic image diagnostic apparatus 11a, and a medical image that is a computer for generating and displaying a treatment margin cross-sectional image from the three-dimensional image 101 of this ultrasonic image diagnostic apparatus 11a The diagnostic support apparatus 14 includes an image display unit 15 that displays a treatment margin cross-sectional image 106 generated by the medical image diagnosis support apparatus 14, and an input device 16 that can be operated and input to the medical image diagnosis support apparatus 14 by an operator. It is done.

医用画像診断支援システム10A、医用画像診断支援装置14、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラムを用いた医用画像診断支援方法では、操作者が入力デバイス16を操作することによって、図2に示されたフローチャートと同様の動作が行なわれる。   In the medical image diagnosis support system 10A, the medical image diagnosis support device 14, the computer readable storage medium, and the computer program, the medical image diagnosis support method shown in FIG. The same operation as in the flowchart is performed.

本発明に係る医用画像診断支援システム10A、医用画像診断支援装置14、医用画像診断支援方法、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラムによると、治療前後で取得した患部の三次元画像101a(101A),101b(101B)の同一空間座標同士での輝度値変化から治療マージン断面画像106を生成して表示することで、患部の治療結果の観察に適した表示を効果的に行なうことができる。   According to the medical image diagnosis support system 10A, the medical image diagnosis support device 14, the medical image diagnosis support method, the computer readable storage medium, and the computer program according to the present invention, the three-dimensional image 101a (101A) of the affected part acquired before and after the treatment , 101b (101B), the treatment margin cross-sectional image 106 is generated from the luminance value change in the same space coordinates and displayed, and thus display suitable for observing the treatment result of the affected area can be effectively performed.

また、本発明に係る医用画像診断支援システム10A、医用画像診断支援装置14、医用画像診断支援方法、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラムによると、治療前後で取得した患部の三次元画像101A,101Bの各種画像情報を一致させて三次元画像101a,101bを生成して表示し、操作者によって画面上位置の微調整が行なわれることで、三次元画像101a,101bの画面上における表示位置を簡易迅速に調整することができる。   According to the medical image diagnosis support system 10A, the medical image diagnosis support device 14, the medical image diagnosis support method, the computer readable storage medium, and the computer program according to the present invention, the three-dimensional images 101A of the affected area acquired before and after the treatment The three-dimensional images 101a and 101b are generated and displayed by matching the various image information of 101B, and the display position of the three-dimensional images 101a and 101b on the screen is adjusted by fine adjustment of the position on the screen by the operator. Easy and quick adjustment.

本発明に係る医用画像診断支援システム、医用画像診断支援装置、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラムの第1実施の形態を示すブロック図。1 is a block diagram showing a first embodiment of a medical image diagnosis support system, a medical image diagnosis support device, a computer-readable storage medium, and a computer program according to the present invention. 本発明に係る医用画像診断支援方法を示すフローチャート。The flowchart which shows the medical image diagnosis assistance method which concerns on this invention. 三次元エコーデータの取得を説明する図。The figure explaining acquisition of three-dimensional echo data. 表示手段の画面上に表示される治療マージン断面画像を示す図。The figure which shows the treatment margin cross-sectional image displayed on the screen of a display means. 表示手段の画面上に表示される治療マージン断面画像の第1変形例を示す図。The figure which shows the 1st modification of the treatment margin cross-sectional image displayed on the screen of a display means. 表示手段の画面上に表示される治療マージン断面画像の第2変形例を示す図。The figure which shows the 2nd modification of the treatment margin cross-sectional image displayed on the screen of a display means. 本発明に係る医用画像診断支援システム、医用画像診断支援装置、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラムの第2実施の形態を示すブロック図。The block diagram which shows 2nd Embodiment of the medical image diagnosis assistance system, medical image diagnosis assistance apparatus, computer-readable storage medium, and computer program which concern on this invention.

符号の説明Explanation of symbols

10,10A 医用画像診断支援システム
11 医用画像診断装置(モダリティ)
13 画像サーバ
14 医用画像診断支援装置
15 表示手段
16 入力デバイス
18 LAN
101A,101a 治療予定患部像を含む三次元画像
101B,101b 治療患部像を含む三次元画像
102A,102a 治療予定患部像
102B,102b 治療患部像
103A,103a 計測ROI
104 治療マージン部像
105 治療マージン三次元画像
106 治療マージン断面画像
10, 10A Medical image diagnosis support system 11 Medical image diagnosis apparatus (modality)
13 Image Server 14 Medical Image Diagnosis Support Device 15 Display Unit 16 Input Device 18 LAN
101A, 101a Three-dimensional images 101B, 101b including a treatment-affected part image Three-dimensional images 102A, 102a including a treatment-affected part image 102B, 102b Treatment-affected part images 103A, 103a Measurement ROI
104 treatment margin image 105 treatment margin three-dimensional image 106 treatment margin cross-sectional image

Claims (14)

患者の患部を含む撮像領域を映像化して取得した画像データから前記患部の像を含む三次元画像を構築する医用画像診断装置において、
前記医用画像診断装置で構築した三次元画像を各種画像情報と共に保管・管理する画像サーバと、
前記画像サーバに保管された複数の前記三次元画像から治療マージン断面画像を生成して表示させるための医用画像診断支援装置と、
前記医用画像診断支援装置で生成した治療マージン断面画像を表示する画像表示手段と、
操作者によって前記医用画像診断支援装置に指令信号を入力可能とする入力デバイスとを備え、前記医用画像診断装置、前記画像サーバ及び前記医用画像診断支援装置をネットワークを介してデータ通信可能に接続したことを特徴とする医用画像診断支援システム。
In a medical image diagnostic apparatus for constructing a three-dimensional image including an image of an affected area from image data obtained by imaging an imaging area including the affected area of a patient,
An image server for storing and managing a three-dimensional image constructed by the medical image diagnostic apparatus together with various image information;
A medical image diagnosis support device for generating and displaying a treatment margin cross-sectional image from the plurality of three-dimensional images stored in the image server;
Image display means for displaying a treatment margin cross-sectional image generated by the medical image diagnosis support apparatus;
An input device that allows an operator to input a command signal to the medical image diagnosis support apparatus, and the medical image diagnosis apparatus, the image server, and the medical image diagnosis support apparatus are connected via a network so that data communication is possible. A medical image diagnosis support system characterized by that.
患者の患部を含む撮像領域を映像化して取得した画像データから前記患部の像を含む三次元画像を構築する医用画像診断装置において、
前記医用画像診断装置で構築した複数の三次元画像から治療マージン断面画像を生成して表示させるための医用画像診断支援装置と、
前記医用画像診断支援装置で生成した治療マージン断面画像を表示する画像表示手段と、
操作者によって前記医用画像診断支援装置に指令信号を入力可能とする入力デバイスとを備え、前記医用画像診断装置及び前記医用画像診断支援装置をネットワークを介してデータ通信可能に接続したことを特徴とする医用画像診断支援システム。
In a medical image diagnostic apparatus for constructing a three-dimensional image including an image of an affected area from image data acquired by imaging an imaging area including the affected area of a patient,
A medical image diagnosis support apparatus for generating and displaying a treatment margin cross-sectional image from a plurality of three-dimensional images constructed by the medical image diagnostic apparatus;
Image display means for displaying a treatment margin cross-sectional image generated by the medical image diagnosis support apparatus;
And an input device that allows an operator to input a command signal to the medical image diagnosis support apparatus, and the medical image diagnosis apparatus and the medical image diagnosis support apparatus are connected via a network so that data communication is possible. Medical image diagnosis support system.
患者の患部を含む撮像領域を映像化して取得した画像データから前記患部の像を含む三次元画像を構築する医用画像診断装置において、
複数の前記三次元画像から治療マージン断面画像を生成して表示させるための医用画像診断支援装置と、
前記医用画像診断支援装置で生成した治療マージン断面画像を表示する画像表示手段と、
操作者によって前記医用画像診断支援装置に指令信号を入力可能とする入力デバイスとを備えたことを特徴とする医用画像診断支援装置。
In a medical image diagnostic apparatus for constructing a three-dimensional image including an image of an affected area from image data acquired by imaging an imaging area including the affected area of a patient,
A medical image diagnosis support apparatus for generating and displaying a treatment margin cross-sectional image from a plurality of the three-dimensional images;
Image display means for displaying a treatment margin cross-sectional image generated by the medical image diagnosis support apparatus;
A medical image diagnosis support apparatus comprising an input device that allows an operator to input a command signal to the medical image diagnosis support apparatus.
治療前及び治療後で患者の患部を含む撮像領域を映像化して取得した画像データから、治療予定患部像を含む三次元画像と治療患部像を含む三次元画像とをそれぞれ構築する医用画像診断方法において、
前記治療予定患部像を含む三次元画像と前記治療患部像を含む三次元画像とが重ね合わされて同一空間座標同士で差分され、この差分結果をグラフィック化して治療マージン三次元画像が生成される治療マージン三次元画像生成工程と、
前記治療マージン三次元画像を所要断面方向からみた治療マージン断面画像が生成される治療マージン断面画像生成工程と、
前記治療マージン断面画像が表示される治療マージン断面画像表示工程とを有することを特徴とする医用画像診断支援方法。
A medical image diagnostic method for constructing a three-dimensional image including an image of an affected area to be treated and a three-dimensional image including an image of an affected area from image data acquired by imaging an imaging area including the affected area of a patient before and after treatment, respectively. In
A treatment in which a 3D image including the image of the affected area to be treated and a 3D image including the image of the affected area to be treated are overlapped and differentiated between the same spatial coordinates, and the difference result is graphically generated to generate a treatment margin 3D image Margin 3D image generation process;
A treatment margin cross-sectional image generation step for generating a treatment margin cross-sectional image obtained by viewing the treatment margin three-dimensional image from the required cross-sectional direction;
A medical image diagnosis support method comprising: a treatment margin cross-sectional image display step for displaying the treatment margin cross-sectional image.
前記治療マージン三次元画像生成工程では、前記治療予定患部像を含む三次元画像の各種画像情報と前記治療患部像を含む三次元画像の各種画像情報とのうち一方又は両方が補正され、前記治療予定患部像を含む三次元画像及び前記治療患部像を含む三次元画像の画面上での大きさ、位置及び視点方向が一致され、各種画像情報が補正された治療予定患部像を含む三次元画像と前記治療患部像を含む三次元画像とが画面上に重ね合わせられることを特徴とする請求項4に記載の医用画像診断支援方法。 In the treatment margin three-dimensional image generation step, one or both of various image information of the three-dimensional image including the treatment target affected part image and various image information of the three-dimensional image including the therapeutic affected part image is corrected, and the treatment is performed. A three-dimensional image including a planned affected area image, and a three-dimensional image including the planned affected area image and the three-dimensional image including the treated affected area image on the screen are matched in size, position, and viewpoint direction, and various image information is corrected. 5. The medical image diagnosis support method according to claim 4, wherein a three-dimensional image including the treatment affected part image is superimposed on a screen. 前記治療マージン三次元画像生成工程では、前記治療予定患部像を含む三次元画像と前記治療患部像を含む三次元画像とが、画面上に位置変更可能に重ね合わされることを特徴とする請求項4に記載の医用画像診断支援方法。 The three-dimensional image including the treatment target affected part image and the three-dimensional image including the therapeutic affected part image are superimposed on the screen in a position-changeable manner in the treatment margin three-dimensional image generation step. 5. The medical image diagnosis support method according to 4. 前記治療予定患部像を含む三次元画像と前記治療患部像を含む三次元画像とのうち一方を択一的に前面に画面表示できるように、前記治療予定患部像を含む三次元画像と前記治療患部像を含む三次元画像が切替可能に表示されることを特徴とする請求項6に記載の医用画像診断支援方法。 The three-dimensional image including the treatment planned diseased part image and the treatment so that one of the three-dimensional image including the treatment planned diseased part image and the three-dimensional image including the treatment affected part image can be selectively displayed on the front screen. The medical image diagnosis support method according to claim 6, wherein a three-dimensional image including an affected part image is displayed in a switchable manner. 前記治療マージン三次元画像生成工程では、前記治療予定患部像を含む三次元画像と前記治療患部像を含む三次元画像とが画面上に重ね合わされて同一空間座標同士で輝度値変化が求められ、この輝度値変化が所要値を超える空間座標が抽出され、抽出された空間座標の集合領域がグラフィック化されることを特徴とする請求項4に記載の医用画像診断支援方法。 In the treatment margin three-dimensional image generation step, a three-dimensional image including the treatment target affected part image and a three dimensional image including the treatment target part image are superimposed on a screen to obtain a luminance value change between the same spatial coordinates, 5. The medical image diagnosis support method according to claim 4, wherein spatial coordinates whose luminance value changes exceed a required value are extracted, and a set area of the extracted spatial coordinates is graphicized. 前記治療マージン断面画像生成工程では、前記治療マージン三次元画像と前記治療予定患部像を含む三次元画像とが合成され、合成された三次元画像を所要断面方向からみた断面画像が生成され、前記治療マージン断面画像表示工程では、前記断面画像が前記治療マージン断面画像として表示されることを特徴とする請求項4に記載の医用画像診断支援方法。 In the treatment margin cross-sectional image generation step, the three-dimensional image including the treatment margin three-dimensional image and the treatment target affected part image are combined, and a cross-sectional image obtained by viewing the combined three-dimensional image from a required cross-sectional direction is generated, 5. The medical image diagnosis support method according to claim 4, wherein in the treatment margin cross-sectional image display step, the cross-sectional image is displayed as the treatment margin cross-sectional image. 前記治療マージン部像と前記治療予定患部像とが相対的に区別できるように、前記治療マージン部像の表示形態が設定されることを特徴とする請求項9に記載の医用画像診断支援方法。 The medical image diagnosis support method according to claim 9, wherein a display form of the treatment margin part image is set so that the treatment margin part image and the treatment target affected part image can be relatively distinguished from each other. 前記治療予定患部像がグラフィック化されて表示されることを特徴とする請求項9に記載の医用画像診断支援方法。 The medical image diagnosis support method according to claim 9, wherein the treatment target affected part image is displayed as a graphic. 前記治療マージン断面画像表示工程では、前記治療マージン三次元画像と前記治療予定患部を含む三次元画像で設定された計測ROIとが合成され、合成された三次元画像を所要断面方向からみた断面画像が生成され、前記治療マージン断面画像表示工程では、前記断面画像が前記治療マージン断面画像として表示されることを特徴とする請求項4に記載の医用画像診断支援方法。 In the treatment margin cross-sectional image display step, the treatment margin three-dimensional image and the measurement ROI set by the three-dimensional image including the treatment target affected part are combined, and the combined three-dimensional image is viewed from the required cross-sectional direction. The medical image diagnosis support method according to claim 4, wherein in the treatment margin cross-sectional image display step, the cross-sectional image is displayed as the treatment margin cross-sectional image. 上記請求項4乃至12のうちいずれか1項に記載の方法をコンピュータに実行させるプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。 A computer-readable recording medium having recorded thereon a computer program for executing the method according to any one of claims 4 to 12. 上記請求項4乃至12のうちいずれか1項に記載の方法をコンピュータに実行させることを特徴とするコンピュータプログラム。 A computer program for causing a computer to execute the method according to any one of claims 4 to 12.
JP2004275683A 2004-09-22 2004-09-22 Medical image diagnosis support system, medical image diagnosis support device, medical image diagnosis support method, computer-readable storage medium, and computer program Expired - Fee Related JP4612379B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004275683A JP4612379B2 (en) 2004-09-22 2004-09-22 Medical image diagnosis support system, medical image diagnosis support device, medical image diagnosis support method, computer-readable storage medium, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004275683A JP4612379B2 (en) 2004-09-22 2004-09-22 Medical image diagnosis support system, medical image diagnosis support device, medical image diagnosis support method, computer-readable storage medium, and computer program

Publications (2)

Publication Number Publication Date
JP2006087601A true JP2006087601A (en) 2006-04-06
JP4612379B2 JP4612379B2 (en) 2011-01-12

Family

ID=36229117

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004275683A Expired - Fee Related JP4612379B2 (en) 2004-09-22 2004-09-22 Medical image diagnosis support system, medical image diagnosis support device, medical image diagnosis support method, computer-readable storage medium, and computer program

Country Status (1)

Country Link
JP (1) JP4612379B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008119071A (en) * 2006-11-09 2008-05-29 Hitachi Medical Corp Ultrasonic diagnostic device
JP2010500085A (en) * 2006-08-11 2010-01-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ultrasound system for cerebral blood flow imaging and microbubble improvement thrombus resolution
JP2010187731A (en) * 2009-02-16 2010-09-02 Ge Medical Systems Global Technology Co Llc Medical image creation apparatus and program
JP2010274043A (en) * 2009-06-01 2010-12-09 Toshiba Corp Ultrasonic diagnostic apparatus and ultrasonic image processing program
WO2013100319A1 (en) * 2011-12-26 2013-07-04 주식회사 인피니트헬스케어 Device and method for managing medical image data by using reference coordinates
US8600129B2 (en) 2009-10-15 2013-12-03 Hitachi Aloka Medical, Ltd. Ultrasonic volume data processing device
JP2015504737A (en) * 2012-01-16 2015-02-16 コーニンクレッカ フィリップス エヌ ヴェ Imaging device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09103434A (en) * 1995-03-31 1997-04-22 Toshiba Corp Ultrasonic treatment device
JP2000217035A (en) * 1999-01-21 2000-08-04 Toshiba Corp X-ray diagnostic device
JP2002149821A (en) * 2000-09-04 2002-05-24 Ge Medical Systems Global Technology Co Llc Medical image providing method, medical software providing method, medical image centralized control server device, medical software centralized control server device, medical image providing system and medical software providing system
JP2002312483A (en) * 2001-04-16 2002-10-25 Fuji Photo Film Co Ltd Image management system and its method
JP2004105502A (en) * 2002-09-19 2004-04-08 Toshiba Corp Ultrasonic therapy apparatus
JP2004164320A (en) * 2002-11-13 2004-06-10 Canon Inc Data storage device, data storage method, program and storage medium

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09103434A (en) * 1995-03-31 1997-04-22 Toshiba Corp Ultrasonic treatment device
JP2000217035A (en) * 1999-01-21 2000-08-04 Toshiba Corp X-ray diagnostic device
JP2002149821A (en) * 2000-09-04 2002-05-24 Ge Medical Systems Global Technology Co Llc Medical image providing method, medical software providing method, medical image centralized control server device, medical software centralized control server device, medical image providing system and medical software providing system
JP2002312483A (en) * 2001-04-16 2002-10-25 Fuji Photo Film Co Ltd Image management system and its method
JP2004105502A (en) * 2002-09-19 2004-04-08 Toshiba Corp Ultrasonic therapy apparatus
JP2004164320A (en) * 2002-11-13 2004-06-10 Canon Inc Data storage device, data storage method, program and storage medium

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010500085A (en) * 2006-08-11 2010-01-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ultrasound system for cerebral blood flow imaging and microbubble improvement thrombus resolution
JP2008119071A (en) * 2006-11-09 2008-05-29 Hitachi Medical Corp Ultrasonic diagnostic device
JP2010187731A (en) * 2009-02-16 2010-09-02 Ge Medical Systems Global Technology Co Llc Medical image creation apparatus and program
JP2010274043A (en) * 2009-06-01 2010-12-09 Toshiba Corp Ultrasonic diagnostic apparatus and ultrasonic image processing program
US8600129B2 (en) 2009-10-15 2013-12-03 Hitachi Aloka Medical, Ltd. Ultrasonic volume data processing device
WO2013100319A1 (en) * 2011-12-26 2013-07-04 주식회사 인피니트헬스케어 Device and method for managing medical image data by using reference coordinates
JP2015504737A (en) * 2012-01-16 2015-02-16 コーニンクレッカ フィリップス エヌ ヴェ Imaging device
US10204415B2 (en) 2012-01-16 2019-02-12 Koninklijke Philips N.V. Imaging apparatus

Also Published As

Publication number Publication date
JP4612379B2 (en) 2011-01-12

Similar Documents

Publication Publication Date Title
JP5619924B2 (en) Ultrasound diagnostic imaging equipment
JP4664623B2 (en) Image processing display device
US7467007B2 (en) Respiratory gated image fusion of computed tomography 3D images and live fluoroscopy images
JP5348868B2 (en) Method of operating medical system, medical system and computer readable medium
US8102392B2 (en) Image processing/displaying apparatus having free moving control unit and limited moving control unit and method of controlling the same
JP4490442B2 (en) Method and system for affine superposition of an intraoperative 2D image and a preoperative 3D image
JP5417609B2 (en) Medical diagnostic imaging equipment
JP2009095671A (en) Method and system for visualizing registered image
CN106485691B (en) Information processing apparatus, information processing system, and information processing method
JP2015517868A (en) Ultrasound imaging system and method for image guidance procedures
JP2013244211A (en) Medical image processor, medical image processing method and control program
JP2009028515A (en) Medical image processor and medical image diagnostic apparatus
US10966688B2 (en) Image registration for CT or MR imagery and ultrasound imagery using mobile device
JP2007135843A (en) Image processor, image processing program and image processing method
US20110221756A1 (en) Image processing device and image processing method
Vemuri et al. Deformable three-dimensional model architecture for interactive augmented reality in minimally invasive surgery
JP2009247739A (en) Medical image processing and displaying device, computer processing program thereof, and ultrasonic diagnosing equipment
JP2020078551A (en) Medical user interface
JP2010154982A (en) X-ray computer tomographic imaging apparatus and image processor
JP5641707B2 (en) X-ray diagnostic equipment
JP6738631B2 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
JP5454841B2 (en) Medical image processing device
JP4612379B2 (en) Medical image diagnosis support system, medical image diagnosis support device, medical image diagnosis support method, computer-readable storage medium, and computer program
WO2011040015A1 (en) Device and method for displaying medical image and program
JP2009022476A (en) Image display apparatus, control method of image display apparatus and control program of image display apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100921

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101015

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4612379

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees