JP2008006188A - Medical image display processing apparatus and medical image display processing program - Google Patents
Medical image display processing apparatus and medical image display processing program Download PDFInfo
- Publication number
- JP2008006188A JP2008006188A JP2006181609A JP2006181609A JP2008006188A JP 2008006188 A JP2008006188 A JP 2008006188A JP 2006181609 A JP2006181609 A JP 2006181609A JP 2006181609 A JP2006181609 A JP 2006181609A JP 2008006188 A JP2008006188 A JP 2008006188A
- Authority
- JP
- Japan
- Prior art keywords
- image
- slice
- axial
- series
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 64
- 238000003384 imaging method Methods 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 46
- 210000001015 abdomen Anatomy 0.000 claims description 39
- 210000004072 lung Anatomy 0.000 claims description 7
- 210000004197 pelvis Anatomy 0.000 claims description 5
- 210000000038 chest Anatomy 0.000 claims 1
- 210000003128 head Anatomy 0.000 claims 1
- 210000002414 leg Anatomy 0.000 claims 1
- 210000003739 neck Anatomy 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 14
- 238000002591 computed tomography Methods 0.000 description 14
- 238000012937 correction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 210000000988 bone and bone Anatomy 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 238000002059 diagnostic imaging Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000002600 positron emission tomography Methods 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000002601 radiography Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Abstract
Description
本発明は、医療用撮像モダリティによって取得された画像データに基づいて医用画像を表示するための医用画像表示処理装置、及び、そのような装置において用いられる医用画像表示処理プログラムに関する。 The present invention relates to a medical image display processing device for displaying a medical image based on image data acquired by a medical imaging modality, and a medical image display processing program used in such a device.
近年、医療診断においては、生体の内部が表示された医用画像が多く用いられており、そのような医用画像を取得するために、Ｘ線撮影や、Ｘ線ＣＴ（computed tomography：コンピュータ断層撮影）装置や、超音波（ＵＳ）診断装置や、ＭＲＩ（magnetic resonance imaging：磁気共鳴撮像）装置や、ＰＥＴ（positron emission tomography：ポジトロン断層撮影）等の様々な技術や装置（モダリティ）が広く利用されている。それらの装置の多くはディジタル化されており、病院内での診断情報処理システム等の構築が進められている。また、それらの撮像技術の内でも、ＣＴやＭＲＩは生体の軸位断画像を比較的狭い間隔で取得して表示できるので、生体の病変部位の発見や評価に大きな成果を上げている。ここで、軸位断画像とは、被検体の体軸に直交又はほぼ直交する面（所謂、輪切り面）が表された断層像のことをいう。以下において、軸位断画像のことを、単にスライス画像とも言う。 In recent years, medical images displaying the inside of a living body are often used in medical diagnosis, and in order to acquire such medical images, X-ray imaging or X-ray CT (computed tomography) is used. Various technologies and devices (modalities) such as devices, ultrasound (US) diagnostic devices, MRI (magnetic resonance imaging) devices, and PET (positron emission tomography) are widely used. Yes. Many of these devices have been digitized, and construction of diagnostic information processing systems and the like in hospitals is underway. Among these imaging technologies, CT and MRI can obtain and display biological dislocation images at relatively narrow intervals, and thus have achieved great results in the detection and evaluation of lesion sites in the living body. Here, the axial discontinuity image refers to a tomographic image in which a plane orthogonal to or approximately orthogonal to the body axis of the subject (so-called a circular cut surface) is represented. Hereinafter, the axial dislocation image is also simply referred to as a slice image.
ところで、疾病の経過観察等のため、１人の患者に対して複数回の断層撮像が時間間隔を空けて行われることがある。この場合に、読影医は、今回の検査において得られたスライス画像と以前の検査において得られたスライス画像とを比較すること（比較読影）により、疾病の進行等をより的確に把握することができる。そこで、従来より、今回の検査において得られたスライス画像と以前の検査において得られたスライス画像とを並べて表示させることが可能な医用画像表示装置が用いられている。 By the way, a plurality of tomographic imagings may be performed for a single patient at intervals of time for disease follow-up. In this case, the interpretation doctor can more accurately grasp the progression of the disease by comparing the slice image obtained in the current examination with the slice image obtained in the previous examination (comparison interpretation). it can. Therefore, conventionally, a medical image display apparatus that can display a slice image obtained in the current examination and a slice image obtained in the previous examination side by side has been used.
図１５は、従来の医用画像表示装置において、今回の検査において得られたスライス画像と前回の検査において得られたスライス画像とを画像表示端末の表示画面に並べて表示させた様子を示す模式図である。図１５（ａ）において、画像表示端末の表示画面９０の領域９１内には、今回の検査において得られたスライス画像（ここでは、腹部）が表示されており、領域９２内には、前回の検査において得られたスライス画像（ここでは、腹部）が表示されている。 FIG. 15 is a schematic diagram showing a state where a slice image obtained in the current examination and a slice image obtained in the previous examination are displayed side by side on the display screen of the image display terminal in the conventional medical image display apparatus. is there. In FIG. 15A, the slice image (here, the abdomen) obtained in the current examination is displayed in the area 91 of the display screen 90 of the image display terminal. A slice image (here, the abdomen) obtained in the examination is displayed.
このような従来の医用画像表示装置においては、読影医が、今回の検査において得られた１シリーズのスライス画像の内の１枚のスライス画像を前回の検査において得られた１シリーズのスライス画像の内の１枚のスライス画像に関連付け、この関連付けられた１対のスライス画像に基づいて、その他のスライス画像を表示させていた。例えば、読影医が、図１５（ａ）の領域９１内に表示されているスライス画像（今回の検査において得られた腹部を表すスライス画像）を図１５（ａ）の領域９２内に表示されているスライス画像（前回の検査において得られた腹部を表すスライス画像）に関連付けることが行われていた。しかしながら、患者の姿勢や肺野の大きさ（患者が呼吸を一時停止した時に肺内に蓄積された空気量等によって変化する）が今回の検査時と前回の検査時とで異なってしまう場合がある。そのため、例えば、読影医が所定のキー（例えば、カーソル移動キー等）を操作することで、図１５（ｂ）に示すように、今回の検査において得られた１シリーズのスライス画像の内の胸部を表すスライス画像を領域９１内に表示させた場合に、領域９１内に表示されているスライス画像によって表された体部と異なる体部を表すスライス画像が領域９２内に表示されることが起こってしまっていた。 In such a conventional medical image display device, the image interpreting doctor converts one slice image of the one series of slice images obtained in the current examination into one series of slice images obtained in the previous examination. The other slice image is displayed on the basis of the associated pair of slice images. For example, the interpreting physician displays the slice image (slice image representing the abdomen obtained in the current examination) displayed in the area 91 in FIG. 15A in the area 92 in FIG. Associated with the existing slice image (slice image representing the abdomen obtained in the previous examination). However, the patient's posture and the size of the lung field (which changes depending on the amount of air accumulated in the lung when the patient pauses breathing) may differ between the current test and the previous test. is there. Therefore, for example, as shown in FIG. 15 (b), an interpreting physician operates a predetermined key (for example, a cursor movement key), so that the chest in one series of slice images obtained in this examination When a slice image representing the body part is displayed in the area 91, a slice image representing a body part different from the body part represented by the slice image displayed in the area 91 may be displayed in the area 92. It was.
また、１回の撮像によって得られた一連（１シリーズ）のスライス画像は、通常、千数百枚〜数千枚に上る。そのため、今回の検査において得られた１シリーズのスライス画像の内の１枚を前回の検査において得られた１シリーズのスライス画像の内の１枚に関連付けるための手間や負担はかなり大きい。 In addition, a series (one series) of slice images obtained by one imaging is usually in the thousands to thousands. Therefore, the effort and burden for associating one of the one series of slice images obtained in the current examination with one of the one series of slice images obtained in the previous examination is considerably large.
このような問題を解決する技術として、下記の特許文献１には、比較読影に係る読影者の負担、読影時間や読影にかかるコストを低減させることが可能な画像表示システムが開示されている。この画像表示システムは、少なくとも１つの医用画像撮影モダリティに基づく複数回の検査により取得された複数枚の断層像から成る複数組の三次元画像を出力デバイスに表示するようにした画像表示システムにおいて、複数組の三次元画像の中から、解剖学的断層位置が略同一の第１の断層像対を少なくとも１つ指定する指定手段と、複数組の三次元画像中の少なくとも１つの三次元画像の断層間隔及び第１の断層像対間の位置情報に基づいて、複数組の三次元画像の中から、解剖学的断層位置が略同一の少なくとも１つの断層像対を設定する断層像対設定手段と、設定された少なくとも１つの断層像対を出力デバイスに表示させる表示制御手段とを備えている（第２頁、図１）。この画像表示システムによれば、解剖学的断層位置を合わせるという非常に困難な操作を簡単な操作により行うことができ、読影者の負担を軽減することができる。 As a technique for solving such a problem, the following Patent Document 1 discloses an image display system that can reduce the burden on an interpreter related to comparative interpretation, interpretation time, and cost for interpretation. This image display system is an image display system configured to display a plurality of sets of three-dimensional images composed of a plurality of tomographic images acquired by a plurality of examinations based on at least one medical image photographing modality on an output device. Designation means for designating at least one first tomographic image pair having substantially the same anatomical tomographic position from a plurality of sets of three-dimensional images, and at least one of the three-dimensional images in the plurality of sets of three-dimensional images. A tomographic image pair setting means for setting at least one tomographic image pair having substantially the same anatomical tomographic position from a plurality of sets of three-dimensional images based on the positional information between the tomographic interval and the first tomographic image pair. And display control means for displaying the set at least one tomographic image pair on the output device (second page, FIG. 1). According to this image display system, a very difficult operation of aligning the anatomical tomographic position can be performed by a simple operation, and the burden on the interpreter can be reduced.
また、特許文献１には、解剖学的断層位置が略同一の断層像対を指定する処理において、その指定処理を三次元画像の特徴量を利用して自動的に行うことも開示されている（第１５頁の第１３６〜第１３９段落）。これにより、読影者が、解剖学的断層位置が略同一の断層像対を指定する必要をなくすことができる。 Patent Document 1 also discloses that, in the process of designating a tomographic image pair having substantially the same anatomical tomographic position, the designation process is automatically performed using the feature amount of the three-dimensional image. (Pp. 136-139 on page 15). This eliminates the need for the radiogram reader to designate a tomographic image pair having substantially the same anatomical tomographic position.
さらに、特許文献１には、断層像対を次々表示するために、算出したｚ座標の位置に断層像が無い場合は、その断層面からいちばん近い断層像を表示することも開示されている（第１６〜第１７頁の第１４８〜第１５３段落）。また、特許文献１には、断層像対どうしのサブトラクション画像を表示することも開示されている（第１９〜第２０頁の第１７７〜第１８１段落）。 Further, Patent Document 1 discloses that in order to display tomographic image pairs one after another, when there is no tomographic image at the calculated z coordinate position, the tomographic image closest to the tomographic plane is displayed ( 16th to 17th pages, paragraphs 148 to 153). Patent Document 1 also discloses displaying a subtraction image between tomographic images (paragraphs 177 to 181 on pages 19 to 20).
特許文献１掲載の画像表示システムにおいては、解剖学的断層位置が略同一の断層像対の指定処理を三次元画像の特徴量を利用して自動的に行うために、三次元画像間の三次元相関演算又は二次元相関演算を用いている（第１５頁の第１３６〜第１３９段落）。しかしながら、三次元画像間の三次元相関演算又は二次元相関演算の処理量は非常に多いため、処理負荷が大きく、処理時間が長くなってしまうという問題がある。また、患者の姿勢や肺野の大きさが今回の検査時と前回の検査時とで異なっているような場合や、病変部が大きくなっているような場合には、相関係数が最大である断層像対の解剖学的断層位置が略同一になるとは限らない。
そこで、上記の点に鑑み、本発明は、１つのシリーズのスライス画像に含まれているスライス画像及び当該スライス画像に表された体部と略同一の体部を表す他のシリーズのスライス画像に含まれているスライス画像を高速且つ高精度で表示部に表示させることが可能な装置と、そのような装置において用いられるプログラムとを提供することを目的とする。 Therefore, in view of the above points, the present invention provides a slice image included in one series of slice images and another series of slice images representing a body part substantially the same as the body part represented in the slice image. An object of the present invention is to provide a device capable of displaying a slice image included on a display unit at high speed and with high accuracy, and a program used in such a device.
上記課題を解決するため、本発明の１つの観点に係る医用画像表示処理装置は、被検体を撮像検査することによって得られた複数のシリーズの軸位断画像を表す画像データに基づいて軸位断画像を表示部に表示させる装置であって、複数のシリーズの軸位断画像の各々に表された体部の部位を認識する部位認識手段と、１つのシリーズの軸位断画像に含まれている軸位断画像を表示部に表示させると共に、部位認識手段による認識結果に基づいて、表示部に表示されている軸位断画像によって表された体部と略同一の体部を表す他のシリーズの軸位断画像に含まれている軸位断画像を表示部に表示させる表示処理手段とを具備する。 In order to solve the above problems, a medical image display processing device according to one aspect of the present invention is based on image data representing a plurality of series of axial discontinuity images obtained by imaging and inspecting a subject. A device for displaying a section image on a display unit, and a part recognition means for recognizing a body part represented in each of a plurality of series of axial position discontinuity images, and included in one series of axial position discontinuity images In addition to displaying the axial discontinuity image displayed on the display unit and representing the body part substantially the same as the body part represented by the axial discontinuity image displayed on the display unit based on the recognition result by the part recognition means Display processing means for displaying on the display unit the axial dislocation image included in the axial discontinuity image of the series.
また、本発明の１つの観点に係る医用画像表示処理プログラムは、被検体を撮像検査することによって得られた複数のシリーズの軸位断画像を表す画像データに基づいて軸位断画像を表示部に表示させるためのプログラムであって、複数のシリーズの軸位断画像の各々に表された体部の部位を認識する手順（ａ）と、１つのシリーズの軸位断画像に含まれている１つの軸位断画像を表示部に表示させる手順（ｂ）と、手順（ａ）における認識結果に基づいて、表示部に表示されている軸位断画像によって表された体部と略同一の体部を表す他のシリーズの軸位断画像に含まれている軸位断画像を表示部に表示させる手順（ｃ）とをＣＰＵに実行させる。 In addition, the medical image display processing program according to one aspect of the present invention displays an axial dislocation image based on image data representing a plurality of series of axial discontinuity images obtained by imaging and inspecting a subject. A program for displaying the body part included in each of a plurality of series of axial position discontinuity images (a) and included in one series of axial position discontinuity images. Based on the recognition result in step (b) for displaying one axial discontinuity image on the display unit and the procedure (a), it is substantially the same as the body part represented by the axial discontinuity image displayed on the display unit. The CPU is caused to execute a procedure (c) of displaying on the display unit the axial dislocation image included in another series of axial dislocation images representing the body part.
本発明によれば、複数のシリーズの軸位断画像について部位認識を行い、その認識結果に基づいて、１つのシリーズのスライス画像に含まれているスライス画像及び当該スライス画像に表された体部と略同一の体部を表す他のシリーズのスライス画像に含まれているスライス画像を高速且つ高精度で表示部に表示させることができる。 According to the present invention, site recognition is performed on a plurality of series of axial dislocation images, and based on the recognition result, a slice image included in one series of slice images and a body part represented in the slice image Can be displayed on the display section at high speed and with high accuracy.
以下、本発明を実施するための最良の形態について、図面を参照しながら詳しく説明する。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。
図１は、本発明の一実施形態に係る医用画像表示処理装置を含む医用画像撮影システムの構成を示すブロック図である。この医用画像撮影システムは、被検体について医用画像の撮像検査を行うモダリティ１と、本発明の一実施形態に係る医用画像表示処理装置としての画像サーバ２と、画像表示端末３と、読影用端末４とを含んでいる。これらの装置１〜４は、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格に準拠している。
Hereinafter, the best mode for carrying out the present invention will be described in detail with reference to the drawings. In addition, the same reference number is attached | subjected to the same component and description is abbreviate | omitted.
FIG. 1 is a block diagram showing a configuration of a medical image photographing system including a medical image display processing apparatus according to an embodiment of the present invention. This medical imaging system includes a modality 1 for performing a medical image imaging examination on a subject, an image server 2 as a medical image display processing device according to an embodiment of the present invention, an image display terminal 3, and an interpretation terminal. 4 is included. These devices 1 to 4 comply with the DICOM (Digital Imaging and Communications in Medicine) standard.
モダリティ１は、ＣＴ装置１ａや、ＣＲ（computed radiography）装置１ｂや、ＭＲＩ装置１ｃや、ＰＥＴ装置１ｄや、超音波診断装置（ＵＳ）１ｅ等の医用画像撮像装置を含んでいる。これらのモダリティ１ａ〜１ｅは、撮像検査を行うことにより画像データを生成して、画像付帯情報と共に画像サーバ２に出力する。 The modality 1 includes a medical imaging apparatus such as a CT apparatus 1a, a CR (computed radiography) apparatus 1b, an MRI apparatus 1c, a PET apparatus 1d, and an ultrasonic diagnostic apparatus (US) 1e. These modalities 1a to 1e generate image data by performing an imaging inspection, and output the image data to the image server 2 together with the image supplementary information.
画像サーバ２は、モダリティ１によって取得された画像データを保管及び管理するＰＡＣＳ（Picture Archiving and Communication System：医用画像情報システム）用のサーバである。画像サーバ２は、後述する読影用端末４の要求に従って、画像データを画像表示端末３に出力する。 The image server 2 is a server for PACS (Picture Archiving and Communication System) that stores and manages the image data acquired by the modality 1. The image server 2 outputs the image data to the image display terminal 3 in accordance with a request from the interpretation terminal 4 described later.
図１に示すように、画像サーバ２は、制御部１１と、部位認識部１２と、格納部１３と、表示処理部１４とを有している。制御部１１、部位認識部１２、及び、表示処理部１４は、例えば、ＣＰＵ（中央演算処理装置）と本実施形態に係る医用画像表示処理プログラムによって構成されている。 As illustrated in FIG. 1, the image server 2 includes a control unit 11, a part recognition unit 12, a storage unit 13, and a display processing unit 14. The control unit 11, the part recognition unit 12, and the display processing unit 14 are configured by, for example, a CPU (Central Processing Unit) and a medical image display processing program according to the present embodiment.
制御部１１は、モダリティ１から出力された画像データを格納部１３に格納させる。また、制御部１１は、入力された画像データによって表される画像の方向（軸位断（axial）、冠状断（coronal）、矢状断方向（sagittal）等）を確認し、軸位断方向である場合には、その画像データを部位認識部１２にも出力する。なお、画像の方向は、例えば、ＤＩＣＯＭタグ（００２０，００３７）：Image Orientation(Patient)、又は、（００２０，００２０）：Patient Orientationが付された画像付帯情報によって取得される。 The control unit 11 stores the image data output from the modality 1 in the storage unit 13. Further, the control unit 11 confirms the direction of the image (axial, coronal, sagittal, etc.) represented by the input image data, and the axial direction. If it is, the image data is also output to the part recognition unit 12. Note that the orientation of the image is acquired by, for example, image supplementary information with a DICOM tag (0020,0037): Image Orientation (Patient) or (0020,0020): Patient Orientation.
部位認識部１２は、１シリーズの画像データによって表される複数の軸位断画像（以下において、「スライス画像」ともいう）に基づいて、各軸位断画像に被検体のどの部位が表されているかを認識する。そして、認識結果（部位）を含む情報（部位情報）を生成し、画像データに関連付けて格納部１３に格納させる。部位は、例えば、「Ｈｅａｄ（頭）」、「Ｎｅｃｋ（頸）」、「Ｃｈｅｓｔ（胸）」等のように、文字列によって示されても良いし、１：ｈｅａｄ、２：ｎｅｃｋ、３：ｃｈｅｓｔ等のように、予めコード化された整数値によって示されても良い。 The site recognizing unit 12 indicates which site of the subject is represented in each axial location image based on a plurality of axial location images (hereinafter also referred to as “slice images”) represented by one series of image data. Recognize Then, information (part information) including the recognition result (part) is generated and stored in the storage unit 13 in association with the image data. The part may be indicated by a character string such as “Head (head)”, “Neck (neck)”, “Chest (chest)”, or the like: 1: head, 2: neck, 3: It may be indicated by a pre-coded integer value, such as chest.
格納部１３は、例えば、画像サーバ２に内蔵されているハードディスクドライブであり、制御部１１の制御の下で、画像データ及びその画像付帯情報や、部位認識部１２によって生成された部位情報や、部位認識部１２を動作させるための制御プログラム等を格納する。なお、記録媒体としては、ハードディスクの他に、ＭＯ、ＭＴ、ＲＡＭ、ＣＤ−ＲＯＭ、又は、ＤＶＤ−ＲＯＭ等を用いても良く、その場合には、それらの記録媒体を駆動する駆動装置が、画像サーバ２に内蔵され、又は、画像サーバ２の外部に接続される。 The storage unit 13 is, for example, a hard disk drive built in the image server 2, and under the control of the control unit 11, image data and its image supplementary information, part information generated by the part recognition part 12, A control program or the like for operating the part recognition unit 12 is stored. In addition to the hard disk, MO, MT, RAM, CD-ROM, DVD-ROM, or the like may be used as the recording medium. In that case, a drive device that drives the recording medium includes: It is built in the image server 2 or connected to the outside of the image server 2.
表示処理部１４は、スライス画像を指示するための表示スライス画像指示情報を読影用端末４から受信し、１つのシリーズのスライス画像（例えば、今回の検査において得られた複数のスライス画像）の中の表示スライス画像指示情報に応じたスライス画像を画像表示端末３に表示させると共に、表示スライス画像指示情報に応じて画像表示端末３に表示されたスライス画像によって表された体部と略同一の体部を表す他のシリーズのスライス画像（例えば、前回の検査において得られた複数のスライス画像）の中のスライス画像を画像表示端末３に表示させる。 The display processing unit 14 receives display slice image instruction information for instructing a slice image from the interpretation terminal 4, and in one series of slice images (for example, a plurality of slice images obtained in the current examination). The slice image corresponding to the display slice image instruction information is displayed on the image display terminal 3, and the body substantially the same as the body part represented by the slice image displayed on the image display terminal 3 according to the display slice image instruction information A slice image in another series of slice images (for example, a plurality of slice images obtained in the previous examination) representing the part is displayed on the image display terminal 3.
画像表示端末３は、検査画像が表示される端末装置であり、高精細なディスプレイを備えている。なお、図１に示す画像表示端末３の画面３ａには、複数の軸位断画像が模式的に示されている。
読影用端末４は、ユーザ（読影医）が、画像表示端末３に表示された検査画像を参照しながら読影レポート等を作成するために用いられる装置であり、読影レポート等を表示する画面４ａや、キーボード等の入力デバイス４ｂ等を備えている。
The image display terminal 3 is a terminal device that displays an inspection image, and includes a high-definition display. Note that a plurality of axial dislocation images are schematically shown on the screen 3a of the image display terminal 3 shown in FIG.
The interpretation terminal 4 is a device used by a user (interpretation doctor) to create an interpretation report while referring to the examination image displayed on the image display terminal 3, and includes a screen 4a for displaying the interpretation report and the like. And an input device 4b such as a keyboard.
次に、図１に示す部位認識部１２の構成及び動作について、図２〜図４を参照しながら説明する。
図２は、図１に示す部位認識部１２の機能を示すブロック図である。図２に示すように、部位認識部１２は、特徴量計算部２１と、部位確信度計算部２２と、スコアテーブル記憶部２２ａと、部位決定処理部２３と、部位情報記憶部２４と、部位修正処理部２５とを含んでいる。この内の特徴量計算部２１〜部位決定処理部２３は、各スライス画像について、そこに表された部位を暫定的に決定するように動作し、部位修正処理部２５は、複数のスライス画像の部位情報に基づいて、各スライス画像について暫定的に決定された部位を修正するように動作する。なお、スライス画像の部位情報については後述する。
Next, the configuration and operation of the part recognition unit 12 shown in FIG. 1 will be described with reference to FIGS.
FIG. 2 is a block diagram illustrating functions of the part recognition unit 12 illustrated in FIG. As shown in FIG. 2, the part recognition unit 12 includes a feature amount calculation unit 21, a part certainty factor calculation unit 22, a score table storage unit 22a, a part determination processing unit 23, a part information storage unit 24, and a part. And a correction processing unit 25. Among these, the feature amount calculation unit 21 to the region determination processing unit 23 operate so as to tentatively determine the region represented there for each slice image, and the region correction processing unit 25 performs the determination of a plurality of slice images. Based on the region information, the region tentatively determined for each slice image is corrected. The part information of the slice image will be described later.
図３は、部位認識部１２の動作を示すフローチャートである。制御部１１（図１）において軸位断画像を表すものであると判断された画像データが部位認識部１２に入力されると、以下に説明する部位認識動作が開始される。
ステップＳ１において、画像データ及びその画像付帯情報は、１スライス分ごとに、特徴量計算部２１に入力される。ここで、画像付帯情報には、画像の方向を表す情報（（００２０，００３７）：Image Orientation(Patient)、又は、（００２０，００２０）：Patient Orientation）や、１画素のピッチを表す情報（（００２８，００３０）：Pixel Spacing）や、スライスの厚さを表す情報（（００１８，００５０）：Slice Thickness）や、１行及び１列に含まれる画素数を表す情報（（００２８，００１０）：Raws、及び、（００２８，００１１）：Columns）や、画像の左上位置の３次元座標を表す情報（（００２０，００３２）：Image Position(Patient)）等が含まれる。ここで、括弧内は、各情報のＤＩＣＯＭタグ及び属性名を示している。
FIG. 3 is a flowchart showing the operation of the part recognition unit 12. When image data determined to represent an axial dislocation image by the control unit 11 (FIG. 1) is input to the region recognition unit 12, a region recognition operation described below is started.
In step S <b> 1, the image data and the image supplementary information are input to the feature amount calculation unit 21 for each slice. Here, the image supplementary information includes information ((0020, 0037): Image Orientation (Patient) or (0020, 0020): Patient Orientation) representing information indicating the direction of the image and information representing the pitch of one pixel (( 0028, 0030): Pixel Spacing), information indicating slice thickness ((0018, 0050): Slice Thickness), information indicating the number of pixels included in one row and one column ((0028, 0010): Raws , And (0028, 0011): Columns) and information ((0020, 0032): Image Position (Patient)) representing the three-dimensional coordinates of the upper left position of the image. Here, the parentheses indicate the DICOM tag and attribute name of each information.
ステップＳ２において、特徴量計算部２１は、１つのスライス画像について特徴量を算出する。ここで、特徴量とは、スライス画像に表された体部の特徴を数値化したものである。特徴量は、例えば、次の（ａ）に示すように、スライス画像に表された体部の形状に基づいて算出される。また、各画素データの値（即ち、画素の輝度）が体部の特性（組織性状等）に対応している場合には、次の（ｂ）や（ｃ）に示すように、その値に応じて特徴量を算出しても良い。例えば、ＣＴ画像における画素データの値はＣＴ値によって決定されるが、この値は、体部を透過した放射線量を表す物理量である。なお、水のＣＴ値は０ＨＵであり、空気領域のＣＴ値は−１０００ＨＵ程度であり、骨領域のＣＴ値は２５０ＨＵ〜３０００ＨＵ程度である。 In step S2, the feature amount calculation unit 21 calculates a feature amount for one slice image. Here, the feature amount is a numerical value of the feature of the body part represented in the slice image. The feature amount is calculated based on the shape of the body part represented in the slice image, for example, as shown in (a) below. In addition, when the value of each pixel data (that is, the luminance of the pixel) corresponds to the characteristics of the body part (organizational properties, etc.), the value is set as shown in the following (b) and (c). The feature amount may be calculated accordingly. For example, the value of the pixel data in the CT image is determined by the CT value, and this value is a physical quantity representing the amount of radiation that has passed through the body part. The CT value of water is 0 HU, the CT value of the air region is about −1000 HU, and the CT value of the bone region is about 250 HU to 3000 HU.
（ａ）体部全体の円形度
円形度ρは、対象領域の面積Ｓ及びその周囲の長さＬを用いて、次式（１）によって算出される。
ρ＝４πＳ／Ｌ２ …（１）
円形度ρは、対象領域の形状が真円に近づくほど１．０に近づき、形状が真円から離れるほど（例えば、楕円率が１から離れるほど）小さくなる。例えば、対象領域が頭部である場合には、円形度は比較的高くなる。反対に、対象領域が胸部や腹部である場合には、円形度は比較的低くなる。
（ｂ）空気領域特徴量：（空気領域を示すＣＴ値の画素数）／（体部全体の画素数）
例えば、対象領域が胸部である場合には、肺が存在しているために空気領域は比較的広くなる。反対に、対象領域が頭部である場合には、空気領域はほぼゼロとなる。
（ｃ）骨領域特徴量：（骨領域を示すＣＴ値の画素数）／（体部全体の画素数）
例えば、対象領域が腹部である場合には、体部全体に対する骨部の領域は比較的狭い範囲となる。反対に、対象領域が脚部である場合には、体部全体に対して骨部が多くの割合を占める。
(A) Circularity ρ of the whole body part The circularity ρ is calculated by the following expression (1) using the area S of the target region and the surrounding length L.
ρ = 4πS / L 2 (1)
The degree of circularity ρ approaches 1.0 as the shape of the target region approaches a perfect circle, and decreases as the shape moves away from the perfect circle (for example, as the ellipticity moves away from 1). For example, when the target region is the head, the circularity is relatively high. On the other hand, when the target region is the chest or abdomen, the circularity is relatively low.
(B) Air region feature amount: (number of pixels of CT value indicating air region) / (number of pixels of the whole body)
For example, when the target region is the chest, the air region is relatively wide because the lungs are present. On the other hand, when the target area is the head, the air area is almost zero.
(C) Bone region feature amount: (number of pixels of CT value indicating bone region) / (number of pixels of entire body part)
For example, when the target region is the abdomen, the region of the bone portion relative to the entire body portion is a relatively narrow range. On the other hand, when the target region is the leg, the bone portion occupies a large proportion of the whole body portion.
次に、ステップＳ３において、部位確信度計算部２２は、特徴量計算部２１によって計算された特徴量に基づいて、部位確信度を算出する。ここで、部位確信度とは、対象部位が、「ある部位」である可能性（「頭部」らしさ、「胸部」らしさ等）を数値化したものである。本実施形態において、部位確信度は、予め用意されているスコアテーブルを用いて算出される。 Next, in step S <b> 3, the part certainty factor calculation unit 22 calculates the part certainty factor based on the feature amount calculated by the feature amount calculation unit 21. Here, the part certainty factor is a numerical value of the possibility that the target part is “a part” (like “head” or “chest”). In this embodiment, the part certainty factor is calculated using a score table prepared in advance.
図４は、部位確信度の算出に用いられるスコアテーブルの例を示している。このスコアテーブルは、空気領域特徴量（空気量）の値に基づいて、「頭部」らしさ、「胸部」らしさ、「腹部」らしさ、及び、「脚部」らしさを求める際に用いられる。この他に、部位の項目として、「骨盤部」や「肺野」を挙げても良い。また、隣接する２つの部位の境界（境界領域）や、複数の部位が混在している領域（混在領域、例えば、頭部と頸部、又は、胸部と腹部等）を示す項目（例えば、「頭頸部」又は「胸腹部」）を挙げても良い。 FIG. 4 shows an example of a score table used for calculating the part certainty factor. This score table is used when obtaining the “head” -likeness, “chest” -likeness, “abdomen-like” -likeness, and “leg-likeness” -likeness based on the value of the air region feature quantity (air quantity). In addition, “pelvic part” and “lung field” may be cited as the item of the part. In addition, an item (for example, “a boundary region) between two adjacent parts or a region where a plurality of parts are mixed (a mixed region, for example, the head and neck, or the chest and abdomen). Head and neck ”or“ chest and abdomen ”).
例えば、あるＣＴ画像に表された体部の空気領域特徴量が６０％である場合に、スコアテーブルにおいて６０％が含まれる「４０〜８０％」の欄を参照すると、その体部の「頭部」らしさのスコアは−１．０であり、「胸部」らしさのスコアは０．８であり、「腹部」らしさのスコアは−０．２であり、「脚部」らしさのスコアは−１．０であることがわかる。
このようなスコアテーブルは、特徴量ごとに作成され、スコアテーブル記憶部２２ａに記憶されている。スコアテーブルは、統計に基づいて作成されても良いし、ユーザ（医師等）の経験等に基づいて意図的に作成されても良い。
For example, when the air region feature amount of a body part represented in a certain CT image is 60%, referring to the “40-80%” column containing 60% in the score table, the “head” of the body part The score for “part” is −1.0, the score for “chest” is 0.8, the score for “abdomen” is −0.2, and the score for “leg” is −1. It turns out that it is 0.0.
Such a score table is created for each feature amount and stored in the score table storage unit 22a. The score table may be created based on statistics, or may be intentionally created based on the experience of a user (doctor or the like).
部位確信度計算部２２は、そのようなスコアテーブルを参照することによって、各特徴量について各「部位」らしさのスコアを求め、それらのスコアを部位ごとに加算する。そのようにして得られた部位ごとのスコアの総和が、部位確信度となる。 The part certainty factor calculation unit 22 obtains a score of each “part" likeness for each feature amount by referring to such a score table, and adds the scores for each part. The sum of the scores for each part obtained in this way is the part certainty factor.
再び図３を参照すると、ステップＳ４において、部位決定処理部２３は、ステップＳ３において得られた部位確信度の内で値が最も大きいものを、そのスライス画像に表された体部の部位として仮決定する。その際に、部位確信度の値が大きい部位が複数あり、それらの差が所定の範囲内（例えば、１０％以内）である場合には、両方の部位を採用しても良い。例えば、胸部と腹部の部位確信度が大きい場合には、そのスライスの部位を「胸部」又は「腹部」とする。或いは、境界領域又は混在領域を示す項目（例えば、「胸腹部」）がある場合には、それを採用しても良い。 Referring to FIG. 3 again, in step S4, the part determination processing unit 23 temporarily sets the part confidence factor obtained in step S3 having the largest value as the part of the body part represented in the slice image. decide. In that case, when there are a plurality of parts having a large part certainty value and the difference between them is within a predetermined range (for example, within 10%), both parts may be adopted. For example, when the certainty factor of the chest and abdomen is large, the slice part is set to “chest” or “abdomen”. Alternatively, if there is an item (for example, “chest and abdomen”) indicating a boundary region or a mixed region, it may be adopted.
ステップＳ５において、部位情報記憶部２４は、ステップＳ２において得られた特徴量や、ステップＳ３において得られた部位確信度や、ステップＳ４において仮決定された部位を、そのスライス画像の部位情報（部位に関する情報）として保存する。なお、特徴量については、必ずしも全てを記憶しておく必要はなく、所定の特徴量（例えば、後述するステップＳ８において用いられる特徴量）のみを保存するようにしても良い。
このようなステップＳ１〜Ｓ５の動作は、１シリーズに含まれる全てのスライス画像について行われる（ステップＳ６）。
In step S5, the part information storage unit 24 displays the feature amount obtained in step S2, the part certainty obtained in step S3, the part provisionally determined in step S4, and part information (parts) of the slice image. Information). Note that it is not always necessary to store all the feature amounts, and only predetermined feature amounts (for example, feature amounts used in step S8 described later) may be stored.
Such operations in steps S1 to S5 are performed for all slice images included in one series (step S6).
全てのスライス画像についての部位情報が得られると、ステップＳ７において、部位修正処理部２５は、部位情報記憶部２４に保存されている部位情報を、スライス順に整列する。モダリティ１（図１）において生成された画像データは、画像サーバ２にスライス順に送信されるとは限らないからである。なお、スライスの順序は、画像付帯情報の内の画像位置情報（（００２０，００３２）：Image Position (Patient)）に基づいて判断される。或いは、ステップＳ７の替わりに、部位情報記憶部２４が、ステップＳ５において、画像位置情報に基づいて部位情報をスライス順に整列しながら保存するようにしても良い。 When the part information about all slice images is obtained, the part correction processing unit 25 arranges the part information stored in the part information storage unit 24 in the order of slices in step S7. This is because the image data generated in the modality 1 (FIG. 1) is not always transmitted to the image server 2 in the slice order. Note that the slice order is determined based on image position information ((0020, 0032): Image Position (Patient)) in the image supplementary information. Alternatively, instead of step S7, the part information storage unit 24 may store the part information in step S5 while arranging the part information in the order of slices based on the image position information.
次に、ステップＳ８において、部位修正処理部２５は、各スライスについて仮決定された部位を、複数のスライス画像の部位情報を用いて修正する。修正方法としては、例えば、次の（１）〜（３）に示す方法が挙げられる。
（１）隣接スライスの部位情報を用いる方法
この方法は、隣接スライスの位置関係に基づいて、あるスライス画像について仮決定された部位を修正する方法である。
仮決定された部位が、例えば、第１〜第５スライスにおいて頸部（ｎｅｃｋ）、第６スライスにおいて頭部（ｈｅａｄ）、第７〜第１０スライスにおいて頸部（ｎｅｃｋ）、第１１〜第１５スライスにおいて胸部（ｃｈｅｓｔ）、第１６スライスにおいて脚部（ｌｅｇ）、第１７〜第２０スライスにおいて胸部（ｃｈｅｓｔ）、第２１〜第３０スライスにおいて腹部（ａｂｄｏｍｅｎ）となっている場合について検討する。この場合に、第６スライスの前後のスライスにおいて頸部となっているので、第６スライスが頭部であるというのは認識誤りであり、正しくは頸部である。また、第１６スライスの前後のスライスにおいては胸部となっているので、第１６スライスが脚部であるというのは認識誤りであり、正しくは胸部である。このように、あるスライス画像について仮決定された部位が前後のスライス画像の部位と異なっている場合には、前後のスライス画像を参照することにより、そのスライス画像の部位が修正される。
Next, in step S8, the part correction processing unit 25 corrects the part provisionally determined for each slice using the part information of the plurality of slice images. Examples of the correction method include the following methods (1) to (3).
(1) Method Using Region Information of Adjacent Slice This method is a method of correcting a region provisionally determined for a certain slice image based on the positional relationship between adjacent slices.
The tentatively determined parts are, for example, the neck (neck) in the first to fifth slices, the head (head) in the sixth slice, the neck (neck) in the seventh to tenth slices, and the first to fifteenth. Consider the case where the slice is the chest, the 16th slice is the leg, the 17th to 20th slices are the chest, and the 21st to 30th slices are the abdomen. In this case, the slices before and after the sixth slice are the cervical part, so that the sixth slice is the head is a recognition error, and correctly the cervical part. Further, since the slices before and after the 16th slice are the chest, it is a recognition error that the 16th slice is the leg, and correctly the chest. As described above, when the part temporarily determined for a certain slice image is different from the parts of the preceding and succeeding slice images, the part of the slice image is corrected by referring to the preceding and succeeding slice images.
（２）特徴量を用いる方法
この方法は、体軸方向における特徴量の変化に基づいて、あるスライス画像について仮決定された部位を修正する方法である。
図５の（ａ）は、空気領域特徴量をスライス位置（体軸方向）順に示す図であり、図５の（ｂ）は、空気領域特徴量の微分値を示す図である。図５の（ｂ）に示すように、空気領域特徴量の変化を被検体の上部（頭部側）から下部（脚部側）に向けて観察すると、空気領域特徴量が突然増加し始める部分が存在する。この部分を胸部の開始位置とする。また、さらに脚部側に向けて観察すると、空気領域特徴量が減少から増加に転じる部分が存在する。この部分を胸部と腹部の境界とする。そして、胸部の開始位置から胸部と腹部との境界との間に、胸部以外の部位が仮決定されているスライス画像が存在する場合には、そのスライス画像の部位が胸部に修正される。
(2) Method Using Feature Amount This method is a method of correcting a part temporarily determined for a certain slice image based on a change in the feature amount in the body axis direction.
(A) of FIG. 5 is a figure which shows an air area | region feature-value in order of a slice position (body-axis direction), and (b) of FIG. 5 is a figure which shows the differential value of an air area | region feature-value. As shown in FIG. 5B, when the change of the air region feature amount is observed from the upper part (head side) to the lower part (leg side) of the subject, the air region feature amount starts to suddenly increase. Exists. This is the starting position of the chest. Further, when observed further toward the leg side, there is a portion where the air region feature amount starts to increase from the decrease. This is the border between the chest and abdomen. If there is a slice image in which a part other than the chest is provisionally determined between the start position of the chest and the boundary between the chest and the abdomen, the part of the slice image is corrected to the chest.
（３）マッチングカーブを利用する方法
この方法は、被検体（例えば、人体）における部位の通常の配置を参照することにより、各スライス画像について仮決定された部位を修正する方法である。
まず、図６に示すように、各スライス画像について仮決定された部位を、被検体の上部（頭部側）から下部（脚部側）に向けてスライス順に配置する。図６に示すとおり、この部位認識結果には、頭部（Ｈｅａｄ）と頸部（Ｎｅｃｋ）とが交互に現れている領域や、胸部（Ｃｈｅｓｔ）の間に頸部が現れている領域が見られることから、仮決定された部位には多くの認識誤りが含まれるものと考えられる。
(3) Method Using Matching Curve This method is a method of correcting the part temporarily determined for each slice image by referring to the normal arrangement of the part in the subject (for example, human body).
First, as shown in FIG. 6, the part temporarily determined for each slice image is arranged in the order of slices from the upper part (head side) to the lower part (leg part side) of the subject. As shown in FIG. 6, the region recognition result shows an area where the head (Head) and the neck (Neck) appear alternately, and an area where the neck appears between the chest (Chest). Therefore, it is considered that many recognition errors are included in the tentatively determined part.
次に、図７に示すように、図６に示す部位認識結果と予め作成された参照部位との間のマッチングカーブを探索する。ここで、人体の部位は、頭部→頸部→胸部→腹部の順に配置されているので、図７の縦軸に示すように、それらの部位がこのような順序で配置された参照部位を予め作成しておく。 Next, as shown in FIG. 7, a matching curve between the part recognition result shown in FIG. 6 and a reference part created in advance is searched. Here, since the parts of the human body are arranged in the order of the head, neck, chest, and abdomen, as shown in the vertical axis of FIG. Create in advance.
マッチングカーブを探索する際には、部位認識結果と参照部位とが不一致である場合にコストがかかるようにし、コストが最小となるようなカーブを求める。探索手法としては、最適化問題を解くための様々な手法を適用することができる。以下に、その１つとして良く知られている動的計画法（dynamic programming）を用いたマッチングカーブの探索方法を説明する。 When searching for a matching curve, a cost is calculated when the part recognition result and the reference part do not coincide with each other and the cost is minimized. As the search method, various methods for solving the optimization problem can be applied. The matching curve search method using dynamic programming, which is well known as one of them, will be described below.
まず、図８に示すような重みマップを作成する。図８において、列はスライス番号に対応しており、行は部位に対応している。この重みマップにおいて、仮決定されている部位は、重みがゼロになるように設定されている（太枠の領域）。例えば、図６を参照すると、最初のスライスは頭部と仮決定されているので、重みマップにおけるスライス番号１の頭部（Ｈｅａｄ）のセルの値は「０．０」となっている。また、それ以外のセルについては、ゼロより大きい値が設定される。具体的には、各スライス画像について確信度が算出されている場合には、その確信度と仮決定された部位の確信度との差の値を設定しても良いし、それとは異なる所定の値の値を設定しても良い。 First, a weight map as shown in FIG. 8 is created. In FIG. 8, columns correspond to slice numbers, and rows correspond to parts. In this weight map, the tentatively determined part is set so that the weight becomes zero (bold frame region). For example, referring to FIG. 6, since the first slice is provisionally determined as the head, the value of the cell of the head (Head) of slice number 1 in the weight map is “0.0”. For other cells, a value greater than zero is set. Specifically, when the certainty factor is calculated for each slice image, a difference value between the certainty factor and the certainty factor of the provisionally determined part may be set, or a different predetermined value may be set. A value may be set.
次に、図９に示すようなコストマップを作成する。図９において、各セル（ｎ，ｍ）のコストは次のように設定される。ここで、ｎはスライス番号を示しており、ｍは部位番号（１：Ｈｅａｄ、２：Ｎｅｃｋ、３：Ｃｈｅｓｔ、４：Ａｂｄｏｍｅｎ）を示している。
（１，１）：重みマップにおける（１，１）の値（図８参照）
（ｎ，１）：重みマップにおける（ｎ−１，１）の値＋所定の値
（１，ｍ）：重みマップにおける（１，ｍ−１）の値＋所定の値
（ｎ，ｍ）：次の（ｉ）〜（iii）の内の最小値
（ｉ）コストマップにおける（ｎ−１，ｍ−１）の値
＋重みマップにおける（ｎ，ｍ）の値
（ii）コストマップにおける（ｎ，ｍ−１）の値
＋重みマップにおける（ｎ，ｍ）の値＋所定の値
（iii）コストマップにおける（ｎ−１，ｍ）の値
＋重みマップにおける（ｎ，ｍ）の値＋所定の値
Next, a cost map as shown in FIG. 9 is created. In FIG. 9, the cost of each cell (n, m) is set as follows. Here, n indicates a slice number, and m indicates a part number (1: Head, 2: Neck, 3: Chest, 4: Abomen).
(1,1): Value of (1,1) in the weight map (see FIG. 8)
(N, 1): (n−1, 1) value in weight map + predetermined value (1, m): (1, m−1) value in weight map + predetermined value (n, m): The minimum value among the following (i) to (iii)
(I) Value of (n-1, m-1) in the cost map
+ Value of (n, m) in weight map
(Ii) Value of (n, m-1) in the cost map
+ (N, m) value in weight map + predetermined value
(Iii) Value of (n-1, m) in the cost map
+ (N, m) value in weight map + predetermined value
次に、コストマップを、右側から左側に向かって、周辺の最小値を順次辿って行く。それにより、スライス番号と部位との対応マップが作成される。
図７に示すように、そのようにして得られたマッチングカーブに基づいて、仮決定された部位を参照部位における対応部位に置き換えることにより、部位の修正が行われる。
Next, the minimum value around the cost map is sequentially traced from the right side to the left side. Thereby, a correspondence map between slice numbers and parts is created.
As shown in FIG. 7, the part is corrected by replacing the provisionally determined part with the corresponding part in the reference part based on the matching curve thus obtained.
再び、図３を参照すると、ステップＳ８において、部位修正処理部２５は、修正後の部位情報を画像付帯情報として格納部１３に出力して保存させる。部位認識部１２から出力された部位情報は、画像情報データベースによって管理するようにしても良いし、格納部１３に既に格納されている画像データに、タグとして書き込むようにしても良い。 Referring to FIG. 3 again, in step S8, the part correction processing unit 25 outputs the corrected part information as image supplementary information to the storage unit 13 for storage. The part information output from the part recognition unit 12 may be managed by an image information database, or may be written as a tag in the image data already stored in the storage unit 13.
以上説明したように、本実施形態においては、１シリーズに含まれる複数のスライス画像の各々について部位認識を行った後で、複数スライスに関する部位情報の相互関係を用いて、各スライスの部位情報を修正する。このように、２つの段階を経て部位認識を行う利点は、次の通りである。即ち、１シリーズの全ての画像データがサーバ２に入力されるのを待つことなく、入力されたスライス順に部位認識処理を開始できるので、比較的高速に部位認識結果を得ることができる。また、各スライスについて得られた部位認識結果を、複数のスライス画像の集合によって表される被検体の３次元情報に基づいて修正するので、大きな部位認識誤りを低減することができる。従って、効率良く、且つ、正確な部位認識を行うことが可能となる。 As described above, in the present embodiment, after performing site recognition for each of a plurality of slice images included in one series, the site information of each slice is obtained using the correlation of the site information regarding the multiple slices. Correct it. Thus, the advantage of performing site recognition through two stages is as follows. That is, since the part recognition process can be started in the order of the input slices without waiting for all the image data of one series to be input to the server 2, a part recognition result can be obtained at a relatively high speed. Further, since the part recognition result obtained for each slice is corrected based on the three-dimensional information of the subject represented by a set of a plurality of slice images, a large part recognition error can be reduced. Therefore, it is possible to perform efficient and accurate site recognition.
ここで、本実施形態において、部位認識部１２（図２）は、入力された全てのスライス画像について部位認識処理を行っている。しかしながら、部位認識処理を開始する前にＤＩＣＯＭタグを参照し、撮像部位を表す情報（（００１８，００１５）：Body Part）が存在しないスライス画像のみに対して部位認識処理を行うようにしても良い。撮像段階において部位が付される場合もあるからである。 Here, in this embodiment, the part recognition part 12 (FIG. 2) is performing the part recognition process about all the input slice images. However, before starting the part recognition process, the DICOM tag may be referred to and the part recognition process may be performed only on the slice image in which the information ((0018, 0015): Body Part) indicating the imaging part does not exist. . This is because a part may be attached at the imaging stage.
或いは、部位認識部１２は、連続して入力されるスライス画像に対して、所定のスライス間隔で間引きしながら部位認識処理を行うようにしても良い。その場合には、全体として処理を高速化することが可能となる。さらに、部位認識部１２は、連続して入力されるスライス画像の内の所定の範囲についてのみ、部位認識処理を行うようにしても良い。例えば、診断対象が被検体の腹部である場合には、腹部の開始領域（又は、胸部及び腹部の混在領域）が認識できれば良い。その場合には、例えば、スライス画像の３次元座標を表す情報（ＤＩＣＯＭタグ（００２０，００３２）：Image Position(Patient)）から判断して明らかに脚部と考えられる範囲については、部位認識処理を省略しても良い。 Alternatively, the part recognizing unit 12 may perform the part recognizing process on the continuously input slice images while thinning out at a predetermined slice interval. In that case, it becomes possible to speed up the processing as a whole. Furthermore, the part recognizing unit 12 may perform the part recognizing process only for a predetermined range of slice images input continuously. For example, when the diagnosis target is the abdomen of the subject, it is only necessary to recognize the start region of the abdomen (or the mixed region of the chest and abdomen). In that case, for example, a region recognition process is performed for a range that is clearly considered to be a leg as determined from information (DICOM tag (0020, 0032): Image Position (Patient)) representing the three-dimensional coordinates of the slice image. May be omitted.
また、本実施形態においては、ステップＳ３及びＳ４においてスライスに表された体部の部位を仮決定する際に、スコアテーブルを用いているが、その替わりに、ニューラルネットワーク等の機械学習法を利用して部位を認識しても良い。
ここで、ニューラルネットワークを利用して部位を仮決定する方法を説明する。
図１０に示すように、スライス画像に表された体部の特徴量（例えば、ステップＳ２において説明した特徴量（ａ）〜（ｃ））を、ニューラルネットに入力する。そして、そのスライス画像に表された部位に一致する部位に対して１を出力し、それ以外の部位に対してゼロを出力するように、ニューラルネットを学習させる。例えば、スライス画像に頭部が表されている場合には、「Ｈｅａｄ」の出力を１とし、「Ｎｅｃｋ」、「Ｃｈｅｓｔ」及び「Ａｂｄｏｍｅｎ」の出力をゼロとする。このように学習させたニューラルネットを利用することにより、入力された特徴量に対応する部位が取得される。
In the present embodiment, a score table is used when the body part represented in the slice in steps S3 and S4 is provisionally determined. Instead, a machine learning method such as a neural network is used. Then, the part may be recognized.
Here, a method for provisionally determining a site using a neural network will be described.
As shown in FIG. 10, the feature quantities of the body part represented in the slice image (for example, the feature quantities (a) to (c) described in step S2) are input to the neural network. Then, the neural network is trained so that 1 is output for a portion matching the portion represented in the slice image and zero is output for other portions. For example, when the head is represented in the slice image, the output of “Head” is set to 1, and the outputs of “Neck”, “Chest”, and “Abdomen” are set to zero. By using the neural network learned in this way, a part corresponding to the input feature amount is acquired.
次に、図１に示す表示処理部１４の構成及び動作について、図１１〜図１４を参照しながら説明する。
なお、以下においては、１人の患者に対して２回の検査が時間間隔を空けて行われ、２回の検査によってそれぞれ得られた２つのシリーズのスライス画像が部位認識部１２によって部位認識され、格納部１３に格納されているものとする。そして、２回目の検査（今回の検査）において得られた１シリーズのスライス画像（以下、「第１のシリーズのスライス画像」という）が、第１〜第２５のスライス画像を含んでおり、これらのスライス画像の内の第１〜第１０のスライス画像によって表される部位が胸部であり、第１１〜第１８のスライス画像によって表される部位が腹部であり、第１９〜第２５のスライス画像によって表される部位が骨盤部であるものとする。また、１回目の検査（前回の検査）において得られた１シリーズのスライス画像（以下、「第２のシリーズのスライス画像」という）が、第１〜第２８のスライス画像を含んでおり、これらのスライス画像の内の第１〜第１２のスライス画像によって表される部位が胸部であり、第１３〜第２１のスライス画像によって表される部位が腹部であり、第２２〜第２８のスライス画像によって表される部位が骨盤部であるものとする。
Next, the configuration and operation of the display processing unit 14 shown in FIG. 1 will be described with reference to FIGS.
In the following, two examinations are performed on one patient with a time interval, and two series of slice images respectively obtained by the two examinations are part-recognized by the part recognition unit 12. , And stored in the storage unit 13. The 1-series slice images (hereinafter referred to as “first-series slice images”) obtained in the second examination (this examination) include the 1st to 25th slice images. Of these slice images, the portion represented by the first to tenth slice images is the chest, the portion represented by the first to eighteenth slice images is the abdomen, and the nineteenth to twenty-fifth slice images. It is assumed that the part represented by is the pelvic part. In addition, one series of slice images (hereinafter referred to as “second series slice images”) obtained in the first examination (previous examination) includes the first to 28th slice images. Of these slice images, the region represented by the first to twelfth slice images is the chest, the region represented by the thirteenth to twenty-first slice images is the abdomen, and the twenty-second to twenty-eighth slice images. It is assumed that the part represented by is the pelvic part.
図１１は、図１に示す表示処理部１４の機能を示すブロック図である。図１１に示すように、表示処理部１４は、スライス画像関連付け情報作成処理部８１と、スライス画像関連付け情報格納部８２と、初期表示スライス情報格納部８３と、スライス画像表示処理部８４とを含んでいる。 FIG. 11 is a block diagram showing functions of the display processing unit 14 shown in FIG. As shown in FIG. 11, the display processing unit 14 includes a slice image association information creation processing unit 81, a slice image association information storage unit 82, an initial display slice information storage unit 83, and a slice image display processing unit 84. It is out.
スライス画像関連付け情報作成処理部８１は、部位認識部１２による部位認識結果に基づいて、第１のシリーズのスライス画像の各々を第２のシリーズのスライス画像に関連付ける情報を作成して、スライス画像関連付け情報格納部８２に格納させる。 The slice image association information creation processing unit 81 creates information for associating each of the first series of slice images with the second series of slice images based on the part recognition result by the part recognition unit 12, and associates the slice image with each other. The information is stored in the information storage unit 82.
初期表示スライス情報格納部８３は、初期（例えば、ユーザ（読影医）が読影用端末４を操作して読影を開始したとき等）において画像表示端末３に表示させる第１のシリーズのスライス画像の内の１つのスライス画像を決定するための初期表示スライス情報を格納する。初期表示スライス情報は、スライス番号（例えば、「１」（第１のシリーズの軸位断画像の内の第１番目のスライス画像を表す）等）であっても良いし、部位（例えば、「腹部上端」等）であっても良い。初期表示スライス情報が初期表示スライス情報格納部１５に格納されていない場合には、スライス画像表示処理部８４が、第１のシリーズの軸位断画像の内のいずれかの軸位断画像を表示するようにしても良い。初期表示スライス情報は、読影用端末４から書き込み又は更新可能としても良い。なお、格納部１３（図１参照）とスライス画像関連付け情報格納部８２と初期表示スライス情報格納部８３とを１つの記録媒体で実現することとしても良い。 The initial display slice information storage unit 83 stores the first series of slice images displayed on the image display terminal 3 in the initial stage (for example, when the user (interpretation doctor) operates the interpretation terminal 4 to start interpretation). The initial display slice information for determining one of the slice images is stored. The initial display slice information may be a slice number (for example, “1” (representing the first slice image in the first series of axial discontinuity images)) or a part (for example, “ Abdomen upper end "or the like. When the initial display slice information is not stored in the initial display slice information storage unit 15, the slice image display processing unit 84 displays any one of the axial discontinuity images in the first series. You may make it do. The initial display slice information may be written or updated from the interpretation terminal 4. The storage unit 13 (see FIG. 1), the slice image association information storage unit 82, and the initial display slice information storage unit 83 may be realized by a single recording medium.
スライス画像表示処理部８４は、ユーザ（読影医）が所望するスライス画像を指示するための表示スライス画像指示情報を読影用端末４から受信し、第１のシリーズのスライス画像の内の表示スライス画像指示情報に応じたスライス画像を画像表示端末３に表示させると共に、第２のシリーズのスライス画像の内の表示スライス画像指示情報に応じて画像表示端末３に表示されたスライス画像に関連付けられたスライス画像を画像表示端末３に表示させる。 The slice image display processing unit 84 receives display slice image instruction information for instructing a slice image desired by the user (interpretation physician) from the interpretation terminal 4 and displays the display slice image in the first series of slice images. The slice image corresponding to the instruction information is displayed on the image display terminal 3, and the slice associated with the slice image displayed on the image display terminal 3 according to the display slice image instruction information in the second series of slice images The image is displayed on the image display terminal 3.
図１２は、スライス画像関連付け情報作成処理部８１の動作を示すフローチャートである。
ステップＳ１１において、スライス画像関連付け情報作成処理部８１は、第１のシリーズのスライス画像の内の部位の境界部を表すスライス画像を第２のシリーズのスライス画像の内の部位の境界部を表すスライス画像にそれぞれ関連付ける情報を作成して、スライス画像関連付け情報格納部８２に格納させる。ここでは、スライス画像関連付け情報作成処理部８１は、第１のシリーズのスライス画像の内の第１０のスライス画像（胸部の下端部を現す）を第２のシリーズのスライス画像の内の第１２のスライス画像（胸部の下端部を現す）に、第１のシリーズのスライス画像の内の第１１のスライス画像（腹部の上端部を現す）を第２のシリーズのスライス画像の内の第１３のスライス画像（腹部の上端部を現す）にそれぞれ関連付ける情報を作成して、スライス画像関連付け情報格納部８２に格納させる。また、スライス画像関連付け情報作成処理部８１は、第１のシリーズのスライス画像の内の第１８のスライス画像（腹部の下端部を現す）を第２のシリーズのスライス画像の内の第２１のスライス画像（腹部の下端部を現す）に、第１のシリーズのスライス画像の内の第１９のスライス画像（骨盤部の上端部を現す）を第２のシリーズのスライス画像の内の第２２のスライス画像（骨盤部の上端部を現す）にそれぞれ関連付ける情報を作成して、スライス画像関連付け情報格納部８２に格納させる。
FIG. 12 is a flowchart showing the operation of the slice image association information creation processing unit 81.
In step S11, the slice image association information creation processing unit 81 converts the slice image representing the boundary portion of the part in the first series of slice images into the slice part representing the boundary part of the part in the slice image of the second series. Information associated with each image is created and stored in the slice image association information storage unit 82. Here, the slice image association information creation processing unit 81 converts the tenth slice image (showing the lower end of the chest) of the first series of slice images into the twelfth slice image of the second series of slice images. In the slice image (representing the lower end of the chest), the eleventh slice image (representing the upper end of the abdomen) of the first series of slice images is replaced with the thirteenth slice of the second series of slice images. Information associated with each image (showing the upper end of the abdomen) is created and stored in the slice image association information storage unit 82. Also, the slice image association information creation processing unit 81 converts the eighteenth slice image (showing the lower end of the abdomen) of the first series of slice images into the twenty-first slice of the second series of slice images. In the image (representing the lower end of the abdomen), the 19th slice image (representing the upper end of the pelvis) of the first series of slice images is replaced with the 22nd slice of the second series of slice images. Information associated with each image (representing the upper end of the pelvis) is created and stored in the slice image association information storage unit 82.
ステップＳ１２において、スライス画像関連付け情報作成処理部８１は、上端部及び下端部を表すスライス画像が第１及び第２のシリーズのスライス画像に含まれている部位について、第１のシリーズのスライス画像の内の当該部位（上端部及び下端部を除く）を表すスライス画像を第２のシリーズのスライス画像の内の当該部位（上端部及び下端部を除く）を表すスライス画像にそれぞれ関連付ける情報を作成して、スライス画像関連付け情報格納部８２に格納させる。ここでは、腹部の上端部及び下端部を表すスライス画像が第１及び第２のシリーズのスライス画像に含まれているので、スライス画像関連付け情報作成処理部８１は、第１のシリーズのスライス画像の内の第１２〜第１７のスライス画像（腹部（上端部及び下端部を除く）を表す）を第２のシリーズのスライス画像の内の第１４〜第２０のスライス画像（腹部（上端部及び下端部を除く）を表す）にそれぞれ関連付ける情報を作成して、スライス画像関連付け情報格納部８２に格納させる。 In step S <b> 12, the slice image association information creation processing unit 81 determines the first series of slice images for the part in which the slice images representing the upper end and the lower end are included in the first and second series of slice images. Create information that associates the slice image representing the relevant part (excluding the upper end and the lower end part) with the slice image representing the relevant part (excluding the upper end part and the lower end part) in the second series of slice images. And stored in the slice image association information storage unit 82. Here, since the slice images representing the upper end and the lower end of the abdomen are included in the first and second series of slice images, the slice image association information creation processing unit 81 stores the slice images of the first series. 12th to 17th slice images (representing the abdomen (excluding the upper end and lower end)) of the 14th to 20th slice images (the abdomen (upper end and lower end) of the second series of slice images). Information associated with each other) is created and stored in the slice image association information storage unit 82.
なお、ここで、第１のシリーズのスライス画像の内の腹部（上端部及び下端部を除く）を表すスライス画像の枚数（第１２〜第１７のスライス画像の計６枚）と、第２のシリーズのスライス画像の内の腹部（上端部及び下端部を除く）を表すスライス画像の枚数（第１４〜第２０のスライス画像の計７枚）とが異なっている。このような場合には、第１のシリーズの第１２〜第１７のスライス画像の各々を、第２のシリーズのスライス画像であって、第２のシリーズの第１３のスライス画像（腹部の上端部を表す）との間のスライス枚数と第２のシリーズの第２１のスライス画像（腹部の下端部を表す）との間のスライス枚数との比が第１のシリーズの第１２〜第１７のスライス画像の各々と第１のシリーズの第１１のスライス画像（腹部の上端部を表す）との間のスライス枚数と第１のシリーズの第１２〜第１７のスライス画像の各々と第１のシリーズの第１８のスライス画像（腹部の下端部）との間のスライス枚数との比に最も近いスライス画像に関連付けるようにすれば良い。 Here, the number of slice images representing the abdomen (excluding the upper end and the lower end) of the first series of slice images (a total of six images of the twelfth to seventeenth slice images), the second The number of slice images representing the abdomen (excluding the upper end and lower end) of the series of slice images (a total of seventeenth to twentieth slice images) is different. In such a case, each of the 12th to 17th slice images of the first series is a slice image of the second series, and the 13th slice image of the second series (the upper end of the abdomen) The ratio of the number of slices between the second series and the 21st slice image of the second series (representing the lower end of the abdomen) is the 12th to 17th slices of the first series The number of slices between each of the images and the eleventh slice image of the first series (representing the upper end of the abdomen), each of the twelfth to seventeenth slice images of the first series, and the first series What is necessary is just to make it link | related with the slice image nearest to the ratio with the number of slices between 18th slice images (lower end part of an abdomen).
ステップＳ１３において、スライス画像関連付け情報作成処理部８１は、上端部又は下端部のいずれかを表すスライス画像が第１及び第２のシリーズのスライス画像に含まれている部位について、第１のシリーズのスライス画像の内の当該部位（上端部又は下端部を除く）を表すスライス画像を第２のシリーズのスライス画像の内の当該部位（上端部又は下端部を除く）を表すスライス画像にそれぞれ関連付ける情報を作成して、スライス画像関連付け情報格納部８２に格納させる。ここでは、胸部の下端部を表すスライス画像が第１及び第２のシリーズのスライス画像に含まれているので、スライス画像関連付け情報作成処理部８１は、第１のシリーズのスライス画像の内の第１〜第９のスライス画像（胸部（下端部を除く）を表す）を第２のシリーズのスライス画像の内の胸部の下端部の直近上方を表す第３〜第１１のスライス画像（胸部（下端部を除く）を表す）にそれぞれ関連付ける情報を作成して、スライス画像関連付け情報格納部８２に格納させる。また、骨盤部の上端部を表すスライス画像が第１及び第２のシリーズのスライス画像に含まれているので、スライス画像関連付け情報作成処理部８１は、第１のシリーズのスライス画像の内の第２０〜第２５のスライス画像（骨盤部（上端部を除く）を表す）を第２のシリーズのスライス画像の内の第２３〜第２８のスライス画像（骨盤部（上端部を除く）を表す）にそれぞれ関連付ける情報を作成して、スライス画像関連付け情報格納部８２に格納させる。 In step S <b> 13, the slice image association information creation processing unit 81 applies the first series for the part in which the slice image representing either the upper end or the lower end is included in the first and second series of slice images. Information for associating each slice image representing the relevant part (excluding the upper end or lower end part) of the slice image with each slice image representing the relevant part (excluding the upper end part or the lower end part) of the second series of slice images. Is created and stored in the slice image association information storage unit 82. Here, since the slice images representing the lower end of the chest are included in the first and second series of slice images, the slice image association information creation processing unit 81 includes the first image in the first series of slice images. 1st to 9th slice images (representing the chest (excluding the lower end)), 3rd to 11th slice images (chest (lower end) representing the immediate upper portion of the lower end of the chest in the second series of slice images) Information associated with each other) is created and stored in the slice image association information storage unit 82. In addition, since the slice image representing the upper end of the pelvis is included in the first and second series of slice images, the slice image association information creation processing unit 81 includes the first image in the first series of slice images. The 20th to 25th slice images (representing the pelvic part (excluding the upper end)) are the 23rd to 28th slice images (representing the pelvic part (excluding the upper end)) of the second series of slice images. Information to be associated with each of the images is created and stored in the slice image association information storage unit 82.
図１３は、スライス画像表示処理部８４の動作を示すフローチャートである。
ステップＳ２１において、スライス画像表示処理部８４は、初期表示スライス情報格納部８３から初期表示スライス情報を読み出し、第１のシリーズのスライス画像の内の初期表示スライス情報によって決定されるスライス画像を表示するための画像データを格納部１３から読み出し、読み出した画像データに基づくスライス画像を画像表示端末３の表示画面３ａの第１の領域内に表示させる。
FIG. 13 is a flowchart showing the operation of the slice image display processing unit 84.
In step S21, the slice image display processing unit 84 reads out the initial display slice information from the initial display slice information storage unit 83, and displays the slice image determined by the initial display slice information in the first series of slice images. The image data for reading is read from the storage unit 13 and a slice image based on the read image data is displayed in the first area of the display screen 3a of the image display terminal 3.
ステップＳ２２において、スライス画像表示処理部８４は、スライス画像関連付け情報格納部８２に格納されているスライス画像関連付け情報を参照し、ステップＳ２１にて表示されたスライス画像に関連付けられたスライス画像を表示するための画像データを格納部１３から読み出し、読み出した画像データに基づくスライス画像を画像表示端末３の表示画面３ａの第２の領域内に表示させる。 In step S22, the slice image display processing unit 84 refers to the slice image association information stored in the slice image association information storage unit 82, and displays the slice image associated with the slice image displayed in step S21. The image data for reading is read from the storage unit 13 and a slice image based on the read image data is displayed in the second area of the display screen 3a of the image display terminal 3.
ステップＳ２３において、スライス画像表示処理部８４は、表示スライス指示情報を読影用端末４から受信したか否かをチェックし、表示スライス指示情報を読影用端末４から受信した場合には、処理をステップＳ２４に移す。 In step S23, the slice image display processing unit 84 checks whether or not the display slice instruction information has been received from the interpretation terminal 4. If the display slice instruction information has been received from the interpretation terminal 4, the process proceeds to step S23. Move to S24.
ステップＳ２４において、スライス画像表示処理部８４は、第１のシリーズのスライス画像の内の表示スライス指示情報に応じたスライス画像を表示するための画像データを格納部１３から読み出し、読み出した画像データに基づくスライス画像を画像表示端末３の表示画面３ａの第１の領域７１内に表示させる。 In step S24, the slice image display processing unit 84 reads image data for displaying a slice image corresponding to the display slice instruction information in the first series of slice images from the storage unit 13, and converts the image data into the read image data. The based slice image is displayed in the first area 71 of the display screen 3 a of the image display terminal 3.
ステップＳ２５において、スライス画像表示処理部８４は、スライス画像関連付け情報格納部８２に格納されているスライス画像関連付け情報を参照し、第２のシリーズのスライス画像の内のステップＳ２４にて表示されたスライス画像に関連付けられたスライス画像を表示するための画像データを格納部１３から読み出し、読み出した画像データに基づくスライス画像を画像表示端末３の表示画面３ａの第２の領域７２内に表示させ、処理をステップＳ２３に戻す。 In step S25, the slice image display processing unit 84 refers to the slice image association information stored in the slice image association information storage unit 82, and the slice displayed in step S24 in the second series of slice images. Image data for displaying the slice image associated with the image is read from the storage unit 13, and the slice image based on the read image data is displayed in the second area 72 of the display screen 3 a of the image display terminal 3. Is returned to step S23.
次に、スライス画像表示処理部８４の動作について、具体例を挙げて説明する。ここでは、初期表示スライス情報格納部８３には、初期表示スライス情報として「第１のシリーズのスライス画像の内の最後のスライス画像」（ここでは、第２５の画像データに基づくスライス画像（腹部）に相当）が格納されているものとする。 Next, the operation of the slice image display processing unit 84 will be described with a specific example. Here, the initial display slice information storage unit 83 stores “the last slice image in the first series of slice images” (here, the slice image (abdomen) based on the 25th image data) as the initial display slice information. Is stored).
図１４（ａ）は、画像表示端末３の表示画面３ａの例を示す図である。図１４（ａ）に示すように、画像表示端末３の表示画面３ａの領域７１内には、第１のシリーズのスライス画像の内の初期表示スライス情報によって決定されるスライス画像（ここでは、第２５のスライス画像）が表示されており（ステップＳ２１参照）、画像表示端末３の表示画面３ａの領域７２内には、第２のシリーズのスライス画像の内の領域７１内に表示されたスライス画像（第１のシリーズのスライス画像の内の第２５のスライス画像）に関連付けられたスライス画像（ここでは、第２８のスライス画像）が表示されている（ステップＳ２２参照）。 FIG. 14A is a diagram illustrating an example of the display screen 3 a of the image display terminal 3. As shown in FIG. 14A, in the area 71 of the display screen 3a of the image display terminal 3, a slice image (here, the first image) determined by the initial display slice information in the slice image of the first series. 25 slice images) are displayed (see step S21), and in the area 72 of the display screen 3a of the image display terminal 3, the slice image displayed in the area 71 of the slice images of the second series. A slice image (here, the 28th slice image) associated with (the 25th slice image of the first series of slice images) is displayed (see step S22).
ここで、読影医が読影用端末４の所定のキー（例えば、カーソル移動キー等）を操作することで（ステップＳ２３参照）、図１５（ｂ）に示すように、第１のシリーズのスライス画像の内の胸部を表すスライス画像（例えば、第１０のスライス画像）を領域７１内に表示させることができる（ステップＳ２４参照）。そして、領域７２内には、第２のシリーズのスライス画像の内の領域７１内に表示されたスライス画像（ここでは、第１のシリーズのスライス画像の内の第１０のスライス画像）に関連付けられたスライス画像（ここでは、第１２のスライス画像）が表示される（ステップＳ２５参照）。 Here, when the interpreting doctor operates a predetermined key (for example, a cursor movement key) of the interpretation terminal 4 (see step S23), as shown in FIG. 15B, the first series of slice images A slice image (for example, a tenth slice image) representing the chest in the region 71 can be displayed in the region 71 (see step S24). In the region 72, the slice image displayed in the region 71 in the second series of slice images (here, the tenth slice image in the first series of slice images) is associated. The slice image (here, the twelfth slice image) is displayed (see step S25).
以上説明したように、本実施形態によれば、２つのシリーズに含まれる複数のスライス画像の各々について部位認識を行い、この部位認識結果に基づいて、第１のシリーズのスライス画像に含まれているスライス画像及び当該スライス画像に表された体部と略同一の体部を表す第２のシリーズのスライス画像に含まれているスライス画像を画像表示端末３に表示させることができる。従って、第１のシリーズのスライス画像に含まれているスライス画像及び当該スライス画像に表された体部と略同一の体部を表す第２のシリーズのスライス画像に含まれているスライス画像を画像表示端末３に表示させることを高速に行うことができる。また、第１のシリーズのスライス画像に含まれているスライス画像に表された体部と略同一の体部を表す第２のシリーズのスライス画像に含まれているスライス画像をより高い精度で決定することができる。 As described above, according to the present embodiment, part recognition is performed for each of a plurality of slice images included in two series, and the first series of slice images are included based on the part recognition result. And the slice images included in the second series of slice images representing substantially the same body part as the body part represented in the slice image can be displayed on the image display terminal 3. Accordingly, the slice image included in the first series of slice images and the slice image included in the second series of slice images representing the body part substantially the same as the body part represented in the slice image are displayed. The display on the display terminal 3 can be performed at high speed. In addition, the slice images included in the second series of slice images that represent substantially the same body parts as the body images represented in the slice images included in the first series of slice images are determined with higher accuracy. can do.
本実施形態において、部位認識部１２は、モダリティ１から直接画像サーバ２に入力された画像データについて部位認識処理を行っている。しかしながら、モダリティ１において生成された後で一旦記録媒体に格納された画像データを画像サーバ２に読み込むことにより、部位認識処理を行っても良い。また、表示処理部１４が画像表示端末３に画像を表示する際に、部位認識処理及びスライス画像関連付け処理を行っても良い。 In the present embodiment, the part recognition unit 12 performs a part recognition process on the image data directly input from the modality 1 to the image server 2. However, the part recognition process may be performed by reading the image data once generated in the modality 1 and temporarily stored in the recording medium into the image server 2. Further, when the display processing unit 14 displays an image on the image display terminal 3, a part recognition process and a slice image association process may be performed.
また、本実施形態においては、１つのシリーズのスライス画像に含まれているスライス画像及び当該スライス画像に表された体部と略同一の体部を表す他のシリーズのスライス画像に含まれているスライス画像を並べて表示させることとしているが、１つのシリーズのスライス画像に含まれているスライス画像と当該スライス画像に表された体部と略同一の体部を表す他のシリーズのスライス画像に含まれているスライス画像とのサブトラクション画像を表示させるようにしても良い。 Further, in the present embodiment, the slice image included in one series of slice images and the slice image of another series representing a body part substantially the same as the body part represented in the slice image are included. Slice images are displayed side by side, but they are included in slice images included in one series of slice images and slice images of other series that represent body parts that are substantially the same as the body parts represented in the slice images. A subtraction image with the slice image being displayed may be displayed.
さらに、本実施形態においては、スライス画像関連付け情報をスライス画像関連付け情報格納部８２に格納することとしているが、スライス画像関連付け情報を格納部１３に格納されているスライス画像に画像付帯情報又はタグとして付加することとしても良い。 Further, in the present embodiment, the slice image association information is stored in the slice image association information storage unit 82, but the slice image association information is added to the slice image stored in the storage unit 13 as image supplementary information or a tag. It may be added.
また、本実施形態においては、２つのシリーズのスライス画像（今回及び前回の検査において得られた２つのシリーズのスライス画像）を表示させることとしているが、３つ以上のシリーズのスライス画像を表示させることも可能である。この場合には、１つのシリーズのスライス画像（例えば、今回の検査において得られた１つのシリーズのスライス画像）を、他の２つ以上のシリーズのスライス画像に関連付けるようにすれば良い。 In this embodiment, two series of slice images (two series of slice images obtained in the current and previous examinations) are displayed. However, three or more series of slice images are displayed. It is also possible. In this case, one series of slice images (for example, one series of slice images obtained in the current examination) may be associated with two or more other series of slice images.
本発明は、医療用撮像モダリティによって取得された画像データに基づいて軸位断画像を表示するための医用画像表示処理装置、及び、そのような装置において用いられる医用画像表示処理プログラムにおいて利用することが可能である。 The present invention is used in a medical image display processing device for displaying an axial dislocation image based on image data acquired by a medical imaging modality, and a medical image display processing program used in such a device. Is possible.
１ モダリティ
１ａ コンピュータ断層撮影（ＣＴ）装置
１ｂ コンピュータ放射線撮影（ＣＲ）装置
１ｃ 磁気共鳴撮像（ＭＲＩ）装置
１ｄ ポジトロン断層撮影（ＰＥＴ）装置
１ｅ 超音波撮像（ＵＳ）装置
２ 画像サーバ
３ 画像表示端末
３ａ、４ａ、９０ 画面
４ 読影用端末
４ｂ 入力デバイス
１１ 制御部
１２ 部位認識部
１３ 格納部
１４ 表示処理部
２１ 特徴量計算部
２２ 部位確信度計算部
２２ａ スコアテーブル記憶部
２３ 部位決定処理部
２４ 部位情報記憶部
２５ 部位修正処理部
８１ スライス画像関連付け情報作成処理部
８２ スライス画像関連付け情報格納部
８３ 初期表示スライス情報格納部
８４ スライス画像表示処理部
７１、７２、９１、９２ 領域
DESCRIPTION OF SYMBOLS 1 Modality 1a Computer tomography (CT) apparatus 1b Computer radiography (CR) apparatus 1c Magnetic resonance imaging (MRI) apparatus 1d Positron tomography (PET) apparatus 1e Ultrasound imaging (US) apparatus 2 Image server 3 Image display terminal 3a 4a, 90 screen 4 interpretation terminal 4b input device 11 control unit 12 region recognition unit 13 storage unit 14 display processing unit 21 feature quantity calculation unit 22 region certainty calculation unit 22a score table storage unit 23 region determination processing unit 24 region information Storage unit 25 Site correction processing unit 81 Slice image association information creation processing unit 82 Slice image association information storage unit 83 Initial display slice information storage unit 84 Slice image display processing units 71, 72, 91, 92
Claims (8)
複数のシリーズの軸位断画像の各々に表された体部の部位を認識する部位認識手段と、
１つのシリーズの軸位断画像に含まれている軸位断画像を前記表示部に表示させると共に、前記部位認識手段による認識結果に基づいて、前記表示部に表示されている軸位断画像によって表された体部と略同一の体部を表す他のシリーズの軸位断画像に含まれている軸位断画像を前記表示部に表示させる表示処理手段と、
を具備する医用画像表示処理装置。 An apparatus for displaying an axial dislocation image on a display unit based on image data representing a plurality of axial discontinuity images obtained by imaging and inspecting a subject,
A part recognition means for recognizing a part of the body part represented in each of the axial discontinuity images of a plurality of series;
The axial position discontinuity image included in one series of axial position discontinuity images is displayed on the display section, and the axial position discontinuity image displayed on the display section is displayed on the basis of the recognition result by the part recognition means. Display processing means for causing the display unit to display an axial dislocation image included in an axial discontinuity image of another series representing the substantially same body part as the represented body part;
A medical image display processing apparatus.
１シリーズの軸位断画像の各々に表された体部の部位を暫定的に決定する部位決定手段と、
１シリーズの軸位断画像に関する情報に基づいて、前記部位決定手段により少なくとも１つの軸位断画像について暫定的に決定された部位を修正する部位修正手段と、
を含む、請求項１記載の医用画像表示処理装置。 The part recognition means
A part determining means for tentatively determining a part of the body part represented in each of the series of axial position discontinuity images;
A part correcting means for correcting a part tentatively determined for at least one axial discontinuity image by the part determining means based on information on one series of axial discontinuity images;
The medical image display processing apparatus according to claim 1, comprising:
前記部位認識手段による認識結果に基づいて、１つのシリーズの軸位断画像の各々を当該軸位断画像に表された体部と略同一の体部を表す他のシリーズの軸位断画像に含まれている軸位断画像に関連付ける軸位断画像関連付け処理手段と、
１つのシリーズの軸位断画像に含まれている軸位断画像を前記表示部に表示させると共に、前記軸位断画像関連付け処理手段によって前記表示部に表示されている軸位断画像に関連付けられた他のシリーズの軸位断画像に含まれている軸位断画像を前記表示部に表示させる軸位断画像表示処理手段と、
を含む、請求項１又は２記載の医用画像表示処理装置。 The display processing means
Based on the recognition result by the part recognizing means, each of the axial discontinuity images of one series is converted into an axial discontinuity image of another series representing a body part substantially the same as the body part represented in the axial discontinuity image. An axial dislocation image association processing means for associating with the included axial discontinuity image;
An axial discontinuity image included in one series of axial discontinuity images is displayed on the display unit, and is associated with the axial discontinuity image displayed on the display unit by the axial discontinuity image association processing means. Axis position disconnection image display processing means for displaying the axis position disconnection image included in the axis position disconnection image of the other series on the display unit,
The medical image display processing apparatus of Claim 1 or 2 containing these.
複数のシリーズの軸位断画像の各々に表された体部の部位を認識する手順（ａ）と、
１つのシリーズの軸位断画像に含まれている１つの軸位断画像を前記表示部に表示させる手順（ｂ）と、
手順（ａ）における認識結果に基づいて、前記表示部に表示されている軸位断画像によって表された体部と略同一の体部を表す他のシリーズの軸位断画像に含まれている軸位断画像を前記表示部に表示させる手順（ｃ）と、
をＣＰＵに実行させる医用画像表示処理プログラム。 A program for displaying an axial dislocation image on a display unit based on image data representing a plurality of axial discontinuity images obtained by imaging and inspecting a subject,
A procedure (a) for recognizing a body part represented in each of a plurality of series of axial dislocation images;
A procedure (b) for displaying one axial dislocation image included in one series of axial discontinuity images on the display unit;
Based on the recognition result in step (a), it is included in another series of axial position discontinuity images representing the body part substantially the same as the body part represented by the axial position discontinuity image displayed on the display unit. A procedure (c) for displaying an axial dislocation image on the display unit;
A medical image display processing program for causing the CPU to execute
１シリーズの軸位断画像の各々に表された体部の部位を暫定的に決定する手順（ａ１）と、
１シリーズの軸位断画像に関する情報に基づいて、手順（ａ１）において少なくとも１つの軸位断画像について暫定的に決定された部位を修正する手順（ａ２）と、
を含む、請求項５記載の医用画像表示処理プログラム。 Step (a)
A procedure (a1) for tentatively determining a part of the body part represented in each of the series of axial discontinuity images;
A procedure (a2) for correcting a portion tentatively determined for at least one axial dislocation image in the procedure (a1) based on information on one series of axial discontinuity images;
The medical image display processing program according to claim 5, comprising:
手順（ａ）における認識結果に基づいて、１つのシリーズの軸位断画像の各々を当該軸位断画像に表された体部と略同一の体部を表す他のシリーズの軸位断画像に含まれている軸位断画像に関連付ける手順（ｃ１）と、
手順（ｂ）において表示された軸位断画像に手順（ｃ１）において関連付けられた他のシリーズの軸位断画像に含まれている軸位断画像を前記表示部に表示させる手順（ｃ２）と、
を含む、請求項５又は６記載の医用画像表示処理プログラム。 Step (c)
Based on the recognition result in the step (a), each series of axial discontinuity images is converted into an axial discontinuity image of another series representing a body part substantially the same as the body part represented in the axial discontinuity image. A procedure (c1) to associate with the included axial dislocation image;
A procedure (c2) for causing the display unit to display an axial position discontinuity image included in another axial position discontinuity image associated in the procedure (c1) to the axial position discontinuity image displayed in the procedure (b); ,
The medical image display processing program according to claim 5 or 6, comprising:
Step (a) is a head, neck, chest, abdomen, pelvis, leg, lung field, and two adjacent boundary regions or a plurality of regions within them. The medical image display processing program according to any one of claims 5 to 7, further comprising recognizing at least two of the mixed areas including a region.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006181609A JP4800129B2 (en) | 2006-06-30 | 2006-06-30 | Medical image display processing apparatus and medical image display processing program |
| US12/306,891 US8295568B2 (en) | 2006-06-30 | 2007-06-26 | Medical image display processing apparatus and medical image display processing program |
| PCT/JP2007/063205 WO2008001928A1 (en) | 2006-06-30 | 2007-06-26 | Medical image display apparatus and medical image display program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006181609A JP4800129B2 (en) | 2006-06-30 | 2006-06-30 | Medical image display processing apparatus and medical image display processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008006188A true JP2008006188A (en) | 2008-01-17 |
| JP4800129B2 JP4800129B2 (en) | 2011-10-26 |
Family
ID=39064917
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006181609A Active JP4800129B2 (en) | 2006-06-30 | 2006-06-30 | Medical image display processing apparatus and medical image display processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4800129B2 (en) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008200139A (en) * | 2007-02-16 | 2008-09-04 | Univ Nagoya | Image diagnosis support system |
| JP2009230755A (en) * | 2008-02-28 | 2009-10-08 | Fujifilm Corp | System, server, method and program for image transfer |
| JP2009232981A (en) * | 2008-03-26 | 2009-10-15 | Fujifilm Corp | Image display apparatus and program for the same |
| JP2010051726A (en) * | 2008-08-29 | 2010-03-11 | Toshiba Corp | Medical image diagnostic apparatus |
| WO2011099102A1 (en) * | 2010-02-10 | 2011-08-18 | パナソニック株式会社 | Ultrasonic diagnostic device, and method for measuring intima-media thickness |
| US8116544B2 (en) | 2008-04-03 | 2012-02-14 | Fujifilm Corporation | Apparatus, method, and program for detecting three dimensional abdominal cavity regions |
| US8150132B2 (en) | 2008-03-17 | 2012-04-03 | Fujifilm Corporation | Image analysis apparatus, image analysis method, and computer-readable recording medium storing image analysis program |
| US8306354B2 (en) | 2008-06-12 | 2012-11-06 | Fujifilm Corporation | Image processing apparatus, method, and program |
| JP2015037491A (en) * | 2013-08-19 | 2015-02-26 | コニカミノルタ株式会社 | Ultrasonic diagnostic equipment, ultrasonic image analyzing method, and program |
| JP2017079974A (en) * | 2015-10-27 | 2017-05-18 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | Ultrasound diagnostic apparatus and control program therefor |
| KR101894278B1 (en) * | 2018-01-18 | 2018-09-04 | 주식회사 뷰노 | Method for reconstructing a series of slice images and apparatus using the same |
| WO2019021882A1 (en) * | 2017-07-25 | 2019-01-31 | キヤノン株式会社 | Image processing device, image processing method, and program |
| JP2019025296A (en) * | 2017-07-25 | 2019-02-21 | キヤノン株式会社 | Image processing device, image processing method, and program |
| US10531840B2 (en) | 2015-03-19 | 2020-01-14 | Panasonic Intellectual Property Management Co., Ltd. | Image display device, image display system, image display method, and program |
| WO2021199910A1 (en) * | 2020-04-02 | 2021-10-07 | 富士フイルム株式会社 | Medical image processing system and method for operating medical image processing system |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08294485A (en) * | 1995-02-28 | 1996-11-12 | Toshiba Corp | Picture display system and method using such system |
| JPH1185950A (en) * | 1997-09-08 | 1999-03-30 | Canon Inc | Picture processing device and method therefor and computer readable recording medium |
| JP2000116604A (en) * | 1998-10-20 | 2000-04-25 | Yokogawa Electric Corp | Medical image display device |
| JP2001076141A (en) * | 1999-08-31 | 2001-03-23 | Konica Corp | Image recognizing method and image processor |
| JP2001120541A (en) * | 1999-10-28 | 2001-05-08 | Hitachi Medical Corp | Medical image display device |
-
2006
- 2006-06-30 JP JP2006181609A patent/JP4800129B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08294485A (en) * | 1995-02-28 | 1996-11-12 | Toshiba Corp | Picture display system and method using such system |
| JPH1185950A (en) * | 1997-09-08 | 1999-03-30 | Canon Inc | Picture processing device and method therefor and computer readable recording medium |
| JP2000116604A (en) * | 1998-10-20 | 2000-04-25 | Yokogawa Electric Corp | Medical image display device |
| JP2001076141A (en) * | 1999-08-31 | 2001-03-23 | Konica Corp | Image recognizing method and image processor |
| JP2001120541A (en) * | 1999-10-28 | 2001-05-08 | Hitachi Medical Corp | Medical image display device |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008200139A (en) * | 2007-02-16 | 2008-09-04 | Univ Nagoya | Image diagnosis support system |
| JP2009230755A (en) * | 2008-02-28 | 2009-10-08 | Fujifilm Corp | System, server, method and program for image transfer |
| US8150132B2 (en) | 2008-03-17 | 2012-04-03 | Fujifilm Corporation | Image analysis apparatus, image analysis method, and computer-readable recording medium storing image analysis program |
| JP2009232981A (en) * | 2008-03-26 | 2009-10-15 | Fujifilm Corp | Image display apparatus and program for the same |
| US8116544B2 (en) | 2008-04-03 | 2012-02-14 | Fujifilm Corporation | Apparatus, method, and program for detecting three dimensional abdominal cavity regions |
| US8306354B2 (en) | 2008-06-12 | 2012-11-06 | Fujifilm Corporation | Image processing apparatus, method, and program |
| JP2010051726A (en) * | 2008-08-29 | 2010-03-11 | Toshiba Corp | Medical image diagnostic apparatus |
| WO2011099102A1 (en) * | 2010-02-10 | 2011-08-18 | パナソニック株式会社 | Ultrasonic diagnostic device, and method for measuring intima-media thickness |
| US8740796B2 (en) | 2010-02-10 | 2014-06-03 | Konica Minolta, Inc. | Ultrasonic diagnostic device, and method for measuring intima-media thickness |
| JP2015037491A (en) * | 2013-08-19 | 2015-02-26 | コニカミノルタ株式会社 | Ultrasonic diagnostic equipment, ultrasonic image analyzing method, and program |
| US10531840B2 (en) | 2015-03-19 | 2020-01-14 | Panasonic Intellectual Property Management Co., Ltd. | Image display device, image display system, image display method, and program |
| JP2017079974A (en) * | 2015-10-27 | 2017-05-18 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | Ultrasound diagnostic apparatus and control program therefor |
| WO2019021882A1 (en) * | 2017-07-25 | 2019-01-31 | キヤノン株式会社 | Image processing device, image processing method, and program |
| JP2019025296A (en) * | 2017-07-25 | 2019-02-21 | キヤノン株式会社 | Image processing device, image processing method, and program |
| US11263763B2 (en) | 2017-07-25 | 2022-03-01 | Canon Kabushiki Kaisha | Image processing apparatus, image processing mehod, and storage medium |
| JP2022079526A (en) * | 2017-07-25 | 2022-05-26 | キヤノン株式会社 | Image processing device, image processing method, and program |
| JP7342176B2 (en) | 2017-07-25 | 2023-09-11 | キヤノン株式会社 | Image processing device, image processing method, and program |
| KR101894278B1 (en) * | 2018-01-18 | 2018-09-04 | 주식회사 뷰노 | Method for reconstructing a series of slice images and apparatus using the same |
| US11816833B2 (en) | 2018-01-18 | 2023-11-14 | Vuno Inc. | Method for reconstructing series of slice images and apparatus using same |
| WO2021199910A1 (en) * | 2020-04-02 | 2021-10-07 | 富士フイルム株式会社 | Medical image processing system and method for operating medical image processing system |
| JPWO2021199910A1 (en) * | 2020-04-02 | 2021-10-07 | ||
| JP7402314B2 (en) | 2020-04-02 | 2023-12-20 | 富士フイルム株式会社 | Medical image processing system, operating method of medical image processing system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4800129B2 (en) | 2011-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4800129B2 (en) | Medical image display processing apparatus and medical image display processing program | |
| JP4855141B2 (en) | Medical image part recognition device and medical image part recognition program | |
| JP4800127B2 (en) | Medical image segmentation device and medical image segmentation program | |
| JP4818846B2 (en) | Medical image processing apparatus and medical image processing program | |
| JP6490985B2 (en) | Medical image processing apparatus and medical image processing system | |
| JP5314614B2 (en) | MEDICAL IMAGE DISPLAY DEVICE, MEDICAL IMAGE DISPLAY METHOD, AND PROGRAM | |
| EP2312531B1 (en) | Computer assisted diagnosis of temporal changes | |
| US8295568B2 (en) | Medical image display processing apparatus and medical image display processing program | |
| JP6542004B2 (en) | Medical image processing apparatus and medical image processing system | |
| US20080058611A1 (en) | Medical image processing apparatus | |
| JP6460636B2 (en) | Interpretation report creation device, interpretation report creation system, and interpretation report creation program | |
| JP2011083591A (en) | Diagnosis support system, diagnosis support program, and diagnosis support method | |
| JP7101809B2 (en) | Image processing equipment, image processing methods, and programs | |
| JP6258084B2 (en) | Medical image display device, medical image display system, and medical image display program | |
| JP2008006187A (en) | Medical image display processing aparatus and medical image display processing program | |
| JP5363962B2 (en) | Diagnosis support system, diagnosis support program, and diagnosis support method | |
| US9367893B2 (en) | Diagnosis assistance apparatus, method and program | |
| JP2010220902A (en) | Device, method and program for determination of recognition result | |
| JP4786184B2 (en) | Computer-aided diagnostic imaging system | |
| JP2009018029A (en) | Medical image processing apparatus and medical image diagnosis apparatus | |
| KR20230148972A (en) | Apparatus and method for automatically analyzing the lower extremity alignment status in lower extremity x-ray images using convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110419 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110616 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110712 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110803 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140812 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4800129 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |