JP2019092542A - Medical image processor and medical image processing method - Google Patents
Medical image processor and medical image processing method Download PDFInfo
- Publication number
- JP2019092542A JP2019092542A JP2017221797A JP2017221797A JP2019092542A JP 2019092542 A JP2019092542 A JP 2019092542A JP 2017221797 A JP2017221797 A JP 2017221797A JP 2017221797 A JP2017221797 A JP 2017221797A JP 2019092542 A JP2019092542 A JP 2019092542A
- Authority
- JP
- Japan
- Prior art keywords
- medical image
- image processing
- cutting
- unit
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 5
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims description 60
- 238000010801 machine learning Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 8
- 208000024891 symptom Diseases 0.000 claims description 5
- 230000002250 progressing effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 76
- 238000000034 method Methods 0.000 description 18
- 210000000056 organ Anatomy 0.000 description 16
- 238000004891 communication Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 2
- 239000002872 contrast media Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- HTFVKMHFUBCIMH-UHFFFAOYSA-N 1,3,5-triiodo-1,3,5-triazinane-2,4,6-trione Chemical compound IN1C(=O)N(I)C(=O)N(I)C1=O HTFVKMHFUBCIMH-UHFFFAOYSA-N 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Abstract
Description
本発明の実施形態は、医用画像処理装置および医用画像処理方法に関する。 Embodiments of the present invention relate to a medical image processing apparatus and a medical image processing method.
画像認識や音声認識の分野において、深層学習などの機械学習が利用されることが増えてきた。深層学習は、多層のニューラルネットワークを用いた機械学習である。例えば、画像認識の分野では、深層学習の1つである畳込みニューラルネットワーク(Convolutional Neural Network、以下CNNという)を用いた学習方法が従来の方法に比べて非常に高い性能を示すことが知られている。CNN(ConvNetとも呼ばれる)は、学習用の画像データを学習することにより、自動で特徴構造を抽出し、入力された画像が学習用の画像データと同じ特徴を持った画像かどうかを判定することができる。 In the field of image recognition and speech recognition, machine learning such as deep learning has been increasingly used. Deep learning is machine learning using multi-layered neural networks. For example, in the field of image recognition, it is known that a learning method using a convolutional neural network (hereinafter referred to as CNN), which is one of deep learning, shows much higher performance than conventional methods. ing. CNN (also called ConvNet) automatically extracts feature structures by learning image data for learning, and determines whether or not the input image has the same characteristics as the image data for learning Can.
ところで、深層学習で高精度の判定結果を得るためには、膨大な数の学習用の画像データが必要である。例えば、80%程度の精度を達成するためには1千枚程度、90%の精度を達成するためには1万枚程度の画像データが必要であるといわれている。例えば、学習対象が動物や自動車などの容易に入手可能な画像であれば、インターネット網などの公衆の電子ネットワークを介して大量の画像を容易に収集することができる。 By the way, in order to obtain highly accurate determination results in deep learning, a huge number of learning image data are required. For example, it is said that about 10,000 sheets of image data are required to achieve an accuracy of about 80%, and about 10,000 sheets to achieve an accuracy of 90%. For example, if the learning target is an easily obtainable image such as an animal or a car, a large number of images can be easily collected via a public electronic network such as the Internet.
ここで、医用画像に含まれる患部の検出のために深層学習を利用することを考える。この場合、患部が含まれた医用画像を数多く収集してCNNに学習させることになる。しかし、患部の有無にかかわらず、そもそも医用画像はネットワーク上にありふれた画像ではない。このため、患部が含まれた医用画像は、深層学習で高精度の判定結果を得るために十分な数を収集することが困難である。また、特徴構造を高精度に抽出させるためには、医用画像の部位、被検体の体格や年齢などにもとづいて学習対象の医用画像データを細かく分類し、分類ごとに学習させることが好ましい。しかし、学習対象の医用画像データを分類する場合、分類ごとに大量の学習用の医用画像データを収集しなければならない。このため、細かく分類すればするほど、学習用の医用画像データの収集は困難になってしまう。 Here, it is considered to use deep learning to detect an affected area included in a medical image. In this case, a large number of medical images including the affected area are collected and learned by the CNN. However, regardless of the presence or absence of the affected area, the medical image is not a common image on the network. For this reason, it is difficult to collect sufficient numbers of medical images including the affected area in deep learning to obtain a highly accurate determination result. Further, in order to extract the feature structure with high accuracy, it is preferable to finely classify medical image data to be learned on the basis of a region of a medical image, a physique and an age of a subject, and to learn for each classification. However, when classifying medical image data to be learned, a large amount of learning medical image data must be collected for each classification. For this reason, the more finely they are classified, the more difficult it becomes to collect medical image data for learning.
本発明が解決しようとする課題は、学習用の医用画像を容易に数多く収集することである。 The problem to be solved by the present invention is to easily collect many medical images for learning.
実施形態に係る医用画像処理装置は、領域抽出部と、取得部と、を備える。領域抽出部は、所見情報が付与された領域を3次元医用画像から抽出する。取得部は、領域抽出部によって抽出された領域に交差する方向に切断され、所見情報の一部が含まれる医用画像を3次元医用画像から取得する。 A medical image processing apparatus according to an embodiment includes an area extraction unit and an acquisition unit. The area extraction unit extracts an area to which the finding information is added from the three-dimensional medical image. The acquisition unit is cut in a direction intersecting the area extracted by the area extraction unit, and acquires a medical image including a part of the finding information from the three-dimensional medical image.
本発明の実施形態に係る医用画像処理装置および医用画像処理方法について、添付図面を参照して説明する。 A medical image processing apparatus and a medical image processing method according to an embodiment of the present invention will be described with reference to the attached drawings.
本実施形態に係る医用画像処理装置10によって生成された学習用の医用画像データは、例えばCNN(畳み込みニューラルネットワーク)、畳み込み深層信念ネットワーク(CDBN:Convolutional Deep Belief Network)、再構成型トポグラフィック独立成分分析(TICA:Topographic Independent Component Analysis)などの機械学習に利用される。
Medical image data for learning generated by the medical
(実施形態1)
医用画像処理装置10は、図1に示すように、入力回路11、ディスプレイ12、記憶回路13、ネットワーク接続回路14、および処理回路15を有する。
(Embodiment 1)
The medical
入力回路11は、例えばトラックボール、スイッチボタン、マウス、キーボード、テンキーなどの一般的な入力装置により構成され、ユーザの操作に対応した操作入力信号を処理回路15に出力する。ディスプレイ12は、例えば液晶ディスプレイやOLED(Organic Light Emitting Diode)ディスプレイなどの一般的な表示出力装置により構成される。
The
記憶回路13は、磁気的もしくは光学的記録媒体または半導体メモリなどの、プロセッサにより読み取り可能な記録媒体を含んだ構成を有する。
The
例えば、記憶回路13は、モダリティ100から供給されたボリューム画像(医用3次元画像)を記憶する。モダリティ100は、被検体(患者)の撮像により得られた投影データにもとづいてボリューム画像を生成可能な装置である。モダリティ100は、例えばX線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、X線診断装置、核医学診断装置などの医用画像診断装置により構成される。
For example, the
ネットワーク接続回路14は、ネットワーク101の形態に応じた種々の情報通信用プロトコルを実装する。ネットワーク接続回路14は、この各種プロトコルに従ってネットワーク101を介して他の電気機器と接続する。ネットワーク101は、電気通信技術を利用した情報通信網全般を意味し、病院基幹LAN(Local Area Network)などの無線/有線LANやインターネット網のほか、電話通信回線網、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどを含む。
The
医用画像処理装置10は、ネットワーク101を介して接続されたモダリティ100や医用画像保管装置102から医用画像データを受け取ってもよい。ネットワーク101を介して受信したボリューム画像は、記憶回路13に記憶される。なお、医用画像処理装置10は、モダリティ100に内包されてもよい。
The medical
医用画像保管装置102は、例えばPACS(Picture Archiving and Communication System:医用画像保管通信システム)に備えられる画像保管用のサーバであり、ネットワーク101を介して接続されたモダリティ100で生成されたボリューム画像などを記憶する。
The medical
また、医用画像保管装置102は、アノテーションの情報とボリューム画像とを関連付けて記憶している。また、医用画像保管装置102は、放射線科情報システム(RIS:Radiology Information System)が扱うRIS情報を保存しているものとする。医用画像処理装置10は、ネットワーク接続回路14を介してこれらのデータを取得する。また、医用画像保管装置102は、ボリューム画像にもとづいて医用画像処理装置10が生成した学習用の医用画像データ(以下、学習用画像データという)を、医用画像処理装置10の制御に従って保存する
Further, the medical
医用画像観察装置103は、例えば読影医により、PACS、病院情報システム(HIS:Hospital Information System)、RISなどの種々のシステムのビューワとして用いられる。読影医等は、読影の結果として読影レポートを作成する。読影レポートには、読影により発見された患部の解剖学的部位とその患部の態様とが所見として記録される。
The medical
図2を参照して図1に示した医用画像処理装置10によって生成される学習用画像データの元データを説明する。なお、以下の説明では、z方向を法線方向とする。ボリューム画像30は、z方向に沿った複数の断層像データ32を有する。
The original data of the learning image data generated by the medical
ボリューム画像30がDICOM規格に準じている場合、DICOM付帯データには、図3(a)に示すように、ボリューム画像30を生成したモダリティ100の情報、モダリティ100のメーカ情報のほか、造影剤の使用有無や撮影プロトコルなどの撮影条件の情報、身長、体重などの被検体の情報など、様々な文字情報が含まれる。医用画像処理装置10は、DICOM付帯データに含まれる情報を医用画像保管装置102から取得する。なお、撮影条件の情報や被検体の情報は、RIS情報として医用画像保管装置102に保存されていてもよい。
When the
ボリューム画像30において、ボリューム画像30により表される臓器31の患部の領域31aにはアノテーション34が付与される。
In the
具体的には、読影医は、ボリューム画像30を構成する複数の断層像データ32のうち、患部31aがみられる1つの代表的な断層像データ33をキー画像として選択し、患部31aの領域を囲むようにアノテーション34を付与する。医用画像保管装置102は、読影医によって付与されたアノテーション34の情報とボリューム画像30とを関連付けて記憶している。アノテーション34の情報には、アノテーション34の位置や大きさ、アノテーション34によって囲まれた患部31aの位置や大きさ、アノテーション34が付与された断層像データ33の付帯情報等が含まれる。アノテーション34は、読影医の操作により付与される。なお、読影医は、患部31aを囲むように自由に手書きすることによりアノテーション34を付与してもよいし、楕円や矩形などのテンプレート図形を利用してもよい。また、読影医は、3次元ビューワを用いて球形等の3次元的なアノテーション34を付与してもよい。
Specifically, the image interpreting doctor selects one
読影医は、読影の結果として読影レポートを作成する(図3(b)参照)。読影レポートには、読影により発見された患部31aの所見が含まれる。また、読影医は、アノテーション34が付与された断層像データ(以下、アノテーション付帯断層像データという)33を、所見がみられる代表的な画像データとして読影レポートに付与する。
The radiologist creates an interpretation report as a result of the interpretation (see FIG. 3 (b)). The interpretation report includes the findings of the affected
医用画像処理装置10の処理回路15は、アノテーション付帯断層像データ33を機械学習の学習用画像データの元データとして採用する(図2参照)。
The
次に、図1に示した処理回路15の構成および動作の一例を説明する。
Next, an example of the configuration and operation of the
処理回路15は、記憶回路13に記憶されたプログラムを読み出して実行するプロセッサである。
The
処理回路15は、記憶回路13に記憶されたプログラムを読み出して実行することによって、元データ取得機能21、領域抽出機能22、切断機能23、学習画像取得機能24、および保存指示機能25を実現する。
The
元データ取得機能21は、ボリューム画像30とアノテーション34の情報とを取得する。なお、医用画像処理装置10は元データ取得機能21を備えずともよい。
The original
領域抽出機能22は、アノテーション34が付与された領域31aをボリューム画像30から抽出する。
The
切断機能23は、領域抽出機能22によって抽出された患部31aに基づいて患部31aを切り出す方向を設定する。例えば、切断機能23は、ボリューム画像30に対して、MPR(Multi-Planner Reconstruction)処理で用いる切り出し方向z1を設定する。切り出し方向z1は、少なくとも複数の断層像データ32が連続して並ぶ方向であるz方向(図2参照)とは異なる方向に設定される。具体的には、切り出し方向z1は、ボリューム画像30から切り出し方向z1に沿って複数の断層像を生成すると、この複数の断層像データにアノテーション34を含む断層像データが複数含まれるように設定される。
The cutting
また、切断機能23は、設定した切り出し方向z1に沿って、患部31aに交差する方向にボリューム画像30を切断する。具体的には、切断機能23は、ボリューム画像30を切り出し方向z1に沿ってMPR処理する(切断する)ことにより、複数の医用画像データ(以下、MPR画像データという)を生成する。MPR法は、3次元データを任意方向の平面で切断し、この平面に垂直な方向から見た断面画像を再構成する方法である。なお、医用画像処理装置10は切断機能23を備えずともよい。
The cutting
学習画像取得機能24は、領域抽出機能22によって抽出された患部31aに交差する方向に切断され、アノテーション34の一部が含まれる医用画像をボリューム画像から取得する。医用画像処理装置10が切断機能23を備える場合は、学習画像取得機能24は、切断機能23によって切断された医用画像のうちアノテーション34の一部が含まれる医用画像を取得する。
The learning
保存指示機能25は、学習画像取得機能24により取得された、アノテーション34を含む複数の医用画像を、機械学習で利用される学習用画像として医用画像保管装置102に保存させる。なお、医用画像処理装置10は保存指示機能25を備えずともよい。
The
図4を参照して処理回路15のプロセッサによる動作の一例を説明する。なお、図4には、医用画像処理装置10が領域抽出機能22および学習画像取得機能24に加えて、元データ取得機能21、切断機能23および保存指示機能25も備える場合の例を示した。
An example of the operation of the
ステップS1において、元データ取得機能21は、医用画像保管装置102から、ボリューム画像30とアノテーション34の情報とを取得する。
In step S <b> 1, the original
次に、ステップS2において、領域抽出機能22は、ボリューム画像30を構成する複数の断層像データ32から、アノテーション付帯断層像データ33を抽出する(図5参照)。
Next, in step S2, the
次に、ステップS3において、切断機能23は、ボリューム画像30に対して、MPR(Multi-Planner Reconstruction)処理で用いる切り出し方向z1を設定する。例えば、切断機能23は、アノテーション付帯断層像データ33に付帯したアノテーション34の横断線40のうち、アノテーション34の幅Wが最長となる横断線40の方向を切り出し方向z1として設定する(図6上段参照)。アノテーション34の幅Wが最長となる横断線40の方向を切り出し方向z1とすれば、ボリューム画像から切り出し方向z1に沿ってMPR処理したときに、アノテーション34を含むMPR画像データ41の枚数を最大にすることができる。
Next, in step S3, the cutting
次に、ステップS4において、切断機能23は、ボリューム画像30を切り出し方向z1に沿ってMPR処理することにより、切り出し方向z1に沿った複数のMPR画像データを生成する。このとき、切断機能23は、切り出し方向z1にもとづいて、ボリューム画像30の各画素の座標をxyz座標系からx1y1z1の直交3軸に変換してもよい。
Next, in step S4, the cutting
なお、「切り出し方向z1に沿ってMPR処理する(切断する)」とは、切り出し方向z1に交差する断面に平行にMPR処理することを言い、切り出し方向z1に斜めに交差する断面に平行にMPR処理する場合を含む。以下の説明では、生成されるMPR画像データの枚数を最大化するため、切り出し方向z1に直交する断面に平行にMPR処理する場合の例を示す。 Note that "to perform (cut) MPR along the cutting direction z1 means to perform MPR parallel to the cross section intersecting with the cutting direction z1, and MPR parallel to the cross section obliquely intersecting with the cutting direction z1. Including the case of processing. In the following description, in order to maximize the number of pieces of MPR image data to be generated, an example in which MPR processing is performed in parallel with a cross section orthogonal to the clipping direction z1 is shown.
次に、ステップS5において、学習画像取得機能24は、アノテーション34の情報にもとづいて、生成した複数のMPR画像データから、患部31aの一部を含むMPR画像データ41を取得する。切断機能23は、医用画像保管装置102から取得したアノテーション34の情報から、幅Wに対応する切り出し方向z1においてアノテーション34が存在する範囲zs≦z1≦zeを求める。幅Wはzeからzsを減じた値に等しい(図6下段参照)。学習画像取得機能24は、この範囲zs≦z1≦zeのMPR画像データを、患部31aの一部を含むMPR画像データ41として取得する。
Next, in step S5, the learning
なお、切断機能23は、ステップS4において、MPR処理の前に切り出し方向z1においてアノテーション34が存在する範囲zs≦z1≦zeを求め、この範囲のみでMPR処理をすることにより、患部31aの一部を含むMPR画像データ41を取得してもよい。この場合、ステップS5は実行不要である。
The cutting
図7に示すように、アノテーション34が付与された領域の範囲zs≦z1≦zeで、切り出し方向z1に沿ってボリューム画像30をZ軸方向に順次切断していくと、アノテーション34の一部が含まれる複数の医用画像41がボリューム画像30から取得される。
As shown in FIG. 7, when the
次に、ステップS6において、保存指示機能25は、学習画像取得機能24により取得された複数の医用画像41を、機械学習で利用される学習用画像データとして保存するよう医用画像保管装置102に指示する(図7参照)。
Next, in step S6, the
以上の手順により、1つのボリューム画像30から、当該ボリューム画像30のアノテーション34が付与された領域に基づいて、アノテーション34の一部が含まれる医用画像を機械学習用の医用画像として容易に数多く収集することができる。
According to the above-described procedure, a large number of medical images including a part of the
このため、あらたなセキュリティ整備やインフラ整備をすることなく、既存の1つの医療施設やグループ病院内で共有されている医用画像データ、検査情報、読影レポート情報等を用いるだけで、機械学習に必要な学習用画像データを十分に生成することができる。 For this reason, it is necessary for machine learning only by using medical image data, examination information, interpretation report information, etc. shared within one existing medical facility or group hospital without new security and infrastructure maintenance. Image data for learning can be generated sufficiently.
なお、切り出し方向z1は、1つのアノテーション付帯断層像データ33に対して複数設定されてもよい。切り出し方向z1を変えれば、生成されるMPR画像データ41は異なる画像データとなる。このため、学習の強化につながることが期待できるのであれば、1つのアノテーション付帯断層像データ33に対して複数の切り出し方向z1を設定してもよい。
A plurality of clipping directions z1 may be set for one annotation attached
この場合、複数の切り出し方向z1には、アノテーション34と交わる幅Wが最も長い方向が含まれることが好ましい。例えば、アノテーション34の形状が自由曲線で描かれた形状である場合は、アノテーション34と交わる幅Wが最も長い方向から、例えば4番目に長い方向までの4つの方向などのように複数の方向を設定するとよい。
In this case, the plurality of cutout directions z1 preferably include the direction in which the width W intersecting the
一方、アノテーション34の形状が円形であれば、アノテーション34と交わる幅Wは全ての方向で同一となるため、例えばx方向とy方向の2方向や、これらにy=xに沿った方向およびy=―xに沿った方向を加えた4方向など、z方向とは異なる切り出し方向をあらかじめ定めておいてもよい。このように1つのアノテーション付帯断層像データ33に対して複数の切り出し方向z1を設定する場合、1検査で得られた1つのボリューム画像30から生成される学習用画像データの数をさらに増やすことができる。
On the other hand, if the shape of the
(実施形態2)
ボリューム画像30とアノテーション34の情報との組み合わせ(以下、元データセットという)を複数あつかう場合について説明する。元データセットは、1つの検査ごとに、例えば1組が生成される。
Second Embodiment
A case where a plurality of combinations of the
複数の元データセットを用いる場合における処理回路15のプロセッサによる動作の一例を、図8および図9を参照して説明する。なお、図4と同等のステップには同一符号を付し、重複する説明を省略する。
An example of the operation by the processor of the
処理回路15は、ボリューム画像30とアノテーション34の情報との組み合わせ(元データセット)を複数あつかってもよい。このとき、アノテーション34と交わる幅Wが最長となる横断線40に対応する方向を切り出し方向z1とすると、元データセットごとに互いに異なる切り出し方向z1が設定されてしまう。この場合、元データセットごとに、MPR画像データ41に含まれる骨や臓器の形状等が異なってしまい、これらがノイズとなって学習に悪影響を及ぼす可能性がある。
The
そこで、複数の元データセットをあつかう場合は、全ての元データセットで1つの切り出し方向z1を共用することが好ましい(図9参照)。また、この場合、切り出し方向z1を共用する複数の元データセットは、撮影条件の情報および被検体の情報(以下、関連情報)が共通するものとするとよい。 Therefore, when dealing with a plurality of original data sets, it is preferable to share one cutout direction z1 with all the original data sets (see FIG. 9). Further, in this case, it is preferable that the plurality of original data sets sharing the cutout direction z1 share the information of the imaging condition and the information of the subject (hereinafter, related information).
このため、図8のステップS11において、元データ取得機能21は、医用画像保管装置102から、関連情報(撮影条件の情報および被検体の情報)が共通する複数の元データセット(ボリューム画像30とアノテーション34の情報の組み合わせ)を取得する。
Therefore, in step S11 of FIG. 8, the original
次に、ステップS12において、領域抽出機能22は、ボリューム画像30を構成する複数の断層像データ32から、アノテーション付帯断層像データ33を抽出する(図9の2段目参照)。
Next, in step S12, the
次に、ステップS13において、切断機能23は、全ての元データセットで共用される切り出し方向z1を設定する。このとき、切断機能23は、複数の元データセットのそれぞれについて、ボリューム画像30から共用切り出し方向z1に沿ってMPR画像データを生成した場合に、全ての元データセットから生成されるアノテーション34を含むMPR画像データ41の枚数の合計が最大となる方向を、共用切り出し方向z1に決定する。アノテーション付帯断層像データ33のアノテーション34の共用切り出し方向z1における幅を全ての元データセットで合計した長さは、他の方向に比べて最も長くなる。
Next, in step S13, the cutting
次に、ステップS14において、切断機能23は、保存指示機能25を介して、決定した共用切り出し方向z1の情報を医用画像保管装置102に保存させる。
Next, in step S14, the cutting
次に、ステップS15において、切断機能23は、複数の元データセットの各ボリューム画像30を、共用切り出し方向z1に沿ってMPR処理することにより、切り出し方向z1に沿った複数のMPR画像データを生成する。
Next, in step S15, the cutting
以上の手順により、複数の元データセットに対して共用の切り出し方向z1を設定しつつ学習用画像を数多く収集することができる。全ての元データセットは、共通する関連情報を有するとともに、切り出し方向z1を共用する。このため、図8の手順により生成される学習用画像データは、全て同一方向から観察した断層像データとすることができる。 According to the above procedure, it is possible to collect many learning images while setting the common clipping direction z1 to a plurality of original data sets. All the original data sets have common related information and share the clipping direction z1. Therefore, the learning image data generated by the procedure of FIG. 8 can be tomographic image data observed from the same direction.
(実施形態3)
アノテーション34を含むMPR画像データ41のそれぞれを、MPR画像データ41に含まれる臓器31のサイズとアノテーション34のサイズに応じて分類する方法について説明する。
(Embodiment 3)
A method of classifying each of the
図10に示すように、処理回路15は、記憶回路13に記憶されたプログラムを読み出して実行することによって、さらに分類機能26を実現してもよい。
As shown in FIG. 10, the
分類機能26は、学習画像取得機能24によって取得された医用画像に含まれるアノテーションの大きさに基づいて、医用画像を分類する。例えば、分類機能26は、アノテーション34を含む複数のMPR画像データのそれぞれについて、各MPR画像データ内における臓器31のサイズに対するアノテーション34のサイズを示す指標値を求める。また、分類機能26は、この指標値にもとづいて複数のMPR画像データを複数のグループに分類する。分類機能26によって複数のMPR画像データが複数のグループに分類された場合は、保存指示機能25は、学習用画像データをこれらのグループごとに医用画像保管装置102に保存させる。
The
臓器31におけるアノテーション34の位置またはサイズに応じて患部31aの状態を分類する際の手順の一例を図10および図11を参照して説明する。なお、図4と同等のステップには同一符号を付し、重複する説明を省略する。
An example of the procedure for classifying the state of the
図4に示したステップS1からS5までの手順によって、アノテーション34を含むMPR画像データ41が抽出される。
The
次に、ステップS21において、分類機能26は、エッジ検出等の画像処理により、MPR画像データ41に含まれる臓器31の輪郭を取得する。そして、分類機能26は、アノテーション34を含む複数のMPR画像データ41のそれぞれについて、各MPR画像データ41内における臓器31のサイズに対するアノテーション34のサイズを示す指標値を求める。
Next, in step S21, the
指標値としては、例えば、x1方向における臓器31の幅と、x1方向におけるアノテーション34の幅との比率Rを用いることができる。このとき、x1方向における臓器31の幅は、アノテーション34と同位置における幅を用いてもよいし、x1方向における臓器31の幅の最大値を用いてもよい。臓器31の幅は、画像処理で取得した臓器31の輪郭から求めることができる。アノテーション34の幅は、医用画像保管装置102から取得したアノテーション34の情報から容易に求めることができる。
As the index value, for example, a ratio R between the width of the
次に、分類機能26は、あらかじめ記憶回路13や医用画像保管装置102などに記憶されていた閾値を用いて、指標値にもとづいて、学習用画像データとして利用される複数のMPR画像データ41を複数のグループに分類する。
Next, the
例えば、分類機能26は、ノイズ閾値を用いて、指標値がノイズ閾値以下のMPR画像データ41をノイズ学習用のグループ(データセット)に分類する。また、指標値がノイズ閾値より大きいMPR画像データ41は、患部31aのサイズが大きいほど症状が進行しているグループに分類されるように、指標値の閾値を用いて、症状の進行状態に応じてさらに複数のグループに分類されるとよい。症状の進行状態に応じた複数のグループとしては、例えば初期ステージ、中期ステージ、および後期ステージの3つのグループなどが考えられる(図11参照)。
For example, the
なお、分類機能26は、指標値としてx1方向におけるアノテーション34の幅そのものを用いてもよい。この場合、グループに分類するための閾値は、臓器31の種別ごとにあらかじめ定めておけばよい。
The
次に、ステップS23において、保存指示機能25は、これらのグループごとに、アノテーション34を含む複数のMPR画像データ41を学習用画像データとして医用画像保管装置102に保存させる。
Next, in step S23, the
以上の手順により、臓器31のサイズとアノテーション34のサイズに応じてアノテーション34を含むMPR画像データ41を分類することができる。
According to the above procedure, the
このように、医用画像処理装置10によれば、アノテーション34のサイズに応じて、ノイズと考えられる学習用画像データを容易に収集することができる。機械学習においては、ノイズをノイズとして学習させることにも十分に意味がある。ノイズと判定すべき画像データを学習させることで、CNNはノイズにロバストとなる。また、症状の進行状態に応じて自動的に学習用画像データを分類することができる。
As described above, according to the medical
また、特徴構造を高精度に抽出させるためには、ボリューム画像30を生成したモダリティ100の情報、モダリティ100のメーカ情報のほか、造影剤の使用有無や撮影プロトコルなどの撮影条件の情報、身長、体重などの被検体の情報などによって、学習用画像データを細分化することが好ましい。この点、医用画像処理装置10は、学習用画像データを細分化する場合であっても、学習用画像データを十分に収集することができる。学習用画像データを細分化する場合は、分類機能26は、アノテーション34を含むMPR画像データ41を、撮影条件の情報や被検体の情報などの分類条件に従って分類するとよい。この場合、保存指示機能25は、MPR画像データ41を分類ごとに保存するよう医用画像保管装置102に指示する。
Further, in order to extract the feature structure with high accuracy, information of the
以上説明した少なくとも1つの実施形態によれば、患部が含まれた医用画像データを機械学習の学習用に容易に数多く収集することができる。 According to at least one embodiment described above, a large number of medical image data including an affected area can be easily collected for machine learning.
なお、処理回路15の領域抽出機能22、切断機能23、学習画像取得機能24、保存指示機能25および分類機能26は、それぞれ特許請求の範囲における領域抽出部、切断部、取得部、保存指示部および分類部の一例である。また、医用画像保管装置102は、特許請求の範囲における保管装置の一例である。
The
なお、上記実施形態において、「プロセッサ」という文言は、例えば、専用または汎用のCPU(Central Processing Unit)、GPU(Graphics Processing Unit)、または、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、およびFPGA)等の回路を意味するものとする。プロセッサは、記憶媒体に保存されたプログラムを読み出して実行することにより、各種機能を実現する。 In the above embodiment, the word “processor” means, for example, a dedicated or general-purpose central processing unit (CPU), a graphics processing unit (GPU), or an application specific integrated circuit (ASIC), By circuits such as programmable logic devices (eg, Simple Programmable Logic Devices (SPLDs), Complex Programmable Logic Devices (CPLDs), and FPGAs) are meant. The processor implements various functions by reading and executing a program stored in a storage medium.
また、上記実施形態では処理回路の単一のプロセッサが各機能を実現する場合の例について示したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサが各機能を実現してもよい。また、プロセッサが複数設けられる場合、プログラムを記憶する記憶媒体は、プロセッサごとに個別に設けられてもよいし、1つの記憶媒体が全てのプロセッサの機能に対応するプログラムを一括して記憶してもよい。 In the above embodiment, an example in which a single processor of the processing circuit realizes each function is described. However, a plurality of independent processors are combined to form a processing circuit, and each processor realizes each function. It is also good. When a plurality of processors are provided, storage media for storing programs may be individually provided for each processor, or one storage medium may collectively store programs corresponding to the functions of all processors. It is also good.
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 While certain embodiments of the present invention have been described, these embodiments have been presented by way of example only, and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, substitutions, and modifications can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and the gist of the invention, and are included in the invention described in the claims and the equivalent scope thereof.
10…医用画像処理装置
15…処理回路
22…領域抽出機能
23…切断機能
24…学習画像取得機能
25…保存指示機能
26…分類機能
30…ボリューム画像
31…臓器
31a…患部
32…断層像データ
33…アノテーション付帯断層像データ
34…アノテーション
41…MPR画像データ
102…医用画像保管装置
z1…切り出し方向
z1…共用切り出し方向
10 medical
Claims (12)
前記領域抽出部によって抽出された前記領域に交差する方向に切断され、前記所見情報の一部が含まれる医用画像を前記3次元医用画像から取得する取得部と、を備える、
医用画像処理装置。 An area extraction unit which extracts an area to which finding information is added from a three-dimensional medical image;
An acquisition unit which is cut in a direction intersecting with the area extracted by the area extraction unit and acquires a medical image including a part of the finding information from the three-dimensional medical image;
Medical image processing device.
前記取得部は、前記切断部によって切断された医用画像のうち前記所見情報の一部が含まれる医用画像を取得する、
請求項1に記載の医用画像処理装置。 The image processing apparatus further comprises: a cutting unit which sets a direction in which the region is cut out based on the region extracted by the region extraction unit, and cuts the three-dimensional medical image in the intersecting direction along the set cutting direction.
The acquisition unit acquires a medical image including a part of the finding information in the medical image cut by the cutting unit.
The medical image processing apparatus according to claim 1.
前記領域抽出部は、前記所見情報が付与された領域を前記複数の2次元医用画像から抽出し、
前記切断部は、前記所定方向とは異なる方向を前記切り出す方向として設定し、当該設定した切り出し方向に沿って、前記交差する方向に前記複数の2次元医用画像を切断する、
請求項2に記載の医用画像処理装置。 The three-dimensional medical image is composed of a plurality of two-dimensional medical images continuous in a predetermined direction,
The area extraction unit extracts an area to which the finding information is added from the plurality of two-dimensional medical images.
The cutting unit sets a direction different from the predetermined direction as the cutting-out direction, and cuts the plurality of two-dimensional medical images in the intersecting direction along the set cutting-out direction.
The medical image processing apparatus according to claim 2.
請求項2または3に記載の医用画像処理装置。 The cutting unit sets a direction in which the width of the area extracted by the area extraction unit is the largest as the cutting-out direction.
The medical image processing apparatus according to claim 2.
請求項2または3に記載の医用画像処理装置。 The cutting unit sets, as the cutting-out direction, a common direction obtained based on all the extracted regions when the region extraction unit extracts a plurality of regions to which the finding information is added.
The medical image processing apparatus according to claim 2.
請求項5に記載の医用画像処理装置。 The cutting unit sets a direction in which the sum of widths of the regions extracted by the region extracting unit is maximum as the cutting-out direction.
The medical image processing apparatus according to claim 5.
請求項1ないし6のいずれか1項に記載の医用画像処理装置。 And a classification unit that classifies the medical image based on the size of the finding information included in the medical image acquired by the acquisition unit.
The medical image processing device according to any one of claims 1 to 6.
前記所見情報の大きさが閾値以下であるものをノイズデータのグループに分類する、
請求項7記載の医用画像処理装置。 The classification unit
Classifying the findings information having a size equal to or less than a threshold into a noise data group
The medical image processing apparatus according to claim 7.
前記取得部によって取得された前記医用画像に含まれる前記所見情報の大きさが大きいほど症状が進行していると分類されるように、前記所見情報の大きさにもとづいて、前記医用画像を症状の進行状態に応じたグループに分類する、
請求項7または8に記載の医用画像処理装置。 The classification unit
The medical image is displayed as a symptom based on the size of the finding information such that the condition is classified as progressing as the size of the finding information included in the medical image obtained by the obtaining unit is larger. Classified into groups according to the progress of
The medical image processing apparatus according to claim 7.
前記3次元医用画像の撮影条件の情報および前記3次元医用画像の被検体の情報の少なくとも一方を含む関連情報にもとづいて、前記取得部によって取得された前記医用画像を分類する、
請求項7ないし9のいずれか1項に記載の医用画像処理装置。 The classification unit
Classifying the medical image acquired by the acquisition unit on the basis of related information including at least one of information of imaging conditions of the three-dimensional medical image and information of an object of the three-dimensional medical image;
The medical image processing apparatus according to any one of claims 7 to 9.
請求項1ないし10のいずれか1項に記載の医用画像処理装置。 The storage device further includes a storage instructing unit instructing storage of the medical image including a part of the finding information acquired by the acquisition unit as an image for machine learning in a storage device.
The medical image processing apparatus according to any one of claims 1 to 10.
前記領域抽出ステップで抽出された前記領域に交差する方向に切断され、前記所見情報の一部が含まれる医用画像を前記3次元医用画像から取得する取得ステップと、を有する、
医用画像処理方法。 An area extraction step of extracting an area to which the finding information is added from the three-dimensional medical image;
Obtaining in the direction crossing the area extracted in the area extraction step, a medical image including a part of the finding information from the three-dimensional medical image;
Medical image processing method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017221797A JP7228332B2 (en) | 2017-11-17 | 2017-11-17 | MEDICAL IMAGE PROCESSING APPARATUS AND MEDICAL IMAGE PROCESSING METHOD |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017221797A JP7228332B2 (en) | 2017-11-17 | 2017-11-17 | MEDICAL IMAGE PROCESSING APPARATUS AND MEDICAL IMAGE PROCESSING METHOD |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019092542A true JP2019092542A (en) | 2019-06-20 |
JP7228332B2 JP7228332B2 (en) | 2023-02-24 |
Family
ID=66970046
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017221797A Active JP7228332B2 (en) | 2017-11-17 | 2017-11-17 | MEDICAL IMAGE PROCESSING APPARATUS AND MEDICAL IMAGE PROCESSING METHOD |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7228332B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021013644A (en) * | 2019-07-12 | 2021-02-12 | 富士フイルム株式会社 | Diagnosis support device, diagnosis support method, and diagnosis support program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012000189A (en) * | 2010-06-15 | 2012-01-05 | Toshiba Corp | Medical image diagnostic apparatus, image information processor, and control program for displaying medical treatment support data |
JP2015080720A (en) * | 2013-10-24 | 2015-04-27 | 三星電子株式会社Samsung Electronics Co.,Ltd. | Apparatus and method for computer-aided diagnosis |
JP2015205164A (en) * | 2014-04-10 | 2015-11-19 | 株式会社東芝 | Medical image display device and medical image display system |
US20160334964A1 (en) * | 2013-12-31 | 2016-11-17 | SAMSUNG ELECTRONICS CO., LTD. Co., Ltd. | User interface system and method for enabling mark-based interaction for images |
JP2017064387A (en) * | 2015-09-30 | 2017-04-06 | パナソニックIpマネジメント株式会社 | Control method and program |
-
2017
- 2017-11-17 JP JP2017221797A patent/JP7228332B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012000189A (en) * | 2010-06-15 | 2012-01-05 | Toshiba Corp | Medical image diagnostic apparatus, image information processor, and control program for displaying medical treatment support data |
JP2015080720A (en) * | 2013-10-24 | 2015-04-27 | 三星電子株式会社Samsung Electronics Co.,Ltd. | Apparatus and method for computer-aided diagnosis |
US20160334964A1 (en) * | 2013-12-31 | 2016-11-17 | SAMSUNG ELECTRONICS CO., LTD. Co., Ltd. | User interface system and method for enabling mark-based interaction for images |
JP2015205164A (en) * | 2014-04-10 | 2015-11-19 | 株式会社東芝 | Medical image display device and medical image display system |
JP2017064387A (en) * | 2015-09-30 | 2017-04-06 | パナソニックIpマネジメント株式会社 | Control method and program |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021013644A (en) * | 2019-07-12 | 2021-02-12 | 富士フイルム株式会社 | Diagnosis support device, diagnosis support method, and diagnosis support program |
US11455728B2 (en) | 2019-07-12 | 2022-09-27 | Fujifilm Corporation | Diagnosis support device, diagnosis support method, and diagnosis support program |
JP7144370B2 (en) | 2019-07-12 | 2022-09-29 | 富士フイルム株式会社 | Diagnosis support device, diagnosis support method, and diagnosis support program |
Also Published As
Publication number | Publication date |
---|---|
JP7228332B2 (en) | 2023-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6595193B2 (en) | Interpretation report creation device and interpretation report creation system | |
JP6542004B2 (en) | Medical image processing apparatus and medical image processing system | |
US20190279751A1 (en) | Medical document creation support apparatus, method, and program | |
US20190295248A1 (en) | Medical image specifying apparatus, method, and program | |
US11646119B2 (en) | Systems and methods for automated analysis of medical images | |
US11139067B2 (en) | Medical image display device, method, and program | |
JP2013192624A (en) | Medical image diagnosis supporting apparatus, medical image diagnosis supporting method and computer program | |
US11574717B2 (en) | Medical document creation support apparatus, medical document creation support method, and medical document creation support program | |
US11093699B2 (en) | Medical image processing apparatus, medical image processing method, and medical image processing program | |
CN110400617A (en) | The combination of imaging and report in medical imaging | |
US20170262584A1 (en) | Method for automatically generating representations of imaging data and interactive visual imaging reports (ivir) | |
US20190267120A1 (en) | Medical document creation support apparatus, method, and program | |
US20220366151A1 (en) | Document creation support apparatus, method, and program | |
US11923069B2 (en) | Medical document creation support apparatus, method and program, learned model, and learning apparatus, method and program | |
JP2015171456A (en) | Medical image display device, medical image display system, and medical image display program | |
US11688498B2 (en) | Medical document display control apparatus, medical document display control method, and medical document display control program | |
US20230005580A1 (en) | Document creation support apparatus, method, and program | |
US20220392619A1 (en) | Information processing apparatus, method, and program | |
JP7223539B2 (en) | Breast cancer diagnosis support device, breast cancer diagnosis support system, and breast cancer diagnosis support method | |
JP7228332B2 (en) | MEDICAL IMAGE PROCESSING APPARATUS AND MEDICAL IMAGE PROCESSING METHOD | |
JP7420914B2 (en) | Information processing device, information processing method, and information processing program | |
Mashouri et al. | 3D photography based neural network craniosynostosis triaging system | |
Wang et al. | Preparing CT imaging datasets for deep learning in lung nodule analysis: Insights from four well-known datasets | |
Chaki et al. | Data tagging in medical images: A survey of the state-of-art | |
US20230022549A1 (en) | Image processing apparatus, method and program, learning apparatus, method and program, and derivation model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200827 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210713 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210913 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230117 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230213 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7228332 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |