JP2021104193A - Image processing device, program and method - Google Patents
Image processing device, program and method Download PDFInfo
- Publication number
- JP2021104193A JP2021104193A JP2019236725A JP2019236725A JP2021104193A JP 2021104193 A JP2021104193 A JP 2021104193A JP 2019236725 A JP2019236725 A JP 2019236725A JP 2019236725 A JP2019236725 A JP 2019236725A JP 2021104193 A JP2021104193 A JP 2021104193A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- trained model
- contour
- short
- axis cross
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 219
- 238000000034 method Methods 0.000 title claims description 100
- 238000001514 detection method Methods 0.000 claims abstract description 56
- 230000006870 function Effects 0.000 description 362
- 238000002591 computed tomography Methods 0.000 description 204
- 210000004165 myocardium Anatomy 0.000 description 134
- 238000012986 modification Methods 0.000 description 104
- 230000004048 modification Effects 0.000 description 104
- 238000010586 diagram Methods 0.000 description 66
- 230000015654 memory Effects 0.000 description 37
- 238000012549 training Methods 0.000 description 35
- 238000004458 analytical method Methods 0.000 description 34
- 238000010801 machine learning Methods 0.000 description 29
- 210000005240 left ventricle Anatomy 0.000 description 24
- 239000002872 contrast media Substances 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 230000002107 myocardial effect Effects 0.000 description 6
- 230000017531 blood circulation Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000010412 perfusion Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 210000000709 aorta Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000004351 coronary vessel Anatomy 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 239000002304 perfume Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
Abstract
Description
本発明の実施形態は、画像処理装置、プログラム及び方法に関する。 Embodiments of the present invention relate to image processing devices, programs and methods.
被検体の部位の解析を行う画像処理装置及び医用画像診断装置がある。例えば、複数の時相の画像データであって心筋の輪郭が描出された画像データに基づいて、造影剤が投入された被検体の心臓の心筋内の血流量を得るための心筋パフュージョンを実行する画像処理装置及びX線CT(Computed Tomography)装置がある。心筋パフュージョンは、心筋領域内の画素毎又は局所毎に造影剤に関する時間濃度曲線(time-density curve)を生成し、造影剤が流入してから流出するまでの期間に移動する血流の量を、時間濃度曲線に基づいて、画素毎又は局所毎に算出する解析である。このような心筋パフュージョンを含む様々な解析では、解析を精度良く行うために、解析において用いられる解析対象の部位の輪郭の位置及び形状の精度が良好であることが望まれる。すなわち、解析を精度良く行うために、精度の良い輪郭を示す情報を得ることが望まれる。 There are image processing devices and medical diagnostic imaging devices that analyze the site of the subject. For example, based on the image data of a plurality of time phases in which the outline of the myocardium is drawn, a myocardial perfusion is performed to obtain the blood flow in the heart muscle of the subject to which the contrast medium is injected. There are an image processing device and an X-ray CT (Computed Tomography) device. Myocardial perfusion generates a time-density curve for the contrast medium on a pixel-by-pixel or local basis in the myocardial region, and the amount of blood flow that moves during the period from the inflow of the contrast medium to the outflow of the contrast medium. Is an analysis that is calculated for each pixel or each local area based on the time density curve. In various analyzes including such myocardial perfusion, in order to perform the analysis with high accuracy, it is desired that the position and shape of the contour of the analysis target site used in the analysis have good accuracy. That is, in order to perform the analysis with high accuracy, it is desired to obtain information showing an accurate contour.
本発明が解決しようとする課題は、精度の良い輪郭を示す情報を得ることである。 The problem to be solved by the present invention is to obtain information showing an accurate contour.
実施形態の画像処理装置は、記憶部と、出力部とを備える。記憶部は、検出対象物の対象位置の第1の画像データの、検出対象物の輝度値に基づいてウィンドウ条件を加工した第2の画像データが入力されることで、検出対象物の輪郭を示す情報を出力する学習済みモデルを記憶する。出力部は、学習済みモデルを使用して、第2の画像データを基に、検出対象物の輪郭を示す情報を出力する。 The image processing device of the embodiment includes a storage unit and an output unit. The storage unit inputs the outline of the detection target by inputting the second image data of the first image data of the target position of the detection target, which is the window condition processed based on the brightness value of the detection target. Store the trained model that outputs the indicated information. The output unit uses the trained model to output information indicating the outline of the detection target based on the second image data.
以下、図面を参照しながら、画像処理装置、プログラム及び方法の実施形態を詳細に説明する。なお、本願に係る画像処理装置、プログラム及び方法は、以下に示す実施形態によって限定されるものではない。 Hereinafter, embodiments of an image processing apparatus, a program, and a method will be described in detail with reference to the drawings. The image processing apparatus, program, and method according to the present application are not limited to the embodiments shown below.
(第1の実施形態)
図1は、第1の実施形態に係る医用処理システム1の構成の一例を示す図である。図1に示すように、医用処理システム1は、X線CT装置110と、端末装置120と、画像処理装置130とを備える。ここで、X線CT装置110と、端末装置120と、画像処理装置130とは、ネットワーク200を介して通信可能に接続されている。
(First Embodiment)
FIG. 1 is a diagram showing an example of the configuration of the medical processing system 1 according to the first embodiment. As shown in FIG. 1, the medical processing system 1 includes an
医用処理システム1では、学習済みモデルを生成する学習時の段階と、学習済みモデルを用いて処理を行う運用時の段階とがある。 In the medical processing system 1, there is a stage at the time of learning to generate a trained model and a stage at the time of operation to perform processing using the trained model.
X線CT装置110は、被検体を撮像してCT画像を示すCT画像データを生成する。例えば、X線CT装置110は、X線管、X線検出器、DAS(Data Acquisition System)及び処理回路を有する。例えば、X線管は、被検体に対して照射するX線を発生する。検出器は、被検体を通過したX線を検出し、検出したX線量に対応する電気信号をDASに出力する。DASは、検出器から出力された電気信号を増幅させ、アナログ信号である増幅された電気信号をデジタル信号に変換することにより、検出データを生成し、生成した検出データを処理回路に出力する。処理回路は、検出データに対して、対数変換処理、オフセット補正処理、チャネル間の感度補正処理及びビームハードニング補正処理等の前処理を施す。前処理が施された検出データは、生データと称される。そして、処理回路は、生データに対して、フィルタ補正逆投影法や逐次近似再構成法等を用いた再構成処理を行って3次元のCT画像データを生成する。CT画像データの複数の画素(ボクセル)のそれぞれには、CT値が設定されている。例えば、CT値は、「−1000」以上「1000」以下の範囲内の値である。
The
そして、X線CT装置110は、各種のデータを画像処理装置130に送信する。図2及び図3は、第1の実施形態に係るX線CT装置110が送信するデータの一例を説明するための図である。例えば、X線CT装置110は、画像処理装置130が学習済みモデルを生成する学習時には、図2に示すように、学習時用のCT画像データ11を画像処理装置130へ送信する。これにより、画像処理装置130は、CT画像データ11を用いて学習済みモデルを生成する。
Then, the
また、X線CT装置110は、画像処理装置130が学習済みモデルを用いて画像データを推定する処理を実行する運用時には、図3に示すように、運用時用のCT画像データ12を画像処理装置130へ送信する。これにより、画像処理装置130は、CT画像データ12及び学習済みモデルを用いて処理を実行する。
Further, in the operation of the
なお、CT画像データ11を生成する際に撮像された被検体と、CT画像データ12を生成する際に撮像された被検体とは異なっていてもよいし、同一であってもよい。ただし、CT画像データ11を生成する際に撮像された部位と、CT画像データ12を生成する際に撮像された部位とは同一である。すなわち、CT画像データ11に描出された部位と、CT画像データ12に描出された部位とは同一である。また、例えば、CT画像データ11を生成する際に撮像された被検体、及び、CT画像データ12を生成する際に撮像された被検体には、造影剤が投与されている。画像処理装置130が実行する学習時の学習済みモデルを生成する処理、及び、運用時の学習済みモデルを用いた処理の具体例については後述する。
The subject imaged when the CT image data 11 is generated and the subject imaged when the
図1の説明に戻る。端末装置120は、病院内に勤務する医師や検査技師等のユーザに画像を閲覧させるための装置である。例えば、端末装置120は、ユーザにより操作されるパーソナルコンピュータ(PC:Personal Computer)、タブレット式PC、PDA(Personal Digital Assistant)又は携帯電話等によって実現される。例えば、端末装置120は、X線CT装置110又は画像処理装置130から送信された各種の画像データを受信する。そして、端末装置120は、受信した画像データに基づく画像を端末装置120が備えるディスプレイに表示させるとともに、端末装置120が備える入力インターフェースを介して画像に対する各種操作を受け付ける。
Returning to the description of FIG. The terminal device 120 is a device for allowing a user such as a doctor or an examination engineer working in a hospital to view an image. For example, the terminal device 120 is realized by a personal computer (PC: Personal Computer), a tablet PC, a PDA (Personal Digital Assistant) operated by a user, a mobile phone, or the like. For example, the terminal device 120 receives various image data transmitted from the
画像処理装置130は、X線CT装置110から各種のデータを取得し、取得したデータを用いて各種の処理を実行する。例えば、画像処理装置130は、サーバ、ワークステーション、パーソナルコンピュータ、タブレット端末等のコンピュータ機器によって実現される。
The
画像処理装置130は、通信インターフェース131と、メモリ132と、入力インターフェース133と、ディスプレイ134と、処理回路135とを備える。
The
通信インターフェース131は、処理回路135に接続されており、画像処理装置130とX線CT装置110との間で行われる通信、及び、画像処理装置130と端末装置120との間で行われる通信を制御する。具体例を挙げて説明すると、通信インターフェース131は、X線CT装置110及び端末装置120から各種のデータや情報を受信し、受信したデータや情報を処理回路135に送信する。例えば、通信インターフェース131は、ネットワークカード、ネットワークアダプタ又はNIC(Network Interface Controller)等によって実現される。
The communication interface 131 is connected to the processing circuit 135, and performs communication performed between the
メモリ132は、処理回路135に接続されており、各種のデータや情報を記憶する。例えば、メモリ132は、X線CT装置110から送信されたCT画像データ11及びCT画像データ12を記憶する。
The
また、メモリ132は、処理回路135が各種機能を実現するためのプログラムを記憶する。例えば、メモリ132は、フラッシュメモリ等の半導体メモリ素子、ハードディスク又は光ディスク等によって実現される。メモリ132は、記憶部の一例である。
Further, the
入力インターフェース133は、処理回路135に接続されており、ユーザからの各種の指示、要求及び情報の入力操作を受け付ける。例えば、入力インターフェース133は、ユーザから受け付けた入力操作を電気信号へ変換し、この電気信号を処理回路135に送信する。例えば、入力インターフェース133は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び、音声入力回路等によって実現される。なお、本明細書において、入力インターフェース133は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路135へ送信する電気信号の処理回路も入力インターフェース133の例に含まれる。
The
ディスプレイ134は、処理回路135に接続されており、各種の情報及び画像を表示する。例えば、ディスプレイ134は、処理回路135から送信される情報及びデータを表示用の電気信号に変換して出力する。例えば、ディスプレイ134は、液晶モニタやCRT(Cathode Ray Tube)モニタ、タッチパネル等によって実現される。
The
処理回路135は、入力インターフェース133を介してユーザから受け付けた入力操作に応じて、画像処理装置130の動作を制御する。例えば、処理回路135は、プロセッサによって実現される。
The processing circuit 135 controls the operation of the
以上、本実施形態に係る医用処理システム1の構成の一例について説明した。例えば、医用処理システム1に含まれる画像処理装置130は、病院や医院等の医療機関に設置され、医療機関に入院又は通院する患者等を被検体として、X線CT装置110によって生成されるCT画像データを用いた各種の画像診断に利用される。本実施形態では、画像処理装置130は、精度の良い、解析対象の部位の輪郭(例えば、精度の良い輪郭の位置及び形状)を得ることができるように、以下に説明する各種の処理を実行する。
The example of the configuration of the medical processing system 1 according to the present embodiment has been described above. For example, the
以下、本実施形態に係る画像処理装置130の詳細について説明する。図1に示すように、画像処理装置130の処理回路135は、制御機能135a、取得機能135b、学習用データセット生成機能135c、学習済みモデル生成機能135d、推定機能135e、解析機能135f及び出力機能135gを実行する。
Hereinafter, the details of the
ここで、例えば、処理回路135が有する各処理機能は、コンピュータによって実行可能なプログラムの形態でメモリ132に記憶される。図1に示す処理回路135の構成要素である制御機能135a、取得機能135b、学習用データセット生成機能135c、学習済みモデル生成機能135d、推定機能135e、解析機能135f及び出力機能135gの各処理機能は、コンピュータによって実行可能なプログラムの形態でメモリ132に記憶されている。処理回路135は、各プログラムをメモリ132から読み出し、読み出された各プログラムを実行することで、各プログラムに対応する機能を実現する。換言すると、各プログラムを読み出した状態の処理回路135は、図1の処理回路135内に示された各機能を有することとなる。
Here, for example, each processing function of the processing circuit 135 is stored in the
制御機能135aは、入力インターフェース133を介して入力された各種指示及び各種要求に応じた処理を実行するように、画像処理装置130の通信インターフェース131、メモリ132、ディスプレイ134、及び、各機能135b〜135gを制御する。例えば、制御機能135aは、通信インターフェース131を介した各種データ及び各種情報の送受信、メモリ132へのデータ及び情報の格納、ディスプレイ134に対する各種画像の表示等を制御する。
The control function 135a has a communication interface 131, a
例えば、制御機能135aは、学習時にX線CT装置110から送信されたCT画像データ11をメモリ132に格納する。また、制御機能135aは、運用時にX線CT装置110から送信されたCT画像データ12をメモリ132に格納する。
For example, the control function 135a stores the CT image data 11 transmitted from the
取得機能135bは、各種のデータを取得する。例えば、取得機能135bは、学習時に、メモリ132に記憶されたCT画像データ11を取得する。また、取得機能135bは、運用時に、メモリ132に記憶されたCT画像データ12を取得する。
The acquisition function 135b acquires various types of data. For example, the acquisition function 135b acquires the CT image data 11 stored in the
図4は、第1の実施形態に係るCT画像データ11の一例を示す図である。CT画像データ11は、被検体の心臓の左心室を含む3次元の領域を撮像することによりX線CT装置110により得られたデータである。CT画像データ11は、3次元のCT画像データである。
FIG. 4 is a diagram showing an example of CT image data 11 according to the first embodiment. The CT image data 11 is data obtained by the
図4に示すように、CT画像データ11には、被検体の心臓の左心室14の心筋が描出されている。以下の説明では、解析対象の部位が左心室14の心筋であり、画像処理装置130が、左心室14の心筋が描出されたCT画像データ11を用いて学習済みモデルを生成する場合を例に挙げて説明する。ただし、解析対象の部位が左心室の心筋以外の部位である場合、画像処理装置130は、左心室の心筋以外の部位が描出されたCT画像データを用いて、以下に説明する処理と同様の処理を行って、以下に説明する学習済みモデルと同様の学習済みモデルを生成することができる。なお、解析対象の部位は、例えば、検出対象物の一例である。
As shown in FIG. 4, the CT image data 11 depicts the myocardium of the
学習用データセット生成機能135cは、学習済みモデルを生成する際に用いられる学習用データのセットを学習時に生成する。以下、学習用データセット生成機能135cによる学習用データのセットを生成する方法の一例について説明する。 The training data set generation function 135c generates a training data set used when generating a trained model at the time of training. Hereinafter, an example of a method of generating a set of training data by the learning data set generation function 135c will be described.
学習用データセット生成機能135cは、CT画像データ11に基づいて、所定のウィンドウ条件で、短軸断面画像データを生成する。なお、ウィンドウ条件には、ウィンドウ幅(window width)及びウィンドウレベル(window level)が含まれる。 The learning data set generation function 135c generates short-axis cross-sectional image data under predetermined window conditions based on the CT image data 11. The window conditions include a window width and a window level.
例えば、学習時に、ユーザは、左心室14における解析対象の部位である心筋が描出される短軸断面画像の断面の位置(心筋の断面位置)を、入力インターフェース133を介して処理回路135に入力する。これにより、処理回路135の学習用データセット生成機能135cに、心筋の断面位置が入力される。ここで、短軸断面画像とは、例えば、左心室14の長軸に直交する断面を示す画像である。
For example, at the time of learning, the user inputs the position of the cross section (cross-sectional position of the myocardium) of the short-axis cross-sectional image in which the myocardium, which is the site to be analyzed in the
図5及び図6は、第1の実施形態に係る学習用データセット生成機能135cにより実行される処理の一例を説明するための図である。図5に示すように、学習用データセット生成機能135cは、心筋の断面位置により特定される断面15aを特定する。断面15aは、例えば、左心室14の長軸に直交する断面である。そして、図6に示すように、学習用データセット生成機能135cは、CT画像データ11に基づいて、特定された断面15aを示す短軸断面画像データ15を生成する。例えば、ユーザが、CT画像データ11に対して複数の心筋の断面位置を処理回路135に入力した場合には、学習用データセット生成機能135cは、複数の心筋の断面位置に対応する複数の短軸断面画像データ15を生成する。この場合、複数の短軸断面画像データ15のそれぞれが、以下で説明する処理に用いられる。
5 and 6 are diagrams for explaining an example of the processing executed by the learning data set generation function 135c according to the first embodiment. As shown in FIG. 5, the learning data set generation function 135c specifies the
なお、断面15aの位置は、例えば、対象位置の一例である。
The position of the
なお、学習用データセット生成機能135cは、ユーザからの心筋の断面位置を受け付けずに、自動的に、短軸断面画像データを生成してもよい。例えば、学習用データセット生成機能135cは、左心室14の長軸を検出し、長軸に沿って複数の短軸断面画像データ15を生成してもよい。この場合、複数の短軸断面画像データ15のそれぞれが、以下で説明する処理に用いられる。
The learning data set generation function 135c may automatically generate short-axis cross-sectional image data without accepting the cross-sectional position of the myocardium from the user. For example, the learning data set generation function 135c may detect the long axis of the
図6に示すように、短軸断面画像データ15には、解析対象の部位である心筋16と、左心室14の内腔17と、背景18とが描出されている。また、短軸断面画像データ15には、心筋16の外壁の輪郭16a、及び、心筋16の内壁の輪郭16bが描出されている。
As shown in FIG. 6, the short-axis
短軸断面画像データ15の複数の画素(ピクセル)のそれぞれには、輝度値が設定されている。例えば、輝度値は、「0」以上「255」以下の範囲内の値である。
Luminance values are set for each of the plurality of pixels of the short-axis
ここで、同一の被検体の同一の部位を撮像した場合であっても、撮像時のX線管の管電圧、再構成条件、及び、時間の経過とともに変化する被検体内における造影剤の濃度等が異なれば、CT画像データ11を構成する各ボクセルのCT値が異なる場合がある。なお、同一被検体であっても異なる部位を撮像した場合には、造影剤の濃度は異なる。また、異なる被検体の同一部位を撮像した場合にも、造影剤の濃度は異なる。撮像時のX線管の管電圧、再構成条件、及び、被検体内における造影剤の濃度は、CT値を相違させる要因である。このため、以下の説明では、撮像時のX線管の管電圧、再構成条件、及び、被検体内における造影剤の濃度等を「相違要因」と称する場合がある。このため、同一の被検体の同一の部位を撮像した場合であっても、相違要因が異なれば、短軸断面画像データ15を構成する各ピクセルの輝度値も異なる場合がある。したがって、相違要因が異なれば、輪郭16a,16bを構成する各ピクセルの輝度値も異なる場合がある。よって、仮に、画像処理装置130が短軸断面画像データ15に対して心筋パフューム等の解析を実行した場合には、同一の被検体の同一の部位であっても、解析により得られる解析結果が、相違要因に応じて異なる結果となることがある。すなわち、相違要因が異なれば、同一の被検体の同一の心筋であっても、解析結果が異なる場合がある。
Here, even when the same part of the same subject is imaged, the tube voltage of the X-ray tube at the time of imaging, the reconstruction conditions, and the concentration of the contrast medium in the subject that changes with the passage of time. Etc. may be different, and the CT value of each voxel constituting the CT image data 11 may be different. It should be noted that the concentration of the contrast medium is different when different parts are imaged even in the same subject. In addition, the concentration of the contrast medium is different even when the same site of different subjects is imaged. The tube voltage of the X-ray tube at the time of imaging, the reconstruction conditions, and the concentration of the contrast medium in the subject are factors that make the CT value different. Therefore, in the following description, the tube voltage of the X-ray tube at the time of imaging, the reconstruction conditions, the concentration of the contrast medium in the subject, and the like may be referred to as "difference factors". Therefore, even when the same part of the same subject is imaged, the brightness value of each pixel constituting the short-axis
そして、仮に、画像処理装置130が、短軸断面画像データ15のみを入力データとし、教師データとして心筋の輪郭が精度良く描出された画像データを用いて学習済みモデルを生成する場合について説明する。この場合、同一の被検体の同一の心筋であっても、相違要因が異なれば、学習済みモデルによって推定される画像データにおける心筋の輪郭の位置及び形状は異なることがある。したがって、この場合、画像処理装置130は、輪郭に関する精度(例えば、輪郭の位置及び形状の精度)が良い学習済みモデルを生成することができない。
Then, a case will be described in which the
そこで、画像処理装置130は、輪郭に関する精度が良い学習済みモデルを生成するために、以下の処理を行う。例えば、学習用データセット生成機能135cは、短軸断面画像データ15に基づく短軸断面画像をディスプレイ134に表示させた上で、ユーザから心筋の位置を受け付ける。例えば、ユーザが、入力インターフェース133を介して、ディスプレイ134に表示された短軸断面画像に描出された心筋16の1点を指定した場合について説明する。この場合、学習用データセット生成機能135cは、図6に示すように、短軸断面画像データ15における心筋16の位置19を受け付ける。心筋16の位置19は、ユーザにより指定された心筋16の1点に対応する。
Therefore, the
そして、学習用データセット生成機能135cは、短軸断面画像データ15における心筋16の位置19に対応するピクセルを特定する。そして、学習用データセット生成機能135cは、特定したピクセルの輝度値を特定する。そして、学習用データセット生成機能135cは、特定した輝度値に対応するCT値(CT画像データ11におけるCT値)を特定する。例えば、学習用データセット生成機能135cは、短軸断面画像データ15を生成した際に用いたウィンドウ条件に基づいて、特定した輝度値に対応するCT値を特定する。なお、例えば、学習用データセット生成機能135cは、特定したピクセルに対応するCT画像データ11のボクセルを特定し、特定したボクセルのCT値を特定してもよい。以下の説明では、学習用データセット生成機能135cが特定したCT値を「α」として説明する。
Then, the learning data set generation function 135c identifies the pixel corresponding to the
そして、学習用データセット生成機能135cは、ウィンドウ幅及びウィンドウレベルを含むウィンドウ条件を決定する。例えば、学習用データセット生成機能135cは、以下の式(1)により、ウィンドウ幅を決定する。 Then, the training data set generation function 135c determines the window conditions including the window width and the window level. For example, the learning data set generation function 135c determines the window width by the following equation (1).
window_width=k×α (1) window_width = k × α (1)
ただし、式(1)において、「window_width」は、ウィンドウ幅を示す。また、式(1)において、「k」は、係数を示す。例えば、「k」は、0よりも大きく1未満の係数である。また、式(1)において、「×」は、乗算を示す演算子である。以下の式においても同様である。 However, in the equation (1), "window_width" indicates the window width. Further, in the equation (1), "k" indicates a coefficient. For example, "k" is a coefficient greater than 0 and less than 1. Further, in the equation (1), "x" is an operator indicating multiplication. The same applies to the following equation.
そして、学習用データセット生成機能135cは、以下の式(2)により、ウィンドウレベルを決定する。 Then, the learning data set generation function 135c determines the window level by the following equation (2).
window_level=window_width/2 (2) window_level = window_width / 2 (2)
ただし、式(2)において、「window_level」は、ウィンドウレベルを示す。また、式(2)において、「/」は、除算を示す演算子である。以下の式においても同様である。 However, in the equation (2), "window_level" indicates the window level. Further, in the equation (2), "/" is an operator indicating division. The same applies to the following equation.
そして、学習用データセット生成機能135cは、上記の式(1)により決定されたウィンドウ幅が所定の第1の閾値よりも小さいか否かを判定する。学習用データセット生成機能135cは、決定されたウィンドウ幅が所定の第1の閾値以上であると判定した場合には、上記の式(2)により決定されたウィンドウレベルが所定の第2の閾値よりも小さいか否かを判定する。 Then, the learning data set generation function 135c determines whether or not the window width determined by the above equation (1) is smaller than the predetermined first threshold value. When the learning data set generation function 135c determines that the determined window width is equal to or greater than the predetermined first threshold value, the window level determined by the above equation (2) is the predetermined second threshold value. Determine if it is less than.
そして、学習用データセット生成機能135cは、決定されたウィンドウ幅が所定の第1の閾値よりも小さいと判定した場合には、第1の閾値をウィンドウ幅とし、第2の閾値をウィンドウレベルとするウィンドウ条件を、以下の処理で用いるウィンドウ条件として決定する。同様に、学習用データセット生成機能135cは、決定されたウィンドウレベルが所定の第2の閾値よりも小さいと判定した場合にも、第1の閾値をウィンドウ幅とし、第2の閾値をウィンドウレベルとするウィンドウ条件を、以下の処理で用いるウィンドウ条件として決定する。 Then, when the determination data set generation function 135c determines that the determined window width is smaller than the predetermined first threshold value, the first threshold value is set as the window width and the second threshold value is set as the window level. The window condition to be used is determined as the window condition used in the following processing. Similarly, when the training data set generation function 135c determines that the determined window level is smaller than the predetermined second threshold value, the first threshold value is set as the window width and the second threshold value is set as the window level. The window condition to be used is determined as the window condition used in the following processing.
一方、学習用データセット生成機能135cは、決定されたウィンドウ幅が所定の第1の閾値以上であると判定し、決定されたウィンドウレベルが所定の第2の閾値以上であると判定した場合には、決定されたウィンドウ幅及び決定されたウィンドウレベルを含むウィンドウ条件を、以下の処理で用いるウィンドウ条件として決定する。 On the other hand, the training data set generation function 135c determines that the determined window width is equal to or greater than the predetermined first threshold value, and determines that the determined window level is equal to or greater than the predetermined second threshold value. Determines the window condition including the determined window width and the determined window level as the window condition used in the following processing.
図7は、第1の実施形態に係るウィンドウ条件20の一例を示す図である。図7において、横軸は、CT画像データ11のボクセルのCT値を示し、縦軸は、輝度値を示す。図7には、学習用データセット生成機能135cが、ウィンドウ幅W及びウィンドウレベルLを含むウィンドウ条件20を決定した場合が示されている。
FIG. 7 is a diagram showing an example of the
図7の例に示される場合では、CT値「−1000」に対応する輝度値は「0」である。また、「−1000+W」以上のCT値に対応する輝度値は「255」である。また、「−1000」よりも大きく、かつ、「−1000+W」よりも小さいCT値Vcに対応する輝度値Vbは、以下の式(3)により示される。 In the case shown in the example of FIG. 7, the luminance value corresponding to the CT value “−1000” is “0”. The brightness value corresponding to the CT value of "-1000 + W" or higher is "255". Further, the brightness value Vb corresponding to the CT value Vc larger than "-1000" and smaller than "-1000 + W" is represented by the following equation (3).
Vb=(255/W)×Vc (3) Vb = (255 / W) x Vc (3)
図8は、第1の実施形態に係る学習用データセット生成機能135cにより実行される処理の一例を説明するための図である。学習用データセット生成機能135cは、決定されたウィンドウ条件に基づいて、CT画像データ11から、短軸断面画像データ15が示す断面と同一の断面を示す短軸断面画像データ25を生成する。
FIG. 8 is a diagram for explaining an example of processing executed by the learning data set generation function 135c according to the first embodiment. The learning data set generation function 135c generates short-axis
ここで、式(1)における係数kは、解析対象の部位の輪郭に対応するCT値がウィンドウ幅W内に含まれるように、実験又はシミュレーションにより求められた係数である。すなわち、係数kは、輪郭を構成するピクセル(画像データのピクセル)に設定された輝度値に対応するCT値が、ウィンドウ幅W内に含まれるように求められた係数である。 Here, the coefficient k in the equation (1) is a coefficient obtained by an experiment or a simulation so that the CT value corresponding to the contour of the part to be analyzed is included in the window width W. That is, the coefficient k is a coefficient obtained so that the CT value corresponding to the brightness value set for the pixels constituting the contour (pixels of the image data) is included in the window width W.
例えば、係数kは、左心室の心筋の外壁の輪郭に対応するCT値及び内壁の輪郭に対応するCT値の2つのCT値が、ウィンドウ幅W内に含まれるように求められる。これにより、図8に示すように、短軸断面画像データ25には、心筋16と内腔17との境界、及び、心筋16と背景18との境界が明瞭に描出される。すなわち、短軸断面画像データ25では、心筋16を構成するピクセルの輝度値の平均値と、内腔17を構成するピクセルの輝度値の平均値との差が所定値以上となる。また、短軸断面画像データ25では、心筋16を構成するピクセルの輝度値の平均値と、背景18を構成するピクセルの輝度値の平均値との差も所定値以上となる。このように、短軸断面画像データ25は、相違要因に関わらず、心筋16と内腔17との境界、及び、心筋16と背景18との境界が明瞭に描出された画像データである。
For example, the coefficient k is calculated so that two CT values, a CT value corresponding to the contour of the outer wall of the myocardium of the left ventricle and a CT value corresponding to the contour of the inner wall, are included in the window width W. As a result, as shown in FIG. 8, the boundary between the
このように、学習用データセット生成機能135cは、短軸断面画像データ15を生成する際に用いられた上記の所定のウィンドウ条件を用いずに、新たにウィンドウ条件を決定し、新たに決定されたウィンドウ条件を用いて、短軸断面画像データ25を生成する。すなわち、学習用データセット生成機能135cは、心筋16の断面15aの位置の短軸断面画像データ15の、心筋16の輝度値に基づいてウィンドウ条件を加工した短軸断面画像データ25を生成する。
As described above, the training data set generation function 135c newly determines the window condition and is newly determined without using the above-mentioned predetermined window condition used when generating the short-axis
なお、係数kは、左心室の心筋の外壁の輪郭及び内壁の輪郭のうちの少なくとも一方の輪郭に対応するCT値がウィンドウ幅W内に含まれるように求められてもよい。 The coefficient k may be determined so that the CT value corresponding to at least one of the contour of the outer wall and the contour of the inner wall of the myocardium of the left ventricle is included in the window width W.
短軸断面画像データ15及び短軸断面画像データ25は、学習済みモデル生成機能135dにより学習済みモデルを生成する際に入力データ(入力画像)として用いられる。
The short-axis
また、学習用データセット生成機能135cは、学習済みモデルを生成する際に教師データとして用いられる輪郭画像データを生成する。輪郭画像データは、短軸断面画像データ15が示す断面における心筋の外壁の輪郭及び内壁の輪郭が精度良く描出された画像データである。輪郭画像データを生成する方法の一例について説明する。
Further, the training data set generation function 135c generates contour image data to be used as teacher data when generating a trained model. The contour image data is image data in which the contour of the outer wall and the contour of the inner wall of the myocardium in the cross section shown by the short-axis
例えば、学習用データセット生成機能135cは、短軸断面画像データ15に基づく短軸断面画像をディスプレイ134に表示させた上で、ユーザから、表示された輪郭16a及び輪郭16bの正確な位置及び形状を示す輪郭情報を受け付ける。具体例を挙げて説明すると、ユーザは、表示された輪郭16a,16bを確認しながら、入力インターフェース133を操作して、輪郭16a,16bの正確な位置及び形状を示す輪郭情報を、処理回路135に入力する。
For example, the learning data set generation function 135c displays the short-axis cross-sectional image based on the short-axis
学習用データセット生成機能135cは、輪郭情報を受け付けた場合には、輪郭情報に基づいて、輪郭16a,16bが、正確な位置に正確な形状で描出された輪郭画像データ26を生成する。
When the learning data set generation function 135c receives the contour information, the
学習済みモデル生成機能135dは、学習時に、学習済みモデルを生成する。図9は、第1の実施形態に係る学習済みモデル生成機能135dが実行する処理の一例を説明するための図である。図9には、第1の実施形態の学習時における学習済みモデル28の生成方法の一例が示されている。図9に示すように、学習時には、学習済みモデル生成機能135dは、短軸断面画像データ15及び短軸断面画像データ25の組と、輪郭画像データ26との関係を学習することによって学習済みモデル28を生成する。
The trained model generation function 135d generates a trained model at the time of training. FIG. 9 is a diagram for explaining an example of processing executed by the trained model generation function 135d according to the first embodiment. FIG. 9 shows an example of a method of generating the trained
このように、学習済みモデル生成機能135dは、短軸断面画像データ15及び短軸断面画像データ25の組と、輪郭画像データ26とを対応付けて学習することによって学習済みモデル28を生成する。例えば、学習時には、画像処理装置130は、複数のCT画像データ11を受信する。そして、学習用データセット生成機能135cは、CT画像データ11毎に、短軸断面画像データ15、短軸断面画像データ25及び輪郭画像データ26の組を1つ生成する。すなわち、学習用データセット生成機能135cは、複数のCT画像データ11について複数の組を生成する。そして、学習済みモデル生成機能135dは、複数の組を用いて学習済みモデル28を生成する。
As described above, the trained model generation function 135d generates the trained
例えば、学習済みモデル生成機能135dは、短軸断面画像データ15及び短軸断面画像データ25を入力データとし、輪郭画像データ26を教師データとして機械エンジンに入力することによって、機械学習を行う。例えば、機械学習エンジンは、ディープラーニング(Deep Learning)、ニューラルネットワーク(Neural Network)、ロジスティック(Logistic)回帰分析、非線形判別分析、サポートベクターマシン(Support Vector Machine:SVM)、ランダムフォレスト(Random Forest)、ナイーブベイズ(Naive Bays)等の各種のアルゴリムを用いて、機械学習を行う。
For example, the trained model generation function 135d performs machine learning by inputting the short-axis
学習済みモデル生成機能135dは、このような機械学習の結果として学習済みモデル28を生成する。学習済みモデル28は、短軸断面画像データ15に相当する画像データ及び短軸断面画像データ25に相当する画像データの組が入力されることで、輪郭画像データ26に相当する画像データを推定(生成)し、出力する。
The trained model generation function 135d generates a trained
そして、学習済みモデル生成機能135dは、生成した学習済みモデル28をメモリ132に記憶させる。
Then, the trained model generation function 135d stores the generated trained
推定機能135eは、学習済みモデル28を用いて、運用時に、解析対象の部位の輪郭に関する精度が高い画像データを推定し、推定した画像データを出力する。図10を参照して、推定機能135eが実行する処理の一例について説明する。図10は、第1の実施形態に係る推定機能135eが実行する処理の一例について説明するための図である。図10には、第1の実施形態の運用時における輪郭画像データ32の推定方法の一例が示されている。
The estimation function 135e uses the trained
推定機能135eは、運用時に取得機能135bにより取得されたCT画像データ12を用いて、図10に示す短軸断面画像データ30を生成する。例えば、推定機能135eは、学習用データセット生成機能135cが学習時にCT画像データ11を用いて短軸断面画像データ15を生成した方法と同様の方法で、CT画像データ12を用いて短軸断面画像データ30を生成する。例えば、1つのCT画像データ12から1つ又は複数の短軸断面画像データ30が生成される。複数の短軸断面画像データ30が生成された場合には、複数の短軸断面画像データ30のそれぞれが、以下に説明する処理に用いられる。
The estimation function 135e uses the
短軸断面画像データ30には、例えば、短軸断面画像データ15と同様に、解析対象の部位である心筋、左心室の内腔、及び、背景が描出されている。短軸断面画像データ30は、短軸断面画像データ15に相当する画像データである。短軸断面画像データ30は、解析対象の部位である心筋16の断面15aの位置の画像データである。短軸断面画像データ30は、例えば、第1の画像データの一例である。
Similar to the short-axis
そして、推定機能135eは、短軸断面画像データ30を用いて、図10に示す短軸断面画像データ31を生成する。例えば、推定機能135eは、学習用データセット生成機能135cが学習時に短軸断面画像データ15を用いて短軸断面画像データ25を生成した方法と同様の方法で、短軸断面画像データ30を用いて短軸断面画像データ31を生成する。
Then, the estimation function 135e uses the short-axis
短軸断面画像データ31では、例えば、短軸断面画像データ25と同様に、心筋を構成するピクセルの輝度値の平均値と、心筋以外の部分を構成するピクセルの輝度値の平均値との差が所定値以上となる。短軸断面画像データ31は、短軸断面画像データ25に相当する画像データである。短軸断面画像データ31は、心筋16の断面15aの位置の短軸断面画像データ30の、心筋16の輝度値に基づいてウィンドウ条件を加工した短軸断面画像データである。短軸断面画像データ31は、例えば、第2の画像データの一例である。
In the short-axis
そして、図10に示すように、推定機能135eは、短軸断面画像データ30及び短軸断面画像データ31を学習済みモデル28に入力することで、学習済みモデル28に輪郭画像データ32を推定させて出力させる。すなわち、推定機能135eは、学習済みモデル28を使用して、短軸断面画像データ30及び短軸断面画像データ31を基に、輪郭画像データ32を推定し出力する。例えば、推定機能135eは、輪郭画像データ32を解析機能135fに出力する。輪郭画像データ32は、輪郭画像データ26に相当する画像データである。輪郭画像データ32は、例えば、心筋16の輪郭16a及び輪郭16bを示す情報の一例である。推定機能135eは、出力部の一例である。
Then, as shown in FIG. 10, the estimation function 135e causes the trained
ここで、短軸断面画像データ31は、相違要因に関わらず、心筋と心筋以外の部分との境界が明瞭に描出された画像データである。また、輪郭画像データ32における心筋の輪郭に関する精度は、短軸断面画像データ30における心筋の輪郭に関する精度よりも高い。
Here, the short-axis
したがって、第1の実施形態に係る学習済みモデル28は、相違要因に関わらず、解析対象の部位である心筋の輪郭が精度良く描出された輪郭画像データ32を推定し出力することができる。すなわち、第1の実施形態によれば、相違要因に関わらず、精度の良い解析対象の部位の輪郭を示す情報を得ることができる。
Therefore, the trained
解析機能135fは、学習済みモデルから出力された画像データを用いて、様々な解析を行う。例えば、解析機能135fは、輪郭画像データ32に描出された解析対象の心筋の輪郭を用いて解析を行う。かかる解析の一例としては、複数の時相の輪郭画像データ32に基づいて実行される心筋パフュージョンが挙げられる。
The
出力機能135gは、各種の画像データに基づく画像や、解析機能135fによる解析により得られた解析結果等をディスプレイ134に表示させる。
The output function 135g displays an image based on various image data, an analysis result obtained by analysis by the
図11は、第1の実施形態に係る画像処理装置130が学習時に実行する処理の流れの一例を示すフローチャートである。図11に示す処理は、例えば、ユーザが入力インターフェース133を介して学習済みモデル28を生成する処理を実行するための指示を処理回路135に入力した場合に実行される。
FIG. 11 is a flowchart showing an example of a flow of processing executed by the
図11に示すように、取得機能135bは、メモリ132に記憶されたCT画像データ11を取得する(ステップS101)。そして、学習用データセット生成機能135cは、CT画像データ11に基づいて短軸断面画像データ15を生成する(ステップS102)。
As shown in FIG. 11, the acquisition function 135b acquires the CT image data 11 stored in the memory 132 (step S101). Then, the learning data set generation function 135c generates the short-axis
そして、学習用データセット生成機能135cは、短軸断面画像データ15に基づく短軸断面画像をディスプレイ134に表示させる(ステップS103)。そして、学習用データセット生成機能135cは、ユーザから心筋16の位置19を受け付けたか否かを判定する(ステップS104)。学習用データセット生成機能135cは、心筋16の位置19を受け付けていないと判定した場合(ステップS104:No)には、再び、ステップS104の判定を行う。
Then, the learning data set generation function 135c displays the short-axis cross-sectional image based on the short-axis
学習用データセット生成機能135cは、心筋16の位置19を受け付けたと判定した場合(ステップS104:Yes)には、短軸断面画像データ15における心筋16の位置19のピクセルの輝度値を特定する(ステップS105)。そして、学習用データセット生成機能135cは、特定した輝度値に対応するCT画像データ11におけるCT値「α」を特定する(ステップS106)。
When the learning data set generation function 135c determines that the
そして、学習用データセット生成機能135cは、上記の式(1)及び式(2)並びに第1の閾値及び第2の閾値を用いて、ウィンドウ幅W及びウィンドウレベルLを含むウィンドウ条件を決定する(ステップS107)。 Then, the learning data set generation function 135c determines the window condition including the window width W and the window level L by using the above equations (1) and (2) and the first threshold value and the second threshold value. (Step S107).
そして、学習用データセット生成機能135cは、決定されたウィンドウ条件に基づいて、CT画像データ11から、短軸断面画像データ15が示す断面と同一の断面を示す短軸断面画像データ25を生成する(ステップS108)。
Then, the learning data set generation function 135c generates the short-axis
そして、学習用データセット生成機能135cは、ユーザから、輪郭情報を受け付けたか否かを判定する(ステップS109)。学習用データセット生成機能135cは、輪郭情報を受け付けていないと判定した場合(ステップS109:No)には、再び、ステップS109の判定を行う。 Then, the learning data set generation function 135c determines whether or not the contour information has been received from the user (step S109). When the learning data set generation function 135c determines that the contour information is not accepted (step S109: No), the determination in step S109 is performed again.
学習用データセット生成機能135cは、輪郭情報を受け付けたと判定した場合(ステップS109:Yes)には、輪郭情報に基づいて、輪郭16a,16bが、正確な位置に正確な形状で描出された輪郭画像データ26を生成する(ステップS110)。
When the learning data set generation function 135c determines that the contour information has been received (step S109: Yes), the
そして、学習済みモデル生成機能135dは、短軸断面画像データ15及び短軸断面画像データ25の組と、輪郭画像データ26とを対応付けて学習することによって学習済みモデル28を生成する(ステップS111)。そして、学習済みモデル生成機能135dは、生成した学習済みモデル28をメモリ132に記憶させ(ステップS112)、処理を終了する。
Then, the trained model generation function 135d generates the trained
図12は、第1の実施形態に係る画像処理装置130が運用時に実行する処理の流れの一例を示すフローチャートである。図12に示す処理は、例えば、ユーザが入力インターフェース133を介して、解析機能135fによる解析を実行するための指示を処理回路135に入力した場合に実行される。
FIG. 12 is a flowchart showing an example of a flow of processing executed by the
図12に示すように、取得機能135bは、メモリ132に記憶されたCT画像データ12を取得する(ステップS201)。そして、推定機能135eは、CT画像データ12を用いて短軸断面画像データ30を生成する(ステップS202)。
As shown in FIG. 12, the acquisition function 135b acquires the
そして、推定機能135eは、短軸断面画像データ30を用いて短軸断面画像データ31を生成する(ステップS203)。
Then, the estimation function 135e generates the short-axis
そして、推定機能135eは、学習済みモデル28を用いて、短軸断面画像データ30及び短軸断面画像データ31を基に、輪郭画像データ32を推定し出力する(ステップS204)。
Then, the estimation function 135e estimates and outputs the contour image data 32 based on the short-axis
そして、解析機能135fは、輪郭画像データ32に描出された解析対象の心筋の輪郭を用いて解析を行う(ステップS205)。そして、出力機能135gは、解析結果をディスプレイ134に表示させ(ステップS206)、処理を終了する。
Then, the
以上、第1の実施形態について説明した。第1の実施形態によれば、上述したように、精度の良い解析対象の部位の輪郭を示す情報を得ることができる。 The first embodiment has been described above. According to the first embodiment, as described above, it is possible to obtain information indicating the contour of the part to be analyzed with high accuracy.
(第1の実施形態の変形例1)
なお、第1の実施形態では、学習済みモデル生成機能135dが学習済みモデル28を生成する場合について説明した。しかしながら、学習済みモデル生成機能135dは、学習済みモデル28に代えて、他の学習済みモデルを生成してもよい。そこで、このような変形例を第1の実施形態の変形例1として説明する。以下の変形例1の説明では、第1の実施形態と異なる点を主に説明し、第1の実施形態と同様の点については説明を省略する場合がある。また、第1の実施形態と同様の構成については、同一の符号を付し、説明を省略する場合がある。
(Modification 1 of the first embodiment)
In the first embodiment, the case where the trained model generation function 135d generates the trained
図13は、第1の実施形態の変形例1に係る学習済みモデル生成機能135dが実行する処理の一例を説明するための図である。図13には、変形例1の学習時における学習済みモデル28aの生成方法の一例が示されている。図13に示すように、学習時には、学習済みモデル生成機能135dは、短軸断面画像データ25と、輪郭画像データ26との関係を学習することによって学習済みモデル28aを生成する。
FIG. 13 is a diagram for explaining an example of processing executed by the trained model generation function 135d according to the first modification of the first embodiment. FIG. 13 shows an example of a method of generating the trained
このように、学習済みモデル生成機能135dは、短軸断面画像データ25と、輪郭画像データ26とを対応付けて学習することによって学習済みモデル28aを生成する。例えば、学習時には、学習用データセット生成機能135cは、短軸断面画像データ25及び輪郭画像データ26の組を複数生成する。そして、学習済みモデル生成機能135dは、生成した複数の組を用いて学習済みモデル28aを生成する。
In this way, the trained model generation function 135d generates the trained
例えば、学習済みモデル生成機能135dは、短軸断面画像データ25を入力データとし、輪郭画像データ26を教師データとして機械エンジンに入力することによって、機械学習を行う。学習済みモデル生成機能135dは、このような機械学習の結果として学習済みモデル28aを生成する。
For example, the trained model generation function 135d performs machine learning by inputting the short-axis
学習済みモデル28aは、短軸断面画像データ25に相当する画像データが入力されることで、輪郭画像データ26に相当する画像データを推定(生成)し、出力する。
The trained
そして、学習済みモデル生成機能135dは、生成した学習済みモデル28aをメモリ132に記憶させる。
Then, the trained model generation function 135d stores the generated trained
変形例1に係る推定機能135eは、運用時に、学習済みモデル28aを用いて、解析対象の部位の輪郭に関する精度が高い画像データを推定し、推定した画像データを出力する。図14を参照して、推定機能135eが実行する処理の一例について説明する。図14は、第1の実施形態の変形例1に係る推定機能135eが実行する処理の一例について説明するための図である。図14には、変形例1の運用時における輪郭画像データ32aの推定方法の一例が示されている。
The estimation function 135e according to the first modification uses the trained
推定機能135eは、運用時に取得機能135bにより取得されたCT画像データ12を用いて、第1の実施形態と同様に、短軸断面画像データ30(図10参照)を生成する。そして、推定機能135eは、短軸断面画像データ30を用いて、第1の実施形態と同様に、短軸断面画像データ31を生成する。短軸断面画像データ31は、短軸断面画像データ25に相当する画像データである。
The estimation function 135e uses the
そして、図14に示すように、推定機能135eは、短軸断面画像データ31を学習済みモデル28aに入力することで、学習済みモデル28aに輪郭画像データ32aを推定させて出力させる。すなわち、推定機能135eは、学習済みモデル28aを使用して、短軸断面画像データ31を基に、輪郭画像データ32aを推定し出力する。輪郭画像データ32aは、輪郭画像データ26に相当する画像データである。輪郭画像データ32aは、例えば、心筋16の輪郭16a及び輪郭16bを示す情報の一例である。
Then, as shown in FIG. 14, the estimation function 135e inputs the short-axis
ここで、短軸断面画像データ31は、相違要因に関わらず、心筋と心筋以外の部分との境界が明瞭に描出された画像データである。また、輪郭画像データ32aにおける心筋の輪郭に関する精度は、短軸断面画像データ31における心筋の輪郭に関する精度よりも高い。
Here, the short-axis
したがって、変形例1に係る学習済みモデル28aは、相違要因に関わらず、解析対象の部位である心筋の輪郭が精度良く描出された輪郭画像データ32aを推定し出力することができる。すなわち、変形例1によれば、相違要因に関わらず、精度の良い解析対象の部位の輪郭を示す情報を得ることができる。
Therefore, the trained
以上、変形例1について説明した。変形例1によれば、上述したように、第1の実施形態と同様に、相違要因に関わらず、精度の良い解析対象の部位の輪郭を示す情報を得ることができる。 The modification 1 has been described above. According to the first modification, as described above, it is possible to obtain information indicating the contour of the part to be analyzed with high accuracy regardless of the difference factor, as in the first embodiment.
また、上述した第1の実施形態では、学習済みモデル28を生成する際に入力データとして短軸断面画像データ15及び短軸断面画像データ25が用いられる。これに対して、変形例1では、学習済みモデル28aを生成する際に入力データとして短軸断面画像データ25が用いられる。したがって、変形例1の方が、第1の実施形態よりも、学習済みモデルを生成する際に入力データとして用いられる画像データの数及びデータ量が少ない。したがって、変形例1によれば、学習済みモデルを生成する際の機械学習の収束を早めることができる。
Further, in the first embodiment described above, the short-axis
また、短軸断面画像データ15が、何らかの原因で画像処理装置130から削除されてしまう場合が考えられる。しかしながら、変形例1によれば、このような場合であっても、短軸断面画像データ25が画像処理装置130に保存(保持、記憶)されていれば、学習済みモデル28aを生成することができる。
Further, it is conceivable that the short-axis
同様に、短軸断面画像データ30が、何らかの原因で画像処理装置130から削除されてしまう場合が考えられる。変形例1によれば、このような場合であっても、短軸断面画像データ31が画像処理装置130に保存されていれば、輪郭画像データ32aを推定し、出力することができる。
Similarly, it is conceivable that the short-axis
(第1の実施形態の変形例2)
第1の実施形態では、画像処理装置130が、心筋16の輪郭16a,16bが明瞭に描出された短軸断面画像データ25を用いて、学習済みモデル28を生成する場合について説明した。しかしながら、画像処理装置130は、短軸断面画像データ25に代えて、他の画像データを用いて、学習済みモデルを生成してもよい。そこで、このような変形例を第1の実施形態の変形例2として説明する。以下の変形例2の説明では、第1の実施形態と異なる点を主に説明し、第1の実施形態と同様の点については説明を省略する場合がある。また、第1の実施形態と同様の構成については、同一の符号を付し、説明を省略する場合がある。
(Modification 2 of the first embodiment)
In the first embodiment, the case where the
図15は、第1の実施形態の変形例2に係る画像処理装置130が実行する処理の一例を説明するための図である。図15には、変形例2の学習時における学習済みモデル28bの生成方法の一例が示されている。変形例2に係る学習用データセット生成機能135cは、図15に示すカラー画像データ35を生成する。カラー画像データ35を構成する複数のピクセルのそれぞれには、RGB値が設定されている。
FIG. 15 is a diagram for explaining an example of processing executed by the
R(R値)は赤色に対応し、G(G値)は緑色に対応し、B(B値)は青色に対応する。例えば、各ピクセルに設定されるRGB値は、「(R,G,B)」で表される。R、G、Bのそれぞれは、例えば、「0」以上「255」以下の範囲内の値である。 R (R value) corresponds to red, G (G value) corresponds to green, and B (B value) corresponds to blue. For example, the RGB value set for each pixel is represented by "(R, G, B)". Each of R, G, and B is, for example, a value within the range of "0" or more and "255" or less.
カラー画像データ35のピクセルに設定されるGの決定方法の一例について説明する。図16は、第1の実施形態の変形例2に係る画像処理装置130が実行する処理の一例を説明するための図である。例えば、学習用データセット生成機能135cは、短軸断面画像データ15に基づく短軸断面画像をディスプレイ134に表示させた上で、図16に示すように、ユーザから心筋16の位置40を受け付ける。更に、学習用データセット生成機能135cは、ユーザから内腔17の位置41及び背景18の位置42を受け付ける。
An example of a method of determining G set in the pixels of the
例えば、ユーザが、入力インターフェース133を介して、短軸断面画像に描出された心筋16の1点、内腔17の1点及び背景18の1点を指定した場合について説明する。この場合、学習用データセット生成機能135cは、図16に示すように、短軸断面画像データ15における心筋16の位置40、内腔17の位置41及び背景18の位置42を受け付ける。心筋16の位置40は、指定された心筋16の1点に対応する。内腔17の位置41は、指定された内腔17の1点に対応する。背景18の位置42は、指定された背景18の1点に対応する。
For example, a case where the user specifies one point of the
そして、学習用データセット生成機能135cは、短軸断面画像データ15における心筋16の位置40に対応するピクセルを特定する。そして、学習用データセット生成機能135cは、特定したピクセルの輝度値を特定する。そして、学習用データセット生成機能135cは、特定した輝度値に対応するCT値(CT画像データ11におけるCT値)を特定する。例えば、学習用データセット生成機能135cは、短軸断面画像データ15を生成した際に用いたウィンドウ条件に基づいて、特定した輝度値に対応するCT値を特定する。なお、例えば、学習用データセット生成機能135cは、特定したピクセルに対応するCT画像データ11のボクセルを特定し、特定したボクセルのCT値を特定してもよい。このようにして、学習用データセット生成機能135cは、心筋16の位置40に対応するCT値を特定する。以下の説明では、心筋16の位置40に対応するCT値を「β」として説明する。
Then, the learning data set generation function 135c identifies the pixel corresponding to the
また、学習用データセット生成機能135cは、心筋16の位置40に対応するCT値「β」を特定した方法と同様の方法で、内腔17の位置41に対応するCT値、及び、背景18の位置42に対応するCT値を特定する。以下の説明では、内腔17の位置41に対応するCT値を「γ」として説明し、背景18の位置42に対応するCT値を「δ」として説明する。
Further, the learning data set generation function 135c has a CT value corresponding to the
そして、学習用データセット生成機能135cは、カラー画像データ35のピクセルに設定されるGを決定するために、次のようなウィンドウ条件を決定する。例えば、学習用データセット生成機能135cは、CT値「β」を含む所定範囲のCT値に輝度値「255」が対応し、CT値「γ」を含む所定範囲のCT値に輝度値「0」が対応し、CT値「δ」を含む所定範囲のCT値に輝度値「0」が対応するウィンドウ条件を決定する。
Then, the learning data set generation function 135c determines the following window conditions in order to determine G set in the pixels of the
図17は、第1の実施形態の変形例2に係る学習用データセット生成機能135cが実行する処理の一例を説明するための図である。例えば、学習用データセット生成機能135cは、カラー画像データ35のピクセルに設定されるGを決定するために、図17に示すウィンドウ条件20aを決定する。図17において、横軸は、CT画像データ11のボクセルのCT値を示し、縦軸は、G値を示す。
FIG. 17 is a diagram for explaining an example of processing executed by the learning data set generation function 135c according to the second modification of the first embodiment. For example, the learning data set generation function 135c determines the
ウィンドウ条件20aは、折れ線45により示される。折れ線45は、線分45a、線分45b、線分45c、線分45d及び線分45eにより構成される。なお、図17において、横軸と線分45b,45cが重なっているが、線分45bの一端から他端までの範囲は、符号「45b_1」が示す範囲である。また、線分45cの一端から他端までの範囲は、符号「45c_1」が示す範囲である。
The
線分45aは、CT値「β」を含む所定範囲のCT値にG値「255」が対応することを示す。また、線分45bは、CT値「γ」を含む所定範囲のCT値にG値「0」が対応することを示す。また、線分45cは、CT値「δ」を含む所定範囲のCT値にG値「0」が対応することを示す。
The
また、線分45dは、線分45aの両端のうちCT値が大きい側の端と、線分45bの両端のうちCT値が小さい側の端とを結ぶ線分である。線分45dは、線分45dに対応するCT値の範囲内では、CT値が増加するとG値が減少するというCT値とG値との関係を示す。
Further, the
また、線分45eは、線分45aの両端のうちCT値が小さい側の端と、線分45cの両端のうちCT値が大きい側の端とを結ぶ線分である。線分45eは、線分45eに対応するCT値の範囲内では、CT値が増加するとG値も増加するというCT値とG値との関係を示す。
Further, the
図18は、第1の実施形態の変形例2に係る学習用データセット生成機能135cが実行する処理の一例を説明するための図である。図18に示すように、学習用データセット生成機能135cは、ウィンドウ条件20aに基づいて、CT画像データ11から、短軸断面画像データ15が示す断面と同一の断面を示すカラー画像データ46を生成する。カラー画像データ46を構成する複数のピクセル46aのそれぞれには、RGB値が設定される。
FIG. 18 is a diagram for explaining an example of processing executed by the learning data set generation function 135c according to the second modification of the first embodiment. As shown in FIG. 18, the training data set generation function 135c generates color image data 46 showing the same cross section as the cross section shown by the short axis cross
ただし、図18に示すように、カラー画像データ46の各ピクセル46aに設定されるR値及びB値は「0」である。また、カラー画像データ46の各ピクセル46aに設定されるG値は、ウィンドウ条件20aに基づく値である。すなわち、図18に示すように、各ピクセル46aに設定されるRGB値は、(0,G,0)で表される。
However, as shown in FIG. 18, the R value and the B value set in each
ここで、ウィンドウ条件20aに基づいて生成されたカラー画像データ46では、心筋16に対応するピクセル46aにG値「255」が設定され、内腔17及び背景18に対応するピクセル46aにG値「0」が設定される。このため、カラー画像データ46は、心筋16の特徴を示す画像データであるといえる。より具体的には、カラー画像データ46の各ピクセル46aに設定されるG値が、心筋16の特徴を示すといえる。
Here, in the color image data 46 generated based on the
次に、カラー画像データ35のピクセルに設定されるRの決定方法の一例について説明する。学習用データセット生成機能135cは、心筋16の位置40を用いてカラー画像データ35の各ピクセルに設定されるG値を決定した方法と同様の方法で、内腔17の位置41を用いてカラー画像データ35の各ピクセルに設定されるR値を決定する。例えば、学習用データセット生成機能135cは、心筋16の位置40を用いてCT値とG値との関係を示すウィンドウ条件20aを決定する方法と同様の方法で、内腔17の位置41を用いて、CT値とR値との関係を示すウィンドウ条件を決定する。
Next, an example of a method of determining R set in the pixels of the
図19は、第1の実施形態の変形例2に係る学習用データセット生成機能135cが実行する処理の一例を説明するための図である。学習用データセット生成機能135cは、CT値とG値との関係を示すウィンドウ条件20aに基づいてカラー画像データ46を生成する方法と同様の方法で、CT値とR値との関係を示すウィンドウ条件に基づいて、図19に示すカラー画像データ47を生成する。
FIG. 19 is a diagram for explaining an example of processing executed by the learning data set generation function 135c according to the second modification of the first embodiment. The learning data set generation function 135c is a window showing the relationship between the CT value and the R value in the same manner as the method for generating the color image data 46 based on the
カラー画像データ47を構成する複数のピクセル47aのそれぞれには、RGB値が設定される。ただし、図19に示すように、カラー画像データ47の各ピクセル47aに設定されるG値及びB値は「0」である。また、カラー画像データ47の各ピクセル47aに設定されるR値は、CT値とR値との関係を示すウィンドウ条件に基づく値である。すなわち、図19に示すように、各ピクセル47aに設定されるRGB値は、(R,0,0)で表される。
RGB values are set for each of the plurality of
ここで、CT値とR値との関係を示すウィンドウ条件に基づいて生成されたカラー画像データ47では、内腔17に対応するピクセル47aにR値「255」が設定され、心筋16及び背景18に対応するピクセル47aにR値「0」が設定される。このため、カラー画像データ47は、内腔17の特徴を示す画像データであるといえる。より具体的には、カラー画像データ47の各ピクセル47aに設定されるR値が、内腔17の特徴を示すといえる。
Here, in the
次に、カラー画像データ35のピクセルに設定されるBの決定方法の一例について説明する。学習用データセット生成機能135cは、心筋16の位置40を用いてカラー画像データ35の各ピクセルに設定されるG値を決定した方法と同様の方法で、背景18の位置42を用いてカラー画像データ35の各ピクセルに設定されるB値を決定する。例えば、学習用データセット生成機能135cは、心筋16の位置40を用いてCT値とG値との関係を示すウィンドウ条件20aを決定する方法と同様の方法で、背景18の位置42を用いて、CT値とB値との関係を示すウィンドウ条件を決定する。
Next, an example of a method for determining B to be set in the pixels of the
図20は、第1の実施形態の変形例2に係る学習用データセット生成機能135cが実行する処理の一例を説明するための図である。学習用データセット生成機能135cは、CT値とG値との関係を示すウィンドウ条件20aに基づいてカラー画像データ46を生成する方法と同様の方法で、CT値とB値との関係を示すウィンドウ条件に基づいて、図20に示すカラー画像データ48を生成する。
FIG. 20 is a diagram for explaining an example of processing executed by the learning data set generation function 135c according to the second modification of the first embodiment. The learning data set generation function 135c is a window showing the relationship between the CT value and the B value in the same manner as the method for generating the color image data 46 based on the
カラー画像データ48を構成する複数のピクセル48aのそれぞれには、RGB値が設定される。ただし、図20に示すように、カラー画像データ48の各ピクセル48aに設定されるR値及びG値は「0」である。また、カラー画像データ48の各ピクセル48aに設定されるB値は、CT値とB値との関係を示すウィンドウ条件に基づく値である。すなわち、図20に示すように、各ピクセル48aに設定されるRGB値は、(0,0,B)で表される。
RGB values are set for each of the plurality of
ここで、CT値とB値との関係を示すウィンドウ条件に基づいて生成されたカラー画像データ48では、背景18に対応するピクセル48aにB値「255」が設定され、心筋16及び内腔17に対応するピクセル48aにB値「0」が設定される。このため、カラー画像データ48は、背景18の特徴を示す画像データであるといえる。より具体的には、カラー画像データ48の各ピクセル48aに設定されるB値が、背景18の特徴を示すといえる。
Here, in the
そして、学習用データセット生成機能135cは、カラー画像データ46と、カラー画像データ47と、カラー画像データ48とを合成することにより、カラー画像データ35を生成する。これにより、カラー画像データ46の各ピクセル46aに設定されたG値が、カラー画像データ35の対応する各ピクセルに設定される。また、カラー画像データ47の各ピクセル47aに設定されたR値が、カラー画像データ35の対応する各ピクセルに設定される。また、カラー画像データ48の各ピクセル48aに設定されたB値が、カラー画像データ35の対応する各ピクセルに設定される。
Then, the learning data set generation function 135c generates the
したがって、カラー画像データ35は、心筋16の特徴、内腔17の特徴及び背景18の特徴を示す画像データであるといえる。
Therefore, it can be said that the
図15の説明に戻り、学習時には、学習済みモデル生成機能135dは、短軸断面画像データ15とカラー画像データ35との組と、輪郭画像データ26との関係を学習することによって学習済みモデル28bを生成する。
Returning to the explanation of FIG. 15, at the time of learning, the trained model generation function 135d learns the relationship between the pair of the short-axis
このように、学習済みモデル生成機能135dは、短軸断面画像データ15とカラー画像データ35と輪郭画像データ26とを対応付けて学習することによって学習済みモデル28bを生成する。例えば、学習時には、学習用データセット生成機能135cは、短軸断面画像データ15、カラー画像データ35及び輪郭画像データ26の組を複数生成する。そして、学習済みモデル生成機能135dは、生成した複数の組を用いて学習済みモデル28bを生成する。
In this way, the trained model generation function 135d generates the trained
例えば、学習済みモデル生成機能135dは、短軸断面画像データ15及びカラー画像データ35を入力データとし、輪郭画像データ26を教師データとして機械エンジンに入力することによって、機械学習を行う。学習済みモデル生成機能135dは、このような機械学習の結果として学習済みモデル28bを生成する。
For example, the trained model generation function 135d performs machine learning by inputting the short-axis
このように、学習済みモデル生成機能135dは、心筋16の特徴、内腔17の特徴及び背景18の特徴を示すカラー画像データ35を用いて学習済みモデル28bを生成する。このため、学習済みモデル生成機能135dは、より精度良く、心筋16と内腔17とを判別するとともに、心筋16と背景18とを判別することが可能な学習済みモデル28bを生成することができる。
As described above, the trained model generation function 135d generates the trained
学習済みモデル28bは、短軸断面画像データ15に相当する画像データ、及び、カラー画像データ35に相当する画像データが入力されることで、輪郭画像データ26に相当する画像データを推定(生成)し、出力する。
The trained
そして、学習済みモデル生成機能135dは、生成した学習済みモデル28bをメモリ132に記憶させる。
Then, the trained model generation function 135d stores the generated trained
変形例2に係る推定機能135eは、運用時に、学習済みモデル28bを用いて、解析対象の部位の輪郭に関する精度が高い画像データを推定し、推定した画像データを出力する。図21を参照して、推定機能135eが実行する処理の一例について説明する。図21は、第1の実施形態の変形例2に係る推定機能135eが実行する処理の一例について説明するための図である。図21には、変形例2の運用時における輪郭画像データ50の推定方法の一例が示されている。
The estimation function 135e according to the second modification uses the trained
推定機能135eは、運用時に取得機能135bにより取得されたCT画像データ12を用いて、第1の実施形態と同様に、短軸断面画像データ30(図10参照)を生成する。そして、推定機能135eは、学習用データセット生成機能135cが短軸断面画像データ15を用いてカラー画像データ35を生成した方法と同様の方法で、短軸断面画像データ30を用いてカラー画像データ49を生成する。カラー画像データ49は、カラー画像データ35に相当する画像データである。
The estimation function 135e uses the
そして、図21に示すように、推定機能135eは、短軸断面画像データ30及びカラー画像データ49を学習済みモデル28bに入力することで、学習済みモデル28bに輪郭画像データ50を推定させて出力させる。すなわち、推定機能135eは、学習済みモデル28bを用いて、短軸断面画像データ30及びカラー画像データ49を基に、輪郭画像データ50を推定し出力する。輪郭画像データ50は、輪郭画像データ26に相当する画像データである。輪郭画像データ50は、例えば、心筋16の輪郭16a及び輪郭16bを示す情報の一例である。
Then, as shown in FIG. 21, the estimation function 135e inputs the short-axis
ここで、推定機能135eは、心筋の特徴、内腔の特徴及び背景の特徴を示すカラー画像データ49を学習済みモデル28bに入力する。このため、推定機能135eは、より精度良く、心筋と内腔とが判別されるとともに、心筋と背景とが判別された輪郭画像データ50を出力することができる。したがって、変形例2によれば、精度の良い心筋の輪郭を示す情報を得ることができる。
Here, the estimation function 135e inputs
以上、変形例2について説明した。変形例2によれば、上述したように、精度の良い解析対象の部位の輪郭を示す情報を得ることができる。 The modification 2 has been described above. According to the second modification, as described above, it is possible to obtain information indicating the contour of the part to be analyzed with high accuracy.
なお、変形例2において、学習用データセット生成機能135cは、短軸断面画像データ15を生成した際に用いたウィンドウ条件に基づいて、心筋16に対応するCT値「β」、内腔17に対応するCT値「γ」及び背景18に対応するCT値「δ」を特定する場合について説明した。また、学習用データセット生成機能135cは、特定したピクセルに対応するCT画像データ11のボクセルを特定し、特定したボクセルのCT値「β」、「γ」及び「δ」を特定する場合について説明した。しかしながら、学習用データセット生成機能135cは、他の方法によっても、心筋16に対応するCT値、内腔17に対応するCT値及び背景18に対応するCT値を特定してもよい。そこで、以下、学習用データセット生成機能135cが、他の方法により、心筋16に対応するCT値、内腔17に対応するCT値及び背景18に対応するCT値を特定する処理の一例について説明する。
In the second modification, the learning data set generation function 135c has a CT value “β” corresponding to the
図22は、第1の実施形態の変形例2に係るデータベース51のデータ構造の一例を示す図である。図22に示すデータベース51は、メモリ132に記憶されている。データベース51には、複数のレコードが登録されている。各レコードは、「対象」の項目及び「CT値」の項目を有する。
FIG. 22 is a diagram showing an example of the data structure of the
「対象」の項目には、画像処理装置130がCT値を得ようとする対象の識別子(ID(Identification))が登録されている。例えば、図22に示すように、「対象」の項目には、このような対象として、心筋16を示す識別子「ID1」、内腔17を示す識別子「ID2」及び背景18を示す識別子「ID3」が登録されている。
In the item of "object", an identifier (ID (Identification)) of an object for which the
「CT値」の項目には、「対象」の項目に登録されている識別子が示す対象の一般的なCT値が登録されている。例えば、図22に示すように、「CT値」の項目には、心筋16のCT値「AA」、内腔17のCT値「BB」及び背景18のCT値「CC」が登録されている。
In the item of "CT value", the general CT value of the target indicated by the identifier registered in the item of "target" is registered. For example, as shown in FIG. 22, in the item of "CT value", the CT value "AA" of the
変形例2に係る学習用データセット生成機能135cは、データベース51を用いて、心筋16に対応するCT値、内腔17に対応するCT値及び背景18に対応するCT値を特定する。具体的には、例えば、学習用データセット生成機能135cは、データベース51に登録されている全レコードの中から、心筋16を示す識別子「ID1」が「対象」の項目に登録されているレコードを検索する。
The learning data set generation function 135c according to the second modification uses the
そして、学習用データセット生成機能135cは、検索の結果得られたレコードの「CT値」の項目に登録されたCT値「AA」を取得する。このようにして、学習用データセット生成機能135cは、心筋16に対応するCT値「AA」を特定する。学習用データセット生成機能135cは、同様の方法により、内腔17に対応するCT値「BB」及び背景18に対応するCT値「CC」を特定する。
Then, the learning data set generation function 135c acquires the CT value "AA" registered in the item of the "CT value" of the record obtained as a result of the search. In this way, the learning data set generation function 135c identifies the CT value “AA” corresponding to the
上述したような方法によれば、ユーザが心筋16の位置、内腔17の位置及び背景18の位置を指定することなく、心筋16に対応するCT値、内腔17に対応するCT値及び背景18に対応するCT値が特定される。したがって、ユーザが煩雑な手動操作を行うことなく、心筋16に対応するCT値、内腔17に対応するCT値及び背景18に対応するCT値を特定することができる。なお、第1の実施形態及び変形例1においても、学習用データセット生成機能135cは、同様の方法により、心筋16に対応するCT値「AA」を特定してもよい。
According to the method as described above, the CT value corresponding to the
(第1の実施形態の変形例3)
なお、第1の実施形態及び変形例1では、画像処理装置130が、短軸断面画像データ25を用いて学習済みモデル28,28aを生成した。しかしながら、画像処理装置130が、短軸断面画像データ25に代えて、複数の時相の短軸断面画像データ25の加算平均画像データを用いて学習済みモデルを生成してもよい。そこで、このような変形例を第1の実施形態の変形例3として説明する。以下の変形例3の説明では、第1の実施形態及び変形例1と異なる点を主に説明し、第1の実施形態及び変形例1と同様の点については説明を省略する場合がある。また、第1の実施形態及び変形例1と同様の構成については、同一の符号を付し、説明を省略する場合がある。
(Modification 3 of the first embodiment)
In the first embodiment and the first modification, the
図23は、第1の実施形態の変形例3に係る学習用データセット生成機能135cが実行する処理の一例を説明するための図である。図23には、複数の時相の短軸断面画像データ25が示されている。例えば、図23において、一番左側に示された短軸断面画像データ25は、時相t1の画像データである。また、図23において、中央に示された短軸断面画像データ25は、時相t2の画像データである。また、図23において、一番右側に示された短軸断面画像データ25は、時相t3の画像データである。時相t1と、時相t2と、時相t3は、異なる時相である。
FIG. 23 is a diagram for explaining an example of processing executed by the learning data set generation function 135c according to the third modification of the first embodiment. FIG. 23 shows a plurality of time-phase short-axis
そして、学習用データセット生成機能135cは、複数の時相の短軸断面画像データ25に対して加算平均処理を実行することにより、複数の時相の短軸断面画像データ25の加算平均画像データ52を生成する。
Then, the learning data set generation function 135c executes the addition averaging process on the short-axis
そして、学習済みモデル生成機能135dは、短軸断面画像データ25に代えて加算平均画像データ52を用いて学習済みモデルを生成する。例えば、学習済みモデル生成機能135dは、第1の実施形態において短軸断面画像データ25を用いて学習済みモデル28を生成した方法と同様の方法で、加算平均画像データ52を用いて学習済みモデルを生成する。
Then, the trained model generation function 135d generates a trained model by using the added
又は、学習済みモデル生成機能135dは、変形例1において短軸断面画像データ25を用いて学習済みモデル28aを生成した方法と同様の方法で、加算平均画像データ52を用いて学習済みモデルを生成する。そして、変形例3に係る処理回路135は、運用時に変形例3において生成された学習済みモデルを用いて、第1の実施形態において学習済みモデル28を用いて行われた運用時の処理と同様の処理を行う。
Alternatively, the trained model generation function 135d generates a trained model using the added
以上、変形例3について説明した。変形例3によれば、複数の時相の情報に基づいて学習済みモデルが生成されるので、更に精度の良い輪郭を出力することが可能な学習済みモデルを生成することができる。 The modification 3 has been described above. According to the third modification, since the trained model is generated based on the information of a plurality of time phases, it is possible to generate a trained model capable of outputting a more accurate contour.
(第2の実施形態)
次に、第2の実施形態に係る画像処理装置について説明する。以下の第2の実施形態の説明では、第1の実施形態と異なる点を主に説明し、第1の実施形態と同様の点については説明を省略する場合がある。また、第1の実施形態と同様の構成については、同一の符号を付し、説明を省略する場合がある。
(Second embodiment)
Next, the image processing apparatus according to the second embodiment will be described. In the following description of the second embodiment, the points different from those of the first embodiment will be mainly described, and the description of the same points as those of the first embodiment may be omitted. Further, the same components as those in the first embodiment may be designated by the same reference numerals and the description thereof may be omitted.
図24は、第2の実施形態に係る医用処理システム1aの構成の一例を示す図である。図24に示す医用処理システム1aは、画像処理装置130に代えて画像処理装置130aを備える点が、図1に示す医用処理システム1と異なる。図24に示す画像処理装置130aは、処理回路135に代えて処理回路235を備える点が、図1に示す画像処理装置130と異なる。処理回路235は、例えば、プロセッサにより実現される。処理回路235は、学習用データセット生成機能135c、学習済みモデル生成機能135d及び推定機能135eに代えて、学習用データセット生成機能235c、学習済みモデル生成機能235d及び推定機能235eを備える点が、図1に示す処理回路135と異なる。
FIG. 24 is a diagram showing an example of the configuration of the
以下、学習用データセット生成機能235c、学習済みモデル生成機能235d及び推定機能235eが実行する処理のうち、学習用データセット生成機能135c、学習済みモデル生成機能135d及び推定機能135eが実行する処理と異なる点を主に説明する。図25は、第2の実施形態に係る学習用データセット生成機能235cが運用時に実行する処理の一例を説明するための図である。 Hereinafter, among the processes executed by the training data set generation function 235c, the trained model generation function 235d, and the estimation function 235e, the processing executed by the training data set generation function 135c, the trained model generation function 135d, and the estimation function 135e. The differences will be mainly explained. FIG. 25 is a diagram for explaining an example of processing executed by the learning data set generation function 235c according to the second embodiment during operation.
図25に示すように、学習用データセット生成機能235cは、CT画像データ11に描出された左心室14の長軸14aを検出する。そして、学習用データセット生成機能235cは、第1の実施形態と同様に、CT画像データ11に基づいて断面15aを示す短軸断面画像データ15を生成する。
As shown in FIG. 25, the learning data set generation function 235c detects the
また、学習用データセット生成機能235cは、長軸14aに沿って断面15aから心臓の心基部に向かう方向に、断面15aから所定距離離れた断面15bを特定する。また、学習用データセット生成機能235cは、長軸14aに沿って断面15aから左心室の心尖に向かう方向に、断面15aから所定距離離れた断面15cを特定する。断面15b及び断面15cは、断面15aと同様に、長軸14aに直交する断面である。また、断面15a、断面15b及び断面15cのそれぞれは、異なる位置の断面である。
Further, the learning data set generation function 235c specifies a
そして、学習用データセット生成機能235cは、CT画像データ11に基づいて断面15bを示す短軸断面画像データ55を生成する。CT画像データ11に基づいて断面15cを示す短軸断面画像データ56を生成する。
Then, the learning data set generation function 235c generates the short-axis cross-section image data 55 showing the
短軸断面画像データ55,56には、短軸断面画像データ15と同様に、解析対象の部位である心筋16と、左心室の内腔17と、背景18とが描出されている。また、短軸断面画像データ55,56には、短軸断面画像データ15と同様に、心筋16の外壁の輪郭16a、及び、心筋16の内壁の輪郭16bが描出されている。
Similar to the short-axis
第2の実施形態では、短軸断面画像データ15、短軸断面画像データ55及び短軸断面画像データ56は、学習済みモデルを生成する際に、入力データとして用いられる。
In the second embodiment, the short-axis
学習済みモデル生成機能235dは、学習時に、学習済みモデルを生成する。図26は、第2の実施形態に係る学習済みモデル生成機能235dが実行する処理の一例を説明するための図である。図26には、第2の実施形態の学習時における学習済みモデル58の生成方法の一例が示されている。図26に示すように、学習時には、学習済みモデル生成機能235dは、短軸断面画像データ15、短軸断面画像データ55及び短軸断面画像データ56の組と、輪郭画像データ26との関係を学習することによって学習済みモデル58を生成する。
The trained model generation function 235d generates a trained model at the time of training. FIG. 26 is a diagram for explaining an example of processing executed by the trained model generation function 235d according to the second embodiment. FIG. 26 shows an example of a method of generating the trained
このように、学習済みモデル生成機能235dは、短軸断面画像データ15、短軸断面画像データ55及び短軸断面画像データ56の組と、輪郭画像データ26とを対応付けて学習することによって学習済みモデル58を生成する。例えば、学習時には、学習用データセット生成機能235cは、短軸断面画像データ15、短軸断面画像データ55、短軸断面画像データ56及び輪郭画像データ26の組を複数生成する。そして、学習済みモデル生成機能235dは、生成した複数の組を用いて学習済みモデル58を生成する。
As described above, the trained model generation function 235d is learned by learning the set of the short-axis
例えば、学習済みモデル生成機能235dは、短軸断面画像データ15、短軸断面画像データ55及び短軸断面画像データ56を入力データとし、輪郭画像データ26を教師データとして機械エンジンに入力することによって、機械学習を行う。
For example, the trained model generation function 235d inputs the short-axis
学習済みモデル生成機能235dは、このような機械学習の結果として学習済みモデル58を生成する。学習済みモデル58は、短軸断面画像データ15に相当する画像データ、短軸断面画像データ55に相当する画像データ及び短軸断面画像データ56に相当する画像データの組が入力されることで、輪郭画像データ26に相当する画像データを推定(生成)し、出力する。
The trained model generation function 235d generates a trained
そして、学習済みモデル生成機能235dは、生成した学習済みモデル58をメモリ132に記憶させる。
Then, the trained model generation function 235d stores the generated trained
ここで、解析対象の部位(例えば、心筋)は、2次元の構造ではなく3次元の構造である。第2の実施形態では、学習済みモデル生成機能235dは、短軸断面画像データ15が示す断面15aに関する2次元的な情報ではなく、断面15a、断面15b及び断面15cの3つの断面の解析対象の部位に関する3次元的な情報を用いて機械学習を行う。そのため、第2の実施形態によれば、2次元的な情報を用いて機械学習を行う場合と比較して、学習精度及び学習の収束速度を向上させることができる。
Here, the site to be analyzed (for example, myocardium) is not a two-dimensional structure but a three-dimensional structure. In the second embodiment, the trained model generation function 235d is not the two-dimensional information about the
推定機能235eは、学習済みモデル58を用いて、運用時に、解析対象の部位の輪郭に関する精度が高い画像データを推定し、推定した画像データを出力する。図27を参照して、推定機能235eが実行する処理の一例について説明する。図27は、第2の実施形態に係る推定機能235eが実行する処理の一例について説明するための図である。図27には、第2の実施形態の運用時における輪郭画像データ62の推定方法の一例が示されている。
The estimation function 235e uses the trained
推定機能235eは、運用時に取得機能135bにより取得されたCT画像データ12を用いて、図27に示す短軸断面画像データ30を生成する。例えば、推定機能235eは、学習用データセット生成機能235cが学習時にCT画像データ11を用いて短軸断面画像データ15を生成した方法と同様の方法で、CT画像データ12を用いて短軸断面画像データ30を生成する。
The estimation function 235e uses the
また、推定機能235eは、CT画像データ12を用いて、図27に示す短軸断面画像データ60を生成する。例えば、推定機能235eは、学習用データセット生成機能235cが学習時にCT画像データ11を用いて短軸断面画像データ55を生成した方法と同様の方法で、CT画像データ12を用いて短軸断面画像データ60を生成する。
Further, the estimation function 235e uses the
また、推定機能235eは、CT画像データ12を用いて、図27に示す短軸断面画像データ61を生成する。例えば、推定機能235eは、学習用データセット生成機能235cが学習時にCT画像データ11を用いて短軸断面画像データ56を生成した方法と同様の方法で、CT画像データ12を用いて短軸断面画像データ61を生成する。
Further, the estimation function 235e uses the
短軸断面画像データ60,61は、例えば、短軸断面画像データ15と同様に、解析対象の部位である心筋、左心室の内腔、及び、背景が描出されている。短軸断面画像データ30は、短軸断面画像データ15に相当する画像データである。短軸断面画像データ60は、短軸断面画像データ55に相当する画像データである。短軸断面画像データ61は、短軸断面画像データ56に相当する画像データである。短軸断面画像データ30、短軸断面画像データ60及び短軸断面画像データ61は、第1の画像データの一例である。
In the short-axis
そして、図27に示すように、推定機能235eは、短軸断面画像データ30、短軸断面画像データ60及び短軸断面画像データ61を学習済みモデル58に入力することで、学習済みモデル58に輪郭画像データ62を推定させて出力させる。すなわち、推定機能235eは、学習済みモデル58を用いて、短軸断面画像データ30、短軸断面画像データ60及び短軸断面画像データ61を基に、輪郭画像データ62を推定し出力する。例えば、推定機能235eは、輪郭画像データ62を解析機能135fに出力する。輪郭画像データ62は、輪郭画像データ26に相当する画像データである。推定機能235eは、出力部の一例である。輪郭画像データ62は、例えば、心筋16の輪郭16a及び輪郭16bを示す情報の一例である。
Then, as shown in FIG. 27, the estimation function 235e inputs the short-axis
第2の実施形態に係る学習済みモデル58は、解析対象の部位である心筋の輪郭が精度良く描出された輪郭画像データ62を推定し出力することができる。すなわち、第2の実施形態によれば、精度の良い解析対象の部位の輪郭を示す情報を得ることができる。
The trained
図28は、第2の実施形態に係る画像処理装置130aが学習時に実行する処理の流れの一例を示すフローチャートである。図28に示す処理は、例えば、ユーザが入力インターフェース133を介して学習済みモデル58を生成する処理を実行するための指示を処理回路235に入力した場合に実行される。
FIG. 28 is a flowchart showing an example of a flow of processing executed by the image processing apparatus 130a according to the second embodiment during learning. The process shown in FIG. 28 is executed, for example, when the user inputs to the
図28に示すように、取得機能135bは、メモリ132に記憶されたCT画像データ11を取得する(ステップS301)。そして、学習用データセット生成機能235cは、CT画像データ11に基づいて短軸断面画像データ15を生成する(ステップS302)。
As shown in FIG. 28, the acquisition function 135b acquires the CT image data 11 stored in the memory 132 (step S301). Then, the learning data set generation function 235c generates the short-axis
そして、学習用データセット生成機能235cは、CT画像データ11に基づいて短軸断面画像データ55を生成する(ステップS303)。そして、学習用データセット生成機能235cは、CT画像データ11に基づいて短軸断面画像データ56を生成する(ステップS304)。
Then, the learning data set generation function 235c generates the short-axis cross-sectional image data 55 based on the CT image data 11 (step S303). Then, the learning data set generation function 235c generates the short-axis
そして、学習済みモデル生成機能235dは、短軸断面画像データ15、短軸断面画像データ55及び短軸断面画像データ56の組と、輪郭画像データ26とを対応付けて機械学習することによって学習済みモデル58を生成する(ステップS305)。そして、学習済みモデル生成機能235dは、生成した学習済みモデル58をメモリ132に記憶させ(ステップS306)、処理を終了する。
Then, the trained model generation function 235d has been trained by machine learning by associating the set of the short-axis
図29は、第2の実施形態に係る画像処理装置130aが運用時に実行する処理の流れの一例を示すフローチャートである。図29に示す処理は、例えば、ユーザが入力インターフェース133を介して、解析機能135fによる解析を実行するための指示を処理回路235に入力した場合に実行される。
FIG. 29 is a flowchart showing an example of a flow of processing executed by the image processing apparatus 130a according to the second embodiment during operation. The process shown in FIG. 29 is executed, for example, when the user inputs an instruction for executing the analysis by the
図29に示すように、取得機能135bは、メモリ132に記憶されたCT画像データ12を取得する(ステップS401)。そして、推定機能235eは、CT画像データ12を用いて短軸断面画像データ30を生成する(ステップS402)。
As shown in FIG. 29, the acquisition function 135b acquires the
そして、推定機能235eは、CT画像データ12に基づいて短軸断面画像データ60を生成する(ステップS403)。そして、推定機能235eは、CT画像データ12に基づいて短軸断面画像データ61を生成する(ステップS404)。
Then, the estimation function 235e generates the short-axis
そして、推定機能235eは、学習済みモデル58を用いて、短軸断面画像データ30、短軸断面画像データ60及び短軸断面画像データ61を基に、輪郭画像データ62を推定し出力する(ステップS405)。
Then, the estimation function 235e estimates and outputs the
そして、解析機能135fは、輪郭画像データ62に描出された解析対象の心筋の輪郭を用いて解析を行う(ステップS406)。そして、出力機能135gは、解析結果をディスプレイ134に表示させ(ステップS407)、処理を終了する。
Then, the
以上、第2の実施形態について説明した。第2の実施形態によれば、上述したように、精度の良い解析対象の部位の輪郭を示す情報を得ることができる。 The second embodiment has been described above. According to the second embodiment, as described above, it is possible to obtain information indicating the contour of the part to be analyzed with high accuracy.
(第2の実施形態の変形例1)
なお、第2の実施形態では、学習済みモデル生成機能235dが学習済みモデル58を生成する場合について説明した。しかしながら、学習済みモデル生成機能235dは、学習済みモデル58に代えて、他の学習済みモデルを生成してもよい。そこで、このような変形例を第2の実施形態の変形例1として説明する。以下の変形例1の説明では、第2の実施形態と異なる点を主に説明し、第2の実施形態と同様の点については説明を省略する場合がある。また、第2の実施形態と同様の構成については、同一の符号を付し、説明を省略する場合がある。
(Modification 1 of the second embodiment)
In the second embodiment, the case where the trained model generation function 235d generates the trained
図30は、第2の実施形態の変形例1に係る学習済みモデル生成機能235dが実行する処理の一例を説明するための図である。図30には、変形例1の学習時における学習済みモデル65の生成方法の一例が示されている。図30に示すように、学習時には、学習済みモデル生成機能235dは、短軸断面画像データ55及び短軸断面画像データ56の組と、輪郭画像データ26との関係を学習することによって学習済みモデル65を生成する。
FIG. 30 is a diagram for explaining an example of processing executed by the trained model generation function 235d according to the first modification of the second embodiment. FIG. 30 shows an example of a method of generating the trained
このように、学習済みモデル生成機能235dは、短軸断面画像データ55及び短軸断面画像データ56の組と、輪郭画像データ26とを対応付けて学習することによって学習済みモデル65を生成する。例えば、学習時には、学習用データセット生成機能235cは、短軸断面画像データ55、短軸断面画像データ56及び輪郭画像データ26の組を複数生成する。そして、学習済みモデル生成機能235dは、生成した複数の組を用いて学習済みモデル65を生成する。
As described above, the trained model generation function 235d generates the trained
例えば、学習済みモデル生成機能235dは、短軸断面画像データ55及び短軸断面画像データ56を入力データとし、輪郭画像データ26を教師データとして機械エンジンに入力することによって、機械学習を行う。学習済みモデル生成機能235dは、このような機械学習の結果として学習済みモデル65を生成する。
For example, the trained model generation function 235d performs machine learning by inputting the short-axis cross-sectional image data 55 and the short-axis
学習済みモデル65は、短軸断面画像データ55に相当する画像データ及び短軸断面画像データ56に相当する画像データが入力されることで、輪郭画像データ26に相当する画像データを推定(生成)し、出力する。
The trained
そして、学習済みモデル生成機能235dは、生成した学習済みモデル65をメモリ132に記憶させる。
Then, the trained model generation function 235d stores the generated trained
変形例1に係る推定機能235eは、運用時に、学習済みモデル65を用いて、解析対象の部位の輪郭に関する精度が高い画像データを推定し、推定した画像データを出力する。図31を参照して、推定機能235eが実行する処理の一例について説明する。図31は、第2の実施形態の変形例1に係る推定機能235eが実行する処理の一例について説明するための図である。図31には、変形例1の運用時における輪郭画像データ66の推定方法の一例が示されている。
The estimation function 235e according to the first modification uses the trained
推定機能235eは、運用時に取得機能235bにより取得されたCT画像データ12を用いて、第2の実施形態と同様に、短軸断面画像データ60を生成する。また、推定機能235eは、CT画像データ12を用いて、第2の実施形態と同様に、短軸断面画像データ61を生成する。短軸断面画像データ60は、短軸断面画像データ55に相当する画像データである。短軸断面画像データ61は、短軸断面画像データ56に相当する画像データである。
The estimation function 235e uses the
そして、図31に示すように、推定機能235eは、短軸断面画像データ60及び短軸断面画像データ61を学習済みモデル65に入力することで、学習済みモデル65に輪郭画像データ66を推定させて出力させる。すなわち、推定機能235eは、学習済みモデル65を用いて、短軸断面画像データ60及び短軸断面画像データ61を基に、輪郭画像データ66を推定し出力する。輪郭画像データ66は、輪郭画像データ26に相当する画像データである。
Then, as shown in FIG. 31, the estimation function 235e causes the trained
変形例1に係る学習済みモデル65は、第2の実施形態に係る学習済みモデル58と同様に、解析対象の部位である心筋の輪郭が精度良く描出された輪郭画像データ66を推定し出力することができる。すなわち、変形例1によれば、精度の良い解析対象の部位の輪郭を示す情報を得ることができる。
Similar to the trained
以上、第2の実施形態の変形例1について説明した。変形例1によれば、上述したように、第2の実施形態と同様に、精度の良い解析対象の部位の輪郭を示す情報を得ることができる。 The modification 1 of the second embodiment has been described above. According to the first modification, as described above, it is possible to obtain information indicating the contour of the portion to be analyzed with high accuracy, as in the second embodiment.
また、上述した第2の実施形態では、学習済みモデル58を生成する際に入力データとして短軸断面画像データ15、短軸断面画像データ55及び短軸断面画像データ56が用いられる。これに対して、変形例1では、学習済みモデル65を生成する際に入力データとして短軸断面画像データ55及び短軸断面画像データ56が用いられる。したがって、変形例1の方が、第2の実施形態よりも、学習済みモデルを生成する際に入力データとして用いられる画像データの数及びデータ量が少ない。したがって、変形例1によれば、学習済みモデルを生成する際の機械学習の収束を早めることができる。
Further, in the second embodiment described above, the short-axis
また、短軸断面画像データ15が、何らかの原因で画像処理装置130aから削除されてしまう場合が考えられる。しかしながら、変形例1によれば、このような場合であっても、短軸断面画像データ55及び短軸断面画像データ56が画像処理装置130aに保存されていれば、学習済みモデル65を生成することができる。
Further, it is conceivable that the short-axis
同様に、短軸断面画像データ30が、何らかの原因で画像処理装置130aから削除されてしまう場合が考えられる。しかしながら、変形例1によれば、このような場合であっても、短軸断面画像データ60及び短軸断面画像データ61が画像処理装置130aに保存されていれば、輪郭画像データ66を推定し、出力することができる。
Similarly, it is conceivable that the short-axis
(第2の実施形態の変形例2)
第2の実施形態では、画像処理装置130aが、短軸断面画像データ15、短軸断面画像データ55及び短軸断面画像データ56を用いて、学習済みモデル58を生成する場合について説明した。しかしながら、画像処理装置130aは、短軸断面画像データ15、短軸断面画像データ55及び短軸断面画像データ56が1つに纏められたカラー画像データを用いて、学習済みモデルを生成してもよい。そこで、このような変形例を第2の実施形態の変形例2として説明する。以下の変形例2の説明では、第2の実施形態と異なる点を主に説明し、第2の実施形態と同様の点については説明を省略する場合がある。また、第2の実施形態と同様の構成については、同一の符号を付し、説明を省略する場合がある。
(Modification 2 of the second embodiment)
In the second embodiment, the case where the image processing apparatus 130a generates the trained
図32は、第2の実施形態の変形例2に係る画像処理装置130aが実行する処理の一例を説明するための図である。図32には、変形例2の学習時における学習済みモデル71の生成方法の一例が示されている。変形例2に係る学習用データセット生成機能235cは、図32に示すカラー画像データ70を生成する。カラー画像データ70を構成する複数のピクセルのそれぞれには、RGB値が設定されている。
FIG. 32 is a diagram for explaining an example of processing executed by the image processing apparatus 130a according to the second modification of the second embodiment. FIG. 32 shows an example of a method of generating the trained
なお、カラー画像データ70を構成する複数のピクセルは、短軸断面画像データ15を構成する複数のピクセルに対応する。また、カラー画像データ70を構成する複数のピクセルは、短軸断面画像データ55を構成する複数のピクセルにも対応する。また、カラー画像データ70を構成する複数のピクセルは、短軸断面画像データ56を構成する複数のピクセルにも対応する。
The plurality of pixels constituting the
カラー画像データ70の生成方法の一例について説明する。例えば、学習用データセット生成機能235cは、短軸断面画像データ15の各ピクセルに設定された輝度値をG値として、カラー画像データ70の対応する各ピクセルに設定する。また、学習用データセット生成機能235cは、短軸断面画像データ55の各ピクセルに設定された輝度値をR値として、カラー画像データ70の対応する各ピクセルに設定する。また、学習用データセット生成機能235cは、短軸断面画像データ56の各ピクセルに設定された輝度値をB値として、カラー画像データ70の対応する各ピクセルに設定する。このようにして、学習用データセット生成機能235cは、各ピクセルにRGB値が設定されたカラー画像データ70を生成する。
An example of a method of generating the
ここで、カラー画像データ70の各ピクセルに設定されたG値は、断面15aの特徴を示す。また、カラー画像データ70の各ピクセルに設定されたR値は、断面15aよりも心基部側の断面15bの特徴を示す。また、カラー画像データ70の各ピクセルに設定されたB値は、断面15aよりも心尖部側の断面15cの特徴を示す。したがって、カラー画像データ70は、断面15aの特徴、断面15bの特徴及び断面15cの特徴を示す画像データであるといえる。すなわち、カラー画像データ70は、左心室14の心筋16の複数の位置(断面15aの位置、断面15bの位置及び断面15cの位置)における左心室14の心筋16を示す。
Here, the G value set for each pixel of the
図32の説明に戻り、学習時には、学習済みモデル生成機能235dは、カラー画像データ70と、輪郭画像データ26との関係を学習することによって学習済みモデル71を生成する。
Returning to the description of FIG. 32, at the time of learning, the trained model generation function 235d generates the trained
このように、学習済みモデル生成機能235dは、カラー画像データ70と輪郭画像データ26とを対応付けて学習することによって学習済みモデル71を生成する。例えば、学習時には、学習用データセット生成機能235cは、カラー画像データ70及び輪郭画像データ26の組を複数生成する。そして、学習済みモデル生成機能235dは、生成した複数の組を用いて学習済みモデル71を生成する。
In this way, the trained model generation function 235d generates the trained
例えば、学習済みモデル生成機能235dは、カラー画像データ70を入力データとし、輪郭画像データ26を教師データとして機械エンジンに入力することによって、機械学習を行う。学習済みモデル生成機能235dは、このような機械学習の結果として学習済みモデル71を生成する。
For example, the trained model generation function 235d performs machine learning by inputting the
変形例2では、学習済みモデル生成機能235dは、カラー画像データ70が示す断面15a、断面15b及び断面15cの3つの断面の解析対象の部位に関する3次元的な情報を用いて機械学習を行う。そのため、変形例2によれば、2次元的な情報を用いて機械学習を行う場合と比較して、学習精度及び学習の収束速度を向上させることができる。
In the second modification, the trained model generation function 235d performs machine learning using three-dimensional information regarding the parts to be analyzed in the three cross sections of the
学習済みモデル71は、カラー画像データ70に相当する画像データが入力されることで、輪郭画像データ26に相当する画像データを推定(生成)し、出力する。
The trained
そして、学習済みモデル生成機能235dは、生成した学習済みモデル71をメモリ132に記憶させる。
Then, the trained model generation function 235d stores the generated trained
変形例2に係る推定機能235eは、運用時に、学習済みモデル71を用いて、解析対象の部位の輪郭に関する精度が高い画像データを推定し、推定した画像データを出力する。図33を参照して、推定機能235eが実行する処理の一例について説明する。図33は、第2の実施形態の変形例2に係る推定機能235eが実行する処理の一例について説明するための図である。図33には、変形例2の運用時における輪郭画像データ73の推定方法の一例が示されている。
The estimation function 235e according to the second modification uses the trained
推定機能235eは、学習用データセット生成機能235cがCT画像データ11を用いてカラー画像データ70を生成した方法と同様の方法で、CT画像データ12を用いて、図33に示すカラー画像データ72を生成する。カラー画像データ72は、カラー画像データ70に相当する画像データである。したがって、カラー画像データ72は、断面15aの特徴、断面15bの特徴及び断面15cの特徴を示す画像データであるといえる。すなわち、カラー画像データ72は、左心室14の心筋16の複数の位置(断面15aの位置、断面15bの位置及び断面15cの位置)における左心室14の心筋16を示す。カラー画像データ72は、例えば、第1の画像データ及び第5の画像データの一例である。
The estimation function 235e is the same method as the method in which the training data set generation function 235c generated the
そして、図33に示すように、推定機能235eは、カラー画像データ72を学習済みモデル71に入力することで、学習済みモデル71に輪郭画像データ73を推定させて出力させる。すなわち、推定機能235eは、学習済みモデル71を用いて、カラー画像データ72を基に、輪郭画像データ73を推定し出力する。輪郭画像データ73は、輪郭画像データ26に相当する画像データである。
Then, as shown in FIG. 33, the estimation function 235e inputs the color image data 72 into the trained
以上、変形例2について説明した。変形例2に係る学習済みモデル71は、解析対象の部位である心筋の輪郭が精度良く描出された輪郭画像データ73を推定し出力することができる。したがって、変形例2によれば、精度の良い解析対象の部位の輪郭を示す情報を得ることができる。
The modification 2 has been described above. The trained
なお、変形例2において、学習済みモデル生成機能235dは、カラー画像データ70と、短軸断面画像データ25とを用いて学習済みモデルを生成してもよい。この場合、推定機能235eは、カラー画像データ72と、短軸断面画像データ31とを学習済みモデルに入力することにより、輪郭画像データを出力すればよい。この輪郭画像データは、例えば、心筋16の輪郭16a及び輪郭16bを示す情報の一例である。
In the second modification, the trained model generation function 235d may generate a trained model using the
(第2の実施形態の変形例3)
第2の実施形態では、画像処理装置130aが、短軸断面画像データ15、短軸断面画像データ55、短軸断面画像データ56及び輪郭画像データ26を用いて、学習済みモデル58を生成する場合について説明した。しかしながら、画像処理装置130aは、短軸断面画像データ15に代えて、短軸断面画像データ25を用いて、学習済みモデルを生成してもよい。そこで、このような変形例を第2の実施形態の変形例3として説明する。以下の変形例3の説明では、第2の実施形態と異なる点を主に説明し、第2の実施形態と同様の点については説明を省略する場合がある。また、第2の実施形態と同様の構成については、同一の符号を付し、説明を省略する場合がある。
(Modification 3 of the second embodiment)
In the second embodiment, the image processing device 130a generates the trained
図34は、第2の実施形態の変形例3に係る画像処理装置130aが実行する処理の一例を説明するための図である。図34には、変形例3の学習時における学習済みモデル85の生成方法の一例が示されている。
FIG. 34 is a diagram for explaining an example of processing executed by the image processing apparatus 130a according to the third modification of the second embodiment. FIG. 34 shows an example of a method of generating the trained
学習時に、学習済みモデル生成機能235dは、短軸断面画像データ25と短軸断面画像データ55と短軸断面画像データ56との組と、輪郭画像データ26との関係を学習することによって学習済みモデル85を生成する。
At the time of training, the trained model generation function 235d has been trained by learning the relationship between the set of the short-axis
このように、学習済みモデル生成機能235dは、短軸断面画像データ25と短軸断面画像データ55と短軸断面画像データ56との組と、輪郭画像データ26とを対応付けて学習することによって学習済みモデル85を生成する。例えば、学習時には、学習用データセット生成機能235cは、短軸断面画像データ25、短軸断面画像データ55、短軸断面画像データ56及び輪郭画像データ26の組を複数生成する。そして、学習済みモデル生成機能235dは、生成した複数の組を用いて学習済みモデル85を生成する。
As described above, the trained model generation function 235d learns by associating the pair of the short-axis
例えば、学習済みモデル生成機能235dは、短軸断面画像データ25、短軸断面画像データ55及び短軸断面画像データ56を入力データとし、輪郭画像データ26を教師データとして機械エンジンに入力することによって、機械学習を行う。学習済みモデル生成機能235dは、このような機械学習の結果として学習済みモデル85を生成する。
For example, the trained model generation function 235d inputs the short-axis
短軸断面画像データ25は、断面15aの特徴を示す。したがって、変形例3では、第2の実施形態と同様に、断面15a、断面15b及び断面15cの3つの断面の解析対象の部位に関する3次元的な情報を用いて機械学習を行う。そのため、変形例3によれば、2次元的な情報を用いて機械学習を行う場合と比較して、学習精度及び学習の収束速度を向上させることができる。
The short-axis
学習済みモデル85は、短軸断面画像データ25に相当する画像データ、短軸断面画像データ55に相当する画像データ及び短軸断面画像データ56に相当する画像データが入力されることで、輪郭画像データ26に相当する画像データを推定(生成)し、出力する。
The trained
そして、学習済みモデル生成機能235dは、生成した学習済みモデル85をメモリ132に記憶させる。
Then, the trained model generation function 235d stores the generated trained
変形例3に係る推定機能235eは、運用時に、学習済みモデル85を用いて、解析対象の部位の輪郭に関する精度が高い画像データを推定し、推定した画像データを出力する。図35を参照して、推定機能235eが実行する処理の一例について説明する。図35は、第2の実施形態の変形例3に係る推定機能235eが実行する処理の一例について説明するための図である。図35には、変形例3の運用時における輪郭画像データ86の推定方法の一例が示されている。
The estimation function 235e according to the third modification estimates the image data with high accuracy regarding the contour of the part to be analyzed by using the trained
図35に示すように、推定機能235eは、短軸断面画像データ31、短軸断面画像データ60及び短軸断面画像データ61を学習済みモデル85に入力することで、学習済みモデル85に輪郭画像データ86を推定させて出力させる。すなわち、推定機能235eは、学習済みモデル85を使用して、短軸断面画像データ31、短軸断面画像データ60及び短軸断面画像データ61を基に、輪郭画像データ86を推定し出力する。輪郭画像データ86は、輪郭画像データ26に相当する画像データである。輪郭画像データ86は、例えば、心筋16の輪郭16a及び輪郭16bを示す情報の一例である。短軸断面画像データ60及び短軸断面画像データ61は、例えば、第3の画像データの一例である。
As shown in FIG. 35, the estimation function 235e inputs the short-axis
以上、変形例3について説明した。変形例3に係る学習済みモデル85は、解析対象の部位である心筋の輪郭が精度良く描出された輪郭画像データ86を推定し出力することができる。したがって、変形例3によれば、精度の良い解析対象の部位の輪郭を示す情報を得ることができる。
The modification 3 has been described above. The trained
なお、変形例3において、学習済みモデル生成機能235dは、短軸断面画像データ55及び短軸断面画像データ56のうち少なくとも1つの短軸断面画像データと、短軸断面画像データ25と、輪郭画像データ26とを用いて学習済みモデルを生成すればよい。この場合、推定機能235eは、短軸断面画像データ60及び短軸断面画像データ61のうち少なくとも1つの短軸断面画像データと、短軸断面画像データ31とを学習済みモデルに入力することにより、輪郭画像データを出力すればよい。この輪郭画像データは、例えば、心筋16の輪郭16a及び輪郭16bを示す情報の一例である。
In the modified example 3, the trained model generation function 235d uses the short-axis cross-sectional image data 55, the short-axis
(第2の実施形態の変形例4)
第2の実施形態の変形例3では、画像処理装置130aが、短軸断面画像データ25、短軸断面画像データ55、短軸断面画像データ56及び輪郭画像データ26を用いて、学習済みモデル85を生成する場合について説明した。しかしながら、画像処理装置130aは、短軸断面画像データ55及び短軸断面画像データ56に代えて、輪郭画像データを用いて、学習済みモデルを生成してもよい。そこで、このような変形例を第2の実施形態の変形例4として説明する。以下の変形例4の説明では、第2の実施形態と異なる点を主に説明し、第2の実施形態と同様の点については説明を省略する場合がある。また、第2の実施形態と同様の構成については、同一の符号を付し、説明を省略する場合がある。
(Modification 4 of the second embodiment)
In the third modification of the second embodiment, the image processing apparatus 130a uses the short-axis
図36は、第2の実施形態の変形例4に係る画像処理装置130aが実行する処理の一例を説明するための図である。図36には、変形例4の学習時における学習済みモデル90の生成方法の一例が示されている。
FIG. 36 is a diagram for explaining an example of processing executed by the image processing apparatus 130a according to the fourth modification of the second embodiment. FIG. 36 shows an example of a method of generating the trained
変形例4に係る学習用データセット生成機能235cは、図36に示す輪郭画像データ75及び輪郭画像データ76を生成する。輪郭画像データ75は、断面15bにおける心筋16の輪郭16a及び輪郭16bが描出された画像データである。また、輪郭画像データ76は、断面15cにおける心筋16の輪郭16a及び輪郭16bが描出された画像データである。
The learning data set generation function 235c according to the modification 4 generates the
輪郭画像データ75の生成方法の一例について説明する。例えば、学習用データセット生成機能235cは、短軸断面画像データ55を用いて、心筋16の輪郭16a及び輪郭16bを検出し、検出した輪郭16a及び輪郭16bが描出された輪郭画像データ75を生成する。例えば、学習用データセット生成機能235cは、短軸断面画像データ55を用いて、公知の技術により、心筋16の輪郭16a及び輪郭16bを検出する。
An example of a method of generating the
例えば、学習用データセット生成機能235cは、短軸断面画像データ55のピクセルに設定された輝度値の分布を利用して輪郭16bを検出する。具体例を挙げて説明すると、被検体に造影剤が投与された場合、造影剤の影響により、心臓の左心室の内腔に対応する輝度値は、左心室の心筋に対応する輝度値よりも高くなる傾向がある。そこで、学習用データセット生成機能235cは、短軸断面画像データ55における心筋16の中心を始点として、始点に対応するピクセルに設定された輝度値と同一又は略同一の輝度値を有するピクセルを探索する。なお、ここでいう心筋16の中心とは、例えば、心筋16により囲まれた領域の中心であり、内腔17の1点を指す。そして、学習用データセット生成機能235cは、このような探索の結果、内腔17の領域を得る。そして、学習用データセット生成機能235cは、内腔17の領域の端部を、心筋16の内壁の輪郭16bとして検出する。
For example, the learning data set generation function 235c detects the
また、学習用データセット生成機能235cは、短軸断面画像データ55を用いて輪郭画像データ75を生成する方法と同様の方法で、短軸断面画像データ56を用いて輪郭画像データ76を生成する。
Further, the learning data set generation function 235c generates the
なお、輪郭画像データ75及び輪郭画像データ76は、画像処理装置130aにより生成されるのではなく、ユーザにより生成されてもよい。
The
また、後述するように、運用時には、学習済みモデル90により長軸40aに沿った複数の位置で輪郭画像データ92が推定される。このため、学習済みモデル90により、既に、断面15bを示す輪郭画像データ92が推定されている場合には、学習用データセット生成機能235cは、断面15bを示す輪郭画像データ92を輪郭画像データ75として扱ってもよい。同様に、学習済みモデル90により、既に、断面15cを示す輪郭画像データ92が推定されている場合には、学習用データセット生成機能235cは、断面15cを示す輪郭画像データ92を輪郭画像データ76として扱ってもよい。
Further, as will be described later, during operation, the contour image data 92 is estimated at a plurality of positions along the long axis 40a by the trained
学習時に、学習済みモデル生成機能235dは、短軸断面画像データ25と輪郭画像データ75と輪郭画像データ76との組と、輪郭画像データ26との関係を学習することによって学習済みモデル90を生成する。
At the time of training, the trained model generation function 235d generates the trained
このように、学習済みモデル生成機能235dは、短軸断面画像データ25と輪郭画像データ75と輪郭画像データ76との組と、輪郭画像データ26とを対応付けて学習することによって学習済みモデル90を生成する。例えば、学習時には、学習用データセット生成機能235cは、短軸断面画像データ25、輪郭画像データ75、輪郭画像データ76及び輪郭画像データ26の組を複数生成する。そして、学習済みモデル生成機能235dは、生成した複数の組を用いて学習済みモデル90を生成する。
As described above, the trained model generation function 235d learns by associating the pair of the short-axis
例えば、学習済みモデル生成機能235dは、短軸断面画像データ25、輪郭画像データ75及び輪郭画像データ76を入力データとし、輪郭画像データ26を教師データとして機械エンジンに入力することによって、機械学習を行う。学習済みモデル生成機能235dは、このような機械学習の結果として学習済みモデル90を生成する。
For example, the trained model generation function 235d performs machine learning by inputting the short-axis
ここで、短軸断面画像データ25は、断面15aの特徴を示す。例えば、短軸断面画像データ25は、断面15aにおける輪郭16a及び輪郭16bの特徴を示す。また、輪郭画像データ75は、断面15bにおける輪郭16a及び輪郭16bの特徴を示す。また、輪郭画像データ76は、断面15cにおける輪郭16a及び輪郭16bの特徴を示す。したがって、変形例4では、第2の実施形態と同様に、断面15a、断面15b及び断面15cの3つの断面の解析対象の部位に関する3次元的な情報を用いて機械学習を行う。そのため、変形例4によれば、2次元的な情報を用いて機械学習を行う場合と比較して、学習精度及び学習の収束速度を向上させることができる。
Here, the short-axis
学習済みモデル90は、短軸断面画像データ25に相当する画像データ、輪郭画像データ75に相当する画像データ及び輪郭画像データ76に相当する画像データが入力されることで、輪郭画像データ26に相当する画像データを推定(生成)し、出力する。
The trained
そして、学習済みモデル生成機能235dは、生成した学習済みモデル90をメモリ132に記憶させる。
Then, the trained model generation function 235d stores the generated trained
変形例4に係る推定機能235eは、運用時に、学習済みモデル90を用いて、解析対象の部位の輪郭に関する精度が高い画像データを推定し、推定した画像データを出力する。図37を参照して、推定機能235eが実行する処理の一例について説明する。図37は、第2の実施形態の変形例4に係る推定機能235eが実行する処理の一例について説明するための図である。図37には、変形例4の運用時における輪郭画像データ91の推定方法の一例が示されている。
The estimation function 235e according to the modification 4 estimates the image data with high accuracy regarding the contour of the part to be analyzed by using the trained
画像処理装置130aは、学習時において、輪郭画像データ75を得た方法と同様の方法で、図37に示す輪郭画像データ81を得る。例えば、推定機能235eは、学習用データセット生成機能235cが短軸断面画像データ55を用いて輪郭画像データ75を生成する方法と同様の方法で、短軸断面画像データ60を用いて輪郭画像データ81を生成する。輪郭画像データ81は、輪郭画像データ75に相当する画像データである。
At the time of learning, the image processing device 130a obtains the
また、画像処理装置130aは、学習時において、輪郭画像データ76を得た方法と同様の方法で、図37に示す輪郭画像データ82を得る。例えば、推定機能235eは、学習用データセット生成機能235cが短軸断面画像データ56を用いて輪郭画像データ76を生成する方法と同様の方法で、短軸断面画像データ61を用いて輪郭画像データ82を生成する。輪郭画像データ82は、輪郭画像データ76に相当する画像データである。
Further, the image processing device 130a obtains the
輪郭画像データ81及び輪郭画像データ82は、例えば、第1の画像データ及び第4の画像データの一例である。
The
図37に示すように、推定機能235eは、短軸断面画像データ31、輪郭画像データ81及び輪郭画像データ82を学習済みモデル90に入力することで、学習済みモデル90に輪郭画像データ91を推定させて出力させる。すなわち、推定機能235eは、学習済みモデル90を用いて、短軸断面画像データ31、輪郭画像データ81及び輪郭画像データ82を基に、輪郭画像データ91を推定し出力する。輪郭画像データ91は、輪郭画像データ26に相当する画像データである。輪郭画像データ91は、例えば、心筋16の輪郭16a及び輪郭16bを示す情報の一例である。
As shown in FIG. 37, the estimation function 235e estimates the
以上、変形例4について説明した。変形例4に係る学習済みモデル90は、解析対象の部位である心筋の輪郭が精度良く描出された輪郭画像データ91を推定し出力することができる。したがって、変形例4によれば、精度の良い解析対象の部位の輪郭を示す情報を得ることができる。
The modification 4 has been described above. The trained
なお、変形例4において、学習済みモデル生成機能235dは、輪郭画像データ75及び輪郭画像データ76のうち少なくとも1つの輪郭画像データと、短軸断面画像データ25と、輪郭画像データ26とを用いて学習済みモデルを生成すればよい。この場合、推定機能235eは、輪郭画像データ81及び輪郭画像データ82のうち少なくとも1つの輪郭画像データと、短軸断面画像データ31とを学習済みモデルに入力することにより、輪郭画像データを出力すればよい。この輪郭画像データは、例えば、心筋16の輪郭16a及び輪郭16bを示す情報の一例である。
In the modified example 4, the trained model generation function 235d uses at least one of the
また、変形例4において、学習済みモデル生成機能235dは、短軸断面画像データ25を用いずに、学習済みモデルを生成してもよい。すなわち、学習済みモデル生成機能235dは、輪郭画像データ75及び輪郭画像データ76の組と、輪郭画像データ26との関係を学習することにより学習済みモデルを生成してもよい。この場合、推定機能235eは、短軸断面画像データ31を学習済みモデルに入力せずに輪郭画像データを推定する。すなわち、推定機能235eは、輪郭画像データ81及び輪郭画像データ82を学習済みモデルに入力することで、輪郭画像データを推定する。この輪郭画像データは、例えば、心筋16の輪郭16a及び輪郭16bを示す情報の一例である。
Further, in the modified example 4, the trained model generation function 235d may generate a trained model without using the short-axis
また、上述した各実施形態及び各変形例では、解析対象の部位が心筋16である場合について説明した。しかしながら、解析対象の部位は、これに限られない。図38は、解析対象の他の一例について説明するための図である。例えば、解析対象の部位は、図38に示すように、血管(例えば、大動脈又は冠動脈)等の管状構造物95であってもよい。解析対象の部位が管状構造物95である場合、長軸14aに代えて芯線が用いられる。また、心基部側の断面15bに代えて、例えば、血流方向の上流側の断面が用いられる。また、心尖部側の断面15cに代えて、例えば、血流方向の下流側の断面が用いられる。
Further, in each of the above-described embodiments and modifications, the case where the site to be analyzed is the
上記説明において用いた「プロセッサ」という文言は、例えば、CPU、GPU(Graphics Processing Unit)、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、又は、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、若しくは、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサはメモリ132に保存されたプログラムを読み出し実行することで機能を実現する。
The term "processor" used in the above description refers to, for example, a CPU, a GPU (Graphics Processing Unit), an application specific integrated circuit (ASIC), or a programmable logic device (for example, a simple programmable logic device (for example, a simple programmable logic device). It means a circuit such as a Simple Programmable Logic Device (SPLD), a Complex Programmable Logic Device (CPLD), or a Field Programmable Gate Array (FPGA). The processor realizes the function by reading and executing the program stored in the
なお、図1及び図24においては、単一のメモリ132が各処理機能に対応する各プログラムを記憶するものとして説明した。しかしながら、複数のメモリ132を分散して配置し、処理回路135,235は、個別のメモリ132から対応するプログラムを読み出す構成としても構わない。また、メモリ132にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。
In addition, in FIG. 1 and FIG. 24, it has been described that a
以上説明した少なくとも1つの実施形態又は変形例によれば、精度の良い輪郭を示す情報を得ることができる。 According to at least one embodiment or modification described above, it is possible to obtain information showing an accurate contour.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, as well as in the scope of the invention described in the claims and the equivalent scope thereof.
132 メモリ
135e,235e 推定機能
132 Memory 135e, 235e Estimate function
Claims (13)
前記学習済みモデルを使用して、前記第2の画像データを基に、前記検出対象物の輪郭を示す情報を出力する出力部と、
を備える、画像処理装置。 Information indicating the outline of the detection target by inputting the second image data of the first image data of the target position of the detection target, which is the window condition processed based on the brightness value of the detection target. A storage unit that stores the trained model that outputs
Using the trained model, an output unit that outputs information indicating the outline of the detection target based on the second image data, and an output unit.
An image processing device.
前記出力部は、前記学習済みモデルを使用して、前記第1の画像データ及び前記第2の画像データを基に、前記検出対象物の輪郭を示す情報を出力する、
請求項1に記載の画像処理装置。 The trained model further outputs information indicating the contour by inputting the first image data.
The output unit uses the trained model to output information indicating the contour of the detection target based on the first image data and the second image data.
The image processing apparatus according to claim 1.
前記出力部は、前記学習済みモデルを使用して、前記第2の画像データ及び前記第3の画像データを基に、前記検出対象物の輪郭を示す情報を出力する、
請求項1に記載の画像処理装置。 The trained model further outputs information indicating the contour of the detection target by inputting a third image data at at least one position different from the target position of the detection target.
The output unit uses the trained model to output information indicating the contour of the detection target based on the second image data and the third image data.
The image processing apparatus according to claim 1.
前記出力部は、前記学習済みモデルを使用して、前記第2の画像データ及び前記第4の画像データを基に、前記検出対象物の輪郭を示す情報を出力する、
請求項1に記載の画像処理装置。 The trained model further receives the fourth image data in which the outline of the detection target is drawn at at least one position different from the target position of the detection target, whereby the detection target is input. Outputs information showing the outline of
The output unit uses the trained model to output information indicating the contour of the detection target based on the second image data and the fourth image data.
The image processing apparatus according to claim 1.
前記出力部は、前記学習済みモデルを使用して、前記第2の画像データ及び前記第5の画像データを基に、前記検出対象物の輪郭を示す情報を出力する、
請求項1に記載の画像処理装置。 The trained model further receives information indicating the contour of the detection target by inputting fifth image data indicating the detection target at a plurality of positions including the target position of the detection target. Output and
The output unit uses the trained model to output information indicating the contour of the detection target based on the second image data and the fifth image data.
The image processing apparatus according to claim 1.
前記学習済みモデルを使用して、前記第1の画像データを基に、前記検出対象物の輪郭を示す情報を出力する出力部と、
を備える、画像処理装置。 A storage unit that stores a trained model that outputs information indicating the contour of the detection target by inputting at least one first image data indicating the detection target at a plurality of positions of the detection target. ,
Using the trained model, an output unit that outputs information indicating the outline of the detection target based on the first image data, and an output unit.
An image processing device.
前記出力部は、前記学習済みモデルを使用して、前記複数の第1の画像データを基に、前記検出対象物の輪郭を示す情報を出力する、
請求項6に記載の画像処理装置。 The trained model outputs information indicating the contour of the detection target by inputting a plurality of the first image data indicating the detection target at the plurality of positions.
The output unit uses the trained model to output information indicating the contour of the detection target based on the plurality of first image data.
The image processing apparatus according to claim 6.
前記出力部は、前記学習済みモデルを使用して、前記複数の第1の画像データを基に、前記検出対象物の輪郭を示す情報を出力する、
請求項6に記載の画像処理装置。 The trained model outputs information indicating the contour of the detection target by inputting a plurality of the first image data in which the contour of the detection target is drawn at the plurality of positions.
The output unit uses the trained model to output information indicating the contour of the detection target based on the plurality of first image data.
The image processing apparatus according to claim 6.
前記出力部は、前記学習済みモデルを使用して、前記1つの第1の画像データを基に、前記検出対象物の輪郭を示す情報を出力する、
請求項6に記載の画像処理装置。 The trained model outputs information indicating the contour of the detection target by inputting one first image data indicating the detection target at the plurality of positions.
The output unit uses the trained model to output information indicating the contour of the detection target based on the one first image data.
The image processing apparatus according to claim 6.
検出対象物の対象位置の第1の画像データの、前記検出対象物の輝度値に基づいてウィンドウ条件を加工した第2の画像データが入力されることで、前記検出対象物の輪郭を示す情報を出力する学習済みモデルが記憶された記憶部から前記学習済みモデルを取得し、
取得された前記学習済みモデルを使用して、前記第2の画像データを基に、前記検出対象物の輪郭を示す情報を出力する、
処理を実行させるためのプログラム。 On the computer
Information indicating the outline of the detection target by inputting the second image data of the first image data of the target position of the detection target, which is the window condition processed based on the brightness value of the detection target. The trained model is acquired from the storage unit in which the trained model is stored, and the trained model is acquired.
Using the acquired trained model, information indicating the outline of the detection target is output based on the second image data.
A program to execute processing.
検出対象物の複数の位置における前記検出対象物を示す少なくとも1つの第1の画像データが入力されることで、前記検出対象物の輪郭を示す情報を出力する学習済みモデルが記憶された記憶部から前記学習済みモデルを取得し、
取得された前記学習済みモデルを使用して、前記第1の画像データを基に、前記検出対象物の輪郭を示す情報を出力する、
処理を実行させるためのプログラム。 On the computer
A storage unit in which a learned model that outputs information indicating the outline of the detection target is stored by inputting at least one first image data indicating the detection target at a plurality of positions of the detection target. Obtain the trained model from
Using the acquired trained model, information indicating the outline of the detection target is output based on the first image data.
A program to execute processing.
検出対象物の対象位置の第1の画像データの、前記検出対象物の輝度値に基づいてウィンドウ条件を加工した第2の画像データが入力されることで、前記検出対象物の輪郭を示す情報を出力する学習済みモデルが記憶された記憶部から前記学習済みモデルを取得し、
取得された前記学習済みモデルを使用して、前記第2の画像データを基に、前記検出対象物の輪郭を示す情報を出力する、
処理を実行する方法。 The computer
Information indicating the outline of the detection target by inputting the second image data of the first image data of the target position of the detection target, which is the window condition processed based on the brightness value of the detection target. The trained model is acquired from the storage unit in which the trained model is stored, and the trained model is acquired.
Using the acquired trained model, information indicating the outline of the detection target is output based on the second image data.
How to perform the process.
検出対象物の複数の位置における前記検出対象物を示す少なくとも1つの第1の画像データが入力されることで、前記検出対象物の輪郭を示す情報を出力する学習済みモデルが記憶された記憶部から前記学習済みモデルを取得し、
取得された前記学習済みモデルを使用して、前記第1の画像データを基に、前記検出対象物の輪郭を示す情報を出力する、
処理を実行する方法。 The computer
A storage unit in which a learned model that outputs information indicating the outline of the detection target is stored by inputting at least one first image data indicating the detection target at a plurality of positions of the detection target. Obtain the trained model from
Using the acquired trained model, information indicating the outline of the detection target is output based on the first image data.
How to perform the process.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019236725A JP7408381B2 (en) | 2019-12-26 | 2019-12-26 | Image processing device, program and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019236725A JP7408381B2 (en) | 2019-12-26 | 2019-12-26 | Image processing device, program and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021104193A true JP2021104193A (en) | 2021-07-26 |
JP7408381B2 JP7408381B2 (en) | 2024-01-05 |
Family
ID=76919101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019236725A Active JP7408381B2 (en) | 2019-12-26 | 2019-12-26 | Image processing device, program and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7408381B2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019219387A1 (en) * | 2018-05-16 | 2019-11-21 | Koninklijke Philips N.V. | Automated tumor identification during surgery using machine-learning |
WO2019225084A1 (en) * | 2018-05-23 | 2019-11-28 | Eizo株式会社 | Information processing device, information processing method, and computer program |
-
2019
- 2019-12-26 JP JP2019236725A patent/JP7408381B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019219387A1 (en) * | 2018-05-16 | 2019-11-21 | Koninklijke Philips N.V. | Automated tumor identification during surgery using machine-learning |
WO2019225084A1 (en) * | 2018-05-23 | 2019-11-28 | Eizo株式会社 | Information processing device, information processing method, and computer program |
Also Published As
Publication number | Publication date |
---|---|
JP7408381B2 (en) | 2024-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5129480B2 (en) | System for performing three-dimensional reconstruction of tubular organ and method for operating blood vessel imaging device | |
US9367924B2 (en) | Method and system for segmentation of the liver in magnetic resonance images using multi-channel features | |
US10395380B2 (en) | Image processing apparatus, image processing method, and storage medium | |
CN109712163B (en) | Coronary artery extraction method, device, image processing workstation and readable storage medium | |
JP7187244B2 (en) | Medical image processing device, medical image processing system and medical image processing program | |
US10970875B2 (en) | Examination support device, examination support method, and examination support program | |
US7689018B2 (en) | Anomaly detection in volume data structure information | |
US9357981B2 (en) | Ultrasound diagnostic device for extracting organ contour in target ultrasound image based on manually corrected contour image in manual correction target ultrasound image, and method for same | |
CN112529919B (en) | System and method for generating bullseye chart generation of a subject's heart | |
JP2014064824A (en) | Shortest route searching device, method and program of tubular structure | |
JP5364334B2 (en) | Medical image processing device | |
US20200327979A1 (en) | Medical information processing apparatus and medical information processing method | |
US20230222668A1 (en) | Image processing apparatus, image processing method, and recording medium | |
JP7408381B2 (en) | Image processing device, program and method | |
JP2003299646A (en) | Image analyzer | |
JP2013040829A (en) | Volume data processor and method | |
CN110546684B (en) | Quantitative evaluation of time-varying data | |
US11003946B2 (en) | Examination support device, examination support method, and examination support program | |
KR20230053888A (en) | Method, device and recording medium for displaying a screen according to a plurality of menus | |
JP7433901B2 (en) | Learning device and learning method | |
US20230260119A1 (en) | Image processing apparatus, image processing method, and computer program product | |
CN111340934A (en) | Method and computer system for generating a combined tissue-vessel representation | |
JP7502125B2 (en) | Medical image processing device, medical image processing system, and medical image processing method | |
JP2023081573A (en) | Medical image processing apparatus, medical image processing method, and medical image processing program | |
US20220079539A1 (en) | Medical image display apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220825 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230710 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231023 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20231102 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7408381 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |