JP7164423B2 - 医用画像処理装置、x線ct装置及び医用画像処理方法 - Google Patents

医用画像処理装置、x線ct装置及び医用画像処理方法 Download PDF

Info

Publication number
JP7164423B2
JP7164423B2 JP2018232549A JP2018232549A JP7164423B2 JP 7164423 B2 JP7164423 B2 JP 7164423B2 JP 2018232549 A JP2018232549 A JP 2018232549A JP 2018232549 A JP2018232549 A JP 2018232549A JP 7164423 B2 JP7164423 B2 JP 7164423B2
Authority
JP
Japan
Prior art keywords
image data
spatial information
blood vessel
short
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018232549A
Other languages
English (en)
Other versions
JP2020092816A (ja
Inventor
昂彦 西岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2018232549A priority Critical patent/JP7164423B2/ja
Publication of JP2020092816A publication Critical patent/JP2020092816A/ja
Application granted granted Critical
Publication of JP7164423B2 publication Critical patent/JP7164423B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明の実施形態は、医用画像処理装置、X線CT(Computed Tomography)装置及び医用画像処理方法に関する。
従来、冠動脈等の各種の血管の腔内をスキャンし、血管の短軸断面画像を示す短軸断面画像データを生成するIVUS((IntraVascular UltraSound):血管内超音波診断)撮影装置及びOCT(Optical Coherence Tomography)装置がある。これらのIVUS撮影装置及びOCT装置は、被検体の血管の外壁及び内壁並びに血管内のプラーク及びカルシウム等の血管に関する情報が、精度良く描出された短軸断面画像データを生成することができる。しかしながら、IVUS撮影装置及びOCT装置による撮影は、ステントが被検体に挿入されるため、侵襲的な撮影である。
また、X線CT装置により心臓の冠動脈等の血管を含む3次元領域をCT撮影することにより得られた3次元CT画像データ(ボリュームデータ)が、被検体の心臓の診断に用いられることがある。この場合の心臓のCT撮影は、非侵襲的である。しかしながら、心臓のCT撮影により得られた3次元CT画像データには、冠動脈の外壁及び内壁並びに冠動脈内のプラーク及びカルシウム等の血管に関する情報が精度良く描出されないことがある。このため、医師等は、3次元CT画像データに基づく診断を行う際に、血管に関する詳細な情報を把握することが困難である。
特表2013-541392号公報 特開2008-510585号公報 特開2016-529054号公報
本発明が解決しようとする課題は、非侵襲的に得られた空間情報から、精度良く血管に関する情報が描出された空間情報を得ることができる医用画像処理装置、X線CT装置及び医用画像処理方法を提供することである。
実施形態に係る医用画像処理装置は、取得部と、第1の生成部とを備える。取得部は、被検体の外部から撮影されることにより得られた被検体の血管に関する第1の空間情報と、被検体内に挿入されて被検体の前記血管腔内を情報化するデバイスにより得られた被検体の血管に関する第2の空間情報とを取得する。第1の生成部は、第1の空間情報と第2の空間情報とを対応付けて学習することにより、第1の空間情報の入力を受けて、第2の空間情報に相当する第3の空間情報を出力する学習済みモデルを生成する。
図1は、第1の実施形態に係る医用画像処理システムの構成例を示す図である。 図2は、第1の実施形態に係る3次元CT画像データの一例を示す図である。 図3は、第1の実施形態に係る時系列の複数の短軸断面画像データの一例を説明するための図である。 図4は、第1の実施形態に係る分岐箇所を含む短軸断面画像の一例を示す図である。 図5は、第1の実施形態に係る学習用データセット生成機能が実行する処理の一例を説明するための図である。 図6は、第1の実施形態に係る学習用データセット生成機能が実行する処理の一例を説明するための図である。 図7は、第1の実施形態に係る位置合わせの一例を説明するための図である。 図8は、第1の実施形態に係る位置合わせの一例を説明するための図である。 図9は、第1の実施形態に係る学習用データセット生成機能が実行する処理の一例を説明するための図である。 図10は、第1の実施形態に係る学習時の処理及び運用時の処理の一例を説明するための図である。 図11は、第1の実施形態に係る学習済みモデルにより推定された画像データの一例を示す図である。 図12は、第1の実施形態に係る医用画像処理装置による学習時の処理の手順を示すフローチャートである。 図13は、本実施形態に係る医用画像処理装置による運用時の処理の手順を示すフローチャートである。 図14は、第2の実施形態に係る学習済みモデル生成機能が実行する処理の一例を説明するための図である。 図15は、第2の実施形態に係る学習時の処理及び運用時の処理の一例を説明するための図である。 図16は、第2の実施形態に係る学習済みモデルにより推定された画像データの一例を示す図である。 図17は、第3の実施形態に係る学習時の処理及び運用時の処理の一例を説明するための図である。 図18は、第4の実施形態に係る制御機能が実行する処理の一例を説明するための図である。 図19は、第5の実施形態に係る医用画像処理システムの構成例を示す図である。
以下、図面を参照しながら、医用画像処理装置、X線CT装置及び医用画像処理方法の実施形態について詳細に説明する。なお、本願に係る医用画像処理装置、X線CT装置及び医用画像処理方法は、以下に示す実施形態によって限定されるものではない。
(第1の実施形態)
図1は、第1の実施形態に係る医用画像処理システムの構成例を示す図である。図1に示すように、本実施形態に係る医用画像処理システム1は、X線CT装置110と、IVUS撮影装置120と、端末装置130と、医用画像処理装置140とを含む。ここで、各装置は、ネットワーク200を介して通信可能に接続されている。
X線CT装置110は、被検体を撮影してCT画像を示すCT画像データを生成する。例えば、X線CT装置110は、造影剤が投与された被検体の心臓の冠動脈を含む3次元領域を撮影することにより、冠動脈が描出された3次元CT画像データを生成する。図2は、第1の実施形態に係る3次元CT画像データの一例を示す図である。例えば、X線CT装置110は、図2に示すように、冠動脈111aが描出された3次元CT画像データ111を生成する。そして、X線CT装置110は、生成したCT画像データを端末装置130や医用画像処理装置140に送信する。例えば、X線CT装置110は、3次元CT画像データ111を端末装置130や医用画像処理装置140に送信する。
IVUS撮影装置120は、カテーテルを備える。カテーテルの先端部には超音波送受信装置(振動子)が装着されている。IVUS撮影装置120は、カテーテルとともに超音波送受信装置が被検体の血管腔内に挿入された状態で、超音波送受信装置が血管腔内を走査(スキャン)することにより得られたエコー信号に基づいて血管の短軸断面画像を示す短軸断面画像データを生成する。ここで、IVUS撮影装置120は、所定のフレームレートで短軸断面画像データを生成する。すなわち、IVUS撮影装置120は、時系列の複数の短軸断面画像データを生成する。そして、IVUS撮影装置120は、生成した短軸断面画像データを端末装置130や医用画像処理装置140に送信する。なお、短軸断面画像は、IVUS画像とも称され、短軸断面画像データは、IVUS画像データとも称される。
以下の説明では、医用画像処理装置140が、IVUS撮影装置120により生成された短軸断面画像データを用いて、各種の処理を実行する場合について説明する。しかしながら、医用画像処理装置140は、OCT装置により生成された短軸断面画像データを用いて、以下で説明する各種の処理を実行してもよい。
IVUS撮影装置120は、被検体内に挿入されて被検体の血管腔内を情報化するデバイスの一例である。また、IVUS撮影装置120により得られた短軸断面画像データは、被検体の血管に関するデータであり、第2の空間情報の一例である。
ここで、図3を参照して、IVUS撮影装置120から送信される時系列の複数の短軸断面画像データの一例について説明する。図3は、第1の実施形態に係る時系列の複数の短軸断面画像データの一例を説明するための図である。
例えば、X線診断装置(図示せず)は、造影剤が投与された被検体の冠動脈が描出された透視画像データ(アンギオ画像データ)を生成し、透視画像データが示す透視画像(アンギオ画像)をディスプレイ(図示せず)に表示させる。術者は、ディスプレイに表示された透視画像に含まれる冠動脈の位置を確認しながら、冠動脈の内部に、先端部に超音波送受信装置が装着されたステントを挿入する。
そして、超音波送受信装置は、所定の速度で冠動脈内を移動しつつ、エコー信号を出力する。なお、超音波送受信装置は、ステントが術者又はオートプルバックにより引っ張られることにより、所定の速度で移動する。そして、IVUS撮影装置120は、超音波送受信装置から出力されるエコー信号に基づいて、図3に示す時系列の複数の短軸断面画像を示す短軸断面画像データ121_1~121_N(Nは、2以上の整数)を生成する。そして、IVUS撮影装置120は、短軸断面画像データ121_1~121_Nを出力する。ここで、短軸断面画像データ121_1~121_Nのそれぞれは、冠動脈内の複数の位置のそれぞれにおいて超音波送受信装置により走査されることにより得られたデータである。すなわち、短軸断面画像データ121_1~121_Nは、IVUS撮影装置120の超音波送受信装置が複数の位置で血管腔内を情報化することにより得られる複数のデータである。
本実施形態では、時系列において、短軸断面画像データ121_1が最も古いデータであり、短軸断面画像データ121_Nが最も新しいデータである。すなわち、短軸断面画像データ121_1~121_Nは、短軸断面画像データ121_1に対応する冠動脈内の位置を始点として、この始点から、短軸断面画像データ121_Nに対応する冠動脈内の位置(終点)まで、超音波送受信装置が移動した場合のデータ群である。
ここで、短軸断面画像データ121_1~121_Nのそれぞれには、冠動脈の外壁及び内壁並びに冠動脈内のプラーク及びカルシウム等の血管に関する情報が、精度良く描出されている。例えば、図3に示す短軸断面画像データ121_1には、冠動脈の外壁122_1及び内壁122_2が精度良く描出されている。また、短軸断面画像データ121_1に対応する走査領域にプラークやカルシウムが含まれている場合には、短軸断面画像データ121_1には、図3に示すように、プラーク122_3及びカルシウム122_4が精度良く描出される。
そして、本実施形態では、IVUS撮影装置120は、短軸断面画像データ121_1~121_Nのそれぞれについて、始点から超音波送受信装置が移動した距離(移動距離)を求める。例えば、IVUS撮影装置120は、短軸断面画像データ121_1~121_Nのそれぞれについて、超音波送受信装置の上述した所定の速度と、上述した始点から超音波送受信装置が移動した時間との積により、移動距離を求める。例えば、所定の速度がVであり、短軸断面画像データ121_M(1≦M≦N)について、始点から超音波送受信装置が移動した時間がTである場合について説明する。この場合には、IVUS撮影装置120は、短軸断面画像データ121_Mについて、移動距離VTを求める。
そして、IVUS撮影装置120は、短軸断面画像データ121_1~121_Nのそれぞれに対して、短軸断面画像データ121_1~121_Nのそれぞれに対応する移動距離を付加する。
また、本実施形態では、術者は、IVUS撮影装置120のディスプレイに短軸断面画像データ121_1~121_Nのそれぞれが示す短軸断面画像のそれぞれを順々に表示させる。そして、術者は、表示された短軸断面画像が、血管が分岐している箇所(分岐箇所)を含む画像であるか否かを判定する。図4は、第1の実施形態に係る分岐箇所を含む短軸断面画像の一例を示す図である。例えば、術者は、図4に示すように、2つの血管123a,123bの短軸断面を示す短軸断面画像を、分岐箇所を含む画像として判定する。そして、術者は、IVUS撮影装置120の入力インターフェース(例えば、キーボードやマウス等)を介して、後述する位置合わせに用いられるランドマークの種類として「分岐箇所」をIVUS撮影装置120に入力する。これにより、IVUS撮影装置120は、分岐箇所を含む1つの短軸断面画像データ121_K(1≦K≦N)に対して、ランドマークの種類として「分岐箇所」を付加する。
また、術者は、入力インターフェースを介して、後述する位置合わせに用いられる分岐の方向125をIVUS撮影装置120に入力する。例えば、図4に示すように、分岐の方向125は、2つの血管123a,123bのうち、一方の血管123aの短軸断面画像における中心124aから、他方の血管123bの短軸断面画像における中心124bに向かう方向である。このような分岐の方向125を、術者が入力インターフェースを介して指定することで、分岐の方向125がIVUS撮影装置120に入力される。これにより、IVUS撮影装置120は、短軸断面画像データ121_Kに対して、分岐の方向125を付加する。
すなわち、本実施形態では、分岐箇所を含む短軸断面画像を示す短軸断面画像データ121_Kには、ランドマークの種類「分岐箇所」、及び、分岐の方向125が付加される。
そして、IVUS撮影装置120は、移動距離が付加された短軸断面画像データ121_1~121_Nを端末装置130や医用画像処理装置140に送信する。ここで、IVUS撮影装置120は、短軸断面画像データ121_1~121_Nのうち、短軸断面画像データ121_Kについては、移動距離に加えて、ランドマークの種類「分岐箇所」、及び、分岐の方向125を付加して送信する。
なお、後述する位置合わせに用いられるランドマークの種類は、分岐箇所に限られない。例えば、ランドマークとして、カルシウムが採用されてもよい。この場合には、術者は、入力インターフェースを介して、ランドマークの種類として「カルシウム」をIVUS撮影装置120に入力する。これにより、IVUS撮影装置120は、カルシウムを含む1つの短軸断面画像データ121_K(1≦K≦N)に対して、ランドマークの種類として「カルシウム」を付加する。
また、ランドマークとして、血管が三日月状に凹んでいる箇所等の血管の内壁の構造が変化している箇所が採用されてもよい。この場合は、術者は、入力インターフェースを介して、ランドマークの種類として「内壁の構造変化」をIVUS撮影装置120に入力する。これにより、IVUS撮影装置120は、内壁の構造が変化している箇所を含む1つの短軸断面画像データ121_K(1≦K≦N)に対して、ランドマークの種類として「内壁の構造変化」を付加する。
端末装置130は、病院内に勤務する医師や検査技師に医用画像を閲覧させるための装置である。例えば、端末装置130は、病院内に勤務する医師や検査技師により操作されるパーソナルコンピュータ(PC:Personal Computer)やタブレット式PC、PDA(Personal Digital Assistant)、携帯電話等によって実現される。例えば、端末装置130は、X線CT装置110、IVUS撮影装置120又は医用画像処理装置140から受信した医用画像データが示す医用画像を自装置のディスプレイに表示させるとともに、自装置の入力インターフェースを介して医用画像に対する各種操作を受け付ける。
医用画像処理装置140は、X線CT装置110及びIVUS撮影装置120から各種のデータを取得し、取得したデータを用いて各種の情報処理を行う。例えば、医用画像処理装置140は、サーバやワークステーション、パーソナルコンピュータ、タブレット端末等のコンピュータ機器によって実現される。
図1に示すように、医用画像処理装置140は、通信インターフェース141と、記憶回路142と、入力インターフェース143と、ディスプレイ144と、処理回路145とを有する。
通信インターフェース141は、処理回路145に接続されており、医用画像処理装置140と各装置との間で行われる通信を制御する。具体的には、通信インターフェース141は、各装置から各種のデータや情報を受信し、受信したデータや情報を処理回路145に出力する。例えば、通信インターフェース141は、ネットワークカードやネットワークアダプタ、NIC(Network Interface Controller)等によって実現される。
記憶回路142は、処理回路145に接続されており、各種のデータや情報を記憶する。例えば、記憶回路142は、X線CT装置110から送信された3次元CT画像データ111、及びIVUS撮影装置120から送信された複数の短軸断面画像データ121_1~121_N等を記憶する。また、記憶回路142は、処理回路145が読み出して実行することで各種機能を実現するための種々のプログラムを記憶する。例えば、記憶回路142は、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。なお、記憶回路142は、記憶部の一例である。
入力インターフェース143は、処理回路145に接続されており、操作者から各種の指示及び情報の入力操作を受け付ける。具体的には、入力インターフェース143は、操作者から受け付けた入力操作を電気信号へ変換して処理回路145に出力する。例えば、入力インターフェース143は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。なお、本明細書において、入力インターフェース143は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路145へ出力する電気信号の処理回路も入力インターフェース143の例に含まれる。
ディスプレイ144は、処理回路145に接続されており、各種の情報及び画像を表示する。具体的には、ディスプレイ144は、処理回路145から送られる情報及び画像のデータを表示用の電気信号に変換して出力する。例えば、ディスプレイ144は、液晶モニタやCRT(Cathode Ray Tube)モニタ、タッチパネル等によって実現される。
処理回路145は、入力インターフェース143を介して操作者から受け付けた入力操作に応じて、医用画像処理装置140の動作を制御する。例えば、処理回路145は、プロセッサによって実現される。
以上、本実施形態に係る医用画像処理システム1の構成について説明した。例えば、本実施形態に係る医用画像処理システム1に含まれる医用画像処理装置140は、病院や医院等の医療機関に設置され、医療機関に入院又は通院する患者等を被検体として、X線CT装置110によって生成されるCT画像データを用いた各種の画像診断に利用される。本実施形形態に係る医用画像処理装置140は、非侵襲的に得られたCT画像データから、精度良く血管に関する情報が描出された短軸断面画像データに相当する画像データを推測することができるように、以下に説明する各種の処理を実行する。
以下、本実施形態に係る医用画像処理装置140の詳細について説明する。図1に示すように、医用画像処理装置140の処理回路145は、制御機能145a、取得機能145b、学習用データセット生成機能145c、学習済みモデル生成機能145d、推定機能145e及び出力機能145fを実行する。制御機能145aは、制御部の一例である。取得機能145bは、取得部の一例である。学習用データセット生成機能145cは、第2の生成部の一例である。学習済みモデル生成機能145dは、第1の生成部の一例である。推定機能145eは、出力部の一例である。
制御機能145aは、入力インターフェース143を介して入力された各種要求に応じた処理を実行するように医用画像処理装置140の各インターフェース141,143、記憶回路142、ディスプレイ144、各機能145b~145fを制御する。例えば、制御機能145aは、通信インターフェース141を介した各種データ及び各種情報の送受信、記憶回路142へのデータ及び情報の格納、ディスプレイ144に対する各種画像の表示等を制御する。
例えば、制御機能145aは、X線CT装置110から送信された3次元CT画像データ111を記憶回路142に格納する。また、制御機能145aは、IVUS撮影装置120から送信された短軸断面画像データ121_1~121_Nを記憶回路142に格納する。
取得機能145bは、各種のデータを取得する。例えば、取得機能145bは、記憶回路142に記憶された3次元CT画像データ111を取得する。また、取得機能145bは、記憶回路142に記憶された短軸断面画像データ121_1~121_Nを取得する。ここで、本実施形態では、3次元CT画像データ111描出されている冠動脈と、短軸断面画像データ121_1~121_Nに描出されている冠動脈とは、同一の被検体の冠動脈である。
学習用データセット生成機能145cは、後述する学習済みモデルを生成する際に用いられる学習用データのセットを生成する。例えば、学習用データセット生成機能145cは、取得機能145bにより取得された3次元CT画像データ111と短軸断面画像データ121_1~121_Nとの位置合わせを行った上で、学習用データのセットを生成する。
学習用データセット生成機能145cにより実行される処理について、具体例を挙げて説明する。例えば、学習用データセット生成機能145cは、まず、短軸断面画像データ121_1~121_Nの中から、分岐箇所を含む短軸断面画像を示す短軸断面画像データ121_Kを特定する。このような短軸断面画像データを特定する方法としては、例えば、短軸断面画像データ121_1~121_Nの中から、ランドマークの種類「分岐箇所」が付加された短軸画像データを特定する方法が挙げられる。
図5は、第1の実施形態に係る学習用データセット生成機能が実行する処理の一例を説明するための図である。学習用データセット生成機能145cは、図5に示すように、短軸断面画像データ121_Kにおける2つの血管123a,123bの中心を、IVUS撮影装置120の画像座標系(3次元座標系)における原点O(0,0,0)とする。以下の説明では、IVUS撮影装置120の画像座標系をIVUS座標系と称する。
また、学習用データセット生成機能145cは、短軸断面画像データ121_1~121_Nから得られる、IVUS座標系における冠動脈の3次元形状を推定する。例えば、学習用データセット生成機能145cは、短軸断面画像データ121_1~121_Nのそれぞれに描出された外壁122_1を繋げることにより、IVUS座標系における冠動脈の外壁の3次元形状を推定する。また、学習用データセット生成機能145cは、短軸断面画像データ121_1~121_Nのそれぞれに描出された内壁122_2を繋げることにより、IVUS座標系における冠動脈の内壁の3次元形状を推定する。また、学習用データセット生成機能145cは、短軸断面画像データ121_1~121_Nのそれぞれに描出されたプラーク122_3を繋げることにより、IVUS座標系における冠動脈内のプラークの3次元形状を推定する。また、学習用データセット生成機能145cは、短軸断面画像データ121_1~121_Nのそれぞれに描出されたカルシウム122_4を繋げることにより、IVUS座標系における冠動脈内のカルシウムの3次元形状を推定する。
そして、学習用データセット生成機能145cは、原点Oを基準としたIVUS座標系において、短軸断面画像データ121_1~121_Nのそれぞれについて、短軸断面画像データに描出された冠動脈の断面の中心位置を算出する。例えば、学習用データセット生成機能145cは、短軸断面画像データ121_1~121_Nのそれぞれについて、短軸断面画像データに付加された移動距離に基づいて、3次元形状の冠動脈内の位置を算出する。
例えば、図5に示すように、学習用データセット生成機能145cは、短軸断面画像データ121_1については、冠動脈の断面の中心位置(x1,y1,z1)を算出する。また、学習用データセット生成機能145cは、短軸断面画像データ121_Nについては、冠動脈の断面の中心位置(xN,yN,zN)を算出する。なお、短軸断面画像データ121_Kについては、冠動脈の断面の中心位置は、原点O(0,0,0)である。このようにして、学習用データセット生成機能145cは、短軸断面画像データ121_1~121_Nのそれぞれについて、IVUS座標系における冠動脈の断面の中心位置を算出する。以下の説明では、短軸断面画像データ121_1~121_Nのそれぞれについて算出された冠動脈の断面の中心位置を、中心位置(x1,y1,z1)~(xN,yN,zN)のそれぞれとする。
そして、学習用データセット生成機能145cは、3次元CT画像データ111に含まれる冠動脈111a及び冠動脈111aの芯線を抽出する。
そして、術者は、ランドマークとして冠動脈111aの分岐箇所を特定する。本実施形態における冠動脈111aの分岐箇所を特定する方法の一例について説明する。例えば、学習用データセット生成機能145cは、冠動脈111aの芯線上の複数の位置のそれぞれにおいて、芯線と交差する断面を示すMPR(multi planar reconstruction)画像データを生成する。このようにして、学習用データセット生成機能145cは、冠動脈111aの短軸断面を示すMPR画像データを芯線上の複数の位置において生成する。そして、制御機能145aは、ディスプレイ144に、複数のMPR画像データが示す複数の短軸断面画像(MPR画像)を表示させる。このような短軸断面画像を術者が確認することにより、術者は、冠動脈111aの分岐箇所及び分岐の方向を特定する。
詳細な処理の説明を行うと、学習用データセット生成機能145cにより生成されたMPR画像データは、制御機能145aにより、一旦、記憶回路142に格納される。そして、取得機能145bは、記憶回路142に記憶されたMPR画像データを取得する。そして、制御機能145aは、取得機能145bにより取得されたMPR画像データが示す短軸断面画像(MPR画像)をディスプレイ144に表示させる。このようなMPR画像データは、被検体の外部から撮影されることにより得られた被検体の血管に関するデータであり、第1の空間情報の一例である。
そして、術者は、入力インターフェース143を介して、3次元CT画像データ111における分岐箇所の位置と、ランドマークの種類「分岐箇所」と、分岐の方向とを処理回路145に入力する。なお、3次元CT画像データ111における分岐箇所の位置、及び、分岐の方向は、X線CT装置110の画像座標系(3次元座標系)における位置である。以下の説明では、X線CT装置110の画像座標系をCT座標系と称する。これにより、学習用データセット生成機能145cは、3次元CT画像データ111における分岐箇所の位置と、分岐の方向と、ランドマークの種類「分岐箇所」とを対応付けた対応情報を生成し、生成した対応情報を記憶回路142に格納する。
図6は、第1の実施形態に係る学習用データセット生成機能が実行する処理の一例を説明するための図である。学習用データセット生成機能145cは、記憶回路142から対応情報を読み出し、対応情報が示す3次元CT画像データ111における分岐箇所の位置を、図6に示すように、CT座標系における原点O(0,0,0)に設定する。
そして、学習用データセット生成機能145cは、短軸断面画像データ121_1~121_Nと3次元CT画像データ111との位置合わせを行う。例えば、学習用データセット生成機能145cは、IVUS座標系における原点OとCT座標系における原点Oとが一致し、かつ、分岐の方向125と対応情報が示す分岐の方向とが一致するように、3次元CT画像データ111及び短軸断面画像データ121_1~121_Nの少なくとも一方を、回転及び変形させることにより、位置合わせを行う。
すなわち、学習用データセット生成機能145cは、3次元CT画像データ111における血管の分岐箇所(第1のランドマーク)の位置と、複数の短軸断面画像データ121_1~121_Nのうちのいずれかの短軸断面画像データにおける第1のランドマークに対応する血管の分岐箇所(第2のランドマーク)の位置とが一致し、かつ、第1のランドマークの向きと第2のランドマークの向きとが一致するように、位置合わせを行う。
なお、仮に、例えば、学習用データセット生成機能145cが、第1のランドマークの位置と第2のランドマークの位置とを一致させずに、単純に、第1のランドマークの向きと第2のランドマークの向きとが一致するように位置合わせを行う場合について説明する。この場合には、学習用データセット生成機能145cは、2つの画像(3次元CT画像データ111が示す3次元CT画像及び短軸断面画像データ121_1~121_Nが示す短軸断面画像)の方向を合わせることができる。しかしながら、この場合、学習用データセット生成機能145cは、2つの画像の縮尺を合わせることができない。また、この場合において、更に、2つの画像のうちの一方の画像に対して他方の画像が奥側又は手前側の方向に回転している場合について説明する。この場合には、学習用データセット生成機能145cは、見かけ上の第1のランドマークの向きと第2のランドマークの向きとを一致させても、3次元的に、2つの画像の向きが合わない。
一方、第1の実施形態に係る学習用データセット生成機能145cは、上述したように、第1のランドマークの位置と、第2のランドマークの位置とが一致し、かつ、第1のランドマークの向きと第2のランドマークの向きとが一致するように、位置合わせを行う。このため、第1の実施形態に係る医用画像処理装置140によれば、3次元的に、精度良く2つの画像の位置合わせを行うことができる。
位置合わせが行われることで、3次元CT画像データ111及び短軸断面画像データ121_1~121_Nの座標系が、共通の3次元座標系となる。例えば、位置合わせにおいて、3次元CT画像データ111及び短軸断面画像データ121_1~121_Nのうち、短軸断面画像データ121_1~121_Nが回転及び変形した場合について説明する。この場合には、位置合わせによって、IVUS座標系における冠動脈の断面の中心位置(x1,y1,z1)~(xN,yN,zN)は、CT座標系における冠動脈の断面の中心位置(x1´,y1´,z1´)~(xN´,yN´,zN´)に変更される。図7は、第1の実施形態に係る位置合わせの一例を説明するための図である。短軸断面画像データ121_1~121_Nが回転及び変形した場合には、位置合わせにおいて、図7に示すように、短軸断面画像データ121_Kは、分岐の方向125と対応情報が示す分岐の方向とが一致するように回転される。
図8は、第1の実施形態に係る位置合わせの一例を説明するための図である。そして、学習用データセット生成機能145cは、位置合わせを行った上で、図8に示すように、3次元CT画像データ111及び短軸断面画像データ121_1~121_Nとの対応付け(マッチング)を行う。
例えば、位置合わせにおいて、3次元CT画像データ111及び短軸断面画像データ121_1~121_Nのうち、短軸断面画像データ121_1~121_Nが回転及び変形した場合について説明する。この場合には、学習用データセット生成機能145cは、CT座標系において、冠動脈の断面の中心位置が(x1´,y1´,z1´)となるように、3次元CT画像データ111上に短軸断面画像データ121_1を対応付ける。同様に、学習用データセット生成機能145cは、CT座標系において、冠動脈の断面の中心位置が(x2´,y2´,z2´)~(xN´,yN´,zN´)のそれぞれとなるように、3次元CT画像データ111上に短軸断面画像データ121_2~121_Nのそれぞれを対応付ける。
このような対応付けを行った上で、学習用データセット生成機能145cは、3次元CT画像データ111から、短軸断面画像データ121_1~121_Nのそれぞれが示す断面のMPR画像データを生成する。ここで、短軸断面画像データ121_L(1≦L≦N)が示す断面のMPR画像データを、MPR画像データ112_Lと表記する。すなわち、学習用データセット生成機能145cは、図9に示すように、短軸断面画像データ121_1に対応する3次元CT画像データ111のMPR画像データ112_1を生成する。図9に示すように、MPR画像データ112_1には、冠動脈の外壁113_1及び内壁113_2、並びに、冠動脈内のプラーク113_3及びカルシウム113_4等の血管に関する情報が描出されている。しかしながら、MPR画像データ112_1に描出されている血管に関する情報の精度は、短軸断面画像データ121_1に描出されている血管に関する情報の精度よりも低い。
同様に、学習用データセット生成機能145cは、短軸断面画像データ121_2~121_Nのそれぞれに対応するMPR画像データ112_2~112_Nのそれぞれを生成する。このようにして、学習用データセット生成機能145cは、学習用データのセットとして、短軸断面画像データ121_LとMPR画像データ112_Lの組をN個分生成する。なお、図9は、第1の実施形態に係る学習用データセット生成機能が実行する処理の一例を説明するための図である。
上述したように、学習用データセット生成機能145cは、複数の短軸断面画像データ121_1~121_Nと、MPR画像データ112_1~112_Nの元となる3次元CT画像データ111との位置合わせを行う。そして、学習用データセット生成機能145cは、位置合わせが行われた3次元CT画像データ111から複数のMPR画像データ112_1~112_Nを生成する。複数のMPR画像データ112_1~112_Nのそれぞれは、複数の短軸断面画像データ121_1~121_Nのそれぞれに対応する。3次元CT画像データ111は、3次元の空間情報である。3次元CT画像データ111は、第4の空間情報の一例である。
図1の説明に戻り、学習済みモデル生成機能145dは、学習済みモデルを生成する学習時の処理を実行する。また、推定機能145eは、学習済みモデルを利用して、3次元CT画像データから得られる冠動脈の短軸断面を示すMPR画像データから、IVUS撮影装置120により生成された短軸断面画像データに相当する画像データを推定し、推定した画像データを出力する運用時の処理を実行する。
図10は、第1の実施形態に係る学習時の処理及び運用時の処理の一例を説明するための図である。図10に示すように、学習時には、学習済みモデル生成機能145dは、MPR画像データ112_Lと短軸断面画像データ121_Lとの関係を学習することによって、学習済みモデルを生成する。この学習済みモデルは、3次元CT画像データに対してMPR処理を施すことにより得られる血管の短軸断面を示すMPR画像データ114に基づいて、IVUS撮影装置120により生成された短軸断面画像データに相当する画像データ127を推定し、推定した画像データ127を出力する。
すなわち、学習済みモデル生成機能145dは、MPR画像データ112_Lと短軸断面画像データ121_Lとを対応付けて学習することにより、学習済みモデルを生成する。学習済みモデルは、MPR画像データ114の入力を受けて、短軸断面画像データに相当する画像データ127を出力する。画像データ127は、第3の空間情報の一例である。
例えば、学習済みモデル生成機能145dは、短軸断面画像データ121_LとMPR画像データ112_Lの組を学習用データ(教師データ)として機械学習エンジンに入力することによって、機械学習を行う。
ここで、機械学習エンジンは、例えば、入力された短軸断面画像データ121_L及びMPR画像データ112_Lに基づいて、記憶回路142のデータベースを参照し、画像相関や画像特徴量の比較を行うことで、臨床に最適な短軸断面画像データに相当する画像データを決定する。例えば、機械学習エンジンは、ディープラーニング(Deep Learning)や、ニューラルネットワーク(Neural Network)、ロジスティック(Logistic)回帰分析、非線形判別分析、サポートベクターマシン(Support Vector Machine:SVM)、ランダムフォレスト(Random Forest)、ナイーブベイズ(Naive Bayes)等の各種のアルゴリズムを用いて、臨床に最適な短軸断面画像データに相当する画像データを決定する。
このような機械学習の結果として、学習済みモデル生成機能145dは、MPR画像データ114の入力に対して、血管に関する情報が精度良く描出された短軸断面画像データに相当する画像データ127を出力する学習済みモデルを生成する。そして、学習済みモデル生成機能145dは、生成した学習済みモデルを記憶回路142に記憶させる。なお、このとき、学習済みモデル生成機能145dは、以前に作成した学習済みモデルが既に記憶回路142に記憶されていた場合には、新しく作成した学習済みモデルで、記憶されている学習済みモデルを置き換える。
次に、運用時の処理の一例について説明する。例えば、運用時において、X線CT装置110は、造影剤が投与された被検体の心臓の冠動脈を含む3次元領域を撮影することにより、冠動脈が描出された3次元CT画像データを生成する。そして、X線CT装置110は、3次元CT画像データを端末装置130及び医用画像処理装置140に送信する。
そして、制御機能145aは、X線CT装置110から送信された3次元CT画像データを記憶回路142に格納する。そして、取得機能145bは、記憶回路142に記憶された3次元CT画像データを取得する。
そして、推定機能145eは、取得機能145bにより取得された3次元CT画像データに含まれる冠動脈及び冠動脈の芯線を抽出する。そして、推定機能145eは、芯線上の複数の位置のそれぞれにおいて、3次元CT画像データから、芯線と交差する断面を示すMPR画像データ114を生成する。このようにして、推定機能145eは、冠動脈の短軸断面を示すMPR画像データ114を芯線上の複数の位置において生成する。そして、推定機能145eは、図10に示すように、複数のMPR画像データ114のそれぞれを、記憶回路142に記憶されている学習済みモデルに入力することで、IVUS撮影装置120により生成された短軸断面画像データに相当する画像データ127を、入力されたMPR画像データ114毎に推定し、出力する。
詳細な処理の説明を行うと、推定機能145eにより生成されたMPR画像データ114は、制御機能145aにより、一旦、記憶回路142に格納される。そして、取得機能145bは、記憶回路142に記憶されたMPR画像データ114を取得する。MPR画像データ114は、被検体の外部から撮影されることにより得られた被検体の血管に関するデータであり、第1の空間情報の一例である。そして、推定機能145eは、MPR画像データ114を学習済みモデルに入力することで、IVUS撮影装置120により生成された短軸断面画像データに相当する画像データ127を推定する。
本実施形態では、上述したように、芯線上の複数の位置に対応する複数の画像データ127が推定される。すなわち、推定機能145eは、学習済みモデルに対して、位置が異なる複数のMPR画像データ114のそれぞれを入力することで、位置が異なる複数の短軸断面画像データのそれぞれに相当する複数の画像データのそれぞれを出力する。
図11は、第1の実施形態に係る学習済みモデルにより推定された画像データの一例を示す図である。図11には、学習済みモデルにより推定された画像データ127_1が示されている。画像データ127_1は、IVUS撮影装置120により生成された短軸断面画像データに相当する画像データである。このため、図11に示すように、画像データ127_1には、冠動脈の外壁128_1及び内壁128_2が精度良く描出されている。また、画像データ127_1には、プラーク128_3及びカルシウム128_4も精度良く描出されている。
したがって、本実施形態に係る医用画像処理装置140によれば、非侵襲的に得られたCT画像データから、精度良く血管に関する情報が描出された短軸断面画像データに相当する画像データを得ることができる。
図1の説明に戻り、出力機能145fは、各種の情報を出力するように制御する。例えば、出力機能145fは、学習済みモデルにより推定された画像データ127が示す画像をディスプレイ144に表示させる。
以上、医用画像処理装置140の処理回路145が有する各処理機能について説明した。ここで、前述したように、処理回路145がプロセッサによって実現される場合には、処理回路145が有する各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路142に記憶されている。そして、処理回路145は、記憶回路142から各プログラムを読み出して実行することで、各プログラムに対応する機能を実現する。換言すると、各プログラムを読み出した状態の処理回路145は、図1の処理回路145に示された各機能を有することとなる。なお、図1では、単一のプロセッサによって各処理機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路145が有する処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、図1に示す例では、単一の記憶回路142が各処理機能に対応するプログラムを記憶するものとして説明したが、複数の記憶回路を分散して配置して、処理回路が個別の記憶回路から対応するプログラムを読み出す構成としても構わない。
次に、医用画像処理装置140による処理の手順を説明する。図12は、第1の実施形態に係る医用画像処理装置による学習時の処理の手順を示すフローチャートである。例えば、学習時の処理は、入力インターフェース143を介して、操作者が学習済みモデルを生成するための指示を処理回路145に入力した場合に実行される。
ここで、図12におけるステップS101,S102は、処理回路145が記憶回路142から取得機能145bに対応するプログラムを呼び出して実行することにより、実現されるステップである。また、図12におけるステップS103は、処理回路145が記憶回路142から学習用データセット生成機能145cに対応するプログラムを呼び出して実行することにより、実現されるステップである。また、図12におけるステップS104,S105は、処理回路145が記憶回路142から学習済みモデル生成機能145dに対応するプログラムを呼び出して実行することにより、実現されるステップである。
図12に示すように、取得機能145bは、記憶回路142に記憶された3次元CT画像データ111を取得する(ステップS101)。また、取得機能145bは、記憶回路142に記憶された短軸断面画像データ121_1~121_Nを取得する(ステップS102)。
学習用データセット生成機能145cは、3次元CT画像データ111と短軸断面画像データ121_1~121_Nとの位置合わせを行った上で、学習用データのセットとして短軸断面画像データ121_LとMPR画像データ112_Lの組をN個生成する(ステップS103)。
その後、学習済みモデル生成機能145dは、MPR画像データ112_Lと短軸断面画像データ121_Lとの関係を学習することによって、学習済みモデルを生成する(ステップS104)。そして、学習済みモデル生成機能145dは、生成した学習済みモデルを記憶回路142に格納し(ステップS105)、学習時の処理を終了する。
図13は、本実施形態に係る医用画像処理装置による運用時の処理の手順を示すフローチャートである。例えば、運用時の処理は、入力インターフェース143を介して、操作者が、3次元CT画像データに基づいて、精度良く血管に関する情報が描出された短軸断面画像データに相当する画像データを推定させる指示を処理回路145に入力した場合に実行される。
ここで、図13におけるステップS201,S202は、処理回路145が記憶回路142から推定機能145eに対応するプログラムを呼び出して実行することにより、実現されるステップである。また、図13におけるステップS203は、処理回路145が記憶回路142から出力機能145fに対応するプログラムを呼び出して実行することにより、実現されるステップである。
図13に示すように、推定機能145eは、冠動脈の短軸断面を示すMPR画像データ114を芯線上の複数の位置において生成する(ステップS201)。そして、推定機能145eは、複数のMPR画像データ114のそれぞれを、学習済みモデルに入力することで、IVUS撮影装置120により生成された短軸断面画像データに相当する画像データ127を、入力されたMPR画像データ毎に推定する(ステップS202)。
そして、出力機能145fは、画像データ127が示す画像をディスプレイ144に表示させ(ステップS203)、運用時の処理を終了する。
上述したように、第1の実施形態に係る医用画像処理装置140によれば、非侵襲的に得られたCT画像データから、精度良く血管に関する情報が描出された短軸断面画像データに相当する画像データを得ることができる。
(第2の実施形態)
上述した第1の実施形態では、学習済みモデル生成機能145dが、MPR画像データ112_Lと短軸断面画像データ121_Lとの組を学習用データとして機械学習エンジンに入力することによって、機械学習を行う場合について説明した。しかしながら、学習済みモデル生成機能145dは、MPR画像データ112_Lと、短軸断面画像データ121_Lから得られる血管の輪郭を示す輪郭画像データとの組を学習用データとして機械学習エンジンに入力することによって、機械学習を行ってもよい。そこで、このような実施形態を第2の実施形態として説明する。以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。
図14は、第2の実施形態に係る学習済みモデル生成機能が実行する処理の一例を説明するための図である。
例えば、まず、学習済みモデル生成機能145dは、短軸断面画像データ121_Lに対して、外壁122_1の輪郭、内壁122_2の輪郭、プラーク122_3の輪郭、及び、カルシウム122_4の輪郭を抽出するための画像処理を施す。そして、学習済みモデル生成機能145dは、画像処理の結果得られた外壁122_1の輪郭、内壁122_2の輪郭、プラーク122_3の輪郭、及び、カルシウム122_4の輪郭を用いて、輪郭画像データ221_Lを生成する。輪郭画像データ221_Lは、外壁122_1の輪郭、内壁122_2の輪郭、プラーク122_3の輪郭、及び、カルシウム122_4の輪郭を示す画像データである。例えば、図14に示すように、学習済みモデル生成機能145dは、外壁の輪郭222_1、内壁の輪郭222_2、プラークの輪郭222_3、及び、カルシウムの輪郭222_4を示す輪郭画像データ221_1を生成する。
輪郭画像データ221_Lは、精度よく血管に関する情報が描出されたデータである。輪郭画像データ221_Lは、血管の短軸断面を示す短軸断面画像データ121_Lに基づいて得られた血管の輪郭を示すデータである。輪郭画像データ221_Lは、第2の空間情報の一例である。
詳細な処理の説明を行うと、学習済みモデル生成機能145dにより生成された輪郭画像データ221_Lは、制御機能145aにより、一旦、記憶回路142に格納される。そして、取得機能145bは、記憶回路142に記憶された輪郭画像データ221_Lを取得する。取得機能145bにより取得された輪郭画像データ221_Lは、学習済みモデル生成機能145dにより学習済みモデルが生成される際に用いられる。
図15は、第2の実施形態に係る学習時の処理及び運用時の処理の一例を説明するための図である。図15に示すように、学習時には、学習済みモデル生成機能145dは、MPR画像データ112_Lと輪郭画像データ221_Lとの関係を学習することによって、学習済みモデルを生成する。この学習済みモデルは、3次元CT画像データに対してMPR処理を施すことにより得られる血管の短軸断面を示すMPR画像データ114に基づいて、輪郭画像データに相当する画像データ223を推定し、推定した画像データ223を出力する。
すなわち、学習済みモデル生成機能145dは、MPR画像データ112_Lと輪郭画像データ221_Lとを対応付けて学習することにより、学習済みモデルを生成する。学習済みモデルは、MPR画像データ114の入力を受けて、精度よく血管に関する情報が描出された輪郭画像データに相当する画像データ223を出力する。画像データ223は、第3の空間情報の一例である。
例えば、学習済みモデル生成機能145dは、短軸断面画像データ121_Lと輪郭画像データ221_Lの組を学習用データ(教師データ)として機械学習エンジンに入力することによって、機械学習を行う。
このような機械学習の結果として、学習済みモデル生成機能145dは、MPR画像データ114の入力に対して、血管に関する情報が精度良く描出された輪郭画像データに相当する画像データ223を出力する学習済みモデルを生成する。そして、学習済みモデル生成機能145dは、生成した学習済みモデルを記憶回路142に記憶させる。
次に、運用時の処理の一例について説明する。例えば、運用時において、X線CT装置110は、造影剤が投与された被検体の心臓の冠動脈を含む3次元領域を撮影することにより、冠動脈が描出された3次元CT画像データを生成する。そして、X線CT装置110は、3次元CT画像データを端末装置130及び医用画像処理装置140に送信する。
そして、制御機能145aは、X線CT装置110から送信された3次元CT画像データを記憶回路142に格納する。そして、取得機能145bは、記憶回路142に記憶された3次元CT画像データを取得する。
そして、推定機能145eは、上述した第1の実施形態と同様の方法で、芯線上の複数の位置のそれぞれにおいて、3次元CT画像データから、芯線と交差する断面を示すMPR画像データ114を生成する。そして、推定機能145eは、図15に示すように、複数のMPR画像データ114のそれぞれを、学習済みモデルに入力することで、輪郭画像データに相当する画像データ223を、入力されたMPR画像データ114毎に推定し、出力する。
本実施形態では、上述したように、芯線上の複数の位置に対応する複数の画像データ223が推定される。すなわち、推定機能145eは、学習済みモデルに対して、位置が異なる複数のMPR画像データ114のそれぞれを入力することで、位置が異なる複数の輪郭画像データのそれぞれに相当する複数の画像データ223のそれぞれを出力する。
図16は、第2の実施形態に係る学習済みモデルにより推定された画像データの一例を示す図である。図16には、学習済みモデルにより推定された画像データ223_1が示されている。画像データ223_1は、IVUS撮影装置120により生成された短軸断面画像データから得られた輪郭画像データに相当する画像データである。このため、図16に示すように、画像データ223_1には、冠動脈の外壁の輪郭224_1及び内壁の輪郭224_2が精度良く描出されている。また、画像データ223_1には、プラークの輪郭224_3及びカルシウムの輪郭224_4も精度良く描出されている。
以上、第2の実施形態に係る医用画像処理装置140について説明した。第2の実施形態に係る医用画像処理装置140によれば、非侵襲的に得られたCT画像データから、精度良く血管に関する情報が描出された輪郭画像データに相当する画像データを得ることができる。
(第3の実施形態)
上述した第2の実施形態では、学習済みモデル生成機能145dが、MPR画像データ112_Lと輪郭画像データ221_Lとの組を学習用データとして機械学習エンジンに入力することによって、機械学習を行う場合について説明した。しかしながら、学習済みモデル生成機能145dは、MPR画像データ112_Lと、短軸断面画像データ121_Lから得られる血管の径の値との組を学習用データとして機械学習エンジンに入力することによって、機械学習を行ってもよい。そこで、このような実施形態を第3の実施形態として説明する。以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。
図17は、第3の実施形態に係る学習時の処理及び運用時の処理の一例を説明するための図である。
例えば、第3の実施形態では、学習済みモデル生成機能145dは、短軸断面画像データ121_Lに対して、血管の外壁122_1の径の値(外径)を計測するための画像処理を施す。そして、学習済みモデル生成機能145dは、画像処理の結果得られた外径240_Lを用いて、学習済みモデルを生成する。
外径240_Lは、血管の径の値を示す情報である。外径240_Lは、血管の短軸断面を示す短軸断面画像データ121_Lに基づいて得られた血管に関する情報である。外径240_Lは、第2の空間情報の一例である。
詳細な処理の説明を行うと、学習済みモデル生成機能145dにより生成された外径240_Lは、制御機能145aにより、一旦、記憶回路142に格納される。そして、取得機能145bは、記憶回路142に記憶された外径240_Lを取得する。取得機能145bにより取得された外径240_Lは、学習済みモデル生成機能145dにより学習済みモデルが生成される際に用いられる。
図17に示すように、学習時には、学習済みモデル生成機能145dは、MPR画像データ112_Lと外径240_Lとの関係を学習することによって、学習済みモデルを生成する。この学習済みモデルは、3次元CT画像データに対してMPR処理を施すことにより得られる血管の短軸断面を示すMPR画像データ114に基づいて、血管の外径241を推定し、推定した血管の外径241を出力する。
すなわち、学習済みモデル生成機能145dは、MPR画像データ112_Lと外径240_Lとを対応付けて学習することにより、学習済みモデルを生成する。学習済みモデルは、MPR画像データ114の入力を受けて、血管に関する情報を示す血管の外径241を出力する。血管の外径241は、学習時に用いられた外径240_Lに相当する空間情報であり、第3の空間情報の一例である。
例えば、学習済みモデル生成機能145dは、短軸断面画像データ121_Lと外径240_Lの組を学習用データ(教師データ)として機械学習エンジンに入力することによって、機械学習を行う。
このような機械学習の結果として、学習済みモデル生成機能145dは、MPR画像データ114の入力に対して、外径240_Lに相当する外径241を出力する学習済みモデルを生成する。そして、学習済みモデル生成機能145dは、生成した学習済みモデルを記憶回路142に記憶させる。
次に、運用時の処理の一例について説明する。例えば、運用時において、X線CT装置110は、造影剤が投与された被検体の心臓の冠動脈を含む3次元領域を撮影することにより、冠動脈が描出された3次元CT画像データを生成する。そして、X線CT装置110は、3次元CT画像データを端末装置130及び医用画像処理装置140に送信する。
そして、制御機能145aは、X線CT装置110から送信された3次元CT画像データを記憶回路142に格納する。そして、取得機能145bは、記憶回路142に記憶された3次元CT画像データを取得する。
そして、推定機能145eは、上述した第1の実施形態と同様の方法で、芯線上の複数の位置のそれぞれにおいて、3次元CT画像データから、芯線と交差する断面を示すMPR画像データ114を生成する。そして、推定機能145eは、図17に示すように、複数のMPR画像データ114のそれぞれを、学習済みモデルに入力することで、外径240_Lに相当する外径241を、入力されたMPR画像データ114毎に推定し、出力する。
本実施形態では、上述したように、芯線上の複数の位置に対応する複数の外径241が推定される。すなわち、推定機能145eは、学習済みモデルに対して、位置が異なる複数のMPR画像データ114のそれぞれを入力することで、位置が異なる複数の外径240_Lのそれぞれに相当する複数の外径241のそれぞれを出力する。
以上、第3の実施形態に係る医用画像処理装置140について説明した。第3の実施形態に係る医用画像処理装置140によれば、非侵襲的に得られたCT画像データから、血管に関する情報を示す外径240_Lに相当する外径241を得ることができる。
(第4の実施形態)
上述した第2の実施形態において、制御機能145aが、推定された複数の画像データ223を用いて、3次元の血管の形状を推定してもよい。そして、制御機能145aが、3次元CT画像データ111に、推定した3次元の血管の形状を重畳し、3次元の血管の形状が重畳された3次元CT画像データ111に基づく画像をディスプレイ144に表示させてもよい。そこで、このような実施形態を第4の実施形態として説明する。以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。
図18は、第4の実施形態に係る制御機能が実行する処理の一例を説明するための図である。制御機能145aは、推定された複数の画像データ223から得られる、冠動脈の3次元形状を推定する。例えば、図18に示すように、制御機能145aは、複数の画像データ223のそれぞれに描出された外壁の輪郭224_1を繋げることにより、冠動脈330の外壁の3次元形状を推定する。なお、制御機能145aは、複数の画像データ223のそれぞれに描出された内壁の輪郭224_2を繋げることにより、冠動脈330の内壁の3次元形状を推定してもよい。また、制御機能145aは、複数の画像データ223のそれぞれに描出されたプラークの輪郭224_3を繋げることにより、冠動脈330内のプラークの3次元形状を推定してもよい。また、制御機能145aは、複数の画像データ223のそれぞれに描出されたカルシウムの輪郭224_4を繋げることにより、冠動脈330内のカルシウムの3次元形状を推定してもよい。なお、制御機能145aは、冠動脈330の外壁及び内壁、並びに、冠動脈330内のプラーク及びカルシウムの少なくとも1つの3次元形状を推定すればよい。
そして、制御機能145aは、形状が推定された冠動脈330を3次元CT画像データ111に重畳させる。そして、制御機能145aは、冠動脈330が重畳された3次元CT画像データ111に対してボリュームレンダリング処理を施して、ボリュームレンダリング画像データを生成する。そして、制御機能145aは、ボリュームレンダリング画像データが示すボリュームレンダリング画像をディスプレイ144に表示させる。すなわち、制御機能145aは、冠動脈330が重畳された3次元CT画像データ111に基づく画像をディスプレイに表示させる。このような画像は、例えば、3次元CT画像データ111から抽出された冠動脈111aに、画像データ223から得られる精度の良い冠動脈330が重畳された画像である。したがって、第4の実施形態によれば、互いに異なる種類の画像データから得られた冠動脈330及び冠動脈111aを重畳させて表示することができる。
以上、第4の実施形態に係る医用画像処理装置140について説明した。第4の実施形態に係る医用画像処理装置140によれば、第2の実施形態と同様に、非侵襲的に得られたCT画像データから、精度良く血管に関する情報が描出された輪郭画像データに相当する画像データを得ることができる。
(第5の実施形態)
上述した第4の実施形態では、制御機能145aが、冠動脈330の外壁及び内壁、並びに、冠動脈330内のプラーク及びカルシウムの少なくとも1つの3次元形状を推定する場合について説明した。ここで、医用画像処理装置140は、冠動脈330の内壁の3次元形状が推定された場合には、各種の解析を行ってもよい。そこで、このような実施形態を第5の実施形態として説明する。以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。
図19は、第5の実施形態に係る医用画像処理システムの構成例を示す図である。第5の実施形態に係る処理回路145は、解析機能145gを備える点が、図1に示す第1の実施形態に係る処理回路145と異なる。
処理回路145は、記憶回路142から、解析機能145gに対応するプログラムを読み出して実行することで、解析機能145gを実現する。
解析機能145gは、例えば、制御機能145aにより推定された冠動脈330の内壁の3次元形状に基づいて、流体解析を行い、冠動脈330内の各種の流体パラメータを算出してもよい。
また、解析機能145gは、制御機能145aにより推定された冠動脈330内のプラークの3次元形状に基づいて、冠動脈330内のプラークの位置を病変部位の位置として推定する。そして、解析機能145gは、推定した病変部位の位置を通る、冠動脈330の短軸断面を特定する。そして、解析機能145gは、3次元CT画像データ111から、特定した短軸断面を示すMPR画像データを生成する。そして、制御機能145aは、生成したMPR画像データが示すMPR画像をディスプレイ144に表示させる。
なお、第5の実施形態において、推定機能145eは、解析機能145gにより生成されたMPR画像データを、学習済みモデルに入力することで、輪郭画像データに相当する画像データ223を推定してもよい。そして、制御機能145aは、MPR画像とともに、推定された画像データ223が示す画像をディスプレイ144に表示させてもよい。なお、制御機能145aは、MPR画像をディスプレイ144に表示させずに、推定された画像データ223が示す画像をディスプレイ144に表示させてもよい。すなわち、制御機能145aは、MPR画像、及び、推定された画像データ223が示す画像のうち、少なくとも1つをディスプレイ144に表示させればよい。ここで、MPR画像、及び、画像データ223が示す画像は、冠動脈330の短軸断面であって、推定された病変部位の位置を通る短軸断面を示す画像である。これにより、病変部位の断面を操作者に把握させることができる。
以上、第5の実施形態に係る医用画像処理装置140について説明した。第5の実施形態に係る医用画像処理装置140によれば、第4の実施形態と同様に、非侵襲的に得られたCT画像データから、精度良く血管に関する情報が描出された輪郭画像データに相当する画像データを得ることができる。
(第6の実施形態)
ここで、第1~第5の実施形態において、医用画像処理装置140が実行した処理と同様の処理をX線CT装置110が実行してもよい。そこで、このような実施形態を第6の実施形態として説明する。なお、第6の実施形態では、IVUS撮影装置120は、短軸断面画像データ121_1~121_Nを、端末装置130及び医用画像処理装置140に加えて、X線CT装置110にも送信する。
例えば、X線CT装置110は、架台装置、記憶回路及び処理回路を少なくとも備える。架台装置は、第1~第5の実施形態において説明したMPR画像データを収集する。架台装置は、収集部の一例である。
また、X線CT装置110の記憶回路は、医用画像処理装置140の記憶回路142に対応する。また、X線CT装置110の処理回路は、医用画像処理装置140の処理回路145に対応する。
X線CT装置110の処理回路は、例えば、プロセッサにより実現される。処理回路は、制御機能、取得機能、学習用データセット生成機能、学習済みモデル生成機能、推定機能、出力機能及び解析機能を備える。これらの制御機能、取得機能、学習用データセット生成機能、学習済みモデル生成機能、推定機能、出力機能及び解析機能のそれぞれの処理機能は、制御機能145a、取得機能145b、学習用データセット生成機能145c、学習済みモデル生成機能145d、推定機能145e、出力機能145f及び解析機能145gのそれぞれに対応する。したがって、第6の実施形態に係るX線CT装置110は、第1~第5の実施形態において、医用画像処理装置140が実行した処理と同様の処理を実行することができる。よって、第6の実施形態に係るX線CT装置110は、非侵襲的に得られた空間情報から、精度良く血管に関する情報が描出された空間情報を得ることができる。
ここで、制御機能は、制御部の一例である。取得機能は、取得部の一例である。学習用データセット生成機能は、第2の生成部の一例である。学習済みモデル生成機能は、生成部及び第1の生成部の一例である。推定機能は、出力部の一例である。解析機能は、解析部の一例である。
以上、第6の実施形態に係るX線CT装置110について説明した。第6の実施形態に係るX線CT装置110によれば、上述したように、非侵襲的に得られた空間情報から、精度良く血管に関する情報が描出された空間情報を得ることができる。
なお、上述した説明で用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサは、記憶回路142に保存されたプログラムを読み出して実行することで、機能を実現する。なお、記憶回路142にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合は、プロセッサは回路内に組み込まれたプログラムを読み出して実行することで機能を実現する。また、本実施形態のプロセッサは、単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて一つのプロセッサとして構成され、その機能を実現するようにしてもよい。
ここで、プロセッサによって実行されるプログラム(医用画像処理プログラム)は、ROM(Read Only Memory)や記憶回路等に予め組み込まれて提供される。なお、このプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでCD(Compact Disk)-ROM、FD(Flexible Disk)、CD-R(Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記憶媒体に記録されて提供されてもよい。また、このプログラムは、インターネット等のネットワークに接続されたコンピュータ上に保存され、ネットワーク経由でダウンロードされることにより提供又は配布されてもよい。例えば、このプログラムは、上述した各機能部を含むモジュールで構成される。実際のハードウェアとしては、CPUが、ROM等の記憶媒体からプログラムを読み出して実行することにより、各モジュールが主記憶装置上にロードされて、主記憶装置上に生成される。
以上説明した少なくとも1つの実施形態によれば、非侵襲的に得られた空間情報から、精度良く血管に関する情報が描出された空間情報を得ることができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1 医用画像処理システム
140 医用画像処理装置
142 記憶回路
145 処理回路
145a 制御機能
145b 取得機能
145c 学習用データセット生成機能
145d 学習済みモデル生成機能
145e 推定機能
145f 出力機能
145g 解析機能

Claims (12)

  1. 被検体の外部から撮影されることにより得られた被検体の血管に関する第1の空間情報と、前記被検体内に挿入されて前記被検体の前記血管腔内を情報化するデバイスにより得られた前記被検体の前記血管に関する第2の空間情報とを取得する取得部と、
    前記第1の空間情報と前記第2の空間情報とを対応付けて学習することにより、第1の空間情報の入力を受けて、第2の空間情報に相当する第3の空間情報を出力する学習済みモデルを生成する第1の生成部と、
    を備える、医用画像処理装置。
  2. 前記取得部は、前記デバイスが複数の位置で前記血管腔内を情報化することにより得られる複数の前記第2の空間情報を取得し、
    前記医用画像処理装置は、前記複数の第2の空間情報と、前記第1の空間情報の元となる3次元の第4の空間情報との位置合わせを行い、位置合わせが行われた前記第4の空間情報から前記複数の第2の空間情報のそれぞれに対応する複数の前記第1の空間情報のそれぞれを生成する第2の生成部を備え、
    前記第1の生成部は、前記第2の生成部により生成された第1の空間情報と、当該第1の空間情報に対応する第2の空間情報とを対応付けて学習することにより、前記学習済みモデルを生成する、
    請求項1に記載の医用画像処理装置。
  3. 前記第2の生成部は、前記第4の空間情報における第1のランドマークの位置と、前記複数の第2の空間情報のうちのいずれかの第2の空間情報における前記第1のランドマークに対応する第2のランドマークの位置とが一致し、かつ、前記第1のランドマークの向きと前記第2のランドマークの位置とが一致するように、前記第4の空間情報と前記複数の第2の画像情報との前記位置合わせを行う、
    請求項2に記載の医用画像処理装置。
  4. 前記第2の生成部は、前記第1のランドマーク及び前記第2のランドマークとして前記血管が分岐している箇所を用いて、前記位置合わせを行う、
    請求項3に記載の医用画像処理装置。
  5. 前記取得部は、前記第2の空間情報として、IVUS撮影装置又はOCT装置により生成され、かつ、前記血管の短軸断面を示す短軸断面画像データを取得する、請求項1~4のいずれか1つに記載の医用画像処理装置。
  6. 前記取得部は、前記第2の空間情報として、IVUS撮影装置又はOCT装置により生成され、かつ、前記血管の短軸断面を示す短軸断面画像データに基づいて得られた前記血管の輪郭を示す輪郭画像データを取得する、請求項1~4のいずれか1つに記載の医用画像処理装置。
  7. 前記取得部は、前記第2の空間情報として、IVUS撮影装置又はOCT装置により生成され、かつ、前記血管の短軸断面を示す短軸断面画像データに基づいて得られた前記血管の径を示す情報を取得する、請求項1~4のいずれか1つに記載の医用画像処理装置。
  8. 前記学習済みモデルに対して、位置が異なる複数の前記第1の空間情報のそれぞれを入力することで、位置が異なる複数の前記輪郭画像データに相当する複数の前記第3の空間情報として複数の画像データを出力する出力部と、
    前記複数の画像データが示す血管の輪郭を繋げることで、前記血管の形状を推定し、形状が推定された前記血管を、前記第1の空間情報の元となる3次元の第4の空間情報に重畳させ、当該血管が重畳された前記第4の空間情報に基づく画像をディスプレイに表示させる制御部と、
    を備える、請求項6に記載の医用画像処理装置。
  9. 前記制御部は、前記血管の輪郭として当該血管の内壁の輪郭を繋げることで、前記血管の内壁の形状を推定し、
    前記医用画像処理装置は、前記制御部により推定された前記内壁の形状に基づいて、流体解析を行う解析部を備える、
    請求項8に記載の医用画像処理装置。
  10. 前記制御部は、更に、前記複数の画像データが示す前記血管内のプラークの輪郭を繋げることで、前記プラークの形状を推定し、
    前記医用画像処理装置は、前記制御部により推定された前記プラークの形状に基づいて、病変部位の位置を推定する解析部を備え、
    更に、前記制御部は、推定された前記病変部位の位置を通る断面を示す画像を前記ディスプレイに表示させる、
    請求項8に記載の医用画像処理装置。
  11. 被検体の外部から撮影されることにより得られた被検体の血管に関する第1の空間情報を収集する収集部と、
    前記被検体内に挿入されて前記被検体の前記血管腔内を情報化するデバイスにより得られた前記被検体の前記血管に関する第2の空間情報を取得する取得部と、
    前記第1の空間情報と前記第2の空間情報とを対応付けて学習することにより、第1の空間情報の入力を受けて、第2の空間情報に相当する第3の空間情報を出力する学習済みモデルを生成する生成部と、
    を備える、X線CT装置。
  12. 被検体の外部から撮影されることにより得られた被検体の血管に関する第1の空間情報と、前記被検体内に挿入されて前記被検体の前記血管腔内を情報化するデバイスにより得られた前記被検体の前記血管に関する第2の空間情報を取得し、
    前記第1の空間情報と前記第2の空間情報とを対応付けて学習することにより、第1の空間情報の入力を受けて、第2の空間情報に相当する第3の空間情報を出力する学習済みモデルを生成する、
    ことを含む、医用画像処理方法。
JP2018232549A 2018-12-12 2018-12-12 医用画像処理装置、x線ct装置及び医用画像処理方法 Active JP7164423B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018232549A JP7164423B2 (ja) 2018-12-12 2018-12-12 医用画像処理装置、x線ct装置及び医用画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018232549A JP7164423B2 (ja) 2018-12-12 2018-12-12 医用画像処理装置、x線ct装置及び医用画像処理方法

Publications (2)

Publication Number Publication Date
JP2020092816A JP2020092816A (ja) 2020-06-18
JP7164423B2 true JP7164423B2 (ja) 2022-11-01

Family

ID=71085356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018232549A Active JP7164423B2 (ja) 2018-12-12 2018-12-12 医用画像処理装置、x線ct装置及び医用画像処理方法

Country Status (1)

Country Link
JP (1) JP7164423B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023054442A1 (ja) * 2021-09-29 2023-04-06 テルモ株式会社 コンピュータプログラム、情報処理装置及び情報処理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007129493A1 (ja) 2006-05-02 2007-11-15 National University Corporation Nagoya University 医療画像観察支援装置
US20120059253A1 (en) 2010-06-29 2012-03-08 Siemens Aktiengesellschaft Method and System for Image Based Device Tracking for Co-registration of Angiography and Intravascular Ultrasound Images
JP2012075702A (ja) 2010-10-01 2012-04-19 Fujifilm Corp 管状構造物内画像再構成装置、管状構造物内画像再構成方法および管状構造物内画像再構成プログラム
JP2016202351A (ja) 2015-04-17 2016-12-08 健司 三木 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム
JP2016525893A5 (ja) 2014-03-07 2017-06-22

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10295639A (ja) * 1997-02-27 1998-11-10 Toshiba Corp 画像処理システム
EP2965263B1 (en) * 2013-03-07 2022-07-20 Bernhard Sturm Multimodal segmentation in intravascular images

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007129493A1 (ja) 2006-05-02 2007-11-15 National University Corporation Nagoya University 医療画像観察支援装置
US20120059253A1 (en) 2010-06-29 2012-03-08 Siemens Aktiengesellschaft Method and System for Image Based Device Tracking for Co-registration of Angiography and Intravascular Ultrasound Images
JP2012075702A (ja) 2010-10-01 2012-04-19 Fujifilm Corp 管状構造物内画像再構成装置、管状構造物内画像再構成方法および管状構造物内画像再構成プログラム
JP2016525893A5 (ja) 2014-03-07 2017-06-22
JP2016202351A (ja) 2015-04-17 2016-12-08 健司 三木 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム

Also Published As

Publication number Publication date
JP2020092816A (ja) 2020-06-18

Similar Documents

Publication Publication Date Title
US9811939B2 (en) Method and system for registering intravascular images
JP6160487B2 (ja) 超音波診断装置およびその制御方法
JP5661453B2 (ja) 画像処理装置、超音波診断装置、及び画像処理方法
JP2024020239A (ja) 血管内データ収集及び処理システム
KR20210103439A (ko) 초음파 진단 장치
EP3332339B1 (en) Assistance device and method for an interventional hemodynamic measurement
JP5112021B2 (ja) 血管内画像診断装置及び血管内画像診断システム
WO2012014438A1 (ja) 内視鏡観察を支援する装置および方法、並びに、プログラム
JP6145870B2 (ja) 画像表示装置および方法、並びにプログラム
CN116030968A (zh) 一种基于血管内超声影像的血流储备分数预测方法和装置
JPWO2016140116A1 (ja) 画像診断装置および画像構築方法
JP7164423B2 (ja) 医用画像処理装置、x線ct装置及び医用画像処理方法
US20240013385A1 (en) Medical system, method for processing medical image, and medical image processing apparatus
JP5484998B2 (ja) 医用画像処理装置及び脂肪領域計測用制御プログラム
JP2022055170A (ja) コンピュータプログラム、画像処理方法及び画像処理装置
US20230255588A1 (en) Workflow assistance for medical doppler ultrasound evaluation
US10456112B2 (en) Ultrasound diagnosis apparatus, ultrasound diagnosis method and computer-readable storage medium
Zheng et al. Reconstruction of coronary vessels from intravascular ultrasound image sequences based on compensation of the in-plane motion
WO2022209652A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
US20230017334A1 (en) Computer program, information processing method, and information processing device
WO2019016057A1 (en) IMAGING METHOD, CONTROL DEVICE AND IMAGING SYSTEM FOR MONITORING POST REVA PATIENT
US20240013386A1 (en) Medical system, method for processing medical image, and medical image processing apparatus
US20240008849A1 (en) Medical system, method for processing medical image, and medical image processing apparatus
JP2023049951A (ja) コンピュータプログラム、情報処理方法、及び情報処理装置
CN112568936A (zh) 医用图像诊断装置、超声波诊断装置、医用图像系统以及拍摄控制方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211001

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220914

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221020

R150 Certificate of patent or registration of utility model

Ref document number: 7164423

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150