以下、図面を参照して各実施形態について説明する。各実施形態は、コイル充填率に関する指標として、コイル充填率を用いた場合を代表例に挙げて説明する。但し、コイル充填率に関する指標は、コイル充填率に相当する指標であれば、コイル充填率そのものでなくてもよい。例えば、コイル充填率に関する指標としては、コイル充填率に代えて、未充填率(=100−コイル充填率[%])を用いてもよく、あるいは、コイル充填率に相当する他の指標を用いてもよい。他の指標としては、例えば、コイルの充填済み本数又は残り本数などが使用可能である。いずれにしても、コイル充填率に関する指標としては、コイル充填率に限らず、コイル充填率から算出可能な指標(例、未充填率)か、コイル充填率に対応する指標(例、コイル本数)といった任意の指標が使用可能となっている。
<第1の実施形態>
図1は、第1の実施形態に係るX線診断装置及び医用情報処理装置を含む医用情報処理システムの構成を示すブロック図であり、図2は、X線診断装置の構成を示すブロック図である。図3乃至図9は、X線診断装置及び医用情報処理装置のデータ作成機能、学習制御機能、実行機能及び取得機能を説明するための模式図であり、図10は、コイル充填状況を示す画像を説明するための模式図である。図11は、医用情報処理装置の構成を示すブロック図である。図1に示す医用情報処理システムは、互いにネットワークNwを介して通信可能なX線診断装置1、医用情報処理装置90、X線CT装置200及びMRI装置210を備えている。なお、この医用情報処理システムは、これに限らず、X線診断装置1の他に、医用情報処理装置90、X線CT装置200及びMRI装置210のうちの少なくとも1台を含む構成に変形可能である。また、X線診断装置1としては、バイプレーン構造を例に挙げて述べるが、これに限らず、シングルプレーン構造を用いてもよい
ここで、X線診断装置1は、撮像装置10及びコンソール装置70を備えている。撮像装置10は、高電圧発生装置3、第1X線管5、第1X線検出器7、Cアーム9、第1コリメータ11、第2X線管15、第2X線検出器17、Ωアーム19、第2コリメータ21、天板24、寝台25及び駆動部27を備えている。
高電圧発生装置3は、第1X線管5と第2X線管15とに供給する管電流と、第1X線管5と第2X線管15とに印加する管電圧とを発生する。高電圧発生装置3は、処理回路74に制御され、管電流を第1X線管5と第2X線管15とに供給し、管電圧を第1X線管5と第2X線管15とに印加する。
第1X線管5は、高電圧発生装置3から供給された管電流と、高電圧発生装置3により印加された管電圧とに基づいて、X線の焦点(以下、第1焦点と呼ぶ)においてX線(以下、第1X線と呼ぶ)を発生する。第1焦点から発生された第1X線は、第1X線管5の前面に設けられたX線放射窓を介して、被検体Pに照射される。なお、第1焦点から発生された第1X線の一部は、第1X線管5とX線放射窓との間に設けられた第1コリメータ11により遮蔽される。すなわち、入力インタフェース73から入力された第1照射範囲に従って第1コリメータ11が移動され、第1X線の照射範囲が限定される。
第1X線検出器7は、第1X線管5から発生され、被検体Pを透過した第1X線を検出する。例えば、第1X線検出器7は、フラットパネルディテクタ(Flat Panel Detector:以下、第1FPDと呼ぶ)を有する。第1FPDは、複数の半導体検出素子を有する。半導体検出素子には、直接変換形と間接変換形とがある。直接変換形とは、入射X線を直接的に電気信号に変換する形式である。間接変換形とは、入射X線を蛍光体で光に変換し、その光を電気信号に変換する形式である。
第1X線検出器7の後段には、図示しない投影データ生成回路及び投影データ記憶回路を備える。投影データ生成回路は、第1FPDから行単位あるいは列単位でパラレルに読み出された電荷を電圧に変換する電荷・電圧変換器と、この電荷・電圧変換器の出力をデジタル信号に変換するA/D変換器と、デジタル変換されたパラレル信号を時系列的なシリアル信号に変換するパラレル・シリアル変換器を備えている。投影データ生成回路は、このシリアル信号を時系列的な投影データとして投影データ記憶回路に供給する。投影データ記憶回路は、投影データ生成回路から供給される時系列的な投影データを順次保存して2次元投影データを生成する。この2次元投影データは、メモリ71に保存される。
Cアーム9は、第1X線管5と第1X線検出器7とを被検体P及び天板24を挟んで対向するように保持することで、天板24上の被検体PのX線撮影を行うことができる構成を有する。なお、天板24は、当該天板24の長手方向、短軸方向及び鉛直方向に沿って移動可能に寝台25に設けられている。
具体的にはCアーム9は、天板24の長軸方向及び短軸方向に沿って移動可能となっている。また、Cアーム9は、保持部を介して支持アームに支持されている。支持アームは、略円弧形状を有し、天井に設けられたレールに対する移動機構に基端が取り付けられている。Cアーム9は、天板24に垂直なZ方向と、天板24の長軸方向に沿ったY方向との両者に直交するX方向の軸を中心に回転可能に保持部に保持されている。また、Cアーム9は、Y方向の軸を中心とした略円弧形状を有し、略円弧形状に沿ってスライド動作可能に保持部に保持されている。すなわち、Cアーム9は、Y方向の軸を回転中心としたスライド動作を行うことができる。また、Cアーム9は、保持部を中心としてX方向の軸を中心とした回転動作(以下、「主回転動作」と称する。)をすることができ、スライドとこの回転の組み合わせにより様々な角度方向からX線画像を観察することを可能とする。さらに、Cアーム9は、Z方向の軸を中心にも回転することができ、これにより、例えば、上述のスライド動作の回転中心軸をX方向とすることができる。なお、第1X線管5の第1焦点と、第1X線検出器7の検出面中心とを通る撮影軸は、スライド動作の回転中心軸と、主回転動作の回転中心軸とに一点で交差するように設計されている。当該交点は、一般的には、アイソセンタと呼ばれている。アイソセンタは、Cアーム9が上述のスライド動作や主回転動作をしても変位しない。このため、アイソセンタに関心部位(例、動脈瘤)が位置した場合、Cアーム9のスライド動作又は主回転動作により得られた医用画像の動画像において、関心部位の観察が容易になる。
第2X線管15は、高電圧発生装置3から供給された管電流と、高電圧発生装置3により印加された管電圧とに基づいて、X線の焦点(以下、第2焦点と呼ぶ)においてX線(以下、第2X線と呼ぶ)を発生する。第2焦点から発生された第2X線は、第2X線管15の前面に設けられたX線放射窓を介して、被検体Pに照射される。なお、第2焦点から発生された第2X線の一部は、第2X線管15とX線放射窓との間に設けられた第2コリメータ21により遮蔽される。すなわち、入力インタフェース73から入力された第2照射範囲に従って第2コリメータ21が移動され、第2X線の照射範囲が限定される。
第2X線検出器17は、第2X線管15から発生され、被検体Pを透過したX線を検出する。例えば、第2X線検出器17は、第2FPDを有する。第2X線検出器17の後段には、図示しない投影データ生成回路及び投影データ記憶回路を備える。投影データ生成回路は、第2FPDから行単位あるいは列単位でパラレルに読み出された電荷を電圧に変換する電荷・電圧変換器と、この電荷・電圧変換器の出力をデジタル信号に変換するA/D変換器と、デジタル変換されたパラレル信号を時系列的なシリアル信号に変換するパラレル・シリアル変換器を備えている。投影データ生成回路は、このシリアル信号を時系列的な投影データとして投影データ記憶回路に供給する。投影データ記憶回路は、投影データ生成回路から供給される時系列的な投影データを順次保存して2次元投影データを生成する。この2次元投影データは、メモリ71に保存される。
Ωアーム19は、第2X線管15と第2X線検出器17とを天板24上の被検体Pを挟んで対向するように保持することで、被検体PのX線撮影を行うことができる構成を有する。
具体的にはΩアーム19は、天板24の長軸方向及び短軸方向に沿って移動可能となっている。また、Ωアーム19は、保持部を介して支持アームに支持されている。支持アームは、略円弧形状を有し、天井に設けられたレールに対する移動機構に基端が取り付けられている。Ωアーム19は、天板24に垂直なZ方向と、天板24の長軸方向に沿ったY方向の軸を中心に回転可能に保持部に保持されている。また、Ωアーム19は、Y方向の軸を中心とした略円弧形状を有し、略円弧形状に沿ってスライド動作可能に保持部に保持されている。すなわち、Ωアーム19は、Y方向の軸を回転中心としたスライド動作を行うことができる。また、Ωアーム19は、保持部を中心としてZ方向の軸を中心とした回転動作(以下、「主回転動作」と称する。)をすることができ、スライドとこの回転の組み合わせにより様々な角度方向からX線画像を観察することを可能とする。なお、第2X線管15の第2焦点と、第2X線検出器17の検出面中心とを通る撮影軸は、スライド動作の回転中心軸と、主回転動作の回転中心軸とに一点で交差するように設計されている。当該交点は、一般的には、アイソセンタと呼ばれている。アイソセンタは、Ωアーム19が上述のスライド動作や主回転動作をしても変位しない。このため、アイソセンタに関心部位(例、動脈瘤)が位置した場合、Ωアーム19のスライド動作又は主回転動作により得られた医用画像の動画像において、関心部位の観察が容易になる。
このようなCアーム9及びΩアーム19は、レール下の支持アーム、X方向の軸、Y方向の軸及びZ方向の軸に係る動作を実現するための複数の動力源が該当する適当な箇所に備えられている。これらの動力源は駆動部27を構成する。
駆動部27は、駆動制御機能742からの駆動信号を読み込んでCアーム9及びΩアーム19の各々をスライド運動、回転運動、直線運動させる。さらに、Cアーム9及びΩアーム19には、その角度(撮像角度)または姿勢や位置の情報を検出する状態検出器がそれぞれ備えられている。状態検出器は、例えば回転角や移動量を検出するポテンショメータや、位置検出センサであるエンコーダ等で構成される。エンコーダとしては、例えば磁気方式、刷子式、あるいは光電式等の、いわゆるアブソリュートエンコーダが使用可能となっている。また、状態検出器としては、回転変位をデジタル信号として出力するロータリエンコーダあるいは直線変位をデジタル信号として出力するリニアエンコーダなど、様々な種類の位置検出機構が適宜、使用可能となっている。
コンソール装置70は、メモリ71、ディスプレイ72、入力インタフェース73、処理回路74及びネットワークインタフェース76を備えている。
メモリ71は、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)及び画像メモリなど電気的情報を記録するメモリ本体と、それらメモリ本体に付随するメモリコントローラやメモリインタフェースなどの周辺回路とを備えている。メモリ71は、例えば、処理回路74に実行されるプログラムと、第1X線検出器7及び第2X線検出器17から受けた検出データ(投影データ)、処理回路74により生成された医用画像、機械学習モデル、学習済みモデル、処理回路74の処理に用いるデータ、各種テーブル、処理途中のデータ及び処理後のデータ等が記憶される。医用画像としては、例えば、CT画像(ボリュームデータ)、MRI画像(ボリュームデータ)、X線画像(X線透視画像)、造影血管X線画像(DSA画像)、重畳画像などがある。学習済みモデルは、動脈瘤が撮影された三次元医用画像(ボリュームデータ)及び当該動脈瘤が撮像されたX線画像に基づいて、当該動脈瘤に対するコイル充填率に関する指標を出力するように機能付けられている。プログラムは、例えば、コンピュータに、被検体の動脈瘤に関して医用画像診断装置で撮影された三次元医用画像を取得する第1取得機能、当該被検体の動脈瘤に関してX線診断装置で撮像されたX線画像を取得する第2取得機能、動脈瘤が撮影された三次元医用画像及び当該動脈瘤が撮像されたX線画像に基づいて、当該動脈瘤に対するコイル充填率に関する指標を出力するように機能付けられた学習済みモデルに基づいて、当該取得された三次元医用画像、当該取得されたX線画像及び当該学習済みモデルから、当該取得されたX線画像上の動脈瘤に対するコイル充填率に関する指標を出力する処理機能、当該出力された指標に基づいてコイル充填状況を示す画像を生成する画像生成機能、を実現させる。補足すると、このようなプログラムとしては、例えば、予めネットワーク又は非一過性のコンピュータ読み取り可能な記憶媒体からコンピュータにインストールされ、医用情報処理装置77の各機能を当該コンピュータに実現させるプログラムが用いられる。
ディスプレイ72は、医用画像などといった各種の情報を表示するディスプレイ本体と、ディスプレイ本体に表示用の信号を供給する内部回路、ディスプレイ本体と内部回路とをつなぐコネクタやケーブルなどの周辺回路から構成されている。内部回路は、処理回路74から供給される画像データに被検体情報や投影データ生成条件等の付帯情報を重畳して表示データを生成し、得られた表示データに対しD/A変換とTVフォーマット変換を行なってディスプレイ本体に表示する。例えば、ディスプレイ72は、処理回路74によって生成された医用画像や、操作者からの各種操作を受け付けるためのGUI(Graphical User Interface)等を出力する。例えば、ディスプレイ72は、液晶ディスプレイやCRT(Cathode Ray Tube)ディスプレイである。また、ディスプレイ72は、表示部の一例である。また、ディスプレイ72は、デスクトップ型でもよいし、コンソール装置70本体と無線通信可能なタブレット端末等で構成されることにしても構わない。ディスプレイ72は表示部の一例である。
入力インタフェース73は、被検体情報の入力、X線条件の設定、各種コマンド信号の入力等を行う。被検体情報は、例えば、被検体ID、被検体名、生年月日、年齢、体重、性別、検査部位等を含んでいる。なお、被検体情報は、被検体の身長を含んでもよい。入力インタフェース73は、例えば、Cアーム9及びΩアーム19の移動指示、関心領域(ROI)の設定などを行うためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、及び表示画面とタッチパッドとが一体化されたタッチパネルディスプレイ等によって実現される。入力インタフェース73は、処理回路74に接続されており、操作者から受け取った入力操作を電気信号へ変換し、処理回路74へと出力する。また、入力インタフェース73は、コンソール装置70本体と無線通信可能なタブレット端末等で構成されることにしても構わない。また、本明細書において入力インタフェース73はマウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路74へ出力する電気信号の処理回路も入力インタフェース73の例に含まれる。
処理回路74は、メモリ71内のプログラムを呼び出し実行することにより、プログラムに対応するシステム制御機能741、駆動制御機能742、撮影制御機能743、画像処理機能744、データ作成機能745、学習制御機能746、実行機能747、画像生成機能748及び表示制御機能749を実現するプロセッサである。なお、処理回路74の説明において用いた「プロセッサ」という文言は、例えば、CPU、GPU、或いは、特定用途向け集積回路(ASIC)、プログラマブル論理デバイス等の回路を意味する。プログラマブル論理デバイスには、例えば、単純プログラマブル論理デバイス(SPLD)、複合プログラマブル論理デバイス(CPLD)、及びフィールドプログラマブルゲートアレイ(FPGA)等がある。この種のプロセッサは、メモリ71内のプログラムを呼び出し実行する代わりに、当該プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。ここでいうプログラムは、学習済みモデルを含んでいる。すなわち、処理回路74は、学習済みモデルをメモリ71から呼び出し実行する構成としてもよく、学習済みモデルをASICやFPGA等の回路として実装した構成としてもよい。また、図2においては単一の処理回路74にてシステム制御機能741、駆動制御機能742、撮影制御機能743、画像処理機能744、データ作成機能745、学習制御機能746、実行機能747、画像生成機能748及び表示制御機能749が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能を実現するものとしても構わない。また、システム制御機能741、駆動制御機能742、撮影制御機能743、画像処理機能744、データ作成機能745、学習制御機能746、実行機能747、画像生成機能748及び表示制御機能749は、それぞれシステム制御回路、駆動制御回路、撮影制御回路、画像処理回路、データ作成回路、学習制御回路、実行回路、画像生成回路及び表示制御回路と呼んでもよく、個別のハードウェア回路として実装してもよい。
システム制御機能741は、例えば、入力インタフェース73から入力された操作者によるコマンド信号、及び各種初期設定条件等の情報を一旦記憶した後、これらの情報を処理回路74の各処理機能に送信する。
駆動制御機能742は、例えば、入力インタフェース73から入力されたCアーム9、Ωアーム19及び天板24の駆動に関する情報を用いて、駆動部27及び寝台25の制御を行う。例えば、駆動制御機能742は、Cアーム9やΩアーム19の移動や回転、及び天板24の移動やチルトなどを制御する。
撮影制御機能743は、例えば、システム制御機能741からの情報を読み込んで、高電圧発生装置3における管電圧、管電流、照射時間などのX線条件の制御を行う。X線条件は、管電流と照射時間の積(mAs)を含んでもよい。
画像処理機能744は、例えば、メモリ71内の投影データに対してフィルタリング処理等の画像処理を行ってX線画像を生成し、X線画像をメモリ71に保存する。ここで、第1X線検出器7の出力に基づくX線画像を第1X線画像と呼び、第2X線検出器17の出力に基づくX線画像を第2X線画像と呼ぶ。第1X線画像及び第2X線画像は、互いに異なる2つの撮像角度で撮像されている。更に、画像処理機能744は、得られた複数のX線画像データに対し合成処理や減算(サブトラクション)処理等を行ない、得られたX線画像をメモリ71に保存する。なお、造影剤を用いて得られたX線画像から、造影剤を用いずに得られたX線画像を減算処理して得られたX線画像については、造影血管X線画像又はDSA(Digital Subtraction Angiography)画像ともいう。
データ作成機能745は、動脈瘤が撮影された三次元医用画像及び当該動脈瘤が撮像されたX線画像と、当該動脈瘤に対するコイル充填率に関する指標とを含む学習用データを作成する。本実施形態では、前述した通り、コイル充填率に関する指標としてコイル充填率を用いている。このような学習用データは、精度向上を図る観点から、例えば、動脈瘤のある血管(前交通動脈、内頚動脈、中大脳動脈、脳底動脈、椎骨動脈など)毎に作成してもよく、Cアーム9やΩアーム19の撮像角度毎に作成することが好ましい。このようなデータ作成機能745は、バイプレーン構造の場合、例えば図3に示すように、三次元医用画像と、X線画像としての第1X線画像及び第2X線画像と、コイル充填率とを含む学習用データを作成する。三次元医用画像(ボリュームデータ)としては、例えば、X線CT装置200で撮影されたCT画像としてもよく、MRI装置210で撮影されたMRI画像としてもよい。第1X線画像及び第2X線画像は、互いに異なる2つの撮像角度で撮像されている。データ作成機能745は、操作者による入力インタフェース73の操作により、X線画像に対応するコイル充填率に関する指標を学習用データに設定してもよい。また、データ作成機能745は、シングルプレーン構造の場合、例えば図4に示すように、三次元医用画像と第1X線画像とコイル充填率とを含む学習用データを作成するか、又は、三次元医用画像と第2X線画像とコイル充填率とを含む学習用データを作成する。なお、ここでいうシングルプレーン構造の場合は、バイプレーン構造の第1X線管5又は第2X線管15のX線照射を止めている場合を含む。いずれにしても、データ作成機能745は、作成した学習用データをメモリ71に出力する。なお、データ作成機能745は、データ作成部の一例である。
学習制御機能746は、図5に示すように、データ作成機能745により得られた学習用データに基づいて、バイプレーン用の機械学習モデルM1bに機械学習を行わせることにより、学習済みの機械学習モデルである学習済みモデルM2bを作成する。学習制御機能746は、バイプレーン用の学習済みモデルM2b(第1学習済みモデル)をメモリ71に書き込む。これにより、学習済みモデルM2bはメモリ71に記憶される。学習済みモデルM2bは、動脈瘤が撮影された三次元医用画像及び当該動脈瘤が撮像されたX線画像(第1X線画像及び第2X線画像)に基づいて、当該動脈瘤に対するコイル充填率に関する指標を出力するように機能付けられている。この例では、学習用データは、三次元医用画像とX線画像(第1X線画像及び第2X線画像)とを含む入力データと、コイル充填率を含む出力データとを有している。なお、バイプレーン用の学習用データ、機械学習モデルM1b及び学習済みモデルM2bに用いるX線画像は、互いに異なる2つの撮像角度で並列に撮像された第1X線画像及び第2X線画像の両方である。
また、学習制御機能746は、図6に示すように、データ作成機能745により得られた学習用データに基づいて、シングルプレーン用の機械学習モデルM1sに機械学習を行わせることにより、学習済みの機械学習モデルである学習済みモデルM2sを作成する。学習制御機能746は、シングルプレーン用の学習済みモデルM2s(第2学習済みモデル)をメモリ71に書き込む。これにより、学習済みモデルM2sはメモリ71に記憶される。学習済みモデルM2sは、動脈瘤が撮影された三次元医用画像及び当該動脈瘤が撮像されたX線画像(第1X線画像又は第2X線画像)に基づいて、当該動脈瘤に対するコイル充填率に関する指標を出力するように機能付けられている。この例では、学習用データは、三次元医用画像とX線画像(第1X線画像又は第2X線画像)とを含む入力データと、コイル充填率を含む出力データとを有している。シングルプレーン用の学習用データ、機械学習モデルM1s及び学習済みモデルM2sに用いるX線画像は、互いに異なる2つの撮像角度で並列に撮像された第1X線画像及び第2X線画像のうちの少なくとも一方である。また、シングルプレーン用の学習用データ、機械学習モデルM1s及び学習済みモデルM2sに用いるX線画像は、不定期に撮像角度を切り替えて撮像された一連のX線画像である。なお、不定期に撮像角度を切り替える状況は、例えば、バイプレーン構造の第1X線管5及び第2X線管15のうちの一方のX線照射を止めてコイル塞栓術を行う場合において、第1X線管5及び第2X線管15を切り替えて使用する状況がある。また、第1X線管5及び第2X線管15のうちの一方のX線照射を止めてコイル塞栓術を行う場合において、X線照射する方のX線管によるX線照射の角度を変更する状況がある。あるいは、シングルプレーン構造のX線管を用いてコイル塞栓術を行う場合において、X線管によるX線照射の角度を変更する状況がある。
いずれにしても、機械学習モデルM1b,M1sは、三次元医用画像及びX線画像を入力として、当該X線画像内の動脈瘤に対するコイル充填率(に関する指標)を出力する、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数及びパラメータの組合せにより定義される。本実施形態に係る機械学習モデルは、上記の要請を満たす如何なるパラメータ付き合成関数であっても良いが、多層のネットワークモデル(以下、多層化ネットワークと呼ぶ)であるとする。多層化ネットワークを用いる学習済みモデルM2b,M2sは、三次元医用画像及びX線画像を入力する入力層と、当該X線画像におけるコイル充填率に関する指標を出力する出力層と、入力層と出力層との間に設けられる少なくとも1層の中間層とを有する。なお、入力層は、例えば、三次元医用画像のボクセル数とX線画像の画素数とを合計した個数に応じたユニットを有してもよい。出力層は、例えば、コイル充填率に関する指標を出力するため、1つのユニットを有してもよい。また、入力層は、三次元医用画像及びX線画像に加え、コイルの種類(材質や形状)を示す付帯情報を入力してもよい。当該学習済みモデルM2は、人工知能ソフトウエアの一部であるプログラムモジュールとしての利用が想定される。このような多層化ネットワークとしては、例えば、深層学習(Deep Learning)の対象となる多層ニューラルネットワークである深層ニューラルネットワーク(Deep Neural Network:DNN)を用いている。DNNとしては、例えば、動画に対して再帰型ニューラルネットワーク(Recurrent Neural Network:RNN)を用いてもよく、静止画に対して畳込みニューラルネットワーク(Convolutional Neural Network:CNN)を用いてもよい。RNNは、長・短期記憶(Long Short-Term Memory:LSTM)を含んでもよい。以下の説明は、主に、X線画像における特定された領域の画像が動画である場合を例に挙げて述べる。以上の当該多層化ネットワークに関する説明は、以下の全ての機械学習モデル及び学習済みモデルにも該当する。
実行機能747は、被検体の動脈瘤に関して医用画像診断装置で撮影された三次元医用画像をメモリ71から取得し、当該被検体の動脈瘤に関してX線診断装置1で撮像されたX線画像(第1X線画像及び/又は第2X線画像)をメモリ71から取得する。このとき、実行機能747は、例えば図7に示すように、当該取得された三次元医用画像、当該取得されたX線画像(第1X線画像及び第2X線画像)及び学習済みモデルM2bに基づいて、当該取得されたX線画像上の動脈瘤に対するコイル充填率(に関する指標)を出力する。あるいは、実行機能747は、例えば図8に示すように、当該取得された三次元医用画像、当該取得されたX線画像(第1X線画像又は第2X線画像)及び学習済みモデルM2sに基づいて、当該取得されたX線画像上の動脈瘤に対するコイル充填率(に関する指標)を出力する。なお、X線画像は、互いに異なる2つの撮像角度で並列に撮像された第1X線画像及び第2X線画像のうちの少なくとも一方である。実行機能747が実行可能な学習済みモデルは、X線画像が第1X線画像及び第2X線画像である場合の学習済みモデルM2b(第1学習済みモデル)と、X線画像が第1X線画像又は第2X線画像である場合の学習済みモデルM2s(第2学習済みモデル)とを含んでいる。ここで、実行機能747は、図9に示すように、取得されたX線画像が第1X線画像及び第2X線画像である場合には学習済みモデルM2bを選択し、取得されたX線画像が第1X線画像又は第2X線画像である場合には学習済みモデルM2sを選択してもよい。また、実行機能747は、当該選択された学習済みモデルM2b又はM2sと当該取得されたX線画像と当該取得された三次元医用画像とに基づいて、コイル充填率に関する指標を出力するようにしてもよい。すなわち、実行機能747は、学習済みモデルM2b,M2sを切り替えて実行してもよい。あるいは、実行機能747は、学習済みモデルM2b,M2sを並列に実行してもよい。実行機能747は、第1取得部、第2取得部及び処理部の一例である。
画像生成機能748は、図10に示すように、実行機能747により出力されたコイル充填率(に関する指標)に基づいてコイル充填状況を示す画像72a,72b,72cを生成する。生成した画像72a,72b,72cは、表示制御機能749により、第1X線画像g1や第2X線画像g2と共に、ディスプレイ72に表示される。但し、画像72a,72b,72cは、第1X線画像g1や第2X線画像g2と共にディスプレイ72に表示される必要はなく、X線画像を表示するディスプレイとは異なるディスプレイに表示されてもよい。ここで、コイル充填状況は、コイル充填率に関する指標に基づく状況であり、例えば、指標の数値でもよく、指標に対応するグラフでもよく、指標に対応するコイルの充填済み本数又は残り本数でもよい。例えば指標がコイル充填率の場合、画像72aは、現在のコイル充填率の数値により、コイル充填状況を示している。画像72bは、目標のコイル充填率(20%)に対して現在のコイル充填率(7%)を示すバーグラフにより、コイル充填状況を示している。画像72cは、コイル充填状況を「あと○本」というように、目標のコイル充填率に対応するコイル本数(3本)に対して現在の充填済みコイル本数(1本)を差し引いた残りのコイル本数(2本)を示すメッセージや、各々のコイル本数を示すバー(合計3本、残り2本、充填済み1本)により、コイル充填状況を示している。コイル充填状況を示す画像としては、これらの例に限らず、少なくとも現在のコイル充填率に関する指標に基づくコイル充填状況を提示する画像であれば、適宜、使用可能となっている。例えば、コイル充填状況を示す画像としては、前述したバーグラフに代えて、円グラフ等のように他の形式のグラフを用いてもよい。また、画像生成機能748は、全ての画像72a,72b,72cを生成する必要はなく、少なくとも1つの画像を生成すればよい。画像生成機能748は、画像生成部の一例である。
表示制御機能749は、例えば、システム制御機能741からの信号を読み込んで、メモリ71から所望の医用画像データを取得してディスプレイ72に表示する制御などを行う。また、表示制御機能749は、画像生成機能748により生成された画像72a〜72cをディスプレイ72に表示させる。表示制御機能749は、表示制御部の一例である。
ネットワークインタフェース76は、コンソール装置70をネットワークNwに接続して医用情報処理装置90、X線CT装置200又はMRI装置210等の他の装置と通信するための回路である。ネットワークインタフェース76としては、例えば、ネットワークインタフェースカード(NIC)が使用可能となっている。以下の説明では、他の装置との通信にネットワークインタフェース76が介在する旨の記載を省略する。
これらメモリ71、ディスプレイ72、入力インタフェース73、処理回路74のデータ作成機能745、学習制御機能746、実行機能747、画像生成機能748及び表示制御機能749は、医用情報処理装置77を構成している。医用情報処理装置77は、画像処理機能744を更に含んでもよい。医用情報処理装置77は、X線診断装置1に内蔵されてもよく、X線診断装置1とは別の装置として、X線診断装置1の外部に設けてもよい。
一方、医用情報処理装置90は、図11に示すように、メモリ91、ディスプレイ92、入力インタフェース93、処理回路94及びネットワークインタフェース96を備えている。
メモリ91は、ROM、RAM、HDD及び画像メモリなど電気的情報を記録するメモリ本体と、それらメモリ本体に付随するメモリコントローラやメモリインタフェースなどの周辺回路とを備えている。メモリ91は、例えば、処理回路94に実行されるプログラム、処理回路94により生成された医用画像、機械学習モデル、学習済みモデル、処理回路94の処理に用いるデータ、各種テーブル、処理途中のデータ及び処理後のデータ等が記憶される。医用画像としては、例えば、CT画像(ボリュームデータ)、MRI画像(ボリュームデータ)、X線画像(X線透視画像)、造影血管X線画像(DSA画像)、重畳画像などがある。学習済みモデルは、動脈瘤が撮影された三次元医用画像(ボリュームデータ)及び当該動脈瘤が撮像されたX線画像に基づいて、当該動脈瘤に対するコイル充填率に関する指標を出力するように機能付けられている。プログラムは、例えば、コンピュータに、被検体の動脈瘤に関して医用画像診断装置で撮影された三次元医用画像を取得する第1取得機能、当該被検体の動脈瘤に関してX線診断装置で撮像されたX線画像を取得する第2取得機能、動脈瘤が撮影された三次元医用画像及び当該動脈瘤が撮像されたX線画像に基づいて、当該動脈瘤に対するコイル充填率に関する指標を出力するように機能付けられた学習済みモデルに基づいて、当該取得された三次元医用画像、当該取得されたX線画像及び当該学習済みモデルから、当該取得されたX線画像上の動脈瘤に対するコイル充填率に関する指標を出力する処理機能、当該出力された指標に基づいてコイル充填状況を示す画像を生成する画像生成機能、を実現させる。補足すると、このようなプログラムとしては、例えば、予めネットワーク又は非一過性のコンピュータ読み取り可能な記憶媒体からコンピュータにインストールされ、医用情報処理装置90の各機能を当該コンピュータに実現させるプログラムが用いられる。
ディスプレイ92は、医用画像などといった各種の情報を表示するディスプレイ本体と、ディスプレイ本体に表示用の信号を供給する内部回路、ディスプレイ本体と内部回路とをつなぐコネクタやケーブルなどの周辺回路から構成されている。内部回路は、処理回路94から供給される画像データに被検体情報や投影データ生成条件等の付帯情報を重畳して表示データを生成し、得られた表示データに対しD/A変換とTVフォーマット変換を行なってディスプレイ本体に表示する。例えば、ディスプレイ92は、処理回路94によって強調された医用画像や、操作者からの各種操作を受け付けるためのGUI等を出力する。例えば、ディスプレイ92は、液晶ディスプレイやCRTディスプレイである。また、ディスプレイ92は、表示部の一例である。また、ディスプレイ92は、デスクトップ型でもよいし、医用情報処理装置90本体と無線通信可能なタブレット端末等で構成されることにしても構わない。ディスプレイ92は表示部の一例である。
入力インタフェース93は、被検体情報の入力、各種コマンド信号の入力等を行う。被検体情報は、例えば、被検体ID、被検体名、生年月日、年齢、体重、性別、検査部位等を含んでいる。なお、被検体情報は、被検体の身長を含んでもよい。入力インタフェース93は、例えば、機械学習や画像処理といった医用情報処理に関する指示、関心領域(ROI)の設定などを行うためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、及び表示画面とタッチパッドとが一体化されたタッチパネルディスプレイ等によって実現される。入力インタフェース93は、処理回路94に接続されており、操作者から受け取った入力操作を電気信号へ変換し、処理回路94へと出力する。また、入力インタフェース93は、医用情報処理装置90本体と無線通信可能なタブレット端末等で構成されることにしても構わない。また、本明細書において入力インタフェース93はマウス、キーボードなどの物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路94へ出力する電気信号の処理回路も入力インタフェース93の例に含まれる。
処理回路94は、メモリ91内のプログラムを呼び出し実行することにより、プログラムに対応するデータ作成機能945、学習制御機能946、実行機能947、画像生成機能948及び表示制御機能949を実現するプロセッサである。なお、処理回路94の説明において用いた「プロセッサ」という文言は、例えば、CPU、GPU、或いは、特定用途向け集積回路(ASIC)、プログラマブル論理デバイス等の回路を意味する。プログラマブル論理デバイスには、例えば、単純プログラマブル論理デバイス(SPLD)、複合プログラマブル論理デバイス(CPLD)、及びフィールドプログラマブルゲートアレイ(FPGA)等がある。この種のプロセッサは、メモリ91内のプログラムを呼び出し実行する代わりに、当該プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。ここでいうプログラムは、学習済みモデルを含んでいる。すなわち、処理回路74は、学習済みモデルをASICやFPGA等の回路として実装した構成としてもよい。また、図11においては単一の処理回路94にてデータ作成機能945、学習制御機能946、実行機能947、画像生成機能948及び表示制御機能949が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能を実現するものとしても構わない。また、データ作成機能945、学習制御機能946、実行機能947、画像生成機能948及び表示制御機能949は、それぞれデータ作成回路、学習制御回路、実行回路、画像生成回路及び表示制御回路と呼んでもよく、個別のハードウェア回路として実装してもよい。また、医用情報処理装置90内のデータ作成機能945、学習制御機能946、実行機能947、画像生成機能948及び表示制御機能949は、X線診断装置1内のデータ作成機能745、学習制御機能746、実行機能747、画像生成機能748及び表示制御機能749と同様の機能である。このため、以下のデータ作成機能945、学習制御機能946、実行機能947、画像生成機能948及び表示制御機能949に関する説明は、適宜、重複する部分などを省略して述べる。
データ作成機能945は、動脈瘤が撮影された三次元医用画像及び当該動脈瘤が撮像されたX線画像と、当該動脈瘤に対するコイル充填率に関する指標(例、コイル充填率)とを含む学習用データを作成する。このような学習用データは、精度向上を図る観点から、例えば、動脈瘤のある血管(前交通動脈、内頚動脈、中大脳動脈、脳底動脈、椎骨動脈など)毎に作成してもよく、Cアーム9やΩアーム19の撮像角度毎に作成することが好ましい。このようなデータ作成機能945は、バイプレーン構造の場合、例えば図3に示したように、三次元医用画像と、X線画像としての第1X線画像及び第2X線画像と、コイル充填率とを含む学習用データを作成する。三次元医用画像(ボリュームデータ)としては、例えば、X線CT装置200で撮影されたCT画像としてもよく、MRI装置210で撮影されたMRI画像としてもよい。第1X線画像及び第2X線画像は、互いに異なる2つの撮像角度で撮像されている。データ作成機能945は、操作者による入力インタフェース93の操作により、X線画像に対応するコイル充填率に関する指標を学習用データに設定してもよい。また、データ作成機能945は、シングルプレーン構造の場合、例えば図4に示したように、三次元医用画像と第1X線画像とコイル充填率とを含む学習用データを作成するか、又は、三次元医用画像と第2X線画像とコイル充填率とを含む学習用データを作成する。なお、ここでいうシングルプレーン構造の場合は、バイプレーン構造の第1X線管5又は第2X線管15のX線照射を止めている場合を含む。いずれにしても、データ作成機能945は、作成した学習用データをメモリ91に出力する。なお、データ作成機能945は、データ作成部の一例である。
学習制御機能946は、図5に示したように、データ作成機能945により得られた学習用データに基づいて、バイプレーン用の機械学習モデルM1bに機械学習を行わせることにより、学習済みの機械学習モデルである学習済みモデルM2bを作成する。学習制御機能946は、バイプレーン用の学習済みモデルM2b(第1学習済みモデル)をメモリ91に書き込む。これにより、学習済みモデルM2bはメモリ91に記憶される。学習済みモデルM2bは、動脈瘤が撮影された三次元医用画像及び当該動脈瘤が撮像されたX線画像(第1X線画像及び第2X線画像)に基づいて、当該動脈瘤に対するコイル充填率に関する指標を出力するように機能付けられている。この場合、学習用データは、三次元医用画像とX線画像(第1X線画像及び第2X線画像)とを含む入力データと、コイル充填率を含む出力データとを有している。なお、バイプレーン用の学習用データ、機械学習モデルM1b及び学習済みモデルM2bに用いるX線画像は、互いに異なる2つの撮像角度で並列に撮像された第1X線画像及び第2X線画像の両方である。
また、学習制御機能946は、図6に示したように、データ作成機能945により得られた学習用データに基づいて、シングルプレーン用の機械学習モデルM1sに機械学習を行わせることにより、学習済みの機械学習モデルである学習済みモデルM2sを作成する。学習制御機能946は、シングルプレーン用の学習済みモデルM2s(第2学習済みモデル)をメモリ91に書き込む。これにより、学習済みモデルM2sはメモリ91に記憶される。学習済みモデルM2sは、動脈瘤が撮影された三次元医用画像及び当該動脈瘤が撮像されたX線画像(第1X線画像又は第2X線画像)に基づいて、当該動脈瘤に対するコイル充填率に関する指標を出力するように機能付けられている。この例では、学習用データは、三次元医用画像とX線画像(第1X線画像又は第2X線画像)とを含む入力データと、コイル充填率を含む出力データとを有している。シングルプレーン用の学習用データ、機械学習モデルM1s及び学習済みモデルM2sに用いるX線画像は、互いに異なる2つの撮像角度で並列に撮像された第1X線画像及び第2X線画像のうちの少なくとも一方である。また、シングルプレーン用の学習用データ、機械学習モデルM1s及び学習済みモデルM2sに用いるX線画像は、不定期に撮像角度を切り替えて撮像された一連のX線画像である。なお、不定期に撮像角度を切り替える状況は、前述した通りである。
いずれにしても、機械学習モデルM1b,M1sは、三次元医用画像及びX線画像を入力として、当該X線画像内の動脈瘤に対するコイル充填率(に関する指標)を出力する、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数については、前述した通りである。
実行機能947は、被検体の動脈瘤に関して医用画像診断装置で撮影された三次元医用画像をメモリ91から取得し、当該被検体の動脈瘤に関してX線診断装置1で撮像されたX線画像(第1X線画像及び/又は第2X線画像)をメモリ91から取得する。このとき、実行機能947は、例えば図7に示したように、当該取得された三次元医用画像、当該取得されたX線画像(第1X線画像及び第2X線画像)及び学習済みモデルM2bに基づいて、当該取得されたX線画像上の動脈瘤に対するコイル充填率を出力する。あるいは、実行機能947は、例えば図8に示したように、当該取得された三次元医用画像、当該取得されたX線画像(第1X線画像又は第2X線画像)及び学習済みモデルM2sに基づいて、当該取得されたX線画像上の動脈瘤に対するコイル充填率を出力する。なお、X線画像は、互いに異なる2つの撮像角度で並列に撮像された第1X線画像及び第2X線画像のうちの少なくとも一方である。実行機能947が実行可能な学習済みモデルは、X線画像が第1X線画像及び第2X線画像である場合の学習済みモデルM2b(第1学習済みモデル)と、X線画像が第1X線画像又は第2X線画像である場合の学習済みモデルM2s(第2学習済みモデル)とを含んでいる。ここで、実行機能947は、図9に示したように、取得されたX線画像が第1X線画像及び第2X線画像である場合には学習済みモデルM2bを選択し、取得されたX線画像が第1X線画像又は第2X線画像である場合には学習済みモデルM2sを選択してもよい。また、実行機能947は、当該選択された学習済みモデルM2b又はM2sと当該取得されたX線画像と当該取得された三次元医用画像とに基づいて、コイル充填率(に関する指標)を出力するようにしてもよい。すなわち、実行機能947は、学習済みモデルM2b,M2sを切り替えて実行してもよい。あるいは、実行機能947は、学習済みモデルM2b,M2sを並列に実行してもよい。実行機能947は、第1取得部、第2取得部及び処理部の一例である。
画像生成機能948は、図10に示したように、実行機能947により出力された指標(例、コイル充填率)に基づいてコイル充填状況を示す画像92a,92b,92cを生成する。画像92a,92b,92cの詳細については、前述した画像72a,72b,72cと同様である。画像生成機能948は、全ての画像92a,92b,92cを生成する必要はなく、少なくとも1つの画像を生成すればよい。画像生成機能948は、画像生成部の一例である。
表示制御機能949は、例えば、入力インタフェース93からの信号を読み込んで、メモリ91から所望の医用画像データを取得してディスプレイ92に表示する制御などを行う。また、表示制御機能949は、画像生成機能948により生成された画像92a〜92cをディスプレイ72に表示させる。表示制御機能949は、表示制御部の一例である。
ネットワークインタフェース96は、医用情報処理装置90をネットワークNwに接続してX線診断装置1、X線CT装置200又はMRI装置210等の他の装置と通信するための回路である。ネットワークインタフェース96としては、例えば、ネットワークインタフェースカード(NIC)が使用可能となっている。以下の説明では、他の装置との通信にネットワークインタフェース96が介在する旨の記載を省略する。
なお、医用情報処理装置90内のデータ作成機能945、学習制御機能946、実行機能947、画像生成機能948及び表示制御機能949は、X線診断装置1内のデータ作成機能745、学習制御機能746、実行機能747、画像生成機能748及び表示制御機能749と同様の機能である。すなわち、医用情報処理システムとしては、医用情報処理装置90内の各機能945〜949、又はX線診断装置1内の各機能745〜749、のいずれかの動作が実行される。なお、医用情報処理装置90の処理回路94は、X線診断装置1内の画像処理機能744と同様の画像処理機能を更に実現してもよい。
X線CT装置200は、被検体Pに関して医用画像を撮影する医用画像診断装置の一例である。X線CT装置200は、被検体PをCT撮影し、得られたCT画像(ボリュームデータ)をX線診断装置1又は医用情報処理装置90に送信する。
MRI装置210は、被検体Pに関して医用画像を撮影する医用画像診断装置の他の一例である。MRI装置210は、被検体PをMRI撮影し、得られたMRI画像(ボリュームデータ)をX線診断装置1又は医用情報処理装置90に送信する。
次に、以上のように構成された医用情報処理装置の動作について図12のフローチャートを用いて説明する。なお、X線診断装置1の処理回路74、及び医用情報処理装置90の処理回路94は、データ作成機能、学習制御機能、実行機能、画像生成機能及び表示制御機能に関し、ほぼ同様の動作を実行する。これに伴い、重複した文言の繰り返しを避けて理解を容易にする観点から、以下の説明では、当該各機能の動作について、医用情報処理装置90の処理回路94を代表例に挙げて述べる。このような代表例の説明は、適宜、装置名及び参照符号などを読み替えることにより、X線診断装置1の処理回路74の動作の説明に適用することができる。このことは、以下の各実施形態でも同様である。また、医用情報処理装置90のメモリ91は、学習済みモデルM2b,M2sを記憶した状態であるとする。また、以下の説明は、コイル充填率に関する指標がコイル充填率である場合を例に挙げて述べる。
始めに、X線CT装置200は、被検体Pの動脈瘤をCT撮影し、得られた三次元のCT画像(ボリュームデータ)を医用情報処理装置90に送信する。医用情報処理装置90の処理回路94は、受信したCT画像をメモリ91に保存する。なお、CT画像に代えて、MRI装置210が送信した三次元のMRI画像(ボリュームデータ)をメモリ91に保存してもよい。以下の説明は、CT画像を保存した場合を代表例に挙げて述べる。
ステップST10において、医用情報処理装置90の処理回路94は、操作者による入力インタフェース93の操作に応じて、メモリ91から三次元医用画像としての三次元のCT画像(ボリュームデータ)を読み出す。これにより、被検体の動脈瘤を撮影した三次元医用画像を取得する。この三次元医用画像は、コイル塞栓術を施す前の画像であり、動脈瘤にコイルが充填されていない。
ステップST20において、X線診断装置1の処理回路74は、操作者による入力インタフェース73の操作に応じて、撮像装置10を制御してCアーム9及びΩアーム19の各々の撮像角度を調整し、X線透視撮像を開始する。これにより、被検体PのX線画像が動画として得られる。このX線画像は、例えば第1X線画像及び第2X線画像であり、X線透視撮像中、X線診断装置1から医用情報処理装置90に送信される。なお、第1X線管5及び第2X線管15のうちの一方のX線照射を止めてコイル塞栓術を行う場合には、送信されるX線画像は、第1X線画像又は第2X線画像となる。いずれにしても、医用情報処理装置90の処理回路94は、受信したX線画像をメモリ91に保存する一方、ディスプレイ92に表示させる。このX線透視下において、コイル塞栓術が開始される。コイル塞栓術では、術者がリアルタイムで表示されるX線画像を視認しながら、カテーテル及びガイドワイヤを血管内に挿入して動脈瘤まで進行させ、動脈瘤にコイルを充填していく。なお、リアルタイムでの表示は、厳密に、撮像された瞬間に表示する処理を意味するのではなく、X線診断装置1側でX線画像が順次取得される処理に並行して、医用情報処理装置90側で当該X線画像が順次表示される処理を意味する。
ステップST20の後、ステップST30において、医用情報処理装置90の処理回路94は、X線画像(第1X線画像及び/又は第2X線画像)をメモリ71から取得する。
また、処理回路94は、ステップST10で取得した医用三次元画像と、当該取得したX線画像(第1X線画像及び/又は第2X線画像)と、学習済みモデルM2b,M2sとに基づいて、当該取得されたX線画像上の動脈瘤に対するコイル充填率を出力する。
補足すると、コイル塞栓術において、第1X線管5及び第2X線管15の両方からX線照射を行う場合には、図7に示したように、X線画像として第1X線画像及び第2X線画像が取得され、学習済みモデルとしてバイプレーン用の学習済みモデルM2bが選択される。このとき、図9に示したように、シングルプレーン用の学習済みモデルM2sを並列に実行してもよい。
また、第1X線管5及び第2X線管15の一方のX線照射を止めてコイル塞栓術を行う場合には、図8に示したように、X線画像として第1X線画像又は第2X線画像が取得され、学習済みモデルとしてシングルプレーン用の学習済みモデルM2sが選択される。この場合、X線画像は、不定期に撮像角度を切り替えて撮像された一連のX線画像となる。
いずれにしても、処理回路94は、X線画像の個数に応じて選択した学習済みモデルM2b,M2sを実行し、X線画像上の動脈瘤に対するコイル充填率を出力する。
ステップST30の後、ステップST40において、処理回路94は、出力されたコイル充填率に基づいて、例えば、コイル充填状況を示す画像92bを生成する。
ステップST40の後、ステップST50において、処理回路94は、生成した画像92bを、第1X線画像g1や第2X線画像g2と共に、ディスプレイ92に表示させる。このため、術者は、第1X線画像g1や第2X線画像g2と共に、リアルタイムに表示されるコイル充填状況を示す画像92bを視認しながらコイルの充填を進めていく。このリアルタイムでの表示も前述同様に、X線診断装置1側でX線画像が順次取得される処理に並行して、医用情報処理装置90側で当該X線画像から生成されたコイル充填状況を示す画像が順次表示される処理を意味する。
ステップST50の後、ステップST60において、術者は、ディスプレイ92を視認しながらコイルの充填が完了したか否かを判断する。この判断の結果、否の場合には(ST60:No)、ステップST30に戻り、ステップST30〜ST60の動作が継続される。一方、ステップST60の判断の結果、コイルの充填が完了した場合には(ST60:Yes)、コイル塞栓術を終了する。これにより、動脈瘤内を血栓化させて動脈瘤の破裂を防ぐことができる。
上述したように第1の実施形態によれば、被検体の動脈瘤に関して医用画像診断装置で撮影された三次元医用画像を取得する。当該被検体の動脈瘤に関してX線診断装置で撮像されたX線画像を取得する。動脈瘤が撮影された三次元医用画像及び当該動脈瘤が撮像されたX線画像から当該動脈瘤に対するコイル充填率に関する指標を出力するように機能付けられた学習済みモデルに基づいて、当該取得された三次元医用画像、当該取得されたX線画像及び当該学習済みモデルから、当該取得されたX線画像上の動脈瘤に対するコイル充填率に関する指標を出力する。当該出力された指標に基づいてコイル充填状況を示す画像を生成する。このように、コイル充填率に関する指標に基づいてコイル充填状況を示す画面を生成する構成により、コイル充填率を用いるコイル塞栓術において、術者を支援することができる。
補足すると、X線診断装置1のX線画像において、コイルの重なりの程度は、視認しにくいが、X線画像データ上には差異が存在する。このため、三次元医用画像(における動脈瘤内腔の形状・体積)と、X線画像上のコイルの形状・濃度変化からコイル充填率に関する指標を出力し、指標に応じてコイル充填状況を表示する。このように、コイル充填状況を表示することにより、コイル塞栓術を支援することができる。
また、第1の実施形態によれば、X線画像が、互いに異なる2つの撮像角度で並列に撮像された第1X線画像及び第2X線画像であってもよい。この場合、2つの撮像角度の第1X線画像及び第2X線画像に基づくコイル充填率に関する指標が得られるので、前述した効果に加え、得られる指標の精度を向上させることができる。
また、第1の実施形態によれば、X線画像が、不定期に撮像角度を切り替えて撮像された一連のX線画像であってもよい。この場合、必要により撮像角度を切り替えて一連のX線画像を撮像するので、並列に撮像された第1X線画像及び第2X線画像を用いるときに比べ、被検体における被曝量を低減させることができる。
また、第1の実施形態によれば、X線画像としては、互いに異なる2つの撮像角度で並列に撮像された第1X線画像及び第2X線画像のうちの少なくとも一方である。学習済みモデルとしては、X線画像が第1X線画像及び第2X線画像である場合の第1学習済みモデルと、X線画像が第1X線画像又は第2X線画像である場合の第2学習済みモデルとを含んでいる。また、取得されたX線画像が第1X線画像及び第2X線画像である場合には第1学習済みモデルを選択し、取得されたX線画像が第1X線画像又は第2X線画像である場合には第2学習済みモデルを選択し、選択された学習済みモデルと取得されたX線画像と取得された三次元医用画像とに基づいて、指標を出力するようにしてもよい。このような場合には、コイル塞栓術の途中で、第1X線画像及び第2X線画像を用いて高精度に指標を得るときと、第1X線画像又は第2X線画像を用いて被曝量を低減させるときとを切り替えることができる。
<第2の実施形態>
次に、第2の実施形態に係る医用情報処理装置について説明する。以下の説明は、前述した図面と同一部分については同一符号を付してその詳しい説明を省略し、主に、異なる部分について述べる。このことは、以下の各実施形態についても同様である。
第2の実施形態は、第1の実施形態に対応する学習用データの作成及び機械学習モデルの学習に関する形態である。
これに伴い、処理回路94は、図3乃至図6に示したように、前述したデータ作成機能945、及び前述した学習制御機能946の動作を実行する。
他の構成は、第1の実施形態と同様である。
次に、第2の実施形態に係る医用情報処理装置の動作について説明する。以下の説明は、学習用データの作成に関する動作(図3及び図4)、及び機械学習モデルの学習制御に関する動作(図5及び図6)、の順に述べる。また、以下の説明は、前述同様に、コイル充填率に関する指標がコイル充填率である場合を例に挙げて述べる。
(学習用データの作成に関する動作)
医用情報処理装置90の処理回路94は、操作者による入力インタフェース93の操作により、X線CT装置200又はMRI装置210に対し、過去にコイル塞栓術を施したときの動脈瘤の三次元医用画像を要求する。これにより、処理回路94は、X線CT装置200又はMRI装置210から受信した当該三次元医用画像をメモリ91に保存する。同様に、医用情報処理装置90の処理回路94は、操作者による入力インタフェース93の操作により、X線診断装置1に対し、コイル塞栓術において、当該三次元医用画像の動脈瘤と同じ動脈瘤を撮像した第1X線画像及び第2X線画像を要求する。処理回路94は、X線診断装置1から受信した当該第1X線画像及び第2X線画像をメモリ91に保存する。
学習用データの作成に用いる三次元医用画像は、コイル塞栓術を施す前の画像であり、コイル充填前の動脈瘤が撮影されている。学習用データの作成に用いる第1X線画像及び第2X線画像は、コイル塞栓術の際の動画であり、コイル充填前からコイル充填後までの動脈瘤が撮像されている。
処理回路94は、操作者の操作に応じて、メモリ91内の第1X線画像及び第2X線画像をディスプレイ92に表示させる。また、処理回路94は、コイル充填前とコイル充填後との間の複数の時点において、操作者の操作に応じて、第1X線画像及び第2X線画像上の動脈瘤に対するコイル充填率に関する指標を設定する。なお、処理回路94は、コイル充填率に関する指標を設定する際に、操作者の操作に応じて、動画像であるX線画像を一時停止、再生、逆再生、コマ送り、コマ戻し可能なことが好ましい。
ここで、コイル充填率に関する指標を設定する手法としては、例えば(a)〜(d)などが適宜、可能となっている。
(a)表示中の第1X線画像及び第2X線画像に対し、操作者が見積もったコイル充填率に関する指標を設定する。
(b)コイル充填前の三次元医用画像と、コイル充填後の三次元医用画像とに基づいて算出したコイル充填率に関する指標を設定する。当該指標がコイル充填率の場合、例えば、コイル充填前の三次元医用画像における動脈瘤内腔のボクセル数に基づき、動脈瘤内腔の体積を算出する。また、コイル充填後の三次元医用画像における動脈瘤内腔に充填されたコイルのボクセル数に基づき、充填されたコイルの体積を算出する。しかる後、当該コイルの体積を当該動脈瘤内腔の体積で除算することにより、コイル充填率を算出する。なお、コイル充填率は、当該コイルのボクセル数を動脈瘤内腔のボクセル数で除算することにより算出してもよい。また、コイル充填後の三次元画像の他に、コイル充填中の三次元医用画像を用いて、コイル充填中のコイル充填率を算出してもよい。また、算出したコイル充填率は、適宜、未充填率などの他の指標に換算してもよい。
(c)上記(b)の変形例であり、コイル充填前の三次元医用画像を用いず、コイル充填後の三次元医用画像のみに基づいて算出したコイル充填率に関する指標を設定する。この場合、上記(b)において、コイル充填前の三次元医用画像に代えて、コイル充填後の三次元医用画像を用いることにより、同様に、コイル充填率を算出可能である。また同様に、コイル充填後の三次元画像の他に、コイル充填中の三次元医用画像を用いて、コイル充填中のコイル充填率を算出してもよい。また同様に、算出したコイル充填率は、適宜、未充填率などの他の指標に換算してもよい。
(d)コイル充填前の三次元医用画像と、充填したコイルの本数とに基づいて算出したコイル充填率に関する指標を設定する。当該指標がコイル充填率の場合、例えば、コイル充填前の三次元医用画像における動脈瘤内腔のボクセル数に基づき、動脈瘤内腔の体積を算出する。また、コイル充填中及び充填後の各々で充填したコイルの本数に基づき、充填されたコイルの体積を算出する。しかる後、当該コイルの体積を当該動脈瘤内腔の体積で除算することにより、コイル充填率を算出する。なお、コイル充填率は、当該コイルの本数を動脈瘤内腔のボクセル数で除算することにより算出してもよい。また同様に、算出したコイル充填率は、適宜、未充填率などの他の指標に換算してもよい。
いずれにしても、コイル充填前とコイル充填後との間の複数の時点において、第1X線画像及び第2X線画像に基づくコイル充填率に関する指標の設定が終了したとする。このとき、処理回路94は、図3に示したように、当該三次元医用画像と、当該第1X線画像及び第2X線画像と、当該コイル充填率(に関する指標)とを、学習済みモデルに使用するための学習用データとして出力する。学習用データは、三次元医用画像、第1X線画像及び第2X線画像である入力側データと、コイル充填率である出力側データとを含んでいる。あるいは、処理回路94は、図4に示したように、当該三次元医用画像と、当該第1X線画像又は第2X線画像と、当該コイル充填率(に関する指標)とを、学習済みモデルに使用するための学習用データとして出力する。学習用データは、三次元医用画像、第1X線画像又は第2X線画像である入力側データと、コイル充填率である出力側データとを含んでいる。いずれにしても、処理回路94は、作成した学習用データをメモリ91に保存する。これにより、コイル塞栓術を施した1つの動脈瘤に関する学習用データの作成が終了する。以下同様に、上述した動作を繰り返し実行することにより、機械学習に用いる量の学習用データが作成される。
(学習制御に関する動作)
処理回路94は、図5又は図6に示したように、機械学習に用いる量の学習用データを順次、用いて機械学習モデルM1b,M1sに機械学習を行わせる。このとき、機械学習モデルM1b,M1sは、学習用データのうち、入力された三次元医用画像及びX線画像に基づいて、当該X線画像上の動脈瘤に対するコイル充填率(に関する指標)を出力する。また、処理回路94は、機械学習モデルM1b,M1sから出力されたコイル充填率(に関する指標)が、学習用データ内の当該コイル充填率(に関する指標)に近づくように、機械学習モデルM1b,M1sのパラメータ等を調整し、機械学習モデルM1b,M1sに機械学習を行う。
機械学習の終了により、処理回路94は、パラメータ等を調整済みの機械学習モデルM1b,M1sとして、学習済みモデルM2b,M2sを作成する。作成された学習済みモデルM2b,M2sは、医用三次元画像及びX線画像に基づいて、当該X線画像上の動脈瘤に対するコイル充填率に関する指標を出力するように機能付けられている。処理回路94は、作成した学習済みモデルM2b,M2sをメモリ91に保存する。
上述したように第2の実施形態によれば、コイル塞栓術において、X線画像からコイル充填率に関する指標を出力する学習済みモデル及びその学習用データを作成することができる。
<第3の実施形態>
第3の実施形態は、第1及び第2の実施形態の変形例であり、機械学習の効率の向上を図るため、学習用データが、三次元医用画像に代えて、三次元医用画像から得られる動脈瘤内腔の形状・体積データを含む構成となっている。ここで、形状・体積データとしては、例えば、X線画像の撮像角度に応じて三次元医用画像から抽出した動脈瘤内腔の輪郭形状を示す二次元画像データと、当該三次元医用画像から抽出した動脈瘤内腔のボクセルの個数に基づく体積の値とが使用可能となっている。また前述同様に、コイル充填率に関する指標がコイル充填率である場合を例に挙げて述べる。
これに伴い、処理回路94のデータ作成機能945としては、図13に一例を示すように、前述した三次元医用画像に代えて、当該三次元医用画像から得られる動脈瘤内腔の形状・体積データを含む学習用データを作成する。なお、データ作成機能945は、例えば操作者による入力インタフェース93の操作に応じて、メモリ91内の三次元医用画像から動脈瘤を特定することにより、当該動脈瘤内腔の形状・体積データを作成する。これにより、データ作成機能945は、当該動脈瘤内腔の形状・体積データ、前述した第1X線画像及び第2X線画像である入力側データと、前述したコイル充填率である出力側データとを含む学習用データを出力する。このことは、図示しないが、図4に示した如き、シングルプレーン用の学習用データにも適用可能である。すなわち、データ作成機能945は、動脈瘤内腔の形状・体積データ、前述した第1X線画像である入力側データと、前述したコイル充填率である出力側データとを含む学習用データを出力してもよい。同様に、データ作成機能945は、動脈瘤内腔の形状・体積データ、前述した第2X線画像である入力側データと、前述したコイル充填率である出力側データとを含む学習用データを出力してもよい。なお、「動脈瘤内腔」の用語は、「動脈瘤」に読み替えてもよい。
また、処理回路94の学習制御機能946としては、本実施形態に係る学習用データを順次、用いて機械学習モデルM1b,M1sに機械学習を行わせることにより、前述同様に、学習済みモデルM2b,M2sを作成する。作成された学習済みモデルM2b,M2sは、動脈瘤内腔の形状・体積データ及びX線画像に基づいて、当該X線画像上の動脈瘤に対するコイル充填率を出力するように機能付けられている。処理回路94は、作成した学習済みモデルM2b,M2sをメモリ91に保存する。
また、処理回路94の実行機能947は、図14に示すように、例えば操作者による入力インタフェース93の操作に応じて、メモリ91内の三次元医用画像から動脈瘤を特定することにより、当該動脈瘤内腔の形状・体積データを作成する。また、処理回路94の実行機能947は、作成した形状・体積データと、第1X線画像及び第2X線画像と、学習済みモデルとに基づいて、第1X線画像及び第2X線画像上の動脈瘤に対するコイル充填率を出力する。このことは、図示しないが、図8又は図9に示した如き、シングルプレーン用の学習済みモデルM2sにも適用可能である。すなわち、データ作成機能945は、動脈瘤内腔の形状・体積データと、前述した第1X線画像又は第2X線画像と、学習済みモデルM2sとに基づいて、前述したコイル充填率を出力してもよい。
他の構成は、第1及び第2の実施形態と同様である。
以上のような構成によれば、学習用データが、三次元医用画像に代えて、三次元医用画像から得られる動脈瘤内腔の形状・体積データを含むので、機械学習モデルM1b,M1sの入力層のユニットの個数を減少させることができる。例えば、三次元医用画像の入力に用いる入力層のユニットの個数(三次元医用画像のボクセルの個数)を、形状・体積データの入力に用いる入力層のユニットの個数(二次元画像データの画素の個数と、体積値の個数との合計)に減少させることができる。これに伴い、機械学習モデルM1b,M1sの構成の簡素化を図ることができ、もって、機械学習の効率の向上を図ることができる。
同様に、学習済みモデルM2b,M2sが、三次元医用画像に代えて、三次元医用画像から得られる動脈瘤内腔の形状・体積データと、X線画像とに基づいて、コイル充填率に関する指標を出力するので、学習済みモデルM2b,M2sの構成の簡素化を図ると共に、コイル充填率の演算の高速化を図ることができる。例えば、学習済みモデルM2b,M2sにおいて、三次元医用画像から形状・体積データに対応する特徴量の抽出を省略することを期待できるため、コイル充填率の演算の高速化を図ることができる。あるいは、学習済みモデルM2b,M2sにおいて、入力層のユニットの個数を低減することから中間層の演算の簡素化を期待できるため、コイル充填率の演算の高速化を図ることができる。
以上説明した少なくとも一つの実施形態によれば、被検体の動脈瘤に関して医用画像診断装置で撮影された三次元医用画像を取得する。当該被検体の動脈瘤に関してX線診断装置で撮像されたX線画像を取得する。動脈瘤が撮影された三次元医用画像及び前記動脈瘤が撮像されたX線画像から前記動脈瘤に対するコイル充填率に関する指標を出力するように機能付けられた学習済みモデルに基づいて、当該取得された三次元医用画像、当該取得されたX線画像及び当該学習済みモデルから、当該取得されたX線画像上の動脈瘤に対するコイル充填率に関する指標を出力する。当該出力された指標に基づいてコイル充填状況を示す画像を生成する。このように、コイル充填率に基づいてコイル充填状況を示す画面を生成する構成により、コイル充填率を用いるコイル塞栓術において、術者を支援することができる。
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA)等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図2又は図7における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。