JP2023077230A - Ｘ線診断装置、医用画像処理装置、およびプログラム - Google Patents

Abstract

【課題】複数のＸ線エネルギーのそれぞれに対応したＸ線画像にもとづいて高精度にターゲットのセグメンテーションを行うこと。【解決手段】実施形態に係るＸ線診断装置は、画像取得部と、セグメンテーション部とを有する。画像取得部は、第１のＸ線エネルギーを用いたＸ線撮像にもとづく、ターゲットを含む２次元の第１Ｘ線画像を取得するとともに、第１のＸ線エネルギーとは異なる第２のＸ線エネルギーを用いたＸ線撮像にもとづくターゲットを含む２次元の第２Ｘ線画像を取得する。セグメンテーション部は、第１Ｘ線画像と第２Ｘ線画像にもとづいて、ターゲットをセグメンテーションする。【選択図】 図２

Description

本明細書および図面に開示の実施形態は、Ｘ線診断装置、医用画像処理装置、およびプログラムに関する。

Ｘ線診断装置で収集されたＸ線画像の観察を支援するため、Ｘ線画像を観察対象（ターゲット）の領域をセグメンテーションすることがある。たとえばターゲットが造影血管である場合は、Ｘ線画像に含まれる造影血管をセグメンテーションし、セグメンテーション結果をＸ線画像に重畳することで、ユーザは容易にＸ線画像に含まれる造影血管を観察することができる。

ところが、通常の臨床に用いられる一般的なＸ線画像は、骨、軟部組織、造影血管などの様々な構成要素を含んでいる。このため、他の構成要素の影響によってターゲットのセグメンテーションの精度が低下してしまう。

特表２００９－５２５０８４号公報

クリストファー Ｍ. ビショップ（Christopher M. Bishop）著、「パターン認識と機械学習（Pattern recognition and machine learning）」、（米国）、第１版、スプリンガー（Springer）、２００６年、Ｐ．２２５－２９０

本明細書および図面に開示の実施形態が解決しようとする課題の一つは、複数のＸ線エネルギーのそれぞれに対応したＸ線画像にもとづいて高精度にターゲットのセグメンテーションを行うことである。

実施形態に係るＸ線診断装置は、画像取得部と、セグメンテーション部とを有する。画像取得部は、第１のＸ線エネルギーを用いたＸ線撮像にもとづく、ターゲットを含む２次元の第１Ｘ線画像を取得するとともに、第１のＸ線エネルギーとは異なる第２のＸ線エネルギーを用いたＸ線撮像にもとづくターゲットを含む２次元の第２Ｘ線画像を取得する。セグメンテーション部は、第１Ｘ線画像と第２Ｘ線画像にもとづいて、ターゲットをセグメンテーションする。

一実施形態に係る医用画像処理装置を含むＸ線診断装置１０の一構成例を示すブロック図。 図１に示す処理回路３４のプロセッサにより、複数のＸ線エネルギーのそれぞれに対応したＸ線画像にもとづいて高精度にターゲットのセグメンテーションを行う際の概略的な手順の一例を示すフローチャート。 第１実施形態に係るセグメンテーション手順の一例を示すフローチャート。 （ａ）は骨厚さ画像Ｔｂｏｎｅと造影血管をセグメンテーションした骨厚さ画像Ｔｂｏｎｅ＿ｓｅｇの一例を示す説明図、（ｂ）は通常エネルギー仮想画像ｉＩＭと、当該仮想画像ｉＩＭにセグメンテーションされた造影血管ＶＥｓを重畳した重畳画像の一例を示す説明図。 骨厚さ画像Ｔｂｏｎｅにもとづいて造影血管をセグメンテーションした骨厚さ画像Ｔｂｏｎｅ＿ｓｅｇを生成する際のデータフローの一例を示す図。 第１実施形態に係るセグメンテーション機能３４３の学習時におけるデータフローの一例を示す説明図。 第１実施形態に係るセグメンテーション機能３４３の運用時におけるデータフローの一例を示す説明図。 第２実施形態に係るセグメンテーション手順の一例を示すフローチャート。 高エネルギー撮像画像ＩＨと低エネルギー撮像画像ＩＬにもとづいて血管セグメンテーション済み画像Ｔｂｏｎｅ＿ｓｅｇ６２を生成する際のデータフローの一例を示す図。 第２実施形態に係るセグメンテーション機能３４３の学習時におけるデータフローの一例を示す説明図。 第２実施形態に係るセグメンテーション機能３４３の運用時におけるデータフローの一例を示す説明図。 変形例に係る仮想エネルギー画像生成機能３４４の学習時におけるデータフローの一例を示す説明図。 変形例に係る仮想エネルギー画像生成機能３４４の運用時におけるデータフローの一例を示す説明図。

以下、図面を参照しながら、Ｘ線診断装置、医用画像処理装置、およびプログラムの実施形態について詳細に説明する。

本発明の一実施形態に係るＸ線診断装置、医用画像処理装置、およびプログラムは、スペクトラルイメージング技術を利用可能であり、異なる複数のＸ線エネルギーのそれぞれに対応するＸ線画像を取得する。

図１は、一実施形態に係る医用画像処理装置を含むＸ線診断装置１０の一構成例を示すブロック図である。なお、Ｘ線診断装置１０は、異なる複数のＸ線エネルギーのそれぞれに対応するＸ線画像が収集可能なものであればよく、たとえばＸ線ＴＶ装置やＸ線アンギオ装置、一般撮影装置、乳房Ｘ線撮像装置（マンモグラフィ装置）などを含む。

Ｘ線診断装置１０は、図１に示すように、撮像装置２０と医用画像処理装置の一例としてのコンソール３０を有する。

撮像装置２０は、通常は検査室に設置され、被検体に関する画像データを生成するよう構成される。医用画像処理装置の一例としてのコンソール３０は、たとえば検査室に隣接する操作室に設置され、画像データにもとづくＸ線画像を生成して表示を行なう。なお、コンソール３０は、撮像装置２０が設置される検査室に設置されてもよいし、撮像装置２０とネットワークを介して接続されて検査室と離れた遠隔地に設置されてもよい。

撮像装置２０は、Ｘ線管２１、Ｘ線可動絞り２２、ＦＰＤ２３、天板２４、ディスプレイ２５、およびコントローラ２６などを有する。

Ｘ線管２１は、高電圧を印加されてＸ線を発生する。Ｘ線管２１に印加される管電圧はコンソール３０の処理回路３４により制御される。

Ｘ線可動絞り２２は、Ｘ線管２１によって発生されたＸ線の照射範囲を絞り込むための鉛板等であり、複数の鉛板等の組み合わせによってスリットを形成する。たとえば、Ｘ線可動絞り２２は２対の可動羽根を有し、各対の可動羽根が開閉することでＸ線管２１から照射されるＸ線の照射範囲を調整する。

ＦＰＤ２３は、複数のＸ線検出素子（撮像素子群）を有するフラットパネルディテクタ（平面検出器、ＦＰＤ：Flat Panel Detector）により構成され、ＦＰＤ２３に照射されたＸ線を検出し、この検出したＸ線にもとづいて、Ｘ線透視画像やＸ線撮影画像（以下、Ｘ線透視画像およびＸ線撮影画像をＸ線画像と総称する）の画像データを所定のフレームレートで出力する。この画像データはコンソール３０に与えられる。より具体的には、ＦＰＤ２３は、Ｘ線の入射量に応じた信号電荷を蓄積する半導体素子により構成されたＸ線検出素子を複数有する。複数のＸ線検出素子はマトリクス状に配列される。ＦＰＤ２３としては、たとえばＣＭＯＳ－ＦＰＤなどを用いることができる。

Ｘ線管２１とＦＰＤ２３は、天板２４に載置された被検体を挟んで対向配置されればよい。たとえば、Ｘ線管２１とＦＰＤ２３は、図１に示すように被検体を挟んで対向配置されるようにＣアームなどの支持部材の両端部にそれぞれ支持されてもよい。また、Ｘ線管２１とＦＰＤ２３は、それぞれが独立な支持部材に支持されてもよい。

なお、図１にはＣアームがＸ線管２１を天板２４の下方に位置するよう支持するアンダーチューブタイプの場合を例として示したが、Ｘ線管２１を天板２４の上方に位置するよう支持するオーバーチューブタイプであってもよい。また、図１では１つのＣアームから構成されたシングルプレーンのＸ線診断装置１０を例示したが、Ｘ線診断装置１０は２つのアームを備えたバイプレーンのＸ線診断装置であってもよい。また、Ｃアームは、Ｘ線管焦点とＸ線検出器の距離（ＳＩＤ：Source Image receptor Distance）を変更可能なようにＸ線管２１とＦＰＤ２３を保持してもよい。

天板２４は、寝台の上部に設けられ、被検体を載置する。図示しない高電圧電源は、コンソール３０の処理回路３４に制御される。高電圧電源は、Ｘ線管２１に印加する高電圧を発生する機能を有する高電圧発生装置と、Ｘ線管２１が照射するＸ線に応じた出力電圧の制御を行うＸ線制御装置とを有する。高電圧発生装置は、変圧器方式であってもよいし、インバータ方式であってもよい。

ディスプレイ２５は、１または複数の表示領域により構成され、処理回路３４が生成した画像などの各種情報を表示する。ディスプレイ２５は、検査室内のユーザが視認可能な位置に配置され、たとえば液晶ディスプレイやＯＬＥＤ（Organic Light Emitting Diode）ディスプレイなどの一般的な表示出力装置により構成される。

コントローラ２６は、プロセッサおよび記憶回路を少なくとも有する。コントローラ２６は、この記憶回路に記憶されたプログラムに従ってコンソール３０により制御されて、撮像装置２０の各コンポーネントを統括制御する。たとえば、コントローラ２６は、コンソール３０により制御されて、複数のＸ線エネルギーで被検体を撮像してそれぞれのＸ線エネルギーに対応するＸ線画像データを生成し、コンソール３０に与える。

一方、コンソール３０は、ディスプレイ３１、入力インターフェース３２、記憶回路３３、および処理回路３４を有する。

ディスプレイ３１は、たとえば液晶ディスプレイやＯＬＥＤ（Organic Light Emitting Diode）ディスプレイなどの一般的な表示出力装置により構成され、処理回路３４の制御に従って処理回路３４が生成した画像などの各種情報を表示する。

入力インターフェース３２は、たとえばトラックボール、スイッチ、ボタン、マウス、キーボード、操作面へ触れることで入力操作を行なうタッチパッド、光学センサを用いた非接触入力インターフェース、および音声入力インターフェース等などの一般的な入力装置により実現され、ユーザの操作に対応した操作入力信号を処理回路３４に出力する。また、入力インターフェース３２は、ばく射のオンオフを制御するばく射スイッチを含む。

記憶回路３３は、磁気的もしくは光学的記録媒体または半導体メモリなどの、プロセッサにより読み取り可能な記録媒体を含んだ構成を有する。記憶回路３３の記憶媒体内のプログラムおよびデータの一部または全部は、電子ネットワークを介した通信によりダウンロードされてもよいし、光ディスクなどの可搬型記憶媒体を介して記憶回路３３に与えられてもよい。

処理回路３４は、Ｘ線診断装置１０を統括制御する機能を実現する。また、処理回路３４は、記憶回路３３に記憶された画像処理プログラムを読み出して実行することにより、複数のＸ線エネルギーのそれぞれに対応したＸ線画像にもとづいて高精度にターゲット（観察対象）のセグメンテーションを行うための処理を実行するプロセッサである。

ターゲットは、Ｘ線画像に含まれる骨、造影血管、軟部組織などを含む。

処理回路３４のプロセッサは、図１に示すように、画像取得機能３４１、物質弁別機能３４２、セグメンテーション機能３４３、仮想エネルギー画像生成機能３４４、および表示制御機能３４５を実現する。これらの各機能はそれぞれプログラムの形態で記憶回路３３に記憶されている。なお、処理回路３４の機能３４１－３４５の一部は、ネットワークを介してコンソール３０にデータ送受信可能に接続された外部のプロセッサにより実現されてもよい。

画像取得機能３４１は、第１のＸ線エネルギーを用いたＸ線撮像にもとづく、ターゲットを含む２次元の第１Ｘ線画像を取得するとともに、第１のＸ線エネルギーとは異なる第２のＸ線エネルギーを用いたＸ線撮像にもとづくターゲットを含む２次元の第２Ｘ線画像を取得する。画像取得機能３４１は画像取得部の一例である。

Ｘ線エネルギーの変化は、管電圧の切り替えやビームフィルタの変更などにより実現することができる。

第１Ｘ線画像と第２Ｘ線画像は、撮像装置２０を制御してＸ線撮像を実行させて撮像装置２０からリアルタイムに取得されてもよいし、Ｘ線診断装置１０による検査終了後に、Ｘ線診断装置１０からまたはＸ線診断装置１０にネットワークを介して接続された画像サーバからポストプロセスで取得されてもよい。画像サーバは、たとえばＰＡＣＳ（Picture Archiving and Communication System：医用画像保管通信システム）に備えられる画像の長期保管用のサーバであり、ネットワークを介して接続されたＸ線診断装置１０で生成されたＸ線透視画像やＤＳＡ画像などのＸ線画像を記憶している。

以下の説明では、適宜、第１Ｘ線画像を高管電圧に対応する高エネルギー撮像画像ＩＨといい、第２Ｘ線画像を低管電圧に対応する低エネルギー撮像画像ＩＬという。

物質弁別機能３４２は、第１Ｘ線画像と第２Ｘ線画像にもとづいて、物質弁別処理により第１の物質の厚さ分布を示す第１物質弁別画像と、第２の物質の厚さ分布を示す第２物質弁別画像とを生成する。以下の説明では、第１物質弁別画像が、第１Ｘ線画像と第２Ｘ線画像にもとづく物質弁別処理により骨を弁別した骨厚さ画像Ｔｂｏｎｅであり、第２物質弁別画像が、第１Ｘ線画像と第２Ｘ線画像にもとづく物質弁別処理により軟部組織を弁別した軟部組織厚さ画像Ｔｔｉｓｓｕｅである場合の例を示す。物質弁別機能３４２は弁別部の一例である。

セグメンテーション機能３４３は、第１Ｘ線画像と第２Ｘ線画像にもとづいて、ターゲットをセグメンテーションする。セグメンテーション機能３４３は、セグメンテーション部の一例である。

仮想エネルギー画像生成機能３４４は、第１Ｘ線画像と第２Ｘ線画像にもとづいて、第１のＸ線エネルギーおよび第２のＸ線エネルギーのいずれとも異なる第３のＸ線エネルギーを用いたＸ線撮像を模した２次元の仮想的な第３Ｘ線画像を生成する。仮想エネルギー画像生成機能３４４は仮想画像生成部の一例である。

仮想エネルギー画像生成機能３４４は、管電圧およびビームフィルタの少なくとも一方を仮想的に調整することにより、第３のＸ線エネルギーに対応するスペクトルによる投影をシミュレートする。

以下の説明では、第３のＸ線エネルギー（通常エネルギー）に対応する管電圧が、第１のＸ線エネルギー（高エネルギー）に対応する高管電圧と第２のＸ線エネルギー（低エネルギー）に対応する低管電圧との中間の管電圧である場合の例を示す。また、以下の説明では、仮想的な第３Ｘ線画像を通常エネルギー仮想画像ＩｍａｇｉｎａｒｙＩＭ（ｉＩＭ）という。

表示制御機能３４５は、セグメンテーションされたターゲットの画像を、仮想的な第３Ｘ線画像と並列に、または仮想的な第３Ｘ線画像に重畳させて、ディスプレイ２５やディスプレイ３１に表示させる。表示制御機能３４５は表示制御部の一例である。表示制御機能３４５は、セグメンテーションされたターゲットの画像を、第１Ｘ線画像または第２Ｘ線画像に重畳させてディスプレイ２５やディスプレイ３１に表示させてもよい。

図２は、図１に示す処理回路３４のプロセッサにより、複数のＸ線エネルギーのそれぞれに対応したＸ線画像にもとづいて高精度にターゲットのセグメンテーションを行う際の概略的な手順の一例を示すフローチャートである。図２において、Ｓに数字を付した符号はフローチャートの各ステップを示す。

まず、ステップＳ１において、画像取得機能３４１は、入力インターフェース３２のばく射スイッチが押されたか否かを判定する。ばく射スイッチが押されていないときは（ステップＳ１のＮＯ）、一連の手順は終了となる。一方、ばく射スイッチが押されると（ステップＳ１のＹＥＳ）、画像取得機能３４１は、第１のＸ線エネルギーを用いたＸ線撮像にもとづく、ターゲット（たとえば造影血管）を含む２次元の高エネルギー撮像画像ＩＨを取得するとともに（ステップＳ２）、第２のＸ線エネルギーを用いたＸ線撮像にもとづく、ターゲット（たとえば造影血管）を含む２次元の低エネルギー撮像画像ＩＬを取得する（ステップＳ３）。ステップＳ２とステップＳ３の順序は逆でもよい。

次に、ステップＳ４において、セグメンテーション機能３４３は、高エネルギー撮像画像ＩＨと低エネルギー撮像画像ＩＬにもとづいて、ターゲット（たとえば造影血管）をセグメンテーションする。

以上の手順により、複数のＸ線エネルギーのそれぞれに対応したＸ線画像にもとづいてターゲットのセグメンテーションが行われる。１つのＸ線エネルギーに対応した１つのＸ線画像にもとづくセグメンテーションに比べ、複数のＸ線エネルギーのそれぞれに対応したＸ線画像を利用することにより、高精度にターゲットをセグメンテーションすることができる。

以下、複数のＸ線エネルギーのそれぞれに対応したＸ線画像にもとづくターゲットのセグメンテーション方法について詳細に説明する。以下の説明では、ターゲットが造影血管である場合の例を示す。

（第１実施形態）
図３は、第１実施形態に係るセグメンテーション手順の一例を示すフローチャートである。図３においてＳに数字を付した符号はフローチャートの各ステップを示す。図２と同等のステップには同一符号を付し、重複する説明を省略する。

図４（ａ）は骨厚さ画像Ｔｂｏｎｅと造影血管をセグメンテーションした骨厚さ画像Ｔｂｏｎｅ＿ｓｅｇの一例を示す説明図であり、（ｂ）は通常エネルギー仮想画像ｉＩＭと、当該仮想画像ｉＩＭにセグメンテーションされた造影血管ＶＥｓを重畳した重畳画像の一例を示す説明図である。

また、図５は、骨厚さ画像Ｔｂｏｎｅにもとづいて造影血管をセグメンテーションした骨厚さ画像Ｔｂｏｎｅ＿ｓｅｇを生成する際のデータフローの一例を示す図である。

ステップＳ２およびステップＳ３で高エネルギー撮像画像ＩＨおよび低エネルギー撮像画像ＩＬが取得されると、ステップＳ１１において、物質弁別機能３４２は、高エネルギー撮像画像ＩＨと低エネルギー撮像画像ＩＬにもとづいて、物質弁別処理により骨厚さ画像Ｔｂｏｎｅと軟部組織厚さ画像Ｔｔｉｓｓｕｅを生成する（図４（ａ）の左、図５参照）。

図３－５に示す手順では、物質弁別機能３４２は、物質弁別処理において、高エネルギー撮像画像ＩＨと低エネルギー撮像画像ＩＬの各画素について、次の式（１）と式（２）の連立方程式を満たすような骨など（骨と造影血管など）の厚みｄ_ｂｏｎｅと軟部組織の厚みｄ_ｓｏｆｔとを算出する。

ただし、

である。

式（１）～（４）において、N(high)(E)は第１のＸ線エネルギーのスペクトル、N(low)(E)は第２のＸ線エネルギーのスペクトル、μ_ｂｏｎｅ(E)は骨などのＸ線の吸収係数、μ_ｓｏｆｔ(E)は軟部組織の吸収係数をそれぞれ表す。N(high)(E)、N(low)(E)、μ_ｂｏｎｅ(E)、μ_ｓｏｆｔ(E)は、既知の値として記憶回路３３にあらかじめ記憶される。

そして、物質弁別機能３４２は、各画素について求めた骨などの厚みｄ_ｂｏｎｅに応じた輝度値を各画素に割り当てて骨厚さ画像Ｔｂｏｎｅを生成するとともに（図４（ａ）の左参照）、各画素について求めた軟部組織の厚みｄ_ｓｏｆｔに応じた輝度値を各画素が有するように軟部組織厚さ画像Ｔｔｉｓｓｕｅを生成する。

次に、ステップＳ１２において、セグメンテーション機能３４３は、第１物質弁別画像と第２物質弁別画像のうち、ターゲットが含まれている画像において、ターゲットをセグメンテーションする。

セグメンテーション方法としては、動的輪郭法（ｓｎａｋｅｓ法）、Ｌｅｖｅｌ ｓｅｔ法、機械学習により構築された学習済みモデルを用いるセマンティックセグメンテーション法など、従来各種のものが知られており、これらのうち任意のものを使用することが可能である。セマンティックセグメンテーションを用いる場合については、図６－７を用いて後述する。

第１物質弁別画像または第２物質弁別画像は、Ｘ線画像よりも物質ごとのコントラストが明確になっている。このため、第１物質弁別画像または第２物質弁別画像をセグメンテーションすることで、Ｘ線画像をセグメンテーションするよりも正確なセグメンテーションが期待できる。

たとえば、ターゲットが軟部組織の場合は、軟部組織厚さ画像Ｔｔｉｓｓｕｅにおいて少なくとも軟部組織がセグメンテーションされる。

ターゲットが造影血管の場合は、セグメンテーション機能３４３は、骨厚さ画像Ｔｂｏｎｅにおいて少なくとも造影血管ＶＥをセグメンテーションすることで、セグメンテーションされた造影血管ＶＥｓを含む血管セグメンテーション済み画像Ｔｂｏｎｅ＿ｓｅｇを生成する（図４（ａ）の右参照）。これは、血管を造影する造影剤のＸ線の吸収係数が骨に近いため、造影血管ＶＥ（第３の物質）が骨とともに骨厚さ画像Ｔｂｏｎｅに描出されるためである（図４（ａ）の左参照）。

次に、ステップＳ１３において、仮想エネルギー画像生成機能３４４は、骨厚さ画像Ｔｂｏｎｅと軟部組織厚さ画像Ｔｔｉｓｓｕｅの各画素について、仮想的なＸ線エネルギーのスペクトルを用いた仮想的な投影処理を行うことにより、仮想的な通常エネルギー仮想画像ｉＩＭを生成する。

具体的には、仮想エネルギー画像生成機能３４４は、ステップＳ４で求められた骨などの厚みｄ_ｂｏｎｅと軟部組織の厚みｄ_ｓｏｆｔとを次の式（５）に代入し、仮想的な第３のＸ線エネルギー（たとえば通常の臨床に適した通常エネルギー）のスペクトルN(middle)(E)を用いて各画素について投影をシミュレートすることで、仮想的な通常エネルギー仮想画像ｉＩＭを生成する（図４（ｂ）左、図５参照）。

仮想的な第３のＸ線エネルギーのスペクトルN(middle)(E)は、管電圧を仮想的に設定することでシミュレートしてもよいし、ビームフィルタを仮想的に切り替えてシミュレートしてもよいし、管電圧とビームフィルタの両方を調整してシミュレートしてもよい。また、仮想エネルギー画像生成機能３４４は、式（５）を用いて、さらに仮想的な第４のＸ線エネルギーのスペクトルN(middle2)(E)にもとづいて仮想的な第２の通常エネルギー仮想画像を生成してもよい（たとえば、仮想的な第３のＸ線エネルギーが管電圧８０ｋＶに対応するとき、仮想的な第４のＸ線エネルギーはそれより少し小さい管電圧７０ｋＶに対応するなど）。

次に、ステップＳ１４において、表示制御機能３４５は、セグメンテーション結果をディスプレイ２５やディスプレイ３１に表示させる。このとき、表示制御機能３４５は、セグメンテーション結果を、通常エネルギー仮想画像ｉＩＭと並列に、または通常エネルギー仮想画像ｉＩＭに重畳させて（図４（ｂ）の右参照）、ディスプレイ２５やディスプレイ３１に表示させるとよい。

骨厚さ画像Ｔｂｏｎｅや軟部組織厚さ画像Ｔｔｉｓｓｕｅは、物質の厚さ分布を示す画像である。このため、骨厚さ画像Ｔｂｏｎｅや軟部組織厚さ画像Ｔｔｉｓｓｕｅは通常のＸ線画像とはコントラストが異なり、ユーザにとって違和感があり直感的な観察が困難な場合がある。このため、セグメンテーション結果を骨厚さ画像Ｔｂｏｎｅに重畳させる場合に比べ、セグメンテーション結果を通常エネルギー仮想画像ｉＩＭに重畳させたほうが、ユーザは見慣れたコントラストを有する画像を観察することができるため、より高精度に診断を行うことができる。

また、通常エネルギー仮想画像ｉＩＭに重畳されるセグメンテーション結果は、血管セグメンテーション済み画像Ｔｂｏｎｅ＿ｓｅｇそのものであってもよいし、セグメンテーションされた造影血管ＶＥｓだけでもよい。図４（ｂ）の右および図５には、セグメンテーションされた造影血管ＶＥｓを通常エネルギー仮想画像ｉＩＭに重畳する場合の一例を示した。また、セグメンテーションされた造影血管ＶＥｓは、高エネルギー撮像画像ＩＨまたは低エネルギー撮像画像ＩＬに重畳してもよい。

以上の手順により、骨厚さ画像Ｔｂｏｎｅまたは軟部組織厚さ画像Ｔｔｉｓｓｕｅなどの物質弁別画像からターゲットをセグメンテーションすることができる。また、以上の手順により、スペクトラルイメージング技術における両極端なＸ線エネルギーを用いたＸ線撮像を行うだけで、通常の臨床に適した画像を生成するためのＸ線撮像を特別に行って被検体の被ばく線量を増大させてしまうことなく、通常の臨床に適した画像を仮想的に生成し、当該画像にセグメンテーション結果を重畳して表示することができる。

次に、学習済みモデルを用いたセマンティックセグメンテーションにより物質弁別画像からターゲットをセグメンテーションする方法を説明する。

セグメンテーション機能３４３は、機械学習により構築された学習済みモデルを用いてセマンティックセグメンテーションを行うことで物質弁別画像からターゲットを検出してもよい。この場合、機械学習としてＣＮＮ（畳み込みニューラルネットワーク）や畳み込み深層信念ネットワーク（ＣＤＢＮ：Convolutional Deep Belief Network）などの、多層のニューラルネットワークを用いた深層学習を用いてもよい。以下、セグメンテーション機能３４３が深層学習により構築された学習済みモデルを用いる場合の例について説明する。

図６は、第１実施形態に係るセグメンテーション機能３４３の学習時におけるデータフローの一例を示す説明図である。セグメンテーション機能３４３は、多数のトレーニングデータセットを用いて深層学習を行うことにより、パラメータデータ５２を逐次的に更新する。

学習済みモデルは、ターゲットごとに異なるモデルが構築されて利用される。以下、ターゲットが造影血管である場合に利用される学習済みモデルについて説明する。

多数のトレーニングデータセットのそれぞれのトレーニングデータセットは、学習用データ４１と教師データ４２の組からなる。学習用データ４１は、造影血管ＶＥを含む骨厚さ画像Ｔｂｏｎｅ４１１、４１２、４１３、・・・である。教師データ４２は、骨厚さ画像Ｔｂｏｎｅ４１１、４１２、４１３、・・・に対応する血管セグメンテーション済み画像Ｔｂｏｎｅ＿ｓｅｇ４２１、４２２、４２３、・・・である。

血管セグメンテーション済み画像Ｔｂｏｎｅ＿ｓｅｇ４２１、４２２、４２３、・・・は、それぞれ骨厚さ画像Ｔｂｏｎｅ４１１、４１２、４１３、・・・を手動などによりセグメンテーションしたものである。このセグメンテーションは、ターゲットが造影血管である場合は、たとえば血管セグメンテーション済み画像Ｔｂｏｎｅ＿ｓｅｇを造影血管の領域とその他の領域とに分類するように行われる。

セグメンテーション機能３４３は、トレーニングデータセットが与えられるごとに、学習用データ４１をニューラルネットワーク５１で処理した結果が教師データ４２に近づくようにパラメータデータ５２を更新していく、いわゆる学習を行う。一般に、パラメータデータ５２の変化割合が閾値以内に収束すると、学習は終了と判断される。以下、学習後のパラメータデータ５２を特に学習済みパラメータデータ５２ｔという。ニューラルネットワーク５１と学習済みパラメータデータ５２ｔは学習済みモデル５０を構成する。

図７は、第１実施形態に係るセグメンテーション機能３４３の運用時におけるデータフローの一例を示す説明図である。運用時には、セグメンテーション機能３４３は、造影血管ＶＥを含む骨厚さ画像Ｔｂｏｎｅ６１を入力され、学習済みモデル５０を用いて、血管セグメンテーション済み画像Ｔｂｏｎｅ＿ｓｅｇ６２を生成する。

学習済みモデル５０はニューラルネットワーク５１と学習済みパラメータデータ５２ｔにより構成される。この種の学習の方法および学習済みモデルの構築方法については、非特許文献１に開示された方法など種々の方法が知られている。ニューラルネットワーク５１は、プログラムの形態で記憶回路３３に記憶される。学習済みパラメータデータ５２ｔは、記憶回路３３に記憶されてもよいし、ネットワークを介して処理回路３４と接続された記憶媒体に記憶されてもよい。

学習済みモデル５０（ニューラルネットワーク５１と学習済みパラメータデータ５２ｔ）が記憶回路３３に記憶される場合、処理回路３４のプロセッサにより実現されるセグメンテーション機能３４３は、記憶回路３３から学習済みモデル５０を読み出して実行することで、造影血管ＶＥを含む骨厚さ画像Ｔｂｏｎｅ６１から血管セグメンテーション済み画像Ｔｂｏｎｅ＿ｓｅｇ６２を生成することができる。

また、学習済みモデル５０は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などの集積回路によって構築されてもよい。

（第２実施形態）
第２実施形態に示すＸ線診断装置１０、医用画像処理装置およびプログラムは、骨厚さ画像Ｔｂｏｎｅからではなく高エネルギー撮像画像ＩＨと低エネルギー撮像画像ＩＬにもとづいて血管セグメンテーション済み画像Ｔｂｏｎｅ＿ｓｅｇ６２を生成する点で、第１実施形態および第２実施形態に示すＸ線診断装置１０、医用画像処理装置およびプログラムと異なる。

図８は、第２実施形態に係るセグメンテーション手順の一例を示すフローチャートである。図８においてＳに数字を付した符号はフローチャートの各ステップを示す。図２、図３と同等のステップには同一符号を付し、重複する説明を省略する。

また、図９は、高エネルギー撮像画像ＩＨと低エネルギー撮像画像ＩＬにもとづいて血管セグメンテーション済み画像Ｔｂｏｎｅ＿ｓｅｇ６２を生成する際のデータフローの一例を示す図である。

ステップＳ１１で骨厚さ画像Ｔｂｏｎｅと軟部組織厚さ画像Ｔｔｉｓｓｕｅが生成されると、ステップＳ２１において、セグメンテーション機能３４３は、ターゲットを含む高エネルギー撮像画像ＩＨとターゲットを含む低エネルギー撮像画像ＩＬとにもとづいてターゲットをセグメンテーションする（図９参照）。

図１０は、第２実施形態に係るセグメンテーション機能３４３の学習時におけるデータフローの一例を示す説明図である。

第２実施形態に係るセグメンテーション機能３４３のトレーニングデータセットは、学習用データ４３と教師データ４４の組からなる。学習用データ４３は、高エネルギー撮像画像ＩＨと低エネルギー撮像画像ＩＬの組４３１、４３２、４３３、・・・である。教師データ４４は、血管セグメンテーション済み画像Ｔｂｏｎｅ＿ｓｅｇ４４１、４４２、４４３、・・・である。教師データ４４は、高エネルギー撮像画像ＩＨと低エネルギー撮像画像ＩＬの少なくとも一方において手動などで造影血管をセグメンテーションした画像であってもよいし、第１実施形態に係るセグメンテーション機能３４３の教師データ４２と同じく、高エネルギー撮像画像ＩＨと低エネルギー撮像画像ＩＬにもとづいて生成された骨厚さ画像Ｔｂｏｎｅを手動などで造影血管をセグメンテーションした画像であってもよい。

セグメンテーション機能３４３は、トレーニングデータセットが与えられるごとに、学習用データ４３をニューラルネットワーク７１で処理した結果が教師データ４４に近づくようにパラメータデータ７２を更新し、学習済みパラメータデータ７２ｔを得る。ニューラルネットワーク７１と学習済みパラメータデータ７２ｔは学習済みモデル７０を構成する。

図１１は、第２実施形態に係るセグメンテーション機能３４３の運用時におけるデータフローの一例を示す説明図である。

第２実施形態では、運用時には、セグメンテーション機能３４３は、高エネルギー撮像画像ＩＨと低エネルギー撮像画像ＩＬの組６３を入力され、学習済みモデル７０を用いて血管セグメンテーション済み画像Ｔｂｏｎｅ＿ｓｅｇ６４を生成すればよい。

１つのＸ線エネルギーに対応した１つのＸ線画像にもとづくセグメンテーションでは、ターゲットが背景の濃度に暗く沈んでしまった場合やターゲットのコントラストが悪い場合がある。このような場合であっても、第２実施形態に係るＸ線診断装置１０のセグメンテーション機能３４３は、複数のＸ線エネルギーのそれぞれに対応した複数のＸ線画像にもとづいてターゲットをセグメンテーションすることができるため、高精度にターゲットをセグメンテーションすることができる。

（仮想エネルギー画像生成機能３４４の変形例）
仮想エネルギー画像生成機能３４４は、機械学習により構築された学習済みモデルを用いて高エネルギー撮像画像ＩＨと低エネルギー撮像画像ＩＬから通常エネルギー仮想画像ｉＩＭを生成してもよい。この場合、機械学習としてＣＮＮ（畳み込みニューラルネットワーク）や畳み込み深層信念ネットワーク（ＣＤＢＮ：Convolutional Deep Belief Network）などの、多層のニューラルネットワークを用いた深層学習を用いてもよい。以下、仮想エネルギー画像生成機能３４４が深層学習により構築された学習済みモデルを用いる場合の例について説明する。

なお、この仮想エネルギー画像生成機能３４４の変形例を第２実施形態に適用する場合、図８のステップＳ１１は省略されてもよい。

図１２は、変形例に係る仮想エネルギー画像生成機能３４４の学習時におけるデータフローの一例を示す説明図である。仮想エネルギー画像生成機能３４４は、多数のトレーニングデータセットを用いて深層学習を行うことにより、パラメータデータ１０２を逐次的に更新する。

多数のトレーニングデータセットのそれぞれのトレーニングデータセットは、学習用データ８１と教師データ８２の組からなる。学習用データ８１は、高エネルギー撮像画像ＩＨと低エネルギー撮像画像ＩＬの組８１１、８１２、８１３、・・・である。教師データ８２は、第３のＸ線エネルギーを用いて実際にＸ線撮像を行って取得した実際の第３Ｘ線画像（通常エネルギー撮像画像）ｒＩＭ８２１、８２２、８２３、・・・である。実際の第３Ｘ線画像（通常エネルギー撮像画像）ｒＩＭ８２１、８２２、８２３、・・・のそれぞれは、高エネルギー撮像画像ＩＨと低エネルギー撮像画像ＩＬの組８１１、８１２、８１３、・・・のそれぞれとＸ線エネルギーを除き同一の撮像条件で取得される。

仮想エネルギー画像生成機能３４４は、トレーニングデータセットが与えられるごとに、学習用データ８１をニューラルネットワーク１０１で処理した結果が教師データ８２に近づくようにパラメータデータ１０２を更新し、学習済みパラメータデータ１０２ｔを得る。ニューラルネットワーク１０１と学習済みパラメータデータ１０２ｔは学習済みモデル１００を構成する。

図１３は、変形例に係る仮想エネルギー画像生成機能３４４の運用時におけるデータフローの一例を示す説明図である。運用時には、仮想エネルギー画像生成機能３４４は、高エネルギー撮像画像ＩＨと低エネルギー撮像画像ＩＬの組９１を入力され、学習済みモデル１００を用いて、通常エネルギー仮想画像ｉＩＭ９２を生成する。

学習済みモデル１００（ニューラルネットワーク１０１と学習済みパラメータデータ１０２ｔ）が記憶回路３３に記憶される場合、処理回路３４のプロセッサにより実現される仮想エネルギー画像生成機能３４４は、記憶回路３３から学習済みモデル１００を読み出して実行することで、高エネルギー撮像画像ＩＨと低エネルギー撮像画像ＩＬから通常エネルギー仮想画像ｉＩＭを生成することができる。

以上説明した少なくとも１つの実施形態によれば、複数のＸ線エネルギーのそれぞれに対応したＸ線画像にもとづいて高精度にターゲットのセグメンテーションを行うことができる。

なお、上記実施形態において、「プロセッサ」という文言は、たとえば、専用または汎用のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、または、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（たとえば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、およびフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサがたとえばＣＰＵである場合、プロセッサは記憶回路に保存されたプログラムを読み出して実行することにより、各種機能を実現する。また、プロセッサがたとえばＡＳＩＣである場合、記憶回路にプログラムを保存するかわりに、当該プログラムに相当する機能がプロセッサの回路内に論理回路として直接組み込まれる。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行するハードウェア処理により各種機能を実現する。あるいはまた、プロセッサは、ソフトウェア処理とハードウェア処理とを組み合わせて各種機能を実現することもできる。

また、上記実施形態では処理回路の単一のプロセッサが各機能を実現する場合の例について示したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサが各機能を実現してもよい。また、プロセッサが複数設けられる場合、プログラムを記憶する記憶回路は、プロセッサごとに個別に設けられてもよいし、１つの記憶回路が全てのプロセッサの機能に対応するプログラムを一括して記憶してもよい。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０ Ｘ線診断装置
２５ ディスプレイ
３０ コンソール（医用画像処理装置）
３１ ディスプレイ
４１、４３、８１ 学習用データ
４２、４４、８２ 教師データ
５０、７０、１００ 学習済みモデル
３４１ 画像取得機能
３４２ 物質弁別機能
３４３ セグメンテーション機能
３４４ 仮想エネルギー画像生成機能
３４５ 表示制御機能
ｄ_ｂｏｎｅ 厚み
ｄ_ｓｏｆｔ 厚み
Ｔｂｏｎｅ 骨厚さ画像
Ｔｂｏｎｅ＿ｓｅｇ 血管セグメンテーション済み画像
ＶＥ 造影血管
ＶＥｓ セグメンテーションされた造影血管
ｉＩＭ 通常エネルギー仮想画像（仮想的な第３Ｘ線画像）

Claims (10)

1. 第１のＸ線エネルギーを用いたＸ線撮像にもとづく、ターゲットを含む２次元の第１Ｘ線画像を取得するとともに、前記第１のＸ線エネルギーとは異なる第２のＸ線エネルギーを用いたＸ線撮像にもとづく前記ターゲットを含む２次元の第２Ｘ線画像を取得する画像取得部と、
   前記第１Ｘ線画像と前記第２Ｘ線画像にもとづいて、前記ターゲットをセグメンテーションするセグメンテーション部と、
   を備えたＸ線診断装置。
2. 前記第１Ｘ線画像と前記第２Ｘ線画像にもとづいて、前記第１のＸ線エネルギーおよび前記第２のＸ線エネルギーのいずれとも異なる第３のＸ線エネルギーを用いたＸ線撮像を模した２次元の仮想的な第３Ｘ線画像を生成する仮想画像生成部と、
   セグメンテーションされた前記ターゲットの画像を、前記仮想的な第３Ｘ線画像に重畳させてディスプレイに表示させ、または前記仮想的な第３Ｘ線画像と並列に前記ディスプレイに表示させる表示制御部と、
   をさらに備えた請求項１記載のＸ線診断装置。
3. 前記第１Ｘ線画像と前記第２Ｘ線画像にもとづいて第１物質弁別画像と第２物質弁別画像を生成する弁別部、
   をさらに備え、
   前記仮想画像生成部は、
   前記第１物質弁別画像と前記第２物質弁別画像の各画素について、前記第３のＸ線エネルギーに対応するスペクトルを用いた仮想的な投影処理を行うことにより、前記仮想的な第３Ｘ線画像を生成する、
   請求項２記載のＸ線診断装置。
4. 前記弁別部は、
   前記第１Ｘ線画像と前記第２Ｘ線画像にもとづいて第１の物質および第２の物質の厚みを求め、前記第１物質弁別画像および前記第２物質弁別画像の各画素がそれぞれ前記第１の物質および前記第２の物質の厚みに応じた輝度値を有するよう前記第１物質弁別画像および前記第２物質弁別画像を生成する、
   請求項３記載のＸ線診断装置。
5. 前記ターゲットは、
   前記第１物質弁別画像に描出される前記第１の物質もしくは第３の物質、または前記第２物質弁別画像に描出される前記第２の物質であり、
   前記セグメンテーション部は、
   前記第１物質弁別画像にもとづいて前記第１の物質または前記第３の物質をセグメンテーションした画像を生成する学習済みモデルに対して前記第１物質弁別画像を入力することにより、前記第１の物質または前記第３の物質をセグメンテーションした画像を生成し、または、前記第２物質弁別画像にもとづいて前記第２の物質をセグメンテーションした画像を生成する学習済みモデルに対して前記第２物質弁別画像を入力することにより、前記第２の物質をセグメンテーションした画像を生成する、
   請求項４記載のＸ線診断装置。
6. 前記セグメンテーション部は、
   前記第１Ｘ線画像と前記第２Ｘ線画像とにもとづいて前記ターゲットをセグメンテーションした画像を生成する学習済みモデルに対して前記第１Ｘ線画像と前記第２Ｘ線画像とを入力することにより、前記ターゲットをセグメンテーションした画像を生成する、
   請求項２ないし４のいずれか１項に記載のＸ線診断装置。
7. 前記仮想画像生成部は、
   前記第１Ｘ線画像と前記第２Ｘ線画像とにもとづいて前記仮想的な第３Ｘ線画像を生成する学習済みモデルに対して前記第１Ｘ線画像と前記第２Ｘ線画像を入力することにより、前記仮想的な第３Ｘ線画像を生成する、
   請求項２ないし６のいずれか１項に記載のＸ線診断装置。
8. 第１のＸ線エネルギーを用いたＸ線撮像にもとづく、ターゲットを含む２次元の第１Ｘ線画像を取得するとともに、前記第１のＸ線エネルギーとは異なる第２のＸ線エネルギーを用いたＸ線撮像にもとづく前記ターゲットを含む２次元の第２Ｘ線画像を取得する画像取得部と、
   前記第１Ｘ線画像と前記第２Ｘ線画像にもとづいて、前記ターゲットをセグメンテーションするセグメンテーション部と、
   を備えた医用画像処理装置。
9. セグメンテーションされた前記ターゲットの画像を、前記第１Ｘ線画像または前記第２Ｘ線画像に重畳させてディスプレイに表示させる表示制御部、
   をさらに備えた請求項１記載のＸ線診断装置。
10. コンピュータに、
    第１のＸ線エネルギーを用いたＸ線撮像にもとづく、ターゲットを含む２次元の第１Ｘ線画像を取得するとともに、前記第１のＸ線エネルギーとは異なる第２のＸ線エネルギーを用いたＸ線撮像にもとづく前記ターゲットを含む２次元の第２Ｘ線画像を取得するステップと、
    前記第１Ｘ線画像と前記第２Ｘ線画像にもとづいて、前記ターゲットをセグメンテーションするステップと、
    を実行させるためのプログラム。

Images