JP2022141591A - 医用画像処理装置、ｘ線診断装置及び医用画像処理方法 - Google Patents

Abstract

【課題】Ｘ線画像と超音波画像データとの合成画像において、Ｘ線画像に含まれるオブジェクトの視認性を向上させること。【解決手段】実施形態の医用画像処理装置は、Ｘ線画像取得部と、超音波画像取得部と、オブジェクト抽出部と、画像生成部とを備える。Ｘ線画像取得部は、被検体に関するＸ線画像を取得する。超音波画像取得部は、前記被検体に関する超音波画像データを取得する。オブジェクト抽出部は、前記Ｘ線画像に含まれるオブジェクトを抽出する。画像生成部は、前記Ｘ線画像における座標系と前記超音波画像データにおける座標系との相対的な位置関係に従って、抽出された前記オブジェクトの位置に基づく処理を前記超音波画像データに対して行ない、当該処理を行なった後の処理済み超音波画像データと前記Ｘ線画像とを合成した合成画像を生成する。【選択図】図４

Description

本明細書及び図面に開示の実施形態は、医用画像処理装置、Ｘ線診断装置及び医用画像処理方法に関する。

被検体の体内に医療デバイスを挿入して行なう種々の治療法が知られている。このような治療を行なう際、被検体のＸ線画像を収集して表示することにより、術者による医療デバイスの操作を支援することができる。即ち、術者は、Ｘ線画像を参照することによって、被検体の体内における治療対象部位や医療デバイスの位置関係を把握しつつ、手技を円滑に進めることができる。

但し、Ｘ線画像においては、例えば軟組織など一部の構造が画像上に現れにくい。ここで、超音波画像のような他種の医用画像とＸ線画像とを合成して表示させることにより、より多くの情報を術者に提供することが可能である。

特許第６２９７２８９号公報

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、Ｘ線画像と超音波画像データとの合成画像において、Ｘ線画像に含まれるオブジェクトの視認性を向上させることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

実施形態の医用画像処理装置は、Ｘ線画像取得部と、超音波画像取得部と、オブジェクト抽出部と、画像生成部とを備える。Ｘ線画像取得部は、被検体に関するＸ線画像を取得する。超音波画像取得部は、前記被検体に関する超音波画像データを取得する。オブジェクト抽出部は、前記Ｘ線画像に含まれるオブジェクトを抽出する。画像生成部は、前記Ｘ線画像における座標系と前記超音波画像データにおける座標系との相対的な位置関係に従って、抽出された前記オブジェクトの位置に基づく処理を前記超音波画像データに対して行ない、当該処理を行なった後の処理済み超音波画像データと前記Ｘ線画像とを合成した合成画像を生成する。

図１は、第１の実施形態に係る医用画像処理システムの構成の一例を示すブロック図である。 図２は、第１の実施形態に係るＸ線診断装置の構成の一例を示すブロック図である。 図３Ａは、第１の実施形態に係る超音波画像データの一例を示す図である。 図３Ｂは、第１の実施形態に係る合成画像の生成処理について説明するための図である。 図４は、第１の実施形態に係る超音波画像データに対する処理について説明するための図である。 図５は、第１の実施形態に係る合成画像の一例を示す図である。 図６は、第１の実施形態に係る表示例を示す図である。 図７は、第１の実施形態に係る医用画像処理装置の処理の一連の流れを説明するためのフローチャートである。 図８Ａは、第２の実施形態に係る領域設定処理の一例を示す図である。 図８Ｂは、第２の実施形態に係る領域設定処理の一例を示す図である。 図９Ａは、第２の実施形態に係る領域設定処理の一例を示す図である。 図９Ｂは、第２の実施形態に係る領域設定処理の一例を示す図である。 図１０は、第３の実施形態に係るＸ線診断装置の構成の一例を示すブロック図である。

以下、添付図面を参照しながら、医用画像処理装置、Ｘ線診断装置及び医用画像処理方法の実施形態について詳細に説明する。

（第１の実施形態）
第１の実施形態では、医用画像処理装置３０を含んだ医用画像処理システム１について説明する。図１は、第１の実施形態に係る医用画像処理システム１の構成の一例を示すブロック図である。図１に示すように、第１の実施形態に係る医用画像処理システム１は、Ｘ線診断装置１０、超音波診断装置２０及び医用画像処理装置３０を備える。

図１に示すように、Ｘ線診断装置１０、超音波診断装置２０及び医用画像処理装置３０は、ネットワークＮＷを介して相互に接続される。ネットワークＮＷを介して接続可能であれば、Ｘ線診断装置１０、超音波診断装置２０及び医用画像処理装置３０は任意の場所に設置することができる。例えば、医用画像処理装置３０は、Ｘ線診断装置１０及び超音波診断装置２０とは異なる病院或いは他の施設に設置されてもよい。即ち、ネットワークＮＷは、院内で閉じたローカルネットワークにより構成されてもよいし、インターネットを介したネットワークでもよい。

Ｘ線診断装置１０は、被検体Ｐに関するＸ線画像を収集する装置である。例えば、Ｘ線診断装置１０は、被検体Ｐに対する手技が行なわれている間、Ｘ線画像の収集及び表示を行なう。一例を挙げると、僧帽弁修復、中隔欠損閉鎖、大動脈弁修復といった構造的心疾患の循環器治療において、術者は、被検体Ｐの体内にカテーテル等の医療デバイスを挿入して操作する。Ｘ線診断装置１０は、被検体Ｐの体内に挿入された医療デバイスや、被検体Ｐの体内における治療対象部位等についてＸ線画像を収集し、ディスプレイに表示させることができる。

ここで、図２を用いて、Ｘ線診断装置１０の一例を説明する。図２は、第１の実施形態に係るＸ線診断装置１０の構成の一例を示すブロック図である。図２に示すように、Ｘ線診断装置１０は、Ｘ線高電圧装置１０１と、Ｘ線管１０２と、天板１０３と、検出器１０４と、入力インタフェース１０５と、ディスプレイ１０６と、メモリ１０７と、処理回路１０８とを備える。

Ｘ線高電圧装置１０１は、処理回路１０８による制御の下、Ｘ線管１０２に高電圧を供給する。例えば、Ｘ線高電圧装置１０１は、変圧器（トランス）及び整流器等の電気回路を有し、Ｘ線管１０２に印加する高電圧を発生する高電圧発生装置と、Ｘ線管１０２が照射するＸ線に応じた出力電圧の制御を行うＸ線制御装置とを有する。高電圧発生装置は、変圧器方式であってもよいし、インバータ方式であってもよい。

Ｘ線管１０２は、熱電子を発生する陰極（フィラメント）と、熱電子の衝突を受けてＸ線を発生する陽極（ターゲット）とを有する真空管である。Ｘ線管１０２は、Ｘ線高電圧装置１０１から供給される高電圧を用いて陰極から陽極に向けて熱電子を照射することにより、Ｘ線を発生する。なお、図２では省略しているが、Ｘ線診断装置１０は、Ｘ線管１０２のＸ線照射口付近にＸ線絞り器を備えてもよい。Ｘ線絞り器は、例えば、Ｘ線管１０２により発生されたＸ線の照射範囲を絞り込むコリメータ、及び、Ｘ線管１０２から曝射されたＸ線を調節するフィルタから構成される。

天板１０３は、被検体Ｐを載せるベッドであり、図示しない寝台装置の上に配置される。なお、被検体Ｐは、Ｘ線診断装置１０に含まれない。例えば、寝台装置は、モータ及びアクチュエータ等の駆動機構を有し、後述する処理回路１０８による制御の下、駆動機構を動作させることによって天板１０３を制御する。例えば、寝台装置は、処理回路１０８から受け付けた制御信号に応じて駆動電圧を駆動機構に付加することにより、天板１０３を平行移動させたり傾斜させたりする。

検出器１０４は、例えば、マトリクス状に配列された検出素子を有するＸ線平面検出器（Flat Panel Detector：ＦＰＤ）である。検出器１０４は、Ｘ線管１０２から照射されて被検体Ｐを透過したＸ線を検出し、検出したＸ線量に対応した検出信号を処理回路１０８へと出力する。なお、検出器１０４は、グリッド、シンチレータアレイ及び光センサアレイを有する間接変換型の検出器であってもよいし、入射したＸ線を電気信号に変換する半導体素子を有する直接変換型の検出器であっても構わない。

なお、検出器１０４は、天板１０３の下の所定の位置に配置されてもよいし、移動可能に構成されてもよい。また、Ｘ線管１０２と検出器１０４とは別の支持器によって保持されてもよいし、例えばＣアーム等の支持器によって一体的に保持されてもよい。また、図２においてはＸ線管１０２が被検体Ｐの上方に位置するオーバーチューブ型の構成を図示するが、Ｘ線診断装置１０は、Ｘ線管１０２が被検体Ｐの下方に位置するアンダーチューブ型に構成されていても構わない。

入力インタフェース１０５は、術者等のユーザから各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路１０８に出力する。例えば、入力インタフェース１０５は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、音声入力回路等により実現される。なお、入力インタフェース１０５は、Ｘ線診断装置１０本体と無線通信可能なタブレット端末等で構成されることにしても構わない。また、入力インタフェース１０５は、モーションキャプチャによりユーザからの入力操作を受け付ける回路であっても構わない。一例を挙げると、入力インタフェース１０５は、トラッカーを介して取得した信号やユーザについて収集された画像を処理することにより、ユーザの体動や視線等を入力操作として受け付けることができる。また、入力インタフェース１０５は、マウスやキーボード等の物理的な操作部品を備えるものだけに限られない。例えば、Ｘ線診断装置１０とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路１０８へ出力する電気信号の処理回路も、入力インタフェース１０５の例に含まれる。

ディスプレイ１０６は、各種の情報を表示する。例えば、ディスプレイ１０６は、処理回路１０８による制御の下、ユーザの指示を受け付けるためのＧＵＩ(Graphical User Interface)や、Ｘ線画像等の医用画像を表示する。例えば、ディスプレイ１０６は、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）ディスプレイである。なお、ディスプレイ１０６はデスクトップ型でもよいし、処理回路１０８と無線通信可能なタブレット端末等で構成されることにしても構わない。

メモリ１０７は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。例えば、メモリ１０７は、Ｘ線画像等の各種の医用画像や、処理回路１０８によって読み出されて実行される各種機能に対応するプログラムを記憶する。

処理回路１０８は、収集機能１０８ａ及び出力機能１０８ｂを実行することで、Ｘ線診断装置１０全体の動作を制御する。

例えば、処理回路１０８は、メモリ１０７から収集機能１０８ａに相当するプログラムを読み出して実行することにより、被検体Ｐに関するＸ線画像を収集する。なお、収集機能１０８ａは、収集部の一例である。例えば、収集機能１０８ａは、Ｘ線高電圧装置１０１を制御し、Ｘ線管１０２に供給する電圧を調整することで、被検体Ｐに対して照射されるＸ線量やオン／オフを制御する。また、収集機能１０８ａは、Ｘ線管１０２や天板１０３を含む撮像系の動作を制御することで、撮像範囲や撮像角度を制御する。また、収集機能１０８ａは、検出器１０４から受信した検出信号に基づいてＸ線画像を生成する。なお、収集機能１０８ａは、生成したＸ線画像について各種画像処理を行なってもよい。例えば、収集機能１０８ａは、生成したＸ線画像に対して、画像処理フィルタによるノイズ低減処理や散乱線補正を実行する。

また、例えば、処理回路１０８は、メモリ１０７から出力機能１０８ｂに相当するプログラムを読み出して実行することにより、収集機能１０８ａによって収集されたＸ線画像の出力を行なう。例えば、出力機能１０８ｂは、Ｘ線画像をディスプレイ１０６に表示させる。また、例えば、出力機能１０８ｂは、ネットワークＮＷを介してＸ線画像を外部装置に送信する。一例を挙げると、出力機能１０８ｂは、Ｘ線画像を医用画像処理装置３０に送信する。別の例を挙げると、出力機能１０８ｂは、Ｘ線画像を図示しない画像保管装置に送信する。当該画像保管装置は、例えば、ＰＡＣＳ（Picture Archiving and Communication System）のサーバである。

図２に示すＸ線診断装置１０においては、各処理機能がコンピュータによって実行可能なプログラムの形態でメモリ１０７へ記憶されている。処理回路１０８は、メモリ１０７からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、プログラムを読み出した状態の処理回路１０８は、読み出したプログラムに対応する機能を有することとなる。

なお、図２においては単一の処理回路１０８にて、収集機能１０８ａ及び出力機能１０８ｂが実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路１０８を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路１０８が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。

図１に戻って説明を続ける。図１に示す超音波診断装置２０は、被検体Ｐに関する超音波画像データを収集する装置である。例えば、超音波診断装置２０は、被検体Ｐに対する手技が行なわれている間、超音波プローブを用いた超音波の送受信を行なうことで超音波画像データを収集する。ここで、超音波診断装置２０によって収集された超音波画像データはＸ線診断装置１０によって収集されたＸ線画像と合成される。Ｘ線画像と超音波画像データとの合成画像については後述する。

例えば、超音波診断装置２０が備える超音波プローブは、被検体Ｐの体内に挿入された医療デバイスや、被検体Ｐの体内における治療対象部位等が撮像範囲に含まれるように、被検体Ｐに対する位置や向きが調整される。ここで、超音波プローブの種類については特に限定されるものではない。例えば、超音波プローブは、ＴＥＥ（transesophageal echocardiography：経食道心エコー用超音波）プローブ等の体腔内プローブであってもよいし、被検体Ｐの体表面に装着される体表面プローブであってもよい。

例えば、超音波診断装置２０が備える超音波プローブは、複数の振動子（例えば、圧電振動子）を有する。超音波診断装置２０は、これら複数の振動子を駆動させることで超音波を発生する。また、複数の振動子は、被検体Ｐからの反射波を受信して電気信号に変換する。即ち、被検体Ｐに対して超音波が送信されると、送信された超音波は、被検体Ｐの体内組織における音響インピーダンスの不連続面で次々と反射され、反射波信号（エコー信号）として超音波プローブが有する複数の振動子にて受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。なお、送信された超音波パルスが、移動している血流や心臓壁等の表面で反射された場合の反射波信号は、ドプラ効果により、移動体の超音波送信方向に対する速度成分に依存して周波数偏移を受ける。

なお、超音波診断装置２０が備える超音波プローブは、複数の圧電振動子が一列で配置された１次元超音波プローブであってもよいし、一列に配置された複数の圧電振動子が機械的に揺動される１次元超音波プローブであってもよいし、複数の圧電振動子が格子状に２次元で配置された２次元超音波プローブであってもよい。

更に、超音波診断装置２０は、超音波プローブが受信した反射波信号に基づいて超音波画像データを生成する。例えば、超音波診断装置２０は、プリアンプ、Ａ／Ｄ（Analog／Digital）変換器、受信遅延部、加算器等を有し、超音波プローブが受信した反射波信号に対して各種処理を行って反射波データを生成する。例えば、超音波診断装置２０は、超音波プローブからの超音波ビームの送信方向を制御して被検体Ｐの３次元領域を走査させ、超音波プローブが受信した反射波信号から３次元の反射波データを生成する。

超音波診断装置２０は、反射波データに基づく超音波画像データを生成して、医用画像処理装置３０に送信する。ここで、超音波画像データの種類については特に限定されるものではなく、例えばＢモード画像であってもよいし、ドブラ画像であってもよい。例えば、超音波診断装置２０は、反射波データに対して、対数増幅、包絡線検波処理等を行なうことで、サンプル点ごとの信号強度が輝度の明るさで表現されるＢモード画像を生成することができる。また、超音波診断装置２０は、反射波データに基づいて、移動体のドプラ効果に基づく運動情報を走査領域内の各サンプル点で抽出することで、ドプラ画像を生成することができる。

医用画像処理装置３０は、例えば図１に示すように、入力インタフェース３１と、ディスプレイ３２と、メモリ３３と、処理回路３４とを有する。

入力インタフェース３１、ディスプレイ３２及びメモリ３３については、上述した入力インタフェース１０５、ディスプレイ１０６及びメモリ１０７と同様にして構成することができる。例えば、入力インタフェース３１は、ユーザから各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路３４に出力する。ディスプレイ３２は、処理回路３４による制御の下、ユーザの指示を受け付けるためのＧＵＩや、Ｘ線画像、超音波画像データ、又はこれらの合成画像といった各種の医用画像を表示する。メモリ３３は、Ｘ線画像、超音波画像データ、又はこれらの合成画像といった各種の医用画像を記憶したり、処理回路３４によって読み出されて実行される各種機能に対応するプログラムを記憶したりする。

処理回路３４は、Ｘ線画像取得機能３４ａ、超音波画像取得機能３４ｂ、オブジェクト抽出機能３４ｃ、画像生成機能３４ｄ及び出力機能３４ｅを実行することで、医用画像処理装置３０全体の動作を制御する。Ｘ線画像取得機能３４ａは、Ｘ線画像取得部の一例である。超音波画像取得機能３４ｂは、超音波画像取得部の一例である。オブジェクト抽出機能３４ｃは、オブジェクト抽出部の一例である。画像生成機能３４ｄは、画像生成部の一例である。出力機能３４ｅは、出力部の一例である。

例えば、処理回路３４は、Ｘ線画像取得機能３４ａに対応するプログラムをメモリ３３から読み出して実行することにより、被検体Ｐに関するＸ線画像を取得する。例えば、Ｘ線診断装置１０は、Ｘ線管１０２から被検体Ｐに対してＸ線を照射させるとともに、被検体Ｐを透過したＸ線を検出器１０４で検出することにより、Ｘ線画像を収集する。また、Ｘ線画像取得機能３４ａは、Ｘ線診断装置１０によって収集されたＸ線画像を、ネットワークＮＷを介して取得する。Ｘ線画像取得機能３４ａは、Ｘ線診断装置１０から直接的にＸ線画像を取得してもよいし、画像保管装置等の他の装置を介して取得してもよい。

また、例えば、処理回路３４は、超音波画像取得機能３４ｂに対応するプログラムをメモリ３３から読み出して実行することにより、被検体Ｐに関する超音波画像データを取得する。例えば、超音波診断装置２０は、超音波プローブを用いた超音波の送受信を制御することにより、超音波画像データを収集する。また、超音波画像取得機能３４ｂは、超音波診断装置２０によって収集された超音波画像データを、ネットワークＮＷを介して取得する。超音波画像取得機能３４ｂは、超音波診断装置２０から直接的に超音波画像データを取得してもよいし、画像保管装置等の他の装置を介して取得してもよい。

また、例えば、処理回路３４は、オブジェクト抽出機能３４ｃに対応するプログラムをメモリ３３から読み出して実行することにより、Ｘ線画像に含まれるオブジェクトを抽出する。また、例えば、処理回路３４は、画像生成機能３４ｄに対応するプログラムをメモリ３３から読み出して実行することにより、Ｘ線画像における座標系と超音波画像データにおける座標系との相対的な位置関係に従って、抽出されたオブジェクトの位置に基づく処理を超音波画像データに対して行ない、当該処理を行なった後の処理済み超音波画像データとＸ線画像とを合成した合成画像を生成する。また、例えば、処理回路３４は、出力機能３４ｅに対応するプログラムをメモリ３３から読み出して実行することにより、画像生成機能３４ｄによって生成された合成画像を出力する。オブジェクト抽出機能３４ｃ、画像生成機能３４ｄ及び出力機能３４ｅによる処理については後述する。

図１に示す医用画像処理装置３０においては、各処理機能がコンピュータによって実行可能なプログラムの形態でメモリ３３へ記憶されている。処理回路３４は、メモリ３３からプログラムを読み出して実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路３４は、読み出したプログラムに対応する機能を有することとなる。

なお、図１においては単一の処理回路３４にて、Ｘ線画像取得機能３４ａ、超音波画像取得機能３４ｂ、オブジェクト抽出機能３４ｃ、画像生成機能３４ｄ及び出力機能３４ｅが実現するものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路３４を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路３４が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。

以上、医用画像処理システム１の構成例について説明した。かかる構成のもと、医用画像処理システム１における医用画像処理装置３０は、処理回路３４による処理により、Ｘ線画像と超音波画像データとの合成画像において、Ｘ線画像に含まれるオブジェクトの視認性を向上させる。

まず、Ｘ線画像と超音波画像データとの合成画像を生成して表示するまでの一連の処理について説明する。例えば、循環器治療等の手技が開始された後、Ｘ線診断装置１０は被検体ＰからＸ線画像を収集し、超音波診断装置２０は被検体Ｐから超音波画像データを収集する。以下では一例として、Ｘ線診断装置１０によってＸ線画像Ｉ１が収集される場合について説明する。Ｘ線画像Ｉ１は、Ｘ線照射方向と直交した２軸を有する２次元画像データである。また、以下では一例として、超音波診断装置２０によって超音波画像データＩ２が収集される場合について説明する。例えば図３Ａに示すように、超音波画像データＩ２は３次元画像データ（ボリュームデータ）である。図３Ａは、第１の実施形態に係る超音波画像データＩ２の一例を示す図である。

Ｘ線画像取得機能３４ａは、Ｘ線診断装置１０によって収集されたＸ線画像Ｉ１を、ネットワークＮＷを介して取得する。また、超音波画像取得機能３４ｂは、超音波診断装置２０によって収集された超音波画像データＩ２を、ネットワークＮＷを介して取得する。次に、画像生成機能３４ｄは、Ｘ線画像Ｉ１と超音波画像データＩ２との合成画像を生成する。

具体的には、画像生成機能３４ｄは、まず、Ｘ線画像Ｉ１における座標系と超音波画像データＩ２における座標系との相対的な位置関係を特定する。言い換えると、画像生成機能３４ｄは、Ｘ線画像Ｉ１と超音波画像データＩ２との位置合わせを行なう。

例えば、画像生成機能３４ｄは、超音波画像データＩ２の収集に用いられた超音波プローブＱをＸ線画像Ｉ１から抽出することにより、Ｘ線画像Ｉ１における座標系と超音波画像データＩ２における座標系との相対的な位置関係を特定する。即ち、超音波プローブＱの配置によっては、図３Ｂに示すように、Ｘ線画像Ｉ１の撮像範囲に超音波プローブＱが含まれている場合がある。画像生成機能３４ｄは、Ｘ線画像Ｉ１を解析して超音波プローブＱの位置及び向きを特定することにより、Ｘ線画像Ｉ１における座標系と超音波画像データＩ２における座標系との相対的な位置関係を特定する。なお、図３Ｂは、第１の実施形態に係る合成画像の生成処理について説明するための図である。

一例を挙げると、画像生成機能３４ｄは、超音波プローブＱを示す３Ｄモデルを用いて、Ｘ線画像Ｉ１から超音波プローブＱを抽出する。超音波プローブＱを示す３Ｄモデルは、例えば超音波プローブＱを撮像した３次元画像データから生成することができる。一例を挙げると、超音波プローブＱを示す３Ｄモデルは、Ｘ線ＣＴ（Computed Tomography）装置によって超音波プローブＱを撮像したＸ線ＣＴ画像（ボリュームデータ）から生成することができる。或いは、超音波プローブＱを示す３Ｄモデルは、ＣＡＤ（Computer-Aided Design）データであってもよい。

画像生成機能３４ｄは、Ｘ線画像Ｉ１に対して、超音波プローブＱを示す３Ｄモデルをマッチングさせることで、Ｘ線画像Ｉ１の座標系における超音波プローブＱの位置及び向きを特定する。例えば、画像生成機能３４ｄは、超音波プローブＱを示す３Ｄモデルを平面上に仮想的に投影することで、投影方向毎に、超音波プローブＱの任意の位置及び向きと、Ｘ線画像Ｉ１の座標系とを対応付けることができる。また、Ｘ線診断装置１０の支持器角度等から、Ｘ線画像Ｉ１の収集時における投影方向（Ｘ線照射方向）は既知である。そして、画像生成機能３４ｄは、Ｘ線画像Ｉ１に対して超音波プローブＱを示す３Ｄモデルをマッチングさせることで、Ｘ線画像Ｉ１が収集された時点での超音波プローブＱの位置及び向きを特定することができる。

ここで、超音波画像データＩ２の撮像時、超音波診断装置２０は、超音波プローブＱの振動子から超音波ビームを送信させる。また、超音波診断装置２０は、撮像条件に従って超音波ビームの送信方向を制御して、被検体Ｐの３次元領域を走査させる。超音波画像データＩ２は、この３次元の走査領域について生成されるものであるため、超音波プローブＱに対する超音波画像データＩ２の位置及び向きは、撮像条件から明らかである。従って、画像生成機能３４ｄは、Ｘ線画像Ｉ１の座標系における超音波プローブＱの位置及び向きを特定することにより、Ｘ線画像Ｉ１における座標系と超音波画像データＩ２における座標系との相対的な位置関係を特定することができる。

なお、超音波プローブＱをＸ線画像Ｉ１から抽出することによってＸ線画像Ｉ１における座標系と超音波画像データＩ２における座標系との相対的な位置関係を特定する場合について説明したが、実施形態はこれに限定されるものではない。即ち、Ｘ線画像Ｉ１における座標系と超音波画像データＩ２における座標系との相対的な位置関係を特定する手法については特に限定されるものではなく、任意の手法を採用することができる。

例えば、超音波プローブＱにＸ線不透過のマーカが取り付けられている場合、画像生成機能３４ｄは、これらのマーカをＸ線画像Ｉ１から抽出してもよい。このようなマーカは、Ｘ線画像Ｉ１上に明瞭に描出されるため、容易且つ正確に位置を特定することが可能である。例えば、３つのマーカが取り付けられている場合、画像生成機能３４ｄは、超音波プローブＱに対するマーカの位置と、Ｘ線画像Ｉ１上でのマーカ相互間の距離とに基づいて、Ｘ線画像Ｉ１の座標系における超音波プローブＱの位置及び向きを特定することができる。なお、Ｘ線不透過のマーカは、超音波プローブＱを被検体Ｐに装着するための固定具（ベルト等）に取り付けられてもよい。

別の例を挙げると、超音波プローブＱにセンサが取り付けられている場合、画像生成機能３４ｄは、Ｘ線画像Ｉ１の座標系における超音波プローブＱの位置及び向きをセンサで検出することにより、Ｘ線画像Ｉ１における座標系と超音波画像データＩ２における座標系との相対的な位置関係を特定することができる。なお、センサは、超音波プローブＱを被検体Ｐに装着するための固定具に取り付けられてもよい。

Ｘ線画像Ｉ１における座標系と超音波画像データＩ２における座標系との相対的な位置関係を特定した後、画像生成機能３４ｄは、特定した位置関係に従って、Ｘ線画像Ｉ１と超音波画像データＩ２との合成画像を生成することができる。例えば、画像生成機能３４ｄは、図３Ｂに示すように、Ｘ線画像Ｉ１上の対応する位置に、超音波画像データＩ２を重畳表示させる。例えば、超音波画像データＩ２が３次元画像データ（ボリュームデータ）である場合、画像生成機能３４ｄは、Ｘ線画像Ｉ１を収集した際のＸ線照射方向にレンダリング処理を行なって２次元の超音波画像データを生成し、当該２次元の超音波画像データとＸ線画像Ｉ１との合成画像を生成する。

出力機能３４ｅは、生成された合成画像をディスプレイ３２に表示させる。或いは、出力機能３４ｅは、生成された合成画像を他の装置に送信し、当該他の装置において合成画像の表示が行なわれてもよい。例えば、出力機能３４ｅは、生成された合成画像をＸ線診断装置１０に送信する。この場合、出力機能１０８ｂは、合成画像をディスプレイ１０６に表示させることができる。

Ｘ線画像Ｉ１と超音波画像データＩ２との合成画像を参照することにより、ユーザは、被検体Ｐの体内に挿入された医療デバイスや、造影剤により造影された血管、軟組織等の位置や形状を効率的に把握することができる。但し、図３Ｂに示すように、合成画像においては、Ｘ線画像Ｉ１の一部に超音波画像データＩ２が重なっている。従って、ユーザが操作する医療デバイス等のオブジェクトがＸ線画像Ｉ１に現れている場合において、当該オブジェクトが超音波画像データＩ２に隠れてしまう場合がある。そこで、医用画像処理装置３０は、Ｘ線画像Ｉ１と超音波画像データＩ２との合成画像を生成する際、以下の処理を更に行なうことで、Ｘ線画像Ｉ１に含まれるオブジェクトの視認性を向上させる。

具体的には、Ｘ線画像取得機能３４ａがＸ線画像Ｉ１を取得した後、オブジェクト抽出機能３４ｃは、Ｘ線画像Ｉ１に含まれるオブジェクトを抽出する。ここで、オブジェクトとは、例えばユーザが着目する対象である。オブジェクトの具体例としては、ユーザが操作する医療デバイスや、医療デバイスの進行方向の血管、治療対象部位などを挙げることができる。オブジェクトについてはプリセットされてもよいし、ユーザが適宜選択することとしてもよい。

Ｘ線画像Ｉ１からオブジェクトを抽出する手法については特に限定されるものではない。例えば、ガイドワイヤ、カテーテル、ステント等の医療デバイスをオブジェクトとする場合、オブジェクト抽出機能３４ｃは、医療デバイスの形状に基づくマッチング処理を行なうことで、Ｘ線画像Ｉ１に含まれるオブジェクトを抽出することができる。また、例えば、オブジェクト抽出機能３４ｃは、閾値処理や機械学習等の手法によって、オブジェクトを抽出することもできる。或いは、オブジェクト抽出機能３４ｃは、Ｘ線画像Ｉ１を参照したユーザからオブジェクトを指定する操作を受け付けることにより、オブジェクトを抽出することとしても構わない。

次に、画像生成機能３４ｄは、Ｘ線画像Ｉ１における座標系と超音波画像データＩ２における座標系との相対的な位置関係に従って、抽出されたオブジェクトの位置に基づく処理を超音波画像データＩ２に対して行なう。例えば、画像生成機能３４ｄは、超音波画像データＩ２のうち、抽出されたオブジェクトの位置に応じた領域の透過度を変化させる。

例えば、画像生成機能３４ｄは、まず、Ｘ線画像Ｉ１において抽出されたオブジェクトの位置に応じて、超音波画像データＩ２に対して領域Ｒを設定する。具体的には、Ｘ線画像Ｉ１は、Ｘ線照射方向と直交した２軸を有する２次元画像データであり、オブジェクトの位置は、２次元の座標として特定することができる。そこで、画像生成機能３４ｄは、オブジェクトの位置に相当する座標を通り且つＸ線照射方向に平行な軸を設定し、設定した軸を含むように領域Ｒを設定する。

例えば、オブジェクト抽出機能３４ｃは、図４に示すように、Ｘ線画像に含まれるオブジェクトＤを抽出する。なお、図４においては一例として、オブジェクトＤがステントである場合を示す。次に、画像生成機能３４ｄは、オブジェクトＤの位置に応じて、超音波画像データＩ２に対して、Ｘ線照射方向（画像観察方向）から見て円形となるように領域Ｒを設定する。具体的には、画像生成機能３４ｄは、オブジェクトＤの位置に相当する座標を通り且つＸ線照射方向に平行な軸を設定し、設定した軸が底面の中心を通るとともに当該軸と高さ方向が平行となる円柱を定義する。そして、画像生成機能３４ｄは、定義した円柱と超音波画像データＩ２とで重なる領域を、領域Ｒとして設定する。なお、図４は、第１の実施形態に係る超音波画像データＩ２に対する処理について説明するための図である。

領域Ｒを設定した後、画像生成機能３４ｄは、超音波画像データＩ２に対する処理を実行する。例えば、画像生成機能３４ｄは、領域Ｒを非表示にする。言い換えると、画像生成機能３４ｄは、領域Ｒの透過度を「１００％」に変更する。なお、オブジェクトＤの位置に基づく処理を行なった後の超音波画像データＩ２については、処理済み超音波画像データＩ２’とも記載する。

そして、画像生成機能３４ｄは、図５に示すように、処理済み超音波画像データＩ２’とＸ線画像Ｉ１とを合成した合成画像Ｉ３を生成する。例えば、画像生成機能３４ｄは、処理済み超音波画像データＩ２’に対してＸ線照射方向のレンダリング処理を行なって２次元の超音波画像を生成し、当該２次元の超音波画像とＸ線画像Ｉ１とを合成して、合成画像Ｉ３を生成する。なお、レンダリング処理の種類については特に限定されるものではないが、一例としては、ボリュームデータから３次元の情報を反映した２次元画像データを生成するボリュームレンダリング（Volume Rendering：ＶＲ）処理を挙げることができる。また、図５は、第１の実施形態に係る合成画像の一例を示す図である。

出力機能３４ｅは、合成画像Ｉ３をディスプレイ３２に表示させる。或いは、出力機能３４ｅは、合成画像Ｉ３を他の装置に送信し、当該他の装置において合成画像Ｉ３の表示が行なわれてもよい。例えば、出力機能３４ｅは、生成された合成画像Ｉ３をＸ線診断装置１０に送信する。この場合、出力機能１０８ｂは、合成画像Ｉ３をディスプレイ１０６に表示させることができる。

合成画像Ｉ３を参照することにより、ユーザは、被検体Ｐの体内に挿入された医療デバイスや、造影剤により造影された血管、軟組織等の位置や形状を効率的に把握することができる。特に、図５に示す場合、ステントであるオブジェクトＤの位置と超音波画像データＩ２の撮像範囲とが重なっているが、超音波画像データＩ２の一部が非表示とされていることにより、ユーザは、オブジェクトＤについても視認することができる。即ち、医用画像処理装置３０は、Ｘ線画像Ｉ１と超音波画像データＩ２との合成画像Ｉ３において、Ｘ線画像Ｉ１に含まれるオブジェクトＤの視認性を向上させることができる。

なお、図５においては、超音波画像データＩ２の領域Ｒが非表示となっているが、領域Ｒの表示／非表示は切り替え可能としてもよい。例えば、出力機能３４ｅは、合成画像Ｉ３をディスプレイ３２に表示させるとともに、ユーザからの入力操作に応じて領域Ｒの表示／非表示を切り替える。一例を挙げると、ユーザは、マウス等のポインティングデバイスを操作する。そして、出力機能３４ｅは、合成画像Ｉ３がマウスカーソルでクリックされたり、ＵＩ上の所定のボタンが押されたりしたことをトリガとして、領域Ｒの表示／非表示を切り替えることができる。

また、図５においては、処理済み超音波画像データＩ２’とＸ線画像Ｉ１とを合成した合成画像Ｉ３の表示を行なう場合について説明したが、当該合成画像Ｉ３と共に、Ｘ線画像Ｉ１を更に表示させてもよい。例えば、出力機能３４ｅは、図６に示すように、合成画像Ｉ３とＸ線画像Ｉ１とを並べて表示させる。これにより、オブジェクトＤの視認性を更に向上させることができる。即ち、合成画像Ｉ３においても、領域Ｒが非表示となることによりオブジェクトＤを視認することはできるが、オブジェクトＤの周辺領域は処理済み超音波画像データＩ２’によって隠れた状態となっている。ここで、図６の表示例によれば、周辺領域も含めてオブジェクトＤを観察することが可能となる。

その他、出力機能３４ｅは、種々の画像データと共に合成画像Ｉ３を表示させることができる。例えば、出力機能３４ｅは、合成画像Ｉ３と、領域Ｒが設けられていない状態の超音波画像データＩ２とを並べて表示させてもよい。また、例えば、出力機能３４ｅは、合成画像Ｉ３と、Ｘ線画像Ｉ１と、領域Ｒが設けられていない状態の超音波画像データＩ２とを並べて表示させてもよい。

また、図４及び図５においては、Ｘ線照射方向から見て領域Ｒが円形となる場合について説明したが、領域Ｒの形状については任意に変更が可能である。例えば、画像生成機能３４ｄは、任意形状の底面を有する柱状領域を定義し、定義した円柱と超音波画像データＩ２とで重なる領域を領域Ｒとして設定してもよい。一例を挙げると、画像生成機能３４ｄは、オブジェクトＤの形状に応じた底面を有する柱状領域を定義し、定義した柱状領域と超音波画像データＩ２とで重なる領域を領域Ｒとして設定してもよい。即ち、画像生成機能３４ｄは、オブジェクトＤの位置及び形状に基づく処理を超音波画像データＩ２に対して行なうこととしてもよい。

その他、領域Ｒの形状については種々の変形が可能である。例えば、画像生成機能３４ｄは、Ｘ線照射方向と平行でない高さ方向を有する柱状領域を定義し、定義した柱状領域と超音波画像データＩ２とで重なる領域を領域Ｒとして設定してもよい。或いは、画像生成機能３４ｄは、領域Ｒを柱状でない形状にしてもよい。例えば、画像生成機能３４ｄは、領域Ｒとして球状や錘状の領域を設定してもよい。

また、図４及び図５においては、領域Ｒを非表示にする場合について説明したが、画像生成機能３４ｄは、領域Ｒを半透明にすることとしてもよい。例えば、画像生成機能３４ｄは、超音波画像データＩ２における領域Ｒの透過度を「０％」から「１００％」までの任意の値に変更してもよい。また、この場合の透過度について、ユーザが任意に変更できることとしても構わない。例えば、画像生成機能３４ｄは、超音波画像データＩ２における領域Ｒを所定の透過度に変更して処理済み超音波画像データＩ２’を生成し、処理済み超音波画像データＩ２’とＸ線画像Ｉ１とを合成した合成画像Ｉ３を生成する。また、出力機能３４ｅは、合成画像Ｉ３をディスプレイ３２に表示させるとともに、ユーザからの入力操作に応じて領域Ｒの透過度を変化させる。一例を挙げると、ユーザは、マウス等のポインティングデバイスを操作する。そして、出力機能３４ｅは、マウスホイールの回転やＵＩ上の所定のバーの操作に応じて、領域Ｒの透過度を変化させる。

また、図４においては、超音波画像データＩ２が３次元の画像データであり、領域Ｒについても３次元で設定する場合について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、超音波画像データＩ２を２次元の画像データとし、領域Ｒを２次元で設定することとしてもよい。

この場合、超音波画像取得機能３４ｂは、超音波画像データＩ２を２次元の画像データとして取得する。例えば、超音波画像取得機能３４ｂは、ネットワークＮＷを介して超音波診断装置２０から３次元の超音波画像データを取得し、取得した３次元の超音波画像データに対してＸ線照射方向のレンダリング処理を行なうことで、２次元の超音波画像データＩ２を取得する。或いは、レンダリング処理は超音波診断装置２０において行なうこととし、超音波画像取得機能３４ｂは、ネットワークＮＷを介して超音波診断装置２０から２次元の超音波画像データＩ２を取得することもできる。そして、オブジェクト抽出機能３４ｃによってＸ線画像Ｉ１からオブジェクトＤが抽出された後、画像生成機能３４ｄは、領域Ｒとして、２次元の超音波画像データＩ２のうちオブジェクトＤの位置に応じた２次元領域を設定する。また、画像生成機能３４ｄは、２次元で設定した領域Ｒの透過度を変化させることで、処理済み超音波画像データＩ２’を生成する。即ち、画像生成機能３４ｄは、領域Ｒを３次元領域として各ボクセルの透過度を変化させてもよいし、領域Ｒを２次元領域として各ピクセルの透過度を変化させてもよい。

次に、医用画像処理装置３０による処理の手順の一例を、図７を用いて説明する。図７は、第１の実施形態に係る医用画像処理装置３０の処理の一連の流れを説明するためのフローチャートである。ステップＳ１０１及びステップＳ１０７は、Ｘ線画像取得機能３４ａ及び超音波画像取得機能３４ｂに対応する。ステップＳ１０３は、オブジェクト抽出機能３４ｃに対応する。ステップＳ１０２、ステップＳ１０４及びステップＳ１０５は、画像生成機能３４ｄに対応する。ステップＳ１０６は、出力機能３４ｅに対応する。

まず、処理回路３４は、Ｘ線画像Ｉ１及び超音波画像データＩ２を取得する（ステップＳ１０１）。次に、処理回路３４は、Ｘ線画像Ｉ１及び超音波画像データＩ２の位置合わせを行なう（ステップＳ１０２）。即ち、処理回路３４は、Ｘ線画像Ｉ１における座標系と超音波画像データＩ２における座標系との相対的な位置関係を特定する。

次に、処理回路３４は、Ｘ線画像Ｉ１からオブジェクトＤを抽出する（ステップＳ１０３）。次に、処理回路３４は、Ｘ線画像Ｉ１における座標系と超音波画像データＩ２における座標系との相対的な位置関係に従って、抽出されたオブジェクトＤの位置に基づく処理を超音波画像データＩ２に対して行ない、処理済み超音波画像データＩ２’を生成する（ステップＳ１０４）。次に、処理回路３４は、Ｘ線画像Ｉ１と処理済み超音波画像データＩ２’とを合成して合成画像Ｉ３を生成し（ステップＳ１０５）、生成した合成画像Ｉ３をディスプレイ３２に表示させる（ステップＳ１０６）。

次に、処理回路３４は、新たな画像の有無を判定し（ステップＳ１０７）、新たな画像がある場合には当該新たな画像を取得し（ステップＳ１０７肯定）、ステップＳ１０２に再度移行する。即ち、被検体Ｐに対する手技が行なわれている間、Ｘ線診断装置１０は、所定のフレームレートでＸ線画像Ｉ１を繰り返し撮像することができる。同様に、超音波診断装置２０は、所定のフレームレートで超音波画像データＩ２を繰り返し撮像することができる。このような場合、処理回路３４は、新たなＸ線画像Ｉ１や超音波画像データＩ２を順次取得できるため、新たな画像がある場合には、当該新たな画像を取得し、当該新たな画像に基づいてステップＳ１０２～ステップＳ１０６を再度行ない、表示する合成画像Ｉ３をリアルタイムに更新することができる。一方で、ステップＳ１０７において新たな画像がないと判定した場合（ステップＳ１０７否定）、処理回路３４は、処理を終了する。

例えば、被検体Ｐに対する手技が行なわれている間、Ｘ線診断装置１０及び超音波診断装置２０は、それぞれＸ線画像Ｉ１及び超音波画像データＩ２をリアルタイムに収集する。この場合、処理回路３４は、Ｘ線診断装置１０によって被検体ＰからＸ線画像Ｉ１が新たに収集されるごとに当該Ｘ線画像Ｉ１を順次取得し、超音波診断装置２０によって被検体Ｐから超音波画像データＩ２が新たに収集されるごとに当該超音波画像データＩ２を順次取得する。また、処理回路３４は、新たに取得したＸ線画像Ｉ１からオブジェクトＤを順次抽出する。また、処理回路３４は、抽出したオブジェクトＤの位置に基づく処理を、新たに取得した超音波画像データＩ２に対して順次行ない、当該処理を行なった後の処理済み超音波画像データＩ２’と、新たに取得したＸ線画像Ｉ１とを合成した合成画像Ｉ３を順次生成する。そして、処理回路３４は、生成した合成画像Ｉ３をディスプレイ３２に順次表示させる。この場合、ディスプレイ３２に表示される合成画像Ｉ３は、順次更新されるリアルタイム画像となる。

なお、ステップＳ１０７においては、Ｘ線画像Ｉ１及び超音波画像データＩ２のいずれか一方を新たに取得した場合に、新たな画像があると判定してもよい。例えば、Ｘ線画像Ｉ１がリアルタイムに収集される一方で、超音波画像データＩ２の収集は行なわれないというケースが想定される。例えば、超音波画像データＩ２として、リアルタイムの画像でなく、例えば手技の開始前に収集された画像を用いることが可能である。このような場合、処理回路３４は、ステップＳ１０２からステップＳ１０７までの処理を繰り返し実行することで、合成画像Ｉ３のうち超音波画像データＩ２に基づく部分は更新できないものの、Ｘ線画像Ｉ１に基づく部分を順次更新してリアルタイム表示させることができる。

或いは、超音波画像データＩ２がリアルタイムに収集される一方で、Ｘ線画像Ｉ１の収集は行なわれないというケースが想定される。一例を挙げると、Ｘ線画像の収集を継続している間は被ばくが生じることから、最後に収集されたＸ線画像をリアルタイム画像に代えて表示させるラストイメージホールド（ＬＩＨ：Last Image Hold）という技術が知られている。Ｘ線画像Ｉ１として、リアルタイムの画像でなく、ＬＩＨを用いることが可能である。このような場合、処理回路３４は、ステップＳ１０２からステップＳ１０７までの処理を繰り返し実行することで、合成画像Ｉ３のうちＸ線画像Ｉ１に基づく部分は更新できないものの、超音波画像データＩ２に基づく部分を順次更新してリアルタイム表示させることができる。

また、図７は、ステップＳ１０７で新たな画像があると判定した場合にステップＳ１０２に移行する場合を示すが、ステップＳ１０２を省略してステップＳ１０３に移行することとしても構わない。即ち、ステップＳ１０７においてＸ線画像Ｉ１及び超音波画像データＩ２の少なくとも一方を新たに取得したとしても、撮像角度の変更や被検体Ｐの体動等が特にない場合には、過去に特定された位置関係に従ってステップＳ１０４の処理を再度実行することとしても構わない。

上述したように、第１の実施形態によれば、Ｘ線画像取得機能３４ａは、被検体Ｐに関するＸ線画像Ｉ１を取得する。超音波画像取得機能３４ｂは、被検体Ｐに関する超音波画像データＩ２を取得する。オブジェクト抽出機能３４ｃは、Ｘ線画像Ｉ１に含まれるオブジェクトＤを抽出する。画像生成機能３４ｄは、Ｘ線画像Ｉ１における座標系と超音波画像データＩ２における座標系との相対的な位置関係に従って、抽出されたオブジェクトＤの位置に基づく処理を超音波画像データＩ２に対して行ない、当該処理を行なった後の処理済み超音波画像データＩ２’とＸ線画像Ｉ１とを合成した合成画像Ｉ３を生成する。これにより、第１の実施形態に係る医用画像処理装置３０は、Ｘ線画像Ｉ１と超音波画像データＩ２との合成画像Ｉ３において、Ｘ線画像Ｉ１に含まれるオブジェクトＤの視認性を向上させることができる。

（第２の実施形態）
上述した第１の実施形態では、１つのＸ線画像Ｉ１に基づいて領域Ｒの設定を行なう場合について説明した。これに対し、第２の実施形態では、複数のＸ線画像Ｉ１に基づいて領域Ｒの設定を行なう場合について説明する。第２の実施形態に係る医用画像処理システム１は、図１に示した医用画像処理システム１と同様の構成を有し、画像生成機能３４ｄによる処理の一部が相違する。第１の実施形態において説明した構成と同様の構成を有する点については、図１及び図２と同一の符号を付し、説明を省略する。

例えば、心疾患の治療に用いられるステント等の医療デバイスは、心拍等の影響を受けて、被検体Ｐの体内において位置が変動する場合がある。このような医療デバイスについて経時的に複数のＸ線画像Ｉ１を収集する場合、Ｘ線画像Ｉ１上の医療デバイスの位置は心位相ごとに変化する。

以下、複数のＸ線画像Ｉ１を用いて領域Ｒの設定を行なう場合について、図８Ａ、図８Ｂ、図９Ａ、及び図９Ｂを用いて説明する。なお、複数のＸ線画像Ｉ１は、経時的に収集された複数時相のＸ線画像である。図８Ａ、図８Ｂ、図９Ａ及び図９Ｂは、第２の実施形態に係る領域設定処理の一例を示す図である。

例えば、Ｘ線診断装置１０は、時間Ｔ１においてＸ線画像Ｉ１１を収集し、時間Ｔ２においてＸ線画像Ｉ１２を収集し、時間Ｔ３においてＸ線画像Ｉ１３を収集する。Ｘ線画像Ｉ１１～Ｉ１３は、Ｘ線画像Ｉ１の一例である。この場合、図８Ａに示すように、時間Ｔ１における医療デバイス（以下、オブジェクトＤ１とする）の位置と、時間Ｔ２における医療デバイス（以下、オブジェクトＤ２とする）の位置と、時間Ｔ３における医療デバイス（以下、オブジェクトＤ３とする）の位置とは、互いに異なっている場合がある。

オブジェクト抽出機能３４ｃは、Ｘ線画像Ｉ１１に含まれるオブジェクトＤ１を抽出し、画像生成機能３４ｄは、超音波画像データＩ２のうちオブジェクトＤ１の位置に応じた領域Ｒ１を設定する。同様に、オブジェクト抽出機能３４ｃは、Ｘ線画像Ｉ１２に含まれるオブジェクトＤ２を抽出し、画像生成機能３４ｄは、超音波画像データＩ２のうちオブジェクトＤ２の位置に応じた領域Ｒ２を設定する。同様に、オブジェクト抽出機能３４ｃは、Ｘ線画像Ｉ１３に含まれるオブジェクトＤ３を抽出し、画像生成機能３４ｄは、超音波画像データＩ２のうちオブジェクトＤ３の位置に応じた領域Ｒ３を設定する。なお、図８Ａに示す領域Ｒ１～Ｒ３は、抽出されたオブジェクトＤの位置及び形状に基づく楕円形の領域である。

ここで、画像生成機能３４ｄは、超音波画像データＩ２のうち領域Ｒ１の透過度を変化させた処理済み超音波画像データＩ２１’を生成し、処理済み超音波画像データＩ２１’とＸ線画像Ｉ１１とを合成した合成画像Ｉ３１を生成することができる。同様に、画像生成機能３４ｄは、超音波画像データＩ２のうち領域Ｒ２の透過度を変化させた処理済み超音波画像データＩ２２’を生成し、処理済み超音波画像データＩ２２’とＸ線画像Ｉ１２とを合成した合成画像Ｉ３２を生成することができる。同様に、画像生成機能３４ｄは、超音波画像データＩ２のうち領域Ｒ３の透過度を変化させた処理済み超音波画像データＩ２３’を生成し、処理済み超音波画像データＩ２３’とＸ線画像Ｉ１３とを合成した合成画像Ｉ３３を生成することができる。

但し、合成画像Ｉ３１、合成画像Ｉ３２、合成画像Ｉ３３等を順次表示させる場合、透過度を変化せた領域Ｒの位置が順次移動してしまい、視認しにくくなる場合がある。また、心拍等の影響で移動するオブジェクトＤを複数のＸ線画像Ｉ１それぞれから正確に抽出することは難しく、設定される領域Ｒの追従性が不十分となってしまう場合がある。

そこで、画像生成機能３４ｄは、複数のＸ線画像Ｉ１のそれぞれに対応するオブジェクトＤの複数の位置に応じて領域Ｒを設定する。即ち、画像生成機能３４ｄは、１つのＸ線画像Ｉ１から１つの領域Ｒを設定するのではなく、複数のＸ線画像Ｉ１から１つの領域Ｒを設定する。

例えば、画像生成機能３４ｄは、図８Ａに示した領域Ｒ１～Ｒ３を結合した単一の結合領域を設定し、当該結合領域の透過度を変化させる。この結合領域における各位置の透過度は、例えば、図８Ｂに示すようにプロファイルすることができる。具体的には、図８Ａに示す線分Ａ－Ｂ上には、オブジェクトＤ１～Ｄ３のそれぞれの位置が含まれる。画像生成機能３４ｄは、オブジェクトＤ１～Ｄ３のそれぞれの位置における透過度が、他の位置と比較して高くなるように、透過度をプロファイルする。

画像生成機能３４ｄは、図８Ｂに示す透過度のプロファイルに従って、超音波画像データＩ２の各位置の透過度を変化させた処理済み超音波画像データＩ２４’を生成する。また、画像生成機能３４ｄは、処理済み超音波画像データＩ２４’とＸ線画像Ｉ１１とを合成した合成画像Ｉ３４を生成する。また、画像生成機能３４ｄは、処理済み超音波画像データＩ２４’とＸ線画像Ｉ１２とを合成した合成画像Ｉ３５を生成する。また、画像生成機能３４ｄは、処理済み超音波画像データＩ２４’とＸ線画像Ｉ１３とを合成した合成画像Ｉ３６を生成する。

合成画像Ｉ３４、合成画像Ｉ３５、合成画像Ｉ３６等を順次表示させる場合、透過度を変化せた領域Ｒ（領域Ｒ１～Ｒ３の結合領域）の位置は移動せず、視認性の低下は生じない。また、複数のＸ線画像Ｉ１のいずれかにおいてオブジェクトＤの抽出が不正確であっても、多くの場合、オブジェクトＤは領域Ｒに含まれる。即ち、図８Ａ及び図８Ｂに示す場合、移動するオブジェクトＤへの追従性が不十分であっても、視認性の低下を抑制することができる。

或いは、画像生成機能３４ｄは、図９Ａに示すように、オブジェクトＤ１～Ｄ３を包含する単一の領域Ｒ４を設定してもよい。領域Ｒ４における各位置の透過度は、例えば、図９Ｂに示すようにプロファイルすることができる。即ち、画像生成機能３４ｄは、領域Ｒ４における透過度が、他の位置と比較して高くなるように、線分Ａ－Ｂ上の各位置について透過度をプロファイルする。

画像生成機能３４ｄは、図９Ｂに示す透過度のプロファイルに従って、超音波画像データＩ２の各位置の透過度を変化させた処理済み超音波画像データＩ２５’を生成する。また、画像生成機能３４ｄは、処理済み超音波画像データＩ２５’とＸ線画像Ｉ１１とを合成した合成画像Ｉ３７を生成する。また、画像生成機能３４ｄは、処理済み超音波画像データＩ２５’とＸ線画像Ｉ１２とを合成した合成画像Ｉ３８を生成する。また、画像生成機能３４ｄは、処理済み超音波画像データＩ２５’とＸ線画像Ｉ１３とを合成した合成画像Ｉ３９を生成する。

合成画像Ｉ３７、合成画像Ｉ３８、合成画像Ｉ３９等を順次表示させる場合、透過度を変化せた領域Ｒ４の位置は移動せず、視認性の低下は生じない。また、複数のＸ線画像Ｉ１のいずれかにおいてオブジェクトＤの抽出が不正確であっても、多くの場合、オブジェクトＤは領域Ｒ４に含まれる。即ち、図９Ａ及び図９Ｂに示す場合、移動するオブジェクトＤへの追従性が不十分であっても、視認性の低下を抑制することができる。また、図９Ａ及び図９Ｂに示す場合、図８Ａ及び図８Ｂに示す場合と比較して透過度のプロファイルが滑らかになるため、オブジェクトＤの視認性をより向上させることができる。

なお、３つのＸ線画像Ｉ１から領域Ｒを設定する場合について説明したが、領域Ｒの設定に用いるＸ線画像Ｉ１の数については任意に変更が可能である。例えば、Ｘ線診断装置１０は、所定のフレームレートで、被検体Ｐの１心拍に相当する間、Ｘ線画像Ｉ１の収集を繰り返す。この場合、画像生成機能３４ｄは、被検体Ｐの１心拍に相当する複数のＸ線画像Ｉ１に基づいて、領域Ｒを設定することができる。或いは、画像生成機能３４ｄは、被検体Ｐの複数回分の心拍に相当する複数のＸ線画像Ｉ１に基づいて、領域Ｒを設定してもよい。また、オブジェクトＤが心拍の影響を受ける場合について説明したが、例えばオブジェクトＤが被検体Ｐの呼吸により動く場合についても同様に適用が可能である。

（第３の実施形態）
さて、これまで第１～第２の実施形態について説明したが、上述した実施形態以外にも、種々の異なる形態にて実施されてよいものである。

例えば、上述した実施形態では、オブジェクトＤがステント等の医療デバイスである場合について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、被検体Ｐにおける血管や臓器等をオブジェクトＤとして選択した場合も同様に適用が可能である。その他、Ｘ線画像上に現れた構造であればいずれであっても、オブジェクトＤとして選択可能である。

また、上述した実施形態では、オブジェクト抽出機能３４ｃによるオブジェクトＤの抽出結果に基づいて超音波画像データＩ２に対する処理を行ない、処理済み超音波画像データＩ２’を生成する場合について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、画像生成機能３４ｄは、ユーザからの入力操作に基づく加工処理を超音波画像データＩ２に対して行なって、処理済み超音波画像データＩ２’を生成してもよい。

例えば、画像生成機能３４ｄは、オブジェクト抽出機能３４ｃによるオブジェクトＤの抽出結果と、ユーザからの入力操作との双方に基づく加工処理を超音波画像データＩ２に対して行なって、処理済み超音波画像データＩ２’を生成する。一例を挙げると、画像生成機能３４ｄは、まず、オブジェクト抽出機能３４ｃによって抽出されたオブジェクトの位置に応じて、超音波画像データＩ２に領域Ｒを設定する。また、出力機能３４ｅは、設定された領域Ｒをディスプレイ３２に表示させ、画像生成機能３４ｄは、領域Ｒの位置や形状を加工する操作をユーザから受け付ける。そして、画像生成機能３４ｄは、超音波画像データＩ２のうち、ユーザからの入力操作に基づいて加工された後の領域Ｒの透過度を変化させて、処理済み超音波画像データＩ２’を生成する。

また、例えば、画像生成機能３４ｄは、Ｘ線画像Ｉ１からオブジェクトＤが抽出されなかった場合に、ユーザからの入力操作を受け付ける。例えば、オブジェクト抽出機能３４ｃは、Ｘ線画像Ｉ１の画像ノイズ等に起因して、オブジェクトＤを認識できなくなる場合がある。このような場合、出力機能３４ｅは、Ｘ線画像Ｉ１をディスプレイ３２に表示させ、画像生成機能３４ｄは、オブジェクトＤの位置を指定する操作をユーザから受け付ける。そして、画像生成機能３４ｄは、超音波画像データＩ２のうち、ユーザにより指定された位置に応じた領域Ｒの透過度を変化させて、処理済み超音波画像データＩ２’を生成する。或いは、出力機能３４ｅは、超音波画像データＩ２をディスプレイ３２に表示させ、画像生成機能３４ｄは、領域Ｒの位置や形状を設定する操作をユーザから受け付ける。そして、画像生成機能３４ｄは、超音波画像データＩ２のうち、ユーザにより設定された領域Ｒの透過度を変化させて、処理済み超音波画像データＩ２’を生成する。

また、上述した実施形態では、医用画像処理装置３０における処理回路３４が、Ｘ線画像取得機能３４ａ、超音波画像取得機能３４ｂ、オブジェクト抽出機能３４ｃ、画像生成機能３４ｄ、出力機能３４ｅといった各種機能を実行する場合について説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、Ｘ線診断装置１０における処理回路１０８が、処理回路３４の各機能に相当する機能を実行しても構わない。

以下、この点について図１０を用いて説明する。図１０は、第３の実施形態に係るＸ線診断装置１０の構成の一例を示すブロック図である。図１０に示すＸ線診断装置１０は、図２に示したＸ線診断装置１０と比較して、処理回路１０８が超音波画像取得機能１０８ｃ、オブジェクト抽出機能１０８ｄ及び画像生成機能１０８ｅを更に有する点で相違する。

超音波画像取得機能１０８ｃは、超音波画像取得機能３４ｂに対応した機能である。オブジェクト抽出機能３４ｃは、オブジェクト抽出機能１０８ｄに対応した機能である。画像生成機能３４ｄは、画像生成機能１０８ｅに対応した機能である。また、超音波画像取得機能３４ｂは、超音波画像取得部の一例である。オブジェクト抽出機能３４ｃは、オブジェクト抽出機能部の一例である。画像生成機能３４ｄは、画像生成機能部の一例である。

例えば、収集機能１０８ａは、被検体Ｐに関するＸ線画像Ｉ１を収集する。また、超音波画像取得機能３４ｂは、ネットワークＮＷを介して、被検体Ｐに関する超音波画像データＩ２を取得する。オブジェクト抽出機能１０８ｄは、Ｘ線画像Ｉ１に含まれるオブジェクトＤを抽出する。画像生成機能１０８ｅは、Ｘ線画像Ｉ１における座標系と超音波画像データＩ２における座標系との相対的な位置関係に従って、抽出されたオブジェクトＤの位置に基づく処理を超音波画像データＩ２に対して行ない、当該処理を行なった後の処理済み超音波画像データＩ２’とＸ線画像Ｉ１とを合成した合成画像Ｉ３を生成する。そして、出力機能１０８ｂは、生成された合成画像Ｉ３をディスプレイ１０６に表示させることができる。

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ、ＧＰＵ（Graphics Processing Unit）、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサが例えばＣＰＵである場合、プロセッサはメモリに保存されたプログラムを読み出し実行することで機能を実現する。一方、プロセッサが例えばＡＳＩＣである場合、メモリにプログラムを保存する代わりに、当該機能がプロセッサの回路内に論理回路として直接組み込まれる。なお、実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、各図における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。

また、図１においては、単一のメモリ３３が処理回路３４の各処理機能に対応するプログラムを記憶するものとして説明した。また、図２及び図１０においては、単一のメモリ１０７が処理回路１０８の各処理機能に対応するプログラムを記憶するものとして説明した。しかしながら、実施形態はこれに限定されるものではない。例えば、複数のメモリ３３を分散して配置し、処理回路３４は、個別のメモリ３３から対応するプログラムを読み出す構成としても構わない。同様に、複数のメモリ１０７を分散して配置し、処理回路１０８は、個別のメモリ１０７から対応するプログラムを読み出す構成としても構わない。また、メモリ３３やメモリ１０７にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。

上述した実施形態に係る各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。即ち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。更に、各装置にて行われる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されうる。

また、上述した実施形態で説明した医用画像処理方法は、予め用意されたプログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。このプログラムは、インターネット等のネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な非一過性の記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。

以上説明した少なくとも１つの実施形態によれば、Ｘ線画像と超音波画像データとの合成画像において、Ｘ線画像に含まれるオブジェクトの視認性を向上させることができる。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

以上の実施形態に関し、発明の一側面及び選択的な特徴として以下の付記を開示する。

（付記１）
被検体に関するＸ線画像を取得するＸ線画像取得部と、
前記被検体に関する超音波画像データを取得する超音波画像取得部と、
前記Ｘ線画像に含まれるオブジェクトを抽出するオブジェクト抽出部と、
前記Ｘ線画像における座標系と前記超音波画像データにおける座標系との相対的な位置関係に従って、抽出された前記オブジェクトの位置に基づく処理を前記超音波画像データに対して行ない、当該処理を行なった後の処理済み超音波画像データと前記Ｘ線画像とを合成した合成画像を生成する画像生成部と
を備える、医用画像処理装置。
（付記２）
前記画像生成部は、前記処理として、前記超音波画像データのうち前記オブジェクトの位置に応じた領域の透過度を変化させてもよい。
（付記３）
抽出された前記オブジェクトの位置に基づく前記処理は、前記超音波画像データのうち前記オブジェクトの位置に応じた領域の透過度を上げることを含んでもよい。
（付記４）
前記オブジェクトは、ユーザが着目する対象でもよい。
（付記５）
前記オブジェクトは、ユーザが操作する医療デバイス、医療デバイスの進行方向の血管または治療対象部位でもよい。
（付記６）
前記Ｘ線画像取得部は、複数時相の前記Ｘ線画像を取得し、
前記オブジェクト抽出部は、複数時相の前記Ｘ線画像のそれぞれから前記オブジェクトを抽出し、
前記画像生成部は、複数時相の前記Ｘ線画像のそれぞれに対応する、前記オブジェクトの複数の位置に応じて前記領域を設定し、当該領域の透過度を変化させてもよい。
（付記７）
前記超音波画像データは、３次元の画像データであり、
前記画像生成部は、前記超音波画像データのうち前記オブジェクトの位置に応じた３次元領域の透過度を変化させることで、前記処理済み超音波画像データを生成してもよい。
（付記８）
前記超音波画像データは、２次元の画像データであり、
前記画像生成部は、前記超音波画像データのうち前記オブジェクトの位置に応じた２次元領域の透過度を変化させることで、前記処理済み超音波画像データを生成してもよい。
（付記９）
前記Ｘ線画像取得部は、Ｘ線診断装置によって前記被検体から前記Ｘ線画像が新たに収集されるごとに当該Ｘ線画像を順次取得し、
前記超音波画像取得部は、超音波診断装置によって前記被検体から前記超音波画像データが新たに収集されるごとに当該超音波画像データを順次取得し、
前記オブジェクト抽出部は、新たに取得された前記Ｘ線画像から前記オブジェクトを順次抽出し、
前記画像生成部は、前記位置関係に従って、新たに取得された前記超音波画像データに対して前記処理を順次行ない、当該処理を行なった後の前記処理済み超音波画像データと、新たに取得された前記Ｘ線画像とを合成した前記合成画像を順次生成してもよい。
（付記１０）
前記画像生成部は、ユーザからの入力操作に基づく加工処理を前記超音波画像データに対して行なって、前記処理済み超音波画像データを生成してもよい。
（付記１１）
前記画像生成部は、ユーザからのマウスホイールの回転やUI上の所定のバーの操作に応じて、前記オブジェクトの位置に応じた領域の透過度を変化させてもよい。
（付記１２）
前記画像生成部は、前記Ｘ線画像から前記オブジェクトが抽出されなかった場合に前記入力操作を受け付けてもよい。
（付記１３）
前記画像生成部は、前記超音波画像データの収集に用いられた超音波プローブを前記Ｘ線画像から抽出することにより、前記位置関係を特定してもよい。
（付記１４）
前記画像生成部は、抽出された前記オブジェクトの位置及び形状に基づく前記処理を前記超音波画像データに対して行なってもよい。
（付記１５）
前記合成画像と前記Ｘ線画像とを並べて表示させる出力部を更に備えてもよい。
（付記１６）
被検体に関するＸ線画像を収集する収集部と、
前記被検体に関する超音波画像データを取得する超音波画像取得部と、
前記Ｘ線画像に含まれるオブジェクトを抽出するオブジェクト抽出部と、
前記Ｘ線画像における座標系と前記超音波画像データにおける座標系との相対的な位置関係に従って、抽出された前記オブジェクトの位置に基づく処理を前記超音波画像データに対して行ない、当該処理を行なった後の処理済み超音波画像データと前記Ｘ線画像とを合成した合成画像を生成する画像生成部と
を備える、Ｘ線診断装置。
（付記１７）
上記の医用画像処理装置の各構成をコンピュータに実行させるプログラム。
（付記１８）
被検体に関するＸ線画像を取得し、
前記被検体に関する超音波画像データを取得し、
前記Ｘ線画像に含まれるオブジェクトを抽出し、
前記Ｘ線画像における座標系と前記超音波画像データにおける座標系との相対的な位置関係に従って、抽出された前記オブジェクトの位置に基づく処理を前記超音波画像データに対して行ない、当該処理を行なった後の処理済み超音波画像データと前記Ｘ線画像とを合成した合成画像を生成する
ことを含む、医用画像処理方法。
（付記１９）
前記医用画像処理方法において、前記処理として、前記超音波画像データのうち前記オブジェクトの位置に応じた領域の透過度を変化させてもよい。
（付記２０）
抽出された前記オブジェクトの位置に基づく前記処理は、前記超音波画像データのうち前記オブジェクトの位置に応じた領域の透過度を上げることを含んでもよい。
（付記２１）
前記オブジェクトは、ユーザが着目する対象でもよい。
（付記２２）
前記オブジェクトは、ユーザが操作する医療デバイス、医療デバイスの進行方向の血管または治療対象部位でもよい。
（付記２３）
前記医用画像処理方法において、
複数時相の前記Ｘ線画像を取得し、
複数時相の前記Ｘ線画像のそれぞれから前記オブジェクトを抽出し、
複数時相の前記Ｘ線画像のそれぞれに対応する、前記オブジェクトの複数の位置に応じて前記領域を設定し、当該領域の透過度を変化させてもよい。
（付記２４）
前記医用画像処理方法において、
前記超音波画像データは、３次元の画像データであり、
前記超音波画像データのうち前記オブジェクトの位置に応じた３次元領域の透過度を変化させることで、前記処理済み超音波画像データを生成してもよい。
（付記２５）
前記医用画像処理方法において、
前記超音波画像データは、２次元の画像データであり、
前記超音波画像データのうち前記オブジェクトの位置に応じた２次元領域の透過度を変化させることで、前記処理済み超音波画像データを生成してもよい。
（付記２６）
前記医用画像処理方法において、
Ｘ線診断装置によって前記被検体から前記Ｘ線画像が新たに収集されるごとに当該Ｘ線画像を順次取得し、
超音波診断装置によって前記被検体から前記超音波画像データが新たに収集されるごとに当該超音波画像データを順次取得し、
新たに取得された前記Ｘ線画像から前記オブジェクトを順次抽出し、
前記位置関係に従って、新たに取得された前記超音波画像データに対して前記処理を順次行ない、当該処理を行なった後の前記処理済み超音波画像データと、新たに取得された前記Ｘ線画像とを合成した前記合成画像を順次生成してもよい。
（付記２７）
前記医用画像処理方法において、ユーザからの入力操作に基づく加工処理を前記超音波画像データに対して行なって、前記処理済み超音波画像データを生成してもよい。
（付記２８）
前記医用画像処理方法において、ユーザからのマウスホイールの回転やUI上の所定のバーの操作に応じて、前記オブジェクトの位置に応じた領域の透過度を変化させてもよい。
（付記２９）
前記医用画像処理方法において、前記Ｘ線画像から前記オブジェクトが抽出されなかった場合に前記入力操作を受け付けてもよい。
（付記３０）
前記医用画像処理方法において、前記超音波画像データの収集に用いられた超音波プローブを前記Ｘ線画像から抽出することにより、前記位置関係を特定してもよい。
（付記３１）
前記医用画像処理方法において、抽出された前記オブジェクトの位置及び形状に基づく前記処理を前記超音波画像データに対して行なってもよい。
（付記３２）
前記医用画像処理方法において、前記合成画像と前記Ｘ線画像とを並べて表示させてもよい。

１ 医用画像処理システム
１０ Ｘ線診断装置
１０８ 処理回路
１０８ａ 収集機能
１０８ｂ 出力機能
１０８ｃ 超音波画像取得機能
１０８ｄ オブジェクト抽出機能
１０８ｅ 画像生成機能
２０ 超音波診断装置
３０ 医用画像処理装置
３４ 処理回路
３４ａ Ｘ線画像取得機能
３４ｂ 超音波画像取得機能
３４ｃ オブジェクト抽出機能
３４ｄ 画像生成機能
３４ｅ 出力機能

Claims (20)

1. 被検体に関するＸ線画像を取得するＸ線画像取得部と、
   前記被検体に関する超音波画像データを取得する超音波画像取得部と、
   前記Ｘ線画像に含まれるオブジェクトを抽出するオブジェクト抽出部と、
   前記Ｘ線画像における座標系と前記超音波画像データにおける座標系との相対的な位置関係に従って、抽出された前記オブジェクトの位置に基づく処理を前記超音波画像データに対して行ない、当該処理を行なった後の処理済み超音波画像データと前記Ｘ線画像とを合成した合成画像を生成する画像生成部と
   を備える、医用画像処理装置。
2. 前記画像生成部は、前記処理として、前記超音波画像データのうち前記オブジェクトの位置に応じた領域の透過度を変化させる、請求項１に記載の医用画像処理装置。
3. 前記Ｘ線画像取得部は、複数時相の前記Ｘ線画像を取得し、
   前記オブジェクト抽出部は、複数時相の前記Ｘ線画像のそれぞれから前記オブジェクトを抽出し、
   前記画像生成部は、複数時相の前記Ｘ線画像のそれぞれに対応する、前記オブジェクトの複数の位置に応じて前記領域を設定し、当該領域の透過度を変化させる、請求項２に記載の医用画像処理装置。
4. 前記超音波画像データは、３次元の画像データであり、
   前記画像生成部は、前記超音波画像データのうち前記オブジェクトの位置に応じた３次元領域の透過度を変化させることで、前記処理済み超音波画像データを生成する、請求項２又は３に記載の医用画像処理装置。
5. 前記超音波画像データは、２次元の画像データであり、
   前記画像生成部は、前記超音波画像データのうち前記オブジェクトの位置に応じた２次元領域の透過度を変化させることで、前記処理済み超音波画像データを生成する、請求項２又は３に記載の医用画像処理装置。
6. 前記Ｘ線画像取得部は、Ｘ線診断装置によって前記被検体から前記Ｘ線画像が新たに収集されるごとに当該Ｘ線画像を順次取得し、
   前記超音波画像取得部は、超音波診断装置によって前記被検体から前記超音波画像データが新たに収集されるごとに当該超音波画像データを順次取得し、
   前記オブジェクト抽出部は、新たに取得された前記Ｘ線画像から前記オブジェクトを順次抽出し、
   前記画像生成部は、前記位置関係に従って、新たに取得された前記超音波画像データに対して前記処理を順次行ない、当該処理を行なった後の前記処理済み超音波画像データと、新たに取得された前記Ｘ線画像とを合成した前記合成画像を順次生成する、請求項１～５のいずれか一項に記載の医用画像処理装置。
7. 前記画像生成部は、ユーザからの入力操作に基づく加工処理を前記超音波画像データに対して行なって、前記処理済み超音波画像データを生成する、請求項１～６のいずれか一項に記載の医用画像処理装置。
8. 前記画像生成部は、前記Ｘ線画像から前記オブジェクトが抽出されなかった場合に前記入力操作を受け付ける、請求項７に記載の医用画像処理装置。
9. 前記画像生成部は、前記超音波画像データの収集に用いられた超音波プローブを前記Ｘ線画像から抽出することにより、前記位置関係を特定する、請求項１～８のいずれか一項に記載の医用画像処理装置。
10. 前記画像生成部は、抽出された前記オブジェクトの位置及び形状に基づく前記処理を前記超音波画像データに対して行なう、請求項１～９のいずれか一項に記載の医用画像処理装置。
11. 前記合成画像と前記Ｘ線画像とを並べて表示させる出力部を更に備える、請求項１～１０のいずれか一項に記載の医用画像処理装置。
12. 被検体に関するＸ線画像を収集する収集部と、
    前記被検体に関する超音波画像データを取得する超音波画像取得部と、
    前記Ｘ線画像に含まれるオブジェクトを抽出するオブジェクト抽出部と、
    前記Ｘ線画像における座標系と前記超音波画像データにおける座標系との相対的な位置関係に従って、抽出された前記オブジェクトの位置に基づく処理を前記超音波画像データに対して行ない、当該処理を行なった後の処理済み超音波画像データと前記Ｘ線画像とを合成した合成画像を生成する画像生成部と
    を備える、Ｘ線診断装置。
13. 被検体に関するＸ線画像を取得し、
    前記被検体に関する超音波画像データを取得し、
    前記Ｘ線画像に含まれるオブジェクトを抽出し、
    前記Ｘ線画像における座標系と前記超音波画像データにおける座標系との相対的な位置関係に従って、抽出された前記オブジェクトの位置に基づく処理を前記超音波画像データに対して行ない、当該処理を行なった後の処理済み超音波画像データと前記Ｘ線画像とを合成した合成画像を生成する
    ことを含む、医用画像処理方法。
14. 前記処理として、前記超音波画像データのうち前記オブジェクトの位置に応じた領域の透過度を変化させる、請求項１３に記載の医用画像処理方法。
15. 複数時相の前記Ｘ線画像を取得し、
    複数時相の前記Ｘ線画像のそれぞれから前記オブジェクトを抽出し、
    複数時相の前記Ｘ線画像のそれぞれに対応する、前記オブジェクトの複数の位置に応じて前記領域を設定し、当該領域の透過度を変化させる、請求項１４に記載の医用画像処理方法。
16. 前記超音波画像データは、３次元の画像データであり、
    前記超音波画像データのうち前記オブジェクトの位置に応じた３次元領域の透過度を変化させることで、前記処理済み超音波画像データを生成する、請求項１４又は１５に記載の医用画像処理方法。
17. Ｘ線診断装置によって前記被検体から前記Ｘ線画像が新たに収集されるごとに当該Ｘ線画像を順次取得し、
    超音波診断装置によって前記被検体から前記超音波画像データが新たに収集されるごとに当該超音波画像データを順次取得し、
    新たに取得された前記Ｘ線画像から前記オブジェクトを順次抽出し、
    前記位置関係に従って、新たに取得された前記超音波画像データに対して前記処理を順次行ない、当該処理を行なった後の前記処理済み超音波画像データと、新たに取得された前記Ｘ線画像とを合成した前記合成画像を順次生成する、請求項１３～１６のいずれか一項に記載の医用画像処理方法。
18. 前記超音波画像データの収集に用いられた超音波プローブを前記Ｘ線画像から抽出することにより、前記位置関係を特定する、請求項１３～１７のいずれか一項に記載の医用画像処理方法。
19. 抽出された前記オブジェクトの位置及び形状に基づく前記処理を前記超音波画像データに対して行なう、請求項１３～１８のいずれか一項に記載の医用画像処理方法。
20. 前記合成画像と前記Ｘ線画像とを並べて表示させる、請求項１３～１９のいずれか一項に記載の医用画像処理方法。

Images