JP2018061844A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】複数の病変部等の関心領域から選択した注目領域を、対象画像から容易に探索するための表示を行なえるようにした技術を提供する。【解決手段】画像処理装置は、複数の関心領域を取得する領域取得手段と、前記複数の関心領域から少なくとも１つの関心領域を選択して注目領域とする選択手段と、医用画像を取得する画像取得手段と、前記取得された複数の関心領域の位置を表示させるとともに、前記取得された複数の関心領域に対応する前記医用画像における対応領域が存在しうる存在領域を前記医用画像上に表示させる表示制御手段と、前記注目領域以外の関心領域の位置の表示態様と、注目領域以外の関心領域の前記存在領域の表示態様とを、前記選択に応じて異なる方法で変更する変更手段とを備える。【選択図】 図１

Description

本発明は、超音波撮影装置等の撮影装置による画像を用いて病変の位置を探索するためのナビゲーション表示を行なう技術に関する。

医療の分野において、医師は、対象物体を撮像した医用画像をモニタに表示し、当該表示された医用画像を読影して病変部の診断を行う。

これらの医用画像を撮像する医用画像収集装置（以下、モダリティと呼ぶ）としては、超音波画像診断装置、磁気共鳴映像装置（以下、ＭＲＩ装置と呼ぶ）、Ｘ線コンピュータ断層撮影装置（以下、Ｘ線ＣＴ装置と呼ぶ）などが挙げられる。これらの個々のモダリティで撮像された医用画像を観察するだけでは、病変部の状態を正しく診断することは困難である。そこで、複数のモダリティで撮像された夫々の医用画像や、異なる日時に撮像された夫々の医用画像中の病変部を比較することによって、病変部の状態を正しく診断しようとする試みがなされている。

かかる複数の医用画像による診断において、例えば、操作者は、一方の医用画像（以下、参照画像）で指摘された病変部（以下、注目病変部）の画像を見ながら、その病変部に対応する病変部（以下、対応病変部）を他方の医用画像（以下、対象画像）から探索し特定する。

特許文献１には、過去の超音波断層画像から選択した画像追跡点（注目病変部）の、現在の超音波断層画像からの距離および方向に基づく大きさや色の正方形を、平面内指示子として当該現在の超音波断層画像に重ねて表示する方法が開示されている。特許文献１には、さらに、全てまたは一部の平面内指示子の表示を隠すかまたは除くことを選択する技術についても開示されている。

特開２００８−２７９２７２号公報 特開２００８−０８６７４２号公報

ここで、異なる医用画像間での撮影体位の違い等による位置合わせ誤差や、病変部等の関心領域についての位置特定の誤差が生じる場合があり、関心領域の存在し得る存在領域を提示することが考えられる。

加えて、関心領域が複数ある場合には、複数の関心領域間の関係が把握されるべきであるが、超音波断層画像上に複数の存在領域が表示されていると、観察者は、今注目している領域の存在領域が分かりに難い。そのため、効率的な診断に影響が出る恐れがある。

本発明は、注目領域を、容易に探索するための表示を行なえるようにした技術を提供することを目的とする。

上記課題を解決するため、本発明の一態様による画像処理装置は、第１装置で撮影された被検体の第１画像に含まれる注目位置を取得する取得手段と、前記第１装置とは異なる第２装置で撮影された前記被検体の２次元画像である第２画像に前記注目位置に基づく領域が含まれているか否かを判定する判定手段と、前記第２画像に前記注目位置に基づく領域が含まれていると判定された場合には表示部に前記第２画像における前記注目位置に基づく領域を示す情報を前記第２画像上に表示させ、前記第２画像に前記注目位置に基づく領域が含まれていないと判定された場合には少なくとも前記第２画像を規定する２次元方向の一方を示す情報であって前記第２装置により前記注目位置を撮影するために前記第２装置を移動すべき方向を示す情報を前記表示部に表示させる表示制御手段とを備える。

本発明によれば、操作者は、複数の関心領域から選択した注目領域を対象画像から効率良く探索することができる。

第１の実施形態に係る画像処理装置の機器構成を示す図。 第１の実施形態に係る情報処理装置の各部をソフトウェアにより実現することのできるコンピュータの基本構成を示す図。 第１の実施形態に係る画像処理装置の処理手順を示すフロー図。 第１の実施形態に係る画像処理装置の表示方法を説明するための図。 第１の実施形態に係る画像処理装置の表示方法を説明するための図。 第２の実施形態に係る画像処理装置の機器構成を示す図。 第２の実施形態に係る画像処理装置の処理手順を示すフロー図。 第２の実施形態に係る画像処理装置の表示方法を説明するための図。

以下、添付図面に従って本発明に係る画像処理装置の好ましい実施形態について詳説する。ただし、発明の範囲は図示例に限定されるものではない。

（第１の実施形態）
本実施形態に係る超音波撮影システムは、三次元画像データ中の複数の関心領域から１つを注目領域として選択された時に、現在の超音波断層画像に対する非注目領域の三次元的な位置を表す情報の表示態様を非表示に変更する。また、選択されていない非注目領域に対応する超音波断層画像上の対応領域の存在領域を表す図形の表示態様を、注目領域と比べて目立たないもの（例えば、色を薄い色）に変更する。これにより、操作者が超音波断層画像上（医用画像上）の対応領域を容易に探索して同定できる。

ここで、関心領域は、例えば、病変部であり、注目領域は、例えば、複数の病変部のうち診断対象とされた病変部である。もちろん病変部に限らず、診断を行うものにとって注目すべき領域であればよい。また、三次元的な位置を示す情報としては座標値のほか、距離および方向を表示させる。

本実施形態では、人体の乳房を対象物体とする場合を例として説明する。以下、本実施形態に係る超音波撮影システムについて説明する。

超音波撮影システムは、画像処理装置１００と、超音波（探触子）プローブにより超音波撮影が可能な超音波画像診断装置１８０と、表示部１６０とを有し、三次元画像収集装置１７０からの画像を格納するデータサーバ１９０に接続されている。

図１は、本実施形態に係る超音波撮影システムの構成を示す。同図に示すように、本実施形態における画像処理装置１００は、超音波撮影装置による超音波撮影中に被検体を撮影し病変の位置を探索するためのナビゲーション表示を行う。画像処理装置１００は、断層画像取得部１１０、位置姿勢取得部１１２、関心領域取得部１２１、注目領域選択部１２２、誤差要因情報取得部１２３、誤差推定値算出部１２４、存在領域算出部１３５、画像合成部１４０、表示制御部１５０を有する。そして、データサーバ１９０と、乳房の超音波断層画像を撮像する超音波画像診断装置１８０とに接続されている。

［関心領域の取得］
データサーバ１９０は、三次元画像データ中の複数の病変部を表す情報を保持している。この三次元画像データは、三次元画像収集装置１７０としてのＭＲＩ装置やＸ線ＣＴ装置などによって被検体を予め撮像して得られた画像である。なお、以下では三次元画像収集装置１７０としてＭＲＩ装置を用いる場合を例として説明する。ここで、病変部を表す情報とは、例えば、病変部の位置（領域の重心位置）や、注目病変部の領域境界に位置する点群の座標である。以下の説明では、病変部を表す情報を病変部の位置とし、病変部の位置はＭＲＩ装置座標系で表されているものとする。データサーバ１９０が保持する病変部の位置は、関心領域取得部１２１により取得され、画像処理装置１００に入力される。

［誤差要因情報の取得］
データサーバ１９０は、上述した情報に加えて、対応病変部の誤差推定値を算出するための誤差要因情報（詳細は後述する）を保持している。ここで、誤差要因情報とは、言い換えれば、超音波断層画像上における対応病変部の存在領域を算出するための情報である。データサーバ１９０が保持する誤差要因情報は、誤差要因情報取得部１２３を介して画像処理装置１００に入力される。

［断層画像の取得］
また、超音波画像診断装置１８０は、被検体の超音波断層画像を実時間で撮像する。超音波断層画像は、断層画像取得部１１０により逐次取得され、画像処理装置１００に逐次入力される。また、超音波プローブの位置姿勢は、不図示の位置姿勢センサで計測され、位置姿勢取得部１１２により取得されて、画像処理装置１００に入力される。ここで、超音波プローブの位置姿勢は、例えば、被検体を基準とした基準座標系における位置姿勢で表されている。また、位置姿勢取得部１１２は、基準座標系における超音波プローブの位置姿勢を取得して、これに基づいてＭＲＩ装置座標系における超音波断層画像の位置姿勢を算出する。

［誤差推定値の算出］
誤差推定値算出部１２４は、誤差要因情報取得部１２３が取得した誤差要因情報に基づいて対応病変部の誤差推定値を算出する。そして、算出した誤差推定値を存在領域算出部１３５へと出力する。

［存在領域の特定］
存在領域算出部１３５は、関心領域取得部１２１が取得した病変部の位置と、位置姿勢取得部１１２が取得した超音波断層画像の位置姿勢とに基づいて、三次元画像データ中の病変部の夫々に対応する超音波座標系上の対応病変部の位置を推定する。ここで超音波座標系とは、超音波断層画像を基準とした３次元座標系であり、例えば、該断層画像上の１点を原点として、該断層画像の平面上にｘ軸およびｙ軸を設定し、該平面に直交する方向にｚ軸を設定した座標系として定義できる。そして、この推定した対応病変部と、誤差推定値算出部１２４で算出する誤差推定値とに基づいて、超音波断層画像上で夫々の対応病変部が存在しうる領域（存在領域）を算出することで特定する。

［注目病変部の選択］
注目領域選択部１２２は、関心領域取得部１２１が取得した病変部の中から、操作者の指示に基づいて、注目病変部を選択する。なお、選択した注目病変部以外の病変部は非注目病変部となる。

［画像の合成］
画像合成部１４０は、夫々の対応病変部の存在領域を示す情報を存在領域算出部１３５から取得して、夫々の対応病変部の存在領域を表す図形を、断層画像取得部１１０から取得した超音波断層画像上に重畳して描画する。また、断面上に注目病変部の存在領域がない場合には、超音波断層画像に対する注目病変部の三次元的な位置（距離と方向）を算出し、算出した距離と方向を示す情報を、超音波断層画像上に重畳して描画する。

［表示制御］
表示制御部１５０は、表示部１６０を制御し、画像合成部１４０で得られた画像を表示させる。すなわち、関心領域取得部１２１で取得された複数の関心領域の位置を表示させるとともに、存在領域算出部１３５で得られた注目領域の存在領域の表示を超音波断層画像上に表示させる。また、表示制御部１５０は、画像合成部１４０により得られる画像を表示させることで、注目領域以外の関心領域の位置の表示態様と、注目領域以外の関心領域に対応する存在領域の表示態様とを、選択に応じて異なる方法で変更する。

なお、図１に示した各部の少なくとも一部は、独立した装置として実現してもよい。または、夫々一つもしくは複数のコンピュータにインストールし、コンピュータのＣＰＵにより実行することで、その機能を実現するソフトウェアとして実現してもよい。本実施形態では、各部はそれぞれソフトウェアにより実現され、同一のコンピュータにインストールされているものとする。

［コンピュータの基本構成］
図２は、ソフトウェアプログラムを実行することで以下に示す各部夫々の機能を実現するためのコンピュータの基本構成を示す図である。ここで言う各部は、断層画像取得部１１０、位置姿勢取得部１１２、関心領域取得部１２１、注目領域選択部１２２、誤差要因情報取得部１２３、誤差推定値算出部１２４、存在領域算出部１３５、画像合成部１４０、表示制御部１５０である。

ＣＰＵ１００１は、ＲＡＭ１００２やＲＯＭ１００３に格納されたプログラムやデータを用いてコンピュータ全体の制御を行う。また、断層画像取得部１１０、位置姿勢取得部１１２、関心領域取得部１２１、注目領域選択部１２２、誤差要因情報取得部１２３、誤差推定値算出部１２４、存在領域算出部１３５、画像合成部１４０、表示制御部１５０に対応するプログラムの実行を制御する。

ＲＡＭ１００２は、外部記憶装置１００７や記憶媒体ドライブ１００８からロードされたプログラムやデータを一時的に記憶するエリアを備えると共に、ＣＰＵ１００１が各種の処理を行うために必要とするワークエリアを備える。

ＲＯＭ１００３には、一般に、コンピュータのプログラムや設定データなどが格納されている。キーボード１００４およびマウス１００５は、入力デバイスであり、操作者は、これらを用いて、各種の指示をＣＰＵ１００１に入力することができる。

表示部１００６は、ＣＲＴや液晶ディスプレイなどにより構成されており、表示部１６０がこれに相当する。表示部１００６は、画像合成部１４０が生成する合成画像の他に、画像処理のために表示すべきメッセージやＧＵＩ等を表示することができる。

外部記憶装置１００７は、ハードディスクドライブなどの大容量情報記憶装置として機能する装置であって、ここにＯＳ（オペレーティングシステム）やＣＰＵ１００１が実行するプログラム等が保存される。また、本実施形態の説明において、既知であると説明する情報は、ここに保存されており、必要に応じてＲＡＭ１００２にロードされる。

記憶媒体ドライブ１００８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記憶されているプログラムやデータをＣＰＵ１００１からの指示に従って読み出して、ＲＡＭ１００２や外部記憶装置１００７に出力する。

Ｉ／Ｆ１００９は、アナログビデオポートあるいはＩＥＥＥ１３９４等のデジタル入出力ポートや、合成画像などの情報を外部へ出力するためのイーサネット（登録商標）ポート等によって構成される。夫々が入力したデータはＩ／Ｆ１００９を介してＲＡＭ１００２に取り込まれる。断層画像取得部１１０、位置姿勢取得部１１２、関心領域取得部１２１、および誤差要因情報取得部１２３の機能の一部は、Ｉ／Ｆ１００９によって実現される。上述した各構成要素は、バス１０１０によって相互に接続される。

図３は、画像処理装置１００が行う全体の処理手順を示すフローチャートである。同フローチャートは、本実施形態では、ＣＰＵ１００１が各部の機能を実現するプログラムを実行することにより実現される。なお、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、例えば、外部記憶装置１００７からＲＡＭ１００２に既にロードされているものとする。

［Ｓ３０００：データの入力］
Ｓ３０００において、画像処理装置１００は、関心領域取得部１２１の処理として、データサーバ１９０から病変部の位置を関心領域の位置として取得する。また、誤差要因情報取得部１２３の処理として、誤差推定値の算出に用いる各種の誤差要因情報をデータサーバ１９０から取得する。例えば、超音波プローブの位置姿勢を計測する位置姿勢センサの種別（例えば、センサＡ、センサＢなど）を表す情報を、誤差要因情報として取得する。

［Ｓ３０２０：断層画像の取得］
Ｓ３０２０において、画像処理装置１００は、断層画像取得部１１０の処理として、超音波画像診断装置１８０から超音波断層画像を取得する。また、位置姿勢取得部１１２の処理として、上記超音波断層画像を撮像した際の超音波プローブの位置姿勢を超音波画像診断装置１８０から取得する。そして、既知の値として予め記憶している校正データを利用して、基準座標系における超音波プローブの位置姿勢から、ＭＲＩ装置座標系における超音波断層画像の位置姿勢を算出する。

［Ｓ３０３０：誤差推定値の算出］
Ｓ３０３０において、画像処理装置１００は、誤差推定値算出部１２４の処理として、Ｓ３０００で取得した各種の誤差要因情報に基づいて、誤差推定値を算出する。誤差推定値を算出する処理は、例えば、超音波プローブの位置姿勢を計測する位置姿勢センサの特性等に基づいて実行することができる。位置姿勢センサの種別毎に予め誤差の基準値を定めておき、使用するセンサの種別に応じて値を選択するようにできる。例えば、Ｓ３０００で入力した誤差要因情報が、光学式センサであるセンサＡを使用しているという情報の場合、磁気式センサであるセンサＢを使用している場合に比べて小さい値として誤差推定値を算出するようにできる。

なお、誤差を推定する処理は、他の処理であっても良い。例えば、三次元画像収集装置１７０で得られる三次元ＭＲＩ画像や三次元ＣＴ画像と、超音波画像診断装置１８０で得られる超音波断層画像との位置合わせアルゴリズムに起因する誤差が考えられる。特に、伏臥位で撮像されたＭＲＩ画像と仰臥位で撮像された超音波画像とを変形させつつ位置合わせする場合には、変形アルゴリズムに起因する誤差が生じうる。かかる変形に起因する誤差についても、実験的に得られる誤差の大きさを予めメモリに格納しておき、誤差の大きさの推定に用いる。

［Ｓ３０５０：注目病変部の選択］
Ｓ３０５０において、画像処理装置１００は、注目領域選択部１２２の処理として、関心領域取得部１２１が取得した病変部の中から、操作者の指示に基づいて注目病変部を少なくとも１つ選択する。例えば、予め夫々の病変部に番号を割り振っておき、キーボード１００４の注目病変部の番号に対応する数字キーを操作者が押すなどして入力した指示を取得するようにできる。

［Ｓ３０６０：存在領域の算出］
Ｓ３０６０において、画像処理装置１００は、存在領域算出部１３５の処理として、Ｓ３０２０で得た超音波断層画像上において、複数の病変部の夫々に対応する対応病変部の存在領域を算出する。

具体的には、存在領域算出部１３５は、まず、関心領域取得部１２１が取得した夫々の病変部の位置に対する超音波座標系における対応病変部の位置を推定する。この推定は、位置姿勢取得部１１２が取得した超音波断層画像の位置姿勢に基づいて行うことができる。

次に、存在領域算出部１３５は、上記で推定した夫々の対応病変部の位置とＳ３０３０で算出した誤差推定値とに基づいて、超音波断層画像上における夫々の対応病変部の存在領域を算出する。超音波座標系における対応病変部の三次元の存在領域は、推定した対応病変部の位置が中心で、誤差推定値が半径である球として定義される。また、超音波断層画像上における対応病変部の存在領域は、当該球と当該断層画像とが交差する領域（球の断面）である円として定義される。したがって、存在領域算出部１３５は、夫々の対応病変部の存在領域として、超音波断層画像上におけるこの円の中心位置と半径を算出する。なお、３次元空間中で定義される球と平面との交差領域の算出方法は周知のものであるので、その説明は省略する。なお、注目領域選択部１２２で選択した注目病変部に関する当該球と当該断層画像が交差しない場合には、「断面上に注目病変部の存在領域はない」という情報が保存される。

［Ｓ３０７０：断層画像に存在領域を描画］
Ｓ３０７０において、画像処理装置１００は、画像合成部１４０の処理として、Ｓ３０６０で算出した夫々の対応病変部の存在領域を表す図形を超音波画像上に重畳描画した画像を生成する。例えば、対応病変部の存在し得る範囲を閉曲線のラインで描画する。その際に、注目領域選択部１２２で選択した注目病変部以外の非注目病変部の存在領域を表す図形を、注目病変部の存在領域を表す図形よりも目立たない表示態様で描画する。例えば、存在領域を表す図形の色を薄い色に変更する。本ステップの処理によって生成される画像の一例を図４に示す。なお、Ｓ３０５０において注目病変部が選択されていない場合には、夫々の病変部の存在領域を表す図形を、区別なく同様な表示態様で描画する。

なお、Ｓ３０６０において「断面上に注目病変部の存在領域はない」と判定された場合には、本ステップの処理を実行しない構成であってもよい。この場合、非注目病変部の存在領域は、注目病変部の存在領域が断面上にある場合にのみ描画される。

［Ｓ３０９０：位置を表す図形を描画］Ｓ３０９０において、画像処理装置１００は、画像合成部１４０の処理として、「断面上に注目病変部の存在領域がない」と判定された場合に、注目病変部の位置を表す図形の描画を行う。具体的には、超音波断層画像に対する注目病変部の三次元的な位置（距離および方向）を算出し、算出した距離と方向を表す情報を、Ｓ３０７０の処理後の画像上に重畳した画像を生成する。本ステップの処理によって生成される画像の一例を図５に示す。なお、Ｓ３０５０において注目病変部が選択されていない場合には、夫々の病変部の位置を表す図形を、区別なく同様な表示態様で描画する。

［Ｓ３０９５：画像の表示］
Ｓ３０９５において、画像処理装置１００は、表示制御部１５０の処理として、Ｓ３０９０で合成した画像を表示部１６０に表示する。また、必要に応じて、Ｉ／Ｆ１００９を介してこれを外部へと出力し、さらに、他のアプリケーションから利用可能な状態としてＲＡＭ１００２上に格納する。

［Ｓ３１００：全体の処理を終了するか否かの判定］
Ｓ３１００において、画像処理装置１００は、全体の処理を終了するか否かの判定を行う。例えば、キーボード１００４の所定のキー（終了キー）の操作者による押下などに基づいて終了の指示を取得する。終了すると判定した場合には、画像処理装置１００の処理の全体を終了させる。一方、終了すると判定しなかった場合には、Ｓ３０２０へと処理を戻し、新たに撮像される超音波断層画像に対して、Ｓ３０２０以降の処理を再度実行する。以上によって、画像処理装置１００の処理が実行される。

以上説明したように本実施形態に係る画像処理装置によれば、超音波断層画像に対する非注目病変部の三次元的な位置（距離および方向）を表す情報の表示態様を非表示に変更することができる。一方で、超音波断層画像上の非注目病変部の存在領域を表す図形の表示態様を、注目病変部と比べて目立たないものに変更することができる。これにより、超音波断層画像に対する非注目病変部の三次元的な位置（距離および方向）を表す情報が表示されないため、注目病変部に対応する対応病変部の探索の妨げとならない。

また、操作者は、注目病変部および非注目病変部の存在領域を表す図形を共に観察することにより、注目病変部の近傍に誤同定の恐れがある病変部が存在するかどうかを把握できる。すなわち、本実施形態に係る画像処理装置によれば、参照画像中の複数の病変部の中から選択した注目病変部に対応する対応病変部を対象画像から効率良く探索し同定することができる。

（第１の実施形態の変形例１）
上述した実施形態では、操作者の指示に基づいて注目病変部を選択する場合を例に挙げて説明したが、注目病変部を予め選択してデータサーバ１９０に保持しておいてもよい。この場合には、図１における注目領域選択部１２２は備えなくてもよく、Ｓ３０５０における注目病変部の選択処理は行わなくてもよい。

（第１の実施形態の変形例２）
上述した実施形態では、非注目病変部の存在領域を表す図形の色を薄い色に変更する場合を例に挙げて説明したが、表示態様の変更方法はこれに限られない。例えば、図形の線の太さや種類を変更したり、図形の色の彩度を落としたりしてもよい。

（第２の実施形態）
本実施形態に係る超音波撮影システムでは、注目病変部以外の病変部（非注目病変部）に対応する超音波断層画像上の対応病変部が存在しうる領域（存在領域）を表す図形の表示態様を非表示に変更する。また、対象物体を表すボディマーク画像上の非注目病変部の位置を表す図形の表示態様を、注目病変部と比べて目立たないもの（例えば、色を薄い色）に変更する。これにより、操作者が、超音波断層画像上の対応病変部を容易に探索して同定できるようにする。以下、本実施形態に係る超音波撮影システムについて、第１の実施形態との相違部分について重点的に説明する。

図６は、本実施形態に係る超音波撮影システムの構成を示す。なお、図１と同じ部分については同じ番号、記号を付けており、その説明については省略する。

［三次元画像データの取得］
データサーバ１９０が保持する三次元画像データは、三次元画像データ取得部６２０により取得され、画像処理装置６００に入力される。本実施形態では、三次元画像データは、三次元のボクセルに輝度値を格納した三次元ボリュームデータとして表現されているものとする。また、各ボクセルの座標はＭＲＩ装置座標系で表現されているものとする。

［ボディマークの取得］
超音波画像診断装置６８０は、ボディマーク画像を保持している。ここでボディマークは、乳房の概略形状を表す画像であり、病変の位置を模式的に示すための画像である。超音波画像診断装置６８０が保持する左乳房用のボディマークおよび右乳房用のボディマークは、ボディマーク取得部６１４により取得され、画像処理装置６００に入力される。そして、変換領域算出部６１６は、関心領域取得部１２１が取得した夫々の病変部の位置を、ボディマーク座標系における位置に変換する。ここでボディマーク座標系とは、左乳房用のボディマークおよび右乳房用のボディマークを含む平面をｘｙ平面とし、それと直交する軸をｚ軸として定義した座標系である。

［画像の合成］
断面画像生成部６３０は、三次元画像データ取得部１２０の出力である三次元ボリュームデータと、位置姿勢取得部１１２の出力である超音波断層画像の位置姿勢とを入力する。そして、これらのデータに基づいて、超音波断層画像に対応する断面画像を三次元ボリュームデータから生成して、画像合成部６４０へと出力する。画像合成部６４０は、対応病変部の存在領域を示す情報を存在領域算出部１３５から取得して、注目領域選択部１２２で選択した注目病変部に対応する対応病変部の存在領域を示す情報を、断層画像取得部１１０から取得した超音波断層画像上に重畳して描画する。また、夫々の病変部の位置を変換領域算出部１１６から取得して、ボディマーク取得部から取得したボディマーク上に夫々の病変部の位置を表す図形を描画する。さらに、それらの画像と、断面画像生成部６３０から取得した断面画像とを合成した合成画像を生成して、これを表示制御部１５０あるいは外部へと出力する。表示制御部１５０は、画像合成部６４０の出力である合成画像を取得し、これを表示部１６０に表示する。

図７は、画像処理装置６００が行う全体の処理手順を示すフローチャートである。同フローチャートは、本実施形態ではＣＰＵ１００１が各部の機能を実現するプログラムを実行することにより実現される。なお、以下の処理を行う前段で、同フローチャートに従ったプログラムコードは、例えば、外部記憶装置１００７からＲＡＭ１００２に既にロードされているものとする。

［Ｓ７０００：データの入力］
Ｓ７０００において、画像処理装置６００は、Ｓ３０００の処理に加えて、三次元画像データ取得部６２０の処理として、データサーバ１９０から三次元画像データを取得する。また、ボディマーク取得部６１４の処理として、左乳房用のボディマークおよび右乳房用のボディマークを超音波画像診断装置６８０から取得する。

［Ｓ７０１０：変換領域の算出］
Ｓ７０１０において、画像処理装置６００は、変換領域算出部６１６の処理として、関心領域取得部１２１が取得した夫々の病変部の位置を、ボディマーク座標系における位置に変換する。この変換については、例えば、特許文献２に開示されている。すなわち、乳房上の位置から乳房を表す標準的なボディマーク上への座標変換を行えばよい。

Ｓ７０２０およびＳ７０３０の処理は、第１の実施形態におけるＳ３０２０およびＳ３０３０の処理と同様であるので説明を省略する。

［Ｓ７０４０：断面画像の生成］
Ｓ７０４０において、画像処理装置６００は、断面画像生成部６３０の処理として、Ｓ７０２０で得た超音波断層画像に対応する参照画像の断面画像を生成する。具体的には、Ｓ７０２０で得た超音波断層画像の位置姿勢に基づき、Ｓ７０００で得た三次元ボリュームデータから該超音波断層画像と同じ断面を切り出した断面画像を生成する。

［Ｓ７０５０：注目病変部の選択］
Ｓ７０５０において、画像処理装置６００は、注目領域選択部６２２の処理として、関心領域取得部１２１が取得した病変部の中から、操作者の指示に基づいて注目病変部を選択する。例えば、ボディマーク上の注目病変部の位置を表す図形を、操作者がマウス１００５をクリックするなどして選択するようにできる。

Ｓ７０６０の処理は、第１の実施形態におけるＳ３０６０の処理と同様であるので説明を省略する。

［Ｓ７０７０：断層画像に存在領域を描画］
Ｓ７０７０で画像処理装置６００の画像合成部６４０は、Ｓ７０５０において選択した注目病変部に対応する対応病変部の存在領域を表す図形を超音波画像上に重畳描画した画像を生成する。例えば、対応病変部の存在し得る範囲を閉曲線のラインで描画する。なお、Ｓ７０５０において注目病変部が選択されていない場合には、夫々の病変部の存在領域を表す図形を、区別なく同様な表示態様で描画する。

［Ｓ７０８０：ボディマークに変換領域を描画］
Ｓ７０８０において、画像処理装置６００は、画像合成部６４０の処理として、まず、左乳房用のボディマークおよび右乳房用のボディマークのいずれを使用するかを選択する。例えば、ステップ７０５０で注目病変部が選択されている場合には、選択された注目病変部が左右いずれの乳房に存在しているかを判定して、使用するボディマークを選択することができる。具体的には、Ｓ７０１０で算出したボディマーク座標系における注目病変部の位置と、ボディマーク座標系における左右の乳頭位置との距離を夫々算出し、距離が短い方のボディマークを選択することができる。または、位置姿勢取得部１１２が取得した超音波断層画像の位置姿勢に基づいて、超音波プローブが左右いずれの乳房の位置にあるかを判定して、使用するボディマークを選択することができる。

次に、選択されたボディマーク上の夫々の病変部の位置に、病変部の位置を表す図形を描画する。その際に、注目領域選択部１２２で選択した注目病変部以外の非注目病変部の位置を表す図形を、注目病変部の位置を表す図形よりも目立たない表示態様で描画する。例えば、図形の色を薄い色に変更する。なお、Ｓ７０５０において注目病変部が選択されていない場合には、夫々の病変部の位置を表す図形を、区別なく同様な表示態様で描画する。

さらに、位置姿勢取得部１１２が取得した超音波断層画像の位置姿勢に基づいて、ボディマーク座標系におけるプローブの位置を算出して、ボディマーク上にプローブの位置を表す図形（プローブマーク）を描画する。

［Ｓ７０９５：画像の表示］
Ｓ７０９５で画像合成部６４０は、断面画像と、超音波断層画像に注目病変部の存在領域を重畳した画像と、ボディマーク画像に病変位置を描画した画像とを生成する。そして、例えば、これらの画像を並べて、図８に示すような合成画像を生成する。その後、表示制御部１５０の処理として、合成した画像を表示部１６０に表示する。これにより、表示制御部１５０は、注目領域が変更されることに応じて、該変更前の注目領域の関心領域に対応する存在領域の表示を超音波画像上から消去する制御を行う。なお、ここでいう消去の制御には、注目領域の変更に応じて超音波画像に存在領域が重畳されていない画像を表示させる制御をも含む。

また別の観点では、表示制御部１５０は、複数の関心領域それぞれの位置をボディマーク（第一の画像）上に表示させるとともに、注目領域選択部１２２による選択に応じて超音波画像上（第二の画像上）に選択された関心領域の存在範囲を示す存在領域を表示させる。よってこの場合、表示制御部１５０は、注目領域が変更されることに応じて、変更前の注目領域の存在領域から変更後の注目領域の存在領域へと表示を切り替える。またさらに、表示制御部１５０は、取得された複数の関心領域のうち選択されなかった関心領域についての存在領域は超音波画像（第二の画像）上には表示させないよう制御する。また、表示制御部１５０は、選択に応じてボディマーク（第一の画像）上における当該選択された関心領域の位置を第一の図形で表示させるとともに、選択されなかった関心領域の位置を第一の図形とは異なる第二の図形で表示させる制御を行う。また、表示制御部１５０は、超音波プローブの位置をボディマーク（第一の画像）上に表示させる。

また、必要に応じて、Ｉ／Ｆ１００９を介してこれを外部へと出力し、さらに、他のアプリケーションから利用可能な状態としてＲＡＭ１００２上に格納する。

Ｓ７１００の処理は、第１の実施形態におけるＳ３１００の処理と同様であるので説明を省略する。

以上説明したように本実施形態に係る画像処理装置によれば、ボディマーク上の非注目病変部の位置を表す図形の表示態様を、注目病変部の位置を表す図形と比べて目立たないものに変更することができる。一方で、超音波断層画像上の非注目病変部の存在領域を表す図形の表示態様を非表示に変更することができる。これにより、操作者は、ボディマークを観察することにより、注目病変部の近傍に誤同定の恐れがある病変部が存在するかどうかを把握できる。

一方で、超音波断層画像上に非注目病変の存在領域を表す図形は表示されないため、対応病変部の探索の妨げとならない。すなわち、本実施形態に係る画像処理装置によれば、参照画像中の複数の病変部の中から選択した注目病変部に対応する対応病変部を対象画像から効率良く探索し同定することができる。

なお、上述した実施形態では、超音波断層画像と同一となる断面を参照画像である三次元画像データから切り出した断面画像と、超音波断層画像とを並べて提示する場合について説明したが、この断面画像は必ずしも表示しなくてよい。この場合、参照画像である三次元画像データの取得や、断面画像の生成処理は行わなくてもよい。

（第２の実施形態の変形例１）
上述した実施形態では、対象物体を表すボディマーク中の非注目病変部の位置を表す図形の色を薄い色に変更する場合を例に挙げて説明したが、表示態様の変更方法はこれに限られない。例えば、図形の線の太さや種類を変更したり、図形の色の彩度を落としたりしてもよい。

さらに、例えば、注目病変部を非注目病変部の位置が所定の距離よりも離れているなど、注目病変部を非注目病変部と誤同定する可能性が低いような場合には、表示制御部１５０は、対象物体を表すボディマーク中の非注目病変部の位置を表す図形を非表示とする。つまり、表示制御部１５０が選択された関心領域の存在領域と選択されなかった関心領域の位置との位置関係に基づいて第一の画像上に表示される関心領域の位置の表示を制限する。これにより、表示をより分かり易くすることができる。

（その他の実施形態）
以上、実施形態について詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などである。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行う。

１００ 画像処理装置、１７０ 三次元画像収集装置、１８０ 超音波画像診断装置、１９０ データサーバ

上記課題を解決するため、本発明の一態様による情報処理装置は、被検体の第１画像に含まれる注目領域の位置に対応する対応位置であって、前記被検体の第２画像が属する座標系における対応位置に、所定の範囲を付加することによって得られる存在領域を取得する取得手段と、前記存在領域と前記第２画像とが交差している場合には、前記存在領域と前記第２画像との交差領域を示す情報と、前記第２画像とを表示部に表示させ、前記存在領域と前記第２画像とが交差していない場合には、前記注目領域を撮影するために撮影部を移動する方向を示す情報を前記表示部に表示させる表示制御手段と、を有することを特徴とする。

Claims (16)

1. 第１装置で撮影された被検体の第１画像に含まれる注目位置を取得する取得手段と、
   前記第１装置とは異なる第２装置で撮影された前記被検体の２次元画像である第２画像に前記注目位置に基づく領域が含まれているか否かを判定する判定手段と、
   前記第２画像に前記注目位置に基づく領域が含まれていると判定された場合には表示部に前記第２画像における前記注目位置に基づく領域を示す情報を前記第２画像上に表示させ、前記第２画像に前記注目位置に基づく領域が含まれていないと判定された場合には少なくとも前記第２画像を規定する２次元方向の一方を示す情報であって前記第２装置により前記注目位置を撮影するために前記第２装置を移動すべき方向を示す情報を前記表示部に表示させる表示制御手段と、
   を備えることを特徴とする情報処理装置。
2. 前記表示制御手段は、前記第２画像に前記注目位置に基づく領域が含まれていないと判定された場合には前記第２装置を移動すべき方向を示す情報と前記第２画像とを前記表示部に表示させることを特徴とする請求項１記載の情報処理装置。
3. 前記表示制御手段は、前記第２画像に前記注目位置に基づく領域が含まれていると判定された場合には前記第２装置を移動すべき方向を示す情報を前記表示部に表示させないことを特徴とする請求項１または請求項２に記載の情報処理装置。
4. 前記表示制御手段は、前記第２画像に前記注目位置に基づく領域が含まれていないと判定された場合には前記第２装置を移動すべき距離を示す情報を前記表示部に更に表示させることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記表示制御手段は、前記第２装置を移動すべき方向を示す情報を前記第２画像と重ならないように前記表示部に表示させることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記表示制御手段は、前記第２装置を移動すべき方向を示す情報および前記第２装置を移動すべき距離を示す情報を前記第２画像と重ならないように前記表示部に表示させることを特徴とする請求項４に記載の情報処理装置。
7. 前記第２装置を移動すべき方向を示す情報は、前記第２装置を移動すべき３次元の方向を示す情報を含むことを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記第２装置を移動すべき方向を示す情報は図形であることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記第２画像は前記第２装置によって逐次撮影されることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 前記第１装置はＭＲＩ装置またはＸ線ＣＴ装置であり、前記第２装置は超音波プローブを含む超音波画像診断装置であることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 前記注目位置は病変の位置を含むことを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記第２装置を移動すべき方向を示す情報は、前記第２装置を移動すべき３次元の方向を示す情報を含むことを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 前記注目位置に基づく領域を示す情報は、前記注目位置が前記第２画像において存在し得る範囲であって、前記注目位置の前記第２画像における位置に誤差範囲を付加して得られる範囲を示す情報を含むことを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
14. 第１装置で撮影された被検体の第１画像に含まれる注目位置を取得する取得工程と、
    前記第１装置とは異なる第２装置で撮影された前記被検体の２次元画像である第２画像に前記注目位置に基づく領域が含まれているか否かを判定する判定工程と、
    前記第２画像に前記注目位置に基づく領域が含まれていると判定された場合には表示部に前記第２画像における前記注目位置に基づく領域を示す情報を前記第２画像上に表示させ、前記第２画像に前記注目位置に基づく領域が含まれていないと判定された場合には少なくとも前記第２画像を規定する２次元方向の一方を示す情報であって前記第２装置により前記注目位置を撮影するために前記第２装置を移動すべき方向を示す情報を前記表示部に表示させる表示制御工程と、
    を有することを特徴とする情報処理方法。
15. 情報処理装置に備えられたコンピュータに、
    第１装置で撮影された被検体の第１画像に含まれる注目位置を取得する取得工程と、
    前記第１装置とは異なる第２装置で撮影された前記被検体の２次元画像である第２画像に前記注目位置に基づく領域が含まれているか否かを判定する判定工程と、
    前記第２画像に前記注目位置に基づく領域が含まれていると判定された場合には表示部に前記第２画像における前記注目位置に基づく領域を示す情報を前記第２画像上に表示させ、前記第２画像に前記注目位置に基づく領域が含まれていないと判定された場合には少なくとも前記第２画像を規定する２次元方向の一方を示す情報であって前記第２装置により前記注目位置を撮影するために前記第２装置を移動すべき方向を示す情報を前記表示部に表示させる表示制御工程と、
    を実行させるためのプログラム。
16. 第１装置で撮影された被検体の第１画像に含まれる注目位置を取得する取得手段と、
    前記第１装置とは異なる第２装置で撮影された前記被検体の２次元画像である第２画像に前記注目位置が含まれている場合には表示部に前記第２画像における前記注目位置を示す情報を前記第２画像上に表示させ、前記第２画像に前記注目位置が含まれていない場合には少なくとも前記第２画像を規定する２次元方向の一方を示す情報であって前記第２装置により前記注目位置を撮影するために前記第２装置を移動すべき方向を示す情報を前記表示部に表示させる表示制御手段と、
    を備えることを特徴とする情報処理装置。

Images