JP2013158361A - 情報処理装置及び情報処理方法 - Google Patents

Abstract

【課題】探索対象とする領域の特定を容易にすることができる情報処理装置及び情報処理方法等を提供する。
【解決手段】情報処理装置１００には、被検体の注目領域を取得する注目領域取得部１２０と、前記被検体の断層画像を取得する断層画像取得１５０と、前記断層画像上において前記注目領域の対応領域が存在し得る存在領域を算出する存在領域算出部１７０と、前記存在領域と前記断層画像との位置関係に基づいて第１の画像又は第２の画像を前記断層画像に合成する合成部１８０と、合成部１８０により合成された画像を表示させる表示制御部１９０と、が含まれている。前記第１の画像は、前記存在領域を含み、前記第２の画像は、前記断層画像と前記対応領域又は前記存在領域との位置関係の表示を含む。
【選択図】図１

Description

本発明は、撮影条件が異なる画像間の注目領域に対応する領域の探索の高効率化を図った情報処理装置及び情報処理方法等に関する。

医療の分野において、医師は被検体を撮像した医用画像（被検体内部の三次元的な情報を表す断層画像群からなる三次元画像データ）をモニタに表示し、表示された画像を読影して病変部の診断を行う。医用画像を撮像する医用画像収集装置（以下、モダリティと呼ぶ）としては、超音波画像診断装置、磁気共鳴映像装置（以下、ＭＲＩ装置と呼ぶ）、Ｘ線コンピュータ断層撮影装置（以下、Ｘ線ＣＴ装置と呼ぶ）などが挙げられる。

これらの個々のモダリティで撮像された医用画像を観察するだけでは、病変部の状態を正しく診断することは困難である。そこで、複数のモダリティで撮像された夫々の医用画像や、異なる日時に撮像された夫々の医用画像中の病変部を比較することによって、病変部の状態を正しく診断しようとする試みがなされている。

複数種類の医用画像を診断に利用するためには、夫々の医用画像における病変部等を同定すること、つまり対応付けることが重要である。モダリティの違いや被検体の変形等の影響で画像処理による同定の自動化が困難であるため、医師等の作業者は画像を見ながら同定の作業を手動で行うことが一般的である。作業者は、一方の医用画像（以下、参照画像と呼ぶ）で指摘された注目する病変部（以下、注目病変部と呼ぶ）の画像を見ながら、病変部の形状やその周辺部の見え方等の類似性を手がかりにして、その病変部に対応する病変部（以下、対応病変部と呼ぶ）を他方の医用画像（以下、対象画像と呼ぶ）から探索し同定している。ここで、医用画像を提示する装置が、参照画像の座標系における注目病変部の位置から対象画像の座標系における対応病変部の位置を推定して提示する機能を備えているならば、作業者はその推定位置を手掛かりにして対応病変部の探索を行うことができる。

そこで、超音波探触子の位置及び姿勢を計測することで、対象画像である超音波断層画像と参照画像との座標系の関係を求め、超音波断層画像の座標系における対応病変部の位置を推定して探触子の操作を誘導する試みがなされている。

例えば、現在の超音波断層画像に対して、リファレンス像で設定したターゲットの中心までの距離及び方向を計算し、該距離及び方向に基づく三次元の矢印像と数値を表示することが、特許文献１に開示されている。ここで、リファレンス像は、Ｘ線ＣＴ装置やＭＲＩ装置等の三次元画像の断面画像であり、ターゲットが注目病変部に該当する。

また、過去の超音波断層画像から選択した画像追跡点が与えられた場合に、現在の超音波断層画像からの距離及び方向に基づく大きさや色の正方形を平面内指示子として該現在の超音波断層画像に重ねて表示することが、特許文献２に開示されている。ここで、超音波断層画像としては、ボリューム又はスライスが用いられ、画像追跡点が注目病変部に該当する。

特開２００８−２４６２６４号公報 特開２００８−２１２６８０号公報

しかしながら、超音波探触子の位置及び姿勢の計測精度には少なからず誤差が含まれ、また、参照画像の撮影時と超音波断層画像の撮影時とでは、被検体の形状は必ずしも一致していない。そのため、超音波断層画像の座標系における対応病変部の推定位置には誤差が含まれており、実際の対応病変部の位置とは位置ずれしたものとなる。ところが、上記特許文献１及び２で開示されている表示には上記位置ずれは考慮されていない。このため、上記位置ずれの程度によっては、ユーザは対応病変部を同定できない、つまり見つけられない可能性がある。この場合、ユーザが超音波断層画像全体から対応病変部を探索することになり、探索の効率が低い。

本発明は、探索対象とする領域の特定を容易にすることができる情報処理装置及び情報処理方法等を提供することを目的とする。

本発明に係る情報処理装置は、被検体の注目領域を取得する注目領域取得手段と、前記被検体の断層画像を取得する断層画像取得手段と、前記断層画像上において前記注目領域の対応領域が存在し得る存在領域を算出する存在領域算出手段と、前記対応領域または前記存在領域のいずれかと前記断層画像との位置関係に基づき、前記存在領域を示す第１の画像と前記位置関係を示す第２の画像のいずれかを前記断層画像に合成する合成手段と、前記合成手段により合成された画像を表示させる表示制御手段と、を有することを特徴とする。

本発明に係る情報処理方法は、被検体の注目領域を取得する注目領域取得ステップと、前記被検体の断層画像を取得する断層画像取得ステップと、前記断層画像上において前記注目領域の対応領域が存在し得る存在領域を算出する存在領域算出ステップと、前記対応領域または前記存在領域のいずれかと前記断層画像との位置関係に基づき、前記存在領域を示す第１の画像と前記位置関係を示す第２の画像のいずれかを前記断層画像に合成する合成ステップと、前記合成ステップにおいて合成した画像を表示させる表示制御ステップと、を有することを特徴とする。

本発明によれば、超音波探触子を存在領域まで誘導するための表示と、存在領域自体の表示とが、存在領域と断層画像との位置関係に基づいて切り替えられる。対応領域を効率よく探索して同定することができる。

第１の実施形態に係る情報処理システムの機器構成を示す図である。 コンピュータの基本構成を示す図である。 第１の実施形態での情報処理装置１００の処理手順を示すフローチャートである。 第１の実施形態での情報処理装置１００による表示形態の一例（存在領域表示）を示す図である。 第１の実施形態での情報処理装置１００による表示形態の他の一例（位置関係表示）を示す図である。 第２の実施形態での情報処理装置１００の処理手順を示すフローチャートである。 第２の実施形態での情報処理装置１００による表示形態の一例（同時表示）を示す図である。

以下、添付図面を参照しながら本発明の好ましい実施形態に係る情報処理システム（情報処理装置）について詳細に説明する。ただし、発明の範囲はこれらの実施形態に限定されるものではない。

（第１の実施形態）
第１の実施形態に係る情報処理システムは、存在領域と超音波断層画像との位置関係に基づいて、存在領域表示と位置関係表示とを切り替える。ここで、存在領域とは、三次元画像データ（参照画像）中の注目領域（例えば、注目病変部）に対応する対応領域（対応病変部）が存在し得る領域を、超音波断層画像（対象画像）と同じ空間で表したものである。また、存在領域表示とは、実時間で被検体を撮影している超音波断層画像上に、対応領域の存在領域を当該超音波断層画像に合成した表示の一形態である。一方、位置関係表示とは、超音波断層画像からみた存在領域（あるいは、対応領域の推定位置）までの距離や方向を当該超音波断層画像に合成した表示の一形態である。そして、これらの表示を適切に切り替えることで、操作者（医師や技師）が超音波断層画像上で対応領域を容易に探索して同定できるようにする。

図１は、第１の実施形態に係る情報処理システムの構成を示す図である。図１に示すように、本実施形態における情報処理装置１００には、三次元画像取得部１１０、注目領域取得部１２０、誤差取得部１３０、位置姿勢取得部１４０、断層画像取得部１５０、交差判定部１６０、存在領域算出部１７０、画像合成部１８０及び表示制御部１９０が含まれる。また、情報処理装置１００は、第２医用画像収集装置１２及びデータサーバ１３に接続されている。データサーバ１３は、三次元画像データ及び後に記述する誤差要因情報等を保持する。データサーバ１３が保持する三次元画像データは、第１医用画像収集装置１１によって被検体を予め撮像して得られた画像である。以下の説明では、第１医用画像収集装置１１としてＭＲＩ装置が用いられることとするが、第１医用画像収集装置１１としては、他にＸ線ＣＴ装置等が用いられてもよい。本実施形態では、三次元画像データは、三次元のボクセルに輝度値を格納した三次元ボリュームデータとして表現されているものとする。また、各ボクセルの座標はＭＲＩ装置座標系で表現されているものとする。第２医用画像収集装置１２は、例えば超音波画像診断装置であり、被検体の超音波断層画像を撮像する。第２医用画像収集装置１２は、例えば、超音波を利用して画像を撮像する超音波画像診断装置で実現され、被検体の超音波断層画像（以下、断層画像と呼ぶ）を撮像する。第２医用画像収集装置１２においては、超音波探触子（以下、プローブと呼ぶ）から超音波信号を送受信することにより撮像を行う。

なお、図１に示した各部（三次元画像取得部１１０、注目領域取得部１２０、誤差取得部１３０、位置姿勢取得部１４０、断層画像取得部１５０、交差判定部１６０、存在領域算出部１７０、画像合成部１８０及び表示制御部１９０）の少なくとも一部は、独立した装置として実現してもよい。または、夫々一つもしくは複数のコンピュータにインストールし、コンピュータのＣＰＵにより実行することで、その機能を実現するソフトウェアとして実現してもよい。本実施形態では、各部はそれぞれソフトウェアにより実現され、同一のコンピュータにインストールされているものとする。

図２は、三次元画像取得部１１０、注目領域取得部１２０、誤差取得部１３０、位置姿勢取得部１４０、断層画像取得部１５０、交差判定部１６０、存在領域算出部１７０、画像合成部１８０及び表示制御部１９０の夫々の機能を、ソフトウェアを実行することで実現するためのコンピュータの基本構成を示す図である。

ＣＰＵ１００１は、ＲＡＭ１００２やＲＯＭ１００３に格納されたプログラムやデータを用いてコンピュータ全体の制御を行う。また、ＣＰＵ１００１は、三次元画像取得部１１０、注目領域取得部１２０、誤差取得部１３０、位置姿勢取得部１４０、断層画像取得部１５０、交差判定部１６０、存在領域算出部１７０、画像合成部１８０及び表示制御部１９０の夫々におけるソフトウェアの実行を制御して、各部の機能を実現する。

三次元画像取得部（第１の取得部）１１０は、データサーバ１３から第１医用画像収集装置１１（第１の画像撮像装置）により撮像された３次元画像を取得する。

注目領域取得部１２０は、３次元画像内で注目する病変部の領域（注目領域）に関する情報を取得する。注目領域に関する情報とは、例えば、注目する病変部の位置（領域の重心位置）や、注目する病変部の領域境界に位置する点群の座標等が挙げられる。なお、注目領域に関する情報も、３次元画像と同様に、第１医用画像収集装置１１の座標系で表されているものとする。また、注目領域は、例えば、３次元画像を読影した医師等により指摘された領域がなり得る。

誤差取得部１３０は、データサーバ１３から誤差要因情報を取得し、当該情報に基づいて誤差推定値を算出する。誤差要因情報は、断層画像上における存在領域の算出に用いられる。誤差取得部誤差取得部においては、例えば、プローブの位置姿勢を計測する位置姿勢センサの種別（例えば、センサＡ、センサＢなど）を表す情報を、誤差要因情報としてデータサーバ１３から取得する。すなわち、センサの種別によって、プローブの位置姿勢の計測値に誤差が生じてくるため、このような情報を取得する。そのため、言い換えれば、誤差要因情報は、位置姿勢センサの精度を示す情報ともいえる。

断層画像取得部（第２の取得部）１５０は、第２医用画像収集装置１２（第２の画像撮像装置）から断層画像を逐次的に取得する。

位置姿勢取得部１４０は、第２医用画像収集装置１２に接続されるプローブの撮像時の位置姿勢を取得する。位置姿勢取得部１４０では、第２医用画像収集装置１２により逐次的に撮像される断層画像とともに、当該断層画像を撮像した際のプローブの位置姿勢を示す情報（位置姿勢データ）を逐次的に取得する。そして、既知の値として予め記憶している校正データを利用して、当該計測値から第１医用画像収集装置１１の座標系における断層画像の位置姿勢を算出する。なお、プローブの位置姿勢は、例えば、被検体を基準とした基準座標系における位置姿勢で表されているものとする。また、プローブの位置姿勢は、不図示の位置姿勢センサで計測される。

存在領域算出部１７０は、第２医用画像収集装置１２の座標系（断層画像の座標系）で３次元画像上における注目病変部が存在し得る領域（存在領域）を取得する。なお、第２医用画像収集装置１２の座標系とは、断層画像を基準とした３次元の座標系であり、例えば、断層画像上の１点を原点として、当該断層画像の平面上にｘ軸とｙ軸とを設定し、当該平面に直交する方向にｚ軸を設定した座標系として定義できる。

存在領域算出部１７０は、第２医用画像収集装置１２の座標系（断層画像の座標系）で存在領域を算出する。存在領域の算出は、注目領域取得部１２０により取得された注目領域に関する情報と、位置姿勢取得部１４０により取得された位置姿勢と、誤差取得部誤差取得部により算出された誤差推定値とに基づいて行われる。交差判定部１６０は、当該算出された存在領域の情報を用いて、撮像中の断層画像上に当該存在領域が含まれているか否かを判定する。

画像合成部１８０は、交差判定部１６０の判定結果に基づいて、撮像中の断層画像とともに、各種情報を切り替えて表示部（表示器）１４に表示する。画像合成部１８０には、断層画像に対して各種情報を合成する合成部が設けられる。

以上が、情報処理システムの構成の一例についての説明である。なお、情報処理装置１００に設けられる機能的な構成や各種装置は、必ずしも図示した通りに実現される必要はなく、システム内におけるいずれかの装置にその全部若しくは一部が実現されていれば良い。

ＲＡＭ１００２は、外部記憶装置１００７や記憶媒体ドライブ１００８からロードされたプログラムやデータを一時的に記憶するエリアを備えると共に、ＣＰＵ１００１が各種の処理を行うために必要とするワークエリアを備える。

ＲＯＭ１００３は、一般にコンピュータのプログラムや設定データなどが格納されている。キーボード１００４、マウス１００５は入力デバイスであり、操作者はこれらを用いて、各種の指示をＣＰＵ１００１に入力することができる。

表示部１００６は、ＣＲＴや液晶ディスプレイなどにより構成されており、表示部１４がこれに相当する。表示部１００６は、画像合成部１８０が生成する合成画像の他に、画像処理のために表示すべきメッセージやＧＵＩ等を表示することができる。

外部記憶装置１００７は、ハードディスクドライブなどの大容量情報記憶装置として機能する装置であって、ここにＯＳ（オペレーティングシステム）やＣＰＵ１００１が実行するプログラム等を保存する。また、本実施形態の説明において、既知であると説明する情報はここに保存されており、必要に応じてＲＡＭ１００２にロードされる。

記憶媒体ドライブ１００８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記憶されているプログラムやデータをＣＰＵ１００１からの指示に従って読み出して、ＲＡＭ１００２や外部記憶装置１００７に出力する。

Ｉ／Ｆ１００９は、アナログビデオポートあるいはＩＥＥＥ１３９４等のデジタル入出力ポートや、合成画像などの情報を外部へ出力するためのイーサネット（登録商標）ポート等によって構成される。夫々が入力したデータはＩ／Ｆ１００９を介してＲＡＭ１００２に取り込まれる。三次元画像取得部１１０、注目領域取得部１２０、誤差取得部１３０、位置姿勢取得部１４０及び断層画像取得部１５０の機能の一部は、Ｉ／Ｆ１００９によって実現される。

上述した各構成要素は、バス１０１０によって相互に接続される。

図３は、第１の実施形態における情報処理装置１００が行う全体の処理手順を示すフローチャートである。このフローチャートに示す処理は、本実施形態ではＣＰＵ１００１が各部の機能を実現するプログラムを実行することにより実現される。なお、以下の処理を行う前段で、図３に示すフローチャートに従ったプログラムコードは、例えば外部記憶装置１００７からＲＡＭ１００２に既にロードされているものとする。

＜ステップＳ２００：データの入力＞
ステップＳ２００において、三次元画像取得部１１０は、データサーバ１３から三次元画像を取得する。さらに、注目領域取得部１２０は、データサーバ１３から三次元画像中の注目領域を表す情報を取得し、存在領域算出部１７０に出力する。ここで、注目領域を表す情報とは、例えば、注目病変部の位置（領域の重心位置）や、注目病変部の領域境界に位置する点群の座標である。以下の説明では、注目領域を表す情報も、三次元画像と同様にＭＲＩ装置座標系で表されているものとする。

＜ステップＳ２０１：誤差要因情報の入力＞
ステップＳ２０１において、誤差取得部１３０は、誤差推定値の算出に用いる各種の誤差要因情報をデータサーバ１３から取得し、存在領域算出部１７０に出力する。ここで、誤差要因情報とは、超音波断層画像上における対応領域の存在領域を算出するための情報である。例えば、超音波探触子の位置姿勢を計測する位置姿勢センサの種別（例えば、センサＡ、センサＢなど）を表す情報を、誤差要因情報としてデータサーバ１３から取得する。

＜ステップＳ２０２：断層画像の取得＞
ステップＳ２０２において、断層画像取得部１５０は、第２医用画像収集装置１２から超音波断層画像を取得する。また、位置姿勢取得部１４０は、上記超音波断層画像を撮像した際の超音波探触子の位置姿勢の計測値を第２医用画像収集装置１２から取得する。そして、既知の値として予め記憶している校正データを利用して、該計測値からＭＲＩ装置座標系における超音波断層画像の位置姿勢を算出し、存在領域算出部１７０に出力する。なお、第２医用画像収集装置１２としての超音波画像診断装置は、被検体の超音波断層画像を実時間で撮像する。また、超音波探触子の位置姿勢は不図示の位置姿勢センサで計測される。ここで、超音波探触子の位置姿勢は、例えば被検体を基準とした基準座標系における位置姿勢で表されているものする。

＜ステップＳ２０３：誤差推定値の取得＞
ステップＳ２０３において、誤差取得部１３０は、ステップＳ２０１で取得した各種の誤差要因情報（誤差の算出に用いる各種データ）に基づいて、誤差推定値を算出し、存在領域算出部１７０に出力する。誤差推定値を算出する処理は、例えば超音波探触子の位置姿勢を計測する位置姿勢センサの特性等に基づいて実行することができる。位置姿勢センサの種別毎に予め誤差の基準値を定めておき、使用するセンサの種別に応じて値を選択するようにできる。例えば、ステップＳ２０１で入力した誤差要因情報が、光学式センサであるセンサＡを使用しているという情報の場合、磁気式センサであるセンサＢを使用している場合に比べて小さい値として誤差推定値を算出するようにできる。なお、誤差を推定する処理は、他の処理であってもよい。

＜ステップＳ２０４：存在領域の取得＞
ステップＳ２０４において、存在領域算出部１７０は、超音波座標系上における対応領域の存在領域を算出し、交差判定部１６０へ出力する。ここで、超音波座標系とは、超音波断層画像を基準とした三次元座標系であり、例えば、該断層画像上の１点を原点として、該断層画像の平面上にｘ軸及びｙ軸を設定し、該平面に直交する方向にｚ軸を設定した座標系として定義できる。

存在領域を算出する処理としては、例えば次のような処理が考えられる。まず、存在領域算出部１７０は、超音波座標系における注目領域に対する対応領域を推定する。例えば、注目領域を表す情報として注目病変部の位置が与えられている場合には、対応領域を表す情報として、超音波座標系上における対応病変部の位置を推定する。この推定は、ステップＳ２０２で算出したＭＲＩ装置座標系における超音波断層画像の位置姿勢に基づいて行うことができる。次に、存在領域算出部１７０は、上記で推定した対応領域と、ステップＳ２０３で取得した誤差推定値とに基づいて、超音波座標系上における対応領域の存在領域を算出する。例えば、対応領域の情報が対応病変部の位置であって、かつ、誤差推定値が軸方向に依存していないと仮定している場合、超音波座標系における存在領域は、推定した対応病変部の位置が中心で、誤差推定値が半径である球で定義される。

＜ステップＳ２０５：交差判定＞
ステップＳ２０５において、交差判定部１６０は、ステップＳ２０４で算出した存在領域の情報を用いて、超音波断層画像が存在領域と交差しているか否かを判定する。交差判定の結果、交差していると判定された場合、画像合成部１８０はステップＳ２０６の処理を実行する。一方、交差していないと判定された場合、画像合成部１８０はステップＳ２０７の処理を実行する。存在領域と超音波断層画像との交差判定は、三次元空間中で定義される球と平面との交差領域の算出方法を用いて処理する。なお、三次元空間中で定義される球と平面との交差領域の算出方法は周知のものであるので、その説明は省略する。

＜ステップＳ２０６：断層画像への存在領域の表示＞
ステップＳ２０６において、交差判定部１６０は、超音波断層画像上における存在領域を表す情報として、存在領域と超音波断層画像との交差領域を算出する。そして、画像合成部１８０は、ステップＳ２０２で取得した超音波断層画像上に該交差領域を表す情報を重畳した画像を作成する。そして、作成した画像を表示制御部１９０へ出力する。そして、表示制御部１９０が、画像合成部１８０の出力である合成画像を取得し、これを表示部１４に表示させる。該交差領域は、三次元空間中における存在領域が球の場合には、当該球と超音波断層画像とが交差する領域（球の断面）である円として定義される。したがって、交差判定部１６０は、超音波断層画像上におけるこの円の中心位置と半径を算出する。画像合成部１８０は、算出した中心位置と半径を用いて、図４に示すような、超音波断層画像３００上に対応病変部３０１の存在領域３０２（第１の画像）を重畳した画像を生成する。なお、存在領域３０２は、（三次元空間中における）存在領域と超音波断層画像との交差領域でもある。

＜ステップＳ２０７：断層画像への位置関係の表示＞
ステップＳ２０７において、画像合成部１８０は、存在領域までの距離と方向の情報を算出する。そして、算出した距離と方向の情報を、ステップＳ２０２で取得した超音波断層画像と共に描画した画像を作成し、表示制御部１９０へ出力する。そして、表示制御部１９０が、画像合成部１８０の出力である合成画像を取得し、これを表示部１４に表示させる。該距離と方向は、例えば、超音波断層画像の中心から、存在領域を表す球の中心までの距離と方向として定義される。該距離と方向を用いて、図５に示すように、表示領域４０１に超音波断層画像３００、並びに位置関係の表示（位置情報）である距離情報４０３及び超音波誘導探触子の誘導方向を示す三次元矢印４０４（第２の画像）を描画した画像が合成される。なお、位置関係表示の対象として存在領域に代えて対応領域そのもの又はその推定位置を用いてもよい。

このようにして、図４又は図５に示すように、超音波断層画像３００に対する存在領域３０２の位置関係を示す位置情報が表示部１４に表示される。

＜ステップＳ２０８：全体の処理を終了するか否かの判定＞
ステップＳ２０８において、情報処理装置１００は、全体の処理を終了するか否かの判定を行う。例えば、キーボードの所定のキー（終了キー）を操作者が押すなどして入力した終了の指示を取得する。終了すると判定した場合には、情報処理装置１００の処理の全体を終了させる。一方、終了すると判定しなかった場合には、ステップＳ２０２へと処理を戻し、新たに撮像される超音波断層画像に対して、ステップＳ２０３以降の処理を再度実行する。

以上によって、情報処理装置１００の処理が実行される。

以上に述べた構成によれば、まず存在領域を表示することで、位置合わせの誤差を表示することでユーザによる探索の効率をあげることができる。加えて、存在領域と超音波断層画像との位置関係に基づいて、存在領域表示と位置関係表示とを切り替えることが可能になる。このようにすることで、単純に存在領域を表示することとすると超音波探触子が存在領域から離れた場合に（すなわち、超音波断層画像上に存在領域が含まれていない状況では）ユーザが存在領域の位置を見失ってしまう可能性がある、という問題が解消される。その結果、操作者は、存在領域から離れた位置の超音波断層画像を観察している場合でも、容易に、存在領域の位置を把握でき、また、存在領域が表示されている際には過剰な誘導表示に惑わされることなく、対応領域を効率よく探索して同定できる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態に係る情報処理システムでは、画像合成部１８０が、ステップＳ２０５の交差判定の結果に基づいて、ステップＳ２０６、Ｓ２０７において存在領域表示又は位置関係表示を選択し、表示する画像を合成する。従って、第１の実施形態では、交差判定の結果に応じて表示形態が瞬間的に切り替わることがある。このような表示形態の切り替えに対し、表示形態が徐々に切り替わるような制御を行ってもよい。例えば、超音波断層画像と存在領域とが交差し始めた時点では、存在領域と位置関係とを同時に表示するようにしてもよい。そこで、第２の実施形態では、画像合成部１８０が、存在領域表示及び位置関係表示の２種類の表示形態に加えて、存在領域、位置関係及び超音波断層画像を合成した表示形態（同時表示）の選択もできるように構成する。つまり、存在領域表示、位置関係表示及び同時表示の３種類の表示形態から選択された表示形態の画像が表示制御部１９０へと出力される。以下、第２の実施形態に係る情報処理システムについて、第１の実施形態と相違する部分を中心にして説明する。

また、第２の実施形態に係る情報処理システムの構成は、図１に示した第１の実施形態に係る情報処理システムの構成と同様である。また、第２の実施形態における情報処理装置１００も、第１の実施形態と同様に、図２に示す基本構成のコンピュータを用いて実現することができる。ただし、交差判定部１６０及び画像合成部１８０の処理の一部が第１の実施形態とは異なっている。

図６は、第２の実施形態における情報処理装置１００が行う全体の処理手順を示すフローチャートである。このフローチャートに示す処理も、本実施形態ではＣＰＵ１００１が各部の機能を実現するプログラムを実行することにより実現される。なお、以下の処理を行う前段で、図６に示すフローチャートに従ったプログラムコードは、例えば外部記憶装置１００７からＲＡＭ１００２に既にロードされているものとする。

ステップＳ５００、Ｓ５０１、Ｓ５０２、Ｓ５０３、Ｓ５０４において、三次元画像取得部１１０、誤差取得部１３０、断層画像取得部１５０、誤差取得部１３０、存在領域算出部１７０が、第１の実施形態におけるステップＳ２００、Ｓ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０４と同様の処理を実行する。また、ステップＳ５０７、Ｓ５０８において、画像合成部１８０が、第１の実施形態におけるステップＳ２０６、Ｓ２０７と同様の処理を実行する。更に、ステップＳ５０９では、第１の実施形態におけるステップＳ２０８と同様の処理が行われる。その一方で、ステップＳ５０５の交差判定では、第１の実施形態におけるステップＳ２０５の処理とは部分的に異なる処理が行われ、画像合成部１８０が行う処理として、ステップＳ５０６における同時表示の処理が追加されている。

＜ステップＳ５０５：交差判定＞
ステップＳ５０５において、交差判定部１６０は、ステップＳ５０４で算出した存在領域の情報を用いて、まず、超音波断層画像が存在領域と交差しているか否かを判定する。そして、交差判定の結果、交差していないと判定された場合、画像合成部１８０はステップＳ５０８の処理を実行する。ステップＳ５０８では、例えば、超音波断層画像に存在領域を合成して表示部１４に表示させた場合であって、存在領域の表示が所定の条件を満たしていない場合には、更に、位置情報を表示部１４に表示させる。一方、交差判定の結果、交差していると判定された場合、交差判定部１６０は、さらに、交差の状態が所定の条件を満たしているか否かを判定する。そして、交差の状態が所定の条件を満たしていない場合、画像合成部１８０はステップＳ５０６の処理を実行する。また、交差の状態が所定の条件を満たしている場合、ステップＳ５０７の処理を実行する。

なお、交差の状態の所定の条件としては、例えば、交差開始からの経過時間を用いることができる。この場合、交差開始後、予め設定した時間を過ぎた場合に、交差の状態が所定の条件を満たしたと判断する。すなわち、超音波断層画像が存在領域と交差してから一定時間が経過するまでは、ステップＳ５０６が実行され、一定時間が経過した後はステップＳ５０７が実行される。また、交差の状態の所定の条件として、交差領域の面積を用いてもよい。この場合、交差領域の面積が予め設定した条件を一度でも満たしたら、交差の状態が所定の条件を満たしたと判断する。面積の条件としては、例えば、交差領域の面積が所定の値以上である、交差領域の最大面積に対して所定の比率以上である、超音波断層画像内で交差領域が占める面積の割合が所定の値以上である、などの条件を用いることができる。なお、交差領域の面積が条件を満たした回数は、交差していないと判定された場合に０回にすることが望ましい。

＜ステップＳ５０６：同時表示＞
ステップＳ５０６において、画像合成部１８０は、ステップＳ２０６と同様の処理及びステップＳ２０７と同様の処理を互いに並行して実行する。つまり、ステップＳ２０６における交差領域を表す情報（交差領域情報）及びステップＳ２０７における位置関係を表す情報（位置関係情報）を算出し、交差領域情報及び位置関係情報を超音波断層画像に合成した画像を作成する。そして、作成した合成画像を表示制御部１９０へ出力する。次いで、表示制御部１９０が、画像合成部１８０の出力である合成画像を取得し、これを表示部１４に表示させる。このような処理の結果、図７に示すように、表示領域４０１に、超音波断層画像３００、距離情報４０３、三次元矢印４０４、及び存在領域３０２が合成された画像が生成される。つまり、表示制御部１９０は、表示部１４に表示された存在領域の面積、及び表示部１４に存在領域が表示されてからの経過時間の少なくともいずれかが所定の条件を満たさない場合に、表示部１４に表示させている断層画像に存在領域を合成して表示部１４に表示させるとともに更に位置情報を表示部１４に表示させる。なお、ステップＳ５０５において、交差領域情報が既に算出されている場合、ステップＳ５０６での再度の算出は省略してもよい。

以上に述べた構成によれば、存在領域と超音波断層画像との位置関係に基づいて、同時表示と存在領域表示と位置関係表示とを切り替えることが可能になる。これにより、操作者が超音波断層画像を存在領域から離れた位置から徐々に近づけると、表示されている画像が位置関係表示から同時表示、存在領域表示と段階を経て切り替わる。その結果、第１の実施形態の効果に加え、突然の表示内容の変更による操作者の混乱を防ぐことが可能になる。

本発明の各工程は、ネットワーク又は各種記憶媒体を介して取得したソフトウェア（プログラム）をパーソナルコンピュータ等の処理装置（ＣＰＵ、プロセッサ）にて実行することでも実現できる。

１００：情報処理装置 １１０：三次元画像取得部 １２０：注目領域取得部 １３０：誤差取得部 １４０：位置姿勢取得部 １５０：断層画像生成部 １６０：交差判定部 １７０：存在領域算出部 １８０：画像合成部 １９０：表示制御部

Claims (11)

1. 被検体の注目領域を取得する注目領域取得手段と、
   前記被検体の断層画像を取得する断層画像取得手段と、
   前記断層画像上において前記注目領域の対応領域が存在し得る存在領域を算出する存在領域算出手段と、
   前記対応領域または前記存在領域のいずれかと前記断層画像との位置関係に基づき、前記存在領域を示す第１の画像と前記位置関係を示す第２の画像のいずれかを前記断層画像に合成する合成手段と、
   前記合成手段により合成された画像を表示させる表示制御手段と、
   を有することを特徴とする情報処理装置。
2. 前記表示制御手段は、前記断層画像に前記存在領域が含まれる場合には、前記断層画像に前記存在領域を合成して表示部に表示させ、前記断層画像に前記存在領域が含まれない場合には、前記断層画像を前記表示部に表示させるとともに、当該表示部に表示させている断層画像に対する前記存在領域の位置関係を示す位置情報を前記表示部に表示させることを特徴とする請求項１に記載の情報処理装置。
3. 前記表示制御手段は、前記表示部に表示された前記存在領域の面積、及び前記表示部に前記存在領域が表示されてからの経過時間の少なくともいずれかが所定の条件を満たさない場合に、前記表示部に表示させている断層画像に前記存在領域を合成して前記表示部に表示させるとともに更に前記位置情報を前記表示部に表示させることを特徴とする請求項２に記載の情報処理装置。
4. 前記表示制御手段は、前記断層画像に前記存在領域を合成して表示部に表示させた場合であって、当該存在領域の表示が所定の条件を満たしていない場合には、更に、前記位置情報を前記表示部に表示させることを特徴とする請求項２又は３に記載の情報処理装置。
5. 前記存在領域と前記断層画像との交差が所定の条件を満たすか否かの判定を行う交差判定手段を有し、
   前記合成手段は、前記交差判定手段による判定の結果に応じて前記第１の画像又は前記第２の画像のいずれかを前記断層画像に合成することを特徴とする請求項１に記載の情報処理装置。
6. 前記所定の条件は、前記存在領域と前記断層画像との交差開始からの経過時間に基づく条件であることを特徴とする請求項５に記載の情報処理装置。
7. 前記所定の条件は、前記存在領域と前記断層画像とが交差する領域の面積に基づく条件であることを特徴とする請求項５に記載の情報処理装置。
8. 前記断層画像取得手段は、超音波探触子から送受信される超音波信号に基づいて撮像される断層画像を逐次的に取得し、
   前記位置情報は、前記超音波探触子の誘導方向を示す情報であることを特徴とする請求項２乃至７のいずれか１項に記載の情報処理装置。
9. 前記存在領域算出手段は、前記断層画像の撮像時に位置姿勢センサにより計測された前記超音波探触子の位置姿勢の計測値に基づいて前記注目領域に対応する前記断層画像の座標系の領域を算出した後、当該領域と前記位置姿勢センサの精度を示す情報とに基づいて前記存在領域を算出することを特徴とする請求項８に記載の情報処理装置。
10. 被検体の注目領域を取得する注目領域取得ステップと、
    前記被検体の断層画像を取得する断層画像取得ステップと、
    前記断層画像上において前記注目領域の対応領域が存在し得る存在領域を算出する存在領域算出ステップと、
    前記対応領域または前記存在領域のいずれかと前記断層画像との位置関係に基づき、前記存在領域を示す第１の画像と前記位置関係を示す第２の画像のいずれかを前記断層画像に合成する合成ステップと、
    前記合成ステップにおいて合成した画像を表示させる表示制御ステップと、
    を有することを特徴とする情報処理方法。
11. コンピュータに、
    被検体の注目領域を取得する注目領域取得ステップと、
    前記被検体の断層画像を取得する断層画像取得ステップと、
    前記断層画像上において前記注目領域の対応領域が存在し得る存在領域を算出する存在領域算出ステップと、
    前記対応領域または前記存在領域のいずれかと前記断層画像との位置関係に基づき、前記存在領域を示す第１の画像と前記位置関係を示す第２の画像のいずれかを前記断層画像に合成する合成ステップと、
    前記合成ステップにおいて合成した画像を表示させる表示制御ステップと、
    を実行させることを特徴とするプログラム。

Images