JP2019000387A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】 本発明は、医用画像を用いて病変部の経時観察を行う際に病変部を同定しやすい画像表示を行うことのできる情報処理装置を提供することを目的とする。【解決手段】 本発明に係る情報処理装置は、第一から第四のボリュームデータを取得し、第一のボリュームデータから、ユーザーの指示に基づいて決定された断面に対応する第一の断層画像を生成し、第二のボリュームデータから、第一の断層画像に対応する第二の断層画像を生成し、第四のボリュームデータから、第二の断層画像と類似する第三の断層画像を特定し、第三の断層画像の位置を表す情報を取得し、第三の断層画像の位置を表す情報に基づいて、第三のボリュームデータから、第三の断層画像に対応する第四の断層画像を生成し、第四の断層画像を含む画像を表示手段に表示させる。【選択図】 図２

Description

モダリティにより得られたボリュームデータに基づいて画像を表示させる情報処理装置に関する。

医師による医用画像診断においては、病変部を経時観察することが行われている。例えば、薬物治療前後でモダリティにより被検体の撮影を行い、医師が治療前後に得られた医用画像を比較して腫瘍サイズが変化したかどうかを経時観察することが行われる。

病変部の経時観察を行う方法として、特許文献１には、現在の画像と過去の画像との間の形態の差異を検出し、この差異情報を画像化することが記載されている。

特開平７−６５１４６号公報

典型的に治療を行うと、腫瘍等の病変部の形態（大きさ、形状）の変化や、それらを伴う病変部の位置の変化などが生じる。すなわち、治療前後では病変部の様子が変化しているため、治療前の医用画像で確認された病変部を、治療後の医用画像で同定することが困難である場合がある。

そこで、本発明は、医用画像を用いて病変部の経時観察を行う際に病変部を同定しやすい画像表示を行うことのできる情報処理装置を提供することを目的とする。

本発明に係る情報処理装置は、互いに座標系が対応づけられ、かつ、互いに画像種別の異なる第一のボリュームデータ及び第二のボリュームデータを取得し、第一のボリュームデータと同じ画像種別であり、かつ、第一のボリュームデータとは座標系の異なる第三のボリュームデータを取得し、第二のボリュームデータと同じ画像種別であり、かつ、第三のボリュームデータと座標系が対応づけられた第四のボリュームデータを取得するボリュームデータ取得手段と、第一のボリュームデータから、ユーザーの指示に基づいて決定された断面に対応する第一の断層画像を生成し、第二のボリュームデータから、第一の断層画像に対応する第二の断層画像を生成する断層画像生成手段と、第四のボリュームデータから、第二の断層画像と類似する第三の断層画像を特定し、当該第三の断層画像の位置を表す情報を取得する位置情報取得手段と、表示制御手段と、を有し、断層画像生成手段は、第三の断層画像の位置を表す情報に基づいて、第三のボリュームデータから、第三の断層画像に対応する第四の断層画像を生成し、表示制御手段は、第四の断層画像を含む画像を表示手段に表示させる。

本発明に係る情報処理装置によれば、医用画像を用いて病変部の経時観察を行う際に病変部を同定しやすい画像表示を行うことができる。

比較例に係る表示画像を示す模式図 本実施形態に係る治療前後の超音波画像データ及び光音響画像データを示す模式図 本実施形態に係る表示部の表示画像を示す模式図 本実施形態に係るモダリティの構成を示すブロック図 本実施形態に係るプローブの構成を示す模式図 本実施形態に係るコンピュータ及びその周辺の構成を示すブロック図 本実施形態に係る情報処理方法のフローを示す図 本実施形態に係るＧＵＩを示す模式図

本発明は、３次元空間の画像データを表すボリュームデータに基づいた画像の表示方法に関する発明である。

本発明は、光音響画像データ、超音波画像データ、ＭＲＩ画像データ、及びＣＴ画像データなど、あらゆるモダリティで生成されたボリュームデータに対して適用することができる。なお、光音響画像データは、光音響波の発生音圧（初期音圧）、光吸収エネルギー密度、及び光吸収係数、被検体を構成する物質の濃度（酸素飽和度など）などの少なくとも１つの被検体情報の３次元空間分布を表すボリュームデータである。

例えば、本発明は、腫瘍等の病変部に対する治療効果を経過観察する際に適用することができる。

まず、図１を用いて、本発明を適用せずに経過観察を行う場合の比較例を説明する。図１（ａ）は、薬物治療前に超音波診断装置により得られた超音波画像データ１１を示す。超音波画像データ１１は、（Ｘ，Ｙ，Ｚ）の装置座標系で得られたボリュームデータである。図１（ａ）においては、超音波画像データ１１の特定のＸＺ面に対応する断層画像１１ａが、表示部１６０に表示されている。比較例では、断層画像１１ａに濃い色で示された病変部としての腫瘍像が描出されている場合を想定している。

図１（ｂ）は、薬物治療後に超音波診断装置により得られた超音波画像データ２１を示す。超音波画像データ２１も、超音波画像データ１１と同様に（Ｘ，Ｙ，Ｚ）の装置座標系で得られたボリュームデータである。図１（ｂ）においては、断層画像１１ａと同じＸＺ面に対応する超音波画像データ２１の断層画像２１ａが、表示部１６０に表示されている。

治療前後では、撮影対象の位置や形状、あるいは、プローブの位置や姿勢が異なっていることがある。そのため、装置座標系を基準として超音波画像データの座標を定義した場合、腫瘍像は治療前後の画像データ間で異なる座標に位置することとなる。本明細書では、装置座標系と撮影対象との位置関係が画像データ間で異なることを、画像データ間の座標系が異なると呼ぶ。すなわち、超音波画像データ２１の座標系は、超音波画像データ１１の座標系と異なっているといえる。

また、薬物治療効果の有無の判断は、治療前後の腫瘍サイズ変化を観察することにより行われることがある。このとき、薬物が完全奏効し腫瘍が消失することや、腫瘍サイズが著しく小さくなることがある。この場合、治療後の超音波画像データ２１からは、治療前に腫瘍がどこにあったのかを把握できない場合がある。

以上説明したように、比較例においては次のような問題が存在する。医師は、断層画像２１ａの中に腫瘍像を確認できないときに、断層画像２１ａが治療前に腫瘍が存在した位置とは異なる位置を描出しているために腫瘍像が存在しないのか、腫瘍が消失したために腫瘍像が存在しないのかを判断できない場合がある。

そこで、本発明者は、超音波画像データとは別の画像種別のボリュームデータを参照することにより、ボリュームデータ間で病変部の位置を同定する方法を見出した。特に、本発明者は、腫瘍の形態変化の程度と比べて、血管の形態変化の程度の方が小さいことに着目した。すなわち、本発明者は、血管像を含むボリュームデータを参照することにより、治療前後であっても、病変部（腫瘍）の位置を精度よく同定できることを見出した。

例えば、血管像を含むボリュームデータとしては、光音響画像データ、ＭＲＡ画像データ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ａｎｇｉｏｇｒａｐｈｙ）、ＣＴＡ画像データ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ Ａｎｇｉｏｇｒａｐｈｙ）、造影超音波画像データなどの画像種別のボリュームデータを採用することができる。また、腫瘍像を含むボリュームデータとしては、超音波画像データ、ＭＲＩ画像データ、ＣＴ画像データなどの画像種別のボリュームデータを採用することができる。なお、血管像または腫瘍像を含むボリュームデータであれば、いかなる画像種別のボリュームデータを採用してもよい。

次に、図２を用いて、本発明を適用して経過観察を行う場合の実施形態を説明する。本実施形態では、腫瘍像を含むボリュームデータとして超音波画像データを採用し、血管像を含むボリュームデータとして光音響画像データを採用した場合について説明する。

図２は、超音波画像データと光音響画像データを示す模式図である。超音波画像データ１１及び光音響画像データ１２は、共通のモダリティで治療前のほぼ同時期に被検体を撮影することにより得られたものであり、互いに座標系が対応づけられている。すなわち、超音波画像データ１１及び光音響画像データ１２において、病変部がほぼ同じ座標に描出されている。画像データ間で互いに座標系が対応付けられていると、一方の画像データで確認された病変部の位置を、もう一方の画像データで一意に同定することができる。

超音波画像データ２１及び光音響画像データ２２も、共通のモダリティで治療後のほぼ同時期に被検体を撮影することにより得られたものであり、互いに座標系が対応づけられている。すなわち、超音波画像データ２１及び光音響画像データ２２において、病変部がほぼ同じ座標に描出されている。ところが、治療前後では座標系は異なるため、超音波画像データ１１と超音波画像データ２１との間で病変部の位置を同定することが困難である場合がある。

以下、本実施形態に係る情報処理装置が実行する情報処理の一例を説明する。ユーザーは、治療前の超音波画像データ１１の中から腫瘍像が描出された断層画像１１ａを指定する。情報処理装置は、ユーザーからの断層画像１１ａの指定を受け付けると、治療前の光音響画像データ１２から、断層画像１１ａと同じ断面の断層画像１２ａを生成する。

続いて、情報処理装置は、治療後の光音響画像データ２２から、治療前の断層画像１２ａと類似する断層画像２２ｂを画像処理により特定する。そして、情報処理装置は、断層画像２２ｂの位置を表す情報を取得する。このとき、治療前後で座標系は異なるため、断層画像２２ｂの位置は、断層画像１２ａの位置とは異なる位置となる。なお、図２に示すように、治療後の光音響画像データ２２のうち、断層画像１２ａと同じ断面の断層画像２２ａには、断層画像１２ａと異なる血管が描出されていることが理解される。

続いて、情報処理装置は、断層画像２２ｂの位置を表す情報に基づいて、治療後の超音波画像データ２１から、断層画像２２ｂと同じ断面の断層画像２１ｂ（断層画像２２ｂに対応する断層画像２１ｂ）を生成する。

図３に示すように、情報処理装置は、ユーザーが指定した治療前の断層画像１１ａと、情報処理装置が生成した治療後の断層画像２１ｂとを表示部１６０に表示させることができる。

上述したように、治療前の断層画像１１ａに含まれる病変部に対応する断層画像を超音波画像データ２１から直接生成することが困難である場合がある。一方、血管像を含む光音響画像データ１２及び２２を介して超音波画像データ間で対応する断面を探索することにより、治療前の断層画像１１ａに対応する治療後の断層画像２１ｂを生成することができる。例えば、医師は治療前の超音波画像データ１１の中から病変部を含む断層画像１１ａを指定するだけで、同じ病変部を含む治療後の断層画像２１ｂを比較して観察することができる。これにより、医師は、比較例と比べて容易に経過観察を行うことができる。

上記実施形態では、病変部として腫瘍の経時変化を観察する例を説明したが、経時変化する病変部は腫瘍に限らない。例えば、炎症部位を経時観察するために、情報処理装置は、炎症部位の像を含むボリュームデータを取得してもよい。また、上記実施形態では、病変部に対して経時変化の少ない血管像を含むボリュームデータを取得する例を説明したが、経時変化の少ない部位は血管に限らない。例えば、情報処理装置は、病変部に対して経時変化の小さい部位としてのリンパ管及び特徴的な皮膚構造の少なくとも一つの像を含むボリュームデータを取得してもよい。

以下に図面を参照しつつ、本発明の好適な実施の形態について説明する。ただし、以下に記載されている構成部品の寸法、材質、形状およびそれらの相対配置などは、発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、この発明の範囲を以下の記載に限定する趣旨のものではない。

本実施形態は、超音波画像データ及び光音響画像データに基づいた画像を表示する例を説明する。本実施形態に係るモダリティは、超音波診断装置と光音響装置の両方の機能を備えるマルチモダリティである。以下、本実施形態のモダリティの構成及び情報処理方法について説明する。

図４を用いて本実施形態に係るモダリティの構成を説明する。図４は、モダリティ全体の概略ブロック図である。本実施形態に係るモダリティは、光照射部１１０及び受信部１２０を含むプローブ１８０、駆動部１３０、信号収集部１４０、コンピュータ１５０、表示部１６０、及び入力部１７０を有する。

図５は、本実施形態に係るプローブ１８０の模式図を示す。測定対象は、被検体１００である。駆動部１３０は、光照射部１１０と受信部１２０を駆動し、機械的な走査を行う。光照射部１１０が光を被検体１００に照射し、被検体１００内で音響波が発生する。光に起因して光音響効果により発生する音響波を光音響波とも呼ぶ。受信部１２０は、光音響波を受信することによりアナログ信号としての電気信号（光音響信号）を出力する。また、受信部１２０は、被検体１００に対して超音波を送受信することにより、アナログ信号としての電気信号（超音波エコー信号）を出力する。

信号収集部１４０は、受信部１２０から出力されたアナログ信号をデジタル信号に変換し、コンピュータ１５０に出力する。コンピュータ１５０は、信号収集部１４０から出力されたデジタル信号を、光音響波及び超音波エコーに由来する信号データとして記憶する。

コンピュータ１５０は、記憶されたデジタル信号に対して信号処理を行うことにより、被検体１００に関する情報（被検体情報）の３次元空間分布を表すボリュームデータ（光音響画像データ及び超音波画像データ）を生成する。また、コンピュータ１５０は、ボリュームデータに基づいた画像を表示部１６０に表示させる。ユーザーとしての医師は、表示部１６０に表示された画像を確認することにより、診断を行うことができる。表示画像は、ユーザーやコンピュータ１５０からの保存指示に基づいて、コンピュータ１５０内のメモリや、モダリティとネットワークで接続されたデータ管理システムなどに保存される。

また、コンピュータ１５０は、モダリティに含まれる構成の駆動制御も行う。また、表示部１６０は、コンピュータ１５０で生成された画像の他にＧＵＩなどを表示してもよい。入力部１７０は、ユーザーが情報を入力できるように構成されている。ユーザーは、入力部１７０を用いて測定開始や終了、作成画像の保存指示などの操作を行うことができる。

以下、本実施形態に係るモダリティの各構成の詳細を説明する。

（光照射部１１０）
光照射部１１０は、光を発する光源１１１と、光源１１１から射出された光を被検体１００へ導く光学系１１２とを含む。なお、光は、いわゆる矩形波、三角波などのパルス光を含む。

光源１１１が発する光のパルス幅としては、１ｎｓ以上、１００ｎｓ以下のパルス幅であってもよい。また、光の波長として４００ｎｍから１６００ｎｍ程度の範囲の波長であってもよい。血管を高解像度でイメージングする場合は、血管での吸収が大きい波長（４００ｎｍ以上、７００ｎｍ以下）を用いてもよい。生体の深部をイメージングする場合には、生体の背景組織（水や脂肪など）において典型的に吸収が少ない波長（７００ｎｍ以上、１１００ｎｍ以下）の光を用いてもよい。

光源１１１としては、レーザーや発光ダイオードを用いることができる。また、複数波長の光を用いて測定する際には、波長の変更が可能な光源であってもよい。なお、複数波長を被検体に照射する場合、互いに異なる波長の光を発生する複数台の光源を用意し、それぞれの光源から交互に照射することも可能である。複数台の光源を用いた場合もそれらをまとめて光源として表現する。レーザーとしては、固体レーザー、ガスレーザー、色素レーザー、半導体レーザーなど様々なレーザーを使用することができる。例えば、Ｎｄ：ＹＡＧレーザーやアレキサンドライトレーザーなどのパルスレーザーを光源として用いてもよい。また、Ｎｄ：ＹＡＧレーザー光を励起光とするＴｉ：ｓａレーザーやＯＰＯ（Ｏｐｔｉｃａｌ Ｐａｒａｍｅｔｒｉｃ Ｏｓｃｉｌｌａｔｏｒｓ）レーザーを光源として用いてもよい。また、光源１１１としてフラッシュランプや発光ダイオードを用いてもよい。また、光源１１１としてマイクロウェーブ源を用いてもよい。

光学系１１２には、レンズ、ミラー、光ファイバ等の光学素子を用いることができる。乳房等を被検体１００とする場合、パルス光のビーム径を広げて照射するために、光学系の光出射部は光を拡散させる拡散板等で構成されていてもよい。一方、光音響顕微鏡においては、解像度を上げるために、光学系１１２の光出射部はレンズ等で構成し、ビームをフォーカスして照射してもよい。

なお、光照射部１１０が光学系１１２を備えずに、光源１１１から直接被検体１００に光を照射してもよい。

（受信部１２０）
受信部１２０は、音響波を受信することにより電気信号を出力するトランスデューサ１２１と、トランスデューサ１２１を支持する支持体１２２とを含む。また、トランスデューサ１２１は、音響波を送信する送信手段としてもよい。受信手段としてのトランスデューサと送信手段としてのトランスデューサとは、単一（共通）のトランスデューサでもよいし、別々の構成であってもよい。

トランスデューサ１２１を構成する部材としては、ＰＺＴ（チタン酸ジルコン酸鉛）に代表される圧電セラミック材料や、ＰＶＤＦ（ポリフッ化ビニリデン）に代表される高分子圧電膜材料などを用いることができる。また、圧電素子以外の素子を用いてもよい。例えば、静電容量型トランスデューサ（ＣＭＵＴ：Ｃａｐａｃｉｔｉｖｅ Ｍｉｃｒｏ−ｍａｃｈｉｎｅｄ Ｕｌｔｒａｓｏｎｉｃ Ｔｒａｎｓｄｕｃｅｒｓ）、ファブリペロー干渉計を用いたトランスデューサなどを用いることができる。なお、音響波を受信することにより電気信号を出力できる限り、いかなるトランスデューサを採用してもよい。また、トランスデューサにより得られる信号は時間分解信号である。つまり、トランスデューサにより得られる信号の振幅は、各時刻にトランスデューサで受信される音圧に基づく値（例えば、音圧に比例した値）を表したものである。

光音響波を構成する周波数成分は、典型的には１００ＫＨｚから１００ＭＨｚであり、トランスデューサ１２１として、これらの周波数を検出することのできるものを採用することができる。

支持体１２２は、機械的強度が高い金属材料などから構成されていてもよい。照射光を被検体に多く入射させるために、支持体１２２の被検体１００側の表面に鏡面もしくは光散乱させる加工が行われていてもよい。本実施形態において支持体１２２は半球殻形状であり、半球殻上に複数のトランスデューサ１２１を支持できるように構成されている。この場合、支持体１２２に配置されたトランスデューサ１２１の指向軸は半球の曲率中心付近に集まる。そして、複数のトランスデューサ１２１から出力された信号を用いて画像化したときに曲率中心付近の画質が高くなる。なお、支持体１２２はトランスデューサ１２１を支持できる限り、いかなる構成であってもよい。支持体１２２は、１Ｄアレイ、１．５Ｄアレイ、１．７５Ｄアレイ、２Ｄアレイと呼ばれるような平面又は曲面内に、複数のトランスデューサを並べて配置してもよい。複数のトランスデューサ１２１が複数の受信手段に相当する。

また、支持体１２２は音響マッチング材２１０を貯留する容器として機能してもよい。すなわち、支持体１２２をトランスデューサ１２１と被検体１００との間に音響マッチング材２１０を配置するための容器としてもよい。

また、受信部１２０が、トランスデューサ１２１から出力される時系列のアナログ信号を増幅する増幅器を備えてもよい。また、受信部１２０が、トランスデューサ１２１から出力される時系列のアナログ信号を時系列のデジタル信号に変換するＡ／Ｄ変換器を備えてもよい。すなわち、受信部１２０が後述する信号収集部１４０を備えてもよい。

なお、音響波を様々な角度で検出できるようにするために、理想的には被検体１００を全周囲から囲むようにトランスデューサ１２１を配置してもよい。ただし、被検体１００が大きく全周囲を囲むようにトランスデューサを配置できない場合は、半球状の支持体１２２上にトランスデューサを配置して全周囲を囲む状態に近づけてもよい。

受信部１２０は、把持部を含むハンドヘルド型であってもよい。また、受信部１２０は、トランスデューサ１２１を機械的に移動させる駆動部を含む機械走査型であってもよい。

なお、トランスデューサの配置や数及び支持体の形状は被検体に応じて最適化すればよく、本発明に関してはあらゆる受信部１２０を採用することができる。

受信部１２０と被検体１００との間の空間は、光音響波が伝播することができる媒質で満たす。この媒質には、音響波が伝搬でき、被検体１００やトランスデューサ１２１との界面において音響特性が整合し、できるだけ光音響波の透過率が高い材料を採用する。例えば、この媒質には、水、超音波ジェルなどを採用することができる。

図５（ａ）は、プローブ１８０の側面図を示し、図５（ｂ）は、プローブ１８０の上面図（図５（ａ）の紙面上方向から見た図）を示す。図５に示された本実施形態に係るプローブ１８０は、開口を有する半球状の支持体１２２に複数のトランスデューサ１２１が３次元に配置された受信部１２０を有する。また、図５に示されたプローブ１８０は、支持体１２２の底部に光学系１１２の光射出部が配置されている。

本実施形態においては、図５に示すように被検体１００は、保持部２００に接触することにより、その形状が保持される。本実施形態では、被検体１００が乳房の場合に、伏臥位の被検者を支持する寝台に乳房を挿入するための開口を設けて、開口から鉛直方向に垂らされた乳房を測定する形態を想定している。

受信部１２０と保持部２００の間の空間は、光音響波が伝播することができる媒質（音響マッチング材２１０）で満たされる。この媒質には、光音響波が伝搬でき、被検体１００やトランスデューサ１２１との界面において音響特性が整合し、できるだけ光音響波の透過率が高い材料を採用する。例えば、この媒質には、水、超音波ジェルなどを採用することができる。

保持手段としての保持部２００は被検体１００の形状を測定中に保持するために使用される。保持部２００により被検体１００を保持することによって、被検体１００の動きの抑制および被検体１００の位置を保持部２００内に留めることができる。保持部２００の材料には、ポリカーボネートやポリエチレン、ポリエチレンテレフタレート等、樹脂材料を用いることができる。

保持部２００は、被検体１００を保持できる硬度を有する材料であることが好ましい。保持部２００は、測定に用いる光を透過する材料であってもよい。保持部２００は、インピーダンスが被検体１００と同程度の材料で構成されていてもよい。乳房等の曲面を有するものを被検体１００とする場合、凹型に成型した保持部２００であってもよい。この場合、保持部２００の凹部分に被検体１００を挿入することができる。

保持部２００は、取り付け部２０１に取り付けられている。取り付け部２０１は、被検体の大きさに合わせて複数種類の保持部２００を交換可能に構成されていてもよい。例えば、取り付け部２０１は、曲率半径や曲率中心などの異なる保持部に交換できるように構成されていてもよい。

また、保持部２００には保持部２００の情報が登録されたタグ２０２が設置されていてもよい。例えば、タグ２０２には、保持部２００の曲率半径、曲率中心、音速、識別ＩＤ等の情報を登録することができる。タグ２０２に登録された情報は、読み取り部２０３により読み出され、コンピュータ１５０に転送される。保持部２００が取り付け部２０１に取り付けられたときに容易にタグ２０２を読み取るために、読み取り部２０３は取り付け部２０１に設置されていてもよい。例えば、タグ２０２はバーコードであり、読み取り部２０３はバーコードリーダである。

（駆動部１３０）
駆動部１３０は、被検体１００と受信部１２０との相対位置を変更する部分である。本実施形態では、駆動部１３０は、支持体１２２をＸＹ方向に移動させる装置であり、ステッピングモーターを搭載した電動のＸＹステージある。駆動部１３０は、駆動力を発生させるステッピングモーターなどのモーターと、駆動力を伝達させる駆動機構と、受信部１２０の位置情報を検出する位置センサとを含む。駆動機構としては、リードスクリュー機構、リンク機構、ギア機構、油圧機構、などを用いることができる。また、位置センサとしては、エンコーダー、可変抵抗器、などを用いたポテンショメータなどを用いることができる。

なお、駆動部１３０は被検体１００と受信部１２０との相対位置をＸＹ方向（二次元）に変更させるものに限らず、一次元または三次元に変更させてもよい。移動経路は平面的にスパイラル状やライン＆スペースで走査してもよいし、さらに三次元的に体表に沿うように傾けてもよい。また、被検体１００の表面からの距離を一定に保つようにしてプローブ１８０を移動させてもよい。このとき駆動部１３０は、モーターの回転数をモニターするなどしてプローブの移動量を計測してもよい。

なお、駆動部１３０は、被検体１００と受信部１２０との相対的な位置を変更できれば、受信部１２０を固定し、被検体１００を移動させてもよい。被検体１００を移動させる場合は、被検体１００を保持する保持部を動かすことで被検体１００を移動させる構成などが考えられる。また、被検体１００と受信部１２０の両方を移動させてもよい。

駆動部１３０は、相対位置を連続的に移動させてもよいし、ステップアンドリピートによって移動させてもよい。駆動部１３０は、プログラムされた軌跡で移動させる電動ステージであってもよいし、手動ステージであってもよい。すなわち、本実施形態に係るモダリティは、駆動部１３０を有さずに、ユーザーがプローブ１８０を把持して操作するハンドヘルドタイプであってもよい。

また、本実施形態では、駆動部１３０は光照射部１１０と受信部１２０を同時に駆動して走査を行っているが、光照射部１１０だけを駆動したり、受信部１２０だけを駆動したりしてもよい。

（信号収集部１４０）
信号収集部１４０は、トランスデューサ１２１から出力されたアナログ信号である電気信号を増幅するアンプと、アンプから出力されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換器とを含む。信号収集部１４０は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）チップなどで構成されてもよい。信号収集部１４０から出力されるデジタル信号は、コンピュータ１５０内の記憶部１５２に記憶される。信号収集部１４０は、Ｄａｔａ Ａｃｑｕｉｓｉｔｉｏｎ Ｓｙｓｔｅｍ（ＤＡＳ）とも呼ばれる。本明細書において電気信号は、アナログ信号もデジタル信号も含む概念である。なお、信号収集部１４０は、光照射部１１０の光射出部に取り付けられた光検出センサと接続されており、光が光照射部１１０から射出されたことをトリガーに、同期して処理を開始してもよい。また、信号収集部１４０は、フリーズボタンなどを用いてなされる指示をトリガーに同期して、当該処理を開始してもよい。

（コンピュータ１５０）
情報処理装置としてのコンピュータ１５０は、演算部１５１、記憶部１５２、制御部１５３を含む。各構成の機能については処理フローの説明の際に説明する。

演算部１５１としての演算機能を担うユニットは、ＣＰＵやＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）チップ等の演算回路で構成されることができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。演算部１５１は、入力部１７０から、被検体音速や保持部の構成などの各種パラメータを受けて、受信信号を処理してもよい。

記憶部１５２は、ＲＯＭ（Ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、磁気ディスクやフラッシュメモリなどの非一時記憶媒体で構成することができる。また、記憶部１５２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。なお、記憶部１５２は、１つの記憶媒体から構成されるだけでなく、複数の記憶媒体から構成されていてもよい。

記憶部１５２は、後述する方法で演算部１５１により生成される光音響画像を示す画像データを保存することができる。

制御部１５３は、ＣＰＵなどの演算素子で構成される。制御部１５３は、モダリティの各構成の動作を制御する。制御部１５３は、入力部１７０からの測定開始などの各種操作による指示信号を受けて、モダリティの各構成を制御してもよい。また、制御部１５３は、記憶部１５２に格納されたプログラムコードを読み出し、モダリティの各構成の作動を制御する。

コンピュータ１５０は専用に設計されたワークステーションであってもよい。また、コンピュータ１５０の各構成は異なるハードウェアによって構成されてもよい。また、コンピュータ１５０の少なくとも一部の構成は単一のハードウェアで構成されてもよい。

図６は、本実施形態に係るコンピュータ１５０の具体的な構成例を示す。本実施形態に係るコンピュータ１５０は、ＣＰＵ１５４、ＧＰＵ１５５、ＲＡＭ１５６、ＲＯＭ１５７、外部記憶装置１５８から構成される。また、コンピュータ１５０には、表示部１６０としての液晶ディスプレイ１６１、入力部１７０としてのマウス１７１、キーボード１７２が接続されている。

また、コンピュータ１５０および複数のトランスデューサ１２１は、共通の筺体に収められた構成で提供されてもよい。ただし、筺体に収められたコンピュータで一部の信号処理を行い、残りの信号処理を筺体の外部に設けられたコンピュータで行ってもよい。この場合、筺体の内部および外部に設けられたコンピュータを総称して、本実施形態に係るコンピュータとすることができる。すなわち、コンピュータを構成するハードウェアが一つの筺体に収められていなくてもよい。

（表示部１６０）
表示部１６０は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ＦＥＤ、メガネ型ディスプレイ、ヘッドマウントディスプレイなどのディスプレイである。コンピュータ１５０により得られたボリュームデータに基づいた画像や特定位置の数値等を表示する装置である。表示部１６０は、ボリュームデータに基づいた画像や装置を操作するためのＧＵＩを表示してもよい。なお、被検体情報の表示にあたっては、表示部１６０またはコンピュータ１５０において画像処理（輝度値の調整等）を行った上で表示することもできる。表示部１６０は、モダリティとは別に提供されていてもよい。コンピュータ１５０は、光音響画像データを有線または無線で表示部１６０へ送信することができる。

（入力部１７０）
入力部１７０としては、ユーザーが操作可能な、マウスやキーボードなどで構成される操作コンソールを採用することができる。また、表示部１６０をタッチパネルで構成し、表示部１６０を入力部１７０として利用してもよい。

入力部１７０は、観察したい位置や深さの情報などを入力できるように構成されていてもよい。入力方法としては、数値を入力してもよいし、スライダーバーを操作することにより入力ができてもよい。また、入力された情報に応じて表示部１６０に表示される画像が更新されていってもよい。これにより、ユーザーは自身の操作によって決定されたパラメータにより生成された画像を確認しながら、適切なパラメータに設定できる。

なお、モダリティの各構成はそれぞれ別の装置として構成されてもよいし、一体となった１つの装置として構成されてもよい。また、モダリティの少なくとも一部の構成が一体となった１つの装置として構成されてもよい。

また、モダリティの各構成間で送受信される情報は、有線または無線でやりとりがなされる。

（被検体１００）
被検体１００はモダリティを構成するものではないが、以下に説明する。本実施形態に係るモダリティは、人や動物の悪性腫瘍や血管疾患などの診断や化学治療の経過観察などを目的として使用できる。よって、被検体１００としては、生体、具体的には人体や動物の乳房や各臓器、血管網、頭部、頸部、腹部、手指および足指を含む四肢などの診断の対象部位が想定される。例えば、人体を光音響装置により撮影する場合、オキシヘモグロビンあるいはデオキシヘモグロビンやそれらを含む多く含む血管あるいは腫瘍の近傍に形成される新生血管などを光吸収体の対象としてもよい。また、頸動脈壁のプラークなどを光吸収体の対象としてもよい。また、メチレンブルー（ＭＢ）、インドシニアングリーン（ＩＣＧ）などの色素、金微粒子、またはそれらを集積あるいは化学的に修飾した外部から導入した物質を光吸収体としてもよい。また、人体をＭＲＡ、ＣＴＡ、造影超音波エコーでイメージングする場合は、それぞれガドリニウム造影剤、ヨード造影剤、ペルフルブタンマイクロバブル造影剤などに代表される造影剤を使用してもよい。

次に、本実施形態に係る情報処理を含む画像表示方法を、図７を参照して説明する。なお、各工程は、コンピュータ１５０がモダリティの構成の動作を制御することにより実行される。

（Ｓ１００：第一の超音波画像データ及び第一の光音響画像データを取得する工程）
本実施形態に係るモダリティは、治療前の被検体１００を撮影することにより、超音波画像データ１１及び光音響画像データ１２を生成し、記憶部１５２に保存する。本実施形態においては、治療前の同時期に超音波画像データ１１と光音響画像データ１２を生成するため、互いの画像データは座標系が対応づいている。すなわち、それぞれの画像データについては、モダリティの装置座標系と被検体１００との位置関係が対応づいている。本実施形態においては、治療前に得られた超音波画像データを、第一の超音波画像データ（第一のボリュームデータ）と呼ぶ。また、治療前に得られた光音響画像データを、第一の光音響画像データ（第二のボリュームデータ）と呼ぶ。以下、本実施形態に係るモダリティによる画像データの生成方法を説明する。

まずユーザーが、被検体情報の取得のために必要な光照射部１１０の照射条件（繰り返し周波数や波長など）やプローブ１８０の位置などの制御パラメータを、入力部１７０を用いて指定する。コンピュータ１５０は、ユーザーの指示に基づいて決定された制御パラメータを設定する。また、コンピュータ１５０は、予め決定された制御パラメータを設定してもよい。

制御部１５３が、設定された制御パラメータに基づいて、駆動部１３０にプローブ１８０を指定の位置へ移動させる。複数位置での撮像が指定された場合には、駆動部１３０は、まずプローブ１８０を最初の指定位置へ移動させる。なお、駆動部１３０は、測定の開始指示がなされたときに、あらかじめプログラムされた位置にプローブ１８０を移動させてもよい。なお、ハンドヘルド型の場合、ユーザーがプローブ１８０を把持して所望の位置まで移動させてもよい。

光照射部１１０は、ユーザーにより指定された制御パラメータに基づいて、被検体１００に光を照射する。光源１１１から発生した光は、光学系１１２を介してパルス光として被検体１００に照射される。そして、被検体１００内部でパルス光が吸収され、光音響効果により光音響波が生じる。光照射部１１０はパルス光の伝送と併せて信号収集部１４０へ同期信号を送信する。

信号収集部１４０は、光照射部１１０から送信された同期信号を受信すると、信号収集の動作を開始する。すなわち、信号収集部１４０は、受信部１２０から出力された光音響波に由来するアナログ電気信号を、増幅・ＡＤ変換することにより、増幅されたデジタル電気信号を生成し、コンピュータ１５０へ出力する。コンピュータ１５０は、信号収集部１４０から送信された信号を記憶部１５２に保存する。このようにして、コンピュータ１５０は、光音響信号データを取得することができる。

モダリティが光音響波に由来するデジタル信号の生成を行う一方で、受信部１２０は、被検体１００に対して超音波の送受信を行うことにより、超音波エコーに由来するアナログ電気信号を出力する。また、受信部１２０は、超音波の送信と併せて信号収集部１４０に同期信号を送信する。

信号収集部１４０は、受信部１２０から送信された同期信号を受信すると、信号収集の動作を開始する。すなわち、信号収集部１４０は、受信部１２０から出力された超音波エコーに由来するアナログ電気信号を、増幅・ＡＤ変換することにより、増幅されたデジタル電気信号を生成し、コンピュータ１５０へ出力する。コンピュータ１５０は、信号収集部１４０から送信された信号を記憶部１５２に保存する。このようにして、コンピュータ１５０は、超音波エコー信号データを取得することができる。超音波の送受信は、光音響波の受信を妨げないタイミングに行うことが好ましい。そのため、光音響波の励起のためのパルス光の照射と、その次の光照射との間に超音波の送受信を行ってもよい。

なお、複数の走査位置での撮像が設定された場合には、各走査位置において上述したパルス光の照射、超音波の送受信、及び音響波に由来するデジタル信号の生成を繰り返すことができる。

コンピュータ１５０内の演算部１５１は、記憶部１５２に記憶された光音響信号データに基づいて、ボリュームデータとしての第一の光音響画像データを生成し、記憶部１５２に保存する。また、演算部１５１は、記憶部に記憶された超音波信号データに基づいて、ボリュームデータとしての第一の超音波画像データを生成し、記憶部１５２に保存する。

ここで、信号データを３次元空間分布としてのボリュームデータに変換する再構成アルゴリズムとしては、タイムドメインでの逆投影法、フーリエドメインでの逆投影法、モデルベース法（繰り返し演算法）などのあらゆる手法を採用することができる。例えば、タイムドメインでの逆投影法として、Ｕｎｉｖｅｒｓａｌ ｂａｃｋ−ｐｒｏｊｅｃｔｉｏｎ（ＵＢＰ）、Ｆｉｌｔｅｒｅｄ ｂａｃｋ−ｐｒｏｊｅｃｔｉｏｎ（ＦＢＰ）、または整相加算（Ｄｅｌａｙ−ａｎｄ−Ｓｕｍ）などが挙げられる。例えば、演算部１５１は、光音響画像データとしての音響波の発生音圧（初期音圧）の３次元空間分布を取得する再構成の手法として、式（１）で表されるＵＢＰ法を採用してもよい。

ここで、ｒ_０は再構成する位置（再構成位置、注目位置とも呼ぶ）を示す位置ベクトル、ｐ_０（ｒ_０，ｔ）は再構成する位置での初期音圧、ｃは伝搬経路の音速を示す。また、ΔΩ_ｉは再構成する位置からｉ番目のトランスデューサ１２１を見込む立体角、Ｎは再構成に用いるトランスデューサ１２１の個数を示す。式（１）は、受信信号ｐ（ｒ_ｉ，ｔ）に微分等の処理を行い、それらに立体角の加重をかけて整相加算すること（逆投影）を示している。式（１）のｔは、注目位置とトランスデューサ１２１とを結ぶ音線を光音響波が伝搬する時間（伝搬時間）である。なお、ｂ（ｒ_ｉ、ｔ）の計算においては、他にも演算処理を施してもよい。例えば、周波数フィルタリング（ローパス、ハイパス、バンドパス等）、デコンボリューション、包絡線検波、ウェーブレットフィルタリング、等である。

また、演算部１５１は、被検体１００に照射された光の被検体１００の内部での光フルエンス分布を計算し、初期音圧分布を光フルエンス分布で除算することにより、吸収係数分布情報を取得してもよい。この場合、吸収係数分布情報を光音響画像データとして取得してもよい。コンピュータ１５０は、光を吸収、散乱する媒質における光エネルギーの挙動を示す輸送方程式や拡散方程式を数値的に解く方法により、被検体１００の内部における光フルエンスの空間分布を算出することができる。数値的に解く方法としては、有限要素法、差分法、モンテカルロ法等を採用することができる。例えば、コンピュータ１５０は、式（２）に示す光拡散方程式を解くことにより、被検体１００の内部における光フルエンスの空間分布を算出してもよい。

ここで、Ｄは拡散係数、μ_ａは吸収係数、Ｓは照射光の入射強度、φは到達する光フルエンス、ｒは位置、ｔは時間を示す。

また、複数の波長の光を用いて、Ｓ３００、Ｓ４００の工程を実行し、演算部１５１は、複数の波長の光のそれぞれに対応する吸収係数分布情報を取得してもよい。そして、演算部１５１は、複数の波長の光のそれぞれに対応する吸収係数分布情報に基づいて、分光情報として被検体１００を構成する物質の濃度の空間分布情報を、光音響画像データとして取得してもよい。すなわち、演算部１５１は、複数の波長の光に対応する信号データを用いて、分光情報を取得してもよい。

なお、本実施形態では、モダリティが画像データを生成することにより、コンピュータ１５０が画像データを取得する例を説明したが、コンピュータ１５０が記憶部に保存された画像データを読み出すことにより、画像データを取得してもよい。例えば、ボリュームデータ取得手段としてのコンピュータ１５０は、事前にモダリティで生成されたボリュームデータをＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）等の記憶部から読み出すことにより取得してもよい。このように、本発明に係る情報処理方法は、事前に生成されたボリュームデータに対しても適用することができる。

（Ｓ２００：第二の超音波画像データ及び第二の光音響画像データを取得する工程）
本実施形態に係るモダリティは、治療後の被検体１００を撮影することにより、超音波画像データ２１及び光音響画像データ２２を生成し、記憶部１５２に保存する。本実施形態においては、治療後の同時期に超音波画像データ２１と光音響画像データ２２を生成するため、互いの画像データは座標系が対応づいている。すなわち、それぞれの画像データについては、モダリティの装置座標系と被検体１００との位置関係が対応づいている。本実施形態においては、治療後に得られた超音波画像データ２１を、第二の超音波画像データ（第三のボリュームデータ）と呼ぶ。また、治療後に得られた光音響画像データを、第二の光音響画像データ（第四のボリュームデータ）と呼ぶ。画像データの生成方法については、Ｓ１００で説明した方法と同様である。

（Ｓ３００：第一の超音波画像データに基づいた第一の超音波断層画像を表示する工程）
断層画像取得手段としてのコンピュータ１５０は、超音波画像データ１１に基づいて、断層画像１１ａを生成し、記憶部１５２に保存する。そして、表示制御手段としてのコンピュータ１５０は、断層画像１１ａを表示部１６０に表示させる。本実施形態においては、治療前の超音波画像データ１１に基づいて生成された断層画像１１ａを、第一の超音波断層画像（または第一の断層画像）と呼ぶ。

図８は、本実施形態に係る表示部１６０に表示されたＧＵＩを示す。表示部１６０には、ユーザーの指示に基づいてスライス位置を調整可能なスライダー８１、ユーザーの指示に基づいてスラブ厚を調整可能なスライダー８２、及び治療後の断層画像の表示の有無を切り替えるアイテム８３がＧＵＩとして表示されている。図８（ａ）は、治療後の断層画像の表示をさせない表示モードのときの表示画面を示す。図８（ｂ）は、治療後の断層画像を表示させる表示モードのときの表示画面を示す。

図８（ａ）の表示部１６０には、ユーザーの指示に基づいて決定されたスライス位置とスラブ厚で生成された断層画像１１ａが表示されている。断層画像１１ａは、図２に示した治療前の超音波画像データ１１の断層画像である。ここでは、ユーザーが超音波画像データ１１の中から腫瘍が描出された断層画像をスライダー８１及び８２を操作しながら探索することができる。

本実施形態において断層画像とは、特定の面に位置するボクセルの集合であってもよいし、ある領域のボクセル群をレンダリングすることにより得られる画像であってもよい。レンダリング方法としては、最大値投影法（ＭＩＰ）、最小値投影法（ＭｉｎＩＰ）、Ｒａｙ Ｓｕｍ、平均値投影法、中央値投影法、ボリュームレンダリング、サーフェイスレンダリングなどの公知のあらゆる手法を採用することができる。図８に示す例では、スライダー８１で決定されたスライス位置を基準とした、スライダー８２で決定されたスラブ厚に対応するボクセル群をレンダリングすることにより得られた画像を断層画像としている。

（Ｓ４００：第一の光音響画像データから、第一の超音波断層画像に対応する第一の光音響断層画像を生成する工程）
コンピュータ１５０は、光音響画像データ１２から、断層画像１１ａに対応する断層画像１２ａを生成し、保存する。本実施形態においては、断層画像１１ａに対応する治療前の光音響画像データ１２の断層画像１２ａを、第一の光音響断層画像（第二の断層画像）と呼ぶ。

図８（ａ）には、超音波画像データ１１の断層画像１１ａと、光音響画像データ１２の断層画像１２ａとが並べて表示されている。断層画像１１ａと断層画像１２ａとは表示断面が対応づいており、同じ位置の画像を描出していることとなる。ただし、画像種別が異なるため、断層画像１１ａには主に腫瘍が描出されており、断層画像１２ａには主に血管が描出されている。

なお、本実施形態では、コンピュータ１５０が断層画像１１ａと断層画像１２ａとを並列表示させる例を説明したが、重畳表示させてもよいし、切替表示させてもよい。また、医師が腫瘍像のみを観察したい場合、コンピュータ１５０は、断層画像１１ａのみを表示部１６０に表示させ、断層画像１２ａを表示部１６０に表示させなくてもよい。

また、本実施形態では、ボリュームデータから断層画像１１ａ及び断層画像１２ａを生成する例を説明したが、コンピュータ１５０は、ボリュームデータを介さずに断層画像１１ａ及び断層画像１２ａを取得してもよい。例えば、コンピュータ１５０は、信号データから断層画像１１ａ及び断層画像１２ａを生成してもよいし、予め生成された断層画像１１ａ及び断層画像１２ａを記憶部１５２から読み出すことにより取得してもよい。

（Ｓ５００：第二の光音響画像データから、第一の光音響断層画像と類似する第二の光音響断層画像の位置を特定する工程）
位置情報取得手段としてのコンピュータ１５０は、治療後の光音響画像データ２２から、断層画像１２ａと類似する断層画像２２ｂを特定し、その断層画像の位置を表す情報を取得する。本実施形態において、断層画像１２ａと類似する断層画像２２ｂを、第二の光音響断層画像（第三の断層画像）と呼ぶ。

例えば、コンピュータ１５０は、断層画像１２ａと、光音響画像データ２２の各断面の画像との間の類似度を算出し、類似度が高くなる断面の位置を表す情報を取得してもよい。コンピュータ１５０は、類似度が所定の閾値よりも高くなったときの光音響画像データ２２の断層画像を、断層画像１２ａと類似する断層画像として決定してもよい。また、コンピュータ１５０は、断層画像１２ａと、光音響画像データ２２の複数の断層画像との類似度を算出し、その中で最も高い類似度となった断層画像を、断層画像１２ａと類似する断層画像として決定してもよい。

例えば、類似度を算出する関数としては、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）やＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、相互情報量、相互相関など、任意の類似度尺度が適用できる。また、例えば、光音響画像データから特徴的な形態を抽出し、それらの位置との一致度を測ることによって類似度関数を取得してもよい。抽出する特徴としては、血管などの解剖学的な特徴、エッジ検出やコーナー検出などの画像処理分野で一般的に用いられる公知の技術によって抽出された特徴を用いてもよい。また、抽出する特徴としては、コンピュータビジョン等の技術分野で一般的に使われるＳＩＦＴ特徴やＳＵＲＦ特徴などのより高次の局所画像特徴等を用いてもよい。これらの方法によれば、画像データ間の輝度分布の相違やノイズの混入などに対して、より頑健な類似度関数を取得することができる。

また、表示部１６０に断層画像１２ａを表示させ、並列して光音響画像データ２２の断層画像２２ａを表示させ、ユーザーが光音響画像データ２２のスライス位置をスライダー８１によって変更することにより、断層画像１２ａと類似している画像である断層画像２２ｂを探索し、決定してもよい。すなわち、コンピュータ１５０は、ユーザーの指示に基づいて、断層画像２２ｂの位置を表す情報を取得してもよい。

なお、断層画像１２ａと比較する光音響画像データ２２の各断面の画像については、ある領域のボクセル群をレンダリングすることにより得られた画像であってもよい。その場合、光音響画像データ２２の各断面の画像は、断層画像１２ａを生成したときのボリュームと同程度のボリュームをレンダリングして得られた画像であってもよい。

また、光音響画像データ１２及び２２から血管画像の特徴を記述する基底画像（φ）を生成し、基底画像同士を比較することにより、光音響画像データ２２から断層画像１２ａと類似する断面を特定してもよい。なお、断層画像１２ａから血管画像の特徴を記述する基底画像を生成し、基底画像としての光音響画像データ２２と比較してもよい。例えば、基底画像の生成方法としては、主成分分析、独立主成分分析、非負行列因数分解、スパース信号分解などがある。このような方法により画像の特徴を記述する基底画像が得られれば、光音響画像データから得られる血管画像ｐ_{０，ｖｅｓｓｅｌ}は基底画像を用いて、式（３）のように近似的に表現できる。

・・・（３）
ここでａ_ｉ（ｉ＝０・・・ｎ）は各基底での係数である。なお、得られた基底を並べた基底行列をΦ＝（φ_０、・・・、φ_ｎ）、得られた係数を並べた係数ベクトルをａ＝（ａ０、ａ１、・・・、ａｎ）とすると、式（３）は行列を用いてｐ_{０，ｖｅｓｓｅｌ}＝Φａで表現できる。

（Ｓ６００：第二の超音波画像データから、第二の光音響断層画像に対応する第二の超音波断層画像を生成する工程）
コンピュータ１５０は、断層画像２２ｂの位置を表す情報に基づいて、超音波画像データ２１から、断層画像２２ｂに対応する断層画像２１ｂを生成し、保存する。このとき、コンピュータ１５０は、断層画像２１ｂの位置を表す情報を取得し、保存してもよい。本実施形態において、断層画像２２ｂに対応する治療後の超音波画像データ２１の断層画像２１ｂを、第二の超音波断層画像（第四の断層画像）と呼ぶ。このように、治療前の断層画像１１ａと同じ病変部が描出された治療後の断層画像２１ｂを生成することができる。

（Ｓ７００：第一及び第二の超音波断層画像を表示する工程）
コンピュータ１５０は、図８（ｂ）に示すように、断層画像１１ａ及び断層画像２１ｂを含む画像を表示部１６０に表示させる。断層画像１１ａと断層画像２１ｂとは同じ病変部を描出しているため、このように両画像を含む画像を表示させることにより、医師は病変部の経過観察を行うことができる。

本実施形態においては、図８（ａ）の状態のときにユーザーが入力部１７０を用いてアイテム８３を操作することにより、図８（ｂ）の状態に切り替わる。すなわち、コンピュータ１５０は、ユーザーの指示に基づいて、治療後の断層画像２１ｂの表示の有無を切り替えることができる。また、コンピュータ１５０は、治療後の断層画像２１ｂが表示されているときのユーザーの指示に基づいて、治療前の断層画像１１ａの表示の有無を切り替えてもよい。また、コンピュータ１５０は、治療後の断層画像２１ｂと、治療後の断層画像２２ｂとを並列表示、重畳表示、及び切替表示の少なくとも一つの表示方法で表示部１６０に表示させてもよい。

なお、本工程では、断層画像２２ｂを表示する例を説明したが、コンピュータ１５０は、断層画像２２ｂの位置を表す情報を取得し、記憶部１５２に保存してもよい。すなわち、本実施形態においては、断層画像２２ｂを表示しなくてもよい。また、断層画像２２ｂの位置は、断層画像１２ｂの位置から同定することができるため、コンピュータ１５０は、断層画像１２ｂの位置を表す情報を取得し、記憶部１５２に保存し、断層画像２２ｂの位置を表す情報を取得しなくてもよい。

なお、本実施形態では、光音響画像データ間で類似する画像を参照することにより、超音波画像データから病変部を同定することのできる画像を生成する例を説明したが、前述したようにその他のモダリティで得られたボリュームデータに対しても適用することができる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１１ 治療前の超音波画像データ（第一の超音波画像データ、第一のボリュームデータ）
１２ 治療前の光音響画像データ（第一の光音響画像データ、第二のボリュームデータ）
２１ 治療後の超音波画像データ（第二の超音波画像データ、第三のボリュームデータ）
２２ 治療後の光音響画像データ（第二の光音響画像データ、第四のボリュームデータ）
１５０ コンピュータ
１６０ 表示部

Claims (11)

1. 互いに座標系が対応づけられ、かつ、互いに画像種別の異なる第一のボリュームデータ及び第二のボリュームデータを取得し、
   前記第一のボリュームデータと同じ画像種別であり、かつ、前記第一のボリュームデータとは座標系の異なる第三のボリュームデータを取得し、
   前記第二のボリュームデータと同じ画像種別であり、かつ、前記第三のボリュームデータと座標系が対応づけられた第四のボリュームデータを取得するボリュームデータ取得手段と、
   前記第一のボリュームデータから、ユーザーの指示に基づいて決定された断面に対応する第一の断層画像を生成し、
   前記第二のボリュームデータから、前記第一の断層画像に対応する第二の断層画像を生成する断層画像生成手段と、
   前記第四のボリュームデータから、前記第二の断層画像と類似する第三の断層画像を特定し、当該第三の断層画像の位置を表す情報を取得する位置情報取得手段と、
   表示制御手段と、
   を有し、
   前記断層画像生成手段は、
   前記第三の断層画像の位置を表す情報に基づいて、前記第三のボリュームデータから、前記第三の断層画像に対応する第四の断層画像を生成し、
   前記表示制御手段は、
   前記第四の断層画像を含む画像を表示手段に表示させる
   ことを特徴とする情報処理装置。
2. 前記第一及び第三のボリュームデータは、腫瘍または炎症部位の像を含むボリュームデータである
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記第二及び第四のボリュームデータは、血管、リンパ管、及び皮膚の少なくとも一つの像を含むボリュームデータである
   ことを特徴とする請求項１に記載の情報処理装置。
4. 前記第一及び第三のボリュームデータは、超音波画像データ、ＭＲＩ画像データ、またはＣＴ画像データである
   ことを特徴とする請求項１に記載の情報処理装置。
5. 前記第二及び第四のボリュームデータは、光音響画像データ、ＭＲＡ画像データ、ＣＴＡ画像データ、または造影超音波画像データである
   ことを特徴とする請求項１に記載の情報処理装置。
6. 前記表示制御手段は、
   前記第一の断層画像と前記第四の断層画像を含む画像を前記表示手段に表示させる
   ことを特徴とする請求項１に記載の情報処理装置。
7. 第一の超音波画像データを取得し、
   前記第一の超音波画像データと座標系が対応づけられた第一の光音響画像データを取得し、
   前記第一の超音波画像データとは座標系の異なる第二の超音波画像データを取得し、
   前記第二の超音波画像データと座標系が対応づけられた第二の光音響画像データを取得する画像データ取得手段と、
   前記第一の超音波画像データから、ユーザーの指示に基づいて決定された断面に対応する第一の超音波断層画像を生成し、
   前記第一の光音響画像データから、前記第一の超音波断層画像に対応する第一の光音響断層画像を生成する断層画像生成手段と、
   前記第二の光音響画像データから、前記第一の光音響断層画像と類似する第二の光音響断層画像を特定し、当該第二の光音響断層画像の位置を表す情報を取得する位置情報取得手段と、
   表示制御手段と、
   を有し、
   前記断層画像生成手段は、
   前記第二の光音響断層画像の位置を表す情報に基づいて、前記第二の超音波画像データから、前記第二の光音響断層画像に対応する第二の超音波断層画像を生成し、
   前記表示制御手段は、
   前記第二の超音波断層画像を含む画像を表示手段に表示させる
   ことを特徴とする情報処理装置。
8. 前記表示制御手段は、
   前記第一の超音波断層画像と前記第二の超音波断層画像を含む画像を前記表示手段に表示させる
   ことを特徴とする請求項７に記載の情報処理装置。
9. 互いに座標系が対応づけられ、かつ、互いに画像種別の異なる第一のボリュームデータ及び第二のボリュームデータを取得し、
   前記第一のボリュームデータと同じ画像種別であり、かつ、前記第一のボリュームデータとは座標系の異なる第三のボリュームデータを取得し、
   前記第二のボリュームデータと同じ画像種別であり、かつ、前記第三のボリュームデータと座標系が対応づけられた第四のボリュームデータを取得し、
   前記第一のボリュームデータから、ユーザーの指示に基づいて決定された断面に対応する第一の断層画像を生成し、
   前記第二のボリュームデータから、前記第一の断層画像に対応する第二の断層画像を生成し、
   前記第四のボリュームデータから、前記第二の断層画像と類似する第三の断層画像を特定し、当該第三の断層画像の位置を表す情報を取得し、
   前記第三の断層画像の位置を表す情報に基づいて、前記第三のボリュームデータから、前記第三の断層画像に対応する第四の断層画像を生成し、
   前記第四の断層画像を含む画像を表示手段に表示させる
   ことを特徴とする情報処理方法。
10. 第一の超音波画像データを取得し、
    前記第一の超音波画像データと座標系が対応づけられた第一の光音響画像データを取得し、
    前記第一の超音波画像データとは座標系の異なる第二の超音波画像データを取得し、
    前記第二の超音波画像データと座標系が対応づけられた第二の光音響画像データを取得し、
    前記第一の超音波画像データから、ユーザーの指示に基づいて決定された断面に対応する第一の超音波断層画像を生成し、
    前記第一の光音響画像データから、前記第一の超音波断層画像に対応する第一の光音響断層画像を生成し、
    前記第二の光音響画像データから、前記第一の光音響断層画像と類似する第二の光音響断層画像を特定し、当該第二の光音響断層画像の位置を表す情報を取得し、
    前記第二の光音響断層画像の位置を表す情報に基づいて、前記第二の超音波画像データから、前記第二の光音響断層画像に対応する第二の超音波断層画像を生成し、
    前記第二の超音波断層画像を含む画像を表示手段に表示させる
    ことを特徴とする情報処理方法。
11. 請求項９または１０に記載の情報処理方法をコンピュータに実行させるためのプログラム。