JP2018011949A - 超音波画像及び光音響画像を表示させる装置、方法、及びプログラム - Google Patents

Abstract

【課題】本発明は、超音波画像による診断の妨げを抑制しつつ、超音波画像による診断を補助するための光音響画像の表示を行なえる装置を提供する。【解決手段】装置は、表示手段１６０の第１の表示領域に超音波画像の動画を表示させる表示制御手段１５３と、を有し、表示制御手段は、超音波画像の動画が表示されているときに指示された表示指示を示す情報に基づいて、第１の表示領域とは異なる、表示手段の第２の表示領域に、表示指示のタイミングに対応する超音波画像及び光音響画像の重畳画像の静止画を表示させる一方、第１の表示領域では超音波画像の動画の表示を継続させる。【選択図】図１

Description

本発明は、超音波画像及び光音響画像を表示させる装置または方法に関する。

生体内部の状態を非侵襲で画像化する画像診断装置として、超音波の送受信により超音波画像を生成する超音波診断装置が知られている。超音波診断装置は、送信超音波の透過波あるいは反射波（超音波エコー）の受信信号に基づいて超音波画像を生成する。

一方、生体内部の状態を非侵襲で画像化する画像診断装置として、光を照射された生体組織がその光エネルギーによって断熱膨張することにより発生する超音波（光音響波）を利用した光音響装置が知られている。光音響装置は、光音響波の受信信号に基づいて光音響画像を生成する。

特許文献１は、反射超音波を検出する動作モードと、光音響波を検出する動作モードとを切り換えるスイッチを開示する。また、特許文献１は、当該スイッチにより超音波画像の表示と光音響画像の表示とを切り替えることを開示する。

特開２０１２−１９６４３０号公報

超音波画像及び光音響画像を用いた診断においては、従来の超音波診断装置と同様に超音波画像を基本的な診断画像として利用し、光音響画像は超音波画像による診断の補助的な役割として表示されることが望まれると想定される。この場合に、特許文献１に記載されたように、超音波画像の表示から、光音響画像あるいは重畳画像に切り替えて継続的に表示してしまうと、超音波画像による基本的な診断が妨げられてしまう可能性がある。

そこで、本発明は、上記課題を鑑み、超音波画像による診断の妨げを抑制しつつ、超音波画像による診断を補助するための光音響画像の表示を行うことのできる装置及び方法を提供することを目的とする。

本発明に係る装置は、被検体に対する超音波の送受信により生成された超音波画像を取得する第１の取得手段と、被検体への光照射により発生する光音響波に基づいて生成された光音響画像を取得する第２の取得手段と、表示手段の第１の表示領域に超音波画像の動画を表示させる表示制御手段と、を有し、表示制御手段は、超音波画像の動画が表示されているときに指示された表示指示を示す情報に基づいて、第１の表示領域とは異なる、表示手段の第２の表示領域に、表示指示のタイミングに対応する超音波画像及び光音響画像の重畳画像の静止画を表示させる一方、第１の表示領域では超音波画像の動画の表示を継続させる。

本発明によれば、超音波画像による診断の妨げを抑制しつつ、超音波画像による診断を補助するための光音響画像の表示することができる。

第一の実施形態に係る検査システムのブロック図 第一の実施形態に係るプローブの模式図 第一の実施形態に係るコンピュータ及びその周辺機器の構成図 第一の実施形態に係る保存方法のフローチャート 第一の実施形態に係る保存データのデータ構造 第一の実施形態に係るタイミングチャート 第一の実施形態に係る別形態のタイミングチャート 第一の実施形態に係る別形態のタイミングチャート 第一の実施形態に係る別形態のタイミングチャート 第二の実施形態に係る保存方法のフローチャート 第二の実施形態に係るタイミングチャート 第二の実施形態に係る別形態のタイミングチャート 第二の実施形態に係る別形態のタイミングチャート 第二の実施形態に係る別形態のタイミングチャート 第三の実施形態に係る検査オーダ情報のデータ構造 第四の実施形態に係る表示部の表示例を示す図 第四の実施形態に係る表示部の別の表示例を示す図 第四の実施形態に係る表示部の別の表示例を示す図 第四の実施形態に係る表示部の別の表示例を示す図 第四の実施形態に係る各種表示画像の例を示す図 第四の実施形態に係るＧＵＩの例を示す図 第四の実施形態に係るＧＵＩの別の例を示す図

本願明細書においては、便宜上、光照射による光吸収体の熱膨張によって発生する音響波を光音響波と呼ぶ。また、便宜上、トランスデューサから送信された音響波またはその反射波（エコー）を超音波と呼ぶ。

［第一の実施形態］
以下、図面を参照しながら、本発明の実施形態について詳細に説明する。なお、同一の構成要素には原則として同一の符号を付して説明を省略する。

超音波画像と光音響画像との重畳画像を診断に用いることが有効であると考えられる。そこで、少ない時間差で取得された超音波画像及び光音響画像を保存し、互いに関連づけられた両画像を重畳表示あるいは並列表示することが診断に有効であると考えられる。

一方で、従来の超音波診断装置と同様に、超音波画像の表示画像を確認しながら保存指示を行うことが医師や技師等のユーザーには好まれると想定される。この場合に、超音波画像に光音響画像が重畳されていると、ユーザーが保存指示を行うか否かの判断を行う上で光音響画像がその判断の妨げとなる可能性がある。

ところが、従来の超音波診断装置における保存方法によれば、超音波画像を保存した後に、表示画像を超音波画像から光音響画像に切り替えた上で、光音響画像の保存を行う必要がある。

そこで、本実施形態では、光音響画像が表示されずに超音波画像の動画が表示されているときに保存指示がなされた場合でも、保存指示に対応する超音波画像に加えて、保存指示に対応する光音響画像についても保存する。例えば、保存指示がなされたときに表示されている超音波画像と、当該超音波画像を取得したタイミングと時間的に近傍の光音響画像とを関連づけて保存する。そして、関連付けられた超音波画像と光音響画像との重畳画像の静止画を表示する。これにより、ユーザーが超音波画像を確認中に光音響画像を保存したいと思ったときに、表示画像を光音響画像に切り替える手間を減らして、光音響画像を超音波画像に関連づけて保存することができる。これによりユーザーは、少ない時間差で取得された光音響画像及び超音波画像の重畳画像を、検査後にも確認することができる。

さらに、本実施形態では、ユーザーからの指示が行われたときに、重畳画像の静止画を表示する一方で、超音波画像の動画の表示については継続する。これにより、超音波画像による基本的な診断の妨げを抑制しつつ、光音響画像の静止画を表示させることができる。

＜検査システムの構成＞
図１を用いて本実施形態に係る検査システムの概略を説明する。図１は、検査システム全体の概略ブロック図である。本実施形態に係る検査システムは、信号データ収集部１４０、コンピュータ１５０、表示部１６０、入力部１７０、及びプローブ１８０を有する。

図２は、本実施形態に係るプローブ１８０の模式図である。プローブ１８０は、光照射部１１０、把持部を含む筺体１２０、及び送受信部１３０を有する。測定対象は、被検体１００である。

光照射部１１０がパルス光１１３を被検体１００に照射し、被検体１００内で音響波が発生する。光に起因して光音響効果により発生する音響波を光音響波とも呼ぶ。送受信部１３０は、光音響波を受信することによりアナログ信号としての電気信号（光音響信号）を出力する。また、送受信部１３０は、被検体１００に対する超音波の送信し、送信された超音波のエコー波を受信することによりアナログ信号としての電気信号（超音波信号）を出力する。

信号データ収集部１４０は、送受信部１３０から出力されたアナログ信号をデジタル信号に変換し、コンピュータ１５０に出力する。コンピュータ１５０は、信号データ収集部１４０から出力されたデジタル信号を、超音波または光音響波に由来する信号データとして記憶する。

コンピュータ１５０は、記憶されたデジタル信号に対して信号処理を行うことにより、超音波画像または光音響画像を表す画像データを生成する。また、コンピュータ１５０は、得られた画像データに対して画像処理を施した後に、画像データを表示部１６０に出力する。表示部１６０は、超音波画像または光音響画像を表示する。ユーザーとしての医師や技師等は、表示部１６０に表示された超音波画像や光音響画像を確認することにより、診断を行うことができる。表示画像は、ユーザーやコンピュータ１５０からの保存指示に基づいて、コンピュータ１５０内のメモリや検査システムにネットワークで接続されたデータ管理システムなどに保存される。

また、コンピュータ１５０は、検査システムに含まれる構成の駆動制御も行う。また、表示部１６０は、コンピュータ１５０で生成された画像の他にＧＵＩなどを表示してもよい。入力部１７０は、ユーザーが情報を入力できるように構成されている。ユーザーは、入力部１７０を用いて表示画像の保存指示などの操作を行うことができる。

本実施形態に係る検査システムにより得られる光音響画像は、光照射により発生した光音響波に由来するあらゆる画像を含む概念である。光音響画像は、光音響波の発生音圧（初期音圧）、光吸収エネルギー密度、光吸収係数、及び被検体を構成する物質の濃度に関する情報などの少なくとも１つの空間分布を表す画像データを含む。物質の濃度に関する情報とは、オキシヘモグロビン濃度、デオキシヘモグロビン濃度、総ヘモグロビン濃度、または酸素飽和度等である。総ヘモグロビン濃度とは、オキシヘモグロビン濃度およびデオキシヘモグロビン濃度の和のことである。酸素飽和度とは、全ヘモグロビンに対するオキシヘモグロビンの割合のことである。なお、光音響画像は、空間分布を表す画像に限らず、数値や文字を表す画像などであってもよい。例えば、光音響画像は、光音響信号そのもの（ＲＡＷデータ）、被検体を構成する物質の平均的な濃度、空間分布の特定位置の画素値、空間分布の画素値の統計値（平均値や中央値など）などの光音響信号に由来する情報を表すあらゆる画像を含む概念である。例えば、光音響画像として、被検体を構成する物質の平均的な濃度の数値が、表示部１６０に表示されてもよい。

本実施形態に係る検査システムにより得られる超音波画像は、Ｂモード画像、ドップラー画像、及びエラスト画像の少なくとも１つの画像データを含む。超音波画像は、超音波の送受信により得られるあらゆる画像を含む概念である。

以下、本実施形態に係る被検体情報取得装置の各構成の詳細を説明する。

（光照射部１１０）
光照射部１１０は、パルス光１１３を発する光源と、光源から射出されたパルス光１１３を被検体１００へ導く光学系とを含む。なお、パルス光は、いわゆる矩形波、三角波などの光を含む。

光源が発する光のパルス幅としては、１ｎｓ以上、１００ｎｓ以下のパルス幅であってもよい。また、光の波長として４００ｎｍから１６００ｎｍ程度の範囲の波長であってもよい。生体表面近傍の血管を高解像度でイメージングする場合は、好ましくは血管での吸収が大きい波長（４００ｎｍ以上、７００ｎｍ以下）を用いる。一方、生体の深部をイメージングする場合には、好ましくは生体の背景組織（水や脂肪など）において典型的に吸収が少ない波長（７００ｎｍ以上、１１００ｎｍ以下）の光を用いてもよい。

光源としては、レーザーや発光ダイオードを用いることができる。また、複数波長の光を用いて測定する際には、波長の変換が可能な光源であってもよい。なお、複数波長を被検体に照射する場合、互いに異なる波長の光を発生する複数台の光源を用意し、それぞれの光源から交互に照射することも可能である。複数台の光源を用いた場合もそれらをまとめて光源として表現する。レーザーとしては、固体レーザー、ガスレーザー、色素レーザー、半導体レーザーなど様々なレーザーを使用することができる。例えば、Ｎｄ：ＹＡＧレーザーやアレキサンドライトレーザーなどのパルスレーザーを光源１１１として用いてもよい。また、Ｎｄ：ＹＡＧレーザー光を励起光とするＴｉ：ｓａレーザーやＯＰＯ（Ｏｐｔｉｃａｌ Ｐａｒａｍｅｔｒｉｃ Ｏｓｃｉｌｌａｔｏｒｓ）レーザーを光源として用いてもよい。また、光源としてマイクロウェーブ源を用いてもよい。

光学系には、レンズ、ミラー、光ファイバ等の光学素子を用いることができる。乳房等を被検体１００とする場合、パルス光のビーム径を広げて照射することが好ましいため、光学系の光出射部は光を拡散させる拡散板等で構成されていてもよい。一方、光音響顕微鏡においては、解像度を上げるために、光学系の光出射部はレンズ等で構成し、ビームをフォーカスして照射してもよい。

なお、光照射部１１０が光学系を備えずに、光源から直接被検体１００にパルス光１１３を照射してもよい。また、光源などの光照射部１１０の構成を、筺体１２０の外部に設けてもよい。

（送受信部１３０）
送受信部１３０は、音響波を受信することにより電気信号を出力するトランスデューサ１３１と、トランスデューサ１３１を支持する支持体１３２とを含む。また、トランスデューサ１３１は、音響波を送信することもできる。便宜上、図２においてはトランスデューサ１３１を１つしか図示していないが、送受信部１３０は複数のトランスデューサを含むことが好ましい。

トランスデューサ１３１を構成する部材としては、ＰＺＴ（チタン酸ジルコン酸鉛）に代表される圧電セラミック材料や、ＰＶＤＦ（ポリフッ化ビニリデン）に代表される高分子圧電膜材料などを用いることができる。また、圧電素子以外の素子を用いてもよい。例えば、静電容量型トランスデューサ（ＣＭＵＴ：Ｃａｐａｃｉｔｉｖｅ Ｍｉｃｒｏ−ｍａｃｈｉｎｅｄ Ｕｌｔｒａｓｏｎｉｃ Ｔｒａｎｓｄｕｃｅｒｓ）、ファブリペロー干渉計を用いたトランスデューサなどを用いることができる。なお、音響波を受信することにより電気信号を出力できる限り、いかなるトランスデューサを採用してもよい。また、トランスデューサにより得られる信号は時間分解信号である。つまり、受信素子により得られる信号の振幅は、各時刻にトランスデューサで受信される音圧に基づく値（例えば、音圧に比例した値）を表したものである。

光音響波を構成する周波数成分は、典型的には１００ＫＨｚから１００ＭＨｚであり、トランスデューサ１３１として、これらの周波数を検出することのできるものを適宜採用することができる。

支持体１３２は、機械的強度が高い金属材料などから構成されていてもよい。なお、ユーザーが筺体１２０を把持してプローブ１８０を走査する場合、支持体１３２は、軽量性の観点からプラスチックのようなポリマー材料などを用いることが好ましい。照射光を被検体に多く入射させるために、支持体１３２の被検体１００側の表面に鏡面もしくは光散乱させる加工が行われていてもよい。本実施例において支持体１３２は半球殻形状であり、半球殻上に複数のトランスデューサ１３１を支持できるように構成されている。この場合、支持体１３２に配置されたトランスデューサ１３１の指向軸は半球の曲率中心付近に集まる。そして、複数のトランスデューサ１３１から出力された電気信号群を用いて画像化したときに曲率中心付近の画質が高くなる。なお、支持体１３２はトランスデューサ１３１を支持できる限り、いかなる構成であってもよい。支持体１３２は、１Ｄアレイ、１．５Ｄアレイ、１．７５Ｄアレイ、２Ｄアレイと呼ばれるような平面又は曲面内に、複数のトランスデューサを並べて配置してもよい。

また、支持体１３２は音響マッチング材を貯留する容器として機能してもよい。すなわち、支持体１３２をトランスデューサ１３１と被検体１００との間に音響マッチング材を配置するための容器としてもよい。

また、送受信部１３０が、トランスデューサ１３１から出力される時系列のアナログ信号を増幅する増幅器を備えてもよい。また、送受信部１３０が、トランスデューサ１３１から出力される時系列のアナログ信号を時系列のデジタル信号に変換するＡ／Ｄ変換器を備えてもよい。すなわち、送受信部１３０が後述する信号データ収集部１４０を備えてもよい。

なお、音響波を様々な角度で検出できるようにするために、理想的には被検体１００を全周囲から囲むようにトランスデューサ１３１を配置することが好ましい。ただし、被検体１００が大きく全周囲を囲むようにトランスデューサを配置できない場合は、図２に示したように半球状の支持体上にトランスデューサを配置して全周囲を囲む状態に近づけてもよい。

なお、トランスデューサの配置や数及び支持体の形状は被検体に応じて最適化すればよく、本発明に関してはあらゆる送受信部１３０を採用することができる。

送受信部１３０と被検体１００との間の空間は、光音響波が伝播することができる媒質で満たす。この媒質には、音響波が伝搬でき、被検体１００やトランスデューサ１３１との界面において音響特性が整合し、できるだけ光音響波の透過率が高い材料を採用する。例えば、この媒質には、水、超音波ジェルなどを採用することができる。

なお、超音波を送信するトランスデューサと、音響波を受信するためのトランスデューサとを別に用意してもよい。また、超音波を送信するトランスデューサと、音響波を受信するためのトランスデューサとが、同じトランスデューサで構成されていてもよい。また、超音波を送受信するためのトランスデューサと、光音響波を受信するためのトランスデューサとを別に用意してもよい。また、超音波を送受信するトランスデューサと光音響波を受信するトランスデューサとが、同じトランスデューサで構成されていてもよい。

（信号データ収集部１４０）
信号データ収集部１４０は、トランスデューサ１３１から出力されたアナログ信号である電気信号を増幅するアンプと、アンプから出力されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換器とを含む。信号データ収集部１４０は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）チップなどで構成されてもよい。信号データ収集部１４０から出力されるデジタル信号は、コンピュータ１５０内の記憶部１５２に記憶される。信号データ収集部１４０は、Ｄａｔａ Ａｃｑｕｉｓｉｔｉｏｎ Ｓｙｓｔｅｍ（ＤＡＳ）とも呼ばれる。本明細書において電気信号は、アナログ信号もデジタル信号も含む概念である。なお、信号データ収集部１４０は、光照射部１１０の光射出部に取り付けられた光検出センサと接続されており、パルス光１１３が光照射部１１０から射出されたことをトリガーに、同期して処理を開始してもよい。また、信号データ収集部１４０は、後述するフリーズボタンなどを用いてなされる保存指示をトリガーに同期して、当該処理を開始してもよい。

（コンピュータ１５０）
コンピュータ１５０は、演算部１５１、記憶部１５２、制御部１５３を含む。各構成の機能については処理フローの説明の際に説明する。

演算部１５１としての演算機能を担うユニットは、ＣＰＵやＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサ、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）チップ等の演算回路で構成されることができる。これらのユニットは、単一のプロセッサや演算回路から構成されるだけでなく、複数のプロセッサや演算回路から構成されていてもよい。演算部１５１は、入力部１７０から、被検体音速や保持カップの構成などの各種パラメータを受けて、受信信号を処理してもよい。

記憶部１５２は、ＲＯＭ（Ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、磁気ディスクやフラッシュメモリなどの非一時記憶媒体で構成することができる。また、記憶部１５２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性の媒体であってもよい。なお、プログラムが格納される記憶媒体は、非一時記憶媒体である。

制御部１５３は、ＣＰＵなどの演算素子で構成される。制御部１５３は、光音響装置の各構成の動作を制御する。制御部１５３は、入力部１７０からの測定開始などの各種操作による指示信号を受けて、光音響装置の各構成を制御してもよい。また、制御部１５３は、記憶部１５２に格納されたプログラムコードを読み出し、光音響装置の各構成の作動を制御する。

コンピュータ１５０は専用に設計されたワークステーションであってもよい。また、コンピュータ１５０の各構成は異なるハードウェアによって構成されてもよい。また、コンピュータ１５０の少なくとも一部の構成は単一のハードウェアで構成されてもよい。

図３は、本実施例に係るコンピュータ１５０の具体的な構成例を示す。本実施例に係るコンピュータ１５０は、ＣＰＵ１５４、ＧＰＵ１５５、ＲＡＭ１５６、ＲＯＭ１５７、外部記憶装置１５８から構成される。また、コンピュータ１５０には、表示部１６０としての液晶ディスプレイ１６１、入力部１７０としてのマウス１７１、キーボード１７２が接続されている。

また、コンピュータ１５０および複数のトランスデューサ１３１は、共通の筺体に収められた構成で提供されてもよい。ただし、筺体に収められたコンピュータで一部の信号処理を行い、残りの信号処理を筺体の外部に設けられたコンピュータで行ってもよい。この場合、筺体の内部および外部に設けられたコンピュータを総称して、本実施形態に係るコンピュータとすることができる。

（表示部１６０）
表示部１６０は、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）などのディスプレイである。コンピュータ１５０により得られた被検体情報等に基づく画像や特定位置の数値等を表示する装置である。表示部１６０は、画像や装置を操作するためのＧＵＩを表示してもよい。なお、被検体情報の表示にあたっては、表示部１６０またはコンピュータ１５０において画像処理（輝度値の調整等）を行った上で表示することもできる。

（入力部１７０）
入力部１７０としては、ユーザーが操作可能な、マウスやキーボードなどで構成される操作コンソールを採用することができる。また、表示部１６０をタッチパネルで構成し、表示部１６０を入力部１７０としてもよい。入力部１７０は、ユーザーが後述する保存指示などの指示を行うためのフリーズボタンなどを含みうる。

なお、検査システムの各構成はそれぞれ別の装置として構成されてもよいし、一体となった１つの装置として構成されてもよい。また、検査システムの少なくとも一部の構成が一体となった１つの装置として構成されてもよい。

（被検体１００）
被検体１００は検査システムを構成するものではないが、以下に説明する。本実施形態に係る検査システムは、人や動物の悪性腫瘍や血管疾患などの診断や化学治療の経過観察などを目的として使用できる。よって、被検体１００としては、生体、具体的には人体や動物の乳房や頸部、腹部、手指および足指を含む四肢などの診断の対象部位が想定される。例えば、人体が測定対象であれば、オキシヘモグロビンあるいはデオキシヘモグロビンやそれらを含む多く含む血管あるいは腫瘍の近傍に形成される新生血管などを光吸収体の対象としてもよい。また、頸動脈壁のプラークなどを光吸収体の対象としてもよい。また、メチレンブルー（ＭＢ）、インドシニアングリーン（ＩＣＧ）などの色素、金微粒子、またはそれらを集積あるいは化学的に修飾した外部から導入した物質を光吸収体としてもよい。

次に、図４に示すフローチャートを用いて、本実施形態に係る光音響画像及び超音波画像の保存制御方法を説明する。

（Ｓ１００：撮影開始の指示があるか否かを判定する工程）
制御部１５３は、超音波画像の撮影開始の指示を受け付けることができる。制御部１５３が撮影開始の指示を受け付けたときにＳ２００の工程に進む。

ユーザーが入力部１７０を用いて超音波画像の撮影開始の指示を行ったときに、制御部１５３は、入力部１７０からの撮影開始の指示を示す情報を受け取る。例えば、ユーザーがプローブ１８０に備えられた撮影開始用のスイッチを押下することにより、制御部１５３は入力部１７０からの撮影開始の指示に示す情報を受け取る。

なお、本工程において、超音波画像のみならず、超音波画像と光音響画像との両方の撮影指示を受けつけてもよい。

（Ｓ２００：超音波画像を表示する工程）
制御部１５３は、撮影開始を示す情報を受け取った場合、以下の装置制御を行う。

プローブ１８０は、被検体１００に対して超音波を送受信することにより、超音波信号を出力する。信号データ収集部１４０は、超音波信号に対してＡＤ変換処理等を行い、処理後の超音波信号をコンピュータ１５０に送信する。デジタル信号としての超音波信号は、記憶部１５２に記憶される。演算部１５１は、超音波信号に対して整相加算（Ｄｅｌａｙ ａｎｄ Ｓｕｍ）等の再構成処理を行うことにより、超音波画像を生成する。なお、超音波画像を生成したところで、記憶部１５２に保存された超音波信号を削除してもよい。表示制御手段としての制御部１５３は、生成された超音波画像を表示部１６０に送信し、表示部１６０に超音波画像を表示させる表示制御を行う。これらの工程を繰り返し実行し、表示部１６０に表示される超音波画像を更新することにより、超音波画像を動画的に表示させることができる。

このとき、表示部１６０に動画的に表示されている超音波画像を全て記憶部１５２に保存しようとすると、保存データ量が膨大となる。そのため、表示画像が更新されたところで、先に表示されていた超音波画像を記憶部１５２から削除することが好ましい。ただし、後述する保存指示に対応する超音波画像が、保存指示の前に生成された超音波画像に基づくものとする場合、保存対象となりうる超音波画像については保存しておいてもよい。

本工程においては、超音波画像に光音響画像を重畳して表示しない。なお、超音波画像を独立して観察できる限り、光音響画像を表示部１６０に表示させてもよい。例えば、超音波画像が独立して観察できるように、超音波画像と光音響画像とを並べて表示させてもよい。ただし、光音響画像の表示により表示部１６０の表示領域が逼迫されるような場合、超音波画像の他に光音響画像を表示しないことが好ましい。

また、本工程のように超音波画像に光音響画像を重畳させない表示モードの他に、超音波画像と光音響画像とを重畳させて動画的に表示させる表示モードを備えていてもよい。この場合、ユーザーからの入力部１７０を用いた切り換え指示に基づいて、制御部１５３がそれぞれの表示モードを切り替えることができるように構成されていてもよい。例えば、制御部１５３は、超音波画像に光音響画像を重畳させない表示モードとしての並列表示モードと、重畳表示モードとを切り換えることができるように構成されていてもよい。

（Ｓ３００：検査終了の指示があるか否かを判定する工程）
制御部１５３は、検査終了の指示を受け付けることができる。制御部１５３が検査終了の指示を受け付けたときに検査を終了する。制御部１５３は、ユーザーからの指示や、病院情報システム（ＨＩＳ）や放射線情報システム（Ｒａｄｉｏｌｏｇｙ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ）などの外部ネットワークからの指示を受けつけることができる。また、制御部１５３は、Ｓ１００で受け付けた検査開始の指示から所定の時間が経過したところで検査終了と判定してもよい。

（Ｓ４００：保存指示があるか否かを判定する工程）
制御部１５３は、保存指示を受け付けることができる。制御部１５３が保存指示を受け付けたときにＳ５００の工程に進む。

ユーザーは表示部１６０に動画的に表示された超音波画像を観察し、超音波画像に保存対象を確認したときに入力部１７０を用いて保存指示を行うことができる。この場合、表示部１６０には、静止画が表示された状態で例えば、ユーザーは、入力部１７０としての操作コンソールに備えられたフリーズボタンを押下することにより、保存を指示してもよい。このとき、制御部１５３は、入力部１７０からの保存指示を示す情報を受け取る。

また、演算部１５１がＳ２００で生成された超音波画像に画像処理を行い、関心部位が含まれているときに保存指示を示す情報を生成し、制御部１５３に送信してもよい。例えば、ユーザーの指示や検査オーダに基づいて関心部位が決定されたときに、演算部１５１が、予め記憶された、関心部位に対応する画像パターンを記憶部１５２から読み出し、この画像パターンとＳ１００で生成された超音波画像との相関を計算する。演算部１５１は、算出された相関が閾値よりも高いときに、超音波画像を保存対象と判断し、保存指示を示す情報を生成する。

また、制御部１５３は、ＨＩＳやＲＩＳなどの外部ネットワークからの保存指示を受けつけてもよい。

（Ｓ５００：光音響画像を生成する工程）
制御部１５３は、保存指示を示す情報を受け取った場合、以下の装置制御を行う。

まず、制御部１５３は、保存指示を示す情報を受け取った場合、プローブ１８０に光照射を示す情報（制御信号）をプローブ１８０に送信する。光照射を示す情報を受け取ったプローブ１８０は、被検体１００に光を照射し、この光照射に起因して発生した光音響波を受信し、光音響信号を出力する。信号データ収集部１４０は、光音響信号に対してＡＤ変換処理等を行い、処理後の光音響信号をコンピュータ１５０に送信する。デジタル信号としての光音響信号は、記憶部１５２に記憶される。演算部１５１は、光音響信号に対してＵｎｉｖｅｒｓａｌ Ｂａｃｋ−Ｐｒｏｊｅｃｔｉｏｎ（ＵＢＰ）等の再構成処理を行うことにより、光音響画像を生成する。ここで光音響画像の再構成領域は、保存指示がなされたときの超音波画像の表示領域としてもよい。すなわち、演算部１５１は、保存指示がなされたときの超音波画像の表示領域に関する情報を受け取り、この情報に基づいて再構成領域を決定してもよい。なお、光音響画像を生成したところで、記憶部１５２に保存された光音響信号を削除してもよい。ただし、後述する工程で光音響信号を必要とする場合、この限りではない。このように本実施形態に係る検査システムは、保存指示を示す情報をトリガーにして光照射を行い、保存指示のタイミングに対応する光音響画像を生成することができる。プローブ１８０は、保存指示のタイミングや、保存指示のタイミングから所定の時間が経過後に光照射を行ってもよい。

なお、制御部１５３は、保存指示を受けつけたときに対して、呼吸や拍動による体動の影響が小さいとみなせる期間に光照射を行い、光音響画像を生成するように各構成を制御することが好ましい。例えば、制御部１５３は、保存指示から２５０ｍｓ以内に光照射を行うように光照射部１１０を制御してもよい。また、制御部１５３は、保存指示から１００ｍｓ以内に光照射を行うように光照射部１１０を制御してもよい。また、保存指示から光照射までの時間は、所定の値でもよいし、ユーザーが入力部１７０を用いて指定可能であってもよい。制御部１５３は、超音波画像の保存指示の時刻をｔ１、光音響信号の取得のための光照射の時刻をｔ２、所定値をαとしたときに、ｔ１＜ｔ２、且つ、｜ｔ１−ｔ２｜≦αとなるように光照射のタイミングを制御してもよい。また、制御部１５３は、ｔ１＞ｔ２、且つ、｜ｔ１−ｔ２｜≦αとなるように光照射のタイミングを制御してもよい。所定値αについては、ユーザーが入力部１７０を用いて指定してもよい。

また、制御部１５３は、保存指示を示す情報に加え、プローブ１８０と被検体１００との接触を検知したことを示す情報を受け取ったときに、光照射を実行させてもよい。これにより、プローブ１８０と被検体１００とが接触していないときに光照射が行われる事態を避けることができ、冗長な光照射を抑制することができる。

（Ｓ６００：超音波画像と光音響画像とを関連づけて保存する工程）
保存制御手段としての制御部１５３は、保存指示を示す情報を受け取ったときに、保存指示のタイミングに対応する超音波画像と、Ｓ５００において保存指示をトリガーに生成された光音響画像とを関連づけて保存する。Ｓ５００において保存指示をトリガーに生成された光音響画像が、保存指示のタイミングに対応する光音響画像に相当する。以下、保存指示のタイミングに対応する超音波画像について説明する。

記憶部１５２は、保存指示を受けつけたときに表示部１６０に表示されている超音波画像を、保存指示のタイミングに対応する超音波画像として保存してもよい。また、記憶部１５２は、保存指示を受けつけたときに表示部１６０に表示されている超音波画像と時間的に近傍のフレームの超音波画像を、保存指示のタイミングに対応する超音波画像として保存してもよい。

保存指示を受けつけたときに対して、呼吸や拍動による体動の影響が小さいとみなせる期間に生成された超音波画像を、時間的に近傍のフレームの超音波画像としてもよい。例えば、記憶部１５２は、保存指示から±２５０ｍｓ以内のフレームの超音波画像を、時間的に近傍のフレームの超音波画像として保存してもよい。また、記憶部１５２は、保存指示から±１００ｍｓ以内のフレームの超音波画像を、時間的に近傍のフレームの超音波画像として保存してもよい。また、フレーム数を基準に保存対象を決定してもよい。例えば、記憶部１５２は、保存指示から±５フレーム以内の超音波画像を、時間的に近傍のフレームの超音波画像として保存してもよい。また、記憶部１５２は、保存指示から±１フレーム以内の超音波画像、すなわち隣接した超音波画像を、時間的に近傍のフレームの超音波画像として保存してもよい。上記で説明した保存指示のタイミングと保存対象とする画像の取得タイミングとの時間差やフレーム差については、所定の値でもよいし、ユーザーが入力部１７０を用いて指定してもよい。すなわち、ユーザーが入力部１７０を用いて、「時間的に近傍」の範囲を指定してもよい。

本工程では、超音波画像及び光音響画像を関連付けて保存したが、この他に付帯情報も関連づけて保存してもよい。例えば、Ｓ６００では、図５に示すような保存データ３００を記憶部１５２に保存することができる。保存データ３００には、付帯情報３１０と画像データ３２０とが含まれている。画像データ３２０には、互いに関連付けられた超音波画像３２１及び光音響画像３２２が含まれている。付帯情報３１０には、被検体１００に関する情報である被検体情報３１１、プローブ１８０に関する情報であるプローブ情報３１２が含まれている。また、付帯情報３１０には、Ｓ６００で保存対象となった超音波画像３２１または光音響画像３２２の取得タイミング（取得時刻）に関する情報である取得タイミング情報３１３が含まれている。

ここで、被検体情報３１１は、例えば、被検体ＩＤ、被検体名、年齢、血圧、心拍数、体温、身長、体重、既往症、妊娠週数、及び検査対象部位の少なくとも一つの情報を含む。なお、検査システムが心電図またはパルスオキシメータ（不図示）を有し、保存指示のタイミングに対応する心電図やパルスオキシメータから出力された情報を被検体情報として関連づけて保存してもよい。なお、この他にも被検体に関する情報であれば、あらゆる情報を被検体情報とすることができる。

また、プローブ情報３１２は、プローブ１８０の位置や傾きなどのプローブ１８０に関する情報を含む。例えば、プローブ１８０に磁気センサなどの位置センサが備えられており、保存指示のタイミングに対応する位置センサからの出力に関する情報を、プローブ情報３１２として保存してもよい。

また、超音波の送受信の制御信号の送信タイミングに関する情報を、超音波画像の取得タイミング情報３１３として保存してもよい。また、光照射の制御信号の送信タイミングに関する情報を、光音響画像の取得タイミング情報として保存してもよい。また、検査システムが、光照射部１１０から射出されたパルス光１１３を検出できるように構成された光検出部を備え、光検出部からの信号の出力タイミングに関する情報を、光音響画像の取得タイミング情報として保存してもよい。

図５においては、互いに関連づけられた１ペアの画像データ３２０含む保存データ３００について説明したが、複数のペアの画像データが１つの保存データに含まれていてもよい。この場合、複数のペアの画像データに関する付帯情報も同一の保存データに保存することが好ましい。あるいは、複数のペアの画像データをそれぞれ異なる保存データとして保存してもよい。なお、関連付ける複数の画像データを１つのデータファイルに格納することにより、複数の画像データの関連付けを行ってもよい。また、どの画像同士が関連付けられた画像であるのかを示す付帯情報を画像データに付すことにより、複数の画像データの関連付けを行ってもよい。

保存データの形式としては、例えばＤＩＣＯＭ規格に基づいたデータ形式を採用することができる。なお、本発明に係る保存データの形式としては、ＤＩＣＯＭに限らず、いかなるデータ形式を採用してもよい。

本実施形態では、光音響画像が表示されていないときの保存指示にもかかわらず、その保存指示に対応する超音波画像と、当該保存指示に対応する光音響画像とを関連づけて保存することができる。これにより、超音波画像の表示から光音響画像の表示へ切り替えることなく、光音響画像を保存することができるため、超音波画像で関心部位を確認してから光音響画像を保存するまでのタイムラグを短くすることができる。また、本実施形態では、保存指示をトリガーに光照射が行われるため、冗長な光照射を抑制することができる。これにより、冗長な光照射による消費電力を抑えることができる。

なお、本実施形態では、超音波画像に光音響画像を関連づけて保存したが、空間分布を示す情報としての光音響画像に限らず、光音響信号に由来するあらゆる情報を関連づけて保存することができる。例えば、光音響信号そのもの（ＲＡＷデータ）、被検体を構成する物質の平均的な濃度、空間分布の特定位置の画素値、空間分布の画素値の統計値（平均値や中央値など）などを光音響信号に由来する情報として、超音波画像と関連づけてもよい。

なお、保存指示に基づいて超音波画像と光音響画像を関連づけた後に、関連づけられた画像を重畳させて表示部１６０に表示してもよい。この重畳画像の表示は、保存指示をトリガーに実行されてもよいし、ユーザーからの指示に基づいて実行されてもよい。

次に、図６−８を用いて、本実施形態に係る測定シーケンスを説明する。ダイヤグラム９０１−９０５においては、水平に時間軸をとり、右に進むと時間が経過することを示している。

ダイヤグラム９０１は、超音波画像の生成タイミングを表す。ダイヤグラム９０１の立ち上がり部で超音波の送信を開始し、ダイヤグラム９０１の立ち下り部で超音波画像の生成を終了する。ダイヤグラム９０２は、超音波画像の表示タイミングを表す。なお、超音波画像の生成が完了したところで、超音波画像の表示は可能となる。Ｓ２００の工程は、ダイヤグラム９０１及び９０２に対応する。

ダイヤグラム９０３は、保存指示のタイミングを表す。ダイヤグラム９０３の立ち上がり部は、保存指示を受けつけたタイミングを表す。Ｓ４００の工程は、ダイヤグラム９０３に対応する。

ダイヤグラム９０４は、光音響画像の生成タイミングを表す。ダイヤグラム９０４の立ち上がり部で光照射を開始し、ダイヤグラム９０４の立下り部で光音響画像の生成を終了する。Ｓ５００の工程は、ダイヤグラム９０４に対応する。

ダイヤグラム９０５は、光音響画像の表示タイミングを表す。なお、光音響画像の生成が完了したところで、光音響画像の表示は可能となる。

図６は、保存指示がない場合のタイミングチャートである。保存指示がない場合、超音波を送受信し、超音波画像の生成が完了したところで、表示される超音波画像が更新される工程が繰り返される。すなわち、超音波画像Ｕ１、Ｕ２、Ｕ３、Ｕ４の順に、超音波画像の動画的な表示が行われる。このケースの場合、光照射も光音響画像の生成も行われない。

図７は、超音波画像Ｕ１が表示されているときに保存指示を受けつけた場合のタイミングチャートである。このケースの場合、保存指示を受け付けた後に超音波画像Ｕ２の生成を中止し、光音響画像Ｐ１の生成を開始する。そして、光音響画像Ｐ１の生成が完了した後に、超音波画像Ｕ１と光音響画像Ｐ１とを関連づけて保存する。これにより、保存対象の超音波画像Ｕ１の生成から多くの時間を空けることなく光音響画像Ｐ１を生成し、互いを関連づけて保存することができる。

なお、前述したように、保存指示のタイミングに対応する超音波画像であれば、超音波画像Ｕ１以外の超音波画像と関連づけて保存してもよい。これは、以下のケースでも同様である。

また、Ｓ／Ｎの高い光音響画像Ｐ１の生成のために、期間９１０の間に複数回光を照射し、複数回の光照射に対応する光音響信号を用いて光音響画像Ｐ１を生成してもよい。これは、以下のケースでも同様である。また、超音波画像Ｕ２の生成を途中で中止したため、光音響画像Ｐ１を生成している間及び超音波画像Ｕ３を生成している間は、超音波画像Ｕ１の表示を継続することが好ましい。

図８は、超音波画像Ｕ１が表示されているときに保存指示を受けつけた場合の別形態のタイミングチャートである。図７とは異なり、保存指示を受けつけたときに超音波画像Ｕ２の生成を中止するのではなく、超音波画像Ｕ２の生成を継続する。そして、超音波画像Ｕ２の生成を完了した後に、光音響画像Ｐ１の生成を開始する。この場合も、光音響画像Ｐ１と超音波画像Ｕ１とを関連づけて保存することができる。なお、保存指示のタイミングに対応する超音波画像としての超音波画像Ｕ２と光音響画像Ｐ１とを関連づけて保存してもよい。この場合、超音波画像Ｕ１と関連づけて保存する場合よりも、より時間的に近い画像同士を関連づけて保存することができる。

図９は、超音波画像Ｕ１が表示されているときに保存指示を受けつけた場合の別形態のタイミングチャートである。このケースでは、保存指示を受けつけたときに超音波画像Ｕ１及び光音響画像Ｐ１を重畳した静止画を表示する。具体的には、保存指示を受けつけたときに超音波画像Ｐ１の表示を継続すると同時に、保存指示をトリガーに光音響画像Ｐ１の生成を開始する。そして、光音響画像Ｐ１の生成が完了したところで、超音波画像Ｕ１と光音響画像Ｐ１とを関連づけて保存し、表示中の超音波画像Ｕ１に関連づけられた光音響画像Ｐ１を重畳して表示する。これにより、ユーザーは、関連付けて保存された超音波画像Ｕ１及び光音響画像Ｐ１の静止画を注視して診断を行うことができる。

なお、Ｓ３００で説明した超音波画像と光音響画像とを重畳させて動画的に表示させる表示モードの間に保存指示がなされた場合は、保存指示がなされたときに表示部１６０に表示されている超音波画像及び光音響画像を関連づけて保存してもよい。

［第二の実施形態］
第一の実施形態では、保存指示をトリガーに光照射及び光音響画像の生成を開始し、これによって得られた光音響画像を超音波画像に関連付けて保存した。一方、本実施形態では、所定のタイミングで生成された光音響画像を基に取得された、保存指示のタイミングに対応する光音響画像を、超音波画像に関連づけて保存する。

本実施形態についても、第一の実施形態に係る検査システムを用いて説明する。なお、同一の構成要素には原則として同一の符号を付して説明を省略する。

図１０に示すフローチャートを用いて、本実施形態に係る超音波画像及び光音響画像の保存方法を説明する。なお、同一のステップには原則として同一の符号を付して説明を省略する。

（Ｓ７００：光音響画像を生成する工程）
本実施形態に係る検査システムは、所定のタイミングで光照射を行い、光音響信号を取得し、光音響信号を用いて光音響画像を生成する。例えば、検査システムは、光源の繰り返し周波数にしたがって光照射を行い、当該繰り返し周波数で光音響画像を生成する。また、検査システムは、複数回の光照射により１つの光音響画像を生成してもよい。

なお、保存データ量の増加を防ぐためには、記憶部１５２には、１つの光音響画像だけが保存されることが好ましい。すなわち、光音響画像が新たに生成されるたびに記憶部１５２に保存される光音響画像が更新され、先に保存されていた光音響画像を記憶部１５２から削除されることが好ましい。ただし、後述する保存指示のタイミングに対応する光音響画像が、保存指示の前に生成された光音響画像に基づくものとする場合、保存対象となりうる光音響画像については保存しておいてもよい。また、表示部１６０に表示される超音波画像を更新したところで、記憶部１５２に保存された光音響画像についても更新してもよい。

また、光音響画像を生成したところで、記憶部１５２に保存された光音響信号を削除してもよい。ただし、後述する工程で光音響信号を必要とする場合、この限りではない。

また、Ｓ２００の前にＳ７００を実行してもよい。この場合も、Ｓ２００で超音波画像に光音響画像の重畳は行われない。

また、本工程では、被検体情報の空間分布を示す情報としての光音響画像に限らず、光音響信号に由来する情報を取得すればよい。すなわち、本工程では、被検体情報の空間分布を示す情報としての光音響画像の生成を行わなくてもよい。例えば、光音響信号そのもの（ＲＡＷデータ）、被検体を構成する物質の平均的な濃度、空間分布の特定位置の画素値、空間分布の画素値の統計値（平均値や中央値など）などを光音響信号に由来する情報として取得すればよい。光音響画像の取得タイミングとは、光音響信号を取得するための光照射のタイミングに相当する。以下、光音響画像の保存とは、光音響信号に由来するあらゆる情報の保存を含む。

（Ｓ９００：超音波画像と光音響画像とを関連づけて保存する工程）
本実施形態に係る制御部１５３は、保存指示を示す情報を受けつけると、保存指示のタイミングに対応する超音波画像及び光音響画像を関連づけて保存する。保存指示のタイミングに対応する超音波画像については第一の実施形態と同様である。以下、保存指示のタイミングに対応する光音響画像について説明する。

本実施形態において、制御部１５３は、Ｓ７００で生成された光音響画像のうち、保存指示のタイミングと時間的に近傍の光音響画像に基づいて、保存指示のタイミングに対応する光音響画像を取得する。例えば、制御部１５３は、保存指示を受けつけたときに対して、呼吸や拍動による体動の影響が小さいとみなせる期間に生成された光音響画像を、時間的に近傍のフレームの光音響画像としてもよい。例えば、記憶部１５２は、保存指示から±２５０ｍｓ以内のフレームの光音響画像を、時間的に近傍のフレームの光音響画像として保存してもよい。また、記憶部１５２は、保存指示から±１００ｍｓ以内のフレームの光音響画像を、時間的に近傍のフレームの光音響画像として保存してもよい。また、フレーム数を基準に保存対象となる光音響画像を決定してもよい。例えば、記憶部１５２は、保存指示から±５フレーム以内の光音響画像を、時間的に近傍のフレームの光音響画像として保存してもよい。また、記憶部１５２は、保存指示から±１フレーム以内の光音響画像、すなわち隣接した光音響画像を、時間的に近傍のフレームの光音響画像として保存してもよい。上記で説明した保存指示のタイミングと保存対象とする画像の取得タイミングとの時間差やフレーム差については、所定の値でもよいし、ユーザーが入力部１７０を用いて指定してもよい。すなわち、ユーザーが入力部１７０を用いて、「時間的に近傍」の範囲を指定してもよい。制御部１５３は、超音波画像の保存指示の時刻をｔ１、保存対象とする光音響画像の取得タイミングの時刻をｔ２、所定値をαとしたときに、ｔ１＜ｔ２、且つ、｜ｔ１−ｔ２｜≦αとなるように保存対象となる光音響画像を決定してもよい。また、制御部１５３は、ｔ１＞ｔ２、且つ、｜ｔ１−ｔ２｜≦αとなるように保存対象となる光音響画像を決定してもよい。所定値αについては、ユーザーが入力部１７０を用いて指定してもよい。

また、時間的に近傍の複数フレームの光音響画像を合成することにより、関連づけて保存される光音響画像を取得してもよい。このとき、制御部１５３は、複数フレームの光音響画像を単純加算、加算平均、重みづけ加算、または重みづけ加算平均などのあらゆる合成方法により、保存対象の光音響画像を取得することができる。合成処理の内容によっては演算部１５１が合成処理を行ってもよいことは、その他の処理と同様である。

また、本工程では、保存対象は光音響画像に限らず、保存指示のタイミングに対応する光音響信号に由来する情報を取得すればよい。そして、保存指示のタイミングに対応する超音波画像と、保存指示のタイミングに対応する光音響信号に由来する情報とを関連づけて保存すればよい。また、演算部１５１は、上述の合成処理と同様に、複数回の光照射に対応する光音響信号に由来する情報を合成することにより、合成情報を生成してもよい。

また、本発明においては、互いに関連づけられた光音響画像及び超音波画像を検査システムの記憶部に保存する形態に限らない。制御部は、互いに関連づけられた光音響画像及び超音波画像を、外部ネットワークに接続されたＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）等の画像管理システムに保存してもよい。

次に、図１１−１４を用いて、本実施形態に係る測定シーケンスを説明する。ダイヤグラム９０１は、超音波画像の生成タイミングを表す。ダイヤグラム９０２は、超音波画像の表示タイミングを表す。超音波画像の生成が完了したところで、超音波画像の表示は可能となる。ダイヤグラム９０３は、保存指示のタイミングを表す。ダイヤグラム９０４は、光音響画像の生成タイミングを表す。Ｓ７００の工程は、ダイヤグラム９０４に対応する。ダイヤグラム９０５は、光音響画像の生成タイミングを表す。光音響画像の生成が完了したところで、光音響画像の表示は可能となる。

図１１は、保存指示がない場合のタイミングチャートである。保存指示がない場合、超音波を送受信し、超音波画像の生成が完了したところで、表示される超音波画像が更新される工程が繰り返される。すなわち、超音波画像Ｕ１、Ｕ２、Ｕ３、Ｕ４の順に、超音波画像の動画的な表示が行われる。一方、超音波画像の生成の合間に光音響画像の生成が実行される。すなわち、超音波画像の生成と光音響画像の生成とが交互に実行される。このケースにおいては、光音響画像の生成は実行されるが、光音響画像の保存及び表示は実行されない。

図１２は、超音波画像Ｕ２が表示されているときに保存指示を受けつけた場合のタイミングチャートである。このケースの場合、保存指示を受けつけたときに表示されている超音波画像Ｕ２と、超音波画像Ｕ２と時間的に隣接した光音響画像Ｐ１または光音響画像Ｐ２とを関連づけて保存することができる。なお、超音波画像Ｕ２の生成のための超音波の送受信とより近いタイミングに行われた光照射に対応する光音響画像を関連づけて保存することが好ましい。また、光音響画像Ｐ１と光音響画像Ｐ２との合成画像と、超音波画像Ｕ１とを関連づけて保存してもよい。

また、超音波画像Ｕ２と時間的に近傍の超音波画像Ｕ１または超音波画像Ｕ３を保存対象としてもよい。この場合、超音波画像Ｕ１または超音波画像Ｕ３と時間的に近傍の光音響画像を保存対象としてもよい。

なお、光音響画像Ｐ１を期間９２０で生成することで説明を行ったが、期間９２０では光音響画像Ｐ１を生成せずに、光音響信号を取得するだけでもよい。この場合、演算部１５１が、保存指示を受けつけた後に期間９２０で取得した光音響信号を用いて、光音響画像Ｐ１を生成し、超音波画像Ｕ２と関連づけて保存すればよい。また、期間９２０において、光音響画像Ｐ１ではなく、光音響信号に由来する情報を生成し、超音波画像Ｕ２と関連づけて保存してもよい。これらは、その他の光音響画像についても同様である。

図１３は、超音波画像Ｕ２が表示されているときに保存指示を受けつけた場合の別形態のタイミングチャートである。このケースでは、保存指示を受けつけたときに、超音波画像Ｕ２と、光音響画像Ｐ１及び光音響画像Ｐ２の合成画像である光音響画像Ｐ１＋Ｐ２とを関連づけて保存する。

また、このケースでは、保存指示を受けつけたときに表示されている超音波画像Ｕ２の静止画を表示し続ける。そして、超音波画像Ｕ３の生成を中止する。すなわち、保存指示をトリガーに動画的表示から静止画表示に切り替える。さらに、このケースでは、超音波画像Ｕ２の静止画に、超音波画像Ｕ２と関連付けて保存された光音響画像Ｐ１＋Ｐ２の静止画を重畳して表示させる。

図１４は、超音波画像Ｕ２が表示されているときに保存指示を受けつけた場合の別形態のタイミングチャートである。このケースでは、保存指示を受けつけたときに超音波画像Ｕ２の静止画表示を継続する。また、保存指示を受けつけたときに超音波画像Ｕ３の生成を中止し、光音響画像Ｐ３の生成を開始する。そして、光音響画像Ｐ３の生成が完了したところで、超音波画像Ｕ２と光音響画像Ｐ１＋Ｐ２＋Ｐ３とを関連づけて保存する。そして、表示中の超音波画像Ｕ２に、超音波画像Ｕ２と関連づけられた光音響画像Ｐ１＋Ｐ２＋Ｐ３を重畳して表示する。なお、光音響画像Ｐ１＋Ｐ２＋Ｐ３とは、光音響画像Ｐ１、光音響画像Ｐ２、及び光音響画像Ｐ３の合成画像である。

図１４の場合、図１３の場合よりも、光音響画像のＳ／Ｎを向上させることができる。また、保存指示をトリガーに超音波の送受信を中止し、光音響波の受信を優先させたため、超音波画像Ｕ２の取得からの光音響画像Ｐ３の取得までの時間間隔を短くすることができる。

［第三の実施形態］
本実施形態に係る検査システムは、ＨＩＳやＲＩＳなどの外部ネットワークから送信された検査オーダ情報に基づいて、互いに関連づけて保存する画像を決定する。図１５は、本実施形態に係る検査システムが取得した検査オーダ情報６００のデータ構造を示す。

検査オーダ情報６００に含まれる情報は、ＨＩＳやＲＩＳなどを利用して医師等により直接入力される。あるいは、医師等により入力された情報に基づいて、ＨＩＳやＲＩＳなどが検査オーダ情報６００に含まれる情報を生成してもよい。

検査オーダ情報６００は、取得タイミング情報６１０を含む。取得タイミング情報６１０は、保存指示のタイミングに対して、どのタイミングに超音波画像または光音響画像を取得するのかを示す情報である。取得タイミング情報６１０は、超音波画像の取得タイミング情報６１１及び光音響画像の取得タイミング情報６１２を含む。例えば、取得タイミング情報６１０は、第一または第二の実施形態で説明した、保存指示と保存対象となる超音波画像または光音響画像との関係を示した情報である。

制御部１５３は、検査オーダ情報６００から超音波画像の取得タイミング情報６１１を読み出す。そして、制御部１５３は、保存指示を示す情報を受けつけたときに、超音波画像の取得タイミング情報６１１に基づいて、保存指示のタイミングに対応する超音波画像の取得タイミングを設定する。制御部１５３は、このようにして設定された取得タイミングに得られた超音波画像を保存対象とする。

また、制御部１５３は、検査オーダ情報６００から光音響画像の取得タイミング情報６１２を読み出す。制御部１５３は、保存指示を示す情報を受けつけたときに、光音響画像の取得タイミング情報６１２に基づいて、保存指示のタイミングに対応する光音響画像の取得タイミングを設定する。第一の実施形態に係る制御においては、制御部１５３は、このようにして設定された取得タイミングに光を被検体１００に照射するようにプローブ１８０を制御する。そして、この光照射に起因して得られた光音響画像を保存対象とする。一方、第二の実施形態に係る制御においては、制御部１５３は、このようにして設定された取得タイミングに得られた光音響画像を保存対象とする。

以上のように、検査オーダ情報６００に含まれる取得タイミング情報６１０に基づいて得られた超音波画像及び光音響画像が記憶部１５２に記憶される。また、検査オーダ情報６００から読み出された取得タイミング情報６１０を、保存データ３００の取得タイミング情報３１３として保存してもよい。

また、検査オーダ情報６００は、頭部、胸部などの検査対象とする部位に関する情報である検査部位情報６２０を含んでいてもよい。制御部１５３は、検査オーダ情報６００から検査部位情報６２０を読み出し、検査部位情報６２０に基づいて、検査部位ごとに予め決定された、超音波画像または光音響画像の取得タイミングを設定してもよい。この場合、検査オーダ情報６００に取得タイミング情報６１０が含まれていない場合であっても、制御部１５３は、検査オーダ情報６００から超音波画像または光音響画像の取得タイミングを設定することができる。例えば、制御部１５３は、記憶部１５２に記憶された、検査部位と取得タイミングとの対応が記述された関係テーブルを参照し、検査部位に対応する取得タイミングを読み出すことができる。なお、制御部１５３は、検査部位に関する情報以外にも、取得タイミングと対応付けられた情報であれば、検査オーダ情報に含まれるいかなる情報に基づいて取得タイミングを取得してもよい。

また、制御部１５３、検査オーダ情報６００に付帯する検査部位情報６２０に基づいて、生成する光音響画像の種類を酸素飽和度分布にするなど、検査部位情報６２０に基づいて生成する光音響画像の種類を設定してもよい。

例えば、検査オーダ情報６００は、取得タイミング情報６１０以外にも、撮影時の超音波画像または光音響画像の種類、使用する造影剤の種類などの情報を含んでいてもよい。その他、検査オーダ情報６００は、超音波画像または光音響画像を撮影時のプローブの種類、プローブの位置、電圧などのプローブへの出力、被検体の性別、年齢、体格、既往症、妊娠週数、体温などの情報を含んでもよい。

また、制御部１５３は、以前に検査した被検体の保存データと、検査オーダ情報６００とを比較し、例えば、同じ被検体であった場合は以前の検査結果を基に取得タイミングを設定してもよい。

［第四の実施形態］
本実施形態では、表示部１６０に表示される画像の表示例を説明する。なお、上述したように、本実施形態で説明する光音響画像は、光照射により発生した光音響波に由来するあらゆる画像を含む概念である。すなわち、光音響画像は、空間分布を表す画像に限らず、数値や文字を表す画像などであってもよい。また、以下説明する表示制御は、表示制御手段としての制御部１５３により実行される。

（表示形態１）
図１６は、超音波画像の動画が表示されているときの保存指示に応じて、当該保存指示のタイミングに対応する超音波画像と光音響画像との重畳画像のサムネイルが表示される形態を示す。

まず、図１６（Ａ）に示すように、表示部１６０の第１の表示領域１６１０に超音波画像の動画を表示する（Ｓ２００）。すなわち、プローブ１８０による被検体１００への超音波の送受信と併せて、当該超音波の送受信に対応する超音波画像の動画が第１の表示領域１６１０に表示される。

そして、超音波画像の動画が表示されているときに保存指示が行われると（Ｓ４００）、図１６（Ｂ）に示すように、表示部１６０の第２の表示領域１６２０に超音波画像と光音響画像との重畳画像の静止画１６２１が表示される。ここで、第２の表示領域１６２０に表示される静止画１６２１は、Ｓ４００でなされた保存指示のタイミングに対応する超音波画像と光音響画像との重畳画像の静止画である。サムネイルとしての静止画１６２１は、第１の表示領域１６１０に表示される超音波画像の動画よりも小さく表示されることができる。なお、保存指示のタイミングに対応する超音波画像及び光音響画像は、Ｓ６００またはＳ９００で関連づけて保存される画像に相当する。

さらに、続けて保存指示が行われると、図１６（Ｃ）に示すように、さらなる保存指示に対応する超音波画像と光音響画像との重畳画像の静止画１６２２が、第２の表示領域１６２０に表示される。このように、複数回の保存指示の各タイミングに対応する重畳画像が第２の表示領域１６２０に並べて表示される。

このような表示形態によれば、光音響画像の表示範囲が全表示領域の大部分を占有することなく、超音波画像の動画を継続して表示することができる。これにより、超音波画像の動画による診断の妨げを抑制しつつ、光音響画像による補助的な診断を行うことができる。なお、本実施形態では静止画の表示指示に応じて重畳画像の静止画を表示したが、重畳画像に代えて光音響画像の静止画を表示させてもよい。このことは後述する表示形態についても同様である。

（表示形態２）
図１７は、超音波画像の動画が表示されているときの保存指示に応じて、超音波画像の動画に代わって所定時間だけ重畳画像の静止画が表示される形態を示す。

まず、図１７（Ａ）に示すように、表示部１６０の第１の表示領域１７１０に超音波画像の動画を表示する（Ｓ２００）。

そして、超音波画像の動画が表示されているときに保存指示が行われると（Ｓ４００）、図１７（Ｂ）に示すように、第１の表示領域１７１０に表示される画像が、保存指示に対応する重畳画像の静止画に切り替わる。そして、重畳画像の静止画が、第１の表示領域１７１０に保存指示のタイミングから所定時間表示される。なお、診断に用いられる基本的な表示は超音波画像の動画と想定されるので、第１の表示領域１７１０での重畳画像の静止画の表示は所定時間に限られることが好ましい。

すなわち、保存指示から所定時間の経過後に、図１７（Ｃ）に示すように、第１の表示領域１７１０に表示される画像は超音波画像の動画に切り替わる一方、第２の表示領域１７２０に保存指示に対応する重畳画像の静止画１７２１が表示されることとなる。換言すると、保存指示から所定時間が経過すると、第１の表示領域１７１０における超音波画像の動画の表示が再開される一方、第２の表示領域１７２０には第１の表示領域１７１０に表示されていた重畳画像の静止画１７２１がサムネイルとして表示される。なお、サムネイルとしての静止画１７２１は、第１の表示領域１７１０に表示される超音波画像の動画よりも小さく表示されることが好ましい。

なお、第１の表示領域１７１０に重畳画像の静止画が表示される所定時間は、超音波画像の動画の表示を妨げない一方で、重畳画像の静止画の確認時間も確保できる程度の時間とすることが好ましい。例えば、当該所定時間は、２秒以内の時間とすればよい。さらに、超音波画像の動画の表示を優先させる場合、当該所定時間は、１秒以内あるいは０．５秒以内の時間とすればよい。

また、保存指示がなされたところで、第１の表示領域１７１０には重畳画像の静止画ではなく、光音響画像の静止画が表示されてもよい。そして、保存指示から所定時間の経過後に第２の表示領域１７２０には光音響画像あるいは重畳画像の静止画が表示されてもよい。

このような表示形態によれば、限られた所定時間だけ光音響画像が表示領域の大部分を占有するため、超音波画像の動画を継続して表示することができる。これにより、超音波画像の動画による診断の妨げを抑制しつつ、光音響画像による補助的な診断を行うことができる。

（表示形態３）
図１８は、超音波画像の動画と重畳画像の動画とを異なる表示領域に表示させ、保存指示に応じて重畳画像については静止画の表示に切り替える一方、超音波画像の動画については継続して表示させる形態を示す。

まず、図１８（Ａ）に示すように、表示部１６０の第１の表示領域１８１０に超音波画像の動画を表示する（Ｓ２００）。さらに、図１８（Ａ）に示すように、表示部１６０の第２の表示領域１８２０に超音波画像と光音響画像との重畳画像の動画を表示する。例えば、図１１−１４に示すようなタイミングで超音波の送受信あるいは光照射を行うことにより、動画的な超音波画像及び光音響画像を生成し、逐次画像を更新する。

そして、超音波画像の動画が表示されているときに保存指示が行われると（Ｓ４００）、図１８（Ｂ）に示すように表示がなされる。すなわち、保存指示に応じて、第２の表示領域１８２０には超音波画像と光音響画像との重畳画像の静止画が表示される一方、第１の表示領域１８１０では超音波画像の動画の表示が継続される。ここで、重畳画像の静止画は、保存指示のタイミングに対応する超音波画像と光音響画像との重畳画像の静止画である。なお、保存指示がなされたときに、第２の表示領域１８２０における重畳画像の動画の表示を継続し、第２の表示領域とは別の第３の表示領域に重畳画像の静止画を表示してもよい。

なお、第２の表示領域１８２０には、重畳画像の動画あるいは静止画ではなく、光音響画像の動画あるいは静止画を表示してもよい。

このような表示形態によれば、超音波画像の動画とは独立して、保存指示に応じて光音響画像の動画あるいは静止画の表示が制御される。これにより、超音波画像の動画による診断の妨げを抑制しつつ、光音響画像による補助的な診断を行うことができる。

（表示形態４）
図１９は、超音波画像の動画の表示に加えて、光音響画像の動画及び重畳画像の動画を表示させ、保存指示に応じてこれらの動画とは異なる表示領域に、光音響画像、超音波画像、及び重畳画像の静止画を表示させる形態を示す。

まず、図１９（Ａ）に示すように、表示部１６０の第１の表示領域１９１０に超音波画像の動画を表示する（Ｓ２００）。さらに、図１９（Ａ）に示すように、表示部１６０の第２の表示領域１９２０に、光音響画像の動画１９２１、及び、超音波画像と光音響画像との重畳画像の動画１９２２を表示する。

そして、超音波画像の動画が表示されているときに保存指示が行われると（Ｓ４００）、図１９（Ｂ）に示すように表示がなされる。すなわち、保存指示に応じて、第２の表示領域１９２０には、動画１９２１及び１９２２に加えて、光音響画像の静止画１９２３、重畳画像の静止画１９２４、ならびに超音波画像の静止画１９２５が表示される。ここで、静止画１９２４は、保存指示のタイミングに対応する超音波画像と光音響画像との重畳画像の静止画である。なお、互いに対応する動画と静止画と比較しやすくするために、光音響画像の動画１９２１と静止画１９２３とを並べて表示し、重畳画像の動画１９２２と静止画１９２４とを並べて表示することが好ましい。図１９（Ｂ）では、動画と静止画とを縦に並べて表示しているが、横に並べて表示してもよい。また、超音波画像についても動画と静止画とを並べて表示してもよい。

超音波画像の動画による診断を妨げないために、第２の表示領域１９２０に表示されるいずれの画像も、第１の表示領域１９１０に表示される超音波画像の動画より小さく表示されることが好ましい。

なお、第２の表示領域１９２０に表示される動画には、光音響画像及び重畳画像の少なくとも一方の動画が含まれていればよい。また、第２の表示領域１９２０に表示される静止画は、光音響画像及び重畳画像の少なくとも一方の静止画が含まれていればよい。

このような表示形態によれば、超音波画像の動画とは独立して光音響画像の動画を表示させることができ、かつ、保存指示に応じて超音波画像の動画とは独立して光音響画像の静止画を表示させることができる。これにより、超音波画像の動画による診断の妨げを抑制しつつ、光音響画像による補助的な診断を行うことができる。

なお、本実施形態において、第１の表示領域と第２の表示領域は、１つの表示装置の表示領域に割り当てられてもよいし、互いに異なる複数の表示装置に各表示領域を割り当てられてもよい。

また、本実施形態においては、保存指示に応じた表示態様の変更を説明したが、保存を伴う指示以外の指示に応じて表示態様を変更してもよい。例えば、静止画を表示させるための静止画の表示指示に応じて、上述した保存指示に応じた表示態様の変更が実行されてもよい。

次に、図２０に示す画像を表示するＧＵＩ（Ｇｒａｐｈｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の例を説明する。図２０（Ａ）は超音波画像を示し、図２０（Ｂ）は光音響画像を示し、図２０（Ｃ）は超音波画像と光音響画像との重畳画像を示す。図２０は、２次元空間分布を示す画像を示しているが、３次元空間分布を示す画像を表示させてもよい。また、超音波画像は、Ｂモード画像を想定した画像としているが、表示される超音波画像はこれに限らない。また、光音響画像は、光吸収係数の空間分布を表す画像（例えば血管画像）を想定しているが、表示される光音響画像はこれに限らない。

図２１は、表示部１６０に表示されるＧＵＩの具体例を示す。

表示領域２１１０は、超音波画像の動画が表示される表示領域である。主に、ユーザーがこの表示領域に表示される超音波画像の動画を確認して診断を行うことが想定される。

表示領域２１２０は、フリーズアイコン２１４０を用いた静止画の表示指示のタイミングに対応するサムネイル画像が表示される領域である。本表示例では、静止画の表示指示のタイミングに対応する超音波画像の静止画２１２１、光音響画像の静止画２１２２、ならびに超音波画像及び光音響画像の重畳画像の静止画２１２３が表示領域２１２０に表示される。本表示例では、１回の静止画の表示指示に応じて、表示領域２１２０に３つの静止画がサムネイルとして表示される。なお、ユーザーが入力部１７０を用いてフリーズアイコン２１４０をクリックしたときに静止画の表示指示がなされる。ただし、静止画の表示指示はＧＵＩ上のアイコンを用いる方法に限らず、メカニカルなスイッチなどのハードウェアを用いる方法によって行われてもよい。その他に、例えば、表示部１６０にタッチスクリーンを用いて、ユーザーが表示領域２１１０をタッチすることで静止画の表示指示を行ってもよい。また、これらの静止画の表示指示が保存指示を兼ねていてもよい。すなわち、静止画の表示指示に対応する超音波画像と光音響画像とが関連付けられて保存されてもよい。

また、複数回の静止画の表示指示がなされた場合など、表示領域２０２０に全てのサムネイル画像を表示できない場合には、ユーザーが画像送りアイコン２１２４を操作することにより、表示されるサムネイル画像に切り替えることができる。なお、超音波画像、光音響画像、及び重畳画像の静止画を比較する上では、静止画の表示指示毎にサムネイル画像群を切り替えることが好ましい。例えば、１回目の静止画の表示指示に対応するサムネイル画像群が表示されているときに画像送りを指示すると、２回目の静止画の表示指示に対応するサムネイル画像群が表示領域２１２０に表示されてもよい。ただし、画像送りのルールについてはこれに限らず、いかなるルールで画像送りが行われてもよい。例えば、超音波画像及び光音響画像は１回目の静止画の表示指示に対応する静止画を表示させるが、重畳画像だけ２回目の静止画の表示指示に対応する静止画に切り替えられるように構成されていてもよい。なお、画像送りアイコンに対するユーザーの操作指示が切り替え指示に相当する。

表示領域２１３０は、検査対象の情報や表示パラメータの設定を行うための画像が表示される表示領域である。部位表示部２１３１には、撮影対象部位が表示される。本表示例では、撮影対象部位が腹部であることが示されている。なお、部位表示部２１３１に表示される撮影対象部位は、検査オーダの情報に基づいて設定されることができる。

種別表示部２１３２には、表示領域２１１０または２１２０に表示されている超音波画像の画像種別が表示されている。また、種別表示部２１３２に表示されている複数の画像種別の中からユーザーが入力部１７０を用いて、表示される超音波画像の画像種別を選択することができる。本表示例では、Ｂモード画像、ドップラー画像、エラストグラフィ画像の中からユーザーが選択することができるように構成されている。本表示例では、Ｂモード画像が選択された場合を想定し、Ｂモード画像が選択されたことが識別できるように表示されている。なお、種別表示部２１３２において選択された画像種別に応じて、超音波の送受信の制御パラメータ（例えば、送信超音波のパルス繰り返し周期（ＰＲＦ）やパルス幅など）を変更してもよい。

種別表示部２１３３には、表示領域２１２０に表示されている光音響画像の画像種別が表示されている。また、種別表示部２１３３に表示されている複数の画像種別の中からユーザーが入力部１７０を用いて、表示される光音響画像の画像種別を選択することができる。本表示例では、初期音圧画像、光吸収係数画像、酸素飽和度画像の中からユーザーが選択することができるように構成されている。本表示例では、光吸収係数画像が選択された場合を想定し、光吸収係数画像が選択されたことが識別できるように表示されている。なお、種別表示部２１３３において選択された画像種別に応じて、光照射の制御パラメータ（例えば、光の波長、パルス幅、強度など）を変更してもよい。

なお、超音波画像及び光音響画像を互いに異なる配色で表示部１６０に表示してもよい。例えば、超音波画像と光音響画像とを重畳させて表示する場合、光音響画像の配色を超音波画像の補色とするなどして、超音波画像と光音響画像とを区別しやすくする配色を設定してもよい。また、例えば、超音波画像と光音響画像とで同一画素に画像値がある場合、重なる部分については超音波画像及び光音響画像のいずれとも異なる配色で表示してもよい。また、ユーザーが超音波画像または光音響画像の配色を変更するためのアイコンである配色変更部２１３４を、入力部１７０を用いてクリックすることにより配色を変更してもよい。また、表示部１６０に表示された配色変更部２１３４をクリックする以外のユーザーの指示によっては画像の配色が変更されてもよい。

また、超音波画像と光音響画像との重畳画像について、それぞれの画像の透過率が変更できるように構成されていてもよい。例えば、ユーザーが入力部１７０を用いてスライドバー２１３５を左右に操作することにより、超音波画像または光音響画像の透過率を変更してもよい。本表示例では、スライドバー２１３５の位置に応じて透過率が変更されるように構成されている。

また、超音波画像及び光音響画像の少なくとも一方の画像に、信号フィルタや画像フィルタなどによる強調処理が施された画像の重畳画像を表示させてもよい。例えば、超音波画像にエッジ強調の処理を行い、輪郭が強調された超音波画像を光音響画像と重畳して表示してもよい。また、光音響画像に血管強調の処理を行い、血管が強調された光音響画像を超音波画像に重畳させてもよい。

なお、超音波の送受信による撮影が完了した後は、ユーザーの指示を受け付けることなく、表示領域２１１０には超音波画像の最終フレームの静止画が表示されてもよいし、その他の画像が表示されてもよい。例えば、部位表示部２１３１に示されている撮影対象部位に応じて、撮影完了後に表示領域２１１０に表示される画像が設定されてもよい。

なお、表示領域２１２０に表示されているサムネイル画像の中から入力部１７０を用いて画像を選択することにより、表示領域２１１０に選択されたサムネイル画像を拡大して表示させてもよい。例えば、表示部１６０にタッチスクリーンを用いて、静止画２１２１〜２１２３のいずれかをタッチすることで拡大する画像を選択してもよい。また、静止画２１２１〜２１２３のいずれかを表示領域２１１０にスワイプやフリックすることで拡大する画像を選択してもよい。

なお、本表示例では便宜上、各表示領域の境界を実線で表示することにより区別したが、境界を表示させなくてもよい。

図２２は、表示部１６０に表示されるＧＵＩの具体例を示す。なお、表示領域２２１０、表示領域２２３０、及びフリーズアイコン２２４０の機能は、図２１の表示領域２１１０、表示領域２１３０、及びフリーズアイコン２１４０の機能と同様であるため、詳細な説明を省略する。その他、図２１と同様の機能については詳細な説明を省略する。

表示領域２２２０は、静止画の表示指示のタイミング対応するサムネイル画像が表示される領域である点については、表示領域２１２０と同様であるが、表示されるサムネイル画像が図２１とは異なる。本表示例では表示領域２２２０に、超音波画像と光吸収係数の空間分布を示す光音響画像との重畳画像の静止画２２２１と、超音波画像と酸素飽和度の空間分布を示す光音響画像との重畳画像の静止画２２２２とが表示される。なお、静止画２２２１も静止画２２２２も共通の静止画の表示指示のタイミングに対応するサムネイル画像である。すなわち、本ＧＵＩでは、１つの静止画の表示指示に対して異なる画像種別の光音響画像が重畳された重畳画像を並べて表示する。これにより、ユーザーは、診断指標が互いに異なる複数の光音響画像のそれぞれと超音波画像との重畳画像を利用して、総合的な診断を行うことができる。なお、診断指標が互いに異なる複数の超音波画像のそれぞれと光音響画像との重畳画像をサムネイル画像として表示領域２２２０に並べて表示してもよい。この場合、例えば、Ｂモード画像と光音響画像との重畳画像と、ドップラー画像と光音響画像との重畳画像とをサムネイル画像として並べて表示領域２２２０に並べて表示してもよい。また、例えば、ユーザーは、画像送りアイコン２２２３を操作することにより、静止画の表示指示毎のサムネイル画像群を画像送りしてもよい。

なお、光音響画像の動画が表示されているときに指示された表示指示に応じて、超音波画像の静止画を表示する一方、光音響画像の動画の表示を継続させてもよい。前述の第一から第四の実施形態は、超音波画像による診断を基本とし、光音響画像を付加情報として提供することを想定した実施形態であった。一方、本形態は、光音響画像による診断を基本とし、付加情報として超音波画像を利用することを想定した形態である。本形態では、第一から第四の実施形態における超音波画像の動画の表示中の指示と同様に、光音響画像の動画の表示中の指示を受け付けることができる。すなわち、本形態は、第一から第四の実施形態における超音波画像と光音響画像との関係を入れ替えた形態と捉えることもできる。本形態によれば、光音響画像による基本的な診断の妨げを抑制しつつ、超音波画像の静止画を表示させることができる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明は上記特定の形態に限定されず、本発明の技術思想を逸脱しない範囲で実施形態の修正をすることができる。

１５０ コンピュータ
１８０ プローブ

Claims (17)

1. 被検体に対する超音波の送受信により生成された超音波画像を取得する第１の取得手段と、
   前記被検体への光照射により発生する光音響波に基づいて生成された光音響画像を取得する第２の取得手段と、
   表示手段の第１の表示領域に前記超音波画像の動画を表示させる表示制御手段と、
   を有し、
   前記表示制御手段は、
   前記超音波画像の動画が表示されているときに指示された表示指示を示す情報に基づいて、前記第１の表示領域とは異なる、前記表示手段の第２の表示領域に、前記表示指示のタイミングに対応する前記超音波画像及び前記光音響画像の重畳画像の静止画を表示させる一方、前記第１の表示領域では前記超音波画像の動画の表示を継続させる
   ことを特徴とする装置。
2. 被検体に対する超音波の送受信により生成された超音波画像を取得する第１の取得手段と、
   前記被検体への光照射により発生する光音響波に基づいて生成された光音響画像を取得する第２の取得手段と、
   表示手段の第１の表示領域に前記超音波画像の動画を表示させ、前記第１の表示領域とは異なる、前記表示手段の第２の表示領域に前記超音波画像及び前記光音響画像の重畳画像の動画を表示させる表示制御手段と、
   を有し、
   前記表示制御手段は、
   前記超音波画像の動画が表示されているときに指示された表示指示を示す情報に基づいて、前記表示指示のタイミングに対応する前記超音波画像及び前記光音響画像の重畳画像の静止画を前記第２の表示領域に表示させる一方、前記第１の表示領域では前記超音波画像の動画の表示を継続させる
   ことを特徴とする装置。
3. 被検体に対する超音波の送受信により生成された超音波画像を取得する第１の取得手段と、
   前記被検体への光照射により発生する光音響波に基づいて生成された光音響画像を取得する第２の取得手段と、
   表示手段の第１の表示領域に前記超音波画像の動画を表示させる表示制御手段と、
   を有し、
   前記表示制御手段は、
   前記超音波画像の動画が表示されているときに指示された表示指示を示す情報に基づいて、前記表示指示のタイミングに対応する前記超音波画像及び前記光音響画像の重畳画像の静止画を前記第１の表示領域に所定時間表示させ、
   前記表示指示から前記所定時間の経過後に、前記第１の表示領域とは異なる、前記表示手段の第２の表示領域に前記重畳画像の静止画を表示させる一方、前記第１の表示領域では前記超音波画像の動画の表示を再開させる
   ことを特徴とする装置。
4. 前記表示制御手段は、前記表示指示のタイミングに対応する前記超音波画像及び前記光音響画像の重畳画像の静止画を、前記超音波画像の動画よりも小さく表示させる
   ことを特徴とする請求項１に記載の装置。
5. 前記表示制御手段は、前記超音波画像の動画が表示されているときに指示された複数回の表示指示を示す情報に基づいて、前記複数回の表示指示のタイミングに対応する前記超音波画像及び前記光音響画像の重畳画像の静止画を、前記第２の表示領域に並べて表示させる
   ことを特徴とする請求項１に記載の装置。
6. 前記表示制御手段は、
   前記超音波画像の動画が表示されているときに指示された複数回の表示指示を示す情報に基づいて、前記複数回の表示指示のタイミングに対応する前記超音波画像及び前記光音響画像の重畳画像の静止画を生成し、
   切り替え指示を示す情報に基づいて、前記複数回の表示指示のタイミングに対応する前記超音波画像及び前記光音響画像の重畳画像の静止画を、前記第２の表示領域で切り換えて表示する
   ことを特徴とする請求項１に記載の装置。
7. 前記表示指示を示す情報に基づいて、前記表示指示に対応する前記超音波画像及び前記光音響画像を保存手段に関連づけて保存する保存制御手段をさらに有する
   ことを特徴とする請求項１に記載の装置。
8. 前記表示制御手段は、前記表示指示を示す情報に基づいて、前記表示指示のタイミングに前記第１の表示領域に表示されている前記超音波画像と、当該超音波画像と時間的に近傍のタイミングに取得された前記光音響画像との重畳画像を、前記第２の表示領域に表示させる
   ことを特徴とする請求項１から７のいずれか１項に記載の装置。
9. 被検体への超音波の送受信により得られる超音波画像、及び、前記被検体への光照射により発生する光音響波に基づいて得られる光音響画像を表示する方法であって、
   表示手段の第１の表示領域に超音波画像の動画を表示し、
   前記超音波画像の動画が表示されているときに指示された表示指示を示す情報に基づいて、前記第１の表示領域とは異なる、前記表示手段の第２の表示領域に、前記表示指示のタイミングに対応する前記超音波画像及び前記光音響画像の重畳画像の静止画を表示する一方、前記第１の表示領域では超音波画像の動画の表示を継続する
   ことを特徴とする方法。
10. 被検体への超音波の送受信により得られる超音波画像、及び、前記被検体への光照射により発生する光音響波に基づいて得られる光音響画像を表示する方法であって、
    表示手段の第１の表示領域に超音波画像の動画を表示し、
    前記第１の表示領域とは異なる、前記表示手段の第２の表示領域に、前記超音波画像及び前記光音響画像の重畳画像の動画を表示し、
    前記重畳画像の動画が表示されているときに指示された表示指示を示す情報に基づいて、前記表示指示のタイミングに対応する前記超音波画像及び前記光音響画像の重畳画像の静止画を前記第２の表示領域に表示する一方、前記第１の表示領域では前記超音波画像の動画の表示を継続する
    ことを特徴とする方法。
11. 被検体への超音波の送受信により得られる超音波画像、及び、前記被検体への光照射により発生する光音響波に基づいて得られる光音響画像を表示する方法であって、
    表示手段の第１の表示領域に超音波画像の動画を表示し、
    前記超音波画像の動画が表示されているときに指示された表示指示を示す情報に基づいて、前記表示指示のタイミングに対応する超音波画像及び光音響画像の重畳画像の静止画を前記第１の表示領域に所定時間表示し、
    前記表示指示から前記所定時間の経過後に、前記第１の表示領域とは異なる、前記表示手段の第２の表示領域に前記重畳画像の静止画を表示する一方、前記第１の表示領域では超音波画像の動画の表示を再開する
    ことを特徴とする方法。
12. 前記表示指示のタイミングに対応する前記超音波画像及び前記光音響画像の重畳画像の静止画を、前記超音波画像の動画よりも小さく表示する
    ことを特徴とする請求項９から１１のいずれか１項に記載の方法。
13. 前記超音波画像の動画が表示されているときに指示された複数回の表示指示を示す情報に基づいて、前記複数回の表示指示のタイミングに対応する前記超音波画像及び前記光音響画像の重畳画像の静止画を、前記第２の表示領域に並べて表示させる
    ことを特徴とする請求項９から１２のいずれか１項に記載の方法。
14. 前記超音波画像の動画が表示されているときに指示された複数回の表示指示を示す情報に基づいて、前記複数回の表示指示のタイミングに対応する前記超音波画像及び前記光音響画像の重畳画像の静止画を生成し、
    切り替え指示を示す情報に基づいて、前記複数回の表示指示のタイミングに対応する前記超音波画像及び前記光音響画像の重畳画像の静止画を、前記第２の表示領域で切り換えて表示する
    ことを特徴とする請求項９から１２のいずれか１項に記載の方法。
15. 前記表示指示を示す情報に基づいて、前記表示指示に対応する前記超音波画像及び前記光音響画像を保存手段に関連づけて保存する
    ことを特徴とする請求項９から１４のいずれか１項に記載の方法。
16. 前記表示指示を示す情報に基づいて、前記表示指示のタイミングに前記第１の表示領域に表示されている前記超音波画像と、当該超音波画像と時間的に近傍のタイミングに取得された前記光音響画像との重畳画像を、前記第２の表示領域に表示させる
    ことを特徴とする請求項９から１５のいずれか１項に記載の方法。
17. 請求項９から１６のいずれか１項に記載の方法をコンピュータに実行させるプログラム。

Images