JP2019042129A - 情報処理装置、情報処理方法、情報処理システム及びプログラム - Google Patents

Abstract

【課題】 簡易な操作入力で複数の医用画像の表示を切り替えることができる装置を提供する。【解決手段】 情報処理装置は、第１の医用画像と第２の医用画像とを取得し、操作者の操作を受け付ける受付部に対して一つの操作が実行されている期間は前記第２の医用画像を表示部に表示させ、前記受付部に対する前記一つの操作が終了すると前記第２の医用画像に替えて前記第１の医用画像を前記表示部に表示させる。【選択図】 図２

Description

本明細書の開示は、医用画像情報処理装置、情報処理方法、情報処理システム及びプログラムに関する。

医師は複数の医用画像を比較しながら観察することにより診療を行うことがある。特許文献１には、２つの血管画像を重畳した灌流重畳画像を作成し、当該灌流重畳画像と当該２つの血管画像のそれぞれとの３つの画像のうち、いずれかの画像が表示されるように、操作者からの要求に応じて表示を切り替えることが開示されている

特開２０１０−２１３８６３号公報

表示部に表示させる医用画像を切り替えるために都度、操作入力を行うことは医師にとって手間となるおそれがある。

本発明の実施形態に係る情報処理装置は、第１の医用画像と第２の医用画像とを取得する取得手段と、操作者の操作を受け付ける受付部に対して一つの操作が実行されている期間は前記第２の医用画像を表示部に表示させ、前記受付部に対する前記一つの操作が終了すると前記第２の医用画像に替えて前記第１の医用画像を前記表示部に表示させる表示制御手段と、を有することを特徴とする。

本発明の実施形態に係る情報処理装置によれば、医師といった操作者は一つの操作を行うだけで、任意の期間、表示部に表示させる医用画像を切り替えることができる。

光音響画像、超音波画像、光音響画像と超音波画像との重畳画像の一例を夫々示す図である。 本発明の実施形態に係る情報処理装置の機能構成の一例を示す図である。 本発明の実施形態に係る情報処理装置により行われる処理の一例を示すフローチャートである。 本発明の実施形態に係る情報処理装置により表示される画面の一例を示す図である。 本発明の実施形態に係る情報処理装置により表示される画面の一例を示す図である。 本発明の実施形態に係る情報処理装置により表示される画面の一例を示す図である。 本発明の実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。

以下、図面を参照して本発明の実施形態を説明する。

［第１の実施形態］
本明細書では、被検体に光を照射し、被検体内部で生じた膨張によって発生する音響波を光音響波と称する。また、トランスデューサから送信された音響波または当該送信された音響波が被検体内部で反射した反射波（エコー）を超音波と称する。また、光音響波と超音波とを合わせて音響波と称する。

被検体内部の状態を低侵襲に画像化する方法として、超音波を用いた画像化の方法や光音響を用いた画像化の手法が利用されている。超音波を用いて画像化された画像を以下では超音波画像と称する。光音響を用いて画像化された画像を以下では光音響画像と称する。光音響画像では、たとえばヘモグロビンの光学特性により血管を描出できることが知られている。

医師は診療を行う際に、患者を被検体とする複数の医用画像を取得し、それらを比較しながら観察を行う場合がある。医師が当該観察に使用する端末の表示部に表示させる医用画像や、医用画像を表示させる期間は観察において様々である。たとえば医師が現在観察している内容に応じて、比較のために表示させたい他の医用画像から読み取りたい情報が異なり、したがって、当該他の医用画像を表示させる期間も異なると考えられる。

図１は複数の医用画像を重畳して得られる重畳画像の一例である。ここでは、光音響画像６００と超音波画像７００とを重畳して得られる重畳画像８００を一例として示す。光音響画像６００からは血管６０１の位置情報等が得られ、超音波画像７００からは腫瘍７０２の位置情報等が得られる。このように複数の医用画像を比較しながら観察することにより、それぞれの医用画像から得られる異なった情報を組み合わせて診療が行われる場合がある。当該比較を行うための手法の一例が、複数の医用画像を重畳することであり、図１の例では腫瘍と血管との位置関係の情報が得られることが期待される。

光音響画像６００と超音波画像７００との輝度値の違いによっては、重畳画像８００において血管像８０１の視認性が低下してしまう場合が考えられる。たとえば、超音波画像７００のスペックルノイズが強く、画像の大部分の輝度値が高いような場合である。また、光音響画像６００が重畳されることによって重畳画像８００のコントラストが低下し、重畳画像８００の腫瘍像８０２の視認性が低下してしまう場合が考えられる。このように、たとえば２つの画像の輝度が互いに影響して、それぞれの画像から得られる情報の視認性を低下させてしまう場合が考えられる。

複数の医用画像を重畳した重畳画像を観察することにより、それぞれの医用画像から得られる情報を組み合わせることは有用な手法の一つであるが、輝度のバランスを考慮しない重畳画像を用いて比較をおこなうことは、重畳画像に用いるそれぞれの医用画像の状態によっては必ずしも好ましくない場合も考えられる。第１の実施形態に係る情報処理装置１００は、複数の医用画像のそれぞれの視認性は低下させずに、医師が複数の医用画像を容易に比較することができるようにすることを目的とする。情報処理装置１００は、第１の医用画像を読影中に医師といった操作者が第２の医用画像を必要とするとき、一つの操作入力で所望の期間、第２の医用画像を表示部に表示させる。

情報処理装置１００が表示部１１０に表示させる医用画像は、たとえば磁気共鳴画像診療装置、超音波画像診療装置、光超音波イメージング装置、放射線画像診療装置、コンピュータ断層撮影画像診療装置、陽電子放射断層撮影画像診療装置などのいずれかのモダリティにより撮影された画像である。医用画像はボリュームデータであってもよい。医用画像は関心領域（ＲＯＩ）等を示すアノテーションの情報を含んでいてもよい。近年では、上述の各種のモダリティにより得られる医用画像を含め、診療に用いられる医用画像や診療に関する各種の情報が電子化されている。撮像装置と、当該撮像装置と接続される各種の装置との間の情報連携のために、たとえばＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）規格が用いられることが多い。ＤＩＣＯＭは医用画像のフォーマットと、それらの画像を扱う装置間の通信プロトコルを定義した規格である。ＤＩＣＯＭに基づいて取り扱われる画像、メタデータと画像データとで構成される。メタデータには、たとえば患者、検査、シリーズ、画像に関する情報が含まれる。メタデータはＤＩＣＯＭデータエレメントと呼ばれるデータ要素の集まりで構成される。各々のＤＩＣＯＭデータエレメントにはデータ要素を識別するためのタグが付加される。例えば、ＤＩＣＯＭデータエレメントには、ピクセルデータである画像データに対して、画像データであることを示すタグが付加される。第１の実施形態においては、医用画像および情報処理装置１００により行われる処理はＤＩＣＯＭに則ることとする。また、各種の処理に必要な情報は医用画像のメタデータに含まれる情報、あるいはＤＩＣＯＭに則って外部装置に問い合わせて取得される情報を用いることとする。

図２は、情報処理装置１００の機能構成の一例を示す図である。情報処理装置１００は、医用画像１０１を保存するデータベース１０２と通信ネットワーク１０３を介して接続されている。データベース１０２は、たとえばＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）である。情報処理装置１００は記憶部１０４、画像取得部１０５、表示制御部１０８を有する。情報処理装置１００は入力部１０９及び表示部１１０と接続されている。

記憶部１０４は、画像取得部１０５によりデータベース１０２から取得された複数の医用画像１０１を保存する。画像取得部１０５は、データベース１０２から医用画像を取得する。別の例では、画像取得部１０５は医用画像撮像装置（不図示）、いわゆるモダリティから医用画像を取得してもよい。また、画像取得部１０５は医用画像１０１に画像処理を施してもよい。画像処理とは、たとえば２つの画像の対応する特徴同士の位置を合わせる処理である位置合わせ処理や、位置合わせされた２つの画像を重畳する処理や、ボリュームデータに対する最大値投影（ｍａｘｉｍｕｍ ｉｎｔｅｎｓｉｔｙ ｐｒｏｊｅｃｔｉｏｎ， ＭＩＰ）処理である。以下では、２つの画像を重畳して得られた画像を重畳画像と称する。また、以下では、最大値投影処理により生成された画像を投影画像と称する。

画像取得部１０５は、操作者が比較して観察するための少なくとも２つの医用画像を取得する。ここではそれぞれ、第１の医用画像１０６と第２の医用画像１０７と称する。第２の医用画像１０７は第１の医用画像１０６とは異なる医用画像である。第１の医用画像１０６及び第２の医用画像１０７はそれぞれデータベース１０２から取得された医用画像であってもよいし、画像取得部１０５により画像処理を施された医用画像、たとえば投影画像であってもよい。画像取得部１０５は取得した医用画像をデータベース１０２に保存させてもよい。この観点で、画像取得部１０５は第１の医用画像と第２の医用画像とを取得する取得手段の一例である。

表示制御部１０８は表示部１１０に第１の医用画像１０６又は第２の医用画像１０７のいずれかを表示させる。具体的には、表示制御部１０８は入力部１０９から発信される信号を受信する。表示制御部１０８は入力部１０９から第２の医用画像１０７を表示させる指示を示す信号を受信している期間は第２の医用画像１０７を表示部１１０に表示させる。また、表示制御部１０８は入力部１０９から第２の医用画像１０７を表示させる指示を示す信号を受信していない期間は第１の医用画像１０６を表示部１１０に表示させる。すなわち、表示制御部１０８は第１の医用画像１０６を表示部１１０に表示させ、入力部１０９から信号を受信している期間のみ第２の医用画像１０７を表示部１１０に表示させる。この観点で、表示制御部１０８は操作者の一つの操作入力の行われる期間に発信される信号を受信している期間は第２の医用画像を表示部１１０に表示させ、当該信号を受信していない期間は第１の医用画像を表示部１１０に表示させる表示制御手段の一例である。

入力部１０９は、操作者の指示を情報処理装置１００に入力する。入力部１０９はたとえば、キーボード、マウス、ジョイスティック、タッチパネル、スイッチボックス、音声を含む音を受信するマイクや、特定のジェスチャーを受け付ける装置である。入力部１０９は、第２の医用画像１０７を表示部１１０に表示させる指示を受け付ける装置としての観点において、モーメンタリスイッチとして機能する。オルタネイトスイッチとして機能する場合、操作者が指示を入力するうえで手間が生じるおそれがある。入力部１０９がモーメンタリスイッチとして機能することにより、操作者は簡易な操作入力で、所望の期間のみ第２の医用画像１０７を表示させる指示を入力することができる。この観点で、入力部１０９は操作者の操作を受け付ける受付部の一例である。

図７は情報処理装置１００のハードウェア構成の一例を示す図である。情報処理装置１００はたとえばコンピュータである。情報処理装置１００は、ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３、記憶装置１１４、ＵＳＢ１１５、通信回路１１６、グラフィックスボード１１７を有する。これらはＢＵＳにより通信可能に接続されている。ＢＵＳは接続されたハードウェア間でのデータの送受信や、ＣＰＵ１１１から他のハードウェアへの命令を送信するために使用される。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１は情報処理装置１００及びこれに接続する各部を統合的に制御する制御回路である。ＣＰＵ１１１はＲＯＭ１１２に格納されているプログラムを実行することにより制御を実施する。またＣＰＵ１１１は、表示部１１０を制御するためのソフトウェアであるディスプレイドライバを実行し、表示部１１０に対する表示制御を行う。さらにＣＰＵ１１１は、入力部１０９に対する入出力制御を行う。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１２は、ＣＰＵ１１１による制御の手順を記憶させたプログラムやデータを格納する。ＲＯＭ１１２は、情報処理装置１００のブートプログラムや各種初期データを記憶する。また、情報処理装置１００の処理を実現するための各種のプログラムを記憶する。

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１３は、ＣＰＵ１１１が命令プログラムによる制御を行う際に作業用の記憶領域を提供するものである。ＲＡＭ１１３は、スタックとワーク領域とを有する。ＲＡＭ１１３は、情報処理装置１００及びこれに接続する各部における処理を実行するためのプログラムや、画像処理で用いる各種パラメータを記憶する。ＲＡＭ１１３は、ＣＰＵ１１１が実行する制御プログラムを格納し、ＣＰＵ１１１が各種制御を実行する際の様々なデータを一時的に格納する。

記憶装置１１４は、第１の医用画像１０６や第２の医用画像１０７などの各種のデータを保存する補助記憶装置である。記憶装置１１４は、たとえばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）や、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）である。

ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）１１５は入力部１０９と接続する接続部である。

通信回路１１６は通信ネットワーク１０３に接続されている各種の外部装置との通信を行うための回路である。通信回路１１６は、たとえば出力する情報を転送用パケットに格納してＴＣＰ／ＩＰといった通信技術により、通信ネットワーク１０３を介して外部装置に出力する。情報処理装置１００は、所望の通信形態にあわせて、複数の通信回路を有していてもよい。

グラフィックスボード１１７は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ビデオメモリを含む。ＧＰＵは、たとえば光音響信号から光音響画像を生成するための再構成処理に係る演算を行う。

ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）１１８は、表示部１１０と接続する接続部である。

ＣＰＵ１１１やＧＰＵはプロセッサの一例である。また、ＲＯＭ１１２やＲＡＭ１１３や記憶装置１１４はメモリの一例である。情報処理装置１００は複数のプロセッサを有していてもよい。第１の実施形態においては、情報処理装置１００のプロセッサがメモリに格納されているプログラムを実行することにより、情報処理装置１００の各部の機能が実現される。

また、情報処理装置１００は特定の処理を専用に行うＣＰＵやＧＰＵ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を有していても良い。情報処理装置１００は特定の処理あるいは全ての処理をプログラムしたＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を有していてもよい。

図３は第１の実施形態に係る情報処理装置１００により行われる処理の一例を示すフローチャートである。

（Ｓ２００：医用画像を選択する工程）
ステップＳ２００において画像取得部１０５は、操作者の指示に基づいて第１の医用画像と第２の医用画像とを選択する。第１の実施形態においては、医師といった操作者が比較して観察する対象として複数の医用画像を選択する場合を例に説明する。複数の医用画像を比較する観点から、ステップＳ２００において選択される複数の医用画像は、位置合わせが可能な医用画像な組み合わせであることとする。位置合わせが可能な医用画像の組み合わせとは、たとえば被検体の同じ領域や重複する領域が撮像された医用画像の組み合わせである。画像取得部１０５は選択された医用画像をデータベース１０２または記憶部１０４から取得する。

なお、医師は第１の医用画像や第２の医用画像を一つの画面上に表示して観察する、読影と呼ばれる作業を行う場合がある。情報処理装置１００は読影のための機能を提供してもよい。読影のための機能には、たとえばユーザの操作入力により、第１の医用画像と第２の医用画像とを重畳表示したり、画面に表示させる態様を変更したりするための機能が含まれる。したがって、実施形態の一例において第１の医用画像と第２の医用画像とは予め位置合わせが行われていることとする。位置合わせとは２つの画像の対応する特徴同士の位置を合わせる処理である。位置合わせはプロクラテス法、ＩＰＣ（ｉｔｅｒａｔｉｖｅ ｃｌｏｓｅｓｔ ｐｏｉｎｔ）アルゴリズム、２つの画像の濃度の特徴に基づくアルゴリズム、物理モデルを利用したアルゴリズム等により行われ、任意の制約条件を用いてよい。第１の医用画像と第２の医用画像とが一つのプローブにより得られた超音波画像と光音響画像であった場合には、被検体に対するプローブの位置に基づいて位置合わせされてもよい。

（Ｓ２０１：画像処理を行う工程）
ステップＳ２０１において画像取得部１０５は、ステップＳ２００において選択された医用画像がたとえば投影画像や重畳画像であった場合、それらを生成する。ステップＳ２００において選択された医用画像が特に画像処理を要しないものである場合、ステップＳ２０１の処理を行わなくてもよい。

ステップＳ２００において投影画像が選択された場合、画像取得部１０５はデータベース１０２または記憶部１０４から取得した医用画像に投影画像処理を施す。ステップＳ２００において重畳画像が選択された場合、画像取得部１０５はデータベース１０２または記憶部１０４から取得した医用画像を用いて重畳画像を生成する。画像取得部１０５は操作者の指示に応じて、いずれかの医用画像の透明度を増加させて重畳画像を生成する。これにより、重畳画像に用いられる複数の医用画像の輝度が互いに影響して、それぞれの医用画像から得られる情報の視認性を低下させる可能性を低減することができる。

（Ｓ２０２：第１の医用画像を表示する工程）
第１の実施形態においては、入力部１０９からの信号を受信していない期間に表示される画像を第１の医用画像、入力部１０９からの信号を受信している期間に表示される画像を第２の医用画像とする。

ステップＳ２０２において表示制御部１０８は、入力部１０９からの信号を受信していないので第１の医用画像を表示部１１０に表示させる、表示制御部１０８は、ステップＳ２００で第１の医用画像として選択されたボリュームデータに含まれるスライス画像を表示部１１０に表示させる。あるいは、ステップＳ２０１で生成された投影画像または重畳画像を第１の医用画像として表示部１１０に表示させる。

（Ｓ２０３：信号の受信を開始する工程）
ステップＳ２０３において情報処理装置１００は入力部１０９からの信号の受信を開始する。具体的には、ステップＳ２０３の前までの処理により表示部１１０には第１の医用画像が表示されており、医師といった操作者は第２の医用画像を表示部１１０に表示させるための指示を、入力部１０９を介して情報処理装置１００に入力する。当該指示は操作者の一つの操作入力により行われる。入力部１０９は当該一つの操作入力が行われる期間に情報処理装置１００に信号を発信する。操作者が当該一つの操作入力を開始したことに応じて入力部１０９からの信号が発信され、情報処理装置１００は第２の医用画像を表示部１１０に表示させるための指示を示す信号の受信を開始する。

（Ｓ２０４：第２の医用画像に切替表示する工程）
ステップＳ２０４において、表示制御部１０８は表示部１１０に第２の医用画像を表示させる。すなわち、医師といった操作者が第２の医用画像を表示させる指示を、入力部１０９を介して入力しているので、表示部１１０には第１の医用画像から切り替えて第２の医用画像が表示される。第２の医用画像の表示は、操作者が入力を継続する期間、継続して行われる。

（Ｓ２０５：入力部への入力を終了する工程）
ステップＳ２０５において情報処理装置１００は入力部１０９からの信号の受信を終了する。具体的には、ステップＳ２０５の前までの処理により表示部１１０には第２の医用画像が表示されており、操作者は第２の医用画像を表示部１１０に表示させるための指示を終了する。指示の終了は、ステップＳ２０３で開始した一つの操作入力を終了することにより示される。すなわち操作者はステップＳ２０３からステップＳ２０５において一つの操作入力を開始し、終了する。これにより入力部１０９は情報処理装置１００への信号の発信を停止する。

（Ｓ２０６：第１の医用画像に切替表示する工程）
ステップＳ２０６において、表示制御部１０８は表示部１１０に第１の医用画像を表示させる。すなわち、操作者が第２の医用画像を表示させる指示を、入力部１０９を介して入力するのを終了したので、情報処理装置１００には入力部１０９から信号が発信されない。表示制御部１０８は、第２の医用画像から切り替えて第１の医用画像を表示部１１０に表示させる。再び入力部１０９に当該指示の入力が行われない限り、表示部１１０には第１の医用画像が表示される。

再び入力部１０９に当該指示の入力が行われ、情報処理装置１００に当該指示を示す信号が受信され始めると、ステップＳ２０３に進んでステップＳ２０６までの処理を繰り返す。これにより、操作者の意図する期間だけ、第１の医用画像から第２の医用画像に切り替えて表示することができる。操作者は簡易な操作入力により、第２の医用画像への切り替えを指示することができる。

医師は第２の医用画像を所望の期間表示部１１０に表示させて必要な情報を読み取った後、第２の医用画像を表示させる指示の入力を終了し、第１の医用画像に速やかに表示を切り替えることができる。これにより、第２の医用画像から読み取った情報、たとえば病変部の位置や形状、信号強度といった情報を記憶している間に、第１の医用画像を観察することできる。第１の医用画像と第２の医用画像とが切り替えて表示されるので、医師は第１の医用画像と第２の医用画像との両方を視認性よく観察することができる。

医師は第１の医用画像と第２の医用画像との切り替えを簡易な操作入力で、かつ所望の期間だけ行うことができる。医師がたとえばオルタネイトスイッチを用いて、第１の医用画像と第２の医用画像との表示の切り替えを指示しようとする場合、切り替えの開始時と終了時との２回の操作入力が必要であり、手間のかかる操作となる場合がある。第１の実施形態の例によれば、医師はモーメンタリスイッチを用いてかかる切り替えの指示を行うことができ、医師が行う操作入力は１回である。第１の実施形態に係る情報処理装置は、操作者の操作を受け付ける受付部に対して一つの操作が実行されている期間、たとえばモーメンタリスイッチが押下されている期間は第２の医用画像を表示部１１０に表示させる。そして、第１の実施形態に係る情報処理装置は、当該一つの操作入力が終了すると、たとえばモーメンタリスイッチの押下が終了すると、第１の医用画像を表示部１１０に再び表示させる。これにより医師は第１の医用画像と第２の医用画像との表示の切り替えを簡易に繰り返し行うことができる。たとえば操作者は、５秒間のうちに１０回程度切替表示するような速い切替表示を指示することができ、情報処理装置１００は当該指示に応じて切り替え表示を行うことができる。医師はこのように繰り返して切り替え表示を行うことで、第１の医用画像から読み取った情報と第２の医用画像から読み取った情報とを失念する前に確認して組み合わせることができ、医用画像を効率よく観察することができる。

［具体例１］
第１の医用画像と第２の医用画像とが共にボリュームデータに含まれる二次元画像、いわゆるスライス画像である場合の具体例を示す。

図４は具体例１において表示部１１０に表示される画面の一例を示す図である。ここで第１の医用画像は光音響画像６００であり、第２の医用画像は超音波画像７００である。上述したように、表示部１１０には光音響画像６００に含まれるスライス画像と、超音波画像７００に含まれるスライス画像とが切り替えて表示される。光音響画像６００と超音波画像７００とは位置合わせ処理が行われていることとする。

図３に例示したフローチャートの各処理を具体的に説明する。

（Ｓ２００：医用画像を選択する工程）
ステップＳ２００において画像取得部１０５は操作者の指示に基づいて、第１の医用画像として光音響画像６００のボリュームデータ、第２の医用画像として超音波画像７００のボリュームデータを選択する。ここで選択された医用画像は特に画像処理を要しないので、ステップＳ２０１の処理は行われない。

（Ｓ２０２：第１の医用画像を表示する工程）
ステップＳ２０２において表示制御部１０８は、第１の医用画像として光音響画像６００のボリュームデータ内の操作者が指示するスライス画像を表示部１１０に表示させる。操作者は任意に、表示部１１０に表示させるスライス画像の位置を変更することができる。操作者は第１の医用画像である光音響画像６００から血管像６０１を観察することができる。

（Ｓ２０３：入力部への入力を開始する工程）
操作者は第２の医用画像である超音波画像７００を表示部１１０に表示させたい場合、入力部１０９を介して当該指示を情報処理装置１００に入力することができる。操作者は入力部１０９への入力を開始し、第２の医用画像を表示させたいと考える期間中、当該入力を継続して行う。情報処理装置１００は当該指示を示す信号の受信を開始する。入力部１０９はモーメンタリスイッチとして機能し、操作者はたとえばマウスやキーボードの特定のボタンへの押下を開始し、押下を継続する。

（Ｓ２０４：第２の医用画像に切替表示する工程）
ステップＳ２０４において表示制御部１０８は、当該指示を示す信号を受信している期間、第２の医用画像を表示部１１０に表示させる。すなわち、操作者が当該指示を入力している期間中、第１の医用画像から切り替わって第２の医用画像が表示部１１０に表示される。入力部１０９から当該指示を示す信号が入力されたときに表示部１１０に表示されていた光音響画像６００のスライス画像と対応する位置の、超音波画像７００のスライス画像を、表示制御部１０８は表示部１１０に表示させる。操作者は第２の医用画像を表示中に、表示させるスライス画像の位置を任意に変更することができる。操作者は第２の医用画像である超音波画像７００から腫瘍像７０２を観察することができる。

（Ｓ２０５：入力部への入力を終了する工程）
第２の医用画像である超音波画像７００のスライス画像の情報を得て、再び第１の医用画像に切り替えたいとき、入力部１０９への入力を終了する。操作者はたとえばマウスやキーボードの特定のボタンに対して継続していた押下を終了する。すなわち操作者は一つの操作を終了する。

（Ｓ２０６：第１の医用画像に切替表示する工程）
ステップＳ２０６において表示制御部１０８は、入力部１０９からの当該指示を示す信号の受信が終了したことに応じて、表示部１１０に第１の医用画像である光音響画像６００のスライス画像を表示させる。入力部１０９からの信号が終了した際に表示されていた超音波画像７００のスライス画像と対応する位置の、光音響画像６００のスライス画像を、表示制御部１０８は表示部１１０に表示させる。

なお、操作者が第２の医用画像を表示部１１０に表示させるための一つの操作を行っている期間に当該第２の医用画像に含まれる２次元画像（スライス画像）の位置を変更していた場合の、ステップＳ２０６において表示部１１０に表示させる第１の医用画像の位置は、たとえば位置合わせに関する情報に基づいて行われる。第１の医用画像と第２の医用画像とは予め位置合わせされており、それぞれの座標間で対応づけられている。ステップＳ２０４で表示されたスライス画像（たとえばＸＹ平面の２次元画像である）のスライス位置（Ｚ軸上の位置）と対応するスライス位置（第１の医用画像のＺ軸上の位置）の第１の医用画像がステップＳ２０６において表示される。

ステップＳ２０４において第２の医用画像のスライス画像の位置が変更されていた場合、ステップＳ２０５において第２の医用画像を表示させるための一つの操作を終了した後に、ステップＳ２０２と同じ第１の医用画像のスライス画像を表示してしまうと、医師にとって直前まで観察していたスライス画像と対応しないスライス画像に表示が切り替わることになる。このような場合、医師が第１の医用画像と第２の医用画像とを観察する効率が低下するおそれがある。具体例１によれば、直前まで表示部１１０に表示されていたスライス画像と対応する位置の、第１の医用画像のスライス画像がステップＳ２０６において表示部１１０に表示されるので、医師は効率よく医用画像の観察を行うことができる。

医師といった操作者は、第１の医用画像と第２の医用画像とを切り替えて表示させることにより、腫瘍像７０２と血管像６０１の情報とを容易に組み合わせて第１の及び第２の医用画像の観察を行うことができる。

［具体例２］
第１の医用画像と第２の医用画像との両方あるいはどちらか一方が投影画像である場合の具体例を示す。

図５は具体例２において表示部１１０に表示される画面の一例を示す図である。ここで第１の医用画像は光音響画像６００の投影画像６１０であり、第２の医用画像は超音波画像７００である。上述したように、表示部１１０には投影画像６１０と、超音波画像７００に含まれるスライス画像とが切り替えて表示される。光音響画像６００と超音波画像７００とは位置合わせ処理が行われていることとする。

図３に例示したフローチャートの各処理を具体的に説明する。

（Ｓ２００：医用画像を選択する工程）
ステップＳ２００において画像取得部１０５は操作者の指示に基づいて、第１の医用画像として光音響画像６００の投影画像、第２の医用画像として超音波画像７００のボリュームデータを選択する。

（Ｓ２０１：画像処理を行う工程）
ステップＳ２０１において画像取得部１０５は光音響画像６００に対して最大値投影処理を行い、投影画像６１０を生成する。光音響画像は０．１ｍｍ程度の薄いスライス画像で表示すると血管像は点状像となることがあり、この場合、血管としての繋がりがわかりにくい可能性がある。最大値投影処理により、投影画像６１０においてはスライス画像のそれぞれに写る血管像が統合され、血管の繋がりや形状を認識しやすくなると考えられる。

（Ｓ２０２：第１の医用画像を表示する工程）
ステップＳ２０２において表示制御部１０８は、第１の医用画像として光音響画像６００の操作者指示に基づく投影範囲の投影画像６１０を選択して、表示部１１０に表示させる。操作者は任意に投影画像６１０の投影範囲を変更することができる。操作者は第１の医用画像である投影画像６１０から血管像６１１を観察することができる。

（Ｓ２０３：入力部への入力を開始する工程）
操作者は第２の医用画像である超音波画像７００を表示部１１０に表示させたい場合、入力部１０９を介して、第２の医用画像を表示させる指示を情報処理装置１００に入力することができる。操作者は入力部１０９への入力を開始し、第２の医用画像を表示させたいと考える期間中、当該入力を継続して行う。情報処理装置１００は当該指示を示す信号の受信を開始する。入力部１０９はモーメンタリスイッチとして機能し、操作者はたとえばマウスやキーボードの特定のボタンへの押下を開始し、押下を継続する。

（Ｓ２０４：第２の医用画像に切替表示する工程）
ステップＳ２０４において表示制御部１０８は、当該指示を示す信号を受信している期間、第２の医用画像を表示部１１０に表示させる。すなわち、操作者が当該指示を入力している期間中、第１の医用画像から切り替わって第２の医用画像が表示部１１０に表示される。入力部１０９から当該指示を示す信号が入力されたときに表示部１１０に表示されていた投影画像６１０の投影範囲内に含まれる位置の、超音波画像７００のスライス画像を、表示制御部１０８は表示部１１０に表示させる。操作者は第２の医用画像を表示中に、表示させるスライス画像の位置を任意に変更することができる。操作者は第２の医用画像である超音波画像７００から腫瘍像７０２を観察することができる。

（Ｓ２０５：入力部への入力を終了する工程）
第２の医用画像である超音波画像７００のスライス画像の情報を得て、再び第１の医用画像に切り替えたいとき、操作者は入力部１０９への入力を終了する。操作者はたとえばマウスやキーボードの特定のボタンに対して継続していた押下を終了する。

（Ｓ２０６：第１の医用画像に切替表示する工程）
ステップＳ２０６において表示制御部１０８は、入力部１０９からの当該指示を示す信号の受信が終了したことに応じて、表示部１１０に第１の医用画像である投影画像６１０を表示させる。入力部１０９からの信号が終了した際に表示されていた超音波画像７００のスライス画像と対応する位置の投影範囲の投影画像６１０が表示部１１０に表示される。

医師といった操作者は、第１の医用画像と第２の医用画像とを切り替えて表示させることにより、腫瘍像７０２と血管像６１１の情報とを容易に組み合わせて第１の及び第２の医用画像の観察を行うことができる。

［具体例３］
第１の医用画像と第２の医用画像との両方が重畳画像である場合の具体例を示す。

図６は具体例３において表示部１１０に表示される画面の一例を示す図である。ここで第１の医用画像と第２の医用画像はそれぞれ、光音響画像と超音波画像とを重畳した重畳画像である。第１の医用画像と第２の医用画像はそれぞれ光音響画像と超音波画像との重畳における透明度が互いに異なる。

以下では、第１の医用画像は超音波画像の透明度を増加させて光音響画像と重畳した重畳画像９００であり、第２の医用画像は光音響画像の透明度を増加させて超音波画像と重畳した重畳画像１０００であるとする。

また、以下では第１の医用画像と第２の医用画像はともに光音響画像のスライス画像と超音波画像のスライス画像との重畳画像であるとする。なお、重畳画像にはスライス画像ではなく投影画像を用いてもよい。

図３に例示したフローチャートの各処理を具体的に説明する。

（Ｓ２００：医用画像を選択する工程）
ステップＳ２００において画像取得部１０５は、第１の医用画像及び第２の医用画像としてそれぞれ光音響画像と超音波画像との重畳画像を選択する。

（Ｓ２０１：画像処理を行う工程）
画像取得部１０５は、第１の医用画像として、光音響画像に対して、透明度を増加させた超音波画像を重畳した重畳画像９００を生成する。また画像取得部１０５は、第２の医用画像として、超音波画像に対して、透明度を増加させた光音響画像を重畳した重畳画像１０００を生成する。ここでは、第１の医用画像は光音響画像と超音波画像とを、８０％と２０％の重畳比率で重畳した重畳画像９００である。また第２の医用画像は光音響画像と超音波画像とを、３０％と７０％の重畳比率で重畳した重畳画像１０００である。

（Ｓ２０２：第１の医用画像を表示する工程）
ステップＳ２０２において表示制御部１０８は、第１の医用画像として重畳画像９００に含まれるスライス画像を表示部１１０に表示させる。操作者は任意に、表示させる重畳画像９００のスライス画像の位置を変更することができる。

また、投影画像を用いた重畳画像を表示している場合には、操作者は任意にその投影画像の投影範囲を変更することができる。

図６に示す例では、第１の医用画像は光音響画像の情報を優位に含んでおり、医師といった操作者は重畳画像９００から血管像９０１を観察することができる。

（Ｓ２０３：入力部への入力を開始する工程）
操作者は第２の医用画像である重畳画像１０００を表示部１１０に表示させたい場合、入力部１０９を介して、第２の医用画像を表示させる指示を情報処理装置１００に入力することができる。操作者は入力部１０９への入力を開始し、第２の医用画像を表示させたいと考える期間中、当該入力を継続して行う。情報処理装置１００は当該指示を示す信号の受信を開始する。入力部１０９はモーメンタリスイッチとして機能し、操作者はたとえばマウスやキーボードの特定のボタンへの押下を開始し、押下を継続する。

（Ｓ２０４：第２の医用画像に切替表示する工程）
ステップＳ２０４において表示制御部１０８は、当該指示を示す信号を受信している期間、第２の医用画像を表示部１１０に表示させる。すなわち、操作者が当該指示を入力している期間中、第１の医用画像から切り替わって第２の医用画像が表示部１１０に表示される。入力部１０９から当該指示を示す信号が入力されたときに表示部１１０に表示されていた重畳画像９００のスライス画像と対応する位置の重畳画像１０００のスライス画像が、表示制御部１０８により表示部１１０に表示される。操作者は第２の医用画像を表示中に、表示させるスライス画像の位置を任意に変更することができる。

また第１の医用画像が投影画像に基づく重畳画像である場合には、具体例２と同様にして当該投影画像の投影範囲に含まれる位置の重畳画像１０００のスライス画像が表示部１１０に表示される。

図６に示す例では、第２の医用画像は超音波画像の情報を優位に含んでおり、医師といった操作者は重畳画像１０００から腫瘍像１００２を観察することができる。

（Ｓ２０５：入力部への入力を終了する工程）
第２の医用画像である重畳画像１０００からの情報を得て、再び第１の医用画像に切り替えたいとき、操作者は入力部１０９への入力を終了する。操作者はたとえばマウスやキーボードの特定のボタンに対して継続していた押下を終了する。

（Ｓ２０６：第１の医用画像に切替表示する工程）
ステップＳ２０６において表示制御部１０８は、入力部１０９からの当該指示を示す信号の受信が終了したことに応じて、表示部１１０に第１の医用画像である重畳画像９００を表示させる。入力部１０９からの信号が終了した際に表示されていた重畳画像１０００のスライス画像と対応する位置の重畳画像９００のスライス画像が表示部１１０に表示される。

医師といった操作者は、第１の医用画像と第２の医用画像とを切り替えて表示させることにより、腫瘍像１００２と血管像９０１の情報とを容易に組み合わせて第１の及び第２の医用画像の観察を行うことができる。

具体例３では第１の医用画像と第２の医用画像とでともに重畳画像を用いているので、表示される医用画像を切り替えた後も、切り替える前の画像から読み取れる情報を観察できる可能性がある。たとえば第２の医用画像を観察する際に、第１の医用画像の血管像９０１と対応する血管像１００１を操作者は観察することができる。また、第１の医用画像を観察する際に、第２の医用画像の腫瘍像１００２と対応する腫瘍像９０２を操作者は観察することができる。

［変形例］
上述の実施形態においては、２つの医用画像の表示を切り替える場合を例に説明したが、３つ以上の医用画像の表示を切り替えるようにしてもよい。たとえば情報処理装置１００は医用画像の切替パターンに応じて複数の入力部を備えていてもよい。具体的には、情報処理装置１００は光音響画像と超音波画像と核磁気共鳴立体画像とを切替表示させてもよい。情報処理装置１００は入力部Ａから光音響画像と超音波画像との切替を指示する信号を受信し、入力部Ａとは異なる入力部Ｂから光音響画像と核磁気共鳴画像との切替を指示する信号を受信し、入力部Ａ及び入力部Ｂと異なる入力部Ｃから超音波画像と核磁気共鳴画像との切替を指示する信号を受信してもよい。その場合、すべての入力部から信号を受信していない場合に表示部１１０に表示させる医用画像の種類を予め定めておいてもよい。

上述の実施形態においては、表示制御部１０８が入力部１０９から発信される信号を受信する場合を例に説明したが、本発明はこれに限らない。たとえば情報処理装置１００は表示制御部１０８とは異なるモジュールとして、入力部１０９から発信される信号を受信する受信手段（不図示）を備えてもよい。

上述の実施形態においては、第１の医用画像及び第２の医用画像の例として超音波画像や光音響画像を用いる場合を例に説明したが、これらの医用画像の組み合わせは上述の例に限られない。本発明において任意のモダリティ（撮像装置）により取得された医用情報が用いられてよく、第１の医用画像と第２の医用画像とは任意の組み合わせであってよい。モダリティは、たとえばデジタルラジオグラフィ、Ｘ線ＣＴ装置、ＭＲＩ装置、ＳＰＥＣＴ装置、ＳＰＥＣＴ／ＣＴ装置、ＰＥＴ装置、ＰＥＴ／ＣＴ装置、ＰＥＴ／ＭＲＩ装置、超音波撮像装置、光音響撮像装置、眼底カメラ、ＯＣＴ装置である。上述の実施形態で例に用いた超音波画像と光音響画像との組み合わせにおいては、たとえば一つのプローブに超音波を発信する構成と光を照射する構成と、超音波（反射波ならびに音響波）を受信する構成とを備えたモダリティによりこれらの画像が得られる場合が考えられる。同一の被検体における超音波画像と光音響画像とが同じ検査において取得され、位置合わせで生じる誤差が少ないと期待される。また、超音波画像と光音響画像とでは描出される被検体内の構成に違いがあり、相補的な情報が得られると期待される。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の各実施形態における情報処理装置は、単体の装置として実現してもよいし、複数の装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。情報処理装置および情報処理システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。

本発明の実施形態には、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムのコードを読みだして実行するという形態を含む。

したがって、実施形態に係る処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の実施形態の一つである。また、コンピュータが読みだしたプログラムに含まれる指示に基づき、コンピュータで稼働しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

上述の実施形態を適宜組み合わせた形態も、本発明の実施形態に含まれる。

Claims (20)

1. 第１の医用画像と第２の医用画像とを取得する取得手段と、
   操作者の操作を受け付ける受付部に対して一つの操作が実行されている期間は前記第２の医用画像を表示部に表示させ、前記受付部に対する前記一つの操作が終了すると前記第２の医用画像に替えて前記第１の医用画像を前記表示部に表示させる表示制御手段と、と、
   を有することを特徴とする情報処理装置。
2. 前記第２の医用画像に含まれる２次元画像である第２の２次元画像の、前記第２の医用画像おける位置を変更する変更手段を更に有し、
   前記表示制御手段は、前記一つの操作が実行されている期間に前記変更手段により位置が変更された第２の２次元画像の位置と対応する２次元画像であって、前記第１の医用画像に含まれる第１の２次元画像を、前記一つの操作が終了した後に前記表示部に表示させることを特徴とする請求項１に記載の情報処理装置。
3. 前記第１の２次元画像は前記第１の医用画像のスライス画像であり、前記第２の２次元画像は前記第２の医用画像のスライス画像であり、
   前記表示制御手段は、前記変更が行われた前記第２の医用画像における被検体の方向と対応する、前記第１の医用画像における前記被検体の方向に変更された位置の前記第１の２次元画像を、前記一つの操作が終了した後に前記表示部に表示させることを特徴とする請求項２に記載の情報処理装置。
4. 前記表示制御手段は、前記一つの操作が実行されている期間にのみ前記第２の医用画像を前記表示部に表示させることを特徴とする請求項１乃至請求項３のいずれか１項に記載の情報処理装置。
5. 前記受付部はモーメンタリスイッチであり、前記一つの操作は前記モーメンタリスイッチの押下であることを特徴とする請求項１乃至請求項４のいずれか１項に記載の情報処理装置。
6. 前記受付部は前記モーメンタリスイッチの押下に伴い信号を発信し、前記モーメンタリスイッチの押下が終了すると前記信号の発信を終了し、前記信号を前記受付部が発信している期間を前記一つの操作が実行されている期間とすることを特徴とする請求項５に記載の情報処理装置。
7. 前記第１の医用画像及び第２の医用画像は、それぞれ被検体からの音響波に基づく医用画像であることを特徴とする請求項１乃至請求項６のいずれか１項に記載の情報処理装置。
8. 前記第１の医用画像と第２の医用画像との少なくともいずれか一方は３次元画像に対する最大値投影処理により得られる投影画像であることを特徴とする請求項１乃至請求項７のいずれか１項に記載の情報処理装置。
9. 前記第１の医用画像と前記第２の医用画像との少なくともいずれか一方は被検体からの音響波に基づく複数の医用画像を重畳して得られる重畳画像であることを特徴とする請求項１乃至請求項８のいずれか１項に記載の情報処理装置。
10. 前記第１の医用画像は被検体に光を照射することにより得られる光音響波に基づく画像である光音響画像であり、前記第２の医用画像は被検体に照射した音響波が被検体内部で反射した反射波に基づく画像である超音波画像であることを特徴とする請求項１乃至請求項９のいずれか１項に記載の情報処理装置。
11. 第１の医用画像と第２の医用画像とを取得する取得手段と、
    前記第２の医用画像を表示部に表示させる指示を示す信号であって、操作者の一つの操作入力の行われる期間に発信される信号を受信している期間は前記第２の医用画像を表示部に表示させ、
    前記信号を受信していない期間は前記第１の医用画像を前記表示部に表示させる表示制御手段と、
    を有することを特徴とする情報処理装置。
12. 第１の医用画像と第２の医用画像とを取得する取得手段と、
    前記第１の医用画像と前記第２の医用画像との少なくともいずれか一方の医用画像を表示部に表示させる表示制御手段と、
    前記第２の医用画像が前記表示部に表示されている期間に、前記第２の医用画像に含まれる２次元画像である第２の２次元画像の、前記第２の医用画像における位置の変更が指示された場合に、
    前記第１の医用画像に含まれる第１の２次元画像の位置を、前記変更された前記第２の医用画像における位置と対応する位置に変更する変更手段と、
    を有することを特徴とする情報処理装置。
13. 第１の医用画像と第２の医用画像とを取得する取得手段と、
    操作者の操作を受け付ける受付部に対して一つの操作が実行されている期間は前記第２の医用画像を表示部に表示させ、前記受付部に対する前記一つの操作が終了すると前記第２の医用画像に替えて前記第１の医用画像を前記表示部に表示させる表示制御手段と、
    を有することを特徴とする情報処理システム。
14. 第１の医用画像と第２の医用画像とを取得する取得手段と、
    前記第２の医用画像を表示部に表示させる指示を示す信号であって、操作者の一つの操作入力の行われる期間に発信される信号を受信している期間は前記第２の医用画像を表示部に表示させ、
    前記信号を受信していない期間は前記第１の医用画像を前記表示部に表示させる表示制御手段と、
    を有することを特徴とする情報処理システム。
15. 前記操作者の操作を受け付ける受付部をさらに有することを特徴とする請求項１４に記載の情報処理システム。
16. 第１の医用画像と第２の医用画像とを取得する工程と、
    操作者の操作を受け付ける受付部に対して一つの操作が実行されている期間は前記第２の医用画像を表示部に表示させ、前記受付部に対する前記一つの操作が終了すると前記第２の医用画像に替えて前記第１の医用画像を前記表示部に表示させる工程と、
    を有することを特徴とする情報処理方法。
17. 第１の医用画像と第２の医用画像とを取得する工程と、
    前記第２の医用画像を表示部に表示させる指示を示す信号であって、操作者の一つの操作入力の行われる期間に発信される信号を受信している期間は前記第２の医用画像を表示部に表示させ、
    前記信号を受信していない期間は前記第１の医用画像を前記表示部に表示させる工程と、
    を有することを特徴とする情報処理方法。
18. 第１の医用画像と第２の医用画像とを取得する工程と、
    前記第１の医用画像を表示部に表示させる工程と、
    前記第２の医用画像を表示部に表示させる指示を示す信号であって、操作者の一つの操作入力の行われる期間に発信される信号を受信する工程と、
    前記信号を受信している期間に、前記第２の医用画像を前記表示部に表示させる工程と、
    前記信号の受信が終了するとともに、前記第１の医用画像を前記表示部に表示させる工程と、
    を有することを特徴とする情報処理方法。
19. 第１の医用画像と第２の医用画像とを取得する工程と、
    前記第１の医用画像に含まれる第１の２次元画像を表示部に表示させる工程と、
    前記第１の２次元画像に替えて前記第２の医用画像に含まれる第２の２次元画像を前記表示部に表示させる工程と、
    前記第２の２次元画像の、前記第２の医用画像における位置の変更を受け付ける工程と、
    前記変更された位置の前記第２の２次元画像を前記表示部に表示させる工程と、
    前記第１の２次元画像の位置を、前記変更された前記第２の医用画像における位置と対応する位置に変更する工程と、
    前記変更された位置における前記第１の２次元画像を、前記第２の２次元画像に替えて前記表示部に表示させる工程と、
    を有することを特徴とする情報処理方法。
20. 請求項１６乃至請求項１９に記載の情報処理方法をコンピュータに実行させるためのプログラム。

Images