JP2017225670A - 画像処理装置およびその制御方法 - Google Patents

Abstract

【課題】複数の被検体画像間における注目領域の対比を良好に行うための技術を提供する。【解決手段】被検体の第１および第２の画像データを取得するデータ取得部と、第１および第２の画像データの対応関係を示す情報を生成して出力する画像処理部を有し、画像処理部は、第１および第２の画像データにおける被検体の基準位置を示す第１および第２の基準位置と、第１および第２の画像データにおける被検体の注目領域を示す第１および第２の注目領域と、第１および第２の画像データにおける被検体の輪郭を示す第１および第２の輪郭形状を取得することで対応関係を取得することを特徴とする画像処理装置。【選択図】図１

Description

本発明は、画像処理装置およびその制御方法に関する。

医療の分野において、医師や技師等の検査者が、複数のモダリティで撮像した被検体の三次元画像（ボリューム画像）それぞれをモニタに表示して対比することで検査や診断を行う場合がある。医療以外の分野においても、三次元画像を用いて物体の内部状態を検査するときに同様の作業が実施される場合がある。

しかし、被検体が生体の場合、複数のモダリティによる撮像の間で被検体の姿勢や形状を完全に一致させることは難しい。そのため、モダリティ間で注目領域の姿勢（位置、角度、変形の程度など）が互いに異なる場合が生じる。すると、モニタに表示される断面画像上に表れる注目領域の姿勢もモダリティ間で異なる。その結果、注目領域の同定や対比が難しくなるという課題がある。

ここで、複数の画像間での被検体の変形を推定し、一方の画像に変形を施して形状を他方と類似させた画像を生成し、画像間の対比を行う変形位置合わせという手法がある。一般に、変形位置合わせの処理は、複数の画像間で対応する位置（被検体の同じ部位を表す位置）を局所領域間の画像類似度に基づいて対応付け、得られた対応関係に基づいて行うことができる。

ここで、二つの局所領域間の画像類似度を求めるためには、局所領域間の姿勢の違いを考慮する必要がある。すなわち、局所領域間で対応した姿勢を探索する処理（例えば、一方の局所領域に様々な回転を与えながら他方の局所領域との画像類似度を求める処理）が必要となる。この処理には、計算時間の増大や、画像にノイズがある場合の姿勢探索精度の低下という課題がある。

このような課題に対する解決策として、非特許文献１には、画像上の特徴点（注目領域）の周囲の画素値の勾配方向に基づいて、特徴点の姿勢を定義する技術が開示されている。これによると、画像間で対応する特徴点の姿勢を揃えることができる。しかしながら、撮像に利用したモダリティが異なる場合や、同一モダリティであってもノイズが無視できない場合には、画像間で対応する特徴点周囲の画素値の勾配方向が必ずしも一致しない。その場合、姿勢を制御する際の精度が低下するという課題があった。

David G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints," International Journal of Computer Vision, Vol.60, No.2, pp.91-110, 2004.

以上のように、複数の画像間で注目領域を対比する場合に、注目領域同士を対応付けたり、各注目領域の姿勢を揃えて表示したりする技術が必要とされている。

本発明は上記課題に鑑みてなされたものである。本発明は、複数の被検体画像間における注目領域の対比を良好に行うための技術を提供することを目的とする。

被検体に撮像を行って得られた第１の画像データと、前記被検体に前記第１の画像データの撮像とは異なる撮像を行って得られた第２の画像データとを取得するデータ取得部と、
前記第１の画像データと前記第２の画像データの対応関係を示す情報を生成して出力する画像処理部と、
を有し、
前記画像処理部は、
前記第１の画像データにおける前記被検体の基準位置を示す第１の基準位置と、前記第２の画像データにおける前記基準位置を示す第２の基準位置とを取得し、
前記第１の画像データにおける前記被検体の注目領域を示す第１の注目領域と、前記第２の画像データにおける前記注目領域を示す第２の注目領域とを取得し、
前記第１の画像データにおける前記被検体の輪郭を示す第１の輪郭形状と、前記第２の画像データにおける前記輪郭を示す第２の輪郭形状を取得し、
前記第１の基準位置および前記第２の基準位置、前記第１の注目領域および前記第２の注目領域、ならびに、前記第１の輪郭形状および前記第２の輪郭形状に基づいて、前記対応関係を取得する
ことを特徴とする画像処理装置である。

本発明はまた、以下の構成を採用する。すなわち、
データ取得部が、被検体に撮像を行って得られた第１の画像データと、前記被検体に前記第１の画像データの撮像とは異なる撮像を行って得られた第２の画像データとを取得するデータ取得ステップと、
画像処理部が、前記第１の画像データと前記第２の画像データの対応関係を示す情報を生成して出力する画像処理ステップと、
を有し、
前記画像処理ステップでは、
前記第１の画像データにおける前記被検体の基準位置を示す第１の基準位置と、前記第２の画像データにおける前記基準位置を示す第２の基準位置とを取得し、
前記第１の画像データにおける前記被検体の注目領域を示す第１の注目領域と、前記第２の画像データにおける前記注目領域を示す第２の注目領域とを取得し、
前記第１の画像データにおける前記被検体の輪郭を示す第１の輪郭形状と、前記第２の画像データにおける前記輪郭を示す第２の輪郭形状を取得し、
前記第１の基準位置および前記第２の基準位置、前記第１の注目領域および前記第２の注目領域、ならびに、前記第１の輪郭形状および前記第２の輪郭形状に基づいて、前記対応関係を取得する
ことを特徴とする画像処理装置の制御方法である。

本発明によれば、複数の被検体画像間における注目領域の対比を良好に行うための技術を提供できる。

第１実施形態に係る画像処理装置の機器構成を示す図。 第１実施形態における全体の処理手順を示すフロー図。 第１実施形態における被検体の注目領域の例を示す図。 第１実施形態における画像の表示例を示す図。 第１実施形態における姿勢算出の処理手順を示すフロー図。 第１実施形態における姿勢算出の処理を説明する図。 第２実施形態に係る画像処理装置の機器構成を示す図。 第２実施形態における全体の処理手順を示すフロー図。

以下に図面を参照しつつ、本発明の好適な実施の形態について説明する。ただし、以下に記載されている構成部品の寸法、材質、形状およびそれらの相対配置などは、発明が適用される装置の構成や各種条件により適宜変更されるべきものである。よって、この発明の範囲を以下の記載に限定する趣旨のものではない。

本発明は、被検体を撮像し、その被検体の注目領域を画像化して表示する技術に関する。よって本発明は、画像処理装置またはその制御方法、あるいは画像取得方法や信号処理方法や情報処理方法として捉えられる。本発明はまた、被検体情報取得装置もしくはその制御方法、または被検体情報取得方法としても捉えられる。本発明はまた、上記の各方法をＣＰＵやメモリ等のハードウェア資源を備える情報処理装置に実行させるプログラムや、そのプログラムを格納したコンピュータにより読み取り可能な非一時的な記憶媒体としても捉えられる。

本発明に係る装置は、被検体の画像データを取得する機能を備えていても良いし、他の装置が取得した画像データを処理する機能のみを備えていても良い。被検体の画像データは、各位置の特性情報に基づいて、二次元または三次元の特性情報分布として得られる。特性情報は、数値データとしてではなく、被検体内の各位置の分布情報として求めてもよい。

本発明の処理対象となる被検体の三次元画像データ源としては、種々の画像撮像装置（モダリティ）を利用可能である。例えば、光音響トモグラフィ装置（ＰＡＴ）、核磁気共鳴映像装置（ＭＲＩ）、Ｘ線コンピュータ断層撮影装置（ＣＴ）、超音波エコー装置（ＵＳ）、陽電子放射断層撮像装置（ＰＥＴ）、単光子放出断層撮像装置（ＳＰＥＣＴ）、光干渉断層撮像装置（ＯＣＴ）がある。各モダリティでの撮像（測定）によって、被検体の三次元領域において、それぞれのモダリティに応じた特性情報の分布情報を示す画像データが得られる。

本発明は典型的には、光音響トモグラフィ装置と核磁気共鳴映像装置のそれぞれで得られた画像データを対比するときに利用される。光音響トモグラフィ装置は、被検体に光を照射することにより被検体内で発生した音響波を受信して、被検体の特性情報を画像データとして取得する装置である。特性情報として、被検体内の初期音圧、光吸収係数、構成物質濃度、酸素飽和度などを取得できる。核磁気共鳴映像装置は、被検体に高周波の磁場を与えて発生する核磁気共鳴現象を利用して被検体内部を撮像する装置である。核磁気共鳴映像装置では主に被検体内部の水素に関する情報を描出できる。ただしモダリティの組み合わせはこれに限られない。また、本発明は、同一モダリティで取得した画像データの対比にも利用される。

以下の説明では被検体の例として乳房を用いる。ただし、本発明の被検体はこれに限られない。手、足、胴体など生体の他の部位や、マウスのようなヒト以外の動物、変形しやすい非生物なども測定対象となり得る。

＜第１実施形態＞（画像間で注目領域の姿勢を揃えて表示）
本実施形態に係る画像処理装置は、複数の三次元画像（第１の三次元画像と第２の三次元画像）の画像データを処理する装置である。画像処理装置は、三次元画像それぞれの注目領域を、画像間で姿勢を揃えて表示する機能を持つ。本実施形態の画像処理装置は、第１の三次元画像中の第１の注目領域を含む第１の断面画像と、第２の三次元画像中の第２
の注目領域を含む第２の断面画像を生成する。

ここで、被検体中の注目領域と、該注目領域の近傍の体表と、乳頭等の解剖学的な特徴点との位置関係は、被検体の体位の変化による影響を受けづらく略一定であることが知られている。本発明の画像処理装置はこの特徴を利用して、注目領域に対して、被検体の変形に略不変な姿勢を定義する。そして、該姿勢に基づいて、第１の断面画像中の注目領域の姿勢と第２の断面画像中の注目領域の姿勢が一致するようにして、第１の断面画像と第２の断面画像を生成する。これにより、ユーザは、注目領域の姿勢を揃えた状態で、２つの断面画像を観察できる。

（システム構成）
図１は、本実施形態に係る画像処理装置１００を含む画像診断システムの構成を示す。同図に示すように、本実施形態における画像処理装置１００は、データサーバ１３０および表示部１４０と接続されている。また、画像処理装置１００は、第１画像撮像装置１１０および第２画像撮像装置１２０と、データサーバ１３０を介して接続されている。

第１画像撮像装置１１０は光音響トモグラフィ装置（ＰＡＴ装置）であり、被検体を撮像して第１の三次元画像（ＰＡＴ画像）を得る。また、第２画像撮像装置１２０はＭＲＩ装置であり、被検体を撮像して第２の三次元画像を得る。これらの三次元画像は、データサーバ１３０に格納される。なお、上述したように、三次元画像を撮像するモダリティはこれらに限られない。また、第１の三次元画像と第２の三次元画像は、経過観察のために同一患者を同一モダリティで異なる日時に撮像した画像のように、同一のモダリティによって撮像されたものであってもよい。また、同一または異なるモダリティで、異なる体位で撮像された画像を対象としてもよい。

第１画像撮像装置１１０および第２画像撮像装置１２０から出力される画像データについて、後述する情報処理が可能であればその形式は問わない。医用画像の標準規格であるＤＩＣＯＭを利用すれば、通信や画像処理における煩雑さを低減し、異なるモダリティの画像を簡易に比較できる。

データサーバ１３０や画像処理装置１００としては、プロセッサや記憶手段や通信手段などを備え、プログラムに従って動作して情報処理を行う情報処理装置（ＰＣやワークステーションなど）を利用できる。画像処理装置１００内の各ブロックは、それぞれ所定の機能を実現するプログラムモジュールにより実装できる。データサーバ１３０と画像処理装置１００を同じ情報処理装置で実装しても良いし、複数の情報処理装置が協働して機能を実現してもよい。画像処理装置１００は、本発明の画像処理部に相当する。

表示部１４０は、画像処理装置１００が生成する画像を表示するモニタである。表示部１４０としては、液晶ディスプレイやプラズマディスプレイなど、任意の表示装置を利用できる。

（画像処理装置）
画像処理装置１００は、以下の構成要素を有する。データ取得部１０１０は、画像処理装置１００に入力される第１の三次元画像と第２の三次元画像を取得する。基準部位取得部１０２０は、第１の三次元画像と第２の三次元画像に共通して描出されている被検体の解剖学的な特徴点（以下、基準部位）の各三次元画像上での位置を、第１の基準位置および第２の基準位置として取得する。注目領域取得部１０３０は、第１の三次元画像における第１の注目領域と、第２の三次元画像における第２の注目領域を取得する。輪郭取得部１０４０は、第１の三次元画像における被検体の第１の輪郭形状と、第２の三次元画像における被検体の第２の輪郭形状を取得する。

姿勢算出部１０５０は、第１の基準位置と第１の輪郭形状に基づいて、第１の注目領域の姿勢を表す第１の姿勢を算出する。また同様に、第２の基準位置と第２の輪郭形状に基づいて、第２の注目領域の姿勢を表す第２の姿勢を算出する。断面画像生成部１０６０は、第１の姿勢に基づいて第１の三次元画像から断面画像を切り出して第１の断面画像を生成する。また同様に、第２の姿勢に基づいて第２の三次元画像から断面画像を切り出して第２の断面画像を生成する。表示制御部１０７０は、第１の断面画像と第２の断面画像を並べて表示部１４０に表示させる表示制御を行う。

（全体の処理フロー）
図２は、画像処理装置１００が行う全体の処理手順をフローチャートで示している。

（Ｓ２０００）（データの取得）
ステップＳ２０００において、データ取得部１０１０は、画像処理装置１００に入力される第１および第２の三次元画像を取得する。そして、取得した三次元画像を、基準部位取得部１０２０および注目領域取得部１０３０、輪郭取得部１０４０、断面画像生成部１０６０へと出力する。

図３（ａ）の３０００は、第１画像撮像装置１１０から取得した第１の三次元画像（ＰＡＴ画像）、図３（ｂ）の３０３０は、第２画像撮像装置１２０から取得した第２の三次元画像（ＭＲＩ画像）を示している。第１の三次元画像３０００および第２の三次元画像３０３０は三次元画像であるが、説明を簡易にするために、三次元画像からｘ−ｙ平面に平行に切り出された１断面の画像を示している。

また、図３（ａ）の３０１０、図３（ｂ）の３０４０はそれぞれ、第１の三次元画像上の被検体の領域、第２の三次元画像上の被検体の領域を示している。図３の例は、第１の三次元画像と第２の三次元画像の間で被検体が大きく変形している状況を表している。また、被検体の輪郭付近に存在する画像間で対応する組織（血管）３０２０と３０５０が、被検体の変形に伴って回転・変形している状況を表している。

（Ｓ２０１０）（基準位置の取得）
ステップＳ２０１０において、基準部位取得部１０２０は、第１の三次元画像上における基準部位の位置（第１の基準位置）と、第２の三次元画像上における基準部位の位置（第２の基準位置）を取得する。そして、取得した第１の基準位置と第２の基準位置の情報を、姿勢算出部１０５０へと出力する。

基準部位としては、被検体上の解剖学的な意味を有する組織の中から、変形の基準として振舞うような部位、言い換えると、その位置を中心に放射的に変形が発生する位置が好ましい。かつ、画像間で同定可能な部位が好ましい。例えば、乳頭の基底部の中心や病変部の重心等を基準部位として使用できる。なお、複数の部位を基準部位と定義して、それぞれの基準部位の位置を取得してもよい。

なお、ユーザが基準部位の位置を入力しても良い。例えば、ユーザが入力手段を用いて、表示部１４０にスライス表示された各三次元画像から基準部位を指定する方法がある。入力手段として、情報処理装置のユーザインタフェース（マウス、キーボード、タッチパネルなど）を利用できる。あるいは、基準部位取得部１０２０は、公知の画像特徴を抽出する画像処理技術により基準位置を取得してもよい。また、三次元画像に付随する情報として予めデータサーバ１３０に保持させた基準部位の位置情報を、基準部位取得部１０２０が読み込むようにしてもよい。

（Ｓ２０２０）（輪郭形状の取得）
ステップＳ２０２０において、輪郭取得部１０４０は、第１の三次元画像上における被検体の第１の輪郭形状と、第２の三次元画像上における被検体の第２の輪郭形状を取得する。そして、取得した第１の輪郭形状と第２の輪郭形状の情報を、姿勢算出部１０５０へと出力する。

本実施形態において、輪郭形状は被検体の体表面を表している。体表面を表す輪郭形状は、点群でもよいし、メッシュやラベル画像でもよい。また、体表面は被検体の体表面すべてではなく、少なくとも注目領域の近傍の一部のみが取得されればよい。

輪郭取得部１０４０による輪郭形状の取得方法は問わない。例えば、表示部１４０に各三次元画像をスライス表示し、入力手段を用いたユーザ入力を受け付けても良い。あるいは、三次元画像に対する閾値処理やエッジ検出などの、公知の画像処理手法を用いてもよい。また、三次元画像に付随する情報として予めデータサーバ１３０に保持させた輪郭形状の情報を、輪郭取得部１０４０が読み込んでもよい。被検体が乳房の場合、カップ形状の保持部材に乳房を満たして各モダリティによる測定を行う場合がある。

（Ｓ２０３０）（注目領域の取得）
ステップＳ２０３０において、注目領域取得部１０３０は、第１の三次元画像における第１の注目領域と、第２の三次元画像における第２の注目領域を取得する。そして、取得した第１の注目領域と第２の注目領域に関する情報を、姿勢算出部１０５０へと出力する。

本実施形態において、注目領域は、直方体や球等、任意の形状である。注目領域は一つ以上の点で構成される。ここで、注目領域の情報は、それぞれの三次元画像を表示部１４０へとスライス表示して、ユーザの指示を受け付けることで取得できる。ユーザは、画像化したい関心領域を注目領域として指定できる。入力の際には例えば、入力手段を用いて注目領域の代表位置をスライス画像上で指定する。

（Ｓ２０４０）（姿勢の算出）
ステップＳ２０４０において、姿勢算出部１０５０は、第１の注目領域の第１の姿勢と第２の注目領域の第２の姿勢をそれぞれ算出する。注目領域が三次元領域の場合、姿勢の変化とは、第１および第２の注目領域の間の位置の違い、角度のずれ、形状の変化の有無や程度などを指す。そして、算出した第１の姿勢と第２の姿勢を、断面画像生成部１０６０へと出力する。本実施形態において、姿勢は、注目領域の座標系を表す三つの軸で表されるものとする。例えば、ステップＳ２０３０で得た注目領域の代表位置を原点、ステップＳ２０４０で得た姿勢を座標軸とすることで、それぞれの注目領域の座標系が定義される。姿勢算出処理の詳細は、図５に示すフローチャートを用いて後述する。

（Ｓ２０５０）（断面画像の生成）
ステップＳ２０５０において、断面画像生成部１０６０は、第１の姿勢に基づいて、第１の三次元画像から第１の注目領域を含む第１の断面画像を生成する。さらに、第２の姿勢に基づいて、第２の三次元画像から第２の注目領域を含む第２の断面画像を生成する。なお、ここでは注目領域を含む断面画像とは、注目領域の一部を切り取るような画像を指す。断面画像生成部１０６０は、生成した第１の断面画像と第２の断面画像を、表示制御部１０７０へと出力する。

まず、断面画像生成部１０６０は、第１の注目領域の座標系で定義される所定の断面（第１の所定の断面）を第１の三次元画像から切り出した、第１の断面画像を生成する。ここで、第１の所定の断面とは、第１の注目領域の座標系における所定の向きを有し、第１
の注目領域の座標系における所定の位置を中心に含む断面である。例えば、所定の断面として、注目領域の座標系のｘ−ｙ面を、所定の向きとして、ｘ軸を右から左、ｙ軸を上から下に向かう向きを用いることができる。また、所定の位置として、第１の注目領域の座標系の原点を用いることができる。

なお、第１の注目領域の座標系上において、第１の所定の断面の向きや位置を変更するユーザからの指示（ページング等）を受け付け、その指示に応じて更新された所定の断面の断面画像を生成するようにしてもよい。また、第１の注目領域の座標系に従う方法であれば、直交３断面や他の任意断面、スラブＭＩＰのような公知のいずれの断面画像生成法を用いてもよい。

また同様に、断面画像生成部１０６０は、第２の注目領域の座標系で定義される所定の断面（第２の所定の断面）を第２の三次元画像から切り出した、第２の断面画像を生成する。ここで、第１の所定の断面と第２の所定の断面は、それぞれを定義する座標系から見た位置や姿勢が同じになるように設定される。換言すると、第１の断面画像と第２の断面画像は、第１の注目領域の座標系と第２の注目領域の座標系を位置合わせしたときに同一断面になるような画像を表している。これにより、ユーザが第１の所定の断面を操作すると第２の所定の断面が連動して変化するようになる。その結果、二つの注目領域の姿勢を一致させたまま、周辺領域を対比できる。

（Ｓ２０６０）（断面画像の表示）
ステップＳ２０６０において、表示制御部１０７０は、第１の断面画像と第２の断面画像を表示部１４０に表示させる。ここで、図４（ａ）の４０００と図４（ｂ）の４０１０は、第１の姿勢と第２の姿勢に関する被検体や座標系を模式的に表すものである。このとき、図４（ｃ）の４０２０で示される表示部１４０は、姿勢が揃った状態の第１の注目領域を含む第１の断面画像４０３０と、第２の注目領域を含む第２の断面画像４０４０を表示する。これにより、ユーザは、二つの断面画像をモニタ上で確認して、注目領域の同定や対比を行える。

表示方法は任意である。例えば、一つの画面を縦または横に分割して第１および第２の断面画像をそれぞれ並べて表示してもよい。また、二つの画面に第１および第２の断面画像をそれぞれ表示してもよい。また、第１および第２の断面画像を異なる色で描画して重ね合わせて表示してもよい。また、第１および第２の断面画像のいずれか一方のみを選択可能になるように表示してもよい。この場合は、同一位置において第１と第２の断面画像の切り替え表示を可能にするＧＵＩを設けると良い。また、一方の画像の解像度に合わせ、他方の画像を拡大または縮小して表示してもよい。また、基準位置、注目領域、輪郭形状間の距離が合うように、他方の画像を拡大または縮小して表示してもよい。

（Ｓ２０７０）（注目領域を変更する？）
ステップＳ２０７０において、注目領域取得部１０３０は、第１の注目領域または第２の注目領域を変更するか否かの判定を行う。すなわち、ステップＳ２０６０により表示された二つの断面画像を確認したユーザが、第１の注目領域と第２の注目領域が解剖学的に対応していないと判断した場合、第１の注目領域または第２の注目領域を再取得する旨の入力を行う。そして、第１の注目領域または第２の注目領域を再入力する指示を取得した場合、ステップＳ２０３０へと処理を戻す。一方、指示を取得しなかった場合はステップＳ２０８０へと処理を進める。この変更判定は、既知の画像認識技術を用いた情報処理によって行ってもよい。

（Ｓ２０８０）（終了？）
ステップＳ２０８０において、画像処理装置１００は、本装置の処理を終了するか否か
の判定を行う。処理を終了させる指示を不図示のＵＩを介して取得した場合には、本装置の処理を終了させる。一方、指示を取得しなかった場合はステップＳ２０５０に処理を戻す。そして、断面の切り替え指示に応じて断面画像の更新を実行する。
以上によって、画像処理装置１００の処理が実行される。

（姿勢算出処理フロー）
次に、ステップＳ２０４０で姿勢算出部１０５０が行う姿勢算出処理の詳細を、図５に示すフローチャートを用いて説明する。

（Ｓ５０００）（輪郭方位の算出）
ステップＳ５０００において、姿勢算出部１０５０は、注目領域と輪郭形状の情報に基づいて、注目領域の姿勢を定義するための１つ目の軸となる輪郭方位（第１の注目領域における第１の輪郭方位と、第２の注目領域における第２の輪郭方位）を算出する。ここで、輪郭方位とは、注目領域に対して被検体の輪郭形状がどちらの方向にあるかを示す情報である。

まず、姿勢算出部１０５０は、注目領域中の代表点（重心位置、最先鋭位置、最大または最小画素値の位置等）を注目点として取得する。そして、注目点の近傍にある輪郭形状中の一点を、輪郭点として取得する。図６（ａ）と（ｂ）の例において、６０００および６０３０は、それぞれ第１の三次元画像中の第１の注目点、第２の三次元画像中の第２の注目点を示している。また、図６（ａ）の６０１０および図６（ｂ）の６０４０は、それぞれ第１の注目領域における第１の輪郭点、第２の注目領域における第２の輪郭点を示している。

本実施形態において、輪郭点は、注目領域に対して所定の関係を満たす被検体の体表上の点である。輪郭点としては、注目点から最近傍にある輪郭形状上の点を使用できる。また、最近傍点以外にも例えば、注目点から所定の範囲内にある輪郭形状の点の代表点（重心位置等）を用いてもよい。なお、図６では、図示を簡単化するために注目点６０００と輪郭点６０１０を同一のｘ−ｙ平面上に記載している。しかし、実際の三次元画像上においては、これらの点が必ずしも同一のｘ−ｙ平面上には存在するとは限らない。

次に、姿勢算出部１０５０は、それぞれの注目領域における輪郭方位を、輪郭点の情報に基づいて算出する。例えば、注目点から輪郭点に向かうベクトルを輪郭方位とする。図６の例において、点線６０２０は第１の注目領域における第１の輪郭方位、点線６０５０は第２の注目領域における第２の輪郭方位を示している。なお、輪郭方位の算出は、上記以外の他の方法で行ってもよい。例えば、輪郭点における輪郭形状の面（体表面）の法線ベクトルを輪郭方位としてもよい。また、輪郭点から所定の範囲内の輪郭形状の各点における輪郭形状の面（体表面）の法線群の平均でもよい。後者の場合には、輪郭点からの所定の範囲内の輪郭形状を用いる代わりに、注目点から所定の範囲内の輪郭形状を用いてもよい。この場合には、輪郭点の明示的な算出は不要となる。

（Ｓ５０１０）（基準方位の算出）
ステップＳ５０１０において、姿勢算出部１０５０は、基準位置と輪郭方位の情報に基づいて、注目領域の姿勢を定義するための２つ目の軸となる基準方位（第１の注目領域における第１の基準方位と、第２の注目領域における第２の基準方位）を算出する。ここで、基準方位とは、注目領域に対して被検体の基準部位がどちらの方向にあるかを示す情報である。

姿勢算出部１０５０は、基準位置から輪郭方位の軸に下ろした垂線の足を起点として基準位置に向かうベクトル（すなわち、輪郭方位と垂直に交差し基準位置を通過する軸）を
、基準方位として算出する。図６（ａ）において、第１の輪郭方位６０２０に垂直であり、かつ、第１の基準位置６０２２を通過する点線６０２４は、第１の注目領域における第１の基準方位を表している。同様に図６（ｂ）において、第２の輪郭方位６０５０に垂直であり、かつ、第２の基準位置６０６０を通過する点線６０７０は、第２の注目領域における第２の基準方位を示している。なお、図６では、輪郭点と同様に、図示を簡単化するために注目点６０００と基準位置６０２２を同一のｘ−ｙ平面上に記載している。しかし実際の三次元画像上においては、これらの点が必ずしも同一のｘ−ｙ平面上には存在するとは限らない。

なお、ステップＳ２０１０において複数の基準部位を取得している場合には、第１の三次元画像中において第１の注目領域と最近傍の位置関係にある基準部位を、注目基準部位として選択する。そして、第１の三次元画像中における該注目基準部位の位置を第１の基準位置とする。さらに、第２の三次元画像中における当該注目基準部位の位置を第２の基準位置とする。そして、これらの基準位置に基づいて、基準方位を算出する。これにより、注目領域毎に適切な基準位置を選択できる。

（Ｓ５０２０）（姿勢の算出）
ステップＳ５０２０において、姿勢算出部１０５０は、輪郭方位と基準方位に基づいてそれぞれの注目領域の姿勢を算出する。例えば、第１の基準方位をＸ軸、第１の輪郭方位をＹ軸、二つの軸の外積をＺ軸として、第１の注目領域の姿勢（第１の姿勢）を算出する。さらに、第１の姿勢と同様に、第２の輪郭方位と第２の基準方位に基づいて、第２の注目領域の姿勢（第２の姿勢）を算出する。
以上によって、ステップＳ２０４０の姿勢算出処理が実行される。

以上述べたように本実施形態によれば、基準部位、注目領域、輪郭形状の位置関係に基づいて注目領域の姿勢を定義できる。そして、複数の三次元画像間で注目領域の姿勢を揃えた画像を生成し、観察できるようになる。その結果、ユーザは複数の被検体画像間における注目領域の対比を良好に行える。すなわち画像処理装置は、複数の画像間での体位や被検体形状の差異を吸収して、ユーザに対して診断に適した画像を提示できる。注目領域の姿勢の算出方法が画像の輝度分布の性質に依存しないため、異なるモダリティから取得した画像間を対比する際に、特に有効である。

（変形例１−１）
本実施形態では、ステップＳ５０００において、注目点から輪郭点に向かうベクトルを輪郭方位として算出したが、輪郭方位の算出方法はこれに限らない。例えば、注目点と輪郭点の代表点を取得せずに、注目領域の形状と輪郭形状から輪郭方位を算出してもよい。具体的には、注目領域の外形を表す注目点群と輪郭形状を表す輪郭点群を取得し、点群間において各点の最近傍の点を結ぶベクトル群を取得する。そして、ベクトル群の平均ベクトルを輪郭方位とする。このように、代表点を取得せず点群から求めたベクトル群を利用し、統計的な情報として輪郭方位を算出することにより、注目領域の近傍の輪郭が局所的に変形していた場合でもロバストに輪郭方位を算出することが可能となる。

＜第２実施形態＞
本実施形態に係る画像処理装置は、複数の三次元画像（第１の三次元画像と第２の三次元画像）の位置合わせを行う。本実施形態の画像処理装置は、第１の三次元画像中の第１の注目領域と、第２の三次元画像中の第２の注目領域の姿勢を揃えた状態で、局所領域間の画像類似度を求める。そして、画像類似度に基づいて画像間で対応する位置を対応付け、得られた対応関係を利用して第１の三次元画像と第２の三次元画像を変形して位置合わせを行う。このとき、画像類似度を求めるための領域（計算領域）は、姿勢情報に基づいて定義する。これにより、局所領域間で対応した姿勢の違いを探索することなく、変形位
置合わせを実行できる。

なお、本実施形態では、第１実施形態と同様に乳房を被検体の例として以下の説明を行う。ただし被検体はこれに限られない。以下、図７と図８を用いて本実施形態の構成および処理を説明する。また、本実施形態に係る画像処理装置について、第１の実施形態との相違部分についてのみ説明する。

（システム構成）
図７は、本実施形態に係る画像処理装置１００を含む画像診断システムの構成を示す。ここで、第１画像装置１１０、第２画像装置１２０、データサーバ１３０、データ取得部１０１０、基準部位取得部１０２０、輪郭取得部１０４０、表示制御部１０７０、表示部１４０は、第１の実施形態と同じ機能であるため説明を省略する。

画像処理装置７００は、以下の構成要素を有する。本実施形態においては、注目領域取得部１０３０は、第１の三次元画像における第１の注目領域群と第２の三次元画像における第２の注目領域群を取得する。姿勢算出部１０５０は、第１の基準位置と第１の輪郭形状に基づいて、第１の注目領域群中の第１の注目領域の姿勢を表す第１の姿勢を算出する。また同様に、第２の基準位置と第２の輪郭形状に基づいて、第２の注目領域群中の第２の注目領域の姿勢を表す第２の姿勢を算出する。

変形推定部１７１０は、姿勢算出部１０５０により算出された第１の三次元画像中の第１の注目領域の第１の姿勢と、第２の三次元画像中の第２の注目領域の第２の姿勢を用いて、注目領域を比較し、注目領域間の対応関係を取得し、画像間の変形を推定する。変形画像生成部１７２０は、変形推定部１７１０により推定された変形を第２の三次元画像に適用し、変形三次元画像を生成する。

（全体の処理フロー）
図８は、画像処理装置７００が行う全体の処理手順をフローチャートで示している。ステップＳ８０１０とＳ８０２０は、それぞれ第１の実施形態におけるステップＳ２０１０、ステップＳ２０２０と同様の処理を行うため、説明を省略する。

（Ｓ８０００）（データの取得）
ステップＳ８０００において、データ取得部１０１０は、画像処理装置１００に入力される第１の三次元画像と第２の三次元画像を取得する。そして、基準部位取得部１０２０および注目領域取得部１０３０、輪郭取得部１０４０、変形推定部１７１０、変形画像生成部１７２０、断面画像生成部１０６０へと出力する。

（Ｓ８０３０）（注目領域群を取得）
ステップＳ８０３０において、注目領域取得部１０３０は、第１の三次元画像から、一つ以上の注目領域を第１の注目領域群として取得する。また、第２の三次元画像から、一つ以上の注目領域を第２の注目領域群として取得する。そして、取得した第１の注目領域群と第２の注目領域群の情報を、姿勢算出部１０５０へと出力する。

注目領域群の取得は、公知の画像処理手法により、それぞれの三次元画像から特徴的な構造を検出することによって行う。また、それぞれの三次元画像を表示部１４０へとスライス表示して、ユーザによる入力手段（マウスやキーボードなど）による入力を受け付けて注目領域群を取得してもよい。また、三次元画像に付随する情報として予めデータサーバ１３０に保持させた注目領域群の情報を、注目領域取得部１０４０が読み込むようにしてもよい。注目領域群に含まれる注目領域の数については、所定の上限数を設定して入力手段を用いたユーザ指定を受け付けても良い。また、画像解析により所定の条件を満たす
と判断された注目領域を全て注目領域群に含めてもよい。

（Ｓ８０４０）（姿勢の算出）
ステップＳ８０４０において、姿勢算出部１０５０は、第１の注目領域群に含まれる第１の注目領域の第１の姿勢をそれぞれ求め、第１の姿勢群として算出する。また同様に、第２の注目領域群に含まれる第２の注目領域の第２の姿勢をそれぞれ求め、第２の姿勢群として算出する。そして、取得した第１の姿勢群と第２の姿勢群を、変形推定部１７２０へと出力する。なお、各注目領域の姿勢を算出する方法は、第１の実施形態におけるステップＳ２０４０と同様のため、説明を省略する。

（Ｓ８０５０）（計算領域の取得）
ステップＳ８０５０において、変形推定部１７２０は、第１の注目領域と第２の注目領域のそれぞれについて、画像間の局所領域における画像類似度を求めるために用いる計算領域を、ステップＳ８０４０で取得したそれぞれの注目領域の姿勢に基づいて取得する。計算領域は、第１の注目領域と第２の注目領域が完全には対応しないことを想定して、位置合わせをスムーズに行うために設定される領域である。

本実施形態において、第１の注目領域の計算領域は、該注目領域を含み、かつ、該注目領域の座標系で表現できる領域とする。例えば、三つの軸それぞれと平行な辺を持つ直方体の内部の領域でもよいし、三つの軸の原点を中心とした球の内部の領域でもよい。第２の注目領域の計算領域も同様である。これにより、第１の注目領域と第２の注目領域の姿勢を揃えた状態で、画像間の局所領域の画像類似度を求めることができる。

（Ｓ８０６０）（注目領域の対応付け）
ステップＳ８０６０において、変形推定部１７２０は、第１の注目領域群と第２の注目領域群の間での、注目領域の対応付けを行う。より具体的には、第１の注目領域群と第２の注目領域群から選択した第１の注目領域と第２の注目領域の組み合わせのそれぞれに関して、ステップＳ８０５０で算出した第１の計算領域と第２の計算領域との画像類似度を算出する。そして、得られた画像類似度に基づいて第１の注目領域群と第２の注目領域群から対応した注目領域の組み合わせを探索し、対応付けを行う。そして、取得した対応関係の情報を、変形画像生成部１７２０へと出力する。

本実施形態では、第１の注目領域群と第２の注目領域群間のすべての組み合わせで画像類似度を求める。具体的には、第１の注目領域群から選択した一つの第１の注目領域と、第２の注目領域群に含まれる第２の注目領域の組み合わせのそれぞれに関して、第１の計算領域と第２の計算領域の画像類似度を求める。そして、最も高い画像類似度を示した第１の注目領域と第２の注目領域とが画像間で対応した位置と判断し、対応付ける。これを、第１の注目領域群に含まれるすべての第１の注目領域に対して行う。

画像類似度を求める尺度としては、一般的に用いられているＳｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ（ＳＳＤ）や相互情報量、相互相関係数などの公知の方法を利用できる。比較する計算領域の姿勢が予め揃っているので、画像間における局所領域の姿勢の変化の影響を受けずに対応付けを実行できる。

（Ｓ８０７０）（変形の推定）
ステップＳ８０７０において、変形推定部１７２０は、ステップＳ８０６０で取得した第１の注目領域と第２の注目領域間の対応関係に基づいて、第１の三次元画像と第２の三次元画像間の変形を推定する。そして、断面画像生成部１０６０へと出力する。

本実施形態においては、第２の注目領域群中の第２の注目領域における第２の注目点が
、それぞれの第２の注目領域と対応付いた第１の注目領域中の第１の注目点と略一致するように変形を推定する。画像の変形モデルには、Ｔｈｉｎ Ｐｌａｔｅ Ｓｐｌｉｎｅ（ＴＰＳ）などの放射基底関数に基づく変形モデルやＦｒｅｅ Ｆｏｒｍ Ｄｅｆｏｒｍａｔｉｏｎ（ＦＦＤ）等の公知の変形モデルを利用できる。

（Ｓ８０８０）（変形画像の生成）
ステップＳ８０８０において、変形画像生成部１７３０は、ステップＳ８０７０で推定された二つの画像間の変形情報に基づいて、第２の三次元画像を第１の三次元画像と被検体の形状が略一致するように変形させた変形三次元画像を生成する。そして、得られた変形三次元画像をデータサーバ１３０へと保存する。また、必要に応じて、表示制御部１０７０を介して変形三次元画像を表示部１４０に表示する制御を行う。なお、いずれか一方の三次元画像を他方に対応付けるように変形してもよいし、両者を変形させて中間的な画像を生成してもよい。また、第２の三次元画像を変形させた変形三次元画像と第１の三次元画像との間の差分画像を生成してもよい。
以上によって、画像処理装置７００の処理が実施される。

以上の手順により、基準位置、注目領域、輪郭形状の位置関係に基づいて画像間の注目領域の姿勢を揃えた状態で求めた画像類似度により、画像間で対応した位置を対応付け、対応関係に基づく画像間の位置合わせを行うことができる。その結果、ユーザが複数の画像に基づいて診断を行うときの精度が向上する。

（変形例２−１）（探索的に計算領域を変更）
本実施形態では、ステップＳ８０６０において、ステップＳ８０５０で取得した計算領域に基づいて対応付けを行っているが、探索的に計算領域を変えてもよい。この場合、一つの第２の注目領域に、形状や位置が互いに異なる複数の第２の計算領域を設定する。そして、一つの第１の注目領域における一つの第１の計算領域と、それぞれの第２の計算領域との間で画像類似度を求める。そして、最も高い画像類似度を、その注目領域の組の画像類似度とする。この方法であれば、ステップＳ８０５０を計算領域の初期位置として、より適切な計算領域を探索することができる。

このとき、注目領域と輪郭形状との距離に応じて計算領域の探索範囲を変えるようにしてもよい。ここで、複数の注目領域に関する輪郭方位を比較する。一般的に、注目領域と輪郭形状との距離が近いほど被検体の体位の変化による影響が少なくなるため、輪郭方位の一致度は高まる。よって、注目領域と輪郭形状との距離が近いほど、計算領域の探索範囲を減らすことができる。これにより、画像類似度を求めるための計算量を削減できる。

（変形例２−２）（注目領域の位置に応じて姿勢の探索範囲を変更）
本実施形態では、ステップＳ８０６０において、ステップＳ８０４０で算出した姿勢に基づいて対応付けの処理を行っているが、対応付けに利用する姿勢はこれに限らない。例えば、ステップＳ８０４０で算出した姿勢を初期姿勢として、画像間の画像類似度が高くなる姿勢を探索してもよい。

ところで、輪郭方位は、注目領域と輪郭形状との距離が近いほど被検体の体位の変化による影響を受けにくいという特徴がある。よって、注目領域と輪郭形状との距離が近いほど、変形画像間での輪郭方位の一致度は高まる。そこで、姿勢を探索する場合に、注目領域と輪郭形状との距離に応じて、姿勢を探索する範囲を動的に変えるようにしてもよい。

より具体的には、それぞれの第１の注目領域ごとに、輪郭形状が近い場合には探索の範囲を小さく、輪郭形状が遠い場合には探索の範囲を大きく設定する。これにより、輪郭形状近傍の注目領域では、姿勢の探索範囲が小さくなる。その結果、計算量の削減や姿勢の
安定性の向上が実現できる。また、輪郭形状から遠い注目領域であっても、姿勢を全くの未知ではなく、ある程度絞り込んで探索できる。

なお、探索範囲を、注目領域と輪郭形状との距離だけでなく、注目領域と基準位置との距離に基づいて変動させてもよい。例えば、基準位置が近い場合には探索の範囲を小さく、基準位置が遠い場合には探索の範囲を大きく設定する。輪郭形状と基準位置の両方を考慮してもよい。例えば、輪郭形状と基準位置それぞれに基づいて求めた探索範囲の最大値を用いる方法である。

（変形例２−３）（注目領域の位置に応じて対応付け時に類似度に信頼度を付加）
本実施形態では、ステップＳ８０６０において、ステップＳ８０４０で算出した姿勢に基づいて取得した計算領域の画像類似度を取得しているが、注目領域の位置に応じて画像類似度に信頼度を付加してもよい。ここで、信頼度とは、画像類似度にかかる重み係数のことである。具体的には、画像間で正しい位置を対応付ける処理における判断基準として、画像類似度に加えて他の指標も考慮する場合の、他の指標と比較して画像類似度が判断基準に与える影響の大きさを表している。他の指標として例えば、基準位置と注目領域までの距離がある。

ここで、姿勢のずれが少ない輪郭形状近傍にある注目領域では画像類似度の信頼度を高くし、輪郭形状から離れた注目領域における画像類似度の信頼度は低くするとよい。これにより、注目領域の位置に応じた適切な信頼度を利用できる。

（変形例２−４）
本実施形態の画像処理装置では、画像類似度に基づいて局所領域の対応付けを行い、対応付け結果に基づいて画像間の変形を推定する方法を用いた。しかし、本実施形態で示した局所領域間の姿勢を揃えて画像類似度を求める方法は、局所領域の画像類似度を算出するような様々な画像位置合わせ方法に適用可能である。また、本実施形態で示した局所領域間の姿勢を揃えて画像類似度を求める方法は、画像位置合わせ以外の目的であっても、画像間の局所領域の画像類似度を求める様々な場合に適用可能である。また、本実施形態で示した局所領域間の姿勢を揃えて画像類似度を求める方法は、異なる画像間での局所領域の比較に留まらず、同一画像中の自己類似度を算出する目的にも適用可能である。

以上述べたように、本発明によれば、被検体の解剖学的な特徴を利用することにより、三次元画像中における注目領域の姿勢を定義する方法を提供できる。また、これにより複数の三次元画像間で注目領域の姿勢を揃えることができる。

＜その他の実施形態＞
記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータ（又はＣＰＵ、ＭＰＵ等のデバイス）によっても、本発明を実施することができる。また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。したがって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。

１００：画像処理装置、１０１０：データ取得部、１０２０：基準部位取得部、１０３０：注目領域取得部、１０４０：輪郭取得部、１０７０：表示制御部

Claims (18)

1. 被検体に撮像を行って得られた第１の画像データと、前記被検体に前記第１の画像データの撮像とは異なる撮像を行って得られた第２の画像データとを取得するデータ取得部と、
   前記第１の画像データと前記第２の画像データの対応関係を示す情報を生成して出力する画像処理部と、
   を有し、
   前記画像処理部は、
   前記第１の画像データにおける前記被検体の基準位置を示す第１の基準位置と、前記第２の画像データにおける前記基準位置を示す第２の基準位置とを取得し、
   前記第１の画像データにおける前記被検体の注目領域を示す第１の注目領域と、前記第２の画像データにおける前記注目領域を示す第２の注目領域とを取得し、
   前記第１の画像データにおける前記被検体の輪郭を示す第１の輪郭形状と、前記第２の画像データにおける前記輪郭を示す第２の輪郭形状を取得し、
   前記第１の基準位置および前記第２の基準位置、前記第１の注目領域および前記第２の注目領域、ならびに、前記第１の輪郭形状および前記第２の輪郭形状に基づいて、前記対応関係を取得する
   ことを特徴とする画像処理装置。
2. 前記画像処理部は、
   前記第１の基準位置、前記第１の注目領域および前記第１の輪郭形状に基づき前記第１の注目領域の姿勢を示す第１の姿勢を取得し、
   前記第２の基準位置、前記第２の注目領域および前記第２の輪郭形状に基づき前記第２の注目領域の姿勢を示す第２の姿勢を取得し、
   前記第１の姿勢および前記第２の姿勢に基づいて、前記対応関係を示す画像データを取得するための前記第１の画像データおよび前記第２の画像データの処理を行う
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記注目領域の姿勢は、前記被検体における前記注目領域の位置、角度、および、変形の程度の少なくともいずれかで表される
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記画像処理部は、前記第１の姿勢と前記第２の姿勢の間の、位置の変化、角度のずれ、変形の有無、および、変形の程度の、少なくともいずれかに基づいて、前記第１の画像データが撮像されたときと前記第２の画像データが撮像されたときの間の前記被検体の変形を表す変形情報を取得する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記画像処理部は、
   前記第１の注目領域の代表点と、前記第１の輪郭形状の代表点の位置関係に基づいて第１の輪郭方位を取得し、前記第１の輪郭方位を用いて前記第１の姿勢を取得し、
   前記第２の注目領域の代表点と、前記第２の輪郭形状の代表点の位置関係に基づいて第２の輪郭方位を取得し、前記第２の輪郭方位を用いて前記第２の姿勢を取得する
   ことを特徴とする請求項２ないし４のいずれか１項に記載の画像処理装置。
6. 前記画像処理部は、
   前記第１の注目領域の形状と、前記第１の輪郭形状に基づいて第１の輪郭方位を取得し、前記第１の輪郭方位を用いて前記第１の姿勢を取得し、
   前記第２の注目領域の形状と、前記第２の輪郭形状に基づいて第２の輪郭方位を取得
   し、前記第２の輪郭方位を用いて前記第２の姿勢を取得する
   ことを特徴とする請求項２ないし４のいずれか１項に記載の画像処理装置。
7. 前記画像処理部は、
   前記第１の基準位置と、前記第１の輪郭方位を用いて第１の基準方位を取得し、前記第１の輪郭方位と前記第２の基準方位を用いて前記第１の姿勢を取得し、
   前記第２の基準位置と、前記第２の輪郭方位を用いて第２の基準方位を取得し、前記第２の輪郭方位と前記第２の基準方位を用いて前記第２の姿勢を取得する
   ことを特徴とする請求項５または６に記載の画像処理装置。
8. 前記第１の輪郭形状の代表点は、前記第１の輪郭形状において前記第１の注目領域の近傍にある点、または、前記第１の輪郭形状において第１の所定の範囲内にある点の代表点であり、前記第２の輪郭形状の代表点は、前記第２の輪郭形状において前記第２の注目領域の近傍にある点、または、前記第２の輪郭形状において第２の所定の範囲内にある点の代表点である
   ことを特徴とする請求項５に記載の画像処理装置。
9. 前記第１の注目領域の代表点は、前記第１の注目領域の形状または画素値に基づいて取得する位置であり、前記第２の注目領域の代表点は、前記第２の注目領域の形状または画素値に基づいて取得する位置である
   ことを特徴とする請求項５に記載の画像処理装置。
10. 前記第１の基準位置および前記第２の基準位置は、前記被検体における解剖学的な特徴点である
    ことを特徴とする請求項５ないし９のいずれか１項に記載の画像処理装置。
11. 前記画像処理部が出力した前記第１の画像データと前記第２の画像データの対応関係を示す情報に基づいて、表示部に表示させるための画像データを生成する表示制御部をさらに有する
    ことを特徴とする請求項１ないし１０のいずれか１項に記載の画像処理装置。
12. 前記表示制御部は、前記第１の注目領域を表す画像と前記第２の注目領域を表す画像を前記表示部に並べて、または重ねて、または選択可能に表示させる
    ことを特徴とする請求項１１に記載の画像処理装置。
13. 前記画像処理部は、前記第１の画像データが撮像されたときと前記第２の画像データが撮像されたときの間の前記被検体の変形を表す変形情報を取得し、
    前記表示制御部は、前記変形情報に基づいて、前記第２の注目領域を表す画像データを前記第１の注目領域を表す画像データへ対応付けるように変形させる
    ことを特徴とする請求項１１または１２に記載の画像処理装置。
14. 前記画像処理部は、前記第２の画像データにおいて前記第２の注目領域を含むような計算領域を設定し、前記第１の注目領域を表す画像データと類似する画像データを前記計算領域において探索する
    ことを特徴とする請求項１３に記載の画像処理装置。
15. 前記画像処理部は、前記第２の注目領域と前記第２の輪郭形状の距離に応じて前記計算領域の探索範囲を変更する
    ことを特徴とする請求項１４に記載の画像処理装置。
16. 前記第１の画像データと前記第２の画像データは、前記被検体をそれぞれ異なるモダリティで撮像して得られた画像データである
    ことを特徴とする請求項１ないし１５のいずれか１項に記載の画像処理装置。
17. 前記第１の画像データと前記第２の画像データは、前記被検体をそれぞれ異なるときに撮像して得られた画像データである
    ことを特徴とする請求項１ないし１６のいずれか１項に記載の画像処理装置。
18. データ取得部が、被検体に撮像を行って得られた第１の画像データと、前記被検体に前記第１の画像データの撮像とは異なる撮像を行って得られた第２の画像データとを取得するデータ取得ステップと、
    画像処理部が、前記第１の画像データと前記第２の画像データの対応関係を示す情報を生成して出力する画像処理ステップと、
    を有し、
    前記画像処理ステップでは、
    前記第１の画像データにおける前記被検体の基準位置を示す第１の基準位置と、前記第２の画像データにおける前記基準位置を示す第２の基準位置とを取得し、
    前記第１の画像データにおける前記被検体の注目領域を示す第１の注目領域と、前記第２の画像データにおける前記注目領域を示す第２の注目領域とを取得し、
    前記第１の画像データにおける前記被検体の輪郭を示す第１の輪郭形状と、前記第２の画像データにおける前記輪郭を示す第２の輪郭形状を取得し、
    前記第１の基準位置および前記第２の基準位置、前記第１の注目領域および前記第２の注目領域、ならびに、前記第１の輪郭形状および前記第２の輪郭形状に基づいて、前記対応関係を取得する
    ことを特徴とする画像処理装置の制御方法。

Images