JP2016171961A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】本発明の画像処理装置によれば、所定の適合度を有する画像を用いて位置検出することで、位置検出精度を向上させることができる。
【解決手段】本発明の画像処理装置は、時系列に取得された複数の画像のうち開始画像及び終了画像を設定する開始／終了画像設定手段と、前記開始画像から前記終了画像までの前記画像のうち複数の画像を選択画像として選択する画像選択手段と、前記選択画像の画質及び前記選択画像の間の類似度の少なくとも１つを適合度として算出する適合度算出手段と、所定の前記適合度を有する前記選択画像を適合画像として決定する適合画像決定手段と、前記開始画像及び前記適合画像における対応位置を検出し、前記適合画像及び前記終了画像における前記対応位置を検出する検出手段とを備える。
【選択図】 図１

Description

本発明は、画像処理装置に関し、特に、複数の医用画像を時系列に取得する画像処理装置、画像処理方法、及びプログラムに関する。

医用画像を撮像する医用画像撮像装置（モダリティ）としては、Ｘ線コンピュータ断層撮影装置（Ｘ線ＣＴ）、核磁気共鳴映像装置（ＭＲＩ）、及び超音波画像診断装置（ＵＳ）などがある。

医用画像撮像装置は、被検体（例えば、人体）の断層画像を複数の時相で取得し、時系列に取得された医用画像により動画像を生成することが可能である。これにより、臓器の運動を観察して臓器の正常な部位と異常な部位とを判別することができる。動画像を用いて観察される臓器は、主に、呼吸運動により動く肺や鼓動により動く心臓などである。例えば、肺の運動解析の結果から、肺表面と胸郭の間の癒着を外科的手術の前に知ることができる。また、心臓の動画像から血管の構造流体解析を行い、構造流体解析の結果から、心臓の血管の狭窄を知ることができる。

これらの解析を正しく行うためには、動画像を構成する画像のうち所定の時相から他の時相までの画像において、観察対象の位置を正確に把握する必要がある。しかしながら、人体の動態の動画像を撮像する場合、動画像を構成する画像（静止画像）は、必ずしも画像処理に適したものであるとは限らない。

例えば、撮像装置の撮像速度よりも臓器の動きが速い場合は、モーションアーチファクトと呼ばれるノイズが画像に含まれることがある。この場合、血管や臓器の輪郭が２重に見えるような画像が取得されるため、画質が低下し、画像間で対応する位置を特定することが困難になり、臓器（臓器や血管の輪郭）の位置の検出精度が低下してしまう。

このような課題を解決するために、観察対象（臓器）の運動が緩慢な運動開始時点と運動終了時点の画像を用いて、観察対象の位置を検出する手法が用いられている。しかしながら、画像間で観察対象の変形量が大きい場合は、観察対象の位置の検出精度が低下する。このため、観察対象（臓器）の運動の絶対値が大きい場合には、運動開始時点と運動終了時点の画像からでは観察対象の位置を検出することが困難になり、位置検出精度が低下する。そこで、観察対象の変化量が大きい場合にも、高い位置検出精度を維持するために、運動開始時点と運動終了時点の間の画像を活用する方法が必要となる。

特許文献１には、時系列に取得された複数の画像において、隣接する画像間で位置ずれを補正し、これを位置合わせが終了するまで繰り返す手法が開示されている。

特開２００５−３２３９９４号公報

しかしながら、特許文献１に記載された手法では、位置ずれ補正における低画質の影響が考慮されていない。したがって、位置ずれ補正のために選択された画像の画質が低下している場合は、位置検出精度が低下し、その影響は位置合わせの終了まで及ぶ。

本発明は上記課題に鑑みてなされたものであり、時系列に取得された複数の画像において画像の適合度を算出し、所定の適合度を有する画像を用いて観察対象の位置を検出することにより、位置検出精度を向上させることを目的とする。

本発明の画像処理装置は、時系列に取得された複数の画像のうち開始画像及び終了画像を設定する開始／終了画像設定手段と、前記開始画像から前記終了画像までの前記画像のうち複数の画像を選択画像として選択する画像選択手段と、前記選択画像の画質及び前記選択画像の間の類似度の少なくとも１つを適合度として算出する適合度算出手段と、所定の前記適合度を有する前記選択画像を適合画像として決定する適合画像決定手段と、前記開始画像及び前記適合画像における対応位置を検出し、前記適合画像及び前記終了画像における前記対応位置を検出する検出手段とを備える。

本発明によれば、所定の適合度を有する画像を用いて位置検出することで、位置検出精度を向上させることができる。

実施形態の画像処理装置を含む医用画像処理システムの例を示すブロック図である。 画像処理装置の動作の例を示すフローチャートである。 画像取得部により取得された画像データの例を示す図である。 画像選択部により選択された２つの画像の組み合わせの例を示す図である。 適合画像決定部により決定された適合画像の例を示す図である。 検出部に入力される適合画像の例を示す図である。 適合画像の組み合わせ、変形された開始画像、及び変形ベクトルの例を示す図である。 第２の変形例の動作の例を示すフローチャートである。 （ａ）開始／終了画像設定部により設定された開始画像及び終了画像の例を示す図である。（ｂ）画像選択部により選択された複数の画像による組み合わせの例を示す図である。 検出部が変形ベクトルの重み付き平均を算出する例を示す図である。

以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。

図１は、本実施形態の画像処理装置を含む医用画像処理システムの例を示すブロック図である。医用画像処理システムは、その機能的な構成として、画像処理装置１０、ネットワーク２１、及びデータベース２２を備える。画像処理装置１０は、ネットワーク２１を介してデータベース２２に通信可能に接続されている。例えば、ネットワーク２１は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）である。

データベース２２は、医用画像や医用画像に関連付けられた情報を保持及び管理する。画像処理装置１０は、ネットワーク２１を介してデータベース２２の医用画像を取得する。画像処理装置１０は、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）３１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３、記憶部３４、操作部３５、表示部３６、及び制御部３７を備える。

通信ＩＦ３１は、ＬＡＮカードなどにより構成され、外部装置（例えば、データベース２２など）と画像処理装置１０との通信を実現する。ＲＯＭ３２は、不揮発性のメモリなどにより構成され、各種プログラムを記憶する。ＲＡＭ３３は、揮発性のメモリなどにより構成され、各種情報をデータとして一時的に記憶する。記憶部３４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などにより構成され、各種情報をデータとして記憶する。操作部３５は、キーボードやマウスなどにより構成され、ユーザ（例えば、医師）からの指示を各種装置に入力する。

表示部３６は、ディスプレイなどにより構成され、各種情報をユーザに表示する。制御部３７は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などにより構成され、画像処理装置１０における処理を統括制御する。

制御部３７は、その機能的な構成として、画像取得部５０、開始／終了画像設定部５１、画像選択部５２、適合度算出部５３、適合画像決定部５４、検出部５５、変形部５６、及び表示処理部５８を備える。

画像取得部５０は、時系列に取得された複数の画像Ｉ_０，Ｉ_１，・・・Ｉ_Ｎをデータベース２２から取得する。画像は、各種モダリティにより取得された被検体の医用画像である。本実施形態では、医用画像は、時系例に連続して撮像されたＸ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像である。

開始／終了画像設定部５１は、時系列に取得された複数の画像Ｉ_０，Ｉ_１，・・・Ｉ_Ｎのうち開始画像I_Ｓ及び終了画像Ｉ_Ｅを設定する。ここでは、開始画像I_Ｓは画像Ｉ_０であり、終了画像Ｉ_Ｅは画像Ｉ_Ｎである。なお、後述する適合度算出部５３により、画像Ｉ_０，Ｉ_１，・・・Ｉ_Ｎの画質が、開始／終了画像設定部５１の設定前に算出されてもよい。開始画像Ｉ_０（又は、終了画像Ｉ_Ｎ）の画質が所定の画質を満たさない場合、開始／終了画像設定部５１は、開始画像Ｉ_０（又は、終了画像Ｉ_Ｎ）の時相に最も近い時相の画像であって、所定の画質を満たす画像を開始画像I_Ｓ（又は、終了画像Ｉ_Ｅ）に設定してもよい。

画像選択部５２は、開始画像Ｉ_０から終了画像Ｉ_Ｎまでの画像Ｉ_０，Ｉ_１，・・・Ｉ_Ｎのうち複数の画像を選択画像として選択する。例えば、画像選択部５２は、開始画像Ｉ_０とその他の画像Ｉ_ｎを選択画像として選択する。また、画像選択部５２は、複数の画像による組み合わせを選択画像として、開始画像Ｉ_０から終了画像Ｉ_Ｎまでの画像Ｉ_０，Ｉ_１，・・・Ｉ_Ｎから選択してもよい。

適合度算出部５３は、選択画像の画質及び選択画像の間の類似度の少なくとも１つを適合度として算出する。例えば、適合度算出部５３は、画像Ｉ_ｎの画質を適合度として算出する。また、適合度算出部５３は、開始画像Ｉ_０と画像Ｉ_ｎの間の類似度を適合度として算出する。なお、適合度算出部５３は、選択画像の一部（注目領域）の適合度を算出してもよい。

適合度算出部５３は、鮮鋭度、コントラスト、ブレ度、解像度、ノイズ、及びアーチファクトの少なくとも１つの画質特性に基づいて画質を算出する。適合度算出部５３は、選択画像の各画素における画素値及び選択画像中の特徴部の少なくとも１つに基づいて類似度を算出する。

また、適合度算出部５３は、複数の選択画像が取得された時間（時相）の差を適合度として算出する。例えば、適合度算出部５３は、開始画像Ｉ_０の時相Ｔ_０と画像Ｉ_ｎの時相Ｔ_ｎとの時間差（Ｔ＝Ｔ_ｎ−Ｔ_０）を適合度として算出する。適合度算出部５３は、時間差Ｔに応じた適合度を算出する。適合度算出部５３は、時間差Ｔが大きくなるほど適合度が小さくなるように適合度（例えば、時間差Ｔの逆数１／Ｔなど）を算出する。

適合画像決定部５４は、所定の適合度を有する選択画像を適合画像として決定する。画像Ｉ_ｎが所定の適合度を有する場合、適合画像決定部５４は画像Ｉ_ｎを適合画像として決定する。例えば、最大の適合度を有する画像が適合画像として決定される。また、適合画像を決定するための基準となる基準適合度が設定されてもよい。

適合画像である画像Ｉ_ｎが終了画像Ｉ_Ｎ（又は、終了画像Ｉ_Ｎの１時相前の画像Ｉ_Ｎ−１）ではない場合、画像選択部５２は、適合画像Ｉ_ｎを第１の画像として、第１の画像（画像Ｉ_ｎ）から終了画像Ｉ_Ｎまでの画像のうち第２の画像（画像Ｉ_ｎ＋ａ）を選択画像として選択する。第２の画像（画像Ｉ_ｎ＋ａ）は、第１の画像（画像Ｉ_ｎ）の後に取得された画像である。適合度算出部５３は、第２の画像（画像Ｉ_ｎ＋ａ）の画質を適合度として算出する。また、適合度算出部５３は、第１の画像（画像Ｉ_ｎ）と第２の画像（画像Ｉ_ｎ＋ａ）の間の類似度を適合度として算出する。

適合度算出部５３は、第１の画像（画像Ｉ_ｎ）の時相Ｔ_ｎと第２の画像（画像Ｉ_ｎ＋ａ）の時相Ｔ_ｎ＋ａとの時間差（Ｔ＝Ｔ_ｎ＋ａ−Ｔ_ｎ）を適合度として算出してもよい。第２の画像（画像Ｉ_ｎ＋ａ）が所定の適合度（例えば、最大の適合度）を有する場合、適合画像決定部５４は第２の画像（画像Ｉ_ｎ＋ａ）を適合画像として決定する。この場合、第１の画像（画像Ｉ_ｎ）及び第２の画像（画像Ｉ_ｎ＋ａ）が適合画像として決定される。

適合画像決定部５４は、適合画像に終了画像Ｉ_Ｎ（又は、画像Ｉ_Ｎ−１）が含まれる場合、適合画像を検出部５５（又は、ＲＡＭ３３）に出力する。例えば、適合画像である第２の画像（画像Ｉ_ｎ＋ａ）が終了画像Ｉ_Ｎである場合、適合画像決定部５４は、適合画像（画像Ｉ_ｎ，Ｉ_ｎ＋ａ）を検出部５５に出力する。

検出部５５は、開始画像Ｉ_０及び適合画像における対応位置を検出し、適合画像及び終了画像Ｉ_Ｎにおける対応位置を検出する。これにより、検出部５５は、適合画像を介して開始画像Ｉ_０及び終了画像Ｉ_Ｎにおける対応位置を検出する。

例えば、検出部５５は、第１の画像（画像Ｉ_ｎ）及び第２の画像（画像Ｉ_ｎ＋ａ）における対応位置を検出することにより、第１の画像（画像Ｉ_ｎ）及び第２の画像（画像Ｉ_ｎ＋ａ）を介して開始画像Ｉ_０及び終了画像Ｉ_Ｎにおける対応位置を検出する。ここで、対応位置とは、各画像で対応する被検体（例えば、肺や心臓の輪郭）の位置（画素）である。対応位置の検出は、ブロックマッチングなどの手法により実現されればよい。

検出部５５は、開始画像Ｉ_０、適合画像、及び終了画像Ｉ_Ｎにおける対応位置に基づいて、開始画像Ｉ_０から適合画像への対応位置の座標変化（変形ベクトル）、複数の適合画像の間の座標変化、及び適合画像から終了画像Ｉ_Ｎへの座標変化を算出する。これにより、検出部５５は、開始画像Ｉ_０から終了画像Ｉ_Ｎへの対応位置の座標変化を算出する。

例えば、検出部５５は、対応する各画素が開始画像Ｉ_０から第１の画像（画像Ｉ_ｎ）までに移動した移動量及び移動方向を変形ベクトルとして算出する。また、検出部５５は、対応する各画素が第１の画像（画像Ｉ_ｎ）から第２の画像（画像Ｉ_ｎ＋ａ）までに移動した移動量及び移動方向を変形ベクトルとして算出する。

変形部５６は、開始画像Ｉ_０から終了画像Ｉ_Ｎまでの変形ベクトルを統合することで、開始画像Ｉ_０における対応位置が終了画像Ｉ_Ｎにおける対応位置に合致するように、開始画像Ｉ_０を変形する。変形部５６は、変形された開始画像Ｉ_０と変形ベクトル情報（移動量及び移動方向など）を表示処理部５８に出力する。

表示処理部５８は、変形された開始画像Ｉ_０及び変形ベクトル情報を表示部３６の画像表示領域内に表示させる。また、表示処理部５８は、画像取得部５０により取得された画像、開始／終了画像設定部５１により設定された開始画像Ｉ_０と終了画像Ｉ_Ｎ、画像選択部５２により選択された選択画像、適合度算出部５３により算出された適合度、及び適合画像決定部５４により決定された適合画像を表示部３６の画像表示領域内に表示させてもよい。

上記の画像処理装置１０の各構成要素は、コンピュータプログラムに従って機能する。例えば、制御部３７（ＣＰＵ）がＲＡＭ３３をワーク領域としてＲＯＭ３２又は記憶部３４などに記憶されたコンピュータプログラムを読み込み、実行することで、各構成要素の機能が実現される。なお、画像処理装置１０の構成要素の一部又は全ての機能が専用の回路を用いることで実現されてもよい。また、制御部３７の構成要素の一部の機能が、クラウドコンピューティングを用いることで実現されてもよい。

例えば、画像処理装置１０とは異なる場所にある演算装置がネットワーク２１を介して画像処理装置１０に通信可能に接続され、画像処理装置１０と演算装置がデータの送受信を行うことで、画像処理装置１０又は制御部３７の構成要素の機能が実現されてもよい。

次に、図２乃至図７を用いて、図１の画像処理装置１０の処理の例について説明する。本実施形態では肺の医用画像（動画像）を例に説明するが、本実施形態は心臓や血管などの他の観察部位にも適用可能である。

図２は、画像処理装置１０の動作の例を示すフローチャートである。ユーザが操作部３５を介して動画像の取得を指示すると、ステップＳ１０１において、画像取得部５０は、ユーザが指定した動画像（画像データ）をデータベース２２から取得し、ＲＡＭ３３に格納する。図３は、画像取得部５０により取得された画像データの例を示す図である。図３に示すように、画像取得部５０は、ユーザが指定した動画像を構成する複数の画像Ｉ_０，Ｉ_１，・・・Ｉ_Ｎをデータベース２２から取得する。また、表示処理部５８は、データベース２２から取得された画像データを表示部３６の画像表示領域内に表示させる。

ステップＳ１０２において、開始／終了画像設定部５１は、ＲＡＭ３３から画像データを読み出し、複数の画像Ｉ_０，Ｉ_１，・・・Ｉ_Ｎのうち開始画像I_Ｓ＝Ｉ_０及び終了画像Ｉ_Ｅ＝Ｉ_Ｎを設定する。ステップＳ１０４において、画像選択部５２は、開始画像Ｉ_０から終了画像Ｉ_Ｎまでの画像Ｉ_０，Ｉ_１，・・・Ｉ_Ｎのうち複数の画像を選択画像として選択する。図４は、選択画像の例を示す図である。図４に示すように、画像選択部５２は、画像Ｉ_ｎ及び画像Ｉ_ｎの後に取得された画像Ｉ_ｎ＋１，Ｉ_ｎ＋２・・・Ｉ_Ｎを含む２つの画像の組み合わせ（Ｉ_ｎ，Ｉ_ｎ＋１），（Ｉ_ｎ，Ｉ_ｎ＋２）・・・（Ｉ_ｎ，Ｉ_Ｎ）を選択画像として選択する。

ステップＳ１０５において、適合度算出部５３は、選択画像の画質Ｑを適合度として算出する。ここでは、適合度算出部５３は、被検体における解剖構造（注目領域）の鮮鋭度α及びブレ度βに基づいて選択画像の画質Ｑ（α，β）を算出する。注目領域は、画像（医用画像）においてエッジ部（臓器や血管の輪郭など）を含む領域である。注目領域を抽出するために、適合度算出部５３は、閾値処理やグラフカット処理などによる既知の臓器抽出処理を用いることができる。

本実施形態では、肺血管を注目領域とする。肺血管の画像の鮮鋭度αを算出するために、血管強調フィルタの出力値（フィルタ出力値）が用いられる。血管の画像に血管強調フィルタを施すと、フィルタ出力値は、血管の画像の鮮鋭度αが高いほど大きくなる。これを利用して、適合度算出部５３は、注目領域の全画素に血管強調フィルタを施し、フィルタ出力値の平均値や最大値などの統計値を鮮鋭度αとして算出する。また、適合度算出部５３は、所定の閾値を設け、フィルタ出力値が閾値以上の画素数をカウントし、この画素数を鮮鋭度αとして算出してもよい。

また、適合度算出部５３は、予め設定された関数を用いて適合度を算出してもよい。例えば、適合度算出部５３は、フィルタ出力値の平均値が所定の閾値以上である場合は鮮鋭度α＝１を与え、フィルタ出力値の平均値が所定の閾値未満である場合は鮮鋭度α＝０を与えるステップ関数を用いて適合度を算出する。

適合度算出部５３は、選択画像に含まれる画像について、注目領域の鮮鋭度αを算出する。鮮鋭度αが高いほど注目領域が鮮明であって画質（適合度）が高いと評価され、鮮鋭度αが低いほど注目領域が不鮮明であって画質（適合度）が低いと評価される。なお、適合度算出部５３は、選択画像の鮮鋭度αの最小値及び最大値に基づいて、鮮鋭度αを所定の範囲（例えば、［０，１］）に正規化してもよい。また、適合度算出部５３は、鮮鋭度αが高い順に選択画像をソートしてもよい。

肺血管の画像のブレ度βを算出するために、肺血管（エッジ部）の輝度値が用いられる。肺の画像の場合、撮像時の生体運動（体動や呼吸や鼓動など）によって、肺血管や心臓や横隔膜の輪郭が２重にブレた画像が取得されることがある。このようなブレが生じた輪郭の輝度値は、ブレ度が小さい輪郭の輝度値と比べて、輪郭の輝度値とその周辺の輝度値の間の範囲に分布する傾向が強くなる。

非造影ＣＴ画像の場合、輝度値に相当するＣＴ値（ＨＵ：ハンスフィールド・ユニット）は、肺野で−９００ＨＵ程度であり、肺血管で３０〜６０ＨＵ程度であることが知られている。これを利用して、適合度算出部５３は、肺野のＣＴ値と肺血管のＣＴ値の間で設定された所定の範囲（例えば、［−６００，−２００］ＨＵ）に分布する注目領域の画素数をカウントし、この画素数をブレ度βとして算出する。

また、撮像時の生体運動によって画像のブレが生じる場合があるので、適合度算出部５３は、胸部の動きや呼吸や心拍などの生体体動を計測する計測部（例えば、カメラやセンサなど）からの生体運動情報をブレ度として算出してもよい。

また、適合度算出部５３は、予め設定された関数を用いて適合度を算出してもよい。例えば、適合度算出部５３は、カウントされた画素数が所定の閾値以上である場合はブレ度β＝１を与え、カウントされた画素数が所定の閾値未満である場合はブレ度β＝０を与えるステップ関数を用いて適合度を算出する。

適合度算出部５３は、選択画像に含まれる画像について、注目領域のブレ度βを算出する。ブレ度βが高いほど注目領域が不鮮明であって画質（適合度）が低いと評価され、ブレ度βが低いほど注目領域が鮮明であって画質（適合度）が高いと評価される。なお、適合度算出部５３は、選択画像のブレ度βの最小値及び最大値に基づいて、ブレ度βを所定の範囲（例えば、［０，１］）に正規化してもよい。また、適合度算出部５３は、ブレ度βが高い順に選択画像をソートしてもよい。

ステップＳ１０５では、適合度算出部５３が、注目領域の鮮鋭度α及びブレ度βに基づいて選択画像の画質Ｑ（α，β）を算出する。画質が高いほど、画質Ｑ（α，β）が高くなるように、画質Ｑ（α，β）が定義される。例えば、画質Ｑ（α，β）は、αと（１−β）の和で定義される。また、画質Ｑ（α，β）は、αと（１−β）の積で定義されてもよい。なお、本実施形態では、鮮鋭度α及びブレ度βは、［０，１］の範囲に正規化されている。

画質の算出は画像ごとに並列に処理可能であるので、並列処理により処理の高速化が実現される。

ステップＳ１０６において、適合度算出部５３は、選択画像の間の類似度Ｓを適合度として算出する。類似度Ｓは、２つの画像の同一性の程度を表す情報である。例えば、適合度算出部５３は、画像の各画素における画素値に基づいて類似度Ｓを算出する。類似度Ｓは、２つの画像の各画素における画素値（例えば、輝度値など）の差の絶対値の総和（Ｌ１ノルム）又は当該差の２乗の総和（Ｌ２ノルム）などである。

２つの画像の同一性が高いほど、当該差の絶対値の総和又は当該差の２乗の総和が小さくなる。これを利用して、適合度算出部５３は、当該差の絶対値の総和の逆数又は当該差の２乗の総和の逆数を類似度Ｓとして算出する。

また、適合度算出部５３は、２つの画像中の特徴部に基づいて類似度Ｓを算出してもよい。例えば、肺の画像の場合、気管や肺血管などの分岐点を特徴部（ランドマーク）として用い、適合度算出部５３は、画像中の複数の特徴部の位置を既知の手法により検出し、複数の特徴部の位置又は距離の共通性により類似度Ｓを算出する。なお、心臓の画像の場合、心臓の左心室領域の尖端や僧帽弁や大動脈弁などを特徴部（ランドマーク）として用いればよい。

適合度算出部５３は、選択画像に含まれる画像について類似度Ｓを算出する。類似度Ｓが高いほど適合度が高いと評価される。なお、適合度算出部５３は、選択画像の類似度Ｓの最小値及び最大値に基づいて、類似度Ｓを所定の範囲（例えば、［０，１］）に正規化してもよい。また、適合度算出部５３は、類似度Ｓが高い順に選択画像をソートしてもよい。

なお、画像の画質Ｑが０又は所定の閾値未満である場合は、適合度算出部５３は、類似度Ｓを算出せずに、画像の不適合情報を適合画像決定部５４に出力してもよい。類似度Ｓの算出処理を省くことにより、処理の高速化が実現される。

本実施形態では、適合度算出部５３は、画質Ｑ及び類似度Ｓに基づいて適合度Ａを算出する。一般的に、複数の画像間の位置検出精度を向上させるためには、画質Ｑが高くかつ類似度Ｓが高いことが望ましい。したがって、以下のように、本実施形態の適合度算出部５３は、適合度Ａを画質Ｑ（α，β）と類似度Ｓの積で定義する。

なお、適合度算出部５３は、適合度Ａを画質Ｑ（α，β）と類似度Ｓの和で定義してもよいし、画質Ｑ（α，β）と類似度Ｓの他の関数で定義してもよい。

また、時間差Ｔが大きくなると観察対象の変化量も大きくなり、位置検出精度が低下することがあるので、適合度算出部５３は、複数の選択画像が取得された時間（時相）の差（時間差Ｔ）を適合度Ａの算出に用いてもよい。適合度算出部５３は、予め設定された関数を用いて適合度を算出してもよい。例えば、適合度算出部５３は、画質Ｑと類似度Ｓに基づいて算出された適合度に１／Ｔを乗算して適合度Ａを算出してもよい。また、適合度算出部５３は、時間差Ｔが所定の閾値以上（例えば、１秒以上又は５時相以上）である場合は、適合度Ａを減少させる又は０にする関数を用いて適合度Ａを算出してもよい。

適合度算出部５３は、選択画像に含まれる画像について適合度Ａを算出する。適合度Ａが高いほど位置検出精度が高い画像であると評価される。

ステップＳ１０７において、適合画像決定部５４は、所定の適合度を有する選択画像を適合画像として決定する。例えば、画像Ｉ_ｎ及び画像Ｉ_ｎ＋ａの組み合わせ（Ｉ_ｎ，Ｉ_ｎ＋ａ）の適合度Ａが最大である場合、適合画像決定部５４は組み合わせ（Ｉ_ｎ，Ｉ_ｎ＋ａ）を適合画像として決定する。なお、適合度Ａが同値である場合は、時間差Ｔが最小である組み合わせが適合画像として決定される。決定された適合画像（画像Ｉ_ｎ，Ｉ_ｎ＋ａ）の組み合わせは、ＲＡＭ３３に一時保存される。

図５は、適合度Ａの例を示す図である。図５（ａ）に示すように、適合画像決定部５４は、選択画像（Ｉ_ｎ，Ｉ_ｎ＋１），（Ｉ_ｎ，Ｉ_ｎ＋２）・・・（Ｉ_ｎ，Ｉ_Ｎ）のうち適合度Ａが最大となる組み合わせ（Ｉ_ｎ，Ｉ_ｎ＋２）を適合画像として決定する。

ステップＳ１０８において、画像選択部５２は、選択画像の選択が終了したか否かを判断する。適合画像に終了画像Ｉ_Ｎ又は画像Ｉ_Ｎ−１が含まれる場合、画像選択部５２は選択画像の選択を終了し、ステップＳ１１０に進む。例えば、適合画像である画像Ｉ_ｎ＋ａが終了画像Ｉ_Ｎである場合、画像選択部５２は、選択画像の選択が終了したと判断する。

ステップＳ１０８において、適合画像に終了画像Ｉ_Ｎ又は画像Ｉ_Ｎ−１が含まれていない場合、画像選択部５２は、選択画像の選択が終了していないと判断する。この場合、ステップＳ１０３において、画像取得部５０は、適合画像（画像Ｉ_ｎ＋ａ）から終了画像Ｉ_Ｎまでの画像Ｉ_ｎ＋ａ，Ｉ_{ｎ＋ａ＋１}，・・・Ｉ_Ｎをデータベース２２から取得し、ステップＳ１０４に戻る。

ステップＳ１０４に戻った場合、画像Ｉ_ｎ＋ａが適合画像であるので、画像選択部５２は、適合画像Ｉ_ｎ＋ａを第１の画像として、第１の画像（画像Ｉ_ｎ＋ａ）から終了画像Ｉ_Ｎまでの画像のうち第２の画像（画像Ｉ_ｎ＋ｂ）を選択画像として選択する。第２の画像（画像Ｉ_ｎ＋ｂ）は、第１の画像（画像Ｉ_ｎ＋ａ）の後に取得された画像である。適合度算出部５３は、第２の画像（画像Ｉ_ｎ＋ｂ）の画質を適合度として算出する（ステップＳ１０５）。また、適合度算出部５３は、第１の画像（画像Ｉ_ｎ＋ａ）と第２の画像（画像Ｉ_ｎ＋ｂ）の間の類似度を適合度として算出する（ステップＳ１０６）。

適合度算出部５３は、第１の画像（画像Ｉ_ｎ＋ａ）の時相Ｔ_ｎ＋ａと第２の画像（画像Ｉ_ｎ＋ｂ）の時相Ｔ_ｎ＋ｂとの時間差（Ｔ＝Ｔ_ｎ＋ｂ−Ｔ_ｎ＋ａ）を適合度として算出してもよい。

第２の画像（画像Ｉ_ｎ＋ｂ）が所定の適合度を有する場合、適合画像決定部５４は第２の画像（画像Ｉ_ｎ＋ｂ）を適合画像として決定する（ステップＳ１０７）。例えば、画像Ｉ_ｎ＋ａ及び画像Ｉ_ｎ＋ｂの組み合わせ（Ｉ_ｎ＋ａ，Ｉ_ｎ＋ｂ）の適合度Ａが最大である場合、適合画像決定部５４は組み合わせ（Ｉ_ｎ＋ａ，Ｉ_ｎ＋ｂ）を適合画像として決定する。なお、適合度Ａが同値である場合は、時間差Ｔが最小である組み合わせが適合画像として決定される。決定された適合画像（画像Ｉ_ｎ＋ａ，Ｉ_ｎ＋ｂ）は、ＲＡＭ３３に一時保存される。

例えば、図５（ｂ）に示すように、図５（ａ）の画像Ｉ_ｎ＋２が適合画像であるので、適合画像決定部５４は、選択画像（Ｉ_ｎ＋２，Ｉ_ｎ＋３），（Ｉ_ｎ＋２，Ｉ_ｎ＋４）・・・（Ｉ_ｎ＋２，Ｉ_Ｎ）のうち適合度Ａが最大となる組み合わせ（Ｉ_ｎ＋２，Ｉ_ｎ＋４）を適合画像として決定する。

ステップＳ１０８において選択画像の選択が終了するまでステップＳ１０３〜Ｓ１０７を繰り返し、適合画像決定部５４により適合画像が決定される。ステップＳ１０８において選択画像の選択が終了したと判断された場合、検出部５５は、開始画像Ｉ_０及び適合画像における対応位置を検出し、適合画像及び終了画像Ｉ_Ｎにおける対応位置を検出する（ステップＳ１１０）。

図６は、検出部５５に入力される適合画像の例を示す図である。図６では、適合画像は、組み合わせ（Ｉ_０，Ｉ_２），（Ｉ_２，Ｉ_７），（Ｉ_７，Ｉ_Ｎ）である。この場合、検出部５５は、開始画像Ｉ_０及び適合画像（画像Ｉ_２）における対応位置を検出し、複数の適合画像（画像Ｉ_２，Ｉ_７）の間における対応位置を検出し、開始画像Ｉ_０及び終了画像Ｉ_Ｎにおける対応位置を検出する。このように、時系列に取得された複数の画像において画像の適合度を算出し、所定の適合度を有する適合画像を用いて対応位置を検出することにより、位置検出精度を向上させることができる。

ステップＳ１１１において、検出部５５は、開始画像Ｉ_０から適合画像（画像Ｉ_２）への対応位置の変形ベクトル、複数の適合画像（画像Ｉ_２，Ｉ_７）の間の変形ベクトル、及び適合画像（画像Ｉ_７）から終了画像Ｉ_Ｎへの変形ベクトルを算出する。ステップＳ１１３において、変形部５６は、開始画像Ｉ_０から終了画像Ｉ_Ｎまでの変形ベクトルを統合することで、開始画像Ｉ_０における対応位置が終了画像Ｉ_Ｎにおける対応位置に合致するように、開始画像Ｉ_０を変形する。

本実施形態では、開始画像Ｉ_０、適合画像、及び終了画像Ｉ_Ｎを時系列に遡りながら、検出部５５が変形ベクトルを算出する。例えば、検出部５５は、画像Ｉ_ｒを基準画像とし、画像Ｉ_ｒを時系列に遡った画像Ｉ_ｒ−ａを浮動画像として変形ベクトルを算出する。この処理によれば、変形部５６は、画像Ｉ_ｒより時相が前の画像Ｉ_ｒ−ａから画像Ｉ_ｒへの対応位置の変形ベクトルに基づいて、画像Ｉ_ｒ−ａを変形することで、浮動画像の対応位置を基準画像の対応位置に合致させることができる。

ここで、変形ベクトルは、基準画像の各画素に対応する浮動画像の各画素が浮動画像から基準画像までに移動した移動量及び移動方向を示すベクトルである。例えば、３次元画像で浮動画像の各画素の座標（ｘ，ｙ，ｚ）が基準画像の各画素の座標（Ｘ，Ｙ，Ｚ）に移動した場合、変形ベクトルは（Ｘ−ｘ，Ｙ−ｙ，Ｚ−ｚ）となる。

本実施形態では、適合画像の組み合わせごとに変形ベクトルが並列に算出されるので、並列処理により処理の高速化が実現される。

なお、画像の変形は、アフィン変換のような線形的な位置合わせ手法やＦＦＤ（Ｆｒｅｅ Ｆｏｒｍ Ｄｅｆｏｒｍａｔｉｏｎ）のような非線形的な位置合わせ手法により実行されてもよく、これらの組合せで実行されてもよい。また、時系列に取得された複数の画像は、各種モダリティにより取得された原画像の他、ステップＳ１０５における強調フィルタの出力画像、注目領域の領域画像、及びこれらの画像の組合せであってもよく、これらの画像の変形が行われてもよい。

ステップＳ１１３における変形ベクトルの統合は、ステップＳ１１１で算出された全ての変形ベクトルを用いて行われる。開始画像Ｉ_０から終了画像Ｉ_Ｎまでの変形ベクトルを統合することで、開始画像Ｉ_０から終了画像Ｉ_Ｎまでの変形ベクトルＴ（Ｉ_０，Ｉ_Ｎ）が算出される。

図７に示すように、ステップＳ１１１では、適合画像の組み合わせ（Ｉ_０，Ｉ_２），（Ｉ_２，Ｉ_７），（Ｉ_７，Ｉ_Ｎ）のそれぞれについて、変形ベクトルＴ（Ｉ_０，Ｉ_２），Ｔ（Ｉ_２，Ｉ_７），Ｔ（Ｉ_７，Ｉ_Ｎ）が算出される。

基準画像Ｉ_Ｎの各画素に対応する浮動画像Ｉ_７の各画素の座標変化から変形ベクトルＴ（Ｉ_７，Ｉ_Ｎ）が算出される。基準画像Ｉ_７の各画素に対応する浮動画像Ｉ_２の各画素の座標変化から変形ベクトルＴ（Ｉ_２，Ｉ_７）が算出される。基準画像Ｉ_２の各画素に対応する浮動画像Ｉ_０の各画素の座標変化から変形ベクトルＴ（Ｉ_０，Ｉ_２）が算出される。このように、検出部５５は、時系列に遡りながら、変形ベクトルＴ（Ｉ_７，Ｉ_Ｎ），Ｔ（Ｉ_２，Ｉ_７），Ｔ（Ｉ_０，Ｉ_２）を算出する。

また、検出部５５は、変形ベクトルＴ（Ｉ_０，Ｉ_２），Ｔ（Ｉ_２，Ｉ_７），Ｔ（Ｉ_７，Ｉ_Ｎ）を統合することにより、開始画像Ｉ_０から終了画像Ｉ_Ｎまでの変形ベクトルＴ（Ｉ_０，Ｉ_Ｎ）を算出する。変形部５６は、ステップＳ１１１で算出された変形ベクトルを統合することで、ステップＳ１１３で開始画像Ｉ_０を変形して終了画像Ｉ_Ｎに合致させる。図７では、変形部５６は、これらの変形ベクトルが統合された変形ベクトルＴ（Ｉ_０，Ｉ_Ｎ）に基づいて、終了画像Ｉ_Ｎに合致するように開始画像Ｉ_０を変形する。

変形部５６は、終了画像Ｉ_Ｎに合致するように変形された開始画像Ｉ_０と変形ベクトル情報を表示処理部５８に出力する。図７に示すように、表示処理部５８は、変形された開始画像Ｉ_０及び変形ベクトル情報を表示部３６の画像表示領域内に表示させる。

本実施形態は、画像の画質、類似度、及び取得時間から画像の適合度を算出し、所定の適合度を有する画像を用いて位置検出することで、位置検出精度を向上させることができる。この結果、終了画像Ｉ_Ｎに合致するように開始画像Ｉ_０を変形する精度が向上する。なお、本実施形態では、開始画像Ｉ_０の変形を説明したが、位置検出精度を向上させることで、複数の画像における位置ずれ補正の精度及び追跡（トラッキング）の精度を向上させることもできる。

この場合、画像処理装置１０は、開始画像Ｉ_０における対応位置が終了画像Ｉ_Ｎにおける対応位置に合致するように、開始画像Ｉ_０と終了画像Ｉ_Ｎの位置ずれを補正する位置ずれ補正部を備える。また、画像処理装置１０は、開始画像Ｉ_０における対応位置を終了画像Ｉ_Ｎにおいて追跡する追跡部を備える。

以上、本実施形態について説明したが、本発明はこれらに限定されるものではなく、請求項に記載された範囲内において変更・変形することが可能である。

（第１の変形例）
上記の実施形態では、図４を用いて、２つの画像による組み合わせが選択画像として選択される例を示したが、３つ以上の画像による組み合わせが選択画像として選択されてもよい。例えば、画像取得部５０により取得された画像データ（動画像）が画像Ｉ_０，Ｉ_１，Ｉ_２，Ｉ_３，Ｉ_４で構成されるとする。このとき、開始画像Ｉ_Ｓ＝Ｉ_０であり、終了画像Ｉ_Ｅ＝Ｉ_４である。上記の実施形態のステップＳ１０４では、画像選択部５２は、画像Ｉ_０を含む２つの画像による組み合わせ（Ｉ_０，Ｉ_１），（Ｉ_０，Ｉ_２），（Ｉ_０，Ｉ_３），（Ｉ_０，Ｉ_４）を選択する。

ここで、３つの画像による組み合わせを選択画像とすると、画像選択部５２は、画像Ｉ_０を含む３つの画像の組み合わせ（Ｉ_０，Ｉ_１，Ｉ_２），（Ｉ_０，Ｉ_１，Ｉ_３），（Ｉ_０，Ｉ_１，Ｉ_４），（Ｉ_０，Ｉ_２，Ｉ_３），（Ｉ_０，Ｉ_２，Ｉ_４），（Ｉ_０，Ｉ_３，Ｉ_４）を選択する。適合度算出部５３は、３つの選択画像の画質及び３つの選択画像の間の類似度の少なくとも１つを適合度として算出する。

例えば、適合度算出部５３は、組み合わせ（Ｉ_０，Ｉ_１），（Ｉ_０，Ｉ_３），（Ｉ_１，Ｉ_３）の類似度をそれぞれ算出し、これらの平均値や最小値などの統計値を選択画像（Ｉ_０，Ｉ_１，Ｉ_３）の類似度Ｓとして算出する。つまり、適合度算出部５３は、３つ以上の画像が選択画像として選択された場合、選択画像に含まれる２つの画像の組み合せの適合度を算出し、その適合度（画質及び類似度の少なくとも１つ）の統計値を用いて選択画像の適合度（組み合わせ適合度）Ａを算出する。

選択画像（Ｉ_０，Ｉ_１，Ｉ_３）が最大の適合度Ａを有する場合、適合画像決定部５４は、時相が最後の選択画像Ｉ_３を適合画像として決定する。なお、適合画像Ｉ_３は終了画像Ｉ_Ｎ＝Ｉ_４の１時相前の画像Ｉ_Ｎ−１であるので、適合画像決定部５４は、適合画像Ｉ_３を検出部５５に出力する。検出部５５は、開始画像Ｉ_０及び適合画像Ｉ_３における対応位置を検出し、適合画像Ｉ_３及び終了画像Ｉ_４における対応位置を検出する。

一方、適合画像に終了画像Ｉ_Ｎ又は画像Ｉ_Ｎ−１が含まれていない場合、画像選択部５２は、適合画像から終了画像Ｉ_Ｎまでの画像から複数の画像による組み合わせを選択画像として選択し、適合画像決定部５４は、次の適合画像を決定する。

（第２の変形例）
上記の実施形態では、適合画像である第１の画像より時相が後の第２の画像を選択することで、適合画像を順次決定したが、複数の画像による組み合わせを選択画像として選択し、選択された組み合わせごとに適合度を算出し、適合画像を決定してもてもよい。

上記の実施形態では、適合画像を決定した後に次の適合画像を順次決定するので、図６に示すように、開始画像Ｉ_０から終了画像Ｉ_Ｎまでの適合画像の経路は１つである（経路：Ｉ_０→Ｉ_２→Ｉ_７→Ｉ_Ｎ）。第２の変形例では、開始画像Ｉ_０から終了画像Ｉ_Ｎまでの適合画像の経路は１つに限られず、適合画像の経路は複数であってもよい。

画像選択部５２は、複数の画像による組み合わせを選択画像として選択する。適合度算出部５３は、組み合わせごとに組み合わせ適合度Ａを算出する。適合画像決定部５４は、所定の適合度を有する組み合わせを適合画像として決定する。検出部５５は、所定の組み合わせ適合度Ａを有する組み合わせごとに、対応位置を検出し、対応位置の変形ベクトルを算出する。検出部５５は、開始画像Ｉ_０から終了画像Ｉ_Ｎまでの変形ベクトルに重み付けをすることにより終了画像Ｉ_Ｎにおける対応位置を決定する。重み係数は、組み合わせごとに、組み合わせ適合度Ａに応じて決定され、組み合わせ適合度Ａが高いほど重み係数が大きくなる。

以下、第２の変形例について図８乃至図１０を用いて説明する。なお、上記の実施形態と同様の構成、機能、及び動作についての説明は省略し、主に本実施形態との差異について説明する。

図８は、第２の変形例の動作の例を示すフローチャートである。ステップＳ１０２において、開始／終了画像設定部５１は、複数の画像Ｉ_０，Ｉ_１，・・・Ｉ_Ｎのうち開始画像I_Ｓ＝Ｉ_０及び終了画像Ｉ_Ｅ＝Ｉ_Ｎを設定する。ステップＳ２０４において、画像選択部５２は、開始画像Ｉ_０及び終了画像Ｉ_Ｎを含む複数の画像による組み合わせを選択画像として、開始画像Ｉ_０から終了画像Ｉ_Ｎまでの画像Ｉ_０，Ｉ_１，・・・Ｉ_Ｎから選択する。

図９（ａ）は、開始／終了画像設定部５１により設定された開始画像I_Ｓ及び終了画像Ｉ_Ｅの例を示す図である。図９（ａ）に示すように、開始／終了画像設定部５１は、開始画像I_Ｓ＝Ｉ_０及び終了画像Ｉ_Ｅ＝Ｉ_３を設定する。

図９（ｂ）は、画像選択部５２により選択された複数の画像による組み合わせの例を示す図である。図９（ｂ）に示すように、画像選択部５２は、開始画像Ｉ_０及び終了画像Ｉ_３を含む複数の画像の組み合わせの全て（Ｉ_０，Ｉ_１，Ｉ_２，Ｉ_３），（Ｉ_０，Ｉ_１，Ｉ_３），（Ｉ_０，Ｉ_２，Ｉ_３），（Ｉ_０，Ｉ_３）を選択画像として選択する。これらの組み合わせが、選択画像の経路となる。図９（ｂ）では、選択画像の経路は、経路１（Ｉ_０→Ｉ_１→Ｉ_２→Ｉ_３）、経路２（Ｉ_０→Ｉ_１→Ｉ_３）、経路３（Ｉ_０→Ｉ_２→Ｉ_３）、及び経路４（Ｉ_０→Ｉ_Ｎ）の４つである。

図９（ｂ）に示すように、開始画像Ｉ_０及び終了画像Ｉ_Ｎを含む複数の画像の組み合わせの総数Ｆは、以下の式で表される。

“Ｎ−１”は、画像Ｉ_０，Ｉ_１，・・・Ｉ_Ｎから開始画像Ｉ_０及び終了画像Ｉ_Ｎを除いた画像数であり、自然数である。Ｍは１から“Ｎ−１”までの自然数である。ここで、“_Ｎ−１Ｃ_Ｍ＝（Ｎ−１）！／Ｍ！（Ｎ−Ｍ−１）！”である。なお、“Ｎ−１＝０”の場合は、組み合わせ（Ｉ_０，Ｉ_Ｎ）が唯一の組み合わせとなり、Ｆ＝１となる。

ステップＳ１０５，Ｓ１０６において、適合度算出部５３は、組み合わせに含まれる画像について適合度を算出し、適合度の統計値に基づいて組み合わせの適合度を組み合わせ適合度Ａとして算出する。本実施形態では、適合度算出部５３は、総数Ｆの全ての経路について適合度を算出する。

例えば、図９（ｂ）の経路１（Ｉ_０→Ｉ_１→Ｉ_２→Ｉ_３）について、適合度算出部５３は、画像Ｉ_０，Ｉ_１，Ｉ_２，Ｉ_３の画質を算出して、これらの平均値や最小値などの統計値を組み合わせ画質Ｑとして算出する。また、適合度算出部５３は、時相が隣接する２つの画像（Ｉ_０，Ｉ_１），（Ｉ_１，Ｉ_２），（Ｉ_２，Ｉ_３）の類似度を算出して、これらの平均値や最小値などの統計値を組み合わせ類似度Ｓとして算出する。組み合わせ適合度Ａは、上記のように、組み合わせ画質Ｑ（α，β）と組み合わせ類似度Ｓの関数で定義される。

また、適合度算出部５３は、組み合わせに含まれる画像の時間（時相）の差を適合度として算出してもよい。

ステップＳ２０７において、適合画像決定部５４は、所定の組み合わせ適合度Ａを有する組み合わせを適合画像として決定し、適合画像の経路を決定する。適合画像決定部５４は、全ての組み合わせを適合画像として決定してもよいし、適合度Ａが最大である組み合わせを適合画像として決定してもよいし、所定の閾値以上の適合度Ａを有する複数の組み合わせを適合画像として決定してもよい。複数の組み合わせが適合画像として決定された場合、適合画像決定部５４は、組み合わせごとに適合画像の経路を決定する。例えば、図９（ｂ）の経路１、経路２、及び経路３が適合画像の経路として決定される。

ステップＳ１１０において、検出部５５は、適合画像の経路（組み合わせ）ごとに、開始画像Ｉ_０、適合画像、及び終了画像Ｉ_Ｎにおける対応位置を検出する。ステップＳ１１１において、検出部５５は、適合画像の経路（組み合わせ）ごとに、開始画像Ｉ_０から適合画像への対応位置の変形ベクトル、複数の適合画像の間の変形ベクトル、及び適合画像から終了画像Ｉ_Ｎへの変形ベクトルを算出する。

例えば、図９（ｂ）の経路１では、検出部５５は、開始画像Ｉ_０、適合画像Ｉ_１，Ｉ_２、及び終了画像Ｉ_３を時系列に遡りながら対応位置を検出し、変形ベクトルを算出する。なお、変形ベクトルの統合により開始画像Ｉ_０から終了画像Ｉ_Ｎまでの変形ベクトルＴ（Ｉ_０，Ｉ_Ｎ）が算出されればよいため、変形ベクトルの算出には他の手法が適用されてもよい。

複数の経路がある場合は、ステップＳ２１２において、検出部５５は、開始画像Ｉ_０から終了画像Ｉ_Ｎへの対応位置の変形ベクトルＴ（Ｉ_０，Ｉ_Ｎ，ｋ）に重み付けをすることにより、終了画像Ｉ_Ｎにおける対応位置を決定する。なお、ｋは、適合画像の経路（組み合わせ）に付された経路番号である。ここで、各変形ベクトル（座標変化）に乗算される重み係数は、組み合わせ適合度Ａが高いほど大きくなり、重み係数の合計は１となる。

図１０は、検出部５５が変形ベクトルＴ（Ｉ_０，Ｉ_Ｎ，ｋ）の重み付き平均を算出する例を示す図である。図１０では、適合画像決定部５４が経路１、経路２、及び経路３を適合画像の経路として決定する。

検出部５５は、適合画像の経路（組み合わせ）ごとに、対応位置の変形ベクトルを算出し、変形ベクトルの統合により開始画像Ｉ_０から終了画像Ｉ_Ｎまでの変形ベクトルＴ（Ｉ_０，Ｉ_Ｎ，ｋ）を算出する。例えば、検出部５５は、経路１の変形ベクトルＴ（Ｉ_０，Ｉ_１），Ｔ（Ｉ_１，Ｉ_２），Ｔ（Ｉ_２，Ｉ_３）を算出し、これらの変形ベクトルを統合することにより変形ベクトルＴ（Ｉ_０，Ｉ_Ｎ，１）を算出する。同様に、検出部５５は、変形ベクトルＴ（Ｉ_０，Ｉ_Ｎ，２），Ｔ（Ｉ_０，Ｉ_Ｎ，３）を算出する。

以下のように、検出部５５は、画素ｐごとの変形ベクトルＴ_ｐ（Ｉ_０，Ｉ_Ｎ，ｋ）の重み付き平均である変形ベクトルＴ_ｐ（Ｉ_０，Ｉ_Ｎ）を算出する。

適合画像の経路の経路番号ｋは、１からＫまでの自然数である。ｗ_ｋは、適合画像の経路（経路番号ｋ）の重み係数である。重み係数ｗ_ｋは、組み合わせ適合度Ａに比例する値であってもよい。また、重み係数ｗ_ｋは、組み合わせごとに開始画像Ｉ_０の変形結果（変形画像）を評価した値に基づいて決定されてもよい。例えば、組み合わせごとに開始画像Ｉ_０の変形画像と終了画像Ｉ_Ｎの類似度Ｓを算出し、類似度Ｓが大きいほど重み付けが重くなるように、重み係数ｗ_ｋが設定される。画像の画素値（例えば、輝度値など）の差や特徴部の位置又は距離の共通性による類似度Ｓを用いて、重み係数ｗ_ｋが設定される。

ステップＳ１１３において、変形部５６は、変形ベクトルＴ_ｐ（Ｉ_０，Ｉ_Ｎ）に基づいて、開始画像Ｉ_０を変形して終了画像Ｉ_Ｎに合致させる。

（第３の変形例）
上記の実施形態及び第２の変形例では、選択画像の選択（ステップＳ１０４，Ｓ２０４）の後に画質Ｑの算出が行われるが、開始画像Ｉ_０からＩ_Ｎまでの画像Ｉ_０，Ｉ_１，・・・Ｉ_Ｎの画質Ｑの算出が、選択画像の選択の前に行われてもよい。この場合も、適合度算出部５３は、選択画像の画質を適合度として算出することになる。

開始画像Ｉ_０（又は、終了画像Ｉ_Ｎ）の画質Ｑが所定の画質を満たさない場合、開始／終了画像設定部５１は、開始画像Ｉ_０（又は、終了画像Ｉ_Ｎ）の時相に最も近い時相の画像であって、所定の画質を満たす画像を開始画像I_Ｓ（又は、終了画像Ｉ_Ｅ）に設定してもよい。

また、画像の画質Ｑが０又は所定の閾値未満である場合は、これらの画像が選択画像から除かれてもよい。この場合、適合度算出部５３は、類似度Ｓを算出せずに、画像の不適合情報を適合画像決定部５４に出力してもよい。類似度Ｓの算出処理を省くことにより、処理の高速化が実現される。

１０ 画像処理装置
２１ ネットワーク
２２ データベース
３１ 通信ＩＦ
３２ ＲＯＭ
３３ ＲＡＭ
３４ 記憶部
３５ 操作部
３６ 表示部
３７ 制御部
５０ 画像取得部
５１ 開始画像／終了画像設定部
５２ 画像選択部
５３ 適合度算出部
５４ 適合画像決定部
５５ 検出部
５６ 変形部
５８ 表示処理部

Claims (10)

1. 時系列に取得された複数の画像のうち開始画像及び終了画像を設定する開始／終了画像設定手段と、
   前記開始画像から前記終了画像までの前記画像のうち複数の画像を選択画像として選択する画像選択手段と、
   前記選択画像の画質及び前記選択画像の間の類似度の少なくとも１つを適合度として算出する適合度算出手段と、
   所定の前記適合度を有する前記選択画像を適合画像として決定する適合画像決定手段と、
   前記開始画像及び前記適合画像における対応位置を検出し、前記適合画像及び前記終了画像における前記対応位置を検出する検出手段と
   を備えることを特徴とする画像処理装置。
2. 前記適合度算出手段は、複数の前記選択画像が取得された時間の差を適合度として算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像選択部は、前記適合画像を第１の画像として、前記第１の画像から前記終了画像までの前記画像のうち第２の画像を前記第１の画像とともに選択し、
   前記適合度算出手段は、前記第1の画像及び前記第２の画像の前記適合度を算出し、
   前記適合画像決定手段は、所定の前記適合度を有する前記第２の画像を前記適合画像として決定し、
   前記検出手段は、前記第１の画像及び前記第２の画像における前記対応位置を検出することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画像選択手段は、前記開始画像及び前記終了画像を含む前記複数の画像による組み合わせを前記選択画像として選択し、
   前記適合度算出手段は、前記組み合わせに含まれる前記複数の画像について前記適合度を算出し、前記適合度の統計値に基づいて前記組み合わせの適合度を組み合わせ適合度として算出し、
   前記適合画像決定手段は、所定の前記組み合わせ適合度を有する前記組み合わせを前記適合画像として決定することを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記検出手段は、複数の前記組み合わせごとに前記開始画像及び前記終了画像における前記対応位置を検出し、前記開始画像から前記終了画像への前記対応位置の座標変化に重み付けをすることにより、前記終了画像における前記対応位置を決定することを特徴とする請求項４に記載の画像処理装置。
6. 前記適合度算出手段は、鮮鋭度、コントラスト、ブレ度、解像度、ノイズ、及びアーチファクトの少なくとも１つの画質特性に基づいて前記画質を算出することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記適合度算出手段は、前記選択画像の各画素における画素値及び前記選択画像中の特徴部の少なくとも１つに基づいて前記類似度を算出することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記開始画像における前記対応位置が前記終了画像における前記対応位置に合致するように、前記開始画像を変形する変形手段を備えることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 時系列に取得された複数の画像のうち開始画像及び終了画像を設定する工程と、
   前記開始画像から前記終了画像までの前記画像のうち複数の画像を選択画像として選択する工程と、
   前記選択画像の画質及び前記選択画像の間の類似度の少なくとも１つを適合度として算出する工程と、
   所定の前記適合度を有する前記選択画像を適合画像として決定する工程と、
   前記開始画像及び前記適合画像における対応位置を検出し、前記適合画像及び前記終了画像における前記対応位置を検出する工程と
   を備えることを特徴とする画像処理方法。
10. コンピュータを、請求項１乃至８の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
    
    
    

Images