JP2006018389A - 画像対応点抽出方法、画像対応点抽出装置、及び記憶媒体 - Google Patents

Abstract

【課題】複数の物体が混在する領域、特徴の少ない領域、および同じような模様が繰り返し存在する領域においても精度の高い対応点抽出を可能とする画像対応点抽出方法、画像対応点抽出装置、及び記憶媒体を提供する。
【解決手段】テンプレート・マッチング法において、基準画像中のテンプレート画像内の画素の画素値とテンプレート画像と比較される探索画像中の小領域内の画素の画素値との差を変換する関数と該画素値の差を変換する関数によって変換された各画素における値を用いて類似度を算出する関数により構成された類似度評価関数を用い、かつ、テンプレート画像の画像特徴に応じて前記画素値の差を変換する関数を制御する。
【選択図】 図１

Description

本発明は、異なる視点、および、時系列の複数の画像間の対応を求める画像対応点抽出方法、画像対応点抽出装置、及び記憶媒体に関するものである。

異なる視点位置、あるいは、異なる時点で撮影された複数の画像間の対応点を求め、その対応点の位置関係から、奥行き情報や動き情報を求める手法の一つとしてテンプレート・マッチング法が知られている。このテンプレート・マッチング法は、複数の画像の一方を基準画像、他方を探索画像として、基準画像中の対応を求める点を囲む小領域をテンプレートとし、そのテンプレートと探索画像中の小領域の類似度が高い点を対応点とする手法である。

このテンプレート・マッチング法における類似度を評価する関数は従来から種々提案されている。代表的な例として、（１）式を用いた画素値の差の絶対値和を評価量とする関数がある。

（１）式においてＴ（ｉ，ｊ）は基準画像中のテンプレート内の画素の画素値を、Ｉ（ｉ，ｊ）はテンプレートと比較される探索画像中の小領域内の画素の画素値を表しており、Ｅ（ｘ，ｙ）は（ｘ，ｙ）だけ移動した探索画像中の位置における画素値の差の絶対値和を示している。

また、（２）式を用いた相関係数を評価量とする関数がある。

（２）式において、Ｔ（ｉ，ｊ）、Ｉ（ｉ，ｊ）は（１）式と同様である。Ｃ（ｘ，ｙ）は探索画像中で（ｘ，ｙ）だけ移動した位置における相関係数を示している。（１）式の評価関数を用いるとＥ（ｘ，ｙ）が最小となる点、（２）式の評価関数を用いるとＣ（ｘ，ｙ）が最大となる点が対応点となる。

このほかに、（３）式のようにテンプレート画像内全体で、テンプレート画像内の各画素の画素値とテンプレートと比較される探索画像中の小領域内の各画素の画素値の差の絶対値があるしきい値ε未満の画素数を評価量とする関数がある。

（３）式においてはＮ（ｘ，ｙ）が最大となる点が対応点となる。
特開平９−４９７１４号公報

しかしながら、上述の評価関数を用いるテンプレート・マッチング法においては、テンプレート内に異なる奥行きあるいは異なる動きをもつ物体が混在する物体の境界領域、一方の画像に存在しても他方の画像に存在しないオクルージョン領域、画像に特徴の少ない領域、および画像中に同じような特徴が繰り返し存在する領域において抽出精度が劣化する問題が依然として存在する。

（１）式、（２）式の評価関数を使用する場合、特徴の少ない領域、同じような特徴が繰り返し存在する領域においても比較的正確な対応点を抽出することが可能であるが、複数の物体が混在する領域およびオクルージョン領域での抽出精度の劣化などの問題がある。特に（１）式の評価関数を用いると画素値の変化が大きい領域の類似度がテンプレート全体の類似度に大きく影響するため、複数の物体が混在する領域において物体境界がずれるバウンダリ・オーバーリーチの発生や、画像中のノイズの大きさにより抽出精度が大きく影響されてしまうという問題がある。（２）式の評価関数ではオクルージョン領域において抽出精度が劣化する、また、計算量が（１）式、（３）式に比べて多いなどの問題がある。

（３）式の評価関数を用いると、画素値の差の絶対値があるしきい値以下の画素数により類似度を評価するため物体境界部、オクルージョン領域においても比較的正確な対応点抽出が可能であるが、特徴の少ない画像領域や同じような模様が繰り返し存在する領域においては誤対応が多く発生する傾向がある。また、画素判定のしきい値以上の画像間での輝度変動が生じた場合に対応がとれないなどの問題も生じる。また、画素判定のためのしきい値の設定により対応点の抽出精度が大きく変化するため最適なしきい値の設定が必要である。

本発明は従来のテンプレート・マッチング法における問題を改善するために、基準画像中のテンプレート画像内の画素の画素値とテンプレート画像と比較される探索画像中の小領域内の画素の画素値との差を変換する関数と該画素値の差を変換する関数によって変換された各画素における値を用いて類似度を算出する関数により構成された類似度評価関数を用い、かつ、テンプレート画像の画像特徴に応じて前記画素値の差を変換する関数を制御することにより、複数の物体が混在する領域、特徴の少ない領域および同じような模様が繰り返し存在する領域においても精度の高い対応点抽出を可能とする画像対応点抽出方法、画像対応点抽出装置、及び記憶媒体を提供することを目的とする。

この発明は下記の構成を備えることにより上記課題を解決できるものである。

（１）複数の画像間の対応を、一方の画像を基準画像、他方の画像を探索画像として、該基準画像の注目点を含む小領域と該探索画像の小領域との類似度に基づいて求める画像対応点抽出方法において、前記類似度を評価する関数が、前記基準画像の小領域内の画素の画素値と前記探索画像の小領域内の画素の画素値との差を変換する関数と、該画素値の差を変換する関数によって変換された値を用いて類似度を算出する関数から構成され、かつ、前記画素値の差を変換する関数が前記基準画像の小領域の特徴に応じて変更されることを特徴とする画像対応点抽出方法。

（２）前記画素値の差を変換する関数が不連続な関数であることを特徴とする前記（１）に記載の画像対応点抽出方法。

（３）前記画素値の差を変換する関数が非線形な関数であることを特徴とする前記（１）に記載の画像対応点抽出方法。

（４）前記基準画像の小領域の特徴が小領域内の画素の画素値の分散であることを特徴とする前記（１）から（３）のいずれか一つに記載の画像対応点抽出方法。

（５）前記基準画像の小領域の特徴が小領域内の画素の画素値の微分値を演算した値であることを特徴とする前記（１）から（３）のいずれか一つに記載の画像対応点抽出方法。

（６）複数の画像間の対応を、一方の画像を基準画像、他方の画像を探索画像として、該基準画像の注目点を含む小領域と該探索画像の小領域との類似度に基づいて求める画像対応点抽出装置において、複数の画像データを入力する画像入力手段と、該画像入力手段により入力された画像のうちのひとつを基準画像とし、該基準画像中の注目画素を含む小領域をテンプレート画像として作成するテンプレート画像作成手段と、前記テンプレート画像作成手段により作成されたテンプレート画像の画像特徴を演算するテンプレート画像特徴演算手段と、前記テンプレート画像内の画素の画素値と探索画像内の画素の画素値の差を演算する画素値差演算手段と、該画素値差演算手段からの出力を変換する画素値差変換手段と、該画素値差変換手段の出力に基づいて類似度を算出する類似度演算手段と、該類似度演算手段で算出された類似度に基づいて基準画像中の注目画素に対する探索画像の対応点を抽出する対応点抽出手段とを有し、前記テンプレート画像特徴演算手段の出力に基づいて、前記画素値差変換手段を制御する画素値差変換制御手段と、を備えたことを特徴とする画像対応点抽出装置。

（７）前記画素値差変換手段が前記画素値差演算手段からの出力を不連続関数に基づいて変換することを特徴とする前記（６）に記載の画像対応点抽出装置。

（８）前記画素値差変換手段が前記画素値差演算手段からの出力を非線形関数に基づいて変換することを特徴とする前記（６）に記載の画像対応点抽出装置。

（９）前記テンプレート画像特徴演算手段がテンプレート画像内の画素の画素値の分散を演算することを特徴とする前記（６）から（８）のいずれか一つに記載の画像対応点抽出装置。

（１０）前記テンプレート画像特徴演算手段がテンプレート画像内の画素の画素値の微分値を演算することを特徴とする前記（６）から（８）のいずれか一つに記載の画像対応点抽出装置。

（１１）前記（１）から（５）のいずれか一つに記載の画像対応点抽出方法を実行するプログラムを外部読み出し可能に記憶する記憶媒体。

本発明によれば、基準画像中のテンプレート画像内の画素の画素値とテンプレート画像と比較される探索画像中の小領域内の画素の画素値の差を変換する関数と該画素値の差を変換する関数によって変換された各画素における変換値を用いて類似度を算出する関数により構成された類似度の評価関数に用い、かつ、テンプレート画像の画像特徴に応じて前記画素値の差を変換する関数を制御することにより、バウンダリ・オーバーリーチ、特徴の少ない領域、および同じような模様が繰り返し存在する領域においても比較的少ない計算量で精度の高い対応点抽出が可能な画像対応点抽出方法、画像対応点抽出装置、及び記憶媒体を提供できる。

以下、本発明の各実施の形態を図面に基づき詳細に説明する。

（第１の実施の形態）
まず、本発明の第１の実施の形態を図１，図２を参照して説明する。

図１は、本実施の形態における画像対応点抽出装置の構成を示すブロック図である。同図において、１０１は視点の異なる位置に配置された複数台のカメラ、または、時系列に撮像を行うカメラなどの画像入力部である。１０２は基準画像を格納する基準画像メモリ、１０３は探索される画像を格納する探索画像メモリである。１０４は基準画像からテンプレートを作成するテンプレート画像作成部、１０５はテンプレート画像の画像特徴を判定するテンプレート画像特徴判定部である。類似度評価関数演算部１０６はテンプレート画像と探索画像の各画素の差分を演算する差分演算部１０７、差分を変換する関数を演算する差分変換演算部１０８、および差分変換関数の演算結果から類似度を算出する類似度演算部１０９から構成される。１１０は類似度評価関数演算部の結果から類似度が最も高くなる点を対応点と決定する対応点決定部である。

図１の装置の動作について次に説明する。各部の演算処理に関しての詳細は後述する。まず、画像入力部１０１から視点の異なる位置で撮影された複数枚の画像、または、異なる時刻に撮影された複数枚の画像データが入力される。その入力された画像データのうち任意の基準となる画像が基準画像メモリ１０２に、他の対応点探索を行う画像が探索画像メモリ１０３に格納される。テンプレート画像作成部１０４は基準画像メモリ１０２内の画像データから任意の位置、サイズの領域を抽出することでテンプレート画像を作成し、テンプレート画像特徴判定部１０５、および、類似度評価関数演算部１０６にテンプレート画像データを供給する。テンプレート画像特徴判定部１０５では供給されたテンプレート画像データの画像特徴を演算し、演算結果に応じた信号を差分変換演算部１０８に出力する。

類似度評価関数演算部１０６を構成する差分演算部１０７はテンプレート画像と探索画像の各画素の画素値の差分を演算し、差分変換演算部１０８に結果を出力する。差分変換演算部１０８はテンプレート画像特徴判定部１０５からの信号に応じて差分変換関数の変更を行い、差分演算部１０７から出力された差分をテンプレート画像特徴に応じて変更された差分変換関数に基づいて変換し、変換結果を類似度演算部１０９に供給する。類似度演算部では差分変換演算部１０８から供給される各画素についてのテンプレート画像と探索画像の探索領域内の画素値の差分変換値をもとにテンプレート画像と探索画像の類似度評価値を演算し、その結果を対応点決定部１１０に供給する。対応点決定部１１０は供給された探索領域内の各点の類似度評価値から、類似度評価値が最大となる点を対応点として決定し、対応点を出力する。

次に本実施の形態における画像対応点抽出方法の処理手順を図２のフローチャートを用いて説明する。

ステップＳ２０１で基準画像と探索画像が入力され、ステップＳ２０２で基準画像中の対応点を抽出する画素を含む小領域をテンプレート画像として抽出する。テンプレート形状およびサイズは画像特徴、対応点抽出精度に応じて任意に設定してよい。ステップＳ２０３では、ステップＳ２０２で作成されたテンプレート画像の画像特徴を演算する。画像特徴として本実施の形態では（４）式を用いて計算されるテンプレート画像内の画素値の分散を用いる。

ここで、σ^２はテンプレート画像内の画素値の分散を、Ｔ（ｉ，ｊ）はテンプレート画像内の画素値を、

はテンプレート画像内の画素値の平均値を、Ｔ_ｎはテンプレート画像内の画素数を示している。分散σ^２の値が小さければテンプレート画像が低特徴であり、大きければテンプレート画像内に強い特徴があると判断できるため、この分散の値によりテンプレート画像の画像特徴を判定することが可能である。ステップＳ２０４ではテンプレート画像と探索画像の各画素ごとの差分を変換する差分変換関数をステップＳ２０３で判定されたテンプレート画像特徴により変更する。差分変換関数には本実施の形態では図３に示されるような不連続な関数を用いることとする。この関数を用いるとテンプレート画像と探索画像の画素値の差分はある所定のしきい値diff_thで不連続的に変換され、diff_th未満では差分がそのまま変換値となり、しきい値diff_th以上では変換値は一定値（図３中Ｐ_th）に変換される。即ち、この関数を用いると差分がしきい値diff_th以上の場合は類似していない画素として変換値を一定の値にし、しきい値diff_th未満の場合は類似している画素としてその差分を類似度へ寄与させることで類似している画素の類似度への寄与を強めることができる。このような変換を行うことにより、テンプレート内に異なる奥行き、あるいは、動きをもつ物体が混在する領域においても正確な対応点抽出が可能であり、類似している画素についてはその差分が類似度に寄与しているため、特徴の少ない領域または同じような模様が繰り返し発生する領域でも正確な対応点抽出が可能である。

また、ステップＳ２０４ではステップＳ２０３で判定された画像特徴により差分変換関数が変更される。本実施の形態ではステップＳ２０３で演算されたテンプレート内の画素値の分散の値によりしきい値diff_th以上の差分に対する変換値Ｐ_thを変更する。分散が小さく画像が低特徴であると判定された領域では、しきい値diff_th以上の差分に対する変換値Ｐ_thをしきい値diff_thと同値とする。このような変換を行うことにより、ノイズが存在するテクスチャーの弱い領域でも、しきい値diff_th以上の大きさのノイズの類似度への寄与を一定にすることでノイズによる誤対応を抑制でき正確な対応点抽出が可能となる。分散が大きく画像特徴が強いと判定された領域では、しきい値diff_th以上の差分に対する変換値Ｐ_thを最大値Ｐ_maxで一定とする。この変換により、テンプレート内で類似している画素数が類似度に対して大きく寄与するため物体の境界部においても正確な対応点抽出が可能である。このようにテンプレート画像の画像特徴に応じて変換関数を変更することで画像領域に適した類似度評価値演算を行うことができる。

ステップＳ２０５ではテンプレート画像と探索画像の各画素について画素値の差分の演算を行う。ステップＳ２０６では、ステップＳ２０４で変更された差分変換関数を用いてステップＳ２０５で演算された差分の変換を行う。

ステップＳ２０７ではステップＳ２０６で演算された各画素の差分変換値をもとにテンプレート画像について類似度を算出する。本実施の形態では類似度Ｓの算出に次式を用いる。

ここで、Ｐ（ｉ，ｊ）はテンプレート画像と探索画像の各画素の差分の変換値である。本実施形態では、各画素についての単純な和を計算しているが、テンプレート画像領域に応じて画素ごとに重みづけをした加重和を用いてもよい。この類似度評価関数を用いた場合、最大の類似度は１、最小の類似度は０であり、テンプレート画像と探索画像が類似しているほどその値は高くなる。類似度の演算結果は探索画像中の探索範囲内の各点の座標と共に保持される。

ステップＳ２０８では、探索画像中の探索範囲内全ての点についてステップＳ２０５〜Ｓ２０７の処理が行われたか否かを判定し、処理が完了していなければステップＳ２０５に戻り探索範囲内の次の点に関してステップＳ２０５〜Ｓ２０７の処理を繰り返す。完了した場合、ステップＳ２０９において類似度が最大となる探索画像中の点を対応点と決定する。

上記説明したようにテンプレート画像と探索画像の各画素の差分を不連続な関数で変換し、その変換値をもとに類似度を評価することで類似している画素と類似していない画素とで類似度への寄与を変更することができ、なおかつ、テンプレート画像の画像特徴に応じて差分の変換関数を変更することで類似している画素と類似していない画素それぞれの画像領域に適した類似度への寄与を得ることができるため、特徴の少ない領域、同じような模様が繰り返す領域、および、異なる奥行きあるいは異なる動きをもつ複数の物体が混在する領域においても正確な対応点抽出が可能である。

（第２の実施の形態）
次に、本発明の第２の実施の形態について図１および図２を用いて説明する。本実施形態における画像対応点抽出装置の構成および画像対応点抽出方法の処理手順は第１の実施の形態と同様であるが、装置を構成する各部分および各処理手順の処理内容が異なる。第１の実施の形態と同一の装置構成部分および処理手順については説明を省略する。

本実施の形態における装置構成は図１に示すように、画像入力１０１、基準画像メモリ１０２、探索画像メモリ１０３、テンプレート画像作成部１０４、テンプレート画像特徴判定部１０５、類似度評価関数演算部１０６、および対応点決定部１１０から構成される。類似度評価関数演算部１０６は、差分演算部１０７、差分変換演算部１０８、類似度演算部１０９の３つの部分から構成される。本実施の形態における装置と第１の実施の形態における装置の相違はテンプレート画像特徴判定部１０５と差分変換演算部１０８の処理内容であり、処理内容については後述する。

本実施の形態における画像対応点抽出方法の処理手順を図２に従って説明する。

ステップＳ２０１で基準画像と探索画像が入力され、ステップＳ２０２で基準画像中からテンプレート画像が作成される。ステップＳ２０３では、ステップＳ２０２で作成されたテンプレート画像の画像特徴を演算する。本実施の形態においては第１の実施の形態と異なり、テンプレート画像内の画素値の微分値の２乗和Ｄ^２を画像特徴として演算する。

ここでｄ（ｉ，ｊ）は座標（ｉ，ｊ）の画素値の微分値を示しており、１次微分フィルターを用いて計算される。分散と同様、Ｄ^２の値が小さければテンプレート画像が低特徴であり、大きければテンプレート画像内に強い特徴があると判断でき、また、微分値を用いることで画像の特徴が強調されるため、画像特徴を高感度で判定することが可能である。本実施の形態では、Ｄ^２の値が小さい場合は各画素の微分値が小さくかつ画素値が変化する位置が少ないとして画像のテクスチャーの弱い領域であり、Ｄ^２の値が大きい場合は各画素の微分値が大きくかつ画素値が変化する位置が多いとして画像のテクスチャーが細かく強い領域であり、Ｄ^２の値がその中間である場合は物体の輪郭部など画像領域中の一部の微分値が高いとして複数の物体が混在している領域であるとテンプレート画像領域を判定する。

ステップＳ２０３の結果を基にステップＳ２０４ではテンプレート画像の画像領域特徴に応じて、テンプレート画像と探索画像の差分を変換する関数を変更する。本実施の形態においては差分の変換演算に図４に示す関数を用いる。この関数は第１の実施の形態と同様、ある所定のしきい値diff_th未満では差分はそのまま変換値となり、しきい値diff_th以上では一定値（図４中Ｐ_th）に変換される。本実施の形態における第１の実施の形態との相違はステップＳ２０３におけるテンプレート画像の画像特徴の判定結果に応じてしきい値diff_thが変更されることである。

ステップＳ２０３においてテンプレート画像がテクスチャーの弱い領域であると判定された場合には、テンプレート画像と探索画像の画素値の差分は所定のしきい値diff_th未満では差分がそのまま変換値となり、diff_th以上では変換値Ｐ_thはdiff_thと同値で一定となる。このような変換を行うことにより、ノイズが存在するテクスチャーの弱い領域でも、しきい値diff_th以上の大きさのノイズの類似度への寄与を一定にすることでノイズによる誤対応を抑制でき精度の高い対応点抽出が可能となる。テクスチャーが細かく強い領域であると判定された場合はしきい値diff_thを高く設定する。このような領域ではテンプレート画像と探索画像の間で幾何学変化が微小でも発生した場合に画素値の差分が大きくなってしまうため、安定した対応点抽出を行うには差分を考慮する範囲を広くくしなければならなく、しきい値diff_thを高く設定し、画素値の差分がそのまま変換値となる範囲を広くしている。

しきい値diff_th以上の差分の変換値Ｐ_thはdiff_thと同値である。複数の物体が混在している領域であると判定された場合は、しきい値diff_th以上の差分に対する変換値Ｐ_thをＰ_maxで一定とする。この変換により、テンプレート内で類似している画素数が類似度に対して大きく寄与するため物体の境界部においても正確な対応点抽出が可能である。

ステップＳ２０５ではテンプレート画像と探索画像の各画素について画素値の差分を演算を行い、ステップＳ２０６では、ステップＳ２０４で変更された差分変換関数を用いてステップＳ２０５で演算された差分の変換を行う。ステップＳ２０７ではステップＳ２０６で演算された各画素の差分変換値をもとに第１の実施の形態と同様な演算でテンプレート画像について類似度を算出し、探索画像中の探索範囲内の各点の座標と類似度を保持する。

ステップＳ２０８では、探索画像中の探索範囲内全ての点についてステップＳ２０５〜Ｓ２０７の処理が行われたか否かを判定し、処理が完了していなければステップＳ２０５に戻り探索範囲内の次の点に関してステップＳ２０５〜Ｓ２０７の処理を繰り返す。完了した場合、ステップＳ２０９において類似度が最大となる探索画像中の点を対応点と決定する。

上記説明したように本実施の形態では、差分を一定値に変換するその値に加え、差分考慮する範囲を設定するしきい値を画像に応じて変更することでより安定、かつ、精度の高い対応点抽出が可能である。また、テンプレート画像の画像特徴を微分値の２乗和で判定しているため画像特徴を高感度で判定でき、画像領域に適した類似度演算を行うことができる。

上記説明した実施の形態では、テンプレート画像と探索画像の各画素の差分を用いているが、画素値の２乗差などを用いても差し支えない。

また、上記説明した実施の形態では、画素値の差の変換演算に不連続関数を適用しているが、上述の関数と同様な効果を期待できる急峻に変化する連続な非線形関数を適用してもよい。また、画素値の差の変換演算を一つの関数の演算で行っているが、複数の関数の組み合わせによる変換演算を適用してもよい。また、画素値の差を関数により変換しているが、画素値の差と変換値の対応を示すルックアップ・テーブルを用いて変換を行ってもよい。

また、上記説明した実施の形態では、テンプレート画像領域の特徴の判定によりその領域ごとに画素値の差の変換関数を変更しているが、テンプレート画像の画像特徴量に対し連続的に変換関数を変更してもよい。

また、本発明は、上記説明した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することにも適用できる。

この場合、記憶媒体から読み出されたプログラムコード自体が、上記説明した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、上記説明した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって、上記説明した実施の形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上記説明した実施の形態の機能が実現される場合も含まれることは言うまでもない。

本発明の第１の実施の形態における画像対応点抽出装置の構成を示すブロック図である。 本発明の第１の実施の形態における画像対応点抽出処理手順を示すフローチャートである。 本発明の第１の実施の形態における画素値の差分変換関数を示す図である。 本発明の第２の実施の形態における画素値の差分変換関数を示す図である。

符号の説明

１０１ 画像入力部
１０２ 基準画像メモリ
１０３ 探索画像メモリ
１０４ テンプレート画像作成部
１０５ テンプレート画像領域特徴判定部
１０６ 類似度評価関数演算部
１０７ 差分演算部
１０８ 差分変換演算部
１０９ 類似度演算部
１１０ 対応点決定部

Claims (11)

1. 複数の画像間の対応を、一方の画像を基準画像、他方の画像を探索画像として、該基準画像の注目点を含む小領域と該探索画像の小領域との類似度に基づいて求める画像対応点抽出方法において、
   前記類似度を評価する関数が、前記基準画像の小領域内の画素の画素値と前記探索画像の小領域内の画素の画素値との差を変換する関数と、該画素値の差を変換する関数によって変換された値を用いて類似度を算出する関数から構成され、かつ、
   前記画素値の差を変換する関数が前記基準画像の小領域の特徴に応じて変更されることを特徴とする画像対応点抽出方法。
2. 前記画素値の差を変換する関数が不連続な関数であることを特徴とする請求項１に記載の画像対応点抽出方法。
3. 前記画素値の差を変換する関数が非線形な関数であることを特徴とする請求項１に記載の画像対応点抽出方法。
4. 前記基準画像の小領域の特徴が小領域内の画素の画素値の分散であることを特徴とする請求項１から３のいずれか一つに記載の画像対応点抽出方法。
5. 前記基準画像の小領域の特徴が小領域内の画素の画素値の微分値を演算した値であることを特徴とする請求項１から３のいずれか一つに記載の画像対応点抽出方法。
6. 複数の画像間の対応を、一方の画像を基準画像、他方の画像を探索画像として、該基準画像の注目点を含む小領域と該探索画像の小領域との類似度に基づいて求める画像対応点抽出装置において、
   複数の画像データを入力する画像入力手段と、
   該画像入力手段により入力された画像のうちのひとつを基準画像とし、該基準画像中の注目画素を含む小領域をテンプレート画像として作成するテンプレート画像作成手段と、
   前記テンプレート画像作成手段により作成されたテンプレート画像の画像特徴を演算するテンプレート画像特徴演算手段と、
   前記テンプレート画像内の画素の画素値と探索画像内の画素の画素値の差を演算する画素値差演算手段と、
   該画素値差演算手段からの出力を変換する画素値差変換手段と、
   該画素値差変換手段の出力に基づいて類似度を算出する類似度演算手段と、
   該類似度演算手段で算出された類似度に基づいて基準画像中の注目画素に対する探索画像の対応点を抽出する対応点抽出手段とを有し、
   前記テンプレート画像特徴演算手段の出力に基づいて、前記画素値差変換手段を制御する画素値差変換制御手段と、
   を備えたことを特徴とする画像対応点抽出装置。
7. 前記画素値差変換手段が前記画素値差演算手段からの出力を不連続関数に基づいて変換することを特徴とする請求項６に記載の画像対応点抽出装置。
8. 前記画素値差変換手段が前記画素値差演算手段からの出力を非線形関数に基づいて変換することを特徴とする請求項６に記載の画像対応点抽出装置。
9. 前記テンプレート画像特徴演算手段がテンプレート画像内の画素の画素値の分散を演算することを特徴とする請求項６から８のいずれか一つに記載の画像対応点抽出装置。
10. 前記テンプレート画像特徴演算手段がテンプレート画像内の画素の画素値の微分値を演算することを特徴とする請求項６から８のいずれか一つに記載の画像対応点抽出装置。
11. 請求項１から５のいずれか一つに記載の画像対応点抽出方法を実行するプログラムを外部読み出し可能に記憶する記憶媒体。

Images