JP2009146296A - 画像対応点探索装置ならびにそれを用いる測距装置および画像動き検出装置 - Google Patents

Abstract

【課題】ステレオカメラからの入力画像間の対応点をサブピクセル単位で探索し、三次元計測を行うにあたって、高速かつ精度の良い対応点探索を行えるようにする。
【解決手段】演算処理装置５に、基準画像上の注目点に対する参照画像上の複数の対応点候補位置における類似度演算結果を元に、最も類似度の高い位置を検出する類似度ピーク探索部１１と、求められた位置周辺の対応点候補位置およびその類似度から、サブピクセル対応位置を演算するＳＡＤ法による第１のサブピクセル対応位置演算部１２と、２つの入力画像に設定したウインドウ内のパターンを周波数分解し、振幅成分を抑制した信号の類似度に基づいてサブピクセル対応位置を演算するＰＯＣ法による第２のサブピクセル対応位置演算部１３と、前記類似度ピーク探索部１１で求められた類似度ピーク位置における類似度の信頼度に応じて２つの演算部１２，１３を選択する選択部１４とを設ける。
【選択図】図３

Description

本発明は、画像対応点探索装置ならびにそれを用いる測距装置および画像動き検出装置に関する。

測距や画像の動きを検出するにあたって、２つの画像の対応点探索が行われる。そして、たとえば車載用測距装置では、遠方の先行車までの距離を高精度に測定したいというニーズとともに、小型化による設置し易さが求められる。このような高精度化の方法として、焦点距離を大きくする、或いは基線長を大きくするという方法が考えられるが、前者では視野範囲が狭くなり、後者では装置が大型化するという欠点がある。そこで、このような欠点の無い高精度化の方法として、対応付けのサブピクセル化がある。ステレオ画像の対応付け演算を画素単位以下の分解能で行うことによって、ステレオ３次元計測の分解能を向上させることができる。そして、特許文献１のステレオ画像処理装置では、ステレオ画像のサブピクセル処理例が示されている。
特開２００５−２５０９９４号公報

上述の従来技術では、サブピクセル処理は、ＳＡＤ法による補間を用いている。このため、低コントラストの領域では、ノイズ成分が支配的になるので、類似度の補間の精度が悪くなるという問題がある。

本発明の目的は、高速かつ精度の良い対応点探索を行うことができる画像対応点探索装置ならびにそれを用いる測距装置および画像動き検出装置を提供することである。

本発明の画像対応点探索装置は、２つの入力画像間の対応点を探索するための装置において、一方の画像上の注目点に対する他方の画像上の複数の対応点候補位置における類似度演算結果を元に、最も類似度の高い対応点候補位置を検出する類似度ピーク探索手段と、前記類似度ピーク探索手段で求められた類似度ピーク位置周辺の対応点候補位置およびその類似度から、サブピクセル対応位置を演算する第１のサブピクセル対応位置演算手段と、前記２つの入力画像に設定したウインドウ内のパターンを周波数分解し、振幅成分を抑制した信号の類似度に基づいて、サブピクセル対応位置を演算する第２のサブピクセル対応位置演算手段と、前記類似度ピーク探索手段で求められた類似度ピーク位置における類似度の信頼度に応じて、前記信頼度が相対的に高い場合には前記第１のサブピクセル対応位置演算手段を選択して対応点探索を行い、前記信頼度が低い場合には前記第２のサブピクセル対応位置演算手段を選択して対応点探索を行う選択手段とを含むことを特徴とする。

上記の構成によれば、ステレオカメラからの入力画像や、単体のカメラの時系列画像などの２つの入力画像間の対応点をサブピクセル単位で探索するにあたって、ＳＡＤ法などの類似度ピーク位置周辺の対応点候補位置およびその類似度から、サブピクセル対応位置を演算する第１のサブピクセル対応位置演算手段と、ＰＯＣ法などの２つの入力画像に設定したウインドウ内のパターンを周波数分解し、振幅成分を抑制した信号の類似度に基づいて、サブピクセル対応位置を演算する第２のサブピクセル対応位置演算手段との２つのサブピクセル対応位置演算手段を設けるとともに、一方の画像上の注目点に対する他方の画像上の複数の対応点候補位置における類似度演算結果を元に、最も類似度の高い対応点候補位置を検出する類似度ピーク探索手段と、その類似度ピーク探索手段で求められた類似度ピーク位置における類似度の信頼度に応じて、前記信頼度が相対的に高い場合には前記第１のサブピクセル対応位置演算手段を選択して対応点探索を行い、前記信頼度が低い場合には前記第２のサブピクセル対応位置演算手段を選択して対応点探索を行う選択手段とをさらに設ける。

ここで、低コントラストの領域は、ノイズ成分が大きいので、類似度の補間の精度が悪くなり、よりロバストな類似度演算手法を用いる必要がある。また、類似度のピークが明確になっていない領域も同様である。これに対して、ＰＯＣ処理などの領域を周波数分解し、振幅成分を抑制した信号の類似度に基づいてサブピクセル対応位置を演算する手法では、演算処理が複雑であるものの、よりロバストな対応点探索を可能にする。そこで、前記類似度ピーク探索手段で求められた２つの入力画像間の信頼性が相対的に高い場合には第１のサブピクセル対応位置演算手段を選択し、低い場合には第２のサブピクセル対応位置演算手段を選択する。

こうして類似度ピーク探索手段で求められた２つの入力画像間の類似度演算による対応点探索の結果の信頼性でサブピクセル処理の方法を変えることで、サブピクセル単位で対応点を探索するにあたって、処理時間のかかる前記第２のサブピクセル対応位置演算手段におけるサブピクセル対応点探索アルゴリズムであるＰＯＣ処理などを必要最小限な箇所で済ますことができ、高速かつ精度の良い対応点探索を行うことができる。

また、本発明の画像対応点探索装置は、前記選択手段における信頼性評価方法が、類似度ピークの画素における類似度に基づくことを特徴とする。

上記の構成によれば、対応付け位置候補演算時に既に演算されている類似度を評価値として用いることで、簡単に判定可能となる。

さらにまた、本発明の画像対応点探索装置は、前記選択手段における信頼性評価方法が、類似度ピークの画素近傍の類似度分布に基づくことを特徴とする。

上記の構成によれば、対応付け候補位置周辺の類似度情報を用いることで、評価値の精度を上げることができる。

また、本発明の画像対応点探索装置は、前記選択手段における信頼性評価方法が、類似度基準ウインドウ内のコントラスト値に基づくことを特徴とする。

上記の構成によれば、類似度評価するウインドウのコントラスト値が低い場合は、信号の中に振幅成分が少ないので、サブピクセル対応付けには、振幅成分を抑制した位相比較が効果的である。

さらにまた、本発明の画像対応点探索装置は、前記第２のサブピクセル対応位置演算手段における周波数分解の手法が、ＦＦＴ、ＤＦＴ、ＤＣＴ、ＤＳＴ、ウエーブレット変換、アダマール変換のいずれかであることを特徴とする。

上記の構成によれば、周波数分解手法として、一般的に広く用いられ、性質が安定した手法で好適である。

また、本発明の画像対応点探索装置は、前記第２のサブピクセル対応位置演算手段におけるサブピクセル対応位置の演算処理が、ＰＯＣ（位相限定相関法）であることを特徴とする。

上記の構成によれば、周波数分解の手法としてＦＦＴを利用することで、信号を振幅成分と位相成分とに分解でき、かつ振幅成分を抑制することによって、ロバストかつ高精度な対応付けが可能となる。

さらにまた、本発明の測距装置は、前記の画像対応点探索装置を用い、前記２つの入力画像としてステレオカメラの出力画像を用いることを特徴とする。

上記の構成によれば、高速かつ精度の良い対応点探索を行うことができる測距装置を実現することができる。

また、本発明の画像動き検出装置は、前記の画像対応点探索装置を用い、前記２つの入力画像として単体のカメラの時系列画像を用いることを特徴とする。

上記の構成によれば、高速かつ精度の良い対応点探索を行うことができる画像動き検出装置を実現することができる。

本発明の画像対応点探索装置は、以上のように、ステレオカメラからの入力画像や、単体のカメラの時系列画像などの２つの入力画像間の対応点をサブピクセル単位で探索するにあたって、ＳＡＤ法などの類似度ピーク位置周辺の対応点候補位置およびその類似度から、サブピクセル対応位置を演算する第１のサブピクセル対応位置演算手段と、ＰＯＣ法などの２つの入力画像に設定したウインドウ内のパターンを周波数分解し、振幅成分を抑制した信号の類似度に基づいて、サブピクセル対応位置を演算する第２のサブピクセル対応位置演算手段との２つのサブピクセル対応位置演算手段を設けるとともに、一方の画像上の注目点に対する他方の画像上の複数の対応点候補位置における類似度演算結果を元に、最も類似度の高い対応点候補位置を検出する類似度ピーク探索手段と、その類似度ピーク探索手段で求められた類似度ピーク位置における類似度の信頼度に応じて、前記信頼度が相対的に高い場合には前記第１のサブピクセル対応位置演算手段を選択して対応点探索を行い、前記信頼度が低い場合には前記第２のサブピクセル対応位置演算手段を選択して対応点探索を行う選択手段とをさらに設ける。

それゆえ、類似度ピーク探索手段で求められた２つの入力画像間の類似度演算による対応点探索の結果の信頼性でサブピクセル処理の方法を変えることで、サブピクセル単位で対応点を探索するにあたって、処理時間のかかる前記第２のサブピクセル対応位置演算手段におけるサブピクセル対応点探索アルゴリズムであるＰＯＣ処理などを必要最小限な箇所で済ますことができ、高速かつ精度の良い対応点探索を行うことができる。

さらにまた、本発明の測距装置は、以上のように、前記の画像対応点探索装置を用い、前記２つの入力画像としてステレオカメラの出力画像を用いる。

それゆえ、高速かつ精度の良い対応点探索を行うことができる測距装置を実現することができる。

また、本発明の画像動き検出装置は、以上のように、前記の画像対応点探索装置を用い、前記２つの入力画像として単体のカメラの時系列画像を用いる。

それゆえ、高速かつ精度の良い対応点探索を行うことができる画像動き検出装置を実現することができる。

［実施の形態１］
図１は、本発明の実施の第１の形態に係る測距装置１の概略構成を示す図である。この測距装置１は、被写体２の２次元入力画像を得るステレオカメラ３，４と、それらのステレオカメラ３，４の出力画像から被写体２の各部までの距離を演算する演算処理装置５と、その演算処理結果である計測された被写体２の３次元形状を表示する表示装置６とを備えて構成される。

前記ステレオカメラ３，４は、被写体２を同じタイミングで撮影した左右一対の画像（基準画像と参照画像）を出力する。本実施の形態においては、説明の簡単化の為に、ステレオカメラ３，４の収差は良好に補正されており、かつ相互に平行に設置されているものとする。また、実際のハードがこのような条件に無くても、画像処理によって、同等の画像に変換することも可能である。ステレオカメラ３，４から出力された画像は、演算処理装置５に入力され、被写体２の３次元形状が演算され、その結果が、たとえば前記表示装置６などに表示される。車載の測距装置である場合には、演算処理装置５からの出力として、先行車への接近警告や、自動的（予防安全）な制動などが考えられる。

図２は、前記ステレオカメラ３，４の出力画像に対する演算処理装置５での３次元演算（距離演算）の手法を説明するための図である。前記ステレオカメラ３，４としては、少なくとも焦点距離（ｆ）、撮像面（ＣＣＤ）３ｂ，４ｂの画素数、１画素の大きさ（μ）が相互に等しいものを用い、所定の基線長（Ｂ）だけ前記左右に離間させて光軸３ａ，４ａを相互に平行に配置して被写体２を撮影したとき、撮像面３ｂ，４ｂ上の視差（ずれ画素数）がΔｄ（＝ｄ１＋ｄ２）であると、被写体２までの距離（Ｄ）は、
Ｄ＝ｆ・Ｂ／Δｄ・・・（１）
で求めることができる。

また、被写体２の各部の３次元位置（Ｘ，Ｙ，Ｚ）は、ｘ、ｙを画素上での位置とすると、以下で計算される。

Ｘ＝ｘ・Ｄ／ｆ・・・（２）
Ｙ＝ｙ・Ｄ／ｆ・・・（３）
Ｚ＝Ｄ・・・（４）
ここで、たとえば車載用のステレオカメラには、前述のように遠方の先行車までの距離を高精度に測定したいというニーズとともに、小型化による設置し易さも求められる。

ステレオカメラの奥行き方向分解能ΔＺは、
ΔＺ＝（Ｄ^２／Ｂ）・（１／ｆ）・Δｄ・・・（５）
で表されることから、高精度化の方法として、焦点距離ｆを大きくする、基線長Ｂを大きくするという方法が考えられる。ところが、前述のように前者では視野範囲が狭くなり、後者では装置が大型化するという欠点がある。上記欠点の無い高精度化の方法として、対応付けのサブピクセル化がある。対応付け演算を画素単位以下の分解能で行うことで、視差の分解能Δｄを小さくして、ステレオ３次元計測の分解能を細かくできるからである。

そこで、図３に、前記３次元位置（Ｘ，Ｙ，Ｚ）を演算する演算処理装置５のブロック図を示す。また、図４はその演算方法を説明するための図であり、図５は演算方法を説明するためのフローチャートである。演算処理装置５は、図４を参照して、基準画像３ｃ上の注目点Ｐに対する参照画像４ｃ上の複数の対応点候補位置における類似度を演算し、その結果を元に、最も類似度の高い対応点候補位置を検出する類似度ピーク探索部１１と、前記類似度ピーク探索部１１で求められた類似度ピーク位置周辺の対応点候補位置およびその類似度から、サブピクセル対応位置を演算する第１のサブピクセル対応位置演算部１２と、前記２つの入力画像に設定したウインドウ内のパターンを周波数分解し、振幅成分を抑制した信号の類似度に基づいて、サブピクセル対応位置を演算する第２のサブピクセル対応位置演算部１３と、前記類似度ピーク探索部１１で求められた類似度ピーク位置における類似度の信頼度に応じて、前記信頼度が相対的に高い場合には前記第１のサブピクセル対応位置演算部１２を選択して対応点探索を行い、前記信頼度が低い場合には前記第２のサブピクセル対応位置演算部１３を選択して対応点探索を行う方式選択部１４と、前記第１または第２のサブピクセル対応位置演算部１２，１３で求められたサブピクセル精度の対応位置から、被写体２の各部の３次元位置（Ｘ，Ｙ，Ｚ）を演算する３次元演算部１５とを備えて構成される。

図５を参照して、先ず類似度ピーク探索部１１は、ステップＳ１で、基準画像３ｃ上の或る注目点Ｐ（単一の画素或いは複数の画素ブロック）が参照画像４ｃ上のどこにあるのかを、基準画像３ｃ上と同じ位置から始めて、参照画像４ｃ上を基線長方向に位置を変えながら、それぞれの位置で相関演算を行う。総ての画素について相関演算を終了すると、その相関値から、前記基準画像３ｃ上に設定された注目点Ｐに対して、参照画像４ｃ上で類似度（信頼性）の最も大きくなる類似度ピークの探索を行う。次にステップＳ２では、方式選択部１４が、前記類似度ピークの信頼性に基づき、第１または第２のサブピクセル対応位置演算部１２，１３の内、いずれかの選択を行い、ステップＳ３またはＳ４で、その演算部へ画像データを入力して、それぞれで選択された手法によって、サブピクセル対応付け演算が行われる。ステップＳ５では、前記ステップＳ３またはＳ４での対応付け結果から、注目点Ｐの３次元演算が行われる。

図６は、前記類似度ピーク探索部１１の探索動作を説明するための図である。収差の補正された光学系を用いた場合、基準画像３ｃ上の注目点Ｐに対する参照画像４ｃ上の対応点は、エピポーラ線上にあるので、参照画像４ｃ上のウインドウの走査は、直線上で走査すればよい。さらに、平行化ステレオの場合は、基線に平行な座標上（図ではｘ座標）で走査すればよい。以下にパターン間の距離計算方法の例を挙げる。前記基準画像３ｃ上の画像が参照画像４ｃ上のどこにあるのかを探索するにあたって、前記基準画像３ｃ上で、縦横方向にそれぞれＷ画素分の大きさを持つウインドウを設定し、同様に、参照画像４ｃ上にも同じ大きさを持つウインドウを設定し、参照画像４ｃ上において、基準画像３ｃ上におけるウインドウと同じ位置から始めて、基線長方向に或る範囲で位置を変えながら、それぞれの位置で相関値、ＳＡＤ値、ＳＳＤ値の演算を以下のように行う。それらの演算には、ウインドウの同じ対応画素の明るさＩ_１，Ｉ_２が用いられる。

先ず、相関値の計算は、以下である。

次に、ＳＡＤ値の計算は、以下である。

続いて、ＳＳＤ値の計算は、以下である。

そして、パターン間距離から、類似度値への変換は、パターン間距離が近い程、類似度が高いので、パターン間距離が０のときに類似度値１となるように、次式で変換する。
Ｓ（ｄ）＝１／（Ｄ（ｄ）＋１）・・・（９）

図７は、前記方式選択部１４の選択動作を説明するための図である。この方式選択部１４は、前記類似度ピーク探索部１１において、前記式９で示すように求められた類似度ピーク位置における類似度Ｓ（ｄ）の信頼性に基づいて、前記類似度の演算結果の信頼性が相対的に高い場合には第１のサブピクセル対応位置演算部１２を選択し、前記信頼性が低い場合には第２のサブピクセル対応位置演算部１３を選択し、前記類似度の演算結果を与えて、後述するようにしてサブピクセル単位の対応点座標の演算を行わせる。前記類似度ピークの信頼性は、たとえば以下のようにして評価することができる。

先ず、第１の評価方法は、前記類似度基準ウインドウ内のコントラスト値に基づく。具体的には、ピークの類似度値の値によるもので、類似度演算を行う図７で示すようなウインドウ内パターンのコントラストを下式で計算し、コントラスト値Ｃ（ｄ）に基づいてサブピクセル対応位置演算部１２，１３の選択を行う。

すなわち、白ベタや黒ベタなどのベタ画面では、隣接画素間の輝度Ｉの差が小さく、前記コントラスト値Ｃ（ｄ）が０に近くなるので、このコントラスト値Ｃ（ｄ）の最小値Ｃ（ｄｍｉｎ）が所定の閾値ｔｈ１以上のとき、信頼性が高いとして、第１のサブピクセル対応位置演算部１２を選択し、その他のとき、信頼性が低いとして、第２のサブピクセル対応位置演算部１３を選択するというものである。

また、第２の評価方法は、ピークの類似度値の値に基づく。具体的には、前記式９で求めた類似度Ｓ（ｄ）の最大値Ｓ（ｄｍａｘ）が、図８（ａ）で示すように所定の閾値ｔｈ２以上のとき、信頼性が高いとして、第１のサブピクセル対応位置演算部１２を選択し、図８（ｂ）で示すように前記閾値ｔｈ２未満のとき、信頼性が低いとして、第２のサブピクセル対応位置演算部１３を選択するというものである。この場合、対応付け位置候補演算時に既に演算されている類似度Ｓ（ｄ）を評価値として用いることで、簡単に判定可能となる。

さらにまた、第３の評価方法は、類似度ピークの画素近傍の類似度分布に基づく。具体的には、前記式９で求めた類似度Ｓ（ｄ）の最大値Ｓ（ｄｍａｘ）の画素と、その近傍の画素Ｓ（ｄｍａｘ−１），Ｓ（ｄｍａｘ＋１）；Ｓ（ｄｍａｘ−２），Ｓ（ｄｍａｘ＋２）における類似度値の比率が、図９（ａ）で示すように、
Ａｂｓ（Ｓ（ｄｍａｘ）−Ｓ（ｄｍａｘ−１））≧ｔｈ３ ・・・（１１）
かつ、
Ａｂｓ（Ｓ（ｄｍａｘ）−Ｓ（ｄｍａｘ＋１））≧ｔｈ３ ・・・（１２）
であり、さらに、
Ａｂｓ（Ｓ（ｄｍａｘ）−Ｓ（ｄｍａｘ−２））≧ｔｈ４ ・・・（１３）
かつ、
Ａｂｓ（Ｓ（ｄｍａｘ）−Ｓ（ｄｍａｘ＋２））≧ｔｈ４ ・・・（１４）
のとき、信頼性が高いとして、第１のサブピクセル対応位置演算部１２を選択し、図９（ｂ）で示すように前記閾値ｔｈ３，ｔｈ４未満のとき、信頼性が低いとして、第２のサブピクセル対応位置演算部１３を選択するというものである。この場合、対応付け候補位置周辺の類似度情報を用いるので、評価値の精度を上げることができる。

図１０は、第１のサブピクセル対応位置演算部１２における類似度ピークのサブピクセル演算方法を説明するためのグラフである。前述のようにこの第１のサブピクセル対応位置演算部１２は、前記類似度ピーク探索部１１において演算された類似度ピーク位置における類似度の信頼度が相対的に高い場合に用いられる手法である。このサブピクセル対応位置演算部１２は、前記類似度ピーク演算時に既に計算された類似度ピーク位置周辺の対応点候補位置およびその類似度からサブピクセル対応位置の演算を行うので、演算処理が迅速に行われるという特徴がある。具体的方法として、ＳＡＤ法によるパラボラフィッティング法を説明する。

図１０は、そのパラボラフィッティングを説明するもので、パラボラフィッティングでは、前記式９で求めた類似度Ｓ（ｄ）の最大値Ｓ（ｄｍａｘ）の画素ｄｍａｘ（整数値）と、その前後１画素ｄｍａｘ−１，ｄｍａｘ＋１の類似度Ｓ（ｄｍａｘ−１），Ｓ（ｄｍａｘ＋１）とを用い、前記最大値Ｓ（ｄｍａｘ）の近傍では、類似度Ｓ（ｄ）は放物線Ｓｐ（ｄ）で近似可能として、その係数を類似度Ｓ（ｄｍａｘ−１），Ｓ（ｄｍａｘ），Ｓ（ｄｍａｘ＋１）から求める。具体的には、図１０で示すようにそれら３点Ｓ（ｄｍａｘ−１），Ｓ（ｄｍａｘ＋１）を通る放物線Ｓｐ（ｄ）を描き、そのピーク位置のサブピクセルレベルでの画素位置ｄが直ちに求まり、それをサブピクセル対応位置ｄｓｕｂの推定値とする。

一方、図１１は、第２のサブピクセル対応位置演算部１３の具体的な一構成例を示すブロック図である。前述のようにこの第２のサブピクセル対応位置演算部１３は、前記類似度ピーク探索部１１において演算された類似度ピーク位置における類似度の信頼度が相対的に低い場合に用いられる手法である。このため、類似度の演算結果に信頼性がないことから、第１のサブピクセル対応位置演算部１２のように、既に計算された類似度値を用いることをせず、別のロバストな手法によってサブピクセル対応位置の演算を行う。ロバストな対応付け手法として、振幅成分を抑制した相関法が知られている。前記相関法は、２つの入力画像３ｃ，４ｃに設定したウインドウ内のパターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて類似度演算を行うので、画像の左右カメラ３，４の撮影条件の差や、ノイズなどの影響を受けにくく、ロバストな対応点探索が実現可能である。

前記パターンの周波数分解信号を計算する手法として、高速フーリエ変換（ＦＦＴ）、離散フーリエ変換（ＤＦＴ）、離散コサイン（サイン）変換（ＤＣＴ，ＤＳＴ）、ウエーブレット変換、アダマール変換などが一般的に広く用いられ、性質が安定した手法で好適である。位相限定相関法（ＰＯＣ）は、変換にフーリエ変換を用い、フーリエ級数の振幅成分を抑制した位相成分のみの相関演算を行う。また、ＤＣＴ符号限定相関法では、変換に、離散コサイン変換（ＤＣＴ）を用い、コサイン変換結果の振幅成分を抑制した符合成分のみの相関演算を行う。

以下に位相限定相関法（ＰＯＣ）を例に詳細を説明する。図１１は、ＰＯＣの機能ブロック図である。このＰＯＣ法にあたっては、先ず基準画像３ｃと参照画像４ｃとに、前述の図６で示すように候補領域（ウインドウ）同士のペアを設定領域して、それらの間の相関を計算し、その類似度から、正しい領域ペアであるかどうか判定し、正しい領域ペアと判断された場合に、領域ペア間の位置ズレ量が求められる。図１１は、変換にフーリエ変換を用い、フーリエ級数の振幅成分を抑制した位相成分のみの相関演算を行うようにした場合の処理の流れを示すものであり、前記基準画像３ｃおよび参照画像４ｃは、フーリエ変換部３１，３２においてそれぞれフーリエ変換され、規格化部３３，３４において規格化された後、合成部３５において合成され、逆フーリエ変換部３６において逆フーリエ変換される。図１０を数式で表すと以下のとおりである。

上記ＰＯＣ処理で得られるＰＯＣ値は、図１２に示すように、画像間（基準ウインドウと参照ウインドウ）の移動量の座標に急峻な類似度ピークを持つことが知られており、画像マッチングにおけるロバスト性が高い。そのＰＯＣのピークの高さが、パターン類似度を示す。位置ズレ量（＝視差）、すなわち前記サブピクセル対応位置ｄｓｕｂは、前記ＰＯＣのピーク位置を推定することにより行われる。ＰＯＣ値は離散的に求められるので、ピーク位置をサブピクセルで補間推定することによって、前記のようにサブピクセル単位の高分解な対応点座標を求めることができる。ピーク位置の補間推定方法としては、前述の図１０で示すように、放物線などの関数を、フィッティングして行うことができる。

このように、サブピクセル対応位置の演算処理にＰＯＣ（位相限定相関法）を用い、周波数分解の手法としてＦＦＴを利用することで、信号を振幅成分と位相成分とに分解でき、かつ振幅成分を抑制することによって、ロバストかつ高精度な対応付けが可能となる。

図１３には、前記式２１をグラフで示す。図１３（ａ）は基準画像３ｃ上のウインドウを周波数分解したときの周波数成分の振幅および位相を示し、同様に、図１３（ｂ）は参照画像４ｃ上のウインドウを周波数分解したときの周波数成分の振幅および位相を示す。これらを合成する（複素共役を掛ける）と、図１３（ｃ）で示すように、振幅は掛け合わされて、位相には、ウインドウの位置ずれが直線的に現れる。すなわち、周波数に比例したずれが生じていると、２つの画像は横にずれていることになり、その傾きがずれ量を表している。

以上のように、本実施の形態の測距装置１は、ステレオカメラ３，４からの入力画像間の対応点をサブピクセル単位で探索するにあたって、ＳＡＤ法などの類似度ピーク位置周辺の対応点候補位置およびその類似度から、サブピクセル対応位置を演算する第１のサブピクセル対応位置演算部１２と、ＰＯＣ法などの２つの入力画像に設定したウインドウ内のパターンを周波数分解し、振幅成分を抑制した信号の類似度に基づいて、サブピクセル対応位置を演算する第２のサブピクセル対応位置演算部１３との２つのサブピクセル対応位置演算部１２，１３を設けるとともに、一方の画像上の注目点Ｐに対する他方の画像上の複数の対応点候補位置における類似度演算結果を元に、最も類似度の高い対応点候補位置を検出する類似度ピーク探索部１１と、その類似度ピーク探索部１１で求められた類似度ピーク位置における類似度の信頼度に応じて、前記信頼度が相対的に高い場合には前記第１のサブピクセル対応位置演算部１２を選択して対応点探索を行い、前記信頼度が低い場合には前記第２のサブピクセル対応位置演算部１３を選択して対応点探索を行う方式選択部１４とをさらに設けるので、サブピクセル単位で対応点を探索するにあたって、処理時間のかかる前記第２のサブピクセル対応位置演算部１３におけるサブピクセル対応点探索アルゴリズムであるＰＯＣ処理などを必要最小限な箇所で済ますことができ、高速かつ精度の良い対応点探索を行うことができる測距装置を実現することができる。

［実施の形態２］
図１４は、本発明の実施の第２の形態に係る画像動き検出装置４１の概略構成を示す図である。この画像動き検出装置４１は、前述の測距装置１に類似し、対応する部分には同一の参照符号を付して示し、その説明を省略する。注目すべきは、この画像動き検出装置４１では、同じ２つの入力画像を使用するにあたって、単体のカメラ４２の時系列画像を用いることである。

前記カメラ４２から出力された画像は、演算処理装置４５に順次入力され、後述するようにメモリしておいた所定フレーム以前の画像との対応点が探索され、求められた対応点の動きベクトルが、たとえば前記表示装置６などに表示される。図１４の例では、被写体２となる人物の顔領域の動きベクトルを演算する例を示しており、時間経過に伴って顔が下方に移動しており、頷いていることを表している。このように時系列画像間の画像の動きベクトルを求めるのは、画像の動き領域の切り出し、動き解析、画像のレジストレーションなど、動画像解析の分野でよく行われる。

前記動きベクトルの演算方法は、上述のように使用する画像が時系列画像であるだけで前述の図４に類似しており、図１５は演算処理装置４５の機能ブロック図である。演算処理装置４５は、図３で示す演算処理装置５と同様に、基準画像３ｃ上の注目点Ｐに対する参照画像４ｃ上の複数の対応点候補位置における類似度を演算し、その結果を元に、最も類似度の高い対応点候補位置を検出する類似度ピーク探索部５１と、前記類似度ピーク探索部５１で求められた類似度ピーク位置周辺の対応点候補位置およびその類似度から、サブピクセル対応位置を演算する第１のサブピクセル対応位置演算部５２と、前記２つの入力画像に設定したウインドウ内のパターンを周波数分解し、振幅成分を抑制した信号の類似度に基づいて、サブピクセル対応位置を演算する第２のサブピクセル対応位置演算部１３と、前記類似度ピーク探索部５１で求められた類似度ピーク位置における類似度の信頼度に応じて、前記信頼度が相対的に高い場合には第１のサブピクセル対応位置演算部５２を選択して対応点探索を行い、前記信頼度が低い場合には前記第２のサブピクセル対応位置演算部１３を選択して対応点探索を行う方式選択部５４とを備えるとともに、前記３次元演算部１５に代えて、前記第１または第２のサブピクセル対応位置演算部５２，１３で求められたサブピクセル精度の対応位置から、被写体２の各部の動きベクトルを演算する動きベクトル出力部５５を備えて構成される。

ただし、前記類似度ピーク探索部１１が、図４で示すように、参照画像４ｃ上のウインドウを１次元的に（エピポーラ線上を）走査するのに対して、この類似度ピーク探索部５１では、図１６で示すように２次元的に走査し、類似度ピークを求める。同様に、前記方式選択部５４が類似度ピークの信頼性の評価を、また第１のサブピクセル対応位置演算部５２がサブピクセル演算計算を、共に２次元で行う以外は、前述の演算処理装置５と同様である。

前記演算処理装置４５のフローチャートも、図１７で示すように、前述の図５に類似している。すなわち、類似度ピーク探索部１１は、ステップＳ１で、基準画像３ｃ上の或る注目点Ｐが参照画像４ｃ上のどこにあるのかを、基準画像３ｃ上と同じ位置から始めて、参照画像４ｃ上を基線長方向に位置を変えながら、それぞれの位置で相関演算を行う。総ての画素について相関演算を終了すると、その相関値から、前記基準画像３ｃ上に設定された注目点Ｐに対して、参照画像４ｃ上で類似度（信頼性）の最も大きくなる類似度ピークの探索を行う。次にステップＳ２では、方式選択部１４が、前記類似度ピークの信頼性に基づき、第１または第２のサブピクセル対応位置演算部１２，１３の内、いずれかの選択を行い、ステップＳ３またはＳ４で、その演算部へ画像データを入力して、それぞれで選択された手法によって、サブピクセル対応付け演算が行われる。ステップＳ１５では、前記ステップＳ３またはＳ４での対応付け結果から、参照画像４ｃ上の対応点に向かうベクトルを、動きベクトルとして出力する。

このように構成することで、高速かつ精度の良い対応点探索を行うことができる画像動き検出装置を実現することができる。

ここで、特開２００４−２３４４２３号公報には、対応付けの信頼性を評価し、信頼度によりウインドウサイズを変更するステレオ画像処理装置が提案されている。しかしながら、対応付けの信頼性を評価した結果、本発明のようにサブピクセル処理の切り替えを行うのではなく、ウインドウサイズの変更を行うので、解像度が変化し、広げた部分の特徴量が支配的になるという問題がある。

本発明の実施の第１の形態に係る測距装置の概略構成を示す図である。 ステレオカメラの出力画像に対する３次元演算（距離演算）の手法を説明するための図である。 図１で示す測距装置における演算処理装置の機能ブロック図である。 図３の演算方法を説明するための図である。 図３の演算方法を説明するためのフローチャートである。 前記演算処理装置における類似度ピーク探索部の探索動作を説明するための図である。 前記演算処理装置における方式選択部の選択動作の一例を説明するための図である。 前記演算処理装置における方式選択部の選択動作の他の例を説明するための図である。 前記演算処理装置における方式選択部の選択動作のさらに他の例を説明するための図である。 前記演算処理装置における第１のサブピクセル対応位置演算部による類似度ピークのサブピクセル演算方法を説明するためのグラフである。 前記演算処理装置における第２のサブピクセル対応位置演算部の具体的な一構成例を示すブロック図である。 前記第２のサブピクセル対応位置演算部によって求められるＰＯＣ値の一例を示すグラフである。 前記ＰＯＣ値の求め方を説明するためのグラフである。 本発明の実施の第２の形態に係る画像動き検出装置の概略構成を示す図である。 図１４で示す画像動き検出装置における演算処理装置の機能ブロック図である。 図１５で示す演算処理装置における類似度ピーク探索部の探索動作を説明するための図である。 図１５で示す演算処理装置の演算方法を説明するためのフローチャートである。

符号の説明

１ 測距装置
２ 被写体
３，４ ステレオカメラ
３ａ，４ａ 光軸
３ｂ，４ｂ 撮像面
３ｃ 基準画像
４ｃ 参照画像
５，４５ 演算処理装置
６ 表示装置
１１，５１ 類似度ピーク探索部
１２，５２ 第１のサブピクセル対応位置演算部
１３ 第２のサブピクセル対応位置演算部
１４，５４ 方式選択部
１５ ３次元演算部
３１，３２ フーリエ変換部
３３，３４ 規格化部
３５ 合成部
３６ 逆フーリエ変換部
４１ 画像動き検出装置
４２ カメラ

Claims (8)

1. ２つの入力画像間の対応点を探索するための装置において、
   一方の画像上の注目点に対する他方の画像上の複数の対応点候補位置における類似度演算結果を元に、最も類似度の高い対応点候補位置を検出する類似度ピーク探索手段と、
   前記類似度ピーク探索手段で求められた類似度ピーク位置周辺の対応点候補位置およびその類似度から、サブピクセル対応位置を演算する第１のサブピクセル対応位置演算手段と、
   前記２つの入力画像に設定したウインドウ内のパターンを周波数分解し、振幅成分を抑制した信号の類似度に基づいて、サブピクセル対応位置を演算する第２のサブピクセル対応位置演算手段と、
   前記類似度ピーク探索手段で求められた類似度ピーク位置における類似度の信頼度に応じて、前記信頼度が相対的に高い場合には前記第１のサブピクセル対応位置演算手段を選択して対応点探索を行い、前記信頼度が低い場合には前記第２のサブピクセル対応位置演算手段を選択して対応点探索を行う選択手段とを含むことを特徴とする画像対応点探索装置。
2. 前記選択手段における信頼性評価方法が、類似度ピークの画素における類似度に基づくことを特徴とする請求項１記載の画像対応点探索装置。
3. 前記選択手段における信頼性評価方法が、類似度ピークの画素近傍の類似度分布に基づくことを特徴とする請求項１記載の画像対応点探索装置。
4. 前記選択手段における信頼性評価方法が、類似度基準ウインドウ内のコントラスト値に基づくことを特徴とする請求項１記載の画像対応点探索装置。
5. 前記第２のサブピクセル対応位置演算手段における周波数分解の手法が、ＦＦＴ、ＤＦＴ、ＤＣＴ、ＤＳＴ、ウエーブレット変換、アダマール変換のいずれかであることを特徴とする請求項１〜４のいずれか１項に記載の画像対応点探索装置。
6. 前記第２のサブピクセル対応位置演算手段におけるサブピクセル対応位置の演算処理が、ＰＯＣ（位相限定相関法）であることを特徴とする請求項１〜５のいずれか１項に記載の画像対応点探索装置。
7. 前記請求項１〜６のいずれか１項に記載の画像対応点探索装置を用い、前記２つの入力画像としてステレオカメラの出力画像を用いることを特徴とする測距装置。
8. 前記請求項１〜６のいずれか１項に記載の画像対応点探索装置を用い、前記２つの入力画像として単体のカメラの時系列画像を用いることを特徴とする画像動き検出装置。