JP2011243194A - 対応点探索のための画像処理方法 - Google Patents

Abstract

【課題】
対応点探索において、NCCフィルタリングに関するジレンマを解決する。
【解決手段】
画像パッチ間の類似性を比較する方法であって、それぞれが少なくとも一つの画像パッチを供給する少なくとも２つの画像供給源から、少なくとも２つの画像パッチを受信するステップと、受信された画像パッチを比較するステップと、を有し、前記比較するステップは、各画像パッチから複数の対応関係にある部分画像ペアを抽出するステップと、すべての前記部分画像ペアの間で正規化局所類似度スコアを算出するステップと、すべての前記部分画像ペアの局所類似度スコアの総和を計算して総マッチングスコアを算出するステップと、総マッチングスコアを画像パッチの類似度指標として用いて、総マッチングスコアに基づき、対応関係を持つ類似画像パッチを決定するステップとを有する。

【選択図】図６

Description

本発明は、広くステレオカメラからの画像（映像を含む）を処理する分野に関し、特に、異なる画像間の対応関係の推定及び／又は探索を行うための画像処理に関する。例えば本発明は、ステレオカメラ・システムにおける左右のステレオ画像間の対応点探索に用いられる。この探索は、物体の奥行きや距離、即ち左右のステレオカメラを相互に連結する平面から両ステレオカメラの撮影範囲に存在する物体までの距離に、直接的に関係する。

立体的奥行きの計算は、コンピュータビジョンの重要な分野である。開発されたいくつかのアルゴリズムの中で、普及しているのは従来型の相関計算に基づくアルゴリズムである。その主な理由は、相関法に基づくアルゴリズムが、拡散プロセスやグラフカットを用いるより精巧なアルゴリズムと比べて、実施及び取り扱いが容易であることに加え、複雑な計算を要しないことにある。以下では、上記従来型アプローチに用いる新しい２段階マッチングコスト、すなわち加算正規化相互相関（ＳＮＣＣ）について説明する。この新しいコスト関数は、第１段階において正規化相関を実行し、第２段階においてその相関値の総計を算出する。この新しい方法は、効率的に実施することができ、かつ、高コントラストの外れ値に対する感度が低いことから、上記従来型アプローチの性能を実質的に改善することができるのみならず、そのレベルを最先端手法と競合する水準にまで引き上げることができる。

ステレオ処理は、コンピュータビジョンにおいて最も集中的に研究されている領域の１つである。最近３０年間に、種々のアプローチが開発されている。現在における最も先端的なアプローチは、確率伝搬法（belief propagation）（非特許文献１、２）、動的計画法（dynamic programming）（非特許文献３、４）、又は、グラフカット（graph-cut）（非特許文献５）を用いる方法である。

しかし、従来型の相関計算に基づくステレオ画像処理は、特にリアルタイムシステムにおいて、今なお一般的なツールとなっている（非特許文献６、７、８）。この従来型のステレオ処理アプローチの主たる欠点は、最先端アプローチに比べて深さ不連続性（又は奥行き不連続部分：depth discontinuities）が不鮮明になることである。不鮮明さの程度は、画像パッチの相関に用いられるマッチングコストに依存する。この従来型ステレオ処理に最も一般的に用いられるているマッチングコストは、ＳＡＤ（the sum of absolute difference）、及び、ＳＳＤ（the sum of squared difference）である。

これらのマッチングコストでは、対応する画素の輝度が不変であること、すなわち、左右の画像間の対応する画素における色彩又はグレイ値は同じである、という仮定を置いている。このため、これらのマッチングコストは、実用途においては、２つのカメラの視野間で照明が変化すると効果的に動作しないことが多い。この影響を低減する方法は、一般的には、ガウシアンフィルタのラプラシアンを適用すること、又は、実際のステレオ計算の前に各画像において平均輝度を減算することである。

また、ＳＡＤ及びＳＳＤは、対応関係にある画素に対して不良な相関値を生じる可能性がある。これを補償するため、ＢｉｒｃｈｆｉｅｌｄとＴｏｍａｓｉは、サンプリング非依存型計算を提案している（非特許文献９）。しかし、種々のマッチングコストの比較報告（非特許文献１０）によれば、これらの対策を行っても、ＳＡＤ及びＳＳＤは、輝度変化を直接的に考慮に入れる他のマッチングコストより劣るとされている。

輝度変化を考慮する標準的なマッチングコストの１つは、正規化相互相関（normalized cross-correlation ：ＮＣＣ）である。このマッチングコストは、画素輝度のバイアス及び線形利得を考慮に入れる。さらに、ＮＣＣは、ガウシアン雑音の補償に最適であり、相関値が区間［−１，１］に限定されるため、不良マッチを棄却するための閾値の選択が容易となる。ＮＣＣの主たる欠点は、他のマッチングコストと比べて深さ不連続性が非常に不鮮明となることである。

他の重要なコスト関数として、「ランク変換」及び「センサス変換」がある（非特許文献１１）。「ランク変換」の考え方の主要な点は、各画素の輝度を、ある一定範囲の近傍における輝度のランクに置き換えることである。このランク変換は、他のコスト関数と比較して、画像間で起こり得る照明変化をほとんど除去し、深さエッジの不鮮明さを減少させる。実際のランク変換は、ステレオ画像の前処理に過ぎず、通常は、その後にＳＡＤ又はＳＳＤを用いたステレオ計算が行われる。非特許文献１０に示されている６つのコスト関数の比較では、ランク変換は、いくつかの光強度変化に関して、相関ベースのステレオ画像についての最良のコスト関数であるとされている。

「センサス変換」は、ランク変換の拡張であり、画素を、ランクに置き換えるのではなく、近傍にあるどの画素がアンカー画素より小さいかを符号化する２値フィンガープリントで置き換える。この場合、マッチングコストは、このような２つのフィンガープリント間のハミング距離である。

以下では、正規化相関（ＮＣＣ）がなぜ他のマッチングコストより不連続性の深さを不鮮明にしてしまう傾向を持つのか、加算正規化相互相関（ＳＮＣＣ）がなぜこの問題を解消できるのか、それらの理由について説明する。また、ボックスフィルタを用いればＮＣＣ及びＳＮＣＣを効率的に実施することができることを示す。

Ｙａｎｇ， Ｑ．， Ｗａｎｇ， Ｌ．， Ｙａｎｇ， Ｒ．， Ｓｔｅｗｅｎｉｕｓ， Ｈ．， Ｎｉｓｔｅｒ， Ｄ．： Ｓｔｅｒｅｏ ｍａｔｃｈｉｎｇ ｗｉｔｈ ｃｏｌｏｒ−ｗｅｉｇｈｔｅｄ ｃｏｒｒｅｌａｔｉｏｎ， ｈｉｅｒａｒｃｈｉｃａｌ ｂｅｌｉｅｆ ｐｒｏｐａｇａｔｉｏｎ， ａｎｄ ｏｃｃｌｕｓｉｏｎ ｈａｎｄｌｉｎｇ． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ ３１ （２００８） ４９２−５０４ Ｂａｎｎｏ， Ａ．， Ｉｋｅｕｃｈｉ， Ｋ．： Ｄｉｓｐａｒｉｔｙ ｍａｐ ｒｅｆｉｎｅｍｅｎｔ ａｎｄ ３ｄ ｓｕｒｆａｃｅ ｓｍｏｏｔｈｉｎｇ ｖｉａ ｄｉｒｅｃｔｅｄ ａｎｉｓｏｔｒｏｐｉｃ ｄｉｆｆｕｓｉｏｎ． Ｉｎ： ３−Ｄ Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｍｏｄｅｌｉｎｇ． （２００９） １８７０−１８７７ Ｈｉｒｓｃｈｍｕｌｌｅｒ， Ｈ．： Ａｃｃｕｒａｔｅ ａｎｄ ｅｆｆｉｃｉｅｎｔ ｓｔｅｒｅｏ ｐｒｏｃｅｓｓｉｎｇ ｂｙ ｓｅｍｉ−ｇｌｏｂａｌ ｍａｔｃｈｉｎｇ ａｎｄ ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ． Ｉｎ： ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． （２００５） ＩＩ： ８０７−８１４ Ｄｅｎｇ， Ｙ．， Ｌｉｎ， Ｘ．： Ａ ｆａｓｔ ｌｉｎｅ ｓｅｇｍｅｎｔ ｂａｓｅｄ ｄｅｎｓｅ ｓｔｅｒｅｏ ａｌｇｏｒｉｔｈｍ ｕｓｉｎｇ ｔｒｅｅ ｄｙｎａｍｉｃ ｐｒｏｇｒａｍｍｉｎｇ． Ｉｎ： ＥＣＣＶ． （２００６） ＩＩＩ： ２０１−２１２ Ｋｏｌｍｏｇｏｒｏｖ， Ｖ．， Ｚａｂｉｈ， Ｒ．： Ｍｕｌｔｉ−ｃａｍｅｒａ ｓｃｅｎｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｖｉａ ｇｒａｐｈ ｃｕｔｓ． Ｉｎ： Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． （２００２） ＩＩＩ： ８２−９６ Ｗｅｒｓｉｎｇ， Ｈ．， Ｋｉｒｓｔｅｉｎ， Ｓ．， Ｇｏｅｔｔｉｎｇ， Ｍ．， Ｂｒａｎｄｌ， Ｈ．， Ｄｕｎｎ， Ｍ．， Ｍｉｋｈａｉｌｏｖａ， Ｉ．， Ｇｏｅｒｉｃｋ， Ｃ．， Ｓｔｅｉｌ， Ｊ．Ｊ．， Ｒｉｔｔｅｒ， Ｈ．， Ｋｏｅｒｎｅｒ， Ｅ．： Ｏｎｌｉｎｅ ｌｅａｒｎｉｎｇ ｏｆ ｏｂｊｅｃｔｓ ｉｎ ａ ｂｉｏｌｏｇｉｃａｌｌｙ ｍｏｔｉｖａｔｅｄ ｖｉｓｕａｌ ａｒｃｈｉｔｅｃｔｕｒｅ． Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｎｅｕｒａｌ Ｓｙｓｔｅｍｓ １７ （２００７） ２１９−２３０ Ｏｎｉｇａ， Ｆ．， Ｎｅｄｅｖｓｃｈｉ， Ｓ．， Ｍｅｉｎｅｃｋｅ． Ｍ．， Ｔｏ， Ｔ．Ｂ．： Ｒｏａｄ ｓｕｒｆａｃｅ ａｎｄ ｏｂｓｔａｃｌｅ ｄｅｔｅｃｔｉｏｎ ｂａｓｅｄ ｏｎ ｅｌｅｖａｔｉｏｎ ｍａｐｓ ｆｒｏｍ ｄｅｎｓｅ ｓｔｅｒｅｏ． Ｉｎ： ＩＥＥＥ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ Ｓｙｓｔｅｍｓ Ｃｏｎｆｅｒｅｎｃｅ． （２００７） ８５９−８６５ Ｈｉｒｓｃｈｍｕｌｌｅｒ， Ｈ．， Ｉｎｎｏｃｅｎｔ， Ｐ．Ｒ．， Ｇａｒｉｂａｌｄｉ， Ｊ．Ｍ．： Ｒｅａｌ−ｔｉｍｅ ｃｏｒｒｅｌａｔｉｏｎ−ｂａｓｅｄ ｓｔｅｒｅｏ ｖｉｓｉｏｎ ｗｉｔｈ ｒｅｄｕｃｅｄ ｂｏｒｄｅｒ ｅｒｒｏｒｓ． Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ４７ （２００２） ２２９−２４６ Ｂｉｒｃｈｆｉｅｌｄ， Ｓ．， Ｔｏｍａｓｉ， Ｃ．： Ａ ｐｉｘｅｌ ｄｉｓｓｉｍｉｌａｒｉｔｙ ｍｅａｓｕｒｅ ｔｈａｔ ｉｓ ｉｎｓｅｎｓｉｔｉｖｅ ｔｏ ｉｍａｇｅ ｓａｍｐｌｉｎｇ． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ ２０ （１９９８） ４０１−４０６ Ｈｉｒｓｃｈｍｕｌｌｅｒ， Ｉ−Ｉ．， Ｓｃｈａｒｓｔｅｉｎ． Ｄ．： Ｅｖａｌｕａｔｉｏｎ ｏｆ ｃｏｓｔ ｆｕｎｃｔｉｏｎｓ ｆｏｒ ｓｔｅｒｅｏ ｍａｔｃｈｉｎｇ． Ｉｎ： ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． （２００７） Ｚａｂｉｈ， Ｒ．， Ｗｏｏｄｆｉｌｌ， Ｊ．： Ｎｏｎ−ｐａｒａｍｅｔｒｉｃ ｌｏｃａｌ ｔｒａｎｓｆｏｒｍｓ ｆｏｒ ｃｏｍｐｕｔｉｎｇ ｖｉｓｕａｌ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ． Ｉｎ： Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＥＣＣＶ． （１９９４） １５１−１５８ Ｓｃｈａｒｓｔｅｉｎ， Ｄ．， Ｓｚｅｌｉｓｋｉ， Ｒ．： Ａ ｔａｘｏｎｏｍｙ ａｎｄ ｅｖａｌｕａｔｉｏｎ ｏｆ ｄｅｎｓｅ ｔｗｏ−ｆｒａｍｅ ｓｔｅｒｅｏ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ ａｌｇｏｒｉｔｈｍｓ． Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ４７ （２００２） ７−４２ Ｆｕａ， Ｐ．： Ａ ｐａｒａｌｌｅｌ ｓｔｅｒｅｏ ａｌｇｏｒｉｔｈｍ ｔｈａｔ ｐｒｏｄｕｃｅｓ ｄｅｎｓｅ ｄｅｐｔｈ ｍａｐｓ ａｎｄ ｐｒｅｓｅｒｖｅｓ ｉｍａｇｅ ｆｅａｔｕｒｅｓ． Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ ６ （１９９３） ３５−４９ Ｈｉｒｓｃｈｍｕｌｌｅｒ， Ｈ．， Ｓｃｈａｒｓｔｅｉｎ， Ｄ．： Ｅｖａｌｕａｔｉｏｎ ｏｆ ｓｔｅｒｅｏ ｍａｔｃｈｉｎｇ ｃｏｓｔｓ ｏｎ ｉｍａｇｅｓ ｗｉｔｈ ｒａｄｉｏｍｅｔｒｉｃ ｄｉｆｆｆｅｒｅｎｃｅｓ． ＰＡＭＩ ３１ （２００９） １５８２−１５９９

〔正規化相関（ＮＣＣ）の問題点〕
２つのカメラ画像Ｉ^Ｌ（左）及びＩ^Ｒ（右）から抜き出した２つの画像パッチに対して、正規化相互相関（ＮＣＣ）を次式で定義する。
ここで、
である。

上式において、ｘは左パッチのアンカー点の画素位置であり、ｐ（ｘ）は左画像パッチの画素座標の集合であり、ｐ（ｘ＋ｄ）は右画像パッチの画像座標の集合である。即ちｄは、左画像パッチと右画像パッチの間の視差を示している。また、｜ｐ（ｘ）｜は、ｐ（ｘ）の要素の個数である。

前述したように、ＮＣＣは不連続部分において奥行きを曖昧にする傾向がある。その理由は、深さの不連続部分では強いコントラストを示すことが多く、相関値は、最も強いコントラストから最も大きな影響を受けるためである。この効果は正規化を行うために生じる。各パッチｐ（ｘ）において輝度値は次式により正規化される。

この正規化のため、高コントラストエッジ付近での低コントラスト構造が見えなくなる（抑制される）。この抑制現象を可視化するため、非特許文献１２では、高コントラスト矩形（輝度１００００）をミドルベリー・ステレオ・ベンチマークの左ビーナス画像に加え、種々のフィルタサイズ又はパッチサイズを用いて、この画像に正規化式（３）を適用した。そのフィルタリングの結果として得られた画像を図１に示す。これらの画像から、高コントラストの矩形がその周囲にある構造を見えなくしてしまう現象を確認することができる。なお、当該見えなくなる範囲（サイズ）は、パッチサイズにより定まる。

高コントラストエッジは支配的な構造であるため、この抑制効果によって、高コントラストエッジの付近にあるすべてのパッチは、このエッジと同じ視差を持つものとされてしまう。この構造に合わせて調整を行わない限り、誤差が大きくなったり、相関値が小さくなることになる。図２ａは、このビーナス風景の左画像の切り抜きを示している。白色矩形のパッチ部分について、視差（シフト量）を変えながら、図２ｂに示す右画像との相関をとった。図２ｃは、これらの視差と相関値との関係を示す。実測した奥行きによればおよそ８画素（水平線で示す）であるにも関わらず、このプロットでは、視差がおよそ１３画素であるときに対応関係が最良となっている。図２ｂの実線矩形は、最良の対応関係を示したパッチの位置を示す。この対応関係の誤りの原因は、輝度の高い新聞と暗い背景との境界部分にある、輝度差の大きいコントラストエッジである。新聞の視差がおよそ１３画素であるので、その新聞の境界を取り囲むすべてのパッチは、視差が１３画素のときに対応関係が最良となったのである。

すなわち、上述の観察は、強いコントラストによって正規化相互相関（ＮＣＣ）にバイアスがかかることを示している。したがって、ＮＣＣをステレオ処理に用いる場合には、パッチサイズを小さくすることが必要である。しかしながら、パッチサイズを小さくすると、奥行き方向に雑音の多い画像となる。

即ち、ＮＣＣにおいて深さ不連続性が不鮮明となる原因は、ＮＣＣが高コントラストに対して敏感であることによる。このため、本発明では、対応関係を持つ類似度の高い画像パッチを特定するために、画像パッチ間のこの感度を低下させる新しい２段階相関法を用いる。第１段階において小さいパッチサイズを用いて正規化相互相関を算出した後、第２段階において相関係数を加算する。

即ち、本発明では、ＮＣＣフィルタリングに関する上記ジレンマを解決するため、２段階フィルタリングを用いる。

上記目的は、独立請求項に示した方法やシステムによって達成される。従属請求項には、有利な実施形態を示す。

一つの実施形態では、この発明は、コンピュータによって実施される、ステレオカメラ・システムから取り込まれた２つの画像パッチ間の類似性を比較する方法であり、この方法は、ステレオカメラの撮影範囲にある物体の奥行き推定値を計算するのに好適である。この方法は、それぞれが少なくとも一つの画像パッチを供給する少なくとも２つの視覚センサ、例えばステレオカメラから、少なくとも２つの画像パッチを受信するステップと、受信した画像パッチを比較するステップにより構成される。ここで、当該比較するステップは、各画像パッチから複数の対応関係にある部分画像ペアを抽出するステップと、すべての部分画像ペア間で正規化局所類似度スコア（normalized local similarity score）を算出するステップと、すべての部分画像ペア間の正規化局所類似度スコアの総和を計算して総マッチングスコアを算出するステップと、総マッチングスコアを画像パッチの類似度指標として用いて、当該総マッチングスコアに基づき、対応関係を持つ類似画像パッチを決定するステップとで構成される。

他の実施形態では、この発明は、画像パッチ間の類似性を比較するためにコンピュータにより実施される方法であって、それぞれが少なくとも一つの画像パッチを供給する少なくとも２つの画像供給源から、少なくとも２つの画像パッチを受信するステップと、、受信した画像パッチを比較するステップにより構成される。ここで、当該比較するステップは、各画像パッチから複数の対応関係にある部分画像ペアを抽出するステップと、すべての部分画像ペア間で正規化局所類似度スコア（normalized local similarity score）を算出するステップと、すべての部分画像ペア間の正規化局所類似度スコアの総和を計算して総マッチングスコアを算出するステップと、総マッチングスコアを画像パッチの類似度指標として用いるステップとで構成される。

なお、各画像パッチの部分画像は、互いに重なり合っていてもよい。
また、正規化局所類似度スコアは、正規化相互相関（ＮＣＣ）又は（加重ウィンドウを使用する）加重ＮＣＣを使用して算出することができる。この算出処理は、各部分画像について平均値と標準偏差を算出するステップと、正規化相互相関係数を算出するステップとで構成される。
さらに、画像パッチと、リストされた他のパッチとを比較して、当該リスト中の最大類似パッチを見出すことができる。

少なくとも２台の画像供給源は、少なくとも２台のカメラで構成することができ、一方のカメラ画像からの画像パッチと他方のカメラ画像からの画像パッチとを比較して、対応関係を持つ画像パッチを特定することができる。
また、視差に基づく奥行き値は、上記算出されたパッチ類似度を用いて推定することができる。
さらに、画像パッチは、ロボット又は自動車に搭載された一つ又は複数のカメラから抽出することができる。

正規化局所類似度スコアは、局所マッチング指標を与えるＮＣＣマッチングにより算出することができる。この場合、総マッチングスコアは局所マッチング指標を使用して算出することができ、総マッチングスコアを算出することにより、局所計算から生じる雑音が抑制される。
また、総マッチングスコアは、局所マッチングスコアの平均化、加重平均化、勝者独り勝ち選択、又は、メジアン選択により算出することができる。
さらに、画像パッチは任意のデータベクトルとすることができる。画像パッチは、数値を付した個別の要素で構成することができる。

上記個別の要素に付す数値は、グレイスケールで表わした画素値とすることができる。
画像パッチは、複数の層又は複数の次元で構成されるものとすることができる。
画像パッチは、ＲＧＢ画像パッチとすることができる。

少なくとも２台の画像供給源は、１台のカメラから異なる時刻において取得した画像とすることができる。
また、ある時刻における画像パッチを他の時刻における画像パッチと比較して、対応関係を持つ画像パッチを特定することができる。
さらに、上記算出されたパッチ類似度は、画像パッチに基づく動き推定に用いることができる。

画像供給源の一方は、物体を描写するテンプレート画像パッチとすることができる。この場合、テンプレート画像パッチはデータベース及び／又はメモリからロードされ、このテンプレート画像パッチと、第２の又は別の画像供給源から抽出された画像パッチとを比較することにより、当該画像内の物体が特定される。なお、 テンプレート画像パッチは、事前に取得しておくことができる。

この方法は、物体の時間変化を追跡するため、物体追跡手法と同様の予測と確認の繰り返し処理を行う時間的フレームワークを備えたシステムに組み込まれ、予測関数により取得され選択された画像パッチ集合に限定して類似度計算を実行することことができる。
また、平均化処理及びフィルタリング処理は、例えば、分離可能なフィルタ又はボックスフィルタを用いることにより、最適化することができる。

他の実施形態では、この発明は、少なくとも１台のカメラと、計算ユニットとを備え、上述したいずれかの方法を実行して、奥行き推定、動き推定、物体検出、及び/又は、物体追跡を行うシステムを装備する、ロボット、陸上車両、航空車両、海上車両、又は、宇宙車両である。
更に他の実施形態では、この発明は、自車両に備えたステレオカメラの撮影範囲内の少なくとも１つの物体についての奥行き推定値を計算するため、上述したいずれかの方法を実行するドライバ支援システムを備えた車両である。
更に他の実施形態では、この発明は、コンピュータで実行されることにより前述の方法を実施するコンピュータ・プログラムである。

センサは、少なくとも２台のカメラとすることができ、一のカメラ画像からの画像パッチと他のカメラ画像からの画像パッチとを比較することにより、対応関係を有する画像パッチが特定される。

他の実施形態では、この発明は、画像パッチ間の類似性を比較する方法であって、該方法は、異なる時刻に抽出された少なくとも２つの画像パッチをセンサから受信するステップと、該受信した画像パッチを比較するステップと、を有し、前記比較するステップは、受信した各画像パッチから対応関係にある複数の部分画像ペアを抽出するステップと、全ての前記部分画像ペア間の正規化局所類似度スコアを算出するステップと、全ての前記部分画像ペア間の正規化局所類似度スコアの総和を計算して総マッチングスコアを算出するステップと、総マッチングスコアを画像パッチの類似度指標として用いて、総マッチングスコアに基づき対応関係を持つ画像パッチを特定するステップと、により構成される。

画像パッチは、一つの移動カメラから異なる時刻に抽出するものとすることができ、この場合には、一の時刻に抽出された画像パッチと他の時刻に抽出された画像パッチとを比較して、対応関係を持つ画像パッチを特定することができる。
また、算出したパッチ類似度を用いて、画像パッチに基づく動き推定を行うことができる。

更に他の実施形態では、この発明は、物体を描写するテンプレート画像パッチとセンサから取得した画像パッチとの間の類似性を比較する方法であって、該方法は、センサから少なくとも１つの画像パッチを受信するステップと、受信した画像パッチをテンプレートパッチと比較するステップと、を有し、前記比較するステップは、テンプレート画像パッチとセンサから受信した画像パッチから複数の対応関係にある部分画像ペアを抽出するステップと、全ての前記部分画像ペア間の正規化局所類似度スコアを算出するステップと、全ての前記部分画像ペアの正規化局所類似度スコアの総和を計算することにより、総マッチングスコアを算出するステップと、総マッチングスコアを画像パッチの類似度指標として用いて、総マッチングスコアに基づき、テンプレートパッチに対し対応関係を持つ画像パッチを決定して、画像内のテンプレート物体を特定するステップと、により構成される。ここで、テンプレート画像は、予め他の手段によって取得され、データベース又はメモリからロードされるものとする。

この方法は、時間的フレームワークを持つシステムに組み込んで、物体の時間的変化を追跡することができる。これにより、類似度計算を、時間的フレームワークにより予測された少数のパッチ集合に限定して実行することができる。
更に他の実施形態では、この発明は、上述した方法を実行するシステムを備えたロボット又は自律車両である。
以下に示す説明及び図面により、本発明のさらなる具体的手段及び機能を明らかにする。

この新しい方法は、効率的に実施することができ、かつ、高コントラストの外れ値に対する感度が低いことから、上記従来型アプローチの性能を実質的に改善することができるのみならず、そのレベルを最先端手法と競合する水準にまで引き上げることができる。

左上画像は極めて高いコントラストを持つ矩形を付した左ビーナス画像であり、中央上から右下までの画像は、それぞれフィルタサイズ３、９、２１、５５、１４９として平均値を正規化した画像、及び標準偏差を正規化した画像である。フィルタサイズが大きいほど、高コントラスト矩形の近傍が抑制されることがわかる。 （ａ）及び（ｂ）は、ビーナス風景の左ステレオ画像及び右ステレオ画像から切り抜いた画像である。（ａ）の中の矩形パッチを用い、視差を変化させて右画像との相関値を算出した。ここでは、視差とは、比較対象であるパッチ間のｘ方向における相対的な位置ずれ量をいう。（ｃ）及び（ｄ）は、それぞれ、ＮＣＣ及びＳＮＣＣの結果である。（ｂ）には、ＮＣＣによる最良マッチングパッチが実線矩形により、ＳＮＣＣによる最良マッチングパッチが破線矩形により描かれている。（ｃ）及び（ｄ）の垂直線は、実際の視差を示している。 ビーナス、ツクバ、テディ、及び、コーンの風景を写した左ステレオ画像である。 対応関係が検出された注目領域（非オクルージョン領域：nonocc）と深さ不連続性を生じた注目領域（disc）についての、従来のステレオ画像処理による処理結果を示す図である。ここで、左列が非オクルージョン領域における結果を示し、右列が深さ不連続性が生じた領域における結果を示している。各プロットは、本発明の２段階マッチングＳＮＣＣと、ＳＡＤと、ＮＣＣと、ＲＴにおける、パッチ・ウィンドウ・サイズに対する不良画素の割合を示している。 上から順に、ビーナス、ツクバ、テディ及びコーンの風景の視差マップである。左列は、実測に基づく奥行きデータを示し、右列は、従来型ステレオ法に対するＳＮＣＣの適用結果を示している。輝度が奥行きを表わしており、近い画素は明るく、遠い画素は暗く示されている。 ２つの画像パッチＰ１及びＰ２についてＮＣＣを算出する際の処理を示すフロー図である。まず、各パッチについて平均と標準偏差が算出され、次に、平均及び標準偏差を用いて各パッチの値が正規化された後、最後にマッチングスコアが算出される。 ２つの画像パッチＰ１及びＰ２についてＳＮＣＣを算出する際の処理を示すフロー図である。まず、画像パッチから、対応関係にある部分画像が抽出される。上左部分に示すように、部分画像は互いに重なり合っていてもよい。次に、すべての部分画像ペアについてＮＣＣを算出し、局所類似度スコアを得る。最後に、局所類似度スコアの総和を算出し、入力パッチの総マッチングスコアを得る。

ＮＣＣフィルタリングに関する上記ジレンマを解決するため、２段階フィルタリングを用いる。
図７は、「加算正規化相互相関」（ＳＮＣＣ）と呼ぶ２段階フィルタリングの処理フローである。第１のステップでは、画像パッチ（Ａ）が部分画像（Ｂ）に分割される。図７左上のはめ込み図（Ｂ'）に示すように、これらの部分画像は重なり合っていてもよい。また、２つのパッチは同様に分割されるので、一のパッチの各部分画像は、それぞれ、他のパッチの中に、対応する部分画像を有している（Ｃ）。

第２のステップでは、対応関係にある各部分画像ペアが、ＮＣＣ計算（Ｄ）の処理に与えられる。図７に示すＮＣＣと書かれた各ボックスは、図６に示す処理に置き代えることができる。これにより、各部分画像ペアの局所類似度スコアを得ることができる。これらのスコアは、第３のステップ（Ｅ）において加算され、総マッチングスコアが算出される。最後に、類似度評価（Ｆ）の処理が行われる。

上記加算はいくつかの方法で行うことができる。最も簡単な方法は、局所マッチングスコアの平均化処理である。この平均化処理は、重みづけを行うことにより加重平均化処理となる。他の方法は、勝者独り勝ちスキーム処理、即ち、最良局所スコアの選択、又は、メジアンの選択（即ち、局所スコアをソートして、中央値を選択すること）である。上記加算の方法としては、上記のほか、個別数値の集合からその総和を算出する関数であれば、どのような関数を用いてもよい。

上述したように、図６は、本発明のＮＣＣ算出部分の処理を示している。対応関係にある２つの部分画像Ｐ’_１及びＰ’_２が与えられると（Ａ）、まず、各部分画像の平均値と標準偏差が算出される（Ｂ）。次に、各部分画像内の値から、平均値が減算された後、分散により除算されて、各部分画像内の値が正規化される（Ｃ）。最後に、画素毎の乗算と、その後に続く平均化のための加算とにより、部分画像ペアの類似性を示す局所マッチングスコアが得られる（Ｄ）。

ＮＣＣでは、非常に小さいサイズの部分画像、例えば３×３や５×５の正方形の部分画像が用いられる。これにより、画像内の微小構造が保存され、加算ステップにより評価における雑音を低減することができる。これは、新しい類似度スコア関数が、次式で定義されることを意味する。
ここで、ρ_ｘ”は相関算出式（１）によって定義され、ｐ’（ｘ）は加算フィルタの画素座標の集合である。

ＮＣＣ算出処理と同様の例えば３×３サイズの部分画像を用いて、図２ａから抽出されたパッチに新しいマッチングコストを適用する。これらの相関値（図２ｄ）を、標準的なＮＣＣの結果（図２ｃ）と比較すると、特性の改善が認められる。新しいＳＮＣＣ手段を用いると、強いコントラストエッジの影響は、第２のピークとして残存してはいるものの、劇的に低減されている。ＳＮＣＣの最良マッチングパッチは、図２ｂに破線矩形として描かれている。この破線矩形を見ると、ＳＮＣＣの最良マッチングパッチは、ＮＣＣの最良マッチングパッチ（実線矩形）より、目標パッチに近いことがわかる。

〔計算複雑性〕
従来型のステレオ処理に加算正規化相互相関（ＳＮＣＣ）を用いた場合の計算複雑性は、Ｏ（ｎｄ）である。ここで、ｎは画素数であり、ｄは視差の数である。このステレオ処理は、ボックスフィルタを用いて、正規化相互相関の算出と加算処理を行うことにより実行することができる。ＮＣＣフィルタリングに際しボックスフィルタをどのように用いるかを示すため、まず、相関式（１）を次のように書き換える。

この式は、左右のステレオ画像の両方について、予め平均及び標準偏差を算出しておくことができることを示している。各視差について残っている処理は、上式の中の加算項である。事前計算フェーズにおいて平均及び標準偏差について同様の加算処理が行われる場合、この加算処理にボックスフィルタを適用することができる。ＳＮＣＣの第２段階における相関値の加算処理も、ボックスフィルタを用いて行われる。

一つの視差について１画素のマッチングコストを計算する際には、全部で６回の乗算、４回の加算、及び、５回の減算を必要とする（但し、事前計算フェーズを含まない）。ボックスフィルタを用いるため、これら演算の回数は、使用するフィルタサイズには依存しない。しかし、本発明の方法におけるこの利点は、任意形状の、非ボックス形のパッチにも当てはまる。

本発明の方法を、ステレオカメラにおける奥行きの推定に適用し、当該方法の性能を評価した。ここでは、ミドルベリー・ステレオ・デプス・ベンチマーク画像（図３）を使用した。視覚的に比較できるように、図５に、視差マップ（右列）を実測値マップ（左列）と共に示した。視差マップの品質は非常に良好であり、ＳＮＣＣを用いて大幅な改善が図れることがわかる。

本発明は、加算正規化相互相関（ＳＮＣＣ）、即ち、従来型のステレオ画像計算のためのコスト関数に係るものである。この加算・正規化相関は２段階アプローチであり、第１段階では、微小なフィルタを用いて正規化相関（ＮＣＣ）を実行し、第２段階では、結果として得られた相関係数の総和を算出する。この２段階処理により、ＮＣＣが一般的傾向として持つ、奥行き不連続性の不鮮明さを低減することができる。これらの効果は、実験により確認されている。ＳＮＣＣ方法と、広く用いられているコスト関数とを比較すると（下表及び図４を参照）、ＳＮＣＣは、従来型のステレオ・アプローチの性能を著しく改善することが分かる。

さらに、ＳＮＣＣは、ボックスフィルタを用いることにより、非常に効率的に実施することができる。ボックスフィルタを用いると、ステレオマップをＯ（ｎｄ）により計算することができる。なお、ＳＮＣＣは、従来型のオプティカル・フロー・アルゴリズムも改善することができる。これは、当該アルゴリズムが、ステレオ計算と非常に似ているためである。また、ＳＮＣＣは、ＮＣＣを使用する種々の用途のうち、高コントラストの外れ値の存在下では機能しないというＮＣＣの特性により悪い影響を被っている、いかなる用途にも使用することができる。例えば、視覚追跡や物体検出の用途も、この新しいコスト関数の恩恵を受けることができる。

〔さらなる実施形態〕
本発明に係るＳＮＣＣは、上記と同様の手法により、種々の時間間隔で取得されたカメラ画像に基づく動き推定にも用いることができる。ステレオ処理との相違点は、対応関係にある画像パッチが水平方向にシフトするだけでなく、一方のカメラ画像から他方のカメラ画像まで任意にシフトすることである。このため、多数の画像パッチを比較することとなるが、処理方法は全体として同じである。

本発明に係るＳＮＣＣは、上記と同様の手法により、物体を表現するテンプレート画像パッチを用いて物体検出に用いることができる。このテンプレート画像パッチは、予め他の手段により取得され、データベース又はメモリからロードされる。ステレオ処理との相違点は、種々の画像から抽出された画像パッチを比較するのではなく、１つの画像から抽出された画像パッチと、物体を表現するテンプレート画像パッチとを比較することである。ただし、類似度スコアを計算するＳＮＣＣの処理は同じである。

本発明に係るＳＮＣＣは、上記と同様の手法により、時間的フレームワークにおける物体追跡に用いることができる。このようなフレームワークは、ある特定の座標系における物体位置や速度、さらには、より高次の運動パラメータを追跡する。この座標には、例えば、カメラの相対座標やワールド座標を用いることができる。物体に関するこれらの運動パラメータから、時間と共に変化するその後の当該物体の位置を予測することができる。さらに、時間的追跡フレームワークは、例えば、画像テンプレートを用いて、物体の外観も追跡する。この場合には、運動パラメータと物体テンプレートを最新状態に維持するべく、現在における既知の物体運動パラメータに基づいて行われた予測を確認し修正する必要がある。このため、予測された位置周辺の画像パッチの集合を、現在の物体テンプレートと比較しなければならない。時間的フレームワークは、最良マッチング画像パッチを用いて、運動パラメータと物体テンプレートを更新することができる。

〔要約〕
・正規化相互相関（ＮＣＣ）は、多数の用途（ステレオ計算、動き計算、追跡、汎用パターンマッチングなど）における標準的なマッチング規準である。
・ＮＣＣは、２つのパターンＰ_１とＰ_２との間のマッチングスコアｒを計算する。このマッチングスコアは、バイアス及び線形利得に対する不変性を持つ。
・より大きいパターンをマッチングする場合、ＮＣＣは、低コントラスト構造の影響よりも高コントラスト構造の影響を大きく受ける傾向を持つ。このため、低コントラスト構造がマッチしなくても（マッチしても）、高コントラスト構造だけがマッチすれば（マッチしなければ）、誤って良好な（不良な）マッチングとなることが多い。
・特に、高コントラスト構造の僅かな部分に起因して、上述のようなミスマッチングが発生してしまう。
・ＮＣＣの問題は、２段階マッチングを適用することにより解決される。
・マッチングの対象である２つのパターンについて、マッチングプロセスをローカル・プロセスとグローバル・プロセスに分解する。ローカルプロセスは、局所マッチング指標を与えるＮＣＣマッチングによって支配される。これらの局所マッチング指標は、依然として、上述したのと同じ高コントラスト問題に陥る傾向があるが、この影響は局所領域に限定される。パターンの分割部分や重なり部分が、このような局所領域となり得る。

・グローバル・プロセスは、局所指標を考慮して、実際のマッチングスコアを計算する。これは、平均化、勝者独り勝ち選択、又は、メジアン選択によって行われる。グローバル・プロセスは、局所プロセスから生じる雑音を抑制する。２段階マッチングによれば、すべての要素がマッチングスコアに同等の寄与をもたらすようになるので、高コントラスト構造の問題点が解消する。
・ランク順序符号化も、大きなパターンについての高コントラスト構造の影響を低減しようとするが、ＮＣＣに関連しない全く異なる方式で機能する。
・請求項では、画像パッチに適用する形態で本発明に係る方法を記述しているが、この方法は任意のデータベクトルについても同様に適用することができる。
・データベクトル又は画像パッチは、数値、例えば、グレイスケールの画素値をもつ個別の要素により構成される。
・さらに、画像パッチは、複数の層又は複数の次元、例えば、ＲＧＢ画像パッチによって構成することもできる。
・画像パッチの部分画像やデータベクトルの部分ベクトルは、画像パッチやデータベクトルの要素の部分集合である。

Claims (24)

1. コンピュータにより実行される、ステレオカメラ・システムから取得された２つの画像パッチ間の類似性を比較する方法であって、
   それぞれが少なくとも一つの画像パッチを供給する少なくとも２つの視覚センサから、少なくとも２つの画像パッチを受信するステップと、
   受信した画像パッチを比較するステップとを有し、
   前記比較するステップは、
   各画像パッチから複数の対応関係にある部分画像ペアを抽出するステップと、
   すべての前記部分画像ペア間で正規化局所類似度スコアを算出するステップと、
   すべての前記部分画像ペア間の前記正規化局所類似度スコアを総和を計算して総マッチングスコアを算出するステップと、
   前記総マッチングスコアを画像パッチの類似度指標として用い、前記総マッチングスコアに基づき、対応関係を持つ類似画像パッチを決定するステップと、
   を有する方法。
2. コンピュータにより実行される、画像パッチ間の類似性を比較する方法であって、
   それぞれが少なくとも一つの画像パッチを供給する少なくとも２つの画像供給源から、少なくとも２つの画像パッチを受信するステップと、
   受信した画像パッチを比較するステップとを有し、
   前記比較するステップは、
   各画像パッチから複数の対応関係にある部分画像ペアを抽出するステップと、
   すべての前記部分画像ペア間で正規化局所類似度スコアを算出するステップと、
   すべての前記部分画像ペア間の前記正規化局所類似度スコアを総和を計算して総マッチングスコアを算出するステップと、
   前記総マッチングスコアを画像パッチの類似度指標として用いるステップと、
   を有する方法。
3. 各画像パッチの前記部分画像が互いに重なり合っている、請求項２に記載の方法。
4. 前記正規化局所類似度スコアを計算するステップは、
   前記各部分画像の平均と標準偏差を算出するステップと、
   正規化相互相関係数を算出するステップと、
   を有し、
   正規化相互相関（ＮＣＣ）、及び／又は、加重ウィンドウを使用する加重ＮＣＣを用いて、前記正規化局所類似度スコアを計算する、請求項２又は３に記載の方法。
5. 一の画像パッチを、リストされた他の画像パッチと比較することにより、最も類似度の高い画像パッチを特定する、請求項１乃至４のいずれかに記載の方法。
6. 前記少なくとも２台の画像供給源は少なくとも２台のカメラであり、一方のカメラ画像からの前記画像パッチを、他方のカメラ画像からの前記画像パッチと比較して、対応関係を持つ画像パッチを特定する、請求項１乃至６のいずれかに記載の方法。
7. 視差に基づく奥行き値が、前記算出したパッチ類似度を用いて推定される、請求項１乃至６のいずれかに記載の方法。
8. 前記画像パッチは、ロボット又は自動車に搭載された１台又は複数台のカメラから抽出される、請求項１乃至８のいずれかに記載の方法。
9. 正規化局所類似度スコアが、局所マッチング指標を与えるＮＣＣマッチングによって算出され、
   前記総マッチングスコアは、前記局所マッチング指標を使用して算出され、
   前記総マッチングスコアの算出により局所計算から生じる雑音が抑制される、
   請求項１乃至９のいずれかに記載の方法。
10. 前記総マッチングスコアが、局所マッチングスコアの平均化、加重平均化、勝者独り勝ち選択、又は、メジアン選択により算出される、請求項１乃至９のいずれかに記載の方法。
11. 前記画像パッチは任意のデータベクトルである、請求項１乃至１１のいずれかに記載の方法。
12. 前記画像パッチは、数値が付された個別の要素で構成される、請求項１乃至１１のいずれかに記載の方法。
13. 前記個別の要素に付された数値は、グレイスケールで表わした画素値である、請求項１２に記載の方法。
14. 前記画像パッチは、複数の層又は複数の次元で構成される、請求項１乃至１３のいずれかに記載の方法。
15. 前記画像パッチは、ＲＧＢ画像パッチである、請求項１乃至１４のいずれかに記載の方法。
16. 前記少なくとも２台の画像供給源は、一つのカメラから異なる時刻に取得した画像である、請求項１乃至１５のいずれかに記載の方法。
17. ある時刻における前記画像パッチを、他の時刻における画像パッチと比較して、対応関係を持つ画像パッチを特定する、請求項１６に記載の方法。
18. 前記算出されたパッチ類似度が、画像パッチに基づく動き推定に用いられる、請求項１乃至１７のいずれかに記載の方法。
19. 一方の画像供給源は、データベース及び／又はメモリからロードされる、物体を描写したテンプレート画像パッチであり、該テンプレート画像パッチと第２又は別の画像供給源から抽出された画像パッチとを比較して、前記画像内の物体を特定する、請求項１乃至１８のいずれかに記載の方法。
20. 物体の時間変化を追跡するため、物体追跡手法と同様の予測と確認を繰り返し実行する時間的フレームワークを備えたシステムに組み込まれ、予測関数により取得され選択された画像パッチ集合に限定して類似度計算を実行する、請求項１乃至１９のいずれかに記載の方法。
21. 平均化処理とフィルタリング処理とが、分離可能なフィルタ及び／又はボックスフィルタを用いて最適化される、請求項１乃至２０のいずれかに記載の方法。
22. 少なくとも１台のカメラと、計算ユニットとを備え、請求項１乃至２１のいずれかに記載の方法を実行して、奥行き推定、動き推定、物体検出、及び/又は、物体追跡を行うシステムを装備する、ロボット、陸上車両、航空車両、海上車両、又は、宇宙車両。
23. 自車両に備えたステレオカメラの撮影範囲内の少なくとも１つの物体についての奥行き推定値を計算するため、請求項１乃至２１のいずれかに記載の方法を実行するドライバ支援システムを備えた車両。
24. コンピュータで実行されることにより、請求項１乃至２１のいずれかに記載の方法を実施するコンピュータ・プログラム。