JP2020533719A - 画像の評価のための方法および装置、運転支援方法、ならびに運転装置 - Google Patents

Abstract

本発明は、画像（Ｂ１、Ｂ２）の評価およびとりわけ画像（Ｂ１、Ｂ２）の対応仮説（［ｕ，ｖ］）の評価のための方法（Ｓ）であって、ステップ（ｉ）それぞれ対応する画像マトリクスとして与えられた第１と第２の画像（Ｂ１、Ｂ２）の間の対応仮説（［ｕ，ｖ］）の仮説マトリクス（１０）を準備すること（Ｓ１）、（ｉｉ）仮説マトリクス（１０）の評価（Ｓ２）および画像対応仮説（［ｕ，ｖ］）の条件付きの検証（Ｓ３）、ならびに（ｉｉｉ）評価結果として、検証された画像対応仮説（［ｕ，ｖ］）を、画像対応の対応マトリクス（１００）内で準備すること（Ｓ４）を有している、方法（Ｓ）において、仮説マトリクス（１０）の評価（Ｓ２）が、仮説マトリクス（１０）の各要素（１）に対し、対応仮説（［ｕ，ｖ］）の少なくとも１つの成分（ｕ、ｖ）に関し、成分（ｕ、ｖ）の値についてのヒストグラム（６３、６４）を形成（Ｓ２−１）および評価（Ｓ２−２）することによって行われる、方法（Ｓ）に関する。

Description

本発明は、画像の評価およびとりわけ画像の対応仮説の評価のための方法および装置、運転支援方法およびとりわけ走行支援方法、ならびに運転装置およびとりわけ車両に関する。本発明は、さらにコンピュータプログラムおよび機械可読メモリ媒体に関する。

多くの技術分野で、装置およびプロセスを制御するために画像処理が用いられており、例えば自動車産業の分野でも、いわゆる運転者支援システムで用いられている。この関連では例えば画像を捕捉し、制御プロセスの基礎としている。このために画像を評価しなければならない。画像評価の際にはしばしば、いわゆる対応を生成して評価の基礎とする。このような対応は、第１の画像内の座標と第２の画像内の座標の間の割当てを、ピクセルごとに、ならびに時間的および／または空間的な方向で表している。時間的な関係性とは、相次いで撮影された画像であることができ、空間的な関係性とは、空間的に分離した画像であることができ、この空間的に分離した画像は同時に撮影されることもあり、例えばステレオビジョンの場合である。対応を導き出す際には、最初に対応仮説を形成する。対応仮説は検証または反証されなければならない。この工程は、とりわけ高解像度画像ではメモリ集約的、計算集約的、および／または時間集約的である。

それに反し、請求項１の特徴を有する本発明による画像評価方法は、比較的少ない作業で、画像ペアについての対応仮説を高い信頼性で検証でき、つまり承認でき、または拒絶できるという利点を有している。これは本発明によれば、請求項１の特徴を用い、画像の評価およびとりわけ画像の対応仮説の評価のための方法を提供することで達成され、この方法は以下のステップを有している。
（ｉ）それぞれ対応する画像マトリクスとして与えられた第１と第２の画像の間の対応仮説を、対応する仮説マトリクス内の要素として準備すること、
（ｉｉ）仮説マトリクスの評価および対応仮説の条件付きの検証、ならびに
（ｉｉｉ）評価結果として、検証された画像対応仮説を、対応マトリクス内の画像対応として準備すること。

仮説マトリクスの評価は、本発明によれば、仮説マトリクスの基準要素としての各要素に対し、それぞれの要素の周囲内で、対応仮説の少なくとも１つの成分に関し、その成分の値についてのヒストグラムを形成および評価することによって行われる。これらの措置によって達成されるのは、本発明によれば、基礎となる画像の要素またはピクセルについての仮説を、対応仮説の画像またはマトリクス内でのこの要素またはピクセルの周囲を介して、したがって比較的高い信頼性で評価でき、それにより検証または反証できるということである。

これに関し本発明によれば、正しい対応はその値において、つまり例えば方向および長さに関して類似しており、その一方で誤った対応はこの類似性を有していないので、仮説画像内の正しい対応は、隣接部内の対応によって承認されるという事情を活用する。本発明に基づく手順により、正しいおよび誤った対応の信頼性の高い効率的な評価および分離がもたらされる。

この関連で「条件付きの検証」とは、より広い意味では、１つまたは複数の設定条件をチェックすることで、それぞれの対応仮説が承認および維持されるのか、つまりより狭い意味で検証されるのか、または拒否および拒絶されるのか、つまり反証されるのかを本発明に基づいて判定することを意味している。

本発明は、カメラ、監視カメラ、および／または測定技術カメラのあらゆる形態との関連で、ほかにもあるが例えば、概括的には車両の表面または中で、とりわけ自動車との関連で適用することができる。これに関してはテレビカメラ、コンシューマカメラ、ドローンカメラ、マンマシンインタラクションカメラなどとの関連での本発明の適用も一緒に含まれている。

従属請求項は、本発明の好ましい変形形態を示している。
本発明の意味においては、対応仮説の全体を、仮説画像または仮説マトリクスとも解釈し、仮説画像または仮説マトリクスの個々の構成要素を、要素またはピクセルとも言う。個々の対応仮説は、１つのスカラ成分を有することができ、またはより多くのスカラ成分を有することもでき、例えば、基礎となる空間内の仮説画像内および／または射影面内の異なる動き方向ｕ、ｖに関する値を有することができる。したがって対応仮説はベクトル値であることができる。さらに対応仮説は、オプティカルフロー（ＯＦとも言う）のコンセプトに基づくことができ、かつ／またはステレオ視差を表すことができ、ただしこれは必ずしもそうでなくてよい。

仮説マトリクスに関する１つまたは複数のヒストグラムの形成は、様々なやり方で実現することができる。
本発明による方法の好ましい一実施形態では、仮説マトリクスの所与のそれぞれの要素に対してヒストグラムの形成が行われ、これは、この所与の要素の周囲内の仮説マトリクスの（とりわけすべての）要素に関し、対応仮説のそれぞれの成分を、所与のヒストグラム区分で振り分けて、合計または重み付け合計することによって行われる。

その際、仮説マトリクスのそれぞれ所与の要素のそれぞれの周囲から捕捉されるすべての仮説マトリクス要素を、ヒストグラム形成のために評価またはともかく考察、つまり例えば読み出すことは、必ずしも必要ない。むしろ、それぞれの適用および状況に応じて、例えば本発明による方法を加速させるためまたは計算作業を減らすために、適切に選抜することができる。これは下で詳細にさらに説明する。

仮説マトリクスの所与のそれぞれの要素に対する周囲の定義は、様々な手段によって行うことができる。
本発明による方法が特に柔軟になるのは、好ましい一変形形態によれば、それぞれのヒストグラムの形成の際に、仮説マトリクスの所与のそれぞれの要素に対する周囲がそれぞれ、全体的または部分的に仮説マトリクスと重なり合っているウィンドウにより、とりわけ長方形、多角形、オーバル形、楕円形、または円形の方式で、与えられている場合である。

この関連で述べている仮説マトリクスの所与のそれぞれの要素とは、言うなれば基準要素または基準ピクセルである。この基準要素または基準ピクセルに、それぞれ生成されたヒストグラムが割り当てられ、このヒストグラムに関して評価される。

本発明による方法が特に高い信頼性で機能するのは、ヒストグラムの評価およびとりわけ形成の際に、仮説マトリクスのすべての要素が捕捉される場合である。
これに関して特に有利なのは、仮説マトリクスのすべての要素に対し、形状および／または広さが同一または類似のそれぞれの周囲またはそれぞれのウィンドウを使用する場合であり、なぜならこの状況では、仮説マトリクスの異なる要素に対し、結果の高い比較可能性が生じるからである。

本発明による方法の進行に関し、タイムクリティカルなまたは計算集約的なまたはメモリアクセス集約的な作業ステップを、進行最適化のために節減するべく、別の有利な一変形形態では、それぞれの周囲またはそれぞれのウィンドウを、スライディング周囲またはスライディングウィンドウとして形成する。これが適用において意味するのは、ヒストグラム計算のために参照すべきそれぞれの基準要素および周囲を規定するため、理想的な概念構成体としてのスライディングウィンドウを仮説マトリクスの上に載せて、そこでずらすということである。この場合、ウィンドウのスライド移動は徐々に、例えば行方向に列ごとに、または列方向に行ごとに徐々に行われ、このとき、既存のヒストグラムが新たな基準要素のために更新され、詳しくは、仮説マトリクスの新たに入ってくる要素を付加または登録し、かつ仮説マトリクスの出ていく要素を除去または削除することによって更新される。

仮説マトリクスの基準要素としての所与のそれぞれの要素に関するヒストグラムの評価の際に、ヒストグラムに基づいて評価値を生成することができる。この評価値はその後、基準要素または基準ピクセルに属する対応仮説の本来の評価に用いられる。

評価値の生成は、例えば、所与の要素に割り当てられた対応仮説またはその少なくとも１つの成分に対する少なくとも１つのヒストグラム区間における、ヒストグラムの１つまたは複数の値を読み出して、評価値を形成するために合計または重み付け合計することによって行うことができる。

その際、追加的に、割り当てられたヒストグラム区間に隣接する１つもしくは複数のヒストグラム区間からの、または隣接するヒストグラム区間の周囲からの、１つまたは複数の値を考慮できることが好ましい。こうすると、基準ピクセルの対応仮説を検証または反証するために、基準ピクセルの対応仮説に対する仮説周囲を簡単に考慮することができる。

本発明による方法の別の有利な一変形形態では、検証の際、仮説マトリクスの基準要素としてのそれぞれ所与の要素についての対応仮説またはその成分の検証は、評価値が、ローカルまたはグローバルな設定閾値に少なくとも達する場合に認定される。これは具体的には、基準ピクセルの対応仮説についての評価値が、閾値より下もしくは上にあるのか、または閾値に少なくとも達しているのかどうかをチェックすることを意味する。前者の場合は、対応仮説は外れ値として拒絶され、後者の場合には検証され、承認されて、その後、そのままでまたは変化させた形態で、対応として、対応マトリクスまたは対応画像に引き継がれる。

その代わりにまたはそれに加えて、仮説マトリクスの基準要素または基準ピクセルとしてのそれぞれ所与の要素についての対応仮説またはその成分の検証の際に、割り当てられて検証される対応またはその成分をそれぞれ評価値によって規定し、かつ好ましくは、対応している要素としての対応またはその成分として、対応マトリクスまたは対応画像に登録することができる。

具体的な実施形態では、処理の際に本発明による方法を加速させるために、および／またはそれぞれ必要な処理作業を減らすために、様々な技術的措置をとることができる。
この技術的措置とはとりわけ、動作の数、例えばメモリアクセス、加算、および／または乗算の数を減らすことであってもよい。これは、より速い実施の意味における時間的加速、実施のためのリソースの減少、または同時に両方のために活用することができる。

よって本発明による方法の好ましい一形態によれば、特に有利なのは、仮説マトリクスの評価および／または対応仮説の条件付きの検証を加速させるために、とりわけヒストグラムメモリ内に記憶されるそれぞれその時々に生成されたヒストグラムを、複数の対応仮説の並列的および／または逐次的な検証のために使用する場合であり、とりわけ、仮説マトリクスの基準要素または基準ピクセルとしての仮説マトリクスの複数の要素の対応仮説を評価するために使用する場合であり、これらの複数の要素は、とりわけ互いに直接隣接していてよい。

この関連でさらに有利なのは、本発明による方法の別の一形態によれば、処理の基礎となる１クロックサイクルが、ヒストグラムから、仮説マトリクスの基準要素としてのそれぞれその時々の要素についての値と、ヒストグラムの１つまたは複数のさらなる区間についての値とを読み出すのに十分であるように、使用するヒストグラムメモリが構成されている場合である。

これは、（ｉ）基礎となる読み出しアドレスを、仮説マトリクス内のその時々の要素について記憶された値への値１の加算もしくは引算によって、および／または（ｉｉ）とりわけ基礎となるヒストグラムメモリのデュアルポートに関連して、ヒストグラムの区間のクラスタ化によって、計算することにより、有利に行うことができる。

その代わりにまたはそれに加えて、仮説マトリクスの評価および／または対応仮説の条件付きの検証を加速させるために、仮説マトリクスの基準要素の意味における相応の複数の要素についての複数の対応仮説に対し、条件付きの検証を並列的に、とりわけ同時に、および／または逐次的に実施することが考えられる。

複数の仮説、詳しくは、仮説画像内の基準ポジションおよび近くの隣接ポジションについての複数の仮説を検証するために、ヒストグラムの所与の充填状態を利用することができる。ヒストグラムの更新は複雑であり、かつこの手順により、必要な更新の数を例えば１／４に減らせるので、例えばメモリアクセス、加算、重み付け、およびそれに類することの数の意味における処理作業の節減がもたらされる。

ヒストグラムの更新の際に、仮説マトリクスの基準要素としてのそれぞれ所与の要素の周囲内の、およびとりわけ基礎となるスライディングウィンドウ内の、仮説マトリクスのすべての要素は考慮しないことも考えられる。

これに関してはとりわけ、スライディングウィンドウの最大行数に相当するより少ない行を使用することができ、とりわけ行数は４である。
本発明はさらに、画像を捕捉し、かつ本発明による方法に基づく１つの方法によって評価し、かつ評価の結果を装置の運転制御の際に使用する、装置およびとりわけ車両のための運転支援方法およびとりわけ走行支援方法に関する。

本発明の別の一態様によれば、本発明による運転支援方法もしくは走行支援方法または画像の評価およびとりわけ画像ペアについての対応仮説の評価のための本発明による方法を実行するように適応されている、画像の評価およびとりわけ画像の対応仮説の評価のための装置も提示されている。

本発明による装置は、とりわけ、ＡＳＩＣとして、自由にプログラム可能なデジタル信号処理装置として、またはその組合せとして形成することができる。
さらに本発明により、コンピュータまたはデジタル信号処理機構上で実行される場合に本発明による方法を実行するように適応されているコンピュータプログラムが提示されている。

さらに本発明は、本発明によるコンピュータプログラムが記憶されている機械可読メモリ媒体も提供している。
添付の図を参照しながら、本発明の実施形態を詳細に説明する。

本発明による方法の一実施形態をフロー図の形態で概略的に示し、かつ基礎となる画像と、仮説マトリクスと、対応マトリクスとの間の対応を図解する図である。 基礎となる仮説マトリクスと適用されたスライディングウィンドウとの間の関連の可能性を概略的に説明する図である。 基礎となる仮説マトリクスと適用されたスライディングウィンドウとの間の関連の可能性を概略的に説明する図である。 基礎となる仮説マトリクスと適用されたスライディングウィンドウとの間の関連の可能性を概略的に説明する図である。 基礎となる仮説マトリクスと適用されたスライディングウィンドウとの間の関連の可能性を概略的に説明する図である。 それぞれ、基礎となる対応マトリクスの成分についてのヒストグラムを示すグラフである。 基礎となる仮説マトリクスと適用されたスライディングウィンドウとの間の関連の可能性を同様に概略的に説明する図である。 本発明による方法の実施形態を加速させるためにとり得る措置を説明する図である。 本発明による方法の実施形態を加速させるためにとり得る措置を説明する図である。 本発明による方法の実施形態を加速させるためにとり得る措置を説明する図である。

以下では図１〜図１０を参照しながら、本発明の例示的実施形態および技術的背景を詳細に説明する。同じおよび同等の要素および成分ならびに同じにまたは同等に作用する要素および成分には同一の符号を付している。符号を付した要素および成分が出てくるすべての場合に詳細な説明を繰り返してはいない。

示される特徴およびさらなる特性は、本発明の核心から離れることなく、任意の形態で互いから切り離すことができ、かつ任意に相互に組み合わせることができる。
図１は、画像Ｂ１およびＢ２を評価するための本発明による方法Ｓの一実施形態をフロー図の形態で概略的に示しており、かつ基礎となる画像Ｂ１、Ｂ２と、仮説マトリクス１０と、対応マトリクス１００との間の対応を図解している。

画像Ｂ１およびＢ２を評価するための本発明による方法Ｓの第１のステップＳ１では、最初に仮説マトリクス１０を準備し、この仮説マトリクス１０は、仮説画像とも解釈でき、かつ要素として対応仮説［ｕ，ｖ］（ここでは成分ｕおよびｖをもつ）を有しており、この対応仮説を、それぞれの対応仮説が実際に対応をもたらすのかまたは外れ値として拒否されねばならないのかを判定するために評価する。

その際、［ｕ，ｖ］はベクトルとして解釈することができ、このベクトルの成分ｕおよびｖはそれぞれピクセルを単位としている。このようなベクトル［ｕ，ｖ］は、ベクトル［ｘ，ｙ］に加算またはベクトル［ｘ，ｙ］から引算することができる。このベクトル［ｘ，ｙ］は、画像Ｂ１またはＢ２内の１つのポジション（ピクセル座標としての）であることができる。

和［ｘ，ｙ］＋［ｕ，ｖ］または差［ｘ，ｙ］−［ｕ，ｖ］は、それぞれもう一方の画像内の１つのポジションであり得る。つまり、ポジション［ｘ，ｙ］でのベクトル［ｕ，ｖ］は、それぞれもう一方の画像内のポジションについての割当ての意味での関係性である。この関係性が対応に相当し得る。すなわちこれが、両方の画像ポジションで同じシーン点を表示している場合である。このような正しい対応を見つけることが重要である。承認の場合には、［ｕ，ｖ］が対応マトリクス１００内の［ｘ，ｙ］のポジションで記憶され、かつ有効とラベリングされる。拒否の場合には、そのことが［ｘ，ｙ］のポジションで相応に記録される。有効／無効のラベリングのために、ポジション［ｘ，ｙ］ごとに１ビットを、または例えばｕおよびｖの値域の端に存在する特殊なベクトル［ｕ，ｖ］を用意することができる。

ベクトル［ｕ，ｖ］は、一般的に整数でない値を有する。これに対してベクトル［ｘ，ｙ］は整数の値を有することが好ましい。
対応仮説を外れ値として評価すべきか否かについて判定するために、第２のステップＳ２で仮説マトリクス１０または仮説画像を評価し、評価結果に基づいてその後のステップＳ３で検証する。これは詳しくは、各対応仮説［ｕ，ｖ］または成分ｕおよびｖの各々に関し、対応仮説［ｕ，ｖ］または成分ｕ、ｖを拒絶および拒否または承認するかどうかを判定することを意味している。

その後、すべての承認された対応仮説［ｕ，ｖ］の全体が、相応の対応マトリクス１００を形成し、この対応マトリクス１００は、対応画像と言うこともでき、承認された対応を要素またはピクセルとして内包している。

本発明によれば、仮説マトリクス１０の評価Ｓ２は、ステップＳ２−１において、仮説マトリクス１０の、ここではいわゆる基準要素または基準ピクセルとして機能している各要素１のために、それぞれの割り当てられた対応仮説［ｕ，ｖ］またはこの対応仮説［ｕ，ｖ］を形成している成分ｕ、ｖに関して、対応仮説［ｕ，ｖ］の成分ｕ、ｖの値に対する１つまたは複数のヒストグラム６３、６４を形成することによって行われる。

その後、これらのヒストグラム６３、６４を、その後のステップＳ２−２で評価する。
図１ではさらに、画像Ｂ１、Ｂ２と、仮説画像とも解釈される仮説マトリクス１０と、対応画像とも解釈される対応マトリクス１００とがそれぞれ、互いに対応しているマトリクスとしておよび／または相応に適応されたメモリもしくはメモリ領域として表せることを示している。これは、簡略化した表現のために用いられているが、画像Ｂ１、Ｂ２の少なくとも１つと、仮説マトリクス１０と、対応マトリクス１００との間の、およびそれらのそれぞれの要素またはピクセルの間のそれぞれの１対１の対応が作り出せるのであれば、必要なことではない。

図２〜図５は、基礎となる仮説マトリクス１０と適用されたスライディングウィンドウ２０との間の関連の可能性を概略的に説明しており、スライディングウィンドウ２０は、それぞれ所与の基準ピクセル１についてのヒストグラム６３、６４の隆起部に対する周囲を定義または形成している。

図２〜図５に示しているすべての実施形態では、全体の対応仮説［ｕ，ｖ］を、ある特定の列数およびある特定の行数をもつ長方形の仮説マトリクス１０として示している。仮説マトリクス１０は、仮説画像とも解釈でき、かつピクセルとも言える要素１１を有している。したがって仮説マトリクス１０の各要素１１が対応仮説［ｕ，ｖ］を有しており、対応仮説は、１つの成分から、またはここでのように複数の成分ｕ、ｖから成ることができる。

ただしこれに関しては、例えばそれぞれのシーン点が、確かに画像Ｂ１内では見えるが、画像Ｂ２内では隠れているかまたはほかの理由から見つけられないという理由で、ある特定の画像ポジションに関して仮説を決定できないなどの可能性があるので、すべての対応仮説［ｕ，ｖ］が有効な内容を有さなくてもよい。

したがって仮説マトリクス１０の各メモリ位置に対し、有効／無効の情報を提示することができる。有効／無効のラベリングのために、ポジション［ｘ，ｙ］ごとに１ビットを、または例えばｕおよびｖの値域の端に存在する特殊なベクトル［ｕ，ｖ］を用意することができる。

無効とラベリングされた仮説は、その後は常に無視される。したがって無効とラベリングされた仮説はヒストグラム６３、６４に影響を及ぼさない。無効とラベリングされた仮説は対応マトリクス１００内の結果をもたらすこともあり得ない。

対応仮説［ｕ，ｖ］およびそれらの成分ｕ、ｖの種類は、対応仮説［ｕ，ｖ］の準備の基礎となる方法Ｓ１に依存している。これに関しては、基礎となる捕捉された画像Ｂ１およびＢ２の物理的性質ならびに対応形成自体のためのメカニズムの性質が作用する。対応形成は、オプティカルフロー（ＯＦ）のコンセプトおよび／またはステレオ視差の態様および場合によってはさらなる態様を基礎とすることができる。

図２〜図５に示している例では、基礎となる仮説マトリクス１０の基準ピクセル１に対するそれぞれの周囲が、相応の列数または行数の幅Ｂおよび高さＨをもつスライディングウィンドウ２０によって与えられている。スライディングウィンドウ２０は、仮説画像１０のそれぞれ１つの領域１５をカバーしており、かつピクセルとも言える相応の要素２１を有している。ここで１または２６を付された要素は、印を付けられており、かつスライディングウィンドウ２０に対する基準ピクセルまたは基準要素１、２６として用いられている。基準要素または基準ピクセル１、２６は、ウィンドウに対しては中心ピクセルであることができる。

以下に説明するヒストグラム６３、６４は、常にスライディングウィンドウ２０に基づいて、および基礎となる仮説マトリクス１０の要素１１、２１のうちスライディングウィンドウ２０によってカバーされている領域１５に基づいて確定される。

下で説明するヒストグラム６３、６４の更新は、例えば行方向に沿った、つまり図２〜図５では水平な、矢印２３の方向でのスライド変位によって行われることが有利である。このスライド移動、つまり変位の際には、仮説マトリクス１０のピクセルまたは要素２４が、左側または後ろ側１７でスライディングウィンドウ２０からこぼれ出て、その一方で正面側１６とも言う右側では、ピクセル２２がスライディングウィンドウ２０の下または中に達する。

ヒストグラム６３、６４の更新は、去っていくピクセル２４を削除し、そのピクセル２４のカウンタまたは重みをヒストグラム６３、６４から差し引き、かつやって来るピクセル２２のカウンタまたは重みをヒストグラム６３、６４に取り込むことによって行われる。

図２ではスライディングウィンドウ２０が長方形１８−１を有する一方で、図３に基づく実施形態での形状１８−２はオーバル形である。
図４および図５は、基準ピクセル１、２６が仮説画像１０の端にある場合の、したがってこの事例では基準ピクセル１、２６が、仮説画像１０の端からはみ出ているスライディングウィンドウ２０の中心ピクセルとして機能している場合の、基準ピクセル１、２６およびとりわけスライディングウィンドウ２０の取扱いを説明している。

図５は、これに関してとりわけさらに方向２３および２３’でのスライディングウィンドウ２０の往復移動を、その間の鉛直方向２７での行の移り変わりと共に説明している。
これらの関連は、下に続く段落でさらに説明する。

図６は、それぞれ、基礎となる対応マトリクス１０の基準ピクセルまたは基準要素１、２６としての要素についてのヒストグラム６３、６４、それも対応仮説［ｕ，ｖ］の成分ｕおよびｖに関するヒストグラム６３、６４を表しているグラフ６０を示している。

図７も、基礎となる対応マトリクス１０と適用されたスライディングウィンドウ２０との間の関連の可能性を概略的に説明している。
図８〜図１０は、本発明による方法Ｓの実施形態を加速させるためにとり得る措置を説明している。これらの措置は、以下の段落で詳細に説明し、とりわけ、基礎となる仮説マトリクス１０の複数の隣接する基準ピクセル１、２６についての対応仮説［ｕ，ｖ］の同時の評価に関する。

本発明のこれらのおよびさらなる特徴および特性を、以下の詳述に基づいてさらに説明する。
対応形成というテーマには、コンピュータビジョンの分野で、つまり機械またはコンピュータを用いて見ることにおいて、とりわけオプティカルフローおよびステレオ視差の場合に遭遇する。

上および下でＯＦとも言うオプティカルフローの場合、対応は、第１の画像内の座標と第２の画像内の座標の間の割当てを決定することにより、時間方向に形成される。このような対応は、この場合、３Ｄシーン内の点の２Ｄ画像内への射影が、古い座標から新しい座標へと、経時的にどのようにさらに動いたかを提示している。

この場合の画像内の動きは、シーン点の動きによって、カメラの動きによって、または同時に両方によって引き起こされ得る。
ステレオビジョンの場合、両方の画像がほぼ同時に、異なる場所にある２つのカメラによって捕捉される。その際、カメラの相対的な配置は一般的に固定されており、かつ分かっている。対応形成は、３Ｄシーン内の点に対する距離を三角測量によって決定することを可能にする。

対応形成の多種多様な方法が知られており、これらの方法はここでは自明のことと考える。
対応形成の結果は、最初は仮説として用いられ、つまり潜在的対応であり、これらの潜在的対応のうちの少数または多数が誤っている可能性があり、その場合は外れ値またはアウトライアとも言う。

これに関し、画像座標ごとに１つもしくは複数の仮説が存在していてよく、または存在していなくてもよい。
本発明の課題は、対応仮説を検証するためのできるだけ信頼性の高い方法を提示し、これにより、できるだけ多くの外れ値を認識および場合によっては除外し、かつ有効な値またはインライアとしての正しい仮説を概ね維持することである。

画像座標ごとに複数の異なる仮説が存在している場合、一般的にはそのうちの多くとも１つが正しい。
本発明の１つの中心的態様は、ヒストグラムに基づいて対応仮説を検証する方法を提供することである。これに関しては、第１の画像から第２の画像へと移行する際に画像点のローカルな隣接部がたいていは維持されるという仮定を基礎としている。

つまり、両方の画像内に射影されたシーン点の座標を相互に結ぶベクトル（例えば、オプティカルフローベクトルとも言うオプティカルフローのベクトル）は、たいていは、隣接する画像ポジションのベクトルと類似の挙動を示す。この「類似」とは、ベクトルが類似の長さおよび類似の向きを有しているか、または類似のベクトル成分を、例えば水平成分ｕおよび鉛直成分ｖに関して有していることを意味する。

この仮定は、例えば運転者支援カメラ、ロボットカメラ、または監視カメラに由来する自然な画像ではたいてい画像の大部分で満たされている。しかし、例えば物体エッジでは、とりわけシーン内の深さ急変部では、この仮定に反する可能性がある。

相応に相次ぐ画像に対して確定されたフローフィールドは、様々なやり方で、例えばカラーコード化を使って可視化することができ、この場合、それぞれの色はフロー方向を提示しており、例えば黄色：下へ、青：上へ、ピンク：左へ、緑：右へを提示している。彩度はフローベクトルの長さを提示しており、したがってゼロベクトルは例えば白く表現されている。この場合、黒い領域は、オプティカルフローに関する値が決定できない場合に利用することができる。

自然な画像の場合（つまり、例えば自然なシーンの光学イメージングの場合）もたらされるのは、時間的に相次ぐ画像の、またはステレオビジョンでは互いに割り当てられた画像の隣接するピクセルが、たいていは類似のフローベクトルまたは対応ベクトルを有しており、したがって類似性の仮定がローカルな隣接部内で良く満たされていることである。この仮定が、本発明によって有利に利用されている。

上で既に言及したように、例外は、とりわけ物体エッジで当てはまり、例えば画像の前景内でイメージングされた歩行者と、画像の同様にイメージングされた背景との間のエッジで、または画像の前景内でイメージングされた自転車に乗っている人の、背景およびその類似物に対するエッジで当てはまる。しかしそこではしばしば、隣接するピクセルの少なくとも一部が類似の対応、例えばフローベクトルを有しているので、この仮定が依然として部分的には満たされている。このような場合も本発明によって一緒にカバーされている。

本発明との関連では、対応形成のための例として、例示的にたいていはオプティカルフローについて論じている。しかしほかの適用、例えばステレオシステム、マルチカメラシステム、およびそのほかも一緒にカバーされている。これに関し、基礎となるカメラシステムが較正されている必要はない。したがって例えば、ステレオシステムの場合にしばしば使用される（較正に基づく）エピポーラ平行化処理も、本発明を適用し得るために必要ではない。それどころか、文書中でのまたは文書の境界を越えての、類似のテキスト部分の発見のような、対応形成のかなりより一般的な例のために、本発明を適用することができる。

水平方向またはｕ方向でのおよび鉛直方向またはｖ方向での動きに関するローカルな周囲の対応仮説およびとりわけその値を、それぞれ、単独の、その場合は１次元のヒストグラムに、または組み合わされた、一緒の、その場合は２次元のヒストグラムに登録すると、適切なスケーリングの場合、ヒストグラム内にピークまたは極大が形成され、これらのピークまたは極大は、支配的なローカルな動きに由来している。これを例えば図６では、２つの独立した１次元ヒストグラムの使用に関して示している。

つまり、適切なヒストグラムを選択するための複数の可能性が存在する。
− ２つの１次元ヒストグラム
一方の１次元ヒストグラムは、第１の動き成分、例えば水平な動きｕに用いられる。第２の１次元ヒストグラムは、それに垂直な動き成分、例えば鉛直な動き成分ｖに用いられる。

動き成分ｕ、ｖは、それぞれ基礎となる画像の画像軸に沿ってまたは平行に位置合わせされていなくてもよい。例えば対角線の成分またはあらゆるほかの位置合わせも考えられる。

成分は、ほかの量、例えばフローベクトルの方向および長さであってもよい。
− １つの多次元ヒストグラム（複合ヒストグラム）
１つの多次元ヒストグラム（複合ヒストグラムとも言う）の場合、例えば１つの２次元ヒストグラムの場合、両方の成分ｕ、ｖを互いに独立に考察するのではなく、一緒に考察している。

さらに、値域および分解能を規定することができる。それぞれのヒストグラムの値域は、対応形成のグローバルまたはローカルなサーチ領域、例えばオプティカルフローの場合の発見可能な最小限および最大限の水平の動きに添うことが有意義である。

ヒストグラムビンとも言うヒストグラム区間のそれぞれの分解能または区間幅は、例えば所望の精度または所与の仮説の分解能または提供されているメモリ量に添うことができる。

ただし区間幅を小さく選択しすぎないことが望ましく、さもなければ１つのヒストグラムビンまたはヒストグラム区間に属するデータがそれぞれ少なすぎ、これにより、明白性の欠如ゆえに大多数の決定が困難にまたはより複雑になる危険がある。

所与の区間幅によって生じ得る望ましくない量子化効果を回避または低減するために、ヒストグラムに登録されるべき値、例えばインクリメント＋１またはデクリメント−１または加算記号をもつ重みを、１個のビンに登録するだけでなく、重み付けして２個のすぐ近くにあるビンに分配することが有利であり得る。

例：値ｕ＝９．４を９に丸める代わりに、およびヒストグラム内の相応の位置で＋１を加算する代わりに、９のところで重み＋０．６を加算して、１０のところで重み＋０．４を加算し、したがって１．０の重み全体を２個のビンに、それも間隔に応じた重み付けで分配する。

それぞれのヒストグラムは、図２との関連でも示しているように、スライディングヒストグラムとしてまたはスライディングウィンドウによって実施することができる。これによりヒストグラムの内容を、常に全体的に再び新たに構築しなければならないのではなく、連続的に更新できるので、計算作業およびメモリから／へのデータ転送が節減される。

スライディングヒストグラムは、スライディングウィンドウによって実現でき、スライディングウィンドウは、例えば長方形の形状または別の形状、例えば円形、オーバル形、楕円形、もしくは多角形の形状などを有している。

ヒストグラムに加えてさらにメモリを設けることも有利であり、このメモリ内では、ヒストグラムへのすべての登録の合計が、つまりウィンドウの下にある仮説の数またはウィンドウの下にある重みの合計が、連続的に一緒にもたらされている。つまり、ヒストグラムへの各書き込みアクセスの際に、この合計を更新しなければならない。

合計メモリの準備は、いつでも総数または重み和を呼び出すことができ、最初に改めて計算しなくてよいという利点を提供する。この総数または重み和は、例えば規格化の目的で、例えば（その時々のウィンドウの下の）ある特定の動き仮説を支持する仮説の相対的割合がどのくらい大きいかを確かめるために有益であり得る。

ベクトル成分に関する２つの１次元ヒストグラムの場合、両方のヒストグラムでのそれぞれ登録された重みの合計は、好ましい実施形態では同一なので、合計メモリを１つだけ設ければ十分である。

スライディングウィンドウ（例示的実施形態）
例えば幅Ｂおよび高さＨでの図２に基づく長方形のウィンドウ２０または例えば図３に基づく別の形状のウィンドウ２０は、仮想的に、仮説またはそれらの成分の画像１０およびまたはメモリの上でずらされる。図２および図３では、それぞれスナップショットを示している。スライディングウィンドウ（英語：ｓｌｉｄｉｎｇ ｗｉｎｄｏｗ）としてのウィンドウ２０は、例えばピクセル列ごとに左から右へと、対応仮説の画像１０の上で、またはそれぞれ対応仮説の成分、例えばｕ成分を内包している画像１０の上でずらされる。ウィンドウ２０の移動は、例えば矢印２３によって特徴づけられる。

ウィンドウ２０はちょうど黒枠で印したポジションにある。つまり、ウィンドウ２０の右端のピクセル２２は、たった今ウィンドウ２０の下に移ったところであり、かつピクセル２４は左端でウィンドウ２０を去っていったところである。正確にこれらのピクセル２２および２４に関し、更新またはアップデートが実施される。その際、ピクセル２２のポジションの仮説がヒストグラムに登録され、このために、相応のカウンタがインクリメントされるかまたは相応の重みが個々のヒストグラム区間もしくはビンに加算される。ピクセル２４に対しては「反対の」アップデートが実施され、つまりここでは相応のカウンタが再びデクリメントされるかまたは相応の重みが個々のヒストグラム区間もしくはビンから引算されるという意味において実施される。その際、それぞれの更新またはアップデートが終わっていれば、ヒストグラム内では正確に、ちょうどウィンドウ２０の下に、つまりウィンドウ２０の枠内にある仮説が考慮されていることが保証される。これに対し、ウィンドウ２０の外にある仮説はヒストグラムの内容への影響を有さない。

これに関し、各画像ポジション（ここではピクセルとして示されている）に対して、１つもしくは複数の仮説が存在していてよく、または存在していなくてもよい。例えば、ピクセルごとに０〜３個の仮説を記憶することができる。これは、アップデートの際にこの最大３個の仮説がヒストグラムに登録または削除されることを意味する。

ピクセル１、２６は、例えばウィンドウ２０のほぼ中心にある基準ポジションである。その時々に作成されるヒストグラムはこのピクセル１、２６に関連している。基準ポジションに接するまたは近くの仮説に関しては、その時々のヒストグラム内容に基づき、後でさらに説明するような、例えば検証のための主張を有することができる。

矢印２３は、ヒストグラムアップデートステップおよび検証ステップが終了したときに、ウィンドウ２０がどの方向にさらにずれるのかを表示している。ウィンドウ２０の向きおよびウィンドウ２０のずれまたはスライドの方向２３は、ウィンドウ２０が、スライドするまたはずれる際にできるだけ小さい「正面」または前方縁を有するように選択されるのが好ましく、というのもこの場合に、更新されるピクセルの数が最小だからである。この例では２・Ｈ個のピクセルまたは画像ポジションがアップデートされる。この数は２・Ｂ個より少ない。

それぞれのウィンドウ２０が全体的に画像１０内になければならないのではなく、端と重なっていてもよい。図４では、どのようにウィンドウ２０が左から画像１０内にスライドしてきて、右からスライドして出ていくかを示している。基準ポジション１、２６は、ここでは画像の１行目にある。

図４に基づくこの手順が有利なことがあり、つまりこの手順では、ウィンドウ２０が徐々に画像１０、つまり仮説マトリクスに入っていく。この場合には、ヒストグラム６３、６４の初期充填を行う必要がまったくない。むしろ空のヒストグラム６３、６４（すべてのビンが０にセットされている）から始めることができ、画像端でもアップデートプロセスだけが、それぞれのヒストグラム６３、６４の各々の必要な充填状態をつくる。

図４は、どのようにウィンドウ２０が矢印２３の方向で左から右へとずれていき、その際に重なりが始めは増えていくのかを例示的に示している。ウィンドウ２０の右端のピクセル２２についての値が登録され、その一方でウィンドウ２０の左端ではまだピクセルが存在しておらず、つまりまだ何も削除されない。画像１０の右端ではその逆である。そこでは、ヒストグラム６３、６４が完全に空になるまで、つまり初期状態に戻るまで、ウィンドウ２０の左端のピクセル２４についての値が削除されていき、その一方で右端ではもうピクセルが存在しておらず、つまりもう何も登録されない。

ウィンドウ２０を完全に画像１０から出ていかせる代わりに、代替策としてリセットを実施してもよく、リセットの場合は、ヒストグラム内容が検証ステップに必要なくなるとすぐに、すべてのメモリ位置が０にセットされる。

１行の処理が終わった後、同じ工程を例えば次の行で実施することができる。プロセスを並列化してもよい。
図５は、それぞれ画像１０の右端および左端でのスライディングウィンドウ２０の方向転換を伴う、画像１０の処理に関する特殊な一形式を示している。

つまり、例えば基準ピクセル１、２６が画像１０の端に達したときにそれぞれ、スライドまたはずれの方向を転換することもできる。例えば、始めは左から右へと、基準ピクセル１、２６が端に触れてはいるがまだ画像１０内にあるところまで、ウィンドウ２０を右にずらしていく。その後、ウィンドウ２０を例えば１ピクセルだけ下にずらし、つまりアップデートプロセスを例外的に幅側に対して実施する。その後はウィンドウ２０をその前の方向とは反対方向で、つまり右から左へと、基準ピクセル１、２６が画像１０の左端に達するまで進めていき、新ためて１ピクセルだけ下にずらし、かつ再び方向を転換する等々。

この間、ヒストグラムは一般的に初期状態には達しないであろう。しかしこれは問題ではなく、それどころか、データを比較的少ししか登録および削除しなくてよいので有利である。

ヒストグラムデータ（例示的実施形態）
図６は、成分ｕまたはｖに関するヒストグラム６３および６４の典型的なスナップショットを示しており、これらのヒストグラムは、ここでは１ピクセルの分解能（区間幅）で実装されている。ウィンドウ２０内の支配的動きを示すピーク６５が形成されているのが分かる。ヒストグラムの分解能に応じて、ピーク６５は、たいていは１個または数個のビンに分配されている。

図では具体的に、水平な動き成分（ヒストグラム６３）および鉛直な動き成分（ヒストグラム６４）ｕまたはｖに関する両方の１次元ヒストグラム６３および６４の内容のスナップショットが示されている。

一部では、ウィンドウ２０内に２つ以上の支配的動きが存在していることもあり、これは適用においては例えば、ウィンドウ２０と、半分では画像の前景内の歩行者と対応して、もう半分では画像の背景と対応して、そこで重なり合っており、かつこれら半分が画像内で異なる動きを有している場合である。この場合、ヒストグラム内では一般的に、これら複数の動きを表す相応に複数のピーク６５が存在している。

１つまたは複数の支配的ピーク６５以外では、ヒストグラムビンはゼロまたは小さな値で充填されている。これらの小さな値は、たいていは外れ値によって引き起こされている。

したがってヒストグラム６３、６４による表示は、支配的な、したがっておそらく正しい動きを、外れ値から分離するのに良く適しており、外れ値はどちらかと言えば統計的に点在して発生する。

重み付けヒストグラム
古典的なヒストグラム６３、６４では現象がカウントされる。しかし既に論じたように、仮説［ｕ，ｖ］をそれぞれ同一の重み１ではなく、異なる個別の重みで考慮することが有利であり得る。これによりそれぞれの仮説に対し、例えば信用に関する尺度を考慮することができる。

例えば、ここではより詳しく考察されないアルゴリズムが、各仮説について、個別の品質尺度、信用尺度、重み、またはそれに類することを提示することもできる。
ヒストグラムカウンタを重み和と置き換えることで、このような尺度を、ヒストグラム６３、６４への登録の際に考慮することができる。このためには、相応の値域が用意されていなければならない。これに関して有利なのは、さらに、スライディングヒストグラムにおいては整数値または固定小数点数で処理するということである（浮動小数点数ではなく）。というのも、連続的な加算および引算の際に、相殺されていない丸め誤差による狂いが生じないことが、できるだけ保証されているのが望ましいからである。この危険は、浮動小数点数の場合には存在するであろう。場合によっては必要な丸めは前もって行われることが望ましく、これによりスライディングヒストグラム６３、６４の場合に、登録された重みがその後、丸めによって発生した端数を残すことなく再び削除されることが保証される。

重み付けヒストグラム６３、６４の場合、その時々に登録されている仮説の数を提示する合計カウンタが、その時々に登録されている仮説の重みの合計を提示する合計重みカウンタになる。

検証ステップ
上で述べたようにアップデートが実施され、かつヒストグラム６３、６４の内容が所与のウィンドウ２０の下にある動き仮説を表した後は、基準ポジションでのおよび場合によっては基準ポジションの周りの小さな周囲内での仮説に対し、検証ステップを実施することができる。

検証ステップでは、それぞれ考察される仮説に関し、隣接部からの十分な支持があるかどうかがチェックされ、この隣接部は、基準ポジション１、２６に対するウィンドウ２０の大きさおよび向きによって規定されている。

この隣接部からのこれらの仮説が、わかりやすく言えば、つまり選挙の際のようにこれらの仮説の票を投じ、それぞれある特定の動きに対して投票し、詳しくは、２つの１次元ヒストグラム６３、６４では成分について、または１つの２次元複合ヒストグラムではベクトルについて投票した。

この場合、検証すべき仮説に関し、例えばその仮説が大多数によって支持されているかどうか、または少なくとも１つの十分に高い支持があるかどうかがチェックされる。
２つの１次元ヒストグラム６３、６４の場合、このチェックが成分ごとに個々に実施され、結果が、例えば両方の結果の悪い方を参照することで組み合わせられるか、または両方の結果を別のやり方で、例えば加算により、互いに結び付けることで組み合わせられる。

これに関し、チェックのステップは以下に述べるような具合であることができ、このチェックは、例えば図２または図３内の印されたポジション１、２６に割り当てられた仮説ベクトルに関しており、つまり、とりわけ以下のステップを有している。

− 仮説ベクトルをその成分に分解する。（複合ヒストグラムの場合は省略）
− それぞれのヒストグラム６３、６４において、仮説の動き（成分）に相当する位置１、１６で読み出しアクセスする。例えば仮説のｕ成分が−１．７ピクセルの場合には、区間幅が１ピクセルのヒストグラムをｕ＝−２の位置で、さらに任意選択でｕ＝−１の位置で読み出すであろう。なぜなら値−１．７はｕ＝−２とｕ＝−１の間だからである。

− 任意選択で、ヒストグラム６３、６４を、近くにあるさらなる位置、例えばここでは−３および０の位置でも読み出すことができる。複合ヒストグラムの場合、近くの小さな、例えば正方形の一部分を読み出すであろう。

− カウンタまたは重みに相当する読み出された値は、その後、評価値を確定するためにまとめられ、例えば加算または重み付け加算される。
重みは、仮説の（丸められたまたは丸められていない）値に応じて選択することができる。例えば上で挙げた値−１．７の場合、重み０．７および０．３を、ｕ＝−２およびｕ＝−１で読み出されたヒストグラム登録に対して適用することができる。つまり、−１．７は−１より−２に近いので、ｕ＝−２でのヒストグラム登録をより強く重み付けるだろう。すべての重み付けは、整数値、例えば固定小数点表示でも行えることが好ましい。

− この評価値は、仮説に関する第１の評価である。この評価が高ければそれだけ、当該の動きに対する隣接部からの承認がより明確である。外れ値の場合は値が小さいであろう。

２つの１次元ヒストグラムの場合、２つの評価値が生じるであろう。これらの評価値は、例えば最小値または合計の考察によって組み合わせることができる。
− 場合によっては組み合わされるこの評価値を、その仮説がヒストグラムに基づく評価からの十分な支持に基づいて信用に値するか否かを判定するために、閾値と比較することができる。

その代わりにまたはそれを補充して、この評価値を、例えばその後の位置で評価するかまたはインターフェイスで準備するために、追加情報として、場合によっては量子化またはコード化した形態で、仮説に連結するおよび渡すこともできる。

− 絶対的な閾値を使用する代わりに、代替策または補充策として相対的な閾値を考察してもよい。例えば、ちょうど考察されている仮説を支持する隣接部からの仮説の割合がどのくらい大きいかを確かめるため、合計カウンタまたは合計重みカウンタを参照することができる。

− ヒストグラムに基づく投票の場合、それぞれ自分の票を考慮しないことが有意義または所望され得、したがって仮説は自選投票できない。これは、相応のそれぞれのヒストグラムビンおよび合計カウンタまたは合計重みカウンタを読み出す際に、自分の重みをそれぞれ引算することにより、問題なく可能である。

その代わりにまたはそれに加えて、仮説ベクトルを検証するためにピークポジションを参照してもよい。
− 例えばどの動きに支配的ピークが相当するかを確かめることにより、１つのヒストグラム６３、６４または複数のヒストグラム６３、６４から、各時点で、支配的動きを確定することができる。どのビンに支配的ピークを割り当てるべきかは、例えば次のように規定することができる。

− 最大の重みをもつビンによって、
− それぞれ、より小さいかまたは同じ重みをもつ隣接するビンの１個と合計して、すべてのそのようなビンペアのうちの最大の重みをもつビンによって、
− 予め定義された隣接部のビンの全体を重み付き平均した場合に最大の重みが確定されるビンによって（例えば対称係数［ｃ２，ｃ１，ｃ０，ｃ１，ｃ２］（ここでｃ０≧ｃ１≧ｃ２≧０）を用いた、例えばヒストグラムの畳み込みによって実装可能）。

後に挙げた２つの項目は平滑化措置であり、これらの平滑化措置は、実際に比較的安定したピーク選択をもたらすので優先されるべきである。
− 支配的ピークポジションの確定は、様々なやり方で行うことができる。

− それぞれのヒストグラム６３、６４のフルサーチ：この方法は、常に支配的ピークを見つけるが、ヒストグラム全体を読み出すので比較的多くの作業を必要とする。
− インクリメンタルサーチ：ヒストグラム内容の各変化後に、またはある数の変化後に、またはある程度の時間後に、支配的ピークが「さらに移って」いるか、例えば１ビンポジションだけ左もしくは右へ、または数ビンポジション移っているかどうかをチェックする。このチェックには少しの作業しか必要ない。

− ヒストグラムアップデート後の支配的ピークポジションのチェック：変化する各ビンに対し、支配的ピークポジションがその間そこに（または場合によってはすぐ近くに）あるかどうかをチェックする。

− 潜在的な支配的ピークに割り当てられた重みと重み和との比較。この比が１／２より大きい間は、支配性が承認されている。このテストは、例では図５に示したようにたいていはうまくいく。

− 後に挙げた方法を組み合わせることで、フルサーチは実際にはまれにしかまたはまったく必要なくなる。
− 「第１の」支配的ピークポジションだけでなく、さらに第２のまたは２番目に良いピークポジションも、場合によっては第３のなども確定することができる。これはとりわけ、ウィンドウ２０内に複数の支配的動きがある場合に有利かつ実用的に重要である。

− 仮説をチェックする場合、その仮説が、支配的ピークポジションまたは支配的ピークポジションの１つにあるかどうか、またはどのくらい近いかが考慮される。
例えば、仮説を受容するために、仮説の両方の成分が、それぞれのヒストグラム６３、６４内のピークから３ビンより遠くには離れていないことを要求することができる。

その代わりにまたはそれに加えて、その仮説が支配的動き（または支配的動きの１つ）によってどのくらい良く支持されているかについての主張を含意する品質尺度を、仮説に連結することができる。

冒頭で言及したように例えば結果を色彩で可視化する場合、対応の大多数に基づく検証の結果は、典型的な「見た目」を有する。
このことは、本方法が難しいデータに、例えば信号対雑音比が小さい場合、動きが不鮮明な場合、または隠れている場合などに適用される際には、とりわけ限定範囲内で該当する。本方法を、品質劣化の種類および幾つかの特徴的な特性に関して良く認識しておかなければならない。例えば、
− 仮説の相互承認に基づく結果のクラスタ化の形成に関し、
− １つの支配的ピーク６５からもう１つの支配的ピーク６５への移り変わりに基づく物体エッジでの鋭い急変（ぼやけることなく）に関し、および／または
− 外れ値仮説がほぼ残っていないという意味における、インプットとアウトプットの比較の際の良好な実効性に関し。

さらに、図２との関連で示しているように、ウィンドウ２０が仮説の画像１０の上でスライドする際の、メモリおよび中間メモリへのアクセスパターンが非常に特徴的である。
本発明は、例えばＣＰＵ、ＦＰＧＡ上での、およびＡＳＩＣまたはＡＳＩＣ ＩＰとしての実装に適しており、かつすべてのプラットフォーム上で実装することができる。

オプティカルフロー法（ＯＦ）とも言う光学的流動法は、コンピュータビジョン法を伴うまたはその際の、動き分析のための方法である。
カメラセンサは、３Ｄ世界を射影した２Ｄ点を内包する画像を生成することができる。ＯＦの場合、異なる捕捉時刻に撮影された画像を分析し、そして両方の画像でそれらの座標を位置確定できる点に関し、いわゆる対応を生成する。対応ベクトルは、第１の画像内のピクセルの座標を第２の画像内の同じ２Ｄ点の座標と結んでいる。オプティカルフローの場合、対応ベクトルをフローベクトルとも言う。

上述の方法は、仮説画像１０の認識および承認または外れ値の拒否のための手順を説明している。
以下に説明する手順は、追加的な態様として、検証プロセス中のリアルタイム処理を達成するための、または検証プロセスのための計算作業を減らすための、上述の基本的な方法に関する加速の可能性を論じている。この場合、上述の検証プロセスに変更が加えられ、これは異なる結果を生じさせる可能性もある。これらの結果の違いは、実際の適用では大した欠点にならないほど小さい。

ここで説明する方法は、例えばコンピュータビジョンＡＳＩＣを実装する際に用いることができる。
運転者支援カメラシステムは、自動的な介入システム、例えば緊急ブレーキ支援機能を可能にするため、例えば６０枚のフルＨＤ画像／秒の処理スループットの場合に高くとも数ワットの少ない電力消費を達成しなければならない。このようなカメラシステムでは、ヒストグラムに基づく検証をすべての対応仮説に実施するにはメモリバンド幅が不十分である。ヒストグラム６３、６４を計算しなければならない画像領域の大きさが、アルゴリズムを処理するための計算作業または時間を決定する。大きな領域または範囲に関しては、ヒストグラムの更新および内容分析に必要な時間が、システムを妨げるかもしれず、組み込まれたシステム上で画像Ｂ１、Ｂ２をリアルタイムで処理するのを妨げるかもしれない。範囲が小さい場合には、外れ値と正しい仮説の区別を高い信頼性で可能にするために十分に強くはヒストグラム６３、６４のピークが現れないかもしれない。

本発明は、外れ値の拒否または検証のための方法を加速させ、かつ組み込まれたシステム上で、緊急ブレーキ支援機能のようなリアルタイム適用を達成することを可能にする。
以下に説明する態様は、その時々にメモリ内に存在するヒストグラム６３、６４の内容を使用して対応ベクトル仮説を検証するための、ヒストグラムに基づく手続きの処理時間を減らし、これに関しては複数の仮説を並列的にチェックする。

以下の説明では、対応を決定するための第１のステップは既に実施されており、したがって対応仮説を有するチェックすべき画像１０は、メモリ機構内に提供されていることを前提とする。この画像１０が有効な要素および外れ値を内包していることを前提とする。インライアとも言う有効な要素が典型的には本当の動きを示しており、その一方で外れ値は誤った対応である。これら外れ値だけを拒否し、ほかの、つまり前者の要素は保存しなければならない。これは、典型的には最後の処理ステップであり、したがってこのステップの出力が対応ベクトル画像１００であり、この場合、対応ベクトルは例えばオプティカルフローベクトルであり得る。外れ値の１つの特性は、ランダムに分散していることであり、その一方でインライアは、隣接するピクセルによる空間的な支持を有している。この理由からインライアは、ヒストグラム６３、６４のローカルまたはグローバルなピーク６５に属するので、ヒストグラム６３、６４に基づく検証は良くできた選挙である。

所与の領域に関するヒストグラムビンの値を記憶するためのメモリを使用することも想定される。スライディングウィンドウヒストグラムの値を電子機器内で記憶する複数の可能性がある。１つの可能性は、ビットメモリセル、例えばフリップフロップによるＩＰ内でのビルドメモリを使用することにある。これらのビルドメモリは、１クロックサイクル内だけで、ヒストグラムのすべてのビンにアクセスする可能性を有しているが、それらの費用は製品上で考慮するには高すぎる。

さらなる１つのアプローチは、ユーザ定義の入力ポートおよび出力ポートを備えたインチップメモリまたはオフチップメモリを使用することである。これらのメモリは、値を読み出すおよび記憶するために、制限されたポート数を有している。相応のメモリ要求量を有する電子システムを構築する際には、必要な半導体領域の大きさ（面積が増えればそれだけ費用への大きな影響を有する）と性能との妥協点を見つけなければならない。メモリは、シングルポートメモリ（クロックサイクルごとに１つだけの読み出しまたは書き込み動作）またはデュアル〜クアッドポートメモリ（同じクロックサイクル内で２つ、３つ、または４つの読み出し動作および１つだけの書き込み動作を有する）から選択することができる。クアッドポートメモリは、すべての電子機器では使用できず、それらの所要面積が比較的大きいので、高いスループットが必要な適用にはデュアルポートメモリが最も頻繁に用いられる。

上述の検証方法では、スライディングウィンドウ２０を用いた１つのアプローチが、ＯＦの外れ値を拒絶するために使用されている。スライディングウィンドウ２０は、ヒストグラム６３、６４を常に新たに作成しなくてよいので、対応仮説画像１０を内包するメモリから、ヒストグラム６３、６４を内包するメモリへのデータ伝送を少なくする。ヒストグラムメモリ上での読み出しおよび書き込み動作は、ヒストグラム６３、６４が計算される領域の行数の２倍に減少する。例として、図７では９行の高さをもつ長方形のスライディングウィンドウを示している。以下の考察のために簡略化して、ピクセルごとに正確に１つの仮説が存在しており（実際にはピクセルごとに複数の仮説が存在していてもよく、またはそれどころか仮説が存在していなくてもよい）、かつ各仮説が重み１で寄与すると仮定する。この場合、ヒストグラムの更新は、９行の高さに基づいて１８個のアドレスにアクセスしなければならないので、１８クロックサイクルかかる。ヒストグラム６３、６４に登録する新たな列の９ビンをインクリメントしなければならず、ヒストグラム６３、６４を去る古い列の９ビンをデクリメントしなければならない。

ヒストグラム６３、６４の更新後には、次のステップ、その時々の対応仮説がヒストグラム内のピーク６５に属しているかどうかを認識しなければならない。これは、隣接するビンまたはヒストグラム区間の幾つかへのアクセス、その後のこれらのビンの値の間の比較によって行われる。ヒストグラム６３、６４の更新および評価を、対応仮説入力画像１０の全体に対して行わなければならないので、上述の手順のリアルタイム処理は、大きな画像に関しては、組み込まれた機器内の制限されたメモリバンド幅に基づいて不可能である。

本発明は、追加的に、対応仮説の検証を加速させるための３つの方法を提案する。
第１の加速方法は、ヒストグラム６３、６４の評価中のクロックサイクルを節減することにある。この場合、その時々の中央ピクセルおよびそれに隣接する最高４個のビンまたはヒストグラム区間の値を得るために１クロックサイクルで十分であるように、ヒストグラム６３、６４を記憶するメモリを構成する。これを図８に示している。読み出しアドレスは、中央または中心のピクセルについて記憶された値を加算または引算することで計算されなければならない。例えば、８個のヒストグラムビンを１つのアドレス内にグループ化することにより、最高８個の隣接するビンを１サイクル内だけで読み出すことができる。ヒストグラム６３、６４の中央ピクセルが例えばビン番号１１に割り当てられている状況を考慮すると、読み出しアドレスは、第１のポートにはアドレス番号０および第２のポートにはアドレス番号１とセットしなければならない。両方のポートが一緒にビン番号０〜ビン番号１５までの全部で１６個のビンを内包している。第１の読み出しポートは、その時々の中心（ビン番号１１）から左側に４番目のビン（ビン番号７）をもたらす。第２のポートは、そのほかの左に向かって３個のビン（ビン８〜１０）および右側でのそのほかの４個のビン（ビン１２〜１５）を内包している。

第２の加速方法は、当初の提案でのように１つの対応仮説だけを検証する代わりに、ヒストグラム６３、６４の内容を、Ｎ個の対応仮説を検証するために並列的に使用することにより、対応仮説画像の全体を処理する総時間を減少させる。この場合、ヒストグラム６３、６４が計算されるウィンドウ２０の中央にすべての仮説が存在できるわけではないので（ウィンドウは、例えば図７では９行の高さであった）、少しの非対称性が生じる。この非対称性を部分的に補正するため、行数を、好ましくはＮ−１行分増やすことができる。ヒストグラム充填状態によりＮ個の仮説を同時に検証できるので、行数の増加がヒストグラム６３、６４の更新および評価のための時間を増やすにもかかわらず、完全な対応仮説画像１０を検証するための総時間は減少する。

この例では、行数増加に基づく（８＋（Ｎ−１））／９＝（８＋Ｎ）／９の因子分の作業増加に、ヒストグラムアップデートの数に応じた因子Ｎ分の減少が対抗している。つまりこの例では、全体としてはアルゴリズムの処理時間を減少させる因子（８＋Ｎ）／（９Ｎ）を考察することができる。

しかしながら他方でこの非対称性は、上述の加速されていない本発明によるアプローチと比較してあまり変わらない結果ももたらす。
結果が非対称性によって強く変わりすぎないためには、Ｎ＝４の値が、結果の品質と処理時間との優れた妥協点であることが分かった。Ｎ＝４の場合、図９に示したようにスライディングウィンドウ２０は１２行を有しており、かつヒストグラムの更新および評価は２４＋４クロックサイクル内で実施することができ、これは、４個の入力対応仮説を検証するために２８クロックサイクルというスループットをもたらす。結果として生じる７クロックサイクル／入力対応仮説のスループットは、上述の方法またはアルゴリズムのリアルタイム処理を、フルＨＤ画像および低いクロック周波数の場合にも可能にし、この低いクロック周波数は、組み込まれた機器での少ない電力消費のために必要である。

第３の加速方法は、ヒストグラム６３、６４の更新に必要な時間の削減に基づいており、この方法は、とりわけ仮説画像１０がまばらに埋まっている場合に有利に適用することができる。この場合、入力および出力する仮説メモリの多くが、ヒストグラム６３、６４を更新するための情報を内包していない。この特性は、ヒストグラム６３、６４の更新のための行数を、スライディングウィンドウ２０の行の総数より小さい固定数に減らすために活用できる。例えば、ヒストグラム６３、６４を更新するために１２行を使用するスライディングウィンドウ２０を考慮すると、考察すべき対応仮説の数を１２から６に限定することができ、これにより、それに必要なクロックサイクルの数も相応に半減する。アップデートに寄与するための仮説が６個より多くは提供されそうもない場合には、残りの仮説をスキップしなければならない。つまりこの場合には優先順位を定義しなければならない。

存在に基づいてサーチして、ヒストグラム更新のために仮説を読み出す順位を図１０に示している。１を付された６個のピクセルは最高優先度を有しており、常に読み出される。これらのピクセルの幾つかが対応仮説を内包していない場合に、２、３などを付された次のピクセルを読み出すことができ、ただし最大で６個の対応仮説が読み出される。ヒストグラム６３、６４の更新は、このやり方で、残った仮説をスキップしないヒストグラム更新と類似の結果品質を達成することが経験的に実証されている。

３つの加速方法および１２列の高さをもつスライディングウィンドウ２０を考慮すると、対応仮説の検証に必要な３０クロックサイクルの時間をほぼ４クロックサイクルに減らすことができ、これにより、本方法またはアルゴリズムのリアルタイム実行が、組み込まれた装置内で、例えば６０枚のフルＨＤ画像／秒で、達成される。

Claims (15)

1. 画像（Ｂ１、Ｂ２）の評価およびとりわけ画像（Ｂ１、Ｂ２）の対応仮説（［ｕ，ｖ］）の評価のための方法（Ｓ）であって、
   − それぞれ対応する画像マトリクスとして与えられた第１と第２の画像（Ｂ１、Ｂ２）の間の対応仮説（［ｕ，ｖ］）を、対応する仮説マトリクス（１０）内で準備すること（Ｓ１）、
   − 前記仮説マトリクス（１０）の評価（Ｓ２）および前記対応仮説（［ｕ，ｖ］）の条件付きの検証（Ｓ３）、ならびに
   − 評価結果として、検証された画像対応仮説（［ｕ，ｖ］）を、対応マトリクス（１００）内の画像対応として準備すること（Ｓ４）を有している、方法（Ｓ）において、
   前記仮説マトリクス（１０）の前記評価（Ｓ２）が、前記仮説マトリクス（１０）の基準要素としての各要素（１）に対し、前記基準要素（１）の周囲内で、前記対応仮説（［ｕ，ｖ］）の少なくとも１つの成分（ｕ、ｖ）に関し、前記成分（ｕ、ｖ）の値についてのヒストグラム（６３、６４）を形成（Ｓ２−１）および評価（Ｓ２−２）することによって行われる、方法（Ｓ）。
2. 前記仮説マトリクス（１０）の所与のそれぞれの要素（１）に対してヒストグラム（６３、６４）の前記形成（Ｓ２−１）が行われ、これは、前記所与の要素（１）の周囲内の前記仮説マトリクス（１０）の（とりわけすべての）要素（１１）に関し、前記対応仮説（［ｕ，ｖ］）の前記それぞれの成分（ｕ、ｖ）を、所与のヒストグラム区分で振り分けて、合計または重み付け合計することによって行われる、請求項１に記載の方法（Ｓ）。
3. それぞれのヒストグラム（６３、６４）の前記形成（Ｓ２−１）の際に、前記仮説マトリクス（１０）の所与のそれぞれの要素（１）に対する前記周囲がそれぞれ、全体的または部分的に前記仮説マトリクス（１０）と重なり合っているウィンドウ（２０）により、とりわけ長方形、多角形、オーバル形、楕円形、または円形の方式で、与えられている、請求項２に記載の方法（Ｓ）。
4. ヒストグラム（６３、６４）の前記評価（Ｓ２）およびとりわけ前記形成（Ｓ２−１）の際に、前記仮説マトリクス（１０）のすべての要素（１）が、とりわけそれぞれの周囲またはそれぞれのウィンドウ（２０）によって捕捉され、
   − 前記それぞれの周囲もしくはそれぞれのウィンドウ（２０）が、前記仮説マトリクス（１０）のすべての要素（１）に対し、形状および／もしくは広さが同一であり、かつ／または
   − 前記それぞれの周囲もしくはそれぞれのウィンドウ（２０）が、スライディング周囲もしくはスライディングウィンドウ（２０）として形成されている、請求項２または３に記載の方法（Ｓ）。
5. 前記仮説マトリクス（１０）の所与のそれぞれの要素（１）に関するヒストグラム（６３、６４）の前記評価（Ｓ２−２）の際に、前記ヒストグラム（６３、６４）に基づいて評価値が生成され、とりわけ、
   − 前記所与の要素（１）に割り当てられた前記対応仮説（［ｕ，ｖ］）またはその少なくとも１つの成分（ｕ、ｖ）に対する少なくとも１つのヒストグラム区間における、前記ヒストグラム（６３、６４）の１つまたは複数の値が読み出され、かつ前記評価値を形成するために合計または重み付け合計され、かつ好ましくは、
   − 追加的に、前記割り当てられたヒストグラム区間に隣接する１つもしくは複数のヒストグラム区間からの、または隣接するヒストグラム区間の周囲からの、１つまたは複数の値が考慮されることにより、評価値が生成される、請求項１〜４のいずれか一項に記載の方法（Ｓ）。
6. 前記検証（Ｓ３）の際、前記仮説マトリクス（１０）のそれぞれ所与の要素（１）についての対応仮説（［ｕ，ｖ］）またはその成分（ｕ、ｖ）の検証が、前記評価値が、ローカルまたはグローバルな設定閾値に少なくとも達する場合に認定される、請求項５に記載の方法（Ｓ）。
7. 前記仮説マトリクス（１０）のそれぞれ所与の要素（１）についての対応仮説（［ｕ，ｖ］）またはその成分（ｕ、ｖ）の前記検証（Ｓ３）の際に、割り当てられて検証される対応またはその成分がそれぞれ評価値によって規定され、かつ好ましくは、対応している要素としての対応またはその成分として、前記対応マトリクス（１００）に登録される、請求項５または６に記載の方法（Ｓ）。
8. 前記仮説マトリクス（１０）の前記評価（Ｓ２）および／または前記対応仮説（［ｕ，ｖ］）の前記条件付きの検証（Ｓ３）の処理作業を加速および／または削減するために、とりわけヒストグラムメモリ内に記憶されるそれぞれその時々に生成されたヒストグラム（６３、６４）が、複数の対応仮説（［ｕ，ｖ］）の並列的および／または逐次的な検証のために使用される、請求項１〜７のいずれか一項に記載の方法（Ｓ）。
9. 基礎となる１クロックサイクルが、前記ヒストグラム（６３、６４）から、前記仮説マトリクス（１０）のそれぞれその時々の要素（１）についての値と、前記ヒストグラム（６３、６４）の１つまたは複数のさらなる区間についての値とを読み出すのに十分であるように、前記ヒストグラムメモリが構成される、方法であって、とりわけ（ｉ）基礎となる読み出しアドレスが、前記仮説マトリクス（１０）内の前記その時々の要素（１）について記憶された値への値１の加算もしくは引算によって、および／または（ｉｉ）とりわけ前記基礎となるヒストグラムメモリのデュアルポートに関連して、前記ヒストグラム（６３、６４）の区間のクラスタ化によって、計算される、請求項８に記載の方法（Ｓ）。
10. 前記仮説マトリクス（１０）の前記評価（Ｓ２）および／または前記対応仮説（［ｕ，ｖ］）の前記条件付きの検証（Ｓ３）を加速させるために、
    − 前記仮説マトリクス（１０）の相応の複数の要素（１）についての複数の対応仮説（［ｕ，ｖ］）に対し、前記条件付きの検証（Ｓ３）が並列的および／もしくは同時に実施され、かつ／または
    − ヒストグラム（６３、６４）の前記更新の際に、前記それぞれ所与の要素（１）の周囲内の、およびとりわけ前記基礎となるスライディングウィンドウ（２０）内の、前記仮説マトリクス（１０）のすべての要素（１１）が考慮されるのではなく、多くとも規定数が考慮される、方法（Ｓ）であって、前記ウィンドウ（２０）内のポジションに応じた優先順位が、どの順位で前記それぞれ所与の要素（１）の周囲内の前記仮説マトリクス（１０）の前記要素（１１）が優先的に考慮されるかを規定する、請求項１〜９のいずれか一項に記載の方法（Ｓ）。
11. − 画像（Ｂ１、Ｂ２）が捕捉され、かつ請求項１〜１０のいずれか一項に記載の方法によって評価され、ならびに
    − 前記評価の結果が装置の運転制御の際に使用される、
    装置およびとりわけ車両のための運転支援方法およびとりわけ走行支援方法。
12. − 請求項１〜１０のいずれか一項に記載の方法を実行するように適応されており、かつ
    − とりわけ、ＡＳＩＣとして、自由にプログラム可能なデジタル信号処理装置として、またはその組合せとして形成されている、
    画像（Ｂ１、Ｂ２）の評価およびとりわけ画像（Ｂ１、Ｂ２）の対応仮説（［ｕ，ｖ］）の評価のための装置。
13. 運転中、請求項１〜１１のいずれか一項に記載の方法を使用して制御されるように適応されており、かつこのためにとりわけ請求項１２に記載の装置を有している運転装置およびとりわけ車両。
14. コンピュータまたはデジタル信号処理機構上で実行される場合に請求項１〜１２のいずれか一項に記載の方法（Ｓ）を実行するように適応されているコンピュータプログラム。
15. 請求項１４に記載のコンピュータプログラムが記憶されている機械可読メモリ媒体。

Images