JP2020528182A - 対応形成のための画像部分を評価するための方法および装置 - Google Patents

Abstract

本発明は、対応形成のための画像部分を評価するための方法および装置に関する。画像信号（１０）が画像センサから受信され、画像信号（１０）は、画像センサの選択された領域について画像センサによって引き起こされるノイズの量を決定するために評価され、画像センサによって検出された画像の画像部分（２，３）について、画像部分（２，３）が対応形成に適しているかどうかを記述する結果的な評価パラメータ（６０１）が決定され、画像部分（２，３）が画像センサの選択された領域に対応し、結果的な評価パラメータ（６０１）が、決定されたノイズの量に基づいて決定される。

Description

本発明は、対応形成のための画像部分を評価するための方法および装置に関する。

コンピュータビジョンの分野では、特にオプティカルフローおよびステレオ視差において対応形成の問題に遭遇する。オプティカルフロー（ＯＦ）では、第１の画像内の座標と第２の画像内の座標との間の割り当てを決定することによって時間方向に対応が形成される。このような対応は、３Ｄ場面内の点の２Ｄ画像への投影が古い座標から新しい座標へどのように移動したかを示す。画像内の動きは、場面の点の動きによって、またはカメラの動きによって、またはその両方によって同時に引き起こすことができる。ステレオビジョンでは、２つの画像は、異なる位置に配置された２つのカメラによってほぼ同時に検出される。この場合、カメラの相対的な配置は、通常、固定されており、わかっている。

ステレオカメラシステムは、例えば、欧州特許第２２７５９９０号明細書および国際公開第２００８／０８７１０４号により知られている。

欧州特許第２２７５９９０号明細書 国際公開第２００８／０８７１０４号

対応形成は、例えば、経時的な相対移動を追跡すること、または三角測量を使用した３Ｄ場面内の点までの距離を決定することを可能にする。

従来技術の方法では、通常、画像信号に存在するノイズにはほとんどまたは全く注意が払われない。空、道路、滑らかなファサード、または影領域などの弱くテクスチャ化された画像領域では、場面の既存のテクスチャは、しばしば、画像センサの信号に存在する不可避的なノイズに対して認められるためには十分ではない。好ましくない信号対雑音比（ＳＮＲ）に基づいて、これらの画像領域における対応の決定は困難であるか、または不可能な場合がある。

したがって、認知されている対応形成の方法の多くは、特に平滑性の仮定を加えて正則化する手段を使用する。このことは、画像場面が、実質的に、探索された（密な）対応フィールド（オプティカルフローフィールドまたはステレオ視差フィールド）が実質的に滑らかな変化を有する、すなわち、大部分が画素から画素へゆっくりと連続的に変化する面積区画から構成されているという観察を背景としている。

したがって、画像毎にテクスチャを比較すること（「マッチング」）によって、弱いテクスチャを有する画像領域において実際の測定よりも平滑な「補間」を優先することが可能であり、一般的な慣行である。この遷移は、通常、連続的であり、良好なテクスチャではマッチング（すなわち、画像データにおける実際の測定）の影響が優勢であり、弱いテクスチャでは補間が優勢である。この手順は、特に、前述の仮定が満たされており、検出された画像場面が好ましい特性を有する場合には、おおむね正しい結果をもたらす。しかしながら、結果は著しく間違っていることもある。

したがって、特に難しい環境条件下であっても誤った結果をもたらすことが望ましくない安全性が重要である機能（例えば、カメラベースの運転者支援）では、これらのアプローチは不適切である。

対応形成のための画像部分を評価する本発明による方法は、画像センサから画像信号を受信すること、画像センサの選択された領域について画像センサによって引き起こされるノイズの量を決定するために画像信号を評価すること、および、画像センサによって検出された画像の画像部分について、画像部分が対応形成に適しているかどうかを記述する結果的な評価パラメータを決定することを含み、画像部分は、画像センサの選択された領域に対応し、結果評価パラメータは、決定されたノイズの量に基づいて決定される。

対応形成のための画像部分を評価するための本発明による装置は、画像センサから画像信号を受信するように設定された入力ステージと、画像センサの選択された範囲について画像センサによって引き起こされるノイズの量を決定するために画像信号を評価し、画像部分が対応形成に適しているかどうかを記述する、画像センサによって検出された画像の画像部分について結果的な評価パラメータを決定するように設定された評価ステージとを備え、画像部分は、画像センサの選択された領域に対応し、結果的な評価パラメータは、決定されたノイズの量に基づいて決定される。

対応形成とは、２つの個別の画像において互いに対応する特徴が決定されることと理解されるべきであり、個別の画像は、好ましくは、時系列で撮影されているか、または複数のカメラ位置からほぼ同時に撮影されている。

画像信号は画像センサから受信される。これは、本発明による装置が、好ましくは、画像センサのためのインターフェースを備えるか、または画像センサ自体も含むことを意味する。しかしながら、画像信号を受信することにより、画像信号をバッファリングすることも可能になる。例えば、画像信号を記録し、記録媒体によって本発明による装置に供給することができる。画像信号は、伝送技術、例えば無線伝送によって画像センサから受信することもできる。

画像センサの選択された領域は、画像センサのアクティブな面積の随意の領域である。選択される領域は、特に、画像センサの「ピクセル」とも呼ばれるいくつかの画素に制限されている。画像センサの選択された領域に対応する画像部分は、画像センサによって検出された画像の画素が画像センサの選択された領域に配置された個別センサによって検出された領域である。

ノイズの量は、特に、信号対雑音比を表す値である。評価パラメータは、本発明にしたがって供給されるパラメータである。特に対応の形成を行う後続の画像処理によって評価パラメータを使用することができ、対応を形成する場合に評価パラメータによって示されるように画像の特定の画像部分を考慮し、対応を形成する場合に評価パラメータによって示されるように画像の特定の画像部分を考慮しないようにする。

本発明による装置は、本発明による方法を実施するために適している。本発明による方法は、対応方法の範囲で不可避的なセンサノイズの影響を制御可能にする方法を提供する。一方ではこの方法は、例えば計算、記憶および伝送の労力が少ないので極めて効率的であり、他方ではこの方法は既存の信号処理チェーンに基づいており、したがって特に効果的である。

本発明によれば、特に、画像センサのノイズに基づいて既存の表面構造および／またはテクスチャの印象が生じる場合のある画像の領域を、対応を形成するために適切な表面構造および／またはテクスチャが実際に存在する領域から区別することが可能になる。

本発明によれば、対応形成の範囲におけるノイズの影響がモデル化され、劣悪な信号対雑音比に基づいて誤った対応が形成されるリスクが大幅に低減される。特に、画像のピクセル毎に２値情報、すなわち付加的なビットが決定され、このビットは、このピクセルに割り当てられた（例えば、このピクセルの周りの局所環境を記述する）特徴が、対応の形成に使用するために適しているかどうかに関する情報を提供する。

この適性は、特に局所的なテクスチャおよびノイズに依存している。

本発明によれば、画像センサの選択された領域にについて画像センサによって引き起こされるノイズがどのくらいの量だけ存在するかを決定するために、画像信号の評価が行われる。これは、画像センサの選択された領域によって引き起こされる画像信号におけるノイズが決定されることを意味する。この量は、特にＳＮＲ値によって記述される。

本発明によれば、画像センサによって検出された画像の画像部分について、この画像部分が対応形成に適しているかどうかを記述する、結果的な評価パラメータの決定が行われ、画像部分は、画像センサの選択された領域に対応し、結果的な評価パラメータは、特定のノイズ量に基づいて決定される。このことは、好ましくは、画像センサによって画像信号を用いて供給される画像のそれぞれの画像部分について、結果的な評価パラメータが決定され、供給されることを意味する。

結果的な評価パラメータは、好ましくは、画像センサによって検出された画像のうち、画像部分に関連する特徴を定義する画像信号の関連部分と組み合わせて供給される。

好ましくは、本発明による方法は、対応形成を行うステップをさらに含み、それぞれの画像領域が対応形成に適していることを記述する、結果的な評価パラメータが割り当てられている画像領域のみが対応形成のために使用される。

引用形式請求項は、本発明の好ましい構成を示す。

好ましくは、画像センサの選択された領域について、異なる信号経路におけるノイズの部分量が決定され、画像部分のための結果的な評価パラメータは、全ての信号経路からのノイズのそれぞれの部分量に基づいて決定される。したがって、ノイズの量は、異なる信号経路におけるノイズの個々の部分量を決定することによって決定される。これにより、結果的な評価パラメータを確実に決定するための、より広く、したがってより信頼できる基礎が得られる。特に、それぞれの信号経路について画像センサによって引き起こされるノイズの量を記述する画像信号値が決定される。信号経路は、好ましくは、互いに平行な信号経路であり、信号経路は、結果的な評価パラメータを決定するために、終端部でまとめられている。

さらに好ましくは、画像信号は、ノイズのそれぞれの部分量を決定するために、異なる信号経路において異なるようにフィルタリングされる。したがって、画像部分を評価する場合に対応形成に特に関連する画像信号の特定の部分のみを考慮することが可能である。

ノイズのそれぞれの部分量に、画像信号のそれぞれ異なる周波数範囲が関連付けられていることも有利である。この場合、ノイズのそれぞれの部分量は信号経路に対応している。特に、ノイズは、信号経路におけるノイズの部分量を決定するために、画像信号の異なる周波数範囲について決定される。したがって、ノイズによって引き起こされる画像信号の部分と、画像内の実際の表面の撮像によって引き起こされる画像信号の部分とのを特に良好に区別することが可能になる。

さらに、ノイズのそれぞれの部分量から暫定的な評価パラメータを決定し、暫定的な評価パラメータを結果的な評価パラメータとしてまとめることが有利である。したがって、それぞれの画像部分について、複数の暫定的な評価パラメータから単一の結果的な評価パラメータが生成される。特に、個々の結果的な評価パラメータによって、画像信号の異なる周波数範囲に関する情報を再現することができる。この場合、特に、暫定的な評価パラメータの重み付けが行われる。したがって、複数の信号経路から、単一の結果的な評価パラメータを生成することができ、この評価パラメータを対応形成のために簡単に供給することができる。

画像信号の評価が行われる前に画像信号に動的圧縮が適用される場合も有利である。動的圧縮は、「トーンマッピング」とも呼ばれる。動的圧縮を使用することによって、ノイズの量、したがって結果的な評価パラメータに対する画像信号内の異なるグレー値の影響を最小限に抑えることができる。この場合、動的圧縮は、画像センサによって検出された画像全体に適用される。

さらに、結果的な評価パラメータが２進値であるか、複数の段階における対応形成の適性の程度を示すか、またはベクトル値である場合も有利である。このような値は簡単な方法で供給することができ、簡単な方法でさらに処理することができる。可能な値の絶対数が制限されていることにより、対応する画像部分をどのように扱うべきかを対応を形成する場合に決定することが可能である。

複数の結果的な評価パラメータを決定するために、画像センサの複数の選択された領域についてノイズの量を決定するために画像信号の評価が行われる場合も有利である。このような多数の結果的な評価パラメータによって、画像内の異なる特徴および対応を形成するためのこれらの特徴の適性を記述することができる。好ましくは、画像センサによって検出された画像のそれぞれの画素について、そこに存在するノイズの量に基づいて評価パラメータが決定される。

さらに、第１の画像部分に関連付けられた結果的な評価パラメータの１つに安定化のための関数が適用され、局所的および／または時間的なフィルタリングが、隣接する結果的な評価パラメータに基づいて行われる場合には有利である。したがって、第１の画像部分に関連付けられた結果的な評価パラメータの１つに安定化のための関数が適用され、第１の画像部分の結果的な評価パラメータの値は、第１の画像領域に隣接する画像部分の結果的な評価パラメータに適合される。このようにして、結果的な評価パラメータの基礎となる情報ベースを拡張することができ、これにより、評価パラメータの信頼性を高めることができる。例えば、画像において、一般に、対応形成に適した領域が互いに隣り合って配置され、同様に、対応形成にあまり適していない領域が同様に互いに隣り合って配置されることが利用される。

添付の図面を参照して本発明の例示的な実施形態を以下に詳細に説明する。

画像センサによって検出された例示的な画像を示す図である。 本発明の第１の実施形態による信号処理を示すブロック図である。 本発明の第２の実施形態による信号処理を示すブロック図である。 複数の暫定的な評価パラメータを１つの結果的な評価パラメータとしてまとめるための第１の論理回路を示す図である。 複数の暫定的な評価パラメータを１つの結果的な評価パラメータとしてまとめるための第２の論理回路を示す図である。 複数の暫定的な評価パラメータを１つの結果的な評価パラメータとしてまとめるための第３の論理回路を示す図である。 安定化のための関数を示す概略図である。

図１は、画像センサによって検出された例示的な画像１を示す。画像のそれぞれの画素は、画像センサのセンサマトリクスの個別センサに対応する。例示的な画像１の上部には空が示されており、例示的な画像１の下部には道路のアスファルト表面が示されていることが分かる。

図１では、画像１の例示的な２つの画像部分２，３がマークされている。画像センサは、アクティブな表面を用いて画像１を検出する。したがって、画像センサのそれぞれの領域には、画像センサによって検出された画像１の対応する画像部分２，３も関連している。したがって、画像部分２，３は、画像センサの選択された２つの領域を同様にマークする。第１の画像部分２は、画像センサの選択された第１の領域に対応し、第２の画像部分３は、画像センサの選択された第２の領域に対応する。

第１の画像部分２は空を表し、したがって実質的に青色の表面である。第２の画像部分３は道路のアスファルト表面を示し、したがって実質的に灰色の表面である。さらに両方の画像部分２，３にはテクスチャが存在し、第１の画像部分２のテクスチャは、描かれた空には実際のテクスチャがないので、主に画像センサのノイズに起因する。第２の画像部分３については、テクスチャは、アスファルト表面の粗い表面から生じ、さらに画像センサのノイズから生じる。特に、アスファルト表面の粗い表面と組み合わされた画像センサのわずかな動きは、画像センサのノイズがなくても、第２の画像部分３の領域にノイズの様な信号を生じさせる場合がある。

第１の画像部分２に生じるテクスチャは統計的なランダム処理のみに基づいているので、第１の画像部分２は対応の形成に適していないことが分かる。これに対して、第２の画像部分３に生じるテクスチャは、画像センサによって撮像された環境内の実際の基準点を表すので、第２の画像部分３は対応の形成に適している。

画像部分２，３は、随意の大きさ、したがって、画像センサの随意の画素数を含むことができることに留意されたい。一例として、以下では、画像センサの選択された領域が画像センサの単一のピクセルのみを含み、したがって、関連する画像部分２，３は単一の画素を含むと仮定する。

画像センサのノイズは、パラメータが統計的に記述されるランダム処理と見なすことができる。

画像センサの単一のピクセルまたは画素のノイズは、通常は、隣接するピクセルのノイズとは無関係であるとみなすことができる。さらに、全てのピクセルは、（同じ製造プロセスおよび同じ温度により）ほぼ同じ統計的特性を有すると仮定することができる。画像センサの一般的な動作範囲では、ノイズはほぼ正規分布に従う。この場合、ノイズの分散は、
により、近似として記述することができる。したがって、ノイズの分散は、濃淡値ｇと共に、勾配ａによって線形に増加する。暗闇（濃淡値ｇ＝０）では、ノイズの分散はσ_０ ^２である。

画像信号１０をさらなる処理するために、濃淡値ｇに対するノイズの依存性を除去することが有利な場合もある。

この目的のために、元のグレー値ｇは、以下の関数にしたがって、代替濃淡値ｈ（ｇ）で示される。
以下、関数ｈ（ｇ）をトーンマッピング関数と呼ぶ。「トーンマッピング」という用語は、「動的圧縮」という用語と同義である。

トーンマッピングは、ピクセル毎の操作として（すなわち、互いに独立してピクセル毎に）実施される。トーンマッピングの後に、ノイズの濃淡値に対する依存性は除去される。この場合、ノイズの分散は一定であり、σ_０ ^２である。

対応を形成する場合に考慮される２つの画像は、一般に、（トーンマッピング後でさえ）ノイズの分散が異なる。

トーンマッピング関数は、特に、非線形の画像センサ（例えば、ＨＤＲセンサ、高ダイナミックレンジ）である場合には、前述したものよりも複雑であることが多い。トーンマッピング関数は時間的に可変であってもよく、例えば、カメラパラメータに応じて、例えば、撮像画像毎に時間的に変化してもよい。トーンマッピング関数はルックアップテーブルに格納されていてもよいし、または計算規則として格納されていてもよい。

続いて、それぞれの画素が加法性ガウス（すなわち、正規分布の）ノイズによって妨害され、画素の妨害が統計的に互いに独立しており、同一に分布していると仮定する。この入力ノイズ処理の標準偏差をσ_ｃと呼ぶ。簡略化して、トーンマッピングが既に行われており、したがって、それぞれの画像におけるσ_ｃが一定であり、濃淡値ｇとは無関係であると仮定することが望ましい。

この簡略化は絶対に必要ではなく、ピクセル毎のノイズのグレー値に対する依存性をモデル化し、考慮することも可能であるが、しかしながら、これはより複雑であるという欠点を有する。なぜならば、（考慮したピクセルの濃淡値ｇおよび周囲の濃淡値に依存する）最適な決定閾値が使用されることが望ましい場合には、信号処理チェーン内のそれぞれのピクセルに存在するノイズの分散に関する情報を伝送する必要があるからである。

さらに、画像信号処理チェーンは、少なくとも部分的に線形フィルタ、例えば、平滑化フィルタからなると仮定される。これに続いて複数の信号経路へ分割され、それぞれの信号経路ではさらなるフィルタ、例えば、平滑化フィルタ、微分フィルタ、ウェーブレットフィルタ、およびこれらの組み合わせが続くことができる。

図２は、画像センサの第１の画像のための信号処理チェーンの例示的な部分を示す。信号処理チェーンは、第１の画像および比較画像について、数回、例えば２回構成することができる。図２は、本発明の一実施形態による信号処理の一部のブロック図を示す。

この場合、第１のブロック５０の入力信号を形成する画像信号１０が画像センサによって供給される。したがって、第１のブロックは、画像センサから画像信号１０を受信するように設定された入力ステージを形成する。

第１のブロック５０は、例えば標準偏差σｃを有する濃淡値ｇとは無関係のノイズをもたらす随意のトーンマッピングを表す。第１のブロック５０から、適合された画像信号１１、すなわちトーンマッピングが画像信号１０に適用された後の画像信号１０が第２のブロック１００に伝送される。

第２のブロック１００は、例えば、線形の平滑化フィルタを表す。この平滑化フィルタによって、適合された画像信号が平滑化され、これにより平滑化された画像信号２０が生成される。第２のブロック１００の後に信号経路は分割され、平滑化された画像信号２０は並列した複数の信号経路でさらに処理される。

第１の信号経路が図２に示されている。第１の信号経路は、第１のブロック５０および第２のブロック１００に加えてさらに第３のブロック１０１および第４のブロック３０１を含む。第３のブロック１０１は、例えば別の線形フィルタであり、例えば微分フィルタは、画像１の共通の環境からの２つの画素値を互いに減算する。

線形フィルタの直列接続、例えば、第２のブロック１００および第３のブロック１０１によって表されるフィルタは、単一の線形フィルタ（以下では置換フィルタ２０１とも呼ぶ）と見なすことができることが知られている。したがって、それぞれの信号経路について置換フィルタ２０１を指定することができ、一般に、信号経路と同じ数の異なる置換フィルタ２０１が考慮される。このような置換フィルタ２０１は、複数のピクセル値（濃淡値）の所望のように重み付けされた線形リンクをもたらし、フィルタ係数は重みを表す。同時に、このような置換フィルタは、独立したノイズプロセスの重み付け加算をもたらす。これは、極めて単純な例から導き出される。

例えば、相関していない同一に分布した２つのゼロ平均の確率変数Ｘ_１およびＸ_２の重み付け加算Ｙ＝Ｗ_１Ｘ_１＋Ｗ_２Ｘ_２を、重みｗ_１もしくはｗ_２を用いて考察した場合、加重和の確率変数Ｙについて、
が成り立つ。

この場合、Ｅ｛｝は期待値を表す。無相関性により平均項は消失する。一般に、フィルタリング前後の分散について、フィルタ係数ｗ_ｉおよびσ_ｘｉ=σ_ｃを有する線形フィルタＹ＝Σ_ｉｗ_ｉＸ_ｉに関して、関係、
が適用され、標準偏差については
が適用される。すなわち、係数、
は、ノイズに対する増幅係数である。増幅という用語は、ここでは一般化して理解されるべきである。なぜならば、増幅も値≦１をとることができるからである。整数の係数ｗ_ｉが好ましい場合、増幅は概して＞１である。

この単純な関係を確立するための前提条件は、ノイズプロセスが無相関であることである。実際には、この仮定は、画像センサに対して極めて良好な近似で行うことができる。この場合、画像センサもしくはトーンマッピングの出力と置換フィルタ２０１との間に、無相関であるという仮定に反した関連するさらなるフィルタリングが行われないことが前提条件である。

しかしながら、（画像センサもしくはトーンマッピングと置換フィルタ２０１との間に）無相関性に反するさらなるフィルタが存在する場合には、実際的な単純な解決策は、これらのフィルタを線形フィルタとしてモデル化し、置換フィルタ２０１に取り入れることである。したがって、他の全ての考察は少なくともほぼ有効である。

第４のブロック３０１では、第１の信号経路の情報の圧縮が行われる。この場合、一般に非線形の演算を行う。

このように、例えば、第４のブロック３０１の入力信号の大まかに量子化された表現（すなわち、数ビットで表すことができる）が出力信号４０１として生成される。この出力信号４０１は画像１の特徴の一部を表すことができるか、または特徴の形成に加えるためにさらに処理することができる。この場合、出力信号４０１およびさらなる特徴の形成はさらに考慮されない。この特徴形成は、信号処理に続く対応形成の範囲で行われる。

さらに第４のブロック３０１では、このブロックに存在する入力信号ｓ_１の評価（以下では個別評価と呼ぶ）がノイズに関して行われ、この評価により暫定的な評価パラメータ５０１が供給される。画像センサの選択された領域について、画像センサによって引き起こされたノイズの量を決定するために画像信号１０の評価が行われる。この場合、置換フィルタ２０１によってあらかじめフィルタリングされた画像信号１０が評価される。後述する結果的な評価パラメータ６０１と同様に、暫定的な評価パラメータ５０１は、それぞれの画像部分２，３が対応の形成に適しているかどうかも記述し、画像部分２，３は画像センサの選択された領域に対応しており、決定されたノイズの量に基づいて評価パラメータが決定される。しかしながら、この場合、暫定的な評価パラメータ５０１は、第３のブロック１０１においてあらかじめフィルタリングされた画像信号１０のみに基づく。例えば、暫定的な評価パラメータ５０１は、画像信号１０の特定の周波数範囲について対応を形成するために画像部分２，３の適性に関する情報のみを提供する。

暫定的な評価パラメータ５０１の決定は、最も単純な場合には場合分けからなることができ、第４のブロック３０１のための入力信号Ｓ_１の値｜ｓ_１｜がしきい値ε_１Ａを下回っているかどうかがチェックされ、指数１は、図２に示した第１の信号経路をそれぞれ表す。下回っている場合には、第４のブロック３０１の出力部で０が出力され、そうでない場合には、暫定的な評価パラメータ５０１として１が出力される。２進値の暫定的な評価パラメータ５０１を有するこの実施形態は、好ましい実施形態を表す。

絶対値を考慮した上述の対称的なしきい値比較は好ましい実施形態であり、フィルタの重みの和が０、すなわち０＝Σ_ｉｗ_ｉとなる場合には特に有意義である。入力信号ｓ_１が、例えばε_１ＡＬとε_１ＡＲとの間の間隔の内側にあるか、または外側にあるかをチェックする（ε_１ＡＬ＜ε_１ＡＲ）非対称的な閾値比較がでは、０≠Σ_ｉｗ_ｉとなる場合には同様に有利であり、特に有意義である。

しかしながら、簡単にするために、以下の実施例は対称的な閾値比較に関連する。

代替的な実施形態では、入力信号ｓ_１の値｜ｓ_１｜と、３つの閾値ε_１Ａ＜ε_１Ｂ＜ε_１Ｃとの対応する比較が行われ、したがって４つの可能な状態が存在し、第４のブロック３０１の出力部において、２ビットのワード長を有する個別評価が、暫定的な評価パラメータ５０１として出力される。

それぞれの閾値（例えば、ε_１Ａ）を、以下の影響変数、すなわち、画像センサのノイズ特性、必要に応じて、トーンマッピング後の画像信号の代替的なノイズ特性、置換フィルタ２０１によるノイズ増幅、または、例えば、係数ａ_Ａなどのアプリケーション固有のパラメータの関数として選択することが有利である。さらに、閾値を決定するために、影響変数を乗法的に相互に関連付けることも有利である。

以下では、例示的な実施形態について、しきい値ε_１Ａが以下のように決定されると仮定する。

対応する関係は、さらなる信号経路ｐにも当てはまる（この例示的な実施形態では、ｐ＝１，．．．，９９であり、具体的な値９９はここでは重要ではなく、単に一例として選択されている）。

指数Ａは、第１のアプリケーション固有の係数ａＡによって決定することができる第１の閾値ε_ｐＡを表す。対応する関係は、任意選択で、さらなる閾値、例えば、しきい値ε_ｐＢおよび係数ａ_Ｂなどについて存在する。

図３は、図２に示した信号処理チェーンのよりも大きい部分を示す。図３には、第１の信号経路とも呼ぶ図２に示す信号経路に加えて、さらなる信号経路が示されている。それぞれの信号経路において、画像センサの選択された範囲についてノイズの部分量が決定される。ノイズの部分量は、画像センサの選択された領域について画像センサによって引き起こされるノイズの量に対応していてもよい。しかしながら、ノイズの部分量は、画像信号１０の所定の特性、特に周波数範囲に制限してもよい。

ｐ個の信号経路が示されている。この場合、ｐ∈｛１，．．．，９９｝を有するｐ番目の信号経路は、第３のブロック１０１に対応する線形フィルタ１０２，１０３，．．．，１９９を含む（ここでは、参照符号１００＋ｐで示される）。線形フィルタ１０２，１０３，．．．，１９９は、信号経路に関連するノイズの部分量を決定するための異なるフィルタ特性を有する。第２のブロック１００の線形フィルタが上流側に接続された信号経路のそれぞれの線形フィルタ１０２，１０３，．．．，１９９のまとまりは、それぞれの信号経路に関連する置換フィルタ２０１，２０２として使用される（参照符号２００＋ｐ）。有利には、線形フィルタ１０１，１０２，．．．，１９９は全て互いに異なる。これに対応して置換フィルタ２０１，２０２，．．．，２９９も異なっている。したがって、特に、線形フィルタ１０１，１０２，．．．，１９９の対応する選択により、ノイズの関連する複数の部分量は、それぞれ画像信号１０の異なる周波数範囲に属する。

この場合、ｐ∈｛１，．．．，９９｝を有するｐ番目の信号経路は、第１の信号経路の第４のブロック３０１に対応するそれぞれ１つのブロック３０１，３０２，３０３，．．．，３９９をさらに含む。置換フィルタ２０１，２０２，．．．，２９９は、ブロック３０１，３０２，３０３，．．．，３９９および随意の組み合わせブロック６００と共に評価レベルを示す。この評価レベルは、画像センサの選択された領域について画像センサによって引き起こされたノイズの量を判定し、画像センサによって検出された画像の画像部分２，３について、画像部分２，３が対応の形成に適しているかどうかを記述する結果的な評価パラメータ６０１を決定するために、画像信号１０を評価するように設定されており、画像部分２，３は、画像センサの選択された領域に対応し、結果的な評価パラメータ６０１は、特定されたノイズ量に基づいて判定される。

ブロック３０１，３０２，３０３，．．．，３９９の入力部には、ｐ∈｛１，．．．，９９｝を有する信号ｓ_ｐが印加されている。前述したように、これらのブロック３０１，３０２，３０３，．．．，３９９ならびに第４のブロック３０１においても入力信号のそれぞれ１つの個別評価が行われ、それぞれの入力信号ｓ_ｐの値｜ｓ_ｐ｜について１つまたは複数のしきい値比較が行われる。

これらの比較の結果は、暫定的な評価パラメータ５０１，５０２，５０３，．．．，５９９として供給され、随意の組み合わせブロック６００に伝送される。

組み合わせブロック６００のタスクは情報圧縮である。情報圧縮は、組み合わせブロック６００の出力信号を、入力信号の全体、すなわち暫定的な評価パラメータ５０１，５０２，５０３，．．．，５９９よりも少ないビットで記述できることを特徴とする。この場合、出力信号は一般により少ないエントロピーを有する。情報損失が生じることはわかっているが、例えば、小さいワード幅という利点を達成し、伝送帯域幅を節約するために甘受される。組み合わせブロック６００の出力信号は、結果的な評価パラメータ６０１である。したがって、組み合わせブロック６００によって、暫定的な評価パラメータ５０１，５０２，５０３，．．．，５９９は結果的な評価パラメータ６０１としてまとめられる。

図４，図５および図６は、組み合わせブロック６００をどのように構成することができるかについて代替的な実施形態を示す。

図４は、複数の暫定的な評価パラメータ５０１，５０２，５０３，．．．，５９９を結果的な評価パラメータ６０１としてまとめるための第１の論理回路を示し、本発明の有利な実施形態では、この論理回路は組み合わせブロック６００である。暫定的な評価パラメータ５０１，５０２，５０３，．．．，５９９は、２進値の入力信号であると仮定する。暫定的な評価パラメータ５０１，５０２，５０３，．．．，５９９のうちのそれぞれ３つが１つのグループを形成し、２つのＯＲゲート６０２，６０３によって論理的にリンクされる。これは、このグループの暫定的な評価パラメータ５０１，５０２，５０３，．．．，５９９の少なくとも１つが値として論理「１」を仮定した場合に、論理「１」がＯＲゲート６０２，６０３の出力側で、それぞれのグループの中間結果として出力されることを意味する。全てのグループの２値の中間結果が複数の加算器６０４を介して結合され、したがって加算される。信号経路が９９個および３個グループが３３個の場合、組み合わせブロック６００の出力信号は、０〜３３の値範囲を有する。これは、６ビット未満のエントロピーに対応し、暫定的な評価パラメータ５０１，５０２，５０３，．．．，５９９については、全部で９９ビットが伝送されることになる。このようにして、第１の情報圧縮がこの経路で達成される。加算された中間結果は和信号ｓ_ｘと呼ばれ、組み合わせブロック６００の出力部に結果的な評価パラメータ６０１として供給される。したがって、結果的な評価パラメータ６０１は、複数の段階における個々の値によって度合いを記述する値範囲を有し、この度合いは、対応を形成するめにそれぞれ考慮される画像部分２，３の適性を記述する。

図５は、複数の暫定的な評価パラメータ５０１，５０２，５０３，．．．，５９９を結果的な評価パラメータ６０１としてまとめるための第２の論理回路を示し、この論理回路は本発明の有利な実施形態における組み合わせブロック６００である。図５は、図４に示した論理回路と比較して、２進値である必要がなく、より大きい値範囲をカバーすることもできる暫定的な評価パラメータ５０１，５０２，５０３，．．．，５９９を単純に加算することによって、情報圧縮のための簡略化された可能性を示している。このために、暫定的な評価パラメータ５０１，５０２，５０３，．．．，５９９が供給される組み合わせブロック６００の全ての入力部が複数の加算器６０４を介して結合され、これにより全ての暫定的な評価パラメータ５０１，５０２，５０３，．．．，５９９が加算される。

加算された暫定的な評価パラメータ５０１，５０２，５０３，．．．，５９９は和信号ｓ_ｘと呼ばれ、結果的な評価パラメータ６０１として組み合わせブロック６００の出力部に供給される。

図６は、複数の暫定的な評価パラメータ５０１，５０２，５０３，．．．，５９９を結果的な評価パラメータ６０１としてまとめるための第３の論理回路を示し、この論理回路は本発明の有利な実施形態における組み合わせブロック６００である。図６に示した組み合わせブロック６００は、図５により既知の組み合わせブロック６００と同様に構成されているが、和信号ｓ_ｘは、組み合わせブロックの出力部に供給される前にしきい値Ｔ_１と比較され、この比較の結果は２値情報として出力される。したがって、結果的な評価パラメータ６０１は、２進値である。

したがって、図３に示すように、暫定的な評価パラメータ５０１，５０２，５０３，．．．，５９９は、ｐ個の信号経路のそれぞれによって決定され、それぞれの暫定的な評価パラメータ５０１，５０２，５０３，．．．，５９９はノイズの部分量に基づいており、ノイズの部分量は、それぞれの信号経路で使用される置換フィルタ２０１，２０２，２０３，．．．，２９９に依存している。暫定的な評価パラメータ５０１，５０２，５０３，．．．，５９９は、組み合わせブロック６００によって結果的な評価パラメータ６０１としてまとめられる。それぞれの暫定的な評価パラメータ５０１，５０２，５０３，．．．，５９９は、ノイズの異なる部分量に基づいているので、考察される画像部分２，３のための結果的な評価パラメータ６０１は、ノイズの個々の部分の組み合わせ、ここではノイズの部分量に基づいて決定される。

例えば、論理演算（ＡＮＤ、ＯＲ、ＸＯＲ、ＮＯＴなど）、算術演算（加算、乗算など）、しきい値比較、量子化、ルックアップテーブルなどを用いて、暫定的な評価パラメータ５０１，５０２，５０３，．．．，５９９を互いに適切に組み合わせるために、組み合わせブロック６００を構成するための他の多数の可能性がある。これらの演算の関連付けは、「設計」または訓練データに基づいて「訓練」することができる。

この場合、個別評価、ひいては暫定的な評価パラメータ５０１，５０２，５０３，．．．，５９９が、圧縮された評価として関連付けられ、したがって、圧縮された評価は、適用可能であるかどうか、および適用可能である場合には出力信号４０１，４０２，４０３，．．．，４９９として供給される現在処理されている信号がノイズから際立っているか、および必要であれば、どのくらい際立っているかについて、比較的信頼できる情報を提供することが重要である。この圧縮された評価は２進値であってもよいし、より大きい値範囲を有していてもよい。

この圧縮された評価はベクトル値であってもよい。この場合、２進値または「多値」情報だけでなく、共に考察してベクトルとみなすことができる複数の情報項目も出力される。例えば、個別評価をまとめるために図４および図５で提案された例を代替案とみなすことはできないが、両方を共に組み合わせブロック６００で実施することができ、組み合わせブロック６００の結果、および結果的な評価パラメータ６０１は２次元ベクトルである。

組み合わせブロック６００の出力信号および結果的な評価パラメータ６０１には安定化のための関数が適用される。このことは、図３に安定化ブロック７００によって示されている。

随意の安定化ブロック７００は、結果を安定化させるために空間的および／または時間的な統計的依存性を利用する。例えば、図５に示す組み合わせブロック６００の中間結果は、値範囲０〜９９を有し、空間的、時間的なピクセルの近隣で重み付けされて加算され、閾値と比較される。

これは、決定が個別に（ピクセルごとに）行われず、局所的および／または時間的な関係において行われる場合に、局所的および／または時間的により安定した決定を行うことができることに基づいている。

空間的なピクセル近隣における重み付け加算の一例を図７に示す。

この場合、画像信号１０の評価は、画像センサの選択された複数の画像部分２，３についてノイズの量を決定し、複数の結果的な評価パラメータ６０１を決定するために行われる。したがって、特に、それぞれのピクセル、すなわちそれぞれの画素、または画像内のそれぞれの特徴について、図３に示した信号処理が行われる。画像センサのそれぞれの画素について信号処理を行う場合には、それぞれのピクセルについて結果的な評価パラメータ６０１が決定される。

安定化ブロック７００によって表される信号処理の部分において、例えば第１の画像部分２に属する結果的な評価パラメータ６０１に安定化のための関数が適用され、第１の画像部分２の結果的な評価パラメータ６０１の値が、第１の画像部分２に隣接する画像部分４の結果的な評価パラメータに適合される。

このために、決定された全ての結果的な評価パラメータ６０１が少なくとも一時的にバッファリングされ、それぞれのピクセルについて、したがって、それぞれの画像部分２，３について、隣接するピクセルのそれぞれの結果的な評価パラメータにアクセスすることができる。

例えば、図７に斜線で示した基準ピクセル６について、隣接する１０個のピクセルが結果的な評価パラメータ６０１にアクセスし、平滑化効果（平滑化フィルタ）を有する全部で１１個のピクセルについて結果的な評価パラメータ６０１の重み付け加算が行われ、この場合には重みは１または２である。この場合、重みの和は１４なので、結果は０〜１４×９９＝１３８６の値範囲を有する。したがって、例えば、基準ピクセル６は、第１の画像部分２を検出する画像センサのピクセルに対応する。基準ピクセル６の左側に隣接するピクセル７は、第１の画像部分２に隣接する画像部分４を検出する画像センサのピクセルに対応する。

このようにして安定化された結果的な評価パラメータ６０１は、出力値Ｓ_２として出力され、例えば「７００」の値を有するしきい値Ｔ_２と随意に比較することができる。このしきい値決定の代替として、例えば、０〜１３８６の値範囲を、例えば０〜７のより小さい値範囲にマッピングする量子化を行うこともできる。

上記の全ての数値は、例としてのみ考察されるべきである。安定化ブロック７００によって提供される平滑化フィルタは、必ずしも対称的に構成されておらず、密集して占有されていなくてもよい。随意の形状および寸法を有利であると証明することができ、例えば、実験的に決定することができる。

空間的な重み付け加算は、一般に、結果的な評価パラメータ６０１のバッファリングを必要とし、一般に、他の全ての中間結果が提供された場合にはじめてそれぞれの（基準）ピクセルのための最終結果を計算することができるので、遅延にもつながる。

重み付け加算は、付加的また代替的に、時間方向に行うこともできる。このために、バッファリングされた中間結果が以前の計算（例えば、以前の画像）から取り入れられる。この取入れは、例えば、画像センサを含むカメラの回転を補償するために、必要に応じて動きの補償を利用して行われる。

安定化ブロック７００の結果は、それぞれのピクセルにおけるノイズについての決定（２値の結果の場合）または評価（２進値よりも多い結果の場合）である。２進値は、以下の解釈を有することができる。安定化ブロック７００の出力部には、安定化された結果的な移動パラメータ７０１が供給される。安定化ブロック７００は随意である。安定化された結果的な移動パラメータ６０１の値の以下に記載する意味は、（安定化されていない）結果的な移動パラメータ６０１に直接にも同様に適用することができる。

安定化された結果的な移動パラメータ７０１または結果的な移動パラメータ６０１が２進値である場合には、以下のように解釈することができる。

値＝０は、このピクセルについて決定された特徴ベクトルがノイズによって著しく影響される可能性が高く、したがって対応の形成（または他の処理）に用いることは望ましくないことを意味する。

値＝１は、特徴ベクトルがノイズによって影響されない可能性が高く、したがって、対応の形成などに用いることができることを意味する。

安定化された結果的な移動パラメータ７０１または結果的な移動パラメータ６０１が４つの値に量子化される場合には、解釈は、以下のようになり得る。

値＝０は、特徴ベクトルがノイズによって影響される可能性が高く、したがって、対応形成に使用されないことを意味する。

値＝１は、特徴ベクトルがノイズによって影響されているかもしれないことを意味する。したがって、この特徴ベクトルを用いて、またはこの特徴ベクトルについて得られる結果には、あまり大きい信頼をおくことは望ましくない。

値＝２は、特徴ベクトルがおそらくノイズによって影響されておらず、したがって、対応を形成するために正常に使用することができることを意味する。

値＝３は、特徴ベクトルがノイズによって影響されていないことを意味する。この特徴ベクトルは、ノイズレベルからは明らかに遠ざかっており、対応する結果に特別な信頼をおくことができる。

組み合わせブロック６００および安定化ブロック７００の選択されたシーケンスは、ここでは単に一例として理解されるべきである。最初に空間的／時間的な近隣を取り入れ、次に情報圧縮を達成するために、シーケンスを逆にすることもできる。これらのブロック６００，７００の機能を相互に関連付け、共通のブロックで表することもできる。

要約すると、本発明による方法は、「ノイズまでの距離」に応じて、この特徴に対するより高いまたはより低い信頼度を表す、特徴に関する追加情報を指定することを可能にし、この信頼または品質の尺度は極めて簡潔に（例えば、１ビットまたは数ビットで）記述されていてもよく、後続のアルゴリズムに引き渡すか、またはさらなる使用のために効率的に格納することができる。

好ましい実施形態では、本発明による情報は、ピクセル毎に、または特徴毎に決定され、付け加えられる。しかしながら、これらの情報を、例えば、それぞれピクセルまたは特徴のグループについて、または、次に既知のデータ圧縮方法によって符号化および復号化できる２値画像として、より少ない頻度で決定し、提供することも可能である。この場合、ピクセルもしくは特徴毎に１ビット未満により表現することも可能である。

Claims (10)

1. 対応形成のための画像部分を評価する方法において、
   画像センサから画像信号（１０）を受信するステップと、
   画像センサの選択された領域について画像センサによって引き起こされるノイズの量を決定するために画像信号（１０）を評価するステップと、
   画像センサによって検出された画像の画像部分（２，３）について、画像部分（２，３）が対応形成のために適しているかどうかを記述する結果的な評価パラメータ（６０１）を決定するステップと、
   を含み、
   画像部分（２，３）が画像センサの選択された領域に対応し、決定されたノイズの量に基づいて結果的な評価パラメータ（６０１）を決定する、
   対応形成のための画像部分を評価する方法。
2. 請求項１に記載の方法において、
   画像センサの選択された領域について、異なる信号経路におけるノイズの部分量を決定し、
   前記画像部分（２，３）のための結果的な前記評価パラメータ（６０１）を、全ての信号経路からのノイズのそれぞれの部分量に基づいて決定する、
   対応形成のための画像部分を評価する方法。
3. 請求項２に記載の方法において、
   ノイズのそれぞれの部分量を決定するために、異なる信号経路の前記画像信号（１０）をそれぞれ異なるようにフィルタリングする、
   対応形成のための画像部分を評価する方法。
4. 請求項２または３に記載の方法において、
   ノイズのそれぞれの部分量に画像信号のそれぞれ異なる周波数範囲を関連付ける、
   対応形成のための画像部分を評価する方法。
5. 請求項２〜４までのいずれか一項に記載の方法において、
   ノイズのそれぞれの部分量から暫定的な評価パラメータ（５０１，５０２，５０３，．．．，５９９）を決定し、該暫定的な評価パラメータ（５０１，５０２，５０３，．．．，５９９）を結果的な前記評価パラメータ（６０１）としてまとめる、
   対応形成のための画像部分を評価する方法。
6. 請求項１〜５までのいずれか一項に記載の方法において、
   前記画像信号（１０）の評価を行う前に画像信号（１０）に動的圧縮を適用する、
   対応形成のための画像部分を評価する方法。
7. 請求項１〜６までのいずれか一項に記載の方法において、
   結果的な前記評価パラメータ（６０１）が２進値であるか、複数の段階における対応形成の適性の程度を示すか、またはベクトル値である、
   対応形成のための画像部分を評価する方法。
8. 請求項１〜７までのいずれか一項に記載の方法において、
   複数の結果的な評価パラメータ（６０１）を決定するために、画像センサの複数の選択された領域についてノイズの量を決定するために画像信号（１０）の評価を行う、
   対応形成のための画像部分を評価する方法。
9. 請求項８に記載の方法において、
   第１の画像部分（２）に関連付けられた結果的な評価パラメータ（６０１）の１つに安定化のための関数を適用し、隣接する結果的な評価パラメータ(６０１)に基づいて局所的および／または時間的なフィルタリングを行う、
   対応形成のための画像部分を評価する方法。
10. 対応形成のための画像部分を評価するための装置において、
    画像センサから画像信号（１０）を受信するように設定された入力ステージ（５０）と、
    画像センサの選択された範囲について画像センサによって引き起こされるノイズの量を決定するために画像信号（１０）を評価し、画像センサによって検出された画像の画像部分（２，３）について、画像部分（２，３）が対応形成に適しているかどうかを記述する結果的な評価パラメータ（６０１）を決定するように設定された評価ステージと、
    を含み、
    画像部分（２，３）が、画像センサの選択された領域に対応し、結果的な評価パラメータ（６０１）が、決定されたノイズの量に基づいて決定される、
    対応形成のための画像部分を評価するための装置。