JP2015069566A - フィルタリング装置および環境認識システム - Google Patents

Abstract

【課題】評価関数の評価値を適切に評価することで、本来無効とすべき差分値を効果的に除外する。
【解決手段】フィルタリング装置は、互いに関連性を有する一対の画像に対し、一方の画像（基準画像）から任意に抽出したブロック（基準ブロック）と他方の画像（比較画像）から抽出した複数のブロック（比較ブロック）との相関を示す複数の評価値を導出する評価値導出部１６０と、複数の評価値のうち相関が最も高い評価値を一方の境界として評価値の評価範囲を設定する評価範囲設定部１６２と、複数の評価値と評価範囲とに基づいて相関が最も高い評価値が差分値として有効か否か判定する差分値判定部１６４とを備える。
【選択図】図２

Description

本発明は、複数の比較対象における対象物の差分値（視差）を求める際、その差分値が有効か否かを判定するフィルタリング装置および環境認識システムに関する。

従来、自車両の前方に位置する車両等の特定物を検出し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。

このような衝突回避制御やクルーズコントロールでは、自車両前方に位置する対象物の、自車両との相対距離を得るために、例えば、視点の異なる２つの撮像装置を用い、それぞれから画像データを取得し、一方の画像データに基づく画像（以下、基準画像という）から任意に抽出したブロックと相関の高いブロックを他方の画像データに基づく画像（以下、比較画像という）から検索する、所謂パターンマッチングを用いて視差を導き出す。そして、撮像装置の設置位置や焦点距離等の撮像パラメータを参照し、三角測量法による所謂ステレオ法を用いて、導出した視差から対象物の撮像装置に対する相対距離を求め、相対距離に水平距離および高さを加えた３次元の位置情報に変換する。そして、この３次元の位置情報を用いて各種認識処理が行われる。ここで、「水平」は画面横方向を示し、後述する「垂直」は画面縦方向を示す。

上記パターンマッチングでは、比較画像上でブロックを水平方向にシフトしながら基準画像のブロックとの相関演算を行い、相関が最も高いブロックの比較画像上の座標と、基準画像のブロックの座標との差分（差分値）を視差としている。しかし、水平方向に同様のパターンが連続する場合、比較画像上のブロックの位置が異なっていても、それぞれのブロックの相関に差が生じにくいので、誤った視差を導出する可能性がある。

そこで、パターンマッチングにおける評価関数、例えば、基準画像および比較画像それぞれのブロック内の同一位置に相当する画素同士の輝度の差分を積算するＳＡＤ（Sum of Absolute Difference）において、その評価値の最小値（相関が最高となる値）が所定の条件を満たせば、例えば、所定の固定値以下となっていれば、そのブロックの視差を有効とする技術が知られている（例えば、特許文献２）。また、基準画像および比較画像のブロック周囲の画素の輝度の平均値を求め、ブロック内の輝度からその平均値を減算した結果に基づいて評価値を導出する平均値差分マッチングも開示されている（例えば、特許文献３）。このような評価関数によって、基準画像と比較画像との画像のバラツキや低周波ノイズの影響を低減できる。

特許第３３４９０６０号公報 特許第３３４８９３９号公報 特許第３９１７２８５号公報

しかし、特許文献２のように評価値の最小値を固定値と比較する技術では、様々な環境下においても相関の有無を評価できる一義的な固定値を定めるのが困難であった。また、特許文献３のような平均値差分マッチングでは、同様な環境下の画像同士でも撮像装置の撮像状態、例えば、撮像装置前方のフロントガラスの曇り状態や周囲環境の明るさによって評価値の差が大きくなっていた。したがって、本来無効とすべき視差（差分値）を効果的に除外することができなかった。

本発明は、このような課題に鑑み、評価関数の評価値を適切に評価することで、本来無効とすべき差分値を効果的に除外することが可能なフィルタリング装置および環境認識システムを提供することを目的としている。

上記課題を解決するために、本発明のフィルタリング装置は、互いに関連性を有する一対の比較対象に対し、一方の比較対象から任意に抽出した抽出部位と他方の比較対象から抽出した複数の抽出部位との相関を示す複数の評価値を導出する評価値導出部と、複数の評価値のうち相関が最も高い評価値を一方の境界として評価値の評価範囲を設定する評価範囲設定部と、複数の評価値と評価範囲とに基づいて相関が最も高い評価値が差分値として有効か否か判定する差分値判定部と、を備えることを特徴とする。

差分値判定部は、複数の評価値全体に対する、評価範囲に含まれる評価値の比率が所定の閾値以上であれば、相関が最も高い評価値を差分値として無効と判定してもよい。

差分値判定部は、評価範囲の他方の境界を一辺として評価範囲に含まれる評価値で形成される多角形の面積が所定の閾値以上であれば、相関が最も高い評価値を差分値として無効と判定してもよい。

評価範囲設定部は、相関が最も高い評価値に応じて評価範囲を異ならせてもよい。

比較対象は画像であり、抽出部位は画像中の１または複数の画素からなるブロックであってもよい。

評価範囲設定部は、画像の所定範囲内における画素の輝度の平均値に応じて評価範囲を異ならせてもよい。

上記課題を解決するために、本発明の環境認識システムは、互いに関連性を有する一対の画像を生成する撮像装置と、生成された一対の画像に対し、一方の画像から任意に抽出したブロックと他方の画像から抽出した複数のブロックとの相関を示す複数の評価値を導出する評価値導出部と、複数の評価値のうち相関が最も高い評価値を一方の境界として評価値の評価範囲を設定する評価範囲設定部と、複数の評価値と評価範囲とに基づいて相関が最も高い評価値が視差として有効か否か判定する差分値判定部と、を備えることを特徴とする。

本発明によれば、評価関数の評価値を適切に評価することで、本来無効とすべき差分値を効果的に除外することが可能となる。

環境認識システムの接続関係を示したブロック図である。 車外環境認識装置の概略的な機能を示した機能ブロック図である。 平均値差分マッチングの動作を説明する説明図である。 基準画像と比較画像を例示した説明図である。 任意の３つの領域における評価値の推移を示した説明図である。 評価値を判定する処理を説明するための説明図である。 評価値を判定する他の処理を説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

近年では、車両に搭載した車載カメラによって自車両の前方の道路環境を撮像し、画像（比較対象）内における色情報や位置情報に基づいて先行車両等の対象物を特定し、特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ（ＡＣＣ：Adaptive Cruise Control）、所謂衝突防止機能を搭載した車両が普及しつつある。

かかる衝突防止機能では、自車両前方に位置する対象物の、自車両との相対距離を得るために、例えば、視点の異なる２つの撮像装置を用い、２つの撮像装置それぞれから取得した一対の比較対象である基準画像と比較画像とを比較し、所謂パターンマッチングを用いて相関の高いブロック（抽出部位）を抽出する。しかし、画像上の水平方向に同様のパターンが連続する場合、比較画像上のブロックの位置が異なっていても、それぞれのブロックの相関に差が生じにくいので、誤った視差（差分値）を導出する可能性がある。そこで、本実施形態では、パターンマッチングの評価関数における評価値の推移、すなわち、評価値の最小値（相関が最高となる値）近傍の推移に基づいて、その最小値が視差として有効か否か判定し、本来無効とすべき視差を効果的に除外することを目的としている。ここで、ブロックは、画像中の１または複数の画像で構成される部位を示す。以下、このような目的を達成するための環境認識システムを説明し、その具体的な構成要素である車外環境認識装置に設けられたフィルタリング装置を詳述する。

（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方に相当する環境を撮像し、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなるカラー画像やモノクロ画像を生成することができる。ここでは、撮像装置１１０で撮像されたカラー画像を輝度画像として採用し、後述する距離画像と区別する。

また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、認識する対象物は、車両、歩行者、信号機、道路（進行路）、ガードレール、建物といった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の一部として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機としてフレーム毎に各処理を遂行する。

車外環境認識装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、所謂パターンマッチングを用いて視差を導き出し、導出された視差情報（後述する相対距離に相当）を画像データに対応付けて距離画像を生成する。パターンマッチングについては後ほど詳述する。また、車外環境認識装置１２０は、輝度画像に基づく輝度、および、距離画像に基づく自車両１との相対距離を含む実空間における３次元の位置情報を用い、輝度が等しく３次元の位置情報が近いブロック同士を対象物としてグループ化し、自車両１前方の検出領域における対象物がいずれの特定物に対応するかを特定する。

車外環境認識装置１２０は、特定物を特定すると、その特定物（例えば、先行車両）を追跡しつつ、特定物の相対速度等を導出し、特定物と自車両１とが衝突する可能性が高いか否かの判定を行う。ここで、衝突の可能性が高いと判定した場合、車外環境認識装置１２０は、その旨、運転者の前方に設置されたディスプレイ１２２を通じて運転者に警告表示（報知）を行うとともに、車両制御装置１３０に対して、その旨を示す情報を出力する。

車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転者の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、駆動機構１４４、制動機構１４６を制御する。

以下、車外環境認識装置１２０の構成について詳述する。ここでは、本実施形態に特徴的な、フィルタリング装置における対象物の視差を求める処理について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。

（車外環境認識装置１２０）
図２は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

Ｉ／Ｆ部１５０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した画像データを一時的に保持する。

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、評価値導出部１６０、評価範囲設定部１６２、差分値判定部１６４としても機能する。また、評価値導出部１６０、評価範囲設定部１６２、および、差分値判定部１６４はフィルタリング装置としても機能する。以下、パターンマッチング処理の詳細な動作を説明する。

（パターンマッチング処理）
評価値導出部１６０は、２つの撮像装置１１０それぞれから画像データを取得し、取得した２つの画像データに基づく、互いに関連性を有する一対の画像に対し、基準となる一方の画像（基準画像）から任意に抽出したブロックと、比較先である他方の画像（比較画像）から抽出した複数のブロックとの相関を示す複数の評価値を導出する。

このパターンマッチングとしては、一対の画像間において、任意のブロック単位で輝度（Ｙ色差信号）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。このうち、ここでは、ＳＡＤを例に挙げて説明する。また、本実施形態では、基準画像および比較画像のブロック周囲の画素の輝度の平均値を求め、ブロック内の輝度からそれぞれの平均値を減算した結果に基づいて評価値を導出する平均値差分マッチングを行っている。以下に、平均値差分マッチングの動作を説明する。

図３は、平均値差分マッチングの動作を説明する説明図である。まず、評価値導出部１６０は、図３（ａ）に示すように、基準画像２００から、例えば水平４画素×垂直４画素の画素２０２の配列で表されるブロック（以下、基準ブロックという）２０４を抽出する。そして、以降の処理において、順次、基準ブロック２０４を抽出し、抽出した基準ブロック２０４毎に視差を導出する。ここでは、基準ブロック２０４を水平４画素×垂直４画素としているが、基準ブロック２０４内の画素数は任意に設定することができる。

かかる基準ブロック２０４においては、隣接する基準ブロック２０４同士の画素を重ねない。また、本実施形態では、基準ブロック２０４同士を隣接させているので、例えば、検出領域（例えば水平６００画素×垂直１８０画素）に映し出されている全ての画素２０２に対して、水平１５０×垂直４５＝６７５０のブロックが基準ブロック２０４として順次抽出されることとなる。

ただし、上述したように、本実施形態では平均値差分マッチングを採用しているので、図３（ｂ）に示すように、評価値導出部１６０は、下記数式１に基づいて、基準ブロック２０４を中心とした基準ブロック２０４の周囲の水平８画素×垂直８画素で表される領域２０６内の画素２０２の輝度Ｒｂ（ｉ，ｊ）の平均値Ａｂを求める。
Ａｂ＝ΣＲｂ（ｉ，ｊ）／６４…（数式１）
ただし、ｉは１〜８で表される領域２０６内の水平画素位置、ｊは１〜８で表される領域２０６内の垂直画素位置である。また、領域２０６が基準画像２００に収まらない場合（端部により領域２０６が欠ける場合）、収まらない部分を省略して平均値Ａｂを求める。

そして、評価値導出部１６０は、下記数式２の如く、基準ブロック２０４内の画素２０２の輝度Ｅｂ（ｉ，ｊ）から上記平均値Ａｂを減算して、平均値差分輝度ＥＥｂ（ｉ，ｊ）を導出する。
ＥＥｂ（ｉ，ｊ）＝Ｅｂ（ｉ，ｊ）−Ａｂ…（数式２）
ただし、ｉは１〜４で表される基準ブロック２０４内の水平画素位置、ｊは１〜４で表される基準ブロック２０４内の垂直画素位置である。

続いて、評価値導出部１６０は、図３（ｃ）に示すように、比較画像２１０から、例えば水平４画素×垂直４画素の画素２１２の配列で表されるブロック（以下、比較ブロックという）２１４を抽出する。ここでは、１の基準ブロック２０４に対して、順次、複数の比較ブロック２１４を抽出し、それぞれ基準ブロック２０４との相関を示す評価値を導出する。

かかる比較ブロック２１４は、例えば、水平方向に１画素ずつシフトされて抽出されるので、隣接する比較ブロック２１４同士の画素が重なることとなる。本実施形態では、１の基準ブロック２０４に対し、基準ブロック２０４に相当する位置２１６から水平方向の左右に合計１２８の比較ブロック２１４を抽出することとなる。したがって、抽出範囲（探索範囲）は水平（１２８＋３＝）１３１画素×垂直４画素となる。基準ブロック２０４に相当する位置２１６と抽出範囲との位置関係は、基準画像２００と比較画像２１０との視差の出現態様に応じて設定される。

ただし、上述したように、本実施形態では平均値差分マッチングを採用しているので、基準ブロック２０４同様、評価値導出部１６０は、下記数式３に基づいて比較ブロック２１４を中心とした比較ブロック２１４の周囲の水平８画素×垂直８画素で表される領域内の画素の輝度Ｒｃ（ｉ，ｊ）の平均値Ａｃを求める。
Ａｃ＝ΣＲｃ（ｉ，ｊ）／６４…（数式３）
ただし、ｉは１〜８で表される領域内の水平画素位置、ｊは１〜８で表される領域内の垂直画素位置である。

そして、評価値導出部１６０は、下記数式４の如く、比較ブロック２１４内の画素の輝度Ｅｃ（ｉ，ｊ）から上記平均値Ａｃを減算して、平均値差分輝度ＥＥｃ（ｉ，ｊ）を導出する。
ＥＥｃ（ｉ，ｊ）＝Ｅｃ（ｉ，ｊ）−Ａｃ…（数式４）
ただし、ｉは１〜４で表される比較ブロック２１４内の水平画素位置、ｊは１〜４で表される比較ブロック２１４内の垂直画素位置である。

次に、評価値導出部１６０は、下記数式５に示すように、基準ブロック２０４の各画素２０２の平均値差分輝度ＥＥｂ（ｉ，ｊ）から、比較ブロック２１４内の同一の位置に相当する各画素２１２の平均値差分輝度ＥＥｃ（ｉ，ｊ）を減算し、それを積算して評価値Ｓを導出する。
Ｓ＝Σ（ＥＥｂ（ｉ，ｊ）−ＥＥｃ（ｉ，ｊ））…（数式５）

こうして導出された複数の評価値Ｓは、小さい程、すなわち、差分がないほど、相関が高くなる。したがって、１の基準ブロック２０４に対する比較ブロック２１４との複数（ここでは１２８）の評価値のうち、最小の評価値（最小値）の位置が視差の一端を示す位置の候補となる。

評価値導出部１６０は、任意の基準ブロック２０４に対する評価値の最小値が導出されると、その最小値に相当する比較ブロック２１４の座標と、基準ブロック２０４（基準ブロック２０４に相当する位置２１６）の座標の差分を視差としてデータ保持部１５２の所定の領域に保持させる。したがって、データ保持部１５２には、水平１５０×垂直４５＝６７５０の基準ブロック２０４の視差が保持されることとなる。

上記平均値差分マッチングは、画像の高周波成分のみをマッチングの対象とするものであり、ハイパスフィルタと等価な作用を有しているため低周波ノイズを除去することができる。また、基準画像２００と比較画像２１０との間の輝度の僅かなバランスの狂いの影響、カメラやアナログ回路部品の経年変化によるゲイン変化の影響に対しても、視差の特定精度が高く、視差の導出精度を高めることが可能となる。

図４は、基準画像２００と比較画像２１０を例示した説明図である。ここでは、視点の異なる２つの撮像装置１１０から取得した一対の画像のうち、図４（ａ）に示す、右に位置する撮像装置１１０からの画像を基準画像２００とし、図４（ｂ）に示す、左に位置する撮像装置１１０からの画像を比較画像２１０とする。

評価値導出部１６０が基準画像２００と比較画像２１０とに基づいて評価値を導出する場合、例えば、図４（ａ）に示す領域２２０では、トラックの側端にエッジが生じており、パターンマッチングし易く、視差を容易に導出することができる。

一方、図４（ａ）に示す領域２２２の横断歩道の白線のように、水平方向に同様のパターンが連続する場合、比較画像２１０上のブロックの位置が異なっていても、それぞれのブロックの相関に差が生じにくいので、誤った視差を導出する可能性がある。また、同様に、図４（ａ）に示す領域２２４の空といった背景のように、水平方向に類似した特徴を有する領域でもブロックの相関に差が生じにくく、誤った視差を導出する可能性がある。その他、オクルージョンが生じている場合にも同様に視差を特定できない状況が生じうる。

図５は、上記の３つの領域２２０、２２２、２２４における評価値の推移を示した説明図であり、領域２２０中の任意の基準ブロック２０４の例を図５（ａ）に、領域２２２中の任意の基準ブロック２０４の例を図５（ｂ）に、領域２２４中の任意の基準ブロック２０４の例を図５（ｃ）に示す。また、図５（ａ）、（ｂ）、（ｃ）では、横軸に比較ブロック２１４の水平位置を、縦軸に評価値を示す。ここで、評価値は、小さいほど相関が高いことを表す。

図５（ａ）では、領域２２０において比較されるブロック同士が特徴的なので、局所的に評価値が小さい方に突出し、明確に最小値が出現する。一方、図５（ｂ）や図５（ｃ）では、パターンマッチングに相当する評価値の最小値は出現するものの、最小値の近傍では、同等レベルの評価値が出現している。

そこで、本実施形態では、パターンマッチングの評価値の推移、すなわち、評価値の最小値（相関が最高となる値）近傍の推移の形状に着目して、その最小値が視差として有効か否か判定する。具体的に、最小値の近傍に他の評価値が出現していなければ、その最小値を視差として有効と判定し、最小値の近傍に他の評価値が出現していれば、無効と判定する。以下に、その処理を詳述する。

図６は、評価値を判定する処理を説明するための説明図である。図６（ａ）〜（ｃ）は、図５（ａ）〜（ｃ）に対応している。評価範囲設定部１６２は、複数（ここでは１２８）の評価値のうち最小値（相関が最も高い評価値）を一方の境界として、評価値が大きくなる方（相関が低くなる方）に評価値の評価範囲を設定する。ここでは、仮に評価範囲の大きさを固定値として図６（ａ）〜（ｃ）に示すように評価範囲を設定している。図６（ａ）〜（ｃ）では、評価範囲の一方の境界を最小値としているので、評価値の推移に応じて評価範囲の位置が異なるのが理解できる。

差分値判定部１６４は、複数の評価値と評価範囲とに基づいて相関が最も高い評価値が視差として有効か否か判定する。例えば、差分値判定部１６４は、複数の評価値全体に対する、評価範囲に含まれる評価値の比率に基づいて相関が最も高い評価値が視差として有効か否か判定する。

具体的に、評価値の最小値がＭｉｎ、評価範囲の大きさがＷで示される場合、評価値Ｋが下記数式６を満たす数Ｎを計数する。
Ｋ<（Ｍｉｎ＋Ｗ）…（数式６）

そして、計数した数Ｎが所定の閾値以上であれば、最小値が視差である信頼度が低いとみなし、その最小値を視差として無効と判定する。ここで、所定の閾値は、所定の比率（例えば２０％）に比較ブロック２１４の数である１２８を乗じて決定される。

また、差分値判定部１６４は、評価範囲に含まれる評価値の比率に代えて、評価範囲の他方の境界を一辺として評価範囲に含まれる評価値で形成される多角形の面積に基づいて相関が最も高い評価値が視差として有効か否か判定してもよい。

図７は、評価値を判定する他の処理を説明するための説明図である。図７は、図６（ｂ）に対応している。評価範囲設定部１６２は、複数（ここでは１２８）の評価値のうち評価範囲に含まれる隣接する評価値同士を結線し、さらに、評価範囲のうち、評価値の最小値と異なる境界も接続して、図７においてハッチングで示した多角形を形成する。そして、その多角形の面積が所定の閾値以上であれば、相関が最も高い評価値を視差として無効と判定する。このような面積によっても最小値近傍の評価値の推移を判定することができる。

また、上記では、評価範囲の大きさを仮に固定値としたが、評価範囲設定部１６２は、評価範囲を適応的に変更することもできる。例えば、評価範囲設定部１６２は、基準画像２００または比較画像２１０の所定範囲内における画素の輝度の平均値に応じて評価範囲を異ならせる。ここで、所定範囲は、画像全体、予め定められた位置における所定の大きさの範囲、比較画像２１０の抽出範囲等、様々な範囲を設定することができる。

具体的に、評価範囲設定部１６２は、所定範囲内における画素の輝度の平均値が低いと評価範囲を小さく設定し、平均値が高いと評価範囲を大きく設定する。これは、全体的に輝度が低い状況、例えば、夕方や夜において、画像上の輝度値が全体的に低くなるので、評価値の最小値近傍がなだらかになり、仮に評価範囲を固定してしまうと意図せず除外されてしまう視差が増えるからである。

また、評価範囲設定部１６２は、相関が最も高い評価値に応じて評価範囲を異ならせてもよい。例えば、評価値の最小値がＭｉｎ、評価値の最大値がＭａｘ、評価値のスケールがＳｃａｌｅ、計数がＧａｉｎ（任意の値）で示される場合、評価範囲の大きさＷを下記の数式７や数式８に基づいて設定する。
Ｗ＝Ｍｉｎ×Ｇａｉｎ／Ｓｃａｌｅ…（数式７）
Ｗ＝（Ｍａｘ−Ｍｉｎ）×Ｇａｉｎ／Ｓｃａｌｅ…（数式８）

かかる数式７または数式８によって評価範囲の大きさＷを定めることで、評価値の最小値やスケールに応じた評価範囲を設定でき、評価値が推移する形状を適切に判定することが可能となる。

以上、説明したように、本実施形態では、固定値ではなく、最小値を基準にして相対的に変位する評価範囲を判定基準とすることで、撮像装置１１０前方のフロントガラスの曇り状態や周囲環境の明るさによって輝度が変動したとしても、本来無効とすべき視差を効果的に除外することが可能となる。

また、その評価対象を評価値の最小値のみとせず、最小値近傍の複数の点（推移自体）とすることで、評価値の推移の形状全体から評価値の傾向を判定することができる。こうして、局所的に評価値が小さい方に突出していないと判定できる、本来無効とすべき視差を確実に除外することが可能となる。

また、コンピュータを、上述したフィルタリング装置や環境認識システムとして機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上述した実施形態においては、比較対象として、視点の異なる２つの撮像装置１１０において同時に撮像された一対の画像を用いる例を挙げて説明したが、かかる場合に限らず、互いに関連性を有する一対の画像に対して広く適用可能である。このような互いに関連性を有する一対の画像としては、例えば、所謂オプティカルフローの処理対象である、１の撮像装置（単眼カメラ）で異なる時刻に撮像され、時系列に出力された２つの画像や、所謂テンプレートマッチングの処理対象である、撮像された画像と予め準備された画像との組み合わせ等が考えられる。また、上述した実施形態では、差分値として、視点の異なる２つの撮像装置１１０において同時に撮像された一対の画像における「視差」を挙げて説明したが、かかる場合に限らず、差分値は、互いに関連性を有する一対の画像における基準ブロックの差分等、対応する抽出部位同士の差分であればよい。

また、上述した実施形態では、輝度画像を比較対象とし、輝度画像の輝度に基づいて評価値を導出しているが、かかる場合に限らず、輝度以外の情報、例えば、遠赤外線カメラより得られる熱分布や、レーザレーダやミリ波レーダより得られる反射強度の分布等を比較対象とし、それらに基づいて評価値を導出してもよい。この場合も、上記同様、差分値は、対応する抽出部位同士の差分であればよい。

本発明は、複数の画像における対象物の差分値（視差）を求める際、その差分値が有効か否かを判定するフィルタリング装置および環境認識システムに利用することができる。

１００ 環境認識システム
１１０ 撮像装置
１２０ 車外環境認識装置（フィルタリング装置）
１６０ 評価値導出部
１６２ 評価範囲設定部
１６４ 差分値判定部
２００ 基準画像
２０４ 基準ブロック
２１０ 比較画像
２１４ 比較ブロック

Claims (7)

1. 互いに関連性を有する一対の比較対象に対し、一方の比較対象から任意に抽出した抽出部位と他方の比較対象から抽出した複数の抽出部位との相関を示す複数の評価値を導出する評価値導出部と、
   前記複数の評価値のうち相関が最も高い評価値を一方の境界として評価値の評価範囲を設定する評価範囲設定部と、
   前記複数の評価値と前記評価範囲とに基づいて前記相関が最も高い評価値が差分値として有効か否か判定する差分値判定部と、
   を備えることを特徴とするフィルタリング装置。
2. 前記差分値判定部は、前記複数の評価値全体に対する、前記評価範囲に含まれる評価値の比率が所定の閾値以上であれば、前記相関が最も高い評価値を差分値として無効と判定することを特徴とする請求項１に記載のフィルタリング装置。
3. 前記差分値判定部は、前記評価範囲の他方の境界を一辺として該評価範囲に含まれる評価値で形成される多角形の面積が所定の閾値以上であれば、前記相関が最も高い評価値を差分値として無効と判定することを特徴とする請求項１に記載のフィルタリング装置。
4. 前記評価範囲設定部は、前記相関が最も高い評価値に応じて前記評価範囲を異ならせることを特徴とする請求項１から３のいずれか１項に記載のフィルタリング装置。
5. 前記比較対象は画像であり、前記抽出部位は該画像中の１または複数の画素からなるブロックであることを特徴とする請求項１から４のいずれか１項に記載のフィルタリング装置。
6. 前記評価範囲設定部は、前記画像の所定範囲内における画素の輝度の平均値に応じて前記評価範囲を異ならせることを特徴とする請求項５に記載のフィルタリング装置。
7. 互いに関連性を有する一対の画像を生成する撮像装置と、
   生成された一対の画像に対し、一方の画像から任意に抽出したブロックと他方の画像から抽出した複数のブロックとの相関を示す複数の評価値を導出する評価値導出部と、
   前記複数の評価値のうち相関が最も高い評価値を一方の境界として評価値の評価範囲を設定する評価範囲設定部と、
   前記複数の評価値と前記評価範囲とに基づいて前記相関が最も高い評価値が視差として有効か否か判定する差分値判定部と、
   を備えることを特徴とする環境認識システム。

Images