JP2006113051A - 画像認識装置 - Google Patents

Abstract

【課題】 ２つの撮像装置の特性差がある場合でも、比較的簡単なハード構成でかつ少ない演算量で、２つの撮像装置により得られる画像中の対象物を正確に検出することができる画像認識装置を提供する。
【解決手段】 ２つの撮像装置により得られる２つの画像全体のコントラスト値を算出し、コントラスト値の大きい方の画像を基準画像とし、他方の画像を比較画像とする（Ｓ１４）。基準画像中の対象物像を含む基準パターンの輝度値と、比較画像中の、基準パターンと同一形状のパターンの輝度値とを用いて、相関性パラメータ値を算出し、算出した相関性パラメータ値に基づいて対応パターンを抽出する（Ｓ１７）。
【選択図】 図３

Description

本発明は、２つの撮像装置によって得られる２つの画像から対象物を検出する画像認識装置に関する。

２つの撮像装置を互いに離間して配置し、それらの撮像装置によって得られる２つの画像に含まれる対象物までの距離を検出する手法は広く知られており、この手法により正確な距離を検出するには、２つの画像に含まれる対象物像の対応関係を正しく認識することが前提となる。

２つの画像の一方の画像を基準画像とし、他方の画像を比較画像として、基準画像内の対象物像に対応する、比較画像内の対象物像を抽出する手法としては、ＳＡＤ（Sum of Absolute Difference）法が知られている。この手法は、基準画像内の対象物像を含む基準パターンの輝度値と、比較画像中の、基準パターンと同一形状のパターンの輝度値との差の絶対値を画素毎に演算して、その合計を２つのパターンの相関性を示す相関値ＥＲＲとし、相関値ＥＲＲが最小となる（相関性が最も高い）パターンを基準パターンに対応する対応パターンとして抽出するものである。

ＳＡＤ法を用いると、２つの撮像装置の特性に差がある場合、例えば一方の撮像装置のレンズが汚れて全体的に輝度値が低下したような場合には、基準パターン及び対応パターンに含まれる２つの対象物像が同一の形状であっても輝度値の差が大きくなって、相関値ＥＲＲが大きくなり、同一対象物と判定できないことがある。

そこで、２つの撮像装置の特性差を補正するために、２つの撮像装置と、対象物までの距離の検出などを行う画像認識装置との間に、感度調整装置を設け、この感度調整装置により、２つの撮像装置の出力信号のレベル調整を行うようにしたステレオ撮像システムが、従来より知られている（特許文献１）。

このシステムの感度調整装置は、感度調整のためのデータ変換テーブルを２つの撮像装置のそれぞれに対応してメモリに格納し、撮像装置の出力信号のレベルをデータ変換テーブルを用いて変換し、該変換後のデータを出力するように構成されている。そして、経時変化に対応するために、２つの撮像装置の撮像範囲内に含まれる位置に配置した特定対象物の画像データを用いて、前記データ変換テーブルの値を更新するようにしている。

特開平１０−２５５０２０号公報

しかしながら、上記従来のシステムでは、撮像装置と画像認識装置との間に、感度調整装置を設ける必要があり、またデータ変換テーブルを格納するメモリが必要となるなど、装置の構成が複雑化し、コストを大幅に上昇させるものであった。

またＳＡＤ法により算出される相関値を用いずに、正規化相互相関パラメータを相関性パラメータとして用いることにより、２つの撮像装置の特性差の影響を除去することも可能であるが、演算量が多いため演算装置の負荷が増大する。そのため、画像認識装置を車両に搭載して周囲状況の監視を行う場合などでは、演算速度の高い高価な演算装置を使用する必要が生じ、コストを増加させる主要因となる。

本発明は上述した点に鑑みなされたものであり、２つの撮像装置に特性差がある場合でも、比較的簡単なハード構成でかつ少ない演算量で、２つの撮像装置により得られる画像から対象物を正確に検出することができる画像認識装置を提供することを目的とする。

上記目的を達成するため請求項１に記載の発明は、２つの撮像手段よって得られる２つの画像から対象物を検出する画像認識装置において、前記２つの画像全体のコントラスト値を算出するコントラスト値算出手段と、前記コントラスト値算出手段にて算出したコントラスト値の大きい方の画像を基準画像とする基準画像決定手段と、前記基準画像としなかった方の画像を比較画像として決定する比較画像決定手段と、前記基準画像中の対象物像を含む基準パターンの輝度値と、前記比較画像中の、前記基準パターンと同一形状のパターンの輝度値とを用いて、２つのパターンの相関性を示す相関性パラメータ値を算出する相関性パラメータ値算出手段と、前記相関性パラメータ値算出手段による算出の結果を基に、相関性が最も高いパターンを、前記基準パターンに対応する対応パターンとして抽出する対応パターン抽出手段とを備えることを特徴とする。

請求項１に記載の発明によれば、２つの画像全体のコントラスト値が算出され、算出されたコントラスト値の大きい方の画像が基準画像とされる一方、基準画像としなかった方の画像が比較画像とされる。そして、基準画像中の対象物像を含む基準パターンの輝度値と、比較画像中の、基準パターンと同一形状のパターンの輝度値とを用いて、２つのパターンの相関性を示す相関性パラメータ値が算出され、その算出結果を基に、相関性が最も高いパターンが、基準パターンに対応する対応パターンとして抽出される。これにより、２つの撮像手段に特性差があり、２つの画像のコントラスト差がある場合でも、基準パターンと対応パターンのマッチングの失敗を防ぐことができる。その結果、比較的簡単なハード構成でかつ少ない演算量で、対象物を正確に検出することができる。

以下本発明の実施の形態を図面を参照して説明する。
図１は本発明の一実施形態にかかる画像認識装置を含む、車両の周辺監視装置の構成を示す図であり、この装置は、遠赤外線を検出可能な２つの赤外線カメラ１Ｒ，１Ｌと、当該車両のヨーレートを検出するヨーレートセンサ５と、当該車両の走行速度（車速）ＶＣＡＲを検出する車速センサ６と、ブレーキの操作量を検出するためのブレーキセンサ７と、これらのカメラ１Ｒ，１Ｌによって得られる画像データの基づいて車両前方の動物等の対象物を検出し、衝突の可能性が高い場合に警報を発する画像処理ユニット２と、音声で警報を発するためのスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示するとともに、衝突の可能性が高い対象物を運転者に認識させるためのヘッドアップディスプレイ（以下「ＨＵＤ」という）４とを備えている。

カメラ１Ｒ、１Ｌは、図２に示すように車両１０の前部に、車両１０の横方向の中心軸に対してほぼ対象な位置に配置されており、２つのカメラ１Ｒ、１Ｌの光軸が互いに平行となり、両者の路面からの高さが等しくなるように固定されている。赤外線カメラ１Ｒ、１Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。

画像処理ユニット２は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（Central Processing Unit）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ３の駆動信号、ＨＵＤ４の表示信号などを出力する出力回路などを備えており、カメラ１Ｒ，１Ｌ及びセンサ５〜７の出力信号は、ディジタル信号に変換されて、ＣＰＵに入力されるように構成されている。
ＨＵＤ４は、図２に示すように、車両１０のフロントウインドウの、運転者の前方位置に画面４ａが表示されるように設けられている。

図３は画像処理ユニット２における画像認識処理の手順を示すフローチャートであり、先ずカメラ１Ｒ、１Ｌの出力信号をＡ／Ｄ変換して画像メモリに格納する（ステップＳ１１，Ｓ１２，Ｓ１３）。画像メモリに格納される画像は、輝度情報を含んだグレースケール画像である。図４（ａ）（ｂ）は、それぞれはカメラ１Ｒ，１Ｌによって得られるグレースケール画像（カメラ１Ｒにより右画像が得られ、カメラ１Ｌにより左画像が得られる）を説明するための図であり、ハッチングを付した領域は、中間階調（グレー）の領域であり、太い実線で囲んだ領域が、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域（以下「高輝度領域」という）である。右画像と左画像では、同一の対象物の画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。

図３のステップＳ１４では、下記式（１）で定義される画像全体のコントラスト値ＣＴを右画像及び左画像のそれぞれについて算出する。
ＣＴ＝β×Ｌｏｇ（ＩＰＥＡＫ２−ＩＰＥＡＫ１） （１）
ここで、βは定数（＞０）、Ｌｏｇは「１０」を底とする対数、ＩＰＥＡＫ１及びＩＰＥＡＫ２は、図６に示す背景ピーク及び対象物ピークに対応する輝度値である。これらの背景ピーク輝度値ＩＰＥＡＫ１及び対象物ピーク輝度値ＩＰＥＡＫ２は、以下のようにして求める。

先ず、同図（ａ）に示すように輝度値Ｉを横軸とし、輝度値Ｉをとる画素の数、すなわち度数Ｈ［Ｉ］を縦軸とするヒストグラムを算出する。通常は同図に示すように背景の平均的な輝度値の近傍に背景のピークがあり、高温の対象物に対応する対象物ピークは度数Ｈが低いため同図ではピークの特定が困難である。そこで度数Ｈ［Ｉ］のヒストグラムを、同図（ｂ）に示すように対数変換した（Ｇ［Ｉ］＝Ｌｏｇ（Ｈ［Ｉ］＋１））ヒストグラムを算出し、これにより、背景ピーク及び対象物ピークを特定する。なお、対数変換するに際して度数Ｈ［Ｉ］に「１」を加えるのは、度数Ｈ［Ｉ］＝０の場合を考慮して不定にならないようにするためである。

上記式（１）により算出される右画像及び左画像の全体のコントラスト値を比較してそのコントラスト値が大きい方の画像を基準画像とする。すなわち、右画像及び左画像の全体コントラスト値をそれぞれＣＴＲ，ＣＴＬとし、ＣＴＲ＞ＣＴＬであるときは右画像を基準画像とし、ＣＴＲ＜ＣＴＬであるときは左画像を基準画像とする。基準画像としなかった方の画像を比較画像とする。

図３に戻りステップＳ１５では、基準画像の画像信号の２値化、すなわち、実験的に決定される輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行い、２値化した画像データを用いて、距離検出等の対象とする対象物を抽出する。図５に図４（ａ）の画像を２値化した画像を示す。この図は、ハッチングを付した領域が黒であり、太い実線で囲まれた高輝度領域が白であることを示している。図５の例では、４つの白の領域があり、これらが対象物として抽出される。ここでは、右画像を基準画像とした場合を例にとって以下の説明を行う。

続くステップＳ１６では、図７（ａ）に示すように抽出した対象物像ＯＢＪ１Ｒを囲む矩形ブロックＢ１Ｒを設定し、ブロックＢ１Ｒで囲まれた領域のグレースケール画像を基準パターンとする。そして、下記式（２）で定義される基準パターンのコントラスト値ＣＲを算出する。なお、図７は、見易くするために単純化した形状の対象物ＯＢＪ１のみが存在する場合を示している。対象物ＯＢＪ１の右画像及び左画像中の対象物像をそれぞれＯＢＪ１Ｒ，ＯＢＪ１Ｌとしている。この図では、左画像中の対象物像ＯＢＪ１Ｌにハッチングを付し、その輝度値が右画像中の対象物像ＯＢＪ１Ｒの輝度値よりの低いことを示している。また、背景には、より間隔の狭いハッチングを付し、背景の輝度値が対象物像ＯＢＪ１Ｒ，ＯＢＪ１Ｌの輝度値より低いことを示している。
ＣＲ＝β×Ｌｏｇ（ＩＲ−ＩＢ） （２）
ここで、ＩＲは、対象物像ＯＢＪ１Ｒの平均輝度値、ＩＢは基準パターン内の背景部（ブロックＢ１Ｒ内の対象物像ＯＢＪ１Ｒを除いた部分）の平均輝度値である。平均輝度値は、画素毎の輝度値を合計して、画素数（画素数で表された面積）で除算することにより算出される。

コントラスト値ＣＲは、実際には下記式（２ａ）により算出する。

ここで、ＳＲ及びＳＢＲは、それぞれ対象物像ＯＢＪ１Ｒの面積及び背景部の面積（画像内の長さは、画素数で示されるので、面積も画素数で示される。したがって、ＳＲ＋ＳＢＲは、ブロックＢ１Ｒの全画素数に相当する。）、ＶＲは、下記式（３）で算出される輝度値Ｉの分散である。

式（３）においてＩ（ｉ）は、ブロックＢ１Ｒ内の各画素の輝度値、ＩＡＶはブロックＢ１Ｒ内の全画素の輝度値の平均値であり、ΣはブロックＢ１Ｒ内の全画素の合計演算を意味する。

式（２ａ）は、以下に示すようにして導出される。先ず式（３）を展開して、下記式（３ａ）を得る。

式（３ａ）の右辺第２項は、ΣＩ（ｉ）／（ＳＲ＋ＳＢＲ）＝ＩＡＶであることから、２×ＩＡＶ²であり、右辺第３項は、ΣＩＡＶ²＝（ＳＲ＋ＳＢＲ）×ＩＡＶ²であることから、ＩＡＶ²であるので、式（３ａ）は、下記式（３ｂ）のようになり、これをさらに変形することにより、下記式（４）が得られる。

さらに式（４）の両辺の対数をとってβ／２倍することにより、下記式（５）得られ、βＬｏｇ（ＩＲ−ＩＢ）＝ＣＲ（式（２））を代入して変形することにより、式（２ａ）が得られる。

図３に戻り、ステップＳ１７では、ＳＡＤ法により基準パターンに対応する対応パターンの探索を行う。具体的には、図７（ｂ）に示すように左画像中に探索領域ＲＳを設定し、探索領域ＲＳ内で矩形ブロックＢ１Ｒとの相関の高さを示す相関値ＥＲＲ（ａ，ｂ）を下記式（６）により算出し、この相関値ＥＲＲ（ａ，ｂ）が最小となる領域を対応ブロックＢ１Ｌとして抽出する。すなわち、対応ブロックＢ１Ｌで囲まれた領域のグレースケール画像を対応パターンとして抽出する。

ここで、ＩＳＲ（ｍ，ｎ）は、図８に示すブロックＢ１Ｒ内の座標（ｍ，ｎ）の位置の輝度値であり、ＩＳＬ（ａ＋ｍ−Ｍ，ｂ＋ｎ−Ｎ）は、探索領域ＲＳ内の座標（ａ，ｂ）を基点とした、ブロックＢ１Ｒと同一形状のブロックＢ１Ｌ内の座標（ｍ，ｎ）の位置の輝度値である。基点の座標（ａ，ｂ）を変化させて相関値ＥＲＲ（ａ，ｂ）が最小となる位置を求めることにより、対応ブロックの位置が特定される。また探索領域ＲＳは、例えばｙ方向の高さをブロックＢ１Ｌの高さの２倍程度とし、ｘ方向の幅を距離が小さい位置から、距離検出可能領域の最遠点（最も距離の大きい点）の位置までを含むように設定される。

次に左画像中で特定された対応パターンと、基準パターンとの対応関係が正しいか否か、すなわちマッチングが成功したか否かを判別するために、ステップＳ１８〜Ｓ２２の処理を実行する。
先ずステップＳ１８では、左画像中の対応パターンのコントラスト値ＣＬを、基準パターンの場合と同様にして、下記式（７）により算出する。

ここで、ＶＬは、基準パターンの分散ＶＲと同様に算出される対応パターンの分散、ＳＬ及びＳＢＬはそれぞれ対象物像ＯＢＪ１Ｌの面積及びその背景部の面積である。

ステップＳ１９では、ステップＳ１６で算出した基準パターンのコントラスト値ＣＲと、ステップＳ１８で算出した対応パターンのコントラスト値ＣＬとの差ＤＣ（＝ＣＲ−ＣＬ）を算出し、次いでこのコントラスト差ＤＣが負の所定閾値ＤＣＴＨより大きいか否かを判別し（ステップＳ２０）、ＤＣ≦ＤＣＴＨであるときは、マッチング不成功と判定する（ステップＳ２４）。

ここで所定閾値ＤＣＴＨは、マッチングが成功する条件に基づいて設定されるので、マッチングが成功するための条件を次に検討する。

図７に示す例で、右画像中のブロックＢ１Ｒに対応するブロックとして、正しいブロックＢ１Ｌが特定されたときの相関値ＥＲＲＯＫは、下記式（８）で与えられる一方、誤ってブロックＢ１Ｌａ（背景部のみのブロック）を対応ブロックとして特定したときの相関値ＥＲＲＮＧは、下記式（９）で与えられる。ここでは、背景の輝度値ＩＢは、左右の画像で同一とし、かつ対象物像の輝度値ＩＲ，ＩＬより小さい（ＩＢ＜ＩＲかつＩＢ＜ＩＬ）ことを前提としている。

したがって、マッチングが成功するためには、正しいブロックＢ１Ｌを特定したときの相関値ＥＲＲＯＫと、誤ったブロックＢ１Ｌａを特定したときの相関値ＥＲＲＮＧとの差ΔＥＲＲ（＝ＥＲＲＮＧ−ＥＲＲＯＫ）が「０」より大きいことが条件となる。すなわち、マッチング成功条件は下記式（１０）で与えられる。

式（１０）は、対象物像の輝度値ＩＲ，ＩＬの大小関係により、以下のケース１）とケース２）に分けられる。
ケース１） ＩＲ＞ＩＬであるとき、マッチング成功条件は下記式（１０ａ）で与えられ、ＩＬ＞ＩＢであることを前提とすれば、式（１０ａ）は常に成立する。

ケース２） ＩＲ＜ＩＬであるとき、マッチング成功条件は下記式（１０ｂ）で与えられ、これを変形すると下記式（１１）が得られ、式（１１）の両辺の対数をとってβ倍すると、下記式（１２）のようになる。この式の左辺はコントラスト差ＤＣに等しい。すなわち、図３のステップＳ２０における所定閾値ＤＣＴＨ＝−β×Ｌｏｇ２とすればよい。式１１から明らかなように、基準パターンにおける対象物像の輝度値ＩＲと背景部の輝度値ＩＢとの差（＝ＩＲ−ＩＢ）が、対応パターンにおける対象物像の輝度値ＩＬと背景部の輝度値ＩＢとの差（＝ＩＬ−ＩＢ）の１／２より大きいことが、マッチング成功条件となる。

ステップＳ２０でＤＣ＞ＤＣＴＨであるときは、コントラスト差ＤＣに対応する相関値成分、すなわち基準パターンと対応パターンにコントラスト差ＤＣがあることによって発生する相関値成分ＥＲＲＤＣを算出する（ステップＳ２１）。

一般に相関値ＥＲＲは、対象物像の形状の違いに起因する形状成分ＥＲＲＦＩＧと、カメラの特性差による輝度値の差（コントラスト差）に起因するコントラスト差成分ＥＲＲＤＣとの和として、下記式（１３）のように表すことができる。
ＥＲＲ＝ＥＲＲＦＩＧ＋ＥＲＲＤＣ （１３）
ここでマッチングに成功した場合には、ＥＲＲＦＩＧ＝０となるので、その場合の相関値ＥＲＲが、コントラスト差成分ＥＲＲＤＣとなる。
すなわち、上記ケース１）では、式（８）が下記式（１４）のように変形でき、またコントラスト差ＤＣは、下記式（１５）で与えられるので、この式（１５）から下記式（１６）が得られ、この式（１６）を式（１４）に適用して、式（１７）が得られる。

また上記ケース２）では、式（８）が下記式（１８）のように変形でき、これに式（１６）を適用して式（１９）が得られる。

ステップＳ２２では、相関値ＥＲＲからコントラスト差成分ＥＲＲＤＣを減算した値（＝形状成分ＥＲＲＦＩＧ）が、所定閾値γより小さいか否かを判別し、ＥＲＲ−ＥＲＲＤＣ＜γであるときは、マッチング成功と判定し（ステップＳ２３）、ＥＲＲ−ＥＲＲＤＣ≧γであるときは、マッチング不成功と判定する（ステップＳ２４）。

図９（ａ）は、コントラスト差ＤＣと、相関値ＥＲＲとの関係を示す図であり、コントラスト差ＤＣの絶対値が増加するほど、相関値ＥＲＲのコントラスト差成分ＥＲＲＤＣが増加するので、相関値ＥＲＲが増加する。図中に示した実線Ｌ１、破線Ｌ２、一点鎖線Ｌ３及び二点鎖線Ｌ４は、形状の異なる対象物についての実測結果を示すものである。この場合には、一定の閾値（例えば図中に示したγａより小さいという条件を用いてマッチングの成功を判定すると、コントラスト差ＤＣが大きい場合には、実際に成功していても不成功と判定されることとなる。

これに対し同図（ｂ）は、同図（ａ）に示す相関値ＥＲＲからコントラスト差成分ＥＲＲＤＣを減算して得られる形状成分ＥＲＲＦＩＧと、コントラスト差ＤＣとの関係を示しており（図中の各線Ｌ１ａ，Ｌ２ａ，Ｌ３ａ及びＬ４ａは、それぞれ同図（ａ）のＬ１〜Ｌ４の対応している）、形状成分ＥＲＲＦＩＧは、コントラスト差ＤＣに拘わらずほぼ一定となる。したがって、所定閾値γを図示のように設定すれば、すべての対象物についてマッチングの成功を正しく判定することができる。

画像処理ユニット２は、上述した画像認識処理の終了後、マッチング成功のときは、右画像中の基準パターンに含まれる対象物像と、左画像中の対応パターンに含まれる対象物像から視差を算出し、その対象物までの距離を算出する処理などを実行する。そして、対象物までの距離と、対象物の他の位置情報（自車両１０の進行方向に対して垂直な水平方向及び高さ方向の座標）とに基づいて、その対象物と自車両１０との衝突の可能性を判定し、衝突の可能性が高いときは、スピーカ３及びＨＵＤ４を介して運転者への警報を発する処理を実行する。

以上のように本実施形態では、基準パターンのコントラスト値ＣＲと、ＳＡＤ法により抽出した対応パターンのコントラスト値ＣＬとの差に対応する相関値成分であるコントラスト差成分ＥＲＲＤＣを算出し、対応パターンの抽出時に算出した相関値ＥＲＲ（最小値）からコントラスト差成分ＥＲＲＤＣを差し引いて、マッチングが成功したか否か、換言すれば基準パターン及び対応パターンに含まれる対象物像の同一性を判定するようにしたので、２つのカメラ１Ｒ、１Ｌの特性差がある場合（出力画像にコントラスト差がある場合）でも、比較的簡単なハード構成でかつ少ない演算量で、２つのカメラにより得られる画像中の対象物像の同一性判定を正確に行うことができる。

また、右画像及び左画像の全体のコントラスト値ＣＴＲ、ＣＴＬを算出し、そのコントラスト値の大きい方の画像を基準画像とすることにより、マッチングを確実に行うことができる。これは、マッチングの成功条件の検討のところで説明したように、基準パターンのコントラスト値ＣＲが、対応パターンのコントラスト値ＣＬより大きい場合には、２つの画像のコントラスト差に起因するマッチングの失敗は発生しないからである。

ただし、図１０に示すように１つの画像中に形状の類似した複数の対象物が存在する場合には、右画像（基準画像）中の対象物像ＯＢＪ１Ｒ，ＯＢＪ２Ｒの平均輝度値をそれぞれＩ１Ｒ，Ｉ２Ｒとし、左画像中の対象物像ＯＢＪ１Ｌ，ＯＢＪ２Ｌの平均輝度値をそれぞれＩ１Ｌ，Ｉ２Ｌとし、全体コントラスト値の高い画像を基準画像とすると、
Ｉ１Ｒ＞Ｉ１Ｌ及びＩ２Ｒ＞Ｉ２Ｌ
という関係が成立している。この場合には、
｜Ｉ２Ｒ−Ｉ１Ｌ｜＜Ｉ２Ｒ−Ｉ２Ｌ （２０）
が成立するときのみ、マッチングが失敗する。式（２０）が成立するときは、対象物像ＯＢＪ２Ｒを含む基準パターンと、対象物像ＯＢＪ１Ｌを含む対応パターンとの相関値（間違った対応関係の相関値）ＥＲＲＭが、対象物像ＯＢＪ２Ｒを含む基準パターンと、対象物像ＯＢＪ２Ｌを含む対応パターンとの相関値（正しい対応関係の相関値）ＥＲＲＳより小さくなって、ミスマッチングが発生する。

このような場合には、図１０に示すように対象物像ＯＢＪ１Ｒ及びＯＢＪ２Ｒを囲むクラスタリングブロックＢ１Ｒを設定し、このブロックＢ１Ｒで囲まれた領域のグレースケール画像を基準パターンとして、左画像中の対応パターンを探索することが望ましい。これにより、対象物像ＯＢＪ１Ｒ及びＯＢＪ２Ｒに対応する２つの対象物が実空間内で近接して存在する場合にはマッチングが成功し、２つの画像中の対応関係を誤って認識することを防止することができる。

本実施形態では、赤外線カメラ１Ｒ、１Ｌが撮像手段に相当し、画像処理ユニット２が画像認識装置を構成する。具体的には、図３のステップＳ１４がコントラスト値算出手段、基準画像決定手段、及び比較画像決定手段に相当し、ステップＳ１７が相関性パラメータ値算出手段及び対応パターン抽出手段に相当する。

なお本発明は上述した実施形態に限るものではなく、種々の変形が可能である。例えば、上述した実施形態では、対象物像の輝度値が背景部の輝度値より高い場合を例にとって説明したが、逆に対象物像の輝度値が背景部の輝度値より低い（ＩＢ＞ＩＲかつＩＢ＞ＩＬである場合）ことを前提とした場合にも同様の手法により、マッチングが成功したか否かを判定することができる。ただし、その場合には、上述したマッチング成功の判定条件は、以下のようになる。

ケース１）ＩＲ＞ＩＬであるとき、前記式（１０）は、下記式（１０ｃ）のようになり、これを変形すると下記式（１１ａ）が得られ、式（１１ａ）の両辺の対数をとってβ倍すると、下記式（１２ａ）が得られる。これがマッチング成功の条件となる。

ケース２）ＩＲ＜ＩＬであるとき、成功条件は下記式（１０ｄ）で与えられ、ＩＬ＜ＩＢであることを前提としているので、式（１０ｄ）は常に成立する。

また撮像手段として赤外線カメラを用いたが、通常の可視光線のみ検出可能なテレビカメラなどを使用してもよい。また、２つの撮像手段は、離間して配置されていればよく、図２に示した配置に限定されるものではない。

本発明の一実施形態にかかる画像認識装置を含む周辺監視装置の構成を示すブロック図である。 図１に示すカメラの取り付け位置を説明するための図である。 図１の画像処理ユニットにおける画像認識処理の手順を示すフローチャートである。 赤外線カメラにより得られるグレースケール画像を説明するために、中間階調部にハッチングを付して示す図である。 グレースケール画像を２値化した画像を説明するために、黒の領域をハッチングを付して示す図である。 画像全体のコントラスト値の算出手法を説明するための図である。 ２つの画像に含まれる対象物像のマッチングが成功する場合と、失敗する場合を説明するための図である。 基準パターンに対応する対応パターンを探索する手法を説明するための図である。 コントラスト差（ＤＣ）と、相関値（ＥＲＲ）との関係を示す図である。 複数の類似する対象物が存在する場合の問題点を説明するための図である。

符号の説明

１Ｒ、１Ｌ 赤外線カメラ（撮像手段）
２ 画像処理ユニット（コントラスト値算出手段、基準画像決定手段、比較画像決定手段、相関性パラメータ値算出手段、対応パターン抽出手段）

Claims (1)

1. ２つの撮像手段よって得られる２つの画像から対象物を検出する画像認識装置において、
   前記２つの画像全体のコントラスト値を算出するコントラスト値算出手段と、
   前記コントラスト値算出手段にて算出したコントラスト値の大きい方の画像を基準画像とする基準画像決定手段と、
   前記基準画像としなかった方の画像を比較画像として決定する比較画像決定手段と、
   前記基準画像中の対象物像を含む基準パターンの輝度値と、前記比較画像中の、前記基準パターンと同一形状のパターンの輝度値とを用いて、２つのパターンの相関性を示す相関性パラメータ値を算出する相関性パラメータ値算出手段と、
   前記相関性パラメータ値算出手段による算出の結果を基に、相関性が最も高いパターンを、前記基準パターンに対応する対応パターンとして抽出する対応パターン抽出手段とを備えることを特徴とする画像認識装置。

Images