JP2016009429A - 車外環境認識装置 - Google Patents

Abstract

【課題】道路面に反射した光帯を適切に特殊像として特定することで、特定物の特定精度を向上する。【解決手段】車外環境認識装置は、基準画像と比較画像とを取得する画像取得部と、パターンマッチングにより、比較画像の所定の範囲から、基準画像における任意の基準ブロックと相関のある比較ブロックを抽出し、視差情報を生成する画像処理部と、視差情報を用いて基準画像内における対象部位の３次元位置を導出する３次元位置導出部と、３次元位置の差分が所定範囲内にある対象部位同士をグループ化して対象像とするグループ化部と、基準画像内において、任意の対象像の垂直上方に光源を示す対象像があり、任意の対象像および光源を起点として、水平所定方向に想定ミスマッチ距離分シフトした位置に、任意の対象像および光源と相関のある対象像および光源が存在する場合、任意の対象像を特殊像と判定する特殊像判定部と、を備える。【選択図】図９

Description

本発明は、自車両の周囲に存在する特定物を特定する車外環境認識装置に関する。

従来、自車両の前方に位置する車両等の特定物を特定し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている。このような自車両の前方監視技術により、先行車両や歩行者などの特定物との接触事故の回避や軽減にも効果が期待されている。

特定物の特定技術としては、例えば、ステレオ画像処理によって生成された距離画像を用い、３次元位置が互いに隣接する画像ブロック同士をグループ化し、グループ化した画像ブロック群の水平および垂直の最外端を囲った矩形状の領域を制御対象となり得る対象像（対象物の像）として特定する技術が公開されている（例えば、特許文献１）。

特開２０１３−２０３３３７号公報

自車両前方に位置する車両や人は、例えば、光軸を異にして車内に配された２つの撮像装置で撮像された２つの画像を用い、パターンマッチングによって３次元的な位置（３次元位置）が特定され、衝突回避制御やクルーズコントロールに用いられる。しかし、例えば、降雨の影響で道路面が濡れていると、道路上に配された信号機や街灯等の光源の光を反射し、画面垂直方向に延伸する帯を成す光帯が生じることがある。そうすると、このような、本来、自車両前方に立体物としては実在しない光帯が、上述した衝突回避制御やクルーズコントロールの制御対象となるおそれが生じる。

ただし、光帯は、道路面に反射している像であるため、その３次元位置を求めようとすると、道路面より鉛直下方に存在することとなる。そこで、道路面より鉛直下方に位置する対象像（ここでは光帯）を、特定物としては実在しない特殊像とし、衝突回避制御やクルーズコントロールの制御対象から除外することが考えられる。

しかし、上記のような道路面が濡れている状況において、さらに、信号機等、発光態様の等しい複数の光源が存在する場合、道路面に反射する光帯も同様のカラー値や大きさで出現する場合がある。このとき、２つの撮像装置から取得した２つの画像について、同一の光帯同士がマッチングすれば問題ないが、異なる光帯同士がミスマッチングしてしまい、光帯が、本来の光帯の位置より自車両手前側に位置すると誤認識される場合がある。その場合、遠近法の関係から光帯が道路面より鉛直下方に位置しないと判断されることがあり、上記のように、特殊像として衝突回避制御やクルーズコントロールの制御対象から除外することができなくなる。

本発明は、このような課題に鑑み、道路面に反射した光帯を適切に特殊像として特定することで、特定物の特定精度を向上することが可能な車外環境認識装置を提供することを目的としている。

上記課題を解決するために、本発明の車外環境認識装置は、位置を異にする２つの撮像装置により撮像された基準画像と、比較画像とを取得する画像取得部と、パターンマッチングにより、比較画像の所定の範囲から、基準画像における任意の基準ブロックと相関のある比較ブロックを抽出し、基準ブロックの視差情報を生成する画像処理部と、視差情報を用いて基準画像内における対象部位の３次元位置を導出する３次元位置導出部と、３次元位置の差分が所定範囲内にある対象部位同士をグループ化して対象像とするグループ化部と、基準画像内において、任意の対象像の垂直上方に光源を示す対象像があり、任意の対象像および光源を起点として、水平所定方向に、任意の対象像の視差情報と想定視差との差分である想定ミスマッチ距離分シフトした位置に、任意の対象像および光源と相関のある対象像および光源が存在する場合、任意の対象像を特殊像と判定する特殊像判定部と、を備えることを特徴とする。

特殊像判定部は、さらに、対象像における、エッジの延伸方向に垂直なエッジ方向が水平方向とみなされる所定の方向範囲に含まれる割合が所定の閾値以上であれば、対象像を特殊像と判定してもよい。

特殊像判定部は、さらに、車外環境が、道路面が光源を反射する環境であれば、対象像を特殊像と判定してもよい。

特殊像判定部は、さらに、対象像自体に光源を含んでいなければ、対象像を特殊像と判定してもよい。

上記課題を解決するために、本発明の他の車外環境認識装置は、位置を異にする２つの撮像装置により撮像された基準画像と、比較画像とを取得する画像取得部と、パターンマッチングにより、比較画像の所定の範囲から、基準画像における任意の基準ブロックと相関のある比較ブロックを抽出し、視差情報を生成する画像処理部と、視差情報を用いて基準画像内における対象部位の３次元位置を導出する３次元位置導出部と、３次元位置の差分が所定範囲内にある対象部位同士をグループ化して対象像とするグループ化部と、基準画像内において、任意の対象像を起点として、水平所定方向に、任意の対象像の視差情報と想定視差との差分である想定ミスマッチ距離分シフトした位置に、任意の対象像と相関のある対象像が存在する場合、任意の対象像を特殊像と判定する特殊像判定部と、を備えることを特徴とする。

グループ化部がグループ化した１または複数の対象像のうち、特殊像判定部が特殊像であると判定した対象像を除外し、残った対象像から特定物を特定する特定物特定部をさらに備えてもよい。

本発明によれば、道路面に反射した光帯を適切に特殊像として特定することで、特定物の特定精度を向上することが可能となる。

環境認識システムの接続関係を示したブロック図である。 車外環境認識装置の概略的な機能を示した機能ブロック図である。 車外環境認識処理の流れを示すフローチャートである。 パターンマッチングの一例を説明するための説明図である。 特殊像の判定を説明するための説明図である。 パターンマッチングの他の例を説明するための説明図である。 特殊像の判定を説明するための説明図である。 カラー画像と距離画像を説明するための説明図である。 特殊像判定処理の流れを示すフローチャートである。 エッジ方向判定処理を説明するための説明図である。 光源位置判定処理、光源ミスマッチ判定処理、対象像ミスマッチ判定処理を説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方に相当する環境を撮像し、カラー値によるカラー画像、または、輝度（Ｙ）による輝度画像（モノクロ画像）を生成することができる。ここで、カラー値は、１つの輝度（Ｙ）と２つの色差（Ｕ、Ｖ）からなるＹＵＶ形式の色空間、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなるＲＧＢ形式の色空間、または、色相（Ｈ）、彩度（Ｓ）、明度（Ｂ）からなるＨＳＢ形式の色空間のいずれかで表される数値群である。本実施形態では、カラー画像を用いた例を説明するが、少なくとも輝度（Ｙ）を有していれば足りるので、輝度画像を用いることもできる。

また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する対象物を撮像したカラー画像を、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、認識する対象物や、対象物に対応付けて特定する特定物は、車両、歩行者、自転車、信号機、道路、ガードレール、建物といった立体的に独立して存在する物のみならず、テールランプやウィンカー、信号機の各点灯部分等、特定物の一部として特定できる物も含む。本実施形態の目的の一つは、カラー画像に含まれる対象像（対象物の像）を特定物として特定することにある。以下の実施形態における各機能部は、このようなカラー画像の取得（更新）を契機としてフレーム毎に各処理を遂行する。

車外環境認識装置１２０は、２つの撮像装置１１０それぞれからカラー画像を取得し、所謂パターンマッチングを用いて視差を導き出し、導出された視差情報（後述する相対距離に相当）をカラー画像に対応付けて距離画像を生成する。カラー画像および距離画像については後ほど詳述する。また、車外環境認識装置１２０は、カラー画像に基づくカラー値、および、距離画像に基づく自車両１との相対距離ｚを用いて、自車両１前方の検出領域における対象像を、制御対象となる特定物、もしくは、特定物としては実在しない特殊像として特定する。かかる特殊像については後程詳述する。

また、車外環境認識装置１２０は、特定物を特定すると、その特定物（例えば、先行車両）を追跡しつつ、特定物の相対速度等を導出し、特定物と自車両１とが衝突する可能性が高いか否かの判定を行う。ここで、衝突の可能性が高いと判定した場合、車外環境認識装置１２０は、その旨、運転者の前方に設置されたディスプレイ１２２を通じて運転者に警告表示（報知）を行うとともに、車両制御装置１３０に対して、その旨を示す情報を出力する。

車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転者の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、駆動機構１４４、制動機構１４６を制御する。

以下、車外環境認識装置１２０の構成について詳述する。ここでは、本実施形態に特徴的な、対象像を特殊像として特定する手順について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。

（車外環境認識装置１２０）
図２は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１６０と、データ保持部１６２と、中央制御部１６４とを含んで構成される。

Ｉ／Ｆ部１６０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１６２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信したカラー画像を一時的に保持する。

中央制御部１６４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１６６を通じて、Ｉ／Ｆ部１６０、データ保持部１６２等を制御する。また、本実施形態において、中央制御部１６４は、画像取得部１７０、画像処理部１７２、３次元位置導出部１７４、グループ化部１７６、特殊像判定部１７８、特定物特定部１８０としても機能する。

（車外環境認識処理）
図３は、車外環境認識処理の流れを示すフローチャートである。車外環境認識処理では、画像取得部１７０が、撮像装置１１０から画像を取得し（Ｓ２００）、画像処理部１７２が、取得した画像を処理し（Ｓ２０２）、３次元位置導出部１７４が、画像から３次元位置を導出し（Ｓ２０４）、グループ化部１７６が、３次元位置に基づいてグループ化された対象像を生成し（Ｓ２０６）、特殊像判定部１７８が、グループ化された対象像が特殊像であるか否か判定し（Ｓ２０８）、特定物特定部１８０が特定物を特定する（Ｓ２１０）。以下、個々の処理を詳述する。

（画像取得処理Ｓ２００）
画像取得部１７０は、２つの撮像装置１１０により撮像された２つのカラー画像を取得する。ここでは、２つのカラー画像のうち、後述するパターンマッチングの基準となる、自車両１前方に向かって右側に位置する撮像装置１１０から取得した一方のカラー画像を基準画像とし、このような基準画像と比較する、自車両１前方に向かって左側に位置する撮像装置１１０から取得した他方のカラー画像を比較画像とする。

（画像処理Ｓ２０２）
画像処理部１７２は、まず、基準画像から任意に抽出した基準ブロック（例えば水平４画素×垂直４画素の配列）を抽出する。そして、画像処理部１７２は、所謂パターンマッチングを用いて、比較画像の所定の範囲から、任意の基準ブロックと相関のある比較ブロックを抽出し、任意の基準ブロックと比較ブロックとの画像に対する位置関係から基準ブロックの視差情報（視差）を生成する。ここで、「水平」は画面横方向を示し、「垂直」は画面縦方向を示し、所定の範囲は、水平方向に視差が生じうる範囲、例えば、水平１２８画素×垂直４画素を示す。

このパターンマッチングとしては、２つのカラー画像間において、任意の画像位置を示すブロック単位で輝度（Ｙ色差信号）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理部１７２は、このようなブロック単位の視差導出処理を検出領域（例えば水平６００画素×垂直１８０画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを水平４画素×垂直４画素としているが、ブロック内の画素数は任意に設定することができる。以下、かかる視差情報を導出する単位となるブロックを視差ブロックと称する。

図４は、パターンマッチングの一例を説明するための説明図である。ここでは、画像取得部１７０が、図４（ａ）に示す基準画像２１２ａと、図４（ｂ）に示す比較画像２１２ｂを取得したとする。かかる基準画像２１２ａでは、降雨の影響で道路面が濡れており、道路上に配された任意の２つの信号機の光源（青信号）２１４ａ、２１６ａの光を道路面で反射し、それぞれの光源２１４ａ、２１６ａに対し、画面垂直方向に延伸する帯を成す光帯２１８ａ、２２０ａが生じているとする。このような光帯２１８ａ、２２０ａは、車外環境の輝度が低いとき（例えば夜間）に顕著に出現する。また、同様に、比較画像２１２ｂでは、同一の２つの信号機の光源２１４ｂ、２１６ｂの光を道路面で反射し、それぞれの光源２１４ｂ、２１６ｂに対し、画面垂直方向に帯を成す光帯２１８ｂ、２２０ｂが生じているとする。

画像処理部１７２は、基準画像２１２ａから、例えば、光帯２１８ａの一部の視差ブロックである基準ブロックを抽出し、比較画像２１２ｂの所定の範囲から、その基準ブロックと相関のある視差ブロックである比較ブロックを探索する。そうすると、図４（ｂ）中、矢印で示した視差（後述する想定視差）分離隔した位置に、同一の光帯２１８ｂの一部であり、基準画像２１２ａの基準ブロックと垂直位置を等しくする比較ブロックが抽出される。また、同様にして、画像処理部１７２は、基準画像２１２ａから、光帯２２０ａの一部の基準ブロックを抽出し、比較画像２１２ｂの所定の範囲から、その基準ブロックと相関のある比較ブロックを探索する。そうすると、図４（ｂ）中、矢印で示した視差分離隔した位置に、同一の光帯２２０ｂの一部であり、基準画像２１２ａの基準ブロックと垂直位置を等しくする比較ブロックが抽出される。

こうして、画像処理部１７２は、相関のある基準画像２１２ａの光帯２１８ａと比較画像２１２ｂの光帯２１８ｂとの視差情報を生成し、後述するグループ化部１７６によって、図４（ｃ）の基準画像２１２ａに示す対象像２３０が特定される。また、同様に、画像処理部１７２は、相関のある基準画像２１２ａの光帯２２０ａと比較画像２１２ｂの光帯２２０ｂとの視差情報を生成し、後述するグループ化部１７６によって、図４（ｃ）の基準画像２１２ａに示す対象像２３２が特定される。

しかし、このような光帯の対象像２３０、２３２は、本来、特定物としては実在しない特殊像であり、このような特殊像を特定物として衝突回避制御やクルーズコントロールの制御対象としてしまうと、車両走行の安定性に影響を及ぼすおそれがある。そこで、後述する特殊像判定部１７８では、光帯２１８ａ、２１８ｂ、２２０ａ、２２０ｂによる対象像２３０、２３２を特殊像とし、衝突回避制御やクルーズコントロールの制御対象から除外する。

図５は、特殊像の判定を説明するための説明図である。図５では、光源２１４ａや光帯２１８ａの対象像２３０の自車両１に対する相対距離および高さの位置関係を表している。光帯２１８ａの対象像２３０は、光源２１４ａの光を道路面で反射したものなので、図５に太線で示すように、光源２１４ａから延伸するように出現する。ただし、実際に存在する対象物（対象像）は、必ず道路面より鉛直上方に位置するのに対し、当該光帯２１８ａの対象像２３０は、仮に実在するとしたら、道路面より鉛直下方に位置すると認識される。

そこで、後述する特殊像判定部１７８は、対象像２３０が道路面より鉛直下方に位置する場合、その対象像２３０を特殊像と判定し、衝突回避制御やクルーズコントロールの制御対象から除外する。

図６は、パターンマッチングの他の例を説明するための説明図である。上記のように、相関のある基準画像２１２ａの光帯２１８ａと比較画像２１２ｂの光帯２１８ｂとによって対象像２３０が特定され、相関のある基準画像２１２ａの光帯２２０ａと比較画像２１２ｂの光帯２２０ｂとによって対象像２３２が特定されれば、いずれの対象像２３０、２３２も道路面より鉛直下方に存在すると判定され、最終的に衝突回避制御やクルーズコントロールの制御対象から除外される。しかし、道路面が濡れている状況において、図６（ａ）に示すように、信号機等、発光態様の等しい複数の光源２１４ａ、２１６ａが存在する場合、道路面に反射する光帯２１８ａ、２１８ｂ、２２０ａ、２２０ｂも同様のカラー値や大きさで出現する場合がある。

このとき、２つの撮像装置１１０から取得した基準画像２１２ａおよび比較画像２１２ｂについて、図４を用いて説明したように、同一の光帯２１８ａ、２１８ｂ同士や光帯２２０ａ、２２０ｂ同士がマッチングすれば問題ないが、異なる光帯同士、例えば、基準画像２１２ａの光帯２１８ａと比較画像２１２ｂの光帯２２０ｂとがミスマッチングする場合がある。そうすると、図６（ａ）、図６（ｂ）に示すように、本来の視差（基準画像２１２ａの光帯２１８ａと比較画像２１２ｂの光帯２１８ｂとの視差）である想定視差に、ミスマッチング分の想定ミスマッチ距離（比較画像２１２ｂの光帯２１８ｂと比較画像２１２ｂの光帯２２０ｂとの距離）が加わって視差情報が導出されてしまう。そして、図６（ｃ）に示すように、光帯２１８ａの対象像２３４が、本来の光帯２１８ａの対象像２３０の位置より自車両１から見て手前側に位置すると誤認識される場合がある。

図７は、特殊像の判定を説明するための説明図である。図７では、光源２１４ａや光帯２１８ａの対象像２３４の自車両１に対する相対距離および高さの位置関係を表している。光帯２１８ａの対象像２３４は、本来、光源２１４ａの光を道路面で反射したものなので、視差情報は想定視差となり、図７に太線の破線で示すように、光源２１４ａから延伸するように出現するはずである。しかし、図６を用いて説明したように、基準画像２１２ａの光帯２１８ａと比較画像２１２ｂの光帯２２０ｂとがミスマッチングしてしまうと、視差情報が、想定視差より想定ミスマッチ距離分大きくなり、光帯２１８ａの対象像２３４が、本来の光帯２１８ａの対象像２３０の位置より自車両１から見て手前側に位置すると誤認識され、図７に太線の実線で示すように、遠近法の関係から、道路面より鉛直上方に位置すると認識される場合がある。その場合、対象像２３４（光帯）が道路面より鉛直下方に位置しないと判断されてしまい、上記のように、特殊像として衝突回避制御やクルーズコントロールの制御対象から除外することができなくなる。

そこで、本実施形態では、画像処理部１７２は、ミスマッチングの有無に拘わらず、パターンマッチングによって一旦視差情報を導出し、後述する距離画像を生成する。そして、後述するグループ化部１７６によって一旦グループ化された対象像２３４を他の条件で判定することで、その対象像２３４を特殊像として特定し、衝突回避制御やクルーズコントロールの制御対象から除外する。こうして、ミスマッチングによる光帯２１８ａの対象像２３４の特定物化を回避して、特定物の特定精度を向上することが可能となる。

図８は、カラー画像２１２と距離画像２４０を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域２４２について２つのカラー画像２１２が生成されたとする。ただし、ここでは、説明の便宜上、右側に位置する撮像装置１１０から取得されたカラー画像（基準画像２１２ａ）のみを示している。本実施形態において、画像処理部１７２は、このようなカラー画像２１２（基準画像２１２ａと比較画像２１２ｂ）からブロック毎の視差を求め、図８（ｂ）のような距離画像２４０を形成する。距離画像２４０における各視差ブロックには、その視差ブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出された視差ブロックを黒のドットで表している。

（３次元位置導出処理Ｓ２０４）
図３に戻って説明すると、３次元位置導出部１７４は、画像処理部１７２で生成された距離画像２４０に基づいて検出領域２４２内の視差ブロック毎の視差情報を、所謂ステレオ法を用いて、水平距離ｘ、高さｙおよび相対距離ｚを含む実空間における３次元位置に変換する。ここで、ステレオ法は、三角測量法を用いることで、対象部位（画素または複数の画素からなるブロック）の距離画像２４０における視差からその対象部位の撮像装置１１０に対する相対距離ｚを導出する方法である。このとき、３次元位置導出部１７４は、対象部位の相対距離ｚを求め、対象部位と同相対距離ｚにある道路表面上の点と対象部位との距離画像２４０上の検出距離とに基づいて、対象部位の道路表面からの高さｙを導出する。そして、導出された３次元位置を改めて距離画像２４０に対応付ける。かかる相対距離ｚの導出処理や３次元位置の特定処理は、様々な公知技術を適用できるので、ここでは、その説明を省略する。

（グループ化処理Ｓ２０６）
グループ化部１７６は、３次元位置の差分が所定範囲内にある対象部位同士をグループ化して対象像とする。具体的に、グループ化部１７６は、距離画像２４０における、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた範囲（例えば０．１ｍ）内にある対象部位同士を、同一の特定物に対応すると仮定してグループ化する。こうして、仮想的な対象部位群である対象像が生成される。上記の範囲は実空間上の距離で表され、製造者や搭乗者によって任意の値に設定することができる。また、グループ化部１７６は、グループ化により新たに追加された対象部位に関しても、その対象部位を基点として、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が所定範囲内にある対象部位をさらにグループ化する。結果的に、同一の特定物と仮定可能な対象部位全てがグループ化されることとなる。ここでは、図６（ｃ）に示すような、基準画像２１２ａの光帯２１８ａと比較画像２１２ｂの光帯２２０ｂとがミスマッチングした光帯２１８ａの対象像２３４が生成されたとする。

また、ここでは、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分をそれぞれ独立して判定し、全てが所定範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の二乗平均√（（水平距離ｘの差分）^２＋（高さｙの差分）^２＋（相対距離ｚの差分）^２）が所定範囲に含まれる場合に同一のグループとしてもよい。かかる計算により、対象部位同士の実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。

（特殊像判定処理Ｓ２０８）
図９は、特殊像判定処理Ｓ２０８の流れを示すフローチャートである。特殊像判定部１７８は、対象像のうち、所定の条件を満たす対象像を特殊像と判定する。具体的に、道路面下判定処理（Ｓ２０８−１）の条件を満たすか、もしくは、道路面状態判定処理（Ｓ２０８−２）、光源有無判定処理（Ｓ２０８−３）、エッジ方向判定処理（Ｓ２０８−４）、光源位置判定処理（Ｓ２０８−５）、光源ミスマッチ判定処理（Ｓ２０８−６）、対象像ミスマッチ判定処理（Ｓ２０８−７）の全ての条件を満たせば、対象像を特殊像と判定する（Ｓ２０８−８）。そして、特殊像判定部１７８は、グループ化部１７６がグループ化した全ての対象像に対してステップＳ２０８−１〜ステップＳ２０８−７までの処理が完了しているか否か判定し（Ｓ２０８−９）、完了していなければ（Ｓ２０８−９におけるＮＯ）、次の対象像を準備して（Ｓ２０８−１０）、道路面下判定処理（Ｓ２０８−１）からの処理を繰り返す。また、完了していれば（Ｓ２０８−９におけるＹＥＳ）、当該特殊像判定処理Ｓ２０８を終了する。

ここでは、道路面下判定処理（Ｓ２０８−１）の条件の他、道路面状態判定処理（Ｓ２０８−２）、光源有無判定処理（Ｓ２０８−３）、エッジ方向判定処理（Ｓ２０８−４）、光源位置判定処理（Ｓ２０８−５）、光源ミスマッチ判定処理（Ｓ２０８−６）、対象像ミスマッチ判定処理（Ｓ２０８−７）の６つの条件を全て満たした場合に対象像を特殊像と判定する例を挙げて説明するが、これらから選択された１または複数の条件を満たした場合や、かかる条件に加え他の条件を満たした場合に対象像を特殊像と判定するとしてもよい。以下、道路面下判定処理（Ｓ２０８−１）、道路面状態判定処理（Ｓ２０８−２）、光源有無判定処理（Ｓ２０８−３）、エッジ方向判定処理（Ｓ２０８−４）、光源位置判定処理（Ｓ２０８−５）、光源ミスマッチ判定処理（Ｓ２０８−６）、対象像ミスマッチ判定処理（Ｓ２０８−７）の７つの条件をその順に説明する。

（道路面下判定処理Ｓ２０８−１）
特殊像判定部１７８は、まず、対象像の３次元位置を取得し、対象像が道路面より鉛直下方に位置するか否か判定する。その結果、道路面より鉛直下方に位置する場合、対象像を特殊像と判定し（Ｓ２０８−８）、道路面より鉛直上方に位置する場合、道路面状態判定処理Ｓ２０８−２に処理を移す。

（道路面状態判定処理Ｓ２０８−２）
そして、特殊像判定部１７８は、車外環境が、道路面が光源を反射する環境であるか否か判定する。その結果、道路面が光源を反射する環境であれば、光源有無判定処理Ｓ２０８−３に処理を移し、道路面が光源を反射する環境でなければ、完了判定処理Ｓ２０８−９に処理を移す。かかる判定は、降雨センサによる降雨状態や、車外環境認識装置１２０による道路面のカラー値等、既存の様々な技術を用いることで可能となる。

（光源有無判定処理Ｓ２０８−３）
続いて、特殊像判定部１７８は、対象像自体に光源が含まれていないか否か判定する。その結果、対象像自体に光源が含まれていなければ、エッジ方向判定処理Ｓ２０８−４に処理を移し、対象像自体に光源が含まれていれば、完了判定処理Ｓ２０８−９に処理を移す。

（エッジ方向判定処理Ｓ２０８−４）
次に、特殊像判定部１７８は、対象像における、エッジの延伸方向に垂直なエッジ方向が水平方向とみなされる所定の方向範囲に含まれる割合が所定の閾値以上であるか否か判定する。その結果、所定の閾値以上であれば、光源位置判定処理Ｓ２０８−５に処理を移し、所定の閾値未満であれば、完了判定処理Ｓ２０８−９に処理を移す。以下に、かかる処理を詳述する。

図１０は、エッジ方向判定処理Ｓ２０８−４を説明するための説明図である。特殊像判定部１７８は、まず、対象像２３４の全てのブロック（水平２画素×垂直２画素）のエッジ方向を導出する。ここで、エッジ方向は、エッジの延伸方向に垂直な方向を示す。

図１０（ａ）に示すように、対象像２３４の任意のブロック２５０を拡大すると、図１０（ｂ）のような輝度分布となっていたとする。また、輝度の範囲を０〜２５５とし、図１０（ｂ）中、仮に、白色の塗りつぶしを輝度「２００」、黒色の塗りつぶしを輝度「０」とする。ここでは、仮に、ブロック２５０の図１０（ｂ）中、左上画素の輝度をＡ、右上画素の輝度をＢ、左下画素の輝度をＣ、右下画素の輝度をＤとし、エッジ方向の水平方向成分を（Ｂ＋Ｄ）−（Ａ＋Ｃ）、エッジ方向の垂直方向成分を（Ａ＋Ｂ）−（Ｃ＋Ｄ）と定義する。

すると、図１０（ｂ）に示すブロック２５０のエッジ方向の水平方向成分は、（Ｂ＋Ｄ）−（Ａ＋Ｃ）＝（０＋０）−（２００＋２００）＝−４００となり、エッジ方向の垂直方向成分は、（Ａ＋Ｂ）−（Ｃ＋Ｄ）＝（２００＋０）−（２００＋０）＝０となる。したがって、水平方向成分「−４００」、垂直方向成分「０」となり、エッジ方向は、図１０（ｃ）の如く水平方向左向き（負）の矢印で示される。ただし、図１０（ｄ）のように、水平成分は画面右方向を正、垂直成分は画面上方向を正としている。

このように、ブロック内の半分の領域から他の半分の領域を減算する構成により、ブロック内全体に含まれる輝度のオフセットやノイズを取り除くことができ、エッジを適切に抽出することが可能となる。また、加減算のみの単純計算でエッジ方向を導出できるので、計算負荷を軽減できる。

本実施形態では、このようにして導出されたエッジ方向を累積し、その割合を導出することを目的としている。しかし、上記水平方向成分や垂直方向成分を導出した値をそのまま用いて単純にエッジ方向としてしまうと、そのエッジ方向のバリエーションが無限に存在することとなる。そうすると、その無限のバリエーションに対して同一とみなしてよいエッジ方向の範囲を設定しなければならない。

そこで、本実施形態では、水平方向成分および垂直方向成分のいずれも単位長さで定義し、エッジ方向のバリエーションを単純化する。即ち、水平方向成分および垂直方向成分のいずれも−１、０、＋１のいずれかとみなすこととする。そうすると、エッジ方向は、図１０（ｅ）のようにそれぞれ４５度ずつの角度をなす８つの方向に限定することができる。例えば、上述した図１０（ｂ）の例では、エッジ方向は図１０（ｅ）の「６」の方向となる。こうすることで、特殊像判定部１７８の計算負荷を大幅に軽減することが可能となる。ただし、エッジ方向の導出手段は、かかる場合に限らず、エッジの出現態様を判定できる既存の様々な導出手段を適用することができる。

特殊像判定部１７８は、このようなエッジ方向を、対象像２３４の全てのブロックに対して導出し、そのエッジ方向の数を累計する。上述したように、対象像２３４は、光源２１４ａを反射した帯で表され、その方向は垂直方向に近くなる。したがって、光帯２１８ａの水平方向左端のエッジ近傍では、エッジ方向として図１０（ｅ）の「１」〜「３」の方向が導出され易く、また、光帯２１８ａの水平方向右端のエッジ近傍では、エッジ方向として図１０（ｅ）の「５」〜「７」の方向が導出され易い。

そこで、特殊像判定部１７８は、対象像２３４におけるエッジ方向が所定の方向範囲に含まれる割合が所定の閾値以上であれば、例えば、図１０（ｅ）の「１」〜「３」および「５」〜「７」の方向（方向範囲は、時計回りを正として垂直上方から２２．５°〜１５７．５°、−２２．５°〜−１５７．５°）の合計が８０％以上であるか否か判定する。

（光源位置判定処理Ｓ２０８−５）
図１１は、光源位置判定処理Ｓ２０８−５、光源ミスマッチ判定処理Ｓ２０８−６、対象像ミスマッチ判定処理Ｓ２０８−７を説明するための説明図である。図１１（ａ）は、図６（ｃ）に示した基準画像２１２ａを、図１１（ｂ）〜図１１（ｄ）は、それぞれ図１１（ａ）の円で囲んだ部分の拡大図を示す。

続いて、特殊像判定部１７８は、基準画像２１２ａ内において、対象像２３４の垂直上方に光源を示す対象像があるか否か判定する。その結果、図１１（ｂ）に示すように、対象像２３４の垂直上方に光源２１４ａを示す対象像があれば、光源ミスマッチ判定処理Ｓ２０８−６に処理を移し、対象像２３４の垂直上方に光源２１４ａを示す対象像がなければ、完了判定処理Ｓ２０８−９に処理を移す。ここでは、対象像２３４が道路面に反射したものと仮定した場合に、その反射元となる光源２１４ａが存在しているか否か判定している。また、特殊像判定部１７８は、対象像２３４の垂直上方に光源２１４ａを示す対象像があれば、後述する対象像ミスマッチ判定処理Ｓ２０８−７のために対象像２３４と光源２１４ａとの距離を保持する。

（光源ミスマッチ判定処理Ｓ２０８−６）
次に、特殊像判定部１７８は、当該対象像２３４の視差情報を取得し、視差情報から想定視差を減算して想定ミスマッチ距離を導出する。ここで、想定ミスマッチ距離を導出しているのは、図６を用いて説明したように、対象像２３４の視差情報には、ミスマッチング分の視差（想定ミスマッチ距離）のみならず、光帯２１８ａの本来の視差である想定視差を含むからである。したがって、対象像２３４の視差情報から想定視差を減算した想定ミスマッチ距離を用いて、光源ミスマッチ判定処理Ｓ２０８−６、および、後述する対象像ミスマッチ判定処理Ｓ２０８−７を行う。また、想定視差としては、光帯２１８ａの本来の視差であろう値を参照する。例えば、光帯２１８ａの相対距離ｚは光源２１４ａとほぼ等しい。そこで、ここでは、光源２１４ａの視差を想定視差として用いることとする。

光源２１４ａを用いる理由は以下の通りである。道路面が濡れている環境下では、光帯２１８ａは、帯形状を成すものの、その幅は垂直位置に応じて変動し、全く帯を成してない（幅＝０）部分も生じ得る。したがって、本来マッチングすべき光帯のそのような帯を成してない部分を飛び越して、類似する隣の光帯とマッチングするおそれがある。これに対し、光源２１４ａは、輝度もエッジも安定しており、ミスマッチングが生じにくい。したがって、光源２１４ａの視差を想定視差として利用することが可能となる。ただし、想定視差は、光帯２１８ａの本来の視差の推定値であれば足り、光源２１４ａの視差に限らず、確からしい様々な値を参照することができる。

そして、特殊像判定部１７８は、基準画像２１２ａ内において、光源位置判定処理Ｓ２０８−５で特定した対象像２３４の垂直上方の光源２１４ａを起点として、水平所定方向に対象像２３４の想定ミスマッチ距離分シフトした位置に、光源２１４ａと相関のある他の光源２１６ａが存在するか否か判定する。その結果、図１１（ｃ）に示すように、他の光源２１６ａが存在すれば、対象像ミスマッチ判定処理Ｓ２０８−７に処理を移し、他の光源２１６ａが存在しなければ、完了判定処理Ｓ２０８−９に処理を移す。

上述した誤ったパターンマッチング、すなわち、基準画像２１２ａの光帯２１８ａと比較画像２１２ｂの光帯２２０ｂとのミスマッチングは、反射元となる光源２１４ａの水平所定方向に対象像２３４の想定ミスマッチ距離分シフトした位置に、発光態様の等しい光源２１６ａが存在することから生じる。したがって、ここでは、光源２１４ａを起点として、水平所定方向に対象像２３４の想定ミスマッチ距離分シフトした位置に光源２１６ａが存在すれば、ミスマッチングが生じているおそれがあると判定できる。なお、水平所定方向は、例えば、基準画像２１２ａが右側の撮像装置１１０で撮像されたカラー画像であれば、水平右方向であり、基準画像２１２ａが左側の撮像装置１１０で撮像されたカラー画像であれば、水平左方向である。

（対象像ミスマッチ判定処理Ｓ２０８−７）
続いて、特殊像判定部１７８は、光源位置判定処理Ｓ２０８−５において保持した対象像２３４と光源２１４ａとの距離を取得し、基準画像２１２ａ内において、光源ミスマッチ判定処理Ｓ２０８−６で特定した光源２１４ａと相関のある他の光源２１６ａから、垂直下方に対象像２３４と光源２１４ａとの距離分シフトした位置に、対象像２３４と相関のある他の光帯２２０ａが存在するか否か判定する。その結果、図１１（ｄ）に示すように、他の光帯２２０ａが存在すれば、すなわち、道路面状態判定処理（Ｓ２０８−２）、光源有無判定処理（Ｓ２０８−３）、エッジ方向判定処理（Ｓ２０８−４）、光源位置判定処理（Ｓ２０８−５）、光源ミスマッチ判定処理（Ｓ２０８−６）、対象像ミスマッチ判定処理（Ｓ２０８−７）の全ての判定処理で条件を満たせば対象像２３４を特殊像と判定する（Ｓ２０８−８）。また、他の光帯２２０ａが存在しなければ、完了判定処理Ｓ２０８−９に処理を移す。

上述した誤ったパターンマッチング、すなわち、基準画像２１２ａの光帯２１８ａと比較画像２１２ｂの光帯２２０ｂとのミスマッチングは、対象像２３４の水平所定方向に対象像２３４の想定ミスマッチ距離分シフトした位置に、カラー値や大きさの等しい光帯２２０ａが存在することから生じる。したがって、ここでは、光源２１６ａを起点として、垂直下方に対象像２３４と光源２１４ａとの距離分シフトした位置（対象像２３４の水平所定方向に対象像２３４の想定ミスマッチ距離分シフトした位置）に光帯２２０ａが存在すれば、ミスマッチングが生じているおそれがあると判定できる。

かかる特殊像判定処理Ｓ２０８では、比較画像２１２ｂを用いることなく、基準画像２１２ａ中の光源や光帯の位置関係にのみ基づいてミスマッチングの有無を判定するので、処理負荷を大幅に軽減することができる。

また、光源２１４ａや対象像２３４に対する光源２１６ａや光帯２２０ａの探索位置が、対象像２３４の想定ミスマッチ距離分であると予め把握できるので、不要に広範囲を探索することがなく、処理負荷のさらなる軽減を図ることができる。

さらに、ここでは、光源２１４ａと光源２１６ａ、対象像２３４と光帯２２０ａといったように、複数の像を総合的に判定しているので、その相関を高精度で求めることができ、特殊像の特定精度を高めることが可能となる。

（特定物特定処理Ｓ２１０）
特定物特定部１８０は、グループ化部１７６がグループ化した１または複数の対象像のうち、特殊像判定部１７８が特殊像であると判定した対象像を除外する。そして、特定物特定部１８０は、残った対象像の大きさ等、１または複数のパラメータに基づいて、例えば、車両、人、自転車等の特定物を特定する。かかる対象像から特定物を特定する技術としては、既存の様々な技術を適用可能なので、ここではその詳細な説明を省略する。

ここでは、自車両１前方に存在しない特殊像を除外することで、特定物の特定精度を向上するとともに、特殊像が衝突回避制御やクルーズコントロールの制御対象となるのを回避でき、車両の走行安定性を向上することが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上述した実施形態においては、光源２１４ａと光源２１６ａ、および、対象像２３４と光帯２２０ａの両方の相関を総合的に判定したが、かかる場合に限らず、特殊像の特定精度は劣るものの、対象像２３４と光帯２２０ａさえ相関を判定できれば、自車両１前方に存在しない特殊像を除外し、特定物の特定精度を向上することが可能となる。したがって、光源２１４ａ、２１６ａを伴わなくとも特殊像を除外できることとなる。また、この場合、想定視差として光源２１４ａの視差を利用できないが、特殊像と相対距離ｚを等しくする、特殊像以外の特定物、例えば、等間隔に配された格子構造等の視差を想定視差として用いることとなる。

なお、本明細書の車外環境認識処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、自車両の周囲に存在する対象像を特定する車外環境認識装置に利用することができる。

１ 自車両
１００ 環境認識システム
１１０ 撮像装置
１２０ 車外環境認識装置
１７０ 画像取得部
１７２ 画像処理部
１７４ ３次元位置導出部
１７６ グループ化部
１７８ 特殊像判定部
１８０ 特定物特定部
２１２ａ 基準画像
２１２ｂ 比較画像
２１４ａ、２１４ｂ、２１６ａ、２１６ｂ 光源
２１８ａ、２１８ｂ、２２０ａ、２２０ｂ 光帯
２３４ 対象像

Claims (6)

1. 位置を異にする２つの撮像装置により撮像された基準画像と、比較画像とを取得する画像取得部と、
   パターンマッチングにより、前記比較画像の所定の範囲から、前記基準画像における任意の基準ブロックと相関のある比較ブロックを抽出し、該基準ブロックの視差情報を生成する画像処理部と、
   前記視差情報を用いて前記基準画像内における対象部位の３次元位置を導出する３次元位置導出部と、
   前記３次元位置の差分が所定範囲内にある対象部位同士をグループ化して対象像とするグループ化部と、
   前記基準画像内において、任意の対象像の垂直上方に光源を示す対象像があり、該任意の対象像および該光源を起点として、水平所定方向に、該任意の対象像の前記視差情報と想定視差との差分である想定ミスマッチ距離分シフトした位置に、該任意の対象像および該光源と相関のある対象像および光源が存在する場合、該任意の対象像を特殊像と判定する特殊像判定部と、
   を備えることを特徴とする車外環境認識装置。
2. 前記特殊像判定部は、さらに、前記対象像における、エッジの延伸方向に垂直なエッジ方向が水平方向とみなされる所定の方向範囲に含まれる割合が所定の閾値以上であれば、該対象像を特殊像と判定することを特徴とする請求項１に記載の車外環境認識装置。
3. 前記特殊像判定部は、さらに、車外環境が、道路面が光源を反射する環境であれば、前記対象像を特殊像と判定することを特徴とする請求項１または２に記載の車外環境認識装置。
4. 前記特殊像判定部は、さらに、前記対象像自体に光源を含んでいなければ、前記対象像を特殊像と判定することを特徴とする請求項１から３のいずれか１項に記載の車外環境認識装置。
5. 位置を異にする２つの撮像装置により撮像された基準画像と、比較画像とを取得する画像取得部と、
   パターンマッチングにより、前記比較画像の所定の範囲から、前記基準画像における任意の基準ブロックと相関のある比較ブロックを抽出し、視差情報を生成する画像処理部と、
   前記視差情報を用いて前記基準画像内における対象部位の３次元位置を導出する３次元位置導出部と、
   前記３次元位置の差分が所定範囲内にある対象部位同士をグループ化して対象像とするグループ化部と、
   前記基準画像内において、任意の対象像を起点として、水平所定方向に、該任意の対象像の前記視差情報と想定視差との差分である想定ミスマッチ距離分シフトした位置に、該任意の対象像と相関のある対象像が存在する場合、該任意の対象像を特殊像と判定する特殊像判定部と、
   を備えることを特徴とする車外環境認識装置。
6. 前記グループ化部がグループ化した１または複数の対象像のうち、前記特殊像判定部が前記特殊像であると判定した対象像を除外し、残った対象像から特定物を特定する特定物特定部をさらに備えることを特徴とする請求項１から５のいずれか１項に記載の車外環境認識装置。

Images