JP2022175157A - 車外環境認識装置 - Google Patents

Abstract

【課題】先行車両の判定精度を向上する車外環境認識装置を提供する。
【解決手段】車外環境認識装置は、セマンティックセグメンテーションを用いて、撮像装置で撮像された輝度画像における車両クラスを特定するステップＳ２０６と、複数の輝度画像から距離画像を生成するステップＳ２０２と、距離画像における、車両クラスに対応する視差が無効な無効画素を特定するステップＳ２０８と、無効画素より鉛直下方における視差が有効な有効画素を特定するステップＳ２１０と、無効画素の視差を、特定した前記有効画素の視差で補間するステップＳ２１２と、視差が補間された距離画像に基づいて特定物を特定するステップＳ２１４と、を含む処理を実行する。
【選択図】図３

Description

本発明は、自車両の進行方向に存在する特定物を特定する車外環境認識装置に関する。

従来、特許文献１のように、自車両の前方に位置する先行車両を検出し、先行車両との衝突による被害を軽減したり、先行車両との車間距離を安全な距離に保つように追従制御したりする技術が知られている。

特許第３３４９０６０号公報

上記のような先行車両への追従制御を実現するため、自車両では、前方に位置する立体物が先行車両等の特定物であるか否か判断する。例えば、自車両では、水平方向に離隔した２つの撮像装置を用い、輝度画像および距離画像における立体物の形状や相対距離を認識して画像中の立体物を先行車両と判定する。

しかし、２つの撮像装置のうち一方の撮像装置の検出領域に雨滴などが存在すると、距離画像の生成過程において画像のパターンマッチングが適切に行われず、先行車両の判定精度の低下を招いていた。この場合、自車両では、２つの撮像装置のうち、雨滴の影響を受けていない一方の撮像装置の画像から先行車両を特定する単眼トラッキングを行うことができる。しかし、両方の撮像装置の検出領域に雨滴などが存在した場合、単眼トラッキングによっても先行車両の判定精度が低下するおそれがある。

本発明は、このような課題に鑑み、先行車両の判定精度を向上することが可能な、車外環境認識装置を提供することを目的としている。

上記課題を解決するために、本発明の車外環境認識装置は、１つまたは複数のプロセッサと、前記プロセッサに接続される１つまたは複数のメモリと、を備え、前記プロセッサは、前記メモリに含まれるプログラムと協働し、セマンティックセグメンテーションを用いて、撮像装置で撮像された輝度画像における車両クラスを特定することと、複数の前記輝度画像から距離画像を生成することと、前記距離画像における、前記車両クラスに対応する視差が無効な無効画素を特定することと、前記無効画素より鉛直下方における視差が有効な有効画素を特定することと、前記無効画素の視差を、特定した前記有効画素の視差で補間することと、視差が補間された前記距離画像に基づいて特定物を特定することと、を含む処理を実行する。

本発明によれば、先行車両の判定精度を向上することが可能となる。

図１は、車外環境認識システムの接続関係を示したブロック図である。 図２は、車外環境認識装置の概略的な機能を示した機能ブロック図である。 図３は、車外環境認識方法の流れを示すフローチャートである。 図４は、輝度画像を説明するための説明図である。 図５は、輝度画像を説明するための説明図である。 図６は、距離画像を説明するための説明図である。 図７は、輝度画像を説明するための説明図である。 図８は、輝度画像を説明するための説明図である。 図９は、距離画像を説明するための説明図である。 図１０は、セマンティックセグメンテーションを適用した例を説明するための説明図である。 図１１は、セマンティックセグメンテーションを適用した例を説明するための説明図である。 図１２は、無効画素を説明するための説明図である。 図１３は、無効画素を説明するための説明図である。 図１４は、有効画素特定部の処理を説明するための説明図である。 図１５は、有効画素特定部の処理を説明するための説明図である。 図１６は、有効画素特定部の処理を示したフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

（車外環境認識システム１００）
図１は、車外環境認識システム１００の接続関係を示したブロック図である。車外環境認識システム１００は、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置１３０とを含む。

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成される。撮像装置１１０は、自車両１の前方の車外環境を撮像し、少なくとも輝度の情報が含まれる輝度画像、例えば、カラー画像またはモノクロ画像を生成することができる。また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する立体物を撮像した輝度画像を、例えば１／６０秒のフレーム毎に連続して生成する。

また、車外環境認識装置１２０は、撮像装置１１０から取得した輝度画像や、２つの輝度画像に基づく距離画像を通じて車外の環境を認識する。そして、車外環境認識装置１２０は、認識した車外環境と、自車両１の走行状況とに基づいて、自車両１の走行における速度制御や舵角制御を行う。車外環境認識装置１２０については後程詳述する。

車両制御装置１３０は、ＥＣＵ（Electronic Control Unit）で構成され、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転手の操作入力を受け付け、車外環境認識装置１２０で生成された情報を参照して、操舵機構１４２、駆動機構１４４、制動機構１４６を制御する。

（車外環境認識装置１２０）
図２は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

Ｉ／Ｆ部１５０は、撮像装置１１０、および、車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能モジュールの処理に必要な様々な情報を保持する。

中央制御部１５４は、プロセッサ、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４では、プロセッサが、ＲＯＭに含まれるプログラムと協働し、画像取得部１６０、距離画像生成部１６２、単眼トラッキング部１６４、クラス特定部１６６、無効画素特定部１６８、有効画素特定部１７０、視差補間部１７２、立体物特定部１７４、特定物判定部１７６、特定物追跡部１７８といった機能モジュールとして機能する。

中央制御部１５４は、このような機能モジュールを通じて、輝度画像および距離画像における立体物の形状や相対距離を認識して立体物を先行車両と判定する。中央制御部１５４は、先行車両との衝突による被害を軽減したり、先行車両との車間距離を安全な距離に保つように追従制御したりすることができる。

以下、本実施形態に特徴的な、自車両１前方の立体物を抽出し、先行車両等の特定物を判定する車外環境認識方法について、当該中央制御部１５４の各機能モジュールの動作も踏まえて詳述する。

（車外環境認識方法）
図３は、車外環境認識方法の流れを示すフローチャートである。車外環境認識装置１２０は、所定の割込時間毎に当該車外環境認識方法を実行する。車外環境認識方法では、まず、画像取得部１６０が、複数の輝度画像を取得する（Ｓ２００）。距離画像生成部１６２が、２つの輝度画像から距離画像を生成する（Ｓ２０２）。単眼トラッキング部１６４が、特定物を適切に抽出できる１の輝度画像から立体物を特定する（Ｓ２０４）。クラス特定部１６６が、セマンティックセグメンテーションを用いて、輝度画像における車両クラスを特定する（Ｓ２０６）。無効画素特定部１６８は、距離画像のうち、車両クラスに含まれる視差が無効な無効画素を特定する（Ｓ２０８）。有効画素特定部１７０が、無効画素より鉛直下方における視差が有効な有効画素を特定する（Ｓ２１０）。視差補間部１７２が、無効画素の視差を、特定した有効画素の視差で補間する（Ｓ２１２）。立体物特定部１７４が、輝度画像および距離画像に基づいて立体物を特定する（Ｓ２１４）。特定物判定部１７６が、特定物を判定する（Ｓ２１６）。特定物追跡部１７８が、判定された特定物を追跡制御する（Ｓ２１８）。

以下、車外環境認識方法の各処理について詳細に説明し、本実施形態の特徴と無関係な処理については説明を省略する。

（画像取得処理Ｓ２００）
図４、図５は、輝度画像を説明するための説明図であり、図６は、距離画像を説明するための説明図である。画像取得部１６０は、撮像装置１１０で光軸を異として撮像された複数の、ここでは２つの輝度画像１８０をそれぞれ取得する。ここで、画像取得部１６０は、輝度画像１８０として、図４に示す、自車両１の比較的右側に位置する撮像装置１１０で撮像された第１輝度画像１８０ａと、図５に示す、自車両１の比較的左側に位置する撮像装置１１０で撮像された第２輝度画像１８０ｂとを取得したとする。

図４および図５を参照すると、撮像装置１１０の撮像位置の違いから、第１輝度画像１８０ａと第２輝度画像１８０ｂとで、画像に含まれる立体物の画像位置が水平方向に異なるのが理解できる。ここで、水平は、撮像した画像の画面横方向を示し、垂直は、撮像した画像の画面縦方向を示す。

（距離画像生成処理Ｓ２０２）
距離画像生成部１６２は、画像取得部１６０が取得した、図４に示す第１輝度画像１８０ａと、図５に示す第２輝度画像１８０ｂとに基づいて、図６のような、撮像対象の距離を特定可能な距離画像１８２を生成する。

具体的に、距離画像生成部１６２は、所謂パターンマッチングを用いて、視差、および、任意のブロックの画像内の位置を示す画像位置を含む視差情報を導出する。具体的に、一方の輝度画像（ここでは第１輝度画像１８０ａ）から任意に抽出したブロックに対応するブロックを他方の輝度画像（ここでは第２輝度画像１８０ｂ）から検索する。ここで、ブロックは、例えば、水平４画素×垂直４画素の配列で表される。また、パターンマッチングは、一方の輝度画像から任意に抽出したブロックに対応するブロックを他方の輝度画像から検索する手法である。

例えば、パターンマッチングにおけるブロック間の一致度を評価する関数として、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。

距離画像生成部１６２は、このようなブロック単位の視差導出処理を、例えば、６００画素×２００画素の検出領域に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。

ただし、距離画像生成部１６２は、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような立体物の一部であるかを認識できない。したがって、視差情報は、立体物単位ではなく、検出領域における検出分解能単位、例えばブロック単位で独立して導出されることとなる。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。

距離画像生成部１６２は、距離画像１８２におけるブロック毎の視差情報を、所謂ステレオ法を用いて相対距離に変換し、三次元の位置情報、すなわち、相対距離、高さ、水平位置を導出する。ここで、ステレオ法は、三角測量法を用いることで、ブロックの視差からそのブロックの撮像装置１１０に対する相対距離を導出する方法である。なお、距離画像１８２において、視差と相対距離とを同一の奥行方向の距離という意味で用いる場合がある。

車外環境認識装置１２０では、このように導出された輝度画像１８０および距離画像１８２を通じて車外環境を認識し、例えば、自車両１より前方の立体物を、先行車両等の特定物と特定する。しかし、雨天等、所定の環境下では、撮像装置１１０の検出領域が雨滴等の異物で覆われることがある。

図７、図８は、輝度画像を説明するための説明図であり、図９は、距離画像を説明するための説明図である。例えば、２つの撮像装置１１０のうち一方の撮像装置１１０の検出範囲に位置するフロントガラスに雨滴が付着すると、その撮像装置１１０で撮像された輝度画像１８０の雨滴に対応する部分が不鮮明になる。例えば、図７に示す第１輝度画像１８０ａの部分１８４ａが雨滴によって不鮮明になったとする。

そうすると、図８に示す第２輝度画像１８０ｂにおいて、部分１８４ａに対応する部分１８４ｂが鮮明に取得されたとしても、生成された距離画像１８２では、図９のように、部分１８４ａに対応する部分１８４ｃにおいてパターンマッチングができない。したがって、本来存在するはずの立体物が検出できなくなる。そこで、このように立体物を有効に検出できない場合、単眼トラッキングを行う場合がある。

（単眼トラッキング処理Ｓ２０４）
単眼トラッキング部１６４は、２つの撮像装置１１０で撮像された輝度画像１８０ａ、１８０ｂのうち、特定物が適切に抽出できる１の輝度画像１８０を選択し、選択した輝度画像１８０から立体物を抽出する。具体的に、単眼トラッキング部１６４は、前回のフレームで特定された特定物が今回のフレームで存在すると予測される範囲において、特定物と大きさ、形、色彩の配置等が類似する立体物を、いずれか１の輝度画像１８０において特定する。かかる単眼トラッキングは、既存の様々な技術を適用することができるので、ここでは、その詳細な説明を省略する。

単眼トラッキングにより、一方の輝度画像１８０において立体物が不鮮明になったとしても他方の輝度画像１８０を用いて立体物を鮮明に特定できるので、特定物の判定精度の低下や後述する追従制御の性能低下を抑制することが可能となる。

ただし、雨天等、所定の環境下においては、２つの撮像装置１１０の両方において撮像装置１１０の検出範囲に位置するフロントガラスに雨滴が付着すると、その撮像装置１１０で撮像された輝度画像１８０の雨滴に対応する部分がいずれも不鮮明になる。そうすると、パターンマッチングができなくなるだけでなく、単眼トラッキングによっても立体物を特定できないおそれがある。そこで、セマンティックセグメンテーションを用いて立体物を特定する。

セマンティックセグメンテーションは、輝度画像１８０内の各画素に、その意味に基づいてラベル、カテゴリ、または、クラスを関連付けるディープラーニング(Deep Learning)のアルゴリズムである。かかるセマンティックセグメンテーションによって、車外環境認識装置１２０は、輝度画像１８０ａ、１８０ｂの一方、もしくは、両方の一部が不鮮明であったとしても、特徴的なクラス、例えば、車両クラスを形成する画素の集合体を一体的に認識することが可能となる。セマンティックセグメンテーションは、既存の様々な技術を適用することができるので、ここでは、その詳細な説明を省略し、本実施形態の実現に必要な構成のみ説明する。

（クラス特定処理Ｓ２０６）
クラス特定部１６６は、セマンティックセグメンテーションを用いて、輝度画像１８０における所定のクラスを特定する。なお、ここでは、クラス特定部１６６を、中央制御部１５４で実現する例を挙げて説明したが、かかる場合に限らず、別体のＡＩ（Artificial Intelligence）やＤＮＮ（Deep Neural Network）等に特化した計算エンジンまたはＦＰＧＡ（Field Programmable Gate Array）によって実現してもよい。

図１０および図１１は、セマンティックセグメンテーションを適用した例を説明するための説明図である。クラス特定部１６６は、例えば、図１０に示した第１輝度画像１８０ａに対し、セマンティックセグメンテーションを用い、図１１に示すようなクラスに分類されたクラス画像１９０を生成する。ここでは、第１輝度画像１８０ａの各画素を、複数のクラスのいずれかに関連付けている。

具体的に、クラス特定部１６６は、第１輝度画像１８０ａの画素それぞれに対し、複数のクラスに相当する確率をそれぞれ導出する。以下、任意のクラスに相当する確率を相当確率という。そして、クラス特定部１６６は、第１輝度画像１８０ａの任意の画素において相当確率が最も高いクラスをその画素に関連付ける。例えば、図１０の第１輝度画像１８０ａにおける路面１９２ａに属する画素、車線境界線１９２ｂに属する画素、車両１９２ｃに属する画素が、それぞれ図１１のクラス画像１９０における路面クラス１９４ａ、車線境界線クラス１９４ｂ、車両クラス１９４ｃに分類される。

ここでは、図１０のように、第１輝度画像１８０ａの部分１８４ａが雨滴によって不鮮明であっても、図１１のように、クラス画像１９０の部分１８４ｄが車両クラス１９４ｃと適切に分類される。

なお、クラス特定部１６６は、同一のクラスに分類された画素の集合体の相当確率として、集合体に含まれる全ての画素の相当確率の平均値または中央値を用いる。

（無効画素特定処理Ｓ２０８）
無効画素特定部１６８は、クラス画像１９０と距離画像１８２とを比較し、クラス画像１９０の車両クラスに対応する、距離画像１８２の無効画素を特定する。ここで、パターンマッチングによって有効に視差が導出された画素を有効画素といい、パターンマッチングによって有効に視差が導出されなかった画素を無効画素という。

図１２および図１３は、無効画素を説明するための説明図である。図１２のクラス画像１９０では、車両クラス１９４ｃが特定されているとする。また、図１３に示した距離画像１８２では、雨滴等、何らかの原因により、車両クラス１９４ｃに対応する領域１９６に有効画素が存在せず、全ての画素が無効画素となったとする。したがって、無効画素特定部１６８は、クラス画像１９０における車両クラス１９４ｃに対応する、距離画像１８２の領域１９６内の全ての画素を無効画素として特定する。

なお、ここでは、まず、車両クラス１９４ｃを特定し、その後、車両クラス１９４ｃに対応する無効画素を特定している。しかし、かかる場合に限らず、まず、距離画像１８２の全ての画素から無効画素を特定し、その無効画素に対応するクラス画像１９０の画素が車両クラス１９４ｃであることを特定するとしてもよい。

（有効画素特定処理Ｓ２１０）
図１４および図１５は、有効画素特定部１７０の処理を説明するための説明図であり、図１６は、有効画素特定部１７０の処理を示したフローチャートである。有効画素特定部１７０は、無効画素特定部１６８が特定した無効画素それぞれに対し、無効画素より鉛直下方における視差が有効な有効画素を特定する。以下、図１４～図１６を用いて、有効画素特定部１７０の処理を説明する。

まず、有効画素特定部１７０は、図１４に示した距離画像１８２の無効画素２００に対応する図１５に示したクラス画像１９０の画素２０２ａの鉛直下方における、車両クラス１９４ｃと路面クラス１９４ａとの境界の画素２０２ｂを探索起点とする。

具体的に、図１６に示すように、有効画素特定部１７０は、無効画素特定部１６８が特定した無効画素のうちの１の無効画素２００を抽出する（Ｓ３００）。有効画素特定部１７０は、抽出した無効画素２００に対応するクラス画像１９０の画素２０２ａの１つ鉛直下方の画素を探索画素として抽出し（Ｓ３０２）、その探索画素が車両クラス１９４ｃか否か判定する（Ｓ３０４）。その結果、探索画素が車両クラス１９４ｃであれば（Ｓ３０４におけるＹＥＳ）、有効画素特定部１７０は、１つ鉛直下方の画素を探索画素として抽出する処理（Ｓ３０２）から繰り返す。一方、探索画素が車両クラス１９４ｃでなければ（Ｓ３０４におけるＮＯ）、有効画素特定部１７０は、その探索画素、例えば、画素２０２ｂが車両クラス１９４ｃと路面クラス１９４ａとの境界に到達したと判断し、画素２０２ｂの位置情報を探索起点として記憶する（Ｓ３０６）。

続いて、有効画素特定部１７０は、クラス画像１９０において、探索起点より水平方向に位置する図１５の画素２０２ｃに対応する図１４の有効画素２０４を特定する。なお、有効画素特定部１７０は、車両クラス１９４ｃにおけるタイヤを認識した場合、探索する高さを鉛直下方に、例えば、画素２０２ｄから画素２０２ｅに更新する。

具体的に、図１６に示すように、有効画素特定部１７０は、車両クラス１９４ｃと路面クラス１９４ａとの境界と判断した探索画素、例えば、画素２０２ｂの１つ水平右方向の画素を新たに探索画素として抽出し（Ｓ３０８）、その探索画素および１つ鉛直下方の画素のいずれもが車両クラス１９４ｃか否か判定する（Ｓ３１０）。

上記のように、探索起点は路面クラス１９４ａなので、その水平方向の探索画素は、本来、路面クラス１９４ａのはずである。しかし、車両クラス１９４ｃに車両のタイヤが含まれている場合、その位置の探索画素や、さらに鉛直下方の画素は車両クラス１９４ｃとなる。ここで、有効画素特定部１７０は、その探索画素および１つ鉛直下方の画素のいずれもが車両クラス１９４ｃであれば、その探索画素はタイヤに位置していると判断する。この場合、車両クラス１９４ｃと路面クラス１９４ａとの境界は、さらに鉛直下方に位置するはずなので、有効画素特定部１７０は、探索する高さを鉛直下方に更新する。

ステップＳ３１０において、探索画素、例えば、画素２０２ｄおよび１つ鉛直下方の画素のいずれもが車両クラス１９４ｃであれば（Ｓ３１０におけるＹＥＳ）、有効画素特定部１７０は、画素２０２ｄの１つ鉛直下方の画素を探索画素として抽出し（Ｓ３１２）、その探索画素が車両クラス１９４ｃか否か判定する（Ｓ３１４）。その結果、探索画素が車両クラス１９４ｃであれば（Ｓ３１４におけるＹＥＳ）、有効画素特定部１７０は、１つ鉛直下方の画素を探索画素として抽出する処理（Ｓ３１２）から繰り返す。一方、探索画素が車両クラス１９４ｃでなければ（Ｓ３１４におけるＮＯ）、有効画素特定部１７０は、その探索画素、例えば、画素２０２ｅが車両クラス１９４ｃと路面クラス１９４ａとの境界であると判断し、探索する高さを更新する（Ｓ３１６）。こうして、水平右方向の探索は、図１５における画素２０２ｅから再開されることとなる。

続いて、有効画素特定部１７０は、探索画素が車両クラス１９４ｃまたは路面クラス１９４ａであるか否か判定する（Ｓ３１８）。その結果、探索画素が車両クラス１９４ｃまたは路面クラス１９４ａであれば（Ｓ３１８におけるＹＥＳ）、有効画素特定部１７０は、その探索画素に対応する距離画像１８２の画素が有効画素であるか否か判定する（Ｓ３２０）。その結果、探索画素、例えば、画素２０２ｃに対応する距離画像１８２の画素が有効画素２０４であれば（Ｓ３２０におけるＹＥＳ）、有効画素特定部１７０は、その有効画素２０４を補間対象として無効画素２００に関連付ける（Ｓ３２２）。

一方、その探索画素に対応する距離画像１８２の画素が有効画素でなければ（Ｓ３２０におけるＮＯ）、有効画素特定部１７０は、１つ水平右方向の画素を探索画素として抽出する処理（Ｓ３０８）から繰り返す。また、探索画素が車両クラス１９４ｃおよび路面クラス１９４ａのどちらでもなければ（Ｓ３１８におけるＮＯ）、有効画素特定部１７０は、有効画素を特定するまでにガードレール等、他の立体物が特定されてしまったとして、水平右方向の探索を諦め、水平左方向に探索する。

続いて、有効画素特定部１７０は、水平左方向を探索するため、探索起点である画素２０２ｂの位置情報を読み出す（Ｓ３２４）。有効画素特定部１７０は、車両クラス１９４ｃと路面クラス１９４ａとの境界と判断した探索画素、例えば、画素２０２ｂの１つ水平左方向の画素を新たに探索画素として抽出し（Ｓ３２６）、その探索画素および１つ鉛直下方の画素のいずれもが車両クラス１９４ｃか否か判定する（Ｓ３２８）。その結果、探索画素および１つ鉛直下方の画素のいずれもが車両クラス１９４ｃであれば（Ｓ３２８におけるＹＥＳ）、有効画素特定部１７０は、探索画素の１つ鉛直下方の画素を新たな探索画素として抽出し（Ｓ３３０）、その探索画素が車両クラス１９４ｃか否か判定する（Ｓ３３２）。その結果、探索画素が車両クラス１９４ｃであれば（Ｓ３３２におけるＹＥＳ）、有効画素特定部１７０は、１つ鉛直下方の画素を探索画素として抽出する処理（Ｓ３３０）から繰り返す。一方、探索画素が車両クラス１９４ｃでなければ（Ｓ３３２におけるＮＯ）、有効画素特定部１７０は、その探索画素が車両クラス１９４ｃと路面クラス１９４ａとの境界であると判断し、探索する高さを更新する（Ｓ３３４）。こうして、水平左方向の探索は、鉛直下方の画素から再開されることとなる。

続いて、有効画素特定部１７０は、探索画素が車両クラス１９４ｃまたは路面クラス１９４ａであるか否か判定する（Ｓ３３６）。その結果、探索画素が車両クラス１９４ｃまたは路面クラス１９４ａであれば（Ｓ３３６におけるＹＥＳ）、有効画素特定部１７０は、その探索画素に対応する距離画像１８２の画素が有効画素であるか否か判定する（Ｓ３３８）。その結果、探索画素に対応する距離画像１８２の画素が有効画素であれば（Ｓ３３８におけるＹＥＳ）、有効画素特定部１７０は、その有効画素を補間対象として無効画素２００に関連付ける（Ｓ３２２）。一方、探索画素に対応する距離画像１８２の画素が有効画素でなければ（Ｓ３３８におけるＮＯ）、有効画素特定部１７０は、１つ水平左方向の画素を探索画素として抽出する処理（Ｓ３２６）から繰り返す。また、探索画素が車両クラス１９４ｃおよび路面クラス１９４ａのどちらでもなければ（Ｓ３３６におけるＮＯ）、有効画素特定部１７０は、有効画素を特定するまでにガードレール等、他の立体物が特定されてしまったとして、水平左方向の探索も諦め、ステップＳ３４０に移行する。

続いて、有効画素特定部１７０は、無効画素特定部１６８が特定した全ての無効画素の探索処理が完了したか否か判定する（Ｓ３４０）。その結果、全ての無効画素の探索処理が完了していなければ（Ｓ３４０におけるＮＯ）、有効画素特定部１７０は、まだ探索処理が実行されていない１の無効画素を抽出する処理（Ｓ３００）からを繰り返す。一方、全ての無効画素を処理していれば（Ｓ３４０におけるＹＥＳ）、有効画素特定部１７０は当該有効画素特定処理を終了する。

仮に、有効画素特定部１７０が、車両クラス１９４ｃと路面クラス１９４ａとの境界を特定することなく、無作為に車両クラス１９４ｃの水平方向の有効画素を探索すると、先行車両より遠方の白線等を示す画素が特定されてしまい、車両の視差を適切に示さない。ここで、車両クラス１９４ｃと路面クラス１９４ａの境界の水平方向の道路の視差は、理論上、車両クラス１９４ｃ全体の視差と等しくなる。ここでは、無効画素２００の鉛直下方における車両クラス１９４ｃと路面クラス１９４ａの境界を探索起点とすることで、車両クラス１９４ｃの視差を適切に導出することが可能となる。

また、有効画素特定部１７０は、車両クラス１９４ｃにおけるタイヤを認識した場合、探索する高さを鉛直下方に、例えば、図１５の画素２０２ｄから画素２０２ｅに更新する。かかる構成により、路面に対する車両の接地位置の水平方向から有効画素を特定できるので、車両クラス１９４ｃの視差を、より適切に導出することが可能となる。

なお、ここでは、水平右方向および水平左方向の探索において、画素が、車両クラス１９４ｃまたは路面クラス１９４ａではないクラスに到達した場合に、探索を諦める例を挙げて説明した。しかし、かかる場合に限らず、水平右方向および水平左方向に所定の探索距離を設定し、その探索距離に到達したら探索を諦めるとしてもよい。

（視差補間処理Ｓ２１２）
視差補間部１７２は、有効画素特定部１７０が特定した有効画素の視差で無効画素を補間する。すなわち、有効画素特定部１７０は、無効画素特定部１６８が特定した無効画素それぞれに対し、関連付けられた有効画素の視差（相対距離）を上書きする。かかる構成により、視差が無効な無効画素に、想定される有効な視差を対応付けることが可能となる。

ただし、有効画素は、煩雑な有効画素特定処理Ｓ２１０によって特定されるため、車両クラス１９４ｃや路面クラス１９４ａの導出精度等の影響を受けやすく、その視差が揺動したり、また、ノイズが混入したりすることがある。そこで、視差補間部１７２は、無効画素に関連付けられた有効画素の視差を直接対応付けず、複数次の低域通過フィルター等により安定化した後の視差を対応付けるとしてもよい。

（立体物特定処理Ｓ２１４）
立体物特定部１７４は、視差が補間された距離画像１８２を用い、まず、自車両１前方の路面を特定する。そして、立体物特定部１７４は、特定した路面の鉛直上方に高さを有する立体物を特定する。具体的に、立体物特定部１７４は、路面からの高さが所定距離（例えば０．３ｍ）以上に位置するブロックを、路面から高さ方向に突出している立体物の候補とする。立体物特定部１７４は、路面の鉛直上方に高さを有する立体物の候補とされた複数のブロックのうち、自車両１との相対距離が等しいブロックをグループ化し、立体物として特定する。

（特定物判定処理Ｓ２１６）
特定物判定部１７６は、立体物特定部１７４が特定した立体物が、例えば、先行車両、歩行者、建築物等、所定の特定物であるか判定する。

（特定物追跡処理Ｓ２１８）
特定物追跡部１７８は、特定物判定部１７６が前回のフレームで判定した特定物の位置および速度から、今回のフレームにおける特定物の位置を推定する。特定物追跡部１７８は、推定した位置に、特定物判定部１７６が今回のフレームで判定した特定物が存在していれば、同一の特定物として関連付ける。こうして、特定物追跡部１７８は、自車両１の前方における特定物の推移を追跡して追従制御することが可能となる。

また、コンピュータを車外環境認識装置１２０として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上述した実施形態においては、単眼トラッキング部１６４によって、特定物を適切に抽出できる１の輝度画像から立体物を特定し、それでもなお立体物を特定できない場合に、クラス特定部１６６、無効画素特定部１６８、有効画素特定部１７０、および、視差補間部１７２によって、先行車両の判定精度を向上する例を挙げて説明した。しかし、かかる場合に限らず、単眼トラッキング部１６４を設けることなく、クラス特定部１６６、無効画素特定部１６８、有効画素特定部１７０、および、視差補間部１７２のみによって、先行車両の判定精度を向上するとしてもよい。

また、上述した実施形態においては、単眼トラッキング部１６４による単眼トラッキングと、クラス特定部１６６、無効画素特定部１６８、有効画素特定部１７０、および、視差補間部１７２による視差補間とを独立して実行し、特定物を特定する例を挙げて説明した。しかし、かかる場合に限らず、単眼トラッキングと視差補間とを加重平均した計算結果を用いて特定物を特定してもよい。

例えば、単眼トラッキングによって導出された視差を単眼視差とし、その単眼視差が確からしい確率を単眼確率とする。また、視差補間に用いる視差を補間視差とし、その視差が確からしい確率として、上記の相当確率を用いる。そして、加重平均として、単眼視差×単眼確率と補間視差×相当確率とを加算し、単眼確率＋相当確率で除算した結果を、視差の加重平均とする。かかる加重平均を用いることで、単眼トラッキングと視差補間とを、その確からしさに基づいて合成できるので、先行車両の判定精度を向上することが可能となる。

なお、本明細書の車外環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

１１０ 撮像装置
１２０ 車外環境認識装置
１６２ 距離画像生成部
１６４ 単眼トラッキング部
１６６ クラス特定部
１６８ 無効画素特定部
１７０ 有効画素特定部
１７２ 視差補間部
１８０ 輝度画像
１８０ａ 第１輝度画像
１８０ｂ 第２輝度画像
１８２ 距離画像
１９０ クラス画像
１９４ａ 路面クラス
１９４ｂ 車線境界線クラス
１９４ｃ 車両クラス

Claims (2)

1. １つまたは複数のプロセッサと、
   前記プロセッサに接続される１つまたは複数のメモリと、
   を備え、
   前記プロセッサは、前記メモリに含まれるプログラムと協働し、
   セマンティックセグメンテーションを用いて、撮像装置で撮像された輝度画像における車両クラスを特定することと、
   複数の前記輝度画像から距離画像を生成することと、
   前記距離画像における、前記車両クラスに対応する視差が無効な無効画素を特定することと、
   前記無効画素より鉛直下方における視差が有効な有効画素を特定することと、
   前記無効画素の視差を、特定した前記有効画素の視差で補間することと、
   視差が補間された前記距離画像に基づいて特定物を特定することと、
   を含む処理を実行する、車外環境認識装置。
2. 前記プロセッサは、
   セマンティックセグメンテーションを用いて、前記輝度画像における路面クラスを特定することと、
   前記無効画素の鉛直下方における前記車両クラスと前記路面クラスの境界を探索起点とすることと、
   前記探索起点より水平方向における前記有効画素を特定することと、
   を含む処理を実行する、請求項１に記載の車外環境認識装置。

Images