JP2012185665A

JP2012185665A - 車外監視装置

Info

Publication number: JP2012185665A
Application number: JP2011048089A
Authority: JP
Inventors: Hiroyuki Sekiguchi; 弘幸関口
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2011-03-04
Filing date: 2011-03-04
Publication date: 2012-09-27
Anticipated expiration: 2031-03-04
Also published as: JP4807763B1

Abstract

【課題】一部の距離データの検出誤差に起因する立体物距離の変動を好適に抑制することができる車外監視装置を提供する。
【解決手段】ステレオ画像認識装置４は、車両を示す距離データが分布する領域Ａを路面から設定高さＨ以上の上側領域Ａｕと、路面から設定高さ未満の下側領域Ａｌとに分割するとともに、上側領域Ａｕに属する距離データの平均値（平均距離Ｌｕ）と、下側領域Ａｌに属する距離データの平均値（平均距離Ｌｌ）とをそれぞれ演算し、これら平均値のうち何れか小さい値を当該車両までの車間距離Ｌとして設定する。これにより、検出誤差が発生し易い領域の距離データを的確に除外することができ、一部の距離データの検出誤差に起因する車間距離の変動を好適に抑制することができる。
【選択図】図１

Description

本発明は、ステレオカメラで撮像したステレオ画像に基づいて車外の走行環境を認識する車外監視装置に関する。

近年、先行車に対する追従走行制御や先行車との車間距離等を一定以上に保つ走行制御、前方に存在する障害物に対する警報制御等の様々な制御を行う車両用運転支援装置が開発され、実用化されている。

この種の運転支援装置に用いられる車外監視装置として、ＣＣＤ等の固体撮像素子を内蔵した一対の車載カメラ（ステレオカメラ）を用いたステレオ式の車外監視装置が知られている。この種の車外監視装置では、先ず、一方の画像中の画素と相関を有する画素を他方の画像中において特定するステレオマッチングが行われ、両者の相対的なずれ量である視差が算出される。そして、算出された視差から、三角測量の原理を用いて距離データが算出され、この距離データに周知のグルーピング処理等が施されることにより、撮像画像中の対象物（車外における白線や車両等）が認識される（例えば、特許文献１参照）。

ところで、上述のような車外監視装置において、認識した対象物の中から自車走行路前方の先行車を制御対象として認識するに際し、当該先行車までの車間距離（立体物距離）は、一般に、先行車上の距離データを平均することにより求められる。

特開２００８−１２３２３０号公報

しかしながら、先行車上の各部で検出される各距離データは、必ずしも全てが安定的に検出される訳ではなく、車体形状や撮像環境等によっては、一部の領域における検出精度が一時的に低下する等の場合がある。

そして、このように検出精度が低下した距離データを含んだまま、先行車までの車間距離を算出すると、車間距離が不安定に変動して、安定的な運転支援制御を行うことが困難となる虞がある。

本発明は上記事情に鑑みてなされたもので、一部の距離データの検出誤差に起因する立体物距離の変動を好適に抑制することができる車外監視装置を提供することを目的とする。

本発明の一態様による車外監視装置は、車外の対象を異なる視点でステレオ撮像する撮像手段と、前記撮像手段で撮像した一対の画像に対するステレオマッチングを行い、対象物までの距離に応じた視差を距離データとして備えた画素が分布する距離画像を生成する距離画像生成手段と、前記距離画像に対するグルーピング処理によって立体物を検出する立体物検出手段と、を備えた車外監視装置において、前記立体物検出手段で検出した立体物の中から所定の立体物を抽出し当該立体物を示す距離データが分布する領域を、路面から設定高さ以上の上側領域と、路面から設定高さ未満の下側領域とに分割する領域設定手段と、前記上側領域に属する前記距離データの平均値と、前記下側領域に属する前記距離データの平均値とをそれぞれ演算し、これら平均値のうち何れか小さい値を当該立体物までの距離である立体物距離として設定する立体物距離演算手段と、を備えたものである。

本発明の車外監視装置によれば、一部の距離データの検出誤差に起因する立体物距離の変動を好適に抑制することができる。

車両用運転支援装置の概略構成図車間距離演算ルーチンを示すフローチャート領域設定サブルーチンを示すフローチャート（ａ）は自車前方を大型トラックが走行しているときの撮像画像の一例を模式的に示す説明図であって（ｂ）はその距離画像を示す説明図であって（ｃ）は距離画像上で抽出した先行車の上下各領域の距離データに基づいて算出した車間距離の推移を示す図表（ａ）は自車前方をセダンタイプの乗用車が走行しているときの撮像画像の一例を模式的に示す説明図であって（ｂ）はその距離画像を示す説明図であって（ｃ）は距離画像上で抽出した先行車の上下各領域の距離データに基づいて算出した車間距離の推移を示す図表（ａ）は先行車に対して設定された小領域の一例を示す説明図であって（ｂ）は小領域毎に算出される平均距離を示す図表

以下、図面を参照して本発明の形態を説明する。図面は本発明の一実施形態に係わり、図１は車両用運転支援装置の概略構成図、図２は車間距離演算ルーチンを示すフローチャート、図３は領域設定サブルーチンを示すフローチャート、図４（ａ）は自車前方を大型トラックが走行しているときの撮像画像の一例を模式的に示す説明図であって（ｂ）はその距離画像を示す説明図であって（ｃ）は距離画像上で抽出した先行車の上下各領域の距離データに基づいて算出した車間距離の推移を示す図表、図５（ａ）は自車前方をセダンタイプの乗用車が走行しているときの撮像画像の一例を模式的に示す説明図であって（ｂ）はその距離画像を示す説明図であって（ｃ）は距離画像上で抽出した先行車の上下各領域の距離データに基づいて算出した車間距離の推移を示す図表、図６（ａ）は先行車に対して設定された小領域の一例を示す説明図であって（ｂ）は小領域毎に算出される平均距離を示す図表である。

図１において、符号１は自動車等の車両（自車両）であり、この車両１には運転支援装置２が搭載されている。この運転支援装置２は、例えば、撮像手段としてのステレオカメラ３、ステレオ画像認識装置４、制御ユニット５等を有して要部が構成されている。

また、自車両１には、自車速Ｖを検出する車速センサ１１、ヨーレートγを検出するヨーレートセンサ１２、運転支援制御の各機能のＯＮ−ＯＦＦ切換等を行うメインスイッチ１３、ステアリングホイールに連結するステアリング軸に対設されて舵角θｓｔを検出する舵角センサ１４、ドライバによるアクセルペダル踏込量（アクセル開度）θａｃｃを検出するアクセル開度センサ１５、ワイパスイッチ１８、ヘッドランプスイッチ１９等が設けられている。

ステレオカメラ３は、ステレオ光学系として、例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組のＣＣＤカメラで構成されている。これら左右のＣＣＤカメラは、それぞれ車室内の天井前方に一定の間隔を持って取り付けられ、車外の対象を異なる視点からステレオ撮像し、取得した画像データをステレオ画像認識装置４に出力する。なお、以下の説明において、ステレオ撮像された画像のうち一方の画像（例えば、右側の画像）を基準画像と称し、他方の画像（例えば、左側の画像）を比較画像と称する。

ステレオ画像認識装置４は、基準画像と比較画像との各画像の小領域毎にシティブロック距離を計算して互いの相関を求めることで対応する小領域を特定するステレオマッチングを行い、対象物までの距離に応じて生じる画素のズレ（＝視差）を距離データとする距離画像を生成する。すなわち、ステレオ画像認識装置４は、先ず、基準画像を例えば４×４画素の小領域に分割し、それぞれの小領域の輝度或いは色のパターンを比較画像と比較して対応する領域を見つけ出し、基準画像全体に渡る距離分布を求める。さらに、ステレオ画像認識装置４は、基準画像上の各画素について隣接する画素との輝度差を調べ、これらの輝度差が閾値を超えているものをエッジ点として抽出するとともに、抽出した画素（エッジ点）に距離データを付与することで、距離データを備えたエッジ点の分布画像（距離画像（図４（ｂ），図５（ｂ）参照））を生成する。

そして、ステレオ画像認識装置４は、生成した距離画像に対して周知のグルーピング処理を行い、各種対象物について予め記憶しておいた３次元的な枠（ウインドウ）と比較することで、自車前方の白線、側壁、車両等の立体物を検出する。

ここで、本実施形態のステレオ画像認識装置４は、検出した立体物までの各種情報を演算するに際し、基本的には、当該立体物を示す全ての距離データの平均値を立体物までの距離（立体物距離）として設定する。

その一方で、立体物が車両である場合、ステレオ画像認識装置４は、例外的に、当該車両を示す距離データの分布領域Ａ（すなわち、車両としてグルーピングされた距離データの分布領域）を、路面から設定高さＨ以上の上側領域Ａｕと、路面から設定高さＨ未満の下側領域Ａｌとに分割する（図４（ｂ），図５（ｂ）参照）。そして、ステレオ画像認識装置４は、各領域Ａｕ，Ａｌに属する距離データの平均値（平均距離Ｌｕ，Ｌｌ）をそれぞれ演算し、これら平均値のうち何れか小さい値を当該車両までの車間距離Ｌ（立体物距離）として設定する。

但し、自車両１が雨天走行中であると判定した場合、或いは、夜間走行中であると判定した場合、ステレオ画像認識装置４は、車両を示す全ての距離データの平均値を車間距離Ｌとして設定する。

このように、本実施形態において、ステレオ画像認識装置４は、距離画像生成手段、立体物検出手段、領域設定手段、及び、立体物距離演算手段としての各機能を有する。ここで、上述のような車間距離の演算は、運転支援制御において特に重要となる先行車についてのみ行い、他の車両については他の立体物と同様に全ての距離データの平均値をそのまま車間距離として設定してもよい。逆に、上述の車間距離の演算と同様の演算によって、例えば、歩行者等の他の立体物までの距離（立体物距離）を演算することも可能である。

なお、本実施形態において、ステレオ画像認識装置４は、例えば、認識した白線の形状、自車速Ｖ及びヨーレートγ等に基づいて自車走行路を推定し、推定した自車走行路上で自車進行方向の速度成分を有する立体物（車両）のうち、自車両１に最も近いものを先行車として抽出するものである。

制御ユニット５には、ステレオ画像認識装置４で認識された自車両１前方の走行環境情報が入力される。さらに、制御ユニット５には、自車両１の走行情報として、車速センサ１１からの車速Ｖ、ヨーレートセンサ１２からのヨーレートγ等が入力されると共に、ドライバによる操作入力情報として、メインスイッチ１３からの操作信号、舵角センサ１４からの舵角θｓｔ、アクセル開度センサ１５からのアクセル開度θａｃｃ等が入力される。

そして、例えば、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つであるＡＣＣ（Adaptive Cruise Control）機能の実行が指示されると、制御ユニット５は、ステレオ画像認識装置４で推定した自車走行路を読み込み、自車走行路上に追従対象の先行車が検出されているか否かを識別する。

その結果、追従対象の先行車が検出されていない場合は、スロットル弁１６の開閉制御（エンジンの出力制御）を通じて、ドライバが設定したセット車速に自車両１の車速Ｖを維持させる定速走行制御を実行する。

一方、追従対象車両である先行車が検出され、且つ、当該先行車の車速がセット車速以下の場合は、先行車との車間距離を目標車間距離に収束させた状態で追従する追従走行制御が実行される。この追従走行制御時において、制御ユニット５は、基本的にはスロットル弁１６の開閉制御（エンジンの出力制御）を通じて、先行車との車間距離を目標車間距離に収束させる。さらに、先行車の急な減速等によりスロットル弁１６の制御のみでは十分な減速度が得られないと判断した場合、制御ユニット５は、アクティブブースタ１７からの出力液圧の制御（ブレーキの自動介入制御）を併用し、車間距離を目標車間距離に収束させる。

また、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つである車線逸脱防止機能の実行が指示されると、制御ユニット５は、例えば、自車走行レーンを規定する左右の白線（ステレオ画像認識装置４で認識した白線）に基づいて警報判定用ラインを設定すると共に、自車両１の車速Ｖとヨーレートγとに基づいて自車進行経路を推定する。そして、制御ユニット５は、例えば、自車前方の設定距離（例えば、１０〜１６［ｍ］）内において、自車進行経路が左右何れかの警報判定用ラインを横切っていると判定した場合、自車両１が現在の自車走行車線を逸脱する可能性が高いと判定し、車線逸脱警報を行う。

次に、ステレオ画像認識装置４において実行される車間距離演算について、図２に示す車間距離演算ルーチンのフローチャートに従って説明する。このルーチンは、距離画像から検出した各車両について設定時間毎に繰り返し実行されるもので、ルーチンがスタートすると、ステレオ画像認識装置４は、先ず、ステップＳ１０１において、自車両１が雨天走行中であるか否かを調べる。この判定は、例えば、ワイパスイッチ１８の状態に基づいて行われ、ステレオ画像認識装置４は、ワイパスイッチ１８がＯＮ状態にあるとき、自車両１が雨天走行中であると判定してステップＳ１１０に進み、ワイパスイッチ１８がＯＦＦ状態にあるとき、自車両１が雨天走行中でないと判定してステップＳ１０２に進む。

ステップＳ１０１からステップＳ１０２に進むと、ステレオ画像認識装置４は、自車両１が夜間走行中であるか否かを調べる。この判定は、例えば、ヘッドランプスイッチ１９の状態に基づいて行われ、ステレオ画像認識装置４は、ヘッドランプスイッチ１９がＯＮ状態にあるとき、自車両１が夜間走行中であると判定してステップＳ１１０に進み、ヘッドランプスイッチ１９がＯＦＦ状態にあるとき、自車両１が夜間走行中でないと判定してステップＳ１０３に進む。

ステップＳ１０２からステップＳ１０３に進むと、ステレオ画像認識装置４は、現在注目する車両を示す距離データが分布する距離画像上の領域Ａを抽出し、当該領域Ａを、路面からの高さが設定高さＨ（例えば、Ｈ＝１［ｍ］)以上の上側領域Ａｕと、設定高さＨ未満の下側領域Ａｌとに分割する。

そして、ステップＳ１０４に進むと、ステレオ画像認識装置４は、車両を示す距離データのうち上側領域Ａｕに属する距離データの平均値（平均距離Ｌｕ）と、下側領域Ａｌに属する距離データの平均値（平均距離Ｌｌ）とをそれぞれ演算する。

そして、ステップＳ１０５において、ステレオ画像認識装置４は、上側の平均距離Ｌｕと下側の平均距離Ｌｌとを比較し、上側の平均距離Ｌｕが下側の平均距離Ｌｌ未満である場合にはステップＳ１０６に進み、上側の平均距離Ｌｕが下側の平均距離Ｌｌ以上である場合にはステップＳ１０７に進む。

ステップＳ１０５からステップＳ１０６に進むと、ステレオ画像認識装置４は、上側の平均距離Ｌｕを車間距離Ｌとして設定した後、ルーチンを抜ける。すなわち、例えば、図４（ａ）に示すように、自車両１の前方を走行する車両が大型トラックである場合、車体後部は、全体として下側の領域よりも上側の領域の方が後方（自車両１側）に突出するため、基本的には、上側の平均距離Ｌｕが下側の平均距離Ｌｌ未満の値となる。また、特に大型トラック等の車両では、背面視した車両の下側領域Ａｌは、コンテナ等の影響によって陰になりやすく、上側領域Ａｕに比べて距離データの検出数及び信頼性が低くなる傾向にある。従って、この種の車両においては、例えば、図４（ｃ）に示すように、通常、上側の平均距離Ｌｕの方が下側の平均距離Ｌｌよりも安定的に推移する。しかも、この場合の上側の平均距離Ｌｕは、自車両１との関係において、運転支援制御上安全側の距離である。そこで、ステレオ画像認識装置４は、上側の平均距離Ｌｕが下側の平均距離Ｌｌ未満である場合には、車両下側の距離データを排除し、車両上側の距離データのみに基づいて車間距離Ｌを設定する。

一方、ステップＳ１０５からステップＳ１０７に進むと、ステレオ画像認識装置４は、下側の平均距離Ｌｌを車間距離Ｌとして設定した後、ルーチンを抜ける。すなわち、例えば、図５（ａ）に示すように、自車両１の前方を走行する車両がセダンタイプの乗用車である場合、車体後部は、全体として上側の領域よりも下側の領域の方が後方（自車両１側）に突出するため、基本的には、上側の平均距離Ｌｕが下側の平均距離Ｌｌ以上の値となる。また、特にセダンタイプの乗用車等の車両では、背面視した車両の上側領域Ａｕは、リヤウインドウガラスにおける太陽光の反射やリヤウインドウガラス越しに見える他の立体物等の影響を受けやすく、下側領域Ａｌに比べて距離データの信頼性が低くなる傾向にある。従って、この種の車両においては、例えば、図５（ｃ）に示すように、通常、下側の平均距離Ｌｌの方が上側の平均距離Ｌｕよりも安定的に推移する。しかも、この場合の下側の平均距離Ｌｌは、自車両１との関係において、運転支援制御上安全側の距離である。そこで、ステレオ画像認識装置４は、上側の平均距離Ｌｕが下側の平均距離Ｌｌ以上である場合には、車両上側の距離データを排除し、車両下側の距離データのみに基づいて車間距離Ｌを設定する。

また、ステップＳ１０１，或いは、ステップＳ１０２からステップＳ１０８に進むと、ステレオ画像認識装置４は、今回注目する車両を示す全ての距離データの平均値を車間距離Ｌとして設定した後、ルーチンを抜ける。すなわち、自車両１が雨天走行中であると判定した場合、車輪が跳ね上げる水滴（スプラッシュ）等を示す距離データが車両の距離データとして誤って多数混在することが考えられる。このような場合、仮に安定性に欠ける場合があったとしも、実際の車両から直接的に得られる距離データの数を可能な限り確保することが望ましい。そこで、ステレオ画像認識装置４は、自車両１が雨天走行中である場合には、注目する車両を示す全ての距離データに基づいて車間距離Ｌを設定する。また、自車両１が夜間走行中である場合、車両に対して検出される距離データの数自体が減少する傾向にある。このような場合、仮に安定性に欠ける場合があったとしても、実際の車両から直接的に得られる距離データの数を可能な限り確保することが望ましい。そこで、ステレオ画像認識装置４は、自車両１が夜間走行中である場合においても、注目する車両を示す全ての距離データに基づいて車間距離Ｌを設定する。

このような実施形態によれば、特に、車両を示す距離データが分布する領域Ａを路面から設定高さＨ以上の上側領域Ａｕと、路面から設定高さ未満の下側涼気Ａｌとに分割するとともに、上側領域Ａｕに属する距離データの平均値（平均距離Ｌｕ）と、下側領域Ａｌに属する距離データの平均値（平均距離Ｌｌ）とをそれぞれ演算し、これら平均値のうち何れか小さい値を当該車両までの車間距離Ｌ（立体物距離）として設定することにより、検出誤差が発生し易い領域の距離データを的確に除外することができ、一部の距離データの検出誤差に起因する車間距離の変動を好適に抑制することができる。

ここで、上述のステップＳ１０３の処理では、路面からの高さＨとして予め設定された固定値を用いた一例について説明したが、この高さＨを車両の形態に応じて可変設定することも可能である。

具体的には、例えば、車両等の大きさに応じた複数パターンの高さＨの値を予め設定しておき、これらの中から、検出した車両の実空間上での大きさに応じて高さＨを選択的に（可変に）設定することが可能である。

或いは、ステップＳ１０３の処理において、例えば、図４に示す領域設定サブルーチンを実行し、境界となる高さＨを可変設定することも可能である。すなわち、このサブルーチンが実行されると、ステレオ画像認識装置４は、先ず、ステップＳ２０１において、今回注目する車両を示す距離データが分布する距離画像上の領域Ａを抽出し、当該領域Ａを路面から設定高さｈ（例えば、ｈ＝１０〜２０［ｃｍ］）毎の小領域ａに分割する（図６（ａ）参照）。

ステップＳ２０１からステップＳ２０２に進むと、ステレオ画像認識装置４は、分割した小領域ａ毎の距離データの平均値（平均距離ｌ）を算出し、続くステップＳ２０３において、隣接する小領域ａ間での平均距離ｌの差Δｌが設定値以上となる領域が存在するか否かを調べる。

そして、ステップＳ２０３において、平均距離の差Δｌが設定値以上となる領域が存在すると判定した場合、ステレオ画像認識装置４は、ステップＳ２０４に進み、平均距離の差Δｌが最も大きい小領域ａ間の境界を高さＨとして設定した後、ステップＳ２０６に進む。

一方、ステップＳ２０３において、平均距離の差Δｌが設定値以上となる領域が存在しないと判定した場合、ステレオ画像認識装置４は、ステップＳ２０５に進み、高さＨとして予め設定された固定値（例えば、地上から１［ｍ］の高さ）を設定した後、ステップＳ２０６に進む。

そして、ステップＳ２０４、或いは、ステップＳ２０５からステップＳ２０６に進むと、ステレオ画像認識装置４は、設定した高さＨを用いて領域Ａを上側領域Ａｕと下側領域Ａｌとに分割した後、サブルーチンを抜ける。

このような処理を行えば、実空間上の車両の形態に応じた適切な高さで上側領域Ａｕと下側領域Ａｌとを分割することができ、車間距離Ｌを算出する際の距離データの選別を精度よく行うことができる。

１ … 車両（自車両）
２ … 運転支援装置
３ … ステレオカメラ（撮像手段）
４ … ステレオ画像認識装置（距離画像生成手段、立体物検出手段、領域設定手段、車間距離演算手段）
５ … 制御ユニット
１１ … 車速センサ
１２ … ヨーレートセンサ
１３ … メインスイッチ
１４ … 舵角センサ
１５ … アクセル開度センサ
１６ … スロットル弁
１７ … アクティブブースタ
１８ … ワイパスイッチ
１９ … ヘッドランプスイッチ

本発明の一態様による車外監視装置は、車外の対象を異なる視点でステレオ撮像する撮像手段と、前記撮像手段で撮像した一対の画像に対するステレオマッチングを行い、対象物までの距離に応じた視差を距離データとして備えた画素が分布する距離画像を生成する距離画像生成手段と、前記距離画像に対するグルーピング処理によって立体物を検出する立体物検出手段と、を備えた車外監視装置において、前記立体物検出手段で検出した立体物の中から所定の立体物を抽出し当該立体物を示す距離データが分布する領域を、路面から設定高さ以上の上側領域と、路面から設定高さ未満の下側領域とに分割する領域設定手段と、前記上側領域に属する前記距離データの平均値と、前記下側領域に属する前記距離データの平均値とをそれぞれ演算し、これら平均値のうち何れか大きい値を排除し、何れか小さい値を当該立体物までの距離である立体物距離として設定する立体物距離演算手段と、を備えたものである。

Claims

車外の対象を異なる視点でステレオ撮像する撮像手段と、前記撮像手段で撮像した一対の画像に対するステレオマッチングを行い、対象物までの距離に応じた視差を距離データとして備えた画素が分布する距離画像を生成する距離画像生成手段と、前記距離画像に対するグルーピング処理によって立体物を検出する立体物検出手段と、を備えた車外監視装置において、
前記立体物検出手段で検出した立体物の中から所定の立体物を抽出し当該立体物を示す距離データが分布する領域を、路面から設定高さ以上の上側領域と、路面から設定高さ未満の下側領域とに分割する領域設定手段と、
前記上側領域に属する前記距離データの平均値と、前記下側領域に属する前記距離データの平均値とをそれぞれ演算し、これら平均値のうち何れか小さい値を当該立体物までの距離である立体物距離として設定する立体物距離演算手段と、を備えたことを特徴とする車外監視装置。
前記立体物距離演算手段は、自車両が雨天走行中であると判定したとき、前記立体物を示す全ての距離データの平均値を立体物距離として設定することを特徴とする請求項１記載の車外監視装置。
前記立体物距離演算手段は、自車両が夜間走行中であると判定したとき、前記立体物を示す全ての距離データの平均値を立体物距離として設定することを特徴とする請求項１または請求項２に記載の車外監視装置。
前記領域設定手段は、前記立体物検出手段で検出した立体物の形態に応じて、前記上側領域と前記下側領域とを分割する路面からの高さを可変に設定することを特徴とする請求項１乃至請求項３の何れか１項に記載の車外監視装置。