JP2011145892A

JP2011145892A - 運転支援装置

Info

Publication number: JP2011145892A
Application number: JP2010006114A
Authority: JP
Inventors: Takashi Watanabe; 貴志渡邊
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2010-01-14
Filing date: 2010-01-14
Publication date: 2011-07-28

Abstract

【課題】カーナビゲーション装置を搭載していない車両であっても、交差点における一時停止を予測し、それを的確に報知することができるようにする。
【解決手段】車両制御部１２は、車両に搭載したカメラユニット１０で撮影した画像データに基づいて、交差点６を検出し、次いで当該交差点６に信号機３が有るか否か、停止標識４が有るか否か、停止線５が有るか否かを調べる。そして信号機３の信号灯色が赤色或いは黄色であり、或いは停止標識４が検出され、或いは停止線５が検出された場合であって、自車両１が停止線５に到達するまでの距離Ｌが注意報知距離Ｌ１以内で（Ｌ≦Ｌ１）、且つ車速Ｖが設定車速Ｖ１以上の場合、警報装置１４から運転者に注意を促す警報を発生させる。
【選択図】図１

Description

本発明は、自車両に搭載されているカメラユニットで撮影した画像データに基づいて交差点、信号機、停止標識、停止線を検出し、その検出結果に基づき、交差点手前で運転者に警報を発するか否かを判定する運転支援装置に関する。

従来、走行中の車両前方の交差点において、一時停止の要否を事前に判定し、一時停止が必要な場合、運転者に注意を促す支援装置が種々提案されている。

例えば特許文献１（特開２００６−１５１０１４号公報）には、カーナビゲーション装置にて、現在地から目的地までの経路が設定されると、この経路に停止線があるか否を調べ、自車両が停止線を通過すると予測した場合、停止線検出制御を実行し、車載カメラからの前方画像により道路上の停止線を検出し、停止線と自車両までの距離が減速すべき区間に達したにも拘わらず減速しない場合は、運転者に停止線がある旨の警報を報知する技術が開示されている。

特開２００６−１５１０１４号公報

しかし、上述した文献に開示されている技術では、カーナビゲーション装置にて設定された経路に停止線が有るか否かを調べ、停止線を通過することが予測された場合に限り、停止線検出制御が実行されるため、例えば経路上に新たな道路が構築されて、停止線が追加されている場合にあっては、停止線の通過を予測することができず、停止線検出制御が実行されないという不都合がある。その結果、運転者に対し、注意を促す警報を的確に報知することができないという不都合がある。

又、上述した文献に開示されている技術では、カーナビゲーション装置の搭載が前提であり、カーナビゲーション装置が搭載されていない車両には適用することができず、汎用性に欠ける問題がある。

本発明は、上記事情に鑑み、カーナビゲーション装置を搭載していない車両であっても、交差点手前での一時停止を運転者に的確に報知することができ、高い汎用性を得ることのできる運転支援装置を提供することを目的とする。

上記目的を達成するため本発明は、自車両に搭載されて該車両の走行方向前方を撮影するカメラユニットと、前記カメラユニットで撮影した走行方向前方の画像データに基づいて自車両の運転支援を行う車両制御手段と、該車両制御手段での判定結果に基づいて警報を発する警報手段とを備える運転支援装置において、前記車両制御手段は、前記カメラユニットで撮影した画像データに基づき、交差点を検出する交差点検出手段と、信号機を検出する信号機検出手段と、停止標識を検出する停止標識検出手段と、前記交差点手前の路上に描かれている停止線を検出する停止線検出手段とを有し、前記交差点検出手段で交差点を検出した場合であって、前記信号機検出手段で前記信号機の信号灯色が赤色或いは黄色と判定され、又は前記停止標識検出手段で前記停止標識が検出され、又は前記停止線検出手段で停止線が検出されたとき、前記自車両から前記交差点までの距離が予め設定されている警告報知距離よりも短い場合、前記警報手段に警報信号を出力し、該警報手段から注意を促す警報を出力させることを特徴とする。

本発明によれば、カメラユニットで撮影した走行方向前方の画像データに基づき、交差点、信号機、停止標識、停止線を常時検出するようにしたので、カーナビゲーション装置を搭載していない車両であっても、交差点手前で一時停止させるための警報を運転者に的確に報知させることができ、高い汎用性を得ることができる。

運転支援装置の機能ブロック図ウォーニング判定処理ルーチンを示すフローチャート（その１）ウォーニング判定処理ルーチンを示すフローチャート（その２）停止ブレーキアシストルーチンを示すフローチャート交差点検出方法を示し、（ａ）は消失点へのエッジと鉛直方向へのエッジで交差点を検出する説明図、（ｂ）は画像データを二値化処理して検出した白線に基づいて交差点を検出する説明図、（ｃ）は車道周辺の高低差や色差等により生じるエッジで交差点を検出する説明図交差点に進入する車両に対する支援状態を示す説明図非優先道路から優先道路に進入しようとする車両に対する支援状態を示す説明図

以下、図面に基づいて本発明の一実施形態を説明する。車両１（図６、図７参照）には、運転者の運転を積極的に支援する運転支援装置（いわゆるＡＤＡシステム:Active Drive Assist system）２が搭載されている。

図１に示すように、このＡＤＡシステム２は、このＡＤＡシステム２を搭載する車両１が交差点に近接した場合に、報知して注意を促す警報機能や、車両１が交差点に近接しているにもかかわらず運転者が積極的に減速操作を行わないと判定した場合に強制的にスロットル弁を閉弁させて減速させ、更に、必要に応じて強制的にブレーキを動作させる自動ブレーキ制御機能等が備えられている。

このＡＤＡシステム２は、主に、ステレオカメラ１０、ステレオ画像処理部１１、制御手段としての車両制御部１２等を備えており、この車両制御部１２の入力側に車速を検出する車速センサ１３が接続されている。更に、この車両制御部１２の出力側に、ブサー、ランプ、スピーカ、ディスプレイ等の警報装置１４、及び周知の電子制御スロットル（図示せず）に設けられているスロットルアクチュエータ１５、各車輪に設けられているブレーキを強制的に動作させるブレーキアクチュエータ１７が接続されており、スロットルアクチュエータ１５にてスロットル弁１６が開閉動作される。

ステレオカメラ１０は、車室内のルームミラー近傍に配設されており、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等のイメージセンサを内蔵した左右一対のメインカメラユニット１０ａとサブカメラユニット１０ｂとで構成されており、メインカメラユニット１０ａによって基準画像を取得し、サブカメラによって比較画像を取得する。

ステレオ画像処理部１１は、両カメラユニット１０ａ，１０ｂで撮像した外部環境像（主に車両１の前方の画像）を、所定の輝度階調のデジタル画像に変換（Ａ／Ｄ変換）し、変換後のデジタル画像に対して輝度の補正や画像の幾何学的な変換等の補正を行う。そして、メインカメラユニット１０ａで撮像した画像から基準画像を生成し、サブカメラユニット１０ｂで撮像した画像から比較画像を生成し、これらを画像メモリ（図示せず）に格納する。

車両制御部１２は、周知のマイクロコンピュータで構成されており、ステレオ画像処理部１１で処理した外部環境像データに基づいて、車両１が交差点に近づいているか否かを判定し、交差点の状況に応じて運転者に注意を促す警告を報知し、必要な場合は車両１を強制的に減速及び停止させる制御を行う等の運転支援を行う。

この車両制御部１２で実行される交差点付近での運転支援は、具体的には、図２、図３に示すウォーニング判定処理ルーチン、及び図４に示す停止ブレーキアシストルーチンに従って実行される。

先ず、図２、図３に示すウォーニング判定処理ルーチンについて説明する。車両１が走行すると、ステップＳ１で、両カメラユニット１０ａ，１０ｂで撮影した、車両１の荘好方向前方の画像（外部環境像）データを読込み、信号機３（図６参照）、停止標識４（図７参照）、停止線５（図６、図７参照）、交差点６（図６、図７参照）を検出する。

すなわち、先ず、メインカメラユニット１０ａで撮影した基準画像とサブカメラユニット１０ｂで撮影した比較画像とに基づき視差を算出し、この視差、すなわち、基準画像と比較画像との間における水平方向のずれ量から、三角測量の原理を用いて画像全体に渡る距離情報を求め、三次元の距離分布データ（距離画像データ）を生成する。そして、距離分布データを処理して、信号機３、停止標識４、停止線５、交差点６を検出すると共に、これらと自車両１との距離を各々求める。その際、信号機３、停止標識４の検出は、例えば予め記憶されている信号機３及び停止標識４の形状パターンとのマッチングにより行う。

次いで、ステップＳ２へ進み、交差点６が検出されたか否かを調べる。尚、このステップでの処理が本発明の交差点検出手段に対応している。

交差点６は両カメラユニット１０ａ，１０ｂで撮影した、車両１の前方画像データに基づいて認識する。図５に、交差点６の認識方法について例示する。

図５（ａ）では、基準画像データに基づいて、自車両１の走行方向前方であって消失点方向へ延出するエッジ（斜めエッジ）と鉛直方向へ延出するエッジ（鉛直エッジ）とで形成される壁面を認識し、この壁面が途切れている箇所、すなわち、斜めエッジが途切れている箇所の距離が設定値以上の場合、交差点６と認識する。又、同図（ｂ）では、基準画像データを、低輝度側の画素数と高輝度側の画素数とが所定の割合となる輝度値を閾値として二値化処理してエッジ点の連続する斜めエッジと水平方向へ延出するエッジ（水平エッジ）とを抽出する。これにより、自車両１が走行する車道前方の路上に描かれた路側帯白線やセンターラインを識別し、消失点の途中で斜めエッジと水平エッジとが交わっていると共に、当該斜めエッジが途切れている箇所の距離が所定以上の場合、交差点６と認識する。更に、同図（ｃ）では、基準画像データに基づいて自車両１の走行する車道前方の高低差や色差等で生じるエッジから交差点６を認識する。尚、図６、図７に示すように、交差点６の代表としては、十字路、Ｔ字路があるが、これ以外に、高速道路の出口から一般道路に合流するようなＹ字路等も含まれる。

そして、交差点６が検出された場合、運転支援を行う可能性があるため、ステップＳ３へ進み、又、交差点６が検出されない場合、運転支援を行う必要がないため、ルーチンを抜ける。

ステップＳ３へ進むと、交差点６に信号機３が有るか否かを、上述したパターンマッチング等の手法を用いて調べる。尚、このステップでの処理が、本発明の信号機検出手段に対応している。

そして、信号機３が検出された場合は、ステップＳ４へ進み、検出されない場合は、信号機３が設置されていない交差点であると判定し、ステップＳ５へ分岐し、自車両１が優先道路を走行しているか非優先道路を走行しているかを判定する。

ステップＳ４へ進むと、検出した信号機３で点灯している信号灯色を調べ、信号灯色が黄色、或いは赤色の場合は、運転者に対して注意を促す警告を発する必要があるか否かを判定すべくステップＳ６へジャンプする。又、信号灯色が青色の場合は、運転支援を行う必要がないと判定し、そのままルーチンを抜ける。

この信号灯色は、メインカメラユニット１０ａ（或いはサブカメラユニット１０ｂ）で信号機３を検出した際に、フィルタ処理により点灯色を直接識別する。或いは信号灯の配列は予め決められているため、メインカメラユニット１０ａ（或いはサブカメラユニット１０ｂ）で補足した輝度差によって点灯している信号灯の位置から信号灯色を識別するようにしても良い。

ステップＳ５へ進むと、道路脇に設置されている停止標識４が検出されたか否かを調べる。尚、このステップでの処理が本発明の停止標識検出手段に対応している。

図７に示すように、停止標識４は逆三角形の内周に赤色のペイントが施されており、その中に「止まれ」の文字が白抜きで記載されている。従って、基準画像データで逆三角形を認識し、更に、内部が赤色と認識された場合、停止標識４と判定する。或いは三角形状と内部に記載されている「止まれ」の文字を認識することで停止標識４と判定するようにしてもよい。そして、停止標識４を検出した場合、自車両１は非優先道路を走行していると判定し、ステップＳ６へ進む。又、停止標識４が検出されない場合はステップＳ７へ進む。

ステップＳ４或いはステップＳ５からステップＳ６へ進むと、交差点６から自車両１までの距離（到達距離）Ｌと予め設定した注意報知距離Ｌ１とを比較する。尚、この場合、交差点の手前の停止線５が検出されている場合は、この停止線５を基準として到達距離Ｌが設定される。

この停止線５は、メインカメラユニット１０ａで撮影した基準画像データに基づき、自車両１の進行方向前方であって、交差点６の手前に水平方向に延出する有限なエッジを輝度差などにより認識することで検出する。尚、この場合、図７に示すように、停止線５を認識するに際し、停止線５の手前の路上に描かれている「止まれ」の「れ」の文字を、予め記憶されている形状パターンとのマッチング等により認識し、この「れ」の文字と停止線５との双方を認識したときに、停止線５有りと判定するようにすれば、当該停止線５の検出精度をより高くすることができる。

又、注意報知距離Ｌ１は、車速との関係で設定される可変値である。すなわち、この注意報知距離Ｌ１は、車速に基づいて設定される、自動ブレーキが作動を開始する距離（停止可能距離）と一般の運転者が警告を受けてからブレーキ操作を行うまでの反応時間に対応する距離とを加算し、その値にある余裕度を持たせ距離を加算した値で設定される。

そして、到達距離Ｌが注意報知距離Ｌ１よりも長い場合（Ｌ＞Ｌ１）、注意を促す警告を発する必要がないため、そのままルーチンを抜ける。一方、到達距離Ｌが注意報知距離Ｌ１以内の場合（Ｌ≧Ｌ１）、注意を促す警報を発する可能性があるため、ステップＳ９へジャンプする。

又、ステップＳ５からステップＳ７へ進むと、自車両１の進行方向前方に停止線５があるか否かを上述した方法で調べ、停止線５が検出された場合、自車両１の走行している道路は非優先道路であると判定してステップＳ８へ進む。又、停止線５が検出されない場合は、自車両１は優先道路を走行していると判定し、そのままルーチンを抜ける。尚、このステップＳ７での処理が、本発明の停止線検出手段に対応している。

ステップＳ８へ進むと、自車両１から停止線５までの距離（到達距離）Ｌと注意報知距離Ｌ１とを比較する。そして、Ｌ＞Ｌ１の場合、停止線５まで未だ充分に距離が有り、注意を促す警告を発する必要がないため、そのままルーチンを抜ける。一方、Ｌ≦Ｌ１の場合、ステップＳ９へ進み、ステップＳ９〜１２で、警報装置１４に警報信号を出力するか否かを調べる。

すなわち、先ず、ステップＳ９，Ｓ１０で運転者が自車両１を停止線５の手前で停止させる意思があるか否かを調べる。ステップＳ９では、車速センサ１３で検出した車速Ｖと停止判定車速Ｖ１とを比較する。この停止判定車速Ｖ１は、交差点６に進入しようとする車両が安全に停止させることのできる車速の上限値であり、予め実験等に基づいて設定されている。

そして、車速Ｖが停止判定車速Ｖ１よりも遅い場合（Ｖ＜Ｖ１）、自車両１を停止線５の手前で安全に停止させることができると判定し、そのままルーチンを抜ける。又、車速Ｖが停止判定車速Ｖ１よりも速い場合（Ｖ≧Ｖ１）、自車両１を安全に停止させることのできる速度を超えていると判定し、ステップＳ１０へ進み、車両が減速されているか否かを調べる。車両が減速されているか否かは、車速の時間的変化から調べる。

自車両１が減速されていない場合は、警告を発する必要があるため、ステップＳ１３へ進み、停止ウォーニング処理を実行して、ルーチンを抜ける。又、自車両１が減速されていると判定した場合は、ステップＳ１１へ進み、ステップＳ１１，Ｓ１２で、自車両１が停止線５の手前で安全に停止させることができるか否かを調べる。

先ず、ステップＳ１１では、車速Ｖと減速時停止判定車速Ｖ２とを比較する。この減速時停止判定車速Ｖ２は、自車両１が停止線５の手前で安全に停止させることができるか否かを判定する値であり、予め実験などに基づいて設定されている。

そして、Ｖ＜Ｖ２の場合は、停止線５の手前で自車両１を安全に停止させることができると判定し、そのままルーチンを抜ける。一方、Ｖ≧Ｖ２の場合は、ステップＳ１２へ進む。

ステップＳ１２では、現在の停止線５までの到達距離Ｌと車速Ｖとに基づいて、自車両１が停止線５の手前で停止可能か否かを調べ、停止可能と判断した場合はそのままルーチンを抜ける。又、減速が不十分であるために自車両１を停止線５の手前で停止させることが困難と判断した場合は、ステップＳ１３へ進み、停止ウォーニング処理を実行してルーチンを抜ける。

停止ウォーニングは、車両制御部１２から警報装置１４に警報信号を出力することで動作される。警報装置１４に車両制御部１２からの警報信号が入力されると、当該警報装置１４から運転者に対して、注意を促す警報が発生される。この場合、警報装置１４がブサー、ランプであれば、ブザーの吹鳴、或いはランプの点滅により警報が報知される。又、スピーカであれば音声により注意を促す警報が報知される。更に、ディスプレイであれば、注意を促す文字情報にて警報が報知される。

尚、上述したウォーニング判定処理は、予め設定されている演算周期で繰り返されるため、車速Ｖが停止判定車速Ｖ１或いはＶ２未満となった場合、停止ウォーニングによる警報は自動的に解除される。

次に、図４、図５に示す停止ブレーキアシストルーチンについて説明する。このルーチンでは、先ず、ステップＳ２１で、上述したウォーニング判定処理ルーチンのステップＳ１３で、停止ウォーニングが起動中か否かを調べ、起動していない場合はそのままルーチンを抜ける。一方、停止ウォーニングが起動していると判定した場合は、ステップＳ２２へ進み、車速Ｖと停止可能車速Ｖ３とを比較する。停止可能車速Ｖ３は、到達距離Ｌに基づいて設定され、到達距離Ｌが短いほど低い車速に設定される。

そして、Ｖ＜Ｖ３の場合は停止可能であるため、そのままルーチンを抜ける。一方、Ｖ≧Ｖ３の場合は、ステップＳ２３へ進む。ステップＳ２３では、自車両１が減速しているか否かを車速Ｖの時間的な変化に基づいて調べる。そして、減速されていると判定した場合はステップＳ２４へ分岐し、減速していないと判定した場合はステップＳ２６へ進む。

自車両１が減速されていると判定してステップＳ２４へ進むと、ステップＳ２４，Ｓ２５で自車両１が停止線５の手前で安全に停止させることができるか否かを調べる。

先ず、ステップＳ２４では、車速Ｖと自動ブレーキ作動判定車速Ｖ４とを比較する。この自動ブレーキ作動判定車速Ｖ４は、自車両１が停止線５の手前で安全に停止させることができるか否かを調べる値であり、予め実験などに基づいて設定されている。尚、この自動ブレーキ作動判定車速Ｖ４は上述した減速時停止判定車速Ｖ２と同じ速度に設定されていても良い。

そして、Ｖ＜Ｖ４の場合、現在の減速度で車速Ｖが低下すれば停止線５の手前で自車両１を安全に停止させることができると判定し、そのままルーチンを抜ける。一方、Ｖ≧Ｖ４の場合は、ステップＳ２５へ進む。

ステップＳ２５では、現在の停止線５までの到達距離Ｌと車速Ｖとに基づいて、自車両１を停止線５の手前で停止させるための目標車速を求め、この目標車速と現在の車速Ｖとを比較し、停止可能な場合（Ｖ＜目標車速）、ルーチンを抜ける。一方、減速が不十分でこのままでは、停止線５の手前で自車両１を停止させることが困難と判定した場合（Ｖ≧目標車速）、ステップＳ２６へ進む。

ステップＳ２３或いはステップＳ２５からステップＳ２６へ進むと停止ブレーキアシスト制御を実行してルーチンを抜ける。停止ブレーキアシスト制御について簡単に説明する。

停止ブレーキアシスト制御では、まず、スロットルアクチュエータ１５に全閉信号を出力して、スロットル弁１６を全閉にする。その後、上述した目標車速と自車両１の現在の車速Ｖとの差分に応じて、ブレーキアクチュエータ１７に対する制御量を求め、この制御量でブレーキアクチュエータ１７を動作させて、自車両１を強制的に減速させ、車速Ｖが目標車速に収束するように制御し、停止線５の手前の予め設定されている位置で車速が０[Km/h]、すなわち自車両１が停止するように制御する。

このように、本実施形態によれば、車両１に搭載されているステレオカメラ１０で撮影した画像データに基づいて、交差点６を検出し、当該交差点６に信号機３が設置されているか否か、停止標識４が有るか否か、停止線５があるか否かを常時調べ、信号灯色が黄色か赤色、或いは停止標識４が検知され、或いは停止線５が検知された場合、交差点６手前で自車両１を一時停止させる必要が有ると判定し、運転者が減速操作しない場合は運転支援を行うようにしたので、カーナビゲーション装置を搭載していない車両であっても、交差点６における一時停止を的確に検出することができ、高い汎用性を得ることができる。

しかも、カーナビゲーション装置では、地図データを所定期間ごとに逐一更新する必要があるため費用が嵩むが、本実施形態では自車両１に搭載されているステレオカメラ１０で自車両１の走行方向の前方を常時監視することで交差点６を検出しているため、データの更新が不要で経済的である。

１…車両、
２…ＡＤＡシステム、
３…信号機、
４…停止標識、
５…停止線、
６…交差点、
１０…ステレオカメラ、
１２…車両制御部、
１３…車速センサ、
１４…警報装置、
Ｌ…到達距離
Ｌ１…注意報知距離
Ｖ…車速
Ｖ１…停止判定車速
Ｖ２…減速時停止判定車速
Ｖ３…停止可能車速
Ｖ４…自動ブレーキ作動判定車速

Claims

自車両に搭載されて該車両の走行方向前方を撮影するカメラユニットと、前記カメラユニットで撮影した走行方向前方の画像データに基づいて自車両の運転支援を行う車両制御手段と、該車両制御手段での判定結果に基づいて警報を発する警報手段とを備える運転支援装置において、
前記車両制御手段は、前記カメラユニットで撮影した画像データに基づき、交差点を検出する交差点検出手段と、信号機を検出する信号機検出手段と、停止標識を検出する停止標識検出手段と、前記交差点手前の路上に描かれている停止線を検出する停止線検出手段とを有し、前記交差点検出手段で交差点を検出した場合であって、前記信号機検出手段で前記信号機の信号灯色が赤色或いは黄色と判定され、又は前記停止標識検出手段で前記停止標識が検出され、又は前記停止線検出手段で停止線が検出されたとき、前記自車両から前記交差点までの距離が予め設定されている警告報知距離よりも短い場合、前記警報手段に警報信号を出力し、該警報手段から注意を促す警報を出力させることを特徴とする運転支援装置。
前記車両制御手段は、車速が設定車速よりも遅い場合は前記警報手段に対して警報信号を出力しないことを特徴とする請求項１記載の運転支援装置。
前記車両制御手段は、車速が前記設定車速よりも早い場合であっても減速されている場合は前記警報手段に対して警報信号を出力しないことを特徴とする請求項２記載の運転支援装置。