JP2006318049A - 車両の運転支援装置 - Google Patents

Abstract

【課題】先行車が存在する際のドライバの注意力の変化を的確に判断し、ドライバに対して適切に警報を行う。
【解決手段】注意力評価値が評価閾値以上の場合は、先行車に対する運転の注意状態が強いと判定して、前方警報を通常状態で行う警報より緩和させる。また、注意力評価値が評価閾値より小さいと判定した場合は、先行車に対する運転の注意状態が強くない状態（漫然状態）と判定して覚醒評価値が設定値以上と判定した場合は、覚醒時と判断して、飛出し警報を通常状態で行う警報より緩和させ、覚醒評価値が設定値より低いと判定した場合は、覚醒低下時と判断して、前方警報、飛出し警報共に通常の警報とする。
【選択図】図２

Description

本発明は、前方に先行車が存在する際にドライバの前方注意状態や覚醒状態に応じて適切な警報を行うことができる車両の運転支援装置に関する。

近年、車両の運転支援装置としては、車載したカメラ等により前方の走行環境を検出し、前方障害物に対して警報制御を行う技術や、走行環境から先行車を検出し、この先行車に対して追従制御や警報制御を行う技術が開発され、実用化されている。また、最近においては、ドライバの注意力を推定し、この注意力に応じて警報を可変する技術も開発されている。

例えば、特開平１１−２７６４６１号公報には、ドライバの飛越眼球運動を検出し、この飛越眼球運動からドライバの注意力レベルを推定して、注意力レベルが低いほど早く情報を提示する技術が開示されている。
特開平１１−２７６４６１号公報

ところで、前方に先行車が存在する際には、ドライバは前方視界の中で、この先行車に対しても十分な注意力をはらう必要が生じる。しかしながら、ドライバ状態によっては、注意力が漫然であったり、また逆に、先行車に対して注意力を多く注ぎ過ぎて、他の周囲情報に対しての注意力が疎かになる場合もある。こうした先行車に対する注意力の変化は、上述の先行技術で見分けることは困難で、このような先行車が存在する際の警報をドライバにとって適切に行う技術が求められている。

本発明は上記事情に鑑みてなされたもので、先行車が存在する際のドライバの注意力の変化を的確に判断し、ドライバに対して適切に警報を行うことができる車両の運転支援装置を提供することを目的としている。

本発明は、自車両前方の環境情報を認識する前方情報認識手段と、上記自車両前方の環境情報から先行車情報を検出する先行車情報検出手段と、視線挙動を検出する視線挙動検出手段と、先行車に対する視線挙動のばらつきを示す値を演算するばらつき値演算手段と、上記ばらつきを示す値により上記先行車に対する運転の注意状態を推定する注意状態推定手段と、上記推定した運転の注意状態に応じて車両警報を可変する警報制御手段とを備えたことを特徴としている。

また、自車両周辺の立体物を認識し、立体物情報を検出する情報検出手段と、運転手の視線挙動を検出する視線挙動検出手段と、立体物に対する視線挙動のばらつきを示す値を演算するばらつき値演算手段と、ばらつきを示す値により立体物に対する運転手の注意状態を推定する注意状態推定手段とを備えたことを特徴としている。

本発明による車両の運転支援装置によれば、先行車が存在する際のドライバの注意力の変化を的確に判断することができる。更には、ドライバの注意力に応じて適切に警報を行うことが可能となる。

以下、図面に基づいて本発明の実施の形態を説明する。
図１〜図７は本発明の実施の形態を示し、図１は車両に搭載した運転支援装置の概略構成図、図２は警報制御プログラムのフローチャート、図３は前方視界中の視線挙動の分散値と先行車の幅の説明図、図４は様々な注意力評価値の例の説明図、図５は覚醒状態と覚醒低下状態における車両挙動の説明図、図６は飛出し警報の原理の説明図、図７は前方警報と飛出し警報の緩和の例の説明図である。

図１において、符号１は自動車等の車両（自車両）で、自車両１には、先行車を対象とする接触警報や先行車以外の前方障害物を対象とする接触警報を行う機能を備えた運転支援装置２が搭載されている。

この運転支援装置２は、車外前方を捉えるステレオカメラ３、このステレオカメラ３からの信号を処理するステレオ画像認識装置４、ドライバの眼球運動を捉える視野カメラ５、赤外線ランプ６、視野カメラ５と赤外線ランプ６を用いてドライバの視線状態を検出する視線状態検出装置７、制御ユニット８、警報を表示するモニタ９、及び、警報を発する音声発生装置１０を備えて主要に構成されている。

また、自車両１には、車速を検出する車速センサ１１、ハンドル角を検出するハンドル角センサ１２、ヨーレートを検出するヨーレートセンサ１３が設けられている。そして、車速センサ１１からの車速はステレオ画像認識装置４と制御ユニット８に入力され、ハンドル角センサ１２からのハンドル角、ヨーレートセンサ１３からのヨーレートはステレオ画像認識装置４に入力される。

ステレオカメラ３は、ステレオ光学系として例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組の（左右の）ＣＣＤカメラで構成される。これら左右のＣＣＤカメラは、それぞれ車室内の天井前方に所定間隔をもって取り付けられ、車外の対象（立体物）を異なる視点からステレオ撮像し、画像データをステレオ画像認識装置４に出力する。

ステレオ画像認識装置４は、ステレオカメラ３からの画像データ、車速、ハンドル角、ヨーレートの各信号が入力され、画像データに基づき自車両１前方の立体物データと側壁データと白線データ等の前方情報を検出し、これら前方情報や自車両１の運転状態から自車両１の進行路（自車進行路）を推定する。そして、自車進行路を基に走行領域を設定し、この走行領域に対する立体物の存在状態に応じて、自車両１前方の先行車を識別して抽出し、この結果を制御ユニット８に出力する。

上述の自車進行路の推定は、例えば以下のように行われる。この際、実空間の３次元の座標系を、自車両１固定の座標系とし、自車両１の左右（幅）方向をＸ座標、自車両１の上下方向をＹ座標、自車両１の前後方向をＺ座標で示す。そして、ステレオカメラ４を成す２台のＣＣＤカメラの中央の真下の道路面を原点として、自車両１の右側をＸ軸の＋側、自車両１の上方をＹ軸の＋側、自車両１の前方をＺ軸の＋側として設定する。

ａ．白線に基づく自車進行路推定…左右両方、若しくは、左右どちらか片側の白線データが得られており、これら白線データから自車両１が走行している車線の形状が推定できる場合、自車進行路は、自車両１の幅や、自車両１の現在の車線内の位置を考慮して、白線と並行して形成される。

ｂ．ガードレール、縁石等の側壁データに基づく自車進行路推定…左右両方、若しくは、左右どちらか片側の側壁データが得られており、これら側壁データから自車両１が走行している車線の形状が推定できる場合、自車進行路は、自車両１の幅や、自車両１の現在の車線内の位置を考慮して、側壁と並行して形成される。

ｃ．先行車軌跡に基づく自車進行路推定…立体物データの中から抽出した先行車の過去の走行軌跡を基に、自車進行路を推定する。

ｄ．自車両１の走行軌跡に基づく自車進行路推定…自車両１の運転状態を基に、自車進行路を推定する。例えば、ヨーレートをγ、自車速をＶｏ、ハンドル角をθHとして、以下の手順で自車進行路を推定する。

まず、ヨーレートセンサ１３が有効か判定され、ヨーレートセンサ１３が有効であれば、以下（１）式により現在の旋回曲率Ｃuaが算出される。
Ｃua＝γ／Ｖｏ …（１）

一方、ヨーレートセンサ１３が無効であれば、ハンドル角θHから求められる操舵角δが、所定値（例えば０．５７度）以上で転舵が行われているか否か判定され、操舵角δが０．５７度以上で操舵が行われている場合は、操舵角δと自車速Ｖｏを用いて例えば以下（２）、（３）式により現在の旋回曲率Ｃuaが算出される。
Ｒｅ＝（１＋Ａ・Ｖ^２）・（Ｌ／δ） …（２）
Ｃua＝１／Ｒｅ …（３）
ここで、Ｒｅは旋回半径、Ａは車両のスタビリティファクタ、Ｌはホイールベースである。

また、操舵角δが０．５７度より小さい場合は、現在の旋回曲率Ｃuaは０（直進走行状態）とされる。

こうして、得られる現在の旋回曲率Ｃuaを加えた過去所定時間（例えば約０．３秒間）の旋回曲率から平均旋回曲率を算出し、自車進行路を推定する。

尚、ヨーレートセンサ１３が有効であって、上述の（１）式により現在の旋回曲率Ｃuaが算出される場合であっても、操舵角δが０．５７度より小さい場合は、現在の旋回曲率Ｃuaは０（直進走行状態）に補正するようにしても良い。

以上のようにして推定される自車進行路を略中心として、例えば、左右約１．１ｍの幅を自車両の走行領域として設定する。

ステレオ画像認識装置４における、ステレオカメラ３からの画像データの処理は、例えば以下のように行われる。まず、ステレオカメラ３のＣＣＤカメラで撮像した自車両１前方のステレオ画像対に対し、対応する位置のずれ量から三角測量の原理によって距離情報を求める処理を行なって、三次元の距離分布を表す距離画像を生成する。そして、このデータを基に、周知のグルーピング処理を行い、予め記憶しておいた３次元的な道路形状データ、側壁データ、立体物データ等の枠（ウインドウ）と比較し、白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、車両等の立体物データを抽出する。

こうして抽出された白線データ、側壁データ、立体物データは、それぞれのデータ毎に異なったナンバーが割り当てられる。また、更に立体物データに関しては、自車両１からの距離の相対的な変化量と自車両１の車速の関係から、停止している停止物と、自車両１と略同方向に移動する順方向移動物等に分類されて出力される。そして、例えば、自車走行領域内に突出した順方向移動物の中で、所定時間連続して検出され、自車両１から最も近い立体物が先行車として登録される。

このように、本実施の形態においては、ステレオカメラ３、及び、ステレオ画像認識装置４により前方情報認識手段、先行車情報検出手段が構成されている。

一方、本実施の形態におけるドライバの視線挙動の検出は、所謂、瞳孔／角膜反射法により検出するものである。従って、視野カメラ５は赤外線ＣＣＤを備えたカメラであり、赤外線ランプ６はＬＥＤランプである。そして、視線状態検出装置７は、角膜上の赤外線ランプ６による虚像が、角膜と眼球の回転中心の違いにより、眼球運動によって平行移動するのを視野カメラ５で瞳孔中心も同時に検出しながら瞳孔中心を基準として検出することで視線挙動の検出を行うようになっている。尚、視線挙動の検出は、この検出法に限るものではなく、可能であれば、他の検出法（ＥＯＧ（Electro-Oculography）法、強膜反射法、角膜反射法、サーチコイル法等）により検出するものであっても良い。すなわち、視野カメラ５、赤外線ランプ６、視線状態検出装置７は、視線挙動検出手段として設けられている。

制御ユニット８は、ステレオ画像認識装置４から自車進行路、走行領域、先行車情報、先行車以外の立体物情報が、視線状態検出装置７からドライバの視線挙動の信号（単位は角度）が、車速センサ１１から自車速が入力される。

この際、図３に示すように、ステレオ画像認識装置４からの先行車の幅情報は、長さ単位（図３中のＷ）で、ドライバの視線挙動は角度単位で与えられるため、これらの演算を可能にするため、図４に示すように、先行車の幅Ｗを角度単位の値αに変換する。

この変換式は、以下の（４）式による。
α＝２・arctan（（Ｗ／２）／Ｌ） …（４）
ここで、Ｌは車間距離である。

また、制御ユニット８に入力されるドライバの視線挙動の信号からは、先行車に対する視線挙動のばらつきを示す値として分散値βが以下の（５）式により演算される。すなわち、眼球の回転角を基にして、仮想平面上における注視点を算出する。仮想平面上の注視点の水平方向成分をｘｉとし、ある時間スパン[ｔ１，ｔ２]（例えば、３０〜６０秒）を設定し、その間の注視点の水平方向の分散値βは、
β＝（１／（ｔ２−ｔ１＋１））・Σ_ｊ＝ｔ１ ^ｔ２（ｘｊ^２−ｘａ^２） …（５）
ここで、ｘａは平均値であり、以下の（６）式で求められる。

ｘａ＝（１／（ｔ２−ｔ１＋１））・Σ_ｊ＝ｔ１ ^ｔ２ｘｊ …（６）

尚、先行車に対する視線挙動のばらつきを示す値としては、標準偏差ｓｘを用いても良い。
ｓｘ＝（（１／ｎ）・Σ_ｊ＝ｔ１ ^ｔ２（ｘｊ^２−ｘａ^２））^１／２ …（７）

そして、ドライバの視線挙動の分散値βに占める先行車の幅αの割合を注意力状態を表す注意力評価値Ｓｈとして演算し（Ｓｈ＝α／β）、この注意力評価値Ｓｈが、予め設定しておいた評価閾値Ｓhc（例えば、０．１）以上の場合（例えば、図４中のβ１の状態の場合）は、先行車に対する運転の注意状態が強いと判定して、後述の先行車を対象とする警報（前方警報）を通常状態で行う警報より緩和させる（尚、先行車以外の前方障害物を対象とする警報（飛出し警報）はそのままとする）。

また、注意力評価値Ｓｈが、予め設定しておいた評価閾値Ｓhcより小さい場合（例えば、図４中のβ２の状態の場合）は、先行車に対する運転の注意状態が強くない状態（漫然状態）と判定する。この漫然状態の際には、更に、ドライバの覚醒度を示す覚醒評価値Ｋｈを演算し、覚醒評価値Ｋｈが予め設定しておいた値Ｋhc以上の場合は覚醒時と判断して飛出し警報を通常状態で行う警報より緩和させる（尚、前方警報はそのままとする）。

また、この漫然状態の際に、覚醒評価値Ｋｈが予め設定しておいた値Ｋhcより低く覚醒低下状態と判断した場合は、前方警報及び飛出し警報もそのままとする。

ここで、覚醒評価値Ｋｈは、例えば、以下の（８）式により演算する。
Ｋｈ＝（長時間閉眼瞬目回数）／（総瞬目回数） …（８）

尚、覚醒度の評価は上述の（８）式で求められる覚醒評価値Ｋｈではなく、図５に示すように、ドライバの車両運転状態（ハンドル操作）で判断するようにしても良い。すなわち、覚醒状態においては、図５（ａ）に示すように、周波数の高い、振幅の小さな車両挙動を生じるのに対し、覚醒低下状態においては、図５（ｂ）に示すように、周波数の低い、振幅の大きなふらつきを生じる。これを判定して覚醒度を評価しても良い。

そして、制御ユニット８は、先行車を対象とする前方警報として、例えば、次のような警報を行う。前方に先行車との相対速度に応じた（自車両１が先行車に接近する速度が速いほど長い）警報距離を設定しておき、先行車がこの警報距離に存在する際に、前方警報フラグを制御ロジック上で立てて、モニタ９の警報表示を所定の周波数で点滅させて警報し、また、音声発生装置１０から所定間隔毎に音声による警報を発生させる。

また、制御ユニット８は、先行車以外の前方障害物を対象とする飛出し警報として、例えば、次のような警報を行う。図６に示すように、自車走行領域の外側に飛出し警報領域を予め設定しておき、前方障害物がこの飛出し警報領域内に存在する際に、飛出し警報フラグを制御ロジック上で立てて、モニタ９の警報表示を所定の周波数で点滅させて警報し、また、音声発生装置１０から所定間隔毎に音声による警報を発生させる。

尚、上述の前方警報及び飛出し警報は、あくまでも一例であり、他の警報制御の形態であっても良い。

このように、本実施の形態では、制御ユニット８は、ばらつき値演算手段、注意状態推定手段、覚醒度推定手段、及び、警報制御手段としての機能を有して構成されている。

次に、上述の警報制御プログラムについて、図２のフローチャートで説明する。まず、ステップ（以下、「Ｓ」と略称）１０１で必要なパラメータの読み込みが行われる。

次いで、Ｓ１０２に進み、ステレオカメラ３、及び、ステレオ画像認識装置４により先行車の抽出を行い、Ｓ１０３に進み、制御ユニット８は、先行車の幅情報を角度αに変換する。

その後、Ｓ１０４に進み、制御ユニット８は、ドライバの視線挙動の平均値とこの平均値からの分散値βを算出し、Ｓ１０５に進んで、ドライバの視線挙動の分散値βに占める先行車の幅αの割合を注意力状態を表す注意力評価値Ｓｈとして演算する（Ｓｈ＝α／β）。

そして、Ｓ１０６に進み、注意力評価値Ｓｈと予め設定しておいた評価閾値Ｓhcとを比較して、注意力評価値Ｓｈが評価閾値Ｓhc以上の場合は、先行車に対する運転の注意状態が強いと判定してＳ１０７に進み、前方警報を通常状態で行う警報より緩和させ、プログラムを抜ける（尚、飛出し警報はそのままとする）。具体的には、図７（ａ）に示すように、前方警報フラグが立っても、全てのフラグで警報することなしに間引いて行う。尚、図７（ａ）のような間引く手法ではなく、モニタ９の警報表示の点滅する周期を長くしたり、音声発生装置１０からの発する警報の頻度を低下させたりするようにしても良い。すなわち、この状態においては、ドライバが先行車に対して十分な注意をはらっていると考えられるため、通常の前方警報を行うと、却って煩わしく感じてしまう場合がある。従って、前方警報を緩和させることにより、こうしたドライバに対して必要以上に干渉することを防止するのである。

一方、Ｓ１０６の判定の結果、注意力評価値Ｓｈが評価閾値Ｓhcより小さいと判定した場合は、先行車に対する運転の注意状態が強くない状態（漫然状態）と判定してＳ１０８に進み、前述の（５）式により覚醒評価値Ｋｈを演算する。

そして、Ｓ１０９に進み、覚醒評価値Ｋｈと予め設定しておいた値Ｋhcとを比較して、覚醒評価値Ｋｈが設定値Ｋhc以上と判定した場合は、覚醒時と判断して、Ｓ１１０に進み、飛出し警報を通常状態で行う警報より緩和させ、プログラムを抜ける（尚、前方警報はそのままとする）。具体的には、図７（ｂ）に示すように、飛出し警報フラグが立っても、全てのフラグで警報することなしに間引いて行う。尚、モニタ９の警報表示の点滅する周期を長くしたり、音声発生装置１０からの発する警報の頻度を低下させたりしても良い。すなわち、この状態においては、ドライバが先行車以外の障害物に対して十分な注意をはらっていると考えられるため、通常の飛出し警報を行うと、却って煩わしく感じてしまう場合がある。従って、飛出し警報を緩和させることにより、こうしたドライバに対して必要以上に干渉することを防止するのである。

また、Ｓ１０９の判定の結果、覚醒評価値Ｋｈが設定値Ｋhcより低いと判定した場合は、覚醒低下時と判断してＳ１１１に進み、前方警報、飛出し警報共に通常の警報とし、プログラムを抜ける。すなわち、図７（ｃ）に示すように、前方警報フラグ、及び、飛出し警報フラグが立ったとき全てに警報するようにする。尚、この状態では、ドライバに対して、できるだけ警報を迅速に行うのが好ましいため、覚醒評価値Ｋｈが小さいほどモニタ９の警報表示の点滅する周期を早く、音声発生装置１０からの発する警報の頻度を高くさせたりしても良い。

このように、本実施の形態においては、注意力評価値Ｓｈが評価閾値Ｓhc以上の場合は、先行車に対する運転の注意状態が強いと判定して、前方警報を通常状態で行う警報より緩和させる。また、注意力評価値Ｓｈが評価閾値Ｓhcより小さいと判定した場合は、先行車に対する運転の注意状態が強くない状態（漫然状態）と判定して覚醒評価値Ｋｈが設定値Ｋhc以上と判定した場合は、覚醒時と判断して、飛出し警報を通常状態で行う警報より緩和させ、覚醒評価値Ｋｈが設定値Ｋhcより低いと判定した場合は、覚醒低下時と判断して、前方警報、飛出し警報共に通常の警報とする。従って、先行車が存在する際のドライバの注意力の変化を的確に判断し、ドライバに対して適切に警報を行うことが可能となる。

尚、本実施の形態においては、注意力評価値Ｓｈが評価閾値Ｓhcより小さいと判定した場合は、更に、覚醒評価値Ｋｈで場合分けして警報制御を変えるようにしているが、仕様により、覚醒評価値Ｋｈでの場合分けを省略し、飛出し警報を通常状態で行う警報より緩和させるように簡素化しても良い。

また、本実施の形態では、注意力評価値Ｓｈを求めるため、先行車の幅Ｗを角度に換算して計算するようにしているが、逆に、ドライバの視線挙動の分散値βを先行車位置における長さ寸法に換算して、注意力評価値Ｓｈを求めるようにしても同様の結果が得られる。

更に、本実施の形態では、先行車の認識をステレオカメラからの画像を基に行うようになっているが、他の技術、例えば、ミリ波レーダと単眼カメラからの情報を基に認識するものであっても良い。

車両に搭載した運転支援装置の概略構成図 警報制御プログラムのフローチャート 前方視界中の視線挙動の分散値と先行車の幅の説明図 様々な注意力評価値の例の説明図 覚醒状態と覚醒低下状態における車両挙動の説明図 飛出し警報の原理の説明図 前方警報と飛出し警報の緩和の例の説明図

符号の説明

１ 自車両
２ 運転支援装置
３ ステレオカメラ（前方情報認識手段、先行車情報検出手段）
４ ステレオ画像認識装置（前方情報認識手段、先行車情報検出手段）
５ 視野カメラ（視線挙動検出手段）
６ 赤外線ランプ（視線挙動検出手段）
７ 視線状態検出装置（視線挙動検出手段）
８ 制御ユニット（ばらつき値演算手段、注意状態推定手段、覚醒度推定手段、警報制御手段）
９ モニタ
１０ 音声発生装置

Claims (7)

1. 自車両前方の環境情報を認識する前方情報認識手段と、
   上記自車両前方の環境情報から先行車情報を検出する先行車情報検出手段と、
   視線挙動を検出する視線挙動検出手段と、
   先行車に対する視線挙動のばらつきを示す値を演算するばらつき値演算手段と、
   上記ばらつきを示す値により上記先行車に対する運転の注意状態を推定する注意状態推定手段と、
   上記推定した運転の注意状態に応じて車両警報を可変する警報制御手段と、
   を備えたことを特徴とする車両の運転支援装置。
2. 上記警報制御手段は、上記注意状態推定手段で推定した上記先行車に対する運転の注意状態が予め設定しておいた評価閾値以上で上記先行車に対する運転の注意状態が強いと判定した場合、少なくとも上記先行車を対象とする警報を通常状態で行う警報より緩和させることを特徴とする請求項１記載の車両の運転支援装置。
3. 上記警報制御手段は、上記注意状態推定手段で推定した上記先行車に対する運転の注意状態が予め設定しておいた評価閾値よりも低く上記先行車に対する運転の注意状態が強くないと判定した場合、少なくとも上記先行車以外の前方障害物を対象とする警報を通常状態で行う警報より緩和させることを特徴とする請求項１又は請求項２記載の車両の運転支援装置。
4. 運転時における覚醒度を推定する覚醒度推定手段を有し、
   上記警報制御手段は、上記注意状態推定手段で推定した上記先行車に対する運転の注意状態が強くないと判定した場合で、且つ、上記覚醒度が予め設定しておいた条件を満足する覚醒時の場合は、少なくとも上記先行車以外の前方障害物を対象とする警報を通常状態で行う警報より緩和させることを特徴とする請求項３記載の車両の運転支援装置。
5. 上記視線挙動のばらつきを示す値は、視線の水平方向運動の分散値と標準偏差のどちらかであることを特徴とする請求項１乃至請求項４の何れか一つに記載の車両の運転支援装置。
6. 自車両周辺の立体物を認識し、立体物情報を検出する情報検出手段と、
   運転手の視線挙動を検出する視線挙動検出手段と、
   上記立体物に対する視線挙動のばらつきを示す値を演算するばらつき値演算手段と、
   上記ばらつきを示す値により上記立体物に対する運転手の注意状態を推定する注意状態推定手段と、
   を備えたことを特徴とする車両の運転支援装置。
7. 上記注意状態推定手段は、水平方向におけるドライバの視線挙動のばらつきを示す値に占める立体物の幅の割合によりドライバの注視状態を推定することを特徴とする請求項６記載の車両の運転支援装置。

Images