JP2007073011A

JP2007073011A - 運転状態推定装置

Info

Publication number: JP2007073011A
Application number: JP2005262561A
Authority: JP
Inventors: Toshiya Arakawa; 俊也荒川; Noriyoshi Matsuo; 典義松尾; Masahiro Kinoshita; 昌裕木下; Shinichi Satomi; 真一里見; Hisashi Kondo; 尚志近藤
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2005-09-09
Filing date: 2005-09-09
Publication date: 2007-03-22
Anticipated expiration: 2025-09-09
Also published as: JP4754305B2

Abstract

【課題】ドライバの注意力の変化を的確に推定しドライバに対して適切に警報を行う。
【解決手段】制御ユニット８は、先行車を基準とする注意過多状態判定領域を設定し、予め設定した状況下での注意過多状態判定領域内での視線の基準停留時間に対する過去１０秒間における注意過多状態判定領域内での視線の停留時間の比率（停留時間比）が予め設定した閾値以上で、且つ、過去１０秒間の先行車を基準とする平均視線角度が予め設定した閾値以下の場合に注意過多状態と判定する。一方、複数の立体物を基準とする漫然状態判定領域を設定し、予め設定した状況下での漫然状態判定領域内での視線の基準停留時間に対する過去１０秒間における漫然判定領域内での視線の停留時間の比率（停留時間比）が予め設定した閾値以上で、且つ、過去１０秒間の先行車を基準とする平均視線角度が予め設定した閾値以上の場合に漫然状態と判定する。
【選択図】図３

Description

本発明は、前方の立体物を視認するドライバの運転状態を的確に推定し、適切な警報を行うことができる運転状態推定装置に関する。

近年、車両においては、車載したカメラ等により前方の走行環境を検出し、前方障害物に対して警報制御を行う技術や、走行環境から先行車を検出し、この先行車に対して追従制御や警報制御を行う技術が開発され、実用化されている。また、最近においては、ドライバの注意力を推定し、この注意力に応じて警報を可変する技術も開発されている。

例えば、特開平１１−２７６４６１号公報には、ドライバの飛越眼球運動を検出し、この飛越眼球運動からドライバの注意力レベルを推定して、注意力レベルが低いほど早く情報を提示する技術が開示されている。
特開平１１−２７６４６１号公報

ところで、前方に先行車が存在する際には、ドライバは前方視界の中で、この先行車に対しても十分な注意力をはらう必要が生じる。しかしながら、ドライバ状態によっては、先行車以外のものに注意力を多く注ぐ漫然状態であったり、逆に、先行車に対して注意力を多く注ぎ過ぎて（注意過多状態）、他の周囲情報に対しての注意力が疎かになる場合もある。こうした先行車に対する注意力の変化は、上述の特許文献１では見分けることが困難で、このような先行車が存在する際に、ドライバの運転状態を的確に推定し、警報を適切に行う技術が求められている。

本発明は上記事情に鑑みてなされたもので、先行車が存在する際のドライバの注意力の変化を的確に推定し、ドライバに対して適切に警報を行うことができる運転状態推定装置を提供することを目的としている。

本発明は、自車両周辺の立体物を認識して立体物情報を検出する立体物情報検出手段と、運転者の視線挙動を検出する視線挙動検出手段と、上記立体物情報検出手段で検出した立体物を基に判定領域を設定する領域設定手段と、予め設定した状況下における上記判定領域内での視線の停留時間を基準停留時間として該基準停留時間に対する上記判定領域内での視線の停留時間の比率に基づいて運転者の運転状態を判定する運転状態判定手段とを備えたことを特徴としている。

本発明による運転状態推定装置によれば、先行車が存在する際のドライバの注意力の変化を的確に推定し、ドライバに対して適切に警報を行うことが可能となる。

以下、図面に基づいて本発明の実施の形態を説明する。
図１〜図９は本発明の実施の第１形態を示し、図１は車両に搭載した運転状態推定装置の概略構成図、図２は警報制御プログラムのフローチャート、図３は注意過多状態判定処理ルーチンのフローチャート、図４は漫然状態判定処理ルーチンのフローチャート、図５は前方視界中の視線挙動と先行車を基に設定される注意過多状態の判定領域の説明図、図６は漫然状態の判定領域の説明図、図７はドライバから先行車への視線角度と閾値の説明図、図８は飛出し警報の原理の説明図、図９は前方警報と飛出し警報の緩和の例の説明図である。

図１において、符号１は自動車等の車両（自車両）で、自車両１には、先行車を対象とする接触警報や先行車以外の前方障害物を対象とする接触警報を行う機能を備えた運転状態推定装置２が搭載されている。

この運転状態推定装置２は、車外前方を捉えるステレオカメラ３、このステレオカメラ３からの信号を処理するステレオ画像認識装置４、ドライバの眼球運動を捉える視野カメラ５、赤外線ランプ６、視野カメラ５と赤外線ランプ６を用いてドライバの視線状態を検出する視線状態検出装置７、制御ユニット８、警報を表示するモニタ９、及び、警報を発する音声発生装置１０を備えて主要に構成されている。

また、自車両１には、車速を検出する車速センサ１１、ハンドル角を検出するハンドル角センサ１２、ヨーレートを検出するヨーレートセンサ１３が設けられている。そして、車速センサ１１からの車速はステレオ画像認識装置４と制御ユニット８に入力され、ハンドル角センサ１２からのハンドル角、ヨーレートセンサ１３からのヨーレートはステレオ画像認識装置４に入力される。

ステレオカメラ３は、ステレオ光学系として例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた１組の（左右の）ＣＣＤカメラで構成される。これら左右のＣＣＤカメラは、それぞれ車室内の天井前方に所定間隔をもって取り付けられ、車外の対象（立体物）を異なる視点からステレオ撮像し、画像データをステレオ画像認識装置４に出力する。

ステレオ画像認識装置４は、ステレオカメラ３からの画像データ、車速、ハンドル角、ヨーレートの各信号が入力され、画像データに基づき自車両１前方の立体物データと側壁データと白線データ等の前方情報を検出し、これら前方情報や自車両１の運転状態から自車両１の進行路（自車進行路）を推定する。そして、自車進行路を基に走行領域を設定し、この走行領域に対する立体物の存在状態に応じて、自車両１前方の先行車を識別して抽出し、この結果を制御ユニット８に出力する。

上述の自車進行路の推定は、例えば以下のように行われる。この際、実空間の３次元の座標系を、自車両１固定の座標系とし、自車両１の左右（幅）方向をＸ座標、自車両１の上下方向をＹ座標、自車両１の前後方向をＺ座標で示す。そして、ステレオカメラ４を成す２台のＣＣＤカメラの中央の真下の道路面を原点として、自車両１の右側をＸ軸の＋側、自車両１の上方をＹ軸の＋側、自車両１の前方をＺ軸の＋側として設定する。

ａ．白線に基づく自車進行路推定…左右両方、若しくは、左右どちらか片側の白線データが得られており、これら白線データから自車両１が走行している車線の形状が推定できる場合、自車進行路は、自車両１の幅や、自車両１の現在の車線内の位置を考慮して、白線と並行して形成される。

ｂ．ガードレール、縁石等の側壁データに基づく自車進行路推定…左右両方、若しくは、左右どちらか片側の側壁データが得られており、これら側壁データから自車両１が走行している車線の形状が推定できる場合、自車進行路は、自車両１の幅や、自車両１の現在の車線内の位置を考慮して、側壁と並行して形成される。

ｃ．先行車軌跡に基づく自車進行路推定…立体物データの中から抽出した先行車の過去の走行軌跡を基に、自車進行路を推定する。

ｄ．自車両１の走行軌跡に基づく自車進行路推定…自車両１の運転状態を基に、自車進行路を推定する。例えば、ヨーレートをγ、自車速をＶｏ、ハンドル角をθHとして、以下の手順で自車進行路を推定する。

まず、ヨーレートセンサ１３が有効か判定され、ヨーレートセンサ１３が有効であれば、以下（１）式により現在の旋回曲率Ｃuaが算出される。
Ｃua＝γ／Ｖｏ …（１）

一方、ヨーレートセンサ１３が無効であれば、ハンドル角θHから求められる操舵角δが、所定値（例えば０．５７度）以上で転舵が行われているか否か判定され、操舵角δが０．５７度以上で操舵が行われている場合は、操舵角δと自車速Ｖｏを用いて例えば以下（２）、（３）式により現在の旋回曲率Ｃuaが算出される。
Ｒｅ＝（１＋Ａ・Ｖ^２）・（Ｌ／δ） …（２）
Ｃua＝１／Ｒｅ …（３）
ここで、Ｒｅは旋回半径、Ａは車両のスタビリティファクタ、Ｌはホイールベースである。

また、操舵角δが０．５７度より小さい場合は、現在の旋回曲率Ｃuaは０（直進走行状態）とされる。

こうして、得られる現在の旋回曲率Ｃuaを加えた過去所定時間（例えば約０．３秒間）の旋回曲率から平均旋回曲率を算出し、自車進行路を推定する。

尚、ヨーレートセンサ１３が有効であって、上述の（１）式により現在の旋回曲率Ｃuaが算出される場合であっても、操舵角δが０．５７度より小さい場合は、現在の旋回曲率Ｃuaは０（直進走行状態）に補正するようにしても良い。

以上のようにして推定される自車進行路を略中心として、例えば、左右約１．１ｍの幅を自車両の走行領域として設定する。

ステレオ画像認識装置４における、ステレオカメラ３からの画像データの処理は、例えば以下のように行われる。まず、ステレオカメラ３のＣＣＤカメラで撮像した自車両１前方のステレオ画像対に対し、対応する位置のずれ量から三角測量の原理によって距離情報を求める処理を行なって、三次元の距離分布を表す距離画像を生成する。そして、このデータを基に、周知のグルーピング処理を行い、予め記憶しておいた３次元的な道路形状データ、側壁データ、立体物データ等の枠（ウインドウ）と比較し、白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、車両等の立体物データを抽出する。

こうして抽出された白線データ、側壁データ、立体物データは、それぞれのデータ毎に異なったナンバーが割り当てられる。また、更に立体物データに関しては、自車両１からの距離の相対的な変化量と自車両１の車速の関係から、停止している停止物と、自車両１と略同方向に移動する順方向移動物等に分類されて出力される。そして、例えば、自車走行領域内に突出した順方向移動物の中で、所定時間連続して検出され、自車両１から最も近い立体物が先行車として登録される。

このように、本実施の第１形態においては、ステレオカメラ３、及び、ステレオ画像認識装置４により立体物情報検出手段が構成されている。

一方、本実施の第１形態におけるドライバの視線挙動の検出は、所謂、瞳孔／角膜反射法により検出するものである。従って、視野カメラ５は赤外線ＣＣＤを備えたカメラであり、赤外線ランプ６はＬＥＤランプである。そして、視線状態検出装置７は、角膜上の赤外線ランプ６による虚像が、角膜と眼球の回転中心の違いにより、眼球運動によって平行移動するのを視野カメラ５で瞳孔中心も同時に検出しながら瞳孔中心を基準として検出することで視線挙動の検出を行うようになっている。尚、視線挙動の検出は、この検出法に限るものではなく、可能であれば、他の検出法（ＥＯＧ（Electro-Oculography）法、強膜反射法、角膜反射法、サーチコイル法等）により検出するものであっても良い。すなわち、視野カメラ５、赤外線ランプ６、視線状態検出装置７は、視線挙動検出手段として設けられている。

制御ユニット８は、ステレオ画像認識装置４から自車進行路、走行領域、先行車情報、先行車以外の立体物情報が、視線状態検出装置７からドライバの視線挙動の信号（単位は角度）が、車速センサ１１から自車速が入力される。

この際、図５に示すように、ステレオ画像認識装置４からの先行車の幅情報は長さ単位（図５中のＷ）で、ドライバの視線挙動は角度単位で与えられるため、これらの演算を可能にするため、以下の（４）式により、先行車の幅Ｗを角度単位の値αに変換する（図７の関係参照）。
α＝２・arctan（（Ｗ／２）／Ｌ） …（４）
ここで、Ｌは車間距離である。

そして、制御ユニット８では、後述する警報制御プログラムに従って、先行車に対する運転の注意状態が強い注意過多状態か、或いは、先行車以外に対する注意状態が強い漫然状態か、或いは、それ以外の状態かを判定する。

本実施の第１形態による注意過多状態の判定は、後述の図３の注意過多状態判定処理ルーチンに従って行われ、以下の２つの条件が共に満足される場合に注意過多状態と判定される。

まず、第１の条件として、図５に示すように、先行車を基準とする（先行車ウィンドウの中心を基準とする）、半径５degの注意過多状態判定領域Ｘ１を設定する。予め設定した状況として、例えば、運転を開始して先行車を検出してから１０秒間における注意過多状態判定領域Ｘ１内での視線の停留時間を基準停留時間ＴＢとし、また、過去１０秒間における注意過多状態判定領域Ｘ１内での視線の停留時間Ｔｓを設定する。そして、基準停留時間ＴＢに対する停留時間Ｔｓの比率を停留時間比Ｔｒ（＝Ｔｓ／ＴＢ）として演算し、この停留時間比Ｔｒが予め設定した閾値Ｔrc1（例えば、０．５）以上の場合に注意過多状態と判定する。尚、本実施の第１形態では、注意過多状態判定領域はＸ１一つを用いているが、複数、例えば、図５におけるＸ２の領域（先行車横のガードレールを中心とした半径５degの領域）を考えて、これら２つの領域で停留時間比を求めるようにしても良い。

また、第２の条件として、図７に示すように、過去１０秒間の先行車を基準とする（先行車ウィンドウの中心を基準とする）平均視線角度θ10aが予め設定した閾値θ10ac1（例えば、１０deg）以下の場合に注意過多状態と判定する。

一方、本実施の第１形態による漫然状態の判定は、後述の図４の漫然状態判定処理ルーチンに従って行われ、以下の２つの条件が共に満足される場合に漫然状態と判定される。

まず、第１の条件として、図６（ａ）に示すように、先行車を基準とする（先行車ウィンドウの中心を基準とする）半径５degの領域Ｙ１と、他の立体物（例えば、先行車横のガードレールや、標識、車両等の立体物）を基準とする半径５degの領域Ｙ２を定め、その中間に、領域Ｙ１と領域Ｙ２とに接する楕円、或いは、円形状の領域を漫然状態判定領域Ｙ０として設定する。予め設定した状況として、例えば、運転を開始して先行車を検出してから１０秒間における漫然状態判定領域Ｙ０内での視線の停留時間を基準停留時間ＴＢとし、また、過去１０秒間における漫然状態判定領域Ｙ０内での視線の停留時間Ｔｓを設定する。そして、基準停留時間ＴＢに対する停留時間Ｔｓの比率を停留時間比Ｔｒ（＝Ｔｓ／ＴＢ）として演算し、この停留時間比Ｔｒが予め設定した閾値Ｔrc2（例えば、０．５）以上の場合に漫然状態と判定する。尚、漫然状態判定領域Ｙ０は、図６（ｂ）に示すように設定しても良い。すなわち、図６（ｂ）の漫然状態判定領域Ｙ０は、左側立体物の右側上端点を点Ａ、右側下端点を点Ｂ、右側立体物の左側上端点を点Ｃ、左側下端点を点Ｄとする。そして、点Ａ、点Ｂ、点Ｄ、点Ｃで閉塞される領域から、右側立体物を基に作成された領域Ｙ１と左側立体物を基に作成された領域Ｙ２をのぞいた部分を漫然状態判定領域Ｙ０として設定するのである。

また、第２の条件として、図７に示すように、過去１０秒間の先行車を基準とする（先行車ウィンドウの中心を基準とする）平均視線角度θ10aが予め設定した閾値θ10ac2（例えば、１５deg）以上の場合に漫然状態と判定する。

上述の注意過多状態の判定の結果、注意過多状態と判定された場合には、後述の先行車を対象とする警報（前方警報）を通常状態で行う警報より緩和させる（尚、先行車以外の前方障害物を対象とする警報（飛出し警報）はそのままとする）。

逆に、漫然状態の判定の結果、漫然状態と判定された場合には、後述の飛出し警報を通常状態で行う警報より緩和させる（尚、前方警報はそのままとする）。

また、注意過多状態でも漫然状態でもない場合は、前方警報及び飛出し警報はそのままとする。

制御ユニット８は、先行車を対象とする前方警報として、例えば、次のような警報を行う。前方に先行車との相対速度に応じた（自車両１が先行車に接近する速度が速いほど長い）警報距離を設定しておき、先行車がこの警報距離に存在する際に、前方警報フラグを制御ロジック上で立てて、モニタ９の警報表示を所定の周波数で点滅させて警報し、また、音声発生装置１０から所定間隔毎に音声による警報を発生させる。

また、制御ユニット８は、先行車以外の前方障害物を対象とする飛出し警報として、例えば、次のような警報を行う。図８に示すように、自車走行領域の外側に飛出し警報領域を予め設定しておき、前方障害物がこの飛出し警報領域内に存在する際に、飛出し警報フラグを制御ロジック上で立てて、モニタ９の警報表示を所定の周波数で点滅させて警報し、また、音声発生装置１０から所定間隔毎に音声による警報を発生させる。

尚、上述の前方警報及び飛出し警報は、あくまでも一例であり、他の警報制御の形態であっても良い。

このように、本実施の形態では、制御ユニット８は、領域設定手段、運転状態判定手段、及び、警報制御手段としての機能を有して構成されている。

次に、上述の警報制御プログラムについて、図２のフローチャートで説明する。まず、ステップ（以下、「Ｓ」と略称）１０１で注意過多状態判定処理を実行する。尚、この注意過多状態判定処理は、後述の図３の注意過多状態判定処理ルーチンで説明する。

次に、Ｓ１０２に進み、Ｓ１０１の注意過多状態判定処理の結果が、先行車に対する運転の注意状態が強い注意過多状態か否か判定し、注意過多状態の場合はＳ１０３に進み、前方警報を通常状態で行う警報より緩和させ、プログラムを抜ける（尚、飛出し警報はそのままとする）。具体的には、図９（ａ）に示すように、前方警報フラグが立っても、全てのフラグで警報することなしに間引いて行う。尚、図９（ａ）のような間引く手法ではなく、モニタ９の警報表示の点滅する周期を長くしたり、音声発生装置１０からの発する警報の頻度を低下させたりするようにしても良い。すなわち、この状態においては、ドライバが先行車に対して十分な注意をはらっていると考えられるため、通常の前方警報を行うと、却って煩わしく感じてしまう場合がある。従って、前方警報を緩和させることにより、こうしたドライバに対して必要以上に干渉することを防止するのである。

また、Ｓ１０２での判定の結果、Ｓ１０１の注意過多状態判定処理の結果が、注意過多状態ではないと判定した場合はＳ１０４に進み、漫然状態判定処理を実行する。尚、この漫然状態判定処理は、後述の図４の漫然状態判定処理ルーチンで説明する。

次に、Ｓ１０５に進み、Ｓ１０４の漫然状態判定処理の結果が、先行車に対する運転の注意状態が強くない漫然状態か否か判定し、漫然状態の場合はＳ１０６に進み、飛出し警報を通常状態で行う警報より緩和させ、プログラムを抜ける（尚、前方警報はそのままとする）。具体的には、図９（ｂ）に示すように、飛出し警報フラグが立っても、全てのフラグで警報することなしに間引いて行う。尚、図９（ｂ）のような間引く手法ではなく、モニタ９の警報表示の点滅する周期を長くしたり、音声発生装置１０からの発する警報の頻度を低下させたりしても良い。すなわち、この状態においては、ドライバが先行車以外の障害物に対して十分な注意をはらっていると考えられるため、通常の飛出し警報を行うと、却って煩わしく感じてしまう場合がある。従って、飛出し警報を緩和させることにより、こうしたドライバに対して必要以上に干渉することを防止するのである。

また、Ｓ１０５の判定の結果、Ｓ１０４の漫然状態判定処理の結果が、漫然状態ではないと判定した場合はＳ１０７に進み、前方警報、飛出し警報共に通常の警報とし、プログラムを抜ける。すなわち、図９（ｃ）に示すように、前方警報フラグ、及び、飛出し警報フラグが立ったとき全てに警報するようにする。

次に、図３は注意過多状態判定処理ルーチンを示し、まず、Ｓ２０１で先行車の抽出を行う。

次に、Ｓ２０２に進むと、図５に示すように、先行車を基準とする（先行車ウィンドウの中心を基準とする）、半径５degの注意過多状態判定領域Ｘ１を設定する。尚、前述したように注意過多状態判定領域は、図５中の領域Ｘ１とＸ２の２つの領域で設定しても良い。

次いで、Ｓ２０３に進み、予め設定した状況として、例えば、運転を開始して先行車を検出してから１０秒間における注意過多状態判定領域Ｘ１内での視線の停留時間である基準停留時間ＴＢが設定されているか否か判定する。

Ｓ２０３の判定の結果、基準停留時間ＴＢが設定されていないのであれば、Ｓ２０４で基準停留時間ＴＢを設定してからＳ２０５に進み、基準停留時間ＴＢが設定されているのであれば、そのままＳ２０５へと進む。

Ｓ２０５では、過去１０秒間における注意過多状態判定領域Ｘ１内での視線の停留時間Ｔｓを演算する。

そして、Ｓ２０６に進むと、基準停留時間ＴＢに対する停留時間Ｔｓの比率である停留時間比Ｔｒ（＝Ｔｓ／ＴＢ）を演算する。

その後、Ｓ２０７に進み、過去１０秒間の先行車を基準とする（先行車ウィンドウの中心を基準とする）平均視線角度θ10aを演算する。

そして、Ｓ２０８に進み、平均視線角度θ10aと予め設定した閾値θ10ac1（例えば、１０deg）とを比較して、平均視線角度θ10aが予め設定した閾値θ10ac1以下ならばＳ２０９に進んで、停留時間比Ｔｒと予め設定した閾値Ｔrc1（例えば、０．５）とを比較し、停留時間比Ｔｒが予め設定した閾値Ｔrc1以上である場合は、Ｓ２１０に進んで注意過多状態と判定出力してルーチンを抜ける。

一方、Ｓ２０８の平均視線角度θ10aと予め設定した閾値θ10ac1との比較の結果、平均視線角度θ10aが予め設定した閾値θ10ac1より大きい場合、或いは、Ｓ２０９の停留時間比Ｔｒと予め設定した閾値Ｔrc1との比較の結果、停留時間比Ｔｒが予め設定した閾値Ｔrc1より小さい場合は、注意過多状態とは判定せずに、そのままルーチンを抜ける。

次に、図４は漫然状態判定処理ルーチンを示し、まず、Ｓ３０１で先行車の抽出を行う。

次に、Ｓ３０２に進むと、図６（ａ）に示すように、先行車を基準とする（先行車ウィンドウの中心を基準とする）半径５degの領域Ｙ１と、他の立体物（例えば、先行車横のガードレールや、標識、車両等の立体物）を基準とする半径５degの領域Ｙ２を定め、その中間に、領域Ｙ１と領域Ｙ２とに接する楕円、或いは、円形状の領域を漫然状態判定領域Ｙ０として設定する。尚、前述の如く、図６（ｂ）に示すように、漫然状態判定領域Ｙ０を設定しても良い。

次いで、Ｓ３０３に進み、予め設定した状況として、例えば、運転を開始して先行車を検出してから１０秒間における漫然状態判定領域Ｙ０内での視線の停留時間である基準停留時間ＴＢが設定されているか否か判定する。

Ｓ３０３の判定の結果、基準停留時間ＴＢが設定されていないのであれば、Ｓ３０４で基準停留時間ＴＢを設定してからＳ３０５に進み、基準停留時間ＴＢが設定されているのであれば、そのままＳ３０５へと進む。

Ｓ３０５では、過去１０秒間における漫然状態判定領域Ｙ０内での視線の停留時間Ｔｓを演算する。

そして、Ｓ３０６に進むと、基準停留時間ＴＢに対する停留時間Ｔｓの比率である停留時間比Ｔｒ（＝Ｔｓ／ＴＢ）を演算する。

その後、Ｓ３０７に進み、過去１０秒間の先行車を基準とする（先行車ウィンドウの中心を基準とする）平均視線角度θ10aを演算する。

そして、Ｓ３０８に進み、平均視線角度θ10aと予め設定した閾値θ10ac2（例えば、１５deg）とを比較して、平均視線角度θ10aが予め設定した閾値θ10ac2以上ならばＳ３０９に進んで、停留時間比Ｔｒと予め設定した閾値Ｔrc2（例えば、０．５）とを比較し、停留時間比Ｔｒが予め設定した閾値Ｔrc2以上である場合は、Ｓ３１０に進んで漫然状態と判定出力してルーチンを抜ける。

一方、Ｓ３０８の平均視線角度θ10aと予め設定した閾値θ10ac2との比較の結果、平均視線角度θ10aが予め設定した閾値θ10ac1より小さい場合、或いは、Ｓ３０９の停留時間比Ｔｒと予め設定した閾値Ｔrc1との比較の結果、停留時間比Ｔｒが予め設定した閾値Ｔrc2より小さい場合は、漫然状態とは判定せずに、そのままルーチンを抜ける。

このように本実施の第１形態によれば、先行車に対する運転の注意状態が強い注意過多状態と先行車以外に対する注意状態が強い漫然状態を、視線角度と停留時間比とにより判定し、この判定結果により警報を可変するようになっているので、先行車が存在する際のドライバの注意力の変化を的確に判断し、ドライバに対して適切に警報を行うことが可能となる。

尚、本実施の第１形態では、注意過多状態と漫然状態を、視線角度と停留時間比とにより判定するようにしているが、両方の状態を停留時間比のみより判定しても良く、また、どちらかの状態のみを停留時間比のみ、或いは、視線角度と停留時間比とで判定するようにしても良い。

次に、図１０は本発明の実施の第２形態による、漫然状態判定処理ルーチンのフローチャートである。尚、本実施の第２形態は、漫然状態判定処理が前記第１形態とは異なり、他の構成作用は前記第１形態と同じであるため、同じ構成には同じ符号を記し、説明は省略する。

すなわち、本実施の第２形態による漫然状態判定は、図１０のフローチャートに示すように、まず、Ｓ３０１で先行車の抽出を行う。

次いで、Ｓ４０１に進み、Ｓ３０２で設定した漫然状態判定領域Ｙ０に対する過去１０秒間の視線集中度、すなわち、視線が存在する頻度Ｍ10を演算する。

次に、Ｓ３０７に進み、過去１０秒間の先行車を基準とする（先行車ウィンドウの中心を基準とする）平均視線角度θ10aを演算する。

そして、Ｓ３０８に進み、平均視線角度θ10aと予め設定した閾値θ10ac2（例えば、１５deg）とを比較して、平均視線角度θ10aが予め設定した閾値θ10ac2以上ならばＳ４０２に進んで、過去１０秒間の視線集中度Ｍ10と予め設定した閾値Ｍ10c（例えば、５０％）とを比較し、過去１０秒間の視線集中度Ｍ10が予め設定した閾値Ｍ10c以上である場合は、Ｓ３１０に進んで漫然状態と判定出力してルーチンを抜ける。

一方、Ｓ３０８の平均視線角度θ10aと予め設定した閾値θ10ac2との比較の結果、平均視線角度θ10aが予め設定した閾値θ10ac1より小さい場合、或いは、Ｓ４０２の過去１０秒間の視線集中度Ｍ10と予め設定した閾値Ｍ10cとの比較の結果、過去１０秒間の視線集中度Ｍ10が予め設定した閾値Ｍ10cより小さい場合は、漫然状態とは判定せずに、そのままルーチンを抜ける。

このように本実施の第２形態によれば、先行車以外に対する注意状態が強い漫然状態を、視線角度と過去１０秒間の視線集中度により的確に判定でき、前記第１形態と同様の効果を得ることができる。

尚、本実施の第１、第２形態では、先行車の認識をステレオカメラからの画像を基に行うようになっているが、他の技術、例えば、ミリ波レーダと単眼カメラからの情報を基に認識するものであっても良い。

本発明の実施の第１形態による、車両に搭載した運転状態推定装置の概略構成図同上、警報制御プログラムのフローチャート同上、注意過多状態判定処理ルーチンのフローチャート同上、漫然状態判定処理ルーチンのフローチャート同上、前方視界中の視線挙動と先行車を基に設定される注意過多状態の判定領域の説明図同上、漫然状態の判定領域の説明図同上、ドライバから先行車への視線角度と閾値の説明図同上、飛出し警報の原理の説明図同上、前方警報と飛出し警報の緩和の例の説明図本発明の実施の第２形態による、漫然状態判定処理ルーチンのフローチャート

符号の説明

１自車両
２運転状態推定装置
３ステレオカメラ（立体物情報検出手段）
４ステレオ画像認識装置（立体物情報検出手段）
５視野カメラ（視線挙動検出手段）
６赤外線ランプ（視線挙動検出手段）
７視線状態検出装置（視線挙動検出手段）
８制御ユニット（領域設定手段、運転状態判定手段、警報制御手段）
９モニタ
１０音声発生装置

Claims

自車両周辺の立体物を認識して立体物情報を検出する立体物情報検出手段と、
運転者の視線挙動を検出する視線挙動検出手段と、
上記立体物情報検出手段で検出した立体物を基に判定領域を設定する領域設定手段と、
予め設定した状況下における上記判定領域内での視線の停留時間を基準停留時間として該基準停留時間に対する上記判定領域内での視線の停留時間の比率に基づいて運転者の運転状態を判定する運転状態判定手段と、
を備えたことを特徴とする運転状態推定装置。
自車両周辺の立体物を認識して立体物情報を検出する立体物情報検出手段と、
運転者の視線挙動を検出する視線挙動検出手段と、
上記立体物情報検出手段で検出した立体物を基に判定領域を設定する領域設定手段と、
上記運転者の視線の角度と予め設定した状況下における上記判定領域内での視線の停留時間を基準停留時間として該基準停留時間に対する上記判定領域内での視線の停留時間の比率とに基づいて運転者の運転状態を判定する運転状態判定手段と、
を備えたことを特徴とする運転状態推定装置。
自車両周辺の立体物を認識して立体物情報を検出する立体物情報検出手段と、
運転者の視線挙動を検出する視線挙動検出手段と、
上記立体物情報検出手段で検出した立体物を基に判定領域を設定する領域設定手段と、
上記運転者の視線の角度と上記判定領域内に存在する視線の集中度合いとに基づいて運転者の運転状態を判定する運転状態判定手段と、
を備えたことを特徴とする運転状態推定装置。
自車両周辺の立体物を認識して立体物情報を検出する立体物情報検出手段と、
運転者の視線挙動を検出する視線挙動検出手段と、
上記立体物情報検出手段で検出した複数の立体物を基に先行車を含まない領域に判定領域を設定する領域設定手段と、
上記判定領域内に存在する視線の集中度合いに基づいて運転者の運転状態を判定する運転状態判定手段と、
を備えたことを特徴とする運転状態推定装置。
上記運転状態判定手段は、先行車に対する運転の注意状態が強い注意過多状態と先行車以外に対する注意状態が強い漫然状態の少なくとも一方を判定することを特徴とする請求項１乃至請求項４の何れか一つに記載の運転状態推定装置。
上記運転状態判定手段で判定した運転者の運転状態に応じて車両警報を可変する警報制御手段を有し、
上記運転状態判定手段は、上記運転状態判定手段が上記注意過多状態と判定した場合は少なくとも上記先行車を対象とする警報を通常状態で行う警報より緩和させ、上記漫然状態と判定した場合は少なくとも上記先行車以外の前方障害物を対象とする警報を通常状態で行う警報より緩和させることを特徴とする請求項５記載の運転状態推定装置。