JP2007068917A - 視認状態判断装置、自動車、及び視認状態判断方法 - Google Patents
視認状態判断装置、自動車、及び視認状態判断方法 Download PDFInfo
- Publication number
- JP2007068917A JP2007068917A JP2005262349A JP2005262349A JP2007068917A JP 2007068917 A JP2007068917 A JP 2007068917A JP 2005262349 A JP2005262349 A JP 2005262349A JP 2005262349 A JP2005262349 A JP 2005262349A JP 2007068917 A JP2007068917 A JP 2007068917A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- attention
- visual
- line
- driving operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
【課題】高価で大規模な装置を用いることなく、車両走行時の運転者の視認状態を高精度に判断する。
【解決手段】先行車両との接近度合に応じて、アクセル操作に対する操作反力を付与して運転操作支援を行うペダル反力装置１２を備え、アクセル操作に対する操作反力を付与する際の運転者のアクセル操作量に基づいて、先行車両との接近度合に対する運転者の注意度合を判断し、この注意度合と運転者の視線とに基づいて、運転者の眼球運動の特性を予め取得しておき、その後の運転者の眼球運動と予め取得している眼球運動の特性とを比較することによって、前方物体に対する運転者の視認状態を判断する。注意度合の判断は、操作反力の変動に対するアクセル操作量の追従性を示す相関係数を算出し、この相関係数が高いほど、運転者の注意度合が低いと判断する。
【選択図】図４
【解決手段】先行車両との接近度合に応じて、アクセル操作に対する操作反力を付与して運転操作支援を行うペダル反力装置１２を備え、アクセル操作に対する操作反力を付与する際の運転者のアクセル操作量に基づいて、先行車両との接近度合に対する運転者の注意度合を判断し、この注意度合と運転者の視線とに基づいて、運転者の眼球運動の特性を予め取得しておき、その後の運転者の眼球運動と予め取得している眼球運動の特性とを比較することによって、前方物体に対する運転者の視認状態を判断する。注意度合の判断は、操作反力の変動に対するアクセル操作量の追従性を示す相関係数を算出し、この相関係数が高いほど、運転者の注意度合が低いと判断する。
【選択図】図４
Description
本発明は、視認状態判断装置、これを備えた自動車、及び視認状態判断方法に関する。
従来、運転者の視線方向を検出する装置があるが、運転者の頭は固定されているわけではないので、眼球位置も絶えず変動してしまい、視線方向を高精度に検出することは困難である。そこで、運転者が所定の注視対象（例えば、ナビゲーションのディスプレイやサイドミラーの鏡面）を注視したと判断したときに、このときの運転者の頭部と視線の夫々の動きを対応づけて記憶することにより、個人毎に異なる特性を把握し、視線検出を較正するものがあった（特許文献１参照）。
特開平９−２３８９０５号公報
一般に、人は移動している物体を見るときと停止している物体を見るときでは、眼球運動は異なる。また、奥行き方向の距離を認識するために、眼球を無意識に振動させていることも知られている。したがって、上記特許文献１に記載された従来例のように、静的な視線検出の較正だけでは、車両が走行しているときに、運転者が視認している対象を特定するのは困難である。
また、視線がある特定の対象物に向いていても、その対象物を意識的に注視している場合と、ただ視線が向いているだけで実際にはその対象物を注視していない場合とがあり、これらは眼球運動や脳内視覚野の処理が異なる。そのため、人が本当に視認しているか否かを判断するためには、医療用の眼球運動計測装置や、機能的磁気共鳴画像(ｆＭＲＩ：functional Magnetic Resonance Imaging）に代表されるような高価で大規模な脳内活動計測装置を用いなければならない。
さらに、例えば先行車両との接近度合に応じて、アクセル操作に対する操作反力を付与する等して運転操作を支援する装置があるが、この場合、運転者は操作反力も含めて車両の走行状態を知覚することとなるので、この操作支援の有無によっても、眼球運動は変化すると考えられる。さらには、運転の技術や経験によっても個人差がある。
本発明の課題は、高価で大規模な装置を用いることなく、車両走行時の運転者の視認状態を高精度に判断することである。
本発明の課題は、高価で大規模な装置を用いることなく、車両走行時の運転者の視認状態を高精度に判断することである。
上記の課題を解決するために、本発明に係る視認状態判断装置は、自車進路上の注意対象と自車両との相対関係に応じて運転操作支援を行う操作支援手段を備え、操作支援手段が運転操作支援を行う際の運転者の運転操作状態に基づいて、注意対象に対する運転者の注意度合を判断し、この注意度合と運転者の視線とに基づいて、運転者の眼球運動の特性を予め取得しておき、その後の運転者の眼球運動と予め取得している眼球運動の特性とを比較することによって、注意対象に対する運転者の視認状態を判断することを特徴とする。
本発明に係る視認状態判断装置によれば、注意度合と視線とを対応づけて運転者の眼球運動の特性を予め取得しておき、その後の運転者の眼球運動と予め取得している眼球運動の特性とを比較して注意対象に対する運転者の視認状態を判断することで、視線が単に注意対象に向いていても、そのときの眼球運動から運転者が注意対象を視認しているか否かを高精度に判断することができる。
例えば、運転者の注意度合が低いと判断されたときの眼球運動の特性を予め取得し、その後の運転者の眼球運動が予め取得している眼球運動の特性に適合するなら、たとえ視線が注意対象に向いているとしても、運転者は注意対象を視認していない可能性が高いと判断する。すなわち、単に視線の向きだけで判断するのではなく、運転者の眼球運動も考慮して判断するので、その精度を向上させることができる。
以下、本発明を実施するための最良の形態を図面に基づいて説明する。
《第１実施形態》
《構成》
図１は、本発明の概略構成図である。自動車１には、例えばマイクロコンピュータで構成されたコントローラ２と、車室内に配設され運転者の頭部及び眼球を前方の左右２方向から撮像するカメラ３と、車両前方に存在する前方物体との距離を検出するレーザレーダ４と、走行車線を検出可能な車線検出装置、及び道路地図情報を取得可能なナビゲーション装置からなる走行環境検出装置５と、運転者の各種操作及び操作量を検出する操作状態検出装置６と、運転者のブレーキ操作とは独立して制動力を制御可能なブレーキアクチュエータ７と、運転者に警報を発する警報装置８と、ステアリングホイール９に対して任意の操作反力を付与可能な操舵反力装置１０と、アクセルペダル１１に対して任意の操作反力を付与可能なペダル反力装置１２と、が搭載されている。
《第１実施形態》
《構成》
図１は、本発明の概略構成図である。自動車１には、例えばマイクロコンピュータで構成されたコントローラ２と、車室内に配設され運転者の頭部及び眼球を前方の左右２方向から撮像するカメラ３と、車両前方に存在する前方物体との距離を検出するレーザレーダ４と、走行車線を検出可能な車線検出装置、及び道路地図情報を取得可能なナビゲーション装置からなる走行環境検出装置５と、運転者の各種操作及び操作量を検出する操作状態検出装置６と、運転者のブレーキ操作とは独立して制動力を制御可能なブレーキアクチュエータ７と、運転者に警報を発する警報装置８と、ステアリングホイール９に対して任意の操作反力を付与可能な操舵反力装置１０と、アクセルペダル１１に対して任意の操作反力を付与可能なペダル反力装置１２と、が搭載されている。
図２は、コントローラ２で実行される演算処理の概略を示すブロック図である。操作支援部２０は、レーザレーダ４及び走行環境検出装置５の検出結果と、後述する視認状態判断部２４の判断結果とに基づいて、運転操作支援を行うか否かを判断し、運転操作支援を行うと判断したときに、操舵反力装置１０と、ペダル反力装置１２と、警報装置８と、ブレーキアクチュエータ７とを必要に応じて駆動制御する。注意度合判断部２１は、操作支援部２０による操作支援状態と、操作状態検出装置５の検出結果とに基づいて、車両の走行状態に対する運転者の注意度合を判断する。視線検出部２２は、カメラ３で撮像した画像と、後述する特性取得部２３で取得する視認特性とに基づいて運転者の視線方向を検出する。特性取得部２３は、注意度合判断部２１の判断結果と、視線検出部２２の検出結果とに基づいて、運転者の視認特性又は非視認特性を取得する。視認状態判断部２４は、特性取得部２３で取得した非視認特性と、視線検出部２２の検出結果とに基づいて、運転者が自車進路上の注意対象を視認しているか否かを判断する。
なお、この第１実施形態では、操作支援部２０が、ペダル反力装置１２と、警報装置８と、ブレーキアクチュエータ７とを駆動制御して運転操作支援を行う場合について説明する。
なお、この第１実施形態では、操作支援部２０が、ペダル反力装置１２と、警報装置８と、ブレーキアクチュエータ７とを駆動制御して運転操作支援を行う場合について説明する。
次に、コントローラ２の操作支援部２０で演算される操作支援処理を、図３のフローチャートに従って説明する。この操作支援処理は、所定時間（例えば１０msec）毎のタイマ割込みによって実行される。
先ずステップＳ１では、後述する図４のステップＳ２４で設定される視認フラグＦｗが“０”にリセットされているか否かを判定する。この判定結果がＦｗ＝１であるときには、運転者が注意対象（第１実施形態では前方物体）を視認していると判断して所定のメインプログラムに復帰する。一方、判定結果がＦｗ＝０であるときには、運転者が注意対象を視認していない可能性があると判断してステップＳ２に移行する。なお、初期設定ではＦｗ＝０にリセットされている。
先ずステップＳ１では、後述する図４のステップＳ２４で設定される視認フラグＦｗが“０”にリセットされているか否かを判定する。この判定結果がＦｗ＝１であるときには、運転者が注意対象（第１実施形態では前方物体）を視認していると判断して所定のメインプログラムに復帰する。一方、判定結果がＦｗ＝０であるときには、運転者が注意対象を視認していない可能性があると判断してステップＳ２に移行する。なお、初期設定ではＦｗ＝０にリセットされている。
ステップＳ２では、下記（１）式に示すように、前方物体までの距離Ｄと、自車両の前方物体に対する相対速度をＶｒとに応じて、自車両が先行車両に接触するまでの接触予測時間Ｔｃを算出する。なお、前方物体までの距離Ｄや前方物体との相対速度Ｖｒは、レーザレーダ４及び走行環境検出装置５の検出結果に基づいて算出する。
Ｔｃ＝Ｄ／Ｖｒ ………（１）
続くステップＳ３では、接触予測時間Ｔｃが所定値Ｔ1（例えば２秒程度）より長く、且つ自車速Ｖｍが所定値Ｖ1（例えば２０ｋｍ／ｈ程度）より遅いか否かを判定する。この判定結果が『Ｔｃ≦Ｔ1、且つＶｍ≧Ｖ1』であるときには、自車両が前方物体と接触する可能性が高いと判断して、後述するステップＳ７に移行する。一方、『Ｔｃ＞Ｔ1、又はＶｍ＜Ｖ1』であるときには、自車両が前方物体と接触する可能性は低いと判断してステップＳ４に移行する。
Ｔｃ＝Ｄ／Ｖｒ ………（１）
続くステップＳ３では、接触予測時間Ｔｃが所定値Ｔ1（例えば２秒程度）より長く、且つ自車速Ｖｍが所定値Ｖ1（例えば２０ｋｍ／ｈ程度）より遅いか否かを判定する。この判定結果が『Ｔｃ≦Ｔ1、且つＶｍ≧Ｖ1』であるときには、自車両が前方物体と接触する可能性が高いと判断して、後述するステップＳ７に移行する。一方、『Ｔｃ＞Ｔ1、又はＶｍ＜Ｖ1』であるときには、自車両が前方物体と接触する可能性は低いと判断してステップＳ４に移行する。
ステップＳ４では、緊急フラグＦｕを“０”にリセットする。
続くステップＳ５では、接触予測時間Ｔｃが所定値Ｔ2（Ｔ2＞Ｔ1）より短いか否かを判定する。この判定結果が『Ｔｃ≧Ｔ2』であるときには、運転者に注意を喚起する必要はないと判断して、所定のメインプログラムに復帰する。一方、判定結果が『Ｔｃ＜Ｔ2』であるときには、運転者に注意を喚起する必要があると判断してステップＳ６に移行する。
続くステップＳ５では、接触予測時間Ｔｃが所定値Ｔ2（Ｔ2＞Ｔ1）より短いか否かを判定する。この判定結果が『Ｔｃ≧Ｔ2』であるときには、運転者に注意を喚起する必要はないと判断して、所定のメインプログラムに復帰する。一方、判定結果が『Ｔｃ＜Ｔ2』であるときには、運転者に注意を喚起する必要があると判断してステップＳ６に移行する。
ステップＳ６では、ペダル反力装置１２を駆動制御し、接触方向へのアクセル操作、つまりペダル踏み増し方向へのアクセル操作に対して、接触予測時間Ｔｃに応じた操作反力Ｆを付与してから、所定のメインプログラムに復帰する。なお、操作反力Ｆは、下記（２）式に従って算出した値とする。ここで、Ｋは０より大きく１より小さい定数である。
Ｆ＝Ｋ×Ｔｃ＋（１−Ｋ）×（Ｄ／Ｖ） ………（２）
一方、ステップＳ７では、緊急フラグＦｕを“１”にセットする。
Ｆ＝Ｋ×Ｔｃ＋（１−Ｋ）×（Ｄ／Ｖ） ………（２）
一方、ステップＳ７では、緊急フラグＦｕを“１”にセットする。
続くステップＳ８では、上記ステップＳ６の処理と同様に、ペダル反力装置１２を駆動制御し、接触方向へのアクセル操作に対して、接触予測時間Ｔｃに応じた操作反力を付与する。
続くステップＳ９では、ブレーキアクチュエータ７を駆動制御して、接触予測時間Ｔｃに応じた自動ブレーキを作動させると共に、警報装置８を駆動制御して、運転者に警報を発してから所定のメインプログラムに復帰する。
続くステップＳ９では、ブレーキアクチュエータ７を駆動制御して、接触予測時間Ｔｃに応じた自動ブレーキを作動させると共に、警報装置８を駆動制御して、運転者に警報を発してから所定のメインプログラムに復帰する。
次に、コントローラ２で実行される視認状態演算処理を、図４のフローチャートに従って説明する。この視認状態演算処理は、所定時間（例えば１０msec）毎のタイマ割込みによって実行される。
先ずステップＳ１１では、カメラ３で運転者の頭部及び眼球を撮像するために、赤外線ランプを点灯する。
続くステップＳ１２では、カメラ３で左右２方向からの頭部及び眼球を撮像する。
続くステップＳ１３では、赤外線ランプを消灯する。
先ずステップＳ１１では、カメラ３で運転者の頭部及び眼球を撮像するために、赤外線ランプを点灯する。
続くステップＳ１２では、カメラ３で左右２方向からの頭部及び眼球を撮像する。
続くステップＳ１３では、赤外線ランプを消灯する。
続くステップＳ１４では、イグニッションがオンにされてからの経過時間が、所定値（例えば１０秒）以内の初期モードであるか否かを判定する。ここで、初期モードではないと判定されたら、後述するステップＳ１７に移行する。一方、初期モードであると判定されたら、ステップＳ１５に移行する。
ステップＳ１５では、後述する図５の静的較正値演算処理を実行し、運転者の視線検出に対する静的較正値を算出する。これは、主に運転者の身体的特徴に応じて、工場出荷時の補正係数を較正する値である。
ステップＳ１５では、後述する図５の静的較正値演算処理を実行し、運転者の視線検出に対する静的較正値を算出する。これは、主に運転者の身体的特徴に応じて、工場出荷時の補正係数を較正する値である。
続くステップＳ１６では、静的較正値を更新してから所定のメインプログラムに復帰する。
一方、ステップＳ１７では、視線検出部２２で、後述する図６の視線検出処理を実行し、運転者の視線方向を検出する。
続くステップＳ１８では、前述した図３の操作支援処理で設定される緊急フラグＦｕが“０”にリセットされているか否かを判断する。この判定結果が『Ｆｕ＝１』であるときには、緊急モードであると判断して後述するステップＳ２４に移行する。一方、判定結果が『Ｆｕ＝０』であるときには、通常モードであると判断してステップＳ１９に移行する。
一方、ステップＳ１７では、視線検出部２２で、後述する図６の視線検出処理を実行し、運転者の視線方向を検出する。
続くステップＳ１８では、前述した図３の操作支援処理で設定される緊急フラグＦｕが“０”にリセットされているか否かを判断する。この判定結果が『Ｆｕ＝１』であるときには、緊急モードであると判断して後述するステップＳ２４に移行する。一方、判定結果が『Ｆｕ＝０』であるときには、通常モードであると判断してステップＳ１９に移行する。
ステップＳ１９では、注意度合判断部２１で、後述する図７の注意度合判断処理を実行し、前方物体との車間距離に対する運転者の注意度合を判断する。
続くステップＳ２０では、上記ステップＳ１９で運転者の注意度合を判断できたか否かを判定する。ここで、運転者の注意度合を判断できていなければ、そのまま所定のメインプログラムに復帰する。一方、運転者の注意度合を判断できていれば、ステップＳ２１に移行する。
続くステップＳ２０では、上記ステップＳ１９で運転者の注意度合を判断できたか否かを判定する。ここで、運転者の注意度合を判断できていなければ、そのまま所定のメインプログラムに復帰する。一方、運転者の注意度合を判断できていれば、ステップＳ２１に移行する。
ステップＳ２１では、後述する図７の注意度合判断処理で設定される特性フラグＦｓが“１”にセットされているか否かを判定する。この判定結果が『Ｆｓ＝１』であるときには、運転者の視認特性を取得できると判断してステップＳ２２に移行する。一方、判定結果が『Ｆｓ＝０』であるときには、運転者の非視認特性を取得できると判断してステップＳ２３に移行する。
ステップＳ２２では、特性取得部２３で、後述する図８の視認特性取得処理を実行してから、所定のメインプログラムに復帰する。
ステップＳ２３では、特性取得部２３で、後述する図９の非視認特性取得処理を実行してから、所定のメインプログラムに復帰する。
一方、ステップＳ２４では、視認状態判断部２４で、後述する図１１の視認状態判断処理を実行し、運転者が注意対象を視認しているか否かを判断してから、所定のメインプログラムに復帰する。
ステップＳ２３では、特性取得部２３で、後述する図９の非視認特性取得処理を実行してから、所定のメインプログラムに復帰する。
一方、ステップＳ２４では、視認状態判断部２４で、後述する図１１の視認状態判断処理を実行し、運転者が注意対象を視認しているか否かを判断してから、所定のメインプログラムに復帰する。
次に、前記ステップＳ１５で実行する静的較正値演算処理を、図５のフローチャートに従って説明する。
先ずステップＳ１５１では、カメラ３で撮像した画像データに基づいて、頭部中心位置Ｐｈを算出する。この頭部中心位置Ｐｈは、左右の２台のカメラレンズの中心を結ぶ直線上の中点を原点として算出し、この原点に対する水平方向の回転角（以下、頭部水平角と称す）をφｈとし、垂直方向の回転角（以下、頭部垂直角と称す）をξｈとする。
先ずステップＳ１５１では、カメラ３で撮像した画像データに基づいて、頭部中心位置Ｐｈを算出する。この頭部中心位置Ｐｈは、左右の２台のカメラレンズの中心を結ぶ直線上の中点を原点として算出し、この原点に対する水平方向の回転角（以下、頭部水平角と称す）をφｈとし、垂直方向の回転角（以下、頭部垂直角と称す）をξｈとする。
続くステップＳ１５２では、カメラ３で撮像した画像データに基づいて、眼球中心（正確には角膜球中心）位置Ｐｅを算出する。算出対象となるのは、運転者の左右の眼球のうち、光環境が安定している車室内中心側の眼球とする。この眼球中心位置Ｐｅは、左右の２台のカメラレンズの中心を結ぶ直線上の中点を原点として算出する。
なお、眼球中心位置の算出は、例えば特開平９−２３８９０５に記載されているような公知の手法を採用する。すなわち、左右の２方向から撮像した２つの角膜反射画像の眼球中心位置と、夫々のカメラレンズ中心位置とを結ぶ２本の直線の交点を眼球中心位置Ｐｅとする。
なお、眼球中心位置の算出は、例えば特開平９−２３８９０５に記載されているような公知の手法を採用する。すなわち、左右の２方向から撮像した２つの角膜反射画像の眼球中心位置と、夫々のカメラレンズ中心位置とを結ぶ２本の直線の交点を眼球中心位置Ｐｅとする。
続くステップＳ１５３では、画像処理によって瞳孔外周エッジを抽出して円形近似し、瞳孔外周円の中心位置を瞳孔中心位置Ｐｐとして算出する。
続くステップＳ１５４では、対象眼球の眼球中心位置Ｐｅと、瞳孔中心位置Ｐｐとに基づいて運転者の視線方向を算出する。先ず、下記（３）式に示すように、カメラ３に対する対象眼球の回転角（光軸）θを算出する。ここで、｜Ｐｄ｜は眼球中心位置Ｐｅから瞳孔中心位置Ｐｐに向かうベクトルの大きさ、ｆは眼球画像を撮像するカメラのレンズ系と眼球中心位置Ｐｅとの位置関係によって決まる補正係数（光学的な倍率に相当）、Ｌｅは眼球中心から瞳孔中心までの標準的な距離（規定値）、αはＬｅに対する個人差を補正するための補正係数である。
θ＝sin-1｛｜Ｐｄ｜／（ｆ×α×Ｌｅ）｝ ………（３）
続くステップＳ１５４では、対象眼球の眼球中心位置Ｐｅと、瞳孔中心位置Ｐｐとに基づいて運転者の視線方向を算出する。先ず、下記（３）式に示すように、カメラ３に対する対象眼球の回転角（光軸）θを算出する。ここで、｜Ｐｄ｜は眼球中心位置Ｐｅから瞳孔中心位置Ｐｐに向かうベクトルの大きさ、ｆは眼球画像を撮像するカメラのレンズ系と眼球中心位置Ｐｅとの位置関係によって決まる補正係数（光学的な倍率に相当）、Ｌｅは眼球中心から瞳孔中心までの標準的な距離（規定値）、αはＬｅに対する個人差を補正するための補正係数である。
θ＝sin-1｛｜Ｐｄ｜／（ｆ×α×Ｌｅ）｝ ………（３）
そして、下記（４）式に示すように、回転角θをカメラ３に対する視線（視軸）方向θｅに変換する。ここで、βはカメラ３に対する眼球中心位置のずれによる誤差と個人差を補正するための補正係数、θ0は回転角θの角度補正項（既定値）である。
θｅ＝θ−β×θ0 ………（４）
そして、カメラ３に対する視線方向θｅを、カメラ間の中点を原点とする座標に変換し、その水平方向の回転角（以下、視線水平角と称す）をφｅとし、垂直方向の回転角（以下、視線垂直角と称す）をξｅとする。この瞬間の注意対象は、眼球中心位置Ｐｅを始点とし、視線方向［φｅ，ξｅ］に向かう直線上に存在することになる。
θｅ＝θ−β×θ0 ………（４）
そして、カメラ３に対する視線方向θｅを、カメラ間の中点を原点とする座標に変換し、その水平方向の回転角（以下、視線水平角と称す）をφｅとし、垂直方向の回転角（以下、視線垂直角と称す）をξｅとする。この瞬間の注意対象は、眼球中心位置Ｐｅを始点とし、視線方向［φｅ，ξｅ］に向かう直線上に存在することになる。
続くステップＳ１５５では、運転者による所定のスイッチ操作がなされているか否かを判定する。例えば、サイドミラー角度調整スイッチ、エアコン操作スイッチ、オーディオ操作スイッチ等の操作である。ここで、所定のスイッチ操作がなされていないときには、そのまま静的較正値演算処理を終了する。一方、所定のスイッチ操作がなされているときには、ステップＳ１５６に移行する。
ステップＳ１５６では、操作されたスイッチの既定位置Ｐｓと、その時点の眼球中心位置Ｐｅとを結ぶ直線を算出し、その方向［φｓ，ξｓ］を算出する。
続くステップＳ１５７では、［φｓ，ξｓ］と［φｅ，ξｅ］との誤差が所定値（例えば１０％）以下であるか否かを判定する。ここで、誤差が所定値を超えているときには、そのまま静的較正値演算処理を終了する。一方、誤差が所定値以下であるときには、ステップＳ１５８に移行する。
続くステップＳ１５７では、［φｓ，ξｓ］と［φｅ，ξｅ］との誤差が所定値（例えば１０％）以下であるか否かを判定する。ここで、誤差が所定値を超えているときには、そのまま静的較正値演算処理を終了する。一方、誤差が所定値以下であるときには、ステップＳ１５８に移行する。
ステップＳ１５８では、この時点の［φｅ，ξｅ］を［φｓ，ξｓ］に一致させるために、補正係数α及びβに対する較正値Δα及びΔβを算出し記憶する。
続くステップＳ１５９では、所定時間が経過しているか否かを判定する。ここで、所定時間が経過していないときには、そのまま静的較正値演算処理を終了する。一方、所定時間が経過しているときには、ステップＳ１６０に移行する。
ステップＳ１６０では、所定時間の間に採取されたΔα及びΔβの夫々の平均値を算出し、これを静的較正値としてから、この静的較正値演算処理を終了する。
続くステップＳ１５９では、所定時間が経過しているか否かを判定する。ここで、所定時間が経過していないときには、そのまま静的較正値演算処理を終了する。一方、所定時間が経過しているときには、ステップＳ１６０に移行する。
ステップＳ１６０では、所定時間の間に採取されたΔα及びΔβの夫々の平均値を算出し、これを静的較正値としてから、この静的較正値演算処理を終了する。
次に、前記ステップＳ１７で実行する視線検出処理を、図６のフローチャートに従って説明する。
ステップＳ１７１〜Ｓ１７４では、図５のステップＳ１５１〜Ｓ１５４と同様の処理を実行するので、その詳細説明は省略する。但し、前記（３）式、及び（４）式で用いるα及びβを、夫々、下記（５）式、及び（６）式に従って較正する。
α＝（１＋Δα）×α0 ………（５）
β＝（１＋Δβ＋βｋ）×β0 ………（６）
ここで、α0及びβ0は、補正係数α及びβの工場出荷時の初期値（規定値）であり、開発時に不特定多数の被験者のデータを平均処理することによって定められる。Δα及びΔβは、図４のステップＳ１５で算出される静的較正値であり、初期値は０である。βｋは、車両走行時における運転者の頭部運動と眼球運動の相関特性の個人差を補うための動的較正値であり、これは図４のステップＳ２２で算出され、初期値は０である。
ステップＳ１７１〜Ｓ１７４では、図５のステップＳ１５１〜Ｓ１５４と同様の処理を実行するので、その詳細説明は省略する。但し、前記（３）式、及び（４）式で用いるα及びβを、夫々、下記（５）式、及び（６）式に従って較正する。
α＝（１＋Δα）×α0 ………（５）
β＝（１＋Δβ＋βｋ）×β0 ………（６）
ここで、α0及びβ0は、補正係数α及びβの工場出荷時の初期値（規定値）であり、開発時に不特定多数の被験者のデータを平均処理することによって定められる。Δα及びΔβは、図４のステップＳ１５で算出される静的較正値であり、初期値は０である。βｋは、車両走行時における運転者の頭部運動と眼球運動の相関特性の個人差を補うための動的較正値であり、これは図４のステップＳ２２で算出され、初期値は０である。
次に、前記ステップＳ１９で実行する注意度合判断処理を、図７のフローチャートに従って説明する。
先ずステップＳ１９１では、先行車両に対して追従走行してから所定時間が経過しているか否かを判定する。ここで、所定時間が経過していないときには、運転者の注意度合は不明であると判断してステップＳ１９２に移行する。一方、所定時間が経過しているときには、ステップＳ１９３に移行する。
先ずステップＳ１９１では、先行車両に対して追従走行してから所定時間が経過しているか否かを判定する。ここで、所定時間が経過していないときには、運転者の注意度合は不明であると判断してステップＳ１９２に移行する。一方、所定時間が経過しているときには、ステップＳ１９３に移行する。
ステップＳ１９２では、その時点の車速、先行車両位置（車間距離、横方向の偏差）、アクセル操作量、操作反力Ｆ、頭部中心位置Ｐｈ、眼球中心位置Ｐｅ、視線方向［φｅ、ξｅ］、走行履歴情報をバッファに記憶してから、この注意度合判断処理を終了する。ここで、走行履歴情報とは、例えば単路や交差点付近などの道路パターンと、直進や右左折などの走行パターンの組み合わせを符号化したものである。
一方、ステップＳ１９３では、バッファに記憶されている走行履歴情報が全て単路で且つ直進であるか否かを判定する。ここで、走行履歴情報が全て単路で且つ直進でないときには、運転者の注意度合は不明であると判断してステップＳ１９４に移行する。一方、走行履歴情報が全て単路で且つ直進であるときには、ステップＳ１９５に移行する。
ステップＳ１９４では、バッファに記憶された情報をリセットしてから、この注意度合判断処理を終了する。
ステップＳ１９４では、バッファに記憶された情報をリセットしてから、この注意度合判断処理を終了する。
ステップＳ１９５では、バッファに記憶されている車間距離の時間変動波形Ｄ(t)とアクセル操作量の時間変動波形Ｓ(t)についての相互相関係数(１/Ｔ)|Ｒ(Ｄ(t)，Ｓ(t))|を算出し、この相関係数が所定値以上であるか否かを判定する。ここで、相関係数が所定値未満であるときには、運転者の注意度合は不明であると判断して前記ステップＳ１９４に移行する。一方、相関係数が所定値以上であるときには、ステップＳ１９６に移行する。
ステップＳ１９６では、ペダル反力装置１２に対する反力指令値の時間変動波形Ｆ(t)とアクセル操作量の時間変動波形Ｓ(t)について、相互相関係数(１/Ｔ)|Ｒ(Ｆ(t)，Ｓ(t))|を算出し、この相関係数が所定値以上であるか否かを判定する。この相関係数は、反力指令Ｆに対するアクセル操作量の追従性を示す。
一般に、先行車両に追従している際に、運転者が先行車両との車間距離を意識し、その変動に応じてアクセル操作を行う場合には、ペダル反力の変動よりも早くアクセルペダルを調節するのに対し、先行車両への注意力が低い場合には、ペダル反力の変動に対するアクセル操作量の追従性が強まり、ペダル反力の変動に対してやや遅れてアクセルペダルを調節する。すなわち、車間距離の変動に対するアクセル操作量の相関性が強く、且つ反力指令値の変動に対するアクセル操作量の相関性が強いほど、先行車両との車間距離に対する運転者の注意度合が低いと判断できる。
一般に、先行車両に追従している際に、運転者が先行車両との車間距離を意識し、その変動に応じてアクセル操作を行う場合には、ペダル反力の変動よりも早くアクセルペダルを調節するのに対し、先行車両への注意力が低い場合には、ペダル反力の変動に対するアクセル操作量の追従性が強まり、ペダル反力の変動に対してやや遅れてアクセルペダルを調節する。すなわち、車間距離の変動に対するアクセル操作量の相関性が強く、且つ反力指令値の変動に対するアクセル操作量の相関性が強いほど、先行車両との車間距離に対する運転者の注意度合が低いと判断できる。
したがって、反力指令値とアクセル操作量との相関係数が所定値未満であるときには、運転者の注意度合が高いと判断して、ステップＳ１９７に移行する。一方、相関係数が所定値以上であるときには、先行車両との車間距離に対する運転者の注意度合が低いと判断して、ステップＳ１９８に移行する。
ステップＳ１９７では、特性フラグＦｓを“１”にセットしてから、この注意度合判断処理を終了する。
ステップＳ１９８では、特性フラグＦｓを“０”にリセットしてから、この注意度合判断処理を終了する。
ステップＳ１９７では、特性フラグＦｓを“１”にセットしてから、この注意度合判断処理を終了する。
ステップＳ１９８では、特性フラグＦｓを“０”にリセットしてから、この注意度合判断処理を終了する。
次に、前記ステップＳ２２で実行する視認特性取得処理を、図８のフローチャートに従って説明する。
先ずステップＳ２２１では、カメラ間の中点を原点とする座標に変換した先行車両位置Ｐｖと、その時点の眼球中心位置Ｐｅとを結ぶ直線を算出し、その方向［φｖ，ξｖ］を算出する。これを、バッファに記憶されている全時刻のデータについて行う。
先ずステップＳ２２１では、カメラ間の中点を原点とする座標に変換した先行車両位置Ｐｖと、その時点の眼球中心位置Ｐｅとを結ぶ直線を算出し、その方向［φｖ，ξｖ］を算出する。これを、バッファに記憶されている全時刻のデータについて行う。
続くステップＳ２２２では、全時刻における［φｖ，ξｖ］と［φｅ，ξｅ］との偏差［Δφｖ(t)，Δξｖ(t)］を算出し記憶する。
続くステップＳ２２３では、下記（７）式、及び（８）式に示すように、偏差［Δφv(t)，Δξv(t)］と、頭部位置Ｐｈの角度時間変化φh(t)及びξh(t)との規格化相互相関係数を算出する。
Ｒｘ＝(１／Ｔ)|Ｒ(Δφｖ(t)，φｈ(t))| ………（７）
Ｒｙ＝(１／Ｔ)|Ｒ(Δξｖ(t)，ξｈ(t))| ………（８）
続くステップＳ２２３では、下記（７）式、及び（８）式に示すように、偏差［Δφv(t)，Δξv(t)］と、頭部位置Ｐｈの角度時間変化φh(t)及びξh(t)との規格化相互相関係数を算出する。
Ｒｘ＝(１／Ｔ)|Ｒ(Δφｖ(t)，φｈ(t))| ………（７）
Ｒｙ＝(１／Ｔ)|Ｒ(Δξｖ(t)，ξｈ(t))| ………（８）
続くステップＳ２２４では、現時点に至る所定時間Ｔの平均車速Ｖｍを算出する。
続くステップＳ２２５では、記憶されているＲｘ及びＲｙとＶｍの組み合わせデータを回帰処理して、車速毎の補正係数Ｒｘ(Vm)及びＲｙ(Vm)を算出し、下記（９）式、及び（１０）式に示すように、動的較正値βｋを算出し記憶してから、この視認特性取得処理を終了する。ここで、Ｋｘ及びＫｙは眼球中心と原点とを結ぶ直線の回転運動と眼球の回転運動との大きさの比から定まる補正係数（規定値）である。
βｋｘ＝Ｋｘ・Ｒｘ(Vm) ………（９）
βｋｙ＝Ｋｙ・Ｒｙ(Vm） ………（１０）
続くステップＳ２２５では、記憶されているＲｘ及びＲｙとＶｍの組み合わせデータを回帰処理して、車速毎の補正係数Ｒｘ(Vm)及びＲｙ(Vm)を算出し、下記（９）式、及び（１０）式に示すように、動的較正値βｋを算出し記憶してから、この視認特性取得処理を終了する。ここで、Ｋｘ及びＫｙは眼球中心と原点とを結ぶ直線の回転運動と眼球の回転運動との大きさの比から定まる補正係数（規定値）である。
βｋｘ＝Ｋｘ・Ｒｘ(Vm) ………（９）
βｋｙ＝Ｋｙ・Ｒｙ(Vm） ………（１０）
一般に、運転者は低速ほど近距離の視対象を見なければならないために頭部の回転運動が大きく、頭部の変動が眼球運動に影響しやすい。また、例えば高速道路を走行しているときのように遠くの視対象を安定して見る場合には、頭部の回転運動は小さく、眼球運動への影響は小さい。したがって、Ｖｍによって異なる頭部運動と眼球運動との相関係数を用いることで、運転者が注意対象を視認しているときの視認特性を、動的較正値βｋとして算出することができる。この動的較正値βｋは、運転者の着座姿勢や着座位置の差にも対応し得る。
次に、前記ステップＳ２３で実行する非視認特性取得処理を、図９のフローチャートに従って説明する。
先ずステップＳ２３１では、現時点に至る所定時間Ｔの平均車速Ｖｍを算出する。
続くステップＳ２３２では、下記（１１）式〜（１３）式に示すように、所定時間Ｔの眼球中心位置φｅ及びξｅの時間変動の自己相関係数列Ｒφ(j)及びＲξ(j)を算出する。ここで、ＮはＴ／ｔ（ｔ：サンプリングタイム）を満たす定数、Σは記憶されているφｅ及びξｅの総和、Ｔ１はＴ＞Ｔ１を満たす時間であり、例えばＴ＝１０秒の場合、Ｔ１＝１秒といった値である。
Ｒφ(j)＝[(１／Ｎ)Σφｅ(i)φｅ(i+j)]／[(１／Ｎ)Σφｅ(i)φｅ(i)]
………（１１）
Ｒξ(j)＝[(１／Ｎ)Σξｅ(i)ξｅ(i+j)]／[(１／Ｎ)Σξｅ(i)ξｅ(i)]
………（１２）
ｊ＝０、１、……、Ｔ１／ｔ ………（１３）
先ずステップＳ２３１では、現時点に至る所定時間Ｔの平均車速Ｖｍを算出する。
続くステップＳ２３２では、下記（１１）式〜（１３）式に示すように、所定時間Ｔの眼球中心位置φｅ及びξｅの時間変動の自己相関係数列Ｒφ(j)及びＲξ(j)を算出する。ここで、ＮはＴ／ｔ（ｔ：サンプリングタイム）を満たす定数、Σは記憶されているφｅ及びξｅの総和、Ｔ１はＴ＞Ｔ１を満たす時間であり、例えばＴ＝１０秒の場合、Ｔ１＝１秒といった値である。
Ｒφ(j)＝[(１／Ｎ)Σφｅ(i)φｅ(i+j)]／[(１／Ｎ)Σφｅ(i)φｅ(i)]
………（１１）
Ｒξ(j)＝[(１／Ｎ)Σξｅ(i)ξｅ(i+j)]／[(１／Ｎ)Σξｅ(i)ξｅ(i)]
………（１２）
ｊ＝０、１、……、Ｔ１／ｔ ………（１３）
続くステップＳ２３３では、ｊを変数とした場合のＲφ(j)及びＲξ(j)の回帰係数Ｒφ及びＲξを算出し、Ｖｍと共に記憶する。
続くステップＳ２３４では、記憶されている全てのＲφ及びＲξとＶｍの組み合わせを回帰処理し、非視認時の眼球運動特性関数Ｒφ(Vm)及びＲξ(Vm)として記憶してから、この眼球運動特性取得処理を終了する。
続くステップＳ２３４では、記憶されている全てのＲφ及びＲξとＶｍの組み合わせを回帰処理し、非視認時の眼球運動特性関数Ｒφ(Vm)及びＲξ(Vm)として記憶してから、この眼球運動特性取得処理を終了する。
一般に、車外を注意深く視認している時の眼球運動は、車外の環境変化を積極的に取得しようとするため、時系列的には相関が低く、自己相関係数は高次になるほど急激に小さくなる。一方、車外へ視線方向は向いていても、注意度合が低い場合には、眼球運動の変動が滑らかになり、周期性などの相関が見られるため、自己相関係数の次数による減衰が緩やかになる。したがって、非視認時のＲφ(j)及びＲξ(j)は、視認時に比べて傾きが小さくなる。また、車速が高い場合には、低速に比べて前方を注視しがちになると共に、走行している環境も低速の走行環境に比べて単純になるため、眼球運動には時間的な相関が高くなる。したがって、図１０に示すように、Ｖｍが大きいほど、｜Ｒφ(Vm)｜及び｜Ｒξ(Vm)｜は小さくなる。このように、Ｖｍによって異なる眼球運動の自己相関係数を用いることで、非視認時の眼球運動特性を、Ｒφ(Vm)及びＲξ(Vm)として算出することができる。
次に、前記ステップＳ２４で実行する視認状態判断処理を、図１１のフローチャートに従って説明する。
先ずステップＳ２４１では、現時点に至る所定時間Ｔの平均車速Ｖｍを算出する。
続くステップＳ２４２では、図４の前記ステップＳ１７で算出された視線が、図３の操作支援処理で自車両と接触する可能性があると判断された前方物体に向いているか否かを判定する。ここで、運転者の視線がその前方物体に向いていないときには、運転者が視認していないと判断してステップＳ２４３に移行する。一方、運転者の視線がその前方物体に向いているときには、運転者が視認している可能性があると判断してステップＳ２４４に移行する。
先ずステップＳ２４１では、現時点に至る所定時間Ｔの平均車速Ｖｍを算出する。
続くステップＳ２４２では、図４の前記ステップＳ１７で算出された視線が、図３の操作支援処理で自車両と接触する可能性があると判断された前方物体に向いているか否かを判定する。ここで、運転者の視線がその前方物体に向いていないときには、運転者が視認していないと判断してステップＳ２４３に移行する。一方、運転者の視線がその前方物体に向いているときには、運転者が視認している可能性があると判断してステップＳ２４４に移行する。
ステップＳ２４３では、視認フラグＦｗを“０”にリセットしてから、この視認状態判断処理を終了する。
ステップＳ２４４では、非視認時の眼球運動特性Ｒφ(Vm)及びＲξ(Vm)と、現時点の眼球運動の高次の自己相関係数Ｒφ(T1/t)及びＲξ(T1/t)とが、下記（１４）式、及び（１５）式を共に満たすか否かを判定する。ここで、（１４）式、及び（１５）式を共に満たすときには、運転者の眼球運動が非視認時の眼球運動特性と適合し、運転者が前方物体を視認していない可能性が高いと判断して前記ステップＳ２４３に移行する。一方、（１４）式、及び（１５）式の何れかを満たさないときには、運転者が前方物体を視認している可能性が高いと判断してステップＳ２４５に移行する。
Ｒφ(T1/t)＞１＋Ｒφ(Vm)×（Ｔ１／ｔ） ………（１４）
Ｒξ(T1/t)＞１＋Ｒξ(Vm)×（Ｔ１／ｔ） ………（１５）
ステップＳ２４５では、視認フラグＦｗを“１”にセットしてから、この視認状態判断処理を終了する。
ステップＳ２４４では、非視認時の眼球運動特性Ｒφ(Vm)及びＲξ(Vm)と、現時点の眼球運動の高次の自己相関係数Ｒφ(T1/t)及びＲξ(T1/t)とが、下記（１４）式、及び（１５）式を共に満たすか否かを判定する。ここで、（１４）式、及び（１５）式を共に満たすときには、運転者の眼球運動が非視認時の眼球運動特性と適合し、運転者が前方物体を視認していない可能性が高いと判断して前記ステップＳ２４３に移行する。一方、（１４）式、及び（１５）式の何れかを満たさないときには、運転者が前方物体を視認している可能性が高いと判断してステップＳ２４５に移行する。
Ｒφ(T1/t)＞１＋Ｒφ(Vm)×（Ｔ１／ｔ） ………（１４）
Ｒξ(T1/t)＞１＋Ｒξ(Vm)×（Ｔ１／ｔ） ………（１５）
ステップＳ２４５では、視認フラグＦｗを“１”にセットしてから、この視認状態判断処理を終了する。
以上より、ペダル反力装置１２と図３の操作支援処理とが「操作支援手段」に対応し、操作状態検出装置６が「操作状態検出手段」に対応し、カメラ３と図４のステップＳ１７の処理とが「視線検出手段」に対応する。また、図４のステップＳ１９の処理が「注意度合判断手段」に対応し、図４のステップＳ２２、Ｓ２３の処理が「特性取得手段」に対応し、図４のステップＳ２４の処理が「視認状態判断手段」に対応し、図４のステップＳ１７４の処理で用いる前記（６）式が「較正手段」に対応する。
《作用》
次に、第１実施形態の作用について説明する。
今、運転者が自動車１のイグニッションをＯＮにして、走行開始の準備をしているとする（図４のステップＳ１４の判定が“Yes”）。このとき、運転者の頭部及び眼球の画像データに基づいて運転者の視線［φｅ，ξｅ］を検出すると共に、所定のスイッチ操作がなされるときの視線方向に基づいて静的較正値Δα及びΔβを算出する（図５のステップＳ１５１〜Ｓ１６０）。
次に、第１実施形態の作用について説明する。
今、運転者が自動車１のイグニッションをＯＮにして、走行開始の準備をしているとする（図４のステップＳ１４の判定が“Yes”）。このとき、運転者の頭部及び眼球の画像データに基づいて運転者の視線［φｅ，ξｅ］を検出すると共に、所定のスイッチ操作がなされるときの視線方向に基づいて静的較正値Δα及びΔβを算出する（図５のステップＳ１５１〜Ｓ１６０）。
そして、この静的較正値Δα及びΔβを用い、前記（５）式、及び（６）式に従って、工場出荷時の補正係数α及びβを較正してから視線方向を算出することにより（図６のステップＳ１７４）、主に運転者の身体的特徴に起因した視線検出の誤差を較正する。
その後、車両が走行を開始し、先行車両に対して定常的に追従走行したとする（図７のステップＳ１９１の判定が“Yes”）。このとき、先行車両との接触予測時間Ｔｃに応じて、運転者のアクセル操作に対して操作反力が付与されるので（図３のステップＳ２〜Ｓ６）、例えば先行車両に対して接近し過ぎると、運転者はペダル反力の増加によってペダル踏込み量を減少するように促される。
その後、車両が走行を開始し、先行車両に対して定常的に追従走行したとする（図７のステップＳ１９１の判定が“Yes”）。このとき、先行車両との接触予測時間Ｔｃに応じて、運転者のアクセル操作に対して操作反力が付与されるので（図３のステップＳ２〜Ｓ６）、例えば先行車両に対して接近し過ぎると、運転者はペダル反力の増加によってペダル踏込み量を減少するように促される。
ところで、このペダル反力に対する運転者の反応の仕方は、先行車両との接近度合に対する運転者の注意度合を表している。すなわち、先行車両との車間距離に対する運転者の注意力が高ければ、ペダル反力の変動よりも早くアクセルペダルを調節するのに対し、注意力が低ければ、ペダル反力の変動に対する追従性が高まり、しかもやや遅れてアクセルペダルを調節することになる。したがって、ペダル反力とアクセル操作量との相関係数を算出し、この相関係数に基づいて運転者の注意度合を判断する（図７のステップＳ１９３〜Ｓ１９８）。
そして、運転者の注意度合が高いと判断されたときには（図７のステップＳ１９６の判定が“No”）、運転者は先行車両を注意深く視認しているはずなので、このときの運転者の眼球運動が視認時の特性となる。
ところで、低速で走行していれば運転者は近距離の視対象を目で追うので、自然と頭部の動きが大きくなり眼球運動への影響が大きくなる。逆に、高速で走行していれば運転者は遠くの視対象を安定して見るので、頭部の動きが小さくなり眼球運動への影響が小さくなる。
ところで、低速で走行していれば運転者は近距離の視対象を目で追うので、自然と頭部の動きが大きくなり眼球運動への影響が大きくなる。逆に、高速で走行していれば運転者は遠くの視対象を安定して見るので、頭部の動きが小さくなり眼球運動への影響が小さくなる。
したがって、運転者の眼球位置Ｐｅと先行車両位置Ｐｖとを結ぶ直線を算出し［φｖ，ξｖ］、この直線と検出された運転者の視線方向との差分［Δφｖ(t)，Δξｖ(t)］を算出し、その差分と運転者の頭部位置との相関係数Ｒｘ及びＲｙを算出し、この相関係数に基づいて動的較正値βｋを算出する（図８のステップＳ２２１〜Ｓ２２５）。
そして、この動的較正値βｋを用い、前記（６）式に従って、工場出荷時の補正係数βを較正してから視線方向を算出することにより（図６のステップＳ１７４）、主に車速毎の頭部の動きに対する視線検出の精度を較正する。
そして、この動的較正値βｋを用い、前記（６）式に従って、工場出荷時の補正係数βを較正してから視線方向を算出することにより（図６のステップＳ１７４）、主に車速毎の頭部の動きに対する視線検出の精度を較正する。
一方、運転者の注意度合が低いと判断されたときには（図７のステップＳ１９６の判定が“Yes”）、運転者は先行車両を注意深く視認していないはずなので、このときの運転者の眼球運動が非視認時の特性となる。
ところで、先行車両に対する注意度合が高いときには、車外の環境変化を積極的に取得しようとするが、注意度合が低いときには、眼球運動の変動が滑らか（緩慢）になり、これは車速が高いほど顕著になる。
ところで、先行車両に対する注意度合が高いときには、車外の環境変化を積極的に取得しようとするが、注意度合が低いときには、眼球運動の変動が滑らか（緩慢）になり、これは車速が高いほど顕著になる。
したがって、このときの運転者の視線変化に基づいて眼球運動の自己相関係数列Ｒφ(j)及びＲξ(j)を算出し、この自己相関係数列に基づいて運転者の眼球運動特性関数Ｒφ(Vm)及びＲξ(Vm)を取得する（図９のステップＳ２３１〜Ｓ２３４）。
その後、接触予測時間Ｔｃが所定値Ｔ1以下で、且つ自車速Ｖｍが所定値Ｖ1以上になったら（図３のステップＳ３の判定が“No”）、自車両が前方物体と接触する可能性が高いと判断し、運転者がこの前方物体を視認しているか否かを判断する（図４のステップＳ２４）。
その後、接触予測時間Ｔｃが所定値Ｔ1以下で、且つ自車速Ｖｍが所定値Ｖ1以上になったら（図３のステップＳ３の判定が“No”）、自車両が前方物体と接触する可能性が高いと判断し、運転者がこの前方物体を視認しているか否かを判断する（図４のステップＳ２４）。
すなわち、検出された運転者の視線方向が前方物体に向いていないとき（図１１のステップＳ２４２の判定が“No”）、又は検出された運転者の視線方向が前方物体に向いていても、このときの眼球運動が予め取得した非視認特性に適合するときには（図１１のステップＳ２４４の判定が“Yes”）、運転者は自車両と接触する可能性のある前方物体を視認していないと判断し、アクセル操作に対する操作反力を付与しながら（図３のステップＳ８）、ブレーキアクチュエータ７によって自動ブレーキを作動させる（図３のステップＳ９）。
一方、検出された運転者の視線方向が前方物体に向いていて（図１１のステップＳ２４２の判定が“Yes”）、且つこのときの眼球運動が予め取得した非視認特性に適合しないときには（図１１のステップＳ２４４の判定が“No”）、運転者は前方物体を視認している可能性が高いと判断し、アクセル操作に対する操作反力、及びブレーキアクチュエータ７による自動ブレーキを中止する。
《応用例》
上記の第１実施形態では、先行車両との車間距離や相対速度に応じてペダル反力装置１２を駆動し、アクセル操作に対する操作反力を付与することにより、運転操作支援を行っているが、これに限定されるものではない。すなわち、運転者へ注意を喚起できればよいので、単に警報装置８によって警報を発するだけもよい。この場合、接触予測時間Ｔｃに応じて音量や警報内容を変更すればよい。
上記の第１実施形態では、先行車両との車間距離や相対速度に応じてペダル反力装置１２を駆動し、アクセル操作に対する操作反力を付与することにより、運転操作支援を行っているが、これに限定されるものではない。すなわち、運転者へ注意を喚起できればよいので、単に警報装置８によって警報を発するだけもよい。この場合、接触予測時間Ｔｃに応じて音量や警報内容を変更すればよい。
また、上記の第１実施形態では、運転者が前方物体を視認していると判断したときに、アクセル操作に対する操作反力、及びブレーキアクチュエータ７による自動ブレーキを中止しているが、これに限定されるものではなく、制限するだけでもよい。さらには、前方物体に対する運転者の視認状態を２段階で判断しているが、勿論、３段階以上で判断してもよく、この場合、運転者の視認状態（視認度合）に応じて、操作反力や自動ブレーキの強弱を制御すればよい。
《効果》
（１）アクセル操作に対する操作反力によって運転操作支援を行う際の運転者のアクセル操作量に基づいて、前方物体に対する運転者の注意度合を判断する注意度合判断手段と、この注意度合判断手段の判断結果と運転者の視線変化とに基づいて、運転者の眼球運動の特性を取得する特性取得手段と、この特性取得手段で取得した眼球運動の特性と運転者の視線変化とに基づいて、前方物体に対する運転者の視認状態を判断する視認状態判断手段とを備える。
（１）アクセル操作に対する操作反力によって運転操作支援を行う際の運転者のアクセル操作量に基づいて、前方物体に対する運転者の注意度合を判断する注意度合判断手段と、この注意度合判断手段の判断結果と運転者の視線変化とに基づいて、運転者の眼球運動の特性を取得する特性取得手段と、この特性取得手段で取得した眼球運動の特性と運転者の視線変化とに基づいて、前方物体に対する運転者の視認状態を判断する視認状態判断手段とを備える。
これにより、運転者の視線が単に前方物体に向いていても、そのときの眼球運動から運転者が本当に前方物体を視認しているか否かを高精度に判断することができる。つまり、単に視線の向きだけで判断するのではなく、運転者の眼球運動も考慮して判断するので、その精度を向上させることができる。
したがって、前方物体との接触を回避するために、自動ブレーキを作動させる等、適切な手段を講じることが可能となる。
したがって、前方物体との接触を回避するために、自動ブレーキを作動させる等、適切な手段を講じることが可能となる。
また、運転者は運転操作支援も含めて車両の走行状態を知覚することとなるので、この運転操作支援の程度によっても、眼球運動は異なってくると考えられるが、運転操作支援が行われる度に運転者の眼球運動特性を取得し、その後の運転者の視認状態の判断材料とすることで、常に高精度な判断を行うことができる。
（２）アクセル操作に対する操作反力と運転者によるアクセル操作量との相関性を算出し、この相関性に基づいて運転者の注意度合を判断する。
これにより、運転者の注意度合を容易に判断することができる。
（３）操作反力の変動に対するアクセル操作量の追従性についての相関性を判断し、この相関性が強いほど、運転者の注意度合が低いと判断する。
これにより、運転者の注意度合を容易に判断することができる。
これにより、運転者の注意度合を容易に判断することができる。
（３）操作反力の変動に対するアクセル操作量の追従性についての相関性を判断し、この相関性が強いほど、運転者の注意度合が低いと判断する。
これにより、運転者の注意度合を容易に判断することができる。
（４）運転者の注意度合が所定の度合よりも低いと判断したときに、運転者の視線変化に基づいて眼球運動の自己相関性を判断し、この自己相関性に基づいて眼球運動の非視認特性を取得する。
これにより、運転者ごとに異なる非視認特性を容易に取得することができる。
（５）運転者の視線が前方物体からずれるとき、又は運転者の眼球運動が非視認特性と適合するときに、運転者が前方物体を視認していないと判断する。
これにより、ただ視線が前方物体に向いているだけで、実際には注意深く視認していないような状態を的確に判断することができる。
これにより、運転者ごとに異なる非視認特性を容易に取得することができる。
（５）運転者の視線が前方物体からずれるとき、又は運転者の眼球運動が非視認特性と適合するときに、運転者が前方物体を視認していないと判断する。
これにより、ただ視線が前方物体に向いているだけで、実際には注意深く視認していないような状態を的確に判断することができる。
（６）運転者の視線が前方物体に向い、且つ運転者の眼球運動が取得した非視認特性と適合しないときに、運転者が前方物体を視認していると判断する。
これにより、運転者が確実に視認している状態だけを的確に判断することができる。
（７）運転者の注意度合が所定の度合よりも高いと判断したときに、運転者の眼球位置と前方物体とを結ぶ直線を算出し、この直線と運転者の視線との差分を算出し、この差分と運転者の頭部位置との相関性を判断し、この相関性に基づいて眼球運動の視認特性を取得する。
これにより、運転者ごとに異なる動的な視認特性を容易に取得することができる。
これにより、運転者が確実に視認している状態だけを的確に判断することができる。
（７）運転者の注意度合が所定の度合よりも高いと判断したときに、運転者の眼球位置と前方物体とを結ぶ直線を算出し、この直線と運転者の視線との差分を算出し、この差分と運転者の頭部位置との相関性を判断し、この相関性に基づいて眼球運動の視認特性を取得する。
これにより、運転者ごとに異なる動的な視認特性を容易に取得することができる。
（８）取得した視認特性に基づいて視線検出を較正する。
これにより、主に車速毎の頭部の動きについての視線検出の精度を向上させることができる。
（９）運転者が前方物体を視認していないと判断するときに運転操作支援を実行し、運転者が前方物体を視認していると判断するときに運転操作支援を制限する。
これにより、運転者にとって本当に必要なときだけ制御介入することができる。
これにより、主に車速毎の頭部の動きについての視線検出の精度を向上させることができる。
（９）運転者が前方物体を視認していないと判断するときに運転操作支援を実行し、運転者が前方物体を視認していると判断するときに運転操作支援を制限する。
これにより、運転者にとって本当に必要なときだけ制御介入することができる。
（１０）注意対象となる前方物体に自車両が接触する可能性を判断し、この判断結果に応じて、接触方向への運転操作に対して操作反力を付与することにより運転操作支援を行う。
これにより、運転者に接触回避方向の運転操作を促し、前方物体との接触回避を図ることができる。
（１１）アクセル操作に対して操作反力を付与する。
これにより、運転者に対して接触回避方向の運転操作を直接促し、前方物体との接触回避を図ることができる。
（１２）警報を報知することにより運転操作支援を行う。
これにより、運転者に対してペダル操作の感覚（触覚）だけではなく、聴覚に対しても働きかけることにより、運転者の注意を確実に喚起することができる。
これにより、運転者に接触回避方向の運転操作を促し、前方物体との接触回避を図ることができる。
（１１）アクセル操作に対して操作反力を付与する。
これにより、運転者に対して接触回避方向の運転操作を直接促し、前方物体との接触回避を図ることができる。
（１２）警報を報知することにより運転操作支援を行う。
これにより、運転者に対してペダル操作の感覚（触覚）だけではなく、聴覚に対しても働きかけることにより、運転者の注意を確実に喚起することができる。
《第２実施形態》
《構成》
次に、本発明の第２実施形態について説明する。
この第２実施形態は、自車両が走行車線から逸脱する可能性を判断し、この判断結果に応じて運転操作支援を行うものである。すなわち、走行環境検出装置６によって走行車線を検出し、車線中心に対する車両中心の横ずれ量Ｗに応じて、操舵反力装置１０を駆動制御し、逸脱方向へのステアリング操作に対して操作反力を付与するものとし、この点を除けば前述した図３の操作支援処理を実行するので、その詳細説明は省略する。
《構成》
次に、本発明の第２実施形態について説明する。
この第２実施形態は、自車両が走行車線から逸脱する可能性を判断し、この判断結果に応じて運転操作支援を行うものである。すなわち、走行環境検出装置６によって走行車線を検出し、車線中心に対する車両中心の横ずれ量Ｗに応じて、操舵反力装置１０を駆動制御し、逸脱方向へのステアリング操作に対して操作反力を付与するものとし、この点を除けば前述した図３の操作支援処理を実行するので、その詳細説明は省略する。
なお、操作反力Ｆは、下記（１６）式に従って算出した値とする。ここで、Ｗ１は現時点の操舵角δを維持したときの所定時間Ｔ２後の予測横位置、Ｗ０は距離（Ｔ２×Ｖｍ）先の車線中心位置、Ｋｓは工場出荷時に車両の舵角比及びタイヤ特性によって定まる定数である。
Ｆ＝Ｋｓ×（Ｗ１−Ｗ０） ………（１６）
ここで、第２実施形態の注意度合判断処理を、図１２のフローチャートに従って説明する。
Ｆ＝Ｋｓ×（Ｗ１−Ｗ０） ………（１６）
ここで、第２実施形態の注意度合判断処理を、図１２のフローチャートに従って説明する。
先ずステップＳ２９１では、先行車両が存在せず自車両が先頭車両として走行してから所定時間が経過しているか否かを判定する。ここで、所定時間が経過していないときには、運転者の注意度合は不明であると判断してステップＳ２９２に移行する。一方、所定時間が経過しているときには、ステップＳ２９３に移行する。
ステップＳ２９２では、その時点の車速、横ずれ量、操舵角δ、操作反力Ｆ、頭部中心位置Ｐｈ、眼球中心位置Ｐｅ、視線方向［φｅ、ξｅ］、走行履歴情報をバッファに記憶してから、この注意度合判断処理を終了する。ここで、走行履歴情報とは、例えば単路や交差点付近などの道路パターンと、直進や右左折などの走行パターンの組み合わせを符号化したものである。
ステップＳ２９２では、その時点の車速、横ずれ量、操舵角δ、操作反力Ｆ、頭部中心位置Ｐｈ、眼球中心位置Ｐｅ、視線方向［φｅ、ξｅ］、走行履歴情報をバッファに記憶してから、この注意度合判断処理を終了する。ここで、走行履歴情報とは、例えば単路や交差点付近などの道路パターンと、直進や右左折などの走行パターンの組み合わせを符号化したものである。
一方、ステップＳ２９３では、バッファに記憶されている走行履歴情報が全て単路で且つ直進であるか否かを判定する。ここで、走行履歴情報が全て単路で且つ直進でないときには、運転者の注意度合は不明であると判断してステップＳ２９４に移行する。一方、走行履歴情報が全て単路で且つ直進であるときには、ステップＳ２９５に移行する。
ステップＳ２９４では、バッファに記憶された情報をリセットしてから、この注意度合判断処理を終了する。
ステップＳ２９４では、バッファに記憶された情報をリセットしてから、この注意度合判断処理を終了する。
ステップＳ２９５では、バッファに記憶されている横ずれ量の時間変動波形Ｗ(t)と操舵角の時間変動波形δ(t)についての相互相関係数(１/Ｔ)|Ｒ(Ｗ(t)，δ(t))|を算出し、この相関係数が所定値以上であるか否かを判定する。ここで、相関係数が所定値未満であるときには、運転者の注意度合は不明であると判断して前記ステップＳ２９４に移行する。一方、相関係数が所定値以上であるときには、ステップＳ２９６に移行する。
ステップＳ２９６では、操舵反力装置１０に対する反力指令値の時間変動波形Ｆ(t)と操舵角の時間変動波形δ(t)について、相互相関係数をラグ値０次から（Ｔ１／ｔ）次まで算出し、この相関係数が所定値以上となる特定のラグ値ｊがあるか否かを判定する。
一般に、運転者が道路線形を注意深く視認して、その線形に応じて操舵する場合には、運転者の視認している位置の横ずれ量に応じて調節する。この横ずれ量を判断する視認位置は、運転者や道路環境によって揺らぐため、相互相関係数の値が特定の次数で突出して高いことはない。これに対し、道路線形への注意レベルが低くなり、操舵反力を感じながら操舵する場合は、車両から所定量だけ前方位置の横ずれ量に応じてステアリング操作量が変動するため、相互相関係数が突出して高いラグ値が存在することになる。
一般に、運転者が道路線形を注意深く視認して、その線形に応じて操舵する場合には、運転者の視認している位置の横ずれ量に応じて調節する。この横ずれ量を判断する視認位置は、運転者や道路環境によって揺らぐため、相互相関係数の値が特定の次数で突出して高いことはない。これに対し、道路線形への注意レベルが低くなり、操舵反力を感じながら操舵する場合は、車両から所定量だけ前方位置の横ずれ量に応じてステアリング操作量が変動するため、相互相関係数が突出して高いラグ値が存在することになる。
したがって、反力指令値と操舵角との相関係数が所定値以上のラグ値が存在しないときには、運転者の注意度合が高いと判断して、ステップＳ２９７に移行する。一方、相関係数が所定値以上となるラグ値が存在するときには、運転者の注意度合が低いと判断して、ステップＳ２９８に移行する。
ステップＳ２９７では、特性フラグＦｓを“１”にセットしてから、この注意度合判断処理を終了する。
ステップＳ２９８では、特性フラグＦｓを“０”にリセットしてから、この注意度合判断処理を終了する。
その他の構成については、前述した第１実施形態と同様である。
以上より、操舵反力装置１０が「操作支援手段」に対応し、図１２の注意度合判断処理が「注意度合判断手段」に対応する。
ステップＳ２９７では、特性フラグＦｓを“１”にセットしてから、この注意度合判断処理を終了する。
ステップＳ２９８では、特性フラグＦｓを“０”にリセットしてから、この注意度合判断処理を終了する。
その他の構成については、前述した第１実施形態と同様である。
以上より、操舵反力装置１０が「操作支援手段」に対応し、図１２の注意度合判断処理が「注意度合判断手段」に対応する。
《作用》
次に、第２実施形態の作用について説明する。
今、先行車両の存在しない走行車線を走行しているとすると、走行車線に対する横ずれ量Ｗに応じて、運転者のステアリング操作に対して操作反力が付与されるので、例えば走行車線に対する逸脱傾向が高くなると、運転者は操舵反力の増加によって逸脱回避方向へ修正するように促される。
次に、第２実施形態の作用について説明する。
今、先行車両の存在しない走行車線を走行しているとすると、走行車線に対する横ずれ量Ｗに応じて、運転者のステアリング操作に対して操作反力が付与されるので、例えば走行車線に対する逸脱傾向が高くなると、運転者は操舵反力の増加によって逸脱回避方向へ修正するように促される。
前述したように、この操舵反力に対する運転者の反応の仕方から、自車両の逸脱度合に対する運転者の注意度合を推察することができる。すなわち、自車両の横ずれ量に対する運転者の注意力が低ければ、操舵反力の変動に対するステアリング操作の追従性が高まり、相関係数が突出して高いラグ値が現れる。したがって、操舵反力とステアリング操作量との相関係数を算出し、この相関係数に基づいて運転者の注意度合を判断する（図１２のステップＳ２９３〜Ｓ２９８）。
そして、運転者の注意度合が高いと判断されたときには（図１２のステップＳ２９６の判定が“No”）、運転者は道路線形を注意深く視認しているはずなので、このときの運転者の眼球運動を視認特性として取得する。
一方、運転者の注意度合が低いと判断されたときには（図１２のステップＳ２９６の判定が“Yes”）、運転者は道路線形を注意深く視認していないはずなので、このときの運転者の眼球運動を非視認特性として取得する。
その他の作用については、前述した第１実施形態と同様である。
一方、運転者の注意度合が低いと判断されたときには（図１２のステップＳ２９６の判定が“Yes”）、運転者は道路線形を注意深く視認していないはずなので、このときの運転者の眼球運動を非視認特性として取得する。
その他の作用については、前述した第１実施形態と同様である。
《応用例》
上記の第２実施形態では、走行車線からの横ずれ量Ｗに応じて操舵反力装置１０を駆動し、ステアリング操作に対する操作反力を付与することにより、運転操作支援を行っているが、これに限定されるものではなく、勿論、前述した第１実施形態と組み合わせて、運転操作支援を行ってもよい。
上記の第２実施形態では、走行車線からの横ずれ量Ｗに応じて操舵反力装置１０を駆動し、ステアリング操作に対する操作反力を付与することにより、運転操作支援を行っているが、これに限定されるものではなく、勿論、前述した第１実施形態と組み合わせて、運転操作支援を行ってもよい。
《効果》
（１）自車両が走行車線から逸脱する可能性を判断し、この判断結果に応じて、逸脱方向への運転操作に対して操作反力を付与することにより運転操作支援を行う。
これにより、運転者に逸脱回避方向の運転操作を促し、走行車線からの逸脱回避を図ることができる。
その他の効果については、前述した第１実施形態と同様である。
（１）自車両が走行車線から逸脱する可能性を判断し、この判断結果に応じて、逸脱方向への運転操作に対して操作反力を付与することにより運転操作支援を行う。
これにより、運転者に逸脱回避方向の運転操作を促し、走行車線からの逸脱回避を図ることができる。
その他の効果については、前述した第１実施形態と同様である。
１ 自動車
２ コントローラ
３ カメラ
４ レーザレーダ
５ 走行環境検出装置
６ 操作状態検出装置
７ ブレーキアクチュエータ
８ 警報装置
９ ステアリングホイール
１０ 操舵反力装置
１１ アクセルペダル
１２ ペダル反力装置
２０ 操作支援部
２１ 注意度合判断部
２２ 視線検出部
２３ 特性取得部
２４ 視認状態判断部
２ コントローラ
３ カメラ
４ レーザレーダ
５ 走行環境検出装置
６ 操作状態検出装置
７ ブレーキアクチュエータ
８ 警報装置
９ ステアリングホイール
１０ 操舵反力装置
１１ アクセルペダル
１２ ペダル反力装置
２０ 操作支援部
２１ 注意度合判断部
２２ 視線検出部
２３ 特性取得部
２４ 視認状態判断部
Claims (16)
- 自車進路上の注意対象と自車両との相対関係に応じて運転操作支援を行う操作支援手段と、運転者の運転操作状態を検出する操作状態検出手段と、運転者の視線を検出する視線検出手段と、
前記操作支援手段が運転操作支援を行う際に前記操作状態検出手段が検出する運転操作状態に基づいて、前記注意対象に対する運転者の注意度合を判断する注意度合判断手段と、該注意度合判断手段が判断する注意度合及び前記視線検出手段が検出する視線に基づいて、運転者の眼球運動の特性を取得する特性取得手段と、該特性取得手段が取得した眼球運動の特性及び前記視線検出手段が検出する視線に基づいて、前記注意対象に対する運転者の視認状態を判断する視認状態判断手段と、を備えることを特徴とする視認状態判断装置。 - 前記注意度合判断手段は、前記操作支援手段による運転操作支援量と運転者による運転操作量との相関性を判断し、当該相関性に基づいて運転者の注意度合を判断することを特徴とする請求項１に記載の視認状態判断装置。
- 前記注意度合判断手段は、前記運転操作支援量の変動に対する前記運転操作量の追従性についての前記相関性を判断し、当該相関性が強いほど、運転者の注意度合が低いと判断することを特徴とする請求項２に記載の視認状態判断装置。
- 前記特性取得手段は、前記注意度合判断手段が運転者の注意度合は所定の度合よりも低いと判断したときに、運転者の視線変化に基づいて眼球運動の自己相関性を判断し、当該自己相関性に基づいて眼球運動の非視認特性を取得することを特徴とする請求項１〜３の何れか一項に記載の視認状態判断装置。
- 前記視認状態判断手段は、運転者の視線が前記注意対象からずれるとき、又は運転者の眼球運動が前記特性取得手段の取得した非視認特性と適合するときに、運転者が前記注意対象を視認していないと判断することを特徴とする請求項１〜４の何れか一項に記載の視認状態判断装置。
- 前記視認状態判断手段は、運転者の視線が前記注意対象に向い、且つ運転者の眼球運動が前記特性取得手段の取得した非視認特性と適合しないときに、運転者が前記注意対象を視認していると判断することを特徴とする請求項１〜５の何れか一項に記載の視認状態判断装置。
- 前記特性取得手段は、前記注意度合判断手段が運転者の注意度合は所定の度合よりも高いと判断したときに、運転者の眼球位置と前記注意対象とを結ぶ直線を算出し、当該直線と前記視線検出手段が検出する視線との差分を算出し、当該差分と運転者の頭部位置との相関性を判断し、当該相関性に基づいて眼球運動の視認特性を取得することを特徴とする請求項１〜６の何れか一項に記載の視認状態判断装置。
- 前記特性取得手段が取得した視認特性に基づいて前記視線検出手段を較正する較正手段を備えることを特徴とする請求項７に記載の視認状態判断装置。
- 前記操作支援手段は、前記視認状態判断手段が運転者は前記注意対象を視認していないと判断するときに運転操作支援を実行し、当該視認状態判断手段が運転者は前記注意対象を視認していると判断するときに運転操作支援を制限することを特徴とする請求項１〜８の何れか一項に記載の視認状態判断装置。
- 前記注意対象となる前方物体に自車両が接触する可能性を判断する接触判断手段を備え、
前記操作支援手段は、前記接触判断手段の判断結果に応じて、接触方向への運転操作に対して操作反力を付与することにより運転操作支援を行うことを特徴とする請求項１〜９の何れか一項に記載の視認状態判断装置。 - 前記注意対象となる走行車線から自車両が逸脱する可能性を判断する逸脱判断手段を備え、
前記操作支援手段は、前記逸脱判断手段の判断結果に応じて、逸脱方向への運転操作に対して操作反力を付与することにより運転操作支援を行うことを特徴とする請求項１〜１０の何れか一項に記載の視認状態判断装置。 - 前記操作支援手段は、アクセル操作及びステアリング操作の少なくとも一方に対して操作反力を付与することを特徴とする請求項１０又は１１に記載の視認状態判断装置。
- 前記操作支援手段は、警報を報知することにより運転操作支援を行うことを特徴とする請求項１〜１２の何れか一項に記載の視認状態判断装置。
- 自車進路上の注意対象と自車両との相対関係に応じて運転操作支援を行う操作支援手段を備え、
前記操作支援手段が運転操作支援を行う際の運転者の運転操作状態に基づいて、前記注意対象に対する運転者の注意度合を判断し、当該注意度合が所定の度合よりも低いと判断されたときの運転者の眼球運動の特性を予め取得しておき、その後の運転者の眼球運動と予め取得している眼球運動の特性とを比較することによって、前記注意対象に対する運転者の視認状態を判断することを特徴とする視認状態判断装置。 - 自車進路上の注意対象に対する運転者の視認状態を判断する視認状態判断装置を備えた自動車において、
前記視認状態判断装置は、
前記注意対象と自車両との相対関係に応じて運転操作支援を行う操作支援手段と、運転者の運転操作状態を検出する操作状態検出手段と、運転者の視線を検出する視線検出手段と、
前記操作支援手段が運転操作支援を行う際に前記操作状態検出手段が検出する運転操作状態に基づいて、前記注意対象に対する運転者の注意度合を判断する注意度合判断手段と、該注意度合判断手段が判断する注意度合及び前記視線検出手段が検出する視線に基づいて、運転者の眼球運動の特性を取得する特性取得手段と、該特性取得手段が取得した眼球運動の特性及び前記視線検出手段が検出する視線に基づいて、前記注意対象に対する運転者の視認状態を判断する視認状態判断手段と、を備えることを特徴とする自動車。 - 自車進路上の注意対象と自車両との相対関係に応じて運転操作支援が行われる際の運転者の運転操作状態に基づいて、前記注意対象に対する運転者の注意度合を判断し、当該注意度合が所定の度合よりも低いと判断されたときの運転者の眼球運動の特性を予め取得しておき、その後の運転者の眼球運動と予め取得している眼球運動の特性とを比較することによって、前記注意対象に対する運転者の視認状態を判断することを特徴とする視認状態判断方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005262349A JP4815960B2 (ja) | 2005-09-09 | 2005-09-09 | 視認状態判断装置、自動車、及び視認状態判断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005262349A JP4815960B2 (ja) | 2005-09-09 | 2005-09-09 | 視認状態判断装置、自動車、及び視認状態判断方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007068917A true JP2007068917A (ja) | 2007-03-22 |
| JP4815960B2 JP4815960B2 (ja) | 2011-11-16 |
Family
ID=37930867
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005262349A Expired - Fee Related JP4815960B2 (ja) | 2005-09-09 | 2005-09-09 | 視認状態判断装置、自動車、及び視認状態判断方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4815960B2 (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009015533A (ja) * | 2007-07-03 | 2009-01-22 | Toyota Motor Corp | 視線方向検出装置 |
| JP2011204054A (ja) * | 2010-03-26 | 2011-10-13 | Mazda Motor Corp | 車両の運転支援装置 |
| CN103085819A (zh) * | 2011-11-08 | 2013-05-08 | 现代自动车株式会社 | 具有加速踏板控制功能的驾驶员状态检测系统和方法 |
| JP2016062330A (ja) * | 2014-09-18 | 2016-04-25 | 株式会社デンソーアイティーラボラトリ | 注意過多状態判定装置及び注意過多状態判定プログラム |
| JP2018520044A (ja) * | 2015-06-17 | 2018-07-26 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | 自動車の制御方法 |
| JP2018188049A (ja) * | 2017-05-10 | 2018-11-29 | 国立大学法人東京工業大学 | 車両用情報表示装置 |
| JP2020181281A (ja) * | 2019-04-24 | 2020-11-05 | 株式会社デンソーアイティーラボラトリ | 視線方向推定装置、視線方向推定装置の較正方法、およびプログラム |
| JP2021077140A (ja) * | 2019-11-11 | 2021-05-20 | マツダ株式会社 | 車両制御装置及び運転者状態判定方法 |
| JP2021077141A (ja) * | 2019-11-11 | 2021-05-20 | マツダ株式会社 | 車両制御装置及び運転者状態判定方法 |
| WO2021124140A1 (en) * | 2019-12-17 | 2021-06-24 | Indian Institute Of Science | System and method for monitoring cognitive load of a driver of a vehicle |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05181529A (ja) * | 1991-12-27 | 1993-07-23 | Honda Motor Co Ltd | 車両用衝突判断装置 |
| JPH05180939A (ja) * | 1991-12-27 | 1993-07-23 | Honda Motor Co Ltd | 車両用衝突判断装置 |
| JPH06251273A (ja) * | 1993-02-23 | 1994-09-09 | Mitsubishi Electric Corp | 運転者状態判定装置 |
| JPH08178712A (ja) * | 1994-12-22 | 1996-07-12 | Toyota Motor Corp | 漫然運転検出装置 |
| JPH09254742A (ja) * | 1996-03-22 | 1997-09-30 | Nissan Diesel Motor Co Ltd | 車両における覚醒度低下検出装置 |
| JPH1178951A (ja) * | 1997-09-13 | 1999-03-23 | Honda Motor Co Ltd | 車両用操舵装置 |
| JPH11328593A (ja) * | 1998-05-15 | 1999-11-30 | Yazaki Corp | 車両運転者健康状態判定方法及びその装置、車両運転者健康状態管理方法及びその装置 |
| JP2000276690A (ja) * | 1999-03-26 | 2000-10-06 | Pub Works Res Inst Ministry Of Constr | 自動運転制御装置 |
| JP2002331850A (ja) * | 2001-05-07 | 2002-11-19 | Nissan Motor Co Ltd | 運転行動意図検出装置 |
| JP2003118423A (ja) * | 2001-10-11 | 2003-04-23 | Nissan Motor Co Ltd | 自動巡航制御装置 |
| JP2004030212A (ja) * | 2002-06-25 | 2004-01-29 | Toyota Central Res & Dev Lab Inc | 車両用情報提供装置 |
| WO2004101306A1 (de) * | 2003-05-16 | 2004-11-25 | Daimlerchrysler Ag | Verfahren und vorrichtung zur beeinflussung der beanspruchung eines fahrers in einem kraftfahrzeug |
| JP2005041308A (ja) * | 2003-07-25 | 2005-02-17 | Fuji Heavy Ind Ltd | 車両用走行支援装置 |
| JP2005517484A (ja) * | 2002-02-19 | 2005-06-16 | ボルボ テクノロジー コーポレイション | 運転者注意負荷の監視と管理とを行なうシステムおよび方法 |
-
2005
- 2005-09-09 JP JP2005262349A patent/JP4815960B2/ja not_active Expired - Fee Related
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05181529A (ja) * | 1991-12-27 | 1993-07-23 | Honda Motor Co Ltd | 車両用衝突判断装置 |
| JPH05180939A (ja) * | 1991-12-27 | 1993-07-23 | Honda Motor Co Ltd | 車両用衝突判断装置 |
| JPH06251273A (ja) * | 1993-02-23 | 1994-09-09 | Mitsubishi Electric Corp | 運転者状態判定装置 |
| JPH08178712A (ja) * | 1994-12-22 | 1996-07-12 | Toyota Motor Corp | 漫然運転検出装置 |
| JPH09254742A (ja) * | 1996-03-22 | 1997-09-30 | Nissan Diesel Motor Co Ltd | 車両における覚醒度低下検出装置 |
| JPH1178951A (ja) * | 1997-09-13 | 1999-03-23 | Honda Motor Co Ltd | 車両用操舵装置 |
| JPH11328593A (ja) * | 1998-05-15 | 1999-11-30 | Yazaki Corp | 車両運転者健康状態判定方法及びその装置、車両運転者健康状態管理方法及びその装置 |
| JP2000276690A (ja) * | 1999-03-26 | 2000-10-06 | Pub Works Res Inst Ministry Of Constr | 自動運転制御装置 |
| JP2002331850A (ja) * | 2001-05-07 | 2002-11-19 | Nissan Motor Co Ltd | 運転行動意図検出装置 |
| JP2003118423A (ja) * | 2001-10-11 | 2003-04-23 | Nissan Motor Co Ltd | 自動巡航制御装置 |
| JP2005517484A (ja) * | 2002-02-19 | 2005-06-16 | ボルボ テクノロジー コーポレイション | 運転者注意負荷の監視と管理とを行なうシステムおよび方法 |
| JP2004030212A (ja) * | 2002-06-25 | 2004-01-29 | Toyota Central Res & Dev Lab Inc | 車両用情報提供装置 |
| WO2004101306A1 (de) * | 2003-05-16 | 2004-11-25 | Daimlerchrysler Ag | Verfahren und vorrichtung zur beeinflussung der beanspruchung eines fahrers in einem kraftfahrzeug |
| JP2007512989A (ja) * | 2003-05-16 | 2007-05-24 | ダイムラークライスラー・アクチェンゲゼルシャフト | 自動車内における運転者の負荷を調整するための方法及び装置 |
| JP2005041308A (ja) * | 2003-07-25 | 2005-02-17 | Fuji Heavy Ind Ltd | 車両用走行支援装置 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009015533A (ja) * | 2007-07-03 | 2009-01-22 | Toyota Motor Corp | 視線方向検出装置 |
| JP2011204054A (ja) * | 2010-03-26 | 2011-10-13 | Mazda Motor Corp | 車両の運転支援装置 |
| CN103085819A (zh) * | 2011-11-08 | 2013-05-08 | 现代自动车株式会社 | 具有加速踏板控制功能的驾驶员状态检测系统和方法 |
| US8565972B2 (en) | 2011-11-08 | 2013-10-22 | Hyundai Motor Company | Driver state detection system and method with accelerator pedal control function |
| JP2016062330A (ja) * | 2014-09-18 | 2016-04-25 | 株式会社デンソーアイティーラボラトリ | 注意過多状態判定装置及び注意過多状態判定プログラム |
| JP2018520044A (ja) * | 2015-06-17 | 2018-07-26 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | 自動車の制御方法 |
| JP2018188049A (ja) * | 2017-05-10 | 2018-11-29 | 国立大学法人東京工業大学 | 車両用情報表示装置 |
| JP2020181281A (ja) * | 2019-04-24 | 2020-11-05 | 株式会社デンソーアイティーラボラトリ | 視線方向推定装置、視線方向推定装置の較正方法、およびプログラム |
| JP2021077140A (ja) * | 2019-11-11 | 2021-05-20 | マツダ株式会社 | 車両制御装置及び運転者状態判定方法 |
| JP2021077141A (ja) * | 2019-11-11 | 2021-05-20 | マツダ株式会社 | 車両制御装置及び運転者状態判定方法 |
| JP7415459B2 (ja) | 2019-11-11 | 2024-01-17 | マツダ株式会社 | 車両制御装置及び運転者状態判定方法 |
| JP7415460B2 (ja) | 2019-11-11 | 2024-01-17 | マツダ株式会社 | 車両制御装置及び運転者状態判定方法 |
| WO2021124140A1 (en) * | 2019-12-17 | 2021-06-24 | Indian Institute Of Science | System and method for monitoring cognitive load of a driver of a vehicle |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4815960B2 (ja) | 2011-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4815960B2 (ja) | 視認状態判断装置、自動車、及び視認状態判断方法 | |
| US11794788B2 (en) | Automatic driving system | |
| KR101793370B1 (ko) | 차량 제어 장치 | |
| JP6508095B2 (ja) | 車両の自動運転制御システム | |
| JP6699831B2 (ja) | 運転意識推定装置 | |
| JP5184596B2 (ja) | 脇見判定装置 | |
| WO2018186127A1 (ja) | 走行支援装置 | |
| US8401714B2 (en) | Apparatus for supporting drive of mobile object based on target locus thereof | |
| JP6946760B2 (ja) | 移譲制御装置及び制御プログラム | |
| JP2007094716A (ja) | 車両の運転支援装置 | |
| JP6693489B2 (ja) | 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム | |
| US20190005341A1 (en) | Method for classifying driver movements | |
| JP6683185B2 (ja) | 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム | |
| JPH09238905A (ja) | 視線方向計測装置 | |
| JP4948996B2 (ja) | 車両の運転支援装置 | |
| JP6509940B2 (ja) | 運転支援装置および運転支援方法 | |
| JPH07117593A (ja) | 車両用警報装置 | |
| JPH11348696A (ja) | 進行路形状推定装置及びこれを用いた走行支援装置 | |
| WO2019155914A1 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、データ処理プログラム、及び記憶媒体 | |
| US11472429B2 (en) | Vehicle controller | |
| JP4760113B2 (ja) | 運転者状態推定装置 | |
| WO2019155913A1 (ja) | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、データ処理プログラム、及び記憶媒体 | |
| US11685384B2 (en) | Driver alertness detection method, device and system | |
| US11048952B2 (en) | Occupant monitoring device, occupant monitoring method, and occupant monitoring program | |
| JP6365438B2 (ja) | 運転者状態判定方法及びその判定装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080728 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100917 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110301 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110325 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110510 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110526 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110802 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110815 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140909 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |