JP2010026654A - 運転者状態判定装置および運転者状態判定方法 - Google Patents

Abstract

【課題】運転者の不注意状態を精度よく判定する運転者状態判定装置を提供する。
【解決手段】視線検出手段および操作状態検出手段の少なくともいずれか１つと、環境識別手段と、不注意状態判定手段とを備える。視線検出手段は、運転者の視線の状態を検出する。操作状態検出手段は、運転者による車両の操作状態を検出する。環境識別手段は、車両周辺の環境を検出する。不注意状態判定手段は、視線検出手段および操作状態検出手段の少なくともいずれか１つにより検出された検出値とそれぞれの閾値とを比較し、その比較結果に基づいて運転者の不注意状態を判定する。それぞれの閾値は、環境識別手段により検出された環境に応じて変わる。
【選択図】図１

Description

本発明は、車両用の運転者状態判定装置および運転者状態判定方法に関し、より特定的には、運転者の視線の状態、運転者の操作状態および車両周辺の環境の組み合わせによって運転者の状態を判定する運転者状態判定装置および運転者状態判定方法に関する。

従来から、運転者がぼんやりしている状態など運転者の不注意状態を判定する装置が提案されている。例えば、特許文献１に記載の装置がある。特許文献１に記載の技術では、まず運転者の視線方向を検出する。次に検出された視線方向の頻度分布を計算する。そして、予め定められた視線方向の頻度分布のパターンと検出された視線方向の頻度分布とを比較することにより、運転者の心理的または生理的状態を判定している。例えば、特許文献１に記載の装置は、運転者の視線方向が一点に集中している場合などは、運転者はぼんやり運転をしていると判定する。
特開平６−２５１２７３号公報

上記のように、特許文献１に記載の技術では、運転者の視線方向のみに基づいて運転者の状態を判定している。しかしながら、実際には、車両周辺の環境や運転者の操作状態によって運転者の視線の状態が異なる。例えば、運転者が先行車の走行に応じて運転している場合、視線は先行車に集中する傾向にある。この場合、運転者は正常な状態にあるにも拘わらず、特許文献１の技術では、視線が集中しているために不注意状態であると判定する可能性が高い。従って、特許文献１に記載の技術のように、運転者の視線方向のみに基づいて運転者の状態を判定すると、精度の高い判定ができない。

それ故、本発明の目的は、運転者の視線の状態、運転者の操作状態および車両周辺の環境等様々な組み合わせを考慮することによって、運転者の不注意状態を精度よく判定する運転者状態判定装置を提供することである。

本発明は、上記課題を解決するために、以下の構成を採用した。すなわち、第１の発明は、視線検出手段および操作状態検出手段の少なくともいずれか１つと、環境識別手段と、不注意状態判定手段とを備える。視線検出手段は、運転者の視線の状態を検出する。操作状態検出手段は、運転者による車両の操作状態を検出する。環境識別手段は、車両周辺の環境を識別する。不注意状態判定手段は、視線検出手段および操作状態検出手段の少なくともいずれか１つにより検出された検出値とそれぞれの閾値とを比較し、その比較結果に基づいて運転者の不注意状態を判定する。それぞれの閾値は、環境識別手段により識別された環境に応じて変わる。

この発明によれば、運転者の不注意状態を精度よく判定することができる。すなわち、運転者の視線の状態および運転者の操作状態は、車両周辺の環境によって変化する。本発明では、車両周辺の環境に応じて運転者の状態判断に用いられる閾値を変える。これにより、精度よく運転者の状態を判定することができる。

第２の発明では、第１の発明において、視線検出手段は、視線の状態として、運転者の視線停留時間を検出してもよい。

この発明によれば、運転者の視線停留時間を検出することによって、運転者の状態を判定することができる。

第３の発明では、第１の発明において、操作状態検出手段は、車両の操作状態として、アクセル開度を検出してもよい。

この発明によれば、アクセル開度を検出することによって、運転者の状態を判定することができる。

第４の発明では、第２の発明において、不注意状態判定手段は、視線停留時間が閾値以上である場合に、運転者が不注意状態であると判定してもよい。

この発明によれば、予め正常時における運転者の視線停留時間の上限値を閾値として設定し、運転者の視線停留時間がこの閾値以上の場合、運転者は不注意状態であると判定することができる。

第５の発明では、第３の発明において、不注意状態判定手段は、アクセル開度の移動平均とアクセル開度との差である修正アクセル開度から算出した該修正アクセル開度の標準偏差が閾値以上である場合に、運転者が不注意状態であると判定してもよい。

この発明によれば、予め正常時における修正アクセル開度の標準偏差の上限値を閾値として設定し、修正アクセル開度の標準偏差がこの閾値以上の場合、運転者は不注意状態であると判定することができる。

第６の発明では、第１の発明において、視線検出手段は、視線の状態として、運転者の視線停留時間を検出してもよい。また、操作状態検出手段は、車両の操作状態として、アクセル開度を検出してもよい。そして、不注意状態判定手段は、アクセル開度の移動平均とアクセル開度との差である修正アクセル開度から算出した該修正アクセル開度の標準偏差が閾値以上である場合、または視線停留時間が閾値以上である場合に、運転者が不注意状態であると判定してもよい。

この発明によれば、環境によって変化する正常時における視線停留時間の上限値および修正アクセル開度の標準偏差の上限値をそれぞれの閾値として予め設定する。そして、運転者の視線停留時間または修正アクセル開度の標準偏差のいずれか一方でもそれぞれの閾値以上の場合、運転者が不注意状態であると判定することができる。

第７の発明では、第１から第６の発明において、環境識別手段は、車両の先行車の有無を識別してもよい。

この発明によれば、先行車の有無に応じて、運転者の状態判定のための閾値を変えることができる。

第８の発明では、第７の発明において、不注意状態判定手段は、車両の先行車が存在する場合、閾値を先行車が存在しない場合より高くしてもよい。

この発明によれば、先行車が存在する場合において、より正確に運転者の状態を判定することができる。

第９の発明は、視線検出手段と、操作状態検出手段と、不注意状態判定手段とを備えてもよい。視線検出手段は、運転者の視線の状態を検出する。操作状態検出手段は、運転者による車両の操作状態を検出する。不注意状態判定手段は、視線検出手段より検出された検出値および操作状態検出手段により検出された検出値とそれぞれの閾値とを比較し、その比較結果に基づいて運転者の不注意状態を判定する。

この発明によれば、運転者の視線停留時間とアクセル開度を組み合わせることによって、運転者の状態を判定することができる。

第１０の発明では、第９の発明において、不注意状態判定手段は、視線検出手段より検出された検出値または操作状態検出手段により検出された検出値の少なくともいずれか一方が、閾値以上である場合に、運転者が不注意状態であると判定してもよい。

この発明によれば、正常時における視線停留時間の上限値および修正アクセル開度の標準偏差の上限値をそれぞれの閾値として予め設定する。そして、運転者の視線停留時間または修正アクセル開度の標準偏差のいずれか一方でもそれぞれの閾値以上の場合、運転者が不注意状態であると判定することができる。

第１１の発明では、第１から第１０の発明において、不注意状態判定手段は、運転者が不注意状態であると判定した場合、運転者を支援する支援手段に対して、運転者への支援を要求してもよい。

この発明によれば、運転者が不注意状態の場合、適切に運転者を支援することができ、事故を未然に防止することができる。

第１２の発明では、第１１の発明において、不注意状態判定手段は、支援手段である、プリクラッシュ・セーフティシステムに対して、運転者への注意喚起を要求してもよい。

この発明によれば、運転者が不注意状態の場合、運転者に対して注意喚起を行うことができる。

第１３の発明では、第１から第１２の発明において、不注意状態判定手段は、運転者が不注意状態であると判定した場合、車両の外界へ通知を行う外界通知手段に対して、外界への注意喚起を要求してもよい。

この発明によれば、運転者が不注意状態の場合、車両の外界に対して注意喚起を行うことができる。

第１４の発明では、第１３の発明において、不注意状態判定手段は、外界通知手段である、インフラ協調システムに対して、歩行者や接近車両への注意喚起を要求してもよい。

この発明によれば、運転者が不注意状態の場合、歩行者や周辺車両に対して、注意喚起を行うことができる。

第１５の発明は、運転者の状態を判定する方法である。すなわち、第１５の発明は、視線検出ステップおよび操作状態検出ステップの少なくともいずれか１つのステップと、環境識別ステップと、不注意状態判定ステップとを備える。視線検出ステップは、運転者の視線の状態を検出する。操作状態検出ステップは、運転者による車両の操作状態を検出する。環境識別ステップは、車両周辺の環境を識別する。不注意状態判定ステップは、視線検出ステップおよび操作状態検出ステップの少なくともいずれか１つのステップにより検出された検出値とそれぞれの閾値とを比較し、その比較結果に基づいて運転者の不注意状態を判定する。そして、それぞれの閾値は、前記環境識別ステップにより識別された環境に応じて変わる。

この発明によれば、運転者の不注意状態を精度よく判定する方法を提供することができる。すなわち、運転者の視線の状態および運転者の操作状態は、車両周辺の環境によって変化する。本発明では、車両周辺の環境に応じて運転者の状態判断に用いられる閾値を変える。これにより、精度よく運転者の状態を判定することができる。

第１６の発明は、運転者の状態を判定する方法である。すなわち、第１６の発明は、視線検出ステップと、操作状態検出ステップと、不注意状態判定ステップとを備える。視線検出ステップは、運転者の視線の状態を検出する。操作状態検出ステップは、運転者による車両の操作状態を検出する。不注意状態判定ステップは、視線検出ステップより検出された検出値および操作状態検出ステップにより検出された検出値とそれぞれの閾値とを比較し、その比較結果に基づいて運転者の不注意状態を判定する。

この発明によれば、運転者の視線停留時間とアクセル開度を組み合わせることによって、運転者の状態を判定する方法を提供することができる。

この発明によれば、運転者の不注意状態を精度よく判定することができる。すなわち、運転者の状態の判定基準として、運転者の視線の状態と運転者の操作状態とを組み合わせることによって、精度よく運転者の状態を判定することができる。また、環境を考慮することによって、さらに精度よく運転者の状態を判定することができる。

以下、図１から図９を参照して、本発明の実施形態に係る運転者状態判定装置について説明する。図１は、本発明の実施形態に係る運転者状態判定装置の構成を示すブロック図である。

運転者状態判定装置１は、視線検出手段２と、操作状態検出手段３と、環境識別手段４と、不注意状態判定手段５とを備える。また、運転者状態判定装置１は、支援手段６および外部への注意喚起を行う外界通知手段７に接続される。

視線検出手段２は、運転者の視線の状態を検出する。操作状態検出手段３は、運転者による車両の操作状態を検出する。環境識別手段４は、車両周辺の環境を識別する。不注意状態判定手段５は、視線検出手段２および操作状態検出手段３により検出された検出値とそれぞれの閾値とを比較し、その比較結果に基づいて運転者の不注意状態を判定する。

ここで、それぞれの閾値は、環境識別手段４により識別された環境に応じて変わる。また、支援手段６は、不注意状態判定手段５の要求に応じて、運転者に対して所定の支援を行う。外界通知手段７は、不注意状態判定手段５の要求に応じて、外部に対して注意喚起を行う。以下、各部について詳細に説明する。

（運転者状態判定装置１の各部の説明）
視線検出手段２は、ドライバカメラ１１を含み、運転者の視線の状態を検出する。視線検出手段２は、運転者の視線の状態として、視線停留時間を検出する。ここで視線停留時間とは、運転者が一点を見つめている間の時間である。ドライバカメラ１１は、例えば、ＣＣＤカメラなどで構成され、運転者の顔を撮影する。視線検出手段２は、撮影された運転者の顔画像から運転者の視線を検出する。運転者の視線が所定時間以上、同一の方向を向いている場合、視線検出手段２は、運転者の視線が停留していると認識し、視線停留時間を算出する。本実施形態では、通常、人間が１秒間に視線を動かすことのできる回数が３回程度であることを考慮して、上記所定時間は、例えば０．３５（ｓｅｃ）に設定される。また、本実施形態では、視線検出手段２の精度を考慮して、視線が所定の角度範囲、例えば±２．５°以内の場合に、同一方向を向いている状態とする。視線検出手段２は、検出した視線停留時間を不注意状態判定手段５に出力する。なお、視線検出手段２は、運転者の視線停留時間を検出するものであれば、上記ＣＣＤカメラ以外にどのような構成でも構わない。また、ここで示された数値は、本発明を何ら限定するものではない。

操作状態検出手段３は、アクセル開度検出器１２を含み、運転者の操作状態としてアクセル開度を検出する。アクセル開度検出器１２は、アクセル開度を測定する。操作状態検出手段３は、測定されたアクセル開度を不注意状態判定手段５に出力する。

環境識別手段４は、レーダー１３と、ナビゲーションシステム１４とを含む。レーダー１３は、例えばミリ波レーダーにより構成され、車両前方の先行車の有無を検出する。また、ナビゲーションシステム１４は、車両が走行している位置を検出する。環境識別手段４は、ナビゲーションシステム１４による位置情報から、車両がどのような種別の道路を走行中であるかを識別する。環境識別手段４は、先行車の有無および走行中の道路の種別を不注意状態判定手段５に出力する。また、環境識別手段４が出力する情報には、先行車との距離を含んでいてもよい。なお、環境識別手段４は、上記構成に限らず、外界を認識することが可能な構成であれば、どのようなものでも構わない。例えば、レーダー１３に替えて（または加えて）、カメラを備えていてもよい。

不注意状態判定手段５は、操作状態検出手段３から出力されたアクセル開度の値からアクセル開度の移動平均を所定の窓長で求め、その移動平均とアクセル開度との差である修正アクセル開度を算出する。そして、算出した修正アクセル開度から所定の窓長で修正アクセル開度の標準偏差を計算する。本実施形態では、所定の窓長は、例えば、２秒に設定される。

また、不注意状態判定手段５は、視線検出手段２に対して、視線停留時間を検出するように命令を送信する。不注意状態判定手段５は、視線検出手段２から出力された視線停留時間を取得する。

次に、不注意状態判定手段５は、算出された視線停留時間が閾値以上である場合、または算出した修正アクセル開度の標準偏差が閾値以上である場合に、運転者が不注意状態であると判定する。ここで、上記視線停留時間の閾値および修正アクセル開度の標準偏差の閾値は、環境識別手段４によって識別された環境によって変わる。本実施形態では、不注意状態判定手段５は、環境識別手段４から先行車の有無を取得し、先行車が存在する場合と先行車が存在しない場合とで、上記閾値を変える。具体的には、不注意状態判定手段５は、車両の先行車が存在する場合、上記閾値を先行車が存在しない場合より高くする。本実施形態では、高速道路や幹線道路等、直線が多く、比較的長い時間一定の速度で車両が走行するような環境において、不注意状態判定手段５は、先行車の有無によって、上記閾値を変える。そして、不注意状態判定手段５は、運転者が不注意状態であると判定した場合、支援手段６に対して、運転者に支援を行うように要求をする。また、不注意状態判定手段５は、運転者が不注意状態であると判定した場合、支援手段６に替えて（または加えて）、外界通知手段７に対して、車両外部の歩行者や周辺車両に通知を行うように要求をする。不注意状態判定手段５による、不注意状態判定方法の詳細については、後述する。

支援手段６は、不注意状態判定手段５の要求に応じて、運転者に対して支援を行う。本実施形態では、支援手段６である、プリクラッシュ・セーフティシステムが、運転者への支援を行う。プリクラッシュ・セーフティシステムは車両が衝突する前に運転者に対して警告、注意喚起、情報提供、自動ブレーキ制御、自動操舵制御等を行うことにより、衝突の防止または衝突した場合の衝撃の低減を行うシステムである。本実施形態では、運転者が不注意状態の場合、プリクラッシュ・セーフティシステムは運転者に対して情報提供を行う。本実施形態では、不注意状態判定手段５が、運転者は不注意状態であると判定した場合、プリクラッシュ・セーフティシステムによる運転者への情報提供が、不注意状態でないと判定した場合に比べて、早く行われる。すなわち、運転者が正常な状態である場合は、先行車との距離がある距離のときは運転者に対して情報提供が行われないのに対して、運転者が不注意状態である場合は、その距離でも運転者に対して情報提供が行われる。なお、支援手段６は、プリクラッシュ・セーフティシステムに限られず、運転者への支援が行われるものであれば、どのようなものでもよい。

外界通知手段７は、不注意状態判定手段５の要求に応じて、外界に対して通知を行う。本実施形態では、外界通知手段７である、インフラ協調システムが、外界の歩行者や周辺車両に対して通知を行う。インフラ協調システムは、信号や標識等、道路周辺に設置された情報通信装置や周辺車両に搭載された情報通信装置と自車両とが通信を行うことによって、歩行者や周辺車両に対して情報提供や注意喚起等を行うシステムである。本実施形態では、運転者が不注意状態の場合、インフラ協調システムは歩行者や周辺車両に対して注意喚起を行う。なお、外界通知手段７は、インフラ協調システムに限られず、注意喚起を行う方法として、例えばクラクションにより外界に対して注意喚起を行ってもよい。

以上が本実施形態に係る運転者状態判定装置１の各部の説明である。次に、図２から図４を参照して、不注意状態判定手段５が行う運転者の不注意状態の判定方法について詳細に説明する。

（不注意状態判定方法の説明）
図２は、本実施形態に係る運転者状態判定装置１による運転者の状態判定の流れを示すフローチャートである。図２に示すフローチャートによる処理は、不注意状態判定手段５によって制御される。図２に示す処理は、例えば、車両のイグクッションがＯＮの間、あるいは、車両が走行している間、繰り返し実行される。以下、図２に示すフローチャートの説明をする。

まず、ステップＳ１０１において、不注意状態判定手段５は、操作状態検出手段３から出力されたアクセル開度の移動平均を計算する。不注意状態判定手段５は、操作状態検出手段３から出力されたアクセル開度（検出値）を、メモリ上に記憶している。不注意状態判定手段５は、メモリ上に記憶したアクセル開度の移動平均を所定の窓長で計算する。不注意状態判定手段５は、各窓長区間におけるアクセル開度の平均をメモリ上に記憶する。次に、不注意状態判定手段５は、ステップＳ１０２に処理を進める。

ステップＳ１０２において、不注意状態判定手段５は、修正アクセル開度を計算する。修正アクセル開度は、各窓長区間におけるアクセル開度の検出値とステップＳ１０１で算出したアクセル開度の移動平均との差である。次に、不注意状態判定手段５は、ステップＳ１０３に処理を進める。

ステップＳ１０３において、不注意状態判定手段５は、ステップＳ１０２で算出した修正アクセル開度から当該修正アクセル開度の標準偏差を所定の窓長で計算する。所定の窓長は、ステップＳ１０１における窓長と同じ値であってもよい。このようにして算出された修正アクセル開度の標準偏差は、アクセル開度の変化のばらつきを示す。ある時間内におけるアクセル開度の変化のばらつきは、運転者が正常な状態である場合よりも不注意状態である場合の方が、大きくなる。従って、このようにして求められた修正アクセル開度の標準偏差を正常な状態における修正アクセル開度の標準偏差と比較することで、運転者が正常な状態か、不注意状態かを判定することができる。修正アクセル開度の標準偏差の算出方法について、図３を参照して説明する。

図３は、検出されたアクセル開度から修正アクセル開度の標準偏差を求める方法を示す図である。図３（ａ）は、操作状態検出手段３が検出したアクセル開度（検出値）を示す。縦軸は、アクセル開度（％）を示し、横軸は時間を示す。

次に、この検出されたアクセル開度の移動平均を所定の窓長で算出する（図３（ｂ）参照）。ここでは、所定の窓長は２秒とする。図３（ｂ）は、算出されたアクセル開度の移動平均を示した図である。

次に、修正アクセル開度を算出する（図３（ｃ）参照）。修正アクセル開度は、アクセル開度の検出値からアクセル開度の移動平均を引くことによって、求められる。修正アクセル開度は、アクセル開度のばらつきのみを表す。図３（ｃ）は、算出された修正アクセル開度を示した図である。

そして、算出された修正アクセル開度から、修正アクセル開度の標準偏差を所定の窓長で算出する（図３（ｄ）参照）。図３（ｄ）は、算出された修正アクセル開度の標準偏差を示した図である。このようにして算出された修正アクセル開度の標準偏差は、ある時間内におけるアクセル開度の変化のばらつきを示す。このアクセル開度の変化のばらつきは、運転者が不注意状態である場合、大きくなる。

図２に戻り、不注意状態判定手段５は、上記ステップＳ１０１からＳ１０３の処理と並行して、ステップＳ１０４の処理を行う。

ステップＳ１０４において、不注意状態判定手段５は、視線停留時間を計算するように視線検出手段２に対して命令を行う。視線検出手段２は、検出した視線の方向および検出した時刻をメモリ上に記憶している。視線検出手段２は、検出した視線の方向および検出時刻（検出値）から視線停留時間を算出する。すなわち、視線検出手段２は、視線の方向の差分を算出し、その差分が所定角度内（本実施形態では、±２．５°）に収まっている時間が所定時間（本実施形態では、０．３５ｓｅｃ）を超えた場合、視線は停留していると判断する。この視線方向の差分が所定角度内に収まっている時間は、視線停留時間である。視線検出手段２は、算出した視線停留時間を不注意状態判定手段５に出力する。

次に、不注意状態判定手段５は、ステップＳ１０５に処理を進める。

ステップＳ１０５において、不注意状態判定手段５は、追従走行か単独走行かを判定する。不注意状態判定手段５は、環境識別手段４から出力された先行車の有無もしくは先行車との距離、および走行している道路の種別から追従走行か単独走行かを判定する。不注意状態判定手段５は、道路の種別が高速道路や幹線道路等の場合において、先行車が存在するとき、追従走行と判定する。または、不注意状態判定手段５は、先行車との距離が所定距離以内の場合に、追従走行と判定してもよい。不注意状態判定手段５は、自車両が追従走行の場合、ステップＳ１０６に処理を進める。一方、不注意状態判定手段５は、自車両が単独走行の場合、ステップＳ１０７に処理を進める。なお、追従走行か単独走行かの判定において、自車両の速度を考慮して、上記所定距離が定められてもよい。すなわち、自車両の速度が比較的速い場合は、先行車との距離が長いときでも、追従走行と判定してもよい。

ステップＳ１０６において、不注意状態判定手段５は、運転者は正常な状態か、あるいは、不注意状態かを判定する。ステップＳ１０６において、自車両は追従走行であるため、閾値Ａ１およびＡ２は、追従走行時における値に設定される。不注意状態判定手段５は、予め定められた修正アクセル開度の標準偏差の閾値Ａ１と上述したステップＳ１０３で算出された修正アクセル開度の標準偏差とを比較する。また、予め定められた視線停留時間の閾値Ａ２と上述したステップＳ１０４で算出された視線停留時間とを比較する。不注意状態判定手段５は、修正アクセル開度の標準偏差がＡ１以上の場合、または、視線停留時間がＡ２以上の場合、運転者は不注意状態であると判定する。不注意状態判定手段５は、修正アクセル開度の標準偏差および視線停留時間のいずれもがそれぞれの閾値未満である場合、運転者は正常な状態であると判定する。不注意状態判定手段５は、運転者が不注意状態であると判定した場合、ステップＳ１０８に処理を進める。不注意状態判定手段５は、運転者が正常な状態であると判定した場合、処理をステップＳ１０１およびステップＳ１０４に戻す。

ステップＳ１０７において、不注意状態判定手段５は、運転者は正常な状態か、あるいは、不注意状態かを判定する。ステップＳ１０７において、自車両は単独走行であるため、閾値Ｂ１およびＢ２は、単独走行時における値に設定される。閾値Ｂ１およびＢ２は、ステップＳ１０６における閾値Ａ１およびＡ２とはそれぞれ異なる値に設定される。閾値Ａ１、Ａ２、Ｂ１およびＢ２の算出方法については、後述する。不注意状態判定手段５は、予め定められた修正アクセル開度の標準偏差の閾値Ｂ１と上述したステップＳ１０３で算出された修正アクセル開度の標準偏差とを比較する。また、予め定められた視線停留時間の閾値Ｂ２と上述したステップＳ１０４で算出された視線停留時間とを比較する。不注意状態判定手段５は、修正アクセル開度の標準偏差がＢ１以上の場合、または、視線停留時間がＢ２以上の場合、運転者は不注意状態であると判定する。不注意状態判定手段５は、修正アクセル開度の標準偏差および視線停留時間のいずれもがそれぞれの閾値未満である場合、運転者は正常な状態であると判定する。ステップＳ１０６と同様、不注意状態判定手段５は、運転者が不注意状態であると判定した場合、ステップＳ１０８に処理を進める。不注意状態判定手段５は、運転者が正常な状態であると判定した場合、処理をステップＳ１０１およびステップＳ１０４に戻す。

ステップＳ１０８において、不注意状態判定手段５は、支援手段６または／および外界通知手段７に対して、運転者への支援または／および外界への通知を行うように、命令を送信する。命令を受信した支援手段６または／および外界通知手段７は、上述したそれぞれの動作を行う。

以上示したように、不注意状態判定手段５は、操作状態検出手段３により検出された検出値から修正アクセル開度の標準偏差を算出し（ステップＳ１０１からステップＳ１０３）、また、視線検出手段２により算出された視線停留時間を取得する（ステップＳ１０４）。そして、不注意状態判定手段５は、修正アクセル開度の標準偏差および視線停留時間とそれぞれの閾値とを比較し、その比較結果に基づいて、運転者の不注意状態を判定する。それぞれの閾値は、自車両が追従走行であるか、あるいは、単独走行であるかによって、変わる（ステップＳ１０６およびステップＳ１０７）。

次に、上記ステップＳ１０６およびステップＳ１０７において運転者不注意状態の判定のために比較された閾値（Ａ１、Ａ２およびＢ１、Ｂ２）の算出方法について、図４および図５を参照して、説明する。

図４は、運転者にサブタスクを与えていない通常状態とサブタスクを与えた不注意状態における前方への視線停留時間の頻度および累積頻度分布を示す図である。ここでサブタスクとは、運転操作以外のタスクであり、運転者に運転中に与えられたタスクである。図４において、横軸は視線停留時間を表し、縦軸はある時間内の視線停留時間の頻度および累積頻度を表す。図４は、ある時間内の運転者の視線停留時間を検出し、各視線停留時間が、その時間内においてどのくらいの割合であるかを表している。図４（ａ）は、単独走行時において、通常状態（上図）と不注意状態（下図）の視線停留時間の頻度および累積頻度を示す。図４（ａ）から明らかなように、通常状態では、運転者の視線停留時間は、２秒を上回ることはない。一方、不注意状態では、運転者の視線停留時間は、２秒を上回る場合が多くなっている。図４（ａ）の上図と下図を比較すると明らかなように、不注意状態では、運転者の視線停留時間が通常状態と比較して、長くなっている。また、そのばらつきも大きくなっている。このように、通常状態と不注意状態とでは、視線停留時間が異なり、視線停留時間を検出することで運転者が通常状態か不注意状態かを推定することができる。

一方、図４（ｂ）は、追従走行時おいて、通常状態（上図）と不注意状態（下図）の視線停留時間の頻度および累積頻度を示す。図４（ａ）と図４（ｂ）の上図を比較すると明らかなように、運転者が通常状態の場合において、追従走行時の方が単独走行時よりも、視線停留時間が長くなる傾向があり、そのばらつきも大きくなる傾向がある。このように、追従走行時と単独走行時とでは、運転者が通常状態の場合においても視線停留時間が長くなる。さらに、図４（ｂ）に示されるように、追従走行時でも、通常状態（上図）と不注意状態（下図）とを比較すると、不注意状態の方が通常状態と比較して視線停留時間が長くなっており、そのばらつきも大きくなっている。従って、追従走行時においても、通常状態と不注意状態とでは、視線停留時間が異なり、視線停留時間を検出することで運転者が通常状態か不注意状態かを推定することができる。

本実施形態においては、通常状態か不注意状態かを判定するための閾値として、通常状態における累積頻度が所定の値に達したときの視線停留時間を設定する。例えば、通常状態における累積頻度が９０％や９５％になるときの視線停留時間を、上記不注意状態を判定するための閾値として設定されてもよい。本実施形態においては、通常状態における累積頻度が９５％となる視線停留時間を視線停留時間の閾値として設定する。従って、図４（ａ）および図４（ｂ）から閾値を求めると、単独走行時における閾値は１．５秒、追従走行時における閾値は３．０秒となる。このようにして求められた閾値は、図２のステップＳ１０６およびステップＳ１０７における閾値Ａ２およびＢ２に設定され、運転者が通常状態か不注意状態かを判定するために用いられる。なお、上記示された数値（累積頻度、累積頻度による閾値）は、これら数値に限定されない。また、走行環境や天候、時間帯等によって変更されてもよい。

次に、修正アクセル開度の標準偏差の閾値を求める方法について説明する。修正アクセル開度の標準偏差の閾値を算出する方法についても、視線停留時間の場合と同様である。図５は、運転者にサブタスクを与えていない通常状態とサブタスクを与えた不注意状態における修正アクセル開度の標準偏差の頻度および累積頻度分布を示す図である。図５において、横軸は修正アクセル開度の標準偏差を表し、縦軸はある時間内における修正アクセル開度の標準偏差の頻度および累積頻度を表す。図５は、ある時間内の修正アクセル開度の標準偏差を算出し、各標準偏差の値が、その時間内においてどのくらいの割合であるかを表している。図５（ａ）は、単独走行時において、通常状態（上図）と不注意状態（下図）の修正アクセル開度の標準偏差の頻度および累積頻度を示す。図５（ａ）から明らかなように、運転者が通常状態と不注意状態とでは、修正アクセル開度の標準偏差の分布が異なる。不注意状態では、通常状態よりも上記標準偏差の値が、広がった分布になっている。従って、単独走行時において、上記標準偏差の値を検出することで運転者が通常状態か不注意状態かを推定することができる。

また、図５（ｂ）は、追従走行時において、通常状態（上図）と不注意状態（下図）の修正アクセル開度の標準偏差の頻度および累積頻度を示す。追従走行時においても、図５（ｂ）の上図と下図を比較すると明らかなように、運転者が通常状態の場合と不注意状態の場合とでは、上記標準偏差の値が異なる。従って、追従走行時においても、上記標準偏差の値を検出することで運転者が通常状態か不注意状態かを推定することができる。また、図５（ａ）と図５（ｂ）の上図を比較すると明らかなように、運転者が通常状態の場合において、追従走行時の方が単独走行時よりも、修正アクセル開度の標準偏差が小さくなる傾向にある。

本実施形態においては、視線停留時間の閾値と同様、通常状態における累積頻度が９５％となる修正アクセル開度の標準偏差の値を、上記標準偏差の閾値として設定する。従って、図５（ａ）および図５（ｂ）に示されるように、上記標準偏差の閾値は、単独走行時は６．５、追従走行時は５．５に設定される。このようにして求められた閾値は、図２のステップＳ１０６およびステップＳ１０７における閾値Ａ１およびＢ１に設定され、運転者が通常状態か不注意状態かを判定するために用いられる。なお、上述と同様、ここで示された閾値は、これら値に限定されない。

以上のようにして、視線停留時間の閾値および修正アクセル開度の標準偏差の閾値を求めることができる。そして、本実施形態に係る運転者状態判定装置１は、求められた閾値と、検出された視線停留時間および修正アクセル開度の標準偏差とを比較することによって、運転者が正常状態か、または不注意状態かを判定することができる。

次に、運転者が不注意状態である場合の支援の方法について説明する。図６は、サブタスクを与えていない通常状態とサブタスクを与えた不注意状態において、先行車の減速に対する反応時間を示す図である。図６における線分の両端は、上記反応時間の最大値と最小値の時間を示し、線分の中心の点は、その平均値を示す。図６に示されるように、不注意状態では、先行車の減速に気付くのが遅れ、先行車の減速に対する反応が遅れる。従って、運転者が不注意状態の場合、通常状態よりも早く支援が行われることが好ましい。

また、図７は、サブタスクを与えていない通常状態とサブタスクを与えた不注意状態において、運転者から進行方向に対して３０度の位置にある物体の見落とし率を示す図である。図７における線分の両端は、上記見落とし率の最大値と最小値を示し、線分の中心の点は、その平均値を示す。図７に示されるように、不注意状態では周辺への見落としが増加する。従って、運転者が不注意状態の場合、車両周辺への注意喚起が行われることが好ましい。

本実施形態では、運転者状態判定装置１が運転者は不注意状態であると判定した場合、上述したようにプリクラッシュ・セーフティシステムにより、運転者への情報提供または／およびインフラ協調システムにより歩行者および周辺車両への注意喚起が行われる。

図８は、運転者が不注意状態であると判定された場合、プリクラッシュ・セーフティシステムにより、運転者への情報提供が通常よりも早く行われることを示す図である。図８に示されるように、運転者状態判定装置１が運転者は通常状態であると判定した場合、自車両２０が他車両２１の後方のある距離に接近したとき、プリクラッシュ・セーフティシステムは、運転者に対して情報提供を行う。これに対して、運転者状態判定装置１が運転者は不注意状態と判定した場合、プリクラッシュ・セーフティシステムは、通常状態である場合よりも早く運転者に対して情報提供を行う。

また、図９は、運転者が不注意状態であると判定された場合、インフラ協調システムにより、外界への注意喚起が行われることを示す図である。図９に示されるように、運転者状態判定装置１が運転者は不注意状態と判定した場合、インフラ協調システムは、他車両２１や歩行者２２に対して、注意喚起を行う。注意喚起は、他車両２１に搭載された通知手段、道路周辺に設置された通知手段、歩行者が所持する通知手段等により、他車両２１や歩行者２２に対して、行われる。

以上、述べられたように、本実施形態に係る運転者状態判定装置１は、運転者の不注意状態を判定し、不注意状態と判定した場合は、運転者および／または車両周辺の歩行者や他車両に対して支援を行う。

なお、本実施形態では、視線停留時間または修正アクセル開度の標準偏差の少なくともいずれか一方が閾値以上の場合に、運転者は不注意状態であると判定したが、これらのいずれもが閾値以上の場合に、運転者は不注意状態であると判定してもよい。

また、本実施形態では、視線の状態として、視線停留時間を検出することによって運転者の状態を判定したが、他の実施形態では、視線の状態として、視線の方向を用いて判定してもよい。視線方向のパターンを通常状態と不注意状態とで比較することによって、運転者の状態を判定してもよい。また、視線の状態として、特定の視線の方向と視線停留時間の組み合わせを用いて、運転者の状態を判定してもよい。すなわち、例えば、運転者が一定時間内にバックミラーやサイドミラーを見る頻度とその時間を視線の状態として検出し、これらの値と閾値とを比較することにより、運転者の不注意状態を判定してもよい。さらに、周辺の状況と特定の視線の方向や時間を組み合わせて、運転者の状態を判定してもよい。すなわち、環境識別手段４により接近車両を検出し、視線の方向がその検出した車両の方向を向いたか否か、またその時間を検出し、これらから運転者の状態を判定してもよい。

また、本実施形態では、操作状態としてアクセル開度を検出し、その変化のばらつきにより不注意状態を判定したが、他の実施形態では、アクセル開度に加えて（または替えて）、操舵角等を考慮してもよい。例えば、運転者が車線に沿ってハンドル操舵を行っているか否かをカメラ等を用いて検出し、運転者の状態を判定してもよい。また、不注意状態の判定において、方向指示器の操作等が正しく行われているか否かを考慮してもよい。すなわち、運転者がハンドルを操舵した場合、同時に方向指示器を適切に操作しているときは、運転者は正常な運転を行っている可能性が高いと考えられる。従って、この場合は、上記の閾値を高くし、運転者の状態を判定してもよい。

また、本実施形態では、環境状態として高速道路や幹線道路等において先行車の有無を検出したが、他の実施形態では、様々な道路の種別を考慮し、その道路の種別に応じて閾値が設定されてもよい。例えば、山道などカーブの多い道路、市街地における一般道のような信号や交差点の多い道路、および、交通量の多い道路等に応じて、閾値が設定されてもよい。また、時間帯（日中、または夜間等）や天候に応じて閾値が設定されてもよい。また、後行車の有無、隣車線を走行している車両の有無等によって上記閾値が設定されてもよい。

以上のように、本発明では、運転者の状態を判定することができ、例えば、車両に搭載される運転者状態判定装置として利用することができる。

本発明の実施形態に係る運転者状態判定装置の構成を示すブロック図 本実施形態に係る運転者状態判定装置による運転者の状態判定の流れを示すフローチャート 検出されたアクセル開度から修正アクセル開度の標準偏差を求める方法を示す図 運転者にサブタスクを与えていない通常状態とサブタスクを与えた不注意状態における前方への視線停留時間の頻度および累積頻度分布を示す図 運転者にサブタスクを与えていない通常状態とサブタスクを与えた不注意状態における修正アクセル開度の標準偏差の頻度および累積頻度分布を示す図 サブタスクを与えていない通常状態とサブタスクを与えた不注意状態において、先行車の減速に対する反応時間を示す図 サブタスクを与えていない通常状態とサブタスクを与えた不注意状態において、運転者から進行方向に対して３０度の位置にある物体の見落とし率を示す図 運転者が不注意状態であると判定された場合、プリクラッシュ・セーフティシステムにより、運転者への情報提供が通常よりも早く行われることを示す図 運転者が不注意状態であると判定された場合、インフラ協調システムにより、外界への注意喚起が行われることを示す図

符号の説明

１ 運転者状態判定装置
２ 視線検出手段
３ 操作状態検出手段
４ 環境識別手段
５ 不注意状態判定手段
６ 支援手段
７ 外界通知手段
１１ ドライバカメラ
１２ アクセル開度検出器
１３ レーダー
１４ ナビゲーションシステム
２０ 自車両
２１ 他車両
２２ 歩行者

Claims (16)

1. 運転者の状態を判定する装置であって、
   運転者の視線の状態を検出する視線検出手段および運転者による車両の操作状態を検出する操作状態検出手段の少なくともいずれか１つと、
   車両周辺の環境を識別する環境識別手段と、
   前記視線検出手段および前記操作状態検出手段の少なくともいずれか１つにより検出された検出値とそれぞれの閾値とを比較し、その比較結果に基づいて運転者の不注意状態を判定する不注意状態判定手段とを備え、
   前記それぞれの閾値は、前記環境識別手段により識別された環境に応じて変わることを特徴とする、運転者状態判定装置。
2. 前記視線検出手段は、前記視線の状態として、運転者の視線停留時間を検出することを特徴とする、請求項１に記載の運転者状態判定装置。
3. 前記操作状態検出手段は、前記車両の操作状態として、アクセル開度を検出することを特徴とする、請求項１に記載の運転者状態判定装置。
4. 前記不注意状態判定手段は、前記視線停留時間が前記閾値以上である場合に、運転者が不注意状態であると判定することを特徴とする、請求項２に記載の運転者状態判定装置。
5. 前記不注意状態判定手段は、前記アクセル開度の移動平均と前記アクセル開度との差である修正アクセル開度から算出した該修正アクセル開度の標準偏差が前記閾値以上である場合に、運転者が不注意状態であると判定することを特徴とする、請求項３に記載の運転者状態判定装置。
6. 前記視線検出手段は、前記視線の状態として、運転者の視線停留時間を検出し、
   前記操作状態検出手段は、前記車両の操作状態として、アクセル開度を検出し、
   前記不注意状態判定手段は、前記アクセル開度の移動平均と前記アクセル開度との差である修正アクセル開度から算出した該修正アクセル開度の標準偏差が前記閾値以上である場合、または前記視線停留時間が前記閾値以上である場合に、運転者が不注意状態であると判定することを特徴とする、請求項１に記載の運転者状態判定装置。
7. 前記環境識別手段は、前記車両の先行車の有無を識別することを特徴とする、請求項１から６のいずれか１項に記載の運転者状態判定装置。
8. 不注意状態判定手段は、前記先行車が存在する場合、前記閾値を前記先行車が存在しない場合より高くすることを特徴とする、請求項７に記載の運転者状態判定装置。
9. 運転者の状態を判定する装置であって、
   運転者の視線の状態を検出する視線検出手段と、
   運転者による車両の操作状態を検出する操作状態検出手段と、
   前記視線検出手段より検出された検出値および前記操作状態検出手段により検出された検出値とそれぞれの閾値とを比較し、その比較結果に基づいて運転者の不注意状態を判定する不注意状態判定手段とを備える、運転者状態判定装置。
10. 前記不注意状態判定手段は、前記視線検出手段より検出された検出値または前記操作状態検出手段により検出された検出値の少なくともいずれか一方が、前記閾値以上である場合に、運転者が不注意状態であると判定することを特徴とする、請求項９に記載の運転者状態判定装置。
11. 前記不注意状態判定手段は、運転者が不注意状態であると判定した場合、運転者を支援する支援手段に対して、運転者への支援を要求することを特徴とする、請求項１から１０のいずれか１項に記載の運転者状態判定装置。
12. 前記不注意状態判定手段は、前記支援手段である、プリクラッシュ・セーフティシステムに対して、運転者への注意喚起を要求することを特徴とする、請求項１１に記載の運転者状態判定装置。
13. 前記不注意状態判定手段は、運転者が不注意状態であると判定した場合、前記車両の外界へ通知を行う外界通知手段に対して、外界への注意喚起を要求することを特徴とする、請求項１から１２のいずれか１項に記載の運転者状態判定装置。
14. 前記不注意状態判定手段は、前記外界通知手段である、インフラ協調システムに対して、歩行者や接近車両への注意喚起を要求することを特徴とする、請求項１３に記載の運転者状態判定装置。
15. 運転者の状態を判定する方法であって、
    運転者の視線の状態を検出する視線検出ステップおよび運転者による車両の操作状態を検出する操作状態検出ステップの少なくともいずれか１つのステップと、
    車両周辺の環境を識別する環境識別ステップと、
    前記視線検出ステップおよび前記操作状態検出ステップの少なくともいずれか１つのステップにより検出された検出値とそれぞれの閾値とを比較し、その比較結果に基づいて運転者の不注意状態を判定する不注意状態判定ステップとを備え、
    前記それぞれの閾値は、前記環境識別ステップにより識別された環境に応じて変わることを特徴とする、運転者状態判定方法。
16. 運転者の状態を判定する方法であって、
    運転者の視線の状態を検出する視線検出ステップと、
    運転者による車両の操作状態を検出する操作状態検出ステップと、
    前記視線検出ステップより検出された検出値および前記操作状態検出ステップにより検出された検出値とそれぞれの閾値とを比較し、その比較結果に基づいて運転者の不注意状態を判定する不注意状態判定ステップとを備える、運転者状態判定方法。

Images