JP2020010865A - 運転者状態判定装置および運転者状態判定方法 - Google Patents

Abstract

【課題】処理負荷を低減しつつ、運転者の状態を総合的に観察して運転者の状態を判定する。【解決手段】運転者の第１状態を検出する第１運転者状態検出手段（１２）と、運転者の第２状態を検出する第２運転者状態検出手段（１４）と、を備える運転者状態判定装置（１０）は、第１状態を示す値が第１閾値以上の場合に、第２運転者状態検出手段（１４）を作動させる。【選択図】図１

Description

本発明は、運転者状態判定装置および運転者状態判定方法に関する。

従来から、運転者が安全に運転を行うために、運転者の眠気の有無を判定するための各種装置が提案されている。例えば、特許文献１には、運転者の開眼量を検出し、開眼量とその検出頻度との分布を曲線で近似し、その曲線における極大値の変化度合いから、運転者が眠気を感じているかを判定する状態推定装置が開示されている。

特開２００８−９９８８４号公報

しかし、上記状態推定装置では、運転者が俯くなどして顔部分がカメラにより検出できない場合には、運転者が眠気を感じていても、それを見過ごしてしまう虞がある。しかし、カメラを複数取り付けて、その各々により撮像され生成された画像データを用いて処理を行う場合、処理負荷が増大する虞がある。

本発明は、処理負荷を低減しつつ、運転者の状態を総合的に観察して運転者の状態を判定する運転者状態判定装置および運転者状態判定方法を提供することを目的とする。

本発明の第１の態様は、運転者の第１状態を検出する第１運転者状態検出手段と、前記運転者の第２状態を検出する第２運転者状態検出手段と、を備える運転者状態判定装置であって、前記第１状態を示す値が第１閾値以上の場合に、前記第２運転者状態検出手段を作動させる。

本発明の第２の態様は、運転者の第１状態を検出する第１運転者状態検出ステップと、前記運転者の第２状態を検出する第２運転者状態検出ステップと、を含む、運転者状態判定装置により実行される運転者状態判定方法であって、前記第１状態を示す値が第１閾値以上の場合に、前記第２運転者状態検出ステップを実行する。

本発明によれば、処理負荷を低減しつつ、運転者の状態を総合的に観察して運転者の状態を判定することができる。

本実施形態に係る運転者状態判定装置の機能ブロックを示す図である。 本実施形態に係る運転者状態判定装置による処理を示すフローチャートである。 本実施形態の一例に係る運転者状態判定装置の機能ブロックを示す図である。 本実施形態の一例に係る運転者状態判定装置による処理を示すフローチャートである。

本発明に係る運転者状態判定装置および運転者状態判定方法について、好適な実施形態を掲げ、添付の図面を参照しながら以下、詳細に説明する。

［実施形態］
図１は、本実施形態に係る運転者状態判定装置１０の機能ブロックを示す図である。運転者状態判定装置１０は、第１運転者状態検出部１２および第２運転者状態検出部１４等を備える。なお、以下の説明においては、運転者状態判定装置１０が搭載される対象は車両であるとするが、これには限らない。

第１運転者状態検出部１２は、運転者の第１状態を検出する。第１状態は、運転者の意識状態に対応する状態であって、例えば、運転者の顔の表情、自動ブレーキの作動回数または作動時間、車両の周辺状況に応じない運転者による運転操作等が挙げられる。

第２運転者状態検出部１４は、運転者の第２状態を検出する。第２状態は、運転者の意識状態に対応する状態であって、例えば、運転者の上半身の姿勢、および運転者の仕草等が挙げられる。

運転者状態判定装置１０は、上記第１状態を示す値が所定の閾値（第１閾値とも記載する）以上になった場合、第２運転者状態検出部１４を作動させる。

図２は、本実施形態に係る運転者状態判定装置１０による処理を示すフローチャートである。ステップＳ１において、第１運転者状態検出部１２は、第１状態を検出する。第１状態を示す値が第１閾値以上の場合に（ステップＳ２：ＹＥＳ）、第２運転者状態検出部１４は、動作を実行する（ステップＳ３）。第１状態を示す値が第１閾値未満の場合（ステップＳ２：ＮＯ）、運転者状態判定装置１０の処理は、ステップＳ１に戻る。

以下、上記運転者状態判定装置１０について詳細に説明する。図３は、本実施形態の一例に係る運転者状態判定装置１０の機能ブロックを示す図である。運転者状態判定装置１０は、撮像部１６、車両周辺センサ１８、ブレーキセンサ２０、ハンドルセンサ２２、自動ブレーキセンサ２４、およびＥＣＵ（Electronic Control Unit）２６等を備える。

撮像部１６は、例えば、ＣＣＤ（Charge Coupled Device）カメラであり、運転席の前の、インスツルメントパネル上部、ダッシュボード、バックミラー付近、フロントガラス近傍の天井部分等に設けられ、運転席に着座した運転者の上半身を撮像する。撮像部１６は、ＥＣＵ２６からの制御に応じて適宜、運転者の顔部分を拡大して撮像する。また、撮像部１６は、時間的に連続して撮像処理を実行し、撮像して得た画像データをＥＣＵ２６に随時出力する。撮像部１６は、各時刻において撮像して生成した画像データとともに当該時刻のデータをＥＣＵ２６に出力してもよい。

車両周辺センサ１８は、車両の周辺状況を検出する。ブレーキセンサ２０は、運転者による、ブレーキペダルの操作など、手動での車両停止処理を検出する。ハンドルセンサ２２は、運転者によるハンドル操作を検出する。自動ブレーキセンサ２４は、自動ブレーキの作動を検出する。

ＥＣＵ２６は、撮像部１６から入力された画像データや、車両周辺センサ１８が検出した周辺状況に応じたブレーキセンサ２０やハンドルセンサ２２の各検出結果や、自動ブレーキセンサ２４の検出結果等を用いて、運転者の状態について判定を行い、運転者の状態を運転に適した状態へ導くための処理を実行する。このような処理を実行するため、ＥＣＵ２６は、画像処理部２８、撮像制御部３０、表情データ導出部３２、運転操作データ導出部３４、自動ブレーキ作動データ導出部３６、記憶部３８、姿勢データ導出部４０、状態判定部４２、および覚醒支援部４４等を備える。

ＥＣＵ２６は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサ、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリ、各種インターフェース等により構成することができる。メモリは、記憶部３８の機能を実現する。プロセッサは、メモリに記憶されたプログラムや各種情報を用いて処理を実行することにより、画像処理部２８、表情データ導出部３２、運転操作データ導出部３４、自動ブレーキ作動データ導出部３６、姿勢データ導出部４０、状態判定部４２の各機能を実現する。また、プロセッサは、メモリに記憶されたプログラムや各種情報を用いて処理を実行し、各種インターフェースを介することにより、撮像制御部３０、覚醒支援部４４の各機能を実現する。

画像処理部２８は、撮像部１６から入力された画像データの画像処理を行う。画像処理部２８は、撮像部１６から入力された画像データから、運転者の顔部分を検出する。画像処理部２８は、検出した運転者の顔部分から、例えば目元部分を検出する。なお、本実施形態の一例における顔部分には、目元部分が含まれるとする。

撮像制御部３０は、画像処理部２８が検出した運転者の顔部分を拡大して撮像するよう撮像部１６を制御する。

画像処理部２８は、撮像部１６から顔部分の画像データを取得し、画像処理後の当該画像データを表情データ導出部３２に出力する。また画像処理部２８は、撮像部１６が拡大機能を用いずに撮像した上半身の画像データに画像処理を行い、姿勢データ導出部４０に出力する。画像処理部２８は、撮像部１６から入力された画像データと、その画像データが入力された時刻に係るデータとを対応付けて、表情データ導出部３２および姿勢データ導出部４０に出力する。

表情データ導出部３２は、運転者の顔部分の画像データを用いて、運転者の瞼の開度を導出する。本実施形態の一例では、開度は、運転者の上瞼と下瞼との間の最大長の部分（最大長部分）の画素数または長さとする。ただし、撮像部１６の拡大の倍率の値により適宜重み付けがされるとする。また開度は、画像処理部２８から取得した画像データにおける上下瞼間の最大長部分の画素数または長さの、眠気を感じていない状態での運転者の画像データにおける上下瞼間の最大長部分の画素数または長さに対する割合としてもよい。この場合、予め、眠気を感じていない状態の運転者の画像データが、後述する記憶部３８に記憶されている。また開度は、画像処理部２８から取得した画像データの拡大に係る倍率と、眠気を感じていない状態の運転者の画像データの拡大に係る倍率とを合わせ、導出される。

表情データ導出部３２は、所定時間において瞼の開度が所定の開度以下になる頻度と、瞼の開度が所定の開度以下となっている状態の維持時間の少なくとも一方を導出する。これら頻度と維持時間は、運転者の眠気の度合いを示す第１指標の例である。なお、第１指標は、顔部分の画像データや、運転者の運転操作に関する情報や、自動ブレーキの作動状況等から得られるものである。第１指標は、他にも例えば、画像データにおいて検出された目元部分において、瞳孔部分を検出できなくなる頻度や、瞳孔部分を検出できない状態の維持時間等であってもよい。また表情データ導出部３２は、導出された第１指標の値が眠気の有無や強弱の判定のためには不明確である度合いを示す不明確度を導出してもよい。この不明確度は、第１状態を示す値の一例である。

運転操作データ導出部３４は、車両周辺センサ１８が検出した周辺状況（例えば、前方に障害物があるような状況）に応じたブレーキまたはハンドルの操作をブレーキセンサ２０またはハンドルセンサ２２が検出しない場合や検出が遅れたような場合に、その不検出の回数（以下、不検出回数とも記載する）や、検出の遅延時間（以下、遅延時間とも記載する）を導出する。これらの不検出回数と遅延時間は、第１指標の例である。また、運転操作データ導出部３４は、導出された第１指標の値が眠気の有無や強弱の判定のためには不明確である度合いを示す不明確度を導出してもよい。この不明確度は、第１状態を示す値の一例である。

自動ブレーキ作動データ導出部３６は、自動ブレーキセンサ２４が検出した自動ブレーキの作動回数、作動時間、または作動頻度（所定時間あたりの作動回数）を導出する。これらの作動回数、作動時間、および作動頻度は、第１指標の例である。また、自動ブレーキ作動データ導出部３６は、導出された第１指標の値が眠気の有無や強弱の判定のためには不明確である度合いを示す不明確度を導出してもよい。この不明確度は、第１状態を示す値の一例である。

記憶部３８は、運転者が強い眠気を感じている場合を示す第１指標の下限値（第２閾値とも記載する）と、運転者が少し眠気を感じている場合を示す第１指標の下限値（第３閾値とも記載する）とを記憶する。記憶部３８は、顔部分の画像データから得られる第１指標と、運転操作に係る情報から得られる第１指標と、自動ブレーキの作動状況に係る情報から得られる第１指標のうちの少なくとも１つの第２、３閾値を記憶する。なお、これら第２、３閾値として、実験や機械学習等により予め得られた値等が用いられる。

記憶部３８は、顔部分の画像データから眠気の有無や強弱を判定できない場合の不明確度の下限値、運転操作に係る情報から眠気の有無や強弱を判定できない場合における不明確度の下限値、自動ブレーキの作動状況から眠気の有無や強弱を判定できない場合における不明確度の下限値、のうちの少なくとも１つを記憶する。これらの場合の各不明確度の下限値は、第１閾値の例である。本実施形態の一例では、画像処理部２８が顔部分を検出できない場合、および、表情データ導出部３２により導出された第１指標の値が第３閾値以上で第２閾値未満の場合に、不明確度は第１閾値以上になる。同様に、運転操作データ導出部３４により導出された第１指標の値が第３閾値以上で第２閾値未満の場合に、不明確度は第１閾値以上になる。また同様に、自動ブレーキ作動データ導出部３６により導出された第１指標の値が第３閾値以上で第２閾値未満の場合に、不明確度は第１閾値以上になる。ただし、これらに、限定されない。

姿勢データ導出部４０は、画像処理部２８によって処理された、運転者の上半身の画像データから運転者の姿勢を検出する。なお、姿勢には、顔の向きが含まれるとする。姿勢データ導出部４０は、検出した姿勢が、眠気を感じていない状態における姿勢からどれだけ逸脱しているかの度合いを導出する。例えば、姿勢データ導出部４０は、車両の進行方向からの運転者の顔の向きのずれの度合いを検出する。この度合いが安全の上で許容される一定の限度以上の場合、姿勢データ導出部４０は、逸脱が発生している継続時間を導出する。この継続時間は、運転者の眠気の度合いを示す第２指標の例である。

姿勢データ導出部４０は、一定時間以上の画像データから、運転者が眠気を感じている場合に行う仕草を検出する。この仕草の例としては、あくびや、首の力が抜けることによって顔面がそれまでの位置から突然に下や斜め下等を向いてしまう動作や、体の力が抜けることにより突然に体が傾く動作などがある。

記憶部３８は、覚醒状態における姿勢に係る情報を、例えば車の挙動（前進、カーブ等）に対応付けて記憶する。なお、この覚醒状態における姿勢は、一種類の車の挙動に対し、１以上であってもよい。この覚醒状態における姿勢には、例えば、車両の進行方向に顔が向けられている姿勢がある。記憶部３８は、覚醒状態における姿勢から逸脱した様々な姿勢の逸脱度合いのうち、最小値（逸脱下限値とも記載する）を記憶する。覚醒状態における姿勢に係る情報や、逸脱下限値に係る情報は、例えば機械学習や実験等によって予め得られている。記憶部３８は、覚醒状態における姿勢に係る情報や、覚醒状態における姿勢からの逸脱下限値に代えて、覚醒状態における姿勢から逸脱した姿勢に係る情報を記憶してもよい。

記憶部３８は、姿勢に係る画像データに基づく、運転者の眠気の有無を区別するための情報（第４閾値とする）を記憶する。第４閾値は、覚醒状態で取りうる姿勢から逸脱した姿勢の継続時間であって、眠気を感じ始めている状態における継続時間等が挙げられる。また、記憶部３８は、運転者が眠気を感じている場合や睡眠状態に行う仕草に係る情報を記憶する。なお、第４閾値や仕草に係る情報等は、例えば機械学習や実験等により予め得られている。

状態判定部４２は、表情データ導出部３２が導出した第１指標の値が、第２、３閾値以上か否かを判定する。あるいは、状態判定部４２は、第１状態を示す値が、第１閾値以上か否かを判定する。

状態判定部４２は、第１指標の値が第２閾値未満で第３閾値以上の場合、または画像処理部２８が運転者の顔部分を検出できなかった場合に、姿勢データ導出部４０に対し第２指標の値の導出を指示する。状態判定部４２は、姿勢データ導出部４０が導出した第２指標の値が第４閾値以上か否かを判定する。

状態判定部４２は、第１指標の値が第２閾値以上の場合、あるいは第２指標の値が第４閾値以上の場合に、運転者が眠気を感じていると判定する。状態判定部４２は、姿勢データ導出部４０が、運転者が眠気を感じている場合に行う仕草を検出した場合に、運転者が眠気を感じていると判定する。

覚醒支援部４４は、状態判定部４２により運転者が眠気を感じていると判定された場合に、運転者を覚醒させるため、制御対象装置群４６に含まれる制御対象装置を制御し所定の動作を実行させる。例えば、覚醒支援部４４は、制御対象装置群４６に含まれるオーディオ装置等を制御して音を出力させてもよい。また、覚醒支援部４４は、人工知能（ＡＩ：Artificial Intelligence）や知的エージェント（ＩＡ：Intelligent Agent）等の技術を用いて、制御対象装置群４６に含まれるオーディオ装置やナビゲーション装置等を制御して、運転者との会話を実行させてもよい。

また、制御対象装置群４６に含まれる制御対象装置として、運転席にマッサージ機器が内蔵されていてもよく、覚醒支援部４４はこのマッサージ機器を動作させてもよい。また、制御対象装置群４６に含まれる制御対象装置として、車両に覚醒用の香りを拡散するアロマ用ディフューザーが設けられていてもよく、覚醒支援部４４は当該ディフューザーを動作させてもよい。また、制御対象装置群４６に含まれる制御対象装置として、運転席に対向して照明機器が設けられていてもよく、覚醒支援部４４は、当該照明機器を制御して運転者に光を照射させてもよい。

覚醒支援部４４は、上述した音の出力や対話の実行等の処理の後、ナビゲーション装置を制御し、停車のための路肩や休憩所についての案内処理を実行させてもよい。

図４は、本実施形態の一例に係る運転者状態判定装置１０による処理を示すフローチャートである。運転者状態判定装置１０は、車両のエンジン作動により、その動作を開始する。ステップＳ１１において、撮像部１６は、上半身を撮像する。画像処理部２８は、撮像部１６が撮像して生成した画像データに適宜処理を施し、運転者の顔部分の検出処理を行う（ステップＳ１２）。

画像処理部２８が顔部分を検出した場合（ステップＳ１３：ＹＥＳ）、運転者状態判定装置１０による処理はステップＳ１４に移行する。画像処理部２８が顔部分を検出できなかった場合（ステップＳ１３：ＮＯ）、運転者状態判定装置１０による処理はステップＳ１７に移行する。

ステップＳ１４において、表情データ導出部３２、運転操作データ導出部３４、自動ブレーキ作動データ導出部３６は、それぞれ、各第１指標の値を導出する。ステップＳ１５において状態判定部４２により第１指標の値が第２閾値以上であると判定された場合（ステップＳ１５：ＹＥＳ）、ステップＳ２１において覚醒支援部４４による上述した一定の制御動作が実行される。その後、運転者状態判定装置１０による処理は、所定時間経過後、ステップＳ１１以降の処理に移行する。

状態判定部４２により、第１指標の値が、第２閾値未満であって（ステップＳ１５：ＮＯ）、第３閾値未満であると判定された場合（ステップＳ１６：ＮＯ）、運転者状態判定装置１０の処理はステップＳ１１に戻る。状態判定部４２により、第１指標の値が、第２閾値未満であって（ステップＳ１５：ＮＯ）、第３閾値以上であると判定された場合（ステップＳ１６：ＹＥＳ）、運転者状態判定装置１０の処理はステップＳ１７に移行する。

ステップＳ１７において姿勢データ導出部４０は、ステップＳ１１で撮像部１６により撮像され生成された、運転者の上半身の画像データを用いて、第２指標の値を導出する。ステップＳ１８において状態判定部４２により第２指標の値が第４閾値以上と判定された場合（ステップＳ１８：ＹＥＳ）、ステップＳ２１において覚醒支援部４４による上述した一定の制御動作が実行される。その後、運転者状態判定装置１０による処理は、所定時間経過後、ステップＳ１１以降の処理に移行する。

ステップＳ１８において状態判定部４２により第２指標の値が第４閾値未満と判定された場合（ステップＳ１８：ＮＯ）、姿勢データ導出部４０は、運転者の眠気を示す仕草の検出処理を実行する（ステップＳ１９）。この検出処理においては、一定時間における複数の画像データが用いられる。この複数の画像データには、ステップＳ１７において第２指標の値の導出に用いられた最新の画像データの他に、この画像データより以前に撮像された画像データが含まれる。

次のステップＳ２０において姿勢データ導出部４０が運転者の眠気を示す仕草を検出した場合には（ステップＳ２０：ＹＥＳ）、ステップＳ２１において覚醒支援部４４による上述した一定の制御動作が実行される。その後、運転者状態判定装置１０による処理は、所定時間経過後、ステップＳ１１以降の処理に移行する。ステップＳ２０において運転者の眠気を示す仕草が検出されなかった場合には（ステップＳ２０：ＮＯ）、運転者状態判定装置１０の処理はステップＳ１１に戻る。

本実施形態に係る運転者状態判定装置１０は、運転者の第１状態の検出処理を実行し、第１状態を示す値が第１閾値以上の場合に、第２運転者状態検出部１４を作動させて、第２状態の検出処理を実行させる。第１状態を示す値は、例えば、運転者の顔の画像データから導出される眠気の度合いの不明確度、運転者の運転操作データから導出される眠気の度合いの不明確度である。第２状態は、例えば、運転者の上半身の姿勢の状態、および運転者の仕草の状態である。

運転者状態判定装置１０は、第１状態から運転者の意識状態が運転に適していると判断できる場合、または第１状態から運転者の意識状態が運転に適していないと判断できる場合には、第２状態の検出を行わず、それぞれの場合に応じた処理を実行する。これにより第２状態の検出処理と第２状態を示す値の導出処理等の手順を省くことができ、処理負荷の低減を図ることができる。

また、運転者状態判定装置１０は、第１状態からは運転者の意識状態が運転に適しているか否かを判断しかねる場合に、第２状態の検出処理を実行し、第１状態以外にも第２状態に係る情報も用いて運転者の意識状態の判定を行うため、正確な判定を行うことができる。また、例えば、第１状態は運転者の顔の表情、第２状態は運転者の上半身の姿勢である場合に、１つの撮像部１６によりこれらの画像データを取得することができるため、簡易な構成で、正確な判定が可能になる。

［変形例］
上記実施形態について、以下の変形が可能である。
（変形例１）
上記実施形態に係る運転者状態判定装置１０は、運転者の瞼の開度が所定の開度以下となる、所定時間における頻度、または維持時間を第１指標とした。本変形例に係る運転者状態判定装置１０は、目元部分だけではなく、頬部分や口部分等も用いて運転者の眠気の有無を判定する。この判定のために、記憶部３８は、ＳＶＭ（Support Vector Machine）等の機械学習により得られた第１分類情報を記憶する。この第１分類情報は、運転者の顔面全体における各パーツの状態から導出される特徴量を、運転者の眠気の有無に応じた各グループへ分類する情報である。ここで眠気が有る場合のグループと覚醒状態におけるグループとの境界付近の特徴量については、より正確な分類のために、運転者状態判定装置１０は、第２状態の検出を行う。このとき、ある特徴量の第１状態を示す値は、境界を線や面等で近似した場合に、例えば、当該境界線や境界面等からの距離の逆数である。このとき第１閾値は、例えば、意識状態についての判定に誤りが生じ始める、境界線や境界面からの距離の逆数である。

本変形例に係る運転者状態判定装置１０によれば、顔面全体の表情に基づいた、総合的かつ細かい状態変化を検出することができる。

（変形例２）
本変形例に係る運転者状態判定装置１０は、例えばボンネット上やフロントガラス付近に照度計等の光センサを備える。そして検出された光の照度が一定の照度以上の場合または照度が低い状態から高い状態に急に変化した場合であって、眩しさのために運転者の瞼の開度が低い状態が続くような場合に、状態判定部４２は、日除けをセットするなどの運転者のその後の行動を待って運転者状態の判定を行ってもよいし、上記第２、３閾値を通常の各値よりも大きい値に変更して判定の際に用いてもよい。なお、運転者が日除けをセットするなどの行動を示すデータは、運転者が眠気を感じていないことを示すデータとして、予め機械学習等により得られており、記憶部３８に記憶されている。また変更後の第２、３閾値は、目が光に慣れるまでの時間を含むとし、これらも機械学習等により得られており、予め記憶部３８に記憶されている。

本実施形態に係る運転者状態判定装置１０によれば、外部からの光も考慮に入れた適切な判断が可能となり、運転者状態についての誤判定を防止できる。

［実施形態から得られる技術的思想］
上記実施形態から把握しうる技術的思想について、以下に記載する。

＜第１の技術的思想＞
運転者の第１状態を検出する第１運転者状態検出手段（１２）と、運転者の第２状態を検出する第２運転者状態検出手段（１４）と、を備える運転者状態判定装置（１０）は、第１状態を示す値が第１閾値以上の場合に、第２運転者状態検出手段（１４）を作動させる。

これにより、処理負荷を低減しつつ、運転者の状態を総合的に観察して運転者の状態を判定することができる。

第１状態は、撮像手段（１６）により撮像された運転者の顔部分の画像から検出されてもよい。これにより、運転者の意識状態について多くの情報を検出することができる。

第２状態は、撮像手段（１６）により撮像された運転者の画像から検出されてもよい。これにより、運転者の意識状態について、より正確に判断することができる。

第２状態は、運転者の上半身の姿勢の状態と、運転者の仕草の状態のうちの少なくとも一方を含んでもよい。これにより、運転者の意識状態について、さらにより正確に判断することができる。

第１状態は、運転者の運転操作から検出される状態と、自動ブレーキの作動状況から検出される状態のうちの少なくとも一方を含んでもよい。これにより、運転者の意識状態について、さらにより正確に判断することができる。

第１運転者状態検出手段（１２）は、第１状態に基づき運転者の眠気の度合いを示す第１指標の値を導出し、第２運転者状態検出手段（１４）は、第２状態に基づき運転者の眠気の度合いを示す第２指標の値を導出し、第２状態に基づき運転者の仕草を検出し、運転者状態判定装置（１０）は、導出された第１指標の値が第２閾値以上の場合、または導出された第２指標の値と仕草の少なくとも一方から運転者の眠気を検知した場合には、運転者を覚醒させるための動作を制御対象装置に実行させる覚醒支援手段（４４）を、さらに備えてもよい。これにより、運転者を、運転にふさわしい意識状態に戻し、運転者の安全の確保を図ることができる。

第１指標は、運転者の瞼の開度が所定時間において所定の開度以下となる頻度、または、瞼の開度が所定の開度以下となっている状態の維持時間であってもよい。これにより、まばたき等から運転者に眠気が有るなどとする誤判定を防止することができる。

運転者状態判定装置（１０）は、外光の照度が高い場合、第２閾値を大きくしてもよい。これにより運転者が眩しさのために瞼を閉じ気味になっても、意識状態について誤判定を防止できる。

第２指標は、運転者の上半身の姿勢が覚醒状態における姿勢から逸脱している継続時間であってもよい。これにより、体の動きがあるたびに誤判定が行われることを防止することができる。

覚醒状態における姿勢は、運転者が進行方向に顔を向けている姿勢であってもよい。これにより、運転者の意識状態について正確に判断ができる。

＜第２の技術的思想＞
運転者状態判定装置（１０）により実行される運転者状態判定方法は、運転者の第１状態を検出する第１運転者状態検出ステップと、運転者の第２状態を検出する第２運転者状態検出ステップと、を含み、第１状態を示す値が第１閾値以上の場合に、前記第２運転者状態検出ステップを実行する。

これにより、処理負荷を低減しつつ、運転者の状態を総合的に観察して運転者の状態を判定することができる。

１０…運転者状態判定装置
１２…第１運転者状態検出部（第１運転者状態検出手段）
１４…第２運転者状態検出部（第２運転者状態検出手段）
１６…撮像部（撮像手段） １８…車両周辺センサ
２０…ブレーキセンサ ２２…ハンドルセンサ
２４…自動ブレーキセンサ ２６…Electronic Control Unit（ＥＣＵ）
２８…画像処理部 ３０…撮像制御部
３２…表情データ導出部 ３４…運転操作データ導出部
３６…自動ブレーキ作動データ導出部 ３８…記憶部
４０…姿勢データ導出部 ４２…状態判定部
４４…覚醒支援部（覚醒支援手段） ４６…制御対象装置群

Claims (11)

1. 運転者の第１状態を検出する第１運転者状態検出手段と、
   前記運転者の第２状態を検出する第２運転者状態検出手段と、
   を備える運転者状態判定装置であって、
   前記第１状態を示す値が第１閾値以上の場合に、前記第２運転者状態検出手段を作動させる、運転者状態判定装置。
2. 請求項１に記載の運転者状態判定装置であって、
   前記第１状態は、撮像手段により撮像された前記運転者の顔部分の画像から検出される、運転者状態判定装置。
3. 請求項２に記載の運転者状態判定装置であって、
   前記第２状態は、前記撮像手段により撮像された前記運転者の画像から検出される、運転者状態判定装置。
4. 請求項３に記載の運転者状態判定装置であって、
   前記第２状態は、前記運転者の上半身の姿勢の状態と、前記運転者の仕草の状態のうちの少なくとも一方を含む、運転者状態判定装置。
5. 請求項１〜４のいずれか１項に記載の運転者状態判定装置であって、
   前記第１状態は、前記運転者の運転操作から検出される状態と、自動ブレーキの作動状況から検出される状態のうちの少なくとも一方を含む、運転者状態判定装置。
6. 請求項１〜５のいずれか１項に記載の運転者状態判定装置であって、
   前記第１運転者状態検出手段は、前記第１状態に基づき前記運転者の眠気の度合いを示す第１指標の値を導出し、
   前記第２運転者状態検出手段は、前記第２状態に基づき前記運転者の眠気の度合いを示す第２指標の値を導出し、前記第２状態に基づき前記運転者の仕草を検出し、
   前記導出された第１指標の値が第２閾値以上の場合、または前記導出された第２指標の値と前記仕草の少なくとも一方から前記運転者の眠気を検知した場合には、前記運転者を覚醒させるための動作を制御対象装置に実行させる覚醒支援手段を、さらに備える、運転者状態判定装置。
7. 請求項６に記載の運転者状態判定装置であって、
   前記第１指標は、前記運転者の瞼の開度が所定時間において所定の開度以下となる頻度、または、前記瞼の開度が前記所定の開度以下となっている状態の維持時間である、運転者状態判定装置。
8. 請求項７に記載の運転者状態判定装置であって、
   外光の照度が高い場合、前記第２閾値を大きくする、運転者状態判定装置。
9. 請求項６〜８のいずれか１項に記載の運転者状態判定装置であって、
   前記第２指標は、前記運転者の上半身の姿勢が覚醒状態における姿勢から逸脱している継続時間である、運転者状態判定装置。
10. 請求項９に記載の運転者状態判定装置であって、
    前記覚醒状態における姿勢は、前記運転者が進行方向に顔を向けている姿勢である、運転者状態判定装置。
11. 運転者の第１状態を検出する第１運転者状態検出ステップと、
    前記運転者の第２状態を検出する第２運転者状態検出ステップと、
    を含む、運転者状態判定装置により実行される運転者状態判定方法であって、
    前記第１状態を示す値が第１閾値以上の場合に、前記第２運転者状態検出ステップを実行する、運転者状態判定方法。

Images