JP2009232945A - 運転者状態検出装置、意識状態検出方法 - Google Patents

Abstract

【課題】運転者の意識状態を精度よく判別可能な運転者状態検出装置及び意識状態検出方法を提供すること。
【解決手段】運転者の意識状態を検出する運転者状態検出装置１００において、内容が可変な表示情報を表示する表示手段２０と、運転者の顔画像を撮影する撮影手段１１と、顔画像から顔向き又は視線方向の少なくとも一方を検出する顔向き・視線方向検出手段１６と、顔向き・視線方向検出手段１６が検出した視線方向に配置された、表示手段２０の画面の一部又は全部を変化させる画面変更手段１９、３２と、画面変更手段１９，３２による画面の一部又は全部の変更に追随して運転者の眼の状態が変化したか否かに基づき、運転者の意識状態を検出する運転者意識判定手段１８，３３と、を有することを特徴とする。
【選択図】図１

Description

本発明は、運転者の意識状態を検出する運転者状態検出装置及び意識状態検出方法に関し、特に、表示情報の変化に追随した運転者の眼の状態に基づき運転者の意識状態を検出する運転者状態検出装置及び意識状態検出方法に関する。

車両の運転中、運転者の注意が散漫となる一因として眠気が挙げられており、運転者に眠気があることを検出する技術が提案されている（例えば、特許文献１参照）。特許文献１には、運転者の顔画像を撮影し眼の状態から運転者の覚醒度を推定する居眠り警報装置において、顔の位置と焦点距離から撮影手段を調整する居眠り警報装置が記載されている。また、運転者の緊張状態を瞳孔の変化から検出する技術が提案されている（例えば、特許文献２参照。）。特許文献２には、先行車の接近時に、瞳孔径の変化が少ない場合に緊張状態であると判定して、警告や制動のタイミングを早める運転者状態検出装置が記載されている。
特開平１１−４８８８２０号公報 特開２００２−３６７１００号公報

しかしながら、特許文献２記載の運転者状態検出装置では、瞳孔径が変化しないことから運転者の緊張状態は検出されるが、運転者が何かを注視しているために瞳孔径が変化しないのか、それとも注意が散漫であるため瞳孔径が変化しないのかは検出できない。このため、単に瞳孔径の変化を検出して警告するだけでは、前方などを注視している運転者に対し不要警報を発生させることがあるという問題がある。

本発明は、上記課題に鑑み、運転者の意識状態を精度よく判別可能な運転者状態検出装置及び意識状態検出方法を提供することを目的とする。

上記課題に鑑み、本発明は、運転者の意識状態を検出する運転者状態検出装置において、内容が可変な表示情報を表示する表示手段と、運転者の顔画像を撮影する撮影手段と、顔画像から顔向き又は視線方向の少なくとも一方を検出する顔向き・視線方向検出手段と、顔向き・視線方向検出手段が検出した視線方向に配置された、前記表示手段の画面の一部又は全部を変化させる画面変更手段（例えば、ぼやけ発生部１９，視覚刺激部３２）と、画面変更手段による画面の一部又は全部の変更に追随して運転者の眼の状態が変化したか否かに基づき、運転者の意識状態を検出する運転者意識判定手段（例えば、瞳孔追随判定部１８、刺激追随判定部３３）と、を有することを特徴とする。

本発明によれば、運転者の視線方向の画面を変化させ、注視しているか否かを判定するので、単に視線方向やそれらの停留時間から意識状態を判別するのでなく、注意力が散漫な状態と、実際にその方向を注視している状態とを区別して検出することができる。

運転者の意識状態を精度よく判別可能な運転者状態検出装置及び意識状態検出方法を提供することができる。

以下、本発明を実施するための最良の形態について、図面を参照しながら実施例を挙げて説明する。

図１は、注視しているか否かの判定の概略を説明する図の一例である。本実施例の運転者状態検出装置１００は、ナビ画面１２、ヘッドアップディスプレイ（以下、ＨＵＤという）、メータ表示部などに表示する表示情報を意図的にぼやかす。図１では、星の形状をした図形の外縁をぼやけさせている。ところで、人間の眼の瞳孔の大きさは、環境光の明暗、遠近の調整のため変化することが知られている。このため、それまで注視していた表示情報がぼやけると無意識にピントを合わせようと瞳孔の大きさが変化する。したがって、図１に示すように、ぼやけた表示情報を注視しようとする運転者の瞳孔の大きさは変化する（図では大きくなっている）。運転者状態検出装置１００は、この瞳孔の大きさの変化を顔画像から検出して、その時の視線方向にある表示媒体、例えば車両前方を注視しているか否かや、ナビ画面１２を注視しているか否かを判定する。

従来、顔向き、視線方向やそれらの停留時間からその方向に視線が向けられているか否かは検出可能であったが、覚醒度や注意力などの意識状態は検出が困難であった。本実施例では、同じ方向に視線が停留している場合、注意力が散漫な状態と、実際にその方向を注視している状態とを区別し、運転者の意識状態を適切に判別できる。

図２は、本実施例の運転者状態検出装置１００の機能ブロック図の一例を示す。図２の機能ブロック図は、瞳孔を検出する手段に対応するドライバモニタセンサ１１、顔向き・視線方向検出部１６、瞳孔検出部１７、及び、ぼやけを発させる手段に対応するナビ画面１２、メータ表示部１３、ＨＵＤ１４、サイドミラー１５（以下、まとめて表示媒体２０という場合がある）、ぼやけ発生部１９、とを有する。また、瞳孔追随判定部１８は、瞳孔の大きさがぼやけに追随して変化するか否かを判定する。なお、これらのうち顔向き・視線方向検出部１６、瞳孔検出部１７、瞳孔追随判定部１８及びぼやけ発生部１９は所定のＥＣＵ（electronic control unit）のＣＰＵがプログラムを実行するか、ＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアにより実現される。また、各機能は１つのＥＣＵのみで実現される必要はなく、複数のＥＣＵに分散して実現されてもよい。例えば、ぼやけ発生部１９は、ナビ画面１２等を制御する各ＥＣＵにそれぞれ設けられる。

〔瞳孔検出〕
ドライバモニタセンサ１１は、例えばステアリングコラムに配置された運転者の顔画像を撮影する撮影手段である。図３は、ドライバモニタセンサ１１の正面図の一例を示す。ドライバモニタセンサ１１はカメラ２１及び赤外線投光器２２を有し、カメラ２１は、ステアリングホイールの中心を通る鉛直軸線上に配置され、運転者の顔を正面から撮影する。赤外線投光器２２は、カメラ２１の左右両側に同数ずつ（図では３個ずつ）配置されている。赤外線投光器２２は、運転者の顔部へ向けて近赤外光を投光するＬＥＤランプであり、夜間における運転者の顔の撮影や瞳孔の検出を容易にする。

カメラ２１はＣＣＤ（Charge Coupled Device)やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成され、赤外線投光器２２が照射する赤外光に感度を有しており、入射した光を電気信号に変換したあと所定階調のデジタルデータ（顔画像）を生成する。また、この赤外線投光器２２が照射する光は運転者の瞳孔に進入し、瞳孔部の輝度が周囲の眼の輝度と異なるようになるため、瞳孔の位置及び大きさが検出される。

続いて、運転者の顔向き及び視線方向の検出について説明する。カメラ２１が撮影した顔画像は順次、顔向き・視線方向検出部１６に入力され、メモリに記憶されていく。

まず、顔向き・視線方向検出部１６は、顔画像から顔のおよその位置（顔の輪郭）を検出する。例えば、順次入力される顔画像の間で、同じ画素位置の画素値（輝度）を比較し、所定以上に画素値が異なる画素の画素値の差をその画素位置と共に記憶していく。そして、所定数の顔画像について同じ画素位置の画素値の差をカウントしていくと、輪郭部の画素位置のカウント数が増大する。顔画像には背景なども写っているが、背景は静止しているため、顔の左右の端部は最もカウント数が大きくなるので、カウント数の縦方向のヒストグラムを作りその積分値のピークが横方向の顔の輪郭位置となる。このようにして、顔位置の左右の端部が決定される。

ついで、顔向き・視線方向検出部１６は、顔画像のエッジ情報から顔の特徴点を検出する。エッジ情報により、顔の特徴点（眉、上下の瞼、鼻孔、口角、上下の唇の境など）は、肌に比べ輝度の変化の大きい画素として検出される。例えば、Ｓｏｂｅｌ等、公知のエッジ検出アルゴリズムを用いれば、輝度小から大、輝度大から小の２種類のエッジ情報に囲まれる顔の各パーツの輪郭が得られる。

顔向き・視線方向検出部１６は、エッジ情報から顔の上下の輪郭位置及び中央線を検出する。人の顔の眼や鼻などの特徴点は左右対称に配置されているので、左右のエッジ情報の数がほぼ均等になる鉛直方向の線が顔の中央線となる。例えば、顔画像を左右に２分割する仮想の縦線を設定し、その縦線を基準に左右のエッジ情報の数をそれぞれカウントする。左右のエッジ情報の数の差を閾値と比較し、閾値以下となる縦線又はエッジ情報の数の差が最小となる縦線を顔の中央線と決定する。

顔向き・視線方向検出部１６は、得られた中央線に基づき運転者の顔向きを検出する。すなわち、中央線から左又は右の輪郭位置までの距離に基づき、正面方向とゼロ度とした左右方向の顔向き度を例えば５〜１０度刻み程度に検出する。

視線方向の検出について説明する。視線方向は例えば角膜反射法により検出する。角膜反射法は、角膜上の赤外線投光器２２の光の虚像が、角膜と眼球の回転中心の違いにより、眼球運動に伴って平行移動することを利用して視線方向を検出する。したがって、顔画像から角膜反射点２３と瞳孔中心２４を検出することで視線方向が求められる。

図４は視線方向の検出を模式的に示す図の一例である。瞳孔は眼の瞳孔以外の部分よりも暗く写る傾向がある。このため、例えば赤外線投光器２２の点滅と撮影を同期させ、点灯時の顔画像と消灯時の顔画像との画素値の差分を演算すると、瞳孔のみが光に反応して画素値が変化するので、瞳孔以外の画素値は差分によりゼロ又は無視できる小さい値になり、瞳孔だけが画素値の差分が大きくなるので、瞳孔を検出しやすくできる。瞳孔の大きさは成人で２〜６ｍｍ程度の範囲で変化するが、平均的にはおよそ４ｍｍ程度である。人間の場合、瞳孔は円形なのでその中心を瞳孔中心２４の位置として決定する。

同様に、角膜反射点２３は、赤外線投光器２２が点灯した場合にのみ検出される輝度の高い点なので、点灯時の顔画像と消灯時の顔画像との画素値の差分から明瞭に検出される。

瞳孔中心２４の位置と角膜反射点２３の位置は、原点を例えばカメラ２１の所定部を原点とする３次元座標における位置となる。角膜反射点２３と瞳孔中心２４の位置に対する実際の人間の視線方向には個人差があるので、角膜反射点２３と瞳孔中心２４の位置と視線方向の関係を較正するため、この座標系において座標の知られた１点Ｑを運転者に注視させ、その時の角膜反射点２３と瞳孔中心２４の位置を求める。この位置は、３次元上の位置なのでシートポジションやリクライニング角度から車両の前後方向の距離を含めて検出するか、より好ましくはステレオカメラにより直接３次元の位置として検出することが好ましい。

したがって、カメラ２１から瞳孔中心２４までのベクトルＥＯが明らかとなり、既知の座標Ｑと瞳孔中心２４までのベクトルＥＱも明らかとなる。また、ベクトルＥＯとベクトルＥＱとのなす角αが求められる。

ついで、角膜反射点２３と瞳孔中心２４の位置から、角膜反射点２３と瞳孔中心２４の距離ｒを求める。この距離ｒは３次元座標上の距離である。また、この距離ｒとなす角αには線形関係があり、ｒ＝ｆ（α）という関係が求めれる。

この関係式を求めると、未知の一点を注視した際の視線ベクトルは、その時の瞳孔中心２４、角膜反射点２３、から求めたｒ‘を関係式に代入することでα’から算出できることになる。なお、α又はα‘はそれぞれ水平方向と仰角方向の２つの成分で表される。そして、必要であれば、既に検出された顔向きに基づき視線方向を補正して最終的な視線方向が得られる。

瞳孔検出部１７は、瞳孔の大きさを検出する。上記のように、瞳孔は、赤外線投光器２２の点灯時の顔画像と消灯時の顔画像との画素値の差分から検出される。この場合、瞳孔は円形であるが、瞳孔の上下方向は運転者の瞬きや眼の開度によって変動しうるので、瞳孔検出部１７は瞳孔の水平方向の長さを瞳孔の大きさとして検出する。瞳孔部の画素数からｍｍ等に変換してもよいし、画素数のまま扱ってもよい。

〔ぼやけの発生〕
表示情報の内容が可変の全ての表示媒体２０にてぼやけを発生させることができる。例えば、ナビ画面１２では、自車位置や駐車場などを表すアイコン、道路、操作メニュー、駐車支援時のガイド線、メッセージ等が表示される。メータ表示部１３又はＨＵＤ１４には車速、エンジン回転数、シフトポジション、各種の警告マーク、オド／トリップメータ、車載装置の作動状態、等が表示される。サイドミラー１５には、例えば誘導情報として矢印マークが表示される。なお、サイドミラー１５は例えば、ハーフミラーの内側に液晶などの表示部材を有する構成を有し、表示部材が表示情報を表示しない場合はハーフミラーに後方の風景が写るようになっている。したがって、サイドミラー１５だけでなく、ルームミラーやバニティミラー等のミラーに表示情報を表示してもよい。

ぼやけ発生部１９は、これら表示情報にぼやけを発生させる。図５はぼやけの一例を示す図である。図５（ａ）は、ナビ画面１２に表示される駐車場を示すアイコンを、図５（ｂ）はナビ画面１２に表示される自車アイコンを、図５（ｃ）はメータ表示部１３又はＨＵＤ１４に表示される車速を、図５（ｄ）はサイドミラー１５に表示される矢印をそれぞれ示す。

ぼやけ発生部１９は、元の表示情報にぼやけ処理を施す。ナビ画面１２に表示するアイコンの形状等を定めるアイコン情報は、例えばビットマップデータとして予め記憶されている。ビットマップデータの外郭部を外側に拡散させドット密度を小さくすることでぼやけ処理を施すことができる。矢印などその他、アイコンとして予め記憶されている表示情報に対しては同様にぼやけ処理を施すことができる。

車速やメッセージのような数字又は文字が表示情報となる場合、ビットマップフォントの数字又は文字が表示される場合と、アウトラインフォントが描画されて表示される場合とがある。このうち、ビットマップフォントの数字又は文字は、アイコンと同様に形と大きさが決まっているので、アイコンと同様のぼやけ処理を施すことができる。また、アウトラインフォントについてはいったん描画してビットマップデータに変換した後、同様な処理を施せばよい。

また、同じアイコンや文字又は数値を、中心を少しずらしながら複数表示してもぼやけ処理と同様の表示とすることができる。この場合、中心をずらすアイコン等の色を変えたり（例えば、中心をずらして表示される各アイコンの色をグラデーションのようにかえる）、文字の線幅をかえることでぼやけを表現しやすくできる。

図５（ａ）〜（ｄ）では表示媒体２０の一部のアイコン又は文字をぼやけさせたが、表示媒体２０の全体（画面を構成するのアイコン及び文字の全て）にぼやけを発生させてもよい。

また、ＨＵＤ１４は、ウインドガラスに設けられた半透過部材に表示像を投影し、この表示像を運転者に視認させる構成とされている。このため、投影時の焦点をずらすことでぼやかすことができ、アイコン等にぼやけ処理を施す必要がなく実現が容易である。この場合、表示媒体２０の全体にぼやけが発生する。

そして、瞳孔追随判定部１８は、顔向き・視線方向検出部１６が検出した視線方向の表示部材に、ぼやけ発生部１９が表示情報をぼやかした場合に、瞳孔検出部１７が検出した瞳孔の大きさが表示情報のぼやかしに追随して変化したか否かを判定する。追随して瞳孔の大きさが変化した場合、運転者がその方向を注視していると判定される。

〔注視しているか否かの判定手順〕
図６は、運転者状態検出装置１００が表示媒体２０を注視しているか否かを判定する手順を示すフローチャート図の一例である。図６のフローチャート図は、イグニッションがオンになるとスタートする。

ドライバモニタセンサ１１は所定のサイクル時間毎に繰り返し顔画像を撮影する（Ｓ１０）。顔向き・視線方向検出部１６は各顔画像から顔向き及び視線方向を検出する（Ｓ２０）。また、瞳孔検出部１７は、顔画像から瞳孔の大きさを検出する（Ｓ３０）。

ついで、ぼやけ発生部１９は、視線方向の表示媒体２０にぼやけを発生させる（Ｓ４０）。ステップＳ４０のぼやけの発生処理は、例えば、同じ視線方向が所定時間（０．５〜数秒）継続して検出された場合に行えばよい。

ピントずれを発生させると瞳孔追随判定部１８は、ぼやけに追随して瞳孔の大きさが変化したか否かを判定する（Ｓ５０）。追随してとは、ぼやけが発生した直後の瞳孔の大きさに着目することをいう。また、瞳孔の大きさの変化は大きくなる場合と小さくなる場合がある。ぼやけに対し明瞭な像が得られないと人の眼は、瞳孔を大きくなるように変化させ、また、小さくなるようにも変化させるので、ステップＳ５０では、大又は小のいずれか一方に変化しても瞳孔の大きさが変化したと判定される。なお、より確実に検出するため、瞳孔の大きさが大及び小の両方に変化した場合に瞳孔の大きさが変化した判定してもよい。

瞳孔の大きさがぼやけに追随して変化した場合（Ｓ５０のＹｅｓ）、瞳孔追随判定部１８はぼやけを発生させた表示媒体２０を運転者が注視していると判定する（Ｓ６０）。

ところで、注視していると判定された場合、その注視が好ましい場合とそうでない場合がある。まず、注視が好ましくない方向の注視を検出した場合を説明する。例えば、直進走行中、ナビ画面１２、メータ表示部１３、サイドミラー１５（正面方向にない表示媒体２０）を所定時間以上に渡り注視することは、適正な視線方向と言えないので、運転者状態検出装置１００は運転者に正面方向に視線を戻すように注意喚起する。注意喚起の方法は、例えば、注視している表示媒体が既知であるので、ぼやけを発生させた表示媒体に「正面方向を注視しましょう」と表示することで、確実に運転者に注意喚起することができる。なお、同様のメッセージをスピーカから音声で出力してもよいし、警報音を吹鳴してもよい。

なお、走行中に、運転者が正面方向以外の表示媒体２０を注視することが必要な場合がある。例えば、メータ表示部１３に表示される車速を注視したい場合があるし、車線変更時にサイドミラー１５を注視したい場合がある。したがって、運転者に注意喚起するまでの所定時間は、これら表示媒体２０に応じて可変としてもよい。例えば、車速は短時間で把握できると考えられまた正面方向からの視線移動も小さくてよいので、メータ表示部１３を注視している場合の注意喚起までの所定時間は、短くすることができる。また、例えば、サイドミラー１５の場合、車線変更時は注意喚起しなくてもよいので、ウィンカのスイッチオンからオフまで間は、注意喚起しないように設定することができる。また、ナビ画面１２は、目的地までの経路における右折地点又は左折地点では運転者が注視する可能性があるので、注意喚起するまでの所定時間を長く設定でき、それ以外の道路を走行中は注意喚起するまでの所定時間を短く設定することができる。

注視が好ましい場合について説明する。注視が好ましい場合とは、例えば、直進走行中に正面方向を注視している場合である。正面方向に配置されたＨＵＤ１４にぼやけを発生させて瞳孔の大きさが変化した場合、進行方向を注視していると判定される。なお、フロントウィンドウに投影される像は虚像なので、ＨＵＤ１４を注視していることは正面方向注視していると判定してよい。

ステップＳ５０に戻り、瞳孔の大きさがぼやけに追随して変化しない場合（Ｓ５０のＮｏ）、瞳孔追随判定部１８はぼやけを発生させた表示媒体を運転者が注視していないと判定する（Ｓ７０）。注視していないとはいえ例えば直進走行中に、ナビ画面１２、メータ表示部１３又はサイドミラー１５に所定時間以上に渡り視線方向が向いていることは好ましくないので、運転者状態検出装置１００は運転者に正面方向に視線を戻すように注意喚起する。運転者は表示媒体２０を注視していないので、「正面方向を注視しましょう」等のメッセージをスピーカから音声で出力してもよいし、警報音を吹鳴してもよい。

これに対し、直進走行中に運転者が正面方向を注視していない場合、運転者の覚醒度が低下しているおそれがある。したがって、このような場合、運転者状態検出装置１００は覚醒を促すための注意喚起制御（警報音の吹鳴、音声によるメッセージ出力、温度調節、振動発生等）を実行する。

この注意喚起のタイミングについては、直進走行中に正面方向に視線方向が向いている場合、必ずしもＨＵＤ１４を注視しなければならないわけではないので、正面方向を注視していない場合に常に、注意喚起等を出力すると不要警報となるおそれがある。

このため、例えば、ぼやけを何回か発生させても正面方向を注視していないと判定される場合、運転者の覚醒度が低下し眠気があると判定し、運転者の覚醒度を上げるため注意喚起するなど、注意喚起のタイミングについて調整することが好ましい。

また、例えばナイトビジョンのように歩行者を強調して表示するＨＵＤ１４では、正面方向に視線方向が向いていても注視していないと判定された場合には、運転者に注意喚起することでより確実に夜間の歩行者へ注意を促すことができる。

本実施例の運転者状態検出装置１００は、視線方向のみ又は視線方向の停留時間だけでなく、運転者が視線方向を注視しているか否かを判定するので、注意力が散漫な状態と、実際にその方向を注視している状態とを区別して、運転者の意識状態を検出することができる。

本実施例では、視線方向の注視の集中度の低下を検出する運転者状態検出装置１００について説明する。図７は、運転者状態検出装置１００が表示媒体２０に表示する刺激用表示３１の一例を示す。図７はメータ表示部１３又はＨＵＤ１４に表示された車速であって、「４０ｋｍ／ｈ」と表示されている。運転者状態検出装置１００は運転者がメータ表示部１３又はＨＵＤ１４に視線方向を向けていると判定された場合、運転者の視野周辺に刺激用表示３１を表示する。図では「４０ｋｍ／ｈ」の右上に円形の光点が点滅している。光点を点灯又は点滅させ、追随して運転者が光点の方向に視線方向を向けた場合、運転者状態検出装置１００は運転者の集中度が低下したと判定する。

例えば、ＨＵＤ１４に刺激用表示３１を表示し、運転者が刺激用表示３１に視線方向を向けた場合、正面方向の注視に対する運転者の集中度が低下していると判定される。また、例えば、ナビ画面１２に刺激用表示３１を表示し、運転者が刺激用表示３１に視線方向を向けた場合、ナビ画面１２を漫然と見ていること、すなわち、ナビ画面１２に対する運転者の集中度が低下していると判定される。

集中度が低下していることは、運転者の覚醒度が低下したり、眠気とは言えないが意識が低下しつつあるといった状態にあると推定できる。したがって、本実施例の運転者状態検出装置１００は、実施例１と同様に、視線方向を集中して見ているか否かを判定することで、運転者の意識状態を検出することができる。

図８は、本実施例の運転者状態検出装置１００の機能ブロック図の一例を示す。図８において図２と同一構成部には同一の符号を付しその説明は省略する。本実施例では視覚刺激部３２と刺激追随判定部３３を有する。視覚刺激部３２は視覚を図７に示したように、運転者の視線方向の視野周辺に運転者の視覚を刺激する表示情報を表示する。視覚を刺激する表示情報には、次のような態様がある。
I）車両状況の通知や運転支援のための表示情報以外に刺激用表示３１を表示する。
II) 車両状況の通知や運転支援のための表示情報の一部の輝度を大きくする。
III）車両状況の通知や運転支援のための表示情報の一部を刺激用表示３１に変形する。
IV)視線方向の表示媒体２０でなく視線方向の表示媒体２０に隣接した表示媒体２０にI〜IIIの処理を施す。

なお、視野周辺とは視野の中央部を除いて運転者の最大視野よりも内側であればよい。表示媒体２０毎に大きさや運転者から見た配置方向が異なるので、同一の運転者において視野周辺は一義的に定まるものではない。例えば、ナビ画面１２では画面の下方が視野周辺となり、メータ表示部１３やＨＵＤ１４では、車速などが表示されていない端部付近が視野周辺となる。

図９（ａ）は車両状況の通知や運転支援のための表示情報以外に表示された刺激用表示３１の一例を示す（I）。例えば、ＨＵＤ１４やメータ表示部１３に表示された車速「４０ｋｍ／ｈ」の周辺に「晴れのち曇り」という刺激用表示３１が表示されている。文字のように意味のある刺激用表示３１は、図５のような単なる光点よりも刺激性が強いとも言えるので、表示媒体２０に視線方向を向けていても注視していないことを確実に検出できる。また、ニュースを刺激用表示３１にしてもよいし、例えば漢字一字のみを刺激用表示３１としてもよく、動植物、工業製品、アニメのキャラクター等をイメージさせるアイコンを刺激用表示３１にしてもよい。

図９（ｂ）は車両状況の通知や運転支援のための表示情報の一部の輝度を大きくすることで形成された刺激用表示３１の一例を示す（II）。図９（ｂ）はナビ画面１２の左下方のビルや一区画の輝度が大きく表示されている。運転者は通常、例えば進行方向を上向きにして走行し、これから通過する方向を注視するので、図９（ｂ）のようにナビ画面１２の下方は視野周辺となる。視野周辺の輝度を大きくすることで与えられた視覚刺激に追随して運転者の視線方向が変化した場合、ナビ画面１２への注視の集中度が低いと判定される。

図９（ｃ）は表示情報の一部が変形して表示された刺激用表示３１の一例を示す（III）。図９（ｂ）と同様に、視野周辺のビルや一区画に「晴れのち曇り」という刺激用表示３１が表示されている。文字だけでなく、アイコン等を表示してもよい。

また、図９（ａ）〜（ｃ）のように視線方向の表示媒体２０に刺激用表示３１を表示するのでなく、視線方向の表示媒体２０に隣接した表示媒体２０に刺激用表示３１を表示してもよい。例えば、ＨＵＤ１４とメータ表示部１３、メータ表示部１３とナビ画面１２とは隣接して配置されることがある。メータ表示部１３の全面が液晶等で構成された場合、ＨＵＤ１４の真下にメータ表示部１３が配置されることになる。したがって、例えば、正面方向に視線方向がある状態ではＨＵＤ１４でなくメータ表示部１３も視野周辺に含まれ、メータ表示部１３に刺激用表示３１を表示することで、正面方向を注視しているか否かを判定できる。

図８に戻り、刺激追随判定部３３は、顔向き・視線方向検出部１６が検出した視線方向の表示媒体２０に、視覚刺激部３２が刺激用表示３１を表示した場合に、顔向き・視線方向検出部１６が検出した視線方向が追随して変化したか否かを判定する。追随して視線方向が変化した場合、運転者の注視の集中度が低下していると判定される。

図１０は、運転者状態検出装置１００が表示媒体２０の注視の集中度を判定する手順を示すフローチャート図の一例である。図１０のフローチャート図は、例えばイグニッションがオンになるとスタートする。

ドライバモニタセンサ１１は所定のサイクル時間毎に繰り返し顔画像を撮影する（Ｓ１０）。顔向き・視線方向検出部１６は各顔画像から顔向き及び視線方向を検出する（Ｓ２０）。視線方向が定まると視覚刺激部３２は、視線方向及び視線方向にある表示媒体２０に応じて、視野周辺を推定する（Ｓ１３０）。上記のように、例えばナビ画面１２の場合、視野周辺は画面の下方である。予め視線方向と視野周辺の関係を定め記憶しておいてもよい。

ついで、視覚刺激部３２は、視線方向の表示媒体２０の視野周辺に刺激用表示３１を表示させる（Ｓ１４０）。ステップＳ１４０の刺激用表示３１の表示は、例えば、同じ視線方向が所定時間（０．５〜数秒）継続して検出された場合に行えばよい。

刺激用表示３１を表示すると刺激追随判定部３３は、刺激用表示３１に追随して視線方向が変化したか否かを判定する（Ｓ１５０）。追随してとは、刺激用表示３１を表示した直後の視線方向に着目することをいう。また、視線方向の変化は、刺激用表示３１の方向への視線方向の変化である。

視線方向が刺激用表示３１の表示に追随して変化した場合（Ｓ１５０のＹｅｓ）、刺激追随判定部３３は視線方向の表示媒体２０に対し運転者の注視の集中度が低下していると判定する（Ｓ１６０）。

視線方向の集中度が低下した場合、運転者の覚醒度が低下しているおそれがある。したがって、運転者状態検出装置１００は運転者に「正面方向を注視しましょう」や「少し休憩を取りましょう」「換気しましょう」等のメッセージをスピーカから音声で出力したり、警報音を吹鳴する。

なお、正面方向に視線方向を向けているが、注視の集中度が低下していると判定された場合、特に覚醒度が低下していると考えられるので早期に運転者に警告することができ、一方、ナビ画面１２など必ずしも注視しない方が好ましい表示媒体２０の注視の集中度が低下していると判定された場合、３回に１回程度運転者に警告するなど、表示媒体２０に応じて運転者への警告の頻度を可変とすることが好ましい。

視線方向が刺激用表示３１の表示に追随して変化しない場合（Ｓ１５０のＮｏ）、刺激追随判定部３３は視線方向の表示媒体２０に対し運転者の注視の集中度が低下していないと判定する。この場合、運転者の覚醒度が高いと判定してよいのでそのまま処理を終了する。

本実施例の運転者状態検出装置１００は、視線方向のみ又は視線方向の停留時間だけでなく、運転者が視線方向を集中して見ているか否かを判定することで、運転者の意識状態を検出することができる。

注視しているか否かの判定の概略を説明する図の一例である。 運転者状態検出装置の機能ブロック図の一例である。 ドライバモニタセンサの正面図の一例である。 視線方向の検出を模式的に示す図の一例である。 ぼやけの一例を示す図である。 運転者状態検出装置が表示媒体を注視しているか否かを判定する手順を示すフローチャート図の一例である。 運転者状態検出装置が表示媒体に表示する刺激用表示の一例を示す図である。 運転者状態検出装置の機能ブロック図の一例である。 車両状況の通知や運転支援のための表示情報以外に表示された刺激用表示の一例を示す図である。 、運転者状態検出装置が表示媒体の注視の集中度を判定する手順を示すフローチャート図の一例である。

符号の説明

１１ ドライバモニタセンサ
１６ 顔向き・視線方向検出部
１７ 瞳孔検出部
１９ ぼやけ発生部
２０ 表示媒体
３２ 視覚刺激部
１００ 運転者状態検出装置

Claims (5)

1. 運転者の意識状態を検出する運転者状態検出装置において、
   内容が可変な表示情報を表示する表示手段と、
   運転者の顔画像を撮影する撮影手段と、顔画像から顔向き又は視線方向の少なくとも一方を検出する顔向き・視線方向検出手段と、
   顔向き・視線方向検出手段が検出した視線方向に配置された、前記表示手段が生成する画面の一部又は全部を変化させる画面変更手段と、
   画面変更手段による画面の一部又は全部の変更に追随して運転者の眼の状態が変化したか否かに基づき、運転者の意識状態を検出する運転者意識判定手段と、
   を有することを特徴とする運転者状態検出装置。
2. 顔画像から運転者の瞳孔の大きさを検出する瞳孔検出手段を有し、
   前記画面変更手段は、前記表示情報の一部又は全部の外縁を不明確にぼやけさせ、
   運転者意識判定手段は、前記表示情報のぼやけに追随して運転者の瞳孔の大きさが変化したか否かに基づき、運転者の意識状態を検出する、
   ことを特徴とする請求項１記載の運転者状態検出装置。
3. 前記画面変更手段は、視線方向に基づき運転者の視野周辺を推定し、視野周辺に含まれる画面の一部に、視覚を刺激する刺激用表示を形成し、
   運転者意識判定手段は、刺激用表示の形成に追随して運転者の視線方向が変化したか否かに基づき、運転者の意識状態を検出する、
   ことを特徴とする請求項１記載の運転者状態検出装置。
4. 前記画面変更手段は、前記表示情報の伝達内容を変更せずに、前記画面の一部又は全部を変化させる、
   ことを特徴とする請求項２又は３記載の運転者状態検出装置。
5. 内容が可変な表示情報を表示する表示手段と、
   運転者の顔画像を撮影する撮影手段と、を備えた運転者状態検出装置の意識状態検出方法において、
   顔向き・視線方向検出手段が、顔画像から顔向き又は視線方向の少なくとも一方を検出するステップと、
   画面変更手段が、顔向き・視線方向検出手段が検出した視線方向に配置された、前記表示手段の画面の一部又は全部を変化させるステップと、
   運転者意識判定手段が、画面変更手段による画面の一部又は全部の変更に追随して運転者の眼の状態が変化したか否かに基づき、運転者の意識状態を検出するステップと、
   を有することを特徴とする意識状態検出方法。