JP2011043961A - 運転者監視装置 - Google Patents

Abstract

【課題】人物が眼を閉じているか否かを正確に判定可能とする運転者監視装置を提供する。
【解決手段】車両の運転者に向けて発せられる光波の光強度を検出する光強度検出手段と、車両の運転者の顔画像を撮像する顔画像取得手段と、顔画像に基づいて運転者の瞼の開き具合を示す眼開度を算出する眼開度算出手段と、運転者の瞼の開閉状態を判定する閉眼状態判定手段と、運転者が居眠りしているか否かを閉眼状態判定手段による判定結果に基づいて判定する居眠り判定手段とを備え、閉眼状態判定手段は、運転者の眼が閉じているか否かを判定するための閉眼判定閾値を光強度の大きさに応じて補正し、運転者の眼が閉じているか否かを眼開度および閉眼判定閾値に基づいて判定する閉眼判定手段と、運転者の眼が閉じている可能性を示す閉眼確度を眼開度および光強度に基づいて算出する閉眼確度算出手段との、少なくとも何れか一方の手段を含む、運転者監視装置である。
【選択図】図３

Description

本発明は、運転者監視装置に関し、より特定的には、車両の運転者の閉眼状態を検出する運転者監視装置に関する。

従来、カメラなどの撮像装置で車両の運転者の顔を撮像し、撮像した画像に基づいて運転者の状態を監視する監視装置が開発されている。このような監視装置の中でも特に、運転者が居眠りしているか否かを判定する監視装置が開発されている。このような監視装置は、撮像した画像を処理することによって、先ず、運転者の眼が閉じているか否か判定する。そして、監視装置は、運転者の眼が閉じていると判定した場合、当該運転者が居眠りしていると判定し、運転者の眼が開いていると判定した場合、当該運転者が覚醒していると判定する。

上記のような監視装置は、例えば、特許文献１に開示される技術等を用いて運転者の眼が閉じているか否かを判定する。特許文献１に開示される閉眼検知装置は、カメラなどの撮像装置で運転者の顔を撮像し、当該画像中における運転者の眼の上下端の間隔を測定する。そして、閉眼検知装置は、上記間隔の大きさに応じて、運転者の眼の開閉状態を検出する。

特開２００８−１９１７８４号公報

しかしながら、特許文献１に開示される技術では、例えば、運転者が車両前方に存在する発光体を眩しく感じて眼を細めた場合など、当該運転者が実際には眼を完全に閉じていないにも拘わらず、眼を閉じていると誤判定してしまう可能性があった。そして、上述のような監視装置において、運転者が眼を閉じているか否かを誤判定した場合、運転者が居眠りしているか否かを正確に判定できない場合があった。

本発明は上記の課題を鑑みて成されたものであり、人物が眼を閉じているか否かを、従来に比べてより正確に判定可能とする運転者監視装置を提供することを目的とする。

上記の課題を解決するため、本願は以下の構成を採用した。すなわち、第１の発明は、車両の運転者に向けて発せられる光波の光強度を検出する光強度検出手段と、車両の運転者の顔画像を撮像する顔画像取得手段と、顔画像に基づいて運転者の瞼の開き具合を示す眼開度を算出する眼開度算出手段と、運転者の瞼の開閉状態を判定する閉眼状態判定手段と、運転者が居眠りしているか否かを閉眼状態判定手段による判定結果に基づいて判定する居眠り判定手段とを備え、閉眼状態判定手段は、運転者の眼が閉じているか否かを判定するための閉眼判定閾値を光強度の大きさに応じて補正し、運転者の眼が閉じているか否かを眼開度および閉眼判定閾値に基づいて判定する閉眼判定手段と、運転者の眼が閉じている可能性を示す閉眼確度を眼開度および光強度に基づいて算出する閉眼確度算出手段との、少なくとも何れか一方の手段を含む、運転者監視装置である。

第２の発明は、第１の発明において、閉眼状態判定手段は、閉眼判定手段を含み、居眠り判定手段は、運転者が居眠りしているか否かを閉眼判定手段の判定結果に基づいて判定することを特徴とする。

第３の発明は、第２の発明において、眼開度算出手段は、運転者の瞼の開き具合が大きいほど大きな値を示すパラメータとして眼開度を算出し、閉眼判定手段は、光強度の大きさに応じて、閉眼判定閾値が小さくなるよう当該閉眼判定閾値を補正する閾値補正手段と、眼開度が閉眼判定閾値未満である場合、運転者の眼が閉じていると判定し、眼開度が閉眼判定閾値以上である場合、運転者の眼が開いていると判定する閾値判定手段とを含み、居眠り判定手段は、閉眼判定手段によって運転者の眼が閉じていると判定された場合、運転者が居眠りしていると判定し、閉眼判定処理において運転者の眼が開いていると判定された場合、運転者が居眠りしていないと判定することを特徴とする。

第４の発明は、第１の発明において、閉眼状態判定手段は、閉眼確度算出手段を含み、居眠り判定手段は、運転者が居眠りしているか否かを閉眼確度に基づいて判定することを特徴とする。

第５の発明は、第４の発明において、眼開度算出手段は、運転者の瞼の開き具合が大きいほど大きな値を示すパラメータとして眼開度を算出し、閉眼確度算出手段は、運転者の眼が完全に閉じている可能性が高い程大きな値を示すパラメータとして閉眼確度を算出し、居眠り判定手段は、閉眼確度が予め定められた閾値以上である場合、運転者が居眠りしていると判定し、閉眼確度が予め定められた閾値未満である場合、運転者が居眠りしていないと判定することを特徴とする。

第６の発明は、第５の発明において、閉眼確度算出手段は、光強度が小さいほど閉眼確度が大きくなるよう、また、眼開度が大きいほど閉眼確度が大きくなるよう、当該閉眼確度を算出することを特徴とする。

第７の発明は、第１の発明において、閉眼状態判定手段は、閉眼判定手段と、閉眼確度算出手段とを含むことを特徴とする。

第８の発明は、第７の発明において、閉眼確度算出手段は、閉眼判定手段によって運転者の眼が閉じていると判定された場合に閉眼確度を算出し、居眠り判定手段は、閉眼確度が予め定められた閾値以上である場合、運転者が居眠りしていると判定し、閉眼判定手段によって運転者の眼が閉じていないと判定された場合、および閉眼確度が予め定められた閾値未満である場合、運転者が居眠りしていないと判定することを特徴とする。

第９の発明は、第１の発明において、車両の前方を映した前方画像を撮像する前方画像撮像手段と、前方画像中において発光体を検出する画像処理手段とをさらに備え、光強度検出手段は、前方画像中における発光体の輝度値を光強度として検出することを特徴とする。

第１０の発明は、第９の発明において、発光体検出手段は、前方画像中において対向車のヘッドランプを発光体として検出することを特徴とする。

第１１の発明は、第２の発明において、閉眼状態判定手段は、運転者の平均的な眼開度を通常眼開度として算出する通常眼開度算出手段と、通常眼開度に基づいて閉眼判定閾値を設定する、閾値設定手段とをさらに含むことを特徴とする。

第１２の発明は、第１１の発明において、閾値設定手段は、通常眼開度に予め定められた係数を乗じることによって当該通常眼開度を減じた値を閉眼判定閾値として設定する、ことを特徴とする。

第１３の発明は、第４の発明において、閉眼状態判定手段は、運転者の平均的な眼開度を通常眼開度として算出する通常眼開度算出手段と、通常眼開度に対する現時点における眼開度の変動量を開度変化量として算出する開度変化量算出手段とをさらに含み、閉眼確度算出手段は、眼開度に応じて算出された開度変化量、および光強度に基づいて閉眼確度を算出することを特徴とする。

第１４の発明は、第１３の発明において、閉眼確度算出手段は、光強度が小さいほど閉眼確度が大きくなるよう、また、開度変化量が小さいほど閉眼確度が大きくなるよう、当該閉眼確度を算出することを特徴とする。

第１５の発明は、第１１の発明、および第１３の発明の何れか一つの発明において、通常眼開度算出手段は、眼開度を予め定められた時間内に算出された複数の眼開度の平均値を通常眼開度として算出することを特徴とする。

第１６の発明は、第１の発明において、車両周囲の物体を検出する物体検出手段と、車両と物体とが衝突するまでの衝突時間を予測する衝突時間予測手段と、居眠り判定手段によって運転者が居眠りしていると判定された場合、衝突判定閾値を大きくする衝突閾値制御手段と、衝突時間が衝突を判定するための衝突判定閾値以下である場合、車両と物体とが衝突する危険性が高いと判定する衝突危険度判定手段と、車両と物体とが衝突する危険性が高いと判定された場合に、運転者による当該衝突の回避操作を支援する衝突回避支援手段をさらに備えることを特徴とする。

第１の発明によれば、運転者の閉眼状態を正確に判定することができる。具体的には、車両の前方に発光体が存在し、運転者が眼を細めがちになる状況においては、当該発光体が発する光の強度に応じて閉眼判定閾値や閉眼確度の値が変更されるため、発光体の影響を考慮して運転者の閉眼状態を正確に判定することができる。また、正確に判定された運転者の閉眼状態に基づいて、運転者が居眠りしているか否かを正確に判定することができる。

第２の発明によれば、上記発光体の光強度に応じて補正した閉眼判定閾値に基づいて運転者の眼が閉じているか否かを正確に判定することができる。

第３の発明によれば、上記発光体の光強度に応じて閉眼判定閾値を小さくするという簡単な処理で容易に運転者の閉眼状態を正確に判定することができる。

第４の発明によれば、光強度の大きさに応じて運転者の眼が閉じている可能性を示す閉眼確度を算出するため、光波の影響を考慮しない場合に比べて閉眼確度を正確に算出することができる。また、正確に算出された閉眼確度に基づいて、運転者が居眠りしているか否かを正確に判定することができる。

第５の発明によれば、閉眼確度が予め定められた閾値以上であるか否かに応じて、運転者が居眠りしているか否かを判定することができる。すなわち、簡単な処理で閉眼確度に基づいて運転者が居眠りしているか否かを判定することができる。

第６の発明によれば、例えば、上記発光体の光強度が比較的大きい場合など、運転者が当該発光体を眩しく感じて眼を細めており、完全には眼を閉じていないと想定される状況において、運転者が眼を閉じている可能性を示す閉眼確度の値を小さく算出することができる。したがって、運転者の閉眼状態を正確に算出することができる。

第７の発明によれば、閉眼判定閾値および閉眼確度の双方に基づいて運転者が居眠りしているか否かを判定するため、閉眼判定閾値および閉眼確度の何れか一方のみに基づいて判定する場合に比べて、運転者が居眠りしているか否かをより正確に判定することができる。

第８の発明によれば、閉眼判定閾値に基づいて運転者の眼が開いていると判定した場合、さらに閉眼確度を算出し、最終的に当該閉眼確度に基づいて、運転者が居眠りしているか否か判定されるため、閉眼判定閾値に基づいた判定が誤っていたとしても、運転者が居眠りしているか否かを正確に判定することができる。

第９の発明によれば、車両の前方を撮像した前方画像を用いることによって、運転者に光波を発する光源および当該光波の強度を正確に検出することができる。また、前方の画像を撮影するカメラが予め車両に搭載されている場合、当該カメラの撮影画像を用いて容易に且つ安価に、光源および光波の強度を検出することができる。

第１０の発明によれば、対向車のヘッドランプを検出し、当該ヘッドランプが発する光波の強度に応じて、運転者の閉眼状態を判定することができる。したがって、例えば、夜間やトンネル内において、前方からヘッドランプをハイビームにして接近する対向車が存在する場合であっても、運転者の閉眼状態を正確に判定することができる。なお、対向車のヘッドランプは、頻繁に運転者の視界に入る発光体であり、運転者が車両を運転中に眼を細める大きな要因となっていると考えられる。

第１１の発明によれば、運転者の通常の眼の開き幅に応じて閉眼判定閾値の大きさを適切に変更することができる。したがって、人毎に異なる眼の大きさの影響を受けることなく、運転者の閉眼状態を正確に判定することができる。

第１２の発明によれば、運転者の通常の眼の開き幅に応じて閉眼判定閾値の大きさを簡単な処理で適切に変更することができる。

第１３の発明によれば、運転者の通常の眼の開き幅に対する変化量を用いて閉眼確度を算出することができる。したがって、人毎に異なる眼の大きさに関係なく、運転者の閉眼状態を正確に判定することができる。

第１４の発明によれば、発光体の光強度の影響を考慮し、且つ、運転者毎に異なる眼の大きさの影響を受けることなく、運転者の眼が閉じている可能性を正確に算出することができる。

第１５の発明によれば、運転者の通常の眼の開き幅を簡単な処理で容易に算出することができる。

第１６の発明によれば、車両が周囲の物体と衝突する危険性が高い場合、運転者による当該衝突の回避操作の支援を開始させることができる。そして、運転者の閉眼状態に基づいて当該運転者が居眠りしていると判定された場合、運転者が居眠りしていないと判定された場合に比べて早いタイミングで回避操作の支援を開始させることができる。したがって、運転者の覚醒を早いタイミングで促し、衝突を回避し易くすることができる。

本発明の第１の実施形態に係る、運転者監視装置１の構成の一例を示すブロック図 本発明の第１の実施形態に係る、運転者監視カメラ１１および車外監視カメラ１２の搭載位置を示す図 本発明の第１の実施形態に係る、運転者監視ＥＣＵ１３が実行する処理の詳細を示すフローチャート 本発明の第１の実施形態に係る、運転者監視ＥＣＵ１３が実行する閉眼閾値設定処理を示すフローチャート 本発明の第１の実施形態に係る、運転者監視カメラ１１が撮像した顔画像における左眼開度ＨＬおよび右眼開度ＨＲを示す図 本発明の第１の実施形態に係る、運転者監視ＥＣＵ１３が実行する光強度検出処理を示すフローチャート 本発明の第１の実施形態に係る、運転者監視ＥＣＵ１３が実行する閉眼閾値補正処理を示すフローチャート 本発明の第１の実施形態に係る、運転者監視ＥＣＵ１３が実行する閉眼判定処理を示すフローチャート 本発明の第２の実施形態に係る、運転者監視ＥＣＵ１３が実行する処理の詳細を示すフローチャート 本発明の第２の実施形態に係る、運転者監視ＥＣＵ１３が実行する閉眼確度算出処理を示すフローチャート 本発明の第２の実施形態に係る、確度算出テーブルの一例を示す図 本発明の第３の実施形態に係る、運転者監視ＥＣＵ１３が実行する処理の詳細を示すフローチャート

（第１の実施形態）
以下、図１から図８を参照して、本発明の第１の実施形態に係る運転者監視装置１について説明する。

先ず、図１を参照して、運転者監視装置１の構成について説明する。なお、図１は運転者監視装置１の構成の一例を示すブロック図である。図１に示すように運転者監視装置１は、運転者監視カメラ１１、車外監視カメラ１２、運転者監視ＥＣＵ１３、レーダー装置１４、衝突判定ＥＣＵ１５、および警報装置１６を備える。以下では、運転者監視装置１が車両１００に搭載される例について説明する。

運転者監視カメラ１１は、典型的にはＣＣＤ（Charge Coupled Device）カメラなどの撮像装置である。運転者監視カメラ１１は、例えば、図２に示すように車両１００のステアリングコラム上部等、運転者の顔を撮像可能な位置に配置される。なお、図２は、運転者監視カメラ１１および車外監視カメラ１２の搭載位置を示す図である。運転者監視カメラ１１は、運転者監視ＥＣＵ１３と電気的に接続される。運転者監視カメラ１１は、撮像した運転者の顔の画像（以下、顔画像と呼称する。）を運転者監視ＥＣＵ１３へ出力する。

車外監視カメラ１２は、典型的にはＣＣＤ（Charge Coupled Device）カメラなどの撮像装置である。車外監視カメラ１２は、例えば、図２に示すように車両１００のルームミラー前方等、車両の前方を撮像可能な位置に配置される。車外監視カメラ１２は、運転者監視ＥＣＵ１３と電気的に接続される。車外監視カメラ１２は、撮像した車両の前方の画像（以下、前方画像と呼称する。）を運転者監視ＥＣＵ１３へ出力する。

運転者監視ＥＣＵ１３は、典型的にはマイクロコンピュータなどの情報処理装置、メモリなどの記憶装置、およびインターフェース回路などを備える処理装置である。運転者監視ＥＣＵ１３が実行する処理の詳細については後述する図３から図８において説明するが、運転者監視ＥＣＵ１３は、顔画像に基づいて、車両１００の運転者が居眠りしているか否かを判定する。そして、運転者監視ＥＣＵ１３は、車両１００の運転者が居眠りしているか否かを示すデータである居眠りフラグを衝突判定ＥＣＵ１５へ出力する。なお、居眠りフラグは、当該フラグがオンに設定されている場合、運転者が居眠りしていることを示し、当該フラグがオフに設定されている場合、運転者が居眠りしていないことを示す。

レーダー装置１４は、例えば、ミリ波レーダーなどのレーダー装置である。レーダー装置１４は、車両１００から検出した物体までの距離Ｌ、および検出した物体の車両１００に対する相対速度Ｖを検出する。以下では、レーダー装置１４により検出された検出物をレーダー検出物と呼称する。そして、レーダー装置１４は、距離Ｌおよび相対速度Ｖを示すデータを衝突判定ＥＣＵ１５へ出力する。なお、距離Ｌおよび相対速度Ｖを検出可能な装置であれば従来周知の任意の装置をレーダー装置１４として用いて良い。

衝突判定ＥＣＵ１５は、典型的にはマイクロコンピュータなどの情報処理装置、メモリなどの記憶装置、およびインターフェース回路などを備える処理装置である。衝突判定ＥＣＵ１５が実行する処理の詳細については後述するが、衝突判定ＥＣＵ１５は、車両１００がレーダー検出物と衝突する危険性が高いか否かを判定する。そして、衝突判定ＥＣＵ１５は、車両１００がレーダー検出物と衝突する危険性が高いと判定した場合、警報装置１６を動作させる。この際、居眠りフラグがオンである場合、衝突判定ＥＣＵ１５は、居眠りフラグがオフである場合に比べ、早いタイミングで車両１００がレーダー検出物と衝突する危険性が高いと判定する。

警報装置１６は、警報音を出力する音声出力装置である。警報装置１６は、衝突判定ＥＣＵ１５の指示に応じて車両１００の車室内において警報音を出力する。警報装置１６は、警報音を出力することによって、車両１００とレーダー検出物との衝突の危険性が高い状態であることを運転者に知らせる。

次いで、運転者監視ＥＣＵ１３が実行する処理について図３を参照して説明する。なお、図３は、運転者監視ＥＣＵ１３が実行する処理の詳細を示すフローチャートである。運転者監視ＥＣＵ１３は、例えば、車両１００のイグニッション電源がオンに設定された場合に、図３に示す処理を開始する。運転者監視ＥＣＵ１３は、図３に示すフローチャートの処理を開始すると、先ず、ステップＡ１の処理を実行する。

ステップＡ１において、運転者監視ＥＣＵ１３は、閉眼判定閾値が設定済みであるか否かを判定する。具体的には、運転者監視ＥＣＵ１３は、左眼閾値ＨＬｔｈおよび右眼閾値ＨＲｔｈの双方を既に算出し、当該値を各々記憶装置に記憶しているか否かを判定する。左眼閾値ＨＬｔｈは、運転者の左眼が閉じているか否かを判定するための閾値である。また、右眼閾値ＨＲｔｈは、運転者の右眼が閉じているか否かを判定するための閾値である。以下では、左眼閾値ＨＬｔｈおよび右眼閾値ＨＲｔｈを総称して閉眼判定閾値と呼称する。運転者監視ＥＣＵ１３は、閉眼判定閾値が記憶装置に記憶されている場合、閉眼判定閾値が設定済みであると判定し、処理をステップＡ３へ進める。一方、運転者監視ＥＣＵ１３は、閉眼判定閾値が記憶装置に記憶されていない場合、閉眼判定閾値が設定済みでないと判定し、処理をステップＡ２へ進めて閉眼判定閾値を設定する。

ステップＡ２において、運転者監視ＥＣＵ１３は、図４に示す閉眼閾値設定処理を実行する。閉眼閾値設定処理は、閉眼判定閾値の初期値を設定するサブルーチン処理である。なお、図４は、閉眼閾値設定処理を示すフローチャートである。運転者監視ＥＣＵ１３は、閉眼閾値設定処理を開始すると、先ずステップＡ２０の処理を実行する。

ステップＡ２０において、運転者監視ＥＣＵ１３は、カウンタＮを初期化する。カウンタＮは、左眼開度ＨＬ、および右眼開度ＨＲを取得した回数を示す変数値である。なお、左眼開度ＨＬは、運転者の左眼の瞼の開き具合を示す数値である。また、右眼開度ＨＲは、運転者の右眼の瞼の開き具合を示す数値である。カウンタＮの値は、運転者監視ＥＣＵ１３の記憶装置に記憶される。運転者監視ＥＣＵ１３は、カウンタＮの値を、例えば０などの初期値に初期化する。ステップＡ２０の処理を完了すると、運転者監視ＥＣＵ１３は、処理をステップＡ２１へ進める。

ステップＡ２１において、運転者監視ＥＣＵ１３は、顔画像を取得する。具体的には、運転者監視ＥＣＵ１３は、運転者監視カメラ１１が撮像した顔画像を取得する。ステップＡ２１の処理を完了すると、運転者監視ＥＣＵ１３は、処理をステップＡ２２へ進める。

ステップＡ２２において、運転者監視ＥＣＵ１３は、現時点における左眼開度ＨＬを算出し、当該左眼開度ＨＬの値を記憶する。具体的には、先ず、運転者監視ＥＣＵ１３は、ステップＡ２１において取得した当該顔画像中において運転者の左眼を検出する。次いで、運転者監視ＥＣＵ１３は、検出した左眼の輪郭を検出する。そして、運転者監視ＥＣＵ１３は、図５に示すように、左眼の輪郭の上端から下端までの長さを左眼開度ＨＬとして算出する。なお、図５は、運転者監視カメラ１１が撮像した顔画像における左眼開度ＨＬおよび右眼開度ＨＲを示す図である。運転者監視ＥＣＵ１３は、算出した左眼開度ＨＬの値を、記憶装置に記憶する。この際、運転者監視ＥＣＵ１３は、算出した左眼開度ＨＬの値を、他の時点において記憶した左眼開度ＨＬの値とは異なる記憶領域（メモリアドレス）に別途記憶する。ステップＡ２２の処理を完了すると、運転者監視ＥＣＵ１３は、処理をステップＡ２３へ進める。

ステップＡ２３において、運転者監視ＥＣＵ１３は、現時点における右眼開度ＨＲを算出し、当該右眼開度ＨＲの値を記憶する。具体的には、先ず、運転者監視ＥＣＵ１３は、ステップＡ２１において取得した当該顔画像中において運転者の右眼を検出する。次いで、運転者監視ＥＣＵ１３は、検出した右眼の輪郭を検出する。そして、運転者監視ＥＣＵ１３は、図５に示すように、右眼の輪郭の上端から下端までの長さを右眼開度ＨＲとして算出する。運転者監視ＥＣＵ１３は、算出した右眼開度ＨＲの値を、記憶装置に記憶する。この際、運転者監視ＥＣＵ１３は、算出した右眼開度ＨＲの値を、他の時点において記憶した右眼開度ＨＲの値とは異なる記憶領域（メモリアドレス）に別途記憶する。なお、以下では、左眼開度ＨＬおよび右眼開度ＨＲを総称して眼開度と呼称する。ステップＡ２３の処理を完了すると、運転者監視ＥＣＵ１３は、処理をステップＡ２４へ進める。

ステップＡ２４において、運転者監視ＥＣＵ１３は、カウンタＮをカウントアップする。具体的には、運転者監視ＥＣＵ１３は、記憶装置に記憶されたカウンタＮの値に例えば１などの予め定められた定数を加算して、上書き記憶する。ステップＡ２４の処理を完了すると、運転者監視ＥＣＵ１３は、処理をステップＡ２５へ進める。

ステップＡ２５において、運転者監視ＥＣＵ１３は、カウンタＮの値が閾値Ｎｔｈ以上であるか否かを判定する。閾値Ｎｔｈは、眼開度を所定の回数だけ取得したか否かを判定するための定数値である。閾値Ｎｔｈは、予め運転者監視ＥＣＵ１３の記憶装置に記憶される。運転者監視ＥＣＵ１３は、記憶装置に記憶されたカウンタＮおよび閾値Ｎｔｈの値を読み出し、カウンタＮの値が閾値Ｎｔｈ以上であるか否かを判定する。運転者監視ＥＣＵ１３は、カウンタＮの値が閾値Ｎｔｈ以上であると判定した場合、処理をステップＡ２６へ進める。一方、運転者監視ＥＣＵ１３は、カウンタＮの値が閾値Ｎｔｈ未満であると判定した場合、処理をステップＡ２１へ戻す。

上記ステップＡ２１からステップＡ２５の処理によれば、カウンタＮの値が閾値Ｎｔｈ以上となるまで、ステップＡ２１からステップＡ２４の処理が繰り返されて、複数の時点において各々検出された複数の眼開度が記憶装置に記憶される。

ステップＡ２６において、運転者監視ＥＣＵ１３は、通常左眼開度ＨＬＡを算出する。具体的には、運転者監視ＥＣＵ１３は、上述したステップＡ２１からステップＡ２５の処理によって記憶装置に記憶された各時点における左眼開度ＨＬの平均値を通常左眼開度ＨＬＡとして算出する。そして、運転者監視ＥＣＵ１３は、算出した通常左眼開度ＨＬＡの値を記憶装置に記憶する。ステップＡ２６の処理を完了すると、運転者監視ＥＣＵ１３は、処理をステップＡ２７へ進める。

ステップＡ２７において、運転者監視ＥＣＵ１３は、左眼閾値ＨＬｔｈを算出する。具体的には、運転者監視ＥＣＵ１３は、下記の式（１）に基づいて、左眼閾値ＨＬｔｈを算出する。なお、式（１）における係数αは、予め運転者監視ＥＣＵ１３の記憶装置に記憶された０以上１未満の任意の定数値である。
ＨＬｔｈ＝ＨＬＡ×α …（１）
運転者監視ＥＣＵ１３は、算出した左眼閾値ＨＬｔｈの値をステップＡ２７の処理を完了すると、運転者監視ＥＣＵ１３は、処理をステップＡ２８へ進める。

ステップＡ２８において、運転者監視ＥＣＵ１３は、通常右眼開度ＨＲＡを算出する。具体的には、運転者監視ＥＣＵ１３は、上述したステップＡ２１からステップＡ２５の処理によって記憶装置に記憶された各時点における右眼開度ＨＲの平均値を通常右眼開度ＨＲＡとして算出する。そして、運転者監視ＥＣＵ１３は、算出した通常右眼開度ＨＲＡの値を記憶装置に記憶する。ステップＡ２６の処理を完了すると、運転者監視ＥＣＵ１３は、処理をステップＡ２７へ進める。

ステップＡ２９において、運転者監視ＥＣＵ１３は、右眼閾値ＨＲｔｈを算出する。具体的には、運転者監視ＥＣＵ１３は、下記の式（２）に基づいて、右眼閾値ＨＲｔｈを算出する。
ＨＲｔｈ＝ＨＲＡ×α …（２）
運転者監視ＥＣＵ１３は、算出した右眼閾値ＨＲｔｈの値をステップＡ２９の処理を完了すると、運転者監視ＥＣＵ１３は、閉眼閾値設定処理を完了し、処理を図３のステップＡ３へ進める。

上記閉眼閾値設定処理によれば、比較的大きな眼の人が運転者として車両１００を運転している場合には、閉眼判定閾値が比較的大きな値に設定され、比較的小さな眼の人が運転者として車両１００を運転している場合には、閉眼判定閾値が比較的小さな値に設定される。つまり、上記閉眼閾値設定処理によれば、運転者の通常の眼の開き幅（通常左眼開度ＨＬＡ、および通常右眼開度ＨＲＡ）に応じて閉眼判定閾値の大きさを適切に設定することができる。

ステップＡ３において、運転者監視ＥＣＵ１３は、上記ステップＡ２１と同様にして現時点における顔画像を取得する。ステップＡ３の処理を完了すると、運転者監視ＥＣＵ１３は、処理をステップＡ４へ進める。

ステップＡ４において、運転者監視ＥＣＵ１３は、現時点における左眼開度ＨＬを算出し、記憶する。具体的には、運転者監視ＥＣＵ１３は、ステップＡ３において取得した顔画像において上記ステップＡ２２と同様にして左眼開度ＨＬの値を算出する。ステップＡ４の処理を完了すると、運転者監視ＥＣＵ１３は、処理をステップＡ５へ進める。

ステップＡ５において、運転者監視ＥＣＵ１３は、現時点における右眼開度ＨＲを算出し、記憶する。具体的には、運転者監視ＥＣＵ１３は、ステップＡ３において取得した顔画像において上記ステップＡ２３と同様にして右眼開度ＨＲの値を算出する。ステップＡ５の処理を完了すると、運転者監視ＥＣＵ１３は、処理をステップＡ６へ進める。

ステップＡ６において、運転者監視ＥＣＵ１３は、光強度検出処理を実行する。光強度検出処理は、運転者に向けて発せられる光波の強度を検出するサブルーチン処理である。図６は、運転者監視ＥＣＵ１３が実行する光強度検出処理を示すフローチャートである。運転者監視ＥＣＵ１３は、光強度検出処理を開始すると、先ず、ステップＡ６０の処理を実行する。

ステップＡ６０において、運転者監視ＥＣＵ１３は、前方画像を取得する。具体的には、運転者監視ＥＣＵ１３は、車外監視カメラ１２から出力される前方画像を取得する。ステップＡ６０の処理を完了すると、運転者監視ＥＣＵ１３は、処理をステップＡ６１へ進める。

ステップＡ６１において、運転者監視ＥＣＵ１３は、対向車のヘッドランプを検出したか否か判定する。具体的には、運転者監視ＥＣＵ１３は、前方画像中において、予め定められた一定値だけ周囲より高い輝度値を有する略円形の領域が当該画像の横方向に２つ並んでいる箇所を探索する。このような箇所が前方画像中において検出された場合、運転者監視ＥＣＵ１３は、対向車のヘッドランプを検出したと判定し、処理をステップＡ６１へ進める。一方、運転者監視ＥＣＵ１３は、対向車のヘッドランプを検出していないと判定した場合、処理をステップＡ６２へ進める。

ステップＡ６２において、運転者監視ＥＣＵ１３は、光強度Ｅを取得する。光強度Ｅは、上記ステップＡ６１において検出したヘッドランプが発する光波の強度を示す値である。具体的には、運転者監視ＥＣＵ１３は、前方画像中においてヘッドランプとして検出した領域の輝度値の平均値を光強度Ｅとして算出する。そして、運転者監視ＥＣＵ１３は、算出した光強度Ｅの値を記憶装置に記憶する。ステップＡ６２の処理を完了すると、運転者監視ＥＣＵ１３は、処理を図３のステップＡ７へ進める。

ステップＡ６３において、運転者監視ＥＣＵ１３は、光強度Ｅの値を０に設定する。具体的には、運転者監視ＥＣＵ１３は、光強度Ｅの値を０として記憶装置に記憶する。ステップＡ６３の処理を完了すると、運転者監視ＥＣＵ１３は、処理を図３のステップＡ７へ進める。

上記光強度検出処理によれば、運転者へ光波を照射する光源の中でも、特に対向車のヘッドランプを検出し、当該ヘッドランプが発する光波の強度を光強度Ｅとして検出することができる。対向車のヘッドランプは、高い頻度で運転者が眼を細める要因となる光源と考えられることから、上記のように検出した光強度Ｅに基づいて運転者が眼を細めやすい状況であるか否かを判定することによって、運転者が眼を完全に閉じているのか、或いは運転者が眼を細めているのかを正確に判定することができる。

なお、上記光強度検出処理では、運転者監視ＥＣＵ１３が前方画像中においてヘッドランプを検出する例について説明したが、運転者監視ＥＣＵ１３は、運転者に対して光波を発する光源であればヘッドランプ以外の光源を前方画像中において検出し、当該光源の輝度値を光強度Ｅとして検出しても構わない。例えば、前方画像中に撮像された太陽などを光源として検出しても構わない。どのような光源を検出する場合であっても、運転者監視ＥＣＵ１３は、前方画像から運転者に光波を照射する光源を検出することにより、確実に当該光源を捉えて当該光波の強度を算出することができる。

ステップＡ７において、運転者監視ＥＣＵ１３は、閉眼閾値補正処理を実行する。閉眼閾値補正処理は、運転者に向けて発せられる光波の光強度に応じて閉眼判定閾値を補正するサブルーチン処理である。図７は、閉眼閾値補正処理を示すフローチャートである。運転者監視ＥＣＵ１３は、閉眼閾値補正処理を開始すると、先ずステップＡ７０の処理を実行する。

ステップＡ７０において、運転者監視ＥＣＵ１３は、光強度Ｅが閾値Ｅｔｈ以上であるか否か判定する。閾値Ｅｔｈは、閉眼判定閾値を補正するか否かを判定するための閾値である。閾値Ｅｔｈは、運転者監視ＥＣＵ１３の記憶装置に予め記憶された定数である。具体的には、運転者監視ＥＣＵ１３は、記憶装置に記憶された光強度Ｅの値および閾値Ｅｔｈを比較し、光強度Ｅが閾値Ｅｔｈ以上であるか否か判定する。運転者監視ＥＣＵ１３は、光強度Ｅが閾値Ｅｔｈ以上であると判定した場合、処理をステップＡ７１へ進める。一方、運転者監視ＥＣＵ１３は、光強度Ｅが閾値Ｅｔｈ未満であると判定した場合、閉眼閾値補正処理を完了し、処理を図３のステップＡ８へ進める。

ステップＡ７１において、運転者監視ＥＣＵ１３は、左眼閾値ＨＬｔｈを補正する。具体的には、運転者監視ＥＣＵ１３は、記憶装置に記憶した左眼閾値ＨＬｔｈから補正係数βを減算し、上書き記憶する。なお、補正係数βは、運転者監視ＥＣＵ１３の記憶装置に予め記憶された任意の数値である。運転者監視ＥＣＵ１３は、光強度Ｅが大きいほど補正係数βの値を大きくしても良い。ステップＡ７１の処理を完了すると、運転者監視ＥＣＵ１３は、処理をステップＡ７２へ進める。

ステップＡ７２において、運転者監視ＥＣＵ１３は、右眼閾値ＨＲｔｈを補正する。具体的には、運転者監視ＥＣＵ１３は、記憶装置に記憶した右眼閾値ＨＲｔｈから補正係数βを減算し、上書き記憶する。なお、補正係数βは、運転者監視ＥＣＵ１３の記憶装置に予め記憶された任意の定数である。運転者監視ＥＣＵ１３は、光強度Ｅが大きいほど補正係数βの値を大きくしても良い。ステップＡ７２の処理を完了すると、運転者監視ＥＣＵ１３は、閉眼閾値補正処理を完了し、処理を図３のステップＡ８へ進める。

なお、上記ステップＡ７１およびステップＡ７２における閉眼判定閾値の補正方法は一例であり、運転者監視ＥＣＵ１３は、光強度Ｅの値に応じて閉眼判定閾値を補正可能であれば他の手法を用いても構わない。例えば、運転者監視ＥＣＵ１３は、各閉眼判定閾値に０以上１未満の任意の定数値を乗じることによって、各閉眼判定閾値を低減して補正しても構わない。

上記閉眼閾値補正処理によれば、簡単な演算処理で光強度Ｅの大きさに応じて閉眼判定閾値を低減して補正することができる。具体的には、対向車のヘッドランプが発する光波の強度が比較的大きい場合、すなわち、運転者が当該光波を眩しく感じて眼を細めやすい状況である場合、閉眼判定閾値の値を低減して補正することができる。

ステップＡ８において、運転者監視ＥＣＵ１３は、閉眼判定処理を実行する。閉眼判定処理は、運転者が閉眼しているか否かを判定するサブルーチン処理である。図８は、閉眼判定処理を示すフローチャートである。運転者監視ＥＣＵ１３は、閉眼判定処理を開始すると、先ずステップＡ８０の処理を実行する。

ステップＡ８０において、運転者監視ＥＣＵ１３は、左眼開度ＨＬが左眼閾値ＨＬｔｈ以下であるか否か判定する。具体的には、運転者監視ＥＣＵ１３は、記憶装置に記憶した左眼開度ＨＬおよび左眼閾値ＨＬｔｈの値を各々読み出して、左眼開度ＨＬが左眼閾値ＨＬｔｈ以下であるか判定する。運転者監視ＥＣＵ１３は、左眼開度ＨＬが左眼閾値ＨＬｔｈ以下であると判定した場合、処理をステップＡ８１へ進める。一方、運転者監視ＥＣＵ１３は、左眼開度ＨＬが左眼閾値ＨＬｔｈより大きいと判定した場合、処理をステップＡ８３へ進める。

ステップＡ８１において、運転者監視ＥＣＵ１３は、右眼開度ＨＲが右眼閾値ＨＲｔｈ以下であるか否か判定する。具体的には、運転者監視ＥＣＵ１３は、記憶装置に記憶した右眼開度ＨＲおよび右眼閾値ＨＲｔｈの値を各々読み出して、右眼開度ＨＲが右眼閾値ＨＲｔｈ以下であるか判定する。運転者監視ＥＣＵ１３は、右眼開度ＨＲが右眼閾値ＨＲｔｈ以下であると判定した場合、処理をステップＡ８２へ進める。一方、運転者監視ＥＣＵ１３は、右眼開度ＨＲが右眼閾値ＨＲｔｈより大きいと判定した場合、処理をステップＡ８３へ進める。

ステップＡ８２において、運転者監視ＥＣＵ１３は、閉眼フラグをオンに設定する。閉眼フラグは、当該フラグがオンに設定されている場合、車両１００の運転者の眼が閉じていることを示し、当該フラグがオフに設定されている場合、車両１００の運転者の眼が開いていることを示すデータである。運転者監視ＥＣＵ１３は、閉眼フラグをオンに設定し、当該フラグの設定を記憶装置に記憶する。ステップＡ８２の処理を完了すると、運転者監視ＥＣＵ１３は、閉眼判定処理を完了し、処理を図３のステップＡ９へ進める。

ステップＡ８３において、運転者監視ＥＣＵ１３は、閉眼フラグをオフに設定する。運転者監視ＥＣＵ１３は、閉眼フラグをオフに設定し、当該フラグの設定を記憶装置に記憶する。ステップＡ８３の処理を完了すると、運転者監視ＥＣＵ１３は、閉眼判定処理を完了し、処理を図３のステップＡ９へ進める。

上記閉眼判定処理によれば、運転者の左右両眼が閉じていると判定された場合に閉眼フラグがオンに設定される。

上記閉眼判定処理では、運転者の通常の眼の大きさに応じて設定された閉眼判定閾値に基づいて、運転者の閉眼状態を判定するため、人毎に異なる眼の大きさの影響を受けることなく、運転者の閉眼状態を正確に判定することができる。また、上述の通り対向車のヘッドランプが原因で運転者が眼を細めやすい状況では閉眼判定閾値の値が低減されて補正されるため、運転者が実際には眼を細めているだけで眼を閉じていない場合に運転者が眼を閉じているとする誤判定を抑制することができる。

ステップＡ９において、運転者監視ＥＣＵ１３は、閉眼フラグがオンであるか否かを判定する。具体的には、運転者監視ＥＣＵ１３は、記憶装置から閉眼フラグの状態を読み出し、当該フラグがオンであるか否かを判定する。運転者監視ＥＣＵ１３は、閉眼フラグがオンであると判定した場合、処理をステップＡ１０へ進める。一方、運転者監視ＥＣＵ１３は、閉眼フラグがオフであると判定した場合、処理をステップＡ１１へ進める。

ステップＡ１０において、運転者監視ＥＣＵ１３は、居眠り信号の出力を開始する。居眠り信号は、車両１００の運転者が居眠りしていると判定された場合に、運転者監視ＥＣＵ１３から出力される信号である。運転者監視ＥＣＵ１３は、居眠り信号を衝突判定ＥＣＵ１５へ出力する。ステップＡ１０の処理を完了すると、運転者監視ＥＣＵ１３は、処理をステップＡ１２へ進める。

ステップＡ１１において、運転者監視ＥＣＵ１３は、居眠り信号の出力を停止する。具体的には、運転者監視ＥＣＵ１３は、居眠り信号を出力している場合、当該信号の出力を停止する。また、運転者監視ＥＣＵ１３は、居眠り信号を出力していない場合、当該信号を出力しない状態を維持する。ステップＡ１１の処理を完了すると、運転者監視ＥＣＵ１３は、処理をステップＡ１２へ進める。

ステップＡ１２において、運転者監視ＥＣＵ１３は、終了処理が実行されたか否かを判定する。具体的には、運転者監視ＥＣＵ１３は、イグニッション電源がオフ状態にされたか否かを判定する。運転者監視ＥＣＵ１３は、イグニッション電源がオフ状態にされたと判定した場合、終了処理が実行されたと判定し、図３の処理を終了する。一方、運転者監視ＥＣＵ１３は、イグニッション電源がオン状態であると判定した場合、処理をステップＡ１へ戻し、上述したステップＡ１からステップＡ１１の処理を繰り返し実行する。

上述の運転者監視ＥＣＵ１３の処理によれば、運転者が居眠りしているか否かを正確に判定することができる。

以下、衝突判定ＥＣＵ１５が実行する処理について説明する。先ず、衝突判定ＥＣＵ１５は、レーダー検出物までの距離Ｌ、およびレーダー検出物の相対速度Ｖをレーダー装置１４から取得する。そして、下記の式（３）に基づいて、衝突予測時間ＴＴＣを算出する。衝突予測時間ＴＴＣは、車両１００がレーダー検出物に衝突するまでに要すると予測した時間である。
ＴＴＣ＝Ｌ／Ｖ …（３）

次いで、衝突判定ＥＣＵ１５は、居眠り信号を受信しているか否かに応じて衝突判定閾値ＴＴＣｔｈの値を補正する。衝突判定閾値ＴＴＣｔｈは、車両１００とレーダー検出物とが衝突する危険性が高いか否かを判定するための閾値である。衝突判定閾値ＴＴＣｔｈの初期値は、衝突判定ＥＣＵ１５の記憶装置に予め記憶される。具体的には、衝突判定ＥＣＵ１５は、居眠り信号を受信している場合、記憶装置に記憶した衝突判定閾値ＴＴＣｔｈの値から任意の定数γを加算した値を、補正後の衝突判定閾値ＴＴＣｔｈとして記憶装置に保存する。なお、衝突判定ＥＣＵ１５は、衝突判定閾値ＴＴＣｔｈの値を所定量だけ低減可能であれば、従来周知の任意の手法で衝突判定閾値ＴＴＣｔｈを補正して構わない。

そして、衝突判定ＥＣＵ１５は、衝突予測時間ＴＴＣの値が補正後の衝突判定閾値ＴＴＣｔｈ以下であるか否かを判定する。衝突判定ＥＣＵ１５は、衝突予測時間ＴＴＣの値が衝突判定閾値ＴＴＣｔｈ以下である場合、車両１００とレーダー検出物とが衝突する危険性が高いと判定し、警報装置１６に対し警報音を発する指示を出力する。一方、衝突判定ＥＣＵ１５は、衝突予測時間ＴＴＣの値が衝突判定閾値ＴＴＣｔｈより大きい場合、車両１００とレーダー検出物とが衝突する危険性が低いと判定し、警報装置１６に対し警報音を停止する指示を出力する。

上記の衝突判定ＥＣＵ１５の処理によれば、車両１００が周囲の物体と衝突する危険性が高い場合、運転者による当該衝突の回避操作を支援するべく警報装置１６の動作を開始させることができる。そして、衝突判定ＥＣＵ１５が運転者が居眠りしていると判定した場合、運転者が居眠りしていないと判定した場合に比べて早いタイミングで警報音の鳴動を開始させることができる。したがって、運転者の覚醒を適切タイミングで促し、衝突を回避し易くすることができる。

なお、上記第１の実施形態では、衝突判定ＥＣＵ１５が車両１００が周囲の物体と衝突する危険性が高いと判定した場合に警報装置１６を動作させる例について説明したが、衝突判定ＥＣＵ１５は、警報装置１６に限らず他の装置を動作させても構わない。例えば、運転者監視装置１が運転者による衝突の回避操作を支援する装置として、自動的に車両１００の制動力を制御するブレーキ装置を備えている場合、衝突判定ＥＣＵ１５は、当該ブレーキ装置を動作させても構わない。具体的には、衝突判定ＥＣＵ１５は、車両１００が周囲の物体と衝突する危険性が高いと判定した場合にブレーキ装置を動作させて、自動的に車両１００の進行速度を低減させても構わない。このように車両１００の進行速度が自動的に低減されることにより、運転者は、車両１００と周囲の物体との衝突を容易に回避することができる。

以上より、本発明第１の実施形態に係る運転者監視装置１によれば、光強度Ｅに応じて閉眼判定閾値を補正することによって、運転者の閉眼状態を正確に判定することができる。そして、正確に判定された運転者の閉眼状態に基づいて、運転者が居眠りしているか否かを正確に判定することができる。

なお、上記第１の実施形態では、運転者監視ＥＣＵ１３が車外監視カメラ１２により撮像された前方画像に基づいて、運転者に対し照射される光波の光強度Ｅを検出する例について説明したが、運転者監視ＥＣＵ１３は、他の手段を用いて光強度Ｅを検出しても構わない。例えば、運転者監視装置は、車外監視カメラ１２に代えて照度計を備える構成とし、運転者監視ＥＣＵ１３は、当該照度計の計測値を光強度Ｅとして検出しても良い。なお、照度計は、車両１００の運転席近傍の照度を計測可能な位置に備えるものとする。照度計を用いて光強度Ｅを検出することにより、例えば、夕日、朝日、および対向車のヘッドランプなどが発する光の強度を、安価、且つ容易に検出することができる。

また、上記第１の実施形態では、閉眼判定閾値が設定済みでない場合にのみ運転者監視ＥＣＵ１３が閉眼閾値設定処理を実行する例について説明したが、運転者監視ＥＣＵ１３は、任意のタイミングで閉眼閾値設定処理を実行し、閉眼判定閾値を上書きして更新しても構わない。

（第２の実施形態）
上記第１の実施形態では、運転者監視ＥＣＵ１３が運転者に向けて発せられる光波の光強度に応じて閉眼判定閾値を補正することによって運転者の閉眼状態を正確に判定する例について説明したが、運転者監視ＥＣＵ１３は、運転者に向けて発せられる光波の光強度に応じて閉眼状態を判定可能であれば、他の手法を用いても構わない。例えば、運転者監視ＥＣＵ１３は、運転者の閉眼状態を示すパラメータとして運転者の眼が閉じている可能性を示す閉眼確度を上記光強度に応じて算出し、運転者が居眠りしているか否かを当該閉眼確度に基づいて判定しても構わない。

以下、図９から図１１を参照して第２の実施形態に係る運転者監視装置について説明する。なお、第２の実施形態に係る運転者監視装置の構成は、図１に示した第１の実施形態に係る運転者監視装置１と同様であるので、詳細な説明を省略する。

図９を参照して第２の実施形態に係る運転者監視ＥＣＵ１３が実行する処理について説明する。なお、図９は、第２の実施形態に係る運転者監視ＥＣＵ１３が実行する処理の詳細を示すフローチャートである。以下、上述した各ステップの処理と同様の処理を実行するステップについては、同様の符号を付して詳細な説明を省略する。運転者監視ＥＣＵ１３は、例えば、車両１００のイグニッション電源がオンに設定されると図９に示す処理を開始する。運転者監視ＥＣＵ１３は、図９に示すフローチャートの処理を開始すると、先ず、ステップＡ１からステップＡ５の処理を実行し、両眼の眼開度および閉眼判定閾値を算出する。

第２の実施形態では、運転者監視ＥＣＵ１３は、ステップＡ５の処理を完了すると、処理をステップＣ１へ進める。

ステップＣ１において、運転者監視ＥＣＵ１３は、閉眼確度算出処理を実行する。閉眼確度算出処理は、左眼閉眼確度ＰＬおよび右眼閉眼確度ＰＲを算出する処理である。左眼閉眼確度ＰＬは、運転者の左眼が完全に閉じている可能性を示す値である。右眼閉眼確度ＰＲは、運転者の右眼が完全に閉じている可能性を示す値である。以下では、左眼閉眼確度ＰＬおよび右眼閉眼確度ＰＲを総称して閉眼確度と呼称する。閉眼確度が大きいほど、運転者の眼が完全に閉じている可能性が高いことが示される。なお、図１０は、閉眼確度算出処理を示すフローチャートである。運転者監視ＥＣＵ１３は、閉眼確度算出処理を開始すると、先ずステップＣ１０の処理を実行する。

ステップＣ１０において、運転者監視ＥＣＵ１３は、左眼開度変化量ΔＨＬを算出する。左眼開度変化量ΔＨＬは、現時点における運転者の左眼の開き幅が、当該運転者の通常時の左眼の開き幅に比べてどの程度閉じているかを示す値である。左眼開度変化量ΔＨＬの値が大きいほど、運転者の左眼が閉じており、開き具合が小さくなっていることが示される。具体的には、運転者監視ＥＣＵ１３は、下記の式（４）に基づいて左眼開度変化量ΔＨＬを算出する。
ΔＨＬ＝ＨＬＴ−ＨＬ …（４）
ステップＡ１０の処理を完了すると、運転者監視ＥＣＵ１３は、処理をステップＣ１１へ進める。

ステップＣ１１において、運転者監視ＥＣＵ１３は、右眼開度変化量ΔＨＲを算出する。右眼開度変化量ΔＨＲは、現時点における運転者の右眼の開き幅が、当該運転者の通常時の右眼の開き幅に比べてどの程度閉じているかを示す値である。右眼開度変化量ΔＨＲの値が大きいほど、運転者の右眼が閉じており、開き具合が小さくなっていることが示される。具体的には、運転者監視ＥＣＵ１３は、下記の式（５）に基づいて右眼開度変化量ΔＨＲを算出する。
ΔＨＲ＝ＨＲＴ−ＨＲ …（５）
なお、以下では、左眼開度変化量ΔＨＬおよび右眼開度変化量ΔＨＲを総称して開度変化量と呼称する。ステップＡ１１の処理を完了すると、運転者監視ＥＣＵ１３は、処理をステップＣ１２へ進める。

ステップＣ１２において、運転者監視ＥＣＵ１３は、左眼閉眼確度ＰＬを算出する。具体的には、運転者監視ＥＣＵ１３は、記憶装置に記憶した光強度Ｅ、および左眼開度変化量ΔＨＬの値を参照し、確度算出テーブルに基づいて左眼閉眼確度ＰＬを算出する。確度算出テーブルは、左眼閉眼確度ＰＬおよび右眼閉眼確度ＰＲを算出するためのデータテーブルである。なお、以下では、運転者の左眼が閉じている可能性を示す右眼閉眼確度ＰＲ、および左眼閉眼確度ＰＬを総称して閉眼確度と呼称する。

図１１を参照して、運転者監視ＥＣＵ１３が確度算出テーブルに基づいて左眼閉眼確度ＰＬを算出する方法について説明する。なお、図１１は、確度算出テーブルの一例を示す図である。確度算出テーブルの各行は、光強度Ｅの値に対応する。また、確度算出テーブルの各列は、開度変化量の値に対応する。そして、確度算出テーブル中では、光強度Ｅおよび開度変化量の値に応じた閉眼確度の値が、各行および列に配列される。ここで、確度算出テーブル上において、閉眼確度の値は、光強度Ｅが小さいほど、大きな値となるよう予め配列される。また、確度算出テーブル上において、閉眼確度の値は、開度変化量が小さいほど大きな値となるよう予め配列される。なお、式（４）および式（５）に示した通り、眼開度が大きな値であるほど開度変化量は小さな値となるため、眼開度の値が大きいほど閉眼確度の値は大きな値として算出される。

運転者監視ＥＣＵ１３は、先ず、上記ステップＡ６の処理において検出した光強度Ｅの値に対応する行を参照する。具体的には、運転者監視ＥＣＵ１３は、光強度Ｅの値が０から６３である場合は１行目、６４から１２８である場合は２行目を、光強度Ｅの値が１２９から１９１である場合は３行目を、光強度Ｅの値が１９２から２５５である場合は４行目を参照する。そして、運転者監視ＥＣＵ１３は、上記ステップＣ１０の処理において検出した開度変化量の値に対応する行を参照する。具体的には、運転者監視ＥＣＵ１３は、閉眼確度の値が２以下である場合は１列目を、閉眼確度の値が３である場合は２列目を、閉眼確度の値が４以上である場合は３列目を参照する。例えば、左眼開度変化量ΔＨＬの値が３であり、光強度Ｅの値が７０であった場合、運転者監視ＥＣＵ１３は、確度算出テーブルの２行３列目を参照し、左眼閉眼確度ＰＬの値を０．７として算出する。

運転者監視ＥＣＵ１３は、ステップＣ１２の処理を完了すると、処理をステップＣ１３へ進める。

ステップＣ１３において、運転者監視ＥＣＵ１３は、右眼閉眼確度ＰＲを算出する。具体的には、運転者監視ＥＣＵ１３は、記憶装置に記憶した光強度Ｅ、および右眼開度変化量ΔＨＲの値を参照し、上記ステップＣ１２と同様にして確度算出テーブルに基づいて右眼閉眼確度ＰＲを算出する。運転者監視ＥＣＵ１３は、ステップＣ１３の処理を完了すると、処理を図９のステップＣ２へ進める。

上記閉眼確度算出処理によれば、光強度Ｅの大きさに応じて閉眼確度が算出されるため、光波の運転者への影響を考慮しない場合に比べて閉眼確度を正確に算出することができる。

例えば、光強度Ｅの値が比較的大きい状況、すなわち、運転者が眩しさを感じ易い状況を想定する。光強度Ｅの値が比較的大きく、且つ、開度変化量が比較的大きい場合（すなわち、眼開度が比較的小さく眼が閉じ気味である場合）、運転者が発光体を眩しく感じて眼を細めている可能性が高い。すなわち、実際には運転者は眼を完全に閉じていないと考えられる。このような場合、運転者監視ＥＣＵ１３は、閉眼確度の値を比較的小さな値として算出する。つまり、上記閉眼確度算出処理によれば、運転者が発光体を眩しく感じて眼を細めている場合に、運転者の眼が閉じている可能性が低いと判定することができるのである。

なお、上記閉眼確度算出処理では、運転者監視ＥＣＵ１３が開度変化量および光強度Ｅの値に応じて閉眼確度を算出する例について示したが、運転者監視ＥＣＵ１３は、運転者の眼の開き具合（開度変化量）に関わらず、光強度Ｅの値にのみ応じて閉眼確度の値を算出しても構わない。具体的には、運転者監視ＥＣＵ１３は、各行の光強度Ｅの値に対応する閉眼確度の値が各行に１つずつ配列された確度算出テーブルを記憶し、当該テーブルを参照して閉眼確度を算出する。このような処理を行う場合、運転者監視ＥＣＵ１３は、比較的少ないパラメータ数で閉眼確度を算出可能であるため、少ない処理量で閉眼確度を算出することができる。

また、上記閉眼確度算出処理では、開度変化量に応じて閉眼確度を算出するため、人毎に異なる眼の大きさに関係なく、運転者の閉眼確度を正確に算出することができる。

なお、閉眼確度の値の正確性よりも、処理量の低減を優先させたい場合、開度変化量に代えて眼開度の値に応じて閉眼確度を算出しても構わない。具体的には、確度算出テーブルの各列は眼開度の値に対応し、閉眼確度の値は、眼開度が大きいほど大きな値となるよう配列される。そして、運転者監視ＥＣＵ１３は、ステップＣ１２およびステップＣ１３において、光強度Ｅおよび眼開度の値に応じて閉眼確度を算出する。このような処理を行う場合、運転者監視ＥＣＵ１３は、ステップＣ１０およびステップＣ１１の処理を省略することができるため、開度変化量を計算する場合に比べて少ない処理量で運転者の閉眼確度を算出することができる。

ステップＣ２において、運転者監視ＥＣＵ１３は、左眼閉眼確度ＰＬが閾値Ｐｔｈ以上であるか否かを判定する。閾値Ｐｔｈは、閉眼確度に基づいて運転者が居眠りしているか否かを判定するための閾値である。閾値Ｐｔｈは、運転者監視ＥＣＵ１３の記憶装置に予め記憶された定数である。運転者監視ＥＣＵ１３は、左眼閉眼確度ＰＬの値および閾値Ｐｔｈを比較し、左眼閉眼確度ＰＬが閾値Ｐｔｈ以上であるか否か判定する。運転者監視ＥＣＵ１３は、左眼閉眼確度ＰＬが閾値Ｐｔｈ以上であると判定した場合、処理をステップＣ３へ進める。一方、運転者監視ＥＣＵ１３は、左眼閉眼確度ＰＬが閾値Ｐｔｈ未満であると判定した場合、処理をステップＡ１１へ進める。

ステップＣ３において、運転者監視ＥＣＵ１３は、右眼閉眼確度ＰＲが閾値Ｐｔｈ以上であるか否かを判定する。閾値Ｐｔｈは、閉眼確度に基づいて運転者が居眠りしているか否かを判定するための閾値である。閾値Ｐｔｈは、運転者監視ＥＣＵ１３の記憶装置に予め記憶された定数である。運転者監視ＥＣＵ１３は、右眼閉眼確度ＰＲの値および閾値Ｐｔｈを比較し、右眼閉眼確度ＰＲが閾値Ｐｔｈ以上であるか否か判定する。運転者監視ＥＣＵ１３は、右眼閉眼確度ＰＲが閾値Ｐｔｈ以上であると判定した場合、処理をステップＡ１０へ進める。一方、運転者監視ＥＣＵ１３は、右眼閉眼確度ＰＲが閾値Ｐｔｈ未満であると判定した場合、処理をステップＡ１１へ進める。

ステップＡ１０において、運転者監視ＥＣＵ１３は、上述の通りにして居眠り信号を出力する。また、ステップＡ１１において、運転者監視ＥＣＵ１３は、上述の通りにして居眠り信号を停止する。ステップＡ１０およびステップＡ１１の処理を完了すると、運転者監視ＥＣＵ１３は、ステップＡ１２の処理を上述の通り実行する。そして、ステップＡ１２において、運転者監視ＥＣＵ１３は、終了処理が実行されていると判定した場合、図９の処理を終了する。一方、運転者監視ＥＣＵ１３は、終了処理が実行されていないと判定した場合、処理をステップＡ１へ戻して上記の処理を繰り返す。

上記ステップＣ２、ステップＣ３、ステップＡ１０、およびステップＡ１１の処理によれば、閉眼確度の大きさに応じて簡単な処理で運転者が居眠りしているか否かを判定することができる。

以上より、第２の実施形態に係る運転者監視装置によれば、閉眼確度を算出することにより運転者の閉眼状態を数値として正確に算出することができる。そして、正確に算出された閉眼確度の値に基づいて、運転者が居眠りしているか否かを正確に判定することができる。

（第３の実施形態）
運転者監視ＥＣＵ１３は、上記第１の実施形態のように、運転者が閉眼しているか否かを判定した後、さらに上記第２の実施形態のように閉眼確度を算出して、当該判定結果および算出結果に基づいて運転者が居眠りしているか否かを判定しても構わない。

以下、図１２を参照して第３の実施形態に係る運転者監視装置について説明する。なお、第３の実施形態に係る運転者監視装置の構成は、図１に示した第１の実施形態に係る運転者監視装置１と同様であるので、詳細な説明を省略する。

次いで、第３の実施形態に係る運転者監視ＥＣＵ１３が実行する処理について説明する。なお、図１２は、第３の実施形態に係る運転者監視ＥＣＵ１３が実行する処理の詳細を示すフローチャートである。以下、上述した各ステップの処理と同様の処理を実行するステップについては、同様の符号を付して詳細な説明を省略する。運転者監視ＥＣＵ１３は、例えば、車両１００のイグニッション電源がオンに設定されると図１２に示す処理を開始する。運転者監視ＥＣＵ１３は、図１２に示すフローチャートの処理を開始すると、先ず、第１の実施形態と同様にステップＡ１からステップＡ９の処理を実行して、運転者が閉眼しているか否かを判定する。

第３の実施形態では、運転者監視ＥＣＵ１３は、ステップＡ９の処理において、閉眼フラグがオンであると判定した場合、上記第２の実施形態に示したステップＣ１からステップＣ３の処理を順に実行する。一方、運転者監視ＥＣＵ１３は、閉眼フラグがオフであると判定した場合、処理をステップＡ１１へ進める。

ここで、ステップＣ２において、運転者監視ＥＣＵ１３は、上述の通り左眼閉眼確度ＰＬが閾値Ｐｔｈ以上であると判定した場合、処理をステップＣ３へ進める。一方、運転者監視ＥＣＵ１３は、左眼閉眼確度ＰＬが閾値Ｐｔｈ未満であると判定した場合、処理をステップＡ１１へ進める。

また、ステップＣ３において、運転者監視ＥＣＵ１３は、右眼閉眼確度ＰＲが閾値Ｐｔｈ以上であると判定した場合、処理をステップＡ１０へ進める。一方、運転者監視ＥＣＵ１３は、右眼閉眼確度ＰＲが閾値Ｐｔｈ未満であると判定した場合、処理をステップＡ１１へ進める。

ステップＡ１０において、運転者監視ＥＣＵ１３は、上述の通りにして居眠り信号を出力する。また、ステップＡ１１において、運転者監視ＥＣＵ１３は、上述の通りにして居眠り信号を停止する。ステップＡ１０およびステップＡ１１の処理を完了すると、運転者監視ＥＣＵ１３は、ステップＡ１２の処理を上述の通り実行する。そして、ステップＡ１２において、運転者監視ＥＣＵ１３は、終了処理が実行されていると判定した場合、図９の処理を終了する。一方、運転者監視ＥＣＵ１３は、終了処理が実行されていないと判定した場合、処理をステップＡ１へ戻して上記の処理を繰り返す。

上記に示した図１２の処理によれば、第３の実施形態に係る運転者監視ＥＣＵ１３は、閉眼フラグがオンであっても、左眼閉眼確度ＰＬおよび右眼閉眼確度ＰＲが何れも閾値Ｐｔｈ以上でなければ、居眠りであると判定しない。つまり、閉眼判定閾値に基づいた前段の判定が誤っていたとしても、最終的に当該閉眼確度に基づいて運転者が居眠りしているか否か判定されるため、運転者が居眠りしているか否かを正確に判定することができる。

以上より、第３の実施形態に係る運転者監視装置によれば、運転者が閉眼しているか否かを補正後の閉眼閾値を用いて判定した後、さらに、閉眼確度を算出して、当該判定結果および算出結果に基づいて運転者が居眠りしているか否か判定することができる。したがって、閉眼閾値または閉眼確度の何れか一方に基づいて判定した場合に比べて、より正確に運転者が居眠りしているか否かを判定することができる。

本発明に係る運転者監視装置は、人物が眼を閉じているか否かを、従来に比べてより正確に判定可能とする運転者監視装置などとして有用である。

１ 運転者監視装置
１１ 運転者監視カメラ
１２ 車外監視カメラ
１３ 運転者監視ＥＣＵ
１４ レーダー装置
１５ 衝突判定ＥＣＵ
１６ 警報装置
１００ 車両

Claims (16)

1. 車両の運転者に向けて発せられる光波の光強度を検出する光強度検出手段と、
   前記車両の運転者の顔画像を撮像する顔画像取得手段と、
   前記顔画像に基づいて前記運転者の瞼の開き具合を示す眼開度を算出する眼開度算出手段と、
   前記運転者の瞼の開閉状態を判定する閉眼状態判定手段と、
   前記運転者が居眠りしているか否かを前記閉眼状態判定手段による判定結果に基づいて判定する居眠り判定手段とを備え、
   前記閉眼状態判定手段は、
   前記運転者の眼が閉じているか否かを判定するための閉眼判定閾値を前記光強度の大きさに応じて補正し、前記運転者の眼が閉じているか否かを前記眼開度および前記閉眼判定閾値に基づいて判定する閉眼判定手段と、
   前記運転者の眼が閉じている可能性を示す閉眼確度を前記眼開度および前記光強度に基づいて算出する閉眼確度算出手段との、少なくとも何れか一方の手段を含む、運転者監視装置。
2. 前記閉眼状態判定手段は、前記閉眼判定手段を含み、
   前記居眠り判定手段は、前記運転者が居眠りしているか否かを前記閉眼判定手段の判定結果に基づいて判定する、請求項１に記載の運転者監視装置。
3. 前記眼開度算出手段は、前記運転者の瞼の開き具合が大きいほど大きな値を示すパラメータとして前記眼開度を算出し、
   前記閉眼判定手段は、
   前記光強度の大きさに応じて、前記閉眼判定閾値が小さくなるよう当該閉眼判定閾値を補正する閾値補正手段と、
   前記眼開度が前記閉眼判定閾値未満である場合、前記運転者の眼が閉じていると判定し、前記眼開度が前記閉眼判定閾値以上である場合、前記運転者の眼が開いていると判定する閾値判定手段とを含み、
   前記居眠り判定手段は、前記閉眼判定手段によって前記運転者の眼が閉じていると判定された場合、前記運転者が居眠りしていると判定し、前記閉眼判定処理において前記運転者の眼が開いていると判定された場合、前記運転者が居眠りしていないと判定する、請求項２に記載の運転者監視装置。
4. 前記閉眼状態判定手段は、前記閉眼確度算出手段を含み、
   前記居眠り判定手段は、前記運転者が居眠りしているか否かを前記閉眼確度に基づいて判定する、請求項１に記載の運転者監視装置。
5. 前記眼開度算出手段は、前記運転者の瞼の開き具合が大きいほど大きな値を示すパラメータとして前記眼開度を算出し、
   前記閉眼確度算出手段は、前記運転者の眼が完全に閉じている可能性が高い程大きな値を示すパラメータとして前記閉眼確度を算出し、
   前記居眠り判定手段は、前記閉眼確度が予め定められた閾値以上である場合、前記運転者が居眠りしていると判定し、前記閉眼確度が予め定められた閾値未満である場合、前記運転者が居眠りしていないと判定する、請求項４に記載の運転者監視装置。
6. 前記閉眼確度算出手段は、前記光強度が小さいほど前記閉眼確度が大きくなるよう、また、前記眼開度が大きいほど前記閉眼確度が大きくなるよう、当該閉眼確度を算出する、請求項５に記載の運転者監視装置。
7. 前記閉眼状態判定手段は、
   前記閉眼判定手段と、
   前記閉眼確度算出手段とを含む、請求項１に記載の運転者監視装置。
8. 前記閉眼確度算出手段は、前記閉眼判定手段によって前記運転者の眼が閉じていると判定された場合に前記閉眼確度を算出し、
   前記居眠り判定手段は、前記閉眼確度が予め定められた閾値以上である場合、前記運転者が居眠りしていると判定し、前記閉眼判定手段によって前記運転者の眼が閉じていないと判定された場合、および前記閉眼確度が予め定められた閾値未満である場合、前記運転者が居眠りしていないと判定する、請求項７に記載の運転者監視装置。
9. 車両の前方を映した前方画像を撮像する前方画像撮像手段と、
   前記前方画像中において前記発光体を検出する画像処理手段とをさらに備え、
   前記光強度検出手段は、前記前方画像中における前記発光体の輝度値を前記光強度として検出する、請求項１に記載の運転者監視装置。
10. 前記発光体検出手段は、前記前方画像中において対向車のヘッドランプを前記発光体として検出する、請求項９に記載の運転者監視装置。
11. 前記閉眼状態判定手段は、
    前記運転者の平均的な前記眼開度を通常眼開度として算出する通常眼開度算出手段と、
    前記通常眼開度に基づいて前記閉眼判定閾値を設定する、閾値設定手段とをさらに含む、請求項２に記載の運転者監視装置。
12. 前記閾値設定手段は、前記通常眼開度に予め定められた係数を乗じることによって当該通常眼開度を減じた値を前記閉眼判定閾値として設定する、請求項１１に記載の運転者監視装置。
13. 前記閉眼状態判定手段は、
    前記運転者の平均的な前記眼開度を通常眼開度として算出する通常眼開度算出手段と、
    前記通常眼開度に対する現時点における前記眼開度の変動量を開度変化量として算出する開度変化量算出手段とをさらに含み、
    前記閉眼確度算出手段は、前記眼開度に応じて算出された前記開度変化量、および前記光強度に基づいて前記閉眼確度を算出する、請求項４に記載の運転者監視装置。
14. 前記閉眼確度算出手段は、前記光強度が小さいほど前記閉眼確度が大きくなるよう、また、前記開度変化量が小さいほど前記閉眼確度が大きくなるよう、当該閉眼確度を算出する、請求項１３に記載の運転者監視装置。
15. 前記通常眼開度算出手段は、前記眼開度を予め定められた時間内に算出された複数の前記眼開度の平均値を前記通常眼開度として算出する、請求項１１、および１３の何れか一つに記載の運転者監視装置。
16. 車両周囲の物体を検出する物体検出手段と、
    前記車両と前記物体とが衝突するまでの衝突時間を予測する衝突時間予測手段と、
    前記居眠り判定手段によって前記運転者が居眠りしていると判定された場合、前記衝突判定閾値を大きくする衝突閾値制御手段と、
    前記衝突時間が前記衝突を判定するための衝突判定閾値以下である場合、前記車両と前記物体とが衝突する危険性が高いと判定する衝突危険度判定手段と、
    前記車両と前記物体とが衝突する危険性が高いと判定された場合に、前記運転者による当該衝突の回避操作を支援する衝突回避支援手段をさらに備える、請求項１に記載の運転者監視装置。

Images