JP2014123287A

JP2014123287A - 居眠り運転警報装置および居眠り運転警報方法

Info

Publication number: JP2014123287A
Application number: JP2012279625A
Authority: JP
Inventors: Keiichi Yamamoto; 恵一山本
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2012-12-21
Filing date: 2012-12-21
Publication date: 2014-07-03
Anticipated expiration: 2032-12-21
Also published as: JP5940972B2

Abstract

【課題】居眠り運転を確実に捕らえて警報を発することができる信頼性にすぐれた居眠り運転警報装置および居眠り運転警報方法を提供する。
【解決手段】車両の走行状態から運転者の眠気レベルＬ１を検出する第１検出手段、および運転者の生体情報から運転者の眠気レベルＬ２を検出する第２検出手段を備え、第１検出手段で検出される眠気レベルＬ１、第２検出手段で検出される眠気レベルＬ２、これら眠気レベルＬ１，Ｌ２の平均値である平均眠気レベルＬｘのいずれかを選定し、選定した眠気レベルに応じて警報を発する。
【選択図】図１

Description

本発明は、運転者の居眠り運転時に警報を発する居眠り運転警報装置および居眠り運転警報方法に関する。

走行路面の画像をカメラで撮り、撮った画像から車線規制用の白線を認識し、認識した白線の揺れ動きを車両の蛇行として捕らえるとともに、ステアリングやシフトノブなど運転席周りの操作状況を検出し、その蛇行量および操作状況から運転者の居眠り運転を検出する技術が知られている（例えば特許文献１）。

一方、運転者の顔をカメラで撮り、撮った画像から運転者の目を認識し、認識した目の瞬き（まばたき）つまり瞼の動きから居眠り運転を検出する技術も知られている（例えば非特許文献１）。

特許第２８３０４７５号公報

自動車技術会発行"自動車技術"Vol.46,No.9,1992『大型トラックの長時間運転時の覚醒度評価の検討』

車両の走行速度がそれほど高くない場合、車両は街中の一般道を走行している可能性が高い。一般道の路面には、交通規制の文字表示が数多く存在し、その文字表示がノイズとなって白線の認識に誤りを生じることがある。また、一般道を走行すると、しばしば交差点や横断歩道が現われて白線が途切れることから、白線の認識そのものが困難なこともある。

このため、車両の走行状態である蛇行量から居眠り運転を検出するものでは、一般道を走行している場合に検出漏れを生じることがある。

また、運転者の生体情報である目の瞬きから居眠り運転を検出するものでは、撮った画像が暗かったり逆に白くなったり、運転者の目が細かったり、運転者がサングラスや眼鏡をかけていたり、運転者が帽子を深く被っている場合など、目を認識できないことがある。目を認識できないと、居眠り運転を検出できない。

このように、車両の走行状態から居眠り運転を検出する方式、運転者の生体情報から居眠り運転を検出する方式のいずれも、万能ではない。

本発明の目的は、居眠り運転を確実に捕らえて警報を発することができる信頼性にすぐれた居眠り運転警報装置および居眠り運転警報方法を提供することである。

請求項１に係る発明の居眠り運転警報装置は、第１検出手段、第２検出手段、および制御手段を備える。第１検出手段は、車両の走行状態から運転者の眠気レベルＬ１を検出する。第２検出手段は、運転者の生体情報から運転者の眠気レベルＬ２を検出する。制御手段は、第１検出手段で検出される眠気レベルＬ１、第２検出手段で検出される眠気レベルＬ２、これら眠気レベルＬ１，Ｌ２の平均値である平均眠気レベルＬｘのいずれかを選定し、選定した眠気レベルに応じて警報を発するに応じて警報を発する。

請求項２に係る発明は、請求項１の制御手段について限定している。制御手段は、信頼度判定手段、一致度判定手段、選定手段、および警報手段を含む。信頼度判定手段は、前記第１検出手段で検出される眠気レベルＬ１の信頼度Ｒ１および前記第２検出手段で検出される眠気レベルＬ２の信頼度Ｒ２を判定する。一致度判定手段は、前記第１検出手段で検出される眠気レベルＬ１と前記第２検出手段で検出される眠気レベルＬ２との一致度Ｍを判定する。選定手段は、前記第１検出手段で検出される眠気レベルＬ１、前記第２検出手段で検出される眠気レベルＬ２、これら眠気レベルＬ１，Ｌ２の平均値である平均眠気レベルＬｘ、当該選定手段が前回選定した前回眠気レベルＬｙのいずれかを、前記信頼度判定手段で判定される信頼度Ｒ１，Ｒ２および前記一致度判定手段で判定される一致度Ｍに応じて選定する。警報手段は、前記選定手段で選定される眠気レベルが設定値Ｌｓ以上のときに警報を発する。

請求項３に係る発明は、請求項１の制御手段について限定している。制御手段は、第１有効判定手段、第２有効判定手段、信頼度判定手段、一致度判定手段、選定手段、および警報手段を含む。第１有効判定手段は、前記第１検出手段の検出に必要なデータの単位時間当たりの有効取得量が一定量以上の場合に、前記第１検出手段の検出結果が有効であると判定する。第２有効判定手段は、前記第２検出手段の検出に必要なデータの単位時間当たりの有効取得量が一定量以上の場合に、前記第２検出手段の検出結果が有効であると判定する。信頼度判定手段は、前記各有効判定手段の判定結果が共に有効である場合に、前記第１検出手段で検出される眠気レベルＬ１の信頼度Ｒ１および前記第２検出手段で検出される眠気レベルＬ２の信頼度Ｒ２を判定する。一致度判定手段は、前記第１検出手段で検出される眠気レベルＬ１と前記第２検出手段で検出される眠気レベルＬ２との一致度Ｍを判定する。選定手段は、前記第１検出手段で検出される眠気レベルＬ１、前記第２検出手段で検出される眠気レベルＬ２、これら眠気レベルＬ１，Ｌ２の平均値である平均眠気レベルＬｘ、当該選定手段が前回選定した前回眠気レベルＬｙのいずれかを、前記各有効判定手段の判定結果、前記信頼度判定手段で判定される信頼度Ｒ１，Ｒ２、および前記一致度判定手段で判定される一致度Ｍに応じて選定する。警報手段は、前記選定手段で選定される眠気レベルが設定値Ｌｓ以上のときに警報を発する。

請求項４に係る発明は、請求項３の選定手段について限定している。選定手段は、前記第１有効判定手段の判定結果が有効であり前記第２有効判定手段の判定結果が有効でない場合に、前記第１検出手段で検出される眠気レベルＬ１を選定する手段と、前記第１有効判定手段の判定結果が有効でなく前記第２有効判定手段の判定結果が有効である場合に、前記第２検出手段で検出される眠気レベルＬ２を選定する手段と、前記各有効判定手段の判定結果が共に有効である場合に、前記第１検出手段で検出される眠気レベルＬ１、前記第２検出手段で検出される眠気レベルＬ２、これら眠気レベルＬ１，Ｌ２の平均値である平均眠気レベルＬｘ、当該選定手段が前回選定した前回眠気レベルＬｙのいずれかを、前記信頼度判定手段で判定される信頼度Ｒ１，Ｒ２および前記一致度判定手段で判定される一致度Ｍに応じて選定する手段と、を含む。

請求項５に係る発明は、請求項２乃至請求項４のいずれかの信頼度判定手段および一致度判定手段について限定している。信頼度判定手段は、前記第１検出手段の検出に必要なデータの単位時間当たりの有効取得量を、前記第１検出手段で検出される眠気レベルＬ１の信頼度Ｒ１として判定し、前記第２検出手段の検出に必要なデータの単位時間当たりの有効取得量を、前記第２検出手段で検出される眠気レベルＬ２の信頼度Ｒ２として判定する。一致度判定手段は、前記第１検出手段で検出される眠気レベルＬ１と前記第２検出手段で検出される眠気レベルＬ２との差を、その眠気レベルＬ１，Ｌ２の一致度Ｍとして判定する。

請求項６に係る発明は、請求項２乃至請求項４のいずれかの警報手段について限定している。警報手段は、前記第１検出手段で検出される眠気レベルＬ１が設定値Ｌｓ以上、かつ前記第２検出手段で検出される眠気レベルＬ２が設定値Ｌｓ以上、かつ前記信頼度判定手段で判定される信頼度Ｒ１が最高信頼度Ｒ１ａ以上、かつ同信頼度判定手段で判定される信頼度Ｒ２が最高信頼度Ｒ２ａ以上という条件が成立した場合に警報を発し、その条件が成立しない場合は前記選定手段で選定される眠気レベルが設定値Ｌｓ以上のときに警報を発する。

請求項７に係る発明の居眠り運転警報方法は、車両の走行状態から運転者の眠気レベルＬ１を検出するステップと、運転者の生体情報から運転者の眠気レベルＬ２を検出するステップと、前記第１検出手段で検出される眠気レベルＬ１、前記第２検出手段で検出される眠気レベルＬ２、これら眠気レベルＬ１，Ｌ２の平均値である平均眠気レベルＬｘのいずれかを選定し、選定した眠気レベルに応じて警報を発するステップと、を備える。

本発明の居眠り運転警報装置および居眠り運転警報方法によれば、互いに異なる方式の居眠り運転検出を適切に統合することができ、これにより居眠り運転を確実に捕らえて警報を発することができる。

本発明の一実施形態の制御回路を示すブロック図。同実施形態における第２居眠り運転検出ユニットの瞬き検出に関わる実験の様子を示す図。図２の実験により得られる眠気レベル零（覚醒）時の瞬き検出データの一例を示す図。図２の実験により得られる眠気レベル小・中時の瞬き検出データの一例を示す図。図２の実験により得られる眠気レベル大時の瞬き検出データの一例を示す図。同実施形態の制御を示すフローチャート。同実施形態における一致度Ｍが設定値Ｍａ以上のときの眠気レベル選定条件を示す図。同実施形態における一致度Ｍが設定値Ｍａ未満かつ設定値Ｍｂ以上のときの眠気レベル選定条件を示す図。同実施形態における一致度Ｍが設定値Ｍｂ未満のときの眠気レベル選定条件を示す図。

以下、本発明の一実施形態について、図面を参照しながら説明する。
図１に示すように、制御ユニット（制御手段）１に、車両の走行状態から運転者の眠気レベルＬ１を検出する居眠り運転検出ユニット（第１検出手段）１０、運転者の生体情報から運転者の眠気レベルＬ２を検出する居眠り運転検出ユニット（第２検出手段）２０、および警報ユニット３０が接続される。

そして、居眠り運転検出ユニット１０に、車速センサ１１、ブレーキスイッチ１２、補助ブレーキ検知手段１３、シフト操作検知手段１４、ウィンカ操作検知手段１５、ワイパー操作検知手段１６、照明操作検知手段１７、操舵角センサ１８、およびＣＣＤカメラ１９が接続される。

車速センサ１１は、当該装置が搭載された車両の走行速度を検知する。ブレーキスイッチ１２は、運転者によるブレーキ操作を検知する。補助ブレーキ検知手段１３は、運転者による補助ブレーキスイッチの操作を検知する。シフト操作検知手段１４は、運転者によるシフトレバー操作を検知する。ウィンカ操作検知手段１５は、運転者によるウィンカレバー操作を検知する。ワイパー操作検知手段１６は、運転者によるワイパー操作を検知する。照明操作検知手段１７は、運転者による照明スイッチの操作を検知する。操舵角センサ１８は、運転者によるステアリングの操舵角を検知する。ＣＣＤカメラ１９は、走行路面の画像を車両の前部で撮る。

居眠り運転検出ユニット１０は、ＣＣＤカメラ１９が撮った画像から車線規制用の白線を認識し、認識した白線の揺れ動きを車両の蛇行として捕らえるとともに、ステアリングやシフトノブなど運転席周りの操作状況を検出し、その蛇行量および操作状況から眠気レベル（覚醒度ともいう）Ｌ１を一定時間たとえば１分ごとに検出する。この検出方法については、特許第２８３０４７５号公報に記載されているので、その詳細な説明は省略する。

この場合、眠気レベルＬ１を、高い方から順に、『ほとんど居眠りをしている』という眠気レベル“５”、『周期的に居眠りをしている』という眠気レベル“４”、『明らかに眠いのが分かる』という眠気レベル“３”、『やや眠気を催している』という眠気レベル“２”、『完全に目が覚めている』という眠気レベル“１”の“１”から“５”までの数値として検出する。

居眠り運転検出ユニット２０には、運転者の顔の画像を撮るＣＣＤカメラ２１が接続される。ＣＣＤカメラ２１は、運転者の顔の画像を撮り得る位置に設置される。

居眠り運転検出ユニット２０は、ＣＣＤカメラ２１が撮った画像から運転者の顔の中の目を認識し、認識した目の瞬き（まばたき）つまり瞼の動きから運転者の眠気レベル（覚醒度ともいう）Ｌ２を一定時間たとえば１分ごとに検出する。この検出には、例えば自動車技術会発行“自動車技術”Vol.46,No.9,1992『大型トラックの長時間運転時の覚醒度評価の検討』に記載の技術を利用する。

瞼の動きを正確に記録するには、図２に示すように、顔面の目の瞼より上方の位置に電極４１を取付け、その目より下方の位置に電極４２を取付け、これら電極４１，４２の相互間に生じる電圧の波形を図３・図４・図５のような瞬き検出データとして捕らえることができるが、実際のシステムではドライバに電極を貼り付ける事はできないので、画像処理によって同様に瞼の動きを検出する。図３は覚醒時の瞬き検出データ、図４は眠気レベル小・中の時の瞬き検出データ、図５は眠気レベル大の時の瞬き検出データである。

電極４１，４２間の電圧は、瞼が下がるときに上昇し、瞼が上がるときに下降する。瞼が下がるときの加速度のピークとなる点を瞬きの開始点、瞼が上がるときの加速度のピークとなる点を瞬きの終了点としたとき、その開始点と終了点との間の時間間隔（duration）ｔが眠気レベルとの間に正の相関を有することが分かる。眠気レベルが高くなるに従い、時間間隔ｔが長くなる。

例えば、検出システム起動後の１５分間で時間間隔ｔのデータを収集し、収集したデータの平均値Aveと標準偏差Sdを求める。そして、平均値Aveの値をd1とし、その値d1を眠気レベル1.5の時間間隔ｔとして定める。さらに、“Ave＋α×Sd”の値d2を求め、その値d2を眠気レベル4.0の時間間隔ｔとして定める。αの値は、検出システムによりチューニングして決定する。

この２つの点（d1, 1.5）（d2, 4.0）を通る１本の直線を定義し、１分間において時間間隔ｔを逐次に測定しながらその各時間間隔ｔの平均値dxを上記定義した直線に当て嵌めることにより、眠気レベルＬ２を１分ごとに検出することができる。

なお、システム起動後の１５分間のデータ収集中は、予め定めた基準値（例えばd1＝0.22, d2＝0.35）を用いて眠気レベルＬ２を検出する。

d1より小さい平均値dxやd2より大きい平均値dxが得られた場合は、検出結果の信頼度を１ランク下げる、あるいはd1, d2を更新して直線を再定義する、などの補正を行ってもよい。検出システムが最終的に検出した眠気レベルＬ２とデータの組合せを蓄積し、その蓄積に基づいて直線を再定義してもよい。

こうして、居眠り運転検出ユニット２０は、眠気レベルＬ２を、高い方から順に、『ほとんど居眠りをしている』という眠気レベル“５”、『周期的に居眠りをしている』という眠気レベル“４”、『明らかに眠いのが分かる』という眠気レベル“３”、『やや眠気を催している』という眠気レベル“２”、『完全に目が覚めている』という眠気レベル“１”の“１”から“５”までの数値として検出する。

警報ユニット３０は、制御ユニット１からの指示に応じた内容および音量レベルの警報たとえば音声案内・ブザー音・電子音・音楽などを発する。なお、警報としては、運転者の気付きにつながるものがよく、臭いや液体の噴出でもよく、ロボットの手が運転者の身体を叩く方式でもよい。

そして、制御ユニット１は、主要な機能として次の（１）〜（６）の手段を有する。
（１）居眠り運転検出ユニット１０の検出に必要なデータの単位時間当たりの有効取得量が一定量以上の場合に、居眠り運転検出ユニット１０の検出結果が有効であると判定する第１有効判定手段。

（２）居眠り運転検出ユニット２０の検出に必要なデータの単位時間当たりの有効取得量が一定量たとえば５０％以上の場合に、居眠り運転検出ユニット２０の検出結果が有効であると判定する第２有効判定手段。

（３）上記第１有効判定手段の判定結果が有効で、かつ上記第２有効判定手段の判定結果が有効である場合に、居眠り運転検出ユニット１０で検出される眠気レベルＬ１の信頼度Ｒ１および居眠り運転検出ユニット２０で検出される眠気レベルＬ２の信頼度Ｒ２を判定する信頼度判定手段。具体的には、居眠り運転検出ユニット１０の検出に必要なデータの単位時間当たりの有効取得量（上記一定量以上）を信頼度Ｒ１として判定するとともに、居眠り運転検出ユニット２０の検出に必要なデータの単位時間当たりの有効取得量（上記一定量以上）を信頼度Ｒ２として判定する。

（４）居眠り運転検出ユニット１０で検出される眠気レベルＬ１と居眠り運転検出ユニット２０で検出される眠気レベルＬ２との一致度Ｍを判定する一致度判定手段。具体的には、眠気レベルＬ１と眠気レベルＬ２との差の絶対値を、その眠気レベルＬ１，Ｌ２の一致度Ｍとして判定する。

（５）居眠り運転検出ユニット１０で検出される眠気レベルＬ１、居眠り運転検出ユニット２０で検出される眠気レベルＬ２、これら眠気レベルＬ１，Ｌ２の平均値である平均眠気レベルＬｘ、当該選定手段が前回選定した前回眠気レベルＬｙのいずれかを、上記各有効判定手段の判定結果、上記信頼度判定手段で判定される信頼度Ｒ１，Ｒ２、および上記一致度判定手段で判定される一致度Ｍに応じて選定する選定手段。

（６）居眠り運転検出ユニット１０で検出される眠気レベルＬ１が設定値Ｌｓ（例えば“３”）以上、かつ居眠り運転検出ユニット２０で検出される眠気レベルＬ２が設定値Ｌｓ以上、かつ前記信頼度判定手段で判定される信頼度Ｒ１が最高信頼度Ｒ１ａ以上、かつ同信頼度判定手段で判定される信頼度Ｒ２が最高信頼度Ｒ２ａ以上という条件が成立した場合に警報ユニット３０から警報を発し、その条件が成立しない場合は上記選定手段で選定される眠気レベルが設定値Ｌｓ以上のときに警報ユニット３０から警報を発する警報手段。

つぎに、制御ユニット１が実行する制御を図６のフローチャートを参照しながら説明する。
制御ユニット１は、居眠り運転検出ユニット１０で検出される眠気レベルＬ１（“５”〜“１”）および居眠り運転検出ユニット２０で検出される眠気レベルＬ２（“５”〜“１”）を取込むとともに（ステップ１０１）、取込んだ眠気レベルＬ１，Ｌ２の有効性を判定する（ステップ１０２）。

居眠り運転検出ユニット１０の検出に必要なデータは、白線を認識するべくＣＣＤカメラ１９が撮った画像、およびステアリングやシフトノブなどの操作状況である。車両の走行速度がそれほど高くない６０km/h程度またはそれ未満であれば、車両は街中の一般道を走行している可能性が高い。一般道の路面には、交通規制の文字表示が数多く存在し、その文字表示がノイズとなって白線の認識に誤りを生じることがある。また、一般道を走行すると、しばしば交差点や横断歩道が現われて白線が途切れることから、白線の認識そのものが困難なこともある。このような場合、白線を捕らえるのに必要な画像データの単位時間（１分間）当たりの有効取得量が一定量たとえば５０％に満たない状態となる。

制御ユニット１は、白線を捕らえるのに必要な画像データの有効取得量を居眠り運転検出ユニット１０を通して監視しており、有効取得量が５０％以上であれば眠気レベルＬ１が有効と判定し（ステップ１０３のＹＥＳ）、有効取得量が５０％未満であれば眠気レベルＬ１が無効と判定する（ステップ１０３のＮＯ）。

居眠り運転検出ユニット２０の検出に必要なデータは、運転者の目の瞬きを認識するべくＣＣＤカメラ２１が撮った画像である。この画像が暗かったり逆に白くなったり、運転者の目が細かったり、運転者がサングラスや眼鏡をかけていたり、運転者が帽子を深く被っている場合など、目を認識できないことがある。このような場合、目の瞬きを捕らえるのに必要な画像データの単位時間（１分間）当たりの有効取得量が一定量たとえば５０％に満たない状態となる。

制御ユニット１は、目の瞬きを捕らえるのに必要な画像データの有効取得量を居眠り運転検出ユニット２０を通して監視しており、有効取得量が５０％以上であれば眠気レベルＬ２が有効と判定し（ステップ１０４のＹＥＳ）、有効取得量が５０％未満であれば眠気レベルＬ２が無効と判定する（ステップ１０４のＮＯ）。

制御ユニット１は、眠気レベルＬ１が有効で（ステップ１０３のＹＥＳ）、かつ眠気レベルＬ２が有効である場合に（ステップ１０４のＹＥＳ）、眠気レベルＬ１の信頼度Ｒ１および眠気レベルＬ２の信頼度Ｒ２を判定する（ステップ１０５）。すなわち、居眠り運転検出ユニット１０の検出に必要な画像データの単位時間当たりの有効取得量（上記５０％以上）を３つの最高信頼度Ｒ１ａ，高信頼度Ｒ１ｂ，中信頼度Ｒ１ｃとして判定する。最高信頼度Ｒ１ａは例えば９０％、高信頼度Ｒ１ｂは例えば７０％、中信頼度Ｒ１ｃは例えば５０％である。また、居眠り運転検出ユニット２０の検出に必要な画像データの単位時間当たりの有効取得量（上記５０％以上）を３つの最高信頼度Ｒ２ａ，高信頼度Ｒ２ｂ，中信頼度Ｒ２ｃとして判定する。最高信頼度Ｒ２ａは例えば９０％、高信頼度Ｒ２ｂは例えば７０％、中信頼度Ｒ２ｃは例えば５０％である。

続いて、制御ユニット１は、居眠り運転検出ユニット１０で検出される眠気レベルＬ１と居眠り運転検出ユニット２０で検出される眠気レベルＬ２との差を、眠気レベルＬ１，Ｌ２の一致度Ｍとして判定する。例えば、眠気レベルＬ１が眠気レベル“５”、眠気レベルＬ２が眠気レベル“１”であれば、差の絶対値が“４”と大きく、一致度Ｍが低い。差の絶対値が“３”の場合も、一致度Ｍが低い。差の絶対値が“２”の場合は、一致度Ｍが中程度である。差の絶対値が“１”の場合は、一致度Ｍが高い。差の絶対値が“０”の場合も、一致度Ｍが高い。この一致度Ｍに対する設定値として、高い方から順にＭａ，Ｍｂが用意されている。設定値Ｍａは、差の絶対値たとえば“１”に対応する。設定値Ｍｂは、差の絶対値たとえば“２”に対応する。

制御ユニット１は、眠気レベルＬ１が設定値Ｌｓ（＝“３”）以上、かつ眠気レベルＬ２が設定値Ｌｓ以上（ステップ１０７のＹＥＳ）、かつ眠気レベルＬ１の信頼度Ｒ１が最高信頼度Ｒ１ａ（＝９０％）以上、かつ眠気レベルＬ２の信頼度Ｒ２が最高信頼度Ｒ２ａ（＝９０％）以上という条件が成立したとき（ステップ１０８のＹＥＳ）、警報ユニット３０から警報を発生する（ステップ１０９）。

その条件が成立しない場合（ステップ１０７のＮＯまたはステップ１０８のＮＯ）、制御ユニット１は、上記判定した一致度Ｍと設定値Ｍａ，Ｍｂとを比較する（ステップ１１０，１１１）。

制御ユニット１は、一致度Ｍが設定値Ｍａ以上と高い場合（ステップ１１０のＹＥＳ）、図７に示す眠気レベル選定条件に基づき、信頼度Ｒ１，Ｒ２がどのような値であってもそれにかかわらず眠気レベルＬ１，Ｌ２の平均値を算出し、算出した平均値を平均眠気レベルＬｘとして選定する（ステップ１１２）。例えば、眠気レベルＬ１が“３”、眠気レベルＬ２が“２”であれば、平均眠気レベルＬｘは“２．５”となる。眠気レベルＬ１が“４”、眠気レベルＬ２が“２”であれば、平均眠気レベルＬｘは“３”となる。眠気レベルＬ１が“４”、眠気レベルＬ２が“３”であれば、平均眠気レベルＬｘは“３．５”となる。

制御ユニット１は、選定した平均眠気レベルＬｘが設定値Ｌｓ（＝“３”）以上であれば（ステップ１１３のＹＥＳ）、警報ユニット３０から警報を発生する（ステップ１０９）。

制御ユニット１は、一致度Ｍが設定値Ｍａ未満かつ設定値Ｍｂ以上の中程度である場合（ステップ１１１のＹＥＳ）、図８に示す眠気レベル選定条件に基づき、眠気レベルＬ１，Ｌ２および平均眠気レベルＬｘのいずれかを信頼度Ｒ１，Ｒ２の大小関係に応じて選定する（ステップ１１４）。すなわち、信頼度Ｒ１と信頼度Ｒ２が同じであれば、平均眠気レベルＬｘを算出して選定する。信頼度Ｒ１が最高信頼度Ｒ１ａで、信頼度Ｒ２が高信頼度Ｒ２ｂまたは中信頼度Ｒ２ｃであれば、信頼度が高い方の眠気レベルＬ１を選定する。信頼度Ｒ１が高信頼度Ｒ１ａで、信頼度Ｒ２が中信頼度Ｒ２ｃであれば、信頼度が高い方の眠気レベルＬ１を選定する。信頼度Ｒ１が中信頼度Ｒ１ｃで、信頼度Ｒ２が最高信頼度Ｒ２ａまたは高信頼度Ｒ２ｂであれば、信頼度が高い方の眠気レベルＬ２を選定する。

制御ユニット１は、選定した眠気レベルが設定値Ｌｓ（＝“３”）以上であれば（ステップ１１３のＹＥＳ）、警報ユニット３０から警報を発生する（ステップ１０９）。

制御ユニット１は、一致度Ｍがあまり高くなくて設定値Ｍｂ未満の場合（ステップ１１１のＮＯ）、図９に示す眠気レベル選定条件に基づき、眠気レベルＬ１，Ｌ２、平均眠気レベルＬｘ、および前回選定した眠気レベルＬｙのいずれかを信頼度Ｒ１，Ｒ２の大小関係に応じて選定する（ステップ１１４）。前回選定した眠気レベルＬｙは、当該制御ユニット１が前回の選定処理において選定した眠気レベル（眠気レベルＬ１，Ｌ２および平均眠気レベルＬｘのいずれか）である。すなわち、信頼度Ｒ１が最高信頼度Ｒ１ａで、信頼度Ｒ２も最高信頼度Ｒ２ａであれば、平均眠気レベルＬｘを算出して選定する。信頼度Ｒ１が高信頼度Ｒ１ｂまたは中信頼度Ｒ１ｃで、信頼度Ｒ２も高信頼度Ｒ２ｂまたは中信頼度Ｒ２ｃであれば、前回眠気レベルＬｙを選定する。信頼度Ｒ１が最高信頼度Ｒ１ａで、眠気レベルＬ２の信頼度Ｒ２が高信頼度Ｒ２ｂまたは中信頼度Ｒ２ｃであれば、信頼度が高い方の眠気レベルＬ１を選定する。眠気レベルＬ１の信頼度Ｒ１が高信頼度Ｒ１ａまたは中信頼度Ｒ１ｃで、眠気レベルＬ２の信頼度Ｒ２が最高信頼度Ｒ２ａであれば、信頼度が高い方の眠気レベルＬ２を選定する。

一方、制御ユニット１は、眠気レベルＬ１が有効で（ステップ１０３のＹＥＳ）、眠気レベルＬ２が有効でない場合（ステップ１０４のＮＯ）、眠気レベルＬ１を選定する（ステップ１１６）。そして、選定した眠気レベルＬ１が設定値Ｌｓ（＝“３”）以上であれば（ステップ１１７のＹＥＳ）、警報ユニット３０から警報を発生する（ステップ１０９）。

制御ユニット１は、眠気レベルＬ１が有効でなく（ステップ１０３のＮＯ）、眠気レベルＬ２が有効である場合（ステップ１１８のＹＥＳ）、眠気レベルＬ２を選定する（ステップ１１９）。そして、選定した眠気レベルＬ２が設定値Ｌｓ（＝“３”）以上であれば（ステップ１２０のＹＥＳ）、警報ユニット３０から警報を発生する（ステップ１０９）。

以上のように、車両の走行状態に基づいて居眠り運転検出ユニット１０で検出される眠気レベルＬ１、運転者の生体情報に基づいて居眠り運転検出ユニット２０で検出される眠気レベルＬ２、およびこれら眠気レベルＬ１，Ｌ２の平均値である平均眠気レベルＬｘのいずれかを選定し、選定した眠気レベルに応じて警報を発するので、車両の走行状態を適切に捕らえることができない場合でも運転者の生体情報に基づいて居眠り運転を確実に検出して警報を発することができ、逆に運転者の生体情報を適切に捕らえることができない場合でも運転者の生体情報に基づいて居眠り運転を確実に検出して警報を発することができる。
居眠り運転検出ユニット１０，２０の居眠り運転検出を適切に統合することができ、これにより居眠り運転の検出漏れがなくなって安全性が大幅に向上する。

［変形例］
上記実施形態では、眠気レベルが設定値以上の場合に警報を発する構成としたが、複数段の設定値を用意しておき、これら設定値と眠気レベルとの比較により、強さが段階的に異なる警報を順に発する構成としてもよい。

眠気レベルＬ１，Ｌ２が５段階の数値“５”〜“１”である場合を例に説明したが、その段階数について限定はなく、適宜に選定可能である。眠気レベルＬ１，Ｌ２の段階数が互いに異なる場合は、一方の段階数を正規化して他方の段階数に合せればよい。

信頼度Ｒ１，Ｒ２として最高信頼度，高信頼度，中信頼度を定めたが、その段数および値について限定はなく、適宜に選定可能である。

一致度Ｍに対する設定値として２段階の設定値Ｍａ，Ｍｂを定めたが、その段数および値についても限定はなく、適宜に選定可能である。

その他、上記実施形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態および変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、書き換え、変更を行うことができる。これら実施形態や変形例は、発明の範囲は要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…制御ユニット、１０…居眠り運転検出ユニット（第１検出手段）、１９…ＣＣＤカメラ、２０…居眠り運転検出ユニット、２１…ＣＣＤカメラ、３０…警報ユニット

Claims

車両の走行状態から運転者の眠気レベルＬ１を検出する第１検出手段と、
運転者の生体情報から運転者の眠気レベルＬ２を検出する第２検出手段と、
前記第１検出手段で検出される眠気レベルＬ１、前記第２検出手段で検出される眠気レベルＬ２、これら眠気レベルＬ１，Ｌ２の平均値である平均眠気レベルＬｘのいずれかを選定し、選定した眠気レベルに応じて警報を発する制御手段と、
を備えることを特徴とする居眠り運転警報装置。
前記制御手段は、
前記第１検出手段で検出される眠気レベルＬ１の信頼度Ｒ１および前記第２検出手段で検出される眠気レベルＬ２の信頼度Ｒ２を判定する信頼度判定手段と、
前記第１検出手段で検出される眠気レベルＬ１と前記第２検出手段で検出される眠気レベルＬ２との一致度Ｍを判定する一致度判定手段と、
前記第１検出手段で検出される眠気レベルＬ１、前記第２検出手段で検出される眠気レベルＬ２、これら眠気レベルＬ１，Ｌ２の平均値である平均眠気レベルＬｘ、当該選定手段が前回選定した前回眠気レベルＬｙのいずれかを、前記信頼度判定手段で判定される信頼度Ｒ１，Ｒ２および前記一致度判定手段で判定される一致度Ｍに応じて選定する選定手段と、
前記選定手段で選定される眠気レベルが設定値Ｌｓ以上のときに警報を発する警報手段と、
を含む、
ことを特徴とする請求項１に記載の居眠り運転警報装置。
前記制御手段は、
前記第１検出手段の検出に必要なデータの単位時間当たりの有効取得量が一定量以上の場合に、前記第１検出手段の検出結果が有効であると判定する第１有効判定手段と、
前記第２検出手段の検出に必要なデータの単位時間当たりの有効取得量が一定量以上の場合に、前記第２検出手段の検出結果が有効であると判定する第２有効判定手段と、
前記各有効判定手段の判定結果が共に有効である場合に、前記第１検出手段で検出される眠気レベルＬ１の信頼度Ｒ１および前記第２検出手段で検出される眠気レベルＬ２の信頼度Ｒ２を判定する信頼度判定手段と、
前記第１検出手段で検出される眠気レベルＬ１と前記第２検出手段で検出される眠気レベルＬ２との一致度Ｍを判定する一致度判定手段と、
前記第１検出手段で検出される眠気レベルＬ１、前記第２検出手段で検出される眠気レベルＬ２、これら眠気レベルＬ１，Ｌ２の平均値である平均眠気レベルＬｘ、当該選定手段が前回選定した前回眠気レベルＬｙのいずれかを、前記各有効判定手段の判定結果、前記信頼度判定手段で判定される信頼度Ｒ１，Ｒ２、および前記一致度判定手段で判定される一致度Ｍに応じて選定する選定手段と、
前記選定手段で選定される眠気レベルが設定値Ｌｓ以上のときに警報を発する警報手段と、
を含む、
ことを特徴とする請求項１に記載の居眠り運転警報装置。
前記選定手段は、
前記第１有効判定手段の判定結果が有効であり前記第２有効判定手段の判定結果が有効でない場合に、前記第１検出手段で検出される眠気レベルＬ１を選定する手段と、
前記第１有効判定手段の判定結果が有効でなく前記第２有効判定手段の判定結果が有効である場合に、前記第２検出手段で検出される眠気レベルＬ２を選定する手段と、
前記各有効判定手段の判定結果が共に有効である場合に、前記第１検出手段で検出される眠気レベルＬ１、前記第２検出手段で検出される眠気レベルＬ２、これら眠気レベルＬ１，Ｌ２の平均値である平均眠気レベルＬｘ、当該選定手段が前回選定した前回眠気レベルＬｙのいずれかを、前記信頼度判定手段で判定される信頼度Ｒ１，Ｒ２および前記一致度判定手段で判定される一致度Ｍに応じて選定する手段と、
を含む、
ことを特徴とする請求項３に記載の居眠り運転警報装置。
前記信頼度判定手段は、前記第１検出手段の検出に必要なデータの単位時間当たりの有効取得量を、前記第１検出手段で検出される眠気レベルＬ１の信頼度Ｒ１として判定し、前記第２検出手段の検出に必要なデータの単位時間当たりの有効取得量を、前記第２検出手段で検出される眠気レベルＬ２の信頼度Ｒ２として判定する、
前記一致度判定手段は、前記第１検出手段で検出される眠気レベルＬ１と前記第２検出手段で検出される眠気レベルＬ２との差を、その眠気レベルＬ１，Ｌ２の一致度Ｍとして判定する、
ことを特徴とする請求項２乃至請求項４のいずれかに記載の居眠り運転警報装置。
前記警報手段は、
前記第１検出手段で検出される眠気レベルＬ１が設定値Ｌｓ以上、かつ前記第２検出手段で検出される眠気レベルＬ２が設定値Ｌｓ以上、かつ前記信頼度判定手段で判定される信頼度Ｒ１が最高信頼度Ｒ１ａ以上、かつ同信頼度判定手段で判定される信頼度Ｒ２が最高信頼度Ｒ２ａ以上という条件が成立した場合に警報を発し、その条件が成立しない場合は前記選定手段で選定される眠気レベルが設定値Ｌｓ以上のときに警報を発する手段と、
を含む、
ことを特徴とする請求項２乃至請求項４のいずれかに記載の居眠り運転警報装置。
車両の走行状態から運転者の眠気レベルＬ１を検出するステップと、
運転者の生体情報から運転者の眠気レベルＬ２を検出するステップと、
前記第１検出手段で検出される眠気レベルＬ１、前記第２検出手段で検出される眠気レベルＬ２、これら眠気レベルＬ１，Ｌ２の平均値である平均眠気レベルＬｘのいずれかを選定し、選定した眠気レベルに応じて警報を発するステップと、
を備えることを特徴とする居眠り運転警報方法。