JP2009208739A - 眠気覚醒装置 - Google Patents

Abstract

【課題】運転者の眠気検出精度向上と、運転者の覚醒性能向上とを図ることのできる眠気覚醒装置を提供すること。
【解決手段】車載の第１カメラ１１で撮像された運転者の顔部分の画像に基づいて眠気を検出する第１眠気検出処理と、車載の第２カメラ１２で撮像された道路上の白線に基づいて運転者の眠気を検出する第２眠気検出処理とを実行し、両眠気検出処理により共に運転者が眠気を催していると判定した場合に、覚醒用楽曲の再生を行う覚醒処理を実行する制御装置４を備えていることを特徴とする眠気覚醒装置とした。
【選択図】図１

Description

本発明は、運転者が眠気を催した際に覚醒させる眠気覚醒装置に関するものである。

従来、運転者の顔を撮像し、目の開閉の程度などに基づいて運転者が眠気を催しているか否かを判定する装置が、例えば、特許文献１などにより知られている。
また、この従来技術では、運転者が眠気を催していると判定した場合には、オーディオ装置に保存された楽曲を再生する場合に、眠気を催す傾向の音楽の再生を控えるようにしている。
特開２００３−１４０６６４号公報

上述の従来技術では、運転者の顔の画像のみに基づいて眠気の検出を行っている。しかしながら、瞬きの仕方などのような人の顔の動作には個人差があるため、誤判定が生じるおそれがあった。
また、眠気を催していると判定した際に、眠気を催す傾向の楽曲を再生しないというだけでは、いったん眠気を催した運転者を覚醒させるのは難しい。

本発明は、上述の従来の問題点に着目して成されたもので、運転者の眠気検出精度向上と、運転者の覚醒性能向上とを図ることのできる眠気覚醒装置を提供することを目的としている。

上述の目的達成のため本発明は、車載の第１カメラで撮像された運転者の顔部分の画像に基づいて眠気を検出する第１眠気検出装置と、車載の第２カメラで撮像された道路上の白線に基づいて運転者の眠気を検出する第２眠気検出装置と、両眠気検出装置により共に運転者が眠気を催していると判定した場合に、覚醒装置に覚醒作動を実行させる覚醒処理を行う制御装置と、を備えていることを特徴とする眠気覚醒装置とした。

請求項２に記載の発明は、請求項１に記載の眠気覚醒装置において、覚醒装置が、車載のオーディオ装置であり、前記覚醒作動で、前記オーディオ装置の楽曲保存装置に保存された覚醒用楽曲を再生させることを特徴とする眠気覚醒装置とした。

請求項３に記載の発明は、請求項２に記載の眠気覚醒装置において、前記オーディオ装置が、前記楽曲保存装置に保存する楽曲の分析を行う楽曲分析装置を備え、前記制御手段は、前記楽曲分析装置の分析結果に基づいて、前記楽曲保存装置に保存された楽曲の中から前記覚醒用楽曲を選択する覚醒用楽曲設定処理を実行することを特徴とする眠気覚醒装置とした。

請求項４に記載の発明は、請求項２に記載の眠気覚醒装置において、前記覚醒用楽曲が、前記楽曲保存装置に保存された楽曲の中から任意に選択された楽曲であることを特徴とする眠気覚醒装置とした。

請求項５に記載の発明は、請求項２〜請求項４のいずれか１項に記載の眠気覚醒装置において、前記制御手段は、前記オーディオ装置の楽曲再生時に前記覚醒作動時を実行する場合、再生中の楽曲の再生を中断して前記覚醒用楽曲を再生させるとともに、この覚醒用楽曲の再生中は、再生音量を、覚醒作動前よりも上昇させることを特徴とする眠気覚醒装置とした。

請求項６に記載の発明は、請求項１〜請求項４のいずれか１項に記載の眠気覚醒装置において、前記第２カメラは、車両の後方を撮像するカメラであり、前記第２眠気検出装置は、前記第１眠気検出装置の眠気検出時に、前記第２カメラの撮像を開始するとともに、眠気検出を実行することを特徴とする眠気覚醒装置とした。

請求項７に記載の発明は、請求項１〜請求項６のいずれか１項に記載の眠気覚醒装置において、前記第２眠気検出装置は、白線の時間あたりの水平方向のばらつき量に基づき、ばらつき量が設定値を超えると眠気を催していると判定することを特徴とする眠気覚醒装置とした。

請求項１に記載の発明では、第１眠気検出装置により、第１カメラで撮像した運転者の顔部分の画像に基づいて（例えば、瞬きや唇の動きなどの運転者の表情に基づいて）眠気を検出する。
また、第２眠気検出装置により、第２カメラで撮像した道路上の白線に基づいて眠気を検出する。すなわち、車載カメラで撮像された道路上の白線は、車両と道路との相対的な動きを表しており、これは、車両挙動を表す。そこで、この白線が示す車両挙動に基づいて運転者の眠気を検出することができる。
そして、本発明では、第１眠気検出装置による運転者の顔部分の画像に基づく眠気検出と、第２眠気検出装置による道路上の白線に基づく眠気検出と、の２通りの検出により共に眠気を催したと判定される場合に、覚醒作動を行う。

このため、本発明では、いずれか一方の眠気検出装置のみにより眠気判定を行うものと比較して、眠気の判定精度を向上させることができる。
しかも、上記２通りの眠気検出において、運転者の顔の動作に基づく眠気判定と、画像上の白線が示す車両挙動に基づく眠気判定と、異なる要素に基づく判定を行うため、上述のように２通りの眠気検出を行うにしても、例えば、運転者の２通りの動作に基づいて２通りの眠気検出を行ったり、車両の２種類の挙動に基づいて２通りの眠気検出を行ったりするものと比較して、いっそう精度の高い眠気検出を行うことができる。
さらに、両眠気検出装置は、それぞれ、第１カメラと第２カメラとの撮像に基づいて検出を行い、この判定に、例えば、車両のステアリングセンサやＧセンサなどの車載センサの信号を用いなくてもよいため、装置としての独立性が高く、車載する場合に、後付も可能であり、汎用性に優れる。
加えて、本発明では、運転者が眠気を催していると判定した場合に、覚醒装置により覚醒作動を実行するようにしたため、単に、眠気を促進させる楽曲の再生を控えるのと比較して、運転者の覚醒性能を向上させることができる。

さらに、請求項２に記載の発明では、覚醒装置として、一般に車載されるオーディオ装置を用いるようにしたため、新規に覚醒装置を付加するのと比較して、コスト的に有利である。
しかも、既存のオーディオ装置に、第１眠気検出装置と第２眠気検出装置とを付加して構成することができ、この場合、汎用性に優れる。
加えて、覚醒作動時に、覚醒用楽曲を再生させることで、例えば、オーディオ装置を再生作動させているときに覚醒作動を実行する場合、覚醒作動時にブザー音などを用いるものと比較すると、覚醒作動音が、再生される楽曲の音で聞き取れない不具合が生じるおそれがなく、高い覚醒性能を得ることができる。

請求項３に記載の発明では、制御装置の覚醒用楽曲設定処理において、オーディオ装置における楽曲保存時の分析結果に基づいて覚醒用楽曲を選択するため、例えば、運転者による設定などを不要とすることができる。しかも、オーディオ装置の楽曲保存装置に保存された楽曲は、運転者の嗜好を反映させていると言え、覚醒用楽曲が、この運転者の嗜好を反映させた楽曲の中から選択されることで、製品出荷前にあらかじめ覚醒用楽曲を入力しているものと比較して、覚醒用楽曲が再生されたときに、運転者に違和感を与えることを抑えることができる。

請求項４に記載の発明では、運転者が保存した楽曲の中から任意の楽曲を覚醒用楽曲として任意に選択することが可能であるため、個人個人が最適と考える覚醒用楽曲を設定可能であり、高い覚醒性能を得ることができる。

請求項５に記載の発明では、オーディオ装置が、楽曲の再生中に運転者が眠気を催していると判定した場合には、再生中の楽曲の再生を中止し、覚醒用楽曲を再生させるとともに、音量を上昇させる。
したがって、楽曲の再生中でも、運転者に確実に覚醒用楽曲を聴かせて覚醒を図ることができるとともに、音量上昇により運転者に与える刺激を高め、覚醒性能の向上を図ることができる。

請求項６に記載の発明では、第２眠気検出装置は、第２カメラとして、車両の後方確認用のカメラを用いることができ、白線撮影専用のカメラを設置するものと比較して、装置の低コスト化を図ることができる。

請求項７に記載の発明では、白線の水平方向のばらつきにより、運転者の操舵による車両挙動を的確に検出でき、高い眠気検出精度が得られる。

以下、本発明の最良の形態である実施の形態を説明する。
この実施の形態の眠気覚醒装置は、車載の第１カメラ（１１）で撮像された運転者の顔部分の画像に基づいて眠気を検出する第１眠気検出装置と、車載の第２カメラ（１２）で撮像された道路上の白線に基づいて運転者の眠気を検出する第２眠気検出装置と、両眠気検出装置により共に運転者が眠気を催していると判定した場合に、覚醒装置に覚醒作動を実行させる覚醒処理を行う制御装置（４）と、を備えていることを特徴とする眠気覚醒装置である。

図１〜図７に基づいて本発明の最良の実施の形態として実施例１のオーディオ装置Ａについて説明する。
このオーディオ装置Ａは、周知の車載のものであり、図１に示すように、楽曲の再生を行う楽曲再生装置１およびスピーカ装置２と、各種表示を行うディスプレイ装置３と、これらの制御を行う制御装置４と、を備えている。
また、この実施例１のオーディオ装置Ａは、制御装置４が搭載された図示を省略した本体部分に、メディア駆動装置５、内部楽曲保存装置６、楽曲検索用情報保存装置７、楽曲分析装置８、ユーザインタフェース装置９、覚醒用楽曲保存装置１０を備えているのに加えて、上述の本体部分とは別に第１カメラ１１および第２カメラ１２を備えている。

メディア駆動装置５は、車両外から持ち込んだ記憶媒体（ＣＤ（Compact Discの略である）、ＭＤ（Mini Discの略）、ＤＶＤ（Digital Versatile Disc））などを駆動すると同時に、それらの記憶媒体に保存された楽曲データを再生することができる情報に変換する機能を有している。

内部楽曲保存装置６は、書き換え可能な磁気記憶媒体であるハードディスクドライブ（Hard disk drive）やフラッシュメモリなどで構成されており、メディア駆動装置５において再生される外部記憶媒体に保存された楽曲データを保存する。なお、保存時には、楽曲の音響情報をアナログディジタル変化したＰＣＭデータで保存する場合もあるが、本実施例１では、保存量を増やすために圧縮して保存するものとする。また、それぞれの楽曲に付加的に加えられている各種情報（例えば、タイトル名やアーティスト名、ジャンルなどを持ったＴＡＧなど）が存在する場合には、これらの情報は、メタデータとして、楽曲検索用情報保存装置７に保存する。

楽曲検索用情報保存装置７は、それぞれの楽曲データに付加された情報（メタデータ）と、楽曲分析装置８によって分析された分析結果と、が関連付けられて保存される。
なお、付加情報は、楽曲再生時に、制御装置４により読み出されて、ディスプレイ装置３に表示されるようになっている。

楽曲再生装置１は、制御装置４の指示に従い、内部楽曲保存装置６に保存されている楽曲データ、およびメディア駆動装置５で駆動される外部記憶装置（図示省略）に記憶されている楽曲データを取得し、その楽曲データを再生する。なお、楽曲データが圧縮されている場合には、それぞれの圧縮方法に準拠した方法にて圧縮を解除（デコード）しＰＣＭデータとして出力する機能を持っている。

楽曲分析装置８は、楽曲のＰＣＭデータを分析して、楽曲の音楽的な特徴を表す特徴量を算出する。
楽曲の分析は、本実施例１では、内部楽曲保存装置６に楽曲が保存されるときに楽曲ごとに行われるが、この分析は、メディア駆動装置５に、メディアが挿入されたときや、図外の外部楽曲保存装置が接続されたときに行ってもよい。

この楽曲分析において、本実施例１では、第１特徴量Ｓｘと第２特徴量Ｓｙとの２つの特徴量Ｓｘ，Ｓｙを算出する。
第１特徴量Ｓｘは、曲全体の音圧変動の大きさに比例して、音圧変動が大きい場合に大きく、音圧変動が小さい場合に小さくなる値であって、本実施例１では、０〜１．０の範囲内の値として算出され、かつ、楽曲の「クールさ」の程度を表している。
一方、第２特徴量Ｓｙは、曲全体の音圧平均値に比例して、音圧平均値が大きい場合に大きく、音圧平均値が小さい場合に小さくなる値であって、本実施例１では、０〜１．０の値として算出され、かつ、楽曲の「力強さ」の程度を表している。
ここで、本実施例１では、音圧変動に対応する「クールさ」および音圧平均値に対応した「力強さ」の程度が最も高い部分であるＳｘ＝１、Ｓｙ＝１の近傍の楽曲が、覚醒性に富む楽曲である。

このように楽曲分析装置８で算出された第１特徴量Ｓｘおよび第２特徴量Ｓｙは、各楽曲に関連付けられて、保存先ならびにファイル名と共に楽曲検索用情報保存装置７に保存される。

ユーザインタフェース装置９は、ユーザと制御装置４との間で、ディスプレイ装置３の表示機能によるユーザへの視覚情報の提示と、ディスプレイ装置３のタッチパネル機能によるユーザによる入力および指示のやり取りを行う。

ディスプレイ装置３は、例えば、長方形状の表示画面を有している。また、この表示画面には、タッチパネル機能を与え、例えば、再生指示や検索指示などのユーザの各種の指示操作を実行する指示操作装置としての機能を持たせることもできる。

覚醒用楽曲保存装置１０は、覚醒用楽曲を１あるいは複数曲保存するもので、本実施例１では、複数曲保存するものとする。これらの覚醒用楽曲は、本実施例１では、制御装置４による覚醒用楽曲設定処理に基づいて、内部楽曲保存装置６に保存されている楽曲の中から、随時、第１特徴量Ｓｘと第２特徴量Ｓｙとの座標（Ｓｘ，Ｓｙ）が最も（１，１）に近い座標の楽曲を複数曲選択し、これを覚醒用楽曲として保存する。

なお、本実施例では、新規に楽曲を保存するたびに、楽曲分析を行った後、覚醒用楽曲設定処理を実行し、その時点で、最も第１特徴量Ｓｘおよび第２特徴量Ｓｙが共に大きな楽曲が、覚醒用楽曲として設定される。
また、覚醒用楽曲の保存時には、楽曲データを保存してもよいし、あるいは選択された楽曲の楽曲検索用情報（メタデータなど）を保存するようにしてもよい。

さらに、本実施例１では、乗員がディスプレイ装置３のタッチパネル機能を用いて、内部楽曲保存装置６に保存した楽曲の中から、任意の楽曲を選択し、これを覚醒用楽曲として設定することができる。この場合、覚醒用楽曲保存装置１０の覚醒用楽曲設定処理により保存した楽曲を、この任意に選択した楽曲に置き換えることもできるし、それに追加して設定することもできる。なお、この場合、覚醒用楽曲の再生順を任意に設定できるものとする。

第１カメラ１１は、運転者の顔を撮影するもので、車室内において、例えば、ルームミラー近傍に搭載されている。
第２カメラ１２は、図外の車両の後方確認用に車両後方の路面を撮影するもので、車両後端部の車室あるいは車外において、車両後方の路面を撮影可能に搭載されている。

図２は、道路走行時における第２カメラ１２による撮影画像例である画像Ｇ１を示しており、この画像Ｇ１では、路肩の白線Ｗ１，Ｗ２と、道路中央の白線（センタライン）Ｗ３と、が撮影されている。
なお、本実施例１の第２カメラ１２は、後方監視用に設けられたもので、通常は、作動されず、車両停止時あるいは図外の変速機により後退ポジションを選択した場合に作動され、撮影した画像がディスプレイ装置３の画面に表示される。さらに、本実施例１では、第２カメラ１２は、後述する第２眠気検出処理の実行時に、道路上の白線Ｗ１，Ｗ２，Ｗ３を撮影する第２カメラを兼用し、この場合、走行中に撮像作動が成される。

上述した第１カメラ１１および第２カメラ１２は、それぞれ、第１眠気検出装置および第２眠気検出装置の一部として設けられている。そして、制御装置４は、第１眠気検出装置として、第１カメラ１１の画像により運転者の眠気を判定する第１眠気検出処理を実行するとともに、第２眠気検出装置として、第２カメラ１２の画像により運転者の眠気を判定する第２眠気検出処理を実行する。

なお、図１に示すように、制御装置４には、イグニッションスイッチ１３が接続されており、また、図示を省略した車載の車両コントロールユニットから車速Ｖｃを示す信号が随時入力されるようになっている。

次に、制御装置４による各処理の流れを、図４〜図７に示すフローチャートに基づいて説明する。
まず、メディア駆動装置５を用いた楽曲の再生が指示された場合の、再生処理の流れを図４のフローチャートにより説明する。

この場合の再生処理は、メディア駆動装置５に、ＣＤなどの録音対象の楽曲データを有したメディアが挿入されるか、あるいは、ディスプレイ装置３の表示画面において、この再生を指示する操作が行われた場合に実行される。

上記のいずれかの操作により、ステップＳ１において、楽曲再生の判定が成されると、ステップＳ２に進んで、制御装置４は、このメディアからＰＣＭデータのリッピングを開始するとともに、楽曲再生装置１に、楽曲データ（ＰＣＭデータ）を送り楽曲の再生を開始し、これらの動作を続行する。
次に、ステップＳ３に進んで、内部楽曲保存装置６への楽曲の保存（録音）ならびに楽曲分析装置８における楽曲分析の開始を指示する。

さらに、ステップＳ４に進んで、楽曲データが存在する場合、ステップＳ５の圧縮および録音処理とステップＳ６の分析処理とを並列に実行する。すなわち、制御装置４では、上記の再生と同時に、楽曲データの圧縮処理を行って内部楽曲保存装置６に逐次保存し（ステップＳ５）、かつ、これと並列に、楽曲分析装置８に対してＰＣＭデータを送付して分析処理を実行させる（ステップＳ６）。なお、圧縮処理および分析処理は、再生速度のＮ倍速で行うようにしてもよい。
楽曲分析装置８における分析は、前述のように楽曲全体の音圧変動に比例した第１特徴量Ｓｘと、楽曲全体の音圧平均値に比例した第２特徴量Ｓｙとを取得する処理である。
また、このステップＳ５およびステップＳ６の録音処理および分析処理は、この再生中の楽曲について、楽曲データの全てのデータについて処理を行うまで、すなわち、ステップＳ４においてＮＯと判定されるまで繰り返し実行される。

次に、１曲目の再生が終了してステップＳ４においてＮＯと判定されると、ステップＳ７に進んで内部楽曲保存装置６に楽曲データをファイル化して保存する。
さらに、ステップＳ８に進んで、楽曲分析装置８による分析を終了して第１特徴量Ｓｘおよび第２特徴量Ｓｙを確定し、楽曲検索用情報保存装置７に、これら特徴量Ｓｘ，Ｓｙを、楽曲に関連付けして保存する。

そして、ステップＳ９に進んで、メディア駆動装置５において引き続き再生可能な楽曲の存在（次曲）の有無を確認し、次曲が存在していれば、次曲について、ステップＳ２〜Ｓ８の処理を実行して、再生、録音、分析、分析結果の保存を実行する。以上の処理を、次曲の存在が無くなるまで繰り返す。

次に、第１カメラ１１の画像により運転者の眠気を検出する第１眠気検出処理を、図５のフローチャートにより説明する。
このフローチャートに示される処理は、イグニッションスイッチ１３がＯＮとなっている間、あらかじめ設定された時間ごとに実行される。

最初のステップＳ１１では、第１カメラ１１の撮影画像から顔の検出を行う。
次のステップＳ１２では、検出した顔から、眠気特徴量ＳＬを算出する。本実施例１では、この眠気特徴量ＳＬは、瞬きの回数と瞬きの時間とに基づいて、全体の瞬きにおける長い瞬きの比率に応じた数値を用いる。
なお、この眠気特徴量ＳＬとしては、この長い瞬きの比率に応じた数値に代えて、あるいはこれに加えて、眼球の移動方向や瞬き回数を用いることもできる。さらに、瞬き以外にも、唇を含む顔の変化量を用いることもできる。

ステップＳ１３では、眠気特徴量ＳＬがあらかじめ設定された第１眠気閾値ＳＥ１を超えたか否か判定し、第１眠気閾値ＳＥ１を超えた場合には、眠気を催しているとして、ステップＳ１４に進んで第１眠気検出フラグＦＳ１＝１に設定し、第１眠気閾値ＳＥ１を超えない場合には、ステップＳ１５に進んで第１眠気検出フラグＦＳ１を初期値の０に設定する。すなわち、第１眠気検出フラグＦＳ１が１の場合に、第１眠気検出装置により運転者が眠気を催していると判定されていることになる。

次に、第２カメラ１２の画像により運転者の眠気を検出する第２眠気検出処理を、図６のフローチャートにより説明する。
なお、この第２眠気検出処理は、第１眠気検出フラグＦＳ１＝１にセットされることで開始される。

最初のステップＳ２１では、第２カメラ１２を起動する。
次のステップＳ２２では、図２に示す第２カメラ１２の画像Ｇ１から、図３に示す俯瞰画像Ｇ２を生成する。なお、この処理は、視点変換に応じた座標変換処理により行うことができ、Ｘ軸が車幅方向を示し、Ｙ軸が車両前後方向を示す。

次のステップＳ２３で、俯瞰画像Ｇ２において、あらかじめ設定されたＸ軸に沿う方向の輝度検出ラインの輝度差を算出し、次のステップＳ２４で、輝度差に基づいて、白線ＨＷ１，ＨＷ２，ＨＷ３の位置座標（Ｘ座標）を算出する。なお、図３における各白線ＨＷ１，ＨＷ２，ＨＷ３は、図２の各白線Ｗ１，Ｗ２，Ｗ３の俯瞰画像Ｇ２に変換し、その幅の平均値から得られたものである。すなわち、白線Ｗ１，Ｗ２，Ｗ３は、幅を持つため、Ｘ座標は数ピクセル（あるいは数ドット）に亘り輝度が道路の一般面とは異なる。そこで、輝度差が得られた幅の平均値を白線ＨＷ１，ＨＷ２，ＨＷ３とみなしている。
例えば、図３に示す俯瞰画像Ｇ２において、左下を始点（０，０）、右上を終点（６８９，４７９）とした場合、本実施例１では、（０，４７９）〜（６３９，４７９）のラインを輝度検出ラインとする。そして、図３に示す例において右側の白線ＨＷ１が、（５７６，４７０）〜（５８０，４７０）の幅を有していたと仮定すると、この白線ＨＷ１の位置座標（平均値）は、（５７８，４７０）となる。なお、本実施例１では、図３に示すように、輝度検出ラインに複数の白線ＨＷ１，ＨＷ２，ＨＷ３が検出される場合、画像中で最も右に配置されている白線ＨＷ１を選択して処理するものとする。

次のステップＳ２５では、白線ＨＷ１の位置座標から経時平均の水平方向（Ｘ軸に沿う方向）のばらつき量αを算出する。すなわち、この白線ＨＷ１の座標を経時的に求め（例えば、３０フレーム／秒であれば、１／３０ｓｅｃごとの所定時間であり、例えば、本実施例１では、１秒間とする）、その白線の経時的な水平方向のばらつきを算出する。
この場合、例えば、設定時間（本実施例１では、１秒）における白線ＨＷ１のＸ軸上の平均最小値と平均最大値とを算出し、設定時間中において最小値が（５３１，４７０）、最大値が（６２０，４７０）であった場合、この差をばらつき量α＝９０とする。

次のステップＳ２６では、車速Ｖｃを読み込み、この車速Ｖｃに応じて第２眠気閾値βを設定する。この第２眠気閾値βは、車速Ｖｃが高いときほど低いときよりも大きな値に設定されている。

次のステップＳ２７では、ばらつき量αと第２眠気閾値βとを比較して、ばらつき量αが第２眠気閾値βを超えた場合、眠気を催していると判定し、ステップＳ２８に進んで第２眠気検出フラグＦＳ２＝１に設定する。一方、ばらつき量αが第２眠気閾値βを超えない場合には、ステップＳ２９において、第２眠気検出フラグＦＳ２を初期値の０に設定する。すなわち、第２眠気検出フラグＦＳ２が１の場合に、第２眠気検出装置により運転者が眠気を催していると判定されていることになる。

次に、制御装置４における覚醒処理を図７のフローチャートに基づいて説明する。なお、この覚醒処理は、イグニッションスイッチ１３がＯＮになった時点で開始される。
ステップＳ３１では、第１眠気検出フラグＦＳ１＝１であるか否か判定し、ＦＳ１＝０の場合には、１回の処理を終了し、ＦＳ１＝１の場合、次のステップＳ３２に進む。
ステップＳ３２では、さらに、第２眠気検出フラグＦＳ２＝１であるか否か判定し、ＦＳ２＝０の場合には、１回の処理を終了し、ＦＳ２＝１の場合、次のステップＳ３３に進む。

ステップＳ３３では、現在、オーディオ装置Ａが楽曲再生中であるか否か判定し、再生中の場合には、ステップＳ３４に進んで、再生フラグＰＬを１に設定するとともに、現在再生中の楽曲データおよびその時点の音量を保存する。なお、この保存は、例えば、覚醒用楽曲保存装置１０を利用する。一方、楽曲の非再生中の場合は、ステップＳ３５に進んで、オーディオ装置Ａを起動させる。

次のステップＳ３６では、覚醒再生処理（覚醒作動）を実行する。この覚醒再生処理で覚醒用楽曲保存装置１０に保存された覚醒用楽曲を選択し再生する。また、この覚醒用楽曲の再生時には、その直前の再生音量に設定音量を加えて増大された音量と、あらかじめ設定された覚醒用音量と、のいずれか大きい方向の音量で再生を行う。なお、覚醒用音量とは、眠気を催した運転者を確実に覚醒できると想定して、あらかじめ設定された音量である。

次のステップＳ３７では、第１眠気検出フラグＦＳ１と第２眠気検出フラグＦＳ２のいずれかが初期値である０にリセットされたか否か判定し、両眠気検出フラグＦｓ１，ＦＳ２が共に１の場合は、ステップＳ３６の覚醒再生処理を繰り返す。一方、両眠気検出フラグＦＳ１，ＦＳ２のいずれかがリセットされた場合には、次のステップＳ３８に進んで設定時間Ｔ０が経過したか判定し、設定時間Ｔ０が経過したら、ステップＳ３９以降の終了処理を行う。

この終了処理では、まず、ステップＳ３９において、再生フラグＰＬ＝１であるか判定し、再生フラグＰＬ≠１の場合、すなわち、覚醒処理の実行前にオーディオ装置Ａが非再生状態である場合、ステップＳ４０に進んでオーディオ装置Ａを停止させる。その後、ステップＳ４１に進んで、第２カメラ１２の作動を停止させ、かつ、制御装置４による第２眠気検出処理を終了させる。
一方、再生フラグＰＬが１の場合には、ステップＳ４２に進んで、再生フラグＰＬを０にリセットした後、再生前の楽曲データおよび音量を読み込み、この再生を中断した楽曲の再生を、保存した音量で再開する。

次に、実施例１の作動を説明する。
車両の走行中は、常時、第１カメラ１１で運転者の顔を撮影し（ステップＳ１１）、制御装置４は、この撮影された顔の画像から眠気特徴量ＳＬを算出し（ステップＳ１２）、この眠気特徴量ＳＬと第１眠気閾値ＳＥ１との比較に基づいて、運転者が眠気を催しているか否か判定する（ステップＳ１３）。

したがって、運転者が眠気を催し、それが表情に表れた場合には、制御装置４が、眠気を催していると判定し、第１眠気検出フラグＦＳ１を１にセットする（ステップＳ１４）。すなわち、第１眠気検出装置が、運転者が眠気を催していると判定する。

この判定に基づいて、制御装置４は、さらに第２眠気検出処理を開始し、第２カメラ１２を起動させる（ステップＳ２１）。すなわち、第２カメラ１２は、後方確認用のもので、通常は、後退時あるいは停車時に撮影を行うものであるが、第１眠気検出処理により運転者が眠気を催していると判定した場合には、第２眠気判定処理を実行するために起動される。

そこで、制御装置４は、第２カメラ１２で撮像された車両後方の画像Ｇ１から俯瞰画像Ｇ２を生成し（ステップＳ２２）、この俯瞰画像Ｇ２上であらかじめ設定された輝度検出ラインにおける輝度差を算出し（ステップＳ２３）、これに基づいて白線ＨＷ１の位置座標を算出し（ステップＳ２４）、さらに、白線Ｗ１の位置座標の平均値における設定時間内の水平方向のばらつき量αを算出する（ステップＳ２５）。

ここで、運転者が眠気を催して、ハンドリングにふらつきが生じ、車両に蛇行要素が生じると、ばらつき量αが大きな値となることから、第２眠気閾値βを超えた時点で（ステップＳ２７）、第２眠気検出フラグＦＳ２を１に設定する（ステップＳ２８）。ここで、第２眠気閾値βは、車速Ｖｃが高くなるほど、大きな値を用いるようにしている。すなわち、ハンドリングがふらついた場合、車速Ｖｃが高い場合には低い場合よりも車両の横方向の移動量が大きくなる。そこで、白線Ｗ１のばらつき量αが示す車両挙動と眠気との相関が、車速Ｖｃによる影響を受けるのを抑えて、高い眠気検出精度を得ることができる。

上述の第１カメラ１１の画像に基づく眠気判定と、第２カメラ１２の画像Ｇ１に基づく眠気判定と、の両方で、運転者が眠気を催していると判定された場合、すなわち、第１眠気検出フラグＦＳ１と第２眠気検出フラグＦＳ２とが１に設定された場合、制御装置４では、ステップＳ３１とステップＳ３２とで、ＹＥＳと判定されることで覚醒再生処理が実行される（ステップＳ３６）。

この場合、覚醒再生処理の実行に先立ち、まず、オーディオ装置Ａが、楽曲の再生中であるか否か判定し（ステップＳ３３）、非再生中の場合は、オーディオ装置Ａを起動させる（ステップＳ３５）。一方、オーディオ装置Ａが楽曲再生中の場合は、再生フラグＰＬを１にセットし、その時点で再生中の楽曲の楽曲データおよび音量を保存する（ステップＳ３４）。

その後、制御装置４は、覚醒再生処理を実行する。この覚醒再生処理では、覚醒用楽曲保存装置１０に保存された楽曲の再生を行う。さらに、このときの音量は、保存された音量に設定音量を加えた音量と、あらかじめ設定された覚醒用音量と、のいずれか大きい方で行われる。

このため、覚醒再生処理の実行直前にオーディオ装置Ａが楽曲の再生中であった場合には、このときの再生音量よりも確実に大きな音量で、覚醒用楽曲の再生が行われる。
また、この覚醒再生処理直前にオーディオ装置Ａが楽曲再生を行っていない場合には、覚醒用楽曲が覚醒用音量で再生され、この場合も、覚醒に十分な音量で再生される。

この覚醒用楽曲は、内部楽曲保存装置６に保存された前楽曲のうちで、「力強さ」あるいは「激しさ」の程度を表す音圧変動に比例した第１特徴量Ｓｘと、楽曲の持つ「ビートの強さ」や「メリハリの強さ」の程度を表す音圧平均値に比例した第２特徴量Ｓｙと、の両方が最も大きな値を持つ刺激性、すなわち、覚醒性の強い楽曲である。
したがって、高い覚醒性能が得られる。

この覚醒用楽曲の再生は、第１カメラ１１の画像（顔）に基づく眠気判定と、第２カメラ１２の画像（白線Ｗ１）に基づく眠気判定と、のいずれかにより、眠気を催していると判定されなくなり、第１眠気検出フラグＦＳ１と第２眠気検出フラグＦＳ２とのいずれかが０にリセットされ、かつ、その状態が設定時間Ｔ０を超えて維持されて覚醒したことが確実になった時点で停止される（ステップＳ３７〜Ｓ４０、Ｓ４２）。

この場合、覚醒再生処理以前に楽曲の再生がなされていなかった場合には、オーディオ装置Ａが停止される（ステップＳ４０）。一方、覚醒再生処理以前に楽曲の再生が行われていた場合には、元の楽曲の再生が元の音量で再開される（ステップＳ４２）。
さらに、第２カメラ１２の作動が停止され、かつ、制御装置４における第２眠気検出処理も終了され、第１カメラ１１の画像に基づく、第１眠気検出処理のみが実行される（ステップＳ４１）。

以上説明したように、本実施例１では、以下に列挙する効果が得られる。
１）第１カメラ１１で撮影した運転者の顔部分の画像に基づく第１眠気検出処理と、第２カメラ１２で撮影した道路上の白線Ｗ１に基づく第２眠気検出処理と、の両方の処理により眠気を催したと判定される場合に、覚醒再生処理を行うようにしたため、いずれか一方の眠気検出処理のみにより眠気判定を行うものと比較して、眠気の判定精度を向上させることができる。すなわち、運転者の表情の個人差に基づく誤検出や、意図的に蛇行運転させた場合の誤検出などを排除して、眠気の判定精度を向上させることができる。
２）俯瞰画像Ｇ２上の白線ＨＷ１に反映された車両の挙動に基づく眠気判定と、運転者の顔の動作に基づく眠気判定と、異なる要素に基づく眠気判定を行うため、上述のように２通りの眠気検出を行うにしても、例えば、運転者の２通りの動作に基づいて２通りの眠気検出を行ったり、車両の２種類の挙動に基づいて２通りの眠気検出を行ったりするものと比較して、いっそう精度の高い眠気検出を行うことができる。
３）両眠気検出処理は、それぞれ、第１カメラ１１と第２カメラ１２との撮像に基づいて検出を行い、この判定に、例えば、車両のＧセンサなどの車載センサの信号を用いなくてもよいため、装置としての独立性が高く、車載する場合、後付も可能であり、汎用性に優れる。
４）運転者が眠気を催していると判定した場合に、オーディオ装置Ａにより覚醒用楽曲を再生させる覚醒再生処理を実行するようにしたため、単に、眠気を促進させる楽曲の再生を控えるのと比較して、運転者の覚醒性能を向上させることができる。加えて、車載のオーディオ装置Ａを利用するため、新規に覚醒装置を付加するのと比較して、コスト的に有利である。
５）第１眠気検出処理と第２眠気検出処理とを、オーディオ装置Ａに搭載された制御装置４を用いて行うようにしたため、独立した制御装置を用いるものと比較して、安価に構成することができるとともに、汎用性に優れる。
６）覚醒再生処理時に、覚醒用楽曲を再生させることで、例えば、オーディオ装置Ａを再生作動させているときに覚醒作動を実行する場合、この覚醒作動時にブザー音などを用いた覚醒作動を行うものと比較すると、覚醒作動音が、再生される楽曲の音で聞き取れない不具合が生じるおそれがなく、高い覚醒性能を得ることができる。
７）制御装置４の覚醒用楽曲設定処理において、オーディオ装置Ａにおける楽曲保存時の分析結果に基づいて覚醒用楽曲を選択するため、例えば、運転者による設定などが不要であるとともに、運転者の嗜好に合致する楽曲の中から選択されることで、あらかじめ覚醒用楽曲を入力しているものと比較して、運転者に違和感を与えることが少ない。
８）覚醒用楽曲として、覚醒用楽曲設定処理により選択した曲に加えて、運転者が保存した楽曲の中から任意の楽曲を任意に選択することが可能であるため、個人個人に最適の覚醒用楽曲を設定可能であり、覚醒性能を向上できる。
９）オーディオ装置Ａの楽曲再生中に運転者が眠気を催していると判定した場合には、再生中の楽曲の再生を中止し、覚醒用楽曲を再生させるとともに、音量を上昇させるようにした。したがって、楽曲の再生中でも、運転者に確実に覚醒用楽曲を聴かせて覚醒を図るとともに、音量上昇により刺激を高めて、覚醒性能の向上を図ることができる。
１０）第２カメラ１２として、車両の後方確認用のカメラを用いたため、新規にカメラを設置するものと比較して、装置の低コスト化を図ることができる。
１１）白線Ｗ１の水平方向のばらつき量αと第２眠気閾値βとの比較に基づいて、運転者の眠気の程度を判定するようにしたため、車両挙動と道路との関係を的確に検出でき、高い眠気検出精度が得られる。
１２）第２眠気閾値βを、車速Ｖｃに応じて変更するようにしたため、白線Ｗ１のばらつき量αが示す車両挙動と眠気との相関が、車速Ｖｃによる影響を受けるのを抑えて、高い眠気検出精度を得ることができる。
１３）覚醒用楽曲として、「力強さ」あるいは「激しさ」の程度を表す音圧変動に比例した第１特徴量Ｓｘと、楽曲の持つ「ビートの強さ」や「メリハリの強さ」の程度を表す音圧平均値に比例した第２特徴量Ｓｙと、を基準にしてこれらの値Ｓｘ，Ｓｙが大きな楽曲を選択するようにしたため、覚醒用楽曲として、覚醒性に優れた楽曲を的確に設定することができる。

以上、図面を参照して、本発明の実施の形態の実施例１を詳述してきたが、具体的な構成は、この実施例１に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。

すなわち、実施例１では、眠気覚醒装置として、覚醒装置として車載のオーディオ装置を用い、かつ、眠気覚醒装置をオーディオ装置に搭載した例を示したが、これに限定されない。例えば、運転者の聴覚に刺激を与える覚醒装置として、オーディオ装置を用いずに、専用のブザー音や音声などを発生させるスピーカを用いて覚醒作動を行うようにしてもよい。また、覚醒装置としては、運転者の聴覚に刺激を与えるものの他に、運転者の身体の触覚に刺激を与える装置（例えば、シートやステアリングを振動させ装置）を用いたり、光になどを用いて運転者の視覚に対して刺激を与える装置を用いたりしてもよい。さらには、これらを複数組み合わせて使用することも可能である。

さらに、実施例１では、覚醒作動として覚醒用楽曲を再生させるようにしたが、このような覚醒を促す作動と同時に、急な覚醒に伴う車両挙動の急変を抑制させる抑制作動を、あらかじめ設定された時間だけ実行させるようにしてもよい。この抑制作動としては、例えば、ステアリングの操舵抵抗を高めたり、アクセル操作に対応した駆動変化量を抑制させたりすることが挙げられる。

また、実施例１では、内部楽曲保存装置６としてハードディスクドライブを用いた例を示したが、これ以外の記憶媒体を用いることもできる。

また、実施例１では、楽曲を分析して得られる特徴量として、曲全体の音圧変動の大きさに比例した第１特徴量Ｓｘと、曲全体の音圧平均値に比例した、第２特徴量Ｓｙと、を用いた例を示したが、この特徴量としては、これ以外の分析可能な値を用いてもよい。
一例としては、楽曲全体に亘って平均化された振幅データの変動具合を統計量である分散（標準偏差）によって表現した曲全体における振幅分布状況を表す統計量で定義される抑揚度と、楽曲の１曲の全体における周波数分布の比率で定義される周波数比と、を挙げることができる。
また、上記の抑揚度と周波数比以外にも、楽曲の特徴量を、テンポ、ビートなどの直接的音楽特徴量を用いて、テンポの速さ、ビートの激しさ、音程の上下変化量を特徴量とすることもできる。

したがって、覚醒用楽曲が有する特性として、実施例１では、第１特徴量Ｓｘと第２特徴量Ｓｙとが大きな値の楽曲を用いたが、覚醒用楽曲は、このような特性の楽曲に限定されない。例えば、上述した、テンポの速さ、ビートの激しさ、音程上下変化量の大きさ、両特徴量Ｓｘ，Ｓｙの大きさ、抑揚度の大きさ、周波数比の大きさ、の少なくともいずれか１つを基準に設定してもよいし、これらを複数組み合わせて設定してもよい。

また、実施例１では、覚醒用楽曲として、覚醒用楽曲設定処理により選択された楽曲と、運転者が任意に設定した楽曲と、のいずれを用いることもできるようにしたが、これらのいずれか一方のみを用いるようにしてもよい。すなわち、楽曲分析装置を有しない場合には、任意に設定した楽曲あるいはあらかじめ設定された楽曲を、覚醒用楽曲として用いるようにしてもよい。

また、実施例１では、第２眠気閾値βを車速Ｖｃに応じて可変としたが、この第２眠気閾値βとして一定値を用いるようにしてもよい。
さらに、この第２眠気閾値βを一定とし、ばらつき量αを求めるのに白線Ｗ１を読み込む時間を、車速Ｖｃに応じて、車速Ｖｃが高いほど、この時間を短く設定し、上述したばらつき量αと第２眠気閾値βとの相関が、車速Ｖｃに影響を受けないようにすることもできる。

また、実施例１では、第２カメラ１２として、車両の後方監視用のものを用いた例を示したが、この第２カメラは、車両の操舵状態を検出可能に道路上の白線を撮像可能なものであれば、後方監視用のものに限定されず、車両前部や側部に設けられた、カメラを用いることもできる。また、この場合、白線撮像専用のカメラを用いてもよいし、車両の走行制御支援用や死角確認用のカメラを兼用させてもよい。

本発明の実施の形態の実施例１のオーディオ装置Ａの構成を示すブロック図である。 実施例１において第２カメラ１２で撮影した画像Ｇ１を示す説明図である。 前記画像Ｇ１を変換した俯瞰画像Ｇ２を示す説明図である。 実施例１の制御装置４が実行する再生処理の流れを示すフローチャートである。 実施例１の制御装置４が実行する、第１カメラ１１の画像により運転者の眠気を検出する第１眠気検出処理の流れを示すフローチャートである。 実施例１の制御装置４が実行する、第２カメラ１２の画像により運転者の眠気を検出する第２眠気検出処理の流れを示すフローチャートである。 実施例１の制御装置４が実行する覚醒処理の流れを示すフローチャートである。

符号の説明

４ 制御装置
５ メディア駆動装置
６ 内部楽曲保存装置
７ 楽曲検索用情報保存装置
８ 楽曲分析装置
９ ユーザインタフェース装置
１０ 覚醒用楽曲保存装置
１１ 第１カメラ
１２ 第２カメラ
１３ イグニッションスイッチ
Ａ オーディオ装置（眠気覚醒装置、覚醒装置）
ＦＳ１ 第１眠気検出フラグ
ＦＳ２ 第２眠気検出フラグ
Ｇ１ 画像
Ｇ２ 俯瞰画像
ＨＷ１，ＨＷ２，ＨＷ３ 白線
Ｗ１，Ｗ２，Ｗ３ 白線
α ばらつき量
β 第２眠気閾値（設定値）

Claims (7)

1. 車載の第１カメラで撮像された運転者の顔部分の画像に基づいて眠気を検出する第１眠気検出装置と、
   車載の第２カメラで撮像された道路上の白線に基づいて運転者の眠気を検出する第２眠気検出装置と、
   両眠気検出装置により共に運転者が眠気を催していると判定した場合に、覚醒装置に覚醒作動を実行させる覚醒処理を行う制御装置と、
   を備えていることを特徴とする眠気覚醒装置。
2. 覚醒装置が、車載のオーディオ装置であり、
   前記覚醒作動で、前記オーディオ装置の楽曲保存装置に保存された覚醒用楽曲を再生させることを特徴とする請求項１に記載の眠気覚醒装置。
3. 前記オーディオ装置が、前記楽曲保存装置に保存する楽曲の分析を行う楽曲分析装置を備え、
   前記制御手段は、前記楽曲分析装置の分析結果に基づいて、前記楽曲保存装置に保存された楽曲の中から前記覚醒用楽曲を選択する覚醒用楽曲設定処理を実行することを特徴とする請求項２に記載の眠気覚醒装置。
4. 前記覚醒用楽曲が、前記楽曲保存装置に保存された楽曲の中から任意に選択された楽曲であることを特徴とする請求項２に記載の眠気覚醒装置。
5. 前記制御手段は、前記オーディオ装置の楽曲再生時に前記覚醒作動時を実行する場合、再生中の楽曲の再生を中断して前記覚醒用楽曲を再生させるとともに、この覚醒用楽曲の再生中は、再生音量を、覚醒作動前よりも上昇させることを特徴とする請求項２〜請求項４のいずれか１項に記載の眠気覚醒装置。
6. 前記第２カメラは、車両の後方を撮像するカメラであり、
   前記第２眠気検出装置は、前記第１眠気検出装置の眠気検出時に、前記第２カメラの撮像を開始するとともに、眠気検出を実行することを特徴とする請求項１〜請求項４のいずれか１項に記載の眠気覚醒装置。
7. 前記第２眠気検出装置は、白線の時間あたりの水平方向のばらつき量に基づき、ばらつき量が設定値を超えると眠気を催していると判定することを特徴とする請求項１〜請求項６のいずれか１項に記載の眠気覚醒装置。

Images