JP2010122897A - 眠気判定装置、プログラム - Google Patents

Abstract

【課題】眠気判定装置において、検出精度を向上させること。
【解決手段】眠気判定装置では、運転者が運転中である時の代表値である運転時特徴距離を、運転者が覚醒状態であるとみなせる時の代表値である覚醒距離と比較する。これにより、左右の大頬骨筋それぞれが弛緩状態であるか否かを判定し（Ｓ５２０，５４０）、さらに、運転者が開口行動を実行中であるか否かを判定して（Ｓ５６０）、その後、笑筋及び咬筋の両方が弛緩状態であるか否かを判定する（Ｓ５８０）。それらの判定の結果、運転者が開口行動を実行していない場合、弛緩状態である筋肉の数が多いほど運転者に生じている眠気が強いものと判定して、眠気レベルを導出する（Ｓ６００，６２０）。その後、運転者の眠気が低下するように、警告や注意を運転者に対して出力する（Ｓ６１０，６３０）。
【選択図】図９

Description

本発明は、人の眠気を判定する眠気判定装置、及びその眠気判定装置を構成する各手段としてコンピュータを機能させるためのプログラムに関する。

従来より、人（以下、検出対象者と称す）の顔面を被写体とした画像を撮影するカメラと、カメラで撮影した画像に基づいて、検出対象者の眠気を判定する眠気判定装置とを備えた眠気判定システムが知られている。

この眠気判定装置として、検出対象者があくびをかみ殺したことを検知すると、検出対象者に眠気が生じている（即ち、検出対象者の覚醒度が低下している）と判定するものが提案されている（例えば、特許文献１参照）。具体的には、特許文献１に記載の眠気判定装置では、左右の両口角の距離が、覚醒時における両口角の距離よりも長くなると、口周りの筋肉が収縮して、検出対象者は、あくびをかみ殺したものと判定している。
特開２００７−２６４７８５号公報

ところが、人に眠気が生じたとしても、必ずあくびをするとは限らず、また、あくびをする場合に、そのあくびを必ずかみ殺すとは限らない。

このため、あくびをかみ殺した時に初めて眠気が生じているものと判定する特許文献１に記載の眠気判定装置では、眠気が生じているにも拘わらず、あくびが出ない時や、あくびが出てもかみ殺さない時には、眠気が生じているものとして判定されないという問題があった。

つまり、特許文献１に記載の眠気判定装置では、検出対象者に眠気が生じていることを検出する検出精度が良くないという問題があった。

そこで、本発明は、人の眠気を判定する眠気判定装置において、検出精度を向上させることを目的とする。

上記目的を達成するためになされた本発明は、移動体に搭載される眠気判定装置である。

本願の発明者らが行った研究の結果、「検出対象者（即ち、乗員）に眠気が生じると口唇接続筋は弛緩する」という知見が得られた。本発明の眠気判定装置は、この知見に基づくものである。

その本発明の眠気判定装置では、人の口周りに存在し、眠気が生じると弛緩する複数の筋肉それぞれを口唇接続筋とし、筋肉状態判定手段が、移動体の乗員が有する口唇接続筋が弛緩した弛緩状態であるか否かを判定し、眠気判定手段が、筋肉状態判定手段にて、少なくとも一つの口唇接続筋が弛緩状態であると判定された場合、乗員に眠気が生じているものと判断する。

言い換えれば、本発明の眠気判定装置では、眠気により無意識に生じる現象を検出すると、乗員に眠気が生じているものと判定する。このため、本発明の眠気判定装置によれば、眠気が生じていることを検出する検出精度を向上させることができる。

ところで、検出対象者に生じている眠気が強いほど、複数ある口唇接続筋の中で多くの筋肉が弛緩する。

このため、本発明の眠気判定装置における眠気判定手段は、請求項２に記載のように、筋肉状態判定手段での判定の結果、弛緩状態である口唇接続筋の数が多いほど、眠気が強いものと判断するように構成されていても良い。

このように構成された眠気判定装置によれば、弛緩した筋肉の数に応じて、乗員に生じている眠気の強さをより適切に判定することができる。

さらに、眠気判定手段は、請求項３に記載のように、判断結果として、眠気が強いほど大きな値となる眠気度を導出するように構成されていても良い。

このように構成された本発明の眠気判定装置においては、請求項４に記載のように、眠気度が予め規定された規定値以上である場合、安全制御実行手段が、移動体の移動が安全になされるように移動体の搭載機器を制御する安全制御を実行するように構成されていても良い。

このように構成された眠気判定装置によれば、規定レベル以上の眠気が乗員に生じている場合には、安全制御を実行するため、移動体の運行を安全に実施させることができる。

なお、ここで言う安全制御とは、移動体を安全な位置に停止させるように、ブレーキ機構やパワトレ機構を制御することでも良いし、乗員を覚醒させるために乗員に対して刺激を与える（例えば、冷風を吹き付けたり、ラジオ等のオーディオ装置を作動させたりする）ように、空調制御装置や音響機器制御装置を制御することでも良い。さらに、ここで言う安全制御とは、乗員の眠気度が規定値以上であることを乗員に対して報知するように、モニタに警告を表示したり、スピーカを鳴動させたりすることでも良い。

また、本発明の眠気判定装置における筋肉状態検出手段は、請求項５に記載のように、人の顔面上で、口唇接続筋それぞれに連動して両者間の距離が変化する一対のポイントを特徴点とし、撮影画像取得手段が、乗員の顔面が写り込んだ撮影画像を取得し、特徴点抽出手段が、その取得した撮影画像の中から特徴点を抽出すると共に、特徴距離導出手段が、特徴点それぞれの間の距離である特徴距離を導出して、判定実行手段が、その導出された特徴距離を、その特徴距離の導出に用いた特徴点の間の覚醒時における距離である覚醒距離と比較することにより、弛緩状態であるか否かを判定するように構成されていても良い。

なお、発明者らが研究を行った結果、検出対象者に眠気が生じると、大頬骨筋が弛緩するとの知見が得られた。

このため、本発明の眠気判定装置において、判定実行手段により、弛緩状態であるか否かを判定する口唇接続筋の一つは、請求項６に記載のように、大頬骨筋であることが望ましい。

そして、本願の発明者らは、口唇接続筋の一つである大頬骨筋の状態を検出するための特徴点として、目尻と口角とを（即ち、目尻（頬骨弓）と口角と間の距離を特徴距離として）規定して、実験を行った。この結果、図１０（Ａ）に示すように、特徴距離は、眠気が強いほど長くなることが明らかとなった。なお、図１０（Ａ）に示すグラフは、横軸に眠気レベル（本発明の眠気度に相当：数値が大きいほど検出対象者に生じている眠気が強い）をとり、縦軸に特徴距離をとったものである。ただし、眠気レベル０が覚醒状態における実験結果（即ち、覚醒距離）を表すものである。

したがって、特徴点として、目尻と口角とが規定されている場合、本発明の眠気判定装置における判定実行手段は、請求項７に記載のように、特徴距離が覚醒距離よりも長くなると、大頬骨筋が弛緩状態であるものと判定するように構成されていることが望ましい。

また、発明者らが実験を行った結果、検出対象者に眠気が生じると、笑筋または咬筋の両方が弛緩するとの知見が得られた。

このため、本発明の眠気判定装置において、判定実行手段により、弛緩状態であるか否かを判定する口唇接続筋とは、請求項８に記載のように笑筋及び咬筋であることが望ましい。

そして、本願の発明者らは、笑筋及び咬筋が弛緩したか否かを判定するための特徴点として、唇の上端と下端とを（即ち、唇の上下端の間の唇縦距離を特徴距離として）規定して、実験を行った。この結果、図１０（Ｂ）に示すように、特徴距離は、検出対象者に眠気が生じると覚醒時に比べて長くなることが明らかとなった。なお、図１０（Ｂ）に示すグラフは、横軸に眠気レベルをとり、縦軸に特徴距離（即ち、唇縦距離）をとったものである。

また、本願の発明者らは、笑筋及び咬筋が弛緩したか否かを判定するための特徴点として、左右の口角を（即ち、左右の口角の間の唇横距離を特徴距離として）規定して、実験を行った。この結果、図１０（Ｃ）に示すように、特徴距離は、検出対象者に眠気が生じると覚醒時に比べて短くなることが明らかとなった。なお、図１０（Ｃ）に示すグラフは、横軸に眠気レベルをとり、縦軸に特徴距離（即ち、唇横距離）をとったものである。ただし、図１０（Ｂ），（Ｃ）に示すグラフは、眠気レベル０が覚醒状態における実験結果（即ち、覚醒距離）を表すものである。

これらのことから、特徴点として、唇の上下端、及び左右の両口角を規定し、さらに、特徴距離として、唇の上下端の間の唇縦距離、及び左右の口角の間の唇横距離を規定した場合、本発明の眠気判定装置における状態判定手段は、唇縦距離がその唇縦距離に対応する覚醒距離よりも長く、かつ唇横距離がその唇横距離に対応する覚醒距離よりも短くなると、笑筋及び咬筋の両方が弛緩状態であるものと判定するように構成されていることが望ましい。

ところで、例えば、検出対象者が、発話や咀嚼といった下あごを上下に動かす行動を実施した場合、大頬骨筋は、眠気が生じた時とは異なり収縮する。このため、口角と目尻との間の距離からなる特徴距離は、覚醒距離よりも距離が短い範囲である規定範囲内となる。また、検出対象者が、あくびや口笛を吹くといった口をすぼめる行動を実施した場合、唇横距離は、唇縦距離よりも短く、かつ覚醒している時の唇横距離に比べて短い範囲である規定範囲内となる。

つまり、意識的に行う必要のある特定行動を検出対象者が実施している時には、その検出対象者に眠気が生じていない可能性が高く、特徴距離は、眠気が生じている時とは異なる距離の範囲内となる。

この時（即ち、乗員が意識的に特定行動を実施している時点で）、眠気の判定を回避することにより、検出対象者に、眠気が生じていないにも拘わらず、眠気が生じているものと判定することを防止できる。

そこで、乗員が覚醒時に実施する特定行動により変化する特徴距離の範囲を規定範囲とした場合、本発明の眠気判定装置は、請求項１０に記載のように、特徴距離が規定範囲内であれば、判定回避手段が、眠気判定手段による眠気の判定を回避するように構成されていることが望ましい。

ところで、本発明は、請求項１１に記載のように、プログラムとしてなされたものでも良い。

このようなプログラムとして本発明がなされた場合、例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードさせて起動することにより用いることができる。

以下に本発明の実施形態を図面と共に説明する。

図１は、本発明が適用され、自動車に搭載される眠気警報システムの概略構成を示したブロック図であり、図２は、眠気警報システムを構成する各部が車室内に配置された様子を示した説明図である。
〈眠気警報システムの全体構成について〉
この眠気警報システム１は、運転者の口周りに存在し、かつ眠気が生じると弛緩する筋肉それぞれ（以下、口唇接続筋とする）の弛緩状態を判定し、その判定の結果に従って、運転者に生じている眠気の強さ（以下、眠気レベルと称す）を導出して、車載機器を制御するものである。

これを実現するため、図１，２に示すように、眠気警報システム１は、レンズを運転席へと向けてインストルメントパネル内に配置され、運転者の顔面を含む画像を撮影するカメラ２０と、カメラ２０にて撮影された画像に基づいて、口唇接続筋が弛緩状態であるか否かを判定して、眠気レベルを算出し、その算出された眠気レベルに従って車載機器を制御する眠気判定装置１０と、当該眠気警報システム１を起動する起動信号、及び当該眠気警報システム１の作動を停止する終了信号を使用者（即ち、乗員）に入力させるためのスイッチ３０とを備えている。さらに、眠気警報システム１は、車載機器として、インストルメントパネル上に配置され、車室内に警報を出力する警報装置１５と、運転席のヘッドレスト内に設けられ、運転者に冷風を吹き付ける冷風送気装置２１と、車載ラジオやＣＤプレーヤなどの音響機器を制御する音響機器制御装置２５と、車両に備えられたブレーキの制動力を制御するブレーキ制御装置２７とを備えている。

このうち、カメラ２０は、予め規定された時間間隔（例えば、１／３０ｓ）にて、レンズを介して撮像素子が受光することにより、その時間間隔毎に画像を撮影する周知のデジタルカメラである。以下では、カメラ２０にて撮影された画像を撮影画像と称す。

また、警報装置１５は、眠気判定装置１０から出力される音声信号に従って鳴動するスピーカ１６と、眠気判定装置１０から出力される映像信号に従って画像を表示するモニタ１７とを備えている。そのモニタ１７は、運転席に着座した運転者が視認可能なように、インストルメントパネル上に配置されている。

さらに、冷風送気装置２１は、運転席に着座した運転者に冷風を吹きかける周知のものであり、眠気判定装置１０からの制御指令に従って、運転者に冷風を吹き付けるように構成されている。

また、音響機器制御装置２５は、眠気判定装置１０からの制御指令に従って、音響機器を制御し、音響機器のスイッチや音量、チャンネルや楽曲などを切り替えるように構成されている。

さらに、ブレーキ制御装置２７は、眠気判定装置１０からの制御指令に従って、ブレーキ油圧回路に備えられた増圧制御弁・減圧制御弁を開閉するブレーキアクチュエータを制御するように構成されている。
〈眠気判定装置について〉
一方、眠気判定装置１０は、カメラ２０から取得した撮影画像に対して画像処理を実行するものである。このため、眠気判定装置１０は、電源が切断されても内容を保持する必要のあるデータや処理プログラムを記憶するＲＯＭ１０ａと、処理途中で一時的に生じたデータを格納するＲＡＭ１０ｂと、ＲＯＭ１０ａやＲＡＭ１０ｂに記憶された処理プログラムを実行するＣＰＵ１０ｃとを備えた周知のマイクロコンピュータを中心に構成されている。

その眠気判定装置１０は、カメラ２０から取得した撮影画像から、人の顔面上にて、口唇接続筋それぞれに連動して両者間の距離が変化する一対のポイント（即ち、座標）を検出し、それらのポイント間の距離である特徴距離を導出する表情情報取得処理を実行するように構成されている。なお、本実施形態では、以下、一対のポイントを構成する各ポイントを特徴点とし、一対のポイントを特徴点ペアと称す。

その特徴点ペアとして、本実施形態では、図３に示すように、左目尻（以下、特徴点座標を（ｘ１，ｙ１，ｚ１）とする）と左口角（ｘ３，ｙ３，ｚ３）との組合せ、右目尻（ｘ２，ｙ２，ｚ２）と右口角（ｘ４，ｙ４，ｚ４）との組合せが規定されている。すなわち、特徴距離として、左目尻（ｘ１，ｙ１，ｚ１）と左口角（ｘ３，ｙ３，ｚ３）の間の距離（以下、左頬距離Ｌと称す）と、右目尻（ｘ２，ｙ２，ｚ２）と右口角（ｘ４，ｙ４，ｚ４）との間の距離（以下、右頬距離Ｒと称す）とがある。

また、本実施形態における特徴点ペアとしては、図４に示すように、左の口角（ｘ３，ｙ３，ｚ３）と右の口角（ｘ４，ｙ４，ｚ４）との組合せ、上唇の上端（ｘ５，ｙ５，ｚ５）と下唇の下端（ｘ６，ｙ６，ｚ６）との組合せが規定されている。すなわち、特徴距離として、左の口角（ｘ３，ｙ３，ｚ３）と右の口角（ｘ４，ｙ４，ｚ４）との間の距離（以下、唇横距離Ｂｈと称す）と、上唇の上端（ｘ５，ｙ５，ｚ５）と下唇の下端（ｘ６，ｙ６，ｚ６）との間の距離（以下、唇縦距離Ｂｖと称す）とがある。

ところで、眠気判定装置１０のＲＯＭ１０ａには、運転者が覚醒状態である時に取得した撮影画像に基づいて導出した各特徴距離に従って、覚醒時における特徴距離それぞれについての代表値（以下、覚醒距離とする）を導出する覚醒時データ収集処理をＣＰＵ１０ｃが実行するための処理プログラムが格納されている。

さらに、ＲＯＭ１０ａには、撮影画像に基づいて導出した特徴距離それぞれについての代表値（以下運転時特徴距離と称す）を、覚醒距離と比較することにより、口唇接続筋それぞれが弛緩状態であるか否かを判定し、その判定結果から眠気レベルを導出すると共に、その導出された眠気レベルに従って車載機器を制御する眠気警報処理をＣＰＵ１０ｃが実行するための処理プログラム等が格納されている。

なお、以下では、眠気判定装置１０のＲＡＭ１０ｂにおいて、眠気警報処理の実行途中で一時的に導出されるデータを格納する領域を一時格納領域と称し、眠気警報処理により導出される特徴距離を格納する領域を特徴距離格納領域と称し、覚醒距離それぞれを格納する領域を覚醒距離納領域と称す。
〈眠気警報処理について〉
次に、ＣＰＵ１０ｃが実行する眠気警報処理について説明する。

ここで、図５は、眠気警報処理の処理手順を示すフローチャートである。

この眠気警報処理は、起動指令が入力された（即ち、乗員が操作することによりスイッチ３０がＯＮされた）時に起動されるものである。

そして、眠気警報処理が起動されると、図５に示すように、まず、Ｓ１０では、覚醒時データ収集処理を実行する。これにより、覚醒距離それぞれが導出され、その導出された各覚醒距離がＲＡＭ１０ｂの覚醒距離格納領域に格納される。

つまり、本実施形態のＳ１０では、眠気警報システム１が起動された直後（例えば、運転者が車両に乗り込んだ直後）に、カメラ２０から取得する撮影画像に基づいて導出した特徴距離に従って、覚醒距離それぞれを導出する。これは、運転者が車両に乗り込んだ直後であれば、運転者に眠気が生じていない可能性が高く、運転者が覚醒状態であるものとみなせるためである。

続く、Ｓ３０では、カメラ２０から取得した撮影画像に基づいて特徴距離それぞれを導出し、その導出した特徴距離に従って運転時特徴距離を導出する運転時データ収集処理を実行する。

そして、Ｓ５０では、Ｓ３０で導出された運転時特徴距離を、Ｓ１０で導出された覚醒距離と比較することにより、口唇接続筋それぞれが弛緩状態であるか否かを判定し、その判定結果から眠気レベルを導出すると共に、車載機器を制御する眠気判定処理を実行する。

さらに、Ｓ７０では、終了指令が入力された（即ち、乗員が操作することによりスイッチ３０がＯＦＦされた）か否かを判定する。その判定の結果、終了指令が入力されていなければ、Ｓ３０へと戻り、終了指令が入力されるまで、Ｓ３０での運転時データ収集処理、及びＳ５０での眠気判定処理を繰り返す。一方、Ｓ７０での判定の結果、終了指令が入力されていれば、本眠気警報処理を終了する。
〈表情情報取得処理について〉
次に、覚醒時データ収集処理、及び運転時データ収集処理の両方にて実行される表情情報取得処理について説明する。この表情情報取得処理は、カメラ２０から取得した撮影画像に基づき、特徴距離それぞれを導出するためのものである。

ここで、図７は、表情情報取得処理の処理手順を示したフローチャートである。

この表情情報取得処理は、起動されると、まず、図７に示すように、Ｓ８１０にて、第二カウント値ｊを初期値（本実施形態では、０）に設定する。

続く、Ｓ８２０では、カメラ２０より撮影画像を取得する。そして、Ｓ８３０では、Ｓ８２０にて取得した撮影画像に対して周知の画像解析を実行して、各特徴点（即ち、座標）を検出する。

つまり、このＳ８３０での処理が実行されることにより、左目尻（ｘ１，ｙ１，ｚ１），右目尻（ｘ２，ｙ２，ｚ２），左口角（ｘ３，ｙ３，ｚ３），右口角（ｘ４，ｙ４，ｚ４），上唇の上端（ｘ５，ｙ５，ｚ５），下唇の下端（ｘ６，ｙ６，ｚ６）が、両撮影画像から検出される。なお、特徴点を抽出する技術は、特開平０９−２７００１０号公報に記載のように周知であるため、ここでの詳しい説明は省略する。

そして、Ｓ８４０では、Ｓ８３０で検出した各特徴点に基づいて、特徴距離（即ち、左頬距離Ｌ、右頬距離Ｒ、唇縦距離Ｂｖ、唇横距離Ｂｈ）それぞれを導出して、それらの導出した特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈを、ＲＡＭ１０ｂの特徴距離格納領域に格納する。

具体的に、本実施形態では、Ｓ８２０で導出された各特徴点の座標を、次の各式に代入することで、各特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈを導出する。
Ｌ＝｛（ｘ１−ｘ３）²＋（ｙ１−ｙ３）²＋（ｚ１−ｚ３）²｝^(1/2)
Ｒ＝｛（ｘ２−ｘ４）²＋（ｙ２−ｙ４）²＋（ｚ２−ｚ４）²｝^(1/2)
Ｂｖ＝｛（ｘ５−ｘ６）²＋（ｙ５−ｙ６）²＋（ｚ５−ｚ６）²｝^(1/2)
Ｂｈ＝｛（ｘ３−ｘ４）²＋（ｙ３−ｙ４）²＋（ｚ３−ｚ４）²｝^(1/2)
そして、Ｓ８５０では、第二カウント値ｊをインクリメント（ｊ＝ｊ＋１）して、Ｓ８６０へと進む。

そのＳ８６０では、第二カウント値ｊが設定数ｍ未満であるか否かを判定する。そして、判定の結果、第二カウント値ｊが設定数ｍ未満であれば、Ｓ８２０へと戻る。一方、第二カウント値ｊが設定数ｍ以上となると、本表情情報取得処理を終了して、覚醒時データ収集処理または運転時データ収集処理へと戻る。

なお、本実施形態における設定数ｍは、予め設定された設定時間（例えば、２秒）の間に、カメラ２０から取得可能な撮影画像の枚数（例えば、６０）である。

つまり、本実施形態における表情情報取得処理では、カメラ２０から撮影画像を取得する毎に、その取得した撮影画像から全ての特徴点を検出して、それぞれの特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈを導出する。そして、表情情報取得処理では、カメラ２０から取得した撮影画像の枚数が設定数ｍとなるまで、特徴距離の導出をくり返す。したがって、表情情報取得処理を実行することにより、ＲＡＭ１０ｂの特徴距離格納領域には、特徴距離それぞれについて設定数ｍ個ずつ格納されることになる。
〈覚醒時データ収集処理について〉
次に、眠気警報処理のＳ１０にて実行される覚醒時データ収集処理について説明する。

ここで、図６は、覚醒時データ収集処理の処理手順を示したフローチャートである。

この覚醒時データ収集処理は、起動されると、図６に示すように、まず、Ｓ１１０にて、ＲＡＭ１０ｂの一時格納領域、特徴距離格納領域、及び覚醒距離格納領域に格納されているデータ（即ち、特徴距離、運転時特徴距離、及び覚醒距離）を初期化（即ち、消去）する。続く、Ｓ１２０では、第一カウント値ｉを初期値（即ち、０）に設定する。

そして、Ｓ１３０では、表情情報取得処理を実行する。つまり、Ｓ１３０では、表情情報取得処理を実行することにより、予め設定された設定時間（例えば、２秒）の間に撮影された撮影画像の枚数分だけ、特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈが導出され、その導出された全特徴距離Ｌ，Ｒ，Ｂｖ，ＢｈがＲＡＭ１０ｂの特徴距離格納領域に格納される。

続く、Ｓ１４０では、今サイクル（ここでは、Ｓ１３０からＳ１７０までの一連のステップを表す）におけるＳ１３０の表情情報取得処理にて導出された特徴距離それぞれ（即ち、左頬距離Ｌ、右頬距離Ｒ、唇横距離Ｂｈ、唇縦距離Ｂｖ）について、予め規定された基準を満たす基準値を導出する。以下、左頬距離Ｌ、右頬距離Ｒ、唇横距離Ｂｈ、唇縦距離Ｂｖそれぞれの基準値には、符合ａを付す。つまり、左頬距離Ｌの基準値であれば、左頬距離Ｌａと記載する。

具体的に、本実施形態のＳ１４０では、ＲＡＭ１０ｂの特徴距離格納領域に格納されている各特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈを全て読み出し、それらの各特徴距離について度数分布を求める。そして、それぞれの特徴距離についての度数分布に基づき、各特徴距離についての基準値Ｌａ，Ｒａ，Ｂｖａ，Ｂｈａを導出し、ＲＡＭ１０ｂの一時格納領域に格納する。

より具体的には、左頬距離Ｌ、右頬距離Ｒ、唇縦距離Ｂｖのそれぞれについては、それぞれの度数分布において、累積相対度数が最大値から５％となる値を基準値（即ち、左頬距離Ｌａ、右頬距離Ｒａ、唇縦距離Ｂｖａ）として導出する。また、唇横距離Ｂｈについては、唇横距離Ｂｈの度数分布において、累積相対度数が最小値から５％となる値を、基準値（即ち、唇横距離Ｂｈａ）として導出する。

そして、Ｓ１５０では、ＲＡＭ１０ｂの特徴距離格納領域に格納されている特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈを削除する。続く、Ｓ１６０では、第一カウント値ｉをインクリメント（ｉ＝ｉ＋１）する。

さらに、Ｓ１７０では、第一カウント値ｉが、所定値ｎ未満であるか否かを判定し、判定の結果、第一カウント値ｉが所定値ｎ未満であれば、Ｓ１３０へと戻り、第一カウント値ｉが所定値ｎ以上となると、Ｓ１８０へと進む。

なお、所定値ｎは、覚醒距離を導出するために必要な基準値それぞれの個数（例えば、６０）として予め規定されたものである。したがって、本実施形態のＳ１７０では、特徴距離が、ＲＡＭ１０ｂの特徴距離格納領域に、所定値ｎだけ格納されていなければ、所定値ｎだけ格納されるまで、表情情報取得処理を繰り返し、所定値ｎだけ格納されていれば、Ｓ１８０へと進む。

そのＳ１８０では、Ｓ１４０で導出された各特徴距離の基準値Ｌａ，Ｒａ，Ｂｖａ，Ｂｈａに基づいて、それぞれの特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈについての覚醒距離を導出し、その導出された覚醒距離を、ＲＡＭ１０ｂの覚醒距離格納領域に格納する。以下、左頬距離Ｌ、右頬距離Ｒ、唇横距離Ｂｈ、唇縦距離Ｂｖそれぞれの覚醒距離には、符合ｂを付す。つまり、左頬距離Ｌの基準値であれば、左頬距離Ｌｂと記載する。

具体的に、本実施形態では、ＲＡＭ１０ｂの一時格納領域に格納されている各特徴距離の基準値（即ち、左頬距離Ｌａ、右頬距離Ｒａ、唇縦距離Ｂｖａ、唇横距離Ｂｈａ）を全て読み出す。まず、各特徴距離それぞれの基準値Ｌａ，Ｒａ，Ｂｖａ，Ｂｈａについて、平均値μ、及び標準偏差σをそれぞれ導出すると共に、各特徴距離それぞれの基準値Ｌａ，Ｒａ，Ｂｖａ，Ｂｈａについて度数分布を求める。このとき、求められる度数分布は、正規分布としてみなせる可能性が高い。

そして、左頬距離Ｌ、右頬距離Ｒ、唇縦距離Ｂｖのそれぞれについては、それぞれの基準値についての度数分布において、μ＋２σとなる値を覚醒距離（即ち、左頬距離Ｌｂ、右頬距離Ｒｂ、唇縦距離Ｂｖｂ）として導出する。また、唇横距離Ｂｈについては、唇横距離Ｂｈの覚醒距離についての度数分布において、μ−２σとなる値を覚醒距離（即ち、唇横距離Ｂｈｂ）として導出する。

その後、眠気警報処理へと戻り、Ｓ３０の運転時データ収集処理へと進む。

つまり、本実施形態の覚醒時データ収集処理では、運転者が覚醒状態であるとみなせる時に撮影された撮影画像を取得し、その撮影画像から導出した特徴距離（即ち、左頬距離Ｌ、右頬距離Ｒ、唇縦距離Ｂｖ、唇横距離Ｂｈ）に従って、特徴距離それぞれについての覚醒距離（即ち、左頬距離Ｌｂ、右頬距離Ｒｂ、唇縦距離Ｂｖｂ、唇横距離Ｂｈｂ）を導出する。
〈運転時データ収集処理について〉
次に、眠気警報処理のＳ３０にて実行される運転時データ収集処理について説明する。

ここで、図８は、運転時データ収集処理の処理手順を示したフローチャートである。

この運転時データ収集処理は、起動されると、図８に示すように、まず、Ｓ３１０にて、ＲＡＭ１０ｂの一時格納領域に格納されている基準値Ｌａ，Ｒａ，Ｂｖａ，Ｂｈａ、及びＲＡＭ１０ｂの特徴距離格納領域に格納されている全ての特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈを初期化（即ち、削除）する。

続く、Ｓ３２０では、表情情報取得処理を実行する。つまり、Ｓ３２０では、表情情報取得処理を実行することにより、予め設定された設定時間（例えば、２秒）の間に撮影された撮影画像の枚数分だけ、特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈが導出され、その導出された全特徴距離Ｌ，Ｒ，Ｂｖ，ＢｈがＲＡＭ１０ｂの特徴距離格納領域に格納される。

そして、Ｓ３３０では、今サイクル（ここでは、今回、起動された運転時データ収集処理の１サイクルを表す）におけるＳ３２０（表情情報取得処理）にて導出された特徴距離それぞれ（即ち、左頬距離Ｌ、右頬距離Ｒ、唇横距離Ｂｈ、唇縦距離Ｂｖ）について、予め規定された基準を満たす値を運転時特徴距離として導出する。以下、左頬距離Ｌ、右頬距離Ｒ、唇横距離Ｂｈ、唇縦距離Ｂｖそれぞれの運転時特徴距離には、符合ｄを付す。つまり、左頬距離Ｌの運転時特徴距離であれば、左頬距離Ｌｄと記載する。

具体的に、本実施形態のＳ３３０では、ＲＡＭ１０ｂの特徴距離格納領域に格納されている各特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈを全て読み出し、それらの特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈそれぞれについて度数分布を求める。そして、それぞれの度数分布に基づき、各特徴距離についての運転時特徴距離Ｌｄ，Ｒｄ，Ｂｖｄ，Ｂｈｄを導出し、ＲＡＭ１０ｂの一時格納領域に格納する。

より具体的には、左頬距離Ｌ、右頬距離Ｒ、唇縦距離Ｂｖのそれぞれについては、それぞれの度数分布において、累積相対度数が最小値から５％となる値を運転時特徴距離（即ち、左頬距離Ｌｄ、右頬距離Ｒｄ、唇縦距離Ｂｖｄ）として導出する。また、唇横距離Ｂｈについては、唇横距離Ｂｈの度数分布において、累積相対度数が最大値から５％となる値を、運転時特徴距離（即ち、唇横距離Ｂｈｄ）として導出する。

そして、その後、本運転時データ処理を終了して、眠気警報処理へと戻る。

つまり、本実施形態の運転時データ収集処理では、運転者が運転中であるとみなせる時に撮影された撮影画像を取得し、その撮影画像から導出した特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈに従って、特徴距離それぞれについての運転時特徴距離（即ち、左頬距離Ｌｄ、右頬距離Ｒｄ、唇縦距離Ｂｖｄ、唇横距離Ｂｈｄ）を導出する。
〈眠気判定処理について〉
次に、眠気警報処理のＳ５０にて実行される眠気判定処理について説明する。

ここで、図９は、眠気判定処理の処理手順を示したフローチャートである。

この眠気判定処理は、起動されると、図９に示すように、まず、Ｓ５１０では、詳しくは後述する左頬フラグＬｆ，右頬フラグＲｆ，開口フラグＢａ，比率フラグＢｒを初期化する（即ち、ローレベルへと戻す）。

続く、Ｓ５２０では、左頬距離Ｌｄ（即ち、運転時特徴距離）が左頬距離Ｌｂ（即ち、覚醒距離）よりも長いか否かを判定する。

そして、判定の結果、左頬距離Ｌｄが左頬距離Ｌｂよりも長い場合、口唇接続筋の一つである左の大頬骨筋が弛緩状態であるものと判断して、Ｓ５３０へと進む。そのＳ５３０では、左頬フラグＬｆをハイレベル（Ｌｆ＝１）に設定して、Ｓ５４０へと進む。一方、Ｓ５２０での判定の結果、左頬距離Ｌｄが左頬距離Ｌｂ以下である場合、左の大頬骨筋が弛緩状態ではないものと判断し、左頬フラグＬｆをローレベル（Ｌｆ＝０）に維持したまま、Ｓ５４０へと進む。なお、左頬フラグＬｆは、左の大頬骨筋が弛緩状態であるか否かを表すものである。

そのＳ５４０では、右頬距離Ｒｄ（即ち、運転時特徴距離）が右頬距離Ｒｂ（即ち、覚醒距離）よりも長いか否かを判定する。

そして、判定の結果、右頬距離Ｒｄが右頬距離Ｒｂよりも長い場合、口唇接続筋の一つである右の大頬骨筋が弛緩状態であるものと判断して、Ｓ５５０へと進む。そのＳ５５０では、右頬フラグＲｆをハイレベル（Ｒｆ＝１）に設定して、Ｓ５６０へと進む。一方、Ｓ５４０での判定の結果、右頬距離Ｒｄが右頬距離Ｒｂ以下である場合、右の大頬骨筋が弛緩状態ではないものと判断し、右頬フラグＲｆをローレベル（Ｒｆ＝０）に維持したまま、Ｓ５６０へと進む。なお、右頬フラグＲｆは、右の大頬骨筋が弛緩状態であるか否かを表すものである。

続くＳ５６０では、唇横距離Ｂｈｄ（即ち、運転時特徴距離）が唇縦距離Ｂｖｄ（即ち、運転時特徴距離）よりも長いか否かを判定する。

そして、判定の結果、唇横距離Ｂｈｄが唇縦距離Ｂｖｄよりも長い場合、運転者があくびや口笛を吹くなどの口をすぼめる行動（以下、開口行動と称す）を実行中では無いものと判断して、Ｓ５７０へと進む。そのＳ５７０では、開口フラグＢａをハイレベル（Ｂａ＝１）に設定して、Ｓ５８０へと進む。一方、Ｓ５６０での判定の結果、唇横距離Ｂｈｄが唇縦距離Ｂｖｄ以下である場合、運転者が開口行動中であるものと判断し、開口フラグＢａをローレベル（Ｂａ＝０）に維持したまま、Ｓ５８０へと進む。なお、開口フラグＢａは、運転者が開口行動を実行中であるか否かを表すものである。

さらに、Ｓ５８０では、唇縦距離Ｂｖｄ（即ち、運転時特徴距離）を唇横距離Ｂｈｄ（即ち、運転時特徴距離）で除した運転時開口比率が、唇縦距離Ｂｖｂ（即ち、覚醒距離）を唇横距離Ｂｈｂ（即ち、覚醒距離）で除した覚醒時開口比率よりも大きいか否かを判定する。

そして、判定の結果、運転時開口比率が覚醒時開口比率よりも大きい、即ち、覚醒距離Ｂｖｂからの唇縦距離Ｂｖｄの伸び率が、覚醒距離Ｂｈｂからの唇横距離Ｂｈｄの伸び率よりも大きい場合、口唇接続筋を構成する笑筋、咬筋が弛緩状態であるものと判断して、Ｓ５９０へと進む。そのＳ５９０では、比率フラグＢｒをハイレベル（Ｂｒ＝１）に設定して、Ｓ６００へと進む。一方、Ｓ５８０での判定の結果、運転時開口比率が覚醒時開口比率以下である場合、笑筋，咬筋が弛緩状態ではないものと判断し、比率フラグＢｒをローレベル（Ｂｒ＝０）に維持したまま、Ｓ６００へと進む。なお、比率フラグＢｒは、笑筋，咬筋が弛緩状態であるか否かを表すものである。

そして、Ｓ６００では、左頬フラグＬｆ，右頬フラグＲｆ，開口フラグＢａ，比率フラグＢｒの全てが、ハイレベルであるか否かを判定する。

そのＳ６００での判定の結果、これらのフラグＬｆ，Ｒｆ，Ｂａ，Ｂｒ全てがハイレベルであれば、左右の両大頬骨筋、及び笑筋、咬筋が全て弛緩しており、しかも運転者が開口行動を実行中では無いため、運転者に眠気が生じているものと判断する。その結果、眠気の強さが下から２番目の眠気レベル２として、眠気レベルを導出し、Ｓ６１０へと進む。

さらに、Ｓ６１０では、運転者の眠気が低下（即ち、覚醒度が増加）するように、運転者に警告を出力するための音声信号及び映像信号を警報装置１５へと出力する。これにより、スピーカ１６から刺激音を出力し、運転者の眠気レベルがレベル２であることを示す画像をモニタ１７に表示する。さらに、冷風送気装置２１に対して制御指令を出力し、その制御指令を受信した冷風送気装置２１は、運転者に冷気を吹きかける。以下では、このＳ６１０にて出力する音声信号、映像信号、及び制御指令を第二レベル制御指令と称す。

一方、Ｓ６００での判定の結果、左頬フラグＬｆ，右頬フラグＲｆ，開口フラグＢａ，比率フラグＢｒの全てがハイレベルで無い、即ち、少なくとも一つがローレベルである場合、Ｓ６２０へと進む。

そのＳ６２０では、各種フラグＬｆ，Ｒｆ，Ｂａ，Ｂｒが、予め規定された規定条件を満たすか否かを判定する。なお、本実施形態では、「左頬フラグＬｆ，右頬フラグＲｆ，開口フラグＢａの全てがハイレベルであり、かつ比率フラグＢｒがローレベルである（即ち、比率フラグＢｒのみがローレベルである）こと」、または、「左頬フラグＬｆ，右頬フラグＲｆの少なくとも一方がローレベルであり、かつ開口フラグＢａ，比率フラグＢｒの何れもがハイレベルであること」が、規定条件として規定されている。

そして、Ｓ６２０での判定の結果、各種フラグＬｆ，Ｒｆ，Ｂａ，Ｂｒが規定条件を満たしている場合、笑筋及び咬筋の両方、及び左右両方の大頬骨筋のうち、いずれか一方が弛緩状態であることから、運転者にやや弱い眠気が生じているものと判断する。そして、眠気の強さが最も下の眠気レベル１として、眠気レベルを導出し、Ｓ６３０へと進む。

そのＳ６３０では、運転者の眠気が低下（即ち、覚醒度が増加）するように、運転者への注意を出力するための映像信号を警報装置１５へと出力すると共に、音響機器制御装置２５に対して制御指令を出力する。これにより、その制御指令を受信した音響機器制御装置２５は、音響機器を作動させ、音量を増加させると共に、チャンネルや楽曲を切り替える。さらに、映像信号を受信したモニタ１７は、運転者の眠気レベルがレベル１であることを示す画像を表示する。以下では、このＳ６３０で出力する映像信号及び制御指令を第一レベル制御指令と称す。

ところで、Ｓ６２０での判定の結果、各種フラグＬｆ，Ｒｆ，Ｂａ，Ｂｒが規定条件を満たしていない場合、眠気が生じていないことを表す眠気レベル０として、眠気レベルを導出して、Ｓ６４０へと進む。すなわち、笑筋及び咬筋の両方、及び左右両方の大頬骨筋それぞれが弛緩状態では無い場合、または運転者が開口行動を実行中である場合には、運転者に眠気が生じていない（即ち、覚醒状態である）ものと判断する。

そのＳ６４０では、運転者に眠気が生じていないことから、眠気レベル１以上となった場合に出力される第一，第二レベル制御指令の出力を禁止する。その後、Ｓ６５０へと進む。

なお、Ｓ６１０にて第二レベル制御指令を出力した後や、Ｓ６３０にて第一レベル制御指令を出力した後にも、Ｓ６５０へと進む。

そのＳ６５０では、ＲＡＭ１０ｂの特徴距離格納領域に格納されている左頬距離Ｌｄ、右頬距離Ｒｄ、唇縦距離Ｂｖｄ、唇横距離Ｂｈｄの全て（即ち、運転時特徴距離）を削除する。

そして、その後、眠気警報処理のＳ７０へと戻り、終了指令が入力されるまで、Ｓ３０での運転時データ収集処理、Ｓ５０での眠気判定処理を繰り返し実行する。

つまり、本実施形態の眠気判定処理では、左右の大頬骨筋それぞれが弛緩状態であるか否かを判定し、さらに、運転者が開口行動を実行中であるか否かを判定して、その後、笑筋及び咬筋の両方が弛緩状態であるか否かを判定する。そして、判定の結果、運転者が開口行動を実行していないと判断されると、それら大頬骨筋、笑筋及び咬筋が弛緩状態であるか否かの判定結果に基づいて、弛緩状態である筋肉の数が多いほど運転者に生じている眠気が強いものと判定して、眠気レベルを導出している。

さらに、本実施形態の眠気判定処理では、導出した眠気レベルに応じて、運転者の眠気が低下（即ち、覚醒度が増加）するように、警告や注意を運転者に対して出力する。
［実施形態の効果］
以上説明したように、本実施形態の眠気判定装置１０では、人に眠気が生じると口唇接続筋（即ち、大頬骨筋、笑筋及び咬筋）が弛緩するという、眠気により無意識に生じる現象を検出すると、運転者に眠気が生じているものと判定している。

したがって、本実施形態の眠気判定装置１０によれば、眠気が生じていることを検出する検出精度を向上させることができる。

そして、本実施形態の覚醒時データ収集処理では、特徴距離それぞれの基準値Ｌａ，Ｒａ，Ｂｖａ，Ｂｈａとして、特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈそれぞれの度数分布において、累積相対度数が最大値または最小値から５％となる値を導出している。これにより、本実施形態の覚醒時データ収集処理によれば、設定時間の間に導出された特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈの中でも、口唇接続筋が自然な（即ち、収縮も弛緩もしていない）状態、換言すれば、運転者が普通の表情をしている時のものを基準値Ｌａ，Ｒａ，Ｂｖａ，Ｂｈａとすることができる。

さらに、本実施形態の覚醒時データ収集処理では、特徴距離それぞれの覚醒距離Ｌｂ，Ｒｂ，Ｂｖｂ，Ｂｈｂとして、基準値Ｌａ，Ｒａ，Ｂｖａ，Ｂｈａそれぞれの度数分布において、μ＋２σまたはμ−２σとなる値を導出している。これにより、本実施形態の覚醒時データ収集処理によれば、所定値ｎ分の基準値Ｌａ，Ｒａ，Ｂｖａ，Ｂｈａの中でも、口唇接続筋が弛緩している状態に近い時のものを覚醒距離Ｌｂ、Ｒｂ，Ｂｖｂ，Ｂｈｂとすることができる。

また、本実施形態の運転時データ収集処理では、運転時特徴距離Ｌｄ，Ｒｄ，Ｂｖｄ，Ｂｈｄとして、特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈそれぞれの度数分布において、累積相対度数が最大値または最小値から５％となる値を導出している。これにより、本実施形態の運転時データ収集処理によれば、設定時間の間に導出した特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈの中でも、口唇接続筋が収縮している状態に近い時のものを運転時特徴距離Ｌｄ、Ｒｄ，Ｂｖｄ，Ｂｈｄとすることができる。

つまり、本実施形態の眠気判定処理では、導出された特徴距離の中で、収縮している状態に近い時の距離である運転時特徴距離Ｌｄ、Ｒｄ，Ｂｖｄ，Ｂｈｄを、弛緩している状態に近い時の距離である覚醒距離Ｌｂ、Ｒｂ，Ｂｖｂ，Ｂｈｂと比較することで、口唇接続筋が弛緩状態であるか否かを判定している。

この結果、本実施形態の眠気判定装置１０によれば、運転者に眠気が生じていないにも拘わらず、眠気が生じていると誤判定することを低減できる。

ところで、あくびや口笛を吹くといった口をすぼめる行動（即ち、開口行動）は、発生頻度が不確定である。しかし、その開口行動を運転者が実行すると、開口行動時に取得された撮影画像に基づく特徴距離Ｌ，Ｒ，Ｂｖ，Ｂｈは、その時に運転者に生じている眠気が正確に反映されたものではなくなる。例えば、運転者が開口行動を実行していれば、唇横距離Ｂｈｄは、唇縦距離Ｂｖｂに比べて短く、かつ唇横距離Ｂｈｂよりも短くなる。

このため、本実施形態の眠気判定処理では、唇横距離Ｂｈｄが唇縦距離Ｂｖｄよりも短くなると、運転者が開口行動を実行中であるものと判断して、運転者に眠気が生じていないことを表す眠気レベル０を導出している。

つまり、本実施形態の眠気判定装置１０によれば、運転者にとって不要な警告や注意が出力されることを防止でき、運転者が煩わしさを感じることを防止できる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限るものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

例えば、上記実施形態の眠気判定装置１０は、一台のカメラ２０にて撮影した画像から、各特徴点について奥行き（即ち、ｚ座標）も求めていたが、眠気判定装置１０は、二台のカメラにて同タイミングに撮影された画像から奥行きを求めてるように構成されていても良い。つまり、眠気警報システム１には、二台のカメラ２０が備えられていても良い。この場合、二台のカメラ２０は、車幅方向に予め規定された間隔を有して配置されていることが望ましい。

なお、眠気判定装置１０においては、奥行きを求めなくとも良い。

また、上記実施形態の眠気判定処理におけるＳ６２０では、「比率フラグＢｒのみがローレベル」であるか否か、または、「左頬フラグＬｆ，右頬フラグＲｆの少なくとも一方がローレベルであり、かつ開口フラグＢａ，比率フラグＢｒの何れもがハイレベル」であるか否かを判定していたが、Ｓ６２０における判定は、いずれか一方のみでも良い。

例えば、前者の判定のみを行う場合には、笑筋及び咬筋の両方が弛緩状態で無ければ、後者の判定のみを行う場合には、左右の大頬骨筋の一方が弛緩状態で無ければ、発話や咀嚼といった下あごを動かす行動を運転者が実行しているものと判断し、眠気レベルをレベル０として導出するようにしても良い。これは、大頬骨筋や笑筋、咬筋は、人が下あごをに動かす行動を意識的に実行する場合には、眠気が生じた時とは異なり収縮するという知見に基づくものである。

そして、Ｓ６２０での判定をいずれか一方のみとすれば、乗員が意識的に行動を実施している時点で、眠気の判定を回避することにより、運転者に、眠気が生じていないにも拘わらず、眠気が生じているものと判定することを防止できる。

さらに、上記実施形態の眠気判定処理におけるＳ６１０，Ｓ６３０では、運転者に対して冷風を吹きかけたり、音響機器の音量を増加させたりすることで、運転者が覚醒するように運転者に刺激を与えたが、運転者に刺激を与える方法は、これに限るもので無く、例えば、シートベルトを巻き上げても良い。さらに、眠気判定処理のＳ６１０では、車両を安全な位置に停止させるように、ブレーキ制御装置２７に対して制御指令を出力しても良いし、自動車に搭載されているパワートレイン機構を制御しても良い。

また、上記実施形態の眠気警報処理では、口唇接続筋が弛緩状態であるか否かに基づいて、眠気レベルを導出していたが、これに加えて、運転者の目の動作や、眉の動作などに基づいて、眠気レベルを導出するようにしても良い。

そして、上記実施形態の眠気警報システム１では、運転者に眠気が生じているか否かを判定したが、判定の対象となる人物は、運転者に限るものではなく、例えば、助手席に着座した人物でも良い。また、眠気警報システム１は、自動車に搭載されなくとも良く、例えば、電車や、飛行機、船舶などに搭載されても良い。

さらに、上記実施形態の眠気警報システム１では、特徴点ペアとして、左目尻と左口角との組合せ、右目尻と右口角との組合せ、左の口角と右の口角との組合せ、上唇の上端と下唇の下端との組合せを規定したが、予め規定された特徴点ペアは、これに限るものではない。例えば、左口角と左の耳珠点との組合せや、右口角と右の耳珠点との組合せを特徴点ペアとしても良い。この場合、前者の組合せに基づく特徴距離を左頬距離Ｌとし、後者の組合せに基づく特徴距離を右頬距離Ｒとしても良い。

そして、上記実施形態の眠気判定処理では、運転者が開口行動を実行しているか否かを、唇縦距離Ｂｖｄと唇横距離Ｂｈｄとを比較することで判定し、笑筋及び咬筋の両方が弛緩状態であるか否かを、運転時開口比率を覚醒時開口比率と比較することで判定していたが、運転者が開口行動を実行しているか否かの判定、及び笑筋，咬筋の両方が弛緩状態であるか否かの判定方法は、これに限るものではない。例えば、左の口角と、右の口角と、上唇の上端と、下唇の下端とを通過し、かつ唇縦距離Ｂｖｄもしくは唇横距離Ｂｈｄと平行である直線に囲まれた矩形（以下、唇矩形と称す）の面積や、唇矩形における両対角線のなす角度を、覚醒時の角度と比較することで判定しても良い。また、覚醒時の唇矩形の形状として予め用意された唇形状パターンを、運転時に撮影された画像にパターンマッチングすることで、判定してもよい。

さらには、上記実施形態における眠気警報システム１では、口唇接続筋として、左右の大頬骨筋，笑筋，咬筋を想定していたが、口唇接続筋はこれに限るものではなく、オトガイ筋や口輪筋が、口唇接続筋として含まれていても良い。つまり、口唇接続筋は、人の口周りに存在し、眠気が生じると弛緩する筋肉であれば、どのようなものでも良い。

なお、上記実施形態における眠気警報システム１では、口唇接続筋が弛緩状態であるか否かを、運転時特徴距離を覚醒距離と比較することで判定していたが、判定方法は、これに限るものではなく、例えば、口唇接続筋それぞれの筋電位を検出して、その検出結果に従って弛緩状態であるか否かを判定しても良い。

つまり、大頬骨筋や笑筋、咬筋などの口唇接続筋が弛緩状態であるか否かを判定できれば、どのような方法を用いても良い。

本実施形態における眠気警報システムの概略構成を示すブロック図である。 眠気警報システムが搭載された車両の車室内を示した説明図である。 特徴点ペア及び特徴距離を説明するための説明図である。 特徴点ペア及び特徴距離を説明するための説明図である。 眠気警報処理の処理手順を示すフローチャートである。 覚醒時データ収集処理の処理手順を示すフローチャートである。 表情情報取得処理の処理手順を示すフローチャートである。 運転時データ収集処理の処理手順を示すフローチャートである。 眠気判定処理の処理手順を示すフローチャートである。 口唇接続筋それぞれに対応する特徴距離と眠気レベルとの関係を示した実験結果である。

符号の説明

１…眠気警報システム １０…眠気判定装置 １０ａ…ＲＯＭ １０ｂ…ＲＡＭ １０ｃ…ＣＰＵ １５…警報装置 １６…スピーカ １７…モニタ ２０…カメラ ２１…冷風送気装置 ２５…音響機器制御装置 ２７…ブレーキ制御装置 ３０…スイッチ

Claims (11)

1. 移動体に搭載される眠気判定装置であって、
   人の口周りに存在し、眠気が生じると弛緩する複数の筋肉それぞれを口唇接続筋とし、前記移動体の乗員が有する口唇接続筋が弛緩した弛緩状態であるか否かを判定する筋肉状態判定手段と、
   前記筋肉状態判定手段にて、少なくとも一つの口唇接続筋が弛緩状態であると判定された場合、前記乗員に眠気が生じているものと判断する眠気判定手段と
   を備えることを特徴とする眠気判定装置。
2. 前記眠気判定手段は、
   前記筋肉状態判定手段での判定の結果、弛緩状態である口唇接続筋の数が多いほど、前記眠気が強いものと判断することを特徴とする請求項１に記載の眠気判定装置。
3. 前記眠気判定手段は、
   判断結果として、前記眠気が強いほど大きな値となる眠気度を導出することを特徴とする請求項１または請求項２に記載の眠気判定装置。
4. 前記眠気判定手段にて導出された眠気度が予め規定された規定値以上である場合、前記移動体の移動が安全になされるように前記移動体の搭載機器を制御する安全制御を実行する安全制御実行手段と
   を備えることを特徴とする請求項３に記載の眠気判定装置。
5. 前記筋肉状態判定手段は、
   前記乗員の顔面が写り込んだ撮影画像を取得する撮影画像取得手段と、
   人の顔面上で、前記口唇接続筋それぞれに連動して両者間の距離が変化する一対のポイントを特徴点とし、前記撮影画像取得手段で取得した撮影画像の中から前記特徴点を抽出する特徴点抽出手段と、
   前記特徴点抽出手段で抽出した前記特徴点それぞれの間の距離である特徴距離を導出する特徴距離導出手段と、
   前記特徴距離導出手段で導出される特徴距離を、その特徴距離の導出に用いた前記特徴点の間の覚醒時における距離である覚醒距離と比較することにより、前記弛緩状態であるか否かを判定する判定実行手段と
   を備えることを特徴とする請求項１ないし請求項４のいずれかに記載の眠気判定装置。
6. 前記口唇接続筋とは、大頬骨筋であることを特徴とする請求項５に記載の眠気判定装置。
7. 前記特徴点抽出手段が抽出する前記特徴点として、目尻と口角とが規定され、
   前記判定実行手段は、
   前記特徴距離が前記覚醒距離よりも長くなると、前記大頬骨筋が弛緩状態であるものと判定することを特徴とする請求項６に記載の眠気判定装置。
8. 前記口唇接続筋とは、笑筋及び咬筋であることを特徴とする請求項５ないし請求項７のいずれかに記載の眠気判定装置。
9. 前記特徴点抽出手段が抽出する前記特徴点として、唇の上下端、及び左右の両口角が規定され、前記特徴距離導出手段が導出する特徴距離として、唇の上下端の間の唇縦距離、及び左右の口角の間の唇横距離が規定され、
   前記状態判定手段は、
   前記唇縦距離が前記覚醒距離よりも長く、かつ前記唇横距離が前記覚醒距離よりも短くなると、前記笑筋及び前記咬筋の両方が弛緩状態であるものと判定することを特徴とする請求項８に記載の眠気判定装置。
10. 前記乗員が覚醒時に実施する特定行動により変化する前記特徴距離の範囲を規定範囲とし、前記特徴距離導出手段で導出された特徴距離が、前記規定範囲内である場合、前記眠気判定手段による眠気の判定を回避する判定回避手段を備えることを特徴とする請求項５ないし請求項９のいずれかに記載の眠気判定装置。
11. コンピュータを、
    請求項１ないし請求項１０のいずれかに記載された眠気判定装置を構成する各手段として機能させるためのプログラム。