JP2007264785A - 眠気検出装置 - Google Patents

Abstract

【課題】ユーザの眠気を高精度に検出すること。
【解決手段】眠気検出装置は、ユーザの顔を撮影する撮影手段と、撮影手段により撮影された顔の画像に基づいて、顔の変化の特徴量を抽出する特徴量抽出手段と、特徴量抽出手段により抽出された顔の変化の特徴量に基づいて、ユーザの眠気を検出する眠気検出手段と、を備えている。特徴量抽出手段により抽出される顔の変化の特徴量は、顔における、唇の横方向の長さ、上唇の重心と下唇の重心との相対的変位、上唇と下唇との境界線の座標列、唇近傍の顔表面の変形、目の傾き、瞼の境界線の座標列、及び瞼近傍の顔表面の変形、のうち少なくとも１つである。
【選択図】図１

Description

本発明は、例えば、ユーザの顔画像に基づいて、ユーザの眠気を検出する眠気検出装置に関する。

従来、運転者の眼球部の瞬きの時間及び頻度が所定値以上のとき人間の覚醒状態が低下していると判断し、警報を発生する覚醒状態検知装置が知られている（例えば、特許文献１参照）。当該装置において、機器操作に影響が出る、比較的、強い眠気状態を基準に所定値が設定されている。

また、運転者の目を追跡し、目の開閉状態を識別して居眠りを検出する居眠り運転防止装置が知られている（例えば、特許文献２参照）。当該装置において、居眠りが発生する強い眠気状態が検出されている。
特開平６−２７０７１１号公報 特開平６−２７８４５５号公報

しかしながら、上記特許文献１及び２に示す従来の装置においては、比較的に強い眠気状態を検出するものであり、強い眠気状態に至る前の軽い眠気状態を検出するのは困難であると考えられる。すなわち、ユーザの軽い眠気の状態（それほど低くない覚醒度の状態）を高精度に検出するのは困難である。

本発明はこのような課題を解決するためのものであり、ユーザの眠気を高精度に検出することを主たる目的とする。

上記目的を達成するための本発明の一態様は、
ユーザの顔を撮影する撮影手段と、
前記撮影手段により撮影された前記顔の画像に基づいて、前記顔の変化の特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された前記顔の変化の特徴量に基づいて、ユーザの眠気を検出する眠気検出手段と、を備える眠気検出装置であって、
前記特徴量抽出手段により抽出される前記顔の変化の特徴量は、前記顔における、唇の横方向の長さ、上唇の重心と下唇の重心との相対的変位、上唇と下唇との境界線の座標列、唇近傍の顔表面の変形、目の傾き、瞼の境界線の座標列、及び瞼近傍の顔表面の変形、のうち少なくとも１つを含む、ことを特徴とする眠気検出装置である。

この一態様によれば、軽い眠気の状態から、ユーザの眠気を検出することができる。すなわち、ユーザの眠気を高精度に検出することができる。

この一態様において、前記撮影手段により撮影された顔の画像に基づいて、前記顔の目又は口を覆う物体を検出する物体検出手段を更に備え、
前記物体検出手段により、前記顔の目又は口を覆う物体が検出されないとき、前記眠気検出手段は、前記特徴量抽出手段により抽出された前記顔の変化の特徴量に基づいて、前記ユーザの眠気を検出してもよい。これにより、ユーザの目又は口を覆う物体がないことを認識して、確実に顔の変化の特徴量を抽出することができる。

この一態様において、前記物体検出手段により、前記顔の目又は口を覆う物体が検出されたとき、ユーザの生理指標データに基づいて、ユーザの眠気を検出する代替眠気検出手段を更に備えていてもよい。これにより、ユーザの目又は口を覆う物体があるときでも、ユーザの眠気を検出することができる。

この一態様において、ユーザの高覚醒時における顔の変化の特徴量を予め取得する基準特徴量手段と、
前記基準特徴量手段により予め取得された前記高覚醒時における顔の変化の特徴量と、前記特徴量抽出手段により抽出された現在の顔の変化の特徴量と、を対比し、ユーザの眠気の兆候を判断する対比処理手段と、を更に備え、
前記眠気検出手段は、前記対比処理手段による前記眠気の兆候の判断に基づいて、前記ユーザの眠気を検出してもよい。これにより、ユーザ毎に基準となる高覚醒時のデータが取得され、ユーザの眠気の兆候が判断される。この為、任意のユーザの眠気を高精度に検出することができる。

この一態様において、前記基準特徴量手段は、ユーザが車両の運転開始後、所定時間以内において、前記顔の変化の特徴量を取得してもよい。これにより、運転直後における高覚醒時の顔の変化の特徴量を取得することができる。

この一態様において、前記基準特徴量手段は、前記唇の横方向の長さ、前記上唇の重心と下唇の重心との相対的変位、及び前記目の傾き、について、標準偏差、及び平均値を夫々算出し、
前記対比処理手段は、前記基準特徴量手段により算出された前記標準偏差及び平均値に基づいて、眠気が発生していると推定される変化発生範囲を設定し、前記特徴量抽出手段により抽出された、現在の前記唇の横方向の長さ、前記上唇の重心と下唇の重心との相対変位、及び前記目の傾きが、対応する前記変化発生範囲に入っていると判断したとき、前記眠気の兆候があると判断してもよい。

この一態様において、前記基準特徴量手段は、高覚醒時における前記上唇と下唇との境界線の座標列、及び前記瞼の境界線の座標列を予め取得し、
前記対比処理手段は、前記基準特徴量手段により予め取得された前記上唇と下唇との境界線の座標列、及び前記瞼の境界線の座標列と、前記特徴量抽出手段により抽出された、現在の前記上唇と下唇との境界線の座標列、及び前記瞼の境界線の座標列と、の間の相互相関係数を算出し、算出された該相互相関係数が所定値以下のときに、前記眠気の兆候があると判断してもよい。

この一態様において、前記基準特徴量手段は、高覚醒時における唇近傍の顔表面、又は瞼近傍の顔表面を予め取得し、
前記対比処理手段は、前記特徴量抽出手段により抽出された現在の前記唇近傍の顔表面の変化、又は瞼近傍の顔表面の変化が、前記基準特徴量手段により予め取得された前記唇近傍の顔表面の変化、又は前記瞼近傍の顔表面の変化と、夫々異なるとき、前記眠気の兆候があると判断してもよい。

この一態様において、前記対比処理手段により前記眠気の兆候があると判断されたときに、眠気検出フラグを立て、該眠気検出フラグの単位時間当たりの密度である眠気発生密度を算出するカウント処理手段を、更に備え、
前記眠気検出手段は、予め取得された高覚醒時の前記眠気発生密度の分布と、前記カウント処理手段により算出された現在の前記眠気発生密度と、に基づいて、前記眠気を検出する検出レベルを設定し、前記現在の眠気発生密度が前記検出レベル以上となるときに、前記ユーザの眠気を検出してもよい。

この一態様において、前記カウント処理手段により算出された前記眠気発生密度の時系列データにおける周期性又は大きさに基づいて、前記眠気発生密度の変化が、ユーザの癖による変化であるか、又はユーザの眠気による変化であるか、を判別する癖判別手段を更に備え、
前記癖判別手段により前記ユーザの癖による変化であると判別されたとき、前記眠気検出手段は、前記ユーザの眠気を検出しなくともよい。これにより、ユーザの癖による顔の変化を判別できるため、より高精度にユーザの眠気を検出することができる。

この一態様において、前記癖判別手段は、前記眠気発生密度の時系列データの単位時間において、前記眠気発生密度の値が０より大きい値で連続する複数の密度塊について、夫々の最大値を求め、
求められた該最大値のうち最大となる値と、最小となる値との差が、前記最大値の平均値よりも小さいとき、前記ユーザの癖による変化であると判別してもよい。

この一態様において、ユーザの指標データを検出する指標データ検出手段と、
前記指標データ検出手段により検出された前記指標データに基づいて、前記指標データの増減傾向を算出する指標前処理手段と、
前記眠気検出手段により前記ユーザの眠気が検出されたときにおける、前記指標前処理部により算出された前記指標データの増減傾向を記憶する参照バッファと、
前記眠気検出手段により前記ユーザの眠気が検出されたとき以降における、前記指標前処理手段により算出された前記指標データの増減傾向を記憶する比較バッファと、
前記参照バッファに記憶された前記指標データの増減傾向と、前記比較バッファに記憶された前記指標データの増減傾向と、を比較することにより、前記ユーザの眠気の継続を検出する比較処理手段と、を更に備えていてもよい。これにより、ユーザの眠気の継続を検出することができる。したがって、より高精度にユーザの眠気を検出することができる。

この一態様において、前記比較処理手段は、前記参照バッファに記憶された前記指標データの符号と、前記比較バッファに記憶された前記指標データの増減傾向の符号と、が一致するとき、前記ユーザの眠気の継続を検出してもよい。

この一態様において、前記指標データ検出手段により検出される前記指標データには、ユーザの生理指標と、車両操作状態と、を含むこととしてもよい。

この一態様において、前記指標データ検出手段により検出される前記ユーザの生理指標には、ユーザの呼吸数と、開眼から閉眼までの瞬目持続時間と、を含む、こととしてもよい。

この一態様において、前記眠気検出手段により前記ユーザの眠気が検出され、又は前記比較処理手段により、前記ユーザの眠気の継続が検出されたとき、前記ユーザに対して警報を行う警報手段を更に備えていてもよい。これにより、ユーザは軽い眠気の状態から眠気を認識することができる。

本発明によれば、ユーザの眠気を高精度に検出することができる。

以下、本発明を実施するための最良の形態について、添付図面を参照しながら実施例を挙げて説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る眠気検出装置のシステム構成を示すブロック図である。本実施の形態に係る眠気検出装置１は、後述する各種の画像処理、演算処理等を行うコンピュータ本体２を中心に構成されている。

なお、コンピュータ本体２は、制御、演算プログラムに従って各種処理を実行するとともに、当該装置１の各部を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＣＰＵの実行プログラムを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、演算結果等を格納する読書き可能なＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、タイマ、カウンタ、入出力インターフェイス（Ｉ／Ｏ）等を有している。

コンピュータ本体２には、ユーザの顔の画像を撮影するカメラ３が接続されている。カメラ３のより撮影されたユーザの顔の画像（以下、顔画像を称す）は、コンピュータ本体２に送信される。また、コンピュータ本体２には、カメラ３により撮影された顔画像、及び顔画像に対して行われた画像処理の結果を記憶するハードディスク等の記憶部４が接続されている。

コンピュータ本体２は、後述する物体検出部２ａと、顔パーツ検出部２ｂと、特徴量抽出部２ｃと、基準特徴量部２ｄと、対比処理部２ｅと、カウント処理部２ｆと、癖判別部２ｇと、眠気検出部２ｈと、を有している。

物体検出部２ａは、カメラ３により撮影された顔画像に基づいて、顔画像において、顔の各部である顔パーツ（例えば、目、口）を覆う物体（例えば、目を覆うサングラス、口を覆うマスク）を検出する処理を行う（図２（ａ）及び（ｂ））。これにより、顔パーツを確実に検出することができる。

例えば、物体検出部２ａは、顔画像の色情報から顔パーツを覆う物体を検出する。具体的には、物体検出部２ａは、顔画像において、所定値以上の面積を有する、肌色以外の色の物体を検出する。

また、物体検出部２ａは、予め記憶した顔パーツのモデルと、顔画像の顔パーツとを比較することで、顔パーツを覆う物体の検出を行う。より具体的には、物体検出部２ａは、予め記憶した顔パーツの形状、色、及び顔上の位置と、顔画像の顔パーツとを比較することで、物体の検出を行う。

顔パーツ検出部２ｂは、カメラ３により撮影された顔画像のうち、物体検出部２ａにより顔パーツを覆う物体が検出されない顔画像における目、口等の顔パーツの検出を行う。

図３は、顔パーツ検出部２ｂによる顔画像における顔パーツを検出する処理フローの一例を示す図である。

例えば、顔パーツ検出部２ｂは、顔画像において、公知のアフィン変換処理等を用いて、ユーザの顔の向き、大きさ等の補正処理を行う（Ｓ１）。次に、顔パーツ検出部２ｂは、エッジ処理により、顔画像において、目、口等の顔パーツのエッジを抽出し（Ｓ２）、抽出したエッジを連結する処理を行う（Ｓ３）。その後、顔パーツ検出部２ｂは、顔パーツと、予め記憶した顔パーツのテンプレートと、を比較するテンプレートマッチング処理を行い（Ｓ４）、顔パーツの検出を行う（Ｓ５）。

特徴量抽出部２ｃは、顔パーツ検出部２ｂにより検出された顔パーツの特徴量を抽出する。

顔パーツの特徴量には、例えば、唇の横方向の長さＭ１（図４（ａ））、上唇の重心と下唇の重心との横方向の相対変位Ｍ２（図４（ｂ））、上唇の重心と下唇の重心との縦方向の相対変位Ｍ３（図４（ｂ））、上唇と下唇との間の境界線の座標列Ｍ４（図４（ｃ））、唇周囲の皮膚の変形Ｍ５（図４（ｄ））、唇の縦方向の長さＭ６（図４（ａ））、目領域全体の傾きＥ１（図５（ａ））、瞼境界線の座標列Ｅ２（図５（ａ））、目周囲の皮膚の変形Ｅ３（図５（ａ））、目の縦方向の長さＥ４（図５（ｂ））等が含まれる。

なお、これら顔パーツの特徴量は、ユーザの眠気発生した状態において、高覚醒時の状態と比較して、以下のような特徴的な変化が発生する。

唇の横方向の長さ（以下、唇横長さと称す）Ｍ１（図４（ａ））は、例えば、唇の左右の両端部間の距離である。眠気発生時において、ユーザが、例えば、あくびのかみ殺し等を行う傾向にある為、眠気発生時における唇横長さＭ１（図６（ｂ））は、高覚醒時における唇横長さＭ１（図６（ａ））と比較して、長くなることがわかる。

上唇の重心と下唇の重心との横方向の相対変位（以下、上下唇重心横変位と称す）Ｍ２（図４（ｂ））は、例えば、上唇の重心と下唇の重心との横方向の距離である。眠気発生時において、ユーザの顔が、例えば、しかめ顔になる傾向がある為、眠気発生時における上下唇重心横変位Ｍ２（図７（ｂ））は、高覚醒時における上下唇重心横変位Ｍ２（図７（ａ））と比較して、長くなることがわかる。

上唇の重心と下唇の重心との縦方向の相対変位（以下、上下唇重心縦変位と称す）Ｍ３（図４（ｂ））は、例えば、上唇の重心と下唇の重心との縦方向の距離である。眠気発生時における上下唇重心縦変位Ｍ３（図７（ｂ））は、高覚醒時における上下唇重心縦変位Ｍ３（図７（ａ））と比較して、長くなることがわかる。

上唇と下唇との間の境界線の座標列（以下、唇境界座標列と称す）Ｍ４（図４（ｃ））は、例えば、唇の左右の両端部間における上唇と下唇との境界線の座標列である。高覚醒時において、唇境界座標列Ｍ４は、唇の左右両端部が下がる略円弧状となることがわかる（図８（ａ））。一方、眠気発生時において、ユーザの顔が、例えば、しかめ顔になる傾向がある為、眠気発生時における唇境界座標列Ｍ４は、唇の一端側が下がる直線状となることがわかる（図８（ｂ））。

唇周囲の皮膚の変形（以下、唇周囲変形）Ｍ５（図４（ｄ））は、例えば、唇の周囲に発生した皴等の皮膚の変形である。高覚醒時において、唇周囲変形は発生しない傾向にある（図９（ａ））。一方、眠気発生時において、例えば、ユーザの頬がつり上がり、唇の周囲に皺等の唇周囲変形Ｍ５が発生する（図９（ｂ））。

唇の縦方向の長さ（以下、唇縦長さと称す）Ｍ６（図４（ａ））は、例えば、唇の上下の両端部間の距離である。眠気発生時において、ユーザが、例えば、あくび等を行う傾向にある為、眠気発生時における唇縦長さＭ６（図１０（ｂ））は、高覚醒時における唇縦長さＭ６（図１０（ａ））と比較して、長くなることがわかる。

目領域全体の傾きＥ１（図５（ａ））は、例えば、予め設定された目の特徴点（瞳孔の中心、目じり等）に基づいて、最小二乗法等を用いて、算出される。

眠気発生時において、例えば、ユーザは閉眼を我慢し、瞼が半開きとなる為、眠気発生時における目領域全体の傾きＥ１（図１１（ｂ））は、高覚醒時における目領域全体の傾きＥ１（図１１（ａ））と比較して、小さくなることがわかる。

瞼境界線の座標列Ｅ２（図５（ｅ））は、例えば、上瞼と眼球との境界線である。高覚醒時における瞼境界線の座標列Ｅ２は、略円弧状となる傾向にある（図１２（ａ））。一方、眠気発生時において、例えば、ユーザは閉眼を我慢し、瞼が半開きとなり、目が細長くなる。この為、眠気発生時における瞼境界線の座標列Ｅ２は、フラット化し、略直線状に近づくことがわかる（図１２（ｂ））。

目周囲の皮膚の変形（以下、目周囲変形）Ｅ３（図５（ｅ））は、例えば、目の周囲に発生した皴等の皮膚の変形である。高覚醒時において、目周囲変形には目周囲変形が発生しない傾向にある（図１３（ａ））。一方、眠気発生時において、例えば、ユーザの頬がつり上がり、目の周囲に皺等の目周囲変形Ｅ３が発生する（図１３（ｂ））。

目の縦方向の長さ（以下、目縦長さと称す）Ｅ４（図５（ｂ））は、例えば、目の見開き量である。眠気発生時において、例えば、ユーザは意識的に目を見開く為、眠気発生時における目縦長さＥ４（図１４（ｂ））は、高覚醒時における目縦長さＥ４（図１４（ａ））と比較して、大きくなることがわかる。上述したように、上記顔パーツの特徴量は、軽い眠気（後述の評価レベル＝４）の状態から、特徴的な変化が起こり得る。この為、上述の特徴量を抽出すれば、軽い眠気を検出する場合に効果的である。

なお、上述した顔パーツの特徴量は一例であり、軽い眠気と相関関係がある目又は口の動きに関する特徴量であれば、任意の特徴量が適用可能である。

上述のようにして、特徴量抽出部２ｃにより抽出された顔パーツの特徴量は、例えば、特徴量テーブル（図１５）を用いて、記憶部４に記憶される。

基準特徴量部２ｄは、基準となる、高覚醒時における上記顔パーツの特徴量（例えば、唇横長さＭ１）を取得し、取得した顔パーツの特徴量に基づいて、例えば、特徴量毎に分布、平均値μ、標準偏差σ等を算出する。算出された分布、平均値μ、標準偏差σは、取得された顔パーツの特徴量と共に、記憶部４に送信され、記憶される。したがって、各ユーザ毎に基準となる、高覚醒時のデータが生成される。この為、任意のユーザの眠気を高精度に検出することができる。

例えば、車両の運転開始直後において、運転者は高覚醒度の状態にあることから、運転開始後の所定時間以内（数分程度以内）における顔パーツの特徴量が取得され、高覚醒時の顔パーツの特徴量とされる。なお、運転開始後とは、例えば、ＩＧオン状態となった後、又はエンジンの始動後、ユーザが運転シートに着座後等を含むものとする。

図１６は、運転開始後の所定時間以内における顔パーツの特徴量が取得され、高覚醒時の顔パーツの特徴量とされるときの処理フローの一例を示すフローチャートである。

まず、運転開始後（Ｓ１０）において、顔パーツ検出部２ｂは、カメラ３により撮影された運転者の顔画像に基づいて、目及び口の顔パーツを検出する（Ｓ１１）。

次に、特徴量抽出部２ｃは、顔パーツ検出部２ｂにより検出された目及び口の顔パーツに基づいて、上述した顔パーツの特徴量を抽出する（Ｓ１２）。特徴量抽出部２ｃにより抽出された顔パーツの特徴量は、記憶部４に送信され、記憶される（Ｓ１３）。

基準特徴量部２ｄは、運転開始後のからの時間（運転時間）が、所定時間経過しているか否かを判断する（Ｓ１４）。例えば、基準特徴量部２ｄは、ＩＧスイッチからＩＧオン信号を受信後、内蔵するタイマにより計測を行い、所定時間経過しているか否かを判断する。

基準特徴量部２ｄは、運転開始後、所定時間経過していると判断した場合は、顔パーツの特徴量の取得を停止する。そして、基準特徴量部２ｄは、運転開始後から、これまで取得した顔パーツの特徴量に基づいて、顔パーツの特徴量毎に分布、平均値μ、及び標準偏差σを算出し（Ｓ１５）、算出した分布、平均値μ、及び標準偏差σを記憶部４に記憶させる（Ｓ１６）。一方、基準特徴量部２ｄは、運転開始後、所定時間経過していないと判断した場合は、上記（Ｓ１１）の処理に戻る。

対比処理部２ｅは、上述の如く、予め、基準特徴量部２ｄにより算出され、記憶部４に記憶された高覚醒時における顔パーツの特徴量と、現在、特徴量抽出部２ｃにより抽出された顔パーツの特徴量との対比処理を行う。

例えば、対比処理部２ｅは、基準特徴量部２ｄにより予め取得された顔パーツ毎の特徴量の分布と、標準偏差σと、平均値μと、に基づいて、眠気の兆候を示す顔パーツの特徴量の変化発生範囲（斜線部）を設定する（図１７）。対比処理部２ｅは、現在の顔パーツの特徴量が、予め設定された顔パーツの特徴量の分布における変化発生範囲内にあると判断した場合に、当該特徴量が眠気の兆候を示す顔パーツの変化であると判断する。

より具体的には、対比処理部２ｅは、基準特徴量部２ｄにより予め取得された唇横長さＭ１の分布に基づいて、平均値μから±１σ以上外れる範囲（（μ+１σ）以上の範囲、又は（μ−１σ）以下の範囲）を、変化発生範囲とする。対比処理部２ｅは、現在の唇横長さＭ１が変化発生範囲内にあると判断した場合に、眠気の兆候を表す顔パーツの変化と判断する。

対比処理部２ｅは、唇横長さＭ１と上記同様な処理を、上下唇重心横変位Ｍ２、上下唇重心縦変位Ｍ３、唇縦長さＭ６、目領域全体の傾きＥ１、及び目縦長さＥ４に対して行い、変化発生範囲内にあるかを判断し、眠気の兆候を表す顔パーツの変化を、夫々判断する。

なお、対比処理部２ｅは、複数の顔パーツの特徴量（分布）を組み合わせて、多次元分布の標準偏差σから変化発生範囲を設定してもよい。また、対比処理部２ｅは、複数の特徴量を組み合わせた多次元分布を表す新たな特徴量を主成分分析により算出し、その特徴量の標準偏差から変化範囲を設定してもよい。

また、対比処理部２ｅは、基準特徴量部２ｄにより予め取得された高覚醒時の唇境界座標列Ｍ４と、新たに特徴量抽出部２ｃにより抽出された唇境界座標列Ｍ４と、の相互相関係数を算出する。対比処理部２ｅは、算出された相互相関係数が所定値（例えば、０．５）以下であり、相関性が低いか否かを判断する。対比処理部２ｅは、相互相関係数が所定値以下であり、相関性が低いと判断した場合、当該唇境界座標列Ｍ４が眠気の兆候を示す顔パーツの変化であると判断する。

対比処理部２ｅは、唇境界座標列Ｍ４と上記同様な処理を、瞼境界線の座標列Ｅ２に対して行い、相互相関係数が所定値以下であり、相関性が低いと判断した場合、眠気の兆候を示す顔パーツの変化であると判断する。

さらに、対比処理部２ｅは、高覚醒時に発生しない顔パーツの変形に基づいて、眠気の兆候を示す顔パーツの変化を判断する。例えば、対比処理部２ｅは、特徴量抽出部２ｃにより検出された唇周囲変形Ｍ５に基づいて、高覚醒時に発生しない顔パーツの変形と判断し、眠気の兆候を示す顔パーツの変化であると判断する。

カウント処理部２ｆは、対比処理部２ｅにより眠気の兆候を示す顔パーツの変化であると判断された場合に、判断された時刻に、眠気検出フラグを立てる（図１８）。さらに、カウント処理部２ｆは、単位時間（例えば、１分間又は数分間）当たりの眠気検出フラグの数をカウント（例えばフラグカウント数＝６）することで、眠気発生密度を算出し、眠気発生密度の時系列のデータ（図１９（ａ）及び（ｂ））を求める。

なお、図１９（ａ）及び（ｂ）は、任意の２人（被験者Ｙ及び被験者Ｈ）における眠気発生密度の時系列のデータを示す図である。図１９（ａ）及び（ｂ）において、縦軸は眠気発生密度（フラグカウント数／１分）を示しており、横軸は時間（秒）を示している。

癖判別部２ｇは、カウント処理部２ｆにより求められた眠気発生密度の時系列のデータにおいて、ユーザの癖による顔パーツの変化であるか、又はユーザの眠気による顔パーツの変化であるかを判別する。通常、ユーザの癖は繰り返し起こる傾向にある。したがって、眠気発生密度の時系列のデータにおいて、一定の周期性が存在し、眠気発生密度の大きさも一定の傾向が見られる。そこで、癖判別部２ｇは、以下に述べる処理を行い、ユーザの癖により顔パーツの変化を判別する。

癖判別部２ｇは、カウント処理部２ｆにより求められた眠気発生密度のデータにおける単位時間幅ｔｗに含まれる密度塊ｐの数ｎをカウントする（図２０）。ここで、密度塊ｐとは、眠気発生密度の時系列のデータにおいて、眠気発生密度が０より大きい値で連続して形成される塊である。

また、図２０において、ｍｎはｎ番目の密度塊ｐｎにおける眠気発生密度の最大値である。さらに、ｔｎは、単位時間幅ｔｗの開始時からのｎ番目の密度塊ｐｎの発生時間であり、ｓｎは、ｎ番目の密度塊ｐｎの面積である。

癖判別部２ｇは、単位時間幅ｔｗに含まれる各密度塊ｐｎの最大値ｍｎ、面積ｓｎ、及び発生時間ｔｎを算出する。また、癖判別部２ｇは、単位時間幅ｔｗに含まれる全ての密度塊ｐｎの最大値ｍｎに対する平均値ｍｍｅａｎ、最大値ｍｎの中での最大値ｍｍａｘ、及び最大値ｍｎの中での最小値ｍｍｉｎ、を算出する（図２１）。

さらに、癖判別部２ｇは、最大値ｍｍａｘから最小値ｍｍｉｎを減算した値（ｍｍａｘ−ｍｍｉｎ）が平均値ｍｍｅａｎよりも小さいか（ｍｍａｘ−ｍｍｉｎ＜ｍｍｅａｎ）否かを判断する。なお、この判断において、減算した値（ｍｍａｘ−ｍｍｉｎ）では無く、実験的に求めた閾値が設定されてもよい。

癖判別部２ｇは、減算した値（ｍｍａｘ−ｍｍｉｎ）が平均値ｍｍｅａｎよりも小さいと判断したとき、カウント処理部２ｆにより求められた眠気発生密度の分布における単位時間幅ｔｗに含まれる密度塊ｐ１〜ｐｎはユーザの癖によるものだと判断する。

一方、癖判別部２ｇは、減算した値（ｍｍａｘ−ｍｍｉｎ）が平均値ｍｍｅａｎ以上であると判断したとき、カウント処理部２ｆにより求められた眠気発生密度のデータにおける単位時間幅ｔｗに含まれる密度塊ｐ１〜ｐｎは、ユーザの癖によるものでないと判断する。

癖判別部２ｇは、ユーザの癖によるものでないと判別したとき、この眠気発生密度のデータを後述の眠気検出部２ｈに送信する。一方、癖判別部２ｇは、ユーザの癖によるものだと判別したとき、この眠気発生密度のデータを後述の眠気検出部２ｈに送信しない。これにより、ユーザの癖による顔パーツの変化を排除でき、ユーザの眠気をより高精度に検出することができる。

なお、癖判別部２ｇは、単位時間幅ｔｗにおける密度塊ｐ１〜ｐｎの面積ｓ１〜ｓｎを、面積ｓ１〜ｓ（ｎ−１）と面積ｓｎｔの２つの群に分けてもよい。この場合、癖判別部２ｇは、ｓ１とｓｎ、ｓ２とｓｎ、ｓ３とｓｎ、というように、ｓ１〜ｓ（ｎ−１）とｓｎとの相互相関係数を夫々算出する。さらに、癖判別部２ｇは、算出した各相互相関係数が閾値（例えば、０．７）以上であると判断したとき、単位時間幅ｔｗにおける密度塊ｐが、ユーザの癖による動きだと判断する。

また、癖判別部２ｇは、ｓ１とｓ２〜ｓｎ等の考えられる全ての場合で、群分けを行い、夫々に対して、相互相関係数を算出してもよい。癖判別部２ｇは、算出された相互相関係数が閾値以上であるとき、その区間の動きはユーザの癖であると判断する。

さらに、癖判別部２ｇは、Ｌ１＝ｔ２−ｔ１、Ｌ２＝ｔ３−ｔ２、Ｌ３＝ｔ４−ｔ３、というように、次式Ｌｎ−１＝ｔｎ−（ｔｎ−１）により、ｎ＝１〜ｎ―１におけるＬｎを夫々算出してもよい。この場合、癖判別部２ｇは、算出したＬ１〜Ｌｎを、Ｌ１〜ＬｃとＬｃ〜Ｌｎ−１との２群に分ける。ここで、１＜ｃ＜ｎ−１とする。さらに、癖判別部２ｇは分けた２群間で有意差検定を行い、有意差がないと判断した場合に、単位時間幅ｔｗにおける密度塊ｐが、ユーザの癖による動きだと判断する。

なお、癖判別部２ｇは、Ｌ１〜Ｌｃ、Ｌｃ〜Ｌｎ−１等の考えられる全ての場合に対して、群分けを行い、２群間で有意差検定を行ってもよい。この場合、癖判別部２ｇは、全ての２群間において有意差がない場合に、その区間の動きが癖であると判断する。

眠気検出部２ｈは、眠気が発生していることを検出する際の検出閾値となる検出レベル値を設定し、設定した検出レベルと、癖判別部２ｇから送信される眠気発生密度と、を比較し、ユーザの眠気を検出する。

次に、上記検出レベルの設定方法について、詳細に説明する。

カウント処理部２ｆは、予め、例えば、運転開始後、所定時間以内の高覚醒時において、顔パーツに対する、単位時間（例えば、１分間）当たりの眠気検出フラグの数（例えば、２）をカウントし、眠気発生密度を算出する（図２２）。

さらに、眠気検出部２ｈは、カウント処理部２ｆにより算出された、運転開始後、所定時間以内における高覚醒時における眠気発生密度に基づいて、顔パーツの眠気発生密度の分布、眠気発生密度の平均値μ、及び標準偏差σを算出し、記憶部４に記憶する。

なお、眠気検出部２ｈは、記憶された眠気発生密度の分布に基づいて、現在の眠気発生密度が、平均値μ±１σの範囲内にあるとき、現在の眠気発生密度を含めて、再度、眠気発生密度の分布、及び平均値μを算出してもよい。この場合、眠気検出部２ｈは、算出された分布の平均値（中心値）μを現在の眠気発生密度とする（図２３）。

眠気検出部２ｈは、上述のように予め設定された高覚醒時の眠気発生密度の分布に基づいて、現在の眠気発生密度が（平均値μ＋２σ）以下、かつ（平均値μ−２σ）以上の範囲にあるとき、ユーザが現在、通常の生理心理状態にあると判断する（図２４）。

一方、眠気検出部２ｈは、現在の眠気発生密度が（平均値μ＋２σ）より大きく、又は（平均値μ−２σ）より小さい範囲（斜線部）にあるとき、ユーザが現在、通常より活性の高い状態（例えば、高ストレス、疲労、興奮の状態）にあると判断する。

眠気検出部２ｈは、ユーザが、現在、通常の生理心理状態にあると判断したとき、（平均値μ＋３σ）を、検出レベルの値として設定する。一方、眠気検出部２ｈは、ユーザが、現在、通常より活性の高い状態にあると判断したとき、現在の眠気発生密度に係数ｎ（例えば、ｎ＝２）を乗じた値（眠気発生密度×係数ｎ）を、検出レベルとして設定する。

次に、眠気検出部２ｈによる検出レベルの具体的な設定の一例について説明する。

眠気検出部２ｈは、例えば、癖判別部２ｇから送信される眠気発生密度（単位時間当たりの眠気検出フラグ数）を各区間毎に取得し、ヒストグラム（図２５）を生成してもよい。なお、眠気密度のデータは、現在のデータに過去の蓄積データを含めてもよい。

また、眠気検出部２ｈは、生成したヒストグラムに基づいて、下記（１）式により、平均値μを算出する。

平均値μ＝（眠気発生密度の最大値＋各顔パーツの眠気発生密度×区間数＋眠気発生密度の最小値（＝０））／データ総数 （１）式
具体的には、眠気検出部２ｈは、図２５に示すヒストグラムに基づいて、（１）式により、平均値μ＝０．３１と算出し、標準偏差σ＝０．５７を算出する。眠気検出部２ｈは、例えば、ユーザが、現在、通常の生理心理状態にあると判断したとして、上記（平均値μ＋３σ）に上記値を代入し、検出レベル＝０．３１+（３×０．５７）＝２．０２として設定する。

一方、眠気検出部２ｈは、ユーザが、現在、通常より活性の高い状態にあると判断したとして、例えば、上記（（眠気発生密度＝２）×（係数ｎ＝２））により、検出レベル＝４を設定する。

眠気検出部２ｈは、上述のように設定された検出レベルに基づいて、ユーザの眠気の検出を行う。例えば、眠気検出部２ｈは、癖判別部２ｇから送信された現在の眠気発生密度が、設定された検出レベル以上であるとき（図２６）、ユーザの眠気の検出を行う。

眠気検出部２ｈは、ユーザの眠気を検出すると、例えば、車両に搭載された警報装置５に対して、警報信号を送信する。警報装置５は眠気検出部２ｈから警報信号を受信すると、例えば、運転者等のユーザに対して、警報を行う。これにより、ユーザは軽い眠気の状態から、眠気の状態を認識することができる。

なお、警報装置５には、例えば、スピーカからの音声、警告灯からの発光、加振装置によるシート、ステアリングホイールの振動等が含まれる。

次に、本実施の形態に係る眠気検出装置１の処理フローについて、説明する。図２７は、本実施の形態に係る眠気検出装置１の処理フローの一例を示すフローチャートである。なお、図２７に示す処理は、所定時間毎に繰り返し実行される。

まず、カメラ３によりユーザの顔が撮影され（Ｓ２０）、撮影された顔画像は物体検出部２ａに送信される。物体検出部２ａは、送信された顔画像において、所定の顔パーツを覆う物体を検出する（Ｓ２１）。

物体検出部２ａは、所定の顔パーツ（目、口）を覆う物体を検出したとき、本処理のルーチンを終了する。なお、物体検出部２ａにより所定の顔パーツを覆う物体が検出されたとき、ユーザの生理データ（例えば、心拍数、血圧）に基づいて、ユーザの眠気を検出するようにしてもよい。

一方、物体検出部２ａは、所定の顔パーツを覆う物体を検出しないとき、顔画像を顔パーツ検出部２ｂに送信する。次に、顔パーツ検出部２ｂは、送信された顔画像に基づいて、顔パーツを検出し（Ｓ２２）、特徴量抽出部２ｃに送信する。

その後、特徴量抽出部２ｃは、検出された顔パーツに基づいて、顔パーツの特徴量を抽出する（Ｓ２３）。基準特徴量部２ｄは、高覚醒時における顔パーツの特徴量毎の分布、平均値μ、標準偏差σ等を算出する（Ｓ２４）。

対比処理部２ｅは、特徴量抽出部２ｃにより抽出された顔パーツの特徴量に対して、眠気の兆候を示す顔パーツの変化を検出する（Ｓ２５）。

カウント処理部２ｆは、対比処理部２ｅにより検出された眠気の兆候を示す顔パーツの変化に対応する眠気検出フラグの数を、単位時間当たりにカウントし、眠気発生密度を算出する（Ｓ２６）。

癖判別部２ｇは、カウント処理部２ｆにより求められた眠気発生密度の時系列のデータが、各ユーザの癖による顔パーツの変化であるか否かを判別する（Ｓ２７）。

癖判別部２ｇにより、ユーザの癖による顔パーツの変化であると判別されたとき、眠気検出部２ｈは、閾値となる検出レベルの設定を行い、カウント処理部２ｆにより算出された眠気発生密度が検出レベルを超えているか否かを判断する。眠気検出部２ｈは、眠気発生密度が検出レベルを超えていると判断することで、ユーザの眠気の検出を行う（Ｓ２８）。一方、癖判別部２ｇにより、ユーザの癖による顔パーツの変化でないと判別されたとき、本処理のルーチンを終了する。

眠気検出部２ｈによりユーザの眠気が検出されると、警報装置５によりユーザに対して、警報が行われる（Ｓ２９）。

次に、任意の被験者による官能評価試験の結果と本実施の形態に係る眠気検出装置１による検出結果との比較について、説明する。

官能評価試験による評価基準が、例えば、顔面表情評定表（人間感覚計測マニュアル第一編Ｐ１４６／人間生活工学研究センター）に基づいて、以下のように設定される。

評価レベル１：眠っている状態。

評価レベル２：非常に眠そうな状態（瞼を閉じる、頭が前に傾く、頭が後ろに倒れる）。

評価レベル３：かなり眠そうな状態（意識的と思われる瞬きがある、頭を振る・肩の上下動などの無用な身体全体の動きがある、あくびは頻発し深呼吸も見られる、瞬きも視線の動きも遅い）。

評価レベル４：眠そうな状態（瞬きはゆっくりと頻発、口の動きがある、座り直しあり、顔に手をやる）。

評価レベル５：やや眠そうな状態（唇が開いている、視線移動の動きが遅い）。

評価レベル６：全く眠くなさそうな状態（視線の移動が速く頻繁である、瞬きは２秒に２回位の安定した周期、動きが活発で身体の動きを伴う）。

図２８は、眠気検出部２ｈにより、ユーザが、現在、通常の生理心理状態にあると判断され、検出レベル＝２．０２と設定され、眠気の検出が行われた一例を示す図である。また、図２８において、実線（ａ）は顔パーツの眠気発生密度を示し、破線（ｂ）は同時に行われた官能試験の結果を示している。

本実施の形態に係る眠気検出装置１において、図２８に示す如く、官能試験の結果が評価レベル４（眠そうな状態＝軽い眠気）となるときに、顔パーツの眠気発生密度は、検出レベル＝２．０２を超えており、眠気検出部２ｈにより、ユーザの眠気が検出されることが分かる。

一方、図２９は、眠気検出部２ｈにより、ユーザが、現在、通常より活性の高い状態にあると判断され、検出レベル＝４として設定され、眠気の検出が行われた一例を示す図である。また、図２８において、実線（ｃ）は顔パーツの眠気発生密度を示し、破線（ｄ）は同時に行われた官能試験の結果を示している。

本実施の形態に係る眠気検出装置１において、図２８に示す如く、顔パーツの眠気発生密度は、検出レベル＝４を超えないため、眠気検出部２ｈによりユーザの眠気が検出されないことが分かる。

以上、第１の実施の形態に係る眠気検出装置１において、目及び口等の顔パーツの特徴量である、唇横長さＭ１、上下唇重心横変位Ｍ２、上下唇重心縦変位Ｍ３、唇境界座標列Ｍ４、唇周囲変形Ｍ５、唇縦長さＭ６、目領域全体の傾きＥ１、瞼境界線の座標列Ｅ２、目周囲変形Ｅ３、及び目縦長さＥ４のうち少なくとも１つに基づいて、ユーザの眠気を検出する。これにより、軽い眠気の状態から、ユーザの眠気を検出することができる。したがって、ユーザの眠気の状態を、軽い眠気の状態から眠っている状態までの広範囲に渡って、高精度に検出することができる。

次に、本実施の形態に係る眠気検出装置１の変形例について説明する。

上記実施の形態において、顔パーツ検出部２ｂは、顔パーツの色及び面積に基づいて、カメラ３により撮影された顔画像における顔パーツを検出してもよい。

図３０は、顔パーツ検出部２ｂが顔パーツの色及び面積に基づいて、顔パーツの検出処理を行う処理フローの一例を示すフローチャートである。

具体的には、顔パーツ検出部２ｂは、顔画像を色により領域分割を行う（Ｓ３０）。次に、顔パーツ検出部２ｂは、領域分割された各小領域に対して、夫々の色及び面積を導出する（Ｓ３１）。その後、顔パーツ検出部２ｂは、テンプレートマッチングを行い（Ｓ３２）、顔パーツの検出を行う（Ｓ３３）。

上記実施の形態において、眠気検出部２ｈにより、ユーザの眠気が検出されないとき、その眠気の検出に対応するデータに基づいて、基準特徴量部２ｄにより予め取得された顔パーツ毎の特徴量の分布と、標準偏差σと、平均値μと、を更新する更新処理部２ｉを備えていてもよい。これにより高精度に、眠気を検出することができる。

図３１は、上述の如く、眠気検出部２ｈにより、ユーザの眠気が検出されないときをトリガーとして、基準特徴量部２ｄにより予め設定されたデータを更新する処理フローの一例を示すフローチャートである。

図２７に示す（Ｓ２８）において、眠気検出部２ｈは、眠気発生密度が検出レベルより小さく、ユーザの眠気が検出されないとき、顔パーツ検出部２ｂは、このときの顔パーツの検出を行う（Ｓ４０）。

次に、特徴量抽出部２ｃは、顔パーツ検出部２ｂにより検出された顔パーツに基づいて、顔パーツの特徴量を抽出する（Ｓ４１）。

更新処理部２ｉは、特徴量抽出部２ｃにより抽出された顔パーツの特徴量に基づいて、記憶部４に記憶された顔パーツ毎の特徴量の分布、標準偏差σ、及び平均値μを更新する（Ｓ４２）。

更新処理部２ｉにより更新された顔パーツ毎の特徴量の分布、標準偏差σ、及び平均値μは、記憶部４に記憶される（Ｓ４３）。

対比処理部２ｅは、更新処理部２ｉにより更新された顔パーツ毎の特徴量の分布と、標準偏差σと、平均値μと、に基づいて、例えば、眠気の兆候を示す顔パーツの特徴量の変化発生範囲を設定する。

上記実地の形態において、別の眠気検出装置による居眠り検出が併用される構成であってもよい。別の眠気検出装置は、例えば、ユーザの生理データ（心拍数、瞬目時間等）に基づいて、ユーザの眠気を検出する。これにより、高精度にユーザの眠気を検出することができる。

図３２は、上述の如く、別の眠気検出装置により眠気が検出されないときをトリガーにして、基準特徴量部２ｄにより予め設定されたデータを更新する処理フローの一例を示すフローチャートである。

別の眠気検出装置により眠気が検出されたとき（Ｓ５０）、顔パーツ検出部２ｂは、このときの顔パーツの検出を行う（Ｓ５１）。

次に、特徴量抽出部２ｃは、顔パーツ検出部２ｂにより検出された顔パーツに基づいて、顔パーツの特徴量を抽出する（Ｓ５２）。

更新処理部２ｉは、特徴量抽出部２ｃにより抽出された顔パーツの特徴量に基づいて、記憶部４に記憶された顔パーツ毎の特徴量の分布、標準偏差σ、及び平均値μを更新する（Ｓ５３）。

更新処理部２ｉにより更新された顔パーツ毎の特徴量の分布、標準偏差σ、及び平均値μは、記憶部４に記憶される（Ｓ５４）。

対比処理部２ｅは、更新処理部２ｉにより更新された顔パーツ毎の特徴量の分布と、標準偏差σと、平均値μと、に基づいて、例えば、眠気の兆候を示す顔パーツの特徴量の変化発生範囲を設定する。

上記実施の形態において、眠気検出部２ｈにより、ユーザの眠気が検出されないとき、その眠気の検出に対応するデータに基づいて、カウント処理部２ｆは、高覚醒時における、顔パーツに対する、単位時間当たりの眠気検出フラグの数をカウントし、眠気発生密度を算出してもよい。これにより、高精度にユーザの眠気を検出することができる。

図３３は、上述の如く、眠気検出部２ｈにより、ユーザの眠気が検出されないときをトリガーにして、検出レベルを設定する処理フローの一例を示すフローチャートである。

図２７に示す（Ｓ２８）において、眠気検出部２ｈにより、ユーザの眠気が検出されないとき、カウント処理部２ｆは、このときの顔パーツに対する、単位時間当たりの眠気検出フラグの数をカウントし、眠気発生密度を算出する（Ｓ６０）。

眠気検出部２ｈは、カウント処理部２ｆにより算出された眠気発生密度に基づいて、眠気発生密度の分布を求める（Ｓ６１）。

眠気検出部２ｈは、求めた眠気発生密度の分布に基づいて、検出レベルを設定する（Ｓ６２）。眠気検出部２ｈは、設定された検出レベルに基づいて、ユーザの眠気を検出する（Ｓ６３）。

また、上記実施の形態において、図３４に示す如く、別の眠気検出装置により、ユーザの眠気が検出されないとき（Ｓ７０）、カウント処理部２ｆは、このときの顔パーツに対する単位時間当たりの眠気検出フラグの数をカウントし、眠気発生密度を算出してもよい（Ｓ７１）。

眠気検出部２ｈは、カウント処理部２ｆにより算出された眠気発生密度に基づいて、眠気発生密度の分布を求める（Ｓ７２）。眠り検出部は、求めた眠気発生密度の分布に基づいて、検出レベルを設定する（Ｓ７３）。
（第２の実施の形態）
図３５は、本発明の第２の実施の形態に係る眠気検出装置のシステム構成を示すブロック図である。第２の実施の形態に係る眠気検出装置２０は、例えば、第１の実施の形態に係る眠気検出装置１の眠気検出部２ｈにより検出された眠気が継続している状態を検出できる。

なお、第２の実施の形態に係る眠気検出装置２０において、第１の実施の形態に係る眠気検出装置１と同一部分には同一の符号を付して、詳細な説明は省略する。

本実施の形態に係る眠気検出装置２０は、指標計測部２１と、指標前処理部２２と、眠気検出有無判断部２３と、保管処理部２４と、参照バッファ２５と、比較バッファ２６と、比較処理部２７と、を更に備えている。

指標計測部２１は、ユーザの生理指標（心電図、眼電図等）、車両操作（ハンドル操舵量、アクセル操作量、ブレーキ操作量等）等を居眠り検出に有用なデータを計測する。

指標前処理部２２は、指標計測部２１により計測されたデータに基づいて、各データの特徴量を算出する。例えば、指標前処理部２２は、指標計測部２１により計測されたユーザの心電図に基づいて、心拍数の増減傾向を算出する。また、指標前処理部２２は、指標計測部２１により計測されたユーザの眼電図に基づいて、瞬目持続時間の増減傾向を算出する。

さらに、指標前処理部２２は、指標計測部２１により計測されたハンドル操舵量に基づいて、ハンドル操舵の速度を算出し、ブレーキ操舵量に基づいて、ブレーキ踏込み速度を算出する。

なお、上記指標前処理部２２による心拍数の増減傾向は、以下のようにして算出される。

まず、指標前処理部２２は、指標計測部２１により計測された心電図に対して、バンドパスフィルタをかける。ここで、バンドパスフィルタの通過帯域は、例えば、下限を約０．１Ｈｚとし、上限を約３０Ｈｚに設定される。

次に、指標前処理部２２は、バンドパスフィルタがかけられた心電図（図３６（ａ））に対して、２値化処理（閾値処理を行い細線化）を行う（図３６（ｂ））。その後、指標前処理部２２は、２値化処理後の２値間における区間幅ｔ（秒）を求める（図３７）。

さらに、指標前処理部２２は、求められた区間幅ｔに基づいて、グラフを補間して、区間幅ｔの周期時系列を算出する（図３８）。なお、図３８において、区間幅ｔが周期に対応している。また、図３８において、縦軸の単位は変換するようにしてもよい（例えば、区間幅ｔ／６０（秒）を１分あたりの拍動回数とする）。図３９は、実際に算出された区間幅ｔの周期時系列の一例である。

さらに、指標前処理部２２は、算出した区間幅ｔの周期時系列に基づいて、区間幅ｔの周期時系列の区間の傾きを算出する（図４０）。具体的には、まず指標前処理部２２は、基準時刻ｔ１から過去の所定時間幅ｔｄのデータを抽出し、抽出した所定時間幅ｔｄのデータに対して、線形回帰式を算出する。次に、指標前処理部２２は、算出した線形回帰式に基づいて、傾きを算出し、その傾きを心拍数の増減傾向とする。

なお、指標前処理部２２は心拍数の増減傾向と同様に、瞬目持続時間の増減傾向を算出する。例えば、指標前処理部２２は、カメラ３により撮影されたユーザの顔画像に基づいて、閉眼開始時から開眼するまでの瞬目持続時間を算出する（図４１）。次に、指標前処理部２２は、算出した瞬目持続時間の周期時系列に基づいて、上述した心拍数の増減傾向と同様にして、線形回帰式を算出し、その傾きを瞬目持続時間の増減傾向とする。

記憶部４は、上述の如く、指標前処理部２２により算出された各データの特徴量（例えば、心拍数の増減傾向、瞬目持続時間の増減傾向）を記憶する。なお、記憶部４は、記憶した各データの特徴量を、逐次更新し、記憶する。

眠気検出有無判断部２３は、眠気検出部２ｈから送信される検出信号に基づいて、眠気検出部２ｈによりユーザの眠気が検出されたか否かを判断する。例えば、眠気検出部２ｈは、ユーザの眠気を検出すると、検出信号を眠気検出有無判断部２３に送信する。眠気検出有無判断部２３は、眠気検出部２ｈから検出信号を受信すると、ユーザの眠気が検出されたと判断する。

保管処理部２４は、眠気検出有無判断部２３によりユーザの眠気が検出されたとき、その時刻における心拍数の増減傾向及び瞬目持続時間の増減傾向を、参照バッファ２５に記憶させる。

また、保管処理部２４は、ユーザの眠気が検出された時刻以降の、心拍数の増減傾向及び瞬目持続時間の増減傾向を、比較バッファ２６に記憶させる。

比較処理部２７は、参照バッファ２５により記憶されたユーザの眠気が検出されたときの心拍数の増減傾向及び瞬目持続時間の増減傾向と、比較バッファ２６に記憶された心拍数の増減傾向及び瞬目持続時間の増減傾向と、を比較する。

例えば、比較処理部２７は、参照バッファ２５の心拍数の増減傾向の符号と、比較バッファ２６の心拍数の増減傾向の符号と、を下記（２）式により比較する。また、比較処理部２７は、参照バッファ２５の瞬目持続時間の増減傾向の符号と、比較バッファ２６の瞬目持続時間の増減傾向の符号と、を下記（２）式により比較する。

なお、比較処理部２７は、心拍数の増減傾向、若しくは瞬目持続時間の増減傾向のうちいずれか一方で、以下の（２）式が成立した場合に、参照バッファ２５のデータと比較バッファ２６のデータとが一致すると判断する。

（参照バッファ２５のデータ＞０）∩（比較バッファ２６のデータ＞０） （２）式
なお、上記（２）式において、「∩」は論理積（ＡＮＤ）を示している。

すなわち、比較処理部２７は、（参照バッファ２５の心拍数の増減傾向＞０）かつ（比較バッファ２６の心拍数の増減傾向＞０）であると判断したとき、両データが一致すると判断する。また、比較処理部２７は、（参照バッファ２５の瞬目持続時間の増減傾向＞０）かつ（比較バッファ２６の瞬目持続時間の増減傾向＞０）であると判断したとき、両データが一致すると判断する。

比較処理部２７は、上記（２）式により、参照バッファ２５のデータと比較バッファ２６のデータとが、一致したとき、ユーザの眠気が継続していると判断する。

例えば、比較処理部２７は、図４２（ａ）に示す如く、（Ａ）区間において、参照バッファ２５及び比較バッファ２６の心拍数の増減傾向が０より大きくなり（心拍数の増減傾向＞０）、眠気が継続していると判断する。また、比較処理部２７は、図４２（ｂ）に示す如く、（Ｂ）区間において、参照バッファ２５及び比較バッファ２６の瞬目持続時間の増減傾向が０より大きくなり（瞬目持続時間の増減傾向＞０）、眠気が継続していると判断する。すなわち、比較処理部２７は、心拍数の増減傾向、若しくは瞬目持続時間の増減傾向のうちいずれか一方で、上記（２）式が成立した場合、図４２（ｃ）に示す如く、区間（Ｃ）において、眠気が継続していると判断する。

なお、このとき、眠気検出部２ｈは、図４２（ｄ）に示す如く、（Ｄ）及び（Ｅ）において、眠気を検出している。したがって、眠気が検出された（Ｄ）から（Ｅ）の間における眠気の継続を比較処理部２７により区間（Ｃ）として、検出することができる。さらに、官能評価試験の結果と比較すると、図４２（ｅ）に示す如く、検出が望まれる評価レベル＝４（眠そうな状態、軽い眠気）となる区間（Ｆ）を検出することができることがわかる。すなわち、ユーザの軽い眠気を検出しつつ、さらに、その眠気の継続を検出できることがわかる。

比較処理部２７は、ユーザの眠気が継続していると判断すると、例えば、警報装置５に対して、警報信号を送信する。警報装置５は比較処理部２７から警報信号を受信すると、ユーザに対して、警報を行う。

次に、第２の実施の形態に係る眠気検出装置２０の処理フローの一例について、説明する。図４３は、第２の実施の形態に係る眠気検出装置２０の処理フローの一例を示すフローチャートである。なお、図４３に示す処理は、所定時間毎に繰り返し実行される。

例えば、指標計測部２１は、ユーザの生理指標である心電図及び眼電図を計測する（Ｓ８０）。

次に、指標前処理部２２は、指標計測部２１により計測された指標データである心電図及び眼電図に基づいて、特徴量である心拍数の増減傾向及び瞬目持続時間の増減傾向を算出し（Ｓ８１）、記憶部４に記憶させる（Ｓ８２）。

次に、眠気検出有無判断部２３は、眠気検出部２ｈから送信される検出信号に基づいて、眠気検出部２ｈによりユーザの眠気が検出されたか否かを判断する（Ｓ８３）。

眠気検出有無判断部２３によりユーザの眠気が検出されたとき（Ｓ８３のＹｅｓ）、保管処理部２４は、その時刻における心拍数の増減傾向及び瞬目持続時間の増減傾向（特徴量）を、参照バッファ２５に記憶させる（Ｓ８４）。一方、眠気検出有無判断部２３によりユーザの眠気が検出されない（Ｓ８３のＮｏ）、本処理によるルーチンは終了する。

保管処理部２４は、ユーザの眠気が検出された時刻以降の、心拍数の増減傾向及び瞬目持続時間の増減傾向（特徴量）を、比較バッファ２６に記憶させる（Ｓ８５）。

比較処理部２７は、参照バッファ２５により記憶されたユーザの眠気が検出されたときの心拍数の増減傾向及び瞬目持続時間の増減傾向と、比較バッファ２６に記憶された心拍数の増減傾向及び瞬目持続時間の増減傾向と、を比較し、一致するか否かを判断する（Ｓ８６）。

比較処理部２７は、参照バッファ２５のデータと比較バッファ２６のデータとが、一致すると判断すると（Ｓ８６のＹｅｓ）、ユーザの眠気が継続していると判断する（Ｓ８７）。一方、比較処理部２７は、参照バッファ２５のデータと比較バッファ２６のデータとが、一致しないと判断すると（Ｓ８６のＮｏ）、本処理によるルーチンを終了する。

比較処理部２７により、ユーザの眠気が継続していると判断されると、警報装置５は、ユーザに対して、警報を行う（Ｓ８８）。

以上、第２の実施の形態に係る眠気検出装置２０において、眠気検出部２ｈによるユーザの眠気の検出後においても、ユーザの眠気の継続を検出することができる。したがって、より高精度にユーザの眠気を検出することができる。

以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、上述した実施例に種々の変形及び置換を加えることができる。

本発明は、例えば、ユーザの眠気を検出する眠気検出装置に利用できる。

本発明の第１の実施の形態に係る眠気検出装置のシステム構成を示すブロック図である。 （ａ）顔パーツである目を覆う物体の一例を示す図である。（ｂ）顔パーツである口を覆う物体の一例を示す図である。 顔パーツ検出部による顔画像における顔パーツを検出する処理フローの一例を示す図である。 （ａ）唇横長さ及び唇縦長さの一例を示す図である。（ｂ）上下唇重心横変位及び上下唇重心縦変位の一例を示す図である。（ｃ）唇境界座標列の一例を示す図である。（ｄ）唇周囲変形の一例を示す図である。 （ａ）目領域全体の傾き、瞼境界線の座標列、及び目周囲変形の一例を示す図である。（ｂ）目縦長さの一例を示す図である。 （ａ）高覚醒時における唇横長さの一例を示す図である。（ｂ）眠気発生時における唇横長さの一例を示す図である。 （ａ）高覚醒時における上下唇重心横変位及び上下唇重心縦変位の一例を示す図である。（ｂ）眠気発生時における上下唇重心横変位及び上下唇重心縦変位の一例を示す図である。 （ａ）高覚醒時における唇境界座標列の一例を示す図である。（ｂ）眠気発生時における唇境界座標列の一例を示す図である。 （ａ）高覚醒時における唇周囲変形のない状態の一例を示す図である。（ｂ）眠気発生時における唇周囲変形の一例を示す図である。 （ａ）高覚醒時における唇縦長さの一例を示す図である。（ｂ）眠気発生時における唇縦長さの一例を示す図である。 （ａ）高覚醒時における目領域全体の傾きの一例を示す図である。（ｂ）眠気発生時における目領域全体の傾きの一例を示す図である。 （ａ）高覚醒時における瞼境界線の座標列の一例を示す図である。（ｂ）眠気発生時における瞼境界線の座標列の一例を示す図である。 （ａ）高覚醒時における目周囲変形のない状態の一例を示す図である。（ｂ）眠気発生時における目周囲変形の一例を示す図である。 （ａ）高覚醒時における目縦長さの一例を示す図である。（ｂ）眠気発生時における目縦長さの一例を示す図である。 特徴量抽出部により抽出された顔パーツの特徴量が特徴量テーブルを用いて記憶される状態の一例を示す図である。 運転開始後の所定時間以内における顔パーツの特徴量が取得され、高覚醒時の顔パーツの特徴量とされるときの処理フローの一例を示すフローチャートである。 顔パーツ毎の特徴量の分布、及び変化発生範囲の一例を示す図である。 カウント処理部により立てられた眠気検出フラグの状態の一例を示す図である。 （ａ）被験者Ｙの眠気発生密度の時系列データの一例を示す図である。（ｂ）被験者Ｈの眠気発生密度の時系列データの一例を示す図である。 眠気発生密度のデータにおける単位時間幅に含まれる密度塊の一例を示す図である。 全ての密度塊の最大値に対する平均値、最大値の中での最大値、及び最大値の中での最小値の一例を示す図である。 高覚醒時における眠気検出フラグの一例を示す図である。 現在の眠気発生密度を含めて、再度、算出した眠気発生密度の分布、及び平均値の一例を示す図である。 高覚醒時の眠気発生密度の分布の一例を示す図である。 眠気発生密度を各区間毎に取得して、生成したヒストグラムの一例を示す図である。 眠気発生密度が設定された検出レベル以上であるとき、眠気の検出を行う状態の一例を示す図である。 第１の実施の形態に係る眠気検出装置の処理フローの一例を示すフローチャートである。 眠気検出部により、ユーザが、現在、通常の生理心理状態にあると判断され、検出レベルが設定され、眠気の検出が行われた一例を示す図である。 眠気検出部により、ユーザが、現在、通常より活性の高い状態にあると判断され、検出レベルが設定され、眠気の検出が行われた一例を示す図である。 顔パーツ検出部が顔パーツの色及び面積に基づいて、顔パーツの検出処理を行う処理フローの一例を示すフローチャートである。 眠気検出部により、ユーザの眠気が検出されないときをトリガーとして、基準特徴量部により予め設定されたデータを更新する処理フローの一例を示すフローチャートである。 別の眠気検出装置により眠気が検出されないときをトリガーにして、基準特徴量部により予め設定されたデータを更新する処理フローの一例を示すフローチャートである。 眠気検出部により、ユーザの眠気が検出されないときをトリガーにして、検出レベルを設定する処理フローの一例を示すフローチャートである。 別の眠気検出装置により、ユーザの眠気が検出されないときをトリガーにして、検出レベルを設定する処理フローを示すフローチャートである。 本発明の第２の実施の形態に係る眠気検出装置のシステム構成を示すブロック図である。 （ａ）バンドパスフィルタがかけられた心電図の一例を示す図である。（ｂ）心電図に対して、２値化処理を行った結果の一例を示す図である。 指標前処理部による２値化処理後の２値間における区間幅の一例を示す図である。 算出された区間幅の周期時系列の一例を示す図である。 実際に算出された区間幅の周期時系列の一例を示す図である。 算出された区間幅の周期時系列の区間の傾きの一例を示す図である。 瞬目持続時間の増減傾向を求める際の処理の一例を示す図である。 （ａ）心拍数の増減傾向により眠気が継続していると判断される区間の一例を示す図である。（ｂ）瞬目持続時間の増減傾向により眠気が継続していると判断される区間の一例を示す図である。（ｃ）心拍数の増減傾向及び瞬目持続時間により、眠気が継続していると判断される区間の一例を示す図である。（ｄ）眠気検出部により眠気が検出される区間の一例を示す図である。（ｅ）官能評価試験による評価レベル＝４となる区間を示す図である。 第２の実施の形態に係る眠気検出装置の処理フローの一例を示すフローチャートである。

符号の説明

１ 眠気検出装置
２ コンピュータ本体
２ａ 物体検出部
２ｂ 顔パーツ検出部
２ｃ 特徴量抽出部
２ｄ 基準特徴量部
２ｅ 対比処理部
２ｆ カウント処理部
２ｇ 癖判別部
２ｈ 眠気検出部
３ カメラ
４ 記憶部
５ 警報装置

Claims (16)

1. ユーザの顔を撮影する撮影手段と、
   前記撮影手段により撮影された前記顔の画像に基づいて、前記顔の変化の特徴量を抽出する特徴量抽出手段と、
   前記特徴量抽出手段により抽出された前記顔の変化の特徴量に基づいて、ユーザの眠気を検出する眠気検出手段と、を備える眠気検出装置であって、
   前記特徴量抽出手段により抽出される前記顔の変化の特徴量は、前記顔における、唇の横方向の長さ、上唇の重心と下唇の重心との相対的変位、上唇と下唇との境界線の座標列、唇近傍の顔表面の変形、目の傾き、瞼の境界線の座標列、及び瞼近傍の顔表面の変形、のうち少なくとも１つを含む、ことを特徴とする眠気検出装置。
2. 請求項１記載の眠気検出装置であって、
   前記撮影手段により撮影された顔の画像に基づいて、前記顔の目又は口を覆う物体を検出する物体検出手段を更に備え、
   前記物体検出手段により、前記顔の目又は口を覆う物体が検出されないとき、前記眠気検出手段は、前記特徴量抽出手段により抽出された前記顔の変化の特徴量に基づいて、前記ユーザの眠気を検出する、ことを特徴とする眠気検出装置。
3. 請求項２記載の眠気検出装置であって、
   前記物体検出手段により、前記顔の目又は口を覆う物体が検出されたとき、ユーザの生理指標データに基づいて、ユーザの眠気を検出する代替眠気検出手段を更に備える、ことを特徴とする眠気検出装置。
4. 請求項１乃至３のうちいずれか１項記載の眠気検出装置であって、
   ユーザの高覚醒時における顔の変化の特徴量を予め取得する基準特徴量手段と、
   前記基準特徴量手段により予め取得された前記高覚醒時における顔の変化の特徴量と、前記特徴量抽出手段により抽出された現在の顔の変化の特徴量と、を対比し、ユーザの眠気の兆候を判断する対比処理手段と、を更に備え、
   前記眠気検出手段は、前記対比処理手段による前記眠気の兆候の判断に基づいて、前記ユーザの眠気を検出する、ことを特徴とする眠気検出装置。
5. 請求項４記載の眠気検出装置であって、
   前記基準特徴量手段は、ユーザが車両の運転開始後、所定時間以内において、前記顔の変化の特徴量を取得する、ことを特徴とする眠気検出装置。
6. 請求項４記載の眠気検出装置であって、
   前記基準特徴量手段は、前記唇の横方向の長さ、前記上唇の重心と下唇の重心との相対的変位、及び前記目の傾き、について、標準偏差、及び平均値を夫々算出し、
   前記対比処理手段は、前記基準特徴量手段により算出された前記標準偏差及び平均値に基づいて、眠気が発生していると推定される変化発生範囲を設定し、前記特徴量抽出手段により抽出された、現在の前記唇の横方向の長さ、前記上唇の重心と下唇の重心との相対変位、及び前記目の傾きが、対応する前記変化発生範囲に入っていると判断したとき、前記眠気の兆候があると判断する、ことを特徴とする眠気検出装置。
7. 請求項４記載の眠気検出装置であって、
   前記基準特徴量手段は、高覚醒時における前記上唇と下唇との境界線の座標列、及び前記瞼の境界線の座標列を予め取得し、
   前記対比処理手段は、前記基準特徴量手段により予め取得された前記上唇と下唇との境界線の座標列、及び前記瞼の境界線の座標列と、前記特徴量抽出手段により抽出された、現在の前記上唇と下唇との境界線の座標列、及び前記瞼の境界線の座標列と、の間の相互相関係数を算出し、算出された該相互相関係数が所定値以下のときに、前記眠気の兆候があると判断する、ことを特徴とする眠気検出装置。
8. 請求項４記載の眠気検出装置であって、
   前記基準特徴量手段は、高覚醒時における唇近傍の顔表面、又は瞼近傍の顔表面を予め取得し、
   前記対比処理手段は、前記特徴量抽出手段により抽出された現在の前記唇近傍の顔表面の変化、又は瞼近傍の顔表面の変化が、前記基準特徴量手段により予め取得された前記唇近傍の顔表面の変化、又は前記瞼近傍の顔表面の変化と、夫々異なるとき、前記眠気の兆候があると判断する、ことを特徴とする眠気検出装置。
9. 請求項６乃至８のうちいずれか１項記載の眠気検出装置であって、
   前記対比処理手段により前記眠気の兆候があると判断されたときに、眠気検出フラグを立て、該眠気検出フラグの単位時間当たりの密度である眠気発生密度を算出するカウント処理手段を、更に備え、
   前記眠気検出手段は、予め取得された高覚醒時の前記眠気発生密度の分布と、前記カウント処理手段により算出された現在の前記眠気発生密度と、に基づいて、前記眠気を検出する検出レベルを設定し、前記現在の眠気発生密度が前記検出レベル以上となるときに、前記ユーザの眠気を検出する、ことを特徴とする眠気検出装置。
10. 請求項９記載の眠気検出装置であって、
    前記カウント処理手段により算出された前記眠気発生密度の時系列データにおける周期性又は大きさに基づいて、前記眠気発生密度の変化が、ユーザの癖による変化であるか、又はユーザの眠気による変化であるか、を判別する癖判別手段を更に備え、
    前記癖判別手段により前記ユーザの癖による変化であると判別されたとき、前記眠気検出手段は、前記ユーザの眠気を検出しない、ことを特徴とする眠気検出装置。
11. 請求項１０記載の眠気検出装置であって、
    前記癖判別手段は、前記眠気発生密度の時系列データの単位時間において、前記眠気発生密度の値が０より大きい値で連続する複数の密度塊について、夫々の最大値を求め、
    求められた該最大値のうち最大となる値と、最小となる値との差が、前記最大値の平均値よりも小さいとき、前記ユーザの癖による変化であると判別する、ことを特徴とする眠気検出装置。
12. 請求項１乃至１１のうちいずれか１項記載の眠気検出装置であって、
    ユーザの指標データを検出する指標データ検出手段と、
    前記指標データ検出手段により検出された前記指標データに基づいて、前記指標データの増減傾向を算出する指標前処理手段と、
    前記眠気検出手段により前記ユーザの眠気が検出されたときにおける、前記指標前処理部により算出された前記指標データの増減傾向を記憶する参照バッファと、
    前記眠気検出手段により前記ユーザの眠気が検出されたとき以降における、前記指標前処理手段により算出された前記指標データの増減傾向を記憶する比較バッファと、
    前記参照バッファに記憶された前記指標データの増減傾向と、前記比較バッファに記憶された前記指標データの増減傾向と、を比較することにより、前記ユーザの眠気の継続を検出する比較処理手段と、を更に備える、ことを特徴とする眠気検出装置。
13. 請求項１２記載の眠気検出装置であって、
    前記比較処理手段は、前記参照バッファに記憶された前記指標データの符号と、前記比較バッファに記憶された前記指標データの増減傾向の符号と、が一致するとき、前記ユーザの眠気の継続を検出する、ことを特徴とする眠気検出装置。
14. 請求項１２又は１３記載の眠気検出装置であって、
    前記指標データ検出手段により検出される前記指標データには、ユーザの生理指標と、車両操作状態とを含む、ことを特徴とする眠気検出装置。
15. 請求項１４記載の眠気検出装置であって、
    前記指標データ検出手段により検出される前記ユーザの生理指標には、ユーザの呼吸数と、開眼から閉眼までの瞬目持続時間と、を含む、ことを特徴とする眠気検出装置。
16. 請求項１乃至１５のうちいずれか１項記載の眠気検出装置であって、
    前記眠気検出手段により前記ユーザの眠気が検出され、又は前記比較処理手段により、前記ユーザの眠気の継続が検出されたとき、前記ユーザに対して警報を行う警報手段を更に備える、ことを特徴とする眠気検出装置。

Images