JP2008228759A - 意識低下判定装置及びプログラム - Google Patents

意識低下判定装置及びプログラム Download PDF

Info

Publication number
JP2008228759A
JP2008228759A JP2007068355A JP2007068355A JP2008228759A JP 2008228759 A JP2008228759 A JP 2008228759A JP 2007068355 A JP2007068355 A JP 2007068355A JP 2007068355 A JP2007068355 A JP 2007068355A JP 2008228759 A JP2008228759 A JP 2008228759A
Authority
JP
Japan
Prior art keywords
consciousness
probability
state
level
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007068355A
Other languages
English (en)
Inventor
Ryuta Terajima
立太 寺嶌
Toshihiro Wakita
敏裕 脇田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Original Assignee
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Central R&D Labs Inc filed Critical Toyota Central R&D Labs Inc
Priority to JP2007068355A priority Critical patent/JP2008228759A/ja
Publication of JP2008228759A publication Critical patent/JP2008228759A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Steering Controls (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

【解決課題】精度よく意識低下状態を判定することができるようにする。
【解決手段】対数スペクトル算出部３３によって、瞬目パターン生成部３２で生成された瞬目パターン情報の瞬目動作波形の周波数スペクトルを計算し、計算された周波数スペクトルを対数変換して対数スペクトルを算出する。そして、ケプストラム係数抽出部３４によって、算出された対数スペクトルを逆フーリエ変換し、複数の次元の各々のケプストラム係数を算出し、上位から高次ｄ次元分のケプストラム係数を抽出する。そして、眠気判定部３７によって、ケプストラム係数抽出部３４によって抽出された高次ｄ次元分のケプストラム係数と、確率分布格納部３６に格納されている眠気レベルに対する高次ｄ次元分のケプストラム係数の確率分布を正規確率分布で近似した場合のパラメータとに基づいて、眠気状態を判定する。
【選択図】図２

Description

本発明は、意識低下判定装置及びプログラムに係り、特に、被観察者の意識低下状態を判定する意識低下判定装置及びプログラムに関する。
従来より、瞬目特徴量（瞬き回数、瞬き持続時間、瞬き間間隔）の重み付き加算値を求めて、眠気状態を判定する装置が知られている（例えば、特許文献１）。
また、所定時間内のある閾値以上の閉眼時間を積算した値を用いて居眠り検出を行う居眠り検出器が知られている（例えば、特許文献３）。
実開昭６２−２０３７３１号公報 特開平６−２１９１８１号公報
しかしながら、上記の特許文献１、２に記載の技術では、瞬目パターンから得られる統計量を用い、覚醒時と眠気時との統計量の差に基づいて、眠気状態を判定しており、瞬目パターンから得られる統計量は、意識低下状態を表わさない特徴も含んでいるため、精度良く判定することができない、という問題がある。
また、上記の特許文献１、２に記載の技術では、意識低下状態の時系列変化を表わす情報を用いて判定していないため、例えば、ある時刻でたまたま被観察者が眼をこすったような場合など、瞬目パターンに何らかの外乱が加わると、判定結果に影響し、判定精度が劣化してしまう、という問題がある。
また、上記の特許文献１、２に記載の技術では、判定の基準となる評定値のゆれをモデル化しておらず、例えば、同じ特徴量に対して異なる評定値が得られたとしても、決定基準を設定することなく閾値を決めなければならないため、精度良く判定することができない、という問題がある。
本発明は、上記の問題点を解決するためになされたもので、精度よく意識低下状態を判定することができる意識低下判定装置及びプログラムを提供することを目的とする。
上記の目的を達成するために第１の発明に係る意識低下判定装置は、被観察者の顔画像を撮像する撮像手段と、前記撮像手段により撮像された被観察者の顔画像に基づいて、所定時間内における瞬目動作又は視線方向の変化を示す波形情報を生成する生成手段と、前記生成手段によって生成された前記波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出する抽出手段と、前記抽出手段によって抽出された特徴量に基づいて、前記被観察者の意識低下状態を判定する判定手段とを含んで構成されている。
第２の発明に係るプログラムは、コンピュータを、被観察者の顔画像を撮像する撮像手段により撮像された被観察者の顔画像に基づいて、所定時間内における瞬目動作又は視線方向の変化を示す波形情報を生成する生成手段、前記生成手段によって生成された前記波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出する抽出手段、及び前記抽出手段によって抽出された特徴量に基づいて、前記被観察者の意識低下状態を判定する判定手段として機能させるプログラムである。
第１の発明及び第２の発明によれば、撮像手段によって、被観察者の顔画像を撮像し、生成手段によって、撮像手段により撮像された被観察者の顔画像に基づいて、所定時間内における瞬目動作又は視線方向の変化を示す波形情報を生成する。
そして、抽出手段によって、生成手段によって生成された波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出し、判定手段によって、抽出手段によって抽出された特徴量に基づいて、前記被観察者の意識低下状態を判定する。
このように、瞬目動作又は視線方向の変化を示す波形情報から、所定の次数のケプストラム係数を抽出して、意識低下状態を判定することにより、意識低下状態を表わさない特徴を分離した特徴量を抽出して判定することができるため、精度よく意識低下状態を判定することができる。
第３の発明に係る意識低下判定装置は、車両の運転者の運転操作量を検出する操作量検出手段と、前記操作量検出手段により検出された運転者の運転操作量に基づいて、所定時間内における運転操作量の変化を示す波形情報を生成する生成手段と、前記生成手段によって生成された前記波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出する抽出手段と、前記抽出手段によって抽出された特徴量に基づいて、前記運転者の意識低下状態を判定する判定手段とを含んで構成されている。
第４の発明に係るプログラムは、コンピュータを、車両の運転者の運転操作量を検出する操作量検出手段により検出された運転者の運転操作量に基づいて、所定時間内における運転操作量の変化を示す波形情報を生成する生成手段、前記生成手段によって生成された前記波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出する抽出手段、及び前記抽出手段によって抽出された特徴量に基づいて、前記運転者の意識低下状態を判定する判定手段として機能させるためのプログラムである。
第３の発明及び第４の発明によれば、操作量検出手段によって、車両の運転者の運転操作量を検出し、生成手段によって、操作量検出手段により検出された運転者の運転操作量に基づいて、所定時間内における運転操作量の変化を示す波形情報を生成する。
そして、抽出手段によって、生成手段によって生成された波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出し、判定手段によって、抽出手段によって抽出された特徴量に基づいて、前記運転者の意識低下状態を判定する。
このように、操作量の変化を示す波形情報から、所定の次数のケプストラム係数を抽出して、意識低下状態を判定することにより、意識低下状態を表わさない特徴を分離した特徴量を抽出して判定することができるため、精度よく意識低下状態を判定することができる。
上記の所定の次数のケプストラム係数を、予め定められた次数以上の予め定められた範囲の高次のケプストラム係数とすることができる。これによって、意識低下状態を表わす高次のケプストラム係数を特徴量として抽出することができる。
上記の所定のケプストラム係数を、予め定められた次数以下の予め定められた範囲の低次のケプストラム係数とすることができる。これによって、意識低下状態を表わす低次のケプストラム係数を特徴量として抽出することができる。
上記の所定のケプストラム係数を、予め定められた第１次数以下の予め定められた第１範囲の低次のケプストラム係数及び第１次数より高い予め定められた第２次数以上の予め定められた第２範囲の高次のケプストラム係数とすることができる。これによって、意識低下状態を表わす高次のケプストラム係数及び低次のケプストラム係数を特徴量として抽出することができる。
上記の判定手段は、意識低下状態における所定の次数のケプストラム係数の予め定められた確率分布と、抽出手段によって抽出された特徴量とに基づいて、意識低下状態を判定することができる。これにより、確率分布を用いて判定するため、更に精度よく意識低下状態を判定することができる。
上記の判定手段は、意識低下状態を示す予め定められた複数の意識低下レベルの各々における所定の次数のケプストラム係数の予め定められた確率分布と、抽出手段によって抽出された特徴量とに基づいて、意識低下状態が複数の意識低下レベルの何れかであるかを判定することができる。これにより、各意識低下レベルの確率分布を用いて判定するため、更に精度よく意識低下レベルを判定することができる。
第５の発明に係る意識低下判定装置は、被観察者の顔画像を撮像する撮像手段と、前記撮像手段により撮像された被観察者の顔画像に基づいて、意識低下状態で発生する瞬目又は視線方向の特徴量を抽出する抽出手段と、意識低下状態を示す予め定められた複数の意識低下レベルの複数パターンの状態遷移の各々に対する状態遷移確率値を複数記憶した確率記憶手段と、少なくとも前回判定された前記被観察者の意識低下レベルを記憶するレベル記憶手段と、前記複数の意識低下レベルの各々における前記特徴量の予め定められた確率分布と、前記抽出手段によって抽出された前記特徴量とに基づいて、前記複数の意識低下レベルの各々に対して、前記特徴量の確率値又は確率密度値を算出する算出手段と、前記レベル記憶手段に記憶された意識低下レベルから前記複数の意識低下レベルの各々へのパターンの状態遷移の各々に対する状態遷移確率値を前記確率記憶手段から検索する検索手段と、前記算出手段によって算出された確率値又は確率密度値、及び前記検索手段によって検索された状態遷移確率値に基づいて、前記被観察者の意識低下状態が前記複数の意識低下レベルの何れかであるかを判定する判定手段とを含んで構成されている。
第６の発明に係るプログラムは、コンピュータを、被観察者の顔画像を撮像する撮像手段により撮像された被観察者の顔画像に基づいて、意識低下状態で発生する瞬目又は視線方向の特徴量を抽出する抽出手段、意識低下状態を示す予め定められた複数の意識低下レベルの複数パターンの状態遷移の各々に対する状態遷移確率値を複数記憶した確率記憶手段、少なくとも前回判定された前記被観察者の意識低下レベルを記憶するレベル記憶手段と、前記複数の意識低下レベルの各々における前記特徴量の予め定められた確率分布と、前記抽出手段によって抽出された前記特徴量とに基づいて、前記複数の意識低下レベルの各々に対して、前記特徴量の確率値又は確率密度値を算出する算出手段、前記レベル記憶手段に記憶された意識低下レベルから前記複数の意識低下レベルの各々へのパターンの状態遷移の各々に対する状態遷移確率値を前記確率記憶手段から検索する検索手段、及び前記算出手段によって算出された確率値又は確率密度値、及び前記検索手段によって検索された状態遷移確率値に基づいて、前記被観察者の意識低下状態が前記複数の意識低下レベルの何れかであるかを判定する判定手段として機能させるためのプログラムである。
第５の発明及び第６の発明によれば、撮像手段によって、被観察者の顔画像を撮像し、抽出手段によって、撮像手段により撮像された被観察者の顔画像に基づいて、意識低下状態で発生する瞬目又は視線方向の特徴量を抽出する。
そして、算出手段によって、複数の意識低下レベルの各々における特徴量の予め定められた確率分布と、抽出手段によって抽出された特徴量とに基づいて、複数の意識低下レベルの各々に対して、特徴量の確率値又は確率密度値を算出する。また、検索手段によって、レベル記憶手段に記憶された少なくとも前回判定された意識低下レベルから複数の意識低下レベルの各々へのパターンの状態遷移の各々に対する状態遷移確率値を確率記憶手段から検索する。
そして、判定手段によって、算出手段によって算出された確率値又は確率密度値、及び検索手段によって検索された状態遷移確率値に基づいて、被観察者の意識低下状態が複数の意識低下レベルの何れかであるかを判定する。
このように、各意識低下レベルにおける瞬目又は視線方向の特徴量の確率分布に基づく瞬目又は視線方向の特徴量の確率値又は確率密度値と、少なくとも前回判定された意識低下レベルから複数の意識低下レベルの各々への状態遷移の状態遷移確率値とに基づいて、意識低下レベルを判定することにより、意識低下レベルの状態遷移及び確率分布を考慮した確率を用いて判定することができるため、意識低下レベルを精度よく判定することができる。
第７の発明に係る意識低下判定装置は、車両の運転者の運転操作量を検出する操作量検出手段と、前記操作量検出手段により検出された運転者の運転操作量に基づいて、意識低下状態で発生する運転操作の特徴量を抽出する抽出手段と、意識低下状態を示す予め定められた複数の意識低下レベルの複数パターンの状態遷移の各々に対する状態遷移確率値を複数記憶した確率記憶手段と、少なくとも前回判定された前記運転者の意識低下レベルを記憶するレベル記憶手段と、前記複数の意識低下レベルの各々における前記特徴量の予め定められた確率分布と、前記抽出手段によって抽出された前記特徴量とに基づいて、前記複数の意識低下レベルの各々に対して、前記特徴量の確率値又は確率密度値を算出する算出手段と、前記レベル記憶手段に記憶された意識低下レベルから前記複数の意識低下レベルの各々へのパターンの状態遷移の各々に対する状態遷移確率値を前記確率記憶手段から検索する検索手段と、前記算出手段によって算出された確率値又は確率密度値、及び前記検索手段によって検索された状態遷移確率値に基づいて、前記運転者の意識低下状態が前記複数の意識低下レベルの何れかであるかを判定する判定手段とを含んで構成されている。
第８の発明に係るプログラムは、コンピュータを、車両の運転者の運転操作量を検出する操作量検出手段により検出された運転者の運転操作量に基づいて、意識低下状態で発生する運転操作の特徴量を抽出する抽出手段、意識低下状態を示す予め定められた複数の意識低下レベルの複数パターンの状態遷移の各々に対する状態遷移確率値を複数記憶した確率記憶手段、少なくとも前回判定された前記運転者の意識低下レベルを記憶するレベル記憶手段と、前記複数の意識低下レベルの各々における前記特徴量の予め定められた確率分布と、前記抽出手段によって抽出された前記特徴量とに基づいて、前記複数の意識低下レベルの各々に対して、前記特徴量の確率値又は確率密度値を算出する算出手段、前記レベル記憶手段に記憶された意識低下レベルから前記複数の意識低下レベルの各々へのパターンの状態遷移の各々に対する状態遷移確率値を前記確率記憶手段から検索する検索手段、及び前記算出手段によって算出された確率値又は確率密度値、及び前記検索手段によって検索された状態遷移確率値に基づいて、前記運転者の意識低下状態が前記複数の意識低下レベルの何れかであるかを判定する判定手段として機能させるためのプログラムである。
第７の発明及び第８の発明によれば、操作量検出手段によって、車両の運転者の運転操作量を検出し、抽出手段によって、操作量検出手段により検出された運転者の運転操作量に基づいて、意識低下状態で発生する運転操作の特徴量を抽出する。
そして、算出手段によって、複数の意識低下レベルの各々における特徴量の予め定められた確率分布と、抽出手段によって抽出された特徴量とに基づいて、複数の意識低下レベルの各々に対して、特徴量の確率値又は確率密度値を算出する。また、検索手段によって、レベル記憶手段に記憶された少なくとも前回判定された意識低下レベルから複数の意識低下レベルの各々へのパターンの状態遷移の各々に対する状態遷移確率値を確率記憶手段から検索する。
そして、判定手段によって、算出手段によって算出された確率値又は確率密度値、及び検索手段によって検索された状態遷移確率値に基づいて、被観察者の意識低下状態が複数の意識低下レベルの何れかであるかを判定する。
このように、各意識低下レベルにおける運転操作の特徴量の確率分布に基づく運転操作の特徴量の確率値又は確率密度値と、少なくとも前回判定された意識低下レベルから複数の意識低下レベルの各々への状態遷移の状態遷移確率値とに基づいて、意識低下レベルを判定することにより、意識低下レベルの状態遷移及び確率分布を考慮した確率を用いて判定することができるため、意識低下レベルを精度よく判定することができる。
第７の発明に係る抽出手段は、撮像手段により撮像された被観察者の顔画像に基づいて、所定時間内における瞬目動作又は視線方向の変化を示す波形情報を生成する生成手段を備え、生成手段によって生成された波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出することができる。これによって、所定の次数のケプストラム係数を特徴量として抽出することにより、意識低下状態を表わさない特徴を分離した特徴量を用いて判定することができるため、精度よく意識低下状態を判定することができる。
第７の発明に係る抽出手段は、操作量検出手段により検出された運転者の運転操作量に基づいて、所定時間内における運転操作量の変化を示す波形情報を生成する生成手段を備え、生成手段によって生成された波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出することができる。これによって、所定の次数のケプストラム係数を特徴量として抽出することにより、意識低下状態を表わさない特徴を分離した特徴量を用いて判定することができるため、精度よく意識低下状態を判定することができる。
上記のレベル記憶手段は、前回判定された意識低下レベル及び前回以前に判定された意識低下レベルを記憶し、検索手段は、レベル記憶手段に記憶された意識低下レベルの状態遷移から複数の意識低下レベルの各々へのパターンの状態遷移に対する状態遷移確率値を確率記憶手段から検索することができる。これによって、前回以前からの意識低下レベルの状態遷移に基づいた状態遷移確率値を用いて判定することができるため、更に精度よく意識低下状態を判定することができる。
また、上記の確率記憶手段に記憶された状態遷移確率値を、マルコフモデルに基づいて定められる状態遷移確率値とすることができる。
第９の発明に係る意識低下判定装置は、被観察者の顔画像を撮像する撮像手段と、前記撮像手段により撮像された被観察者の顔画像に基づいて、意識低下状態で発生する瞬目又は視線方向の特徴量を抽出する抽出手段と、複数の前記特徴量の各々と前記複数の特徴量の各々に対応する意識低下状態を示す予め定められた複数の意識低下レベルの何れかとに基づいて学習され、かつ、複数の確率分布を含む前記意識低下レベルと前記特徴量との混合分布に基づいて、前記複数の確率分布の各々における前記抽出手段によって抽出された特徴量の確率値又は確率密度値を算出する確率算出手段と、前記確率算出手段によって算出された確率値又は確率密度値に基づいて、前記確率値又は前記確率密度値が最大となる前記確率分布を前記複数の確率分布から選択し、前記選択された確率分布に対して最も尤度が高い意識低下レベルを、前記被観察者の意識低下状態として判定する判定手段とを含んで構成されている。
第１０の発明に係るプログラムは、コンピュータを、被観察者の顔画像を撮像する撮像手段により撮像された被観察者の顔画像に基づいて、意識低下状態で発生する瞬目又は視線方向の特徴量を抽出する抽出手段、複数の前記特徴量の各々と前記複数の特徴量の各々に対応する意識低下状態を示す予め定められた複数の意識低下レベルの何れかとに基づいて学習され、かつ、複数の確率分布を含む前記意識低下レベルと前記特徴量との混合分布に基づいて、前記複数の確率分布の各々における前記抽出手段によって抽出された特徴量の確率値又は確率密度値を算出する確率算出手段、及び前記確率算出手段によって算出された確率値又は確率密度値に基づいて、前記確率値又は前記確率密度値が最大となる前記確率分布を前記複数の確率分布から選択し、前記選択された確率分布に対して最も尤度が高い意識低下レベルを、前記被観察者の意識低下状態として判定する判定手段として機能させるためのプログラムである。
第９の発明及び第１０の発明によれば、撮像手段によって、被観察者の顔画像を撮像し、抽出手段によって、撮像手段により撮像された被観察者の顔画像に基づいて、意識低下状態で発生する瞬目又は視線方向の特徴量を抽出する。
そして、確率算出手段によって、複数の前記特徴量の各々と複数の特徴量の各々に対応する意識低下状態を示す予め定められた複数の意識低下レベルの何れかとに基づいて学習され、かつ、複数の確率分布を含む意識低下レベルと特徴量との混合分布に基づいて、複数の確率分布の各々における抽出手段によって抽出された特徴量の確率値又は確率密度値を算出する。
そして、判定手段によって、確率算出手段によって算出された確率値又は確率密度値に基づいて、確率値又は確率密度値が最大となる確率分布を複数の確率分布から選択し、選択された確率分布に対して最も尤度が高い意識低下レベルを、被観察者の意識低下状態として判定する。
このように、意識低下レベルと瞬目又は視線方向の特徴量との混合分布に基づいて、複数の確率分布の各々における特徴量の確率値又は確率密度値を算出して、意識低下レベルを判定することにより、特徴量に対する意識低下レベルの評定値のゆれを考慮して最適な意識低下レベルを判定することができるため、意識低下レベルを精度よく判定することができる。
第９の発明に係る抽出手段は、撮像手段により撮像された被観察者の顔画像に基づいて、所定時間内における瞬目動作又は視線方向の変化を示す波形情報を生成する生成手段を備え、生成手段によって生成された波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出することができる。これによって、所定の次数のケプストラム係数を特徴量として抽出することにより、意識低下状態を表わさない特徴を分離した特徴量を用いて判定することができるため、精度よく意識低下状態を判定することができる。
第１１の発明に係る意識低下判定装置は、車両の運転者の運転操作量を検出する操作量検出手段と、前記操作量検出手段により検出された運転者の運転操作量に基づいて、意識低下状態で発生する運転操作の特徴量を抽出する抽出手段と、複数の前記特徴量の各々と前記複数の特徴量の各々に対応する意識低下状態を示す予め定められた複数の意識低下レベルの何れかとに基づいて学習され、かつ、複数の確率分布を含む前記意識低下レベルと前記特徴量との混合分布に基づいて、前記複数の確率分布の各々における前記抽出手段によって抽出された特徴量の確率値又は確率密度値を算出する確率算出手段と、前記確率算出手段によって算出された確率値又は確率密度値に基づいて、前記確率値又は確率密度値が最大となる前記確率分布を前記複数の確率分布から選択し、前記選択された確率分布に対して最も尤度が高い意識低下レベルを、前記運転者の意識低下状態として判定する判定手段とを含んで構成されている。
第１２の発明に係るプログラムは、コンピュータを、車両の運転者の運転操作量を検出する操作量検出手段により検出された運転者の運転操作量に基づいて、意識低下状態で発生する運転操作の特徴量を抽出する抽出手段、複数の前記特徴量の各々と前記複数の特徴量の各々に対応する意識低下状態を示す予め定められた複数の意識低下レベルの何れかとに基づいて学習され、かつ、複数の確率分布を含む前記意識低下レベルと前記特徴量との混合分布に基づいて、前記複数の確率分布の各々における前記抽出手段によって抽出された特徴量の確率値又は確率密度値を算出する確率算出手段、及び前記確率算出手段によって算出された確率値又は確率密度値に基づいて、前記確率値又は確率密度値が最大となる前記確率分布を前記複数の確率分布から選択し、前記選択された確率分布に対して最も尤度が高い意識低下レベルを、前記運転者の意識低下状態として判定する判定手段として機能させるためのプログラムである。
第１１の発明及び第１２の発明によれば、操作量検出手段によって、車両の運転者の運転操作量を検出し、抽出手段によって、操作量検出手段により検出された運転者の運転操作量に基づいて、意識低下状態で発生する運転操作の特徴量を抽出する。
そして、確率算出手段によって、複数の前記特徴量の各々と複数の特徴量の各々に対応する意識低下状態を示す予め定められた複数の意識低下レベルの何れかとに基づいて学習され、かつ、複数の確率分布を含む意識低下レベルと特徴量との混合分布に基づいて、複数の確率分布の各々における抽出手段によって抽出された特徴量の確率値又は確率密度値を算出する。
そして、判定手段によって、確率算出手段によって算出された確率値又は確率密度値に基づいて、確率値又は確率密度値が最大となる確率分布を複数の確率分布から選択し、選択された確率分布に対して最も尤度が高い意識低下レベルを、運転者の意識低下状態として判定する。
このように、意識低下レベルと運転操作の特徴量との混合分布に基づいて、複数の確率分布の各々における特徴量の確率値又は確率密度値を算出して、意識低下レベルを判定することにより、特徴量に対する意識低下レベルの評定値のゆれを考慮して最適な意識低下レベルを判定することができるため、意識低下レベルを精度よく判定することができる。
第１１の発明に係る抽出手段は、操作量検出手段により検出された運転者の運転操作量に基づいて、所定時間内における運転操作量の変化を示す波形情報を生成する生成手段を備え、生成手段によって生成された波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出することができる。これによって、所定の次数のケプストラム係数を特徴量として抽出することにより、意識低下状態を表わさない特徴を分離した特徴量を用いて判定することができるため、精度よく意識低下状態を判定することができる。
以上説明したように、本発明の意識低下判定装置及びプログラムによれば、精度よく被観察者の意識低下状態を判定することができる、という効果が得られる。
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、車両に搭載された眠気判定装置に本発明を適用した場合を例に説明する。
図１に示すように、第１の実施の形態に係る眠気判定装置１０は、例えば運転者の斜め前方に設置され、その運転者の顔を斜め上から撮像するカメラ１２と、カメラ１２で撮像された顔画像に基づいて、眠気状態の判定を行い、表示装置４０に判定結果を表示させるコンピュータ２０とを備えている。
コンピュータ２０は、画像処理や表示装置４０の制御を行うＣＰＵ２１と、データのワークエリアであるＲＡＭ２２と、後述する眠気判定処理ルーチンを実行するためのプログラムを含む各種制御プログラムが記憶されているＲＯＭ２３とを備えている。このように構成されたコンピュータ２０は、機能的には次に示すように構成されている。
図２は、コンピュータ２０の機能的な構成を示すブロック図である。コンピュータ２０は、顔画像から運転者の目を表す目領域を抽出する目領域抽出部３１と、抽出された目領域の画像から、瞬目動作を時々刻々と計測し、分析区間としての所定時間内の瞬目動作波形を表わす瞬目パターン情報を生成する瞬目パターン生成部３２と、瞬目パターン情報の瞬目動作波形の周波数スペクトルを計算し、計算された周波数スペクトルを対数変換して対数スペクトルを算出する対数スペクトル算出部３３と、算出された対数スペクトルを逆フーリエ変換し、得られたフーリエ係数の絶対値（実数部と虚数部の自乗和の平方根）をとることで、複数の次元の各々のケプストラム係数を算出し、上位から高次ｄ次元分のケプストラム係数を抽出するケプストラム係数抽出部３４と、複数の眠気レベルに対して、高次ｄ次元分のケプストラム係数の確率分布を生成する確率分布生成部３５と、生成された眠気レベルに対する高次ｄ次元分のケプストラム係数の確率分布を正規確率分布で近似した場合のパラメータが予め格納されている確率分布格納部３６と、ケプストラム係数抽出部３４によって抽出されたケプストラム係数及び確率分布格納部３６に格納された確率分布の正規確率分布のパラメータに基づいて、眠気状態を判定する眠気判定部３７とを備えている。
ここで、瞬目パターン生成部３２で生成される瞬目パターン情報について説明する。図３（Ａ）に示すように、瞬目は、脳幹からの神経信号が眼輪筋に伝わり、まぶたが開閉するときに観測される現象である。眠気が高くなると脳幹からの信号に何らかの変化が生じ、その変化が眠気特有の瞬目動作波形を生じさせるものだと考えられる。
ここで、瞬目を、図３（Ｂ）に示すようなモデルとして考える。具体的には、瞬目動作波形を示す信号を、脳幹からのパルス信号を入力として、眼輪筋の周波数特性が畳み込まれて出力された信号としてモデル化し、瞬目をこのようなフィルタモデルとして考える。
このようなフィルタモデルとして瞬目動作波形をモデル化すると、瞬目動作波形の対数スペクトルを逆フーリエ変換して得られたフーリエ係数の絶対値を取ることで得られるケプストラム係数のうち、高次成分に脳幹からのパルス信号が現れ、低次成分に眼輪筋の周波数応答成分が現れる。したがって、瞬目動作波形のケプストラム分析により、瞬目動作波形を示す信号を、畳み込まれた脳幹からの信号と眼輪筋の周波数応答を示す信号とに分離することが可能となる。
このモデルに従って、高次のケプストラム係数を眠気で発生する瞬目の特徴量として抽出することにより、脳幹からの信号を表わす特徴を直接抽出することができるため、脳幹からの信号の特徴に基づいて、眠気レベルを高精度に判定することが可能となる。
なお、対数スペクトル算出部３３において、瞬目動作波形から周波数スペクトルを算出する際には、ＦＦＴなど広く知られたアルゴリズムを用いればよい。
眠気判定部３７では、運転者の眠気状態が、眠気レベル０（眠気が低い状態、すなわち覚醒状態）、眠気レベル１（覚醒状態でも居眠り状態でもないが、浅い眠気が生じている状態）、眠気レベル２（眠気が高い状態、すなわち居眠り状態）の何れであるかを判定する。
また、確率分布生成部３５では、高次ｄ次元分のケプストラム係数とこのケプストラム係数に対応する眠気レベルとを学習用のデータセットとして複数用意し、学習により、各眠気レベルｉに対してケプストラム係数の各次数ｃにおける複数の正規確率分布で近似された確率分布を生成する。なお、眠気レベルｉ及びケプストラム係数の次数ｃに対する正規確率分布は、２つのパラメータ（μｉ，ｃ、σｉ，ｃ）で表わされる。ここで、眠気レベルｉ及びケプストラム係数の次数ｃに対して、μｉ，ｃは平均、σｉ，ｃは分散である。
上記の学習により、上記の２つのパラメータ（μｉ，ｃ、σｉ，ｃ）が各眠気レベルｉ及び各ケプストラム係数の次数ｃについて得られ、これらのパラメータが、確率分布格納部３６に格納される。例えば、高次ｄ次元分のケプストラム係数を用いてｍ段階の眠気レベルを推定する場合は、確率分布格納部３６にｄ×ｍ×２個のパラメータからなるパラメータ群が格納される。
また、眠気判定部３７は、眠気レベルに対するケプストラム係数の正規確率分布のパラメータ群を用いて、抽出された高次ｄ次元分のケプストラム係数に対する確率密度値を、複数の眠気レベルの各々について求め、求められた確率密度値のうち、最大の確率密度値に対応する眠気レベルを、運転者の眠気状態として判定する。
次に、第１の実施の形態に係る眠気判定装置１０の作用について説明する。まず、カメラ１２によって運転者の顔を撮像し、コンピュータ２０において、図４に示す眠気判定処理ルーチンを実行する。
ステップ１００において、カメラ１２から所定時間の連続した顔画像を取得し、ステップ１０２で、取得した連続の顔画像から、目領域を抽出する。
そして、ステップ１０４で、抽出された目領域の連続した画像に基づいて、瞬目を時々刻々と計測し、分析区間としての所定時間内の瞬目動作波形を表わす瞬目パターン情報を生成する。例えば、目領域の画像から、上まぶたと下まぶたとを検出し、上まぶたと下まぶたとの距離の変化に基づいて、瞬目動作波形を表わす瞬目パターン情報を生成する。
次のステップ１０６では、瞬目パターン情報が表わす瞬目動作波形の周波数スペクトルを算出し、算出された周波数スペクトルを対数変換して、対数スペクトルを算出し、ステップ１０８において、上記ステップ１０６で算出された対数スペクトルを逆フーリエ変換し、得られたフーリエ係数の絶対値（実数部と虚数部の自乗和の平方根）をとることで、全次元のケプストラム係数を算出する。
ステップ１１０では、上記ステップ１０８で算出された全次元のケプストラム係数のうち、上位から高次ｄ次元分のケプストラム係数を瞬目の特徴量として抽出し、ステップ１１２において、上記ステップ１１０で抽出された高次ｄ次元分のケプストラム係数について、眠気レベル毎に、確率分布格納部３６に格納された確率分布を正規確率分布で近似した場合のパラメータ群から確率密度値を算出する。
そして、ステップ１１４において、上記ステップ１１２で算出された各眠気レベルについての確率密度値に基づいて、最大の確率密度値に対応する眠気レベルを、運転者の眠気状態として判定し、ステップ１１６で、表示装置４０に判定結果を表示させて、眠気判定処理ルーチンを終了する。
以上説明したように、第１の実施の形態に係る眠気判定装置によれば、瞬目動作波形のケプストラム分析を行い、高次ｄ次元分のケプストラム係数を抽出して、眠気レベルを判定することにより、眠気状態を表わさない特徴を分離した特徴量を抽出して判定することができるため、精度よく意識低下状態を判定することができる。
また、高次ｄ次元分のケプストラム係数を判定に用いることにより、脳幹から出力される本来の眠気を表す特徴を直接的に観測して判定するため、判定精度が向上する。
また、眠気レベルに対する高次ｄ次元分のケプストラム係数の確率分布を複数の正規確率分布で近似した場合のパラメータ群を用いて、眠気レベルを判定するため、精度よく意識低下レベルを判定することができる。
なお、上記の実施の形態では、眠気レベルに対する高次ｄ次元分のケプストラム係数の確率分布を用いて、眠気状態を判定する場合を例に説明したが、高次ｄ次元分のケプストラム係数の各々について、しきい値を設定し、しきい値判断によって、眠気状態を判定するようにしてもよい。
次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。
第２の実施の形態では、視線方向変化波形のケプストラム分析を行い、ケプストラム係数を算出している点が第１の実施の形態と異なっている。
図５に示すように、コンピュータ３２０は、目領域抽出部３１と、抽出された目領域の画像から、視線方向を水平方向と垂直方向とについて時々刻々と計測し、所定時間内の水平方向の視線方向変化波形で表される水平方向の視線方向パターン情報、及び所定時間内の垂直方向の視線方向変化波形で表される垂直方向の視線方向パターン情報を生成する視線方向パターン生成部３３２と、水平方向の視線方向パターン情報の視線方向変化波形の周波数スペクトルを計算し、計算された周波数スペクトルを対数変換して対数スペクトルを算出すると共に、垂直方向の視線方向パターン情報の視線方向変化波形の周波数スペクトルを計算し、計算された周波数スペクトルを対数変換して対数スペクトルを算出する対数スペクトル算出部３３３と、算出された水平方向及び垂直方向の各々の対数スペクトルを逆フーリエ変換し、得られたフーリエ係数の絶対値（実数部と虚数部の自乗和の平方根）をとることで、複数の次元の各々のケプストラム係数を水平方向及び垂直方向の各々について算出し、上位から高次ｄ次元分のケプストラム係数を水平方向及び垂直方向の各々について抽出するケプストラム係数抽出部３３４と、水平方向及び垂直方向の各々の複数の眠気レベルに対して、高次ｄ次元分のケプストラム係数の確率分布を生成する確率分布生成部３３５と、生成された眠気レベルに対するケプストラム係数の確率分布を正規確率分布で近似した場合のパラメータが予め格納されている確率分布格納部３３６と、ケプストラム係数抽出部３３４によって抽出された水平方向及び垂直方向の各々のケプストラム係数、及び確率分布格納部３６に格納された確率分布を正規確率分布で近似した場合のパラメータに基づいて、眠気状態を判定する眠気判定部３３７とを備えている。
第２の実施の形態に係る眠気判定装置では、水平方向及び垂直方向の各々の視線方向パターン情報に基づいて、高次ｄ次元分のケプストラム係数を水平方向及び垂直方向の各々について算出し、そして、確率分布を正規確率分布で近似した場合のパラメータを用いて、水平方向の高次ｄ次元分のケプストラム係数及び垂直方向の高次ｄ次元分のケプストラム係数の組み合わせに対して、各眠気レベルについて、確率密度値を算出して、運転者の眠気状態として、眠気レベルを判定する。
このように、視線方向変化波形から、高次ｄ次元分のケプストラム係数を抽出して、眠気レベルを判定することにより、眠気状態を表わさない特徴を分離した特徴量を抽出して判定することができるため、精度よく意識低下状態を判定することができる。
なお、上記の実施の形態では、高次ｄ次元分のケプストラム係数を瞬目の特徴量として抽出した場合を例に説明したが、視線方向の変化波形では、低次のケプストラム係数に眠気の影響が現れる場合には、低次のケプストラム係数を特徴量として抽出するようにしてもよい。
次に、第３の実施の形態について説明する。なお、第１の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。
第３の実施の形態では、ハンドルの操作量の変化に基づく操作量変化波形のケプストラム分析を行い、ケプストラム係数を算出している点が第１の実施の形態と異なっている。
第３の実施の形態に係る眠気判定装置は、図６に示すように、ハンドルの操作量を検出するハンドル操作センサ４１２を備えている。また、コンピュータ４２０は、ハンドル操作センサ４１２からハンドル操作量を時々刻々と取得し、所定時間内の操作量変化波形を表す操作量パターン情報を生成する操作量パターン生成部４３２と、操作量パターン情報の操作量変化波形の周波数スペクトルを計算し、計算された周波数スペクトルを対数変換して対数スペクトルを算出する対数スペクトル算出部４３３と、ケプストラム係数抽出部３４と、確率分布生成部３５と、確率分布格納部３６と、眠気判定部３７とを備えている。
ここで、操作量パターン生成部４３２で生成される操作量パターン情報について説明する。図７（Ａ）に示すように、ハンドル操作は、脳幹からの神経信号が腕の筋肉に伝わり、腕が動作することによって行われる。眠気が高くなると脳幹からの信号に何らかの変化が生じ、その変化が眠気特有の操作量変化波形を生じさせるものだと考えられる。
ここで、ハンドル操作を、図７（Ｂ）に示すようなモデルとして考える。具体的には、操作量変化波形を示す信号を、脳幹からのパルス信号を入力として、腕の筋肉の周波数特性が畳み込まれて出力された信号としてモデル化し、ハンドル操作をこのようなフィルタモデルとして考える。
このようなフィルタモデルとして操作量変化波形をモデル化すると、操作量変化波形の対数スペクトルを逆フーリエ変換して得られたフーリエ係数の絶対値を取ることで得られるケプストラム係数のうち、高次成分に脳幹からのパルス信号が現れ、低次成分に腕の筋肉の周波数応答成分が現れる。したがって、操作量変化波形のケプストラム分析により、操作量変化波形を示す信号を、畳み込まれた脳幹からの信号と腕の筋肉の周波数応答を示す信号とに分離することが可能となる。
このモデルに従って、高次のケプストラム係数を眠気で発生するハンドル操作の特徴量として抽出することにより、脳幹からの信号を表わす特徴を直接抽出することができるため、脳幹からの信号の特徴に基づいて、眠気レベルを高精度に判定することが可能となる。
第３の実施の形態に係る眠気判定装置では、運転者によるハンドルの操作量の変化波形を表わす操作量パターン情報に基づいて、高次ｄ次元分のケプストラム係数を抽出し、眠気レベル及びケプストラム係数の確率分布を正規確率分布で近似した場合のパラメータに基づいて、各眠気レベルについて、抽出された高次ｄ次元分のケプストラム係数に対する確率密度値を算出し、運転者の眠気状態として、眠気レベルを判定する。
このように、操作量変化波形のケプストラム分析を行い、高次ｄ次元分のケプストラム係数を抽出して、眠気状態を判定することにより、眠気状態を表わさない特徴を分離した特徴量を抽出して判定することができるため、精度よく眠気状態を判定することができる。
なお、上記の実施の形態では、高次ｄ次元分のケプストラム係数を運転操作の特徴量として抽出した場合を例に説明したが、操作量の変化波形では、低次のケプストラム係数に眠気の影響が現れる場合には、低次のケプストラム係数を特徴量として抽出するようにしてもよい。
次に、第４の実施の形態について説明する。なお、第４の実施の形態に係る眠気判定装置は、第１の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。
第４の実施の形態では、高次のケプストラム係数と共に、低次のケプストラム係数を特徴量として抽出し、高次のケプストラム係数及び低次のケプストラム係数を用いて、眠気状態を判定している点が第１の実施の形態と異なっている。
第４の実施の形態に係る眠気判定装置では、ケプストラム係数抽出部３４において、全次元のケプストラム係数を算出し、上位から高次ｄ次元分のケプストラム係数を抽出するとともに、及び下位から低次ｅ次元分のケプストラム係数を抽出する。
低次ｅ次元分のケプストラム係数を抽出することにより、個人性が高いと考えられる眼輪筋の特性を抽出することができ、高次ｄ次元分のケプストラム係数及び低次ｅ次元分のケプストラム係数によって、眠気による影響を受ける脳幹からの信号を表わす特徴と個人性が高い眼輪筋の特性を表わす特徴とを、多次元特徴として表すことができる。
確率分布生成部３５では、眠気レベルに対して、高次ｄ次元分のケプストラム係数及び低次ｅ次元分のケプストラム係数の確率分布を生成し、確率分布を正規確率分布で近似した場合のパラメータを確率分布格納部３６に格納しておく。
また、眠気判定部３７は、眠気レベル及びケプストラム係数の確率分布を正規確率分布で近似した場合のパラメータを用いて、抽出された高次ｄ次元分の各次元のケプストラム係数及び低次ｅ次元分の各次元のケプストラム係数に対する確率密度値を、複数の眠気レベルの各々について求め、求められた各眠気レベルの確率密度値のうち、最大の確率密度値に対応する眠気レベルを、運転者の眠気状態として判定する。
このように、高次ｄ次元分のケプストラム係数及び低次ｅ次元分のケプストラム係数を瞬目の特徴量として抽出することにより、眠気による影響を直接表わす特徴と個人性が高い特徴とを多次元特徴として表すことができ、この特徴量を用いて眠気状態を判定することにより、より高精度に運転者の眠気状態を判定することができる。
なお、上記の実施の形態では、高次ｄ次元分のケプストラム係数及び低次ｅ次元分のケプストラム係数を瞬目の特徴量として抽出する場合を例に説明したが、対象となる運転者の個人性により、眼輪筋の特性に眠気の影響が現れる場合には、低次のケプストラム係数のみを特徴量として抽出するようにしてもよい。
次に、第５の実施の形態について説明する。なお、第１の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。
第５の実施の形態では、眠気レベルの状態遷移確率を用いて、眠気状態を判定している点が第１の実施の形態と異なっている。
図８に示すように、第５の実施の形態に係る眠気判定装置６１０は、カメラ１２と、カメラ１２で撮像された顔画像に基づいて、眠気状態の判定を行い、表示装置４０に判定結果を表示させるコンピュータ６２０とを備えている。
コンピュータ６２０は、ＣＰＵ２１と、ＲＡＭ２２と、後述する眠気判定処理ルーチンを実行するためのプログラムを含む各種制御プログラムが記憶されているＲＯＭ２３とを備えている。このように構成されたコンピュータ６２０は、機能的には次に示すように構成されている。
図９は、コンピュータ６２０の機能的な構成を示すブロック図である。コンピュータ６２０は、目領域抽出部３１と、瞬目パターン生成部３２と、対数スペクトル算出部３３と、ケプストラム係数抽出部３４と、確率分布生成部３５と、確率分布格納部３６と、ｎ回前（ｎは１以上の自然数）からの眠気レベルの遷移パターンを示す遷移履歴を格納する遷移履歴格納部６３４と、当該判定対象時からｎ回前までの眠気レベルの各遷移パターンの状態遷移確率を示す眠気レベル遷移データを生成する遷移データ生成部６３５と、生成された眠気レベル遷移データを格納する眠気レベル遷移格納部６３６と、ケプストラム係数抽出部３４によって抽出されたケプストラム係数、確率分布格納部３６に格納された確率分布を正規確率分布で近似した場合のパラメータ、遷移履歴格納部６３４に格納された遷移履歴、及び眠気レベル遷移格納部６３６に格納された眠気レベル遷移データに基づいて、眠気状態を判定する眠気判定部６３７とを備えている。
ここで、図１０に、横軸を時間とし、縦軸を５段階に評定した眠気レベルとして、眠気レベルの状態遷移を示す。図１０から分かるように、眠気レベルの状態遷移では、１→５や逆に５→１などのように急激な変化となることは少なく、多くの場合が１前後の変化となる。また、現在の眠気レベルは、それより数時刻前からの眠気レベルの状態遷移に基づいて概ね決定されると考えると、眠気レベルの状態遷移をマルコフモデルとして表現することができる。
そこで、遷移データ生成部６３５では、眠気レベルの状態遷移をｎ重マルコフモデル（ｎは１以上の自然数）のパラメータとして推定し、今回の眠気レベルｉを決定する事前確率として、ｎ回前から判定対象時までのｎ＋１個の眠気レベルの状態遷移のパターンの状態遷移確率Ｐ（ｉ）を、以下の（１）式によって算出する。
Figure 2008228759
なお、Ｐ（ｉｊ｜ｉｊ−ｎ＋１・・・ｉｊ−１）は、眠気レベルが既知の別の瞬目データから予め求めておく。例えばｎ＝３であれば、図１１に示すような、３回前から判定対象時までの眠気レベルの状態遷移のパターンに対応する状態遷移確率値を格納したテーブルを、眠気レベル遷移データとして作成し、眠気レベル遷移格納部６３６に格納しておく。
また、眠気判定部６３７は、確率分布格納部３６に格納された確率分布を正規確率分布で近似した場合のパラメータ群θを用いて、抽出された高次ｄ次元分のケプストラム係数の数列Ｃに対する確率密度値を、以下の式（２）によって、各眠気レベルｉについて求める。
ｐ（Ｃ｜ｉ；θ） ・・・（２）
上記（２）式では、確率分布を正規確率分布で近似した場合のパラメータ群θのうち、眠気レベルｉ及び各次元のケプストラム係数に対する正規確率分布を表わすパラメータ群を用いて、眠気レベルｉについて、抽出された高次ｄ次元分のケプストラム係数の数列Ｃに対する確率密度値を求める。
そして、上記（１）式で求めた各眠気レベルの状態遷移確率と、上記（２）式で求めた各眠気レベルの確率密度値とに基づいて、以下の（３）式によって、眠気状態が眠気レベルｄであると判定する。
Figure 2008228759
 なお、Ｐ（ｉ）とｐ（Ｃ｜ｉ；θ）との積は、眠気レベルｉの尤度を示している。
次に、第５の実施の形態に係る眠気判定装置６１０の作用について説明する。まず、カメラ１２によって運転者の顔を撮像し、コンピュータ６２０において、図１２に示す眠気判定処理ルーチンを実行する。なお、第１の実施の形態と同様の処理には同一符号を付して詳細な説明を省略する。
ステップ１００において、カメラ１２から所定時間の連続した顔画像を取得し、ステップ１０２で、取得した連続の顔画像から、目領域を抽出する。
そして、ステップ１０４で、抽出された目領域の連続した画像に基づいて、瞬目動作を時々刻々と計測し、所定時間内の瞬目動作波形を表わす瞬目パターン情報を生成する。
次のステップ１０６では、瞬目パターン情報が表わす瞬目動作波形の周波数スペクトルを算出し、算出された周波数スペクトルを対数変換して、対数スペクトルを算出し、ステップ１０８において、上記ステップ１０６で算出された対数スペクトルを逆フーリエ変換し、得られたフーリエ係数の絶対値（実数部と虚数部の自乗和の平方根）をとることで、全次元のケプストラム係数を算出する。
そして、ステップ１１０では、上記ステップ１０８で算出された全次元のケプストラム係数のうち、上位ｄ次元分のケプストラム係数を特徴量として抽出し、ステップ６５０で、眠気レベルを識別するための変数ｉを初期値の０に設定し、ステップ６５２において、確率分布格納部３６に格納された確率分布を正規確率分布で近似した場合のパラメータ群θに基づいて、眠気レベルｉについて、上記ステップ１１０で抽出された高次ｄ次元分のケプストラム係数の数列Ｃに対する確率密度値ｐ（Ｃ｜ｉ；θ）を算出する。
そして、ステップ６５４において、遷移履歴格納部６３４に格納されている遷移履歴が表わすｎ回前から前回までのｎ個の眠気レベルの状態遷移から眠気レベルｉへの状態遷移のパターンに対する状態遷移確率値を、眠気レベル遷移格納部６３６に格納されている眠気レベル遷移データから検索して、眠気レベルｉへの状態遷移確率値Ｐ（ｉ）を取得する。
次のステップ６５６では、上記ステップ６５４で取得された状態遷移確率値Ｐ（ｉ）と上記ステップ６５２で算出された確率密度値ｐ（Ｃ｜ｉ；θ）との積により、眠気レベルｉの尤度を算出する。
そして、ステップ６５８において、ｉが眠気レベル数を示す定数Ｎ未満であるか否かを判定し、上記ステップ６５２〜６５６の処理を行っていない眠気レベルがある場合には、ステップ６６０で、ｉをインクリメントして、ステップ６５２へ戻る。一方、全ての眠気レベルについて、上記ステップ６５２〜６５６の処理を行った場合には、ステップ６６０へ移行する。
ステップ６６２では、上記（３）式に基づいて、上記ステップ６５６で算出された尤度が最も高い眠気レベルｄを、運転者の眠気状態として判定し、ステップ１１６で、表示装置４０に判定結果を表示させて、ステップ６６４で、遷移履歴格納部６３４に格納されている遷移履歴から、最も古く判定された眠気レベルを削除すると共に、上記ステップ６６２で判定された眠気レベルを追加して、眠気レベルの遷移履歴を更新し、そして、上記ステップ１００へ戻って、連続して運転者の眠気レベルを判定する。
以上説明したように、第５の実施の形態に係る眠気判定装置によれば、眠気レベルに対する高次ｄ次元分のケプストラム係数の確率分布に基づいて抽出された高次ｄ次元分のケプストラム係数に対する確率密度値と、少なくとも前回判定された眠気レベルから各眠気レベルへの状態遷移の状態遷移確率値とに基づいて、眠気レベルを判定することにより、眠気レベルの状態遷移及び確率分布を考慮して判定することができるため、眠気レベルを精度よく判定することができる。
また、瞬目動作波形に何らかの外乱が加わっても、眠気レベルの状態遷移の情報を利用することによって、外乱を補償することができるため、外乱の影響を受けずに、精度よく眠気状態を判定することができる。
次に、第６の実施の形態について説明する。なお、第５の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。
第６の実施の形態では、複数種類の瞬目特徴量を用いて、眠気状態を判定している点が第５の実施の形態と異なっている。
図１３に示すように、第６の実施の形態に係る眠気判定装置のコンピュータ７２０は、目領域抽出部３１と、目が開いている度合いを示す開眼度を判定する開眼度判定部７３２と、開眼度の重み付き積算値を算出する開眼度の重み付き積算部７３３と、瞬目の開眼時の速度である開眼速度を算出すると共に、開眼速度の平均速度を算出する平均開眼速度算出部７３４と、眠気レベルに対して、開眼速度の平均速度及び開眼度の重み付き積算値の確率分布を生成する確率分布生成部７３５と、生成された確率分布を正規確率分布で近似した場合のパラメータを記憶する確率分布格納部７３６と、遷移履歴格納部６３４と、遷移データ生成部６３５と、眠気レベル遷移格納部６３６と、開眼度の重み付き積算部７３３によって算出された開眼度の重み付き積算値、平均開眼速度算出部７３４によって算出された開眼速度の平均速度、確率分布格納部７３６に格納された確率分布を正規確率分布で近似した場合のパラメータ、遷移履歴格納部６３４に格納された遷移履歴、及び眠気レベル遷移格納部６３６に格納された眠気レベル遷移データに基づいて、眠気状態を判定する眠気判定部７３７とを備えている。
開眼度の重み付き積算部７３３では、目の開眼度に対して、シグモイド関数などで重み付けを行い、半目の状態を考慮できる値として、重み付け開眼度を算出し、この重み付け開眼度を、所定の積算回数に相当する個数だけ算出し、算出された重み付き開眼度を積算して、開眼度の重み付き積算値を算出する。
また、確率分布生成部７３５では、複数種類の瞬目特徴量としての開眼速度の平均速度及び開眼度の重み付き積算値の組み合わせとこの組み合わせに対応する眠気レベルとを学習用のデータセットとして複数用意し、学習により、各眠気レベルｉに対する開眼速度の平均速度及び開眼度の重み付き積算値の分布を複数の正規確率分布で近似した確率分布を生成する。
次に、第６の実施の形態に係る眠気判定装置の作用について説明する。まず、カメラ１２によって運転者の顔を撮像し、コンピュータ７２０において、図１４に示す眠気判定処理ルーチンを実行する。
ステップ１００において、カメラ１２から所定時間の連続した顔画像を取得し、ステップ１０２で、取得した連続の顔画像から、目領域を抽出する。
そして、ステップ７５０で、上記ステップ１０２で抽出された目領域の画像に基づいて、所定間隔で、開眼度を複数算出する。たとえば、予め定められた全開時の上まぶたと下まぶたとの距離に対する目領域の画像から検出される上まぶたと下まぶたとの距離の割合に基づいて、開眼度を算出する。
次のステップ７５２では、上記ステップ７５０で算出された所定間隔の開眼度に基づいて、開眼度の重み付き積算値を算出する。このステップ７５２では、まず、シグモイド関数に基づいて、算出された開眼度に対する重み係数を求め、この重み係数を開眼度に乗算して、重み付け開眼度を算出する。なお、重み係数は、例えば、０から１までの値であり、開眼度が０％に近づくほど重み係数は０に近づく値となり、開眼度が１００％に近づくほど重み係数は１に近づく値となる。そして、所定の積算回数に相当する数の重み付き開眼度を積算して、開眼度の重み付き積算値を算出する。
そして、ステップ７５４では、上記ステップ１０２で抽出された目領域の連続の画像に基づいて、時々刻々と開眼速度を算出し、ステップ７５６において、上記ステップ７５４で算出された開眼速度を平均して、開眼速度の平均速度を算出する。
そして、ステップ６５０で、眠気レベルを識別するための変数ｉを初期値の０に設定し、ステップ７５８において、確率分布格納部７３６に格納された確率分布を正規確率分布で近似した場合のパラメータ群θを用いて、眠気レベルｉについて、上記ステップ７５２で算出された開眼度の重み付き積算値及び上記ステップ７５６で算出された開眼速度の平均速度の組み合わせＳに対する確率密度値ｐ（Ｓ｜ｉ；θ）を算出する。
そして、ステップ６５４において、遷移履歴格納部６３４に格納されている遷移履歴が表わすｎ回前から前回までのｎ個の眠気レベルから眠気レベルｉへの状態遷移のパターンに対する状態遷移確率値を、眠気レベル遷移格納部６３６に格納されている眠気レベル遷移データから検索して、眠気レベルｉへの状態遷移確率値Ｐ（ｉ）を取得する。
次のステップ６５６では、上記ステップ６５４で取得された状態遷移確率値Ｐ（ｉ）と上記ステップ７５８で算出された確率密度値ｐ（Ｓ｜ｉ；θ）との積に基づいて、眠気レベルｉの尤度を算出する。
そして、ステップ６５８において、ｉが、眠気レベル数を表わす定数Ｎ未満であるか否かを判定し、ｉがＮ未満であると、ステップ６６０で、ｉをインクリメントして、ステップ７５８へ戻るが、一方、ｉがＮ以上になると、ステップ６６０へ移行する。
ステップ６６２では、上記（３）式に基づいて、上記ステップ６５６で算出された尤度が最も高い眠気レベルを、運転者の眠気状態として判定し、ステップ１１６で、表示装置４０に判定結果を表示させて、ステップ６６４で、遷移履歴格納部６３４に格納されている遷移履歴から、最も古く判定された眠気レベルを削除し、上記ステップ６６２で判定された眠気レベルを追加して、眠気レベルの遷移履歴を更新して、上記ステップ１００へ戻る。
以上説明したように、第６の実施の形態に係る眠気判定装置によれば、眠気レベルに対する複数種類の瞬目特徴量の確率分布に基づく瞬目特徴量の確率密度値と、眠気レベルの状態遷移履歴から各眠気レベルへの状態遷移の状態遷移確率値とに基づいて、眠気レベルを判定することにより、眠気レベルの状態遷移及び確率分布を考慮して判定することができるため、眠気レベルを精度よく判定することができる。
また、高次ｄ次元分のケプストラム係数を特徴量として抽出することにより、眠気状態を表わさない特徴を分離した特徴量を用いて判定することができるため、精度よく意識低下状態を判定することができる。
また、前回以前からの眠気レベルの状態遷移に基づいた状態遷移確率値を用いて判定することにより、更に精度よく意識低下状態を判定することができる。
なお、上記では、瞬目特徴量として、開眼度の重み付き積算値と開眼速度の平均速度とを用いる場合を例に説明したが、これに限定されるものではなく、開眼度の重み付け積算値、瞬目の開眼速度の平均速度、単位時間に対する半目状態である時間の割合、連続した瞬目の閉眼時間と開眼時間とを考慮した瞬目特徴量の積算値、瞬目頻度、及び単位時間に対する閉眼時間の割合（ＰＥＲＣＬＯＳ）の少なくとも一つを瞬目特徴量として用いればよい。
次に、第７の実施の形態について説明する。なお、第５の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。
第７の実施の形態では、視線方向の時系列変化を表わす視線方向変化波形のケプストラム分析を行い、ケプストラム係数を算出している点が第５の実施の形態と異なっている。
第７の実施の形態に係るコンピュータでは、目領域抽出部３１によって抽出された目領域の画像から、視線方向を水平方向と垂直方向とについて時々刻々と計測し、所定時間内の水平方向の視線方向変化波形を表わす水平方向の視線方向パターン情報、及び所定時間内の垂直方向の視線方向変化波形を表わす垂直方向の視線方向パターン情報を生成する。そして、水平方向の視線方向パターン情報の視線方向変化波形の周波数スペクトルを計算し、計算された周波数スペクトルを対数変換して対数スペクトルを算出すると共に、垂直方向の視線方向パターン情報の視線方向変化波形の周波数スペクトルを計算し、計算された周波数スペクトルを対数変換して対数スペクトルを算出する。
そして、算出された水平方向及び垂直方向の各々の対数スペクトルを逆フーリエ変換し、得られたフーリエ係数の絶対値（実数部と虚数部の自乗和の平方根）をとることで、前次元のケプストラム係数を水平方向及び垂直方向の各々について算出し、上位から高次ｄ次元分のケプストラム係数を水平方向及び垂直方向の各々について抽出する。
また、眠気レベルに対して、水平方向の高次ｄ次元分のケプストラム係数及び垂直方向の高次ｄ次元分のケプストラム係数の組み合わせの確率分布を生成し、確率分布を各眠気レベル及び各ケプストラム係数に対する複数の正規確率分布で近似した場合のパラメータを確率分布格納部３６に予め格納しておく。
眠気判定部６３７では、抽出された水平方向及び垂直方向の各々のケプストラム係数、確率分布格納部３６に格納された確率分布を正規確率分布で近似した場合のパラメータ、遷移履歴格納部６３４に格納された遷移履歴、及び眠気レベル遷移格納部６３６に格納された眠気レベル遷移データに基づいて、眠気状態を判定する。
第７の実施の形態に係る眠気判定装置では、水平方向及び垂直方向の各々の視線方向パターン情報に基づいて、高次ｄ次元分のケプストラム係数を水平方向及び垂直方向の各々について算出し、確率分布格納部３６に格納された確率分布を正規確率分布で近似した場合のパラメータ群θを用いて、各眠気レベルｉについて、水平方向の高次ｄ次元分のケプストラム係数及び垂直方向の高次ｄ次元分のケプストラム係数の組み合わせＣに対する確率密度値ｐ（Ｃ｜ｉ；θ）を各々算出する。
そして、ｎ回前から前回までのｎ個の眠気レベルの状態遷移から眠気レベルｉへの状態遷移に対する状態遷移確率値を、眠気レベル遷移格納部６３６に格納されている眠気レベル遷移データから検索して、各眠気レベルｉへの状態遷移確率値Ｐ（ｉ）を各々取得する。
そして、取得された状態遷移確率値Ｐ（ｉ）の各々と算出された確率密度値ｐ（Ｃ｜ｉ；θ）の各々との積により、各眠気レベルｉの尤度を算出し、算出された尤度が最も高い眠気レベルを、運転者の眠気状態として判定する。
このように、眠気レベルに対する高次ｄ次元分のケプストラム係数の確率分布に基づく高次ｄ次元分のケプストラム係数の確率密度値と、眠気レベルの状態遷移履歴から各眠気レベルの各々への状態遷移の状態遷移確率値とに基づいて、眠気レベルを判定することにより、眠気レベルの状態遷移及び確率分布を考慮して判定することができるため、眠気レベルを精度よく判定することができる。
次に、第８の実施の形態について説明する。なお、第３の実施の形態及び第５の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。
第８の実施の形態では、ハンドルの操作量の変化に基づく操作量変化波形から、ケプストラム係数を算出している点が第５の実施の形態と異なっている。
第８の実施の形態に係るコンピュータでは、ハンドル操作センサ４１２からハンドル操作量を時々刻々と取得し、所定時間内の操作量変化波形を表わす操作量パターン情報を生成し、操作量パターン情報の操作量変化波形の周波数スペクトルを計算し、計算された周波数スペクトルを対数変換して対数スペクトルを算出する。
そして、ケプストラム係数抽出部３４において、算出された対数スペクトルを逆フーリエ変換し、得られたフーリエ係数の絶対値をとることで、全次元のケプストラム係数を算出し、上位から高次ｄ次元分のケプストラム係数を抽出する。
眠気判定部では、抽出されたケプストラム係数、確率分布格納部３６に格納された確率分布を正規確率分布で近似した場合のパラメータ群、遷移履歴格納部６３４に格納された遷移履歴、及び眠気レベル遷移格納部６３６に格納された眠気レベル遷移データに基づいて、眠気状態を判定する。
なお、眠気判定装置の作用については、第５の実施の形態と同様であるため、説明を省略する。
次に、第９の実施の形態について説明する。なお、第９の実施の形態に係る眠気判定装置は、第５の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。
第９の実施の形態では、高次のケプストラム係数及び低次のケプストラム係数を特徴量として抽出して、眠気状態を判定している点が第５の実施の形態と異なっている。
第９の実施の形態に係る眠気判定装置では、ケプストラム係数抽出部３４において、全次数のケプストラム係数を算出し、上位から高次ｄ次元分のケプストラム係数を抽出すると共に、下位から低次ｅ次元分のケプストラム係数を抽出する。
確率分布生成部３５では、眠気レベルに対して、高次ｄ次元分のケプストラム係数及び低次ｅ次元分のケプストラム係数の組み合わせの確率分布を生成し、確率分布を各眠気レベル及び各ケプストラム係数に対する複数の正規確率分布で近似した場合のパラメータ群を確率分布格納部３６に予め格納しておく。
また、眠気判定部６３７は、確率分布を正規確率分布で近似した場合のパラメータ群θを用いて、各眠気レベルｉについて、抽出された高次ｄ次元分のケプストラム係数及び低次ｅ次元分のケプストラム係数の組み合わせＣに対する確率密度値ｐ（Ｃ｜ｉ；θ）を各々求める。
そして、ｎ回前から前回までのｎ個の眠気レベルの状態遷移から各眠気レベルｉへの状態遷移のパターンに対する状態遷移確率値を、眠気レベル遷移格納部６３６に格納されている眠気レベル遷移データから検索して、各眠気レベルｉへの状態遷移確率値Ｐ（ｉ）を各々取得する。
そして、取得された状態遷移確率値Ｐ（ｉ）の各々と算出された確率密度値ｐ（Ｃ｜ｉ；θ）の各々との積により、各眠気レベルｉの尤度を算出し、算出された尤度が最も高い眠気レベルを、運転者の眠気状態として判定する。
このように、高次ｄ次元分のケプストラム係数及び低次ｅ次元分のケプストラム係数を特徴量として抽出することにより、眠気による影響を直接表わす特徴と個人性が高い特徴とを多次元特徴として表すことができ、より高精度に運転者の眠気状態を判定することができる。
次に、第１０の実施の形態について説明する。なお、第１の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。
第１０の実施の形態では、眠気レベル及び高次ｄ次元分のケプストラム係数の同時確率分布を、混合正規分布を用いて判定している点が第１の実施の形態と異なっている。
図１５に示すように、第１０の実施の形態に係る眠気判定装置１０１０は、カメラ１２と、カメラ１２で撮像された顔画像に基づいて、眠気状態の判定を行い、表示装置４０に判定結果を表示させるコンピュータ１０２０とを備えている。
コンピュータ１０２０は、ＣＰＵ２１と、ＲＡＭ２２と、後述する眠気判定処理ルーチンを実行するためのプログラムを含む各種制御プログラムが記憶されているＲＯＭ２３とを備えている。このように構成されたコンピュータ１０２０は、機能的には次に示すように構成されている。
図１６は、コンピュータ１０２０の機能的な構成を示すブロック図である。コンピュータ１０２０は、目領域抽出部３１と、瞬目パターン生成部３２と、対数スペクトル算出部３３と、ケプストラム係数抽出部３４と、眠気レベル及び高次ｄ次元分のケプストラム係数の混合正規分布で表される同時確率分布を生成する確率分布生成部１０３５と、生成された眠気レベル及びケプストラム係数の混合正規分布を表わすパラメータ群が予め格納されている確率分布格納部１０３６と、ケプストラム係数抽出部３４によって抽出されたケプストラム係数及び確率分布格納部１０３６に格納された混合正規分布を表わすパラメータ群に基づいて、眠気状態を判定する眠気判定部１０３７とを備えている。
眠気判定部１０３７では、運転者の眠気状態が、眠気レベル０（眠気が低い状態、すなわち覚醒状態）、眠気レベル１（覚醒状態でも居眠り状態でもないが、浅い眠気が生じている状態）、眠気レベル２（眠気が高い状態、すなわち居眠り状態）の何れであるかを判定する。
また、確率分布生成部１０３５では、高次ｄ次元分のケプストラム係数とこのケプストラム係数に対応する眠気レベルとを学習用のデータセットとして複数用意し、以下に説明するＥＭアルゴリズムを用いた学習により、混合正規分布で表される同時確率分布を生成する。
ここで、混合正規分布を表わすパラメータ群θは、例えば、各混合重みｍ及び各次元ｃのケプストラム係数に対する平均及び共分散行列の各々を表わす２つのパラメータ（μｃ、ｍ、σｃ、ｍ）と、各混合重みｍに対する重みを表わすパラメータｗｍとからなる。すなわち、μｃ、ｍ、σｃ、ｍの各々は、（次元数ｄ×予め設定された混合重みＭ）個あり、ｗｍは予め設定された混合重みＭ個だけある。
ＥＭアルゴリズムでは、上記のパラメータ群θに適切な初期値を与えたθ０を初期のパラメータ群として、以下に示すＥＭアルゴリズムを用いて、θを漸次的に更新することで推定する。
ｄｏ
Ｅ ｓｔｅｐ：Ｑ（θ；θｉ）を求める
Ｍ ｓｔｅｐ：θｉ＋１ ← ａｒｇｍａｘθ Ｑ（θ；θｉ）
ｕｎｔｉｌ Ｑ（θｉ＋１；θｉ）−Ｑ（θｉ；θｉ−１）≦ｔｈｒ
ここで、Ｑ（θ；θｉ）＝Ｅ［ｌｏｇ ｐ（ｘ，ｍ；θ）；ｘ，θｉ］であり、Ｑは条件付き期待値、ｘは教師信号列としての学習用の各データセットを示す。上記のＥＭアルゴリズムでは、時点ｉで設定されたパラメータ群θｉの元での条件付き期待値Ｑを複数のパラメータ群θの各々について算出し、条件付き期待値Ｑを最大にするパラメータ群θを、次の時点ｉ＋１のパラメータ群θｉ＋１として設定する。この計算処理を、時点ｉで算出された最大となる条件付き期待値Ｑと時点ｉ−１で算出された最大となる条件付き期待値Ｑとの差が閾値ｔｈｒ以下になるまで繰り返し、上記の計算処理が終了した時点で設定されているパラメータ群θを、図１７に示すような、予め設定された混合重みＭの数だけの正規確率分布を含む混合正規分布を表わすパラメータ群とする。
上記のように計算された混合正規分布を表わすパラメータ群が、確率分布格納部１０３６に格納される。例えば、高次ｄ次元分のケプストラム係数を用いて、混合重みＭ（近似する正規確率分布の数に相当）と設定された混合正規分布を推定する場合は、確率分布格納部１０３６に、（ｄ×Ｍ×（ｄ２＋１）＋Ｍ）個のパラメータからなるパラメータ群が格納される。
次に、眠気レベルの評定のゆれについて説明する。眠気レベルを直接的に観測することができないため、被観測者の申告、もしくは被観測者以外の評者による評点によって評価せざるを得ない。このような主観による評定では「ゆれ」が生じる。
ここで、このような評定の「ゆれ」のモデルとして、図１８のようなモデルを考える。人は眠気現象を観測した湯合、何らかの内的評定基準によって眠気レベルの評定値を決定する。しかしながら、同じ評定基準に基づいて判断したとしても、異なる眠気レベルの評定値を決定する場合があるため、眠気レベルの評定値は揺らぐ。このモデルに従うと、例えば、内的には「３」、「４」、「４」と判断したが、判断「４」に対応する評定が、「３」と「４」とで確率的に揺らいでいるため、評定として、「３」、「４」、「３」と決定される場合があることを表現できる。ここで、内的評定基準を同定すると共に、この確率的な揺らぎを同時に同定することができれば、評者と同様な評定をする装置を実現することができる。
また、内的評定基準を隠れ変数とおいた確率モデルを考える。例えば、観測可能な特徴量としての高次ｄ次元のケプストラム係数と、観測された眠気レベルとに関する多次元の混合正規分布を考えると、混合正規分布のうちのひとつの正規確率分布のインデックスが隠れ変数となる。すなわち、各正規確率分布は、上記の内的評定基準を表現すると共に、評定値のゆれを表現する。
運転者の顔画像から、高次ｄ次元のケプストラム係数が抽出されたとすると、抽出されたケプストラム係数に対して、周辺確率が最大となる正規確率分布が、その評者の内的評定基準に相当し、また、その正規確率分布において、抽出されたケプストラム係数に対して最も高い確率密度値を与える点に対応する眠気レベルが、判定すべき眠気レベルとなる。このように、上記のモデルによれば、評定のゆれを考慮することができるため、高精度な眠気レベルの判定が可能となる。
また、眠気判定部１０３７は、抽出された高次ｄ次元分のケプストラム係数Ｃ及び確率分布格納部１０３６に格納された混合正規分布のパラメータ群θに基づいて、各正規確率分布ｍに対する周辺確率Ｐ（Ｃ；θｍ）を算出する。ここで、θｍは、パラメータ群θのうちの混合重みｍに関するパラメータ群である。そして、算出された各正規確率分布ｍに対する周辺確率Ｐ（Ｃ；θｍ）のうち、最大の周辺確率Ｐ（Ｃ；θｍ）を与える正規確率分布をＭ個の正規確率分布の中から選択し、選択された正規確率分布に対して、最も尤度の高い眠気レベルを、運転者の眠気状態として判定する。
なお、上記の正規確率分布に対して最も尤度の高い眠気レベルとして、上記図１７に示すように、選択された正規確率分布上におけるケプストラム係数Ｃの確率密度値を与える直線上において、最も高い確率密度値を与える点に対応する眠気レベルが決定される。
次に、第１０の実施の形態に係る眠気判定装置１０１０の作用について説明する。まず、カメラ１２によって運転者の顔を撮像し、コンピュータ１０２０において、図１９に示す眠気判定処理ルーチンを実行する。なお、第１の実施の形態と同様の処理には同一符号を付す。
ステップ１００において、カメラ１２から所定時間の連続した顔画像を取得し、ステップ１０２で、取得した連続の顔画像から、目領域を抽出する。
そして、ステップ１０４で、抽出された目領域の連続した画像に基づいて、瞬目を時々刻々と計測し、所定時間内の瞬目動作波形を表わす瞬目パターン情報を生成する。次のステップ１０６では、瞬目パターン情報が表わす瞬目動作波形の周波数スペクトルを算出し、算出された周波数スペクトルを対数変換して、対数スペクトルを算出し、ステップ１０８において、上記ステップ１０６で算出された対数スペクトルを逆フーリエ変換し、得られたフーリエ係数の絶対値（実数部と虚数部の自乗和の平方根）をとることで、全次元のケプストラム係数を算出する。
ステップ１１０では、上記ステップ１０８で算出された全次元のケプストラム係数のうち、上位から高次ｄ次元分のケプストラム係数を特徴量として抽出し、ステップ１０５０において、正規確率分布を識別するための変数ｍを初期値の１に設定すると共に、周辺確率の最大値ｐｍａｘに−∞を初期設定する。
そして、ステップ１０５２において、確率分布格納部１０３６に格納された混合正規分布のパラメータ群θのうちの正規確率分布ｍに関するパラメータ群θｍに基づいて、正規確率分布ｍについて、上記ステップ１１０で抽出された高次ｄ次元分のケプストラム係数の数列Ｃに対する周辺確率ｐ（Ｃ；θｍ）を算出する。
次のステップ１０５４では、上記ステップ１０５２で算出された周辺確率が、ｐｍａｘより大きいか否かを判定し、ｐｍａｘより大きい場合には、ステップ１０５６において、ｐｍａｘを上記ステップ１０５２で算出された周辺確率に更新すると共に、最大の周辺確率を与える正規確率分布のインデックスｍｍａｘをｍに更新して、ステップ１０５８へ移行する。一方、上記ステップ１０５４において、算出された周辺確率が、ｐｍａｘ以下である場合には、ステップ１０５８へ移行する。
ステップ１０５８では、ｍが正規確率分布の数を示す定数Ｍ未満であるか否かを判定し、上記ステップ１０５２〜１０５６の処理を行っていない正規確率分布がある場合には、ステップ１０６０で、ｍをインクリメントして、ステップ１０５２へ戻る。一方、全ての正規確率分布について、上記ステップ１０５２〜１０５６の処理を行った場合には、ステップ１０６２へ移行する。
ステップ１０６２では、最大の周辺確率を与える正規確率分布ｍｍａｘにおいて、上記ステップ１１０で算出された高次ｄ次元分のケプストラム係数Ｃに対して、最大の確率密度値を得る点を抽出し、抽出された点に対応する眠気レベルｉ（＝ｍａｘ＿ｉ ｐ（Ｃ，ｉ；θｍｍａｘ））を、運転者の眠気状態として判定し、ステップ１１６で、表示装置４０に判定結果を表示させて、眠気判定処理ルーチンを終了する。
以上説明したように、第１０の実施の形態に係る眠気判定装置によれば、眠気レベルと高次ｄ次元のケプストラム係数との混合正規分布に基づいて、複数の正規確率分布の各々における抽出された高次ｄ次元のケプストラム係数に対する周辺確率を算出して、正規確率分布を選択し、正規確率分布に基づいて眠気レベルを判定することにより、高次ｄ次元のケプストラム係数に対する眠気レベルの評定値のゆれを考慮して最適な眠気レベルを判定することができるため、眠気レベルを精度よく判定することができる。
また、高次ｄ次元分のケプストラム係数を特徴量として抽出することにより、眠気状態を表わさない特徴を分離した特徴量を用いて判定することができるため、精度よく眠気状態を判定することができる。
また、混合正規分布を用いて判定することにより、陰に評者の内的な基準を導入し、その内的基準を用いて眠気レベルの評定値を決定することによって、最適に眠気レベルを判定することが可能となる。
次に、第１１の実施の形態について説明する。なお、第６の実施の形態及び第１０の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。
第１１の実施の形態では、複数種類の瞬目特徴量を用いて、眠気状態を判定している点が第１０の実施の形態と異なっている。
図２０に示すように、第１１の実施の形態に係る眠気判定装置のコンピュータ１１２０は、目領域抽出部３１と、開眼度判定部７３２と、開眼度の重み付き積算部７３３と、平均開眼速度算出部７３４と、開眼速度の平均速度及び開眼度の重み付き積算値と眠気レベルとの混合正規分布で表される同時確率分布を生成する確率分布生成部１１３５と、生成された開眼速度の平均速度及び開眼度の重み付き積算値と眠気レベルとの混合正規分布で表される同時確率分布のパラメータ群が予め格納されている確率分布格納部１１３６と、開眼度の重み付き積算部７３３によって算出された開眼度の重み付き積算値、平均開眼速度算出部７３４によって算出された開眼速度の平均速度、及び確率分布格納部１１３６に格納された混合正規分布を表わすパラメータ群に基づいて、眠気状態を判定する眠気判定部１１３７とを備えている。
確率分布生成部１１３５では、開眼度の重み付き積算値及び開眼速度の平均速度とこれらの特徴量に対応する眠気レベルとを学習用のデータセットとして複数用意し、ＥＭアルゴリズムを用いた学習により、混合正規分布で表される同時確率分布を生成する。
ここで、混合正規分布を表わすパラメータ群θは、例えば、各混合重みｍ及び開眼度の重み付き積算値に対する平均及び共分散行列の各々を表わす２つのパラメータ（μ１、ｍ、σ１、ｍ）と、各混合重みｍ及び開眼速度の平均速度に対する平均及び共分散行列の各々を表わす２つのパラメータ（μ２、ｍ、σ２、ｍ）と、各混合重みｍに対する重みを表わすパラメータｗｍとからなる。
上記の混合正規分布を表わすパラメータ群が、確率分布格納部１１３６に格納される。例えば、混合重みＭ（近似する正規確率分布の数に相当）と設定された混合正規分布を推定する場合は、確率分布格納部１１３６に（（Ｍ×４＋１）＋Ｍ）個のパラメータからなるパラメータ群が格納される。
次に、第１１の実施の形態に係る眠気判定装置の作用について説明する。まず、カメラ１２によって運転者の顔を撮像し、コンピュータ１１２０において、図２１に示す眠気判定処理ルーチンを実行する。なお、第６の実施の形態及び第１０の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。
ステップ１００において、カメラ１２から所定時間の連続した顔画像を取得し、ステップ１０２で、取得した連続の顔画像から、目領域を抽出する。
そして、ステップ７５０で、上記ステップ１０２で抽出された目領域の連続した画像に基づいて、所定間隔で、開眼度を複数算出する。次のステップ７５２では、上記ステップ７５０で算出された所定間隔の開眼度に基づいて、開眼度の重み付き積算値を算出する。
そして、ステップ７５４では、上記ステップ１０２で抽出された目領域の連続した画像に基づいて、時々刻々と開眼速度を算出し、ステップ７５６において、上記ステップ７５４で算出された開眼速度を平均して、開眼速度の平均速度を算出する。ここで、上記ステップ７５２で算出された開眼度の重み付き積算値と上記ステップ７５６で算出された開眼速度の平均速度とを表わす特徴量ベクトルをＳとして、以下を説明する。
次のステップ１０５０において、正規確率分布を識別するための変数ｍを初期値の１に設定すると共に、周辺確率の最大値ｐｍａｘに−∞を初期設定する。
そして、ステップ１１５０において、確率分布格納部１１３６に格納された混合正規分布を表わすパラメータ群θのうちの正規確率分布ｍに関するパラメータ群θｍに基づいて、正規確率分布ｍについて、上記ステップ７５２及び上記ステップ７５６で算出された特徴量ベクトルＳに対する周辺確率ｐ（Ｓ；θｍ）を算出する。
次のステップ１０５４では、上記ステップ１１５０で算出された周辺確率が、ｐｍａｘより大きいか否かを判定し、ｐｍａｘより大きい場合には、ステップ１０５６において、ｐｍａｘを上記ステップ１１５０で算出された周辺確率に更新すると共に、最大の周辺確率を与える正規確率分布のインデックスｍｍａｘをｍに更新して、ステップ１０５８へ移行する。一方、上記ステップ１０５４において、算出された周辺確率が、ｐｍａｘ以下である場合には、ステップ１０５８へ移行する。
ステップ１０５８では、ｍが正規確率分布の数を示す定数Ｍ未満であるか否かを判定し、上記ステップ１１５０、１０５４、１０５６の処理を行っていない正規確率分布がある場合には、ステップ１０６０で、ｍをインクリメントして、ステップ１０５２へ戻る。一方、全ての正規確率分布について、上記ステップ１１５０、１０５４、１０５６の処理を行った場合には、ステップ１１５２へ移行する。
ステップ１１５２では、最大の周辺確率を与える正規確率分布ｍｍａｘにおいて、上記ステップ７５２、７５６で算出された特徴量ベクトルＳに対して、最大の確率密度値となる点に対応する眠気レベルｉ（＝ｍａｘ＿ｉ ｐ（Ｓ，ｉ；θｍｍａｘ））を、運転者の眠気状態として判定し、ステップ１１６で、表示装置４０に判定結果を表示させて、眠気判定処理ルーチンを終了する。
以上説明したように、第１１の実施の形態に係る眠気判定装置によれば、眠気レベルと複数種類の瞬目特徴量との混合正規分布に基づいて、複数の正規確率分布の各々における抽出された瞬目特徴量に対する周辺確率を算出して、正規確率分布を選択し、正規確率分布に基づいて、眠気レベルを判定することにより、複数種類の瞬目特徴量に対する眠気レベルの評定値のゆれを考慮して最適な眠気レベルを判定することができるため、眠気レベルを精度よく判定することができる。
なお、上記では、瞬目特徴量として、開眼度の重み付き積算値と開眼速度の平均速度とを用いる場合を例に説明したが、これに限定されるものではなく、開眼度の重み付け積算値、瞬目の開眼速度の平均速度、単位時間に対する半目状態である時間の割合、連続した瞬目の閉眼時間と開眼時間とを考慮した瞬目特徴量の積算値、瞬目頻度、及び単位時間に対する閉眼時間の割合（ＰＥＲＣＬＯＳ）の少なくとも一つを瞬目特徴量として用いればよい。
次に、第１２の実施の形態について説明する。なお、第１０の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。
第１２の実施の形態では、視線方向の時系列変化を表わす視線方向変化波形のケプストラム分析を行い、ケプストラム係数を算出している点が第１０の実施の形態と異なっている。
第１２の実施の形態に係るコンピュータでは、目領域抽出部３１によって抽出された目領域の画像から、視線方向を水平方向と垂直方向とについて時々刻々と計測し、所定時間内の水平方向の視線方向変化波形を表わす水平方向の視線方向パターン情報、及び所定時間内の垂直方向の視線方向変化波形を表わす垂直方向の視線方向パターン情報を生成する。そして、水平方向の視線方向パターン情報の視線方向変化波形の周波数スペクトルを計算し、計算された周波数スペクトルを対数変換して対数スペクトルを算出すると共に、垂直方向の視線方向パターン情報の視線方向変化波形の周波数スペクトルを計算し、計算された周波数スペクトルを対数変換して対数スペクトルを算出する。
そして、算出された水平方向及び垂直方向の各々の対数スペクトルを逆フーリエ変換し、得られたフーリエ係数の絶対値（実数部と虚数部の自乗和の平方根）をとることで、前次元のケプストラム係数を水平方向及び垂直方向の各々について算出し、上位から高次ｄ次元分のケプストラム係数を水平方向及び垂直方向の各々について抽出する。
また、水平方向の高次ｄ次元分のケプストラム係数及び垂直方向の高次ｄ次元分のケプストラム係数の組み合わせと眠気レベルとの混合正規分布で表される同時確率分布を生成し、混合正規分布を表わすパラメータ群を確率分布格納部１０３６に予め格納しておく。
眠気判定部１０３７では、抽出された水平方向及び垂直方向の各々のケプストラム係数、及び確率分布格納部１０３６に格納された混合正規分布を表わすパラメータ群に基づいて、眠気状態を判定する。
第１２の実施の形態に係る眠気判定装置では、水平方向及び垂直方向の各々の視線方向パターン情報に基づいて、高次ｄ次元分のケプストラム係数を水平方向及び垂直方向の各々について算出し、確率分布格納部１０３６に格納された混合正規分布のパラメータ群θを用いて、各正規確率分布ｍについて、水平方向の高次ｄ次元分のケプストラム係数及び垂直方向の高次ｄ次元分のケプストラム係数の組み合わせＣに対する周辺確率ｐ（Ｃ；θｍ）を各々算出する。
そして、最大の周辺確率となる正規確率分布において、水平方向の高次ｄ次元分のケプストラム係数及び垂直方向の高次ｄ次元分のケプストラム係数の組み合わせＣに対して最大の確率密度値を与える点を抽出し、抽出された点に対応する眠気レベルを、運転者の眠気状態として判定する。
このように、視線方向変化波形の水平方向の高次ｄ次元分のケプストラム係数及び垂直方向の高次ｄ次元分のケプストラム係数と眠気レベルとの混合正規分布に基づいて、複数の正規確率分布の各々における抽出されたケプストラム係数の周辺確率を算出して、正規確率分布を選択し、正規確率分布に基づいて眠気レベルを判定することにより、視線方向変化波形の高次ｄ次元分のケプストラム係数に対する眠気レベルの評定値のゆれを考慮して最適な眠気レベルを判定することができるため、眠気レベルを精度よく判定することができる。
次に、第１３の実施の形態について説明する。なお、第８の実施の形態及び第１０の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。
第１３の実施の形態では、ハンドルの操作量の変化に基づく操作量変化波形から、ケプストラム係数を算出している点が第１０の実施の形態と異なっている。
第１３の実施の形態に係るコンピュータでは、ハンドル操作センサ４１２からハンドル操作量を時々刻々と取得し、所定時間内の操作量変化波形を表わす操作量パターン情報を生成し、操作量パターン情報の操作量変化波形の周波数スペクトルを計算し、計算された周波数スペクトルを対数変換して対数スペクトルを算出する。
そして、ケプストラム係数抽出部３４において、算出された対数スペクトルを逆フーリエ変換し、得られたフーリエ係数の絶対値をとることで、全次元のケプストラム係数を算出し、上位から高次ｄ次元分のケプストラム係数を抽出する。
眠気判定部では、抽出されたケプストラム係数、及び確率分布格納部１０３６に格納された混合正規分布を表わすパラメータ群に基づいて、眠気状態を判定する。
なお、眠気判定装置の作用については、第１０の実施の形態と同様であるため、説明を省略する。
このように、眠気レベルと運転操作量の変化波形のケプストラム係数との混合正規分布に基づいて、複数の正規確率分布の各々における抽出されたケプストラム係数の周辺確率を算出して、眠気レベルを判定することにより、運転操作量の変化波形のケプストラム係数に対する眠気レベルの評定値のゆれを考慮して最適な眠気レベルを判定することができるため、眠気レベルを精度よく判定することができる。
次に、第１４の実施の形態について説明する。なお、第１４の実施の形態に係る眠気判定装置は、第１０の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。
第１４の実施の形態では、高次のケプストラム係数及び低次のケプストラム係数を特徴量として抽出して、眠気状態を判定している点が第１０の実施の形態と異なっている。
第１４の実施の形態に係る眠気判定装置では、ケプストラム係数抽出部３４において、全次元のケプストラム係数を算出し、上位から高次ｄ次元分のケプストラム係数を抽出すると共に、下位から低次ｅ次元分のケプストラム係数を抽出する。
確率分布生成部１０３５では、高次ｄ次元分のケプストラム係数及び低次ｅ次元分のケプストラム係数の組み合わせと眠気レベルとの混合正規分布で表される同時確率分布を生成し、混合正規分布を表わすパラメータ群を確率分布格納部１０３６に予め格納しておく。
また、眠気判定部１０３７は、混合正規分布のパラメータ群θのうちの正規確率分布ｍに関するパラメータ群θｍを用いて、各正規確率分布ｍについて、抽出された高次ｄ次元分のケプストラム係数及び低次ｅ次元分のケプストラム係数の組み合わせＣに対する周辺確率ｐ（Ｃ；θｍ）を各々求める。
そして、最大の周辺確率となる正規確率分布において、高次ｄ次元分のケプストラム係数及び低次ｅ次元分のケプストラム係数の組み合わせＣに対して最大の確率密度値を与える点を抽出し、抽出された点に対応する眠気レベルを、運転者の眠気状態として判定する。
このように、高次ｄ次元分のケプストラム係数及び低次ｅ次元分のケプストラム係数を特徴量として抽出することにより、眠気による影響を直接表わす特徴と個人性が高い特徴とを多次元特徴として表すことができ、この特徴量を用いて眠気レベルを判定することにより、より高精度に運転者の眠気状態を判定することができる。
なお、上記の実施の形態では、３つの眠気レベルの何れかであるかを判定する場合を例に説明したが、これに限定されるものではなく、浅い眠気レベルから深い眠気レベルまで更に詳細に眠気レベルを分類し、眠気状態を詳細に判定するようにしてもよい。
また、眠気状態を判定する場合を例に説明したが、これに限定されるものではなく、考え事をしている状態や疲労状態などの意識低下状態を判定する場合にも、本発明を適用してもよい。
本発明の第１の実施の形態に係る眠気判定装置の構成を示す概略図である。 本発明の第１の実施の形態に係る眠気判定装置のコンピュータの機能を示すブロック図である。 （Ａ）脳幹からの神経信号が眼輪筋に伝わり、瞬目動作波形が生じる様子を示すイメージ図、及び（Ｂ）脳幹からのパルス信号を入力として、眼輪筋の周波数特性が畳み込まれて、瞬目動作波形を示す信号が出力されるモデルを示したイメージ図である。 本発明の第１の実施の形態に係る眠気判定装置における眠気判定処理ルーチンの内容を示すフローチャートである。 本発明の第２の実施の形態に係る眠気判定装置のコンピュータの機能を示すブロック図である。 本発明の第３の実施の形態に係る眠気判定装置のコンピュータの機能を示すブロック図である。 （Ａ）脳幹からの神経信号が腕の筋肉に伝わり、操作量変化波形が生じる様子を示すイメージ図、及び（Ｂ）脳幹からのパルス信号を入力として、腕の筋肉の周波数特性が畳み込まれて、操作量変化波形を示す信号が出力されるモデルを示したイメージ図である。 本発明の第５の実施の形態に係る眠気判定装置の構成を示す概略図である。 本発明の第５の実施の形態に係る眠気判定装置のコンピュータの機能を示すブロック図である。 眠気レベルの状態遷移を示すグラフである。 眠気レベル遷移データの内容を示すイメージ図ある。 本発明の第５の実施の形態に係る眠気判定装置における眠気判定処理ルーチンの内容を示すフローチャートである。 本発明の第６の実施の形態に係る眠気判定装置のコンピュータの機能を示すブロック図である。 本発明の第６の実施の形態に係る眠気判定装置における眠気判定処理ルーチンの内容を示すフローチャートである。 本発明の第１０の実施の形態に係る眠気判定装置の構成を示す概略図である。 本発明の第１０の実施の形態に係る眠気判定装置のコンピュータの機能を示すブロック図である。 混合正規分布で表される同時確率分布を示すグラフである。 眠気レベルの評定のゆれを説明するための図である。 本発明の第１０の実施の形態に係る眠気判定装置における眠気判定処理ルーチンの内容を示すフローチャートである。 本発明の第１１の実施の形態に係る眠気判定装置のコンピュータの機能を示すブロック図である。 本発明の第１１の実施の形態に係る眠気判定装置における眠気判定処理ルーチンの内容を示すフローチャートである。
符号の説明
１０、６１０、１０１０ 眠気判定装置
１２ カメラ
２０、３２０、４２０、６２０、７２０、１０２０、１１２０コンピュータ
２１ ＣＰＵ
２２ ＲＡＭ
２３ ＲＯＭ
３２ 瞬目パターン生成部
３３、３３３、４３３ 対数スペクトル算出部
３４、３３４ ケプストラム係数抽出部
３５、３３５、７３５、１０３５、１１３５ 確率分布生成部
３６、３３６、７３６、１０３６、１１３６ 確率分布格納部
３７、３３７、６３７、７３７、１０３７、１１３７ 眠気判定部
３３２ 視線方向パターン生成部
４１２ ハンドル操作センサ
４３２ 操作量パターン生成部
６３４ 遷移履歴格納部
６３５ 遷移データ生成部
６３６ 眠気レベル遷移格納部
７３３ 開眼度の重み付き積算部
７３４ 平均開眼速度算出部

Claims (23)

  1. 被観察者の顔画像を撮像する撮像手段と、
    前記撮像手段により撮像された被観察者の顔画像に基づいて、所定時間内における瞬目動作又は視線方向の変化を示す波形情報を生成する生成手段と、
    前記生成手段によって生成された前記波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出する抽出手段と、
    前記抽出手段によって抽出された特徴量に基づいて、前記被観察者の意識低下状態を判定する判定手段と、
    を含む意識低下判定装置。
  2. 車両の運転者の運転操作量を検出する操作量検出手段と、
    前記操作量検出手段により検出された運転者の運転操作量に基づいて、所定時間内における運転操作量の変化を示す波形情報を生成する生成手段と、
    前記生成手段によって生成された前記波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出する抽出手段と、
    前記抽出手段によって抽出された特徴量に基づいて、前記運転者の意識低下状態を判定する判定手段と、
    を含む意識低下判定装置。
  3. 前記所定の次数のケプストラム係数は、予め定められた次数以上の予め定められた範囲の高次のケプストラム係数である請求項１又は２記載の意識低下判定装置。
  4. 前記所定のケプストラム係数は、予め定められた次数以下の予め定められた範囲の低次のケプストラム係数である請求項１又は２記載の意識低下判定装置。
  5. 前記所定のケプストラム係数は、予め定められた第１次数以下の予め定められた第１範囲の低次のケプストラム係数及び前記第１次数より高い予め定められた第２次数以上の予め定められた第２範囲の高次のケプストラム係数である請求項１又は２記載の意識低下判定装置。
  6. 前記判定手段は、意識低下状態における前記所定の次数のケプストラム係数の予め定められた確率分布と、前記抽出手段によって抽出された前記特徴量とに基づいて、前記意識低下状態を判定する請求項１〜請求項５の何れか１項記載の意識低下判定装置。
  7. 前記判定手段は、意識低下状態を示す予め定められた複数の意識低下レベルの各々における前記所定の次数のケプストラム係数の予め定められた確率分布と、前記抽出手段によって抽出された前記特徴量とに基づいて、前記意識低下状態が前記複数の意識低下レベルの何れかであるかを判定する請求項６記載の意識低下判定装置。
  8. 被観察者の顔画像を撮像する撮像手段と、
    前記撮像手段により撮像された被観察者の顔画像に基づいて、意識低下状態で発生する瞬目又は視線方向の特徴量を抽出する抽出手段と、
    意識低下状態を示す予め定められた複数の意識低下レベルの複数パターンの状態遷移の各々に対する状態遷移確率値を複数記憶した確率記憶手段と、
    少なくとも前回判定された前記被観察者の意識低下レベルを記憶するレベル記憶手段と、
    前記複数の意識低下レベルの各々における前記特徴量の予め定められた確率分布と、前記抽出手段によって抽出された前記特徴量とに基づいて、前記複数の意識低下レベルの各々に対して、前記特徴量の確率値又は確率密度値を算出する算出手段と、
    前記レベル記憶手段に記憶された意識低下レベルから前記複数の意識低下レベルの各々へのパターンの状態遷移の各々に対する状態遷移確率値を前記確率記憶手段から検索する検索手段と、
    前記算出手段によって算出された確率値又は確率密度値、及び前記検索手段によって検索された状態遷移確率値に基づいて、前記被観察者の意識低下状態が前記複数の意識低下レベルの何れかであるかを判定する判定手段と、
    を含む意識低下判定装置。
  9. 車両の運転者の運転操作量を検出する操作量検出手段と、
    前記操作量検出手段により検出された運転者の運転操作量に基づいて、意識低下状態で発生する運転操作の特徴量を抽出する抽出手段と、
    意識低下状態を示す予め定められた複数の意識低下レベルの複数パターンの状態遷移の各々に対する状態遷移確率値を複数記憶した確率記憶手段と、
    少なくとも前回判定された前記運転者の意識低下レベルを記憶するレベル記憶手段と、
    前記複数の意識低下レベルの各々における前記特徴量の予め定められた確率分布と、前記抽出手段によって抽出された前記特徴量とに基づいて、前記複数の意識低下レベルの各々に対して、前記特徴量の確率値又は確率密度値を算出する算出手段と、
    前記レベル記憶手段に記憶された意識低下レベルから前記複数の意識低下レベルの各々へのパターンの状態遷移の各々に対する状態遷移確率値を前記確率記憶手段から検索する検索手段と、
    前記算出手段によって算出された確率値又は確率密度値、及び前記検索手段によって検索された状態遷移確率値に基づいて、前記運転者の意識低下状態が前記複数の意識低下レベルの何れかであるかを判定する判定手段と、
    を含む意識低下判定装置。
  10. 前記抽出手段は、前記撮像手段により撮像された被観察者の顔画像に基づいて、所定時間内における瞬目動作又は視線方向の変化を示す波形情報を生成する生成手段を備え、前記生成手段によって生成された前記波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を前記特徴量として抽出する請求項８記載の意識低下判定装置。
  11. 前記抽出手段は、前記操作量検出手段により検出された運転者の運転操作量に基づいて、所定時間内における運転操作量の変化を示す波形情報を生成する生成手段を備え、前記生成手段によって生成された前記波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を前記特徴量として抽出する請求項９記載の意識低下判定装置。
  12. 前記レベル記憶手段は、前回判定された前記意識低下レベル及び前回以前に判定された前記意識低下レベルを記憶し、
    前記検索手段は、前記レベル記憶手段に記憶された意識低下レベルの状態遷移から前記複数の意識低下レベルの各々へのパターンの状態遷移に対する状態遷移確率値を前記確率記憶手段から検索する請求項８〜請求項１１の何れか1項記載の意識低下判定装置。
  13. 前記確率記憶手段に記憶された状態遷移確率値は、マルコフモデルに基づいて定められる状態遷移確率値である請求項８〜請求項１２の何れか１項記載の意識低下判定装置。
  14. 被観察者の顔画像を撮像する撮像手段と、
    前記撮像手段により撮像された被観察者の顔画像に基づいて、意識低下状態で発生する瞬目又は視線方向の特徴量を抽出する抽出手段と、
    複数の前記特徴量の各々と前記複数の特徴量の各々に対応する意識低下状態を示す予め定められた複数の意識低下レベルの何れかとに基づいて学習され、かつ、複数の確率分布を含む前記意識低下レベルと前記特徴量との混合分布に基づいて、前記複数の確率分布の各々における前記抽出手段によって抽出された特徴量の確率値又は確率密度値を算出する確率算出手段と、
    前記確率算出手段によって算出された確率値又は確率密度値に基づいて、前記確率値又は前記確率密度値が最大となる前記確率分布を前記複数の確率分布から選択し、前記選択された確率分布に対して最も尤度が高い意識低下レベルを、前記被観察者の意識低下状態として判定する判定手段と、
    を含む意識低下判定装置。
  15. 車両の運転者の運転操作量を検出する操作量検出手段と、
    前記操作量検出手段により検出された運転者の運転操作量に基づいて、意識低下状態で発生する運転操作の特徴量を抽出する抽出手段と、
    複数の前記特徴量の各々と前記複数の特徴量の各々に対応する意識低下状態を示す予め定められた複数の意識低下レベルの何れかとに基づいて学習され、かつ、複数の確率分布を含む前記意識低下レベルと前記特徴量との混合分布に基づいて、前記複数の確率分布の各々における前記抽出手段によって抽出された特徴量の確率値又は確率密度値を算出する確率算出手段と、
    前記確率算出手段によって算出された確率値又は確率密度値に基づいて、前記確率値又は確率密度値が最大となる前記確率分布を前記複数の確率分布から選択し、前記選択された確率分布に対して最も尤度が高い意識低下レベルを、前記運転者の意識低下状態として判定する判定手段と、
    を含む意識低下判定装置。
  16. 前記抽出手段は、前記撮像手段により撮像された被観察者の顔画像に基づいて、所定時間内における瞬目動作又は視線方向の変化を示す波形情報を生成する生成手段を備え、前記生成手段によって生成された前記波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を前記特徴量として抽出する請求項１４記載の意識低下判定装置。
  17. 前記抽出手段は、前記操作量検出手段により検出された運転者の運転操作量に基づいて、所定時間内における運転操作量の変化を示す波形情報を生成する生成手段を備え、前記生成手段によって生成された前記波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を前記特徴量として抽出する請求項１５記載の意識低下判定装置。
  18. コンピュータを、
    被観察者の顔画像を撮像する撮像手段により撮像された被観察者の顔画像に基づいて、所定時間内における瞬目動作又は視線方向の変化を示す波形情報を生成する生成手段、
    前記生成手段によって生成された前記波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出する抽出手段、及び
    前記抽出手段によって抽出された特徴量に基づいて、前記被観察者の意識低下状態を判定する判定手段
    として機能させるためのプログラム。
  19. コンピュータを、
    車両の運転者の運転操作量を検出する操作量検出手段により検出された運転者の運転操作量に基づいて、所定時間内における運転操作量の変化を示す波形情報を生成する生成手段、
    前記生成手段によって生成された前記波形情報のケプストラム分析を行い、所定の次数のケプストラム係数を特徴量として抽出する抽出手段、及び
    前記抽出手段によって抽出された特徴量に基づいて、前記運転者の意識低下状態を判定する判定手段
    として機能させるためのプログラム。
  20. コンピュータを、
    被観察者の顔画像を撮像する撮像手段により撮像された被観察者の顔画像に基づいて、意識低下状態で発生する瞬目又は視線方向の特徴量を抽出する抽出手段、
    意識低下状態を示す予め定められた複数の意識低下レベルの複数パターンの状態遷移の各々に対する状態遷移確率値を複数記憶した確率記憶手段、
    少なくとも前回判定された前記被観察者の意識低下レベルを記憶するレベル記憶手段と、
    前記複数の意識低下レベルの各々における前記特徴量の予め定められた確率分布と、前記抽出手段によって抽出された前記特徴量とに基づいて、前記複数の意識低下レベルの各々に対して、前記特徴量の確率値又は確率密度値を算出する算出手段、
    前記レベル記憶手段に記憶された意識低下レベルから前記複数の意識低下レベルの各々へのパターンの状態遷移の各々に対する状態遷移確率値を前記確率記憶手段から検索する検索手段、及び
    前記算出手段によって算出された確率値又は確率密度値、及び前記検索手段によって検索された状態遷移確率値に基づいて、前記被観察者の意識低下状態が前記複数の意識低下レベルの何れかであるかを判定する判定手段
    として機能させるためのプログラム。
  21. コンピュータを、
    車両の運転者の運転操作量を検出する操作量検出手段により検出された運転者の運転操作量に基づいて、意識低下状態で発生する運転操作の特徴量を抽出する抽出手段、
    意識低下状態を示す予め定められた複数の意識低下レベルの複数パターンの状態遷移の各々に対する状態遷移確率値を複数記憶した確率記憶手段、
    少なくとも前回判定された前記運転者の意識低下レベルを記憶するレベル記憶手段と、
    前記複数の意識低下レベルの各々における前記特徴量の予め定められた確率分布と、前記抽出手段によって抽出された前記特徴量とに基づいて、前記複数の意識低下レベルの各々に対して、前記特徴量の確率値又は確率密度値を算出する算出手段、
    前記レベル記憶手段に記憶された意識低下レベルから前記複数の意識低下レベルの各々へのパターンの状態遷移の各々に対する状態遷移確率値を前記確率記憶手段から検索する検索手段、及び
    前記算出手段によって算出された確率値又は確率密度値、及び前記検索手段によって検索された状態遷移確率値に基づいて、前記運転者の意識低下状態が前記複数の意識低下レベルの何れかであるかを判定する判定手段
    として機能させるためのプログラム。
  22. コンピュータを、
    被観察者の顔画像を撮像する撮像手段により撮像された被観察者の顔画像に基づいて、意識低下状態で発生する瞬目又は視線方向の特徴量を抽出する抽出手段、
    複数の前記特徴量の各々と前記複数の特徴量の各々に対応する意識低下状態を示す予め定められた複数の意識低下レベルの何れかとに基づいて学習され、かつ、複数の確率分布を含む前記意識低下レベルと前記特徴量との混合分布に基づいて、前記複数の確率分布の各々における前記抽出手段によって抽出された特徴量の確率値又は確率密度値を算出する確率算出手段、及び
    前記確率算出手段によって算出された確率値又は確率密度値に基づいて、前記確率値又は前記確率密度値が最大となる前記確率分布を前記複数の確率分布から選択し、前記選択された確率分布に対して最も尤度が高い意識低下レベルを、前記被観察者の意識低下状態として判定する判定手段
    として機能させるためのプログラム。
  23. コンピュータを、
    車両の運転者の運転操作量を検出する操作量検出手段により検出された運転者の運転操作量に基づいて、意識低下状態で発生する運転操作の特徴量を抽出する抽出手段、
    複数の前記特徴量の各々と前記複数の特徴量の各々に対応する意識低下状態を示す予め定められた複数の意識低下レベルの何れかとに基づいて学習され、かつ、複数の確率分布を含む前記意識低下レベルと前記特徴量との混合分布に基づいて、前記複数の確率分布の各々における前記抽出手段によって抽出された特徴量の確率値又は確率密度値を算出する確率算出手段、及び
    前記確率算出手段によって算出された確率値又は確率密度値に基づいて、前記確率値又は確率密度値が最大となる前記確率分布を前記複数の確率分布から選択し、前記選択された確率分布に対して最も尤度が高い意識低下レベルを、前記運転者の意識低下状態として判定する判定手段
    として機能させるためのプログラム。
JP2007068355A 2007-03-16 2007-03-16 意識低下判定装置及びプログラム Pending JP2008228759A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007068355A JP2008228759A (ja) 2007-03-16 2007-03-16 意識低下判定装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007068355A JP2008228759A (ja) 2007-03-16 2007-03-16 意識低下判定装置及びプログラム

Publications (1)

Publication Number Publication Date
JP2008228759A true JP2008228759A (ja) 2008-10-02

Family

ID=39902318

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007068355A Pending JP2008228759A (ja) 2007-03-16 2007-03-16 意識低下判定装置及びプログラム

Country Status (1)

Country Link
JP (1) JP2008228759A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011043976A (ja) * 2009-08-20 2011-03-03 Denso Corp 安全運転診断装置
JP2011123618A (ja) * 2009-12-09 2011-06-23 Denso Corp 安全運転診断装置
JP2011188901A (ja) * 2010-03-12 2011-09-29 Oki Electric Industry Co Ltd 運動検出装置、運動検出方法、及びプログラム
JP2015532743A (ja) * 2012-08-14 2015-11-12 ボルボ ラストバグナー アーベー ドライバの運転状態を判断する方法
CN105745134A (zh) * 2013-11-25 2016-07-06 罗伯特·博世有限公司 用于评价在机动车中的驾驶员行为的方法
JP2017045351A (ja) * 2015-08-28 2017-03-02 トヨタ自動車株式会社 車両運転支援装置、車両運転支援方法、およびプログラム
WO2017217044A1 (ja) * 2016-06-17 2017-12-21 アイシン精機株式会社 視認方向推定装置
WO2019069999A1 (ja) * 2017-10-06 2019-04-11 カルソニックカンセイ株式会社 眠気度予測装置及び眠気度予測方法
TWI689899B (zh) * 2018-08-30 2020-04-01 中興保全科技股份有限公司 人員意識預警系統及其方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011043976A (ja) * 2009-08-20 2011-03-03 Denso Corp 安全運転診断装置
JP2011123618A (ja) * 2009-12-09 2011-06-23 Denso Corp 安全運転診断装置
JP2011188901A (ja) * 2010-03-12 2011-09-29 Oki Electric Industry Co Ltd 運動検出装置、運動検出方法、及びプログラム
JP2015532743A (ja) * 2012-08-14 2015-11-12 ボルボ ラストバグナー アーベー ドライバの運転状態を判断する方法
CN105745134A (zh) * 2013-11-25 2016-07-06 罗伯特·博世有限公司 用于评价在机动车中的驾驶员行为的方法
JP2017504867A (ja) * 2013-11-25 2017-02-09 ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 車両におけるドライバ動作を評価する方法
JP2017045351A (ja) * 2015-08-28 2017-03-02 トヨタ自動車株式会社 車両運転支援装置、車両運転支援方法、およびプログラム
WO2017217044A1 (ja) * 2016-06-17 2017-12-21 アイシン精機株式会社 視認方向推定装置
JP2017224254A (ja) * 2016-06-17 2017-12-21 アイシン精機株式会社 視認方向推定装置
WO2019069999A1 (ja) * 2017-10-06 2019-04-11 カルソニックカンセイ株式会社 眠気度予測装置及び眠気度予測方法
JP2019068935A (ja) * 2017-10-06 2019-05-09 カルソニックカンセイ株式会社 眠気度予測装置及び眠気度予測方法
US11040720B2 (en) 2017-10-06 2021-06-22 Marelli Corporation Sleepiness level prediction device and sleepiness level prediction method
TWI689899B (zh) * 2018-08-30 2020-04-01 中興保全科技股份有限公司 人員意識預警系統及其方法

Similar Documents

Publication Publication Date Title
JP2008228759A (ja) 意識低下判定装置及びプログラム
US8400313B2 (en) Vehicle driver sleep state classification generating device based on Hidden Markov Model, sleep state classification device and warning device
JP7070605B2 (ja) 注目範囲推定装置、その方法およびプログラム
US7818131B2 (en) Non-parametric modeling apparatus and method for classification, especially of activity state
CN101932988B (zh) 调整脑波信号识别方法的装置、方法以及程序
JP4743137B2 (ja) 眠気判定装置及びプログラム
JP2007312824A (ja) まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置
CN111797674A (zh) 基于特征融合和粒子群优化算法的mi脑电信号识别方法
JP4254892B1 (ja) 特徴量候補作成装置および特徴量候補作成方法
CN112911988B (zh) 用于根据配戴者的视觉探索策略适配眼科设备的方法
JP5292671B2 (ja) 覚醒度推定装置及びシステム並びに方法
CN116211305A (zh) 动态实时情绪检测方法及系统
CN115713246A (zh) 一种关于虚拟场景的多模态人机交互的性能评估方法
CN111738234B (zh) 基于个体眼动特征的自动化共情能力识别方法
CN111985351A (zh) 一种基于眼动的疲劳检测方法
US20220284718A1 (en) Driving analysis device and driving analysis method
KR101213677B1 (ko) 점진적 ｅｍ ｐｃａ를 이용한 결측값 대치 시스템
CN112733727B (zh) 基于线性分析的特征决策融合的脑电意识动态分类方法
CN111743668B (zh) 假肢控制方法、装置、电子设备和存储介质
KR20190049342A (ko) 스마트 시니어 인지반응 기반의 모델링 방법 및 장치
JP7263770B2 (ja) 分類装置、分類システム、分類方法及びプログラム
WO2020204808A1 (en) A system and method for measuring non-stationary brain signals
JP3724524B2 (ja) 眼球制御系情報検出装置および眼球制御系の解析方法
US10278619B2 (en) Method and device for distinguishing blinking events and instrument gazes using an eye opening width
CN108573472B (zh) 利用最小熵判断视觉感知饱和的图像自适应缩小方法