JP2016146978A - 眠気検知装置 - Google Patents

眠気検知装置 Download PDF

Info

Publication number
JP2016146978A
JP2016146978A JP2015025886A JP2015025886A JP2016146978A JP 2016146978 A JP2016146978 A JP 2016146978A JP 2015025886 A JP2015025886 A JP 2015025886A JP 2015025886 A JP2015025886 A JP 2015025886A JP 2016146978 A JP2016146978 A JP 2016146978A
Authority
JP
Japan
Prior art keywords
closed state
transition
eyelid
open
opening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015025886A
Other languages
English (en)
Other versions
JP6344254B2 (ja
Inventor
善幸 畠山
Yoshiyuki Hatakeyama
善幸 畠山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2015025886A priority Critical patent/JP6344254B2/ja
Priority to US15/015,538 priority patent/US10398356B2/en
Priority to EP16155251.8A priority patent/EP3056375B1/en
Publication of JP2016146978A publication Critical patent/JP2016146978A/ja
Application granted granted Critical
Publication of JP6344254B2 publication Critical patent/JP6344254B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103Detecting eye twinkling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4806Sleep evaluation
    • A61B5/4809Sleep detection, i.e. determining whether a subject is asleep or not
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Ophthalmology & Optometry (AREA)
  • Anesthesiology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

【課題】人の瞼の開閉運動に基づいて眠気を検知する装置に於いて、眠気が増加した際に意図的に瞬きをしないようにする被検者の場合にも、被検者の眠気の発生を従前よりも精度よく検知できる装置を提供する。【解決手段】被検者の瞼の開閉状態を検出する手段と、瞼の開状態と閉状態との間の遷移の時間間隔を逐次的に検出する手段と、瞼の開状態と閉状態との間の遷移の時間間隔のデータから瞼開閉特徴量を算出する手段と、瞼開閉特徴量が第一の閾値を下回ったとき、及び、第一の閾値よりも高い第二の閾値を上回ったときに、被検者が眠気を感じていると判定する眠気判定手段とを含む。【選択図】図2

Description

本発明は、人間の眠気を検知する装置に係り、より詳細には、人間の瞼の開閉動作から得られる指標値に基づいて眠気を検知する装置に係る。本発明の装置は、例えば、車両又は移動体の運転中の運転者の眠気を検知するために利用される。
人間の眠気を検知する装置として、人間の顔或いは瞼を撮像し、その撮影画像に於いて瞼の動きやその他の顔の表情の変化を捉えて、その人が眠気を感じているか否かを判定する装置が種々提案されている。例えば、特許文献1に於いては、被検者の目とその周辺の撮影画像に於いて、瞼を連続して開いている時間(以下、開眼時間)を観測し、その開眼時間のばらつき(標準偏差)が算出され、その開眼時間の標準偏差が眠気増加に伴って低下し、所定の閾値を下回ったときに「居眠りが発生した」と判定する構成が提案されている。また、特許文献2に於いては、被検者の顔の画像から、ため息、あくび、目の見開き、しかめ顔をするときの口の動きの4種の顔表情の発生が計測され、異なる種類の顔表情の二つの組み合わせの発生頻度に対応して定義された覚醒度を、推定結果として出力する構成が提案されている。
特開2011−167398 特開2007−236488
ところで、上記の如き装置により、被検者(人間)の眠気を検知しようとする場合、眠気を感じた際の瞼の動かし方や顔表情の変化は、被験者によって異なる。例えば、眠気を感じると被検者の瞼の動きは鈍くなるのが一般的であるが、被検者によっては、眠気の増加と共に瞼が閉じてしまわないように、意図的に瞬きを激しくしたり、目を見開いたりする場合がある。そのような場合、その被検者の開眼時間の標準偏差は増加するので、特許文献1の構成では、開眼時間標準偏差が閾値を下回ることがなく、被検者が眠気を感じていてもそのことを検知することが困難となっている。また、特許文献2の構成の場合にも、眠気増加時に顔表情に通常と異なる変化が発生することとなり、顔表情の覚醒度と対応付けのない状態が発生し、覚醒度を正しく推定できない場合があった(更に、特許文献2の構成の場合には、4つ又は2つの顔表情を検出する必要がある。)。即ち、眠気検知装置には、その性能を向上するべく改良の余地がある。
かくして、本発明の一つの課題は、上記の如き眠気検知装置の性能の向上の一つとして、眠気が増加した際に、瞼の開閉運動が鈍くなるのではなく、意図的に瞬きを激しくしたり、目を見開いたり、或いは、瞬きをしないようして、返って、開閉運動が激しくなる被検者の場合にも、被検者の眠気の発生を従前よりも精度よく検知できるようにすることである。
本発明によれば、上記の課題は、眠気検知装置であって、被検者の瞼の開閉状態を検出する手段と、瞼の開状態と閉状態との間の遷移の時間間隔を逐次的に検出する手段と、瞼の開状態と閉状態との間の遷移の時間間隔の時系列データから瞼開閉特徴量を算出する手段と、瞼開閉特徴量が第一の閾値を下回ったとき、及び、第一の閾値よりも高い第二の閾値を上回ったときのいずれに於いても、被検者が眠気を感じていると判定する眠気判定手段とを含む装置によって達成される。
上記の構成に於いて、「瞼の開閉状態を検出する手段」は、被検者の瞼が開いているか閉じているかが判定できる任意の装置であってよく、典型的には、カメラにより撮影された被検者の瞼の画像に基づいて瞼の開閉状態を判定する装置が採用される。また、瞼の開閉状態を検出する手段は、被検者の眼電信号に基づいて瞼の開閉状態を判定する装置であってもよい。「瞼の開状態と閉状態との間の遷移の時間間隔」とは、瞼の開閉状態を検出する手段によって時々刻々に得られた瞼が開いているか閉じているかの判定結果のデータに於いて、瞼が開状態から閉状態へ又は閉状態から開状態への遷移が生じた時点の間隔であり、具体的には、(1)瞼の閉状態から開状態への遷移から瞼の開状態から閉状態への遷移までの時間間隔、即ち、瞼が継続して開いている時間の長さ(開眼時間)、(2)瞼の開状態から閉状態への遷移からの次の開状態から閉状態への遷移までの時間間隔、即ち、瞼が閉じたときから、一旦、瞼が開いた後、再び閉じるまでの時間長さ(瞬き開始時間隔)、(3)瞼の閉状態から開状態への遷移から次の閉状態から開状態への遷移までの時間間隔、即ち、瞼が開いたときから、一旦、瞼が開じた後、再び開くまでの時間長さ(瞬き終了時間隔)、或いは、(4)瞼の開状態から閉状態への遷移から瞼の閉状態から開状態への遷移までの時間間隔、即ち、瞼が継続して閉じている時間の長さ(閉眼時間)のいずれであってもよい。そして、「瞼開閉特徴量」とは、端的に述べれば、上記の「瞼の開状態と閉状態との間の遷移の時間間隔」から抽出される被検者の眠気の有無又は程度と相関を有する量である。具体的には、被検者が眠気を感じると、「瞼の開状態と閉状態との間の遷移の時間間隔」の態様が、眠気を感じていないときと比べて統計的に変化するので、そのような「瞼開閉特徴量」としては、例えば、「瞼の開状態と閉状態との間の遷移の時間間隔」の統計量を表す指標値、より詳細には、標準偏差、平均値、中央値、分散値等であってよい。特に、被検者の瞼の開閉運動は、眠気を感じると、そうでない通常のときに比して、鈍くなるか、或いは、激しくなって、統計的なばらつきが変化するので、その場合には、「瞼開閉特徴量」として、「瞼の開状態と閉状態との間の遷移の時間間隔」の標準偏差又は分散値が好適に採用される。
そして、上記の本発明の装置の場合には、瞼開閉特徴量が第一の閾値を下回ったとき、及び、第一の閾値よりも高い第二の閾値を上回ったときのいずれに於いても、被検者が眠気を感じているとの判定が為されることとなる。即ち、瞼開閉特徴量が第一の閾値と第二の閾値の間から逸脱するときに、被検者が眠気を感じているとの判定が為される。既に触れた如く、人間が眠気を感じた場合、瞼の開閉運動に変化が表れ、典型的には、瞼の運動が遅くなって「瞼の開状態と閉状態との間の遷移の時間間隔」の値やばらつきが統計的に低減することが多い。しかしながら、人によっては、眠気を感じたときに、その眠気に耐えるために、意図的に目を見開いたり、激しく瞬きをするなどの瞼を運動させるため、そのような被検者の場合には、「瞼の開状態と閉状態との間の遷移の時間間隔」の値やばらつきが増大する。かくして、本発明の装置は、瞼開閉特徴量に対する閾値が眠気を感じていないときのその値と比べて低い方に設定されるだけでなく、眠気を感じていないときの瞼開閉特徴量に対して高い方にも設定され、これにより、眠気が増大すると、「瞼の開状態と閉状態との間の遷移の時間間隔」の値やばらつきが増大する被検者の場合にも、より確実に眠気の判定が可能となるよう構成される。
上記の眠気の有無の判定に於いて、被検者の眠気を感じていないときと眠気を感じているときの瞼の開状態と閉状態との間の遷移の時間間隔には、個人差及び個人内差がある。従って、或る被検者についての眠気の有無の判定の基準となる第一及び第二の閾値は、その被検者の(眠気判定実行時に比較的近い時期の)瞼の開状態と閉状態との間の遷移の時間間隔を用いて判定することが好ましい。そこで、上記の本発明の構成に於いて、第一及び第二の閾値は、眠気の判定時よりも前の所定期間に於ける瞼開閉特徴量に基づいて決定されてよい。眠気の判定時よりも前の所定期間は、例えば、本発明の装置が、車両の運転者の眠気の有無を判定するために用いられる場合には、車両の走行開始から所定の期間、例えば、統計的に有意なデータ量が得られるまでの期間であってよい。また、第一及び第二の閾値としては、具体的には、例えば、眠気の判定時よりも前の所定期間に於ける瞼開閉特徴量の平均値に、それぞれ、1よりも所定の小さい正数及び1より所定の大きい正数を乗じた値が採用されてよい。かかる構成によれば、眠気が判定される被検者の、比較的近い時期のデータを利用して、眠気判定のための基準が設定されることとなるので、瞼の開状態と閉状態との間の遷移の時間間隔に於ける個人差及び個人内差の、結果に対する影響が抑制されることが期待される。
かくして、上記の本発明の構成に於いて、被検者の眠気を感じているか否かの指標値である瞼開閉特徴量が、第一の閾値と第二の閾値の間から逸脱するときに、眠気を感じているとの判定が為されることとなるので、瞼の開状態と閉状態との間の遷移の時間間隔を通じて計られる瞼の開閉運動が、眠気を感じていない状態と異なったとき、即ち、瞼の開閉運動が、眠気を感じていない状態のときよりも緩やかになった場合と激しくなった場合との双方に於いて、被検者が眠気を感じているとの判定が為されることとなる。かかる本発明の構成によれば、眠気を感じると、瞼の動きが鈍くなる被検者だけではなく、眠気を感じると、瞼の動きが激しくなる被検者についても、その眠気を、従前に比してより確実に検知できるようになり、しかも眠気を検知するのに必要な被検者から計測される情報は、瞼の開閉状態の情報だけでよいので、複数の計測情報を利用する場合に比して、構成が簡単となる点で有利である。
本発明のその他の目的及び利点は、以下の本発明の好ましい実施形態の説明により明らかになるであろう。
図1(A)は、本発明の眠気検知装置の構成を模式的に表した図である。図1(B)は、本発明の眠気検知装置の作動の概要をフローチャートの形式で表した図である。 図2(A)は、本発明の眠気検知装置に於いて、カメラ画像を用いて目と瞼の画像を撮影する場合の被検者の顔面の模式図である。図2(B)は、瞼の画像から得られる瞼の開度の時間変化の例と、瞼の開度を二値化して得られる瞼開閉状態指標値の時間変化の例を示している。図2(C)は、本発明の眠気検知装置に於いて眼電信号により瞼の開度を検出する場合に被検者の顔面に取り付けられる電極の配置を模式的に示している。 図3(A)は、瞼開閉状態指標値の時系列データに於いて計測される開眼時間を説明する図である。図3(B)は、瞼開閉状態指標値の時系列データに於いて計測される瞬き開始時間隔を説明する図である。図3(C)は、瞼開閉状態指標値の時系列データに於いて計測される瞬き終了時間隔を説明する図である。 図4(A)は、目と瞼の画像から得られる瞼の開度の時間変化から得られた瞼開閉状態指標値に於いて計測された開眼時間の時系列データの例を示している。図4(B)は、眼電信号から得られる瞼の開度の時間変化から得られた瞼開閉状態指標値に於いて計測された開眼時間の時系列データの例を示している。図4(C)は、眼電信号から得られる瞼の開度の時間変化から得られた瞼開閉状態指標値に於いて計測された瞬き開始時間隔の時系列データの例を示している。 図5(A)は、図4(A)の開眼時間の時系列データから算出された開眼時間の標準偏差の時系列データの例である。図5(B)は、瞼開閉特徴量に対する閾値の設定方法を説明する図である。 図6(A)は、図4(A)の瞼画像から得られた開眼時間の時系列データから算出された開眼時間の標準偏差の時系列データに於いて、眠気の判定を行った例を示している。図6(B)は、図4(B)の眼電信号から得られた開眼時間の時系列データから算出された開眼時間の標準偏差の時系列データに於いて、眠気の判定を行った例を示している。 図7(A)、7(B)、7(C)は、図6(A)と同様の図であって、眠気の判定を行うための瞼開閉特徴量として、それぞれ、開眼時間の平均値、中央値、分散を用いた場合の例を示す図である。
1…被検者
2…被検者の目
3…カメラ
4…信号処理装置
以下に添付の図を参照しつつ、本発明を幾つかの好ましい実施形態について詳細に説明する。図中、同一の符号は、同一の部位を示す。
装置の構成
本発明の眠気検知装置は、端的に述べれば、特許文献1に記載の装置と同様に、被検者の瞼の開閉運動を計測し、その計測された瞼の開閉運動の時系列データから被検者の眠気に相関のある瞼開閉特徴量を抽出し、瞼開閉特徴量が眠気を感じている場合の値域に入ったときに、被検者が眠気を感じていると判定する形式の装置である。図1(A)を参照して、本発明の眠気検知装置の基本的な構成に於いては、まず、被検者1の目及び瞼2が、カメラ3などの撮像装置の視野に含まれるように、撮像装置が配置され、撮像装置で得られた画像信号が、信号処理装置4に取り込まれる。なお、後述の如く、被検者1の目及び瞼2の開閉運動は、眼電信号によって検出されてもよく、その場合には、被検者の顔面に貼られた電極からの信号が信号処理装置4へ与えられる。そして、信号処理装置4に於いて、画像処理部が撮像装置から送られてきた画像信号から被検者の目及び瞼2の像を含む画像を構成し、データ処理部が、後に説明されるように、被検者の目及び瞼2の画像を用いて、被検者の眠気の検知に必要なデータ処理と眠気の有無の判定を実行する。かくして、データ処理部に於いて、被検者が眠気を感じていることが判定されると、その判定結果が、結果出力部へ送信され、例えば、スピーカ5による音声や、被検者に物理的な刺激を与える振動器などを通じて、被検者に伝達される。信号処理装置4は、典型的には、コンピュータ装置であってよく、通常の態様にて、図示していない双方向コモン・バスにより相互に連結されたCPU、記憶装置、入出力装置(I/O)が装備され、眠気検知装置の各部の作動は、CPUに於いてプログラムを実行することにより達成されることとなる。
装置の作動の概要
図1(B)を参照して、本発明の装置による眠気検知処理に於いては、プログラムに従って、まず、被検者の瞼の開閉状態を表す指標値の取得が逐次的に実行され(ステップ1)、その指標値の時系列データに於いて、瞼の開状態と閉状態との間の遷移の時間間隔が逐次的に計測され(ステップ2)、しかる後、瞼の開閉状態の遷移の時間間隔の時系列データに於いて眠気の有無に相関のある「瞼開閉特徴量」の算出が逐次的に実行される(ステップ3)。そして、眠気の有無の判定のための「瞼開閉特徴量」に対する閾値が設定されていないときには(通常、装置の使用開始直後から所定の期間)、閾値の設定のための処理(ステップ4、5)が実行される。かくして、サイクルが繰り返される間に、閾値の設定が為されると(ステップ4)、被検者の眠気の判定(ステップ6)が実行されることとなる。即ち、被検者の瞼の開閉状態を検出する手段、瞼の開状態と閉状態との間の遷移の時間間隔を逐次的に検出する手段、瞼開閉特徴量を算出する手段及び眠気判定手段は、図1(A)の撮像装置(又は電極装置)と信号処理装置4のプログラムに従った作動により実現される。以下、上記の一連の処理の各々について、詳細に説明する。
瞼開閉状態指標値の取得(ステップ1)
本発明の装置に於ける被検者の瞼の開閉状態を表す指標値(瞼開閉状態指標値)の取得に於いては、一つの態様として、既に触れた如く、カメラ等の撮像装置によって逐次的に撮影された被検者の目と瞼の画像に於いて瞼の開閉運動が検出され、その瞼の開閉運動の検出データから瞼が開いている状態と閉じている状態とを表す時系列データが調製される。その場合、まず、カメラの等の撮像装置は、図2(A)に模式的に描かれている如く、その視野が被検者の目及び瞼を含むように任意の場所に設置されてよい。具体的なカメラの等の撮像装置の設置位置は、例えば、被検者として車両の運転者の眠気を判定する場合には、車両のダッシュボードの上、ハンドル、天井等の被検者の目及び瞼を撮影できる部位であれば、任意の場所であってよい。また、カメラの等の撮像装置は、被検者のメガネ、帽子等の装着物に取り付けられてもよい。そして、カメラの等の撮像装置は、逐次的に被検者の目と瞼を撮像し、その画像信号から目と瞼の画像が逐次的に構成される。
被検者の目及び瞼の逐次的な画像又は連続画像が得られると、その画像に於いて上瞼と下瞼の位置が逐次検出され、それらの距離が計測されて、図2(B)上段に描かれている如き、瞼開度(上瞼と下瞼の距離)の時系列データが調製される。画像に於ける上瞼と下瞼の位置の検出は、上下瞼像や眼球の像の輝度や色相の特徴に基づき任意の画像処理方法によって達成されてよい。そして、得られた瞼開度の時系列データは、瞼開度の最大値と最小値との間に於いて瞼の開状態と閉状態との境界に設定される閾値を上回っているか否かを判定することにより、開状態と閉状態とに二値化され、図2(B)下段に描かれている如き瞼が開いているか閉じているかを表す指標値である瞼開閉状態指標値の時系列データが調製される。
上記の瞼開度は、任意の態様で計測されてよく、そのような場合も本発明の範囲に属することは理解されるべきである。別の態様として、例えば、既に触れた如く、瞼開度は、被検者の眼電信号(瞬きにともなう眼球の回転による電圧変化)の高低によっても計測可能である。その場合、図2(C)に模式的に描かれている如く、例えば、被検者の目の上下などの複数の領域のそれぞれに電極が貼付され、その電極間の電圧が信号(眼電信号)として計測され、信号処理装置へ送信される。また、電極は、メガネ、ゴーグル、ヘルメット等の頭部装着物に取り付けたり、タトゥーなどの肌に張り付ける装飾品に内蔵されてもよい。眼電信号の場合も、瞼の運動に対して、図2(B)と同様の時系列データが得られるので、そのデータを二値化することにより、瞼開閉状態指標値の時系列データが調製される。
なお、後に説明される如く、本発明の装置の処理では、或る期間に亘る瞼開閉状態指標値の統計的な量の演算処理を実行するので、瞼開閉状態指標値の時系列データは、信号処理装置4内のデータメモリに記憶される。
瞼開閉特徴量の算出(ステップ2、3)
瞼開閉状態指標値の時系列データが得られると、その瞼開閉状態指標値の時系列データから、被験者の眠気の有無に相関のある量が抽出される。かかる被験者の眠気の有無に相関のある量を、本発明に於いては、「瞼開閉特徴量」と称する。本実施形態に於いて、「瞼開閉特徴量」は、瞼開閉状態指標値の時系列データに於いて瞼開閉状態の遷移時間間隔を、所定の期間に亘って逐次的に計測し、その計測された遷移時間間隔の統計的演算処理によって算出される。以下、「瞼開閉特徴量」の算出処理過程を説明する。
(i)瞼開閉状態の遷移時間間隔の計測(ステップ2)
瞼開閉特徴量の算出処理過程に於いては、まず、データメモリに記憶された瞼開閉状態指標値の時系列データ上に於いて、瞼の開状態と閉状態との間の遷移の時間間隔が計測される。瞼の開状態と閉状態との間の遷移の時間間隔(以下、「瞼開閉状態遷移時間間隔」と称する。)とは、「発明の概要」の欄にて述べた如く、瞼が開状態から閉状態へ又は閉状態から開状態への遷移が生じた時点の間隔であり、具体的には、(1)開眼時間(瞼が継続して開いている時間の長さ)、即ち、瞼の閉状態から開状態への遷移から瞼の開状態から閉状態への遷移までの時間間隔(図3(A))、(2)瞬き開始時間隔(瞼が閉じたときから、一旦、瞼が開いた後、再び閉じるまでの時間長さ)、即ち、瞼の開状態から閉状態への遷移からの次の開状態から閉状態への遷移までの時間間隔(図3(B))、(3)瞬き終了時間隔(瞼が開いたときから、一旦、瞼が開じた後、再び開くまでの時間長さ)即ち、瞼の閉状態から開状態への遷移から次の閉状態から開状態への遷移までの時間間隔(図3(C))、或いは、(4)閉眼時間(瞼が継続して閉じている時間の長さ)、即ち、瞼の開状態から閉状態への遷移から瞼の閉状態から開状態への遷移までの時間間隔(図示せず)のいずれであってもよい。また、瞼開閉状態遷移時間間隔は、(1)〜(4)のいずれの場合も、図3(A)〜図3(C)に描かれている如く、現在(Tnow)より、過去に遡って計測されて、遷移の時間間隔の値の時系列データが調製される。例えば、図3(A)の開眼時間の場合、開眼時間tonが、現在時刻Tnowから遡って、to,to,to,…ton−1,toの如く計測され、時系列データが構成される。図4(A)、4(B)及び4(C)は、それぞれ、目と瞼の画像から得られる瞼の開度の時間変化から得られた瞼開閉状態指標値に於いて計測された開眼時間、眼電信号から得られる瞼の開度の時間変化から得られた瞼開閉状態指標値に於いて計測された開眼時間、及び、眼電信号から得られる瞼の開度の時間変化から得られた瞼開閉状態指標値に於いて計測された瞬き開始時間隔の時系列データの例を示している。
(ii)瞼開閉特徴量の算出(ステップ3)
上記の如く、瞼開閉状態遷移時間間隔が計測されると、現在時点又は判定時点から時間軸に於いて遡って任意の個数のデータを用いて、瞼開閉特徴量として、瞼開閉状態遷移時間間隔の統計量が算出される。統計量としては、標準偏差値、分散、平均値、中央値などであってよい。例えば、具体的には、瞼開閉状態遷移時間間隔として開眼時間が選択され、瞼開閉特徴量として開眼時間の標準偏差値が選択される場合には、現在時点から遡って、n個の開眼時間データ
{to,to,to, ton−1,to} …(1)
がデータメモリから抽出され、標準偏差値SD(t)が、下記の式
Figure 2016146978
により算出される。ここに於いて、nは、データ抽出数であり、iは、データ番号であり、toiは、i番目の開眼時間データであり、toaは、抽出されたn個のデータ値の平均値である。そして、標準偏差値SD(t)(瞼開閉特徴量)は、図1(B)のサイクルが繰り返される間に、図5(A)に示されている如く、逐次的に算出される。なお、同図を参照して、処理の開始後の或る期間(データ蓄積期間)に於いては、統計的に有意な瞼開閉特徴量を算出するために必要なデータ数が存在していないので、瞼開閉特徴量は、算出されない。瞼開閉特徴量として、瞬き開始時間隔、瞬き終了時間隔又は閉眼時間の分散、平均値又は中央値が選択される場合も同様に現在時点又は判定時点から時間軸に於いて遡って任意の個数のデータを用いて、時系列の瞼開閉特徴量が算出されることは理解されるであろう。
閾値の設定(ステップ4、5)
本発明に於いては、既に触れた如く、上記の瞼開閉状態遷移時間間隔の標準偏差値等の瞼開閉特徴量の値が、被検者が眠気を感じていないときの値域から逸脱したときに、被検者が眠気を感じているとの判定が為される。そこで、被検者が眠気を感じていないときの瞼開閉特徴量の値域を画定するための閾値が設定される。この点に関し、既に述べた如く、従前では、被検者が眠気を感じたときには、瞼開閉特徴量は、被検者が眠気を感じていないときに比して、専ら、低減すると想定していたが、被検者によっては、眠気を感じたときに瞼開閉特徴量が増大する場合がある。そこで、本発明の装置に於いては、被検者が眠気を感じていないときの瞼開閉特徴量の値域の境界である閾値は、下限値(第一の閾値)と上限値(第二の閾値)との二つが設定される。また、被検者が眠気を感じていないときの瞼開閉特徴量の値域には、個人差や個人内差があるので、かかる値域を画定する閾値は、できるだけ、眠気の判定時に近い時期で、被検者が眠気を感じていないときの瞼開閉特徴量に基づいて設定されることが好ましい。そこで、本実施形態に於いては、図5(B)に模式的に描かれている如く、本発明の装置の作動直後から所定の期間の瞼開閉特徴量を用いて設定されてよい。例えば、本発明の装置が被検者として車両の運転者の眠気を判定するために用いられる場合、走行直後から所定の期間が、閾値設定用のデータを蓄積するための期間とされてよい。(眠気の判定は、図示の如く、閾値設定用データ期間の経過後に閾値が設定された状態になってから、実施される。)
閾値の設定の具体的な処理としては、一つの態様として、閾値設定用のデータを蓄積するための期間に於けるM個の瞼開閉特徴量のデータを用いて、下記の式にて、閾値Hi(上限値)と閾値Lo(下限値)とが算出されてよい。
閾値Hi=Thh×Mav …(3a)
閾値Lo=Thl×Mav …(3b)
ここで、Thhは、1より大きい正係数であり、Thlは、1より小さい正係数である。Mavは、M個の瞼開閉特徴量の平均値である。M、Thh、Thlは、実験的に決定されてよい。上記の式(3a)、(3b)によれば、判定時に比較的近い時期に於ける同一被検者の閾値設定用データ期間のM個の瞼開閉特徴量の平均値によって、閾値が設定されることとなるので、瞼開閉特徴量の個人差や個人内差の影響をより小さく抑えられることが期待される。
装置の処理サイクルに於いては、瞼開閉特徴量が算出された後(ステップ3)、閾値が設定されていないときには(ステップ4)、閾値の設定処理(ステップ5)が実行される。かかる処理に於いては、M個の瞼開閉特徴量が蓄積されるまでは、サイクルを繰り返し、瞼開閉特徴量の個数がM個に到達した時点で上記の式により上下の閾値が算出され、設定される。
眠気の有無の判定(ステップ6)
かくして、閾値が設定されると、瞼開閉特徴量が上下の閾値にて画定された範囲内にあるか否かの判定が実行され、瞼開閉特徴量が上下の閾値の間の範囲から逸脱した場合には、被検者は眠気を感じていると判定される。図6(A)は、図4(A)の瞼画像から得られた開眼時間の時系列データから算出された開眼時間の標準偏差の時系列データに於いて眠気の判定を実施した例であり、図示の例では、2500秒付近に於いて、標準偏差が閾値Hiを超えたため、被検者が眠気を感じていると判定された(図示の例では、閾値は、M=100、Thh=2.0、Thl=0.5と設定して算出されている。)。なお、図示の例の如く、標準偏差は、閾値Hiに対して、値が増減する場合があるが、図6(A)の下段にて示されている如く、一度でも、瞼開閉特徴量が上下の閾値にて画定された範囲から逸脱したときには、それ以降、眠気ありとの判定が為されてよい。
図6(A)に例示されている如き、眠気の判定は、図6(B)に例示されている如く、眼電信号から得られた開眼時間の時系列データから算出された開眼時間の標準偏差を用いても同様に実現可能である。また、図7(A)、7(B)、7(C)は、瞼開閉特徴量として、開眼時間の平均値、中央値、分散を、それぞれ、採用した例であり、これらの場合も、同様に眠気の判定が実行可能であった。
かくして、上記の如く、被検者の眠気が検知されると、既に述べた如く、スピーカや振動器を用いて、そのことが、被検者に伝えられるようになっていてよい。
以上の如く、上記の本発明の装置に於いては、被検者の眠気を感じているか否かの指標値である瞼開閉特徴量が上下の閾値にて画定される値域から逸脱するときに眠気を感じているとの判定が為される。これにより、眠気を感じると、瞼開閉特徴量が通常時よりも低減する被検者の場合だけでなく、眠気を感じると、瞼開閉特徴量が通常時よりも増大する被検者の場合にも、眠気の検知が可能となる。
以上の説明は、本発明の実施の形態に関連してなされているが、当業者にとつて多くの修正及び変更が容易に可能であり、本発明は、上記に例示された実施形態のみに限定されるものではなく、本発明の概念から逸脱することなく種々の装置に適用されることは明らかであろう。

Claims (10)

  1. 眠気検知装置であって、
    被検者の瞼の開閉状態を検出する手段と、
    前記瞼の開状態と閉状態との間の遷移の時間間隔を逐次的に検出する手段と、
    前記瞼の開状態と閉状態との間の遷移の時間間隔の時系列データから瞼開閉特徴量を算出する手段と、
    前記瞼開閉特徴量が第一の閾値を下回ったとき、及び、前記第一の閾値よりも高い第二の閾値を上回ったときのいずれに於いても、前記被検者が眠気を感じていると判定する眠気判定手段と、
    を含む装置。
  2. 請求項1の装置であって、前記瞼の開状態と閉状態との間の遷移の時間間隔が、前記瞼の閉状態から開状態への遷移から前記瞼の開状態から閉状態への遷移までの時間間隔である装置。
  3. 請求項1の装置であって、前記瞼の開状態と閉状態との間の遷移の時間間隔が、前記瞼の開状態から閉状態への遷移からの次の開状態から閉状態への遷移までの時間間隔である装置。
  4. 請求項1の装置であって、前記瞼の開状態と閉状態との間の遷移の時間間隔が、前記瞼の閉状態から開状態への遷移から次の閉状態から開状態への遷移までの時間間隔である装置。
  5. 請求項1乃至4のいずれかの装置であって、前記瞼開閉特徴量が前記瞼の開状態と閉状態との間の遷移の時間間隔の統計的な変化を表す指標値である装置。
  6. 請求項5の装置であって、前記瞼開閉特徴量が前記瞼の開状態と閉状態との間の遷移の時間間隔の標準偏差である装置。
  7. 請求項1の装置であって、前記第一及び第二の閾値が前記眠気の判定時よりも前の所定期間に於ける前記瞼開閉特徴量に基づいて決定される装置。
  8. 請求項7の装置であって、前記第一及び第二の閾値が前記眠気の判定時よりも前の所定期間に於ける前記瞼開閉特徴量の平均値に、それぞれ、1よりも所定の小さい正数及び1より所定の大きい正数を乗じた値である装置。
  9. 請求項1の装置であって、前記瞼の開閉状態を検出する手段が被検者の瞼のカメラ画像に基づいて前記瞼の開閉状態を判定する装置。
  10. 請求項1の装置であって、前記瞼の開閉状態を検出する手段が被検者の眼電信号に基づいて前記瞼の開閉状態を判定する装置。
JP2015025886A 2015-02-12 2015-02-12 眠気検知装置 Active JP6344254B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015025886A JP6344254B2 (ja) 2015-02-12 2015-02-12 眠気検知装置
US15/015,538 US10398356B2 (en) 2015-02-12 2016-02-04 Sleepiness detecting device
EP16155251.8A EP3056375B1 (en) 2015-02-12 2016-02-11 Sleepiness detecting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015025886A JP6344254B2 (ja) 2015-02-12 2015-02-12 眠気検知装置

Publications (2)

Publication Number Publication Date
JP2016146978A true JP2016146978A (ja) 2016-08-18
JP6344254B2 JP6344254B2 (ja) 2018-06-20

Family

ID=55646229

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015025886A Active JP6344254B2 (ja) 2015-02-12 2015-02-12 眠気検知装置

Country Status (3)

Country Link
US (1) US10398356B2 (ja)
EP (1) EP3056375B1 (ja)
JP (1) JP6344254B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018061724A (ja) * 2016-10-14 2018-04-19 トヨタ自動車株式会社 瞬き検出装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6387892B2 (ja) * 2015-04-18 2018-09-12 トヨタ自動車株式会社 眠気検知装置
CN108354611B (zh) * 2017-12-19 2020-11-13 东软集团股份有限公司 眨眼动作检测方法、装置、可读存储介质及电子设备
EP4105827B1 (en) * 2021-06-14 2024-03-13 Tata Consultancy Services Limited Method and system for personalized eye blink detection

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04212331A (ja) * 1990-06-21 1992-08-03 Mitsubishi Denki Eng Kk 眠り検出装置
JPH07241283A (ja) * 1994-03-04 1995-09-19 Omron Corp 覚醒度判定方法及び覚醒度判定装置
JP2009261516A (ja) * 2008-04-23 2009-11-12 Toyota Motor Corp 覚醒度推定装置
JP2010128649A (ja) * 2008-11-26 2010-06-10 Nissan Motor Co Ltd 覚醒状態判断装置及び覚醒状態判断方法
WO2010092860A1 (ja) * 2009-02-13 2010-08-19 トヨタ自動車株式会社 生体状態推定装置及び車両制御装置
JP2013202273A (ja) * 2012-03-29 2013-10-07 Fuji Heavy Ind Ltd 眠気レベルの推定装置、眠気レベルの推定方法および眠気レベルの推定処理プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5292671B2 (ja) 2006-03-06 2013-09-18 トヨタ自動車株式会社 覚醒度推定装置及びシステム並びに方法
JP4400624B2 (ja) * 2007-01-24 2010-01-20 トヨタ自動車株式会社 居眠り防止装置及び方法
EP2237237B1 (en) * 2009-03-30 2013-03-20 Tobii Technology AB Eye closure detection using structured illumination
JP5333284B2 (ja) 2010-02-19 2013-11-06 トヨタ自動車株式会社 生体状態判定装置
AU2011326327B2 (en) * 2010-11-08 2014-01-16 Sdip Holdings Pty Ltd Fitness for work test

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04212331A (ja) * 1990-06-21 1992-08-03 Mitsubishi Denki Eng Kk 眠り検出装置
JPH07241283A (ja) * 1994-03-04 1995-09-19 Omron Corp 覚醒度判定方法及び覚醒度判定装置
JP2009261516A (ja) * 2008-04-23 2009-11-12 Toyota Motor Corp 覚醒度推定装置
JP2010128649A (ja) * 2008-11-26 2010-06-10 Nissan Motor Co Ltd 覚醒状態判断装置及び覚醒状態判断方法
WO2010092860A1 (ja) * 2009-02-13 2010-08-19 トヨタ自動車株式会社 生体状態推定装置及び車両制御装置
JP2013202273A (ja) * 2012-03-29 2013-10-07 Fuji Heavy Ind Ltd 眠気レベルの推定装置、眠気レベルの推定方法および眠気レベルの推定処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018061724A (ja) * 2016-10-14 2018-04-19 トヨタ自動車株式会社 瞬き検出装置

Also Published As

Publication number Publication date
US20160235343A1 (en) 2016-08-18
JP6344254B2 (ja) 2018-06-20
US10398356B2 (en) 2019-09-03
EP3056375A1 (en) 2016-08-17
EP3056375B1 (en) 2018-04-04

Similar Documents

Publication Publication Date Title
JP6387892B2 (ja) 眠気検知装置
JP5679066B2 (ja) 居眠り検出方法と装置
US20220095975A1 (en) Detection of cognitive state of a driver
JP5326521B2 (ja) 覚醒状態判断装置及び覚醒状態判断方法
Solaz et al. Drowsiness detection based on the analysis of breathing rate obtained from real-time image recognition
RU2540901C2 (ru) Способ и устройство для выявления случаев микросна
JP6344254B2 (ja) 眠気検知装置
CN109222950B (zh) 数据处理方法及装置
JP4811255B2 (ja) 状態推定装置
JP2007229218A (ja) 覚醒度推定装置及びシステム並びに方法
JP2008212298A (ja) 眠気判定装置及びプログラム
WO2015152536A1 (ko) 동영상 기반 생리 신호를 이용한 졸음 검출 방법 및 장치
KR101839089B1 (ko) 운전자의 졸음 인식 방법 및 졸음 인식 장치
JP2007006970A (ja) 生理・心理状態判定装置、生理・心理状態判定方法、リファレンスデータ生成装置、及びリファレンスデータ生成方法。
US20220036101A1 (en) Methods, systems and computer program products for driver monitoring
Riztiane et al. Driver drowsiness detection using visual information on android device
JP6604266B2 (ja) 眠気検知装置
JPH08225028A (ja) 運転者の覚醒度検出装置
Yin et al. A driver fatigue detection method based on multi-sensor signals
Korda et al. Automatic identification of oculomotor behavior using pattern recognition techniques
CN109657550A (zh) 一种疲劳度检测方法及装置
Momin et al. Current status and future research directions in monitoring vigilance of individual or mass audience in monotonous working environment
US20220370009A1 (en) Stress estimation device, stress estimation method, and recording media
JP2018134148A (ja) 生体状態推定装置
JP2018183248A (ja) 眠気判定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170328

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180424

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180507

R151 Written notification of patent or utility model registration

Ref document number: 6344254

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151