JP2021053240A - Drowsiness or awakening level evaluation device and evaluation program - Google Patents
Drowsiness or awakening level evaluation device and evaluation program Download PDFInfo
- Publication number
- JP2021053240A JP2021053240A JP2019180661A JP2019180661A JP2021053240A JP 2021053240 A JP2021053240 A JP 2021053240A JP 2019180661 A JP2019180661 A JP 2019180661A JP 2019180661 A JP2019180661 A JP 2019180661A JP 2021053240 A JP2021053240 A JP 2021053240A
- Authority
- JP
- Japan
- Prior art keywords
- angular velocity
- drowsiness
- rotation angular
- vibration
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
Abstract
Description
本発明は、周期的な振動源に由来する頭部運動と、前記頭部運動により誘発される眼球運動である前庭動眼反射を利用して、車両の運転者、設備の操作者、事務作業者など座位における眠気又は覚醒レベルを評価する眠気又は覚醒レベル評価装置及び評価プログラムに関する。 The present invention utilizes a head movement derived from a periodic vibration source and a vestibulo-ocular reflex, which is an eye movement induced by the head movement, to be used by a vehicle driver, an equipment operator, and an office worker. It relates to a drowsiness or arousal level evaluation device and an evaluation program for evaluating a drowsiness or arousal level in a sitting position.
従来、眠気レベル又は覚醒レベルに関する研究として、脳波、心拍変動、呼吸変動、顔の熱画像、眼の開度、瞬き、瞳孔径、サッカード、輻輳角、前庭動眼反射（Vestibulo-Ocular Reflex：ＶＯＲ）等を用いた評価が試みられている。例えば、ドライビングシミュレータを用いた瞳孔径の研究において、運転開始から約４分で単純縮瞳が観察され、その後、低周波揺らぎが観察されている(非特許文献１を参照)。また、運転開始から15分程度の計測事例が提示されている(非特許文献２、３等を参照)。更に、例えば、車両の運転者を対象として、眼の瞳孔径や前庭動眼反射を観察することが眠気レベル又は覚醒レベルの評価に有効であると報告されている（特許文献１、２を参照）。特許文献１には、顔画像を含む撮像手段と瞳孔径の初期状態及び瞳孔径特性値を算出する手段を有し、瞳孔径の縮瞳に応じて眠気予兆を判定する眠気状態判定装置が開示されている。また、特許文献２には、頭部運動と眼球運動を検出する手段を有し、頭部運動データに基づき算出される理想眼球運動角速度と眼球回転角速度からＶＯＲを検出し、ＶＯＲに基づき眠気予兆を判定する眠気予兆検出装置が開示されている。
Traditionally, studies on drowsiness or arousal levels include brain waves, heart rate variability, respiratory variability, thermal imaging of the face, eye opening, blinking, pupil diameter, saccade, convergence angle, and vestibulo-Ocular Reflex (VOR). ) Etc. are being attempted. For example, in a study of pupil diameter using a driving simulator, simple miosis was observed about 4 minutes after the start of operation, and then low frequency fluctuation was observed (see Non-Patent Document 1). In addition, a measurement example of about 15 minutes from the start of operation is presented (see
眠気レベル又は覚醒レベルの評価は、居眠り運転の防止や、自動運転レベル３でシステムから操作要請があった時の対応等において重要な課題である。また、車両の運転者はもとより、各種設備の操作者、事務作業者など、安全性や作業効率向上の観点からも、被験者の眠気レベル又は覚醒レベルの評価が重要な課題となっている。
図１に、眠気（drowsiness）及び覚醒（arousal）について知られている指標を例示する。覚醒レベルは、外界の刺激にも反応しにくい深睡眠に至るまでの意識の状態(states of consciousness)と定義できる。眠気レベルは、意識明瞭から起きていられない状態まで分類がされており、主観的な眠気尺度は、聴取時に覚醒させるため、顔表情を用いた研究が多く見受けられる。同図において顔表情を用いたDrowsiness levelを示している（参照：北島洋樹ら「自動車運転時の眠気の予測手法についての研究（第１報）、機械学論Ｃ編、Vol.63、No.613、p.3059-3066、1997）。一方、眠気レベルは、同図に示されたConsciousness level（参照：高橋千昌ら「新しい指標：Emergency Coma Scaleの開発の経緯と有用性の検討について」、日本交通科学学会誌、Vol.16、No.1、p.3-8、2016）における、Ｉ：覚醒している（Awake）、ＩＩ：覚醒できる(Arousable)、ＩＩＩ．覚醒しない（Unarousable）、のうちのＩ、ＩＩと同等と捉えることができる。よって、本発明においては、両者を併記して「眠気又は覚醒レベル」と記述する。
眠気又は覚醒レベルの評価では、前記のとおり、瞳孔径や前庭動眼反射を用いた評価法がある。瞳孔径を計測する評価法は、外乱光や照明など外部環境の影響を強く受ける。また、短時間の計測事例が示されているのみであり、瞳孔径を用いた評価は、単一指標で長時間計測に適応することが困難であると考えられる。一方、前庭動眼反射を用いた評価法は、運転時のロードノイズなど頭部を揺らす外乱(振動源)がないと計測することができないという課題がある。
Evaluation of drowsiness level or arousal level is an important issue in preventing drowsiness driving and responding to an operation request from the system at
FIG. 1 illustrates known indicators of drowsiness and arousal. Arousal level can be defined as the states of consciousness leading up to deep sleep, which is less responsive to external stimuli. Drowsiness levels are categorized from clear consciousness to inability to wake up, and subjective drowsiness scales awaken during listening, so many studies use facial expressions. The figure shows the Drowsiness level using facial expressions (see: Hiroki Kitajima et al., "Study on Prediction Method of Drowsiness when Driving a Car (1st Report), Mechanical Engineering C, Vol.63, No. 613, p.3059-3066, 1997). On the other hand, the drowsiness level is the Consciousness level shown in the figure (see: Chimasa Takahashi et al. "New index: Background of development of Emergency Coma Scale and examination of its usefulness". , Journal of Japan Society of Traffic Science, Vol.16, No.1, p.3-8, 2016), I: Awake, II: Arousable, III. It can be regarded as equivalent to I and II of "Unarousable". Therefore, in the present invention, both are described together as "drowsiness or arousal level".
As described above, there is an evaluation method using pupil diameter and vestibulo-omotor reflex for evaluation of drowsiness or arousal level. The evaluation method for measuring the pupil diameter is strongly influenced by the external environment such as ambient light and lighting. In addition, only short-term measurement cases are shown, and it is considered difficult to adapt the evaluation using the pupil diameter to long-term measurement with a single index. On the other hand, the evaluation method using the vestibulo-omotor reflex has a problem that it cannot be measured without a disturbance (vibration source) that shakes the head such as road noise during driving.
そこで、本発明は、周期的な振動源に由来する頭部運動と、その頭部運動により誘発される眼球運動である前庭動眼反射を計測することにより、車両の運転者、各種設備の操作者、事務作業者など座位における被験者の眠気又は覚醒レベルを検出する汎用性の高い眠気又は覚醒レベル評価装置及び評価プログラムを提供することを目的とする。 Therefore, the present invention measures the head movement derived from the periodic vibration source and the vestibulo-ocular reflex, which is the eye movement induced by the head movement, to measure the driver of the vehicle and the operator of various facilities. , An object of the present invention is to provide a highly versatile drowsiness or arousal level evaluation device and evaluation program for detecting the drowsiness or arousal level of a subject in a sitting position such as an office worker.
上記目的を達成するため、請求項１に記載の発明は、眠気又は覚醒レベル評価装置であって、周期的な振動を生じさせる振動源による頭部運動を検出する頭部運動検出手段と、頭部運動により誘発される眼球運動を検出する眼球運動検出手段と、前記頭部運動検出手段により検出された頭部運動データに基づいて頭部回転角速度を算出する頭部回転角速度算出手段と、前記眼球運動検出手段により検出された眼球運動データに基づいて眼球回転角速度を算出する眼球回転角速度算出手段と、前記振動源の振動周期に基づいて解析区間を算出する解析区間算出手段と、前記解析区間において、前記頭部回転角速度及び前記眼球回転角速度をそれぞれ加算平均して単位時間当たりの平均頭部回転角速度及び平均眼球回転角速度を算出する平均回転角速度算出手段と、前記平均頭部回転角速度と前記平均眼球回転角速度から前庭動眼反射（ＶＯＲ）を検出し、前記前庭動眼反射に基づき眠気又は覚醒レベルを評価する評価手段と、を備えることを要旨とする。
In order to achieve the above object, the invention according to
請求項２に記載の発明は、請求項１に記載の発明において、前記振動源による周期的な振動を検出する振動検出手段を備え、前記解析区間算出手段は、前記振動検出手段により検出された振動に基づいて解析区間を算出することを要旨とする。
請求項３に記載の発明は、請求項２記載の発明において、前記振動源によって生じる振動は生体由来の振動であり、前記振動検出手段は、前記生体由来の振動を機械的特性、電磁気的特性、光学的特性、熱的特性及び音響的特性のうちの少なくとも１つに基づいて検出することにより振動データを取得し、前記解析区間算出手段は、前記振動データから抽出される特徴点を基準として前記解析区間を算出することを要旨とする。
請求項４に記載の発明は、請求項１記載の発明において、前記解析区間算出手段は、前記頭部回転角速度算出手段により得られる頭部回転角速度を振動源により定めた周期に区切り、各周期のデータ間の相互相関関係から振動周期を抽出して解析区間を算出することを要旨とする。
請求項５に記載の発明は、請求項１記載の発明において、制御信号により周期的な振動を与える加振手段を備え、前記解析区間算出手段は、前記制御信号を用いて解析区間を算出することを要旨とする。
The invention according to
The invention according to
The invention according to
The invention according to
請求項６に記載の発明は、請求項１乃至５のいずれかに記載の発明において、前記評価手段は、前記平均頭部回転角速度と前記平均眼球回転角速度との相関係数を算出し、前記相関係数について予め設定された評価基準から眠気又は覚醒レベルを評価することを要旨とする。
請求項７に記載の発明は、請求項１乃至６のいずれかに記載の発明において、前記評価手段は、ＶＯＲ有効サンプル率又はＶＯＲ最小サンプル率を算出し、前記ＶＯＲ有効サンプル率又はＶＯＲ最小サンプル率について予め設定された評価基準から眠気又は覚醒レベルを評価することを要旨とする。
請求項８に記載の発明は、請求項１乃至７のいずれかに記載の発明において、前記評価手段は、下記式（１）で表される回帰モデルの残差（ε）と残差標準偏差とを算出し、前記残差標準偏差の増加率の予め設定された評価基準又は初期値に対する比率から眠気又は覚醒レベルを評価することを要旨とする。
ｅ（ｔ） = Ｇ ｈ（ｔ-τ） + ｄｃ +ε（ｔ） ・・・・式（１）
ｅ（ｔ）：眼球回転角速度、Ｇ：ＶＯＲゲイン、ｈ(ｔ)：頭部回転角速度、τ：頭部運動に対する眼球運動の遅れ時間、ｄｃ：定数項、ε（ｔ）：回帰モデルの残差。
請求項９に記載の発明は、請求項８に記載の発明において、前記評価手段は、前記式（１）で表されるＶＯＲゲイン（Ｇ）を算出し、前記ＶＯＲゲイン（Ｇ）の予め設定された評価基準又は初期値に対する比率から眠気又は覚醒レベルを評価することを要旨とする。
請求項１０に記載の発明は、請求項８又は９に記載の発明において、前記評価手段は、前記式（１）で表される頭部運動に対する眼球運動の遅れ時間（τ）を前記頭部回転角速度と前記眼球回転角速度から算出し、被験者毎に眠気又は覚醒レベルを評価することを要旨とする。
The invention according to
The invention according to
The invention according to
e (t) = G h (t-τ) + dc + ε (t) ・ ・ ・ ・ Equation (1)
e (t): Eye rotation angular velocity, G: VOR gain, h (t): Head rotation angular velocity, τ: Eye movement delay time with respect to head movement, dc: Constant term, ε (t): Regression model remainder difference.
The invention according to
The invention according to
請求項１１に記載の発明は、請求項１乃至１０のいずれかに記載の発明において、前記眼球運動検出手段は瞳孔径を検知し、前記評価手段は、検知された瞳孔径に基づき眠気又は覚醒レベルを評価することを要旨とする。
The invention according to
請求項１２に記載の発明は、眠気又は覚醒レベル評価プログラムであって、周期的な振動を生じさせる振動源による頭部運動を検出する頭部運動検出機能と、頭部運動により誘発される眼球運動を検出する眼球運動検出機能と、前記頭部運動検出機能により検出された頭部運動データに基づいて頭部回転角速度を算出する頭部回転角速度算出機能と、前記眼球運動検出機能により検出された眼球運動データに基づいて眼球回転角速度を算出する眼球回転角速度算出機能と、前記振動源の振動周期に基づいて解析区間を算出する解析区間算出機能と、前記解析区間において、前記頭部回転角速度及び前記眼球回転角速度をそれぞれ加算平均して単位時間当たりの平均頭部回転角速度及び平均眼球回転角速度を算出する平均回転角速度算出機能と、前記平均頭部回転角速度と前記平均眼球回転角速度から前庭動眼反射（ＶＯＲ）を検出し、前記前庭動眼反射に基づき眠気又は覚醒レベルを評価する評価機能と、をコンピュータに実行させることを要旨とする。
The invention according to
請求項１３に記載の発明は、請求項１２に記載の発明において、前記振動源による周期的な振動を検出する振動検出機能を備え、前記解析区間算出機能は、前記振動検出機能により検出された振動に基づいて解析区間を算出することを要旨とする。
請求項１４に記載の発明は、請求項１３に記載の発明において、前記振動源によって生じる振動は生体由来の振動であり、前記振動検出機能は、前記生体由来の振動を機械的特性、電磁気的特性、光学的特性、熱的特性及び音響的特性のうちの少なくとも１つに基づいて検出することにより振動データを取得し、前記解析区間算出機能は、前記振動データから抽出される特徴点を基準として前記解析区間を算出することを要旨とする。
請求項１５に記載の発明は、請求項１２に記載の発明において、前記解析区間算出機能は、前記頭部回転角速度算出機能により得られる頭部回転角速度を振動源により定めた周期に区切り、各周期のデータ間の相互相関関係から振動周期を抽出して解析区間を算出することを要旨とする。
請求項１６に記載の発明は、請求項１２に記載の発明において、制御信号により周期的な振動を与える加振機能を備え、前記解析区間算出機能は、前記制御信号を用いて解析区間を算出することを要旨とする。
The invention according to
The invention according to
The invention according to
The invention according to
請求項１７に記載の発明は、請求項１２乃至１６のいずれかに記載の発明において、前記評価機能は、前記平均頭部回転角速度と前記平均眼球回転角速度との相関係数を算出し、前記相関係数について予め設定された評価基準から眠気又は覚醒レベルを評価することを要旨とする。
請求項１８に記載の発明は、請求項１２乃至１７のいずれかに記載の発明において、前記評価機能は、ＶＯＲ有効サンプル率又はＶＯＲ最小サンプル率を算出し、前記ＶＯＲ有効サンプル率又はＶＯＲ最小サンプル率について予め設定された評価基準から眠気又は覚醒レベルを評価することを要旨とする。
請求項１９に記載の発明は、請求項１２乃至１８のいずれかに記載の発明において、前記評価機能は、下記式（１）で表される回帰モデルの残差（ε）と残差標準偏差とを算出し、前記残差標準偏差の増加率の予め設定された評価基準又は初期値に対する比率から眠気又は覚醒レベルを評価することを要旨とする。
ｅ（ｔ） = Ｇ ｈ（ｔ-τ） + ｄｃ +ε（ｔ） ・・・・式（１）
ｅ（ｔ）：眼球回転角速度、Ｇ：ＶＯＲゲイン、ｈ(ｔ)：頭部回転角速度、τ：頭部運動に対する眼球運動の遅れ時間、ｄｃ：定数項、ε（ｔ）：回帰モデルの残差。
請求項２０に記載の発明は、請求項１９に記載の発明において、前記評価機能は、前記式（１）で表されるＶＯＲゲイン（Ｇ）を算出し、前記ＶＯＲゲイン（Ｇ）の予め設定された評価基準又は初期値に対する比率から眠気又は覚醒レベルを評価することを要旨とする。
請求項２１に記載の発明は、請求項１９又は２０に記載の発明において、前記評価機能は、前記式（１）で表される頭部運動に対する眼球運動の遅れ時間（τ）を前記頭部回転角速度と前記眼球回転角速度から算出し、被験者毎に眠気又は覚醒レベルを評価することを要旨とする。
The invention according to
The invention according to
The invention according to
e (t) = G h (t-τ) + dc + ε (t) ・ ・ ・ ・ Equation (1)
e (t): Eye rotation angular velocity, G: VOR gain, h (t): Head rotation angular velocity, τ: Eye movement delay time with respect to head movement, dc: Constant term, ε (t): Regression model remainder difference.
The invention according to
The invention according to claim 21 is the invention according to claim 19 or 20, wherein the evaluation function sets a delay time (τ) of eye movement with respect to the head movement represented by the formula (1) to the head. The gist is to evaluate the drowsiness or arousal level for each subject by calculating from the rotation angular velocity and the eyeball rotation angular velocity.
請求項２２に記載の発明は、請求項１２乃至２１のいずれかに記載の発明において、前記眼球運動検出機能は瞳孔径を検知し、前記評価機能は、検知された瞳孔径に基づき眠気又は覚醒レベルを評価することを要旨とする。
The invention according to claim 22 is the invention according to any one of
本発明の眠気又は覚醒レベル評価装置によれば、頭部運動検出手段により頭部運動を検出し、眼球運動検出手段により頭部運動により誘発される眼球運動を検出し、頭部回転角速度算出手段及び眼球回転角速度算出手段によりそれぞれの回転角速度を算出し、解析区間算出手段により前記振動源の周期に基づいた解析区間を算出し、平均回転角速度算出手段により前記解析区間に基づき頭部回転角速度及び眼球回転角速度をそれぞれ加算平均して単位時間当たりの平均頭部回転角速度及び平均眼球回転角速度を算出し、評価手段により平均頭部回転角速度と平均眼球回転角速度から前庭動眼反射（ＶＯＲ）を検出し、この前庭動眼反射に基づいて車両の運転者、設備の操作者、事務作業者などの眠気又は覚醒レベルを評価することができる。周期的な振動を生じさせる振動源による前庭動眼反射は、周囲の明るさなど外部環境の影響を受けにくく、運転時のロードノイズなど頭部を揺らす外乱等(振動源)がなくても評価が可能なので、車両の運転に限らず日常生活において広く適用可能である。
車両の運転者の居眠り運転防止や自動運転レベル３での操作要請対応、設備の操作者、事務作業者等の安全性確保や作業効率向上のため、眠気又は覚醒レベルの評価は重要である。本発明者は、ヒトの眠気又は覚醒レベルを評価する指標として、周期的な振動源による頭部運動に対して逆位相で起こる反射的な眼球運動であるＶＯＲに着目し、実験によってその有用性を確認した。
According to the drowsiness or arousal level evaluation device of the present invention, the head movement is detected by the head movement detecting means, the eye movement induced by the head movement is detected by the eye movement detecting means, and the head rotation angular velocity calculation means is used. And the eyeball rotation angular velocity calculation means calculates each rotation angular velocity, the analysis section calculation means calculates the analysis section based on the period of the vibration source, and the average rotation angular velocity calculation means calculates the head rotation angular velocity and the head rotation angular velocity based on the analysis section. The average head rotation angular velocity and the average eyeball rotation angular velocity per unit time are calculated by adding and averaging the eyeball rotation angular velocities, and the vestibulo-ocular reflex (VOR) is detected from the average head rotation angular velocity and the average eyeball rotation angular velocity by the evaluation means. Based on this vestibulo-ocular reflex, the drowsiness or arousal level of vehicle drivers, equipment operators, clerical workers, etc. can be evaluated. The vestibulo-ocular reflex caused by a vibration source that causes periodic vibration is not easily affected by the external environment such as ambient brightness, and is evaluated even if there is no disturbance (vibration source) that shakes the head such as road noise during driving. Since it is possible, it can be widely applied not only in driving a vehicle but also in daily life.
Evaluation of drowsiness or arousal level is important for preventing the driver of the vehicle from falling asleep, responding to the operation request at the
前記振動源による周期的な振動を検出する振動検出手段を備え、前記解析区間算出手段は、前記振動検出手段により検出された振動に基づいて解析区間を算出する場合には、振動源の特性に応じて解析区間を算出することができ、頭部及び眼球回転角速度の加算平均を精度よく算出することができる。
前記振動源によって生じる振動は生体由来の振動であり、前記振動検出手段は、前記生体由来の振動を機械的特性、電磁気的特性、光学的特性、熱的特性及び音響的特性のうちの少なくとも１つに基づいて検出することにより振動データを取得し、前記解析区間算出手段は、前記振動データから抽出される特徴点を基準として前記解析区間を算出する場合には、モータやスピーカなど機械的な振動源がない場合でも、心拍動や呼吸など生体由来の微弱な振動を圧力センサ、加速度センサ、ジャイロなどで検出したり、ハンドルやシート座面に埋設された電極から心電図、光学式センサから脈波を導出したり、顔画像から脈動を検出したりして、いずれか一つ以上の振動データから抽出される特徴点に基づいて生成される同期信号を用いることで、頭部及び眼球回転角速度の加算平均の精度を向上させることができる。
When a vibration detecting means for detecting periodic vibration by the vibration source is provided, and the analysis section calculating means calculates an analysis section based on the vibration detected by the vibration detecting means, the characteristic of the vibration source is determined. The analysis section can be calculated accordingly, and the added average of the head and eyeball rotation angular velocities can be calculated accurately.
The vibration generated by the vibration source is a vibration derived from a living body, and the vibration detecting means detects the vibration derived from the living body at least one of mechanical characteristics, electromagnetic characteristics, optical characteristics, thermal characteristics and acoustic characteristics. Vibration data is acquired by detecting based on the above, and when the analysis section is calculated based on the feature points extracted from the vibration data, the analysis section calculation means is mechanical such as a motor or a speaker. Even if there is no vibration source, weak vibrations derived from the living body such as heartbeat and breathing can be detected with a pressure sensor, acceleration sensor, gyro, etc., and an electrocardiogram from an electrode embedded in the handle or seat surface, and a pulse from an optical sensor. By deriving waves or detecting pulsations from facial images and using synchronization signals generated based on feature points extracted from any one or more vibration data, head and eyeball rotation angle velocities It is possible to improve the accuracy of the addition averaging of.
前記解析区間算出手段は、前記頭部回転角速度算出手段より得られる頭部回転角速度を振動源により定めた周期に区切り、各周期のデータ間の相互相関関係から振動周期を抽出して解析区間を算出する場合には、振動検出手段や周期的な加振手段がない場合においても、頭部及び眼球回転角速度の加算平均を算出する上で重要な解析区間を算出可能にすることができる。 The analysis section calculation means divides the head rotation angular velocity obtained from the head rotation angular velocity calculation means into cycles determined by a vibration source, extracts the vibration cycle from the mutual correlation between the data of each cycle, and sets the analysis section. In the case of calculation, even when there is no vibration detecting means or periodic vibration means, it is possible to calculate an important analysis section in calculating the added average of the head and eye rotation angular velocities.
制御信号により周期的な振動を与える加振手段を備え、前記解析区間算出手段は、前記制御信号を用いて解析区間を算出する場合には、振動検出手段を備えなくても、加振手段として心拍動程度の微弱な振動をシートアジャスタ等のモータ、スピーカ、加振機などを被験者に触れるように埋設し、加振手段に対する制御信号を用いることで容易に解析区間を定め、頭部及び眼球回転角速度の加算平均の精度を向上させることができる。 A vibration means for giving periodic vibration by a control signal is provided, and the analysis section calculation means can be used as a vibration means when calculating an analysis section using the control signal, even if the vibration detection means is not provided. A motor such as a seat adjuster, a speaker, a vibrating machine, etc. are embedded so as to touch the subject, and the analysis section is easily determined by using the control signal for the vibrating means, and the head and eyeballs are easily defined. The accuracy of the addition average of the rotational angular velocity can be improved.
前記評価手段は、前記平均頭部回転角速度と前記平均眼球回転角速度との相関係数を算出し、前記相関係数について予め設定された評価基準から眠気又は覚醒レベルを評価する場合には、前記相関係数を指標として高い精度で眠気又は覚醒レベルを評価することができる。
前記評価手段は、ＶＯＲ有効サンプル率又はＶＯＲ最小サンプル率を算出し、前記ＶＯＲ有効サンプル率又はＶＯＲ最小サンプル率について予め設定された評価基準から眠気又は覚醒レベルを評価する場合には、解析区間においてＶＯＲ抽出に用いたサンプル数の割合を基に高い評価精度を得ることができる。
The evaluation means calculates the correlation coefficient between the average head rotation angular velocity and the average eyeball rotation angular velocity, and when evaluating the drowsiness or arousal level from the evaluation criteria set in advance for the correlation coefficient, the above-mentioned The drowsiness or arousal level can be evaluated with high accuracy using the correlation coefficient as an index.
When the evaluation means calculates the VOR effective sample rate or the VOR minimum sample rate and evaluates the drowsiness or arousal level from the evaluation criteria set in advance for the VOR effective sample rate or the VOR minimum sample rate, in the analysis section. High evaluation accuracy can be obtained based on the ratio of the number of samples used for VOR extraction.
前記評価手段は、残差標準偏差を算出し、残差標準偏差の増加率の評価基準又は初期値に対する比率から眠気又は覚醒レベルを評価する場合には、残差標準偏差は眠気を自覚する前から増大するため、眠気又は覚醒レベルの評価指標として好適に用いることができる。特に、後述のＶＯＲゲインと併用することにより、眠気又は覚醒レベルの評価精度を向上させることができる。
前記評価手段は、ＶＯＲゲインを算出し、ＶＯＲゲインの評価基準又は初期値に対する比率から眠気又は覚醒レベルを評価する場合には、ＶＯＲゲインは眠気を自覚する前から減少するため、眠気又は覚醒レベルの評価指標として好適に用いることができる。
When the evaluation means calculates the residual standard deviation and evaluates the drowsiness or arousal level from the evaluation standard of the increase rate of the residual standard deviation or the ratio to the initial value, the residual standard deviation is before the awareness of drowsiness. Therefore, it can be suitably used as an evaluation index of drowsiness or arousal level. In particular, when used in combination with the VOR gain described later, the evaluation accuracy of drowsiness or arousal level can be improved.
When the evaluation means calculates the VOR gain and evaluates the drowsiness or arousal level from the evaluation standard of the VOR gain or the ratio to the initial value, the VOR gain decreases before the awareness of drowsiness, so that the drowsiness or arousal level Can be suitably used as an evaluation index of.
前記評価手段は、頭部運動に対する眼球運動の遅れ時間（τ）を算出し、被験者毎に眠気又は覚醒レベルを評価する場合には、頭部運動に対する眼球運動の遅れ時間τはＶＯＲゲイン及び残差標準偏差を算出する上で重要な変数であるため、被験者毎に異なる眠気又は覚醒レベルの評価精度を向上させることができる。特に、被験者毎に、頭部及び眼球の回転角速度を加算平均する解析区間毎に頭部回転角速度及び眼球回転角速度の相互相関を算出し、両者の最も関連性の高い位相をτとすることは、前記ＶＯＲゲイン又は前記残差標準偏差の増加率と併用することにより、眠気又は覚醒レベルの評価精度をより向上させることができる。 The evaluation means calculates the delay time (τ) of the eye movement with respect to the head movement, and when evaluating the drowsiness or arousal level for each subject, the delay time τ of the eye movement with respect to the head movement is the VOR gain and the remaining. Since it is an important variable in calculating the difference standard deviation, it is possible to improve the evaluation accuracy of the drowsiness or arousal level that differs for each subject. In particular, it is possible to calculate the cross-correlation between the head rotation angular velocity and the eyeball rotation angular velocity for each analysis section in which the rotation angular velocities of the head and the eyeball are added and averaged for each subject, and let τ be the most relevant phase between the two. , The evaluation accuracy of the drowsiness or arousal level can be further improved by using in combination with the increase rate of the VOR gain or the residual standard deviation.
前記眼球運動検出手段は瞳孔径を検知し、前記評価手段は、検知された瞳孔径に基づき眠気又は覚醒レベルを評価する場合には、瞳孔径はＶＯＲゲインや残差標準偏差が変化し始めるより高い覚醒レベルにおいて縮瞳や拡散を呈するため、ＶＯＲゲインや残差標準偏差と併用することによって眠気又は覚醒レベルの評価精度を高めることができる。 When the eye movement detecting means detects the pupil diameter and the evaluation means evaluates the drowsiness or arousal level based on the detected pupil diameter, the pupil diameter starts to change from the VOR gain and the residual standard deviation. Since it exhibits miosis and diffusion at a high arousal level, it is possible to improve the evaluation accuracy of drowsiness or arousal level by using it in combination with VOR gain and residual standard deviation.
本発明の眠気又は覚醒レベル評価プログラムによれば、上記眠気又は覚醒レベル評価装置における各手段に対応する機能をコンピュータ上で実行させることができるため、ＶＯＲに基づいて車両の運転者、設備の操作者、事務作業者等の眠気又は覚醒レベルを評価することができ、上記眠気又は覚醒レベル評価装置の効果と同様の効果を奏することができる。 According to the drowsiness or arousal level evaluation program of the present invention, the functions corresponding to each means in the drowsiness or arousal level evaluation device can be executed on the computer, so that the driver and the equipment of the vehicle can be operated based on the VOR. The drowsiness or arousal level of a person, an office worker, or the like can be evaluated, and the same effect as the effect of the drowsiness or arousal level evaluation device can be obtained.
本発明について、本発明による典型的な実施形態の非限定的な例を挙げ、言及された複数の図面を参照しつつ以下の詳細な記述にて更に説明するが、同様の参照符号は図面のいくつかの図を通して同様の部品を示す。
ここで示される事項は例示的なものおよび本発明の実施形態を例示的に説明するためのものであり、本発明の原理と概念的な特徴とを最も有効に且つ難なく理解できる説明であると思われるものを提供する目的で述べたものである。この点で、本発明の根本的な理解のために必要である程度以上に本発明の構造的な詳細を示すことを意図してはおらず、図面と合わせた説明によって本発明の幾つかの形態が実際にどのように具現化されるかを当業者に明らかにするものである。 The matters shown here are for exemplifying and exemplifying embodiments of the present invention, and are considered to be the most effective and effortless explanations for understanding the principles and conceptual features of the present invention. It is stated for the purpose of providing what seems to be. In this regard, it is not intended to show structural details of the invention beyond a certain degree necessary for a fundamental understanding of the invention, and some embodiments of the invention are provided by description in conjunction with the drawings. It is intended to clarify to those skilled in the art how it is actually realized.
本実施形態に係る眠気又は覚醒レベル評価装置及び評価プログラムについて、図を参照して説明する。図２は、眠気又は覚醒レベル評価装置の構成図である。図３は、眠気又は覚醒レベル評価方法を示すフロー図である。 The drowsiness or arousal level evaluation device and the evaluation program according to the present embodiment will be described with reference to the drawings. FIG. 2 is a block diagram of a drowsiness or arousal level evaluation device. FIG. 3 is a flow chart showing a method for evaluating drowsiness or arousal level.
（１）眠気又は覚醒レベル評価装置
本覚醒レベル評価装置及び評価プログラムにいう「周期的な振動を生じさせる振動源」は、頭部に一定の周期で機械的な振動を生じさせるもの（加振機等）、及び頭部に律動的な振動を生じさせる生体由来のもの（心拍、呼吸等）を含む。
図２に示すように、眠気又は覚醒レベル評価装置１０は、頭部運動を検出する頭部運動検出手段１１と、眼球運動を検出する眼球運動検出手段１２と、頭部運動検出手段１１により検出された頭部運動データに基づいて頭部回転角速度を算出する頭部回転角速度算出手段１３と、眼球運動検出手段１２により検出された眼球運動データに基づいて眼球回転角速度を算出する眼球回転角速度算出手段１４と、周期的な振動源の周期に基づいた解析区間を算出する解析区間算出手段１７と、周期的な振動を生じさせる振動源により生じる信号を同期信号として前記頭部回転角速度及び前記眼球回転角速度をそれぞれ加算平均して単位時間当たりの平均頭部回転角速度及び平均眼球回転角速度を算出する平均回転角速度算出手段１８と、前記平均頭部回転角速度と前記平均眼球回転角速度から前庭動眼反射（ＶＯＲ）を検出し、前記ＶＯＲに基づき眠気又は覚醒レベルを評価する評価手段１９と、を備えている。
(1) Drowsiness or arousal level evaluation device The "vibration source that causes periodic vibration" in this arousal level evaluation device and evaluation program is a device that causes mechanical vibration in the head at regular intervals (vibration). Machines, etc.) and those of biological origin (heartbeat, breathing, etc.) that cause rhythmic vibrations in the head.
As shown in FIG. 2, the drowsiness or arousal
また、眠気又は覚醒レベル評価装置１０は、振動源による周期的な振動を検出する振動検出手段１５、周期的な振動を被験者に与える加振手段１６を備えることができる。前記解析区間算出手段１７は、頭部回転角速度算出手段１３、振動検出手段１５及び加振手段１６のうちの少なくとも１つと接続される。
In addition, the drowsiness or arousal
頭部運動検出手段１１は、被験者の頭部に生じる直線加速度及び回転角速度を検出するためのセンサを備える。センサの種類や数は特に問わず、例えば、直線加速度を検出する３軸加速度センサ、回転角速度を検出するジャイロスコープ、動作解析より頭部運動を検出するＣＣＤカメラ、赤外線カメラ、デプスカメラ等が挙げられる。例えば、眠気又は覚醒レベル評価装置１０を自動車等の車両に搭載し、被験者を運転者とする場合には、運転者の進行方向、上下方向、左右方向に対する直線加速度と、運転者のローリング、ピッチング、ヨーイングの各方向に対する回転角速度とを検出可能に構成する。頭部運動検出手段１１はこれらにより頭部運動をそれぞれ検出し、頭部運動データ（加速度データ及び回転角速度データ）を頭部回転角速度算出手段１３に送信可能に構成される。
The head motion detecting means 11 includes a sensor for detecting the linear acceleration and the rotational angular velocity generated on the head of the subject. The type and number of sensors are not particularly limited, and examples include a 3-axis accelerometer that detects linear acceleration, a gyroscope that detects rotational angular velocity, a CCD camera that detects head movement from motion analysis, an infrared camera, and a depth camera. Be done. For example, when the drowsiness or arousal
眼球運動検出手段１２は、頭部運動により誘発される被験者の眼球運動を検出するためのセンサを備える。センサの種類や数は特に問わず、例えば、眼球を撮影してその画像を得るＣＣＤカメラ、赤外線カメラ等の撮影装置を好適に用いることができる。自動車の場合には、ステアリングコラムやダッシュボード、ルームランプ、サンバイザー、天井、ピラー等、眼球画像を取得しやすい場所にセンサを配置することができる。眼球運動検出手段１２は、これらセンサにより眼球運動を検出し、眼球運動データ（加速度データ及び回転角速度データ）を眼球回転角速度算出手段１４に送信可能に構成される。
更に、眼球運動検出手段１２は、被験者の眼の開度（閉眼、半開、開眼）、瞳孔を検知し、そのデータを評価手段１９に送信するように構成することができる。
The eye movement detecting means 12 includes a sensor for detecting the eye movement of the subject induced by the head movement. The type and number of sensors are not particularly limited, and for example, a photographing device such as a CCD camera or an infrared camera that photographs an eyeball and obtains the image can be preferably used. In the case of an automobile, the sensor can be placed in a place where an eyeball image can be easily acquired, such as a steering column, a dashboard, a room lamp, a sun visor, a ceiling, and a pillar. The eye movement detecting means 12 is configured to detect eye movements by these sensors and transmit eye movement data (acceleration data and rotation angular velocity data) to the eyeball rotation angular
Further, the eye movement detecting means 12 can be configured to detect the opening degree (closed eyes, half-opened eyes, opened eyes) and pupils of the subject's eyes and transmit the data to the evaluation means 19.
頭部回転角速度算出手段１３は、頭部運動検出手段１１と接続されており、頭部運動検出手段１１により検出された頭部運動データに基づいて頭部回転角速度を算出するように構成される。頭部回転角速度は、頭部に生じる直線加速度及び回転角速度から算出することができる。
The head rotation angular
眼球回転角速度算出手段１４は、眼球運動検出手段１２と接続されており、眼球運動検出手段１２により検出された眼球運動データに基づいて眼球回転角速度を算出するように構成される。眼球回転角速度は、眼球の位置データを微分処理することにより算出することができる。
The eye rotation angular
振動検出手段１５は、振動源による周期的な振動を検出するように構成される。特に、振動源によって生じる振動が生体由来の振動である場合には、振動検出手段１５は、生体由来の振動を、その機械的特性、電磁気的特性、光学的特性、熱的特性及び音響的特性のうちの少なくとも１つに基づいて検出し、検出された信号（生体信号）の変化を振動データとして取得するように構成することができる。生体由来の微弱な振動を検出するために、例えば、心拍動、脈動、呼吸振動等による周期的な信号を検出するセンサを備えることができる。振動を物理的（機械的）特性に基づいて検出する場合は、圧力センサ、加速度センサ、ジャイロセンサなどを用いることができる。振動を電磁気的特性に基づいて検出する場合は、例えば、ハンドルやシート座面に埋設された電極により得られる電気信号の変化を心電図として検出することができる。振動を光学的特性に基づいて検出する場合は、例えば、ハンドルなど手の触れる部位に光学式センサを埋設することより脈波を検出することができる。また、顔画像から脈動を検出することができる。その他、生体信号を熱的特性に基づいて計測するための温度センサ若しくは赤外線画像センサ、音響的特性に基づいて計測するための音響センサ等を用いることができる。振動検出手段１５は、これらの１つ以上のセンシングデバイスを用いることで頭部運動を誘発している周期的な振動を検出し、その信号（同期信号）を解析区間算出手段１７へ送信する。
The
加振手段１６は、微弱な振動を被験者に加えるように構成される。加振手段１６には、例えばシートアジャスタのモータ、ハンドル、シート、フロアーなど被験者に触れる部分に埋設した加振機を用いることができる。加振機は、モータ、スピーカなど振動源となるアクチュエータを用いて、頭部運動を誘発する。周期的な加振周期は、安静時心拍数６０〜８０拍／ｍｉｎと同程度又はそれより周期が長ければ、精度良くＶＯＲを検出することができる。加振手段１６は、加振の制御装置から出力される制御信号により周期的な振動を生じるように構成することができる。制御装置は特に限定されず、例えば、マイクロコンピュータ、携帯端末、通信端末を経由したクラウドシステム、自動車用ナビゲーションシステム、シート用ＥＣＵ（Electronic Control Unit）、パーソナルコンピュータ（ＰＣ）等を適宜用いることができる。加振手段１６は、解析区間算出手段１７に対して周期的な上記制御信号を同期信号として送信するように構成することができる。 The vibrating means 16 is configured to apply a weak vibration to the subject. As the vibrating means 16, for example, a vibrating machine embedded in a portion of the seat adjuster that touches the subject, such as a motor, a steering wheel, a seat, or a floor, can be used. The exciter induces head movement by using an actuator such as a motor or a speaker which is a vibration source. If the periodic excitation cycle is about the same as or longer than the resting heart rate of 60 to 80 beats / min, VOR can be detected with high accuracy. The vibration means 16 can be configured to generate periodic vibration by a control signal output from the vibration control device. The control device is not particularly limited, and for example, a microcomputer, a mobile terminal, a cloud system via a communication terminal, an automobile navigation system, a seat ECU (Electronic Control Unit), a personal computer (PC), or the like can be appropriately used. .. The vibrating means 16 can be configured to transmit the periodic control signal as a synchronization signal to the analysis section calculating means 17.
解析区間算出手段１７は、頭部回転角速度算出手段１３、振動検出手段１５、及び加振手段１６のうちの少なくとも１つと接続されており、それらから受信したデータ又は同期信号により、振動源の周期に基づいた解析区間を算出する。頭部回転角速度算出手段１３と接続される場合は、頭部回転角速度算出手段１３より得られる頭部回転角速度を振動源により定めた周期（振動源の種類により、その振動周期に所定の比率を乗じた周期とすることができる。例えば、心拍（６０−７５拍／ｍｉｎ）もしくは呼吸（１２−２０回／ｍｉｎ）の１．２倍程度の周期）に区切り、各周期のデータ間の相互相関関係から振動（例えば、心拍もしくは呼吸）周期を抽出して解析区間を算出する。振動検出手段１５と接続される場合は、振動検出手段１５により検出された周期的な振動の信号又はデータ（振動データ）を用いて解析区間を算出する。振動源によって生じる振動が生体由来の振動である場合、解析区間算出手段１７は、振動データから抽出される特徴点を基準として解析区間を算出することができる。特徴を抽出する方法は特に限定されず、例えば、信号のピーク点等を特徴点とすることができる。そして、その特徴点を基準に生成された同期信号により解析区間を算出することができる。
加振手段１６と接続される場合は、加振手段１６より送信される加振機に対する制御信号を用いて解析区間を算出することができる。いずれの場合も、解析区間は、振動源の振動に同期し、その周期に所定の比率を乗じた期間（例えば、振動周期が１ｓの場合、その１／２の５００ｍｓ）とすることができる。解析区間算出手段１７は、平均回転角速度算出手段１８に対し、振動源の周期から算出した解析区間データを送信する。
The analysis section calculating means 17 is connected to at least one of the head rotation angular
When connected to the vibrating means 16, the analysis section can be calculated using the control signal for the vibrating machine transmitted from the vibrating
平均回転角速度算出手段１８は、頭部回転角速度算出手段１３、眼球回転角速度算出手段１４、及び解析区間算出手段１７と接続されており、解析区間算出手段１７より送信される解析区間データに基づき、解析区間における頭部回転角速度及び眼球回転角速度をそれぞれ加算平均して、振動周期に基づいて適宜定めた時間当たり（例えば、１ｍｉｎ毎）の平均頭部回転角速度及び平均眼球回転角速度を算出する。 The average rotation angular velocity calculation means 18 is connected to the head rotation angular velocity calculation means 13, the eyeball rotation angular velocity calculation means 14, and the analysis section calculation means 17, and is based on the analysis section data transmitted from the analysis section calculation means 17. The head rotation angular velocity and the eyeball rotation angular velocity in the analysis section are added and averaged to calculate the average head rotation angular velocity and the average eyeball rotation angular velocity per time (for example, every 1 min) appropriately determined based on the vibration cycle.
評価手段１９は、平均回転角速度算出手段１８と接続されており、解析区間における頭部及び眼球回転角速度の加算平均からＶＯＲに関するパラメータ又は評価指標（例えば、後述するＶＯＲゲイン（Ｇ）、残差標準偏差（ＲＭＳＥ）、相関係数、ＶＯＲ有効サンプル率、ＶＯＲ最小サンプル率等）を算出し、少なくとも１つのパラメータ又は評価指標に基づいて、眠気レベル又は覚醒レベルを評価することができる。また、ＶＯＲに関するパラメータとして、後述する頭部運動に対する眼球運動の遅れ時間（τ）を算出し、被験者毎に眠気又は覚醒レベルを評価するようにすることができる。
更に、評価手段１９は、眼球運動検出手段１２により検知された瞳孔径のデータを受信し、所定時間毎に瞳孔径の平均値、標準偏差を算出するようにすることができる。前記所定時間は適宜設定されればよく、例えば１ｍｉｎとすることができる。そして、算出された瞳孔径に基づき眠気又は覚醒レベルを評価するようにすることができる。
The evaluation means 19 is connected to the average rotation angular velocity calculation means 18, and is a parameter or evaluation index related to VOR (for example, VOR gain (G) described later, residual standard) from the added average of the head and eyeball rotation angular velocities in the analysis section. Deviation (RMSE), correlation coefficient, VOR effective sample rate, VOR minimum sample rate, etc.) can be calculated and the drowsiness level or wakefulness level can be evaluated based on at least one parameter or evaluation index. Further, as a parameter related to VOR, the delay time (τ) of the eye movement with respect to the head movement described later can be calculated, and the drowsiness or arousal level can be evaluated for each subject.
Further, the evaluation means 19 can receive the data of the pupil diameter detected by the eye
以上において、頭部回転角速度算出手段１３、眼球回転角速度算出手段１４、解析区間算出手段１７、平均回転角速度算出手段１８及び評価手段１９等における演算処理部は、１又は複数の演算処理装置を用いて構成することができる。演算処理装置の種類や数は問わず、例えば、マイクロコンピュータ、携帯端末、通信端末を経由したクラウドシステム、自動車用ナビゲーションシステム、パーソナルコンピュータ（ＰＣ）等を適宜用いることができる。 In the above, the arithmetic processing units in the head rotation angular velocity calculation means 13, the eyeball rotation angular velocity calculation means 14, the analysis section calculation means 17, the average rotation angular velocity calculation means 18, the evaluation means 19, and the like use one or a plurality of arithmetic processing units. Can be configured. Regardless of the type and number of arithmetic processing units, for example, a microcomputer, a mobile terminal, a cloud system via a communication terminal, an automobile navigation system, a personal computer (PC), or the like can be appropriately used.
（２）眠気又は覚醒レベル評価プログラム
眠気又は覚醒レベル評価プログラムは、上記眠気又は覚醒レベル評価装置における各手段に対応する機能をコンピュータ上で実行させることができる。眠気又は覚醒レベル評価プログラムは、周期的な振動源による頭部運動を検出する頭部運動検出機能と、頭部運動により誘発される眼球運動を検出する眼球運動検出機能と、前記頭部運動検出機能により検出された頭部運動データに基づいて頭部回転角速度を算出する頭部回転角速度算出機能と、前記眼球運動検出機能により検出された眼球運動データに基づいて眼球回転角速度を算出する眼球回転角速度算出機能と、前記振動源の振動周期に基づいて解析区間を算出する解析区間算出機能と、前記解析区間において、前記頭部回転角速度及び前記眼球回転角速度をそれぞれ加算平均して単位時間当たりの平均頭部回転角速度及び平均眼球回転角速度を算出する平均回転角速度算出機能と、前記平均頭部回転角速度と前記平均眼球回転角速度から前庭動眼反射（ＶＯＲ）を検出し、前記前庭動眼反射に基づき眠気又は覚醒レベルを評価する評価機能と、をコンピュータに実行させるように構成される。
(2) Drowsiness or arousal level evaluation program The drowsiness or arousal level evaluation program can execute a function corresponding to each means in the drowsiness or arousal level evaluation device on a computer. The drowsiness or arousal level evaluation program includes a head movement detection function that detects head movements caused by a periodic vibration source, an eye movement detection function that detects eye movements induced by head movements, and the head movement detection. The head rotation angle speed calculation function that calculates the head rotation angle speed based on the head movement data detected by the function, and the eyeball rotation that calculates the eyeball rotation angle speed based on the eyeball movement data detected by the eyeball movement detection function. The angular velocity calculation function, the analysis section calculation function that calculates the analysis section based on the vibration cycle of the vibration source, and the analysis section, the head rotation angle velocity and the eyeball rotation angle velocity are added and averaged, respectively, per unit time. The vestibulo-ocular reflex (VOR) is detected from the average head rotation angle velocity and the average eyeball rotation angle velocity, and the vestibulo-ocular reflex (VOR) is calculated from the average head rotation angle velocity and the average eyeball rotation angle velocity. Alternatively, it is configured to cause a computer to perform an evaluation function for evaluating the arousal level.
また、眠気又は覚醒レベル評価プログラムは、振動源による周期的な振動を検出する振動検出機能、周期的な振動を被験者に与える加振機能を備えることができる。前記解析区間算出機能は、頭部回転角速度算出機能、振動検出機能及び加振機能のうちの少なくとも１つと接続される。 In addition, the drowsiness or arousal level evaluation program can be provided with a vibration detection function for detecting periodic vibration by a vibration source and a vibration function for giving periodic vibration to a subject. The analysis section calculation function is connected to at least one of a head rotation angular velocity calculation function, a vibration detection function, and a vibration excitation function.
以下、図３を参照しつつ、眠気又は覚醒レベル評価プログラムによる処理の流れについて説明する。
まず、ステップＳ１では、被験者の頭部に生じる直線加速度及び回転角速度を検出する（頭部運動検出機能）。例えば、自動車などの車両に搭載される場合には、運転者の進行方向、上下方向、左右方向に対する直線加速度と、運転者のローリング、ピッチング、ヨーイングの各方向に対する回転角速度をそれぞれ検出し、頭部運動データ（直線加速度データ及び回転角速度データ）を次のステップＳ２に送る。ここでは、上下方向の直線加速度データとピッチング方向に対する回転角速度を用いることとするが、他の成分を用いることもできる。本機能は、眠気又は覚醒レベル評価装置１０における頭部運動検出手段ｌｌに備えることができる。
Hereinafter, the flow of processing by the drowsiness or arousal level evaluation program will be described with reference to FIG.
First, in step S1, the linear acceleration and the rotational angular velocity generated in the head of the subject are detected (head motion detection function). For example, when mounted on a vehicle such as an automobile, the linear acceleration in the traveling direction, the vertical direction, and the horizontal direction of the driver and the rotational angular velocity in each of the rolling, pitching, and yawing directions of the driver are detected and the head is detected. The part motion data (linear acceleration data and rotational angular velocity data) is sent to the next step S2. Here, the linear acceleration data in the vertical direction and the rotational angular velocity with respect to the pitching direction are used, but other components can also be used. This function can be provided in the head movement detecting means ll in the drowsiness or arousal
次に、ステップＳ２では、ステップＳ１において検出された頭部運動に基づいて頭部回転角速度を算出する（頭部回転角速度算出機能）。算出された頭部回転角速度データは、ステップＳ７に送られる。本機能は頭部回転角速度算出手段１３に備えることができる。
Next, in step S2, the head rotation angular velocity is calculated based on the head motion detected in step S1 (head rotation angular velocity calculation function). The calculated head rotation angular velocity data is sent to step S7. This function can be provided in the head rotation angular
ステップＳ３では、眼球運動を撮影し、瞳孔中心座標の移動量を計測することにより、運転者のローリング、ピッチング、ヨーイングの各方向に対する眼球運動データを得る（眼球運動検出機能）。得られた眼球運動データは、次のステップＳ４に送られる。また、眼の開度（閉眼、半開、開眼）、瞳孔を検知し、所定時間毎に算出した瞳孔径のデータ（平均、標準偏差等）を後述の評価ステップに送信するようにすることができる。本機能は眼球運動検出手段１２に備えることができる。
In step S3, eye movement data is obtained in each direction of the driver's rolling, pitching, and yawing by photographing the eye movement and measuring the amount of movement of the pupil center coordinates (eye movement detection function). The obtained eye movement data is sent to the next step S4. Further, it is possible to detect the eye opening (closed, half-opened, opened) and the pupil, and transmit the pupil diameter data (mean, standard deviation, etc.) calculated at predetermined time intervals to the evaluation step described later. .. This function can be provided in the eye
ステップＳ４では、ステップＳ３において取得された眼球運動データに基づいて眼球回転角速度を算出する（眼球回転角速度算出機能）。算出された眼球回転角速度データは、ステップＳ７に送られる。本機能は眼球回転角速度算出手段１４に備えることができる。
In step S4, the eye rotation angular velocity is calculated based on the eye movement data acquired in step S3 (eye rotation angular velocity calculation function). The calculated eyeball rotation angular velocity data is sent to step S7. This function can be provided in the eyeball rotation angular
ステップＳ５では、解析区間を算出するための同期信号を生成又は検出する。周期的な振動を検出する振動検出機能が備えられている場合には、検出された振動に基づいて同期信号を生成することができる。特に、振動が生体由来の振動である場合、振動の機械的特性、電磁気的特性、光学的特性、熱的特性、音響的特性等に基づく生体信号を適宜のセンサにより検出し、計測された生体信号を振動データとして得ることができる。この振動データから抽出される特徴点を基準として同期信号を生成することができる。
また、制御信号により周期的な振動を与える加振機能が備えられている場合には、加振機に対する制御信号に基づいて同期信号を生成することができる。検出された周期的振動に基づいて生成された同期信号はステップＳ６に送られる。
なお、以上において、ステップＳ１及びＳ２とステップＳ３及びＳ４、ステップ５との処理順序は任意である。
In step S5, a synchronization signal for calculating the analysis section is generated or detected. When a vibration detection function for detecting periodic vibration is provided, a synchronization signal can be generated based on the detected vibration. In particular, when the vibration is a vibration derived from a living body, a biological signal based on the mechanical characteristics, electromagnetic characteristics, optical characteristics, thermal characteristics, acoustic characteristics, etc. of the vibration is detected by an appropriate sensor, and the measured living body is measured. The signal can be obtained as vibration data. A synchronization signal can be generated with reference to the feature points extracted from this vibration data.
Further, when a vibration function that gives periodic vibration by the control signal is provided, a synchronization signal can be generated based on the control signal for the vibration device. The synchronization signal generated based on the detected periodic vibration is sent to step S6.
In the above, the processing order of steps S1 and S2 and steps S3 and S4 and
ステップＳ６では、ステップＳ２により算出された頭部回転角速度及びステップＳ５により生成された同期信号のうちの少なくとも１つを取得し、取得したデータに基づきそれぞれ振動源の周期に基づいた解析区間を算出する（解析区間算出機能）。ステップＳ２により算出された頭部回転角速度データを用いる場合は、頭部回転角速度を振動源により定めた周期に区切り、各周期のデータ間の相互相関関係から振動周期を抽出して解析区間を算出することができる。前記振動源により定めた周期は適宜設定することができ、例えば、振動源が心拍もしくは呼吸の場合、心拍もしくは呼吸周期の１．２倍程度を前記定めた周期とし、振動周期（心拍もしくは呼吸周期）を抽出することができる。また、ステップＳ５により生成された同期信号を用いる場合には、その周期に基づいて解析区間を算出する。解析区間は、周期的な振動に同期し、振動周期に対して一定の比率の時間を任意に設定することができる（例えば、振動周期８００ｍｓの場合、その５／８の５００ｍｓ）。心拍もしくは呼吸周期など生体由来の振動源の場合、振動周期は、例えば７００〜９００ｍｓの範囲で揺らぐ。算出された解析区間データは、次のステップＳ７に送られる。本機能は解析区間算出手段１７に備えることができる。 In step S6, at least one of the head rotation angular velocity calculated in step S2 and the synchronization signal generated in step S5 is acquired, and the analysis section based on the period of the vibration source is calculated based on the acquired data. (Analysis interval calculation function). When using the head rotation angular velocity data calculated in step S2, the head rotation angular velocity is divided into cycles determined by the vibration source, and the vibration cycle is extracted from the mutual correlation between the data of each cycle to calculate the analysis section. can do. The cycle determined by the vibration source can be appropriately set. For example, when the vibration source is heartbeat or respiration, about 1.2 times the heartbeat or respiration cycle is set as the predetermined cycle, and the vibration cycle (heartbeat or respiration cycle). ) Can be extracted. When the synchronization signal generated in step S5 is used, the analysis section is calculated based on the period. The analysis section is synchronized with the periodic vibration, and a constant ratio of time with respect to the vibration cycle can be arbitrarily set (for example, in the case of a vibration cycle of 800 ms, 5/8 of that time is 500 ms). In the case of a biological vibration source such as a heartbeat or a respiratory cycle, the vibration cycle fluctuates in the range of 700 to 900 ms, for example. The calculated analysis interval data is sent to the next step S7. This function can be provided in the analysis section calculation means 17.
ステップＳ７では、ステップＳ６から送られた周期的振動源に同期した解析区間において、頭部回転角速度及び眼球回転角速度をそれぞれ加算平均して、振動周期に基づいて適宜定めた時間当たり（例えば、１ｍｉｎ毎）の平均頭部回転角速度及び平均眼球回転角速度を算出する（平均回転角速度算出機能）。そして、前記定めた時間毎に算出されたデータは、次のステップＳ８に送られる。本機能は平均回転角速度算出手段１７に備えることができる。
In step S7, in the analysis section synchronized with the periodic vibration source sent from step S6, the head rotation angular velocity and the eyeball rotation angular velocity are added and averaged, respectively, and per time (for example, 1 min) appropriately determined based on the vibration cycle. Every), the average head rotation angular velocity and the average eyeball rotation angular velocity are calculated (average rotation angular velocity calculation function). Then, the data calculated for each of the predetermined times is sent to the next step S8. This function can be provided in the average rotational angular
ステップＳ８〜Ｓ１１では、算出された平均頭部回転角速度と平均眼球回転角速度からＶＯＲを検出し、ＶＯＲに基づき眠気又は覚醒レベルを評価する（評価機能）。これら一連の機能は評価手段１９に備えることができる。ＶＯＲとは、頭部運動に対してほぼ同じ速さで眼球を逆方向に回転させ、ブレのない視界を得るための反射性眼球運動である。ＶＯＲに関するパラメータとして、以下に示すＶＯＲゲイン（Ｇ）と残差標準偏差（ＲＭＳＥ）とを求めることができる。ＶＯＲゲインの減少及び残差標準偏差の増加は、眠気を自覚する前から生じるため、眠気の予兆を示す指標として有効である。 In steps S8 to S11, VOR is detected from the calculated average head rotation angular velocity and average eyeball rotation angular velocity, and the drowsiness or arousal level is evaluated based on the VOR (evaluation function). These series of functions can be provided in the evaluation means 19. VOR is a reflex eye movement for rotating the eyeball in the opposite direction at almost the same speed as the head movement to obtain a stable visual field. The VOR gain (G) and residual standard deviation (RMSE) shown below can be obtained as parameters related to VOR. Since the decrease in VOR gain and the increase in the residual standard deviation occur before the person becomes aware of drowsiness, it is effective as an index showing a sign of drowsiness.
ＶＯＲゲインは、目的変数を眼球回転角速度ｅ（ｔ）、説明変数を頭部回転角速度ｈ（ｔ）と定数項ｄｃとする回帰モデルの係数Ｇとして、式（１）により最小二乗推定して求めることができる。
なお、ここでは目的変数を眼球回転角速度、説明変数を頭部回転角速度としてＶＯＲゲイン、残差標準偏差を求めているが、これに限らず種々の指標（例えば、実施例にて説明する相関係数、ＶＯＲ有効サンプル率、ＶＯＲ最小サンプル率等）を用いて眠気又は覚醒レベルを推定することが可能である。
また、ここでは一般化線形モデルを用いて線形回帰によりＶＯＲゲインを求めているが、眠気又は覚醒レベルを推定する方法はこれに限らない。着目する指標を用いた推定又はその組み合わせにより、例えば、重回帰解析、一般化線形混合モデル、一般化推定方程式、階層ベイズモデル、決定木、ランダムフォレスト等を用いる手法、機械学習などニューラルネットワークを用いる手法等を適用することが可能である。本発明は、これらの推定式の如何を問わず、周期的な振動源に基づくＶＯＲから得られる指標を用いることを特徴としている。
Here, the VOR gain and the residual standard deviation are obtained by using the objective variable as the eyeball rotation angular velocity and the explanatory variable as the head rotation angular velocity, but the relationship is not limited to this and various indexes (for example, the phase relationship described in the examples). It is possible to estimate the drowsiness or wakefulness level using the number, VOR effective sample rate, VOR minimum sample rate, etc.).
Further, although the VOR gain is obtained by linear regression using a generalized linear model here, the method for estimating the drowsiness or arousal level is not limited to this. Depending on the estimation using the index of interest or a combination thereof, for example, a neural network such as multiple regression analysis, generalized linear mixed model, generalized estimation equation, hierarchical Bayes model, decision tree, random forest, etc. is used. It is possible to apply methods and the like. The present invention is characterized by using an index obtained from a VOR based on a periodic vibration source regardless of these estimation formulas.
残差標準偏差ＲＭＳＥは式（２）により算出する。
そこで、ステップＳ９では、１以上の評価指標を算出する。以下では、評価指標としてＶＯＲゲイン及び残差標準偏差を挙げるが、評価指標はこれらに限られるものではない。ここではＶＯＲゲインの増加及び残差標準偏差の増加を定量化するために、下記の指標を算出する。つまり、ＶＯＲゲインＧ及び残差標準偏差ＲＭＳＥは個人差により初期値や変化量が異なるため、それぞれ高覚醒状態の平均値を求め、平均値に対する変化率を算出する。ある時刻におけるＶＯＲゲイン減少率△Ｇ（ｔ）及びＲＭＳＥの増加率△ＲＭＳＥ（ｔ）を、それぞれ式（３）、（４）に示すように定義し、算出する。
ステップＳ１０では、ステップＳ９で求めたＶＯＲゲイン減少率△Ｇ（ｔ）及びＲＭＳＥの増加率△ＲＭＳＥ（ｔ）を、それぞれあらかじめ設定した評価基準値（閾値）と比較する。眠気又は覚醒レベルは、各レベルに応じてＶＯＲゲイン減少率△Ｇ（ｔ）及びＲＭＳＥの増加率△ＲＭＳＥ（ｔ）の評価基準値をそれぞれ設定し、両者が評価基準値を超える、又はどちらか１つが評価基準値を超えることでそのレベルを判定する。
この他、本機能では、ステップ３において検知された瞳孔径に基づき眠気又は覚醒レベルを評価することができる。瞳孔径はＶＯＲゲインや残差標準偏差が変化し始めるより高い覚醒レベルにおいて縮瞳や拡散を呈するため、ＶＯＲゲインや残差標準偏差と併用することによって眠気又は覚醒レベルの評価精度を高めることができる。
In step S10, the VOR gain decrease rate ΔG (t) and the RMSE increase rate ΔRMSE (t) obtained in step S9 are compared with the evaluation reference values (threshold values) set in advance. For the drowsiness or arousal level, the evaluation reference values of the VOR gain decrease rate ΔG (t) and the RMSE increase rate ΔRMSE (t) are set according to each level, and both exceed the evaluation reference value, or either of them. The level is judged when one exceeds the evaluation reference value.
In addition, this function can evaluate drowsiness or arousal level based on the pupil diameter detected in
ステップＳ１１では、ステップＳ１０にて判定された眠気又は覚醒レベルを出力し、一連の処理を終了する。 In step S11, the drowsiness or arousal level determined in step S10 is output, and a series of processes is completed.
以上のように、本発明の眠気又は覚醒レベル評価装置及び評価プログラムによれば、周期的な振動を用いたＶＯＲに基づいて、車両の運転者、機械の操作者、事務作業者など座位で作業を行う被験者の眠気又は覚醒レベルを評価することができる。周期的な振動を用いたＶＯＲは、周囲の明るさなどの外部環境の影響を受けにくく、ロードノイズなど頭部を揺らす外乱（振動源）がなくても評価できるので、実用条件範囲を広くすることができる。また、演算負荷が小さいため、リアルタイム測定及び判定が可能である。 As described above, according to the drowsiness or arousal level evaluation device and the evaluation program of the present invention, the vehicle driver, the machine operator, the office worker, etc. work in a sitting position based on the VOR using periodic vibration. The drowsiness or arousal level of the subject can be evaluated. VOR using periodic vibration is not easily affected by the external environment such as ambient brightness, and can be evaluated even if there is no disturbance (vibration source) that shakes the head such as road noise, so the range of practical conditions is widened. be able to. Moreover, since the calculation load is small, real-time measurement and determination are possible.
（実施例）
被験者は、健常な成人男性１０名（２１〜５４歳）とした。実験は、外乱光の入らない部屋で、眼球運動計測装置を装着した被験者を運転席用シートに着座させ、安静座位１０ｍｉｎの後、特定のゲーム機及びゲームプログラム、操舵用ステアリング及びペダルを用いて、ハンドル反力ありでドライビングシミュレータ（ＤＳ）の運転を６０ｍｉｎ行った。ＤＳ映像は、プロジェクターで前方約２．５ｍに投影した。運転課題は、全長３０．３ｋｍのオーバルコースを用いて、３車線の中央を１００ｋｍ／ｈで定速走行させた。
眠気および覚醒レベルは、図１７に示す眠気レベル（参照：北島洋樹ら，機械学論 C編 63(613)：3059-3066, 1997）を用いて、１０ｓ毎に顔表情評定を実施した。
心電図（ＥＣＧ）は、生体情報計測装置（MP150: BIOPAC System製）を用いてＣＭ５誘導によりサンプリング周波数１ｋＨｚで計測し、ＥＣＧのＲ波を抽出した。また、眼球運動計測装置との同期のため、水平方向の眼電図（ＥＯＧ）を同時に計測した。
(Example)
The subjects were 10 healthy adult males (21-54 years old). In the experiment, a subject wearing an eye movement measuring device was seated on the driver's seat in a room out of ambient light, and after 10 minutes of resting, a specific game machine and game program, steering wheel and pedals were used. The driving simulator (DS) was operated for 60 minutes with the reaction force of the steering wheel. The DS image was projected by a projector about 2.5 m in front. The driving task was to drive at a constant speed of 100 km / h in the center of the three lanes using an oval course with a total length of 30.3 km.
For drowsiness and arousal levels, facial expression assessment was performed every 10 seconds using the drowsiness level shown in FIG. 17 (see: Hiroki Kitajima et al., Mechanical Engineering C, 63 (613): 3059-3066, 1997).
The electrocardiogram (ECG) was measured at a sampling frequency of 1 kHz by CM5 induction using a biometric information measuring device (MP150: manufactured by BIOPAC System), and the R wave of ECG was extracted. In addition, a horizontal electrocardiogram (EOG) was measured at the same time for synchronization with the eye movement measuring device.
頭部及び眼球運動は、被験者に眼球運動計測装置（EyeSeeCam: EyeSeeTech製）を装着し、６軸加速度／ジャイロセンサにより頭部運動を、赤外線カメラにより左右眼球運動を、サンプリング周波数２５６Ｈｚで計測した。生体情報計測装置と眼球運動計測装置とは、水平方向のＥＯＧと１ｋＨｚに補間した眼球の水平位置で相互相関を算出して同期をとった。 For the head and eye movements, the subject was equipped with an eye movement measuring device (EyeSeeCam: manufactured by EyeSeeTech), and the head movement was measured by a 6-axis acceleration / gyro sensor, and the left and right eye movements were measured by an infrared camera at a sampling frequency of 256 Hz. The biological information measuring device and the eye movement measuring device were synchronized by calculating the cross-correlation between the horizontal EOG and the horizontal position of the eyeball interpolated to 1 kHz.
ＶＯＲ解析の前処理は次のように行った。眼球運動の解析において、瞳孔を検知したフレームを開眼、未検知のフレームを閉眼と定義した。開眼から閉眼の移行期は、瞳孔の誤検知や未検知が発生する。そのため、開眼区間の両端３フレームを解析から除外した。また、処理後、開眼が１フレームのみである場合も除外した。そして、瞳孔径、眼球の水平位置、垂直位置について、平均および標準偏差（ＳＤ）をそれぞれ算出し、平均±３ＳＤから外れるフレームを解析から除外した。
サッカードは、眼球角速度の絶対値が２０〜１００ｄｅｇ／ｓで設定された閾値を超えた区間を抽出し、その前後について眼球角速度を微分して符号が反転するまでとした。本事例では、３０ｄｅｇ／ｓを閾値とし、サッカードを解析から除外した。
The pretreatment of the VOR analysis was performed as follows. In the analysis of eye movement, the frame in which the pupil was detected was defined as the eye open, and the frame in which the pupil was not detected was defined as the closed eye. During the transition period from eye opening to eye closure, erroneous or undetected pupils occur. Therefore, 3 frames at both ends of the eye-opening section were excluded from the analysis. In addition, the case where the eyes were opened only for one frame after the treatment was excluded. Then, the mean and standard deviation (SD) were calculated for the pupil diameter, the horizontal position of the eyeball, and the vertical position, respectively, and the frames deviating from the mean ± 3SD were excluded from the analysis.
Saccade extracted a section in which the absolute value of the eye angular velocity exceeded the threshold value set at 20 to 100 deg / s, and differentiated the eyeball angular velocity before and after that until the sign was inverted. In this case, 30 deg / s was set as the threshold value, and saccade was excluded from the analysis.
ＶＯＲの解析は、計測開始から１ｍｉｎ毎にオーバーラップ３０ｓで実施した。１ｍｉｎ毎の解析は、ＥＣＧのＲ波から５００ｍｓを解析区間として、ピッチ方向の頭部および眼球角速度（サッカード除く）をそれぞれ加算平均した。加算平均では、１ｍｉｎ（所定時間）毎の頭部角速度について、解析区間であるＲ波から５００ｍｓの各サンプリング点で平均とＳＤを算出し、いずれか１点でも±３ＳＤを超えたケース（該当する１周期分の解析区間）を無効なデータとして、頭部及び眼球角速度共に解析から除外した（ケースワイズ）。これに該当しないケースを有効ケースとした。ＶＯＲ有効サンプル率は、所定時間（１ｍｉｎ間）に含まれる有効ケース数に対する、Ｒ波から５００ｍｓの各サンプリング点でＶＯＲ解析に用いた眼球角速度の平均のサンプル数（サンプリング点数）の割合である。すなわち、ＶＯＲ有効サンプル率は、各解析区間における有効なデータ数の平均値の割合である。ＶＯＲ最小サンプル率は、所定時間（１ｍｉｎ間）に含まれる有効ケース数に対する、Ｒ波から５００ｍｓの各サンプリング点でＶＯＲ解析に用いた最小のサンプル数（サンプリング点数）の割合である。すなわち、ＶＯＲ最小サンプル率は、各解析区間で有効なデータ数の最小値の割合である。
回帰解析では、ピッチ方向の頭部角速度を説明変数、眼球角速度を目的変数とした。このとき、両者の相関係数、回帰式の傾きをＶＯＲゲイン、回帰式との残差のＳＤを残差標準偏差（ＲＭＳＥ）として、それぞれ算出した。
The VOR analysis was performed every 1 min from the start of measurement with an overlap of 30 s. In the analysis every 1 min, the head and eye angular velocities (excluding saccade) in the pitch direction were added and averaged with 500 ms as the analysis section from the R wave of ECG. In the added average, the average and SD are calculated at each sampling point of 500 ms from the R wave, which is the analysis section, for the head angular velocity every 1 min (predetermined time), and any one point exceeds ± 3 SD (corresponding). The analysis section for one cycle) was regarded as invalid data, and both the head and the angular velocity of the eyeball were excluded from the analysis (casewise). Cases that do not correspond to this were regarded as valid cases. The VOR effective sample rate is the ratio of the average number of samples (sampling points) of the eyeball angular velocities used for VOR analysis at each sampling point of 500 ms from the R wave to the number of effective cases included in a predetermined time (1 min). That is, the VOR effective sample rate is the ratio of the average value of the number of effective data in each analysis section. The VOR minimum sample rate is the ratio of the minimum number of samples (sampling points) used for VOR analysis at each sampling point 500 ms from the R wave to the number of effective cases included in a predetermined time (1 min). That is, the VOR minimum sample rate is the ratio of the minimum value of the number of valid data in each analysis section.
In the regression analysis, the head angular velocity in the pitch direction was used as the explanatory variable, and the eyeball angular velocity was used as the objective variable. At this time, the correlation coefficient between the two, the slope of the regression equation was calculated as the VOR gain, and the SD of the residual with the regression equation was calculated as the residual standard deviation (RMSE).
図４〜６に、心拍動に由来する頭部動揺を用いた頭部運動及び眼球運動の解析例を示した。
図４（ａ）はＥＣＧ波形であり、同図（ｂ）〜（ｄ）に示す各波形は、（ａ）と同じ時間軸において、Ｒ波を基準（時間軸の０ｍｓ）とした１ｍｉｎ間の波形を加算平均した事例を表している。同図（ｂ）は、上下（ピッチ）方向の頭部角速度を示す。同図（ｃ）は左眼のピッチ方向の眼球角速度、同図（ｄ）は右眼のピッチ方向の眼球角速度を示す。
図５は、Ｒ波に同期した５００ｍｓの時間を解析区間として、（ａ）前図に示されたピッチ方向の頭部角速度、（ｂ）左眼のピッチ方向の眼球角速度、（ｃ）右眼のピッチ方向の眼球角速度を表したグラフである。左眼及び右眼の眼球角速度は、潜時（τ）を６ｍｓとして解析している。
図６（ａ）は、前図に示された頭部角速度と左眼の眼球角速度との散布図であり、相関係数ｒ＝−０．９７８と算定される。同様に、図６（ｂ）は、頭部角速度と右眼の眼球角速度との散布図であり、相関係数ｒ＝−０．９８８と算定される。この結果より、頭部角速度と眼球角速度とは強い相関があることが分かる。
Figures 4 to 6 show examples of analysis of head movement and eye movement using head sway derived from heartbeat.
FIG. 4 (a) is an ECG waveform, and each waveform shown in FIGS. (B) to (d) has an R wave as a reference (0 ms on the time axis) on the same time axis as (a) for 1 min. It shows an example of adding and averaging waveforms. FIG. 3B shows the head angular velocity in the vertical (pitch) direction. FIG. 3C shows the eyeball angular velocity in the pitch direction of the left eye, and FIG. 3D shows the eyeball angular velocity in the pitch direction of the right eye.
FIG. 5 shows (a) the head angular velocity in the pitch direction shown in the previous figure, (b) the eyeball angular velocity in the pitch direction of the left eye, and (c) the right eye, using a time of 500 ms synchronized with the R wave as an analysis section. It is a graph which showed the eyeball angular velocity in the pitch direction of. The angular velocities of the left and right eyes are analyzed with the latency (τ) as 6 ms.
FIG. 6A is a scatter diagram of the head angular velocity and the eyeball angular velocity of the left eye shown in the previous figure, and is calculated as a correlation coefficient r = −0.978. Similarly, FIG. 6B is a scatter diagram of the head angular velocity and the eyeball angular velocity of the right eye, and the correlation coefficient r = −0.988 is calculated. From this result, it can be seen that there is a strong correlation between the head angular velocity and the eyeball angular velocity.
図７は、実験を行った７０ｍｉｎ間における上記相関係数の変化を示している。同図（ａ）は顔表情評定、（ｂ）は頭部角速度と左眼の眼球角速度との相関係数、（ｃ）は頭部角速度と右眼の眼球角速度との相関係数を示す。また、図（ｂ）、（ｃ）中で相関係数が空白の点は、相関係数のｐ値が０．０５以上で未掲載としたものである。本図より、眠気レベルが上昇すると、頭部角速度と眼球角速度との相関係数が減少する傾向があり、頭部角速度と眼球角速度との相関係数は眠気レベルの評価指標となり得ることが分かる。 FIG. 7 shows the change in the correlation coefficient during the 70 minutes in which the experiment was conducted. The figure (a) shows the facial expression rating, (b) shows the correlation coefficient between the head angular velocity and the eyeball angular velocity of the left eye, and (c) shows the correlation coefficient between the head angular velocity and the eyeball angular velocity of the right eye. Further, the points where the correlation coefficient is blank in FIGS. (B) and (c) are those in which the p-value of the correlation coefficient is 0.05 or more and is not shown. From this figure, it can be seen that as the drowsiness level increases, the correlation coefficient between the head angular velocity and the eyeball angular velocity tends to decrease, and the correlation coefficient between the head angular velocity and the eyeball angular velocity can be an evaluation index of the drowsiness level. ..
図８は、実験を行った７０ｍｉｎ間におけるＶＯＲゲインの変化を示している。ＶＯＲゲインは、ピッチ方向の頭部角速度と眼球角速度の回帰直線の傾きに当たる。同図（ａ）は左眼、（ｃ）は右眼から算出されたＶＯＲゲインである。図中でグラフが空白となっている点は、相関係数のｐ値が０．０５以上の範囲である。本図より、眠気レベルが上昇するとＶＯＲゲインが減少する傾向がある。 FIG. 8 shows the change in VOR gain during the 70 minutes of the experiment. The VOR gain corresponds to the slope of the regression line of the head angular velocity and the eyeball angular velocity in the pitch direction. FIG. 3A shows the VOR gain calculated from the left eye and FIG. 3C shows the VOR gain calculated from the right eye. The points where the graph is blank in the figure are in the range where the p-value of the correlation coefficient is 0.05 or more. From this figure, the VOR gain tends to decrease as the drowsiness level increases.
図９は、実験を行った７０ｍｉｎ間における残差標準偏差（ＲＭＳＥ）の変化を示している。ＲＭＳＥは、ピッチ方向の頭部角速度と眼球角速度の回帰直線の残差標準偏差である。同図（ａ）は左眼、（ｃ）は右眼から算出されたＲＭＳＥである。図中でグラフが空白となっている点は、相関係数のｐ値が０．０５以上の範囲である。本図より、眠気レベルが上昇するとＲＭＳＥが増加する傾向がある。 FIG. 9 shows the change in residual standard deviation (RMSE) during the 70 minutes of the experiment. RMSE is the residual standard deviation of the regression line of the head angular velocity and the eyeball angular velocity in the pitch direction. FIG. 3A is an RMSE calculated from the left eye and FIG. 3C is the RMSE calculated from the right eye. The points where the graph is blank in the figure are in the range where the p-value of the correlation coefficient is 0.05 or more. From this figure, RMSE tends to increase as the drowsiness level increases.
図１０は、実験を行った７０ｍｉｎ間におけるＶＯＲ有効サンプル率の変化を示している。同図（ａ）は左眼、（ｃ）は右眼のＶＯＲ有効サンプル率である。眠気レベルが上昇するとＶＯＲ有効サンプル率が減少する傾向がある。この傾向は、解析区間の各サンプリング点で解析に用いた有効サンプル数の平均でも同様の傾向を示す。
また、図１１、実験を行った７０ｍｉｎ間におけるＶＯＲ最小サンプル率の変化を示している。同図（ａ）は左眼、（ｃ）は右眼のＶＯＲ最小サンプル率である。眠気レベルが上昇するとＶＯＲ最小サンプル率が減少する傾向がある。この傾向は、解析区間における各サンプリング点の最小サンプル数でも同様の傾向を示す。
FIG. 10 shows the change in the VOR effective sample rate during the 70 minutes of the experiment. FIG. 3A shows the VOR effective sample rate of the left eye and FIG. 3C shows the VOR effective sample rate of the right eye. As the drowsiness level increases, the VOR effective sample rate tends to decrease. This tendency is the same for the average number of effective samples used in the analysis at each sampling point in the analysis section.
In addition, FIG. 11 shows the change in the minimum VOR sample rate during the 70 minutes in which the experiment was conducted. FIG. 3A shows the VOR minimum sample rate of the left eye and FIG. 3C shows the VOR minimum sample rate of the right eye. As the drowsiness level increases, the VOR minimum sample rate tends to decrease. This tendency shows the same tendency even in the minimum number of samples at each sampling point in the analysis section.
この他、眼球運動については、左右眼毎に瞳孔径の平均、標準偏差（ＳＤ）、瞳孔の未検知時間、未検知率等を計測した。この結果、一例では、瞳孔径はＤＳ運転開始直後から縮瞳し、未検知時間および未検知率が眠気レベルに連動して増加した。他の例では、縮瞳や拡散を繰り返して瞳孔径の標準偏差が増加し、それと共にＶＯＲゲインの低下、残差標準偏差の増加が観察された。 In addition, for eye movements, the average pupil diameter, standard deviation (SD), undetected time of the pupil, undetected rate, etc. were measured for each of the left and right eyes. As a result, in one example, the pupil diameter was miotic immediately after the start of the DS operation, and the undetected time and the undetected rate increased in association with the drowsiness level. In another example, the standard deviation of the pupil diameter increased by repeating miosis and diffusion, and at the same time, a decrease in VOR gain and an increase in the residual standard deviation were observed.
図１２〜１６は、実験を行った７０ｍｉｎ間において、上記各評価指標について眠気レベルとの関係を表す散布図である。
図１２は、相関係数（ピッチ方向の頭部角速度と眼球角速度の相関係数）と眠気レベルとの散布図であり、（ａ）は左眼、（ｂ）は右眼である。それぞれの相関係数はｒ＝０．７３９（左眼）、０．６９６（右眼）と算定され、眠気レベルと、相関係数（頭部角速度と眼球角速度の相関係数）と、には強い相関が認められる。よって、実施形態に係る眠気又は覚醒レベル評価装置における評価手段１９（評価機能）は、平均頭部回転角速度と平均眼球回転角速度から、頭部角速度と眼球角速度の相関係数を算出し、所定の評価基準に基づいて眠気又は覚醒レベルを評価するように構成することが可能である。
FIGS. 12 to 16 are scatter plots showing the relationship between each of the above evaluation indexes and the drowsiness level during the 70 minutes in which the experiment was conducted.
FIG. 12 is a scatter plot of the correlation coefficient (correlation coefficient between the head angular velocity and the eyeball angular velocity in the pitch direction) and the drowsiness level, where (a) is the left eye and (b) is the right eye. The respective correlation coefficients are calculated as r = 0.739 (left eye) and 0.696 (right eye), and the drowsiness level and the correlation coefficient (correlation coefficient between head angular velocity and eyeball angular velocity) are A strong correlation is observed. Therefore, the evaluation means 19 (evaluation function) in the drowsiness or arousal level evaluation device according to the embodiment calculates the correlation coefficient between the head angular velocity and the eyeball angular velocity from the average head rotation angular velocity and the average eyeball rotation angular velocity, and determines a predetermined value. It can be configured to assess drowsiness or alertness levels based on evaluation criteria.
図１３は、ＶＯＲゲインと眠気レベルとの散布図であり、（ａ）は左眼、（ｂ）は右眼である。それぞれの相関係数はｒ＝０．３５３（左眼）、０．３６３（右眼）と算定される。これらの相関から、実施形態に係る眠気又は覚醒レベル評価装置における評価手段１９（評価機能）は、平均頭部回転角速度と平均眼球回転角速度から回帰式のＶＯＲゲイン（Ｇ）を算出し、所定の評価基準に基づいて眠気又は覚醒レベルを評価することが可能である。 13A and 13B are scatter plots of VOR gain and drowsiness level, where FIG. 13A is the left eye and FIG. 13B is the right eye. The respective correlation coefficients are calculated as r = 0.353 (left eye) and 0.363 (right eye). From these correlations, the evaluation means 19 (evaluation function) in the drowsiness or arousal level evaluation device according to the embodiment calculates the regression equation VOR gain (G) from the average head rotation angular velocity and the average eyeball rotation angular velocity, and determines a predetermined value. It is possible to evaluate the level of drowsiness or alertness based on the evaluation criteria.
図１４は、残差標準偏差（ＲＭＳＥ）と眠気レベルとの散布図であり、（ａ）は左眼、（ｂ）は右眼である。これらの相関係数はｒ＝０．７６３（左眼）、０．７３４（右眼）と算定され、眠気レベルとＲＭＳＥには強い相関が認められる。よって、実施形態に係る眠気又は覚醒レベル評価装置における評価手段１９（評価機能）は、平均頭部回転角速度と平均眼球回転角速度から回帰式のＲＭＳＥを算出し、所定の評価基準に基づいて眠気又は覚醒レベルを評価することが可能である。 FIG. 14 is a scatter plot of the residual standard deviation (RMSE) and the drowsiness level, where (a) is the left eye and (b) is the right eye. These correlation coefficients were calculated as r = 0.763 (left eye) and 0.734 (right eye), and a strong correlation was observed between the drowsiness level and RMSE. Therefore, the evaluation means 19 (evaluation function) in the drowsiness or arousal level evaluation device according to the embodiment calculates the regression equation RMSE from the average head rotation angular velocity and the average eyeball rotation angular velocity, and is drowsiness or drowsiness based on a predetermined evaluation standard. It is possible to evaluate the arousal level.
図１５は、ＶＯＲ有効サンプル率と眠気レベルとの散布図であり、（ａ）は左眼、（ｂ）は右眼である。これらの相関係数はｒ＝−０．８９９（左眼）、−０．７７８（右眼）と算定され、眠気レベルとＶＯＲ有効サンプル率には強い負の相関が認められる。
また、図１６は、ＶＯＲ最小サンプル率と眠気レベルとの散布図であり、（ａ）は左眼、（ｂ）は右眼である。これらの相関係数はｒ＝−０．８８３（左眼）、−０．７８２（右眼）と算定され、眠気レベルとＶＯＲ最小サンプル率には強い負の相関が認められる。
よって、実施形態に係る眠気又は覚醒レベル評価装置における評価手段１９（評価機能）は、ＶＯＲ抽出時に用いた解析区間の有効データ数に基づくＶＯＲ有効サンプル率又はＶＯＲ最小サンプル率を算出し、所定の評価基準に基づいて眠気又は覚醒レベルを評価するように構成することができる。
FIG. 15 is a scatter plot of the VOR effective sample rate and the drowsiness level, where (a) is the left eye and (b) is the right eye. These correlation coefficients were calculated as r = -0.899 (left eye) and -0.778 (right eye), and a strong negative correlation was observed between the drowsiness level and the VOR effective sample rate.
Further, FIG. 16 is a scatter plot of the minimum VOR sample rate and the drowsiness level, in which (a) is the left eye and (b) is the right eye. These correlation coefficients are calculated as r = -0.883 (left eye) and -0.782 (right eye), and a strong negative correlation is observed between the drowsiness level and the VOR minimum sample rate.
Therefore, the evaluation means 19 (evaluation function) in the drowsiness or arousal level evaluation device according to the embodiment calculates the VOR effective sample rate or the VOR minimum sample rate based on the number of effective data in the analysis section used at the time of VOR extraction, and determines. It can be configured to assess drowsiness or alertness levels based on evaluation criteria.
前述の例は単に説明を目的とするものでしかなく、本発明を限定するものと解釈されるものではない。本発明を典型的な実施形態の例を挙げて説明したが、本発明の記述および図示において使用された文言は、限定的な文言ではなく説明的および例示的なものであると理解される。本発明は上記で詳述した実施形態に限定されず、本発明の請求項に示した範囲で様々な変形または変更が可能である。 The above examples are for illustration purposes only and are not to be construed as limiting the invention. Although the present invention has been described with reference to typical embodiments, the language used in the description and illustration of the invention is understood to be descriptive and exemplary rather than restrictive. The present invention is not limited to the embodiments detailed above, and various modifications or modifications can be made within the scope of the claims of the present invention.
本発明は、車両の運転者の居眠り運転防止や自動運転レベル３での操作要請対応、設備の操作者、事務作業者等の安全性確保や作業効率向上を図る技術として広く利用される。
INDUSTRIAL APPLICABILITY The present invention is widely used as a technique for preventing a vehicle driver from falling asleep, responding to an operation request at an
１０；眠気又は覚醒レベル評価装置、１１；頭部運動検出手段、１２；眼球運動検出手段、１３；頭部角速度算出手段、１４；眼球回転角速度算出手段、１５；振動検出手段、１６；加振手段、１７；解析区間算出手段、１８；平均回転角速度算出手段、１９；評価手段。 10; Drowsiness or arousal level evaluation device, 11; Head motion detection means, 12; Eye motion detection means, 13; Head angular velocity calculation means, 14; Eye rotation angular velocity calculation means, 15; Vibration detection means, 16; Vibration Means, 17; analysis section calculation means, 18; average rotational angular velocity calculation means, 19; evaluation means.
Claims (22)
頭部運動により誘発される眼球運動を検出する眼球運動検出手段と、
前記頭部運動検出手段により検出された頭部運動データに基づいて頭部回転角速度を算出する頭部回転角速度算出手段と、
前記眼球運動検出手段により検出された眼球運動データに基づいて眼球回転角速度を算出する眼球回転角速度算出手段と、
前記振動源の振動周期に基づいて解析区間を算出する解析区間算出手段と、
前記解析区間において、前記頭部回転角速度及び前記眼球回転角速度をそれぞれ加算平均して単位時間当たりの平均頭部回転角速度及び平均眼球回転角速度を算出する平均回転角速度算出手段と、
前記平均頭部回転角速度と前記平均眼球回転角速度から前庭動眼反射（ＶＯＲ）を検出し、前記前庭動眼反射に基づき眠気又は覚醒レベルを評価する評価手段と、
を備えることを特徴とする眠気又は覚醒レベル評価装置。 Head motion detecting means for detecting head motion by a vibration source that causes periodic vibration, and
Eye movement detection means for detecting eye movement induced by head movement,
A head rotation angular velocity calculating means for calculating the head rotation angular velocity based on the head motion data detected by the head motion detecting means, and a head rotation angular velocity calculating means.
An eyeball rotation angular velocity calculating means for calculating the eyeball rotation angular velocity based on the eyeball movement data detected by the eyeball movement detecting means, and an eyeball rotation angular velocity calculating means.
An analysis section calculation means for calculating an analysis section based on the vibration cycle of the vibration source, and an analysis section calculation means.
In the analysis section, an average rotation angular velocity calculating means for calculating the average head rotation angular velocity and the average eyeball rotation angular velocity per unit time by adding and averaging the head rotation angular velocity and the eyeball rotation angular velocity, respectively.
An evaluation means for detecting vestibulo-ocular reflex (VOR) from the average head rotation angular velocity and the average eyeball rotation angular velocity and evaluating drowsiness or arousal level based on the vestibulo-ocular reflex.
A drowsiness or arousal level assessor comprising:
前記解析区間算出手段は、前記振動検出手段により検出された振動に基づいて解析区間を算出する請求項１記載の眠気又は覚醒レベル評価装置。 A vibration detecting means for detecting periodic vibration by the vibration source is provided.
The drowsiness or arousal level evaluation device according to claim 1, wherein the analysis section calculating means calculates an analysis section based on the vibration detected by the vibration detecting means.
前記振動検出手段は、前記生体由来の振動を機械的特性、電磁気的特性、光学的特性、熱的特性及び音響的特性のうちの少なくとも１つに基づいて検出することにより振動データを取得し、
前記解析区間算出手段は、前記振動データから抽出される特徴点を基準として前記解析区間を算出する請求項２記載の眠気又は覚醒レベル評価装置。 The vibration generated by the vibration source is a vibration derived from a living body, and is a vibration derived from a living body.
The vibration detecting means acquires vibration data by detecting vibration derived from a living body based on at least one of mechanical characteristics, electromagnetic characteristics, optical characteristics, thermal characteristics, and acoustic characteristics.
The drowsiness or arousal level evaluation device according to claim 2, wherein the analysis section calculation means calculates the analysis section based on the feature points extracted from the vibration data.
前記解析区間算出手段は、前記制御信号を用いて解析区間を算出する請求項１記載の眠気又は覚醒レベル評価装置。 Equipped with a vibrating means that gives periodic vibration by a control signal,
The drowsiness or arousal level evaluation device according to claim 1, wherein the analysis section calculation means calculates an analysis section using the control signal.
ｅ（ｔ） = Ｇ ｈ（ｔ-τ） + ｄｃ +ε（ｔ） ・・・・式（１）
ｅ（ｔ）：眼球回転角速度、Ｇ：ＶＯＲゲイン、ｈ(ｔ)：頭部回転角速度、τ：頭部運動に対する眼球運動の遅れ時間、ｄｃ：定数項、ε（ｔ）：回帰モデルの残差。 The evaluation means calculates the residual (ε) and the residual standard deviation of the regression model represented by the following equation (1), and sets a preset evaluation standard or an initial value of the increase rate of the residual standard deviation. The drowsiness or arousal level evaluation device according to any one of claims 1 to 7, wherein the drowsiness or arousal level is evaluated from the ratio to.
e (t) = G h (t-τ) + dc + ε (t) ・ ・ ・ ・ Equation (1)
e (t): Eye rotation angular velocity, G: VOR gain, h (t): Head rotation angular velocity, τ: Eye movement delay time with respect to head movement, dc: Constant term, ε (t): Regression model remainder difference.
前記評価手段は、検知された瞳孔径に基づき眠気又は覚醒レベルを評価する請求項１乃至１０のいずれかに記載の眠気又は覚醒レベル評価装置。 The eye movement detecting means detects the pupil diameter and
The drowsiness or arousal level evaluation device according to any one of claims 1 to 10, wherein the evaluation means evaluates drowsiness or arousal level based on the detected pupil diameter.
頭部運動により誘発される眼球運動を検出する眼球運動検出機能と、
前記頭部運動検出機能により検出された頭部運動データに基づいて頭部回転角速度を算出する頭部回転角速度算出機能と、
前記眼球運動検出機能により検出された眼球運動データに基づいて眼球回転角速度を算出する眼球回転角速度算出機能と、
前記振動源の振動周期に基づいて解析区間を算出する解析区間算出機能と、
前記解析区間において、前記頭部回転角速度及び前記眼球回転角速度をそれぞれ加算平均して単位時間当たりの平均頭部回転角速度及び平均眼球回転角速度を算出する平均回転角速度算出機能と、
前記平均頭部回転角速度と前記平均眼球回転角速度から前庭動眼反射（ＶＯＲ）を検出し、前記前庭動眼反射に基づき眠気又は覚醒レベルを評価する評価機能と、
をコンピュータに実行させることを特徴とする眠気又は覚醒レベル評価プログラム。 Head movement detection function that detects head movement by a vibration source that causes periodic vibration,
An eye movement detection function that detects eye movements induced by head movements,
A head rotation angular velocity calculation function that calculates the head rotation angular velocity based on the head motion data detected by the head motion detection function, and a head rotation angular velocity calculation function.
An eyeball rotation angular velocity calculation function that calculates the eyeball rotation angular velocity based on the eyeball movement data detected by the eyeball movement detection function, and an eyeball rotation angular velocity calculation function.
An analysis section calculation function that calculates an analysis section based on the vibration cycle of the vibration source, and
In the analysis section, an average rotation angular velocity calculation function for calculating the average head rotation angular velocity and the average eyeball rotation angular velocity per unit time by adding and averaging the head rotation angular velocity and the eyeball rotation angular velocity, respectively.
An evaluation function that detects vestibulo-ocular reflex (VOR) from the average head rotation angular velocity and the average eyeball rotation angular velocity and evaluates drowsiness or arousal level based on the vestibulo-ocular reflex.
A drowsiness or arousal level assessment program characterized by having a computer run.
前記解析区間算出機能は、前記振動検出機能により検出された振動に基づいて解析区間を算出する請求項１２記載の眠気又は覚醒レベル評価プログラム。 It has a vibration detection function that detects periodic vibrations from the vibration source.
The drowsiness or arousal level evaluation program according to claim 12, wherein the analysis section calculation function calculates an analysis section based on the vibration detected by the vibration detection function.
前記振動検出機能は、前記生体由来の振動を機械的特性、電磁気的特性、光学的特性、熱的特性及び音響的特性のうちの少なくとも１つに基づいて検出することにより振動データを取得し、
前記解析区間算出機能は、前記振動データから抽出される特徴点を基準として前記解析区間を算出する請求項１３記載の眠気又は覚醒レベルプログラム。 The vibration generated by the vibration source is a vibration derived from a living body, and is a vibration derived from a living body.
The vibration detection function acquires vibration data by detecting vibration derived from a living body based on at least one of mechanical characteristics, electromagnetic characteristics, optical characteristics, thermal characteristics, and acoustic characteristics.
The drowsiness or arousal level program according to claim 13, wherein the analysis section calculation function calculates the analysis section based on the feature points extracted from the vibration data.
前記解析区間算出機能は、前記制御信号を用いて解析区間を算出する請求項１２記載の眠気又は覚醒レベル評価プログラム。 Equipped with a vibration function that gives periodic vibration by a control signal,
The drowsiness or arousal level evaluation program according to claim 12, wherein the analysis section calculation function calculates an analysis section using the control signal.
ｅ（ｔ） = Ｇ ｈ（ｔ-τ） + ｄｃ +ε（ｔ） ・・・・式（１）
ｅ（ｔ）：眼球回転角速度、Ｇ：ＶＯＲゲイン、ｈ(ｔ)：頭部回転角速度、τ：頭部運動に対する眼球運動の遅れ時間、ｄｃ：定数項、ε（ｔ）：回帰モデルの残差。 The evaluation function calculates the residual (ε) and the residual standard deviation of the regression model represented by the following equation (1), and sets a preset evaluation standard or an initial value of the increase rate of the residual standard deviation. The drowsiness or arousal level evaluation program according to any one of claims 12 to 18, wherein the drowsiness or arousal level is evaluated from the ratio to.
e (t) = G h (t-τ) + dc + ε (t) ・ ・ ・ ・ Equation (1)
e (t): Eye rotation angular velocity, G: VOR gain, h (t): Head rotation angular velocity, τ: Eye movement delay time with respect to head movement, dc: Constant term, ε (t): Regression model remainder difference.
前記評価機能は、検知された瞳孔径に基づき眠気又は覚醒レベルを評価する請求項１２乃至２１のいずれかに記載の眠気又は覚醒レベル評価プログラム。 The eye movement detection function detects the pupil diameter and
The drowsiness or arousal level evaluation program according to any one of claims 12 to 21, wherein the evaluation function evaluates drowsiness or arousal level based on the detected pupil diameter.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019180661A JP2021053240A (en) | 2019-09-30 | 2019-09-30 | Drowsiness or awakening level evaluation device and evaluation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019180661A JP2021053240A (en) | 2019-09-30 | 2019-09-30 | Drowsiness or awakening level evaluation device and evaluation program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021053240A true JP2021053240A (en) | 2021-04-08 |
Family
ID=75273118
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019180661A Pending JP2021053240A (en) | 2019-09-30 | 2019-09-30 | Drowsiness or awakening level evaluation device and evaluation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2021053240A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022234632A1 (en) * | 2021-05-07 | 2022-11-10 | 三菱電機株式会社 | Reflective eye movement evaluation device, reflective eye movement evaluation system, and reflective eye movement evaluation method |
| WO2024122039A1 (en) * | 2022-12-09 | 2024-06-13 | 三菱電機株式会社 | Device for judging degree of concentration and method for judging degree of concentration |
-
2019
- 2019-09-30 JP JP2019180661A patent/JP2021053240A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022234632A1 (en) * | 2021-05-07 | 2022-11-10 | 三菱電機株式会社 | Reflective eye movement evaluation device, reflective eye movement evaluation system, and reflective eye movement evaluation method |
| JP7466766B2 (en) | 2021-05-07 | 2024-04-12 | 三菱電機株式会社 | Reflex eye movement evaluation device, reflex eye movement evaluation system, and reflex eye movement evaluation method |
| WO2024122039A1 (en) * | 2022-12-09 | 2024-06-13 | 三菱電機株式会社 | Device for judging degree of concentration and method for judging degree of concentration |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101576319B1 (en) | Sleepiness signal detector | |
| Solaz et al. | Drowsiness detection based on the analysis of breathing rate obtained from real-time image recognition | |
| US20190239795A1 (en) | Emotion estimation apparatus, method, and program | |
| JP2010128649A (en) | Awakening state determining device and awakening state determining method | |
| JP6066913B2 (en) | Adaptability to work test | |
| JP4867215B2 (en) | Physiological / psychological state determination device, physiological / psychological state determination method, reference data generation device, and reference data generation method. | |
| JPWO2010143535A1 (en) | Sleepiness determination device | |
| JP2019195377A (en) | Data processing device, monitoring system, awakening system, data processing method, and data processing program | |
| JP4977856B2 (en) | Awakening state detection method and awakening state detection device | |
| JP2021053240A (en) | Drowsiness or awakening level evaluation device and evaluation program | |
| JP2015080521A (en) | Awakening device, sheet and method of judging a degree of awakening | |
| JP6935774B2 (en) | Estimating system, learning device, learning method, estimation device and estimation method | |
| JPH0553490B2 (en) | ||
| JP2013252764A (en) | Doze warning device | |
| JP2016146978A (en) | Drowsiness detection device | |
| WO2019124087A1 (en) | Biological state estimating device, method, and program | |
| JP3048918B2 (en) | Concentration estimation device | |
| US9820687B2 (en) | Method for determining drowsiness | |
| JPH09309358A (en) | Inter-vehicle distance warning device | |
| Du et al. | Online vigilance analysis combining video and electrooculography features | |
| JP6648788B1 (en) | Operation control adjustment device and operation control adjustment method | |
| JP2001198113A (en) | Fatigue degree arithmetically operating device | |
| Shirakata et al. | Detect the imperceptible drowsiness | |
| Hirata et al. | Detection and prediction of drowsiness by reflexive eye movements | |
| JP2004089272A (en) | Method and device for biological state estimation, and program |