JP2022182563A - Driver's drowsiness estimation method - Google Patents
Driver's drowsiness estimation method Download PDFInfo
- Publication number
- JP2022182563A JP2022182563A JP2021090180A JP2021090180A JP2022182563A JP 2022182563 A JP2022182563 A JP 2022182563A JP 2021090180 A JP2021090180 A JP 2021090180A JP 2021090180 A JP2021090180 A JP 2021090180A JP 2022182563 A JP2022182563 A JP 2022182563A
- Authority
- JP
- Japan
- Prior art keywords
- drowsiness
- driver
- steering angle
- coherence
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010041349 Somnolence Diseases 0.000 title claims abstract description 152
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims abstract description 21
- 238000002360 preparation method Methods 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 14
- 210000003128 head Anatomy 0.000 description 71
- 230000000694 effects Effects 0.000 description 40
- 230000006399 behavior Effects 0.000 description 31
- 210000000133 brain stem Anatomy 0.000 description 23
- 230000001054 cortical effect Effects 0.000 description 18
- 206010062519 Poor quality sleep Diseases 0.000 description 17
- 238000012423 maintenance Methods 0.000 description 15
- 230000000737 periodic effect Effects 0.000 description 15
- 208000032140 Sleepiness Diseases 0.000 description 10
- 230000037321 sleepiness Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 208000012661 Dyskinesia Diseases 0.000 description 3
- 208000015592 Involuntary movements Diseases 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 210000003710 cerebral cortex Anatomy 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000017311 musculoskeletal movement, spinal reflex action Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000021542 voluntary musculoskeletal movement Effects 0.000 description 2
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003238 somatosensory effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000001720 vestibular Effects 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
Images
Abstract
Description
本発明は、車両運転者の眠気を推定する眠気推定方法に関する。 The present invention relates to a drowsiness estimation method for estimating drowsiness of a vehicle driver.
従来より、車両の運転者の生体状態、特に眠気(覚醒度)を運転者の顔画像や生体情報等から検出される複数の特徴量に基づいて推定する技術が提案されている。
このような車両の運転支援技術では、車両運転中における運転者の生体状態が、リアルタイムに監視され、車両前方の視界や運転機器の操作挙動を妨げない形で非拘束且つ非侵襲的に計測されている。
Conventionally, there have been proposed techniques for estimating the biological state of a vehicle driver, particularly drowsiness (arousal), based on a plurality of feature quantities detected from the driver's face image, biological information, and the like.
In such vehicle driving support technology, the biological condition of the driver is monitored in real time while the vehicle is being driven, and is measured in a non-constraining and non-invasive manner without interfering with the forward visibility of the vehicle or the operating behavior of the driving equipment. ing.
特許文献1の居眠り運転警報装置は、操舵角センサ等の挙動センサと、運転者の画像に基づき画像眠気レベル及び信頼度を判定する画像眠気レベル判定部と、車両挙動に基づき車両挙動眠気レベル及び信頼度を判定する車両挙動眠気レベル判定部と、画像眠気レベル及び信頼度と車両挙動眠気レベル及び信頼度とに基づき総合眠気レベル及び総合信頼度を決定する総合眠気レベル決定部と、総合眠気レベル及び総合信頼度に基づき警報レベルを設定する警報レベル設定部とを備えている。
The drowsy driving warning device of
画像眠気レベル判定部では、既知の評価基準を用いて眠気レベルを判定する。
図8に示すように、運転者の眠気レベルは1から5までの5段階に区分されている。
撮像画像から取得した運転者の動作が、視線移動が早く頻繁で且つ動きが活発で体の動きを伴う場合、眠気レベル1と判定され、唇が開いており視線の動きが鈍い場合、眠気レベル2と判定され、瞬きがゆっくり且つ頻発する場合、眠気レベル3と判定される。
また、意図的な瞬きがあり、頭を振り、あくびが頻発する場合、眠気レベル4と判定され、瞼を閉じる、首が前後に傾く等の動作が検出された場合、最もレベルが高い眠気レベル5と判定される。
The image drowsiness level determination unit determines the drowsiness level using known evaluation criteria.
As shown in FIG. 8, the drowsiness level of the driver is classified into five levels from 1 to 5.
If the motion of the driver acquired from the captured image is fast and frequent, the movement is active and accompanied by body movement, it is determined to be
In addition, when there is intentional blinking, shaking the head, and frequent yawning, it is determined to be
車両の運転は、運転者の視覚、前庭感覚、及び体性感覚等から入力された情報が情報処理された後の動作(出力)であり、運転機器の操作挙動に代表される高次的随意(認知)運動と、頭部姿勢維持等に代表される低次的不随意運動とによって構成されている。
高次的随意機能を司る大脳皮質と低次的不随意機能を司る脳幹は、何れも神経細胞の集合体であり、これらの神経細胞は、所定の発火周波数(発火特性)に従って出力を行う。
平常時、大脳皮質により統括される皮質系活動と脳幹により統括される脳幹系活動とは、相互に追従動作する連動性と律動的に活動する周期性とを備えている。
そこで、脳全体の機能として眠気を一種の軽微な脳動作異常と捉えた場合、眠気によって皮質系活動と脳幹系活動との周期的連動性が損なわれることが予想される。
Driving a vehicle is the action (output) after the information input from the driver's visual sense, vestibular sense, somatosensory, etc. has been processed, and is represented by the operation behavior of driving equipment. It consists of (cognitive) movement and low-level involuntary movements such as maintaining head posture.
Both the cerebral cortex, which controls higher voluntary functions, and the brainstem, which controls lower involuntary functions, are aggregates of nerve cells, and these nerve cells output according to predetermined firing frequencies (firing characteristics).
In normal times, the cortical system activity supervised by the cerebral cortex and the brainstem system activity supervised by the brainstem have interlocking behavior and rhythmic activity.
Therefore, when drowsiness is regarded as a kind of minor brain movement abnormality as a function of the brain as a whole, it is expected that drowsiness impairs the periodic linkage between cortical system activity and brainstem system activity.
特許文献1の居眠り運転警報装置は、撮影された顔の動作(表情)と修正操舵の発生頻度とを用いて総合的に眠気レベルを判定している。
しかし、特許文献1では、皮質系活動と脳幹系活動とを脳内において相互関連する相関性の観点にて評価していないため、十分な判定精度を確保することができない虞がある。
図8の評価基準において、例えば、眠気レベルが高い眠気レベル4の判定は、物理的且つ表面的に発現する運転者の大きな動作を判定するため、判定が容易であり、精度も高いものの、判定が完了するタイミングが遅く、警報等の後処理に支障を来す。
これに対し、眠気レベルが低い眠気レベル2の判定は、運転者の小さな動作を判定するため、判定タイミングは早くすることができるものの、実際の判定が難しく、精度が低くなる傾向がある。
The drowsy driving warning device of
However, in
In the evaluation criteria of FIG. 8, for example, the determination of
On the other hand, determination of
しかも、表情及び修正操舵頻度共に、外部から目視にて認識可能な態様で発現した後、換言すれば、運転者の眠気レベルがある程度増加した後にレベル評価されるものである。
それ故、皮質系活動と脳幹系活動との周期的連動性を抽出し、外部からは容易に認識できない微小な周波数帯域について時系列的に眠気レベルを評価するものではない。
即ち、運転者が眠気を自覚する以前或いは浅い眠気状態を精度良く検出することは容易ではない。
Moreover, both the facial expression and the steering correction frequency are evaluated after they appear in a manner that can be visually recognized from the outside, in other words, after the drowsiness level of the driver has increased to some extent.
Therefore, it is not intended to extract periodic interlocking between cortical system activity and brainstem system activity, and to evaluate drowsiness levels chronologically in minute frequency bands that cannot be easily recognized from the outside.
That is, it is not easy to accurately detect the state of light drowsiness before the driver becomes aware of drowsiness.
本発明の目的は、運転者が自覚する前の眠気或いは浅い眠気状態を精度良く検出可能な運転者の眠気推定方法等を提供することである。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a method for estimating driver drowsiness, etc., capable of accurately detecting drowsiness before the driver becomes aware of it or light drowsiness.
請求項1の運転者の眠気推定方法は、車両の運転者の眠気を推定する運転者の眠気推定方法であって、運転者の頭部挙動を検出する頭部挙動検出手段と、運転者の舵角操作による操舵角を検出する操舵角検出手段とを準備する準備工程と、前記頭部挙動検出手段が検出した頭部挙動に基づき頭部ロール角を演算する頭部ロール角演算工程と、前記操舵角検出手段が検出した前記操舵角と前記頭部ロール角とのコヒーレンスを演算するコヒーレンス演算工程と、前記コヒーレンスが第1閾値以上第2閾値未満のとき、予め設定した第1眠気レベルと判定すると共に、前記第1閾値未満のとき、前記第1眠気レベルよりも眠気が強い第2眠気レベルと判定する眠気レベル判定工程と、を有することを特徴としている。
A driver drowsiness estimation method according to
この運転者の眠気推定方法では、運転者の頭部挙動を検出する頭部挙動検出手段と、運転者の操舵操作による操舵角を検出する操舵角検出手段とを準備する準備工程を有するため、運転者の頭部挙動と高次的随意運動である運転者によるステアリングの舵角操作を反映した操舵角とを確実に抽出することができる。
前記頭部挙動検出手段が検出した頭部挙動に基づき頭部ロール角を演算する頭部ロール角演算工程を有するため、脳幹系活動として不随意に実行される低次的不随意運動を反映した運転者の頭部ロール角を演算することができる。
前記操舵角検出手段が検出した前記操舵角と前記頭部ロール角とのコヒーレンスを演算するコヒーレンス演算工程を有するため、皮質系活動結果である操舵角と脳幹系活動結果である頭部ロール角との周期的連動性を微小周波数帯域において演算することができる。
前記コヒーレンスが第1閾値以上第2閾値未満のとき、予め設定した第1眠気レベルと判定すると共に、前記第1閾値未満のとき、前記第1眠気レベルよりも眠気が強い第2眠気レベルと判定する眠気レベル判定工程を有するため、皮質系活動と脳幹系活動との周期的連動性に基づき運転者が自覚する前の眠気或いは浅い眠気状態を判定することができる。
Since this method for estimating driver drowsiness includes a preparation step of preparing head behavior detection means for detecting the driver's head behavior and steering angle detection means for detecting the steering angle by the driver's steering operation, It is possible to reliably extract the driver's head behavior and the steering angle that reflects the driver's steering angle operation, which is a high-order voluntary movement.
Since it has a head roll angle calculation step of calculating a head roll angle based on the head behavior detected by the head behavior detection means, it reflects low-order involuntary movements that are performed involuntarily as brainstem activity. A driver's head roll angle can be calculated.
Since there is a coherence calculation step of calculating the coherence between the steering angle detected by the steering angle detection means and the head roll angle, the steering angle that is the result of cortical system activity and the head roll angle that is the result of brainstem system activity are calculated. can be computed in a very small frequency band.
When the coherence is greater than or equal to a first threshold and less than a second threshold, it is determined to be a preset first drowsiness level, and when it is less than the first threshold, it is determined to be a second drowsiness level that is stronger than the first drowsiness level. Since it has a drowsiness level determination step, drowsiness before the driver becomes aware of it or light drowsiness state can be determined based on the periodic interlocking between the cortical system activity and the brainstem system activity.
請求項2の発明は、請求項1の発明において、前記コヒーレンス演算工程においては、周波数帯域が0.2Hz以下の前記操舵角及び頭部ロール角とを用いてコヒーレンスを演算することを特徴としている。
この構成によれば、皮質系活動と脳幹系活動との同期性が顕著に現れる周波数帯域において操舵角と頭部ロール角との周期的連動性を演算することができ、眠気レベル判定の精度を向上することができる。
The invention of
According to this configuration, it is possible to calculate the periodic interlocking relationship between the steering angle and the head roll angle in the frequency band where the synchrony between the cortical system activity and the brainstem system activity remarkably appears. can be improved.
請求項3の発明は、請求項1又は2の発明において、前記コヒーレンス演算工程においては、前記操舵角が所定閾値以上のとき、前記コヒーレンスを演算することを特徴としている。
この構成によれば、皮質系活動と脳幹系活動との同期性が顕著に現れる走行環境において操舵角と頭部ロール角動作との周期的連動性を演算することができ、眠気レベル判定の精度を更に向上することができる。
The invention of
According to this configuration, it is possible to calculate the periodic interlocking relationship between the steering angle and the head roll angle motion in a driving environment in which the synchrony between the cortical system activity and the brainstem system activity remarkably appears, and the accuracy of drowsiness level determination. can be further improved.
請求項4の発明は、請求項1~3の何れか1項の発明において、前記準備工程においては、運転者が覚醒状態であって、周波数帯域が0.06Hz以上且つ0.15Hz以下の前記操舵角及び頭部ロール角とを用いて演算されたコヒーレンスに基づき前記第1,第2閾値を予め設定すると共に、前記予め設定された第1,第2閾値を記憶媒体に保存することを特徴としている。
この構成によれば、運転者が自覚する前の眠気或いは浅い眠気状態において、覚醒維持支援を実行することができ、覚醒維持支援の効果を高めることができる。
The invention of
According to this configuration, wakefulness maintenance support can be executed in a state of drowsiness or light sleepiness before the driver becomes aware of it, and the effect of wakefulness maintenance support can be enhanced.
本発明の運転者の眠気推定方法によれば、皮質系活動と脳幹系活動との周期的連動性を評価することにより、運転者が自覚する前の眠気或いは浅い眠気状態を精度良く検出することができる。 According to the method for estimating driver drowsiness of the present invention, drowsiness before the driver becomes aware of it or light drowsiness can be accurately detected by evaluating the periodic linkage between cortical system activity and brainstem system activity. can be done.
以下、本発明の実施形態を図面に基づいて詳細に説明する。
以下の説明は、本発明を車両(ドライビングシミュレータ)に乗車した運転者に適用したものを例示したものであり、本発明、その適用物、或いは、その用途を制限するものではない。
BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail based on the drawings.
The following description exemplifies the application of the present invention to a driver riding in a vehicle (driving simulator), and does not limit the present invention, its applications, or its uses.
以下、本発明の実施例1について図1~図8に基づいて説明する。
眠気推定装置1は、車両運転時、運転者が自覚する前段階の眠気レベル或いは極めて浅い眠気状態を脳内機能に係る予兆(コヒーレンス)を介して判定している。
この眠気推定装置1は、極めて浅い眠気状態が判定されたとき、運転者の覚醒度を回復させる覚醒維持制御を実行する一方、高い眠気状態が判定されたとき、危険回避のために異常時制御が実行される。
The drowsiness estimating
This
図1に示すように、眠気推定装置1は、車内カメラ2(頭部挙動検出手段)と、操舵角センサ3(操舵角検出手段)と、1又は複数のディスプレイ4と、音声出力装置5と、ステアリング制御装置6と、ブレーキ制御装置7と、アクセル制御装置8と、ECU(Electronic Control Unit)10とを主な構成要素としている。
As shown in FIG. 1, the
車内カメラ2は、運転者の頭部挙動の時系列データを100mmsec毎に得るため、例えば、フロントガラス(図示略)の内側に設置されている。この車内カメラ2は、ステアリング(図示略)を操作する運転者を含む室内状況を撮影可能なCCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサである。車内カメラ2により撮影された画像は、車載ネットワーク(図示略)を介してECU10に送信される。操舵角センサ3は、運転操作挙動の1つであるステアリングの操舵角を100mmsec毎に検出し、検出した操舵角をECU10に出力している。
The in-
各ディバイス4~8は、ECU10からの指令信号を受信して規定された動作を行う。
ディスプレイ4は、運転者が視認可能なディスプレイであり、インストルメントパネル(図示略)上に配設されたセンタディスプレイ、ヘッドアップディスプレイ等が含まれている。ディスプレイ4は、浅い眠気状態(例えば、眠気レベル2)が判定された覚醒維持制御の実行時、運転操作に支障が生じない範囲で運転者に対して視覚刺激を付与する。例えば、自車両前方の走行車線画像の輝度或いは明度を高く(又は低く)する、また、運転に支障が生じない程度に警報を表示しても良い。
Each of the
The
音声出力装置5は、覚醒維持制御の実行時、運転操作に支障が生じない範囲で運転者に対して聴覚刺激を付与する。例えば、低音量で予め設定されたBGM等を流す。
ディスプレイ4と音声出力装置5は、覚醒維持制御の実行時、主に作動している。
高い眠気状態(例えば、眠気レベル3)が判定された異常時制御の実行時、ディスプレイ4は視覚情報を介して運転者に覚醒維持制御の実行時よりも強く警告し、音声出力装置5は音声を介して運転者に覚醒維持制御の実行時よりも強く警告している。
The
The
When executing abnormal control in which a high drowsiness state (for example, drowsiness level 3) is determined, the
ステアリング制御装置6は、車両がカーブを曲がるための操舵角を制御する。ブレーキ制御装置7は、車両を減速させるための制動力を生成する。アクセル制御装置8は、車両が走行するための駆動力を生成する。例えば、高い眠気状態が推定されて異常時と判定された場合、異常出力が行われ、危険回避を行うべく車両主導で車速低下、路肩への緊急停車する異常時制御が行われる。
A
次に、ECU10について説明する。
ECU10は、各種プログラムを実行する中央演算処理部、メモリ(RAM、ROM)、及び入出力バス等によって構成されている。図1に示すように、ECU10は、頭部ロール角演算部11と、コヒーレンス演算部12と、眠気レベル判定部13等を備えている。
尚、以下の説明は、眠気推定装置1を用いた眠気推定方法の説明を含むものである。
Next, the
The
Note that the following description includes a description of a drowsiness estimation method using the
頭部ロール角演算部11は、車内カメラ2により運転中継続して時系列に撮影された画像から運転者の頭部挙動を抽出し、この頭部挙動のうち頭部ロール角動作に基づき運転者の頭部ロール角を演算している。尚、頭部ロール角は、車体前後方向軸を回転中心軸にしたとき、回転中心軸回りの頭部の左右方向の傾斜角と定義される。
コヒーレンス演算部12は、操舵角センサ3が検出した操舵角と頭部ロール角とのコヒーレンス値を演算している。
The head roll
A
ここで、車両運転時における操舵角と運転者の頭部ロール角との相関関係を明らかにするため、ドライビングシミュレータ(以下、DSと略す)を用いた検証実験を行った。
図2に示すように、DSは、12箇所の直線と12箇所のカーブが交互に連続して形成されたコースである。実験条件は、目標車速80km/h、走行時間約60分である。
カーブは、操舵角が判定閾値(例えば、約30°)以上必要な曲率半径を有する。
尚、検証実験中、運転者による運転操作挙動に対応した車両挙動(車速、アクセルペダルの踏込量、ステアリングの操舵角)と、運転者の頭部挙動(頭部ヨー角、頭部ピッチ角、頭部ロール角)と、予め設定された評価基準(図8参照)に基づく運転者の眠気レベルとを時系列的に検出した。
Here, in order to clarify the correlation between the steering angle and the driver's head roll angle during vehicle driving, a verification experiment was conducted using a driving simulator (hereinafter abbreviated as DS).
As shown in FIG. 2, DS is a course in which 12 straight lines and 12 curves are alternately formed continuously. The experimental conditions are a target vehicle speed of 80 km/h and a running time of about 60 minutes.
The curve has a radius of curvature that requires a steering angle greater than or equal to a decision threshold (eg, about 30°).
During the verification experiment, the vehicle behavior (vehicle speed, accelerator pedal depression amount, steering angle) corresponding to the driver's driving operation behavior, and the driver's head behavior (head yaw angle, head pitch angle, head roll angle) and the drowsiness level of the driver based on preset evaluation criteria (see FIG. 8) were detected in chronological order.
図3(a)~図3(d)に示すように、眠気レベル4以上の領域では、車速(a)、アクセル踏込量(b)、操舵角(c)の全てにおいて大きな乱れが生じる。眠気レベル2付近の領域では、車速(a)及びアクセル踏込量(b)の乱れは殆どなく、操舵角(c)のみ乱れが発生している。これにより、眠気レベル2付近において、運転中、大脳皮質により統括される皮質系活動のうち操舵角(c)に他の皮質系活動よりも変化が見られることが判明した。
As shown in FIGS. 3(a) to 3(d), in the region of
図4(a)~図4(d)に示すように、眠気レベル4以上の領域では、頭部ヨー角(a)、頭部ピッチ角(b)、頭部ロール角(c)の全てにおいて大きな乱れが生じる。眠気レベル2付近の領域では、頭部ヨー角(a)及び頭部ピッチ角(b)に大きな変化はなく、頭部ロール角(c)のみ大きな変化が発生している。これにより、眠気レベル2付近において、運転中、脳幹により統括される脳幹系活動のうち頭部ロール角(c)に他の脳幹系活動よりも変化が見られることが判明した。
As shown in FIGS. 4(a) to 4(d), in the region of
上記解析結果を踏まえ、周波数別のコヒーレンス値が周期的連動性に相当することから、操舵角と頭部ロール角の時系列データについて、周波数別のコヒーレンス値をコヒーレンス(関連度関数)を用いて演算した。尚、コヒーレンスの演算には、高速フーリエ変換(FFT)又は周波数解析手法を使用した。 Based on the above analysis results, since the coherence value for each frequency corresponds to periodic interlocking, for the time-series data of the steering angle and head roll angle, the coherence value for each frequency is calculated using the coherence (relevance function). Calculated. Fast Fourier transform (FFT) or frequency analysis method was used for coherence calculation.
図5に、操舵角と頭部ロール角とのコヒーレンス解析結果を示す。
解析結果では、操舵角と頭部ロール角とのコヒーレンス値(相関強度)が周波数帯域毎に0~1の値で表されている。明度が高い領域程、コヒーレンス値が高く、コヒーレンス値の最大値は1.0とされている。
FIG. 5 shows the results of coherence analysis of the steering angle and head roll angle.
In the analysis results, the coherence value (correlation strength) between the steering angle and the head roll angle is expressed as a value between 0 and 1 for each frequency band. The higher the brightness of the region, the higher the coherence value, and the maximum value of the coherence value is 1.0.
図5に示すように、DSにおける直線、カーブ等の操作状況に拘らず、周波数帯域が高い程、コヒーレンス値が低く(暗く)なる傾向がある。
一方、所定の微小周波数(例えば、0.2Hz)以下の周波数帯域では、各カーブ領域に対応してコヒーレンス値が高い(明るい)領域が存在する。
これにより、運転者が覚醒状態のとき(正常時)、微小周波数帯域では、皮質系活動結果である操舵角と脳幹系活動結果である頭部ロール角とは周期的連動性を有していることが判明した。
As shown in FIG. 5, the higher the frequency band, the lower (darker) the coherence value tends to be, regardless of the operational status of straight lines, curves, etc. in DS.
On the other hand, in a frequency band equal to or lower than a predetermined minute frequency (for example, 0.2 Hz), there is a region with a high coherence value (bright) corresponding to each curve region.
As a result, when the driver is in an awake state (normal state), the steering angle, which is the result of cortical system activity, and the head roll angle, which is the result of brainstem system activity, have periodic interlocking in the minute frequency band. It has been found.
また、図5に示すように、微小周波数帯域であっても、眠気レベルが上昇する程、つまり、走行時間が長期化する程、操舵角と頭部ロール角との相互同期性は崩れており、両者のコヒーレンス値は低くなる傾向がある。
これにより、眠気の発生によって皮質系活動と脳幹系活動との周期的連動性が損なわれる点、即ち、脳全体の機能として眠気を一種の軽微な脳動作異常と捉えることができる点が実験データにより確認された。
Further, as shown in FIG. 5, even in the minute frequency band, the higher the drowsiness level, that is, the longer the running time, the more the mutual synchronization between the steering angle and the head roll angle is lost. , the coherence values of both tend to be low.
As a result, the experimental data show that drowsiness impairs the periodic linkage between cortical and brainstem system activities, that is, drowsiness can be regarded as a kind of minor brain movement abnormality as a function of the entire brain. Confirmed by
次に、周期的連動性が生じる微小周波数帯域のうち、0.06Hz、0.12Hz、0.18Hz、0.23Hzの4つの周波数帯域について、1番目~4番目、6番目、9番目、11番目のカーブ地点P1~P7におけるコヒーレンス値を夫々求め、相関関係を示すグラフを作成した。0.06Hz、0.12Hzの周波数帯域における眠気レベル4を除き、何れの周波数帯域も、眠気レベルが高い程コヒーレンス値が減少する特性を備えている。
Next, among the minute frequency bands in which periodic interlocking occurs, for the four frequency bands of 0.06 Hz, 0.12 Hz, 0.18 Hz, and 0.23 Hz, the 1st to 4th, 6th, 9th, and 11th The coherence values at the 1-th curve points P1 to P7 were obtained, and a graph showing the correlation was created. Except for
図6に示すように、覚醒状態に相当する眠気レベル1(地点P1)では、0.2Hz以下の微小周波数帯域におけるコヒーレンス値が0.9(第2閾値)以上である。
眠気レベル2(地点P3)では、何れの周波数帯域のコヒーレンス値も略07(第1閾値)以上であり、0.2Hz以下の微小周波数帯域のコヒーレンス値に限れば全てのコヒーレンス値が0.7以上である。眠気レベル3(地点P5)では、0.2Hz以下の微小周波数帯域のコヒーレンス値が0.7以上であり、眠気レベル3を若干超えれば(地点P6)、全てのコヒーレンス値が0.7未満になる。
As shown in FIG. 6, at drowsiness level 1 (point P1) corresponding to the wakeful state, the coherence value in the minute frequency band of 0.2 Hz or less is 0.9 (second threshold) or more.
At drowsiness level 2 (point P3), the coherence value of any frequency band is approximately 07 (first threshold value) or more, and if limited to the coherence value of a minute frequency band of 0.2 Hz or less, all coherence values are 0.7. That's it. At drowsiness level 3 (point P5), the coherence value in the minute frequency band of 0.2 Hz or less is 0.7 or more. Become.
以上を踏まえ、本実施形態では、コヒーレンス値が0.9以上のとき、眠気レベル1と判定し、0.7以上0.9未満のとき、眠気レベル2と判定し、0.7未満のとき、眠気レベル3と規定している。換言すれば、第1閾値である0.7及び第2閾値である0.9は、周波数帯域が0.2Hz以下、特に0.06Hz以上且つ0.15Hz以下の操舵角及び頭部ロール角とを用いて演算されたコヒーレンス値と言うことができ、予め車両の記憶媒体(例えば、ハードディスク等)に保存されている。即ち、第1,第2閾値は、0.2Hz以下の周波数帯域のコヒーレンス値を用いて設定し、眠気レベルについても、0.2Hz以下の周波数帯域のコヒーレンス値を用いて判定している。
Based on the above, in the present embodiment, when the coherence value is 0.9 or more, it is determined to be
ECU10の説明に戻る。
眠気レベル判定部13は、コヒーレンス演算部12が演算したコヒーレンス値が0.7以上0.9未満のとき、予め設定された眠気レベル2と判定し、コヒーレンス値が0.7未満のとき、眠気レベル2よりも眠気が強い眠気レベル3と判定している。
ECU10は、眠気レベル判定部13が眠気レベル2を判定したとき、覚醒維持制御を実行し、眠気レベル3を判定したとき、異常時制御を実行する。尚、眠気レベル1が判定されたときは、何れの制御も実行されない。
It returns to description of ECU10.
When the coherence value calculated by the
The
次に、図7のフローチャートに基づいて、眠気推定処理について説明する。
尚、Si(i=1,2…)は、各処理のためのステップを示す。
まず、図7に示すように眠気推定装置1では、車内カメラ2が取得した撮影データ、操舵角センサ3が検出した操舵角、及び第1,第2閾値に相当するコヒーレンス値等各種情報を読み込み(S1)、S2へ移行する。また、S1は、車内カメラ2及び操舵角センサ3を準備する準備工程を兼ねている。
Next, drowsiness estimation processing will be described based on the flowchart of FIG.
Note that Si (i=1, 2, . . . ) indicates steps for each process.
First, as shown in FIG. 7, the
S2では、運転者が操作したステアリングの操舵角が判定閾値以上か否か判定する。
S2の判定の結果、操舵角が判定閾値以上の場合、カーブ走行中であり、皮質系活動と脳幹系活動との周期的連動性を眠気レベル判定に使用できるため、S3に移行する。
S2の判定の結果、操舵角が判定閾値未満の場合、直線走行中であり、皮質系活動と脳幹系活動との周期的連動性が低く、この走行シーンにおける周期的連動性を眠気レベル判定に使用することが難しいため、リターンする。
S3では、頭部ロール角演算部11が運転者の頭部ロール角を演算した後、コヒーレンス演算部12がコヒーレンス値を演算する(S4)。
In S2, it is determined whether or not the steering angle of the steering wheel operated by the driver is greater than or equal to the determination threshold.
As a result of the determination in S2, if the steering angle is equal to or greater than the determination threshold value, the vehicle is traveling on a curve, and the periodic interlocking between cortical system activity and brainstem system activity can be used to determine the drowsiness level, so the process proceeds to S3.
As a result of the determination in S2, if the steering angle is less than the determination threshold value, the vehicle is running in a straight line, and the periodic linkage between the cortical system activity and the brainstem system activity is low. Return because it is difficult to use.
In S3, after the head
S5では、コヒーレンス値が第1閾値である0.7未満か否か判定する。
S5の判定の結果、コヒーレンス値が0.7未満である場合、運転者の眠気が強いため、眠気レベル3を判定し(S6)、S7に移行する。
S7では、ECU10が異常時制御を実行した後、リターンする。
S5の判定の結果、コヒーレンス値が0.7以上である場合、S8に移行する。
In S5, it is determined whether or not the coherence value is less than 0.7, which is the first threshold.
As a result of the determination in S5, if the coherence value is less than 0.7, the drowsiness of the driver is strong, so
In S7, after the
If the coherence value is 0.7 or more as a result of the determination in S5, the process proceeds to S8.
S8では、コヒーレンス値が第2閾値である0.9未満か否か判定する。
S8の判定の結果、コヒーレンス値が0.9未満である場合、眠気レベル3よりも運転者の眠気が浅いため、眠気レベル2を判定し(S9)、S10に移行する。
S10では、ECU10が覚醒維持制御を実行した後、リターンする。
S8の判定の結果、コヒーレンス値が0.9以上である場合、運転者は全く眠気がなく、正常状態に相当する眠気レベル1であるため、単にリターンする。
In S8, it is determined whether or not the coherence value is less than the second threshold of 0.9.
As a result of the determination in S8, if the coherence value is less than 0.9, the driver's drowsiness is lighter than
In S10, the
If the coherence value is equal to or greater than 0.9 as a result of the determination in S8, the driver is not drowsy at all and the drowsiness level is 1, which corresponds to a normal state, so the process simply returns.
次に、上記運転者眠気推定方法の作用、効果について説明する。
本運転者眠気推定方法によれば、運転者の頭部挙動を検出する車内カメラ2と、運転者の操舵操作による操舵角を検出する操舵角センサ3とを準備する準備工程(S1)を有するため、運転者の頭部挙動と高次的随意運動である運転者によるステアリングの舵角操作を反映した操舵角とを確実に抽出することができる。
車内カメラ2が検出した頭部挙動に基づき頭部ロール角を演算する頭部ロール角演算工程(S3)を有するため、脳幹系活動として不随意に実行される低次的不随意運動を反映した運転者の頭部ロール角を演算することができる。
操舵角センサ3が検出した操舵角と頭部ロール角とのコヒーレンス値を演算するコヒーレンス演算工程(S4)を有するため、皮質系活動結果である操舵角と脳幹系活動結果である頭部ロール角との周期的連動性を微小周波数帯域において演算することができる。
コヒーレンス値が第1閾値である0.7以上第2閾値である0.9未満のとき、予め設定した眠気レベル2と判定すると共に、第1閾値未満のとき、眠気レベル2よりも眠気が強い眠気レベル3と判定する眠気レベル判定工程(S5,S6,S8,S9)を有するため、皮質系活動と脳幹系活動との周期的連動性に基づき運転者が自覚する前の眠気或いは浅い眠気状態を判定することができる。
Next, the operation and effects of the driver drowsiness estimation method will be described.
According to this method for estimating driver drowsiness, there is a preparatory step (S1) of preparing an in-
Since it has a head roll angle calculation step (S3) that calculates the head roll angle based on the head behavior detected by the in-
Since there is a coherence calculation step (S4) for calculating the coherence value between the steering angle detected by the
When the coherence value is greater than or equal to 0.7, which is the first threshold, and less than 0.9, which is the second threshold, it is determined to be a
コヒーレンス演算工程(S4)においては、周波数帯域が0.2Hz以下の操舵角及び頭部ロール角とを用いてコヒーレンスを演算するため、皮質系活動と脳幹系活動との同期性が顕著に現れる周波数帯域において操舵角と頭部ロール角との周期的連動性を演算することができ、眠気レベル判定の精度を向上することができる。 In the coherence calculation step (S4), since the coherence is calculated using the steering angle and the head roll angle whose frequency band is 0.2 Hz or less, the frequency at which the synchrony between the cortical system activity and the brainstem system activity appears remarkably. It is possible to calculate the periodic linkage between the steering angle and the head roll angle in the band, and improve the accuracy of the drowsiness level determination.
コヒーレンス演算工程(S4)においては、操舵角が所定閾値以上のとき、コヒーレンス値を演算するため、皮質系活動と脳幹系活動との同期性が顕著に現れる走行環境において操舵角と頭部ロール角動作との周期的連動性を演算することができ、眠気レベル判定の精度を更に向上することができる。 In the coherence calculation step (S4), when the steering angle is equal to or greater than a predetermined threshold value, the coherence value is calculated. It is possible to calculate the periodic coherence with motion, and to further improve the accuracy of drowsiness level determination.
準備工程(S1)においては、運転者が覚醒状態であって、周波数帯域が0.06Hz以上且つ0.15Hz以下の操舵角及び頭部ロール角とを用いて演算されたコヒーレンス値に基づき第1,第2閾値を予め設定すると共に、予め設定された第1,第2閾値を記憶媒体に保存するため、運転者が自覚する前の眠気或いは浅い眠気状態において、覚醒維持支援を実行することができ、覚醒維持支援の効果を高めることができる。 In the preparation step (S1), the driver is in an awake state, and a first coherence value is calculated using a steering angle and a head roll angle with a frequency band of 0.06 Hz or more and 0.15 Hz or less. , and second threshold values are set in advance, and the preset first and second threshold values are stored in a storage medium. Therefore, in a state of drowsiness or light drowsiness before the driver becomes aware of it, it is possible to execute wakefulness maintenance support. It is possible to enhance the effect of support for maintaining wakefulness.
次に、前記実施形態を部分的に変更した変形例について説明する。
1〕前記実施形態においては、眠気レベルを5段階に分けた例を説明したが、眠気の有無による2段階評価にして、眠気レベル2相当の眠気が判定された際、覚醒維持制御を行うようにしても良い。
Next, a modified example in which the above embodiment is partially changed will be described.
1) In the above embodiment, an example in which drowsiness levels are divided into five stages was described. You can do it.
2〕前記実施形態においては、第1閾値以上第2閾値未満のとき、眠気レベル2の覚醒維持制御を行い、第1閾値未満のとき、眠気レベル3の異常時制御を行う例を説明したが、閾値を3種類設定し、第1閾値以上第2閾値未満のとき、眠気レベル2の第1覚醒維持制御を行い、第2閾値以上第3閾値未満のとき、眠気レベル3の第1覚醒維持制御よりも刺激が強い第2覚醒維持制御を行い、第3閾値以上のとき、眠気レベル4の異常時制御を実行しても良い。
2) In the above embodiment, an example was described in which wakefulness maintenance control at
3〕その他、当業者であれば、本発明の趣旨を逸脱することなく、前記実施形態に種々の変更を付加した形態で実施可能であり、本発明はそのような変更形態も包含するものである。 3) In addition, those skilled in the art can implement various modifications to the above embodiment without departing from the scope of the present invention, and the present invention includes such modifications. be.
1 眠気推定装置
S3 頭部ロール角演算工程
S4 コヒーレンス演算工程
1 drowsiness estimation device S3 head roll angle calculation step S4 coherence calculation step
Claims (4)
運転者の頭部挙動を検出する頭部挙動検出手段と、運転者の舵角操作による操舵角を検出する操舵角検出手段とを準備する準備工程と、
前記頭部挙動検出手段が検出した頭部挙動に基づき頭部ロール角動作を演算する頭部ロール角演算工程と、
前記操舵角検出手段が検出した前記操舵角と前記頭部ロール角とのコヒーレンスを演算するコヒーレンス演算工程と、
前記コヒーレンスが第1閾値以上第2閾値未満のとき、予め設定した第1眠気レベルと判定すると共に、前記第1閾値未満のとき、前記第1眠気レベルよりも眠気が強い第2眠気レベルと判定する眠気レベル判定工程と、
を有することを特徴とする運転者の眠気推定方法。 A driver drowsiness estimation method for estimating drowsiness of a vehicle driver, comprising:
a preparation step of preparing head behavior detection means for detecting a driver's head behavior and steering angle detection means for detecting a steering angle by a driver's steering angle operation;
a head roll angle calculation step of calculating a head roll angle motion based on the head behavior detected by the head behavior detection means;
a coherence calculation step of calculating the coherence between the steering angle detected by the steering angle detection means and the head roll angle;
When the coherence is greater than or equal to a first threshold and less than a second threshold, it is determined to be a preset first drowsiness level, and when it is less than the first threshold, it is determined to be a second drowsiness level that is stronger than the first drowsiness level. a drowsiness level determination step to
A method for estimating drowsiness of a driver, comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021090180A JP2022182563A (en) | 2021-05-28 | 2021-05-28 | Driver's drowsiness estimation method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021090180A JP2022182563A (en) | 2021-05-28 | 2021-05-28 | Driver's drowsiness estimation method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022182563A true JP2022182563A (en) | 2022-12-08 |
Family
ID=84328508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021090180A Pending JP2022182563A (en) | 2021-05-28 | 2021-05-28 | Driver's drowsiness estimation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022182563A (en) |
-
2021
- 2021-05-28 JP JP2021090180A patent/JP2022182563A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Du et al. | Psychophysiological responses to takeover requests in conditionally automated driving | |
JP6998564B2 (en) | Arousal level estimation device and arousal level estimation method | |
Kang | Various approaches for driver and driving behavior monitoring: A review | |
Haufe et al. | EEG potentials predict upcoming emergency brakings during simulated driving | |
Saini et al. | Driver drowsiness detection system and techniques: a review | |
US20220095975A1 (en) | Detection of cognitive state of a driver | |
JP5255063B2 (en) | Sleepiness sign detection device | |
Zhenhai et al. | Driver drowsiness detection based on time series analysis of steering wheel angular velocity | |
Friedrichs et al. | Camera-based drowsiness reference for driver state classification under real driving conditions | |
JP5326521B2 (en) | Arousal state determination device and arousal state determination method | |
JP6087088B2 (en) | System and method for improving vehicle operator performance estimates | |
Rimini-Doering et al. | Effects of lane departure warning on drowsy drivers' performance and state in a simulator | |
JP2015532743A (en) | How to determine the operating status of a driver | |
EP3885220B1 (en) | Automatically estimating skill levels and confidence levels of drivers | |
Mortazavi et al. | Effect of drowsiness on driving performance variables of commercial vehicle drivers | |
JP6662352B2 (en) | Drowsy driving alarm | |
ITRM20120540A1 (en) | METHOD AND SYSTEM OF CHECKING THE EURO | |
Salzillo et al. | Evaluation of driver drowsiness based on real-time face analysis | |
Wang et al. | Driver fatigue detection technology in active safety systems | |
Lee et al. | Development of three driver state detection models from driving information using vehicle simulator; normal, drowsy and drunk driving | |
Feldhütter et al. | A new approach for a real-time non-invasive fatigue assessment system for automated driving | |
JP2022182563A (en) | Driver's drowsiness estimation method | |
Hirose et al. | Driving characteristics of drivers in a state of low alertness when an autonomous system changes from autonomous driving to manual driving | |
Yang et al. | Driver drowsiness detection through a vehicle's active probe action | |
Raimundo et al. | Driving simulator for performance monitoring with physiological sensors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240321 |