JP2022182563A - Driver's drowsiness estimation method - Google Patents

Driver's drowsiness estimation method Download PDF

Info

Publication number
JP2022182563A
JP2022182563A JP2021090180A JP2021090180A JP2022182563A JP 2022182563 A JP2022182563 A JP 2022182563A JP 2021090180 A JP2021090180 A JP 2021090180A JP 2021090180 A JP2021090180 A JP 2021090180A JP 2022182563 A JP2022182563 A JP 2022182563A
Authority
JP
Japan
Prior art keywords
drowsiness
driver
steering angle
coherence
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021090180A
Other languages
Japanese (ja)
Inventor
誠 吉田
Makoto Yoshida
健 幾久
Ken Ikuhisa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2021090180A priority Critical patent/JP2022182563A/en
Publication of JP2022182563A publication Critical patent/JP2022182563A/en
Pending legal-status Critical Current

Links

Images

Abstract

To provide a driver's drowsiness estimation method which can accurately detect a sleepy or shallow sleepy state before a driver realizes.SOLUTION: A driver's drowsiness estimation method for estimating drowsiness of a driver of a vehicle comprises: a preparation step (S1) of preparing an in-vehicle camera 2 which detects a head behavior of the driver and a steering angle sensor 3 which detects a steering angle by a steering operation of the driver; a head roll angle calculation step (S3) of calculating a head roll angle based on the head behavior detected by the in-vehicle camera 2; a coherence calculation step (S4) of calculating a coherence value of the steering angle and the head roll angle detected by the steering angle sensor 3; and a drowsiness level determination step (S5, S6, S8, S9) of determining a preset drowsiness level 2 when the coherence value is 0.7 or more and less than 0.9 and determining the drowsiness level 3 at which the drowsiness is stronger than the drowsiness level 2 when the coherence value is less than 0.7.SELECTED DRAWING: Figure 7

Description

本発明は、車両運転者の眠気を推定する眠気推定方法に関する。 The present invention relates to a drowsiness estimation method for estimating drowsiness of a vehicle driver.

従来より、車両の運転者の生体状態、特に眠気(覚醒度)を運転者の顔画像や生体情報等から検出される複数の特徴量に基づいて推定する技術が提案されている。
このような車両の運転支援技術では、車両運転中における運転者の生体状態が、リアルタイムに監視され、車両前方の視界や運転機器の操作挙動を妨げない形で非拘束且つ非侵襲的に計測されている。
Conventionally, there have been proposed techniques for estimating the biological state of a vehicle driver, particularly drowsiness (arousal), based on a plurality of feature quantities detected from the driver's face image, biological information, and the like.
In such vehicle driving support technology, the biological condition of the driver is monitored in real time while the vehicle is being driven, and is measured in a non-constraining and non-invasive manner without interfering with the forward visibility of the vehicle or the operating behavior of the driving equipment. ing.

特許文献1の居眠り運転警報装置は、操舵角センサ等の挙動センサと、運転者の画像に基づき画像眠気レベル及び信頼度を判定する画像眠気レベル判定部と、車両挙動に基づき車両挙動眠気レベル及び信頼度を判定する車両挙動眠気レベル判定部と、画像眠気レベル及び信頼度と車両挙動眠気レベル及び信頼度とに基づき総合眠気レベル及び総合信頼度を決定する総合眠気レベル決定部と、総合眠気レベル及び総合信頼度に基づき警報レベルを設定する警報レベル設定部とを備えている。 The drowsy driving warning device of Patent Document 1 includes a behavior sensor such as a steering angle sensor, an image drowsiness level determination unit that determines an image drowsiness level and reliability based on the image of the driver, and a vehicle behavior drowsiness level and a vehicle behavior drowsiness level based on the vehicle behavior. a vehicle behavior drowsiness level determination unit that determines reliability; a total drowsiness level determination unit that determines a total drowsiness level and a total reliability based on the image drowsiness level and reliability and the vehicle behavior drowsiness level and reliability; and a total drowsiness level and an alarm level setting unit for setting an alarm level based on the total reliability.

画像眠気レベル判定部では、既知の評価基準を用いて眠気レベルを判定する。
図8に示すように、運転者の眠気レベルは1から5までの5段階に区分されている。
撮像画像から取得した運転者の動作が、視線移動が早く頻繁で且つ動きが活発で体の動きを伴う場合、眠気レベル1と判定され、唇が開いており視線の動きが鈍い場合、眠気レベル2と判定され、瞬きがゆっくり且つ頻発する場合、眠気レベル3と判定される。
また、意図的な瞬きがあり、頭を振り、あくびが頻発する場合、眠気レベル4と判定され、瞼を閉じる、首が前後に傾く等の動作が検出された場合、最もレベルが高い眠気レベル5と判定される。
The image drowsiness level determination unit determines the drowsiness level using known evaluation criteria.
As shown in FIG. 8, the drowsiness level of the driver is classified into five levels from 1 to 5.
If the motion of the driver acquired from the captured image is fast and frequent, the movement is active and accompanied by body movement, it is determined to be drowsiness level 1, and if the lips are open and the movement of the line of sight is slow, the drowsiness level is determined. If it is determined to be 2 and blinks slowly and frequently, it is determined to be drowsiness level 3.
In addition, when there is intentional blinking, shaking the head, and frequent yawning, it is determined to be drowsiness level 4, and when actions such as closing the eyelids and tilting the neck forward and backward are detected, the highest drowsiness level is detected. 5 is determined.

特許第6662352号公報Japanese Patent No. 6662352

車両の運転は、運転者の視覚、前庭感覚、及び体性感覚等から入力された情報が情報処理された後の動作(出力)であり、運転機器の操作挙動に代表される高次的随意(認知)運動と、頭部姿勢維持等に代表される低次的不随意運動とによって構成されている。
高次的随意機能を司る大脳皮質と低次的不随意機能を司る脳幹は、何れも神経細胞の集合体であり、これらの神経細胞は、所定の発火周波数(発火特性)に従って出力を行う。
平常時、大脳皮質により統括される皮質系活動と脳幹により統括される脳幹系活動とは、相互に追従動作する連動性と律動的に活動する周期性とを備えている。
そこで、脳全体の機能として眠気を一種の軽微な脳動作異常と捉えた場合、眠気によって皮質系活動と脳幹系活動との周期的連動性が損なわれることが予想される。
Driving a vehicle is the action (output) after the information input from the driver's visual sense, vestibular sense, somatosensory, etc. has been processed, and is represented by the operation behavior of driving equipment. It consists of (cognitive) movement and low-level involuntary movements such as maintaining head posture.
Both the cerebral cortex, which controls higher voluntary functions, and the brainstem, which controls lower involuntary functions, are aggregates of nerve cells, and these nerve cells output according to predetermined firing frequencies (firing characteristics).
In normal times, the cortical system activity supervised by the cerebral cortex and the brainstem system activity supervised by the brainstem have interlocking behavior and rhythmic activity.
Therefore, when drowsiness is regarded as a kind of minor brain movement abnormality as a function of the brain as a whole, it is expected that drowsiness impairs the periodic linkage between cortical system activity and brainstem system activity.

特許文献1の居眠り運転警報装置は、撮影された顔の動作(表情)と修正操舵の発生頻度とを用いて総合的に眠気レベルを判定している。
しかし、特許文献1では、皮質系活動と脳幹系活動とを脳内において相互関連する相関性の観点にて評価していないため、十分な判定精度を確保することができない虞がある。
図8の評価基準において、例えば、眠気レベルが高い眠気レベル4の判定は、物理的且つ表面的に発現する運転者の大きな動作を判定するため、判定が容易であり、精度も高いものの、判定が完了するタイミングが遅く、警報等の後処理に支障を来す。
これに対し、眠気レベルが低い眠気レベル2の判定は、運転者の小さな動作を判定するため、判定タイミングは早くすることができるものの、実際の判定が難しく、精度が低くなる傾向がある。
The drowsy driving warning device of Patent Document 1 comprehensively determines the drowsiness level by using photographed facial movements (expressions) and the occurrence frequency of corrective steering.
However, in Patent Literature 1, cortical system activity and brainstem system activity are not evaluated from the viewpoint of interrelationship in the brain, so there is a possibility that sufficient determination accuracy cannot be ensured.
In the evaluation criteria of FIG. 8, for example, the determination of drowsiness level 4, which is a high drowsiness level, is easy to determine and has high accuracy because it determines a large physical and superficial action of the driver. The timing of completion of is late, and it interferes with post-processing such as alarms.
On the other hand, determination of drowsiness level 2, which is a low level of drowsiness, determines a small motion of the driver, and although the determination timing can be accelerated, actual determination is difficult and accuracy tends to be low.

しかも、表情及び修正操舵頻度共に、外部から目視にて認識可能な態様で発現した後、換言すれば、運転者の眠気レベルがある程度増加した後にレベル評価されるものである。
それ故、皮質系活動と脳幹系活動との周期的連動性を抽出し、外部からは容易に認識できない微小な周波数帯域について時系列的に眠気レベルを評価するものではない。
即ち、運転者が眠気を自覚する以前或いは浅い眠気状態を精度良く検出することは容易ではない。
Moreover, both the facial expression and the steering correction frequency are evaluated after they appear in a manner that can be visually recognized from the outside, in other words, after the drowsiness level of the driver has increased to some extent.
Therefore, it is not intended to extract periodic interlocking between cortical system activity and brainstem system activity, and to evaluate drowsiness levels chronologically in minute frequency bands that cannot be easily recognized from the outside.
That is, it is not easy to accurately detect the state of light drowsiness before the driver becomes aware of drowsiness.

本発明の目的は、運転者が自覚する前の眠気或いは浅い眠気状態を精度良く検出可能な運転者の眠気推定方法等を提供することである。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a method for estimating driver drowsiness, etc., capable of accurately detecting drowsiness before the driver becomes aware of it or light drowsiness.

請求項1の運転者の眠気推定方法は、車両の運転者の眠気を推定する運転者の眠気推定方法であって、運転者の頭部挙動を検出する頭部挙動検出手段と、運転者の舵角操作による操舵角を検出する操舵角検出手段とを準備する準備工程と、前記頭部挙動検出手段が検出した頭部挙動に基づき頭部ロール角を演算する頭部ロール角演算工程と、前記操舵角検出手段が検出した前記操舵角と前記頭部ロール角とのコヒーレンスを演算するコヒーレンス演算工程と、前記コヒーレンスが第1閾値以上第2閾値未満のとき、予め設定した第1眠気レベルと判定すると共に、前記第1閾値未満のとき、前記第1眠気レベルよりも眠気が強い第2眠気レベルと判定する眠気レベル判定工程と、を有することを特徴としている。 A driver drowsiness estimation method according to claim 1 is a driver drowsiness estimation method for estimating drowsiness of a driver of a vehicle, comprising: head behavior detection means for detecting the head behavior of the driver; a preparation step of preparing steering angle detection means for detecting a steering angle by a steering angle operation; a head roll angle calculation step of calculating a head roll angle based on the head behavior detected by the head behavior detection means; a coherence calculation step of calculating the coherence between the steering angle detected by the steering angle detection means and the head roll angle; and a preset first drowsiness level when the coherence is greater than or equal to a first threshold and less than a second threshold. and a drowsiness level determination step of determining a second drowsiness level that is stronger than the first drowsiness level when the sleepiness level is less than the first threshold.

この運転者の眠気推定方法では、運転者の頭部挙動を検出する頭部挙動検出手段と、運転者の操舵操作による操舵角を検出する操舵角検出手段とを準備する準備工程を有するため、運転者の頭部挙動と高次的随意運動である運転者によるステアリングの舵角操作を反映した操舵角とを確実に抽出することができる。
前記頭部挙動検出手段が検出した頭部挙動に基づき頭部ロール角を演算する頭部ロール角演算工程を有するため、脳幹系活動として不随意に実行される低次的不随意運動を反映した運転者の頭部ロール角を演算することができる。
前記操舵角検出手段が検出した前記操舵角と前記頭部ロール角とのコヒーレンスを演算するコヒーレンス演算工程を有するため、皮質系活動結果である操舵角と脳幹系活動結果である頭部ロール角との周期的連動性を微小周波数帯域において演算することができる。
前記コヒーレンスが第1閾値以上第2閾値未満のとき、予め設定した第1眠気レベルと判定すると共に、前記第1閾値未満のとき、前記第1眠気レベルよりも眠気が強い第2眠気レベルと判定する眠気レベル判定工程を有するため、皮質系活動と脳幹系活動との周期的連動性に基づき運転者が自覚する前の眠気或いは浅い眠気状態を判定することができる。
Since this method for estimating driver drowsiness includes a preparation step of preparing head behavior detection means for detecting the driver's head behavior and steering angle detection means for detecting the steering angle by the driver's steering operation, It is possible to reliably extract the driver's head behavior and the steering angle that reflects the driver's steering angle operation, which is a high-order voluntary movement.
Since it has a head roll angle calculation step of calculating a head roll angle based on the head behavior detected by the head behavior detection means, it reflects low-order involuntary movements that are performed involuntarily as brainstem activity. A driver's head roll angle can be calculated.
Since there is a coherence calculation step of calculating the coherence between the steering angle detected by the steering angle detection means and the head roll angle, the steering angle that is the result of cortical system activity and the head roll angle that is the result of brainstem system activity are calculated. can be computed in a very small frequency band.
When the coherence is greater than or equal to a first threshold and less than a second threshold, it is determined to be a preset first drowsiness level, and when it is less than the first threshold, it is determined to be a second drowsiness level that is stronger than the first drowsiness level. Since it has a drowsiness level determination step, drowsiness before the driver becomes aware of it or light drowsiness state can be determined based on the periodic interlocking between the cortical system activity and the brainstem system activity.

請求項2の発明は、請求項1の発明において、前記コヒーレンス演算工程においては、周波数帯域が0.2Hz以下の前記操舵角及び頭部ロール角とを用いてコヒーレンスを演算することを特徴としている。
この構成によれば、皮質系活動と脳幹系活動との同期性が顕著に現れる周波数帯域において操舵角と頭部ロール角との周期的連動性を演算することができ、眠気レベル判定の精度を向上することができる。
The invention of claim 2 is characterized in that, in the invention of claim 1, the coherence is calculated using the steering angle and the head roll angle with a frequency band of 0.2 Hz or less in the coherence calculation step. .
According to this configuration, it is possible to calculate the periodic interlocking relationship between the steering angle and the head roll angle in the frequency band where the synchrony between the cortical system activity and the brainstem system activity remarkably appears. can be improved.

請求項3の発明は、請求項1又は2の発明において、前記コヒーレンス演算工程においては、前記操舵角が所定閾値以上のとき、前記コヒーレンスを演算することを特徴としている。
この構成によれば、皮質系活動と脳幹系活動との同期性が顕著に現れる走行環境において操舵角と頭部ロール角動作との周期的連動性を演算することができ、眠気レベル判定の精度を更に向上することができる。
The invention of claim 3 is characterized in that, in the invention of claim 1 or 2, in the coherence calculation step, the coherence is calculated when the steering angle is equal to or greater than a predetermined threshold.
According to this configuration, it is possible to calculate the periodic interlocking relationship between the steering angle and the head roll angle motion in a driving environment in which the synchrony between the cortical system activity and the brainstem system activity remarkably appears, and the accuracy of drowsiness level determination. can be further improved.

請求項4の発明は、請求項1~3の何れか1項の発明において、前記準備工程においては、運転者が覚醒状態であって、周波数帯域が0.06Hz以上且つ0.15Hz以下の前記操舵角及び頭部ロール角とを用いて演算されたコヒーレンスに基づき前記第1,第2閾値を予め設定すると共に、前記予め設定された第1,第2閾値を記憶媒体に保存することを特徴としている。
この構成によれば、運転者が自覚する前の眠気或いは浅い眠気状態において、覚醒維持支援を実行することができ、覚醒維持支援の効果を高めることができる。
The invention of claim 4 is the invention of any one of claims 1 to 3, wherein in the preparation step, the driver is in an awake state and the frequency band is 0.06 Hz or more and 0.15 Hz or less. The first and second thresholds are preset based on coherence calculated using the steering angle and the head roll angle, and the preset first and second thresholds are stored in a storage medium. and
According to this configuration, wakefulness maintenance support can be executed in a state of drowsiness or light sleepiness before the driver becomes aware of it, and the effect of wakefulness maintenance support can be enhanced.

本発明の運転者の眠気推定方法によれば、皮質系活動と脳幹系活動との周期的連動性を評価することにより、運転者が自覚する前の眠気或いは浅い眠気状態を精度良く検出することができる。 According to the method for estimating driver drowsiness of the present invention, drowsiness before the driver becomes aware of it or light drowsiness can be accurately detected by evaluating the periodic linkage between cortical system activity and brainstem system activity. can be done.

実施例1に係る運転者の眠気推定装置のブロック図である。1 is a block diagram of a device for estimating driver drowsiness according to Example 1. FIG. ドライビングシミュレータのコース説明図である。It is a course explanatory drawing of a driving simulator. 運転操作挙動の時系列データであって、(a)は、車速、(b)は、アクセルペダルの踏込量、(c)は、ステアリングの操舵角、(d)は、眠気レベルである。Time-series data of driving behavior, (a) vehicle speed, (b) accelerator pedal depression amount, (c) steering angle, and (d) drowsiness level. 頭部挙動の時系列データであって、(a)は、頭部ヨー角、(b)は、頭部ピッチ角、(c)は、頭部ロール角、(d)は、眠気レベルである。Time-series data of head behavior, where (a) is head yaw angle, (b) is head pitch angle, (c) is head roll angle, and (d) is drowsiness level. . 操舵角と頭部ロール角とのコヒーレンスを周波数帯域毎に示す表である。4 is a table showing coherence between a steering angle and a head roll angle for each frequency band; 眠気レベルとコヒーレンス値との相関関係を示すグラフである。4 is a graph showing the correlation between drowsiness level and coherence value. 眠気推定処理を示すフローチャートである。10 is a flowchart showing drowsiness estimation processing; 眠気レベル評価基準の例である。It is an example of sleepiness level evaluation criteria.

以下、本発明の実施形態を図面に基づいて詳細に説明する。
以下の説明は、本発明を車両(ドライビングシミュレータ)に乗車した運転者に適用したものを例示したものであり、本発明、その適用物、或いは、その用途を制限するものではない。
BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail based on the drawings.
The following description exemplifies the application of the present invention to a driver riding in a vehicle (driving simulator), and does not limit the present invention, its applications, or its uses.

以下、本発明の実施例1について図1~図8に基づいて説明する。
眠気推定装置1は、車両運転時、運転者が自覚する前段階の眠気レベル或いは極めて浅い眠気状態を脳内機能に係る予兆(コヒーレンス)を介して判定している。
この眠気推定装置1は、極めて浅い眠気状態が判定されたとき、運転者の覚醒度を回復させる覚醒維持制御を実行する一方、高い眠気状態が判定されたとき、危険回避のために異常時制御が実行される。
Embodiment 1 of the present invention will be described below with reference to FIGS. 1 to 8. FIG.
The drowsiness estimating device 1 judges the drowsiness level or extremely light drowsiness state that the driver perceives during driving of a vehicle, through a sign (coherence) related to intracerebral functions.
This drowsiness estimation device 1 executes wakefulness maintenance control to recover the driver's wakefulness when an extremely light drowsiness state is determined. is executed.

図1に示すように、眠気推定装置1は、車内カメラ2(頭部挙動検出手段)と、操舵角センサ3(操舵角検出手段)と、1又は複数のディスプレイ4と、音声出力装置5と、ステアリング制御装置6と、ブレーキ制御装置7と、アクセル制御装置8と、ECU(Electronic Control Unit)10とを主な構成要素としている。 As shown in FIG. 1, the drowsiness estimation device 1 includes an in-vehicle camera 2 (head behavior detection means), a steering angle sensor 3 (steering angle detection means), one or more displays 4, and an audio output device 5. , a steering control device 6, a brake control device 7, an accelerator control device 8, and an ECU (Electronic Control Unit) 10 are main components.

車内カメラ2は、運転者の頭部挙動の時系列データを100mmsec毎に得るため、例えば、フロントガラス(図示略)の内側に設置されている。この車内カメラ2は、ステアリング(図示略)を操作する運転者を含む室内状況を撮影可能なCCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサである。車内カメラ2により撮影された画像は、車載ネットワーク(図示略)を介してECU10に送信される。操舵角センサ3は、運転操作挙動の1つであるステアリングの操舵角を100mmsec毎に検出し、検出した操舵角をECU10に出力している。 The in-vehicle camera 2 is installed, for example, inside the windshield (not shown) in order to obtain time-series data of the driver's head behavior every 100 mmsec. The in-vehicle camera 2 is an image sensor such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) capable of photographing the interior conditions including the driver operating the steering wheel (not shown). An image captured by the in-vehicle camera 2 is transmitted to the ECU 10 via an in-vehicle network (not shown). The steering angle sensor 3 detects a steering angle, which is one of the driving behaviors, every 100 mmsec, and outputs the detected steering angle to the ECU 10 .

各ディバイス4~8は、ECU10からの指令信号を受信して規定された動作を行う。
ディスプレイ4は、運転者が視認可能なディスプレイであり、インストルメントパネル(図示略)上に配設されたセンタディスプレイ、ヘッドアップディスプレイ等が含まれている。ディスプレイ4は、浅い眠気状態(例えば、眠気レベル2)が判定された覚醒維持制御の実行時、運転操作に支障が生じない範囲で運転者に対して視覚刺激を付与する。例えば、自車両前方の走行車線画像の輝度或いは明度を高く(又は低く)する、また、運転に支障が生じない程度に警報を表示しても良い。
Each of the devices 4 to 8 receives command signals from the ECU 10 and performs prescribed operations.
The display 4 is a display that can be visually recognized by the driver, and includes a center display, a head-up display, and the like arranged on an instrument panel (not shown). The display 4 provides the driver with a visual stimulus within a range that does not interfere with the driving operation when the wakefulness maintenance control is executed when the light drowsiness state (for example, drowsiness level 2) is determined. For example, the brightness or brightness of the image of the driving lane in front of the vehicle may be increased (or decreased), or an alarm may be displayed to the extent that it does not interfere with driving.

音声出力装置5は、覚醒維持制御の実行時、運転操作に支障が生じない範囲で運転者に対して聴覚刺激を付与する。例えば、低音量で予め設定されたBGM等を流す。
ディスプレイ4と音声出力装置5は、覚醒維持制御の実行時、主に作動している。
高い眠気状態(例えば、眠気レベル3)が判定された異常時制御の実行時、ディスプレイ4は視覚情報を介して運転者に覚醒維持制御の実行時よりも強く警告し、音声出力装置5は音声を介して運転者に覚醒維持制御の実行時よりも強く警告している。
The audio output device 5 provides auditory stimulation to the driver within a range that does not interfere with the driving operation during the execution of the wakefulness maintenance control. For example, BGM or the like set in advance at a low volume is played.
The display 4 and the audio output device 5 are mainly in operation during execution of wakefulness maintenance control.
When executing abnormal control in which a high drowsiness state (for example, drowsiness level 3) is determined, the display 4 warns the driver via visual information more strongly than when the wakefulness maintenance control is executed, and the audio output device 5 outputs sound. to warn the driver more strongly than when the wakefulness maintenance control is executed.

ステアリング制御装置6は、車両がカーブを曲がるための操舵角を制御する。ブレーキ制御装置7は、車両を減速させるための制動力を生成する。アクセル制御装置8は、車両が走行するための駆動力を生成する。例えば、高い眠気状態が推定されて異常時と判定された場合、異常出力が行われ、危険回避を行うべく車両主導で車速低下、路肩への緊急停車する異常時制御が行われる。 A steering control device 6 controls a steering angle for the vehicle to turn a curve. The brake control device 7 generates a braking force for decelerating the vehicle. The accelerator control device 8 generates a driving force for running the vehicle. For example, when a highly drowsy state is estimated and determined to be in an abnormal state, an abnormal output is performed, and in order to avoid danger, vehicle-led control is performed to reduce vehicle speed and make an emergency stop on the shoulder of the road.

次に、ECU10について説明する。
ECU10は、各種プログラムを実行する中央演算処理部、メモリ(RAM、ROM)、及び入出力バス等によって構成されている。図1に示すように、ECU10は、頭部ロール角演算部11と、コヒーレンス演算部12と、眠気レベル判定部13等を備えている。
尚、以下の説明は、眠気推定装置1を用いた眠気推定方法の説明を含むものである。
Next, the ECU 10 will be explained.
The ECU 10 includes a central processing unit that executes various programs, memories (RAM and ROM), an input/output bus, and the like. As shown in FIG. 1, the ECU 10 includes a head roll angle calculator 11, a coherence calculator 12, a drowsiness level determiner 13, and the like.
Note that the following description includes a description of a drowsiness estimation method using the drowsiness estimation device 1 .

頭部ロール角演算部11は、車内カメラ2により運転中継続して時系列に撮影された画像から運転者の頭部挙動を抽出し、この頭部挙動のうち頭部ロール角動作に基づき運転者の頭部ロール角を演算している。尚、頭部ロール角は、車体前後方向軸を回転中心軸にしたとき、回転中心軸回りの頭部の左右方向の傾斜角と定義される。
コヒーレンス演算部12は、操舵角センサ3が検出した操舵角と頭部ロール角とのコヒーレンス値を演算している。
The head roll angle calculation unit 11 extracts the head behavior of the driver from the images continuously captured in time series by the in-vehicle camera 2 while driving, and determines the driving based on the head roll angle movement among the head behaviors. It calculates the head roll angle of the person. The head roll angle is defined as the tilt angle of the head in the horizontal direction around the central axis of rotation when the axis in the longitudinal direction of the vehicle body is the central axis of rotation.
A coherence calculator 12 calculates a coherence value between the steering angle detected by the steering angle sensor 3 and the head roll angle.

ここで、車両運転時における操舵角と運転者の頭部ロール角との相関関係を明らかにするため、ドライビングシミュレータ(以下、DSと略す)を用いた検証実験を行った。
図2に示すように、DSは、12箇所の直線と12箇所のカーブが交互に連続して形成されたコースである。実験条件は、目標車速80km/h、走行時間約60分である。
カーブは、操舵角が判定閾値(例えば、約30°)以上必要な曲率半径を有する。
尚、検証実験中、運転者による運転操作挙動に対応した車両挙動(車速、アクセルペダルの踏込量、ステアリングの操舵角)と、運転者の頭部挙動(頭部ヨー角、頭部ピッチ角、頭部ロール角)と、予め設定された評価基準(図8参照)に基づく運転者の眠気レベルとを時系列的に検出した。
Here, in order to clarify the correlation between the steering angle and the driver's head roll angle during vehicle driving, a verification experiment was conducted using a driving simulator (hereinafter abbreviated as DS).
As shown in FIG. 2, DS is a course in which 12 straight lines and 12 curves are alternately formed continuously. The experimental conditions are a target vehicle speed of 80 km/h and a running time of about 60 minutes.
The curve has a radius of curvature that requires a steering angle greater than or equal to a decision threshold (eg, about 30°).
During the verification experiment, the vehicle behavior (vehicle speed, accelerator pedal depression amount, steering angle) corresponding to the driver's driving operation behavior, and the driver's head behavior (head yaw angle, head pitch angle, head roll angle) and the drowsiness level of the driver based on preset evaluation criteria (see FIG. 8) were detected in chronological order.

図3(a)~図3(d)に示すように、眠気レベル4以上の領域では、車速(a)、アクセル踏込量(b)、操舵角(c)の全てにおいて大きな乱れが生じる。眠気レベル2付近の領域では、車速(a)及びアクセル踏込量(b)の乱れは殆どなく、操舵角(c)のみ乱れが発生している。これにより、眠気レベル2付近において、運転中、大脳皮質により統括される皮質系活動のうち操舵角(c)に他の皮質系活動よりも変化が見られることが判明した。 As shown in FIGS. 3(a) to 3(d), in the region of drowsiness level 4 or higher, large disturbances occur in all of the vehicle speed (a), accelerator depression amount (b), and steering angle (c). In the region near drowsiness level 2, there is almost no disturbance in the vehicle speed (a) and the accelerator depression amount (b), and only the steering angle (c) is disturbed. As a result, it was found that around drowsiness level 2, changes in the steering angle (c) among the cortical system activities supervised by the cerebral cortex during driving were more noticeable than other cortical system activities.

図4(a)~図4(d)に示すように、眠気レベル4以上の領域では、頭部ヨー角(a)、頭部ピッチ角(b)、頭部ロール角(c)の全てにおいて大きな乱れが生じる。眠気レベル2付近の領域では、頭部ヨー角(a)及び頭部ピッチ角(b)に大きな変化はなく、頭部ロール角(c)のみ大きな変化が発生している。これにより、眠気レベル2付近において、運転中、脳幹により統括される脳幹系活動のうち頭部ロール角(c)に他の脳幹系活動よりも変化が見られることが判明した。 As shown in FIGS. 4(a) to 4(d), in the region of drowsiness level 4 or higher, all of the head yaw angle (a), head pitch angle (b), and head roll angle (c) Great turmoil occurs. In the region near drowsiness level 2, the head yaw angle (a) and the head pitch angle (b) do not change significantly, and only the head roll angle (c) changes significantly. As a result, it was found that around drowsiness level 2, changes in the head roll angle (c), which is part of brainstem system activities controlled by the brainstem, are more pronounced than other brainstem system activities during driving.

上記解析結果を踏まえ、周波数別のコヒーレンス値が周期的連動性に相当することから、操舵角と頭部ロール角の時系列データについて、周波数別のコヒーレンス値をコヒーレンス(関連度関数)を用いて演算した。尚、コヒーレンスの演算には、高速フーリエ変換(FFT)又は周波数解析手法を使用した。 Based on the above analysis results, since the coherence value for each frequency corresponds to periodic interlocking, for the time-series data of the steering angle and head roll angle, the coherence value for each frequency is calculated using the coherence (relevance function). Calculated. Fast Fourier transform (FFT) or frequency analysis method was used for coherence calculation.

図5に、操舵角と頭部ロール角とのコヒーレンス解析結果を示す。
解析結果では、操舵角と頭部ロール角とのコヒーレンス値(相関強度)が周波数帯域毎に0~1の値で表されている。明度が高い領域程、コヒーレンス値が高く、コヒーレンス値の最大値は1.0とされている。
FIG. 5 shows the results of coherence analysis of the steering angle and head roll angle.
In the analysis results, the coherence value (correlation strength) between the steering angle and the head roll angle is expressed as a value between 0 and 1 for each frequency band. The higher the brightness of the region, the higher the coherence value, and the maximum value of the coherence value is 1.0.

図5に示すように、DSにおける直線、カーブ等の操作状況に拘らず、周波数帯域が高い程、コヒーレンス値が低く(暗く)なる傾向がある。
一方、所定の微小周波数(例えば、0.2Hz)以下の周波数帯域では、各カーブ領域に対応してコヒーレンス値が高い(明るい)領域が存在する。
これにより、運転者が覚醒状態のとき(正常時)、微小周波数帯域では、皮質系活動結果である操舵角と脳幹系活動結果である頭部ロール角とは周期的連動性を有していることが判明した。
As shown in FIG. 5, the higher the frequency band, the lower (darker) the coherence value tends to be, regardless of the operational status of straight lines, curves, etc. in DS.
On the other hand, in a frequency band equal to or lower than a predetermined minute frequency (for example, 0.2 Hz), there is a region with a high coherence value (bright) corresponding to each curve region.
As a result, when the driver is in an awake state (normal state), the steering angle, which is the result of cortical system activity, and the head roll angle, which is the result of brainstem system activity, have periodic interlocking in the minute frequency band. It has been found.

また、図5に示すように、微小周波数帯域であっても、眠気レベルが上昇する程、つまり、走行時間が長期化する程、操舵角と頭部ロール角との相互同期性は崩れており、両者のコヒーレンス値は低くなる傾向がある。
これにより、眠気の発生によって皮質系活動と脳幹系活動との周期的連動性が損なわれる点、即ち、脳全体の機能として眠気を一種の軽微な脳動作異常と捉えることができる点が実験データにより確認された。
Further, as shown in FIG. 5, even in the minute frequency band, the higher the drowsiness level, that is, the longer the running time, the more the mutual synchronization between the steering angle and the head roll angle is lost. , the coherence values of both tend to be low.
As a result, the experimental data show that drowsiness impairs the periodic linkage between cortical and brainstem system activities, that is, drowsiness can be regarded as a kind of minor brain movement abnormality as a function of the entire brain. Confirmed by

次に、周期的連動性が生じる微小周波数帯域のうち、0.06Hz、0.12Hz、0.18Hz、0.23Hzの4つの周波数帯域について、1番目~4番目、6番目、9番目、11番目のカーブ地点P1~P7におけるコヒーレンス値を夫々求め、相関関係を示すグラフを作成した。0.06Hz、0.12Hzの周波数帯域における眠気レベル4を除き、何れの周波数帯域も、眠気レベルが高い程コヒーレンス値が減少する特性を備えている。 Next, among the minute frequency bands in which periodic interlocking occurs, for the four frequency bands of 0.06 Hz, 0.12 Hz, 0.18 Hz, and 0.23 Hz, the 1st to 4th, 6th, 9th, and 11th The coherence values at the 1-th curve points P1 to P7 were obtained, and a graph showing the correlation was created. Except for drowsiness level 4 in the frequency bands of 0.06 Hz and 0.12 Hz, all frequency bands have the characteristic that the higher the drowsiness level, the lower the coherence value.

図6に示すように、覚醒状態に相当する眠気レベル1(地点P1)では、0.2Hz以下の微小周波数帯域におけるコヒーレンス値が0.9(第2閾値)以上である。
眠気レベル2(地点P3)では、何れの周波数帯域のコヒーレンス値も略07(第1閾値)以上であり、0.2Hz以下の微小周波数帯域のコヒーレンス値に限れば全てのコヒーレンス値が0.7以上である。眠気レベル3(地点P5)では、0.2Hz以下の微小周波数帯域のコヒーレンス値が0.7以上であり、眠気レベル3を若干超えれば(地点P6)、全てのコヒーレンス値が0.7未満になる。
As shown in FIG. 6, at drowsiness level 1 (point P1) corresponding to the wakeful state, the coherence value in the minute frequency band of 0.2 Hz or less is 0.9 (second threshold) or more.
At drowsiness level 2 (point P3), the coherence value of any frequency band is approximately 07 (first threshold value) or more, and if limited to the coherence value of a minute frequency band of 0.2 Hz or less, all coherence values are 0.7. That's it. At drowsiness level 3 (point P5), the coherence value in the minute frequency band of 0.2 Hz or less is 0.7 or more. Become.

以上を踏まえ、本実施形態では、コヒーレンス値が0.9以上のとき、眠気レベル1と判定し、0.7以上0.9未満のとき、眠気レベル2と判定し、0.7未満のとき、眠気レベル3と規定している。換言すれば、第1閾値である0.7及び第2閾値である0.9は、周波数帯域が0.2Hz以下、特に0.06Hz以上且つ0.15Hz以下の操舵角及び頭部ロール角とを用いて演算されたコヒーレンス値と言うことができ、予め車両の記憶媒体(例えば、ハードディスク等)に保存されている。即ち、第1,第2閾値は、0.2Hz以下の周波数帯域のコヒーレンス値を用いて設定し、眠気レベルについても、0.2Hz以下の周波数帯域のコヒーレンス値を用いて判定している。 Based on the above, in the present embodiment, when the coherence value is 0.9 or more, it is determined to be drowsiness level 1, when it is 0.7 or more and less than 0.9, it is determined to be drowsiness level 2, and when it is less than 0.7 , drowsiness level 3. In other words, the first threshold of 0.7 and the second threshold of 0.9 correspond to the steering angle and the head roll angle with a frequency band of 0.2 Hz or less, particularly 0.06 Hz or more and 0.15 Hz or less. can be said to be a coherence value calculated using , and is stored in advance in a vehicle storage medium (for example, a hard disk, etc.). That is, the first and second thresholds are set using the coherence value in the frequency band of 0.2 Hz or less, and the drowsiness level is also determined using the coherence value in the frequency band of 0.2 Hz or less.

ECU10の説明に戻る。
眠気レベル判定部13は、コヒーレンス演算部12が演算したコヒーレンス値が0.7以上0.9未満のとき、予め設定された眠気レベル2と判定し、コヒーレンス値が0.7未満のとき、眠気レベル2よりも眠気が強い眠気レベル3と判定している。
ECU10は、眠気レベル判定部13が眠気レベル2を判定したとき、覚醒維持制御を実行し、眠気レベル3を判定したとき、異常時制御を実行する。尚、眠気レベル1が判定されたときは、何れの制御も実行されない。
It returns to description of ECU10.
When the coherence value calculated by the coherence calculation unit 12 is 0.7 or more and less than 0.9, the drowsiness level determination unit 13 determines that the drowsiness level is 2, and when the coherence value is less than 0.7, the drowsiness level is determined. Drowsiness level 3, which is stronger than level 2, is determined.
The ECU 10 executes wakefulness maintenance control when the drowsiness level determination unit 13 determines drowsiness level 2, and executes abnormal control when the drowsiness level determination unit 13 determines drowsiness level 3. When sleepiness level 1 is determined, no control is executed.

次に、図7のフローチャートに基づいて、眠気推定処理について説明する。
尚、Si(i=1,2…)は、各処理のためのステップを示す。
まず、図7に示すように眠気推定装置1では、車内カメラ2が取得した撮影データ、操舵角センサ3が検出した操舵角、及び第1,第2閾値に相当するコヒーレンス値等各種情報を読み込み(S1)、S2へ移行する。また、S1は、車内カメラ2及び操舵角センサ3を準備する準備工程を兼ねている。
Next, drowsiness estimation processing will be described based on the flowchart of FIG.
Note that Si (i=1, 2, . . . ) indicates steps for each process.
First, as shown in FIG. 7, the drowsiness estimation device 1 reads various information such as photographed data acquired by the in-vehicle camera 2, the steering angle detected by the steering angle sensor 3, and coherence values corresponding to the first and second thresholds. (S1), it shifts to S2. Moreover, S1 also serves as a preparatory step for preparing the in-vehicle camera 2 and the steering angle sensor 3 .

S2では、運転者が操作したステアリングの操舵角が判定閾値以上か否か判定する。
S2の判定の結果、操舵角が判定閾値以上の場合、カーブ走行中であり、皮質系活動と脳幹系活動との周期的連動性を眠気レベル判定に使用できるため、S3に移行する。
S2の判定の結果、操舵角が判定閾値未満の場合、直線走行中であり、皮質系活動と脳幹系活動との周期的連動性が低く、この走行シーンにおける周期的連動性を眠気レベル判定に使用することが難しいため、リターンする。
S3では、頭部ロール角演算部11が運転者の頭部ロール角を演算した後、コヒーレンス演算部12がコヒーレンス値を演算する(S4)。
In S2, it is determined whether or not the steering angle of the steering wheel operated by the driver is greater than or equal to the determination threshold.
As a result of the determination in S2, if the steering angle is equal to or greater than the determination threshold value, the vehicle is traveling on a curve, and the periodic interlocking between cortical system activity and brainstem system activity can be used to determine the drowsiness level, so the process proceeds to S3.
As a result of the determination in S2, if the steering angle is less than the determination threshold value, the vehicle is running in a straight line, and the periodic linkage between the cortical system activity and the brainstem system activity is low. Return because it is difficult to use.
In S3, after the head roll angle calculator 11 calculates the driver's head roll angle, the coherence calculator 12 calculates a coherence value (S4).

S5では、コヒーレンス値が第1閾値である0.7未満か否か判定する。
S5の判定の結果、コヒーレンス値が0.7未満である場合、運転者の眠気が強いため、眠気レベル3を判定し(S6)、S7に移行する。
S7では、ECU10が異常時制御を実行した後、リターンする。
S5の判定の結果、コヒーレンス値が0.7以上である場合、S8に移行する。
In S5, it is determined whether or not the coherence value is less than 0.7, which is the first threshold.
As a result of the determination in S5, if the coherence value is less than 0.7, the drowsiness of the driver is strong, so drowsiness level 3 is determined (S6), and the process proceeds to S7.
In S7, after the ECU 10 executes the abnormality control, the process returns.
If the coherence value is 0.7 or more as a result of the determination in S5, the process proceeds to S8.

S8では、コヒーレンス値が第2閾値である0.9未満か否か判定する。
S8の判定の結果、コヒーレンス値が0.9未満である場合、眠気レベル3よりも運転者の眠気が浅いため、眠気レベル2を判定し(S9)、S10に移行する。
S10では、ECU10が覚醒維持制御を実行した後、リターンする。
S8の判定の結果、コヒーレンス値が0.9以上である場合、運転者は全く眠気がなく、正常状態に相当する眠気レベル1であるため、単にリターンする。
In S8, it is determined whether or not the coherence value is less than the second threshold of 0.9.
As a result of the determination in S8, if the coherence value is less than 0.9, the driver's drowsiness is lighter than drowsiness level 3, so drowsiness level 2 is determined (S9), and the process proceeds to S10.
In S10, the ECU 10 executes wakefulness maintenance control, and then returns.
If the coherence value is equal to or greater than 0.9 as a result of the determination in S8, the driver is not drowsy at all and the drowsiness level is 1, which corresponds to a normal state, so the process simply returns.

次に、上記運転者眠気推定方法の作用、効果について説明する。
本運転者眠気推定方法によれば、運転者の頭部挙動を検出する車内カメラ2と、運転者の操舵操作による操舵角を検出する操舵角センサ3とを準備する準備工程(S1)を有するため、運転者の頭部挙動と高次的随意運動である運転者によるステアリングの舵角操作を反映した操舵角とを確実に抽出することができる。
車内カメラ2が検出した頭部挙動に基づき頭部ロール角を演算する頭部ロール角演算工程(S3)を有するため、脳幹系活動として不随意に実行される低次的不随意運動を反映した運転者の頭部ロール角を演算することができる。
操舵角センサ3が検出した操舵角と頭部ロール角とのコヒーレンス値を演算するコヒーレンス演算工程(S4)を有するため、皮質系活動結果である操舵角と脳幹系活動結果である頭部ロール角との周期的連動性を微小周波数帯域において演算することができる。
コヒーレンス値が第1閾値である0.7以上第2閾値である0.9未満のとき、予め設定した眠気レベル2と判定すると共に、第1閾値未満のとき、眠気レベル2よりも眠気が強い眠気レベル3と判定する眠気レベル判定工程(S5,S6,S8,S9)を有するため、皮質系活動と脳幹系活動との周期的連動性に基づき運転者が自覚する前の眠気或いは浅い眠気状態を判定することができる。
Next, the operation and effects of the driver drowsiness estimation method will be described.
According to this method for estimating driver drowsiness, there is a preparatory step (S1) of preparing an in-vehicle camera 2 for detecting the driver's head behavior and a steering angle sensor 3 for detecting the steering angle by the driver's steering operation. Therefore, it is possible to reliably extract the head behavior of the driver and the steering angle reflecting the rudder angle operation of the steering wheel by the driver, which is a high-order voluntary movement.
Since it has a head roll angle calculation step (S3) that calculates the head roll angle based on the head behavior detected by the in-vehicle camera 2, it reflects low-level involuntary movements that are performed involuntarily as brainstem activity. A driver's head roll angle can be calculated.
Since there is a coherence calculation step (S4) for calculating the coherence value between the steering angle detected by the steering angle sensor 3 and the head roll angle, the steering angle that is the result of cortical system activity and the head roll angle that is the result of brainstem system activity are included. can be computed in a small frequency band.
When the coherence value is greater than or equal to 0.7, which is the first threshold, and less than 0.9, which is the second threshold, it is determined to be a preset sleepiness level 2, and when it is less than the first threshold, sleepiness is stronger than sleepiness level 2. Since the drowsiness level determination step (S5, S6, S8, S9) for determining drowsiness level 3 is provided, the drowsiness or light drowsiness state before the driver becomes aware of it based on the periodic interlocking between the cortical system activity and the brainstem system activity. can be determined.

コヒーレンス演算工程(S4)においては、周波数帯域が0.2Hz以下の操舵角及び頭部ロール角とを用いてコヒーレンスを演算するため、皮質系活動と脳幹系活動との同期性が顕著に現れる周波数帯域において操舵角と頭部ロール角との周期的連動性を演算することができ、眠気レベル判定の精度を向上することができる。 In the coherence calculation step (S4), since the coherence is calculated using the steering angle and the head roll angle whose frequency band is 0.2 Hz or less, the frequency at which the synchrony between the cortical system activity and the brainstem system activity appears remarkably. It is possible to calculate the periodic linkage between the steering angle and the head roll angle in the band, and improve the accuracy of the drowsiness level determination.

コヒーレンス演算工程(S4)においては、操舵角が所定閾値以上のとき、コヒーレンス値を演算するため、皮質系活動と脳幹系活動との同期性が顕著に現れる走行環境において操舵角と頭部ロール角動作との周期的連動性を演算することができ、眠気レベル判定の精度を更に向上することができる。 In the coherence calculation step (S4), when the steering angle is equal to or greater than a predetermined threshold value, the coherence value is calculated. It is possible to calculate the periodic coherence with motion, and to further improve the accuracy of drowsiness level determination.

準備工程(S1)においては、運転者が覚醒状態であって、周波数帯域が0.06Hz以上且つ0.15Hz以下の操舵角及び頭部ロール角とを用いて演算されたコヒーレンス値に基づき第1,第2閾値を予め設定すると共に、予め設定された第1,第2閾値を記憶媒体に保存するため、運転者が自覚する前の眠気或いは浅い眠気状態において、覚醒維持支援を実行することができ、覚醒維持支援の効果を高めることができる。 In the preparation step (S1), the driver is in an awake state, and a first coherence value is calculated using a steering angle and a head roll angle with a frequency band of 0.06 Hz or more and 0.15 Hz or less. , and second threshold values are set in advance, and the preset first and second threshold values are stored in a storage medium. Therefore, in a state of drowsiness or light drowsiness before the driver becomes aware of it, it is possible to execute wakefulness maintenance support. It is possible to enhance the effect of support for maintaining wakefulness.

次に、前記実施形態を部分的に変更した変形例について説明する。
1〕前記実施形態においては、眠気レベルを5段階に分けた例を説明したが、眠気の有無による2段階評価にして、眠気レベル2相当の眠気が判定された際、覚醒維持制御を行うようにしても良い。
Next, a modified example in which the above embodiment is partially changed will be described.
1) In the above embodiment, an example in which drowsiness levels are divided into five stages was described. You can do it.

2〕前記実施形態においては、第1閾値以上第2閾値未満のとき、眠気レベル2の覚醒維持制御を行い、第1閾値未満のとき、眠気レベル3の異常時制御を行う例を説明したが、閾値を3種類設定し、第1閾値以上第2閾値未満のとき、眠気レベル2の第1覚醒維持制御を行い、第2閾値以上第3閾値未満のとき、眠気レベル3の第1覚醒維持制御よりも刺激が強い第2覚醒維持制御を行い、第3閾値以上のとき、眠気レベル4の異常時制御を実行しても良い。 2) In the above embodiment, an example was described in which wakefulness maintenance control at sleepiness level 2 is performed when the first threshold value is greater than or equal to the second threshold value and less than the second threshold value, and abnormal control at sleepiness level 3 is performed when the value is less than the first threshold value. , three types of thresholds are set, and when the first threshold or more and less than the second threshold, the first wakefulness maintenance control of drowsiness level 2 is performed, and when the second threshold or more and less than the third threshold, the first wakefulness maintenance of drowsiness level 3 is performed. A second wakefulness maintenance control with a stronger stimulus than the control may be performed, and when the third threshold is equal to or higher, the sleepiness level 4 abnormality control may be performed.

3〕その他、当業者であれば、本発明の趣旨を逸脱することなく、前記実施形態に種々の変更を付加した形態で実施可能であり、本発明はそのような変更形態も包含するものである。 3) In addition, those skilled in the art can implement various modifications to the above embodiment without departing from the scope of the present invention, and the present invention includes such modifications. be.

1 眠気推定装置
S3 頭部ロール角演算工程
S4 コヒーレンス演算工程
1 drowsiness estimation device S3 head roll angle calculation step S4 coherence calculation step

Claims (4)

車両の運転者の眠気を推定する運転者の眠気推定方法であって、
運転者の頭部挙動を検出する頭部挙動検出手段と、運転者の舵角操作による操舵角を検出する操舵角検出手段とを準備する準備工程と、
前記頭部挙動検出手段が検出した頭部挙動に基づき頭部ロール角動作を演算する頭部ロール角演算工程と、
前記操舵角検出手段が検出した前記操舵角と前記頭部ロール角とのコヒーレンスを演算するコヒーレンス演算工程と、
前記コヒーレンスが第1閾値以上第2閾値未満のとき、予め設定した第1眠気レベルと判定すると共に、前記第1閾値未満のとき、前記第1眠気レベルよりも眠気が強い第2眠気レベルと判定する眠気レベル判定工程と、
を有することを特徴とする運転者の眠気推定方法。
A driver drowsiness estimation method for estimating drowsiness of a vehicle driver, comprising:
a preparation step of preparing head behavior detection means for detecting a driver's head behavior and steering angle detection means for detecting a steering angle by a driver's steering angle operation;
a head roll angle calculation step of calculating a head roll angle motion based on the head behavior detected by the head behavior detection means;
a coherence calculation step of calculating the coherence between the steering angle detected by the steering angle detection means and the head roll angle;
When the coherence is greater than or equal to a first threshold and less than a second threshold, it is determined to be a preset first drowsiness level, and when it is less than the first threshold, it is determined to be a second drowsiness level that is stronger than the first drowsiness level. a drowsiness level determination step to
A method for estimating drowsiness of a driver, comprising:
前記コヒーレンス演算工程においては、周波数帯域が0.2Hz以下の前記操舵角及び頭部ロール角とを用いてコヒーレンスを演算することを特徴とする請求項1に記載の運転者の眠気推定方法。 2. The method for estimating drowsiness of a driver according to claim 1, wherein in said coherence calculation step, coherence is calculated using said steering angle and head roll angle with a frequency band of 0.2 Hz or less. 前記コヒーレンス演算工程においては、前記操舵角が所定閾値以上のとき、前記コヒーレンスを演算することを特徴とする請求項1又は2に記載の運転者の眠気推定方法。 3. The method for estimating drowsiness of a driver according to claim 1, wherein in the coherence calculation step, the coherence is calculated when the steering angle is equal to or greater than a predetermined threshold. 前記準備工程においては、運転者が覚醒状態であって、周波数帯域が0.06Hz以上且つ0.15Hz以下の前記操舵角及び頭部ロール角動作とを用いて演算されたコヒーレンスに基づき前記第1,第2閾値を予め設定すると共に、前記予め設定された第1,第2閾値を記憶媒体に保存することを特徴とする請求項1~3の何れか1項に記載の運転者の眠気推定方法。 In the preparation step, the driver is in an awake state, and the first coherence is calculated using the steering angle and head roll angle motion with a frequency band of 0.06 Hz or more and 0.15 Hz or less. , second threshold values are set in advance, and the preset first and second threshold values are stored in a storage medium. Method.
JP2021090180A 2021-05-28 2021-05-28 Driver's drowsiness estimation method Pending JP2022182563A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021090180A JP2022182563A (en) 2021-05-28 2021-05-28 Driver's drowsiness estimation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021090180A JP2022182563A (en) 2021-05-28 2021-05-28 Driver's drowsiness estimation method

Publications (1)

Publication Number Publication Date
JP2022182563A true JP2022182563A (en) 2022-12-08

Family

ID=84328508

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021090180A Pending JP2022182563A (en) 2021-05-28 2021-05-28 Driver's drowsiness estimation method

Country Status (1)

Country Link
JP (1) JP2022182563A (en)

Similar Documents

Publication Publication Date Title
Du et al. Psychophysiological responses to takeover requests in conditionally automated driving
JP6998564B2 (en) Arousal level estimation device and arousal level estimation method
Kang Various approaches for driver and driving behavior monitoring: A review
Haufe et al. EEG potentials predict upcoming emergency brakings during simulated driving
Saini et al. Driver drowsiness detection system and techniques: a review
US20220095975A1 (en) Detection of cognitive state of a driver
JP5255063B2 (en) Sleepiness sign detection device
Zhenhai et al. Driver drowsiness detection based on time series analysis of steering wheel angular velocity
Friedrichs et al. Camera-based drowsiness reference for driver state classification under real driving conditions
JP5326521B2 (en) Arousal state determination device and arousal state determination method
JP6087088B2 (en) System and method for improving vehicle operator performance estimates
Rimini-Doering et al. Effects of lane departure warning on drowsy drivers' performance and state in a simulator
JP2015532743A (en) How to determine the operating status of a driver
EP3885220B1 (en) Automatically estimating skill levels and confidence levels of drivers
Mortazavi et al. Effect of drowsiness on driving performance variables of commercial vehicle drivers
JP6662352B2 (en) Drowsy driving alarm
ITRM20120540A1 (en) METHOD AND SYSTEM OF CHECKING THE EURO
Salzillo et al. Evaluation of driver drowsiness based on real-time face analysis
Wang et al. Driver fatigue detection technology in active safety systems
Lee et al. Development of three driver state detection models from driving information using vehicle simulator; normal, drowsy and drunk driving
Feldhütter et al. A new approach for a real-time non-invasive fatigue assessment system for automated driving
JP2022182563A (en) Driver's drowsiness estimation method
Hirose et al. Driving characteristics of drivers in a state of low alertness when an autonomous system changes from autonomous driving to manual driving
Yang et al. Driver drowsiness detection through a vehicle's active probe action
Raimundo et al. Driving simulator for performance monitoring with physiological sensors

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240321