JP2019016178A - Drowsy driving alarm system - Google Patents
Drowsy driving alarm system Download PDFInfo
- Publication number
- JP2019016178A JP2019016178A JP2017133268A JP2017133268A JP2019016178A JP 2019016178 A JP2019016178 A JP 2019016178A JP 2017133268 A JP2017133268 A JP 2017133268A JP 2017133268 A JP2017133268 A JP 2017133268A JP 2019016178 A JP2019016178 A JP 2019016178A
- Authority
- JP
- Japan
- Prior art keywords
- level
- reliability
- sleepiness
- total
- sleepiness level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、居眠り運転警報装置に係わり、特に、ドライバの眠気レベルに応じて警報を出力装置から出力させる居眠り運転警報装置に関する。 The present invention relates to a snooze driving alarm device, and more particularly to a snoozing driving alarm device that outputs an alarm from an output device in accordance with a drowsiness level of a driver.
従来、ドライバの眠気を判定して居眠り運転の警報を出力する居眠り運転警報装置が知られている。 2. Description of the Related Art Conventionally, there is known a drowsy driving alarm device that determines drowsiness of a driver and outputs a drowsy driving alarm.
例えば、特許文献１には、ドライバの瞬き及び操舵状況に基づきドライバの覚醒度を評価する車両用覚醒度評価装置において、ドライバの瞬き状態を高精度に認識することができない状況においては、瞬きデータの重み付けを小さくし、相対的に操舵データによる覚醒度評価を大きくする一方、操舵データの信頼性が低いと考えられる状況においては、操舵データの重み付けを小さくして、相対的に瞬きデータによる覚醒度評価を大きくすることが開示されている。
For example, in
ところで、瞬きや操舵状況のようなドライバの眠気に関わるデータを一定時間蓄積した上で、蓄積されたデータに基づいてドライバの眠気を判定することも考えられる。
しかしながら、上述したような従来技術では、データの信頼度に応じてデータの種類ごとに重み付けを行うに過ぎないので、信頼度の高いデータと低いデータとが混在したまま蓄積されてしまう。したがって、それらの蓄積データに基づいて眠気判定を行った結果、信頼度の低いデータの影響を受けて、ドライバ自身がそれほど眠気を感じていない場合でもドライバが居眠りをしていると判定して警告を出力することがあり、この場合、ドライバは警告を煩わしいと感じてしまう。
By the way, it is also conceivable to determine the drowsiness of the driver based on the accumulated data after accumulating data related to the drowsiness of the driver such as blinking or steering situation for a certain period of time.
However, in the conventional technology as described above, only weighting is performed for each type of data according to the reliability of data, and therefore, data with high reliability and low data are accumulated in a mixed manner. Therefore, as a result of performing sleepiness determination based on the accumulated data, it is determined that the driver is falling asleep even if the driver himself does not feel much sleepiness due to the influence of data with low reliability. In this case, the driver feels annoying the warning.
本発明は、上述した従来技術の問題点を解決するためになされたものであり、ドライバの眠気レベルをより正確に判定し、誤った警報出力を抑制することができる居眠り運転警報装置を提供することを目的とする。 The present invention has been made to solve the above-described problems of the prior art, and provides a drowsiness driving alarm device capable of more accurately determining the drowsiness level of a driver and suppressing an erroneous alarm output. For the purpose.
上記の目的を達成するために、本発明の居眠り運転警報装置は、ドライバの眠気レベルに応じて警報を出力装置から出力させる居眠り運転警報装置であって、ドライバを撮影するカメラと、車両の挙動を検出する車両挙動検出手段と、カメラが撮影したドライバの画像に基づきドライバの眠気レベルを判定すると共に、当該眠気レベルの信頼度を判定するドライバ画像眠気レベル判定手段と、車両の挙動に基づきドライバの眠気レベルを判定すると共に、当該眠気レベルの信頼度を判定する車両挙動眠気レベル判定手段と、ドライバ画像眠気レベル判定手段が判定した眠気レベル及びその信頼度と、車両挙動眠気レベル判定手段が判定した眠気レベル及びその信頼度とに基づき、総合眠気レベルを決定すると共に、当該総合眠気レベルの信頼度である総合信頼度を決定する総合眠気レベル決定手段と、所定の判定時間の間に決定された複数の総合眠気レベルの頻度分布に基づき警報のレベルを設定する警報レベル設定手段とを備え、警報レベル設定手段は、総合眠気レベルの総合信頼度が低いほど当該総合眠気レベルの頻度が低くなるように、総合眠気レベルの頻度の補正を行うことを特徴とする。
このように構成された本発明においては、所定の判定時間の間に決定された複数の総合眠気レベルの頻度分布に基づき警報のレベルを設定するとき、警報レベル設定手段は、総合眠気レベルの総合信頼度が低いほど当該総合眠気レベルの頻度が低くなるように、総合眠気レベルの頻度の補正を行うので、ドライバ画像や車両挙動に基づき総合的に決定された総合眠気レベルの信頼度が低い場合には、その総合眠気レベルの頻度を下方に補正することで警報レベルの設定に与える影響を小さくすることができ、これにより、所定の判定時間の間に蓄積された眠気レベルのデータに信頼度の高いデータと信頼度の低いデータとが混在している場合でも、ドライバの眠気レベルをより正確に判定して適切な警報レベルを設定することができ、誤った警報出力を抑制することができる。
In order to achieve the above object, the drowsiness driving alarm device of the present invention is a drowsiness driving alarm device that outputs an alarm from an output device in accordance with the drowsiness level of the driver, and a camera for photographing the driver and the behavior of the vehicle Vehicle behavior detection means for detecting the driver's sleepiness level based on the driver's image taken by the camera, driver image sleepiness level determination means for determining the reliability of the sleepiness level, and the driver based on the behavior of the vehicle Vehicle behavior sleepiness level determination means for determining the sleepiness level of the vehicle, sleepiness level determined by the driver image sleepiness level determination means and its reliability, and vehicle behavior sleepiness level determination means The overall sleepiness level is determined based on the sleepiness level and the reliability of the sleepiness level, and the trust of the total sleepiness level is determined. An overall sleepiness level determination means for determining the overall reliability, and an alarm level setting means for setting an alarm level based on a frequency distribution of a plurality of overall sleepiness levels determined during a predetermined determination time. The level setting means corrects the frequency of the total sleepiness level such that the lower the total reliability of the total sleepiness level, the lower the frequency of the total sleepiness level.
In the present invention configured as described above, when the alarm level is set based on the frequency distribution of a plurality of total sleepiness levels determined during a predetermined determination time, the alarm level setting means includes the total sleepiness level total. The total sleepiness level frequency is corrected so that the lower the reliability, the lower the total sleepiness level frequency. Therefore, the reliability of the total sleepiness level determined comprehensively based on the driver image and vehicle behavior is low. Can reduce the influence on the alarm level setting by correcting the frequency of the total sleepiness level downward, and thus the reliability of the sleepiness level data accumulated during a predetermined judgment time can be reduced. Even if data with high reliability and data with low reliability are mixed, the driver's drowsiness level can be determined more accurately and an appropriate alarm level can be set. It is possible to suppress the broadcast output.
また、本発明において、好ましくは、総合眠気レベル決定手段は、ドライバ画像眠気レベルの信頼度が所定以上である場合、車両挙動眠気レベルに関わらず、ドライバ画像眠気レベルを総合眠気レベルとして決定する。
このように構成された本発明においては、ドライバ画像眠気レベルの信頼度が所定以上であり、車両の挙動に基づく眠気レベルよりもドライバ画像に基づく眠気レベルの方がより正確にドライバの眠気レベルを判定できていると想定される場合には、ドライバ画像眠気レベルを優先的に用いて総合眠気レベルを決定することができ、これにより、ドライバの眠気レベルをより正確に判定して適切な警報レベルを設定することができる。
In the present invention, preferably, the total sleepiness level determination means determines the driver image sleepiness level as the total sleepiness level regardless of the vehicle behavior sleepiness level when the reliability of the driver image sleepiness level is equal to or higher than a predetermined level.
In the present invention configured as described above, the reliability of the driver image drowsiness level is not less than a predetermined level, and the drowsiness level based on the driver image more accurately determines the drowsiness level of the driver than the drowsiness level based on the behavior of the vehicle. If it is assumed that it is possible to determine, the driver image drowsiness level can be preferentially used to determine the total drowsiness level, thereby more accurately determining the driver drowsiness level and the appropriate alarm level Can be set.
本発明による居眠り運転警報装置によれば、ドライバの眠気レベルをより正確に判定し、誤った警報出力を抑制することができる。 According to the drowsiness driving alarm device according to the present invention, it is possible to more accurately determine the drowsiness level of the driver and suppress an erroneous alarm output.
以下、添付図面を参照して、本発明の実施形態による居眠り運転警報装置を説明する。
まず、図１により、本発明の実施形態による居眠り運転警報装置の構成を説明する。図１は、本発明の実施形態による居眠り運転警報装置の電気的構成を示すブロック図である。
Hereinafter, a drowsiness driving alarm device according to an embodiment of the present invention will be described with reference to the accompanying drawings.
First, with reference to FIG. 1, the configuration of a drowsy driving alarm device according to an embodiment of the present invention will be described. FIG. 1 is a block diagram showing an electrical configuration of a snooze driving alarm device according to an embodiment of the present invention.
図１において、符号１は本発明の実施形態による居眠り運転警報装置を示し、この居眠り運転警報装置１は、車室内に設けられドライバを撮影するカメラ２、車速を検出する車速センサ４、及び、ステアリングホイールの回転角度を検出する操舵角センサ６を備えている。車速センサ４及び操舵角センサ６は、本発明の「車両挙動検出手段」としての機能を有する。
また、居眠り運転警報装置１は、カメラ２、車速センサ４、及び操舵角センサ６から入力された信号に基づき、ディスプレイ８及びスピーカ１０を含む車両の出力装置１２の制御を行うＥＣＵ１４（Electric Control Unit）を備えている。
In FIG. 1,
In addition, the dozing
ＥＣＵ１４は、ドライバの画像に基づきドライバの眠気レベル及びその信頼度を判定するドライバ画像眠気レベル判定部１６と、車両の挙動に基づきドライバの眠気レベル及びその信頼度を判定する車両挙動眠気レベル判定部１８と、ドライバ画像眠気レベル判定部１６が判定した眠気レベル及び信頼度と車両挙動眠気レベル判定部１８が判定した眠気レベル及び信頼度とに基づき総合眠気レベル及び総合信頼度を決定する総合眠気レベル決定部２０と、総合眠気レベル及び総合信頼度に基づき警報のレベルを設定する警報レベル設定部２２とを有する。
また、ＥＣＵ１４は、総合眠気レベルの設定や総合信頼度の設定に用いられるデータを記憶する記憶部２４を有する。
ＥＣＵ１４が備えるこれらの要素は、ＣＰＵ、当該ＣＰＵ上で解釈実行される各種のプログラム（ＯＳなどの基本制御プログラムや、ＯＳ上で起動され特定機能を実現するアプリケーションプログラムを含む）、及びプログラムや各種のデータを記憶するためのＲＯＭやＲＡＭの如き内部メモリを備えるコンピュータにより構成される。
The ECU 14 includes a driver image drowsiness
The ECU 14 also has a
These elements included in the
次に、図２〜図５により、居眠り運転警報装置１が実行する眠気レベル判定処理を説明する。
図２は、居眠り運転警報装置１が実行する眠気レベル判定処理のフローチャートである。また、図３は眠気レベルの判定基準を例示した表であり、図４は眠気レベル判定処理において居眠り運転警報装置１が総合信頼度を決定するときに参照する総合信頼度テーブルであり、図５は眠気レベル判定処理において居眠り運転警報装置１が総合眠気レベルを決定するときに参照する総合眠気レベルテーブルである。
Next, a drowsiness level determination process executed by the drowsy
FIG. 2 is a flowchart of the drowsiness level determination process executed by the drowsy
図２に示す眠気レベル判定処理は、車両のイグニッションがオンにされたときに起動され、所定周期（例えば２００ｍｓ毎）で繰り返し実行される。 The drowsiness level determination process shown in FIG. 2 is started when the ignition of the vehicle is turned on, and is repeatedly executed at a predetermined cycle (for example, every 200 ms).
図２に示すように、眠気レベル判定処理が開始されると、ステップＳ１において、ＥＣＵ１４は、カメラ２により撮影されたドライバ画像を取得すると共に、車速センサ４により検出された車速及び操舵角センサ６により検出された操舵角を、車両挙動に関するデータとして取得する。ここで取得したデータは、メモリに一時的に記憶される。
As shown in FIG. 2, when the drowsiness level determination process is started, in step S <b> 1, the ECU 14 acquires a driver image photographed by the
次に、ステップＳ２において、ドライバ画像眠気レベル判定部１６は、ドライバ画像に基づきドライバの眠気レベル（ドライバ画像眠気レベル）を判定すると共に、ここで判定したドライバ画像眠気レベルの信頼度を判定する。
具体的には、ドライバ画像眠気レベル判定部１６は、ドライバ画像から取得したドライバの動作が、図３に例示したような判定基準の何れに該当するのかを特定し、特定した判定基準に相当する値をドライバ画像眠気レベルとして判定する。ドライバの動作は、公知の画像認識技術に基づき特定することが可能である。
図３の例によれば、眠気レベルは１から５の５段階の評価値に区分されている。ドライバ画像から取得したドライバの動作が、視線の移動が早く頻繁且つ動きが活発で体の動きを伴う場合には、眠気レベルが最も低い１と判定される。また、唇が開いており視線の動きが鈍い場合には、眠気レベルが２番目に低い２と判定される。また、瞬きがゆっくり且つ頻発する場合には、眠気レベルが中間の３と判定される。また、意図的な瞬きがあり、頭を振り、あくびが頻発する場合には、眠気レベルが２番目に高い４と判定される。さらに、瞼を閉じる、頭が前後に傾く等の動作が検出された場合には、眠気レベルは最高の５と判定される。
Next, in step S <b> 2, the driver image sleepiness
Specifically, the driver image sleepiness
According to the example of FIG. 3, the sleepiness level is divided into five levels of evaluation values from 1 to 5. When the movement of the driver acquired from the driver image is fast and frequent, the movement is active, and the body moves, the drowsiness level is determined to be 1 that is the lowest. Further, when the lips are open and the movement of the line of sight is slow, it is determined that the drowsiness level is the second lowest. When blinking occurs slowly and frequently, the sleepiness level is determined to be 3 in the middle. If there is intentional blinking, a head is shaken, and yawning occurs frequently, it is determined that the drowsiness level is the second highest 4. Further, when an action such as closing the heel or tilting the head back and forth is detected, the drowsiness level is determined to be 5 at the highest.
また、ドライバ画像眠気レベルの信頼度は、ドライバ画像の鮮明度（顔、瞼、黒目等の輪郭の鮮明度）に応じて、鮮明度が低い順に無効、低、高の３段階に区分される。例えば、ドライバ画像眠気レベル判定部１６は、ドライバの顔、瞼、黒目の輪郭を検出できないほど鮮明度が低い場合にドライバ画像眠気レベルの信頼度を無効と判定し、ドライバの顔、瞼、黒目の輪郭を検出することができ且つその輪郭に直交する方向におけるピクセル値の最大変動量が予め定めた閾値未満の場合にドライバ画像眠気レベルの信頼度を低と判定し、ドライバの顔、瞼、黒目の輪郭を検出することができ且つその輪郭に直交する方向におけるピクセル値の最大変動量が予め定めた閾値以上の場合にドライバ画像眠気レベルの信頼度を高と判定する。
Further, the reliability of the driver image drowsiness level is classified into three levels of invalidity, low level, and high level in ascending order of the sharpness according to the sharpness of the driver image (the sharpness of the contour of the face, eyelid, black eyes, etc.). . For example, the driver image sleepiness
次に、ステップＳ３において、車両挙動眠気レベル判定部１８は、車速及び操舵角に基づきドライバの眠気レベル（車両挙動眠気レベル）を判定すると共に、ここで判定した車両挙動眠気レベルの信頼度を判定する。
具体的には、車両挙動眠気レベル判定部１８は、操舵角の変化速度及び変化量に基づき、車両を走行車線内に維持するための修正操舵を抽出する。修正操舵か否かについては、例えばＭＴ（マハラノビス・タグチ）法により判定することが可能である。
そして、所定の判定時間における修正操舵の発生頻度が予め定めた閾値以上である場合に眠気レベルが「眠気あり」であると判定し、修正操舵の発生頻度が閾値未満である場合に眠気レベルが「眠気なし」であると判定する。
Next, in step S3, the vehicle behavior sleepiness
Specifically, the vehicle behavior drowsiness
Then, it is determined that the drowsiness level is “with drowsiness” when the occurrence frequency of the correction steering in the predetermined determination time is equal to or greater than a predetermined threshold value, and the drowsiness level is determined when the occurrence frequency of the correction steering is less than the threshold value. It is determined that “no sleepiness”.
また、車両挙動眠気レベルの信頼度は、操舵角センサ６による操舵角の検出状態や、操舵角の変化に影響を与える車両の走行状態（例えば車速）に応じて、無効、低、高の３段階に区分される。例えば、車両挙動眠気レベル判定部１８は、何らかの原因により操舵角を取得できない場合に車両挙動眠気レベルの信頼度を無効と判定し、車速が所定の閾値未満である場合に車両挙動眠気レベルの信頼度を低と判定し、車速が所定の閾値以上である場合に車両挙動眠気レベルの信頼度を高と判定する。
Further, the reliability of the vehicle behavior drowsiness level may be invalid, low, or high, depending on the state of detection of the steering angle by the steering angle sensor 6 and the traveling state of the vehicle (for example, vehicle speed) that affects the change of the steering angle. Divided into stages. For example, the vehicle behavior sleepiness
次に、ステップＳ４において、総合眠気レベル決定部２０は、ステップＳ２でドライバ画像眠気レベル判定部１６が判定したドライバ画像眠気レベルの信頼度と、ステップＳ３で車両挙動眠気レベル判定部１８が判定した車両挙動眠気レベルの信頼度とに基づき、ドライバ画像眠気レベル及び車両挙動眠気レベルから決定される総合眠気レベルの信頼度である総合信頼度を決定する。
具体的には、図４に示すような、ドライバ画像眠気レベルの信頼度と車両挙動眠気レベルの信頼度とのそれぞれに関連付けられた信頼度を規定した総合信頼度テーブルを予め記憶部２４に格納しておく。総合眠気レベル決定部２０は、この総合信頼度テーブルを参照し、ステップＳ２で判定したドライバ画像眠気レベルの信頼度とステップＳ３で判定した車両挙動眠気レベルの信頼度とに関連付けられている信頼度を、総合信頼度として決定する。
図４の例では、ドライバ画像眠気レベルの信頼度が高である場合には、車両挙動眠気レベルの信頼度に関わらず総合信頼度は高であり、ドライバ画像眠気レベルの信頼度が低である場合には、車両挙動眠気レベルの信頼度に関わらず総合信頼度は低である。また、ドライバ画像眠気レベルの信頼度が無効である状況の下で、車両挙動眠気レベルの信頼度が無効である場合には総合信頼度は無効であり、車両挙動眠気レベルの信頼度が低又は高である場合には総合信頼度は低である。
Next, in step S4, the total sleepiness
Specifically, as shown in FIG. 4, a comprehensive reliability table that prescribes the reliability associated with the reliability of the driver image sleepiness level and the reliability of the vehicle behavior sleepiness level is stored in the
In the example of FIG. 4, when the reliability of the driver image sleepiness level is high, the overall reliability is high regardless of the reliability of the vehicle behavior sleepiness level, and the reliability of the driver image sleepiness level is low. In this case, the overall reliability is low regardless of the reliability of the vehicle behavior drowsiness level. Also, under the situation where the reliability of the driver image drowsiness level is invalid, if the reliability of the vehicle behavior drowsiness level is invalid, the overall reliability is invalid and the reliability of the vehicle behavior drowsiness level is low or If it is high, the overall reliability is low.
次に、ステップＳ５において、総合眠気レベル決定部２０は、ステップＳ２でドライバ画像眠気レベル判定部１６が判定したドライバ画像眠気レベル及びその信頼度と、ステップＳ３で車両挙動眠気レベル判定部１８が判定した車両挙動眠気レベル及びその信頼度とに基づき、総合眠気レベルを決定する。
具体的には、図５に示すような、ドライバ画像眠気レベル及びその信頼度と、車両挙動眠気レベル及びその信頼度とのそれぞれに関連付けられた眠気レベルを規定した総合眠気レベルテーブルを、予め記憶部２４に格納しておく。総合眠気レベル決定部２０は、この総合眠気レベルテーブルを参照し、ステップＳ２で判定したドライバ画像眠気レベル及びその信頼度と、ステップＳ３で判定した車両挙動眠気レベル及びその信頼度とに関連付けられている眠気レベルを、総合眠気レベルとして決定する。
Next, in step S5, the total sleepiness
Specifically, as shown in FIG. 5, a total sleepiness level table that prescribes a sleepiness level associated with each of the driver image sleepiness level and its reliability and the vehicle behavior sleepiness level and its reliability is stored in advance. Stored in the
図５の例では、ドライバ画像眠気レベルの信頼度が無効である状況の下で、車両挙動眠気レベルの信頼度が無効である場合には総合眠気レベルは０、車両挙動眠気レベルの信頼度が低又は高であり且つ車両挙動眠気レベルが眠気なしの場合には総合眠気レベルは１、車両挙動眠気レベルの信頼度が低であり且つ車両挙動眠気レベルが眠気ありの場合には総合眠気レベルは３、車両挙動眠気レベルの信頼度が高であり且つ車両挙動眠気レベルが眠気ありの場合には総合眠気レベルは４と決定される。
また、ドライバ画像眠気レベルの信頼度が低である状況の下で、車両挙動眠気レベルの信頼度が無効である場合には、ドライバ画像眠気レベルが総合眠気レベルとして決定される。同じくドライバ画像眠気レベルの信頼度が低である状況の下で、車両挙動眠気レベルの信頼度が低であり且つ車両挙動眠気レベルが眠気なしである場合には、眠気レベルの最大値がドライバ画像眠気レベルの最大値より小さくなるように総合眠気レベルが決定され（図５ではドライバ画像眠気レベル１、２、３、４、５である場合にそれぞれに対して１、２、２、３、３）、車両挙動眠気レベルの信頼度が低であり且つ車両挙動眠気レベルが眠気ありの場合には、眠気レベルの最小値がドライバ画像眠気レベルの最小値より大きく且つ眠気レベルの最大値がドライバ画像眠気レベルの最大値よりも小さくなるように総合眠気レベルが決定される（図５ではドライバ画像眠気レベル１、２、３、４、５である場合にそれぞれに対して２、３、３、４、４）。また、ドライバ画像眠気レベルの信頼度が低である状況の下で、車両挙動眠気レベルの信頼度が高であり且つ車両挙動眠気レベルが眠気なしである場合には、眠気レベルの最大値がドライバ画像眠気レベルの最大値より小さくなるように総合眠気レベルが決定され（図５ではドライバ画像眠気レベル１、２、３、４、５である場合にそれぞれに対して１、２、２、３、３）、車両挙動眠気レベルの信頼度が高であり且つ車両挙動眠気レベルが眠気ありの場合には、眠気レベルがドライバ画像眠気レベル以上となるように総合眠気レベルが決定される（図５ではドライバ画像眠気レベル１、２、３、４、５である場合にそれぞれに対して３、４、４、５、５）。
また、ドライバ画像眠気レベルの信頼度が高の場合には、車両挙動眠気レベル及びその信頼度に関わらず、ドライバ画像眠気レベルが総合眠気レベルとして決定される。
In the example of FIG. 5, in a situation where the reliability of the driver image sleepiness level is invalid, when the reliability of the vehicle behavior sleepiness level is invalid, the total sleepiness level is 0, and the reliability of the vehicle behavior sleepiness level is When the vehicle behavior sleepiness level is low or high and the vehicle behavior sleepiness level is no sleepiness, the total sleepiness level is 1. When the vehicle behavior sleepiness level is low and the vehicle behavior sleepiness level is sleepiness, the total sleepiness level is 3. When the reliability of the vehicle behavior sleepiness level is high and the vehicle behavior sleepiness level is sleepiness, the total sleepiness level is determined to be 4.
Further, when the reliability of the vehicle behavior sleepiness level is invalid under the situation where the reliability of the driver image sleepiness level is low, the driver image sleepiness level is determined as the total sleepiness level. Similarly, when the reliability of the driver behavior drowsiness level is low and the reliability of the vehicle behavior sleepiness level is low and the vehicle behavior sleepiness level is no sleepiness, the maximum value of the sleepiness level is the driver image. The total sleepiness level is determined to be smaller than the maximum sleepiness level (in FIG. 5, 1, 2, 2, 3, 3 for the driver
When the reliability of the driver image sleepiness level is high, the driver image sleepiness level is determined as the total sleepiness level regardless of the vehicle behavior sleepiness level and the reliability.
次に、ステップＳ６において、総合眠気レベル決定部２０は、ステップＳ４で決定した総合信頼度及びステップＳ５で決定した総合眠気レベルを互いに関連付けて記憶部２４に記憶させる。
その後、ＥＣＵ１４は眠気レベル判定処理を終了する。上述したように、眠気レベル判定処理は所定周期で繰り返し実行されるので、総合眠気レベル及び総合信頼度は所定周期で記憶部２４に蓄積される。
Next, in step S6, the total sleepiness
Thereafter, the
次に、図６により、居眠り運転警報装置１が実行する警報出力処理を説明する。
図６は、本発明の実施形態による居眠り運転警報装置１が実行する警報出力処理のフローチャートである。
Next, an alarm output process executed by the drowsy
FIG. 6 is a flowchart of alarm output processing executed by the drowsy
図６に示す警報出力処理は、車両のイグニッションがオンにされた後、後述する所定の判定時間が経過した後（例えば３分経過後）に起動され、所定周期（例えば２００ｍｓ毎）で繰り返し実行される。 The alarm output process shown in FIG. 6 is started after a predetermined determination time to be described later (for example, after 3 minutes elapses) after the vehicle ignition is turned on, and repeatedly executed at a predetermined cycle (for example, every 200 ms). Is done.
図６に示すように、警報出力処理が開始されると、ステップＳ１１において、警報レベル設定部２２は、直近の所定の判定時間（例えば３分間）の間に決定され記憶部２４に蓄積された複数の総合眠気レベル及び総合信頼度を読み込む。
As shown in FIG. 6, when the alarm output process is started, in step S11, the alarm
次に、ステップＳ１２において、警報レベル設定部２２は、ステップＳ１１で読み込んだ総合眠気レベルにおいて、１から５の各段階の総合眠気レベルが判定された回数をそれぞれカウントする。
Next, in step S12, the alarm
次に、ステップＳ１３において、警報レベル設定部２２は、ステップＳ１２でカウントした各総合眠気レベルに関連付けられている総合信頼度を取得し、総合信頼度が低であった総合眠気レベルについてはその総合眠気レベルが判定された回数を０．５回としてカウントするように補正する。
例えば、総合眠気レベル５と判定された回数が合計１０回である状況の下で、総合信頼度が高であった回数が６回、低であった回数が４回である場合、総合信頼度が低のときの総合眠気レベル５の判定回数は４×０．５＝２回に補正される。したがって、補正後の総合眠気レベル５の判定回数は、６＋２＝８回とカウントされる。
このように、警報レベル設定部２２は、総合眠気レベルの総合信頼度が低いほどその総合眠気レベルの頻度が低くなるように補正を行う。
Next, in step S13, the alarm
For example, in a situation where the total number of times that the sleepiness level is determined to be 5 is 10, the total reliability is 6 times and the low number is 4 times when the total reliability is 4 times. The number of times of determination of the
In this way, the alarm
次に、ステップＳ１４において、警報レベル設定部２２は、ステップＳ１３で補正した後の各総合眠気レベルの判定回数に基づき、各総合眠気レベルの頻度を算出する。
Next, in step S14, the alarm
次に、ステップＳ１５において、警報レベル設定部２２は、ステップＳ１４で算出した総合眠気レベル５の頻度が５％以上か否かを判定する。
その結果、総合眠気レベル５の頻度が５％以上である場合、ステップＳ１６に進み、警報レベル設定部２２は、警報レベルを「警告」に設定する。
Next, in step S15, the alarm
As a result, when the frequency of the
一方、ステップＳ１５において総合眠気レベル５の頻度が５％未満である場合、ステップＳ１７に進み、警報レベル設定部２２は、ステップＳ１４で算出した総合眠気レベル４以上の頻度が１０％以上か否かを判定する。
その結果、総合眠気レベル４以上の頻度が１０％以上である場合、ステップＳ１６に進み、警報レベル設定部２２は、警報レベルを「警告」に設定する。
On the other hand, if the frequency of the
As a result, when the frequency of the
一方、ステップＳ１７において総合眠気レベル４以上の頻度が１０％未満である場合、ステップＳ１８に進み、警報レベル設定部２２は、ステップＳ１４で算出した総合眠気レベル３以上の頻度が３０％以上か否かを判定する。
その結果、総合眠気レベル３以上の頻度が３０％以上である場合、ステップＳ１９に進み、警報レベル設定部２２は、警報レベルを「注意」に設定する。
On the other hand, when the frequency of the
As a result, when the frequency of the
一方、ステップＳ１８において総合眠気レベル３以上の頻度が３０％未満である場合、ステップＳ２０に進み、警報レベル設定部２２は、ステップＳ１４で算出した総合眠気レベル３以上の頻度が１５％以上か否かを判定する。
その結果、総合眠気レベル３以上の頻度が１５％以上である場合、ステップＳ２１に進み、警報レベル設定部２２は、警報レベルを「通知」に設定する。
また、総合眠気レベル３以上の頻度が１５％未満である場合、ステップＳ２２に進み、警報レベル設定部２２は、警報レベルを「無し」に設定する。
On the other hand, if the frequency of the
As a result, when the frequency of the
If the frequency of the
ステップＳ１６、Ｓ１９、Ｓ２１、又はＳ２２の後、ステップＳ２３に進み、警報レベル設定部２２は、設定した警報レベルに基づきディスプレイ８やスピーカ１０を制御する。
例えば、警報レベルが「警告」に設定されている場合、警報レベル設定部２２は、直ちに車両を安全な場所に停車させ休憩を取る旨の警報メッセージを継続的にディスプレイ８に表示させると共に、同様のメッセージ及び警報音を継続的にスピーカ１０から出力させる。
また、警報レベルが「注意」に設定されている場合、警報レベル設定部２２は、可能な限り速やかに車両を安全な場所に停車させ休憩を取る旨の注意メッセージをディスプレイ８に表示させると共に、同様のメッセージをスピーカ１０から出力させる。
また、警報レベルが「通知」に設定されている場合、警報レベル設定部２２は、車両を安全な場所に停車させ休憩を取ることを促すメッセージをディスプレイ８に表示させる。
一方、警報レベルが「無し」に設定されている場合、警報レベル設定部２２は、ディスプレイ８やスピーカ１０による警報や情報の出力を行わない。
After step S16, S19, S21, or S22, the process proceeds to step S23, and the alarm
For example, when the alarm level is set to “warning”, the alarm
When the warning level is set to “caution”, the warning
When the alarm level is set to “notification”, the alarm
On the other hand, when the alarm level is set to “none”, the alarm
ステップＳ２３の後、ＥＣＵ１４は警報出力処理を終了する。
After step S23, the
次に、本発明の実施形態のさらなる変形例を説明する。
上述した実施形態においては、車両挙動眠気レベル判定部１８は、車速及び操舵角に基づき車両挙動眠気レベル及びその信頼度を判定すると説明したが、車速や操舵角と共に、あるいはこれらに代えて、車両の挙動に関連する他のパラメータに基づき車両挙動眠気レベル及びその信頼度を判定するようにしてもよい。車両の挙動に関連する他のパラメータとしては、例えば、ヨーレート、横加速度、アクセル開度、ブレーキペダル踏込量等を用いることができる。
Next, further modifications of the embodiment of the present invention will be described.
In the above-described embodiment, the vehicle behavior drowsiness
また、上述した実施形態において、警報レベル設定部２２は、ステップＳ１２でカウントした各総合眠気レベルに関連付けられている総合信頼度を取得し、総合信頼度が低であった総合眠気レベルについてはその総合眠気レベルが判定された回数を０．５回としてカウントするように補正する説明したが、０．５回ではなく他の値（例えば０．３回や０．１回等）に補正してもよい。
In the above-described embodiment, the alarm
また、上述した実施形態においては、ドライバ画像眠気レベル及び総合眠気レベルを５段階に区分し、車両挙動眠気レベルを２段階に区分しているが、これとは異なる段階に区分してもよい。
同様に、上述した実施形態においては、ドライバ画像眠気レベルの信頼度、車両挙動眠気レベルの信頼度、及び総合信頼度を無効、低、高の３段階に区分しているが、これとは異なる段階に区分してもよい。
特に、総合信頼度を３段階よりも多段あるいは連続的な評価値により表してもよく、この場合、警報レベル設定部２２は、総合眠気レベルの総合信頼度が低いほどその総合眠気レベルの頻度が低くなるように補正を行うことができる。
In the above-described embodiment, the driver image sleepiness level and the total sleepiness level are divided into five stages, and the vehicle behavior sleepiness level is divided into two stages.
Similarly, in the above-described embodiment, the reliability of the driver image drowsiness level, the reliability of the vehicle behavior drowsiness level, and the overall reliability are classified into three stages of invalid, low, and high, but this is different. It may be divided into stages.
In particular, the total reliability may be expressed by a multi-stage or continuous evaluation value rather than three levels. In this case, the alarm
次に、上述した本発明の実施形態及び本発明の実施形態の変形例による居眠り運転警報装置１の作用効果を説明する。
Next, the operation and effect of the drowsy
まず、所定の判定時間の間に決定された複数の総合眠気レベルの頻度分布に基づき警報のレベルを設定するとき、警報レベル設定部２２は、総合眠気レベルの総合信頼度が低いほど当該総合眠気レベルの頻度が低くなるように、総合眠気レベルの頻度の補正を行う。したがって、ドライバ画像や車両挙動に基づき総合的に決定された総合眠気レベルの信頼度が低い場合には、その総合眠気レベルの頻度を下方に補正することで警報レベルの設定に与える影響を小さくすることができ、これにより、所定の判定時間の間に蓄積された眠気レベルのデータに信頼度の高いデータと信頼度の低いデータとが混在している場合でも、ドライバの眠気レベルをより正確に判定して適切な警報レベルを設定することができ、誤った警報出力を抑制することができる。
First, when an alarm level is set based on a frequency distribution of a plurality of total sleepiness levels determined during a predetermined determination time, the alarm
また、総合眠気レベル決定部２０は、ドライバ画像眠気レベルの信頼度が所定以上である場合、車両挙動眠気レベルに関わらず、ドライバ画像眠気レベルを総合眠気レベルとして決定するので、ドライバ画像眠気レベルの信頼度が所定以上であり、車両の挙動に基づく眠気レベルよりもドライバ画像に基づく眠気レベルの方がより正確にドライバの眠気レベルを判定できていると想定される場合には、ドライバ画像眠気レベルを優先的に用いて総合眠気レベルを決定することができ、これにより、ドライバの眠気レベルをより正確に判定して適切な警報レベルを設定することができる。
Further, when the reliability of the driver image sleepiness level is equal to or higher than the predetermined value, the total sleepiness
１ 居眠り運転警報装置
２ カメラ
４ 車速センサ
６ 操舵角センサ
８ ディスプレイ
１０ スピーカ
１２ 出力装置
１４ ＥＣＵ
１６ ドライバ画像眠気レベル判定部
１８ 車両挙動眠気レベル判定部
２０ 総合眠気レベル決定部
２２ 警報レベル設定部
２４ 記憶部
DESCRIPTION OF
16 Driver Image Drowsiness
Claims (2)
ドライバを撮影するカメラと、
車両の挙動を検出する車両挙動検出手段と、
前記カメラが撮影したドライバの画像に基づきドライバの眠気レベルを判定すると共に、当該眠気レベルの信頼度を判定するドライバ画像眠気レベル判定手段と、
前記車両の挙動に基づきドライバの眠気レベルを判定すると共に、当該眠気レベルの信頼度を判定する車両挙動眠気レベル判定手段と、
前記ドライバ画像眠気レベル判定手段が判定した眠気レベル及びその信頼度と、前記車両挙動眠気レベル判定手段が判定した眠気レベル及びその信頼度とに基づき、総合眠気レベルを決定すると共に、当該総合眠気レベルの信頼度である総合信頼度を決定する総合眠気レベル決定手段と、
所定の判定時間の間に決定された複数の前記総合眠気レベルの頻度分布に基づき前記警報のレベルを設定する警報レベル設定手段と、を備え、
前記警報レベル設定手段は、前記総合眠気レベルの前記総合信頼度が低いほど当該総合眠気レベルの頻度が低くなるように、前記総合眠気レベルの頻度の補正を行う、
ことを特徴とする居眠り運転警報装置。 A doze driving alarm device that outputs an alarm from the output device according to the drowsiness level of the driver,
A camera to shoot the driver;
Vehicle behavior detection means for detecting the behavior of the vehicle;
A driver image drowsiness level determination means for determining a drowsiness level of the driver based on an image of the driver photographed by the camera and determining a reliability of the drowsiness level;
Vehicle behavior sleepiness level determination means for determining the sleepiness level of the driver based on the behavior of the vehicle, and determining the reliability of the sleepiness level;
Based on the sleepiness level determined by the driver image sleepiness level determination means and the reliability thereof, and the sleepiness level determined by the vehicle behavior sleepiness level determination means and the reliability thereof, the overall sleepiness level is determined, and the total sleepiness level Total sleepiness level determination means for determining the total reliability that is the reliability of
Alarm level setting means for setting the level of the alarm based on a frequency distribution of the plurality of total sleepiness levels determined during a predetermined determination time,
The alarm level setting means corrects the frequency of the total sleepiness level so that the frequency of the total sleepiness level decreases as the total reliability of the total sleepiness level decreases.
A drowsiness driving alarm device characterized by that.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017133268A JP6662352B2 (en) | 2017-07-07 | 2017-07-07 | Drowsy driving alarm |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017133268A JP6662352B2 (en) | 2017-07-07 | 2017-07-07 | Drowsy driving alarm |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019016178A true JP2019016178A (en) | 2019-01-31 |
| JP6662352B2 JP6662352B2 (en) | 2020-03-11 |
Family
ID=65356485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017133268A Active JP6662352B2 (en) | 2017-07-07 | 2017-07-07 | Drowsy driving alarm |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6662352B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021166822A1 (en) * | 2020-02-19 | 2021-08-26 | いすゞ自動車株式会社 | Driving assistance device and driving assistance system |
| CN113312948A (en) * | 2020-03-26 | 2021-08-27 | 香港生产力促进局 | Method, equipment and system for detecting drowsiness by using deep learning model |
| JP6946587B1 (en) * | 2021-03-15 | 2021-10-06 | Dmg森精機株式会社 | Image processing equipment and machine tools |
| CN113879319A (en) * | 2020-07-01 | 2022-01-04 | 丰田自动车株式会社 | Sleepiness symptom notification system |
| WO2022234662A1 (en) * | 2021-05-07 | 2022-11-10 | 三菱電機株式会社 | Drowsiness estimation device and drowsiness estimation system |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06274798A (en) * | 1993-03-23 | 1994-09-30 | Mazda Motor Corp | Safety device for vehicle |
| JPH07257220A (en) * | 1994-03-22 | 1995-10-09 | Toyota Motor Corp | Vigilance evaluation device for vehicle |
| JP2008225899A (en) * | 2007-03-13 | 2008-09-25 | Toyota Motor Corp | Arousal judgement device and arousal judgement method |
| WO2011111206A1 (en) * | 2010-03-11 | 2011-09-15 | トヨタ自動車株式会社 | Biological state determination device |
| JP2013143088A (en) * | 2012-01-12 | 2013-07-22 | Denso Corp | Drowsy driving prevention device |
| JP2014123287A (en) * | 2012-12-21 | 2014-07-03 | Daimler Ag | Drowsy driving warning device and drowsy driving warning method |
| JP2015219771A (en) * | 2014-05-19 | 2015-12-07 | マツダ株式会社 | Drowsy driving prevention device |
| US20160159217A1 (en) * | 2014-12-08 | 2016-06-09 | Hyundai Motor Company | System and method for determining drowsy state of driver |
| JP2017023519A (en) * | 2015-07-24 | 2017-02-02 | 株式会社デンソー | State estimation device and state estimation program |
-
2017
- 2017-07-07 JP JP2017133268A patent/JP6662352B2/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06274798A (en) * | 1993-03-23 | 1994-09-30 | Mazda Motor Corp | Safety device for vehicle |
| JPH07257220A (en) * | 1994-03-22 | 1995-10-09 | Toyota Motor Corp | Vigilance evaluation device for vehicle |
| JP2008225899A (en) * | 2007-03-13 | 2008-09-25 | Toyota Motor Corp | Arousal judgement device and arousal judgement method |
| WO2011111206A1 (en) * | 2010-03-11 | 2011-09-15 | トヨタ自動車株式会社 | Biological state determination device |
| JP2013143088A (en) * | 2012-01-12 | 2013-07-22 | Denso Corp | Drowsy driving prevention device |
| JP2014123287A (en) * | 2012-12-21 | 2014-07-03 | Daimler Ag | Drowsy driving warning device and drowsy driving warning method |
| JP2015219771A (en) * | 2014-05-19 | 2015-12-07 | マツダ株式会社 | Drowsy driving prevention device |
| US20160159217A1 (en) * | 2014-12-08 | 2016-06-09 | Hyundai Motor Company | System and method for determining drowsy state of driver |
| JP2017023519A (en) * | 2015-07-24 | 2017-02-02 | 株式会社デンソー | State estimation device and state estimation program |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021166822A1 (en) * | 2020-02-19 | 2021-08-26 | いすゞ自動車株式会社 | Driving assistance device and driving assistance system |
| JP2021131708A (en) * | 2020-02-19 | 2021-09-09 | いすゞ自動車株式会社 | Driving assistance device |
| CN115136221A (en) * | 2020-02-19 | 2022-09-30 | 五十铃自动车株式会社 | Driving support device and driving support system |
| CN113312948A (en) * | 2020-03-26 | 2021-08-27 | 香港生产力促进局 | Method, equipment and system for detecting drowsiness by using deep learning model |
| CN113879319A (en) * | 2020-07-01 | 2022-01-04 | 丰田自动车株式会社 | Sleepiness symptom notification system |
| CN113879319B (en) * | 2020-07-01 | 2023-10-20 | 丰田自动车株式会社 | Drowsiness sign notification system |
| JP6946587B1 (en) * | 2021-03-15 | 2021-10-06 | Dmg森精機株式会社 | Image processing equipment and machine tools |
| WO2022195975A1 (en) * | 2021-03-15 | 2022-09-22 | Dmg森精機株式会社 | Image processing device and machine tool |
| JP2022140871A (en) * | 2021-03-15 | 2022-09-29 | Dmg森精機株式会社 | Image processing system and machine tool |
| WO2022234662A1 (en) * | 2021-05-07 | 2022-11-10 | 三菱電機株式会社 | Drowsiness estimation device and drowsiness estimation system |
| JP7325687B2 (en) | 2021-05-07 | 2023-08-14 | 三菱電機株式会社 | Sleepiness estimation device and sleepiness estimation system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6662352B2 (en) | 2020-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6662352B2 (en) | Drowsy driving alarm | |
| US9526448B2 (en) | State estimation device and state estimation program | |
| JP4967559B2 (en) | Doze driving prevention device and program | |
| JP6226135B2 (en) | Doze driving prevention device | |
| JP6627811B2 (en) | Concentration determination device, concentration determination method, and program for concentration determination | |
| JP7031472B2 (en) | Driving support device and driving support method | |
| US20200286358A1 (en) | Dozing alert apparatus | |
| JP2017194772A (en) | Arousal determination apparatus | |
| JP2015032291A (en) | Automatic traveling support device | |
| JP6754228B2 (en) | Methods and devices for supplying reference levels for eye opening | |
| JP2018133007A (en) | Alarm apparatus | |
| JP2017027393A (en) | Drowsiness determination device, drowsiness determination method, drowsiness determination program, and recording medium | |
| US11430231B2 (en) | Emotion estimation device and emotion estimation method | |
| JP4173083B2 (en) | Arousal state determination device and arousal state determination method | |
| JP7046748B2 (en) | Driver status determination device and driver status determination method | |
| JP4760113B2 (en) | Driver state estimation device | |
| JP5050794B2 (en) | Sleepiness detection device, sleepiness detection method | |
| JP2018013811A (en) | Driver state determination device and driver state determination program | |
| JP7192668B2 (en) | Arousal level determination device | |
| CN115830579A (en) | Driving state monitoring method and system and vehicle | |
| JP2020086907A (en) | Careless driving determination device | |
| JP6658095B2 (en) | Awakening maintenance device and program | |
| US11383640B2 (en) | Techniques for automatically reducing annoyance levels of drivers when using driver monitoring systems | |
| US10945651B2 (en) | Arousal level determination device | |
| CN113168758B (en) | Method of determining a level of drowsiness of a driver of a vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180323 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190418 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190507 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190702 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191021 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200114 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200127 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6662352 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |