JP2006109980A - Vigilance determining device - Google Patents
Vigilance determining device Download PDFInfo
- Publication number
- JP2006109980A JP2006109980A JP2004298809A JP2004298809A JP2006109980A JP 2006109980 A JP2006109980 A JP 2006109980A JP 2004298809 A JP2004298809 A JP 2004298809A JP 2004298809 A JP2004298809 A JP 2004298809A JP 2006109980 A JP2006109980 A JP 2006109980A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- value
- driver
- opening
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Emergency Alarm Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
本発明は、覚醒度判定装置に関する。 The present invention relates to an arousal level determination device.
従来、運転者が眼を閉じている時間(閉眼時間)を積算し、所定時間中における閉眼時間の割合から、運転者の覚醒度が低下していることを検出する検出装置が知られている(例えば特許文献1参照)。
しかし、運転者の覚醒度が低下し始めた状態、すなわち覚醒度低下の初期状態には、所定時間中における閉眼時間の割合が覚醒時よりも低くなってしまう場合がある。このため、従来装置では、覚醒度低下の初期状態を正確に検出できない場合がある。 However, in the state where the driver's arousal level starts to decrease, that is, in the initial state where the arousal level decreases, the ratio of the eye-closing time during a predetermined time may be lower than that during arousal. For this reason, the conventional apparatus may not be able to accurately detect the initial state of arousal level reduction.
本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、覚醒度低下の初期状態を正確に検出することが可能な覚醒度判定装置を提供することにある。 The present invention has been made to solve such a conventional problem, and an object of the present invention is to provide a wakefulness determination device capable of accurately detecting an initial state of wakefulness reduction. It is in.
本発明によれば、覚醒度判定装置は、撮像手段と、開度値検出手段と、算出手段と、覚醒度判定手段とを備えている。撮像手段は運転者の顔を撮像するものである。開度値検出手段は、撮像手段により撮像された画像から、運転者の眼の開度を示す開度値を検出するものである。算出手段は、開度値検出手段により検出された開度値を時系列的に収集して、開度値の統計的代表値及び統計的偏差を求めるものである。覚醒度判定手段は、算出手段により算出された統計的代表値と統計的偏差とから、覚醒度低下の初期状態を判定するものである。 According to the present invention, the arousal level determination device includes an imaging unit, an opening value detection unit, a calculation unit, and a waking level determination unit. The imaging means images the driver's face. The opening value detection means detects an opening value indicating the opening degree of the driver's eyes from the image taken by the imaging means. The calculation means collects the opening values detected by the opening value detection means in a time series to obtain a statistical representative value and a statistical deviation of the opening values. The arousal level determination means determines an initial state of a decrease in the arousal level from the statistical representative value and the statistical deviation calculated by the calculation means.
本発明によれば、撮像した画像から運転者の眼の開度を示す開度値を検出し、これを時系列的に収集して開度値の統計的代表値及び統計的偏差を求めることとしている。ここで、開度値の統計的代表値は眼の開度値の大きさを表すものとなる。また、統計的偏差は、眼の開度値の散らばり具合、すなわち瞬きの頻度を表すものとなる。 According to the present invention, an opening value indicating the opening degree of the driver's eyes is detected from the captured image, and this is collected in time series to obtain a statistical representative value and a statistical deviation of the opening value. It is said. Here, the statistical representative value of the opening value represents the size of the eye opening value. Further, the statistical deviation represents the degree of dispersion of the eye opening values, that is, the blink frequency.
そして、算出した統計的代表値と統計的偏差とから、覚醒度低下の初期状態を判定することとしている。ここで、運転者は、眠くなり始めたときにおいて、すなわち覚醒度低下の初期状態において、眼の開度値が小さくなると共に、瞬きの回数が減少する傾向にある。従って、眼の開度値の大きさを示す統計的代表値と瞬きの頻度を示す統計的偏差とから覚醒度低下の初期状態を判定することで、覚醒度低下の初期状態を正確に検出することができる。 Then, the initial state of the arousal level reduction is determined from the calculated statistical representative value and the statistical deviation. Here, when the driver starts to become sleepy, that is, in the initial state where the degree of arousal is lowered, the eye opening value tends to decrease and the number of blinks tends to decrease. Therefore, by detecting the initial state of wakefulness reduction from the statistical representative value indicating the magnitude of the eye opening value and the statistical deviation indicating the blink frequency, the initial state of wakefulness reduction is accurately detected. be able to.
以下、本発明の好適な実施形態を図面に基づいて説明する。なお、各図において、同一又は同様の要素には同一の符号を付して説明を省略するものとする。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described with reference to the drawings. In addition, in each figure, the same code | symbol shall be attached | subjected to the same or similar element, and description shall be abbreviate | omitted.
本発明の実施形態に係る覚醒度判定装置を説明するに先立って、本発明を創作するに至った経緯を説明する。図1は、運転者の開閉眼の状態を示す説明図である。 Prior to the description of the arousal level determination device according to the embodiment of the present invention, the background to the creation of the present invention will be described. FIG. 1 is an explanatory diagram illustrating a state of the driver's opening and closing eyes.
まず、運転者は、正常時(覚醒状態時)において図1の符号aに示すように大きく眼を見開いて運転をしている。このとき、運転者は開眼状態にある。また、運転者は、正常時において図1の符号bに示すように瞬きをする。このとき、運転者は閉眼状態となる。 First, the driver is driving with his eyes wide open as shown by the symbol a in FIG. 1 at the normal time (in the awake state). At this time, the driver is in an open eye state. Further, the driver blinks as indicated by the symbol b in FIG. At this time, the driver is closed.
覚醒度判定装置では、上記のような開眼状態及び閉眼状態を判定するために、開閉眼判定基準値が設定されている。そして、覚醒度判定装置では、図1の符号a,bに示す画像が撮像された場合、その画像から運転者の眼を特定し、眼の開度値を求める。このとき、覚醒度判定装置は、眼の開度値が開閉眼判定基準値よりも大きければ開眼状態であると判定し、眼の開度値が開閉眼判定基準値以下であれば閉眼状態であると判定する。 In the arousal level determination device, an open / closed eye determination reference value is set in order to determine the open eye state and the closed eye state as described above. And when the image shown to the code | symbol a and b of FIG. 1 is imaged in a wakefulness determination apparatus, a driver | operator's eyes are specified from the image and the opening degree value of eyes is calculated | required. At this time, the arousal level determination device determines that the eye opening value is greater than the open / closed eye determination reference value, and determines that the eye is open, and if the eye opening value is equal to or less than the open / closed eye determination reference value, Judge that there is.
また、覚醒度判定装置は、覚醒度低下時においても同様に、運転者の開閉眼を判定する。まず、運転者は覚醒度低下時において図1の符号cに示すようにやや眼を細めて運転している。このとき、眼の開度値は開閉眼判定基準値よりも大きい。よって、覚醒度判定装置は、運転者が開眼状態にあると判定する。さらに、運転者は、図1の符号dに示すように覚醒度低下時において眠さから眼を閉じてしまう。このとき、眼の開度値は開閉眼判定基準値以下となる。よって、覚醒度判定装置は、運転者が閉眼状態にあると判定する。 Further, the arousal level determination device similarly determines the driver's open / closed eye even when the arousal level decreases. First, the driver is driving with the eyes slightly narrowed as indicated by reference sign c in FIG. At this time, the eye opening value is larger than the open / closed eye determination reference value. Therefore, the arousal level determination device determines that the driver is in an open eye state. Furthermore, the driver closes his eyes due to sleepiness when the arousal level is lowered as indicated by reference sign d in FIG. At this time, the eye opening value is equal to or less than the open / closed eye determination reference value. Therefore, the arousal level determination device determines that the driver is in an eye-closed state.
このように、正常時及び覚醒度低下時の双方において、開閉眼判定基準値から眼の開閉眼の状態を判定することができる。そして、覚醒度判定装置は、開閉眼状態から、運転者の覚醒度を判定する。すなわち、覚醒度判定装置は、開閉眼状態から運転者が覚醒状態にあることや、覚醒度低下状態にあることを判定する。 In this way, the state of the open / closed eye of the eye can be determined from the open / closed eye determination reference value at both the normal time and when the arousal level is reduced. Then, the arousal level determination device determines the driver's arousal level from the open / closed eye state. In other words, the arousal level determination device determines that the driver is in the awake state or in the reduced arousal level from the open / closed eye state.
ここで、運転者は覚醒度低下時に眼を閉じやすい傾向にある。このため、或る時間中に占める閉眼の割合(以下閉眼率という)は、覚醒度低下時の方が正常時よりも高くなる傾向にある。覚醒度判定装置は、この傾向を利用し、閉眼率を求めることにより、覚醒度の低下を判定することとなる。 Here, the driver tends to close his eyes when the arousal level is lowered. For this reason, the ratio of closed eyes during a certain period of time (hereinafter referred to as the closed eye ratio) tends to be higher when the degree of arousal is lower than when normal. The arousal level determination device uses this tendency to determine the reduction in the arousal level by obtaining the eye closure rate.
ところが、覚醒度判定装置は、覚醒度の低下を検出できるものの、運転者が眠くなり始めた状態、すなわち覚醒度低下の初期状態を、閉眼率から検出することが困難となっている。 However, although the wakefulness level determination device can detect a decrease in the wakefulness level, it is difficult to detect the state in which the driver has become sleepy, that is, the initial state of the wakefulness level decrease, from the closed eye rate.
図2は、閉眼率を示すグラフであり、(a)は正常時における閉眼率を示し、(b)は覚醒度低下時の初期状態における閉眼率を示している。なお、図2の各図において縦軸は開度値を示し、横軸は経過時間を示している。 FIG. 2 is a graph showing the closed eye rate, where (a) shows the closed eye rate in a normal state, and (b) shows the closed eye rate in the initial state when the arousal level is lowered. In each drawing of FIG. 2, the vertical axis indicates the opening value, and the horizontal axis indicates the elapsed time.
まず、図2(a)に示すように、正常時における閉眼率は4.3%となっている。すなわち、運転者は、正常時において約4.3%の割合で眼を閉じている。一方、図2(b)に示すように、覚醒度低下の初期状態における閉眼率は2.5%となっている。すなわち、正常時よりも閉眼率が小さくなる。これは、覚醒度低下の初期状態において運転者の瞬き回数が正常時よりも減少する傾向にあるためである。 First, as shown in FIG. 2A, the normal closed eye rate is 4.3%. That is, the driver closes his eyes at a rate of about 4.3% in a normal state. On the other hand, as shown in FIG.2 (b), the eye-closing rate in the initial state of arousal level fall is 2.5%. That is, the closed eye rate is smaller than that in the normal state. This is because the number of blinks of the driver tends to be smaller than in the normal state in the initial state where the arousal level is lowered.
このように、覚醒度判定装置は、閉眼率から覚醒度低下時(覚醒度が低下し切った状態)を検出できるものの、覚醒度低下の初期状態については検出できない。図3は、開閉眼判定基準値を高めた場合の閉眼率を示すグラフであり、(a)は正常時における閉眼率を示し、(b)は覚醒度低下時の初期状態における閉眼率を示している。なお、図3の各図において縦軸は開度値を示し、横軸は経過時間を示している。 As described above, the wakefulness level determination device can detect when the wakefulness level is lowered (a state in which the wakefulness level is fully lowered) from the closed eye rate, but cannot detect the initial state of the wakefulness level being lowered. FIG. 3 is a graph showing the closed eye rate when the open / closed eye determination reference value is increased, (a) showing the closed eye rate at normal time, and (b) showing the closed eye rate in the initial state when the arousal level is lowered. ing. In each drawing of FIG. 3, the vertical axis indicates the opening value, and the horizontal axis indicates the elapsed time.
上記の如く、覚醒度判定装置は、覚醒度低下の初期状態を検出できない。そこで、開閉眼判定基準値を高めることで、覚醒度低下の初期状態の閉眼率を上昇させることが考えられる。 As described above, the arousal level determination device cannot detect the initial state of the reduction in the arousal level. Therefore, it is conceivable to increase the closed eye rate in the initial state where the arousal level is lowered by increasing the open / closed eye determination reference value.
しかし、この場合であっても、図3(a)及び(b)に示すように、正常時における閉眼率は12.1%であり、覚醒度低下の初期状態における閉眼率は8.9%である。すなわち、覚醒度低下の初期状態における閉眼率の方が正常時における閉眼率よりも高くなっている。よって、覚醒度判定装置は、たとえ開閉眼判定基準値を高めたとしても、覚醒度低下の初期状態を検出できないこととなる。 However, even in this case, as shown in FIGS. 3A and 3B, the closed eye rate in the normal state is 12.1%, and the closed eye rate in the initial state of the arousal level is 8.9%. It is. That is, the closed eye rate in the initial state where the arousal level is lowered is higher than the closed eye rate in the normal state. Therefore, even if the arousal level determination device increases the open / close eye determination reference value, it cannot detect the initial state of the awakening level decrease.
そこで、以下の実施形態に係る覚醒度判定装置では、覚醒度低下の初期状態についても精度良く検出できるように、以下の構成及び処理を採用している。次に、実施形態に係る覚醒度判定装置を説明する。 Therefore, in the arousal level determination device according to the following embodiment, the following configuration and processing are adopted so that the initial state of a low level of arousal level can be detected with high accuracy. Next, the arousal level determination apparatus according to the embodiment will be described.
図4は、本発明の第1実施形態に係る覚醒度判定装置のハード構成図である。本実施形態の覚醒度判定装置1は、運転者の覚醒度を判定するためのものであって、特に覚醒度低下の初期状態を判定するためのものである。
FIG. 4 is a hardware configuration diagram of the arousal level determination device according to the first embodiment of the present invention. The arousal
この覚醒度判定装置1は、図4に示すように、運転者の顔を撮像する撮像部(撮像手段)10を備えている。撮像部10は、例えば、可視光を撮像するためのCCDカメラなどであり、運転者の正面下方に設置される。
As shown in FIG. 4, the arousal
また、上記覚醒度判定装置1は、撮像部10により撮像された画像に基づき、運転者の覚醒度を判定する処理装置20を具備している。この処理装置20は、運転者の覚醒度が正常である場合、運転者の覚醒度が低下の初期時である場合、及び運転者の覚醒度が低下し切った場合の少なくとも3段階に覚醒度を判定可能となっている。
The arousal
さらに、上記覚醒度判定装置1は、処理装置20にて判定された覚醒度に応じて所定の提示をする提示部30を有している。この提示部30は、例えば運転者の覚醒度が低下し切っている場合に、音声などによって運転者を覚醒させるように報知するものである。
Furthermore, the arousal
次に、処理装置20の詳細構成を図5を参照して説明する。図5は、図4に示した処理装置20の詳細構成図である。なお、図5においては、接続関係を明確にするために、撮像部10についても図示することとする。
Next, a detailed configuration of the
図5に示すように、処理装置20は、眼位置検出部21、追跡部22、開度値検出部(開度値検出手段)23、学習部(学習手段)24、開閉眼判定基準値算出部(開閉眼判定基準値算出手段)25、開閉眼判定部(開閉眼判定手段)26、及び覚醒度判定部(覚醒度判定手段)27を備えている。
As shown in FIG. 5, the
眼位置検出部21は、撮像部10からの画像のデータに基づいて、運転者の眼の位置を検出するものである。図6は、眼位置検出部21が眼の位置の検出に際して行う初期処理の説明図である。なお、図6においては、縦480画素、横512画素の画像を例に説明する。
The eye
まず、眼位置検出部21は、画像縦方向にすべての画素について、濃度値のデータを取得する。その後、眼位置検出部21は、濃度値の変化が所定の条件を満たす画素を抽出して、図7に示すような画素群を得る。図7は、眼位置検出部21が所定の画素を抽出したとき様子を示す説明図である。同図に示すように、抽出された画素は、運転者の眉、眼、鼻及び口の位置に対応するものとなっている。そして、画素の抽出後、眼位置検出部21は、画像横方向に近接する画素をグループ化する。
First, the eye
図8は、画像横方向に近接する画素をグループ化したときの様子を示す説明図である。同図に示すように、グループ化することにより、眼位置検出部21は、運転者の右眉、左眉、右眼、左眼、鼻及び口それぞれに対応した連続データG1〜G6を形成する。
FIG. 8 is an explanatory diagram showing a state when pixels adjacent in the horizontal direction of the image are grouped. As shown in the figure, by grouping, the eye
その後、眼位置検出部21は、ゾーン化の処理を行う。図9は、眼位置検出部21によるゾーン化後の様子を示す説明図である。眼位置検出部21は、連続データG1〜G6の存在位置について画像縦方向にゾーン化する。この際、眼位置検出部21は、3つのゾーン(ZONE:L、ZONE:C、ZONE:R)を形成する。そして、眼位置検出部21は、相対位置関係を判断して眼の位置を検出する。
Thereafter, the eye
再度、図5を参照する。追跡部22は、運転者の眼の位置を追跡するものである。この追跡部22は、眼の位置の検出後、検出された眼の位置の座標値を記憶し、この記憶した位置を基準にして、全体画像よりも小さい追跡領域を設定する。その後、追跡部22は、画像が入力される毎に、追跡領域内において眼の位置を検出する。
Reference is again made to FIG. The
図10は、追跡部22による眼の位置の追跡の様子を示す説明図であり、(a)は初期の追跡領域を示しており、(b)は初期の追跡領域の設定後に、検出した眼の位置を示しており、(c)は検出した眼の位置に基づいて新たに設定する追跡領域を示しており、(d)は新たに設定した追跡領域内から検出した眼の位置を示している。なお、図10において、破線は前回検出された眼を示し、実線は今回検出された眼を示すものとする。
10A and 10B are explanatory diagrams showing how the
眼位置検出部21により眼の位置が検出された場合、追跡部22は、検出された眼の位置を中心として追跡領域を設定する(図10(a))。このときの眼の座標位置を(xk1,yk1)とする。その後、画像が入力された場合、追跡部22は、(xk1,yk1)を中心とする追跡領域内から眼の位置を検出する(図10(b))。このとき検出された眼の座標位置を(xk2,yk2)とする。
When the eye position is detected by the eye
そして、追跡部22は、新たに検出された眼の座標位置(xk2,yk2)を中心とする追跡領域を設定する(図10(c))。その後、再度画像が入力された場合、追跡部22は、(xk2,yk2)を中心とする追跡領域内から眼の位置を検出する。このときに検出された眼の座標位置を(xk3,yk3)とする。
Then, the
そして、追跡部22は、再度、新たな眼の座標位置(xk3,yk3)を中心とする追跡領域を設定する(図10(d))。その後、同様に、追跡部22は、追跡領域内から眼の位置を検出していく。
Then, the
再度、図5を参照する。追跡部22は、上記のようにして得られた眼の位置のデータを開度値検出部23に送出する。開度値検出部23は、撮像部10により撮像された画像から、運転者の眼の開度を示す開度値を検出するものである。すなわち、開度値検出部23は、眼位置検出部21及び追跡部22により検出・追跡された眼について開度値を検出するものである。
Reference is again made to FIG. The
図11は、眼の縦幅の開度を示す説明図であり、(a)は開眼時を示しており、(b)は閉眼時を示している。同図(a)及び(b)に示すように、開度値は具体的に眼の縦幅の大きさである。従って、開度値検出部23は、眼の縦幅を検出し、検出値を開度値とすることとなる。
FIG. 11 is an explanatory diagram showing the opening of the vertical width of the eye, (a) showing when the eyes are open, and (b) showing when the eyes are closed. As shown in FIGS. 2A and 2B, the opening value is specifically the size of the vertical width of the eye. Therefore, the opening
再度、図5を参照する。学習部24は、開度値検出部23により検出された開度値の検出頻度から、運転者個人の開眼状態における開度値を求めて学習するものである。すなわち、眼の縦幅は運転者毎に異なるものであるため、学習部24は、現在の運転者個人の開眼状態における開度値を求めることとしている。
Reference is again made to FIG. The
詳細に学習部24は、開度値検出部23により検出された開度値の再頻値を求める。ここで、運転者は、瞬きをするものの多くの時間眼を見開いているのが通常である。よって、再頻値は運転者が眼を開いているときの眼の開度値を示すといえる。このため、学習部24は、再頻値を求めることで、運転者個人の開眼状態における開度値を求める。そして、学習部24は、再頻値を学習する。これにより、運転者個人の開眼状態における開度値が学習されることとなる。
In detail, the
開閉眼判定基準値算出部25は、学習部24により学習された開度値から、眼の開眼及び閉眼を判定するための開閉眼判定基準値を求めるものである。すなわち、眼の縦幅は運転者毎に異なるため、開閉眼判定基準値算出部25は、学習部24からの学習内容によって現在の運転者に適した開閉眼判定基準値を求めるようになっている。
The open / close eye determination reference
具体的に開閉眼判定基準値算出部25は、学習部24により学習された開度値よりもやや小さい値を開閉眼判定基準値として求める。すなわち、開閉眼判定基準値算出部25は、運転者の開眼状態における開度値よりも、やや小さい開度値を開閉眼判定基準値とする。これにより、開閉眼判定基準値算出部25は、好適に開閉眼を判定するための開閉眼判定基準値を設定するようにしている。
Specifically, the open / close eye determination reference
また、開閉眼判定部26は、撮像部10により新たに撮像されて開度値検出部23により新たに検出された開度値を、開閉眼判定基準値算出部25により算出された開閉眼判定基準値と比較して、開閉眼を判定するものである。すなわち、開閉眼判定部26は、開閉眼判定基準値算出部25により一度開閉眼判定基準値が算出されると、その後撮像された画像について開度値検出部23により眼の開度値を検出し、その開度値と開閉眼判定基準値とを比較することで開閉眼を判定する。そして、開閉眼判定部26は、比較の結果、新たに検出された開度値が開閉眼判定基準値よりも大きい場合、運転者が開眼状態であると判定し、開度値が開閉眼判定基準値以下である場合、運転者が閉眼状態であると判定する。
Further, the open / close
覚醒度判定部27は、開閉眼判定部26により閉眼と判定された時間が所定時間中に占める割合(すなわち閉眼率)に基づいて、覚醒度が低下し切った状態を判定する。ここで、運転者の覚醒度が低下し切った場合、正常時に比べると、閉眼率が高くなる傾向にある。このため、覚醒度判定部27は、開閉眼判定部26により閉眼と判定された時間から閉眼率を求め、閉眼率に基づいて覚醒度が低下し切った状態を判定する。
The wakefulness determination unit 27 determines a state in which the wakefulness level has fully decreased based on the ratio of the time determined by the open / closed
以上の構成により、処理装置20は覚醒度が低下し切った状態を判定する。さらに、処理装置20は、覚醒度低下の初期状態を検出するために、記憶部28と算出部(算出手段)29とを備えている。
With the above configuration, the
記憶部28は、開度値検出部23により検出された開度値を時系列的に収集して記憶していくものである。算出部29は、開度値検出部23により検出された開度値を時系列的に収集した時系列データから、開度値の統計的代表値及び統計的偏差を求めるものである。すなわち、算出部29は、記憶部28により記憶されたデータから、開度値の統計的代表値及び統計的偏差を求めるものとして機能する。
The
ここで、開度値の統計的代表値は、例えば平均値など眼の開度値の代表値を表すものである。また、統計的偏差は、例えば標準偏差など眼の開度値の散らばり具合を表すものである。従って、算出部29は、開度値の統計的代表値及び統計的偏差を求めることで、運転者の眼の開度値の代表値とその散らばり具合を求めることとなる。なお、運転者の眼の散らばり具合は、運転者の瞬きが増えるほど大きくなる。すなわち、統計的偏差は、運転者の瞬きの頻度を示すものといえる。
Here, the statistical representative value of the opening value represents a representative value of the opening value of the eye such as an average value. The statistical deviation represents the degree of dispersion of eye opening values such as standard deviation. Therefore, the
また、上記覚醒度判定部27は、算出部29により算出された統計的代表値と標準偏差とから、覚醒度低下の初期状態を判定するものとしても機能する。すなわち、覚醒度判定部27は、眼の開度値の代表値と瞬きの頻度とから、覚醒度低下の初期状態を判定することとなる。
The arousal level determination unit 27 also functions as a unit for determining an initial state of a reduction in the arousal level from the statistical representative value calculated by the
ここで、運転者は、覚醒度低下の初期状態において、眼の開度値が小さくなると共に、瞬きの回数が減少する傾向にある。すなわち、運転者は、覚醒度低下の初期時において、眠さから眼の開度が小さくなる。また、運転者は、眼の開度が小さくなる分、眼の乾き等が少なくなり瞬きの回数が減少する。このため、覚醒度判定部27は、開度値の統計的代表値が低下し、且つ開度値の統計的偏差が小さくなったときに、覚醒度低下の初期状態を検出することとなる。 Here, the driver tends to decrease the number of blinks as the eye opening value decreases in the initial state where the arousal level decreases. That is, the driver's eye opening decreases from sleepiness at the initial stage of a decrease in arousal level. In addition, the amount of blinking is reduced because the driver's eye opening becomes smaller and the eyes dry out. For this reason, the arousal level determination unit 27 detects an initial state of a decrease in arousal level when the statistical representative value of the aperture value decreases and the statistical deviation of the aperture value decreases.
次に、本実施形態に係る覚醒度判定装置1の動作を説明する。なお、以下の説明において、統計的代表値を平均値として説明し、統計的偏差を標準偏差として説明する。なお、統計的代表値は平均値に限らず、眼の開度値の代表値を表すものであれば、中央値や最頻値などであってもよい。さらに、統計的偏差は標準偏差に限らず、眼の開度値の散らばり具合を表すものであれば、分散などであってもよい。
Next, operation | movement of the arousal
まず、覚醒度判定装置1の撮像部10は、運転者の顔を含む領域を撮像し、得られた画像のデータを処理装置20に送出する。そして、処理装置20は、図12及び図13に従う処理を実行する。図12及び図13は、図4に示した処理装置20の詳細動作を示すフローチャートである。なお、図12は処理の前半部分を示し、図13は処理の後半部分を示している。
First, the
図12に示すように、まず、眼位置検出部21は、画像のデータを入力する(ST1)。その後、眼位置検出部21は、眼の追跡領域が設定されているか否かを判断する(ST2)。眼の追跡領域が設定されている場合(ST2:YES)、処理はステップST5に移行する。
As shown in FIG. 12, first, the eye
一方、本装置1の起動直後など、眼の追跡領域が設定されていない場合(ST2:NO)、眼位置検出部21は、画像全体から眼の位置を検出する(ST3)。ここでは、図6〜図9を参照して説明したように、眼の位置を検出する。そして、眼位置検出部21は、眼の位置のデータを追跡部22に送出する。
On the other hand, when the eye tracking area is not set, such as immediately after activation of the present apparatus 1 (ST2: NO), the eye
その後、追跡部22は、眼位置検出部21からの眼の位置のデータに基づいて、追跡領域を設定する(ST4)。このとき、追跡部22は、眼の移動量や、画像の取り込み間隔を考慮して、追跡領域の大きさをできる限り小さく設定する。これにより、より速く眼の追従性に優れた処理を行うことができる。
Thereafter, the
その後、追跡部22は、新たに入力される画像のデータに基づいて、追跡領域内から眼を検出する(ST5)。その後、追跡部22は、眼の追跡が正しく行われているか否かを判断する(ST6)。
Thereafter, the
眼の追跡が正しく行われていないと判断した場合(ST6:NO)、追跡部22は、眼の追跡領域をクリアする(ST7)。さらに、後述するタイマーが作動している場合、処理装置20は、タイマーを停止させる(ST8)。その後、処理はステップST1に戻る。そして、再度追跡領域の設定処理が行われることとなる。
When it is determined that the eye tracking is not performed correctly (ST6: NO), the
一方、眼の追跡が正しく行われていると判断した場合(ST6:YES)、図10を参照して説明したように、追跡部22は追跡領域の更新を行う(ST9)。
On the other hand, when it is determined that the eye tracking is correctly performed (ST6: YES), as described with reference to FIG. 10, the
その後、開度値検出部23は、ステップST5において追跡部22により追跡された眼について開度値を求める(ST10)。そして、処理装置20は、ステップST10において求められた開度値を所定数記憶したか否かを判断する(ST11)。
Thereafter, the opening
開度値を所定数記憶していないと判断した場合(ST11:NO)、記憶部28は、ステップST10において求められた開度値を記憶する(ST12)。そして、処理はステップST15に移行する。
When it is determined that a predetermined number of opening values are not stored (ST11: NO), the
一方、開度値を所定数記憶したと判断した場合(ST11:YES)、算出部29は、記憶部28に記憶された時系列データから、開度値の平均値及び標準偏差を算出する(STY13)。算出後、記憶部28は、記憶した開度値をクリアする(ST14)。そして処理はステップST15に移行する。
On the other hand, when it is determined that a predetermined number of opening values are stored (ST11: YES), the
ステップST15において処理装置20は、運転者個人の開眼状態における開度値を学習し終えたか否かを判断する(ST15)。ここで、学習し終えていないと判断した場合(ST15:NO)、学習部24は記憶部28に記憶されている開度値に基づいて、運転者個人の開眼状態における開度値を求めて学習する。さらに、開閉眼判定基準値算出部25は、学習された開度値から開閉眼判定基準値を求める(ST16)。そして、処理はステップST1に移行する。
In step ST15, the
一方、学習し終えていると判断した場合(ST15:YES)、開閉眼判定部26は、ステップST5にて検出されステップST10にて算出された開度値と、ステップST16にて求めた開閉眼判定基準値とを比較して、開閉眼判定を行う(ST17)。
On the other hand, when it is determined that learning has been completed (ST15: YES), the opening / closing
そして、覚醒度判定部27は、閉眼時間を積算する(ST18)。次いで、処理装置20は、タイマーが作動中か否かを判断し(ST19)、作動中でないと判断した場合には(ST19:NO)、タイマーをスタートさせる(ST20)。その後、処理はステップST21に移行する。一方、タイマーが作動中であると判断した場合には(ST19:YES)、タイマーをスタートさせることなく、処理はステップST21に移行する。
Then, the arousal level determination unit 27 integrates the eye closure time (ST18). Next, the
ステップST21において、処理装置20は、タイマーにより計時される時間が所定時間に達したか否かを判断する(ST21)。所定時間に達していないと判断した場合(ST21:NO)、処理は図12のステップST1に戻る。
In step ST21, the
一方、所定時間に達したと判断した場合(ST21:YES)、処理装置20は、タイマーを停止させると共に、計時されている時間をクリアする(ST22)。そして、覚醒度判定部27は、所定時間中における閉眼率を求める(ST23)。このとき、覚醒度判定部27は、ステップST17において積算された積算時間に基づいて閉眼率を求める。
On the other hand, when it is determined that the predetermined time has been reached (ST21: YES), the
その後、覚醒度判定部27は、閉眼率と、図12に示すステップST14において求められた平均値及び標準偏差に基づいて、覚醒度を判定する(ST24)。その後、提示部30は、提示動作する(ST25)。次いで、処理装置20は、積算してきた積算時間や、記憶してきた開度値、開閉眼判定基準値などをクリアする(ST26)。そして、処理はステップST1に戻る。なお、以上の処理は、例えば本装置1の電源がオフされるまで繰り返されることとなる。
Thereafter, the arousal level determination unit 27 determines the arousal level based on the closed eye rate and the average value and standard deviation obtained in step ST14 shown in FIG. 12 (ST24). Thereafter, the
次に、本実施形態に係る覚醒度判定装置1の詳細動作を、図14及び図15を参照して説明する。図14は、閉眼率の算出ステップ(ST18)の説明図である。なお、同図においてステップST11の所定数は「5」であるとして説明する。
Next, detailed operation of the arousal
まず、開閉眼判定基準値算出部25により開閉眼判定基準値が算出されているものとする。そして、1回目の撮像により画像が得られ、開度値検出部23により開度値が「25」と検出されたとする。ここで、開閉眼判定基準値が「16」と算出されていれば、開閉眼判定部26は、運転者が開眼状態(図14において「O」と示す)であると判定する。
First, it is assumed that the opening / closing eye determination reference
また、2回目の撮像により画像が得られ、開度値検出部23により開度値が「25」と検出された場合も、開閉眼判定部26は運転者が開眼状態であると判定する。さらに、3〜5回目の撮像によっても同様に、開閉眼判定部26は運転者が開眼状態であると判定する。
The open / close
ここで、ステップST11の所定数は「5」である。このため、図12に示すステップST11では「YES」と判断され、算出部29は、5回分の開度値から平均値M1及び標準偏差D1を算出する。そして、ステップST14の処理において開度値はクリアされる。なお、この時点において図13のステップST17における閉眼時間は「0」となる。
Here, the predetermined number in step ST11 is “5”. For this reason, it is determined as “YES” in step ST11 shown in FIG. 12, and the
その後、同様にして平均値M2及び標準偏差D2が算出される。そして、撮像回数が11回目に至ったとする。このとき、開度値検出部23により開度値が「17」と検出されたとすると、開閉眼判定部26は運転者が開眼状態であると判定する。次いで、12回目の撮像により画像が得られ、開度値検出部23により開度値が「13」と検出されたとする。このとき、開度値が開閉眼判定基準値以下となっている。このため、開閉眼判定部26は運転者が閉眼状態(図14において「C」と示す)であると判定する。
Thereafter, the average value M2 and the standard deviation D2 are calculated in the same manner. It is assumed that the number of times of imaging has reached the eleventh time. At this time, if the opening value is detected as “17” by the opening
また、13回目の撮像により画像が得られ、開度値検出部23により開度値が「15」と検出されたとすると、開閉眼判定部26は同様に運転者が閉眼状態であると判定する。そして、14回目及び15回目についても開閉眼が判定される。
Further, if an image is obtained by the thirteenth imaging, and the opening value is detected as “15” by the opening
ここで、上記した如く、ステップST11の所定数は「5」であるため、算出部29は、5回分の開度値から平均値M3及び標準偏差D3を算出する。そして、ステップST14の処理において開度値はクリアされる。その後、同様にして、平均値M4,M5及び標準偏差D4,D5が算出される。そして、1回目の撮像から所定時間経過したとする。
Here, as described above, since the predetermined number in step ST11 is “5”, the
このとき、図13のステップST21では「YES」と判断され、ステップST23において閉眼率が算出される。ここで、閉眼率は、所定時間中に閉眼と判定されたフレーム数を、所定時間中に開閉眼判定処理されたフレーム数で除することにより、求めることができる。 At this time, “YES” is determined in step ST21 of FIG. 13, and the eye-closing rate is calculated in step ST23. Here, the eye closure rate can be obtained by dividing the number of frames determined to be closed during a predetermined time by the number of frames subjected to the open / closed eye determination processing during the predetermined time.
そして、図13のステップST24において、覚醒度が判定される。ここで、覚醒度低下の初期状態については、閉眼率のみからでは判断することができない。しかし、覚醒度が低下し切った状態については、閉眼率のみから判断することができる。従って、覚醒度判定部27は、閉眼率が或る値以上であれば、運転者の覚醒度が低下し切ったと判定する。 Then, in step ST24 of FIG. 13, the arousal level is determined. Here, the initial state of wakefulness reduction cannot be determined only from the closed eye rate. However, the state in which the degree of arousal is lowered and can be determined from only the closed eye rate. Therefore, the arousal level determination unit 27 determines that the driver's arousal level has been lowered if the closed eye rate is a certain value or more.
また、閉眼率が或る値以上でない場合、覚醒度判定部27は、ステップST13において求めた平均値と標準偏差とから、運転者が覚醒状態であるか、又は覚醒度低下の初期状態であるかを判定する。 If the eye closure rate is not greater than a certain value, the wakefulness determination unit 27 is in the state of wakefulness or the initial state of wakefulness reduction based on the average value and the standard deviation obtained in step ST13. Determine whether.
図15は、図12のステップST13において求められる平均値と標準偏差とを示すグラフであり、(a)は運転者の覚醒度が正常であるときの例を示し、(b)は覚醒度低下の初期状態の第1の例を示し、(c)は覚醒度低下の初期状態の第2の例を示している。なお、図15の各図において左縦軸は開度値を示し、右縦軸は標準偏差を示している。さらに、横軸は経過時間を示している。また、図15に示すグラフにおいて平均値及び標準偏差は100フレーム分の開度値から算出されるものとする。さらに、図15(a)においては、標準偏差の基準値(特定値)が定められている。標準偏差の基準値は、例えば覚醒度が正常であるときの全標準偏差の平均値である。また、図15(b)及び(c)に示す標準偏差の基準値は、図15(a)に示す標準偏差の基準値と同じものである。 FIG. 15 is a graph showing the average value and standard deviation obtained in step ST13 of FIG. 12, where (a) shows an example when the driver's arousal level is normal, and (b) is a decrease in the arousal level. A first example of the initial state is shown, and (c) shows a second example of the initial state of arousal level reduction. In each drawing of FIG. 15, the left vertical axis indicates the opening value, and the right vertical axis indicates the standard deviation. Further, the horizontal axis indicates the elapsed time. In the graph shown in FIG. 15, the average value and the standard deviation are calculated from the opening values for 100 frames. Further, in FIG. 15A, a standard value (specific value) of standard deviation is defined. The standard value of the standard deviation is, for example, an average value of all standard deviations when the arousal level is normal. Also, the standard deviation reference values shown in FIGS. 15B and 15C are the same as the standard deviation reference values shown in FIG.
まず、運転者の覚醒度が正常である場合の平均値と標準偏差とを説明する。運転者の覚醒度が正常である場合、図15(a)に示すように、平均値と標準偏差とは或る相関を有している。まず、開度値の標準偏差が特定値以下となる場合、運転者は瞬き回数が少ないと言える。そして、瞬き回数が少ないときには、運転者が眼を見開いている時間が長くなる。従って、開度値の平均値は高くなる傾向にある。図15(a)に示すように、開度値の標準偏差が特定値以下となる場合、開度値の平均値は、運転者個人の開眼状態における開度値から所定値以上小さい値とならない。 First, an average value and a standard deviation when the driver's arousal level is normal will be described. When the driver's arousal level is normal, the average value and the standard deviation have a certain correlation as shown in FIG. First, when the standard deviation of the opening value is equal to or less than a specific value, it can be said that the number of blinks is small for the driver. When the number of blinks is small, the time during which the driver opens his eyes increases. Accordingly, the average value of the opening values tends to be high. As shown in FIG. 15 (a), when the standard deviation of the opening value is equal to or less than the specific value, the average value of the opening value does not become a value smaller than a predetermined value from the opening value in the eye open state of the individual driver. .
これに対し、覚醒度低下の初期状態では、図15(b)に示すように上記の相関関係が崩れる。すなわち、覚醒度低下の初期状態において、開度値の標準偏差が特定値以下となる場合、開度値の平均値は、運転者個人の開眼状態における開度値から所定値以上小さい値となっている。また、図15(c)に示す場合も同様に、標準偏差が特定値以下であるにも関わらず、開度値の平均値は運転者個人の開眼状態における開度値から所定値以上小さい値となっている。 On the other hand, in the initial state where the arousal level is lowered, the correlation is broken as shown in FIG. In other words, when the standard deviation of the opening value is equal to or less than a specific value in the initial state where the degree of arousal is lowered, the average value of the opening value is a value that is smaller than the opening value in the driver's individual open state by a predetermined value or more. ing. Similarly, in the case shown in FIG. 15 (c), the average value of the opening value is a value smaller than the opening value in the eye-open state of the individual driver by a predetermined value or more even though the standard deviation is less than the specific value. It has become.
これは、以下の理由によるものである。すなわち、覚醒度低下の初期状態において、運転者は、眠さから眼の開度が小さくなる。また、運転者は、眼の開度が小さくなる分、眼の乾き等が少なくなり瞬きの回数が減少する。このため、図15(a)に示した相関関係は崩れることとなる。 This is due to the following reason. In other words, in the initial state where the degree of arousal is reduced, the driver's eye opening decreases from sleepiness. In addition, the amount of blinking is reduced because the driver's eye opening becomes smaller and the eyes dry out. For this reason, the correlation shown in FIG.
そして、覚醒度判定部27は、図15(b)及び(c)のような状態を検出することにより、覚醒度低下の初期状態を判定することとなる。すなわち、覚醒度判定部27は、算出部29により算出された平均値が運転者個人の開眼状態における開度値よりも所定値以上小さく、且つ、算出部29により算出された標準偏差が特定値以下であるときに、運転者が覚醒度低下の初期状態にあると判定する。
And the arousal degree determination part 27 will determine the initial state of a wakefulness fall by detecting a state like FIG.15 (b) and (c). That is, the arousal level determination unit 27 determines that the average value calculated by the
このように、本装置1は、覚醒度低下の初期状態を判定する。なお、図14に示すように、算出部29は、開度値の平均値及び標準偏差を所定時間以内に算出することが望ましい。これにより、閉眼率を求めた段階において、少なくとも1回の平均値及び標準偏差が算出されることとなる。このため、本装置1は、閉眼率から覚醒度が低下し切った状態を判定する一方で、開度値の平均値及び標準偏差から覚醒度低下の初期状態を判定することが可能となる。故に、本装置1は、覚醒度が低下し切った状態と覚醒度低下の初期状態とを同時に判定することができる。
Thus, this
このようにして、本実施形態に係る覚醒度判定装置1によれば、撮像した画像から運転者の眼の開度を示す開度値を検出し、これを時系列的に収集して開度値の統計的代表値及び統計的偏差を求めることとしている。ここで、開度値の統計的代表値は眼の開度値の大きさを表すものとなる。また、統計的偏差は、眼の開度値の散らばり具合、すなわち瞬きの頻度を表すものとなる。
Thus, according to the arousal
そして、算出した統計的代表値と統計的偏差とから、覚醒度低下の初期状態を判定することとしている。ここで、運転者は、眠くなり始めたときにおいて、すなわち覚醒度低下の初期状態において、眼の開度値が小さくなると共に、瞬きの回数が減少する傾向にある。従って、眼の開度値の大きさを示す統計的代表値と瞬きの頻度を示す統計的偏差とから覚醒度低下の初期状態を判定することで、覚醒度低下の初期状態を正確に検出することができる。 Then, the initial state of the arousal level reduction is determined from the calculated statistical representative value and the statistical deviation. Here, when the driver starts to become sleepy, that is, in the initial state where the degree of arousal is lowered, the eye opening value tends to decrease and the number of blinks tends to decrease. Therefore, by detecting the initial state of wakefulness reduction from the statistical representative value indicating the magnitude of the eye opening value and the statistical deviation indicating the blink frequency, the initial state of wakefulness reduction is accurately detected. be able to.
また、開度値の検出頻度から、運転者個人の開眼状態における開度値を求めて学習し、学習された開度値から、眼の開眼及び閉眼を判定するための開閉眼判定基準値を求めている。そして、新たに撮像されて検出された開度値を、開閉眼判定基準値と比較して開閉眼を判定し、閉眼と判定された時間が所定時間中に占める割合に基づいて、覚醒度が低下し切った状態を判定する。これにより、覚醒度低下の初期状態だけでなく、覚醒度が低下し切った状態についても判定できることとなり、多段階に覚醒度を判定することができる。 Further, an opening / closing eye determination reference value for determining the opening and closing of the eyes from the learned opening value is obtained by learning the opening value in the eye open state of the individual driver from the detection value of the opening value. Seeking. Then, the newly opened and detected opening value is compared with the open / closed eye determination reference value to determine the open / closed eye. Judge the state of being lowered. Thereby, it is possible to determine not only the initial state in which the arousal level is lowered but also the state in which the arousal level is fully lowered, and the arousal level can be determined in multiple stages.
また、開度値の統計的代表値及び統計的偏差を所定時間以内に算出することとしている。これにより、閉眼率を求めた段階において、少なくとも1回の平均値及び標準偏差が算出されることとなる。このため、本装置1は、閉眼率から覚醒度が低下し切った状態を判定する一方で、開度値の平均値及び標準偏差から覚醒度低下の初期状態を判定することが可能となる。故に、本装置1は、覚醒度が低下し切った状態と覚醒度低下の初期状態とを同時に判定することができる。
Further, the statistical representative value and the statistical deviation of the opening value are calculated within a predetermined time. Thereby, at the stage of obtaining the closed eye rate, at least one average value and standard deviation are calculated. For this reason, the
また、統計的代表値が運転者個人の開眼状態における開度値よりも、所定値以上小さく、且つ、統計的偏差が、特定値以下であるときに、運転者が覚醒度低下の初期状態にあると判定している。ここで、運転者は、覚醒度低下の初期時において、眠さから眼の開度が小さくなる。また、運転者は、眼の開度が小さくなる分、眼の乾き等が少なくなり瞬きの回数が減少する。このため、統計的代表値が運転者個人の開眼状態における開度値よりも所定値以上小さく、且つ、統計的偏差が特定値以下である場合、覚醒度低下の初期状態である可能性が非常に高いといえる。従って、一層正確に覚醒度低下の初期状態を判定することができる。 Further, when the statistical representative value is a predetermined value or more smaller than the opening value in the eye open state of the individual driver and the statistical deviation is a specific value or less, the driver is in an initial state where the arousal level is lowered. It is determined that there is. Here, in the initial stage of the decrease in arousal level, the driver's eye opening decreases from sleep. In addition, the amount of blinking is reduced because the driver's eye opening becomes smaller and the eyes dry out. For this reason, if the statistical representative value is a predetermined value or more smaller than the opening value in the driver's individual eye-open state and the statistical deviation is less than or equal to a specific value, there is a possibility that it is an initial state of arousal reduction. It can be said that it is very expensive. Therefore, it is possible to more accurately determine the initial state of arousal level reduction.
また、開度値は眼の縦幅であるため、簡便な演算処理で精度の高い開度値を求めることができる。 Further, since the opening value is the vertical width of the eye, a highly accurate opening value can be obtained by a simple calculation process.
ここで、開度値は眼の縦幅に限らず、上瞼の曲率であってもよい。図16は、開度値の例を示すグラフであり、(a)は開度値を眼の縦幅としたときの例を示し、(b)は開度値を上瞼の曲率としたときの例を示している。なお、図16(b)では開度値を上瞼の曲率半径として図示するものとする。 Here, the opening degree value is not limited to the vertical width of the eye but may be the curvature of the upper eyelid. FIG. 16 is a graph showing an example of the opening value, (a) shows an example when the opening value is the vertical width of the eye, and (b) is when the opening value is the curvature of the upper eyelid. An example is shown. In FIG. 16B, the opening degree value is illustrated as the curvature radius of the upper eyelid.
まず、覚醒度が正常である場合において開度値を眼の縦幅としたとき、図16(a)に示すように、開度値が不安定となることがある。すなわち、運転者が笑ったときには、眠くないにも関わらず、眼の縦幅は小さくなる。このため、開度値は「20」〜「28」辺りで不規則に変化してしまう場合がある。 First, when the degree of opening is the vertical width of the eye when the arousal level is normal, the opening value may become unstable as shown in FIG. In other words, when the driver laughs, the vertical width of the eyes is reduced although the driver is not sleepy. For this reason, the opening degree value may change irregularly around “20” to “28”.
一方、覚醒度が正常である場合において開度値を上瞼の曲率半径としたとき、図16(b)に示すように、開度値は安定したものとなる。すなわち、運転者が笑った場合、眼が細くなるものの運転者の頬が上がるため、上瞼の曲率は影響を受けないこととなる。 On the other hand, when the degree of wakefulness is normal and the opening degree value is the curvature radius of the upper eyelid, the opening degree value becomes stable as shown in FIG. That is, when the driver laughs, the driver's cheek rises although the eyes become narrower, and the curvature of the upper eyelid is not affected.
なお、開度値を上瞼の曲率とした場合、図17に示すように、運転者が眠くなったときに開度値が小さくなることは言うまでもない。図17は、開度値を上瞼の曲率とした場合における開眼時及び閉眼時の曲率を示す説明図であり、(a)は開眼時の例を示し、(b)は閉眼時の例を示している。 Needless to say, when the opening degree value is the curvature of the upper eyelid, as shown in FIG. 17, the opening degree value becomes smaller when the driver becomes sleepy. FIGS. 17A and 17B are explanatory diagrams showing curvatures when the eyes are opened and closed when the opening value is the curvature of the upper eyelid, FIG. 17A shows an example when the eyes are opened, and FIG. 17B shows an example when the eyes are closed. Show.
図17(a)に示すように、開眼状態において上瞼は弧を描くため、曲率は大きくなる。これに対し、図17(b)に示すように、運転者は眠くなると上瞼が下がってくる。すなわち、運転者が笑ったときとは異なり、上瞼の形状は線に近くなる。従って、曲率は小さくなる。このように、開度値を上瞼の曲率とすることで、運転者が笑った場合においても、開度値を正確に求めることができる。 As shown in FIG. 17 (a), the upper eyelid draws an arc in the open eye state, so that the curvature increases. On the other hand, as shown in FIG. 17B, when the driver becomes sleepy, the upper arm lowers. That is, unlike when the driver laughs, the shape of the upper collar is close to a line. Therefore, the curvature becomes small. Thus, by setting the opening degree value as the curvature of the upper eyelid, the opening degree value can be accurately obtained even when the driver laughs.
次に、本発明の第2実施形態を説明する。第2実施形態に係る覚醒度判定装置2は、第1実施形態のものと同様であるが、構成及び処理内容が第1実施形態のものと一部異なっている。
Next, a second embodiment of the present invention will be described. The arousal
以下、第1実施形態との相違点について説明する。図18は、第2実施形態に係る覚醒度判定装置のハード構成図である。同図に示すように、第2実施形態に係る覚醒度判定装置2は、新たにハンズフリーマイク41、音声認識装置42、タイマー43、運転操作検出部44、及び走行検出部45を備えている。
Hereinafter, differences from the first embodiment will be described. FIG. 18 is a hardware configuration diagram of the arousal level determination device according to the second embodiment. As shown in the figure, the arousal
ハンズフリーマイク41は、車室内に取り付けられ、運転者の発話などの音声を入力するものである。また、ハンズフリーマイク41は、入力した音声に応じた電気信号を出力する構成となっている。
The hands-
音声認識装置42は、ハンズフリーマイク41からの電気信号を解析して、入力された音声が運転者の発話によるものであるか否かを判断するものである。また、音声認識装置42は、入力された音声が運転者の発話によるものであると判断した場合、その旨の信号を処理装置20に送信する構成となっている。
The voice recognition device 42 analyzes the electrical signal from the hands-
タイマー43は、計時機能を有し、運転開始からの時間を計測して、計測した時間情報を処理装置20に送信する構成となっている。運転操作検出部44は、運転者の運転操作を検出するためのものであって、例えば蛇角センサ、アクセルセンサ、及びブレーキセンサが該当する。また、運転操作検出部44は、それぞれのセンサで検出した運転者の運転操作を示す信号を処理装置20に送信する構成となっている。
The
走行検出部45は、車両の走行に関する情報(以下走行情報という)を検出するものであって、例えば車速センサ、車両周囲検出センサ、及びナビゲーションシステムが該当する。すなわち、走行検出部45の車速センサは、走行情報の1つである車両の走行速度を検出する。また、車両周囲検出センサは走行情報の1つである車両の走行環境を検出し、ナビゲーションシステムは走行情報の1つである車両の走行経路を検出する。また、走行検出部45は、検出した車両の走行情報を処理装置20に送信する構成となっている。
The traveling
図19は、図18に示した処理装置20の詳細構成図である。なお、図19においては、接続関係を明確にするために、撮像部10や信号の入力の様子についても図示することとする。
FIG. 19 is a detailed block diagram of the
同図に示すように、処理装置20は、新たに再学習指令部(再学習指令手段)46を備えている。再学習指令部46は、運転者個人の開眼状態における開度値を、学習部24に再学習させるものである。この再学習指令部46は、運転者が起きているか否かを判断し、起きていると判断できた場合、及び、運転者の眼を誤って追跡しているか否かを判断し、誤って追跡していると判断できた場合の少なくとも一方の場合に、学習部24に再学習をさせる構成となっている。
As shown in the figure, the
ここで、運転者が起きている場合や運転者の眼を誤って追跡している場合に、再学習指令部46が学習部24に再学習させる理由は以下の通りである。
Here, the reason why the
まず、学習部24は、開眼状態における開度値を、開度値検出部23により検出された開度値の最頻値から求めるとする。このとき、運転者の覚醒度が低下していれば、運転者が眼を閉じているときの開度値が最頻値となる可能性がある。このため、運転者の覚醒度が低下しているときの開度値からでは、開眼状態における開度値を正確に求めることが困難となり、ひいては開閉眼判定基準値までもが不正確なものとなりえる。そこで、再学習指令部46は、運転者が起きている場合に再学習させることで、運転者個人の開眼状態における開度値を精度良く求めることとしている。
First, it is assumed that the
また、運転者が眼鏡を着用している場合、追跡部22は誤って眼鏡のフレーム部を眼として追跡してしまう可能性がある。また、誤って追跡していた間に得られた開度値は、不正確なものといえる。このため、再学習指令部46は、運転者の眼を誤って追跡している場合に再学習させることで、運転者個人の開眼状態における開度値を正確に求めるようにしている。
In addition, when the driver wears glasses, the
次に、第2実施形態に係る覚醒度判定装置2の動作を説明する。第2実施形態に係る覚醒度判定装置2は、第1実施形態のものと同様の処理を実行する。すなわち、撮像部10は、運転者の顔を含む領域を撮像し、得られた画像のデータを処理装置20に送出する。次いで、処理装置20は、図12に示した処理を実行する。そして、図12のステップST15において処理装置20は、運転者個人の開眼状態における開度値を学習し終えたか否かを判断し(ST15)、学習し終えていると判断した場合(ST15:YES)、図20及び図21に示す処理を実行する。
Next, the operation of the arousal
図20及び図21は、図18に示した処理装置20の詳細動作を示すフローチャートである。なお、図20は第2実施形態特有の処理の前半部分を示し、図21は第2実施形態特有の処理の後半部分を示している。
20 and 21 are flowcharts showing the detailed operation of the
まず、学習し終えていると判断した場合(ST15:YES)、開閉眼判定部26は、ステップST17と同様にして開閉眼判定を行う(図20:ST30)。そして、開閉眼判定部26は、ステップST30の開閉眼判定の結果が、開眼であったか否かを判断する(ST31)。
First, when it is determined that learning has been completed (ST15: YES), the open / close
ここで、開閉眼判定の結果が開眼であった場合(ST31:YES)、再学習指令部46は、連続して開眼と判定された回数を示す開眼判定回数を、カウントアップする(ST32)。その後、再学習指令部46は、連続して閉眼と判定された回数を示す閉眼判定回数を、クリアする(ST33)。そして、再学習指令部46は、開眼判定回数が所定回数を超えたか否かを判断する(ST34)。
Here, when the result of the eye opening / closing determination is eye opening (ST31: YES), the relearning
ここで、開眼判定回数が所定回数を超えたと判断した場合(ST34:YES)、すなわち或る程度の時間(第1規定時間)連続して開眼と判断された場合、あまりに長期に渡り開眼状態が継続しているといえる。すなわち、人間は必ず瞬きをするにも関わらず、開眼状態が継続し続けているため、誤って眼を追跡していると判断できる。 Here, when it is determined that the number of eye opening determinations exceeds the predetermined number (ST34: YES), that is, when it is determined that the eyes are opened continuously for a certain period of time (first specified time), the eye open state has been excessively long. It can be said that it is continuing. In other words, it can be determined that the human is tracking the eye by mistake because the eye-opening state continues even though the human eye always blinks.
このため、再学習指令部46は、学習部24が学習した運転者個人の開眼状態における開度値をクリアする(図21:ST51)。その後、処理はステップST1に戻る。これにより、図12に示したステップST16の学習処理が再度実行されることとなる。すなわち、再学習指令部46は、学習部24に運転者個人の開眼状態における開度値を再学習させることとなる。
For this reason, the relearning
また、開眼判定回数が所定回数を超えていないと判断した場合(ST34:NO)、処理は図21に示したステップST40に移行する。 If it is determined that the eye opening determination number does not exceed the predetermined number (ST34: NO), the process proceeds to step ST40 shown in FIG.
ところで、開閉眼判定の結果が開眼でなかった場合(ST31:NO)、覚醒度判定部27は、閉眼時間を積算する(ST36)。次いで、再学習指令部46は、閉眼判定回数をカウントアップする(ST37)。その後、再学習指令部46は、開眼判定回数をクリアする(ST38)。そして、再学習指令部46は、閉眼判定回数が所定回数を超えたか否かを判断する(ST39)。
By the way, when the result of the open / closed eye determination is not open (ST31: NO), the arousal level determination unit 27 integrates the closed eye time (ST36). Next, the relearning
ここで、開眼判定回数が所定回数を超えたと判断した場合(ST39:YES)、すなわち或る程度の時間(第2規定時間)連続して閉眼と判断された場合、運転しているにも関わらず、あり得ないほど長期に渡り閉眼状態が継続しているといえる。すなわち、誤って眼を追跡していると判断できる。 Here, when it is determined that the number of eye opening determinations exceeds the predetermined number (ST39: YES), that is, when it is determined that the eyes are closed continuously for a certain period of time (second specified time), the driver is driving. Therefore, it can be said that the closed-eye state has continued for a long time. That is, it can be determined that the eye is tracked by mistake.
このため、再学習指令部46は、学習部24が学習した運転者個人の開眼状態における開度値をクリアする(図21:ST51)。そして、処理はステップST1に戻る。これにより、図12に示したステップST16の処理が再度実行されることとなる。すなわち、再学習指令部46は、学習部24に再学習させることとなる。
For this reason, the relearning
また、閉眼判定回数が所定回数を超えていないと判断した場合(ST39:NO)、処理は図21に示したステップST40に移行する。 If it is determined that the closed eye count does not exceed the predetermined number (ST39: NO), the process proceeds to step ST40 shown in FIG.
図21のステップST40において、処理装置20は、タイマーが作動中か否かを判断し(ST40)、作動中でないと判断した場合には(ST40:NO)、タイマーをスタートさせる(ST41)。その後、処理はステップST42に移行する。一方、タイマーが作動中であると判断した場合には(ST40:YES)、タイマーをスタートさせことなく、処理はステップST42に移行する。
In step ST40 of FIG. 21, the
ステップST42において、処理装置20は、タイマーにより計時される時間が所定時間に達したか否かを判断する(ST42)。所定時間に達していないと判断した場合(ST42:NO)、処理は図12のステップST1に戻る。一方、所定時間に達したと判断した場合(ST42:YES)、処理装置20は、タイマーを停止させると共に、計時されている時間をクリアする(ST43)。
In step ST42, the
次いで、再学習指令部46は、図22に示す所定条件に合致する平均値及び標準偏差の個数を求める(ST44)。図22は、ステップST44の処理の詳細を示すグラフである。なお、図22において左縦軸は開度値を示し、右縦軸は標準偏差を示している。さらに、横軸は経過時間を示している。また、図22に示すグラフにおいて平均値及び標準偏差は100フレーム分の開度値から算出されるものとする。さらに、図22においては、覚醒度が正常であるときの全標準偏差の平均値として標準偏差の基準値(基準値)が定められている。
Next, the relearning
まず、所定条件とは、学習部24により学習された運転者個人の開眼状態における開度値より平均値の方が大きく、且つ、標準偏差が基準値以下である状態をいう。ここで、図22の符号Aに示す区間において、平均値は、学習部24により学習された運転者個人の開眼状態における開度値よりも大きくなっている。また、標準偏差は、図22の符号Bに示すように、ほぼ全区間に渡って基準値以下となっている。このため、図22の符号A及び符号Bが示す区間の重複区間において、平均値と標準偏差とは所定条件を満たすこととなる。
First, the predetermined condition refers to a state in which the average value is larger than the opening value in the eye-open state of the individual driver learned by the
そして、所定条件を満たす場合には以下のことが言える。すなわち、平均値が運転者個人の開眼状態における開度値よりも大きい場合、運転者は普段よりも眼を見開いているといえる。また、標準偏差が基準値以下である場合、運転者は瞬きの回数が少なくなっているといえる。従って、所定条件を満たす場合、運転者は普段よりも眼を見開き、且つ瞬きが少なくなっていることから、再学習指令部46は、運転者が起きていると判断する。
And when satisfying a predetermined condition, the following can be said. That is, when the average value is larger than the opening value of the driver in the open eye state, it can be said that the driver is more open than usual. Further, when the standard deviation is equal to or less than the reference value, it can be said that the number of blinks is reduced for the driver. Therefore, when the predetermined condition is satisfied, the driver opens his eyes more than usual and the blinking is less, so the relearning
なお、再学習指令部46は、所定条件を満たすときに運転者が起きていると判断し、学習部24に再学習をさせてもよいが、より正確に処理を実行するため、図21のステップST44に示すように、所定条件を満たす平均値と標準偏差との個数を求めることとしている。
Note that the relearning
その後、再学習指令部46は、所定条件を満たす平均値と標準偏差との個数が、所定個数以上か否かを判断する(ST45)。そして、所定個数以上と判断した場合(ST45:YES)、再学習指令部46は、学習部24が学習した運転者個人の開眼状態における開度値をクリアする(ST51)。そして、処理はステップST1に戻り、再学習指令部46は、学習部24に再学習させることとなる。
Thereafter, the relearning
他方、所定個数以上でないと判断した場合(ST45:NO)、再学習指令部46は、入力信号に基づいて運転者が起きているか否かを判断する(ST46)。すなわち、再学習指令部46は、音声認識装置42からの信号を入力して発話があったか否かを検出する。また、再学習指令部46は、タイマー43から、運転開始からの時間を示す時間情報を入力する。さらに、再学習指令部46は、運転操作検出部44から、運転者の運転操作を示す運転操作信号を入力すると共に、走行検出部45から、走行情報を入力する。
On the other hand, when it is determined that the number is not equal to or greater than the predetermined number (ST45: NO), the relearning
そして、再学習指令部46は、運転者による発話が検出されるときには、運転者が起きていると判断する。また、再学習指令部46は、エンジン始動から一定時間が経過するまでは、運転者が起きていると判断する。さらに、再学習指令部46は、運転者による運転操作が所定頻度以上検出されるとき、及び車両の走行情報により運転者の運転意思が検出されるときには、運転者が起きていると判断する。
Then, the relearning
なお、車両の走行情報により運転者の運転意思が検出される場合とは、例えば加速と減速とが繰り返し検出される場合や、車両周囲の障害物を避ける動作をしている場合や、ナビゲーションシステムによる誘導経路から外れることなく自車両が走行している場合などである。 The case where the driver's driving intention is detected based on the vehicle travel information is, for example, a case where acceleration and deceleration are repeatedly detected, a case where an operation is performed to avoid obstacles around the vehicle, and a navigation system. This is the case when the host vehicle is traveling without deviating from the guidance route.
そして、運転者が起きていると判断した場合(ST46:YES)、再学習指令部46は、学習部24が学習した運転者個人の開眼状態における開度値をクリアする(ST51)。次いで、処理はステップST1に戻り、再学習指令部46は、学習部24に再学習させることとなる。
If it is determined that the driver is awake (ST46: YES), the relearning
他方、運転者が起きていないと判断した場合(ST46:NO)、再学習指令部46は、運転者個人の開眼状態における開度値をクリアしない。すなわち、再学習指令部46は、学習部24に再学習させることなく、処理はステップST47に移行する。
On the other hand, when it is determined that the driver has not woken up (ST46: NO), the relearning
その後、図13に示したステップST23〜ST26の処理と同様にして、ステップST47〜ST50の処理が実行される。 Thereafter, the processing of steps ST47 to ST50 is executed in the same manner as the processing of steps ST23 to ST26 shown in FIG.
このようにして、第2実施形態に係る覚醒度判定装置2によれば、第1実施形態と同様に、覚醒度低下の初期状態を正確に検出することができる。また、多段階に覚醒度を判定することができ、覚醒度を詳細に判定し易くすることができる。
In this way, according to the arousal
さらに、一層正確に覚醒度低下の初期状態を判定することができ、簡便な演算処理で精度の高い開度値を求めることができ、運転者が笑った場合においても、開度値を正確に求めることができる。 Furthermore, it is possible to determine the initial state of wakefulness reduction more accurately, and to obtain a highly accurate opening value by simple arithmetic processing, and even when the driver laughs, the opening value can be accurately determined. Can be sought.
さらに、第2実施形態によれば、運転者が起きているか否かを判断し、且つ、運転者の眼を誤って追跡しているか否かを判断している。そして、起きていると判断できた場合や、誤って追跡していると判断できた場合には、運転者個人の開眼状態における開度値を再学習させている。このため、運転者の覚醒度が低下しているときに、運転者個人の開眼状態における開度値を学習し、そのまま学習した開度値により処理が実行され続けてしまうことを防止できる。さらに、運転者が眼鏡を着用している場合などに、誤って追跡していた間に得られた開度値により処理が実行され続けてしまうことを防止できる。 Furthermore, according to the second embodiment, it is determined whether or not the driver is awake and whether or not the driver's eyes are being tracked erroneously. When it can be determined that the vehicle is waking up or when it is determined that the vehicle is being tracked by mistake, the opening value of the driver in the open eye state is relearned. For this reason, when the driver's arousal level is reduced, it is possible to prevent the driver from learning the opening value in the eye open state and continue to execute the process with the learned opening value as it is. Furthermore, when the driver wears glasses, it is possible to prevent the process from being continuously executed due to the opening value obtained while being tracked by mistake.
また、統計的代表値が運転者個人の開眼状態における開度値よりも大きく、且つ、統計的偏差が、基準値以下であるときに、運転者が起きていると判断している。すなわち、統計的代表値が運転者個人の開眼状態における開度値よりも大きい場合、運転者は普段よりも眼を見開いているといえる。また、統計的偏差が基準値以下である場合、運転者は瞬きの回数が少なくなっているといえる。従って、確実に運転者が起きていることを判断することができる。 Further, when the statistical representative value is larger than the opening value of the driver in the open eye state and the statistical deviation is equal to or less than the reference value, it is determined that the driver has occurred. That is, if the statistical representative value is larger than the opening value in the driver's individual open-eye state, it can be said that the driver is more open than usual. Further, when the statistical deviation is less than or equal to the reference value, it can be said that the driver has decreased the number of blinks. Therefore, it is possible to reliably determine that the driver is awake.
また、第1規定時間連続して開眼と判断され、又は第2規定時間連続して閉眼と判断されたときに、運転者の眼を誤って追跡していると判断している。すなわち、第1規定時間連続して開眼と判断された場合、あまりに長期に渡り開眼状態が継続しているといえる。すなわち、人間は必ず瞬きをするにも関わらず、開眼状態が継続し続けているため、眼を誤って眼を追跡していると判断できる。さらに、第2規定時間連続して閉眼と判断された場合、運転しているにも関わらず、あり得ないほど長期に渡り閉眼状態が継続しているといえる。すなわち、誤って眼を追跡していると判断できる。このように、誤って眼を追跡していることを確実に判断することができる。 Further, when it is determined that the eyes are opened continuously for the first specified time or the eyes are closed for the second specified time, it is determined that the driver's eyes are being tracked by mistake. That is, when it is determined that the eyes are open continuously for the first specified time, it can be said that the eye-opening state has continued for too long. That is, it can be determined that the human is tracking the eye by mistake because the human eyes are always blinking and the eye-opening state continues. Furthermore, when it is determined that the eyes are closed continuously for the second specified time, it can be said that the eyes are closed for a long period of time even though the vehicle is in operation. That is, it can be determined that the eye is tracked by mistake. In this way, it is possible to reliably determine that the eye is being tracked by mistake.
また、エンジン始動から一定時間が経過するまでは、運転者が起きていると判断している。すなわち、エンジン始動から間もない時間に運転者の覚醒度が低下することは考えられず、確実に運転者が起きていることを判断することができる。 Further, it is determined that the driver is awake until a certain time has elapsed since the engine was started. In other words, it is unlikely that the driver's arousal level will decrease in a short time after the engine is started, and it can be determined that the driver is awake.
また、運転者による運転操作が所定頻度以上検出されるときには、運転者が起きていると判断している。ここで、運転者の覚醒度が低下している場合には運転操作の頻度が低下して、操作頻度は所定頻度を下回ることとなる。このため、運転操作が所定頻度以上検出されるときには、確実に運転者が起きていることを判断することができる。 Further, when the driving operation by the driver is detected more than a predetermined frequency, it is determined that the driver is awake. Here, when the driver's arousal level is lowered, the frequency of the driving operation is lowered, and the operation frequency is lower than the predetermined frequency. For this reason, when the driving operation is detected more than a predetermined frequency, it can be reliably determined that the driver is awake.
また、車両の走行情報により運転者の運転意思が検出されるときには、運転者が起きていると判断している。ここで、車両の走行情報により運転者の運転意思が検出される場合とは、例えば加速と減速とが繰り返し検出される場合や、車両周囲の障害物を避ける動作をしている場合や、ナビゲーションシステムによる誘導経路から外れることなく自車両が走行している場合などである。 Further, when the driver's intention to drive is detected from the driving information of the vehicle, it is determined that the driver is awake. Here, the case where the driver's intention to drive is detected based on the driving information of the vehicle is, for example, a case where acceleration and deceleration are repeatedly detected, an operation that avoids obstacles around the vehicle, navigation, This is the case when the host vehicle is traveling without departing from the guidance route by the system.
すなわち、加速と減速とが繰り返されるような場合には、走路にあわせて適切な車速に調整しようとする運転者の意思が検出される。このため、運転者の覚醒度が低下していると考えられず、確実に運転者が起きていると判断できる。また、車両周囲の障害物を避ける動作をしている場合には、車両周囲の環境にあわせて障害物を避けようとする運転者の意思が検出される。また、ナビゲーションシステムによる誘導経路から外れることなく自車両が走行している場合には、誘導経路に沿って運転しようとする運転者の意思が検出される。このため、同様に確実に運転者が起きていると判断できる。 That is, when acceleration and deceleration are repeated, the driver's intention to adjust to an appropriate vehicle speed in accordance with the running road is detected. For this reason, it is not considered that the driver's arousal level has been lowered, and it can be determined that the driver is awake. In addition, when the vehicle is operating to avoid obstacles around the vehicle, the driver's intention to avoid the obstacle is detected according to the environment around the vehicle. In addition, when the host vehicle is traveling without departing from the guidance route by the navigation system, the driver's intention to drive along the guidance route is detected. For this reason, it can be similarly determined that the driver is awake.
従って、確実に運転者が起きていることを判断することができる。 Therefore, it is possible to reliably determine that the driver is awake.
また、運転者による発話が検出されるときには、運転者が起きていると判断している。すなわち、覚醒度が低下した状態で運転者が発話するとは考え難く、確実に運転者が起きていることを判断することができる。 Further, when the utterance by the driver is detected, it is determined that the driver is awake. That is, it is unlikely that the driver speaks in a state where the arousal level is lowered, and it can be determined that the driver is awake.
次に、本発明の第3実施形態を説明する。第3実施形態に係る覚醒度判定装置3は、第1実施形態のものと同様であるが、構成及び処理内容が第1実施形態のものと一部異なっている。
Next, a third embodiment of the present invention will be described. The arousal
以下、第1実施形態との相違点について説明する。図23は、第3実施形態に係る覚醒度判定装置の処理装置の詳細構成図である。なお、図23においては、接続関係を明確にするために、撮像部10についても図示することとする。
Hereinafter, differences from the first embodiment will be described. FIG. 23 is a detailed configuration diagram of a processing device of the arousal level determination device according to the third embodiment. In FIG. 23, the
同図に示すように、第3実施形態に係る覚醒度判定装置3は、新たに信頼度推定部47を備えている。信頼度推定部47は、算出部29により算出された平均値と標準偏差との関係が眼の状態としてあり得るか否かを判断するものである。また、信頼度推定部47は、眼の状態としてあり得るか否かの判断結果によって覚醒度判定部27の判定結果について信頼度を推定するものである。
As shown in the figure, the arousal
ここで、信頼度推定部47は、算出部29により算出された平均値と標準偏差との関係が眼の状態としてあり得るか否かを判断するにあたり、以下の条件を用いる。図24は、信頼度推定部47による判断の詳細を示すグラフである。なお、図24において左縦軸は開度値を示し、右縦軸は標準偏差を示している。さらに、横軸は経過時間を示している。また、図24に示すグラフにおいて平均値及び標準偏差は100フレーム分の開度値から算出されるものとする。さらに、図24においては、覚醒度が正常であるときの全標準偏差の平均値として標準偏差の基準値(規定値)が定められている。
Here, the reliability estimation unit 47 uses the following conditions when determining whether or not the relationship between the average value calculated by the
信頼度推定部47は、算出部29により算出された平均値が運転者個人の開眼状態における開度値よりも大きく、且つ、算出部29により算出された標準偏差が規定値を超えるときに、眼の状態としてあり得ないと判断して、信頼度を推定する。
The reliability estimation unit 47, when the average value calculated by the
すなわち、符号Dにより示す区間のように、標準偏差が規定値を超える場合、運転者の瞬きの回数が多くなっていることを示している。このため、閉眼の割合が増加することから、眼の開度値の平均は、符号Dにより示す区間と対応する符号Cの区間において、低くなるはずである。ところが、算出部29により算出された平均値が運転者個人の開眼状態における開度値よりも大きくなっている。このため、眼の状態としてあり得ない現象が起こっていることとなる。従って、信頼度推定部47は信頼度が低いと推定する。
That is, when the standard deviation exceeds the specified value as in the section indicated by the symbol D, it indicates that the number of blinks of the driver is increasing. For this reason, since the ratio of closed eyes increases, the average of the eye opening values should be lower in the section indicated by reference numeral C corresponding to the section indicated by reference numeral D. However, the average value calculated by the
このように、信頼度を推定することにより、仮に覚醒度が低下していると判定されたとしても、運転者を覚醒させる報知を行わないようにするなど、信頼度に応じて適切な提示を行うことが可能となる。 In this way, even if it is determined that the arousal level is lowered by estimating the reliability level, an appropriate presentation according to the reliability level is provided, for example, a notification to awaken the driver is not performed. Can be done.
次に、第3実施形態に係る覚醒度判定装置3の動作を説明する。第3実施形態に係る覚醒度判定装置3は、第1実施形態のものと同様の処理を実行する。すなわち、撮像部10は、運転者の顔を含む領域を撮像し、得られた画像のデータを処理装置20に送出する。次いで、処理装置20は、図12に示した処理を実行する。そして、図12のステップST15において処理装置20は、運転者個人の開眼状態における開度値を学習し終えたか否かを判断し(ST15)、学習し終えていると判断した場合(ST15:YES)、図25に示す処理を実行する。
Next, the operation of the arousal
図25は、図23に示した処理装置20の詳細動作を示すフローチャートである。同図に示すように、学習し終えていると判断した場合(ST15:YES)、開閉眼判定部26は、ステップST17と同様にして開閉眼判定を行う(ST60)。その後、ステップST61〜ST65において、図13に示したステップST18〜ST22と同様の処理が行われる。
FIG. 25 is a flowchart showing the detailed operation of the
そして、ステップST66において、信頼度推定部47は、図24に示した条件に合致する平均値及び標準偏差の個数を求める(ST66)。その後、信頼度推定部47は、図24に示した条件を満たす平均値と標準偏差との個数が、所定個数以上か否かを判断する(ST67)。 In step ST66, the reliability estimation unit 47 obtains the average value and the number of standard deviations that meet the conditions shown in FIG. 24 (ST66). Thereafter, the reliability estimation unit 47 determines whether or not the number of average values and standard deviations that satisfy the conditions shown in FIG. 24 is equal to or greater than a predetermined number (ST67).
そして、所定個数以上と判断した場合(ST67:YES)、信頼度推定部47は、覚醒度判定部27の判定結果について信頼度が低いと推定する(ST68)。すなわち、眼の状態としてあり得ない現象が起こっていることから、信頼度推定部47は覚醒度判定部27の判定結果について信頼度が低いと推定する。そして、処理はステップST70に移行する。他方、所定個数以上でないと判断した場合(ST67:NO)、信頼度推定部47は、覚醒度判定部27の判定結果について信頼度が高いと推定する(ST69)。そして、処理はステップST70に移行する。 If it is determined that the number is greater than or equal to the predetermined number (ST67: YES), the reliability estimation unit 47 estimates that the reliability of the determination result of the arousal level determination unit 27 is low (ST68). That is, since a phenomenon that is impossible as an eye state has occurred, the reliability estimation unit 47 estimates that the reliability of the determination result of the arousal level determination unit 27 is low. Then, the process proceeds to step ST70. On the other hand, when it is determined that the number is not equal to or greater than the predetermined number (ST67: NO), the reliability estimation unit 47 estimates that the determination result of the arousal level determination unit 27 is high in reliability (ST69). Then, the process proceeds to step ST70.
その後、ステップST70,ST71において、図13に示したステップST23,ST24と同様の処理が行われる。そして、ステップST72において、提示部30は、提示動作する(ST25)。このとき、提示部30は、運転者の覚醒度が低下している場合、運転者を覚醒させるように報知を行うが、ステップST68において信頼度が低いと推定された場合には、報知を中止する。
Thereafter, in steps ST70 and ST71, processing similar to that in steps ST23 and ST24 shown in FIG. 13 is performed. In step ST72, the
そして、ステップST73において図13に示したステップST26と同様の処理が行われる。 In step ST73, processing similar to that in step ST26 shown in FIG. 13 is performed.
このようにして、第3実施形態に係る覚醒度判定装置3によれば、第1実施形態と同様に、覚醒度低下の初期状態を正確に検出することができる。また、多段階に覚醒度を判定することができ、覚醒度を詳細に判定し易くすることができる。
In this way, according to the arousal
さらに、一層正確に覚醒度低下の初期状態を判定することができ、簡便な演算処理で精度の高い開度値を求めることができ、運転者が笑った場合においても、開度値を正確に求めることができる。 Furthermore, it is possible to determine the initial state of wakefulness reduction more accurately, and to obtain a highly accurate opening value by simple arithmetic processing, and even when the driver laughs, the opening value can be accurately determined. Can be sought.
さらに、第3実施形態によれば、算出部29により算出された統計的代表値と統計的偏差との関係が眼の状態としてあり得るか否かを判断し、この判断結果によって覚醒度判定部27の判定結果について信頼度を推定することとしている。このため、判定された覚醒度について信頼度が低い場合には、仮に覚醒度が低下していると判定されたとしても、例えば運転者を覚醒させる報知を行わないようにすることができる。従って、信頼度に応じて適切な提示を行うことが可能となる。
Furthermore, according to the third embodiment, it is determined whether or not the relationship between the statistical representative value calculated by the
また、信頼度推定部47は、算出部29により算出された平均値が運転者個人の開眼状態における開度値よりも大きく、且つ、算出部29により算出された標準偏差が規定値を超えるときに、眼の状態としてあり得ないと判断して、信頼度を推定している。すなわち、算出された標準偏差が規定値を超える場合、運転者の瞬きの回数が多くなっていることを示している。このため、閉眼の割合が増加することから、眼の開度値の平均は低くなるはずである。ところが、算出部29により算出された平均値が運転者個人の開眼状態における開度値よりも大きい場合、眼の状態としてあり得ない現象が起こっていることとなる。従って、眼の状態としてあり得るか否かを確実に判断することができる。
Moreover, the reliability estimation part 47 is when the average value calculated by the
以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、各実施形態を組み合わせてもよい。また、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。 As mentioned above, although this invention was demonstrated based on embodiment, this invention is not restricted to the said embodiment, You may combine each embodiment. Further, changes may be made without departing from the spirit of the present invention. Changes may be made without departing from the spirit of the present invention.
1〜3…覚醒度判定装置
10…撮像部(撮像手段)
20…処理装置
21…眼位置検出部
22…追跡部
23…開度値検出部(開度値検出手段)
24…学習部(学習手段)
25…開閉眼判定基準値算出部(開閉眼判定基準値算出手段)
26…開閉眼判定部(開閉眼判定手段)
27…覚醒度判定部(覚醒度判定手段)
28…記憶部
29…算出部(算出手段)
30…提示部
41…ハンズフリーマイク
42…音声認識装置
43…タイマー
44…運転操作検出部
45…走行検出部
46…再学習指令部(再学習指令手段)
47…信頼度推定部(信頼度推定手段)
1-3 ... Arousal
DESCRIPTION OF
24 ... Learning part (learning means)
25. Opening / closing eye determination reference value calculation unit (opening / closing eye determination reference value calculation means)
26: Open / close eye determination unit (open / close eye determination means)
27. Arousal level determination unit (wake level determination means)
28 ...
DESCRIPTION OF
47. Reliability estimation unit (reliability estimation means)
Claims (16)
前記撮像手段により撮像された画像から、運転者の眼の開度を示す開度値を検出する開度値検出手段と、
前記開度値検出手段により検出された開度値を時系列的に収集して、開度値の統計的代表値及び統計的偏差を求める算出手段と、
前記算出手段により算出された統計的代表値と統計的偏差とから、覚醒度低下の初期状態を判定する覚醒度判定手段と、
を備えることを特徴とする覚醒度判定装置。 Imaging means for imaging the driver's face;
From the image captured by the imaging means, an opening value detection means for detecting an opening value indicating the opening of the driver's eyes,
A calculation unit that collects the opening value detected by the opening value detection unit in a time series, and calculates a statistical representative value and a statistical deviation of the opening value;
From the statistical representative value and the statistical deviation calculated by the calculation means, the arousal level determination means for determining the initial state of the arousal level reduction;
A wakefulness determination device comprising:
前記学習手段により学習された開度値から、眼の開眼及び閉眼を判定するための開閉眼判定基準値を求める開閉眼判定基準値算出手段と、
前記撮像手段により新たに撮像されて前記開度値検出手段により検出された開度値を、前記開閉眼判定基準値算出手段により算出された開閉眼判定基準値と比較して、開閉眼を判定する開閉眼判定手段と、をさらに備え、
前記覚醒度判定手段は、前記開閉眼判定手段により閉眼と判定された時間が所定時間中に占める割合に基づいて、覚醒度が低下し切った状態を判定する
ことを特徴とする請求項1に記載の覚醒度判定装置。 Learning means for learning by finding the opening value in the eye-open state of the individual driver from the detection frequency of the opening value detected by the opening value detection means,
Opening / closing eye determination reference value calculating means for determining an opening / closing eye determination reference value for determining whether the eye is open or closed from the opening value learned by the learning means;
Open / closed eye determination reference value calculated by the open / closed eye determination reference value calculating unit is used to determine an open / closed eye by newly opening an image captured by the imaging unit and detected by the opening / closing value detection unit. And an opening / closing eye determination means for performing,
The wakefulness determination means determines a state in which the wakefulness level has fully decreased based on the ratio of the time determined by the open / closed eye determination means to be closed during a predetermined time. The arousal level determination device described.
前記再学習指令手段は、運転者が起きているか否かを判断し、起きていると判断できた場合、及び運転者の眼を誤って追跡しているか否かを判断し、誤って追跡していると判断できた場合の少なくとも一方の場合に、前記学習手段に運転者個人の開眼状態における開度値を再学習させる
ことを特徴とする請求項2に記載の覚醒度判定装置。 Re-learning instruction means for causing the learning means to re-learn the opening value in the eye-opening state of the individual driver,
The re-learning command means determines whether or not the driver is waking up, determines whether or not the driver is waking up, and determines whether or not the driver's eyes are being tracked erroneously, and erroneously tracks them. 3. The arousal level determination device according to claim 2, wherein, in at least one of the cases where it is determined that the driver has determined that the degree of opening of the driver is re-learned, the learning unit re-learns the opening value of the individual driver.
前記算出手段により算出された統計的代表値が、前記学習手段により学習された運転者個人の開眼状態における開度値よりも大きく、且つ、
前記算出手段により算出された統計的偏差が、基準値以下であるときに、
運転者が起きていると判断する
ことを特徴とする請求項3に記載の覚醒度判定装置。 The relearning instruction means
The statistical representative value calculated by the calculating means is larger than the opening value in the eye-open state of the individual driver learned by the learning means, and
When the statistical deviation calculated by the calculating means is below a reference value,
The wakefulness determination device according to claim 3, wherein it is determined that the driver is awake.
前記算出手段により算出された統計的代表値が、前記学習手段により学習された運転者個人の開眼状態における開度値よりも大きく、且つ、
前記算出手段により算出された統計的偏差が、規定値を超えるときに、
眼の状態としてあり得ないと判断して、信頼度を推定する
ことを特徴とする請求項10に記載の覚醒度判定装置。 The reliability estimation means includes:
The statistical representative value calculated by the calculating means is larger than the opening value in the eye-open state of the individual driver learned by the learning means, and
When the statistical deviation calculated by the calculating means exceeds a specified value,
The wakefulness determination apparatus according to claim 10, wherein the wakefulness determination apparatus determines that the eye state is impossible and estimates the reliability.
前記算出手段により算出された統計的代表値が、前記学習手段により学習された運転者個人の開眼状態における開度値よりも、所定値以上小さく、且つ、
前記算出手段により算出された統計的偏差が、特定値以下であるときに、
運転者が覚醒度低下の初期状態にあると判定する
ことを特徴とする請求項1〜請求項12のいずれか1項に記載の覚醒度判定装置。 The arousal level determination means includes
The statistical representative value calculated by the calculating means is smaller than the opening value in the eye-open state of the driver individual learned by the learning means, and is smaller than a predetermined value, and
When the statistical deviation calculated by the calculating means is not more than a specific value,
It determines with a driver | operator being in the initial state of arousal level fall. The arousal level determination apparatus of any one of Claims 1-12 characterized by the above-mentioned.
From the image obtained by imaging the driver's face, an opening value indicating the opening degree of the driver's eyes is detected, and the opening value is collected in time series to provide a statistical representative of the opening value. A wakefulness determination apparatus, characterized in that a value and a statistical deviation are obtained, and an initial state of wakefulness reduction is determined from the obtained statistical representative value and the statistical deviation.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004298809A JP4622439B2 (en) | 2004-10-13 | 2004-10-13 | Arousal level judgment device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004298809A JP4622439B2 (en) | 2004-10-13 | 2004-10-13 | Arousal level judgment device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006109980A true JP2006109980A (en) | 2006-04-27 |
JP4622439B2 JP4622439B2 (en) | 2011-02-02 |
Family
ID=36378989
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004298809A Expired - Fee Related JP4622439B2 (en) | 2004-10-13 | 2004-10-13 | Arousal level judgment device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4622439B2 (en) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008099884A (en) * | 2006-10-19 | 2008-05-01 | Toyota Motor Corp | Condition estimating apparatus |
JP2008210285A (en) * | 2007-02-27 | 2008-09-11 | Kyushu Univ | Drowsy driving prevention device |
JP2008257575A (en) * | 2007-04-06 | 2008-10-23 | Fujitsu Ltd | Sleeping state detecting method, sleeping state detector, sleeping state detecting system and computer program |
CN100462046C (en) * | 2007-04-16 | 2009-02-18 | 孙军 | Online early warning system and method of weariness working |
JP2010128649A (en) * | 2008-11-26 | 2010-06-10 | Nissan Motor Co Ltd | Awakening state determining device and awakening state determining method |
WO2011118393A1 (en) | 2010-03-23 | 2011-09-29 | アイシン精機株式会社 | Alertness determination device, alertness determination method, and program |
JP4805358B2 (en) * | 2007-01-19 | 2011-11-02 | 旭化成株式会社 | Awake state determination model generation device, awake state determination device, and warning device |
US8094883B2 (en) | 2007-10-11 | 2012-01-10 | Denso Corporation | Sleepiness level determination device for driver |
US8576081B2 (en) | 2009-02-13 | 2013-11-05 | Toyota Jidosha Kabushiki Kaisha | Physiological condition estimation device and vehicle control device |
US8823792B2 (en) | 2008-04-23 | 2014-09-02 | Toyota Jidosha Kabushiki Kaisha | Wakefulness level estimation apparatus |
US9082012B2 (en) | 2011-12-06 | 2015-07-14 | Denso Corporation | Eye state detection apparatus and method of detecting open and closed states of eye |
WO2019123569A1 (en) * | 2017-12-20 | 2019-06-27 | 日本電気株式会社 | Drowsiness estimating device, drowsiness estimating method, and drowsiness estimating program recording medium |
CN112740300A (en) * | 2018-09-20 | 2021-04-30 | 五十铃自动车株式会社 | Monitoring device for vehicle |
EP2557549B1 (en) * | 2010-04-05 | 2022-10-12 | Toyota Jidosha Kabushiki Kaisha | Biological body state assessment device |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06266981A (en) * | 1993-03-15 | 1994-09-22 | Aisin Seiki Co Ltd | Doze at wheel alarming device |
-
2004
- 2004-10-13 JP JP2004298809A patent/JP4622439B2/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06266981A (en) * | 1993-03-15 | 1994-09-22 | Aisin Seiki Co Ltd | Doze at wheel alarming device |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008099884A (en) * | 2006-10-19 | 2008-05-01 | Toyota Motor Corp | Condition estimating apparatus |
JP4805358B2 (en) * | 2007-01-19 | 2011-11-02 | 旭化成株式会社 | Awake state determination model generation device, awake state determination device, and warning device |
JP2008210285A (en) * | 2007-02-27 | 2008-09-11 | Kyushu Univ | Drowsy driving prevention device |
JP2008257575A (en) * | 2007-04-06 | 2008-10-23 | Fujitsu Ltd | Sleeping state detecting method, sleeping state detector, sleeping state detecting system and computer program |
CN100462046C (en) * | 2007-04-16 | 2009-02-18 | 孙军 | Online early warning system and method of weariness working |
US8094883B2 (en) | 2007-10-11 | 2012-01-10 | Denso Corporation | Sleepiness level determination device for driver |
US8823792B2 (en) | 2008-04-23 | 2014-09-02 | Toyota Jidosha Kabushiki Kaisha | Wakefulness level estimation apparatus |
JP2010128649A (en) * | 2008-11-26 | 2010-06-10 | Nissan Motor Co Ltd | Awakening state determining device and awakening state determining method |
US8576081B2 (en) | 2009-02-13 | 2013-11-05 | Toyota Jidosha Kabushiki Kaisha | Physiological condition estimation device and vehicle control device |
WO2011118393A1 (en) | 2010-03-23 | 2011-09-29 | アイシン精機株式会社 | Alertness determination device, alertness determination method, and program |
EP2557549B1 (en) * | 2010-04-05 | 2022-10-12 | Toyota Jidosha Kabushiki Kaisha | Biological body state assessment device |
US9082012B2 (en) | 2011-12-06 | 2015-07-14 | Denso Corporation | Eye state detection apparatus and method of detecting open and closed states of eye |
WO2019123569A1 (en) * | 2017-12-20 | 2019-06-27 | 日本電気株式会社 | Drowsiness estimating device, drowsiness estimating method, and drowsiness estimating program recording medium |
JPWO2019123569A1 (en) * | 2017-12-20 | 2020-12-17 | 日本電気株式会社 | Drowsiness estimator, drowsiness estimation method, and drowsiness estimation program |
US11589787B2 (en) | 2017-12-20 | 2023-02-28 | Nec Corporation | Drowsiness estimating device, drowsiness estimating method, and drowsiness estimating program recording medium |
CN112740300A (en) * | 2018-09-20 | 2021-04-30 | 五十铃自动车株式会社 | Monitoring device for vehicle |
US11403858B2 (en) | 2018-09-20 | 2022-08-02 | Isuzu Motors Limited | Vehicular monitoring device |
Also Published As
Publication number | Publication date |
---|---|
JP4622439B2 (en) | 2011-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4622439B2 (en) | Arousal level judgment device | |
JP4805358B2 (en) | Awake state determination model generation device, awake state determination device, and warning device | |
US7821409B2 (en) | Drowsiness alarm apparatus and program | |
JP5343631B2 (en) | Driving assistance device | |
CN110936797B (en) | Automobile skylight control method and electronic equipment | |
WO2020237664A1 (en) | Driving prompt method, driving state detection method and computing device | |
CN109145852B (en) | Driver fatigue state identification method based on eye opening and closing state | |
JP5177011B2 (en) | Eye opening degree identification device | |
CN109711239B (en) | Visual attention detection method based on improved mixed increment dynamic Bayesian network | |
Luo et al. | The driver fatigue monitoring system based on face recognition technology | |
WO2008114839A1 (en) | Wakefulness level judging device and wakefulness level judging method | |
JP4123050B2 (en) | Arousal level judgment device | |
JP4776581B2 (en) | Sleep state detection method, sleep state detection device, sleep state detection system, and computer program | |
CN111559334B (en) | Automatic emergency safety protection system for monitoring environment in vehicle | |
CN113365556B (en) | Emotion estimation device and emotion estimation method | |
JP3312562B2 (en) | Dozing state detection device | |
Hariri et al. | Vision based smart in-car camera system for driver yawning detection | |
JP2004334786A (en) | State detection device and state detection system | |
JP7550879B2 (en) | Sleep detection device and sleep detection system | |
Guo et al. | Monitoring and detection of driver fatigue from monocular cameras based on Yolo v5 | |
JP4412253B2 (en) | Awakening degree estimation apparatus and method | |
JPH08332871A (en) | Degree of awakening detecting device | |
JP5050794B2 (en) | Sleepiness detection device, sleepiness detection method | |
JP2000142164A (en) | Eye condition sensing device and driving-asleep alarm device | |
JP2009090876A (en) | Nap prevention device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070829 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100603 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100608 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100727 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101005 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101018 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |