JP2011152218A - Eye opening degree determining device and eye opening degree determining method - Google Patents
Eye opening degree determining device and eye opening degree determining method Download PDFInfo
- Publication number
- JP2011152218A JP2011152218A JP2010014475A JP2010014475A JP2011152218A JP 2011152218 A JP2011152218 A JP 2011152218A JP 2010014475 A JP2010014475 A JP 2010014475A JP 2010014475 A JP2010014475 A JP 2010014475A JP 2011152218 A JP2011152218 A JP 2011152218A
- Authority
- JP
- Japan
- Prior art keywords
- opening degree
- eye opening
- eye
- subject
- degree data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 206010041349 Somnolence Diseases 0.000 claims description 34
- 208000032140 Sleepiness Diseases 0.000 claims description 29
- 230000037321 sleepiness Effects 0.000 claims description 29
- 238000001514 detection method Methods 0.000 abstract description 54
- 210000000744 eyelid Anatomy 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 239000011521 glass Substances 0.000 description 3
- 230000037007 arousal Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004399 eye closure Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003928 nasal cavity Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、開眼度判定装置及び開眼度判定方法に関し、特に、被験者の眼の撮影画像に基づいて被験者の開眼度を判定する開眼度判定装置及び開眼度判定方法に関するものである。 The present invention relates to an eye-opening degree determination device and an eye-opening degree determination method, and more particularly to an eye-opening degree determination apparatus and an eye-opening degree determination method that determine the degree of eye opening of a subject based on a captured image of the eye of the subject.
従来、被験者の眼の撮影画像に基づいて被験者の開眼度を検出し、検出した開眼度に関するデータに基づいて被験者の眠気や覚醒度等の生体状態を推定する装置が提案されている。例えば、特許文献1には、眼鏡等に日光が反射して、上瞼の一部分が検出不能である場合にあっても、開眼度の判定を精度良く行うことが可能な開眼度判定装置が開示されている。特許文献1の装置では、被験者の上瞼の一部分を用いて仮想上瞼曲線を推定し、瞼開度の異なる複数の仮想上瞼曲線同士の交点に基づいて仮想目尻点及び仮想目頭点を推定する。特許文献1の装置では、推定された仮想目尻点及び仮想目頭点を基準位置として開眼度を判定する。これにより、目尻及び目頭の位置を推定することができるので、眼鏡等に日光が反射して、上瞼の一部分が検出不能である場合にあっても、精度良く開眼度を判定することができる。 2. Description of the Related Art Conventionally, there has been proposed an apparatus that detects a degree of eye opening of a subject based on a photographed image of the eye of the subject, and estimates a living state such as sleepiness or arousal level of the subject based on data relating to the detected degree of eye opening. For example, Patent Document 1 discloses an eye opening degree determination device that can accurately determine the degree of eye opening even when sunlight is reflected on glasses or the like and a part of the upper eyelid cannot be detected. Has been. In the apparatus of Patent Document 1, a virtual upper eyelid curve is estimated using a part of the upper eyelid of the subject, and a virtual eye corner point and a virtual eye top point are estimated based on intersections of a plurality of virtual upper eyelid curves having different eyelid opening degrees. To do. In the apparatus of Patent Literature 1, the degree of eye opening is determined using the estimated virtual eye corner point and virtual eye top point as a reference position. As a result, the positions of the corners of the eyes and the eyes can be estimated, so that the degree of eye opening can be accurately determined even when sunlight is reflected on glasses or the like and a part of the upper eyelid cannot be detected. .
ところで、眼鏡等がなくとも、被験者が車両の運転者である場合に、運転者の顔に当たる日光等の急激な変化等の外乱により被験者の開眼度を誤検出し、眠気などの生体状態の判定が不正確となる恐れがある。ここで、開眼度を検出したセンサ等の検出信号を平滑フィルタ等で外乱によるノイズを平滑化することも考えられる。しかし、過去一定時間における開眼度の検出信号の波形を平滑化しただけでは、図10に示すようにノイズの高周波成分しか除去できないため、外乱によるノイズの低周波成分を除去することができない。 By the way, when the subject is a driver of the vehicle without glasses, the degree of eye opening of the subject is erroneously detected due to a disturbance such as a sudden change of sunlight hitting the driver's face, and the biological state such as sleepiness is determined. May be inaccurate. Here, it is also conceivable to smooth the noise due to the disturbance by using a smoothing filter or the like on the detection signal of the sensor or the like that has detected the eye opening degree. However, only by smoothing the waveform of the eye-opening degree detection signal in the past fixed time, only the high-frequency component of noise can be removed as shown in FIG. 10, and therefore, the low-frequency component of noise due to disturbance cannot be removed.
本発明は、このような実情に考慮してなされたものであり、その目的は、外乱による影響をさらに排除して被験者の開眼度をより精度良く検出可能な開眼度判定装置及び開眼度判定方法を提供することにある。 The present invention has been made in consideration of such circumstances, and its purpose is to further eliminate the influence of disturbance and to detect the degree of eye opening of a subject with higher accuracy and an eye opening degree determination method. Is to provide.
本発明は、被験者の眼の撮影画像に基づいて被験者の開眼度に関する開眼度データを取得する開眼度データ取得手段と、開眼度データ取得手段が取得した開眼度データに基づいて被験者の開眼度を判定する開眼度判定手段とを備え、開眼度判定手段は、開眼度データ取得手段が取得した開眼度データの内で、開眼度データが示す被験者の左右の眼の開眼度の差に応じて選別された開眼度データに基づいて被験者の開眼度を判定する開眼度判定装置である。 The present invention relates to an eye opening degree data acquisition unit that acquires eye opening degree data relating to the degree of eye opening of the subject based on a photographed image of the eye of the subject, and the eye opening degree of the subject based on the eye opening degree data acquired by the eye opening degree data acquisition unit. Eye opening degree determination means, and the eye opening degree determination means selects the eye opening degree data acquired by the eye opening degree data acquisition means according to the difference between the eye opening degrees of the left and right eyes of the subject indicated by the eye opening degree data. It is an eye opening degree determination apparatus which determines a test subject's eye opening degree based on the opened eye degree data.
この構成によれば、被験者の眼の撮影画像に基づいて被験者の開眼度データを取得する開眼度データ取得手段と、開眼度データ取得手段が取得した開眼度データに基づいて被験者の開眼度を判定する開眼度判定手段とを備えた開眼度判定装置において、開眼度判定手段は、開眼度データ取得手段が取得した開眼度データの内で、開眼度データが示す被験者の左右の眼の開眼度の差に応じて選別された開眼度データに基づいて被験者の開眼度を判定する。両眼の開眼度が異なることは少なく、両眼の開眼度の差は外乱に密接に関係しているため、左右の眼の開眼度の差に応じて選別された開眼度データに基づいて被験者の開眼度を検出することにより、外乱による影響をさらに排除して被験者の開眼度をより精度良く検出可能となる。 According to this configuration, the eye opening degree data acquisition unit that acquires the eye opening degree data of the subject based on the photographed image of the eye of the subject, and the eye opening degree of the subject is determined based on the eye opening degree data acquired by the eye opening degree data acquisition unit In the eye opening degree determination device provided with the eye opening degree determination means, the eye opening degree determination means determines the eye opening degree of the left and right eyes of the subject indicated by the eye opening degree data among the eye opening degree data acquired by the eye opening degree data acquisition means. The eye opening degree of the subject is determined based on the eye opening degree data selected according to the difference. The degree of openness of both eyes is rarely different, and the difference in the degree of openness between both eyes is closely related to the disturbance, so the subject was based on the data on the degree of openness selected according to the difference in the degree of openness of the left and right eyes By detecting the degree of eye opening, it is possible to further eliminate the influence of disturbance and detect the degree of eye opening of the subject with higher accuracy.
この場合、開眼度判定手段は、開眼度データ取得手段が取得した開眼度データの内で、開眼度データが示す被験者の左右の眼の開眼度の差が所定の閾値未満である開眼度データに基づいて被験者の開眼度を判定することが好適である。 In this case, the eye opening degree determination means converts the eye opening degree data obtained by the eye opening degree data acquisition means into eye opening degree data in which the difference between the eye opening degrees of the left and right eyes of the subject indicated by the eye opening degree data is less than a predetermined threshold value. It is preferable to determine the eye opening degree of the subject based on the above.
この構成によれば、開眼度判定手段は、開眼度データ取得手段が取得した開眼度データの内で、開眼度データが示す被験者の左右の眼の開眼度の差が所定の閾値未満である開眼度データに基づいて被験者の開眼度を判定する。両眼の開眼度が異なることは少ないため、左右の眼の開眼度の差が所定の閾値未満である場合の開眼度データを使用し、左右の眼の開眼度の差が所定の閾値を超えて大きい場合の開眼度データを使用しないことにより、外乱による影響をさらに排除して被験者の開眼度をより精度良く検出可能となる。 According to this configuration, the eye-opening degree determining means has an eye opening degree in which the difference between the eye opening degrees of the left and right eyes of the subject indicated by the eye-opening degree data is less than a predetermined threshold among the eye opening degree data acquired by the eye opening degree data acquiring means The degree of eye opening of the subject is determined based on the degree data. Since the degree of eye opening between both eyes is rarely different, use the eye opening degree data when the difference in the degree of opening between the left and right eyes is less than the predetermined threshold, and the difference in the degree of opening between the left and right eyes exceeds the predetermined threshold. If the eye opening degree data is not used, the eye opening degree of the subject can be detected with higher accuracy by further eliminating the influence of disturbance.
また、開眼度判定手段は、開眼度データ取得手段が取得した開眼度データの内で、開眼度データが示す被験者の眼の開眼及び閉眼のいずれかの状態が被験者の左右の眼で同じである場合の開眼度データに基づいて被験者の開眼度を判定することが好適である。 Further, the eye opening degree determination means has the same eye opening or closing state of the subject's eye indicated by the eye opening degree data in the eye opening degree data acquired by the eye opening degree data acquisition means. It is preferable to determine the eye opening degree of the subject based on the eye opening degree data.
左右の眼の片方のみが開眼あるいは閉眼ということは少ないため、開眼及び閉眼のいずれかの状態が被験者の左右の眼で同じである場合の開眼度データを使用し、開眼及び閉眼のいずれかの状態が左右の眼で異なる場合の開眼度データを使用しないことにより、外乱による影響をさらに排除して被験者の開眼度をより精度良く検出可能となる。 Since only one of the left and right eyes is rarely open or closed, use the eye-opening degree data when either the left or right eye of the subject is the same. By not using the eye opening degree data when the state is different between the left and right eyes, it is possible to further eliminate the influence of disturbance and detect the eye opening degree of the subject with higher accuracy.
あるいは、開眼度判定手段は、開眼度データ取得手段が取得した開眼度データの内で、開眼度データが示す被験者の左右の眼の開眼度の尤度が高い方の眼の開眼度データに基づいて被験者の開眼度を判定することが好適である。 Alternatively, the eye opening degree determining means is based on the eye opening degree data of the eye having the higher likelihood of the eye opening degree of the left and right eyes of the subject indicated by the eye opening degree data among the eye opening degree data acquired by the eye opening degree data acquiring means. It is preferable to determine the eye opening degree of the subject.
この構成によれば、開眼度判定手段は、開眼度データ取得手段が取得した開眼度データの内で、開眼度データが示す被験者の左右の眼の開眼度の尤度が高い方の眼の開眼度データに基づいて被験者の開眼度を判定する。眼の開眼度が異なることは少ないため、左右の眼のいずれかの内で開眼度の尤度が高い方の眼の開眼度データを使用することにより、外乱による影響をさらに排除して被験者の開眼度をより精度良く検出可能となる。 According to this configuration, the eye opening degree determination means opens the eye of the eye with the higher likelihood of the eye opening degree of the left and right eyes of the subject indicated by the eye opening degree data among the eye opening degree data acquired by the eye opening degree data acquisition means. The degree of eye opening of the subject is determined based on the degree data. Since the degree of eye opening is rarely different, the effect of disturbance is further eliminated by using the eye opening degree data of the eye with the higher likelihood of opening degree in either the left or right eye. The degree of eye opening can be detected with higher accuracy.
また、開眼度判定手段は、判定した被験者の開眼度に基づいて被験者の生体状態を推定するものとできる。 The eye opening degree determination means can estimate the subject's biological state based on the determined degree of eye opening of the subject.
この構成によれば、開眼度判定手段は、判定した被験者の開眼度に基づいて被験者の生体状態を推定する。開眼度は被験者の生体状態に密接に関係しており、本発明では開眼度をより精度良く検出することができるため、被験者の生体状態をより精度良く検出可能となる。 According to this configuration, the eye opening degree determination means estimates the biological state of the subject based on the determined degree of eye opening of the subject. The degree of eye opening is closely related to the biological state of the subject. In the present invention, the degree of eye opening can be detected with higher accuracy, and thus the biological state of the subject can be detected with higher accuracy.
この場合、開眼度判定手段は、被験者の生体状態として被験者の眠気を推定することが好適である。 In this case, it is preferable that the eye opening degree determination means estimates the subject's sleepiness as the biological state of the subject.
生体状態の中でも眠気は開眼度に密接に関係しており、本発明では開眼度をより精度良く検出することができるため、被験者の眠気をより精度良く検出可能となる。 Even in a biological state, drowsiness is closely related to the degree of eye opening. In the present invention, the degree of eye opening can be detected with higher accuracy, so that the sleepiness of the subject can be detected with higher accuracy.
一方、本発明は、被験者の眼の撮影画像に基づいて被験者の開眼度に関する開眼度データを取得する開眼度データ取得工程と、開眼度データ取得工程で取得した開眼度データに基づいて被験者の開眼度を判定する開眼度判定工程とを含み、開眼度判定工程は、開眼度データ取得工程で取得した開眼度データの内で、開眼度データが示す被験者の左右の眼の開眼度の差に応じて選別された開眼度データに基づいて被験者の開眼度を判定する開眼度判定方法である。 On the other hand, the present invention provides an eye opening degree data acquisition step for acquiring eye opening degree data relating to the eye opening degree of the subject based on a photographed image of the eye of the subject, and the eye opening of the subject based on the eye opening degree data acquired in the eye opening degree data acquisition step. An eye opening degree determination step that determines the degree of the eye opening degree determination step according to a difference between the eye opening degrees of the left and right eyes of the subject indicated by the eye opening degree data in the eye opening degree data acquired in the eye opening degree data acquisition step. The eye opening degree determination method for determining the eye opening degree of the subject based on the eye opening degree data selected in this way.
この場合、開眼度判定工程は、開眼度データ取得工程で取得した開眼度データの内で、開眼度データが示す被験者の左右の眼の開眼度の差が所定の閾値未満である開眼度データに基づいて被験者の開眼度を判定することが好適である。 In this case, the eye opening degree determination step converts the eye opening degree data obtained by the eye opening degree data acquisition step into eye opening degree data in which the difference between the eye opening degrees of the left and right eyes of the subject indicated by the eye opening degree data is less than a predetermined threshold value. It is preferable to determine the eye opening degree of the subject based on the above.
また、開眼度判定工程は、開眼度データ取得工程で取得した開眼度データの内で、開眼度データが示す被験者の眼の開眼及び閉眼のいずれかの状態が被験者の左右の眼で同じである場合の開眼度データに基づいて被験者の開眼度を判定することが好適である。 Further, in the eye opening degree determination step, in the eye opening degree data acquired in the eye opening degree data acquisition step, either the eye opening state or the eye closing state of the subject eye indicated by the eye opening degree data is the same for the left and right eyes of the subject. It is preferable to determine the eye opening degree of the subject based on the eye opening degree data.
あるいは、開眼度判定工程は、開眼度データ取得工程で取得した開眼度データの内で、開眼度データが示す被験者の左右の眼の開眼度の尤度が高い方の眼の開眼度データに基づいて被験者の開眼度を判定することが好適である。 Alternatively, the eye opening degree determination step is based on the eye opening degree data of the eye having the higher likelihood of the eye opening degree of the left and right eyes of the subject indicated by the eye opening degree data among the eye opening degree data acquired in the eye opening degree data acquisition step. It is preferable to determine the eye opening degree of the subject.
また、開眼度判定工程は、判定した被験者の開眼度に基づいて被験者の生体状態を推定するものとできる。 Further, the eye opening degree determination step can estimate the biological state of the subject based on the determined degree of eye opening of the subject.
この場合、開眼度判定工程は、被験者の生体状態として被験者の眠気を推定することが好適である。 In this case, it is preferable that the eye opening degree determination step estimates the sleepiness of the subject as the biological state of the subject.
本発明の開眼度判定装置及び開眼度判定方法によれば、外乱による影響をさらに排除して被験者の開眼度をより精度良く検出可能となる。 According to the eye opening degree determination device and the eye opening degree determination method of the present invention, it is possible to further eliminate the influence of disturbance and detect the eye opening degree of the subject more accurately.
以下、図面を参照して本発明の実施形態に係る生体状態検出装置について説明する。本実施形態の生体状態検出装置は、車両等に搭載され運転者の覚醒度判定等に利用されるものである。図1に示すように、本実施形態の生体状態検出装置10は、画像センサ12、顔位置検出部14、顔特徴点検出部16、顔姿勢推定部18、開眼度検出部20、誤検知区間推定部22、閉眼・開眼判定部24、瞬き特徴量算出部26及び眠気推定部28を備えている。
Hereinafter, a living body state detection device according to an embodiment of the present invention will be described with reference to the drawings. The living body state detection device of this embodiment is mounted on a vehicle or the like and used for determining a driver's arousal level or the like. As shown in FIG. 1, the biological
画像センサ12は、運転者の顔画像を撮像するためのものである。画像センサ12は、例えば車両のコラムカバーの上面等に設置され、運転者の顔画像を取得するものであり、例えば、毎秒30フレームの画像を取得することができる。
The
顔位置検出部14は、ブースティング(Boosting)やニューラルネットワーク等により、運転者の顔位置を撮像した画像の中から発見するための部位である。顔特徴点検出部16は、ニューラルネットワーク等により、運転者の顔の目尻、目頭、鼻腔中心及び口端等の特徴点を顔画像の中から発見するための部位である。顔姿勢推定部18は、顔特徴点検出部16が検出した顔特徴点に、顔の3Dモデルをフィッティングさせ、ドライバーの顔の位置及び向きを算出する部位である。
The face
開眼度検出部20は、顔特徴点検出部16が検出したドライバーの目尻及び目頭を中心に複数の曲線をエッジ画像上に投影し、その曲線上のエッジの強度から、上下の瞼の位置を検出する部位である。さらに、開眼度検出部20は、上下の瞼の位置のY座標の差から、ドライバーの開眼度を算出する。
The eye-opening
誤検知区間推定部22は、開眼度検出部20が検出したドライバーの両目の開眼度を解析して、当該開眼度のデータが外乱等の誤検知によるものの時間帯である誤検知区間を抽出するための部位である。
The false detection
閉眼・開眼判定部24は、開眼度検出部20が検出したドライバーの開眼度に閾値処理を行い、ドライバーの眼が開眼状態及び閉眼状態のいずれであるのかを判定するための部位である。
The closed / open
瞬き特徴量算出部26は、誤検知した開眼度のデータ以外のデータを用いて、眠気と相関する例えば眼を閉じている時間等の瞬き特徴量を算出するための部位である。眠気推定部28は、事前に学習した眠気の度合と瞬き特徴量との関係を用いて、ドライバーの眠気の度合である眠気度を推定するための部位である。
The blink feature
以下、本実施形態の生体状態検出装置10の動作を説明する。図2に示すように、生体状態検出装置10の顔位置検出部14は、画像センサ12により撮影されたドライバーの顔画像を入力として、ブースティングやニューラルネットワーク等により画像全体の範囲を走査して、運転者の顔位置を撮像した画像の中から発見する(S01)。入力される顔画像は、例えば、図3に示すようなものとなる。なお、顔の位置を検出する手法は、ニューラルネットワークやブースティングに限定されず、他の手法を用いても良い。
Hereinafter, the operation of the biological
顔特徴点検出部16は、S01で検出された顔の存在する範囲に対して、ニューラルネットワーク等を用いて、図4に示すような右目頭、右目尻、左目頭、左目尻、鼻腔中心及び左右の口の端等の特徴点Pの位置を検出する(S2)。なお、特徴点Pの検出の手法は、ニューラルネットワークに限定されず、他の手法を用いても良い。
The face feature
顔姿勢推定部18は、図5に示すような3D顔モデルをS02で検出された特徴点Pにフィッティングさせ、最も一致するときの位置及び向きをその時点での顔姿勢とする(S03)。図5に示すように、3D顔モデルは、頭部の回転中心からの互いに直交するXm、Ym及びZm方向への距離を特徴点Pごとに保持したものとすることができる。なお、顔向きの推定は、これ以外の方法で算出しても良い。
The face
開眼度検出部20は、以下の手法により、左右の眼の開眼度を検出する。以下の説明では、左眼の開眼度の検出方法を例として示す。右眼の検出方法も同様である。(1)図6に示すように、開眼度検出部20は、S02で検出された目尻及び目頭を含む一定領域に対して、横ソーベルフィルタを適用し、エッジEを強調したエッジ画像を作成する。(2)開眼度検出部20は、S02で検出された目尻及び目頭を中心に、例えばベジェ曲線B等の複数の曲線をエッジ画像上に投影し、そのベジェ曲線B上のエッジの強度、すなわちエッジ画像の画素値を算出する。(3)開眼度検出部20は、複数のベジェ曲線Bの中からエッジの強度が最も強いものを、上下の瞼曲線として選択する。開眼度検出部20は、このときのエッジの強度をデータの尤度(確からしさ)とする。(4)開眼度検出部20は、上下の瞼曲線の中点におけるY座標の差から、開眼度[pix]を算出する。なお、開眼度の検出手法については、これ以外の手法を用いても良い。
The eye opening
誤検知区間推定部22は、左右の眼の開眼度の差が一定の閾値以上である場合には、その区間を誤検知区間とする(S05)。両目の開眼度が異なることは少ないためである。ただし、画像センサ12からの顔向き角度が例えば30度以上と大きい場合には、誤検知区間推定部22は左右の眼の開眼度出力が異なっていても誤検知区間とはしない。なお、誤検知区間の推定手法については、これ以外の手法を用いても良い。
If the difference in the degree of openness between the left and right eyes is greater than or equal to a certain threshold, the error detection
例えば、誤検知区間推定部22は、左右の眼の閉眼、開眼及び中間状態といった状態がそれぞれで異なる場合には、その区間を誤検知区間とすることもできる。左右の眼の状態が異なることは極めて少ないからである。あるいは、誤検知区間推定部22は、左右の眼のそれぞれの開眼度の出力値の尤度(確からしさ)を確認し、いずれかの眼の開眼度の尤度が低い場合は、尤度の低い側の眼の開眼度を棄却(未検出)として扱い、尤度が高い側の眼の開眼度に基づいて、後段の処理を行っても良い。この場合の尤度は、事前学習により得られた種々の状況に応じた開眼度の確率密度分布のモデルに従って算出することができる。
For example, when the states such as the closed eyes, the open eyes, and the intermediate state of the left and right eyes are different from each other, the erroneous detection
閉眼・開眼判定部24は、S05で誤検知区間と推定されなかった図7に示すような開眼度の波形に対して、眼を閉じた状態である閉眼と眼を開けた状態である開眼とを所定の閾値により判定する(S06)。閉眼・開眼判定部24は、図7の開眼から閉眼に変化している区間p1及び閉眼から開眼に変化している区間p2のように、閉眼及び開眼以外の状態は中間状態とする。なお、閾値は事前に決めた値以外のものを用いても良い。また、両目の開眼度が検出されている場合は、閉眼・開眼判定部24は、両目の開眼度の平均値を用いて閉眼及び開眼を判定する。なお、閉眼・開眼判定部24は、右眼の開眼度が未検出の場合は左眼の開眼度を利用し、左眼の開眼度が未検出の場合は右眼の開眼度を利用して閉眼及び開眼を判定する。
The closed / open-
瞬き特徴量算出部26は、図8に示すように、S05で誤検知区間と判定された区間を除いて、例えば10秒の一定時間に、眠気と相関のある特徴量として、例えば、図中斜線で示す閉眼状態の占める割合、すなわち、10秒間に占める閉眼状態のフレーム数の割合である瞬き特徴量を算出する(S07)。なお、瞬き特徴量算出部26は、眠気と相関のある特徴量として、瞬き特徴量以外の特徴量を用いても良い。
As shown in FIG. 8, the blinking feature
眠気推定部28は、事前に学習した眠気の度合と瞬き特徴量との関係を用いて、ドライバーの眠気度を推定する(S08)。眠気推定部28は、例えば、図9に示すようなオフライン処理による事前学習で求めた眠気度が高い場合及び眠気度が低い場合の特徴量の統計分布(確率密度)と、測定により抽出された特徴量とにより、確率密度を計算し、その大小関係によって現在の眠気度を推定する。図9の例では、眠気度が低い場合の特徴量の確率密度が算出される。なお、眠気推定部28は、ドライバーの眠気度を上記以外の手法で求めても良い。
The
本実施形態によれば、被験者の眼の撮影画像に基づいて被験者の開眼度のデータを取得する開眼度検出部20と、開眼度検出部20が取得した開眼度のデータに基づいて被験者の開眼度を判定する閉眼・開眼判定部24とを備えた生体状態検出装置10において、閉眼・開眼判定部24は、開眼度検出部20が取得した開眼度のデータの内で、開眼度のデータが示す被験者の左右の眼の開眼度の差に応じて誤検知区間推定部22により選別された開眼度のデータに基づいて被験者の開眼度を判定する。両眼の開眼度が異なることは少なく、両眼の開眼度の差は外乱に密接に関係しているため、左右の眼の開眼度の差に応じて選別された開眼度のデータに基づいて被験者の開眼度を検出することにより、外乱による影響をさらに排除して被験者の開眼度をより精度良く検出可能となる。
According to the present embodiment, the eye opening
また、本実施形態によれば、閉眼・開眼判定部24は、開眼度検出部20が取得した開眼度のデータの内で、開眼度のデータが示す被験者の左右の眼の開眼度の差が所定の閾値未満である開眼度のデータに基づいて被験者の開眼度を判定する。両眼の開眼度が異なることは少ないため、左右の眼の開眼度の差が所定の閾値未満である場合の開眼度のデータを使用し、左右の眼の開眼度の差が所定の閾値を超えて大きい場合の開眼度のデータを使用しないことにより、外乱による影響をさらに排除して被験者の開眼度をより精度良く検出可能となる。
In addition, according to the present embodiment, the eye-closed / open-
また、本実施形態では、左右の眼の片方のみが開眼あるいは閉眼ということは少ないため、開眼及び閉眼のいずれかの状態が被験者の左右の眼で同じである場合の開眼度のデータを使用し、開眼及び閉眼のいずれかの状態が左右の眼で異なる場合の開眼度のデータを使用しないことにより、外乱による影響をさらに排除して被験者の開眼度をより精度良く検出可能となる。 In this embodiment, since only one of the left and right eyes is rarely open or closed, data on the degree of opening when either the open or closed eye state is the same for the left and right eyes of the subject is used. By not using the data on the degree of opening when either the eye opening state or the eye closing state is different between the left and right eyes, it is possible to further eliminate the influence of disturbance and detect the eye opening degree of the subject with higher accuracy.
あるいは、本実施形態では、閉眼・開眼判定部24は、開眼度検出部20が取得した開眼度のデータの内で、開眼度のデータが示す被験者の左右の眼の開眼度の尤度が高い方の眼の開眼度データに基づいて被験者の開眼度を判定する。眼の開眼度が異なることは少ないため、左右の眼のいずれかの内で開眼度の尤度が高い方の眼の開眼度のデータを使用することにより、外乱による影響をさらに排除して被験者の開眼度をより精度良く検出可能となる。
Alternatively, in the present embodiment, the eye closing /
さらに、本実施形態では、眠気推定部28は、判定した被験者の開眼度に基づいて被験者の眠気度を推定する。開眼度は被験者の眠気度等の生体状態に密接に関係しており、本実施形態では開眼度をより精度良く検出することができるため、被験者の眠気度等の生体状態をより精度良く検出可能となる。特に、生体状態の中でも眠気は開眼度に密接に関係しており、本実施形態では、開眼度をより精度良く検出することができるため、被験者の眠気をより精度良く検出可能となる。
Furthermore, in this embodiment, the
尚、本発明は、上記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。 It should be noted that the present invention is not limited to the above-described embodiment, and it is needless to say that various modifications can be made without departing from the gist of the present invention.
10…生体状態検出装置、12…画像センサ、14…顔位置検出部、16…顔特徴点検出部、18…顔姿勢推定部、20…開眼度検出部、22…誤検知区間推定部、24…閉眼・開眼判定部、26…瞬き特徴量算出部、28…眠気推定部。
DESCRIPTION OF
Claims (12)
前記開眼度データ取得手段が取得した前記開眼度データに基づいて前記被験者の開眼度を判定する開眼度判定手段と、
を備え、
前記開眼度判定手段は、前記開眼度データ取得手段が取得した前記開眼度データの内で、前記開眼度データが示す前記被験者の左右の眼の前記開眼度の差に応じて選別された前記開眼度データに基づいて前記被験者の開眼度を判定する、開眼度判定装置。 Eye opening degree data acquisition means for acquiring eye opening degree data relating to the eye opening degree of the subject based on a photographed image of the eye of the subject;
Eye opening degree determination means for determining the eye opening degree of the subject based on the eye opening degree data acquired by the eye opening degree data acquisition means;
With
The eye opening degree determination means is selected based on the difference between the eye opening degrees of the left and right eyes of the subject indicated by the eye opening degree data among the eye opening degree data acquired by the eye opening degree data acquisition means. An eye opening degree determination device that determines the eye opening degree of the subject based on degree data.
前記開眼度データ取得工程で取得した前記開眼度データに基づいて前記被験者の開眼度を判定する開眼度判定工程と、
を含み、
前記開眼度判定工程は、前記開眼度データ取得工程で取得した前記開眼度データの内で、前記開眼度データが示す前記被験者の左右の眼の前記開眼度の差に応じて選別された前記開眼度データに基づいて前記被験者の開眼度を判定する、開眼度判定方法。 Eye opening degree data acquisition step of acquiring eye opening degree data relating to the eye opening degree of the subject based on a photographed image of the eye of the subject;
An eye opening degree determination step of determining the eye opening degree of the subject based on the eye opening degree data acquired in the eye opening degree data acquisition step;
Including
In the eye opening degree determination step, the eye opening selected according to the difference between the eye opening degrees of the left and right eyes of the subject indicated by the eye opening degree data among the eye opening degree data acquired in the eye opening degree data acquisition step An eye opening degree determination method for determining the eye opening degree of the subject based on degree data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010014475A JP5349350B2 (en) | 2010-01-26 | 2010-01-26 | Eye opening degree determination device and eye opening degree determination method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010014475A JP5349350B2 (en) | 2010-01-26 | 2010-01-26 | Eye opening degree determination device and eye opening degree determination method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011152218A true JP2011152218A (en) | 2011-08-11 |
JP5349350B2 JP5349350B2 (en) | 2013-11-20 |
Family
ID=44538620
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010014475A Active JP5349350B2 (en) | 2010-01-26 | 2010-01-26 | Eye opening degree determination device and eye opening degree determination method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5349350B2 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015202133A (en) * | 2014-04-11 | 2015-11-16 | 学校法人 名古屋電気学園 | Communication system and blink determination method |
JP2017143889A (en) * | 2016-02-15 | 2017-08-24 | ルネサスエレクトロニクス株式会社 | Eye opening degree detection system, doze detection system, automatic shutter system, eye-opening degree detection method and eye-opening degree detection program |
CN107405121A (en) * | 2015-03-10 | 2017-11-28 | 罗伯特·博世有限公司 | The method and apparatus that fatigue state and/or sleep state for the driver to vehicle are identified |
JP2018088236A (en) * | 2016-11-21 | 2018-06-07 | 矢崎総業株式会社 | Image processing device, image processing method, and image processing program |
JP2019087170A (en) * | 2017-11-10 | 2019-06-06 | アルパイン株式会社 | Eyelid opening determination device and sleepiness detector |
WO2024047856A1 (en) * | 2022-09-02 | 2024-03-07 | 三菱電機株式会社 | Drowsiness estimation device and drowsiness estimation method |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000322561A (en) * | 1999-05-13 | 2000-11-24 | Mitsubishi Electric Corp | Device for processing facial image |
JP2004192551A (en) * | 2002-12-13 | 2004-07-08 | Nissan Motor Co Ltd | Eye opening/closing determining apparatus |
JP2006053666A (en) * | 2004-08-10 | 2006-02-23 | Olympus Corp | Image processing program, image processing method, image processing apparatus, and recording medium |
JP2007151798A (en) * | 2005-12-05 | 2007-06-21 | Nissan Motor Co Ltd | Open/closed eye determining apparatus and method |
JP2009219555A (en) * | 2008-03-13 | 2009-10-01 | Toyota Motor Corp | Drowsiness detector, driving support apparatus, drowsiness detecting method |
-
2010
- 2010-01-26 JP JP2010014475A patent/JP5349350B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000322561A (en) * | 1999-05-13 | 2000-11-24 | Mitsubishi Electric Corp | Device for processing facial image |
JP2004192551A (en) * | 2002-12-13 | 2004-07-08 | Nissan Motor Co Ltd | Eye opening/closing determining apparatus |
JP2006053666A (en) * | 2004-08-10 | 2006-02-23 | Olympus Corp | Image processing program, image processing method, image processing apparatus, and recording medium |
JP2007151798A (en) * | 2005-12-05 | 2007-06-21 | Nissan Motor Co Ltd | Open/closed eye determining apparatus and method |
JP2009219555A (en) * | 2008-03-13 | 2009-10-01 | Toyota Motor Corp | Drowsiness detector, driving support apparatus, drowsiness detecting method |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015202133A (en) * | 2014-04-11 | 2015-11-16 | 学校法人 名古屋電気学園 | Communication system and blink determination method |
CN107405121A (en) * | 2015-03-10 | 2017-11-28 | 罗伯特·博世有限公司 | The method and apparatus that fatigue state and/or sleep state for the driver to vehicle are identified |
JP2018511376A (en) * | 2015-03-10 | 2018-04-26 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングRobert Bosch Gmbh | Method and apparatus for determining fatigue state and / or sleep state of vehicle driver |
US10311698B2 (en) | 2015-03-10 | 2019-06-04 | Robert Bosch Gmbh | Method and device for detecting a tiredness and/or sleeping state of a driver of a vehicle |
JP2017143889A (en) * | 2016-02-15 | 2017-08-24 | ルネサスエレクトロニクス株式会社 | Eye opening degree detection system, doze detection system, automatic shutter system, eye-opening degree detection method and eye-opening degree detection program |
JP2018088236A (en) * | 2016-11-21 | 2018-06-07 | 矢崎総業株式会社 | Image processing device, image processing method, and image processing program |
JP7044504B2 (en) | 2016-11-21 | 2022-03-30 | 矢崎総業株式会社 | Image processing device, image processing method and image processing program |
JP2019087170A (en) * | 2017-11-10 | 2019-06-06 | アルパイン株式会社 | Eyelid opening determination device and sleepiness detector |
WO2024047856A1 (en) * | 2022-09-02 | 2024-03-07 | 三菱電機株式会社 | Drowsiness estimation device and drowsiness estimation method |
Also Published As
Publication number | Publication date |
---|---|
JP5349350B2 (en) | 2013-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5349350B2 (en) | Eye opening degree determination device and eye opening degree determination method | |
JP5078815B2 (en) | Eye opening degree estimation device | |
CN106846734B (en) | A kind of fatigue driving detection device and method | |
US9928404B2 (en) | Determination device, determination method, and non-transitory storage medium | |
JP6273823B2 (en) | State estimation device and state estimation program | |
CN105286802B (en) | Driver Fatigue Detection based on video information | |
JP5790762B2 (en) | 瞼 Detection device | |
JP6754368B2 (en) | A method performed by a device for determining fatigue and / or sleep of a vehicle driver | |
JP7240910B2 (en) | Passenger observation device | |
JP2008212298A (en) | Sleepiness judging apparatus and program | |
WO2017067399A1 (en) | Method and device for early warning based on image identification | |
JP6973928B2 (en) | Eyelid open / close judgment device and drowsiness detection device | |
CN107209979A (en) | The method and apparatus that microsleep for the driver to vehicle is identified | |
JP5139470B2 (en) | Sleepiness level estimation device and sleepiness level estimation method | |
JP2017194772A (en) | Arousal determination apparatus | |
JP4992823B2 (en) | Face detection apparatus and face detection method | |
CN101642376A (en) | Device and method for detecting fatigue | |
JP3681657B2 (en) | Arousal level estimation device and arousal level estimation method | |
JP2011125620A (en) | Biological state detector | |
WO2018173484A1 (en) | Pulse wave velocity measurement system, imaging device, and pulse wave velocity measurement method | |
JP2004192552A (en) | Eye opening/closing determining apparatus | |
US11077814B2 (en) | Occupant eye(s) observation device | |
JP5493676B2 (en) | Eye position recognition device | |
JP5655491B2 (en) | Open-eye detection device | |
CN112528714B (en) | Single-light-source-based gaze point estimation method, system, processor and equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120417 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130508 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130514 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130702 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130730 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130820 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5349350 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |