JP2000123188A - Eye open/close discriminating device - Google Patents
Eye open/close discriminating deviceInfo
- Publication number
- JP2000123188A JP2000123188A JP10298626A JP29862698A JP2000123188A JP 2000123188 A JP2000123188 A JP 2000123188A JP 10298626 A JP10298626 A JP 10298626A JP 29862698 A JP29862698 A JP 29862698A JP 2000123188 A JP2000123188 A JP 2000123188A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- eyes
- upper eyelid
- open
- closed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Inspection Of Paper Currency And Valuable Securities (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は眼開閉判定装置、特
に画像処理により眼の開閉を判定する装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an eye open / close determination device, and more particularly to an eye open / close determination device by image processing.
【０００２】[0002]
【従来の技術】従来より、車両運転者の顔画像を撮影
し、得られた顔画像から運転者の眼の開閉状態を判定し
て居眠りの有無を検出する装置が知られている。2. Description of the Related Art Conventionally, there has been known an apparatus which captures a face image of a vehicle driver, determines the open / closed state of the driver's eyes from the obtained face image, and detects the presence or absence of falling asleep.
【０００３】例えば、特開平１０−１４３６６９号公報
には、二値化処理した運転者の顔画像から得られる黒画
素の縦方向長さ（眼の高さ）に基づいて眼の開閉判定を
行う技術が開示されている。For example, Japanese Patent Laid-Open Publication No. Hei 10-143669 discloses an eye open / close determination based on a vertical length (eye height) of a black pixel obtained from a binarized driver's face image. Techniques are disclosed.
【０００４】[0004]
【発明が解決しようとする課題】しかしながら、上記従
来技術では、運転者の顔自体が傾いた場合には縦方向の
眼の高さが変化するため、正確な開閉判定が困難となる
問題があった。However, in the above-mentioned prior art, when the driver's face is tilted, the height of the eyes in the vertical direction changes, so that it is difficult to make an accurate determination of opening and closing. Was.
【０００５】また、例えば睫毛の長い運転者の場合には
眼を閉じた状態でも黒画素の縦方向の長さが通常以上と
なって開状態とほとんど変わらない事態も想定され、開
閉判定が困難となる問題もあった。[0005] In addition, in the case of a driver with long eyelashes, for example, it is assumed that even when the eyes are closed, the length of the black pixels in the vertical direction becomes longer than usual, and is almost the same as the open state, making it difficult to determine the open / close state There was also a problem.
【０００６】本発明は、上記従来技術の有する課題に鑑
みなされたものであり、その目的は、顔の方向や睫毛の
長さ等の個人差に影響されず、確実に眼の開閉判定を行
うことができる装置を提供することにある。SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned problems of the prior art, and has as its object to reliably determine the opening and closing of eyes without being affected by individual differences such as the direction of the face and the length of eyelashes. It is an object of the present invention to provide a device capable of performing such operations.
【０００７】[0007]
【課題を解決するための手段】上記目的を達成するため
に、第１の発明は、顔画像を取得する画像取得手段と、
前記顔画像から上瞼部分を検出する検出手段と、前記上
瞼の形状に基づいて眼の開閉を判定する判定手段とを有
することを特徴とする。眼の開閉状態に応じて上瞼の形
状は変化し、この変化は顔の向きや睫毛の長さ等に影響
されない。従って上瞼の形状を用いることで、確実に眼
の開閉を判定できる。In order to achieve the above object, a first aspect of the present invention provides an image obtaining means for obtaining a face image,
It is characterized by comprising detecting means for detecting an upper eyelid portion from the face image, and determining means for determining whether the eye is open or closed based on the shape of the upper eyelid. The shape of the upper eyelid changes according to the open / closed state of the eyes, and this change is not affected by the direction of the face, the length of the eyelashes, and the like. Therefore, by using the shape of the upper eyelid, it is possible to reliably determine whether the eye is open or closed.
【０００８】また、第２の発明は、第１の発明におい
て、前記判定手段は、前記上瞼の両端点を結ぶ直線に対
して上側に位置する部分の面積と眼の面積との比に基づ
いて眼の開閉を判定することを特徴とする。眼が開いて
いる場合には上側に位置する部分（上部分）の面積が増
大し、眼が閉じている（閉じつつある）場合には逆に減
少する。従って、上部分の眼全体に対する面積比を算出
することで、眼の開度を定量的に評価することができ
る。In a second aspect based on the first aspect, the determination means is based on a ratio of an area of a portion located above a straight line connecting both end points of the upper eyelid to an eye area. To determine whether the eye is open or closed. When the eyes are open, the area of the upper portion (upper portion) increases, and when the eyes are closed (closed), the area decreases. Therefore, by calculating the area ratio of the upper portion to the entire eye, the degree of opening of the eye can be quantitatively evaluated.
【０００９】また、第３の発明は、第１の発明におい
て、前記判定手段は、前記上瞼が上に凸形状か否かで眼
の開閉を判定することを特徴とする。眼が開いている場
合には上瞼は上に凸となり、開いている度合いが大きい
ほど凸の度合いも大きくなる。従って、上瞼が上に凸形
状か否か（凸の度合い）で眼の開度を定量的に評価する
ことができる。In a third aspect based on the first aspect, the determining means determines whether the eye is open or closed based on whether or not the upper eyelid has a convex shape. When the eyes are open, the upper eyelid becomes convex upward, and the degree of convexity increases as the degree of opening increases. Therefore, the degree of opening of the eye can be quantitatively evaluated based on whether or not the upper eyelid has an upward convex shape (degree of convexity).
【００１０】また、第４の発明は、第１の発明におい
て、前記判定手段は、前記上瞼の両端点を結ぶ直線と前
記上瞼の重心との位置関係に基づいて眼の開閉を判定す
ることを特徴とする。眼が開いている場合には上瞼は上
に凸となり、上瞼の両端点を結ぶ直線に対してその重心
位置が上方に位置し、眼が閉じている（閉じつつある）
場合には重心位置が下方に移動する。従って、該直線と
上瞼の重心間の距離を用いることで眼の開度を定量的に
評価することができる。In a fourth aspect based on the first aspect, the determining means determines whether the eye is opened or closed based on a positional relationship between a straight line connecting both end points of the upper eyelid and the center of gravity of the upper eyelid. It is characterized by the following. When the eye is open, the upper eyelid is convex upward, its center of gravity is located above the straight line connecting both end points of the upper eyelid, and the eye is closed (closed)
In this case, the position of the center of gravity moves downward. Therefore, the degree of eye opening can be quantitatively evaluated by using the distance between the straight line and the center of gravity of the upper eyelid.
【００１１】[0011]
【発明の実施の形態】以下、図面に基づき本発明の実施
形態について、車両運転者を例にとり説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below with reference to the drawings, taking a vehicle driver as an example.
【００１２】図１には、本実施形態の構成ブロック図が
示されている。画像取得装置１０は、レンズ１０ａ、Ｃ
ＣＤ撮像素子１０ｂ及び赤外投光器（例えば赤外ＬＥＤ
アレイ）１０ｃを含んで構成されており、車両運転者の
顔画像を赤外投光器１０ｃからの赤外光で照らし、ＣＣ
Ｄ撮像素子１０ｂで画像信号を得る。なお、画像取得装
置１０は、例えば室内ミラーに設けることができ、赤外
投光器１０ｃは省くこともできる。得られた画像信号
は、画像処理装置１４に順次供給される。FIG. 1 is a block diagram showing the configuration of this embodiment. The image acquisition device 10 includes lenses 10a, C
CD imaging device 10b and infrared projector (for example, infrared LED
Array) 10c, and illuminates the face image of the vehicle driver with infrared light from the infrared projector 10c.
An image signal is obtained by the D imaging device 10b. Note that the image acquisition device 10 can be provided, for example, in an indoor mirror, and the infrared projector 10c can be omitted. The obtained image signals are sequentially supplied to the image processing device 14.
【００１３】画像処理装置１４は、Ａ／Ｄ１４ａ、ＣＰ
Ｕ１４ｂ、ＲＯＭ１４ｃ及びＲＡＭ１４ｄを有してお
り、入力した画像信号を処理して眼の開閉状態を判定す
る。具体的には、Ａ／Ｄ１４ａで入力した画像信号をデ
ジタル信号に変換し、ＲＡＭ１４ｄに格納する。そし
て、ＣＰＵ１４ｂは、ＲＯＭ１４ｃに記憶されたプログ
ラムに従って後述する処理を実行し、眼の開閉を判定し
て出力する。眼の開閉を判定する際には、まず眼の上瞼
部分を検出し、この上瞼部分の形状が開状態と閉状態で
異なることを利用している。The image processing device 14 includes an A / D 14a, a CP
It has a U14b, a ROM 14c and a RAM 14d, and processes an input image signal to determine the open / closed state of the eye. Specifically, the image signal input by the A / D 14a is converted into a digital signal and stored in the RAM 14d. Then, the CPU 14b executes a process described below in accordance with a program stored in the ROM 14c, and determines whether the eye is open or closed and outputs the result. When determining whether the eye is open or closed, first, the upper eyelid portion of the eye is detected, and the fact that the shape of the upper eyelid portion is different between the open state and the closed state is used.
【００１４】図２には、本実施形態の全体処理フローチ
ャートが示されている。まず、ＣＰＵ１４ｂは、入力し
た顔画像から眼を発見する（Ｓ１０１）。この処理は、
車速が所定値以上で、かつ、運転者が前方を注視して走
行している状態で実行される。次に、Ｓ１０１の処理で
眼を発見できたか否かを判定し、眼を発見した場合には
順次入力される顔画像においてその眼の位置をトラッキ
ングする（Ｓ１０３）。トラッキングは、顔画像内にお
けるパターンマッチングを行うことで実行できる。そし
て、トラッキングしている間に眼を見失ったか否かを判
定し（Ｓ１０４）、眼をトラッキングしている場合には
眼の開閉判定を行う（Ｓ１０５）。一方、運転者が急に
顔を動かして脇見をした等でトラッキングの最中に眼を
見失った場合には、眼の再発見処理を実行し（Ｓ１０
６）、眼を再発見する（Ｓ１０７）。なお、再発見処理
は、Ｓ１０１で発見した眼の情報（具体的には眼の全体
形状）を用いて行う。FIG. 2 is a flowchart showing the overall processing of this embodiment. First, the CPU 14b finds eyes from the input face image (S101). This process
This process is executed in a state where the vehicle speed is equal to or higher than a predetermined value and the driver is gazing ahead. Next, it is determined whether or not an eye has been found in the processing of S101. If an eye has been found, the position of the eye is tracked in a sequentially input face image (S103). Tracking can be performed by performing pattern matching in the face image. Then, it is determined whether or not the eye has been lost during tracking (S104). If the eye is being tracked, open / close determination of the eye is performed (S105). On the other hand, if the driver loses his or her eyes during tracking because the driver suddenly moves his / her face and looks aside, an eye rediscovering process is executed (S10).
6) The eyes are rediscovered (S107). The rediscovering process is performed using the information of the eye found in S101 (specifically, the entire shape of the eye).
【００１５】図３には、図２におけるＳ１０２の処理、
すなわち眼の発見処理の詳細フローチャートが示されて
いる。まず、入力した顔画像をフィルタ（エッジ抽出フ
ィルタ及び輝点を除去するメディアンフィルタ）を用い
て前処理し、眼の上瞼及び下瞼で形成されるエッジを抽
出する（Ｓ２０１）。次に、抽出されたエッジに基づい
て眼の候補を抽出する（Ｓ２０２）。眼の候補は、上瞼
が形成する正（白画素）から負（黒画素）の横長エッジ
と、下瞼が形成する負（黒画素）から正（白画素）の横
長エッジが上下にペアで存在する部分である。FIG. 3 shows the processing of S102 in FIG.
That is, a detailed flowchart of the eye finding process is shown. First, the input face image is pre-processed using a filter (an edge extraction filter and a median filter for removing bright points) to extract edges formed by the upper and lower eyelids of the eye (S201). Next, eye candidates are extracted based on the extracted edges (S202). Eye candidates are horizontal (positive (white pixels) to negative (black pixels) horizontal edges formed by the upper eyelid and negative (black pixels) to positive (white pixels) horizontal edges formed by the lower eyelid are paired up and down. It is an existing part.
【００１６】眼の候補を抽出した後、眼の開度を算出す
る（Ｓ２０３）。この処理は、上瞼の形状、より詳細に
は眼の面積に対する上瞼の面積比に基づいて行われる。
そして、算出した眼の開度に基づいて瞬き判定を行う
（Ｓ２０４）。瞬き判定は、眼の開度が上昇と下降を繰
り返したか否かで行われる。眼の候補に瞬きが存在する
場合には、真の眼と判定し（Ｓ２０５、Ｓ２０６）、眼
の候補に瞬きがない場合には、この眼の候補は実際の眼
ではないと判断し、Ｓ２０１以降の処理を再び繰り返し
て次の眼の候補を抽出して瞬きの有無を確認する。After extracting the eye candidates, the eye opening is calculated (S203). This process is performed based on the shape of the upper eyelid, more specifically, based on the area ratio of the upper eyelid to the eye area.
Then, a blink determination is made based on the calculated eye opening (S204). Blink determination is made based on whether or not the degree of opening of the eye has repeatedly increased and decreased. If there is a blink in the eye candidate, it is determined that the eye is a true eye (S205, S206). If there is no blink in the eye candidate, it is determined that this eye candidate is not an actual eye, and S201. The subsequent processing is repeated again to extract the next eye candidate and check for blinking.
【００１７】図４には、図３におけるＳ２０３の処理、
すなわち眼の開度算出処理の詳細フローチャートが示さ
れている。まず、エッジ処理された顔画像から上瞼のエ
ッジをラベリングし（一つの集合としてまとめる）、上
瞼部分を特定する（Ｓ３０１）。次に、特定された上瞼
部分よりも画像内において下方に位置する下部分の二値
化処理を行う（Ｓ３０２）。二値化に用いるしきい値と
しては、上瞼より下部分の画素の輝度平均値を用いるこ
とができる。そして、二値化された下部分から左右の端
点Ａ、Ｂの座標を抽出する（Ｓ３０３）。端点の座標
（ｘ、ｙ）は実際の端点位置とすることもできるが、近
傍８画素の平均座標として耐ノイズ性を向上させてもよ
い。この端点Ａ、Ｂは上瞼の端点でもあるが、次に端点
Ａ、Ｂを結んだ線で二値化された部分（眼の全体部分）
を上下に２分割し、上部分と下部分の面積比Ｒを算出し
て記憶する（Ｓ３０４）。すなわち、FIG. 4 shows the processing of S203 in FIG.
That is, a detailed flowchart of the eye opening calculation process is shown. First, the edge of the upper eyelid is labeled (collected as one set) from the face image subjected to the edge processing, and the upper eyelid portion is specified (S301). Next, a binarization process is performed on a lower portion located below the specified upper eyelid portion in the image (S302). As the threshold value used for binarization, the average luminance value of the pixels below the upper eyelid can be used. Then, the coordinates of the left and right end points A and B are extracted from the binarized lower part (S303). Although the coordinates (x, y) of the end point can be set to the actual end point position, noise resistance may be improved as average coordinates of eight neighboring pixels. The end points A and B are also the end points of the upper eyelid, but are binarized by a line connecting the end points A and B (the entire part of the eye).
Is divided into upper and lower parts, and the area ratio R between the upper part and the lower part is calculated and stored (S304). That is,
【数１】面積比Ｒ＝上部分の面積／（上部分の面積＋下
部分の面積） であり、この面積比Ｒが眼の開度となる。The area ratio R = the area of the upper part / (the area of the upper part + the area of the lower part), and this area ratio R is the degree of opening of the eye.
【００１８】図５及び図６には、以上述べた開度算出処
理が模式的に示されている。図５は眼が開いている場合
であり、図６は眼が閉じている場合である。両図におい
て、（ａ）は顔画像の一部であり、（ｂ）はエッジ処理
された画像である。エッジ画像をラベリングすることで
上瞼部分を抽出すると、それぞれ上瞼部分１００ａ（開
眼状態）、１００ｂ（閉眼状態）が抽出される。（ｃ）
は上瞼部分１００ａ、１００ｂより下の部分を二値化し
て得られる画像で、二値化部分の左右の端点Ａ及びＢが
抽出される。これらの端点は、上瞼部分１００ａ、１０
０ｂの端点でもある。（ｄ）は端点Ａ、Ｂを線で結んだ
場合であり、図５（開眼状態）では端点Ａ、Ｂを結ぶ線
に対して上部分と下部分が存在し、眼が開いているほど
（上瞼が上方にあるほど）上部分が増大するのに対し、
図６（閉眼状態）では上部分がなく下部分のみが存在し
ている。開眼状態と閉眼状態とで面積比Ｒが全く異なる
ことがこの図から理解されよう。FIGS. 5 and 6 schematically show the opening degree calculation processing described above. FIG. 5 shows the case where the eyes are open, and FIG. 6 shows the case where the eyes are closed. In both figures, (a) is a part of the face image, and (b) is an image subjected to edge processing. When the upper eyelid portion is extracted by labeling the edge image, the upper eyelid portions 100a (opened state) and 100b (eye closed state) are extracted, respectively. (C)
Is an image obtained by binarizing portions below the upper eyelid portions 100a and 100b, and the left and right end points A and B of the binarized portion are extracted. These endpoints are the upper eyelid portions 100a, 10a
0b. FIG. 5D shows a case where the end points A and B are connected by a line. In FIG. 5 (opened-eye state), there is an upper portion and a lower portion with respect to the line connecting the end points A and B, and the more the eye is open ( While the upper part increases (the upper eyelid is higher),
In FIG. 6 (eye closed state), only the lower portion exists without the upper portion. It can be understood from this figure that the area ratio R is completely different between the opened state and the closed state.
【００１９】なお、眼の開度を算出する際に、面積比Ｒ
を算出するのではなく、上瞼部分が上に凸の形状か否か
を判断することで開眼状態か閉眼状態かを判定しても良
い。すなわち、図４のＳ３０１で上瞼のエッジを確定し
た後、この上瞼エッジが上に凸であるか否か、より詳細
には上に凸である度合い（曲率）を算出する。図５
（ｂ）及び図６（ｂ）から分かるように、開眼状態では
上瞼は上に凸であり、閉眼状態では上瞼は下に凸となっ
ている。従って上に凸の度合いが大きい程、眼の開度は
大きいことになる。When calculating the eye opening, the area ratio R
May be determined instead of calculating whether the upper eyelid portion has an upwardly convex shape or not by determining whether the upper eyelid portion has an upwardly convex shape. That is, after the edge of the upper eyelid is determined in S301 of FIG. 4, it is calculated whether or not the upper eyelid edge is upwardly convex, more specifically, the degree (curvature) of the upwardly convex edge. FIG.
As can be seen from (b) and FIG. 6 (b), the upper eyelid is convex upward in the open state, and the upper eyelid is convex downward in the closed state. Therefore, the greater the degree of upward convexity, the greater the degree of eye opening.
【００２０】また、面積比Ｒではなく、端点Ａ、Ｂを結
ぶ線と上瞼の重心との位置関係に基づいて眼の開度を算
出することもできる。図５（ｄ）、図６（ｄ）から分か
るように、眼が開いているほど上瞼の重心位置はＡ、Ｂ
を結ぶ線よりも上方に位置することになるので、線と重
心との距離（上方をプラス、下方をマイナス）を算出す
ることで、眼の開度を定量評価することができる。The eye opening can also be calculated based on the positional relationship between the line connecting the end points A and B and the center of gravity of the upper eyelid, instead of the area ratio R. As can be seen from FIGS. 5 (d) and 6 (d), the center of gravity of the upper eyelid is A, B as the eyes are opened.
Is located above the line connecting the, and by calculating the distance between the line and the center of gravity (plus above, minus below), the degree of eye opening can be quantitatively evaluated.
【００２１】図７には、図３におけるＳ２０４の処理、
すなわち瞬き判定の詳細フローチャートが示されてい
る。なお、眼の開度として面積比Ｒを用いた場合につい
て説明するが、上瞼の凸度、あるいは重心位置に基づい
て眼の開度を算出した場合も同様に処理できる。まず、
図４のＳ３０４にてＮ回分のＲ値が格納されており、こ
のＮ回分のＲ値のうちｍ回連続して開度が低下している
系列が存在しているか否かを判定する（Ｓ４０１）。ｍ
回連続して低下している（眼が開眼状態から閉眼状態に
移行している）場合には、さらに開度低下後にｐ回連続
して開度が上昇する系列が連続して存在するか否かを判
定する（Ｓ４０２）。存在する場合、つまり開度が低下
し、その後上昇する場合には瞬きありと判定し（Ｓ４０
３）、開度が連続して下降しない、あるいは開度が連続
して上昇しない場合には瞬きがないと判定する（Ｓ４０
４）。FIG. 7 shows the processing of S204 in FIG.
That is, a detailed flowchart of the blink determination is shown. Although the case where the area ratio R is used as the eye opening will be described, the same processing can be performed when the eye opening is calculated based on the convexity of the upper eyelid or the position of the center of gravity. First,
The R values for N times are stored in S304 of FIG. 4, and it is determined whether or not there is a series in which the opening degree is continuously reduced m times out of the N R values (S401). ). m
In the case where the number of times has continuously decreased (the eye has shifted from the open state to the closed state), it is determined whether or not there is a series in which the degree of opening increases continuously p times after the degree of opening further decreases Is determined (S402). If it exists, that is, if the opening decreases and then increases, it is determined that there is a blink (S40).
3) If the opening does not continuously decrease or does not continuously increase, it is determined that there is no blink (S40).
4).
【００２２】図８には、眼の開度（面積比Ｒ）の時系列
データが示されている。図において、横軸は時間、縦軸
は開度である。眼の開度が所定数連続して下降し、その
後所定数上昇する点ａ１、ａ２、ａ３、ａ４が瞬き点で
ある。そして、このような瞬きがあることにより、真の
眼であることが確定されることになる（図３のＳ２０６
参照）。FIG. 8 shows time series data of the degree of eye opening (area ratio R). In the figure, the horizontal axis represents time, and the vertical axis represents opening. Points a1, a2, a3, and a4 at which the eye opening continuously decreases by a predetermined number and then increases by a predetermined number are blink points. Then, the presence of such a blink determines that the eye is a true eye (S206 in FIG. 3).
reference).
【００２３】図９には、図２におけるＳ１０５の処理、
すなわち眼開閉判定処理が示されている。まず、入力し
た顔画像に基づいて眼の開度を算出する（Ｓ５０１）。
眼の開度は、図４に示された方法で算出できる。そし
て、所定の学習期間か否かを判定する（Ｓ５０２）。学
習期間とは、眼の開閉を判定する際の基準となるしきい
値を算出する期間をいい、学習期間である場合には、ま
ずトラッキング位置の変化が少ない安定状態であるか否
か（運転者が顔を急激に動かしていない状態であるか否
か）を判定する（Ｓ５０７）。安定状態である場合に
は、眼の開度Ｒ及び開度変化ｄＲをメモリに記憶し（Ｓ
５０８）、データ数が所定値αを超えた場合に（Ｓ５０
９）、これら眼の開度Ｒのデータ及び開度変化ｄＲのデ
ータを用いて眼の開閉判定を行うために用いる開度しき
い値Ｅｔを算出する（Ｓ５１０）。しきい値Ｅｔは、FIG. 9 shows the process of S105 in FIG.
That is, the eye open / close determination processing is shown. First, the eye opening is calculated based on the input face image (S501).
The degree of eye opening can be calculated by the method shown in FIG. Then, it is determined whether or not it is a predetermined learning period (S502). The learning period refers to a period for calculating a threshold value that is a reference when determining whether the eyes are opened or closed. It is determined whether or not the person is not rapidly moving his / her face) (S507). If it is in a stable state, the eye opening R and the opening change dR are stored in the memory (S
508), when the number of data exceeds the predetermined value α (S50)
9) Using the data of the eye opening R and the data of the opening change dR, an opening threshold Et used for performing the eye open / close determination is calculated (S510). The threshold Et is
【数２】Ｅｔ＝Ｒｍｅａｎ−ａ＊σ（ｄＲ） により算出される。但し、Ｒｍｅａｎは開度Ｒの平均
値、ａは定数、σ（ｄＲ）は開度変化ｄＲの分散であ
る。上式において、−ａ＊σ（ｄＲ）は、ノイズ変動を
考慮したものであり、ａは適宜設定される。## EQU2 ## It is calculated by Et = Rmean-a * σ (dR). Here, Rmean is the average value of the opening R, a is a constant, and σ (dR) is the variance of the opening change dR. In the above equation, -a * σ (dR) takes into account noise fluctuation, and a is set as appropriate.
【００２４】しきい値Ｅｔが決定されて学習期間が終了
した後、現在の開度Ｒとしきい値Ｅｔとを比較し、開度
Ｒがしきい値Ｅｔより小さいか否かを判定する（Ｓ５０
３）。しきい値Ｅｔよりも小さい場合には、小さい状態
が所定時間連続しているか否かを判定する（Ｓ５０
４）。そして、しきい値Ｅｔよりも開度Ｒが小さい状態
が所定時間連続している場合には、運転者は閉眼状態に
あると判定する（Ｓ５０５）。After the threshold period Et is determined and the learning period ends, the current opening R is compared with the threshold Et to determine whether the opening R is smaller than the threshold Et (S50).
3). If it is smaller than the threshold value Et, it is determined whether the small state has continued for a predetermined time (S50).
4). If the state in which the opening R is smaller than the threshold value Et has continued for a predetermined time, the driver determines that the driver is in the closed state (S505).
【００２５】一方、現在の開度Ｒがしきい値Ｅｔ以上で
ある場合や、しきい値Ｅｔより小さい状態が所定時間継
続していない場合も、運転者は開眼状態にあると判定す
る（Ｓ５０６）。On the other hand, when the current opening degree R is equal to or larger than the threshold value Et or when the state smaller than the threshold value Et does not continue for a predetermined time, it is determined that the driver is in the eye-open state (S506). ).
【００２６】このように、本実施形態では顔画像内の上
瞼に着目し、上瞼の形状に基づいて開眼状態にあるか閉
眼状態にあるかを判定しており、顔の向きや睫毛の長さ
に影響されずに正確に判定することができる。As described above, the present embodiment focuses on the upper eyelid in the face image and determines whether the eye is open or closed based on the shape of the upper eyelid. Accurate determination can be made without being affected by the length.
【００２７】また、上瞼を抽出する際に、抽出した眼候
補が瞬きをしているか否かに基づいて真の眼か否かを判
定しているので、確実に真の眼部分、ひいては上瞼部分
を抽出することができる。When the upper eyelid is extracted, it is determined whether or not the extracted eye candidate is a true eye based on whether or not the eye candidate is blinking. The eyelid portion can be extracted.
【００２８】なお、閉眼状態にあると判定された場合に
は、さらにその閉眼状態が所定時間以上継続しているか
否かを判定し、運転者が居眠り状態にあるか否かを確認
して警報を鳴らす等が考えられる。If it is determined that the driver is in the closed state, it is further determined whether or not the closed state has continued for a predetermined time or more, and it is confirmed whether the driver is in a dozing state and an alarm is issued. Sounding.
【００２９】[0029]
【発明の効果】以上説明したように、本発明によれば顔
の向きや被撮影者の個人差によらず確実に眼の開閉を判
定することができる。As described above, according to the present invention, the open / closed state of the eyes can be reliably determined regardless of the direction of the face or the individual difference of the subject.
【図１】 本発明の実施形態の構成ブロック図である。FIG. 1 is a configuration block diagram of an embodiment of the present invention.
【図２】 本発明の実施形態の全体処理フローチャート
である。FIG. 2 is an overall processing flowchart of an embodiment of the present invention.
【図３】 図２におけるＳ１０２の詳細フローチャート
である。FIG. 3 is a detailed flowchart of S102 in FIG. 2;
【図４】 図３におけるＳ２０３の詳細フローチャート
である。FIG. 4 is a detailed flowchart of S203 in FIG.
【図５】 開眼状態の説明図である。FIG. 5 is an explanatory diagram of an eye open state.
【図６】 閉眼状態の説明図である。FIG. 6 is an explanatory diagram of an eye closed state.
【図７】 図３におけるＳ２０４の詳細フローチャート
である。FIG. 7 is a detailed flowchart of S204 in FIG. 3;
【図８】 眼の開度の時間変化を示すグラフ図である。FIG. 8 is a graph showing a temporal change of an eye opening degree.
【図９】 図２におけるＳ１０５の詳細フローチャート
である。FIG. 9 is a detailed flowchart of S105 in FIG. 2;
１０ 画像取得装置、１４ 画像処理装置、１００ａ
上瞼部分（開眼状態）、１００ｂ 上瞼部分（閉眼状
態）。10 image acquisition device, 14 image processing device, 100a
Upper eyelid part (eye open state), 100b Upper eyelid part (eye closed state).
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 3D037 FA05 FB10 5B057 AA16 BA29 DA06 DB02 DC04 DC06 DC09 DC14 DC16 5L096 AA07 BA04 EA43 FA04 FA59 FA60 FA69 GA34 ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 3D037 FA05 FB10 5B057 AA16 BA29 DA06 DB02 DC04 DC06 DC09 DC14 DC16 5L096 AA07 BA04 EA43 FA04 FA59 FA60 FA69 GA34
Claims (4)
と、 を有することを特徴とする眼開閉判定装置。1. An image acquisition unit that acquires a face image, a detection unit that detects an upper eyelid portion from the face image, and a determination unit that determines whether the eye is opened or closed based on the shape of the upper eyelid. An eye open / closed determination device characterized by the following.
上側に位置する部分の面積と眼の面積との比に基づいて
眼の開閉を判定することを特徴とする眼開閉判定装置。2. The apparatus according to claim 1, wherein the determination unit is configured to open and close the eye based on a ratio of an area of a part located above a straight line connecting both end points of the upper eyelid to an eye area. Eye open / closed determination device, characterized in that:
閉を判定することを特徴とする眼開閉判定装置。3. The apparatus according to claim 1, wherein the determination unit determines whether the eye is open or closed based on whether the upper eyelid has an upward convex shape.
瞼の重心との位置関係に基づいて眼の開閉を判定するこ
とを特徴とする眼開閉判定装置。4. The apparatus according to claim 1, wherein the determination unit determines whether the eye is opened or closed based on a positional relationship between a straight line connecting both end points of the upper eyelid and a center of gravity of the upper eyelid. Eye open / close determination device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10298626A JP2000123188A (en) | 1998-10-20 | 1998-10-20 | Eye open/close discriminating device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10298626A JP2000123188A (en) | 1998-10-20 | 1998-10-20 | Eye open/close discriminating device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000123188A true JP2000123188A (en) | 2000-04-28 |
Family
ID=17862177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10298626A Pending JP2000123188A (en) | 1998-10-20 | 1998-10-20 | Eye open/close discriminating device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000123188A (en) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003015816A (en) * | 2001-06-29 | 2003-01-17 | Honda Motor Co Ltd | Face/visual line recognizing device using stereo camera |
| WO2008069171A1 (en) * | 2006-12-04 | 2008-06-12 | Aisin Seiki Kabushiki Kaisha | Eye detecting device, eye detecting method, and program |
| JP2008192100A (en) * | 2007-02-08 | 2008-08-21 | Aisin Seiki Co Ltd | Eyelid detector and program |
| JP2008226047A (en) * | 2007-03-14 | 2008-09-25 | Aisin Seiki Co Ltd | Eyelid detecting device and program |
| JP2008226106A (en) * | 2007-03-15 | 2008-09-25 | Aisin Seiki Co Ltd | Eye opening/closing determination device and program |
| JP2009211180A (en) * | 2008-02-29 | 2009-09-17 | Canon Inc | Device, method and program for deciding opening/closing degree of eye, and imaging apparatus |
| JP2010146159A (en) * | 2008-12-17 | 2010-07-01 | Aisin Seiki Co Ltd | Eyelid detection apparatus, eyelid detection method, and program |
| US7784943B2 (en) | 2006-12-26 | 2010-08-31 | Aisin Seiki Kabushiki Kaisha | Eyelid detecting apparatus, eyelid detecting method and program thereof |
| US7916904B2 (en) | 2007-03-19 | 2011-03-29 | Aisin Seiki Kabushiki Kaisha | Face region detecting device, method, and computer readable recording medium |
| US7936926B2 (en) | 2007-03-13 | 2011-05-03 | Aisin Seiki Kabushiki Kaisha | Apparatus, method, and program for face feature point detection |
| US8224035B2 (en) | 2006-12-06 | 2012-07-17 | Aisin Seiki Kabushiki Kaisha | Device, method and program for detecting eye |
| JP2014057826A (en) * | 2012-09-14 | 2014-04-03 | Utechzone Co Ltd | Doze warning device |
| JP2015202133A (en) * | 2014-04-11 | 2015-11-16 | 学校法人 名古屋電気学園 | Communication system and blink determination method |
| CN105094269A (en) * | 2014-04-18 | 2015-11-25 | 鸿富锦精密工业(武汉)有限公司 | System and method for controlling automatic power-off of electronic device |
| CN108229376A (en) * | 2017-12-29 | 2018-06-29 | 百度在线网络技术（北京）有限公司 | For detecting the method and device of blink |
| JP2020095499A (en) * | 2018-12-13 | 2020-06-18 | オムロン株式会社 | Eye opening and closing detection apparatus, and driver monitoring apparatus |
-
1998
- 1998-10-20 JP JP10298626A patent/JP2000123188A/en active Pending
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003015816A (en) * | 2001-06-29 | 2003-01-17 | Honda Motor Co Ltd | Face/visual line recognizing device using stereo camera |
| WO2008069171A1 (en) * | 2006-12-04 | 2008-06-12 | Aisin Seiki Kabushiki Kaisha | Eye detecting device, eye detecting method, and program |
| US8498449B2 (en) | 2006-12-04 | 2013-07-30 | Aisin Seiki Kabushiki Kaisha | Eye detecting device, eye detecting method, and program |
| EP2101296A1 (en) * | 2006-12-04 | 2009-09-16 | Aisin Seiki Kabushiki Kaisha | Eye detecting device, eye detecting method, and program |
| EP2101296A4 (en) * | 2006-12-04 | 2013-09-04 | Aisin Seiki | Eye detecting device, eye detecting method, and program |
| US8224035B2 (en) | 2006-12-06 | 2012-07-17 | Aisin Seiki Kabushiki Kaisha | Device, method and program for detecting eye |
| US7784943B2 (en) | 2006-12-26 | 2010-08-31 | Aisin Seiki Kabushiki Kaisha | Eyelid detecting apparatus, eyelid detecting method and program thereof |
| JP2008192100A (en) * | 2007-02-08 | 2008-08-21 | Aisin Seiki Co Ltd | Eyelid detector and program |
| US8351658B2 (en) | 2007-02-08 | 2013-01-08 | Aisin Seiki Kabushiki Kaisha | Eyelid detection apparatus and programs therefor |
| US7936926B2 (en) | 2007-03-13 | 2011-05-03 | Aisin Seiki Kabushiki Kaisha | Apparatus, method, and program for face feature point detection |
| JP2008226047A (en) * | 2007-03-14 | 2008-09-25 | Aisin Seiki Co Ltd | Eyelid detecting device and program |
| JP2008226106A (en) * | 2007-03-15 | 2008-09-25 | Aisin Seiki Co Ltd | Eye opening/closing determination device and program |
| US7916904B2 (en) | 2007-03-19 | 2011-03-29 | Aisin Seiki Kabushiki Kaisha | Face region detecting device, method, and computer readable recording medium |
| JP2009211180A (en) * | 2008-02-29 | 2009-09-17 | Canon Inc | Device, method and program for deciding opening/closing degree of eye, and imaging apparatus |
| JP2010146159A (en) * | 2008-12-17 | 2010-07-01 | Aisin Seiki Co Ltd | Eyelid detection apparatus, eyelid detection method, and program |
| JP2014057826A (en) * | 2012-09-14 | 2014-04-03 | Utechzone Co Ltd | Doze warning device |
| TWI498857B (en) * | 2012-09-14 | 2015-09-01 | Utechzone Co Ltd | Dozing warning device |
| JP2015202133A (en) * | 2014-04-11 | 2015-11-16 | 学校法人 名古屋電気学園 | Communication system and blink determination method |
| CN105094269A (en) * | 2014-04-18 | 2015-11-25 | 鸿富锦精密工业(武汉)有限公司 | System and method for controlling automatic power-off of electronic device |
| CN108229376A (en) * | 2017-12-29 | 2018-06-29 | 百度在线网络技术（北京）有限公司 | For detecting the method and device of blink |
| CN108229376B (en) * | 2017-12-29 | 2022-06-03 | 百度在线网络技术（北京）有限公司 | Method and device for detecting blinking |
| JP2020095499A (en) * | 2018-12-13 | 2020-06-18 | オムロン株式会社 | Eye opening and closing detection apparatus, and driver monitoring apparatus |
| WO2020121650A1 (en) * | 2018-12-13 | 2020-06-18 | オムロン株式会社 | Eye opening/closing detection device and occupant monitoring device |
| JP7212251B2 (en) | 2018-12-13 | 2023-01-25 | オムロン株式会社 | Eye opening/closing detection device, occupant monitoring device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2000123188A (en) | Eye open/close discriminating device | |
| JP4137969B2 (en) | Eye detection device, eye detection method, and program | |
| CN107292251B (en) | Driver fatigue detection method and system based on human eye state | |
| Craye et al. | Driver distraction detection and recognition using RGB-D sensor | |
| US7620216B2 (en) | Method of tracking a human eye in a video image | |
| JP3350296B2 (en) | Face image processing device | |
| JP2008146172A (en) | Eye detection device, eye detection method and program | |
| JP4912206B2 (en) | Image processing method, image processing apparatus, image processing system, and computer program | |
| JP2000235648A (en) | Extracting device for eye and blink detecting device | |
| JP2008192100A (en) | Eyelid detector and program | |
| JP2000137792A (en) | Eye part detecting device | |
| JP4776581B2 (en) | Sleep state detection method, sleep state detection device, sleep state detection system, and computer program | |
| JP2008065776A (en) | Doze detection device and doze detection method | |
| JP4989249B2 (en) | Eye detection device, dozing detection device, and method of eye detection device | |
| JP2001043382A (en) | Eye tracking device | |
| JPH07181012A (en) | Feature amount detector for image data | |
| JP4082203B2 (en) | Open / close eye determination device | |
| JP4107087B2 (en) | Open / close eye determination device | |
| Miyakawa et al. | Development of non-contact real-time blink detection system for doze alarm | |
| JP3444115B2 (en) | Dozing state detection device | |
| JP4781292B2 (en) | Closed eye detection device, dozing detection device, closed eye detection method, and closed eye detection program | |
| JP5493676B2 (en) | Eye position recognition device | |
| JP3629164B2 (en) | Face image processing device | |
| JPH11183127A (en) | Eye position detector | |
| JP3577882B2 (en) | Dozing state detection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050201 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050607 |