JP2000163564A - Eye tracking device and wink detector - Google Patents
Eye tracking device and wink detectorInfo
- Publication number
- JP2000163564A JP2000163564A JP10341537A JP34153798A JP2000163564A JP 2000163564 A JP2000163564 A JP 2000163564A JP 10341537 A JP10341537 A JP 10341537A JP 34153798 A JP34153798 A JP 34153798A JP 2000163564 A JP2000163564 A JP 2000163564A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- tracking
- eyes
- template
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、目の追跡装置およ
び瞬き検出装置の改良に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an improvement in an eye tracking device and a blink detection device.
【０００２】近年、車両運転者の目を監視し、瞬き等の
有無検出により、居眠りなど、運転者の状態を検出して
アラームを発生する居眠り警報装置が開発されつつある
が、確実に、且つ速やかに目を検出，追跡し、正確に瞬
きを検出することが必要とされる。In recent years, a drowsiness alarm device that monitors the eyes of a vehicle driver and detects the driver's state, such as drowsiness, by detecting the presence or absence of blinking and the like and generates an alarm has been developed. It is necessary to quickly detect and track the eyes and accurately detect blinks.
【０００３】[0003]
【従来の技術および発明が解決しようとする課題】目を
リアルタイムに追跡する方法として、標準テンプレート
との間のパターンマッチングにより目を発見する方法が
提案されているが、複数の標準テンプレートのうちから
最適なテンプレートをパターンマッチングにより選択し
なければならず、しかも選択された標準テンプレートを
用いてもマッチング率は必ずしも良くないので、追跡に
は広範囲にわたり探索する必要があって追跡に時間がか
かるといった課題がある。また瞬きをした場合はマッチ
ング率が低下していて、この間は目の追跡が容易ではな
いといった課題がある。2. Description of the Related Art As a method of tracking an eye in real time, a method of finding an eye by pattern matching with a standard template has been proposed. The problem is that the optimal template must be selected by pattern matching, and even if the selected standard template is used, the matching rate is not always good. There is. In addition, when blinking, the matching rate is reduced, and during this time, there is a problem that it is not easy to track eyes.
【０００４】また、瞬きを検出する場合、従来では目の
上端から下端までの距離の変化から検出していたが、目
が細い人とか睫毛が長い人では画像中の黒部分の長さが
殆ど変化しないので瞬き検出に困難を来していた。In the prior art, when blinking is detected, it is detected based on a change in the distance from the upper end to the lower end of the eye. Since it did not change, it was difficult to detect blinks.
【０００５】本発明は、上記課題に鑑み、簡易に且つ迅
速に目を検出し、且つ追跡できる目の追跡装置、および
精度の高い瞬き検出装置を提供することを目的とする。In view of the above problems, an object of the present invention is to provide an eye tracking device that can easily and quickly detect and track an eye, and a highly accurate blink detection device.
【０００６】[0006]
【課題を解決するための手段】前記課題を解決するた
め、本発明の目の追跡装置および瞬き検出装置は以下の
ように構成される。 （第１の発明）第１の発明は、図１本発明の原理図に示
すように、動画から目を検出し追跡する目の追跡装置で
あって、動画中、標準テンプレートを移動しつつパター
ンマッチングにより目を探索し、最大マッチング率が予
め設定した値を超えた位置の画像を参照用テンプレート
として登録する登録手段と、該参照用テンプレートを追
跡用テンプレートとしてパターンマッチングにより目を
追跡する追跡手段とを有する。In order to solve the above-mentioned problems, an eye tracking device and a blink detection device according to the present invention are configured as follows. (First invention) A first invention is an eye tracking apparatus for detecting and tracking eyes from a moving image as shown in the principle diagram of the present invention in FIG. Registration means for searching for an eye by matching and registering an image at a position where the maximum matching rate exceeds a preset value as a reference template, and tracking means for tracking the eye by pattern matching using the reference template as a tracking template And
【０００７】以上のごとく、パターンマッチングで目を
検出した後は、その検出した実際の目の画像を参照用テ
ンプレートとして追跡するので、最大マッチング率が高
まって検出精度が向上し、従って検出した目の位置を中
心とした狭い範囲での追跡が可能となるため、追跡速度
が速まる。 （第２の発明）第２の発明は、前記第１の発明におい
て、最大マッチング率が予め設定した第１の値以上の場
合に目と認識して追跡しているとき、最大マッチング率
が第１の値と第２の値との間に低下した場合は、該最大
マッチング率に対応する画像を該動画から取り出し追跡
用テンプレートとして追跡する追跡手段であるように構
成する。As described above, after an eye is detected by pattern matching, the image of the detected actual eye is tracked as a reference template, so that the maximum matching rate is increased and the detection accuracy is improved. Since tracking can be performed in a narrow range around the position of, the tracking speed is increased. (Second invention) In the second invention, in the first invention, when the maximum matching rate is recognized as an eye when the maximum matching rate is equal to or greater than a predetermined first value and the eye is tracked, the maximum matching rate is equal to the second matching rate. When the value falls between the value of 1 and the second value, the tracking means is configured to take out the image corresponding to the maximum matching rate from the moving image and track it as a tracking template.
【０００８】以上により、わずかに姿勢が変わったとき
とか、瞬きした場合等においても、その時点における実
際の画像を用いて追跡用テンプレートを更新するので、
追跡精度が高まり、瞬きしている間も追跡が容易とな
る。 （第３の発明）第３の発明は、前記第１の発明におい
て、検出した目の候補を含む所定領域の画像から目およ
び眉，眼鏡フレーム等を認識し、該画像との比較により
検出した目の正当性を判断し、検出した目の候補が目以
外のものと判断した場合は、該画像中の眉と目との間隔
に応じた位置補正を行い登録する登録手段であるように
構成する。As described above, the tracking template is updated by using the actual image at that time even when the posture slightly changes or blinks.
Tracking accuracy is improved, and tracking is easy even while blinking. (Third invention) According to a third invention, in the first invention, eyes, eyebrows, spectacle frames, and the like are recognized from an image of a predetermined region including the detected eye candidate, and detected by comparison with the image. The registration means is configured to determine the legitimacy of the eye and, if it determines that the detected eye candidate is other than the eye, correct the position in accordance with the distance between the eyebrow and the eye in the image and register it. I do.
【０００９】以上により、パターンマッチングにより眉
を目と誤認する不都合を避けることができ、追跡用テン
プレートとして実際の画像を採用することを可能とす
る。 （第４の発明）第４の発明は、前記第１の発明および第
３の発明において、検出した目を追跡して目の瞬きの有
無を検証し、瞬きが検出された場合に前記目の検出を正
当として登録する登録手段であるように構成する。As described above, the inconvenience of erroneously recognizing an eyebrow as an eye by pattern matching can be avoided, and an actual image can be adopted as a tracking template. (Fourth invention) In a fourth invention according to the first invention and the third invention, the detected eyes are tracked to verify the presence or absence of blinking of the eyes. The registration means is configured to register the detection as valid.
【００１０】最初に目を検出する場合、目の瞬きの有無
を検証し、瞬きがあると判別された場合に、最大パター
ンマッチング率で検出した目を正当な目と判定する。こ
のため、実際の画像の目をテンプレートとして登録する
場合に、正確を期することができる。 （第５の発明）第５の発明は、第１の発明において、追
跡中に目を見失った場合は、参照用テンプレートを獲得
した位置に参照用テンプレートを設定し、該位置を中心
に探索して目を再発見する追跡手段であるように構成す
る。When the eyes are detected first, the presence or absence of blinking of the eyes is verified. If it is determined that there is blinking, the eyes detected at the maximum pattern matching rate are determined as valid eyes. For this reason, when registering the eyes of an actual image as a template, accuracy can be expected. (Fifth invention) In the fifth invention, in the first invention, if the user loses his or her eyes during tracking, the reference template is set at the position where the reference template is acquired, and the search is performed centering on the position. The tracking means to rediscover the eyes.
【００１１】以上の結果、姿勢が大幅に変わった等によ
り目を見失った場合、最初に目を検出したときに登録し
た参照用テンプレートを用い、最初に検出した位置近傍
を探索することにより、姿勢が元に戻った場合に迅速に
目を検出することができる。このため、速やかに追跡を
再開することができる。 （第６の発明）第６の発明は、動画中の目を追跡して瞬
きを検出する瞬き検出装置であって、追跡して得られた
目の位置を含む所定領域の画像を該動画から抽出して目
と眉とを認識し、眉から目の上端までの距離と目の上端
から下端までの距離の差の変化を所定時間監視して瞬き
を検出するように構成する。As a result, when the eyes are lost due to a drastic change in the posture, for example, the vicinity of the first detected position is searched by using the reference template registered when the eyes are first detected. The eye can be quickly detected when is restored. Therefore, tracking can be resumed promptly. (Sixth invention) A sixth invention is a blink detection device for tracking an eye in a moving image and detecting a blink, wherein an image of a predetermined region including the position of the eye obtained by tracking is obtained from the moving image. The eye and the eyebrow are extracted and recognized, and a change in the difference between the distance from the eyebrow to the upper end of the eye and the distance from the upper end to the lower end of the eye is monitored for a predetermined time to detect blinking.
【００１２】以上のごとく、眉から目の上端までの距離
と目の上端から下端までの距離との差の変化から瞬きを
検出するので、目が細い人でも瞬き検出が容易となる。As described above, since blinking is detected based on a change in the difference between the distance from the eyebrows to the upper end of the eye and the distance from the upper end to the lower end of the eye, blink detection can be easily performed even by a person with fine eyes.
【００１３】[0013]
【発明の実施の形態】以下、本発明の実施の形態例を図
を用いて詳細に説明する。なお、全図を通じて同一符号
は同一対象物を表す。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments of the present invention will be described below in detail with reference to the drawings. Note that the same reference numerals represent the same object throughout the drawings.
【００１４】図２は一実施例の構成図、図３は目の位置
補正方法を表す図、図４は瞬き検出方法を表す図、図５
はテンプレート登録処理フローチャート図、図６は追跡
処理フローチャート図、図７は瞬き検出動作フローチャ
ート図である。FIG. 2 is a block diagram of one embodiment, FIG. 3 is a diagram showing a method of correcting the position of an eye, FIG. 4 is a diagram showing a method of detecting a blink, and FIG.
Is a flowchart of a template registration process, FIG. 6 is a flowchart of a tracking process, and FIG. 7 is a flowchart of a blink detection operation.
【００１５】本実施例は、顔を撮像しつつ居眠りを検出
する装置などに使用される目の追跡機能および瞬き検出
機能を、本発明の次に示す方法によって実現する例を示
したものである。即ち、(1) 追跡開始時に標準テンプレ
ートで目を検出した後は、動画（以下顔画像）からテン
プレート（参照用テンプレート）を生成して登録する、
(2) その参照用テンプレートを追跡用テンプレートとし
て追跡する、(3) 追跡中に最大マッチング率がある一定
値を超えない範囲で低下した場合は、実際の目の画像に
よって追跡用テンプレートを更新する、(4) 目を見失っ
た場合は、最初に獲得した参照用テンプレートを用いて
その参照用テンプレートを獲得した位置近傍を探索す
る、この場合は許容するしきい値をやや低めに設定す
る。さらに、(5) 参照用テンプレート登録時、目を見失
った時などにおいて、複数ラインの画素比較、および瞬
きの有無により目の検出の正当性の確認を行う、(6) 正
常に追跡している間に瞬き検出を行う、というように構
成している。This embodiment shows an example in which the eye tracking function and the blink detection function used in an apparatus for detecting a dozing while capturing a face are realized by the following method of the present invention. . That is, (1) After detecting the eyes with the standard template at the start of tracking, a template (reference template) is generated and registered from the moving image (hereinafter, face image).
(2) Track the reference template as a tracking template. (3) If the maximum matching rate falls below a certain value during tracking, update the tracking template with the actual eye image. (4) If the user loses his or her eyes, a search is made in the vicinity of the position where the reference template is acquired using the reference template acquired first. In this case, the allowable threshold is set slightly lower. In addition, (5) when registering the reference template, when the eyes are lost, etc., compare the pixels of multiple lines and confirm the validity of the eye detection by the presence or absence of blinking, (6) Normal tracking Blink detection is performed in between.
【００１６】図２は、リアルタイム（ビデオレート）に
目を追跡し、且つ瞬きを検出する装置の構成例を示した
ものである。１は撮像部で、人の顔を撮像し、ビデオフ
レームごとに顔画像をメモリ２に格納する。２はメモリ
で、撮像部１で得られた顔画像が格納され、且つビデオ
レートで更新される。３は中央処理ユニットで、登録部
６，追跡部７，瞬き検出部８の各プログラムを実行す
る。FIG. 2 shows an example of the configuration of an apparatus that tracks eyes in real time (video rate) and detects blinks. Reference numeral 1 denotes an imaging unit which images a human face and stores a face image in the memory 2 for each video frame. Reference numeral 2 denotes a memory which stores a face image obtained by the imaging unit 1 and is updated at a video rate. Reference numeral 3 denotes a central processing unit which executes programs of the registration unit 6, the tracking unit 7, and the blink detection unit 8.
【００１７】４は標準テンプレートで、複数の人の目を
平均した目の画像から構成され、メモリに格納されたも
のである。５は参照用テンプレートで、標準テンプレー
トで初期時に目を発見した場合に、その目の画像によっ
て生成され、位置情報とともに登録されたものである。Reference numeral 4 denotes a standard template which is composed of an eye image obtained by averaging a plurality of eyes and stored in a memory. Reference numeral 5 denotes a reference template, which is generated by an image of an eye when an eye is found in the standard template at an initial stage, and registered together with position information.
【００１８】６は登録部で、メモリ２に格納される顔画
像中、標準テンプレートを移動させつつパターンマッチ
ングにより目を探索し、目を発見した場合は、複数ライ
ンの画素比較，瞬き検出によって目の検出を確認した
後、その目の画像を参照用テンプレートとして登録す
る。Reference numeral 6 denotes a registration unit which searches for an eye by pattern matching while moving the standard template in the face image stored in the memory 2 and, when the eye is found, compares the pixel with a plurality of lines and detects the eye by blink detection. After confirming the detection, the image of the eye is registered as a reference template.
【００１９】７は追跡部で、参照用テンプレートを用い
て顔画像中を比較的狭い範囲で追跡する。瞬きなどで、
最大マッチング率が低下した場合は、現在のその画像を
追跡用テンプレートとして追跡し、目を見失った場合
は、参照用テンプレートを使用して速やかに再発見を行
う処理をする。Reference numeral 7 denotes a tracking unit which tracks a face image in a relatively narrow range using a reference template. By blinking,
If the maximum matching rate decreases, the current image is tracked as a tracking template. If the user loses his / her eye, a process of promptly rediscovering using the reference template is performed.
【００２０】８は瞬き検出部で、後述するように、追跡
処理中に瞬き検出を行う。Reference numeral 8 denotes a blink detection unit which performs blink detection during tracking processing, as described later.
【００２１】以上の構成により、人の顔が撮像部１によ
り撮像され、メモリ２に格納されビデオレートで更新さ
れる動画像から以下に示す目の登録，追跡、および瞬き
検出が行われる。 〔参照用テンプレート登録処理〕図５参照 参照用テンプレートは、追跡対象の個人の初期顔画像か
ら生成したテンプレートで、初期追跡時、または目を見
失ったときに使用される。With the above arrangement, the registration, tracking, and blink detection of the following eyes are performed from a moving image stored in the memory 2 and updated at the video rate by capturing an image of a human face by the imaging unit 1. [Reference Template Registration Processing] See FIG. 5 The reference template is a template generated from the initial face image of the individual to be tracked, and is used at the time of initial tracking or when the eyes are lost.
【００２２】（参照用テンプレートの獲得）参照用テン
プレートは一般には両目について生成されるが、ここで
は左目についてのみ説明する。 (1) 登録部６は標準テンプレート４を読み込む。 (2) 左目を顔画像中広範囲に探索する。ここで広範囲と
は、フレーム全体、もしくはフレームの向かって右側半
分（顔画像がフレーム全体に撮像されているとして左目
のある側）である。探索は狭い範囲単位（例えば上下左
右８ビット幅）にテンプレートを移動させ、且つその狭
い範囲内を１ビットずつ移動させながらパターンマッチ
ングを行い、位置とマッチング率とを保存する。広範囲
の探索でマッチング率が求められたとき、最大のものを
選択する。(Acquisition of Reference Template) Reference templates are generally generated for both eyes, but only the left eye will be described here. (1) The registration unit 6 reads the standard template 4. (2) Search the left eye over a wide area in the face image. Here, the wide range is the entire frame or the right half of the frame (the side with the left eye assuming that the face image is captured in the entire frame). In the search, the template is moved in a narrow range unit (for example, 8-bit width, up / down / left / right), and pattern matching is performed while moving the bit by one bit in the narrow range, and the position and the matching ratio are stored. When the matching rate is found in a wide range search, the largest one is selected.
【００２３】この最大マッチング率が予め定めたしきい
値ａを超えている場合は、その位置に左目があると判断
し、その目の画像を暫定的な参照用テンプレートとす
る。If the maximum matching ratio exceeds a predetermined threshold value a, it is determined that the left eye is at that position, and the image of that eye is used as a temporary reference template.
【００２４】（目の確認のための追跡動作） (3) 続いて、この参照用テンプレートが顔画像中の実際
の目と一致するか否かを検証するため、参照用テンプレ
ートを用いて目を追跡する。この際、その参照用テンプ
レートを獲得した位置を中心とした狭い範囲内（例えば
上下左右８ビット幅）でパターンマッチングにより追跡
する。 (4) 追跡方法は、その狭い範囲内で最大マッチング率が
しきい値ｂを超えている場合に目と認識することにより
行う。超えている場合は、そのまま狭い範囲内での追跡
を繰り返し行い、その間に、後述する目の確認処理を行
う。 (5) しきい値ｃ以下のときは、その狭い範囲には目は存
在しないとして広い範囲にわたって探索する。この場
合、図５では、標準テンプレートを用いて再探索するよ
うにしているが、後述するように、目を見失ったとし
て、参照用テンプレートを用い、しきい値ｃより少し高
いしきい値（例えばしきい値ｃ×１．５）の下で、通常
の追跡範囲よりは少し広い範囲を探索して、再発見する
ようにしてもよい。 (6) 最大マッチング率がしきい値ｂ以下で、且つしきい
値ｃ以上の場合は、その位置の画像を追跡用テンプレー
トとして更新し、同じ狭い範囲内を追跡する。(Tracking operation for confirming eyes) (3) Subsequently, in order to verify whether or not the reference template matches the actual eyes in the face image, the eyes are checked using the reference template. Chase. At this time, tracking is performed by pattern matching within a narrow range (for example, a width of 8 bits in the vertical and horizontal directions) around the position where the reference template is acquired. (4) The tracking method is performed by recognizing the eyes when the maximum matching rate exceeds the threshold value b within the narrow range. If it exceeds, tracking within a narrow range is repeated as it is, and during that time, eye confirmation processing described later is performed. (5) When the value is equal to or smaller than the threshold value c, the eyes are not present in the narrow range, and the search is performed over a wide range. In this case, in FIG. 5, the search is performed again using the standard template. However, as described later, it is assumed that the user has lost his or her eyes, and the reference template is used and a threshold slightly higher than the threshold c (eg Under the threshold value (c * 1.5), a search may be made for a range slightly larger than the normal tracking range, and rediscovered. (6) If the maximum matching rate is equal to or less than the threshold value b and equal to or greater than the threshold value c, the image at that position is updated as a tracking template, and the image is tracked within the same narrow range.
【００２５】（目の確認）−眉（眼鏡フレームも含む）
との比較 (7) 前記追跡中において、最大マッチング率の位置の画
像で、目の位置を含む複数の縦ライン画素を抽出し、対
応する横画素同士を比較し、２つの黒画像の有無、黒画
像の幅、２つの黒画像の幅比較を行い、検出した目の候
補が目以外のもの（眉等）か否かを検証する。(Eye confirmation)-Eyebrows (including eyeglass frames)
(7) During the tracking, in the image at the position of the maximum matching rate, a plurality of vertical line pixels including the position of the eyes are extracted, and the corresponding horizontal pixels are compared with each other. The width of the black image is compared with the width of the two black images, and it is verified whether or not the detected eye candidate is other than the eye (such as an eyebrow).
【００２６】図３は、この検証方法を説明したもので、
図３(1) に示すように、目の黒部分の横の幅Ｌ1 は眉の
横の幅Ｌ0 より狭いから、検出した目の位置より上方に
幅の広い黒画像があれば、これを眉として認識する。こ
の場合は検出した目は正常と判定する。 (8) 一方、図３(2) に示すように、下方に幅の狭い黒画
像があれば、眉と見誤ったものとして、眉と目とのX,Y
方向の画素数差から位置を補正し、この位置近傍に追跡
範囲を移して追跡する。この場合、次のサイクルでステ
ップ(7) に戻り、再確認を行ってもよく、また、その位
置で最大マッチング率が得られたならば目と認識しても
よい。FIG. 3 illustrates this verification method.
As shown in FIG. 3 (1), the width L 1 of the horizontal black part of the eye is because less than the width L 0 of the lateral eyebrow, if there is a wide black image width above the position of the detected eyes, which Is recognized as an eyebrow. In this case, the detected eye is determined to be normal. (8) On the other hand, as shown in FIG. 3 (2), if there is a narrow black image below, it is assumed that the eyebrow is erroneously recognized as X, Y
The position is corrected based on the difference in the number of pixels in the direction, and the tracking range is moved near this position to perform tracking. In this case, the process may return to step (7) in the next cycle to perform reconfirmation, or may be recognized as an eye if the maximum matching rate is obtained at that position.
【００２７】（目の確認) −瞬き検出 (9) 瞬き検出処理を行う。図４は瞬き検出方法を示した
もので、眉の下端と目の上側の間の画素数と目の両端の
間の画素数との差を所定時間計算する。瞬きする場合
は、その差は段々大きくなり、その後に元の値に戻る。
この変化が所定回数繰り返されたとき、瞬きと判定す
る。 (10)所定時間経過後も所定回数の瞬きが無いときは、目
ではないと判定し、目の再探索を行う。この場合も、ス
テップ(1) に戻る。 （登録処理） (11) 以上のごとく、目であることを確認した後に、先
に暫定的な参照用テンプレートとして追跡したテンプレ
ートを正式に参照用テンプレート５としてメモリに格納
し登録する。 〔追跡処理〕追跡処理は、前述した登録処理で暫定的な
参照用テンプレートで追跡した処理と基本的に同じであ
る。但し、目を見失った場合に、参照用テンプレート５
を使用してやや広範囲にわたって探索し、再発見を速め
ている手法が追加されている。前述したように、登録処
理での追跡にもこの再発見の手法が使用できる。(Eye confirmation)-Blink detection (9) Perform blink detection processing. FIG. 4 shows a blink detection method, in which a difference between the number of pixels between the lower end of the eyebrow and the upper side of the eye and the number of pixels between both ends of the eye is calculated for a predetermined time. When blinking, the difference gradually increases, and then returns to the original value.
When this change is repeated a predetermined number of times, it is determined to be a blink. (10) If there is no predetermined number of blinks even after the predetermined time has elapsed, it is determined that the eye is not the eye, and the eye is searched again. In this case, the process returns to step (1). (Registration processing) (11) As described above, after confirming that the eye is the eye, the template tracked as the temporary reference template is formally stored in the memory as the reference template 5 and registered. [Tracking Processing] The tracking processing is basically the same as the processing performed by the provisional reference template in the above-described registration processing. However, if you lose your eyes, the reference template 5
A technique has been added to search a little more extensively using to speed up rediscovery. As described above, this re-discovery method can be used for tracking in the registration process.
【００２８】図６によれば、 (1) 追跡用テンプレート（最初は参照用テンプレート
５）を取得し、左目を狭い範囲で探索する。 (2) 最大マッチング率が予め設定したしきい値ｂより大
きい場合、そのまま繰り返しその狭い範囲内を追跡す
る。 (3) この間、その最大マッチング率の位置で、前述した
縦ラインによる画素比較および瞬き検出を行う。 (4) 最大マッチング率がしきい値ｂからしきい値ｃの間
に低下したとき、 (5) その画像を追跡用テンプレート９として更新し追跡
する。 (6) 最大マッチング率がしきい値ｃ以下になったとき、
探索位置を参照用テンプレート５の取得位置に設定、参
照用テンプレートを追跡用テンプレートに設定して、や
や広い範囲（上下左右８ビットの狭い範囲の区画をさら
に複数区画分）で左目を探索する。 (7) 最大マッチング率が、しきい値ｄ（例えばしきい値
ｃ×１．５）以上か否かを検証し、しきい値ｃ×１．５
以上の場合は、目と認識して、前述した縦ラインによる
画素比較により、目を確認する。確認できた場合は、そ
の位置の画像を追跡用テンプレート９として更新し、追
跡を継続する。According to FIG. 6, (1) A tracking template (reference template 5 is obtained at first) is obtained, and the left eye is searched in a narrow range. (2) When the maximum matching rate is larger than the preset threshold value b, the tracking is repeatedly performed within the narrow range as it is. (3) During this time, at the position of the maximum matching rate, pixel comparison and blink detection are performed using the vertical lines described above. (4) When the maximum matching rate falls between the threshold value b and the threshold value c, (5) The image is updated and tracked as the tracking template 9. (6) When the maximum matching rate falls below the threshold c,
The search position is set to the acquisition position of the reference template 5, the reference template is set to the tracking template, and the left eye is searched for in a slightly wider range (a narrow range of 8 bits in the upper, lower, left and right, and a plurality of partitions). (7) Verify whether the maximum matching rate is equal to or greater than a threshold value d (for example, threshold value c × 1.5), and
In the above case, the eyes are recognized by recognizing the eyes and comparing the pixels with the vertical lines described above. If confirmed, the image at that position is updated as the tracking template 9 and tracking is continued.
【００２９】そして、目と見誤っていたと判断した場合
は、位置補正を行い、追跡用テンプレート９を更新して
追跡を継続する。If it is determined that the eye is wrong, the position is corrected, the tracking template 9 is updated, and the tracking is continued.
【００３０】なお、瞬き検出は、図６のステップ(3) で
行うようにしているが、このステップの後に瞬き検出を
行って目の確認を行ってもよい。Although the blink detection is performed in step (3) in FIG. 6, the blink detection may be performed after this step to confirm the eyes.
【００３１】〔瞬き検出動作〕前述の登録処理で瞬き検
出方法を示したが、さらに詳細に説明する。[Blink Detection Operation] The blink detection method has been described in the above-described registration process, but will be described in more detail.
【００３２】図４(1) は、通常の人の目の画像を表した
もの、図４(2) は細い目の人の画像を表したものであ
る。この図によれば、通常の人の目の場合は、瞬きをし
た場合（目を閉じたとき）に目の上下両端の画素数は、
３０画素数から１９画素数に変化しているのに対して、
目が細い人の場合は、瞬きで目を閉じた場合も、開いて
いる場合も、どちらも１５画素であり、瞬きは識別はで
きない。しかるに、（眉の下端から目の上端）−（目の
上下端間）に着目すると、目が開いている場合は１００
画素数、目を閉じている場合は、１１０画素であり、瞬
きが識別可能となっている。これは、瞬きしても目の上
下幅は変化しないが、瞼が下がって眉の下端と目の上端
が広がることを示したものであり、この現象は一般的に
いって合理的なものと考えられる。FIG. 4A shows an image of a normal human eye, and FIG. 4B shows an image of a thin human eye. According to this figure, in the case of a normal human eye, when blinking (when the eyes are closed), the number of pixels at the upper and lower ends of the eye is:
While the number of pixels has changed from 30 pixels to 19 pixels,
In the case of a person with fine eyes, both the case where the eyes are closed and the case where the eyes are opened by blinking are 15 pixels, and the blink cannot be identified. However, focusing on (between the lower end of the eyebrows and the upper end of the eye)-(between the upper and lower ends of the eye), if the eyes are open, 100
When the number of pixels and eyes are closed, there are 110 pixels, and blinking can be identified. This indicates that the vertical width of the eyes does not change even when blinking, but that the eyelids lower and the lower end of the eyebrows and the upper end of the eyes widen, and this phenomenon is generally reasonable. Conceivable.
【００３３】これらの画素数を演算するため、 (1) 目の確認における複数の縦ライン抽出と同様に、目
と眉を含む領域の画像より、複数の縦ライン画像を抽出
する。そして、前述した眉との間で目の確認処理をした
後、 (2) ｘ＝（眉の下端から目の上端） ｙ＝（目の上下端間） Ａ＝ｘ−ｙ を求め、時刻とともに記録する。 (3) 図４(3) は、前記差の変化を示したもので、ピーク
が得られたとき瞬きと判別する。なお、瞬き無しは、所
定時間変化がないときで、目を誤認したか、または居眠
りによりピーク値を保持している場合と判断する。In order to calculate these pixel numbers, (1) a plurality of vertical line images are extracted from the image of the region including the eyes and eyebrows, similarly to the extraction of a plurality of vertical lines in the confirmation of the eyes. Then, after performing the eye confirmation processing with the above-mentioned eyebrows, (2) x = (from the lower end of the eyebrow to the upper end of the eye) y = (between the upper and lower ends of the eye) A = x−y Record. (3) FIG. 4 (3) shows the change in the difference, and when a peak is obtained, it is determined that a blink has occurred. The absence of blinking means that there is no change for a predetermined period of time, and it is determined that the eyes have been recognized incorrectly or that the peak value has been held due to dozing.
【００３４】以上のごとく、（眉と目の上端との間の距
離）−（目の上下端間）を演算して時間監視することに
より、目の細い人でも瞬きを容易に検出することができ
る。As described above, by calculating (distance between the eyebrows and the upper end of the eye)-(between the upper and lower ends of the eye) and monitoring the time, even a person with fine eyes can easily detect blinking. it can.
【００３５】以上のごとく、本発明は、目の追跡を可能
な限り狭い範囲で行うようにし、また瞬き検出を目の細
い場合でも可能としたので、迅速に且つ確実に目を追跡
し、且つ瞬きを検出することが可能となった。As described above, according to the present invention, eye tracking is performed in the narrowest possible range, and blink detection is possible even in the case of fine eyes. Blinks can be detected.
【００３６】[0036]
【発明の効果】以上説明したように、本発明は、初期時
に標準用テンプレートで目を検出した後は、その人の画
像から個人用のテンプレートを生成して追跡するように
したので、マッチング率が高まって狭い範囲の探索によ
りリアルタイム（ビデオレート）に追跡でき、また、目
を見失った場合もそのテンプレートを用いるので再発見
が短時間でできる効果がある。このため、容易に運転者
の居眠り検出，首振り検出などが可能となる。また、瞬
き検出においても、目の細い人の瞬き検出を容易とした
ので、目の形によっては瞬きが検出できないといった不
都合がなくなるという効果を奏する。以上により、警告
装置との組み合わせにより、運転者に注意を促す装置を
製作することが可能となる。As described above, according to the present invention, after the eyes are detected by the standard template at the initial stage, the personal template is generated from the image of the person and the personal template is tracked. As a result, it is possible to track in real time (video rate) by searching a narrow range, and when a person loses his or her eyes, the template is used, so that rediscovery can be performed in a short time. For this reason, it is possible to easily detect the driver's falling asleep and the swing of the driver. Also, in the blink detection, since the blink detection of a person with fine eyes is facilitated, there is an effect that the inconvenience that blink cannot be detected depending on the shape of eyes is eliminated. As described above, in combination with the warning device, it is possible to manufacture a device that calls attention to the driver.
【図１】 本発明の原理図FIG. 1 is a principle diagram of the present invention.
【図２】 一実施例の構成図FIG. 2 is a configuration diagram of an embodiment.
【図３】 目の位置補正方法を表す図FIG. 3 is a diagram showing an eye position correction method.
【図４】 瞬き検出方法を表す図FIG. 4 is a diagram showing a blink detection method.
【図５】 テンプレート登録処理フローチャート図FIG. 5 is a flowchart of a template registration process.
【図６】 追跡処理フローチャート図FIG. 6 is a flowchart of a tracking process.
【図７】 瞬き検出動作フローチャート図FIG. 7 is a flowchart of a blink detection operation.
１ 撮像部 ２ メモリ ３ 中央処理ユニットＣＰＵ ４ 標準テンプ
レート ５ 参照用テンプレート ６ 登録部 ７ 追跡部 ８ 瞬き検出部 ９ 追跡用テンプレートReference Signs List 1 imaging unit 2 memory 3 central processing unit CPU 4 standard template 5 reference template 6 registration unit 7 tracking unit 8 blink detection unit 9 tracking template
Claims (6)
装置であって、 画像中、標準テンプレートを移動しつつパターンマッチ
ングにより目を探索し、最大マッチング率が予め設定し
た値を超えた位置の画像を参照用テンプレートとして登
録する登録手段と、 該参照用テンプレートを追跡用テンプレートとしてパタ
ーンマッチングにより目を追跡する追跡手段と、を有す
ることを特徴とする目の追跡装置。1. An eye tracking apparatus for detecting and tracking eyes from a moving image, wherein an eye is searched by pattern matching while moving a standard template in an image, and a position where a maximum matching rate exceeds a preset value. An eye tracking apparatus, comprising: a registration unit that registers the image of (1) as a reference template; and a tracking unit that tracks an eye by pattern matching using the reference template as a tracking template.
の値以上の場合に目と認識して追跡しているとき、最大
マッチング率が第１の値と第２の値との間に低下した場
合は、該最大マッチング率に対応する画像を該動画から
取り出し追跡用テンプレートとして追跡する追跡手段で
あることを特徴とする請求項１記載の目の追跡装置。2. The method according to claim 1, wherein the maximum matching ratio is set to a first predetermined value.
When the maximum matching rate falls between the first value and the second value when the eye is recognized and tracked when the value is equal to or more than the value of the image, the image corresponding to the maximum matching rate is displayed in the moving image. 2. The eye tracking device according to claim 1, wherein the tracking device is a tracking unit that takes out the image from the object and tracks the template.
像から目および眉や眼鏡フレーム等を認識し、該画像と
の比較により検出した目の正当性を判断し、検出した目
の候補が目以外のものと判断した場合は、該画像中の眉
と目との間隔に応じた位置補正を行い登録する登録手段
であることを特徴とする請求項１記載の目の追跡装置。3. Recognizing eyes, eyebrows, eyeglass frames, and the like from an image of a predetermined area including the detected eye candidate, determining the validity of the detected eye by comparing with the image, and determining the detected eye candidate. 2. The eye tracking device according to claim 1, wherein the registration unit is a registration unit that performs position correction according to an interval between an eyebrow and an eye in the image and registers the image when it is determined to be other than an eye.
を検証し、瞬きが検出された場合に前記目の検出を正当
として登録する登録手段であることを特徴とする請求項
１または請求項３記載の目の追跡装置。4. A registration means for tracing a detected eye to verify the presence or absence of a blink of an eye, and registering the detection of the eye as valid when a blink is detected. An eye tracking device according to claim 3.
テンプレートを獲得した位置に該参照用テンプレートを
設定し、該位置を中心に探索して目を再発見する追跡手
段であることを特徴とする請求項１記載の目の追跡装
置。5. If the user loses his / her eyes during tracking, the reference template is set at the position where the reference template is acquired, and the tracking means searches around the position to rediscover the eyes. The eye tracking device according to claim 1, wherein
瞬き検出装置であって、 追跡して得られた目の位置を含む所定領域の画像を抽出
して目と眉とを認識し、眉から目の上端までの距離と目
の上端から下端までの距離との差の変化を所定時間監視
して瞬きを検出するように構成したことを特徴とする瞬
き検出装置。6. A blink detection apparatus for tracking an eye in a moving image to detect a blink, extracting an image of a predetermined area including the position of the eye obtained by tracking and recognizing the eye and eyebrows. A blink detection device configured to monitor a change in a difference between a distance from an eyebrow to an upper end of an eye and a distance from an upper end to a lower end of the eye for a predetermined time to detect a blink.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10341537A JP2000163564A (en) | 1998-12-01 | 1998-12-01 | Eye tracking device and wink detector |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10341537A JP2000163564A (en) | 1998-12-01 | 1998-12-01 | Eye tracking device and wink detector |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000163564A true JP2000163564A (en) | 2000-06-16 |
Family
ID=18346845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10341537A Withdrawn JP2000163564A (en) | 1998-12-01 | 1998-12-01 | Eye tracking device and wink detector |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000163564A (en) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002119480A (en) * | 2000-10-18 | 2002-04-23 | Nikon Corp | Ophthalmologic instrument |
| JP2004151771A (en) * | 2002-10-28 | 2004-05-27 | Earth Beat Inc | Method of recognizing object in image |
| JP2005078311A (en) * | 2003-08-29 | 2005-03-24 | Fujitsu Ltd | Device for tracing face site, device for deciding status of eyes and computer program |
| JP2006507054A (en) * | 2002-11-21 | 2006-03-02 | トビイ・テクノロジー・エイビイ | Method and apparatus for detecting and tracking the eye and its gaze direction |
| JP2006172209A (en) * | 2004-12-16 | 2006-06-29 | Advanced Telecommunication Research Institute International | Apparatus for sight line direction estimation, method for sight line direction estimation, and program for executing the method for sight line direction estimation on computer |
| US7209574B2 (en) | 2003-01-31 | 2007-04-24 | Fujitsu Limited | Eye tracking apparatus, eye tracking method, eye state judging apparatus, eye state judging method and computer memory product |
| JP2008220424A (en) * | 2007-03-08 | 2008-09-25 | Denso Corp | Sleepiness judgement device, program and sleepiness judgement method |
| KR100947990B1 (en) * | 2008-05-15 | 2010-03-18 | 성균관대학교산학협력단 | Gaze Tracking Apparatus and Method using Difference Image Entropy |
| JP2011056069A (en) * | 2009-09-10 | 2011-03-24 | Canon Inc | Evaluation method of template images and in vivo motion detecting apparatus |
| US8045765B2 (en) | 2005-02-17 | 2011-10-25 | Fujitsu Limited | Image processing method, image processing system, image processing device, and computer program product |
| US8077916B2 (en) | 2005-02-18 | 2011-12-13 | Fujitsu Limited | Image processing system that detects an object by comparison of a difference between luminance of an illuminated and non-illuminated image |
| US8300101B2 (en) | 2005-02-17 | 2012-10-30 | Fujitsu Limited | Image processing method, image processing system, image pickup device, image processing device and computer program for manipulating a plurality of images |
| KR101198445B1 (en) | 2011-08-26 | 2012-11-06 | (주) 나인원 | An Apparatus for analyzing image of interview and a method thereof |
| JP2014067320A (en) * | 2012-09-27 | 2014-04-17 | Hitachi Automotive Systems Ltd | Stereo camera device |
| CN112558302A (en) * | 2020-12-08 | 2021-03-26 | 恒玄科技(上海)股份有限公司 | Intelligent glasses for determining glasses posture and signal processing method thereof |
-
1998
- 1998-12-01 JP JP10341537A patent/JP2000163564A/en not_active Withdrawn
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4633242B2 (en) * | 2000-10-18 | 2011-02-16 | 株式会社ニコン | Ophthalmic equipment |
| JP2002119480A (en) * | 2000-10-18 | 2002-04-23 | Nikon Corp | Ophthalmologic instrument |
| JP2004151771A (en) * | 2002-10-28 | 2004-05-27 | Earth Beat Inc | Method of recognizing object in image |
| JP2006507054A (en) * | 2002-11-21 | 2006-03-02 | トビイ・テクノロジー・エイビイ | Method and apparatus for detecting and tracking the eye and its gaze direction |
| JP4783018B2 (en) * | 2002-11-21 | 2011-09-28 | トビイ・テクノロジー・エイビイ | Method and apparatus for detecting and tracking the eye and its gaze direction |
| US7209574B2 (en) | 2003-01-31 | 2007-04-24 | Fujitsu Limited | Eye tracking apparatus, eye tracking method, eye state judging apparatus, eye state judging method and computer memory product |
| JP2005078311A (en) * | 2003-08-29 | 2005-03-24 | Fujitsu Ltd | Device for tracing face site, device for deciding status of eyes and computer program |
| JP2006172209A (en) * | 2004-12-16 | 2006-06-29 | Advanced Telecommunication Research Institute International | Apparatus for sight line direction estimation, method for sight line direction estimation, and program for executing the method for sight line direction estimation on computer |
| JP4687097B2 (en) * | 2004-12-16 | 2011-05-25 | 株式会社国際電気通信基礎技術研究所 | Gaze direction estimation apparatus, gaze direction estimation method, and program for causing computer to execute gaze direction estimation method |
| US8045765B2 (en) | 2005-02-17 | 2011-10-25 | Fujitsu Limited | Image processing method, image processing system, image processing device, and computer program product |
| US8300101B2 (en) | 2005-02-17 | 2012-10-30 | Fujitsu Limited | Image processing method, image processing system, image pickup device, image processing device and computer program for manipulating a plurality of images |
| US8077916B2 (en) | 2005-02-18 | 2011-12-13 | Fujitsu Limited | Image processing system that detects an object by comparison of a difference between luminance of an illuminated and non-illuminated image |
| JP2008220424A (en) * | 2007-03-08 | 2008-09-25 | Denso Corp | Sleepiness judgement device, program and sleepiness judgement method |
| KR100947990B1 (en) * | 2008-05-15 | 2010-03-18 | 성균관대학교산학협력단 | Gaze Tracking Apparatus and Method using Difference Image Entropy |
| JP2011056069A (en) * | 2009-09-10 | 2011-03-24 | Canon Inc | Evaluation method of template images and in vivo motion detecting apparatus |
| KR101198445B1 (en) | 2011-08-26 | 2012-11-06 | (주) 나인원 | An Apparatus for analyzing image of interview and a method thereof |
| JP2014067320A (en) * | 2012-09-27 | 2014-04-17 | Hitachi Automotive Systems Ltd | Stereo camera device |
| CN112558302A (en) * | 2020-12-08 | 2021-03-26 | 恒玄科技(上海)股份有限公司 | Intelligent glasses for determining glasses posture and signal processing method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2000163564A (en) | Eye tracking device and wink detector | |
| JP4811259B2 (en) | Gaze direction estimation apparatus and gaze direction estimation method | |
| US7331671B2 (en) | Eye tracking method based on correlation and detected eye movement | |
| US9031327B2 (en) | Information processing device, method, and program that recognizes a predetermined part of a body | |
| KR101291899B1 (en) | Procedure for identifying a person by eyelash analysis and acquisition device using thereof | |
| JP4830650B2 (en) | Tracking device | |
| WO2020253062A1 (en) | Method and apparatus for detecting image border | |
| JP2000235648A (en) | Extracting device for eye and blink detecting device | |
| JP2001043382A (en) | Eye tracking device | |
| JPH0944685A (en) | Face image processor | |
| JP2006236255A (en) | Person-tracking device and person-tracking system | |
| CN107239744B (en) | Method and system for monitoring human body incidence relation and storage device | |
| CN111178280A (en) | Human body sitting posture identification method, device, equipment and storage medium | |
| JP2006114018A (en) | Security system | |
| JP2016009453A (en) | Face authentication device and face authentication method | |
| KR101821144B1 (en) | Access Control System using Depth Information based Face Recognition | |
| CN110191234B (en) | Intelligent terminal unlocking method based on fixation point analysis | |
| JP2014219703A (en) | Face authentication system | |
| US10997396B2 (en) | Face liveness detection systems and methods | |
| JP2000137792A (en) | Eye part detecting device | |
| JP3063504B2 (en) | Image data feature detection device | |
| JP2003150942A (en) | Eye position tracing method | |
| JP4992823B2 (en) | Face detection apparatus and face detection method | |
| CN109785396A (en) | Writing posture monitoring method based on binocular camera, system, device | |
| CN110148092A (en) | The analysis method of teenager's sitting posture based on machine vision and emotional state |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060207 |