JP2000067225A - Eye position detector - Google Patents

Eye position detector

Info

Publication number
JP2000067225A
JP2000067225A JP10239346A JP23934698A JP2000067225A JP 2000067225 A JP2000067225 A JP 2000067225A JP 10239346 A JP10239346 A JP 10239346A JP 23934698 A JP23934698 A JP 23934698A JP 2000067225 A JP2000067225 A JP 2000067225A
Authority
JP
Japan
Prior art keywords
data
nostril
eye position
predetermined area
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10239346A
Other languages
Japanese (ja)
Inventor
Masayuki Kaneda
雅之 金田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP10239346A priority Critical patent/JP2000067225A/en
Publication of JP2000067225A publication Critical patent/JP2000067225A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide an eye position detector with which the positions of eyes can be accurately detected or chased even in the case of a driver who wears eyeglasses. SOLUTION: An input image photographed by a camera 21 as an image input means CL1 is stored through an A/D converter 22 into an image memory 23. An image data arithmetic circuit 24 composed of a density detecting means CL2 for a pixel stream, point extracting means CL3, extracting means CL4 for a curve group, detecting means CL5 for the curve group at the top end, setting means CL6 for a prescribed area 2, lateral symmetric state discriminating means CL7 for curve group, setting means CL8 for a prescribed area 3, reducing means CL9 for a prescribed area 1 and presence/absence discriminating means CL10 for nostril data and an eye position detecting circuit 25 composed of an eye position specifying means CL11 with the nostril data as a reference and an eye position specifying means CL12 with the laterally symmetric curve group as a reference are connected to the image memory 23.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は眼位置検出装置、よ
り具体的には、ミラー、シートを自動制御するためや、
ドライバの眼の開閉状態から居眠り運転状態を検出する
ために必要な眼の位置の特定に用いることができる眼位
置検出装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an eye position detecting device, more specifically, to automatically control a mirror and a sheet.
The present invention relates to an eye position detection device that can be used to identify the position of an eye required to detect a dozing driving state from an open / closed state of a driver's eyes.

【0002】[0002]

【従来の技術】従来の運転者等の眼位置検出装置として
は、例えば特願平8−101904号公報に開示されて
いるようなものがあった。この眼位置検出装置は、顔の
縦方向の画素列に沿って画素の濃度を検出し、前記画素
列における濃度の局所的な高まりごとに1個づつの画素
を定めて抽出点とし、隣接する画素列の画素列方向に近
接した抽出点を連結して顔の横方向に伸びる曲線群から
眼の位置を検出する構成となっているものである。
2. Description of the Related Art A conventional eye position detecting device for a driver or the like has been disclosed in, for example, Japanese Patent Application No. 8-101904. This eye position detection device detects the density of pixels along a pixel row in the vertical direction of the face, determines one pixel for each local increase in density in the pixel row, sets the pixel as an extraction point, and sets the pixel as an extraction point. The configuration is such that the extraction points adjacent to each other in the pixel column direction of the pixel column are connected to detect the position of the eye from a group of curves extending in the horizontal direction of the face.

【0003】[0003]

【発明が解決しようとする課題】しかしながら、このよ
うな従来の眼位置検出装置にあっては、眼鏡を着用して
いる運転者の場合、眼鏡のレンズ部に写り込みが発生す
ることがあり、このときに眼の位置検出を行うと正しく
眼が捉えられないという問題点があった。また、眼が正
しく捉えられた後、眼のデータを追跡しながら開閉眼な
どの判定を行うとき、写り込みが発生すると眼のデータ
が消失してしまうため、開閉眼検出が連続的に行えない
という問題点もあった。
However, in such a conventional eye position detecting device, in the case of a driver wearing spectacles, reflection may occur on the lens portion of the spectacles, At this time, if the position of the eyes is detected, there is a problem that the eyes cannot be correctly captured. In addition, when the eye is correctly caught, and the eye data is tracked and the judgment of the open / closed eye is performed, if the reflection occurs, the eye data is lost, so that the open / closed eye detection cannot be continuously performed. There was also a problem.

【0004】本発明は、このような従来の問題点に着目
してなされたもので、眼鏡を着用している運転者におい
ても眼の位置の検出精度が保てる装置を提供することを
目的とする。
The present invention has been made in view of such conventional problems, and an object of the present invention is to provide an apparatus which can maintain the eye position detection accuracy even for a driver wearing eyeglasses. .

【0005】[0005]

【課題を解決するための手段】本発明は上述の課題を解
決するために、図1に示すように、顔画像を入力する画
像入力手段CL1と、画像入力手段CL1から入力され
た顔画像において縦方向の画素列の濃度を検出する画素
列の濃度検出手段CL2と、前記画素列における濃度の
高まりとその変化状態によりポイントを抽出するポイン
ト抽出手段CL3と、隣接する画素列の画素列方向に近
接したポイントを連結して顔の横方向への曲線群を抽出
する曲線群の抽出手段CL4と、所定領域1(画像全体
がカバーできる領域、図6参照)内において最上端に出
現する曲線群を検出する最上端の曲線群検出手段CL5
と、前記最上端の曲線群を基準として所定領域2(左右
対称状態より該当する連続データが眉か眼、または眼鏡
のフレームであるか否かを判定するために設定する領
域、図10参照)を設定する所定領域2の設定手段CL
6と、前記所定領域2内に出現する曲線群の左右対称状
態を判定する曲線群の左右対称状態判定手段CL7と、
前記所定領域2内に左右対称の曲線群が検出できた場合
に該曲線群位置を基準とした所定領域3(鼻の穴データ
が存在するか否かを判定するために設定する領域、図1
3参照)を設定する所定領域3の設定手段CL8と、前
記所定領域2内に左右対称の曲線群が検出できなかった
場合に前記最上端の曲線群を基準として所定領域1の縮
小を行う所定領域1の縮小手段CL9と、前記所定領域
3内に出現する鼻の穴データの有無を判定する鼻の穴デ
ータの有無判定手段CL10と、前記所定領域3内に鼻
の穴データが検出できた場合に該鼻の穴位置を基準とし
て眼の位置を特定する眼の位置特定手段CL11と、前
記所定領域3内に鼻の穴データが検出できない場合に前
記左右対称の曲線群を基準として眼の位置を特定する眼
の位置特定手段CL12とを備えるものとする。
According to the present invention, in order to solve the above-mentioned problems, as shown in FIG. 1, an image input means CL1 for inputting a face image and a face image input from the image input means CL1 are used. Density detection means CL2 for a pixel row for detecting the density of a pixel row in the vertical direction, point extraction means CL3 for extracting a point based on a rise in the density of the pixel row and its change state, and a pixel row direction of an adjacent pixel row. A curve group extraction means CL4 for connecting adjacent points to extract a curve group in the horizontal direction of the face, and a curve group appearing at the uppermost end in a predetermined area 1 (an area which can cover the entire image, see FIG. 6) Curve group detecting means CL5 at the uppermost end for detecting
And a predetermined area 2 based on the uppermost curve group (an area set to determine whether or not the corresponding continuous data is a frame of eyebrows, eyes, or glasses based on a symmetric state, see FIG. 10) Setting means CL for the predetermined area 2 for setting
6; a left-right symmetric state determination unit CL7 for determining a left-right symmetric state of the curve group appearing in the predetermined area 2;
When a symmetrical curve group is detected in the predetermined area 2, a predetermined area 3 based on the position of the curve group (an area set for determining whether there is nostril data, FIG.
3) setting means CL8 for setting a predetermined area 3; and a predetermined means for reducing the predetermined area 1 based on the uppermost curve group when a symmetric curve group cannot be detected in the predetermined area 2. The reduction means CL9 of the area 1, the presence / absence determination means CL10 of the nostril data which determines presence / absence of the nostril data appearing in the predetermined area 3, and the nostril data could be detected in the predetermined area 3 In the case, the eye position specifying means CL11 for specifying the position of the eye based on the position of the nostril hole, and the eye position based on the symmetric curve group when no nostril data is detected in the predetermined area 3. Eye position specifying means CL12 for specifying the position is provided.

【0006】本発明の作用を説明する。本発明によれ
ば、所定領域2内において眉または眼の候補データを特
定し、その候補データを基準として鼻の穴データの有無
を確認することで検出対象物が眼であることの確からし
さをアップすることができ、眼鏡を着用している運転者
においても眼の位置検出精度が保てる装置を提供するこ
とが可能になる。
The operation of the present invention will be described. According to the present invention, the eyebrow or eye candidate data is specified in the predetermined area 2 and the presence or absence of nostril data is confirmed based on the candidate data, thereby confirming that the detection target is the eye. Thus, it is possible to provide a device that can maintain the eye position detection accuracy even for a driver wearing eyeglasses.

【0007】[0007]

【発明の実施の形態】以下、本発明による眼位置検出装
置の実施の形態を添付図面を参照して詳細に説明する。
図2は、本発明による眼位置検出装置の一実施の形態を
示す図である。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of an eye position detecting device according to the present invention will be described below in detail with reference to the accompanying drawings.
FIG. 2 is a diagram showing an embodiment of the eye position detecting device according to the present invention.

【0008】まず、構成を説明する。インスト設置さ
れ、運転者の顔部分を正面から撮影する画像入力手段C
L1としてのカメラ21があり、カメラ21の入力画像
は、本実施の形態では、図6に示すように、横(X)方
向512画素、縦(Y)方向480画素からなる。カメ
ラ21で撮影された入力画像は、A−D変換器22を介
して、デジタル量の入力画像データとして画像メモリ2
3に格納される。画像メモリ23には、画像メモリに格
納された入力画像データに基づいて顔の縦方向の画素列
の濃度を検出する画素列の濃度検出手段CL2と、前記
画素列における濃度の高まりとその変化状態によりポイ
ントを抽出するポイント抽出手段CL3と、隣接する画
素列の画素列方向に近接したポイントを連結して顔の横
方向への曲線群を抽出する曲線群の抽出手段CL4と、
所定領域1(画像全体がカバーできる領域、図6参照)
内において最上端に出現する曲線群を検出する最上端の
曲線群検出手段CL5と、前記最上端の曲線群を基準と
して所定領域2(左右対称状態より該当する連続データ
が眉か眼、または眼鏡のフレームであるか否かを判定す
るために設定する領域、図10参照)を設定する所定領
域2の設定手段CL6と、前記所定領域2内に出現する
曲線群の左右対称状態を判定する曲線群の左右対称状態
判定手段CL7と、前記所定領域2内に左右対称の曲線
群が検出できた場合に該曲線群位置を基準とした所定領
域3(鼻の穴データが存在するか否かを判定するために
設定する領域、図13参照)を設定する所定領域3の設
定手段CL8と、前記所定領域2内に左右対称の曲線群
が検出できなかった場合に前記最上端の曲線群を基準と
して所定領域1の縮小を行う所定領域1の縮小手段CL
9と、前記所定領域3内に出現する鼻の穴データの有無
を判定する鼻の穴データの有無判定手段CL10、とか
らなる画像データ演算回路24と、前記所定領域3内に
鼻の穴データが検出できた場合に該鼻の穴位置を基準と
して眼の位置を特定する眼の位置特定手段CL11と、
前記所定領域3内に鼻の穴データが検出できない場合に
前記左右対称の曲線群を基準として眼の位置を特定する
眼の位置特定手段CL12、とからなる眼の位置検出回
路25が接続されている。
First, the configuration will be described. Image input means C installed to install the instrument and photograph the driver's face from the front
There is a camera 21 as L1. In this embodiment, an input image of the camera 21 is composed of 512 pixels in the horizontal (X) direction and 480 pixels in the vertical (Y) direction, as shown in FIG. An input image captured by the camera 21 is converted into a digital amount of input image data via an AD converter 22 in an image memory 2.
3 is stored. The image memory 23 includes a pixel line density detecting unit CL2 for detecting the density of a vertical pixel line of the face based on the input image data stored in the image memory, and a density increase in the pixel line and a change state thereof. A point extraction unit CL3 for extracting points by the following equation; a curve group extraction unit CL4 for connecting points adjacent to each other in the pixel column direction of an adjacent pixel column to extract a curve group in the horizontal direction of the face;
Predetermined area 1 (area that can cover the entire image, see FIG. 6)
In the uppermost curve group detecting means CL5 for detecting a curve group appearing at the uppermost end in a predetermined area 2 (continuous data corresponding to eyebrows or eyes, or eyeglasses from a left-right symmetric state) based on the uppermost curve group The setting means CL6 of a predetermined area 2 for setting an area to be set for determining whether or not the frame is a frame, and a curve for determining a left-right symmetry state of a curve group appearing in the predetermined area 2 The left-right symmetry determination unit CL7 determines whether a predetermined symmetric curve group is detected in the predetermined area 2 and a predetermined area 3 based on the curve group position (e.g., whether there is nostril data). The setting means CL8 of a predetermined area 3 for setting an area to be set for determination, see FIG. 13) and the uppermost curve group when no symmetrical curve group is detected in the predetermined area 2 As the predetermined area 1 Reduction means CL of a predetermined area 1 for small
9, an image data calculation circuit 24 comprising: a nostril hole data presence / absence determining means CL10 for determining the presence / absence of nostril hole data appearing in the predetermined area 3; Eye position specifying means CL11 for specifying the position of the eye with reference to the position of the nostril when the can be detected,
An eye position detecting circuit 25 comprising eye position specifying means CL12 for specifying an eye position based on the symmetrical curve group when nostril data cannot be detected in the predetermined area 3 is connected. I have.

【0009】次に、上記構成における動作の流れを、図
3〜図5,図15,図18のフローチャートと、図6〜
図14,図16,図17,図19〜図24の説明図を用
いて説明する。
Next, the flow of the operation in the above configuration will be described with reference to the flow charts of FIGS. 3 to 5, 15 and 18, and FIGS.
This will be described with reference to the explanatory diagrams of FIGS. 14, 16, 17, and 19 to 24.

【0010】まず、図3のステップS101において、
所定領域1の設定を行う。この所定領域1は、図6に示
すように、画像全体がカバーできる領域としている。こ
れは、体格の違い等により眼の位置が変化しても許容す
るためである。
First, in step S101 of FIG.
The predetermined area 1 is set. As shown in FIG. 6, the predetermined area 1 is an area where the entire image can be covered. This is to allow a change in the eye position due to a difference in physique or the like.

【0011】ステップS102では、所定領域1内の画
素データを読み出し、ステップS103で、曲線群とな
る眼の候補データ(これ以降のステップでは、曲線群の
ことを連続データと呼ぶ)を抽出する。ステップS10
2,S103での処理内容を、図5のフローチャートと
図6〜図9の説明図を用いて説明する。
In step S102, pixel data in the predetermined area 1 is read, and in step S103, candidate eye data to be a curve group (in the following steps, the curve group is referred to as continuous data). Step S10
2, the processing in S103 will be described with reference to the flowchart of FIG. 5 and the explanatory diagrams of FIGS.

【0012】まず、図5のステップS201において、
カメラによって運転者の顔部分を撮影し、1フレーム分
の入力画像がデジタル信号に変換されたうえ、画像メモ
リに格納される。
First, in step S201 of FIG.
A driver's face is photographed by a camera, and an input image for one frame is converted into a digital signal and stored in an image memory.

【0013】ステップS202では、図6に示すよう
に、所定領域1に対してポイント抽出の処理を行い、1
ライン終了後に1つ隣りのラインの処理に移して行き、
所定方向の全ラインでのポイント抽出が終了したか否か
を判断する。
In step S202, as shown in FIG.
After the end of the line, move to the processing of the next line,
It is determined whether or not point extraction has been completed for all lines in a predetermined direction.

【0014】ステップS202で、全ラインにおいてポ
イント抽出が行われていないと判断された場合は、ステ
ップS203に移行する。この処理は、画像データ撮影
時の濃度値の変化の小さなばらつきを無くすことを目的
としており、濃度値の大局的な変化を捉えるためであ
る。図7(a)に、図6のXaのラインデータの相加平
均演算の処理結果を示す。
If it is determined in step S202 that point extraction has not been performed on all lines, the process proceeds to step S203. This processing is intended to eliminate small variations in the change in density value at the time of capturing image data, and to capture a global change in density value. FIG. 7A shows a processing result of the arithmetic averaging operation of the line data of Xa in FIG.

【0015】ステップS204では、ステップS203
の演算結果である相加平均値における微分演算を行う。
この処理結果を、図7(b)に示す。
In step S204, step S203
The differential operation is performed on the arithmetic mean value that is the result of the operation.
This processing result is shown in FIG.

【0016】ステップS205では、ステップS204
の演算結果である微分値によるポイント抽出を行う。こ
のポイントの抽出方法は、微分値が負から正に変化する
ポイント(p1,p2)、図7(a)でいうと、グラフ
が下向きに凸になるポイントを抽出する。次に、そのポ
イントに達するまでの濃度値の変化(q1,q2)が所
定値以下であるか否かを、図7(b)の微分値の判定基
準値以下であるか否かで判定し、所定値以下の濃度値の
変化を持つポイントを対象としてY座標値(A1,A
2)を抽出する。この処理が1ライン終了後、ステップ
S206で、次のラインの処理に切り換えて行く。
In step S205, step S204
The point is extracted based on the differential value that is the calculation result of. This point extraction method extracts points (p1, p2) at which the differential value changes from negative to positive, and in FIG. 7A, points where the graph is convex downward. Next, it is determined whether or not the change (q1, q2) of the density value until the point is reached is equal to or less than a predetermined value, based on whether or not it is equal to or less than the reference value for the differential value in FIG. , A Y coordinate value (A1, A1
Extract 2). After this processing is completed for one line, the processing is switched to the processing for the next line in step S206.

【0017】ステップS202で、全ラインのポイント
抽出が終了したと判断されると、図8に示すようなポイ
ントが抽出される。つまり、図6のXaライン上では、
A1,A2の2つのポイントが抽出されていることにな
る。
If it is determined in step S202 that point extraction has been completed for all lines, points as shown in FIG. 8 are extracted. That is, on the Xa line in FIG.
This means that two points A1 and A2 have been extracted.

【0018】その後、ステップS207へ移行し、隣合
う各ラインの抽出ポイント(A1,A2,A3,…)の
Y座標値を比較し、Y座標値が所定値以内の場合、連続
データとして、連続データのグループ番号、連続開
始ライン番号、連続データ数、をメモリする。
Thereafter, the process proceeds to step S207, where the Y coordinate values of the extraction points (A1, A2, A3,...) Of the adjacent lines are compared, and if the Y coordinate value is within a predetermined value, the The data group number, continuous start line number, and continuous data number are stored in memory.

【0019】ここでは検出対象を眼としているため、そ
の特徴量としては横に比較的長く続くデータであるとす
ることができるため、横方向に所定値以上続くというこ
とを条件に連続データを抽出する。よって、ステップS
207での処理結果として、図9に示すようなG1〜G
4の連続データを曲線群として認識できる。
In this case, since the detection target is an eye, the feature amount thereof can be data that continues relatively long in the horizontal direction. Therefore, continuous data is extracted on the condition that the data continues for a predetermined value or more in the horizontal direction. I do. Therefore, step S
As a processing result in 207, G1 to G as shown in FIG.
4 continuous data can be recognized as a curve group.

【0020】図3のステップS103で連続データの抽
出後、ステップS104に移行する。ステップS104
では、各連続データの判断値の読み出しを行っている。
各連続データの判断値とは、連続データの連続開始ライ
ンと終了ラインの中央値の算出による連続データの代表
X座標や、連続データの各抽出点のY座標値の平均値の
算出による連続データの代表Y座標をいう。
After extracting the continuous data in step S103 of FIG. 3, the process proceeds to step S104. Step S104
Then, the judgment value of each continuous data is read.
The judgment value of each continuous data is the representative X coordinate of the continuous data by calculating the median value of the continuous start line and the end line of the continuous data, and the continuous data by calculating the average value of the Y coordinate value of each extraction point of the continuous data. Means the representative Y coordinate.

【0021】ステップS105では、鼻の穴データを検
出する所定領域3が設定されているか否かの判断を行
う。スタート直後の段階では所定領域3は設定されてい
ないため、ステップS106へ移行する。
In step S105, it is determined whether or not a predetermined area 3 for detecting nostril data is set. Since the predetermined area 3 has not been set immediately after the start, the process proceeds to step S106.

【0022】ステップS106では、左右対称の連続デ
ータを検出する所定領域2が設定されているか否かの判
定を行う。ステップS106でも、ステップS105と
同様に、スタート直後の段階では所定領域2は設定され
ていないため、ステップS107へ移行する。
In step S106, it is determined whether or not a predetermined area 2 for detecting symmetric continuous data is set. In step S106, similarly to step S105, since the predetermined area 2 is not set immediately after the start, the process proceeds to step S107.

【0023】ステップS107では、ステップS10
5,S106で所定領域3でも2でもないと判断されて
いるため、所定領域1において連続データを検出するこ
とになる。本ステップでは、図10に示すように、所定
領域1内に出現する最上端の連続データを検出する。こ
の処理は、画像全体に出現する数多くの連続データをい
きなりパターン化するのではなく、最上端に出現する連
続データにまず注目し、該当する連続データが顔の特徴
量(眉、眼の連続データ)であると仮定することによ
り、極力眼の検索方法を簡単に行えるようにしている。
In step S107, step S10
5. Since it is determined in S106 that neither the predetermined area 3 nor 2, the continuous data is detected in the predetermined area 1. In this step, as shown in FIG. 10, the uppermost continuous data appearing in the predetermined area 1 is detected. In this process, instead of suddenly patterning a large number of continuous data appearing in the entire image, the continuous data appearing at the uppermost end is first focused on, and the corresponding continuous data is used as a face feature amount (continuous eyebrow and eye data). ), The eye search method can be performed as easily as possible.

【0024】ステップS108では、図10に示すよう
に、最上端の連続データの代表座標値を基準にした所定
領域2を設定する。所定領域2は、左右対称状態より該
当する連続データが眉か眼、または眼鏡のフレームであ
るか否かを判定するために設定する領域である。
In step S108, as shown in FIG. 10, a predetermined area 2 is set based on the representative coordinate value of the uppermost continuous data. The predetermined area 2 is an area set in order to determine whether the continuous data corresponding to the left-right symmetry state is a frame of eyebrows, eyes, or glasses.

【0025】ステップS108で所定領域2の設定後、
ステップS102に戻り、所定領域2において次フレー
ムの画像データの読み出しを行う。その後、ステップS
103〜S105の前述した内容と同様の処理、判定を
行い、ステップS106に移行する。
After setting the predetermined area 2 in step S108,
Returning to step S102, the image data of the next frame is read out in the predetermined area 2. Then, step S
The same processing and determination as the above-described contents of 103 to S105 are performed, and the process proceeds to step S106.

【0026】ステップS106では、所定領域2が既に
設定されているため、図4のステップS112に移行す
る。ステップS112では、所定領域2内に出現する連
続データを上部より2つを対象として検出する。
In step S106, since the predetermined area 2 has already been set, the flow shifts to step S112 in FIG. In step S112, two consecutive data appearing in the predetermined area 2 are detected from the upper part.

【0027】ステップS113では、図11に示すよう
に、該当する2つの連続データが左右対称条件を満足す
るか否かを判定する。このとき、2つの連続データの左
右対称条件は、図12に示すような眼鏡の着用者も考慮
して、所定領域2の上部より出現する連続データが所定
値以上の長さがある場合は、その出現個数が1つであっ
ても良いものとし、また、2つ以上の連続データが存在
しても、所定値以上の長さを持つ連続データ1つを対象
として判断する。ステップS113で出現する連続デー
タが左右対称条件を満足する場合は、ステップS114
に移行する。
In step S113, as shown in FIG. 11, it is determined whether or not the corresponding two continuous data satisfy the left-right symmetry condition. At this time, the left-right symmetry condition of the two continuous data is set such that the continuous data appearing from the upper part of the predetermined area 2 has a length equal to or more than a predetermined value, taking into account the wearer of glasses as shown in FIG. The number of occurrences may be one. Even if there are two or more continuous data, one continuous data having a length equal to or more than a predetermined value is determined. If the continuous data appearing in step S113 satisfies the left-right symmetry condition, step S114
Move to

【0028】ステップS114では、図13(a),
(b)に示すように、左右対称の2つの連続データを基
準にした所定領域3を設定する。所定領域3は、鼻の穴
データが存在するか否かを判定するために設定する領域
である。
In step S114, FIG.
As shown in (b), a predetermined area 3 is set on the basis of two symmetrical continuous data. The predetermined area 3 is an area set to determine whether or not nostril data exists.

【0029】ステップS113で左右対称条件を満足し
ない場合は、ステップS115に移行し、図14
(a),(b)に示すように、所定領域2の設定基準と
した連続データの座標値を含まないように縮小した所定
領域1を設定し、ステップS116に移行する。
If the left-right symmetry condition is not satisfied in step S113, the flow shifts to step S115, and FIG.
As shown in (a) and (b), a predetermined area 1 which is reduced so as not to include the coordinate values of the continuous data used as a reference for setting the predetermined area 2 is set, and the process proceeds to step S116.

【0030】ステップS116では、所定領域1の縮小
限界を判定しており、縮小限界に達するまではステップ
S102に戻り、図14(b)に示す縮小所定領域1に
おいて次フレームの画像データの読み出しを行う。その
後、ステップS105とステップS106では、所定領
域の設定が1になっているため、NOとなり、ステップ
S107に移行する。このとき、縮小所定領域1での最
上端の連続データは、図14(b)では、連続データB
となる。
In step S116, the reduction limit of the predetermined area 1 is determined. Until the reduction limit is reached, the process returns to step S102 to read the image data of the next frame in the reduction predetermined area 1 shown in FIG. Do. Thereafter, in step S105 and step S106, the setting of the predetermined area is 1, so the determination is NO, and the process proceeds to step S107. At this time, the continuous data at the uppermost end in the predetermined reduced area 1 is the continuous data B in FIG.
Becomes

【0031】また、ステップS116で、所定領域1が
縮小限界に達したと判定された場合は、ステップS10
1に戻り、再度初期状態の所定領域1を設定する。
If it is determined in step S116 that the predetermined area 1 has reached the reduction limit, step S10
1, the predetermined area 1 in the initial state is set again.

【0032】ステップS113で連続データの左右対称
条件を満足し、ステップS114で所定領域3が設定さ
れた場合は、ステップS102に戻り、所定領域3にお
いて次フレームの画像データの読み出しを行う。その
後、ステップS103,S104の前述した内容と同様
の処理、判定を行い、ステップS105に移行する。
If the left-right symmetry condition of the continuous data is satisfied in step S113 and the predetermined area 3 is set in step S114, the process returns to step S102, and the image data of the next frame is read in the predetermined area 3. Thereafter, the same processing and determination as the above-described contents of steps S103 and S104 are performed, and the process proceeds to step S105.

【0033】ステップS105では、所定領域3が既に
設定されているため、ステップS109に移行する。ス
テップS109では、所定領域3内に鼻の穴データが存
在するか否かを判定する。
In step S105, since the predetermined area 3 has already been set, the flow shifts to step S109. In step S109, it is determined whether or not the nostril data exists in the predetermined area 3.

【0034】これより、図15と図18のフローチャー
トと、図16,図17,図19の説明図を用いて、鼻の
穴データの検出処理内容を説明する。
The details of the nostril hole data detection process will now be described with reference to the flowcharts of FIGS. 15 and 18 and the explanatory diagrams of FIGS. 16, 17 and 19.

【0035】図15のステップS301では、図16
(a),(b)に示すように、所定領域3の濃度値を所
定間隔で横方向に読み込み、ステップS302に移行す
る。
In step S301 in FIG. 15, FIG.
As shown in (a) and (b), the density values of the predetermined area 3 are read in the horizontal direction at predetermined intervals, and the process proceeds to step S302.

【0036】ステップS302では、所定領域3内にお
ける横方向の全ラインを検索したか否かの判定を行う。
初期状態においては、横方向のライン検索は当然成され
ていないため、ステップS303に移行する。
In step S302, it is determined whether or not all the horizontal lines in the predetermined area 3 have been searched.
In the initial state, the line search in the horizontal direction has not been performed, so the process proceeds to step S303.

【0037】ステップS303では、横方向の1ライン
の濃度値の相加平均演算を行う。この処理は、画像デー
タ撮影時の濃度値の変化の小さなばらつきを無くすこと
を目的としており、濃度値の大局的な変化を捉えるため
である。図17(a)に、図16(b)のYaのライン
データの相加平均演算の処理結果を示す。
In step S303, arithmetic operation of the density value of one horizontal line is performed. This processing is intended to eliminate small variations in the change in density value at the time of capturing image data, and to capture a global change in density value. FIG. 17A shows a processing result of the arithmetic averaging operation of the line data of Ya in FIG. 16B.

【0038】ステップS304では、ステップS303
の演算結果である相加平均値における微分演算を行う。
この処理結果を、図17(b)に示す。
In step S304, step S303
The differential operation is performed on the arithmetic mean value that is the result of the operation.
This processing result is shown in FIG.

【0039】ステップS305では、ステップS304
の演算結果である微分値によるポイント抽出を行う。こ
のポイントの抽出方法は、微分値が負から正に変化する
ポイント(p1,p2)、図17(a)でいうと、グラ
フが下向きに凸になるポイントを抽出する。次に、その
ポイントに達するまでの濃度値の変化(q1,q2)が
所定値以下であるか否かを、図17(b)の微分値の判
定基準値以下であるか否かで判定し、所定値以下の濃度
値の変化を持つポイントを対象としてX座標値(A1,
A2)をメモリする。
In step S305, step S304
The point is extracted based on the differential value that is the calculation result of. In this point extraction method, the points (p1, p2) where the differential value changes from negative to positive, that is, the points where the graph becomes convex downward in FIG. 17A, are extracted. Next, it is determined whether or not the change (q1, q2) in the density value until reaching the point is equal to or less than a predetermined value, based on whether or not the difference value is equal to or less than the reference value for the differential value in FIG. , X-coordinate values (A1,
A2) is stored.

【0040】該当する横方向の1ラインにおける座標値
のメモリ後に、ステップS306では、メモリされたポ
イントが2つであるか否かを判定する。このとき、1つ
または3つ以上のポイントがメモリされている場合は、
該当するラインに鼻の穴データはないと判断し、ステッ
プS308に移行し、次のラインへの切り換えステップ
S302に戻り、同様の処理を繰り返す。
After storing the coordinate values in one horizontal line, it is determined in step S306 whether or not the number of stored points is two. At this time, if one or three or more points are stored,
It is determined that there is no nostril data in the corresponding line, the process proceeds to step S308, returns to step S302 for switching to the next line, and repeats the same processing.

【0041】ステップS306で、ポイントが2つであ
ると判定された場合は、ステップS307に移行し、該
当ポイントの横方向の間隔が所定範囲であるか否かの判
断を行う。この所定範囲は、個人差を考慮した鼻の穴間
隔とし、その範囲にない場合は、該当するラインに鼻の
穴データはないと判断し、ステップS308に移行し、
次のラインへの切り換えステップS302に戻り、同様
の処理を繰り返す。
If it is determined in step S306 that the number of points is two, the flow shifts to step S307 to determine whether or not the horizontal interval between the points is within a predetermined range. The predetermined range is a nostril interval in consideration of individual differences, and if not within the range, it is determined that there is no nostril data in the corresponding line, and the process proceeds to step S308.
Returning to the next line switching step S302, the same processing is repeated.

【0042】ステップS307で、該当するポイントの
間隔が所定範囲であると判定された場合は、ステップS
309に移行し、図20(a)に示すように、鼻の穴の
基準座標を設定し、鼻の穴データ検出処理を終了する。
If it is determined in step S307 that the interval between the corresponding points is within a predetermined range, the process proceeds to step S307.
The flow shifts to 309, where the reference coordinates of the nostrils are set as shown in FIG. 20A, and the nostrils data detection process ends.

【0043】また、この処理を繰り返し、最後まで鼻の
穴データが検出されない場合は、ステップS302より
ステップS310に移行し、鼻の穴データの未検出フラ
グを立てて、この処理を終了する。
This process is repeated, and when nostril data is not detected to the end, the process proceeds from step S302 to step S310, a no-detection flag of nostril data is set, and this process ends.

【0044】次に、図18のフローチャートと図19の
説明図を用いて、光環境が悪く2つの鼻の穴データがき
れいに現れない場合にも対応できる検出処理内容を説明
する。
Next, with reference to the flowchart of FIG. 18 and the explanatory diagram of FIG. 19, a description will be given of the contents of detection processing which can cope with a case where the light environment is poor and two nostrils data do not appear clearly.

【0045】鼻の穴データがきれいに現れない場合は、
太陽の光が顔の右半分に当たり顔の左半分が影になると
きなどに起こる。このときの鼻の穴データの濃度変化
は、図19(a)のようになる。このような濃度変化を
する鼻の穴データにおいても、確実に認識できる方法
を、図18のフローチャートを用いて、その処理内容を
説明する。
If nostril data does not appear clearly,
This occurs when the sun's light hits the right half of the face and the left half of the face becomes shadow. The density change of the nostril data at this time is as shown in FIG. A method of reliably recognizing even the nostril data having such a density change will be described with reference to the flowchart of FIG.

【0046】図18に示すフローチャートにおいて、ス
テップS301〜S304までは、図15のフローチャ
ートを用いて説明した処理内容と同様なので、説明を省
略する。
In the flow chart shown in FIG. 18, steps S301 to S304 are the same as the processing contents described with reference to the flow chart of FIG.

【0047】ステップS321では、前述の実施の形態
と同じ濃度変化条件で第1ポイント(図19のA1)を
検出し、ステップS322に移行する。
In step S321, the first point (A1 in FIG. 19) is detected under the same density change condition as in the above embodiment, and the flow advances to step S322.

【0048】ステップS322では、第1ポイントの横
方向の座標値を基準として第2ポイントの抽出範囲を設
定する。この第2ポイントの抽出範囲の設定方法を、図
19(a),(b)を用いて説明する。
In step S322, the extraction range of the second point is set based on the horizontal coordinate value of the first point. A method for setting the extraction range of the second point will be described with reference to FIGS.

【0049】図19(a)に示すD1は、個人差を考慮
した鼻の穴間隔の最小値を想定したものである。また、
鼻の穴間隔の個人差を考慮した最大値は、D2として範
囲設定を行う。このようにして、もう一方の鼻の穴デー
タ(第2ポイント)の出現する区間を特定することによ
り、濃度変化のグラフで下向きに凸になるポイントを微
分値の変化で負から正に変化するポイントp2として捉
える。この鼻の穴データの検出方法により、一方の鼻の
穴データが影の中にあっても、確実に捉えることができ
る。
D1 shown in FIG. 19A assumes the minimum value of the interval between nostrils in consideration of individual differences. Also,
The maximum value in consideration of the individual difference of the nostril interval is set as D2. In this way, by specifying the section in which the other nostril data (the second point) appears, the point which becomes convex downward in the graph of the density change changes from negative to positive by the change of the differential value. Capture as point p2. With this nostril data detection method, even if one nostril data is in the shadow, it can be reliably detected.

【0050】ステップS323では、この第2ポイント
(微分値が負から正に変化するポイント)が前記範囲内
に抽出できるかを判定し、第2ポイントが存在する場合
は、ステップS309に移行し、鼻の穴の基準座標を設
定する。
In step S323, it is determined whether or not this second point (the point at which the differential value changes from negative to positive) can be extracted within the above-described range. If the second point exists, the flow proceeds to step S309. Set the reference coordinates of the nostrils.

【0051】図3のステップS109で、鼻の穴データ
の存在の有無を確認し、鼻の穴データが存在する場合
は、ステップS110に移行する。
In step S109 of FIG. 3, it is checked whether or not there is nostril data. If there is nostril data, the process proceeds to step S110.

【0052】ステップS110では、図20(b)に示
すように、鼻の穴位置を基準にした眼の位置検出領域を
設定する。その後、この眼の位置検出領域内に出現する
連続データを検出する。このときの眼のデータの特定
は、鼻の穴データの相対位置関係や、複数個の連続デー
タが出現する場合はその相対位置も考慮して決定する。
In step S110, as shown in FIG. 20B, an eye position detection area is set based on the position of the nostrils. Then, continuous data appearing in the eye position detection area is detected. At this time, the specification of the eye data is determined in consideration of the relative positional relationship between the nostril data and the relative position when a plurality of continuous data appears.

【0053】本発明では、これまで説明してきた方法に
より、眼の位置と鼻の位置を関連づけることで、最終的
に特定した連続データが眼である確率が高くなり、更に
眼の検出精度を向上させることができる。
According to the present invention, by associating the position of the eye with the position of the nose by the method described above, the probability that the finally specified continuous data is the eye is increased, and the eye detection accuracy is further improved. Can be done.

【0054】眼の位置と鼻の位置を関連づけることの効
果としては、次に説明するような場合もある。一度検出
した眼を追跡する場合、図21に示すように、眼鏡レン
ズ部に写り込みが一時的に発生すると、その追跡処理を
断念し、再度眼の位置検出をせざるを得ない状況に陥る
ことがある。この状況は、眼の位置検出を行うのに時間
がかかるという問題点がある。このとき、図22(a)
に示すように、鼻の穴位置と眼の位置の関係をXd,Y
dなどの寸法で捉えることにより、図22(b)に示す
ように、鼻の穴位置を基準として追跡することができ
る。そして、検出した鼻の穴位置を基準として縮小した
眼の位置検出領域をコントロールすることにより、デー
タが一時的に消失しても、鼻の穴データの存在を確認で
きる場合においては、例えば居眠り運転検出などに用い
られる開閉眼判定を一時的に中断した状態で保つことが
でき、眼鏡レンズ部への写り込みが解消されたとき、す
ぐに開閉眼判定処理などを再開することができる。
The effect of associating the position of the eye with the position of the nose may be as follows. In the case of tracking an eye once detected, as shown in FIG. 21, if reflection occurs temporarily in the spectacle lens unit, the tracking process is abandoned, and the eye position must be detected again. Sometimes. This situation has a problem that it takes time to detect the position of the eye. At this time, FIG.
As shown in the figure, the relationship between the position of the nostrils and the position of the eyes is represented by Xd, Y
By grasping with dimensions such as d, as shown in FIG. 22B, it is possible to track based on the position of the nostrils. If the presence of the nostril data can be confirmed by controlling the eye position detection area reduced based on the detected nostril position as a reference, even if the data is temporarily lost, for example, when the driver falls asleep, The open / closed eye determination used for detection or the like can be kept in a temporarily interrupted state, and when the reflection on the spectacle lens unit is eliminated, the open / closed eye determination processing and the like can be resumed immediately.

【0055】最後に、図3のステップS109で、所定
領域3内に鼻の穴データが検出できない場合の処理につ
いて説明する。
Finally, the processing in the case where nostril data cannot be detected in the predetermined area 3 in step S109 of FIG. 3 will be described.

【0056】ステップS109で、鼻の穴データが検出
できない場合は、ステップS111に移行し、左右対称
の連続データまでの情報を用いて眼の位置検出を行う。
具体的な眼の位置検出方法を、図23,図24を用いて
説明する。
If the nostril data cannot be detected in step S109, the flow shifts to step S111 to detect the position of the eye using information up to the symmetrical continuous data.
A specific eye position detection method will be described with reference to FIGS.

【0057】顔の中に左右対称となるデータは、眼の他
に、眉、眼鏡のフレームなどがある。図23は、眉を左
右対称の連続データとして捉えた場合の説明図である。
このように左右対称の片方づつ該当する連続データを基
準に下方向に少し広げた眼の検出領域を設定し、該領域
に2つの連続データが検出された場合は、下側の連続デ
ータを眼と特定し、1つの連続データしか検出されなか
った場合は、その連続データを眼と特定する。
The symmetrical data in the face includes eyebrows, eyebrows, eyeglass frames, etc., in addition to eyes. FIG. 23 is an explanatory diagram when the eyebrows are captured as symmetrical continuous data.
In this manner, the detection area of the eye is set slightly widened downward with reference to the corresponding continuous data one by one in the left-right direction, and when two continuous data are detected in this area, the lower continuous data is set to the eye. When only one continuous data is detected, the continuous data is identified as an eye.

【0058】また、図24に示すように、眼鏡のフレー
ムを連続データとして捉え、左右対称となるはずの連続
データが連結されている場合においては、該連続データ
の長さによって判定し、同様の眼の位置検出領域を設定
し、眼の位置の特定を行う。
Further, as shown in FIG. 24, when frames of eyeglasses are considered as continuous data, and continuous data that should be symmetrical is connected, the determination is made based on the length of the continuous data. An eye position detection area is set, and the position of the eye is specified.

【0059】このステップS111の処理が行われる場
合としては、運転者がマスクを掛けている場合や、カメ
ラの画角が未調整で顔の上半分しか移っていない場合な
どが考えられる。ステップS111は、このようなイレ
ギュラーな運転者においても通常の処理を可能にするた
めに用意している。
The processing in step S111 may be performed when the driver wears a mask, or when the angle of view of the camera has not been adjusted and only the upper half of the face has shifted. Step S111 is prepared to enable normal processing even for such an irregular driver.

【0060】[0060]

【発明の効果】以上、詳細に説明したように、本発明に
よれば、所定領域2内において眉または眼の候補データ
を特定し、その候補データを基準として鼻の穴データの
有無を確認することで、検出対象物が眼であることの確
からしさをアップさせ、眼鏡を着用している運転者にお
いても、精度の高い眼の位置検出や追跡が可能となる。
As described above, according to the present invention, the eyebrow or eye candidate data is specified in the predetermined area 2, and the presence or absence of nostril data is confirmed based on the candidate data. This increases the likelihood that the detection target is the eye, and enables a driver wearing eyeglasses to perform highly accurate eye position detection and tracking.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明による眼位置検出装置の構成を示すブロ
ック図である。
FIG. 1 is a block diagram illustrating a configuration of an eye position detection device according to the present invention.

【図2】本発明による眼位置検出装置の一実施の形態の
構成を示すブロック図である。
FIG. 2 is a block diagram illustrating a configuration of an embodiment of an eye position detection device according to the present invention.

【図3】実施の形態の動作を説明するためのフローチャ
ートである。
FIG. 3 is a flowchart for explaining the operation of the embodiment.

【図4】実施の形態の動作を説明するためのフローチャ
ートである。
FIG. 4 is a flowchart for explaining the operation of the embodiment.

【図5】曲線群のポイントの抽出方法を説明するための
フローチャートである。
FIG. 5 is a flowchart for explaining a method of extracting points of a curve group.

【図6】眼の位置検出方法に関する説明図である。FIG. 6 is an explanatory diagram relating to an eye position detection method.

【図7】眼の位置検出方法に関する説明図である。FIG. 7 is an explanatory diagram relating to an eye position detection method.

【図8】眼の位置検出方法に関する説明図である。FIG. 8 is an explanatory diagram relating to an eye position detection method.

【図9】眼の位置検出方法に関する説明図である。FIG. 9 is an explanatory diagram relating to an eye position detection method.

【図10】眼の位置検出方法に関する説明図である。FIG. 10 is an explanatory diagram relating to an eye position detection method.

【図11】眼の位置検出方法に関する説明図である。FIG. 11 is an explanatory diagram relating to an eye position detection method.

【図12】眼の位置検出方法に関する説明図である。FIG. 12 is an explanatory diagram relating to an eye position detection method.

【図13】眼の位置検出方法に関する説明図である。FIG. 13 is an explanatory diagram relating to an eye position detection method.

【図14】眼の位置検出方法に関する説明図である。FIG. 14 is an explanatory diagram relating to an eye position detection method.

【図15】鼻の穴データの検出方法を説明するためのフ
ローチャートである。
FIG. 15 is a flowchart illustrating a method for detecting nostril data.

【図16】鼻の穴データの検出に関する説明図である。FIG. 16 is an explanatory diagram related to detection of nostril data.

【図17】鼻の穴データの検出に関する説明図である。FIG. 17 is an explanatory diagram relating to detection of nostril data.

【図18】他の実施の形態の鼻の穴データの検出方法を
説明するためのフローチャートである。
FIG. 18 is a flowchart illustrating a method for detecting nostril data according to another embodiment.

【図19】他の実施の形態の鼻の穴データの検出に関す
る説明図である。
FIG. 19 is an explanatory diagram relating to detection of nostril data according to another embodiment.

【図20】眼の位置検出方法に関する説明図である。FIG. 20 is an explanatory diagram relating to an eye position detection method.

【図21】眼の位置検出方法に関する説明図である。FIG. 21 is an explanatory diagram relating to an eye position detection method.

【図22】眼の位置検出方法に関する説明図である。FIG. 22 is an explanatory diagram relating to an eye position detection method.

【図23】眼の位置検出方法に関する説明図である。FIG. 23 is an explanatory diagram relating to an eye position detection method.

【図24】眼の位置検出方法に関する説明図である。FIG. 24 is an explanatory diagram related to an eye position detection method.

【符号の説明】[Explanation of symbols]

CL1 画像入力手段 CL2 顔の縦方向の画素列の濃度検出手段 CL3 各画素列におけるポイント抽出手段 CL4 曲線群の抽出手段 CL5 所定領域1内の最上端の曲線群検出手段 CL6 所定領域2の設定手段 CL7 所定領域2内に出現する曲線群の左右対称状
態判定手段 CL8 所定領域3の設定手段 CL9 所定領域1の縮小手段 CL10 所定領域3内での鼻の穴データの有無判定
手段 CL11 鼻の穴データを基準にした眼の位置特定手
段 CL12 左右対称の曲線群を基準にした眼の位置特
定手段 21 カメラ 22 A−D変換器 23 画像メモリ 24 画像データ演算回路 25 眼の位置検出回路
CL1 Image input means CL2 Density detecting means for pixel rows in the vertical direction of the face CL3 Point extracting means for each pixel row CL4 Curve group extracting means CL5 Uppermost curve group detecting means within predetermined area 1 CL6 Setting means for predetermined area 2 CL7 Means for determining the symmetry of the curve group appearing in the predetermined area 2 CL8 Setting means for the predetermined area 3 CL9 Reduction means for the predetermined area 1 CL10 Means for determining the presence or absence of nostril data in the predetermined area 3 CL11 Nose hole data Eye position specifying means CL12 based on symmetrical eye position specifying means based on symmetrical curve group 21 Camera 22 A / D converter 23 Image memory 24 Image data calculation circuit 25 Eye position detection circuit

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G08G 1/16 A61B 5/10 310Z // B60R 1/00 G06F 15/70 330Z ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G08G 1/16 A61B 5/10 310Z // B60R 1/00 G06F 15/70 330Z

Claims (4)

【特許請求の範囲】[Claims] 【請求項1】 顔の画像データを処理して眼の位置を検
出する眼位置検出装置において、 顔の縦方向の画素列に沿って画素の濃度を読み出し、前
記画素列上の濃度値の片方向のピークの前の濃度変化の
微分値が所定値を越えることを条件に、濃度値の片方向
のピークの画素を特定して抽出点とするポイント抽出手
段と、 隣接する画素列の画素列方向に近接した前記抽出点を連
結して顔の横方向に伸びる曲線群を抽出する曲線群抽出
手段と、 所定領域1(画像全体がカバーできる領域)において最
上端に出現する曲線群を検出する最上端曲線群検出手段
と、 前記最上端の曲線群を基準とした所定領域2(左右対称
状態より該当する連続データが眉か眼、または眼鏡のフ
レームであるか否かを判定するために設定する領域)を
設定する所定領域2の設定手段と、 前記所定領域2に出現する曲線群の左右対称状態を判定
する曲線群の左右対称状態判定手段と、 前記所定領域2内に左右対称の曲線群が検出されたとき
に該曲線群を基準とした所定領域3(鼻の穴データが存
在するか否かを判定するために設定する領域)を設定す
る所定領域3の設定手段と、 前記所定領域2内に左右対称の曲線群が検出されなかっ
たときに該曲線群を基準とした所定領域1を縮小する所
定領域1の縮小手段と、 前記所定領域3に出現する鼻の穴データを検出する鼻の
穴検出手段と、 前記所定領域3内に鼻の穴データが検出されたときに該
鼻の穴データ位置を基準に眼の位置を特定する眼の位置
特定手段と、 前記所定領域3内に鼻の穴データが検出されなかったと
きに前記所定領域2の左右対称の曲線群を基準に眼の位
置を特定する眼の位置特定手段とを有することを特徴と
する眼位置検出装置。
1. An eye position detecting apparatus for processing an image data of a face to detect an eye position, wherein a density of pixels is read out along a pixel row in a vertical direction of the face, and one of density values on the pixel row is read out. A point extracting means for specifying a pixel of a one-way peak of the density value as an extraction point, provided that a differential value of the density change before the peak in the direction exceeds a predetermined value; and a pixel row of an adjacent pixel row. A curve group extraction means for connecting the extraction points close to each other in the direction to extract a curve group extending in the lateral direction of the face; and detecting a curve group appearing at the top end in a predetermined area 1 (an area which can cover the entire image). An uppermost curve group detecting means, a predetermined area 2 based on the uppermost curve group (set to determine whether or not the corresponding continuous data is an eyebrow, eye, or eyeglass frame based on a symmetrical state) Area to set) Setting means, and left-right symmetric state determining means for determining a left-right symmetric state of a curve group appearing in the predetermined area 2; and when a left-right symmetric curve group is detected in the predetermined area 2, the curve Setting means for setting a predetermined area 3 (area set for determining whether there is nostril data) based on the group; and a set of symmetrical curves in the predetermined area 2 When no is detected, a means for reducing the predetermined area 1 based on the curve group, a means for detecting the nostrils appearing in the predetermined area 3, a means for detecting nostrils, Eye position specifying means for specifying the position of the eye based on the position of the nostril data when the nostril data is detected in the predetermined region 3; and detecting the nostril data in the predetermined region 3 When there is no left-right symmetric curve group in the predetermined area 2 An eye position specifying device for specifying the position of the eye based on a reference.
【請求項2】 請求項1に記載の眼位置検出装置におい
て、 前記鼻の穴データ位置を基準にした眼の位置特定手段
は、該眼の位置特定手段で眼の位置が検出されたことを
トリガーに常に鼻の穴データを追跡対象として眼の位置
検出を行うことを特徴とする眼位置検出装置。
2. The eye position detecting device according to claim 1, wherein the eye position specifying means based on the nostril hole data position detects that the eye position is detected by the eye position specifying means. An eye position detecting device, wherein a position of an eye is always detected using a nostril data as a tracking target as a trigger.
【請求項3】 請求項1に記載の眼位置検出装置におい
て、 前記鼻の穴検出手段は、横方向への濃度変化から鼻の穴
データを検出することを特徴とする眼位置検出装置。
3. The eye position detecting device according to claim 1, wherein the nostril detecting means detects nostril data from a change in density in a lateral direction.
【請求項4】 請求項1に記載の眼位置検出装置におい
て、 前記鼻の穴検出手段は、一方の鼻の穴データを濃度変化
で捉え、その位置を基準にもう一方の鼻の穴データの濃
度変化を捉えることを特徴とする眼位置検出装置。
4. The eye position detection device according to claim 1, wherein the nostril detection means captures one nostril data by a change in density, and detects the other nostril data based on the position. An eye position detection device characterized by detecting a change in density.
JP10239346A 1998-08-26 1998-08-26 Eye position detector Pending JP2000067225A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10239346A JP2000067225A (en) 1998-08-26 1998-08-26 Eye position detector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10239346A JP2000067225A (en) 1998-08-26 1998-08-26 Eye position detector

Publications (1)

Publication Number Publication Date
JP2000067225A true JP2000067225A (en) 2000-03-03

Family

ID=17043385

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10239346A Pending JP2000067225A (en) 1998-08-26 1998-08-26 Eye position detector

Country Status (1)

Country Link
JP (1) JP2000067225A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003289468A (en) * 2002-03-28 2003-10-10 Sanyo Electric Co Ltd Imaging apparatus
EP1973059A2 (en) 2007-03-19 2008-09-24 Aisin Seiki Kabushiki Kaisha Face region detecting device, method, and program
US7784943B2 (en) 2006-12-26 2010-08-31 Aisin Seiki Kabushiki Kaisha Eyelid detecting apparatus, eyelid detecting method and program thereof
US7936926B2 (en) 2007-03-13 2011-05-03 Aisin Seiki Kabushiki Kaisha Apparatus, method, and program for face feature point detection
US8224035B2 (en) 2006-12-06 2012-07-17 Aisin Seiki Kabushiki Kaisha Device, method and program for detecting eye
CN102735253A (en) * 2011-04-05 2012-10-17 现代自动车株式会社 Apparatus and method for displaying road guide information on windshield
US8498449B2 (en) 2006-12-04 2013-07-30 Aisin Seiki Kabushiki Kaisha Eye detecting device, eye detecting method, and program
US9454226B2 (en) 2014-10-10 2016-09-27 Hyundai Motor Company Apparatus and method for tracking gaze of glasses wearer

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003289468A (en) * 2002-03-28 2003-10-10 Sanyo Electric Co Ltd Imaging apparatus
US8498449B2 (en) 2006-12-04 2013-07-30 Aisin Seiki Kabushiki Kaisha Eye detecting device, eye detecting method, and program
US8224035B2 (en) 2006-12-06 2012-07-17 Aisin Seiki Kabushiki Kaisha Device, method and program for detecting eye
US7784943B2 (en) 2006-12-26 2010-08-31 Aisin Seiki Kabushiki Kaisha Eyelid detecting apparatus, eyelid detecting method and program thereof
US7936926B2 (en) 2007-03-13 2011-05-03 Aisin Seiki Kabushiki Kaisha Apparatus, method, and program for face feature point detection
EP1973059A2 (en) 2007-03-19 2008-09-24 Aisin Seiki Kabushiki Kaisha Face region detecting device, method, and program
US7916904B2 (en) 2007-03-19 2011-03-29 Aisin Seiki Kabushiki Kaisha Face region detecting device, method, and computer readable recording medium
CN102735253A (en) * 2011-04-05 2012-10-17 现代自动车株式会社 Apparatus and method for displaying road guide information on windshield
US9454226B2 (en) 2014-10-10 2016-09-27 Hyundai Motor Company Apparatus and method for tracking gaze of glasses wearer

Similar Documents

Publication Publication Date Title
JP4811259B2 (en) Gaze direction estimation apparatus and gaze direction estimation method
JP5359266B2 (en) Face recognition device, face recognition method, and face recognition program
JP3768735B2 (en) Face image processing device
KR100296215B1 (en) Eye image tracking device
US20120269405A1 (en) Information processing apparatus, processing method for the same, non-transitory computer-readable storage medium and image capturing apparatus
JPH0944685A (en) Face image processor
CN105740778B (en) Improved three-dimensional human face in-vivo detection method and device
JP5127531B2 (en) Image monitoring device
JP3063504B2 (en) Image data feature detection device
CN111616718B (en) Method and system for detecting fatigue state of driver based on attitude characteristics
JP2822799B2 (en) Driver status detection device
JP2000105819A (en) Face image area detecting device
JP2000067225A (en) Eye position detector
JP2006268189A (en) Visual inspection action determining device
JP2008194309A (en) Eye detector, nap detector, and method of eye detector
JP3312562B2 (en) Dozing state detection device
CN109196517B (en) Comparison device and comparison method
JP4696571B2 (en) Eye position detection device
JP2010003116A (en) Object deciding device and program
JP2007151798A (en) Open/closed eye determining apparatus and method
JP2003296712A (en) Device and method for detecting facial state
JP3444115B2 (en) Dozing state detection device
JP4710679B2 (en) Opening and closing eye determination method and apparatus
JP4781292B2 (en) Closed eye detection device, dozing detection device, closed eye detection method, and closed eye detection program
JP2000142164A (en) Eye condition sensing device and driving-asleep alarm device