JP2011086051A - Eye position recognition device - Google Patents
Eye position recognition device Download PDFInfo
- Publication number
- JP2011086051A JP2011086051A JP2009237315A JP2009237315A JP2011086051A JP 2011086051 A JP2011086051 A JP 2011086051A JP 2009237315 A JP2009237315 A JP 2009237315A JP 2009237315 A JP2009237315 A JP 2009237315A JP 2011086051 A JP2011086051 A JP 2011086051A
- Authority
- JP
- Japan
- Prior art keywords
- eye
- image
- template
- edge
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、認識した顔領域において眼の位置を認識する眼位置認識装置に関する。 The present invention relates to an eye position recognition device that recognizes the position of an eye in a recognized face area.
画像認識により眼の位置や状態を認識する技術が知られている。例えば、検出された鼻位置を基準位置として、右目探索領域及び左目探索領域として設定し、右目探索領域の画像及び左目探索領域の画像の各々に対して、エッジ処理を行い、左右の目の各々のエッジ画像に基づいて、下まぶたの位置を検出する技術が知られている(例えば、特許文献1参照。)。 A technique for recognizing the position and state of an eye by image recognition is known. For example, the detected nose position is set as the reference position, the right eye search area and the left eye search area are set, edge processing is performed on each of the right eye search area image and the left eye search area image, A technique for detecting the position of the lower eyelid based on the edge image is known (see, for example, Patent Document 1).
また、眼画像から各画素の濃度に基づいてエッジラインを抽出し、エッジラインを二次以上の曲線に近似すると共に、曲率を検出し、検出した曲率が顔の上下方向対して上に凸であり、相関値が所定値以上であるときに上瞼のエッジラインであると判定するものもある(例えば、特許文献2参照。)。 Also, an edge line is extracted from the eye image based on the density of each pixel, the edge line is approximated to a quadratic or higher curve, and the curvature is detected. The detected curvature is convex upward with respect to the vertical direction of the face. In some cases, when the correlation value is equal to or greater than a predetermined value, the edge line is determined to be an upper edge line (see, for example, Patent Document 2).
さらに、画像内で上方向から下方向に向かって明(白)から暗(黒)に変化するエッジ(上エッジ)と暗(黒)から明(白)に変化する下エッジを抽出し、上下のエッジペアに基づいてテンプレートを作成し、眼の近傍領域を追跡用のテンプレートとして記憶するものもある(例えば、特許文献3参照。)。 Furthermore, the edges (upper edge) that change from bright (white) to dark (black) and the lower edge that changes from dark (black) to bright (white) are extracted from the top to the bottom in the image, and the top and bottom In some cases, a template is created based on the edge pairs and the region near the eye is stored as a tracking template (see, for example, Patent Document 3).
さらに加えて、運転中に長時間目を閉じた状態を検出するため、エッジ画像ベースのアルゴリズムを用いて瞬き時に左右の瞼が同じタイミングで動くことを利用する瞼開度検出技術が知られている(例えば、非特許文献1参照。)。 In addition, in order to detect a state where the eyes are closed for a long time during driving, an eyelid opening detection technology is known that uses the edge image based algorithm to move the right and left eyelids at the same time when blinking. (For example, see Non-Patent Document 1).
しかしながら、上記特許文献1は、鼻の位置に基づいて眼の位置を検出するものであり、上記特許文献2は、エッジラインの曲率に基づいて眼の位置を検出するものであり、上記非特許文献1は、眼領域にエッジ処理を行うものである。このため、眉毛や眼鏡フレームを眼として誤認識する場合があることに加えて、眼の大きさや形状等の個人差に十分に対応し難いといえる。また、上記特許文献3は、眼の形状のテンプレートを作成する際に上瞼と下瞼の両方についてエッジ抽出を行うため、下瞼のエッジ検出が困難である画像に対しては適用し難いといえる。
However,
本発明は、上記のような点に鑑みてなされたものであり、その目的は、誤認識を減らして、個人差に柔軟に対応することのできる眼位置認識装置の提供にある。 The present invention has been made in view of the above points, and an object of the present invention is to provide an eye position recognition apparatus that can reduce misrecognition and flexibly cope with individual differences.
上記の目的を達成するために、以下に開示する眼位置認識装置は、顔画像を取得する取得部と、顔画像のうち顔領域を認識する顔認識部と、前記顔領域に基づいて、前記顔領域内の眼位置の解析領域を決定する解析領域決定部と、前記解析領域をエッジ検出してエッジ画像を取得するエッジ検出部と、前記エッジ画像をテンプレートを用いて走査して当該テンプレートと前記エッジ画像内における所定画像領域との一致度合いを算出し、前記一致度合いが閾値以上となる画像領域を眼候補位置として決定する候補決定部と、前記眼候補位置として決定した画像領域のエッジ形状を曲線に近似する曲線近似部と、前記候補決定部において決定した眼候補位置を、前記候補決定部において算出した一致度合いおよび、前記曲線近似部で近似した曲線を特定するための係数に対応付けて保持する保持部と、前記保持部に保持された前記係数に基づいて前記テンプレートの形状を変形させるテンプレート変形部とを備える。 In order to achieve the above object, an eye position recognition device disclosed below is based on an acquisition unit that acquires a face image, a face recognition unit that recognizes a face area of a face image, and the face area. An analysis region determination unit that determines an analysis region of an eye position in the face region; an edge detection unit that detects an edge of the analysis region to acquire an edge image; and scans the edge image using a template and the template A candidate determining unit that calculates a degree of coincidence with a predetermined image area in the edge image and determines an image area having the degree of coincidence equal to or greater than a threshold as an eye candidate position, and an edge shape of the image area determined as the eye candidate position A curve approximation unit that approximates a curve, and an eye candidate position determined by the candidate determination unit, a degree of coincidence calculated by the candidate determination unit, and a curve approximated by the curve approximation unit The comprises a holding portion for holding in association with the coefficient for identifying, and a template transformation unit for deforming the shape of the template on the basis of the coefficients held by the holding portion.
本願明細書の開示によれば、眼位置認識装置において、誤認識を減らして、個人差に柔軟に対応することができる。 According to the disclosure of the present specification, in the eye position recognition device, it is possible to reduce misrecognition and flexibly cope with individual differences.
以下においては、本発明の実施形態について図面を用いて具体的に説明する。 Hereinafter, embodiments of the present invention will be specifically described with reference to the drawings.
[1.第1の実施形態]
(1)本実施形態にかかる眼位置認識装置は、顔画像を取得する取得部と、顔画像のうち顔領域を認識する顔認識部と、前記顔領域に基づいて、前記顔領域内の眼位置の解析領域を決定する解析領域決定部と、前記解析領域をエッジ検出してエッジ画像を取得するエッジ検出部と、前記エッジ画像をテンプレートを用いて走査して当該テンプレートと前記エッジ画像内における所定画像領域との一致度合いを算出し、前記一致度合いが閾値以上となる画像領域を眼候補位置として決定する候補決定部と、前記眼候補位置として決定した画像領域のエッジ形状を曲線に近似する曲線近似部と、前記候補決定部において決定した眼候補位置を、前記候補決定部において算出した一致度合いおよび、前記曲線近似部で近似した曲線を特定するための係数に対応付けて保持する保持部と、前記保持部に保持された前記係数に基づいて前記テンプレートの形状を変形させるテンプレート変形部とを備える。上記構成により、眼位置認識装置において、誤認識を減らして、個人差に柔軟に対応することができる。
[1. First Embodiment]
(1) The eye position recognition device according to the present embodiment includes an acquisition unit that acquires a face image, a face recognition unit that recognizes a face region in the face image, and an eye in the face region based on the face region. An analysis region determination unit that determines an analysis region of a position; an edge detection unit that detects an edge of the analysis region to acquire an edge image; and scans the edge image using a template to search for the template and the edge image A degree of coincidence with a predetermined image area is calculated, a candidate decision unit for deciding an image area whose degree of coincidence is equal to or greater than a threshold value as an eye candidate position, and an edge shape of the image area decided as the eye candidate position is approximated to a curve The curve approximation unit, the eye candidate position determined by the candidate determination unit, the degree of coincidence calculated by the candidate determination unit, and the coefficient for specifying the curve approximated by the curve approximation unit Comprising a holding portion for holding in association, and a template transformation unit for deforming the shape of the template on the basis of the coefficients held by the holding portion. With the above configuration, the eye position recognition device can reduce misrecognition and flexibly cope with individual differences.
(2)上記眼位置認識装置において、前記候補決定部において決定された眼候補位置の中から、眼位置を確定する眼位置確定部をさらに備え、前記テンプレート変形部は、前記眼位置確定部において確定された眼位置に対応する眼位置候補にかかる前記係数に基づいて前記テンプレートの形状を変形させてもよい。 (2) In the eye position recognition device, the eye position determination unit further includes an eye position determination unit that determines an eye position from among the eye candidate positions determined by the candidate determination unit, and the template deformation unit is the eye position determination unit. The shape of the template may be deformed based on the coefficient relating to the eye position candidate corresponding to the determined eye position.
上記構成により、眼位置確定部において確定された眼位置に対応する眼位置候補の係数に基づいて形状を変形させたテンプレートを用いて、候補決定部に眼候補位置を決定させることができるため、個人差に柔軟に対応することができる。例えば、眼の形状等に個人差がある場合であっても、迅速かつ精度よくエッジ画像を走査して眼の位置を認識することができる。 With the above configuration, the candidate determination unit can determine the eye candidate position using the template whose shape is deformed based on the coefficient of the eye position candidate corresponding to the eye position determined by the eye position determination unit. It is possible to respond flexibly to individual differences. For example, even if there are individual differences in eye shape or the like, the eye position can be recognized by scanning the edge image quickly and accurately.
(3)上記眼位置認識装置において、前記テンプレートの形状は円弧形状であり、エッジ形状の近似曲線とするのが好ましい。これにより、エッジ検出を行いやすい上瞼のみに基づいて眼の位置を認識することができる。 (3) In the eye position recognition device, the shape of the template is preferably an arc shape, and is preferably an approximate curve of an edge shape. Thereby, the position of the eye can be recognized based only on the upper eyelid that can easily detect the edge.
(5)上記眼位置認識装置において、前記エッジ検出部は、前記解析領域において、左領域および右領域のいずれであるかによって異なるエッジ検出を行ってもよい。これにより、左右の画像領域の特徴に応じたエッジ検出を行うことができる。 (5) In the eye position recognition device, the edge detection unit may perform different edge detection depending on whether the analysis region is a left region or a right region. Thereby, edge detection according to the feature of the left and right image regions can be performed.
(6)上記眼位置認識装置において、前記エッジ検出部は、前記解析領域の左領域に対しては、左上から右下への斜め方向の輝度勾配を強調するフィルタを用いてエッジ検出を行い、前記解析領域の右領域に対しては、右上から左下への斜め方向の輝度勾配を強調するフィルタを用いてエッジ検出を行ってもよい。これにより、上瞼が凸形状であることを考慮して、迅速かつ精度よく上瞼のエッジ検出を行うことができる。 (6) In the eye position recognition device, the edge detection unit performs edge detection on a left region of the analysis region using a filter that emphasizes a luminance gradient in an oblique direction from upper left to lower right, For the right region of the analysis region, edge detection may be performed using a filter that emphasizes a luminance gradient in an oblique direction from upper right to lower left. Accordingly, it is possible to detect the edge of the upper eyelid quickly and accurately in consideration of the convex shape of the upper eyelid.
(7)上記眼位置認識装置において、前記眼候補位置における前記顔画像に基づいて、前記顔画像の対象人物が眠っているか否かを判定する、眼の状態判定部をさらに備えていてもよい。これにより、例えば、運転中の眼の状態から居眠りにつながる危険な状態であるドライバに対して、警告を促すことができる。 (7) The eye position recognition device may further include an eye state determination unit that determines whether the target person of the face image is sleeping based on the face image at the eye candidate position. . Thereby, for example, a warning can be urged to a driver who is in a dangerous state that leads to falling asleep from the state of eyes while driving.
[1−1.機能ブロック図]
図1は、本実施形態にかかる眼位置認識装置の構成例を示す機能ブロック図である。眼位置認識装置1は、例えば、自動車等の車載機に組み込まれるかまたはこれと連動させることにより、ドライバが運転中に居眠りにつながる危険な状態であることを認識して、ドライバや管理者等に対して警告や注意喚起を行うことができる。
[1-1. Functional block diagram]
FIG. 1 is a functional block diagram illustrating a configuration example of the eye position recognition device according to the present embodiment. The eye
図1に示す眼位置認識装置1は、取得部11、顔認識部12、解析領域決定部13、エッジ検出部14、候補決定部15、曲線近似部16、保持部17、テンプレート変形部18、眼位置確定部19および眼の状態判定部20を備える。
An eye
取得部11は、カメラ装置2等の撮像装置が撮像した顔画像を取得する。ここで、顔画像とは、認識対象となる人物の顔を含む画像である。
The acquisition unit 11 acquires a face image captured by an imaging device such as the
顔認識部12は、上記取得部11において取得された顔画像の中から顔領域を認識する。ここで、顔領域とは、認識対象となる人物の顔を示す領域である。
The
解析領域決定部13は、上記顔認識部12において認識した顔領域に基づいて、この顔領域内の解析領域を決定する。ここで、解析領域とは、顔近傍において眼が存在する可能性の高い領域として解析対象となる領域である。
The analysis
エッジ検出部14は、解析領域決定部13で決定された解析領域を示す画像をエッジ検出してエッジ画像を取得する。例えば、眼が存在する場合には、眼形状のエッジが検出されることになる。
The
候補決定部15は、取得したエッジ画像を、テンプレートを用いて走査する。また、テンプレートとエッジ画像内における所定画像領域との一致度合いを算出する。さらに、一致度合いが閾値以上となる画像領域を眼候補位置として決定する。例えば、テンプレートは、上瞼を模擬した上に凸の半円弧形状とすることができる。この場合、エッジ画像のエッジラインがテンプレートと重畳するか否かを画素列毎に判断する。
The
曲線近似部16は、候補決定部15において眼候補位置として決定した画像領域のエッジ形状を曲線に近似する。例えば、曲線を二次曲線に近似する。
The
保持部17は、候補決定部において決定した眼候補位置を、候補決定部15において算出した一致度合いおよび、曲線近似部16で近似した曲線を特定するための係数に対応付けて保持する。
The holding
テンプレート変形部18は、保持部17に保持された係数に基づいてテンプレートの形状を変形させる。例えば、初期において設定された円弧形状のテンプレートについて、二次曲線の係数に基づいてその湾曲度合いを変更する。
The
眼位置確定部19は、候補決定部15において決定された眼候補位置の中から、眼位置を確定する。例えば、2つの眼候補位置のエッジが同時に上下移動したことを瞬きとみなして、これらの眼候補位置を眼位置として確定することができる。
The eye
また、テンプレート変形部18は、眼位置確定部19において確定された眼位置に対応する眼位置候補にかかる係数に基づいて、テンプレートの形状を変形させる。これにより、長時間の画像認識処理において眼位置が収束していく眼の形状をテンプレートとすることができる。これにより、眼の形状等に個人差がある場合であっても、迅速かつ精度よくエッジ画像を走査して眼の位置を認識することができる。
Further, the
眼の状態判定部20は、眼候補位置における顔画像に基づいて、顔画像の対象人物が眼を開いている否かを判定する。例えば、眼位置において所定期間黒眼が認識できないことに基づいて、居眠り運転につながるドライバの眼の状態を判断することができる。
Based on the face image at the eye candidate position, the eye
本実施形態にかかる眼位置認識装置1は、例えば、パーソナルコンピュータやサーバマシン等の汎用コンピュータにより構成することができる。取得部11、顔認識部12、解析領域決定部13、エッジ検出部14、候補決定部15、曲線近似部16、テンプレート変形部18、眼位置確定部19および眼の状態判定部20の各機能部の機能は、コンピュータが備えるプロセッサ(例えば、CPU等。)が所定のプログラムを実行することにより実現される。従って、コンピュータを前記各機能部として機能させるための眼位置認識プログラムおよびそれを記録した記録媒体も本発明の実施形態に含まれる。
The eye
[1−2.眼位置認識処理のフローチャート]
図2は、眼位置認識装置1をコンピュータを用いて実現するためのプログラムの処理例を示すフローチャートである。図2に示す例では、取得部11がカメラ装置2から送出された1つの画像フレームを取得すると、顔認識部12は、顔位置検出を行う(Op01)。
[1-2. Eye position recognition process flowchart]
FIG. 2 is a flowchart showing a processing example of a program for realizing the eye
ここで、顔位置検出の具体例を説明する。以下に示す例は、上述したように、眼位置認識装置1が自動車等の車載機に組み込まれるかまたはこれと連動させることにより、ドライバが運転中に居眠りにつながるドライバの眼の状態であることを認識して、ドライバや管理者等に対して警告や注意喚起を行う場合の例である。
Here, a specific example of face position detection will be described. In the example shown below, as described above, the eye
図5Aは、取得部11がカメラ装置2から取得する顔画像50の一例である。この顔画像50は、対象人物であるドライバの顔をほぼ正面から撮影した画像である。
FIG. 5A is an example of a
顔認識部12は、所得した顔画像50において顔領域を認識する。顔領域の認識方法としては、例えば、顔画像内において、所定の大きさを占める連続した肌色領域を検出し、検出した肌色領域の外形が略楕円形であるか否かに基づいて行うことができる。なお、肌色領域の検出には、例えば、HSV表色系の色空間に変換して検出を行うことができる。一例として、注目画素の色相成分Hが、所定の閾値Th1およびTh2の範囲にあり、かつ、注目画素の彩度成分Sが、所定の閾値Th3およびTh4の範囲にあれば、肌色と判断することができる。HSV表色系を用いることにより、肌の色の変化に対して広範囲の検出が可能となり、黒人や白人等のように皮膚の色が異なる場合であっても、皮膚の色によらず精度よく肌色を認識することが可能となる。
The
図5Aにおいては、肌色領域の外周に楕円をフィッティングさせることにより顔領域51を認識する。一方、図5Bは、顔向きが左向きのドライバを撮像した顔画像の一例である。この場合、例えば、モーメント計算等によりフィッティングさせる楕円を変形させて顔領域51aを認識すればよい。
In FIG. 5A, the
Op01において、顔位置検出を終えると、解析領域決定部13は、鼻位置検出を実行する(Op02)。鼻位置検出は、例えば、認識した顔領域51において、中心付近に存在する2つの鼻孔を、画素の輝度変化に基づいて検出することに基づいて行うことができる。なお、図5Aにおいては、2つの鼻孔の中間位置を鼻位置52として決定している。
When the face position detection is completed in Op01, the analysis
続いて解析領域決定部13は、認識した顔領域51および鼻位置52に基づいて、眼が存在すると考えられる解析領域を決定する(Op03)。例えば、この解析領域は、顔領域51内において鼻位置52に上部に、左右それぞれの眼が存在すると考えられる位置に矩形形状を設定することにより決定される。図5Aにおいては、左右のそれぞれの眼を取り囲む矩形形状の領域53および54が決定されている。
Subsequently, the analysis
次に、エッジ検出部14は、上記において設定した解析領域(例えば、領域53、54。)を示す画像の画素値を用いて、解析領域内に、認識対象人物の「上瞼」があるか否かをエッジ検出によって判断する(Op04)。例えば、エッジ検出は、解析領域を水平方向に二分して左領域および右領域に分け、それぞれの領域で異なるフィルタを用いてエッジ検出を行うことができる。
Next, the
図6Aは解析領域54の拡大図である。垂直線60は、解析領域54の中心部において左領域62および右領域61に二分する線分である。なお、垂直線60は、眼領域を水平方向に2分割するよう設定することが望ましい。
FIG. 6A is an enlarged view of the
図6Bは、左領域62をエッジ検出する場合に用いるフィルタの一例である。このフィルタ66は、左上から右下への斜め方向の輝度勾配を強調するフィルタであるので、右上から左下への斜め方向において形成される対角列の値がすべて0となっている。また、図6Cは、右領域61をエッジ検出する場合に用いるフィルタの一例である。このフィルタ67は、右上から左下への斜め方向の輝度勾配を強調するフィルタであるので、左上から右下への斜め方向において形成される対角列の値がすべて0となっている。
FIG. 6B is an example of a filter used when detecting an edge of the
このように、左右の領域で異なるフィルタを用いてエッジ検出を行うことにより、上瞼の略円弧形状を精度良くエッジ検出することができる。 Thus, by performing edge detection using different filters in the left and right regions, it is possible to accurately detect the edge of the substantially arc shape of the upper eyelid.
候補決定部15は、テンプレートの作成を行う(Op05)。ここで、テンプレートとは、Op04においてエッジ検出によって取得したエッジ画像を走査するためのものである。つまり、エッジ画像上のエッジラインとのフィッティングに用いるためのものである。例えば、テンプレートの作成においては、顔領域51に基づく顔幅や顔向きから算出した眼の幅および高さを推測して、その形状や大きさを決定する。一例として、「顔幅の1/N1」を「眼の幅」とし、「眼の幅の1/N2」を「眼の高さ」とし、「眼の幅」と「眼の高さ」で決定される楕円の円周上の一部を眼形状としてもよい。図7Aは、Op05において作成されたテンプレートの一例を示す図である。
The
続いて候補決定部15は、上記テンプレートを用いてフィッティングを行う(Op06)。フィッティングは、Op04で抽出したエッジ画像に対し、テンプレートがエッジラインにフィットする箇所を走査する。図7Bは、エッジ画像をテンプレート71を用いて走査する場合の一例を示す模式図である。例えば、テンプレート71をエッジ画像の左上角からX方向およびY方向に所定画素数づつ移動させて、左上から右下まで走査する。
Subsequently, the
さらに候補決定部15は、走査上の各位置に対し、テンプレート71とエッジラインとの一致度合いを示すフィット率を算出する。具体的には、図7Aに示すテンプレートを示す画素部分70における上M1画素(図7Aでは3画素)から、下M2画素(図7Aでは3画素)の範囲(調査対象範囲)内に、所定の閾値よりも高いエッジ値がある場合、その形状上の点はフィットしているとしてフィット率を算出する。
Further, the
フィット率は、一例として、テンプレートを構成する各画素列(縦方向)毎に、エッジラインが調査対象範囲に存在するか否かを判断して算出する。つまり、エッジラインが調査対象範囲に存在する場合を、画素列がフィットしていると判断する。具体的には、下記式で算出可能である。
フィット率=(フィットした画素列の個数÷テンプレートの全画素列数)×100
候補決定部15は、フィット率が所定値以上となるエッジラインの位置を、眼候補位置として記憶する。例えば、フィット率が60%以上であるエッジラインの位置を記憶する。なお、この眼候補位置は複数存在してもよい。
As an example, the fit rate is calculated by determining whether an edge line exists in the investigation target range for each pixel column (vertical direction) constituting the template. That is, when the edge line exists in the investigation target range, it is determined that the pixel row is fitted. Specifically, it can be calculated by the following formula.
Fit rate = (number of fitted pixel columns / total number of pixel columns of template) × 100
The
図8は、フィット率が所定値以上となるエッジラインの具体例を示す図である。図8Aの81は、図6Aの解析領域54における眉毛上部63のエッジラインである。同様に、図8Aの82は、解析領域53における眉毛上部のエッジラインである。図8Bの83は、図6Aの解析領域54におけるメガネ上部64のエッジラインである。同様に、図8Bの84は、解析領域53におけるメガネ上部のエッジラインである。図8Cの85は、図6Aの解析領域54における上瞼65のエッジラインである。同様に、図8Cの86は、解析領域53における上瞼のエッジラインである。
FIG. 8 is a diagram illustrating a specific example of an edge line in which the fit rate is equal to or greater than a predetermined value. 8A is an edge line of the
このように、図7Aに示した円弧形状のテンプレートを用いることにより、このテンプレートと略同一形状のエッジラインを抽出することができる。 Thus, by using the arc-shaped template shown in FIG. 7A, an edge line having substantially the same shape as this template can be extracted.
曲線近似部16は、眼候補位置として抽出したエッジラインに対して上瞼検出を行う(Op07)。上瞼検出では、上瞼の候補となるエッジラインを二次曲線で近似する。
The
図9は、図8Cの86に示した眼候補位置のエッジラインを曲線近似する場合の例を示す図である。曲線近似部16は、エッジライン上の各画素列において、最もエッジ値が高い点をそれぞれ選択する。そして、選択した各点に対して曲線補間を行い、上瞼を示す二次曲線として決定する。例えば、図9において、画素列91では画素91aが選択され、画素列92では画素92aが選択されている。これらを含む他の画素列において選択された画素を、例えば、最小二乗法を用いて二次曲線99に近似する。
FIG. 9 is a diagram illustrating an example in the case of curve approximation of the edge line of the eye candidate position indicated by 86 in FIG. 8C. The
続いて曲線近似部16は、候補破棄の有無を判断する(Op08)。例えば、上瞼検出(Op07)において近似した二次曲線の係数が閾値以上または閾値未満の眼候補位置を破棄する。また、複数の画像フレームについて処理を行っている場合においては、前の画像フレームの位置からの移動量が閾値以上である眼候補位置を破棄する。また、連続する画像フレームにおいてフィット率が不安定な候補位置を破棄する。これにより、眼候補位置のエッジラインが眼である確率を向上させることができる。
Subsequently, the
続いて曲線近似部16は、対応する左右逆の眼に相当する眼候補位置が存在するか否かを判断し、存在する場合には(Op09、Yes)、眼候補位置を保持部17であるメモリ等に蓄積する(Op10)。図10は、Op10で蓄積される眼候補位置情報の一例である。各眼候補位置には、識別ID101が連続番号で付され、Op06で算出したフィット率102、Op07で近似した二次曲線の係数103およびエッジラインの画素位置104等が蓄積される。また、蓄積後は、上記Op01に戻って、次の画像フレームについて上記と同様の処理を継続させる。
Subsequently, the
一方、対応する左右逆の眼に相当する眼候補位置が存在しなければ(Op09、No)、Op10をスキップして、上記Op01に戻って、次の画像フレームについて上記と同様の処理を継続させる。 On the other hand, if there is no eye candidate position corresponding to the corresponding left and right eye (Op09, No), Op10 is skipped, the process returns to Op01, and the same processing as described above is continued for the next image frame. .
[1−3.テンプレート変形処理のフローチャート]
図3は、テンプレート変形処理の処理例を示すフローチャートの一例である。上記Op05では、例えば、顔領域51に基づく顔幅や顔向きから算出した眼の幅および高さを推測して、その形状や大きさを決定し、これらの情報に基づいてテンプレートを作成する例を説明した。しかし、眼候補位置が実際の眼位置であると判定できた場合には、眼の形状に合わせてテンプレートを変形することが望ましい。テンプレートを変形させることにより、対象人物の眼の形状に応じたテンプレート形状を用いて認識処理を実行することができる。これにより、認識精度の向上と認識速度の向上を実現できる。
[1-3. Template transformation process flowchart]
FIG. 3 is an example of a flowchart illustrating a processing example of template deformation processing. In Op05, for example, an eye width and height calculated from the face width and face orientation based on the
眼位置確定部19は、眼候補位置を読み込む(Op11)。例えば、図10に示した識別ID101で特定される眼候補位置の各画素位置104を順に読み込む。これにより、テンプレート変形部18は、眼候補位置付近の眼形状を認識する。
The eye
次に、眼位置確定部19は、認識した眼形状において瞬きがあったか否かを判断する(Op12)。例えば、瞬きの判断は、2つの眼形状の輝度変化が同時に生じていることに基づいて判断することができる。瞬きは、左右の眼で同時に行われるからである。また、瞬きの別の判断は、閉眼専用のテンプレート形状を用いることで、閉眼専用テンプレートのフィット率から瞬きを判断することができる。
Next, the eye
眼位置確定部19は、瞬きがあると判断すると(Op12、Yes)、瞬きのあった眼形状の組み合わせを眼位置として確定する(Op13)。一方、瞬きがないと判断すると(Op12、No)、Op11に戻って処理を繰り返す。
When it is determined that there is a blink (Op12, Yes), the eye
続いてテンプレート変形部18は、眼位置確定部19において眼位置と確定された眼候補位置にかかる近似二次曲線の係数103に基づいて、テンプレートを変形させる(Op14)。具体的には、図7Aにおいて示したテンプレートの湾曲度を上記係数103を用いて変形させる。
Subsequently, the
[1−4.眼の状態判定処理のフローチャート]
図4は、眼の状態判定処理の処理例を示すフローチャートの一例である。眼の状態判定処理とは、上記眼位置確定部19において確定された眼位置に基づいて画像認識を行うことにより、眼の状態からドライバが居眠りにつながる危険状態か否かを判定する処理である。
[1-4. Flow chart of eye state determination process]
FIG. 4 is an example of a flowchart illustrating a processing example of eye state determination processing. The eye state determination process is a process for determining whether or not the driver is in a dangerous state leading to doze from the eye state by performing image recognition based on the eye position determined by the eye
眼の状態判定部20は、上記眼位置確定部19において確定された眼位置を読み込む(Op21)。例えば、図10に示した識別ID101で特定される眼候補位置の各画素位置104を読み込む。これにより、眼の状態判定部10は、眼位置付近の眼形状を認識する。
The eye
次に、眼の状態判定部20は、認識した眼形状において、眼が所定時間以上閉じている状態にあるか否かを判断する(Op22)。例えば、眼が閉じているか否かの判断は、2つの眼形状の輝度変化が同時に所定時間継続していることに基づいて判断することができる。居眠り時には、左右の眼が同時に閉じていると考えられるからである。また、眼の状態から眼の開き具合の低下が所定時間継続した場合も覚醒度が低下していると判断することができる。
Next, the eye
また、認識した上瞼の形状とテンプレートとのフィッティングを行ってフィット率を算出し、図10に示した識別ID101で特定される眼候補位置のフィット率との一致度を考慮してもよい。このように、フィット率の一致度を考慮することにより、例えば、上瞼におけるエッジラインの個人差に柔軟に対応することができる。なぜなら、上瞼付近の睫の色や形状の個人差によりエッジラインが必ずしも鮮明ではないからである
眼の状態判定部20は、所定時間眼が閉じている(あるいは眼の開き具合が低下している)と判断すると(Op22、Yes)、危険状態と判定して(Op23)、外部装置に眼の状態判定の結果を出力する(Op24)。これを受けて、外部装置3は、スピーカ(図示しない)から警告音声を出力する。また、スピーカでの警告以外に、カーステレオのボリュームを上げたり、ドライバ以外の管理者等に通報を行うようにしてもよい。
Further, the fitting rate may be calculated by fitting the recognized upper eyelid shape with the template, and the degree of coincidence with the fitting rate of the eye candidate position specified by the
一方、所定時間眼が閉じていない(あるいは眼の開き具合が低下していない)と判断すると(Op22、No)、Op21に戻って処理を繰り返す。 On the other hand, if it is determined that the eyes are not closed for a predetermined time (or the degree of eye opening is not reduced) (Op22, No), the process returns to Op21 and is repeated.
以上、本実施形態によれば、眼位置確定部において確定された眼位置に対応する眼位置候補の係数に基づいて形状を変形させたテンプレートを用いて、候補決定部に眼候補位置を決定させることができるため、個人差に柔軟に対応することができる。例えば、眼の形状等に個人差がある場合であっても、迅速かつ精度よくエッジ画像を走査して眼の位置を認識することができる。 As described above, according to the present embodiment, the candidate determination unit determines the eye candidate position using the template whose shape is deformed based on the coefficient of the eye position candidate corresponding to the eye position determined by the eye position determination unit. Therefore, it is possible to flexibly cope with individual differences. For example, even if there are individual differences in eye shape or the like, the eye position can be recognized by scanning the edge image quickly and accurately.
そして、この検出方法をドライバの状態検出に対して適用することにより、ドライバが危険状態と認識した場合には、ドライバや管理者等に対して警告や注意喚起を行うことができる。 By applying this detection method to driver state detection, when the driver recognizes a dangerous state, a warning or alert can be given to the driver, administrator, or the like.
[2.その他の実施形態]
[2−1.眼位置の確定回数]
(4)上記眼位置認識装置において、前記保持部は、眼候補位置について前記眼位置確定部が眼位置として確定した回数を保持しており、前記テンプレート変形部は、前記回数が所定回数に達した場合に、前記係数の平均値に基づいて前記テンプレートの形状を変形させてもよい。これにより、認識率の高い曲線の係数に基づいてテンプレートの形状を変形でき、認識処理を迅速かつ精度よく行うことができる。
[2. Other Embodiments]
[2-1. Number of eye position determinations]
(4) In the eye position recognition device, the holding unit holds the number of times that the eye position determining unit determines the eye position for the eye candidate position, and the template deforming unit reaches the predetermined number of times. In this case, the shape of the template may be deformed based on the average value of the coefficients. Thereby, the shape of the template can be deformed based on the coefficient of the curve with a high recognition rate, and the recognition process can be performed quickly and accurately.
上記テンプレート変形処理においては、眼位置確定部19は、瞬きがあると判断すると(Op12、Yes)、瞬きのあった眼形状の組み合わせを眼位置として確定する(Op13)ように構成したが、Op12の判定は、瞬きが所定回数以上あった眼候補位置について決定するようにしてもよい。これにより、眼位置である精度を向上させることができる。
In the template deformation process, when the eye
この場合、図10に示した蓄積情報において、瞬きがあると判断する度に、識別IDで特定される眼候補位置の回数105をカウントアップするように構成すればよい。図10においては、識別ID「005」および「006」の眼候補位置の回数105がそれぞれ「10回」であるので、所定回数が「10回」である場合にはテンプレート変形処理を行うように構成することができる。
In this case, the accumulated information shown in FIG. 10 may be configured to count up the
[2−2.フィット率の重み付け]
上記実施形態においては、フィット率の算出は、「フィットした画素列の個数」を「テンプレートの全画素列数」で除算することによって算出したが、各画素列に重み付けを行うようにしてもよい。
[2-2. Fit rate weighting]
In the above embodiment, the fit ratio is calculated by dividing “the number of fitted pixel columns” by “the total number of pixel columns of the template”, but each pixel column may be weighted. .
図11は、画素列によってフィット率を算出する重み付けを変更する一例を示す図である。図11において画素列群111については重みw1を乗ずるようにし、画素列群112については重みw2を乗ずるようにして、フィット率を算出してもよい。
FIG. 11 is a diagram illustrating an example of changing the weighting for calculating the fit rate according to the pixel column. In FIG. 11, the fit rate may be calculated by multiplying the
これにより、目頭周辺のエッジが出にくい等の個人差に柔軟に対応することができる。 As a result, it is possible to flexibly cope with individual differences such as the edge around the eye is difficult to appear.
[2−3.フィルタ係数]
上記実施形態においては、左右の領域で異なるフィルタを用いてエッジ検出を行う例を説明したが、認識した眼の形状に応じてフィルタを変更してもよい。例えば、上瞼形状が円弧ではなく扁平な形状である場合には、縦方向のフィルタ係数を大きくしてもよい。また、上瞼形状が縦長の場合、横方向の係数を大きくしてもよい。なお、フィルタを変更した場合には、図10に示した眼候補位置の蓄積情報をすべてクリアすることが望ましい。フィルタが変更となることで、蓄積状況に影響を与えるからである。
[2-3. Filter coefficient]
In the above embodiment, an example in which edge detection is performed using different filters in the left and right regions has been described, but the filter may be changed according to the recognized eye shape. For example, when the upper collar shape is not a circular arc but a flat shape, the vertical filter coefficient may be increased. Further, when the upper collar shape is vertically long, the coefficient in the horizontal direction may be increased. When the filter is changed, it is desirable to clear all the accumulated information of the eye candidate positions shown in FIG. This is because changing the filter affects the accumulation status.
[2−4.フィット率の算出]
上記実施形態においては、候補決定部15は、図7Aに示すテンプレートを示す画素部分70における上M1画素(図7Aでは3画素)から、下M2画素(図7Aでは3画素)の範囲(調査対象範囲)内に、所定の閾値よりも高いエッジ値がある場合、その形状上の点はフィットしているとしてフィット率を算出するように構成した。
[2-4. Calculation of fit rate]
In the above embodiment, the
しかし、認識処理の回数や時間経過とともにM1またはM2の値を変動させてもよい。例えば、認識開始直後は、大雑把にテンプレートをフィッティングさせるため、M1またはM2を大きくしておき、所定時間経過後はM1またはM2を個人毎の眼の形状にフィットできる範囲で小さくしてもよい。これにより、眼の大きさ等の個人差に柔軟に対応した認識処理が可能となる。 However, the value of M1 or M2 may be changed with the number of times of recognition processing and the passage of time. For example, immediately after the start of recognition, in order to fit the template roughly, M1 or M2 may be increased, and after a predetermined time has elapsed, M1 or M2 may be decreased within a range that can fit the eye shape of each individual. Thereby, the recognition process which respond | corresponded flexibly to individual differences, such as an eye size, is attained.
[2−5.曲線近似]
上記実施形態においては、眼候補位置として決定した画像領域のエッジ形状を二次曲線に近似する例について説明した。しかし、他の曲線に近似してもよい。例えば三次曲線、四次曲線等に近似してもよい。また、線分を組み合わせた形状や任意の形状に近似してもよい。
[2-5. Curve approximation]
In the above-described embodiment, the example in which the edge shape of the image region determined as the eye candidate position is approximated to a quadratic curve has been described. However, it may be approximated to other curves. For example, you may approximate to a cubic curve, a quartic curve, etc. Moreover, you may approximate the shape which combined the line segment, or arbitrary shapes.
[2−6.各機能ブロックの実現方法]
上記実施形態においては、図1に示す各機能ブロックを、ソフトウェアを実行するCPUの処理によって実現している。しかし、その一部もしくは全てを、ロジック回路等のハードウェアによって実現してもよい。なお、プログラムの一部の処理をさらに、オペレーティング・システム(OS)にさせるようにしてもよい。
[2-6. Realization method of each functional block]
In the above embodiment, each functional block shown in FIG. 1 is realized by processing of a CPU that executes software. However, some or all of them may be realized by hardware such as a logic circuit. In addition, you may make it make an operating system (OS) further process a part of program.
11 取得部
12 顔認識部
13 解析領域決定部
14 エッジ検出部
15 候補決定部
16 曲線近似部
17 保持部
18 テンプレート変形部
19 眼位置確定部
20 眼の状態判定部
2 カメラ装置
3 外部装置
DESCRIPTION OF SYMBOLS 11
Claims (9)
顔画像のうち顔領域を認識する顔認識部と、
前記顔領域に基づいて、前記顔領域内の眼位置の解析領域を決定する解析領域決定部と、
前記解析領域をエッジ検出してエッジ画像を取得するエッジ検出部と、
前記エッジ画像をテンプレートを用いて走査して当該テンプレートと前記エッジ画像内における所定画像領域との一致度合いを算出し、前記一致度合いが閾値以上となる画像領域を眼候補位置として決定する候補決定部と、
前記眼候補位置として決定した画像領域のエッジ形状を曲線に近似する曲線近似部と、
前記候補決定部において決定した眼候補位置を、前記候補決定部において算出した一致度合いおよび、前記曲線近似部で近似した曲線を特定するための係数に対応付けて保持する保持部と、
前記保持部に保持された前記係数に基づいて前記テンプレートの形状を変形させるテンプレート変形部とを備えた、眼位置認識装置。 An acquisition unit for acquiring a face image;
A face recognition unit for recognizing a face area in a face image;
An analysis region determination unit that determines an analysis region of the eye position in the face region based on the face region;
An edge detection unit that detects an edge of the analysis region and acquires an edge image;
A candidate determining unit that scans the edge image using a template, calculates a matching degree between the template and a predetermined image area in the edge image, and determines an image area in which the matching degree is equal to or greater than a threshold as an eye candidate position When,
A curve approximation unit that approximates the edge shape of the image region determined as the eye candidate position to a curve;
A holding unit that holds the eye candidate position determined in the candidate determination unit in association with the degree of coincidence calculated in the candidate determination unit and a coefficient for specifying a curve approximated in the curve approximation unit;
An eye position recognition device comprising: a template deforming unit that deforms the shape of the template based on the coefficient held in the holding unit.
前記テンプレート変形部は、前記眼位置確定部において確定された眼位置に対応する眼位置候補にかかる前記係数に基づいて前記テンプレートの形状を変形させる、請求項1に記載の、眼位置認識装置。 Among eye candidate positions determined by the candidate determination unit, further comprising an eye position determination unit for determining an eye position,
The eye position recognition device according to claim 1, wherein the template deforming unit deforms the shape of the template based on the coefficient relating to an eye position candidate corresponding to the eye position determined by the eye position determining unit.
前記テンプレート変形部は、前記回数が所定回数に達した場合に、前記係数に基づいて前記テンプレートの形状を変形させる、請求項1〜3のいずれか1項に記載の眼位置認識装置。 The holding unit holds the number of times the eye position determination unit has determined the eye position for the eye candidate position,
The eye position recognition device according to claim 1, wherein the template deforming unit deforms the shape of the template based on the coefficient when the number of times reaches a predetermined number.
顔画像のうち顔領域を認識する顔認識処理と、
前記顔領域に基づいて、前記顔領域内の眼位置の解析領域を決定する解析領域決定処理と、
前記解析領域をエッジ検出してエッジ画像を取得するエッジ検出処理と、
前記エッジ画像をテンプレートを用いて走査して当該テンプレートと前記エッジ画像内における所定画像領域との一致度合いを算出し、前記一致度合いが閾値以上となる画像領域を眼候補位置として決定する候補決定処理と、
前記眼候補位置として決定した画像領域のエッジ形状を曲線に近似する曲線近似処理と、
前記候補決定処理において決定した眼候補位置を、前記候補決定処理において算出した一致度合いおよび、前記曲線近似処理で近似した曲線を特定するための係数に対応付けて保持する保持部に保持された前記係数に基づいて、前記テンプレートの形状を変形させるテンプレート変形処理とをコンピュータに実行させる、眼位置認識プログラム。 An acquisition process for acquiring a face image;
Face recognition processing for recognizing a face area in a face image;
Based on the face area, an analysis area determination process for determining an analysis area of the eye position in the face area;
Edge detection processing for obtaining an edge image by performing edge detection on the analysis region;
Candidate determination processing for scanning the edge image using a template, calculating a degree of coincidence between the template and a predetermined image area in the edge image, and determining an image area where the degree of coincidence is a threshold value or more as an eye candidate position When,
A curve approximation process for approximating the edge shape of the image region determined as the eye candidate position to a curve;
The eye candidate position determined in the candidate determination process is held in a holding unit that holds the eye degree corresponding to the degree of coincidence calculated in the candidate determination process and the coefficient for specifying the curve approximated in the curve approximation process An eye position recognition program for causing a computer to execute template deformation processing for deforming the shape of the template based on a coefficient.
顔画像のうち顔領域を認識する顔認識工程と、
前記顔領域に基づいて、前記顔領域内の眼位置の解析領域を決定する解析領域決定工程と、
前記解析領域をエッジ検出してエッジ画像を取得するエッジ検出工程と、
前記エッジ画像をテンプレートを用いて走査して当該テンプレートと前記エッジ画像内における所定画像領域との一致度合いを算出し、前記一致度合いが閾値以上となる画像領域を眼候補位置として決定する候補決定工程と、
前記眼候補位置として決定した画像領域のエッジ形状を曲線に近似する曲線近似工程と、
前記候補決定工程において決定した眼候補位置を、前記候補決定工程において算出した一致度合いおよび、前記曲線近似工程で近似した曲線を特定するための係数に対応付けて保持する保持部に保持された前記係数に基づいて、前記テンプレートの形状を変形させるテンプレート変形工程とを含む、眼位置認識方法。 An acquisition step of acquiring a face image;
A face recognition process for recognizing a face area in a face image;
An analysis region determination step of determining an analysis region of an eye position in the face region based on the face region;
An edge detection step of obtaining an edge image by performing edge detection on the analysis region;
Candidate determination step of scanning the edge image using a template, calculating a degree of coincidence between the template and a predetermined image area in the edge image, and determining an image area where the degree of coincidence is equal to or greater than a threshold as an eye candidate position When,
A curve approximation step for approximating the edge shape of the image region determined as the eye candidate position to a curve;
The eye candidate position determined in the candidate determination step is held in a holding unit that holds the matching degree calculated in the candidate determination step and the coefficient for specifying the curve approximated in the curve approximation step. A template deformation step of deforming the shape of the template based on a coefficient.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009237315A JP5493676B2 (en) | 2009-10-14 | 2009-10-14 | Eye position recognition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009237315A JP5493676B2 (en) | 2009-10-14 | 2009-10-14 | Eye position recognition device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011086051A true JP2011086051A (en) | 2011-04-28 |
JP5493676B2 JP5493676B2 (en) | 2014-05-14 |
Family
ID=44078959
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009237315A Active JP5493676B2 (en) | 2009-10-14 | 2009-10-14 | Eye position recognition device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5493676B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012140782A1 (en) * | 2011-04-15 | 2012-10-18 | アイシン精機株式会社 | Eyelid-detection device, eyelid-detection method, and program |
JP2015522200A (en) * | 2012-08-28 | 2015-08-03 | 騰訊科技(深▲セン▼)有限公司Tencent Technology(Shenzhen)Company Limited | Human face feature point positioning method, apparatus, and storage medium |
DE102017203649A1 (en) | 2016-03-07 | 2017-09-07 | Omron Automotive Electronics Co., Ltd. | FACE IMAGE PROCESSING DEVICE |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1994023390A1 (en) * | 1993-03-29 | 1994-10-13 | Matsushita Electric Industrial Co., Ltd. | Apparatus for identifying person |
JP2001273501A (en) * | 2000-02-08 | 2001-10-05 | Univ Of Washington | Method for tracking object in plural picture frames |
JP2002074375A (en) * | 2000-08-28 | 2002-03-15 | Univ Of Washington | Method for estimating desired contour of image object |
JP2002185798A (en) * | 2000-12-18 | 2002-06-28 | Ricoh Co Ltd | Image processing unit |
JP2008257575A (en) * | 2007-04-06 | 2008-10-23 | Fujitsu Ltd | Sleeping state detecting method, sleeping state detector, sleeping state detecting system and computer program |
-
2009
- 2009-10-14 JP JP2009237315A patent/JP5493676B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1994023390A1 (en) * | 1993-03-29 | 1994-10-13 | Matsushita Electric Industrial Co., Ltd. | Apparatus for identifying person |
JP2001273501A (en) * | 2000-02-08 | 2001-10-05 | Univ Of Washington | Method for tracking object in plural picture frames |
JP2002074375A (en) * | 2000-08-28 | 2002-03-15 | Univ Of Washington | Method for estimating desired contour of image object |
JP2002185798A (en) * | 2000-12-18 | 2002-06-28 | Ricoh Co Ltd | Image processing unit |
JP2008257575A (en) * | 2007-04-06 | 2008-10-23 | Fujitsu Ltd | Sleeping state detecting method, sleeping state detector, sleeping state detecting system and computer program |
Non-Patent Citations (2)
Title |
---|
ALAN L. YUILLE, PETER W. HALLINAN, DAVID S. COHEN: ""Feature extraction from faces using deformable templates"", INTERNATIONAL JOURNAL OF COMPUTER VISION, vol. 8, no. 2, JPN6013025205, 31 August 1992 (1992-08-31), NL, pages 99 - 111, ISSN: 0002539266 * |
片原 俊司、青木 正喜: ""時系列顔画像からの目の動き検出と閉眼の検出"", 画像電子学会誌, vol. 26, no. 2, JPN6013025203, 25 April 1997 (1997-04-25), JP, pages 77 - 85, ISSN: 0002539265 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012140782A1 (en) * | 2011-04-15 | 2012-10-18 | アイシン精機株式会社 | Eyelid-detection device, eyelid-detection method, and program |
JP5454737B2 (en) * | 2011-04-15 | 2014-03-26 | アイシン精機株式会社 | Wrinkle detection device, wrinkle detection method and program |
US8824739B2 (en) | 2011-04-15 | 2014-09-02 | Aisin Seiki Kabushiki Kaisha | Eyelid-detection device, eyelid-detection method, and recording medium |
JP2015522200A (en) * | 2012-08-28 | 2015-08-03 | 騰訊科技(深▲セン▼)有限公司Tencent Technology(Shenzhen)Company Limited | Human face feature point positioning method, apparatus, and storage medium |
DE102017203649A1 (en) | 2016-03-07 | 2017-09-07 | Omron Automotive Electronics Co., Ltd. | FACE IMAGE PROCESSING DEVICE |
US10223577B2 (en) | 2016-03-07 | 2019-03-05 | Omron Automotive Electronics Co., Ltd. | Face image processing apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP5493676B2 (en) | 2014-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106846734B (en) | A kind of fatigue driving detection device and method | |
JP4307496B2 (en) | Facial part detection device and program | |
JP4845698B2 (en) | Eye detection device, eye detection method, and program | |
JP5221436B2 (en) | Facial feature point detection apparatus and program | |
US8351658B2 (en) | Eyelid detection apparatus and programs therefor | |
JP6234762B2 (en) | Eye detection device, method, and program | |
JP4364275B2 (en) | Image processing method, image processing apparatus, and computer program | |
WO2017067399A1 (en) | Method and device for early warning based on image identification | |
US20140037144A1 (en) | Eyelid-detection device, eyelid-detection method, and recording medium | |
CN112183502B (en) | Method for determining driving state of driver, computer storage medium, and electronic device | |
WO2017061106A1 (en) | Information processing device, image processing system, image processing method, and program recording medium | |
JPWO2018078857A1 (en) | Gaze estimation apparatus, gaze estimation method, and program recording medium | |
CN109002774A (en) | A kind of fatigue monitoring device and method based on convolutional neural networks | |
JP4776581B2 (en) | Sleep state detection method, sleep state detection device, sleep state detection system, and computer program | |
JP5139470B2 (en) | Sleepiness level estimation device and sleepiness level estimation method | |
JP5493676B2 (en) | Eye position recognition device | |
JP2012068948A (en) | Face attribute estimating apparatus and method therefor | |
JP5482080B2 (en) | Hand recognition device | |
WO2017159215A1 (en) | Information processing device and information processing method | |
JP2004192552A (en) | Eye opening/closing determining apparatus | |
JP5035139B2 (en) | Eye image processing device | |
JP4996943B2 (en) | Facial feature point detection apparatus, facial feature point detection method, and program | |
TWI579173B (en) | An driver fatigue monitoring and detection method base on an ear-angle | |
JP2008191785A (en) | Eye closure detection apparatus, doze detection apparatus, eye closure detection method, and program for eye closure detection | |
Horak et al. | Eyes detection and tracking for monitoring driver vigilance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120720 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130528 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130729 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130730 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130801 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140217 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5493676 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |