JP2008146356A - Visual line direction predicting device and visual line direction predicting method - Google Patents
Visual line direction predicting device and visual line direction predicting method Download PDFInfo
- Publication number
- JP2008146356A JP2008146356A JP2006332825A JP2006332825A JP2008146356A JP 2008146356 A JP2008146356 A JP 2008146356A JP 2006332825 A JP2006332825 A JP 2006332825A JP 2006332825 A JP2006332825 A JP 2006332825A JP 2008146356 A JP2008146356 A JP 2008146356A
- Authority
- JP
- Japan
- Prior art keywords
- scene
- vehicle driver
- face
- vehicle
- estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Position Input By Displaying (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、車両運転者の視線方向を推定する視線方向推定装置及び視線方向推定方法に関する。 The present invention relates to a gaze direction estimation device and a gaze direction estimation method for estimating a gaze direction of a vehicle driver.
近年、車両運転者の視線の方向を検出する技術の研究開発が盛んに行われており、運転者の視線方向から脇見や安全確認不履行などを検出して警報を行う安全装置、運転者の視線方向から次の行動や意図を予測して車両動作を制御する車両運動制御装置、さらには、運転者の視線方向により所定の入力操作を行う入力装置などへの適用が期待されている。 In recent years, research and development of technology for detecting the direction of the driver's line of sight has been actively conducted, and a safety device that detects a side look or failure of safety confirmation from the driver's line of sight, and gives a warning to the driver It is expected to be applied to a vehicle motion control device that controls the vehicle operation by predicting the next action or intention from the direction, and an input device that performs a predetermined input operation according to the driver's line-of-sight direction.
このような車両運転者の視線方向を検出する装置としては、例えば、特許文献１にて開示されるように、車両運転者の眼球方向と頭部方向とを合成して視線方向を特定するものが知られている。この特許文献１に記載の視線計測装置では、眼球センサや撮像装置により車両運転者の瞳部位置を検出し、予め求めておいた瞳部位置と眼球方向との相関関係を示す情報に基づいて眼球センサや撮像装置で検出した瞳部位置を補正して、車両運転者の眼球方向を求めている。そして、求めた眼球方向を頭部方向と合成して、車両運転者の視線方向を特定するようにしている。 As an apparatus for detecting the gaze direction of the vehicle driver, for example, as disclosed in Patent Document 1, the gaze direction is specified by combining the eye direction of the vehicle driver and the head direction. It has been known. In the line-of-sight measurement device described in Patent Document 1, a pupil position of a vehicle driver is detected by an eyeball sensor or an imaging device, and based on information indicating a correlation between a pupil position and an eyeball direction that have been obtained in advance. The eyeball direction of the vehicle driver is obtained by correcting the pupil position detected by the eyeball sensor or the imaging device. Then, the obtained eyeball direction is combined with the head direction so as to identify the line-of-sight direction of the vehicle driver.
また、特許文献２には、外乱が太陽光である場合に太陽光スペクトルの特性により分光放射照度が減衰する波長領域の光を利用して対象物の状態を高いＳＮ比で検出できるようにした対象物検出装置が開示されており、その実施形態として、車両運転者の眼球を対象物とし、車両運転者の角膜反射像及び網膜反射像を取得して、その注視点を計測するように構成した対象物検出装置が記載されている。 Further, in Patent Document 2, when the disturbance is sunlight, the state of the object can be detected with a high S / N ratio using light in a wavelength region where spectral irradiance attenuates due to the characteristics of the sunlight spectrum. An object detection device is disclosed, and as an embodiment, the object is an eyeball of a vehicle driver, a corneal reflection image and a retinal reflection image of the vehicle driver are acquired, and a gazing point is measured. An object detection apparatus is described.
また、特許文献３には、第１カメラで撮像した車両運転者の顔画像の画像データから、パターン認識やステレオ立体視の理論に基づく処理によって車両運転者の眼球の３次元位置座標や視線方向ベクトル等を判断して視線方向を検出するとともに、第２カメラで撮像した車両周囲の風景の画像データから認識対象物及びその３次元位置を検出し、これら車両運転者の視線方向と認識対象物の位置とから車両運転者が注視している認識対象物を特定することが記載されている。この特許文献３に記載の状態推定装置では、さらに、車両運転者による注視対象への視線配分に基づいて、車両運転者の生理状態や心理状態などを推定するようにしている。
以上の特許文献１〜３にて開示されているように、車両運転者の視線方向を検出する従来の技術は、いずれも車両運転者の目の向きが特定できることを前提としていた。しかしながら、車両運転者は日差しが強すぎるときにはサングラスを着用することもあり、サングラス着用時には車両運転者の目の向きを特定できない場合がある。また、車両運転者が視力矯正用の眼鏡を着用している場合にも、眼鏡のレンズに風景の映り込みが発生することで、車両運転者の目の向きを特定できない場合がある。このため、車両運転者がサングラスや眼鏡を着用しているときには、従来の技術では車両運転者の視線方向を適切に推定することが困難であるという問題があった。 As disclosed in the above Patent Documents 1 to 3, all of the conventional techniques for detecting the direction of the line of sight of the vehicle driver are based on the premise that the direction of the eyes of the vehicle driver can be specified. However, the vehicle driver sometimes wears sunglasses when the sun is too strong, and sometimes the driver's eyes cannot be specified when wearing sunglasses. In addition, even when the vehicle driver wears eyeglasses for correcting vision, the direction of the eyes of the vehicle driver may not be specified due to the appearance of scenery on the lens of the glasses. For this reason, when the vehicle driver is wearing sunglasses or glasses, there is a problem that it is difficult to appropriately estimate the direction of the driver's line of sight with the conventional technology.
本発明は、以上のような従来の実情に鑑みて創案されたものであって、車両運転者の目の向きを特定できない場合でも、車両運転者の視線方向を推定できるようにした視線方向推定装置及び視線方向推定方法を提供することを目的としている。 The present invention was devised in view of the conventional situation as described above, and it is possible to estimate the gaze direction of the vehicle driver even when the eye direction of the vehicle driver cannot be specified. An object of the present invention is to provide an apparatus and a gaze direction estimation method.
車両運転者の顔の向きは、車両の運転シーンごとにある程度パターン化されたかたちで変化する。そして、この運転シーンごとの顔向きの変化パターンは、車両運転者の視線移動と高い相関があり、車両の運転シーンと車両運転者の顔向きが分かれば、車両運転者の視線方向をある程度正確に推定できる。ただし、車両運転シーンごとの顔向きの変化パターンには個人差があり、車両運転者が変われば、視線方向に対応する顔向きも変化する。そこで、本発明に係る視線方向推定装置及び視線方向推定方法では、当該視線方向推定装置が搭載される車両の運転者となり得る複数の登録者ごとに、車両運転シーンごとの各登録者の顔向きの時系列変化と視対象との対応関係を表すシーンモデルを記憶しておくようにしている。そして、車両運転者に対する個人認証処理と車両の運転シーンの推定とを行い、これらの結果に基づいて、記憶している各シーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定する。また、車両運転者の顔画像を撮影して顔画像から顔向きを推定し、現在の運転シーンに対応した車両運転者のシーンモデルと車両運転者の顔向きの推定結果とから、車両運転者の視線方向を推定する。 The direction of the face of the vehicle driver changes in a way that is patterned to some extent for each driving scene of the vehicle. The face direction change pattern for each driving scene has a high correlation with the movement of the vehicle driver's line of sight. If the vehicle driving scene and the vehicle driver's face direction are known, the vehicle driver's line of sight can be accurately determined to some extent. Can be estimated. However, there are individual differences in the face orientation change pattern for each vehicle driving scene, and if the vehicle driver changes, the face orientation corresponding to the line-of-sight direction also changes. Therefore, in the gaze direction estimation device and the gaze direction estimation method according to the present invention, for each of a plurality of registrants who can be drivers of a vehicle on which the gaze direction estimation device is mounted, the face orientation of each registrant for each vehicle driving scene. A scene model representing the correspondence between the time-series change and the visual target is stored. Then, personal authentication processing for the vehicle driver and estimation of the driving scene of the vehicle are performed, and based on these results, the scene model of the vehicle driver corresponding to the current driving scene from among the stored scene models Is identified. In addition, the vehicle driver's face image is taken and the face direction is estimated from the face image. From the vehicle driver's scene model corresponding to the current driving scene and the estimation result of the vehicle driver's face direction, the vehicle driver Estimate the gaze direction.
本発明によれば、サングラスや眼鏡の着用時など、車両運転者の目の向きが特定できない場合であっても、車両運転者の視線方向を適切に推定することができる。 According to the present invention, it is possible to appropriately estimate the gaze direction of the vehicle driver even when the direction of the eyes of the vehicle driver cannot be specified, such as when wearing sunglasses or glasses.
以下、本発明を適用した視線方向推定装置の具体例について、図面を参照しながら詳細に説明する。 Hereinafter, a specific example of a gaze direction estimation apparatus to which the present invention is applied will be described in detail with reference to the drawings.
［第１の実施形態］
＜装置構成＞
図１は、本発明の一実施形態である視線方向推定装置の構成を示すブロック図である。本実施形態の視線方向推定装置は、図１に示すように、カメラ１、顔向き推定処理部２、個人認証処理部３、運転シーン推定処理部４、シーンモデルデータベース５、視線方向推定処理部６を備えて構成される。これらの各構成要素のうち、顔向き推定処理部２、個人認証処理部３、運転シーン推定処理部４、視線方向推定処理部６は、処理機能別に区別した構成要素であり、ハードウェアとしては一体であってもよいし、個別のハードウェアで実現されていてもよい。
[First Embodiment]
<Device configuration>
FIG. 1 is a block diagram showing a configuration of a gaze direction estimation apparatus according to an embodiment of the present invention. As shown in FIG. 1, the gaze direction estimation apparatus of this embodiment includes a camera 1, a face direction estimation processing unit 2, a personal authentication processing unit 3, a driving scene estimation processing unit 4, a scene model database 5, and a gaze direction estimation processing unit. 6 is configured. Among these components, the face direction estimation processing unit 2, the personal authentication processing unit 3, the driving scene estimation processing unit 4, and the line-of-sight direction estimation processing unit 6 are components distinguished according to processing functions. It may be integrated, or may be realized by individual hardware.
カメラ１は、車両に搭載されて車両運転者の顔画像を撮影するものである。このカメラ１としては、ＣＣＤやＣＭＯＳなどの撮像素子、レンズ、フィルタ、及び近赤外領域の照明を有するものが用いられる。カメラ１で撮影された車両運転者の顔画像は、フレーム単位の映像信号として、所定のフレーム周期で顔向き推定処理部２へと随時送られる。 The camera 1 is mounted on a vehicle and takes a face image of a vehicle driver. As the camera 1, a camera having an imaging element such as a CCD or CMOS, a lens, a filter, and illumination in the near infrared region is used. The face image of the vehicle driver photographed by the camera 1 is sent as needed to the face direction estimation processing unit 2 at a predetermined frame period as a video signal in units of frames.
顔向き推定処理部２は、カメラ１で撮影された車両運転者の顔画像に基づいて、車両運転者の顔向きを推定する。具体的には、この顔向き推定処理部２は、例えば、カメラ１で撮影された顔画像から複数の特徴点を抽出し、抽出した特徴点の位置関係に基づいて車両運転者の顔向きを推定する処理を行う。 The face direction estimation processing unit 2 estimates the face direction of the vehicle driver based on the face image of the vehicle driver taken by the camera 1. Specifically, the face direction estimation processing unit 2 extracts, for example, a plurality of feature points from the face image captured by the camera 1 and determines the face direction of the vehicle driver based on the positional relationship between the extracted feature points. Performs estimation processing.
個人認証処理部３は、車両運転者に対する個人認証処理を行う。具体的には、この個人認証処理部３は、例えば、カメラ１で撮影された車両運転者の顔画像を用いて、このカメラ１で撮影された顔画像と予め記憶している登録者の顔画像とのマッチングなどの手法により、車両運転者が誰であるかを特定する個人認証処理を行う。なお、個人認証処理の手法としては、カメラ１で撮影された顔画像を用いる以外にも、例えば、ＩＣチップによるＩＤ確認や、指紋、音声、静脈などの生体情報による認証、パスワード入力による認証など、一般的に知られている何れの手法を採用してもよい。 The personal authentication processing unit 3 performs personal authentication processing for the vehicle driver. Specifically, the personal authentication processing unit 3 uses, for example, the face image of the vehicle driver photographed by the camera 1 and the face image of the registrant stored in advance with the face image photographed by the camera 1. A personal authentication process for identifying who the vehicle driver is is performed by a method such as matching with an image. As a method of personal authentication processing, in addition to using a face image photographed by the camera 1, for example, ID confirmation by an IC chip, authentication by biometric information such as fingerprint, voice, vein, etc., authentication by password input, etc. Any generally known method may be employed.
運転シーン推定手段４は、車両信号と周辺環境情報とに基づいて、車両の運転シーンを推定する。ここで、車両信号とは、例えば、車両の走行速度を示す信号や操舵角度を示す信号、ウィンカーの操作信号、アクセルやブレーキの操作信号など、車両に搭載された各種センサで検出される車両の状態を表す信号である。また、周辺環境情報とは、例えば、車両の現在位置周辺における道路環境についての情報など、車両に搭載されたナビゲーションシステムや路車間通信、車車間通信等により取得される情報である。運転シーン推定手段４は、これら車両信号と周辺環境情報とに基づいて、例えば、右折や左折を行うシーン、車線変更を行うシーン、交差点を直進するシーンといったような、各種の運転シーンを推定する。 The driving scene estimation means 4 estimates the driving scene of the vehicle based on the vehicle signal and the surrounding environment information. Here, the vehicle signal is, for example, a signal of a vehicle detected by various sensors mounted on the vehicle, such as a signal indicating a traveling speed of the vehicle, a signal indicating a steering angle, an operation signal of a winker, an operation signal of an accelerator or a brake. It is a signal representing a state. The surrounding environment information is information acquired by a navigation system mounted on the vehicle, road-to-vehicle communication, vehicle-to-vehicle communication, or the like, such as information about the road environment around the current position of the vehicle. Based on these vehicle signals and surrounding environment information, the driving scene estimation means 4 estimates various driving scenes such as a right turn or left turn scene, a lane change scene, or a straight road intersection. .
シーンモデルデータベース５には、車両の運転者となり得る複数の登録者を対象として、車両運転シーンごとの各登録者の顔向きの時系列変化と視対象との対応関係を表すシーンモデルが、各登録者ごとに識別可能に記憶されている。このシーンモデルデータベース５に記憶されているシーンモデルは、例えば、車両運転シーンごとの各登録者の顔向きの時系列変化を追跡して顔向きの分散値を求め、分散値が所定値以下となる領域を視対象として特定したデータである。このようなシーンモデルは、予めデフォルトのデータを記憶しておいて、実際に車両の運転が行われたときに、各車両運転シーンごとに車両運転者の顔向きの時系列変化を求めて、これに合わせてデフォルトのデータを修正していくようにすることで、車両運転者の特性を反映した精度の高いデータとすることができる。 In the scene model database 5, for a plurality of registrants who can be drivers of the vehicle, scene models representing the correspondence between the time-series changes in the face direction of each registrant and the visual target for each vehicle driving scene, Each registrant is stored so that it can be identified. The scene model stored in the scene model database 5 is, for example, tracking a time series change of the face direction of each registrant for each vehicle driving scene to obtain a face orientation variance value, and the variance value is equal to or less than a predetermined value. The data which specified the area | region which becomes a visual object. Such a scene model stores default data in advance, and when a vehicle is actually driven, obtains a time series change in the face direction of the vehicle driver for each vehicle driving scene, By correcting the default data in accordance with this, it is possible to obtain highly accurate data reflecting the characteristics of the vehicle driver.
視線方向推定処理部６は、個人認証処理部３による認証結果と運転シーン推定処理部４による推定結果とに基づいて、シーンモデルデータベース５に記憶されている各種のシーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定し、特定したシーンモデルと顔向き推定処理部２による推定結果とに基づいて、車両運転者の視線方向を推定する。すなわち、視線方向推定処理部６は、個人認証処理部３による認証結果から、シーンモデルデータベース５に記憶されている各種シーンモデルの中で、車両運転者に対応するものを識別し、さらに、運転シーン推定処理部４による推定結果から、車両運転者に対応するシーンモデルのうちで、現在の運転シーンに対応するものを識別する。そして、この現在の運転シーンに対応した車両運転者のシーンモデルをシーンモデルデータベース５から読み出して、顔向き推定処理部２で推定された車両運転者の顔向きをシーンモデルに照らし合わせることで、車両運転者の視線方向を推定する。 The line-of-sight direction estimation processing unit 6 is based on the authentication result by the personal authentication processing unit 3 and the estimation result by the driving scene estimation processing unit 4, from among various scene models stored in the scene model database 5. The vehicle driver's scene model corresponding to the scene is specified, and the vehicle driver's line-of-sight direction is estimated based on the specified scene model and the estimation result by the face direction estimation processing unit 2. That is, the line-of-sight direction estimation processing unit 6 identifies the one corresponding to the vehicle driver among various scene models stored in the scene model database 5 from the authentication result by the personal authentication processing unit 3, and further, the driving From the estimation result by the scene estimation processing unit 4, the scene model corresponding to the vehicle driver is identified corresponding to the current driving scene. Then, the vehicle driver's scene model corresponding to the current driving scene is read from the scene model database 5 and the vehicle driver's face direction estimated by the face direction estimation processing unit 2 is collated with the scene model. Estimate the gaze direction of the vehicle driver.
なお、車両運転者の顔向きとシーンモデルとの照合による視線方向の推定は、車両運転シーンが車両運転者の顔向きの移動を伴う視線移動が行われる運転シーンである場合に特に有効な処理であるので、視線方向推定処理部６は、運転シーン推定処理部４により推定された現在の車両運転シーンが車両運転者の顔向きの移動を伴う視線移動が行われる運転シーンであるかどうかを判定して、車両運転者の顔向きの移動を伴う視線移動が行われる運転シーンである場合にのみ、以上のような視線方向の推定処理を行うようにしてもよい。 Note that the gaze direction estimation based on the comparison between the vehicle driver's face direction and the scene model is particularly effective when the vehicle driving scene is a driving scene in which the gaze movement accompanied by the movement of the vehicle driver's face direction is performed. Therefore, the line-of-sight direction estimation processing unit 6 determines whether or not the current vehicle driving scene estimated by the driving scene estimation processing unit 4 is a driving scene in which the line-of-sight movement accompanied by movement of the face of the vehicle driver is performed. Judgment of the gaze direction as described above may be performed only in a driving scene in which a gaze movement involving movement in the face direction of the vehicle driver is performed.
＜顔向き推定処理部による処理＞
ここで、顔向き推定処理部２による処理について、具体例を例示しながらさらに詳しく説明する。
<Processing by face orientation estimation processing unit>
Here, the process by the face direction estimation processing unit 2 will be described in more detail with a specific example.
顔向き推定処理部２は、カメラ１から送られてくる映像信号をディジタル画像としてキャプチャし、フレームメモリに車両運転者の顔画像として取り込む。そして、顔向き推定処理部２は、このフレームメモリに取り込んだ顔画像に対してエッジ検出処理やグラフマッチング処理などの画像処理を行い、顔画像から複数の特徴点を抽出する。ここで、顔画像から抽出される特徴点は画像上で濃度変化が大きく現われる点であり、一般的に、左右の目、左右の眉、鼻、口などが対象となる。ただし、車両運転者がサングラスや眼鏡を着用している場合には、左右の目を特徴点として検出できない場合も多い。 The face orientation estimation processing unit 2 captures a video signal sent from the camera 1 as a digital image and captures it as a face image of a vehicle driver in a frame memory. Then, the face orientation estimation processing unit 2 performs image processing such as edge detection processing and graph matching processing on the face image captured in the frame memory, and extracts a plurality of feature points from the face image. Here, the feature points extracted from the face image are the points where the density change appears greatly on the image, and generally the left and right eyes, the left and right eyebrows, the nose, the mouth, and the like. However, when the vehicle driver wears sunglasses or glasses, the left and right eyes are often not detected as feature points.
図２は、顔向き推定処理部２による特徴点抽出処理の一例を示すフローチャートである。以下、この図２のフローチャートに沿って、図３に示すような顔画像から特徴点を抽出する処理について具体的に説明する。 FIG. 2 is a flowchart showing an example of feature point extraction processing by the face direction estimation processing unit 2. A process for extracting feature points from the face image as shown in FIG. 3 will be specifically described below with reference to the flowchart of FIG.
顔向き推定処理部２は、まず「横エッジ検出」ステップにおいて、フレームメモリ上の顔画像の縦の各列について、濃度値の極小値を検出する。 First, in the “horizontal edge detection” step, the face direction estimation processing unit 2 detects the minimum value of the density value for each vertical column of the face image on the frame memory.
次に、「ノイズ除去」ステップにおいて、「横エッジ検出」ステップで検出されら濃度値の極小点のうち、濃度変化が設定値未満のものと、縦横斜めに隣接する他の極小点がないもの（つまり独立点）を削除する。 Next, in the “Noise Removal” step, among the minimum points of the density value detected in the “Horizontal Edge Detection” step, those whose density change is less than the set value and those that do not have other adjacent minimum and vertical points (Ie, independent points) are deleted.
次に、「顔特徴候補選択」ステップにおいて、個々の極小点ごとの隣接する極小点との連接を調べて、連続する極小点の集まりをエッジとして捉え、エッジの傾きの大きいものを削除する。また、横方向への広がりが設定値以上のものについては、濃度変化の最も小さい極小点を削除することにより分割を行い、顔特徴点候補とする。顔特徴候補選択結果の一例を図４に示す。ここで、「顔特徴候補選択」ステップで得られた顔特徴点候補の数が設定値未満の場合には、現フレームの顔画像においては特徴点の抽出ができないと判断して処理を抜ける。 Next, in the “facial feature candidate selection” step, the connection between adjacent local minimum points for each individual local minimum point is examined, a group of continuous local minimum points is regarded as an edge, and those having a large edge inclination are deleted. In addition, if the spread in the horizontal direction is equal to or greater than the set value, division is performed by deleting the minimum point with the smallest change in density, and a facial feature point candidate is obtained. An example of the face feature candidate selection result is shown in FIG. If the number of face feature point candidates obtained in the “facial feature candidate selection” step is less than the set value, it is determined that feature points cannot be extracted from the face image of the current frame, and the process is terminated.
以上と同様の処理を縦エッジについても行い、輪郭の候補とする。輪郭候補選択結果の一例を図５に示す。 The same processing as described above is also performed on the vertical edge, and is set as a contour candidate. An example of the contour candidate selection result is shown in FIG.
次に、「ラベリング」ステップにおいて、「顔特徴候補選択」ステップで得られた各顔特徴候補にラベルをつける。ラベリング結果の一例を図６に示す。 Next, in the “labeling” step, each facial feature candidate obtained in the “facial feature candidate selection” step is labeled. An example of the labeling result is shown in FIG.
次に、「グラフマッチング」ステップにおいて、「ラベリング」ステップでラベルが付けられた顔特徴候補の組み合わせを、あらかじめ用意した顔特徴（ノード）と顔特徴間の関係（ブランチ）に照合する。ここで、照合数が０の場合には、現フレームの顔画像においては特徴点の抽出ができないとして処理を抜ける。 Next, in the “graph matching” step, the combination of the facial feature candidates labeled in the “labeling” step is collated with a facial feature (node) prepared in advance and a relationship (branch) between the facial features. Here, when the number of collations is 0, it is determined that feature points cannot be extracted from the face image of the current frame, and the process is exited.
次に、「顔特徴検出」ステップにおいて、「グラフマッチング」ステップで照合された複数の顔特徴の組み合わせ結果のうち、あらかじめ用意した顔特徴と顔特徴間の関係に最も一致する顔特徴の組み合わせを選択する。顔特徴検出結果の一例を図７に示す。ここで、一致の度合いを表す評価値が最小評価値未満の場合には、現フレームの顔画像においては特徴点の抽出ができないと判断して処理を抜ける。 Next, in the “face feature detection” step, among the combination results of the plurality of face features collated in the “graph matching” step, a combination of face features that most closely matches the relationship between the face feature prepared in advance and the face feature is selected. select. An example of the face feature detection result is shown in FIG. Here, if the evaluation value representing the degree of coincidence is less than the minimum evaluation value, it is determined that feature points cannot be extracted from the face image of the current frame, and the process is terminated.
以上の特徴点抽出処理により、例えば図２に示した顔画像からは、右眉、左眉、右上眼鏡フレーム、左上眼鏡フレーム、眼鏡フレーム中心、右下眼鏡フレーム、左下眼鏡フレーム、鼻、口（左右両端の２点）が、顔の特徴点として抽出される。図３に示した顔画像から抽出された各特徴点間の位置関係を、鼻の位置を基準として表したグラフを図８に示す。なお、この図８のグラフでは、図２に示した顔画像のサイズ（縦３２０画素、縦２４０画素）を１／５にしたサイズで各特徴点の位置関係を表している。 By the above feature point extraction processing, for example, from the face image shown in FIG. 2, the right eyebrow, left eyebrow, upper right eyeglass frame, upper left eyeglass frame, eyeglass frame center, lower right eyeglass frame, lower left eyeglass frame, nose, mouth ( Two points at the left and right ends) are extracted as facial feature points. FIG. 8 is a graph showing the positional relationship between the feature points extracted from the face image shown in FIG. 3 with reference to the position of the nose. In the graph of FIG. 8, the positional relationship between the feature points is represented by a size in which the face image size (vertical 320 pixels, vertical 240 pixels) shown in FIG.
顔画像から抽出される各特徴点は、マッチングのため一定の範囲を持っており、グラフマッチングの際に、基準となる顔部位（例えば鼻など）を基準として、その範囲内に他の顔特徴点が何個入るかという照合を行う。また、各特徴点間は、重み付けの係数を保持しており、グラフマッチング結果に対して、マッチングした特徴点の重みを合計した値を評価値とする。また、顔の輪郭については、例えば図５に示したような縦エッジのうちで、特徴点の外側にあるものを顔の輪郭として採用する。 Each feature point extracted from the face image has a certain range for matching, and other facial features are included in the range based on the reference face part (for example, nose) at the time of graph matching. Check how many points are included. Further, a weighting coefficient is held between each feature point, and a value obtained by adding the weights of the matched feature points to the graph matching result is used as an evaluation value. As for the face outline, for example, a vertical edge as shown in FIG. 5 outside the feature point is adopted as the face outline.
ところで、カメラ１から顔向き推定処理部２へと送られる顔画像は、フレームごとに連続性があるので、前フレームの顔画像から特徴点が抽出できれば、その特徴点を追跡することによってそれ以降のフレームの顔画像から特徴点を容易に抽出できる。そこで、顔向き推定処理部２は、例えば図９のフローチャートで示すような特徴点追跡処理を行うことで、顔画像から特徴点を抽出する処理を簡素化している。 By the way, since the face image sent from the camera 1 to the face direction estimation processing unit 2 has continuity for each frame, if a feature point can be extracted from the face image of the previous frame, the feature point is traced thereafter. The feature points can be easily extracted from the face image of the frame. Therefore, the face direction estimation processing unit 2 simplifies the process of extracting feature points from a face image by performing feature point tracking processing as shown in the flowchart of FIG.
図９に示す特徴点追跡処理では、まず前段の処理ループで、前フレームの顔画像に対する特徴点抽出処理或いは特徴点追跡処理により抽出した特徴点の座標をもとに、現フレームの顔画像の中から対応する特徴点を探索する。そして、前段の処理ループで現フレームの顔画像の中から特徴点を抽出できたら、後段の処理ループで、抽出した特徴点を基準として、前フレームの顔画像から抽出した各特徴点間の位置関係に基づき、現フレームの顔画像の中から残りの特徴点を抽出する。 In the feature point tracking process shown in FIG. 9, first, in the previous processing loop, the face image of the current frame is extracted based on the feature point coordinates extracted by the feature point extraction process or the feature point tracking process for the face image of the previous frame. Search for corresponding feature points from inside. Then, if feature points can be extracted from the face image of the current frame in the previous processing loop, the positions between the feature points extracted from the face image of the previous frame with reference to the extracted feature points in the subsequent processing loop. Based on the relationship, the remaining feature points are extracted from the face image of the current frame.
具体的に説明すると、例えば前フレームの顔画像で鼻が基準となる特徴点として抽出され、その位置座標が現フレームの顔画像においては図１０のＡ点であったとする。この場合、顔向き推定処理部２は、まず、現フレームの顔画像においてＡ点近辺の所定領域を探索領域Ｓ１とし、この探索領域Ｓ１を対象としたエッジ検出などにより、探索領域Ｓ１内で前フレームの顔画像における鼻に相当する特徴点Ｂを検出する。ここで、探索領域Ｓ１内で特徴点Ｂが検出できない場合には、前フレームの顔画像から抽出された他の特徴点の位置座標を基準として現フレームの顔画像上に同様の探索領域を設定し、特徴点の探索を行う。そして、前フレームの顔画像から抽出された全ての特徴点に関して以上の処理を行っても、現フレームの顔画像から特徴点が検出できない場合には、現フレームの顔画像での特徴点の追跡に失敗したとみなす。 More specifically, it is assumed that, for example, the nose is extracted as a reference feature point in the face image of the previous frame, and the position coordinate thereof is point A in FIG. 10 in the face image of the current frame. In this case, the face direction estimation processing unit 2 first sets a predetermined area in the vicinity of the point A in the face image of the current frame as the search area S1, and detects the previous area in the search area S1 by edge detection or the like for the search area S1. A feature point B corresponding to the nose in the face image of the frame is detected. If the feature point B cannot be detected in the search area S1, a similar search area is set on the face image of the current frame based on the position coordinates of other feature points extracted from the face image of the previous frame. And search for feature points. If the feature points cannot be detected from the face image of the current frame even if the above processing is performed on all the feature points extracted from the face image of the previous frame, the feature points are tracked in the face image of the current frame. Is considered to have failed.
一方、探索領域Ｓ１内で特徴点が検出できたら、その位置座標で当該特徴点の座標を更新する。そして、図１１に示すように、前フレームの顔画像で把握されるこの特徴点と他の特徴点との位置関係に基づいて、現フレームの顔画像上における次の各特徴点の探索領域Ｓ２を設定し、この探索領域Ｓ２内で次の特徴点を順次検出し、探索領域Ｓ２内で検出した特徴点の位置座標で、次の特徴点の座標を更新する。以上の処理を前フレームの顔画像で抽出された全ての特徴点について繰り返し行い、現フレームの顔画像における各特徴点の位置座標を更新する。なお、現フレームの顔画像上で設定された探索領域内で検出できなかった特徴点については、前フレームの顔画像での基準となる特徴点からの距離に応じて、現フレームの顔画像においてもこの距離に相当する位置に当該特徴点が存在すると仮定して、その位置の位置座標で更新する。特徴点追跡処理では、以上を繰り返して、全ての特徴点の位置座標を随時更新していく。 On the other hand, if a feature point can be detected in the search area S1, the coordinates of the feature point are updated with the position coordinates. Then, as shown in FIG. 11, the search area S2 for each next feature point on the face image of the current frame based on the positional relationship between the feature points grasped in the face image of the previous frame and other feature points. Is set, and the next feature point is sequentially detected in the search region S2, and the coordinates of the next feature point are updated with the position coordinates of the feature point detected in the search region S2. The above processing is repeated for all feature points extracted from the face image of the previous frame, and the position coordinates of each feature point in the face image of the current frame are updated. Note that feature points that could not be detected in the search area set on the face image of the current frame are detected in the face image of the current frame according to the distance from the reference feature point in the face image of the previous frame. Assuming that the feature point exists at a position corresponding to this distance, the position coordinates of the position are updated. In the feature point tracking process, the above is repeated and the position coordinates of all feature points are updated as needed.
顔向き推定処理部２は、以上の処理により車両運転者の顔画像から複数の特徴点を抽出したら、各特徴点の座標から、車両運転者の顔向きを推定する。以下にその方法の一例を示す。 After extracting a plurality of feature points from the vehicle driver's face image by the above processing, the face direction estimation processing unit 2 estimates the face direction of the vehicle driver from the coordinates of each feature point. An example of the method is shown below.
一般に人の顔は左右対称に近い形状をしており、顔が回転することにより顔の特徴点の見かけの位置がずれることによって、対称性に生じる歪を用いることにより顔の向きを推定することができる。 In general, a human face has a shape that is nearly symmetrical, and the facial orientation is estimated by using the distortion that occurs in the symmetry due to the apparent position of the facial feature points being shifted as the face rotates. Can do.
例えば、図１２に示すように、車両運転者の顔画像から特徴点として抽出された鼻の位置をＡ、口の右端をＢ、口の左端をＣとして、線分ＢＣに対してＡより下ろした垂線の交点をＤとする。また、顔の右端をＥ、顔の左端をＦとする。 For example, as shown in FIG. 12, the position of the nose extracted as a feature point from the face image of the vehicle driver is A, the right end of the mouth is B, the left end of the mouth is C, and the line BC is lowered from A. Let D be the intersection of the vertical lines. Also, let the right edge of the face be E and the left edge of the face be F.
次式に対称性を評価するためのパラメータｓ，ｔ，ｕを示す。
ＤＢ：ＤＣ＝ｓ：（１−ｓ）
ＡＥ：ＡＦ＝ｔ：（１−ｔ）
ＢＥ：ＣＦ＝ｕ：（１−ｕ）
顔の向き変えに対してこれらのパラメータの値を予め求めていくと、図１３に示すように、顔の回転角（ヨー運動）に連動してその値が変化することが分かる。このように対象性を評価するためのパラメータｓ，ｔ，ｕは顔の回転角と相関があるので、車両運転者の顔画像から抽出した複数の特徴点の２次元座標に基づいて前記パラメータｓ，ｔ，ｕを求めれば、車両運転者の顔向きを推定することができる。なお、以上のようにして推定した車両運転者の顔向きは、カメラ１の設置位置と向きによって補正する必要があるが、正面方向をヨー角の０度とした場合、推定した顔向きにカメラ１の向き角を加えるだけでよい。
The following formula shows parameters s, t, and u for evaluating symmetry.
DB: DC = s: (1-s)
AE: AF = t: (1-t)
BE: CF = u: (1-u)
If the values of these parameters are obtained in advance for the change of face orientation, it can be seen that the values change in conjunction with the rotation angle (yaw motion) of the face as shown in FIG. Since the parameters s, t, u for evaluating the objectivity have a correlation with the rotation angle of the face, the parameter s is based on the two-dimensional coordinates of a plurality of feature points extracted from the face image of the vehicle driver. , T, u can be used to estimate the face direction of the vehicle driver. The face orientation of the vehicle driver estimated as described above needs to be corrected by the installation position and orientation of the camera 1, but when the front direction is set to 0 degree of the yaw angle, the camera face is estimated. It is only necessary to add one orientation angle.
＜シーンモデル＞
次に、シーンモデルデータベース５に格納されるシーンモデルについて、さらに詳しく説明する。
<Scene model>
Next, the scene model stored in the scene model database 5 will be described in more detail.
２名の被験者（被験者Ａ及び被験者Ｂ）に、左ドアミラー、ナビゲーション画面、ルームミラー、ナビゲーション操作部、ドアミラーを順番に２回繰り返して注視させたときの顔の回転角を計測した結果を図１４及び図１５に示す。これらの計測結果から分かるように、物の見方は人によって異なるため、視対象が同じであっても見る人が違えばそのときの顔の回転角は人ごとに異なる値を示すが、見る人が同一の場合は、視対象が同じであれば顔の回転角は常に同じような値を示す。ここで、車両の運転シーンについて考えると、例えば、右折や左折を行うシーン、車線変更を行うシーン、交差点を直進するシーンなど、車両運転者が安全確認のために視線移動を行うシーンでは、視対象がある程度特定され、視線移動はパターン化されている。例えば、左折のシーンであれば巻き込み確認のための左ドアミラーの注視行動や後方確認のためのルームミラーの注視行動などが視線移動としてパターン化されている。また、交差点の直進シーンであれば、左右安全確認のための左右注視行動が視線移動としてパターン化されている。したがって、このような運転シーンごとに車両運転者の顔向きがどのように変化するかを各運転者ごとの固有のデータとして保持しておけば、車両運転者が誰であるかを特定し、車両の運転シーン及び車両運転者の顔向きを推定することによって、車両運転者の視線方向をある程度正確に推定することが可能となる。 FIG. 14 shows the results of measuring the rotation angle of the face when two subjects (subject A and subject B) were caused to gaze the left door mirror, the navigation screen, the room mirror, the navigation operation unit, and the door mirror twice in order. And shown in FIG. As you can see from these measurement results, how to see things varies depending on the person, so even if the subject is the same, if the person sees differently, the rotation angle of the face at that time will show a different value for each person, Are the same, the rotation angle of the face always shows the same value if the visual object is the same. Here, considering the driving scene of the vehicle, for example, in a scene where the vehicle driver moves his / her line of sight for safety confirmation, such as a scene where the vehicle turns right or left, a scene where the lane is changed, or a scene where the vehicle goes straight through the intersection, The target is specified to some extent, and the line-of-sight movement is patterned. For example, in the case of a left turn scene, the gaze behavior of the left door mirror for confirming the entrainment and the gaze behavior of the room mirror for confirming the rear are patterned as line-of-sight movement. Further, in the case of a straight-ahead scene at an intersection, left and right gaze actions for confirming left and right safety are patterned as gaze movement. Therefore, if you keep as the unique data for each driver how the face direction of the vehicle driver changes for each such driving scene, specify who the vehicle driver is, By estimating the driving scene of the vehicle and the face direction of the vehicle driver, it is possible to estimate the line-of-sight direction of the vehicle driver with a certain degree of accuracy.
シーンモデルは、このような車両運転者の視線方向を推定するためのデータであり、車両の運転シーンごとの顔向きの変化パターンをモデル化したものである。このシーンモデルは、車両運転者となり得る複数の登録者ごとの固有のデータとして、シーンモデルデータベース５に格納されている。 The scene model is data for estimating the gaze direction of such a vehicle driver, and models a change pattern of the face direction for each driving scene of the vehicle. This scene model is stored in the scene model database 5 as unique data for each of a plurality of registrants who can be vehicle drivers.
具体的な例を挙げると、シーンモデルデータベース５には、例えば図１６に示すようなシーンモデルが格納されている。このシーンモデルは、車両運転者となり得る複数の登録者（図１６の例では、登録者１、登録者２）ごとに、左折前、車線変更前、交差点直進・・・といった各運転シーンごとの顔向きの時系列変化を、その運転シーンから特定される視対象と対応付けて表したものである。 For example, the scene model database 5 stores a scene model as shown in FIG. This scene model is for each driving scene such as before turning left, before changing lanes, going straight at an intersection, etc. for each of a plurality of registrants (registrant 1, registrant 2 in the example of FIG. 16) that can be a vehicle driver. The time-series change of the face direction is represented in association with the visual target specified from the driving scene.
このようなシーンモデルは、例えば、車両の運転シーンごとの各登録者の顔向きの時系列変化を追跡して顔向きの分散値を求め、分散値が所定値以下となる領域を視対象として特定するといった手法で作成可能である。図１７に、右ドアミラー、左ドアミラー、ルームミラー、ナビゲーション画面付近を２回ずつ注視した際の顔向きの時系列変化と視対象をマッピングした結果を示す。この図１７においては、顔向きの時系列データにおいて一定区間の分散値が設定値以下になる区間を抽出し、区間時間が設定値以上である区間を視対象の区間として抽出している。この結果が示すように、車両運転者が同一であれば、車両運転者の視線移動に伴う顔向きの変化が、視対象ごとにある範囲内で滞留することになり、この顔向き変化が滞留する範囲を、それぞれ車両の運転シーンから想定される各視対象の領域として抽出できる。 Such a scene model, for example, tracks the time-series changes of the face direction of each registrant for each driving scene of the vehicle to obtain a face orientation variance value, and targets a region where the variance value is a predetermined value or less as a visual target. It can be created by a method such as specifying. FIG. 17 shows the result of mapping the time-series change of the face direction and the visual target when the right door mirror, the left door mirror, the room mirror, and the vicinity of the navigation screen are watched twice. In FIG. 17, a section where the variance value of a certain section is less than or equal to the set value is extracted from the face-oriented time series data, and a section whose section time is equal to or greater than the set value is extracted as the section to be viewed. As shown in this result, if the vehicle driver is the same, the change in the face direction accompanying the movement of the line of sight of the vehicle driver stays within a certain range for each visual target, and this change in face direction stays. This range can be extracted as a region of each visual target assumed from the driving scene of the vehicle.
なお、このようなシーンモデルは、予め各登録者ごとに固有のデータとして作成してシーンモデルデータベース５に格納しておいてもよいが、初期状態では各運転シーンごとのデフォルトのデータとしておき、実際に車両の運転が行われたときに、上述した個人認証処理部３の認証結果や運転シーン推定処理部４の推定結果、顔向き推定処理部２による推定結果を用いて、各車両運転シーンごとに車両運転者の顔向きの時系列変化を求め、これに合わせてデフォルトのデータを随時修正していくようにしてもよい。このように、車両運転者の実際の行動に応じてシーンモデルを随時更新していくようにすれば、車両運転者の特性を反映した精度の高いデータとすることができる。 Such a scene model may be created in advance as unique data for each registrant and stored in the scene model database 5, but in the initial state, it is set as default data for each driving scene, When the vehicle is actually driven, each vehicle driving scene is obtained using the authentication result of the personal authentication processing unit 3, the estimation result of the driving scene estimation processing unit 4, and the estimation result of the face direction estimation processing unit 2 described above. For each time, a time-series change of the face direction of the vehicle driver may be obtained, and the default data may be corrected as needed. Thus, if the scene model is updated as needed according to the actual behavior of the vehicle driver, it is possible to obtain highly accurate data reflecting the characteristics of the vehicle driver.
＜視線移動推定処理部による処理＞
次に、視線方向推定処理部６による処理について、さらに詳しく説明する。
<Processing by eye movement estimation processing unit>
Next, the process by the gaze direction estimation processing unit 6 will be described in more detail.
視線方向推定処理部６は、個人認証処理部３によって行われる個人認証処理の結果を取得して、現在の車両運転者が複数の登録者のうちの誰であるかを識別する。この車両運転者に関する識別情報は、個人認証処理部３から新たな認証結果が送られるまで、つまり車両運転者が変更されるまで保持される。また、視線方向推定処理部６は、運転シーン推定処理部４による推定結果を取得して、現在の車両の運転シーンがシーンモデルの対象とされている運転シーンのうちの何れであるかを識別する。この車両運転シーンに関する識別情報も、運転シーン推定処理部４から新たな推定結果が送られるまで、つまり車両の運転シーンが切り替わるまで保持される。そして、視線方向推定処理部６は、以上の車両運転者に関する識別情報と、車両運転シーンに関する識別情報とをもとに、シーンモデルデータベース５に記憶されている各種シーンモデルの中で、現在の車両運転者に対応し、さらに、現在の運転シーンに対応するものを特定する。そして、この現在の運転シーンに対応した車両運転者のシーンモデルをシーンモデルデータベース５から読み出す。 The line-of-sight direction estimation processing unit 6 acquires the result of the personal authentication processing performed by the personal authentication processing unit 3 and identifies who the current vehicle driver is among a plurality of registrants. The identification information regarding the vehicle driver is retained until a new authentication result is sent from the personal authentication processing unit 3, that is, until the vehicle driver is changed. The line-of-sight direction estimation processing unit 6 acquires the estimation result by the driving scene estimation processing unit 4 and identifies which of the driving scenes the current vehicle driving scene is the target of the scene model. To do. The identification information regarding the vehicle driving scene is also held until a new estimation result is sent from the driving scene estimation processing unit 4, that is, until the vehicle driving scene is switched. Then, the gaze direction estimation processing unit 6 uses the current identification information about the vehicle driver and the identification information about the vehicle driving scene, among the various scene models stored in the scene model database 5. Corresponding to the vehicle driver, further, the one corresponding to the current driving scene is specified. Then, the scene model of the vehicle driver corresponding to the current driving scene is read from the scene model database 5.
また、視線方向推定処理部６には、顔向き推定処理部２での上述した処理により推定される車両運転者の顔向きの情報（例えば回転角）が随時送られている。視線方向推定処理部６は、この顔向き推定処理部２から随時送られる車両運転者の顔向きの情報を、シーンモデルデータベース５から読み出したシーンモデルに照らし合わせることによって、車両運転者の視線移動行動、つまり、車両運転者が現在どの視対象に目を向けているか（視線方向）を推定し、その推定結果を出力する。 Further, information (for example, rotation angle) of the vehicle driver's face direction estimated by the above-described processing in the face direction estimation processing unit 2 is sent to the line-of-sight direction estimation processing unit 6 as needed. The line-of-sight direction estimation processing unit 6 compares the information on the vehicle driver's face direction sent from the face direction estimation processing unit 2 at any time with the scene model read from the scene model database 5, thereby moving the line-of-sight of the vehicle driver. The behavior, that is, the visual target that the vehicle driver is currently looking at (the direction of the line of sight) is estimated, and the estimation result is output.
なお、車両の運転シーンとしては、例えば、右折や左折を行うシーンや車線変更を行うシーン、交差点を直進するシーンといった、車両運転者の顔向きの移動を伴う視線移動が行われる運転シーン以外にも様々なシーンが考えられるが、車両運転者の顔向きとシーンモデルとの照合による視線方向の推定は、車両運転者の顔向きの移動を伴う視線移動が行われる運転シーンの場合に特に有効な処理である。したがって、視線方向推定処理部６は、運転シーン推定処理部４により推定された現在の車両運転シーンが車両運転者の顔向きの移動を伴う視線移動が行われる運転シーンである場合にのみ、以上のような視線方向の推定処理を行うようにしてもよい。 Note that the driving scenes of the vehicle are other than driving scenes in which the line of sight moves with the movement of the face of the vehicle driver, such as a scene in which the vehicle makes a right or left turn, a scene in which the lane is changed, or a scene in which the vehicle travels straight ahead. However, the estimation of the gaze direction by comparing the vehicle driver's face direction with the scene model is particularly effective in the case of a driving scene in which the gaze movement accompanied by the movement of the vehicle driver's face direction is performed. Processing. Therefore, the line-of-sight direction estimation processing unit 6 is the above only when the current vehicle driving scene estimated by the driving scene estimation processing unit 4 is a driving scene in which a line-of-sight movement involving movement of the face of the vehicle driver is performed. The gaze direction estimation process as described above may be performed.
＜効果＞
以上、具体的な例を挙げながら詳細に説明したように、本実施形態の視線方向推定装置によれば、視線方向推定処理部６が、個人認証処理部３による認証結果と運転シーン推定処理部４による推定結果とに基づいて、シーンモデルデータベース５に格納されている各種シーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定し、顔向き推定処理部２による推定結果をこのシーンモデルと照合することで、車両運転者の視線方向を推定するようにしているので、サングラスや眼鏡の着用時など、車両運転者の目の向きが特定できない場合であっても、車両運転者の視線方向を適切に推定することができる。
<Effect>
As described above in detail with reference to specific examples, according to the gaze direction estimation apparatus of the present embodiment, the gaze direction estimation processing unit 6 includes the authentication result obtained by the personal authentication processing unit 3 and the driving scene estimation processing unit. 4, the vehicle driver's scene model corresponding to the current driving scene is identified from various scene models stored in the scene model database 5, and the estimation result by the face direction estimation processing unit 2 is identified. Is matched with this scene model to estimate the vehicle driver's line-of-sight direction, so even if the driver's eyes cannot be identified, such as when wearing sunglasses or glasses, the vehicle It is possible to appropriately estimate the driver's line-of-sight direction.
［第２の実施形態］
次に、本発明の第２の実施形態としての視線方向推定装置について説明する。本実施形態の視線方向推定装置は、車両運転者の目の向きを特定できるか否かを判定する機能を設けて、車両運転者の目の向きが特定できない場合にのみ、上述した第１の実施形態で説明した手法で車両運転者の視線方向を推定するようにしたものである。
[Second Embodiment]
Next, a gaze direction estimation device as a second embodiment of the present invention will be described. The line-of-sight direction estimation apparatus of this embodiment is provided with a function for determining whether or not the direction of the eyes of the vehicle driver can be specified, and only when the direction of the eyes of the vehicle driver cannot be specified. The gaze direction of the vehicle driver is estimated by the method described in the embodiment.
本実施形態の視線方向推定装置の構成を図１８に示す。この図１８に示すように、本実施形態の視線方向推定装置は、上述した第１の実施形態の視線方向推定装置に、目向き特定可否判定部１１と、目向き推定処理部１２と、視線方向検出処理部１３とを付加した構成とされる。 The configuration of the gaze direction estimation apparatus of this embodiment is shown in FIG. As shown in FIG. 18, the gaze direction estimation device according to the present embodiment is the same as the gaze direction estimation device according to the first embodiment described above, except that the eye direction identification availability determination unit 11, the eye direction estimation processing unit 12, A direction detection processing unit 13 is added.
目向き特定可否判定部１１は、カメラ１で撮影された車両運転者の顔画像から車両運転者の目の向きを特定できるか否かの判定を行う。判定の手法は、例えば、顔向き推定処理部２での顔特徴抽出処理の結果、目が特徴点として検出されなかった場合に目向きを特定できないと判定する、或いは、眼鏡のフレームが特徴点として検出された場合に目向きを特定できないと判定するなどの手法が考えられる。また、個人認証処理部３での個人認証処理の結果、車両運転者が眼鏡着用者として登録されている者であると特定された場合に、目向きを特定できないと判定するようにしてもよい。 The eye orientation identification availability determination unit 11 determines whether or not the direction of the eyes of the vehicle driver can be identified from the face image of the vehicle driver captured by the camera 1. As a determination method, for example, it is determined that the eye direction cannot be specified when the eye is not detected as a feature point as a result of the face feature extraction processing in the face direction estimation processing unit 2, or the eyeglass frame is a feature point. For example, it may be determined that the eye orientation cannot be specified when detected as. Further, as a result of the personal authentication process in the personal authentication processing unit 3, when it is specified that the vehicle driver is a person registered as a spectacle wearer, it may be determined that the orientation cannot be specified. .
目向き推定処理部１２は、目向き特定可否判定部１１により車両運転者の目の向きを特定可能と判定された場合に、カメラ１で撮影された顔画像に基づいて、車両運転者の目の向きを推定する。なお、目の向きを推定する手法としては、従来一般的に知られている手法が何れも採用可能である。 The eye direction estimation processing unit 12, based on the face image photographed by the camera 1, when the eye direction specifying availability determination unit 11 determines that the vehicle driver's eye direction can be specified. Estimate the direction. In addition, as a method for estimating the direction of the eyes, any conventionally known method can be employed.
視線方向検出処理部１３は、目向き特定可否判定部１１により車両運転者の目の向きを特定可能と判定された場合に、顔向き推定処理部２により推定された車両運転者の顔向きと、目向き推定処理部１２により推定された車両運転者の目向きとを合成して、車両運転者の視線方向を検出する。 The gaze direction detection processing unit 13 determines the vehicle driver's face direction estimated by the face direction estimation processing unit 2 when it is determined by the eye direction specification availability determination unit 11 that the eye direction of the vehicle driver can be specified. The eye direction of the vehicle driver is detected by combining the eye direction of the vehicle driver estimated by the eye direction estimation processing unit 12.
本実施形態の視線方向推定装置では、以上のように、目向き特定可否判定部１１により車両運転者の目向きを特定できるか否かを判定し、車両運転者の目向きが特定可能な場合には、車両運転者の顔向きと目向きとを合成して車両運転者の視線方向を検出し、車両運転者の目向きが特定できない場合にのみ、上述した第１の実施形態で説明した手法、すなわち、車両運転者の顔向き推定結果を現在の運転シーンに対応した車両運転者のシーンモデルと照合することで、車両運転者の視線方向を推定するようにしている。したがって、本実施形態の視線方向推定装置では、車両運転者の目向きが特定できない場合でも視線方向を適切に推定できることに加え、車両運転者の目向きが特定可能な場合には、車両運転者の視線方向をより正確に検出することが可能となる。 In the gaze direction estimation device of the present embodiment, as described above, it is determined whether or not the eye direction of the vehicle driver can be specified by the eye direction specifying availability determination unit 11, and the eye direction of the vehicle driver can be specified. In the first embodiment described above, only when the vehicle driver's gaze direction is detected by combining the vehicle driver's face direction and eye direction, and the vehicle driver's eye direction cannot be specified. The vehicle driver's gaze direction is estimated by checking the method, that is, the vehicle driver's face orientation estimation result with the vehicle driver's scene model corresponding to the current driving scene. Therefore, in the gaze direction estimation device according to the present embodiment, the gaze direction can be appropriately estimated even when the vehicle driver's eye direction cannot be specified. It becomes possible to detect the line-of-sight direction more accurately.
［第３の実施形態］
次に、本発明の第３の実施形態としての視線方向推定装置について説明する。本実施形態の視線方向推定装置は、車両運転者の顔向き推定結果を現在の運転シーンに対応した車両運転者のシーンモデルと照合した際に、車両運転者の顔向きの移動がシーンモデルから乖離しているか否かにより視線移動の逸脱を判定し、視線逸脱が生じている場合に警報を発して注意を促すようにしたものである。
[Third Embodiment]
Next, a gaze direction estimation device as a third embodiment of the present invention will be described. The line-of-sight direction estimation apparatus according to the present embodiment compares the vehicle driver's face orientation estimation result with the scene model of the vehicle driver corresponding to the current driving scene. The deviation of the line-of-sight movement is determined based on whether or not there is a divergence, and when the line-of-sight deviation occurs, an alarm is issued to call attention.
本実施形態の視線方向推定装置の構成を図１９に示す。この図１９に示すように、本実施形態の視線方向推定装置は、上述した第１の実施形態の視線方向推定装置に、視線逸脱判定部１５を付加した構成とされる。 FIG. 19 shows the configuration of the gaze direction estimation apparatus of this embodiment. As shown in FIG. 19, the gaze direction estimation apparatus of the present embodiment has a configuration in which a gaze deviation determination unit 15 is added to the gaze direction estimation apparatus of the first embodiment described above.
視線逸脱判定部１５は、視線方向推定処理部６での車両運転者の顔向きとシーンモデルとの照合結果を随時取得して、顔向き推定処理部２により推定される車両運転者の顔向きの時系列変化が、シーンモデルデータベース５から読み出された現在の運転シーンに対応した車両運転者のシーンモデルから乖離するときに、車両運転者の視線移動が正常でない、つまり視線移動の逸脱が生じていると判定して、警報を出力する。視線移動の逸脱は、例えば、顔向き推定処理部２による推定結果から分かる今回の顔向きの移動と、シーンモデルから分かる普段の顔向きの移動との違いを、距離（角度差）の二乗誤差の積分値を用いて求めることで判定できる。 The line-of-sight departure determination unit 15 obtains the collation result between the face direction of the vehicle driver and the scene model at the line-of-sight direction estimation processing unit 6 as needed, and the face direction of the vehicle driver estimated by the face direction estimation processing unit 2 When the change in the time series deviates from the scene model of the vehicle driver corresponding to the current driving scene read out from the scene model database 5, the vehicle driver's line-of-sight movement is not normal, that is, the line-of-sight movement deviates. It judges that it has occurred and outputs an alarm. The deviation of the line of sight movement is, for example, the difference between the current face direction movement known from the estimation result by the face direction estimation processing unit 2 and the normal face direction movement known from the scene model, and the square error of the distance (angle difference). This can be determined by using the integral value of.
本実施形態の視線方向推定装置では、以上のように、顔向き推定処理部２により推定される車両運転者の顔向きの時系列変化が、シーンモデルデータベース５から読み出された現在の運転シーンに対応した車両運転者のシーンモデルから乖離するときに、視線逸脱判定部５が車両運転者に視線逸脱が生じていると判定して警報を出力するようにしている。したがって、本実施形態の視線方向推定装置では、車両運転者の目向きが特定できない場合でも視線方向を適切に推定できることに加え、車両運転者の視線移動が普段の行動と違う場合にその旨を車両運転者に認識させ、注意を促すことが可能となる。 In the gaze direction estimation apparatus of the present embodiment, as described above, the time series change of the vehicle driver's face direction estimated by the face direction estimation processing unit 2 is read from the scene model database 5 as the current driving scene. When the vehicle driver deviates from the scene model corresponding to the above, the line-of-sight departure determination unit 5 determines that the line-of-sight departure has occurred in the vehicle driver and outputs an alarm. Therefore, in the gaze direction estimation device of the present embodiment, in addition to being able to properly estimate the gaze direction even when the vehicle driver's eye direction cannot be specified, this is indicated when the gaze movement of the vehicle driver is different from the normal behavior. It is possible to make the vehicle driver recognize and call attention.
以上、本発明の実施形態について具体例を挙げながら詳細に説明したが、本発明の技術的範囲は、以上の実施形態の説明で開示した内容に限定されるものではなく、これらの開示から容易に導き得る様々な代替技術も含まれることは勿論である。 The embodiments of the present invention have been described in detail with specific examples. However, the technical scope of the present invention is not limited to the contents disclosed in the description of the above-described embodiments, and is easy from these disclosures. Of course, various alternative technologies that can lead to the above are also included.
１ カメラ
２ 顔向き推定処理部
３ 個人認証処理部
４ 運転シーン推定処理部
５ シーンモデルデータベース
６ 視線方向推定処理部
１１ 目向き特定可否判定部
１２ 目向き推定処理部
１３ 視線方向検出処理部
１５ 視線逸脱判定部
DESCRIPTION OF SYMBOLS 1 Camera 2 Face direction estimation process part 3 Personal authentication process part 4 Driving scene estimation process part 5 Scene model database 6 Eye-gaze direction estimation process part 11 Eye orientation specific availability determination part 12 Eye direction estimation process part 13 Eye-gaze direction detection process part 15 Eye gaze Deviation judgment section
Claims (8)
前記顔画像撮影手段で撮影された顔画像に基づいて、車両運転者の顔向きを推定する顔向き推定手段と、
車両運転者に対する個人認証処理を行う個人認証手段と、
車両信号と周囲環境情報とに基づいて、車両の運転シーンを推定するシーン推定手段と、
複数の登録者ごとに、車両運転シーンごとの各登録者の顔向きの時系列変化と視対象との対応関係を表すシーンモデルを記憶するシーンモデル記憶手段と、
前記個人認証手段による認証結果と前記シーン推定手段による推定結果とに基づいて、前記シーンモデル記憶手段に記憶されているシーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定し、特定したシーンモデルと前記顔向き推定手段による推定結果とに基づいて、車両運転者の視線方向を推定する視線方向推定手段とを備えることを特徴とする視線方向推定装置。 A face image photographing means for photographing a face image of a vehicle driver;
A face direction estimating means for estimating the face direction of the vehicle driver based on the face image photographed by the face image photographing means;
Personal authentication means for performing personal authentication processing for a vehicle driver;
Scene estimation means for estimating the driving scene of the vehicle based on the vehicle signal and the surrounding environment information;
Scene model storage means for storing a scene model representing a correspondence relationship between a time-series change in face direction of each registrant for each vehicle driving scene and a visual target for each registrant;
Based on the authentication result by the personal authentication means and the estimation result by the scene estimation means, the scene model of the vehicle driver corresponding to the current driving scene is identified from the scene models stored in the scene model storage means. And a gaze direction estimation unit that estimates a gaze direction of the vehicle driver based on the identified scene model and the estimation result by the face direction estimation unit.
前記視線方向推定手段は、前記目向き特定可否判定手段により車両運転者の目の向きを特定できないと判定されたときに、前記個人認証手段による認証結果と前記シーン推定手段による推定結果とに基づいて、前記シーンモデル記憶手段に記憶されているシーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定し、特定したシーンモデルと前記顔向き推定手段の推定結果とに基づいて、車両運転者の視線方向を推定することを特徴とする請求項１に記載の視線方向推定装置。 Eye orientation specific availability determination means for determining whether or not the direction of the eyes of the vehicle driver can be specified from the face image captured by the face image capturing means,
The line-of-sight direction estimation means is based on the authentication result by the personal authentication means and the estimation result by the scene estimation means when it is determined by the eye direction specification availability determination means that the eye direction of the vehicle driver cannot be specified. The vehicle driver's scene model corresponding to the current driving scene is identified from the scene models stored in the scene model storage means, and based on the identified scene model and the estimation result of the face orientation estimating means The gaze direction estimation device according to claim 1, wherein the gaze direction of the vehicle driver is estimated.
車両運転者の顔画像を撮影し、
撮影した顔画像に基づいて、車両運転者の顔向きを推定し、
車両運転者に対する個人認証処理を行い、
車両信号と周囲環境情報とに基づいて、車両の運転シーンを推定し、
前記個人認証処理の結果と前記車両の運転シーンの推定結果とに基づいて、前記予め記憶しているシーンモデルの中から現在の運転シーンに対応した車両運転者のシーンモデルを特定し、特定したシーンモデルと前記車両運転者の顔向きの推定結果とに基づいて、車両運転者の視線方向を推定することを特徴とする視線方向推定方法。 For each of a plurality of registrants, a scene model representing a correspondence relationship between a time-series change in the face direction of each registrant for each vehicle driving scene and a visual target is stored in advance.
Take a picture of the driver ’s face,
Estimate the face direction of the driver based on the captured face image,
Perform personal authentication processing for the vehicle driver,
Based on the vehicle signal and surrounding environment information, estimate the driving scene of the vehicle,
Based on the result of the personal authentication process and the estimation result of the driving scene of the vehicle, the scene model of the vehicle driver corresponding to the current driving scene is identified from the scene models stored in advance and specified. A gaze direction estimation method, wherein a gaze direction of a vehicle driver is estimated based on a scene model and the estimation result of the face direction of the vehicle driver.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006332825A JP4811259B2 (en) | 2006-12-11 | 2006-12-11 | Gaze direction estimation apparatus and gaze direction estimation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006332825A JP4811259B2 (en) | 2006-12-11 | 2006-12-11 | Gaze direction estimation apparatus and gaze direction estimation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008146356A true JP2008146356A (en) | 2008-06-26 |
| JP4811259B2 JP4811259B2 (en) | 2011-11-09 |
Family
ID=39606469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006332825A Expired - Fee Related JP4811259B2 (en) | 2006-12-11 | 2006-12-11 | Gaze direction estimation apparatus and gaze direction estimation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4811259B2 (en) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010152487A (en) * | 2008-12-24 | 2010-07-08 | Denso Corp | Action estimating apparatus and program |
| JP2015125782A (en) * | 2013-12-26 | 2015-07-06 | ビステオン グローバル テクノロジーズ インコーポレイテッド | System and method for switching between gaze tracking and head tracking |
| JP2015150979A (en) * | 2014-02-13 | 2015-08-24 | トヨタ自動車株式会社 | vehicle control device |
| KR20160042564A (en) * | 2014-10-10 | 2016-04-20 | 현대자동차주식회사 | Apparatus and method for tracking gaze of glasses wearer |
| JP2017027604A (en) * | 2015-07-27 | 2017-02-02 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | Method and device for estimating direction of view of vehicle occupant, and method and device for determining head movement gain parameter specific for vehicle occupant |
| JP2017024711A (en) * | 2015-07-22 | 2017-02-02 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | Method and device for predicting visual line direction of occupant |
| JP2017168024A (en) * | 2016-03-18 | 2017-09-21 | アイシン・エィ・ダブリュ株式会社 | Sight line learning system and sight line learning program |
| JP2017194345A (en) * | 2016-04-20 | 2017-10-26 | 株式会社デンソー | Facial direction measurement device |
| WO2017183128A1 (en) * | 2016-04-20 | 2017-10-26 | 日産自動車株式会社 | Terminal device location estimation method, information display method, and terminal device location estimation device |
| JP2018010465A (en) * | 2016-07-13 | 2018-01-18 | 株式会社デンソー | Information processing device and program |
| CN109074151A (en) * | 2016-04-20 | 2018-12-21 | 日产自动车株式会社 | Information display method and display control unit |
| JP2019101520A (en) * | 2017-11-29 | 2019-06-24 | 株式会社デンソーアイティーラボラトリ | Visual recognition object detection device, visual recognition object detection method, and program |
| US10351144B2 (en) | 2016-12-07 | 2019-07-16 | Toyota Jidosha Kabushiki Kaisha | Sightline estimation system and sightline estimation method |
| WO2019187979A1 (en) * | 2018-03-27 | 2019-10-03 | 日本電気株式会社 | Look-away determination device, look-away determination system, look-away determination method, and storage medium |
| JP2020091848A (en) * | 2018-12-04 | 2020-06-11 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | Video processing method and device |
| JP2020523694A (en) * | 2018-04-24 | 2020-08-06 | ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド | Facial feature point positioning method and device |
| JP2020154947A (en) * | 2019-03-22 | 2020-09-24 | 株式会社デンソーアイティーラボラトリ | Visible direction estimation device, visible direction estimation method, and program |
| CN115050089A (en) * | 2021-03-08 | 2022-09-13 | 本田技研工业株式会社 | Correction device, correction method, drive recorder, vehicle, and storage medium |
| KR102454599B1 (en) * | 2021-05-26 | 2022-10-17 | 포티투닷 주식회사 | Method and apparatus for determining the position of an object on a lane map |
| WO2022250480A1 (en) * | 2021-05-26 | 2022-12-01 | 포티투닷 주식회사 | Method and device for determining location of object in lane map |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7083729B2 (en) | 2018-08-30 | 2022-06-13 | タキゲン製造株式会社 | One-touch mounting hinge |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000113186A (en) * | 1998-10-01 | 2000-04-21 | Mitsubishi Electric Inf Technol Center America Inc | System and method for classifying gazing direction |
| JP2002083400A (en) * | 2000-09-06 | 2002-03-22 | Honda Motor Co Ltd | On-vehicle information processor for judging compatibility of view area of driver |
| JP2003296712A (en) * | 2002-04-02 | 2003-10-17 | Nissan Motor Co Ltd | Device and method for detecting facial state |
| JP2003327009A (en) * | 2002-05-14 | 2003-11-19 | Toyota Central Res & Dev Lab Inc | Attention attracting device |
| JP2004504684A (en) * | 2000-07-24 | 2004-02-12 | シーイング・マシーンズ・プロプライエタリー・リミテッド | Face image processing system |
-
2006
- 2006-12-11 JP JP2006332825A patent/JP4811259B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000113186A (en) * | 1998-10-01 | 2000-04-21 | Mitsubishi Electric Inf Technol Center America Inc | System and method for classifying gazing direction |
| JP2004504684A (en) * | 2000-07-24 | 2004-02-12 | シーイング・マシーンズ・プロプライエタリー・リミテッド | Face image processing system |
| JP2002083400A (en) * | 2000-09-06 | 2002-03-22 | Honda Motor Co Ltd | On-vehicle information processor for judging compatibility of view area of driver |
| JP2003296712A (en) * | 2002-04-02 | 2003-10-17 | Nissan Motor Co Ltd | Device and method for detecting facial state |
| JP2003327009A (en) * | 2002-05-14 | 2003-11-19 | Toyota Central Res & Dev Lab Inc | Attention attracting device |
Cited By (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4683123B2 (en) * | 2008-12-24 | 2011-05-11 | 株式会社デンソー | Action estimation device, program |
| US8260000B2 (en) | 2008-12-24 | 2012-09-04 | Denso Corporation | Action estimating apparatus, method for updating estimation model, and program |
| JP2010152487A (en) * | 2008-12-24 | 2010-07-08 | Denso Corp | Action estimating apparatus and program |
| JP2015125782A (en) * | 2013-12-26 | 2015-07-06 | ビステオン グローバル テクノロジーズ インコーポレイテッド | System and method for switching between gaze tracking and head tracking |
| JP2015150979A (en) * | 2014-02-13 | 2015-08-24 | トヨタ自動車株式会社 | vehicle control device |
| KR20160042564A (en) * | 2014-10-10 | 2016-04-20 | 현대자동차주식회사 | Apparatus and method for tracking gaze of glasses wearer |
| KR101628493B1 (en) * | 2014-10-10 | 2016-06-21 | 현대자동차주식회사 | Apparatus and method for tracking gaze of glasses wearer |
| US9454226B2 (en) | 2014-10-10 | 2016-09-27 | Hyundai Motor Company | Apparatus and method for tracking gaze of glasses wearer |
| JP2017024711A (en) * | 2015-07-22 | 2017-02-02 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | Method and device for predicting visual line direction of occupant |
| JP2017027604A (en) * | 2015-07-27 | 2017-02-02 | ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ | Method and device for estimating direction of view of vehicle occupant, and method and device for determining head movement gain parameter specific for vehicle occupant |
| JP2017168024A (en) * | 2016-03-18 | 2017-09-21 | アイシン・エィ・ダブリュ株式会社 | Sight line learning system and sight line learning program |
| JP2017194345A (en) * | 2016-04-20 | 2017-10-26 | 株式会社デンソー | Facial direction measurement device |
| WO2017183128A1 (en) * | 2016-04-20 | 2017-10-26 | 日産自動車株式会社 | Terminal device location estimation method, information display method, and terminal device location estimation device |
| CN109070748A (en) * | 2016-04-20 | 2018-12-21 | 日产自动车株式会社 | End device location estimation method, information display method and end device location estimation device |
| CN109074151A (en) * | 2016-04-20 | 2018-12-21 | 日产自动车株式会社 | Information display method and display control unit |
| JPWO2017183128A1 (en) * | 2016-04-20 | 2019-02-28 | 日産自動車株式会社 | Terminal device position estimation method, information display method, and terminal device position estimation device |
| CN109070748B (en) * | 2016-04-20 | 2021-11-30 | 日产自动车株式会社 | Information processing apparatus and display data determining method |
| US10776641B2 (en) | 2016-04-20 | 2020-09-15 | Nissan Motor Co., Ltd. | Information processing device and method of determining an image data displayed on the same |
| JP2018010465A (en) * | 2016-07-13 | 2018-01-18 | 株式会社デンソー | Information processing device and program |
| US10351144B2 (en) | 2016-12-07 | 2019-07-16 | Toyota Jidosha Kabushiki Kaisha | Sightline estimation system and sightline estimation method |
| JP2019101520A (en) * | 2017-11-29 | 2019-06-24 | 株式会社デンソーアイティーラボラトリ | Visual recognition object detection device, visual recognition object detection method, and program |
| JP7019394B2 (en) | 2017-11-29 | 2022-02-15 | 株式会社デンソーアイティーラボラトリ | Visual target detection device, visual target detection method, and program |
| WO2019187979A1 (en) * | 2018-03-27 | 2019-10-03 | 日本電気株式会社 | Look-away determination device, look-away determination system, look-away determination method, and storage medium |
| JP2019174885A (en) * | 2018-03-27 | 2019-10-10 | 日本電気株式会社 | Looking-away determination device, looking-away determination system, looking-away determination method, and program |
| US11893806B2 (en) | 2018-03-27 | 2024-02-06 | Nec Corporation | Looking away determination device, looking away determination system, looking away determination method, and storage medium |
| JP2020523694A (en) * | 2018-04-24 | 2020-08-06 | ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド | Facial feature point positioning method and device |
| JP7042849B2 (en) | 2018-04-24 | 2022-03-28 | ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド | Positioning method and equipment for facial feature points |
| US11314965B2 (en) | 2018-04-24 | 2022-04-26 | Beijing Sensetime Technology Development Co., Ltd. | Method and apparatus for positioning face feature points |
| JP7419017B2 (en) | 2018-12-04 | 2024-01-22 | 三星電子株式会社 | Video processing method and device |
| JP2020091848A (en) * | 2018-12-04 | 2020-06-11 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | Video processing method and device |
| JP2020154947A (en) * | 2019-03-22 | 2020-09-24 | 株式会社デンソーアイティーラボラトリ | Visible direction estimation device, visible direction estimation method, and program |
| JP7185571B2 (en) | 2019-03-22 | 2022-12-07 | 株式会社デンソーアイティーラボラトリ | Viewing direction estimation device, viewing direction estimation method, and program |
| CN115050089A (en) * | 2021-03-08 | 2022-09-13 | 本田技研工业株式会社 | Correction device, correction method, drive recorder, vehicle, and storage medium |
| WO2022250480A1 (en) * | 2021-05-26 | 2022-12-01 | 포티투닷 주식회사 | Method and device for determining location of object in lane map |
| KR20220159868A (en) * | 2021-05-26 | 2022-12-05 | 포티투닷 주식회사 | Method and apparatus for performing lane fitting |
| KR102491524B1 (en) * | 2021-05-26 | 2023-01-27 | 포티투닷 주식회사 | Method and apparatus for performing lane fitting |
| KR102454599B1 (en) * | 2021-05-26 | 2022-10-17 | 포티투닷 주식회사 | Method and apparatus for determining the position of an object on a lane map |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4811259B2 (en) | 2011-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4811259B2 (en) | Gaze direction estimation apparatus and gaze direction estimation method | |
| JP6695503B2 (en) | Method and system for monitoring the condition of a vehicle driver | |
| JP4826506B2 (en) | Gaze estimation device | |
| US20190377409A1 (en) | Neural network image processing apparatus | |
| Lalonde et al. | Real-time eye blink detection with GPU-based SIFT tracking | |
| JP5359266B2 (en) | Face recognition device, face recognition method, and face recognition program | |
| KR20190050876A (en) | Method and apparatus for tracking object | |
| JP5127531B2 (en) | Image monitoring device | |
| García et al. | Driver monitoring based on low-cost 3-D sensors | |
| JP2003015816A (en) | Face/visual line recognizing device using stereo camera | |
| JP6822482B2 (en) | Line-of-sight estimation device, line-of-sight estimation method, and program recording medium | |
| JP6855872B2 (en) | Face recognition device | |
| JP4770218B2 (en) | Visual behavior determination device | |
| JP2003150942A (en) | Eye position tracing method | |
| JP2010123019A (en) | Device and method for recognizing motion | |
| JP2010191793A (en) | Alarm display and alarm display method | |
| JP5429885B2 (en) | Feature point tracking method and feature point tracking device | |
| JP2002366958A (en) | Method and device for recognizing image | |
| JP4696571B2 (en) | Eye position detection device | |
| Jeong et al. | Facial landmark detection based on an ensemble of local weighted regressors during real driving situation | |
| KR101601508B1 (en) | Method for tracking gaze | |
| CN116052136B (en) | Distraction detection method, vehicle-mounted controller, and computer storage medium | |
| Kim et al. | Resolution estimation technique in gaze tracking system for HCI | |
| KR101607569B1 (en) | Apparatus for detecting person and method thereof | |
| JP2021043665A (en) | Image processing device, image processing method, and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091126 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110706 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110726 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110808 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140902 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |