JP2007026073A - Face posture detection system - Google Patents

Face posture detection system Download PDF

Info

Publication number
JP2007026073A
JP2007026073A JP2005207090A JP2005207090A JP2007026073A JP 2007026073 A JP2007026073 A JP 2007026073A JP 2005207090 A JP2005207090 A JP 2005207090A JP 2005207090 A JP2005207090 A JP 2005207090A JP 2007026073 A JP2007026073 A JP 2007026073A
Authority
JP
Japan
Prior art keywords
nostril
face
detection system
pupil
nostrils
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005207090A
Other languages
Japanese (ja)
Other versions
JP4501003B2 (en
Inventor
Yoshinobu Ebisawa
嘉伸 海老澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shizuoka University NUC
Original Assignee
Shizuoka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shizuoka University NUC filed Critical Shizuoka University NUC
Priority to JP2005207090A priority Critical patent/JP4501003B2/en
Publication of JP2007026073A publication Critical patent/JP2007026073A/en
Application granted granted Critical
Publication of JP4501003B2 publication Critical patent/JP4501003B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a face posture detection system for detecting the spatial positions of pupils and nostrils by using an illumination means relevant to a pair of separately arranged cameras, and for showing the position of the face and the direction of the face from the positional relation. <P>SOLUTION: This face posture detection system is configured to calculate the right normal vectors of a triangle plane constituted of two pupils and a right nostril, and to calculate the left normal vectors of the triangle plane constituted of the two pupils and the left nostril in the same way, and to calculate the composite vectors of the right and the left normal vectors, and to arrange in advance the head of a testee at a fixed calibration position determined in advance for the pair of cameras, and to record pairs of distances between the two pupils and two nostrils on a two-dimensional image and the rates of the distances in a calibration step which is used for the position estimation of the nostrils. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、瞳孔と鼻孔の3次元位置を獲得し、それに基づいて顔の向きを代表することができる顔の方向ベクトルを得ることができる顔姿勢検出システムに関する。   The present invention relates to a face posture detection system capable of acquiring a three-dimensional position of a pupil and a nostril and obtaining a face direction vector that can represent the face direction based on the three-dimensional position.

顔の向きの検出は、人間が注意の方向を計測する上で重要であり、自動車のドライバーの余所見運転の防止にも役立つと考えられ、多くの出願(特許文献1〜7)や研究がなされている。
また本件発明者も同種の目的のために、ステレオ測定により、瞳孔と鼻孔の座標位置を特定し、それらに基づいて、頭部の位置と方向を検出する方法の発明(特許文献8)および瞳孔の検出を容易にするために明瞳孔および暗瞳孔のデータを得て、瞳孔の2次元座標を高精度に検出する実時間瞳孔位置検出システムの発明(特許文献9)をしている。
特開平05−215531 特開平09−251342 再公表WO02/007095 特開2004−94491 特開2004−234367 特開平8−106519 特開2000−210270 特願2004−73998 特願2004−170506
Face orientation detection is important for humans to measure the direction of attention, and is thought to be useful for preventing unnecessary driving by automobile drivers. Many applications (Patent Documents 1 to 7) and research have been made. ing.
In addition, for the same purpose, the inventor of the present invention specifies a coordinate position of the pupil and nostril by stereo measurement, and based on them, detects the position and direction of the head (Patent Document 8) and pupil In order to facilitate the detection of the pupil, the invention of a real-time pupil position detection system (Patent Document 9) that obtains the data of the bright pupil and the dark pupil and detects the two-dimensional coordinates of the pupil with high accuracy is disclosed.
JP 05-215531 A JP 09-251342 A Republished WO02 / 007095 JP 2004-94491 A JP 2004-234367 A JP-A-8-106519 JP 2000-210270 Japanese Patent Application No. 2004-73998 Japanese Patent Application No. 2004-170506

これまで、顔の全体の輝度分布のおおよそをビデオカメラで検出し、その変化から顔の方向を推定したり、顔全体の形状に楕円を当てはめてその楕円の扁平度から顔の方向を検出する方法がある。しかし、精度は期待できない。また、顔の特徴点(たとえば、目頭,目じり,鼻孔,唇の両端など)をカメラで捉えて、それらの位置関係から顔の方向を推定する方法、さらに、精度を上げるために、2台のカメラによって三角測量の原理から、上述の顔の特徴点の3次元位置を計測し、それらの位置関係から顔の方向を捉える方法がある(非特許文献1) 。
しかし、顔の特徴点の画像をテンプレートマッチング法で探索するために、テンプレートを予め準備しなければならない点で面倒である。さらに環境光変動に弱い。その問題を比較的解決できる方法として、顔の特徴点として最も検出しやすいと考えられる黒目と鼻孔(2つの鼻孔の中心)を検出し、それらの位置関係から顔の方向を検出方法がある(非特許文献2)。
この方法は、照明条件がよければある程度の精度とロバスト性が望めると同時に、黒目や鼻孔が円形に近い形状をしているということを利用して、それらを検出するためにテンプレート画像が必要なく、それらのもっともらしい位置関係(たとえば、黒目の下に鼻孔がある;黒目どうしは大きく離れている、など)を検出条件に含めておくことで、特に学習の必要がない。しかし、黒目の検出精度や安定性は必ずしも高くなく精度を求めると難しい面がある。
松本 吉央 および A.ゼリンスキー 著 「頭部の方向と視線方向の実時間計測のアルゴリズム」(Y.Matsumoto and A.Zelinsky. An Algorithm for Realtime Stereo Vision Implementation of Head Pose and Gaze Direction Measurement.In Proc. of Fourth Int. Conf. on Automatic Face and Gesture Recognition (FG'2000), pages 499-505, 2000) 林 健太郎、橋本 学、鷲見 和彦 著 「頑健性と精緻性を備えた顔特徴点追跡による顔方向推定」電子情報通信学会,Vol.J84-D2 No.8 ,pp.1762-1771
Until now, the approximate luminance distribution of the entire face is detected with a video camera, and the direction of the face is estimated from the change, or an ellipse is applied to the shape of the entire face and the direction of the face is detected from the flatness of the ellipse. There is a way. However, accuracy cannot be expected. In addition, a method for capturing facial features (for example, the eyes, eyes, nostrils, both ends of the lips) with a camera and estimating the face direction from their positional relationship, There is a method of measuring the three-dimensional positions of the above-described facial feature points from the principle of triangulation with a camera and capturing the face direction from the positional relationship (Non-Patent Document 1).
However, it is troublesome in that a template must be prepared in advance in order to search for an image of facial feature points by the template matching method. Furthermore, it is vulnerable to environmental light fluctuations. As a method that can solve the problem relatively, there is a method of detecting a black eye and a nostril (center of two nostrils) that are considered to be most easily detected as facial feature points, and detecting a face direction from the positional relationship between them ( Non-patent document 2).
This method can achieve a certain degree of accuracy and robustness if the lighting conditions are good, and at the same time, it takes advantage of the fact that black eyes and nostrils have a nearly circular shape, so no template image is required to detect them. By including these plausible positional relationships (for example, there are nostrils below the black eyes; the black eyes are far apart) in the detection condition, there is no need for learning. However, the detection accuracy and stability of black eyes are not necessarily high, and it is difficult to obtain accuracy.
Yoshio Matsumoto and A. Zelinsky, "Y.Matsumoto and A. Zelinsky. An Algorithm for Realtime Stereo Vision Implementation of Head Pose and Gaze Direction Measurement.In Proc. Of Fourth Int. Conf. on Automatic Face and Gesture Recognition (FG'2000), pages 499-505, 2000) Kentaro Hayashi, Manabu Hashimoto, Kazuhiko Kusumi “Estimation of Face Direction by Tracking Facial Feature Points with Robustness and Precision” IEICE, Vol.J84-D2 No.8, pp.1762-1771

本件発明者は、人間の頭部に関する発明として、前述の特許文献8,9記載の発明をし、出願をしている。すでに出願済みの「瞳孔と鼻孔を用いた頭部の方向を検出する方法」(特許文献8)の発明は、顔の向きによって生ずる問題を解決するものである。この特許文献8記載の発明では、各カメラの画像中においてそれぞれ2個の鼻孔の中間位置の座標と2個の瞳孔位置の座標から、三角測量により、それら3点の3次元座標を求める。それらの3点を通る平面の法線ベクトルを求め、それを顔の方向とした。
しかし前記方法では顔の向きが左右に±15度を超えると、どちらかの鼻孔が検出できなくなる傾向がある。
The inventor has applied for the invention described in Patent Documents 8 and 9 described above as an invention relating to the human head. The invention of “Method for detecting head direction using pupil and nostril” (Patent Document 8) already filed solves the problem caused by the orientation of the face. In the invention described in Patent Document 8, the three-dimensional coordinates of these three points are obtained by triangulation from the coordinates of the intermediate positions of the two nostrils and the coordinates of the two pupil positions in each camera image. A normal vector of a plane passing through these three points was obtained and used as the face direction.
However, in the above method, if the face direction exceeds ± 15 degrees to the left and right, either nostril tends to be undetectable.

本件発明者の出願に係る(特許文献9)の「実時間瞳孔位置検出システム」によれば、瞳孔の位置を極めて安定に検出することができる。
カメラを少なくとも2台用意し、三角測量法ができるようにステレオカメラとして設置する。それら各カメラの光軸上もしくは開口部の周辺に近赤外線光源(LED)を並べる。それら2組の光源を、カメラのフィールド信号に同期させて交互に点滅させる。各カメラにおいて、それ自体に取り付けた光源が点灯するフィールドでは、瞳孔が明るく写る画像(明瞳孔画像)を得ることができる。これは、光源がカメラの開口部に近いからであり、いわゆる赤目現象に相当する。それに対して、互いに反対側の光源が点灯するフィールドでは瞳孔は暗く写る(暗瞳孔画像)。したがって、各カメラにおいて、明瞳孔画像と暗瞳孔画像が交互に得られる。これらを差分することにより、瞳孔だけが浮き彫りになり、画像処理によりロバスト性の高い瞳孔中心検出ができる。
According to the “real-time pupil position detection system” of the present inventor's application (Patent Document 9), the position of the pupil can be detected extremely stably.
Prepare at least two cameras and install them as stereo cameras so that triangulation can be performed. Near-infrared light sources (LEDs) are arranged on the optical axis of each of these cameras or around the opening. These two sets of light sources are alternately flashed in synchronization with the camera field signal. In each camera, in a field where a light source attached to the camera is lit, an image (bright pupil image) in which the pupil is bright can be obtained. This is because the light source is close to the opening of the camera and corresponds to a so-called red-eye phenomenon. On the other hand, the pupil appears dark in the field where the light sources opposite to each other are lit (dark pupil image). Therefore, in each camera, a bright pupil image and a dark pupil image are obtained alternately. By subtracting them, only the pupil is embossed, and the pupil center with high robustness can be detected by image processing.

しかし、前述の瞳孔検出に比較して、鼻孔の検出は容易ではなく何れかの鼻孔の検出が困難になるとか、両方の鼻孔を識別できない等の問題がある。前記問題を解決するために、本発明では鼻孔の検出に改善を加え、両方の鼻孔の中心を得ることができるようにする。
そして、得られた鼻孔の位置に基づいて、2個の瞳孔と右鼻孔による平面における三角形の重心からの右法線ベクトルを算出し、同様にして2個の瞳孔と左鼻孔による平面における三角形の重心からの左法線ベクトルを算出する。
これらの法線ベクトルの合成により顔の方向ベクトルを得ようとするものである。
すなわち本発明の目的は、両瞳孔と両鼻孔のデータに基づいてより良く被験者の方向を代表することができ、かつ確実に取得できる(ロバスト性をもつ)ベクトルを検出することができる顔姿勢検出システムを提供することにある。
However, compared to the above-described pupil detection, detection of the nostrils is not easy, and it is difficult to detect one of the nostrils, or there is a problem that both nostrils cannot be identified. In order to solve the above problem, the present invention improves the detection of the nostril so that the center of both nostrils can be obtained.
Then, based on the obtained nostril position, the right normal vector from the center of gravity of the triangle in the plane of the two pupils and the right nostril is calculated. Similarly, the triangle of the triangle in the plane of the two pupils and the left nostril is calculated. The left normal vector from the center of gravity is calculated.
An attempt is made to obtain a face direction vector by combining these normal vectors.
That is, the object of the present invention is to detect the face posture that can better represent the subject's direction based on the data of both pupils and both nostrils, and can detect the vector (having robustness) reliably. To provide a system.

前記目的を達成するために、本発明による請求項1記載の顔姿勢検出システムは、
離間されて配置された一対のカメラと関連する照明手段を用いて、瞳孔と鼻孔の空間位置の検出をおこない、それらの位置関係より顔の位置と顔の向きを示す顔姿勢検出システムであって、
2個の瞳孔と2個の鼻孔の中心点に対応する瞳孔と鼻孔の三次元位置に相当する空間座標を測定算出する鼻孔と瞳孔位置を測定または推定により獲得する鼻孔と瞳孔位置獲得ステップと、
2個の瞳孔と右鼻孔からなる三角形平面の法線ベクトルを算出する右法線ベクトル算出ステップと、
2個の瞳孔と左鼻孔からなる三角形平面の法線ベクトルを算出する左法線ベクトル算出ステップと、
前記左右の法線ベクトルの合成ベクトルを算出する合成ベクトル算出ステップと
から構成されている。
In order to achieve the object, a face posture detection system according to claim 1 according to the present invention is provided.
A face posture detection system that detects a spatial position of a pupil and a nostril using a lighting unit associated with a pair of cameras that are spaced apart from each other, and indicates a face position and a face direction based on the positional relationship between them. ,
Measuring the spatial coordinates corresponding to the three-dimensional position of the pupil and nostril corresponding to the center points of the two pupils and the two nostrils, and acquiring the nostril and pupil position by measuring or estimating the pupil position;
A right normal vector calculating step of calculating a normal vector of a triangular plane composed of two pupils and a right nostril;
A left normal vector calculating step of calculating a normal vector of a triangular plane composed of two pupils and a left nostril;
A combined vector calculating step for calculating a combined vector of the left and right normal vectors.

本発明による請求項2記載の顔姿勢検出システムは、請求項1記載の顔姿勢検出システムにおいて、
予め被験者の頭部を前記一対のカメラに対して予め定めた一定のキャリブレーション位置に配置して2次元画像上の2個の瞳孔と2個の鼻孔間に形成される対の間の距離と距離間の比率を記録するキャリブレーションステップおよび、
当該被験者の任意の鼻孔が検出できなかった場合は前記キャリブレーションデータに基づいて検出できなかった鼻孔を推定するステップを設けたものである。
The face posture detection system according to claim 2 of the present invention is the face posture detection system according to claim 1,
A distance between a pair formed between two pupils and two nostrils on a two-dimensional image by placing a subject's head in a predetermined calibration position predetermined with respect to the pair of cameras. A calibration step to record the ratio between distances; and
When any nostril of the subject cannot be detected, a step of estimating a nostril that could not be detected based on the calibration data is provided.

本発明による請求項3記載の顔姿勢検出システムは、請求項1または2記載の顔姿勢検出システムにおいて、
前記一対のカメラ、関連する照明手段、および被験者の位置関係は、
前記照明手段が、被験者が正常姿勢または前記キャリブレーション位置にあるときに、鼻孔が斜め下方向から照射される位置としたものである。
本発明による請求項4記載の顔姿勢検出システムは、請求項1または2記載の顔姿勢検出システムにおいて、
前記照明手段は瞳孔に対して暗照明および明照明を可能とする照明手段とするものである。
The face posture detection system according to claim 3 of the present invention is the face posture detection system according to claim 1 or 2,
The positional relationship between the pair of cameras, the associated illumination means, and the subject is:
The illumination means is a position where the nostril is irradiated obliquely downward when the subject is in a normal posture or the calibration position.
The face posture detection system according to claim 4 of the present invention is the face posture detection system according to claim 1 or 2,
The illumination means is an illumination means that enables dark illumination and bright illumination to the pupil.

本発明による請求項5記載の顔姿勢検出システムは、請求項2記載の顔姿勢検出システムにおいて、
一度、左右の鼻孔が検出されたら、予測モデルを使用して鼻孔の存在すると予測される位置にウインドウを設け追尾して、片方の鼻孔が検出できなくなっても、検出できている鼻孔が左右、どちらのものかを特定するステップを設けたものである。
本発明による請求項6記載の顔姿勢検出システムは、請求項1記載の顔姿勢検出システムにおいて、
前記各三角形平面の重心の重心を求めるステップをさらに設け、前記合成ベクトルの方向を、前記重心の重心を顔の位置とするときの顔の方向としたものである。
The face posture detection system according to claim 5 of the present invention is the face posture detection system according to claim 2,
Once the left and right nostrils are detected, use the prediction model to set up a window at the position where the nostrils are predicted to exist, and even if one nostril cannot be detected, the detected nostrils are left and right, A step for identifying either one is provided.
The face posture detection system according to claim 6 of the present invention is the face posture detection system according to claim 1,
The step of obtaining the center of gravity of the center of gravity of each triangular plane is further provided, and the direction of the composite vector is the face direction when the center of gravity of the center of gravity is used as the face position.

瞳孔と両方の鼻孔という明確な特徴点の3次元位置を検出でき、これを利用して顔の方向ベクトルを検出することができる。
なお片方の鼻孔が検出できない場合でも、その位置を推定して、両瞳孔および両鼻孔に基づく顔の方向ベクトルの検出を行なうことができるので、システムを複雑にしないでロバスト性の高い顔の方向ベクトルの検出が可能になる。顔の位置を代表する点も同様に検出でき、前記ベクトルをその点での方向とすることができる。なお実験によれば、左右角度にして±45度の広範囲の顔方向検出、垂直方向は上下±15度以上にわたって正しい検出が可能であることが実証されている。
Three-dimensional positions of distinct feature points of the pupil and both nostrils can be detected, and the face direction vector can be detected using this.
Even if one nostril cannot be detected, it is possible to estimate the position and detect the face direction vector based on both pupils and both nostrils, so the face direction is highly robust without complicating the system. Vector detection is possible. A point representing the position of the face can be detected in the same manner, and the vector can be the direction at that point. It has been proved by experiments that a wide range of face direction detection of ± 45 degrees in the horizontal direction and correct detection in the vertical direction of ± 15 degrees or more in the vertical direction are possible.

以下図面等を参照して本発明による顔姿勢検出システムの実施の形態を説明する。図1は、本発明によるシステムでカメラと被験者の配置を示す略図的平面図であり、第20図に関連する斜視図を示してある。図2に、被験者またはユーザが斜め横方向に顔と眼を向けているときの鼻孔中心が撮影されている状態を示す。なお、瞳孔は暗瞳孔となっている。
離間されて配置された一対のカメラ1,2は被験者またはユーザを斜め下方向から照射するように照明手段5,6が配置されている(図20参照)。
照明手段5,6は各カメラの光軸上もしくは開口部の周辺に近赤外線光源(LED)を並べて構成する。それら2組の光源を、カメラのフィールド信号に同期させて交互に点滅させる。各カメラにおいて、それ自体に取り付けた光源が点灯するフィールドでは、瞳孔が明るく写る画像(明瞳孔画像)を得ることができる。これは、光源がカメラの開口部に近いからであり、いわゆる赤目現象に相当する。それに対して、互いに反対側の光源が点灯するフィールドでは瞳孔は暗く写る(暗瞳孔画像)。したがって、各カメラにおいて、明瞳孔画像と暗瞳孔画像が交互に得られる。これらを差分することにより、瞳孔だけが浮き彫りになり、画像処理によりロバスト性の高い瞳孔中心検出ができる。
Embodiments of a face posture detection system according to the present invention will be described below with reference to the drawings. FIG. 1 is a schematic plan view showing the arrangement of a camera and a subject in a system according to the present invention, and shows a perspective view related to FIG. FIG. 2 shows a state in which the nostril center is photographed when the subject or the user turns his face and eyes obliquely in the horizontal direction. The pupil is a dark pupil.
Illuminating means 5 and 6 are arranged so that the pair of cameras 1 and 2 arranged apart from each other irradiate the subject or the user obliquely from below (see FIG. 20).
The illumination means 5 and 6 are configured by arranging near-infrared light sources (LEDs) on the optical axis of each camera or around the opening. These two sets of light sources are alternately flashed in synchronization with the camera field signal. In each camera, in a field where a light source attached to the camera is lit, an image (bright pupil image) in which the pupil is bright can be obtained. This is because the light source is close to the opening of the camera and corresponds to a so-called red-eye phenomenon. On the other hand, the pupil appears dark in the field where the light sources opposite to each other are lit (dark pupil image). Therefore, in each camera, a bright pupil image and a dark pupil image are obtained alternately. By subtracting them, only the pupil is embossed, and the pupil center with high robustness can be detected by image processing.

前述したように、鼻孔が写りやすくするためにカメラの位置を下げて配置する。例えば、20度〜30度程度が適当である。ディスプレイの下方にワイドカメラを配置する。
カメラ1,2間の距離は100mmであり、カメラ前面に取り付けた多光源LEDをフィールド単位で交互に点滅させている。
この実施例では瞳孔の位置の検出を容易にするために、前記各カメラと被験者(ユーザ)の頭部10との関係において各カメラ1,2に対して明孔照明と暗孔照明を提供することができる位置関係を保って配置される照明手段5,6等を準備する。前記カメラと前記照明手段を連動動作させ、被験者の頭部を撮影して、各瞳孔と鼻孔の像を明孔照明および暗孔照明で獲得する。なお明孔照明と暗孔照明を必須の構成要件とするものではない。
被験者(ユーザ)がカメラから50cm〜80cm程の場所に座り、被験者(ユーザ)がカメラの存在する方向に顔を向けている場合を想定している。これらの配置は前述した引用文献8の場合と、照明手段の位置を除き共通する。
As described above, the position of the camera is lowered so that the nostrils can be easily seen. For example, about 20 to 30 degrees is appropriate. A wide camera is placed below the display.
The distance between the cameras 1 and 2 is 100 mm, and the multiple light source LEDs attached to the front of the camera are alternately blinked in field units.
In this embodiment, in order to facilitate detection of the position of the pupil, bright hole illumination and dark hole illumination are provided to each camera 1 and 2 in the relationship between each camera and the head 10 of the subject (user). Illuminating means 5, 6 and the like arranged so as to maintain a positional relationship are prepared. The camera and the illuminating means are operated in conjunction to photograph the head of the subject, and images of each pupil and nostril are acquired by bright hole illumination and dark hole illumination. The bright hole illumination and the dark hole illumination are not essential constituent requirements.
It is assumed that the subject (user) sits at a location about 50 cm to 80 cm from the camera and the subject (user) faces his face in the direction in which the camera exists. These arrangements are the same as in the case of the cited reference 8 except for the position of the illumination means.

本発明による顔姿勢検出システムは、基本的には前述の装置により、取得した2つの瞳孔と2つの鼻孔のデータを得る。このデータは何れか一方の鼻孔のデータが後述するステップで推定される場合を含んでいる。その他前記特許文献8と異なる点は顔の方向ベクトル検出ステップが、前記特許文献8の場合は唯一の三角形に基づくのに対して、本発明の場合は2個の瞳孔と右鼻孔による三角平面の重心からの右法線ベクトルを算出し、2個の瞳孔と左鼻孔による平面の重心からの左法線ベクトルを算出し、これらに基づいて、顔の方向ベクトルを求めることにより、測定の範囲とロバスト性を高めた点にある。以下何れか一方の鼻孔のデータが後述するステップで推定される場合を中心に説明する。   The face posture detection system according to the present invention basically obtains data of two acquired pupils and two nostrils using the above-described apparatus. This data includes a case where data of one of the nostrils is estimated in a step described later. The other difference from Patent Document 8 is that the face direction vector detection step is based on a single triangle in the case of Patent Document 8, whereas in the case of the present invention, a triangular plane composed of two pupils and a right nostril is used. Calculate the right normal vector from the center of gravity, calculate the left normal vector from the center of gravity of the plane with two pupils and the left nostril, and based on these, determine the face direction vector, It is in the point which improved robustness. Hereinafter, a description will be given centering on the case where data of one of the nostrils is estimated in the steps described later.

顔以外の背景や顔の中にも鼻孔と同様に暗い部分があることが多く、その中から鼻孔を検出するには長い計算時間を要するか、ロバスト性に欠ける。そこで、次のようにロバスト性が高い瞳孔検出技術を活かして、鼻孔を検出する。まず、2個の瞳孔の中点を求める。そこからやや下に(瞳孔を含まないように)正面を向いているときにそれの中心がほぼ鼻孔位置に一致するように方形の大ウインドウを設定する。解析するのは、より鼻孔が暗く写る暗瞳孔画像からであり、明瞳孔画像や差分画像ではない。暗瞳孔画像に、上述の大ウインドウを設定し、その中だけを探索対象画像とする。まず、P−tile法により輝度が低いほうから0.8%の画素を検出する。0.8%という値は、鼻孔以外の部分が誤検出されないように故意に小さめに選んでいる。ただし、この値では鼻孔がかすれたような画像になる。そこで、画像の膨張と収縮(モルフォロジー処理)を繰り返し、かすれた画像から実際の鼻孔形状に類似した領域を作り出す。さらにラベリングを行い、大きなほうから2つの塊を選び出し、それぞれにおいて、上下左右端点より形成される長方形の中心と長方形の縦横比と面積を求める。縦横比が0.5より小さいか0.7より大きく、面積が100画素より小さいか300画素より大きい場合は鼻孔像ではないと判断し(画像全体を640×240画素としたとき)、そうではないときには、上述の長方形の中心を中心に30画素×30画素の小ウインドウを元の暗瞳孔画像に適用し、各小ウインドウ内において、P−tile法において輝度の低いほうから5%の画素を抽出する。さらに同様に、モルフォロジー処理を繰り返し、ラベリングを行い最大の塊を求める。その塊の面積が130画素以上か70画素以下の場合は鼻孔ではないと判断し、それ以外の場合は鼻孔であると判断し、その上下左右端点より形成される長方形の中心を鼻孔の中心として求める。   There are many dark parts in the background and face other than the face as well as the nostrils, and it takes a long calculation time to detect the nostrils, or lacks robustness. Therefore, the nostril is detected by utilizing a highly robust pupil detection technique as follows. First, find the midpoint of the two pupils. A large rectangular window is set so that the center of the window coincides with the position of the nostril when facing forward (not including the pupil). The analysis is based on a dark pupil image in which the nostrils appear darker, and is not a bright pupil image or a difference image. The above-mentioned large window is set in the dark pupil image, and only the inside is set as the search target image. First, 0.8% of pixels from the lower luminance are detected by the P-tile method. The value of 0.8% is intentionally selected to be small so that portions other than the nostrils are not erroneously detected. However, with this value, the image looks like a faint nostril. Therefore, the image is repeatedly expanded and contracted (morphological processing), and an area similar to the actual nostril shape is created from the blurred image. Further, labeling is performed to select two blocks from the larger one, and in each of them, the center of the rectangle formed from the upper, lower, left and right end points, the aspect ratio and area of the rectangle are obtained. If the aspect ratio is smaller than 0.5 or larger than 0.7 and the area is smaller than 100 pixels or larger than 300 pixels, it is determined that the image is not a nostril (when the entire image is 640 × 240 pixels). If not, a small window of 30 pixels × 30 pixels is applied to the original dark pupil image centered on the center of the rectangle described above, and within each small window, 5% of pixels from the lowest luminance are obtained by the P-tile method. Extract. Similarly, the morphological process is repeated and labeling is performed to obtain the largest block. If the area of the block is 130 pixels or more and 70 pixels or less, it is determined that it is not a nostril, otherwise it is determined that it is a nostril, and the center of the rectangle formed by the top, bottom, left, and right end points is the center of the nostril Ask.

上述のように大ウインドウと小ウインドウを設けて鼻孔検出を行なう理由のひとつは、先述の大ウインドウの中で単一の閾値で鼻孔を検出すると、顔を正面から回転させたときに、2つの鼻孔のそれぞれを検出するのに最適な閾値が変わってくるためであり、2個の鼻孔のそれぞれに別々に最適な閾値を与えるためである。
あるフレームにおいて、2つの鼻孔が検出された場合には、それらの中心のx座標の大きさから左右を判断する。いったん鼻孔が検出されたら、カルマンフィルタを用いて、次のフレームにおけるそれぞれの鼻孔位置を予測し、次のフレームの暗瞳孔画像におけるそれらの位置に初めから小ウインドウを与え、その中だけを上述の小ウインドウ内解析と同様に鼻孔探索を行なう。
One of the reasons for detecting a nostril by providing a large window and a small window as described above is that when a nostril is detected with a single threshold value in the large window described above, two faces are detected when the face is rotated from the front. This is because the optimum threshold value for detecting each of the nostrils changes, and the optimum threshold value is given to each of the two nostrils separately.
When two nostrils are detected in a certain frame, the left and right are determined from the size of the x-coordinates of their centers. Once the nostrils are detected, the Kalman filter is used to predict the respective nostril position in the next frame, giving them a small window from the beginning in the next frame's dark pupil image, and only inside that is the above mentioned small window. Search for nostrils as in the window analysis.

2つの小ウインドウの両方において、鼻孔がないと判断された場合には、次のフレームでは2つの小ウインドウを解除して、再度、大ウインドウを設定して、その中で前述の方法で鼻孔を検出する。片方の小ウインドウにおいて鼻孔がないと判断されたなら、先述のように、ないと判断された鼻孔の中心座標を推定する。さらに、鼻孔があると判断されたのが左右のどちらの鼻孔であるかを示す情報を維持しながら、カルマンフィルタによりその位置を次のフレームにおける同側鼻孔位置を予測し、予測された位置に小ウインドウを予め設定し、その中において、鼻孔探索を行なう。(ないと判断された鼻孔に関しては、設定された小ウインドウ以外の大ウインドウ中において、前述の同じ方法により閾値を設定し(P−tile法、0.4%)鼻孔を検出することを試みることもできる。)   If it is determined that there are no nostrils in both of the two small windows, in the next frame, the two small windows are canceled and a large window is set again, in which the nostrils are removed as described above. To detect. If it is determined that there is no nostril in one small window, the center coordinates of the nostril determined to be absent are estimated as described above. Furthermore, while maintaining the information indicating which of the left and right nostrils is determined to have a nostril, the position of the ipsilateral nostril in the next frame is predicted by the Kalman filter, and the position is reduced to the predicted position. A window is set in advance, and a nostril search is performed in the window. (With regard to the nostril determined to be not, try to detect the nostril by setting the threshold in the same way as described above (P-tile method, 0.4%) in the large window other than the set small window. Can also.)

測定の基本的な流れを、図面等を参照して説明する。図2は、ユーザが斜め横方向に顔と眼を向けているときに、鼻孔中心が検出されている例を示している。
図3は大ウインドウの与え方を説明する略図である。図4に画像処理に用いる(a)暗瞳孔画像と、(b)明瞳孔画像を示してある。
鼻孔は、暗瞳孔画像から検出する。理由は、眼瞳孔を得るための光源は、カメラの光軸の近くにあるため、鼻孔の奥を照らしやすく、カメラから見たときに鼻孔以外のところとの輝度差が出にくいためである。なお、1枚のフィールドの画像は640H×240Vの分解能で得るものとする。
The basic flow of measurement will be described with reference to the drawings. FIG. 2 shows an example in which the nostril center is detected when the user turns his face and eyes obliquely in the horizontal direction.
FIG. 3 is a schematic diagram illustrating how to provide a large window. FIG. 4 shows (a) a dark pupil image and (b) a bright pupil image used for image processing.
The nostril is detected from the dark pupil image. The reason is that since the light source for obtaining the eye pupil is near the optical axis of the camera, it is easy to illuminate the back of the nostril, and when viewed from the camera, it is difficult to produce a luminance difference from places other than the nostril. Note that an image of one field is obtained with a resolution of 640H × 240V.

(両瞳孔および鼻孔検出の基本的な流れ)
ステップ1.両瞳孔の各中心座標を取得する。
ステップ2.両瞳孔の中心座標の平均座標を計算し、それを基準に頭部が回転しても鼻孔が外れない位置に(ただし、2個の瞳孔よりも下の範囲)、大ウインドウを設定する(図3)。その中において鼻孔像探索を行う。
ステップ3.大ウインドウ内で鼻孔中心座標を取得する。
ステップ4.取得した鼻孔中心座標を中心として、30H×30Vの小ウインドウを適用する。
ステップ5.小ウインドウを適用した後は、カルマンフィルタにより次フレームの鼻孔位置を予測して、鼻孔に小ウインドウを適用しながら追尾する。
左右鼻孔ともに存在しないと判断されたら、小ウインドウを解除して再度ステップ1から4までを繰り返す。小ウインドウが左右鼻孔どちらかひとつが外れたとき(存在しないと判断されたとき)、または、大ウインドウで左右鼻孔どちらかひとつしか検出されなかったとき、ユーザキャリブレーションから得たデータを利用して、その鼻孔像中心座標を推定し鼻孔像探索を行う。
小ウインドウを与えるのは、その中で閾値を設定するために、より確実に鼻孔が検出できるためである。
上記の考えに基づいて構築した画像処理による鼻孔像検出アルゴリズムを実行した。
このように、ウインドウを鼻孔領域、左右鼻孔に適用し追尾していくことによりウインドウ外(鼻孔以外)のノイズの影響を受けずに安定して鼻孔を検出できる。この画像処理アルゴリズムの詳細については後述する。
(Basic flow of detection of both pupils and nostrils)
Step 1. The center coordinates of both pupils are acquired.
Step 2. The average coordinate of the center coordinates of both pupils is calculated, and a large window is set at a position where the nostril does not come off even if the head rotates with reference to the average coordinate (but below the two pupils). 3). The nostril image search is performed in it.
Step 3. Get the nostril center coordinates within the large window.
Step 4. A small window of 30H × 30V is applied around the acquired nostril center coordinates.
Step 5. After the small window is applied, the position of the nostril of the next frame is predicted by the Kalman filter, and tracking is performed while the small window is applied to the nostril.
If it is determined that both the left and right nostrils are not present, the small window is canceled and steps 1 to 4 are repeated again. When one of the left and right nostrils is removed (when it is determined that it does not exist) or when only one of the left or right nostrils is detected in the large window, use the data obtained from user calibration. The nostril image center coordinates are estimated and nostril image search is performed.
The reason for providing a small window is that the nostril can be detected more reliably in order to set a threshold value therein.
A nostril image detection algorithm based on the above image processing was executed.
In this way, by applying the window to the nostril region and the left and right nostrils for tracking, the nostril can be detected stably without being affected by noise outside the window (other than the nostrils). Details of this image processing algorithm will be described later.

瞳孔像を検出した後に鼻孔像を検出する。画像処理による瞳孔検出は明瞳孔画像と暗瞳孔画像の差分画像から行う。
画像処理による鼻孔像検出では、瞳孔像検出の差分画像では鼻孔像を検出できない。また、明瞳孔画像では鼻孔像内に高輝度部が存在することがあり、安定して検出できない。そのため、鼻孔検出は鼻孔像がより低輝度となる暗瞳孔画像から行う。
After detecting the pupil image, the nostril image is detected. Pupil detection by image processing is performed from a difference image between a bright pupil image and a dark pupil image.
In nostril image detection by image processing, a nostril image cannot be detected from a difference image of pupil image detection. In addition, in a bright pupil image, there may be a high-luminance part in the nostril image, which cannot be detected stably. Therefore, nostril detection is performed from a dark pupil image in which the nostril image has a lower luminance.

実際の画像では、照明条件が悪く背景部分の輝度値や対象部分の輝度値が画像全体で一定していない。そのため、固定閾値処理ではなく可変閾値処理を用いる。まず、Even画像の備考領域内の2値化を行うために輝度分布を作成する。図5に大ウインドウ、図6に小ウインドウの鼻孔領域を白線で示す。   In an actual image, the illumination conditions are poor and the luminance value of the background portion and the luminance value of the target portion are not constant throughout the image. Therefore, variable threshold processing is used instead of fixed threshold processing. First, a luminance distribution is created in order to binarize the remark area of the Even image. The nostril region of the large window is shown in FIG.

ウインドウ内における鼻孔像の面積は、およそ70〜130画素であり、鼻孔領域の面積は大ウインドウ(60×160)では9600画素、小ウインドウ(30×30)では900画素である。これより、Pタイル法によりウインドウ内を2値化する。この実施例では面積比率を大ウインドウでは0.8%、小ウインドウでは5%とした。このときの大ウインドウ、小ウインドウの輝度分布および閾値を図7,8,9に示す。また、大ウインドウ、小ウインドウを2値化した画像を図10,11に示す(ただし、明るいところを黒(LOW)とし、暗いところを白(HIGH)としている。
元の画像と同じであるが、大ウインドウと小ウインドウでは、閾値が異なってくるため、両者間で鼻孔の2値化画像が変わり、小ウインドウのほうが確実に鼻孔が検出できることが予想できる。
The area of the nostril image in the window is approximately 70 to 130 pixels, and the area of the nostril area is 9600 pixels in the large window (60 × 160) and 900 pixels in the small window (30 × 30). Thus, the inside of the window is binarized by the P tile method. In this embodiment, the area ratio is 0.8% for the large window and 5% for the small window. The luminance distribution and threshold value of the large window and the small window at this time are shown in FIGS. Also, images obtained by binarizing the large window and the small window are shown in FIGS. 10 and 11 (however, the bright part is black (LOW) and the dark part is white (HIGH)).
Although the threshold is different between the large window and the small window, the binarized image of the nostril changes between them, and it can be predicted that the nostril can be detected more reliably in the small window.

(モルフォロジ−処理)
図10および図11に大ウインドウ、小ウインドウにおける2値画像を示す。このような2値画像から正確な鼻孔中心を検出するのは難しい。そこでモルフォロジー処理を2値画像に施した後に中心を求める。ここで使用する処理は、膨張処理と縮小処理である。膨張処理とは、ここでは2値画像で注目する画像の8近傍に1つでもHIGH画素がある場合、注目する画像をHIGH画素に変換する処理であり、縮小処理とは2値画像で注目する画素の8近傍に1つでもLOW画素がある場合、注目する画素をLOW画素に変換する処理のことである。
はじめに、膨張を行った後に縮小処理を行う。この処理はクロージング処理と呼ばれる。図12〜14に、大ウインドウにおける上記の処理を行なう過程を示す。
図12はクロージング処理後の画像を示す。次に、図13に示すように膨張処理を行う。最後に、再度、クロージング処理を行なう(図14)。
上記のようにして、鼻孔の中心を正確に求める。
(Morphology treatment)
10 and 11 show binary images in a large window and a small window. It is difficult to detect an accurate nostril center from such a binary image. Therefore, after the morphological process is performed on the binary image, the center is obtained. The processes used here are an expansion process and a reduction process. Here, the dilation process is a process of converting an image of interest into a HIGH pixel when at least one HIGH pixel is present in the vicinity of the image of interest in the binary image, and the reduction process is noted in the binary image. This is processing for converting a pixel of interest into a LOW pixel when there is at least one LOW pixel in the vicinity of 8 pixels.
First, reduction processing is performed after expansion. This process is called a closing process. 12 to 14 show a process of performing the above processing in a large window.
FIG. 12 shows an image after the closing process. Next, expansion processing is performed as shown in FIG. Finally, the closing process is performed again (FIG. 14).
As described above, the center of the nostril is accurately obtained.

(鼻孔かどうかの判断方法と鼻孔中心座標の算出)
はじめに2値画像のHIGH領域を集合ごとに分けて考えるためラベル付けを行う。ラベル付けによって分けられた各集合に対して上下左右点より形成される長方形を考える。各長方形領域の縦横比が0.5より小さいか0.7より大きく、各長方形面積が100より小さいか300より大きい場合は鼻孔像ではないと判断する。鼻孔像であると判断した場合には、長方形の中心を求め、それを鼻孔像の中心座標とする。図15Aに、大ウインドウにおける鼻孔像中心算出の結果例を示し、図15Bに、2つの小ウインドウ内における鼻孔像中心算出の結果例を示す。
(Judgment method of nostril and calculation of nostril center coordinates)
First, labeling is performed in order to consider the HIGH region of the binary image separately for each set. Consider a rectangle formed from top, bottom, left and right points for each set separated by labeling. When the aspect ratio of each rectangular area is smaller than 0.5 or larger than 0.7 and each rectangular area is smaller than 100 or larger than 300, it is determined that the image is not a nostril image. If it is determined that the image is a nostril image, the center of the rectangle is obtained and used as the center coordinates of the nostril image. FIG. 15A shows an example of the result of calculation of the nostril image center in the large window, and FIG. 15B shows an example of the result of calculation of the nostril image center in the two small windows.

(カルマンフィルタの適用)
検出された鼻孔中心座標を用いて、次フレームの鼻孔位置をカルマンフィルタにより推定する。
ステレオカメラにおける鼻の追尾は、ウインドウを適用して場所を限定して解析することにより、鼻孔検出の精度と処理速度を向上させている。しかし、頭部の移動が大きな場合や速く動く場合にはウインドウサイズを大きくしなければ追尾できなくなってしまうという問題があった。そこで、小さなウインドウサイズにおいても追尾が行えるようにカルマンフィルタを用いて、鼻孔の位置変化を予測して追尾させることにより、頭部の移動がある場合においても、安定した鼻孔検出が行えるようにした。
(Application of Kalman filter)
Using the detected nostril center coordinates, the nostril position of the next frame is estimated by the Kalman filter.
The tracking of the nose in the stereo camera improves the accuracy and processing speed of nostril detection by applying a window and analyzing the limited location. However, there is a problem that if the movement of the head is large or the movement is fast, tracking cannot be performed unless the window size is increased. Therefore, by using a Kalman filter so that tracking can be performed even in a small window size, the position change of the nostril is predicted and tracking is performed, so that stable nostril detection can be performed even when the head moves.

(ユーザキャリブレーション)
次に図16を参照してユーザキャリブレーションについて説明する。
ユーザによって瞳孔位置、鼻孔位置、鼻孔形状は異なる。また、顔方向においてもユーザによって正面と考える方向が異なるため、ユーザにおける瞳孔位置、鼻孔位置、鼻孔形状、ユーザ自身が正面と考える顔方向をあらかじめ把握(以下、ユーザキャリブレーション)しておく必要がある。図16に示すようにディスプレイの中心に例えば直径1cmの円を表示する。次に、この円を注視し(視線を向ける)、ディスプレイに対してユーザ自身が正面と考える方向に5秒間顔を向ける。この間鼻孔検出処理と顔方向算出処理を行い、ユーザ自身が正面と考える顔方向をユーザの正面方向とする。このときの各カメラの画像中の2つの瞳孔中心座標と2つの鼻孔中心座標を求めておくことがユーザキャリブレーションである。これらの情報を片方の鼻孔が検出できないときに使用され、両方の鼻孔が検出できるときは不要である。
(User calibration)
Next, user calibration will be described with reference to FIG.
The pupil position, nostril position, and nostril shape differ depending on the user. In addition, since the direction considered to be the front also varies depending on the user in the face direction, it is necessary to grasp in advance the user's pupil position, nostril position, nostril shape, and the face direction considered by the user himself / herself (hereinafter referred to as user calibration). is there. As shown in FIG. 16, for example, a circle having a diameter of 1 cm is displayed at the center of the display. Next, gaze at this circle (turn the line of sight), and face the user for 5 seconds in the direction that the user considers to be the front. During this time, the nostril detection process and the face direction calculation process are performed, and the face direction that the user considers to be the front is the front direction of the user. User calibration is to obtain two pupil center coordinates and two nostril center coordinates in the image of each camera at this time. These pieces of information are used when one nostril cannot be detected, and are unnecessary when both nostrils can be detected.

(鼻孔推定法)
ユーザが頭部を回転させるとき、常に左右両方の鼻孔像を検出するのは困難である。そこで、片方の鼻孔像(以下、片鼻孔)のみ検出されたとき、検出されなかった鼻孔像を推定する。
鼻孔領域から鼻孔を検出する際、鼻孔面積が130より大きいか70より小さい場合は、鼻孔対象から除外する。これは鼻孔には際立った特徴がなく、誤って雑音を鼻孔像として検出する可能性があるためである。そこで、1つの鼻孔しか検出されなかった場合、もう1つの鼻孔の中心を求める。
ユーザキャリブレーションより取得した右瞳孔中心を(XRP0 ,YRP0 )、左瞳孔中心(XLP0 ,YLP0 )、右鼻孔中心(XRN0 ,YRN0 )、左鼻孔中心(XLN0 ,YLN0 )とする(図17(a))。次に、顔を動かしたある時点の右瞳孔中心を(XRP,YRP)、左瞳孔中心(XLP,YLP)、右鼻孔中心(XRN,YRN)、左鼻孔中心(XLN,YLN)とする(図17(b))。図17(b)では左鼻孔が検出されなかった場合を示している。
(Nostril estimation method)
When the user rotates his / her head, it is difficult to always detect both right and left nostril images. Therefore, when only one nostril image (hereinafter referred to as one nostril) is detected, a nostril image not detected is estimated.
When detecting the nostril from the nostril region, if the nostril area is larger than 130 or smaller than 70, it is excluded from the nostril object. This is because the nostrils have no distinctive features, and noise may be erroneously detected as nostril images. Therefore, when only one nostril is detected, the center of another nostril is obtained.
The right pupil center obtained from the user calibration (X RP0, Y RP0), left pupil center (X LP0, Y LP0), right nostril center (X RN0, Y RN0), left nostril center (X LN0, Y LN0) (FIG. 17A). Next, the right pupil center at a certain point in time when the face is moved is (X RP , Y RP ), left pupil center (X LP , Y LP ), right nostril center (X RN , Y RN ), left nostril center (X LN , Y LN ) (FIG. 17B). FIG. 17B shows a case where the left nostril is not detected.

キャリブレーションの瞳孔間距離DP0、鼻孔間距離DN0を求める。

P0={(XRP0 −XLP02 +(YRP0 −YLP021/2 (1)

N0={(XRN0 −XLN02 +(YRN0 −YLN021/2 (2)

次に、顔を動かしたある時点の瞳孔傾斜IP 、瞳孔間距離DP を求める。

P =(YRP−YLP)/(XRP−XLP) (3)

P ={(XRP−XLP2 +(YRP−YLP21/2 (4)

両瞳孔と両鼻孔は常に平行であると考える。このとき鼻孔傾斜IN は式(6)のようになる。
N =IP (6)

顔を動かしたある時点の鼻孔間距離を、ユーザキャリブレーションにより求めた瞳孔間距離と鼻孔間距離と顔を動かしたある時点の瞳孔間距離より求める。
P :DN =DP0:DN0

N =(DN0/DP0)×DP (5)

N 、DN は式(6),(7)のようになる。

N =(YRN−YLN)/(XRN−XLN) (6)

N ={(XRN−XLN2 +(YRN−YLN21/2 (7)

左の鼻孔の中心座標は次式で表すことができる。

LN=XRN−{DN 2 /(1+IN 2 )}1/2 (8)

LN=YRN−{(DN 2・IN 2 )/(1+IN 2 )}1/2 (9)
The interpupillary distance D P0 and the nostril distance D N0 of the calibration are obtained.

D P0 = {(X RP0 −X LP0 ) 2 + (Y RP0 −Y LP0 ) 2 } 1/2 (1)

D N0 = {(X RN0 -X LN0) 2 + (Y RN0 -Y LN0) 2} 1/2 (2)

Next, the pupil inclination I P and the inter-pupil distance D P at a certain point in time when the face is moved are obtained.

I P = (Y RP −Y LP ) / (X RP −X LP ) (3)

D P = {(X RP −X LP ) 2 + (Y RP −Y LP ) 2 } 1/2 (4)

Both pupils and nostrils are always considered parallel. At this time, the nostril inclination I N is as shown in Equation (6).
I N = I P (6)

The internostral distance at a certain point of time when the face is moved is obtained from the interpupillary distance obtained by user calibration, the internostral distance, and the interpupillary distance at a certain point when the face is moved.
D P : D N = D P0 : D N0

D N = (D N0 / D P0 ) × D P (5)

I N and D N are as shown in equations (6) and (7).

I N = (Y RN −Y LN ) / (X RN −X LN ) (6)

D N = {(X RN −X LN ) 2 + (Y RN −Y LN ) 2 } 1/2 (7)

The center coordinate of the left nostril can be expressed as:

X LN = X RN − {D N 2 / (1 + I N 2 )} 1/2 (8)

Y LN = Y RN − {(D N 2 · I N 2 ) / (1 + I N 2 )} 1/2 (9)

しかし、ここで、左の鼻孔が検出できなかったとすると、(XLN,YLN)が不明なため(6)式と(7)式からは,IN とDN が求まらないため、代わりに、(3)式と(6)式からIN を算出し、(3)式と(5)式からDN を算出し、これらを(8)式と(9)式に代入して,左鼻孔の中心座標(XLN,YLN)を推定する。
逆に、右鼻孔が検出できなかったとすると、(XRN,YRN)は次の2式で求める。

RN=XLN+{DN 2 /(1+IN 2 )}1/2 (10)

RN=YLN+{(DN 2・IN 2 )/(1+IN 2 )}1/2 (11)
However, if the left nostril could not be detected, (X LN , Y LN ) is unknown, so I N and D N cannot be obtained from Eqs. (6) and (7). Alternatively, to calculate the I N (3) and (6), (3) calculating a D N from equation (5), by substituting them (8) and (9) , The center coordinates (X LN , Y LN ) of the left nostril are estimated.
Conversely, if the right nostril cannot be detected, (X RN , Y RN ) is obtained by the following two equations.

X RN = X LN + {D N 2 / (1 + I N 2 )} 1/2 (10)

Y RN = Y LN + {(D N 2 · I N 2 ) / (1 + I N 2 )} 1/2 (11)

(顔方向算出法)
左瞳孔中心、右瞳孔中心、左鼻孔中心、右鼻孔中心の4点の三次元座標を求める。今、右瞳孔中心、左瞳孔中心、左鼻孔中心、右鼻孔中心の三次元座標をそれぞれ、(XPR,YPR,ZPR)、(XPL,YPL,ZPL)、(XNL,YNL,ZNL)、(XNR,YNR,ZNR)と算出されたとする。
左瞳孔中心と右瞳孔中心と左鼻孔中心を通る平面の法線

Figure 2007026073
は、次の(12)式で与えられる。
LX=(YNL−YPL)(ZPR−ZPL)−(YPR−YPL)(ZNL−ZPL
LY=(ZNL−ZPL)(XPR−XPL)−(ZPR−ZPL)(XNL−XPL) (12)
LZ=(XNL−XPL)(YPR−YPL)−(XPR−XPL)(YNL−YPL

同様に、左瞳孔中心と右瞳孔中心と右鼻孔中心を通る平面の法線ベクトル
Figure 2007026073
が求められる。これらの合成ベクトルを、最終的な顔方向ベクトルとして
Figure 2007026073
によって求める。 (Face direction calculation method)
The three-dimensional coordinates of the four points of the left pupil center, right pupil center, left nostril center, and right nostril center are obtained. Now, the three-dimensional coordinates of the center of the right pupil, the center of the left pupil, the center of the left nostril, and the center of the right nostril are respectively (X PR , Y PR , Z PR ), (X PL , Y PL , Z PL ), (X NL , Y NL , Z NL ) and (X NR , Y NR , Z NR ) are calculated.
Normals of the plane passing through the left pupil center, right pupil center, and left nostril center
Figure 2007026073
Is given by the following equation (12).
n LX = (Y NL -Y PL ) (Z PR -Z PL) - (Y PR -Y PL) (Z NL -Z PL)
n LY = (Z NL -Z PL ) (X PR -X PL) - (Z PR -Z PL) (X NL -X PL) (12)
n LZ = (X NL −X PL ) (Y PR −Y PL ) − (X PR −X PL ) (Y NL −Y PL )

Similarly, the normal vector of the plane passing through the left pupil center, right pupil center, and right nostril center
Figure 2007026073
Is required. These combined vectors are used as the final face direction vector.
Figure 2007026073
Ask for.

図18は、各平面の法線ベクトルと顔方向ベクトルの関係を示す。
顔の水平角αH と垂直角βV
αH =−tan-1(nX /nZ ) (13)
βV =−tan-1{nY /(nX 2 +nZ 21/2 } (14)
で与えられる。

図19は、図18に示すベクトルと被験者の写真との対応を示す。
また、顔の位置は次のように求めることもできる。図18において2つの三角形のそれぞれの重心(XR,R,R ),(XL,L,L )はそれぞれ次式で与えられる。

(XR,R,R
={(XPR+XPL+XNR)/3,(YPR+YPL+YNR)/3,(ZPR+ZPL+ZNR)/3} (15)

(XL,L,L
={(XPR+XPL+XNL)/3,(YPR+YPL+YNL)/3,(ZPR+ZPL+ZNL)/3} (16)

さらに、これらの重心(XC,C,C )は次式で与えられる。

(XC,C,C
={(XR +XL )/2,(YR +YL )/2,(ZR +ZL )/2 }
(17)

最終的に、顔の位置と顔の方向の情報を合わせた顔姿勢は(XC,C,C )を通り、

Figure 2007026073
すなわち、前記ベクトルは空間内の一点(XC,C,C )における方向を示すことになり、顔の位置と顔の方向を示すものとなる。
なお、顔の位置(XC,C,C )として、次式のように2個の瞳孔位置と2個の鼻孔位置の重心を用いても良いことは自明である。
(XC,C,C
={(XPR+XPL+XNR+XNL)/4,(YPR+YPL+YNR+YNL)/4,
(ZPR+ZPL+ZNR+ZNL)/4} (18) FIG. 18 shows the relationship between the normal vector of each plane and the face direction vector.
The horizontal angle α H and the vertical angle β V of the face are
α H = −tan −1 (n X / n Z ) (13)
β V = −tan −1 {n Y / (n X 2 + n Z 2 ) 1/2 } (14)
Given in.

FIG. 19 shows the correspondence between the vector shown in FIG. 18 and the photograph of the subject.
Further, the position of the face can be obtained as follows. In FIG. 18, the centroids (X R, Y R, Z R ) and (X L, Y L, Z L ) of the two triangles are given by the following equations, respectively.

(X R, Y R, Z R )
= {( XPR + XPL + XNR ) / 3, ( YPR + YPL + YNR ) / 3, ( ZPR + ZPL + ZNR ) / 3} (15)

(X L, Y L, Z L)
= {( XPR + XPL + XNL ) / 3, ( YPR + YPL + YNL ) / 3, ( ZPR + ZPL + ZNL ) / 3} (16)

Further, these centroids (X C, Y C, Z C ) are given by the following equations.

(X C, Y C, Z C )
= {(X R + X L ) / 2, (Y R + Y L ) / 2, (Z R + Z L ) / 2}
(17)

Finally, the face posture that combines the face position and face direction information passes through (X C, Y C, Z C ),
Figure 2007026073
That is, the vector indicates the direction at one point (X C, Y C, Z C ) in the space, and indicates the face position and the face direction.
It is obvious that the center of gravity of two pupil positions and two nostril positions may be used as the face position (X C, Y C, Z C ) as in the following equation.
(X C, Y C, Z C )
= {( XPR + XPL + XNR + XNL ) / 4, ( YPR + YPL + YNR + YNL ) / 4,
(Z PR + Z PL + Z NR + Z NL ) / 4} (18)

(鼻孔検出率測定実験)
ユーザキャリブレーションを行った後、被験者にカメラの前から60cmほどの場所に座ってもらった。被験者には、図20のように、ほぼ垂直角度が0度の高さに、水平角度にして0度(正面)、±15度、±30度、±45度に相当する位置に取り付けたマーカの方向に顔を向けてもらい、400フレーム分を撮影した。その間、被験者には頭を動かさないように指示した。
この実験では3人の被験者に実験を行った。表1に400フレームの鼻孔検出の成功、失敗、瞬き、片鼻孔推定を行った回数、成功率(成功/(成功+失敗))を1台のカメラの画像処理について示した。ここで、瞬きをした場合には、顔方向は求められないので、成功率を求めるときに除外してある。
(Nostril detection rate measurement experiment)
After performing the user calibration, the subject was allowed to sit in a place about 60 cm from the front of the camera. As shown in FIG. 20, the test subject has a marker attached at a position corresponding to a vertical angle of 0 degrees and a horizontal angle of 0 degrees (front), ± 15 degrees, ± 30 degrees, and ± 45 degrees. The face was turned in the direction of, and 400 frames were taken. During that time, subjects were instructed not to move their heads.
In this experiment, three subjects were tested. Table 1 shows the success, failure, blinking, the number of times of nostril estimation and the success rate (success / (success + failure)) of 400 frames of nostril detection for image processing of one camera. Here, in the case of blinking, since the face direction cannot be obtained, it is excluded when obtaining the success rate.

Figure 2007026073
Figure 2007026073

被験者3名の鼻孔形状は異なったが、表1からわかるように被験者A、B、Cともに水平方向の頭部回転運動で−45度から45度において鼻孔像検出率が97.9%以上であった(平均:99.5%)。
回転角が−30度→−45度、または、30度→45度となるにつれて、いずれの被験者においても片鼻孔推定が多くなっていた。片鼻孔推定により推定された鼻孔中心が実際の画像における鼻孔中心とほぼ同じ位置であったため、鼻孔像の検出に成功したものと考えられる。
また、顔方向を検出する上で両瞳孔、両鼻孔の4点が検出される必要がある。そのため、被験者が瞬きを行ったときのフレーム数は鼻孔検出成功率には影響を受けないものと考えた。各被験者の1回における瞬きのフレーム数は、今回の瞳孔検出システムにおいては4〜5フレームであった。
この結果から、鼻形状や鼻孔形状が変化しても鼻孔像検出において問題はなく、水平方向回転運動においても−45度〜45度の範囲では鼻孔像検出が可能であることが示せた。
The nostril shapes of the three subjects were different, but as can be seen from Table 1, the nostril image detection rate was 97.9% or more for subjects A, B, and C in the horizontal head rotation from −45 ° to 45 °. (Average: 99.5%).
As the rotation angle was changed from −30 degrees to −45 degrees, or from 30 degrees to 45 degrees, the nostril estimation increased in all subjects. It is considered that the nostril image was successfully detected because the nostril center estimated by the single nostril estimation was almost the same position as the nostril center in the actual image.
Further, when detecting the face direction, it is necessary to detect four points of both pupils and both nostrils. Therefore, it was considered that the number of frames when the subject blinked was not affected by the success rate of nostril detection. The number of blinking frames for each subject at one time was 4 to 5 frames in the present pupil detection system.
From this result, it has been shown that nostril image detection is not a problem even if the nose shape or nostril shape changes, and that nostril image detection is possible in the range of −45 ° to 45 ° even in the horizontal rotation motion.

(顔方向検出実験)
図21Aは、ユーザキャリブレーションを行った後、被験者にカメラの前から60cmほどの場所に座ってもらい、顔の方向を中央(0度)から右45度まで動かしてさらに0度まで戻してもらったときの水平顔方向の推定値を示している。また、図21Bは正面を中心に上下±15度の範囲で頭部を動かしてもらったときの垂直顔方向の推定値を示している。
図からわかるように、今回の実験で行った各指標までの水平方向、垂直方向における顔方向の回転角度は、多少のばらつきはあったものの各被験者の顔方向を検出できたことがわかる。
また、各指標まで頭部の回転運動を行ったが、目標とする回転角度を下回っていたり、上回っていた。これは、各被験者が指標まで回転運動したと考える角度が目標とする角度と異なっていた可能性も考えられる。
(Face direction detection experiment)
FIG. 21A shows that after performing user calibration, the subject sits in a place about 60 cm from the front of the camera, and the face direction is moved from the center (0 degree) to 45 degrees to the right and returned to 0 degree. The estimated value of the horizontal face direction is shown. FIG. 21B shows an estimated value of the vertical face direction when the head is moved within a range of ± 15 degrees up and down around the front.
As can be seen from the figure, the face direction of each subject could be detected although there was some variation in the rotation angle of the face direction in the horizontal and vertical directions to each index conducted in this experiment.
Moreover, although the rotational movement of the head was performed to each index, it was below or above the target rotation angle. It is also possible that the angle at which each subject thought that the subject had rotated to the index was different from the target angle.

本発明による顔姿勢検出システムは、顔の方向を代表する顔の方向ベクトルを確実に相当な範囲内で算出することができるので、自動車等の運転支援システムの運転者の運転状態の検出やその他のユーザの指向方向の検出などに広く利用できる。   The face posture detection system according to the present invention can reliably calculate the face direction vector representing the face direction within a considerable range, so that it can detect the driving state of the driver of the driving support system such as an automobile and others. It can be widely used for detecting the user's pointing direction.

本発明によるシステムでカメラと被験者の配置を示す平面図である。It is a top view which shows arrangement | positioning of a camera and a test subject with the system by this invention. ユーザが斜め横方向に顔と眼を向けているときの鼻孔中心が撮影されている状態を示す図である。なお、瞳孔は暗瞳孔となっている。It is a figure which shows the state by which the nostril center is image | photographed when a user has turned his face and eyes to the diagonal direction. The pupil is a dark pupil. 大ウインドウの付与状態を説明するための略図である。It is the schematic for demonstrating the provision state of a large window. 画像処理に用いる(a)暗瞳孔画像と、(b)明瞳孔画像を示す図である。It is a figure which shows the (a) dark pupil image and (b) bright pupil image which are used for an image process. 暗瞳孔画像に大ウインドウを適用した状態を示す図である。It is a figure which shows the state which applied the large window to the dark pupil image. 暗瞳孔画像に小ウインドウを適用した状態を示す図である。It is a figure which shows the state which applied the small window to the dark pupil image. 暗瞳孔画像の大ウインドウ内の輝度ヒストグラムを示すグラフである。It is a graph which shows the brightness | luminance histogram in the large window of a dark pupil image. 暗瞳孔画像において左鼻孔に与えられた小ウインドウ内の輝度ヒストグラムを示すグラフである。It is a graph which shows the brightness | luminance histogram in the small window given to the left nostril in the dark pupil image. 暗瞳孔画像において右鼻孔に与えられた小ウインドウ内の輝度ヒストグラムを示すグラフである。It is a graph which shows the brightness | luminance histogram in the small window given to the right nostril in the dark pupil image. 大ウインドウ内を2値化した後の画像である。It is the image after binarizing the inside of the large window. 2つの小ウインドウにおける2値化画像であって、左は左鼻孔の2値化画像、右は右鼻孔の2値化画像を示す。It is the binarized image in two small windows, the left shows the binarized image of the left nostril, and the right shows the binarized image of the right nostril. クロージング処理後の画像を示す。The image after a closing process is shown. 膨脹処理後の画像を示す。The image after an expansion process is shown. 再度クロージング処理を行った後の画像を示す。The image after performing the closing process again is shown. 大ウインドウにおける鼻孔像中心を算出した状態を示す図である。It is a figure which shows the state which calculated the nostril image center in a large window. 小ウインドウにおける鼻孔像中心を算出した状態を示す図である。It is a figure which shows the state which calculated the nostril image center in a small window. ユーザキャリブレーションの原理を説明するための略図である。It is the schematic for demonstrating the principle of user calibration. (a)はユーザキャリブレーション時の瞳孔と鼻孔の位置関係、(b)は顔を回転させたときの瞳孔と鼻孔の位置関係を説明するための略図である。(A) is a schematic diagram for explaining the positional relationship between the pupil and the nostril during user calibration, and (b) is a schematic diagram for explaining the positional relationship between the pupil and the nostril when the face is rotated. 左右瞳孔と左鼻孔を含む平面、左右瞳孔と右鼻孔を含む平面の各法線ベクトルと顔方向ベクトル(合成ベクトル)を示す略図である。It is the schematic which shows each normal vector and face direction vector (synthesis | combination vector) of the plane containing a left-right pupil and a left nostril, and the plane containing a left-right pupil and a right nostril. 図18に示すベクトルと被験者の写真との対応を示す略図である。It is the schematic which shows a response | compatibility with the vector shown in FIG. 18, and a test subject's photograph. 鼻孔検出率測定実験における視標の方向を示す略図である。It is the schematic which shows the direction of the target in a nostril detection rate measurement experiment. 頭部を水平方向に回転させた顔方向検出実験における水平方向の回転角度の変移を示すグラフである。It is a graph which shows the change of the rotation angle of the horizontal direction in the face direction detection experiment which rotated the head in the horizontal direction. 頭部を垂直方向に回転させた顔方向検出実験における垂直方向の回転角度の変移を示すグラフである。It is a graph which shows transition of the rotation angle of the perpendicular direction in the face direction detection experiment which rotated the head in the perpendicular direction.

符号の説明Explanation of symbols

1,2 カメラ
3,4 カメラの開口
5,6 照明手段
10 被験者(ユーザ)の頭部
1, 2 Camera 3, 4 Camera opening 5, 6 Illumination means 10 Head of subject (user)

Claims (6)

離間されて配置された一対のカメラと関連する照明手段を用いて、瞳孔と鼻孔の空間位置の検出をおこない、それらの位置関係より顔の位置と顔の向きを示す顔姿勢検出システムであって、
2個の瞳孔と2個の鼻孔の中心点に対応する瞳孔と鼻孔の三次元位置に相当する空間座標を測定算出する鼻孔と瞳孔位置を測定または推定により獲得する鼻孔と瞳孔位置獲得ステップと、
2個の瞳孔と右鼻孔からなる三角形平面の法線ベクトルを算出する右法線ベクトル算出ステップと、
2個の瞳孔と左鼻孔からなる三角形平面の法線ベクトルを算出する左法線ベクトル算出ステップと、
前記左右の法線ベクトルの合成ベクトルを算出する合成ベクトル算出ステップと
から構成した顔姿勢検出システム。
A face posture detection system that detects a spatial position of a pupil and a nostril using a lighting unit associated with a pair of cameras that are spaced apart from each other, and indicates a face position and a face direction based on the positional relationship between them. ,
Measuring the spatial coordinates corresponding to the three-dimensional position of the pupil and nostril corresponding to the center points of the two pupils and the two nostrils, and acquiring the nostril and pupil position by measuring or estimating the pupil position;
A right normal vector calculating step of calculating a normal vector of a triangular plane composed of two pupils and a right nostril;
A left normal vector calculating step of calculating a normal vector of a triangular plane composed of two pupils and a left nostril;
A face orientation detection system comprising: a combined vector calculating step for calculating a combined vector of the left and right normal vectors.
請求項1記載の顔姿勢検出システムにおいて、
予め被験者の頭部を前記一対のカメラに対して予め定めた一定のキャリブレーション位置に配置して2次元画像上の2個の瞳孔と2個の鼻孔間に形成される対の間の距離と距離間の比率を記録するキャリブレーションステップおよび、
当該被験者の任意の鼻孔が検出できなかった場合は前記キャリブレーションデータに基づいて検出できなかった鼻孔を推定するステップを設けた顔姿勢検出システム。
The face posture detection system according to claim 1.
A distance between a pair formed between two pupils and two nostrils on a two-dimensional image by placing a subject's head in a predetermined calibration position predetermined with respect to the pair of cameras. A calibration step to record the ratio between distances; and
A face posture detection system provided with a step of estimating a nostril that could not be detected based on the calibration data when an arbitrary nostril of the subject could not be detected.
請求項1または2記載の顔姿勢検出システムにおいて、
前記一対のカメラ、関連する照明手段、および被験者の位置関係は、
前記照明手段が、被験者が正常姿勢または前記キャリブレーション位置にあるときに、鼻孔が斜め下方向から照射される位置とした顔姿勢検出システム。
The face posture detection system according to claim 1 or 2,
The positional relationship between the pair of cameras, the associated illumination means, and the subject is:
The face posture detection system in which the illuminating means sets the nostril to be irradiated from obliquely downward when the subject is in a normal posture or the calibration position.
請求項1または2記載の顔姿勢検出システムにおいて、
前記照明手段は瞳孔に対して暗照明および明照明を可能とする照明手段である顔姿勢検出システム。
The face posture detection system according to claim 1 or 2,
The face posture detection system, wherein the illumination unit is an illumination unit that enables dark illumination and bright illumination on a pupil.
請求項2記載の顔姿勢検出システムにおいて、
一度、左右の鼻孔が検出されたら、予測モデルを使用して鼻孔の存在すると予測される位置にウインドウを設け追尾して、片方の鼻孔が検出できなくなっても、検出できている鼻孔が左右、どちらのものかを特定するステップを設けた顔姿勢検出システム。
The face posture detection system according to claim 2,
Once the left and right nostrils are detected, use the prediction model to set up a window at the position where the nostrils are predicted to exist, and even if one nostril cannot be detected, the detected nostrils are left and right, A face posture detection system provided with a step for identifying either one.
請求項1記載の顔姿勢検出システムにおいて、
前記各三角形平面の重心の重心を求めるステップをさらに設け、前記合成ベクトルの方向を、前記重心の重心を顔の位置とするときの顔の方向とした顔姿勢検出システム。
The face posture detection system according to claim 1.
The face posture detection system further comprising the step of obtaining the center of gravity of the center of gravity of each triangular plane, wherein the direction of the combined vector is the face direction when the center of gravity of the center of gravity is the face position.
JP2005207090A 2005-07-15 2005-07-15 Face posture detection system Active JP4501003B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005207090A JP4501003B2 (en) 2005-07-15 2005-07-15 Face posture detection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005207090A JP4501003B2 (en) 2005-07-15 2005-07-15 Face posture detection system

Publications (2)

Publication Number Publication Date
JP2007026073A true JP2007026073A (en) 2007-02-01
JP4501003B2 JP4501003B2 (en) 2010-07-14

Family

ID=37786739

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005207090A Active JP4501003B2 (en) 2005-07-15 2005-07-15 Face posture detection system

Country Status (1)

Country Link
JP (1) JP4501003B2 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008140290A (en) * 2006-12-05 2008-06-19 Suzuki Motor Corp Head position/attitude detector
JP2008194309A (en) * 2007-02-14 2008-08-28 Toyota Motor Corp Eye detector, nap detector, and method of eye detector
JP2009279186A (en) * 2008-05-22 2009-12-03 Toyota Motor Corp Face detecting device and method
WO2010010926A1 (en) * 2008-07-24 2010-01-28 国立大学法人静岡大学 Feature-point tracking method and feature-point tracking device
JP2010157073A (en) * 2008-12-26 2010-07-15 Fujitsu Ltd Device, method and program for recognizing face
US7822571B2 (en) 2008-02-28 2010-10-26 Aisin Seiki Kabushiki Kaisha Calibration device and calibration method for range image sensor
WO2012042974A1 (en) 2010-09-30 2012-04-05 富士フイルム株式会社 Information presentation device, digital camera, head mount display, projector, information presentation method, and information presentation program
JP2013513155A (en) * 2009-12-02 2013-04-18 タタ コンサルタンシー サービシズ リミテッド Cost-effective and robust system and method for eye tracking and driver awareness
JP2015232771A (en) * 2014-06-09 2015-12-24 国立大学法人静岡大学 Face detection method, face detection system and face detection program
JP2016099759A (en) * 2014-11-20 2016-05-30 国立大学法人静岡大学 Face detection method, face detection device, and face detection program
WO2018030515A1 (en) 2016-08-12 2018-02-15 国立大学法人静岡大学 Line-of-sight detection device
CN110874560A (en) * 2018-08-31 2020-03-10 雲云科技股份有限公司 Image detection method and image detection device for selecting representative image of user

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05215531A (en) * 1992-02-07 1993-08-24 Nippon Telegr & Teleph Corp <Ntt> Three-dimensional-body identifying and processing method
JPH08106519A (en) * 1994-09-01 1996-04-23 Sharp Corp Face direction discriminating device and picture display device using this device
JPH09251342A (en) * 1996-03-15 1997-09-22 Toshiba Corp Device and method for estimating closely watched part and device, information display device/method using the same
JP2000210270A (en) * 1999-01-20 2000-08-02 Atr Media Integration & Communications Res Lab Head motion measuring unit
JP2002007095A (en) * 2000-03-29 2002-01-11 Canon Inc Data processor and its control method
JP2004094491A (en) * 2002-08-30 2004-03-25 Nec Corp Face orientation estimation device and method and its program
JP2004234367A (en) * 2003-01-30 2004-08-19 Fujitsu Ltd Device and method for detecting direction of face and computer program
JP2005266868A (en) * 2004-03-16 2005-09-29 National Univ Corp Shizuoka Univ Method for detecting direction of head part using pupil and nostril
JP2005348832A (en) * 2004-06-08 2005-12-22 National Univ Corp Shizuoka Univ Real-time pupil position detection system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05215531A (en) * 1992-02-07 1993-08-24 Nippon Telegr & Teleph Corp <Ntt> Three-dimensional-body identifying and processing method
JPH08106519A (en) * 1994-09-01 1996-04-23 Sharp Corp Face direction discriminating device and picture display device using this device
JPH09251342A (en) * 1996-03-15 1997-09-22 Toshiba Corp Device and method for estimating closely watched part and device, information display device/method using the same
JP2000210270A (en) * 1999-01-20 2000-08-02 Atr Media Integration & Communications Res Lab Head motion measuring unit
JP2002007095A (en) * 2000-03-29 2002-01-11 Canon Inc Data processor and its control method
JP2004094491A (en) * 2002-08-30 2004-03-25 Nec Corp Face orientation estimation device and method and its program
JP2004234367A (en) * 2003-01-30 2004-08-19 Fujitsu Ltd Device and method for detecting direction of face and computer program
JP2005266868A (en) * 2004-03-16 2005-09-29 National Univ Corp Shizuoka Univ Method for detecting direction of head part using pupil and nostril
JP2005348832A (en) * 2004-06-08 2005-12-22 National Univ Corp Shizuoka Univ Real-time pupil position detection system

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008140290A (en) * 2006-12-05 2008-06-19 Suzuki Motor Corp Head position/attitude detector
JP2008194309A (en) * 2007-02-14 2008-08-28 Toyota Motor Corp Eye detector, nap detector, and method of eye detector
US7822571B2 (en) 2008-02-28 2010-10-26 Aisin Seiki Kabushiki Kaisha Calibration device and calibration method for range image sensor
JP2009279186A (en) * 2008-05-22 2009-12-03 Toyota Motor Corp Face detecting device and method
JPWO2010010926A1 (en) * 2008-07-24 2012-01-05 国立大学法人静岡大学 Feature point tracking method and feature point tracking device
WO2010010926A1 (en) * 2008-07-24 2010-01-28 国立大学法人静岡大学 Feature-point tracking method and feature-point tracking device
JP5429885B2 (en) * 2008-07-24 2014-02-26 国立大学法人静岡大学 Feature point tracking method and feature point tracking device
JP2010157073A (en) * 2008-12-26 2010-07-15 Fujitsu Ltd Device, method and program for recognizing face
JP2013513155A (en) * 2009-12-02 2013-04-18 タタ コンサルタンシー サービシズ リミテッド Cost-effective and robust system and method for eye tracking and driver awareness
WO2012042974A1 (en) 2010-09-30 2012-04-05 富士フイルム株式会社 Information presentation device, digital camera, head mount display, projector, information presentation method, and information presentation program
US9196093B2 (en) 2010-09-30 2015-11-24 Fujifilm Corporation Information presentation device, digital camera, head mount display, projector, information presentation method and non-transitory computer readable medium
JP2015232771A (en) * 2014-06-09 2015-12-24 国立大学法人静岡大学 Face detection method, face detection system and face detection program
JP2016099759A (en) * 2014-11-20 2016-05-30 国立大学法人静岡大学 Face detection method, face detection device, and face detection program
WO2018030515A1 (en) 2016-08-12 2018-02-15 国立大学法人静岡大学 Line-of-sight detection device
CN110874560A (en) * 2018-08-31 2020-03-10 雲云科技股份有限公司 Image detection method and image detection device for selecting representative image of user

Also Published As

Publication number Publication date
JP4501003B2 (en) 2010-07-14

Similar Documents

Publication Publication Date Title
JP4501003B2 (en) Face posture detection system
JP4307496B2 (en) Facial part detection device and program
EP2338416B1 (en) Line-of-sight direction determination device and line-of-sight direction determination method
EP2975997B1 (en) System and method for on-axis eye gaze tracking
EP2596746B1 (en) Pupil detection device and pupil detection method
JP4452833B2 (en) Gaze movement detection method and gaze movement detection apparatus
JP5578603B2 (en) Gaze control device, gaze control method, and program thereof
BR112019006165B1 (en) PROCESS AND DEVICE FOR DETERMINING A REPRESENTATION OF A GLASSES LENS EDGE
KR20120057033A (en) Gaze tracking system and method for controlling internet protocol tv at a distance
WO2008007781A1 (en) Visual axis direction detection device and visual line direction detection method
WO2019007050A1 (en) Pupillary distance measurement method, wearable eye equipment and storage medium
JP2004094491A (en) Face orientation estimation device and method and its program
WO2011158463A1 (en) External light glare assessment device, line of sight detection device and external light glare assessment method
CN111933275A (en) Depression evaluation system based on eye movement and facial expression
KR20120006819A (en) Gaze detection method and system adopting the same
KR101775874B1 (en) Integrated Control method for Vehicle Drive using Depth Information based Face Recognition
JP2003150942A (en) Eye position tracing method
JP2008197713A (en) Image identification method
JP2006268189A (en) Visual inspection action determining device
JP5429885B2 (en) Feature point tracking method and feature point tracking device
JP2006095008A (en) Visual axis detecting method
RU2004123248A (en) SYSTEM AND METHOD OF TRACKING OBJECT
JP2002366958A (en) Method and device for recognizing image
JP2009087303A (en) Expression estimation device, expression estimation method, and vehicle controller
Ebisawa Realtime 3D position detection of human pupil

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070316

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20070316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20070316

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100330

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150