【０００１】
【発明の属する技術分野】
この発明は、対象人物の視線方向を検出する技術分野に属する。
【０００２】
【従来の技術】
乗り物（例えば自動車、飛行機）の運転者又は操縦士が進行方向を正しく見ているかどうかは交通機の安全にとって重要なことである。しかし、運転者又は操縦士の見ている方向を監視する簡便で有効な装置は未だ開発されていないのが現状である。一方、耳鼻科、神経内科、脳神経外科などに用いられる眼球運動装置がいくつか提案されている。
【０００３】
図９は公開特許公報、第２００１−２０４９６２号に開示されている眼球運動検査装置６０の斜視図を示す。図９において、眼球運動検査装置６０は装着具６２と装着ベルト６２ｃを有し、接顔部６２ｂにより顔面に接触させて保持可能になっている。装着具６２の左右に小型の撮影カメラ６１と眼球Ｅを照らす赤外線ランプ６１ｃが基板６１ｂ上に備えられている。また、基板６３には可視光発光ダイオードからなる校正用指標６３が設けられており、この校正用指標６３はピンホールを有するカバー（図示省略）で被われている。この従来装置は校正用指標と撮影カメラの相対的位置関係が被験者の頭部の動きに拘わらず一定に保持され、正確な校正が可能で、検査に便利な眼球運動検査装置である。しかし、視線方向を検出するために大きな装置を顔面に装着するのは検査のような短時間で済む場合はよいとしても、監視装置のように長時間を要する場合は被験者にとって煩わしいという課題が生じる。
【０００４】
【発明が解決しようとする課題】
そこで、本願では被験者に煩わしい装置を装着することなしに、しかも校正や操作が簡単で取り扱いやすい監視装置を提供することを課題としている。この発明は、上述のような背景の下になされたもので、上記課題を解決するために本発明は以下の手段を採用している。
【０００５】
【課題を解決するための手段】
請求項１記載の発明は、パン・チルト角が変更できるカメラで撮影された画像に基づいて対象人物の視線方向を検出する方法において、撮影画像から該対象人物の瞳の中心位置と瞳の半径を求めるステップと、該対象人物の眼球の中心と該カメラの焦点を結ぶ線分と該眼球の中心と前記瞳の中心を結ぶ線分のなす瞳角度を求めるステップとを具備したことを特徴としている。
【０００６】
請求項２記載の発明は、請求項１に記載の発明において、前記対象人物が正面視したときの視線方向に前記撮影カメラの焦点を配置したことを特徴としている。
【０００７】
請求項３記載の発明は、請求項１又は請求項２の何れか１に記載の発明において、前記瞳角度を求めるステップは、眼球の半径と瞳の半径との比が既知として、前記撮影画像の瞳の中心までの距離と瞳の半径を求め、求められた計測データから演算により前記眼球の中心と前記瞳の中心を結ぶ線分のなす角度を求めることを特徴としている。
【０００８】
請求項４記載の発明は、対象人物の正面に配置されたパン・チルト角が変更できる撮影カメラと、該撮影画像を記録するメモリと、該撮影カメラのパン・チルト角を制御する制御装置と、前記撮影画像に基づいて該対象人物の瞳の位置並びに視線方向を解析するコンピュータとを具備したことを特徴としている。
【０００９】
請求項５記載の発明は、請求項５に記載の発明において、前記制御装置は前記撮影カメラの画像平面が前記対象人物の顔の面と略並行になるようにパン・チルト角を制御する制御装置であることを特徴としている。
【００１０】
【発明の実施形態】
図１は本発明の実施形態における手順を示すフローチャートである。図２は実施形態の使用状況を示す１例である。図３は本実施形態の制御装置の機能を示すブロック図である。図２において、対象人物１０は運転席１１に座って運転しているドライバである。ドライバ１０はフロントガラス１２を通して前方を見ている。カメラ１３はドライバ１０の眼を撮影するカメラで、ビデオカメラ等から構成され、連続的に撮影可能なカメラである。カメラ１３はパンやチルト角の制御が可能な保持装置１４に依って保持されると共に前方の内壁に固定部１５によって固定されている。配線１６はカメラ１３の撮影画像をコンピュータ２０からなる制御装置に送信すると共にコンピュータ２０からの制御信号を保持装置１４に送信する。
【００１１】
図３において、コンピュータ２０は主制御部２１，入力部２１，瞬き検出部２３，瞳検出部２４，視線方向検出部２５，パン・チルト制御部２６、一時メモリ２７，恒久メモリ２８，出力部２９を有している。入力部２２は入力バッファ等からなり、カメラ１３の撮影画像データを取り込んで、主制御部２１に送信する。瞬き検出部２３は一時メモリ２７に取り込んだ撮影画像からドライバー１０が瞬きをしている状態であるか否かを検出し、瞬き状態にあるときはその撮影画像を廃棄する。
【００１２】
瞳検出部２４は瞳の中心位置（Ｃｔ）と瞳の半径（Ｒｔ）を検出する。この検出方法は公知技術を利用する。以下、図４を利用して簡略に説明する。図４（Ａ）において、撮影画像上に直交座標系（ｘ，ｙ）を考える。実の瞳（図の実線の円）３１の中心点（Ｃｔ）として、半径を長さ（Ｒｔ）とする。瞳の像をＪ（ｘ、ｙ）とすれば像Ｊは瞳の外縁円周３１の内側では黒色であり、外側は白色であるから、瞳の外縁３１上の点Ｑ（Ｃｔ＋Ｒｔ・ｖ（α））から半径方向への偏微分値は最小（極小）となる。即ち、関数Ｅ（Ｃ、ｒ）を（１）式のように定義すれば、関数Ｅ（Ｃ、ｒ）は円周３１上の任意の点で最大となるから、この条件を満たす円を探索により求めれば、瞳の半径（Ｒｔ）と中心点（Ｃｔ）が求められる。なお、中心点Ｃは座標（ｘ、ｙ）を表す縦ベクトルである。
【００１３】
【数１】
（１）式をテーラ展開して２次微分項まで求めると（２）式が得られ、２次の微項のみを取り出すと（３）式のようになる。なお、（２）式でＣｏ，ｒｏは現在のパラメータ値であり、記号「Ｈ」はヘシアン（２回微分）行列を示す。
【数２】
【数３】
上記条件は（３）式の各項がゼロになることと等価であるから、図４（Ｂ）に示す探索円（図の点線の円）３２において、パラメータ（Ｃ、ｒ）を微小値（ΔＣ、Δｒ）だけ（３）式の各項が増加する方向に変化させて（３）式の各項がゼロ（又は許容誤差以内）になるように勾配法を利用して繰り返し計算すればよい。
【００１４】
この手順を図５に示す。図５において、ステップＳ２１では探索円の中心Ｃｏ、半径ｒｏを適当に仮定する。ステップＳ２２では（３）式の各項の値を求める。ステップＳ２３では条件が満たされたか否かを判定する。即ち、（３）式の各項が許容誤差δ１，δ２より小さいかどうかを判定する。満たされた場合は結果を出力して次の段階に進む。満たされていない場合はステップＳ２４に進み、勾配法を利用して、微小値（ΔＣ、Δｒ）を求める。ステップＳ２５ではパラメータ（Ｃ、ｒ）を変化させて、ステップＳ２２以下を繰り返す。
【００１５】
視線方向検出部２５では瞳角度αを求め、これから視線方向を決定する。図６はカメラ１３の画像面（フィルム面）とドライバ１０の顔面が並行で、カメラ１３の中心線方向（ＦＰ）に眼球の中心がある場合の位置関係を示す図である。図６において、瞳の中心Ｑと眼球の中心Ｏとを結ぶ線分（ＱＯ）とカメラの焦点Ｆと眼球の中心Ｏとを結ぶ線分（ＯＦ又はＯＰ）のなす角度を瞳角度αとする。瞳の半径をＲとし、瞳の中心点Ｑのカメラ中心線ＯＦまでの距離をｄとし、瞳の中心点Ｑとカメラの焦点Ｆとの距離をＺ、カメラ焦点距離をｆとする。瞳像の半径をＳとし、瞳像の中心からカメラ中心線ＯＦ間での距離をＸとする。なお、眼球の半径ｒと瞳の半径Ｒとの比（ｒ／Ｒ）は多くの人に対して一定であり、この値をａとする。即ち、ｒ／Ｒ＝ａとする。
【００１６】
図６から瞳角度αは（４）式のようになる。
【式４】
ここで、図６から（５ａ）式、（５ｂ）式が成立する。
【式５】
従って、瞳角度αは（６）式から決定される。（６）式で瞳の像の半径Ｓと、距離Ｘは撮影画像から計測される値である。
【式６】
【００１７】
図７は瞳角度αを求める手順を示したフローチャートである。図７において、ステップＳ３１では眼球半径ｒと瞳半径Ｒとの比ａを読み込む。ステップＳ３２では瞳像の半径Ｓを撮影画像から計測する。ステップＳ３３では瞳像の中心距離Ｘを撮影画像から計測する。ステップＳ３４では（６）式から瞳角度αを求め、これによって視線方向を決定する。
【００１８】
上記の瞳角度αはドライバ１０が正面視したときの瞳の中心Ｐがカメラの中心線（ＯＦ）上にあると仮定したが、以下に、角度β方向にある場合について誤差を求める。図８にこの場合の位置関係を示す。この場合の瞳角度は（α＋δ）となり、誤差角度δが生じる。図８から瞳像の中心距離Ｘを求めると、（７）式が得られる。なお、（７）式で「ｔｇ」は正接（ｔａｎ）の略記を示す。
【式７】
（７）式に次の近似式（８ａ）〜（８ｄ）を適用すると（９）式が得られる。
【式８】
【式９】
（９）式で角度βが１に比べて小さいときは、図８から誤差角度δも小さくなり、（９）式は結局（１０）式となり、この式は（６）式と一致する。従って、パンチルド制御により角度βを小さい値に保つ限り、視線角度αは略正しい角度が得られる。
【式１０】
【００１９】
パン・チルト制御部２６は撮影画像からドライバ１０の顔面（正面視したときの顔のなす平面）の角度を求めてカメラの撮影面とドライバ１０の顔面が平行になるように、即ち、前記した角度βを小さい値に保つように制御する。一時メモリ２７はＲＡＭ等の電子メモリで構成され、作業用メモリである。恒久メモリ２８は磁気メモリで構成され、長時間記憶するメモリであり、プログラムだけでなく長時間記憶するデータも保存される。メモリ２７，２８は何れもバスライン（図示省略）を介して主制御装置２１に接続されている。また、出力部２９は外部機器に出力をするためのバッファ等である。
【００２０】
以下に、図１を利用して全体の流れを説明する。
図１において、ステップＳ１１では、カメラ１３によるドライバ１０の顔写真を撮影し、撮影した写真を一時メモリ２７に記録する。ステップＳ１２では瞬き検出部２３が一時メモリ２７に記録した写真からドライバ１０が瞬きをしている（目を閉じている）写真であるかどうかを判定する。瞬きを検出する技術は公知であり、説明を省略する。瞬き写真である場合はステップＳ１１に戻り、再度写真を記録する。瞬きをしていない（目を開いている）写真である場合はステップ１３で瞳検出部２４により瞳の中心位置（Ｃｔ）と瞳の半径（Ｒｔ）を探索して求める。
【００２１】
ステップＳ１４では瞳の中心（又は瞳）が撮影画像の略中央にあるかを検討する。瞳が画像の端にある場合、即ち、目の一部が画像からはみ出している場合は次の処理の便利を考慮して、ステップ１６を実行する。この場合ステップ１６では保持装置１４によりカメラ１３のパン・チルト角度を制御して略中央に来るように制御する。ステップ１５では撮影画像から顔の面（正面視した場合の正面方向と直交する平面を想定して、この平面をいう）とカメラの撮影面が略平行であるかを検出する。これは撮影画像から顔の対称の度合いにより判断する。平行（又は略平行）でない場合はステップ１６に戻り保持装置１４を駆動してパン・チルト角度を制御して略平行にする。
【００２２】
平行（又は略平行）である場合はステップＳ１７により図７で説明したフローチャートを実行し、瞳角度αを求める。ステップＳ１８で瞳角度と顔の向いている角度とから視線方向を決定し、出力する。
【００２３】
以上に本実施形態を詳細に説明したように、本実施形態に依れば、対称人物に特別な装置を装着させる必要が無く容易に対称人物の視線方向が検出できるという効果が得られる。また、パン・チルト制御により顔の面とカメラの撮影面との平行が比較的容易に保持できると考えられ、従って、求められた瞳角度ひいては視線方向に対する誤差が小さいことが補償され、誤差に対するロバスト性が高いという効果が得られる。更に、必要とされる計算は比較的簡単であり、演算時間が短くできることから実時間で演算可能であり、オンラインが可能になると云う効果が得られる。
【００２４】
以上、この発明の実施形態、実施例を図面により詳述してきたが、具体的な構成はこの実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があってもこの発明に含まれる。例えば、従来の公知技術を利用している部分は他の公知技術を適用してもよい。
【００２５】
【発明の効果】
以上説明したように、この発明の構成によれば、対称人物に特別な装置を装着させる必要が無く容易に対称人物の視線方向が検出できるという効果が得られる。また、求められた瞳角度ひいては視線方向に対する誤差が小さいことが補償され、誤差に対するロバスト性が高いという効果が得られる。
【図面の簡単な説明】
【図１】実施形態の全体の手順を示すフローチャート図である。
【図２】実施形態の具体的なケースを示す実施例を示す。
【図３】実施形態におけるコンピュータの機能を示すブロック図である。
【図４】（Ａ）、（Ｂ）は瞳の中心と半径を求める説明図である。
【図５】瞳の中心と半径を求める手順を示すフローチャート図である。
【図６】瞳角度を説明した説明図である。
【図７】瞳角度を求める手順を示すフローチャート図である。
【図８】瞳角度の誤差を解析した説明図である。
【図９】従来装置を示す。
【符号の説明】
１０ ドライバ（対称人物）
１２ フロントウインドウ
１３ ビデオカメラ
１４ 保持装置（パン・チルド制御装置）
２０ コンピュータ
２１ 主制御装置
２３ 瞬き検出部
２４ 瞳検出部
２５ 視線方向検出部
２６ パン・チルト制御部
２７，２８ メモリ
α 瞳角度
Ｓ 瞳映像の半径
ｘ 瞳映像の中心距離[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention belongs to a technical field for detecting a line-of-sight direction of a target person.
[0002]
[Prior art]
It is important for the safety of transport equipment that the driver or pilot of a vehicle (eg, car, airplane) sees the direction of travel correctly. However, at present, a simple and effective device for monitoring the direction of the driver or the pilot has not yet been developed. On the other hand, some eye movement apparatuses used for otolaryngology, neurology, neurosurgery, and the like have been proposed.
[0003]
FIG. 9 is a perspective view of an eye movement test apparatus 60 disclosed in Japanese Patent Application Publication No. 2001-204962. In FIG. 9, the eye movement inspection apparatus 60 has a wearing tool 62 and a wearing belt 62c, and can be held in contact with the face by a face contacting part 62b. A small photographic camera 61 and an infrared lamp 61c for illuminating the eyeball E are provided on the substrate 61b on the left and right sides of the mounting tool 62. The substrate 63 is provided with a calibration index 63 made of a visible light emitting diode, and the calibration index 63 is covered with a cover (not shown) having a pinhole. This conventional apparatus is an eye movement inspection apparatus which can maintain a relative positional relationship between the calibration index and the photographing camera irrespective of the movement of the subject's head, enables accurate calibration, and is convenient for examination. However, it is good to attach a large device to the face to detect the gaze direction in a short time such as an examination, but it is troublesome for a subject when a long time is required like a monitoring device. .
[0004]
[Problems to be solved by the invention]
Therefore, an object of the present invention is to provide a monitoring device that is easy to calibrate and operate and that is easy to handle without mounting a troublesome device to a subject. The present invention has been made under the above background, and the present invention employs the following means in order to solve the above problems.
[0005]
[Means for Solving the Problems]
According to a first aspect of the present invention, there is provided a method for detecting a gaze direction of a target person based on an image captured by a camera capable of changing a pan / tilt angle, wherein a center position of a pupil of the target person and a radius of the pupil from the captured image. And a step of obtaining a pupil angle formed by a line segment connecting the center of the eyeball of the target person and the camera and a line segment connecting the center of the eyeball and the center of the pupil. I have.
[0006]
According to a second aspect of the present invention, in the first aspect of the present invention, the focal point of the photographing camera is arranged in a direction of a line of sight when the target person looks forward.
[0007]
According to a third aspect of the present invention, in the first aspect of the present invention, the step of obtaining the pupil angle includes determining that a ratio between a radius of an eyeball and a radius of a pupil is known. The distance to the center of the pupil and the radius of the pupil are obtained, and the angle formed by the line connecting the center of the eyeball and the center of the pupil is obtained by calculation from the obtained measurement data.
[0008]
According to a fourth aspect of the present invention, there is provided a photographing camera arranged in front of a target person and capable of changing a pan / tilt angle, a memory for recording the photographed image, and a control device for controlling the pan / tilt angle of the photographing camera. And a computer for analyzing the position of the pupil and the direction of the line of sight of the target person based on the photographed image.
[0009]
According to a fifth aspect of the present invention, in the fifth aspect of the invention, the control device controls the pan / tilt angle so that an image plane of the photographing camera is substantially parallel to a face of the target person. It is characterized by being a device.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 is a flowchart showing a procedure in the embodiment of the present invention. FIG. 2 is an example showing the usage status of the embodiment. FIG. 3 is a block diagram illustrating functions of the control device according to the present embodiment. In FIG. 2, a target person 10 is a driver sitting in a driver's seat 11 and driving. The driver 10 is looking forward through the windshield 12. The camera 13 is a camera that captures images of the eyes of the driver 10 and includes a video camera or the like, and is a camera that can continuously capture images. The camera 13 is held by a holding device 14 capable of controlling the pan and tilt angles, and is fixed to a front inner wall by a fixing portion 15. The wiring 16 transmits an image captured by the camera 13 to a control device including the computer 20 and transmits a control signal from the computer 20 to the holding device 14.
[0011]
3, a computer 20 includes a main control unit 21, an input unit 21, a blink detection unit 23, a pupil detection unit 24, a gaze direction detection unit 25, a pan / tilt control unit 26, a temporary memory 27, a permanent memory 28, and an output unit 29. have. The input unit 22 includes an input buffer and the like, captures image data captured by the camera 13, and transmits the captured image data to the main control unit 21. The blink detector 23 detects whether or not the driver 10 is blinking from the captured image captured in the temporary memory 27, and discards the captured image when the driver 10 is blinking.
[0012]
The pupil detection unit 24 detects a pupil center position (Ct) and a pupil radius (Rt). This detection method utilizes a known technique. Hereinafter, a brief description will be given with reference to FIG. In FIG. 4A, a rectangular coordinate system (x, y) is considered on a captured image. The radius is defined as the length (Rt) as the center point (Ct) of the actual pupil (the circle of the solid line in the figure) 31. Assuming that the image of the pupil is J (x, y), the image J is black inside the outer periphery 31 of the pupil and white outside, so that the point Q (Ct + Rt · v (α) on the outer periphery 31 of the pupil )) Has a minimum (minimum) partial differential value in the radial direction. That is, if the function E (C, r) is defined as in the equation (1), the function E (C, r) becomes maximum at any point on the circumference 31. Then, the radius (Rt) and the center point (Ct) of the pupil are obtained. Note that the center point C is a vertical vector representing the coordinates (x, y).
[0013]
(Equation 1)
Equation (2) is obtained by Taylor-expanding the equation (1) to the second derivative term, and equation (3) is obtained by extracting only the second-order fine terms. In the equation (2), Co and ro are current parameter values, and the symbol “H” indicates a Hessian (second differential) matrix.
(Equation 2)
[Equation 3]
Since the above condition is equivalent to that each term of the equation (3) becomes zero, in the search circle (dotted circle in FIG. 4) 32 shown in FIG. ΔC, Δr) may be changed by using the gradient method such that each term of equation (3) is changed in a direction in which the term increases, and each term of equation (3) becomes zero (or within an allowable error). .
[0014]
This procedure is shown in FIG. In FIG. 5, in step S21, the center Co and radius ro of the search circle are appropriately assumed. In step S22, the value of each term in equation (3) is determined. In step S23, it is determined whether the condition has been satisfied. That is, it is determined whether each term of the equation (3) is smaller than the allowable errors δ1 and δ2. If satisfied, output the result and proceed to the next step. If the condition is not satisfied, the process proceeds to step S24, and a small value (ΔC, Δr) is obtained by using the gradient method. In step S25, the parameters (C, r) are changed, and step S22 and subsequent steps are repeated.
[0015]
The gaze direction detection unit 25 obtains the pupil angle α, and determines the gaze direction from this. FIG. 6 is a diagram showing a positional relationship when the image plane (film surface) of the camera 13 and the face of the driver 10 are parallel and the center of the eyeball is in the center line direction (FP) of the camera 13. In FIG. 6, an angle formed by a line (QO) connecting the center Q of the pupil and the center O of the eyeball and a line (OF or OP) connecting the focus F of the camera and the center O of the eyeball is defined as a pupil angle α. . The radius of the pupil is R, the distance of the center point Q of the pupil to the camera center line OF is d, the distance between the center point Q of the pupil and the focal point F of the camera is Z, and the focal length of the camera is f. Let S be the radius of the pupil image, and X be the distance between the center of the pupil image and the camera center line OF. The ratio (r / R) between the radius r of the eyeball and the radius R of the pupil is constant for many people, and this value is set to a. That is, r / R = a.
[0016]
From FIG. 6, the pupil angle α is as shown in equation (4).
(Equation 4)
Here, equations (5a) and (5b) are established from FIG.
(Equation 5)
Therefore, the pupil angle α is determined from equation (6). In equation (6), the radius S of the pupil image and the distance X are values measured from the captured image.
(Equation 6)
[0017]
FIG. 7 is a flowchart showing a procedure for obtaining the pupil angle α. In FIG. 7, in step S31, the ratio a between the eyeball radius r and the pupil radius R is read. In step S32, the radius S of the pupil image is measured from the captured image. In step S33, the center distance X of the pupil image is measured from the captured image. In step S34, the pupil angle α is obtained from the equation (6), and the line-of-sight direction is thereby determined.
[0018]
The above-mentioned pupil angle α is assumed that the center P of the pupil when the driver 10 looks in front is on the center line (OF) of the camera. FIG. 8 shows the positional relationship in this case. The pupil angle in this case is (α + δ), and an error angle δ occurs. When the center distance X of the pupil image is obtained from FIG. 8, Expression (7) is obtained. In the equation (7), “tg” is an abbreviation of tangent (tan).
(Equation 7)
By applying the following approximate expressions (8a) to (8d) to expression (7), expression (9) is obtained.
[Equation 8]
[Equation 9]
When the angle β is smaller than 1 in the expression (9), the error angle δ also becomes smaller from FIG. 8, and the expression (9) eventually becomes the expression (10), which coincides with the expression (6). Therefore, as long as the angle β is kept at a small value by the pan-and-tilt control, the viewing angle α can be obtained substantially correctly.
(Equation 10)
[0019]
The pan / tilt control unit 26 obtains the angle of the face of the driver 10 (the plane formed by the face when viewed from the front) from the captured image so that the camera's capturing surface and the driver 10's face are parallel, that is, as described above. The angle β is controlled to be kept at a small value. The temporary memory 27 is composed of an electronic memory such as a RAM and is a working memory. The permanent memory 28 is composed of a magnetic memory and is a memory that stores for a long time, and stores not only programs but also data that is stored for a long time. Each of the memories 27 and 28 is connected to the main controller 21 via a bus line (not shown). The output unit 29 is a buffer or the like for outputting to an external device.
[0020]
The overall flow will be described below with reference to FIG.
In FIG. 1, in step S <b> 11, the photograph of the face of the driver 10 is photographed by the camera 13, and the photographed photograph is recorded in the temporary memory 27. In step S12, the blink detection unit 23 determines whether the driver 10 blinks (closes his / her eyes) from the photograph recorded in the temporary memory 27. Techniques for detecting blinks are known, and a description thereof will be omitted. If it is a blinking photograph, the process returns to step S11, and the photograph is recorded again. If the photograph is not blinking (the eyes are open), the pupil detecting unit 24 searches for the center position (Ct) of the pupil and the radius (Rt) of the pupil in step 13.
[0021]
In step S14, it is determined whether the center of the pupil (or the pupil) is substantially at the center of the captured image. If the pupil is at the edge of the image, that is, if a part of the eye protrudes from the image, step 16 is executed in consideration of the convenience of the next process. In this case, in step 16, the pan / tilt angle of the camera 13 is controlled by the holding device 14 so as to be substantially at the center. In step 15, it is detected from the photographed image whether the face of the face (this plane is assumed as a plane orthogonal to the front direction when viewed from the front) and the photographing plane of the camera are substantially parallel. This is determined based on the degree of symmetry of the face from the captured image. If it is not parallel (or substantially parallel), the process returns to step 16 and the holding device 14 is driven to control the pan / tilt angle to make it substantially parallel.
[0022]
If they are parallel (or substantially parallel), the flow chart described with reference to FIG. 7 is executed in step S17 to determine the pupil angle α. In step S18, the gaze direction is determined from the pupil angle and the angle at which the face is facing, and is output.
[0023]
As described above in detail in the present embodiment, according to the present embodiment, it is not necessary to attach a special device to a symmetrical person, and it is possible to easily detect the gaze direction of the symmetrical person. Further, it is considered that the parallelism between the face surface and the photographing surface of the camera can be relatively easily maintained by the pan / tilt control, and therefore, a small error with respect to the obtained pupil angle and, consequently, the line of sight direction is compensated. The effect of high robustness is obtained. Further, the required calculation is relatively simple, and the calculation time can be shortened, so that the calculation can be performed in real time, and the effect of being able to go online is obtained.
[0024]
As described above, the embodiments and examples of the present invention have been described in detail with reference to the drawings. However, the specific configuration is not limited to the examples, and there are design changes and the like without departing from the gist of the present invention. Is also included in the present invention. For example, a part using a conventional known technique may apply another known technique.
[0025]
【The invention's effect】
As described above, according to the configuration of the present invention, it is possible to easily detect the line of sight of a symmetrical person without having to attach a special device to the symmetrical person. In addition, it is possible to compensate for a small error with respect to the obtained pupil angle and, consequently, the direction of the line of sight.
[Brief description of the drawings]
FIG. 1 is a flowchart illustrating an overall procedure of an embodiment.
FIG. 2 shows an example showing a specific case of the embodiment.
FIG. 3 is a block diagram illustrating functions of a computer according to the embodiment.
FIGS. 4A and 4B are explanatory diagrams for obtaining a center and a radius of a pupil.
FIG. 5 is a flowchart illustrating a procedure for obtaining a center and a radius of a pupil.
FIG. 6 is an explanatory diagram illustrating a pupil angle.
FIG. 7 is a flowchart illustrating a procedure for obtaining a pupil angle.
FIG. 8 is an explanatory diagram in which an error in a pupil angle is analyzed.
FIG. 9 shows a conventional device.
[Explanation of symbols]
10 Driver (symmetrical person)
12 Front window 13 Video camera 14 Holding device (pan / tilt control device)
Reference Signs List 20 computer 21 main controller 23 blink detector 24 pupil detector 25 gaze direction detector 26 pan / tilt controller 27, 28 memory α pupil angle S radius of pupil image x center distance of pupil image
