JP2004254960A

JP2004254960A - Device and method for detecting direction of visual line

Info

Publication number: JP2004254960A
Application number: JP2003049919A
Authority: JP
Inventors: Ryushi Funayama; 竜士船山; Masamichi Osugi; 雅道大杉
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2003-02-26
Filing date: 2003-02-26
Publication date: 2004-09-16
Anticipated expiration: 2023-02-26
Also published as: JP4032994B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a device and method by which the directions of visual lines can be detected accurately. <P>SOLUTION: An image corresponding point searching section 21 detects the characteristic part of the white portion of an eye from an image picked up by means of a stereo camera 1 and a three-dimensional coordinate calculating section 22 calculates the three-dimensional coordinates of the characteristic part. Then an eyeball center calculating section 23 calculates the center of the eyeball of the eye based on the calculated three-dimensional coordinates. On the other hand, the three-dimensional coordinate calculating section 22 detects the three-dimensional coordinates of the iris of the eye and estimates the center of the iris based on the detected three-dimensional coordinates. Thereafter, the calculating section 22 measures the direction of the visual line of the eye from the centers of the eyeball and iris. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、検出対象となる目の視線方向を検出する視線方向検出装置および視線方向検出方法に関する。
【０００２】
【従来の技術】
自動車を運転する運転者などの視線方向を非接触で検出する技術として、従来、たとえば特開平７−１６７６１８号公報に開示された技術がある。この技術は、赤外線カメラと運転者の距離を計測し、赤外線カメラとの距離関係が既知の視線計測用カメラで運転者の眼球を撮影する。視線計測用カメラで撮影された眼球の角膜反射像、瞳孔中心等の位置から視線方向を算出するものである。
【０００３】
【特許文献１】
特開平７−１６７６１８号公報（４頁右欄、図１）
【０００４】
【発明が解決しようとする課題】
しかし、上記特許文献１に開示された技術では、視線計測用カメラで撮影された眼球の角膜反射像や瞳孔中心等から視線方向を求めるにすぎないものである。このため、正確な視線方向を求めているとは言い難いものであった。
【０００５】
そこで、本発明の課題は、視線方向を容易かつ正確に検出することができる視線方向検出装置および視線方向検出方法を提供することにある。
【０００６】
【課題を解決するための手段】
上記課題を解決した本発明に係る視線検出装置は、検出対象となる目の視線方向を検出する視線方向検出装置において、目をそれぞれ撮像する第１撮像手段および第２撮像手段を備えるステレオカメラと、第１撮像手段および第２撮像手段で撮像された第１画像および第２画像から、目における白目部分の特徴部分を検出して眼球の中心位置を求める眼球中心検出手段と、第１画像および第２画像から、目における黒目部分の中心位置を検出する黒目中心検出手段と、眼球の中心位置と、黒目部分の中心位置とに基づいて、目の視線の方向を求める視線方向検出手段と、を有するものである。
【０００７】
また、上記課題を解決した本発明に係る視線検出方法は、検出対象となる目の視線方向を検出する視線方向検出方法において、第１撮像手段および第２撮像手段によって、それぞれ検出対象を撮像する撮像工程と、第１撮像手段で撮像された第１画像と第２撮像手段で撮像された第２画像から、目における白目部分の特徴部分を検出して眼球の中心位置を求める眼球中心検出工程と、第１画像および第２画像から、目における黒目部分の中心位置を検出する黒目中心検出工程と、眼球の中心位置と、黒目部分の中心位置とに基づいて、目の視線の方向を求める視線方向検出工程と、を備えることを特徴とするものである。
【０００８】
本発明に係る視線方向検出装置および検出方法においては、眼球の中心位置と黒目の中心位置とを求め、両中心位置に基づいて視線方向を検出している。人の視線は、眼球の中心を始点として黒目の中心を通ると考えられる。このため、視線方向を正確に検出することができる。
【０００９】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、各実施形態において、同一の機能を有する部分については同一の符号を付し、重複する説明は省略することがある。
【００１０】
図１は、本発明の実施形態に係る視線検出装置のブロック構成図である。図１に示すように、本実施形態に係る視線検出装置Ｄは、たとえば自動車の運転席に設けられ、運転者の視線を検出するために用いられる。この視線検出装置Ｄは、ステレオカメラ１および画像処理装置２を有している。ステレオカメラ１は、第１撮像手段である第１撮像装置１１および第２撮像手段である第２撮像装置１２を備えている。第１撮像装置１１および第２撮像装置１２には、同期装置１３が接続されており、それぞれ同期した状態で同一の対象物を撮像するようになっている。これらの第１撮像装置１１および第２撮像装置１２は、内部パラメータおよび相対的な位置関係は既知であり、同期装置１３で同期が取られた状態で視線検出対象となる目を含む顔画像を撮像することができる。
【００１１】
また、画像処理装置２は、画像間対応点探索部２１、三次元座標算出部２２、眼球中心算出部２３、黒目中心推定部２４、および視線方向計測部２５を有している。画像間対応点探索部２１は、第１撮像装置１１および第２撮像装置１２に接続されており、ステレオカメラ１における第１撮像装置１１および第２撮像装置１２に接続されている。第１撮像装置１１は、撮像した画像（第１画像）を画像間対応点探索部２１に出力し、第２撮像装置１２は、撮像した画像（第２画像）を画像間対応点探索部２１に出力する。画像間対応点探索部２１では、第１画像と第２画像との間の対応点を探索する。
【００１２】
三次元座標算出部２２は、画像間対応点探索部２１に接続されている。画像間対応点探索部２１は、三次元座標算出部２２に対応点を探索した第１画像および第２画像を出力する。三次元座標算出部２２では、対応付けられた第１画像および第２画像における所定の点の三次元座標を算出する。また、三次元座標算出部２２は、眼球中心算出部２３および黒目中心推定部２４に接続されている。眼球中心算出部２３は、三次元座標算出部２２から出力される所定の三次元座標に基づいて眼球の中心座標を算出する。また、黒目中心推定部２４では、三次元座標算出部２２から出力される所定の三次元座標に基づいて、黒目の中心となる黒目中心座標を算出する。
【００１３】
さらに、眼球中心算出部２３および黒目中心推定部２４は、本発明の視線方向検出手段である視線方向計測部２５に接続されており、それぞれ眼球中心座標および黒目中心座標を出力している。視線方向計測部２５では、出力された眼球中心座標および黒目中心座標に基づいて、視線方向を検出している。
【００１４】
以上の構成を有する本実施形態に係る視線検出方法について説明する。図２は、本実施形態に係る視線検出方法の手順を示すフローチャートである。図２に示すように、本実施形態に係る視線方向検出方法では、目周辺画像を取得する（Ｓ１）。目周辺画像は、あらかじめキャリブレーションされ、内部パラメータおよび相対的な位置関係が既知であるステレオカメラ１における第１撮像装置１１および第２撮像装置１２のそれぞれで同一の目の近傍を撮像することによって取得される。第１撮像装置１１および第２撮像装置１２は、それぞれ同期装置１３に接続されており、両撮像装置１１，１２の同期が取られている。
【００１５】
第１撮像装置１１で撮像された目周辺画像である第１画像および第２撮像装置１２で撮像された目周辺画像である第２画像は、画像処理装置２における画像間対応点探索部２１にそれぞれ出力される。画像間対応点探索部２１では、第１画像および第２画像から、第１画像および第２画像の間の対応付けを行う（Ｓ２）。第１画像および第２画像の間の対応付けは、たとえば黒目部分および白目部分について行い、黒目の対応付けは、黒目の輪郭を抽出して行う。
【００１６】
そのため、まず、図３（ａ）に示す画像Ｇ中における白色に近い色の領域だけを抽出するように、画像を白で二値化してエッジ処理を施し、図３（ｂ）に示すように白目を抽出した白色エッジ画像ＷＧを生成する。この白色エッジ画像ＷＧに対して、白色部分をわずかに膨張させる膨張処理を施し、図３（ｃ）に示す白色膨張エッジ画像ＷＥＧを生成する。このような白での二値化処理を行う一方、図３（ｄ）に示すように、黒色に近い色の領域だけを抽出するように、画像を黒で二値化してエッジ処理を施し、図３（ｄ）に示すように黒目を抽出した黒色エッジ画像ＢＧを生成する。この黒色エッジ画像ＢＧに対して、白色部分を膨張させる膨張処理を施し、図３（ｅ）に示す黒色膨張エッジ画像ＢＥＧを生成する。そして、それぞれ膨張処理を施して得られた白色膨張エッジ画像ＷＥＧおよび黒色膨張エッジ画像ＢＥＧ間で、同じ座標同士の画素でＡＮＤ演算を行う。その結果、図３（ｆ）に示すように、有意となった画素が輪郭エッジとなるエッジ画像ＥＧが生成される。
【００１７】
次に、白目部分の対応付けについて説明する。白目眼球上には、本発明の白目の特徴部分となる多くの微細な血管が存在し、これらの血管の配置はランダムとなっているので、同じパターンの血管が張っていることはほとんどない。このことから、血管のパターン同士によって対応点を取ることができる。白目眼球の対応点の取り方について図４を参照して説明する。
【００１８】
図４（ａ）は第１撮像装置１１で撮像した目およびその周辺の画像の模式図、図４（ｂ）は第２撮像装置１２で撮像した目およびその周辺の画像の模式図である。図４（ａ）に示すように、第１撮像装置１１で撮像した画像Ｇ１において、目Ｅの周辺には多数の血管Ｂ１，Ｂ２…が存在する。このうちのたとえば血管Ｂ１〜Ｂ３を含む矩形領域Ｒ１を指定し、この血管Ｂ１〜Ｂ３を含む矩形領域Ｒ１における参照パターンを検出する。
【００１９】
この参照パターンに対して、第２撮像装置１２で撮像した画像Ｇ２において、画像Ｇ１に指定された矩形領域Ｒ１の参照パターンにもっとも近い矩形領域を、下記（１）式を用いて探索する。この探索は、画像Ｇ１における矩形領域Ｒ１と画像Ｇ２における矩形領域の類似度（一致度）を算出することにより行われる。
【００２０】
【数１】

【００２１】
そして、（１）式により、画像Ｇ２において、画像Ｇ１における矩形領域Ｒ１に一致し、または最も類似する矩形領域Ｒ２を探索することができる。
【００２２】
こうして、黒目部分および白目部分のそれぞれの対応付けが済んだら、三次元座標算出部２２において、黒目部分および白目部分の三次元座標を求める（Ｓ３）。これらの三次元座標は、黒目部分および白目部分の血管パターンの画像上での二次元座標と２台のカメラの相対的な位置関係から求められる。具体的には、下記（２）式および（３）式を満たす（Ｘ，Ｙ，Ｚ）^Ｔを算出することによって求めることができる。
【００２３】
【数２】

【００２４】
上記（２）式および（３）式により、黒目部分における輪郭エッジの三次元座標および白目部分における血管上における１つの平面上にない任意の４点の三次元座標を算出する。
【００２５】
これらの三次元座標を求めたら、続いて、眼球中心算出部２３において、眼球の中心を算出する（Ｓ４）。眼球の中心は、上記（２）式および（３）によって求めた血管上における１つの平面上にない任意の４点の三次元座標から求める。一般に球の式は下記（４）式で与えられる。
【００２６】
【数３】

【００２７】
いま、眼球を球として考えると、眼球上の血管は、この球の表面に存在することになる。また、球の式を特定するためには、１つの平面上にない４点が与えられればよい。したがって、（２）式および（３）式によって求めた血管の三次元座標から、（４）式の定数ａ、ｂ、ｃ、ｒを求めることにより、眼球を示す球の中心座標（ａ、ｂ、ｃ）を得ることができる。
【００２８】
こうして眼球の中心を求めたら、黒目中心推定部２４において、黒目の中心の三次元座標を求める（Ｓ５）。ここで、黒目輪郭は円形（またはだ円形）を形成しているので、その中心は、下記（５）式に示すように、黒目輪郭上の点として計算した２点間の最大の点となる組の中心として算出できる。
【００２９】
【数４】

【００３０】
こうして、黒目の中心を算出したら、視線方向の検出を行う（Ｓ６）。人の視線は、眼球の中心と黒目の中心を通る線に等しいと考えられる。このため、視線方向の検出は、下記（６）式によって行うことができる。
【００３１】
視線方向＝黒目中心座標−眼球中心座標・・・（６）
上記（６）式により、視線方向を検出することができる。このときの視線の始点は、眼球の中心となる。
【００３２】
このように、本実施形態に係る視線検出方法では、眼球の中心位置と黒目の中心位置とを求め、両中心位置に基づいて視線方向を検出している。このため、視線方向を容易かつ正確に検出することができる。
【００３３】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。たとえば、上記実施形態では、眼球の中心位置を求めるために、白目部分の特徴部分として血管を利用しているが、血管に代えて虹彩などを利用することができる。また、上記実施形態では、黒目の中心を求める際に、黒目輪郭上の点として計算した２点間の最大の点となる組の中心を黒目の中心としているが、たとえば黒目の形状をだ円に置き換えて、演算処理を施してだ円の中心を求めて、そのだ円の中心を黒目の中心とすることもできる。
【００３４】
他方、上記実施形態では、視線検出装置を自動車に設ける例について説明したが、入力装置として使用することにより、パソコンや家電製品などをはじめあらゆる装置の指令デバイスとしても用いることができる。
【００３５】
【発明の効果】
以上のとおり、本発明によれば、視線方向を容易かつ正確に検出することができる視線検出装置および視線検出方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る視線検出装置のブロック構成図である。
【図２】本実施形態に係る視線方向検出方法を示すフローチャートである。
【図３】（ａ）は撮像手段で撮像した目の模式図、（ｂ）は（ａ）の画像を白色で二値化してエッジ処理した白色エッジ画像の模式図、（ｃ）は（ｂ）の白色部分を膨張させた膨張処理を施した白色膨張エッジ画像の模式図、（ｄ）は（ａ）の画像を黒色で二値化してエッジ処理した黒色エッジ画像の模式図、（ｅ）は（ｄ）の白色部分を膨張させた膨張処理を施した黒色膨張エッジ画像の模式図、（ｆ）は（ｃ）の画像と（ｅ）の画像をＡＮＤ演算して得られたエッジ画像の模式図である。
【図４】（ａ）は第１撮像装置１１で撮像した目およびその周辺の画像の模式図、（ｂ）は第２撮像装置１２で撮像した目およびその周辺の画像の模式図である。
【符号の説明】
１…ステレオカメラ、２…画像処理装置、１１…第１撮像装置、１２…第２撮像装置、１３…同期装置、２１…画像間対応点探索部、２２…三次元座標算出部、２３…眼球中心算出部、２４…黒目中心推定部、２５…視線方向計測部、Ｂ１〜Ｂ３…血管、Ｄ…視線検出装置、Ｇ，Ｇ１，Ｇ２…画像、ＷＧ…白色エッジ画像、ＷＥＧ…白色膨張エッジ画像、ＢＧ…黒色エッジ画像、ＢＥＧ…黒色膨張エッジ画像、Ｅ…目、ＥＧ…エッジ画像、Ｒ１，Ｒ２…矩形領域。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a gaze direction detection device and a gaze direction detection method for detecting a gaze direction of an eye to be detected.
[0002]
[Prior art]
2. Description of the Related Art As a technique for detecting the direction of a line of sight of a driver or the like of a car in a non-contact manner, there is a technique disclosed in, for example, Japanese Patent Application Laid-Open No. 7-167618. This technology measures the distance between an infrared camera and a driver, and photographs the driver's eyeball with a line-of-sight measurement camera whose distance relationship with the infrared camera is known. The gaze direction is calculated from the corneal reflection image of the eyeball photographed by the gaze measurement camera, the center of the pupil, and the like.
[0003]
[Patent Document 1]
JP-A-7-167618 (page 4, right column, FIG. 1)
[0004]
[Problems to be solved by the invention]
However, in the technique disclosed in Patent Document 1, the gaze direction is simply obtained from a corneal reflection image of an eyeball captured by a gaze measurement camera, the center of a pupil, and the like. For this reason, it has been difficult to say that an accurate gaze direction is required.
[0005]
Therefore, an object of the present invention is to provide a gaze direction detection device and a gaze direction detection method that can easily and accurately detect a gaze direction.
[0006]
[Means for Solving the Problems]
A gaze detection device according to the present invention that has solved the above-mentioned problems is a gaze direction detection device that detects a gaze direction of an eye to be detected, wherein the stereo camera includes a first imaging unit and a second imaging unit that respectively image the eyes. An eyeball center detecting means for detecting a characteristic portion of a white eye portion of an eye to obtain a center position of the eyeball from the first image and the second image picked up by the first image pickup means and the second image pickup means; A pupil center detecting unit that detects a center position of the iris part in the eye from the second image, a sight line direction detecting unit that determines a direction of the sight line of the eye based on the center position of the eyeball and the center position of the iris part, It has.
[0007]
Further, a gaze detection method according to the present invention that has solved the above-mentioned problem is a gaze direction detection method for detecting a gaze direction of an eye to be detected, wherein the first imaging unit and the second imaging unit respectively image the detection target. An image capturing step, and an eyeball center detecting step of detecting a characteristic portion of a white-eye portion of the eye to obtain a center position of the eyeball from the first image captured by the first image capturing unit and the second image captured by the second image capturing unit. And a pupil center detection step of detecting a pupil center position in the eye from the first image and the second image; and a direction of a line of sight of the eye based on the pupil center position and the pupil center position. A gaze direction detecting step.
[0008]
In the gaze direction detection device and the detection method according to the present invention, the center position of the eyeball and the center position of the iris are obtained, and the gaze direction is detected based on both center positions. The line of sight of a person is considered to pass through the center of the iris starting from the center of the eyeball. For this reason, the gaze direction can be accurately detected.
[0009]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In each embodiment, the same reference numerals are given to portions having the same function, and overlapping description may be omitted.
[0010]
FIG. 1 is a block configuration diagram of a gaze detection device according to an embodiment of the present invention. As shown in FIG. 1, a line-of-sight detection device D according to the present embodiment is provided, for example, in a driver's seat of an automobile, and is used to detect the line of sight of a driver. This gaze detection device D has a stereo camera 1 and an image processing device 2. The stereo camera 1 includes a first imaging device 11 as a first imaging device and a second imaging device 12 as a second imaging device. A synchronization device 13 is connected to the first imaging device 11 and the second imaging device 12, and captures the same object in a synchronized state. The first imaging device 11 and the second imaging device 12 are capable of generating a face image including an eye to be a gaze detection target in a state where the internal parameters and the relative positional relationship are known and synchronized by the synchronization device 13. Images can be taken.
[0011]
Further, the image processing device 2 includes an inter-image corresponding point search unit 21, a three-dimensional coordinate calculation unit 22, an eyeball center calculation unit 23, an iris center estimation unit 24, and a gaze direction measurement unit 25. The inter-image corresponding point searching unit 21 is connected to the first imaging device 11 and the second imaging device 12, and is connected to the first imaging device 11 and the second imaging device 12 of the stereo camera 1. The first imaging device 11 outputs the captured image (first image) to the inter-image corresponding point searching unit 21, and the second imaging device 12 outputs the captured image (second image) to the inter-image corresponding point searching unit 21. Output to The inter-image corresponding point search unit 21 searches for a corresponding point between the first image and the second image.
[0012]
The three-dimensional coordinate calculation unit 22 is connected to the inter-image corresponding point search unit 21. The inter-image corresponding point search unit 21 outputs the first image and the second image for which corresponding points have been searched to the three-dimensional coordinate calculation unit 22. The three-dimensional coordinate calculation unit 22 calculates three-dimensional coordinates of a predetermined point in the associated first and second images. Further, the three-dimensional coordinate calculator 22 is connected to the eyeball center calculator 23 and the iris center estimator 24. The eyeball center calculator 23 calculates the center coordinates of the eyeball based on the predetermined three-dimensional coordinates output from the three-dimensional coordinate calculator 22. Further, the iris center estimating unit 24 calculates iris center coordinates that are the center of the iris based on the predetermined three-dimensional coordinates output from the three-dimensional coordinate calculating unit 22.
[0013]
Further, the eyeball center calculation unit 23 and the iris center estimation unit 24 are connected to the gaze direction measurement unit 25 which is the gaze direction detection unit of the present invention, and output the eyeball center coordinates and the iris center coordinates, respectively. The line-of-sight direction measuring unit 25 detects the line-of-sight direction based on the output eyeball center coordinates and iris center coordinates.
[0014]
A gaze detection method according to the present embodiment having the above configuration will be described. FIG. 2 is a flowchart illustrating a procedure of the gaze detection method according to the present embodiment. As shown in FIG. 2, in the gaze direction detecting method according to the present embodiment, an image around the eye is acquired (S1). The peripheral image of the eye is calibrated in advance, and the first imaging device 11 and the second imaging device 12 of the stereo camera 1 in which the internal parameters and the relative positional relationship are known are imaged in the vicinity of the same eye. Is obtained. The first imaging device 11 and the second imaging device 12 are each connected to a synchronization device 13 so that the two

imaging devices

11 and 12 are synchronized.
[0015]
The first image, which is an eye peripheral image captured by the first imaging device 11, and the second image, which is an eye peripheral image captured by the second imaging device 12, are sent to the inter-image corresponding point searching unit 21 in the image processing device 2. Each is output. The inter-image corresponding point search unit 21 associates the first image and the second image from the first image and the second image (S2). The association between the first image and the second image is performed, for example, for the iris portion and the iris portion, and the iris association is performed by extracting the outline of the iris.
[0016]
Therefore, first, the image is binarized with white to perform edge processing so as to extract only a region of a color close to white in the image G shown in FIG. 3A, and as shown in FIG. A white edge image WG from which white eyes are extracted is generated. The white edge image WG is subjected to expansion processing for slightly expanding a white portion, and a white expanded edge image WEG shown in FIG. 3C is generated. While performing such binarization processing with white, as shown in FIG. 3D, the image is binarized with black so as to extract only a region of a color close to black, and edge processing is performed. As shown in FIG. 3D, a black edge image BG from which the iris is extracted is generated. The black edge image BG is subjected to expansion processing for expanding a white portion, and a black expanded edge image BEG shown in FIG. 3E is generated. Then, an AND operation is performed between pixels having the same coordinates between the white expanded edge image WEG and the black expanded edge image BEG obtained by performing the expansion processing. As a result, as shown in FIG. 3F, an edge image EG in which the significant pixel becomes the contour edge is generated.
[0017]
Next, the association of the white-eye portion will be described. On the white eyeball, there are many fine blood vessels which are characteristic portions of the white eye of the present invention, and since the arrangement of these blood vessels is random, blood vessels of the same pattern are hardly formed. From this, it is possible to obtain a corresponding point between the blood vessel patterns. How to obtain the corresponding points of the white eyeball will be described with reference to FIG.
[0018]
FIG. 4A is a schematic diagram of an eye and its surrounding image captured by the first imaging device 11, and FIG. 4B is a schematic diagram of an eye and its surrounding image captured by the second imaging device 12. As shown in FIG. 4A, in an image G1 captured by the first imaging device 11, a number of blood vessels B1, B2,... For example, a rectangular area R1 including the blood vessels B1 to B3 is designated, and a reference pattern in the rectangular area R1 including the blood vessels B1 to B3 is detected.
[0019]
With respect to this reference pattern, in the image G2 captured by the second imaging device 12, a rectangular area closest to the reference pattern of the rectangular area R1 specified in the image G1 is searched using the following equation (1). This search is performed by calculating the similarity (matching degree) between the rectangular area R1 in the image G1 and the rectangular area in the image G2.
[0020]
(Equation 1)

[0021]
Then, according to the equation (1), it is possible to search the image G2 for a rectangular region R2 that matches or is most similar to the rectangular region R1 in the image G1.
[0022]
When the iris portion and the iris portion are associated with each other in this way, the three-dimensional coordinate calculation section 22 obtains the three-dimensional coordinates of the iris portion and the iris portion (S3). These three-dimensional coordinates are obtained from the two-dimensional coordinates on the image of the blood vessel pattern of the iris portion and the iris portion on the image and the relative positional relationship between the two cameras. Specifically, it can be obtained by calculating (X, Y, Z) ^T that satisfies the following equations (2) and (3).
[0023]
(Equation 2)

[0024]
Using the above equations (2) and (3), the three-dimensional coordinates of the contour edge in the iris part and the three-dimensional coordinates of any four points not on one plane on the blood vessel in the white part are calculated.
[0025]
After obtaining these three-dimensional coordinates, the center of the eyeball is subsequently calculated by the eyeball center calculation unit 23 (S4). The center of the eyeball is obtained from the three-dimensional coordinates of any four points not on one plane on the blood vessel obtained by the above equations (2) and (3). Generally, the equation of a sphere is given by the following equation (4).
[0026]
[Equation 3]

[0027]
Now, assuming that the eyeball is a sphere, the blood vessels on the eyeball exist on the surface of the sphere. In addition, in order to specify the equation of the sphere, it is only necessary to give four points that are not on one plane. Therefore, the center coordinates (a, b) of the sphere indicating the eyeball are obtained by obtaining the constants a, b, c, and r of the equation (4) from the three-dimensional coordinates of the blood vessel obtained by the equations (2) and (3). , C) can be obtained.
[0028]
After the center of the eyeball is obtained in this way, the iris center estimation unit 24 obtains the three-dimensional coordinates of the center of the iris (S5). Here, since the iris contour forms a circle (or ellipse), its center is the maximum point between two points calculated as points on the iris contour, as shown in the following equation (5). It can be calculated as the center of the set.
[0029]
(Equation 4)

[0030]
When the center of the iris is calculated in this way, the gaze direction is detected (S6). The line of sight of a person is considered to be equal to the line passing through the center of the eyeball and the center of the iris. For this reason, the gaze direction can be detected by the following equation (6).
[0031]
Line-of-sight direction = iris center coordinates-eyeball center coordinates (6)
The line of sight direction can be detected by the above equation (6). The starting point of the line of sight at this time is the center of the eyeball.
[0032]
As described above, in the gaze detection method according to the present embodiment, the center position of the eyeball and the center position of the iris are obtained, and the gaze direction is detected based on both center positions. For this reason, the line of sight direction can be easily and accurately detected.
[0033]
As described above, the preferred embodiments of the present invention have been described, but the present invention is not limited to the above embodiments. For example, in the above-described embodiment, a blood vessel is used as a characteristic portion of the white-eye part in order to obtain the center position of the eyeball, but an iris or the like can be used instead of the blood vessel. In the above-described embodiment, when the center of the iris is determined, the center of the set that is the largest point between the two points calculated as the points on the iris contour is set as the center of the iris. And the center of the ellipse can be determined as the center of the iris by calculating the center of the ellipse.
[0034]
On the other hand, in the above-described embodiment, the example in which the line-of-sight detection device is provided in an automobile has been described.
[0035]
【The invention's effect】
As described above, according to the present invention, it is possible to provide a gaze detection device and a gaze detection method capable of easily and accurately detecting a gaze direction.
[Brief description of the drawings]
FIG. 1 is a block configuration diagram of a gaze detection device according to an embodiment of the present invention.
FIG. 2 is a flowchart illustrating a gaze direction detecting method according to the embodiment.
3A is a schematic diagram of an eye imaged by an imaging unit, FIG. 3B is a schematic diagram of a white edge image obtained by binarizing the image of FIG. (D) is a schematic diagram of a white expanded edge image subjected to an expansion process in which a white portion is expanded, (d) is a schematic diagram of a black edge image obtained by binarizing the image of (a) with black and performing edge processing, and (e). (D) is a schematic view of a black expanded edge image subjected to expansion processing in which a white portion is expanded, and (f) is an edge image obtained by performing an AND operation on the image of (c) and the image of (e). It is a schematic diagram.
4A is a schematic diagram of an eye and its surrounding image captured by a first imaging device 11, and FIG. 4B is a schematic diagram of an eye and its surrounding image captured by a second imaging device 12. FIG.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Stereo camera, 2 ... Image processing apparatus, 11 ... 1st imaging apparatus, 12 ... 2nd imaging apparatus, 13 ... Synchronization apparatus, 21 ... Inter-image correspondence point search part, 22 ... 3D coordinate calculation part, 23 ... Eyeball Center calculation unit, 24: iris center estimation unit, 25: gaze direction measurement unit, B1 to B3: blood vessels, D: gaze detection device, G, G1, G2: image, WG: white edge image, WEG: white expanded edge image , BG: black edge image, BEG: black expanded edge image, E: eyes, EG: edge image, R1, R2: rectangular area.

Claims

In a gaze direction detection device that detects a gaze direction of an eye to be detected,
A stereo camera including a first imaging unit and a second imaging unit that respectively image the eyes;
An eyeball center detecting means for detecting a characteristic portion of a white eye portion in the eye from the first image and the second image picked up by the first image pickup means and the second image pickup means to obtain a center position of the eyeball;
An iris center detecting unit that detects a center position of an iris portion in the eye from the first image and the second image;
A line-of-sight direction detection unit that determines the direction of the line of sight of the eye based on the center position of the eyeball and the center position of the iris portion;
A gaze direction detecting device comprising:

In a gaze direction detection method for detecting a gaze direction of an eye to be detected,
An imaging step of imaging the detection target by a first imaging unit and a second imaging unit, respectively;
An eyeball center detecting step of detecting a characteristic portion of a white eye portion of the eye to obtain a center position of the eyeball from a first image picked up by the first image pickup unit and a second image picked up by the second image pickup unit; ,
An iris center detecting step of detecting a center position of an iris portion in the eye from the first image and the second image;
A gaze direction detecting step of determining a gaze direction of the eye based on the center position of the eyeball and the center position of the iris portion;
A gaze direction detecting method, comprising: