JP2004255074A

JP2004255074A - Gazing direction detecting device and its method

Info

Publication number: JP2004255074A
Application number: JP2003051767A
Authority: JP
Inventors: Masamichi Osugi; 雅道大杉
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2003-02-27
Filing date: 2003-02-27
Publication date: 2004-09-16
Anticipated expiration: 2023-02-27
Also published as: JP4140399B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a gazing direction detecting device and a method thereof capable of precisely detecting a gazing direction. <P>SOLUTION: A gazing direction detection device D calculates three dimensional coordinate of the contour of the eyes from an image photographed with a stereo camera 1 using a three dimensional coordinate calculating section 23 in an image processing device 2. In a gazing direction estimation section 24, a flat surface with points on the contour of the irises is found from the three dimensional coordinate of the contour of the eyes and a normal line direction thereof is set up. Meanwhile, the center of the irises is found. Among the normal line directions of the flat surface with the points on the contour of the irises, a direction of a line in which the center of the irises passes is detected as the gazing direction. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、検出対象となる目の視線方向を検出する視線方向検出装置および視線方向検出方法に関する。
【０００２】
【従来の技術】
自動車を運転する運転者などの視線方向を非接触で検出する技術として、従来、たとえば特開平７−１６７６１８号公報に開示された技術がある。この技術は、赤外線カメラと運転者の距離を計測し、赤外線カメラとの距離関係が既知の視線計測用カメラで運転者の眼球を撮影する。視線計測用カメラで撮影された眼球の角膜反射像、瞳孔中心等の位置から視線方向を算出するものである。
【０００３】
【特許文献１】
特開平７−１６７６１８号公報（４頁右欄、図１）
【０００４】
【発明が解決しようとする課題】
しかし、上記特許文献１に開示された技術では、視線計測用カメラで撮影された眼球の角膜反射像や瞳孔中心等から視線方向を求めるにすぎないものである。このため、正確な視線方向を求めているとは言い難いものであった。
【０００５】
そこで、本発明の課題は、視線方向を正確に検出することができる視線方向検出装置および視線方向検出方法を提供することにある。
【０００６】
【課題を解決するための手段】
上記課題を解決した本発明に係る視線方向検出装置は、検出対象となる目の視線方向を検出する視線方向検出装置において、目をそれぞれ撮像する第１撮像手段および第２撮像手段を備えるステレオカメラと、第１撮像手段および第２撮像手段で撮像された第１画像および第２画像中から、それぞれ黒目のエッジを検出するエッジ検出手段と、第１画像における黒目のエッジ部分における任意の特定点を決定する特定点決定手段と、第１画像中の特定点に対応する第２画像中の対応点を求める対応点決定手段と、第１画像中の特定点および第２画像中の対応点に基づいて、目における黒目のエッジが位置する境界平面を求める平面算出手段と、目の中心位置を求め、求められた目の中心位置および平面検出手段で検出された境界平面の法線ベクトルに基づいて、目の視線方向を求める視線方向検出手段と、を備えるものである。
【０００７】
また、上記課題を解決した本発明に係る視線方向検出方法は、検出対象となる目の視線を検出する視線方向検出方法において、第１撮像手段および第２撮像手段によって、それぞれ検出対象となる目を撮像する工程と、第１撮像手段で撮像された第１画像および第２撮像手段で撮像された第２画像中から、それぞれ黒目のエッジを検出する工程と、第１画像中における黒目のエッジ部分における任意の特定点を決定する工程と、第１画像中の特定点に対応する第２画像中の対応点を求める工程と、第１画像中の特定点および第２画像中の対応点に基づいて、検出対象となる目における黒目のエッジが位置する境界平面を求める工程と、検出対象となる目の中心位置を求める工程と、境界平面の法線ベクトルを求める工程と、目の中心位置および境界平面の法線ベクトルに基づいて、目の視線方向を求めることを特徴とする。
【０００８】
本発明に係る視線方向検出装置および視線方向検出方法においては、視線方向を求めるにあたり、黒目と白目の境目部分である黒目のエッジを検出し、黒目のエッジが位置する境界平面を算出し、黒目の中心を通る境界平面の法線方向を視線方向として求めている。このように、黒目の中心部分と黒目のエッジが位置する境界平面の法線を利用して、視線方向を求めているので、検出対象に非接触で正確な視線方向を検出することができる。
【０００９】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、各実施形態において、同一の機能を有する部分については同一の符号を付し、重複する説明は省略することがある。
【００１０】
図１は、本発明の実施形態に係る視線方向検出装置のブロック構成図である。図１に示すように、本実施形態に係る視線方向検出装置Ｄは、たとえば自動車の運転席に設けられ、運転者の視線を検出するために用いられる。この視線方向検出装置Ｄは、ステレオカメラ１および画像処理装置２を有している。ステレオカメラ１は、第１撮像手段である第１撮像装置１１および第２撮像手段である第２撮像装置１２を備えている。第１撮像装置１１および第２撮像装置１２には、同期装置１３が接続されており、それぞれ同期した状態で同一の対象物を撮像するようになっている。これらの第１撮像装置１１および第２撮像装置１２は、内部パラメータおよび相対的な位置関係は既知であり、同期装置１３で同期が取られた状態で検出対象となる目を含む顔画像を撮像することができる。
【００１１】
また、画像処理装置２は、第１エッジ画像作成部２１、第２エッジ画像作成部２２、三次元座標算出部２３、および視線方向推定部２４を有している。第１エッジ画像作成部２１は、ステレオカメラ１における第１撮像装置１１に接続されている。第１撮像装置１１は、撮像した画像（第１画像）を第１エッジ画像作成部２１に出力している。第１エッジ画像作成部２１では、出力された第１画像における黒目と白目の境目部分である黒目のエッジ部分を、たとえば微分処理して第１エッジ画像を作成する。また第２エッジ画像作成部２２は、ステレオカメラ１における第２撮像装置１２に接続されている。第２撮像装置１２は、撮像した画像（第２画像）を第２エッジ画像作成部２２に出力している。第２エッジ画像作成部２２では、出力された第２画像における黒目のエッジ部分を、たとえば微分処理して第２エッジ画像を作成する。これらの第１エッジ画像作成部２１および第２エッジ画像作成部２２によって、本発明のエッジ検出手段が構成されている。
【００１２】
第１エッジ画像作成部２１および第２エッジ画像作成部２２は、いずれも三次元座標算出部２３に接続されている。第１エッジ画像作成部２１は、作成した第１エッジ画像を三次元座標算出部２３に出力し、第２エッジ画像作成部２２は、作成した第２エッジ画像を三次元座標算出部２３に出力する。三次元座標算出部２３では、第１エッジ画像作成部２１から出力された第１エッジ画像および第２エッジ画像作成部２２から出力された第２エッジ画像に基づいて、黒目のエッジ部分の三次元座標を算出する。この三次元座標算出部２３が、本発明の特徴点決定手段、対応点決定手段、および平面算出手段として機能している。
【００１３】
三次元座標算出部２３は、本発明の視線方向検出手段である視線方向推定部２４に接続されている。三次元座標算出部２３は、算出した黒目のエッジ部分の三次元座標を視線方向推定部２４に出力する。視線方向推定部２４では、出力されたエッジ部分の三次元座標に基づいて、視線方向を算出する。また、この視線方向推定部２４では、黒目の中心位置を算出しており、視線方向推定部２４は黒目中心位置算出手段としても機能している。さらに、視線方向推定部２４は、画像処理装置２の外部に設けられた図示しないモニタなどの出力手段に接続されている。視線方向推定部で推定された視線方向は、この出力手段に出力される。
【００１４】
以上の構成を有する本実施形態に係る視線方向検出装置による視線方向検出方法について説明する。図２は、本実施形態に係る視線方向検出方法を示すフローチャートである。図２に示すように、視線方向の検出が開始されると、ステレオカメラ１による顔画像の撮像が行われる（Ｓ１）。顔画像の撮像は、あらかじめキャリブレーションされ、内部パラメータおよび相対的な位置関係が既知であるステレオカメラ１における第１撮像装置１１および第２撮像装置１２のそれぞれで同一の顔画像を撮像することによって行われる。第１撮像装置１１および第２撮像装置１２は、それぞれ同期装置１３に接続されており、両撮像装置１１，１２の撮像タイミングの同期が取られている。
【００１５】
顔画像を撮像したら、第１撮像装置１１で撮像した画像が第１撮像装置１１から第１エッジ画像作成部２１に出力され、第２撮像装置１２で撮像した画像が第２エッジ画像作成部２２に出力される。第１エッジ画像作成部２１および第２エッジ画像作成部２２では、それぞれ出力された画像を微分処理して、第１エッジ画像および第２エッジ画像を生成する（Ｓ２）。両エッジ画像作成部２１，２２では、エッジ画像から、顔における目の部分を検出する。目の部分を検出する際には、両撮像装置１１，１２で撮像した第１画像、第２画像にそれぞれ次の処理を行う。
【００１６】
まず、図３（ａ）に示す画像Ｇ中における白色に近い色の領域だけを抽出するように、画像を白で二値化してエッジ処理を施し、図３（ｂ）に示すように白目を抽出した白色エッジ画像ＷＧを生成する。この白色エッジ画像ＷＧに対して、白色部分をわずかに膨張させる膨張処理を施し、図３（ｃ）に示す白色膨張エッジ画像ＷＥＧを生成する。このような白での二値化処理を行う一方、図３（ｄ）に示すように、黒色に近い色の領域だけを抽出するように、画像を黒で二値化してエッジ処理を施し、図３（ｄ）に示すように黒目を抽出した黒色エッジ画像ＢＧを生成する。この黒色エッジ画像ＢＧに対して、白色部分を膨張させる膨張処理を施し、図３（ｅ）に示す黒色膨張エッジ画像ＢＥＧを生成する。そして、それぞれ膨張処理を施して得られた白色膨張エッジ画像ＷＥＧおよび黒色膨張エッジ画像ＢＥＧ間で、同じ座標同士の画素でＡＮＤ演算を行う。その結果、図３（ｆ）に示すように、有意となった画素が輪郭エッジとなるエッジ画像ＥＧが生成される。
【００１７】
このようにして第１画像および第２画像について第１エッジ画像および第２エッジ画像を形成したら、対応点探索による黒目輪郭上の点の三次元座標を算出する（Ｓ３）。黒目輪郭上の点の三次元座標を算出するにあたり、まず第１エッジ画像と第２エッジ画像との対応付けを行う。その対応付けのため、図４（ａ）に示す第１エッジ画像ＥＧ１中の黒目輪郭エッジＥ１における任意の特定点Ｍの座標を指定し、図４（ｂ）に示すように、特定点Ｍに対応する対応点を通るエピポーラ直線Ｐを第２エッジ画像ＥＧ２上に引くことができる。このエピポーラ直線Ｐは、下記（１）式によって表すことができる。
【００１８】
【数１】

上記（１）式における各数値のうち、座標ｎ_２（第２画像上の特定点Ｍの結像座標１）^Ｔ以外の行列や座標等は既知である。したがって、（１）式は、座標ｎ_２を拘束する式であり、しかも座標ｎ_２を直線上に拘束することになる。一方、第１エッジ画像ＥＧ１上でも第２エッジ画像ＥＧ２上でも黒目輪郭エッジＥ２上の点は輪郭上の点として存在するので、両エッジ画像ＥＧ１，ＥＧ２上でそれぞれ黒目輪郭エッジＥ１，Ｅ２上の点となる。よって、ステップＳ２で作成したエッジ画像がある座標と、（１）式で求められるエピポーラ直線との交点が第１画像エッジで指定した点に対応する可能性のある第２エッジ画像ＥＧ２上の交点Ｍ１，Ｍ２となる。
【００１９】
ここで、黒目輪郭のエッジは円形（またはだ円形）をなしているので、第２エッジ画像ＥＧ２上における黒目輪郭エッジＥ２の座標とエピポーラ直線との交点は１点あるいは２点となる。交点が１点であれば、一意的に対応点が求められるが、２点の場合には、そのいずれかを対応点として選択する必要がある。図４（ｂ）に示すように、第２エッジ画像ＥＧ２におけるエピポーラ直線Ｐと黒目輪郭エッジＥ２の交点Ｍ１，Ｍ２の２点が対応点の候補となる場合には、第１エッジ画像における特定点の近傍の特徴と第２エッジ画像における候補となる点の特徴とを、たとえばエッジ処理前の近傍画素の特徴を比較することによって、どちらの点が対応点となるかを決定することができる。
【００２０】
図５（ａ）は、第１エッジ画像ＥＧ１で特定点の近傍において指定した領域に対応する領域Ｒ１１が設定された第１画像Ｇ１の濃淡画像を示す模式図、（ｂ）は、第２エッジ画像ＥＧ２で対応点の候補となる交点Ｍ１，Ｍ２のそれぞれの近傍において指定した領域に対応する領域Ｒ２１，Ｒ２２が設定された第２画像Ｇ２の濃淡画像を示す模式図である。
【００２１】
図５（ａ）に示す第１画像Ｇ１の濃淡画像における領域Ｒ１１内の各画素の局所的な特徴量、たとえば輝度パターンを検出する一方、図５（ｂ）に示す第２画像Ｇ２の濃淡画像における領域Ｒ２１，Ｒ２２内のそれぞれの局所的な輝度パターンを検出する。領域Ｒ１１と領域Ｒ２１との輝度パターンおよび領域Ｒ１１と領域Ｒ２２との輝度パターンを比較する。図５（ｂ）に示すように、領域Ｒ１１と領域Ｒ２２とでは、その輝度パターンは大きく変わるのが通常であり、しかも対応点の近傍に相当する領域は、第１画像Ｇ１における領域Ｒ１１と近似しているはずである。このことから、領域Ｒ１１と領域Ｒ２１との輝度パターンおよび領域Ｒ１１と領域Ｒ２２との輝度パターンを比較した結果、第２画像Ｇ２における領域Ｒ２１，Ｒ２２のうち、その輝度パターンが第１画像Ｇ１における領域Ｒ１１の輝度パターンと類似する方を選べばよい。図５に示す例では、領域Ｒ２２の方が領域Ｒ２１よりも領域Ｒ１に輝度パターンが類似している。したがって、領域Ｒ２２における対応点Ｍ２を第１エッジ画像ＥＧ１における任意の特定点Ｍに対応する点として選択することができる。
【００２２】
こうして、第１エッジ画像ＥＧ１における特定点Ｍに対応する第２エッジ画像ＥＧ２における交点Ｍ２を対応点として決定することによって、第１画像と第２画像との対応付けが済んだら、下記（２）式および（３）式を満たす三次元座標（Ｘ，Ｙ，Ｚ）^Ｔを算出する。
【００２３】
【数２】

この（２）式および（３）式を満たす座標を求めることにより、黒目輪郭の三次元座標が算出される。
【００２４】
こうして、黒目輪郭の三次元座標を算出したら、視線方向の推定を行う（Ｓ４）。人の視線は、黒目輪郭の中心をとおり、黒目輪郭上の点が存在している平面の法線方向になる。ステップＳ３では、黒目輪郭の三次元座標を算出したが、黒目輪郭（黒目のエッジ）は本発明の境界平面である平面上の点として存在している。したがって、黒目輪郭が存在する平面に直交し、かつ黒目部分の中心を通る線の方向を視線として推定することができる。
【００２５】
一般的に、平面の方程式は、下記（４）式で表され、平面上の任意の３点が定まれたこの平面を決定することができる。
【００２６】
ａ・ｘ＋ｂ・ｙ＋ｃ・ｚ＝ｄ・・・（４）
また、黒目輪郭は円形（またはだ円形）を形成しているので、その中心は、下記（５）式に示すように、黒目輪郭上の点として計算した２点間の最大の点となる組の中心として算出できる。
【００２７】
【数３】

したがって、（４）式および（５）式の結果に基づいて、視線方向を下記（６）式で表すことができる。
【００２８】
【数４】

こうして、視線方向を推定することによって、視線方向の検出を行うことができる。
【００２９】
このように、本実施形態に係る視線方向検出方法においては、まず、黒目のエッジ部分が存在する平面を求め、この境界の法線であり、かつ黒目の中心を通る直線方向を視線方向として検出している。このため、検出対象となる目に非接触で人の視線方向を確実に検出することができるので、より正確な視線方向の検出を実現することができる。
【００３０】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。たとえば、上記実施形態において、白色で二値化した白色エッジ画像と黒色で二値化した黒色エッジ画像との座標同士をＡＮＤ演算する前に、白色エッジ画像および黒色エッジ画像におけるそれぞれ白色部分を膨張させる処理を施しているが、その一方のみを白色膨張させて、ＡＮＤ演算する態様とすることもできる。
【００３１】
また、白色エッジ画像と黒色エッジ画像とを用いてエッジ画像を生成しているが、その一方のみ、たとえば白色エッジ画像のみを用いた態様とすることもできる。この態様では、膨張前の白色エッジ画像と膨張した白色膨張エッジ画像をＡＮＤ演算処理することにより、エッジ画像を生成することができる。
【００３２】
あるいは、上記実施形態では、黒目の中心を求める際に、黒目輪郭上の点として計算した２点間の最大の点となる組の中心を黒目の中心としているが、たとえば黒目の形状をだ円に置き換えて、演算処理を施してだ円の中心を求めて、そのだ円の中心を黒目の中心とすることもできる。
【００３３】
他方、上記実施形態では、視線方向検出装置を自動車に設ける例について説明したが、入力装置として使用することにより、パソコンや家電製品などをはじめあらゆる装置の指令デバイスとしても用いることができる。
【００３４】
【発明の効果】
以上のとおり、本発明によれば、視線方向を正確に検出することができる視線方向検出装置および視線方向検出方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る視線方向検出装置のブロック構成図である。
【図２】本実施形態に係る視線方向検出方法を示すフローチャートである。
【図３】（ａ）は撮像手段で撮像した目の模式図、（ｂ）は（ａ）の画像を白色で二値化してエッジ処理した白色エッジ画像の模式図、（ｃ）は（ｂ）の白色部分を膨張させた膨張処理を施した白色膨張エッジ画像の模式図、（ｄ）は（ａ）の画像を黒色で二値化してエッジ処理した黒色エッジ画像の模式図、（ｅ）は（ｄ）の白色部分を膨張させた膨張処理を施した黒色膨張エッジ画像の模式図、（ｆ）は（ｃ）の画像と（ｅ）の画像をＡＮＤ演算して得られたエッジ画像の模式図である。
【図４】（ａ）は第１画像中における任意の特定点を説明するための模式図、（ｂ）は第２画像における第１画像中の特定点に対応する対応点を説明するための模式図である。
【図５】（ａ）は第１エッジ画像で特定点の近傍において指定した領域に対応する領域が設定された第１画像の濃淡画像を示す模式図、（ｂ）は第２エッジ画像で対応点の候補となる交点のそれぞれの近傍において指定した領域に対応する領域が設定された第２画像の濃淡画像を示す模式図である。
【符号の説明】
１…ステレオカメラ、２…画像処理装置、１１…第１撮像装置、１２…第２撮像装置、１３…同期装置、２１…第１エッジ画像作成部、２２…第２エッジ画像作成部、２３…三次元座標算出部、２４…視線方向推定部、Ｄ…視線方向検出装置、Ｇ…画像、ＷＧ…白色エッジ画像、ＷＥＧ…白色膨張エッジ画像、ＢＧ…黒色エッジ画像、ＢＥＧ…黒色膨張エッジ画像、Ｇ１…第１画像、Ｇ２…第２画像、Ｅ１，Ｅ２…黒目輪郭エッジ、ＥＧ…エッジ画像、ＥＧ１…第１エッジ画像、ＥＧ２…第２エッジ画像、Ｍ…特定点、Ｍ１…交点、Ｍ２…対応点（交点）、Ｐ…エピポーラ直線。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a gaze direction detection device and a gaze direction detection method for detecting a gaze direction of an eye to be detected.
[0002]
[Prior art]
2. Description of the Related Art As a technique for detecting the direction of a line of sight of a driver or the like of a car in a non-contact manner, there is a technique disclosed in, for example, Japanese Patent Application Laid-Open No. 7-167618. This technology measures the distance between an infrared camera and a driver, and photographs the driver's eyeball with a line-of-sight measurement camera whose distance relationship with the infrared camera is known. The gaze direction is calculated from the corneal reflection image of the eyeball photographed by the gaze measurement camera, the center of the pupil, and the like.
[0003]
[Patent Document 1]
JP-A-7-167618 (page 4, right column, FIG. 1)
[0004]
[Problems to be solved by the invention]
However, in the technique disclosed in Patent Document 1, the gaze direction is simply obtained from a corneal reflection image of an eyeball captured by a gaze measurement camera, the center of a pupil, and the like. For this reason, it has been difficult to say that an accurate gaze direction is required.
[0005]
Therefore, an object of the present invention is to provide a gaze direction detection device and a gaze direction detection method that can accurately detect a gaze direction.
[0006]
[Means for Solving the Problems]
A gaze direction detecting apparatus according to the present invention that solves the above-mentioned problems is a gaze direction detection apparatus that detects a gaze direction of an eye to be detected, the stereo camera including a first imaging unit and a second imaging unit that respectively image the eyes. And an edge detecting means for detecting a black eye edge from the first image and the second image picked up by the first and second image pickup means, respectively, and an arbitrary specific point in a black eye edge portion in the first image. A corresponding point in the first image, a corresponding point in the second image, a corresponding point in the second image, and a corresponding point in the second image. A plane calculating means for obtaining a boundary plane on which the iris edge of the eye is located, a center position of the eye, and a normal line of the obtained eye center position and the boundary plane detected by the plane detecting means. Based on the torque, in which and a gaze direction detection means for determining the viewing direction of the eye.
[0007]
A gaze direction detecting method according to the present invention that solves the above-mentioned problems is a gaze direction detection method for detecting a gaze direction of an eye to be detected, wherein the first imaging unit and the second imaging unit respectively detect an eye to be detected. , The step of detecting the edge of the iris from each of the first image captured by the first imaging unit and the second image captured by the second imaging unit, and the edge of the iris in the first image Determining an arbitrary specific point in the portion, obtaining a corresponding point in the second image corresponding to the specific point in the first image, and determining a specific point in the first image and a corresponding point in the second image. A step of obtaining a boundary plane at which the iris edge of the eye to be detected is located, a step of obtaining a center position of the eye to be detected, a step of obtaining a normal vector of the boundary plane, and a center position of the eye And Based on the normal vector of the boundary plane, and obtains the direction of the line of sight of the eye.
[0008]
In the gaze direction detection device and the gaze direction detection method according to the present invention, in obtaining the gaze direction, the edge of the iris which is the boundary between the iris and the iris is detected, and the boundary plane where the edge of the iris is located is calculated. The direction of the normal to the boundary plane passing through the center of is determined as the viewing direction. As described above, since the line-of-sight direction is obtained by using the normal line of the boundary plane where the center part of the black-eye and the edge of the black-eye are located, it is possible to detect the accurate line-of-sight direction without contacting the detection target.
[0009]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In each embodiment, the same reference numerals are given to portions having the same function, and overlapping description may be omitted.
[0010]
FIG. 1 is a block diagram of a gaze direction detecting device according to an embodiment of the present invention. As shown in FIG. 1, a gaze direction detecting device D according to the present embodiment is provided, for example, in a driver's seat of an automobile, and is used to detect a gaze of a driver. This gaze direction detection device D has a stereo camera 1 and an image processing device 2. The stereo camera 1 includes a first imaging device 11 as a first imaging device and a second imaging device 12 as a second imaging device. A synchronization device 13 is connected to the first imaging device 11 and the second imaging device 12, and captures the same object in a synchronized state. The first imaging device 11 and the second imaging device 12 capture face images including eyes to be detected in a state where the internal parameters and the relative positional relationship are known and synchronized by the synchronization device 13. can do.
[0011]
Further, the image processing device 2 includes a first edge image creation unit 21, a second edge image creation unit 22, a three-dimensional coordinate calculation unit 23, and a gaze direction estimation unit 24. The first edge image creation unit 21 is connected to the first imaging device 11 of the stereo camera 1. The first imaging device 11 outputs the captured image (first image) to the first edge image creation unit 21. The first edge image creation unit 21 creates a first edge image by, for example, differentiating the iris edge portion, which is the boundary portion between the iris and the white eye, in the output first image. Further, the second edge image creation unit 22 is connected to the second imaging device 12 of the stereo camera 1. The second imaging device 12 outputs the captured image (second image) to the second edge image creation unit 22. The second edge image creation unit 22 creates a second edge image by, for example, differentiating the edge portion of the iris in the output second image. The first edge image creation unit 21 and the second edge image creation unit 22 constitute an edge detection unit of the present invention.
[0012]
The first edge image creation unit 21 and the second edge image creation unit 22 are both connected to a three-dimensional coordinate calculation unit 23. The first edge image creation unit 21 outputs the created first edge image to the three-dimensional coordinate calculation unit 23, and the second edge image creation unit 22 outputs the created second edge image to the three-dimensional coordinate calculation unit 23. I do. In the three-dimensional coordinate calculation unit 23, based on the first edge image output from the first edge image generation unit 21 and the second edge image output from the second edge image generation unit 22, the three-dimensional Calculate the coordinates. The three-dimensional coordinate calculator 23 functions as a feature point determiner, a corresponding point determiner, and a plane calculator of the present invention.
[0013]
The three-dimensional coordinate calculation unit 23 is connected to a gaze direction estimation unit 24, which is a gaze direction detection unit according to the present invention. The three-dimensional coordinate calculation unit 23 outputs the calculated three-dimensional coordinates of the edge portion of the iris to the gaze direction estimation unit 24. The gaze direction estimating unit 24 calculates the gaze direction based on the output three-dimensional coordinates of the edge portion. The gaze direction estimating unit 24 calculates the center position of the iris, and the gaze direction estimating unit 24 also functions as a iris center position calculating unit. Further, the gaze direction estimating unit 24 is connected to an output unit such as a monitor (not shown) provided outside the image processing apparatus 2. The line-of-sight direction estimated by the line-of-sight direction estimation unit is output to this output means.
[0014]
A gaze direction detection method by the gaze direction detection device according to the present embodiment having the above configuration will be described. FIG. 2 is a flowchart illustrating the gaze direction detection method according to the present embodiment. As shown in FIG. 2, when the detection of the gaze direction is started, the stereo camera 1 captures a face image (S1). The imaging of the face image is performed by capturing the same face image with each of the first imaging device 11 and the second imaging device 12 in the stereo camera 1 in which the internal parameters and the relative positional relationship are known in advance, and are calibrated in advance. Done. The first imaging device 11 and the second imaging device 12 are each connected to a synchronization device 13 so that the imaging timings of the two

imaging devices

11 and 12 are synchronized.
[0015]
When the face image is captured, the image captured by the first image capturing device 11 is output from the first image capturing device 11 to the first edge image generating unit 21, and the image captured by the second image capturing device 12 is output to the second edge image generating unit 22. Is output to The first edge image creating unit 21 and the second edge image creating unit 22 differentiate the output images to generate a first edge image and a second edge image (S2). The edge

image creating units

21 and 22 detect the eyes of the face from the edge images. When detecting the eye portion, the following processing is performed on the first image and the second image captured by the

imaging devices

11 and 12, respectively.
[0016]
First, the image is binarized with white and subjected to edge processing so as to extract only a region of a color close to white in the image G shown in FIG. 3A, and a white eye is extracted as shown in FIG. An extracted white edge image WG is generated. The white edge image WG is subjected to expansion processing for slightly expanding a white portion, and a white expanded edge image WEG shown in FIG. 3C is generated. While performing such binarization processing with white, as shown in FIG. 3D, the image is binarized with black so as to extract only a region of a color close to black, and edge processing is performed. As shown in FIG. 3D, a black edge image BG from which the iris is extracted is generated. The black edge image BG is subjected to expansion processing for expanding a white portion, and a black expanded edge image BEG shown in FIG. 3E is generated. Then, an AND operation is performed between pixels having the same coordinates between the white expanded edge image WEG and the black expanded edge image BEG obtained by performing the expansion processing. As a result, as shown in FIG. 3F, an edge image EG in which the significant pixel becomes the contour edge is generated.
[0017]
After forming the first edge image and the second edge image for the first image and the second image in this way, the three-dimensional coordinates of the point on the iris contour are calculated by the corresponding point search (S3). In calculating the three-dimensional coordinates of a point on the iris contour, first, the first edge image is associated with the second edge image. For the association, the coordinates of an arbitrary specific point M on the iris contour edge E1 in the first edge image EG1 shown in FIG. 4A are designated, and as shown in FIG. An epipolar straight line P passing through the corresponding point can be drawn on the second edge image EG2. This epipolar straight line P can be expressed by the following equation (1).
[0018]
(Equation 1)

Of the numerical values in the above equation (1), matrices, coordinates, and the like other than the coordinates n ₂ (imaging coordinates 1 of the specific point M on the second image) ^T are known. Thus, (1) is an expression for constraining the coordinates n _2, moreover will restrain the coordinates n ₂ in a straight line. On the other hand, since the point on the iris contour edge E2 exists as a point on the contour on both the first edge image EG1 and the second edge image EG2, the point on the iris contour edge E1, E2 on both edge images EG1, EG2, respectively. Points. Therefore, the intersection point on the second edge image EG2 where the intersection point between the coordinates of the edge image created in step S2 and the epipolar straight line calculated by the equation (1) may correspond to the point specified by the first image edge. M1 and M2.
[0019]
Here, since the edge of the iris contour is circular (or elliptical), the intersection between the coordinates of the iris contour edge E2 and the epipolar straight line on the second edge image EG2 is one or two. If the intersection is one point, a corresponding point is uniquely obtained, but if it is two points, one of them must be selected as the corresponding point. As shown in FIG. 4B, when two points M1 and M2 at the intersection of the epipolar straight line P and the iris contour edge E2 in the second edge image EG2 are candidates for the corresponding points, the specific point in the first edge image EG2 By comparing, for example, the feature of a candidate point in the second edge image with the feature of a neighboring pixel before edge processing, it is possible to determine which point is a corresponding point.
[0020]
FIG. 5A is a schematic diagram illustrating a grayscale image of the first image G1 in which a region R11 corresponding to a region specified near a specific point in the first edge image EG1 is set, and FIG. FIG. 11 is a schematic diagram showing a grayscale image of a second image G2 in which regions R21 and R22 corresponding to regions specified in the vicinity of intersections M1 and M2 that are candidates for corresponding points in image EG2 are set.
[0021]
While detecting a local feature amount, for example, a luminance pattern of each pixel in the region R11 in the grayscale image of the first image G1 shown in FIG. 5A, a grayscale image of the second image G2 shown in FIG. , The respective local luminance patterns in the regions R21 and R22 are detected. The luminance pattern between the region R11 and the region R21 and the luminance pattern between the region R11 and the region R22 are compared. As shown in FIG. 5B, the brightness pattern of the region R11 and the region R22 generally changes greatly, and the region corresponding to the vicinity of the corresponding point is similar to the region R11 in the first image G1. Should be doing. From this, as a result of comparing the luminance pattern between the region R11 and the region R21 and the luminance pattern between the region R11 and the region R22, of the regions R21 and R22 in the second image G2, the luminance pattern is the region in the first image G1. What is necessary is just to select the one similar to the luminance pattern of R11. In the example shown in FIG. 5, the luminance pattern of the region R22 is more similar to that of the region R1 than that of the region R21. Therefore, the corresponding point M2 in the region R22 can be selected as a point corresponding to an arbitrary specific point M in the first edge image EG1.
[0022]
By determining the intersection M2 in the second edge image EG2 corresponding to the specific point M in the first edge image EG1 as the corresponding point in this way, when the first image and the second image are associated, the following (2) The three-dimensional coordinates (X, Y, Z) ^T satisfying the expression and the expression (3) are calculated.
[0023]
(Equation 2)

By obtaining coordinates satisfying the expressions (2) and (3), the three-dimensional coordinates of the iris contour are calculated.
[0024]
After calculating the three-dimensional coordinates of the iris contour, the line-of-sight direction is estimated (S4). The line of sight of a person passes through the center of the iris contour and is in the normal direction of a plane on which points on the iris contour are present. In step S3, the three-dimensional coordinates of the iris contour are calculated, but the iris contour (edge of the iris) exists as a point on the plane that is the boundary plane of the present invention. Therefore, the direction of a line perpendicular to the plane on which the iris contour exists and passing through the center of the iris portion can be estimated as the line of sight.
[0025]
In general, a plane equation is represented by the following equation (4), and this plane in which three arbitrary points on the plane are determined can be determined.
[0026]
a · x + by · y + c · z = d (4)
Further, since the iris contour forms a circle (or ellipse), the center of the iris outline is the maximum point between two points calculated as points on the iris contour as shown in the following equation (5). Can be calculated as the center of
[0027]
[Equation 3]

Therefore, based on the results of Expressions (4) and (5), the line-of-sight direction can be expressed by Expression (6) below.
[0028]
(Equation 4)

In this manner, the gaze direction can be detected by estimating the gaze direction.
[0029]
As described above, in the gaze direction detecting method according to the present embodiment, first, a plane on which the iris edge portion exists is determined, and a straight line direction that is the normal of this boundary and passes through the center of the iris is detected as the gaze direction. are doing. For this reason, since the gaze direction of a person can be reliably detected without touching the eyes to be detected, more accurate gaze direction detection can be realized.
[0030]
As described above, the preferred embodiments of the present invention have been described, but the present invention is not limited to the above embodiments. For example, in the above embodiment, before performing the AND operation on the coordinates of the white edge image binarized with white and the black edge image binarized with black, the white portions of the white edge image and the black edge image are expanded. Although the process of performing the AND operation is performed, it is also possible to adopt a mode in which only one of them is expanded in white and the AND operation is performed.
[0031]
Further, the edge image is generated using the white edge image and the black edge image. However, an aspect using only one of them, for example, only the white edge image may be used. In this aspect, an edge image can be generated by performing an AND operation on the white edge image before expansion and the expanded white expansion edge image.
[0032]
Alternatively, in the above-described embodiment, when the center of the iris is obtained, the center of the set that is the maximum point between the two points calculated as the points on the iris contour is set as the center of the iris. And the center of the ellipse can be determined as the center of the iris by calculating the center of the ellipse.
[0033]
On the other hand, in the above-described embodiment, the example in which the gaze direction detecting device is provided in the automobile has been described.
[0034]
【The invention's effect】
As described above, according to the present invention, it is possible to provide a gaze direction detection device and a gaze direction detection method that can accurately detect a gaze direction.
[Brief description of the drawings]
FIG. 1 is a block diagram of a gaze direction detecting device according to an embodiment of the present invention.
FIG. 2 is a flowchart illustrating a gaze direction detecting method according to the embodiment.
3A is a schematic diagram of an eye imaged by an imaging unit, FIG. 3B is a schematic diagram of a white edge image obtained by binarizing the image of FIG. (D) is a schematic diagram of a white expanded edge image subjected to an expansion process in which a white portion is expanded, (d) is a schematic diagram of a black edge image obtained by binarizing the image of (a) with black and performing edge processing, and (e). (D) is a schematic view of a black expanded edge image subjected to expansion processing in which a white portion is expanded, and (f) is an edge image obtained by performing an AND operation on the image of (c) and the image of (e). It is a schematic diagram.
FIG. 4A is a schematic diagram for explaining an arbitrary specific point in a first image, and FIG. 4B is a schematic diagram for explaining a corresponding point corresponding to the specific point in the first image in a second image. It is a schematic diagram.
5A is a schematic diagram illustrating a grayscale image of a first image in which a region corresponding to a region specified near a specific point in a first edge image is set, and FIG. 5B is a schematic diagram illustrating a second edge image. It is a schematic diagram which shows the shade image of the 2nd image in which the area | region corresponding to the area | region designated in each vicinity of the intersection which becomes a candidate of a point was set.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Stereo camera, 2 ... Image processing apparatus, 11 ... 1st imaging apparatus, 12 ... 2nd imaging apparatus, 13 ... Synchronization apparatus, 21 ... 1st edge image creation part, 22 ... 2nd edge image creation part, 23 ... 3D coordinate calculation unit, 24: gaze direction estimation unit, D: gaze direction detection device, G: image, WG: white edge image, WEG: white expanded edge image, BG: black edge image, BEG: black expanded edge image, G1: first image, G2: second image, E1, E2: iris contour edge, EG: edge image, EG1: first edge image, EG2: second edge image, M: specific point, M1: intersection, M2 ... Corresponding point (intersection), P ... Epipolar straight line.

Claims

In a gaze direction detection device that detects a gaze direction of an eye to be detected,
A stereo camera including a first imaging unit and a second imaging unit that respectively image the eyes;
Edge detecting means for detecting an iris edge from the first image and the second image picked up by the first image pickup means and the second image pickup means, respectively;
Specific point determining means for determining an arbitrary specific point in the edge portion of the iris in the first image;
Corresponding point determining means for obtaining a corresponding point in the second image corresponding to a specific point in the first image;
Plane calculating means for determining a boundary plane on which the iris edge of the eye is located based on the specific point in the first image and the corresponding point in the second image;
A line-of-sight direction detection unit that determines the line-of-sight direction of the eye based on the center position of the iris and a normal vector of the boundary plane detected by the plane detection unit;
A gaze direction detecting device, comprising:

In a gaze direction detection method for detecting a gaze of an eye to be detected,
Imaging each of the eyes to be detected by the first imaging unit and the second imaging unit;
Detecting a black eye edge from the first image captured by the first image capturing unit and the second image captured by the second image capturing unit;
Determining an arbitrary specific point in an edge portion of the iris in the first image;
Obtaining a corresponding point in the second image corresponding to a specific point in the first image;
A step of obtaining a boundary plane at which an edge of a black eye in the eye to be detected is located, based on the specific point in the first image and the corresponding point in the second image;
Obtaining a center position of the eye to be detected;
Obtaining a normal vector of the boundary plane;
A gaze direction detecting method, wherein the gaze direction of the eye is obtained based on the center position of the eye and a normal vector of the boundary plane.