JP2016051315A - 視線検出装置 - Google Patents

Abstract

【課題】 カメラで取得した画像で視線方向を広い角度範囲で高精度に算出できるようにした視線検出装置を提供する。
【解決手段】 制御部の視線方向算出値において、瞳孔の中心と角膜反射光の反射点とから視線方向の第１の算出値Ｄ１が得られ、黒目または瞳孔の楕円形状を算出することで視線方向の第２の算出値Ｄ２が得られ、顔の向きと目における黒目または瞳孔の相対位置とで視線方向の第３の算出値Ｄ３が得られる。算出値Ｄ１，Ｄ２，Ｄ３のいずれかを選択することで、広い範囲で精度よく視線方向を算出できる。
【選択図】図７

Description

本発明は、車の運転者その他の対象者の視線方向を検出可能な視線検出装置に関する。

特許文献１に記載の注視点検出方法は、２台のカメラが対象者の目に向けられている。それぞれのカメラの周囲に２種類の光源が同心円状に配置されており、カメラに近い内側の円に沿って中心波長が８５０ｎｍの光を発する光源が配置され、外側の円に沿って中心波長が９５０ｎｍの光を発する光源が配置されている。８５０ｎｍの光を照射することで、カメラで明瞳孔画像を取得でき、９５０ｎｍの光を照射することで暗瞳孔画像が取得される。

この注視点検出方法では、明瞳孔画像と暗瞳孔画像に基づいて瞳孔画像が取得され、暗瞳孔画像から光源の角膜反射点が取得される。これらの画像に基づいて、カメラと瞳孔を結ぶ基準線に垂直な平面上における対象者の角膜反射点から瞳孔までのベクトルを計算し、このベクトルをもとに各カメラの基準線に対する対象者の視線の方向を所定の関数を用いて計算する。

特許文献２には、２つの検出手段を用いて、視線方向を検知する発明が記載されている。第１検出手段は、瞳孔画像の位置と光源からの光の角膜反射像の位置とから視線方向を検知する。第２検出手段は、瞳孔画像の位置と、角膜反射像を含まない顔画像での所定部位の位置とから視線方向を検知する。特許文献２の明細書には、第２検出手段として、目頭検出部で目頭を検出し、この目頭の位置と瞳孔画像の位置との関係から視線方向を検出することが記載されている。

そして、第１検出手段で検出された視線方向と第２検出手段で検出された視線方向の差が所定値未満のときは、第１検出手段で検出された視線方向を検出値とし、前記差が所定値以上のときには、第２検出手段で検出された視線方向を検出値とするというものである。

特許文献２に記載された発明は、第１検出手段において、例えば外光の影響で角膜反射像を適切に検出することができないことがあった場合には、第２検出手段で検出された視線方向を使用することにより、視線方向検出の信頼性を高めることを目的としている。

国際公開２０１２／０２０７６０号公報 特開２０１２−５５４２８号公報

特許文献１に記載された注視点検出方法は、主に暗瞳孔画像から光源の角膜反射点が検出される。この角膜反射点は、光源からの光の照射点が黒目（虹彩）の内部に位置する場合には検出することが容易であるが、光源の光軸に対して視線方向の傾き角度が大きくなると、光の照射点が黒目から外れて、角膜反射点を検出するのが困難となる。そのため、前記注視点検出方法で検知できるのは、視線方向が前記基準線に対して±３０度程度の角度範囲内に限られ、それ以上の角度で、視線を基準線からずらすと、注視点を検知できなくなる。

特許文献２には、２つの検出手段を用いて、視線方向を検知する発明が記載されている。しかし、２つの検出手段を使用する目的は、第１検出手段において外光などで角膜反射像が検出できなくなったときに、第２検出手段の検出値を使用することで視線方向の検出を補完し、信頼性を高めるというものであり、視線を正面から大きくそらしたときにも視線方向を検知できるようにする、というものではない。

本発明は上記従来の課題を解決するものであり、カメラで取得した画像から顔の複数の部位に基づく視線方向を算出し、複数の視線方向の算出値のいずれかを選択することで、広い角度で視線方向を検知できるようにした視線検出装置を提供することを目的とする。

第１の本発明は、対象者の顔に検知光を与える複数の光源と、対象者の顔の画像を取得するカメラと、前記カメラで取得された画像から視線方向を算出する制御部とが設けられた視線検出装置において、
前記制御部では、前記カメラで取得した画像から、顔の異なる部位の部分画像を抽出する抽出ステップと、それぞれの部分画像に基づいて視線方向を算出する算出ステップと、視線方向の角度範囲の大小に応じて、異なる部分画像から得られた複数種類の視線方向の算出値のいずれかを選択する選択ステップと、が行われることを特徴とするものである。

第１の本発明の視線検出装置では、視線方向の角度の大小に応じて、複数種類の視線方向の算出値のいずれかを選択することで、従来よりも広い角度範囲で視線方向を検出することが可能になる。

第２の本発明は、対象者の顔に検知光を与える複数の光源と、対象者の顔の画像を取得するカメラと、前記カメラで取得された画像から視線方向を算出する制御部とが設けられた視線検出装置において、
前記制御部では、前記カメラで取得した画像から、顔の異なる部位の部分画像を抽出する抽出ステップと、それぞれの部分画像に基づいて視線方向を算出する算出ステップと、異なる部分画像から得られた複数種類の視線方向の算出値のうちの、ばらつきの小さい算出値を真の視線方向の算出値として選択する選択ステップと、が行われることを特徴とするものである。

第２の本発明の視線検出装置では、複数種類の視線方向の算出値のうちのばらつきの小さい値を選択することにより、従来よりも広い角度範囲において、視線方向を精度よく求めることが可能になる。

第２の本発明においては、視線方向を複数の角度範囲に区分して、それぞれの角度範囲で、どの部分画像から得られた視線方向の算出値を選択するかを予め割り振っておき、前記角度範囲の境界部において、その境界部の両側の角度範囲で使用されている異なる前記算出値のうちのばらつきの小さい算出値を真の視線方向の算出値として選択することが可能である。

上記構成の視線検出装置では、算出された視線方向の角度範囲に応じて、どの算出値を使用するかを予め決めておき、角度範囲の境界部においてばらつきの小さい算出値を使用することで、それぞれの算出値による検出角度の限界領域での検出精度を高めることができる。

本発明での前記部分画像は、瞳孔画像と角膜反射光画像であり、瞳孔画像と角膜反射光画像とから視線方向が算出される。

または、前記部分画像は、瞳孔画像または黒目画像であり、前記瞳孔画像または前記黒目画像の形状から、視線方向が算出される。

あるいは、前記部分画像は、顔画像と黒目画像または顔画像と瞳孔画像であり、顔画像から顔の向きが算出され、前記黒目画像または瞳孔画像から目の中での黒目の位置または瞳孔の位置が算出され、顔の向きと黒目の位置または顔の向きと瞳孔の位置とから視線方向が算出される。

第１の本発明の視線検出装置では、前記部分画像は、瞳孔画像と角膜反射光画像であり、瞳孔画像と角膜反射光画像とから視線方向の第１の算出値が求められ、前記部分画像は、瞳孔画像または黒目画像であり、前記瞳孔画像または前記黒目画像の形状から、視線方向の第２の算出値が求められ、
視線方向が基準値から第１の角度範囲までは、前記第１の算出値を真の視線方向の算出値として選択し、視線方向が第１の角度範囲を超えたときに、前記第２の算出値を真の視線方向の算出値として選択することが可能である。

さらに、第１の本発明は、前記部分画像は、顔画像と黒目画像または顔画像と瞳孔画像であり、顔画像から顔の向きが算出され、前記黒目画像または瞳孔画像から目の中での黒目の位置または瞳孔の位置が算出され、顔の向きと黒目の位置または顔の向きと瞳孔の位置とから視線方向の第３の算出値が求められ、視線方向が前記第１の角度範囲よりも大きい角度である第２の角度範囲を超えたら、前記第３の算出値を真の視線方向の算出値として選択することが好ましい。

第２の本発明の視線検出装置では、前記部分画像は、瞳孔画像と角膜反射光画像であり、瞳孔画像と角膜反射光画像とから視線方向の第１の算出値が求められ、前記部分画像は、瞳孔画像または黒目画像であり、前記瞳孔画像または前記黒目画像の形状から、視線方向の第２の算出値が求められ、前記第１の算出値と前記第２の算出値のうちの、ばらつきの小さい算出値を真の視線方向の算出値として選択することが可能である。

さらに、第２の本発明では、前記部分画像は、顔画像と黒目画像または顔画像と瞳孔画像であり、顔画像から顔の向きが算出され、前記黒目画像または瞳孔画像から目の中での黒目の位置または瞳孔の位置が算出され、顔の向きと黒目の位置または顔の向きと瞳孔の位置とから視線方向の第３の算出値が求められ、前記第１の算出値が得られなくなったら、前記第２の算出値と前記第３の算出値のうちの、ばらつきの小さい算出値を真の視線方向の算出値として選択することが好ましい。

本発明の視線検出装置は、カメラで取得された顔の画像から、複数の部位の部分画像を検出し、この部分画像を使用して複数種類の視線方向の算出値を求め、いずれかの算出値を選択することにより、従来よりも広い角度範囲で視線方向を検出できるようになる。

（Ａ）は本発明の実施の形態に係る視線検出装置の平面図、（Ｂ）はその正面図、 （Ａ）（Ｂ）は、視線検出装置と対象者の目との位置関係を模式的に示す説明図、 （Ａ）（Ｂ）は、視線検出の第１の算出値を求めるための説明図、 （Ａ）（Ｂ）（Ｃ）（Ｄ）は、黒目の形状または瞳孔の形状から、視線検出の第２の算出値を求めるための説明図、 （Ａ）（Ｂ）は、顔の向きと黒目の位置とから、視線検出の第３の算出値を求めるための説明図、 実施の形態の視線検出装置の構成を示す回路ブロック図、 画像の取得から視線方向の検出までの制御動作を示すフローチャート、

以下、本発明の実施形態に係る視線検出装置について図面を参照しつつ詳しく説明する。

＜視線検出装置の構造＞
図１に示すように、本発明の実施の形態の視線検出装置１は、ケース２を有している。ケース２は左右方向に細長い立方体形状であり、前方に開口部３が形成されている。開口部３の形状は長方形であり、この開口部が１枚のカバー板４で覆われている。カバー板４は、赤外光を透過することができるが可視光の波長帯域については光線透過率が低下するように着色されている。あるいは、カバー板４が透光性であり、前記光線透過率を低下させる着色シートが積層されて構成されている。したがって、図１（Ｂ）において、実際は、ケース２の内部構造はカバー板４を透過して目視することはできない。
ケース２の内部に第１受像装置１０と第２受像装置２０が収納されている。

図１に示すように、第１受像装置１０に設けられた第１カメラ１３の光軸Ｏ１と、第２受像装置２０に設けられた第２カメラ２３の光軸Ｏ２は、所定距離Ｌ１だけ離間するように配置されている。カメラ１３、２３は、ＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）などの撮像素子を有しており、運転者の目を含む顔の画像を取得する。撮像素子では、二次元的に配列された複数の画素で光が検出される。

図１に示すように、第１受像装置１０は、第１カメラ１３と、第１光源１１ならびに第２光源１２を有している。第１光源１１は、第１カメラ１３を左右方向（Ｘ方向）で挟むように、それぞれ複数（２個）設けられている。第２光源１２も、第１カメラ１３を左右方向で挟むように、それぞれ複数（２個）設けられている。第１カメラ１３の光軸Ｏ１と、左右両側の第１光源１１の光軸までの左右方向（Ｘ方向）の距離はＬ１１であり、第１カメラ１３の光軸Ｏ１と、左右両側の第２光源１２の光軸までの左右方向（Ｘ方向）の距離はＬ１２である。

第２受像装置２０は、第２カメラ２３と、第１光源２１ならびに第２光源２２を有している。第１光源２１は、第２カメラ２３を左右で挟むように、複数（２個）設けられ、第２カメラ２３の光軸Ｏ２から左右両側の第１光源２１の光軸までの距離がＬ１１である。第２光源２２は、第２カメラ２３を左右で挟むように複数（２個）設けられ、第２カメラ２３の光軸Ｏ２から左右両側の第２光源２２の光軸までの距離がＬ１２である。

第１受像装置１０では、第１光源１１と第１カメラ１３の光軸Ｏ１までの距離Ｌ１１が、第２光源１２と第１カメラ１３の光軸Ｏ１までの距離Ｌ１２よりも短い。同様に、第２受像装置２０では、第１光源２１と第２カメラ２３の光軸Ｏ２までの距離Ｌ１１が、第２光源２２と第２カメラ２３の光軸Ｏ２までの距離Ｌ１２よりも短い。

ここで、第１カメラ１３と第１光源１１との光軸間距離Ｌ１１、及び、第１カメラ１３と第２光源１２との光軸間距離Ｌ１２は、視線検出装置１と対象者としての運転者との距離を考慮して、第１カメラ１３と第２カメラ２３の光軸間距離Ｌ１に対して十分に短いため、第１光源１１と第２光源１２は、第１カメラ１３に対して互いの光軸が実質的に同軸であるとみなすことができる。同様に、第２カメラ２３と第１光源２１の光軸間距離Ｌ１１、及び、第２カメラ２３と第２光源２２の光軸間距離Ｌ１２は、第１カメラ１３と第２カメラ２３の光軸間距離Ｌ１に対して十分に短いため、第１光源２１と第２光源２２は、第２カメラ２３に対して互いの光軸が実質的に同軸であるとみなすことができる。

これに対して、第１カメラ１３と第２カメラ２３の光軸間距離Ｌ１が十分に長いため、第１受像装置１０における第１光源１１と第２光源１２ならびに第１カメラ１３の各光軸と、第２受像装置２０における第１光源２１と第２光源２２ならびに第２カメラ２３の各光軸とは、実質的に同軸ではない。

第１光源１１，２１は、ＬＥＤ光源であり、検知光として波長が８５０ｎｍ（第１波長）の赤外光を出射し、この検知光を対象者の目に与えることができるように配置されている。第２光源１２，２２もＬＥＤ光源であり、検知光として波長が９４０ｎｍ（第２波長）の赤外光を出射し、この検知光を対象者の目に与えることができるように配置されている。

８５０ｎｍは、人の目の眼球内での吸収率が低く、その結果網膜で反射されやすい波長であり、９４０ｎｍは、人の目の眼球内での吸収率が高く、網膜で反射されにくい波長である。

図２（Ａ）（Ｂ）に示すように、第１受像装置１０の第１カメラ１３の光軸Ｏ１および第１光源１１と第２光源１２の光軸と、第２受像装置２０の第２カメラ２３の光軸Ｏ２および第１光源２１と第２光源２２の光軸とが、人の顔ならびに目に向けられている。

図６に示す演算制御部ＣＣは、コンピュータのＣＰＵやメモリで構成されており、各ブロックの機能は、予めインストールされたソフトウエアを実行することで演算が行われる。

演算制御部ＣＣには、画像取得部４４、４５が設けられている。第１カメラ１３と第２カメラ２３の画像はフレーム毎に画像取得部４４，４５に与えられ、ステレオ方式で人の顔の画像が取得される。画像取得部４４，４５で取得された顔の画像は、フレームごとに瞳孔画像抽出部５０と、黒目画像抽出部４６ならびに顔画像抽出部４７で抽出される。

瞳孔画像抽出部５０では、明瞳孔画像検出部５１で明瞳孔画像が検出され、暗瞳孔画像検出部５２で暗瞳孔画像が検出され、明瞳孔画像と暗瞳孔画像とから瞳孔画像が取得される。瞳孔画像は瞳孔中心算出部５３に与えられて瞳孔中心が算出される。暗瞳孔画像は角膜反射光中心算出部５３に与えられて、角膜反射中心が算出される。さらに、瞳孔画像は瞳孔形状算出部５５に与えられ、瞳孔の形状（楕円の長軸・短軸比など）が算出される。

黒目画像抽出部４６では、黒目画像が抽出される。この黒目画像が黒目形状算出部４８に与えられて黒目画像の形状（楕円の長軸・短軸比など）が算出される。顔画像抽出部４７では、顔の各部位の位置が検出される。そして顔向き算出部４９において、顔の向きが計算される。瞳孔中心算出部５３、角膜反射光中心算出部５４、瞳孔形状算出部５５、黒目形状算出部４８、顔向き算出部４９で算出されたそれぞれの算出値は視線方向算出部５６に与えられる。

視線方向算出部５６では、各算出値から視線方向が算出されるともに、複数種類の視線方向の算出値のうちのどれを使用するかの選択判断が行われる。

＜第１の算出値（瞳孔画像と角膜反射光）＞
図２は、対象者の目６０の視線の向きとカメラ１３，２３の光軸Ｏ１，Ｏ２との関係を模式的に示す説明図である。第１受像装置１０の第１カメラ１３の光軸Ｏ１と各光源の光軸がカバー板４に対して斜めに向けられ、第２受像装置２０においても、第２カメラ２３の光軸Ｏ２と各光源の光軸がカバー板４に対して斜めに向けられている。そのため、第１カメラ１３の光軸Ｏ１と第２カメラ２３の光軸Ｏ２の双方が、視線検出装置１から所定距離離れている対象者の目６０に向けられている。

図３は、瞳孔中心と角膜反射光の中心とから視線の向きを算出するための説明図である。図２（Ａ）と図３（Ａ）では、対象者の視線方向ＶＬが第１カメラ１３の光軸Ｏ１と第２カメラ２３の光軸Ｏ２との中間に向けられており、図２（Ｂ）と図３（Ｂ）は視線方向ＶＬが第２カメラ２３の光軸Ｏ１方向へ向けられている。

目６０は前方に角膜６１を有し、その後方に瞳孔６２と水晶体６３が位置している。そして最後部に網膜６４が存在している。

カメラ１３，２３で撮像された顔の画像が画像取得部４４，４５で取得され、瞳孔画像検出部５０では、目の部位の画像が部分画像として取得される。このとき、点灯させる光源を選択することで、瞳孔６２の明るさが相違する部分画像を得ることができる。部分画像内の瞳孔６２の明るさの違いを相対的に表した概念が明瞳孔画像と暗瞳孔画像である。２つの画像を比較したときに瞳孔６２が明るい方の画像が明瞳孔画像であり、瞳孔６２が暗い方の画像が暗瞳孔画像である。

暗瞳孔画像と明瞳孔画像は、第１光源１１，２１の発光と、第２光源１２，２２の発光とを切換えることにより行われる。

第１光源１１，２１の波長８５０ｎｍは、眼球での吸収率が低く網膜で反射されやすい。そのため、第１受像装置１０の第１光源１１が点灯したときに、第１光源１１と略同軸の第１カメラ１３で取得される画像では、網膜６４で反射された赤外光が瞳孔６２を通じて検出され、瞳孔６２が明るく見える。この画像が明瞳孔画像として明瞳孔画像検出部５１で抽出される。これは、第２受像装置２０において、第１光源２１が点灯したときに、これと略同軸の第２カメラ２３で取得される画像についても同様である。

第２光源１２，２２の波長９４０ｎｍは、眼球での吸収率が高く網膜で反射されにくい。そのため、第１受像装置１０の第２光源１２が点灯したときに、第２光源１２と略同軸の第１カメラ１３で取得される画像では、網膜６４から赤外光がほとんど反射されず、瞳孔６２が暗く見える。この画像が暗瞳孔画像として、暗瞳孔画像検出部５２で抽出される。これは、第２受像装置２０において、第２光源２２が点灯したときに、これと略同軸のカメラ２３で取得される画像についても同様である。

第１受像装置１０と第２受像装置２０とで、撮像動作を交互に繰り返すことで、２つのカメラ１３，２３で明瞳孔画像と暗瞳孔画像を別々に取得でき、瞳孔の位置を三次元的に測定することが可能になる。

または、次のように点灯する光源を切換えることで、明瞳孔画像と暗瞳孔画像とを取得することも可能である。

図２（Ａ）に示すように、受像装置１０の光軸Ｏ１と受像装置の光軸Ｏ２は、異なる角度で対象者の目６０に与えられる。

第１受像装置１０に搭載されている第１光源１１を点灯したときに、第１光源１１と実質的に同軸の第１カメラ１３で取得した画像では、網膜６４で反射された赤外光がカメラ１３に入射しやすいため、瞳孔６２が明るく見える明瞳孔画像となる。この画像は明瞳孔画像として、明瞳孔画像検出部５１で抽出される。これに対し、受像装置２０に設けられた第２カメラ２３の光軸Ｏ２は、第１受像装置１０の第１光源１１の光軸と非同軸となるため、第１光源１１を点灯したときに、網膜６４で光が反射されたとしてもその光は第２カメラ２３で検知されにくい。そのため、第２カメラ２３で取得した画像は、瞳孔６２が比較的暗い暗瞳孔画像となる。この画像は暗瞳孔画像として、暗瞳孔画像検出部５２で抽出される。

逆に、第２受像装置２０の第１光源２１を点灯したときは、網膜６４で反射された光が瞳孔６２を通過し、光軸Ｏ２に沿って第２カメラ２３で検知されやすく、第２カメラ２３で取得された画像が明瞳孔画像となる。このとき、網膜６４で反射された光は、斜め前方に位置する第１カメラ１３で検知されにくく、第１カメラ１３で取得された画像が暗瞳孔画像となる。

つまり、同じ波長の検知光が発せられたときに、その光源に近接する一方のカメラから取得された画像が明瞳孔画像となり、その光源から離れた位置のカメラから取得された画像が暗瞳孔画像となる。

これは、第１受像装置１０の第２光源１２および第２受像装置の第２光源２２と、カメラ１３，２３との組み合わせにおいても同じである。

図６に示す瞳孔画像抽出部５０では、明瞳孔画像検出部５１で検出された明瞳孔画像から暗瞳孔画像検出部５２で検出された暗瞳孔画像がマイナスされる。この計算により明瞳孔画像に明るく現れている瞳孔６２の画像が残り、それ以外の画像は相殺されてほぼ見えなくなる。

瞳孔６２の形状を示す瞳孔画像信号は、瞳孔中心算出部５３に与えられる。瞳孔中心算出部５３では、瞳孔画像信号が画像処理されて二値化され、瞳孔６２の形状と面積に対応する部分のエリア画像が算出される。さらに、このエリア画像を含む楕円が抽出され、楕円の長軸と短軸との交点が瞳孔６２の中心位置として算出される。

次に、いずれかの光源が点灯しているときには、その光源からの光が、角膜６１の表面で反射されて、その光が第１カメラ１３と第２カメラ２３の双方で取得され、明瞳孔画像検出部５１と暗瞳孔画像検出部５２で検出される。特に、暗瞳孔画像検出部５２では、瞳孔６２の画像が比較的暗いため、角膜６１の反射点６５から反射された反射光が明るくスポット画像として検出しやすくなる。

暗瞳孔画像検出部５２で検出された暗瞳孔画像信号は、角膜反射光中心算出部５４に与えられる。暗瞳孔画像信号には、角膜６１の反射点６５から反射された反射光による輝度信号が含まれている。角膜６１の反射点６５からの反射光はプルキニエ像を結像するものであり、図３に示すように、カメラ１３、２３の撮像素子には、きわめて小さい面積のスポット画像として取得される。角膜反射光中心算出部５４では、スポット画像が画像処理されて、角膜６１の反射点６５からの反射光の中心が求められる。

瞳孔中心算出部５３で算出された瞳孔中心算出値と角膜反射光中心算出部５４で算出された角膜反射光中心算出値は、視線方向算出部５６に与えられる。視線方向算出部５６では、瞳孔中心算出値と角膜反射光中心算出値とから視線の向きが検出される。

図２（Ａ）では、人の目６０の視線方向ＶＬが、第１カメラ１３の光軸Ｏ１と第２カメラ２３の光軸Ｏ２との中間方向に向けられている。このとき、図２（Ａ）に示すように、角膜６１からの反射点６５の中心が瞳孔６２の中心と一致している。これに対して、図２（Ｂ）では、人の目６０の視線方向ＶＬが、かなり左側へ向けられている。このとき、図３（Ｂ）に示すように、瞳孔６２の中心と角膜６１からの反射点６５の中心とが位置ずれする。

視線方向算出部５６では、瞳孔６２の中心と、角膜６１からの反射点６５の中心との直線距離αが算出される（図３（Ｂ））。また瞳孔６２の中心を原点とするＸ−Ｙ座標が設定され、瞳孔６２の中心と反射点６５の中心とを結ぶ線とＸ軸との傾き角度βが算出される。２つのカメラ１３，２３で取得された画像に基づいて前記直線距離αと前記傾き角度βが算出されることで、視線方向ＶＬが算出される。このように、瞳孔６２の中心と角膜６１からの反射点６５の中心とから算出される視線方向の算出値が第１の算出値である。

＜第２の算出値（瞳孔または黒目の形状）＞
図６に示す演算制御部ＣＣでは、黒目画像抽出部４６で、画像取得部４４，４５で取得された画像から部分画像として黒目（虹彩）の画像が抽出されて、黒目形状算出部４８に与えられる。あるいは、明瞳孔画像検出部５１で検出された明瞳孔画像、または暗瞳孔画像検出部５２で検出された暗瞳孔画像から黒目の画像が抽出されて黒目形状算出部４８に与えられてもよい。黒目形状算出部４８では、黒目画像に対応するエリア画像が生成され、エリア画像の楕円の長軸寸法と短軸寸法とが算出される。この長軸寸法と短軸寸法との比が視線方向算出部５６に与えられて、黒目がどのような楕円形状になっているかが算出される。さらに、長軸または短軸の傾きにより、空間内での黒目の上下方向への傾き角度も算出することができる。

図４（Ａ）に示す目の画像は、図３（Ａ）と同じであり、視線方向ＶＬが、第１カメラ１３の光軸Ｏ１と第２カメラ２３の光軸Ｏ２との中間に向けられている。黒目６６の画像の縦軸（Ｙ軸）の寸法を長軸寸法Ｙ１とし、横軸（Ｘ軸）の短軸寸法Ｘ１とすると、長軸寸法Ｙ１と短軸寸法Ｘ１との比がもっとも小さいとき（１に近いとき）、視線方向ＶＬがほぼ正面に向けられていると判断される。

図４（Ｂ）では、視線方向ＶＬが、図２（Ｂ）の向きよりもさらに左方向（光軸Ｏ１を超える方向）へ向けられている。このときの、視線方向ＶＬの角度は、黒目画像の長軸寸法Ｙ１と短軸寸法Ｘ１との比から求めることができる。図４（Ｂ）では、第１の算出値に使用された角膜６１からの反射点６５が、黒目６６を外れているため、反射点６５を暗瞳孔画像から抽出するのは困難な状態であり、瞳孔６２の中心と角膜６１からの反射点６５の中心とから算出される視線方向の第１の算出値が得られず、または第１の算出値が得られたとしてもその値のばらつきが大きくなっている。

これに対し、黒目６６の長軸寸法Ｙ１と短軸寸法Ｘ１は比較的安定して抽出される。黒目形状算出部４８で、長軸寸法Ｙ１と短軸寸法Ｘ１との比が求められ、長軸寸法Ｙ１と短軸寸法Ｘ１が視線方向算出部５６に与えられることにより、視線方向算出部５６において、視線方向の角度を比較的安定して算出することができる。

図４（Ｃ）は、視線方向ＶＬが図４（Ｂ）と同じ方向へ向けられ且つ上方へ向けられており、図４（Ｄ）では、視線方向ＶＬが図４（Ｂ）と同じ方向へ向けられ且つ下方へ向けられている。黒目形状算出部４８では、長軸Ｙが垂直軸と成す角度α１，α２が算出され、その角度算出値が視線方向算出部５６に与えられる。視線方向算出値５６では、角度α１，α２を知ることで視線方向の上下方向への向きも算出することができる。

また、図６に示す瞳孔画像抽出部５０で抽出された瞳孔画像は瞳孔形状算出部５５に与えられる。瞳孔形状算出部５５では、黒目形状算出部４８と同様の演算が行われ、瞳孔６２の長軸寸法と短軸寸法の比が求められ、さらに長軸寸法の垂直軸に対する傾き角度が算出される。長軸寸法と短軸寸法の比と傾き角度は視線方向算出部５６に与えられて、視線方向が算出される。

視線方向算出部５６では、黒目の形状から算出された視線方向の算出値と瞳孔の形状から算出された視線方向の算出値のいずれか一方のみを第２の算出値として使用してもよいし、黒目の形状から得られた視線方向の算出値と瞳孔形状から得られた視線方向の算出値のうちのばらつきの小さい方を視線方向の第２の算出値としてもよい。
＜第３の算出値（顔の向きと黒目の位置）＞
図５（Ａ）は、正面を向いたときの、顔の向きと、黒目６６の位置または瞳孔６２の位置を示す画像であり、図５（Ｂ）は、視線を正面方向から大きくそらしたときの、顔の向きと、黒目６６の位置または瞳孔６２の位置を示す画像である。

図６に示すように、顔画像抽出部４７では、画像取得部４４，４５で取得された顔画像から、顔の各部位の部分画像が抽出される。例えば図５に示す、唇７２の両端部や鼻７１の両側部が検出される。この検出は、画像の輝度の変化度が高い場所を検索することなどで行われる。顔向き算出部４４では、唇７２の位置、鼻７１の位置、目６０の位置など、いずれかの部位の画像の位置の相対関係を計算し、その計算値に基づいて顔の向きが算出される。

顔の向きを算出する他の方法としては、瞳孔画像抽出部５０で２つの瞳孔６２の画像を取得できているので、視線方向算出部５６において、２つの瞳孔６２，６２の距離Ｌｅを測定し、その距離Ｌｅの変化から、顔の向きを算出することができる。瞳孔間の距離Ｌｅの値で顔の向きを算出する算出方法では、瞳孔中心算出部５３からの出力をそのまま利用できるので、複雑な画像処理を行うことなく、顔の向きを算出することができる。

次に、顔画像抽出部４７において、目頭６７と目じり６８が検出される。この検出は、画像処理により輝度変化が所定値以上となる場所を探すことなどで行われる。黒目画像抽出部４６により黒目６６が検出されるため、目頭６７から黒目６６の中心までの距離Ｌａと、目じり６８から黒目６６の中心までの距離Ｌｂを比較することにより、目６０における黒目６６の位置を算出することができる。

または、瞳孔画像抽出部５０において瞳孔６２の画像が検出できているので、目頭６７から瞳孔６２の中心までの距離Ｌａと、目じり６８から瞳孔６２の中心までの距離Ｌｂを比較することによっても、目６０における黒目６６の中心位置（瞳孔中心位置）を算出することができる。

視線方向算出部５６では、顔の向きに関する算出値と、目６０における黒目６６の中心（瞳孔中心）の相対位置とから、正面に対して視線を横方向へ大きくそらせたときにも、視線方向を算出することができる。この算出値が視線方向の第３の算出値である。

図５に示す顔の各部位の配置や瞳孔６２の間隔Ｌｅなどは、個々の対象者によって相違する。したがって、例えば、最初に顔と視線を正面方向（光軸Ｏ１と光軸Ｏ２の中間方向）へ向けて、操作釦を操作することなどにより、顔の基本画像を取得し、その基本画像における顔の各部位の配置位置を基準とし、その後に、基本画像の各部位の配置を基にして、顔の各部位の画像の位置を抽出し、顔の向きを算出することが好ましい。

顔の向きと黒目（または瞳孔）の位置から視線を求める方向では、角膜反射光の反射点６５が検出できないような視線の向き、すなわち第１の検出値が得られないような視線の向きであっても、視線方向を示す第３の算出値として求めることが可能である。

＜算出値の選択＞
図７は、視線方向算出部５６での算出値の選択プロセスを示している。視線方向算出値５６では、図３に示す瞳孔６２の中心と角膜反射光の反射点６５とから視線方向の第１の算出値Ｄ１が得られ、図４に示す黒目６６または瞳孔６２の楕円形状を算出することで視線方向の第２の算出値Ｄ２が得られ、図５に示す顔の向きと目６０における黒目６６または瞳孔６２の相対位置とで視線方向の第３の算出値Ｄ３が得られる。
算出値の第１の選択方法としては、算出された角度範囲によって算出値を選択する。

第１の算出値Ｄ１による視線方向の角度が、正面方向（光軸Ｏ１と光軸Ｏ２の中間方向）に対して第１の角度範囲（例えば±３０度）までは、第１の算出値Ｄ１を真の視線方向の算出値として選択する。第１の算出値Ｄ１が第１の角度範囲に至ったら、第２の算出値Ｄ２を真の視線方向の算出値として選択する。その後、第２の算出値Ｄ２が、第１の角度範囲よりも大きい第２の角度範囲（例えば±６０度）を超えるまでは、第２の算出値Ｄ２を選択し続ける。そして、第２の算出値Ｄ２が、第２の角度範囲に至ったら、その後は第３の算出値Ｄ３を選択する。

上記のように、算出値をＤ１，Ｄ２，Ｄ３の順に切換えていくことにより、視線方向が正面向きから大きくそれて±６０度を超え、ほぼ±９０度程度に至るまで、視線方向の角度を算出することができる。したがって、自動車の運転者を被測定者としたときに、視線を左右のドアミラーを見る位置までそらしても、視線方向を算出することが可能になる。
算出値の第２の選択方法は、第１の選択方法を補完する方法である。

第２の選択方法は、視線が正面方向から第１の角度範囲（例えば±３０度）に近い角度範囲までは第１の算出値Ｄ１を選択し、第１の角度範囲を超えたら第２の算出値Ｄ２を選択する。ただし、第１の角度範囲の境界部、例えば視線方向の角度が２５度〜３５度の範囲では、視線方向算出部５６において、図７のＳＴ１（ステップ１）に移行し、第１の算出値Ｄ１の値のばらつきと、第２の算出値Ｄ２の値のばらつきを比較する。この比較は、単位時間当たりのばらつきの最大値どうしを比較してもよいし、単位時間当たりのばらつきの平均値どうしを比較してもよい。そして、ＳＴ２では、視線方向の角度が例えば２５度〜３５度の範囲において、第１の算出値Ｄ１と第２の算出値Ｄ２のうちのばらつきの小さい値を、真の視線方向の算出値とする。この選択は所定時間の周期で行われる。よって、２５度〜３５度の範囲では、第１の算出値Ｄ１と第２の算出値Ｄ２が所定の周期で入れ替わることもある。

視線の角度が３５度を超えたら、第２の算出値Ｄ２を真の視線方向の算出値とする。そして、視線方向の角度が第２の角度範囲の境界部、例えば視線方向の角度が５５度〜６５度の範囲のときに、図７に示すＳＴ３に移行し、第２の算出値Ｄ２と第３の算出値Ｄ３の値のばらつきを比較する。そして、ＳＴ４では、５５度〜６５度の範囲で、第２の算出値Ｄ２と第３の算出値Ｄ３のうちのばらつきの小さい方を真の視線方向の算出値として選択する。そして、６５を超えたら第３の算出値Ｄ３を真の視線方向の検出値とする。なお、５５度〜６５度の間では、所定の周期で前記比較が行われる。

この第２の選択方法では、第１の角度範囲の境界部ならびに第２の角度範囲の境界部においても、常に視線方向の角度を精度良く求めることができる。

次に、第３の選択方法を説明する。
第３の選択方法では、図３に示すように、角膜６１の反射点６５が検出されて角膜反射光中心算出部５４からの検知出力が得られているとき、あるいは第１の算出値Ｄ１が得られているときは、図７に示すＳＴ１において、第１の算出値Ｄ１と第２の算出値Ｄ２のうちのばらつきを比較し、ＳＴ２においてばらつきの小さい方向の値を真の視線方向の算出値とする。

その後、角膜反射光中心算出部５４からの検知出力が得られなくなったとき、あるいは第１の算出値Ｄ１が得られなくなったときに、ＳＴ３に移行する。ＳＴ３では、第２の算出値Ｄ２と第３の算出値Ｄ３のばらつきを比較し、ＳＴ４においてばらつきの小さい方を真の視線方向の検出値とする。

このように、常にいずれかの算出値のうちのばらつきの小さい値を選択することで、高精度に視線方向を算出できるようになる。

４ カバー板
１０、２０ 受像装置
１１、２１ 第１光源
１２、２２ 第２光源
１３、２３ カメラ
４４、４５ 画像取得部
４６ 黒目画像抽出部
４７ 顔画像抽出部
４８ 黒目形状算出部
４９ 顔向き算出部
５０ 瞳孔画像抽出部
５３ 瞳孔中心算出部
５４ 角膜反射光中心算出部
５５ 瞳孔形状算出部
５６ 視線方向算出部
６０ 目
６２ 瞳孔
６５ 角膜の反射点
６６ 黒目
Ｏ１，Ｏ２ 光軸

Claims (10)

1. 対象者の顔に検知光を与える複数の光源と、対象者の顔の画像を取得するカメラと、前記カメラで取得された画像から視線方向を算出する制御部とが設けられた視線検出装置において、
   前記制御部では、前記カメラで取得した画像から、顔の異なる部位の部分画像を抽出する抽出ステップと、
   それぞれの部分画像に基づいて視線方向を算出する算出ステップと、
   視線方向の角度範囲の大小に応じて、異なる部分画像から得られた複数種類の視線方向の算出値のいずれかを選択する選択ステップと、が行われることを特徴とする視線検出装置。
2. 対象者の顔に検知光を与える複数の光源と、対象者の顔の画像を取得するカメラと、前記カメラで取得された画像から視線方向を算出する制御部とが設けられた視線検出装置において、
   前記制御部では、前記カメラで取得した画像から、顔の異なる部位の部分画像を抽出する抽出ステップと、
   それぞれの部分画像に基づいて視線方向を算出する算出ステップと、
   異なる部分画像から得られた複数種類の視線方向の算出値のうちの、ばらつきの小さい算出値を真の視線方向の算出値として選択する選択ステップと、が行われることを特徴とする視線検出装置。
3. 視線方向を複数の角度範囲に区分して、それぞれの角度範囲で、どの部分画像から得られた視線方向の算出値を選択するかを予め割り振っておき、
   前記角度範囲の境界部において、その境界部の両側の角度範囲で使用されている異なる前記算出値のうちのばらつきの小さい算出値を真の視線方向の算出値として選択する請求項２記載の視線検出装置。
4. 前記部分画像は、瞳孔画像と角膜反射光画像であり、瞳孔画像と角膜反射光画像とから視線方向が算出される請求項１ないし３のいずれかに記載の視線検出装置。
5. 前記部分画像は、瞳孔画像または黒目画像であり、前記瞳孔画像または前記黒目画像の形状から、視線方向が算出される請求項１ないし３のいずれかに記載の視線検出装置。
6. 前記部分画像は、顔画像と黒目画像または顔画像と瞳孔画像であり、顔画像から顔の向きが算出され、前記黒目画像または瞳孔画像から目の中での黒目の位置または瞳孔の位置が算出され、顔の向きと黒目の位置または顔の向きと瞳孔の位置とから視線方向が算出される請求項１ないし３のいずれかに記載の視線検出装置。
7. 前記部分画像は、瞳孔画像と角膜反射光画像であり、瞳孔画像と角膜反射光画像とから視線方向の第１の算出値が求められ、
   前記部分画像は、瞳孔画像または黒目画像であり、前記瞳孔画像または前記黒目画像の形状から、視線方向の第２の算出値が求められ、
   視線方向が基準値から第１の角度範囲までは、前記第１の算出値を真の視線方向の算出値として選択し、視線方向が第１の角度範囲を超えたときに、前記第２の算出値を真の視線方向の算出値として選択する請求項１記載の視線検出装置。
8. 前記部分画像は、顔画像と黒目画像または顔画像と瞳孔画像であり、顔画像から顔の向きが算出され、前記黒目画像または瞳孔画像から目の中での黒目の位置または瞳孔の位置が算出され、顔の向きと黒目の位置または顔の向きと瞳孔の位置とから視線方向の第３の算出値が求められ、
   視線方向が前記第１の角度範囲よりも大きい角度である第２の角度範囲を超えたら、前記第３の算出値を真の視線方向の算出値として選択する請求項７記載の視線検出装置。
9. 前記部分画像は、瞳孔画像と角膜反射光画像であり、瞳孔画像と角膜反射光画像とから視線方向の第１の算出値が求められ、
   前記部分画像は、瞳孔画像または黒目画像であり、前記瞳孔画像または前記黒目画像の形状から、視線方向の第２の算出値が求められ、
   前記第１の算出値と前記第２の算出値のうちの、ばらつきの小さい算出値を真の視線方向の算出値として選択する請求項２または３記載の視線検出装置。
10. 前記部分画像は、顔画像と黒目画像または顔画像と瞳孔画像であり、顔画像から顔の向きが算出され、前記黒目画像または瞳孔画像から目の中での黒目の位置または瞳孔の位置が算出され、顔の向きと黒目の位置または顔の向きと瞳孔の位置とから視線方向の第３の算出値が求められ、
    前記第１の算出値が得られなくなったら、前記第２の算出値と前記第３の算出値のうちの、ばらつきの小さい算出値を真の視線方向の算出値として選択する請求項９記載の視線検出装置。

Images