JP2005253778A - 視線検出方法及び同装置 - Google Patents

Abstract

【課題】 簡易な方法で、しかも正確にカメラと顔面との距離を正確に求めることができ、視線方向も容易に求めることができる方法並びに装置を提供すること。
【構成】
顔及び眼を撮影するカメラと、眼を照射する赤外線等の光源を具備した撮影システムにおいて、瞳孔の中心点を求めるステップと、角膜球の中心点を求めるステップと、該角膜球の中心点から前記瞳孔の中心点に向かうベクトルの方向を求めるステップとを含み、前記瞳孔の中心点を求めるステップは形態学上の知見によるデータを利用したことを特徴とする。
【選択図】
図３

Description

この発明は、コンピュータの入力装置や車の運転補助手段として利用する視線検出技術に関するものである。

従来から手又は指を自由に使えない不具者のためのコンピュータ入力装置として視線の検出技術が開発されてきた。又、車を運転するドライバの視線を監視して、車の運転補助手段としても視線の検出が利用される。しかし、従来の視線検出装置は使用者に特定の器具を装着させるものもあり、これらの技術は使用者を束縛するために使用勝手が悪いと言う課題があった。この課題を解決するために近年眼球モデルを利用して視線を検出する技術が開発されている。

眼球モデルを利用する場合に、カメラ位置から顔面までの正確な距離を簡単な方法で正確に求めることが一つの問題になってくる。例えば、特許文献１に記載されている装置は、運転者の視線を検出する装置であり、カメラの位置から運転者の顔面までの距離を求める手段として距離センサを利用している。距離センサとしては超音波型センサ等を使用している。超音波型センサを使用した場合、全体の装置が複雑になり、簡単なセンサでは精度が悪く、精度を高くすると装置が高価になるという問題が生じる。
公開特許公報、第平８−２９７０１９号（車両用視線方向計測装置）

また、非特許文献１、２にも、眼球モデルを利用した視線の方向を検出する技術が記載されている。この文献の装置は、点光源から近赤外線を眼の中の角膜に照射し、反射像（プルキニエ像と呼んでいる）の座標を求めるために、カメラ（又は点光源）から顔面までの距離を求める必要があり、その方法としてカメラによる撮影画像上の点光源の大きさ（プルキニエ像の大きさ）が最小になる位置にフォーカスを合わせたときのフォーカス値からその距離を求めている。しかし、プルキニエ像の大きさを正確に最小になるように調節するのは困難であり、従って、精度の高い距離測定は期待できず、それを利用した視線方向の検出も誤差が含まれ、問題である。
情報処理研究報告２００１―ＨＩ−９３、ｐｐ．４７−５４（眼球形状モデルに基づく視線測定システム） 第８回画像センシングシンポジウム、ｐｐ．３０７−３１２、２００２（眼球モデルに基づく視線測定方法）

更に、カメラと実空間における物体との距離を求める方法としてはキャリブレーション（校正）による方法も考えられるが、この方法はキャリブレーションのために実空間に３次元座標系の座標モデルを必要とするために測定系が複雑になるという課題がある。

本発明は、上記事実に鑑みなされたものであり、簡易な方法で、しかも正確にカメラと顔面との距離を正確に求めることができ、視線方向も容易に求めることができる方法並びに装置を提供することを課題とする。

本発明は上記の課題を解決するための手段として以下の構成を採用している。即ち、
請求項１に記載の発明は、 顔及び眼を撮影するカメラと、眼を照射する赤外線等の光源を具備した撮影システムにおいて、瞳孔の中心点を求めるステップと、角膜球の中心点を求めるステップと、該角膜球の中心点から前記瞳孔の中心点に向かうベクトルの方向を求めるステップとを含み、前記瞳孔の中心点を求めるステップは形態学上の知見によるデータを利用したことを特徴としている。

また、請求項２に記載の発明は、請求項１に記載の発明において、前記形態学上の知見データは、（１）左右の眼から鼻までの距離は等しい、（２）左右の眼の距離と眼から鼻までの距離の比は一定値であり、（３）左右の眼の距離は一定である、ことを特徴としている。

請求項３に記載の発明は、請求項１又は請求項２に記載の発明において、前記角膜球の中心点を求めるステップは、前記形態学上の知見データの他に、角膜球の中心半径は一定値であるという知見データを利用したことを特徴としている。

請求項４に記載の発明は、顔及び眼を撮影するカメラと、眼を照射する赤外線等の光源と、該カメラの撮影データと形態学上の知見によるデ−タに基づいて視線方向を演算により求める演算処理装置を具備したことを特徴とする。

本発明によれば、簡易な装置で正確に視線方向を検出できるという効果が得られる。

以下本発明の実施形態を図に基づいて説明する。
図１（Ａ）は本発明を実施する実施形態の装置構成を示し、図１（Ｂ）は本実施形態で利用する顔の形態学上の性質を説明するための図である。図１（Ａ）において、本装置は、撮影対象、例えば人間の顔（又は眼）１０を撮影するカメラ１１と赤外線を発光するダイオード１２と撮影画像から得られた画像データに基づいて種々の計算を実行し、各装置１１、１２を制御するコンピュータ１３から構成されている。なお、カメラ１１の位置座標、向きの角度及び赤外線発光ダイオード１２の位置座標、向きの角度は既知である。カメラ１１について、焦点距離（ｆ）、及びカメラパラメータ（Ｋ）は既知である。

図１（Ｂ）に示すように、人間の顔１０は左右の眼、鼻及び口を有している。右眼Ａの座標を（Ａｘ，Ａｙ，Ａｚ）とし、左眼Ｂの座標を（Ｂｘ，Ｂｙ，Ｂｚ）とし、鼻Ｃの座標を（Ｃｘ，Ｃｙ，Ｃｚ）とすれば、例えば、非特許文献３に記載されているように、次の関係が成立することが形態学上知られている。
即ち、（１） ｄ（Ａ，Ｃ）＝ｄ（Ｂ，Ｃ）
（２） ｒ＝ｄ（Ａ，Ｂ）／ｄ（Ａ，Ｃ）＝１．０８３３
（３）
ｄ（Ａ，Ｂ）＝６．５（ｃｍ）
（４）
角膜球の半径＝７．７（ｍｍ） である。
なお、上記関係で、記号「ｄ（＊、＊）」は２点間の距離を示し、記号「／」は割り算を意味している。
L.G.Farkas, Anthropometry of the Head and Face, Lippincott Williams & Wilkins,1994.

図２は各座標系の位置を示す。図２において原点Ｏはカメラ１１のレンズ中心とする。２次元座標系２０（ｕ、ｖ）は撮影画像面の座標系でカメラ１１の焦点距離ｆ（ｆ＝１）だけ離れた距離にある平面座標系である。また、３次元座標系（ｘ、ｙ、ｚ）２１は基準座標系で数値計算等の際の丸め誤差を小さくするために設けられる座標系である。この座標系２１は世界座標系（Ｘ，Ｙ，Ｚ）２２の各軸のスケールを変換して各データの大きさの一様化を図るための座標系である。即ち、世界座標系２２で各座標の単位の決め方により数値の大きさにばらつきがあると数値計算の結果に信頼性がなくなるために、データの大きさを揃える必要があるからである。

座標系２０における右眼の座標をａ（ａｕ、ａｖ、１）、左眼の座標をｂ（ｂｕ、ｂｖ、１）、鼻の座標ｃ（ｃｕ、ｃｖ、１）とし、座標系２１における右眼の座標をｖａ（ｖａｘ、ｖａｙ、ｖａｚ）、左眼の座標をｖｂ（ｖｂｘ、ｖｂｙ、ｖｂｚ）、鼻の座標ｖｃ（ｖｃｘ、ｖｃｙ、ｖｃｚ）とし、世界座標系２２における右眼の座標をＡ（Ａｘ、Ａｙ、Ａｚ）、左眼の座標をＢ（Ｂｘ、Ｂｙ、Ｂｚ）、鼻の座標Ｃ（Ｃｘ、Ｃｙ、Ｃｚ）とする。

又、座標系２０の任意点ｐ＝ｐ（ｕ，ｖ，１）と座標系２１の対応点ｖ＝ｖ（ｘ、ｙ、ｚ）はカメラパラメータ行列（Ｋ）を利用してｐ＝Ｋｖと表せる。撮影画像面の座標系２０の点ｖは撮影画像の点を読み取ることによって既知となる。カメラパラメータ逆行（Ｋ）は逆行列（Ｋ^−１ ）が存在するので、点ｐの対応点ｖも既知となる。即ち、点ｖａ、ｖｂ、ｖｃは、以下の関係式４から求めることができる。なお、以下の数式１で、小文字の「Ｔ」は転置をあらわす。

更に、図２に示すように、座標系２１の点ｖに対応する世界座標系２２における対応点Ｍ＝Ｍ（Ｘ、Ｙ、Ｚ）は原点Ｏからの延長線上にあることから、スケールパラメータ（λ、μ、τ）とすれば以下の数式２が成立する。

数式１及び数式２を前記した関係（１）〜（３）に代入すれば未知のスケールパラメータ（λ、μ、τ）を数値計算により求めることができ、世界座標系２２における右眼位置Ａ、左眼位置Ｂ、鼻位置Ｃを決定することができる。従って、顔の法線ベクトルＮは、式６から求めることができる。又、原点Ｏから点Ａ，Ｂ，Ｃまでの距離も求めることができる。

図３は眼の構成と視線方向の関係を示す図である。図３において、眼球の外側に角膜２５があり、角膜２５は点線で表示した球面２６の部分球面を構成している。球面２６は中心がＳで、半径Ｒの仮想的シェルである。半径Ｒは、顔の形態学上の性質のところで述べたように、Ｒ＝７．７ｍｍとされている。また、水晶体２７の前面側には入射する光量を調節する瞳彩２８があり、瞳彩２８の穴から見える部分が瞳孔（又は瞳）２９である。球面２６の中心Ｓ（Ｓｘ，Ｓｙ，Ｓｚ）と瞳孔２９の中心Ｔ（Ｔｘ，Ｔｙ，Ｔｚ）とを結ぶ矢印の直線３０が視線方向である。

撮影画像２０で、円３１は瞳孔２９の画像で、中心点ｔは中心Ｔの画像である。中心点ｔの座標（ｔｕ、ｔｖ）は撮影画像から読み取れるから、これを利用して瞳孔２９の中心Ｔの座標（Ｔｘ、Ｔｙ、Ｔｚ）は以下の関係から決定できる。なお、距離（ｆ）はカメラ１１の焦点距離である。記号「・」はスカラー積を示す。
（５）Ｔｚは原点Ｏと眼Ａ（または眼Ｂ）との距離ｄ（ＯＡ）とほぼ等しい。即ち、Ｔｚ＝ｄ（ＯＡ）、
（６）Ｔｘ＝（Ｔｚ／ｆ）・ｔｕ、 Ｔｙ＝（Ｔｚ／ｆ）・ｔｖ

また、球面２６の中心Ｓ（Ｓｘ，Ｓｙ，Ｓｚ）は以下のようにして求める。即ち、赤外線光発射点Ｂから発射した赤外線光は角膜２５の輝点Ｐで反射して原点Ｏに入射する。また、赤外光発射点Ｂの座標（Ｂｘ，Ｂｙ，Ｂｚ）は既知であり、原点Ｏと輝点Ｐの距離ｄ（ＯＰ）は、ｄ（ＯＰ）＝ｄ（ＯＡ）＝Ｔｚであり、かつ、入射角と反射角は等しく（θ／２）である。従って、輝点Ｐの座標（Ｐｘ，Ｐｙ，Ｐｚ）は決定することができ、更に、輝点Ｐにおける法線ベクトルも決定することができる。

しかし、赤外線光発射点Ｂがカメラ１１に十分に近い位置にあるときは、撮影画像上の点ｐ（ｐｕ、ｐｖ）から、瞳孔２９の中心Ｔを求めた方法と同様にして輝点Ｐの座標（Ｐｘ，Ｐｙ、Ｐｚ）を求めることができ、更に、球面２６の中心Ｓは点Ｂと点Ｐを通る線上にあるとしてもよい。赤外線光発射点Ｂから輝点ＰへのベクトルをＶ（ＢＰ）とすれば、球面２６の中心Ｓ（Ｓｘ，Ｓｙ，Ｓｚ）は以下の関係から求めることができる。
（７）
Ｓ（Ｓｘ，Ｓｙ，Ｓｚ）＝Ｐ（Ｐｘ，Ｐｙ、Ｐｚ）
＋Ｒ・（Ｖ（ＢＰ）／ｄ（ＢＰ））
上の関係で、Ｓ，Ｐは原点からのベクトルで、Ｒは角膜球２６の半径でＲ＝７．７（ミリメートル）である。「ｄ」は距離（ノルム）を示す。

関係（７）は３個の連立方程式を含んでおり、（Ｓｘ，Ｓｙ，Ｓｚ）を求めることができ、瞳孔２９の中心Ｔの座標（Ｔｘ、Ｔｙ、Ｔｚ）は上述したように求められるので、点Ｓから点Ｔへの方向、即ち視線方向も決定できる。
以上に説明した方法によれば、カメラから顔面までの距離は正確に求めることができ、しかも赤外線光発射点Ｂがカメラ１１に十分に近い位置にあるときは、球面２６の中心Ｓ及び瞳孔２９の中心Ｔの双方も高い精度で求められる。従って、本方法によれば、高い精度で、かつ、簡単なシステムで視線方向を求めることができる。

（Ａ）本実施形態のシステム構成を示し、（Ｂ）は顔の形態学的知見データを説明するための図を示す。 各座標系の関係を示す。 眼球モデルと視線方向の関係を示す。

符号の説明

１０ 被測定者の顔面
１１ カメラ
１２ 赤外線発光ダイオード
１３ コンピュータ（処理装置）
２０ カメラの撮影画像
２５ 角膜
２６ 角膜球面
２７ 水晶体
２８ 瞳彩
２９ 瞳孔
３０ 視線ベクトル

Claims (4)

1. 顔及び眼を撮影するカメラと、眼を照射する赤外線等の光源を具備した撮影システムにおいて、瞳孔の中心点を求めるステップと、角膜球の中心点を求めるステップと、該角膜球の中心点から前記瞳孔の中心点に向かうベクトルの方向を求めるステップとを含み、前記瞳孔の中心点を求めるステップは形態学上の知見によるデータを利用したことを特徴とする視線検出方法。
2. 前記形態学上の知見データは、（１）左右の眼から鼻までの距離は等しい、（２）左右の眼の距離と眼から鼻までの距離の比は一定値であり、（３）左右の眼の距離は一定である、ことを特徴とする請求項１に記載の視線検出方法。
3. 前記角膜球の中心点を求めるステップは、前記形態学上の知見データの他に、角膜球の中心半径は一定値であるという知見データを利用したことを特徴とする請求項１または請求項２の何れか１に記載の視線検出方法。
4. 顔及び眼を撮影するカメラと、眼を照射する赤外線等の光源と、該カメラの撮影データと形態学上の知見によるデ−タに基づいて視線方向を演算により求める演算処理装置を具備したことを特徴とする視線検出装置。
   

Images