JP2020162759A - 視線計測装置 - Google Patents

Abstract

【課題】簡易な構成で、視線計測のために、顔画像上の角膜反射像の画像座標又は瞳孔中心の画像座標を精度良く求めることができるようにする。【解決手段】カメラ座標系眼球中心座標計算部３０が、顔画像から、カメラ座標系における眼球中心の座標を推定する。見かけの瞳孔中心計算部３２が、顔画像上の目の瞳孔中心位置から、カメラ座標系における見かけの瞳孔中心の座標を推定する。眼球位置姿勢推定部３６が、カメラ座標系における眼球中心の座標と見かけの瞳孔中心の座標とに基づいて、カメラ座標系において、眼球中心から瞳孔中心へ向かう光軸ベクトルを計算する。カメラ座標系角膜反射像計算部４０が、カメラ座標系における眼球中心と、光軸ベクトルと、眼球モデルとに基づいて、カメラ座標系における角膜反射像の座標を求める。角膜反射像画像座標計算部４２が、カメラ座標系における角膜反射像の座標から、角膜反射像の画像座標を推定する。【選択図】図４

Description

本発明は、視線計測装置に係り、特に、顔を撮像した画像から、視線を計測する視線計測装置に関する。

従来より、角膜の曲率中心と眼球の回転中心とが異なるので、眼球運動に伴ってプルキンエ像が平行移動するのをビデオカメラあるいはＣＣＤカメラで撮影し、眼球運動を計算する方法が知られている（非特許文献１）。角膜前面からの反射によって得られる像を利用する方法が角膜反射法である。

角膜反射像に関して複数光源を用いたり、投光パターンを時間変化させることで眼鏡映り込みと区別して検出できるようにする技術が知られている（例えば、特許文献１、２）。

特許文献１では、赤外光パターンを使用し、特許文献２では、複数光源を使用している。

野城真理、「3章 生体計測と神経心理学」、インターネット＜ＵＲＬ：http://www.ieice-hbkb.org/files/S3/S3gun_10hen_03.pdf＞

特開２０１４−１８８３２２号公報 特開２０１７−１１１７４６号公報

上記非特許文献１に記載の技術のように、単一光源を用いる方法では、眼鏡への外乱光の映り込みと角膜反射像の区別が難しい。

また、上記特許文献１、２に記載の技術では、角膜反射像を得るために、複数の光源や投光パターンを用いるための装置が必要となるため、装置コストがかかってしまう。

本発明は、上記の問題点を解決するためになされたもので、簡易な構成で、視線計測のために、顔画像上の角膜反射像の画像座標又は瞳孔中心の画像座標を精度良く求めることができる視線計測装置を提供することを目的とする。

上記の目的を達成するために第１の発明に係る視線計測装置は、被観察者の顔を撮像する撮像部と、前記被観察者の目に対して光を照射する光照射部と、前記撮像部によって撮像された前記顔を表す顔画像から、カメラ座標系における眼球中心の３次元座標を推定するカメラ座標系眼球中心座標計算部と、前記顔画像上の目の瞳孔中心位置から、カメラ座標系における見かけの瞳孔中心の３次元座標を推定する瞳孔中心計算部と、前記カメラ座標系における眼球中心の３次元座標と、前記カメラ座標系における見かけの瞳孔中心の３次元座標とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の光軸ベクトルを計算する眼球位置姿勢推定部と、前記カメラ座標系における眼球中心の３次元座標と、前記光軸ベクトルと、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における角膜反射像の３次元座標を求める角膜反射像計算部と、前記カメラ座標系における角膜反射像の３次元座標から、前記顔画像上の角膜反射像の画像座標を推定する画像座標計算部と、を含んで構成されている。

第１の発明によれば、簡易な構成で、顔画像上の目の瞳孔中心位置から、視線計測のために顔画像上の角膜反射像の画像座標を精度良く求めることができる。

上記第１の発明に係る視線計測装置において、前記撮像部と前記光照射部との位置関係、前記撮像部と前記目との位置関係、及び前記撮像部に関するパラメータが、前記撮像部の撮像方向と前記光照射部の光照射方向とが同軸であるとみなすための予め定められた制約条件を満たすようにすることができる。

また、上記第１の発明に係る視線計測装置において、前記眼球位置姿勢推定部は、前記カメラ座標系における見かけの瞳孔中心の３次元座標と前記カメラ座標系における眼球中心の３次元座標とを結んだ線分と、前記カメラ座標系における眼球中心の３次元座標と前記撮像部の３次元座標とを結んだ線分とのなす角を算出し、前記なす角に対応して予め定められた角度補正量を取得し、前記カメラ座標系における眼球中心の３次元座標と前記カメラ座標系における見かけの瞳孔中心の３次元座標とを結んだベクトルと、前記取得した前記角度補正量と、前記算出した前記なす角と、前記カメラ座標系における眼球中心の３次元座標とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の光軸ベクトルを計算するようにすることができる。

第２の発明に係る視線計測装置は、被観察者の顔を撮像する撮像部と、前記被観察者の目に対して光を照射する光照射部と、前記撮像部によって撮像された前記顔を表す顔画像から、カメラ座標系における眼球中心の３次元座標を推定するカメラ座標系眼球中心座標計算部と、前記顔画像上の目の角膜反射像の位置から、カメラ座標系における角膜反射像の３次元座標を推定する角膜反射像計算部と、前記カメラ座標系における眼球中心の３次元座標と、前記カメラ座標系における角膜反射像の３次元座標とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から角膜曲率中心の３次元位置へ向かう３次元の光軸ベクトルを計算する眼球位置姿勢推定部と、前記カメラ座標系における眼球中心の３次元座標と、前記光軸ベクトルと、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における見かけの瞳孔中心の３次元座標を求める瞳孔中心計算部と、前記カメラ座標系における見かけの瞳孔中心の３次元座標から、前記顔画像上の瞳孔中心の画像座標を推定する画像座標計算部と、を含んで構成されている。

第２の発明によれば、簡易な構成で、顔画像上の目の角膜反射像の位置から、視線計測のために顔画像上の瞳孔中心の画像座標を精度良く求めることができる。

上記第２の発明に係る視線計測装置において、前記撮像部と前記光照射部との位置関係、前記撮像部と前記目との位置関係、及び前記撮像部に関するパラメータが、前記撮像部の撮像方向と前記光照射部の光照射方向とが同軸であるとみなすための予め定められた制約条件を満たすようにすることができる。

また、上記第２の発明に係る視線計測装置において、前記瞳孔中心計算部は、前記光軸ベクトルと、前記カメラ座標系における眼球中心の３次元座標とに基づいて、前記カメラ座標系における眼球中心の３次元座標と前記カメラ座標系の角膜曲率中心の３次元座標とを結んだ線分と、前記カメラ座標系における眼球中心の３次元座標と前記撮像部の３次元座標とを結んだ線分とのなす角を算出し、前記算出された前記なす角に対応して予め定められた角度補正量を取得し、前記カメラ座標系における眼球中心の3次元座標と、前記光軸ベクトルと、前記角度補正量とに基づいて、前記カメラ座標系における眼球中心の３次元座標と前記カメラ座標系における見かけの瞳孔中心の３次元座標とを結んだベクトルを算出し、前記算出されたベクトルと、前記カメラ座標系における眼球中心の３次元座標と、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における見かけの瞳孔中心の３次元座標を求めるようにすることができる。

以上説明したように、本発明の視線計測装置によれば、簡易な構成で、視線計測のために、顔画像上の角膜反射像の画像座標又は瞳孔中心の画像座標を精度良く求めることができる、という効果が得られる。

本発明の実施の形態に係る視線計測装置の構成を示すブロック図である。 照射部と画像撮像部の配置を示す図である。 照射部と画像撮像部と目の位置関係を示す図である。 本発明の実施の形態に係る視線計測装置の角膜反射像推定部の構成を示すブロック図である。 各種座標系を説明するための図である。 三次元眼球モデルと画像撮像部との位置関係を示す図である。 本発明の実施の形態に係る視線計測装置の瞳孔推定部の構成を示すブロック図である。 本発明の実施の形態に係る視線計測装置における視線計測処理ルーチンの内容を示すフローチャートである。 本発明の実施の形態に係る視線計測装置における角膜反射像推定処理ルーチンの内容を示すフローチャートである。 本発明の実施の形態に係る視線計測装置における瞳孔推定処理ルーチンの内容を示すフローチャートである。 角膜反射法を用いた視線検出方法を説明するための図である。 眼球モデルフィッティング法を用いた視線検出方法を説明するための図である。 角膜反射法で求めた視線ベクトルと眼球モデルフィッティング法で求めた視線ベクトルの違いを説明するための図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、撮像された顔画像から、視線ベクトルを推定する視線計測装置に本発明を適用した場合を例に説明する。

＜本発明の実施の形態の概要＞
本発明の実施の形態で主に取り扱うのは角膜反射法による視線検出技術であるが、後の説明のため眼球モデルフィッティング法についても概要を述べておく。

角膜反射法は、図１１に示すようにカメラと近赤外ＬＥＤを用い、角膜に映り込んだ近赤外ＬＥＤ（角膜反射像）と瞳孔の位置関係から視線ベクトルを求める手法である。

眼球モデルフィッティング法は、図１２に示すように目尻・目頭の特徴点に対し三次元眼球モデルを当てはめることで眼球中心位置を推定し、眼球中心と瞳孔中心を結ぶベクトルを視線ベクトルとする手法である。必ずしも目尻・目頭の特徴点を用いる必要はなく、何らかの手段で眼球中心を推定する手法を用いれば良い。

図１３は２種類の視線検出法で求める視線の詳細な説明図である。角膜反射法で求める視線ベクトルをｇ_crとし、眼球モデルフィッティング法で求める視線ベクトルをｇ_ebとする。角膜反射法では、角膜曲率中心座標を計算で求めることができるため、角膜に関連した情報として角膜反射像と角膜曲率中心および角膜表面上で観測される瞳孔中心（以後、見かけの瞳孔中心と呼ぶ）の３つが得られる。そのため、角膜での光の屈折を計算に組み込むことができ、正しい瞳孔中心と角膜曲率中心を結ぶベクトルとして視線ベクトルを計算できる。それに対して、眼球モデルフィッティング法では、角膜と関連した情報が見かけの瞳孔中心しか得られないために角膜屈折を扱うことができず、視線ベクトルは見かけの瞳孔中心と眼球中心を結ぶベクトルとして計算される。図１３に示すように視線ベクトルｇ_crとｇ_ebは厳密には一致しない。また、二つの視線ベクトルの角度差（以後、視線誤差と呼ぶ）ρは一定ではなく、眼球の位置と向きによって変化する。角膜反射法で求める視線ベクトルｇ_crが正しいとすると、この視線誤差ρが大きいことは眼球モデルフィッティング法の視線推定精度の劣化を意味する。

そこで、本発明の実施の形態では、カメラと照明が同軸とみなせる画像撮像部と、眼球中心推定技術と、３次元眼球モデルと、光軸ベクトルの補正技術を用いることで、瞳孔中心の観測結果から角膜反射像座標を推定する。また、角膜反射像の観測結果から瞳孔中心座標を推定する。ソフトウェアによる実装であるため、ハードウェアの追加は不要である。

＜視線計測装置の構成＞
図１に示すように、本発明の実施の形態に係る視線計測装置１０は、対象とする被験者の顔を含む画像を撮像するＣＣＤカメラ等からなる画像撮像部１２と、被験者の目に対して光を照射する照射部１３と、画像処理を行うコンピュータ１４と、ＣＲＴ等で構成された出力部１６とを備えている。

画像撮像部１２は、１つのカメラであり、照射部１３は、例えば、１つの近赤外ＬＥＤである。本実施の形態では、画像撮像部１２の撮像方向と照射部１３の照射方向とが同軸ではないが、同軸とみなされるように配置されている（図２）。具体的には、以下の（１）式に示す制約条件を満たす配置となっている（図３）。なお、（１）式を満たした上で、２つの近赤外ＬＥＤをカメラの左右両側に配置してもよい。

（１）

ただし、Ｌは、画像撮像部１２から角膜曲率中心へ向かう直線と角膜との交点と、画像撮像部１２との間の距離であり、ｒは、角膜曲率半径であり、ｆは、画像撮像部１２のピクセル単位の焦点距離である。

コンピュータ１４は、ＣＰＵ、後述する視線計測処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１４をハードウェアとソフトウェアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、コンピュータ１４は、画像撮像部１２から出力される濃淡画像である顔画像を入力する画像入力部２０と、画像入力部２０の出力である顔画像の時系列から、角膜反射像の画像座標の時系列を推定する角膜反射像推定部２２と、画像入力部２０の出力である顔画像の時系列から、瞳孔中心の画像座標の時系列を推定する瞳孔推定部２４と、角膜反射像の画像座標の時系列と、瞳孔中心の画像座標の時系列とから、角膜反射法（図１１参照）を用いて、カメラ座標系における視線ベクトルを計算する角膜反射法視線検出部２８とを備えている。

画像入力部２０は、例えば、Ａ／Ｄコンバータや１画面の画像データを記憶する画像メモリ等で構成される。

角膜反射像推定部２２は、図４に示すように、カメラ座標系眼球中心座標計算部３０と、見かけの瞳孔中心計算部３２と、眼球モデル記憶部３４と、眼球位置姿勢推定部３６と、カメラ座標系角膜反射像計算部４０と、角膜反射像画像座標計算部４２とを備えている。

カメラ座標系眼球中心座標計算部３０は、以下のように、顔画像から、図５に示すカメラ座標系における眼球中心の３次元座標を推定する。

まず、予め、図５に示す顔モデル座標系における眼球中心（点Ｅ）の３次元座標

を求めておく（図６参照）。

例えば、顔画像の角膜反射像から計算した角膜曲率中心と瞳孔中心を使って視線を計算し、計算した視線を用いて、眼球モデル座標系における眼球中心の３次元座標を推定する。

そして、カメラ座標系における顔モデル座標系の位置姿勢（回転並進ベクトル）を求める。

例えば、現在の顔画像に顔モデルをフィッティングさせることで、カメラ座標系に対する顔モデル座標系の現在の回転行列Ｒと並進ベクトルｔを求める。

そして、求めた回転並進ベクトルにより、顔モデル座標系における眼球中心の３次元座標をカメラ座標系における眼球中心の３次元座標に変換する。

具体的には、カメラ座標系における現在の眼球中心の3次元座標ｅを、以下の式に従って計算する。

(2)

見かけの瞳孔中心計算部３２は、以下に説明するように、顔画像上の目の瞳孔中心位置から、カメラ座標系における見かけの瞳孔中心の３次元座標を推定する。

まず、顔画像から、瞳孔中心を検出し、図５に示す画像座標系における瞳孔中心座標を求める。

具体的には、従来既知の技術を用いて、瞳孔中心の検出を行い、画像座標系における瞳孔中心座標

を求める。

そして、瞳孔中心の画像座標からカメラ座標系における３次元座標を推定する。

具体的には、カメラ座標系における瞳孔中心のＺ座標を何等かの測距手段で求め、ｄ_zとする。画像中心の座標を(ｘ_c，ｙ_c)とする。カメラ座標系における瞳孔中心の３次元座標

は、ピクセル単位で表される焦点距離をｆとすると以下になる。

(3)

眼球モデル記憶部３４には、２つの球からなる眼球モデルおよびそのパラメータが記憶されている。具体的には、眼球モデル記憶部３４には、角膜曲率半径ｒ、眼球中心Ｅと角膜曲率中心Ａとの距離ｕ、角膜曲率中心Ａと真の瞳孔中心Ｂとの距離ｓ、及び大気の屈折率ｎ1と房水の屈折率ｎ2の比(ｎ1/ｎ2)が記憶されている。なお、角膜曲率中心Ａと真の瞳孔中心Ｂとの距離ｓ、及び大気の屈折率ｎ1と房水の屈折率ｎ2の比(ｎ1/ｎ2)は、角膜反射法視線検出部２８で角膜反射法を用いてカメラ座標系における視線ベクトルを計算する際に用いられるパラメータである。

眼球位置姿勢推定部３６は、以下に説明するように、カメラ座標系における眼球中心の３次元座標と、カメラ座標系における見かけの瞳孔中心の３次元座標とに基づいて、カメラ座標系において、眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の光軸ベクトルを計算する。

まず、画像撮像部１２の撮像方向と照射部１３の照射方向とが同軸とみなされるように配置されていること、図６に示す角ＣＥＤから、角度補正量を推定する。

具体的には、眼球中心Ｅから見かけの瞳孔中心までのベクトルを

とすると、以下の式で表される。

(4)

カメラ座標系における見かけの瞳孔中心の３次元座標と前記カメラ座標系における眼球中心の３次元座標とを結んだ線分と、カメラ座標系における眼球中心の３次元座標と前記撮像部の３次元座標とを結んだ線分とのなす角ＣＥＤについて

とすると、角ＣＥＤの角度ωを、以下の式に従って計算する。

(5)

そして、角ＣＥＤの角度と、角膜反射法で求める視線ベクトルｇ_crと眼球モデルフィッティング法で求める視線ベクトルｇ_ebとの角度差ρとの関係を予め求めておき、当該関係を用いて、角ＣＥＤの角度に対応する角度差ρを、補正量ρとして求める。

そして、カメラ座標系における眼球中心の３次元座標ｅと、眼球中心Ｅから見かけの瞳孔中心までのベクトルｇ_ebと、角度補正量ρとに基づいて、カメラ座標系において、眼球中心の３次元座標から瞳孔中心の３次元座標へ向かう３次元の光軸ベクトルｇを、以下の式で計算する。

このように、補正量と眼球中心の３次元座標から光軸ベクトルが定まり、眼球中心の３次元座標と合わせれば、眼球モデルの位置姿勢が推定できる。

カメラ座標系角膜反射像計算部４０は、以下に説明するように、カメラ座標系における眼球中心の３次元座標と、光軸ベクトルと、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における角膜反射像の３次元座標を求める。

まず、カメラ座標系における眼球中心の３次元座標ｅと、光軸ベクトルｇと、眼球モデル記憶部３４に記憶されている眼球中心Ｅと角膜曲率中心Ａとの距離ｕとを用いて、以下の式に従って、カメラ座標系における角膜曲率中心Ａの3次元座標ａを推定する。

(7)

そして、ベクトルＣＡ上で、角膜曲率中心Ａからの距離がｒとなる点を求める。

具体的には、角膜反射像Ｐの3次元ベクトルを

とすると、点Ｐは直線ＣＡ上で点Ａから長さｒだけＣ側の点になるので、ｐは以下の式（8)で求められる。

(8)

角膜反射像画像座標計算部４２は、以下の説明するように、カメラ座標系における角膜反射像の３次元座標から、顔画像上の角膜反射像の画像座標を推定する。

まず、カメラパラメータを用いて、カメラ座標系における角膜反射像の３次元座標を、２次元投影する。

具体的には、ピクセル単位で表される焦点距離をｆ、 画像中心の座標を（ｘ_c，ｙ_c）とすると、角膜反射像の画像座標（Ｐ_x，Ｐ_y）は以下になる。

(9)

(10)

以上の各部の処理により、瞳孔中心の観測値から角膜反射像の画像座標を推定することができる。

瞳孔推定部２４は、図７に示すように、カメラ座標系眼球中心座標計算部５０と、カメラ座標系角膜反射像計算部５２と、眼球モデル記憶部５４と、眼球位置姿勢推定部５６と、見かけの瞳孔中心計算部６０と、瞳孔中心画像座標計算部６２とを備えている。

カメラ座標系眼球中心座標計算部５０は、カメラ座標系眼球中心座標計算部３０と同様に、顔画像から、カメラ座標系における眼球中心の３次元座標を推定する。

カメラ座標系角膜反射像計算部５２は、前記顔画像上の目の角膜反射像の位置から、カメラ座標系における角膜反射像の３次元座標を推定する。

まず、従来既知の技術を用いて、顔画像から角膜反射像を検出し、画像座標における角膜反射像の座標

を求める。

そして、角膜反射像の画像座標からカメラ座標系における角膜反射像の３次元座標を推定する。

具体的には、カメラ座標系における角膜反射像座標のＺ座標を何等かの測距手段で求め、ｐ_zとする。画像中心の座標を（ｘ_c，ｙ_c）とする。カメラ座標系における角膜反射像の３次元座標

はピクセル単位で表される焦点距離をｆとすると以下になる。

(11)

眼球モデル記憶部５４には、眼球モデル記憶部３４と同様に、角膜曲率半径ｒ、眼球中心Ｅと角膜曲率中心Ａとの距離ｕ、角膜曲率中心Ａと真の瞳孔中心Ｂとの距離ｓ、及び大気の屈折率ｎ1と房水の屈折率ｎ2の比(ｎ1/ｎ2)が記憶されている。なお、角膜曲率中心Ａと真の瞳孔中心Ｂとの距離ｓ、及び大気の屈折率ｎ1と房水の屈折率ｎ2の比(ｎ1/ｎ2)は、角膜反射法視線検出部２８で角膜反射法を用いてカメラ座標系における視線ベクトルを計算する際に用いられるパラメータである。

眼球位置姿勢推定部５６は、以下に説明するように、カメラ座標系における眼球中心の３次元座標と、カメラ座標系における角膜反射像の３次元座標とに基づいて、カメラ座標系において、眼球中心の３次元位置から角膜曲率中心の３次元位置へ向かう３次元の光軸ベクトルを計算する。

まず、画像撮像部１２の撮像方向と照射部１３の照射方向とが同軸とみなされるように配置されていること、カメラ座標系における角膜反射像の３次元座標ｐ、及び角膜曲率半径ｒを用いて、カメラ座標系における角膜曲率中心Ａの3次元座標を推定する。

具体的には、角膜曲率中心Ａの３次元ベクトルをａとすると、ａは直線ＣＰを長さｒだけＰ側に伸ばしたものなので、以下の式で表される。

(12)

そして、カメラ座標系における角膜曲率中心Ａの３次元座標と、カメラ座標系における眼球中心の３次元座標とから光軸ベクトルを求める。

具体的には、光軸ベクトルｇは、カメラ座標系における眼球中心Ｅからカメラ座標系における角膜曲率中心Ａに向かうベクトルなので、以下の式に従って計算される。

(13)

以上のように、光軸ベクトルが定まり、眼球中心座標の推定値と合わせれば、眼球モデルの位置姿勢が推定できる。

見かけの瞳孔中心計算部６０は、以下に説明するように、カメラ座標系における眼球中心の３次元座標と、光軸ベクトルと、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における見かけの瞳孔中心の３次元座標を求める。

まず、光軸ベクトルｇと、カメラ座標系における眼球中心の３次元座標ｅとに基づいて、カメラ座標系における眼球中心の３次元座標Ｅとカメラ座標系の角膜曲率中心の３次元座標Ａとを結んだ線分ＥＡと、カメラ座標系における眼球中心の３次元座標Ｅと画像撮像部１２の３次元座標Ｃとを結んだ線分ＥＣとのなす角ＣＥＡを算出する。

具体的には、角ＣＥＤの角度をωとし、角ＤＥＡの角度をρとし、角ＣＥＡの角度を

とすると、以下の式で表される。

(14)

従って、内積計算により、

は以下の式で求められる。

(15)

そして、算出された角ＣＥＡの角度に対応して予め定められた角度補正量を取得する。

具体的には、角ＣＥＡの角度と、角膜反射法で求める視線ベクトルｇ_crと眼球モデルフィッティング法で求める視線ベクトルｇ_ebとの角度差ρとの関係を予め求めておき、当該関係を用いて、角ＣＥＡの角度に対応する角度差ρを、補正量ρとして求める。

そして、カメラ座標系における眼球中心の３次元座標ｅと、光軸ベクトルｇと、角度補正量ρと、に基づいて、カメラ座標系における眼球中心の３次元座標Ｅとカメラ座標系における角膜曲率中心の３次元座標Ａとを結んだベクトルｇ_ebを以下の式で計算する。

そして、カメラ座標系における眼球中心の３次元座標Ｅとカメラ座標系における角膜曲率中心の３次元座標Ａとを結んだベクトルｇ_eb上で、角膜曲率中心Ａからの距離がｒとなる点を求める。

具体的には、ＥとＤの距離をｘとおく。三角形ＥＤＡにおいて、ＡＥ＝ｕ、ＡＤ＝ｒ、角ＤＥＡの角度＝ρなので、余弦定理により以下の式(17)が成り立つ。ｘの二次方程式である式(17)をｘについて解き、大きい方の解をＥとＤの距離ｘとする。

(17)

また、瞳孔中心Ｄの3次元ベクトルを

とすると、Ｄはベクトルｇ_eb上でＥから距離ｘにある点なので、ｄは以下の式(18)で求められる。

(18)

瞳孔中心画像座標計算部６２は、カメラ座標系における見かけの瞳孔中心の３次元座標から、顔画像上の瞳孔中心の画像座標を推定する。

具体的には、カメラパラメータを用いて、カメラ座標系における見かけの瞳孔中心の３次元座標を、２次元投影する。

例えば、ｆをピクセル単位で表される焦点距離、画像中心座標を（ｘ_c，ｙ_c）とすると、瞳孔中心の画像座標（Ｄ_x，Ｄ_y）は以下になる。

(19)

(20)

以上説明した各部の処理により、角膜反射像の観測値から瞳孔中心の画像座標を推定することができる。

角膜反射法視線検出部２８は、角膜反射像の画像座標と、瞳孔中心の画像座標とに基づいて、角膜反射法により、視線ベクトルを求めて、出力部１６により出力する。

この際、角膜反射像の推定値と検出された角膜反射像の観測値とを比較して、角膜反射像の観測値が正しいかどうか判断すると共に、瞳孔中心の推定値と検出された瞳孔中心の観測値とを比較して、瞳孔中心の観測値が正しいかどうか判断する。そして、正しいと判断された角膜反射像の観測値と瞳孔中心の観測値を用いて、角膜反射法により、視線ベクトルを求める。

＜視線計測装置の動作＞
次に、視線計測装置１０の動作について説明する。まず、照射部１３により近赤外の光を被験者の目に照射しているときに、画像撮像部１２で被験者の顔画像を連続的に撮像する。

そして、コンピュータ１４において、撮像された顔画像毎に、図８に示す視線計測処理ルーチンを実行する。

まず、ステップＳ１００において、画像撮像部１２で撮像された顔画像を取得する。

そして、ステップＳ１０２において、顔画像から、角膜反射像の画像座標を推定する。

ステップＳ１０４では、顔画像から、瞳孔中心の画像座標を推定する。

ステップＳ１０６では、角膜反射像の画像座標と、瞳孔中心の画像座標とに基づいて、角膜反射法により、視線ベクトルを求めて、出力部１６により出力して、視線計測処理ルーチンを終了する。

上記ステップＳ１０２は、図９に示す角膜反射像推定処理ルーチンにより実現される。

まず、ステップＳ１１０において、現在の顔画像に顔モデルをフィッティングさせることで、カメラ座標系に対する顔モデル座標系の現在の回転行列Ｒと並進ベクトルｔを求める。

そして、ステップＳ１１２において、求めた回転並進ベクトルにより、顔モデル座標系における眼球中心の３次元座標をカメラ座標系における眼球中心の３次元座標に変換する。

ステップＳ１１４では、顔画像から、瞳孔中心を検出し、画像座標系における瞳孔中心座標を求める。

ステップＳ１１６では、瞳孔中心の画像座標からカメラ座標系における３次元座標を推定する。

ステップＳ１１８では、画像撮像部１２の撮像方向と照射部１３の照射方向とが同軸とみなされるように配置されていること、カメラ座標系における見かけの瞳孔中心の３次元座標と前記カメラ座標系における眼球中心の３次元座標とを結んだ線分と、前記カメラ座標系における眼球中心の３次元座標と前記撮像部の３次元座標とを結んだ線分とのなす角ＣＥＤの角度から、角度補正量を推定する。

ステップＳ１２０では、角ＣＥＤの角度ωと、カメラ座標系における眼球中心の３次元座標ｅと、角度補正量とに基づいて、カメラ座標系において、眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の光軸ベクトルｇを計算する。

ステップＳ１２２では、カメラ座標系における眼球中心の３次元座標ｅと、光軸ベクトルｇと、眼球モデル記憶部３４に記憶されている眼球中心Ｅと角膜曲率中心Ａとの距離ｕとを用いて、カメラ座標系における角膜曲率中心Ａの３次元座標ａを推定する。

そして、ステップＳ１２４では、ベクトルＣＡ上で、角膜曲率中心Ａからの距離がｒとなる点を求め、角膜反射像Ｐの3次元ベクトルを推定する。

ステップＳ１２６では、カメラ座標系における角膜反射像の３次元座標から、顔画像上の角膜反射像の画像座標を推定する。

上記ステップＳ１０４は、図１０に示す瞳孔中心推定処理ルーチンにより実現される。

まず、ステップＳ１３０では、現在の顔画像に顔モデルをフィッティングさせることで、カメラ座標系に対する顔モデル座標系の現在の回転行列Ｒと並進ベクトルｔを求める。

そして、ステップＳ１３２において、求めた回転並進ベクトルにより、顔モデル座標系における眼球中心の３次元座標をカメラ座標系における眼球中心の３次元座標に変換する。

ステップＳ１３４では、顔画像から角膜反射像を検出し、画像座標における角膜反射像の座標を求める。

そして、ステップＳ１３６では、角膜反射像の画像座標からカメラ座標系における角膜反射像の３次元座標を推定する。

ステップＳ１３８では、画像撮像部１２の撮像方向と照射部１３の照射方向とが同軸とみなされるように配置されていること、カメラ座標系における角膜反射像の３次元座標ｐ、及び角膜曲率半径ｒを用いて、カメラ座標系における角膜曲率中心Ａの3次元座標を推定する。

そして、ステップＳ１４０において、カメラ座標系における角膜曲率中心Ａの３次元座標と、カメラ座標系における眼球中心の３次元座標とから光軸ベクトルを求める。

ステップＳ１４２では、光軸ベクトルｇと、カメラ座標系における眼球中心の３次元座標ｅとに基づいて、カメラ座標系における眼球中心の３次元座標Ｅとカメラ座標系の角膜曲率中心の３次元座標Ａとを結んだ線分ＥＡと、カメラ座標系における眼球中心の３次元座標Ｅと画像撮像部１２の３次元座標Ｃとを結んだ線分ＥＣとのなす角ＣＥＡを算出し、算出された角ＣＥＡの角度に対応して予め定められた角度補正量を取得する。

ステップＳ１４４では、カメラ座標系における眼球中心の３次元座標ｅと、光軸ベクトルｇと、角度補正量ρと、に基づいて、カメラ座標系における眼球中心の３次元座標Ｅとカメラ座標系における角膜曲率中心の３次元座標Ａとを結んだベクトルｇ_ebを計算する。

そして、ステップＳ１４６において、カメラ座標系における眼球中心の３次元座標Ｅとカメラ座標系における角膜曲率中心の３次元座標Ａとを結んだベクトルｇ_eb上で、角膜曲率中心Ａからの距離がｒとなる点を求め、カメラ座標系における見かけの瞳孔中心の３次元座標とする。

ステップＳ１４８では、カメラ座標系における見かけの瞳孔中心の３次元座標から、顔画像上の瞳孔中心の画像座標を推定する。

以上説明したように、本発明の実施の形態に係る視線計測装置によれば、簡易な構成で、顔画像上の目の瞳孔中心位置から、視線計測のために顔画像上の角膜反射像の画像座標を精度良く求めることができる。また、簡易な構成で、顔画像上の目の角膜反射像の位置から、視線計測のために顔画像上の瞳孔中心の画像座標を精度良く求めることができる。

また、カメラと照明が同軸とみなせる画像撮像部と、眼球中心推定技術と、３次元眼球モデルと、光軸ベクトルの補正技術を用いることで、角膜反射法で用いる２つの観測値（瞳孔中心と角膜反射像）の一方の観測結果から他方の画像座標のモデルベース推定が可能となる。これにより、観測値と推定値との比較で観測結果が正しいかどうか判断可能になり、低コストに観測の信頼性を上げることができる。

１０ 視線計測装置
１２ 画像撮像部
１３ 照射部
１４ コンピュータ
１６ 出力部
２０ 画像入力部
２２ 角膜反射像推定部
２４ 瞳孔推定部
２８ 角膜反射法視線検出部
３０ カメラ座標系眼球中心座標計算部
３２ 見かけの瞳孔中心計算部
３４、５４ 眼球モデル記憶部
３６、５６ 眼球位置姿勢推定部
４０ カメラ座標系角膜反射像計算部
４２ 角膜反射像画像座標計算部
５０ カメラ座標系眼球中心座標計算部
５２ カメラ座標系角膜反射像計算部
６０ 見かけの瞳孔中心計算部
６２ 瞳孔中心画像座標計算部

Claims (6)

1. 被観察者の顔を撮像する撮像部と、
   前記被観察者の目に対して光を照射する光照射部と、
   前記撮像部によって撮像された前記顔を表す顔画像から、カメラ座標系における眼球中心の３次元座標を推定するカメラ座標系眼球中心座標計算部と、
   前記顔画像上の目の瞳孔中心位置から、カメラ座標系における見かけの瞳孔中心の３次元座標を推定する瞳孔中心計算部と、
   前記カメラ座標系における眼球中心の３次元座標と、前記カメラ座標系における見かけの瞳孔中心の３次元座標とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の光軸ベクトルを計算する眼球位置姿勢推定部と、
   前記カメラ座標系における眼球中心の３次元座標と、前記光軸ベクトルと、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における角膜反射像の３次元座標を求める角膜反射像計算部と、
   前記カメラ座標系における角膜反射像の３次元座標から、前記顔画像上の角膜反射像の画像座標を推定する画像座標計算部と、
   を含む視線計測装置。
2. 前記撮像部と前記光照射部との位置関係、前記撮像部と前記目との位置関係、及び前記撮像部に関するパラメータが、前記撮像部の撮像方向と前記光照射部の光照射方向とが同軸であるとみなすための予め定められた制約条件を満たす
   請求項１記載の視線計測装置。
3. 前記眼球位置姿勢推定部は、
   前記カメラ座標系における見かけの瞳孔中心の３次元座標と前記カメラ座標系における眼球中心の３次元座標とを結んだ線分と、前記カメラ座標系における眼球中心の３次元座標と前記撮像部の３次元座標とを結んだ線分とのなす角を算出し、
   前記なす角に対応して予め定められた角度補正量を取得し、
   前記カメラ座標系における眼球中心の３次元座標と前記カメラ座標系における見かけの瞳孔中心の３次元座標とを結んだベクトルと、前記取得した前記角度補正量と、前記算出した前記なす角と、前記カメラ座標系における眼球中心の３次元座標とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から瞳孔中心の３次元位置へ向かう３次元の光軸ベクトルを計算する請求項２記載の視線計測装置。
4. 被観察者の顔を撮像する撮像部と、
   前記被観察者の目に対して光を照射する光照射部と、
   前記撮像部によって撮像された前記顔を表す顔画像から、カメラ座標系における眼球中心の３次元座標を推定するカメラ座標系眼球中心座標計算部と、
   前記顔画像上の目の角膜反射像の位置から、カメラ座標系における角膜反射像の３次元座標を推定する角膜反射像計算部と、
   前記カメラ座標系における眼球中心の３次元座標と、前記カメラ座標系における角膜反射像の３次元座標とに基づいて、前記カメラ座標系において、前記眼球中心の３次元位置から角膜曲率中心の３次元位置へ向かう３次元の光軸ベクトルを計算する眼球位置姿勢推定部と、
   前記カメラ座標系における眼球中心の３次元座標と、前記光軸ベクトルと、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における見かけの瞳孔中心の３次元座標を求める瞳孔中心計算部と、
   前記カメラ座標系における見かけの瞳孔中心の３次元座標から、前記顔画像上の瞳孔中心の画像座標を推定する画像座標計算部と、
   を含む視線計測装置。
5. 前記撮像部と前記光照射部との位置関係、前記撮像部と前記目との位置関係、及び前記撮像部に関するパラメータが、前記撮像部の撮像方向と前記光照射部の光照射方向とが同軸であるとみなすための予め定められた制約条件を満たす
   請求項４記載の視線計測装置。
6. 前記瞳孔中心計算部は、
   前記光軸ベクトルと、前記カメラ座標系における眼球中心の３次元座標とに基づいて、前記カメラ座標系における眼球中心の３次元座標と前記カメラ座標系の角膜曲率中心の３次元座標とを結んだ線分と、前記カメラ座標系における眼球中心の３次元座標と前記撮像部の３次元座標とを結んだ線分とのなす角を算出し、
   前記算出された前記なす角に対応して予め定められた角度補正量を取得し、
   前記カメラ座標系における眼球中心の3次元座標と、前記光軸ベクトルと、前記角度補正量とに基づいて、前記カメラ座標系における眼球中心の３次元座標と前記カメラ座標系における見かけの瞳孔中心の３次元座標とを結んだベクトルを算出し、
   前記算出されたベクトルと、前記カメラ座標系における眼球中心の３次元座標と、予め定められた３次元眼球モデルとに基づいて、カメラ座標系における見かけの瞳孔中心の３次元座標を求める請求項５記載の視線計測装置。