JP2018120299A - 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法 - Google Patents

Abstract

【課題】キャリブレーション処理を行わずに、視線方向を検出できる視線検出用コンピュータプログラムを提供する。【解決手段】視線検出用コンピュータプログラムは、撮像部により生成されたユーザの眼が表された画像から、ユーザの眼の瞳孔が写っている瞳孔領域及びユーザの眼を照明する照明光源の角膜反射像を検出し、画像から眼の虹彩の輪郭を抽出し、眼の形状を表すパラメータを仮定して、その仮定されたパラメータと、画像上の瞳孔領域及び角膜反射像に基づいて、仮定されたパラメータに対応するユーザの視線方向の候補及び虹彩輪郭の候補を求め、虹彩輪郭の候補を画像上に投影し、画像から抽出された虹彩輪郭と投影された虹彩輪郭の候補間の差に基づいて仮定されたパラメータ及び視線方向の候補の確からしさの評価値を算出し、評価値が所定の条件を満たす場合に視線方向の候補をユーザの視線方向とすることをコンピュータに実行させるための命令を含む。【選択図】図１２

Description

本発明は、例えば、眼を撮影して得られた画像に基づいて視線方向を検出する視線検出用コンピュータプログラム、視線検出装置及び視線検出方法に関する。

人の視線方向を検出することで、その人が興味を有しているものに関する情報を得たり、あるいは、視線方向または注視している位置に関連する操作を自動的に実行することが検討されている。なお、以下では、便宜上、人が注視している位置を単に注視位置と呼ぶ。

人の注視位置、あるいは、視線方向は、その人の瞳孔の向きと密接に関連している。そこで、人の眼を撮影して得られた画像から瞳孔を検出し、その瞳孔と基準点との位置関係により、その人の視線方向または注視位置を特定する技術が知られている。なお、基準点としては、例えば、光源の角膜反射像（以下、プルキンエ像と呼ぶ）が用いられる。

プルキンエ像と瞳孔の位置関係と、視線方向との関係は、眼球の形状によって変化する。そこで、プルキンエ像と瞳孔とに基づいて視線方向を正確に検出するために、ユーザごとに、予めキャリブレーション処理を行うことが提案されている（例えば、特許文献１を参照）。

国際公開第２０１５／０９２９７７号

しかしながら、キャリブレーション処理を行うことは、ユーザにとって煩雑である。また、視線検出の対象となるユーザが特定の人物に限られない場合には、キャリブレーション処理自体、実行できないことがある。

一つの側面では、本発明は、キャリブレーション処理を行わずに、視線方向を検出できる視線検出用コンピュータプログラムを提供することを目的とする。

一つの実施形態によれば、視線検出用コンピュータプログラムが提供される。この視線検出用コンピュータプログラムは、撮像部により生成されたユーザの眼が表された画像から、ユーザの眼の瞳孔が写っている瞳孔領域及びユーザの眼を照明する照明光源の角膜反射像を検出し、画像から、眼の虹彩の輪郭を抽出し、眼の形状を表すパラメータを仮定して、その仮定されたパラメータと、画像上の瞳孔領域及び角膜反射像に基づいて、仮定されたパラメータに対応するユーザの視線方向の候補及び虹彩輪郭の候補を求め、虹彩輪郭の候補を画像上に投影し、画像から抽出された虹彩輪郭と投影された虹彩輪郭の候補間の差に基づいて仮定されたパラメータ及び視線方向の候補の確からしさの評価値を算出し、評価値が所定の条件を満たす場合に視線方向の候補をユーザの視線方向とする、ことをコンピュータに実行させるための命令を含む。

キャリブレーション処理を行わずに、視線方向を検出できる。

視線検出装置の一実施形態であるデジタルサイネージシステムのハードウェア構成図である。 照明光源、赤外カメラ及び表示部の配置の一例を示す図である。 制御部の視線検出処理に関する機能ブロック図である。 眼の形状を表すパラメータを説明するための、眼球モデルの説明図である。 照明光源のプルキンエ像と角膜球の曲率中心との関係の説明図である。 角膜反射の法線の算出の説明図である。 瞳孔位置及び視線方向の候補の算出の説明図である。 虹彩輪郭の候補の位置算出の説明図である。 虹彩輪郭候補の投影の説明図である。 画像上の瞳孔領域及びプルキンエ像と、虹彩位置及び虹彩の向きの取り得る範囲の関係を表す図である。 評価値算出の一例を示す図である。 視線検出処理の動作フローチャートを示す図である。

以下、図を参照しつつ、視線検出装置について説明する。
この視線検出装置は、照明光源にて照明されたユーザの眼をカメラにより撮影して画像を生成し、その画像上で眼の瞳孔、虹彩及びプルキンエ像を検出し、検出された瞳孔、プルキンエ像及び虹彩に基づいて、ユーザの視線方向を検出する。その際、この視線検出装置は、眼の形状を表すパラメータを仮定し、検出された瞳孔及びプルキンエ像の位置と、仮定した眼の形状を表すパラメータとに基づいて視線方向の候補と虹彩輪郭の候補を求める。さらに、この視線検出装置は、虹彩輪郭の候補を画像上に投影して、投影された虹彩輪郭の候補と画像から抽出された虹彩輪郭との差に基づいて、仮定されたパラメータ及び視線方向の候補の確からしさを表す評価値を算出する。この視線検出装置は、評価値が所定の条件を満たすまで、眼の形状を表すパラメータを変更して、視線方向の候補及び虹彩輪郭の候補の算出を繰り返す。そしてこの視線検出装置は、評価値が所定の条件を満たすときのパラメータに基づいて得られた視線方向の候補をユーザの実際の視線方向として推定することで、キャリブレーション処理を省略することを可能とする。

なお、以下に説明する実施形態では、視線検出装置は、デジタルサイネージシステムに実装され、そして視線検出装置は、デジタルサイネージシステムのユーザの注視位置を検出する。

図１は、視線検出装置の一実施形態であるデジタルサイネージシステムのハードウェア構成図である。デジタルサイネージシステム１は、表示部２と、照明光源３と、赤外カメラ４と、入力部５と、記憶媒体アクセス装置６と、記憶部７と、制御部８とを有する。さらにデジタルサイネージシステム１は、デジタルサイネージシステム１を他の機器に接続するための通信インターフェース回路（図示せず）を有していてもよい。

表示部２は、例えば、液晶ディスプレイまたは有機エレクトロルミネッセンスディスプレイを有する。そして表示部２は、例えば、様々なテキスト、アイコン、静止画像または動画像を制御部８からの映像信号に応じて表示する。

照明光源３は、赤外光を発光する光源、例えば、少なくとも一つの赤外発光ダイオードと、制御部８からの制御信号に応じて、赤外発光ダイオードに電源（図示せず）からの電力を供給する駆動回路（図示せず）とを有する。照明光源３は、赤外カメラ４の撮影方向を照明可能なように、赤外カメラ４と同じ筐体１０に、赤外カメラ４の撮影方向へ照明光源３の発光面が向くように取り付けられている。そして照明光源３は、制御部８から照明光源３を点灯させる制御信号を受信してから、照明光源３を消灯させる制御信号を受信するまでの間、照明光を発する。

赤外カメラ４は、撮像部の一例であり、ユーザの少なくとも一方の眼が写った画像を生成する。そのために、赤外カメラ４は、照明光源３が発する赤外光に感度を持つ２次元状に配列された固体撮像素子を有するイメージセンサと、そのイメージセンサ上に被写体の像を結像する撮像光学系を有する。赤外カメラ４は、虹彩による反射像及び照明光源３以外の光源からの光のプルキンエ像が検出されることを抑制するために、イメージセンサと撮像光学系の間に、可視光カットフィルタをさらに有してもよい。また、撮像光学系は、単焦点の光学系でもよく、あるいは、可変焦点光学系であってもよい。赤外カメラ４は、視線検出処理の実行中、所定のフレームレートで撮影して画像を生成する。なお、赤外カメラ４は、この画像上でデジタルサイネージシステム１を利用するユーザの瞳に写った照明光源３のプルキンエ像及び瞳孔が識別可能な解像度を有する。そして赤外カメラ４は、画像を生成する度に、その画像を制御部８へ渡す。なお、以下の説明において、「画像」とは、特に説明が無い限り、赤外カメラ４により生成され、かつ、ユーザの眼が写った画像を表す。

また、本実施形態では、照明光源３及び赤外カメラ４は、同一の筐体１０に取り付けられる。なお、照明光源３と赤外カメラ４とは、互いに異なる筐体に設けられてもよい。

図２は、照明光源３、赤外カメラ４及び表示部２の配置の一例を示す図である。表示部２の周辺には、照明光源３及び赤外カメラ４が取り付けられた筐体１０が配置されている。そして照明光源３及び赤外カメラ４は、表示部２の表示画面を見るユーザ２００の顔へ向けられる。そして、赤外カメラ４は、ユーザ２００の少なくとも一方の眼を含む、ユーザ２００の顔全体あるいは顔の一部を撮影する。

入力部５は、例えば、キーボードと、マウスのようなポインティングデバイスとを有する。そして入力部５を介してユーザにより入力された操作信号は、制御部８へ渡される。

なお、表示部２と入力部５とは、例えば、タッチパネルディスプレイのように一体化されていてもよい。この場合、入力部５は、表示部２の表示画面上に表示されたアイコンの位置にユーザが触れた場合に、その位置に応じた操作信号を生成し、その操作信号を制御部８へ出力する。

記憶媒体アクセス装置６は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体１１にアクセスする装置である。記憶媒体アクセス装置６は、例えば、記憶媒体１１に記憶された、制御部８上で実行される、視線検出処理用のコンピュータプログラムを読み込み、制御部８に渡す。

記憶部７は、例えば、読み書き可能な不揮発性の半導体メモリ、及び読み書き可能な揮発性の半導体メモリを有する。そして記憶部７は、制御部８上で実行される、視線検出処理用のコンピュータプログラム、各種のアプリケーションプログラム及び各種のデータを記憶する。さらに、記憶部７は、ユーザの注視位置を検出するために利用される各種のデータを記憶してもよい。

例えば、記憶部７は、照明光源３及び赤外カメラ４の実空間での位置、赤外カメラ４の焦点距離などを記憶する。また、ユーザと赤外カメラ４間の距離が予め設定された距離となることが想定される場合には、記憶部７は、その予め設定された距離を記憶してもよい。

制御部８は、一つまたは複数のプロセッサ及びその周辺回路を有する。そして制御部８は、デジタルサイネージシステム１の各部と信号線を介して接続されており、デジタルサイネージシステム１全体を制御する。例えば、制御部８は、入力部５から受け取った操作信号と実行中のアプリケーションプログラムに応じて、所定の動画像などを表示部２に表示させる。

さらに、制御部８は、画像が得られる度に、視線検出処理を実行することにより、ユーザの視線方向及び注視位置を検出する。

図３は、制御部８の視線検出処理に関する機能ブロック図である。制御部８は、検出部２１と、輪郭抽出部２２と、虹彩推定部２３と、評価値算出部２４と、視線検出部２５とを有する。
制御部８が有するこれらの各部は、制御部８が有するプロセッサ上で実行されるコンピュータプログラムにより実現される機能モジュールである。また制御部８が有するこれらの各部は、その各部に対応する回路が集積された一つまたは複数の集積回路として、制御部８が有するプロセッサとは別個にデジタルサイネージシステム１に実装されてもよい。

検出部２１は、視線検出処理の実行中において、画像が得られる度に、画像上でユーザの眼の瞳孔及び照明光源３のプルキンエ像を検出する。なお、検出部２１は、全ての画像に対して同一の処理を実行すればよいので、以下では、一つの画像に対する処理について説明する。

検出部２１は、画像から、先ず、ユーザの左右の眼の何れか一方が写っている領域（以下、単に眼領域と呼ぶ）を検出する。そのために、検出部２１は、例えば、画像から眼領域を検出するように予め学習された識別器を用いて眼領域を検出する。この場合、識別器として、例えば、アダブーストまたはリアルアダブースト、サポートベクトルマシン、あるいは、ディープニューラルネットワークが利用される。そして検出部２１は、画像上にウインドウを設定し、そのウインドウの位置を変えながら、ウインドウ内の各画素の値またはそのウインドウから抽出した特徴量を識別器に入力することで、そのウインドウが眼領域か否かを判定する。また、特徴量として、例えば、Haar-like特徴量あるいはHistograms of Oriented Gradients特徴量が抽出される。

あるいは、検出部２１は、眼を表すテンプレートと、画像とのテンプレートマッチングにより、テンプレートに最も一致する領域を検出し、その検出した領域を眼領域としてもよい。あるいはまた、検出部２１は、画像上に写っている眼の領域を検出する他の様々な方法の何れかに従って眼領域を検出してもよい。

眼領域が検出されると、検出部２１は、眼領域内で瞳孔及び照明光源３のプルキンエ像を検出する。

例えば、検出部２１は、瞳孔を検出するために、瞳孔に相当するテンプレートと眼領域との間でテンプレートマッチングを行い、眼領域内でテンプレートとの一致度が最も高くなる領域を検出する。そして検出部２１は、一致度の最高値が所定の一致度閾値よりも高い場合、その検出した領域を、瞳孔が写っている瞳孔領域と判定する。なお、ユーザの周囲の明るさに応じて瞳孔のサイズは変化する。また、瞳孔は略円形であるが、赤外カメラ４が瞳孔を斜めから見ている場合、画像上での瞳孔の形状は垂直方向に長い楕円形状となる。そこでテンプレートは、瞳孔の大きさまたは形状に応じて複数準備されてもよい。この場合、検出部２１は、各テンプレートと眼領域とのテンプレートマッチングをそれぞれ実行し、一致度の最高値を求める。そして一致度の最高値が一致度閾値よりも高い場合、検出部２１は、一致度の最高値に対応するテンプレートと重なった領域を瞳孔領域と判定する。なお、一致度は、例えば、テンプレートとそのテンプレートと重なった領域との正規化相互相関値として算出される。また一致度閾値は、例えば、0.7または0.8に設定される。

また瞳孔が写っている領域の輝度は、その周囲の領域の輝度よりも低く、瞳孔は略円形である。そこで検出部２１は、眼領域内で、同心円状に半径の異なる２本のリングを持つ２重リングフィルタを設定する。そして検出部２１は、外側のリングに相当する画素の輝度の平均値から内側の画素の輝度の平均値を引いた差分値が所定の閾値よりも大きい場合、その内側のリングで囲まれた領域を瞳孔領域としてもよい。また検出部２１は、内側のリングで囲まれた領域の平均輝度値が所定の閾値以下であることを、瞳孔領域として検出する条件に加えてもよい。この場合、所定の閾値は、例えば、眼領域内の最大輝度値と最小輝度値の差の10％〜20％を、最小輝度値に加えた値に設定される。

なお、検出部２１は、画像上で瞳孔が写っている領域を検出する他の様々な方法の何れかを用いて、瞳孔領域を検出してもよい。

また、照明光源３のプルキンエ像が写っている領域の輝度は、その周囲の領域の輝度よりも高く、その輝度値は略飽和している（すなわち、輝度値が、画素値が取り得る輝度の値の略最高値となっている）。また、照明光源３のプルキンエ像が写っている領域の形状は、照明光源３の発光面の形状と略一致する。そこで検出部２１は、照明光源３のプルキンエ像を検出するために、眼領域内で、照明光源３の発光面の輪郭形状と略一致する形状を持ち、かつ、大きさが異なるとともに中心が一致する２本のリングを設定する。そして検出部２１は、内側のリングに相当する画素の輝度の平均値である内部輝度平均値から外側の画素の輝度の平均値を引いた差分値を求める。検出部２１は、その差分値が所定の差分閾値よりも大きく、かつ内側輝度平均値が所定の輝度閾値よりも高い場合、その内側のリングで囲まれた領域を照明光源３のプルキンエ像とする。なお、差分閾値は、例えば、眼領域内の近傍画素間の差分値の平均値とすることができる。また所定の輝度閾値は、例えば、眼領域内での輝度値の最高値の80%とすることができる。

なお、検出部２１は、画像上で光源のプルキンエ像が写っている領域を検出する他の様々な方法の何れかを用いて、照明光源３のプルキンエ像が写っている領域を検出してもよい。

検出部２１は、瞳孔領域に含まれる各画素の水平方向座標値の平均値及び垂直方向座標値の平均値を、瞳孔領域の重心（以下、単に瞳孔重心と呼ぶ）の位置座標として算出する。同様に、検出部２１は、プルキンエ像が写っている領域に含まれる各画素の水平方向座標値の平均値及び垂直方向座標値の平均値を、プルキンエ像の重心の位置座標として算出する。

検出部２１は、眼領域を表す情報及び瞳孔重心の位置座標を輪郭抽出部２２へ通知する。また検出部２１は、瞳孔重心の位置座標及びプルキンエ像の重心の位置座標を虹彩推定部２３へ通知する。

輪郭抽出部２２は、眼領域から虹彩の輪郭を抽出する。

まぶたよりも眼側に位置する部分の画素の輝度は、まぶたよりも外側に位置する部分の画素の輝度と大きく異なる。同様に、虹彩に相当する部分の画素の輝度と、虹彩の周囲に相当する部分（いわゆる白眼）の画素の輝度間の差も大きい。さらに、虹彩の輪郭（以下、単に虹彩輪郭と呼ぶ）は、瞳孔重心を中心とする略円形状となる。そこで輪郭抽出部２２は、まぶたに沿った輪郭（以下、単にまぶた輪郭と呼ぶ）以外で、瞳孔重心を中心とする略円形状の輪郭を虹彩輪郭として抽出する。

そのために、輪郭抽出部２２は、眼領域内の各画素に対して、例えば、CannyフィルタまたはSobelフィルタを用いてエッジ画素を検出する。そして輪郭抽出部２２は、例えば、エッジ画素が略水平方向に眼の大きさに相当する所定数以上連結された２本のエッジ線を、それぞれ、まぶた輪郭とする。

さらに、輪郭抽出部２２は、まぶた輪郭以外で、瞳孔重心から略等距離に位置し、かつ、瞳孔重心に近い方の輝度値が瞳孔重心から遠い方の輝度値よりも低くなるエッジ画素の集合を虹彩輪郭として抽出する。その際、輪郭抽出部２２は、瞳孔重心からの距離が所定の範囲内となるエッジ画素から虹彩輪郭を抽出してもよい。所定の範囲は、例えば、画像上で想定される虹彩のサイズの最小値に相当する、瞳孔重心から虹彩輪郭までの距離を下限とし、画像上で想定される虹彩のサイズの最大値に相当する、瞳孔重心から虹彩輪郭までの距離を上限とする範囲に設定される。また、輪郭抽出部２２は、瞳孔重心からの距離ごとに、まぶた輪郭以外で瞳孔重心に近い方の輝度値が瞳孔重心から遠い方の輝度値よりも低くなるエッジ画素の数をカウントし、その数が最大となるときのエッジ画素の集合を虹彩輪郭として抽出してもよい。

あるいは、輪郭抽出部２２は、画像から虹彩輪郭を抽出する他の様々な方法の何れかに従って虹彩輪郭を抽出してもよい。

輪郭抽出部２２は、抽出した虹彩輪郭を表す情報を評価値算出部２４へ通知する。

虹彩推定部２３は、眼の形状を表すパラメータを仮定し、仮定したパラメータと、瞳孔重心及びプルキンエ像の重心とに基づいて、ユーザの視線方向の候補及び実空間でのユーザの眼の虹彩輪郭の候補の位置を求める。そして虹彩推定部２３は、虹彩輪郭の候補を画像上に投影する。

図４は、眼の形状を表すパラメータを説明するための、眼球モデルの説明図である。図４に示されるように、眼球４００は、水晶体などを覆う強膜４０１と、角膜４０２とを含んでいる。そして角膜４０２は、強膜４０１に対して、瞳孔４０３及び虹彩４０４の表面において外側に凸となるように形成されている。そこで、眼球モデル４１０は、強膜で形成される球４１１と、角膜で形成される球４１２とが部分的に重なったものとして、眼球４００をモデル化することで得られる。

視線方向は、角膜で形成される球４１２の曲率中心eCCから、瞳孔を通るベクトル４２１により表現可能である。また、眼球モデル４１０において、虹彩のモデル４１４は、強膜で形成される球４１１と角膜で形成される球（以下、角膜球と呼ぶ）４１２とが交差する円として表され、瞳孔のモデル４１３は、虹彩のモデル４１４の中心として表される。そしてベクトル４２１は、虹彩のモデル４１４を表す円の法線となる。したがって、虹彩輪郭の実空間上の位置が分かれば、虹彩に対する法線が求められるので、その法線方向として視線方向が求められる。そして、虹彩輪郭の位置及びサイズは、角膜球４１２の半径（以下、角膜半径CRと呼ぶ）と、角膜球４１２の曲率中心eCCから虹彩までの距離（以下、虹彩オフセットIOと呼ぶ）に基づいて決定される。また、角膜半径CR及び虹彩オフセットIOは、個人ごとに異なり得る。そこで、本実施形態では、眼の形状を表すパラメータとして、角膜半径CR及び虹彩オフセットIOが規定される。

図５は、照明光源３のプルキンエ像と角膜球の曲率中心との関係の説明図である。照明光源３からの照明光は角膜５０１の表面で反射されて赤外カメラ４に達する。この場合、照明光源３から照明光を反射する角膜上の反射位置５０２へ向かう入射照明光５０３と、反射位置５０２において反射されて赤外カメラ４へ向かう反射光５０４とがなす角は、反射位置５０２における角膜５０１の表面の法線５０５で２等分される。法線５０５は、角膜５０１の曲率中心eCCを通る。また、反射位置５０２と曲率中心eCC間の距離は、角膜半径CRと等しい。したがって、照明光源３、赤外カメラ４、及び反射位置５０２の位置関係が分かれば、角膜半径CRを仮定することで、角膜５０１の曲率中心eCCの位置が求められる。また、画像上でのプルキンエ像の位置は、赤外カメラ４から反射位置５０２へ向かう方向を表しているので、照明光源３と赤外カメラ４の位置関係、及び、赤外カメラ４から反射位置５０２までの距離が分かれば、反射位置５０２及び法線５０５が求められる。したがって、画像上でのプルキンエ像に対応する像面上の位置５１１と、仮定された角膜半径CRに基づいて、角膜５０１の曲率中心eCCの位置が仮定される。

さらに、画像上での瞳孔の位置は、赤外カメラ４から瞳孔へ向かう方向を表している。そのため、角膜５１０の曲率中心eCCからの虹彩オフセットIOを仮定することで、画像上の瞳孔に対応する像面上の位置５１２、角膜５１０の曲率中心eCC及び仮定された虹彩オフセットIOに基づいて視線方向の候補eEV及び虹彩輪郭の候補WIrisの位置が求められる。

したがって、本実施形態では、虹彩推定部２３は、下記の虹彩推定手順に従って、視線方向の候補及び虹彩輪郭の候補を求める。
（１）仮定した角膜半径CR及び虹彩オフセットIOの組を一つ設定する。
（２）画像上のプルキンエ像の位置と、照明光源３、赤外カメラ４及び赤外カメラ４から角膜までの位置関係に基づいて角膜反射の法線を求める。
（３）仮定した角膜半径CRと角膜反射の法線に基づいて、仮定された角膜の曲率中心eCCを求める。
（４）画像上の瞳孔重心の位置と、仮定された角膜の曲率中心eCCと、虹彩オフセットIOに基づいて、瞳孔位置及び視線方向の候補を求める。
（５）視線方向及び瞳孔位置の候補、及び、仮定された虹彩オフセットIO及び角膜半径CRに基づいて、虹彩輪郭の候補を求める。
（６）虹彩輪郭の候補を画像上に投影する。
（７）（１）〜（６）の手順を、画像上に投影された虹彩輪郭の候補と、画像から検出された虹彩輪郭とに基づいて算出される評価値が所定の条件を満たすまで繰り返す。
以下、各手順の詳細について説明する。

（１）虹彩推定部２３は、仮定した角膜半径CR及び虹彩オフセットIOの組を一つ設定する。虹彩推定部２３は、最初の一組を設定する際、例えば、眼球モデルにおける、角膜半径の平均値及び虹彩オフセットの平均値を、それぞれ、角膜半径CR及び虹彩オフセットIOに設定する。あるいは、虹彩推定部２３は、最初の一組を設定する際、角膜半径CRの取り得る値の範囲内からランダムに選択した値を角膜半径CRとし、かつ、虹彩オフセットIOの取り得る値の範囲内からランダムに選択した値を虹彩オフセットIOとしてもよい。

また、虹彩推定部２３は、虹彩推定手順の２回目以降において、直前の虹彩推定手順で得られた虹彩輪郭の候補に基づいて算出された評価値が減少するように、直前の虹彩推定手順にて仮定された角膜半径CR及び虹彩オフセットIOの少なくとも一方の値を変更する。そして虹彩推定部２３は、変更後の角膜半径CR及び虹彩オフセットIOを用いて虹彩推定手順を実行することで、虹彩輪郭の候補及び視線方向の候補を更新する。その際、虹彩推定部２３は、例えば、最急降下法あるいはシミュレーティッドアニーリングといった、最適解の探索手法の何れかに従って角膜半径CR及び虹彩オフセットIOの少なくとも一方の値を変更すればよい。なお、評価値の詳細については後述する。

あるいは、虹彩推定部２３は、虹彩推定手順の２回目以降の実行の際にも、角膜半径CR及び虹彩オフセットIOを、それらの取り得る値の範囲内でランダムに選択してもよく、あるいは、所定の変更量ずつ順に変化させてもよい。

（２）虹彩推定部２３は、画像上のプルキンエ像の位置と、照明光源３、赤外カメラ４及び赤外カメラ４から角膜までの位置関係に基づいて角膜反射の法線を求める。

図６は、角膜反射の法線の算出の説明図である。図６において、z軸は、赤外カメラ４の光軸と平行な方向を表す。またx軸は、z軸に対して直交し、かつ、赤外カメラ４と照明光源３とが並ぶ方向を表す。そしてLは、照明光源３の実空間の位置を表し、Cは、赤外カメラ４の実空間の位置を表す。またeRRは、角膜表面における照明光源３からの照明光の反射位置を表す。なお、照明光源３と赤外カメラ４の実空間の位置は、例えば、記憶部７に予め記憶される。この場合、角∠L-eRR-Cを２等分する角膜反射の法線６０１と、x軸との交点eWは、次式に従って算出される。

ここで、反射位置eRRは、画像上でのプルキンエ像の位置に対応する、実空間での赤外カメラ４の像面６０２上の位置errと、赤外カメラ４の光軸方向（すなわち、z軸方向）に沿った赤外カメラ４から角膜までの距離eRRzとに基づいて、次式に従って求められる。

なお、fは赤外カメラ４の焦点距離である。そして位置errは、画像上でのプルキンエ像の位置から、例えば、ピンホールモデルに従って算出される。また、距離eRRzは、例えば、ユーザの位置が予め想定される場合、記憶部７に予め記憶されていてもよい。あるいは、距離eRRzは、デジタルサイネージシステム１がステレオカメラあるいはデプスカメラといった距離センサ（図示せず）を有している場合、その距離センサによる測定値に基づいて求められてもよい。あるいはまた、画像にユーザの両眼が写っている場合には、赤外カメラ４の焦点距離、及び、人の平均的な両眼の中心間距離（64mm）に対応する画像上での距離に対する画像上での両眼の中心間距離の比に基づいて、距離eRRzは算出されてもよい。なお、この場合には、検出部２１が左右それぞれの眼の眼領域を検出し、虹彩推定部２３は、各眼領域の中心間の距離を、画像上での両眼のそれぞれの中心間距離として算出すればよい。

虹彩推定部２３は、交点eWと反射点eRRとに基づいて、次式に従って角膜反射の法線を表す単位法線ベクトルeMMを算出する。

（３）虹彩推定部２３は、仮定した角膜半径CRと角膜反射の法線に基づいて、仮定された角膜の曲率中心eCCを求める。例えば、虹彩推定部２３は、次式に従って、仮定された角膜の曲率中心eCCの位置を算出する。

（４）虹彩推定部２３は、画像上の瞳孔重心の位置と、仮定された角膜の曲率中心eCCと、虹彩オフセットIOに基づいて、瞳孔位置の候補及び視線方向の候補を求める。

図７は、瞳孔位置の候補及び視線方向の候補の算出の説明図である。図７に示されるように、瞳孔位置の候補eDDは、仮定された角膜の曲率中心eCC及び虹彩オフセットIOが正しい場合、次式で表される、その曲率中心eCCを中心とし、半径IOの球７００の表面上に位置すると想定される。

ここで、Pは、（５）式で表される球上の任意の点を表す。

一方、瞳孔位置の候補eDDは、赤外カメラ４から、画像上での瞳孔重心の位置に対応する方向に位置する。したがって、瞳孔位置の候補eDDは、赤外カメラ４の位置Cから、画像上での瞳孔重心の位置に対応する、実空間での赤外カメラ４の像面７０１上の位置７０２へ向かうベクトルeddに基づいて次式で表される。

ここでtは、係数である。したがって、瞳孔位置の候補eDDについては、（５）式及び（６）式の両方が成立するので（すなわち、eDDは（５）式におけるPの何れかに相当）、瞳孔位置の候補eDDは、次式をtについて解くことにより算出される。

ただし、etは、（７）式の解となる二つの係数tのうち、小さい方の値である。すなわち、ベクトルeddと球７００の二つの交点のうちの赤外カメラ４の位置に近い方の位置が瞳孔位置の候補eDDとなる。

また、上記のように、視線方向の候補は、角膜球の曲率中心eCCと瞳孔位置の候補eDDとを結ぶ方向となるので、次式に従って算出されるベクトルeEVで表される。

（５）虹彩推定部２３は、視線方向及び瞳孔位置の候補、及び、仮定された虹彩オフセットIO及び角膜半径CRに基づいて、虹彩輪郭の候補を求める。

図８は、虹彩輪郭の候補の位置算出の説明図である。視線方向が赤外カメラ４の光軸方向（すなわち、z軸方向）と平行である場合、虹彩輪郭は、角膜球の曲率中心eCCからz軸方向に沿って虹彩オフセットIOだけ離れた位置を中心とし、z軸と直交する半径IR{=(CR²-IO²)^1/2)の円で表される。この円IRISは、角膜球の曲率中心eCCを原点として、次式で表される。

ここでtは媒介変数である。したがって、虹彩推定部２３は、円IRISを、角膜球の曲率中心eCCから円IRISの中心へ向かう方向が視線方向の候補eEVと平行となるように、角膜球の曲率中心eCCを回転中心として、次式に従って円IRISを回転する。これにより、角膜球の曲率中心eCCを原点とする、虹彩輪郭の候補の位置が算出される。

なお、φは、xz平面における、z軸に対する視線方向の候補eEVの回転角であり、θは、x軸及びz軸と直交するy軸とz軸とで表されるyz平面における、z軸に対する視線方向の候補eEVの回転角である。そしてρは、z軸周りの視線方向の候補eEVの回転角であり、この定義からρ=0となる。また、eEV_x、eEV_y、eEV_zは、それぞれ、視線方向の候補eEVのx方向成分、y方向成分、z方向成分である。

同様に、虹彩推定部２３は、円IRISの中心も、角膜球の曲率中心eCCから円IRISの中心へ向かう方向が視線方向の候補eEVと平行となるように、角膜球の曲率中心eCCを回転中心として次式に従って回転する。これにより、角膜球の曲率中心eCCを原点とする、瞳孔の位置pupPが算出される。

したがって、赤外カメラ４の位置を原点とする、虹彩輪郭の候補WIrisは、次式で表される。

（６）虹彩推定部２３は、虹彩輪郭の候補を画像上に投影する。

図９は、虹彩輪郭候補の投影の説明図である。図９に示されるように、虹彩輪郭の候補WIris上の点から赤外カメラ４へと向かう線９０１と、赤外カメラ４からその光軸方向に沿って焦点距離fだけ離れた位置にある、赤外カメラ４の像面９０２上の交点が、虹彩輪郭の候補WIris上の点の対応点となる。したがって、虹彩推定部２３は、次式に従って、虹彩輪郭の候補WIrisに対応する像面９０２上の対応楕円CIrisを求める。

ここで、WIris_zは、虹彩輪郭の候補WIris上の任意の点における、その点から赤外カメラ４までのz軸に沿った距離であり、その任意の点に対応するtの値を（１２）式に代入することで算出される。

虹彩推定部２３は、楕円CIrisに対応する、画像上の楕円を、例えば、ピンホールモデルに従って求めることで、画像上に投影された、虹彩輪郭の候補（以下、投影虹彩輪郭と呼ぶ）９０３を求めることができる。

虹彩推定部２３は、画像上での投影虹彩輪郭の位置を評価値算出部２４へ通知する。また虹彩推定部２３は、仮定した角膜半径CR、虹彩オフセットIO、視線方向の候補を表すベクトルeEVを記憶部７に記憶する。

評価値算出部２４は、投影虹彩輪郭が求められる度に、仮定された眼球の形状を表すパラメータ、及びそのパラメータに基づいて求められた視線方向の候補の確からしさを表す評価値を算出する。

図１０は、画像上の瞳孔領域及びプルキンエ像と、虹彩位置及び虹彩の向きの取り得る範囲の関係を表す図である。上記のように、本実施形態では、画像１０００上のプルキンエ像１００１の位置から角膜半径CRを仮定することで角膜の曲率中心eCCの位置が仮定される。そしてその曲率中心eCC、仮定された虹彩オフセットIO及び画像１０００上の瞳孔重心１００２から視線方向の候補eEVが得られ、その視線方向の候補eEVに対応する虹彩位置及び虹彩の向きの候補も得られる。そのため、画像１０００上のプルキンエ像１００１と瞳孔重心１００２との位置関係により、虹彩の位置及び虹彩の向きが取り得る範囲１０１０が限定される。したがって、その範囲１０１０に含まれる、虹彩の位置及び虹彩の向きの組み合わせに相当する、仮定された角膜半径CR及び虹彩オフセットIOについての確からしさは、投影虹彩輪郭と画像から抽出された虹彩輪郭との比較により確認することができる。そこで、本実施形態では、評価値算出部２４は、評価値を、画像から抽出された虹彩輪郭と投影虹彩輪郭との差に基づいて算出する。

図１１は、評価値算出の一例を示す図である。本実施形態では、評価値算出部２４は、画像から抽出された虹彩輪郭上の画素１１０１ごとに、その画素１１０１から投影虹彩輪郭１１０２までの水平方向の距離dhを算出する。そして評価値算出部２４は、画素１１０１ごとの算出された距離dhの平均値を評価値Eとして算出する。

仮定された眼球の形状を表すパラメータ、及びそのパラメータに基づいて求められた視線方向の候補が正しければ、画像から抽出された虹彩輪郭と投影虹彩輪郭とは略一致すると想定される。逆に、視線方向の候補と実際の視線方向との差が大きいほど、画像から抽出された虹彩輪郭と投影虹彩輪郭との位置の差も大きくなると想定される。したがって、評価値Eが小さいほど、仮定された眼球の形状を表すパラメータ、及びそのパラメータに基づいて求められた視線方向の候補は確からしい。

なお、変形例によれば、評価値算出部２４は、画像から抽出された虹彩輪郭上の各画素についての距離dhの中央値を評価値としてもよい。あるいは、評価値算出部２４は、画像から抽出された虹彩輪郭上の各画素について、その画素から投影虹彩輪郭までの最短距離を求め、その最短距離の平均値あるいは中央値を評価値としてもよい。

評価値算出部２４は、算出した評価値Eを視線検出部２５へ通知する。

視線検出部２５は、評価値算出部２４から通知された評価値Eが、画像から抽出された虹彩輪郭と投影虹彩輪郭とが略一致することに対応する所定の条件を満たすか否か判定する。その所定の条件は、例えば、評価値Eが1画素に相当する値以下となることである。そして視線検出部２５は、評価値Eが所定の条件を満たさない場合、虹彩推定部２３へ、仮定された眼の形状を表すパラメータを変更することを通知する。

一方、視線検出部２５は、評価値Eが所定の条件を満たす場合、記憶部７に記憶されている、最新の視線方向の候補eEVを、ユーザの実際の視線方向として推定する。これにより、キャリブレーション処理が行われなくても、ユーザの視線方向が正確に検出される。

視線検出部２５は、さらに、検出した視線方向に基づいて、ユーザの注視位置を検出してもよい。例えば、視線検出部２５は、視線方向と注視位置との関係を表す注視位置テーブルを参照することにより、注視位置を決定する。なお、視線方向と注視位置との関係は、その注視位置（例えば、表示部２の表示画面）とユーザとの間の距離に応じて変化する。そして赤外カメラ４は、表示部２の周辺に配置されているので、赤外カメラ４とユーザとの間の距離と、ユーザの注視位置とユーザとの間の距離は、略等しいことが想定される。

そこで、注視位置テーブルは、赤外カメラ４とデジタルサイネージシステム１を利用するユーザとの間の想定される距離（例えば、1m、2mなど）に応じて、予め複数用意され、記憶部７に保存される。視線検出部２５は、赤外カメラ４とユーザ間の距離に応じた注視位置テーブルを選択する。そして視線検出部２５は、選択した注視位置テーブルを参照して、視線方向に対応する注視位置を求めればよい。なお、赤外カメラ４とユーザ間の距離は、虹彩推定部２３が利用するeRRzと同様に求められればよい。

制御部８は、ユーザの注視位置を追跡することで、注視位置が一定時間以上停滞した位置あるいは範囲を特定する。そして制御部８は、その位置または範囲に応じた処理を実行する。例えば、制御部８は、その位置または範囲において、表示部２に表示されているアイコンまたはコンテンツに関連する情報を表示部２に表示させてもよい。

図１２は、制御部８により実行される、視線検出処理の動作フローチャートを示す。制御部８は、画像が取得される度に、下記の動作フローチャートに従って視線検出処理を実行する。

検出部２１は、赤外カメラ４から取得した画像上で左右何れか一方の眼領域を検出する（ステップＳ１０１）。また、検出部２１は、検出された眼領域において、瞳孔重心及び照明光源３のプルキンエ像を検出する（ステップＳ１０２）。

また、輪郭抽出部２２は、検出された眼領域から虹彩輪郭を抽出する（ステップＳ１０３）。

虹彩推定部２３は、仮定された角膜半径CR及び虹彩オフセットIRの組を一つ設定する（ステップＳ１０４）。また、虹彩推定部２３は、画像上のプルキンエ像の位置と、照明光源３、赤外カメラ４及び赤外カメラ４から角膜までの位置関係に基づいて角膜反射の法線を求める（ステップＳ１０５）。そして虹彩推定部２３は、仮定された角膜半径CRと角膜反射の法線に基づいて、仮定された角膜の曲率中心eCCを求める（ステップＳ１０６）。さらに、虹彩推定部２３は、画像上の瞳孔重心の位置と、仮定された角膜の曲率中心eCCと、虹彩オフセットIOに基づいて、瞳孔位置の候補及び視線方向の候補eEVを求める（ステップＳ１０７）。そして虹彩推定部２３は、視線方向の候補eEV及び瞳孔位置の候補、及び、仮定された虹彩オフセットIO及び角膜半径CRに基づいて、虹彩輪郭の候補を求める（ステップＳ１０８）。そして虹彩推定部２３は、虹彩輪郭の候補を画像上に投影する（ステップＳ１０９）。

評価値算出部２４は、画像から抽出された虹彩輪郭と、投影虹彩輪郭間の差に基づいて、仮定された角膜半径CR及び虹彩オフセットIRの組及び視線方向の候補eEVの確からしさを表す評価値Eを算出する（ステップＳ１１０）。

視線検出部２５は、評価値Eが所定の条件を満たすか否か判定する（ステップＳ１１１）。評価値Eが所定の条件を満たさない場合（ステップＳ１１１−Ｎｏ）、視線検出部２５は、その旨を虹彩推定部２３へ通知する。そして虹彩推定部２３は、仮定された角膜半径CR及び虹彩オフセットIRの少なくとも一方を変更する（ステップＳ１１２）。そして制御部８は、ステップＳ１０５以降の処理を繰り返す。

一方、評価値Eが所定の条件を満たす場合（ステップＳ１１１−Ｙｅｓ）、視線検出部２５は、視線方向の候補eEVを、ユーザの実際の視線方向として推定する（ステップＳ１１３）。そして制御部８は、視線方向検出処理を終了する。なお、ステップＳ１０３の処理と、ステップＳ１０４〜Ｓ１０９の処理の順序は入れ替えられてもよい。

以上に説明してきたように、この視線検出装置は、画像から検出された瞳孔及び照明光源のプルキンエ像の位置から、ユーザの視線方向の候補及び虹彩輪郭の候補を、眼の形状を表すパラメータを仮定することで求める。さらに、この視線検出装置は、虹彩輪郭の候補を画像上に投影したものと、画像から抽出された虹彩輪郭との差に基づいて、仮定したパラメータ及び仮定したパラメータに基づいて求めれられた視線方向の候補の確からしさを表す評価値を算出する。そしてこの視線検出装置は、その評価値が所定の条件を満たす眼の形状を表すパラメータを求め、そのパラメータに対応する視線方向の候補を、ユーザの実際の視線方向とする。そのため、この視線検出装置は、キャリブレーション処理を行わなくても、ユーザの視線方向を正確に推定できる。

なお、変形例によれば、制御部８は、一旦ユーザの視線方向が検出されると、その検出時の角膜半径CR及び虹彩オフセットIOを記憶部７に記憶してもよい。虹彩推定部２３は、視線検出の対象となるユーザが同一であると想定される間、赤外カメラ４から画像が得られる度に、記憶部７に記憶した角膜半径CR及び虹彩オフセットIOを用いて視線方向の候補eEVを求めてもよい。そして視線検出部２５は、その視線方向の候補eEVを、ユーザの実際の視線方向として推定してもよい。これにより、同じユーザの視線方向を継続して検出する際の演算量が削減される。なお、制御部８は、例えば、赤外カメラ４から連続して得られる一連の画像にわたって眼領域が継続して検出されている期間において、視線検出の対象となるユーザが同一であると判定することができる。

また他の変形例によれば、虹彩推定部２３は、赤外カメラ４の光軸方向に沿った、赤外カメラ４から角膜までの距離eRRzも、仮定するパラメータの一つとして、視線方向の候補eEV及び投影虹彩輪郭を求めてもよい。この場合、虹彩推定部２３は、距離eRRzの初期値として、上記の実施形態と同様に、距離センサによる測定値、あるいは、画像上での両眼の中心間距離、赤外カメラ４の焦点距離及び人の平均的な両眼の中心間距離に基づいて算出した値を使用すればよい。そして評価値算出部２４は、上記の実施形態またはその変形例と同様に、その投影虹彩輪郭と画像から抽出された虹彩輪郭との差に基づいて評価値Eを算出してもよい。そして評価値Eが所定の条件を満たすまで、虹彩推定部２３は、距離eRRzも、眼の形状を表すパラメータと同様に変化させてもよい。さらに、視線検出部２５は、評価値Eが所定の条件を満たすときの距離eRRzに基づいて、複数の注視位置テーブルのなかからその距離eRRzに対応する注視位置テーブルを選択して、ユーザの注視位置を求める際に利用すればよい。
この変形例によれば、赤外カメラ４からユーザの眼の角膜までの距離が分からない場合でも、視線検出装置は、キャリブレーション処理を行わずに、ユーザの視線方向を正確に推定できる。

なお、上記の実施形態または変形例による視線検出装置は、デジタルサイネージシステムに限られず、車両の運転支援システム、コンピュータの入力支援システムなどに利用されてもよい。また用途によっては、視線検出装置は、ユーザの視線方向のみを検出し、注視位置については検出しなくてもよい。

上記の実施形態またはその変形例による視線検出装置の制御部の機能を実現するコンピュータプログラムは、磁気記録媒体、光記録媒体といったコンピュータ読み取り可能な記録媒体に記録された形で提供されてもよい。なお、この記録媒体には、搬送波は含まれない。

ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。

１ デジタルサイネージシステム（視線検出装置）
２ 表示部
３ 照明光源
４ 赤外カメラ
５ 入力部
６ 記憶媒体アクセス装置
７ 記憶部
８ 制御部
１０ 筐体
１１ 記憶媒体
２１ 検出部
２２ 輪郭抽出部
２３ 虹彩推定部
２４ 評価値算出部
２５ 視線検出部

Claims (6)

1. 撮像部により生成されたユーザの眼が表された画像から、前記眼の瞳孔が写っている瞳孔領域及び前記ユーザの眼を照明する照明光源の角膜反射像を検出し、
   前記画像から、前記眼の虹彩の輪郭を抽出し、
   前記眼の形状を表すパラメータを仮定して、当該仮定されたパラメータと、前記画像上の前記瞳孔領域及び前記角膜反射像に基づいて、当該仮定されたパラメータに対応する前記ユーザの視線方向の候補及び虹彩輪郭の候補を求め、
   前記虹彩輪郭の候補を前記画像上に投影し、
   前記画像から抽出された虹彩輪郭と前記投影された虹彩輪郭の候補間の差に基づいて前記仮定されたパラメータ及び前記視線方向の候補の確からしさの評価値を算出し、
   前記評価値が所定の条件を満たす場合に前記視線方向の候補を前記ユーザの視線方向とする、
   ことをコンピュータに実行させるための視線検出用コンピュータプログラム。
2. 前記評価値が前記所定の条件を満たさない場合、前記仮定されたパラメータを変更し、変更後の仮定されたパラメータに基づいて前記ユーザの視線方向の候補及び虹彩輪郭の候補を更新し、
   当該更新された虹彩輪郭の候補を前記画像上に投影し、
   前記投影され、かつ、更新された虹彩輪郭の候補に基づいて前記評価値を更新し、
   前記更新された評価値が前記所定の条件を満たす場合に更新された前記視線方向の候補を前記ユーザの視線方向とする、
   ことをさらにコンピュータに実行させるための請求項１に記載の視線検出用コンピュータプログラム。
3. 前記眼の形状を表すパラメータは、角膜の曲率中心から角膜までの半径と、角膜の曲率中心から虹彩までの距離とを含む、請求項１または２に記載の視線検出用コンピュータプログラム。
4. 前記ユーザの視線方向の候補及び虹彩輪郭の候補を求めることは、前記眼の形状を表すパラメータとともに、前記撮像部から前記ユーザの眼までの距離を仮定して、当該仮定されたパラメータ及び距離と、前記画像上の前記瞳孔領域及び前記角膜反射像に基づいて、当該仮定されたパラメータ及び距離に対応する前記ユーザの視線方向の候補及び虹彩輪郭の候補を求める、請求項１〜３の何れか一項に記載の視線検出用コンピュータプログラム。
5. 撮像部により生成されたユーザの眼が表された画像から、前記眼の瞳孔が写っている瞳孔領域及び前記ユーザの眼を照明する照明光源の角膜反射像を検出し、
   前記画像から、前記眼の虹彩の輪郭を抽出し、
   前記眼の形状を表すパラメータを仮定して、当該仮定されたパラメータと、前記画像上の前記瞳孔領域及び前記角膜反射像に基づいて、当該仮定されたパラメータに対応する前記ユーザの視線方向の候補及び虹彩輪郭の候補を求め、
   前記虹彩輪郭の候補を前記画像上に投影し、
   前記画像から抽出された虹彩輪郭と前記投影された虹彩輪郭の候補間の差に基づいて前記仮定されたパラメータ及び前記視線方向の候補の確からしさの評価値を算出し、
   前記評価値が所定の条件を満たす場合に前記視線方向の候補を前記ユーザの視線方向とする、
   ことを含む視線検出方法。
6. 撮像部により生成されたユーザの眼が表された画像から、前記眼の瞳孔が写っている瞳孔領域及び前記ユーザの眼を照明する照明光源の角膜反射像を検出する検出部と、
   前記画像から、前記眼の虹彩の輪郭を抽出する輪郭抽出部と、
   前記眼の形状を表すパラメータを仮定して、当該仮定されたパラメータと、前記画像上の前記瞳孔領域及び前記角膜反射像に基づいて、当該仮定されたパラメータに対応する前記ユーザの視線方向の候補及び虹彩輪郭の候補を求め、当該虹彩輪郭の候補を前記画像上に投影する虹彩推定部と、
   前記画像から抽出された虹彩輪郭と前記投影された虹彩輪郭の候補間の差に基づいて前記仮定されたパラメータ及び前記視線方向の候補の確からしさの評価値を算出する評価値算出部と、
   前記評価値が所定の条件を満たす場合に前記視線方向の候補を前記ユーザの視線方向とする視線検出部と、
   を有する視線検出装置。

Images