JP2021099664A - 角膜反射検出装置、視線検出装置、角膜反射検出方法、及び角膜反射検出プログラム - Google Patents

Abstract

【課題】角膜反射の位置を容易、かつ、精度よく検出する角膜反射検出装置、視線検出装置、角膜反射検出方法、及び角膜反射検出プログラムを提供する。【解決手段】視線検出装置１００において、角膜反射検出装置７０は、光源の射出位置と撮影部の撮影位置とが第１位置関係となるように配置した状態で、被験者の眼球に第１光を照射し、第１光が照射された状態の被験者の眼球を撮影部で撮影して第１画像データを生成し、光源の射出位置と撮影部の撮影位置とが第２位置関係となるように配置した状態で、被験者の眼球に第２光を照射し、第２光が照射された状態の被験者の眼球を撮影部で撮影して第２画像データを生成し、第１画像データを構成する画素と第２画像データを構成する画素との間で対応する画素間の輝度に関する輝度演算を行い、演算結果に基づいて、被験者の眼球における角膜反射の位置を推定する。【選択図】図２

Description

本発明は、角膜反射検出装置、視線検出装置、角膜反射検出方法、及び角膜反射検出プログラムに関する。

視線検出技術の一つとして角膜反射法が知られている。角膜反射法は、光源から射出された赤外光を被験者に照射し、赤外光が照射された被験者の眼球をカメラで撮影し、角膜表面における光源の反射像である角膜反射に対する瞳孔の位置を検出して、被験者の視線を検出する。例えば、暗瞳孔及び明瞳孔の差分画像を用いて瞳孔の位置を検出する方法が提案されている（例えば、特許文献１参照）。

特許第４４５２８３６号公報

特許文献１に記載の方法では、角膜反射の位置を容易に精度よく検出することができない。

本発明は、上記に鑑みてなされたものであり、角膜反射の位置を容易にかつ精度よく検出することが可能な角膜反射検出装置、視線検出装置、角膜反射検出方法、及び角膜反射検出プログラムを提供することを目的とする。

本発明に係る角膜反射検出装置は、被験者の眼球を照射可能な光源と、前記被験者の眼球を撮影し画像データを生成する撮影部とを有し、前記光源による光の射出位置及び前記撮影部による撮影位置の位置関係を変更可能な画像取得装置と、前記光源の前記射出位置と前記撮影部の前記撮影位置とが第１位置関係となるように配置した状態で、前記被験者の眼球に第１光を照射し、前記第１光が照射された状態の前記被験者の眼球を前記撮影部で撮影して第１画像データを生成する第１撮影モードと、前記光源の前記射出位置と前記撮影部の前記撮影位置とが第２位置関係となるように配置した状態で、前記被験者の眼球に第２光を照射し、前記第２光が照射された状態の前記被験者の眼球を前記撮影部で撮影して第２画像データを生成する第２撮影モードと、を前記光源及び前記撮影部に行わせる撮影制御部と、前記第１画像データを構成する画素と前記第２画像データを構成する画素との間で対応する画素間の輝度に関する輝度演算を行う演算部と、演算結果に基づいて、前記被験者の眼球における角膜反射の位置を推定する処理部とを備える。

本発明に係る視線検出装置は、上記の角膜反射検出装置を備える。

本発明に係る角膜反射検出方法は、光源による光の射出位置と撮影部による撮影位置とが第１位置関係となるように配置した状態で、被験者の眼球に第１光を照射し、前記第１光が照射された状態の前記被験者の眼球を前記撮影部で撮影して第１画像データを生成することと、前記光源の前記射出位置と前記撮影位置とが前記第１位置関係とは異なる第２位置関係となるように配置した状態で、前記被験者の眼球に第２光を照射し、前記第２光が照射された状態の前記被験者の眼球を前記撮影部で撮影して第２画像データを生成することと、前記第１画像データを構成する画素と前記第２画像データを構成する画素との間で対応する画素間の輝度に関する輝度演算を行うことと、演算結果に基づいて、前記被験者の眼球における角膜反射の位置を推定することとを含む。

本発明に係る角膜反射検出プログラムは、光源による光の射出位置と撮影部による撮影位置とが第１位置関係となるように配置した状態で、被験者の眼球に第１光を照射し、前記第１光が照射された状態の前記被験者の眼球を前記撮影部で撮影して第１画像データを生成する処理と、前記光源の前記射出位置と前記撮影位置とが前記第１位置関係とは異なる第２位置関係となるように配置した状態で、前記被験者の眼球に第２光を照射し、前記第２光が照射された状態の前記被験者の眼球を前記撮影部で撮影して第２画像データを生成する処理と、前記第１画像データを構成する画素と前記第２画像データを構成する画素との間で対応する画素間の輝度に関する輝度演算を行うことと、演算結果に基づいて、前記被験者の眼球における角膜反射の位置を推定する処理とをコンピュータに実行させる。

本発明によれば、角膜反射の位置を容易にかつ精度よく検出することができる。

図１は、本実施形態に係る視線検出装置の一例を模式的に示す図である。 図２は、視線検出装置の一例を示す機能ブロック図である。 図３は、視線検出装置による視線検出の原理を模式的に示す図である。 図４は、第１画像データ及び第２画像データの一例を示す図である。 図５は、差分画像データの一例を示す図である。 図６は、図５における一部（被験者の両眼の部分）を拡大して示す図である。 図７は、差分画像データのうち一部の画素を示す図である。 図８は、差分画像データの他の例を示す図である。 図９は、本実施形態に係る角膜反射検出方法の一例を示すフローチャートである。 図１０は、視線検出装置の他の例を示す図である。 図１１は、視線検出装置の他の例を示す図である。

以下、本発明に係る角膜反射検出装置、視線検出装置、角膜反射検出方法、及び角膜反射検出プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第１軸と平行な方向をＸ軸方向とし、第１軸と直交する所定面の第２軸と平行な方向をＹ軸方向とし、第１軸及び第２軸のそれぞれと直交する第３軸と平行な方向をＺ軸方向とする。所定面はＸＹ平面を含む。

［角膜反射検出装置、視線検出装置］
図１は、本実施形態に係る視線検出装置１００の一例を模式的に示す図である。本実施形態に係る視線検出装置１００は、被験者の視線を検出し、検出結果を出力する。視線検出装置１００は、例えば被験者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する。

図１に示すように、視線検出装置１００は、表示装置１０と、画像取得装置２０と、コンピュータシステム３０と、出力装置４０と、入力装置５０と、入出力インターフェース装置６０とを備える。表示装置１０、画像取得装置２０、コンピュータシステム３０、出力装置４０及び入力装置５０は、入出力インターフェース装置６０を介してデータ通信を行う。表示装置１０及び画像取得装置２０は、それぞれ不図示の駆動回路を有する。

表示装置１０は、液晶ディスプレイ（liquid crystal display：ＬＣＤ）又は有機ＥＬディスプレイ（organic electroluminescence display：ＯＬＥＤ）のようなフラットパネルディスプレイを含む。本実施形態において、表示装置１０は、表示部１１を有する。表示部１１は、画像等の情報を表示する。表示部１１は、ＸＹ平面と実質的に平行である。Ｘ軸方向は表示部１１の左右方向であり、Ｙ軸方向は表示部１１の上下方向であり、Ｚ軸方向は表示部１１と直交する奥行方向である。表示装置１０は、ヘッドマウント型ディスプレイ装置であってもよい。ヘッドマウント型ディスプレイの場合、ヘッドマウントモジュール内に画像取得装置２０のような構成が配置されることになる。

画像取得装置２０は、被験者の左右の眼球ＥＢの画像データを取得し、取得した画像データをコンピュータシステム３０に送信する。画像取得装置２０は、撮影装置（撮影部）２１を有する。撮影装置２１は、被験者の左右の眼球ＥＢを撮影することで画像データを生成する。撮影装置２１は、被験者の視線を検出する方法に応じた各種カメラを有する。本実施形態のように、被験者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する方式の場合、撮影装置２１は、赤外線カメラを有し、例えば波長８５０［ｎｍ］の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。撮影装置２１は、フレーム同期信号を出力する。フレーム同期信号の周期は、例えば２０［ｍｓｅｃ］とすることができるが、これに限定されない。撮影装置２１は、第１カメラ２１Ａ及び第２カメラ２１Ｂを有するステレオカメラの構成である。第１カメラ２１Ａは、第１撮影位置Ｑ１に配置される。第２カメラ２１Ｂは、第２撮影位置Ｑ２に配置される。第１カメラ２１Ａ及び第２カメラ２１Ｂにより取得される画像データは、例えば８ビットの値（０〜２５５）で設定される輝度を有する画素が２次元状に配列された構成である。輝度は、値が小さいほど暗く、値が大きいほど明るいことを示す。輝度の値が０の画素は、画像データに黒色として表示される。輝度の値が２５５の画素は、画像データに白色として表示される。第１カメラ２１Ａ及び第２カメラ２１Ｂは、例えば同一の解像度を有する。この場合、第１カメラ２１Ａ及び第２カメラ２１Ｂにより取得される画像データは、縦横の画素数が互いに等しくなる。

画像取得装置２０は、被験者の眼球ＥＢを照明する照明装置（光源）２２を有する。照明装置２２は、ＬＥＤ（light emitting diode）光源を含み、例えば波長８５０［ｎｍ］の近赤外光を射出可能である。照明装置２２は、撮影装置２１のフレーム同期信号に同期するように検出光（光）を射出する。照明装置２２は、第１光源２２Ａ及び第２光源２２Ｂを有する。第１光源２２Ａは、第１射出位置Ｐ１に配置され、第１光Ｌ１を射出する。第２光源２２Ｂは、第２射出位置Ｐ２に配置され、第２光Ｌ２を射出する。

コンピュータシステム３０は、視線検出装置１００の動作を統括的に制御する。コンピュータシステム３０は、演算処理装置３０Ａ及び記憶装置３０Ｂを含む。演算処理装置３０Ａは、ＣＰＵ（central processing unit）のようなマイクロプロセッサを含む。記憶装置３０Ｂは、ＲＯＭ（read only memory）及びＲＡＭ（random access memory）のようなメモリ又はストレージを含む。演算処理装置３０Ａは、記憶装置３０Ｂに記憶されているコンピュータプログラム３０Ｃに従って演算処理を実施する。

出力装置４０は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置４０は、印刷装置を含んでもよい。入力装置５０は、操作されることにより入力データを生成する。入力装置５０は、コンピュータシステム用のキーボード又はマウスを含む。なお、入力装置５０が表示装置である出力装置４０の表示部に設けられたタッチセンサを含んでもよい。

本実施形態に係る視線検出装置１００は、表示装置１０とコンピュータシステム３０とが別々の装置である。なお、表示装置１０とコンピュータシステム３０とが一体でもよい。例えば視線検出装置１００がタブレット型パーソナルコンピュータを含んでもよい。この場合、当該タブレット型パーソナルコンピュータに、表示装置、画像取得装置、コンピュータシステム、入力装置、出力装置等が搭載されてもよい。

図２は、視線検出装置１００の一例を示す機能ブロック図である。図２に示すように、コンピュータシステム３０は、撮影制御部３１と、入出力制御部３２と、演算部３３と、処理部３４と、注視点検出部３５と、記憶部３６とを有する。コンピュータシステム３０の機能は、演算処理装置３０Ａ及び記憶装置３０Ｂ（図１参照）によって発揮される。なお、コンピュータシステム３０は、一部の機能が視線検出装置１００の外部に設けられてもよい。本実施形態では、画像取得装置２０の撮影装置（撮影部）２１及び照明装置（光源）２２と、撮影制御部３１と、入出力制御部３２と、演算部３３と、処理部３４とによって角膜反射検出装置７０が構成される。なお、角膜反射検出装置７０は、注視点検出部３５及び記憶部３６の少なくとも一方を含んでもよい。

撮影制御部３１は、撮影装置２１及び照明装置２２を制御する。撮影制御部３１は、照明装置２２の第１光源２２Ａ及び第２光源２２Ｂのそれぞれについて、検出光の射出のタイミング、射出時間等を制御する。撮影制御部３１は、撮影装置２１の第１カメラ２１Ａ及び第２カメラ２１Ｂのそれぞれについて、撮影のタイミング等を制御する。撮影制御部３１は、照明装置２２による光の射出位置及び撮影装置２１による撮影位置の位置関係を変更することができる。

撮影制御部３１は、撮影装置２１及び照明装置２２に対して、以下に説明する第１撮影モード及び第２撮影モードを行わせる。

第１撮影モードは、第１射出位置Ｐ１から被験者の眼球ＥＢに第１光を照射し、第１光が照射された状態の被験者の眼球ＥＢを第１撮影位置Ｑ１から撮影して第１画像データを生成する撮影モードである。このとき、照明装置２２の射出位置と撮影装置２１の撮影位置との位置関係は、射出位置が第１射出位置Ｐ１であり、撮影位置が第１撮影位置Ｑ１である第１位置関係となる。第１位置関係において、第１撮影位置Ｑ１と第１射出位置Ｐ１との距離は第１撮影位置Ｑ１と第２射出位置Ｐ２との距離に対し遠い位置となっていることが望ましい。第１撮影モードを行う場合、撮影制御部３１は、第１光源２２Ａが第１光Ｌ１を発光し、この状態で第１カメラ２１Ａが被験者の眼球を撮影するように撮影装置２１及び照明装置２２を制御する。

第２撮影モードは、第２射出位置Ｐ２から被験者の眼球ＥＢに第２光を照射し、第２光が照射された状態の被験者の眼球ＥＢを第２撮影位置Ｑ２から撮影して第２画像データを生成する撮影モードである。このとき、照明装置２２の射出位置と撮影装置２１の撮影位置との位置関係は、射出位置が第２射出位置Ｐ２であり、撮影位置が第２撮影位置Ｑ２である第２位置関係となる。第２位置関係において、第２撮影位置Ｑ２と第２射出位置Ｐ２との距離は第２撮影位置Ｑ２と第１射出位置Ｐ１との距離に対し遠い位置となっていることが望ましい。第２撮影モードを行う場合、撮影制御部３１は、第２光源２２Ｂが第２光Ｌ２を発光し、この状態で被験者の眼球を第２カメラ２１Ｂが撮影するように撮影装置２１及び照明装置２２を制御する。

入出力制御部３２は、画像取得装置２０及び入力装置５０の少なくとも一方からのデータを取得する。入出力制御部３２は、画像取得装置２０により取得される画像データ（第１画像データ、第２画像データ）を取得する。入出力制御部３２は、取得した第１画像データ及び第２画像データを記憶部３６に記憶する。また、入出力制御部３２は、表示装置１０及び出力装置４０の少なくとも一方にデータを出力する。

演算部３３は、第１画像データと第２画像データとの間で対応する画素の輝度に関する輝度演算を行う。演算部３３は、第１画像データと第２画像データとの間で対応する画素の輝度の差分を求める演算を輝度演算として行ってもよい。また、演算部３３は、当該差分を求め、求めた輝度の差分の絶対値を算出する演算を輝度演算として行ってもよい。また、演算部３３は、求めた輝度の差分の値が負の値となる場合、当該輝度の差分の値を「０」とする演算を行ってもよい。なお、輝度演算は、輝度の差分を求める演算に限定されない。例えば、演算部３３は、第１画像データと第２画像データとの間で対応する画素の輝度を比較し、共に所定の閾値以下の輝度であった場合には、輝度の値を「０」に置換する演算を輝度演算として行ってもよい。

処理部３４は、演算結果に基づいて、被験者の眼球における角膜反射の位置を推定する。演算部３３が輝度の差分を求め、当該差分の絶対値を算出する構成において、処理部３４は、算出された絶対値に基づいて角膜反射の位置を推定することができる。この場合、処理部３４は、例えば算出された絶対値を画素における輝度とする差分画像データを生成し、生成した差分画像データに基づいて角膜反射の位置を推定することができる。

差分画像データに基づいて角膜反射の位置を推定する場合、処理部３４は、まず、差分画像データの中から最も輝度が高い画素である最高輝度画素を求める。処理部３４は、求めた最高輝度画素の周囲において、所定の輝度閾値を超える輝度を有する高輝度画素を抽出する。最高輝度画素の周囲については、例えば、最高輝度画素に対して上下方向に±３２画素以内の正方形内に含まれる領域とすることができる。所定の輝度閾値については、例えば、輝度が８ビットで表される場合、−３０とすることができる。つまり、最高輝度画素に対して−３０を超える輝度を有する画素を高輝度画素とすることができる。処理部３４は、抽出した高輝度画素の面積を算出し、高輝度画素の面積が所定の面積閾値以下であるか否かを判定する。所定の面積閾値については、例えば、連続した領域が２０画素以内となる面積とすることができる。処理部３４は、高輝度画素の面積が所定の面積閾値未満である場合に、最高輝度画素が角膜反射に含まれると判定する。一方、処理部３４は、高輝度画素の面積が所定の面積閾値以上である場合、高輝度画素が角膜反射には含まれないと判定する。処理部３４は、最高輝度画素が角膜反射に含まれると判定した場合に、最高輝度画素の位置が角膜反射の位置であると推定する。

注視点検出部３５は、被験者の注視点の位置データ（視線データ）を検出する。本実施形態において、注視点検出部３５は、画像取得装置２０によって取得される被験者の左右の眼球ＥＢの画像データに基づいて、三次元グローバル座標系で規定される被験者の視線ベクトルを検出する。注視点検出部３５は、検出した被験者の視線ベクトルと表示装置１０の表示部１１との交点の位置データを、被験者の注視点の位置データとして検出する。つまり、本実施形態において、注視点の位置データは、三次元グローバル座標系で規定される被験者の視線ベクトルと、表示装置１０の表示部１１との交点の位置データである。本実施形態において、注視点は、被験者に注視されることで指定される表示部１１上の指定点である。注視点検出部３５は、規定のサンプリング周期毎に被験者の注視点の位置データを検出する。このサンプリング周期は、例えば撮影装置２１から出力されるフレーム同期信号の周期（例えば２０［ｍｓｅｃ］毎）とすることができる。

本実施形態において、注視点検出部３５は、左右の眼球ＥＢの画像データに基づいて、瞳孔領域及び角膜反射領域を検出し、検出結果に基づいて瞳孔中心及び角膜反射中心の位置を算出する。また、注視点検出部３５は、第１カメラ２１Ａと第２カメラ２１Ｂとの中間の位置（仮想光源位置）と、算出した角膜反射中心の位置とを結ぶ仮想直線に基づいて角膜曲率中心を算出する。注視点検出部３５は、算出した瞳孔中心と角膜曲率中心とを結ぶ仮想直線の直線方向を視線方向Ｇ（図３参照）として検出する。

記憶部３６は、入出力制御部３２により取得される第１画像データ及び第２画像データを記憶する。記憶部３６は、処理部３４により生成される差分画像データを記憶する。また、記憶部３６は、照明装置２２による光の射出位置と撮影装置２１による撮影位置とが第１位置関係（第１射出位置Ｐ１、第１撮影位置Ｑ１）となるように配置した状態で、被験者の眼球ＥＢに第１光Ｌ１を照射し、第１光Ｌ１が照射された状態の被験者の眼球ＥＢを撮影装置２１で撮影して複数の画素を含む第１画像データＩＭ１を生成する処理と、照明装置２２による光の射出位置と撮影装置２１による撮影位置とが第２位置関係（第２射出位置Ｐ２、第２撮影位置Ｑ２）となるように配置した状態で、第２光Ｌ２を被験者の眼球ＥＢに照射し、第２光Ｌ２が照射された状態の被験者の眼球ＥＢを撮影装置２１で撮影して複数の画素を含む第２画像データＩＭ２を生成する処理と、第１画像データＩＭ１を構成する画素と第２画像データＩＭ２を構成する画素との間で対応する画素間の輝度に関する輝度演算を行う処理と、演算結果に基づいて、被験者の眼球ＥＢにおける角膜反射ＣＲの位置を推定する処理とをコンピュータに実行させる角膜反射検出プログラムを記憶する。

［角膜反射検出方法］
次に、本実施形態に係る角膜反射検出方法について説明する。図３は、視線検出装置１００による視線検出の原理を模式的に示す図である。図３では、被験者の右眼ＥＲについての例を示しているが、左眼ＥＬについても同様の説明が可能である。図３に示すように、本実施形態において、注視点検出部３５は、右眼ＥＲを撮影した画像データに基づいて、瞳孔領域及び角膜反射領域を検出し、検出結果に基づいて瞳孔中心ＰＵＣ及び角膜反射中心ＣＲＡ、ＣＲＢの位置を算出する。注視点検出部３５は、第１カメラ２１Ａと第２カメラ２１Ｂとの中間に設定される仮想光源２１Ｃの位置（仮想光源位置）Ｐ３と、算出した角膜反射中心ＣＲＡ、ＣＲＢの位置とを結ぶ仮想直線に基づいて角膜曲率中心ＣＲＣを算出する。注視点検出部３５は、算出した瞳孔中心ＰＵＣと角膜曲率中心ＣＲＣとを結ぶ仮想直線の直線方向を視線方向Ｇとして検出する。

撮影装置２１により被験者の右眼ＥＲ及び左眼ＥＬを撮影した画像データは、それぞれデータとしてのサイズが大きくなることがある。この場合、注視点検出部３５が画像データの全体から角膜反射中心ＣＲＡ、ＣＲＢの位置を算出する場合、処理に時間を要する可能性がある。

これに対して、本実施形態では、角膜反射検出装置７０により角膜反射ＣＲの位置を推定し、推定結果を用いて注視点検出部３５が角膜反射中心ＣＲＡ、ＣＲＢの位置を算出することができる。これにより、サイズの大きい画像データから角膜反射中心ＣＲＡ、ＣＲＢの位置を容易にかつ精度よく検出することができる。以下、角膜反射検出装置７０を用いた角膜反射検出の手順を説明する。

まず、撮影制御部３１は、撮影装置２１及び照明装置２２に対して第１撮影モードを行わせる。この場合、撮影制御部３１は、第１光源２２Ａが第１光Ｌ１を発光し、この状態で第１カメラ２１Ａが被験者の眼球を撮影するように撮影装置２１及び照明装置２２を制御する。この制御により、画像取得装置２０は、第１射出位置Ｐ１からの第１光Ｌ１が照射された状態の被験者の眼球を第１撮影位置Ｑ１から撮影した第１画像データを生成する。

次に、撮影制御部３１は、撮影装置２１及び照明装置２２に対して第２撮影モードを行わせる。この場合、撮影制御部３１は、第２光源２２Ｂが第２光Ｌ２を発光し、この状態で被験者の眼球を第２カメラ２１Ｂが撮影するように撮影装置２１及び照明装置２２を制御する。この制御により、画像取得装置２０は、第２射出位置Ｐ２からの第２光Ｌ２が照射された状態の被験者の眼球を第２撮影位置Ｑ２から撮影した第２画像データを生成する。

図４は、第１画像データ及び第２画像データの一例を示す図である。図４に示すように、第１画像データＩＭ１及び第２画像データＩＭ２は、図中の上下方向及び左右方向について、同一数の画素が配置される。第１画像データＩＭ１及び第２画像データＩＭ２には、被験者の顔がほぼ同様の位置、大きさ、範囲に映っている。第１画像データＩＭ１及び第２画像データＩＭ２において、被験者の眼球ＥＢ（右眼ＥＲ及び左眼ＥＬ）には、角膜反射ＣＲが映っている。

つまり、第１画像データＩＭ１には、第１光Ｌ１によって形成される第１角膜反射ＣＲ１が映っている。第１角膜反射ＣＲ１は、被験者の黒目の中心に対して図中の右側に位置している。第２画像データＩＭ２には、第２光Ｌ２によって形成される第２角膜反射ＣＲ２が映っている。第２角膜反射ＣＲ２は、被験者の黒目の中心に対して図中の左側に位置している。このように、第１画像データＩＭ１及び第２画像データＩＭ２は、角膜反射ＣＲの位置が互いに異なり、他の部分は互いに近似した画像として取得される。

入出力制御部３２は、画像取得装置２０において取得された上記の第１画像データＩＭ１及び第２画像データＩＭ２を、入出力インターフェース装置６０を介して取得する。

演算部３３は、第１画像データＩＭ１と第２画像データＩＭ２との間で対応する画素の輝度に関する輝度演算を行う。輝度演算は、第１画像データＩＭ１と第２画像データＩＭ２との間で対応する画素の輝度の差分を求める演算を含む。輝度演算は、求めた差分の絶対値を算出する演算を含む。本実施形態において、輝度演算は、例えば画素ごとに下記の式（１）で示す演算を行う。

差分画像データにおける画素（Ｘ，Ｙ）の輝度値
＝｜第１画像データの画素（Ｘ，Ｙ）の輝度値
−第２画像データの画素（Ｘ，Ｙ）の輝度値｜ ・・・（１）
但し、（Ｘ，Ｙ）は、縦方向及び横方向における画素の位置座標である。

演算部３３は、例えば第１画像データＩＭ１及び第２画像データＩＭ２の全ての画素について、上記の輝度演算、つまり、画素間の輝度の差分を求め、当該差分の絶対値を算出する。演算部３３は、算出結果を画素に対応付けて記憶部３６に記憶する。

例えば、第１画像データＩＭ１と第２画像データＩＭ２とで近似した画像が映っている部分の画素については、それぞれ輝度が同一又は近似する値となる。したがって、このような画素における輝度の差分の絶対値は、０又は０に近似する値となる。また、第１画像データＩＭ１及び第２画像データＩＭ２において、第１角膜反射ＣＲ１と第２角膜反射ＣＲ２とは、黒目の中心に対する位置が異なっている。このため、第１角膜反射ＣＲ１及び第２角膜反射ＣＲ２が映っている部分の画素における輝度の差分の絶対値は、大きい値となる。このように、輝度演算を行うことにより、第１角膜反射ＣＲ１及び第２角膜反射ＣＲ２が映っている部分と、それ以外の部分との間で、輝度の差分の絶対値に大きな差異が生じることになる。

処理部３４は、演算結果に基づいて、被験者の眼球ＥＢにおける角膜反射ＣＲの位置を推定する。処理部３４は、まず、演算結果に基づいて、差分画像データを生成する。差分画像データは、各画素について演算部３３で算出された輝度の差分の絶対値を、当該画素における輝度とする画像データである。

図５は、差分画像データＩＭ３の一例を示す図である。図６は、図５における一部（被験者の両眼の部分）を拡大して示す図である。図５及び図６に示すように、差分画像データＩＭ３において、第１角膜反射ＣＲ１及び第２角膜反射ＣＲ２に対応する画素は、輝度の値（輝度の差分の絶対値）が大きく、白色に近い表示となっている。一方、それ以外の部分の画素は、輝度の値（輝度の差分の絶対値）が０又は０に近似する値であり、黒色に近い表示となっている。

処理部３４は、このように生成される差分画像データＩＭ３に基づいて角膜反射ＣＲの位置を推定する。図７は、差分画像データＩＭ３のうち一部の画素Ｋを示す図である。図７に示すように、処理部３４は、まず、差分画像データＩＭ３を構成する画素Ｋの中から最も輝度が高い画素である最高輝度画素Ｋ１を求める。この場合、処理部３４は、差分画像データＩＭ３に基づいて画像処理を行うことで最高輝度画素Ｋ１を求めてもよいし、記憶部３６に記憶される輝度（輝度の差分の絶対値）のうち最大値に対応する画素を選択することで最高輝度画素Ｋ１を求めてもよい。

次に、処理部３４は、最高輝度画素Ｋ１の周囲の画素Ｋのうち所定の輝度閾値を超える輝度を有する高輝度画素Ｋ２を抽出する。この場合、処理部３４は、差分画像データＩＭ３に基づいて画像処理を行うことで高輝度画素Ｋ２を抽出してもよいし、記憶部３６に記憶される輝度（輝度の差分の絶対値）の値に基づいて高輝度画素Ｋ２を抽出してもよい。処理部３４は、最高輝度画素Ｋ１及び高輝度画素Ｋ２により構成される領域を高輝度領域ＡＲとして設定する。

図８は、差分画像データの他の例を示す図である。図８では、眼鏡をかけた被験者についての差分画像データＩＭ４を示している。図８に示すように、眼鏡をかけた被験者に対して第１光Ｌ１及び第２光Ｌ２を照射する場合、眼鏡のレンズで反射する反射光Ｌ３が差分画像データＩＭ４に映る場合がある。この場合、処理部３４は、角膜反射ＣＲではなく、当該反射光Ｌ３に含まれる画素を最高輝度画素Ｋ１として求める可能性がある。

本実施形態では、このような眼鏡の反射光Ｌ３等、角膜反射ＣＲとは異なる領域に含まれる最高輝度画素Ｋ１を角膜反射ＣＲの一部として誤認することを抑制するための処理を行う。すなわち、処理部３４は、高輝度領域ＡＲの面積を算出し、算出結果に基づいて、最高輝度画素Ｋ１が角膜反射ＣＲに含まれるか否かを判定する。例えば図８に示すような反射光Ｌ３は、角膜反射ＣＲに比べて広い領域に形成される傾向がある。そこで、処理部３４は、差分画像データにおける高輝度領域ＡＲの面積を求め、当該高輝度領域ＡＲの面積が所定の面積閾値よりも小さいか否かを判定する。

高輝度領域ＡＲの面積が所定の面積閾値以上である場合、当該高輝度領域ＡＲは、図８に示す反射光Ｌ３等、角膜反射ＣＲとは異なる領域に含まれると推定できる。この場合、処理部３４は、高輝度領域ＡＲを構成する各画素（最高輝度画素Ｋ１を含む）の輝度を０に置換する。この処理により、差分画像データにおいて高輝度領域ＡＲとして抽出された領域が黒色表示となる。置換を行った後、処理部３４は、新たな最高輝度画素Ｋ１を求め、最高輝度画素Ｋ１に基づいて高輝度領域ＡＲを抽出し、高輝度領域ＡＲの面積が所定の面積閾値よりも小さいか否かの判定を行う。また、高輝度領域ＡＲの面積が所定の面積閾値よりも小さい場合、最高輝度画素Ｋ１が角膜反射ＣＲに含まれると推定できる。この場合、処理部３４は、最高輝度画素Ｋ１の位置を角膜反射ＣＲの位置として推定する。

次に、本実施形態に係る角膜反射検出方法の一例について、図９を参照しながら説明する。図９は、本実施形態に係る角膜反射検出方法の一例を示すフローチャートである。図９に示すように、撮影制御部３１は、画像取得装置２０に第１撮影モードを行わせる（ステップＳ１０１）。ステップＳ１０１では、第１光源２２Ａから第１光Ｌ１が射出され、被験者の眼球ＥＢに第１光Ｌ１が照射される。また、被験者の眼球ＥＢに第１光Ｌ１が照射された状態で第１カメラ２１Ａにより被験者の眼球ＥＢが撮影され、第１画像データＩＭ１が生成される。入出力制御部３２は、生成された第１画像データＩＭ１を取得する（ステップＳ１０２）。入出力制御部３２は、取得した第１画像データＩＭ１を記憶部３６に記憶する。

次に、撮影制御部３１は、画像取得装置２０に第２撮影モードを行わせる（ステップＳ１０３）。ステップＳ１０３では、第２光源２２Ｂから第２光Ｌ２が射出され、被験者の眼球ＥＢに第２光Ｌ２が照射される。また、被験者の眼球ＥＢに第２光Ｌ２が照射された状態で第２カメラ２１Ｂにより被験者の眼球ＥＢが撮影され、第２画像データＩＭ２が生成される。入出力制御部３２は、生成された第２画像データＩＭ２を取得する（ステップＳ１０４）。入出力制御部３２は、取得した第２画像データＩＭ２を記憶部３６に記憶する。

次に、演算部３３は、第１画像データＩＭ１と第２画像データＩＭ２との間で対応する画素の輝度に関する輝度演算を行う（ステップＳ１０５）。ステップＳ１０５において、演算部３３は、第１画像データＩＭ１と第２画像データＩＭ２との間で対応する画素の輝度の差分を求め、当該差分の絶対値を算出する。演算部３３は、算出結果を画素に対応付けて記憶部３６に記憶する。

次に、処理部３４は、演算結果に基づいて、差分画像データＩＭ３を生成する（ステップＳ１０６）。ステップＳ１０６では、各画素について算出された輝度の差分の絶対値を当該画素における輝度の値とする画像データが差分画像データＩＭ３として生成される。処理部３４は、差分画像データＩＭ３の中から最も輝度が高い画素である最高輝度画素Ｋ１を求める（ステップＳ１０７）。

次に、処理部３４は、最高輝度画素Ｋ１の周囲において所定の輝度閾値を超える輝度を有する高輝度の画素を抽出し、抽出した画素により構成される高輝度領域ＡＲの面積を算出する（ステップＳ１０８）。処理部３４は、算出結果が所定の面積閾値よりも小さいか否かを判定する（ステップＳ１０９）。算出結果が面積閾値以上であると判定した場合（ステップＳ１０９のＮｏ）、処理部３４は、高輝度領域ＡＲを構成する各画素（最高輝度画素Ｋ１を含む）の輝度を０に置換し（ステップＳ１１０）、その後、ステップＳ１０７以降の処理を再度行う。一方、算出結果が面積閾値よりも小さいと判定した場合（ステップＳ１０９のＹｅｓ）、処理部３４は、最高輝度画素Ｋ１が角膜反射ＣＲに含まれると判定する（ステップＳ１１１。この場合、処理部３４は、最高輝度画素Ｋ１の位置を角膜反射ＣＲの位置として推定して、処理を終了する。

以上のように、本実施形態に係る角膜反射検出装置７０は、被験者の眼球ＥＢを照射可能な照明装置２２と、被験者の眼球ＥＢを撮影可能であり、撮影により複数の画素を含む画像データを生成する撮影装置２１とを有し、照明装置２２による光の射出位置及び撮影装置２１による撮影位置の位置関係を変更可能な画像取得装置２０と、射出位置と撮影位置とが第１位置関係（第１射出位置Ｐ１、第１撮影位置Ｑ１）となるように配置した状態で、被験者の眼球ＥＢに第１光Ｌ１を照射し、第１光Ｌ１が照射された状態の被験者の眼球ＥＢを撮影装置２１で撮影して第１画像データＩＭ１を取得する第１撮影モードと、射出位置と撮影位置とが第１位置関係とは異なる第２位置関係（第２射出位置Ｐ２、第２撮影位置Ｑ２）となるように配置した状態で、被験者の眼球ＥＢに第２光Ｌ２を照射し、第２光Ｌ２が照射された状態の被験者の眼球ＥＢを撮影装置２１で撮影して第２画像データＩＭ２を取得する第２撮影モードと、を照明装置２２及び撮影装置２１に行わせる撮影制御部３１と、第１画像データＩＭ１を構成する画素と第２画像データＩＭ２を構成する画素との間で対応する画素間の輝度に関する輝度演算を行う演算部３３と、演算結果に基づいて、被験者の眼球ＥＢにおける角膜反射ＣＲの位置を推定する処理部３４とを備える。

また、本実施形態に係る角膜反射検出方法は、照明装置２２による光の射出位置と撮影装置２１による撮影位置とが第１位置関係（第１射出位置Ｐ１、第１撮影位置Ｑ１）となるように配置した状態で、被験者の眼球ＥＢに第１光Ｌ１を照射し、第１光Ｌ１が照射された状態の被験者の眼球ＥＢを撮影装置２１で撮影して複数の画素を含む第１画像データＩＭ１を生成することと、照明装置２２による光の射出位置と撮影装置２１による撮影位置とが第２位置関係（第２射出位置Ｐ２、第２撮影位置Ｑ２）となるように配置した状態で、第２光Ｌ２を被験者の眼球ＥＢに照射し、第２光Ｌ２が照射された状態の被験者の眼球ＥＢを撮影装置２１で撮影して複数の画素を含む第２画像データＩＭ２を生成することと、第１画像データＩＭ１を構成する画素と第２画像データＩＭ２を構成する画素との間で対応する画素間の輝度に関する輝度演算を行うことと、演算結果に基づいて、被験者の眼球ＥＢにおける角膜反射ＣＲの位置を推定することとを含む。

また、本実施形態に係る角膜反射の位置検出プログラムは、照明装置２２による光の射出位置と撮影装置２１による撮影位置とが第１位置関係（第１射出位置Ｐ１、第１撮影位置Ｑ１）となるように配置した状態で、被験者の眼球ＥＢに第１光Ｌ１を照射し、第１光Ｌ１が照射された状態の被験者の眼球ＥＢを撮影装置２１で撮影して複数の画素を含む第１画像データＩＭ１を生成する処理と、照明装置２２による光の射出位置と撮影装置２１による撮影位置とが第２位置関係（第２射出位置Ｐ２、第２撮影位置Ｑ２）となるように配置した状態で、第２光Ｌ２を被験者の眼球ＥＢに照射し、第２光Ｌ２が照射された状態の被験者の眼球ＥＢを撮影装置２１で撮影して複数の画素を含む第２画像データＩＭ２を生成する処理と、第１画像データＩＭ１を構成する画素と第２画像データＩＭ２を構成する画素との間で対応する画素間の輝度に関する輝度演算を行う処理と、演算結果に基づいて、被験者の眼球ＥＢにおける角膜反射ＣＲの位置を推定する処理とをコンピュータに実行させる。

本実施形態によれば、照明装置２２による光の射出位置と撮影装置２１による撮影位置とを第１位置関係及び第２位置関係として第１画像データ及び第２画像データを生成することにより、第１画像データと第２画像データとの間で、被験者の眼球ＥＢの中心に対して角膜反射ＣＲを異なる位置に形成することができる。したがって、第１画像データと第２画像データとの間で対応する画素について輝度演算を行うことで、容易かつ高精度に被験者の角膜反射ＣＲの位置を検出することができる。

本実施形態に係る角膜反射検出装置７０において、照明装置２２及び撮影装置２１の少なくとも一方は、２つ設けられる。これにより、２つ設けられるうちの一方を第１位置関係の構成要素として用い、他方を第２位置関係の構成要素として用いることができるため、第１位置関係及び第２位置関係を設定しやすくなる。

本実施形態に係る角膜反射検出装置７０において、輝度演算は、第１画像データＩＭ１と第２画像データＩＭ２との間で対応する画素の輝度の差分を求める演算を含む。この構成によれば、輝度の差分を求めることにより、角膜反射ＣＲに対応する画素とそれ以外の画素とを容易に区別することが可能となる。

本実施形態に係る角膜反射検出装置７０において、演算部３３は、求めた差分の絶対値を算出する演算を行い、処理部３４は、算出された絶対値に基づいて角膜反射ＣＲの位置を推定する。この構成によれば、より高精度に角膜反射ＣＲに対応する画素とそれ以外の画素とを容易に区別することが可能となる。

本実施形態に係る角膜反射検出装置７０において、処理部３４は、算出された絶対値を画素における輝度とする差分画像データＩＭ３を生成し、生成した差分画像データＩＭ３に基づいて角膜反射ＣＲの位置を推定する。この構成によれば、差分画像データＩＭ３を用いて、容易かつ高精度に被験者の角膜反射ＣＲの位置を検出することができる。

本実施形態に係る角膜反射検出装置７０において、処理部３４は、差分画像データＩＭ３の中から最も輝度が高い画素である最高輝度画素Ｋ１を求め、最高輝度画素Ｋ１の周囲において所定の輝度閾値を超える輝度を有する画素を抽出し、抽出結果に基づいて、最高輝度画素Ｋ１が角膜反射ＣＲに含まれるか否かを判定し、最高輝度画素Ｋ１が角膜反射ＣＲに含まれると判定した場合に、最高輝度画素Ｋ１の位置が角膜反射ＣＲの位置であると推定する。この構成によれば、被験者の角膜反射ＣＲの位置を高精度に推定することができる。

本実施形態に係る視線検出装置１００は、上記の角膜反射検出装置７０を備える。撮影装置２１により被験者の右眼ＥＲ及び左眼ＥＬを撮影した画像データは、それぞれデータとしてのサイズが大きくなることがある。この場合、注視点検出部３５が画像データの全体から角膜反射中心ＣＲＡ、ＣＲＢの位置を算出する場合、処理に時間を要する可能性がある。これに対して、本実施形態では、角膜反射検出装置７０により角膜反射ＣＲの位置を高精度に推定し、推定結果を用いて注視点検出部３５が角膜反射中心ＣＲＡ、ＣＲＢの位置を算出する。これにより、角膜反射中心ＣＲＡ、ＣＲＢの位置を容易にかつ精度よく検出することが可能な視線検出装置１００を提供できる。

本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記実施形態において、第１射出位置Ｐ１及び第２射出位置Ｐ２に１つずつ、計２つの光源（第１光源２２Ａ及び第２光源２２Ｂ）が用いられる構成を例に挙げて説明したが、これに限定されない。第１射出位置Ｐ１及び第２射出位置Ｐ２に配置可能であれば、光源は１つであってもよい。この場合、１つの光源を第１射出位置Ｐ１及び第２射出位置Ｐ２の間で付け替える構成、１つの光源を第１射出位置Ｐ１及び第２射出位置Ｐ２の間で移動させる構成等が挙げられる。

また、上記実施形態において、第１撮影位置Ｑ１及び第２撮影位置Ｑ２に１台ずつ、計２台のカメラ（第１カメラ２１Ａ及び第２カメラ２１Ｂ）が用いられる構成を例に挙げて説明したが、これに限定されない。第１撮影位置Ｑ１及び第２撮影位置Ｑ２に配置可能であれば、カメラは１台であってもよい。この場合、１台のカメラを第１撮影位置Ｑ１及び第２撮影位置Ｗ２の間で付け替える構成、１つのカメラを第１撮影位置Ｑ１及び第２撮影位置Ｑ２の間で移動させる構成等が挙げられる。

また、上記実施形態において、角膜反射検出装置７０が視線検出装置１００に含まれる構成を例に挙げて説明したが、これに限定されない。角膜反射検出装置７０は、例えば独立した装置として設けられてもよい。また、角膜反射検出装置７０は、例えばスマートフォン等の端末装置、防犯カメラ等の映像を解析する映像解析装置、対象者の顔を認識する顔認識機能を有する装置等、視線検出装置１００とは異なる他の装置に設けられてもよい。

図１０は、視線検出装置の他の例を示す図である。図１０に示す視線検出装置１００Ａは、画像取得装置２０の撮影装置２１について、第１カメラ２１Ａ及び第２カメラ２１Ｂを有する点で上記実施形態に記載の視線検出装置１００と同様の構成である。一方、視線検出装置１００Ａは、照明装置２２について、射出位置Ｐ４に１つの光源２２Ｄのみが設けられる点で上記の視線検出装置１００とは異なっている。

この構成では、例えば射出位置Ｐ４及び撮影位置Ｑ１の位置関係（第１位置関係）にある光源２２Ｄと第１カメラ２１Ａとを用いて第１撮影モードを行うことができる。また、射出位置Ｐ４及び撮影位置Ｑ２の位置関係（第２位置関係）にある光源２２Ｄと第２カメラ２１Ｂとを用いて第２撮影モードを行うことができる。したがって、光源が１つ、カメラが２つ設けられた構成においても、本発明の適用が可能である。

図１１は、視線検出装置の他の例を示す図である。図１１に示す視線検出装置２００は、例えばスマートフォン等の端末装置である。視線検出装置２００は、本体部２１０と、画像取得装置２２０とを有する。本体部２１０は、例えば画像等を表示する表示装置、音声及び振動等を出力可能な出力装置、ユーザの操作を入力するタッチパネル及びボタン等の入力装置、外部との間で情報の通信を行う通信装置、これら各装置を制御する制御装置等を有する（いずれも不図示）。

画像取得装置２２０は、撮影装置（撮影部）２２１と、照明装置（光源）２２２とを有する。撮影装置２２１は、例えばカメラ等が用いられ、本体部２１０の左右方向の中央部に１つ配置される。照明装置２２２は、第１光源２２２Ａ及び第２光源２２２Ｂを有する。第１光源２２２Ａ及び第２光源２２２Ｂは、撮影装置２２１に対して左右方向の両側に配置される。第１光源２２２Ａと撮影装置２２１との間の距離と、第２光源２２２Ｂと撮影装置２２１との間の距離とは、等しくなっている。第１光源２２２Ａと第２光源２２２Ｂとは、離れているほど好ましい態様である。

この構成では、例えば射出位置Ｐ５及び撮影位置Ｑ３の位置関係（第１位置関係）にある第１光源２２２Ａと撮影装置２２１を用いて第１撮影モードを行うことができる。また、射出位置Ｐ６及び撮影位置Ｑ３の位置関係（第２位置関係）にある第２光源２２２Ｂと撮影装置２２とを用いて第２撮影モードを行うことができる。このように、光源が２つ、カメラが１つ設けられた構成においても、本発明の適用が可能である。

ＡＲ…高輝度領域、ＣＲ…角膜反射、ＣＲＡ…角膜反射中心、ＣＲＣ…角膜曲率中心、ＣＲ１…第１角膜反射、ＣＲ２…第２角膜反射、ＥＢ…眼球、ＥＬ…左眼、ＥＲ…右眼、Ｇ…視線方向、ＩＭ１…第１画像データ、ＩＭ２…第２画像データ、ＩＭ３，ＩＭ４…差分画像データ、Ｋ…画素、Ｋ１…最高輝度画素、Ｋ２…高輝度画素、Ｌ１…第１光、Ｌ２…第２光、Ｌ３…反射光、ＰＵＣ…瞳孔中心、Ｐ１…第１射出位置、Ｐ２…第２射出位置、Ｑ１…第１撮影位置、Ｑ２…第２撮影位置、Ｐ３…位置、１０…表示装置、１１…表示部、２０…画像取得装置、２１…撮影装置、２１Ａ…第１カメラ、２１Ｂ…第２カメラ、２１Ｃ…仮想光源、２２…照明装置、２２Ａ…第１光源、２２Ｂ…第２光源、３０…コンピュータシステム、３０Ａ…演算処理装置、３０Ｂ…記憶装置、３０Ｃ…コンピュータプログラム、３１…撮影制御部、３２…入出力制御部、３３…演算部、３４…処理部、３５…注視点検出部、３６…記憶部、４０…出力装置、５０…入力装置、６０…入出力インターフェース装置、７０…角膜反射検出装置、１００…視線検出装置

Claims (9)

1. 被験者の眼球を照射可能な光源と、前記被験者の眼球を撮影し画像データを生成する撮影部とを有し、前記光源による光の射出位置及び前記撮影部による撮影位置の位置関係を変更可能な画像取得装置と、
   前記光源の前記射出位置と前記撮影部の前記撮影位置とが第１位置関係となるように配置した状態で、前記被験者の眼球に第１光を照射し、前記第１光が照射された状態の前記被験者の眼球を前記撮影部で撮影して第１画像データを生成する第１撮影モードと、前記光源の前記射出位置と前記撮影部の前記撮影位置とが第２位置関係となるように配置した状態で、前記被験者の眼球に第２光を照射し、前記第２光が照射された状態の前記被験者の眼球を前記撮影部で撮影して第２画像データを生成する第２撮影モードと、を前記光源及び前記撮影部に行わせる撮影制御部と、
   前記第１画像データを構成する画素と前記第２画像データを構成する画素との間で対応する画素間の輝度に関する輝度演算を行う演算部と、
   演算結果に基づいて、前記被験者の眼球における角膜反射の位置を推定する処理部と
   を備える角膜反射検出装置。
2. 前記光源及び前記撮影部の少なくとも一方は、２つ設けられる
   請求項１に記載の角膜反射検出装置。
3. 前記輝度演算は、前記第１画像データと前記第２画像データとの間で対応する前記画素の輝度の差分を求める演算を含む
   請求項１又は請求項２に記載の角膜反射検出装置。
4. 前記演算部は、求めた前記差分の絶対値を算出する演算を行い、
   前記処理部は、算出された前記絶対値に基づいて前記角膜反射の位置を推定する
   請求項３に記載の角膜反射検出装置。
5. 前記処理部は、算出された前記絶対値を前記画素における差分画像データを生成し、生成した前記差分画像データに基づいて前記角膜反射の位置を推定する
   請求項４に記載の角膜反射検出装置。
6. 前記処理部は、
   前記差分画像データの中から最も輝度が高い前記画素である最高輝度画素を求め、
   前記最高輝度画素の周囲において所定の輝度閾値を超える輝度を有する前記画素を抽出し、
   抽出結果に基づいて、前記最高輝度画素が前記角膜反射に含まれるか否かを判定し、
   前記最高輝度画素が前記角膜反射に含まれると判定した場合に、前記最高輝度画素の位置が前記角膜反射の位置であると推定する
   請求項５に記載の角膜反射検出装置。
7. 請求項１から請求項５のいずれか一項に記載の角膜反射検出装置を備える視線検出装置。
8. 光源による光の射出位置と撮影部による撮影位置とが第１位置関係となるように配置した状態で、被験者の眼球に第１光を照射し、前記第１光が照射された状態の前記被験者の眼球を前記撮影部で撮影して第１画像データを生成することと、
   前記光源の前記射出位置と前記撮影位置とが前記第１位置関係とは異なる第２位置関係となるように配置した状態で、前記被験者の眼球に第２光を照射し、前記第２光が照射された状態の前記被験者の眼球を前記撮影部で撮影して第２画像データを生成することと、
   前記第１画像データを構成する画素と前記第２画像データを構成する画素との間で対応する画素間の輝度に関する輝度演算を行うことと、
   演算結果に基づいて、前記被験者の眼球における角膜反射の位置を推定することと
   を含む角膜反射検出方法。
9. 光源による光の射出位置と撮影部による撮影位置とが第１位置関係となるように配置した状態で、被験者の眼球に第１光を照射し、前記第１光が照射された状態の前記被験者の眼球を前記撮影部で撮影して第１画像データを生成する処理と、
   前記光源の前記射出位置と前記撮影位置とが前記第１位置関係とは異なる第２位置関係となるように配置した状態で、前記被験者の眼球に第２光を照射し、前記第２光が照射された状態の前記被験者の眼球を前記撮影部で撮影して第２画像データを生成する処理と、
   前記第１画像データを構成する画素と前記第２画像データを構成する画素との間で対応する画素間の輝度に関する輝度演算を行う処理と、
   演算結果に基づいて、前記被験者の眼球における角膜反射の位置を推定する処理と
   をコンピュータに実行させる角膜反射検出プログラム。

Images