JP2019024571A - 視線検出装置及び視線検出方法 - Google Patents

Abstract

【課題】検出光による被験者の眼に対する影響を抑制する視線検出装置及び視線検出方法を提供する。【解決手段】視線検出装置１００は、視線検出用の検出光を照射する検出光照射部１０３Ａ、１０３Ｂと、被験者までの距離を検出する距離検出部１０５と、距離検出部１０５が検出した被験者までの距離が、所定の下限距離より短い場合に、検出光照射部１０３Ａ、１０３Ｂに検出光の照射を停止させる照射制御部２２０と、を有する。【選択図】図５

Description

本発明は、視線検出装置及び視線検出方法に関する。

被験者がモニタ画面などで注視している位置を検出する、視線検出装置が提案されている。このような視線計測装置は、被験者を撮像するカメラと、被験者の眼球に赤外線などの検出光を照射する光源とを備える。例えば特許文献１には、カメラで撮影した被験者の眼部の瞳孔中心座標と、眼部に向けて照射した検出光により生じる角膜反射点の中心座標との位置関係から、視線を検出する技術が記載されている。このような視線計測装置において、被験者が遠くにいる場合や、外光の影響を受けずに視線検出を行う場合には、検出光の照射パワーを高くする必要がある。

特開２００５−１９８７４３号公報

しかし、検出光は、被験者の眼部に向けて照射されるため、照射パワーを高くすると、被験者の眼の疲れなど、眼に影響を及ぼすおそれがある。特に、眼部と光源との距離が近い場合は、眼に対する影響が強くなる。従って、視線検出装置において、検出光による被験者の眼に対する影響を抑制する技術が求められている。

本発明は、上記課題を鑑み、検出光による被験者の眼に対する影響を抑制する視線検出装置及び視線検出方法を提供することを目的とする。

本発明の一態様にかかる視線検出装置は、視線検出用の検出光を照射する検出光照射部と、被験者までの距離を検出する距離検出部と、前記距離検出部が検出した前記被験者までの距離が、所定の下限距離より短い場合に、前記検出光照射部に前記検出光の照射を停止させる照射制御部と、を有する。

本発明の一態様にかかる視線検出方法は、視線検出用の検出光を照射する検出光照射ステップと、被験者までの距離を検出する距離検出ステップと、前記距離検出ステップにおいて検出した前記被験者までの距離が、所定の下限距離より短い場合に、前記検出光の照射を停止する照射制御ステップと、を有する。

本発明によれば、検出光による被験者の眼に対する影響を抑制することができる。

図１は、本実施形態に係る視線検出装置の一例を模式的に示す斜視図である。 図２は、本実施形態に係る表示装置と撮像装置と照明装置と距離検出部と被験者の眼球との位置関係を模式的に示す図である。 図３は、本実施形態に係る距離検出部による距離検出の原理の一例を示す模式図である。 図４は、本実施形態に係る視線検出装置のハードウェア構成の一例を示す図である。 図５は、本実施形態に係る視線検出装置の一例を示す機能ブロック図である。 図６は、本実施形態に係る角膜曲率中心の位置データの算出方法を説明するための模式図である。 図７は、本実施形態に係る角膜曲率中心の位置データの算出方法を説明するための模式図である。 図８は、許容距離範囲の一例を説明するグラフである。 図９は、本実施形態に係る照射制御部による検出光の照射制御フローを説明する説明図である。 図１０は、本実施形態に係る検出光及び距離検出光の照射タイミングと撮像タイミングとのタイミングチャートの一例である。 図１１は、本実施形態に係る検出光及び距離検出光の照射タイミングと撮像タイミングとのタイミングチャートの他の例である。 図１２は、本実施形態に係る検出光及び距離検出光の照射タイミングと撮像タイミングとのタイミングチャートの他の例である。

以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。

以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第１軸と平行な方向をＸ軸方向とし、第１軸と直交する所定面の第２軸と平行な方向をＹ軸方向とし、第１軸及び第２軸のそれぞれと直交する第３軸と平行な方向をＺ軸方向とする。所定面はＸＹ平面を含む。

図１は、本実施形態に係る視線検出装置の一例を模式的に示す斜視図である。図２は、本実施形態に係る表示装置と撮像装置と照明装置と距離検出部と被験者の眼球との位置関係を模式的に示す図である。本実施形態において、視線検出装置１００は、被験者Ｈの視線を検出する装置であり、被験者Ｈの関心対象を評価する評価装置としても用いられる。

（視線検出装置の全体構成）
図１に示すように、視線検出装置１００は、表示装置１０１と、撮像装置１０２と、照明装置１０３と、距離検出部１０５と、を備える。視線検出装置１００は、位置が固定されている。

表示装置１０１は、液晶ディスプレイ（liquid crystal display：ＬＣＤ）又は有機ＥＬディスプレイ（organic electroluminescence display：ＯＬＥＤ）のようなフラットパネルディスプレイを含む。表示装置１０１は、表示部として機能する。

本実施形態において、表示装置１０１の表示画面１０１Ｓは、ＸＹ平面と実質的に平行である。Ｘ軸方向は表示画面１０１Ｓの左右方向であり、Ｙ軸方向は表示画面１０１Ｓの上下方向であり、Ｚ軸方向は表示画面１０１Ｓと直交する奥行方向である。また、表示画面１０１Ｓに向かって右方向が＋Ｘ方向、左方向が−Ｘ方向であり、上方向が＋Ｙ方向、下方向が−Ｙ方向であり、手前方向が＋Ｚ方向、奥方向が−Ｚ方向である。

撮像装置１０２は、撮像部１０２Ａ及び撮像部１０２Ｂを有する。撮像装置１０２は、表示装置１０１の表示画面１０１Ｓよりも下方に配置される。撮像部１０２Ａと撮像部１０２ＢとはＸ軸方向に配置される。撮像部１０２Ａは、撮像部１０２Ｂよりも−Ｘ方向に配置される。撮像部１０２Ａ及び撮像部１０２Ｂは、表示画面１０１Ｓに＋Ｚ方向に対向する空間Ｒ（図２を参照）を撮像することで、空間Ｒに位置している被験者Ｈの画像を撮像する。撮像部１０２Ａ及び撮像部１０２Ｂはそれぞれ、赤外線カメラを含み、例えば波長８５０［ｎｍ］の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。このように、撮像装置１０２は、カメラである撮像部を２つ有するステレオカメラ装置であるが、例えば撮像部を１つだけ有するものであってもよい。

照明装置１０３は、検出光照射部１０３Ａ及び検出光照射部１０３Ｂを有する。照明装置１０３は、表示装置１０１の表示画面１０１Ｓよりも下方に配置される。検出光照射部１０３Ａと検出光照射部１０３ＢとはＸ軸方向に配置される。検出光照射部１０３Ａは、撮像部１０２Ａよりも−Ｘ方向に配置される。検出光照射部１０３Ｂは、撮像部１０２Ｂよりも＋Ｘ方向に配置される。検出光照射部１０３Ａ及び検出光照射部１０３Ｂは、表示画面１０１Ｓに＋Ｚ方向に対向する空間Ｒに、視線検出用の検出光Ｌ１を照射することで、空間Ｒに位置する被験者Ｈの眼球１１１に、視線検出用の検出光Ｌ１を照射する。より詳しくは、検出光照射部１０３Ａ及び検出光照射部１０３Ｂはそれぞれ、ＬＥＤ（light emitting diode）光源を含み、検出光Ｌ１として、例えば波長８５０［ｎｍ］の近赤外光を射出可能である。なお、検出光照射部１０３Ａ及び検出光照射部１０３Ｂは、表示画面１０１Ｓに＋Ｚ方向に対向する空間に検出光Ｌ１を照射するものであれば位置は限定されず、例えば、撮像部１０２Ａと撮像部１０２Ｂとの間に配置されてもよい。撮像装置１０２が撮像部を１つだけ有している場合、照明装置１０３も、検出光照射部を１つだけ有していてもよい。

距離検出部１０５は、表示装置１０１の表示画面１０１Ｓよりも下方に配置される。距離検出部１０５は、撮像部１０２Ａと撮像部１０２Ｂとの間に配置されている。距離検出部１０５は、視線検出装置１００（距離検出部１０５）から空間Ｒに位置している対象物までの距離を検出することで、視線検出装置１００（距離検出部１０５）から空間Ｒに位置している被験者Ｈまでの距離を検出する。本実施形態では、距離検出部１０５は、距離を検出するための距離検出光Ｌ２を空間Ｒに向けて照射することで、空間Ｒに位置している対象物（被験者Ｈ）に距離検出光Ｌ２を当てて、対象物（被験者Ｈ）までの距離を検出する。なお、ここでの対象物は、空間Ｒに位置して、距離検出部１０５により検出光Ｌ１が照射可能な（距離検出が可能な）物体を指し、例えば被験者Ｈである。視線検出装置１００（距離検出部１０５）は、位置が固定されているが、被験者Ｈなどの対象物が移動することで、対象物までの距離は変化する。距離検出部１０５は、対象物までの距離を逐次検出する。また、距離検出部１０５は、照明装置１０３の近傍に配置されているため、距離検出部１０５から対象物までの距離は、照明装置１０３から対象物までの距離とみなすことができる。

本実施形態では、距離検出光Ｌ２は、検出光Ｌ１と同波長の近赤外光であるが、光の強度が検出光Ｌ１よりも小さい。例えば、距離検出光Ｌ２の強度は、検出光Ｌ１の強度の約１／１０以下である。なお、本実施の形態では、別の光源である照明装置１０３及び距離検出部１０５から検出光Ｌ１及び距離検出光Ｌ２をそれぞれ照射するものであるが、同じ光源、例えば照明装置１０３から検出光Ｌ１及び距離検出光Ｌ２を照射するものであってもよい。この場合、例えば光源に印加する電流を変えることで、光の強度を検出光Ｌ１用と距離検出光Ｌ２用とで切り替えることができる。また、距離検出部１０５が距離検出可能な下限距離は、撮像装置１０２のピント（焦点）が合う距離より短い。従って、被験者Ｈがステレオカメラ装置である撮像装置１０２の画像から距離を検出できない位置にいる場合にも、距離検出部１０５は、被験者Ｈまでの距離を適切に検出することができる。

図３は、本実施形態に係る距離検出部による距離検出の原理の一例を示す模式図である。距離検出部１０５は、距離検出するための対象物（例えば被験者Ｈ）に距離検出光Ｌ２を照射することで、その対象物までの距離を検出する。図３の例では、距離検出部１０５は、光源部１０５Ａと、受光部１０５Ｂとを有する。光源部１０５Ａは、例えばＬＥＤ光源であり、距離検出光Ｌ２を出射する光源である。光源部１０５Ａから出射された距離検出光Ｌ２は、対象物に照射され、対象物から反射される。受光部１０５Ｂは、例えば受光素子を有し、対象物から反射された距離検出光Ｌ２を受光する。図３の例に示すように、受光部１０５Ｂは、対象物の位置により、異なる位置で距離検出光Ｌ２を受光する。例えば、対象物Ｆ１から反射された距離検出光Ｌ２は、受光部１０５Ｂ内の位置１０５Ｂ１で受光される。また、対象物Ｆ１と異なる位置の対象物Ｆ２から反射された距離検出光Ｌ２は、位置１０５Ｂ１とは異なる位置１０５Ｂ２で受光される。距離検出部１０５は、距離検出光Ｌ２の受光位置に応じて、出力電流の出力値を変化させる。これにより、出力値が、距離検出光Ｌ２の受光位置、すなわち対象物までの距離に応じて異なる値となる。従って、距離検出部１０５は、距離検出光Ｌ２により対象物までの距離検出が可能となる。ただし、この距離検出の方法は一例であり、任意の方法で対象物までの距離検出を行ってよい。

次に、図２に基づき、表示装置１０１と撮像装置１０２と照明装置１０３と距離検出部１０５と被験者Ｈの眼球１１１との位置関係を説明する。

照明装置１０３は、検出光Ｌ１である近赤外光を、空間Ｒに射出して、被験者Ｈの眼球１１１を照明する。また、距離検出部１０５は、距離検出光Ｌ２である近赤外光を、空間Ｒに射出して、被験者Ｈに距離検出光Ｌ２を照射する。図２の例では、距離検出光Ｌ２は、スポット位置Ｒ１に照射されている。図２の例では、スポット位置Ｒ１は、被験者Ｈの顔Ｆであって、眼球１１１以外の位置となっている。撮像装置１０２は、検出光照射部１０３Ａから射出された検出光Ｌ１が眼球１１１に照射されたときに撮像部１０２Ｂで眼球１１１を撮影し、検出光照射部１０３Ｂから射出された検出光Ｌ１が眼球１１１に照射されたときに撮像部１０２Ａで眼球１１１を撮影する。また、撮像装置１０２は、距離検出光Ｌ２が照射された空間Ｒ内の対象物を撮像する。従って、撮像装置１０２は、空間Ｒ内に被験者Ｈが位置しており、その被験者Ｈに対して距離検出光Ｌ２が照射されている場合は、距離検出光Ｌ２が照射された被験者Ｈを撮像し、その画像データを取得する。

撮像部１０２Ａ及び撮像部１０２Ｂの少なくとも一方からフレーム同期信号が出力される。検出光照射部１０３Ａ及び検出光照射部１０３Ｂは、フレーム同期信号に基づいて検出光を射出する。撮像部１０２Ａは、検出光照射部１０３Ｂから射出された検出光が眼球１１１に照射されたときに、眼球１１１の画像データを取得する。撮像部１０２Ｂは、検出光照射部１０３Ａから射出された検出光が眼球１１１に照射されたときに、眼球１１１の画像データを取得する。

眼球１１１に検出光が照射されると、その検出光の一部は瞳孔１１２で反射し、その瞳孔１１２からの光が撮像装置１０２に入射する。また、眼球１１１に検出光が照射されると、角膜の虚像である角膜反射像１１３が眼球１１１に形成され、その角膜反射像１１３からの光が撮像装置１０２に入射する。

撮像部１０２Ａ及び撮像部１０２Ｂと検出光照射部１０３Ａ及び検出光照射部１０３Ｂとの相対位置が適切に設定されることにより、瞳孔１１２から撮像装置１０２に入射する光の強度は低くなり、角膜反射像１１３から撮像装置１０２に入射する光の強度は高くなる。すなわち、撮像装置１０２で取得される瞳孔１１２の画像は低輝度となり、角膜反射像１１３の画像は高輝度となる。撮像装置１０２は、取得される画像の輝度に基づいて、瞳孔１１２の位置及び角膜反射像１１３の位置を検出することができる。

図４は、本実施形態に係る視線検出装置のハードウェア構成の一例を示す図である。図４に示すように、視線検出装置１００は、表示装置１０１と、撮像装置１０２と、照明装置１０３と、距離検出部１０５と、コンピュータシステム２０と、入出力インターフェース装置３０と、駆動回路４０と、出力装置５０と、入力装置６０と、音声出力装置７０とを備える。コンピュータシステム２０は、演算処理装置２０Ａ及び記憶装置２０Ｂを含む。

コンピュータシステム２０と、駆動回路４０と、出力装置５０と、入力装置６０と、音声出力装置７０とは、入出力インターフェース装置３０を介してデータ通信する。

演算処理装置２０Ａは、ＣＰＵ（central processing unit）のようなマイクロプロセッサを含む。記憶装置２０Ｂは、ＲＯＭ（read only memory）及びＲＡＭ（random access memory）のようなメモリ又はストレージを含む。演算処理装置２０Ａは、記憶装置２０Ｂに記憶されているコンピュータプログラム２０Ｃに従って演算処理を実施する。

駆動回路４０は、駆動信号を生成して、表示装置１０１、撮像装置１０２、照明装置１０３、及び距離検出部１０５に出力する。また、駆動回路４０は、撮像装置１０２で取得された眼球１１１の画像データを、入出力インターフェース装置３０を介してコンピュータシステム２０に供給する。

出力装置５０は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置５０は、印刷装置を含んでもよい。入力装置６０は、操作されることにより入力データを生成する。入力装置６０は、コンピュータシステム用のキーボード又はマウスを含む。なお、入力装置６０が表示装置である出力装置５０の表示画面に設けられたタッチセンサを含んでもよい。音声出力装置７０は、スピーカを含み、例えば被験者に注意を促すための音声を出力する。

本実施形態においては、表示装置１０１とコンピュータシステム２０とは別々の装置である。なお、表示装置１０１とコンピュータシステム２０とが一体でもよい。例えば視線検出装置１００がタブレット型パーソナルコンピュータを含む場合、そのタブレット型パーソナルコンピュータに、コンピュータシステム２０、入出力インターフェース装置３０、駆動回路４０、及び表示装置１０１が搭載されてもよい。

図５は、本実施形態に係る視線検出装置の一例を示す機能ブロック図である。図５に示すように、入出力インターフェース装置３０は、入出力部３０２を有する。駆動回路４０は、表示装置駆動部４０２と、撮像入出力部４０４Ａ、４０４Ｂと、光源駆動部４０６、４０７とを有する。表示装置駆動部４０２は、表示装置１０１を駆動するための駆動信号を生成して表示装置１０１に出力する。撮像入出力部４０４Ａは、撮像部１０２Ａを駆動するための駆動信号を生成して撮像部１０２Ａに出力する。また、撮像入出力部４０４Ａは、撮像部１０２Ａで取得された眼球１１１の画像データと、撮像部１０２Ｂで取得されて距離検出光Ｌ２が照射された対象物（例えば空間Ｒ内の被験者Ｈ）の画像データとを、入出力部３０２を介してコンピュータシステム２０に供給する。撮像入出力部４０４Ｂは、撮像部１０２Ｂを駆動するための駆動信号を生成して撮像部１０２Ｂに出力する。また、撮像入出力部４０４Ｂは、撮像部１０２Ｂで取得された眼球１１１の画像データと、撮像部１０２Ｂで取得されて距離検出光Ｌ２が照射された対象物（例えば空間Ｒ内の被験者Ｈ）の画像データとを、入出力部３０２を介してコンピュータシステム２０に供給する。光源駆動部４０６は、検出光照射部１０３Ａ及び検出光照射部１０３Ｂを駆動するための駆動信号を生成して検出光照射部１０３Ａ及び検出光照射部１０３Ｂに出力する。光源駆動部４０７は、距離検出部１０５を駆動するための駆動信号を生成して距離検出部１０５に出力する。

コンピュータシステム２０は、制御部として機能して、視線検出装置１００を制御する。コンピュータシステム２０は、視線検出制御部２００と、照射制御部２２０とを有する。視線検出制御部２００は、被験者Ｈの視線を検出する処理を制御する。照射制御部２２０は、対象物（被験者Ｈ）までの距離検出結果に基づき照明装置１０３による検出光Ｌ１の照射を制御する。視線検出制御部２００及び照射制御部２２０の処理プログラムや、視線検出制御部２００及び照射制御部２２０が取得及び生成した各種データなどは、記憶装置２０Ｂに記憶される。コンピュータシステム２０の機能は、演算処理装置２０Ａ及び記憶装置２０Ｂによって発揮される。

（視線検出制御部）
視線検出制御部２００は、表示制御部２０２と、光源制御部２０４と、画像データ取得部２０６と、入力データ取得部２０８と、位置検出部２１０と、曲率中心算出部２１２と、注視点検出部２１４と、出力制御部２１６とを有する。

表示制御部２０２は、被験者Ｈに見せるための画像を表示装置１０１の表示画面１０１Ｓに表示させる。表示制御部２０２は、例えば表示画面１０１Ｓの１点に画像を表示可能である。

光源制御部２０４は、光源駆動部４０６を制御して、検出光照射部１０３Ａ及び検出光照射部１０３Ｂの作動状態を制御する。光源制御部２０４は、検出光照射部１０３Ａと検出光照射部１０３Ｂとが異なるタイミングで検出光Ｌ１を射出するように検出光照射部１０３Ａ及び検出光照射部１０３Ｂを制御する。

画像データ取得部２０６は、撮像装置１０２によって取得された被験者の眼球１１１の画像データと、撮像装置１０２によって取得された距離検出光Ｌ２が照射された対象物（例えば空間Ｒ内の被験者Ｈ）の画像データとを、撮像入出力部４０４Ａ、４０４Ｂ、入出力部３０２を介して撮像装置１０２から取得する。

入力データ取得部２０８は、入力装置６０が操作されることにより生成された入力データを、入出力部３０２を介して入力装置６０から取得する。

位置検出部２１０は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、瞳孔中心の位置データを検出する。また、位置検出部２１０は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、角膜反射中心の位置データを検出する。瞳孔中心は、瞳孔１１２の中心である。角膜反射中心は、角膜反射像１１３の中心である。位置検出部２１０は、被験者の左右それぞれの眼球１１１について、瞳孔中心の位置データ及び角膜反射中心の位置データを検出する。

曲率中心算出部２１２は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、眼球１１１の角膜曲率中心の位置データを算出する。

注視点検出部２１４は、画像データ取得部２０６で取得された眼球１１１の画像データに基づいて、被験者の注視点の位置データを検出する。本実施形態において、注視点の位置データとは、三次元グローバル座標系で規定される被験者の視線ベクトルと表示装置１０１の表示画面１０１Ｓとの交点の位置データをいう。注視点検出部２１４は、眼球１１１の画像データから取得された瞳孔中心の位置データ及び角膜曲率中心の位置データに基づいて、被験者の左右それぞれの眼球１１１の視線ベクトルを検出する。視線ベクトルが検出された後、注視点検出部２１４は、視線ベクトルと表示画面１０１Ｓとの交点を示す注視点の位置データを検出する。

出力制御部２１６は、表示装置１０１、出力装置５０、及び音声出力装置７０の少なくとも一つにデータを出力する。本実施形態において、出力制御部２１６は、被験者Ｈの左右それぞれの眼球１１１の注視点の位置データを表示装置１０１又は出力装置５０に表示させる。

視線検出制御部２００は、以上のような構成となっている。次に、視線検出制御部２００による被験者Ｈの視線を検出する処理について説明する。最初に、本実施形態に係る曲率中心算出部２１２の処理の概要について説明する。曲率中心算出部２１２は、眼球１１１の画像データに基づいて、眼球１１１の角膜曲率中心の位置データを算出する。

図６及び図７は、本実施形態に係る角膜曲率中心の位置データの算出方法を説明するための模式図である。図６は、１つの検出光照射部１０３Ｃで眼球１１１が照明される例を示す。図７は、検出光照射部１０３Ａ及び検出光照射部１０３Ｂで眼球１１１が照明される例を示す。

まず、図６に示す例について説明する。検出光照射部１０３Ｃは、撮像部１０２Ａと撮像部１０２Ｂとの間に配置される。瞳孔中心１１２Ｃは、瞳孔１１２の中心である。角膜反射中心１１３Ｃは、角膜反射像１１３の中心である。図６において、瞳孔中心１１２Ｃは、眼球１１１が１つの検出光照射部１０３Ｃで照明されたときの瞳孔中心を示す。角膜反射中心１１３Ｃは、眼球１１１が１つの検出光照射部１０３Ｃで照明されたときの角膜反射中心を示す。

角膜反射中心１１３Ｃは、検出光照射部１０３Ｃと角膜曲率中心１１０とを結ぶ直線上に存在する。角膜反射中心１１３Ｃは、角膜表面と角膜曲率中心１１０との中間点に位置付けられる。角膜曲率半径１０９は、角膜表面と角膜曲率中心１１０との距離である。

角膜反射中心１１３Ｃの位置データは、撮像装置１０２によって検出される。角膜曲率中心１１０は、検出光照射部１０３Ｃと角膜反射中心１１３Ｃとを結ぶ直線上に存在する。曲率中心算出部２１２は、その直線上において角膜反射中心１１３Ｃからの距離が所定値となる位置データを、角膜曲率中心１１０の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、例えば記憶装置２０Ｂに記憶されている。

次に、図７に示す例について説明する。本実施形態においては、撮像部１０２Ａ及び検出光照射部１０３Ｂと、撮像部１０２Ｂ及び検出光照射部１０３Ａとは、撮像部１０２Ａと撮像部１０２Ｂとの中間位置を通る直線に対して左右対称の位置に配置される。撮像部１０２Ａと撮像部１０２Ｂとの中間位置に仮想光源１０３Ｖが存在するとみなすことができる。

角膜反射中心１２１は、撮像部１０２Ｂで眼球１１１を撮影した画像における角膜反射中心を示す。角膜反射中心１２２は、撮像部１０２Ａで眼球１１１を撮影した画像における角膜反射中心を示す。角膜反射中心１２４は、仮想光源１０３Ｖに対応する角膜反射中心を示す。

角膜反射中心１２４の位置データは、撮像装置１０２で取得された角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データに基づいて算出される。撮像装置１０２は、撮像装置１０２に規定される三次元ローカル座標系において角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データを検出する。撮像装置１０２について、事前にステレオ較正法によるカメラ較正が実施され、撮像装置１０２の三次元ローカル座標系を三次元グローバル座標系に変換する変換パラメータが算出される。その変換パラメータは、例えば記憶装置２０Ｂに記憶されている。

曲率中心算出部２１２は、撮像装置１０２で取得された角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データを、変換パラメータを使って、三次元グローバル座標系における位置データに変換する。曲率中心算出部２１２は、三次元グローバル座標系で規定される角膜反射中心１２１の位置データ及び角膜反射中心１２２の位置データに基づいて、三次元グローバル座標系における角膜反射中心１２４の位置データを算出する。

角膜曲率中心１１０は、仮想光源１０３Ｖと角膜反射中心１２４とを結ぶ直線１２３上に存在する。曲率中心算出部２１２は、直線１２３上において角膜反射中心１２４からの距離が所定値となる位置データを、角膜曲率中心１１０の位置データとして算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値であり、例えば記憶装置２０Ｂに記憶されている。

このように、光源が２つある場合でも、光源が１つである場合の方法と同様の方法で、角膜曲率中心１１０が算出される。

角膜曲率半径１０９は、角膜表面と角膜曲率中心１１０との距離である。したがって、角膜表面の位置データ及び角膜曲率中心１１０の位置データが算出されることにより、角膜曲率半径１０９が算出される。

視線検出制御部２００は、以上のような原理で角膜曲率中心１１０を算出することで、被験者Ｈの視点を検出する。より詳しくは、視線検出制御部２００は、被験者Ｈの視線を検出する処理として、キャリブレーション処理と、視線検出処理とを実行する。最初に、視線検出制御部２００は、キャリブレーション処理を実行して、角膜曲率中心１１０の位置データと、瞳孔中心１１２Ｃと角膜曲率中心１１０との距離データと、を算出する。視線検出制御部２００は、キャリブレーション処理において、表示制御部２０２によって表示装置１０１に目標画像を表示させ、光源駆動部４０６によって照明装置１０３から検出光Ｌ１を射出させる。そして、視線検出制御部２００は、撮像装置１０２に、被験者Ｈの眼を撮影させる。視線検出制御部２００は、位置検出部２１０により、取得される画像の輝度に基づいて、瞳孔１１２の位置データ及び角膜反射像１１３の位置データを検出し、瞳孔中心１１２Ｃの位置データ及び角膜反射中心１１３Ｃの位置データを算出する。そして、視線検出制御部２００は、曲率中心算出部２１２により、角膜反射中心１１３Ｃと仮想光源とを結ぶ直線と、表示画面１０１Ｓに規定される目標位置と瞳孔中心１１２Ｃとを結ぶ直線と、を算出し、これらの直線の交点を、角膜曲率中心１１０として算出する。これにより、キャリブレーション処理は終了する。

視線検出制御部２００は、キャリブレーション処理が終了したら、視線検出処理を実行する。視線検出制御部２００は、視線検出処理において、眼球１１１の画像データに基づいて、被験者Ｈの視線ベクトル及び注視点の位置データを算出する。視線検出制御部２００は、注視点検出部２１４により、瞳孔中心１１２Ｃと角膜曲率中心１１０とを結ぶ視線ベクトル（被験者が見ている視線方向）を算出して、この視線ベクトルと表示装置１０１の表示画面１０１Ｓとの交点の位置データを算出する。注視点検出部２１４は、視線ベクトルと表示装置１０１の表示画面１０１Ｓとの交点の位置データが、三次元グローバル座標系で規定される表示画面１０１Ｓにおける被験者の注視点の位置データとして算出する。注視点検出部２１４は、三次元グローバル座標系で規定される注視点の位置データを、２次元座標系で規定される表示装置１０１の表示画面１０１Ｓにおける位置データに変換して、表示画面１０１Ｓ上の注視点の位置データを算出する。これにより、視線検出処理は終了する。

視線検出制御部２００は、以上のようにキャリブレーション処理及び視線検出処理を実行することで、被験者Ｈの視線を検出する。ただし、視線検出制御部２００は、照明装置１０３による検出光Ｌ１が照射された眼球１１１の画像データに基づき、被験者Ｈの視線を検出するものであれば、被験者Ｈの視線の検出方法は、上記に限られない。

（照射制御部）
次に、図５に戻り、照射制御部２２０について説明する。照射制御部２２０は、対象物までの距離の検出結果に基づき、照明装置１０３の検出光Ｌ１の照射を制御する。照射制御部２２０は、光源制御部２２１と、距離データ取得部２２２と、距離算出部２２４と、距離判定部２２６と、画像データ取得部２２８と、照射対象判定部２３０と、光照射制御部２３２と、を有する。

光源制御部２２１は、光源駆動部４０７を制御して、距離検出部１０５の作動状態を制御する。すなわち、光源制御部２２１は、距離検出部１０５に距離検出光Ｌ２を照射させて、距離検出部１０５に対象物までの距離を検出させる。光源制御部２２１は、照明装置１０３が検出光Ｌ１を照射しているタイミングでは、距離検出部１０５に距離検出光Ｌ２の照射を停止させる。なお、視線検出制御部２００の光源制御部２０４は、距離検出部１０５が距離検出光Ｌ２を照射しているタイミングでは、検出光照射部１０３Ａ及び検出光照射部１０３Ｂに検出光Ｌ１の照射を停止させる。

距離データ取得部２２２は、距離検出部１０５から距離データを取得する。距離データとは、距離検出部１０５が検出した、距離検出部１０５から対象物までの距離の検出データである。上述のように、本実施形態では、距離検出部１０５は、対象物までの距離に応じて異なる出力値を出力する。距離データ取得部２２２は、この出力値を、距離データとして取得する。

距離算出部２２４は、距離データに基づき、距離検出部１０５から対象物までの距離を算出する。距離データは、対象物までの距離に応じて異なる値となるため、距離算出部２２４は、距離データに基づき、対象物までの距離を算出することができる。例えば、距離算出部２２４は、距離データの値と距離との関係を示すテーブルを記憶装置２０Ｂから読み出し、距離データ取得部２２２が取得した距離データの値をこのテーブルに当てはめることで、距離検出部１０５から対象物までの距離を算出する。

距離判定部２２６は、距離算出部２２４から、距離算出部２２４が算出した対象物までの距離の情報を取得し、記憶装置２０Ｂから、許容距離範囲Ｄの情報を取得する。距離判定部２２６は、距離算出部２２４が算出した対象物までの距離が、許容距離範囲Ｄの範囲内にあるかを判定する。許容距離範囲Ｄは、予め定められた数値範囲であり、下限距離以上上限距離以下の範囲となる。従って、言い換えれば、距離判定部２２６は、距離算出部２２４が算出した対象物までの距離が、下限距離より短いかを判定し、距離算出部２２４が算出した対象物までの距離が、上限距離より長いかを判定する。下限距離は、例えば４０ｃｍであり、上限距離は、例えば８０ｃｍであるが、下限距離及び上限距離は、これらに限られず、予め設定された値であればよい。

図８は、許容距離範囲の一例を説明するグラフである。図８の横軸は、対象物までの距離であり、縦軸は、距離データの値である。図８の曲線Ａは、距離データの値と距離との関係の例を示す曲線であり、例えば距離算出部２２４により記憶装置２０Ｂから読み出されたテーブルに対応する。曲線Ａに示すように、距離データの値が値Ｇ１である場合、距離算出部２２４は、距離検出部１０５から対象物までの距離を、距離Ｄ１として算出する。また、距離算出部２２４は、距離データの値が値Ｇ２である場合、距離検出部１０５から対象物までの距離を、距離Ｄ２として算出する。図８の例では、値Ｇ２は値Ｇ１より小さく、距離Ｄ２は距離Ｄ１より長い。ただし、曲線Ａは一例であり、距離データの値と距離との関係は、距離検出部１０５の検出方法に応じる。

図８の例では、許容距離範囲Ｄは、距離Ｄ１以上距離Ｄ２以下である。すなわち、距離Ｄ１が下限距離であり、距離Ｄ２が上限距離である。距離判定部２２６は、距離算出部２２４が算出した対象物までの距離が、距離Ｄ１以上距離Ｄ２以下である場合、対象物までの距離が許容距離範囲Ｄの範囲内にあると判定する。また、距離判定部２２６は、距離算出部２２４が算出した対象物までの距離が、距離Ｄ１より短い場合、又は距離Ｄ２より長い場合に、対象物までの距離が許容距離範囲Ｄの範囲内に無い（許容距離範囲Ｄの範囲外である）と判定する。ただし、距離判定部２２６は、少なくとも、距離算出部２２４が算出した対象物までの距離が、下限距離より短いか否かを判定すればよい。

図５に戻り、画像データ取得部２２８は、撮像装置１０２が撮像した対象物の画像データを取得する。本実施形態では、画像データ取得部２２８は、距離検出部１０５により距離検出光Ｌ２が照射された対象物の画像データを、撮像装置１０２から取得する。

照射対象判定部２３０は、撮像部１０２Ａ、１０２Ｂが撮像した画像から、距離検出光Ｌ２が被験者Ｈに照射されているかを検出することで、距離検出部１０５が被験者Ｈまでの距離を検出しているかを判定する。照射対象判定部２３０は、画像データ取得部２２８が取得した対象物の画像データを取得し、その画像データ内で距離検出光Ｌ２が照射されている対象物が、被験者Ｈであるかを判定する。照射対象判定部２３０は、例えば、画像データから顔認識を行い、画像データに被験者Ｈが写っているかを判定する。そして、照射対象判定部２３０は、例えば、画像データの輝度に基づき、対象物に距離検出光Ｌ２が照射されているかを判定する。照射対象判定部２３０は、例えば対象物上に輝度が高いスポットがある場合に、対象物に距離検出光Ｌ２が照射されていると判定する。これにより、照射対象判定部２３０は、距離検出光Ｌ２が照射されて距離検出された対象物が、被験者Ｈであるかを判定する。距離検出部１０５は、空間Ｒに向けて距離検出光Ｌ２を照射するため、空間Ｒ内にある物体に距離検出光Ｌ２が当たれば、被験者Ｈでなくても、その物体までの距離を検出する。しかし、被験者Ｈに距離検出光Ｌ２が照射されているかを照射対象判定部２３０が判定することで、照射制御部２２０は、被験者Ｈに距離検出光Ｌ２が照射されており、距離検出部１０５が被験者Ｈまでの距離を検出しているかを、より確実に認識することができる。

光照射制御部２３２は、距離判定部２２６の判定結果を取得する。光照射制御部２３２は、対象物までの距離が許容距離範囲Ｄの範囲外である場合、検出光Ｌ１の照射を停止させる。より具体的には、光照射制御部２３２は、距離算出部２２４が算出した対象物までの距離が許容距離範囲Ｄの範囲外である場合、照明装置１０３を、照射停止状態にする。照射停止状態とは、照明装置１０３、すなわち検出光照射部１０３Ａ及び検出光照射部１０３Ｂの両方の検出光Ｌ１の照射を停止させる状態である。また、光照射制御部２３２は、対象物までの距離が許容距離範囲Ｄの範囲内である場合、検出光Ｌ１を照射可能な状態とする（照射を許可する）。より具体的には、光照射制御部２３２は、距離算出部２２４が算出した対象物までの距離が許容距離範囲Ｄの範囲内である場合は、照明装置１０３を、照射可能状態にする。照射可能状態とは、照明装置１０３が検出光Ｌ１の照射を可能とする状態である。すなわち、照射停止状態である場合、視線検出制御部２００の光源制御部２０４の制御状態によらず、照明装置１０３は、検出光Ｌ１の照射を停止する。照射可能状態である場合、光源制御部２０４の制御により、照明装置１０３は、検出光Ｌ１を照射する。

光照射制御部２３２は、例えば、視線検出制御部２００による処理（キャリブレーション処理又は視線検出処理）の開始前に、対象物までの距離が許容距離範囲Ｄの範囲外であると判定した場合、例えば入力装置６０に視線検出制御部２００の処理を始める旨の命令が入力された場合でも、照明装置１０３による検出光Ｌ１の照射を停止させたままとし、視線検出制御部２００に処理を開始させない。また、光照射制御部２３２は、視線検出制御部２００による処理の実行中に、対象物までの距離が許容距離範囲Ｄの範囲外であると判定した場合は、照明装置１０３による検出光Ｌ１の照射を停止させ、視線検出制御部２００の処理を停止させる。一方、光照射制御部２３２は、視線検出制御部２００による処理の開始前に、対象物までの距離が許容距離範囲Ｄの範囲内であると判定した場合は、照明装置１０３による検出光Ｌ１の照射を許可し、視線検出制御部２００に処理を開始させる。そして、光照射制御部２３２は、視線検出制御部２００による処理の開始中に、対象物までの距離が許容距離範囲Ｄの範囲内であると判定した場合も、照明装置１０３による検出光Ｌ１の照射を停止させず、視線検出制御部２００の処理を停止させない（処理を続けさせる）。ただし、対象物までの距離が許容距離範囲Ｄの範囲外である場合であっても、光照射制御部２３２は、視線検出制御部２００の処理のうち、検出光Ｌ１の照射以外の処理は、実行を続けさせてもよい。

このように、光照射制御部２３２は、対象物までの距離が許容距離範囲Ｄの範囲外にある場合は、照射停止状態とすることで、照明装置１０３に検出光Ｌ１を照射させない。ただし、光照射制御部２３２は、少なくとも、対象物までの距離が下限値より短い場合に、照明装置１０３に検出光Ｌ１の照射を停止させればよい。従って、光照射制御部２３２は、対象物までの距離が上限値より長い場合は、照明装置１０３に検出光Ｌ１の照射を停止させず、検出光Ｌ１を照射させてもよい。

また、光照射制御部２３２は、距離判定部２２６の判定結果に加え、照射対象判定部２３０の判定結果にも基づき、検出光Ｌ１の照射を制御してもよい。すなわち、光照射制御部２３２は、対象物までの距離が許容距離範囲Ｄの範囲内であり、かつ、照射対象判定部２３０が被験者Ｈに距離検出光Ｌ２が照射されていると判断した場合に、照射可能状態としてもよい。また、光照射制御部２３２は、対象物までの距離が許容距離範囲Ｄの範囲外であり、かつ、照射対象判定部２３０が被験者Ｈに距離検出光Ｌ２が照射されていると判断した場合に、照射停止状態としてもよい。

ただし、光照射制御部２３２は、対象物までの距離が許容距離範囲Ｄの範囲外である場合は、照射対象判定部２３０の判断結果に関わらず、照射停止状態とすることが好ましい。また、光照射制御部２３２は、対象物までの距離が許容距離範囲Ｄの範囲内である場合であっても、照射対象判定部２３０が被験者Ｈに距離検出光Ｌ２が照射されてないと判断した場合、照射停止状態とすることが好ましい。これにより、被験者Ｈが許容距離範囲Ｄの範囲外にある場合に、被験者Ｈに検出光Ｌ１が照射されてしまうことをより好適に抑制することができる。

照射制御部２２０は、以上のような構成となっている。次に、照射制御部２２０による検出光Ｌ１の照射制御フローを説明する。図９は、本実施形態に係る照射制御部による検出光の照射制御フローを説明する説明図である。図９に示すように、最初に、照射制御部２２０は、光源制御部２２１により、距離検出部１０５に距離検出光Ｌ２を照射させて、距離算出部２２４により、距離検出部１０５から対象物までの距離を算出する（ステップＳ１０）。照射制御部２２０は、例えば入力装置６０に視線を検出する処理を実行するとの命令が入力された場合に、視線検出制御部２００による処理（キャリブレーション処理及び視線検出処理）の前にステップＳ１０を始めて、対象物までの距離検出を始める。対象物までの距離を算出した後、照射制御部２２０は、距離判定部２２６により、対象物までの距離が許容距離範囲Ｄの範囲内であるかを判定する（ステップＳ１２）。

対象物までの距離が許容距離範囲Ｄの範囲内である場合（ステップＳ１２；Ｙｅｓ）、照射制御部２２０は、照明装置１０３を照射可能状態とする（ステップＳ１４）。照射可能状態である場合、視線検出制御部２００の光源制御部２０４は、照明装置１０３に検出光Ｌ１を照射させることが可能となり、視線検出制御部２００がキャリブレーション処理及び視線検出処理を実行可能となる。

一方、対象物までの距離が許容距離範囲Ｄの範囲内に無い場合（ステップＳ１２；Ｎｏ）、すなわち対象物までの距離が許容距離範囲Ｄの範囲外である場合、照射制御部２２０は、照明装置１０３を照射停止状態とする（ステップＳ１６）。照射停止状態である場合、視線検出制御部２００の光源制御部２０４は、照明装置１０３に検出光Ｌ１を照射させず、視線検出制御部２００がキャリブレーション処理及び視線検出処理を実行しない。ただし、上述のように、この場合であっても、視線検出制御部２００は、検出光Ｌ１の照射以外の処理は行ってもよい。また、上述のように、ステップＳ１２においては、対象物までの距離が許容距離範囲Ｄの範囲内にあるかの判断に加え、照射対象判定部２３０が被験者Ｈに距離検出光Ｌ２が照射されているかの判断にも基づき、照射停止状態と照射可能状態とを切り替えてもよい。

ステップＳ１４及びステップＳ１６の後は、ステップＳ１８に移行し、処理を終了する場合（ステップＳ１８；Ｙｅｓ）は、この処理を終了し、処理を終了しない場合（ステップＳ１８；Ｎｏ）は、ステップＳ１０に戻り、対象物までの距離の検出を続ける。そして、距離検出部１０５の最新の検出結果に基づき、対象物までの距離が許容距離範囲Ｄの範囲内であるかを判断し、判断結果が直前の判断結果から変わった場合は、照射可能状態と照射停止状態とを切り替える。照射制御部２２０は、被験者Ｈまでの距離検出を続けることで、キャリブレーション処理及び視線検出処理中に被験者Ｈが移動して許容距離範囲Ｄの範囲外に入った場合に、検出光Ｌ１の照射を停止させることができる。

次に、検出光Ｌ１及び距離検出光Ｌ２の照射タイミングと、撮像装置１０２の撮像タイミングとのタイミングについて説明する。図１０は、本実施形態に係る検出光及び距離検出光の照射タイミングと撮像タイミングとのタイミングチャートの一例である。図１０は、視線検出装置１００から対象物（被験者Ｈ）までの距離が、時間経過に伴い一定の速度で短くなっていく場合を一例として示したものである。図１０の線分Ｘ１は、時間経過に従った視線検出装置１００から対象物（被験者Ｈ）までの距離を表している。線分Ｘ２は、対象物（被験者Ｈ）までの距離が線分Ｘ１のように変化した場合における、時間経過に応じた照射可能状態であるか照射停止状態であるかの検出光照射制御状態を示している。線分Ｘ３は、検出光照射制御状態が線分Ｘ２のように変化した場合における、時間経過に応じた検出光Ｌ１の出力タイミング（検出光出力）を示している。線分Ｘ４は、検出光照射制御状態が線分Ｘ２のように変化した場合における、時間経過に応じた距離検出光Ｌ２の出力タイミング（距離検出光出力）を示している。線分Ｘ５は、検出光照射制御状態が線分Ｘ２のように変化した場合における、時間経過に応じた視線検出用の撮像装置１０２の撮像タイミング（視線検出用撮像出力）を示している。線分Ｘ６は、検出光照射制御状態が線分Ｘ２のように変化した場合における、時間経過に応じた距離検出用の撮像装置１０２の撮像タイミング（距離検出用撮像出力）を示している。

線分Ｘ１に示すように、図１０の例では、視線検出装置１００から被験者Ｈまでの距離は、タイミングｔ０から、時間経過に伴い線形的に短くなっている。被験者Ｈまでの距離は、タイミングｔ１において、距離Ｄ２（上限距離）となり、タイミングｔ１以降でさらに短くなる。そして、被験者Ｈまでの距離は、タイミングｔ１の後のタイミングｔ１１において、距離Ｄ１（下限距離）となり、タイミングｔ１１以降でさらに短くなる。すなわち、図１０の例では、タイミングｔ１からタイミングｔ１１までにおいて、被験者Ｈまでの距離が許容距離範囲Ｄの範囲内となり、タイミングｔ１以前及びタイミングｔ１１以降においては、被験者Ｈまでの距離が許容距離範囲Ｄの範囲外となる。

線分Ｘ２に示すように、タイミングｔ１からタイミングｔ１１までにおいて、照射可能状態となり、タイミングｔ１以前及びタイミングｔ１１以降においては、照射停止状態となる。ただし、上述のように、この照射可能状態及び照射停止状態のタイミングは、被験者までの距離が線分Ｘ１のように変化した場合の例であり、照射可能状態及び照射停止状態のタイミングは、被験者Ｈまでの距離に依存する。従って、例えば、被験者Ｈまでの距離がタイミングｔ１から変化しない場合は、タイミングｔ１以降で、照射可能状態が続く。

線分Ｘ３に示すように、視線検出制御部２００の光源制御部２０４は、タイミングｔ０からタイミングｔ１と、タイミングｔ１１以降とにおいては、照射停止状態であるため、照明装置１０３に検出光Ｌ１を照射させない。光源制御部２０４は、タイミングｔ０からタイミングｔ１と、タイミングｔ１１以降との照射停止状態においては、常に検出光Ｌ１の出力をＯＦＦにして、検出光Ｌ１を常に停止させている。一方、光源制御部２０４は、タイミングｔ１からタイミングｔ１１までの照射可能状態においては、所定のタイミング毎に照明装置１０３に検出光Ｌ１を照射させている。図１０の例では、光源制御部２０４は、タイミングｔ１で検出光Ｌ１をＯＦＦからＯＮに切り替え、タイミングｔ２までＯＮ状態を続けて、タイミングｔ１からタイミングｔ２までの間、検出光Ｌ１を照射している。また、光源制御部２０４は、タイミングｔ２からタイミングｔ５まで検出光Ｌ１のＯＦＦ状態を続け、タイミングｔ５でＯＮ状態に切り替えている。光源制御部２０４は、タイミングｔ５からタイミングｔ６までＯＮ状態を続けて、タイミングｔ６でＯＦＦ状態に切り替えている。また、光源制御部２０４は、タイミングｔ６からタイミングｔ９まで検出光Ｌ１のＯＦＦ状態を続け、タイミングｔ９でＯＮ状態に切り替えている。光源制御部２０４は、タイミングｔ９からタイミングｔ１０までＯＮ状態を続けて、タイミングｔ１０でＯＦＦ状態に切り替えている。そして、タイミングｔ１０からタイミングｔ１１までＯＦＦ状態を続け、タイミングｔ１１以降は照射停止状態に切り替わるので、更にＯＦＦ状態が続く。

タイミングｔ１からタイミングｔ２までの長さ、タイミングｔ５からタイミングｔ６までの長さ、及びタイミングｔ９からタイミングｔ１０までの長さは、同じである。すなわち周期毎のＯＮ状態とする長さ、言い換えれば、照射可能状態における検出光Ｌ１のパルス幅は、一定である。また、タイミングｔ２からタイミングｔ５までの長さ、タイミングｔ６からタイミングｔ９までの長さ（パルスの間隔）は、一定である。すなわち、図１０の例では、光源制御部２０４は、照射可能状態において、一定の周期で、検出光Ｌ１をＯＦＦ状態からＯＮ状態に切り替えている。ただし、照射可能状態における検出光Ｌ１の照射タイミングは、視線を検出する処理の内容に応じたものであり、一定のパルス幅、一定の周期に限られない。

このように、光源制御部２０４は、照射停止状態において、検出光Ｌ１を常に停止させ、照射可能状態において、所定のパルス幅でパルス状に検出光Ｌ１を照射している。

線分Ｘ４に示すように、照射制御部２２０の光源制御部２２１は、照射停止状態であっても、照射可能状態であっても、距離検出部１０５に距離検出光Ｌ２を照射させ、被験者Ｈまでの距離を検出している。ただし、より詳しくは、光源制御部２２１は、照射停止状態においては、常に距離検出光Ｌ２をＯＮ状態とし、常に距離検出光Ｌ２を照射させ続けている。一方、光源制御部２２１は、照射可能状態においては、距離検出光Ｌ２をＯＮ状態とＯＦＦ状態とで切り替えて、所定のパルス幅でパルス状に距離検出光Ｌ２を照射させている。具体的には光源制御部２２１は、照射可能状態において、検出光Ｌ１が照射されているタイミング、すなわち検出光Ｌ１がＯＮ状態のタイミングでは、距離検出光Ｌ２の照射を停止（距離検出光Ｌ２をＯＦＦ状態）する。そして、光源制御部２２１は、照射可能状態において、検出光Ｌ１の照射が停止されているタイミング、すなわち検出光Ｌ１がＯＦＦ状態のタイミングでは、距離検出光Ｌ２を照射する（距離検出光Ｌ２をＯＮ状態にする）。同じタイミングで検出光Ｌ１と距離検出光Ｌ２とが照射されることを防止することで、視線検出用の画像に距離検出光Ｌ２が写り込むことを抑制して、視線検出精度の低下を抑制することができる。なお、図１０の例では、検出光Ｌ１のＯＮとＯＦＦとが切り替わるタイミングと、距離検出光Ｌ２のＯＦＦとＯＮとが切り替わるタイミングは、同じであったが、両方がＯＮとなるタイミングが無いように設定されていれば、切り替わるタイミングは同じでなくてもよい。

ここで、検出光Ｌ１の強度を強度Ｏ１とし、距離検出光Ｌ２の強度を強度Ｏ２とする。上述のように、強度Ｏ１は、強度Ｏ２より高くなっている。

線分Ｘ５に示すように、撮像装置１０２は、所定のタイミングで、視線検出用の画像（検出光Ｌ１が照射された状態の眼球１１１の画像）を撮像している。具体的には、撮像装置１０２は、タイミングｔ０からタイミングｔ１と、タイミングｔ１１以降との照射停止状態においては、視線検出用の画像の撮像は常に停止している。一方、撮像装置１０２は、タイミングｔ１からタイミングｔ１１までの照射可能状態においては、検出光Ｌ１の照射タイミングに合わせて、視線検出用の画像を撮像している。すなわち、撮像装置１０２は、検出光Ｌ１と同タイミングで、視線検出用撮像出力のＯＮ状態とＯＦＦ状態とを切り替えている。ただし、撮像装置１０２は、検出光Ｌ１が照射された状態の眼球１１１の画像を撮像可能であれば、撮像タイミングは検出光Ｌ１の照射タイミングと一致していなくてもよい。

線分Ｘ６に示すように、撮像装置１０２は、所定のタイミングで、距離検出用の画像（距離検出光Ｌ２が照射された対象物の画像）を撮像している。図１０の例では、撮像装置１０２は、照射停止状態においては、距離検出用の画像の撮像を常に停止している。一方、撮像装置１０２は、タイミングｔ１からタイミングｔ１１までの照射可能状態においては、視線検出用の画像の撮像タイミングと重複しないタイミングであって、距離検出光Ｌ２が照射されているタイミングで、距離検出用の画像を撮像している。図１０の例では、撮像装置１０２は、タイミングｔ２からタイミングｔ３においては、距離検出用撮像出力をＯＦＦ状態として、距離検出用の画像の撮像を停止している。タイミングｔ３は、タイミングｔ２とタイミングｔ５との間のタイミングである。そして、撮像装置１０２は、タイミングｔ３からタイミングｔ４においては、距離検出用撮像出力をＯＮ状態として、距離検出用の画像を撮像している。タイミングｔ４は、タイミングｔ３とタイミングｔ５との間のタイミングである。そして、撮像装置１０２は、タイミングｔ４からタイミングｔ７においては、距離検出用撮像出力をＯＦＦ状態として、距離検出用の画像の撮像を停止している。タイミングｔ７は、タイミングｔ６とタイミングｔ９との間のタイミングである。そして、撮像装置１０２は、タイミングｔ７からタイミングｔ８においては、距離検出用撮像出力をＯＮ状態として、距離検出用の画像を撮像している。タイミングｔ８は、タイミングｔ７とタイミングｔ９との間のタイミングである。

このように、撮像装置１０２は、照射可能状態においては、視線検出用の画像の撮像タイミングと重複しないタイミングであって、距離検出光Ｌ２が照射されているタイミングで、距離検出用の画像を撮像している。このようなタイミングで距離検出用の画像を撮像することで、距離検出用の画像に検出光Ｌ１が写り込むことを抑制して、距離検出精度の低下を抑制することができる。なお、図１０の例では、距離検出用撮像出力のＯＮ状態とＯＦＦ状態とを切り替えるタイミングは、検出光Ｌ１、距離検出光Ｌ２及び視線検出用撮像出力の切り替えタイミングとずれているが、これらと同タイミングであってもよい。

本実施形態における検出光Ｌ１及び距離検出光Ｌ２の照射タイミングと、撮像装置１０２の撮像タイミングとは、以上のようになっている。以下、このタイミングの他の例について説明する。図１１及び図１２は、本実施形態に係る検出光及び距離検出光の照射タイミングと撮像タイミングとのタイミングチャートの他の例である。

図１１は、距離検出用撮像出力、すなわち距離検出用の画像の撮像のタイミングが、図１０と異なる。図１１の線分Ｘ６Ａに示すように、撮像装置１０２は、照射停止状態においても、距離検出用の画像の撮像を行ってもよい。図１１の例では、照射停止状態において、照射可能状態と同じ周期で、距離検出用撮像出力のＯＮ状態とＯＦＦ状態との切り替えを行っているが、照射可能状態と異なる周期で距離検出用撮像出力のＯＮ状態とＯＦＦ状態との切り替えを行ってもよい。このように照射停止状態においても距離検出用の画像を撮像することで、対象物が許容距離範囲Ｄの範囲外である場合でも、距離を測定した対象物が被験者Ｈであるかを認識することができる。これにより、被験者Ｈまでの距離をより正確に把握することができる。

図１２は、検出光Ｌ１のパルス幅を、被験者Ｈ（対象物）までの距離に応じて変化させている点で、図１０と異なる。図１２の線分Ｘ３Ａに示すように、視線検出制御部２００の光源制御部２０４は、照射可能状態において、被験者Ｈ（対象物）までの距離が短くなるに従って、検出光Ｌ１の強度は一定に保ったまま、検出光Ｌ１のパルス幅を短くしている。これにより、視線検出装置１００と被験者Ｈまでの距離が短くなるに従って、検出光Ｌ１が眼球１１１に照射されている時間を短くすることができ、検出光Ｌ１の眼球１１１への積算照射量を低減することができる。これにより、検出光による被験者の眼に対する影響を、さらに好適に抑制することができる。なお、光源制御部２０４は、照射可能状態において、被験者Ｈ（対象物）までの距離が短くなるに従って、検出光Ｌ１の眼球１１１への積算照射量を低減するものであれば、パルス幅を短くすることに限られない。例えば、光源制御部２０４は、照射可能状態において、被験者Ｈ（対象物）までの距離が短くなるに従って、検出光Ｌ１のパルス幅を一定に保ったまま、検出光Ｌ１の強度を低減させてもよい。光源制御部２０４は、被験者Ｈ（対象物）までの距離が短くなるに従って、検出光Ｌ１の強度及びパルス幅の両方を低減させてもよい。

以上説明したように、本実施形態に係る視線検出装置１００は、検出光照射部１０３Ａ、１０３Ｂと、距離検出部１０５と、照射制御部２２０とを有する。検出光照射部１０３Ａ、１０３Ｂは、被験者Ｈの眼球１１１に、視線検出用の検出光Ｌ１を照射する。なお、上述のように、視線検出用の検出光Ｌ１を照射する検出光照射部は、少なくとも１つあればよい。距離検出部１０５は、被験者Ｈまでの距離を検出する。照射制御部２２０は、距離検出部１０５が検出した被験者Ｈまでの距離が、予め定めた所定の下限距離より短い場合に、検出光照射部１０３Ａ、１０３Ｂに検出光Ｌ１の照射を停止させる。

検出光Ｌ１は、視線検出のために被験者Ｈの眼球１１１に照射される。しかし、眼球１１１に照射される検出光Ｌ１の照射パワーが高すぎると、被験者Ｈの眼の疲れなど、眼に影響を及ぼすおそれがある。特に、被験者Ｈと検出光照射部１０３Ａ、１０３Ｂとの距離が近い場合は、眼に対する影響が強くなる。それに対し、本実施形態に係る視線検出装置１００は、距離検出部１０５によって被験者Ｈまでの距離を検出している。そして、被験者Ｈまでの距離が下限距離より短い場合に、検出光Ｌ１の照射を停止させる。すなわち、本実施形態に係る視線検出装置１００は、被験者Ｈが下限距離より近くまで近づくと、検出光Ｌ１の照射を停止させることで、検出光Ｌ１による被験者Ｈの眼に対する影響を抑制することができる。

照射制御部２２０は、距離検出部１０５が検出した被験者Ｈまでの距離が、下限距離から上限距離までの許容距離範囲Ｄの範囲内にある場合に、検出光Ｌ１を照射可能な状態である照射可能状態とする。また、照射制御部２２０は、距離検出部１０５が検出した被験者Ｈまでの距離が許容距離範囲Ｄの範囲外にある場合に、検出光Ｌ１の照射を停止させた状態である照射停止状態とする。この視線検出装置１００は、許容距離範囲Ｄの範囲外にある場合に検出光Ｌ１の照射を停止させる照射停止状態とする。被験者Ｈが視線検出装置１００から遠くにいすぎると、視線検出を適切に行う事が出来ない場合がある。この視線検出装置１００は、許容距離範囲Ｄの範囲外にある場合に検出光Ｌ１の照射を停止させることで、被験者Ｈが遠すぎて視線検出を適切に行えない場合において検出光Ｌ１を適切に停止させる。これにより、視線検出装置１００は、不要なタイミングでの検出光Ｌ１の照射を抑制して、エネルギー消費を削減することができる。

視線検出装置１００は、被験者Ｈの画像を撮像する撮像部１０２Ａ、１０２Ｂを更に有する。この視線検出装置１００は、撮像部１０２Ａ、１０２Ｂを有することで、視線検出を適切に行うことができる。また、視線検出装置１００は、距離検出部１０５で距離を検出するため、撮像装置１０２をステレオカメラとすることなく、１つの撮像部のみ有する構成とすることができ、撮像装置１０２の製造コストやサイズを削減することができる。

また、距離検出部１０５による、被験者Ｈまでの距離検出は、撮像部１０２Ａ、１０２Ｂを用いたステレオカメラによる距離検出よりも近距離での距離検出が可能である。撮像部１０２Ａ、１０２Ｂが撮像した被験者Ｈの画像により、被験者Ｈまでの距離検出は可能である。ただし、画像による距離検出は、被験者Ｈが撮像部の被写界深度の範囲から外れた距離にある場合、被験者Ｈにピント（焦点）が合わず、距離検出の精度が低下する。また、視線検出装置１００は、遠距離で視線検出を行う場合には、撮像部のレンズは明るいレンズ（Ｆ値の小さなもの）および焦点距離の長いレンズが求められるため、被写界深度は浅くなり、ピント（焦点）の合う範囲は狭くなり、ステレオカメラによる距離検出では距離検出範囲は小さくなる。それに対し、本実施形態に係る視線検出装置１００は、距離検出が可能な被験者Ｈまでの距離の範囲が大きい距離検出部１０５により距離検出を行うため、例えば被験者Ｈが大きく移動した場合でも、被験者Ｈまでの距離検出を高精度に行うことができる。

また、距離検出部１０５は、距離検出光Ｌ２を被験者Ｈに照射することで被験者Ｈまでの距離を検出する。そして、照射制御部２２０は、撮像部１０２Ａ、１０２Ｂが撮像した画像から、距離検出光Ｌ２が被験者Ｈ２に照射されているかを検出することで、距離検出部１０５が被験者Ｈまでの距離を検出しているかを判定する。これにより、照射制御部２２０は、被験者Ｈまでの距離を検出しているかをより高精度に判断することができ、その高精度での判断に基づき検出光Ｌ１の照射を制御することで、検出光Ｌ１による被験者Ｈの眼に対する影響をより好適に抑制することができる。

また、距離検出部１０５は、距離検出光Ｌ２を被験者Ｈに照射することで被験者Ｈまでの距離を検出する。視線検出装置１００は、距離検出光Ｌ２の照射により被験者Ｈまでの距離を検出することで、被験者Ｈまでの距離検出を高精度に行うことができる。

また、照射制御部２２０は、検出光照射部１０３Ａ、１０３Ｂに検出光Ｌ１を照射させている際に、距離検出部１０５による距離検出光Ｌ２の照射を停止させる。これにより、照射制御部２２０は、視線検出用の画像に距離検出光Ｌ２が写り込むことを抑制して、視線検出精度の低下を抑制することができる。

以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

１００ 視線検出装置
１０１ 表示装置
１０２ 撮像装置
１０２Ａ、１０２Ｂ 撮像部
１０３ 照明装置
１０３Ａ、１０３Ｂ 検出光照射部
１０５ 距離検出部
２００ 視線検出制御部
２２０ 照射制御部
２２１ 光源制御部
２２２ 距離データ取得部
２２４ 距離算出部
２２６ 距離判定部
２２８ 画像データ取得部
２３０ 照射対象判定部
２３２ 光照射制御部
Ｄ 許容距離範囲
Ｈ 被験者
Ｌ１ 検出光
Ｌ２ 距離検出光

Claims (4)

1. 視線検出用の検出光を照射する検出光照射部と、
   被験者までの距離を検出する距離検出部と、
   前記距離検出部が検出した前記被験者までの距離が、所定の下限距離より短い場合に、前記検出光照射部に前記検出光の照射を停止させる照射制御部と、
   を有する、視線検出装置。
2. 前記照射制御部は、前記距離検出部が検出した前記被験者までの距離が、前記下限距離から上限距離までの許容距離範囲内にある場合に、前記検出光を照射可能な状態である照射可能状態とし、前記許容距離範囲外にある場合に、前記検出光の照射を停止させた状態である照射停止状態とする、請求項１に記載の視線検出装置。
3. 前記被験者の画像を撮像する撮像部を更に有し、
   前記距離検出部は、距離検出光を前記被験者に照射することで前記被験者までの距離を検出し、
   前記照射制御部は、前記撮像部が撮像した画像から、前記距離検出光が前記被験者に照射されているかを検出することで、前記距離検出部が前記被験者までの距離を検出しているかを判定する、請求項１又は請求項２に記載の視線検出装置。
4. 視線検出用の検出光を照射する検出光照射ステップと、
   被験者までの距離を検出する距離検出ステップと、
   前記距離検出ステップにおいて検出した前記被験者までの距離が、所定の下限距離より短い場合に、前記検出光の照射を停止する照射制御ステップと、
   を有する、視線検出方法。

Images