JP2018011681A - 視線検出装置、視線検出プログラムおよび視線検出方法 - Google Patents

Abstract

【課題】撮像装置の撮影動作と光源の点滅動作とタイミングが互いに異なる場合でも、点灯中の画像および消灯中の画像を視線検出に利用可能なフレームレートの低下を抑え、取得することを目的とする。【解決手段】撮像装置が被写体を所定のフレームレートで撮影した動画像を取得し、取得した画像に基づいて被写体の視線を検出する視線検出装置であって、少なくとも２フレーム時間以上の時間間隔で点灯と消灯とを繰り返す光源に照らされた被写体を、所定のフレームレートで撮像装置が撮影した複数の画像のうち、画像の輝度に基づいて光源の点灯中または及び消灯中に撮影された画像を抽出する抽出部と、抽出部により抽出された点灯中の画像と消灯中の画像との組合せを取得する取得部と、取得した各組合せの点灯中の画像と消灯中の画像とが示す情報の差分に基づいて、被写体の眼鏡に映り込む周囲の光による像が除去された画像を生成する除去部とを有する。【選択図】図１

Description

本発明は、視線検出装置、視線検出プログラムおよび視線検出方法に関する。

カメラにより撮影された画像から人物の視線を検出する方法の１つとして、角膜反射法がある。角膜反射法の視線検出では、視線を検出する対象の被験者に向けて、赤外線の光を照射する光源と、赤外線の光を検出するカメラとが用いられる。例えば、角膜反射法により視線を検出する視線検出装置は、カメラにより撮影された画像における輝度値の分布を算出し、被験者の目の瞳孔として、輝度値が周囲の領域の輝度値より小さい円形の領域を検出する。また、視線検出装置は、算出した輝度値の分布に基づいて、光源により照射された赤外線が被験者の目の角膜で反射した箇所を示す輝点を、輝度値が周囲の領域の輝度値より大きい領域として画像から検出する。そして、視線検出装置は、例えば、検出した被験者の瞳孔の中心位置と輝点の位置との間の距離と、予め設定された角膜の曲率半径とに基づいて被験者の視線を検出する。

しかしながら、被験者が眼鏡をかけている場合、カメラにより撮影された画像には、被験者の目の瞳孔および光源の赤外線の輝点の少なくとも一方と、眼鏡のレンズに映り込む周囲の光（以下、“環境光”とも称される）による像とが重畳することがある。環境光による像が画像に重畳する場合、画像において、被験者の目の瞳孔や光源の赤外線の輝点が不鮮明となるため、角膜反射法による視線検出では、視線検出の精度が低下する。

なお、光源が赤外線を照射しない、すなわち光源が消灯している場合、画像には、被験者の目の瞳孔および光源の赤外線の輝点は写らず、被験者の眼鏡に映り込んだ環境光の像が写る。そこで、カメラの撮影動作と光源の点滅動作とを同期させて、点灯中の画像と消灯中の画像とを取得し、点灯中の画像と消灯中の画像と輝度の差分に基づいて、眼鏡等に映り込む環境光の像を画像から除去する技術が提案されている（例えば、特許文献１−３参照）。

同期回路を設けずに行う場合は、照明のＯＮ／ＯＦＦ制御後、確実に照明がＯＮ及びＯＦＦになるタイミングを見極めて撮像を行えば、同様に眼鏡等に映り込む環境光の像を画像から除去する事ができる。しかしながら、映り込み除去後の視線検出に利用可能なフレームレートが大幅に低く（フレーム数が少なく）なってしまう。

特開２００２−２３０５６３号公報 特開２００８−２７６３２８号公報 特開２００８−１２３１３７号公報

ところで、視線を正しく、また細かな動きに追従性よく検出するためには、視線検出に使用できるフレーム数（フレームレート）は多い方が望ましい。視線検出に利用できるフレーム数をできる限り多くするために従来技術では、カメラの撮影動作と光源の点滅動作とを同期させるための回路を設ける必要がある。このため、回路規模が増大し、コストが増加することがある。

１つの側面では、本件開示の視線検出装置、視線検出プログラムおよび視線検出方法は、撮像装置の撮影動作と光源の点滅動作とタイミングが互いに異なる場合でも、点灯中の画像および消灯中の画像を視線検出に利用可能なフレームレートの低下を抑え、取得することを目的とする。

一つの観点によれば、視線検出装置は、撮像装置が被写体を所定のフレームレートで撮影した動画像を取得し、取得した画像に基づいて被写体の視線を検出する視線検出装置であって、少なくとも２フレーム時間以上の時間間隔で点灯と消灯とを繰り返す光源に照らされた被写体を、所定のフレームレートで撮像装置が撮影した複数の画像のうち、画像の輝度に基づいて光源の点灯中または及び消灯中に撮影された画像を抽出する抽出部と、抽出部により抽出された点灯中の画像と消灯中の画像との組合せを取得する取得部と、取得した各組合せの点灯中の画像と消灯中の画像とが示す情報の差分に基づいて、被写体の眼鏡に映り込む周囲の光による像が除去された画像を生成する除去部とを有する。

別の観点によれば、視線検出装置は、撮像装置が被写体を所定のフレームレートで撮影した動画像を取得し、取得した画像に基づいて被写体の視線を検出する視線検出装置であって、光源に照らされた被写体を、所定のフレームレートで撮像装置が撮影した画像が、被写体の眼鏡に映り込む周囲の光による像が存在する第１画像か否かを画像の輝度に基づいて判定する判定部と、撮像装置により撮影された画像が第１画像であると判定部により判定された場合、光源を少なくとも２フレーム時間以上の時間消灯させる制御部と、光源の消灯中に撮像装置により撮影された被写体の第２画像と、第１画像とが示す情報の差分に基づいて、被写体の眼鏡に映り込む周囲の光による像が除去された画像を生成する除去部とを有する。

別の観点によれば、視線検出プログラムは、撮像装置が被写体を所定のフレームレートで撮影した動画像を取得し、取得した画像に基づいて被写体の視線を検出する視線検出プログラムであって、少なくとも２フレーム時間以上の時間間隔で点灯と消灯とを繰り返す光源に照らされた被写体を、所定のフレームレートで撮像装置が撮影した複数の画像のうち、画像の輝度に基づいて光源の点灯中または及び消灯中に撮影された画像を抽出し、抽出した点灯中の画像と消灯中の画像との組合せを取得し、取得した各組合せの点灯中の画像と消灯中の画像とが示す情報の差分に基づいて、被写体の眼鏡に映り込む周囲の光による像が除去された画像を生成する処理をコンピュータに実行させる。

別の観点によれば、視線検出プログラムは、撮像装置が被写体を所定のフレームレートで撮影した動画像を取得し、取得した画像に基づいて被写体の視線を検出する視線検出プログラムであって、光源に照らされた被写体を、所定のフレームレートで撮像装置が撮影した画像が、被写体の眼鏡に映り込む周囲の光による像が存在する第１画像か否かを画像の輝度に基づいて判定し、撮像装置により撮影された画像が第１画像であると判定した場合、光源を少なくとも２フレーム時間以上の時間消灯させ、光源の消灯中に撮像装置により撮影された被写体の第２画像と、第１画像とが示す情報の差分に基づいて、被写体の眼鏡に映り込む周囲の光による像が除去された画像を生成する処理をコンピュータに実行させる。

別の観点によれば、視線検出方法は、撮像装置が被写体を所定のフレームレートで撮影した動画像を取得し、取得した画像に基づいて被写体の視線を検出する視線検出方法であって、少なくとも２フレーム時間以上の時間間隔で点灯と消灯とを繰り返す光源に照らされた被写体を、所定のフレームレートで撮像装置が撮影した複数の画像のうち、画像の輝度に基づいて光源の点灯中または及び消灯中に撮影された画像を抽出し、抽出した点灯中の画像と消灯中の画像との組合せを取得し、取得した各組合せの点灯中の画像と消灯中の画像とが示す情報の差分に基づいて、被写体の眼鏡に映り込む周囲の光による像が除去された画像を生成する。

別の観点によれば、視線検出方法は、撮像装置が被写体を所定のフレームレートで撮影した動画像を取得し、取得した画像に基づいて被写体の視線を検出する視線検出方法であって、光源に照らされた被写体を、所定のフレームレートで撮像装置が撮影した画像が、被写体の眼鏡に映り込む周囲の光による像が存在する第１画像か否かを画像の輝度に基づいて判定し、撮像装置により撮影された画像が第１画像であると判定した場合、光源を少なくとも２フレーム時間以上の時間消灯させ、光源の消灯中に撮像装置により撮影された被写体の第２画像と、第１画像とが示す情報の差分に基づいて、被写体の眼鏡に映り込む周囲の光による像が除去された画像を生成する。

本件開示の視線検出装置、視線検出プログラムおよび視線検出方法は、撮像装置の撮影動作と光源の点滅動作とタイミングが互いに異なる場合でも、フレームレートをできる限り落とさずに点灯中の画像および消灯中の画像を取得できる。

視線検出装置、視線検出プログラムおよび視線検出方法の一実施形態を示す図である。 視線検出装置、視線検出プログラムおよび視線検出方法の別の実施形態を示す図である。 視線検出装置の別の実施形態を示す図である。 図３に示した検出部における検出処理の一例を示す図である。 図３に示した視線検出システムのハードウェア構成の一例を示す図である。 図３に示した視線検出装置における視線検出処理の一例を示す図である。 図６に示したステップＳ１４０の較正処理の一例を示す図である。 図６に示したステップＳ１５０の検出処理の一例を示す図である。 視線検出装置の別の実施形態を示す図である。 図９に示した視線検出装置がＨＭＤに搭載される場合の一例を示す図である。 図１０に示したＨＭＤが被験者ＰＡに装着された場合の一例を示す図である。 図９に示した視線検出システムのハードウェア構成の一例を示す図である。 図９に示した判定部における判定処理の一例を示す図である。 図９に示した判定部における判定処理の別例を示す図である。 図９に示した撮像装置の撮影動作と、光源の点滅動作との関係の一例を示す図である。 図９に示した視線検出装置における視線検出処理の一例を示す図である。

以下、図面を用いて実施形態を説明する。

図１は、視線検出装置、視線検出プログラムおよび視線検出方法の一実施形態を示す。

図１（ａ）に示した視線検出装置１００は、例えば、プロセッサ等の演算処理装置と、ハードディスク装置等の記憶装置を有するコンピュータ装置である。視線検出装置１００は、有線または無線を介して、撮像装置１０に接続され、撮像装置１０により撮影された被験者ＰＡの画像のデータを受信する。撮像装置１０は、例えば、所定の時間の間隔で点灯と消灯とを繰り返す光源２０に照らされ眼鏡をかけた被験者ＰＡを、所定のフレームレートで撮影し、撮影した画像のデータを視線検出装置１００に送信する。すなわち、視線検出装置１００は、撮像装置１０および光源２０と協働して視線検出システムとして動作する。

なお、視線検出装置１００の構成および動作は、図１に示す例に限定されず、例えば、撮像装置１０および光源２０が、視線検出装置１００内に設けられてもよい。

また、図１（ｂ）に示した括弧内は、撮像装置１０の撮影動作と、光源２０の点滅動作との関係の一例を示す。

視線検出装置１００は、抽出部３０、取得部４０および除去部５０を有する。例えば、視線検出装置１００の演算処理装置は、記憶装置に記憶された視線検出プログラムを実行することにより、抽出部３０、取得部４０および除去部５０として機能する。なお、抽出部３０、取得部４０および除去部５０は、視線検出装置１００に搭載されるハードウェアにより実現されてもよい。

抽出部３０は、撮像装置１０により所定のフレームレートで撮影された画像を受信する。抽出部３０は、受信した各画像の輝度に基づいて光源２０の点灯中に撮影された画像を１つ抽出する。例えば、視線検出装置１００が、視線検出装置１００に含まれるキーボードやタッチパネル等の入力装置を介して、視線検出処理の実行指示を受けた場合、抽出部３０は、撮像装置１０により所定のフレームレートで撮影された画像を受ける。図１（ｂ）の括弧内に示すように、抽出部３０は、例えば、光源２０が点灯と消灯とを一回ずつ実行した期間に撮影された、４フレーム分の画像ｆ（例えば、画像ｆ１−ｆ４）の各々の輝度の総和を算出する。そして、抽出部３０は、算出した輝度の総和が最大値となる画像ｆを、光源２０の点灯中に撮像装置１０により撮影された画像として抽出する。例えば、画像ｆ１−ｆ４では、光源２０が点灯している期間に撮影された画像ｆ２の輝度の総和が最大である。したがって、抽出部３０は、画像ｆ２を抽出する。抽出部３０は、抽出した画像ｆ２を取得部４０に出力する。

なお、抽出部３０は、算出した輝度の総和が最小値を示す画像ｆ（例えば、画像ｆ４）を、光源２０の消灯中に撮像装置１０により撮影された画像として抽出してもよい。

取得部４０は、抽出部３０により抽出された画像ｆ２を起点にして、撮像装置１０により所定のフレームレートで撮影された画像を所定の時間の間隔である２フレーム毎に取得することにより、点灯中の画像と消灯中の画像との組合せを取得する。

除去部５０は、取得した各組合せにおける点灯中の画像と消灯中の画像とが示す情報、例えば、輝度等の差分に基づいて、被験者ＰＡの眼鏡に映り込む環境光による像が除去された画像を生成する。

視線検出装置１００は、例えば、環境光の像が除去された画像に対して、角膜反射法等の視線検出処理を実行し、被験者ＰＡの視線を検出する。そして、視線検出装置１００は、検出した被験者ＰＡの視線を含むデータを、視線検出装置１００の記憶装置に記憶し、あるいは視線検出装置１００に含まれるディスプレイ等の出力装置に表示する。

なお、視線検出装置１００は、眼鏡をかけていない被験者ＰＡを撮像装置１０により撮影された画像に対しても、眼鏡をかけた被験者ＰＡの画像に対する同一または同様の処理を実行してもよい。

次に、図１（ｂ）の括弧内に示したタイミング図を用いて、撮像装置１０および光源２０の動作を説明する。

撮像装置１０は、例えば、デジタルカメラであり、レンズと、ＣＣＤ（Charge-Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子とを有する。撮像装置１０は、被験者ＰＡの顔を撮影できる場所に配置される。例えば、撮像装置１０は、視線検出装置１００（コンピュータ装置）の上面等に配置されてもよく、視線検出装置１００から離れた場所に配置されてもよい。そして、撮像装置１０は、撮像装置１０の電源のスイッチが投入された場合、光源２０により赤外線で照らされる被験者ＰＡを毎秒３０フレーム等の所定のフレームレートで撮影を開始する。例えば、図１の括弧内に示すように、撮像装置１０は、所定のフレームレートに基づく時刻ｔ１−ｔ８の各々で被験者ＰＡを撮影し、撮影した画像ｆ１−ｆ８を視線検出装置１００に出力する。なお、画像ｆを示す矩形の横（時刻）方向の長さは、撮像装置１０が画像ｆを撮影した時の露光時間と、画像ｆが撮像装置１０から視線検出装置１００に出力されるまでにかかる時間との合計時間を示す。

光源２０は、例えば、赤外線ＬＥＤ（Light Emitting Diode）等であり、被験者ＰＡに向けて赤外線を照らす。また、光源２０は、例えば、クロック回路等を含み、クロック回路から出力される時刻を示す情報を参照して所定の時間の間隔で点灯と消灯とを繰り返す機能を有する。すなわち、光源２０は、光源２０の電源のスイッチが投入された場合、所定のフレームレートに基づいた撮像装置１０の撮影動作のタイミングと、点滅動作のタイミングとを合わせることなく、クロック回路から出力される時刻の情報に基づいて点滅動作を開始する。このため、撮像装置１０の撮影動作のタイミングと、光源２０の点滅動作のタイミングとが互いに異なる場合がある。例えば、所定の時間が、撮像装置１０が２フレーム分の画像を撮像する時間に設定された場合、図１の括弧内に示すように、白色の矩形で示した所定の時間では、光源２０は点灯する。そして、次の網掛けの矩形で示した所定の時間では、光源２０は消灯する。

図１（ｂ）の括弧内に示すように、撮像装置１０の撮影動作と光源２０の点滅動作とは同期していない。このため、画像ｆ１、ｆ５は、光源２０が消灯から点灯に切り替わるタイミングを含む期間に撮影され、画像ｆ３、ｆ７は、光源２０が点灯から消灯に切り替わるタイミングを含む期間に撮影されている。一方、画像ｆ２、ｆ６は、光源２０が点灯している期間に撮影され、画像ｆ４、ｆ８は、光源２０が消灯している期間に撮影されている。画像ｆ２、ｆ６は、点灯中の画像の一例であり、画像ｆ４、ｆ８は、消灯中の画像の一例である。

換言すれば、所定の時間が、２フレーム分の画像の撮影時間に設定されているため、２フレーム毎に点灯中と消灯中の画像ｆ２、ｆ４、ｆ６、ｆ８が交互に得られる。このため、所定の時間は、撮像装置１０のフレームレートに応じて、適宜設定されることが好ましい。これにより、所定の時間の間隔毎に、光源２０が点灯中および消灯中に撮影された被験者ＰＡの画像を交互に取得できる。

また、光源２０は、被験者ＰＡの顔に赤外線を照らすことができる場所、例えば、視線検出装置１００や撮像装置１０等に配置される。あるいは、光源２０は、撮像装置１０に内蔵されてもよい。

図１に示した実施形態では、光源２０の点滅動作における所定の時間は、撮像装置１０が被験者ＰＡを撮影するフレームレートに応じて視線検出に必要なフレーム数を満たす値に設定される。このため、光源２０が点灯と消灯とを一回ずつ実行した期間において、撮像装置１０により所定のフレームレートで撮影された画像には、点灯中の画像と消灯中の画像とが含まれる。すなわち、抽出部３０は、光源２０が点灯と消灯とを一回ずつ実行した期間に撮影された画像の輝度に基づいて、点灯中の画像または消灯中の画像を抽出できる。そして、取得部４０は、抽出された画像を起点にして、撮像装置１０により所定のフレームレートで撮影された画像を、２フレーム等の所定の時間の間隔毎に取得することにより、点灯中および消灯中の画像の組合せを取得できる。この結果、視線検出装置１００は、撮像装置１０の撮影動作と光源２０の点滅動作とのタイミングが異なる場合でも、点灯中の画像および消灯中の画像を取得できる。

なお、本実施例では完全な点灯画像と消灯画像を取得するために少なくとも２フレーム分の時間が最低限必要となる。これは、点灯と消灯のタイミングと撮像のタイミングが最大にずれたとしても少なくとも１フレーム分の完全な照明の点灯画像と消灯画像が含まれる時間間隔となる。

また、視線検出装置１００は、撮像装置１０の撮影動作と光源２０の点滅動作とを同期させる回路を設けずに、点灯中の画像および消灯中の画像を取得する。このため、回路規模の増大を抑制することができ、コストを抑制することができる。また、視線検出に利用可能なフレーム数も同期回路を使用した場合に比べ取得可能なフレームの低下を最小限に抑える事ができる。

図２は、視線検出装置、視線検出プログラムおよび視線検出方法の別の実施形態を示す。図１で説明した要素と同一または同様の機能を有する要素については、同一または同様の符号を付し、これらについては、詳細な説明を省略する。

図２に示した視線検出装置１００ａは、プロセッサ等の演算処理装置と、ハードディスク装置やメモリ等の記憶装置を有するコンピュータ装置である。視線検出装置１００ａは、有線または無線を介して、撮像装置１０に接続され、撮像装置１０により所定のフレームレートで撮影された被験者ＰＡの画像のデータを受信する。また、視線検出装置１００ａは、有線または無線を介して、光源２０ａに接続され、光源２０ａの点滅動作を制御する。すなわち、視線検出装置１００ａは、撮像装置１０および光源２０ａと協働して視線検出システムとして動作する。

なお、視線検出装置１００ａの構成および動作は、図２に示す例に限定されず、例えば、撮像装置１０および光源２０ａが、視線検出装置１００ａ内に設けられてもよい。

光源２０ａは、例えば、赤外線ＬＥＤ等であり、視線検出装置１００ａに含まれる制御部１２０からの制御指示に基づいて、赤外線を被験者ＰＡに照らす。なお、光源２０ａは、被験者ＰＡの顔に赤外線を照らすことができる場所、例えば、視線検出装置１００ａや撮像装置１０等に配置される。あるいは、光源２０ａは、撮像装置１０に内蔵されてもよい。

視線検出装置１００ａは、判定部１１０、制御部１２０および除去部１３０を有する。例えば、視線検出装置１００ａの演算処理装置は、記憶装置に記憶された視線検出プログラムを実行することにより、判定部１１０、制御部１２０および除去部１３０として機能する。なお、判定部１１０、制御部１２０および除去部１３０は、視線検出装置１００ａに搭載されるハードウェアにより実現されてもよい。

判定部１１０は、光源２０ａにより照らされ眼鏡をかけた被験者ＰＡを撮像装置１０が所定のフレームレートで撮影した画像が、被験者ＰＡの眼鏡に映り込む環境光による像が存在する画像か否かを、画像の輝度に基づいて判定する。例えば、視線検出装置１００ａが角膜反射法を用いて被験者ＰＡの視線を検出する場合、判定部１１０は、被験者ＰＡの眼鏡の位置で所定の輝度以上の明るさを示す領域（すなわち、環境光の像）を画像から抽出する。そして、判定部１１０は、抽出した領域の大きさが所定の大きさより大きい場合、眼鏡に映り込む環境光の像が存在する画像と判定する。判定部１１０は、判定の結果を制御部１２０に出力する。眼鏡に映り込む環境光の像が存在する画像は、第１画像の一例である。

なお、所定の大きさは、光源２０ａの赤外線が被験者ＰＡの目の角膜で反射する輝点の大きさに応じて設定されることが好ましい。

制御部１２０は、視線検出装置１００ａの動作を制御する。また、制御部１２０は、光源２０ａの点滅動作を制御する。例えば、制御部１２０は、光源２０ａを連続的に点灯させる。そして、制御部１２０は、撮像装置１０により撮影された画像が眼鏡に映り込む環境光の像が存在する画像と判定部１１０により判定された場合、光源２０ａを所定の時間の間消灯させる。また、制御部１２０は、光源２０ａが消灯している時に撮像装置１０により撮影された被験者ＰＡの画像を除去部１３０に出力する。消灯している時に撮影された画像は、第２画像の一例である。

そして、制御部１２０は、例えば、視線検出装置１００ａに含まれるクロック回路等から出力される時刻の情報を参照し、所定の時間が経過した場合、光源２０ａを再点灯させる。

なお、光源２０ａが消灯する所定の時間は、少なくとも２フレーム分の時間より長いことが好ましい。所定の時間は、例えば、図１に示した光源２０と同様に、撮像装置１０が２フレーム分の画像を撮像する時間に設定されてもよい。この場合、図１（ｂ）の括弧内に示すように、時刻ｔ４、ｔ５を含む時間で、光源２０ａが消灯する２フレーム分の時間において、撮像装置１０は、画像ｆ４、ｆ５をそれぞれ撮影する。そして、図１の括弧内に示すように、撮像装置１０が画像ｆ４の撮影を開始した時刻ｔ４から１フレーム分の時間は、光源２０ａが消灯中の期間に含まれる。そこで、制御部１２０は、例えば、視線検出装置１００ａのクロック回路からの時刻の情報を参照し、撮像装置１０が撮影を開始した時刻ｔ４から１フレーム分の時間全てが、光源２０ａが消灯中の期間に含まれる場合、画像ｆ４を消灯中の画像として取得する。これにより、制御部１２０は、撮像装置１０から受ける画像から、画像の輝度を参照することなく、画像ｆ４を消灯中の画像として取得できる。

なお、図１（ｂ）の括弧内に示すように、撮像装置１０が画像ｆ５の撮影を開始した時刻ｔ５は、光源２０ａが消灯中の期間に含まれるが、時刻ｔ５から１フレーム分の時間全ては、光源２０ａが消灯中の期間に含まれない。すなわち、時刻ｔ５から１フレーム分の時間において、光源２０ａが消灯から点灯に切り替わる。例えば、光源２０ａが消灯から点灯に切り替わるタイミングが、画像ｆ５の露光時間中である場合、画像ｆ５は、光源２０ａからの赤外線の光により影響を受けてしまう。そこで、画像ｆ５を消灯中の画像として取得するには、制御部１２０は、例えば、画像ｆ５の輝度を測定する必要があり、視線検出装置１００ａの演算量は、画像ｆ４を消灯中の画像として取得する上記の場合に比べて増える。したがって、制御部１２０は、撮像装置１０が撮影を開始した時刻から１フレーム分の時間全てが、光源２０が消灯中の期間に含まれない、画像ｆ５等の画像を消灯中の画像として取得しない。

また、光源２０ａが消灯される所定の時間は、３フレーム分以上の画像を撮像する時間に設定されてもよい。この場合、光源２０ａを消灯してから２フレーム目に撮像装置１０が撮影する画像は消灯中の画像であることから、制御部１２０は、消灯中の画像を取得できる。

一方、制御部１２０は、撮像装置１０により撮影された画像が眼鏡に映り込む環境光の像がない画像と判定部１１０により判定された場合、光源２０ａの点灯を継続し、撮像装置１０から受けた点灯中の画像を除去部１３０に出力する。

除去部１３０は、制御部１２０を介して取得した点灯中の画像と、消灯中の画像とが示す情報、例えば、輝度等の差分に基づいて、被験者ＰＡの眼鏡に映り込む環境光による像が除去された画像を生成する。なお、除去部１３０は、制御部１２０より眼鏡に映り込む環境光の像がない画像を受けた場合、受けた画像に除去処理を実行せず、受けた画像をそのまま出力することが好ましい。

視線検出装置１００ａは、例えば、環境光の像が除去された画像に対して、角膜反射法等の視線検出処理を実行し、被験者ＰＡの視線を検出する。そして、視線検出装置１００ａは、検出した被験者ＰＡの視線を含むデータを、視線検出装置１００ａの記憶装置に記憶し、あるいは視線検出装置１００ａに含まれるディスプレイ等の出力装置に表示する。

なお、視線検出装置１００ａは、眼鏡をかけていない被験者ＰＡを撮像装置１０により撮影された画像に対しても、眼鏡をかけた被験者ＰＡの画像に対する同一または同様の処理を実行してもよい。すなわち、判定部１１０は、撮像装置１０により撮影された画像が眼鏡に映り込む環境光の像がない画像と判定する。そして、制御部１２０は、光源２０ａの点灯を継続する。

図２に示した実施形態では、制御部１２０は、判定部１１０により被験者ＰＡの眼鏡に映り込む環境光の像が存在すると判定された場合、撮像装置１０のフレームレートに応じた所定の時間の間（少なくとも２フレーム時間）、光源２０ａを消灯させる。これにより、光源２０ａが消灯している期間に撮像装置１０が撮影した画像には、消灯中の画像が必ず含まれることから、制御部１２０は、消灯中の画像を取得できる。すなわち、視線検出装置１００ａは、撮像装置１０の撮影動作と光源２０ａの点滅動作とのタイミングが互いに異なる場合でも、点灯中の画像および消灯中の画像を取得できる。

また、視線検出装置１００ａは、撮像装置１０の撮影動作と光源２０ａの点滅動作とを同期させる回路を設けずに、点灯中の画像および消灯中の画像を取得する。このため、回路規模の増大を抑制することができ、コストを抑制することができる。

また、被験者ＰＡが眼鏡をかけている場合でも、制御部１２０は、判定部１１０により被験者ＰＡの眼鏡に映り込む環境光の像がないと連続して判定される場合、点灯中の画像を、撮像装置１０のフレームレートと同じ頻度で取得できる。この場合、視線検出装置１００ａは、従来と比べて時間分解能を高くして、被験者ＰＡの視線を検出することができる。

図３は、視線検出装置の別の実施形態の一例を示す。図１で説明した要素と同一または同様の機能を有する要素については、同一または同様の符号を付し、これらについては、詳細な説明を省略する。

図３に示した視線検出装置１００ｂは、プロセッサ等の演算処理装置と、ハードディスク装置等の記憶装置を有するコンピュータ装置である。視線検出装置１００ｂは、有線または無線を介して、撮像装置１０に接続され、撮像装置１０により撮影された被験者ＰＡの画像のデータを受信する。また、視線検出装置１００ｂは、キーボードまたはタッチパネル等の入力装置２００と、液晶モニタ等の出力装置３００とに、有線または無線を介して接続される。すなわち、視線検出装置１００は、撮像装置１０、光源２０ｂ、入力装置２００および出力装置３００と協働して視線検出システムＳＹＳとして動作する。

なお、視線検出装置１００ｂの構成および動作は、図３に示す例に限定されず、例えば、撮像装置１０および光源２０ｂが、視線検出装置１００ｂ内に設けられてもよい。

光源２０ｂは、赤外線ＬＥＤ等であり、被験者ＰＡに向けて赤外線を照らす。また、光源２０ｂは、例えば、クロック回路２５を含み、クロック回路２５から出力される時刻を示す情報を参照し、所定の時間の間隔で点灯と消灯とを繰り返す。なお、所定の時間は、図１に示した光源２０と同様に、撮像装置１０が２フレーム分の画像を撮像する時間等に設定される。そして、光源２０ｂは、光源２０ｂの電源スイッチが投入された場合、撮像装置１０の撮影動作のタイミングと、点滅動作のタイミングとを合わせることなく、クロック回路２５からの時刻の情報に基づいて、２フレーム分の時間の間隔毎に点灯と消灯とを繰り返す。このため、撮像装置１０の撮影動作のタイミングと、光源２０ｂの点滅動作のタイミングとが互いに異なったとしても確実に１フレーム分の完全な照明の点灯画像と消灯画像が含まれる。

視線検出装置１００ｂは、抽出部３０、取得部４０、除去部５０および検出部６０を有する。例えば、視線検出装置１００ｂの演算処理装置は、記憶装置に記憶された視線検出プログラムを実行することにより、抽出部３０、取得部４０、除去部５０および検出部６０として機能する。なお、抽出部３０、取得部４０、除去部５０および検出部６０は、視線検出装置１００ｂに搭載されるハードウェアにより実現されてもよい。

検出部６０は、除去部５０により環境光の像が除去された画像を受け、受けた画像に対して角膜反射法の視線検出処理を実行し、被験者ＰＡの視線を検出する。そして、視線検出装置１００ｂは、検出した被験者ＰＡの視線を含むデータを、視線検出装置１００ｂの記憶装置に記憶し、あるいは出力装置３００に表示する。検出部６０における検出処理については、図４で説明する。

なお、視線検出装置１００ｂは、眼鏡をかけていない被験者ＰＡを撮像装置１０により撮影された画像に対しても、眼鏡をかけた被験者ＰＡの画像対する同一または同様の処理を実行してもよい。

図４は、図３に示した検出部６０における検出処理の一例を示す。図４（ａ）は、撮像装置１０により撮影され、図３に示した除去部５０により眼鏡に映り込んだ環境光の像が除去された被験者ＰＡの画像７０の一例を示す。図４（ｂ）は、図４（ａ）に示した画像７０のうち、被験者ＰＡの目（例えば、左目）を含む目領域８０の一例を示す。

検出部６０は、例えば、図４（ａ）に示すように、除去部５０より受けた画像７０から被験者ＰＡの顔を含む顔領域７１を検出する。例えば、検出部６０は、画像７０において、輝度の不連続な変化を示すエッジ等の特徴点を抽出し、抽出した特徴点の分布に基づいて眉、目、鼻、唇等の各端点を特定する。そして、検出部６０は、特定した各端点の位置に基づいて顔領域７１を検出する。あるいは、検出部６０は、顔画像のテンプレートと、除去部５０から受けた画像７０との相関を求め、求めた相関係数が所定の値以上となる画像の領域を顔領域７１として検出してもよい。例えば、顔画像のテンプレートは、視線検出装置１００ｂの記憶装置に予め記憶される。

また、検出部６０は、顔領域７１の抽出時に特定した目の端点等の情報に基づいて、顔領域７１から目を含む目領域８０および目の輪郭８１を検出する。そして、検出部６０は、検出した輪郭８１内の画像の領域において、例えば、エッジ等の特徴点が円形状に分布し、円形状の領域の輝度値が周囲の領域の輝度値より低い領域を、瞳孔８２および虹彩８３を含む領域８４として検出する。検出部６０は、検出した領域８４から瞳孔８２の中心位置を求める。また、検出部６０は、領域８４において所定の閾値以上の輝度値を有し、かつ円形の形状を有する領域を、光源２０ａにより照射された赤外線が被験者ＰＡの目の角膜で反射した輝点８５として検出する。そして、検出部６０は、例えば、求めた瞳孔８２の中心位置と、輝点８５との間の距離と、予め設定された角膜の曲率半径とに基づいて被験者ＰＡの視線方向を検出する。

また、検出部６０は、視線検出装置１００ｂの記憶装置に予め記憶された瞳の領域のテンプレートと、検出した輪郭８１の画像領域との相関を求め、求めた相関係数が所定の閾値を超える画像領域を領域８４として検出してもよい。

また、検出部６０は、被験者ＰＡの右目の領域から被験者ＰＡの視線を検出してもよく、左目および右目の両方の領域から被験者ＰＡの視線を検出してもよい。

なお、検出部６０は、環境光の像が除去された画像７０を用いる代わりに、点灯中の画像を用いて、顔領域７１および目領域８０を検出してもよい。例えば、検出部６０は、点灯中の画像から検出した目領域８０の位置を示す位置情報を参照し、消灯中の画像の目領域８０を取得する。そして、除去部５０は、検出部６０により検出された点灯中の画像の目領域８０と消灯中の画像の目領域８０との輝度の差分に基づいて、環境光の像が除去された目領域８０の画像を生成する。検出部６０は、生成された目領域８０の画像に角膜反射法の視線検出処理を実行し、被験者ＰＡの視線を検出する。

また、検出部６０は、眼球半径等の被験者ＰＡの個人差の影響により発生する視線検出処理の誤差を較正する機能を有することが好ましい。例えば、検出部６０は、眼球半径等の被験者ＰＡの個人差の影響を較正するために、出力装置３００の画面上に、互いに異なる複数の位置のそれぞれに図形等の印を順次に表示する。検出部６０は、各位置に表示された印を注視している時に撮像装置１０により撮影された被験者ＰＡの画像に、角膜反射法の視線検出処理を実行し、被験者ＰＡの視線を検出する。検出部６０は、各位置の印を注視している時の被験者ＰＡの視線が各位置の印の座標と一致するように、被験者ＰＡの個人差を示す較正データ（例えば、ホモグラフィ行列等）を算出する。そして、検出部６０は、算出した較正データを視線検出装置１００ｂの記憶装置に記憶し、記憶した較正データを用いて検出した被験者ＰＡの視線を較正する。

図５は、図３に示した視線検出システム（ＳＹＳ）のハードウェア構成の一例を示す。図３で説明した要素と同一または同様の機能を有する要素については、同一または同様の符号を付し、これらについては、詳細な説明を省略する。

図３に示した視線検出システム（ＳＹＳ）は、撮像装置１０、光源２０ｂ、入力装置２００、出力装置３００およびコンピュータ装置５００を有する。コンピュータ装置５００は、有線または無線を介して、撮像装置１０、入力装置２００および出力装置３００に接続される。

また、コンピュータ装置５００は、プロセッサ５１０、入出力インタフェース５２０およびメモリ５３０を有する。プロセッサ５１０、入出力インタフェース５２０およびメモリ５３０は、バス５４０に接続される。

プロセッサ５１０は、入出力インタフェース５２０を介して、撮像装置１０が撮影した被験者ＰＡの画像を受ける。

メモリ５３０は、コンピュータ装置５００のオペレーティングシステムとともに、プロセッサ５１０が視線検出処理を実行するためのアプリケーションプログラムを格納する。

なお、視線検出処理を実行するためのアプリケーションプログラムは、例えば、光ディスク等に記録して頒布することができる。また、視線検出処理を実行するためのアプリケーションプログラムは、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記憶媒体に記録して頒布されてもよい。

そして、コンピュータ装置５００は、光ディスクをコンピュータ装置５００に含まれる光学ドライブ装置等に装着して読み込み処理を実行し、視線検出処理を実行するためのアプリケーションプログラムを光ディスクから詠み出し、メモリ５３０に格納する。また、コンピュータ装置５００は、視線検出処理を実行するアプリケーションプログラムを、コンピュータ装置５００に含まれるネットワークインタフェースを介して、ネットワークを通じてダウンロードし、メモリ５３０に格納してもよい。

プロセッサ５１０は、メモリ５３０に格納された視線検出処理のアプリケーションプログラムを実行することで、図３に示した抽出部３０、取得部４０、除去部５０および検出部６０として機能する。すなわち、視線検出装置１００ｂは、プロセッサ５１０、入出力インタフェース５２０およびメモリ５３０の協働によって実現される。

図６は、図３に示した視線検出装置１００ｂにおける視線検出処理の一例を示す。図６に示した処理は、視線検出装置１００ｂの演算処理装置が視線検出プログラムを実行することにより実現される。すなわち、図６は、視線検出プログラムおよび視線検出方法の別の実施形態を示す。なお、図６に示した処理は、視線検出装置１００ｂに搭載されるハードウェアにより実現されてもよい。この場合、図３に示した抽出部３０、取得部４０、除去部５０および検出部６０は、視線検出装置１００ｂ内に配置される回路により実現される。

なお、図６に示した処理は、視線検出装置１００ｂの演算処理装置が実行する他のアプリケーションプログラムと連動して、実行されてもよい。例えば、他のアプリケーションプログラムがゲームまたは地図を表示する等のソフトウェアの場合、視線検出装置１００ｂが検出した被験者ＰＡの視線に応じて、ディスプレイに表示されるゲームや地図の画面が、上下や左右等の方向にスクロールしてもよい。あるいは、他のアプリケーションプログラムが文章やアニメーション等を作成するソフトウェアの場合、視線検出装置１００ｂが検出した被験者ＰＡの視線に基づいて、文字や図形等を入力されてもよい。

ステップＳ１００では、抽出部３０は、所定のフレームレートで撮像装置１０が撮影した画像を受信し、受信した各画像の輝度に基づいて光源２０の点灯中に撮影された画像を１つ抽出する。例えば、抽出部３０は、光源２０が点灯と消灯とを一回ずつ実行した期間に撮影された、４フレーム分の画像の各々における輝度の総和を算出する。そして、抽出部３０は、算出した輝度の総和が最大値となる画像を、光源２０の点灯中に撮像装置１０により撮影された画像、すなわち起点となる画像として抽出する。

次に、ステップＳ１１０では、取得部４０は、ステップＳ１００で抽出された画像を起点にして、撮像装置１０により所定のフレームレートで撮影された画像を所定の時間の間隔（例えば、２フレーム）毎に取得する。そして、取得部４０は、点灯中の画像と消灯中の画像との組合せを取得する。

次に、ステップＳ１２０では、除去部５０は、ステップＳ１１０で取得された点灯中の画像と消灯中の画像との輝度の差分に基づいて、被験者ＰＡの眼鏡に映り込んだ環境光の像が除去された画像を生成する。

次に、ステップＳ１３０では、検出部６０は、視線検出装置１００ｂの記憶装置に被験者ＰＡの較正データが記憶されているか否かを判定する。被験者ＰＡの較正データが記憶されている場合、検出部６０は、後述するステップＳ１４０の較正処理が既に実行され、被験者ＰＡの較正データが算出されたと判定する。この場合、視線検出装置１００ｂの処理は、ステップＳ１５０に移る。一方、被験者ＰＡの較正データが記憶されていない場合、視線検出装置１００ｂの処理は、ステップＳ１４０に移る。

ステップＳ１４０では、検出部６０は、眼球半径等の被験者ＰＡの個人差の影響を較正するための較正データを算出する較正処理を実行する。そして、検出部６０は、算出した較正データを、視線検出装置１００ｂの記憶装置に記憶する。ステップＳ１４０の処理が実行された後、視線検出装置１００ｂの処理は、ステップＳ１５０に移る。ステップＳ１４０の較正処理については、図７で説明する。

ステップＳ１５０では、検出部６０は、ステップＳ１４０で算出された較正データを用いて、ステップＳ１２０で除去された画像から被験者ＰＡの視線を検出する。ステップＳ１５０の検出処理については、図８で説明する。

そして、視線検出装置１００ｂは、ステップＳ１００からステップＳ１５０の処理を繰り返し実行する。

図７は、図６に示したステップＳ１４０の較正処理の一例を示す。

ステップＳ２００では、検出部６０は、出力装置３００の画面上において、互いに異なる複数の位置のうち、１つの位置に印を表示する。

次に、ステップＳ２１０では、検出部６０は、ステップＳ２００で表示された位置の印を注視している被験者ＰＡの画像から、被験者ＰＡの顔領域７１を検出する。

次に、ステップＳ２２０では、検出部６０は、ステップＳ２１０で検出された顔領域７１から、被験者ＰＡの目領域８０を検出する。

次に、ステップＳ２３０では、検出部６０は、ステップＳ２２０で検出された目領域８０に、角膜反射法の視線検出処理を実行し、ステップＳ２００で表示された印を注視している被験者ＰＡの視線を検出する。

次に、ステップＳ２４０では、検出部６０は、次の位置に表示する印があるか否かを判定する。次の位置に表示する印がある場合、視線検出装置１００ｂの処理は、ステップＳ２００に戻る。一方、次の位置の表示する印がない場合、視線検出装置１００ｂの処理は、ステップＳ２５０に移る。

ステップＳ２５０では、検出部６０は、ステップＳ２３０で検出された各位置の印を注視する被験者ＰＡの視線が、表示した各印の座標となるように、被験者ＰＡの個人差を示す較正データ（ホモグラフィ行列等）を算出する。検出部６０は、算出した較正データを、被験者ＰＡに対応付けして視線検出装置１００ｂの記憶装置に記憶する。

そして、視線検出装置１００ｂは、ステップＳ１４０の処理を終了し、図６に示したステップＳ１５０の処理を実行する。

図８は、図６に示したステップＳ１５０の検出処理の一例を示す。なお、図８に示したステップの処理のうち、図７に示したステップと同一または同様の処理を示すものについては、同一のステップ番号を付す。

ステップＳ２１５では、検出部６０は、ステップＳ１２０で環境光の像が除去された画像から、被験者ＰＡの顔領域７１を検出する。

次に、ステップＳ２２０では、検出部６０は、ステップＳ２１５で検出された顔領域７１から、被験者ＰＡの目領域８０を検出する。

次に、ステップＳ２３５では、検出部６０は、ステップＳ２２０で検出された目領域８０に、角膜反射法の視線検出処理を実行し、被験者ＰＡの視線を検出する。

次に、ステップＳ２６０では、検出部６０は、被験者ＰＡの較正データを用いて、ステップＳ２３５で検出された被験者ＰＡの視線を補正する。

そして、視線検出装置１００ｂは、ステップＳ１５０の処理を終了する。

図３から図８に示した実施形態では、光源２０ｂの点滅動作における所定の時間は、撮像装置１０が被験者ＰＡを撮影するフレームレートに応じた値に設定される。このため、光源２０ｂが点灯と消灯とを一回ずつ実行した期間において、撮像装置１０により所定のフレームレートで撮影された画像には、点灯中の画像と消灯中の画像とが含まれる。すなわち、抽出部３０は、光源２０が点灯と消灯とを一回ずつ実行した期間に撮影された画像の輝度に基づいて、点灯中の画像または消灯中の画像を抽出できる。そして、取得部４０は、抽出された画像を起点にして、撮像装置１０により所定のフレームレートで撮影された画像を、２フレーム等の所定の時間の間隔毎に取得することにより、点灯中および消灯中の画像の組合せを取得できる。この結果、視線検出装置１００ｂは、撮像装置１０の撮影動作と光源２０ｂの点滅動作とのタイミングが異なる場合でも、点灯中の画像および消灯中の画像を取得できる。

また、視線検出装置１００ｂは、撮像装置１０の撮影動作と光源２０ｂの点滅動作とを同期させる回路を設けずに、点灯中の画像および消灯中の画像を取得する。このため、回路規模の増大を抑制することができ、コストを抑制することができる。

図９は、視線検出装置の別の実施形態を示す。図２および図３で説明した要素と同一または同様の機能を有する要素については、同一または同様の符号を付し、これらについては、詳細な説明を省略する。

図９に示した視線検出装置１００ｃは、プロセッサ等の演算処理装置と、ハードディスク装置やメモリ等の記憶部１５０を有するコンピュータ装置である。視線検出装置１００ｃは、有線または無線を介して、撮像装置１０に接続され、撮像装置１０により所定のフレームレートで撮影された被験者ＰＡの画像のデータを受信する。また、視線検出装置１００ｃは、有線または無線を介して、光源２０ａに接続され、光源２０ａの点滅動作を制御する。また、視線検出装置１００ｃは、有線または無線を介して、キーボードまたはタッチパネル等の入力装置２００、および液晶モニタ等の出力装置３００に接続される。

さらに、視線検出装置１００ｃは、有線または無線を介して、撮像装置１５に接続され、撮像装置１０と同じまたは異なるフレームレートで撮影された画像のデータを受信する。すなわち、視線検出装置１００ｃは、撮像装置１０、１５、光源２０ａ、入力装置２００および出力装置３００と協働して視線検出システム（ＳＹＳ１）として動作する。

撮像装置１５は、図１に示した撮像装置１０と同一または同様である。例えば、撮像装置１５は、デジタルカメラであり、レンズと、ＣＣＤまたはＣＭＯＳ等の撮像素子とを有する。撮像装置１５は、例えば、被験者ＰＡに装着されるヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）や自動車のフロントガラス等に配置され、被験者ＰＡの視界を撮影する。これにより、視線検出装置１００ｃは、検出した被験者ＰＡの視線と、撮像装置１５が撮影した被験者ＰＡの視界を示す画像とを用いることにより、被験者ＰＡがどこを注視しているかを特定できる。

視線検出装置１００ｃは、判定部１１０ａ、制御部１２０ａ、除去部１３０ａ、検出部１４０および記憶部１５０を有する。例えば、視線検出装置１００ｃの演算処理装置は、記憶部１５０に記憶された視線検出プログラムを実行することにより、判定部１１０ａ、制御部１２０ａ、除去部１３０ａおよび検出部１４０として機能する。なお、判定部１１０ａ、制御部１２０ａ、除去部１３０ａおよび検出部１４０は、視線検出装置１００ｃに搭載されるハードウェアにより実現されてもよい。

判定部１１０ａは、図２に示した判定部１１０と同様に、光源２０ａにより照らされ眼鏡をかけた被験者ＰＡを撮像装置１０が所定のフレームレートで撮影した画像が、被験者ＰＡの眼鏡に映り込む環境光の像が存在する画像か否かを画像の輝度に基づいて判定する。以下、光源２０ａにより照らされ眼鏡をかけた被験者ＰＡを撮像装置１０が所定のフレームレートで撮影した画像は、判定部１１０ａが実行する判定処理の“対象画像”とも称される。

そして、判定部１１０ａは、対象画像が眼鏡に映り込む環境光の像が存在する画像と判定した場合、対象画像より前に撮影された点灯中の画像と、対象画像とを用いて、環境光の像の形状および位置のいずれかが変化したか否かを判定する。判定部１１０ａは、判定の結果と、対象画像とを制御部１２０ａに出力する。また、判定部１１０ａは、被験者ＰＡの眼鏡に映り込む環境光の像が存在し、かつ環境光の像の形状および位置のいずれかが変化したと判定した対象画像を記憶部１５０に記憶する。判定部１１０ａの動作については、図１３および図１４で説明する。

なお、対象画像より前に撮影された点灯中の画像は、例えば、被験者ＰＡの眼鏡に映り込む環境光の像が存在し、かつ環境光の像の形状および位置のいずれかが変化したと、判定部１１０ａにより最後に判定された画像である。そして、対象画像より前に撮影された点灯中の画像は、被験者ＰＡの眼鏡に映り込む環境光の像が存在し、かつ環境光の像の形状および位置のいずれかが変化したと、判定部１１０ａにより新たに判定された対象画像で順次更新される。

制御部１２０ａは、図２に示した制御部１２０と同様に、視線検出装置１００ｃの動作を制御する。また、制御部１２０ａは、光源２０ａの点滅動作を制御する。例えば、制御部１２０ａは、光源２０ａを連続的に点灯させる。そして、制御部１２０ａは、眼鏡に映り込む環境光の像が存在し、かつ環境光の像の形状および位置のいずれかが変化したという判定の結果を、判定部１１０ａから受けた場合、光源２０ａを所定の時間の間消灯させる。また、制御部１２０は、光源２０ａが消灯している時に撮像装置１０により撮影された被験者ＰＡの画像を、消灯中の画像として記憶部１５０に記憶する。なお、光源２０ａが消灯される所定の時間は、少なくとも２フレーム分の時間より長いことが好ましい。

そして、制御部１２０ａは、例えば、視線検出装置１００ｃに含まれるクロック回路等から出力される時刻の情報を参照し、所定の時間が経過した場合、光源２０ａを再点灯させる。

一方、制御部１２０ａは、判定部１１０ａにより眼鏡に映り込む環境光の像がないと判定された場合、光源２０ａを継続して点灯し、撮像装置１０から受けた点灯中の画像を除去部１３０ａに出力する。制御部１２０ａの動作および所定の時間については、図１５で説明する。

除去部１３０ａは、制御部１２０ａから取得した点灯中の画像と、記憶部１５０から読み出した消灯中の画像とが示す情報、例えば、輝度等の差分に基づいて、被験者ＰＡの眼鏡に映り込む環境光による像が除去された画像を生成する。なお、除去部１３０は、制御部１２０ａより眼鏡に映り込む環境光の像がない画像を受けた場合、受けた画像に除去処理を実行せず、受けた画像をそのまま出力する。

検出部１４０は、図３に示した検出部６０と同様に、除去部１３０ａにより環境光の像が除去された画像を受け、受けた画像に対して角膜反射法の視線検出処理を実行し、被験者ＰＡの視線を検出する。

なお、検出部１４０は、図３に示した検出部６０と同様に、眼球半径等の被験者ＰＡの個人差の影響により発生する視線検出処理の誤差を較正する機能を有することが好ましい。そして、検出部１４０は、較正処理により算出した被験者ＰＡの較正データを記憶部１５０に記憶し、較正データを用いて検出した被験者ＰＡの視線を較正する。

記憶部１５０は、ハードディスク装置やメモリ等であり、視線検出装置１００ｃの演算処理装置が実行する視線検出プログラムを記憶する。また、記憶部１５０は、消灯中の画像を記憶し、記憶する消灯中の画像を除去部１３０ａに出力する。また、記憶部１５０は、被験者ＰＡの眼鏡に映り込む環境光の像が存在し、かつ環境光の像の形状および位置のいずれかが変化したと、判定部１１０ａにより判定された画像を記憶する。

また、記憶部１５０は、検出部１４０により検出された被験者ＰＡの視線を含むデータを、撮像装置１５が撮影した画像のデータと対応付けして記憶する。なお、視線検出装置１００ｃは、有線または無線を介して、外部の装置等に接続されている場合、検出した被験者ＰＡの視線を含むデータと、撮像装置１５が撮影した画像のデータとを外部の装置に出力してもよい。ここで、外部の装置は、スマートフォンやタブレット型端末等の携帯通信装置、またはコンピュータ装置等である。あるいは、視線検出装置１００ｃは、ネットワークを介して、外部の装置に接続されてもよい。そして、外部の装置は、受信した被験者ＰＡの視線を示すデータと被験者ＰＡの視界の画像のデータとを用いて、例えば、被験者ＰＡがどの商品を注視していたか等を調べるマーケッティングの処理を実行してもよい。あるいは、外部の装置は、被験者ＰＡの視線と被験者ＰＡの視界の画像とのデータを用いて、被験者ＰＡが、工場等の機械を使用した作業において、どの計器や部品等を注視して作業していたか等を調べる処理を実行してもよい。

図１０および図１１は、図９に示した視線検出装置１００ｃがＨＭＤに搭載される場合の一例を示す。図１０（ａ）は、図９に示した視線検出装置１００ｃが搭載されたＨＭＤ４００の外観の一例を示す。図１０（ｂ）は、ＨＭＤ４００に含まれる筐体部４３０のうち、被験者ＰＡと対向する側面の一例を示す。図１１は、図１０に示したＨＭＤ４００が被験者ＰＡに装着された場合の一例を示す。

図１０（ａ）に示すように、ＨＭＤ４００は、例えば、装着部４１０、支持アーム４２０および筐体部４３０を有する。

装着部４１０は、被験者ＰＡの視界を撮影する撮像装置１５が設けられ、撮像装置１５が被験者ＰＡの正面に来るように、被験者ＰＡの頭部に装着される。これにより、ＨＭＤ４００は、被験者ＰＡに固定される。なお、図１０（ａ）に示した装着部４１０は、円形の形状を有するが、ＨＭＤ４００を被験者ＰＡの頭部に固定できる他の形状であってもよい。

支持アーム４２０は、図１０（ａ）に示すように、一方の端部が装着部４１０に接続され、他方の端部が筐体部４３０に接続される。なお、装着部４１０と支持アーム４２０との接続、および支持アーム４２０と筐体部４３０との接続は、回転可能に軸支されることが好ましい。これにより、ＨＭＤ４００が被験者ＰＡに装着された時に、被験者ＰＡの左目に対する筐体部４３０の位置を調整することができる。

なお、支持アーム４２０は、筐体部４３０が被験者ＰＡの右目の位置に来るように、一方の端部が装着部４１０に接続され、他方の端部が筐体部４３０に接続されてもよい。

筐体部４３０は、例えば、図９に示した視線検出装置１００ｃが内蔵される。また、筐体部４３０には、図１０（ｂ）に示すように、撮像装置１０、光源２０ａおよび出力装置３００が配置される。なお、視線検出装置１００ｃは、装着部４１０または支持アーム４２０に内蔵されてもよい。

また、出力装置３００の表面に配置されるタッチパネルが、例えば、入力装置２００として用いられる。あるいは、視線検出装置１００ｃが検出した被験者ＰＡの視線に応じて出力装置３００に表示されるメニュー釦等を操作する機能が、入力装置２００として用いられてもよい。

図１２は、図９に示した視線検出システム（ＳＹＳ１）のハードウェア構成の一例を示す。図５および図９で説明した要素と同一または同様の機能を有する要素については、同一または同様の符号を付し、これらについては、詳細な説明を省略する。

図１２に示した視線検出システム（ＳＹＳ１）（すなわち、ＨＭＤ４００）は、撮像装置１０、１５、光源２０ａ、入力装置２００、出力装置３００およびコンピュータ装置５００を有する。コンピュータ装置５００は、有線または無線を介して、撮像装置１０、１５、光源２０ａ、入力装置２００および出力装置３００に接続される。

コンピュータ装置５００は、プロセッサ５１０、入出力インタフェース５２０およびメモリ５３０を有する。プロセッサ５１０、入出力インタフェース５２０およびメモリ５３０は、バス５４０に接続される。

プロセッサ５１０は、メモリ５３０に格納された視線検出処理のアプリケーションプログラムを実行することで、図９に示した判定部１１０ａ、制御部１２０ａ、除去部１３０ａおよび検出部１４０として機能する。すなわち、視線検出装置１００ｃは、プロセッサ５１０、入出力インタフェース５２０およびメモリ５３０の協働によって実現される。

図１３および図１４は、図９に示した判定部１１０ａにおける判定処理の一例を示す。図１３は、被験者ＰＡの眼鏡に映り込む環境光の像の形状および位置が変化しない場合を示し、図１４は、環境光の像の位置が変化した場合を示す。なお、図１０および図１１に示すように、被験者ＰＡの左目と撮像装置１０とが互いに接近している。このため、撮像装置１０が撮影する被験者ＰＡの画像は、例えば、図４（ｂ）に示したように、被験者ＰＡの目領域８０を含んだ点灯中の画像（以下、“目領域８０の画像”とも称される）とする。なお、図４で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これらについては、詳細な説明を省略する。

なお、撮像装置１０が撮影する被験者ＰＡの画像は、図４（ａ）に示した被験者ＰＡの画像７０のように、被験者ＰＡの顔領域７１を含む点灯中の画像でもよい。この場合、判定部１１０ａは、図３に示した検出部６０と同様に、被験者ＰＡの顔領域７１を含む点灯中の画像から目領域８０を検出し、検出した目領域８０の画像に対して判定処理を実行する。

図１３（ａ）は、例えば、撮像装置１０により撮影され環境光の像９０が被験者ＰＡの眼鏡に映り込んだ目領域８０の画像（対象画像）の一例を示す。すなわち、判定部１１０ａは、図１３（ａ）に示した対象画像から、所定の輝度以上の明るさを示す領域（すなわち、環境光の像９０）を抽出する。そして、判定部１１０ａは、抽出した領域の大きさが所定の大きさ（例えば、輝点８５の大きさの２−３倍程度等）より大きい場合、図１３（ａ）に示した対象画像を眼鏡に映り込む環境光の像９０が存在する画像と判定する。この場合、判定部１１０ａは、図１３（ａ）に示した対象画像より前に撮影された目領域８０の画像を記憶部１５０から読み出す。そして、判定部１１０ａは、読み出した目領域８０の画像と図１３（ａ）に示した対象画像とを比較し、環境光の像９０の形状および位置のいずれかが変化したか否かを判定する。

図１３（ｂ）は、図１３（ａ）に示した対象画像より前に撮影された目領域８０の画像の一例を示す。なお、図１３（ｂ）に示した目領域８０の画像では、被験者ＰＡが左側に視線を向けたため、被験者ＰＡの瞳孔８２、虹彩８３および輝点８５ａは、図１３（ａ）に示した対象画像と比べて、右側にある。また、上述したように、図１３（ａ）に示した対象画像と、図１３（ｂ）に示した目領域８０の画像との間で、環境光の像９０の形状および位置は変化しない。

判定部１１０ａは、図１３（ａ）に示した対象画像と、図１３（ｂ）に示した目領域８０の画像とを用いて、環境光の像９０の形状および位置のいずれかが変化したか否かを判定する。例えば、判定部１１０ａは、図１３（ａ）に示した対象画像に対して、所定の輝度以上の明るさを示す画素値を“１”に、所定の輝度より暗い画素値を“０”にする二値化処理を実行し、図１３（ｃ）に示した画像を生成する。すなわち、判定部１１０ａは、図１３（ｃ）に示した画像から、輝点８５と環境光の像９０との領域を抽出する。

また、判定部１１０ａは、図１３（ｂ）に示した目領域８０の画像に対して二値化処理を実行し、図１３（ｄ）に示した画像を生成する。すなわち、判定部１１０ａは、図１３（ｂ）に示した図から、輝点８５ａと環境光の像９０との領域を抽出する。判定部１１０ａは、図１３（ｃ）に示した画像と、図１３（ｄ）に示した画像との差分を求め、求めた差分の絶対値の画素値を有する、図１３（ｅ）に示した画像を生成する。図１３（ｅ）に示した画像では、環境光の像９０は形状および位置が変化しないため、環境光の像９０の領域が除去され、輝点８５、８５ａの領域が残留する。そして、判定部１１０ａは、残留した領域の全面積が所定の大きさ（例えば、輝点８５の大きさの２−３倍程度等）より大きいか否かを、図１３（ｅ）に示した画像に基づいて判定する。例えば、図１３（ｅ）に示した画像では、残留した輝点８５と輝点８５ａとの領域の全面積は、所定の大きさと同じ、または所定の大きさより小さい。このため、判定部１１０ａは、図１３（ａ）に示した対象画像の被験者ＰＡの眼鏡に映り込んだ環境光の像９０の形状および位置が変化していないと判定する。

この場合、判定部１１０ａは、被験者ＰＡの眼鏡に映り込む環境光の像が存在し、かつ環境光の像の形状および位置のいずれかが変化したと判定した画像として、図１３（ｂ）に示した目領域８０の画像を記憶部１５０に保持する。そして、判定部１１０ａは、図１３（ａ）に示した対象画像と、判定の結果とを制御部１２０ａに出力する。制御部１２０ａは、光源２０ａを継続して点灯する。

次に、図１４を用いて、環境光の像の位置（または形状）が変化した場合の判定部１１０ａにおける判定処理を説明する。図１４（ａ）は、撮像装置１０により撮影され環境光の像９０が被験者ＰＡの眼鏡に映り込んだ目領域８０の画像として、図１３（ａ）に示した対象画像を示す。そして、判定部１１０ａは、図１３（ａ）の場合と同様に、図１４（ａ）に示した対象画像が、眼鏡に映り込む環境光の像９０が存在する画像と判定する。そして、判定部１１０ａは、例えば、図１４（ａ）に示した対象画像より前に撮影された目領域８０の画像を記憶部１５０から読み出す。そして、判定部１１０ａは、読み出した目領域８０の画像と図１４（ａ）に示した対象画像とを比較し、環境光の像９０の形状および位置のいずれかが変化したか否かを判定する。

図１４（ｂ）は、図１４（ａ）に示した対象画像より前に撮影された目領域８０の画像の一例を示す。なお、図１４（ｂ）に示した目領域８０の画像では、被験者ＰＡの瞳孔８２、虹彩８３および輝点８５の位置は、図１４（ａ）に示した対象画像と同じ位置にある。また、図１４（ｂ）に示した目領域８０の画像における環境光の像９０ａは、図１４（ａ）に示した対象画像における環境光の像９０と同一または同様の形状を有する。しかしながら、図１４（ｂ）に示した環境光の像９０ａの位置は、図１４（ａ）に示した環境光の像９０の位置に比べて右側に移っている。これは、例えば、ＨＭＤ４００を装着した被験者ＰＡが移動したことにより、同じ環境光による像が、環境光の像９０ａの位置から環境光の像９０の位置に目領域８０の画像上を移動したことを示す。

そこで、判定部１１０ａは、図１３の場合と同様に、図１４（ａ）に示した対象画像に対して二値化処理を実行し、図１４（ｃ）に示した画像を生成する。すなわち、判定部１１０ａは、図１４（ｃ）に示した画像から、輝点８５と環境光の像９０との領域を抽出する。また、判定部１１０ａは、図１４（ｂ）に示した目領域８０の画像に対して二値化処理を実行し、図１４（ｄ）に示した画像を生成する。すなわち、判定部１１０ａは、図１４（ｄ）に示した図から、輝点８５と環境光の像９０ａとの領域を抽出する。

判定部１１０ａは、図１４（ｃ）に示した画像と、図１４（ｄ）に示した画像との差分を求め、求めた差分の絶対値の画素値を有する、図１４（ｅ）に示した画像を生成する。図１４（ｅ）に示した画像では、輝点８５の形状および位置が変化しないため、輝点８５の領域が除去され、環境光の像９０、９０ａの領域が残留する。そして、判定部１１０ａは、残留した領域の全面積が所定の大きさ（例えば、輝点８５の大きさの２−３倍程度等）より大きいか否かを、図１４（ｅ）に示した画像に基づいて判定する。図１４（ｅ）に示した画像では、残留した環境光の像９０と環境光の像９０ａとの領域の全面積が所定の大きさより大きい。このため、判定部１１０ａは、図１４（ａ）に示した画像の被験者ＰＡの眼鏡に映り込んだ環境光の像９０の位置が変化したと判定する。

判定部１１０ａは、図１４（ａ）に示した対象画像と、判定の結果とを制御部１２０ａに出力する。また、判定部１１０ａは、被験者ＰＡの眼鏡に映り込む環境光の像が存在し、かつ環境光の像の形状および位置のいずれかが変化したと判定した画像を、図１４（ｂ）に示した目領域８０の画像から、図１４（ａ）に示した対象画像に更新する。すなわち、判定部１１０ａは、図１４（ａ）に示した対象画像を記憶部１５０に記憶する。

制御部１２０ａは、対象画像が被験者ＰＡの眼鏡に映り込む環境光の像９０が存在し、環境光の像９０の位置が変化したため、光源２０ａを所定の時間消灯する。そして、制御部１２０ａは、光源２０ａが消灯している時に撮像装置１０により撮影された被験者ＰＡの画像を記憶部１５０に記憶することにより、消灯中の画像を更新する。

なお、ＨＭＤ４００が加速度センサおよび電子ジャイロ等のいずれかのセンサを有する場合、判定部１１０ａは、センサによる被験者ＰＡの動きの検出結果に基づいて、判定処理を実行してもよい。例えば、判定部１１０ａは、センサが被験者ＰＡの動きを検出した場合、図１４（ａ）に示した対象画像において、少なくとも環境光の像９０の位置が変化したと判定してもよい。この場合、判定部１１０ａは、図１４（ａ）に示した対象画像より前に撮影された点灯中の画像を用いずに判定処理を実行できる。このため、判定部１１０ａは、二値化処理等を省略することができ、判定処理の速度向上を図ることができる。

図１５は、図９に示した撮像装置１０の撮影動作と、光源２０ａの点滅動作との関係の一例を示す。図１５では、光源２０ａは、例えば、時刻ｔａ１より前に、光源２０ａの電源のスイッチが投入されることにより点灯する。また、撮像装置１０は、時刻ｔａ１より前に、撮像装置１０の電源のスイッチが投入されることにより、所定のフレームレートによる被験者ＰＡの撮影を時刻ｔａ１から開始する。そして、撮像装置１０は、各時刻ｔａ（ｔａ１−ｔａ１２）の各々で撮影した画像ｆａ（画像ｆａ１−ｆａ１２）を視線検出装置１００ｃに出力する。

図１５では、視線検出装置１００ｃは、撮像装置１０から最初の画像ｆａ１を受けた時、消灯中の画像を記憶部１５０に記憶していない。この場合、制御部１２０ａは、消灯中の画像を取得するために、判定部１１０ａによる画像ｆａ１に対する判定の結果に拘わらず、画像ｆａ１を受けた後、光源２０ａを所定の時間（例えば、２フレーム分の時間等）の間消灯させる。なお、判定部１１０ａは、被験者ＰＡの眼鏡に映り込む環境光の像が存在し、かつ環境光の像の形状および位置のいずれかが変化したと判定した画像として、画像ｆａ１を記憶部１５０に記憶することが好ましい。

一方、撮像装置１０は、時刻ｔａ３、ｔａ４を含む時間で、光源２０ａが消灯する２フレーム分の時間において、画像ｆａ３、ｆａ４をそれぞれ撮影する。制御部１２０ａは、図２に示した制御部１２０と同様に、視線検出装置１００ｃのクロック回路から出力される時刻の情報を参照し、時刻ｔａから１フレーム分の時間全てが光源２０ａの消灯中の期間に含まれる画像ｆａ３を、消灯中の画像として取得する。そして、制御部１２０ａは、取得した画像ｆａ３を記憶部１５０に記憶する。

一方、図１５に示すように、制御部１２０ａは、視線検出装置１００ｃのクロック回路等から出力される時刻の情報を参照し、所定の時間が経過した場合、光源２０ａを再点灯させる。そして、制御部１２０ａは、例えば、視線検出装置１００ｃのクロック回路からの時刻の情報を参照し、時刻ｔａから１フレーム分の時間全てが光源２０ａの点灯中の期間に含まれる画像ｆａ５から点灯中の画像として取得を再開する。

なお、図１５では、判定部１１０ａは、例えば、被験者ＰＡの眼鏡に映り込む環境光の像が存在しない、または環境光の像の形状および位置の変化がないと、各画像ｆａ５、ｆａ６に対して判定する。これにより、制御部１２０ａは、光源２０ａの点灯を継続する。また、図１５では、判定部１１０ａは、被験者ＰＡの眼鏡に映り込む環境光の像が存在し、かつ環境光の像の形状および位置のいずれかが変化したと、画像ｆａ７に対して判定する。これにより、制御部１２０ａは、光源２０ａを所定の時間消灯させる。また、判定部１１０ａは、被験者ＰＡの眼鏡に映り込む環境光の像が存在し、かつ環境光の像の形状および位置のいずれかが変化したと判定した画像を、画像ｆａ１から画像ｆａ７に更新し、記憶部１５０に画像ｆａ７を記憶する。

そして、制御部１２０ａは、視線検出装置１００ｃのクロック回路から出力される時刻の情報を参照し、時刻ｔａから１フレーム分の時間全てが光源２０ａの消灯中の期間に含まれる画像ｆａ９を、消灯中の画像として取得する。制御部１２０ａは、取得した画像ｆａ９を記憶部１５０に記憶し、消灯中の画像を更新する。その後、制御部１２０ａは、視線検出装置１００ｃのクロック回路等から出力される時刻の情報を参照し、所定の時間が経過した場合、光源２０ａを再点灯させる。図１５に示すように、制御部１２０ａは、例えば、視線検出装置１００ｃのクロック回路からの時刻の情報を参照し、時刻ｔａから１フレーム分の時間全てが光源２０ａの点灯中の期間に含まれる画像ｆａ１１から点灯中の画像として取得を再開する。

図１６は、図９に示した視線検出装置１００ｃにおける視線検出処理の一例を示す。図１６に示した処理は、視線検出装置１００ｃの演算処理装置が視線検出プログラムを実行することにより実現される。すなわち、図１６は、視線検出プログラムおよび視線検出方法の別の実施形態を示す。なお、図１６に示した処理は、視線検出装置１００ｃに搭載されるハードウェアにより実現されてもよい。この場合、図９に示した判定部１１０ａ、制御部１２０ａ、除去部１３０ａおよび検出部１４０は、視線検出装置１００ｃ内に配置される回路により実現される。

なお、図１６に示した処理を実行する前に、例えば、図１０に示したＨＭＤ４００が被験者ＰＡに装着され、環境光が存在しない環境下において、ＨＭＤ４００に搭載された視線検出装置１００ｃは、図６に示した処理と同一または同様の較正処理を実行する。そして、視線検出装置１００ｃは、算出した被験者ＰＡの較正データを記憶部１５０に記憶している。

また、撮像装置１５の撮影処理は、図１６に示した処理と並列に実行される。

ステップＳ３００では、視線検出装置１００ｃは、光源２０ａが点灯している期間に、撮像装置１０により撮影された点灯中の画像（例えば、図１５に示した画像ｆａ１等）を取得する。

次に、ステップＳ３１０では、制御部１２０ａは、記憶部１５０が消灯中の画像を記憶しているか否かを判定する。記憶部１５０が消灯中の画像を記憶している場合、視線検出装置１００ｃの処理は、ステップＳ３２０に移る。一方、記憶部１５０が消灯中の画像を記憶していない場合、視線検出装置１００ｃの処理は、ステップＳ３４０に移る。

ステップＳ３２０では、判定部１１０ａは、ステップＳ３００で取得された点灯中の画像、すなわち対象画像が、被験者ＰＡの眼鏡に映り込む環境光の像が存在する画像か否かを判定する。対象画像が、被験者ＰＡの眼鏡に映り込む環境光の像が存在する画像の場合、視線検出装置１００ｃの処理は、ステップＳ３３０に移る。一方、対象画像が、被験者ＰＡの眼鏡に映り込む環境光の像が存在しない画像の場合、視線検出装置１００ｃの処理は、ステップＳ３８０に移る。

ステップＳ３３０では、判定部１１０ａは、ステップＳ３２０で環境光の像が存在すると判定された対象画像において、映り込んだ環境光の像の形状および位置のいずれかが変化したか否かを判定する。例えば、判定部１１０ａは、対象画像より前に撮影された点灯中の画像を、記憶部１５０から読み出す。判定部１１０ａは、読み出した点灯中の画像と、対象画像とを比較し、対象画像における映り込んだ環境光の像の形状および位置のいずれかが変化したか否かを判定する。映り込んだ環境光の像の形状および位置のいずれかが変化した場合、視線検出装置１００ｃの処理は、ステップＳ３４０に移る。一方、映り込んだ環境光の像の形状および位置が変化していない場合、視線検出装置１００ｃの処理は、ステップＳ３７０に移る。

ステップＳ３４０では、制御部１２０ａは、光源２０ａを所定の時間（例えば、２フレーム分の時間）消灯させる制御指示を、光源２０ａに出力する。そして、制御部１２０ａは、例えば、視線検出装置１００ｃのクロック回路から出力される時刻を示す情報を参照し、経過時間の計測を開始する。

次に、ステップＳ３５０では、制御部１２０ａは、光源２０ａが消灯している期間に撮像装置１０により撮影された被験者ＰＡの画像を、消灯中の画像として取得する。制御部１２０ａは、例えば、記憶部１５０が消灯中の画像を記憶していない場合、取得した画像を記憶部１５０に消灯中の画像として記憶する。あるいは、制御部１２０ａは、記憶部１５０が消灯中の画像が既に記憶している場合、取得した画像を記憶部１５０に記憶し、消灯中の画像を更新する。

次に、ステップＳ３６０では、制御部１２０ａは、計測する経過時間が所定の時間となった場合、光源２０ａを再点灯させる制御指示を光源２０ａに出力する。そして、制御部１２０ａは、経過時間の計測を終了する。

なお、制御部１２０ａは、ステップＳ３５０で消灯中の画像を取得した場合、計測する経過時間が所定の時間より短い場合でも、光源２０ａを再点灯させる制御指示を光源２０ａに出力してもよい。このように、光源２０ａが消灯する期間を短くすることにより、点灯中の画像を取得する頻度の向上を図ることができ、視線検出装置１００ｃは、従来と比べて時間分解能を高くして、被験者ＰＡの視線を検出できる。

ステップＳ３７０では、除去部１３０ａは、制御部１２０ａから取得した点灯中の画像と、記憶部１５０から読み出した消灯中の画像との輝度の差分に基づいて、被験者ＰＡの眼鏡に映り込む環境光の像が除去された画像を生成する。

ステップＳ３８０では、検出部１４０は、予め算出した被験者ＰＡの較正データを用いて、ステップＳ３２０で環境光の像が存在しないと判定された画像、またはステップＳ３７０で環境光の像が除去された画像から被験者ＰＡの視線を検出する。

次に、ステップＳ３９０では、制御部１２０ａは、ステップＳ３８０で検出した被験者ＰＡの視線を示すデータを、撮像装置１５が撮影した被験者ＰＡの視界の画像のデータと対応付けして、記憶部１５０あるいは外部の装置に記憶する。

そして、視線検出装置１００ｃは、例えば、ステップＳ３００からステップＳ３９０の処理を繰り返し実行する。

図９から図１６に示した実施形態では、判定部１１０ａは、取得された点灯中の画像に対して、被験者ＰＡの眼鏡に映り込む環境光の像が存在するか否か、および映り込んだ環境光の像の形状および位置のいずれかが変化したか否かを判定する。点灯中の画像において、眼鏡に映り込む環境光の像が存在し、かつ映り込んだ環境光の像の形状および位置のいずれかが変化したと、判定部１１０ａにより判定された場合、制御部１２０ａは、光源２０ａを所定の時間消灯させる。これにより、光源２０ａが消灯している期間に撮像装置１０が撮影した画像には、消灯中の画像が含まれることから、制御部１２０ａは、消灯中の画像を取得できる。すなわち、視線検出装置１００ｃは、撮像装置１０の撮影動作と光源２０ａの点滅動作とのタイミングが互いに異なる場合でも、点灯中の画像および消灯中の画像を取得できる。

また、視線検出装置１００ｃは、撮像装置１０の撮影動作と光源２０ａの点滅動作とを同期させる回路を設けずに、点灯中の画像および消灯中の画像を取得する。このため、回路規模の増大を抑制することができ、コストを抑制することができる。

また、被験者ＰＡが眼鏡をかけている場合でも、制御部１２０ａは、判定部１１０ａにより被験者ＰＡの眼鏡に映り込む環境光の像がないと連続して判定される場合、点灯中の画像を、撮像装置１０のフレームレートと同じ頻度で取得できる。この場合、視線検出装置１００ｃは、従来と比べて時間分解能を高くして、被験者ＰＡの視線を検出することができる。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
撮像装置が被写体を所定のフレームレートで撮影した動画像を取得し、取得した画像に基づいて被写体の視線を検出する視線検出装置であって、
少なくとも２フレーム時間以上の時間間隔で点灯と消灯とを繰り返す光源に照らされた被写体を、所定のフレームレートで撮像装置が撮影した複数の画像のうち、画像の輝度に基づいて前記光源の点灯中または及び消灯中に撮影された画像を抽出する抽出部と、
前記抽出部により抽出された点灯中の画像と消灯中の画像との組合せを取得する取得部と、
取得した各組合せの点灯中の画像と消灯中の画像とが示す情報の差分に基づいて、前記被写体の眼鏡に映り込む周囲の光による像が除去された画像を生成する除去部と
を備えることを特徴とする視線検出装置。
（付記２）
付記１に記載の視線検出装置おいて、
前記取得部は、前記抽出部で抽出された前記光源の点灯中または消灯中に撮影された画像を起点として、前記所定のフレームレートで撮影された画像を所定の時間の間隔毎に取得することにより、点灯中の画像と消灯中の画像との組合せを取得することを特徴とする視線検出装置。
（付記３）
撮像装置が被写体を所定のフレームレートで撮影した動画像を取得し、取得した画像に基づいて被写体の視線を検出する視線検出装置であって、
光源に照らされた被写体を、所定のフレームレートで撮像装置が撮影した画像が、前記被写体の眼鏡に映り込む周囲の光による像が存在する第１画像か否かを画像の輝度に基づいて判定する判定部と、
前記撮像装置により撮影された画像が前記第１画像であると前記判定部により判定された場合、前記光源を少なくとも２フレーム時間以上の時間消灯させる制御部と、
前記光源の消灯中に前記撮像装置により撮影された前記被写体の第２画像と、前記第１画像とが示す情報の差分に基づいて、前記被写体の眼鏡に映り込む周囲の光による像が除去された画像を生成する除去部と
を備えることを特徴とする視線検出装置。
（付記４）
付記３に記載の視線検出装置において、
前記第２画像を記憶する記憶部をさらに備え、
前記判定部は、前記撮像装置により撮影された画像が前記第１画像であると判定した場合、前記第１画像より前に撮影された画像と、前記第１画像とを用いて前記周囲の光による像の形状および位置のいずれかが変化したか否かを判定し、
前記制御部は、前記判定部により前記周囲の光による像の形状および位置のいずれかが変化したと判定された場合、前記光源を前記少なくとも２フレーム時間以上の時間消灯し、第２画像を取得して前記記憶部に記憶される前記第２画像を更新する
ことを特徴とする視線検出装置。
（付記５）
付記４に記載の視線検出装置において、
前記制御部は、前記判定部において前記第１画像より前に撮影された画像と、前記第１画像とを用いて前記周囲の光による像の形状および位置のいずれかが変化したか否かの判定結果として変化がないと判定した時に、照明の消灯を一定時間行わないように制御することを特徴とする視線検出装置。
（付記６）
付記１ないし付記５のいずれか１項に記載の視線検出装置において、
前記周囲の光による像が除去された画像を用いて、前記被写体の視線を検出する検出部をさらに備えることを特徴とする視線検出装置。
（付記７）
撮像装置が被写体を所定のフレームレートで撮影した動画像を取得し、取得した画像に基づいて被写体の視線を検出する視線検出プログラムであって、
少なくとも２フレーム時間以上の時間間隔で点灯と消灯とを繰り返す光源に照らされた被写体を、所定のフレームレートで撮像装置が撮影した複数の画像のうち、画像の輝度に基づいて前記光源の点灯中または及び消灯中に撮影された画像を抽出し、
抽出した点灯中の画像と消灯中の画像との組合せを取得し、
取得した各組合せの点灯中の画像と消灯中の画像とが示す情報の差分に基づいて、前記被写体の眼鏡に映り込む周囲の光による像が除去された画像を生成する
処理をコンピュータに実行させる視線検出プログラム。
（付記８）
付記７に記載の視線検出プログラムおいて、
前記点灯中の画像と消灯中の画像との組合せを取得する処理は、抽出した前記光源の点灯中または消灯中に撮影された画像を起点として、前記所定のフレームレートで撮影された画像を所定の時間の間隔毎に取得することにより、点灯中の画像と消灯中の画像との組合せを取得することを特徴とする視線検出プログラム。
（付記９）
撮像装置が被写体を所定のフレームレートで撮影した動画像を取得し、取得した画像に基づいて被写体の視線を検出する視線検出プログラムであって、
光源に照らされた被写体を、所定のフレームレートで撮像装置が撮影した画像が、前記被写体の眼鏡に映り込む周囲の光による像が存在する第１画像か否かを画像の輝度に基づいて判定し、
前記撮像装置により撮影された画像が前記第１画像であると判定した場合、前記光源を少なくとも２フレーム時間以上の時間消灯させ、
前記光源の消灯中に前記撮像装置により撮影された前記被写体の第２画像と、前記第１画像とが示す情報の差分に基づいて、前記被写体の眼鏡に映り込む周囲の光による像が除去された画像を生成する
処理をコンピュータに実行させる視線検出プログラム。
（付記１０）
付記９に記載の視線検出プログラムにおいて、
前記第２画像を記憶部に記憶し、
前記第１画像か否かを判定する処理は、前記撮像装置により撮影された画像が前記第１画像であると判定した場合、前記第１画像より前に撮影された画像と、前記第１画像とを用いて前記周囲の光による像の形状および位置のいずれかが変化したか否かを判定し、
前記光源を前記少なくとも２フレーム時間以上の時間消灯させる処理は、前記周囲の光による像の形状および位置のいずれかが変化したと判定した場合、前記光源を前記少なくとも２フレーム時間以上の時間消灯し、第２画像を取得して前記記憶部に記憶される前記第２画像を更新する
ことを特徴とする視線検出プログラム。
（付記１１）
付記１０に記載の視線検出プログラムにおいて、
前記光源を前記少なくとも２フレーム時間以上の時間消灯させる処理は、前記第１画像より前に撮影された画像と、前記第１画像とを用いて前記周囲の光による像の形状および位置のいずれかが変化したか否かの判定結果として変化がないと判定した時に、照明の消灯を一定時間行わないように制御することを特徴とする視線検出プログラム。
（付記１２）
付記７ないし付記１１のいずれか１項に記載の視線検出プログラムにおいて、
前記周囲の光による像が除去された画像を用いて、前記被写体の視線を検出することを特徴とする視線検出プログラム。
（付記１３）
撮像装置が被写体を所定のフレームレートで撮影した動画像を取得し、取得した画像に基づいて被写体の視線を検出する視線検出方法であって、
少なくとも２フレーム時間以上の時間間隔で点灯と消灯とを繰り返す光源に照らされた被写体を、所定のフレームレートで撮像装置が撮影した複数の画像のうち、画像の輝度に基づいて前記光源の点灯中または及び消灯中に撮影された画像を抽出し、
抽出した点灯中の画像と消灯中の画像との組合せを取得し、
取得した各組合せの点灯中の画像と消灯中の画像とが示す情報の差分に基づいて、前記被写体の眼鏡に映り込む周囲の光による像が除去された画像を生成する
ことを特徴とする視線検出方法。
（付記１４）
付記１３に記載の視線検出方法おいて、
前記点灯中の画像と消灯中の画像との組合せを取得する処理は、抽出した前記光源の点灯中または消灯中に撮影された画像を起点として、前記所定のフレームレートで撮影された画像を所定の時間の間隔毎に取得することにより、点灯中の画像と消灯中の画像との組合せを取得することを特徴とする視線検出方法。
（付記１５）
撮像装置が被写体を所定のフレームレートで撮影した動画像を取得し、取得した画像に基づいて被写体の視線を検出する視線検出方法であって、
光源に照らされた被写体を、所定のフレームレートで撮像装置が撮影した画像が、前記被写体の眼鏡に映り込む周囲の光による像が存在する第１画像か否かを画像の輝度に基づいて判定し、
前記撮像装置により撮影された画像が前記第１画像であると判定した場合、前記光源を少なくとも２フレーム時間以上の時間消灯させ、
前記光源の消灯中に前記撮像装置により撮影された前記被写体の第２画像と、前記第１画像とが示す情報の差分に基づいて、前記被写体の眼鏡に映り込む周囲の光による像が除去された画像を生成する
ことを特徴とする視線検出方法。
（付記１６）
付記１５に記載の視線検出方法において、
前記第２画像を記憶部に記憶し、
前記第１画像か否かを判定する処理は、前記撮像装置により撮影された画像が前記第１画像であると判定した場合、前記第１画像より前に撮影された画像と、前記第１画像とを用いて前記周囲の光による像の形状および位置のいずれかが変化したか否かを判定し、
前記光源を前記少なくとも２フレーム時間以上の時間消灯させる処理は、前記周囲の光による像の形状および位置のいずれかが変化したと判定した場合、前記光源を前記少なくとも２フレーム時間以上の時間消灯し、第２画像を取得して前記記憶部に記憶される前記第２画像を更新する
ことを特徴とする視線検出方法。
（付記１７）
付記１６に記載の視線検出方法において、
前記光源を前記少なくとも２フレーム時間以上の時間消灯させる処理は、前記第１画像より前に撮影された画像と、前記第１画像とを用いて前記周囲の光による像の形状および位置のいずれかが変化したか否かの判定結果として変化がないと判定した時に、照明の消灯を一定時間行わないように制御することを特徴とする視線検出方法。
（付記１８）
付記１３ないし付記１７のいずれか１項に記載の視線検出方法において、
前記周囲の光による像が除去された画像を用いて、前記被写体の視線を検出することを特徴とする視線検出方法。

１０，１５…撮像装置；２０，２０ａ，２０ｂ…光源；３０…抽出部；４０…取得部；５０，１３０，１３０ａ…除去部；６０，１４０…検出部；７０，ｆ１−ｆ８，ｆａ１−ｆａ１２…画像；７１…顔領域；８０…目領域；８１…輪郭；８２…瞳孔；８３…虹彩；８４…領域；８５，８５ａ…輝点；９０，９０ａ…環境光の像；１００，１００ａ，１００ｂ，１００ｃ…視線検出装置；２００…入力装置；３００…出力装置；４００…ＨＭＤ；４１０…装着部；４２０…支持アーム；４３０…筐体部；５００…コンピュータ装置；５１０…プロセッサ；５２０…入出力インタフェース；５３０…メモリ；５４０…バス；ＰＡ…被験者；ＳＹＳ，ＳＹＳ１…視線検出システム

Claims (10)

1. 撮像装置が被写体を所定のフレームレートで撮影した動画像を取得し、取得した画像に基づいて被写体の視線を検出する視線検出装置であって、
   少なくとも２フレーム時間以上の時間間隔で点灯と消灯とを繰り返す光源に照らされた被写体を、所定のフレームレートで撮像装置が撮影した複数の画像のうち、画像の輝度に基づいて前記光源の点灯中または及び消灯中に撮影された画像を抽出する抽出部と、
   前記抽出部により抽出された点灯中の画像と消灯中の画像との組合せを取得する取得部と、
   取得した各組合せの点灯中の画像と消灯中の画像とが示す情報の差分に基づいて、前記被写体の眼鏡に映り込む周囲の光による像が除去された画像を生成する除去部と
   を備えることを特徴とする視線検出装置。
2. 請求項１に記載の視線検出装置おいて、
   前記取得部は、前記抽出部で抽出された前記光源の点灯中または消灯中に撮影された画像を起点として、前記所定のフレームレートで撮影された画像を所定の時間の間隔毎に取得することにより、点灯中の画像と消灯中の画像との組合せを取得することを特徴とする視線検出装置。
3. 撮像装置が被写体を所定のフレームレートで撮影した動画像を取得し、取得した画像に基づいて被写体の視線を検出する視線検出装置であって、
   光源に照らされた被写体を、所定のフレームレートで撮像装置が撮影した画像が、前記被写体の眼鏡に映り込む周囲の光による像が存在する第１画像か否かを画像の輝度に基づいて判定する判定部と、
   前記撮像装置により撮影された画像が前記第１画像であると前記判定部により判定された場合、前記光源を少なくとも２フレーム時間以上の時間消灯させる制御部と、
   前記光源の消灯中に前記撮像装置により撮影された前記被写体の第２画像と、前記第１画像とが示す情報の差分に基づいて、前記被写体の眼鏡に映り込む周囲の光による像が除去された画像を生成する除去部と
   を備えることを特徴とする視線検出装置。
4. 請求項３に記載の視線検出装置において、
   前記第２画像を記憶する記憶部をさらに備え、
   前記判定部は、前記撮像装置により撮影された画像が前記第１画像であると判定した場合、前記第１画像より前に撮影された画像と、前記第１画像とを用いて前記周囲の光による像の形状および位置のいずれかが変化したか否かを判定し、
   前記制御部は、前記判定部により前記周囲の光による像の形状および位置のいずれかが変化したと判定された場合、前記光源を前記少なくとも２フレーム時間以上の時間消灯し、第２画像を取得して前記記憶部に記憶される前記第２画像を更新する
   ことを特徴とする視線検出装置。
5. 請求項４に記載の視線検出装置において、
   前記制御部は、前記判定部において前記第１画像より前に撮影された画像と、前記第１画像とを用いて前記周囲の光による像の形状および位置のいずれかが変化したか否かの判定結果として変化がないと判定した時に、照明の消灯を一定時間行わないように制御することを特徴とする視線検出装置。
6. 請求項１ないし請求項５のいずれか１項に記載の視線検出装置において、
   前記周囲の光による像が除去された画像を用いて、前記被写体の視線を検出する検出部をさらに備えることを特徴とする視線検出装置。
7. 撮像装置が被写体を所定のフレームレートで撮影した動画像を取得し、取得した画像に基づいて被写体の視線を検出する視線検出プログラムであって、
   少なくとも２フレーム時間以上の時間間隔で点灯と消灯とを繰り返す光源に照らされた被写体を、所定のフレームレートで撮像装置が撮影した複数の画像のうち、画像の輝度に基づいて前記光源の点灯中または及び消灯中に撮影された画像を抽出し、
   抽出した点灯中の画像と消灯中の画像との組合せを取得し、
   取得した各組合せの点灯中の画像と消灯中の画像とが示す情報の差分に基づいて、前記被写体の眼鏡に映り込む周囲の光による像が除去された画像を生成する
   処理をコンピュータに実行させる視線検出プログラム。
8. 撮像装置が被写体を所定のフレームレートで撮影した動画像を取得し、取得した画像に基づいて被写体の視線を検出する視線検出プログラムであって、
   光源に照らされた被写体を、所定のフレームレートで撮像装置が撮影した画像が、前記被写体の眼鏡に映り込む周囲の光による像が存在する第１画像か否かを画像の輝度に基づいて判定し、
   前記撮像装置により撮影された画像が前記第１画像であると判定した場合、前記光源を少なくとも２フレーム時間以上の時間消灯させ、
   前記光源の消灯中に前記撮像装置により撮影された前記被写体の第２画像と、前記第１画像とが示す情報の差分に基づいて、前記被写体の眼鏡に映り込む周囲の光による像が除去された画像を生成する
   処理をコンピュータに実行させる視線検出プログラム。
9. 撮像装置が被写体を所定のフレームレートで撮影した動画像を取得し、取得した画像に基づいて被写体の視線を検出する視線検出方法であって、
   少なくとも２フレーム時間以上の時間間隔で点灯と消灯とを繰り返す光源に照らされた被写体を、所定のフレームレートで撮像装置が撮影した複数の画像のうち、画像の輝度に基づいて前記光源の点灯中または及び消灯中に撮影された画像を抽出し、
   抽出した点灯中の画像と消灯中の画像との組合せを取得し、
   取得した各組合せの点灯中の画像と消灯中の画像とが示す情報の差分に基づいて、前記被写体の眼鏡に映り込む周囲の光による像が除去された画像を生成する
   ことを特徴とする視線検出方法。
10. 撮像装置が被写体を所定のフレームレートで撮影した動画像を取得し、取得した画像に基づいて被写体の視線を検出する視線検出方法であって、
    光源に照らされた被写体を、所定のフレームレートで撮像装置が撮影した画像が、前記被写体の眼鏡に映り込む周囲の光による像が存在する第１画像か否かを画像の輝度に基づいて判定し、
    前記撮像装置により撮影された画像が前記第１画像であると判定した場合、前記光源を少なくとも２フレーム時間以上の時間消灯させ、
    前記光源の消灯中に前記撮像装置により撮影された前記被写体の第２画像と、前記第１画像とが示す情報の差分に基づいて、前記被写体の眼鏡に映り込む周囲の光による像が除去された画像を生成する
    ことを特徴とする視線検出方法。

Images