JP2017204685A - 情報処理装置、情報処理方法 - Google Patents

Abstract

【課題】輝点に関するより適切な撮像結果を得ることが可能にする。【解決手段】眼へ光を照射する光源を制御する光源制御部と、前記眼を撮像するための露光を制御する露光制御部と、を備え、前記光源制御部は、前記露光が行われない時間に前記光源の状態を点灯状態または消灯状態にする、情報処理装置を提供する。【選択図】図３

Description

本開示は、情報処理装置および情報処理方法に関する。

近年、視線推定技術の発展に伴い、視線推定の精度を向上させるための研究開発が行われている。眼球へ光が照射され、当該光によって生成される反射点（輝点）が用いられる視線推定技術の場合、露光時間に応じて光源を制御することが求められる。ここで、先行文献１には、露光時間に応じて光源の制御時間を設定するという技術が開示されている。

特開２０１０−２６２２２４号公報

しかし、露光時間中に光源の状態が切り替えられると、輝点に関する適切な撮像結果が得られなくなることが懸念される。例えば、あるフレームにおいて輝点が撮像されないことが望まれる場合に、当該フレームの露光開始に遅れて光源の状態が消灯状態に切り替えられると、当該フレームの撮像画像に輝点が映り込んでしまうことがある。また、あるフレームにおいて輝点が撮像されることが望まれる場合に、フレームの露光開始に遅れて光源の状態が点灯状態に切り替えられると、撮像画像における反射点の明るさが輝点として認識されるには不十分となることも考えられる。

そこで本開示は、上記に鑑みてなされたものであり、本開示では、輝点に関するより適切な撮像結果を得ることが可能な、新規かつ改良された情報処理装置を提案する。

本開示によれば、眼へ光を照射する光源を制御する光源制御部と、前記眼を撮像するための露光を制御する露光制御部と、を備え、前記光源制御部は、前記露光が行われない時間に前記光源の状態を点灯状態または消灯状態にする、情報処理装置が提供される。

また、本開示によれば、眼へ光を照射する光源を制御することと、前記光を用いて前記眼を撮像するための露光を制御することと、を含み、前記露光が行われない時間に前記光源の状態を点灯状態または消灯状態にする、情報処理装置により実行される情報処理方法が提供される。

以上説明したように本開示によれば、輝点に関するより適切な撮像結果を得ることが可能になる。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係るヘッドマウントディスプレイの概要図である。 本開示の一実施形態に係るヘッドマウントディスプレイによる視線推定の概要図である。 本開示の一実施形態に係るヘッドマウントディスプレイの構成を示すブロック図である。 光源の明滅パターンの一例を示す概要図である。 本開示の一実施形態に係るヘッドマウントディスプレイの動作を示すフローチャートである。 ローリングシャッター方式により撮像された撮像画像の概要図である。 撮像処理情報に基づく光源制御の概要を示す図である。 撮像処理情報に基づいて光源を消灯状態から点灯状態に変更する動作を示すフローチャートである。 撮像処理情報に基づいて光源を点灯状態から消灯状態に変更する動作を示すフローチャートである。 第１の変形例による光源制御の概要を示す図である。 輝点が撮像される位置の予測方法の一例を示す概要図である。 第２の変形例による光源制御を示す概要図である。 第２の変形例による光源制御を示す概要図である。 第２の変形例による光源制御を示す概要図である。 第２の変形例による光源制御を示す概要図である。 本開示の一実施形態に係るヘッドマウントディスプレイのハードウェア構成を示すブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．はじめに
２．本開示の一実施形態
２．１．本開示の一実施形態の概要
２．２．ヘッドマウントディスプレイの構成
２．３．ヘッドマウントディスプレイの動作
３．撮像処理情報に基づく光源制御
３．１．撮像処理情報に基づく光源制御の概要
３．２．撮像処理情報に基づく光源制御フロー
３．３．第１の変形例
３．４．第２の変形例
３．５．本開示の一実施形態のまとめ
４．ヘッドマウントディスプレイのハードウェア構成
５．補足

＜１．はじめに＞
はじめに、視線推定技術の概要について説明する。視線推定技術とは、眼球の位置または運動などを含む眼球の状態を検出することにより視線を推定する技術である。視線推定技術は、様々な目的または製品に活用することができる。例えば、小売店の商品棚に陳列されている商品に対するユーザの視線が推定され、商品が見られる頻度または時間が算出されることによって、商品棚のレイアウトの改善を行うことができる。また、屋外広告に対するユーザの視線が推定され、見られる頻度または時間が算出されることによって、屋外広告の効果測定を行うことができる。さらに、ヘッドマウントディスプレイのディスプレイに対するユーザの視線が推定されることによって、ユーザはポインティングデバイスを用いることなく、操作したい点を指定しヘッドマウントディスプレイを操作することができる。

このような視線推定技術を活用したサービスや製品の普及や、センシングデバイスおよび撮像デバイスの発展などに伴い、様々な手法の視線推定技術が研究開発されている。例えば、以下のような手法の視線推定技術が挙げられる。
・瞳孔角膜反射法：角膜に光が照射され、角膜上の輝点と光源を対応付けることによっ
て角膜曲率中心点が算出され、当該角膜曲率中心点と瞳孔の中心点に基づいて視線が推定される技術。
・強膜反射法：強膜と角膜の境界に光が照射され、強膜と角膜の反射率の違いに基づい
て視線が推定される技術。
・Ｄｏｕｂｌｅ Ｐｕｒｋｉｎｊｅ法：角膜表面と水晶体裏面からの二つの反射光の相
対的な関係に基づいて視線が推定される技術。
・画像処理法：眼球の撮像画像に対して何等かの画像処理が行われることによって視線
が推定される技術。
・サーチコイル法：コイルが設けられた特殊なコンタクトレンズが眼球に装着されるこ
とによって、電磁誘導の原理で眼球運動が計測され視線が推定される技術。
・ＥＯＧ（Ｅｌｅｃｔｒｏ ＯｃｕｌｏＧｒａｐｈｙ）法：眼球の回転による電位の変
化に基づいて視線が推定される技術。

＜２．本開示の一実施形態＞
[２．１．本開示の一実施形態の概要]
本開示の一実施形態においては、上記の視線推定技術のうち、瞳孔角膜反射法を用いることで視線推定が行われるヘッドマウントディスプレイについて説明する。

まず、図１を参照して、本開示の一実施形態におけるヘッドマウントディスプレイ１００の概要を説明する。図１は、本開示の一実施形態に係るヘッドマウントディスプレイ１００の概要図である。図１に示すように、本開示の一実施形態に係るヘッドマウントディスプレイ１００は、ユーザの頭部に装着され、生成された像が眼前のディスプレイに表示される情報処理装置である。図１に示されているのは、装着者の視界全体が覆われる遮蔽型のヘッドマウントディスプレイであるが、瞳孔角膜反射法により視線推定を行うことができるヘッドマウントディスプレイであれば形状は任意である。例えば、本開示の一実施形態に係るヘッドマウントディスプレイ１００は、装着者の視界全体が覆われていない開放型のヘッドマウントディスプレイでもよい。

次いで、図２を参照して、本開示の一実施形態に係るヘッドマウントディスプレイ１００を用いた視線推定技術の概要を説明する。図２は、本開示の一実施形態に係るヘッドマウントディスプレイによる視線推定の概要図である。図２には、ヘッドマウントディスプレイ１００の構成要素の一部である複数の光源１０１、撮像部１０３、表示部１０７および視線推定が行われる眼球１０が示されている。図２には、光源１０１が２個しか示されていないが、光源１０１は複数であれば何個備えられてもよい。また、図２には、撮像部１０３によって撮像された撮像画像１４も模式的に示されている。さらに、図２には、眼球１０の角膜１１、虹彩１２および瞳孔１３も模式的に示されている。

本開示の一実施形態に係るヘッドマウントディスプレイ１００による視線推定においては、まず、複数の光源１０１から眼球１０に対して光が照射され、撮像部１０３が眼球１０を撮像する。撮像部１０３によって撮像された撮像画像１４には、角膜１１上に当該光の反射点である輝点１５（プルキニエ像（Ｐｕｒｋｉｎｊｅ Ｉｍａｇｅ）とも呼称される）や瞳孔１３が撮像されている。

続いて、複数の光源１０１と光源１０１から照射された光が角膜上で反射することによって発生した輝点１５の対応付けが行われる。その対応付けに基づいて角膜曲率中心点１７が算出される。角膜曲率中心点１７の算出方法については後述する。また、撮像部１０３に撮像された瞳孔１３が解析されることで、瞳孔中心点１６が算出される。瞳孔中心点１６の算出方法については後述する。そして、算出された角膜曲率中心点１７から瞳孔中心点１６に向かうベクトルである光軸が求められる。次いで、光軸が適宜補正されることで、ユーザの視線である視軸１８が求められる。光軸の補正方法については後述する。次いで、表示部１０７と眼球１０の３次元空間における位置関係に基づいて視軸１８と表示部１０７が交差する視線推定点１９の座標が算出される。視線推定方法の詳細については後述する。

[２．２．ヘッドマウントディスプレイの構成]
以上では、本開示の一実施形態に係るヘッドマウントディスプレイ１００を用いた視線推定技術の概要を説明した。続いて、図３を参照して、本開示の一実施形態におけるヘッドマウントディスプレイ１００の構成を説明する。図３は、本開示の一実施形態に係るヘッドマウントディスプレイ１００の構成を示すブロック図である。ヘッドマウントディスプレイ１００は、光源１０１、光源制御部１０２、撮像部１０３、画像処理部１０４、照合部１０５、視線推定部１０６、表示部１０７、表示制御部１０８、記憶部１０９、露光制御部１１０、照度検出部１１１を備える。照合部１０５は、画像処理部１０４の一モジュールである。光源１０１は、複数個備えられる。

光源１０１は、眼球１０に対して光を照射する。具体的には、光源１０１は、光源制御部１０２に制御されることにより点灯状態または消灯状態となり、点灯状態となった光源１０１は、眼球１０に対して光を照射する。本開示の一実施形態に係るヘッドマウントディスプレイ１００においては、複数の光源１０１が異なった箇所に備えられており、各光源１０１が眼球１０に対して光を照射する。これにより、角膜上に複数の輝点１５が発生する。

撮像部１０３は、ユーザの眼を撮像し、撮像画像情報を生成する。具体的には、撮像部１０３は、眼の動作および輝点１５などを撮像することが可能な位置に設けられ、露光および撮像された画像の読み出し処理を行うことで、撮像画像に対応する撮像画像情報を生成する。なお、撮像部１０３はユーザの片目または両目を撮像する。撮像部１０３が撮像処理を行う際の絞り値や露光時間（シャッタースピード）は露光制御部１１０によって提供される撮像処理情報に基づいて設定される。撮像部１０３は、撮像画像情報を画像処理部１０４および露光制御部１１０へ提供する。提供された撮像画像情報は、画像処理部１０４による輝点１５または瞳孔１３の検出処理など、露光制御部１１０による撮像処理情報の生成に使用される。

また、撮像部１０３は、同期信号を光源制御部１０２へ提供することで、撮像処理と光源制御の同期を可能にする。例えば、撮像部１０３は、撮像画像の読み出し処理を開始するタイミングで同期信号を光源制御部１０２へ提供する。ただし、これは一例であり、撮像部１０３は、任意の処理のタイミングで同期信号を光源制御部１０２へ提供してよい。同期信号によって、光源制御部１０２は、撮像部１０３による撮像処理および露光制御部１１０による露光制御処理と同期をとりながら光源１０１を制御することができる。

さらに、撮像部１０３は、撮像画像の読み出し処理が完了したタイミングで読み出し完了通知を生成し、当該通知を撮像処理情報として光源制御部１０２へ提供する。また、撮像部１０３は、露光が完了したタイミングで露光の完了通知を生成し、当該通知を撮像処理情報として光源制御部１０２へ提供する。提供された読み出し完了通知または露光の完了通知は、光源制御部１０２による光源１０１の制御に使用される。

露光制御部１１０は、被写体の明るさに応じて露光に関する設定を自動的に変化させる自動露光（ＡＥ：Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）制御を行う。具体的には、露光制御部１１０は、撮像部１０３から取得される撮像画像情報に基づいて、撮像処理中のフレームの次のフレーム以降の撮像処理における絞り値または露光時間に関する情報が含まれる撮像処理情報を生成する。そして、露光制御部１１０は、撮像部１０３および光源制御部１０２へ撮像処理情報を提供する。提供された撮像処理情報は、撮像部１０３による撮像処理、光源制御部１０２による光源１０１の制御に使用される。ここで、露光制御部１１０は自動露光制御を行うのではなく、ユーザによって入力される絞り値または露光時間などの設定による露光制御（以降、「手動露光制御」と呼称する）を行っても良い。

画像処理部１０４は、撮像部１０３から提供された撮像画像情報を解析する。具体的には、画像処理部１０４は、撮像画像情報を解析することで輝点１５または瞳孔１３の検出し、輝点１５の位置に関する情報が含まれる輝点関連情報および、瞳孔１３の位置に関する情報が含まれる瞳孔関連情報を生成する。輝点１５または瞳孔１３の検出方法の詳細については後述する。

次いで、画像処理部１０４は、上述した輝点関連情報を光源制御部１０２、照合部１０５および視線推定部１０６へ提供する。提供された輝点関連情報は、照合部１０５による輝点１５と光源１０１の対応付けおよび視線推定部１０６による光軸の推定に使用される。また、提供された輝点関連情報は、後述の第２の変形例において、光源制御部１０２が、輝点１５の予測位置に基づいて光源１０１を制御する際に使用される。

また、画像処理部１０４は、上述した瞳孔関連情報を視線推定部１０６へ提供する。提供された瞳孔関連情報は、視線推定部１０６による光軸の推定に使用される。

照合部１０５は、光源１０１と光源１０１から照射された光によって生成された輝点１５の対応付けを行う。具体的には、照合部１０５は、画像処理部１０４から提供された輝点関連情報と光源制御部１０２から提供された複数の光源１０１の明滅パターンに基づいて、光源１０１と輝点１５の対応付けを行う。さらに、照合部１０５は、光源１０１と輝点１５が対応付けられた情報にＩＤなどの識別情報が付与された輝点光源対応情報を生成する。光源１０１と輝点１５を対応付けの方法については後述する。

そして、照合部１０５は、輝点光源対応情報を視線推定部１０６へ提供する。提供された輝点光源対応情報は、視線推定部１０６による光軸の推定に使用される。

視線推定部１０６は、各種情報に基づいて視線を推定する。具体的には、視線推定部１０６は、画像処理部１０４から提供された輝点関連情報、瞳孔関連情報および照合部１０５から提供された輝点光源対応情報に基づいて、光軸を推定する。そして、視線推定部１０６は、光軸を補正することでユーザの視線である視軸１８を推定し、視軸１８に関する情報が含まれる視線推定情報を生成し、表示制御部１０８へ提供する。提供された視線推定情報は、表示制御部１０８が表示部１０７を制御するために使用される。

表示部１０７は、各種情報を表示する。具体的には、表示部１０７は、表示制御部１０８に制御されることによって、各種情報を画像、テキスト、グラフなどの多様な形式で表示することで、ユーザに対して当該情報を視覚的に通知する。当該各種の情報には多様なコンテンツが含まれ得る。また、表示部１０７は、表示制御部１０８に制御されることによって、ユーザの視線推定点１９を表示する。

表示制御部１０８は、表示部１０７を制御する。具体的には、表示制御部１０８は、起動しているアプリケーションの処理に基づいて、表示部１０７に表示させる情報の内容を決定し、当該情報を表示部１０７に表示させる。また、表示制御部１０８は、視線推定部
１０６から提供された視線推定情報に基づいて視軸１８と表示部１０７が交差する視線推定点１９の座標を算出し、表示部１０７に当該座標へポインタを表示させる。

光源制御部１０２は、複数の光源１０１を制御する。具体的には、光源制御部１０２は、各フレームにおける複数の光源１０１の点灯または消灯の状態に関する情報である明滅パターンおよび露光制御部１１０から提供された撮像処理情報に基づいて各フレームにおいて各光源１０１の状態を点灯状態または消灯状態にする。光源制御部１０２が各光源１０１の状態を点灯状態または消灯状態にする方法については後述する。そして、光源制御部１０２は、明滅パターンを照合部１０５へ提供する。提供された明滅パターンは、照合部１０５による輝点１５と光源１０１の対応付けに使用される。

ここで、図４を参照しながら前述した明滅パターンを説明する。図４は、光源１０１の明滅パターンの一例を示す概要図である。図４に示すように、明滅パターンには、ヘッドマウントディスプレイ１００に備えられた光源１０１と、各フレームにおける各光源１０１の状態（点灯状態または消灯状態のいずれか）に関する情報が含まれている。光源制御部１０２は、パターンの異なる複数の明滅パターンから使用する明滅パターンを選択し、選択された明滅パターンを用いて光源１０１を制御することが可能である。もちろん、明滅パターンは１個しか備えられていなくてもよい。また、光源制御部１０２は、適宜明滅パターンを変更することも可能である。

記憶部１０９は、視線推定、光源制御、露光制御または表示制御などに用いられる各種情報を記憶する。具体的には、記憶部１０９は、上述した撮像画像情報、輝点関連情報、瞳孔関連情報、輝点光源対応情報、撮像処理情報、視線推定情報および明滅パターンを取得し、記憶してもよい。さらに、記憶部１０９は、視線推定で使用される各種パラメータ、表示部１０７へ表示されるコンテンツ情報などを記憶する。

照度検出部１１１は、撮像環境の照度を検出し、照度情報を生成する。そして、照度検出部１１１は、照度情報を光源制御部１０２へ提供する。提供された照度情報は、光源制御部１０２による光源１０１の輝度の設定に使用される。

[２．３．ヘッドマウントディスプレイの動作]
上記では、ヘッドマウントディスプレイ１００の構成について説明した。続いて、図５を参照して、ヘッドマウントディスプレイ１００の動作について説明する。図５は、本開示の一実施形態に係るヘッドマウントディスプレイ１００の動作を示すフローチャートである。

まず、光源制御部１０２が予め設定される光源１０１の明滅パターンにしたがって複数の光源１０１を点灯および消灯することで、光源１０１から眼に対して光が照射される（ステップＳ１０００）。これにより、角膜上に複数の輝点１５が発生する。

次いで、撮像部１０３が眼の状態を撮像する（ステップＳ１００４）ことで、角膜上に発生した輝点１５および瞳孔１３などが撮像された撮像画像情報が生成される。撮像部１０３は、当該撮像画像情報を画像処理部１０４へ提供する。

さらに、画像処理部１０４は、撮像部１０３から提供された撮像画像情報を解析し輝点１５および瞳孔１３を検出する（ステップＳ１００８）。輝点１５の検出処理には、機械学習の技術が利用され得る。具体的には、予め構築された機械学習用プログラムが、輝点が撮像された撮像画像を数十〜数万程度読み込み、学習する。そして画像処理部１０４が、当該プログラムを用いて撮像画像に含まれる輝点１５を検出してもよい。

また、輝点１５の検出処理には、機械学習以外の公知の画像認識技術も使用され得る。例えば、画像処理部１０４は、撮像画像に対する各種の画像処理、撮像画像内の輝度分布を取得する処理、当該輝度分布に基づいて周囲の画素との輝度値の差が比較的大きい画素を検出する処理などの一連の処理を行ってもよい。そして、画像処理部１０４は、生成した輝点関連情報を光源制御部１０２、照合部１０５および視線推定部１０６へ提供する。

一方、瞳孔１３の検出処理においても、輝点１５の検出処理と同様に機械学習の技術が利用されてもよく、機械学習以外の公知の画像認識技術が使用されてもよい。例えば、画像処理部１０４は、撮像画像に対する各種の画像処理（例えば歪みや黒レベル、ホワイトバランスなどの調整処理）、撮像画像内の輝度分布を取得する処理、当該輝度分布に基づいて瞳孔１３の輪郭（エッジ）を検出する処理、検出された瞳孔１３の輪郭を円又は楕円などの図形で近似する処理などの一連の処理を行ってもよい。そして、画像処理部１０４は、生成した瞳孔関連情報を光源制御部１０２および視線推定部１０６へ提供する。

次いで、照合部１０５が、輝点１５と光源１０１の対応付けを行う（ステップＳ１０１２）。具体的には、照合部１０５は、画像処理部１０４から輝点関連情報を取得し、光源制御部１０２から光源１０１の明滅パターンを取得する。輝点関連情報には、輝点１５が発生した位置および発生したフレームに関する情報が含まれており、明滅パターンには、各フレームにおける光源１０１の状態（点灯状態または消灯状態のいずれか）に関する情報が含まれている。照合部１０５は、輝点１５と光源１０１の物理的な位置関係に基づいて輝点１５と光源１０１の対応付けを行う。例えば、角膜上に発生している輝点１５のうち、ある光源１０１からの距離が最も近い輝点１５を当該光源１０１に対応する輝点１５とする。ここで、上述の対応付けの方法は一例であり、他の方法によって輝点１５と光源１０１の対応付けが行われてもよい。例えば、照合部１０５は、光源１０１と輝点１５の対応関係を予め学習した機械学習用プログラムを使用することによって、輝点１５と光源１０１の対応付けを行ってもよい。

次いで、視線推定部１０６は、画像処理部１０４から提供された輝点関連情報および照合部１０５から提供された輝点光源対応情報に基づいて角膜曲率中心点１７（角膜を球の一部とみなした場合の当該球の中心）の３次元座標を算出する（ステップＳ１０１６）。具体的には、視線推定部１０６は、撮像部１０３、光源１０１および光源１０１に対応する輝点１５の３次元的な位置関係に基づいて幾何学的計算式を解くことで、角膜の角膜曲率中心点１７の３次元座標を算出する。

次いで、視線推定部１０６は、画像処理部１０４から提供された瞳孔関連情報に基づいて瞳孔中心点１６の３次元座標を算出する（ステップＳ１０２０）。具体的には、視線推定部１０６は、撮像部１０３と眼球１０との位置関係、角膜表面における光の屈折率、角膜の角膜曲率中心点１７と瞳孔中心点１６との距離などのパラメータを用いて、撮像画像における瞳孔１３の輪郭上の複数点の３次元座標を算出し、これらの座標の中心点を求めることにより、瞳孔中心点１６の３次元座標を算出する。

次いで、視線推定部１０６は、ステップＳ１０１６で算出された角膜曲率中心点１７の３次元座標からステップＳ１０２０で算出された瞳孔中心点１６の３次元座標に向かうベクトルを算出することで、光軸（眼球１０が向いている方向）を求める（ステップＳ１０２４）。

ここで、ヒトにおいては、光軸と実際にヒトが視線を向けている方向（以降、視軸と呼称する）とが必ずしも一致しない。これは、眼球１０の形状、大きさ、眼球１０における網膜または視神経の配置などに起因するものであり、個人差を有するものである。このように、光軸と視軸との間には、ユーザ固有の誤差が存在する。

かかる事情を考慮して、本開示による一実施形態においては、視線推定部１０６は、光軸を視軸１８へと補正する処理を行う（ステップＳ１０２８）。例えば、ユーザに対して注視点が提示されることで、注視点と注視点に視線が向けられている時の光軸の相関関係に関する情報が予め取得され、視線推定部１０６は、当該情報に基づいて光軸を補正することで視軸１８を取得することができる。しかし、この補正方法は一例であるため、視線推定部１０６は任意の補正方法をとり得る。

次いで、視線推定部１０６は、視軸１８に基づいてユーザの視線推定点１９を算出する（ステップＳ１０３２）。具体的には、視線推定部１０６は、表示部１０７および眼球１０の位置関係を予め取得しておくことにより、視軸１８と表示部１０７とが交差する点の座標を算出する。当該点が、ユーザの注視点であると推定される視線推定点１９である。

以上説明した処理が行われることにより、本開示の一実施形態に係るヘッドマウントディスプレイ１００を用いてユーザの視線推定が行われる。

＜３．撮像処理情報に基づく光源制御＞
[３．１．撮像処理情報に基づく光源制御の概要]
上記では、本開示の一実施形態に係るヘッドマウントディスプレイ１００の動作を説明した。続いて、撮像処理情報に基づく光源制御の概要について説明する。

上述のとおり、視線推定が行われる際に光源１０１と輝点１５の対応付けが行われる。ここで、露光が行われる時間に光源１０１の状態が変更されると、所望の輝点１５が撮像されず、光源１０１と輝点１５の対応付けができない場合がある。

例えば、光源１０１の状態が消灯状態から点灯状態へ変更される場合、光源１０１の点灯処理が露光中に行われると、撮像される輝点１５の輝度が十分でないことが原因で光源１０１と輝点１５の対応付けができない場合がある。

また、光源１０１の状態が点灯状態から消灯状態へ変更される場合、光源１０１の消灯処理が露光中に行われると、撮像画像に当該光源１０１から照射された光による輝点１５が映り込む場合がある。そのため、光源１０１と輝点１５の対応付けができないか、または誤った対応付けが行われる場合がある。以降で説明する方法は、上述の問題を解消するための方法である。

次に、図６を参照して、本開示の一実施形態で用いるローリングシャッター方式の概要について説明する。図６は、ローリングシャッター方式により撮像された撮像画像の概要図である。

ローリングシャッター方式とは、図６に示すように、撮像画像が複数のライン（行）に区分され、当該ライン毎に露光および撮像画像の読み出しが行われる方式である。ローリングシャッター方式では、一般的に撮像画像中の上方に位置するラインから順に露光および読み出しが行われる。したがって、図６においてライン０が、全ラインの中で最も早く露光および読み出しが行われるラインとなる。

本開示の一実施形態においては、ローリングシャッター方式が用いられる場合の説明を行うが、グローバルシャッター方式が用いられてもよい。グローバルシャッター方式とは、撮像画像が複数のラインに区分されず、撮像画像全体に対して同時に露光が行われ、撮像画像全体に対して同時に読み出しが行われる方式である。

上記では、ローリングシャッター方式の概要について説明した。続いて、図７を参照して、撮像処理情報に基づく光源制御の概要について説明する。図７は、撮像処理情報に基づく光源制御の概要を示す図である。

図７には、時系列に連続する複数のフレーム（フレームｉおよびフレームｉ＋１）が撮像される様子が示されている。フレーム数は任意である。また、上述のとおり、撮像部１０３が生成する同期信号によって、光源制御部１０２は、撮像部１０３による撮像処理と同期をとりながら光源１０１を制御することができる。図７では、撮像画像の読み出しが開始されるタイミングで同期が行われているが、同期が行われるタイミングは任意である。なお、同期の間隔は一定であるとする。

また、ローリングシャッター方式の撮像処理によって、撮像画像のライン０から順に露光および撮像画像の読み出しが行われることが示されている。ここで、光源制御部１０２は、露光制御部１１０から提供される撮像処理情報に基づいて、各フレームの露光終了時刻を、光源１０１の状態を変更するための最も早い時間Tminとして算出する。また、光源制御部１０２は、露光制御部１１０から提供される撮像処理情報に基づいて、各フレームの露光開始時刻を、光源１０１の状態を変更するための最も遅い時間Tmaxとして算出する。その後、光源制御部１０２は、TminからTmaxまでの時間に含まれる時刻Tに、光源１０１の状態を変更する。TminおよびTmaxの算出方法については後述する。

上述の方法により、光源制御部１０２は、露光がされない時間に光源１０１の状態を変更することができる。したがって、所望の輝点１５を発生させることができるため、輝点１５と光源１０１の対応付けの精度を向上させることができる。

[３．２．撮像処理情報に基づく光源制御フロー]
上記では、撮像処理情報に基づく光源制御の概要について説明した。続いて、図８および図９を参照して、撮像処理情報に基づく光源１０１の制御フローについて説明する。図８は、撮像処理情報に基づいて光源１０１の状態を消灯状態から点灯状態に変更する動作を示すフローチャートであり、図９は、撮像処理情報に基づいて光源１０１の状態を点灯状態から消灯状態に変更する動作を示すフローチャートである。図８および図９に示される処理は、図５で光源１０１から光が照射される処理（ステップＳ１０００）に含まれる。なお、以降では、撮像処理中のフレームは現フレームと呼称され、現フレームの次に撮像されるフレームは、次フレームと呼称される。

まず、光源制御部１０２は、明滅パターンおよび露光制御部１１０から撮像処理情報を取得する（ステップＳ１１００）。次いで、光源制御部１０２は、撮像処理情報に基づいて上述のTminおよびTmaxを算出する（ステップＳ１１０４）。具体的には、光源制御部１０２は、露光制御部１１０から提供される撮像処理情報に含まれている現フレームの露光時間および、同期信号が取得された時刻と露光の開始時刻（または終了時刻）の相対関係に基づいてTminを算出する。また、光源制御部１０２は、露光制御部１１０から提供される撮像処理情報に含まれている次フレームの露光時間および、同期信号が取得された時刻と露光の開始時刻（または終了時刻）の相対関係に基づいてTmaxを算出する。

そして、次フレームにおいて消灯状態から点灯状態へ変更される光源１０１が存在する場合（ステップＳ１１０８／Ｙｅｓ）、光源制御部１０２は、当該光源１０１の状態を消灯状態から点灯状態に変更する。具体的には、ステップＳ１１０４において、TminおよびTmaxのどちらも算出された場合（ステップＳ１１１２／Ｙｅｓ）、光源制御部１０２は、TminからTmaxの間に光源１０１の状態を消灯状態から点灯状態に変更する（ステップＳ１１１６）。

ステップＳ１１０４において、Tminが算出され、Tmaxは算出されなかった場合（ステップＳ１１２０／Ｙｅｓ）、光源制御部１０２は、Tmaxを予測する。具体的には、光源制御部１０２は、予め作成された露光時間と光源１０１の制御タイミングの関係を示す光源制御設定情報に現フレームの露光時間を入力することで次フレームの露光開始時刻であるTmaxを予測する。そして、光源制御部１０２は、Tminから予測されたTmaxの間に光源１０１の状態を消灯状態から点灯状態に変更する（ステップＳ１１２４）。

ステップＳ１１０４において、Tmaxが算出され、Tminは算出されなかった場合（ステップＳ１１２８／Ｙｅｓ）、光源制御部１０２は、Tminを予測する。具体的には、光源制御部１０２は、上述の予め作成された光源制御設定情報に次フレームの露光時間を入力することで現フレームの露光終了時刻であるTminを予測する。そして、光源制御部１０２は、予測されたTminからTmaxの間に光源１０１の状態を消灯状態から点灯状態に変更する（ステップＳ１１３２）。

ステップＳ１１０４において、TminおよびTmaxのどちらも算出されなかった場合（ステップＳ１１２８／Ｎｏ）、光源制御部１０２は、TminおよびTmaxを予測する。具体的には、光源制御部１０２は、上述の予め作成された光源制御設定情報に、取得できているいずれかのフレームの露光時間を入力することで、現フレームの露光終了時刻であるTminおよび、次フレームの露光開始時刻であるTmaxを予測する。そして、光源制御部１０２は、光源制御部１０２は、予測されたTminおよび予測されたTmaxの間に光源１０１の状態を消灯状態から点灯状態に変更する（ステップＳ１１３６）。

続いて、次フレームにおいて点灯状態から消灯状態へ変更される光源１０１が存在する場合（ステップＳ１１４０／Ｙｅｓ）、光源制御部１０２は、当該光源１０１の状態を点灯状態から消灯状態に変更する。具体的には、ステップＳ１１０４において、TminおよびTmaxのどちらも算出された場合（ステップＳ１１４４／Ｙｅｓ）、光源制御部１０２は、TminからTmaxの間に光源１０１の状態を点灯状態から消灯状態に変更する（ステップＳ１１４８）。

ステップＳ１１０４において、Tminが算出され、Tmaxは算出されなかった場合（ステップＳ１１５２／Ｙｅｓ）、光源制御部１０２は、上述の予め作成された光源制御設定情報に基づいてTmaxを予測する。予測方法は上述のとおりである。そして、光源制御部１０２は、Tminから予測されたTmaxの間に光源１０１の状態を点灯状態から消灯状態に変更する（ステップＳ１１５６）。

ステップＳ１１０４において、Tmaxが算出され、Tminは算出されなかった場合（ステップＳ１１６０／Ｙｅｓ）、光源制御部１０２は、上述の予め作成された光源制御設定情報に基づいてTminを予測する。予測方法は上述のとおりである。そして、光源制御部１０２は、予測されたTminからTmaxの間に光源１０１の状態を点灯状態から消灯状態に変更する（ステップＳ１１６４）。

ステップＳ１１０４において、TminおよびTmaxのどちらも算出されなかった場合（ステップＳ１１６０／Ｎｏ）、光源制御部１０２は、上述の予め作成された光源制御設定情報に基づいてTminおよびTmaxを予測する。予測方法は上述のとおりである。そして、光源制御部１０２は、光源制御部１０２は、予測されたTminおよび予測されたTmaxの間に光源１０１の状態を点灯状態から消灯状態に変更する（ステップＳ１１６８）。

なお、以上で説明されたフローチャートは適宜変更され得る。例えば、各処理は適宜フローチャートに記載された順序と異なる順序で処理されても、並列的に処理されてもよい。もちろん、光源１０１の状態を点灯状態から消灯状態に変更する処理（ステップＳ１１４０〜ステップＳ１１６８）は、消灯状態から点灯状態に変更する処理（ステップＳ１１０８〜ステップＳ１１３６）よりも先に処理されてもよく、並列的に処理されてもよい。

[３．３．第１の変形例]
以上では、露光制御部１１０から提供される撮像処理情報に含まれる各フレームの露光時間に基づく光源１０１の状態を変更する動作について説明した。続いて、以下では、図１０を参照して、光源１０１の状態変更の方法の変形例について説明する。図１０は、第１の変形例による光源制御の概要を示す図である。

第１の変形例においては、光源制御部１０２は、撮像部１０３から提供される撮像処理情報に含まれる撮像画像の読み出し完了通知の後に光源１０１の状態を変更する。具体的には、撮像部１０３は、撮像画像の全ラインの読み出し処が完了したタイミングで読み出し完了通知を光源制御部１０２へ提供する。その後、光源制御部１０２は、当該通知が提供されたタイミングから上述の方法で算出されたTmaxの間に光源１０１の状態を変更する。したがって、図１０に示すように、ローリングシャッター方式により撮像される撮像画像の最後のラインの読み出しが完了したタイミングがTminとなる。

また、第１の変形例において、撮像部１０３から提供される撮像処理情報に含まれる情報は、撮像画像の読み出し完了通知に限定されない。例えば、撮像処理情報に露光完了通知が含まれても良い。具体的には、撮像部１０３は、撮像画像の全ラインの露光処理が完了したタイミングで露光完了通知を光源制御部１０２へ提供する。その後、光源制御部１０２は、当該通知が提供されたタイミングから上述の方法で算出されたTmaxの間に光源１０１の状態を変更する。この場合は、図７に示すように、ローリングシャッター方式により撮像される撮像画像の最後のラインの露光が完了したタイミングがTminとなる。

また、第１の変形例において、必ずしもTmaxは算出されなくてもよい。具体的には、光源制御部１０２は、撮像画像の読み出し完了通知または露光完了通知を取得した直後または、所定の時間が経過した後に光源１０１の状態を変更してもよい。

上述のように撮像部１０３から提供される撮像処理情報に含まれる読み出し完了通知や露光完了通知の後に光源１０１の状態が変更されることによって、光源制御部１０２がTminまたはTmaxを算出する必要がなくなるため、光源制御部１０２の処理の負荷を軽減することができる。

[３．４．第２の変形例]
以上では、本開示の一実施形態に係る第１の変形例について説明した。以下では、本開示の一実施形態に係る第２の変形例について説明する。第２の変形例は、ローリングシャッター方式により撮像処理を行う場合において、輝点１５が発生する撮像画像中の位置が予測され、当該位置に対応するラインに対して露光が行われない時間に光源１０１の状態を変更する方式である。

ここで、図１１を参照して、輝点１５が発生する位置の予測方法の具体例を説明する。図１１は、輝点１５が撮像される位置の予測方法の一例を示す概要図である。図１１には、各フレームにおいて輝点１５が発生した位置が例示されている。

輝点１５は、ｉ−１フレームではラインｎ−１に、ｉフレームではラインｎに発生し、撮像部１０３は、これらを撮像する。画像処理部１０４は、撮像部１０３が生成した撮像画像情報を解析し、ｉ＋１フレームにおける輝点１５の位置を予測する。

例えば、画像処理部１０４は、現在のフレームレート、ｉフレームまでの撮像部１０３の３次元位置姿勢情報、ｉフレームまでの輝点１５の３次元位置情報またはｉフレームまでの輝点１５の撮像画像内での位置情報（またはライン情報）に基づいて、ｉ＋１フレームにおける輝点１５の位置を予測する。もちろん、ｉ―１フレーム、ｉフレームおよびｉ＋１フレームは一例であり、現フレームまたは現フレームより過去に撮像されたフレームにおける輝点１５の位置に基づいて、次フレームまたは次フレームより後に撮像されるフレームにおける輝点１５の位置が予測されてもよい。

上述の予測に用いる情報（フレームレート、撮像処理中のフレームまでの撮像部１０３の３次元位置姿勢情報、撮像処理中のフレームまでの輝点１５の３次元位置情報または撮像処理中のフレームまでの輝点１５の撮像画像内での位置情報）と、輝点１５の発生が予測されるラインの対応関係に関する情報を予め作成し、当該情報を利用してもよい。画像処理部１０４は、輝点１５の発生が予測されるラインの対応関係に関する情報に対して、上述の予測に用いる情報を入力することで、輝点１５の発生が予測されるラインを取得する。これにより、画像処理部１０４の予測処理の負荷を軽減することができる。

露光制御部１０２は、上述のように、輝点１５の発生する位置を予測することで当該位置に対応するラインに対する露光時間を算出し、当該ラインが露光されない時間に光源１０１の状態を変更する。

具体的には、図８の点灯状態へ変更する光源１０１の有無を確認する処理（ステップＳ１１０８）において、光源制御部１０２は、点灯状態へ変更する光源１０１に対応する輝点１５が発生するラインを予測する。そして、光源制御部１０２は、露光制御部１１０から提供される撮像処理情報に含まれる各フレームの露光時間に基づいて当該ラインのTminとTmaxを算出し、算出されたTminからTmaxの間に当該光源１０１の状態を点灯状態へ変更する。以降の処理は、図８における上述の説明と同一であるため省略する。

また、図９の消灯状態へ変更する光源１０１の有無を確認する処理（ステップＳ１１４０）において、光源制御部１０２は、光源１０１を消灯状態へ変更することで輝点１５が発生しないラインを予測する。そして、光源制御部１０２は、露光制御部１１０から提供される撮像処理情報に含まれる各フレームの露光時間に基づいて当該ラインのTminとTmaxを算出し、算出されたTminからTmaxの間に当該光源１０１の状態を消灯状態へ変更する。以降の処理は、図９における上述の説明と同一であるため省略する。

上述の方法により、光源制御部１０２は、各ラインにおける露光がされない時間に光源１０１の状態を変更することができるため、光源１０１の状態を変更するための時間は、図１２に示すように、各ラインにおける現フレームの露光時間終了時から次フレームの露光時間開始時までの時間となる。つまり、上述の方法により、輝点１５の発生位置を予測しない場合（図７および図１０）よりも光源１０１の状態を変更するための時間を拡大することができる。

また、輝点１５の位置の予測は、光源１０１と眼球１０の位置関係に基づいて行われてもよい。例えば、眼球１０の上方向に位置する光源１０１が眼球１０へ光を照射する場合、輝点１５が眼球１０の上半球に発生する可能性は統計的に高く、輝点１５が眼球１０の下半球に発生する可能性は統計的に低い。この場合は、眼球１０の上半球が撮像されるラインに対して露光が行われない時間に光源１０１の状態を変更する。

このように、光源１０１と眼球１０の位置関係に基づいて、輝点１５の大よその位置を予測することで、上述の撮像画像情報を解析することによって輝点１５の位置を予測するよりも、処理負荷を軽減することができる。

また、第２の変形例においても、光源制御部１０２は、第１の変形例のように撮像部１０３から提供される撮像処理情報に含まれる読み出し完了通知や露光完了通知の後に光源１０１の状態を変更してもよい。具体的には、撮像部１０３は、撮像画像の各ラインの読み出し処理が完了する都度、読み出し完了通知を光源制御部１０２へ提供する。光源制御部１０２は、当該通知が提供されたタイミングから、露光制御部１１０から提供される撮像処理情報に含まれる各フレームの露光時間に基づいて算出されたTmaxの間に光源１０１の状態を変更してもよい。この場合、図１３に示すように、各ラインの読み出しが完了したタイミングが各ラインのTminとなる。

また、撮像部１０３は、撮像画像の各ラインの露光処理が完了する都度、露光完了通知を光源制御部１０２へ提供する。光源制御部１０２は、当該通知が提供されたタイミングから露光制御部１１０から提供される撮像処理情報に含まれる各フレームの露光時間に基づいて算出されたTmaxの間に光源１０１の状態を変更してもよい。この場合は、図１２に示すように、各ラインの露光が完了したタイミングが各ラインのTminとなる。

さらに、機器の性能や仕様に応じて、読み出し完了通知または露光完了通知が一時に提供されてもよい。例えば、図１４に示すように、撮像部１０３は、撮像画像の全ラインの露光処理が完了したタイミングで露光完了通知を光源制御部１０２へ提供してもよい。その場合は、図１４に示すように、ローリングシャッター方式により撮像される撮像画像の最後のラインの露光が完了したタイミングがTminとなる。

また、図１５に示すように、撮像部１０３は、撮像画像の全ラインの読み出し処理が完了したタイミングで読み出し完了通知を光源制御部１０２へ提供してもよい。その場合は、図１５に示すように、ローリングシャッター方式により撮像される撮像画像の最後のラインの読み出しが完了したタイミングがTminとなる。

また、第１の変形例と同様に、必ずしもTmaxは算出されなくてもよい。具体的には、光源制御部１０２は、撮像画像の読み出し完了通知または露光完了通知を取得した直後または、所定の時間が経過した後に光源１０１の状態を変更してもよい。

上述のように、露光制御部１１０から提供される撮像処理情報に含まれる読み出し完了通知や露光完了通知の後に光源１０１の状態が変更されることによって、光源制御部１０２がTminまたはTmaxを算出する必要がなくなるため、光源制御部１０２の処理の負荷を軽減することができる。

＜４．ヘッドマウントディスプレイのハードウェア構成＞
図１６は、本開示の一実施形態に係るヘッドマウントディスプレイ１００のハードウェア構成を示すブロック図である。ヘッドマウントディスプレイ１００は、例えば、ＭＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、記録媒体９０４と、入出力インタフェース９０５と、操作入力デバイス９０６と、表示デバイス９０７と、通信インタフェース９０８と、撮像デバイス９０９と、ＩＲ ＬＥＤ（ｉｎｆｒａｒｅｄ ｓｐｅｃｔｒｏｓｃｏｐｙ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）９１０とを備える。また、ヘッドマウントディスプレイ１００は、例えば、データの伝送路としてのバス９１１で各構成要素間を接続する。

ＭＰＵ９０１は、１または２以上のプロセッサまたは各種処理回路などを備え、ヘッドマウントディスプレイ１００に備えられている各構成要素を制御したり処理を行ったりする機能を有する。また、ＭＰＵ９０１は、ヘッドマウントディスプレイ１００において、例えば、光源制御部１０２、画像処理部１０４、照合部１０５、視線推定部１０６、表示制御部１０８、露光制御部１１０の機能を担う。

ＲＯＭ９０２は、記憶部１０９として機能し、ＭＰＵ９０１が使用するプログラムまたは演算パラメータなどの制御用データなどを記憶する。ＲＡＭ９０３は、記憶部１０９として機能し、例えば、ＭＰＵ９０１により実行されるプログラムなどを一時的に記憶する。

記録媒体９０４は、記憶部１０９として機能し、例えば、眼に関する情報などの本実施形態に係る情報処理方法に係るデータ、撮像画像を示す画像データまたはアプリケーションなどの様々なデータを記憶する。

記録媒体９０４としては、例えば、ハードディスクなどの磁気記録媒体またはフラッシュメモリなどの不揮発性メモリなどが挙げられる。また、記録媒体９０４は、ヘッドマウントディスプレイ１００から着脱可能であってもよい。

入出力インタフェース９０５は、操作入力デバイス９０６や、表示デバイス９０７を接続する。操作入力デバイス９０６は、操作部（図示せず）として機能し、また、表示デバイス９０７は、表示部１０７として機能する。ここで、入出力インタフェース９０５としては、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子や、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）端子、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）（登録商標）端子、各種処理回路などが挙げられる。

操作入力デバイス９０６は、例えば、ヘッドマウントディスプレイ１００上に備えられ、ヘッドマウントディスプレイ１００の内部で入出力インタフェース９０５と接続される。操作入力デバイス９０６としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。

表示デバイス９０７は、例えば、ヘッドマウントディスプレイ１００上に備えられ、ヘッドマウントディスプレイ１００の内部で入出力インタフェース９０５と接続される。表示デバイス９０７としては、例えば、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）または、ＯＬＥＤディスプレイ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ Ｄｉｓｐｌａｙ）などが挙げられる。

なお、入出力インタフェース９０５が、ヘッドマウントディスプレイ１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や表示デバイス、撮像デバイスなどの、外部デバイスと接続することも可能であることは、言うまでもない。また、表示デバイス９０７は、例えばタッチデバイスなど、表示とユーザ操作とが可能なデバイスであってもよい。

通信インタフェース９０８は、ヘッドマウントディスプレイ１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、外部の撮像装置や外部の表示装置、外部の本実施形態に係るユーザの頭部に装着されて用いられる装置などの外部装置（または、外部デバイス）と、無線または有線で通信を行うための通信部（図示せず）として機能する。

通信インタフェース９０８としては、例えば、通信アンテナおよびＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）端子および送受信回路（有線通信）などが挙げられる。また、通信部（図示せず）は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成であってもよい。

また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ：Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や基地局を介した無線ＷＡＮ（ＷＷＡＮ：Ｗｉｒｅｌｅｓｓ Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ ＰｒｏｔｏｃｏｌｓｕｒａｓｓｈｕＩｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）などの通信プロトコルを用いたインターネットなどが挙げられる。

撮像デバイス９０９は、ヘッドマウントディスプレイ１００が備える撮像手段であり、撮像により撮像画像を生成する撮像部１０３として機能する。撮像デバイス９０９は、例えばＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）イメージセンサなどの撮像素子であり、受光面を構成する画素ごとに受光した光量に応じた強度の信号を出力することにより、当該受光面への入射光に応じた画像（撮像画像）を取得する。また、撮像デバイス９０９は、例えば、ＩＲ ＬＥＤなどの光源１０１からの光が照射される眼を撮像することが可能な位置に設けられる。

撮像デバイス９０９を備える場合、ヘッドマウントディスプレイ１００では、例えば、撮像デバイス９０９において撮像により生成された撮像画像に基づいて、本実施形態に係る情報処理方法に係る処理を行うことが可能となる。

撮像デバイス９０９は、例えば、レンズまたは撮像素子と信号処理回路とを含んで構成される。レンズまたは撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭｅｔａｌＯｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を複数用いたイメージセンサとで構成される。

信号処理回路は、例えば、ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路やＡＤＣ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換する。また、信号処理回路は、例えばＲＡＷ現像に係る各種処理を行う。さらに、信号処理回路は、例えば、Ｗｈｉｔｅ
Ｂａｌａｎｃｅ補正処理や、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理など各種信号処理を行ってもよい。

ＩＲ ＬＥＤ９１０は、ヘッドマウントディスプレイ１００が備える光源１０１であり、複数のＩＲ ＬＥＤで構成される。ＩＲ ＬＥＤ９１０は、例えば、光がユーザの眼に照射される位置に設けられる。当該光源１０１がＩＲ ＬＥＤ９１０のように可視光帯域以外の光を発する装置であることにより、当該光源１０１からユーザの眼球１０に向かって光が照射されたとしても、ユーザの視界が妨げられない。なお、上述したように、ヘッドマウントディスプレイ１００が備える光源１０１はＩＲ ＬＥＤに限られず、光を発する光学素子であれば各種の光学素子が適用され得る。

ヘッドマウントディスプレイ１００は、例えば図１６に示す構成によって、本実施形態に係る情報処理方法に係る処理を行う。なお、本実施形態に係るヘッドマウントディスプレイ１００のハードウェア構成は、図１６に示す構成に限られない。

例えば、ヘッドマウントディスプレイ１００は、撮像デバイス９０９とＩＲ ＬＥＤ９１０との一方または双方を備えない構成をとることが可能である。

また、ヘッドマウントディスプレイ１００は、例えば、スタンドアロンで処理を行う構成である場合には、通信インタフェース９０８を備えていなくてもよい。また、ヘッドマウントディスプレイ１００は、記録媒体９０４や、操作入力デバイス９０６、表示デバイス９０７を備えない構成をとることも可能である。

なお、本開示の一実施形態に係るヘッドマウントディスプレイ１００の構成は、図３に示す構成に限られない。

例えば、本開示の一実施形態に係るヘッドマウントディスプレイ１００の構成の一部は、外部に設けられ得る。

例えば外部装置において撮像画像情報に対する解析処理が行われ、当該外部装置の処理結果を用いて処理が行われる場合には、ヘッドマウントディスプレイ１００は、画像処理部１０４を備えていなくてもよい。

また、外部装置において光源１０１と輝点１５の対応付け処理が行われ、当該外部装置の処理結果を用いて処理が行われる場合には、ヘッドマウントディスプレイ１００は、照合部１０５を備えていなくてもよい。

また、外部装置において視線の推定処理が行われ、当該外部装置の処理結果を用いて処理が行われる場合には、ヘッドマウントディスプレイ１００は、視線推定部１０６を備えていなくてもよい。

また、外部装置において各種情報の記憶が行われ、当該外部装置に記憶された情報を用いて処理が行われる場合には、ヘッドマウントディスプレイ１００は、記憶部１０９を備えていなくてもよい。

以上、本開示の一実施形態として、ヘッドマウントディスプレイ１００を挙げて説明したが、本開示の実施形態は、かかる形態に限られない。本開示の実施形態は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やサーバなどの情報処理装置、携帯電話やスマートフォンなどの通信装置、タブレット型の装置など、画像を処理することが可能な様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、１または２以上のＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）に適用することもできる。

また、本開示は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした、１または２以上の装置からなるシステムに適用されてもよい。つまり、上述した本開示の一実施形態に係るヘッドマウントディスプレイ１００は、例えば、複数の装置からなる情報処理システムとして実現することも可能である。

＜５．補足＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、光源制御部１０２は、照度検出部１１１から提供されたヘッドマウントディスプレイ１００の使用環境の照度に関する情報である照度情報に応じて光源１０１の輝度を設定してもよい。

また、画像処理部１０４が撮像画像情報を解析することでヘッドマウントディスプレイ１００の使用環境の照度に関する情報である撮像画像照度情報を光源制御部１０２に提供する。そして、光源制御部１０２は、撮像画像照度情報に応じて光源１０１の輝度を設定してもよい。

また、光源制御部１０２は、撮像処理に関するパラメータである露光時間（シャッタースピード）、ゲイン、フレームレートに応じて光源１０１の輝度を設定してもよい。

上述のように、光源１０１の輝度が設定されることによって、輝点１５を所望の明るさで発生させることができる。したがって、輝点１５と光源１０１の対応付けの精度を向上させることができる。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
眼へ光を照射する光源を制御する光源制御部と、
前記眼を撮像するための露光を制御する露光制御部と、を備え、
前記光源制御部は、前記露光が行われない時間に前記光源の状態を点灯状態または消灯状態にする、
情報処理装置。
（２）
前記光源制御部は、時系列に連続する複数のフレームを構成する各フレームに対応する前記露光が行われない時間に前記光源の状態を点灯状態または消灯状態にする、
前記（１）に記載の情報処理装置。
（３）
前記光源制御部は、各フレームに対応する露光の終了時刻が含まれる撮像処理情報を取得した場合、前記露光の終了時刻以降に前記光源の状態を点灯状態または消灯状態にする、
前記（１）または（２）のいずれか１項に記載の情報処理装置。
（４）
前記光源制御部は、各フレームに対応する露光の終了時刻が含まれる撮像処理情報を取得できない場合、露光時間と光源の点灯または消灯時刻の対応情報である光源制御設定情報に基づいて前記光源の状態を点灯状態または消灯状態にする、
前記（１）から（３）のいずれか１項に記載の情報処理装置。
（５）
前記光源制御部は、撮像された画像の読み出しの完了通知または露光の完了通知が含まれる撮像処理情報を取得した場合、前記撮像された画像の読み出しの完了通知または露光の完了通知が取得された時刻以降に前記光源の状態を点灯状態または消灯状態にする、
前記（１）または（２）のいずれか１項に記載の情報処理装置。
（６）
前記光源制御部は、各フレームに対応する露光の開始時刻が含まれる撮像処理情報を取得した場合、前記露光の開始時刻以前に前記光源の状態を点灯状態または消灯状態にする、
前記（１）から（５）のいずれか１項に記載の情報処理装置。
（７）
前記光源制御部は、各フレームに対応する露光の開始時刻が含まれる撮像処理情報を取得できない場合、露光時間と光源の点灯または消灯時刻の対応情報である光源制御設定情報に基づいて前記光源の状態を点灯状態または消灯状態にする、
前記（１）から（６）のいずれか１項に記載の情報処理装置。
（８）
前記露光制御部はローリングシャッター方式で露光を行う、
前記（１）から（７）のいずれか１項に記載の情報処理装置。
（９）
前記露光制御部は、前記光の反射点である輝点が映ることが予測される予測輝点位置に関する情報を取得し、前記予測輝点位置に対応する撮像画像内のラインに対して前記露光が行われない時間に前記光源の状態を点灯状態または消灯状態にする、
前記（８）に記載の情報処理装置。
（１０）
前記光源が複数個存在する場合、
前記露光制御部は、光源毎に点灯状態または消灯状態にするタイミングを設定する、
前記（９）に記載の情報処理装置。
（１１）
前記予測輝点位置は、フレームレート、撮像処理中のフレームまでの撮像部の３次元位置姿勢情報、撮像処理中のフレームまでの輝点の３次元位置情報または撮像処理中のフレームまでの輝点の撮像画像内での位置情報が含まれる予測関連情報に基づいて予測される、
前記（９）または（１０）のいずれか１項に記載の情報処理装置。
（１２）
前記光源制御部は、前記予測関連情報と前記予測輝点位置に対応する撮像画像内のラインの対応情報が含まれる予測輝点位置関連情報に基づいて前記光源の状態を点灯状態または消灯状態にする、
前記（１１）に記載の情報処理装置。
（１３）
前記光を用いて眼を撮像する撮像部をさらに備える、
前記（１）から（１２）のいずれか１項に記載の情報処理装置。
（１４）
前記光源制御部は、照度検出部によって検出された照度に関する情報である照度情報、画像処理部による撮像画像の解析結果によって生成された照度に関する情報である撮像画像照度情報、または撮像処理に関するパラメータに基づいて前記光源の輝度を設定する、
前記（１）から（１３）のいずれか１項に記載の情報処理装置。
（１５）
眼へ光を照射する光源を制御することと、
前記光を用いて前記眼を撮像するための露光を制御することと、を含み、
前記露光が行われない時間に前記光源の状態を点灯状態または消灯状態にする、
情報処理装置により実行される情報処理方法。

１００ ヘッドマウントディスプレイ
１０１ 光源
１０２ 光源制御部
１０３ 撮像部
１０４ 画像処理部
１０５ 照合部
１０６ 視線推定部
１０７ 表示部
１０８ 表示制御部
１０９ 記憶部
１１０ 露光制御部
１１１ 照度検出部

Claims (15)

1. 眼へ光を照射する光源を制御する光源制御部と、
   前記眼を撮像するための露光を制御する露光制御部と、を備え、
   前記光源制御部は、前記露光が行われない時間に前記光源の状態を点灯状態または消灯状態にする、
   情報処理装置。
2. 前記光源制御部は、時系列に連続する複数のフレームを構成する各フレームに対応する前記露光が行われない時間に前記光源の状態を点灯状態または消灯状態にする、
   請求項１に記載の情報処理装置。
3. 前記光源制御部は、各フレームに対応する露光の終了時刻が含まれる撮像処理情報を取得した場合、前記露光の終了時刻以降に前記光源の状態を点灯状態または消灯状態にする、
   請求項１に記載の情報処理装置。
4. 前記光源制御部は、各フレームに対応する露光の終了時刻が含まれる撮像処理情報を取得できない場合、露光時間と光源の点灯または消灯時刻の対応情報である光源制御設定情報に基づいて前記光源の状態を点灯状態または消灯状態にする、
   請求項１に記載の情報処理装置。
5. 前記光源制御部は、撮像された画像の読み出しの完了通知または露光の完了通知が含まれる撮像処理情報を取得した場合、前記撮像された画像の読み出しの完了通知または露光の完了通知が取得された時刻以降に前記光源の状態を点灯状態または消灯状態にする、
   請求項１に記載の情報処理装置。
6. 前記光源制御部は、各フレームに対応する露光の開始時刻が含まれる撮像処理情報を取得した場合、前記露光の開始時刻以前に前記光源の状態を点灯状態または消灯状態にする、
   請求項１に記載の情報処理装置。
7. 前記光源制御部は、各フレームに対応する露光の開始時刻が含まれる撮像処理情報を取得できない場合、露光時間と光源の点灯または消灯時刻の対応情報である光源制御設定情報に基づいて前記光源の状態を点灯状態または消灯状態にする、
   請求項１に記載の情報処理装置。
8. 前記露光制御部はローリングシャッター方式で露光を行う、
   請求項１に記載の情報処理装置。
9. 前記露光制御部は、前記光の反射点である輝点が映ることが予測される予測輝点位置に関する情報を取得し、前記予測輝点位置に対応する撮像画像内のラインに対して前記露光が行われない時間に前記光源の状態を点灯状態または消灯状態にする、
   請求項８に記載の情報処理装置。
10. 前記光源が複数個存在する場合、
    前記露光制御部は、光源毎に点灯状態または消灯状態にするタイミングを設定する、
    請求項９に記載の情報処理装置。
11. 前記予測輝点位置は、フレームレート、撮像処理中のフレームまでの撮像部の３次元位置姿勢情報、撮像処理中のフレームまでの輝点の３次元位置情報または撮像処理中のフレームまでの輝点の撮像画像内での位置情報が含まれる予測関連情報に基づいて予測される、
    請求項９に記載の情報処理装置。
12. 前記光源制御部は、前記予測関連情報と前記予測輝点位置に対応する撮像画像内のラインの対応情報が含まれる予測輝点位置関連情報に基づいて前記光源の状態を点灯状態または消灯状態にする、
    請求項１１に記載の情報処理装置。
13. 前記光を用いて眼を撮像する撮像部をさらに備える、
    請求項１に記載の情報処理装置。
14. 前記光源制御部は、照度検出部によって検出された照度に関する情報である照度情報、画像処理部による撮像画像の解析結果によって生成された照度に関する情報である撮像画像照度情報、または撮像処理に関するパラメータに基づいて前記光源の輝度を設定する、
    請求項１に記載の情報処理装置。
15. 眼へ光を照射する光源を制御することと、
    前記光を用いて前記眼を撮像するための露光を制御することと、を含み、
    前記露光が行われない時間に前記光源の状態を点灯状態または消灯状態にする、
    情報処理装置により実行される情報処理方法。

Images