JP2017215928A - 視線検出システム - Google Patents

Abstract

【課題】キャリブレーション時にユーザがマーカーを視認しているかどうかを確認することができる視線検出システムを提供する。【解決手段】ユーザに装着して使用するヘッドマウントディスプレイと、ユーザの視線を検出する視線検出装置とを含む視線検出システムであって、ヘッドマウントディスプレイは、画像を表示する表示部と、ユーザの眼を撮像する撮像部と、撮像部が撮像したユーザの眼を含む画像を、視線検出装置に対して出力する画像出力部とを備え、視線検出装置は、表示部に表示させるマーカー画像を出力するマーカー画像出力部と、マーカー画像出力部が出力したマーカー画像、及び、撮像部により撮像されたマーカー画像を注視しているユーザの眼を含む画像を重畳した合成画像を作成する合成画像作成部とを備える。【選択図】図１

Description

この発明は、視線検出システムに関し、特にヘッドマウントディスプレイを用いた視線検出技術に関する。

従来、ユーザがどこを見ているかを特定するための視線検出を行う際には、キャリブレーションを行う必要があった。ここで、キャリブレーションとは、特定の指標をユーザに注視させ、その特定の指標が表示された位置と、それを注視するユーザの角膜中心との位置関係を特定することをいう。当該キャリブレーションを行うことで、視線検出を行う視線検出システムは、ユーザがどこを見ているのかを特定することができるようになる。

特許文献１には、キャリブレーションを行って視線検出を行う技術が開示されている（例えば、特許文献１参照）。

特開２０１２−２１６１２３号公報

しかしながら、上記キャリブレーションには、ユーザが特定の指標を注視していることが確定しているという条件下での事前準備になるため、ユーザが特定の指標を注視していない状態で情報を取得した場合には、実際の視線検出を正確に実行できないという問題があった。上記問題は、ユーザの眼の周りを装置で覆ってしまい内部の様子を視認できないヘッドマウントディスプレイの場合には、ユーザが実際に特定の指標を注視しているかを周囲からオペレータが確認できなかったため、殊更に顕著であった。

そこで、本発明はこのような課題に鑑みてなされたものであり、その目的は、ヘッドマウントディスプレイを装着したユーザの視線検出を実現するためのキャリブレーションを正確に実行し得る技術を提供することにある。

上記課題を解決するために、本発明のある態様は、ユーザに装着して使用するヘッドマウントディスプレイと、ユーザの視線を検出する視線検出装置とを含む視線検出システムであって、ヘッドマウントディスプレイは、画像を表示する表示部と、ユーザの眼を撮像する撮像部と、撮像部が撮像したユーザの眼を含む画像を、視線検出装置に対して出力する画像出力部とを備え、視線検出装置は、表示部に表示させるマーカー画像を出力するマーカー画像出力部と、マーカー画像出力部が出力したマーカー画像、及び、撮像部により撮像されたマーカー画像を注視しているユーザの眼を含む画像を重畳した合成画像を作成する合成画像作成部と、合成画像を出力する合成画像出力部とを備える。

また、マーカー画像出力部は、マーカー画像の表示位置を逐次変更して出力し、撮像部は、少なくとも表示位置が変更されるごとにマーカー画像を注視するユーザの眼を撮像することとしてもよい。

また、マーカー画像出力部は、マーカー画像が予め定められた複数の座標位置のうちのいずれかに、マーカー画像の表示位置を変更して出力するものであり、視線検出装置は、さらに、撮像部が撮像したユーザの眼の画像と、表示位置毎にマーカー画像を注視するユーザの眼を含む画像各々とに基づいて、ユーザの視線方向を検出する視線検出部を備えることとしてもよい。

また、判定部は、さらに、撮像部が撮像したユーザの眼の画像に基づいて、当該ユーザが表示されているマーカー画像を注視しているか否かを判定し、視線検出システムは、さらに、ユーザがマーカー画像を注視していないと判定した場合に、ユーザにマーカー画像を注視するよう報知する報知部を備えることとしてもよい。

また、判定部がユーザが表示されているマーカー画像を注視していると判定した場合に、マーカー画像出力部は、マーカー画像の表示位置を変更することとしてもよい。

また、視線検出システムは、さらに、マーカー画像を注視しているユーザの眼を含む画像が、視線検出部による視線検出用の画像として使用可能か否かを判定する判定部を備え、判定部が、視線検出用の画像として使用できないと判定した場合に、マーカー画像出力部は、当該判定に対応する画像を撮像した際に表示していたマーカー画像の表示位置を、表示部の中央寄りに変更して表示させ、撮像部は、表示位置を変更したマーカー画像を注視するユーザの眼を撮像し、判定部は、再度撮像された比較画像が視線検出用の画像として使用可能か否かを判定することとしてもよい。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ヘッドマウントディスプレイを装着したユーザの視線方向を検出する技術を提供することができる。

実施の形態に係るヘッドマウントディスプレイをユーザが装着した様子を示す外観図である。 実施の形態に係るヘッドマウントディスプレイの画像表示系の概観を模式的に示す斜視図である。 実施の形態に係るヘッドマウントディスプレイの画像表示系の光学構成を模式的に示す図である。 実施の形態に係る視線検出システムの構成を示すブロック図である。 実施の形態に係る視線方向の検出のためのキャリブレーションを説明する模式図である。 ユーザの角膜の位置座標を説明する模式図である。 （ａ）〜（ｃ）は、実施の形態に係るマーカー画像を注視しているユーザの眼のイメージ図である。 実施の形態に係る視線検出システムの動作を示すフローチャートである。 （ａ）は、修正前のマーカー画像の表示画面に対する出力位置を示すイメージ図である。（ｂ）は、マーカー画像の出力位置の補正例を示すイメージ図である。 視線検出システムの構成を示すブロック図である。 実施の形態２に係る視線検出システムの構成を示すブロック図である。 実施の形態２に係る有効視野グラフの表示例を示す図である。 実施の形態２に係る視線検出システムの動作を示すフローチャートである。 実施の形態２に係る視線検出システムの動作を示すフローチャートである。 実施の形態３に係る有効視野グラフの表示例を示す図である。 実施の形態３に係る視線検出システムの動作を示すフローチャートである。 実施の形態４に係るマーカー画像の表示例を模式的に示す図である。 実施の形態４に係る視線検出システムの動作を示すフローチャートである。 実施の形態５に係る視線検出システムの構成を示すブロック図である。 実施の形態５に係るヘッドマウントディスプレイであって、（ａ）は、駆動部の平面図である。（ｂ）は、駆動部の斜視図である。 実施の形態５に係る視線検出システムの動作を示すフローチャートである。 実施の形態５に係る視線検出システムの動作を示すフローチャートである。

＜実施の形態１＞
＜構成＞
図１は、実施の形態に係る視線検出システム１の概観を模式的に示す図である。実施の形態に係る視線検出システム１は、ヘッドマウントディスプレイ１００と視線検出装置２００とを含む。図１に示すように、ヘッドマウントディスプレイ１００は、ユーザ３００の頭部に装着して使用される。

視線検出装置２００は、ヘッドマウントディスプレイ１００を装着したユーザの右目及び左目の視線方向を検出し、ユーザの焦点、すなわち、ユーザがヘッドマウントディスプレイに表示されている三次元画像において注視している箇所を特定する。また、視線検出装置２００は、ヘッドマウントディスプレイ１００が表示する映像を生成する映像生成装置としても機能する。限定はしないが、一例として、視線検出装置２００は、据え置き型のゲーム機、携帯ゲーム機、ＰＣ、タブレット、スマートフォン、ファブレット、ビデオプレイヤ、テレビ等の映像を再生可能な装置である。視線検出装置２００は、ヘッドマウントディスプレイ１００と無線または有線で接続する。図１に示す例では、視線検出装置２００はヘッドマウントディスプレイ１００と無線で接続している。視線検出装置２００がヘッドマウントディスプレイ１００との無線接続は、例えば既知のＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信技術を用いて実現できる。限定はしないが、一例として、ヘッドマウントディスプレイ１００と視線検出装置２００との間における映像の伝送は、Ｍｉｒａｃａｓｔ（商標）やＷｉＧｉｇ（商標）、ＷＨＤＩ（商標）等の規格に則って実行される。

なお、図１は、ヘッドマウントディスプレイ１００と視線検出装置２００とが異なる装置である場合の例を示している。しかしながら、視線検出装置２００はヘッドマウントディスプレイ１００に内蔵されてもよい。

ヘッドマウントディスプレイ１００は、筐体１５０、装着具１６０、およびヘッドフォン１７０を備える。筐体１５０は、画像表示素子などユーザ３００に映像を提示するための画像表示系や、図示しないＷｉ−ＦｉモジュールやＢｌｕｅｔｏｏｔｈ（登録商標）モジュール等の無線伝送モジュールを収容する。装着具１６０は、ヘッドマウントディスプレイ１００をユーザ３００の頭部に装着する。装着具１６０は例えば、ベルトや伸縮性の帯等で実現できる。ユーザ３００が装着具１６０を用いてヘッドマウントディスプレイ１００を装着すると、筐体１５０はユーザ３００の眼を覆う位置に配置される。このため、ユーザ３００がヘッドマウントディスプレイ１００を装着すると、ユーザ３００の視界は筐体１５０によって遮られる。

ヘッドフォン１７０は、視線検出装置２００が再生する映像の音声を出力する。ヘッドフォン１７０はヘッドマウントディスプレイ１００に固定されなくてもよい。ユーザ３００は、装着具１６０を用いてヘッドマウントディスプレイ１００を装着した状態であっても、ヘッドフォン１７０を自由に着脱することができる。

図２は、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０の概観を模式的に示す斜視図である。より具体的に、図２は、実施の形態に係る筐体１５０のうち、ヘッドマウントディスプレイ１００を装着したときにユーザ３００の角膜３０２に対向する領域を示す図である。

図２に示すように、左目用凸レンズ１１４ａは、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ユーザ３００の左目の角膜３０２ａと対向する位置となるように配置される。同様に、右目用凸レンズ１１４ｂは、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ユーザ３００の右目の角膜３０２ｂと対向する位置となるように配置される。左目用凸レンズ１１４ａと右目用凸レンズ１１４ｂとは、それぞれ左目用レンズ保持部１５２ａと右目用レンズ保持部１５２ｂとに把持されている。

以下本明細書において、左目用凸レンズ１１４ａと右目用凸レンズ１１４ｂとを特に区別する場合を除いて、単に「凸レンズ１１４」と記載する。同様に、ユーザ３００の左目の角膜３０２ａとユーザ３００の右目の角膜３０２ｂとを特に区別する場合を除いて、単に「角膜３０２」と記載する。左目用レンズ保持部１５２ａと右目用レンズ保持部１５２ｂとも、特に区別する場合を除いて「レンズ保持部１５２」と記載する。

レンズ保持部１５２には、複数の赤外光源１０３が備えられている。煩雑となることを避けるために、図２においてはユーザ３００の左目の角膜３０２ａに対して赤外光を照射する赤外光源をまとめて赤外光源１０３ａで示し、ユーザ３００の右目の角膜３０２ｂに対して赤外光を照射する赤外光源をまとめて赤外光源１０３ｂで示す。以下、赤外光源１０３ａと赤外光源１０３ｂとを特に区別する場合を除いて「赤外光源１０３」と記載する。図２に示す例では、左目用レンズ保持部１５２ａには６つの赤外光源１０３ａが備えられている。同様に、右目用レンズ保持部１５２ｂにも６つの赤外光源１０３ｂが備えられている。このように、赤外光源１０３を凸レンズ１１４に直接配置せず、凸レンズ１１４を把持するレンズ保持部１５２に配置することにより、赤外光源１０３の取り付けが容易となる。一般にレンズ保持部１５２は樹脂等で構成されるため、ガラス等から構成される凸レンズ１１４よりも赤外光源１０３を取り付けるための加工が容易でからである。

上述したように、レンズ保持部１５２は凸レンズ１１４を把持する部材である。したがって、レンズ保持部１５２に備えられた赤外光源１０３は、凸レンズ１１４の周囲に配置されることになる。なお、ここでは、それぞれの眼に対して赤外光を照射する赤外光源１０３を６つとしているが、この数はこれに限定されるものではなく、それぞれの眼に対応して少なくとも１つあればよく、２以上配されているのが望ましい。

図３は、実施の形態に係る筐体１５０が収容する画像表示系１３０の光学構成を模式的に示す図であり、図２に示す筐体１５０を左目側の側面から見た場合の図である。画像表示系１３０は、赤外光源１０３、画像表示素子１０８、ホットミラー１１２、凸レンズ１１４、カメラ１１６、および第１通信部１１８を備える。

赤外光源１０３は、近赤外（７００ｎｍ〜２５００ｎｍ程度）の波長帯域の光を照射可能な光源である。近赤外光は、一般に、ユーザ３００の肉眼では観測ができない非可視光の波長帯域の光である。

画像表示素子１０８は、ユーザ３００に提示するための画像を表示する。画像表示素子１０８が表示する画像は、視線検出装置２００内の映像出力部２２２が生成する。映像出力部２２２については後述する。画像表示素子１０８は、例えば既知のＬＣＤ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic Electro Luminescence Display）を用いて実現できる。

ホットミラー１１２は、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、画像表示素子１０８とユーザ３００の角膜３０２との間に配置される。ホットミラー１１２は、画像表示素子１０８が生成する可視光は透過するが、近赤外光は反射する性質を持つ。

凸レンズ１１４は、ホットミラー１１２に対して、画像表示素子１０８の反対側に配置される。言い換えると、凸レンズ１１４は、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ホットミラー１１２とユーザ３００の角膜３０２との間に配置される。すなわち、凸レンズ１１４は、ヘッドマウントディスプレイ１００がユーザ３００に装着されたときに、ユーザ３００の角膜３０２に対向する位置に配置される。

凸レンズ１１４はホットミラー１１２を透過する画像表示光を集光する。このため、凸レンズ１１４は、画像表示素子１０８が生成する画像を拡大してユーザ３００に提示する画像拡大部として機能する。なお、説明の便宜上、図２では凸レンズ１１４をひとつのみ示しているが、凸レンズ１１４は、種々のレンズを組み合わせて構成されるレンズ群であってもよし、一方が曲率を持ち、他方が平面の片凸レンズであってもよい。

複数の赤外光源１０３は、凸レンズ１１４の周囲に配置されている。赤外光源１０３は、ユーザ３００の角膜３０２に向けて赤外光を照射する。

図示はしないが、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０は画像表示素子１０８を二つ備えており、ユーザ３００の右目に提示するための画像と左目に提示するための画像とを独立に生成することができる。このため、実施の形態に係るヘッドマウントディスプレイ１００は、ユーザ３００の右目と左目とに、それぞれ右目用の視差画像と左目用の視差画像とを提示することができる。これにより、実施の形態に係るヘッドマウントディスプレイ１００は、ユーザ３００に対して奥行き感を持った立体映像を提示することができる。

上述したように、ホットミラー１１２は、可視光を透過し、近赤外光を反射する。したがって、画像表示素子１０８が照射する画像光はホットミラー１１２を透過してユーザ３００の角膜３０２まで到達する。また赤外光源１０３から照射され、凸レンズ１１４の内部の反射領域で反射された赤外光は、ユーザ３００の角膜３０２に到達する。

ユーザ３００の角膜３０２に到達した赤外光は、ユーザ３００の角膜３０２で反射され、再び凸レンズ１１４の方向に向かう。この赤外光は凸レンズ１１４を透過し、ホットミラー１１２で反射される。カメラ１１６は可視光を遮断するフィルタを備えており、ホットミラー１１２で反射された近赤外光を撮像する。すなわち、カメラ１１６は、赤外光源１０３から照射され、ユーザ３００の眼で角膜反射された近赤外光を撮像する近赤外カメラである。

なお、図示はしないが、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０は、カメラ１１６を二つ、すなわち、右目で反射された赤外光を含む画像を撮像する第１撮像部と、左目で反射された赤外光を含む画像を撮像する第２撮像部とを備える。これにより、ユーザ３００の右目及び左目の双方の視線方向を検出するための画像を取得することができる。

第１通信部１１８は、カメラ１１６が撮像した画像を、ユーザ３００の視線方向を検出する視線検出装置２００に出力する。具体的には、第１通信部１１８は、カメラ１１６が撮像した画像を視線検出装置２００に送信する。視線方向検出部として機能する視線検出部２２１、視線検出部２２１の詳細については後述するが、視線検出装置２００のＣＰＵ（Central Processing Unit）が実行する視線検出プログラムによって実現される。なお、ヘッドマウントディスプレイ１００がＣＰＵやメモリ等の計算リソースを持っている場合には、ヘッドマウントディスプレイ１００のＣＰＵが視線方向検出部を実現するプログラムを実行してもよい。

詳細は後述するが、カメラ１１６が撮像する画像には、ユーザ３００の角膜３０２で反射された近赤外光に起因する輝点と、近赤外の波長帯域で観察されるユーザ３００の角膜３０２を含む眼の画像とが撮像されている。

以上は、実施の形態に係る画像表示系１３０のうち主にユーザ３００の左目に画像を提示するための構成について説明したが、ユーザ３００の右目に画像を提示するための構成は上記と同様である。

図４は、視線検出システム１に係るヘッドマウントディスプレイ１００と視線検出装置２００とのブロック図である。図４に示すように、また、上述したとおり、視線検出システム１は、互いに通信を実行するヘッドマウントディスプレイ１００と視線検出装置２００とを含む。

図４に示すようにヘッドマウントディスプレイ１００は、第１通信部１１８と、第１表示部１２１と、赤外光照射部１２２と、画像処理部１２３と、撮像部１２４とを備える。

第１通信部１１８は、視線検出装置２００の第２通信部２２０と通信を実行する機能を有する通信インターフェースである。上述したとおり、第１通信部１１８は、有線通信又は無線通信により第２通信部２２０と通信を実行する。使用可能な通信規格の例は上述した通りである。第１通信部１１８は、撮像部１２４または画像処理部１２３から伝送された視線検出に用いる画像データを第２通信部２２０に送信する。また、第１通信部１１８は、視線検出装置２００から送信された三次元画像データやマーカー画像を第１表示部１２１に伝達する。

第１表示部１２１は、第１通信部１１８から伝達された三次元画像データを画像表示素子１０８に表示する機能を有する。三次元画像データは、右目用視差画像と左目用視差画像とを含み、それらは視差画像対となっている。第１表示部１２１は、マーカー画像出力部２２３から出力されたマーカー画像を画像表示素子１０８の指定されている座標に表示する。

赤外光照射部１２２は、赤外光源１０３を制御し、ユーザの右目又は左目に赤外光を照射する。

画像処理部１２３は、必要に応じて、撮像部１２４が撮像した画像に画像処理を行い、第１通信部１１８に伝達する。

撮像部１２４は、カメラ１１６を用いて、それぞれの目で反射された近赤外光を含む画像を撮像する。また、撮像部１２４は、画像表示素子１０８に表示されたマーカー画像を注視するユーザの眼を含む画像を撮像する。撮像部１２４は、撮像して得た画像を、第１通信部１１８又は画像処理部１２３に伝達する。撮像部１２４は、動画を撮像することとしてもよいし、適宜適切なタイミング（例えば、近赤外光を照射しているタイミングや、マーカー画像を表示しているタイミング）で静止画を撮像することとしてもよい。

図４に示すように視線検出装置２００は、第２通信部２２０と、視線検出部２２１と、映像出力部２２２と、マーカー画像出力部２２３と、判定部２２４と、合成画像出力部２２５と、第２表示部２２６と、記憶部２２７とを備える。

第２通信部２２０は、ヘッドマウントディスプレイ１００の第１通信部１１８と通信を実行する機能を有する通信インターフェースである。上述したとおり、第２通信部２２０は、有線通信又は無線通信により第１通信部１１８と通信を実行する。第２通信部２２０は、映像出力部２２２から伝達された三次元画像データや、マーカー画像出力部２２３から伝達されたマーカー画像とその表示座標位置や、ヘッドマウントディスプレイ１００に送信する。また、ヘッドマウントディスプレイ１００から伝達された撮像部１２４により撮像されたマーカー画像を注視するユーザの眼を含む画像を判定部２２４及び合成画像出力部２２５に伝達し、映像出力部２２２が出力した三次元画像データに基づいて表示された画像を見るユーザの眼を撮像した画像を視線検出部２２１に伝達する。

視線検出部２２１は、第２通信部２２０からユーザの右目の視線検出用の画像データを受け付けて、ユーザの右目の視線方向を検出する。視線検出部２２１は、後述する手法を用いて、ユーザの右目の視線方向を示す右目視線ベクトルを算出し、及び、ユーザの左目の視線方向を示す左目視線ベクトルを算出し、ユーザが画像表示素子１０８において表示されている画像の注視している箇所を特定する。

映像出力部２２２は、ヘッドマウントディスプレイ１００の第１表示部１２１に表示させる三次元画像データを生成し、第２通信部２２０に伝達する。映像出力部２２２は、出力する三次元画像の座標系並びに当該座標系において表示されるオブジェクトの三次元の位置座標を示す情報を保持する。

マーカー画像出力部２２３は、視線検出のための事前準備であるキャリブレーションを行うための指標となるマーカー画像を生成し、その表示位置を決定する機能を有する。マーカー画像出力部２２３は、マーカー画像を生成し、当該マーカー画像を画像表示素子１０８において表示すべき表示座標位置を決定する。マーカー画像出力部２２３は、生成したマーカー画像と、その表示座標位置とを第２通信部２２０に伝達し、ヘッドマウントディスプレイ１００に送信するよう指示する。なお、本実施の形態においては、マーカー画像出力部２２３は、視線検出装置２００のオペレータからの入力指示に従って、マーカー画像の表示位置を変更する。

また、マーカー画像出力部２２３は、判定部２２４からユーザの眼を含む画像が視線検出の画像として用いることができない旨とその際のマーカー画像の表示座標位置とを伝達されると、その表示座標位置を画像表示素子１０８の中央寄りの座標位置に変更した新たな表示座標位置とマーカー画像とを第２通信部２２０に伝達し、ヘッドマウントディスプレイ１００に送信するよう指示する。

判定部２２４は、第２通信部２２０から伝達されたマーカー画像を注視するユーザの眼を含む画像に基づいて、当該画像におけるユーザの眼の画像が視線検出のための画像として利用可能であるか否かを判定する機能を有する。具体的には、判定部２２４は、第２通信部２２０から伝達されたマーカー画像を注視するユーザの眼を含む画像において、ユーザの黒目（角膜）を特定し、その中心位置を特定できるか否かによって判定する。判定部２２４は、第２通信部２２０から伝達されたマーカー画像を注視するユーザの眼を含む画像が、視線検出のための画像として用をなさない、すなわち、黒目の中心を特定できないと判定した場合には、マーカー画像出力部２２３にその旨を当該マーカー画像の表示座標位置とともに伝達する。

合成画像出力部２２５は、マーカー画像出力部２２３が出力したマーカー画像をその表示位置の左右を反転させた画像と、第２通信部２２０から伝達されたマーカー画像を注視するユーザの眼を含む撮像画像と、を合成して合成画像生成する機能を有する。合成画像出力部２２５は、生成した合成画像を第２表示部２２６に出力する。

第２表示部２２６は、画像を表示するモニタを含み、合成画像出力部２２５から伝達された合成画像を表示する機能を有する。すなわち、第２表示部２２６は、マーカー画像を注視するユーザの眼の画像と、その時の対応する位置に表示させたマーカー画像とを重畳した合成画像を表示する。

記憶部２２７は、視線検出装置２００が動作上必要とする各種プログラムやデータを記憶する記録媒体である。なお、図４においては、記憶部２２７は他の機能部との接続線を示していないが、各機能部は、適宜必要なプログラム、データを、記憶部２２７にアクセスして参照する。
次に、実施の形態に係る視線方向の検出について説明する。

図５は、実施の形態に係る視線方向の検出のためのキャリブレーションを説明する模式図である。ユーザ３００の視線方向は、カメラ１１６が撮像し第１通信部１１８が視線検出装置２００に出力した映像を、視線検出装置２００内の視線検出部２２１及び視線検出部２２１が解析することにより実現される。

マーカー画像出力部２２３は、図５に示すような点Ｑ_１〜Ｑ_９までの９つの点（マーカー画像）を生成し、ヘッドマウントディスプレイ１００の画像表示素子１０８に表示させる。視線検出装置２００は、点Ｑ_１〜点Ｑ_９に到るまで順番にユーザ３００に注視させる。このとき、ユーザ３００は首を動かさずに極力眼球の動きのみで各点を注視するように求められる。カメラ１１６は、ユーザ３００が点Ｑ_１〜Ｑ_９までの９つの点を注視しているときのユーザ３００の角膜３０２を含む画像を撮像する。

図６は、ユーザ３００の角膜３０２の位置座標を説明する模式図である。視線検出装置２００内の視線検出部２２１は、カメラ１１６が撮像した画像を解析して赤外光に由来する輝点１０５を検出する。ユーザ３００が眼球の動きのみで各点を注視しているときは、ユーザがいずれの点を注視している場合であっても、輝点１０５の位置は動かないと考えられる。そこで視線検出部２２１は、検出した輝点１０５をもとに、カメラ１１６が撮像した画像中に２次元座標系３０６を設定する。

視線検出部２２１はまた、カメラ１１６が撮像した画像を解析することにより、ユーザ３００の角膜３０２の中心Ｐを検出する。これは例えばハフ変換やエッジ抽出処理等、既知の画像処理を用いることで実現できる。これにより、視線検出部２２１は、設定した２次元座標系３０６におけるユーザ３００の角膜３０２の中心Ｐの座標を取得できる。

図５において、画像表示素子１０８が表示する表示画面に設定された２次元座標系における点Ｑ_１〜点Ｑ_９の座標をそれぞれＱ_１（ｘ_１，ｙ_１）^Ｔ，Ｑ_２（ｘ_２，ｙ_２）^Ｔ・・・，Ｑ_９（ｘ_９，ｙ_９）^Ｔとする。各座標は、例えば各点の中心に位置する画素の番号となる。また、ユーザ３００が点Ｑ_１〜点Ｑ_９を注視しているときの、ユーザ３００角膜３０２の中心Ｐを、それぞれ点Ｐ_１〜Ｐ_９とする。このとき、２次元座標系３０６における点Ｐ_１〜Ｐ_９の座標をそれぞれＰ_１（Ｘ_１，Ｙ_１）^Ｔ，Ｐ_２（Ｘ_２，Ｙ_２）^Ｔ，・・・，Ｐ_９（Ｘ_９，Ｙ_９）^Ｔとする。なお、Ｔはベクトルまたは行列の転置を表す。

いま、２×２の大きさの行列Ｍを以下の式（１）のように定義する。

このとき、行列Ｍが以下の式（２）を満たせば、行列Ｍはユーザ３００の視線方向を画像表示素子１０８が表示する画像面に射影する行列となる。
Ｑ_Ｎ＝ＭＰ_Ｎ （Ｎ＝１，・・・，９） （２）

上記式（２）を具体的に書き下すと以下の式（３）のようになる。

式（３）を変形すると以下の式（４）を得る。

ここで、

とおくと、以下の式（５）を得る。
ｙ＝Ａｘ （５）

式（５）において、ベクトルｙの要素は視線検出部２２１が画像表示素子１０８に表示させる点Ｑ_１〜Ｑ_９の座標であるため既知である。また、行列Ａの要素はユーザ３００の角膜３０２の頂点Ｐの座標であるため取得できる。したがって、視線検出部２２１は、ベクトルｙおよび行列Ａを取得することができる。なお、変換行列Ｍの要素を並べたベクトルであるベクトルｘは未知である。したがって、行列Ｍを推定する問題は、ベクトルｙと行列Ａとが既知であるとき、未知ベクトルｘを求める問題となる。

式（５）は、未知数の数（すなわちベクトルｘの要素数４）よりも式の数（すなわち、視線検出部２２１がキャリブレーション時にユーザ３００に提示した点Ｑの数）が多ければ、優決定問題となる。式（５）に示す例では、式の数は９つであるため、優決定問題である。

ベクトルｙとベクトルＡｘとの誤差ベクトルをベクトルｅとする。すなわち、ｅ＝ｙ−Ａｘである。このとき、ベクトルｅの要素の二乗和を最小にするという意味で最適なベクトルｘ_ｏｐｔは、以下の式（６）で求められる。
ｘ_ｏｐｔ＝（Ａ^ＴＡ）^−１Ａ^Ｔｙ （６）
ここで「−１」は逆行列を示す。

視線検出部２２１は、求めたベクトルｘ_ｏｐｔの要素を用いることで、式（１）の行列Ｍを構成する。これにより、視線検出部２２１は、ユーザ３００の角膜３０２の頂点Ｐの座標と行列Ｍとを用いることで、式（２）にしたがい、ユーザ３００の右目が画像表示素子１０８が表示する動画像上のどこを注視しているかを２次元の範囲で推定できる。これにより、視線検出部２２１は、画像表示素子１０８上の右目の注視点と、ユーザの右目の角膜の頂点とを結ぶ右目視線ベクトルを算出することができる。同様に、視線検出部２２１は、画像表示素子１０８上の左目の注視点と、ユーザの左目の角膜の頂点とを結ぶ左目視線ベクトルを算出することができる。

図７は、合成画像出力部２２５が出力する合成画像の例を示す図である。
図７（ａ）は、ヘッドマウントディスプレイ１００においてユーザから見て右上、すなわち、図５で言えば点Ｑ_３の位置にマーカー画像が表示されているときに、当該マーカー画像を注視するユーザの左目を撮像した画像と、その時の画面に対する相対位置に表示されたマーカー画像とを合成した合成画像の例を示す図である。なお、ユーザの眼を見ている状態において、マーカー画像の位置は、左右対称になる。

図７（ｂ）は、ヘッドマウントディスプレイ１００においてユーザから見て画面中央上部、すなわち、図５で言えば点Ｑ_２の位置にマーカー画像が表示されているときに、当該マーカー画像を注視するユーザの左目を撮像した画像と、その時の画面に対する相対位置に表示されたマーカー画像とを合成した合成画像の例を示す図である。なお、ユーザの眼を見ている状態において、マーカー画像の位置は、左右対称になる。

図７（ｃ）は、ヘッドマウントディスプレイ１００においてユーザから見て左上、すなわち、図５で言えば点Ｑ_１の位置にマーカー画像が表示されているときに、当該マーカー画像を注視するユーザの左目を撮像した画像と、その時の画面に対する相対位置に表示されたマーカー画像とを合成した合成画像の例を示す図である。

このような合成画像が第２表示部２２６に表示されることにより、視線検出システム１のオペレータは、ヘッドマウントディスプレイ１００を装着するユーザが、キャリブレーション時にマーカー画像を注視しているか否かの確認を行うことができる。なお、図７には図示していないが、このような合成画像が、図５に示す９つの点Ｑ_１〜Ｑ_９それぞれについて生成され、表示されることになる。また、図７では、ユーザの左目の例を示しているが、これは、ユーザの右目についても同様の合成画像を得ることができる。

＜動作＞
図８は、視線検出システム１のキャリブレーション時の動作を示すフローチャートである。図８を用いて、視線検出システム１の動作を説明する。

視線検出装置２００のマーカー画像出力部２２３は、表示するマーカー画像Ｑ_ｉについてｉ＝１とする（ステップＳ８０１）。

マーカー画像出力部２２３は、ｉ番目の表示座標位置にマーカー画像をヘッドマウントディスプレイ１００の画像表示素子１０８に表示させる（ステップＳ８０２）。すなわち、マーカー画像出力部２２３は、マーカー画像を生成し、その表示座標位置を決定する。例えば、ｉ＝１の場合であれば、点Ｑ_１を表示座標位置として決定する。マーカー画像出力部２２３は、第２通信部２２０に生成したマーカー画像とその表示座標位置を第２通信部２２０に伝達する。第２通信部２２０は、伝達されたマーカー画像とその表示座標位置をヘッドマウントディスプレイ１００に送信する。

ヘッドマウントディスプレイ１００の第１通信部１１８は、マーカー画像とその表示座標位置を受信すると、これを第１表示部１２１に伝達する。第１表示部１２１は、伝達されたマーカー画像を指定されている表示座標位置で、画像表示素子１０８に表示する。ユーザは、表示されたマーカー画像を注視する。撮像部１２４は、表示されたマーカー画像を注視するユーザの眼を含む画像を撮像する（ステップＳ８０３）。撮像部１２４は、撮像した画像を第１通信部１１８に伝達する。第１通信部１１８は、伝達されたマーカー画像を注視するユーザの眼を撮像した画像の画像データを視線検出装置２００に送信する。

視線検出装置２００の第２通信部２２０は、マーカー画像を注視するユーザの眼を撮像した画像の画像データを受信すると、合成画像出力部２２５に伝達する。合成画像出力部２２５は、伝達されたマーカー画像を注視するユーザの眼を撮像した画像に、その際に表示していたマーカー画像を、その表示位置の左右を反転させた位置に重畳して合成して合成画像を生成する（ステップＳ８０４）。

合成画像出力部２２５は、生成した合成画像を第２表示部２２６に伝達し、第２表示部２２６は、伝達された合成画像を表示する（ステップＳ８０５）。これにより、視線検出システム１のオペレータは、ヘッドマウントディスプレイ１００を装着したユーザがマーカー画像を注視しているか否かを確認でき、注視していなかった場合には、ユーザにマーカー画像を注視するように指示することができる。

マーカー画像出力部２２３は、ｉが９であるか否かを判定する（ステップＳ８０６）。ｉが９でない場合には、マーカー画像出力部２２３は、ｉに１加算し、ステップＳ８０２に戻る。ｉが９である場合には、判定部２２４は、撮像して得られた９枚の画像について、各々が視線検出用のデータとして用いることができるか否かを判定する（ステップＳ８０７）。すなわち、判定部２２４は、各表示座標位置で表示されたマーカー画像を注視するユーザの眼を撮像した画像各々について、ユーザの角膜中心を特定できるか否かを判定する。特定できる場合には、その座標位置を記憶部２２７に記憶し、上記行列式に用いる。特定できない場合には、判定部２２４は、マーカー画像出力部２２３に対して、ユーザの角膜中心を特定できなかったときに表示されていたマーカー画像の表示座標位置と、当該マーカー画像を注視するユーザの眼の画像からユーザの角膜中心を特定できなかったことを伝達する。

マーカー画像出力部２２３は、ユーザの角膜中心を特定できなかった画像を撮像したときのマーカー画像の表示座標位置を、画面（画像表示素子１０８）の中央寄りに修正する。そして、修正後の表示座標位置を第２通信部２２０に伝達する。第２通信部２２０は伝達された表示座標位置をヘッドマウントディスプレイ１００に送信する。第１通信部１１８は、受信した修正後の表示座標位置を第１表示部１２１に伝達する。第１表示部１２１は、伝達された修正後の表示座標位置にマーカー画像を表示し、ユーザにこれを注視させる。撮像部１２４は、修正後の表示座標位置に表示されたマーカー画像を注視するユーザの眼を撮像する（ステップＳ８０９）。撮像部１２４は、撮像した画像を第１通信部１１８に伝達し、第１通信部１１８は当該画像を視線検出装置２００に送信する。そして、ステップＳ８０８の処理に戻る。

一方、判定部２２４が、撮像した全ての画像が視線検出用のデータとして使用できると判定した場合、すなわち、全ての画像からユーザの角膜中心を特定できた場合に、上記行列ｘの要素を算出して、キャリブレーション処理を終了する。

以上が、視線検出システム１のキャリブレーション時の動作の説明である。

図９は、マーカー画像出力部２２３によるマーカー画像の表示座標位置の変更例を示すイメージ図である。図９（ａ）は、マーカー画像の画像表示素子１０８における表示位置の基本位置を示す図である。図９（ａ）には、まとめて９つのマーカー画像を示しているが、実際には、これらは１つ１つ順に画像表示素子１０８に表示される。すなわち、９枚のユーザの眼を撮像した画像が得られることになる。

このとき、一例として、図９（ａ）に示されるマーカー画像のうち、マーカー画像９０１ａ、９０２ａ、９０３ａそれぞれを図９（ａ）に示す座標表示位置に表示した際に、ユーザがそのマーカー画像を注視している画像が視線検出のために用いることができない、すなわち、判定部２２４が、ユーザの角膜中心を特定できなかったとする。すると、判定部２２４は、マーカー画像出力部２２３にその旨を伝達する。

これを受けてマーカー画像出力部２２３は、ユーザの角膜中心を特定できなかった際に表示していたマーカー画像の表示座標位置を画面中央寄りに修正する。すなわち、図９（ｂ）に示すように、マーカー画像９０１ａの表示座標位置をマーカー画像９０１ｂに示す表示座標位置に、マーカー画像９０２ａの表示座標位置をマーカー画像９０２ｂに示す表示座標位置に、マーカー画像９０３ａの表示座標位置をマーカー画像９０３ｂに示す表示座標位置に、修正する。そして、修正後の表示座標位置で各マーカー画像をヘッドマウントディスプレイ１００の画像表示素子１０８に表示させて、これを注視するユーザの眼を含む画像を撮像する。そして、判定部２２４は、再度撮像された画像においてユーザの角膜中心を特定できるか否かを判定することになる。

なお、図９（ｂ）においては、マーカー画像の表示座標位置をｘ軸方向及びｙ軸方向の両方ともを中央寄りにすることとしているが、これは、一方の軸のみについて中央寄りに修正することとしてもよい。そして、一方の軸のみについて表示位置を修正したマーカー画像をユーザに注視させて撮像した画像からユーザの角膜中心を特定できなかった場合に、更に、他方の軸についてもマーカー画像の表示座標位置を中央寄りに修正するというようにしてもよい。

＜まとめ＞
上述のように、本発明に係る視線検出システム１は、マーカー画像と、それを注視するユーザの眼を撮像した画像とを、重畳して合成画像を生成し、これを出力することで、視線検出システム１のオペレータは、キャリブレーションの際にユーザがマーカー画像を注視しているかどうかを確認することができる。また、撮像時に、ユーザの角膜が、ユーザの下瞼の影になってしまい、撮像された画像からでは、ユーザの角膜中心を特定できない場合に対応して、視線検出システム１は、マーカー画像を表示する表示座標位置を修正することで、ユーザの角膜中心を特定しやすくすることができる。

＜実施の形態２＞
上記実施の形態１においては、視線検出を行うためのキャリブレーション時に視線検出装置２００のオペレータにとって有意となる構成を示した。本実施の形態２においては、さらに、ユーザ３００の特性を取得できる構成を説明する。ヘッドマウントディスプレイ１００を装着して使用するユーザ３００は、個人差により、見え方や見える範囲が異なってくる。そのため、個々人の特性に応じた映像を提供して、ユーザビリティに富んだシステムを提供することが望まれている。本実施の形態２においては、そのような視線検出システムについて説明する。

＜構成＞
図１１は、実施の形態２に係る視線検出システムの構成を示すブロック図である。図１１に示すように、視線検出システムは、ヘッドマウントディスプレイ１００と、視線検出装置２００とを含む。図１１に示すように、ヘッドマウントディスプレイ１００は、第１通信部１１８と、第１表示部１２１と、赤外光照射部１２２と、画像処理部１２３と、撮像部１２４とを備える。また、視線検出装置２００は、第２通信部２２０と、視線検出部２２１と、映像出力部２２２と、受付部２２８と、特定部２２９と、記憶部２２７とを備える。図１１に示すヘッドマウントディスプレイ１００及び視線検出装置２００は、それぞれ、実施の形態１に示したヘッドマウントディスプレイ１００及び視線検出装置２００と同等の機能を有する。なお、図１１においては、本実施の形態２と関連しない構成については、構成を割愛している。以下においては、実施の形態１と共通する機能については、説明を割愛し、異なる機能についてのみ説明する。

映像出力部２２２は、ヘッドマウントディスプレイ１００に、有効視野特定グラフの表示画像を第２通信部２２０を介して送信し、ヘッドマウントディスプレイ１００の第１表示部１２１は、画像表示素子１０８に伝達された有効視野特定グラフを表示する。

視線検出装置２００の受付部２２８は、ヘッドマウントディスプレイ１００を装着しているユーザ３００が、画像表示素子１０８に表示された有効視野特定グラフにおいて、ユーザ３００にとってオブジェクトの見え方を示す視認情報を受け付ける。受付部は、例えば、視線検出装置２００に備えられた、あるいは、接続された入力用のインターフェースを用いて、視認情報の入力を受け付けるものであってもよいし、第２通信部２２０から通信によって受け取った視認情報を受け付けるものであってもよい。入力用のインターフェースとは、例えば、視線検出装置に備えられた入力パネルのハードキーであってもよいし、視線検出装置２００に接続されたキーボードやタッチパッドなどであってもよい。また、あるいは、受付部２２８は、ユーザ３００から発せられた音声の入力を受け付けるものであってもよく、この場合には、いわゆる音声認識処理により、音声を解析することにより、ユーザ３００からの視認情報の入力を受け付けるものであってもよい。受付部２２８は、受け付けた視認情報を特定部２２９に伝達する。

有効視野特定グラフは、ヘッドマウントディスプレイ１００を装着して使用するユーザ３００の有効視野を特定するための表示画像である。図１２に有効視野特定グラフの一例を示す。図１２は、ヘッドマウントディスプレイ１００の画像表示素子１０８に表示している状態の表示画像１２００を示している。

有効視野特定グラフは、図１２に示すように、ユーザが注視すべき注視点を示す注視点マーカー１２０２と、注視点マーカー１２０２を中心としてその周囲に複数のオブジェクトを環状に配した画像である。ここでは、複数のオブジェクトそれぞれとして、ひらがなを配した例を示しているが、これは、一例であって、その他の文字や画像であってもよい。複数のオブジェクトは、注視点マーカー１２０２（の中心）からの距離に応じたサイズの画像であり、注視点マーカー１２０２からの距離が長くなればなるほど大きくなるように設定している。即ち、オブジェクトの中心の座標と、注視点マーカーの中心の座標との間の距離をｌ、その時のオブジェクトの画像サイズをｘ×ｙとしたとき、表示するオブジェクトの中心座標と注視点マーカー１２０２の中心の座標との間の距離が２ｌの場合には、オブジェクトの画像サイズは、２ｘ×２ｙとなる。

特定部２２９は、受付部２２８から伝達された視認情報に基づいて、ユーザ３００の有効視野を特定する。

ユーザ３００は、画像表示素子１０８に表示された図１２の有効視野特定グラフの注視点マーカー１２０２を注視したままの状態で、どのオブジェクトまで、はっきりと視認できるのかを特定する。ユーザ３００が注視点マーカー１２０２を注視したままで明確に視認できるオブジェクトの情報が本実施の形態２における視認情報となる。例えば、ユーザが明確に視認できたオブジェクトで最も注視点マーカー１２０２から遠いオブジェクトが、「う、く、す、つ、ぬ、ふ、む、ゆ」であった場合には、図１２の点線で示す円１２０１が、ユーザ３００の有効視野となる。

特定部２２９は、受付部２２８から伝達された視認情報で示されるユーザ３００が視認できているオブジェクトの情報を特定する。特定部２２９は、映像出力部２２２がヘッドマウントディスプレイ１００に送信した有効視野グラフの座標系と、ヘッドマウントディスプレイ１００における表示位置とに基づいて、ユーザ３００の有効視野範囲（座標範囲）を特定する。具体的には、視認情報で示されるユーザ３００が注視点マーカーを注視したままで明確に視認できたオブジェクトの表示座標を特定する。そして、特定したオブジェクトの表示座標範囲のうち注視点マーカー１２０２から最も遠い距離にある座標までの距離を半径とする円内を、ユーザの有効視野として特定する。

映像出力部２２２は、特定部２２９が特定した有効視野と、視線検出部２２１が特定した注視点とに基づいて、高解像度映像を生成する。映像出力部２２２は、視線検出部２２１が特定した注視点を中心に、特定部２２９が特定した有効視野内の範囲に表示する映像部分の高解像度映像を生成する。また、映像出力部２２２は、画面全体分の低解像度映像を生成する。そして、生成した低解像度映像と、有効視野内の高解像度映像を、第２通信部２２０を介してヘッドマウントディスプレイ１００に送信する。なお、映像出力部２２２は、低解像度映像については、有効視野外の範囲分だけを生成することとしてもよい。

これにより、視線検出装置２００は、各ユーザの有効視野に応じた範囲の高解像度映像をヘッドマウントディスプレイ１００に送信することができる。即ち、各ユーザの視力特性に応じて高画質の画像を提供することができる。また、高解像度映像を送信する範囲をユーザの有効視野に絞ることにより、全画面分の高解像度映像を送信するよりもデータ容量を抑制することができるので、ヘッドマウントディスプレイ１００−視線検出装置２００間のデータ転送量を抑制することができる。これは、例えば、視線検出装置２００が外部の映像配信サーバから映像をもらって、ヘッドマウントディスプレイ１００に転送する場合にも同様の効果を期待できる。即ち、視線検出装置２００でユーザの視線位置と有効視野を特定し、その情報を映像配信サーバに送ることで、映像配信サーバは、指定された範囲内の高解像度映像と、全画面分の低解像度映像を送信することにより、映像配信サーバから視線検出装置２００へのデータ転送量を抑制することができる。

＜動作＞
図１３は、視線検出装置２００によるユーザの有効視野を特定する際の動作を示すフローチャートである。

視線検出装置２００は、実施の形態１に示したキャリブレーションを行った後に、映像出力部２２２は、記憶部２２７から、有効視野特定グラフを読み出す。そして、読み出した有効視野特定グラフを、表示命令と共に第２通信部２２０を介してヘッドマウントディスプレイ１００に送信する（ステップＳ１３０１）。これにより、ヘッドマウントディスプレイ１００の第１表示部１２１は、第１通信部１１８を介して有効視野特定グラフを受信し、画像表示素子１０８に表示する。ユーザ３００は、表示された有効視野特定グラフの注視点マーカーを注視した状態で、その周囲に表示されているオブジェクトのうち、明確に視認できるオブジェクトを特定する。

続いて、視線検出装置２００の受付部２２８は、ユーザ３００が表示された有効視野特定グラフのうちで、ユーザ３００が注視点マーカーを注視したまま視認できたオブジェクトの情報である視認情報を受け付ける（ステップＳ１３０２）。これは、ユーザ３００が直接入力することとしてもよいし、ユーザ３００から視線検出装置２００のオペレータが視認できたオブジェクトの情報を伝達されて入力することとしてもよいし、あるいは、各オブジェクトを順番に点滅させてユーザ３００がその点滅させたオブジェクトを注視している状態で明確に視認できていたかどうかを点滅時の簡単なボタンの押下等で入力を受け付けて、受付部２２８に入力される形態をとることとしてもよい。受付部２２８は、ユーザ３００の視認情報を受け付けると、受け付けた視認情報を特定部２２９に伝達する。

特定部２２９は、受付部２２８からユーザ３００の視認情報を受け付けると、ユーザ３００の有効視野を特定する。ユーザの有効視野の特定手法は、上述した通りである。特定部２２９は、特定したユーザの有効視野情報（ユーザ３００の注視点を中心とする座標範囲を示す情報）を生成し、記憶部２２７に記憶して（ステップＳ１３０３）、処理を終了する。

以上の処理により、視線検出装置２００は、ヘッドマウントディスプレイ１００を装着したユーザ３００の有効視野を特定する。

次に、特定した有効視野の利用方法について説明する。図１４は、視線検出装置２００により特定されたユーザの有効視野に基づいて、ヘッドマウントディスプレイ１００に表示させる画像を生成する際の動作を示すフローチャートである。図１４に示す動作は、視線検出装置２００からヘッドマウントディスプレイ１００に表示すべき映像を送信しているときの動作である。

映像出力部２２２は、ヘッドマウントディスプレイ１００の画像表示素子１０８に表示する映像であって、低解像度の映像を生成する。そして、映像出力部２２２は、第２通信部２２０を介して、生成した低解像度映像をヘッドマウントディスプレイ１００に送信する（ステップＳ１４０１）。

視線検出装置２００の第２通信部２２０は、ヘッドマウントディスプレイ１００から、画像表示素子１０８に表示されている映像を見ているユーザの眼を撮像した撮像画像を受信する。第２通信部２２０は、受信した撮像画像を視線検出部２２１に伝達する。そして、視線検出部２２１は、実施の形態１に示したようにして、ユーザ３００の注視位置を特定する（ステップＳ１４０２）。視線検出部２２１は、特定した注視位置を映像出力部２２２に伝達する。

映像出力部２２２は、視線検出部２２１からユーザ３００の注視位置を伝達されると、記憶部２２７から、特定部２２９が特定したユーザ３００の有効視野を示す有効視野情報を読み出す。そして、伝達された注視位置を中心とし、有効視野情報で示される有効視野の範囲までの高解像度の映像を生成する（ステップＳ１４０３）。

映像出力部２２２は、生成した高解像度の映像を、第２通信部２２０を介してヘッドマウントディスプレイ１００に送信する（ステップＳ１４０４）。

視線検出装置２００は、映像出力部２２２が出力する映像が終了したか（最後のフレームに到達したか）否か、または、ユーザ３００あるいは視線検出装置２００のオペレータから映像の再生終了の入力を受けたか否かを判定する（ステップＳ１４０５）。映像が終了しておらず、かつ、ユーザ３００またはオペレータからも再生終了入力を受け付けていない場合には（ステップＳ１４０５のＮＯ）、ステップＳ１４０１に戻る。映像が終了しているか、ユーザ３００またはオペレータから再生終了入力を受け付けていた場合には（ステップＳ１４０５のＹＥＳ）、処理を終了する。

これによって、視線検出装置２００は、ヘッドマウントディスプレイ１００に、低解像度の映像を始終送信し続けることにより、映像を途切れることなく提供することができるとともに、ユーザの注視点を中心とした高解像度の画像も送信するので、画質の良い映像をユーザに提供できる。また、視線検出装置２００は、ヘッドマウントディスプレイ１００に、ユーザ３００の有効視野内には高解像度の映像を提供し、有効視野外には低解像度の映像を提供するという構成を有するので、視線検出装置２００からヘッドマウントディスプレイ１００に送信する高解像度の映像を必要最小限とすることで、視線検出装置２００からヘッドマウントディスプレイ１００に送信するデータ転送量を抑制することができる。

＜実施の形態３＞
上記実施の形態２においては、注視点マーカーを中心として注視点マーカーからの距離に応じて複数のオブジェクトの視認の程度に応じて、ユーザ３００の有効視野を特定する手法について説明した。本実施の形態３においては、実施の形態２とは異なった形態でのユーザ３００の有効視野の特定方法について説明する。本実施の形態３においては、実施の形態２と異なる点についてのみ説明する。

図１５は、実施の形態３に係る有効視野グラフをヘッドマウントディスプレイ１００の画像表示素子１０８に表示している状態を示している。

映像出力部２２２は、図１５に示す有効視野グラフの各円を所定の周期で明滅させる。即ち、表示した状態からだんだんと消去するようにし、消去した状態から表示するということを所定の周期で繰り返す。ユーザ３００がその状態を視認したとき、ヘッドマウントディスプレイ１００のシステム上では全ての円は同時に表示し、同時に消去するようにしていても、人間の個人差により、同時に表示し、同時に消去するように見えているとは限らない。本実施の形態３においては、ユーザ各々で異なる同心円の見え方に応じて、その有効視野を特定する。

＜構成＞
実施の形態３に係る視線検出システムの構成は、実施の形態２に示した視線検出システムの構成と同様である。

その相違点は、映像出力部２２２が、図１２に示した有効視野グラフを表示していたのに対し、本実施の形態３においては、図１５に示す有効視野グラフを明滅するように表示することにある。図１５に示す有効視野グラフは、注視点マーカーの中心を中心とする複数の同心円が等間隔で表示された画像である。各同心円は均等間隔で、かつ、同じ線幅となっている。映像出力部２２２は、この同心円を所定の周期で明滅するように表示する。そして、この所定の周期を少しずつ変更しながら表示する。

受付部２２８は、視認情報として、ユーザが図１５に示す複数の同心円全てが同時に現れ、全てが同時に消滅したと感じたときの周期の情報を特定可能な情報を受け付ける。

特定部２２９は、受付部２２８から伝達された視認情報で示される周期に基づいて、ヘッドマウントディスプレイ１００の有効視野を特定する。特定部２２９は、記憶部２２７に予め記憶されている、周期と有効視野の関係を示す有効視野算出関数に基づいて、ユーザ３００の有効視野（注視点からの有効視野距離）を特定する。ここで、有効視野算出関数は、周期が短いほどユーザ３００の有効視野が広く（有効視野距離が長く）、長いほどユーザ３００の有効視野が狭くなる（有効視野が短く）なる関数である。即ち、有効視野の狭いユーザの場合、表示と非表示との切り替わりの周期が遅くてもその変化が同時に起こると感じる。つまり、このようなユーザは一般的に画像の変化に鈍感であると推定できる。有効視野の広いユーザの場合、表示と非表示との間の周期が遅いとその変化に気づきやすい。つまり、このようなユーザは一般的に画像の変化に鋭敏であると推定できる。

＜動作＞
図１６は、実施の形態３に係る視線検出装置２００によるユーザ３００の視野を特定するための動作を示すフローチャートである。

図１６に示すように、映像出力部２２２は、複数の同心円を所定の周期で明滅するように表示する（ステップＳ１６０１）。即ち、図１５に示す有効視野グラフにおいて、各円を同時かつ所定の周期で表示から消滅、消滅から表示を繰り返すようにして表示する。所定の周期は、初期値が与えられ、映像出力部２２２は、この所定の周期を徐々に変更する。

ユーザ３００は、所定の周期を変更しながらの、同心円群の表示から消滅、消滅から再表示の繰り返し過程において、全ての同心円が同時に表示され、同時に消滅するタイミングを視認情報として入力する（ステップＳ１６０２）。受付部２２８は、このタイミングを受け付けて、その時の映像出力部２２２が同心円群の表示／非表示を繰り返している所定の周期を、特定部２２９に伝達する。

特定部２２９は、伝達された所定の周期から、記憶部２２７に記憶している有効視野関数を用いて、ユーザ３００の有効視野を特定する（ステップＳ１６０３）。

このような構成によっても、視線検出装置２００は、ユーザ３００の有効視野を特定することができ、実施の形態２に示した効果と同等の効果を奏することができる。

＜実施の形態４＞
本実施の形態４においては、実施の形態１とは、異なるマーカー画像の表示方法、ならびに、その際の視線検出方法を説明する。

上記実施の形態１においては、９つのマーカー画像を順番に表示して、それを注視するユーザの眼を撮像するキャリブレーションを行う例を示したが、本実施の形態４においては、１つのマーカー画像のみでキャリブレーションを行う例について説明する。

＜構成＞
本実施の形態に係る視線検出システムの基本的構成は、実施の形態１に示した構成と変わらない。そのため、図４に示すブロック図と同様の構成を有する。以下では、実施の形態１からの変更点について述べる。

実施の形態４における映像出力部２２２は、キャリブレーション時にヘッドマウントディスプレイ１００に全周囲映像を送信する。このとき、この全周囲映像（又はある程度広範囲、即ち、画像表示素子１０８の表示範囲よりも広い映像）は少なくとも１つのマーカー画像を含む。即ち、ヘッドマウントディスプレイ１００の第１表示部１２１は、ワールド座標系の予め定めた座標にマーカー画像を表示する。ワールド座標とは、画像を三次元表示する際の空間全体を表す座標系のことをいう。また、全周囲映像とは、基本的には、ワールド座標系で表示する３６０度映像のことをいう。ヘッドマウントディスプレイ１００は、加速度センサを備えることにより、ユーザがどの向きを向いているかを特定することができるので、映像出力部２２２は、ヘッドマウントディスプレイ１００から加速度センサの情報を受け取ることにより、どの範囲の映像を転送するのかを決定して、映像データを転送する。

ユーザ３００は、ヘッドマウントディスプレイ１００を装着した状態で、自身の頭を動かすことで、マーカー画像をヘッドマウントディスプレイ１００の表示範囲内に含まれるように表示し、その時にマーカー画像を少なくとも２つの異なる方向から注視する。ヘッドマウントディスプレイ１００のカメラ１１６は、その際のユーザの眼を撮像し、キャリブレーション用の画像として取得する。即ち、本実施の形態１では、ユーザの眼とマーカー画像との間の異なる位置関係になるように、９つの位置にマーカー画像を表示してユーザに注視させたのに対し、本実施の形態４では、表示するマーカー画像は１つであるものの、これをユーザがいろいろな角度から見ることで、複数のキャリブレーション用の画像を取得することができる。

図１７（ａ）、（ｂ）は、全周囲映像と、ヘッドマウントディスプレイ１００に表示される表示画面との対応関係を模式的に示す図である。図１７（ａ）、（ｂ）には、ユーザ３００がヘッドマウントディスプレイ１００を装着している状態を示しており、その際に視線検出装置２００から送信される全周囲映像１７０１に対して、ヘッドマウントディスプレイ１００の画像表示素子１０８上に表示される表示範囲１７０２と、全周囲映像１７０１中のマーカー画像１７０３とを模式的に示した図である。図１７（ａ）、（ｂ）に示した全周囲映像１７０１や表示範囲１７０２、マーカー画像１７０３は仮想上のものであり、実際に図１７（ａ）、（ｂ）のように現出しているものではないことに注意されたい。マーカー画像１７０３のワールド座標における位置は固定である。一方、画像表示素子１０８上に表示される際には、ユーザ３００の顔の向きに応じて、表示位置が異なってくる。なお、マーカー画像１７０３は、目印であり、その形状は、円形に限定されるものではないことは言うまでもない。

図１７（ａ）は、ヘッドマウントディスプレイ１００の表示画像素子の表示範囲１７０２内にマーカー画像１７０３が含まれていない状態を示しており、図１７（ｂ）は、表示範囲１７０２内にマーカー画像１７０３が含まれている状態を示している。図１７（ｂ）の状態において、ヘッドマウントディスプレイ１００のカメラ１１６は、近赤外光を光源としたユーザの眼を撮像する。また、ユーザ３００は、自身の頭を動かして、表示範囲１７０２を動かして、表示範囲１７０２内で図１７（ｂ）に示す位置とは別の位置にマーカー画像１７０３が現れるようにし、そのときのマーカー画像を注視する。そして、ヘッドマウントディスプレイ１００のカメラ１１６は、同様にユーザの眼を撮像する。本実施の形態４においては、このようにして、複数のキャリブレーション用の画像を得ることができ、実施の形態１に示した各数式を用いて、ユーザの注視点を特定することができるようになる。

このため、本実施の形態４に係るマーカー画像出力部２２３は、ワールド座標系におけるマーカー画像の表示位置を決定する機能を有する。

＜動作＞
実施の形態４に係る視線検出システムの動作を図１８のフローチャートを用いて説明する。

図１８に示すように、マーカー画像出力部２２３は、ワールド座標系におけるマーカー画像の表示座標を決定する（ステップＳ１８０１）。

視線検出装置２００の映像出力部２２２は、第２通信部２２０を介して画像表示素子１０８に表示すべき映像を送信する。また、マーカー画像出力部２２３も同様に、マーカー画像をその表示座標と共に、ヘッドマウントディスプレイ１００に送信する。ヘッドマウントディスプレイ１００の第１表示部１２１は、ヘッドマウントディスプレイ１００に搭載されている加速度センサの値から、ヘッドマウントディスプレイ１００のワールド座標系に対する向きを検出し、その方向の画像であって、画像表示素子１０８に表示される範囲内に、マーカー画像が含まれるか否かを判定する（ステップＳ１８０２）。

表示範囲内にマーカー画像が含まれる場合に（ステップＳ１８０２のＹＥＳ）、第１表示部１２１は、画像表示素子１０８上の対応する位置に、マーカー画像を表示する（ステップＳ１８０３）。表示範囲内にマーカー画像が含まれていない場合に（ステップＳ１８０３のＮＯ）、ステップＳ１８０５の処理に移行する。

カメラ１１６は、画像表示素子１０８に表示されているマーカー画像を注視するユーザ３００の眼を、非可視光を光源として撮像する（ステップＳ１８０４）。ヘッドマウントディスプレイ１００は、撮像した画像を視線検出装置２００に送信し、視線検出装置２００は、当該撮像画像をキャリブレーション用の画像として、記憶部２２７に記憶する。

視線検出装置２００の視線検出部２２１は、キャリブレーションのために必要とする撮像画像が所定枚数（例えば、９枚であるがこれに限定されるものではない）に達したか否かを判定する（ステップＳ１８０５）。所定枚数に達している場合に（ステップＳ１８０５のＹＥＳ）、キャリブレーションの処理を終える。一方、所定枚数に達していない場合に（ステップＳ１８０５のＮＯ）、ステップＳ１８０２の処理に戻る。

このようにしても、実施の形態１と同様に、視線検出のためのキャリブレーションを行うことができる。なお、実施の形態４におけるキャリブレーションは、例えば、映像と映像の間の途切れ目において、次の映像のローディング中に行ってもよいし、あるいは、一般的にゲームのロード画面において行うこととしてもよい。また、その場合に、マーカー画像を動かして、ユーザにその動いているマーカー画像に目線をやるように工夫してもよい。その場合に、マーカー画像は、見ている映像や実行するゲーム等に登場するキャラクターの画像であるとしてもよい。

＜補足１＞
本発明に係る視線検出システムは、以下のように構成することとしてもよい。

（ａ）ユーザの頭部に装着して使用する映像表示装置を含み、前記ユーザに提示する画像を表示する表示画面と、前記表示画面の所定の表示位置を中心に環状に広がるように、オブジェクトを前記表示画面に表示する表示部と、前記ユーザが前記所定の表示位置を注視した状態において、前記ユーザにおける前記オブジェクトの見え方を示す視認情報を受け付ける受付部と、前記視認情報に基づいて、前記ユーザの有効視野を特定する特定部を備える視線検出システムであるとしてもよい。
（ｂ）また、上記（ａ）に記載の視線検出システムにおいて、前記表示部は、前記所定の表示位置を中心に、当該所定の表示位置からの距離に応じた大きさのオブジェクトを表示し、前記視認情報は、前記ユーザが前記所定の表示位置を注視した状態で、前記オブジェクトを前記ユーザが鮮明に視認可能な範囲を示す情報であることを特徴とすることとしてもよい。
（ｃ）また、上記（ａ）に記載の視線検出システムにおいて、前記表示部は、前記所定の表示位置を中心とする複数の円を一定距離間隔で、かつ、所定の周期で明滅するように表示し、前記視認情報は、前記ユーザが前記所定の表示位置を注視した状態で、前記明滅する複数の円が同時に表示又は消滅すると前記ユーザが認識可能な前記所定の周期を特定可能な情報であることを特徴とすることとしてもよい。
（ｄ）また、上記（ａ）〜（ｃ）のいずれかに記載の視線検出システムにおいて、前記視線検出システムは、さらに、前記ユーザが前記表示画面に表示された画像を視認するときの注視位置を検出する視線検出部を備え、前記表示部は、前記注視位置を中心に、前記特定部が特定した有効視野内に高解像度の画像を表示し、前記有効視野該に低解像度の画像を表示することを特徴とすることとしてもよい。
（ｅ）また、上記（ｄ）に記載の視線検出システムにおいて、前記映像表示装置は、ヘッドマウントディスプレイであり、前記視線検出システムは、さらに、前記ヘッドマウントディスプレイに設けられた前記表示画面に表示する画像を生成して、前記ヘッドマウントディスプレイに転送するものであって、前記注視位置を中心に、前記特定部が特定した有効視野内に表示する高解像度の画像を生成して転送し、少なくとも前記有効視野外に表示する低解像度の画像を生成して転送する映像生成部を備えることとしてもよい。
（ｆ）また、上記（ｅ）に記載の視線検出システムにおいて、前記映像生成部は、前記有効視野の位置に関わらず表示画像全体の低解像度画像を生成して転送することとしてもよい。
（ｇ）また、視線検出システムは、ユーザの頭部に装着して使用する映像表示装置を含み、前記ユーザに提示する画像を表示する表示画面と、ワールド座標系上の特定の座標位置に配されたマーカー画像を、前記表示画面の表示座標系内に前記特定の座標位置が含まれる場合に表示する表示部と、前記表示画面に前記マーカー画像が表示されている場合に、前記マーカー画像を注視している状態の前記ユーザの眼を撮像する撮像部と、前記撮像部が撮像した少なくとも２枚の異なる撮像画像に基づいて、前記表示画面におけるユーザの注視位置を検出する視線検出部とを備える。
（ｈ）また、本発明に係る有効視野特定方法は、ユーザの頭部に装着して使用し、前記ユーザに提示する画像を表示する表示画面を有する映像表示装置を含む視線検出システムにおける前記ユーザの有効視野特定方法であって、前記表示画面の所定の表示位置を中心に環状に広がるように、オブジェクトを前記表示画面に表示する表示ステップと、前記ユーザが前記所定の表示位置を注視した状態において、前記ユーザにおける前記オブジェクトの見え方を示す視認情報を受け付ける受付ステップと、前記視認情報に基づいて、前記ユーザの有効視野を特定する特定ステップとを含む。
（ｉ）また、本発明に係る視線検出方法は、ユーザの頭部に装着して使用し、前記ユーザに提示する画像を表示する表示画面を有する映像表示装置を含む視線検出システムにおける視線検出方法であって、ワールド座標系上の特定の座標位置に配されたマーカー画像を、前記表示画面の表示座標系内に前記特定の座標位置が含まれる場合に前記表示画面に表示する表示ステップと、前記表示画面に前記マーカー画像が表示されている場合に、前記マーカー画像を注視している状態の前記ユーザの眼を撮像する撮像ステップと、前記撮像ステップにおいて撮像した少なくとも２枚の異なる撮像画像に基づいて、前記表示画面におけるユーザの注視位置を検出する視線検出ステップとを含む。
（ｊ）また、本発明に係る有効視野特定プログラムは、ユーザの頭部に装着して使用しユーザに提示する画像を表示する表示画面を有する映像表示装置を含む視線検出システムに含まれるコンピュータに、前記表示画面の所定の表示位置を中心に環状に広がるように、オブジェクトを前記表示画面に表示する表示機能と、前記ユーザが前記所定の表示位置を注視した状態において、前記ユーザにおける前記オブジェクトの見え方を示す視認情報を受け付ける受付機能と、前記視認情報に基づいて、前記ユーザの有効視野を特定する特定機能とを実現させる。
（ｋ）また、本発明に係る視線検出プログラムは、ユーザの頭部に装着して使用しユーザに提示する画像を表示する表示画面を有する映像表示装置を含む視線検出システムに含まれるコンピュータに、ワールド座標系上の特定の座標位置に配されたマーカー画像を、前記表示画面の表示座標系内に前記特定の座標位置が含まれる場合に前記表示画面に表示する表示機能と、前記表示画面に前記マーカー画像が表示されている場合に、前記マーカー画像を注視している状態の前記ユーザの眼を撮像する撮像機能と、前記撮像機能において撮像した少なくとも２枚の異なる撮像画像に基づいて、前記表示画面におけるユーザの注視位置を検出する視線検出機能とを実現させる。

＜実施の形態５＞
上記実施の形態においては、キャリブレーションに係る各種の手法について説明したが、本実施の形態においては、更に、ユーザの疲労を軽減するための手法を説明する。そこで、まず、この疲労について説明する。

ヘッドマウントディスプレイでは、三次元画像を表示することがある。ところで、三次元画像を視聴しているとユーザは疲労を覚えることがあるという問題がある。三次元画像を表示すると、ユーザからは、実際のモニター位置よりも表示物が浮き出て見えるようになる。そのため、ユーザの眼球はその表示物の表示位置（深度）にピントを合わせようとする。しかし、実際には、モニターの位置は、その表示物の表示位置よりも奥にあるため、眼球がそこに実際のモニターがあることに気づき、その位置にピントを再度合わせようとする。三次元画像を見る際には、この眼球の自動的なピント合わせが交互に発生するため、ユーザは疲労を覚えることとなる。

そのため、本実施の形態５においては、立体視を行う際のユーザの疲労を軽減し得る視線検出システムを開示する。

＜構成＞
図１９は、視線検出システム１に係るヘッドマウントディスプレイ１００と視線検出装置２００とのブロック図である。視線検出システムは本実施の形態においては、立体映像表示システムと呼称されてもよい。図１９に示すように、また、上述したとおり、視線検出システム１は、互いに通信を実行するヘッドマウントディスプレイ１００と視線検出装置２００とを含む。ここでは、上記実施の形態と異なる構成について説明する。

図１９に示すようにヘッドマウントディスプレイ１００は、第１通信部１１８と、表示部１２１と、赤外光照射部１２２と、画像処理部１２３と、撮像部１２４と、駆動部１２５と、駆動制御部１２６とを備える。

第１通信部１１８は、上記実施の形態に示した各種機能の他、三次元画像データを駆動制御部１２６に伝達する。この三次元画像データには、表示されるオブジェクトの表示深度を示す情報が含まれる。ここで、表示深度とは、ユーザの眼から、立体視によりオブジェクトが疑似的に表示される表示位置までの距離とする。また、三次元画像データは、右目用視差画像と左目用視差画像とを含み、それらは視差画像対となっている。

駆動部１２５は、駆動制御部１２６から伝達される制御信号に従って、画像表示素子１０８を、ユーザの眼との間の相対距離が変動するように移動させるためのモーターを駆動する機能を有する。

駆動制御部１２６は、第１通信部１１８から伝達された映像データを利用して、表示されるオブジェクトの表示深度に応じて画像表示素子１０８を移動させるための制御信号を生成し、駆動部１２５に伝達する機能を有する。駆動制御部１２６は、制御信号を生成する手法として以下の駆動例に従って制御信号を生成する。

＜駆動例１＞表示される表示オブジェクトの表示深度と、画像表示素子１０８の深度との間の差分が所定の閾値以上であれば、画像表示素子１０８の深度を表示深度に近づける制御信号を生成する。なお、ここでは、所定の閾値以上であればとしているが、この比較をすることなく、画像表示素子１０８の深度をオブジェクトの表示深度に近づける制御信号を生成することとしてもよい。

＜駆動例２＞第１時間で表示される表示オブジェクトの第１表示深度と、第２時間で表示される表示オブジェクトの第２表示深度とを比較し、第２表示深度が第１表示深度よりも大きければ、第２時間で表示される表示オブジェクトは第１時間で表示される表示オブジェクトよりユーザ３００から見て奥側に表示されることになる。

駆動部の動作の更なる詳細については後述する。

図２０は、画像表示素子１０８、すなわち、モニターを移動させる機構の一例を示す図である。図２０（ａ）は、ヘッドマウントディスプレイ１００の画像表示素子１０８の駆動部を示す平面図であり、ヘッドマウントディスプレイ１００内部の機構を示す図である。図２０（ｂ）は、図２０（ａ）の矢印７１１で示される方向で、当該駆動部を斜め下から見た斜視図である。

図２０（ａ）、（ｂ）に示すように、画像表示素子１０８は、その端部（図面では右側）が支柱７０１に接続され、支柱７０１はレール７０２に端部が滑動自在に固定されている。画像表示素子１０８の端部には、櫛歯が設けられ、ベルトレーン７０３の歯と嵌合する。ベルトレーン７０３の表面には、図２０に示すように歯が設けられており、モーター７０４が回動することにより、この歯も移動する。したがって、画像表示素子１０８も矢印７１０に示す方向で、移動する。モーター７０４が、右回転すれば画像表示素子１０８は、ユーザ３００の眼から遠ざかる方向に移動し、左回転すれば画像表示素子１０８は、ユーザ３００の眼に近づく方向に移動する。ここで、モーター７０４は、駆動制御部１２６からの制御に従って駆動部１２５により回動する。一例として、このような構造を有することにより、ヘッドマウントディスプレイ１００の画像表示素子１０８は、ユーザ３００の眼との相対距離が変動するように移動することができる。なお、この画像表示素子１０８を移動させる手法は一例にすぎず、その他の手法を用いて実現してもよいことは言うまでもない。

＜動作＞
以下、ヘッドマウントディスプレイ１００において画像表示素子１０８を移動させる駆動方法について説明する。

＜駆動例１＞
図２１は、実施の形態に係るヘッドマウントディスプレイ１００の動作を示すフローチャートである。

視線検出装置２００の映像出力部２２２は、画像表示素子１０８に表示する立体映像の映像データを第２通信部２２０に伝達する。第２通信部２２０は伝達された映像データをヘッドマウントディスプレイ１００に送信する。

第１通信部１１８は、映像データを受信すると、駆動制御部１２６に伝達する。駆動制御部１２６は、伝達された映像データから表示オブジェクトの表示深度情報を抽出する（ステップＳ２１０１）。

駆動制御部１２６は、抽出した表示深度情報で示される表示深度と、画像表示素子１０８の位置から定まる深度との間の距離が所定の閾値以上であるか否かを判定する（ステップＳ２１０２）。すなわち、駆動制御部１２６は、表示オブジェクトと画像表示素子１０８との間の距離が一定以上離れているか否かを判定する。駆動制御部１２６は、表示深度と画像表示素子１０８との間の距離が所定の閾値以上であると判定した場合には（ステップＳ２１０２のＹＥＳ）、ステップＳ２１０３に移行し、所定の閾値未満であると判定した場合には（ステップＳ２１０２のＮＯ）、ステップＳ２１０４に移行する。

駆動制御部１２６は、抽出した表示深度情報から表示オブジェクトがユーザの眼に映る表示深度を特定する。そして、特定した表示深度に近づける方向に、モニター、すなわち、画像表示素子１０８を移動させる制御信号を生成し、駆動部１２５に伝達する。駆動部１２５は伝達された制御信号に基づいて、モーター７０４を駆動し、画像表示素子１０８を移動させる（ステップＳ２１０３）。駆動部１２５は、画像表示素子１０８を移動させたことを表示部１２１に伝達する。

表示部１２１は、駆動部１２５から画像表示素子１０８を移動させた旨を伝達されると、対応する映像を画像表示素子１０８に表示させる（ステップＳ２１０４）。

図２１に示す処理を繰り返すことにより、都度、画像表示素子１０８を表示するオブジェクトの表示深度に応じて、移動させることができる。つまり、オブジェクトの表示深度と画像表示素子１０８の位置との差を少なくすることができる。したがって、ユーザ３００の眼球運動によりピント調整の発生を抑制することができるので、ユーザ３００に与える疲労感を抑制することができる。

＜駆動例２＞
図２２は、実施の形態に係るヘッドマウントディスプレイ１００の動作の詳細を示すフローチャートである。ここでは、駆動制御部１２６が、動画である映像データを伝達された段階から説明する。

駆動制御部１２６は、映像データのうち第１時間に表示する表示オブジェクトの表示深度情報（以下、第１表示深度情報）を映像データから抽出する（ステップＳ２２０１）。

次に、駆動制御部１２６は、映像データのうち第１時間に続く第２時間に表示する表示オブジェクトの表示深度情報（以下、第２表示深度情報）を映像データから抽出する（ステップＳ２２０２）。なお、ここで、第２時間は、第１時間の直後（１フレーム後ろ）である必要はなく、一定時間（例えば、１ｓｅｃ）後でもよい。

駆動制御部１２６は、第２表示深度情報で示される第２表示深度が、第１表示深度情報で示される第１表示深度よりも大きい（深い）か否かを判定する（ステップＳ２２０３）。これは第２時間に表示されるオブジェクトが、第１時間に表示されている場合よりも、ユーザにとって、奥側に表示されて見えるのかを判定することと同義である。

第２表示深度が第１表示深度よりも大きい場合に（ステップＳ２２０３のＹＥＳ）、駆動制御部１２６は、画像表示素子１０８、すなわち、モニターをユーザの眼から遠ざける方向に移動させるよう駆動部１２５に制御信号を伝達する。駆動部１２５は、当該制御信号に従って、ユーザの眼から画像表示素子１０８を遠ざける方向に移動させる（ステップＳ２２０４）。

第２表示深度が第１表示深度よりも小さい場合に（ステップＳ２２０３のＮＯ）、駆動制御部１２６は、画像表示素子１０８、すなわち、モニターをユーザの眼に近づける方向に移動させるよう駆動部１２５に制御信号を伝達する。駆動部１２５は、当該制御信号に従って、ユーザの眼に近づける画像表示素子を近づける方向に移動させる（ステップＳ２２０６）。

駆動部１２５は、画像表示素子１０８を移動させると、画像表示素子１０８を移動させた旨を表示部１２１に伝達する。そして、表示部１２１は、画像表示素子１０８に第２時間に表示すべき映像を表示する（ステップＳ２２０５）。

ヘッドマウントディスプレイ１００は、視線検出装置２００の映像出力部２２２から出力される映像データを全て表示し終える（又はユーザにより映像の再生を中断される）まで、図２２に示す処理を繰り返す。

これにより、連続して画像を表示する動画などの場合のオブジェクトの表示深度と画像表示素子１０８との間の距離が変動すればユーザ３００のピント調整機能が発生しやすくなるものの、図２２に示す処理により、この発生頻度を抑制することができる。

＜まとめ＞
上述のように、本発明に係る視線検出システム１は、表示する立体映像におけるオブジェクトの表示深度に応じて、画像表示素子１０８、すなわち、モニターそのものを移動させることができる。具体的には、画像表示素子１０８の位置と、立体映像の表示深度とを近づけることができる。画像表示素子１０８の位置と立体映像の表示深度との乖離が大きければ大きいほど眼球のピント調整が発生しやすくなるが、本実施の形態に係る構成を備えることにより、ヘッドマウントディスプレイ１００は、眼球のピント調整運動が発生する頻度を抑制することができる。したがって、オブジェクトの仮想的な表示位置とモニターの実際の位置との差異に基づく、眼球機能のピント調整の発生を多少なりとも軽減することができるので、ユーザの眼球疲労を抑制することができる。

また、本発明に係る視線検出システム１は、ヘッドマウントディスプレイ１００に搭載して使用すると、モニターの移動が容易であるとともに、視線検出も行うことができる。したがって、ユーザになるべく疲労感を与えないで立体映像を提示でき、かつ、その立体映像において、ユーザが見ている箇所を特定できる視線検出の両方を実現できる。

なお、本実施の形態５において、画像表示素子１０８を稼働させる構造は、上記図２０に示す構造に限定されるものではない。図２０（ａ）の矢印７１０に示す方向に画像表示素子１０８を移動させることができる構造になっていれば、その他の構造を採用することとしてもよい。例えば、ウォームギアなどにより同様の構成を実現することとしてもよい。また、上記実施の形態においては、図２０に示した構造は、ヘッドマウントディスプレイ１００の左右（ユーザが装着している状態での左右であり、画像表示素子１０８の長尺方向における左右）に備えることしたが、画像表示素子１０８を左右で違和感なく移動させることができるのであれば、片側のみの構造であってもよい。

本実施の形態５において、画像表示素子１０８は、１つとしているが、これはその限りではない。ヘッドマウントディスプレイ１００に、ユーザ３００の左目に相対する画像表示素子と、ユーザ３００の右目に相対する画像表示素子との２つの画像表示素子を備え、それぞれを別々に駆動させることとしてもよい。これにより、ユーザ３００の左右の眼の視力に応じた焦点調整のような細やかな制御を行うことができるようになる。

本実施の形態５においては、ユーザ３００の視線を検出するために、ユーザ３００の眼を撮像する手法として、ホットミラー１１２で反射させた映像を撮像しているが、これは、ホットミラー１１２を通さずに直接ユーザ３００の眼を撮像してもよい。

＜補足２＞
本実施の形態５に係る視線検出システムは、立体映像表示システムとして、以下のようにあらわされてもよい。

（ｌ）本実施の形態５に係る立体映像表示システムは、ユーザに提示する立体映像を表示するモニターと、前記ユーザの眼との相対距離が変動するよう前記モニターを移動させる駆動部と、前記モニターに表示させる立体映像の深度に応じて前記駆動部を制御する制御部とを備える立体映像表示システムである。

また、本実施の形態５に係る制御方法は、立体視におけるユーザの疲労を軽減するための立体映像表示システムの制御方法であって、モニターにユーザに提示する立体映像を表示する表示ステップと、前記モニターに表示させる立体映像の深度に応じて、前記ユーザの眼との相対距離が変動するよう前記モニターを移動させる駆動部を制御する制御ステップとを含む。

本実施の形態５に係る制御プログラムは、立体映像表示システムのコンピュータに、モニターにユーザに提示する立体映像を表示させる表示機能と、前記モニターに表示させる立体映像の深度に応じて、前記ユーザの眼との相対距離が変動するよう前記モニターを移動させる駆動部を制御する制御機能とを実現させる制御プログラム。

（ｍ）上記（ｌ）に係る立体映像表示システムにおいて、前記制御部は、前記立体映像が表示される深度に前記モニターを近づける方向に前記駆動部を制御することを特徴とすることとしてもよい。

（ｎ）上記（ｌ）又は（ｍ）に係る立体映像表示システムにおいて、前記制御部は、第１の時間に続く第２の時間において表示される立体映像の深度が、前記第１の時間に表示された立体映像の深度よりも浅くなる場合に、前記モニターを前記ユーザの眼に近づける方向に前記駆動部を制御することを特徴としてもよい。

（ｏ）上記（ｌ）〜（ｎ）のいずれかに係る立体映像表示システムにおいて、前記制御部は、第１の時間に続く第２の時間において表示される立体映像の深度が、前記第１の時間に表示された立体映像の深度よりも深くなる場合に、前記モニターを前記ユーザの眼から遠ざける方向に前記駆動部を制御することを特徴としてもよい。

（ｐ）上記（ｌ）〜（ｏ）のいずれかに係る立体映像表示システムにおいて、前記立体映像表示システムは、ユーザの頭部に装着して使用されるヘッドマウントディスプレイに搭載されるものであり、前記ヘッドマウントディスプレイは、さらに、ユーザの眼に非可視光を照射する非可視光照射部と、前記非可視光照射部により照射された非可視光を含むユーザの眼を撮像する撮像部と、前記撮像部により撮像された画像を、視線検出を行う視線検出装置に出力する出力部とを備えることを特徴としてもよい。

＜補足３＞
本発明に係る視線検出システムは、上記実施の形態に限定されるものではなく、その発明の思想を実現するための他の手法により実現されてもよいことは言うまでもない。

上記実施の形態において、マーカー画像（輝点）を表示した位置は一例であり、ユーザの視線検出を行うために異なる位置に表示され、それぞれを注視するユーザの眼の画像を獲得し、そのときのユーザの眼の中心を特定することができれば、上記実施の形態に示した表示位置に限定されないことは言うまでもない。また、その際にマーカー画像を表示する個数も９つに限定されるものではなく、上記行列ｘの４つの要素を特定するには、４つの式が成立すればよいので、少なくとも４点のマーカー画像についてのユーザの角膜中心を特定できれば事足りる。

上記実施の形態においては、ユーザ３００の視線を検出するために、ユーザ３００の眼を撮像する手法として、ホットミラー１１２で反射させた映像を撮像しているが、これは、ホットミラー１１２を通さずに直接ユーザ３００の眼を撮像してもよい。

上記実施の形態においては、マーカー画像出力部２２３は、視線検出装置２００のオペレータからの入力指示に従って、マーカー画像の表示位置を変更することとしたが、マーカー画像出力部２２３は、自動的にマーカー画像の表示位置を変更することとしてもよい。例えば、マーカー画像出力部２２３は、所定時間（例えば、３秒）が経過するごとにマーカー画像の表示位置を変更することとしてもよい。

より好適には、視線検出システム１は、ヘッドマウントディスプレイ１００から得られた撮像画像を解析して、ユーザがマーカー画像を注視しているか否かを判定し、ユーザがマーカー画像を注視していると判定すると、マーカー画像の表示位置を変更するように構成されてもよい。

即ち、記憶部２２７には、予めユーザが画像表示素子１０８の中央を注視している状態の画像（９つのマーカー画像のうちの中央のマーカー画像をユーザが注視している状態で撮像した画像）を記憶しておく。そして、判定部２２４は、記憶されている当該画像と撮像画像との角膜（黒目）の中心位置の比較を行って、撮像画像のユーザの角膜中心が記憶している画像のユーザの角膜中心から、マーカー画像が表示されている方向に所定距離（例えば、画像表示素子１０８の画素座標単位系において３０画素）以上離間しているか否かに応じて、ユーザがマーカー画像を注視しているか否かを判定する。そして、判定部２２４は、当該判定において、ユーザがマーカー画像を注視していると判定した場合に、マーカー画像出力部２２３にマーカー画像の表示位置を変更を指示し、マーカー画像出力部２２３は当該指示にしたがって、マーカー画像の表示位置を変更する。

マーカー画像出力部２２３は、ユーザがマーカー画像を注視していないと判定した場合には、ユーザがマーカー画像に注意が向くように、マーカー画像を強調表示（例えば、その表示位置で点滅させたり、矢印等のアイコンでマーカー画像を指示したり、「マーカーを見てください」というような内容な文章を表示したりする）するように報知することもできる。当該報知は、音声ガイダンスにより、ヘッドマウントディスプレイ１００のヘッドフォン１７０から、「マーカーを見てください」というようなアナウンスを行うことにより実現することとしてもよい。そのために記憶部２２７は当該音声のデータを記憶し、マーカー画像出力部２２３は、ユーザがマーカー画像を注視していないと判定したときにその音声のデータをヘッドマウントディスプレイ１００に送信し、ヘッドマウントディスプレイ１００は、受信した音声のデータをヘッドフォン１７０から出力する。また、更には、ヘッドマウントディスプレイ１００は、判定部２２４がキャリブレーションのための撮像画像の取得に成功したと判定した場合にユーザに問題がなかったことを示す（キャリブレーションに成功していることを示す）ために、マーカー画像に例えば、「○」や「ＯＫ」といった画像を表示することとしてもよい。

このようにヘッドマウントディスプレイ１００を装着しているユーザがマーカー画像を注視しているか否かを判定するように視線検出システム１を構成することで、キャリブレーションの自動化を実現できる。したがって、従来のキャリブレーションにおいてはヘッドマウントディスプレイ１００を装着するユーザとは別にオペレータが必要となるところ、オペレータの存在なしでキャリブレーションを行うことができる。

また、ヘッドマウントディスプレイ１００は、３Ｄ画像を表示する際に、画像表示素子１０８をユーザの眼との間の距離を変更できる（移動できる）構成を備えることとしてもよい。ユーザの眼から表示される３Ｄ画像までの仮想距離（深度）と、実際のユーザの眼と画像表示素子１０８との間の距離とが乖離していると、ユーザの眼の疲れの一因となるところ、当該構成により、ヘッドマウントディスプレイ１００は、ユーザの眼の疲れを軽減することができる。

また、視線検出システム１において、キャリブレーション時に、ユーザの有効視野を特定することとしてもよい。ユーザの有効視野とは、ユーザがある一点を見ている状態で、そこから端部方向に向けて、ユーザが明瞭に画像を認識できる範囲のことである。視線検出システム１においては、キャリブレーション時に、画面中心から円状にマーカー画像を表示して、有効視野を特定することとしてもよい。また、ユーザがある一点を見ている状態で、その一点を中心とした複数の同心円を明滅表示させて、同時に消えて見えるタイミングとなる周期を特定することで、ユーザの有効視野を特定することとしてもよい。ユーザごとの有効視野の特定ができれば、有効視野外の画像については画質を落としてもユーザは認識しにくいので、視線検出装置２００からヘッドマウントディスプレイ１００に転送する画像のデータ転送量を抑制することができる。

また、上記実施の形態においては、視線検出におけるキャリブレーションの手法として、視線検出装置２００のプロセッサが視線検出プログラム等を実行することにより、ユーザが注視している箇所を特定することとしているが、これは視線検出装置２００に集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））等に形成された論理回路（ハードウェア）や専用回路によって実現してもよい。また、これらの回路は、１または複数の集積回路により実現されてよく、上記実施の形態に示した複数の機能部の機能を１つの集積回路により実現されることとしてもよい。ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称されることもある。すなわち、図１０に示すように、ヘッドマウントディスプレイ１００は、第１通信回路１１８ａと、第１表示回路１２１ａと、赤外光照射回路１２２ａと、画像処理回路１２３ａと、撮像回路１２４ａとから構成されてよく、それぞれの機能は、上記実施の形態に示した同様の名称を有する各部と同様である。また、視線検出装置２００は、第２通信回路２２０ａと、視線検出回路２２１ａと、映像出力回路２２２ａと、マーカー画像出力回路２２３ａと、判定回路２２４ａと、合成画像出力回路２２５ａと、第２表示回路２２６ａと、記憶回路２２７ａとから構成されてよく、それぞれの機能は、上記実施の形態に示した同様の名称を有する各部と同様である。なお、図１０では、実施の形態１における視線検出システムを回路により実現した例を示したが、図示はしないものの、図１１や図１９に示す視線検出システムについても同様に回路により実現してもよいことは言うまでもない。

また、上記視線検出プログラムは、プロセッサが読み取り可能な記録媒体に記録されていてよく、記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記視線検出プログラムは、当該視線検出プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記プロセッサに供給されてもよい。本発明は、上記視線検出プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

なお、上記視線検出プログラムは、例えば、ActionScript、JavaScript（登録商標）などのスクリプト言語、Objective-C、Java（登録商標）などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装できる。

また、本発明に係る視線検出方法は、ユーザに装着して使用するヘッドマウントディスプレイと、前記ユーザの視線を検出する視線検出装置とを含む視線検出システムによる視線検出のための方法であって、前記視線検出装置が前記ヘッドマウントディスプレイにマーカー画像を出力し、前記ヘッドマウントディスプレイが、前記マーカー画像を表示し、前記マーカー画像を注視するユーザの眼を撮像し、撮像されたユーザの眼を含む画像を前記視線検出装置に出力し、前記視線検出装置が、前記マーカー画像、及び、前記撮像された前記マーカー画像を注視しているユーザの眼を含む画像を重畳した合成画像を作成し、作成された合成画像を出力することを特徴とする方法としてもよい。

また、本発明に係る視線検出プログラムは、コンピュータに、ヘッドマウントディスプレイに表示させるマーカー画像を出力するマーカー画像出力機能と、前記ヘッドマウントディスプレイに表示されたマーカー画像を注視するユーザの眼を撮像した撮像画像を取得する取得機能と、前記マーカー画像と、前記撮像画像とを重畳した合成画像を作成する作成機能と、前記合成画像を出力する合成画像出力機能とを実現させるプログラムとしてもよい。

この発明は、ヘッドマウントディスプレイに利用可能である。

１ 視線検出システム、 １００ ヘッドマウントディスプレイ、 １０３ａ 赤外光源（第２赤外光照射部）、 １０３ｂ 赤外光源（第１赤外光照射部）、 １０５ 輝点、 １０８ 画像表示素子、 １１２ ホットミラー、 １１４，１１４ａ，１１４ｂ 凸レンズ、 １１６ カメラ、 １１８ 第１通信部、 １２１ 第１表示部、 １２２ 赤外光照射部、 １２３ 画像処理部、 １２４ 撮像部、 １３０ 画像表示系、 １５０ 筐体、 １５２ａ，１５２ｂ レンズ保持部、 １６０ 装着具、 １７０ ヘッドフォン、 ２００ 視線検出装置、 ２２０ 第２通信部、 ２２１ 視線検出部、 ２２２ 映像出力部、 ２２３ マーカー画像出力部、２２４ 判定部、 ２２５ 合成画像出力部、 ２２６ 第２表示部 ２２７ 記憶部。

Claims (6)

1. ユーザに装着して使用するヘッドマウントディスプレイと、前記ユーザの視線を検出する視線検出装置とを含む視線検出システムであって、
   前記ヘッドマウントディスプレイは、
   画像を表示する表示部と、
   前記ユーザの眼を撮像する撮像部と、
   前記撮像部が撮像した前記ユーザの眼を含む画像を、前記視線検出装置に対して出力する画像出力部とを備え、
   前記視線検出装置は、
   前記表示部に表示させるマーカー画像を出力するマーカー画像出力部と、
   前記マーカー画像出力部が出力したマーカー画像、及び、前記撮像部により撮像された前記前記マーカー画像を注視しているユーザの眼を含む画像を重畳した合成画像を作成する合成画像作成部と、
   前記合成画像を出力する合成画像出力部とを備える視線検出システム。
2. 前記マーカー画像出力部は、前記マーカー画像の表示位置を逐次変更して出力し、
   前記撮像部は、少なくとも前記表示位置が変更されるごとにマーカー画像を注視するユーザの眼を撮像することを特徴とする請求項１に記載の視線検出システム。
3. 前記マーカー画像出力部は、前記マーカー画像が予め定められた複数の座標位置のうちのいずれかに、前記マーカー画像の表示位置を変更して出力するものであり、
   前記視線検出装置は、さらに、
   前記撮像部が撮像したユーザの眼の画像と、前記表示位置毎にマーカー画像を注視するユーザの眼を含む画像各々とに基づいて、ユーザの視線方向を検出する視線検出部を備えることを特徴とする請求項２に記載の視線検出システム。
4. 前記視線検出システムは、さらに、
   前記マーカー画像を注視しているユーザの眼を含む画像が、前記視線検出部による視線検出用の画像として使用可能か否かを判定する判定部を備え、
   前記判定部が、視線検出用の画像として使用できないと判定した場合に、前記マーカー画像出力部は、当該判定に対応する画像を撮像した際に表示していたマーカー画像の表示位置を、前記表示部の中央寄りに変更して表示させ、
   前記撮像部は、表示位置を変更したマーカー画像を注視するユーザの眼を撮像し、
   前記判定部は、再度撮像された比較画像が視線検出用の画像として使用可能か否かを判定することを特徴とする請求項３に記載の視線検出システム。
5. 前記判定部は、さらに、
   前記撮像部が撮像したユーザの眼の画像に基づいて、当該ユーザが表示されているマーカー画像を注視しているか否かを判定し、
   前記視線検出システムは、さらに、
   ユーザがマーカー画像を注視していないと判定した場合に、ユーザにマーカー画像を注視するよう報知する報知部を備えることを特徴とする請求項４に記載の視線検出システム。
6. 前記判定部が前記ユーザが表示されているマーカー画像を注視していると判定した場合に、前記マーカー画像出力部は、マーカー画像の表示位置を変更することを特徴とする請求項５に記載の視線検出システム。

Images