JP2017045068A - ヘッドマウントディスプレイ - Google Patents

Abstract

【課題】ヘッドマウントディスプレイを装着したユーザの視線方向を検出する。【解決手段】ユーザの頭部に装着して使用されるヘッドマウントディスプレイにおいて、凸レンズは、ヘッドマウントディスプレイが装着されたときにユーザの角膜に対向する位置に配置される。複数の赤外光源は、凸レンズの周囲に配置され、ユーザの角膜に向けて赤外光を照射する。カメラは、ユーザの角膜を被写体に含む映像を撮像する。筐体は、凸レンズ、赤外光源、およびカメラを収容する。ここで、複数の赤外光源は、凸レンズの周囲をユーザの目尻側の領域である第１領域、目頭側の領域である第２領域、頭頂側の領域である第３領域、顎側の領域である第４領域の４つの領域に等分したとき、それぞれ第１領域または第２領域のいずれかに配置される。【選択図】図３

Description

この発明は、ヘッドマウントディスプレイに関する。

近赤外光などの非可視光をユーザの眼に照射し、その反射光を含むユーザの眼の画像を解析することでユーザの視線方向を検出する技術が知られている。検出したユーザの視線方向の情報は、例えばＰＣ（Personal Computer）やゲーム機等のモニタに反映させ、ポインティングデバイスとして用いることも現実のものとなってきている。

特開平２−２６４６３２号公報

ヘッドマウントディスプレイは、装着したユーザに３次元的な映像を提示するための映像表示装置である。ヘッドマウントディスプレイは、一般に、ユーザの視界を覆うようにして装着して使用される。このため、ヘッドマウントディスプレイを装着したユーザは外界の映像が遮蔽される。ヘッドマウントディスプレイを映画やゲーム等の映像の表示装置として用いると、ユーザはコントローラ等の入力装置を視認することが難しい。

このため、ヘッドマウントディスプレイを装着したユーザの視線方向を検出してポインティングデバイスの代替として利用できれば便利である。

本発明はこのような課題に鑑みてなされたものであり、その目的は、ヘッドマウントディスプレイを装着したユーザの視線方向を検出する技術を提供することにある。

上記課題を解決するために、本発明のある態様は、ユーザの頭部に装着して使用されるヘッドマウントディスプレイである。このヘッドマウントディスプレイは、装着されたときにユーザの角膜に対向する位置に配置される凸レンズと、凸レンズの周囲に配置され、ユーザの角膜に向けて赤外光を照射する複数の赤外光源と、ユーザの角膜を被写体に含む映像を撮像するカメラと、凸レンズ、赤外光源、およびカメラを収容する筐体とを備える。複数の赤外光源は、凸レンズの周囲をユーザの目尻側の領域である第１領域、目頭側の領域である第２領域、頭頂側の領域である第３領域、顎側の領域である第４領域の４つの領域に等分したとき、それぞれ第１領域または第２領域のいずれかに配置される。

凸レンズを保持するレンズ保持部をさらに備えてもよい。複数の赤外光源は、レンズ保持部に備えられていてもよい。

カメラが撮像した画像を、ユーザの視線方向を検出する視線方向検出部に出力する出力部をさらに備えてもよい。筐体は、出力部も収容してもよい。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ヘッドマウントディスプレイを装着したユーザの視線方向を検出する技術を提供することができる。

実施の形態に係る映像システムの概観を模式的に示す図である。 実施の形態に係るヘッドマウントディスプレイの画像表示系の概観を模式的に示す斜視図である。 実施の形態に係る筐体が収容する画像表示系の光学構成を模式的に示す図である。 図４（ａ）−（ｂ）は、ユーザの眼の大きさと、角膜の露出度合いとの関係を模式的に示す図である。 円周部の部分領域を説明する模式図である。 図６（ａ）−（ｂ）は、実施の形態の比較例に係る赤外光源の配置位置と、ユーザの角膜で反射される赤外光の輝点との関係を説明する模式図である。 図７（ａ）−（ｂ）は、実施の形態に係る赤外光源の配置位置と、ユーザの角膜で反射される赤外光の輝点との関係を説明する模式図である。 実施の形態に係る視線方向の検出のためのキャリブレーションを説明する模式図である。 ユーザの角膜の位置座標を説明する模式図である。 図１０（ａ）−（ｆ）は、実施の形態の変形例に係るヘッドマウントディスプレイにおける赤外光源の配置位置を模式的に示す図である。

図１は、実施の形態に係る映像システム１の概観を模式的に示す図である。実施の形態に係る映像システム１は、ヘッドマウントディスプレイ１００と映像再生装置２００とを含む。図１に示すように、ヘッドマウントディスプレイ１００は、ユーザ３００の頭部に装着して使用される。

映像再生装置２００は、ヘッドマウントディスプレイ１００が表示する映像を生成する。限定はしないが、一例として、映像再生装置２００は、据え置き型のゲーム機、携帯ゲーム機、ＰＣ、タブレット、スマートフォン、ファブレット、ビデオプレイヤ、テレビ等の映像を再生可能な装置である。映像再生装置２００は、ヘッドマウントディスプレイ１００と無線または有線で接続する。図１に示す例では、映像再生装置２００はヘッドマウントディスプレイ１００と無線で接続している。映像再生装置２００がヘッドマウントディスプレイ１００との無線接続は、例えば既知のＷｉ−Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信技術を用いて実現できる。限定はしないが、一例として、ヘッドマウントディスプレイ１００と映像再生装置２００との間における映像の伝送は、Ｍｉｒａｃａｓｔ（商標）やＷｉＧｉｇ（商標）、ＷＨＤＩ（商標）等の規格に則って実行される。

なお、図１は、ヘッドマウントディスプレイ１００と映像再生装置２００とが異なる装置である場合の例を示している。しかしながら、映像再生装置２００はヘッドマウントディスプレイ１００に内蔵されてもよい。

ヘッドマウントディスプレイ１００は、筐体１５０、装着具１６０、およびヘッドフォン１７０を備える。筐体１５０は、画像表示素子などユーザ３００に映像を提示するための画像表示系や、図示しないＷｉ−ＦｉモジュールやＢｌｕｅｔｏｏｔｈ（登録商標）モジュール等の無線伝送モジュールを収容する。装着具１６０は、ヘッドマウントディスプレイ１００をユーザ３００の頭部に装着する。装着具１６０は例えば、ベルトや伸縮性の帯等で実現できる。ユーザ３００が装着具１６０を用いてヘッドマウントディスプレイ１００を装着すると、筐体１５０はユーザ３００の眼を覆う位置に配置される。このため、ユーザ３００がヘッドマウントディスプレイ１００を装着すると、ユーザ３００の視界は筐体１５０によって遮られる。

ヘッドフォン１７０は、映像再生装置２００が再生する映像の音声を出力する。ヘッドフォン１７０はヘッドマウントディスプレイ１００に固定されなくてもよい。ユーザ３００は、装着具１６０を用いてヘッドマウントディスプレイ１００を装着した状態であっても、ヘッドフォン１７０を自由に着脱することができる。

図２は、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０の概観を模式的に示す斜視図である。より具体的に、図２は、実施の形態に係る筐体１５０のうち、ヘッドマウントディスプレイ１００を装着したときにユーザ３００の角膜３０２に対向する領域を示す図である。

図２に示すように、左目用凸レンズ１１４ａは、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ユーザ３００の左目の角膜３０２ａと対向する位置となるように配置される。同様に、右目用凸レンズ１１４ｂは、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ユーザ３００の右目の角膜３０２ｂと対向する位置となるように配置される。左目用凸レンズ１１４ａと右目用凸レンズ１１４ｂとは、それぞれ左目用レンズ保持部１５２ａと右目用レンズ保持部１５２ｂとに把持されている。

以下本明細書において、左目用凸レンズ１１４ａと右目用凸レンズ１１４ｂとを特に区別する場合を除いて、単に「凸レンズ１１４」と記載する。同様に、ユーザ３００の左目の角膜３０２ａとユーザ３００の右目の角膜３０２ｂとを特に区別する場合を除いて、単に「角膜３０２」と記載する。左目用レンズ保持部１５２ａと右目用レンズ保持部１５２ｂとも、特に区別する場合を除いて「レンズ保持部１５２」と記載する。

レンズ保持部１５２には、複数の赤外光源１０３が備えられている。煩雑となることを避けるために、図２においては第１赤外光源１０３ａ、第２赤外光源１０３ｂ、および第３赤外光源１０３ｃ（以下、特に区別する場合を除いて「赤外光源１０３」と記載する。）にのみ符号を付しているが、図中符号を付したものと同様の形状は赤外光源１０３を表す。図２に示す例では、左目用レンズ保持部１５２ａには６つの赤外光源１０３が備えられている。同様に、右目用レンズ保持部１５２ｂにも６つの赤外光源１０３が備えられている。このように、赤外光源１０３を凸レンズ１１４に直接配置せず、凸レンズ１１４を把持するレンズ保持部１５２に配置することにより、赤外光源１０３の取り付けが容易となる。一般にレンズ保持部１５２は樹脂等で構成されるため、ガラス等から構成される凸レンズ１１４よりも赤外光源１０３を取り付けるための加工が容易でからである。

上述したように、レンズ保持部１５２は凸レンズ１１４を把持する部材である。したがって、レンズ保持部１５２に備えられた赤外光源１０３は、凸レンズ１１４の周囲に配置されることになる。なお、赤外光源１０３の配置位置の詳細は後述する。

図３は、実施の形態に係る筐体１５０が収容する画像表示系１３０の光学構成を模式的に示す図であり、図２に示す筐体１５０を左目側の側面から見た場合の図である。画像表示系１３０は、赤外光源１０３、画像表示素子１０８、ホットミラー１１２、凸レンズ１１４、カメラ１１６、および出力部１１８を備える。

赤外光源１０３は、近赤外（７００ｎｍ〜２５００ｎｍ程度）の波長帯域の光を照射可能な光源である。近赤外光は、一般に、ユーザ３００の肉眼では観測ができない非可視光の波長帯域の光である。

画像表示素子１０８は、ユーザ３００に提示するための画像を表示する。画像表示素子１０８が表示する画像は、映像再生装置２００内の図示しないＧＰＵ（Graphic Processing Unit）が生成する。画像表示素子１０８は、例えば既知のＬＣＤ（Liquid Crystal Display）や有機ＥＬディスプレイ（Organic ElectroLuminescent Display）を用いて実現できる。

ホットミラー１１２は、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、画像表示素子１０８とユーザ３００の角膜３０２との間に配置される。ホットミラー１１２は、画像表示素子１０８が生成する可視光は透過するが、近赤外光は反射する性質を持つ。

凸レンズ１１４は、ホットミラー１１２に対して、画像表示素子１０８の反対側に配置される。言い換えると、凸レンズ１１４は、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ホットミラー１１２とユーザ３００の角膜３０２との間に配置される。すなわち、凸レンズ１１４は、ヘッドマウントディスプレイ１００がユーザ３００に装着されたときに、ユーザ３００の角膜３０２に対向する位置に配置される。

凸レンズ１１４はホットミラー１１２を透過する画像表示光を集光する。このため、凸レンズ１１４は、画像表示素子１０８が生成する画像を拡大してユーザ３００に提示する画像拡大部として機能する。なお、説明の便宜上、図２では凸レンズ１１４をひとつのみ示しているが、凸レンズ１１４は、種々のレンズを組み合わせて構成されるレンズ群であってもよし、一方が曲率を持ち、他方が平面の片凸レンズであってもよい。

複数の赤外光源１０３は、凸レンズ１１４の周囲に配置されている。赤外光源１０３は、ユーザ３００の角膜３０２に向けて赤外光を照射する。

図示はしないが、実施の形態に係るヘッドマウントディスプレイ１００の画像表示系１３０は画像表示素子１０８を二つ備えており、ユーザ３００の右目に提示するための画像と左目に提示するための画像とを独立に生成することができる。このため、実施の形態に係るヘッドマウントディスプレイ１００は、ユーザ３００の右目と左目とに、それぞれ右目用の視差画像と左目用の視差画像とを提示することができる。これにより、実施の形態に係るヘッドマウントディスプレイ１００は、ユーザ３００に対して奥行き感を持った立体映像を提示することができる。

上述したように、ホットミラー１１２は、可視光を透過し、近赤外光を反射する。したがって、画像表示素子１０８が照射する画像光はホットミラー１１２を透過してユーザ３００の角膜３０２まで到達する。また赤外光源１０３から照射され、凸レンズ１１４の内部の反射領域で反射された赤外光は、ユーザ３００の角膜３０２に到達する。

ユーザ３００の角膜３０２に到達した赤外光は、ユーザ３００の角膜３０２で反射され、再び凸レンズ１１４の方向に向かう。この赤外光は凸レンズ１１４を透過し、ホットミラー１１２で反射される。カメラ１１６は可視光を遮断するフィルタを備えており、ホットミラー１１２で反射された近赤外光を撮像する。すなわち、カメラ１１６は、赤外光源１０３から照射され、ユーザ３００の眼で角膜反射された近赤外光を撮像する近赤外カメラである。

出力部１１８は、カメラ１１６が撮像した画像を、ユーザ３００の視線方向を検出する視線方向検出部に出力する。具体的には、出力部１１８は、カメラ１１６が撮像した画像を映像再生装置２００に送信する。視線方向検出部については後述するが、映像再生装置２００のＣＰＵ（Central Processing Unit）が実行する視線検出プログラムによって実現される。なお、ヘッドマウントディスプレイ１００がＣＰＵやメモリ等の計算リソースを持っている場合には、ヘッドマウントディスプレイ１００のＣＰＵが視線方向検出部を実現するプログラムを実行してもよい。

詳細は後述するが、カメラ１１６が撮像する画像には、ユーザ３００の角膜３０２で反射された近赤外光に起因する輝点と、近赤外の波長帯域で観察されるユーザ３００の角膜３０２を含む眼の画像とが撮像されている。

以上は、実施の形態に係る画像表示系１３０のうち主にユーザ３００の左目に画像を提示するための構成について説明したが、ユーザ３００の右目に画像を提示するための構成は上記と同様である。

次に、実施の形態に係る赤外光源１０３の配置位置について説明する。

図４（ａ）−（ｂ）は、ユーザ３００の眼の大きさと、角膜３０２の露出度合いとの関係を模式的に示す図である。より具体的には、図４（ａ）は眼が大きいユーザ３００の角膜３０２の見え方を例示する図であり、図４（ｂ）は眼が細いユーザ３００の角膜３０２の見え方を例示する図である。

図４（ａ）に示すように、ユーザ３００の眼が大きい場合には、ユーザ３００の角膜３０２は外部から全て見ることができる。一方図４（ｂ）に示すように、ユーザ３００の眼が細い場合には、ユーザ３００の角膜３０２の一部がまぶた等によって遮蔽されて外部から見えないこともある。一般に、ユーザ３００の眼はユーザ３００が直立している場合横方向（水平方向）に長い形状となる。したがって、ユーザ３００の角膜３０２の一部がまぶた等によって遮蔽されるとすると、その部分は角膜３０２の上部領域と下部領域との少なくともいずれか一方であると考えられる。

図５は、円周部の部分領域を説明する模式図であり、ユーザ３００の眼をユーザ３００の正面から見た場合を示す図である。一般に、人間の角膜は円形状をしており、縁部は円周である。図５に示すように円周を４等分し、目尻側の領域を第１領域３０４ａ、目頭側の領域を第２領域３０４ｂ、頭頂側の領域を第３領域３０４ｃ、顎側の領域を第４領域３０４ｄとする。この場合、ユーザ３００の眼が細く角膜３０２の一部がまぶた等によって遮蔽されて外部から見えない領域は、第３領域３０４ｃおよび第４領域３０４ｄということができる。第１領域３０４ａおよび第２領域３０４ｂは、まぶた等によって遮蔽されにくい領域と言える。

図６（ａ）−（ｂ）は、実施の形態の比較例に係る赤外光源１０３の配置位置と、ユーザ３００の角膜３０２で反射される赤外光の輝点との関係を説明する模式図である。より具体的に、図６（ａ）は実施の形態の比較例に係る赤外光源１０３の配置位置を示す模式図であり、図６（ｂ）は、図６（ａ）に示す赤外光源１０３から照射されユーザ３００の角膜３０２で反射される赤外光の輝点を示す模式図である。

上述したように、凸レンズ１１４は、ユーザ３００がヘッドマウントディスプレイ１００を装着したときに、ユーザ３００の角膜３０２と対向する位置に配置される。したがって、以下本明細書において、凸レンズ１１４の周囲のうちユーザ３００の角膜３０２の周囲における第１領域３０４ａ、第２領域３０４ｂ、第３領域３０４ｃ、および第４領域３０４ｄと対応する位置も、それぞれ同様に第１領域３０４ａ、第２領域３０４ｂ、第３領域３０４ｃ、および第４領域３０４ｄと記載する。

図６（ａ）に示す例では、凸レンズ１１４の周囲に第１赤外光源１０３ａ、第２赤外光源１０３ｂ、第３赤外光源１０３ｃ、および第４赤外光源１０３ｄの４つの赤外光源１０３が配置されている。ここで第１赤外光源１０３ａ、第２赤外光源１０３ｂ、第３赤外光源１０３ｃ、および第４赤外光源１０３ｄは、それぞれ凸レンズ１１４の周囲における第１領域３０４ａ、第２領域３０４ｂ、第３領域３０４ｃ、および第４領域３０４ｄに配置されている。

図６（ｂ）に示すように、第１領域３０４ａおよび第２領域３０４ｂにそれぞれ配置されている第１赤外光源１０３ａおよび第２赤外光源１０３ｂから照射される赤外光はユーザ３００の角膜３０２に到達している。しかしながら、第３領域３０４ｃおよび第４領域３０４ｄにそれぞれ配置されている第３赤外光源１０３ｃおよび第４赤外光源１０３ｄから照射される赤外光は、ユーザ３００のまぶたに遮蔽され角膜３０２には到達していない。

一般に、ユーザ３００の角膜３０２に到達した赤外光は角膜３０２で鏡面反射されるため強い輝点となる。一方、ユーザ３００の肌に到達した赤外光は肌で乱反射されるため、角膜３０２における反射と比較すると弱い反射となる。後述するように、赤外光源１０３から照射された赤外光に由来する輝点は、ユーザ３００の視線方向を検出するための基準として用いられる。このため、赤外光はユーザ３００の角膜３０２において強く反射される方が好ましい。

そこで実施の形態に係るヘッドマウントディスプレイ１００においては、赤外光源１０３は凸レンズ１１４における第１領域３０４ａおよび第２領域３０４ｂに配置される。

図７（ａ）−（ｂ）は、実施の形態に係る赤外光源１０３の配置位置と、ユーザ３００の角膜３０２で反射される赤外光の輝点との関係を説明する模式図である。より具体的に、図７（ａ）は実施の形態に係る赤外光源１０３の配置位置を示す模式図であり、図７（ｂ）は、図７（ａ）に示す赤外光源１０３から照射されユーザ３００の角膜３０２で反射される赤外光の輝点を示す模式図であり、上述のカメラ１１６が撮像する画像の一例を示す図である。

図７（ａ）に示すように、実施の形態に係る赤外光源１０３は、凸レンズ１１４の周囲における第１領域または第２領域のいずれかに配置される。言い換えると、実施の形態に係る赤外光源１０３は、凸レンズ１１４の側面側（横側ないし水平方向の縁側）に配置されている。一般にユーザ３００の眼は横長の楕円形状であるため、ユーザ３００の角膜３０２における第１領域３０４ａおよび第２領域３０４ｂは、まぶた等によって遮蔽されにくい領域である。したがって、凸レンズ１１４の側面側に赤外光源１０３を配置することにより、図７（ｂ）に示すように、ユーザ３００の角膜３０２に赤外光に由来する輝点を生じさせることができる。視線方向の検出の基準となる輝点をユーザ３００の角膜３０２上により多く生じさせることができるため、視線方向検出のロバスト性を向上させることができる。

次に、実施の形態に係る視線方向の検出について説明する。

図８は、実施の形態に係る視線方向の検出のためのキャリブレーションを説明する模式図である。ユーザ３００の視線方向は、カメラ１１６が撮像し出力部１１８が映像再生装置２００に出力した映像を、映像再生装置２００内の図示しない視線方向検出部が解析することにより実現される。

映像再生装置２００は、図８に示すような点Ｑ_１〜Ｑ_９までの９つの点を生成し、ヘッドマウントディスプレイ１００の画像表示素子１０８に表示させる。映像再生装置２００は、点Ｑ_１〜点Ｑ_９に到るまで順番にユーザ３００に注視させる。このとき、ユーザ３００は首を動かさずに極力眼球の動きのみで各点を注視するように求められる。カメラ１１６は、ユーザ３００が点Ｑ_１〜Ｑ_９までの９つの点を注視しているときのユーザ３００の角膜３０２を含む画像を撮像する。

図９は、ユーザ３００の角膜３０２の位置座標を説明する模式図である。映像再生装置２００内の視線方向検出部は、カメラ１１６が撮像した画像を解析して赤外光に由来する輝点１０５を検出する。ユーザ３００が眼球の動きのみで各点を注視しているときは、ユーザがいずれの点を注視している場合であっても、輝点１０５の位置は動かないと考えられる。そこで視線方向検出部は、検出した輝点１０５をもとに、カメラ１１６が撮像した画像中に２次元座標系３０６を設定する。

視線方向検出部はまた、カメラ１１６が撮像した画像を解析することにより、ユーザ３００の角膜３０２の中心Ｐを検出する。これは例えばハフ変換やエッジ抽出処理等、既知の画像処理を用いることで実現できる。これにより、視線方向検出部は、設定した２次元座標系３０６におけるユーザ３００の角膜３０２の中心Ｐの座標を取得できる。

図８において、画像表示素子１０８が表示する表示画面に設定された２次元座標系における点Ｑ_１〜点Ｑ_９の座標をそれぞれＱ_１（ｘ_１，ｙ_１）^Ｔ，Ｑ_２（ｘ_２，ｙ_２）^Ｔ・・・，Ｑ_９（ｘ_９，ｘ_９）^Ｔとする。各座標は、例えば各点の中心に位置する画素の番号となる。また、ユーザ３００が点Ｑ_１〜点Ｑ_９を注視しているときの、ユーザ３００角膜３０２の中心Ｐを、それぞれ点Ｐ_１〜Ｐ_９とする。このとき、２次元座標系３０６における点Ｐ_１〜Ｐ_９の座標をそれぞれＰ_１（Ｘ_１，Ｙ_１）^Ｔ，Ｐ_２（Ｘ_２，Ｙ_２）^Ｔ，・・・，Ｐ_９（Ｚ_９，Ｙ_９）^Ｔとする。なお、Ｔはベクトルまたは行列の転置を表す。

いま、２×２の大きさの行列Ｍを以下の式（１）のように定義する。

このとき、行列Ｍが以下の式（２）を満たせば、行列Ｍはユーザ３００の視線方向を画像表示素子１０８が表示する画像面に射影する行列となる。
Ｐ_Ｎ＝ＭＱ_Ｎ （Ｎ＝１，・・・，９） （２）

上記式（２）を具体的に書き下すと以下の式（３）のようになる。

式（３）を変形すると以下の式（４）を得る。

ここで、

とおくと、以下の式（５）を得る。
ｙ＝Ａｘ （５）

式（５）において、ベクトルｙの要素は視線方向検出部が画像表示素子１０８に表示させる点Ｑ_１〜Ｑ_９の座標であるため既知である。また、行列Ａの要素はユーザ３００の角膜３０２の頂点Ｐの座標であるため取得できる。したがって、視線方向検出部は、ベクトルｙおよび行列Ａを取得することができる。なお、変換行列Ｍの要素を並べたベクトルであるベクトルｘは未知である。したがって、行列Ｍを推定する問題は、ベクトルｙと行列Ａとが既知であるとき、未知ベクトルｘを求める問題となる。

式（５）は、未知数の数（すなわちベクトルｘの要素数４）よりも式の数（すなわち、視線方向検出部２３０がキャリブレーション時にユーザ３００に提示した点Ｑの数）が多ければ、優決定問題となる。式（５）に示す例では、式の数は９つであるため、優決定問題である。

ベクトルｙとベクトルＡｘとの誤差ベクトルをベクトルｅとする。すなわち、ｅ＝ｙ−Ａｘである。このとき、ベクトルｅの要素の二乗和を最小にするという意味で最適なベクトルｘ_ｏｐｔは、以下の式（６）で求められる。

ｘ_ｏｐｔ＝（Ａ^ＴＡ）^−１Ａ^Ｔｙ （７）
ここで「−１」は逆行列を示す。

視線方向検出部は、求めたベクトルｘ_ｏｐｔの要素を用いることで、式（１）の行列Ｍを構成する。これにより、視線方向検出部は、ユーザ３００の角膜３０２の頂点Ｐの座標と行列Ｍとを用いることで、式（２）にしたがい、ユーザ３００が画像表示素子１０８が表示する動画像面上のどこを注視しているかを推定できる。

以上説明したように、実施の形態に係るヘッドマウントディスプレイ１００によれば、ヘッドマウントディスプレイを装着したユーザの視線方向を検出する技術を提供できる。

特に、実施の形態に係るヘッドマウントディスプレイ１００は、赤外光源１０３が照射する赤外光がユーザ３００の角膜３０２に確実に到達するように配置されている。このため、ユーザ３００の角膜３０２の位置座標を定める基準点を、角膜３０２条に確実に出現させることができる。結果として、ユーザ３００の視線方向検出のロバスト性を向上することができる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上記では、赤外光源１０３が、凸レンズ１１４の周囲の第１領域３０４ａおよび第２領域３０４ｂに、それぞれ３つずつ配置される場合について説明した。しかしながら、赤外光源１０３は、凸レンズ１１４の周囲の第１領域３０４ａまたは第２領域３０４ｂのいずれかに配置されていればよく、またその数は３つに限られない。以下、赤外光源１０３の配置の変形例について説明する。

図１０（ａ）−（ｆ）は、実施の形態の変形例に係るヘッドマウントディスプレイ１００における赤外光源１０３の配置位置を模式的に示す図である。

図１０（ａ）は第１の変形例に係る赤外光源１０３の配置を示し、図１０（ｂ）は図１０（ａ）に示す配置における輝点１０５の位置を示す図である。図１０（ａ）に示すように、第１の変形例に係る赤外光源１０３は、凸レンズ１１４の周囲の第１領域３０４ａおよび第２領域３０４ｂのそれぞれの中心位置に１つずつ配置されている。この結果、図１０（ｂ）に示すように、ユーザ３００の角膜３０２における第１領域３０４ａおよび第２領域３０４ｂに、それぞれ輝点１０５が１つずつ出現することになる。

図１０（ｃ）は第２の変形例に係る赤外光源１０３の配置を示し、図１０（ｄ）は図１０（ｃ）に示す配置における輝点１０５の位置を示す図である。図１０（ｃ）に示すように、第２の変形例に係る赤外光源１０３は、凸レンズ１１４の周囲の第１領域３０４ａおよび第２領域３０４ｂのそれぞれの中心位置とその下方とに１つずつ配置されている。この結果、図１０（ｄ）に示すように、ユーザ３００の角膜３０２における第１領域３０４ａおよび第２領域３０４ｂに、それぞれ輝点１０５が２つずつ出現することになる。

図１０（ｅ）は第３の変形例に係る赤外光源１０３の配置を示し、図１０（ｆ）は図１０（ｅ）に示す配置における輝点１０５の位置を示す図である。図１０（ｅ）に示すように、第３の変形例に係る赤外光源１０３は、凸レンズ１１４の周囲の第１領域３０４ａおよび第２領域３０４ｂのそれぞれの中心位置を挟んでその上方と下方とに１つずつ配置されている。この結果、図１０（ｆ）に示すように、ユーザ３００の角膜３０２における第１領域３０４ａおよび第２領域３０４ｂにも、それぞれ輝点１０５が２つずつ出現することになる。

図１０（ａ）−（ｆ）に示す例において、赤外光源１０３はいずれも、凸レンズ１１４の周囲における第１領域３０４ａまたは第２領域３０４ｂのいずれかに配置される。これにより、ユーザ３００のまぶた等に遮られることなく、赤外光源１０３から照射された赤外光に由来する輝点をユーザ３００の角膜３０２上に出現させることができる。

１ 映像システム、 １００ ヘッドマウントディスプレイ、 １０３ 赤外光源、 １０５ 輝点、 １０８ 画像表示素子、 １１２ ホットミラー、 １１４ 凸レンズ、 １１６ カメラ、 １１８ 出力部、 １３０ 画像表示系、 １５０ 筐体、 １５２ レンズ保持部、 １６０ 装着具、 １７０ ヘッドフォン、 ２００ 映像再生装置、 ２３０ 視線方向検出部。

この発明は、ヘッドマウントディスプレイに利用可能である。

Claims (3)

1. ユーザの頭部に装着して使用されるヘッドマウントディスプレイであって、
   前記ヘッドマウントディスプレイが装着されたときに前記ユーザの角膜に対向する位置に配置される凸レンズと、
   前記凸レンズの周囲に配置され、前記ユーザの角膜に向けて赤外光を照射する複数の赤外光源と、
   前記ユーザの角膜を被写体に含む映像を撮像するカメラと、
   前記凸レンズ、前記赤外光源、および前記カメラを収容する筐体とを備え、
   前記複数の赤外光源は、前記凸レンズの周囲を前記ユーザの目尻側の領域である第１領域、目頭側の領域である第２領域、頭頂側の領域である第３領域、顎側の領域である第４領域の４つの領域に等分したとき、それぞれ前記第１領域または前記第２領域のいずれかに配置されるヘッドマウントディスプレイ。
2. 前記凸レンズを保持するレンズ保持部をさらに備え、
   前記複数の赤外光源は、前記レンズ保持部に備えられている請求項１に記載のヘッドマウントディスプレイ。
3. 前記カメラが撮像した画像を、前記ユーザの視線方向を検出する視線方向検出部に出力する出力部をさらに備え、
   前記筐体は、前記出力部も収容する請求項１または２に記載のヘッドマウントディスプレイ。

Images