JP2019068932A - 視線検出装置及び視線検出プログラム - Google Patents

Abstract

【課題】ヘッドマウントディスプレイ等の装置において、簡易且つ安価な構成でユーザの視線を検出できる視線検出装置を提供する。【解決手段】視線検出装置１０は、所定の第１画像をディスプレイＤに表示させる表示制御部１１と、ユーザの目の少なくとも一部を含む領域を撮像して得られた画像であって、ユーザの目により反射された第１画像の反射像を含む画像である第２画像を取得する画像取得部１２と、第２画像に含まれる反射像の第１画像に対する歪みに基づいてユーザの視線方向を特定する視線特定部１３と、を備える。【選択図】図２

Description

本発明は、視線検出装置及び視線検出プログラムに関する。

近年、安価なヘッドマウントディスプレイが普及してきており、そのためのコンテンツも一般に普及している。ヘッドマウントディスプレイにおける操作入力は、主に、コントローラ及びユーザのジェスチャの検出等により行われる。また、操作入力の方法の一つとして、ユーザの視線の検出に基づく入力がある。例えば、ユーザの正面に配置されたモニタから照射された光がユーザの目の黒目部分に写っているか否かに基づいて、ユーザの視線がモニタの方向に向いているか否かを検出する視線検出方法が知られている（例えば、特許文献１参照）。また、ヘッドマウントディスプレイにおいて、光源から照射されユーザの眼で反射された非可視光を撮像して視線方向を検出する技術が知られている（例えば、特許文献２参照）。

特開２０００−２２９０６８号公報 特開２０１６−１２７５８７号公報

しかしながら、ヘッドマウントディスプレイにおいて、ユーザの視線を操作入力に用いるためには、専用のハードウェアが必要であり、そのコストが高かった。特許文献２に記載された技術においても、所定の非可視光を照射する専用の光源及び撮像装置が必要であり、コストが嵩んでいた。

そこで、本発明は、上記問題点に鑑みてなされたものであり、ヘッドマウントディスプレイ等の装置において、簡易且つ安価な構成でユーザの視線を検出できる視線検出装置及び視線検出プログラムを提供することを目的とする。

上記課題を解決するために、本発明の一形態に係る視線検出装置は、所定の第１画像を表示装置に表示させる表示制御部と、ユーザの目の少なくとも一部を含む領域を撮像して得られた画像であって、ユーザの目により反射された第１画像の反射像を含む画像である第２画像を取得する画像取得部と、第２画像に含まれる反射像の第１画像に対する歪みに基づいてユーザの視線方向を特定する視線特定部と、を備える。

また、本発明の一形態に係る視線検出プログラムは、コンピュータに、所定の第１画像を表示装置に表示させる表示制御機能と、ユーザの目の少なくとも一部を含む領域を撮像して得られた画像であって、ユーザの目により反射された第１画像の反射像を含む画像である第２画像を取得する画像取得機能と、第２画像に含まれる反射像の第１画像に対する歪みに基づいてユーザの視線方向を特定する視線特定機能と、を実現させる。

上記の形態によれば、表示装置に表示させた所定の第１画像の反射像が、ユーザの目を撮像することにより取得される。反射像の形状における第１画像の形状に対する歪みは、ユーザの視線方向が反映されているので、反射像の歪みに基づいてユーザの視線方向を特定できる。これにより、所定の画像の表示及びユーザの目の撮像のための構成の他に特段の構成を必要としないので、簡易かつ安価な構成によりユーザの視線方向を特定できる。さらに、ユーザの視線方向の特定により、表示装置の画面におけるユーザの注視点を特定できるので、注視点の位置に基づく種々の制御を実施できる。

ヘッドマウントディスプレイ等の装置において、簡易且つ安価な構成でユーザの視線を検出できる視線検出装置及び視線検出プログラムを提供することが可能となる。

本実施形態に係る視線検出装置を含むヘッドマウントディスプレイの例を示す概略的な斜視図である。 本実施形態の視線検出装置の機能的構成を示すブロック図である。 視線検出装置のハードブロック図である。 視線検出装置の外観及び視線検出装置のディスプレイに表示された第１画像の例を示す図である。 視線検出装置のカメラにより撮像された第２画像の例を示す図である。 第２画像に含まれる反射像の例を示す図である。 第１画像に対する歪みを含む反射像の例を示す図である。 第１画像に複数の図形が含まれる例を示す図である。 図９（ａ）は、ディスプレイから発せられた光がカメラに達するまでの軌跡を模式的に示す図である。図９（ｂ）は、ユーザの目により反射された第１画像の反射像を示す図である。 本実施形態の視線検出方法の処理内容を示すフローチャートである。 視線検出プログラムの構成を示す図である。

本発明に係る視線検出装置の実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。

図１は、本実施形態に係る視線検出装置１０を含むヘッドマウントディスプレイ１を示す図である。図１に示すように、ヘッドマウントディスプレイ１は、略直方体形状の筐体２により構成されており、筐体２の一側面にはユーザが覗くためのレンズＬが設けられている。レンズが設けられた側面に対向する側面の筐体２の内側部に視線検出装置１０が設けられている。なお、視線検出装置は、レンズ及び筐体を含む装置として構成されてもよい。

本実施形態では、視線検出装置１０は、高機能携帯電話機（スマートフォン）や携帯電話機などの携帯端末として構成される。視線検出装置１０は、ディスプレイＤ（表示装置）及びカメラＣを備える。視線検出装置１０は、映像を含むコンテンツを再生できる。ディスプレイＤは、再生されたコンテンツに含まれる映像を表示する。ユーザは、レンズＬから筐体２の内部を覗くことにより、ディスプレイＤを視認できる。視線検出装置１０に備えられたカメラＣは、レンズＬを覗いているユーザの少なくとも片方の目を撮像できる。

図２は、視線検出装置１０の機能的構成を示すブロック図である。図２に示すように、視線検出装置１０は、機能的には、表示制御部１１、画像取得部１２、及び視線特定部１３を備える。また、前述のとおり、視線検出装置１０は、ディスプレイＤ及びカメラＣを備える。なお、視線検出装置１０の各機能部については、後に詳述する。

なお、図２に示したブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に(例えば、有線及び／又は無線)で接続し、これら複数の装置により実現されてもよい。

例えば、本発明の一実施の形態における視線検出装置１０は、コンピュータとして機能してもよい。図３は、本実施形態に係る視線検出装置１０のハードウェア構成の一例を示す図である。視線検出装置１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。視線検出装置１０のハードウェア構成は、図３に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

視線検出装置１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。例えば、図２に示した各機能部１１〜１３などは、プロセッサ１００１で実現されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、視線検出装置１０の各機能部１１〜１３は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（ElectricallyErasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本発明の一実施の形態に係る視線検出方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１やメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

また、視線検出装置１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。

再び図２を参照して、視線検出装置１０の各機能部について説明する。表示制御部１１は、所定の第１画像をディスプレイＤに表示させる。図４は、ディスプレイＤに表示された第１画像の例を示す図である。第１画像は、ユーザの目により反射させた反射像を生成するための画像である。図４に示す例では、ディスプレイＤに表示された第１画像Ａ１は、ディスプレイＤの全面に亘る単色の長方形を呈している。後述するように、第１画像の形状は、ユーザの目により反射された反射像をカメラＣで撮像可能であれば、限定されない。第１画像の形状は、長方形に限らず、その他の単一の図形であってもよいし、複数の図形により構成されてもよい。

画像取得部１２は、ユーザの目により反射された第１画像の反射像を含む画像である第２画像を取得する。具体的には、画像取得部１２は、カメラＣにより撮像された画像であって、ユーザの目の少なくとも一部を含む領域を撮像して得られた画像を第２画像として取得する。

図５は、カメラＣにより撮像された第２画像Ｂの例を示す図である。ただし、図５に示す例では、第１画像の反射像は示されていない。図５に示すように、第２画像Ｂは、ユーザの目Ｅを含む。画像取得部１２は、例えば図５に示されるような第２画像Ｂを取得する。

視線特定部１３は、第２画像に含まれる反射像の第１画像に対する歪みに基づいてユーザの視線方向を特定する。上述のとおり、画像取得部１２は、ユーザの目を撮像することにより、第１画像の反射像を含む第２画像を取得できる。反射像の形状は、ユーザの視線方向に応じて、第１画像の形状に対して歪む。

図６は、視線方向に応じた反射像の形状の歪みの例を示す図である。なお、図６は、第１画像が、図４に示したような、単色の長方形を呈する場合の例である。図６では、ユーザの目に向かって撮像された画像に含まれる反射像の例が示されている。図６に示すように、視線方向が左の方向である場合には、ユーザの目Ｅ１により反射された反射像Ｆ１は、左辺が右辺より長くなるように歪む。また、視線方向が中央の方向である場合には、ユーザの目Ｅ２により反射された反射像Ｆ２の左辺と右辺とは略等しい。また、視線方向が右の方向である場合には、ユーザの目Ｅ３により反射された反射像Ｆ３は、左辺が右辺より短くなるように歪む。

また、視線方向が上方向である場合には、反射像は、下辺が上辺より長くなるように歪み、視線方向が下方向である場合には、反射像は、下辺が上辺より短くなるように歪む。

より具体的には、視線特定部１３は、第１画像が長方形である場合には、四辺形を呈する反射像の各辺の長さの比に基づいて視線方向を特定する。この場合の視線方向の特定について、図７を参照して具体的に説明する。図７は、反射像Ｆの例を示す図である。

視線特定部１３は、画像取得部１２により取得された第２画像に対して、例えばグレースケール処理を施し、所定の閾値を用いて明度の２値化処理を行い、輪郭抽出を行うことにより反射像Ｆを抽出する。このように、第２画像からの反射像Ｆの抽出は、当業者に周知の手法により可能である。抽出された反射像Ｆは、四辺形を呈しており、左辺ｌ１、右辺ｌ２、上辺ｌ３及び下辺ｌ４を有する。

視線特定部１３は、左辺ｌ１、右辺ｌ２、上辺ｌ３及び下辺ｌ４の長さの比を、第１画像に対する反射像の歪みを表す特徴量として取得する。例えば、この特徴量と視線方向とを予め対応付けた対応情報を、視線検出装置１０がアクセス可能な記憶装置に記憶させておくことにより、視線特定部１３は、この対応情報を参照して、反射像Ｆの歪みに関する特徴量に基づいて、ユーザの視線方向を特定できる。さらに、視線特定部１３は、視線方向を表す視線ベクトル、反射像Ｆが形成されている目Ｅの位置とディスプレイＤとの位置関係に基づいて、ディスプレイＤにおけるユーザの注視点を特定できる。

なお、図７を参照して説明した例では、四辺形を呈する反射像Ｆの各辺の長さの比に基づいて視線方向を特定することとしているが、各頂点の角度に基づいて視線方向を特定することとしてもよい。

次に、図８を参照して、視線方向の特定の処理の他の例を説明する。図８は、第１画像の他の例を示す図である。図８に示す第１画像Ａ２は、複数の図形Ａ２１，Ａ２２，Ａ２３，Ａ２４を含む。視線特定部１３は、第１画像が複数の所定の図形を含む場合に、反射像に含まれる複数の図形の位置関係に基づいて視線方向を特定することができる。

具体的には、表示制御部１１は、図形Ａ２１，Ａ２２，Ａ２３，Ａ２４の中心座標が、長方形の頂点に位置するような第１画像Ａ２をディスプレイＤに表示させる。画像取得部１２は、レンズＬを覗くユーザの目により反射された第１画像Ａ２の反射像を含む第２画像を取得する。

反射像において、図形Ａ２１，Ａ２２，Ａ２３，Ａ２４にそれぞれ対応する複数の図形の中心座標を頂点とする四辺形が形成される。即ち、視線特定部１３は、反射像に含まれる、図形Ａ２１，Ａ２２，Ａ２３，Ａ２４にそれぞれ対応する複数の図形の位置関係を特徴量として取得することにより、第１画像Ａ２の形状に対する反射像の歪みを取得できる。視線特定部１３は、このように取得された反射像の歪みに基づいて、図７を参照して説明した例と同様に、視線方向を特定できる。

図９は、本実施形態における反射像の取得における課題を説明する図である。図９（ａ）は、ディスプレイＤから発せられた光がカメラＣに達するまでの軌跡を模式的に示す図である。図９（ｂ）は、ユーザの目により反射された第１画像の反射像を示す図である。

図１を参照して説明したとおり、ヘッドマウントディスプレイ１の筐体２の側面には、レンズＬが設けられている。視線検出装置１０は、ディスプレイＤとユーザの目との間に設けられたレンズＬを含む装置として構成されてもよい。このような場合において、図９（ａ）に示すように、ディスプレイＤから発せられた光は、ユーザの目ＥＹのみならず、レンズＬの表面により反射される。具体的には、符号ｒ１１に示される光は、レンズＬにおけるユーザ側表面において反射されてカメラＣに到達する。また、符号ｒ１２に示される光は、レンズＬにおけるディスプレイＤ側表面において反射されてカメラＣに到達する。

このように反射光がカメラＣに到達する場合に、図９（ｂ）に示すように、ユーザの目Ｅを撮像した第２画像Ｂにおいて、複数の反射像が形成されることとなる。具体的には、第２画像Ｂは、ユーザの目ＥＹにより反射された反射像Ｆ１１の他に、符号ｒ１１に示される反射光に基づく反射像Ｆ０１及び符号ｒ１２に示される反射光に基づく反射像Ｆ０２を含むこととなる。

このように、ディスプレイＤに表示された第１画像の反射像が重複して第２画像Ｂに含まれる場合には、視線特定部１３は、第１画像の形状に対する反射像の形状の歪みを適切に算出することができない。そこで、本実施形態の視線検出装置１０では、光の反射を低減させる反射防止加工が表面に施されたレンズＬが適用されることとしてもよい。これにより、ユーザの目ＥＹにより反射された反射像のみを含む第２画像Ｂを得ることができる。

次に、図１０を参照して、視線検出装置１０における視線検出方法について説明する。図１０は、本実施形態の視線検出方法の処理内容を示すフローチャートである。

ステップＳ１において、視線検出装置１０は、視線検出機能を備えるコンテンツを起動する。ステップＳ２において、表示制御部１１は、所定の第１画像をディスプレイＤに表示させる。

ステップＳ３において、カメラＣは、ユーザの目を撮像する。続くステップＳ４において、画像取得部１２は、ステップＳ２においてカメラＣにより撮像された画像を第２画像として取得する。この第２画像は、ユーザの目による反射された第１画像の反射像を含む。

ステップＳ５において、視線特定部１３は、第２画像に含まれる第１画像の反射像の歪みを算出する。そして、ステップＳ６において、視線特定部１３は、ステップＳ５において算出された反射像の歪みに基づいて、ユーザの視線方向を特定する。

ステップＳ７において、視線検出装置１０は、ステップＳ１において起動させたコンテンツを終了させるか否かを判断する。コンテンツを終了させると判断された場合には処理を終了させる。一方、コンテンツを終了させると判断されなかった場合には処理はステップＳ２に戻る。

次に、コンピュータを、本実施形態の視線検出装置１０として機能させるための制御プログラムについて説明する。図１１は、視線検出プログラムＰ１の構成を示す図である。

視線検出プログラムＰ１は、視線検出装置１０における視線検出処理を統括的に制御するメインモジュールｍ１０、表示制御モジュールｍ１１、画像取得モジュールｍ１２及び視線特定モジュールｍ１３を備えて構成される。そして、各モジュールｍ１１〜ｍ１３により、視線検出装置１０における表示制御部１１、画像取得部１２及び視線特定部１３のための各機能が実現される。なお、視線検出プログラムＰ１は、通信回線等の伝送媒体を介して伝送される態様であってもよいし、図１１に示されるように、記録媒体Ｍ１に記憶される態様であってもよい。

以上説明した本実施形態の視線検出装置１０、視線検出方法及び視線検出プログラムＰ１では、ディスプレイＤに表示させた所定の第１画像の反射像が、ユーザの目を撮像することにより取得される。反射像の形状における第１画像の形状に対する歪みは、ユーザの視線方向が反映されているので、反射像の歪みに基づいてユーザの視線方向を特定できる。これにより、所定の第１画像の表示及びユーザの目の撮像のための構成の他に特段の構成を必要としないので、簡易かつ安価な構成によりユーザの視線方向を特定できる。さらに、ユーザの視線方向の特定により、ディスプレイＤの画面におけるユーザの注視点を特定できるので、注視点の位置に基づく種々の制御を実施できる。

また、別の形態に係る視線検出装置では、第１画像は、長方形であり、反射像は、四辺形を呈することとしてもよい。

上記形態によれば、単純な形状の長方形を第１画像として表示させることにより、視線検出のための構成を実現できる。

また、別の形態に係る視線検出装置では、視線特定部は、反射像の各辺の長さの比に基づいて視線方向を特定することとしてもよい。

上記形態によれば、四辺形を呈する反射像において容易に測定可能な各辺の長さの比を視線方向の算出に用いるので、容易に視線方向を特定できる。

また、別の形態に係る視線検出装置では、第１画像は、複数の所定の図形を含み、視線特定部は、反射像に含まれる複数の図形の位置関係に基づいて視線方向を特定することとしてもよい。

上記形態によれば、反射像に含まれる複数の図形の位置関係に基づいて、第１画像に対する反射像の歪みを取得できるので、容易にユーザの視線方向を特定できる。

また、別の形態に係る視線検出装置では、表示装置とユーザの目との間に設けられたレンズを含み、レンズの表面に、光の反射を低減させる反射防止加工が施されていることとしてもよい。

第１画像が表示される表示装置とユーザの目との間にレンズが設けられている場合には、レンズの表面において光の反射が発生するので、第２画像において、ユーザの目により反射された反射像の他に、レンズ表面により反射された反射像が発生する可能性がある。上記形態によれば、レンズの表面に反射防止加工が施されているので、ユーザの目により反射された反射像のみを含む第２画像を得ることができる。

以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ−Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ−Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ−ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ−Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

情報等は、上位レイヤ(または下位レイヤ)から下位レイヤ(または上位レイヤ)へ出力され得る。複数のネットワークノードを介して入出力されてもよい。

入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

本明細書で使用する「システム」および「ネットワーク」という用語は、互換的に使用される。

また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。

本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

本明細書で「第１の」、「第２の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

「含む（include）」、「含んでいる（including）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。

本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。

本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。

１…ヘッドマウントディスプレイ、２…筐体、１０…視線検出装置、１１…表示制御部、１２…画像取得部、１３…視線特定部、Ｃ…カメラ、Ｄ…ディスプレイ、Ｍ１…記録媒体、ｍ１０…メインモジュール、ｍ１１…表示制御モジュール、ｍ１２…画像取得モジュール、ｍ１３…視線特定モジュール、Ｐ１…視線検出プログラム、Ｌ…レンズ。

Claims (6)

1. 所定の第１画像を表示装置に表示させる表示制御部と、
   ユーザの目の少なくとも一部を含む領域を撮像して得られた画像であって、前記ユーザの目により反射された前記第１画像の反射像を含む画像である第２画像を取得する画像取得部と、
   前記第２画像に含まれる前記反射像の前記第１画像に対する歪みに基づいて前記ユーザの視線方向を特定する視線特定部と、
   を備える視線検出装置。
2. 前記第１画像は、長方形であり、
   前記反射像は、四辺形を呈する、
   請求項１に記載の視線検出装置。
3. 前記視線特定部は、前記反射像の各辺の長さの比に基づいて視線方向を特定する、
   請求項２に記載の視線検出装置。
4. 前記第１画像は、複数の所定の図形を含み、
   前記視線特定部は、前記反射像に含まれる複数の図形の位置関係に基づいて視線方向を特定する、
   請求項１に記載の視線検出装置。
5. 前記表示装置と前記ユーザの目との間に設けられたレンズを含み、
   前記レンズの表面に、光の反射を低減させる反射防止加工が施されている、
   請求項１〜３のいずれか一項に記載の視線検出装置。
6. コンピュータに、
   所定の第１画像を表示装置に表示させる表示制御機能と、
   ユーザの目の少なくとも一部を含む領域を撮像して得られた画像であって、前記ユーザの目により反射された前記第１画像の反射像を含む画像である第２画像を取得する画像取得機能と、
   前記第２画像に含まれる前記反射像の前記第１画像に対する歪みに基づいて前記ユーザの視線方向を特定する視線特定機能と、
   を実現させる視線検出プログラム。

Images