JP2017012746A - 視線追跡デバイスおよび前記視線追跡デバイスを埋め込む頭部装着型デバイス - Google Patents

Abstract

【課題】使用者の視線の確実かつ正確な追跡が可能な視線追跡デバイスを提供する。【解決手段】視線追跡デバイスを備える頭部装着型デバイスであって、使用者の目１０３の表面上に赤外光１０８を投影するように構成された複数の光源１０１と、使用者の目の表面から反射された赤外光１０８を捕捉するライトフィールドカメラ１０４を備え、ライトフィールドカメラ１０４は、複数のマイクロレンズ１０６からなるマイクロレンズアレイ１０５が装備される。【選択図】図１

Description

本開示は、一般に、とりわけ目の開きが狭い使用者向けの、使用者の視線の確実かつ正確な追跡を提供することが可能な視線追跡デバイスに関する。

視線追跡は、人間の頭部に対する注視点または目の動きを測定するプロセスである。視線追跡デバイスは、眼位および眼球運動を測定することが可能なデバイスである。

国際公開第２０１３／１６７８６４号に開示されているように、視線追跡は、頭部装着型デバイスまたはＨＭＤの主要な特徴である。なぜならそれは、頭部の移動度の限界を超えたところに配置された物体を視るように、そのようなＨＭＤの使用者の能力を拡張することができるからである。１つの視線追跡技術は、ＨＭＤの使用者の目の位置を決定するために、使用者の目の中に赤外光を投影し、１次プルキンエ反射および瞳孔がマスクされた反射を利用することからなる。この方法は、使用者の目の前に配置されたビームスプリッタを用いて使用者の注視点を特徴付けるベクトルを設定するために、反射された画像の相対的な動きを追跡することからなる。この結果得られる視線追跡デバイスは、大きくて扱いにくく、ＨＭＤ内に埋め込むのが困難である。この方法の別の制限は、照明方式と反射された画像の幾何学図形的配列との組合せのために制限された視野である。

本発明は、上記を考慮に入れて考案した。

本発明の第１の特徴は、視線追跡デバイスにかかわり、視線追跡デバイスは、
− 前記視線追跡デバイスの使用者の目の表面上に赤外光を投影するように構成された複数の光源と、
− 上記使用者の上記目の上記表面から反射された上記赤外光を捕捉するライトフィールドカメラと、
を備える。

本発明による視線追跡デバイスの実施形態では、上記光源は、上記使用者の上記目の視野の周辺部に配置される。

本発明による視線追跡デバイスの実施形態では、上記ライトフィールドカメラは、上記使用者の上記目の視野の周辺部に配置される。

本発明による視線追跡デバイスの実施形態では、上記光源は、偏光された赤外光を放出する。

本発明による視線追跡デバイスの実施形態では、少なくとも上記ライトフィールドカメラのマイクロレンズアレイのマイクロレンズに、偏光フィルターが装備される。

本発明の第２の特徴は、少なくとも１つの視線追跡デバイスを備える頭部装着型デバイスにかかわり、視線追跡デバイスは、
− 前記視線追跡デバイスの使用者の目の表面上に赤外光を投影するように構成された複数の光源と、
− 上記使用者の上記目の上記表面から反射された上記赤外光を捕捉するライトフィールドカメラと、
を備える。

本発明による頭部装着型デバイスの実施形態によると、上記光源は、上記頭部装着型デバイスのフレームの縁上に配置される。

本発明による頭部装着型デバイスの実施形態によると、上記ライトフィールドカメラは、上記頭部装着型デバイスの上記フレームの上記縁上に配置される。

本発明による頭部装着型デバイスの実施形態によると、上記ライトフィールドカメラは、上記頭部装着型デバイスの上記フレームの側部上に埋め込まれる。

本発明の要素によって実施されるいくつかのプロセスは、コンピュータで実施することができる。したがって、そのような要素は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェアとハードウェアの特徴を組み合わせた実施形態の形をとることができ、本明細書ではすべてを全体として、「回路」、「モジュール」、または「システム」と呼ぶことができる。さらに、そのような要素は、任意の有形表現媒体内で実施されるコンピュータプログラム製品の形をとることができ、媒体内で実施されるコンピュータ使用可能プログラムコードを有する。

本発明の要素は、ソフトウェアで実施することができるため、本発明は、任意の適したキャリア媒体上のプログラム可能装置に提供するためのコンピュータ可読コードとして実施することができる。有形のキャリア媒体は、フロッピーディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープデバイス、または固体状態メモリデバイスなどの記憶媒体を含むことができる。一時的なキャリア媒体は、電気信号、電子信号、光信号、音響信号、磁気信号、または電磁信号、たとえばマイクロ波またはＲＦ信号などの信号を含むことができる。

本発明の実施形態について、例示のみを目的として、以下の図面を参照しながら、次に説明する。
本発明の実施形態による視線追跡デバイスを表す図である。 本発明の実施形態による視線追跡デバイスのライトフィールドカメラのマイクロレンズアレイのマイクロレンズを表す図である。 本発明の実施形態による視線追跡デバイスのライトフィールドカメラによって取得されるライトフィールドデータを処理する装置を示す概略ブロック図である。 本発明の実施形態による視線追跡デバイスを埋め込む頭部装着型デバイスを表す図である。

当業者には理解されるように、本原理の特徴は、システム、方法、またはコンピュータ可読媒体として実施することができる。したがって、本原理の特徴は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、またはソフトウェアとハードウェアの特徴を組み合わせた実施形態の形をとることができ、本明細書ではすべてを全体として、「回路」、「モジュール」、または「システム」と呼ぶことができる。さらに、本原理の特徴は、コンピュータ可読記憶媒体の形をとることができる。１つまたは複数のコンピュータ可読記憶媒体の任意の組合せを利用することができる。

図１は、本発明の実施形態による視線追跡デバイス１００を表す。そのような視線追跡デバイス１００は、たとえばあご当てを備える固定の支持体上に装着することができ、または持ち運びできるデバイスとして実施することができる。本説明では以下、視線追跡デバイス１００は、持ち運びできるタイプであると仮定するが、以下に記載する本発明の実施形態は、固定の支持体上に装着される視線追跡デバイス上でも同様に実施することができる。

図１に表す視線追跡デバイス１００は、使用者の左目向けに設計される。使用者の右目向けに適合された視線追跡デバイスは、図１に示す視線追跡デバイス１００に対して対称である。

視線追跡デバイス１００は、複数の光源１０１を備える。光源１０１は、赤外光源またはＩＲ光源１０１である。ＩＲ光源１０１は、視線追跡デバイス１００のフレーム１０２上に配置される。このようにして、ＩＲ光源１０１は目１０３の視野の周辺部に配置されるため、ＩＲ光源１０１は、視線追跡デバイス１００の使用者の目１０３の視野内に位置しない。本発明の実施形態では、ＩＲ光源１０１は、円板、長方形などの開口とすることができる。

視線追跡デバイス１００のフレーム１０２内に、ライトフィールドカメラ１０４が埋め込まれる。したがって、ＩＲ光源１０１と同様に、ライトフィールドカメラ１０４も、目１０３の視野の周辺部に配置される。ライトフィールドカメラ１０４は、複数のマイクロレンズ１０６を備えるマイクロレンズアレイ１０５を備える。

円板部分１０７ａは、右側を見ている目１０３を表す。ＩＲ光源１０１によって放出されるＩＲ光１０８ａは、右側を見ている目１０７ａに当たって入射角θ１で反射する。反射したＩＲ光１０８ｂは、マイクロレンズ１０６を通ってライトフィールドカメラ１０４によって捕捉される。

円板部分１０７ｂは、左側を見ている目１０３を表す。ＩＲ光源１０１によって放出されるＩＲ光１０９ａは、左側を見ている目１０７ｂに当たって入射角θ２で反射する。反射したＩＲ光１０９ｂは、マイクロレンズ１０６を通ってライトフィールドカメラ１０４によって捕捉される。

ライトフィールドカメラ１０４によって捕捉される画像内の信号対雑音比を増大させ、したがって得られる視線追跡情報の精度の増大を与えるため、目に当たるＩＲ光の反射を可能な限り多く生成することが重要である。この目標を実現するために、ＩＲ光源１０１は、ＩＲ光源１０１によって放出されるＩＲ光がライトフィールドカメラ１０４のセンサの少なくとも１つの画素によって捕捉されるようなパターンで、視線追跡デバイス１００のフレームの周囲全体にわたって配置することができる。

本発明の別の実施形態では、使用者の視線の測定の感度を増大させるために、ＩＲ光が目１０３の表面に当たって反射する際に目１０３の表面に対して法線方向のベクトルに関係する追加情報が使用される。実際には、目１０３の表面に対して法線方向のベクトルに関する知識は、目１０３の向きを計算することを有効にする。

目１０３の表面に対して法線方向のベクトルに関係するそのような情報は、ＩＲ光を偏光させることによって得られる。

本発明の第１の実施形態では、ＩＲ光源１０１は、偏光されたＩＲ光を放出する。ＩＲ光の偏光は、ＩＲ光源１０１に偏光フィルターを装備することによって実現することができる。

図２に表す本発明の第２の実施形態では、ライトフィールドカメラ２００のマイクロレンズアレイ２０２のマイクロレンズ２０１に偏光フィルターが装備される。たとえば、マイクロレンズ２０１には、２つの異なるタイプの偏光フィルター２０３、２０４が装備される。たとえば、偏光フィルター２０３、２０４は、直線偏光タイプとすることができ、偏光フィルター２０３、２０４の偏光は互いに直交している。偏光フィルター２０３、２０４はまた、円偏光タイプとすることができ、偏光フィルター２０３、２０４の偏光は互いに逆向きである。

ＩＲ光源１０１によって放出された偏光されていないＩＲ光が眼球の表面に当たる反射は、自然偏光を提供することができる。実際には、放出されたＩＲ光の入射角がブルースター角に等しくなることが標的とされるとき、反射したＩＲ光の偏光は、平行偏光に近くなり、すなわち反射したＩＲ光の偏光は、入射するＩＲ光および反射したＩＲ光によって画定される平面に直交する。ブルースター角は、眼球に当たるＩＲ光の反射が生じる位置で眼球の表面に対する法線ベクトルによって画定され、他の媒体が空気であることを考慮して、眼球の透明媒体材料の屈折率にのみ依存する。ブルースター角の値は、それ自体が測定されるのではなく、偏光効果を通じて光に与えられる効果だけが検出される。

したがって、本発明の別の実施形態では、ＩＲ光源１０１のいくつかは、偏光されたＩＲ光を放出するのに対して、他のＩＲ光源１０１は、偏光されていないＩＲ光を放出する。偏光されていないＩＲ光を放出するＩＲ光源は、放出されるＩＲ光の入射角と、この入射角に応じて眼球に入射するＩＲ光の反射が反射したＩＲ光の自然偏光をもたらすという知識とに基づいて選択される。

本発明の別の実施形態では、偏光されたＩＲ光を放出するＩＲ光源１０１の選択は動的であり、使用者の目の現在の位置に基づく。したがって、使用者の目の現在の位置に応じて、所与のＩＲ光源１０１は、偏光されたＩＲ光を放出し、または偏光されたＩＲ光を放出しない。

使用者の目の位置を決定するために、ライトフィールドカメラ１０４、２００によって捕捉されるＩＲ光に関係する情報は、画像処理デバイスへ送信される。本発明の実施形態では、画像処理デバイスおよび視線追跡デバイス１００は、頭部装着型デバイスまたはＨＭＤなどの同じ装置内に埋め込まれる。本発明の別の実施形態では、画像処理デバイスおよび視線追跡デバイス１００は、互いから離れた２つの別個のデバイスである。視線追跡デバイス１００のライトフィールドカメラ１０４によって捕捉されるＩＲ光に関係する情報は、ケーブルまたは無線通信を介して画像処理デバイスへ送信される。本発明のそのような実施形態では、視線追跡デバイス１００は、頭部装着型デバイス内に埋め込まれるのに対して、画像処理デバイスは、たとえばコンピュータ内に埋め込まれる。

図３は、本発明の実施形態による視線追跡デバイス１００のライトフィールドカメラ１０４によって取得されたライトフィールドデータを処理する装置の例を示す概略ブロック図である。

装置３００は、バス３０６によって接続されたプロセッサー３０１、記憶ユニット３０２、入力デバイス３０３、ディスプレイデバイス３０４、およびインターフェースユニット３０５を備える。当然ながら、コンピュータ装置３００の構成要素は、バス接続以外の接続によって接続することもできる。

プロセッサー３０１は、装置３００の動作を制御する。記憶ユニット３０２は、プロセッサー３０１によって実行されるべき少なくとも１つのプログラムと、ライトフィールドカメラ１０４によって取得されまたは視線追跡デバイス１００によって提供されるライトフィールドデータ、プロセッサー３０１によって実行される演算によって使用されるパラメータ、プロセッサー３０１によって実行される演算の中間データなどを含む様々なデータとを記憶する。プロセッサー３０１は、任意の知られている適したハードウェアもしくはソフトウェア、またはハードウェアおよびソフトウェアの組合せによって形成することができる。たとえば、プロセッサー３０１は、処理回路などの専用のハードウェアによって、またはそのメモリ内に記憶されたプログラムを実行するＣＰＵ（中央処理ユニット）などのプログラム可能処理ユニットによって、形成することができる。

記憶ユニット３０２は、プログラム、データなどをコンピュータ可読に記憶することが可能な任意の適した記憶部または手段によって形成することができる。記憶ユニット３０２の例は、半導体メモリデバイスなどの非一時的コンピュータ可読記憶媒体、および読み書きユニット内へロードされる磁気、光、または光磁気記録媒体を含む。プログラムは、プロセッサー３０１に学習プロセスおよび分類プロセスを実行させる。

入力デバイス３０３は、使用者によってコマンドを入力するために使用されるキーボード、マウスなどのポインティングデバイスなどによって形成することができる。出力デバイス３０４は、たとえばグラフィカルユーザインターフェース（ＧＵＩ）を表示するためのディスプレイデバイスによって形成することができる。入力デバイス３０３および出力デバイス３０４は、たとえばタッチスクリーンパネルによって一体形成することができる。

インターフェースユニット３０５は、装置３００と外部装置との間のインターフェースを提供する。インターフェースユニット３０５は、ケーブルまたは無線通信を介して外部装置に通信可能とすることができる。実施形態では、外部装置は、視線追跡デバイス１００を埋め込む頭部装着型デバイスまたは視線追跡デバイス１００自体とすることができる。この場合、視線追跡デバイス１００のライトフィールドカメラ１０４によって取得されるライトフィールドデータは、インターフェースユニット３０５を通って視線追跡デバイス１００から装置３００へ入力することができ、次いで記憶ユニット３０２内に記憶することができる。

この実施形態では、装置３００について、それは視線追跡デバイス１００から分離されるがそれらはケーブルまたは無線通信を介して互いに通信可能であるものとして、例示的に論じる。

学習プロセスは、複数の眼位が検索される訓練期間からなり、学習プロセスの例は、効率的かつ正確なニューラルネットワークまたは任意の他の機械学習プロセスの使用に依拠することができる。したがって、訓練期間中、ＩＲ光が目によって反射された後にライトフィールドカメラ１０４によって捕捉されるＩＲ光源１０１によって放出されたＩＲ光に関係するデータは、複数の眼位に対して装置３００の記憶ユニット３０２内に記憶される。これらの記憶された位置は、たとえば動いている制御された標的または任意の他の較正手段の使用を通じて決定することができる。パターンは、ライトフィールドカメラ１０４によって捕捉される複数の画像内の複数の反射光点として画定され、捕捉された画像内の位置ならびにそれぞれの反射光点の強度は、装置３００の記憶ユニット３０２内に記憶される。

次いで、プロセッサー３０１は、目の推定位置を決定する識別プロセスを走らせる。識別プロセスは、訓練期間後、プロセッサー３０１によってリアルタイムで実行される。学習プロセスの結果、すなわち記憶ユニット３０２によって記憶されるＩＲ光源１０１によって放出されたＩＲ光の反射パターンを使用して、使用者の目の位置をリアルタイムで決定することが可能である。

本発明の異なる実施形態による視線追跡デバイス１００は、捕捉されたＩＲ光に関係する情報を与え、この情報は、処理された後、特にアジア人の目などの狭い開きを有する目向けの、正確かつ確実な視線の追跡を有効にする。これは、空間的な相違を導入するライトフィールドカメラ１０４の使用のために可能になる。視線追跡の精度は、空間的な相違に加えて偏光に相違を導入することによって増大される。

図４は、頭部装着型デバイス４００の使用者の左目４０１ａおよび右目４０１ｂの位置をそれぞれ決定するための２つの視線追跡デバイスを埋め込む頭部装着型デバイス４００を表す。

視線追跡デバイスは、複数の光源４０２ａおよび４０２ｂを備える。光源４０２ａ、４０２ｂはＩＲ光源である。ＩＲ光源４０２ａ、４０２ｂは、頭部装着型デバイス４００のフレーム４０３上に配置される。本発明による頭部装着型デバイス４００の実施形態で、ＩＲ光源４０２ａ、４０２ｂは、頭部装着型デバイス４００のフレーム４０３の縁４０４内に埋め込まれる。このようにして、ＩＲ光源４０２ａ、４０２ｂは、頭部装着型デバイス４００の使用者の目４０１ａ、４０１ｂの視野内に位置しない。本発明の別の実施形態では、ＩＲ光源４０２ａ、４０２ｂはまた、頭部装着型デバイス４００のフレーム４０３の側部４０５ａ、４０５ｂ内に埋め込まれる。

本発明の実施形態では、視線追跡デバイスの空間的なサンプリングを改善するために、頭部装着型デバイス４００内に２次ＩＲ光源（図示せず）が埋め込まれる。２次ＩＲ光源によって放出されるＩＲ光は、まず、頭部装着型デバイス４００の主レンズまたは主ディスプレイに当たって反射する。本発明の実施形態では、２次ＩＲ光源は、卵形の幾何学図形的配列を呈する開口とすることができ、または格子とすることができる。

頭部装着型デバイス４００のフレーム４０３内に、ライトフィールドカメラ４０６ａ、４０６ｂが埋め込まれる。したがって、ＩＲ光源４０２ａ、４０２ｂと同様に、ライトフィールドカメラ４０６ａ、４０６ｂも、目４０１ａ、４０１ｂの視野の周辺部に配置される。ライトフィールドカメラ４０６ａ、４０６ｂは、複数のマイクロレンズを備えるマイクロレンズアレイを備える。

頭部装着型デバイス４００の別の実施形態では、ライトフィールドカメラ４０６ａ、４０６ｂは、頭部装着型デバイス４００のフレーム４０３の側部４０５ａ、４０５ｂ上に埋め込まれる。

使用者の視線の測定の感度を増大させるために、頭部装着型デバイス４００の第１の実施形態では、ＩＲ光源４０２ａ、４０２ｂは、偏光されたＩＲ光を放出する。ＩＲ光の偏光は、ＩＲ光源４０２ａ、４０２ｂに偏光フィルターを装備することによって実現することができる。

頭部装着型デバイス４００の第２の実施形態では、ライトフィールドカメラ４０６ａ、４０６ｂのマイクロレンズアレイのマイクロレンズに偏光フィルターが装備される。

ＩＲ光源１０１によって放出された偏光されていないＩＲ光が眼球の表面に当たる反射は、自然偏光を提供することができる。したがって、頭部装着型デバイス４００の第３の実施形態では、ＩＲ光源４０２ａ、４０２ｂのいくつかは、偏光されたＩＲ光を放出するのに対して、他のＩＲ光源４０２ａ、４０２ｂは、偏光されていないＩＲ光を放出する。偏光されていないＩＲ光を放出するＩＲ光源は、放出されるＩＲ光の入射角と、この入射角に応じて眼球に当たる入射するＩＲ光の反射が反射したＩＲ光の自然偏光をもたらすという知識とに基づいて選択される。

頭部装着型デバイス４００の別の実施形態では、偏光されたＩＲ光を放出するＩＲ光源４０２ａ、４０２ｂの選択は動的であり、使用者の目の現在の位置に基づく。したがって、使用者の目の現在の位置に応じて、所与のＩＲ光源４０２ａ、４０２ｂは、偏光されたＩＲ光を放出し、または偏光されたＩＲ光を放出しない。

使用者の目の位置を決定するために、ライトフィールドカメラ４０６ａ、４０６ｂによって捕捉されるＩＲ光に関係する情報は、画像処理デバイスへ送信される。本発明の実施形態では、画像処理デバイスは、頭部装着型デバイス４００内に埋め込まれる。本発明の別の実施形態では、画像処理デバイスおよび頭部装着型デバイス４００は、互いから離れた２つの別個のデバイスである。ライトフィールドカメラ４０６ａ、４０６ｂによって捕捉されるＩＲ光に関係する情報は、ケーブルまたは無線通信を介して画像処理デバイスへ送信される。

本発明について特有の実施形態を参照して上記で記載したが、本発明は、特有の実施形態に限定されるものではなく、本発明の範囲内の当業者には修正形態が明らかであろう。

多くのさらなる修正形態および変形形態は、本発明の範囲を限定しようとするものではなく例示のみを目的として与えられる説明に役立つ上記の実施形態を参照すれば当業者には想到されよう。本発明の範囲は、添付の特許請求の範囲のみによって決定される。特に、異なる実施形態からの異なる特徴は、適宜入れ替えられる。

Claims (9)

1. 視線追跡デバイスであって、
   − 前記視線追跡デバイスの使用者の目の表面上に赤外光を投影するように構成された複数の光源と、
   − 前記使用者の前記目の前記表面から反射された前記赤外光を捕捉するライトフィールドカメラと、
   を備える、前記視線追跡デバイス。
2. 前記光源は、前記使用者の前記目の視野の周辺部に配置される、請求項１に記載の視線追跡デバイス。
3. 前記ライトフィールドカメラは、前記使用者の前記目の視野の周辺部に配置される、請求項１または２に記載の視線追跡デバイス。
4. 前記光源は、偏光された赤外光を放出する、請求項１乃至３のいずれか一項に記載の視線追跡デバイス。
5. 少なくとも前記ライトフィールドカメラのマイクロレンズアレイのマイクロレンズに、偏光フィルターが装備される、請求項１乃至３のいずれか一項に記載の視線追跡デバイス。
6. 少なくとも１つの視線追跡デバイスを備える頭部装着型デバイスであって、
   − 前記視線追跡デバイスの使用者の目の表面上に赤外光を投影するように構成された複数の光源と、
   − 前記使用者の前記目の前記表面から反射された前記赤外光を捕捉するライトフィールドカメラと、
   を備える、前記頭部装着型デバイス。
7. 前記光源は、前記頭部装着型デバイスのフレームの縁上に配置される、請求項６に記載の頭部装着型デバイス。
8. 前記ライトフィールドカメラは、前記頭部装着型デバイスの前記フレームの前記縁上に配置される、請求項６または７に記載の頭部装着型デバイス。
9. 前記ライトフィールドカメラは、前記頭部装着型デバイスの前記フレームの側部上に埋め込まれる、請求項８に記載の頭部装着型デバイス。

Images