JP2018196730A - 眼の位置を監視するための方法およびシステム - Google Patents

Abstract

【課題】眼の位置を監視するための方法を提供する。【解決手段】この発明は、眼の位置を監視する方法であって、眼のデジタル画像のシーケンスを捕捉するステップ（２０２）と、眼の動きを表す生体信号データのシーケンスを取得するステップ（２０４）と、デジタル画像のシーケンスに基づいて基準の眼の位置のセットを決定するステップ（２０６）と、基準の眼の位置のセットと生体信号のシーケンスとに基づいて中間の眼の位置のセットを決定するステップ（２０８）とを含み、前記中間の眼の位置のセットは、基準の眼の位置のセットに対する眼の位置を表し、前記中間の眼の位置は、デジタル画像のシーケンスの連続した画像対の間の眼の位置を表す。【選択図】図３

Description

本発明の概念は、眼の位置を監視するための方法およびシステムに関する。

眼の追跡は、眼の動きに変換される眼の周りの電位差を検出するために電極対を使用することに基づくことができる。一対の電極は、しばしば電気眼球図記録（ＥＯＧ）と呼ばれる、人間の眼の前部と後部との間に存在する角膜の定常電位を測定するために眼の両側に配置されることができ、検出された電位差は、眼の位置と関連することができる。また、代替的に、電極は、眼の動きを検出するように筋肉生成生体電位信号を取得するように構成されてもよい。

このような生体信号ベースの眼の追跡は、眼の動きを検出するのに有利に使用され、読み取り速度解析および睡眠解析などの眼の追跡用途によく使用される。電位差の検出は非常に速くてもよく、これにより、生体信号に基づく眼の追跡が速い眼の動きを検出することが可能になる。しかしながら、電位差を検出すると、ドリフト誤差が生じることがあり、ある期間にわたって正確に眼の位置を決定することは不可能であるが、眼の動きなどの差分情報のみを検出することができる。

本発明の概念の目的は、改善された眼の追跡を可能にすることである。追加の目的は、より迅速で確実な眼の動きを検出することができる一方で、より信頼性が高く正確な眼の追跡を可能にすることを含む。さらなるおよび代替の目的は、以下から理解され得る。

第１の態様によれば、眼の位置を監視する方法であって、眼のデジタル画像のシーケンスを取得するステップと、眼の動きを表す生体信号データのシーケンスを取得するステップと、デジタル画像のシーケンスに基づいて基準の眼の位置のセットを決定するステップと、基準の眼の位置のセットと生体信号のシーケンスとに基づいて中間の眼の位置のセットを決定するステップとを含み、中間の眼の位置のセットは、基準の眼の位置のセットに対する眼の位置を表し、中間の眼の位置のセットは、デジタル画像のシーケンスの連続した画像対の間の眼の位置を表す。

眼のデジタル画像のシーケンスを捕捉することにより、画像処理技術を用いてデジタル画像に基づいて正確な眼の位置を決定することができる。したがって、基準の眼の位置が決定され得、取得された生体信号データは、基準の眼の位置の中間の眼の位置を決定するために、基準の眼の位置に関連し得る。したがって、生体信号データ上で決定される眼の位置の精度は、生体信号データが、眼の動きの検出だけでなく、眼の位置の指標として確実に使用されるように改善され得る。

非常に短い間隔で正確な基準の位置が提供されないように、眼のデジタル画像の捕捉および処理の速度は、画像捕捉装置のフレームレートによって制限され得る。しかしながら、画像捕捉装置のフレームレートよりもはるかに高速で取得された取得生体信号データの使用は、２つの連続するデジタル画像の捕捉時間に対応する２つの時間の瞬間の間の眼の位置の決定を可能にする。したがって、生体信号データは、デジタル画像に基づいて決定され得る正確な眼の位置の間に中間の眼の位置を提供することができる。

本明細書で使用される眼の位置は、基準フレーム、例えば、ユーザの頭部（すなわち、頭部に対して固定された関係を有する基準フレーム）に関連して、眼の位置、または等価的に向きまたは回転を指す。眼の位置は、基準フレームに関連して視線方向を決定することができる。したがって、眼の位置は、ユーザの頭に基づいて、基準フレームに対して眼内の瞳孔の位置を規定することができる。しかしながら、眼の位置は、視線の位置を、視線方向に対応する角度として表すことができるように、視線方向に対応する眼の位置を代わりに定めることができる。さらに別の方法として、眼の位置は、ユーザが見ている基準フレーム内に定義することができ、視線方向は、ユーザが見える画面などの基準フレーム内の位置の形態で表すことができる。

眼の位置を監視するための方法は、ユーザの両眼で実行されることができる。したがって、それぞれの眼は、それぞれの眼の位置を決定するために、別々に監視されてもよい。しかしながら、ユーザの両眼の眼の位置を監視する場合、眼の位置のそれぞれの監視からの情報を結合することができ、さらに、ユーザの視線方向の結論を引き出すことができることも理解されたい。例えば、各眼の視線方向を決定することによって、視線方向を比較して、ユーザから見ている物体までの距離を決定することができる。ユーザがユーザに近い物体を見ている場合、それぞれの眼の視線方向の角度は、大きな収束する反対の角度を形成し得る一方、遠くの物体を見る場合、視線方向は、平行な角度に近くなる場合がある。

基準の眼の位置は、特定の瞬間の眼の位置を示す基準または「グランドトゥルース」を設定することができる。その後、基準の眼の位置が決定された特定の瞬間に続く時間的な瞬間の生体信号データに基づいて眼の位置が決定されるように、基準に関連する眼の位置の変化を決定するために、その後の生体信号データを使用することができる。

この方法は、リアルタイムまたはほぼリアルタイムで眼の位置を監視するために使用されることができ、したがって、眼の位置は、例えば、コンピュータを制御するために使用されるリアルタイム入力として使用されてもよい。基準の眼の位置および中間の眼の位置を決定するステップは、代わりに、別の処理操作で使用することもできるし、リアルタイムで実行する必要もない。したがって、デジタル画像の捕捉および生体信号データの取得は、例えば、リアルタイムで実行するのに適していない眼の動きの高度な解析を行うために、後の処理で使用されるサンプル情報を収集することができる。

デジタル画像のシーケンスおよび生体信号のシーケンスに対して別個の処理操作を実行する場合、シーケンス内の情報は全体として考慮されることができ、必ずしも情報の捕捉および取得の時間順に処理される必要はない。例えば、中間の眼の位置を決定する場合、
中間の眼の位置を表す生体信号データが、連続する対の第１の画像によって表される第１の基準位置から、連続する対の第２の画像によって表される第２の基準の位置への眼の位置の移動に対応するように、連続する一対の画像の両方の基準の眼の位置を、中間の眼の位置を決定するための基礎として使用することができる。

一実施形態によれば、この方法は、生体信号のシーケンスに基づいて相対的な眼の位置のセットを決定するステップをさらに含み、中間の眼の位置のセットの決定は、基準の眼の位置のセットと相対的な眼の位置のセットを結合するステップを含む。

したがって、生体信号データは、相対位置のシーケンスを形成する相対的な眼の位置を決定するために処理されることができる。これは、基準の眼の位置が以前のデジタル画像に基づいてまだ決定されていない間に生体信号データが処理されるように、相対的な眼の位置のセットを決定するために、例えば、別個のプロセッサまたは処理スレッドにおいて生体信号データを別々に処理することができることを意味する。基準の眼の位置が決定されると、相対的な眼の位置のセットは、相対的な眼の位置のそれぞれに基づいて絶対位置が形成されることを可能にするために、基準の眼の位置と容易に結合され得る。したがって、生体信号データのシーケンスに基づいて相対的な眼の位置のセットを決定することは、デジタル画像および生体信号の処理の分離を容易にし、眼の位置のリアルタイム監視において非常に有利であり得る。

一実施形態によれば、この方法は、結合ユニットにおいて、決定された基準の眼の位置のセットを含む第１のストリームを受信するステップと、決定された相対的な眼の位置を含む第２のストリームを受信するステップと、第１のストリームと第２のストリームを結合して、眼の位置の単一のストリームを形成するステップとを含む。したがって、結合ユニットは、信頼性があり、リアルタイムアプリケーションにおける眼の位置の監視の使用を容易にする高いレートで提供され得る眼の位置の単一のストリームを形成することができる。第１および第２のストリームは、時間基準を共有してもよく、または結合ユニットは、第１および第２のストリームを連続した眼の位置の単一のストリームに適切に結合するために、相対的な眼の位置を時間基準の眼の位置に関連付ける方法を知っていてもよい。

一実施形態によれば、第２のストリームのサンプルレートは、第１のストリームのサンプルレートよりも高く、結合された単一のストリームは、第１のストリームのサンプルレートよりも高いサンプルレートを有する。したがって、結合ユニットから出力される眼の位置のサンプルレートは、デジタル画像を捕捉するレートよりも高くすることができる。単一ストリームのサンプルレートは、第１のストリームのサンプルレートよりも実質的に高い第２のストリームのサンプルレートに対応することができる。しかしながら、代わりに、単一ストリームのサンプルレートは、第１ストリームと第２ストリームのサンプルレートの間、例えば、第２ストリームのサンプルレートの半分とすることができる。単一のストリームは、第２のストリームよりも低いレートを有することができるが、第２のストリームの全ての実行可能なサンプルは、単一のストリームに含まれる中間位置を決定する際に依然として使用され得る。いくつかのサンプルは、瞼が閉じているときの眼のデジタル画像、まばたきまたは人工物に関する生体信号データなど、正しい眼の位置を提供することに寄与しないことがあることを認識すべきである。そのようなサンプルは、第１のストリームと第２のストリームとを単一のストリームに結合させるときに、ストリームから除外されても無視されてもよい。

一実施形態によれば、基準の眼の位置のセットおよび相対的な眼の位置のセットは、共通座標系に関して決定される。したがって、基準の眼の位置と相対的な眼の位置は、共通座標系で表すことができるので、容易に結合させることができる。

一実施形態によれば、共通座標系は外部基準に基づいている。これは、眼の位置が外部基準に関連している可能性があることを意味する。一実施形態では、外部基準は、ユーザの頭部から制御された距離にある画面に対応してもよく、眼の位置は、眼が向けられる画面上の位置として表されてもよい。画面とユーザの頭部との間の制御された一定の距離を維持するために、支持構造または案内構造を使用することができる。画面は、ユーザが着用するゴーグルに配置されるなど、ユーザの頭部に対して取り付けられてもよく、これにより、画面とユーザの頭部との間の制御された距離が確保される。

一実施形態によれば、この方法は、生体信号データに基づいて眼のデジタル画像に基づいて眼の位置を較正することをさらに含み、前記較正は、予測可能な眼の位置のシーケンスをトリガする刺激のシーケンスを提供するステップと、予測可能な眼の位置のシーケンスに関連して眼のデジタル画像の較正シーケンスを捕捉するステップと、予測可能な眼の位置のシーケンスに関して眼の動きを表す生体信号データの較正シーケンスを取得し、共通座標系における基準の眼の位置のための較正データおよび中間の眼の位置のための較正データを決定するステップとを含む。したがって、較正は、共通座標系に関して較正データを決定することを可能にする、共通の予測可能な眼の位置に基づいて基準の眼の位置および中間の眼の位置を較正するように、画像ベースの眼の位置を生体信号に基づく眼の位置に関連付けることができる。これは、画像に基づく眼の位置と生体信号に基づく眼の位置との結合を容易にする。

一実施形態によれば、前記刺激のシーケンスは、画面位置の指示を含み、前記較正データは、基準の眼の位置および中間の眼の位置を画面の位置に相関させる。したがって、眼の位置は画面に関連する可能性があり、画面上に提示される情報との相互作用によって処理ユニットを制御することを容易にすることができる。

較正は、ユーザの頭部と画面との間の制御された距離で実行されることができる。したがって、較正は、ユーザの頭が画面に対して制御された距離にあるために、眼の位置を画面上の位置の形で表すことができるようにすることができる。しかしながら、ユーザの頭部と画面との間の異なる距離に関連して較正データを提供するために、複数の較正を実行してもよいことも理解されるべきである。

第２の態様によれば、眼の位置を監視するためのシステムであって、眼のデジタル画像のシーケンスを捕捉するように構成された画像捕捉装置と、眼の動きを表す生体信号データのシーケンスを取得するように構成された生体信号取得ユニットと、デジタル画像のシーケンスに基づいて基準の眼の位置のセットを決定するように構成された処理ユニットと、基準の眼の位置のセットと生体信号のシーケンスとに基づいて中間の眼の位置のセットを決定し、中間の眼の位置のセットは基準の眼の位置のセットに対する眼の位置を表し、中間の眼の位置のセットはデジタル画像のシーケンスの連続した画像対の間の眼の位置を表す。

この第２の態様の効果および特徴は、第１の態様に関連して上述したものと概ね類似している。第１の態様に関して述べた実施形態は、第２の態様と大きく互換性がある。

したがって、このシステムは、基準の眼の位置および中間の眼の位置を生成するように動作可能な、画像捕捉装置、生体信号取得ユニットおよび処理ユニットを含むことができる。したがって、システムは、信頼性の高い正確な眼の位置を提供しながら、高いサンプルレートで眼の位置を生成することができる。

画像捕捉装置、生体信号取得ユニットおよび処理ユニットは、それぞれ別個の装置であることができ、有線または無線の通信により互いに通信するように構成されることができる。しかしながら、１つまたは複数の構成要素を共通のハウジングに一体化することができ、システムの取り扱いを容易にすることができる。例えば、構成要素間の関係は、最初に使用する前のシステムのセットアップを簡略化することができるように、ハウジング内で予め規定することができる。

画像捕捉装置とは、デジタル画像データの形式で画像を形成する機能を有する任意の装置を意味する。画像捕捉装置は、デジタル読取りを備えたデジタルカメラまたは任意のイメージングセンサ（相補型金属酸化膜半導体（ＣＯＭＳ）または電荷結合素子（ＣＣＤ））であってもよい。

生体信号取得ユニットとは、好ましくは、皮膚電極のセットを介して、ユーザに、電気測定によってアナログ生体信号を取得することが可能な任意の手段を意味する。生体信号取得ユニットは、さらに、デジタルサンプルにアナログ生体信号を変換することができる。このユニットは、専用センサ回路、特定用途向け集積回路（ＡＳＩＣ）、またはシステムオンチップ（ＳｏＣ）またはシステムインパッケージ（ＳｉＰ）などの高機能システムのブロックであってもよい。

一実施形態によれば、処理ユニットは、デジタル画像のシーケンス基づいて基準の眼の位置のセットを決定するように構成された画像プロセッサおよび生体信号データのシーケンスに基づいて相対的な眼の位置のセットを決定するように構成された生体信号プロセッサを含む。したがって、デジタル画像のシーケンスおよび生体信号のシーケンスは、別々に処理され得る。したがって、例えば、前のデジタル画像に基づいて基準の眼の位置がまだ決定されていない間に、生体信号データを処理することができる。

処理ユニットは、別個の画像プロセッサおよび生体信号プロセッサが提供され得るように、専用プロセッサブロックを備えることができる。しかしながら、処理ユニットは、代わりに、画像プロセッサおよび生体信号プロセッサのための別々の処理スレッドを実行することができる中央処理ユニット（ＣＰＵ）などの単一の処理ユニットを備えることもできる。また、画像プロセッサおよび生体信号プロセッサを実装するためのプロセッサブロックは、システム内の任意の場所に配置することができ、画像捕捉装置および生体信号取得ユニットにそれぞれ埋め込むことさえできる。

一実施形態によれば、処理ユニットは、基準の眼の位置のセットおよび相対的な眼の位置のセットに基づいて中間の眼の位置を決定するように構成されたコンバイナをさらに備える。したがって、相対的な眼の位置は、基準の眼の位置に基づいて絶対的な位置に変換することができる。

一実施形態によれば、コンバイナは、基準の眼の位置のセットと相対的な眼の位置のセットに基づいて眼の位置の単一ストリームを出力するように構成される。したがって、眼の位置の単一のストリームを提供することができ、単一のストリームは、眼の位置に入力するように反応し得る、例えば、外部ユニットによって容易に使用され得る。

第３の態様によれば、ユーザに情報を提示するように構成された画面と、第２の態様による眼の位置を監視するためのシステムであって、眼の位置は画面上の位置に関して決定され、ユーザの視線方向の指示として眼の位置を受信するように構成され、さらに、受信された眼の位置に関して画面を制御するように構成されたコントローラとを含む。

この第３の態様の効果および特徴は、第１および第２の態様に関連して上述したものと概ね類似している。第１および第２の態様に関して述べた実施形態は、第３の態様と大きく互換性がある。

したがって、眼の位置を監視するためのシステムは、画面上に提示される情報が眼の動きによって少なくとも部分的に制御され得るように、画面上の提示を制御するシステムと一体化され得る。これは、例えば、障害者がコンピュータを制御することを可能にするため、または仮想現実システムまたは拡張現実システムにおける任意の処理装置の視覚制御を可能にするために非常に有用であり得る。

第４の態様によれば、眼の位置を監視するための装置であって、ユーザにヘッドマウントされるように構成されたキャリアを含み、前記システムは、前記キャリア上に搭載されている第２の態様のシステムである。

この第４の態様の効果および特徴は、第１、第２および第３の態様に関連して上述したものと概ね類似している。第１、第２および第３の態様に関して述べた実施形態は、第４の態様と大きく互換性がある。

ヘッドマウントされるように構成されたキャリアにシステムを取り付けることにより、眼の位置を監視するための装置は非常に使い易い。画像捕捉装置および生体信号取得ユニットは、ヘッドマウントキャリアが装着されたときに、画像捕捉装置と生体信号取得ユニットとが人の目に適切な関係で配置されるように、キャリア上に配置されてもよい。したがって、システムは、ヘッドマウントキャリアがユーザの頭部に配置されるとすぐに使用する準備ができている可能性がある。

一実施形態によれば、キャリアは、仮想現実または拡張現実用の一対の眼鏡またはヘッドセットである。したがって、眼の位置を監視するための装置は、仮想現実または拡張現実を提供するためにユーザによって着用されることができるキャリアに統合されてもよい。次いで、システムによって決定された眼の位置は、仮想現実または拡張現実の制御のための入力として使用され得る。

キャリアは、例えば、仮想現実または拡張現実を実現する場合、ユーザに対して十分に制御された距離に配置されたビルトイン画面を提供することもできることを理解されたい。このようにして、較正のための刺激を内蔵画面に投影し、デジタル画像の対応する較正シーケンスおよび生体信号データを取得して、眼の位置を内蔵画面の座標系に較正することができる。

本発明の概念の上記の目的、追加の目的、特徴および利点は、添付の図面を参照して、以下の例示的および非限定的な詳細な説明によってよりよく理解されるであろう。図面において、特に断らない限り、類似の要素には同様の参照番号が使用される。

一実施形態に係る眼の位置を監視するためのシステムのブロック図である。 生体信号データを取得するための電極の配置を示すユーザの図である。 一実施形態に係る方法のフローチャートである。 画像ベースのデータと生体信号データとを眼の位置のストリームに結合する模式図である。 データの結合を示す図である。 図１のシステムの較正を示す概略図である。 生体信号データおよび画像ベースのデータを示し、眼の位置の単一のストリームを形成する図である。 画面上の提示を制御するシステムの概略図である。 眼の位置を監視するためのシステムが搭載されているヘッドマウントキャリアを有する装置の概略図である。

ここで、図１を参照して、眼の追跡のためのシステム１００について説明する。眼の追跡は、人間の視覚システムの研究や、人間とコンピューティングデバイスとの間の相互作用を制御するための入力など、複数のアプリケーションに使用できる。例えば、システム１００は、少なくとも部分的に、拡張現実、仮想現実または生体信号取得および処理からの範囲のアプリケーションにおいてユーザが着用するゴーグルまたは他のアイウェアのようなウェアラブルデバイスに実装され得る。一対のゴーグルには、眼の追跡のための２つのシステム１００、各眼のための１つのシステム１００が設けられ得る。しかしながら、２つのそのようなシステム１００は、例えば、取得されたデータを処理するために、少なくとも部分的に要素を共有することができる。以下では、単一のシステム１００のみについて説明する。

システム１００は、画像捕捉装置１１０を備えることができる。画像捕捉装置１１０は、ウェアラブルデバイスに組み込まれ得るデジタルカメラとして実施され得る。例えば、ユーザが着用したヘッドマウント構造にカメラを配置し、ユーザの眼から近い距離で画像を取得するように設定することができる。しかしながら、画像捕捉装置１１０は、ユーザから離れて配置されてもよい。例えば、画像捕捉装置１１０は、デスクトップコンピュータモニタ、ラップトップ、携帯電話、タブレットコンピュータ、または他の何らかのポータブルコンピューティングデバイスに組み込まれた、またはデスクトップコンピュータモニタに接続可能なデジタルカメラによって形成されてもよい。他の例には、テレビまたはビデオゲームコンソールが含まれる。

画像捕捉装置１１０は、光学システム１１２および画像センサ１１４を備えることができる。光学システム１１２は、物体を画像センサ１１４上に結像させるように構成され得る。光学システム１１２は、近距離の眼を撮像するように予め構成されてもよい。例えば、画像捕捉装置１１０がゴーグルのようなヘッドマウント構造に組み込まれている場合、光学システム１１２と眼との間の距離は、事前に周知であってもよい。

画像センサ１１４は、感光領域のアレイを備え、蓄積された入射光を表す信号を出力するように制御される感光領域を用いて画像を記録するように構成することができる。

画像センサ１１４は、相補型金属酸化物半導体（ＣＭＯＳ）画像センサまたは電荷結合素子（ＣＣＤ）画像センサであってもよい。

画像捕捉装置１１０は、眼のデジタル画像のシーケンスを取り込むように構成することができる。画像は、視線方向および瞳孔位置、瞳孔面積、瞳孔速度、固有の虹彩識別情報、および光刺激に対する反応時間などの有用な情報を提供する他の眼の特徴を示す可能性のあるユーザの眼の位置を決定することを可能にするために、眼、場合によっては眼の周りの小さな領域を画像化するように配置され得る。

システム１００は、画像処理ユニット１２０をさらに含むことができる。画像処理ユニット１２０は、画像捕捉装置１１０からデジタル画像のシーケンスを含むデータを受け取るように構成され得る。

画像処理ユニット１２０は、例えば、データバスを共有することによって、イメージセンサ１１４に本質的に接続されたＡＳＩＣ、ＳｉＰ、ＳｏＣなどのより高レベルのエンティティの論理デジタルブロックであってもよい。

画像処理ユニット１２０は、例えば、共通のプリント回路基板上に搭載されるか、または画像センサ１１４に有線接続を介して接続されることによって、画像センサ１１４に直接接続されてもよい。

あるいは、画像処理ユニット１２０は、画像捕捉装置１１０に遠隔に配置されてもよい。例えば、画像処理ユニット１２０は、デスクトップコンピュータ、ラップトップ、テレビ、ビデオゲームコンソール内に、または携帯電話やタブレットコンピュータのように、ユーザによって携帯されたり、着用されたりする、ポータブルコンピューティングデバイスに配置されてもよい。この場合、システム１００は、画像捕捉装置１１０と画像処理ユニット１２０との間で通信するための送信機１３０をさらに備えることができる。例えば、送信機１３０は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）／ＷｉＦｉ（登録商標）または他の無線プロトコルを使用して、画像処理ユニット１２０が配置される外部ユニットと無線通信するために配置されてもよい。

画像処理ユニット１２０は、眼の位置、向き、回転および他の特徴のシーケンスを決定するために、デジタル画像のシーケンスを処理するように構成されることができる。画像処理ユニット１２０は、例えば、瞳孔の位置および／または虹彩の位置、瞳孔の領域、その周囲、または虹彩と瞳孔の領域の間の比を決定することができ、これは次に、ユーザの視線方向、他の眼に関連する特徴の中でも、外部刺激に対するユーザの反応または眼の速度を決定することができる。

画像処理ユニット１２０による処理は、さらなる眼の特徴抽出を含むことができる。例えば、瞳孔サイズおよび虹彩測定は、各デジタル画像に対して実行されてもよい。また、デジタル画像のシーケンスに基づいて、眼の特徴抽出は、眼の動き、瞳孔変動、瞳孔速度などを含み得る。

画像処理ユニット１２０は、デジタル画像処理が可能なものであればよい。画像処理ユニット１２０は、画像処理ユニット１２０の機能を実行する専用回路を含む専用画像処理ユニット１２０として実装されてもよい。回路は、デジタル論理回路であってもよい。この回路は、チップセットなどの集積回路に実装することができる。この回路は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）に実装することもできる。画像処理ユニット１２０はまた、処理動作を実行するためのソフトウェア命令のセットを備えることができる中央処理装置（ＣＰＵ）などのマイクロプロセッサのような汎用処理ユニットに実装することもできる。

画像処理ユニット１２０によって抽出された特徴は、将来の解析のためにメモリに記憶されてもよく、および／またはヒューマン・コンピュータ・インタフェースを提供する際に抽出された特徴を解釈するためのコントローラなどに報告されてもよい。

画像処理ユニット１２０は、所望の特徴を抽出するために、各画像の比較的広範囲の画像処理を実行する必要があり得る。したがって、処理を高速化するために、各デジタル画像に眼が結像されるという前提に基づいて、処理ユニット１２０によって実行される画像処理を行うことができる。

システム１００は、生体信号取得ユニット１４０をさらに備えることができる。生体信号取得ユニット１４０は、眼の活動を表す生体信号データを取得するように構成されることができる。この点において、生体信号取得ユニット１４０は、眼の活動に関して筋肉、皮膚または神経活動に基づいて生体電位を登録するように構成されることができる。

生体信号取得ユニット１４０は、ユーザの眼の領域に配置されるように構成された皮膚電極１４２のセットを備えることができる。図２に示すように、皮膚電極のセット１４２は、それぞれ、眼の上方及び下方に配置される皮膚電極１４２ａ−ｂの対を含むことができる。さらに、生体信号取得ユニット１４０は、それぞれ、眼の左右に配置されている皮膚電極１４２ｃ−ｄの対を含むことができる。

眼は、陽極が角膜にあり、陰極が網膜にある双極子として機能する。電極１４２間の電位差は、皮膚電極１４２に対する眼双極子の配置を表すことができる。皮膚電極１４２に対する眼双極子の配置の検出に基づいて取得された生体信号データは、電気眼球図記録（ＥＯＧ）データと呼ぶことができる。生体信号データは、眼の動きを示すことができ、ＥＯＧデータの検出は、眼の動きを、例えば、相対的な眼の位置のシーケンスとして決定するために使用されることができる。

したがって、眼の上下に配置された第１の電極対１４２ａ−ｂは、垂直方向に関する眼の動きを決定するように配置され、一方、眼の左右に配置された第２の電極対１４２ｃ−ｄは、水平方向に関する眼の動きを決定するように配置されることができる。両方の電極対を使用して、水平方向および垂直方向の動きを別々に検出し、一緒に２次元での眼の動きを表すことができる。

上述したように、２つの並列システム１００を設定して、ユーザの両眼の位置を監視することもできる。そのような場合、並列システム１００の生体信号取得ユニット１４０は、別々の電極のセットを備えてもよく、各セットは一方の眼を監視するように意図されている。しかしながら、電極の少なくとも１つを両眼の位置を監視するために使用してもよいことも理解されたい。例えば、単一の電極１４２ａが両眼の上に配置されてもよく（図２に示されるより広い領域にわたって延在する）、ユーザの右眼の下の第１の電極１４２ｂは、右眼の眼の動きの尺度として単一電極１４２ａに関して生体電位を検出するように構成されることができ、一方、ユーザの左眼の下の第２の電極（図示せず）は、左眼の眼の動きの尺度として単一電極１４２ａに関して生体電位を検出するように構成されることができる。同様に、眼の間に配置された電極は、ユーザの右眼の右側に配置された電極およびユーザの左眼の左に配置された電極に関連して、水平方向の眼の動きの尺度を取得するために共有され、使用されることができる（ユーザの視点から見た場合）。

一対の電極１４２ａ−ｂ、１４２ｃ−ｄは、眼に対してそれぞれ垂直軸および水平軸に完全に整列される必要はない。むしろ、それぞれの電極対１４２ａ−ｂ、１４２ｃ−ｄに基づいて取得された測定値は、それぞれ、垂直方向および水平方向の成分を有することができ、水平軸および垂直軸に属する直交射影を得るために、取得された信号に対して幾何学的補正を行うことができる。これは、ユーザの両眼の位置を監視する２つの並列システム１００を有する場合に特に有用であり得る。

生体信号取得ユニット１４０は、皮膚電極１４２のセットに接続された回路１４４をさらに備え、各一対の皮膚電極１４２ａ−ｂ、１４２ｃ−ｄにおける皮膚電極１４２間の電位差を測定するように構成され、測定された電位差をサンプリングしてデジタル化することによって、測定された電位差を生体信号データとして取得することができる。電位差のデータの測定および取得のための回路自体は、当技術分野で知られているので、ここではこれ以上説明しない。

システム１００は、生体信号処理ユニット１５０をさらに備えることができる。生体信号処理ユニット１５０は、生体信号取得ユニット１４０から生体信号データを受信するように構成されることができる。

生体信号処理ユニット１５０は、眼双極子の配置に基づいて、および／または眼の動きに相関する可能性のある検出された筋活動に基づいて、眼の位置を決定するために、受信した生体信号を処理するように構成されることができる。したがって、生体信号処理ユニット１５０は、眼の位置、少なくとも眼の位置の変化の形の相対位置を決定するように生体信号データを解析するアルゴリズムを含むことができる。

生体信号処理ユニット１５０は、水平および垂直の眼の動きが別個に決定され得るように、電極１４２ａ−ｂ、１４２ｃ−ｄの各対から受信した生体信号データを別々に処理するように構成されることができる。次に、水平および垂直の眼の動きを、２次元の眼の動きの単一の表現に結合することができ、各サンプルは、時間の瞬間において水平および垂直の眼の位置の両方の表現を提供する。

また、生体信号処理ユニット１５０は、眼の動き以外の眼の活動を検出するために、受信した生体信号データを処理するように構成されることができる。例えば、生体信号処理ユニット１５０は、眼の瞼の閉および開または衝動性運動（ｓａｃｃａｄｅｓ）を決定するように構成されることができる。したがって、生体信号処理ユニット１５０は、眼が閉じようとしているとき、または眼が閉じられているとき、眼が開こうとしているとき、または眼が開いているとき、または衝動性運動に対応する迅速な眼の動きが生じるときを決定するために生体信号データを解析するアルゴリズムを含むことができる。

生体信号処理ユニット１５０は、生体信号データを処理し、取得された生体信号データに基づいて眼の動きおよび／または眼の位置を決定することができる任意のユニットであることができる。生体信号処理ユニット１５０は、生体信号処理ユニット１５０の機能を実行する専用の回路を含む専用のハードウェア生体信号処理ユニットとして実施することができる。この回路は、デジタル論理回路であってもよい。この回路は、チップセットなどの集積回路に実装することができる。この回路はまた、ＦＰＧＡまたはＡＳＩＣに実装されてもよい。生体信号処理ユニット１５０はまた、画像処理ユニット１２０と共有される回路で実現されてもよい。生体信号処理ユニット１５０は、例えば、処理動作を実行するためのソフトウェア命令のセットを備えたＣＰＵのようなマイクロコントローラ（ＭＣＵ）、マイクロプロセッサなどの汎用処理ユニットに常駐するソフトウェアで実現されてもよい。生体信号処理ユニット１５０は、画像処理ユニット１２０と同一の処理部に実装されてもよい。例えば、生体信号処理ユニット１５０および画像処理ユニット１２０は、共通のプロセッサ上で実行される別々の処理スレッドとして実現されてもよい。

生体信号処理ユニット１５０は、例えば、共通のプリント回路基板上に搭載されるか、または回路１４４への有線接続を介して接続されることによって、生体信号取得ユニット１４０の回路１４４に直接接続されることができる。

あるいは、生体信号処理ユニット１５０は、生体信号取得ユニット１４０に遠隔的に配置されることができる。例えば、生体信号処理ユニット１５０は、デスクトップコンピュータ、ラップトップ、テレビ、ビデオゲームコンソールに、または携帯電話やタブレットコンピュータのように、ユーザによって携帯されたり、着用されたりすることができるポータブルコンピューティングデバイスに配置されることができる。したがって、送信機１３０は、生体信号取得ユニット１４０と生体信号処理ユニット１５０との間で通信するように構成することもできる。

システム１００は、ヘッドマウント構造上の自己完結型ユニットとして構成することができる。したがって、上述したようなシステム１００のすべての構成要素は、共通のコンパクトなハウジング１０２内に配置されることができる。これは、システム１００が、別個に製造され得るゴーグルのようなヘッドマウント構造内に、またはヘッドマウント構造上に後で設置または一体化され得る自己完結型ユニットとして製造され、供給され得ることを意味する（システム１００の製造とは異なる場所であっても）。例えば、ハウジング１０２は、ユーザが着用するゴーグルまたは他のアイウェアのフレームに搭載され得るか、または装着され得る。

ここで、図３を参照して、眼の位置を監視する方法２００について説明する。この方法は、上述したようなシステム１００によって実行されることができる。

この方法は、眼のデジタル画像のシーケンスを捕捉するステップ２０２を含む。デジタル画像のシーケンスを捕捉するステップ２０２は、画像捕捉装置１１０によって実行することができる。したがって、各デジタル画像は、デジタル画像を捕捉する時間に対応する時間の瞬間に、眼の位置の表示を提供することができる。

この方法は、生体信号データのシーケンスを取得するステップ２０４をさらに含む。生体信号シーケンスを取得するステップ２０４は、生体信号取得ユニット１４０によって実行することができる。生体信号シーケンスを取得するステップは、眼のデジタル画像のシーケンスを捕捉するステップと同時に行うことができる。生体信号のシーケンスにおけるサンプルは、サンプルを取得する時間に対応する時間の瞬間に、眼の位置の表示または眼の位置の変化を提供することができる。

この方法は、デジタル画像のシーケンスに基づいて基準の眼の位置のセットを決定するステップ２０６をさらに含む。デジタル画像のシーケンスは、画像処理ユニット１２０に転送することができ、画像処理ユニット１２０は、各画像から目の位置を抽出するように構成することができる。したがって、抽出された眼の位置は、それぞれ、それぞれのデジタル画像が捕捉された時間の瞬間に関連する基準の眼の位置のセットを形成することができる。

この方法は、中間の眼の位置のセットを決定するステップ２０８をさらに含む。中間の眼の位置のセットを決定するステップは、相対的な眼の位置または眼の位置の変化を決定するために、生体信号処理ユニット１５０によって処理され得る生体信号のシーケンスに基づくことができる。相対的な眼の位置は、１つまたは複数の基準の眼の位置と結合された生体信号のデータのシーケンスに基づいて眼の絶対的な位置を決定するために、１つまたは複数の基準の眼の位置と結合されることができる。したがって、デジタル画像のシーケンスの連続した画像対の間の眼の位置を表す中間的な眼の位置は、眼の位置のシーケンスがデジタル画像の捕捉レートよりも高いレートで生成されるように決定されることができる。

次に、図４を参照して、画像捕捉装置１１０によって捕捉された情報と生体信号取得ユニット１４０との結合についてさらに説明する。画像ベースの眼の追跡および生体信号ベースの眼の追跡は、２つの並列プロセスを形成することができ、各プロセスは、眼の位置のシーケンスに結合することができるデータのセットを取得する。

したがって、画像捕捉装置１１０はデジタル画像のシーケンスを画像処理ユニット１２０に転送することができる。画像処理ユニット１２０は、各デジタル画像に対応する眼の位置を抽出するように構成されることができ、したがって、例えば、座標系のｘ座標とｙ座標の形で表示さる基準の眼の位置のセットを出力することができる。デジタル画像は、比較的低いフレームレートで捕捉されることができ、したがって、基準の眼の位置も対応するレートで提供されることができる。

画像処理ユニット１２０はまた、眼のデジタル画像から抽出され得る他の特徴を決定するように構成されることができる。例えば、瞳孔サイズおよび虹彩測定は、各デジタル画像に対して実行されることができる。

画像処理ユニット１２０は、第１のストリーム１６２内の基準の眼の位置のセットを結合ユニット１６０に出力するように構成することができる。また、眼のさらなる特徴は、情報の第１のストリーム１６２内の眼の位置または別個のストリーム内の眼の位置に出力されることができる（別の処理において眼の位置の抽出を容易にすることができる）。

生体信号取得ユニット１４０は、生体信号データのシーケンスを生体信号処理ユニット１５０に転送することができる。生体信号処理ユニット１５０は、生体信号データの各サンプルを対応する相対的な眼の位置に変換するように構成されることができ、例えば、座標系におけるｘ座標およびｙ座標の変化の形で相対的な眼の位置を出力することができる。生体信号データは比較的高いフレームレートで捕捉することができ、したがって相対的な眼の位置も対応するレートで提供することができる。生体信号処理ユニット１５０は、相対的な眼の位置のセットを結合ユニット１６０に出力するように構成されることができる。

生体信号取得ユニット１４０は、眼の水平（ｘ）および垂直（ｙ）の動きに対応する２つの独立したチャネルにおける電位差を取得するように構成されることができる。したがって、相対的な眼の位置は、決定された相対的な眼の位置を含む第２のストリーム１６４に出力され得る２つの独立したチャネルに基づくことができる。

また、生体信号処理ユニット１５０は、生体信号データに基づいてイベント検出を行うようにすることができる。したがって、生体信号処理ユニット１５０は、瞬きおよび／または衝動性運動を検出するように構成されることができ、情報の第２のストリーム１６４内の眼の相対位置または別個のストリーム内でイベントを出力することができる（さらなる処理において眼の位置の抽出を容易にすることができる）。イベントは、アイ・コントロールされたコンピューティングデバイスへのイベントドリブンの入力として、ユーザ対話において使用されることができる。瞬きと衝動性運動は、例えば、項目を選択するために、例えばコンピューティングデバイスへのコマンドとして使用することができる。

結合ユニット１６０は、第１および第２のストリームを受信し、その入力を眼の位置の単一のストリーム１６６に結合することができる。眼の位置の単一のストリームは、第１のストリーム１６２のレートよりも実質的に高いレートを提供することができ、第２のストリーム１６４のレートと同じであることができる。また、結合ユニット１６０は、出力される単一ストリーム１６６に含まれる第２のストリームの相対的な眼の位置の一部のみを選択することができる。例えば、第２のストリーム１６４の１つおきのサンプルポイントは、すべてのサンプルポイントが個々の眼の位置の精度に寄与するが、単一のストリーム１６６に含まれることができる。

基準の眼の位置および相対的な眼の位置は、共通座標系に関して結合ユニットに提供され、結合ユニット１６０が情報を単一のストリームに直接結合することができる。２つの連続するデジタル画像の間の時間の瞬間に対応する相対的な眼の位置のシーケンスは、絶対的な中間の眼の位置を第１の基準の眼の位置へのオフセットとして決定するために、第１の基準の眼の位置に関して処理されることができる。したがって、眼の位置のセットがリアルタイムで（近くに）形成されることができる。

相対的な眼の位置が別々に処理されるので、結合ユニット１６０は、生成されるとすぐに、生体信号処理ユニット１５０から相対的な眼の位置を受信することができる。画像処理は、生体信号データ処理よりも複雑な処理を必要とすることがあるので、基準の眼の位置は、デジタル画像の捕捉に関して迅速に生成されないことがある。結合ユニット１６０が基準の眼の位置を受信するとすぐに、結合ユニット１６０は、生体信号処理ユニット１５０から既に受信された可能性のある相対的な眼の位置に基づいて中間の眼の位置を決定することができる。画像処理ユニット１２０から新たな基準の眼の位置が受信されるまで、生体信号処理ユニット１５０から受信された新しい相対的な眼の位置情報に基づいて、結合ユニット１６０は中間の眼の位置を決定し続ける。

基準の眼の位置および相対的な眼の位置は、タイムスタンプと関連付けられることができ、その結果、結合ユニット１６０は、第１のストリーム１６２および第２のストリーム１６４を互いに関連付けることができる。あるいは、画像処理ユニット１２０および生体信号処理ユニット１５０によってクロックが共有され、結合ユニット１６０への情報の出力は、基準の眼の位置を相対的な眼の位置に時間的に関連付けるために、結合ユニット１６０がデフォルト情報を使用するようにクロックされることができる。

上述したように、２つの並列システム１００を設定して、ユーザの両眼の位置を監視することもできる。この場合、システム１００は、結合ユニット１６０が、眼の各々について第１および第２のストリーム１６２，１６４の入力を受信するように、結合ユニット１６０を共有することができる。したがって、結合ユニット１６０は、右眼用の単一のストリーム１６６と、左眼用の別の単一のストリームとを形成することができる。しかしながら、ユーザの眼にさらなる結論を引き出すために、眼の位置、例えば両方の眼の視線方向を表す角度の形態などの眼の位置を使用してもよいことを認識すべきである。例えば、各眼の視線方向を決定することによって、視線方向を比較して、ユーザから見ている物体までの距離を決定することができる。ユーザがユーザに近い物体を見ている場合、それぞれの視線の視線方向の角度は、大きな収束する反対の角度を形成し得る一方、ユーザが遠くの物体を見る場合、視線方向は平行な角度に近く形成される。このような情報は、結合ユニット１６０によって決定されることができ、結合ユニット１６０は、それぞれの眼の位置の情報だけでなく、ユーザが見る物体までの距離も出力することができる。

並列システム１００からの情報の結合を他の方法で得ることができることを理解すべきである。例えば、各システム１００は、眼の位置の単一のストリーム１６６を出力する結合ユニット１６０を含むことができ、全体の制御システムに配置されてもよい別の処理ブロックは、例えば、物体までの距離を決定する眼の位置のストリームを受信することができる。あるいは、並列システム１００は、両眼の画像処理および生体信号処理のための処理ユニットを共有することが考えられる。

生体信号データの使用のおかげで、眼の位置の高レートを提供するためにあまり頻繁に画像を捕捉する必要はない。これは、画像捕捉フレームレートが、所望の精度に関して設定されることができ、必ずしも画像捕捉および画像処理の能力に関連するものではないことを意味する。画像捕捉及び処理は比較的複雑であり、したがって、電力消費があるので、画像捕捉フレームレートを制限することにより、消費電力を制御することができ、携帯機器の電池寿命を長くすることができる。眼の位置の所望の精度は、生体信号データに基づく眼の位置のドリフトが眼の位置の誤差を閾値を超えさせる速度に関連し得る。

図５において、一例は、グラフ３０２に示される生体信号データの高いサンプリングレートが、高い精度で眼の位置に関する良好な短期観察を提供することを示す。時間が経過すると、この信号はドリフトし始め、精度は低下する。一方、グラフ３０４に示されている眼の位置の画像ベースの決定は、ドリフトを有さない。しかしながら、眼の位置の画像ベースの決定は、短期の眼の動きを検出する可能性はない。グラフ３０６に示す両方のタイプのデータを結合することにより、画像ベースのシステムによって提供される長期間の精度による生体信号データの高いサンプリングレートと短期間の精度の結合が得られ、画像捕捉装置１１０で高速にサンプリングする必要はない。

一実施形態によれば、画像は毎秒２フレームの速度で捕捉されるが、生体信号データは２５６Ｈｚのレートで取得される。眼の位置の単一のストリームは、２５６Ｈｚまたは１２８Ｈｚのレートで眼の位置を出力することができる。レートの他の任意の組み合わせも考えられ、上記の値は例示的な例としてとらえられるべきであることを理解すべきである。

一実施形態では、第１および第２のストリーム１６２，１６４は、画像捕捉および生体信号データの取得とは別に処理および解析されることができる。したがって、画像処理ユニット１２０は、デジタル画像のシーケンスに基づいて基準の眼の位置のセットを決定し、画像捕捉後にいつでも発生することがある情報の単一の転送において基準の眼の位置の全セットを結合ユニット１６０に転送することができる。同様に、生体信号処理ユニット１５０は、生体信号データのシーケンスに基づいて相対的な眼の位置のセットを決定し、情報の単一の転送において相対的な眼の位置の全セットを結合ユニット１６０に転送することができる。したがって、結合ユニット１６０は、基準の眼の位置および相対的な眼の位置を眼の位置の単一のストリームに結合することができる。情報を結合する際に、相対的な眼の位置は、相対的な眼の位置に関連して、前後の両方の基準の眼の位置に関連し得る。これは、相対的な眼の位置に基づいて、特に、基準の眼の位置の直前の時間の瞬間に基づいて、眼の位置の精度を改善することができる。このようにして決定された眼の位置は、リアルタイムでは提供されないが、眼の動きを解析する用途において有用であり得る。

結合ユニット１６０は、受信された第１および第２のストリームを処理し、受信したデータに基づいて眼の位置を決定することができる任意のユニットであることができる。結合ユニット１６０は、結合ユニット１６０の機能を実行する専用の回路を含む専用のハードウェア合成ユニットとして実施することができる。回路は、デジタル論理回路であることができる。この回路は、チップセットなどの集積回路に実装することができる。回路はまた、ＦＰＧＡまたはＡＳＩＣに実装されてもよい。結合ユニット１６０は、画像処理ユニット１２０および／または生体信号処理ユニット１５０と共有される回路で実現されてもよい。結合ユニット１６０はまた、処理操作を実行するためのソフトウェア命令のセットを備えた、マイクロコントローラ（ＭＣＵ）、例えば、ＣＰＵなどのマイクロプロセッサのような汎用処理ユニットに存在するソフトウェアで実施されることができる。結合ユニット１６０は、画像処理ユニット１２０および／または生体信号処理ユニット１５０と同一の処理ユニットで実現されてもよい。例えば、結合ユニット１６０、画像処理ユニット１２０および生体信号処理ユニット１５０は、共通のプロセッサ上で実行される個別の処理スレッドとして実行することができる。

ここで、図６を参照して、較正手順を説明する。後で眼の位置を表すのに使用される座標系に関して較正を行うことができる。例えば、外部の座標系が使用されることができ、これは、例えば、眼の動きの監視によって制御されるべき画面を指すことができる。しかしながら、生体信号データは、眼の既知の位置のシーケンス（例えば、撮像による）に較正されることができ、眼の画像内の座標系のような内部座標系に関して較正を代替的に実行することができることを理解すべきである。

図６に示すように、較正手順は、眼のデジタル画像の較正シーケンス４０２を捕捉するステップと、垂直方向の眼の動きに関する生体信号データの較正シーケンス４０４ａおよび水平方向の眼の動きに関する生体信号データの較正シーケンス４０４ｂを取得するステップとを含む。較正シーケンス４０２，４０４ａ−ｂは、予測可能な眼の位置に関して取得することができる。例えば、予測可能な眼の位置のシーケンス４０６をトリガする刺激を提供することができる。

刺激は、例えば、画面位置の表示として提供することができ、これは、ユーザが画面位置に向けて指向するように眼を位置決めするようにトリガする。画面位置の指示は、眼の位置の大きな差に対応する較正シーケンス４０２，４０４ａ−ｂを取得するために、画面のエッジにおける位置を含むことができる。

予測可能な眼の位置のシーケンス４０６をトリガする刺激は、代替的に、ドットまたは他のパターンのような、画面上を移動する指示を画面上に含むことができる。較正手順は、眼の動きの異なる速度に関して較正シーケンス４０２，４０４ａ−ｂを取得するために、いくつかの異なる速度で画面を横切って移動するパターンを含むことができる。

予測可能な眼の位置のシーケンス４０６および較正シーケンス４０２，４０４ａ−ｂは、較正計算アルゴリズム４０８に入力されることができる。較正計算アルゴリズムは、デジタル画像内の眼の位置および速度を対応する画面位置に相関させることができ、画面位置における動きに対する生体信号データの潜在的な差異にも相関させることもできる。

したがって、較正データは、基準の眼の位置および相対的な眼の位置を画面位置に相関させることができる。較正データはまた、較正中にユーザと画面との間の距離に基づいて、視線方向または眼の角度の表示を含むことができる。システム１００が使用されるとき、角度分解能（システムによって知覚される最小検出可能角度）が計算され得るように、ユーザの画面までの距離が決定され得る。

較正データは、画像処理ユニット１２０および生体信号処理ユニット１５０によってアクセス可能なメモリに格納することができる。一実施形態では、画像ベースの眼の追跡に関連する較正データは、画像処理ユニット１２０に関連するメモリに格納され、生体信号ベースの眼の追跡に関連する較正データは、生体信号処理ユニット１５０に関連付けられたメモリに格納される。画像処理ユニット１２０および生体信号処理ユニット１５０は、それぞれの較正データを使用して、受信した情報を画面座標に対して眼の位置に変換することができる。

較正手順は定期的に行うことができる。例えば、較正手順は、眼の位置を監視するためのシステム１００がオンにされるたびに実行されることができる。また、較正手順は、ユーザが再配置したことの検出、信号品質の悪化などの内部トリガに基づいて、またはユーザによって開始されるような外部トリガに基づいて実行されることができる。

眼が画像捕捉装置１１０によって同じ方法で画像化されない場合があるので、システム１００のユーザが変更された場合、較正手順を実行する必要があり（例えば、眼と画像捕捉装置１１０との間の異なる距離）、生体信号取得ユニット１４０によって眼の動きに対する異なる応答が取得されることができる。

ここで、図７を参照すると、画像ベースおよび生体信号ベースの眼の追跡の結合が示されている。一番上のグラフは、（ｙ軸に沿った）垂直方向の生体信号データを示しており、眼の動きの依存性に潜在的な差を提供する。中央のグラフは、捕捉された画像に基づいて決定されたｙ軸に沿った位置を示す。生体信号データは２５６Ｈｚのサンプルレートで取得され、デジタル画像は毎秒３０フレームのサンプルレートで捕捉される。デジタル画像に基づく眼の位置は正確であると見なされる基準の眼の位置を提供するが、基準の眼の位置の間の眼の位置の変化は、はるかに高いサンプルレートで取得される生体信号のデータに基づいて決定される。

一番下のグラフに示されるように、眼の位置の結合された監視は、生体信号データに基づいて、基準の眼の位置の間の中間の眼の位置の情報を提供する。結合された出力は、デジタル画像と生体信号データとの結合に基づいて眼の位置の単一のストリームを提供することができる。したがって、デジタル画像に基づく眼の位置は、ドリフトエラーを回避するために定期的な基準を提供する一方で、生体信号データの取得によって提供される高いサンプルレートで眼の位置の監視が可能になる。

図７から明らかなように、生体信号データは、単に眼のデジタル画像の使用によって検出されない眼の位置の急激な変化を検出することを可能にする。例えば、画像捕捉装置１１０によって決定された第３および第４の眼の位置の間で、下向きの眼の動きとそれに続く上向きの眼の動きが実行され、デジタル画像に基づいて決定された眼の位置は、小さな正味の上向きの動きを示すに過ぎない。

図７からも明らかなように、デジタル画像によって決定された絶対位置は、遅い正味の下向きの眼の動きを示す。しかしながら、生体信号データは、正味の下向き眼の動きを示すものではなく、したがって、生体信号データのみが使用される場合、絶対的な眼の位置は確実に決定されない。

したがって、図７に示すように、眼のデジタル画像を捕捉し、生体信号データを取得することの結合は、迅速な眼の動きの検出を可能にしながら高い精度を提供する。

図８に概略的に示されているように、眼の位置を監視するシステム１００は、システム５００において、画面５０２上での提示を制御するために使用され、したがって、コンピューティングデバイス５０４との対話において使用され得る。画面５０２は、画面５０２上に提示されるものを制御するための出力を提供するコンピューティングデバイス５０４に接続することができる。眼の位置を監視するためのシステム１００は、画面の座標を較正することができ、その結果、結合ユニット１６０は、画面５０２上のどの座標（ピクセル）に目が向けられているかを指示するユーザの視線方向を提供する目の位置のストリームを出力することができる。

コンピューティングデバイス５０４は、結合ユニット１６０から眼の位置のストリームを受信することができるコントローラ５０６をさらに備えることができる。また、コントローラ５０６は、コンピューティングデバイス５０４へのコマンドとして解釈され得る瞬きまたは衝動性運動などの眼のイベントに関する情報を受信することができる。したがって、コントローラ５０６は、眼の位置をコンピューティングデバイス５０４への入力として使用するために、眼の位置のストリームを処理することができる。例えば、カーソルまたはポインタが眼の位置に追従し、ポインタが所望の位置にあるときの瞬きは、その位置に提示された項目の選択として解釈されることができる。したがって、コントローラ５０６は、眼の位置および／または眼のイベントに基づく入力に応答して、コンピューティングデバイス５０４の操作を実行しまたは実行させることができる。操作の実行は、画面５０２上の提示が受信された眼の位置に関して制御されるように、画面５０２上に更新された提示の出力を引き起こすことができる。

眼の位置を監視するためのシステム１００は、少なくとも部分的にコンピューティングデバイス５０４に統合されることができる。したがって、画像捕捉装置１１０によって捕捉されたデジタル画像および生体信号取得ユニット１４０によって取得された生体信号データは、コンピューティングデバイス５０４に送信されることができる。これにより、画像処理ユニット１２０、生体信号処理ユニット１４０および結合ユニット１６０は、コンピューティングデバイス５０４内に統合されることができる。例えば、画像処理ユニット１２０、生体信号処理ユニット１４０および結合ユニット１６０の各機能をＣＰＵが実行するためのソフトウェアとして、別個の処理回路とすることができる。

図９に概略的に示すように、眼の位置を監視するためのシステム１００は、ユーザの頭部に装着するのに適したキャリア６０２を備えることができるデバイス６００に統合されることができる。したがって、キャリア６０２は、仮想現実または拡張現実を提供するゴーグルであってもよい。したがって、キャリア６０２は、ユーザの頭に明確な関係を提供し、キャリア６０２がユーザによって装着されると、キャリア６０２は、ユーザの眼に対して所定の方法で配置される。

画像捕捉装置１１０は、ユーザの眼に向けて指向されるようにキャリア６０２上に搭載されることができ、これは、画像捕捉装置１１０によって高品質の画像が捕捉され得ることを意味する。さらに、生体信号取得ユニット１４０の電極１４２の対は、電極１４２が眼の近くの位置で皮膚に接触するように、ゴーグルの縁に配置されることができる。したがって、生体信号取得ユニット１４０は、眼の動きを表す生体信号データを取得するように構成されている。

さらに、処理ユニット６０４は、キャリア６０２上の適切な位置に搭載されることができ、処理ユニット６０４は、画像処理ユニット１２０、生体信号処理ユニット１５０および結合ユニット１６０の機能を提供して眼の位置のストリームを生成することができる。眼の位置のストリームは、デバイス６００から送信されてもよく、例えば、眼の位置によって提供される入力に基づいて、提示された拡張または仮想現実を適応させるために、外部コンピューティングデバイスによって使用されてもよい。

デバイス６００は、使用が容易であり、眼の位置の監視を開始する前にシステム１００の煩雑な準備を必要としない、予め定義されたセットアップを提供する。ユーザは、ヘッドマウントキャリアを単に配置することができ、それにより、画像捕捉装置１１０および生体信号取得ユニット１４０は、眼の位置を監視するために使用され得るデータを提供するように眼に対して配置される。

上記において、本発明の概念は、限定された数の例を参照して主に説明された。しかしながら、当業者には容易に理解されるように、上に開示したもの以外の他の例も、添付の特許請求の範囲によって規定される本発明の概念の範囲内で等しく可能である。

例えば、眼の位置は、主に座標系に対する位置として提示される。代わりに、眼の位置の情報を同様に提供することができる視線方向を示す角度として、眼の位置を提供することができる。

Claims (15)

1. 眼の位置を監視する方法であって、
   眼のデジタル画像のシーケンスを捕捉するステップ（２０２）と、
   眼の動きを表す生体信号データのシーケンスを取得するステップ（２０４）と、
   前記デジタル画像のシーケンスに基づいて基準の眼の位置のセットを決定するステップ（２０６）と、
   前記基準の眼の位置のセットと前記生体信号データのシーケンスに基づいて中間の眼の位置のセットを決定するステップ（２０８）とを含み、
   前記中間の眼の位置のセットは、前記基準の眼の位置のセットに対する眼の位置を表し、前記中間の眼の位置のセットは、前記デジタル画像のシーケンスの連続した画像対の間の眼の位置を表す方法。
2. 前記方法は、
   前記生体信号データのシーケンスに基づいて相対的な眼の位置のセットを決定するステップをさらに含み、
   前記中間の眼の位置を決定するステップは、前記基準の眼の位置のセットと前記相対的な眼の位置のセットとを結合するステップを含む請求項１の方法。
3. 前記方法は、
   結合ユニット（１６０）において、前記決定された基準の眼の位置のセットを含む第１のストリーム（１６２）を受信するステップと、前記決定された相対的な眼の位置を含む第２のストリーム（１６４）を受信するステップと、前記第１および第２のストリーム（１６２，１６４）を眼の位置の単一のストリーム（１６６）に結合するステップとをさらに含む請求項２の方法。
4. 前記第２のストリーム（１６４）のサンプルレートは、前記第１のストリーム（１６２）のサンプルレートよりも高く、前記結合された単一のストリーム（１６６）は、前記第１のストリーム（１６２）のサンプルレートよりも高いサンプルレートを有する請求項３の方法。
5. 前記基準の眼の位置のセットおよび前記相対的な眼の位置のセットは、共通座標系に対して決定される請求項２ないし４のうちいずれか１項の方法。
6. 前記共通座標系は、外部基準に基づく請求項５の方法。
7. 前記方法は、
   生体信号データに基づいて眼のデジタル画像に基づく眼の位置を眼の位置に較正するステップをさらに含み、前記較正するステップは、予測可能な眼の位置のシーケンスをトリガする刺激のシーケンス（４０６）を提供するステップを含み、
   前記方法は、
   予測可能な眼の位置のシーケンスに関連して眼のデジタル画像の較正シーケンス（４０２）を捕捉するステップと、
   予測可能な眼の位置のシーケンスに関連して眼の動きを表す生体信号データの較正シーケンス（４０４ａ−ｂ）を取得するステップと、
   共通座標系における前記基準の眼の位置のための較正データおよび前記中間の眼の位置のための較正データを決定するステップとを含む請求項１ないし６のうちいずれか１項の方法。
8. 前記刺激のシーケンス（４０６）は、画面位置の指示を含み、前記較正データは、基準の眼の位置および中間の眼の位置を画面位置に相関させる請求項７の方法。
9. 眼の位置を監視するためのシステムであって、
   前記システムは、
   眼のデジタル画像のシーケンスを捕捉するように構成された画像捕捉装置（１１０）と、
   眼の動きを示す生体信号データのシーケンスを取得するように構成された生体信号取得ユニット（１４０）と、
   前記デジタル画像のシーケンスに基づいて基準の眼の位置のセットを決定し、前記基準の眼の位置のセットと前記生体信号データのシーケンスに基づいて中間の眼の位置のセットを決定するように構成された処理ユニット（１２０，１５０，１６０）とを備え、
   前記中間の眼の位置のセットは、前記基準の眼の位置のセットに対する眼の位置を表し、前記中間の眼の位置のセットは、前記デジタル画像のシーケンスの連続した画像対の間の眼の位置を表すシステム。
10. 前記処理ユニット（１２０，１５０，１６０）は、
    前記デジタル画像のシーケンスに基づいて基準の眼の位置のセットを決定するように構成された画像プロセッサ（１２０）と、
    前記生体信号データのシーケンスに基づいて相対的な眼の位置のセットを決定するように構成された生体信号プロセッサ（１５０）と、
    を備える請求項９のシステム。
11. 前記処理ユニット（１２０，１５０，１６０）は、
    前記基準の眼の位置のセットおよび前記相対的な眼の位置のセットに基づいて中間の眼の位置を決定するように構成されたコンバイナ（１６０）をさらに備える請求項１０のシステム。
12. 前記コンバイナ（１６０）は、
    前記基準の眼の位置のセットおよび前記相対的な眼の位置のセットに基づいて眼の位置の単一のストリーム（１６６）を出力するように構成された請求項１１のシステム。
13. 画面（５０２）上の提示を制御するためのシステムであって、
    前記システムは、
    ユーザに情報を提示するように構成された画面（５０２）と、
    請求項９ないし１２のうちいずれか１項に記載の眼の位置を監視するためのシステム（１００）であって、前記眼の位置は、前記画面（５０２）上の位置に関して決定され、
    眼の位置をユーザの視線方向の指示として受信するように構成され、前記受信された眼の位置に関して前記画面（５０２）を制御するようにさらに構成されたコントローラ（５０６）と、
    を備えるシステム。
14. 眼の位置を監視するための装置であって、
    前記装置は、
    ユーザにヘッドマウントされるように構成されたキャリア（６０２）を備え、
    請求項９ないし１３のうちいずれか１項に記載のシステムであって、前記システム（１００）は、キャリア（６０２）上に搭載された装置。
15. 前記キャリア（６０２）は、一対の眼鏡または仮想現実あるいは拡張現実のためのヘッドセットである請求項１４の装置。

Images