JP2022132349A - マルチモーダル眼追跡 - Google Patents

マルチモーダル眼追跡 Download PDF

Info

Publication number
JP2022132349A
JP2022132349A JP2022109662A JP2022109662A JP2022132349A JP 2022132349 A JP2022132349 A JP 2022132349A JP 2022109662 A JP2022109662 A JP 2022109662A JP 2022109662 A JP2022109662 A JP 2022109662A JP 2022132349 A JP2022132349 A JP 2022132349A
Authority
JP
Japan
Prior art keywords
eye
data
sensor
eog
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022109662A
Other languages
English (en)
Other versions
JP7455905B2 (ja
Inventor
ジョセフ セルカー エドウィン
Joseph Selker Edwin
ヨー イヴァン
Yeoh Ivan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2022132349A publication Critical patent/JP2022132349A/ja
Application granted granted Critical
Publication of JP7455905B2 publication Critical patent/JP7455905B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/398Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13Receivers
    • G01S19/14Receivers specially adapted for specific applications
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Ophthalmology & Optometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Pathology (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Position Input By Displaying (AREA)
  • Materials For Medical Uses (AREA)
  • Image Analysis (AREA)

Abstract

【課題】好適なマルチモーダル眼追跡を提供すること。【解決手段】方法が開示され、本方法は、第1の時間間隔において、眼の第1の位置を示すデータを出力するように構成される第1のセンサから、第1のデータを受信するステップと、第2の時間間隔において、眼のデルタ位置を示すデータを出力するように構成される第2のセンサから、第2のデータを受信するステップと、第1のデータに基づいて、眼の第1の位置を決定するステップと、第2のデータに基づいて、眼のデルタ位置を決定するステップと、眼の第1の位置および眼のデルタ位置を使用して、眼の第2の絶対位置を決定するステップと、眼の第2の位置を決定することに応答して、眼の第2の位置を示す出力信号を生成するステップとを含む。【選択図】図3A

Description

(関連出願の相互参照)
本願は、2017年4月14日に出願された米国特許出願第62/485,820号の35 U.S.C. § 119(e)のもとでの利益を主張するものであり、該米国特許出願の内容は、あらゆる目的のためにその全体が参照により本明細書中に援用される。
本開示の実施例は、ヒトの眼を追跡するため、より具体的には、ヒトの眼の位置、移動、および/または挙動を決定および/または特性評価するためのシステムおよび方法に関する。
一般的に言えば、眼追跡システムは、ユーザの眼の位置および/または移動に対応する、1つ以上の信号を生成する。(本開示の全体を通して、「位置」は、眼の位置および/または配向を含むと理解されるべきであり、「移動」は、移動および/または回転を含むと理解されるべきである。)これらの信号は、種々のコンピュータシステムへの入力として使用され、ゲーム、ナビゲーション、スポーツ訓練、通信、および医学研究と同程度に多様な用途で、またはユーザが見ている場所を把握することが有益である他の状況で、使用を見出し得る。特に、眼追跡システムは、ユーザの眼移動の知識が仮想環境への没頭感を増進し得る、いくつかの「拡張現実」(AR)システムによって採用される等の3D仮想環境内の使用を見出し得る。いくつかの実施例では、眼追跡システムは、装着者の眼に向かって配向されるセンサを伴う頭部搭載型デバイス等のモバイル装置を伴う。
眼追跡システムが、動的または予測不可能な条件(変動する気象および照明条件等)下でさえも、眼の位置および移動を正確に反映することが望ましい。さらに、殆どのコンピュータシステムと同様に、例えば、モバイルシステム内のバッテリ寿命を保存するために、眼追跡システムによって消費される電力を削減することが望ましい。これらの目標は、常に、両立できるわけではなく、例えば、高解像度光学走査は、正確な眼追跡結果を生成し得るが、高電力消費量を犠牲にする。低いリフレッシュレートにおいてセンサデータを更新することは、電力を節約し得るが、高周波数眼移動を正確に捕捉することができない場合がある。本開示は、光学センサおよび電気眼球電圧センサ等のセンサを組み合わせ、眼追跡システムの正確度および/または電力消費を増進するためのマルチモーダルシステムおよび方法を対象とする。本開示はさらに、そのようなセンサを使用し、眼の挙動を特性評価するためのシステムおよび方法を対象とし、その情報は、眼追跡正確度および/または電力消費をさらに増進するために使用され得る。
本開示の実施例は、ヒトの眼を追跡するためのシステムおよび方法を説明する。本開示の実施例によると、光学センサおよび電気眼球電圧センサ等のセンサは、正確度および電力消費を向上させることによって等、眼追跡を増進するように組み合わせられることができる。例えば、眼の第1の位置(例えば、絶対位置)を示す第1のデータは、第1の時間間隔において第1のセンサから受信されてもよい。眼のデルタ位置を示す第2のデータは、第2の時間間隔において第2のセンサから受信されてもよい。眼の第2の位置(例えば、絶対位置)は、第1の位置およびデルタ位置を使用して、決定されてもよい。センサはさらに、眼の種々の挙動を特性評価するために(例えば、機械学習技法とともに)使用されることができ、その情報は、眼追跡をさらに増進するために使用されることができる。
本明細書は、例えば、以下の項目も提供する。
(項目1)
方法であって、
第1の時間間隔において、眼の第1の位置を示すデータを出力するように構成される第1のセンサから、第1のデータを受信するステップと、
第2の時間間隔において、前記眼のデルタ位置を示すデータを出力するように構成される第2のセンサから、第2のデータを受信するステップと、
前記第1のデータに基づいて、前記眼の第1の位置を決定するステップと、
前記第2のデータに基づいて、前記眼のデルタ位置を決定するステップと、
前記眼の第1の位置および前記眼のデルタ位置を使用して、前記眼の第2の位置を決定するステップと、
前記眼の第2の位置を決定することに応答して、前記眼の第2の位置を示す出力信号を生成するステップと
を含む、方法。
(項目2)
前記第1のセンサは、光学センサを備える、項目1に記載の方法。
(項目3)
前記第2のセンサは、電気眼球図記録センサを備える、項目1に記載の方法。
(項目4)
前記第1の時間間隔は、前記第2の時間間隔を上回る、項目1に記載の方法。
(項目5)
前記第1のセンサは、前記第1の時間間隔中に低電力モードで動作する、項目1に記載の方法。
(項目6)
前記第2のセンサは、前記第2の時間間隔中に低電力モードで動作する、項目1に記載の方法。
(項目7)
前記眼の第2の位置を使用して、第1の眼移動挙動を決定するステップをさらに含む、項目1に記載の方法。
(項目8)
前記第1の眼移動挙動は、衝動性移動、円滑追跡、凝視、眼振、または前庭動眼移動を備える、項目7に記載の方法。
(項目9)
前記第1の眼移動挙動を決定することに応答して、
前記第1のセンサからデータを受信する第3の時間間隔を決定するステップと、
前記第2のセンサからデータを受信する第4の時間間隔を決定するステップと
をさらに含む、項目7に記載の方法。
(項目10)
前記第1の眼移動挙動を決定するステップは、
前記第1の眼移動挙動の可能性に対応する信頼スコアを生成するステップと、
前記信頼スコアを閾値と比較するステップと、
前記信頼スコアが前記閾値を超えることを決定するステップと
を含む、項目7に記載の方法。
(項目11)
第3のセンサから第3のデータを受信するステップをさらに含み、前記第1の眼移動挙動は、前記第3のデータを使用して決定される、項目7に記載の方法。
(項目12)
前記第3のセンサは、加速度計、ジャイロスコープ、電子コンパス、磁力計、または慣性測定ユニットを備える、項目11に記載の方法。
(項目13)
前記第3のセンサは、GPSセンサを備える、項目11に記載の方法。
(項目14)
前記第3のセンサは、周囲光センサを備える、項目11に記載の方法。
(項目15)
前記第1の眼移動挙動は、ニューラルネットワークを使用して決定される、項目11に記載の方法。
(項目16)
前記第1のデータ、前記第2のデータ、前記第3のデータ、前記眼の第2の位置、または前記第1の眼移動挙動を備える、情報を使用して、ニューラルネットワークを訓練するステップをさらに含む、項目11に記載の方法。
(項目17)
前記ニューラルネットワークを使用して、第2の眼移動挙動を決定するステップをさらに含む、項目16に記載の方法。
(項目18)
前記第1のセンサおよび前記第2のセンサは、ディスプレイを備える頭部搭載型デバイスに取り付けられる、項目1に記載の方法。
(項目19)
前記眼の第2の位置を決定することに応答して、
前記眼の第2の位置に対応する前記ディスプレイの領域を決定するステップであって、前記領域は、第1の表示状態に等しい表示状態を有する、ステップと、
前記領域の表示状態を前記第1の表示状態から第2の表示状態に変化させるステップと
をさらに含む、項目18に記載の方法。
(項目20)
方法であって、
第1の時間間隔において、頭部搭載型ディスプレイを備える拡張現実システムのユーザと関連付けられるセンサから、第1のデータを受信するステップであって、前記第1のデータは、前記ユーザの眼の位置を示す、ステップと、
前記第1のデータおよび前記拡張現実システムの属性に基づいて、前記眼と関連付けられる眼移動挙動を決定するステップと、
前記眼と関連付けられる眼移動挙動を決定することに応答して、前記センサからデータを受信する第2の時間間隔を決定するステップと
を含む、方法。
(項目21)
前記眼移動挙動を決定するステップは、
前記眼移動挙動の可能性に対応する信頼スコアを生成するステップと、
前記信頼スコアを閾値と比較するステップと、
前記信頼スコアが前記閾値を超えることを決定するステップと
を含む、項目20に記載の方法。
(項目22)
前記拡張現実システムは、ソフトウェアアプリケーションを実行するように構成され、前記拡張現実システムの属性は、前記ソフトウェアアプリケーションの状態を示す、項目20に記載の方法。
(項目23)
前記センサは、前記第2の時間間隔中に低電力モードで動作する、項目20に記載の方法。
(項目24)
前記眼移動挙動は、衝動性移動、円滑追跡、凝視、眼振、または前庭動眼移動を備える、項目20に記載の方法。
(項目25)
前記拡張現実システムは、加速度計、ジャイロスコープ、電子コンパス、磁力計、または慣性測定ユニットを備え、前記拡張現実システムの属性は、前記加速度計、ジャイロスコープ、電子コンパス、磁力計、または慣性測定ユニットの出力を備える、項目20に記載の方法。
(項目26)
前記拡張現実システムは、GPSセンサを備え、前記拡張現実システムの属性は、前記GPSセンサの出力を備える、項目20に記載の方法。
(項目27)
前記拡張現実システムは、周囲光センサを備え、前記拡張現実システムの属性は、前記周囲光センサの出力を備える、項目20に記載の方法。
(項目28)
前記眼移動挙動は、ニューラルネットワークを使用して決定される、項目20に記載の方法。
(項目29)
前記センサは、光学センサを備える、項目20に記載の方法。
(項目30)
前記センサは、電気眼球図記録センサを備える、項目20に記載の方法。
(項目31)
ウェアラブルコンピューティングシステムであって、
ユーザの頭部を中心として装着されるように構成されるフレームと、
感知回路であって、前記感知回路は、前記フレームに取り付けられる少なくとも1つの電極を備え、前記感知回路は、前記ユーザの眼の電位を測定するように構成される、感知回路と、
光学センサであって、前記光学センサは、前記フレームに取り付けられ、光学センサパラメータに従って前記ユーザの眼の画像を検出するように構成される、光学センサと、
前記感知回路および前記光学センサに動作可能に結合されるプロセッサであって、前記プロセッサは、
前記感知回路から、第1のデータを取得することであって、前記第1のデータは、前記ユーザの眼の電位を示す、ことと、
前記第1のデータに基づいて、前記光学センサパラメータを調節することと
を行うように構成される、プロセッサと
を備える、ウェアラブルコンピューティングシステム。
(項目32)
前記光学センサパラメータは、前記光学センサが前記眼の画像を検出するレートを決定する、項目31に記載のウェアラブルコンピューティングシステム。
(項目33)
前記光学センサパラメータは、前記光学センサの電力消費モードを決定する、項目31に記載のウェアラブルコンピューティングシステム。
(項目34)
前記プロセッサはさらに、前記第1のデータに基づいて、前記光学センサを選択的にアクティブ化および非アクティブ化するように構成される、項目31に記載のウェアラブルコンピューティングシステム。
(項目35)
前記プロセッサはさらに、前記光学センサによって検出される画像に基づいて、前記眼の位置を決定するように構成される、項目31に記載のウェアラブルコンピューティングシステム。
(項目36)
前記プロセッサはさらに、前記第1のデータに基づいて、前記眼の移動を検出するように構成される、項目31に記載のウェアラブルコンピューティングシステム。
(項目37)
前記プロセッサはさらに、前記検出された移動に基づいて、前記光学センサパラメータを調節するように構成される、項目36に記載のウェアラブルコンピューティングシステム。
(項目38)
前記プロセッサはさらに、前記眼が複数の所定の眼移動挙動のうちの眼移動挙動に関与するかどうかを決定するように構成され、前記決定は、少なくとも前記第1のデータに基づく、項目31に記載のウェアラブルコンピューティングシステム。
(項目39)
前記プロセッサはさらに、前記決定に基づいて、前記光学センサパラメータを調節するように構成される、項目38に記載のウェアラブルコンピューティングシステム。
(項目40)
前記感知回路は、感知回路パラメータに従って、前記ユーザの眼の電位を測定するように構成され、前記プロセッサはさらに、前記光学センサによって出力される前記眼の画像に基づいて、前記感知回路パラメータを調節するように構成される、項目31に記載のウェアラブルコンピューティングシステム。
(項目41)
前記感知回路パラメータは、前記感知回路が、前記眼の電位を示すデータを前記プロセッサに出力するレートを決定する、項目40に記載のウェアラブルコンピューティングシステム。
(項目42)
前記感知回路は、2つの電極と、前記2つの電極の間の電位差を測定するように構成される少なくとも1つの電気コンポーネントとを備える、項目31に記載のウェアラブルコンピューティングシステム。
図1は、ヒトの眼の断面を図示する。
図2Aは、本開示の実施例による、眼移動を検出するように構成される電極の実施例を図示する。
図2Bは、本開示の実施例による、例示的頭部搭載型デバイスを図示する。
図3Aおよび3Bは、本開示の実施例による、複数のセンサを使用し、眼の位置および/または移動に対応する信号を出力する、例示的眼追跡システムを図示する。 図3Aおよび3Bは、本開示の実施例による、複数のセンサを使用し、眼の位置および/または移動に対応する信号を出力する、例示的眼追跡システムを図示する。
図4は、本開示の実施例による、任意の携帯用または非携帯用デバイス内で具現化され得る、システムアーキテクチャの実施例を図示する。
以下の実施例の説明では、本明細書の一部を形成し、例証として、実践され得る具体的実施例が示される、付随する図面が参照される。他の実施例も使用され得、構造変更が、開示される実施例の範囲から逸脱することなく行われ得ることを理解されたい。
眼追跡システムは、我々の最も不安定で敏活な身体部分のうちの1つから正確なデータを確実に導出するという課題に取り組まなければならない。さらに、そのようなシステムは、控えめに、予測不可能な正面条件で、扱いにくい物理的環境内で、かつ最小限の電力消費を伴って、そうする任務を負い得る。本開示の実施例は、下記に説明されるように、光学センサおよび電気眼球電圧センサ等のセンサを組み合わせ、これらの課題に対処するためのマルチモーダルシステムおよび方法を対象とする。
眼科
図1は、ヒトの眼(100)の断面図であり、角膜(102)、虹彩(104)、水晶体(106)、強膜(108)、脈絡膜層(110)、黄斑(112)、網膜(114)、および脳への視神経(116)を含むように描写される。光は、角膜(102)において眼(100)の前部に入射する。虹彩(104)は、網膜(114)上に入る光の量を調整し、水晶体(106)は、遠近調節し、網膜(114)において画像を合焦してもよい。ひいては、網膜(114)は、視覚刺激を、視神経(116)を介して視覚皮質に伝送される電気信号(例えば、受容体電位)に変換する。黄斑(112)は、中程度の詳細を見るために利用される、網膜(114)の中心である。黄斑(112)の中心には、細かい詳細を見るために利用され、網膜(114)の任意の他の部分よりも多くの光受容体(視覚度あたり約120の錐体)を含有する、比較的に小さい窩である。眼(100)は、6自由度を提供するように、二対の直接筋肉および一対の斜紋筋(図示せず)によって回転されてもよい。視神経(116)は、眼の筋肉によって囲繞される。
ヒト視覚系は、網膜上に入射する光に応答して神経学的信号を生成する光受容体を含む、眼に結合される筋肉の活動を介して、環境を能動的に走査するように構成される。眼は、これらの筋肉を使用して、多くの異なる移動を行うことが可能である。これらは、少なくとも、わずかな移動(例えば、振戦)、より速い追跡移動(例えば、円滑追跡)、および非常に速い移動(例えば、衝動性、弾道)を含む。いくつかの移動が、自律的かつ大部分は不随意であり得る一方で、他のものは、随意であり得る。本明細書で議論されるように、眼移動は、少なくとも、水平軸、水平を中心として地球とともに回転する(最初は)垂直軸、および注視角に沿った捻転軸を中心とした眼の回転を指し得る。
いくつかの眼移動は、衝動性眼移動として表され得る。衝動性運動は、凝視点を急激に変化させる、眼の高速共同弾道移動である。衝動性運動は、1秒あたり最大900度の速度における眼の移動を伴い得る。概して、衝動性眼移動は、着目オブジェクトを視野の中に運ぶ。例えば、本を読むとき、眼は、数回、律動性の衝動性移動を行って停止し、各凝視点の間で非常に迅速に移動する。別の実施例では、車両の運転手は、衝動性眼移動を行い、道路上の他の車、交通標識、車の内部等を見るであろう。眼を迅速に移動させることは、オブジェクトの異なる部分が窩によって結像されることを可能にする。衝動性眼移動は、随意であり、視機性または前庭性移動に応答して等、視覚刺激および/または矯正に応答して、反射として実行され得る。例えば、反射性の衝動性運動は、外部刺激によって、または凝視刺激の消滅によって誘起され得る。反衝動性運動は、視覚刺激から離れるように眼を自発的に移動させ得る。走査衝動性運動は、随意であり、視覚環境の異なる部分の調査を可能にし得る。記憶衝動性運動は、覚えた点に向かって眼を移動させ得る。予測衝動性運動は、着目オブジェクトの移動を予想し得る。衝動性運動はまた、睡眠の高速眼移動段階中に起こり得る。
いくつかの眼移動は、1秒あたり約1度~1秒あたり約100度の範囲内で移動する着目視覚オブジェクトをゆっくりと追跡し、オブジェクトの画像を網膜上で安定して保つ、共同眼移動である、円滑追跡移動として表され得る。円滑追跡移動は、概して、随意的制御下にない。
いくつかの眼移動は、眼が網膜上に着目オブジェクトの画像を保持する、眼の静止状態である、凝視として表され得る。凝視は、約100ミリ秒~約1,000ミリ秒持続し得る。
いくつかの眼移動は、眼振として表され得る。眼振は、低速段階および高速段階を交互に繰り返すことを含む、不随意眼移動の形態である。眼振眼移動は、視機性または前庭性として表され得る。視機性眼振は、静止視覚受容体および高速で移動する着目オブジェクトを指す。視機性眼振は、眼運動の特徴的な鋸歯パターンを有し得、これは、追跡運動が後に続く、眼が移動視野の一部を凝視する低速段階と、眼が視野の新しい部分を凝視する高速段階(すなわち、帰還衝動性跳躍)とを含む。前庭性眼振は、頭部の運動に応答して起こり、内耳の三半規管を刺激し得る。三半規管からの感覚情報は、頭部移動の反対方向に移動するように眼に指図し、したがって、網膜上で着目オブジェクトの画像を近似的に維持し得る。
いくつかの眼移動は、前庭動眼として表され得る。前庭動眼移動は、眼の移動と併せた頭部および/または身体(例えば、頸部)の移動を指す。前庭動眼移動は、例えば、視覚の周囲のオブジェクトを視認するとき、または視野を横断して急速に移動するオブジェクトを追跡するときに、頭部および頸部のより大きい筋肉が大規模または高速移動を補助することを可能にすることによって、眼の緊張を緩和し得る。例えば、殆どの人々は、その眼の注視が、特定の着目オブジェクトに合焦するために、中心から約20度を上回って外れて移動する必要があるときに、その頭部を移動させることを好む。頭部移動はまた、ヒト視覚系が頭部運動視差からの深度合図から利益を得ることを可能にし、これは、視野内のオブジェクトの相対深度を識別することに役立ち得る。頭部および眼運動は、頭部回転中に網膜に対して画像情報を安定させる、前庭動眼反射を使用して協調される。
眼は、上記に説明される眼移動のタイプ等の種々のタイプの眼移動の組み合わせに関与し得る。下記の開示の目的のために、眼の挙動は、1つ以上の眼移動(または1つ以上の眼移動のパターン)であり、前庭動眼移動の場合等に頭部移動を含み得る。人物の眼が関与する眼の挙動は、いくつかの外部因子、例えば、人物が関与する活動(例えば、読書、運転)、人物の場所および周囲(例えば、静かな図書館の中、交通渋滞の中)、および環境因子(例えば、周囲照明条件、温度)による影響を受ける。これらの外部因子の知識は、ヒトの眼の挙動を予測することに役立ち得る。例えば、人物が本を読んでいるという知識は、人物の眼が衝動性移動に関与することを示唆し得る。逆に、人物の眼の挙動の知識は、種々の外部因子を示唆し得る。例えば、人物の眼が衝動性移動に関与するという知識は、人物が本を読んでいることを示唆し得る。
眼追跡
いくつかの技術が、ユーザの眼の位置に関する測定を取得するために存在する。
いくつかのそのような技術は、カメラ等の光学センサを含む。例えば、光は、眼から反射され、眼の位置および移動を検出するように光学センサによって感知され得る。他のそのような技術は、ヒトの眼の2つの場所の間に存在し得る、電位を測定することを伴い得る。例えば、図1を参照すると、眼(100)の角膜(102)は、網膜(114)に対して電気的に正であり、角膜(102)における陽極および網膜(114)における陰極を伴う固定双極子として表され得る、定常電位場を形成する。眼が回転すると、静電双極子が、それとともに回転する。本角膜網膜電位は、典型的には、0.4mV~1.0mVの範囲を有し、光刺激から独立している。
電気眼球図記録は、電気眼球図記録(EOG)センサを使用して、眼の2つの場所(例えば、角膜およびブルッフ膜)の間の電位を検出するための技法である。感知回路は、1つ以上の電極と、いくつかの実施例では、電極間の電位差を測定するように構成される、1つ以上の電気コンポーネントとを備えることができる。感知回路は、電位の差を記録するように、頭部および/または顔面上に設置されることができる。図2Aは、例示的感知回路内の例示的電極構成を図示する。眼の電位の振幅は、概して、μV/度範囲内であり、例えば、約5μV/度~約20μV/度に及んでもよい。電極電位変化の兆候は、眼移動の方向(例えば、左、右、上、下)を示し得る。眼の相対位置は、測定された電位から推測されてもよい。顔の筋肉は、活動しているとき、顔の表面上の電位に影響を及ぼし得る。顔面上の電極対を横断して見られる電圧は、眼の筋肉運動および顔の特徴に対応する顔の筋肉運動(例えば、瞬き、ウインク、または顔にしわを寄せること)の畳み込みとして表され得る。例えば、瞬きは、電気眼球図上で観察されるような特徴的な信号パターンおよび持続時間を有する。安静時の平均瞬目率は、約100ミリ秒~約400ミリ秒の平均持続時間を伴って、1分あたり約12~19回の瞬きで変動し得る。眼の電位はさらに、例えば、情動状態を含む、ユーザの心理状態への洞察を提供し得る。(本開示の実施例では、電位を検出することが参照されるが、いくつかの実施例では、他の好適な電気的性質(例えば、静電容量、インダクタンス、抵抗、インピーダンス)が、眼追跡の目的のために、電位の代わりに、またはそれに加えて、検出されてもよい。)
マルチモーダル眼追跡システム
EOGセンサおよび光学センサはそれぞれ、他方と比べてある利点を持ち得る。例えば、EOGセンサは、概して、光学センサよりも電力効率的である。さらに、EOGセンサは、光学センサほど目立たなくあり得、ユーザの視覚を侵害しない場合があり、眼鏡およびコンタクトレンズ等の矯正用レンズにより適合し得る。電極を使用する信号測定は、高い時間分解能を有し、連続的信号を可能にし得る。EOGセンサは、光学センサと異なり、概して、明るい光または暗闇による影響を受けず、制御された照明がない場合に動作することができる。さらに、光学追跡装置と異なり、眼移動は、眼が閉じられているとき、または眼が(例えば、瞼、睫毛等によって)視覚的に覆い隠される他の状況でさえも、追跡されてもよい。加えて、電位を表す出力を生じる、EOGセンサは、比較的に大きい画像データを出力し得る、光学センサほど帯域幅集約的ではない場合がある。また、光学センサデータよりもEOGデータを処理することが、高速かつ計算効率的であり得る。しかしながら、そのような光学センサデータ(例えば、2D画像)はまた、増進した解像度および/または正確度を伴う眼追跡を提供してもよい。すなわち、眼の位置は、EOGセンサを使用する(すなわち、電位から眼の位置を推測することによって)よりも光学センサを使用して(すなわち、画像データから眼の位置を抽出することによって)、確実に測定されてもよい。同様に、EOGセンサと比較して、光学センサは、較正値からの限定された逸脱から利益を享受し得る。
光学眼追跡およびEOG眼追跡の相対利点を考慮すると、眼追跡システムが、光学センサおよびEOGセンサ等の複数のタイプのセンサを組み込むことが有益であり得る。下記でさらに詳細に説明されるように、そのようなマルチモーダル眼追跡アプローチは、例えば、比較的に大量の電力を日常的に消費し、および/または計算集約的動作を日常的に実施し得る、眼追跡機能性を伴うシステムにおいて、特に有益であり得る。そのようなシステムは、拡張現実システム、仮想現実システム、および同等物を含むことができる。
図2Bは、マルチモーダル眼追跡システムを含む、例示的頭部搭載型デバイス200を示す。より具体的には、図2Bの実施例では、例示的頭部搭載型デバイス200は、(例えば、EOG感知機能性を提供するために)装着者の頭部および/または顔に接触するように構成される電極、および/または装着者の眼の一方または両方を監視するように構成される少なくとも1つの光学センサを備える、感知回路を含む。例示的デバイス200は、拡張現実システムで採用されてもよく、例えば、拡張現実表示を装着者に提示するように構成されるディスプレイを組み込んでもよい。電気眼球図記録(EOG)、光学眼追跡、および拡張現実機能性を提供するためのシステムおよび技法に関する付加的詳細は、米国特許出願第15/072,290号(その全体として参照することによって本明細書に組み込まれる)の中で提供される。
いくつかの実施例では、例示的頭部搭載型デバイス200の感知回路の電極のうちの少なくともいくつかは、図2Aに図示される例示的電極構成に従って配列されてもよい。図2Aの実施例では、第1の一対の電極(210および212)は、眼の水平軸移動を検出するように構成され、第2の一対の電極(220および222)は、皮膚に接触し、眼の垂直移動を検出するように構成される。示される実施例では、電極210および212は、それぞれ、左眼の内眼角および外眼角を中心として皮膚に接触するように構成され、電極220および222は、それぞれ、左眼の上方および下方の皮膚に接触するように構成される。電極は、干渉を低減させるように、実用的であるように眼の近傍に設置されてもよい。例示的デバイス200では、電極210および212は、上記で説明されるように、水平眼移動を検出するために、それぞれ、右眼および左眼の外眼角を中心として装着者の顔に接触するように構成されて示される。例示的デバイス200では、上記で説明されるように、垂直眼移動を検出するために、電極220は、右眉毛の上方で装着者の顔に接触するように構成されて示され、電極222は、右瞼の下方で装着者の顔に接触するように構成されて示される。再度、図2Aを参照すると、いくつかの実施例では、電極210および212および220および222は、電極によって生成される信号を増幅するように、それぞれ、差動増幅器232および234に結合される。いくつかの実施例では、例示的デバイス200または例示的デバイス200に動作可能に結合される別のデバイスは、差動増幅器232および234、および/または図2Bに描写される電極のうちの2つ以上のものに関連して生成される信号を調整するための他の回路を含み得るということになる。
加えて、感知回路は、基準電位を提供するための接地電極を含むことができる。眼移動に応答して、存在するとしても、その電位がわずかに変化する、頭部または顔の領域上に接地電極を位置付けることが望ましくあり得る。例えば、例示的デバイス200では、電極240は、装着者の頭部の後部に接触するように構成される接地電極を表す。いくつかの実施例では、接地電極240または別の接地電極は、耳たぶ、額、または耳たぶまたは額に隣接する1つ以上の解剖学的領域を含む、頭部または顔の領域に接触するように構成されてもよい。例示的デバイス200では、第3および第4の電極250および252は、鼻梁および/または眼の内眼角に接触するように構成されて示される。電極250および252からのEOGデータは、電極210、212、220、および/または222によって提供されるデータを補完してもよく、これは、これらの電極からのデータの処理を単純化し得、データ冗長性を提供し得、および/またはシステムのロバスト性を向上させ得る。付加的電極もまた、類似利益を提供するように組み込まれてもよい。電極は、湿潤電極および/または乾燥電極であってもよい。いくつかの実施例では、電極は、銀・塩化銀から作製され、および/または金めっきされてもよい。いくつかの実施例では、共通モード拒否前置増幅器の組み込み等の遮蔽および/または雑音消去技法が、電磁干渉を低減させるために使用されてもよい。
図2Bに示される例示的デバイス200等のいくつかの実施例では、光学センサ(例えば、図2Bの光学センサ260)は、拡張現実システムで使用され得るような頭部搭載型デバイスに搭載されてもよい。これは、光学センサが眼に対して比較的に固定されるという利点を提供し得、これは、センサを較正する必要性を最小限にし、光学センサの出力を分析するプロセスを単純化し得る。いくつかの実施例では、光学センサは、眼を照明し、光学センササンプルを横断して制御された一貫した照明を提供するように、光源(例えば、図2Bの光源270)を伴ってもよい。いくつかの実施例では、頭部搭載型デバイスは、ディスプレイを含んでもよく、それを介して、例えば、拡張現実コンテンツが、ユーザに提示され得る。図3A-3Bを参照して下記でさらに詳細に説明されるように、例示的デバイス200のもの等の光学およびEOGセンサを含む、マルチモーダル眼追跡システムでは、光学およびEOGセンサが、システムの全体的な電力効率および/または計算効率を向上させるために、光学およびEOGセンサの上記の相対利点を活用する様式で、利用されてもよい。
図3Aおよび3Bは、本開示の実施例による、複数のセンサを使用し、眼100の位置および/または移動に対応する信号390を出力する、例示的マルチモーダル眼追跡システム300を図示する。いくつかの実施例では、マルチモーダル眼追跡システム300は、眼100に関連するデータを出力するように構成されるセンサ(例えば、EOGセンサおよび/または光学センサ)とともに、図2Bに示される例示的デバイス200等の頭部搭載型デバイスを含んでもよい、またはその一部として含まれてもよい。いくつかの実施例では、そのような頭部搭載型デバイスは、下記に説明されるような追跡眼100に関連する1つ以上の機能を果たすように構成される、1つ以上のプロセッサとともに動作するように構成されてもよい。いくつかの実施例では、そのようなプロセッサは、頭部搭載型デバイス自体の中に位置してもよい。いくつかの実施例では、そのようなプロセッサは、ベルトパック等の頭部搭載型デバイスから分離しているウェアラブルユニットの中、またはユーザによって担持されるユニットの中に位置してもよい。いくつかの実施例では、そのようなプロセッサは、ユーザによって装着または担持されていないデバイスの中等のユーザの外部に位置してもよい。いくつかの実施例では、マルチモーダル眼追跡システム300は、拡張現実システムに組み込まれてもよく、拡張現実コンテンツをユーザに提示するように構成されるディスプレイを含んでもよい。
例示的システム300では、電力および計算リソースの効率は、眼100のセンサ測定が行われるレートを制御することによって、実現されることができる。一般的に言えば、センサ測定レートを増加させることは、より多くの電力を消費することを犠牲にして、眼追跡の正確度を向上させることができ、逆に、センサ測定レートを減少させることは、より少ない電力を使用することができるが、眼追跡正確度を侵害し得る。センサ測定レートが正確度と電力消費との間のトレードオフに影響を及ぼす程度は、システム動作中に変化し得る。例示的システム300等のいくつかの実施例では、センサ測定レートは、連続的に計算され、正確度と電力消費と間の所望のトレードオフを維持するように、システム動作中にリアルタイムで調節されてもよい。例えば、例示的システム300は、そのような計算および調節を実施し得る、眼データ分析器340を含む。例示的マルチモーダル眼追跡システム300は、光学センサおよびEOGセンサを含む。しかしながら、いくつかの実施例では、他のセンサが、使用されてもよい。さらに、いくつかの実施例では、2つを上回るセンサが、使用されてもよい。例えば、加速度計が、下記に説明されるように、頭部移動を検出するために、光学センサおよびEOGセンサと併せて使用され得る。下記の実施例は、付加的センサに適応するように拡張されることができる。
図3Aは、図3Aおよび3Bの例示的システム300の高レベル概観を示す。実施例では、光学センサループ310AおよびEOGセンサループ310Bは、眼100から個別のセンサデータを取得し、それぞれ、光学信号320AおよびEOG信号320Bを出力する。光学信号320AおよびEOG信号320Bは、信号320Aおよび320Bから決定される眼の位置に基づいて、出力信号390を出力する、眼信号プロセッサ330によって入力として使用される。例示的システム300等の本開示のいくつかの実施例では、眼データ分析器340は、信号プロセッサ330から眼の位置データを入力し、そのデータを使用して、光学センサループ310AおよびEOGセンサループ310Bの動作に影響を及ぼすパラメータを決定する。例示的システム300等の本開示のいくつかの実施例では、眼データ分析器340は、付加的センサデータ350を受信し、そのデータを使用して、光学センサループ310AおよびEOGセンサループ310Bの動作に影響を及ぼすパラメータを決定する。例えば、付加的センサデータ350は、加速度計(ユーザの頭部の移動を感知するように構成されるもの等)、GPSセンサ、または別のデバイスからのデータであり得る。付加的センサデータ350を生成し得るデバイスの実施例が、下記でさらに説明される。例示的システム300等の本開示のいくつかの実施例では、眼データ分析器340は、予測データ360を受信し、そのデータを使用して、光学センサループ310AおよびEOGセンサループ310Bの動作に影響を及ぼすパラメータを決定する。例えば、予測データ360は、眼データ分析器340が1つ以上の入力信号に対応する眼の挙動を決定することに役立つように構成される、ニューラルネットワークの出力であり得る。
眼信号プロセッサ330および/または眼データ分析器340によって実施され得るプロセス等の例示的システム300に関して本明細書に説明されるプロセスのうちの1つ以上のものは、任意の好適な論理回路を使用して、コンピュータシステムで実装されてもよい。好適な論理回路は、ソフトウェアプログラムで実装される命令を実行するときに、そのようなプロセスを実施する、1つ以上のコンピュータプロセッサ(例えば、CPU、GPU等)を含んでもよい。加えて、そのようなプロセスはまた、プロセスを提供する論理設計を実装する、プログラマブル論理(例えば、PLD、FPGA等)またはカスタマイズされた論理(例えば、ASIC等)等のハードウェア論理回路で実装される、対応する論理設計を介して、実装されることもできる。さらに、そのようなプロセスは、ソフトウェアおよびハードウェア論理回路を起動する、両方の1つ以上のプロセッサを組み合わせる実装を介して、提供されることができる。いくつかの実施例では、眼信号プロセッサ330および/または眼データ分析器340等の例示的システム300のコンポーネントは、眼信号プロセッサ330の機能を果たすように構成されるコンピュータプロセッサ等の専用ハードウェアユニットに対応し得る。いくつかの実施例では、例示的システム300のコンポーネントは、1つ以上のハードウェアユニットを横断して実装される論理ユニットに対応し得る。いくつかの実施例では、コンピュータプロセッサ等の単一のハードウェアユニットは、眼信号プロセッサ330および眼データ分析器340等の例示的システム300の複数のコンポーネントに関して本明細書に説明される機能の全てを果たしてもよい。いくつかの実施例では、複数のハードウェアユニット(複数のコンピュータプロセッサ等)は、眼信号プロセッサ330等の例示的システム300の単一のコンポーネントに関して本明細書に説明される機能を集合的に果たしてもよい。本開示は、いかなる具体的実装にも限定されない。
図3Bは、より詳細に図3Aの例示的システム300を示す。示される実施例では、光学センサループ310Aは、光学センサが眼100から更新された測定(318A)を取得するときを制御する、論理を含む。上記で説明されるように、光学センサ測定を取得することが、電力集約的動作であり得るため、そのような更新が実施されるレートを限定することによって、電力を節約することが望ましくあり得る。実施例では、光学センサループ310Aにおいて、光学センサ測定が取得されるレートは、少なくとも部分的に間隔値intoptによって制御されてもよい(312A)。いくつかの実施例では、intoptの値は、例えば、具体的時間値において、または光学センサループ310Aの具体的反復数において、固定されてもよい。いくつかの実施例では、intoptの値は、例えば、関数foptに従って変動し得る。下記でより詳細に説明されるように、関数foptは、光学センサ測定を更新するレートを調節することが好ましくあり得る時間および程度を識別する、パラメータxおよびy等の種々のパラメータを反映し得る。intoptが時間値である、いくつかの実施例では、intoptは、intoptが、光学センサ測定が更新されるべきとなるまで残っている時間を表すように、時間がシステム動作中に経過するにつれて減少することができる(図3Bに示されていない)。実施例の段階314Aでは、光学センサループ310Aは、intoptの現在の値を読み取り、値を使用して、光学センサ測定が更新されるべきであるかどうかを決定してもよい。例えば、intoptが閾値(例えば、0)である、またはそれを下回る場合、光学センサループ310Aは、314Aにおいて、更新された光学センサ測定が取得されるべきであることを決定してもよく(318A)、閾値を上回る値にintoptをリセットしてもよい。その一方で、intoptが閾値を上回る場合、光学センサループ310Aは、314Aにおいて、続けて光学センサ測定を取得しない場合があり、代わりに、intoptが閾値に到達することを待機してもよい。いくつかの実施例では、intoptが閾値を上回る場合、光学センサループ310Aは、光学センサ測定を取得する代わりに、intoptが閾値に到達する、またはそれを下回るまで、低電力モードになってもよい(316A)。低電力モードは、光学センサに関するプロセッサスレッドを一時停止させること等の電力節約挙動に関与してもよい。いくつかの実施例では、光学センサ測定が、intoptの状態にかかわらず、イベント(例えば、ユーザ入力)の発生に応じて取得されてもよい。そのような光学センサ測定は、いったんintoptが閾値に到達すると取得される任意の光学センサ測定の代わりに、またはそれに加えて、取得されてもよい。光学センサ測定が取得される光学センサループ310Aの反復では、その測定は、光学信号320Aとして出力される。
図3Bに示される例示的システム300では、EOGセンサループ310Bは、EOGセンサが眼100から更新された測定(318B)を取得するときを制御する、論理を含む。示される実施例では、EOGセンサループ310Bは、光学センサループ310Aに大部分が類似し得る。上記で説明されるように、光学センサ測定が取得されるレートは、電力消費を低減させるように、光学センサループ310Aによって意図的に限定されてもよい。光学センサ測定が取得されない周期中に、光学測定の代わりに、比較的に電力効率的なEOGセンサ測定を取得することが望ましくあり得る。加えて、いくつかの実施例は、例えば、測定が、瞼等の遮蔽するオブジェクトによって、または極端な照明条件によって侵害され、EOGセンサ測定を更新するレートを調節することによって補償される場合に、光学センサに関連する測定問題を検出してもよい。実施例では、光学センサループ310Aに類似するEOGセンサループ310Bでは、EOGセンサ測定が取得されるレートは、少なくとも部分的に間隔値inteogによって制御されてもよい(312B)。いくつかの実施例では、inteogの値は、例えば、具体的時間値において、またはEOGセンサループ310Bの具体的反復数において、固定されてもよい。いくつかの実施例では、inteogの値は、例えば、関数feogに従って変動し得る。下記でより詳細に説明されるように、関数feogは、EOGセンサ測定を更新するレートを調節することが好ましくあり得る時間および程度を識別する、パラメータxおよびy等の種々のパラメータを反映し得る。inteogが時間値である、いくつかの実施例では、inteogは、inteogが、EOGセンサ測定が更新されるべきとなるまで残っている時間を表すように、時間がシステム動作中に経過するにつれて減少することができる(図3Bに示されていない)。実施例の段階314Bでは、EOGセンサループ310Bは、inteogの現在の値を読み取り、値を使用して、EOGセンサ測定が更新されるべきであるかどうかを決定してもよい。例えば、inteogが閾値(例えば、0)である、またはそれを下回る場合、EOGセンサループ310Bは、314Bにおいて、更新されたEOGセンサ測定が取得されるべきであることを決定してもよく(318B)、閾値を上回る値にinteogをリセットしてもよい。その一方で、inteogが閾値を上回る場合、EOGセンサループ310Bは、314Bにおいて、続けてEOGセンサ測定を取得しない場合があり、代わりに、inteogが閾値に到達することを待機してもよい。いくつかの実施例では、inteogが閾値を上回る場合、光学センサループ310Bは、EOGセンサ測定を取得する代わりに、inteogが閾値に到達する、またはそれを下回るまで、低電力モードになってもよい(316B)。低電力モードは、EOGセンサに関するプロセッサスレッドを一時停止させること等の電力節約挙動に関与してもよい。いくつかの実施例では、EOGセンサ測定が、inteogの状態にかかわらず、イベント(例えば、ユーザ入力)の発生に応じて取得されてもよい。そのようなEOGセンサ測定は、いったんinteogが閾値に到達すると取得される任意のEOGセンサ測定の代わりに、またはそれに加えて、取得されてもよい。EOGセンサ測定が取得されるEOGセンサループ310Bの反復では、その測定は、EOG信号320Bとして出力される。
いくつかの実施例では、inteogの最大値は、EOGセンサ測定が光学センサ測定よりも頻繁に更新され得ることを反映して、intoptの最大値未満であり得る。例えば、含まれるEOGセンサほど電力効率的ではない光学センサを含む、例示的システムでは、EOGセンサをより頻繁に更新し、光学センサをあまりに頻繁に更新しないことは、例示的システムの全体的電力消費を最適化することに役立ち得る。いくつかの実施例では、inteogおよび/またはfeogは、EOGセンサが約500Hzの周波数において更新されるように、構成されてもよく、intoptおよび/またはfoptは、光学センサが約60Hzの周波数において更新されるように、構成されてもよい。いくつかの実施例では、inteogおよびintopt信号間の他の関係も、望ましくあり得る。例えば、光学センサおよびEOGセンサが同時に更新されないように、inteogおよびintopt信号間の位相オフセットを維持することは、(例えば、レース条件に起因する)予測不可能なシークエンシングを回避する、眼信号プロセッサ330のスループットを向上させる、または負荷分散を助長するために有益であり得る。
いくつかの実施例では、EOGセンサ測定および/または光学センサ測定を取得することは、閾値に到達するタイマ(例えば、inteogまたはintoptの周期を伴うタイマ)に加えて、またはその代わりに、イベントの発生によって、誘起されることができる。そのようなイベントは、ユーザの眼の状態の変化を示し得る、EOGセンサまたは光学センサ測定値の十分に大きい変化の検出であってもよい。一実施例として、眼追跡カメラ等の光学センサは、低電力モードになり(例えば、図3Bに関して316A)、(例えば、段階318Bにおいて)EOGセンサの出力が十分に大量に変化するまで低電力モードに留まってもよい。そのような変化の検出に応じて、光学センサは、低電力モードを終了してもよく、測定値が、光学センサから読み取られてもよい(例えば、画像が捕捉されてもよい)。これは、EOGセンサの十分に大きい変化が検出されないときに、光学センサが低電力モードに留まることを可能にすることによって、電力消費を最適化してもよく、これは、眼の更新された光学センサ測定の低減された必要性が存在し得る状況である、静止したままであるユーザの眼の位置に対応し得る。電力節約は、そのような状況中に光学センサ測定の限定された必要性があるため、例えば、ユーザが眠っている間に、または(例えば、テレビ画面を鑑賞しながら)眼が具体的な点を凝視している間に、眼が長期の時間周期にわたって大部分が静止したままであると予期される状況で、特に顕著であり得る。
さらなる電力節約は、EOGセンサ出力が、眼の位置が静止したままであることを示すときに、光学センサの出力に画像処理を実施すること等の前述の計算上高価な動作によって実現されることができる。例えば、EOGセンサの出力が一定のままである場合、これは、眼が静止しており、その眼の画像の画像処理が前の画像処理と比べて新しい情報をおそらく生じさせないであろうことを示す。故に、眼追跡カメラ等の画像処理を光学センサの出力に適用するように構成される例示的システムでは、本システムは、(例えば、段階318Bにおいて)EOGセンサの出力が十分に大量に変化したという決定に応答して、画像処理を実施するように構成されてもよい。いくつかの実施例では、眼追跡カメラを含むシステムは、画像を捕捉し、EOGセンサの出力が十分に大量に変化したという決定に応答して、その画像に画像処理を実施するように(例えば、眼の注視を決定するように)構成されることができる。
図3Bに示される例示的システム300では、光学信号320AおよびEOG信号320Bは、眼信号プロセッサ330に入力される。眼信号プロセッサはまた、信号320Aおよび320Bの基礎にあるセンサ測定が取得された時間に対応する、時間値(図3Bに示されていない)を入力してもよい。示される実施例では、眼信号プロセッサ330の役割は、信号320Aおよび320Bに基づいて、更新された眼の位置を決定することである。
例示的システム300等のいくつかの実施例では、光学信号320A(結像デバイスに対する眼100の位置を表す)は、眼100の基本位置、すなわち、眼100の前の位置から独立している眼100の現在の位置に対応する。眼信号プロセッサ330は、段階332において、光学信号320Aから眼100の基本位置を決定してもよい。例えば、眼信号プロセッサ330は、例えば、光学信号320Aを種々のシステムパラメータ(光学センサの設置、環境条件、および/またはユーザの眼の外観に関するパラメータ等)に関連付けることによって、光学信号320Aの値と眼100の位置との間の相関を識別し、その相関に基づいて、眼100の位置を決定してもよい。光学センサが、例えば、異物(例えば、瞼または睫毛)による遮蔽または問題のある照明条件に起因する、誤った測定の影響下にあるため、眼信号プロセッサ330は、誤った光学測定を補正するための論理を含んでもよい。例えば、眼信号プロセッサ330は、隣接する測定と一貫性がない、異常値測定を拒否してもよい。信号プロセッサ330はまた、下記に説明されるように、眼データ分析器340の出力を利用し、EOG信号から基本の眼の位置をより正確に決定してもよい。
同様に、いくつかの実施例では、EOG信号320B(眼の筋肉を動かすことによって生成される電気信号を表す)は、眼100の位置のデルタ、すなわち、眼100の位置が眼100の以前の位置以降に変化した程度に対応する。眼信号プロセッサ330は、段階334において、EOG信号320Bから眼100の位置デルタを決定してもよい。例えば、眼信号プロセッサ330は、EOG信号および眼の筋活動の間の既知の相関を使用し、EOG信号320Bの値に対応する筋肉運動を表すマトリクスを決定してもよい。眼信号プロセッサ330は、次いで、EOG信号320Bの連続値(個々の眼移動をそれぞれ表す)に対応するマトリクスを累積し、これらの連続値によって表される眼100の正味の位置デルタを決定してもよい。(移動差から正味の変位を取得するため等の)アキュムレータシステムが逸脱を受け得るため、眼信号プロセッサ330は、例えば、段階332において算出される基本位置の段階的変化に対して位置デルタの段階的変化を比較し、偏差をキャンセルすることによって、逸脱を補正するための論理を含んでもよい。加えて、EOGセンサ測定がクロストーク等の電子雑音および/または干渉を受け得るため、信号プロセッサ330は、そのような雑音および/または干渉を補正するための機構(クロストークキャンセレーションフィルタ等)を含んでもよい。信号プロセッサ330はまた、下記に説明されるように、眼データ分析器340の出力を利用し、EOG信号から眼の位置デルタをより正確に決定してもよい。
いくつかの実施例では、眼信号プロセッサ330は、次いで、基本位置(上記で説明されるように、光学信号320Aから段階332において決定される)およびデルタ位置(上記で説明されるように、EOG信号320Bから段階334において決定される)の合計として眼の位置を計算してもよい(336)。本計算の出力は、上記で説明されるような種々の用途で使用され得る、眼の位置を表す出力信号390を生成してもよい。
頭部搭載型ディスプレイ等のディスプレイを含む、いくつかの実施例では、眼の位置は、ディスプレイが、ユーザの視線内にある、または別様にユーザに視認可能である、ディスプレイの領域上に情報を提示することを可能にするために、使用されてもよい。例えば、頭部搭載型ディスプレイが、ユーザの眼から既知の距離においてユーザの頭部に固定されてもよい。眼の位置は、ユーザが現在見ているディスプレイの領域を識別するために、眼からディスプレイまでの既知の距離と併せて使用されることができる。その領域の表示状態は、次いで、ユーザが、自分の現在の眼の位置に基づいて、表示状態の変化に即時に気付く可能性が高いという知識の上、変更されてもよい。例えば、重要なメッセージが、ユーザの視線の中で直接表示され得る。ディスプレイが仮想現実または拡張現実システムの中等で3D環境を表す、実施例では、仮想オブジェクトは、ユーザが現在見ている3D環境内の精密な場所に出現し、ユーザの没頭感または制御を増進し得る。
同様に、眼の位置は、ユーザが現在見ていないディスプレイの領域を識別するために、眼からディスプレイまでの既知の距離と併せて使用されることができる。その領域の表示状態は、次いで、ユーザが、自分の現在の眼の位置に基づいて、表示状態の変化に即時に気付きそうにないという知識の上、変更されてもよい。ディスプレイが仮想現実または拡張現実システムの中等で3D環境を表す、実施例では、仮想オブジェクトが、目立たないように環境に進入する、またはそこから退出すること、またはユーザが気付くことなく仮想オブジェクトの状態(例えば、オブジェクトをレンダリングするために使用されるアセットの分解能等)を変化させることが、望ましくあり得る。そのような挙動は、3D環境へのユーザの没頭感を増進させ得る。これは、ユーザが見ていないディスプレイの領域を識別し、その領域中の表示状態を変化させることによって、遂行されることができる。
いくつかの実施例は、例示的システム300の動作を精緻化および向上させるための図3Bに示される眼データ分析器340等の眼データ分析器を含んでもよい。例示的システム300では、眼信号プロセッサ330からの眼の位置データ(段階332において決定される基本位置データおよび/または段階334において決定されるデルタ位置データ)が、眼データプロセッサ340に入力されてもよく、これは、眼データプロセッサによって収集および記録されてもよい。例示的システム300等のいくつかの実施例では、付加的センサデータ350および/または予測データ360もまた、眼データプロセッサ340に入力される。段階342では、眼データプロセッサ340は、眼信号プロセッサ330から眼の位置データ、いくつかの実施例では、付加的センサデータ350および/または予測データ360を分析し、経時的に眼100の移動および挙動のパターンおよび特性を識別してもよい。そのようなパターンおよび特性は、例示的システム300がより効果的に動作し得る方法を明らかにし得る。
いくつかの実施例では、眼信号プロセッサ330および/または眼データ分析器340は、眼の挙動の発生の確実性ではなく確率を決定してもよい。これらの確率は、統計的方法を使用して決定されてもよい。いくつかの実施例では、眼信号プロセッサ330および/または眼データ分析器340は、種々の入力の状態(例えば、眼の位置測定)を考慮して、システムの出力(例えば、眼の挙動のタイプ)を予測する統計的モデルを生成および/または適用してもよい。いくつかの実施例では、眼信号プロセッサ330および/または眼データ分析器340は、確率に影響する1つ以上の因子の重みまたは影響を識別または調節することによって、その確率を決定してもよい。例えば、眼信号プロセッサ330および/または眼データ分析器340は、いくつかの可能性として考えられる眼の挙動のうち、1つの特定の眼の挙動が、(その挙動が必ずしも起こらない場合があっても)種々の重みを付けられた因子の現在の値を考慮して、起こる可能性が最も高いことを決定してもよい。同様に、眼信号プロセッサ330および/または眼データ分析器340は、確実に将来の挙動を決定することができなくても、種々の重みを付けられた因子に基づいて、そのような将来の挙動の予測を行ってもよい。これは、多くの場合、眼が特定の挙動に関与することを確実に結論付けることは困難または不可能であり、さらに、将来の眼の挙動を予測することは困難または不可能であることを反映している。しかしながら、眼の挙動の発生の絶対確実性は、多くの用途にとって必要ではない場合があり、利点(例えば、電力効率および計算効率)は、ある眼の挙動の相対可能性の決定によって、または将来の眼の挙動の可能性に関する知識に基づく推測によって、伝えられてもよい。
統計的方法が、眼の挙動の発生の確率を決定するために採用されてもよい。例えば、信頼スコアが、特定の挙動が起こる可能性に割り当てられてもよい。信頼スコアは、閾値と比較されてもよく、信頼スコアが閾値を超えると決定することに応じて、眼信号プロセッサ330および/または眼データ分析器340は、信頼スコアと関連付けられる挙動が十分な確率で起こる可能性が高いことを決定してもよい。他の統計的方法もまた、採用されてもよい。
眼の挙動を識別することの一実施例として、段階342では、眼データ分析器340は、眼信号プロセッサ330からの眼の位置データから、眼100が静止焦点標的を凝視していることを決定してもよい。例えば、眼データプロセッサは、静止標的を凝視する眼に特徴的な条件である、眼がわずかな高周波数移動のみを実行していることを示すデータに基づいて、そのような決定を行ってもよい。眼100の位置は、そのように凝視している間に、そうであるとしても、殆ど変化しないことが予期されることができる。そのような条件下で、各新しい測定は、有意な新しい位置情報を殆ど提供しないことが予期され得るため、(例えば、intoptおよび/またはinteogを増加させること等によって)光学および/またはEOGセンサが新しい測定を取得するレートを減少させることが容認可能であり得る。眼信号プロセッサ330はまた、眼の位置のその算出を調節し、眼100が凝視に関与している間に、信号320Aおよび320Bが位置の有意な変化を提示しそうにないことを反映し、より優れた眼追跡正確度を潜在的にもたらし得る。
実施例として、段階342において、眼信号プロセッサ330からの眼の位置データは、眼100が衝動性挙動に関与することを示唆する条件である、眼100の移動が方向を急速に変化させていることを示し得る。眼が衝動性挙動に関与するとき、眼の位置を表す信号は、大量の高周波数情報を含有し得る。そのような衝動性挙動を識別することに応答して、眼データプロセッサ340は、眼の位置信号の高周波数情報がエイリアシングを伴わずに正確に捕捉されることができるように、(inteogを減少させること等によって)EOGセンサが更新されるレートを増加させてもよい。
いくつかの実施例では、眼データプロセッサ340は、光学センサおよびEOGセンサ以外のセンサから等の付加的センサデータ350を利用し、別様に可能であり得るよりも効果的に眼の挙動を識別してもよい。いくつかの実施例では、機械学習技法が、眼の挙動の識別を向上させるために採用されてもよい。一実施例として、ニューラルネットワークが、付加的センサデータ350に基づいて、個々のユーザの眼の挙動を識別するように、そのユーザと関連付けられる付加的センサデータ350を使用して訓練され得る。別の実施例として、一般化されたニューラルネットワークが、個々のユーザに関してではなくユーザ群と関連付けられる付加的センサデータ350を使用して訓練され得る。そのようなニューラルネットワークは、出力信号390等の例示的システム300からのデータを使用して、再帰的に訓練されてもよい。別の実施例として、一般的アルゴリズムが、付加的センサデータ350を含む入力データと眼の挙動との間の関係を識別するために、使用されてもよい。深層学習技法を含む、サポートベクターマシン、ベイジアンネットワーク、規則ベースのシステム、および学習分類子システム等の他の機械学習技法も、同様に採用されることができる。いくつかの実施例では、これらの技法は、眼データプロセッサ340内で実装される。いくつかの実施例では、これらの技法は、例示的システム300の他のコンポーネントで実装される。いくつかの実施例では、これらの技法は、少なくとも部分的に、例示的システム300の外部のシステムで実装される。例えば、遠隔サーバは、データの大型セットでニューラルネットワークを訓練し、コンピュータネットワークを介して、そのニューラルネットワークのパラメータまたは出力を例示的システム300に通信してもよい。
付加的センサデータ350を利用することの一実施例として、付加的センサデータ350は、頭部移動を検出するように構成される加速度計からのデータを含んでもよい。加速度計は、慣性フレームに対する加速度計の加速度に対応する値を出力し、したがって、加速度計がヒトの頭部に添着される場合、加速度計の出力は、頭部の加速度に対応し得る。そのような加速度計からの高い出力値は、例えば、人物が高速移動するオブジェクトを観察している、またはその頸部を伸ばして視覚の周囲におけるオブジェクトを視認しているため、有意な頭部移動があることを示し得る。逆に、加速度計からの低い出力値は、例えば、本を読んでいる間に、頭部が比較的に動かないことを示し得る。加速度計データが、有意な頭部移動があることを示す場合、眼データプロセッサ340は、上記で説明されるように、眼100が、眼が頭部または頸部の筋肉と併せて移動する場合等の前庭動眼移動に関与することを結論付け得る。前庭動眼移動が比較的に小さい規模の眼移動と関連付けられる得るため(例えば、頭部移動が大きな眼移動を不必要にするため)、眼データプロセッサ340は、(intoptを増加させ、それに応じて、光学センサによって消費される電力を削減すること等によって)光学センサが更新されるレートを減少させ、眼の基本位置が、突然の大きな偏移を受けると予期されない場合があることを反映し得る。逆に、付加的センサデータ350が、有意な頭部移動がないことを示す加速度計データを含む場合、眼データプロセッサは、眼100が別様に行うであろうよりも(最小限の頭部移動を伴って本を読んでいる間等に)衝動性移動に関与する可能性が高いことを結論付け得る。機械学習技法を利用する実施例では、そのような技法は、加速度計データと眼の挙動との間の関連性を識別するために採用され得る。例えば、ニューラルネットワークが、加速度計データの具体的パターン(例えば、単純な調和運動に対応する正弦波出力)をこれらのパターンに相関する特定の眼の挙動と関連付けるように、訓練され得る。さらに、いくつかの実施例では、ジャイロスコープ、電気コンパス、磁力計、慣性測定ユニット、または他のデバイスが、加速度計の代わりに、またはそれに加えて、使用されてもよい。
他のタイプの付加的センサデータ350もまた、有益な効果に使用されてもよい。いくつかの実施例では、付加的センサデータ350は、周囲光センサからのデータを含んでもよい。眼データプロセッサ340は、本データを使用して、ある光条件と関連付けられる眼の挙動を識別する、または眼信号プロセッサ330が照明条件の変化を補正することに役立ってもよい。例えば、眼100の瞳孔が、光レベルの増加への暴露に応答して収縮し得るため、光レベルの増加を示す付加的センサデータ350は、瞳孔サイズの収縮が予期されるものであることを示し得、応答して、光学センサは、より小さい瞳孔との併用のために再較正する準備をしてもよい。異なる眼追跡アルゴリズムもまた、より小さい瞳孔サイズに適応するために眼信号プロセッサ330によって採用されてもよい。別の実施例として、付加的センサデータ350は、暗すぎて光学センサが適切に稼動できないことを示す、周囲光データを含んでもよい。眼データプロセッサ340は、本情報を使用し、そのような条件下で(例えば、intoptを増加させることによって)光学センサを更新することを減速または停止してもよい。いくつかの実施例では、付加的センサデータ350は、光学センサ等のセンサからも決定され得る情報を提供してもよい。そのような実施例では、効率が、別様にカメラまたは他のあまり効率的ではないセンサによって実施されるであろう作業を実施するように、周囲光センサ等の比較的に電力効率的なセンサを使用することによって、獲得されてもよい。機械学習技法を利用する実施例では、そのような技法が、周囲光センサ等のセンサと眼の挙動との間の関連性を識別するために採用され得る。例えば、ニューラルネットワークが、周囲光の変化を、これらの変化に相関する瞳孔拡大および収縮等の特定の眼の挙動と関連付けるように訓練され得る。
いくつかの実施例では、付加的センサデータ350は、GPSセンサから等の時間および/または場所データを含んでもよい。眼データプロセッサ340は、本データを使用し、具体的時間および場所と関連付けられる眼の挙動を識別してもよい。一実施例として、付加的センサデータ350は、ユーザが静止し、夜間に建物の内側にいて、したがって、別様よりも読書および衝動性眼移動に関与する可能性が高くあり得ることを示す、場所データを含んでもよい。別の実施例として、付加的センサデータ350は、日常的な挙動(例えば、6:00~7:00の毎日の通勤等)を識別するため、かつその挙動に基づいて眼移動を予測するために、眼データプロセッサ340によって使用され得る、時間データを含んでもよい。別の実施例として、付加的センサデータ350は、ユーザが車両を運転しており、ユーザの眼が別様よりも衝動性移動に関与する可能性が高いことを示す、場所データを含んでもよい。機械学習技法を利用する実施例では、そのような技法が、時間および/または場所データと眼の挙動との間の関連性を識別するために採用され得る。例えば、ニューラルネットワークが、時刻を、特定の時間に相関する特定の眼の挙動と関連付けるように訓練され得る。
いくつかの実施例では,眼データプロセッサ340は、(GPSセンサから等の)地理座標を具体的な建物、事業、または目印に相関させる、商業用地理データ等の地理データによって補助されてもよい。例えば、付加的センサデータ350は、ユーザがジムにいて、したがって、別様よりも運動、したがって、前庭動眼移動に関与する可能性が高くあり得ることを示すために地図データと併せて使用され得る、場所データを含んでもよい。同様に、付加的センサデータ350は、ユーザが映画館にいて、ユーザの眼が数時間の周期にわたって(映画のスクリーンを鑑賞している間等に)凝視挙動に関与する可能性が高くあり得ることを示すために地理データと併せて使用され得る、場所データを含んでもよい。機械学習技法を利用する実施例では、そのような技法が、地図データと眼の挙動との間の関連性を識別するために採用され得る。例えば、ニューラルネットワークが、ユーザの場所を、その場所で起こる傾向がある特定の眼の挙動と関連付けるように訓練され得る。
いくつかの実施例では、付加的センサデータ350は、病状と関連付けられる眼の挙動に関連し得る、その病状に関連するデータを含んでもよい。例えば、付加的センサデータ350が、ユーザが、眼追跡システムにおいて異常に大量の雑音をもたらし得る症状である、弱視(amblyopiaまたはlazy eye)を有することを示す場合、眼データプロセッサ340は、本情報を使用し、高い雑音レベルを予測および低減させてもよい。加えて、眼データプロセッサは、ユーザの眼が病状の結果として正常な移動に関与しない場合があるという事実に適応するように、光学センサおよび/またはEOGセンサの更新レートを調節してもよい。機械学習技法を利用する実施例では、そのような技法が、医療情報と眼の挙動との間の関連性を識別するために採用され得る。例えば、ニューラルネットワークが、ある病状を、これらの病状に付随する特定の眼の挙動と関連付けるように訓練され得る。
いくつかの実施例では、付加的センサデータ350は、コンピュータシステムのユーザの使用に関連するデータを含んでもよく、特に、眼追跡システムが(例えば、入力をそのコンピュータシステムに提供するように)コンピュータシステムと統合する実施例では、コンピュータシステムは、ユーザが、ある挙動を示し得る具体的ソフトウェアを使用していることを示し得る。例えば、付加的センサデータ350は、ユーザがテキストを読むために電子書籍リーダプログラムを使用していることを示し得、眼データプロセッサ340は、本情報を使用し、ユーザが読書と関連付けられる衝動性移動に関与することを予測してもよい。別の実施例として、付加的センサデータ350は、オブジェクトがユーザのディスプレイ上で出現する場所を示す、データを含んでもよい。ユーザは、そのようなオブジェクトを見ることが予期され得るため、眼データプロセッサ340は、本情報を使用し、ユーザの眼が合焦する可能性が高いものを予測してもよい。例えば、そのような情報は、眼100がオブジェクト追跡挙動に関与するであろうことを予測するために使用されることができ、追跡されたオブジェクトの表示座標は、付加的センサデータ350によって示される。機械学習技法を利用する実施例では、そのような技法が、コンピュータシステム使用と眼の挙動との間の関連性を識別するために採用され得る。例えば、ニューラルネットワークが、あるコンピュータ使用条件(特定のソフトウェアアプリケーションの動作等)を、これらの使用条件に付随する特定の眼の挙動と関連付けるように訓練され得る。
いくつかの実施例では、眼データプロセッサ340は、(眼信号プロセッサ330から等の)眼の位置データおよび/または付加的センサデータ350と組み合わせて予測データ360を使用し、眼の挙動をより正確に識別または予測してもよい。予測データ360は、入力データ(眼の位置データ等)をある出力された眼の挙動(例えば、衝動性移動)の可能性に相関させる情報を含んでもよい。種々の機械学習技法が、予測データ360を生成するために採用されてもよい。いくつかの実施例では、ニューラルネットワークが、眼の挙動を個々のユーザからの眼の位置データと相関させる予測データ360を生成するように、既知の眼の位置データおよびそのユーザからの眼の挙動を使用して訓練され得る。いくつかの実施例では、一般化されたニューラルネットワークが、個々のユーザに関してではなくユーザ群との併用のために訓練され得る。いくつかの実施例では、教師なし学習技法から生成される予測データ360は、入力データと眼の挙動との間の関係を識別するために使用されてもよく、これは、眼データプロセッサ340の正確度を向上させ得、例示的システム300を大きく多様なユーザ群にとってより有用にし得る。いくつかの実施例では、深層学習技法から生成される予測データ360は、特に、入力データについて殆ど先験的に把握されていない場合に、入力データと眼の挙動との間の関係を識別するために使用されてもよい。いくつかの実施例では、一般的アルゴリズムが、付加的センサデータ350を含む入力データと眼の挙動との間の関係を識別するために使用されてもよい。サポートベクターマシン、ベイジアンネットワーク、規則ベースのシステム、および学習分類子システム等の他の機械学習技法も、同様に、採用されることができる。
いくつかの実施例では、予測データ360は、外部源によって例示的システム300に通信されてもよい。例えば、ニューラルネットワークが、遠隔サーバ上で訓練され得、そのニューラルネットワークのパラメータまたは出力は、予測データ360として例示的システム300に通信される。そのような構成は、機械学習技法の局所適用が計算的に法外であり得る、多数のユーザから等の眼データの大型セットを利用する実施例において特に有益であり得る。しかしながら、機械学習技法の「簡易」実装を伴うもの等のいくつかの実施例では、予測データは、例示的システム300にローカルで生成されてもよい。
図3Bに示されるもの等のいくつかの実施例では、眼データプロセッサ340が、段階342において、眼100の挙動を特性評価した後、眼データプロセッサ340は、段階344において、1つ以上の光学センサパラメータおよび/または感知回路パラメータを決定してもよい。光学センサパラメータまたは感知回路パラメータは、光学センサループ318AおよびEOGセンサループ318Bがそれらの個別のループを更新するレートを定義する、間隔パラメータを含むことができる。例えば、眼データプロセッサ340が、(例えば、光学センサによって出力される眼の画像によって検出されるような)現在の眼の挙動に基づいて、電力消費が光学センサ更新レートを低減させることによって安全に低減され得ることを決定する場合、眼データプロセッサ340は、intoptの値を直接または間接的に増加させ、上記で説明されるように光学センサ更新の間の時間を増加させることができる(したがって、光学センサ更新レートを低減させる)。眼データプロセッサ340は、同様に、inteogの値を調節させ、上記で説明されるように、EOGセンサ更新の間の時間を調節してもよい。いくつかの実施例では、眼データプロセッサ340は、眼の挙動に関する決定に基づいて、光学信号320Aおよび/またはEOG信号320Bから雑音をフィルタ処理するためのパラメータ等の他のシステムパラメータを調節してもよい。いくつかの実施例では、眼データプロセッサ340は、眼の挙動に関する決定に基づいて、光学センサをプライミングすること、または光学センサまたはEOGセンサを較正すること等の他の動作を実施してもよい。
図3Bに示される例示的システム300では、intoptおよびinteogは、それぞれ、関数foptおよびfeogの出力として設定されてもよく、その関数は、段階346において眼データプロセッサ340から1つ以上のパラメータ(例えば、x、y)を受信し得る。例えば、そのようなパラメータは、高レベルの眼の挙動、眼移動の周波数成分、および眼移動の他の側面のカテゴリに対応し得る。そのようなパラメータはまた、現在のバッテリ寿命(低いときに、あまり頻繁ではないセンサ測定を要求し得る)等の眼移動に直接関連しない情報に対応し得る。そのような例示的システムでは、foptおよびfeogは、眼データプロセッサ340がfoptおよびfeogのパラメータを介してセンサ更新レートを継続的に調節し、眼追跡正確度と電力消費との間の最適なトレードオフを維持することを可能にするように構成されてもよい。
図4は、上記の実施例のうちのいずれかまたは全てを実装するために使用され得る、例示的システム400を図示する。例示的システム400は、携帯用デバイス(ウェアラブルデバイスを含む)または非携帯用デバイス、例えば、通信デバイス(例えば、携帯電話、スマートフォン)、マルチメディアデバイス(例えば、MP3プレーヤ、TV、ラジオ)、携帯用またはハンドヘルドコンピュータ(例えば、タブレット、ノートブック、ラップトップ)、デスクトップコンピュータ、一体型デスクトップ、周辺デバイス、頭部搭載型デバイス(例えば、統合ディスプレイを含み得る)、またはこれらのタイプのデバイスのうちの2つ以上のものの組み合わせを含む例示的システム400を含むように適合可能な任意の他のシステムまたはデバイスの中に含まれてもよい。上記の実施例は、無線ネットワークを介して通信する2つ以上のコンピュータ等の2つ以上の物理的に別個のデバイスで具現化されてもよい。上記の実施例は、データを、頭部搭載型ディスプレイへ、および/またはそこから通信する、ベルトパック等の2つ以上の物理的に異なるデバイスで具現化されてもよい。例示的システム400は、1つ以上のコンピュータ可読媒体401と、処理システム404と、I/Oサブシステム406と、無線通信回路(例えば、RF回路)408と、オーディオデバイス(例えば、スピーカ、マイクロホン)410と、センサ411とを含む。これらのコンポーネントは、1つ以上の通信バスまたは信号ライン403によって結合され得る。
図4に示されるアーキテクチャは、例示的システム400の1つの例示的アーキテクチャにすぎず、例示的システム400は、示されるものよりも多いまたは少ないコンポーネント、またはコンポーネントの異なる構成を有してもよい。図4に示される種々のコンポーネントは、1つ以上のデジタル信号プロセッサ(DSP)および/または特定用途向け集積回路(ASIC)を含む、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実装されてもよい。
図4の例示的システム400を参照すると、無線通信回路408は、1つ以上の他のデバイスへの無線(例えば、RF)リンクまたはネットワークを経由して情報を送信および受信するために使用されることができ、本機能を果たすための回路を含むことができる。無線通信回路408およびオーディオデバイス410は、周辺機器インターフェース416を介して処理システム404に結合されることができる。周辺機器インターフェース416は、周辺機器(例えば、無線通信回路408、オーディオデバイス410、およびセンサ411)と処理システム404との間の通信を確立および維持するための種々の既知のコンポーネントを含むことができる。オーディオデバイス410は、周辺機器インターフェース416から受信される音声信号を処理し、ユーザが他のユーザとリアルタイムで通信することを可能にするための回路を含むことができる。オーディオデバイス410は、例えば、1つ以上のスピーカおよび/または1つ以上のマイクロホンを含んでもよい。いくつかの実施例では、オーディオデバイス410は、ヘッドホンジャック(図示せず)を含むことができる。
センサ411は、限定されないが、1つ以上の発光ダイオード(LED)または他の光エミッタ、1つ以上のフォトダイオードまたは他の光センサ、1つ以上の光熱センサ、磁力計、加速度計、ジャイロスコープ、気圧計、コンパス、近接性センサ、カメラ、周囲光センサ、温度計、GPSセンサ、電気眼球図記録(EOG)センサ、および残存バッテリ寿命、電力消費量、プロセッサ速度、CPU負荷、および同等物を感知し得る種々のシステムセンサを含む、種々のセンサを含むことができる。頭部搭載型デバイス(ディスプレイを含み得る)を伴うこと等の実施例では、1つ以上のセンサは、ユーザの眼移動を追跡すること、またはその眼の画像に基づいてユーザを識別すること等のユーザの眼に関連する機能性に関連して採用されてもよい。
周辺機器インターフェース416は、システム400の入力および出力周辺機器を、1つ以上のプロセッサ418および1つ以上のコンピュータ可読媒体401に結合することができる。1つ以上のプロセッサ418は、コントローラ420を介して1つ以上のコンピュータ可読媒体401と通信することができる。コンピュータ可読媒体401は、1つ以上のプロセッサ418によって使用するためのコードおよび/またはデータを記憶し得る、任意のデバイスまたは媒体(信号を除外する)であり得る。いくつかの実施例では、コンピュータ可読媒体401は、非一過性のコンピュータ可読記憶媒体であり得る。コンピュータ可読媒体401は、限定ではないが、キャッシュ、メインメモリ、および二次メモリを含む、メモリ階層を含むことができる。メモリ階層は、RAM(例えば、SRAM、DRAM、DDRAM)、ROM、FLASH、磁気および/または光学記憶デバイス、例えばディスクドライブ、磁気テープ、CD(コンパクトディスク)、およびDVD(デジタルビデオディスク)等の任意の組み合わせを使用して、実装されることができる。コンピュータ可読媒体401はまた、(信号を除外し、信号が変調される搬送波を除外するが)コンピュータ命令またはデータを示す情報伝達信号を搬送するための伝送媒体を含んでもよい。例えば、伝送媒体は、限定ではないが、インターネット(ワールドワイドウェブを含む)、イントラネット、ローカエルエリアネットワーク(LAN)、ワイドローカルエリアネットワーク(WLAN)、ストレージエリアネットワーク(SAN)、メトロポリタンエリアネットワーク(MAN)、および同等物を含む、通信ネットワークを含んでもよい。
1つ以上のプロセッサ418は、コンピュータ可読媒体401の中に記憶された種々のソフトウェアコンポーネントを起動し、例示的システム400のための種々の機能を果たすことができる。いくつかの実施例では、ソフトウェアコンポーネントは、オペレーティングシステム422と、通信モジュール(または命令のセット)424と、I/O処理モジュール(または命令のセット)426と、グラフィックスモジュール(または命令のセット)428と、1つ以上のアプリケーション(または命令のセット)430とを含むことができる。これらのモジュールおよび上記のアプリケーションはそれぞれ、上記に説明される1つ以上の機能および本願に説明される方法(例えば、コンピュータ実装方法および本明細書に説明される他の情報処理方法)を実施するための命令のセットに対応することができる。これらのモジュール(すなわち、命令のセット)は、別個のソフトウェアプログラム、プロシージャ、またはモジュールとして実装される必要はなく、したがって、これらのモジュールの種々のサブセットは、種々の実施例では、組み合わせられる、または別様に再配列されてもよい。いくつかの実施例では、コンピュータ可読媒体401は、上記で識別されるモジュールおよびデータ構造のサブセットを記憶してもよい。さらに、コンピュータ可読媒体401は、上記に説明されていない付加的モジュールおよびデータ構造を記憶してもよい。
オペレーティングシステム422は、一般的システムタスク(例えば、メモリ管理、記憶デバイス制御、電力管理等)を制御および管理するための種々のプロシージャ、命令のセット、ソフトウェアコンポーネント、および/またはドライバを含んでもよく、種々のハードウェアとソフトウェアコンポーネントとの間の通信を促進する。
通信モジュール424は、1つ以上の外部ポート436を経由して、または無線通信回路408を介して、他のデバイスとの通信を促進することができ、無線通信回路408および/または外部ポート436から受信されるデータを取り扱うための種々のソフトウェアコンポーネントを含むことができる。
グラフィックスモジュール428は、1つ以上のディスプレイ表面上でグラフィカルオブジェクトをレンダリング、動画化、および表示するための種々の既知のソフトウェアコンポーネントを含むことができる。ディスプレイ表面は、2Dまたは3Dディスプレイを含んでもよい。ディスプレイ表面は、例示的システム400の1つ以上のコンポーネントに直接または間接的に結合されてもよい。タッチ感知ディスプレイ(例えば、タッチスクリーン)を伴う実施例では、グラフィックスモジュール428は、タッチ感知ディスプレイ上でオブジェクトをレンダリング、表示、および動画化するためのコンポーネントを含むことができる。いくつかの実施例では、グラフィックスモジュール428は、遠隔ディスプレイをレンダリングするためのコンポーネントを含むことができる。カメラを組み込むもの等のいくつかの実施例では、グラフィックスモジュール428は、レンダリングされたグラフィックオブジェクトとカメラデータ(頭部搭載型カメラから捕捉されるもの等)または写真データ(衛星によって捕捉された画像等)を合成することによって形成される画像を作成および/または表示するためのコンポーネントを含むことができる。いくつかの実施例では、グラフィックスモジュール428は、画像を頭部搭載型ディスプレイデバイスにレンダリングするためのコンポーネントを含むことができる。いくつかの実施例では、画像は、仮想コンテンツの要素のビュー(例えば、3次元仮想環境内のオブジェクト)および/または物理的世界のビュー(例えば、ユーザの物理的周辺を示すカメラ入力)を含んでもよい。いくつかの実施例では、ディスプレイは、仮想コンテンツおよび物理的世界のビューの合成画像を提示してもよい。いくつかの実施例では、物理的世界のビューは、レンダリングされた画像であってもよく、いくつかの実施例では、物理的世界のビューは、カメラからの画像であってもよい。
1つ以上のアプリケーション430は、限定ではないが、ブラウザ、アドレス帳、連絡先リスト、Eメール、インスタントメッセージ、文書処理、キーボードエミュレーション、ウィジェット、JAVA(登録商標)対応アプリケーション、暗号化、デジタル著作権管理、音声認識、音声複製、場所決定能力(全地球測位システム(GPS)によって提供されるもの等)、音楽プレーヤ等を含む、例示的システム400上にインストールされた任意のアプリケーションを含むことができる。
I/Oサブシステム406は、種々の機能を制御する、または果たすための1つ以上のI/Oデバイス414に結合されることができる。眼追跡または虹彩認識機能性を含む実施例等の眼データの処理を伴う実施例では、I/Oサブシステム406は、眼関連入力および出力専用の1つ以上のI/Oデバイス412に結合されてもよい。1つ以上の眼I/Oデバイス412は、眼入力(例えば、眼追跡のためのセンサ)またはユーザジェスチャ入力(例えば、光学センサ)を処理するための種々のコンポーネントを含み得る、眼I/Oデバイスコントローラ432を介して、処理システム404と通信してもよい。1つ以上の他のI/Oコントローラ434は、電気信号を他のI/Oデバイス414に送信し、そこから受信することができる。そのようなI/Oデバイス414は、物理的ボタン、ダイヤル、スライダスイッチ、スティック、キーボード、タッチパネル、付加的ディスプレイ画面、またはそれらの任意の組み合わせを含んでもよい。
I/O処理モジュール426は、限定されないが、眼I/Oデバイスコントローラ432を介して眼I/Oデバイス412から、またはI/Oコントローラ434を介して他のI/Oデバイス414から受信される、入力を受信および処理することを含む、1つ以上の眼I/Oデバイス412および/または1つ以上の他のI/Oデバイス414と関連付けられる種々のタスクを実施するための種々のソフトウェアコンポーネントを含むことができる。いくつかの実施例では、I/Oデバイス414および/またはI/O処理モジュール426は、触知または非触知手段によって提供され得る、ジェスチャ入力と関連付けられる種々のタスクを実施してもよい。いくつかの実施例では、ジェスチャ入力は、例えば、ユーザの眼、腕、手、および/または指の移動を検出するためのカメラまたは別のセンサによって提供されてもよい。いくつかの実施例では、1つ以上のI/Oデバイス414および/またはI/O処理モジュール426は、ユーザが相互作用することを所望するディスプレイ上のオブジェクト、例えば、ユーザが指し示しているGUI要素を識別するように構成されてもよい。いくつかの実施例では、1つ以上の眼I/Oデバイス412および/またはI/O処理モジュール426は、ユーザが見ているオブジェクトまたはディスプレイ上の領域を識別すること等の眼追跡タスクを実施するように(光学またはEOGセンサの助けを借りて等)構成されてもよい。いくつかの実施例では、デバイス(ハードウェア「ビーコン」等)が、2Dまたは3D環境に対するユーザの手の場所を識別すること等の1つ以上のI/Oデバイス414および/またはI/O処理モジュール426のジェスチャ関連タスクを補助するように、ユーザによって装着または保持されてもよい。いくつかの実施例では、1つ以上の眼I/Oデバイス412および/またはI/O処理モジュール426は、ユーザの眼に関するカメラセンサからのデータ等のセンサ入力に基づいて、ユーザを識別するように構成されてもよい。
いくつかの実施例では、グラフィックスモジュール428は、グラフィカルユーザインターフェース(GUI)内で視覚出力をユーザに表示することができる。視覚出力は、テキスト、グラフィック、ビデオ、およびそれらの任意の組み合わせを含んでもよい。視覚出力の一部または全ては、ユーザインターフェースオブジェクトに対応してもよい。いくつかの実施例では、1つ以上のI/Oデバイス412および/または414および/またはコントローラ432および/または434は(媒体401内の任意の関連付けられるモジュールおよび/または命令のセットとともに)、ジェスチャおよび/または眼移動を検出および追跡することができ、検出されたジェスチャおよび/または眼移動を、1つ以上のユーザインターフェースオブジェクト等のグラフィカルオブジェクトとの相互作用に変換することができる。1つ以上の眼I/Oデバイス412および/または眼I/Oデバイスコントローラ432が、ユーザの眼移動を追跡するように構成される、実施例では、ユーザは、グラフィカルオブジェクトを見ることによって、それらと直接相互作用することができる。
フィードバックが、表示されているものおよび/または例示的システム400の1つまたは複数の状態に基づいて、1つ以上の眼I/Oデバイス412または1つ以上の他のI/Oデバイス414によって等、提供されてもよい。フィードバックは、光学的に(例えば、光信号または表示された画像)、機械的に(例えば、触知フィードバック、タッチフィードバック、力フィードバック、または同等物)、電気的に(例えば、電気刺激)、嗅覚、音響的に(例えば、ビープ音または同等物)、または同等物、またはそれらの任意の組み合わせで、かつ可変または非可変様式で、伝送されてもよい。
例示的システム400はまた、種々のハードウェアコンポーネントに給電するための電力システム444を含むことができ、電力管理システム、1つ以上の電源、再充電システム、停電検出回路、電力コンバータまたはインバータ、電力状態インジケータ、および典型的には携帯用デバイスにおける電力の生成、管理、および分配と関連付けられる任意の他のコンポーネントを含んでもよい。
いくつかの実施例では、周辺機器インターフェース416、1つ以上のプロセッサ418、およびコントローラ420は、処理システム404等の単一のチップ上に実装されてもよい。いくつかの他の実施例では、それらは、別個のチップ上に実装されてもよい。
いくつかの実施例では、方法が開示される。本方法は、第1の時間間隔において、眼の第1の位置を示すデータを出力するように構成される第1のセンサから、第1のデータを受信するステップと、第2の時間間隔において、眼のデルタ位置を示すデータを出力するように構成される第2のセンサから、第2のデータを受信するステップと、第1のデータに基づいて、眼の第1の位置を決定するステップと、第2のデータに基づいて、眼のデルタ位置を決定するステップと、眼の第1の位置および眼のデルタ位置を使用して、眼の第2の位置を決定するステップと、眼の第2の位置を決定することに応答して、眼の第2の位置を示す出力信号を生成するステップとを含んでもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、第1のセンサは、光学センサを備えてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、第2のセンサは、電気眼球図記録センサを備えてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、第1の時間間隔は、第2の時間間隔を上回り得る。上記の実施例のうちの1つ以上のものに加えて、または代替として、第1のセンサは、第1の時間間隔中に低電力モードで動作してもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、第2のセンサは、第2の時間間隔中に低電力モードで動作してもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、本方法はさらに、眼の第2の位置を使用して、第1の眼移動挙動を決定するステップを含んでもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、第1の眼移動挙動は、衝動性移動、円滑追跡、凝視、眼振、または前庭動眼移動を備えてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、本方法はさらに、第1の眼移動挙動を決定することに応答して、第1のセンサからデータを受信する第3の時間間隔を決定するステップと、第2のセンサからデータを受信する第4の時間間隔を決定するステップとを含んでもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、第1の眼移動挙動を決定するステップは、第1の眼移動挙動の可能性に対応する信頼スコアを生成するステップと、信頼スコアを閾値と比較するステップと、信頼スコアが閾値を超えることを決定するステップとを含んでもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、本方法はさらに、第3のセンサから第3のデータを受信するステップを含んでもよく、第1の眼移動挙動は、第3のデータを使用して決定されてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、第3のセンサは、加速度計、ジャイロスコープ、電子コンパス、磁力計、または慣性測定ユニットを備えてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、第3のセンサは、GPSセンサを備えてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、第3のセンサは、周囲光センサを備えてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、第1の眼移動挙動は、ニューラルネットワークを使用して決定されてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、本方法はさらに、第1のデータ、第2のデータ、第3のデータ、眼の第2の位置、または第1の眼移動挙動を備える、情報を使用して、ニューラルネットワークを訓練するステップを含んでもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、本方法はさらに、ニューラルネットワークを使用して、第2の眼移動挙動を決定するステップを含んでもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、第1のセンサおよび第2のセンサは、ディスプレイを備える、頭部搭載型デバイスに取り付けられてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、本方法はさらに、眼の第2の位置を決定することに応答して、眼の第2の位置に対応するディスプレイの領域であって、第1の表示状態に等しい表示状態を有する、領域を決定するステップと、領域の表示状態を第1の表示状態から第2の表示状態に変化させるステップとを含んでもよい。
いくつかの実施例では、方法が開示される。本方法は、第1の時間間隔において、頭部搭載型ディスプレイを備える拡張現実システムのユーザと関連付けられるセンサから、第1のデータであって、ユーザの眼の位置を示す、第1のデータを受信するステップと、第1のデータおよび拡張現実システムの属性に基づいて、眼と関連付けられる眼移動挙動を決定するステップと、眼と関連付けられる眼移動挙動を決定することに応答して、センサからデータを受信する第2の時間間隔を決定するステップとを含んでもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、眼移動挙動を決定するステップは、眼移動挙動の可能性に対応する信頼スコアを生成するステップと、信頼スコアを閾値と比較するステップと、信頼スコアが閾値を超えることを決定するステップとを含んでもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、拡張現実システムは、ソフトウェアアプリケーションを実行するように構成されてもよく、拡張現実システムの属性は、ソフトウェアアプリケーションの状態を示してもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、センサは、第2の時間間隔中に低電力モードで動作してもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、眼移動挙動は、衝動性移動、円滑追跡、凝視、眼振、または前庭動眼移動を備えてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、拡張現実システムは、加速度計、ジャイロスコープ、電子コンパス、磁力計、または慣性測定ユニットを備えてもよく、拡張現実システムの属性は、加速度計、ジャイロスコープ、電子コンパス、磁力計、または慣性測定ユニットの出力を備える。上記の実施例のうちの1つ以上のものに加えて、または代替として、拡張現実システムは、GPSセンサを備えてもよく、拡張現実システムの属性は、GPSセンサの出力を備えてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、拡張現実システムは、周囲光センサを備えてもよく、拡張現実システムの属性は、周囲光センサの出力を備えてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、眼移動挙動は、ニューラルネットワークを使用して決定されてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、センサは、光学センサを備えてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、センサは、電気眼球図記録センサを備えてもよい。
いくつかの実施例では、ウェアラブルコンピューティングシステムが開示される。ウェアラブルコンピューティングシステムは、ユーザの頭部を中心として装着されるように構成される、フレームと、フレームに取り付けられる少なくとも1つの電極を備える、感知回路であって、ユーザの眼の電位を測定するように構成される、感知回路と、フレームに取り付けられ、光学センサパラメータに従ってユーザの眼の画像を検出するように構成される、光学センサと、感知回路および光学センサに動作可能に結合される、プロセッサであって、感知回路から、第1のデータであって、ユーザの眼の電位を示す、第1のデータを取得し、第1のデータに基づいて、光学センサパラメータを調節するように構成される、プロセッサとを備えてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、光学センサパラメータは、光学センサが眼の画像を検出するレートを決定してもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、光学センサパラメータは、光学センサの電力消費モードを決定してもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、プロセッサはさらに、第1のデータに基づいて、光学センサを選択的にアクティブ化および非アクティブ化するように構成されてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、プロセッサはさらに、光学センサによって検出される画像に基づいて、眼の位置を決定するように構成されてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、プロセッサはさらに、第1のデータに基づいて、眼の移動を検出するように構成されてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、プロセッサはさらに、検出された移動に基づいて、光学センサパラメータを調節するように構成されてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、プロセッサはさらに、眼が複数の所定の眼移動挙動のうちの眼移動挙動に関与するかどうかを決定するように構成されてもよく、決定は、少なくとも第1のデータに基づく。上記の実施例のうちの1つ以上のものに加えて、または代替として、プロセッサはさらに、決定に基づいて、光学センサパラメータを調節するように構成されてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、感知回路は、感知回路パラメータに従って、ユーザの眼の電位を測定するように構成されてもよく、プロセッサはさらに、光学センサによって出力される眼の画像に基づいて、感知回路パラメータを調節するように構成されてもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、感知回路パラメータは、感知回路が、眼の電位を示すデータをプロセッサに出力するものである、レートを決定してもよい。上記の実施例のうちの1つ以上のものに加えて、または代替として、感知回路は、2つの電極と、2つの電極の間の電位差を測定するように構成される、少なくとも1つの電気コンポーネントとを備えてもよい。
本開示は、その実施例を参照して特に示され、説明されているが、形態および詳細の種々の変更が、本開示の範囲から逸脱することなく行われ得ることが、当業者によって理解されるであろう。

Claims (1)

  1. 本明細書に記載の発明。
JP2022109662A 2017-04-14 2022-07-07 マルチモーダル眼追跡 Active JP7455905B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762485820P 2017-04-14 2017-04-14
US62/485,820 2017-04-14
PCT/US2018/027679 WO2018191731A1 (en) 2017-04-14 2018-04-13 Multimodal eye tracking
JP2019555584A JP7211966B2 (ja) 2017-04-14 2018-04-13 マルチモーダル眼追跡

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019555584A Division JP7211966B2 (ja) 2017-04-14 2018-04-13 マルチモーダル眼追跡

Publications (2)

Publication Number Publication Date
JP2022132349A true JP2022132349A (ja) 2022-09-08
JP7455905B2 JP7455905B2 (ja) 2024-03-26

Family

ID=63789985

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019555584A Active JP7211966B2 (ja) 2017-04-14 2018-04-13 マルチモーダル眼追跡
JP2022109662A Active JP7455905B2 (ja) 2017-04-14 2022-07-07 マルチモーダル眼追跡
JP2022184779A Active JP7291841B2 (ja) 2017-04-14 2022-11-18 マルチモーダル眼追跡

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019555584A Active JP7211966B2 (ja) 2017-04-14 2018-04-13 マルチモーダル眼追跡

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022184779A Active JP7291841B2 (ja) 2017-04-14 2022-11-18 マルチモーダル眼追跡

Country Status (9)

Country Link
US (4) US11016561B2 (ja)
EP (1) EP3610359B1 (ja)
JP (3) JP7211966B2 (ja)
KR (2) KR20240014589A (ja)
CN (2) CN110520824B (ja)
AU (1) AU2018252665A1 (ja)
CA (1) CA3058669A1 (ja)
IL (1) IL269861B2 (ja)
WO (1) WO2018191731A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240014589A (ko) 2017-04-14 2024-02-01 매직 립, 인코포레이티드 다중 모드 눈 추적
US10531795B1 (en) 2017-09-27 2020-01-14 University Of Miami Vision defect determination via a dynamic eye-characteristic-based fixation point
US10409071B2 (en) 2017-09-27 2019-09-10 University Of Miami Visual enhancement for dynamic vision defects
BR112020006142A2 (pt) 2017-09-27 2020-11-24 University Of Miami óculos corretivos terapêuticos digitais
US10742944B1 (en) 2017-09-27 2020-08-11 University Of Miami Vision defect determination for facilitating modifications for vision defects related to double vision or dynamic aberrations
US10389989B2 (en) 2017-09-27 2019-08-20 University Of Miami Vision defect determination and enhancement using a prediction model
US11272870B2 (en) * 2018-07-30 2022-03-15 Hi Llc Non-invasive systems and methods for detecting mental impairment
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
DE102019207803A1 (de) * 2019-05-28 2020-12-03 Friedrich-Alexander-Universität Erlangen-Nürnberg Registrierungseinrichtung, Verfahren zum Registrieren, entsprechendes Computerprogramm und computerlesbares Speichermedium
CN110441912B (zh) * 2019-08-27 2024-04-19 高维度(深圳)生物信息智能应用有限公司 一种便携眼镜智能穿戴设备及其控制方法
US11119580B2 (en) * 2019-10-08 2021-09-14 Nextsense, Inc. Head and eye-based gesture recognition
WO2021103000A1 (zh) * 2019-11-29 2021-06-03 京东方科技集团股份有限公司 光开关及其控制方法、显示装置
WO2021102577A1 (en) * 2019-11-29 2021-06-03 Electric Puppets Incorporated System and method for virtual reality based human biological metrics collection and stimulus presentation
US10860098B1 (en) 2019-12-30 2020-12-08 Hulu, LLC Gesture-based eye tracking
CN112168636B (zh) * 2020-09-24 2023-02-03 华人运通(上海)云计算科技有限公司 车内视力改善装置、设备及系统
KR102434188B1 (ko) * 2020-10-19 2022-08-19 부산대학교 산학협력단 머신러닝을 이용한 손상된 망막에서 측정된 망막전위도검사(erg) 신호의 분류 방법 및 이를 이용한 손상된 망막에서 측정된 망막전위도검사(erg) 신호의 분류 시스템
US11659266B2 (en) * 2020-10-21 2023-05-23 Qualcomm Incorporated Power control based at least in part on user eye movement
US11803237B2 (en) 2020-11-14 2023-10-31 Facense Ltd. Controlling an eye tracking camera according to eye movement velocity
CN113283354B (zh) * 2021-05-31 2023-08-18 中国航天科工集团第二研究院 一种分析眼动信号行为的方法、系统及存储介质
WO2023278716A1 (en) * 2021-07-01 2023-01-05 Massachusetts Institute Of Technology System and method for calibrating electrooculography signals based on head movement
US20230065296A1 (en) * 2021-08-30 2023-03-02 Facebook Technologies, Llc Eye-tracking using embedded electrodes in a wearable device
US11914093B2 (en) * 2021-12-07 2024-02-27 Microsoft Technology Licensing, Llc RF antenna scanning for human movement classification
US11806078B1 (en) 2022-05-01 2023-11-07 Globe Biomedical, Inc. Tear meniscus detection and evaluation system
US11994675B2 (en) * 2022-05-16 2024-05-28 Google Llc Head-mounted device for tracking screen time
WO2024006107A1 (en) * 2022-06-28 2024-01-04 Apple Inc. Gaze behavior detection

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007148465A1 (ja) * 2006-06-21 2007-12-27 Panasonic Corporation 操作誘導装置及び操作誘導方法
JP2012085747A (ja) * 2010-10-18 2012-05-10 Panasonic Corp 注意状態判別システム、方法、コンピュータプログラムおよび注意状態判別装置
WO2014084224A1 (ja) * 2012-11-27 2014-06-05 京セラ株式会社 電子機器および視線入力方法
US8878749B1 (en) * 2012-01-06 2014-11-04 Google Inc. Systems and methods for position estimation
US20150126845A1 (en) * 2013-11-05 2015-05-07 The Research Foundation For The State University Of New York Wearable head-mounted, glass-style computing devices with eog acquisition and analysis for human-computer interfaces
US20150338915A1 (en) * 2014-05-09 2015-11-26 Eyefluence, Inc. Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
WO2016072395A1 (ja) * 2014-11-05 2016-05-12 株式会社ジェイアイエヌ プログラム、情報処理装置、及びアイウエア
US20160364881A1 (en) * 2015-06-14 2016-12-15 Sony Computer Entertainment Inc. Apparatus and method for hybrid eye tracking

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4852988A (en) 1988-09-12 1989-08-01 Applied Science Laboratories Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US6491391B1 (en) 1999-07-02 2002-12-10 E-Vision Llc System, apparatus, and method for reducing birefringence
CA2316473A1 (en) 1999-07-28 2001-01-28 Steve Mann Covert headworn information display or data display or viewfinder
CA2362895A1 (en) 2001-06-26 2002-12-26 Steve Mann Smart sunglasses or computer information display built into eyewear having ordinary appearance, possibly with sight license
DE10132872B4 (de) 2001-07-06 2018-10-11 Volkswagen Ag Kopfmontiertes optisches Durchsichtssystem
US20030030597A1 (en) 2001-08-13 2003-02-13 Geist Richard Edwin Virtual display apparatus for mobile activities
CA2388766A1 (en) 2002-06-17 2003-12-17 Steve Mann Eyeglass frames based computer display or eyeglasses with operationally, actually, or computationally, transparent frames
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US7347551B2 (en) 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US7500747B2 (en) 2003-10-09 2009-03-10 Ipventure, Inc. Eyeglasses with electrical components
WO2005094667A2 (en) 2004-04-01 2005-10-13 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
DE112006001217T5 (de) * 2005-05-13 2008-03-27 Customvis Plc, Balcatta Schnell reagierende Augennachführung
US9658473B2 (en) 2005-10-07 2017-05-23 Percept Technologies Inc Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US9344612B2 (en) * 2006-02-15 2016-05-17 Kenneth Ira Ritchey Non-interference field-of-view support apparatus for a panoramic facial sensor
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8890946B2 (en) 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
US8531355B2 (en) 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
EP2469654B1 (en) * 2010-12-21 2014-08-27 Siemens Aktiengesellschaft Horn antenna for a radar device
EP2499960B1 (en) * 2011-03-18 2015-04-22 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method for determining at least one parameter of two eyes by setting data rates and optical measuring device
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US8638498B2 (en) 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
US9274338B2 (en) 2012-03-21 2016-03-01 Microsoft Technology Licensing, Llc Increasing field of view of reflective waveguide
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
JP5947170B2 (ja) 2012-09-14 2016-07-06 京セラ株式会社 表示装置ならびに視線入力制御プログラムおよび方法
CN104903818B (zh) 2012-12-06 2018-12-14 谷歌有限责任公司 眼睛跟踪佩戴式设备和使用方法
US9720505B2 (en) 2013-01-03 2017-08-01 Meta Company Extramissive spatial imaging digital eye glass apparatuses, methods and systems for virtual or augmediated vision, manipulation, creation, or interaction with objects, materials, or other entities
US20140195918A1 (en) 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
US10216266B2 (en) * 2013-03-14 2019-02-26 Qualcomm Incorporated Systems and methods for device interaction based on a detected gaze
US20190265802A1 (en) * 2013-06-20 2019-08-29 Uday Parshionikar Gesture based user interfaces, apparatuses and control systems
KR102244222B1 (ko) * 2014-09-02 2021-04-26 삼성전자주식회사 가상 현실 서비스를 제공하기 위한 방법 및 이를 위한 장치들
CN105574471B (zh) * 2014-10-10 2019-02-05 中国移动通信集团公司 用户行为数据的上传方法、用户行为的识别方法及装置
KR102564748B1 (ko) 2015-03-16 2023-08-07 매직 립, 인코포레이티드 건강 질환 진단과 치료를 위한 방법 및 시스템
US9910275B2 (en) * 2015-05-18 2018-03-06 Samsung Electronics Co., Ltd. Image processing for head mounted display devices
CN115177208A (zh) * 2016-05-09 2022-10-14 奇跃公司 用于用户健康分析的增强现实系统和方法
KR102258047B1 (ko) * 2016-06-03 2021-05-27 매직 립, 인코포레이티드 증강 현실 아이덴티티 검증
US10565790B2 (en) * 2016-11-11 2020-02-18 Magic Leap, Inc. Periocular and audio synthesis of a full face image
KR20240014589A (ko) 2017-04-14 2024-02-01 매직 립, 인코포레이티드 다중 모드 눈 추적
EP3407164A1 (en) * 2017-05-23 2018-11-28 Stichting IMEC Nederland A method and a system for monitoring an eye position
EP3760115A1 (en) * 2017-06-22 2021-01-06 Oticon A/s A system for capturing electrooculography signals
WO2019071166A1 (en) * 2017-10-05 2019-04-11 VRHealth Ltd MULTIDISCIPLINARY CLINICAL EVALUATION IN VIRTUAL OR INCREASED REALITY
US20190320891A1 (en) * 2018-04-19 2019-10-24 Stichting Imec Nederland System, Device and Method for Eye Activity Monitoring
US11176757B2 (en) * 2019-10-02 2021-11-16 Magic Leap, Inc. Mission driven virtual character for user interaction

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007148465A1 (ja) * 2006-06-21 2007-12-27 Panasonic Corporation 操作誘導装置及び操作誘導方法
JP2012085747A (ja) * 2010-10-18 2012-05-10 Panasonic Corp 注意状態判別システム、方法、コンピュータプログラムおよび注意状態判別装置
US8878749B1 (en) * 2012-01-06 2014-11-04 Google Inc. Systems and methods for position estimation
WO2014084224A1 (ja) * 2012-11-27 2014-06-05 京セラ株式会社 電子機器および視線入力方法
US20150126845A1 (en) * 2013-11-05 2015-05-07 The Research Foundation For The State University Of New York Wearable head-mounted, glass-style computing devices with eog acquisition and analysis for human-computer interfaces
US20150338915A1 (en) * 2014-05-09 2015-11-26 Eyefluence, Inc. Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
WO2016072395A1 (ja) * 2014-11-05 2016-05-12 株式会社ジェイアイエヌ プログラム、情報処理装置、及びアイウエア
US20160364881A1 (en) * 2015-06-14 2016-12-15 Sony Computer Entertainment Inc. Apparatus and method for hybrid eye tracking

Also Published As

Publication number Publication date
CN117389420A (zh) 2024-01-12
US20180299953A1 (en) 2018-10-18
JP7211966B2 (ja) 2023-01-24
IL269861B1 (en) 2023-07-01
US11561615B2 (en) 2023-01-24
JP2023014151A (ja) 2023-01-26
US11294462B2 (en) 2022-04-05
US11449140B2 (en) 2022-09-20
JP7291841B2 (ja) 2023-06-15
CN110520824A (zh) 2019-11-29
US20210333872A1 (en) 2021-10-28
US20220179488A1 (en) 2022-06-09
EP3610359B1 (en) 2023-09-20
CA3058669A1 (en) 2018-10-18
EP3610359A1 (en) 2020-02-19
AU2018252665A1 (en) 2019-10-17
JP2020517012A (ja) 2020-06-11
CN110520824B (zh) 2023-11-24
IL269861A (ja) 2019-11-28
US20220382371A1 (en) 2022-12-01
KR102627452B1 (ko) 2024-01-18
US11016561B2 (en) 2021-05-25
KR20240014589A (ko) 2024-02-01
EP3610359A4 (en) 2020-04-22
WO2018191731A1 (en) 2018-10-18
IL269861B2 (en) 2023-11-01
KR20190138852A (ko) 2019-12-16
JP7455905B2 (ja) 2024-03-26

Similar Documents

Publication Publication Date Title
JP7291841B2 (ja) マルチモーダル眼追跡
Majaranta et al. Eye tracking and eye-based human–computer interaction
US20220155860A1 (en) Controlling an eye tracking camera according to eye movement velocity
TW201837550A (zh) 電容式感測電路及使用該電路測定眼瞼位置的方法
KR101638095B1 (ko) 시선 인식 및 생체 신호를 이용한 헤드 마운트 디스플레이를 통해 사용자 인터페이스를 제공하는 방법, 이를 이용한 장치 및 컴퓨터 판독 가능한 기록 매체
CN114930272A (zh) 基于头部和眼部的姿势识别
US20220293241A1 (en) Systems and methods for signaling cognitive-state transitions
US20230418372A1 (en) Gaze behavior detection
Kharadea et al. EyePhone Technology: A Smart Wearable Device
Chan Development of a wearable eye tracker to control an autonomous wheelchair
CN116964545A (zh) 用于信号传递认知状态转换的系统和方法
WO2022192759A1 (en) Systems and methods for signaling cognitive-state transitions
Sahu et al. A Review on Human Eye Interfacing for Device Controlling Using Eye Movement
WO2023114079A1 (en) User interactions and eye tracking with text embedded elements
CN116830064A (zh) 用于预测交互意图的系统和方法
Verma et al. Pervasive and Wearable Computing and Networks Check for updates
Gu Design, sensing and control of a robotic prosthetic eye for natural eye movement.

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220805

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220805

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240313

R150 Certificate of patent or registration of utility model

Ref document number: 7455905

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150