JP2020504832A - 導光光学素子を介したレチナールイメージングに基づく目の追跡具 - Google Patents

導光光学素子を介したレチナールイメージングに基づく目の追跡具 Download PDF

Info

Publication number
JP2020504832A
JP2020504832A JP2018536174A JP2018536174A JP2020504832A JP 2020504832 A JP2020504832 A JP 2020504832A JP 2018536174 A JP2018536174 A JP 2018536174A JP 2018536174 A JP2018536174 A JP 2018536174A JP 2020504832 A JP2020504832 A JP 2020504832A
Authority
JP
Japan
Prior art keywords
eye
loe
light
illumination
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018536174A
Other languages
English (en)
Other versions
JPWO2018122859A5 (ja
JP2020504832A5 (ja
JP7274724B2 (ja
Inventor
ダンジガー,ヨチャイ
ローネン,イータン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lumus Ltd
Original Assignee
Lumus Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lumus Ltd filed Critical Lumus Ltd
Publication of JP2020504832A publication Critical patent/JP2020504832A/ja
Publication of JP2020504832A5 publication Critical patent/JP2020504832A5/ja
Publication of JPWO2018122859A5 publication Critical patent/JPWO2018122859A5/ja
Application granted granted Critical
Publication of JP7274724B2 publication Critical patent/JP7274724B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

ヒトの目(150)の熟視方向を得るための装置(100)は、導光光学素子(LOE)(120)を含み、導光光学素子(LOE)(120)は、目(150)に対向して展開した対の平行面(104a)(104b)を持っている。1組の部分的反射面(145)などの内結合構成はLOE(120)に関連づけられ、LOE内で広がるように面(104a)に入射光の一部を内結合するために構成される。LOE(120)に関連づけられた集光光学部(106)は、LOE内で広がる平行光線の組を捕らえられた光の集束ビームに変換する。集束ビームは光学センサ(125)によって感知される。処理システム(108)は、目の現在の熟視方向を得るために、光学センサ(125)からの信号を処理する。LOEの隙間を組み合わせる影響にもかかわらず、網膜像は、有効に光学センサに集光するようにもたらされた唯一の画像情報として回復することができる。【選択図】図5

Description

本発明は目の追跡に関するものであって、特に目の追跡器と、導光光学素子によるレチナールイメージング(retinal imaging)に基づいてヒトの目の熟視方向を追跡するための対応する方法に関し、とりわけニアアイディスプレイ(near−eye display)の一部として統合に適しているものに関する。
ニアアイディスプレイあるいはヘッドアップ・ディスプレイのための光学配置は観測者の目が位置する領域(アイモーションボックス(eye motion box))をカバーする大きな隙間を必要とする。コンパクトな装置を実装するために、画像は、大きな隙間を生成するために増加する小開口を有する小さな光学画像ジェネレーター(プロジェクタ)によって広がる。
1次元での隙間増加のアプローチは、透明材料を平行に対向させたスラブに基づいて開発され、該スラブ内で画像が内面反射によって進む。画像・ウェーブフロントの一部は、傾斜して角度を付けられた部分的な反射器の使用、あるいはスラブの1つの表面上での回折光学素子の使用のいずれかによって、スラブの外側に結合される。そのようなスラブは、本明細書において「導光光学素子」、「光の送信する基板」あるいは「導光路」と言う。そのような隙間増加の原理は、図1−4に概略的に例証される。
図1は、内面反射によって光をガイドするために1対の平行な表面(26)、(26A)を有する導光光学素子(20)を示す。投影画像(18)は、ビームをまたがるサンプル光線(18A)、(18B)および(18C)を含む照射(18)のビームによって、本明細書において概略的に表わされるように、導光光学素子に結合され、反射光線(28)を生成するように第1の反射面(16)によって本明細書において概略的に例証されるように、反射光線は、また光線(30)を生成して、基板内の内面反射によって閉じ込められる。画像は、平行な表面(26)、(26A)に対して傾斜した角度で一連の部分反射面(22)に進入しながら、繰り返された内面反射によって基板に沿って広がり、そこで、画像強度の一部が、光線(48A)、(48B)として基板の外で結合されるように反射される。ゴースト像を生じさせる望まれない反射を最小限にするために、部分的に反射する表面(22)は、好ましくは投射角の第1の範囲に対し低反射率を有するようにコーティングされ、その間に図2Aおよび2Bで例証されるように例えば投射角の第2の範囲のために所要の部分的な反射率を有し、そこで、部分的に反射面(34)に対して垂線に対する僅かな傾斜をもつ光線(32)が、外で結合する反射光線を生成するために分割され(図2A)、同時に(直角線に対して)高い傾きの光線(36)(図2B)が、無視できる反射で伝達される。
図3は、画像の外で結合するために回折光学素子(23)を使用して実装された対応する構成を例証し、本明細書に示された例において、画像(18)の中で結合される別の回折光学素子(17)を例証する。当該技術で知られているように、回折光学素子は、基板の上部又は下部表面のいずれかの上で展開され得る。
両方の場合で、投影された画像(18)は平行にされた画像である、即ち各画素は観測者から遠いシーンからの光と等価な対応する角度で平行光線のビームによって表わされる。本明細書において画像は、画像中の単一の点、典型的には画像の重心、に対応する光線によって単純に表される、しかし実際には、この中央のビームの各サイドへの角度の範囲を含み、角度の対応する範囲で基板内に内結合され(coupled in)、同様に対応する角度で外結合され(coupled out)、それによって観測者の目(24)に対して異なる方向に到達する画像の部分に対応する視野を作成する。
図1および3の隙間の増加が図面の左右方向に対応して、1次元に沿って生じる。ある場合には、同様のアプローチが図4で示されるように二次元に採用される。この場合、第1の導光路(20a)は内結合の反射器(16a)と、部分的に反射する外結合の表面(22a)を有し、光学の入力を内結合反射器(16b)と部分的に反射する外結合面(22b)をもつ第2の導光路(20b)に提供し、このように、入力光線(90)によって表わされる画像は、二次元で拡張した出力隙間を提供するために、二次元で連続的に増加する。本明細書において、外結合用の部分的に反射する表面を使用して説明したが、拡張の1つあるいは両方が回折光学素子を使用して実行され得る。
隙間増加によって達成される比較的大出力隙間は、複数に離間して分割される各入力画像光線において生じることは注目されるだろう。図1および3において、これは、入力光線(18Aを分割することで得られる複数の外結合光線(48A)、および入力光線(18Bの分割により得られる複数の外結合光線(48B)によって表わされる。同じことが図4の2次元の拡張について同じことが言える。
本発明の一態様は目の追跡器および導光光学素子によるレチナールイメージングに基づいたヒトの目の熟視方向を追跡するための対応する方法を提供し、ニアアイディスプレイの一部として統合に特に適している。
本発明の実施形態の教示によれば、ヒトの目の熟視方向を得るための装置が提供され、当該装置は、
(a)透明材料から形成され、内面反射によって光をガイドするために対の平行な面を有する導光光学素子(LOE)であって、前記平行な面の1つが目に対して対向して展開された導光光学素子(LOE);
(b)前記LOEに関連づけられた内結合構成であって、前記LOEの内部で広がるように内結合領域内の平行な面の1つで入射光の広がりを内結合するように構成された内結合構成;
(c)前記LOEに関連づけられ、前記LOEの内で広がる平行光線のセットを捕らえられた光の集束ビームに変換するために構成された集光部;
(d)捕らえられた光を感知するために展開された光学センサ;および
(e)少なくとも1つのプロセッサーを含む処理システムであって、前記処理システムは光学センサに電気的に関連づけられ、目の現在の熟視方向を得るために、前記光学センサからの信号を処理するように構成され、前記内結合構成は前記LOE内で広がる光線を生成するように構成され、各光線は対応する入射光線の入射方向を示す方向を有し、複数の離間した平行な入射光線が、前記LOE内で広がる単一光線に組み合わせられてなる処理システム
を含んでいる。
本発明の実施形態のさらなる特徴によれば、前記内結合構成は、平行な面に対して前記LOE内で傾斜して展開された複数の部分的は反射面を含む。
本発明の実施形態のさらなる特徴によれば、内結合構成は、平行な面のうちの1つに関連した回折光学素子を含む。
本発明の実施形態のさらなる特徴によれば、光学センサは4つのコドラント・センサーを含む。
本発明の実施形態のさらなる特徴によれば、光学センサは複数の画素検出部を含み、前記処理システムは約104もの画素ピクセル検出部からの出力を処理する。
本発明の実施形態のさらなる特徴によれば、内結合領域の方向から目を照射するために展開した照射配列がさらに提供される。
本発明の実施形態のさらなる特徴によれば、照射協定は照射がペアの平行面で反射によってLOEの内に繁殖し、内結合構成によって目の方へ連結されるように、LOEへ照射を導入するように構成される。
前記照射配列は前記LOEへ照射を導入するように構成され、その結果、照射が対の平行面で反射によって前記LOE内で広がり、内結合構成によって目の方へ結合される。
本発明の実施形態のさらなる特徴によれば、照射光ガイド素子がさらに提供され、該照射光ガイド素子は透明材料および内面反射によって光をガイドするために対の平行面を有し、前記照射光ガイド素子は前記LOEとの関係を重複させる際に展開され、前記照射配列は照射光ガイド素子へ照射を導入するように構成され、その結果、照射が対の平行面で反射によって照射光ガイド素子内で広がり、外結合構成によって目の方に結合され、当該外結合構成は照射光ガイド素子に関連づけられる。
本発明の実施形態のさらなる特徴によれば、照射配列は処理システムに関連付けられ、前記処理システムはパルス持続時間をもつ証明パルスを生成するために照射配列を始動し、前記処理システムはパルス持続時間中に捕らえられた入射光に対応する光学センサから得られた信号を処理する。
本発明の実施形態のさらなる特徴によれば、与えられた波長の外側の波長の光が光学センサに到達しないように妨害するために、通過帯域スペクトルフィルターが提供され、照射配列は、主として波長の与えられた範囲内の照射を生成する。
本発明の実施形態のさらなる特徴によれば、波長の与えられた範囲は、電磁放射スペクトルの非可視域内にある。
本発明の実施形態のさらなる特徴によれば、照射配列は複数の別々に制御された照射画素を含み、前記処理システムは選択的に目の網膜の選択された部位に対応する指示に沿って選択的に明るくなるように照射画素を始動させる。
本発明の実施形態のさらなる特徴によれば、目熟視方向の進行中の追跡の間に、網膜の選択された領域は目の視神経円板を含む領域である。
本発明の実施形態のさらなる特徴によれば、前記処理システムは目の網膜からの反射に対応する強度分布の中心を引き出す、光学センサからの信号を処理するように構成され、それによって、目の現在の熟視方向を決定する。
本発明の実施形態のさらなる特徴によれば、前記処理システムは目の網膜の少なくとも1つの顕著な特徴の位置を検知するために、光学センサからの信号を処理するように構成され、それによって、目の現在の熟視方向を決定する。
本発明の実施形態のさらなる特徴によれば、前記処理システムは目の網膜中の血管のパターンを追跡するために、光学センサからの信号を処理するように構成され、それによって、目の現在の熟視方向を決定する。
本発明の実施形態のさらなる特徴によれば、LOEへ平行にされた画像を導入するように該LOEに結合された画像プロジェクタがさらに提供され、その結果、平行にされた画像が前記LOE内の内部反射によって広がり、内結合構成によって目の方に前記LOEの外に結合される。
本発明の実施形態のさらなる特徴によれば、前記画像プロジェクタは前記処理システムに関連付けられ、前記処理システムは、パルス持続時間をもつ照射パルスを生成するために画像プロジェクタを始動させ、前記処理システムは、パルス持続時間中に捕らえられた入射光に対応する光学センサから得られた信号を処理する。
本発明の実施形態のさらなる特徴によれば、前記処理システムは投影画像の選択されたサブセクションに一致するようにパルスを生成し、その結果、パルスが投影画像の認識に寄与する。
本発明の実施形態のさらなる特徴によれば、ユーザーであるヒトの頭に対して装置を支持するための支持構成がさらに提供され、その結果LOEがユーザーの第1の目に対向させて展開される。前記装置は、
(a)透明材料から形成された第2の目の導光素子(LOE)であって、当該第2の目の導光素子(LOE)は、内部反射によって光をガイドするために対の平行面を有し、前記平行面の1つがユーザーの第2の目と対向して展開されてなる第2の目の導光素子(LOE);
(b)前記第2の目のLOEに関連づけられた内結合構成であって、前記LOE内で広がるように内結合領域内の前記平行面の一つで入射光の広がりを内結合させるように構成された内結合構成;
(c)前記第2の目のLOEに関連づけられた集光部であって、前記LOEの内で広がる平行光線のセットを捕らえられた光の集束ビームに変換するように形成されてなる集光部;及び
(d)捕らえられた光を感知するために展開された第2の目の光学センサ
を更に備え、
前記処理システムは第2の目の光学センサに電気的に関連づけられ、ユーザーの目の現在の熟視方向を得るために、光学センサの両方からの信号を処理するように構成されている。
また、本発明の実施形態の教示に従って方法が提供され、当該方法は、
(a)上記の変形例のいずれかによって装置を提供する工程;及び
(b)目の現在の熟視方向を得るために光学センサからの信号を処理する工程
を含んでいる。
本発明の典型的な実施形態は、添附図面に関して、あくまでも一例として本明細書に記載される。
ニアアイディスプレイで使用するための、部分的に反射面を使用する上述の先行技術の導光光学素子の概略側面図である。 図1の先行技術のディスプレイで使用される部分的反射面の選択的角度の反射特性の概略図である。 図1の先行技術のディスプレイで使用される部分的反射面の選択的角度の反射特性の概略図である。 ニアアイディスプレイで使用するために、回折光学素子を使用する上述した先行技術の導光光学素子の概略側面図である。 図1のものに類似した2つの導光光学素子の組み合わせに基づいた上述の先行技術の光学隙間拡張配列の概略等角図である。 ニアアイディスプレイに組み付けられたヒトの目の熟視方向を追跡するための本発明の実施形態に従って構築され動作する装置の部分概略等角図である。 第1の好ましい実施形態による図5の装置の光学構造の概略側面図である。 第1の好ましい実施形態による図5の装置の光学構造の概略正面図である。 第2の好ましい実施形態による図5の装置の光学構造の概略側面図である。 第2の好ましい実施形態による図5の装置の光学構造の概略正面図である。 光学信号および光学バックグランドノイズの様々なソースを例証する本発明の装置の概略図である。 カメラへの光学通路に沿った光学信号の連続する強度損失を例証する概略フロー図である。 カメラへの光学通路に沿った光学バックグランドノイズの連続強度損失を例証する概略フロー図である。 通常の画像チャネルと追跡照射チャネルの間の画像データの細別を空間的に例証する概略図である。 通常の画像チャネルと追跡照射チャネルの間の画像データの一時的な細別を例証する概略図である。 本発明の一態様による目の追跡のために選択的な照射を提供する過程を例証するフロー・チャートである。 追跡アルゴリズムで使用される様々な候補の特徴を示すヒトの目の眼底の画像である。 視神経円板を通過する面において窩からの角度の関数としてヒトの目の中の桿体光受容体と錐体光受容体の数の変化を例証するグラフである。 スペクトルの可視光領域及び赤外領域の波長の関数としてヒトの網膜の反射率の変化を例証するグラフである。 ヒトの目の異なる種類の錐体光受容体および桿体光受容体の波長応答を例証するグラフである。 更に好ましい実施形態による図5の装置の光学構造の概略側面図である。 更に好ましい実施形態による図5の装置の光学構造の概略正面図である。 また更に好ましい実施形態による図5の装置の光学構造の概略側面図である。 またさらに好ましい実施形態による図5の装置の光学構造の概略正面図である。 さらなる変形実施形態を例証する図18Bに類似した図である。 図5の装置で使用するために組み合わされた可視画像プロジェクタ、赤外線照射及び画像システムの光学構造の概略正面図である。 図5の装置で使用するための更なる変形例によって組み合わされた可視画像プロジェクタ、赤外線照射及び画像システムの光学構造のさらなる概略正面図である。 異なる入射角に対する鏡のような反射および拡散する反射の幾何学的特徴を例証するヒトの目の概略側面図である。 角度の関数として網膜からの照射の反射における変化(瞳孔のオフセットを変化させて変更される)を例証する理論計算に基づいたグラフである。 実験データに基づいた図21Bに類似したグラフである。 照射波長の関数として網膜の反射率の変化を例証するグラフである。 角度選択的な追跡照射の場合に図5の装置の目の追跡サブシステムによって得られた追跡画像の概略図である。 さらに好ましい実施形態による図5の装置の光学構造の側面図であり、専用導光光学素子が網膜像のサンプリング用に設けられる。
本発明の実施形態は、導光光学素子によるレチナール画像に基づいたヒトの目の熟視方向を追跡する装置、及び対応する方法を提供し、ニアアイディスプレイの一部としての統合に特に適している。
本発明による目の追跡装置の原理および動作は、図面および添付の明細書を参照して更に理解され得る。
ここで図面を参照すると、図5−23は、ヒトの目(150)の熟視方向を得るために本発明の種々の実施形態に従って構築され、動作する一般的に(100)で示された装置の構造及び動作の種々の態様を例証している。
はじめに、多くの応用、とりわけヘッドアップ・ディスプレイあるいはニアアイディスプレイのコンテキストにおいて、ユーザーの熟視方向を決定するために目の追跡配列を提供することは有用である。目の追跡を行なうための共通の1つのアプローチは、目の画像をサンプリングすることであり、典型的には、画像内の瞳孔の位置を決定する目的とし、それによって目の配向を得る。
目の追跡のために画像をサンプリングする図1又は3のものに類似した原理で動作する導光光学素子を採用することは特に有利だろう。しかしながら入力画像から出力画像までの1対多数の関係は、図1および3を参照して記載されているが、逆方向のサンプリング光における多数対1の逆関係を引き起こす。特に、画像のサンプリングのために逆方向で図1又は3の隙間増加配列を使用することは、システムの視野の異なる部分から基板上への複数の平行光線の入射の重ね合わせを行なうだろう。参照符号(48A)が付された多数の光路の逆に対応する光路に沿って到達する光は、すべて光線(18A)の反転路に沿った出力光線に組み合わせられ、また、光線(48B)の反転路に沿った類似の多数の入射光線は、光線(18B)の反転路に組み合わせられる。更に集光光学部が画像センサ上で導光光学素子によって捕らえられた光を集光させるために使用される場合、全視界から平行光線光路に沿って基板に投影したすべての捕らえられた光は、組み合わされて、単一の画素センサに落ちる。角膜、鞏膜、まぶたおよび顔面の組織の表面からの光が、典型的には全方向に散乱する(Lambertian reflection)ので、視野の表面はすべて典型的には画像のすべての画素に対する放射に寄与する。これらの理由で、導光光学素子に投射する光からの画像を分解しようとするのは実現可能であると一般に考えられなかった。
本発明は、上記の難題にもかかわらず、本明細書に記載するように、導光光学素子によって捕らえられた光からの目の熟視方向の決定に有効であることが分かった装置および方法を提供する。具体的には、本発明の特に好ましい実施形態は、ヒトの目(150)の熟視方向を得るための装置(100)を提供し、この装置(100)は透明材料から形成され、内部反射によって光をガイドするために、対の平行面(104a)、(104b)を有する導光光学素子(LOE)(120)を含んでいる。LOE(120)は目(150)に対向する平行面(104a)のうちの1つで展開される。1組の部分的な反射面(145)などの内結合構成は、LOE(120)に関連付けられ、LOEの内部で広がるように内結合領域内の面(104a)で入射する光の一部を内結合するように構成される。集光光学部(106)はLOE(120)に直接的に又は間接的に関連づけられ、LOE(120)内で広がる、捕捉光を受け入れ、LOE内で広がる平行光線の組を捕捉光の集束ビームに変換する。集光光学部(106)は好ましくは光学センサあるいは「カメラ」(125)に統合され、光学センサあるいは「カメラ」(125)は捕捉光を感知するために展開される。少なくとも1つのプロセッサーを含む処理システム(108)は電気的に光学センサ(125)に関連付けられ、目の現在の熟視方向を得るために光学センサ(125)からの信号を処理するように構成される。
内結合構成は如何なる内結合配列であり得る。該内結合配列は、LOE内の内部反射を介して広がる角度に対する入射放射の一部をそらし、各光線は、入射光線に対応する入射方向を示す方向を有する。適切な内結合構成は図示されるような1組の部分反射面(145)および回折光学素子を含んでいる。
上述されるように、動作の逆(センサー)モードでは複数の離間した平行入射光線がLOE内で広がる単一光線に組み合わせられることはLOEの隙間増加構成の固有の特徴である。しかしながら、網膜のイメージングについては、平行光線の結合は、画像の導出を排除しない。特に離れたシーン(あるいは離れたシーンと等価な平行投影画像)に焦点を置いた目のために、接眼レンズは、もし存在するなら如何なる矯正眼鏡レンズと共に、網膜に焦点を置いた画像を生成する。遠距離場の画像を形成するために、接眼レンズ(及び存在するなら、矯正眼鏡レンズ)によって網膜の表面から反射された如何なる光も有効に平行にされることになり、網膜像の各特徴は光の平行光線のビームに対応する。したがって、網膜像は保存されている。なぜなら平行光線はLOEによって集光され、縮小された隙間に向けられ、光学センサ(125)に向けて集光光学部(106)によって集光されるからである。感知された画像データは、目の近距場外表面からの多くの散乱光および周囲の組織を含むが、近距離場照射は、角度空間内で大雑把には一様に分布される、それによって、サンプリングされた画像中のフラットなバックグランドノイズを生成する。網膜の反射画像による、変調および(または)特徴だけが、画像内でコントラストを生成し、それによって、観測者の現在の熟視方向の測定を促進する。これらおよび他の本発明の特徴は次の詳細な説明からより明確になるだろう。
ここで特に図6Aおよび6Bを参照すると、これは、本発明の装置(100)の限定しない1つの典型的な実施形態を示し、光学的な隙間増加を採用するニアアイディスプレイ配列を通じて追跡が実行される。図示されるような構成はつぎの2つの導光光学素子の組み合わせに基づく。即ち、第1の次元(図6Bで示されるような左から右)でプロジェクタの画像隙間を拡張する第1のLOE(110)、および第2の次元(本明細書で例証されるように頂部から底部)で画像隙間を拡張する第2のLOE(120)である。画像プロジェクタ(102)は、LOE(110)への偏光選択的なビーム分割器(PBS)105を通って光を投影する(実線の矢で示される)。本明細書で例証されるような実施形態の限定されない1つの特に好ましい組み合わせにおいて、LOE(110)は「2D導光路」であり、それは相互に直角の2対の表面を有することを意味し、該2対の表面は、LOE(110)に沿って画像が広がるように二次元で画像をガイドするように機能する。LOE(120)は「ID導光路」であり、「スラブ型導光路」を定義する1対の平行な主表面を有することを意味し、該「スラブ型導光路」は1次元で画像をガイドする。図7Aおよび7Bの中で例証されるような他の実施形態で、装置(100)はたった1つの導光路(LOE120)を使用して実装され得る。本明細書で例証されるような後者の場合は、傾けられたプロジェクタ内結合構成を採用する。ニアアイディスプレイのコンテキストでのそのような導光構成及び内結合(目の追跡なし)は、様々な文献で見つけることができ、国際公開第WO2015/162611号公報および国際特許出願第PCT/IL2017/051028号(この出願は本出願の出願日の時点で公開されておらず、先行技術を構成しない)を含み、前記文献は本明細書においてあたかも完全に言及されるかのように全体が組込まれている。本明細書に例証された典型的な実施形態は、主として図6Aおよび6Bの2つの導光路の実施形態に言及し、この実施形態はより複雑な実施形態であり、一方、単一の導光路実施のより単純な構造を実装するために要求される変形は、当業者には自明であろう。
LOE(110)からLOE(120)への画像の結合は本明細書で示されるが、一連の内部で部分的に反射する表面(あるいは「ファセット」)(140)によって実行されるように示され、部分的に反射する表面(あるいは「ファセット」)(140)はLOE(110)の1つ又は両方の対の平行面に対して傾斜した角度で展開される。観測者の目に向かって第2のLOE(120)の外に連結されることが達成されるが、これは内部で部分的に反射する表面(「ファセット」)(145)の第2の組を使用することで達成され、内部で部分的に反射する表面(「ファセット」)(145)の第2の組は、図6Aおよび7Aの側面図で最も理解されるように、その基板の平行面に対する傾斜角度で展開される。当該技術で知られているように、LOEの1つ又は両方のファセットは、回折光学素子と取り替えられ得る。網膜(120)上の集中した画像を生成するために、プロジェクタ画像の結合された光は、対眼レンズ(115)(シーン補正が必要とされる場合は眼鏡レンズ(117)の援助と共に)によって集中する。
本発明の典型的な実施形態によれば、ニアアイディスプレーシステムは、観測者の網膜に存在するパターンをイメージングにより、観測者の目の視線を得る。その観測は導光路(120)および(110)を介して実行され、導光路(120)および(110)は、この場合観測者の目に画像を投影するために使用されたものと同じ導光路である。パターンの位置およびそれらの運動は、目の現在の視線および運動を示す。そのようなパターンは、図13に示された網膜の画像で示される。血管(152)はパターンを生成し、該パターンは適切な画像処理命令によって実装された、適切な標準あるいは専用追跡アルゴリズムによって追跡することができ、画像処理命令は処理システム(108)によって実行される。窩(155)は、観測の方向を決定し、視神経円板(あるいは「盲点」)(157)は神経と血管が互いに近寄る特有の追跡することができる点である。
光のうちのいくつかは、レンズ(115)によって網膜の後ろに反射され(鎖線の矢として表された)、該レンズ(115)は、光を平行ビームに有効に平行にし、プロジェクタからの光が辿るのと同じ光路に沿って後ろに広がる。光の有効部分は失われる(さらに以下に記載される)、しかし説明の明確性のために、追跡に役立つ部分だけが示される。反射光の一部は導光路(120)に内結合される(coupled−in)ようにファセット(145)によってそらされ、導光路(110)に外結合される(coupled−out)ようにファセット(140)でそらされ、カメラ(125)へのPBS(105)によって反射される。いくつかの実施形態では、偏光スクランブラー(図示せず)がPBS(105)の前に置かれる。カメラ(125)は、プロジェクタ(102)に無限に相似して集光され、それによって、網膜の画像はカメラで生成される。
イメージングプロセスに役割を果たす照射の種々のソースは、図8に概略的に描かれる。導光路(120)は観測者(1001)の目に対向して展開され、これはシーンの観測者の目が導光路を通過することを意味すること。外部光源(002)破線の矢)は導光路と観測者を照射する。この外部光は連続的で、背景放射として光学系に入り込む。光学系(実線の矢)によって発生した光は観測者の網膜(121)および顔を照射する。網膜からの反射(一点鎖線の矢)は、関心のある信号であり、一方、非網膜組織表面からの反射(二点鎖線の矢)は、追加の背景放射であり、追加の背景放射は、システムの照射パターンと強度相関している。システム内の如何なる内部散乱は、観測者の顔から散乱した光と同じ特徴を有する。
すべての背景照射は、網膜画像の質を劣化させるノイズを引き起こす。本発明の態様に従って、外部照射源(1002)の効果を弱めるために、短い光のパルス(好ましくは、1ms未満)が使用され、カメラはこの短い照射持続時間の間のみ光を統合するために同期される。このように、連続的な背景照射は非常に抑えられる。追加的に、あるいは代替的に、通過帯域スペクトルのフィルターは、波長の与えられた範囲外の波長の光を妨害するために展開されることができ、波長の与えられた範囲内で、目の追跡照射は光学センサに達することから生成される。
目の検出に必要な光の量を得るために、照射反射によって引き起こされる背景光の評価に従う(図8の二点鎖線の矢)。この評価、および本明細書において示された動作原理および計算値の他のすべての検討は、発明についてのより十分な理解を提供する目的でのみ与えられる、しかし、特許請求の範囲において明示的に記載された以外の方法で、本発明を限定してはならない。特に本明細書で示された如何なる特定の計算あるいは値が、後に不正確であること、或いは誤っていることが分かった場合、そのような事実は、本明細書に記載されたとおりの本発明の有用性を否定するものではない。
正常な背景表面は、パイ・ステラジアンまで光を反射する(表面がLambertian reflectionに接近する反射光配分を生成する低い光表面であると仮定している)、一方、瞳孔はフラッシュ撮影中にしばしば観測される「赤目」効果に対応する方向性の反射を生成し、光学系背後から光学系内に受け取った光を反射する。従って、網膜から受け取られた光の強度は等価な背景表面より強い。さらに、近い「背景」表面からの照射が存在しない間、網膜からの画像はカメラ(125)の画像面で集光される。これは、背景に由来した網膜の画像と画像コンテンツを区別する能力を高める。
図9Aおよび9Bは、目から追跡カメラ(125)までの背景照射のためのリターンパスの光エネルギー損失を表す。
明るい光の中のヒトの目の瞳孔は約4mmである、一方、アイボックス(画像が見える領域であり、システムによって照射された領域に対応し、背景反射を生成する領域)が、およそ400mmであり得る。照射の量および散乱係数が信号と背景の両方に対してほぼ同じであると仮定すると、信号に対する反射した背景の比はR=2x100=200である。(アイボックス内の外部組織が網膜の組織より約2倍反射し得ると仮定する。)次の方程式は、ショットのイズが制限されたカメラを仮定して、あらかじめ定められたSNRの必要な信号を示す:
したがって、5つの必要とされるSNRに対して、光子の要求される数は次式で表される。
ここで、「特徴」は、定義されたSNRで検知される画素あるいはパターンで有り得る。
この計算では、他のバックグラウンド光がシステムに入り込まないと仮定された。したがって、本発明によれば、導光路端(図1の(126))は、好ましくは吸収するか、あるいは吸収筐体内に存在する。これは、光導波路中で広がると、背景放射がエネルギーを失うことを保証する、これは網膜からの信号と同じ方法で、エネルギーを獲得しない。
光学系に沿ったエネルギー透過率は、1つの制限しない例において以下のように近似することができる:
*ファセット(145)のうちの1つを介して導光路(120)に20%結合された、
*(追加のファセット等を経て)導光路(120)に沿った透過率50%、
*(存在する場合)ファセット(140)を介して上部導光路(110)に20%結合される、
*導光路(110)に沿った透過率50%、
*PBS(105)を介するなどしてカメラ(125)に50%結合
*カメラ(125)の光伝送および量子効率50%。
上記のすべて透過率2.5e−3での結果。変調伝達関数(MTF)および内部散乱のような他の性能低下因数は、透過率2.5e−4を引き起こすために10の別の因数として近似することができる。
導光路(110)が存在しない実施形態では、透過率はより高く、そして、上記の評価を使用すると、約2.5e−3になるであろう。
すべてのフレームの統合時間の間、ほぼ5000/2.5e−4=2e7の光子を受け取ることになる。3 e−19J(赤)の光子エネルギーについては、これは、ほぼ6e−12[J/統合時間/特徴/]、あるいは1ミリ秒の統合時間用の6/nW/特徴/である。これは実用的な照度である。
もし網膜の選択された部分だけが、以下にさらに検討される本発明の特定の実施形態(及びアイボックスの他の領域に達する光線の対応する選択された方向)で提案されたとおりに照射されるならば、背景散乱は大幅に縮小される。
目の追跡照射が観測者の投影された虚像の認識を混乱させないことを保証するように注意すべきである。多くのアプローチは下記の1つ以上を含む表示された画像の混乱を回避するために使用され得る。
*低い強度を使用する;
*投影された画像の一部として追跡照射を組み合わせる;
*網膜の無感覚又は無関係の領域に向けられた選択的な追跡照射;
*目が無感覚な波長で機能するが、光学部は送信することができ、カメラは検知することができるように追跡照射波長を選択する。
つぎのものは各々別々に提案される。
低い強度
このアプローチによれば、高度に敏感で、低い内部雑音を有するカメラを使用することが好ましく、それによって低照度強度でさえ良好なSNRを備えた網膜の有効なイメージングを可能にする。これは、十分に低い強度追跡照射の使用を可能にし、観測者はその照射に気づかないだろう。
強度は、上述したSNR計算を更に満たすべきである。
照明を組み合わせること
目の追跡照射は投影画像の一部として組込まれ得る。照射は、画像投影の間に、あるいは図10に描かれるような個別のタイムスロットに存在し得る。この例において、タイムスロット「a」の間での画像プロジェクトは、見当たらない領域、或いは抑えられた領域を備えた画像を投影する。この照明は、比較的長い持続時間(例えば約10ミリ秒)になりえる。タイムスロット「b」の間で、相補的な画像はより長いパルス、より高い強度で短いパルス(例えば約1ミリ秒の持続時間)として照射され、画像プロジェクトを完了することに加えて目の追跡照射として役立つ。右手の画像は、2つの照射期間を統合する脳によって知覚されるものを表わす。相補的な画像は、色分解のうちのいずれか1つ、あるいは表示色の組み合わせであり得、そして任意の選択された位置あるいは画像内の位置に存在し得る。この照射のための好ましい「パターン制御」の1つの例が以下に述べられる。
図10の表現がプロジェクタの画像面に関するものであり、かつ網膜上に形成された画像であることは注目されるべきである。導光路内で、およびアイボックス内の導光路を出る光において、角画素は、特定の角度の方向を持つ広い平行ビームに対応する。図10に概略的に例証されるような選択的なパターンの使用、タイムスロット「b」は、視野内の少数の選択された角度方向での照射に対応する。
照射パターン制御
特に画像発生器(102)(図6B又は7Bにおいて)が目の追跡照射を生成するために使用される場合、網膜上の照射パターンを便利なように制御することは可能であり、それによって、関心領域だけを照射し知覚された画像に対する混乱を減少する。そうするために、照射の時系列は画像投影タイミングと組み合わせるべきである。そのような実施形態の時間管理の一例は図11に描かれる。特定の実施形態では、1組の発光源はカラーをすべて生成するために順に活性化される。各光源がそれぞれ照射しているとき、変調行列(LCOS、LCDあるいはMEMS)はこのカラーの必要な画像を生成する。すべての画素の変調と共に速いシーケンスの個々のソースの組み合わせは、観測者の網膜上の細胞によって知覚されるように、画像中のすべての画素の必要なカラーを生成する。本発明の特定の実施形態によれば、追加の時間スロットは、照射のシーケンスへ導入される(アイトラッカーパルスと記載されている)。このタイムスロットでは、ソース(カラー)、あるいはソースおよび(または)専用視標追跡波長ソース(以下に説明される)の組み合わせの1つは、短いパルスとして活性化され、網膜の単に必要な部分だけを照射するために、照射パターンは変調器によって決定される。処理システム(108)は、このパルス時間中にのみ光電子を統合するために目追跡カメラ(125)を作動する。
この選択された照射パターンは背景ノイズを著しく縮小する、なぜなら、追跡される網膜の選択された領域が完全に照射されるからである。しかし、アイボックス領域に広がって送達される放射線のトータル量は、画像において「能動的である」画素の割合に従って縮小される。
照射パターンは網膜上の関心のある特定の箇所にのみ集中させることができる、例えば視神経円板(図13中の「ブラインドスポット」(157))において集光させることができる。視神経円板は光に対して最小の感知性の血管がパターン化する特性を有する。観測者の実際の視線は、この先端部からの角度のオフセットとして計算される。実際の視線を引き出し追跡する、限定されない、特に好ましい方法は、図12に描かれる。最初の3ステップは、網膜パターンを写像し、追跡する特徴を決定する最初のセットアップ過程である。その一方で後のステップは連続的な追跡プロセスを表わしている。具体的には、工程(210)において、画像マーカーは、初期設定中に観測者が見るために、観測者に表示される。観測者がマーカーに目を向けている間、眼底(網膜の可視部)は、短いパルス(工程(212))によって完全に照らされ、眼底の完全な画像が得られた。その後、典型的には視神経円板および窩(工程(214))を含む追跡することができる特徴を識別するために、この画像は処理システム(108)によって処理される。その後、視点方向の進行中の追跡は以下のように進む。選択された関心領域(ROI)は選択的に照射され、典型的には、図10および11(工程(216))に関して上述されるように照射順序により、画像は対応する照射パルス(工程(218))中にサンプリングされる。生じる画像は目標のカレントラインを決定するために処理され(工程(222))、目標のこの得られたラインは照射サイクルの後のサイクルの間に関心領域の位置を更新する(工程(224))ために使用され、追跡プロセスは工程(216)に戻る。追跡測定の頻度は、目の運動の速度の大きさと比較されると仮定し、この更新処理は典型的には連続的な追跡を維持するのに有効であり、随意に別の目からの追跡情報に組み合わされた。視線の方向が変わるように、照射領域も変わる。関心領域の更新は、最後のサンプリングされた画像から決定されるように「現在の」熟視方向によって実行され得るか、あるいは、特定の場合に、従来の2つ以上の測定間の目の運動に基づいた予測的な外挿法を使用し得る。追跡が失敗する場合、照射領域の大きさは一時的に増加され得る場合があり、ついで、追跡することができる特徴が回復される。
本発明の特定の特に好ましい実施形態によれば、目の追跡配列は被験者の両方の目を同時に追跡するために二重にされる。2つの目の追跡具(eye tracker)からのデータを組み合わせることによって、追跡の増強された安定性および連続性を達成することは可能であり得る。例えば、目が移動している間、視神経円板(157)は一方ではなく他方の目の追跡具で見え、他方の追跡具では見えない。盲点の追跡を使用する追跡アルゴリズムが使用される場合、両方の目のための同時の追跡は、1つの目の追跡具だけが盲点を追跡することができる期間を通じて追跡が連続的に維持されることを可能にする。
波長選択
図14−16を参照すると、スペクトル感度も目の追跡照射中に目の刺激を最小限にするために使用することができる。図14で示されるように、桿状体細胞は主として周縁視覚の役割をし、窩には存在しない。図16にグラフ「R」によって示されるように、桿状体細胞は赤(620ナノメートル以上)に比較的無感覚である。周辺の領域の中にある錐状体の減少数は、桿状体ほど低い光源レベルに敏感ではない。したがって本発明の特定の実施形態によれば、目の追跡用の赤色光によって周辺の網膜(即ち、窩以外)を照射することは望ましい。
網膜からの反射が可視波長でよりも赤外線において実質的により高いことは図15のグラフから明白である。700nmで、反射は可視の赤のほとんど2倍である。したがって、可視の赤外線(650−750nmの間、最も好ましくは680−720nmの間)の干渉縞にある波長を使用することは有利であり得る。なぜなら、光学系内で分散することが縮小され、導光路のオプティカルコーティングには可視光線のようにほとんど同じ反射率を有しているからであり、目がこれらの波長に無感覚である。
より長い波長(例えば、900nm)を可視範囲よりも6倍まで多くの反射率を有し、そして、本発明に従って使用することができる。しかしながら、これは、オプティカルコーティングの最適化を必要とするが、様々な表面の必要とされる反射率が目の追跡具の波長に適することを保証するためである。
赤外線照射が目の追跡具に使用される場合、赤外線照射の提供に対する様々なオプションがある。可視波長に近い近赤外線の波長が使用される場合、赤外線照射は、従来の可視画像投影配列での4番目の「色」として例えばLCOSモジュレーターを使用して、組み合わせられ得る。パターン化された照射が赤外線のより長い波長に対して望まれる場合、典型的にはディジタル光処理(DPL)デバイスが好ましい。パターン化しない照射については、典型的には専用の照射ソースが画像プロジェクタと無関係に提供される。図17A−20は、本発明による装置に対する特定の実施形態のオプションを例証し、光学系にIR照射を組み入れている。
まず図17Aおよび17Bを参照すると、これらの図は一実施形態に関するものであり、近赤外線ソースのエキストラ「カラー」のような可視画像投影配列への統合によって、近赤外線照射が送達される。プロジェクタの詳細は示されないが、当業者には自明であろう。目の検出カメラは、この場合上部の導光路(110)に隣接して設置され、その結果、図6BのPBS(105)は必要とされない。この構成は、LOE(110)の内部ファセット(140)が光を上方へ結合するという事実に基づいており、この光は左から右に広がる。この構成では、散乱の伝達を最小限にするために偏光子(126)を導入することが可能である。
図18Aおよび18Bは、導光路(110)へとビーム分割器(304)(それは例えば50/50ビーム分割器あるいはPBSであり得る)を通して画像プロジェクタ(102)(以下、IRと言うIRまたはVISであり得る)の出力と異なる波長がある発光源(302)が、光を送信する更なる構成を例証する。(IRまたはVISでありえ、以下IRという)画像プロジェクタ(102)の出力と異なる波長を有する発光源(302)を経て光を導光路(110)へ伝達する(ビーム分割器(304)は、例えば50/50ビーム分割器あるいはPBSであり得る)。第1のファセット(306)は、画像プロジェクタ(102)から可視光線のすべてあるいは大部分を伝達するように設計されている。しかし、目の追跡具のためにIR光に対して反射する。図6Aおよび6Bに記載されているように、IR照射光は目の後ろに広がる。その後、IR照射光は参照符号(306)によってビーム分割器(304)に反射され、撮像カメラ125に伝送される。
図18Cで、戻り光(破線の矢)は、反射されず、この導光路によってガイドされて、導光路(110)を通じて力の伝達によって撮像カメラ125へ直接反射される。これはより広い受信光学部(図7Aおよび7Bのように単一の導光投影配列の中で使用される配列に類似している)を必要とし得、及び/又はプロジェクタより小さな受光アイボックスを有し得る。図21A−21Cを参照して更に以下に述べられるように、(画像プロジェクタと異なり)目からの反射が軸芯から離れる角度で存在する場合があるので、典型的には、より小さなアイボックスは受け入れ可能である。照射は、画像プロジェクタから、あるいは図示されるような専用の照明器(302)からであり得る。
図19は、可視(VIS)画像投影と共にIR照射を導入するために投射システム(102)の可能な実施形態の詳細を概略的に示す。VIS_LED(400)からの光は、光導波路(402)(均一性を増強するための任意の機能)を経て、照明光学系(404)を経て、ビーム分割器(406)経て、LCOS(408)上に達する。LCOSが1つの画素毎にカラーフィルタを埋め込んでいる場合、システムに光導波路はなく、照射は白色VIS_LEDによる。目の追跡用のIR_ LED(410)は、二色分割器(412)によって導入される。IR_LEDは、順にあるいはVIS_LEDと同時に照射する。
図20は図6Bで示される構成に対応する更なるオプションを例証する。この場合、参照符号(102)は画像投影光学部(詳細に示されない)である。また、参照符号(105)はビーム分割器である。しかしながら、この場合、参照符号(105)は、好ましくはプロジェクタから可視光線を伝達するが、目の追跡システムからのIR光を反射する二色ビーム分割器である。明確に、反対の特性を備えた二色のビーム分割器は伝達された方向にIR追跡システムを備えた等価の構成を構築するために使用することができる。
目の追跡システム用のIR照射はIR_LED(500)によって生成され、光は二色分割器(105)上でビーム分割器(502)(50/50ビーム分割器又はPBSであり得る)を通過し、そして、導光路(ビーム分割器(105)に隣接しているが、この図面の中で示されない)上で反射される。反射光(破線の矢)は反転路を追随し、IRカメラ(125)上でビーム分割器(502)を通過する。
実施形態にここまで記載され、網膜の詳細な特徴が追跡されるが、本発明の特定の実施形態は代替の追跡技術である。図21Bおよび21Cの中で例証されるように、網膜からの反射は典型的には反射する構成部品およびディフューザーの両方を含んでいる。図21Aの目(200)の単純化モデルは、網膜(201)のセンターに垂直に入射する軸芯上の光線を示す。強い正反射(202)は入射ひとみによって反射され、したがって、この反射は強く外部的に検知される。しかしながら、光が軸芯から離れた角度(204)で網膜に入射するとき、正反射(206)は瞳孔を出ず、および、拡散反射だけが瞳孔(破線の矢としてマークされた)を出る。これは外部的に検知されるはるかに弱い信号である。
図21Bのグラフは結合した反射強度を概略的に示す。正反射構成部品(可変振幅Aであると特徴付けられた)は角度依存であるが(本明細書では瞳位置と記載された)、拡散反射は大雑把には一定である(振幅Bであると見なされた)。図21Cおよび21Dのグラフは、反射の構成部品のための実験の測定および波長依存性を示す。これらの実験によれば、反射の半値全幅(FWHM)はほぼ2mmの瞳孔移動(大雑把には〜10°に対応する)である。検出の実際の分解は次のように近似することができる:
SNRが10〜100の範囲にある場合があるので、目の配向分解は1°から0.1°である。正確な配向検出のための信号処理が知られている。その一例は、Y.Danzigerによる"Sampling−balanced imaging system utilizing whitening matched filter"と題するもので、Applied Optics、Vol. 49, Issue 17,pp.3330−3337(2010)に掲載された。
したがって、目から本発明の導光路へ戻る反射強度のエンベロープが角度制限されることは理解される。目の配向を決定するために、この特性は本発明の特定の実施形態に従って使用される(パターン検出から独立している)。
本発明のこの態様によれば、好ましくは、全視野が照射され、部分だけが目によって反射される。図22は反射された視野を概略的に表し、円は網膜の強い正反射を表わし、環境が弱く反映されている。
したがって、網膜パターンは、この円内に非常に目に見えるだろう。しかし外側ではそれほど明瞭でない(破線で表された)。この発明によれば、目の配向は、パターン、および高い反射の「エンベロープ」の移動として観測されるだろう。
典型的には広範囲なセンサマトリックスを必要とする上述したパターン検出と異なり、本明細書で記載された種類の包絡線検波ははるかに低い解像度を必要とし、および4つのコドラントあるいは「直交位相」検出器あるいは104未満、典型的には、わずか50x50画素という画素数の低いピクセル計算検出器を使用して実行され得るが、これは光コンピューターマウスにおいて共通である。実施形態のこのグループのために、光学センサ(125)を展開させることは、特定の場合には有利であり得る。光学センサ(125)はわずかに画像の焦点をずらすために焦光光学系(106)の焦点面から僅かに移動され、それによってピクシレーション関連の結果を弱めるか回避する。センサ素子の数の低減は、高速の図形処理の使用を認め、次に跡プロセスの応答速度に寄与する。
ここまで記載された実施例は一つの導光路で目の追跡照射とイメージングを組み合わせたが、それが2つの別個の導光路間のこれらの2つの機能を分割するのにある場合には有利であることが注目されるべきである。具体的には、特定の場合には、目に達する前に、目の追跡具照射の内部散乱が受光カメラを飽和状態にするのに十分な後方散乱線を生じさせるかもしれないという危険性がある。この問題の回避することへの1つのアプローチは、滑らかなコーティングあるいは導光路面上にガラス層を導入するなどして伝達する導光路の照明の後方散乱を最小限にすることである。代替のアプローチは図23に概略的に例証される。ここで伝達機能と受光機能は2つの導光路間で細分される。
具体的には、図23の例示的な実施形態では、増加したニアアイディスプレイ(250)は目を照射する画像を送達する如何なるタイプであり得る。この側面図の例証では、2D導光路および1D導光路の組み合わせを採用するものとして示され、すべて、部分的に反射するファセットに基づいているが、上述した追加のオプションもすべて本実施形態に当てはまる。この図では、一点鎖線の矢は、組み合わされた伝達/受光導光路を飽和することができる1つの散乱点(多数あってもよい)を表わす。
前述のとおり、照射は可視照射によっても、あるいは近赤外線によっても可能である。
本明細書で例証された実施形態では、目からの反射光は、照射導光素子とは異なる平行導光路(255)によって集光される(側面図で示される)。この場合、両方の導光光学素子は、上述された通り、透明材料から形成され、内部反射によって光をガイドするために対の平行面を持って、観測者の目に対向して重複させて展開される。
反射光(破線の矢として描かれた)は、照射導光路(250)を通過し(照射導光路は、観測者が実際の世界を見ることを可能にするために殆ど透明にして実施される)、受光導光路(255)に至る。またこの導光路はほとんど透明である、しかし、この導光路は、また導光路中への放射線の一部を結合させるための結合機構(ファセット又は回折)を含んでいる。反射画像はこの導光路(255)内で広がり、上記した組み合わせシステムで記載したのと殆ど同じやり方で、受光器よって集光される。
ここで少し図5に戻ると、本明細書で例証された特定の限定されない実施形態によれば、装置(100)は、観測者の耳と係合するサイドアーム(600)を備えたメガネ形状係数で実施される、しかしヘルメットに取り付けるなど他の形状係数は明確に本発明の範囲内にある。当該技術で知られているように、処理システム(108)は、任意の適切なタイプの処理ハードウェア及び/又はソフトウェアを使用して実施することができ、種々の専用グラフィックス・プロセッサー、ディスプレイドライバ、及び任意の適切な動作システムの下で動作し、適切なソフトウェアモジュールあるいはファームウェアモジュールを実行する汎用プロセッサーの如何なる組み合わせも含むが、それらに限定されない。処理システム(108)は、典型的には、情報およびグラフィックコンテンツの双方向の転送用のLAN及び/又はWANデバイスを備えた有線又は無線の通信を可能にするための種々の揮発性のデータ記憶要素及び種々の通信要素を含んでいる。そのような装置は適切な電力原から動力が供給される。当該動力源はバッテリーの如何なる組み合わせであり得、及び/又は外部動力源が設けられ得、ケーブル(604)を介して接続された電力源(602)として構成され、本明細書において概略的に例証される。バッテリー電源が使用される場合、バッテリーはメガネかヘルメット実装構造体の一部として構成され得る。
本発明の目の追跡が目の角度方向(即ち、熟視方向あるいは「視線」)を基本的に決定することであることは注目される。しかしほとんどの実施形態において、目がLOEの適用範囲の有効アイボックスにとどまる限り、装置に対する目の空間位置に本質的に無感覚である。そのようなものとして、前記装置は、メガネ型デバイス又はヘッド・マウント型デバイス及び/又は他の装着可能なデバイスは大きな利点がある。何故なら、頭とのシステムの正確で反復可能な位置合わせを保証することは必ずしも実現可能ではなく及び/又は、使用中にシステムが目に対していくぶん移動し得るからである。
上述のとおり、メガネ構造の一方の側の部分図として本明細書では例証したが、デバイス全体が、単眼或いは両眼の画像投影および追跡を提供し得、双眼鏡は、特に単眼及び両眼の両方にとって特に好ましく、装置が両眼であると、様々な処理要素および電力供給要素は2つの追跡システムによって随意に共有され得る、そして上記されるように、追跡情報は追跡の増強された安定性および連続性を提供するために、好ましくは融合される。
添付の特許請求の範囲は多数項従属なしに記載された。これは単にそのような多数項従属を許可しない国の管轄権の方式的な要件に適合させるために行ったのである。多数項を従属して請求項を与えることにより意味づけられる特徴のあらゆる組み合わせは、明示的に着想され、本発明の一部と考えられるべきことは注目されるべきである。
上記の説明が単に例として役立つように意図され、他の多くの実施形態が、添付の特許請求の範囲で定義されるような本発明の範囲内で可能であることが認識されるだろう。

Claims (21)

  1. ヒトの目の熟視方向を得るための装置であって、
    前記装置は、
    (a)透明材料から形成され、内面反射によって光をガイドするために対の平行面を有する導光光学素子(LOE)であって、前記平行面の1つが目に対して対向して展開された導光光学素子(LOE);
    (b)前記LOEに関連した内結合構成であって、前記LOEの内部で広がるように内結合領域内の前記平行面の1つで入射光の広がりを内結合するように構成された内結合構成;
    (c)前記LOEに関連づけられ、前記LOEの内で広がる平行光線のセットを捕らえられた光の集束ビームに変換するために構成された集光部;
    (d)前記捕らえられた光を感知するために展開された光学センサ;及び
    (e)少なくとも1つのプロセッサーを含む処理システムであって、当該処理システムは前記光学センサに電気的に関連付けられ、目の現在の熟視方向を得るために前記光学センサからの信号を処理するように構成された処理システム
    を含み、
    前記内結合構成は前記LOE内で広がる光線を生成するように構成され、各光線は対応する入射光線の入射方向を示す方向を有し、複数の離間した平行な入射光線が、前記LOE内で広がる単一光線に組み合わせられてなる
    ことを特徴とするヒトの目の熟視方向を得るための装置。
  2. 前記内結合構成は複数の部分的反射面を含み、前記複数の部分的反射面は平行面に対してLOE内で傾斜して展開されてなる請求項1に記載のヒトの目の熟視方向を得るための装置。
  3. 前記内結合構成は、前記平行面の1つに関連付けられた回折光学素子を含む請求項1に記載のヒトの目の熟視方向を得るための装置。
  4. 前記光学センサは4つのコドラント・センサーを含む請求項1に記載のヒトの目の熟視方向を得るための装置。
  5. 前記光学センサは複数の画素検出部を含み、前記処理システムは約10もの画素検出部からの出力を処理する請求項1に記載のヒトの目の熟視方向を得るための装置。
  6. 前記内結合領域の方向から目を照射するために展開された照射配列を更に含む請求項1に記載のヒトの目の熟視方向を得るための装置。
  7. 前記照射配列はLOEへ照射を導入するように構成され、その結果、前記照明が前記対の平行面で反射によって前記LOE内で広がり、前記内結合構成によって目の方へ結合される請求項6に記載のヒトの目の熟視方向を得るための装置。
  8. 透明材料から形成された照射導光素子をさらに含み、内面反射によって光をガイドするために対の平行面を持っており、前記照明光ガイド素子は前記LOEと重複する関係をとる際に展開され、前記照明配列は照明光ガイド素子へ照明を導入するように構成され、その結果、前記照明が対の平行面で反射によって前記照明光ガイド素子内で広がり、前記外結合構成によって目の方に結合され、当該外結合構成は照明光ガイド素子に関連づけられる請求項6に記載のヒトの目の熟視方向を得るための装置。
  9. 前記照射配列は前記処理システムに関連付けられ、前記処理システムは、パルス持続時間をもつ照射パルスを生成するために照射配列を作動し、前記処理システムは前記光学センサから得られた信号を処理し、前記光学センサから得られた信号は、前記パルス持続時間中に捕らえられた入射光に対応する請求項6に記載のヒトの目の熟視方向を得るための装置。
  10. 通過帯域スペクトルフィルターをさらに含み、与えられた範囲外の波長の光が前記光学センサに到達するのを妨害するように展開され、前記照射配列は、主として与えられた範囲内の照射を生成する請求項6に記載のヒトの目の熟視方向を得るための装置。
  11. 前記与えられた範囲の波長は、電磁放射スペクトルの非可視域内にある請求項10に記載のヒトの目の熟視方向を得るための装置。
  12. 前記照射配列は複数の別々に制御された照射画素を含み、前記処理システムは目の網膜の選択された領域に対応する方向に沿って選択的に照射するように光学センサに達してから前記照射画素を選択的に作動させる請求項6に記載のヒトの目の熟視方向を得るための装置。
  13. 目の熟視方向の進行中の追跡の間、網膜の前記選択された領域は目の視神経円板を含む領域である請求項12に記載のヒトの目の熟視方向を得るための装置。
  14. 前記処理システムは、目の網膜からの反射に対応する強度分布のセンターを得るために前記光学センサからの信号を処理するように構成され、それによって、目の現在の熟視方向を決定する請求項1に記載のヒトの目の熟視方向を得るための装置。
  15. 前記処理システムは目の網膜の少なくとも1つの顕著な特徴の位置を検知するために、前記光学センサからの信号を処理するように構成され、それによって、目の現在の熟視方向を決定する請求項1に記載のヒトの目の熟視方向を得るための装置。
  16. 前記処理システムは目の網膜中の血管のパターンを追跡するために、前記光学センサからの信号を処理するように構成され、それによって、目の現在の熟視方向を決定する請求項1に記載のヒトの目の熟視方向を得るための装置。
  17. 平行にされた画像を前記LOEに導入するように前記LOEに結合された画像プロジェクタをさらに含み、その結果、平行にされた画像が前記LOE内の内面反射によって広がり、内結合構成によって目に向かって前記LOEの外に結合される請求項1に記載のヒトの目の熟視方向を得るための装置。
  18. 前記画像プロジェクタは前記処理システムに関連付けられ、前記処理システムは、パルス持続時間をもつ照射パルスを生成するために前記画像プロジェクタを作動させ、前記処理システムは、前記パルス持続時間中に捕らえられた入射光に対応する光学センサから得られた信号を処理する請求項17に記載のヒトの目の熟視方向を得るための装置。
  19. 前記処理システムは投影された画像の選択されたサブセクションに一致するように前記パルスを生成し、その結果、前記パルスが投影された画像の認知に寄与する請求項18に記載のヒトの目の熟視方向を得るための装置。
  20. ユーザーであるヒトの頭に対して装置を支持するための支持構成をさらに含み、その結果、ユーザーの第1の目に対向して前記LOEが展開され、
    前記装置は、
    (a)透明材料から形成され、内面反射によって光をガイドするために対の平行面を持っている第2の目の導光光学素子(LOE)であって、前記平行面の一つが、ユーザーの第2の目に対向して展開された第2の目の導光光学素子(LOE);
    (b)前記第2の目のLOEに関連づけられた内結合構成であって、前記LOEの内部で広がるように内結合領域内の平行面の1つで入射光の広がりを内結合するように構成された内結合構成;
    (c)前記第2の目のLOEに関連づけられた集光光学部であって、
    LOE内で広がる平行光線の組を捕らえられた光の集束ビームに変換するために構成された集光光学部;および
    (d)前記捕らえられた光を感知するために展開された第2の目の光学センサであって、前記処理システムは第2の目の光学センサに電気的に関連づけられ、ユーザーの目の現在の熟視方向を得るために、前記光学センサの両方からの信号を処理ように構成されてなる請求項1に記載のヒトの目の熟視方向を得るための装置。
  21. 次の工程を含む方法であって:
    (a)請求項1〜20のうちのいずれかの装置を提供する工程;および
    (b)目の現在の熟視方向を得るために、光学センサからの信号を処理する工程、を含む方法。
JP2018536174A 2016-12-31 2017-12-31 導光光学素子を介したレチナールイメージングに基づく目の追跡具 Active JP7274724B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662441205P 2016-12-31 2016-12-31
US62/441,205 2016-12-31
PCT/IL2017/051408 WO2018122859A1 (en) 2016-12-31 2017-12-31 Eye tracker based on retinal imaging via light-guide optical element

Publications (4)

Publication Number Publication Date
JP2020504832A true JP2020504832A (ja) 2020-02-13
JP2020504832A5 JP2020504832A5 (ja) 2021-01-21
JPWO2018122859A5 JPWO2018122859A5 (ja) 2023-02-24
JP7274724B2 JP7274724B2 (ja) 2023-05-17

Family

ID=62707970

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018536174A Active JP7274724B2 (ja) 2016-12-31 2017-12-31 導光光学素子を介したレチナールイメージングに基づく目の追跡具

Country Status (8)

Country Link
US (3) US20190056600A1 (ja)
EP (1) EP3397137B1 (ja)
JP (1) JP7274724B2 (ja)
KR (1) KR102296369B1 (ja)
CN (2) CN115145023B (ja)
IL (1) IL260969B (ja)
TW (1) TWI759395B (ja)
WO (1) WO2018122859A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7093591B1 (ja) 2021-03-24 2022-06-30 株式会社Qdレーザ 画像投影装置

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10073264B2 (en) 2007-08-03 2018-09-11 Lumus Ltd. Substrate-guide optical device
IL166799A (en) 2005-02-10 2014-09-30 Lumus Ltd Aluminum shale surfaces for use in a conductive substrate
US10048499B2 (en) 2005-11-08 2018-08-14 Lumus Ltd. Polarizing optical system
IL232197B (en) 2014-04-23 2018-04-30 Lumus Ltd Compact head-up display system
IL235642B (en) 2014-11-11 2021-08-31 Lumus Ltd A compact head-up display system is protected by an element with a super-thin structure
IL237337B (en) 2015-02-19 2020-03-31 Amitai Yaakov A compact head-up display system with a uniform image
AU2017301074B2 (en) 2016-10-09 2022-02-03 Lumus Ltd Aperture multiplier using a rectangular waveguide
RU2763850C2 (ru) 2016-11-08 2022-01-11 Люмус Лтд Световодное устройство с краем, обеспечивающим оптическую отсечку, и соответствующие способы его изготовления
US11500143B2 (en) 2017-01-28 2022-11-15 Lumus Ltd. Augmented reality imaging system
WO2018154576A1 (en) 2017-02-22 2018-08-30 Lumus Ltd. Light guide optical assembly
KR20230025946A (ko) 2017-03-22 2023-02-23 루머스 리미티드 중첩 파셋
IL251645B (en) 2017-04-06 2018-08-30 Lumus Ltd Waveguide and method of production
WO2019016813A1 (en) 2017-07-19 2019-01-24 Lumus Ltd. LIQUID CRYSTAL LIGHTING ON SILICON VIA OPTICAL ELEMENT GUIDE OF LIGHT
CN111183393B (zh) 2017-09-29 2024-03-19 鲁姆斯有限公司 增强现实显示器
US10627627B2 (en) * 2017-10-02 2020-04-21 Google Llc Eye tracking using light guide with faceted combiner
CN111133362B (zh) 2017-10-22 2021-12-28 鲁姆斯有限公司 采用光具座的头戴式增强现实设备
KR102570722B1 (ko) 2017-11-21 2023-08-24 루머스 리미티드 근안 디스플레이용 광학 조리개 확장 배열
WO2019106637A1 (en) 2017-12-03 2019-06-06 Lumus Ltd. Optical device alignment methods
IL275013B (en) 2017-12-03 2022-08-01 Lumus Ltd Method and device for testing an optics device
WO2019135169A1 (en) 2018-01-02 2019-07-11 Lumus Ltd. Augmented reality displays with active alignment and corresponding methods
US10551544B2 (en) 2018-01-21 2020-02-04 Lumus Ltd. Light-guide optical element with multiple-axis internal aperture expansion
WO2019197959A1 (en) 2018-04-08 2019-10-17 Lumus Ltd. Optical sample characterization
CN112119346B (zh) 2018-05-14 2022-08-19 鲁姆斯有限公司 用于近眼显示器的具有细分光学孔径的投影仪配置和相应的光学系统
WO2019220386A1 (en) 2018-05-17 2019-11-21 Lumus Ltd. Near-eye display having overlapping projector assemblies
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
CN112119345A (zh) 2018-05-23 2020-12-22 鲁姆斯有限公司 包括具有部分反射内表面的光导光学元件的光学系统
US11163166B1 (en) * 2018-05-23 2021-11-02 Facebook Technologies, Llc Removable frames for head-mounted display systems
CN112313499A (zh) 2018-06-21 2021-02-02 鲁姆斯有限公司 光导光学元件(loe)的板之间折射率不均匀性的测量技术
US11415812B2 (en) 2018-06-26 2022-08-16 Lumus Ltd. Compact collimating optical device and system
CN112424670B (zh) 2018-07-16 2023-01-17 鲁姆斯有限公司 采用偏振内反射器的光导光学元件
EP3826528A4 (en) * 2018-07-25 2022-07-27 Natus Medical Incorporated REAL TIME REMOVAL OF IR LED REFLECTIONS FROM AN IMAGE
US11543583B2 (en) 2018-09-09 2023-01-03 Lumus Ltd. Optical systems including light-guide optical elements with two-dimensional expansion
TWM642752U (zh) 2018-11-08 2023-06-21 以色列商魯姆斯有限公司 用於將圖像顯示到觀察者的眼睛中的顯示器
CN112969955B (zh) 2018-11-08 2023-05-26 鲁姆斯有限公司 具有二向色分束器颜色组合器的光学装置和系统
KR20200001026U (ko) 2018-11-11 2020-05-21 루머스 리미티드 인터미디어트 윈도우를 구비한 근거리 디스플레이 장치
EP3911982B1 (en) * 2019-01-20 2023-07-05 Lumus Ltd. Optical device testing method and apparatus
US10983264B2 (en) 2019-01-24 2021-04-20 Lumus Ltd. Optical systems including light-guide optical elements with two-dimensional expansion
RU2700373C1 (ru) * 2019-02-05 2019-09-16 Самсунг Электроникс Ко., Лтд. Система слежения за поворотом глаза
US11861063B2 (en) 2019-02-05 2024-01-02 Samsung Electronics Co., Ltd. Eye-tracking device and display apparatus including the same
KR102651647B1 (ko) 2019-03-12 2024-03-26 루머스 리미티드 이미지 프로젝터
EP3733139A1 (en) * 2019-05-02 2020-11-04 Gensight Biologics Viewing apparatus and method for projecting a light signal
WO2020225747A1 (en) * 2019-05-06 2020-11-12 Lumus Ltd. Transparent lightguide for viewing a scene and a near-eye display
US11927872B2 (en) 2019-06-23 2024-03-12 Lumus Ltd. Display with foveated optical correction
CA3137994A1 (en) 2019-06-27 2020-12-30 Lumus Ltd Apparatus and methods for eye tracking based on eye imaging via a light-guide optical element
CA3145818C (en) * 2019-07-04 2023-12-12 Lumus Ltd. Image waveguide with symmetric beam multiplication
CN110488335B (zh) * 2019-08-13 2021-11-23 Oppo(重庆)智能科技有限公司 基于可见光通信的导航方法及系统
CN112558751B (zh) * 2019-09-25 2022-07-01 武汉市天蝎科技有限公司 一种智能眼镜基于mems和光波导镜片的视线追踪方法
EP4053677A4 (en) * 2019-10-30 2023-11-01 Imatrix Holdings Corp. EYE CONTACT DETECTION DEVICE
KR20240008402A (ko) 2019-11-25 2024-01-18 루머스 리미티드 도파관의 표면을 폴리싱하는 방법
IL270991B (en) 2019-11-27 2020-07-30 Lumus Ltd A light guide with an optical element to perform polarization mixing
AU2020395978A1 (en) 2019-12-05 2022-06-16 Lumus Ltd. Light-guide optical element employing complementary coated partial reflectors, and light-guide optical element having reduced light scattering
EP4042232A4 (en) 2019-12-08 2022-12-28 Lumus Ltd. OPTICAL SYSTEMS WITH COMPACT IMAGE PROJECTOR
TWI747117B (zh) * 2019-12-25 2021-11-21 大陸商常州欣盛半導體技術股份有限公司 一種眼球追蹤感測器的線路結構及其加工方法
WO2021137228A1 (en) * 2019-12-30 2021-07-08 Lumus Ltd. Optical systems including light-guide optical elements with two-dimensional expansion
KR20220116224A (ko) * 2019-12-30 2022-08-22 루머스 리미티드 광 도파관을 채용하는 검출 및 거리 측정 시스템
US20220397766A1 (en) * 2020-02-24 2022-12-15 Lumus Ltd. Mixed reality combiner
WO2021188926A1 (en) * 2020-03-20 2021-09-23 Magic Leap, Inc. Systems and methods for retinal imaging and tracking
KR20210156613A (ko) * 2020-06-18 2021-12-27 삼성전자주식회사 증강 현실 글라스 및 그 동작 방법
DE202021104723U1 (de) 2020-09-11 2021-10-18 Lumus Ltd. An ein optisches Lichtleiterelement gekoppelter Bildprojektor
WO2022117355A1 (en) * 2020-12-04 2022-06-09 Ams International Ag Display device and method for operating a display device
EP4226205A1 (en) * 2020-12-06 2023-08-16 Lumus Ltd. Optical system including selective illumination
WO2022130372A1 (en) * 2020-12-17 2022-06-23 Lumus Ltd. Optical systems and methods for eye tracking based on eye imaging via collimating element and light-guide optical element
US11536555B2 (en) * 2021-02-03 2022-12-27 Meta Platforms Technologies, Llc Scanning self-mixing interferometry system and sensor
KR20220117548A (ko) * 2021-02-17 2022-08-24 삼성전자주식회사 시선 추적 방법 및 전자 장치
US11928257B2 (en) * 2021-02-17 2024-03-12 Samsung Electronics Co., Ltd. Method and electronic device for tracking eye
JP2024510870A (ja) 2021-03-01 2024-03-12 ルムス エルティーディー. プロジェクタから導波路へのコンパクトな結合を有する光学システム
EP4232868A4 (en) * 2021-05-19 2024-04-17 Lumus Ltd ACTIVE OPTICAL ENGINE
US11741861B1 (en) 2022-02-08 2023-08-29 Lumus Ltd. Optical system including selectively activatable facets
EP4242725A1 (en) 2022-03-09 2023-09-13 TriLite Technologies GmbH Display device
WO2023224878A1 (en) * 2022-05-16 2023-11-23 Apple Inc. Eye tracking using camera lens-aligned retinal illumination

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5430505A (en) * 1992-01-30 1995-07-04 Mak Technologies, Inc. High speed eye tracking device and method
JPH08313843A (ja) * 1995-05-16 1996-11-29 Agency Of Ind Science & Technol 視線追従方式による広視野高解像度映像提示装置
JPH10276985A (ja) * 1997-03-27 1998-10-20 Carl Zeiss Jena Gmbh 眼球の光学的データの検査装置
JPH10307314A (ja) * 1997-05-09 1998-11-17 Canon Inc 観察光学装置
US6154321A (en) * 1998-01-20 2000-11-28 University Of Washington Virtual retinal display with eye tracking
JP2003520984A (ja) * 1999-10-14 2003-07-08 ストラトス プロダクト ディヴェロップメント エルエルシー 仮想画像システム
US20110109880A1 (en) * 2006-01-26 2011-05-12 Ville Nummela Eye Tracker Device
US20110109528A1 (en) * 2009-11-09 2011-05-12 Samsung Electronics Co., Ltd. Wearable display apparatus
JP2012037761A (ja) * 2010-08-09 2012-02-23 Sony Corp 表示装置組立体
US20130208362A1 (en) * 2012-02-15 2013-08-15 David D. Bohn Laser illumination scanning
US20150289762A1 (en) * 2012-05-11 2015-10-15 Milan Momcilo Popovich Apparatus for eye tracking

Family Cites Families (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4720189A (en) * 1986-01-07 1988-01-19 Northern Telecom Limited Eye-position sensor
US6580529B1 (en) * 1998-04-02 2003-06-17 Elop Electro -Optics Industries Ltd. Holographic optical devices
WO2001095027A2 (en) * 2000-06-05 2001-12-13 Lumus Ltd. Substrate-guided optical beam expander
DE10103922A1 (de) * 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US6927694B1 (en) 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
US20070165192A1 (en) 2006-01-13 2007-07-19 Silicon Optix Inc. Reduced field angle projection display system
ITTO20020625A1 (it) * 2002-07-17 2004-01-19 Fiat Ricerche Guida di luce per dispositivi di visualizzazione di tipo "head-mounted" o "head-up"
US20060132914A1 (en) * 2003-06-10 2006-06-22 Victor Weiss Method and system for displaying an informative image against a background image
IL157837A (en) 2003-09-10 2012-12-31 Yaakov Amitai Substrate-guided optical device particularly for three-dimensional displays
US7573640B2 (en) * 2005-04-04 2009-08-11 Mirage Innovations Ltd. Multi-plane optical apparatus
FR2903503B1 (fr) 2006-07-06 2009-06-12 Essilor Int Lentille ophtalmique a insert optique integre destine a permettre la projection d'informations
US7394841B1 (en) * 2007-01-18 2008-07-01 Epicrystals Oy Light emitting device for visual applications
US7850306B2 (en) * 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
US20120081800A1 (en) 2009-04-20 2012-04-05 Dewen Cheng Optical see-through free-form head-mounted display
US20130094712A1 (en) 2010-07-16 2013-04-18 Amir Said Systems and methods for eye tracking using retroreflector-encoded information
US9632315B2 (en) 2010-10-21 2017-04-25 Lockheed Martin Corporation Head-mounted display apparatus employing one or more fresnel lenses
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
EP2656135B1 (en) 2010-12-24 2022-05-04 Magic Leap, Inc. Freeform waveguide prism
US8939579B2 (en) * 2011-01-28 2015-01-27 Light Prescriptions Innovators, Llc Autofocusing eyewear, especially for presbyopia correction
JP4926300B1 (ja) * 2011-06-10 2012-05-09 パイオニア株式会社 画像表示装置、画像表示方法及び画像表示プログラム
TW201300834A (zh) * 2011-06-23 2013-01-01 Seereal Technologies Sa 顯示裝置,尤其是頭戴式顯示器或護目鏡
US8519607B2 (en) 2011-06-28 2013-08-27 Federal-Mogul Ignition Company Spark plug electrode configuration
TW201302600A (zh) 2011-07-04 2013-01-16 Univ Nat Taiwan Science Tech 矽奈米線陣列之製作方法
US20130021226A1 (en) 2011-07-21 2013-01-24 Jonathan Arnold Bell Wearable display devices
US9170425B1 (en) 2011-08-17 2015-10-27 Lockheed Martin Corporation Multi-focal augmented reality lenses
KR20140066258A (ko) * 2011-09-26 2014-05-30 마이크로소프트 코포레이션 투시 근안 디스플레이에 대한 센서 입력에 기초한 비디오 디스플레이 수정
US8917453B2 (en) * 2011-12-23 2014-12-23 Microsoft Corporation Reflective array waveguide
US9720232B2 (en) * 2012-01-24 2017-08-01 The Arizona Board Of Regents On Behalf Of The University Of Arizona Compact eye-tracked head-mounted display
JP5960799B2 (ja) 2012-03-28 2016-08-02 パイオニア株式会社 ヘッドマウントディスプレイ及び表示方法
US10627623B2 (en) * 2012-05-03 2020-04-21 Nokia Technologies Oy Image providing apparatus, method and computer program
IL219907A (en) * 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
US8989535B2 (en) * 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
WO2014043196A1 (en) 2012-09-11 2014-03-20 Magic Leap, Inc Ergonomic head mounted display device and optical system
US9933684B2 (en) * 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
US10209517B2 (en) * 2013-05-20 2019-02-19 Digilens, Inc. Holographic waveguide eye tracker
WO2015012280A1 (ja) * 2013-07-24 2015-01-29 コニカミノルタ株式会社 視線検出装置
US10345903B2 (en) 2013-07-30 2019-07-09 Microsoft Technology Licensing, Llc Feedback for optic positioning in display devices
JP6369017B2 (ja) 2013-12-03 2018-08-08 セイコーエプソン株式会社 虚像表示装置
JP6349704B2 (ja) 2013-12-06 2018-07-04 セイコーエプソン株式会社 虚像表示装置
US9459451B2 (en) * 2013-12-26 2016-10-04 Microsoft Technology Licensing, Llc Eye tracking apparatus, method and system
US20160018650A1 (en) 2014-01-24 2016-01-21 Osterhout Group, Inc. See-through computer display systems
EP3114525A4 (en) * 2014-03-03 2018-03-07 Eyeway Vision Ltd. Eye projection system
NZ762223A (en) 2014-03-05 2022-02-25 Univ Arizona Wearable 3d augmented reality display with variable focus and/or object recognition
JP6554479B2 (ja) 2014-03-20 2019-07-31 エシロール・アンテルナシオナル 拡張現実感のための方法
CN106062616B (zh) 2014-04-01 2019-04-12 依视路国际公司 被安排成用于输出补充图像的多焦点眼科眼镜片
US10509235B2 (en) 2014-04-02 2019-12-17 Essilor International Method of calculating optical characteristics of an optical system according to a given spectacle frame
EP3132306A1 (en) 2014-04-14 2017-02-22 Essilor International (Compagnie Générale D'Optique) Method of calculating an optical system of a progressive addition ophthalmic lens being arranged to output a supplementary image
WO2015184409A1 (en) 2014-05-30 2015-12-03 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US9606354B2 (en) * 2014-07-17 2017-03-28 Google Inc. Heads-up display with integrated display and imaging system
WO2016046514A1 (en) * 2014-09-26 2016-03-31 LOKOVIC, Kimberly, Sun Holographic waveguide opticaltracker
EP3237957A1 (en) * 2014-12-26 2017-11-01 CY Vision Inc. Near-to-eye display device
US9681804B2 (en) 2015-01-12 2017-06-20 X Development Llc Hybrid lens system for head wearable display
EP3062142B1 (en) * 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
US9977241B2 (en) * 2015-03-17 2018-05-22 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and computer program
EP3286599A4 (en) 2015-04-22 2018-12-19 eSIGHT CORP. Methods and devices for optical aberration correction
US9910276B2 (en) 2015-06-30 2018-03-06 Microsoft Technology Licensing, Llc Diffractive optical elements with graded edges
JP2017108370A (ja) 2015-07-06 2017-06-15 セイコーエプソン株式会社 頭部装着型表示装置およびコンピュータープログラム
US10007115B2 (en) 2015-08-12 2018-06-26 Daqri, Llc Placement of a computer generated display with focal plane at finite distance using optical devices and a see-through head-mounted display incorporating the same
AU2016349895B2 (en) 2015-11-04 2022-01-13 Magic Leap, Inc. Light field display metrology
US9927614B2 (en) 2015-12-29 2018-03-27 Microsoft Technology Licensing, Llc Augmented reality display system with variable focus
US10993824B2 (en) 2016-01-01 2021-05-04 Intact Vascular, Inc. Delivery device and method of delivery
CN105652447B (zh) * 2016-01-28 2018-04-03 上海理湃光晶技术有限公司 平面波导成像装置和方法
US10473933B2 (en) 2016-02-19 2019-11-12 Microsoft Technology Licensing, Llc Waveguide pupil relay
KR102530558B1 (ko) 2016-03-16 2023-05-09 삼성전자주식회사 투시형 디스플레이 장치
US20170277259A1 (en) * 2016-03-24 2017-09-28 Daqri, Llc Eye tracking via transparent near eye lens
US10705338B2 (en) 2016-05-02 2020-07-07 Waves Audio Ltd. Head tracking with adaptive reference
EP3296793A1 (en) 2016-09-19 2018-03-21 Essilor International Method of determining a correcting optical function to a virtual image
CN115047627A (zh) 2017-03-21 2022-09-13 奇跃公司 用于照射空间光调制器的方法、设备和系统
WO2018194962A1 (en) 2017-04-17 2018-10-25 Akonia Holographics Llc Skew mirror auxiliary imaging
WO2019060741A1 (en) 2017-09-21 2019-03-28 Magic Leap, Inc. INCREASED REALITY DISPLAY HAVING A WAVEGUIDE CONFIGURED TO CAPTURE IMAGES OF THE EYE AND / OR THE ENVIRONMENT
IL275013B (en) 2017-12-03 2022-08-01 Lumus Ltd Method and device for testing an optics device
US11112613B2 (en) 2017-12-18 2021-09-07 Facebook Technologies, Llc Integrated augmented reality head-mounted display for pupil steering
WO2019150461A1 (ja) 2018-01-31 2019-08-08 株式会社島津製作所 画像表示装置
US11053019B2 (en) 2018-04-19 2021-07-06 The Boeing Company Hybrid propulsion engines for aircraft
US11175518B2 (en) 2018-05-20 2021-11-16 Neurolens, Inc. Head-mounted progressive lens simulator
CN112969955B (zh) 2018-11-08 2023-05-26 鲁姆斯有限公司 具有二向色分束器颜色组合器的光学装置和系统
IL264551A (en) 2019-01-29 2020-07-30 Amitai Yaakov A compact head-up display system with high efficiency and a small entry key
US11202563B2 (en) 2019-03-07 2021-12-21 Neurolens, Inc. Guided lens design exploration system for a progressive lens simulator
CN114930080A (zh) 2020-02-02 2022-08-19 鲁姆斯有限公司 用于生产光导光学元件的方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5430505A (en) * 1992-01-30 1995-07-04 Mak Technologies, Inc. High speed eye tracking device and method
JPH08313843A (ja) * 1995-05-16 1996-11-29 Agency Of Ind Science & Technol 視線追従方式による広視野高解像度映像提示装置
JPH10276985A (ja) * 1997-03-27 1998-10-20 Carl Zeiss Jena Gmbh 眼球の光学的データの検査装置
JPH10307314A (ja) * 1997-05-09 1998-11-17 Canon Inc 観察光学装置
US6154321A (en) * 1998-01-20 2000-11-28 University Of Washington Virtual retinal display with eye tracking
JP2003520984A (ja) * 1999-10-14 2003-07-08 ストラトス プロダクト ディヴェロップメント エルエルシー 仮想画像システム
US20110109880A1 (en) * 2006-01-26 2011-05-12 Ville Nummela Eye Tracker Device
US20110109528A1 (en) * 2009-11-09 2011-05-12 Samsung Electronics Co., Ltd. Wearable display apparatus
JP2012037761A (ja) * 2010-08-09 2012-02-23 Sony Corp 表示装置組立体
US20130208362A1 (en) * 2012-02-15 2013-08-15 David D. Bohn Laser illumination scanning
US20150289762A1 (en) * 2012-05-11 2015-10-15 Milan Momcilo Popovich Apparatus for eye tracking

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7093591B1 (ja) 2021-03-24 2022-06-30 株式会社Qdレーザ 画像投影装置
WO2022201750A1 (ja) * 2021-03-24 2022-09-29 株式会社Qdレーザ 画像投影装置
JP2022151560A (ja) * 2021-03-24 2022-10-07 株式会社Qdレーザ 画像投影装置

Also Published As

Publication number Publication date
TW201831953A (zh) 2018-09-01
IL260969B (en) 2018-12-31
KR20190099374A (ko) 2019-08-27
EP3397137A1 (en) 2018-11-07
KR102296369B1 (ko) 2021-09-01
CN115145023A (zh) 2022-10-04
US11747635B2 (en) 2023-09-05
CN108882845B (zh) 2022-05-03
US20190056600A1 (en) 2019-02-21
EP3397137B1 (en) 2019-10-30
US20220252890A1 (en) 2022-08-11
EP3397137A4 (en) 2019-01-23
WO2018122859A1 (en) 2018-07-05
CN115145023B (zh) 2024-02-09
JP7274724B2 (ja) 2023-05-17
CN108882845A (zh) 2018-11-23
US20200241308A1 (en) 2020-07-30
TWI759395B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
JP7274724B2 (ja) 導光光学素子を介したレチナールイメージングに基づく目の追跡具
CN110446965B (zh) 用于结合光扫描投影仪跟踪眼睛运动的方法和系统
US20220413302A1 (en) Systems and methods for retinal imaging and tracking
JP6641361B2 (ja) 切換え式回折格子を利用した導波路アイトラッキング
US9606354B2 (en) Heads-up display with integrated display and imaging system
US7418115B2 (en) Iris imaging using reflection from the eye
JP2020514824A (ja) 回折光学要素を使用した眼結像装置
JP2018518709A (ja) 視標追跡及び走査レーザ投影をウェアラブルヘッドアップディスプレイに統合するシステム、デバイス、及び方法
JPWO2018122859A5 (ja)
CN117055231A (zh) 眼睛投影系统和方法
JP7302592B2 (ja) 情報検出装置、映像投影装置、情報検出方法、及び映像投影方法
JP2022538957A (ja) 光ガイド光学素子を介した眼の画像化に基づくアイトラッキングの装置および方法
CN109964230B (zh) 用于眼睛度量采集的方法和设备
US11663937B2 (en) Pupil tracking in an image display system
KR20220118445A (ko) 도광 광학 엘리먼트와 연관된 광학 배열체를 사용하여 눈으로부터 광을 방향 전환시키는 것에 기초한 시선 추적을 위한 광학계 및 방법
US20230393398A1 (en) System for collecting light
CN216485801U (zh) 一种光学成像系统、图像显示装置及增强现实显示设备
US20240004189A1 (en) Optical systems and methods for eye tracking based on eye imaging via collimating element and light-guide optical element
WO2022196650A1 (ja) 視線追跡システムおよび虚像表示装置
GB2608789A (en) Optical system for eye tracking

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201204

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20201208

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210528

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211206

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211206

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20211215

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220120

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220124

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220225

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220302

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220829

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20230125

C302 Record of communication

Free format text: JAPANESE INTERMEDIATE CODE: C302

Effective date: 20230126

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230301

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20230313

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20230410

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20230410

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230425

R150 Certificate of patent or registration of utility model

Ref document number: 7274724

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150