JP2022514217A - 操縦可能位置決め要素 - Google Patents

操縦可能位置決め要素 Download PDF

Info

Publication number
JP2022514217A
JP2022514217A JP2021532370A JP2021532370A JP2022514217A JP 2022514217 A JP2022514217 A JP 2022514217A JP 2021532370 A JP2021532370 A JP 2021532370A JP 2021532370 A JP2021532370 A JP 2021532370A JP 2022514217 A JP2022514217 A JP 2022514217A
Authority
JP
Japan
Prior art keywords
display
maneuverable
steerable
display system
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021532370A
Other languages
English (en)
Inventor
マシュー イーシュ,アーロン
ジョン グロス,アンドリュー
ウエストラ,クリストファー,デビッド
デワルト,ディー.,スコット
タング,エドワード
ロジャー バッテル,ジョセフ
ウィリアム キング,ケヴィン
ウェルチ,ウォーレン,コーニーリアス
デビッド フラッシュ,エリック,リチャード
エイ. ヘンダーソン,デビッド
シュ,チン
Original Assignee
エイヴギャント コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エイヴギャント コーポレイション filed Critical エイヴギャント コーポレイション
Publication of JP2022514217A publication Critical patent/JP2022514217A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16MFRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00Stands or trestles as supports for apparatus or articles placed thereon Stands for scientific apparatus such as gravitational force meters
    • F16M11/02Heads
    • F16M11/18Heads with mechanism for moving the apparatus relatively to the stand
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16MFRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00Stands or trestles as supports for apparatus or articles placed thereon Stands for scientific apparatus such as gravitational force meters
    • F16M11/02Heads
    • F16M11/04Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/06Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
    • F16M11/12Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction
    • F16M11/121Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction constituted of several dependent joints
    • F16M11/123Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting in more than one direction constituted of several dependent joints the axis of rotation intersecting in a single point, e.g. by using gimbals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0127Head-up displays characterised by optical features comprising devices increasing the depth of field
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

少なくとも20度の走査可能な視野内に位置決めされている少なくとも1度の単眼視野を有する操縦可能ディスプレイを備えるディスプレイシステムであって、操縦可能ディスプレイは、ユーザのために可動に位置決めされる、ディスプレイシステム。一実施形態では、操縦可能ディスプレイは、ユーザの中心窩に対して位置決めされる。【選択図】図1A

Description

関連出願
本出願は、2018年12月7日に出願された米国特許出願第62/777,061号および2019年9月17日に出願された米国仮特許出願第62/902,377号の優先権を主張し、参照により両出願の全体を組み込む。
本出願は、ニアアイディスプレイシステム、特にニアアイディスプレイにおける操縦可能位置決め要素に関する。
ニアアイディスプレイには、広い視野(FOV)にわたって高解像度で画像を表示するという両立しない要件がある。仮想現実および拡張現実の多くの適用において、視野は90度より大きくする必要があり、理想的には両眼視野は180度を超えて拡大する。同時に、ディスプレイの解像度は、仮想画像においてピクセル化がほとんどまたはまったく知覚されなくなるように、人間の視覚系の解像度と一致している必要がある。これら2つの要件を1つのシステムに組み合わせるとき、いくつかの課題が発生する。ピクセル化が見えるようになるのを回避するには、解像度を1ピクセルあたり0.01~0.02度程度にする必要がある。90度の正方形の視野では、これは片眼あたり4.5kx4.5kピクセル以上に相当する。このような解像度を達成することは、パネル、ドライブエレクトロニクス、およびレンダリングパイプラインのレベルにおいて困難である。
さらに、視野全体にわたって十分に高い解像度で広いFOV画像をユーザに投影できる光学システムも設計が困難である。レンダリング、データレート、およびパネル要件を同時に削減しながら、広い視野にわたって高解像度の画像をユーザに提示できるシステムアーキテクチャにより、拡張および仮想現実システムの新しい応用が可能になる。
本発明は、限定ではなく例として、添付の図面の図に示され、図面において、同様の参照符号は、同様の要素を指す。
操縦可能位置決め要素の第1の実施形態の図である。 操縦可能位置決め要素の別の実施形態の斜視図および断面図である。 操縦可能位置決め要素の別の実施形態の斜視図および断面図である。 操縦可能位置決め要素の別の実施形態の図である。 操縦可能位置決め要素の別の要素の図である。 図1Eの実施形態の断面図である。 システムの一実施形態のブロック図である。 操縦可能位置決め要素の一実施形態のブロック図である。 操縦可能位置決め要素の使用の一実施形態のフローチャートである。 操縦可能位置決め要素の位置決め検証の一実施形態のフローチャートである。 操縦可能ディスプレイにおけるディスプレイの動きの一実施形態の図解である。 操縦可能位置決め要素の使用の別の実施形態のフローチャートである。 操縦可能要素の使用の制御の一実施形態のフローチャートである。
本出願は、操縦可能ディスプレイを有効にするために使用され得る操縦可能位置決め要素を開示する。一実施形態では、操縦可能位置決め要素は、ミラー、レンズ、プリズム、ダイクロイックミラー、切り替え可能水晶、または他の位置決め要素であり得る。一実施形態における操縦可能ディスプレイは、ユーザの中心窩が位置する領域に高解像度表示を提供するように位置決め可能であるように設計されている。「中心窩」は、視力が最も高い眼の網膜の小さいくぼみである。別の実施形態では、操縦可能ディスプレイは、特定のロケーションにヘッドアップディスプレイまたはスプライトを提供するように位置決めされ得る。ロケーションは、ユーザの周囲、ユーザの視線、他の外部データ、または他の要因に基づき得る。一実施形態では、操縦可能ディスプレイは、仮想現実および/または拡張現実ディスプレイにおいて使用することができる。操縦可能ディスプレイは、高解像度ディスプレイが位置決めされるように設計されている他の目的にも使用できる。
本発明の実施形態の以下の詳細な説明は、添付の図面を参照し、図面において、同様の参照が類似の要素を示し、本発明を実施する特定の実施形態を例として示す。これらの実施形態の説明は、当業者が本発明を実施することを可能にするのに十分に詳細である。当業者には、他の実施形態を利用することができ、本発明の範囲から逸脱することなく、論理的、機械的、電気的、機能的および他の変更を行うことができることが理解される。それゆえ、以下の詳細な説明は限定的な意味に解釈されるべきではなく、本発明の範囲は、添付の特許請求の範囲のみによって画定される。
図1Aは、操縦可能位置決め要素の一実施形態を示している。一実施形態では、システム110は、ジンバル155および支持構造柱125によって支持される表示要素120を含む。
表示要素120は、2つの軸に沿って旋回することができる。一実施形態では、システムは2つのジンバル155を含み、その各々が1つの軸に沿った旋回を可能にする。表示要素120の旋回は、X軸コントローラおよびY軸コントローラとして機能する、可撓性アーム130に取り付けられた圧電素子135によって制御される。一実施形態では、可撓性アーム130は金属製である。一実施形態では、可撓性アームは、圧電素子135を支持する。可撓性アーム130は、アセンブリの側面に対して静的力を提供して、圧電素子135が作動しており、静止時に表示要素120と接触したままであるときに、圧電素子135が表示要素120の駆動面に垂直な力を加えることを確実にする。
一実施形態では、表示要素120の可動範囲は、X軸およびY軸の両方に沿って±10度であり得る。ドライバ145が、圧電素子135を駆動して運動を制御する。
一実施形態では、マイクロコントローラ147が、システムから制御データを受信し、圧電素子135を駆動し、表示素子120を動かすように、ドライバ145を制御する。
一実施形態では、位置センサ140を使用して、表示要素120の実際の位置を検証する。一実施形態では、位置センサ140は、ディスプレイデバイスに関連する1つ以上の磁石の磁場の相対的変化を感知することができる1つ以上の磁気センサであり得る。一実施形態では、磁石は、表示要素120の外径の近くに位置決めされる。一実施形態では、2つの磁石は、半径方向に90度離れて位置決めされている。一実施形態では、磁石および関連する磁気センサは、駆動面の反対側に位置決めされる。これにより、クロスカップリングが最小限に抑えられ、最も正確な測定が可能になる。
一実施形態では、駆動要素の重量は、表示要素120上の磁石の重量によって平衡される。一実施形態では、磁石は希土類磁石であり得る。磁気センサは磁石のすぐ近くに位置決めされる。別の実施形態では、4つの磁石を使用することができる。一実施形態では、4つの磁石構成において、2つの磁石が駆動要素の反対側に位置決めされ、2つの追加の磁石が、表示要素からさらに離れて配置される。これは、システムにより多くの質量を追加するが、表示要素120の動きに基づく磁場の変化のより正確な測定のために、地球の磁場を含む空間内の他の磁場を相殺する能力を提供する。一実施形態では、磁気センサはホール効果センサである。一実施形態では、磁気センサは磁力計である。
一実施形態では、1つ以上の追加の磁気センサを使用して、地球の磁場または他の周囲磁場を測定する。一実施形態では、周囲磁場の影響が差し引かれ、表示要素の位置測定への影響を打ち消す。一実施形態では、追加のセンサは、アセンブリ上の測定センサとほぼ整列するように配向されている。一実施形態では、単一の3軸磁気センサを使用することができる。一実施形態では、差動センサを使用することができる。
一実施形態では、実際の位置を指示された位置と比較する計算は、図2に関して説明されるように、プロセッサ上で行われる。別の実施形態では、位置決め要素は、マイクロコントローラ147を利用しないアナログ制御回路を使用して制御することができる。
表示要素120は、ミラー、レンズ、プリズム、ホログラフィック光学素子(HOE)、液晶ポリマー、および/または操縦可能ディスプレイのために光を向けるのに利用される別の要素であり得る。一実施形態では、表示要素120は、フレネル反射器、回折素子、表面レリーフ格子、光導体、導波路、または体積ホログラムであり得る。
一実施形態では、圧電素子135は、表示要素120を動かすためのアクチュエータである。あるいは、圧電素子135は、磁気および/または誘導要素、ナノモータ、静電素子、またはディスプレイシステムに必要な精度および速度で表示要素120の動きを可能にする他のデバイスに置き換えることができる。
図1Bは、図1Aの操縦可能位置決め要素の上面図である。
図1Cは、可撓性プリント回路基板152が追加され、マイクロコントローラが別の基板に運動されている、操縦可能位置決め要素の別の実施形態である。一実施形態では、示されるように、可撓性プリント回路基板152が組み込まれる。これにより、操縦可能位置決め要素が少し軽くなる。
以下の表は、操縦可能位置決め要素の一実施形態の光学的および物理的特性の例示的な構成を示している。これらの表は測定値を示しており、場合によっては好ましい実施形態の範囲を示しているが、可能であれば、これらの範囲からの変動、特に追加の精度が好ましい場合があることに留意されたい。さらに、いくつかの範囲が提供されるが、一実施形態では、システムはこれらの範囲に限定されない。
一実施形態では、システムは2つのミラーを含み得る。
一実施形態では、高速運動要素が、300μsにおいて0.3°の小さい角運動範囲および300μsにおいて2°~20°の大きい角運動範囲で、速度において眼球の動きに一致するように設計され得る。このような高速運動要素は、フレームごとに動く可能性があり、運動速度が十分に速く、そのため、ユーザによって知覚可能でないため、サッカードを無視することができる。
一実施形態における中高速運動表示要素はまた、4msにおいて0.3°の小さい角運動範囲および8ms~50msにおいて2°~20°の大きい角運動範囲で、すべてのフレームごとに動くことができる。一実施形態では、この構成は、眼球の整定時間が始まるまでにサッカードが整定することを可能にする。
一実施形態における中低速ミラーは、9msにおいて0.6°の小さい角運動範囲および8ms~50msにおいて2°~20°の大きい角運動範囲を有する。一実施形態では、中低速ミラーは、より大きい角度では中高速ミラーとほぼ同じ速度で動くが、より小さい角度ではより低速に動く。しかしながら、一実施形態においては中低速ミラーでさえ、フレームごとに動くことができる。
低速ミラーは、16msにおいて0.15°の小さい角運動範囲および20ms~100msにおいて2°~20°の大きい角運動範囲を有する。一実施形態では、速度が遅いため、低速ミラーは、運動中にブランクフレームを利用する。一実施形態では、ブランクフレームは、サブフレームブランキングが可能なディスプレイのサブフレームであり得る。一実施形態では、低速ミラーは、衝動性マスキングを利用し、眼球整定時間に依存して、ユーザがミラーによって制御されるディスプレイの動きを知覚しないことを保証する。
一実施形態では、システムは、ディスプレイがオフの間にミラーを動かすように設計されている。ほとんどのOLEDベースのVRディスプレイでは、デューティサイクルは20%の範囲内である(すなわち、ディスプレイ自体はフレーム時間の20%の間だけオンになる)。操縦可能ディスプレイは、ディスプレイがオフのときに動かすことができる。説明されている特定の角度、速度、および構成の構成は、無論、単なる例示にすぎない。仕様の異なる高速、低速、または中速のミラーを使用することができる。
以下の表は、例示的な構成と見なす必要がある。当業者は、これらの態様が本発明の範囲から逸脱することなく変化し得ることを理解するであろう。
図1Dは、操縦可能位置決め要素111の別の実施形態を示している。一実施形態では、システム111は、可撓性アーム170および支持構造基部160によって支持される表示要素174を含む。
表示要素174は、2つの軸に沿って旋回することができる。表示要素174の旋回は、圧電素子172によって制御される。一実施形態では、可動範囲は、X軸およびY軸の両方に沿って±18度であり得る。ドライバ164は、圧電素子172を駆動して、運動を制御する。
マイクロコントローラ176は、システムから制御データを受信し、表示要素174を動かすようにドライバを制御する。位置センサ168は、表示要素174の実際の位置を検証するために使用される。一実施形態では、実際の位置を指示された位置と比較する計算は、後述するように、プロセッサ上で行われる。
表示要素174は、ミラー、レンズ、プリズム、ホログラフィック光学素子(HOE)、液晶ポリマー、調整可能ミラー、調節可能プリズム、音響光学変調器、調整可能表示パネル、曲面ミラー、回折素子、フレネル反射器および/または操縦可能ディスプレイのために光を向けるのに利用される別の要素であり得る。一実施形態では、表示要素174は、フレネル反射器、回折素子、表面レリーフ格子、光導体、導波路、または体積ホログラムであり得る。
一実施形態では、圧電素子172は、表示要素174を動かすためのアクチュエータである。あるいは、圧電素子172は、磁気および/または誘導要素、ナノモータ、静電素子、またはディスプレイシステムに必要な精度および速度で表示要素174の動きを可能にする他のデバイスに置き換えることができる。
図1Eおよび図1Fは、操縦可能位置決め要素の別の実施形態の斜視図および断面図である。表示要素180は、複数の位置決め柱184によって定位置に支持される。位置決め柱185は、表示要素180の運動を可能にする。位置決め柱185は、基部構造182によって支持されている。図示されていないが、この実施形態は、マイクロコントローラおよび位置センサも含む。
図1Fの断面は、図1Eの実施形態の位置決め柱185の要素および中央支持体188を示している。一実施形態では、システムは、2つ以上の位置決め柱192、および中央支持体188を含む。一実施形態では、中央支持体188は、表示要素180の中心に位置決めされ、表示要素がその周りで傾斜する安定点を提供する。一実施形態における各位置決め柱192は、アクチュエータ198、可動支持構造196、および傾斜トップ194を含む。
一実施形態では、アクチュエータ198は、可動支持構造196を上下に動かす圧電素子である。あるいは、アクチュエータ198は、磁気および/または誘導要素、ナノモータ、静電要素、またはディスプレイシステムに必要な精度および速度で可動支持構造196の運動を可能にする他のアクチュエータ機構であり得る。
可動支持構造196は上下に運動し、傾斜トップ194を取り付けている。一実施形態における傾斜トップ194は、円形であるか、または表示要素180のノッチ190に適合する丸みを帯びたトップを有する。一実施形態では、可動支持構造196と傾斜トップ194との間の接続は磁気的である。
傾斜トップ194は、上下に動くことによって表示要素180を傾斜させることを可能にする。傾斜トップ194は平滑であり、ノッチ190に適合するため、傾斜トップは、表示要素180との接触を維持する。
一実施形態では、傾斜トップ194は、自由に回転する球体であり、磁力を介して可動支持構造196およびノッチ190に結合される。このようにして、システムは、高速上下運動機能を備えたアクチュエータを利用して、表示要素180に一定の運動範囲を提供することができる。運動範囲、および表示要素の機能については、表5~6を参照して以下で説明する。
表1および表2は、操縦可能ミラーの第1の構成の例示的な光学的、物理的、および他の特性を示している。
Figure 2022514217000002
Figure 2022514217000003
表3および表4は、図1Aの操縦可能位置決め要素と関連付けられる、第2の構成の例示的な光学的、物理的、および他の特性を示している。
Figure 2022514217000004
Figure 2022514217000005
Figure 2022514217000006
表5および表6は、図1Eおよび図1Fの操縦可能位置決め要素と関連付けられる、第3の構成の例示的な光学的、物理的、および他の特性を示している。
Figure 2022514217000007
Figure 2022514217000008
Figure 2022514217000009
上記の表は、位置決め要素としてミラーを使用する操縦可能表示要素の様々な構成を使用する一連の実施形態を説明する機械的、光学的、および物理的特性の実施形態を説明することに留意されたい。当業者は、異なる位置決め要素に対して上記の範囲に加えられ得る修正を理解するであろう。
図2は、例示的な光学システム210、280および関連する処理システム238の一実施形態を示している。一実施形態では、処理システムは、プロセッサを含むコンピュータシステムに実装することができる。一実施形態では、処理システム238は、ディスプレイシステムの一部であり得る。別の実施形態では、処理システム238は遠隔であり得る。一実施形態では、光学システム210、280は、ヘッドマウントディスプレイなどのウェアラブルシステムに実装することができる。操縦可能ディスプレイ画像は、操縦可能ディスプレイを方向付ける右眼操縦可能ディスプレイ220および左眼操縦可能ディスプレイ230を介してユーザの目に提示される。一実施形態では、操縦可能ディスプレイ220、230は、操縦可能ディスプレイ画像を、主にユーザの眼の視野の中心に向ける。別の実施形態では、以下に説明するように、画像を異なる場所に向けることができる。一実施形態では、操縦可能ディスプレイ画像は高解像度画像である。一実施形態では、操縦可能ディスプレイ画像は、可変解像度画像である。一実施形態では、可変解像度は、中心から離れて動くにつれて低下する、ユーザの眼によって知覚される最大解像度の変化に対応する。
右眼の画像は、第1の表示要素222を使用して作成される。一実施形態では、表示要素は、デジタルマイクロミラーデバイス(DMD)である。一実施形態では、表示要素222は、走査型マイクロミラーデバイスである。一実施形態では、表示要素222は、走査型ファイバデバイスである。一実施形態では、表示要素は、有機発光ダイオード(OLED)である。一実施形態では、表示要素222は、液晶オンシリコン(LCOS)パネルである。一実施形態では、表示要素222は、液晶ディスプレイ(LCD)パネルである。一実施形態では、表示要素222は、マイクロLEDまたはマイクロ発光ダイオード(μLED)パネルである。一実施形態では、表示要素は、走査レーザシステムである。一実施形態では、システムは、軸外ホログラフィック光学素子(HOE)を備えたハイブリッドシステムである。一実施形態では、システムは導波路を含む。一実施形態では、導波路は多層導波路である。一実施形態では、表示要素は、そのような要素の組み合わせを含み得る。以下の図3では、表示要素について詳細に説明している。
一実施形態では、第1の表示要素222は、眼鏡またはゴーグルなどのニアアイデバイス内に配置されている。
操縦可能ディスプレイの焦点および視野は、中間光学素子224を使用して設定される。中間光学素子224は、レンズ、ミラー、および回折光学素子を含み得るが、これらに限定されない。一実施形態では、仮想画像の焦点は無限遠に設定される。別の実施形態では、仮想画像の焦点は、無限遠よりも近くに設定される。一実施形態では、仮想画像の焦点を変更することができる。一実施形態では、仮想画像は、同時に知覚される2つ以上の焦点距離を有することができる。
一実施形態では、操縦可能ディスプレイ画像は、主に、ユーザの眼の視野の中心に向けられる。一実施形態では、操縦可能ディスプレイ画像の視野(FOV)は、1度よりも大きい。一実施形態では、操縦可能ディスプレイ画像のFOVは、1度~20度である。一実施形態では、操縦可能ディスプレイ画像は、アイトラッキングの不正確さに対処し、ユーザがブレンドを知覚できないように首尾よくブレンドするために必要な領域を提供し、様々なタイプの眼球運動に対して操縦可能ディスプレイを再位置決めするのにかかる時間を考慮するために、5度より大きくてもよい。
一実施形態では、システムは、20~220度の視野を有する低解像度のフィールドディスプレイ画像をさらに含む。
一実施形態では、操縦可能ディスプレイ画像は、1つ以上の完全にまたは部分的に透明な位置決め要素226のセットを使用して、ユーザの眼に直接投影される。一実施形態では、位置決め要素226は、図1Aに示される操縦可能位置決め要素などの操縦可能ミラーを含む。一実施形態では、位置決め要素226は、曲面ミラーを含む。一実施形態では、位置決め要素226は、フレネル反射器を含む。一実施形態では、位置決め要素226は、回折素子を含む。一実施形態では、回折素子は表面レリーフ格子である。一実施形態では、回折素子は体積ホログラムである。一実施形態では、ディスプレイ220は、ディスプレイが、同じフレーム内の複数の焦点距離に画像要素を表示することを可能にする焦点調整器223を含むことができる。一実施形態では、焦点調整器223は、2016年8月12日に出願された米国特許出願第15/236,101号に記載されているような、光路長延長器であり得る。
同様の要素のセットが、左眼操縦可能ディスプレイ230について存在する。一実施形態では、右眼操縦可能ディスプレイ220と左眼操縦可能ディスプレイ230とは一致している。別の実施形態では、それらは異なる要素を含み得る。
一実施形態では、アイトラッカ240が、例えば、眼が見ている場所など、ユーザの視線ベクトルを追跡する。一実施形態では、アイトラッキングシステムは、カメラベースのアイトラッキングシステム240である。一実施形態では、カメラベースのアイトラッキングシステム240は、ホログラフィック光学素子を含む。一実施形態では、アイトラッキングシステム240は、受信センサを備えた赤外線走査レーザである。一実施形態では、赤外線走査レーザアイトラッキングシステム240は、ホログラフィック光学素子を含む。一実施形態では、アイトラッキングシステム240は、オプティカルフローセンサである。他のアイトラッキングメカニズムが使用されてもよい。位置計算器245が、アイトラッキングシステム240からのデータに基づいて、ユーザの視野の中心を決定する。
一実施形態では、調整可能位置決め要素226、236を使用して、右眼操縦可能ディスプレイ220および左眼操縦可能ディスプレイ230を調整して、主にユーザの眼の視野の中心に向けられるように画像を位置決めする。一実施形態では、調整可能位置決め要素226、236を使用して、右眼操縦可能ディスプレイ220および左眼操縦可能ディスプレイ230を調整して、アイボックスまたは射出瞳をユーザの眼の視野の中心に向けて位置決めする。一実施形態では、画像の方向は、位置要素226、236のうちの1つであるミラーの角度を変更することによって調整される。一実施形態では、ミラーの角度は、電磁力を使用することによって変更される。一実施形態では、ミラーの角度は、静電力を使用することによって変更される。一実施形態では、ミラーの角度は、図1Aに示されるように、圧電力を使用することによって変更される。一実施形態では、調整可能要素は、画像ソース、または画像を位置決めするために動かされる表示要素222、232である。一実施形態では、画像は、ユーザの眼の視野の中心に向けられるように位置決めされる。別の実施形態では、ステアリング要素226、236などの別の位置要素226、236を変更することができる。
フィールドディスプレイ280が、通信ロジック270、290を介して処理システム238と通信する。一実施形態では、複数のディスプレイがあり得る。ここでは、2つのフィールドディスプレイ、すなわち、フィールドディスプレイ285および周辺ディスプレイ288が示されている。追加の解像度レベルも示される場合がある。一実施形態では、フィールドディスプレイ280は、ユーザの両眼によって見られる単一のフィールドディスプレイ285、または眼ごとに1つのフィールドディスプレイを含み得る。一実施形態では、フィールドディスプレイ280は、可変解像度を有し得る。一実施形態では、解像度は、眼によって知覚される最大解像度の降下に対応して、ディスプレイ280の外側に向かって降下する。
一実施形態では、フィールドディスプレイ280が別個のシステムである場合、同期信号発生器292を使用して、独立した操縦可能ディスプレイ210の表示をフィールドディスプレイ280の表示と同期させる。一実施形態では、同期信号発生器292は、調整可能ミラー、または操縦可能ディスプレイの他の位置決め要素をフィールドディスプレイと同期させるために使用される。これにより、表示が同期される。一実施形態では、フィールドディスプレイ280は、遷移が円滑であることを保証するために、操縦可能ディスプレイ画像のエッジをフィールドディスプレイ画像とブレンドするためのブレンダシステム294を含む。
一実施形態では、低解像度のフィールドディスプレイ画像は、完全にまたは部分的に透明な光学システムを用いてユーザに提示される。一実施形態では、この部分的に透明なシステムは、導波路光学システムを含む。一実施形態では、この部分的に透明なシステムは、平坦であるか、または光出力を有することができる部分ミラーを含む。一実施形態では、この部分的に透明なシステムは、回折光学素子を含む。一実施形態では、この画像は、直視型光学システムを介してユーザに提示される。一実施形態では、この部分的に透明なシステムは、光を反射または散乱するための内包物を含む。
フィールドディスプレイ280の一実施形態では、追加のディスプレイサブシステムを使用して、単眼視野周辺ディスプレイ288の領域に画像を表示する。一実施形態では、このサブシステムは、LED(発光ダイオード)アレイである。一実施形態では、このサブシステムは、OLED(有機LED)アレイである。一実施形態では、このディスプレイサブシステムは、走査レーザを使用する。一実施形態では、このサブシステムは、LCD(液晶ディスプレイ)パネルを使用する。一実施形態では、フィールドディスプレイ280は、LCOS(液晶オンシリコン)ディスプレイである。一実施形態では、フィールドディスプレイは、DLP(デジタル光処理)ディスプレイである。一実施形態では、このサブシステムは、画像のFOVまたは焦点を操作するための中間光学素子を有しない。一実施形態では、このサブシステムは、中間光学素子を有する。一実施形態では、これらの中間光学素子は、マイクロレンズアレイを含む。
操縦可能ディスプレイ210およびフィールドディスプレイ280によって表示される画像データは、処理システム238によって生成される。一実施形態では、システムは、アイトラッカ240を含む。一実施形態では、アイトラッカ240が、例えば、眼が見ている場所など、ユーザの視線ベクトルを追跡する。一実施形態では、アイトラッキングシステムは、カメラベースのアイトラッキングシステム240である。あるいは、アイトラッキングシステム240は、赤外線レーザベースであり得る。中心窩位置計算器245が、アイトラッキングシステム240からのデータに基づいて、ユーザの視野の中心を決定する。一実施形態では、中心窩位置計算器245はさらに、ずれ検出システムからのデータを使用する。一実施形態におけるずれ検出は、ユーザの頭上のヘッドセット/ゴーグルの動きを検出し、計算された位置からユーザの眼の実際の位置を変位させるずれまたは他のシフトを検出する。一実施形態では、中心窩位置計算器245は、操縦可能ディスプレイを位置決めするためにシステムによって使用される、計算された中心窩位置を調整することによって、そのようなずれを補償することができる。
一実施形態の処理システム238は、ディスプレイ220、230が適切に位置決めされていることを保証するために、位置要素226、236の位置決めを検証する中心窩位置検証器247をさらに含む。一実施形態では、これは、操縦可能ディスプレイの動きに照らして、ユーザの眼の視野の中心に関して操縦可能ディスプレイの位置を再評価することを含む。一実施形態では、中心窩位置検証器247は、感知機構を使用して、位置決め要素がその目標位置に到達したことを検証するためのフィードバックを提供する。一実施形態では、感知機構はカメラであり得る。一実施形態では、感知機構は歯車装置であり得る。位置検証器247の感知機構は、磁気センサであり得る。感知機構は、光学素子の位置を決定することができる別のタイプのセンサであり得る。一実施形態では、操縦可能ディスプレイの実際の位置が目標位置ではない場合、中心窩位置検証器247は、正しい画像データを提供するようにディスプレイを変更することができる。これについては、下記により詳細に説明する。
一実施形態では、眼球運動分類器260を使用して、ユーザの視線ベクトルがどこに動くかを予測することができる。このデータは、ユーザの視線ベクトルの次の位置に基づいて操縦可能ディスプレイ220、230を動かすために、予測ポジショナ265によって使用することができる。一実施形態では、スマートポジショナ267は、眼球運動分類およびアイトラッキングなどのユーザデータを利用して、ディスプレイ220、230を予測的に位置決めすることができる。一実施形態では、スマートポジショナ267は、ディスプレイ220、230の最適な位置決めを識別するために、表示されるフレーム内の次のデータに関するデータをさらに使用することができる。一実施形態では、スマートポジショナ267は、視線ベクトルによって示されない位置にディスプレイ220、230を位置決めすることができる。これはたとえば、表示されたフレームデータに関連データが少量しかない場合(たとえば、他が暗い画面で蝶が照らされている場合)、または、フレームの意図が、観察者に特定の位置を見せることである場合である。
処理システム238は、切り抜きロジック250をさらに含み得る。切り抜きロジック250は、操縦可能ディスプレイ220、230の位置を定義し、関連するフィールドディスプレイ280に切り抜きを有する表示情報を提供する。フィールドディスプレイ280は、このデータをレンダリングして、フィールドディスプレイ内の画像の対応する部分の切り抜きを含む低解像度のフィールドディスプレイ画像を生成する。これにより、操縦可能ディスプレイ画像とフィールド画像との間に干渉が発生しなくなる。一実施形態では、切り抜きがある場合、ブレンダロジック255が、切り抜きのエッジを操縦可能画像とブレンドして、遷移が平滑であることを保証する。別の実施形態では、操縦可能ディスプレイを使用して、低解像度のフィールド画像の上にオーバーレイされたより明るい要素であるスプライトを表示することができる。このような場合、切り抜きロジック250もブレンダロジック255も必要ない。一実施形態では、切り抜きロジック250およびブレンダロジック255は、必要に応じて選択的に作動され得る。
一実施形態では、システムは、操縦可能ディスプレイ210を独立型フィールドディスプレイ280と同期させることができる。この場合、一実施形態では、同期ロジック272が、ディスプレイを同期させる。一実施形態では、独立型フィールドディスプレイ280は、調整可能ミラー、または、操縦可能ディスプレイ210の他の位置決め要素と同期される。これにより、表示が同期される。フィールドディスプレイ280は、位置決めデータを受信することができる。一実施形態では、この場合、切り抜きがなくてもよい。
一実施形態では、処理システム238は、画像の中心からエッジに向かって増加する歪みを伴う操縦可能ディスプレイ210のための光学歪みシステム275を含み得る。この意図的な歪みにより、ピクセルは、画像の中心からエッジに向かって知覚サイズが大きくなる。知覚される解像度のこの変化により、操縦可能ディスプレイ画像の同じ角度領域をカバーするために必要なピクセルが少なくなるため、必要な処理の量が削減される。光学歪みは、操縦可能ディスプレイ210とフィールドディスプレイ280との間のブレンドを助けることができる。別の実施形態では、光学歪みシステム275を含む操縦可能ディスプレイ210は、フィールドディスプレイなしで使用することができる。また、光学設計をより容易にすることを可能にし、ブレンドの処理を節約する。
一実施形態では、可変解像度の高度に歪んだ画像は、中心とエッジとの間に大きい比を有する。このディスプレイの合計FOVは大きくなる(最大180度)。
一実施形態では、ロールオフロジック277が、ディスプレイのエッジにロールオフを提供する。一実施形態におけるロールオフは、解像度ロールオフ(表示領域のエッジに向かって解像度を低下させる)を含み得る。一実施形態では、これは、光学歪みシステム275による拡大によって実施することができる。ロールオフは、一実施形態では、明るさおよび/またはコントラストのロールオフ(端に向かって明るさおよび/またはコントラストを減少させる)を含む。そのようなロールオフは、ディスプレイのエッジの急峻さを低減するように設計される。一実施形態では、ロールオフは、「無(nothing)」にロールオフするように設計することができ、これは、完全な明るさ/コントラストから灰色または黒または環境色に徐々に減少する。一実施形態では、ロールオフロジック277は、関連するフィールドディスプレイがない場合に、操縦可能ディスプレイ210によって使用され得る。一実施形態では、システムにフィールドディスプレイがある場合、ロールオフロジック297は、フィールドディスプレイ280の一部であり得る。
図3は、位置要素300の一実施形態を示している。一実施形態における位置要素は、ユーザの右眼および左眼のための別個の位置要素を含む。一実施形態では、システムは、各眼に1つの操縦可能要素310を有するのではなく、各眼に2つ以上の操縦可能要素310を利用することができる。一実施形態では、2要素システムが、各眼のX軸運動およびY軸運動のための別個の操縦可能要素310を含み得る。一実施形態では、2つ以上の操縦可能要素310を使用することができ、各操縦可能要素310が、1つ以上の操縦可能軸を有する。
操縦可能要素310は、光を特定のロケーションに向けることができるように位置決めされたミラー、プリズム、フレネルレンズ、または他の要素のうちの1つ以上を含み得る。一実施形態では、操縦可能要素310は、曲面ミラーである。
X軸アタッチメント320は、X軸を中心に回転するための物理可動要素を提供し、一方、Y軸アタッチメント350は、Y軸を中心に回転するための可動要素を提供する。一実施形態では、可動要素は、ピボット150およびジンバル155である。
X軸コントローラ330およびY軸コントローラ360が動きを制御し、一方、X軸アクチュエータ340およびY軸アクチュエータ370が物理的な動きを提供する。一実施形態の圧電素子はコントローラである。動きのデータはマイクロプロセッサ390に由来する。一実施形態では、マイクロプロセッサ390は、操縦可能ディスプレイの主制御回路の一部である。
一実施形態では、システムはまた、X軸およびY軸に沿った操縦可能要素310の実際の位置を検証する位置検証器380を含む。一実施形態では、検証器380は、可動要素に関連する磁石の動きを感知する磁気センサを備える。別の実施形態では、検証器380は、アクチュエータ340、370またはアタッチメント320、350に結合され得、操縦可能要素310を支持する要素の物理的位置に基づいて操縦可能要素310の位置を決定することができる。操縦可能要素310の実際の位置を決定する他の方法が使用されてもよい。
一実施形態では、検証器380は、マイクロプロセッサ390にデータを提供する。マイクロプロセッサは、コントローラ330、360からのデータを位置検証器380からのデータと比較することができる。これは、再較正のために、および、操縦可能要素310の位置決めに関する問題を特定するために使用することができる。一実施形態では、位置検証器380を有効にするために、操縦可能要素310の底部は、操縦可能要素310の実際の位置を決定するために位置検証器380によって使用されるマーキングを有する。
図4Cは、経時的なディスプレイの動きの一実施形態を示している。一実施形態では、動きは、ユーザの眼が動くときのユーザの中心窩の位置に対応し得る。どの瞬間においても、画像が表示される小さいゾーンがある。高解像度の5度ディスプレイの位置(一実施形態では)が、ユーザの視野の中心に焦点を合わせている。一実施形態では、低解像度のフィールド画像が、広い視野を提供する。しかし、中心窩領域の外側の眼の相対解像度はより低いため、ユーザは、小さい高解像度の操縦可能画像と大きい低解像度のフィールド画像とを含むこの組み合わせ画像を、広い視野にわたって高解像度として認識する。
図4Aは、操縦可能ディスプレイを利用する一実施形態のフローチャートである。プロセスはブロック410から始まる。一実施形態では、このプロセスの開始前に、ディスプレイシステムがユーザに適合される。この初期設定は、瞳孔間距離(IPD)および必要な指示を決定して、ユーザの「ベースライン」表示が正確であることを保証することを含む。
ブロック415において、ユーザの眼が追跡される。一実施形態では、眼を追跡するためにIRカメラが使用される。一実施形態では、アイトラッキングは、例えば、ユーザが焦点を合わせている場所など、ユーザの視線ベクトルを識別する。
ブロック420において、システムは、ユーザの視線ベクトルを計算する。アイトラッキングは、左眼および右眼の視線ベクトル/角度、および視線中心(左眼/右目視線ベクトルから導出)を識別することができる。一実施形態では、アイトラッキングは、ベースライン基準フレームに対する左眼および右眼の位置(X、Y、Z)および向き(ロール、ピッチ、ヨー)を決定することができる。ベースライン基準フレームは、一実施形態では、ディスプレイが最初にユーザに適合され、ユーザの瞳孔間距離、視度、および他の関連データが確立されるときに確立される。
ブロック420において、中心窩の位置が、視線ベクトルデータに基づいて決定される。一実施形態では、中心窩の位置は、各眼についての座標(X、Y、Z)および向き(ロール、ピッチ、ヨー)を含む。
ブロック425において、プロセスは、操縦可能ディスプレイを再位置決めすべきか否かを決定する。これは、操縦可能ディスプレイの現在の位置と、ユーザの視線ベクトルまたは画像の意図される位置との比較に基づいている。それらがずれている場合、システムは操縦可能ディスプレイを再位置決めする必要があると判定する。その場合、ブロック430において、ディスプレイは再位置決めされる。ディスプレイの再位置決めは、操縦可能ディスプレイの動きがユーザに知覚されないように設計されている。一実施形態では、これは、ユーザがそれを知覚できないように動きを完了するのに十分に速いミラーを使用することによって達成することができる。一実施形態では、これは、動きのタイミングをユーザのまばたきまたは眼の動きに合わせることによって達成することができる。一実施形態では、意図されたディスプレイが特定の距離を超えて動かされた場合、運動中にディスプレイはブランクにされる。これにより、ユーザが動きを知覚しないことが保証される。一実施形態では、特定の距離は0.5度を超える。一実施形態では、ユーザがまばたきしている間に動きが起こっている場合、意図されたディスプレイはブランクにされない。「再位置決め」という用語が使用されているが、これは、ディスプレイの位置を調整するための位置決め要素の運動に対応していることに留意されたい。
次に、ディスプレイが再位置決めされたか否かにかかわらず、プロセスはブロック435に続く。
ブロック435において、任意選択的に、システムは、操縦可能ディスプレイ画像と同じ場所に位置決めされることになるフィールドディスプレイ画像の部分を切り抜く。これにより、フィールドディスプレイが操縦可能ディスプレイに干渉するのを防ぐ。一実施形態では、切り抜きは、レンダリングエンジンにおいて実行される。別の実施形態では、画像は、鮮明にするために切り抜きを必要としないスプライトまたは他の明るい画像要素であり得る。その場合、このブロックはスキップすることができる。一実施形態では、ユーザの視線がベースライン基準から大きく動いたことをユーザのアイトラッキングが示す場合、切り抜きはスキップされる。ベースライン基準は、ユーザのデフォルトの視線位置であり、そこから視線の動きが追跡される。ベースライン基準からの大幅な運動は、システムがユーザの正しい視線位置を決定することができないことを意味する。この場合、一実施形態では、操縦可能ディスプレイ画像をドロップすることができ、または操縦可能ディスプレイを一時的にオフにすることができる。一実施形態では、これは、操縦可能ディスプレイをブランクにして、それがユーザに見えないようにすることによって行うことができる。様々な実施形態において、これは、バックライトを無効にすること、レーザもしくはLED照明源を無効にすること、ピクセルをブランクにすることによって、または別の方法によって行うことができる。
ブロック440において、一実施形態では、操縦可能ディスプレイ画像とフィールド画像との間のエッジがブレンドされる。これにより、フィールド画像と操縦可能ディスプレイ画像との間の円滑で知覚できない遷移が保証される。ブロック445において、ハイブリッド画像が、操縦可能ディスプレイおよびフィールドディスプレイを組み込んで、ユーザに表示される。次に、プロセスはブロック410に戻り、追跡および表示を継続する。本明細書は操縦可能ディスプレイ画像およびフィールド画像について述べているが、企図される画像はビデオの連続画像を含むことに留意されたい。いくつかの実施形態では、本明細書は操縦可能ディスプレイとフィールドディスプレイとの組み合わせを利用するが、操縦可能ディスプレイは、フィールドディスプレイの存在なしに使用され得ることにも留意されたい。そのような場合、プロセスはブロック415~430のみを含み得る。
図4Bは、ディスプレイ位置検証が、操縦可能ディスプレイの実際の位置が意図された位置と一致しないことを示すときにとられ得る是正措置の一実施形態を示している。プロセスはブロック450において始まる。
ブロック452において、操縦可能ディスプレイ位置決めが開始される。一実施形態では、これは、図4Aのブロック430に対応する。図4Bに戻ると、ブロック454において、操縦可能ディスプレイの実際の位置が検証される。一実施形態では、1つ以上のセンサを使用して、操縦可能ディスプレイの位置および向きを決定する。一実施形態では、センサは、カメラ、調整可能ミラーまたは他の位置決め要素の位置を検出する機械的要素などを含み得る。これは、一実施形態では、図3の位置検証器380によって行われる。
ブロック456において、プロセスは、操縦可能ディスプレイが正しく位置決めされているか否かを判定する。正しい位置決めでは、計算されたロケーションに操縦可能ディスプレイがあり、ユーザにとって適切なロケーションに画像が表示される。操縦可能ディスプレイが正しく位置決めされている場合、ブロック464において画像が表示される。一実施形態では、これは、図4Aに関して上で論じたように、計算されたロケーションにある操縦可能ディスプレイ画像および関連するフィールドディスプレイ画像を含むハイブリッド画像を表示することを含む。その後、プロセスはブロック475において終了する。
ブロック456において、操縦可能ディスプレイが正しく位置決めされていないとプロセスが判断した場合、プロセスはブロック458に続く。
ブロック458において、プロセスは、操縦可能ディスプレイが再位置決めされるのに十分な時間があるか否かを決定する。この決定は、動く必要のある距離、運動速度、および次の画像が処理システムによって送信されるまでの時間に基づく。
一実施形態では、それはまた、ユーザの眼球運動に依存する。一実施形態では、システムは、画像が知覚されないときに、ユーザがまばたきしている間、操縦可能ディスプレイを優先的に運動させる。一実施形態では、再位置決めは、ディスプレイのブランク期間内に行われる。たとえば、1つの座標に沿って1度だけ動くのにかかる時間は、操縦可能ディスプレイを3次元で大きく動かすのにかかる時間よりも短い。十分な時間がある場合、プロセスはブロック452に戻って、操縦可能ディスプレイを再位置決めする。そうでない場合、プロセスはブロック460に続く。
ブロック460において、プロセスは、操縦可能ディスプレイの実際の位置が意図された位置の範囲内にあるか否かを判定する。一実施形態では、この文脈における「範囲内」は、システムが差に対してディスプレイを調整することができることを意味する。範囲内にある場合、プロセスはブロック462に続く。
ブロック462において、操縦可能画像上に表示するために処理されたデータは、実際の位置でレンダリングするために調整される。次に、調整された画像がブロック464において表示される。例えば、一実施形態では、位置差が非常に小さい場合、視覚的なアーチファクトを引き起こすことなく、元の計算された画像が誤った位置にレンダリングされる可能性がある。別の実施形態では、画像は、実際の位置において適切にレンダリングされるように調整され得る。例えば、画像は、トリミングされ、明るくされ、歪められ、コントラストを調整され、色座標(白色点)を調整され、トリミングされ、位置差を計上するために横方向にシフトされ得る。
一実施形態では、ハイブリッド表示のために、エッジブレンディングの半径方向位置をシフトまたは変更することができる。一実施形態では、システムは、再レンダリングを必要とせずに0.5度のシフトを可能にする、5度の操縦可能ディスプレイのために5.5度の視覚画像をオーバーレンダリングすることができる。
ブロック466において、操縦可能ディスプレイが範囲内にない場合、一実施形態では、フレームデータが、レンダリングのためにフィールドディスプレイに送信される。ブロック468において、一実施形態では、操縦可能ディスプレイ画像は表示されない。一実施形態では、フレームはドロップされる。別の実施形態では、操縦可能ディスプレイが一時的にブランクにされる。一実施形態では、ユーザの視線がベースライン基準から外側に離れて動きすぎていることをユーザのアイトラッキングが示している場合、操縦可能ディスプレイは範囲内にあるとは見なされない。
ブロック470において、一実施形態では、フィールドディスプレイ画像が、画像切り抜きなしで、かつ操縦可能ディスプレイ画像の表示またはレンダリングなしでレンダリングされる。ブロック472において、フィールドディスプレイ画像が表示される。その後、プロセスは終了する。
図5は、位置決めがユーザの視線ベクトルに依存しない、操縦可能ディスプレイの利用の一実施形態のフローチャートである。これは、たとえば、ディスプレイがヘッズアップタイプのディスプレイ、スプライト、または他が暗いディスプレイ上にある唯一の明るい要素である場合に適用可能であり得る。ユーザの視線ベクトルに基づかない位置決めを提供する他の理由が見つかる可能性がある。一実施形態では、この構成は、位置決めが視線ベクトルに基づく上記の図4Aの構成と組み合わせることができる。すなわち、同じシステムが、視線ベクトルベースであるか否かで異なり得る。
プロセスはブロック510において始まる。一実施形態では、このプロセスの開始前に、ディスプレイシステムがユーザに適合される。
ブロック515において、操縦可能ディスプレイの位置が決定される。この決定は、外部データ(例えば、仮想現実ディスプレイ内の)または他の決定に基づいて行うことができる。一実施形態では、この決定は、プロセッサデータに基づいて行うことができる。
ブロック520において、プロセスは、操縦可能ディスプレイの現在の位置を決定する。
ブロック525において、プロセスは、操縦可能ディスプレイを再位置決めすべきか否かを決定する。これは、操縦可能ディスプレイの現在の位置と、画像の意図される位置との比較に基づいている。それらがずれている場合、システムは操縦可能ディスプレイを再位置決めする必要があると判定する。その場合、ブロック530において、ディスプレイ再位置決めがトリガされる。一実施形態では、ディスプレイの再位置決めは、操縦可能ディスプレイの動きがユーザに知覚されないように設計されている。一実施形態では、これは、上述したように、ユーザがそれを知覚できないように動きを完了するのに十分に速いミラーを使用することによって達成することができる。一実施形態では、これは、動きのタイミングをユーザのまばたきまたは眼の動きに合わせることによって達成することができる。一実施形態では、意図されたディスプレイが特定の距離を超えて動かされた場合、運動中にディスプレイはブランクにされる。これにより、ユーザが動きを知覚しないことが保証される。一実施形態では、特定の距離は0.5度を超える。一実施形態では、ユーザがまばたきしている間に動きが起こっている場合、意図されたディスプレイはブランクにされない。「再位置決め」という用語が使用されているが、これは、ディスプレイの位置を調整するための位置決め要素の運動に対応していることに留意されたい。
次に、ディスプレイが再位置決めされたか否かにかかわらず、プロセスはブロック535に続く。
ブロック535において、任意選択的に、システムは、操縦可能ディスプレイ画像と同じ場所に位置決めされることになるフィールドディスプレイ画像の部分を切り抜く。これにより、フィールドディスプレイが操縦可能ディスプレイに干渉するのを防ぐ。
一実施形態では、切り抜きは、レンダリングエンジンにおいて実行される。別の実施形態では、画像は、鮮明にするために切り抜きを必要としないスプライトまたは他の明るい画像要素であり得る。その場合、このブロックはスキップすることができる。
ブロック540において、一実施形態では、システムが、操縦可能ディスプレイ画像とフィールド画像との間のエッジがブレンドされるべきか否かを判定する。これにより、フィールド画像と操縦可能ディスプレイ画像との間の円滑で知覚できない遷移が保証される。これは、フィールドディスプレイがない場合、または操縦可能ディスプレイがスプライトまたは他のオーバーレイ要素である場合は無関係であり得る。システムがエッジをブレンドする必要があると判断した場合、ブロック545において、エッジがブレンドされる。
ブロック550において、操縦可能ディスプレイからの画像がユーザに表示され、任意選択的に、フィールドディスプレイからのデータが組み込まれる。次に、プロセスはブロック510に戻り、追跡および表示を継続する。本明細書は操縦可能ディスプレイ画像およびフィールド画像について述べているが、企図される画像はビデオの連続画像を含むことに留意されたい。いくつかの実施形態では、本明細書は操縦可能ディスプレイとフィールドディスプレイとの組み合わせを利用するが、操縦可能ディスプレイは、フィールドディスプレイの存在なしに使用され得ることにも留意されたい。
図6は、操縦可能要素の使用の制御の一実施形態のフローチャートである。一実施形態では、システムは、眼球運動、サッカード、または円滑な追跡のタイプを決定する。円滑な追跡について、一実施形態では、システムは、一度に1つのフレームを動かし、眼球運動に一致し、結果、運動中に操縦可能ディスプレイがオンになり得る。一実施形態では、これは、フレームの動きごとに最大3度まで行うことができる。それよりも速い眼球運動について、一実施形態では、操縦可能ディスプレイをブランクにすることができる。サッカード運動について、一実施形態では、システムは、視覚異常を回避するために、運動のために操縦可能ディスプレイを一時的にブランクにする。このシステムは、ユーザの眼よりも速い整定時間を有するように設計されている。したがって、ディスプレイは、サッカードの動きの後に眼が落ち着くまでに再びアクティブになるように設計されており、フル解像度に戻る。図6は、サッカードまたは他の速い動きに対して操縦可能ディスプレイを動かす一実施形態を示す。
プロセスはブロック605において始まる。一実施形態では、このプロセスは、操縦可能ディスプレイがアクティブであるときはいつでも実行される。ブロック610において、ユーザの視線位置が、操縦可能ディスプレイについて監視される。一実施形態では、操縦可能ディスプレイは、ユーザの中心窩に向けられる。
ブロック615において、新しい視線位置が決定される。一実施形態では、視線位置は、ユーザの眼に向けられたカメラを使用して識別される。
ブロック620において、操縦可能ディスプレイが新しい視線ベクトルと一致するために必要な動きの程度が識別される。
ブロック625において、操縦可能ディスプレイを新しいロケーションに動かすための時間が決定される。一実施形態では、ルックアップテーブルが使用される。一実施形態では、決定される「視線ベクトル」は、平滑な追跡眼球運動の場合のように、経時的な複数の視線ベクトルであり得る。
ブロック630において、操縦可能ディスプレイがブランクにされ、運動が開始される。一実施形態では、運動は、操縦可能ディスプレイがブランクにされた後にのみ開始される。一実施形態では、光源をオフにすることによって、操縦可能ディスプレイをブランクにすることができる。別の実施形態では、操縦可能ディスプレイは、ミラーをブランクにすることによってオフにすることができる。別の実施形態では、操縦可能ディスプレイは、バックライトまたは照明を無効にすることによってブランクにすることができる。別の実施形態では、ピクセルを黒に設定することによって、操縦可能ディスプレイをブランクにすることができる。
ブロック635において、操縦可能ディスプレイが動かされる。この間、操縦可能ディスプレイはブランクであるため、一実施形態では、フィールドディスプレイが、ディスプレイ領域全体をカバーするように充填される。別の実施形態では、フィールドディスプレイがない場合があり、その場合、これは適用されない。
ブロック640において、プロセスは、一実施形態では、計算された動きを完了するための時間が経過したか否かを判定する。そうでない場合、プロセスはブロック635において運動を継続する。
時間が経過した場合、一実施形態では、システムは、ブロック645において、操縦可能ディスプレイを作動させるための信号を提供する。別の実施形態では、信号タイミングは、マイクロプロセッサおよび位置検証器からの運動データに基づくことができる。
ブロック645においてディスプレイを作動させる信号が受信されると、ブロック650において、プロセスは、ディスプレイが動きを停止し、整定したことを検証する。整定とは、ディスプレイが安定していて、動きの結果として振動していないことを意味する。一実施形態では、これは、ディスプレイ内のマイクロプロセッサによって行われる閉ループ決定である。
ディスプレイが整定している場合、ブロック655において操縦可能ディスプレイが作動される。一実施形態では、フィールドディスプレイがある場合、それは、操縦可能ディスプレイ画像が示される領域のために切り抜くことができる。次に、プロセスは、ブロック610に続き、ユーザの視線位置を監視し続け、新しい視線位置を決定する。このように、操縦可能ディスプレイは、ユーザの視線に一致するように動かされるが、動きの視覚的指示は提供しない。
上記明細書において、本発明はその特定の例示的な実施形態を参照して記載されている。しかしながら、添付の特許請求の範囲に記載されている本発明のより広い思想および範囲から逸脱することなく、様々な修正および変更を行うことができることは明らかであろう。したがって、本明細書および図面は、限定的な意味ではなく、例示的な意味において考慮されるべきである。

Claims (19)

  1. 操縦可能ディスプレイシステムであって、
    表示要素と、
    前記表示要素によって生成される画像を位置決めするための位置要素とを備え、前記位置要素は、
    操縦可能要素と、
    X軸を中心に前記操縦可能要素を旋回させるためのX軸コントローラと、
    Y軸を中心に前記操縦可能要素を旋回させるためのY軸コントローラとを備え、
    前記操縦可能要素の動きは、ユーザが動きを知覚しないようなものであり、
    結果、前記操縦可能要素は、前記操縦可能ディスプレイを前記ユーザの視野内の複数のロケーションに位置決めおよび再位置決めすることを可能にする可動範囲を有する、操縦可能ディスプレイシステム。
  2. 前記操縦可能要素の実際の位置を検証し、前記実際の位置が意図した位置ではない場合に操縦可能ディスプレイ画像データを調整するための位置検証器をさらに備える、請求項1に記載の操縦可能ディスプレイシステム。
  3. 前記操縦可能要素は、調整可能ミラー、調節可能プリズム、音響光学変調器、調整可能表示パネル、曲面ミラー、回折素子、およびフレネル反射器のうちの1つ以上を含む、請求項1に記載の操縦可能ディスプレイシステム。
  4. 前記操縦可能ディスプレイは、少なくとも20度の走査可能な視野内に位置決めされている少なくとも1度の単眼視野を有する、請求項1に記載の操縦可能ディスプレイシステム。
  5. 前記操縦可能要素を動かすためのアクチュエータをさらに備え、前記アクチュエータは、圧電素子、磁気要素、ナノモータのうちの1つを含む、請求項1に記載の操縦可能ディスプレイシステム。
  6. 前記アクチュエータは、±0.75分角の絶対精度、および0.06分角の相対精度を有する、請求項5に記載の操縦可能ディスプレイシステム。
  7. 整定時間が2ms未満である、請求項5に記載の操縦可能ディスプレイシステム。
  8. 前記操縦可能要素は、5mm~15mmの直径を有するミラーである、請求項1に記載の操縦可能ディスプレイシステム。
  9. 前記位置要素が5mm×12mm×12mmよりも小さい、請求項1に記載の操縦可能ディスプレイシステム。
  10. 操縦可能ディスプレイシステムであって、
    可動表示要素と、
    前記表示要素によって生成される画像を位置決めするために、前記表示要素を動かすための位置要素とを備え、前記位置要素は、
    前記可動表示要素を支持する可撓性アームと、
    前記可撓性アームを使用して、軸を中心に前記操縦可能要素を旋回させるためのコントローラとを備え、
    前記操縦可能要素の動きは、ユーザが動きを知覚しないようなものであり、
    結果、前記操縦可能要素は、前記操縦可能ディスプレイを前記ユーザの視野内の複数のロケーションに位置決めおよび再位置決めすることを可能にする可動範囲を有する、操縦可能ディスプレイシステム。
  11. 前記操縦可能要素の実際の位置を検証し、前記実際の位置が意図した位置ではない場合に操縦可能ディスプレイ画像データを調整するための位置検証器をさらに備える、請求項10に記載の操縦可能ディスプレイシステム。
  12. 前記操縦可能要素は、調整可能ミラー、調節可能プリズム、音響光学変調器、調整可能表示パネル、曲面ミラー、回折素子、およびフレネル反射器のうちの1つ以上を含む、請求項10に記載の操縦可能ディスプレイシステム。
  13. 前記操縦可能ディスプレイは、少なくとも20度の走査可能な視野内に位置決めされている少なくとも1度の単眼視野を有する、請求項10に記載の操縦可能ディスプレイシステム。
  14. 前記操縦可能要素を動かすためのアクチュエータをさらに備え、前記アクチュエータは、圧電素子、磁気要素、ナノモータのうちの1つを含む、請求項10に記載の操縦可能ディスプレイシステム。
  15. 前記アクチュエータは、±0.75分角の絶対精度、および0.06分角の相対精度を有する、請求項14に記載の操縦可能ディスプレイシステム。
  16. 整定時間が2ms未満である、請求項14に記載の操縦可能ディスプレイシステム。
  17. 前記操縦可能要素は、5mm~15mmの直径を有するミラーである、請求項10に記載の操縦可能ディスプレイシステム。
  18. 前記位置要素が5mm×12mm×12mmよりも小さい、請求項10に記載の操縦可能ディスプレイシステム。
  19. 操縦可能ディスプレイシステムであって、
    表示要素と、
    前記表示要素がすべての方向に動くことができる、2つのピボットと、
    前記ピボットを駆動して、前記表示要素を動かすための圧電素子と、
    前記表示要素の位置を決定するための磁石および関連する磁気センサとを備え、
    前記磁石の位置は、前記表示要素の重量が釣り合うように、前記圧電素子と釣り合う、操縦可能ディスプレイシステム。
JP2021532370A 2018-12-07 2019-12-06 操縦可能位置決め要素 Pending JP2022514217A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862777061P 2018-12-07 2018-12-07
US62/777,061 2018-12-07
US201962902377P 2019-09-18 2019-09-18
US62/902,377 2019-09-18
PCT/US2019/065101 WO2020118276A1 (en) 2018-12-07 2019-12-06 Steerable positioning element

Publications (1)

Publication Number Publication Date
JP2022514217A true JP2022514217A (ja) 2022-02-10

Family

ID=70970446

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021532370A Pending JP2022514217A (ja) 2018-12-07 2019-12-06 操縦可能位置決め要素

Country Status (7)

Country Link
US (2) US11169383B2 (ja)
EP (1) EP3891546A4 (ja)
JP (1) JP2022514217A (ja)
KR (1) KR20210097190A (ja)
CN (1) CN113196132A (ja)
CA (1) CA3122089A1 (ja)
WO (1) WO2020118276A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11181979B2 (en) * 2019-01-08 2021-11-23 Avegant Corp. Sensor-based eye-tracking using a holographic optical element

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08313843A (ja) * 1995-05-16 1996-11-29 Agency Of Ind Science & Technol 視線追従方式による広視野高解像度映像提示装置
JP2017534075A (ja) * 2014-10-08 2017-11-16 オプトチューン アクチェンゲゼルシャフト 光学素子、特にミラーを傾斜させるための機器
US20180174451A1 (en) * 2016-12-15 2018-06-21 Futurewei Technologies, Inc. Path selection for autonomous vehicles

Family Cites Families (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4924522A (en) 1987-08-26 1990-05-08 Ncr Corporation Method and apparatus for displaying a high resolution image on a low resolution CRT
US5035500A (en) 1988-08-12 1991-07-30 Rorabaugh Dale A Automated ocular perimetry, particularly kinetic perimetry
US6008781A (en) 1992-10-22 1999-12-28 Board Of Regents Of The University Of Washington Virtual retinal display
US8330812B2 (en) 1995-05-30 2012-12-11 Simulated Percepts, Llc Method and apparatus for producing and storing, on a resultant non-transitory storage medium, computer generated (CG) video in correspondence with images acquired by an image acquisition device tracked in motion with respect to a 3D reference frame
US6204974B1 (en) 1996-10-08 2001-03-20 The Microoptical Corporation Compact image display system for eyeglasses or other head-borne frames
US6097353A (en) 1998-01-20 2000-08-01 University Of Washington Augmented retinal display with view tracking and data positioning
WO2000079327A1 (en) 1999-06-21 2000-12-28 The Microoptical Corporation Eyeglass display lens system employing off-axis optical design
US6275326B1 (en) * 1999-09-21 2001-08-14 Lucent Technologies Inc. Control arrangement for microelectromechanical devices and systems
US6411751B1 (en) * 1999-10-08 2002-06-25 Lucent Technologies Inc. System and method for training an optical cross-connect comprising steerable switching elements
US6744173B2 (en) * 2000-03-24 2004-06-01 Analog Devices, Inc. Multi-layer, self-aligned vertical combdrive electrostatic actuators and fabrication methods
JP4374708B2 (ja) 2000-03-30 2009-12-02 株式会社デンソー 網膜走査ディスプレイ装置及び光走査装置
US7009752B1 (en) * 2003-01-21 2006-03-07 Lockheed Martin Corporation Actively-supported multi-degree of freedom steerable mirror apparatus and method
NZ537849A (en) 2005-01-21 2007-09-28 Peter James Hilton Direct Retinal Display projecting a scanned optical beam via diverging and converging reflectors
US8203702B1 (en) * 2005-06-13 2012-06-19 ARETé ASSOCIATES Optical system
JP4735234B2 (ja) 2005-12-19 2011-07-27 ブラザー工業株式会社 画像表示システム
US20080015553A1 (en) 2006-07-12 2008-01-17 Jaime Zacharias Steering laser treatment system and method of use
CN101589329B (zh) 2007-11-21 2011-10-12 松下电器产业株式会社 显示装置
US8314814B2 (en) 2007-12-20 2012-11-20 Raytheon Company Imaging system
WO2009094587A1 (en) * 2008-01-23 2009-07-30 Deering Michael F Eye mounted displays
JP2009182754A (ja) 2008-01-31 2009-08-13 Sanyo Electric Co Ltd 画像処理装置
US20100149073A1 (en) * 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
WO2009131626A2 (en) * 2008-04-06 2009-10-29 David Chaum Proximal image projection systems
US7786648B2 (en) 2008-08-18 2010-08-31 New Scale Technologies Semi-resonant driving systems and methods thereof
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
US20110141225A1 (en) 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Based on Low-Res Images
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
TW201222009A (en) * 2010-05-21 2012-06-01 Corning Inc Systems and methods for reducing speckle using diffusing surfaces
CA2815461C (en) 2010-10-21 2019-04-30 Lockheed Martin Corporation Head-mounted display apparatus employing one or more fresnel lenses
US9632315B2 (en) 2010-10-21 2017-04-25 Lockheed Martin Corporation Head-mounted display apparatus employing one or more fresnel lenses
US9690099B2 (en) 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US9513490B2 (en) 2011-01-10 2016-12-06 Eastman Kodak Company Three channel delivery of stereo images
WO2013035086A1 (en) 2011-09-07 2013-03-14 Improved Vision Systems (I.V.S.) Ltd. Method and system for treatment of visual impairment
US20130100176A1 (en) 2011-10-21 2013-04-25 Qualcomm Mems Technologies, Inc. Systems and methods for optimizing frame rate and resolution for displays
US8681426B2 (en) 2011-11-04 2014-03-25 Honeywell International Inc. Steerable near-to-eye display and steerable near-to-eye display system
JP5524254B2 (ja) * 2012-02-14 2014-06-18 富士フイルム株式会社 ミラー駆動装置及びその制御方法
US9779643B2 (en) 2012-02-15 2017-10-03 Microsoft Technology Licensing, Llc Imaging structure emitter configurations
US20130286053A1 (en) 2012-04-25 2013-10-31 Rod G. Fleck Direct view augmented reality eyeglass-type display
US9435520B2 (en) * 2012-08-16 2016-09-06 Ascendant Engineering Solutions Gimbal systems providing high-precision imaging capabilities in a compact form-factor
IL221863A (en) * 2012-09-10 2014-01-30 Elbit Systems Ltd Digital video photography system when analyzing and displaying
US9788714B2 (en) 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
EP3296797B1 (en) 2013-03-25 2019-11-06 North Inc. Method for displaying an image projected from a head-worn display with multiple exit pupils
DE102013208625A1 (de) 2013-05-10 2014-11-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiapertur-projektionsdisplay und einzelbilderzeuger für ein solches
GB2510001A (en) * 2013-07-05 2014-07-23 Digital Barriers Services Ltd Terahertz detector scanning mechanism
US10408613B2 (en) 2013-07-12 2019-09-10 Magic Leap, Inc. Method and system for rendering virtual content
US9335548B1 (en) 2013-08-21 2016-05-10 Google Inc. Head-wearable display with collimated light source and beam steering mechanism
US11402629B2 (en) 2013-11-27 2022-08-02 Magic Leap, Inc. Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same
JP2015132747A (ja) 2014-01-15 2015-07-23 セイコーエプソン株式会社 プロジェクター
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10068311B2 (en) 2014-04-05 2018-09-04 Sony Interacive Entertainment LLC Varying effective resolution by screen location by changing active color sample count within multiple render targets
US9588408B1 (en) 2014-05-15 2017-03-07 Autofuss Methods and systems for projecting a target portion of an image at a higher resolution
US9874744B2 (en) 2014-06-25 2018-01-23 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays
JP6572893B2 (ja) 2014-06-30 2019-09-11 ソニー株式会社 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像処理システム
US20160077338A1 (en) 2014-09-16 2016-03-17 Steven John Robbins Compact Projection Light Engine For A Diffractive Waveguide Display
GB201417208D0 (en) 2014-09-30 2014-11-12 Ibvision Ltd Method Software And Apparatus For Testing A Patiants Visual Field
IL235073A (en) 2014-10-07 2016-02-29 Elbit Systems Ltd Head-mounted view of enlarged images that are locked on an object of interest
EP3234642B1 (en) * 2014-12-19 2020-02-19 Windar Photonics A/S Lidar based on mems
WO2016105521A1 (en) 2014-12-23 2016-06-30 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
EP3237953A1 (en) 2014-12-26 2017-11-01 CY Vision Inc. Near-to-eye display device with variable resolution
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US10284118B2 (en) 2015-02-06 2019-05-07 New Scale Technologies, Inc. Two-axis angular pointing device and methods of use thereof
WO2016130941A1 (en) 2015-02-12 2016-08-18 Google Inc. Combining a high resolution narrow field display and a mid resolution wide field display
US10417832B2 (en) 2015-03-11 2019-09-17 Facebook Technologies, Llc Display device supporting configurable resolution regions
US20160274365A1 (en) 2015-03-17 2016-09-22 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays with heterogeneous display quality
JP6520432B2 (ja) * 2015-06-09 2019-05-29 セイコーエプソン株式会社 光学デバイスおよび画像表示装置
US10210844B2 (en) 2015-06-29 2019-02-19 Microsoft Technology Licensing, Llc Holographic near-eye display
JP2017028510A (ja) 2015-07-23 2017-02-02 日本放送協会 多視点映像生成装置及びそのプログラム、並びに、多視点映像生成システム
KR102000888B1 (ko) 2015-08-07 2019-10-01 애플 인크. 이미지들의 스트림을 디스플레이하기 위한 시스템 및 방법
CN108139803B (zh) 2015-10-08 2021-04-20 Pcms控股公司 用于动态显示器配置的自动校准的方法及系统
US10726619B2 (en) 2015-10-29 2020-07-28 Sony Interactive Entertainment Inc. Foveated geometry tessellation
US11109916B2 (en) 2015-11-09 2021-09-07 Digital Surgicals Pte Ltd Personalized hand-eye coordinated digital stereo microscopic systems and methods
US20170188021A1 (en) 2015-12-24 2017-06-29 Meta Company Optical engine for creating wide-field of view fovea-based display
CN108474949A (zh) * 2015-12-24 2018-08-31 星风Ip公司 虚拟现实头戴式显示器
WO2017113117A1 (zh) * 2015-12-29 2017-07-06 深圳市柔宇科技有限公司 头戴式显示设备
KR20180104056A (ko) 2016-01-22 2018-09-19 코닝 인코포레이티드 와이드 필드 개인 디스플레이
US20170255012A1 (en) 2016-03-04 2017-09-07 Sharp Kabushiki Kaisha Head mounted display using spatial light modulator to move the viewing zone
US20170255020A1 (en) 2016-03-04 2017-09-07 Sharp Kabushiki Kaisha Head mounted display with directional panel illumination unit
CN114399831A (zh) 2016-03-07 2022-04-26 奇跃公司 用于生物安全的蓝光调节
US10438400B2 (en) 2016-03-08 2019-10-08 Nvidia Corporation Perceptually-based foveated rendering using a contrast-enhancing filter
US10192528B2 (en) 2016-03-31 2019-01-29 Sony Interactive Entertainment Inc. Real-time user adaptive foveated rendering
US10460704B2 (en) 2016-04-01 2019-10-29 Movidius Limited Systems and methods for head-mounted display adapted to human visual mechanism
GB2553744B (en) 2016-04-29 2018-09-05 Advanced Risc Mach Ltd Graphics processing systems
EP3488285A1 (en) 2016-07-25 2019-05-29 Optotune AG Optical device for enhancing resolution of an image using multistable states
US20180031849A1 (en) * 2016-07-29 2018-02-01 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Augmented reality head-up display road correction
US10255714B2 (en) 2016-08-24 2019-04-09 Disney Enterprises, Inc. System and method of gaze predictive rendering of a focal area of an animation
US9779478B1 (en) 2016-10-04 2017-10-03 Oculus Vr, Llc Rendering composite content on a head-mounted display including a high resolution inset
US10140695B2 (en) 2016-10-04 2018-11-27 Facebook Technologies, Llc Head-mounted compound display including a high resolution inset
CA3042554C (en) 2016-11-16 2023-07-18 Magic Leap, Inc. Multi-resolution display assembly for head-mounted display systems
US9711114B1 (en) 2016-12-01 2017-07-18 Varjo Technologies Oy Display apparatus and method of displaying using projectors
US9711072B1 (en) 2016-12-01 2017-07-18 Varjo Technologies Oy Display apparatus and method of displaying using focus and context displays
WO2018107055A1 (en) 2016-12-09 2018-06-14 New Scale Technologies, Inc. Semi-resonant motion devices and methods thereof
GB2560306B (en) 2017-03-01 2020-07-08 Sony Interactive Entertainment Inc Image processing
US20180262758A1 (en) 2017-03-08 2018-09-13 Ostendo Technologies, Inc. Compression Methods and Systems for Near-Eye Displays
US20180269266A1 (en) 2017-03-16 2018-09-20 Intel Corporation Foveated displays for virtual and augmented reality
JP7096836B2 (ja) 2017-03-22 2022-07-06 マジック リープ, インコーポレイテッド ディスプレイシステムのための深度ベース中心窩化レンダリング
WO2018183405A1 (en) 2017-03-27 2018-10-04 Avegant Corp. Steerable foveal display
WO2019104046A1 (en) 2017-11-27 2019-05-31 University Of Central Florida Research Optical display system, method, and applications
CN111587392A (zh) 2017-12-11 2020-08-25 奇跃公司 波导照射器
WO2020021339A2 (en) * 2018-07-26 2020-01-30 Innoviz Technologies Ltd. Lidar system having a mirror housing with a window
US11209650B1 (en) 2018-09-06 2021-12-28 Facebook Technologies, Llc Waveguide based display with multiple coupling elements for artificial reality
US10866422B2 (en) 2019-02-21 2020-12-15 Microsoft Technology Licensing, Llc Micro LED display system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08313843A (ja) * 1995-05-16 1996-11-29 Agency Of Ind Science & Technol 視線追従方式による広視野高解像度映像提示装置
JP2017534075A (ja) * 2014-10-08 2017-11-16 オプトチューン アクチェンゲゼルシャフト 光学素子、特にミラーを傾斜させるための機器
US20180174451A1 (en) * 2016-12-15 2018-06-21 Futurewei Technologies, Inc. Path selection for autonomous vehicles

Also Published As

Publication number Publication date
KR20210097190A (ko) 2021-08-06
US20200183173A1 (en) 2020-06-11
CA3122089A1 (en) 2020-06-11
US11927762B2 (en) 2024-03-12
WO2020118276A1 (en) 2020-06-11
EP3891546A4 (en) 2022-08-24
US20220099982A1 (en) 2022-03-31
EP3891546A1 (en) 2021-10-13
CN113196132A (zh) 2021-07-30
US11169383B2 (en) 2021-11-09

Similar Documents

Publication Publication Date Title
US11163164B2 (en) Steerable high-resolution display
EP3330771B1 (en) Display apparatus and method of displaying using focus and context displays
EP3330772B1 (en) Display apparatus and method of displaying using projectors
CN107577350B (zh) 显示系统和方法
US8619005B2 (en) Switchable head-mounted display transition
US10873742B2 (en) Head mounted display and image formation optical system
US10200680B2 (en) Eye gaze responsive virtual reality headset
KR20170081702A (ko) 관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 결합시키는 장치, 방법 및 시스템
US10481686B2 (en) Image display device for changing focal point and convergence of display image
CN110879469A (zh) 一种头戴式显示设备
CN109997067B (zh) 使用便携式电子设备的显示装置和方法
US11927762B2 (en) Steerable positioning element
JP2002090688A (ja) 視線方向依存型の網膜ディスプレイ装置
US10878781B2 (en) Image processing method and head-mounted display system
US10620432B1 (en) Devices and methods for lens position adjustment based on diffraction in a fresnel lens
JPH0684421U (ja) 映像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231113

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240404