JP2018147501A - 表示システムおよび方法 - Google Patents

表示システムおよび方法 Download PDF

Info

Publication number
JP2018147501A
JP2018147501A JP2018078476A JP2018078476A JP2018147501A JP 2018147501 A JP2018147501 A JP 2018147501A JP 2018078476 A JP2018078476 A JP 2018078476A JP 2018078476 A JP2018078476 A JP 2018078476A JP 2018147501 A JP2018147501 A JP 2018147501A
Authority
JP
Japan
Prior art keywords
end user
frame
head
augmented reality
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018078476A
Other languages
English (en)
Other versions
JP6542945B2 (ja
Inventor
ティー． ショーウェンガート ブライアン
T Schowengerdt Brian
ティー． ショーウェンガート ブライアン
エー． ミラー サムエル
A Miller Samuel
エー． ミラー サムエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2018147501A publication Critical patent/JP2018147501A/ja
Application granted granted Critical
Publication of JP6542945B2 publication Critical patent/JP6542945B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/007—Use of pixel shift techniques, e.g. by mechanical shift of the physical pixels or by optical shift of the perceived pixels
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0266—Reduction of sub-frame artefacts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Generation (AREA)
  • Studio Devices (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Selective Calling Equipment (AREA)

Abstract

【課題】１人またはそれを上回るユーザのための双方向仮想または拡張現実環境を促進するように構成される、システムおよび方法を提供すること。【解決手段】一実施形態は、ユーザの頭部上に搭載可能な筐体フレームと、筐体フレームに搭載可能上なレンズと、筐体フレームに連結される投影サブシステムとを備える、ユーザ表示デバイスを対象とし、投影サブシステムは、ユーザの頭部の動きの検出およびユーザの頭部の動きの予測のうちの少なくとも１つに少なくとも部分的に基づいて、ユーザの視野内の表示オブジェクトの出現場所を判定し、表示オブジェクトの判定された出現場所に基づいて、表示オブジェクトをユーザに投影する。【選択図】図３８

Description

（発明の分野）
本発明は、概して、１人またはそれを上回るユーザのための双方向仮想または拡張現実環境を促進するように構成される、システムおよび方法に関する。
（背景）
いくつかの表示システムは、視聴者またはユーザの頭部姿勢（すなわち、ユーザの配向および／または場所）に関する情報から利益を得ることができる。
例えば、頭部装着型ディスプレイ（またはヘルメット搭載型ディスプレイ、あるいは高性能眼鏡）は、ユーザの頭部に少なくとも緩く連結され、したがって、ユーザの頭部が動くときに動く。ユーザの頭部の運動が表示システムによって検出された場合、頭部姿勢の変化を考慮するように、表示されているデータを更新することができる。
実施例として、頭部装着型ディスプレイを装着したユーザが、ディスプレイ上の３Ｄオブジェクトの仮想表現を視認し、３Ｄオブジェクトが出現する領域の周囲を歩く場合、その３Ｄオブジェクトを各視点について再レンダリングすることができ、実際の空間を占有するオブジェクトの周囲を歩いているという知覚をユーザに与える。頭部装着型ディスプレイが、仮想空間（例えば、豊かな仮想世界）を複数のオブジェクトに提示するために使用される場合、場面を再レンダリングして、ユーザの動的に変化する頭部の場所および配向に合致し、仮想空間で増加した没入感を提供するために、頭部姿勢の測定を使用することができる。
特に、ユーザの仮想フィールドの大部分を仮想要素で充填する表示システムについて、頭部追跡の精度が高く、頭部運動の第１の検出から、ディスプレイによってユーザの視覚系に送達される光の更新までの全体的なシステム待ち時間が少ないことが重要である。待ち時間が長い場合、本システムは、ユーザの前庭および視覚系の間の不一致を生成し、乗り物酔いまたはシミュレータ酔いを発生させ得る。
いくつかの頭部装着型ディスプレイは、実際および仮想要素の同時視認、すなわち、多くの場合、拡張現実または混合現実として表されるアプローチを可能にする。多くの場合、「ビデオシースルー」ディスプレイと称される、１つのそのような構成では、カメラが、実際の場面の要素を捕捉し、コンピュータシステムが、捕捉された実際の場面上に仮想要素を重ね合わせ、非透明ディスプレイが、複合画像を眼に提示する。別の構成は、ユーザが、環境内の実際のオブジェクトから光を直接視認するように、表示システムにおいて透明（または半透明）要素を通して見ることができる、多くの場合、「光学シースルー」ディスプレイと称される。多くの場合、「結合器」と称される、透明要素は、現実世界のユーザの視界にわたって、ディスプレイからの光を重ね合わせる。
ビデオおよび光学シースルーディスプレイの両方では、頭部姿勢の検出は、現実世界で空間を占有するように見えるように、表示システムが仮想オブジェクトをレンダリングすることを可能にすることができる。ユーザの頭部が現実世界で動き回ると、仮想オブジェクトが現実世界に対して安定したままであるように見えるように、仮想オブジェクトは、頭部姿勢の関数として再レンダリングされる。光学シースルーディスプレイの場合、現実世界のユーザの視界が、本質的にゼロの待ち時間を有する一方で、仮想オブジェクトのユーザの視界は、頭部追跡速度、処理時間、レンダリング時間、および表示フレームレートに依存する待ち時間を有する。システムの待ち時間が長い場合、仮想オブジェクトの見掛けの場所は、急速な頭部運動中に不安定に見えるであろう。
頭部装着型表示システムに加えて、他の表示システムが、正確な低遅延頭部姿勢検出から利益を得ることができる。これらは、ディスプレイがユーザの身体上に装着されないが、例えば、壁または他の表面上に搭載される、頭部追跡型表示システムを含む。頭部追跡型ディスプレイは、場面への窓のように作用し、ユーザが「窓」に対して頭部を動かすと、場面は、ユーザの変化する視点に合致するように再レンダリングされる。他のシステムは、頭部装着型ディスプレイが光を現実世界に投影する、頭部装着型投影システムを含む。
（要約）
本発明の実施形態は、１人またはそれを上回るユーザのために仮想現実および／または拡張現実相互作用を促進するためのデバイス、システム、および方法に関する。
一実施形態は、仮想画像システムまたは拡張現実システムにおける動作方法であって、エンドユーザに提示されている複数のフレームのうちの少なくともいくつかのそれぞれについて、エンドユーザ基準フレームに対してエンドユーザの視野内の仮想オブジェクトの出現場所を判定することと、エンドユーザの視野内の仮想オブジェクトの判定された出現場所に少なくとも部分的に基づいて、少なくとも１つの後続フレームの提示を調整することとを含む、方法に関する。仮想オブジェクトは、ユーザに提示された前のフレームに対して、時間的にエンドユーザの視野に新たに導入されてもよい。新たに導入された仮想オブジェクトは、おそらくエンドユーザの注目を集めると判定されてもよい。仮想オブジェクトは、少なくとも１つの前のフレーム内の位置に対してフレーム内の新しい位置にあってもよい。または、仮想オブジェクトは、エンドユーザに以前に提示されたような仮想オブジェクトの前の位置に対して、エンドユーザに提示されるような新しい位置にあってもよい。
本方法はさらに、仮想オブジェクトへのエンドユーザの注目を示す入力に基づいて、仮想オブジェクトを選択することを含んでもよい。仮想オブジェクトへのエンドユーザの注目を示す入力は、エンドユーザに以前に提示されたような仮想オブジェクトの位置に対する、エンドユーザに提示されるような新しい位置での仮想オブジェクトの出現に少なくとも部分的に基づいてもよい。または、仮想オブジェクトへのエンドユーザの注目を示す入力は、エンドユーザに提示されるような仮想オブジェクトの位置が、エンドユーザに以前に提示されたような仮想オブジェクトの位置に対して、どれだけ迅速に変化するかに少なくとも部分的に基づいてもよい。
少なくとも１つの後続フレームの提示の調整は、少なくとも１つの後続フレームの中心がエンドユーザの視野内の仮想オブジェクトの判定された出現場所に向かって偏移させられたことを伴う、少なくとも１つの後続フレームを提示することを含んでもよい。または、少なくとも１つの後続フレームの提示の調整は、少なくとも１つの後続フレームの中心がエンドユーザの視野内の仮想オブジェクトの判定された出現場所に偏移させられたことを伴う、少なくとも１つの後続フレームを提示することを含んでもよい。
本方法はさらに、エンドユーザの視野内の仮想オブジェクトの判定された出現場所に少なくとも部分的に基づいて、エンドユーザの頭部の動きの発生を予測することを含んでもよい。本方法はさらに、エンドユーザの予測された頭部の動きの推定速度を示す、少なくとも１つの値を推定することと、エンドユーザの予測された頭部の動きの推定速度を少なくとも部分的に補う、少なくとも１つの値を判定することと、判定された値に少なくとも部分的に基づいて、少なくとも１つの後続フレームをレンダリングすることとを含んでもよい。
本方法はさらに、エンドユーザの予測された頭部の動きの速度の少なくとも１つの変化を推定することを含んでもよく、速度の少なくとも１つの変化は、予測された頭部の動きの開始と予測された頭部の動きの終了との間で発生し、予測された頭部の動きの推定速度を示す、少なくとも１つの値を推定することは、エンドユーザの予測された頭部の動きの速度の推定された変化に少なくとも部分的に適応する推定速度を示す、少なくとも１つの値を推定することを含む。
エンドユーザの予測された頭部の動きの速度の少なくとも１つの変化を推定することは、予測された頭部の動きの開始後の第１の定義された時間と、予測された頭部の動きの終了前の第２の定義された時間との間で、少なくとも１つの変化を推定することを含んでもよい。
本方法はさらに、エンドユーザの予測された頭部の動きの推定加速を示す、少なくとも１つの値を推定することと、エンドユーザの予測された頭部の動きの推定加速を少なくとも部分的に補う、少なくとも１つの値を判定することと、判定された値に少なくとも部分的に基づいて、少なくとも１つの後続フレームをレンダリングすることとを含んでもよい。
本方法はさらに、エンドユーザの身元を示す情報を受信することと、エンドユーザの身元を示す受信された情報に基づいて、エンドユーザの少なくとも１つのユーザ特有の履歴属性を取り出すことであって、ユーザ特有の履歴属性は、エンドユーザの前の頭部の動きの速度、エンドユーザの前の頭部の動きの加速、およびエンドユーザの前の眼の動きと頭部の動きの関係のうちの少なくとも１つを示す、こととを含んでもよい。
仮想オブジェクトは、仮想テキストオブジェクト、仮想数値オブジェクト、仮想英数字オブジェクト、仮想タグオブジェクト、仮想フィールドオブジェクト、仮想チャートオブジェクト、仮想マップオブジェクト、仮想計装オブジェクト、または物理的オブジェクトの仮想視覚表現のうちの少なくとも１つであってもよい。
別の実施形態は、拡張現実システムにおける動作方法であって、エンドユーザの身元を示す情報を受信することと、エンドユーザの身元を示す受信された情報に少なくとも部分的に基づいて、エンドユーザの少なくとも１つのユーザ特有の履歴属性を取り出すことと、エンドユーザの取り出された少なくとも１つのユーザ特有の履歴属性に少なくとも部分的に基づいて、フレームをエンドユーザに提供することとを含む、方法を対象とする。受信された情報は、エンドユーザの眼の少なくとも一部分の画像を示す画像情報であってもよい。
エンドユーザの取り出された少なくとも１つのユーザ特有の履歴属性は、エンドユーザの少なくとも１つの頭部の動きの属性の指標を提供する、少なくとも１つの属性であってもよく、頭部の動きの属性は、エンドユーザの少なくとも１つの前の頭部の動きを示す。または、エンドユーザの取り出された少なくとも１つのユーザ特有の履歴属性は、エンドユーザの少なくとも１つの前の頭部の動きの少なくとも１つの前の頭部の動きの速度の指標を提供する、少なくとも１つの属性であってもよい。または、エンドユーザの取り出された少なくとも１つのユーザ特有の履歴属性は、エンドユーザによる、少なくとも１つの前の頭部の動きの範囲の少なくとも一部にわたる頭部の動きの速度の変動の指標を提供する、少なくとも１つの属性であってもよい。または、エンドユーザの取り出された少なくとも１つのユーザ特有の履歴属性は、エンドユーザによる、少なくとも１つの前の頭部の動きの少なくとも１つの前の頭部の動きの加速の指標を提供する、少なくとも１つの属性であってもよい。または、エンドユーザの取り出された少なくとも１つのユーザ特有の履歴属性は、エンドユーザによる、少なくとも１つの前の頭部の動きと少なくとも１つの前の眼の動きとの間の関係の指標を提供する、少なくとも１つの属性であってもよい。または、エンドユーザの取り出された少なくとも１つのユーザ特有の履歴属性は、エンドユーザによる、少なくとも１つの前の頭部の動きと少なくとも１つの前の眼の動きとの間の比率の指標を提供する、少なくとも１つの属性であってもよい。
本方法はさらに、エンドユーザの頭部の動きの少なくとも終点を予測することを含んでもよく、エンドユーザの取り出された少なくとも１つのユーザ特有の履歴属性に少なくとも部分的に基づいて、フレームをエンドユーザに提供することは、少なくとも１つの後続フレームを少なくとも１つの画像バッファにレンダリングすることを含み、少なくとも１つの後続フレームは、頭部の動きの予測された終点に向かって偏移させられる。
本方法はさらに、エンドユーザの少なくとも１つの頭部の動きの属性の少なくとも部分的な適応において、頭部の動きの予測された終点に向かって偏移する、複数の後続フレームをレンダリングすることをさらに含んでもよく、頭部の動きの属性は、エンドユーザの少なくとも１つの前の頭部の動きを示す。
エンドユーザの少なくとも１つの前の頭部の動きを示す、頭部の動きの属性は、エンドユーザの履歴上の頭部の動きの速度、エンドユーザの履歴上の頭部の動きの加速、またはエンドユーザの頭部の動きと眼の動きとの間の履歴上の比率であってもよい。
本方法はさらに、エンドユーザの視野内の仮想オブジェクトの出現場所に少なくとも部分的に基づいて、エンドユーザの頭部の動きの発生を予測することをさらに含んでもよい。仮想オブジェクトの出現場所は、上記で説明される同一の様式で判定されてもよい。
別の実施形態は、フレーム内のいくつかのピクセルの間でエンドユーザに提示されるような間隔が、フレーム内の他のピクセルの間の間隔とは異なるであろうという指標を検出することと、検出された指標に基づいて、第１のピクセルのセットを調整することと、エンドユーザに提示されるような間隔の差異を少なくとも部分的に補うように、調整された第１のピクセルのセットを、少なくとも１つの後続フレームの少なくとも一部分に提供することとを対象とする。ピクセル特性（例えば、サイズ、強度等）は、エンドユーザに知覚可能であり得る。
本方法はさらに、検出された頭部の動きの方向に基づいて、フレームの第１のピクセルのセットを選択することであって、第１のピクセルのセットの方向は、検出された頭部の動きの方向と同一である、ことと、少なくとも１つの後続フレームの第１のピクセルのセットのサイズを増加させることとを含んでもよい。本方法はさらに、検出された頭部の動きの方向に基づいて、フレームの第１のピクセルのセットを選択することであって、第１のピクセルのセットの方向は、検出された頭部の動きの方向と同一である、ことと、検出された頭部の動きに応答して、少なくとも１つの後続フレームの第１のピクセルのセットの強度を増加させることとを含んでもよい。
本方法はさらに、検出された頭部の動きの方向に基づいて、フレームの第１のピクセルのセットを選択することであって、第１のピクセルのセットの方向は、検出された頭部の動きの方向とは反対である、ことと、検出された頭部の動きに応答して、少なくとも１つの後続フレームの第１のピクセルのセットのサイズを減少させることとを含んでもよい。
本方法はさらに、検出された頭部の動きの方向に基づいて、フレームの第１のピクセルのセットを選択することであって、第１のピクセルのセットの方向は、検出された頭部の動きの方向とは反対である、ことと、検出された頭部の動きに応答して、少なくとも１つの後続フレームの第１のピクセルのセットの強度を減少させることとを含んでもよい。
別の実施形態は、仮想画像提示システムにおける動作方法であって、第１の完全フレームを画像バッファにレンダリングすることであって、第１の完全フレームは、仮想オブジェクトの画像を形成するように、ピクセルの連続提示のためのピクセル情報を含む、ことと、第１の完全フレームの提示を開始することと、ピクセル情報の一部分が第１の完全フレームから変化している、第１の完全フレームへの更新の提示によって、第１の完全フレームの提示の完了前に、第１の完全フレームの提示を動的に中断することとを含む、方法を対象とする。
別の実施形態は、仮想画像提示システムにおける動作方法であって、第１のフィールドおよび第２のフィールドを有する、第１の完全フレームを画像バッファにレンダリングすることであって、第１のフィールドは、少なくとも第１の渦巻状走査線を含み、第２のフィールドは、少なくとも第２の渦巻状走査線を含み、第２の渦巻状走査線は、少なくとも第１の渦巻状走査線とインターレースされる、ことと、第１の完全フレームを記憶するフレームバッファから読み出すことと、ピクセル情報の一部分が第１の完全フレームから変化している、第１の完全フレームへの更新の読み出しによって、第１の完全フレームの読み出しの完了前に、第１の完全フレームの読み出しを動的に中断することとを含む、方法を対象とする。読み出しの動的中断は、エンドユーザの検出された頭部の動きに基づいてもよく、検出された頭部の動きは、頭部の動きの公称値を超える。
別の実施形態は、仮想画像提示システムにおける動作方法であって、第１のフィールドおよび第２のフィールドを有する、第１の完全フレームを画像バッファにレンダリングすることであって、第１のフィールドは、少なくとも第１のリサジュー走査線を含み、第２のフィールドは、少なくとも第２のリサジュー走査線を含み、第２のリサジュー走査線は、少なくとも第１のリサジュー走査線とインターレースされる、ことと、第１の完全フレームを記憶するフレームバッファから読み出すことと、ピクセル情報の一部分が第１の完全フレームから変化している、第１の完全フレームへの更新の読み出しによって、第１の完全フレームの読み出しの完了前に、頭部の動きの公称値を超えるエンドユーザの検出された頭部の動きに基づいて、第１の完全フレームの読み出しを動的に中断することとを含む、方法を対象とする。本方法はさらに、リサジュー走査線をインターレースするように、リサジュー走査線を位相偏移させることを含んでもよい。
別の実施形態は、仮想画像提示システムにおける動作方法であって、複数のフレームのそれぞれについて、エンドユーザの検出された頭部の動きに応答して、それぞれのフレームの少なくとも２つの部分のそれぞれに対するそれぞれの解像度を判定することと、それぞれのフレームの少なくとも２つの部分の判定されたそれぞれの解像度に基づいて、仮想オブジェクトを提示することとを含む、方法を対象とする。それぞれのフレームの一部分は、フレームのフィールド、フレームの線、およびフレームのピクセルのうちの少なくとも１つであってもよい。本方法はさらに、仮想オブジェクトの画像で可変解像度を生成するように、フレームの第１の部分およびフレームの第２の部分の提示の間で、駆動信号の特性を調整することを含んでもよい。駆動信号の特性は、駆動信号の振幅および駆動信号の傾斜のうちの少なくとも１つであってもよい。
本方法はさらに、処理された眼の追跡データ、エンドユーザ基準フレームに対するエンドユーザの視野内の仮想オブジェクトの判定された出現場所、エンドユーザの視野に新たに導入されたときの仮想オブジェクトの判定された出現場所、および少なくとも１つの前の画像内の仮想オブジェクトの位置に対する画像内の新しい位置での仮想オブジェクトの判定された出現場所のうちの少なくとも１つに基づいて、エンドユーザのための少なくとも第１の画像内の注目点を査定することを含んでもよい。
本方法はさらに、少なくとも１つの後続画像の他の部分に対して、査定された注目点に少なくとも近接している少なくとも１つの後続画像の一部分内で少なくとも１つの後続画像内の解像度を増加させることを含んでもよい。本方法はさらに、少なくとも１つの後続画像の他の部分に対して、査定された注目点より遠位にある少なくとも１つの後続画像の一部分内で少なくとも１つの後続画像内の解像度を減少させることを含んでもよい。
別の実施形態は、仮想画像提示システムにおける動作方法であって、少なくとも１つの仮想オブジェクトをエンドユーザに表示することと、検出された頭部の動きが頭部の動きの公称値を超えるとき、および予測された頭部の動きが頭部の動きの値を超えると予測されるときのうちの少なくとも１つで、少なくとも１つの仮想オブジェクトの表示の一部分を一時的に消去することとを含む、方法を対象とする。本方法はさらに、検出された頭部の動きおよび予測された頭部の動きのうちの少なくとも１つを判定するように、少なくとも１つの変換器を介して供給される頭部追跡データを処理することを含んでもよく、頭部追跡データは、少なくともエンドユーザの頭部の配向を示す。
別の実施形態は、拡張現実システムにおいて少なくとも仮想画像を投影するプロジェクタ装置であって、プロジェクタ要素と、プロジェクタ要素が少なくとも１つの自由軸で移動可能である、プロジェクタ要素を支持する支持体と、プロジェクタ要素を選択的に移動させるように連結される、少なくとも１つのアクチュエータと、プロジェクタ要素が、頭部の動きの公称値を超えるエンドユーザの頭部の動きの検出、および頭部の動きの公称値を超えると予測されるエンドユーザの頭部の動きの予測のうちの少なくとも１つに応答して移動させられるように、アクチュエータを制御するよう通信可能に連結される制御サブシステムとを備える、プロジェクタ装置を対象とする。プロジェクタ要素はさらに、少なくとも第１の光ファイバを備えてもよく、第１の光ファイバは、後端および前端を有し、後端は、画像を受信するように連結され、前端は、そこから画像を伝送するように位置付けられる。
支持要素は、その前端に近接する第１の光ファイバの一部分が、圧電カラーから延在し、定義された共振周波数で自由に振動することができるように、第１の光ファイバの前端に近接するが、そこから後方に離間した、少なくとも第１の光ファイバを受容する、圧電カラーを備えてもよい。
少なくとも１つの制御サブシステムは、少なくとも１つの変換器を介して供給される頭部追跡データを受容するように通信可能に連結され、頭部追跡データは、少なくともエンドユーザの頭部の配向を示す、請求項８７に記載のプロジェクタ装置。制御サブシステムは、エンドユーザに提示される複数の画像のうちの少なくともいくつかのそれぞれについて、エンドユーザ基準フレームに対してエンドユーザの視野内の仮想オブジェクトの出現場所を判定し、判定された場所が、エンドユーザの頭部を旋回させるようにエンドユーザに要求するかどうかを査定し、査定に基づいて、頭部の動きの発生を予測する。
別の実施形態は、仮想画像提示システムにおける動作方法であって、フレームのピクセルのセットのピクセル情報が、最大解像度で最大表示領域を超えるように、定義された視野のフレームをオーバーレンダリングすることと、検出された頭部の動きおよび予測された頭部の動きのうちの少なくとも１つに基づいて、エンドユーザに提示するフレームの一部分を判定することと、フレームの判定された部分のみを選択的に読み出すこととを含む、方法を対象とする。
別の実施形態は、ユーザの頭部上に搭載可能な筐体フレームと、筐体フレーム上に搭載可能なレンズと、ユーザの頭部の動きの検出およびユーザの頭部の動きの予測のうちの少なくとも１つに少なくとも部分的に基づいて、ユーザの視野内の表示オブジェクトの出現場所を判定し、表示オブジェクトの判定された出現場所に基づいて、表示オブジェクトをユーザに投影する、筐体フレームに連結される投影サブシステムとを備える、ユーザ表示デバイスを対象とする。表示オブジェクトの出現場所は、頭部の動きの公称値を超えるか、または超えると予測される、ユーザの頭部の動きの検出およびユーザの頭部の動きの予測のうちの少なくとも１つに応答して、移動させられてもよい。ユーザの頭部の動きの予測は、ユーザの焦点の偏移の予測に、またはユーザの設定された履歴属性に基づいてもよい。
ユーザ表示デバイスはさらに、ユーザの眼の動きを追跡し、追跡された眼の動きに基づいてユーザの眼の焦点距離を推定するように、筐体フレーム上に搭載可能である第１の一対のカメラを備えてもよい。投影サブシステムは、推定焦点距離に基づいて表示オブジェクトを投影してもよい。
ユーザ表示デバイスはさらに、ユーザの眼によって見られるような視野画像を捕捉するように、筐体フレーム上に搭載可能である第２の一対のカメラを備えてもよく、視野画像は、少なくとも１つの物理的オブジェクトを含有する。投影サブシステムは、表示オブジェクトおよび第２の一対のカメラを通して捕捉される物理的オブジェクトが、混合され、同一のフレーム内でともに出現するような様式で、表示オブジェクトを投影してもよい。出現場所は、少なくとも部分的に物理的オブジェクトに基づいてもよい。表示オブジェクトおよび物理的オブジェクトは、所定の関係を有してもよい。捕捉された視野画像は、ユーザの頭部の動きに関する情報を収集するために使用されてもよく、ユーザの頭部の動きに関する情報は、ユーザの注目の中心、ユーザの頭部の配向、ユーザの頭部の方向、ユーザの頭部の動きの速度、ユーザの頭部の加速、およびユーザの局所環境に関するユーザの頭部の距離を含む。
レンズは、ユーザが局所環境を視認することができるように、透過光を選択的に許容する少なくとも１つの透明な表面を備えてもよい。投影サブシステムは、ユーザが、表示オブジェクトおよびレンズの透明な表面を通して視認されるような局所環境の両方を視認するような様式で、表示オブジェクトを投影してもよい。
ユーザ表示デバイスはさらに、ユーザの頭部の動きを示す慣性測定値のセットを捕捉するように、少なくとも１つの慣性変換器を備えてもよく、慣性測定値のセットは、ユーザの頭部の動きの速度、ユーザの頭部の動きの加速、ユーザの頭部の動きの方向、ユーザの頭部の位置、およびユーザの頭部の配向を含む。
ユーザ表示デバイスはさらに、ユーザの頭部およびユーザの局所環境のうちの少なくとも１つを照射するように、少なくとも１つの光源を備えてもよい。
投影サブシステムは、検出された頭部の動きおよび予測された頭部の動きのうちの少なくとも１つを補うように、表示オブジェクトと関連付けられるピクセルのセットの知覚されたサイズ、強度、および解像度のうちの少なくとも１つを調整してもよい。表示オブジェクトは、仮想オブジェクトおよび拡張仮想オブジェクトのうちの１つであってもよい。
本発明の付加的および他の目的、特徴、および利点が、発明を実施するための形態、図、および請求項で説明される。
本明細書は、例えば、以下を提供する。
（項目１）
仮想画像システムまたは拡張現実システムにおける動作方法であって、上記方法は、
エンドユーザに提示されている複数のフレームのうちの少なくともいくつかのそれぞれについて、エンドユーザ基準フレームに対して上記エンドユーザの視野内の仮想オブジェクトの出現場所を判定することと、
上記エンドユーザの視野内の上記仮想オブジェクトの上記判定された出現場所に少なくとも部分的に基づいて、少なくとも１つの後続フレームの提示を調整することと
を含む、方法。
（項目２）
上記仮想オブジェクトは、上記ユーザに提示された前のフレームに対して、時間的に
上記エンドユーザの視野に新たに導入される、項目１に記載の方法。
（項目３）
上記新たに導入された仮想オブジェクトは、おそらく上記エンドユーザの注目を集めると判定される、項目２に記載の方法。
（項目４）
上記仮想オブジェクトは、少なくとも１つの前のフレーム内の位置に対して上記フレーム内の新しい位置にある、項目１に記載の方法。
（項目５）
上記仮想オブジェクトへの上記エンドユーザの注目を示す入力に基づいて、上記仮想オブジェクトを選択することをさらに含む、項目１に記載の方法。
（項目６）
上記仮想オブジェクトへの上記エンドユーザの注目を示す上記入力は、上記エンドユーザに以前に提示されたような上記仮想オブジェクトの位置に対する、上記エンドユーザに提示されるような新しい位置での上記仮想オブジェクトの出現に少なくとも部分的に基づく、項目５に記載の方法。
（項目７）
上記仮想オブジェクトへの上記エンドユーザの注目を示す上記入力は、上記エンドユーザに提示されるような上記仮想オブジェクトの位置が、上記エンドユーザに以前に提示されたような上記仮想オブジェクトの位置に対して、どれだけ迅速に変化するかに少なくとも部分的に基づく、項目５に記載の方法。
（項目８）
上記仮想オブジェクトは、上記エンドユーザに以前に提示されたような上記仮想オブジェクトの前の位置に対して、上記エンドユーザに提示されるような新しい位置にある、請求項１に記載の方法。
（項目９）
上記少なくとも１つの後続フレームの上記提示の調整は、上記少なくとも１つの後続フレームの中心が上記エンドユーザの視野内の上記仮想オブジェクトの上記判定された出現場所に向かって偏移させられたことを伴う、上記少なくとも１つの後続フレームを提示することを含む、項目１に記載の方法。
（項目１０）
上記少なくとも１つの後続フレームの上記提示の調整は、上記少なくとも１つの後続フレームの中心が上記エンドユーザの視野内の上記仮想オブジェクトの上記判定された出現場所に偏移させられたことを伴う、上記少なくとも１つの後続フレームを提示することを含む、項目１に記載の方法。
（項目１１）
上記エンドユーザの視野内の上記仮想オブジェクトの上記判定された出現場所に少なくとも部分的に基づいて、上記エンドユーザの頭部の動きの発生を予測することをさらに含む、項目１に記載の方法。
（項目１２）
上記エンドユーザの上記予測された頭部の動きの推定速度を示す、少なくとも１つの値を推定することと、
上記エンドユーザの上記予測された頭部の動きの上記推定速度を少なくとも部分的に補う、少なくとも１つの値を判定することと、
上記判定された値に少なくとも部分的に基づいて、上記少なくとも１つの後続フレームをレンダリングすることと
をさらに含む、項目１１に記載の方法。
（項目１３）
上記エンドユーザの上記予測された頭部の動きの上記速度の少なくとも１つの変化を推定することをさらに含み、上記速度の少なくとも１つの変化は、上記予測された頭部の動きの開始と上記予測された頭部の動きの終了との間で発生し、上記予測された頭部の動きの上記推定速度を示す、上記少なくとも１つの値を推定することは、上記エンドユーザの上記予測された頭部の動きの上記速度の上記推定された変化に少なくとも部分的に適応する上記推定速度を示す、上記少なくとも１つの値を推定することを含む、項目１２に記
載の方法。
（項目１４）
上記エンドユーザの上記予測された頭部の動きの上記速度の少なくとも１つの変化を推定することは、上記予測された頭部の動きの上記開始後の第１の定義された時間と、上記予測された頭部の動きの上記終了前の第２の定義された時間との間で、上記少なくとも１つの変化を推定することを含む、項目１３に記載の方法。
（項目１５）
上記エンドユーザの上記予測された頭部の動きの推定加速を示す、少なくとも１つの値を推定することと、
上記エンドユーザの上記予測された頭部の動きの上記推定加速を少なくとも部分的に補う、少なくとも１つの値を判定することと、
上記判定された値に少なくとも部分的に基づいて、上記少なくとも１つの後続フレームをレンダリングすることと
をさらに含む、項目１に記載の方法。
（項目１６）
上記エンドユーザの身元を示す情報を受信することと、
上記エンドユーザの身元を示す上記受信された情報に基づいて、上記エンドユーザの少なくとも１つのユーザ特有の履歴属性を取り出すことであって、上記ユーザ特有の履歴属性は、上記エンドユーザの前の頭部の動きの速度、上記エンドユーザの前の頭部の動きの加速、および上記エンドユーザの前の眼の動きと頭部の動きの関係のうちの少なくとも１つを示す、ことと
をさらに含む、項目１に記載の方法。
（項目１７）
上記仮想オブジェクトは、仮想テキストオブジェクト、仮想数値オブジェクト、仮想英数字オブジェクト、仮想タグオブジェクト、仮想フィールドオブジェクト、仮想チャートオブジェクト、仮想マップオブジェクト、仮想計装オブジェクト、または物理的オブジェクトの仮想視覚表現のうちの少なくとも１つである、項目１に記載の方法。
（項目１８）
拡張現実システムにおける動作方法であって、上記方法は、
上記エンドユーザの身元を示す情報を受信することと、
上記エンドユーザの身元を示す上記受信された情報に少なくとも部分的に基づいて、前記エンドユーザの少なくとも１つのユーザ特有の履歴属性を取り出すことと、
上記エンドユーザの上記取り出された少なくとも１つのユーザ特有の履歴属性に少なくとも部分的に基づいて、フレームを上記エンドユーザに提供することと
を含む、方法。
（項目１９）
上記受信された情報は、上記エンドユーザの眼の少なくとも一部分の画像を示す画像情報である、項目１８に記載の方法。
（項目２０）
フレームを上記エンドユーザに提供することは、少なくとも１つの光ファイバを介してフレームを提供することを含み、上記エンドユーザの眼の少なくとも一部分の画像を示す画像情報を受信することは、同様に上記フレームを上記エンドユーザに提供する、上記少なくとも１つの光ファイバを介して上記画像情報を受信することを含む、項目１９に記
載の方法。
（項目２１）
上記エンドユーザの上記取り出された少なくとも１つのユーザ特有の履歴属性は、上記エンドユーザの少なくとも１つの頭部の動きの属性の指標を提供する、少なくとも１つの属性であり、上記頭部の動きの属性は、上記エンドユーザの少なくとも１つの前の頭部の動きを示す、項目１８に記載の方法。
（項目２２）
上記エンドユーザの上記取り出された少なくとも１つのユーザ特有の履歴属性は、上記エンドユーザの少なくとも１つの前の頭部の動きの少なくとも１つの前の頭部の動きの速度の指標を提供する、少なくとも１つの属性である、項目１８に記載の方法。
（項目２３）
上記エンドユーザの上記取り出された少なくとも１つのユーザ特有の履歴属性は、上記エンドユーザによる、少なくとも１つの前の頭部の動きの範囲の少なくとも一部にわたる頭部の動きの速度の変動の指標を提供する、少なくとも１つの属性である、項目１８に
記載の方法。
（項目２４）
上記エンドユーザの上記取り出された少なくとも１つのユーザ特有の履歴属性は、上記エンドユーザによる、少なくとも１つの前の頭部の動きの少なくとも１つの前の頭部の動きの加速の指標を提供する、少なくとも１つの属性である、項目１８に記載の方法。
（項目２５）
上記エンドユーザの上記取り出された少なくとも１つのユーザ特有の履歴属性は、上記エンドユーザによる、少なくとも１つの前の頭部の動きと少なくとも１つの前の眼の動きとの間の関係の指標を提供する、少なくとも１つの属性である、項目１８に記載の方法
。
（項目２６）
上記エンドユーザの上記取り出された少なくとも１つのユーザ特有の履歴属性は、上記エンドユーザによる、少なくとも１つの前の頭部の動きと少なくとも１つの前の眼の動きとの間の比率の指標を提供する、少なくとも１つの属性である、項目１８に記載の方法
。
（項目２７）
上記エンドユーザの頭部の動きの少なくとも終点を予測することをさらに含み、
上記エンドユーザの上記取り出された少なくとも１つのユーザ特有の履歴属性に少なくとも部分的に基づいて、フレームを上記エンドユーザに提供することは、少なくとも１つの後続フレームを少なくとも１つの画像バッファにレンダリングすることを含み、上記少なくとも１つの後続フレームは、上記頭部の動きの上記予測された終点に向かって偏移させられる、項目１８に記載の方法。
（項目２８）
上記エンドユーザの少なくとも１つの頭部の動きの属性の少なくとも部分的な適応において、上記頭部の動きの上記予測された終点に向かって偏移する、複数の後続フレームをレンダリングすることをさらに含み、上記頭部の動きの属性は、上記エンドユーザの少なくとも１つの前の頭部の動きを示す、項目２７に記載の方法。
（項目２９）
上記エンドユーザの少なくとも１つの前の頭部の動きを示す、上記頭部の動きの属性は、上記エンドユーザの履歴上の頭部の動きの速度である、項目２８に記載の方法。
（項目３０）
上記エンドユーザの少なくとも１つの前の頭部の動きを示す、上記頭部の動きの属性は、上記エンドユーザの履歴上の頭部の動きの加速である、項目２８に記載の方法。
（項目３１）
上記エンドユーザの少なくとも１つの前の頭部の動きを示す、上記頭部の動きの属性は、上記エンドユーザの頭部の動きと眼の動きとの間の履歴上の比率である、項目２８に
記載の方法。
（項目３２）
上記エンドユーザの視野内の上記仮想オブジェクトの出現場所に少なくとも部分的に基づいて、上記エンドユーザの頭部の動きの発生を予測することをさらに含む、項目２７
に記載の方法。
（項目３３）
上記仮想オブジェクトが、上記エンドユーザに提示された前のフレームに対して、時間的に上記エンドユーザの視野に新たに導入されたときに、上記仮想オブジェクトの上記出現場所を判定することをさらに含む、項目１８に記載の方法。
（項目３４）
上記エンドユーザに以前に提示されたような上記仮想オブジェクトの位置に対する、前記エンドユーザに提示されるような新しい位置で上記仮想オブジェクトの上記出現場所を判定することをさらに含む、項目１８に記載の方法。
（項目３５）
仮想画像提示システムにおける動作方法であって、上記方法は、
フレーム内のいくつかのピクセルの間でエンドユーザに提示されるような間隔が、上記フレーム内の他のピクセルの間の間隔とは異なるであろうという指標を検出することと、
上記検出された指標に基づいて、第１のピクセルのセットを調整することと、
上記エンドユーザに提示されるような間隔の差異を少なくとも部分的に補うように、前記調整された第１のピクセルのセットを、少なくとも１つの後続フレームの少なくとも一部分に提供することと
を含む、方法。
（項目３６）
上記ピクセル特性は、上記エンドユーザに知覚可能である、項目３５に記載の方法。
（項目３７）
上記ピクセル特性のセットは、知覚されたサイズおよび知覚された強度のうちの少なくとも１つである、項目３５に記載の方法。
（項目３８）
頭部の動きの公称値を超える、頭部の動きを検出することをさらに含む、項目３５に
記載の方法。
（項目３９）
上記検出された頭部の動きの方向に基づいて、上記フレームの第１のピクセルのセットを選択することであって、上記第１のピクセルのセットの方向は、上記検出された頭部の動きの上記方向と同一である、ことと、
上記少なくとも１つの後続フレームの上記第１のピクセルのセットのサイズを増加させることと
をさらに含む、項目３５に記載の方法。
（項目４０）
上記第１のピクセルのセットの可変焦点要素を調整することをさらに含む、項目３５
に記載の方法。
（項目４１）
上記第１のピクセルのセットの可変サイズソースを調整することをさらに含む、項目
３５に記載の方法。
（項目４２）
上記第１のピクセルのセットのジッタを調整することをさらに含む、項目３５に記載
の方法。
（項目４３）
上記検出された頭部の動きの方向に基づいて、上記フレームの第１のピクセルのセットを選択することであって、上記第１のピクセルのセットの方向は、上記検出された頭部の動きの上記方向と同一である、ことと、
上記検出された頭部の動きに応答して、上記少なくとも１つの後続フレームの上記第１のピクセルのセットの強度を増加させることと
をさらに含む、項目３５に記載の方法。
（項目４４）
上記検出された頭部の動きの方向に基づいて、上記フレームの第１のピクセルのセットを選択することであって、上記第１のピクセルのセットの方向は、上記検出された頭部の動きの上記方向とは反対である、ことと、
上記検出された頭部の動きに応答して、上記少なくとも１つの後続フレームの上記第１のピクセルのセットのサイズを減少させることと
をさらに含む、項目３５に記載の方法。
（項目４５）
上記検出された頭部の動きの方向に基づいて、上記フレームの第１のピクセルのセットを選択することであって、上記第１のピクセルのセットの方向は、上記検出された頭部の動きの上記方向とは反対である、ことと、
上記検出された頭部の動きに応答して、上記少なくとも１つの後続フレームの上記第１のピクセルのセットの強度を減少させることと
をさらに含む、項目３５に記載の方法。
（項目４６）
上記検出された指標は、上記ユーザの頭部の動きの属性が、上記頭部の動きの属性の公称値を超えたという検出に基づく、項目３５に記載の方法。
（項目４７）
上記頭部の動きの属性は、上記頭部の動きの速度および上記頭部の動きの加速のうちの少なくとも１つである、項目４６に記載の方法。
（項目４８）
上記検出された指標は、慣性センサを通して受信される信号に基づく、項目３５に記
載の方法。
（項目４９）
上記検出された指標は、撮像装置を通して受信される信号に基づく、項目３５に記載
の方法。
（項目５０）
上記少なくとも１つの後続フレームは、ラスタ走査型フレーム、渦巻状走査型フレーム、およびリサジュー走査型フレームのうちの少なくとも１つに基づいて提供される、請求項３５に記載の方法。
（項目５１）
仮想画像提示システムにおける動作方法であって、上記方法は、
第１の完全フレームを画像バッファにレンダリングすることであって、上記第１の完全フレームは、仮想オブジェクトの画像を形成するように、ピクセルの連続提示のためのピクセル情報を含む、ことと、
上記第１の完全フレームの提示を開始することと、
上記ピクセル情報の一部分が上記第１の完全フレームから変化している、上記第１の完全フレームへの更新の提示によって、上記第１の完全フレームの提示の完了前に、上記第１の完全フレームの提示を動的に中断することと
を含む、方法。
（項目５２）
上記更新された第１の完全フレームのピクセル情報は、上記第１の完全フレームの上記ピクセル情報とは少なくとも１つの点で異なる、項目５１に記載の方法。
（項目５３）
上記更新された第１の完全フレームは、上記第１の完全フレームの対応部分の代わりに提示される、項目５１に記載の方法。
（項目５４）
上記第１の完全フレームの対応フィールドの代わりに、上記更新された第１の完全フレームの第２のフィールドを提示することをさらに含む、項目５３に記載の方法。
（項目５５）
上記第１の完全フレームの対応フィールドの対応部分の代わりに、上記更新された第１の完全フレームのフィールドの一部分を提示することをさらに含む、項目５３に記載の
方法。
（項目５６）
ラスタ走査の上記第１の完全フレームの対応フィールドの対応部分の代わりに、上記ラスタ走査の上記更新された第１の完全フレームのフィールドの一部分を提示することをさらに含む、項目５３に記載の方法。
（項目５７）
上記第１の完全フレームの対応線の代わりに、上記更新された第１の完全フレームの線を提示することをさらに含む、項目５３に記載の方法。
（項目５８）
上記第１の完全フレームの対応渦巻線の代わりに、上記更新された第１の完全フレームの渦巻線を提示することをさらに含む、項目５３に記載の方法。
（項目５９）
上記第１の完全フレームの対応線の対応部分の代わりに、上記更新された第１の完全フレームの線の一部分を提示することをさらに含む、項目５３に記載の方法。
（項目６０）
上記第１の完全フレームの対応ピクセルの代わりに、上記更新された第１の完全フレームの少なくとも１つのピクセルを提示することをさらに含む、項目５３に記載の方法。
（項目６１）
上記第１の完全フレームのリサジューパターン走査の対応する１つの全サイクルの代わりに、上記更新された第１の完全フレームのリサジューパターン走査の１つの全サイクルを提示することをさらに含む、項目５３に記載の方法。
（項目６２）
上記第１の完全フレームの提示の動的中断は、頭部の動きの公称値を超える上記エンドユーザの検出された頭部の動きに応答する、項目５１に記載の方法。
（項目６３）
仮想画像提示システムにおける動作方法であって、上記方法は、
第１のフィールドおよび第２のフィールドを有する、第１の完全フレームを画像バッファにレンダリングすることであって、上記第１のフィールドは、少なくとも第１の渦巻状走査線を含み、上記第２のフィールドは、少なくとも第２の渦巻状走査線を含み、上記第２の渦巻状走査線は、少なくとも上記第１の渦巻状走査線とインターレースされる、ことと、
上記第１の完全フレームを記憶する上記フレームバッファから読み出すことと、
ピクセル情報の一部分が上記第１の完全フレームから変化している、上記第１の完全フレームへの更新の読み出しによって、上記第１の完全フレームの読み出しの完了前に、前記第１の完全フレームの読み出しを動的に中断することと
を含む、方法。
（項目６４）
上記読み出しの動的中断は、エンドユーザの検出された頭部の動きに基づき、上記検出された頭部の動きは、頭部の動きの公称値を超える、項目６３に記載の方法。
（項目６５）
上記第１の完全フレームの上記第２の渦巻状走査線の代わりに、更新された第２の渦巻状走査線を代用することをさらに含む、項目６３に記載の方法。
（項目６６）
上記第１および第２の渦巻状走査線をインターレースするように、上記第１の渦巻状走査線に対して上記第２の渦巻状走査線を位相偏移させることをさらに含む、項目６３に
記載の方法。
（項目６７）
上記第１、第２、および第３の渦巻状走査線をインターレースするように、上記第２の渦巻状走査線に対して上記第３の渦巻状走査線を位相偏移させることをさらに含む、請求項６３に記載の方法。
（項目６８）
上記第１、第２、第３、第４の渦巻状走査線をインターレースするように、上記第３の渦巻状走査線に対して上記第４の渦巻状走査線を位相偏移させることをさらに含む、請求項６３に記載の方法。
（項目６９）
仮想画像提示システムにおける動作方法であって、上記方法は、
第１のフィールドおよび第２のフィールドを有する、第１の完全フレームを画像バッファにレンダリングすることであって、上記第１のフィールドは、少なくとも第１のリサジュー走査線を含み、上記第２のフィールドは、少なくとも第２のリサジュー走査線を含み、上記第２のリサジュー走査線は、少なくとも上記第１のリサジュー走査線とインターレースされる、ことと、
上記第１の完全フレームを記憶する上記フレームバッファから読み出すことと、
ピクセル情報の一部分が上記第１の完全フレームから変化している、上記第１の完全フレームへの更新の読み出しによって、上記第１の完全フレームの上記読み出しの完了前に、頭部の動きの公称値を超えるエンドユーザの検出された頭部の動きに基づいて、上記第１の完全フレームの上記読み出しを動的に中断することと
を含む、方法。
（項目７０）
上記リサジュー走査線をインターレースするように、上記リサジュー走査線を位相偏移させることをさらに含む、項目６９に記載の方法。
（項目７１）
仮想画像提示システムにおける動作方法であって、上記方法は、
複数のフレームのそれぞれについて、エンドユーザの検出された頭部の動きに応答して、上記それぞれのフレームの少なくとも２つの部分のそれぞれに対するそれぞれの解像度を判定することと、
上記それぞれのフレームの上記少なくとも２つの部分の上記判定されたそれぞれの解像度に基づいて、上記仮想オブジェクトを提示することと
を含む、方法。
（項目７２）
上記それぞれのフレームの一部分は、上記フレームのフィールド、上記フレームの線、および上記フレームのピクセルのうちの少なくとも１つである、項目７１に記載の方法
。
（項目７３）
上記仮想オブジェクトの画像で可変解像度を生成するように、上記フレームの第１の部分および上記フレームの第２の部分の提示の間で、駆動信号の特性を調整することをさらに含む、項目７１に記載の方法。
（項目７４）
上記駆動信号の特性は、上記駆動信号の振幅および上記駆動信号の傾斜のうちの少なくとも１つである、項目７３に記載の方法。
（項目７５）
渦巻状走査パターンを使用して、それぞれの解像度のピクセルデータで上記フレームをレンダリングすることをさらに含む、項目７３に記載の方法。
（項目７６）
処理された眼の追跡データ、エンドユーザ基準フレームに対する上記エンドユーザの視野内の仮想オブジェクトの判定された出現場所、上記エンドユーザの視野に新たに導入されたときの上記仮想オブジェクトの判定された出現場所、および少なくとも１つの前の画像内の上記仮想オブジェクトの位置に対する画像内の新しい位置での上記仮想オブジェクトの判定された出現場所のうちの少なくとも１つに基づいて、上記エンドユーザのための少なくとも第１の画像内の注目点を査定することをさらに含む、項目７１に記載の方法
。
（項目７７）
上記処理された眼の追跡データは、上記ユーザの眼の配向および上記ユーザの頭部の配向のうちの少なくとも１つを示す、項目７６に記載の方法。
（項目７８）
少なくとも１つの後続画像の他の部分に対して、上記査定された注目点に少なくとも近接している上記少なくとも１つの後続画像の一部分内で上記少なくとも１つの後続画像内の上記解像度を増加させることをさらに含む、項目７６に記載の方法。
（項目７９）
少なくとも１つの後続画像の他の部分に対して、上記査定された注目点より遠位にある上記少なくとも１つの後続画像の一部分内で上記少なくとも１つの後続画像内の上記解像度を減少させることをさらに含む、項目７６に記載の方法。
（項目８０）
仮想画像提示システムにおける動作方法であって、上記方法は、
少なくとも１つの仮想オブジェクトをエンドユーザに表示することと、
検出された頭部の動きが頭部の動きの公称値を超えるとき、および予測された頭部の動きが頭部の動きの値を超えると予測されるときのうちの少なくとも１つで、上記少なくとも１つの仮想オブジェクトの表示の一部分を一時的に消去することと
を含む、方法。
（項目８１）
上記検出された頭部の動きおよび上記予測された頭部の動きのうちの上記少なくとも１つを判定するように、少なくとも１つの変換器を介して供給される頭部追跡データを処理することをさらに含み、上記頭部追跡データは、少なくとも上記エンドユーザの頭部の配向を示す、項目８０に記載の方法。
（項目８２）
上記エンドユーザに提示される上記画像のうちの少なくともいくつかのそれぞれについて、エンドユーザ基準フレームに対して上記エンドユーザの視野内の仮想オブジェクトの出現場所を判定することと、
上記判定された場所が、上記エンドユーザの頭部を旋回させるように上記エンドユーザに要求するかどうかを査定することと、
上記査定に基づいて、上記頭部の動きを予測することと
をさらに含む、項目８０に記載の方法。
（項目８３）
上記エンドユーザの視野に新たに導入されたときに、仮想オブジェクトの出現場所を判定することと、
上記判定された場所が、上記エンドユーザの頭部を旋回させるように上記エンドユーザに要求するかどうかを査定することと、
上記査定に基づいて、上記頭部の動きを予測することと
をさらに含む、項目８０に記載の方法。
（項目８４）
少なくとも１つの前の画像内の上記仮想オブジェクトの位置に対する画像内の新しい位置で仮想オブジェクトの出現場所を判定することと、
上記判定された場所が、上記エンドユーザの頭部を旋回させるように上記エンドユーザに要求するかどうかを査定することと、
上記査定に基づいて、上記頭部の動きを予測することと
をさらに含む、項目８０に記載の方法。
（項目８５）
上記表示の一部分の一時消去は、上記頭部の動きまたは予測された頭部の動きの少なくとも一部分の間にディスプレイを点滅させることを含む、項目８０に記載の方法。
（項目８６）
上記表示の一部分の一時消去は、上記頭部の動きまたは予測された頭部の動きの少なくとも一部分の間にディスプレイのバックライトを点滅させることを含む、項目８０に記
載の方法。
（項目８７）
拡張現実システムにおいて少なくとも仮想画像を投影するプロジェクタ装置であって、上記プロジェクタ装置は、
プロジェクタ要素と、
上記プロジェクタ要素を支持する支持体であって、上記プロジェクタ要素は、少なくとも１つの自由軸で移動可能である、支持体と、
上記プロジェクタ要素を選択的に移動させるように連結されている少なくとも１つのアクチュエータと、
上記プロジェクタ要素が、頭部の動きの公称値を超えるエンドユーザの頭部の動きの検出、および上記頭部の動きの公称値を超えると予測される上記エンドユーザの頭部の動きの予測のうちの少なくとも１つに応答して移動させられるように、上記アクチュエータを制御するよう通信可能に連結されている制御サブシステムと
を備える、プロジェクタ装置。
（項目８８）
上記プロジェクタ要素はさらに、少なくとも第１の光ファイバを備え、上記第１の光ファイバは、後端および前端を有し、上記後端は、画像を受信するように連結され、上記前端は、そこから画像を伝送するように位置付けられている、項目８７に記載のプロジェ
クタ装置。
（項目８９）
上記支持要素は、少なくとも上記第１の光ファイバを受容する圧電カラーを備え、上記圧電カラーは、上記第１の光ファイバの前端に近接する上記第１の光ファイバの一部分が、上記圧電カラーから延在し、定義された共振周波数で自由に振動することができるように、上記第１の光ファイバの前端に近接するが、上記第１の光ファイバの前端から後方に離間している、項目８８に記載のプロジェクタ装置。
（項目９０）
上記支持要素は、ジンバルを備え、上記プロジェクタ要素は、少なくとも１つの軸に沿って平行移動可能である、項目８９に記載のプロジェクタ装置。
（項目９１）
上記支持要素は、ジンバルを備え、上記プロジェクタ要素は、少なくとも１つの軸の周囲で平行移動可能に回転可能である、項目８９に記載のプロジェクタ装置。
（項目９２）
上記支持要素は、ジンバルを備え、上記プロジェクタ要素は、少なくとも３つの自由軸で移動可能である、項目８９に記載のプロジェクタ装置。
（項目９３）
上記制御サブシステムは、少なくとも１つの変換器を介して供給される頭部追跡データを受信するように通信可能に連結され、上記頭部追跡データは、少なくとも上記エンドユーザの頭部の配向を示す、項目８７に記載のプロジェクタ装置。
（項目９４）
少なくとも１つの制御サブシステムは、
上記エンドユーザに提示される複数の画像のうちの少なくともいくつかのそれぞれについて、エンドユーザ基準フレームに対して上記エンドユーザの視野内の仮想オブジェクトの出現場所を判定することと、
上記判定された場所が、上記エンドユーザの頭部を旋回させるように上記エンドユーザに要求するかどうかを査定することと、
上記査定に基づいて、上記頭部の動きの発生を予測することと
を行う、項目８７に記載のプロジェクタ装置。
（項目９５）
仮想画像提示システムにおける動作方法であって、上記方法は、
フレームのピクセルのセットのピクセル情報が、最大解像度で最大表示領域を超えるように、定義された視野のフレームをオーバーレンダリングすることと、
検出された頭部の動きおよび予測された頭部の動きのうちの少なくとも１つに基づいて、上記エンドユーザに提示する上記フレームの一部分を判定することと、
上記フレームの上記判定された部分のみを選択的に読み出すことと
を含む、方法。
（項目９６）
上記エンドユーザに提示される上記フレームの一部分は、視野内の仮想オブジェクトの出現場所の上記判定に少なくとも部分的に基づく、項目９５に記載の方法。
（項目９７）
上記エンドユーザに提示される上記フレームの一部分は、上記エンドユーザに提示された前のフレームに対して、時間的に上記エンドユーザの視野に新たに導入されたときに、上記仮想オブジェクトの上記出現場所を判定することに少なくとも部分的に基づく、請求項９５に記載の方法。
（項目９８）
上記エンドユーザに提示される上記フレームの一部分は、少なくとも１つの前のフレームの位置に対する、上記フレーム内の新しい位置で上記仮想オブジェクトの上記出現場所を判定することに少なくとも部分的に基づく、項目９５に記載の方法。
（項目９９）
上記エンドユーザに提示される上記フレームの一部分は、上記エンドユーザの視野内で少なくとも定義された最小速度を有する仮想オブジェクトの場所を判定することに少なくとも部分的に基づく、項目９５に記載の方法。
（項目１００）
仮想オブジェクトへの上記エンドユーザの注目を示す入力に基づいて、上記仮想オブジェクトを選択することをさらに含み、上記エンドユーザに提示される上記フレームの一部分は、上記選択された仮想オブジェクトに基づく、項目９５に記載の方法。
（項目１０１）
上記エンドユーザの注目を示す上記入力は、上記エンドユーザに提示されるような上記仮想オブジェクトの位置が、上記エンドユーザに以前に提示されたような上記仮想オブジェクトの上記位置に対して、どれだけ迅速に変化するかに少なくとも部分的に基づく、請求項１００に記載の方法。
（項目１０２）
提示する上記フレームの判定された部分に向かって少なくとも１つの後続フレームの中心を偏移させる、上記後続フレームのための上記フレームバッファの一部分を読み出すことをさらに含む、項目９５に記載の方法。
（項目１０３）
ユーザ表示デバイスであって、上記ユーザ表示デバイスは、
ユーザの頭部上に搭載可能な筐体フレームと、
上記筐体フレーム上に搭載可能なレンズと、
上記筐体フレームに連結されている投影サブシステムと
を備え、
上記投影サブシステムは、上記ユーザの頭部の動きの検出および上記ユーザの頭部の動きの予測のうちの少なくとも１つに少なくとも部分的に基づいて、上記ユーザの視野内の表示オブジェクトの出現場所を判定し、上記表示オブジェクトの上記判定された出現場所に基づいて、上記表示オブジェクトを上記ユーザに投影する、ユーザ表示デバイス。
（項目１０４）
上記表示オブジェクトの上記出現場所は、頭部の動きの公称値を超えるか、または超えると予測される、上記ユーザの頭部の動きの検出または上記ユーザの頭部の動きの予測のうちの少なくとも１つに応答して、移動させられる、項目１０３に記載のユーザ表示デ
バイス。
（項目１０５）
上記ユーザの頭部の動きの上記予測は、ユーザの焦点の偏移の予測に基づく、項目１
０３に記載のユーザ表示デバイス。
（項目１０６）
上記ユーザの頭部の動きの上記予測は、上記ユーザの設定された履歴属性に基づく、請求項１０３に記載のユーザ表示デバイス。
（項目１０７）
上記筐体フレーム上に搭載可能な第１の一対のカメラをさらに備え、上記第１の一対のカメラは、上記ユーザの眼の動きを追跡し、上記追跡された眼の動きに基づいて上記ユーザの眼の焦点距離を推定する、項目１０３に記載のユーザ表示デバイス。
（項目１０８）
上記投影サブシステムは、上記推定焦点距離に基づいて上記表示オブジェクトを投影する、項目１０７に記載のユーザ表示デバイス。
（項目１０９）
上記筐体フレーム上に搭載可能な第２の一対のカメラをさらに備え、上記第２の一対のカメラは、上記ユーザの眼によって見られるような視野画像を捕捉し、上記視野画像は、少なくとも１つの物理的オブジェクトを含有する、項目１０３に記載のユーザ表示デバ
イス。
（項目１１０）
上記投影サブシステムは、上記表示オブジェクトおよび上記第２の一対のカメラを通して捕捉される上記物理的オブジェクトが、混合され、同一のフレーム内でともに出現するような様式で、上記表示オブジェクトを投影する、項目１０９に記載のユーザ表示デバ
イス。
（項目１１１）
上記出現場所は、少なくとも部分的に上記物理的オブジェクトに基づく、項目１１０
に記載のユーザ表示デバイス。
（項目１１２）
上記表示オブジェクトおよび上記物理的オブジェクトは、所定の関係を有する、項目
１１１に記載のユーザ表示デバイス。
（項目１１３）
上記捕捉された視野画像は、上記ユーザの頭部の動きに関する情報を収集するために使用され、上記ユーザの頭部の動きに関する情報は、上記ユーザの注目の中心、上記ユーザの頭部の配向、上記ユーザの頭部の方向、上記ユーザの頭部の動きの速度、上記ユーザの頭部の加速、および上記ユーザの局所環境に関する上記ユーザの頭部の距離を含む、請求項１０７に記載のユーザ表示デバイス。
（項目１１４）
上記レンズは、上記ユーザが局所環境を視認することができるように、透過光を選択的に許容する少なくとも１つの透明な表面を備える、項目１０３に記載のユーザ表示デバ
イス。
（項目１１５）
上記投影サブシステムは、上記ユーザが、上記表示オブジェクトおよび上記レンズの透明な表面を通して視認されるような上記局所環境の両方を視認するような様式で、上記表示オブジェクトを投影する、項目１１４に記載のユーザ表示デバイス。
（項目１１６）
上記ユーザの頭部の動きを示す慣性測定値のセットを捕捉する少なくとも１つの慣性変換器をさらに備え、上記慣性測定値のセットは、上記ユーザの頭部の動きの速度、上記ユーザの頭部の動きの加速、上記ユーザの頭部の動きの方向、上記ユーザの頭部の位置、および上記ユーザの頭部の配向を含む、項目１０３に記載のユーザ表示デバイス。
（項目１１７）
上記ユーザの頭部および上記ユーザの局所環境のうちの少なくとも１つを照射する少なくとも１つの光源をさらに備える、項目１０３に記載のユーザ表示デバイス。
（項目１１８）
上記投影サブシステムは、上記検出された頭部の動きおよび上記予測された頭部の動きのうちの少なくとも１つを補うように、上記表示オブジェクトと関連付けられたピクセルのセットの知覚されたサイズ、強度、および解像度のうちの少なくとも１つを調整する、項目１０３に記載のユーザ表示デバイス。
（項目１１９）
上記表示オブジェクトは、仮想オブジェクトおよび拡張仮想オブジェクトのうちの１つである、項目１０３に記載のユーザ表示デバイス。
図１は、フレームをエンドユーザにレンダリングするために予測頭部追跡を使用する実施例を図示する。 図２は、エンドユーザに提示される仮想オブジェクトの特性に基づいて頭部の動きを予測する技法の実施例を図示する。 図３は、フレームの中心が偏移させられる実施例を図示する。 図４は、エンドユーザの履歴属性のセットに基づいて頭部の動きを予測する技法の実施例を図示する。 図５は、履歴属性に基づいて頭部の動きを予測する技法の別の実施例を図示する。 図６は、ユーザの種々の履歴属性を取り出す実施例を図示する。 図７は、予測された終点に基づいて後続フレームをレンダリングする実施例を図示する。 図８は、後続フレームをレンダリングする別の実施例を図示する。 図９は、頭部の動きの発生を予測する実施例を図示する。 図１０は、頭部の動きに基づいてピクセルを調整する実施例を図示する。 図１１は、調整されたピクセルでフレームをレンダリングする実施例を図示する。 図１２は、ピクセルのサイズおよび／または強度を増加させる実施例を図示する。 図１３は、フレームの提示を動的に中断する実施例を図示する。 図１４は、更新されたフレームの一部分を提示する実施例を図示する。 図１５は、更新フレームを読み取る実施例を図示する。 図１６は、位相偏移の実施例を図示する。 図１７は、画像内で可変解像度を引き起こす実施例を図示する。 図１８は、駆動信号の振幅を調整する実施例を図示する。 図１９は、エンドユーザの注目点に基づいて後続画像内の解像度を調整する実施例を図示する。 図２０は、像度を調整する別の実施例を図示する。 図２１は、仮想オブジェクトの出現場所を判定する実施例を図示する。 図２２は、仮想オブジェクトの表示の一部分を消去する実施例を図示する。 図２３は、仮想オブジェクトの魅力に基づいて頭部の動きを予測する実施例を図示する。 図２４は、点滅の実施例を図示する。 図２５は、プロジェクタ要素を移動させるようにアクチュエータを選択的に起動する実施例を図示する。 図２６は、フレームの部分を選択的に読み出す実施例を図示する。 図２７は、仮想オブジェクトの判定された場所に基づく部分を選択的に読み出す実施例を図示する。 図２８は、部分を選択的に読み出す別の実施例を図示する。 図２９は、エンドユーザに提示する画像の一部分を判定する実施例を図示する。 図３０は、オーバーレンダリングされたフレームの一部分を動的にアドレス指定する実施例を図示する。 図３１は、ピクセル情報を有するフレームの実施例を図示する。 図３２は、ラスタ走査パターンの実施例を図示する。 図３３は、渦巻状走査パターンの実施例を図示する。 図３４は、リサジュー走査パターンの実施例を図示する。 図３５は、マルチフィールド渦巻状走査パターンの実施例を図示する。 図３６Ａは、エンドユーザの頭部の急速な側方移動中のラスタ走査パターンの歪曲の実施例を図示する。図３６Ｂは、エンドユーザの頭部の垂直上方移動中のラスタ走査パターンの歪曲の実施例を図示する。 図３７Ａは、左へのエンドユーザの頭部の急速な側方移動中の渦巻状走査線の歪曲の実施例を図示する。図３７Ｂは、左へのエンドユーザの頭部の非常に急速な側方移動中の渦巻状走査線の歪曲の実施例を図示する。 図３８は、仮想画像生成システムの概観を図示する。
（詳細な説明）
以下に続く説明は、仮想現実および／または拡張現実システムで使用される表示システムおよび方法に関する。しかしながら、本発明が仮想現実における用途に良く役立つ一方で、本発明は、その最も広い側面では、そのように限定されなくてもよいことを理解されたい。
最初に図３８を参照すると、図３８は、１つの図示した実施例による、仮想画像をエンドユーザ３８０２に提供するように動作し得る、仮想画像生成システム３８００を示す。
仮想画像生成システム３８００は、エンドユーザの視野内の物理的オブジェクトと混合させられる仮想オブジェクトの画像を提供する、拡張現実システムとして操作されてもよい。拡張現実システムとして仮想画像生成システム３８００を操作するときに、２つの基礎的アプローチがある。第１のアプローチは、周囲環境の画像を捕捉するために、１つまたはそれを上回る撮像装置（例えば、カメラ）を採用する。仮想画像生成システム３８００は、仮想画像を、周囲環境の画像を表すデータに混合してもよい。第２のアプローチは、それを通して周囲環境を見ることができ、その上で仮想画像生成システム３８００が仮想オブジェクトの画像を生成する、１つまたはそれを上回る少なくとも部分的に透明な表面を採用する。当業者に明白となるように、本明細書で説明される側面のうちの少なくともいくつかが、拡張現実システムに特に適している。
仮想画像生成システム３８００は、仮想環境で仮想オブジェクトの画像を提供する、仮想現実システムとして操作されてもよい。
仮想画像生成システム３８００、および本明細書で教示される種々の技法は、拡張現実および仮想現実システム以外の用途で採用されてもよい。例えば、種々の技法は、任意の投影または表示システムに適用されてもよい。例えば、本明細書で説明される種々の技法は、動きが、頭部の動きよりもむしろエンドユーザの手の動きであり得る、ピコプロジェクタに適用されてもよい。したがって、多くの場合、拡張現実システムに関して本明細書で説明されるが、教示は、そのようなシステムまたはそのような使用に限定されるべきではない。
少なくとも拡張現実用途について、エンドユーザ３８０２の視野内のそれぞれの物理的オブジェクトに対して、種々の仮想オブジェクトを空間的に位置付けることが望ましくあり得る。本明細書では仮想タグまたはタグあるいはコ−ルアウトしとも称される、仮想オブジェクトは、多種多様の形態のうちのいずれか、基本的には、画像として提示されることが可能な任意の種々のデータ、情報、概念、または論理的構築物を成してもよい。仮想オブジェクトの非限定的実施例は、仮想テキストオブジェクト、仮想数値オブジェクト、仮想英数字オブジェクト、仮想タグオブジェクト、仮想フィールドオブジェクト、仮想チャートオブジェクト、仮想マップオブジェクト、仮想計装オブジェクト、または物理的オブジェクトの仮想視覚表現を含んでもよい。
頭部追跡精度および待ち時間が、仮想現実および拡張現実システムにとって問題となっている。追跡の不正確性および待ち時間は、エンドユーザの視覚系と前庭系との間の不一致を生じる。そのようなものは、吐き気および不快感につながり得る。そのようなものは、エンドユーザの視野の大部分を充填する表示システムで特に問題である。そのようなものに対処することへのアプローチは、例えば、点滅または閃光を介して、あるいは他の技法を介して、フレームレートまたは有効フレームレートを増加させることを含んでもよい。本明細書で説明されるように、例えば、待ち時間を短縮することによって、そのようなものに対処するために、予測頭部追跡が採用されてもよい。予測頭部追跡は、特定のエンドユーザの履歴データまたは属性を含む、多種多様の要因またはアプローチのうちのいずれかに依拠し得る。また、本明細書で説明されるように、表示または提示の消去、例えば、急速な頭部の動きの間の消去が、効果的に採用されてもよい。
少なくとも拡張現実用途について、物理的オブジェクトと空間的に関連する（例えば、２または３次元で物理的オブジェクトに空間的に近接して出現するように提示される）仮想オブジェクトの配置が、重要な問題であり得る。例えば、頭部の動きは、周囲環境の視界で仮想オブジェクトの配置を有意に複雑にし得る。そのようなものは、視界が周囲環境の画像として捕捉され、次いで、エンドユーザ３８０２に投影または表示されるかどうか、またはエンドユーザ３８０２が周囲環境の視界を直接知覚するかどうかにかかわらず当てはまる。例えば、頭部の動きは、おそらくエンドユーザ３８０２の視野を変化させ、これは、おそらく、種々の仮想オブジェクトがエンドユーザ３８０２の視野で表示される場所への更新を必要とするであろう。加えて、頭部の動きは、多種多様の範囲および速度内で起こり得る。頭部の動きの速度は、異なる頭部の動きの間だけでなく、単一の頭部の動きの範囲内で、または範囲にわたっても変動し得る。例えば、頭部の動きの速度は、最初に始点から（例えば、直線的に、またはそうではなく）増加してもよく、かつ終点に達すると減少してもよく、頭部の動きの始点と終点との間のどこかで最大速度を得る。急速な頭部の動きは、エンドユーザ３８０２には一様に見える、および／または平滑な運動のように見える画像をレンダリングする、特定の表示または投影技術の能力さえも超え得る。
図３８で図示される実施形態では、仮想画像生成システム３８００は、エンドユーザ３８０２の眼３８０８と周囲環境との間のエンドユーザ３８０２の視野内に位置付けられる、部分的に透明なディスプレイ表面３８０６上に画像を投影するように動作可能である、投影サブシステム３８０４を含む。仮想画像生成システム３８００は、エンドユーザ３８０２の頭部３８１０上に装着または搭載され、例えば、眼鏡またはバイザーに組み込まれてもよい。
図示した実施形態では、投影サブシステム３８０４は、その中に光が受容される後または遠位端３８１２ａと、そこから光が部分的に透明なディスプレイ表面３８０６に提供されるか、またはエンドユーザ３８０２の眼３８０８に直接投影される、前または近接端３８１２ｂとを有する、１つまたはそれを上回る光ファイバ３８１２（例えば、単一モード光ファイバ）を含む。投影サブシステム３８０４はまた、光を生成し（例えば、定義されたパターンで異なる色の光を発し）、光を１つまたはそれを上回る光ファイバ３８１２の後または遠位端３８１２ａに通信可能に連結する、１つまたはそれを上回る光源３８１５を含んでもよい。光源３８１５は、多種多様の形態のうちのいずれか、例えば、ピクセル情報またはデータのそれぞれのフレームで特定される、定義されたピクセルパターンに従って、赤色、緑色、および青色のコヒーレント平行光線をそれぞれ生成するように動作可能である、ＲＧＢレーザのセット（例えば、赤色、緑色、および青色光を出力することが可能なレーザダイオード）を成してもよい。レーザ光は、高い彩度を提供し、高度にエネルギー効率的である。
図３８は、単一の光ファイバ３８１２を示すが、いくつかの実装は、光を複数のチャンネルに分割する、２つまたはそれを上回る光ファイバ３８１２を採用してもよい。そのような実装では、光ファイバ３８１２は、光を屈曲し、チャネル間の光学間隔を縮小するように、交互の先端、または面取りおよび研磨した先端を有してもよい。光ファイバ３８１２は、リボンケーブルとして便宜的に包装されてもよい。好適な光学部は、チャネルのそれぞれによって生成されるそれぞれの画像の複合体を生成してもよい。
１つまたはそれを上回る光ファイバ３８１２は、そこから延在する前または近接端３８１２ｂの一部分を伴うヨーク３８１４によって支持されてもよい。ヨーク３８１４は、振動運動で前または近接端３８１２ｂを設定するように動作可能であり得る。例えば、ヨーク３８１４は、圧電変換器３８１４ａの管を備えてもよい（１つだけが図３８に示されている）。いくつかの電極３８１３（例えば、４つが図示され、１つだけがコ−ルアウトされている）が、圧電変換器３８１４ａの周囲で半径方向に配列される。例えば、フレームバッファ３８２８を介して、制御信号を圧電変換器３８１４ａと関連付けられるそれぞれの電極３８１３に印加することにより、光ファイバ３８１２の前または近接端３８１２ｂを、第１の共鳴モードで振動させることができる。振動のサイズまたは中心外移動の量は、種々の少なくとも２軸パターンのうちのいずれかを得るように、印加された駆動信号を介して制御可能である。パターンは、例えば、ラスタ走査パターン、渦巻状またはらせん走査パターン、あるいはリサジューまたは８の字走査パターンを含んでもよい。
図３１は、１つの図示した実施形態による、画像、例えば、１つまたはそれを上回る仮想オブジェクトの画像を提示するように、ピクセル情報またはデータを特定する、ピクセル情報またはデータのフレーム３１００を示す。フレーム３１００は、各ピクセルにセル３１００ａ−３１００ｎ（２つだけがコ−ルアウトされている、集合的に３１０２）を伴って概略的に図示される。行または列３１０４ａ、３１０４ｂ−３１００ｎ（３つがコ−ルアウトされている、集合的に３１０４）に配列されたセルのシーケンスが、図３１の図面を横断して水平に延在するものとして図示されている。フレーム３１００は、複数の列３１０４を含む。図３１は、図示を明確にするために省略されているセルまたは列等の欠落した情報を表すために楕円を採用する。
フレーム３１００の各セル３１０２は、セルが対応するそれぞれのピクセルおよび／または強度に対する複数の色のそれぞれの値（集合的に３１０６）を特定してもよい。例えば、フレーム３１００は、各ピクセルについて、赤色の１つまたはそれを上回る値３１０６ａ、緑色の１つまたはそれを上回る値３１０６ｂ、および青色の１つまたはそれを上回る値３１０６ｃを特定してもよい。値３１０６は、色のそれぞれの２進表現、例えば、各色のそれぞれの４ビット数として特定されてもよい。フレーム３１００の各セル３１０２は、加えて、例えば、フレーム３１００が、渦巻状走査線パターンベースのシステムとともに、またはリサジュー走査線パターンベースのシステムとともに使用され得る、各ピクセルの振幅または半径方向寸法を特定する、振幅または半径値＃Ｐ０６ｄを含んでもよい。
フレーム３１００は、１つまたはそれを上回るフィールド、集合的に３１１０を含んでもよい。フレーム３１００は、単一のフィールドから成ってもよい。代替として、フレーム３１００は、２つ、またはさらに多くのフィールド３１１０ａ−３１１０ｂを備えてもよい。図３１で図示されるフレーム３１００は、２つのフィールド３１１０ａ−３１１０ｂを示す。フレーム３１００の完全な第１のフィールド３１１０ａのピクセル情報は、完全な第２のフィールド３１１０ｂのピクセル情報の前に特定されてもよく、例えば、アレイ、順序付けられたリスト、または他のデータ構造（例えば、記録、リンクされたリスト）の中で第２のフィールド３１１０ｂのピクセル情報の前に生じる。提示システムが２つより多くのフィールド３１１０ａ−３１１０ｂを取り扱うように構成されると仮定して、第３またはさらに第４のフィールドが、第２のフィールド３１１０ｂに続いてもよい。
図３２は、ラスタ走査パターン３２００を概略的に表す。ラスタ走査パターン３２００では、ピクセル３２０２（１つだけがコ−ルアウトされている）が連続的に提示される。ラスタ走査パターン３２００は、典型的には、左から右に（矢印３２０４ａ、３２０４ｂによって示される）、次いで、上から下に（矢印３２０６によって示される）ピクセルを提示する。したがって、提示は、右上隅から始まり、列の終端に達するまで第１の列３２０８ａにわたって左に横断してもよい。次いで、ラスタ走査パターン３２００は、典型的には、下の次の列で左から始まる。提示は、一時的に黒くされるか、または消去され、１つの列の終端から次の列の始めに戻る。このプロセスは、例えば、一番下の最右ピクセルで、一番下の列３２０８ｎが完了するまで、列毎に繰り返す。フレーム３１００が完成すると、新しいフレームが開始され、再度、次のフレームの最上列の右に戻る。再度、提示は、次のフレームを提示するように、左下から右上に戻りながら消去されてもよい。
ラスタ走査の多くの実装は、インターレース走査パターンと称されるものを採用する。インターレースラスタ走査パターンでは、第１および第２のフィールド３２１０ａ、３２１０ｂからの列がインターレースされる。例えば、第１のフィールド３２１０ａの列を提示するとき、第１のフィールド３２１０ａのピクセル情報が、奇数の列のみに使用されてもよい一方で、第２のフィールド３２１０ｂのピクセル情報は、奇数の列のみに採用されてもよい。したがって、フレーム３１００（図３１）の第１のフィールド３２１０ａの列の全てが、典型的には、第２のフィールド３２１０ｂの列の前に提示される。第１のフィールド３２１０ａは、列１、列３、列５等を連続的に提示するように、第１のフィールド３２１０ａのピクセル情報を使用して提示されてもよい。次いで、フレーム３１００（図３１）の第２のフィールド３２１０ｂは、列２、列４、列６等を連続的に提示するように、第２のフィールド３２１０ｂのピクセル情報を使用することによって、第１のフィールド３２１０ａに続いて提示されてもよい。
図３３は、１つの図示した実施形態による、渦巻状走査パターン３３００を概略的に表す。渦巻状走査パターン３３００は、コイルまたはループとして表され得る、１つまたはそれを上回る完全角度サイクル（例えば、３６０度）を含み得る、単一の渦巻状走査線３３０２から成ってもよい。ピクセル情報は、角度が増分すると、各順次ピクセルの色および／または強度を特定するために使用される。振幅または半径値３２０８（図３１）が、渦巻状走査線３３０２の始点３３０８から半径方向寸法＃Ｒ０６を特定する。
図３４は、１つの図示した実施形態による、リサジュー走査パターン３４００を概略的に表す。リサジュー走査パターン３４００は、コイルまたはループとして表され得る、１つまたはそれを上回る完全角度サイクル（例えば、３６０度）を含み得る、単一のリサジュー走査線３４０２から成ってもよい。代替として、リサジュー走査パターン３４００は、それぞれ、リサジュー走査線３４０２をネスト化するように相互に対して位相偏移させられる、２つまたはそれを上回るリサジュー走査線３４０２を含んでもよい。ピクセル情報は、角度が増分すると、各順次ピクセルの色および／または強度を特定するために使用される。振幅または半径値３２０８（図３１）が、リサジュー走査線３４０２の始点から半径方向寸法を特定する。
図３５は、１つの図示した実施形態による、マルチフィールド渦巻状走査パターン３５００を概略的に表す。マルチフィールド渦巻状走査パターン３５００は、２つまたはそれを上回る明確に異なる渦巻状走査線、集合的に、４本の渦巻状走査線３５０２ａ−３５０２ｄを図示する図３５の３５０２を含む。各渦巻状走査３５０２線のピクセル情報は、フレーム３１００（図３１）のそれぞれのフィールド（例えば、３２１０ａ、３２１０ｂ）によって特定されてもよい。有利なことには、単純に、渦巻状走査線３５０２のうちの各連続走査線の間の位相を偏移させることによって、複数の渦巻状走査線３５０２がネスト化されてもよい。渦巻状走査線３５０２の間の位相差は、採用されるであろう渦巻状走査線３５０２の総数の関数となるべきである。例えば、４本の渦巻状走査線３５０２ａ−３５０２ｄは、９０度位相偏移によって分離されてもよい。例示的実施形態は、１０本の明確に異なる渦巻状走査線（すなわち、副次的渦巻）を用いて１００Ｈｚリフレッシュレートで動作してもよい。図３３の実施形態と同様に、１つまたはそれを上回る振幅または半径値３２０８（図３１）が、渦巻状走査線３５０２の始点３５０８から半径方向寸法３５０６を特定する。
図３４および３５から明白であるように、隣接ピクセル間の相対間隔は、画像の全体を通して変動し得る。この非一様性に少なくとも部分的に適応するか、またはそれを補うことが有利であり得る。例えば、ピクセルサイズを調整する、例えば、他のピクセルより遠く離間されるピクセルについて、知覚されたピクセルサイズを増加させることが有利であり得る。そのようなものは、例えば、ガウススポットサイズを増加させるように、選択的なぼやけ（例えば、可変焦点レンズ、可変拡散器、ジッタ）を介して実装されてもよい。加えて、または代替として、他のピクセルより遠く離間されるピクセルの強度を調整することが有利であり得る。
図３８に戻って、第１の軸の周囲の共振周波数で、および第１の軸と垂直な第２の軸の周囲の共振周波数で、正弦波駆動信号を用いて圧電変換器３８１４ａを駆動することにより、渦巻状走査パターンを生成する。渦巻状走査パターンは、角度寸法が変動すると変動する、半径方向寸法によって特性化されてもよい。例えば、半径方向寸法が、直線的または非直線的に変動し得る一方で、半径方向寸法は、０度から３６０度に、または３６０度まで変動する。見掛上、渦巻状走査線は、始点から始まり、平面で回転しながら半径方向外向きに掃引する、連続らせんのように見えてもよい。各完全角度サイクルは、コイルまたはループを構成するものとして表されてもよい。渦巻状走査線は、始点から再開する前に、任意の所望の数のコイルまたはループを有するものとして定義されてもよい。表示または提示が消去されるリフレッシュ期間は、時間的に第１の渦巻状走査パターンの終了と次の時間的に連続的な渦巻状走査パターンの開始との間で起こり得る。渦巻状走査パターンの最外半径方向寸法は、正弦波駆動信号の振幅変調によって設定されてもよい。渦巻状走査線パターンの振幅変調は、角度寸法に影響を及ぼすことなく、半径方向寸法を調整する。したがって、振幅変調は、所与の走査線に対する所与の時間でサイクルの周波数（例えば、コイルまたはループの数）またはサイクルの数に影響を及ぼさないであろう。パターン内の前または近接端３８１２ｂの位置は、２または３次元画像を形成するように、光源３８１５の出力と同期化される。
図示されていないが、投影サブシステム３８０４は、例えば、部分的に透明なディスプレイ表面３８０６を介して、１つまたはそれを上回る光ファイバ３８１２の前または近接端３８１２ｂから、エンドユーザ３８０２の眼３８０８に向かって直接的または間接的に出力を指向する、１つまたはそれを上回る光学構成要素（例えば、レンズ、フィルタ、格子、プリズム、反射体、二色性反射体、屈折体）を含んでもよい。図示されていないが、投影サブシステム３８０４は、ピクセルデータのＺ軸位置の深度を変調する、１つまたはそれを上回る光学構成要素を含んでもよい。そのようなものは、例えば、可撓性反射（例えば、アルミニウムでコーティングされた窒化物スパッタ）膜、および可撓性反射膜の偏向を引き起こすように操作される１つまたはそれを上回る電極の形態を成してもよい。可撓性反射膜は、１つまたはそれを上回る光ファイバ３８１２の前または近接端３８１２ｂから発せられる光を反射して集束するように位置付けられる。可撓性反射膜は、Ｚ次元または軸で光を集束するように、ピクセルデータまたは情報の深度マップに基づいて選択的に動作可能である。可撓性反射膜は、奥行きを生じるためにガウススポットを採用してもよく、画像内のある仮想オブジェクトは、焦点が合って見える一方で、他の仮想オブジェクトは、焦点が外れて見える。加えて、または代替として、本システムは、１つまたはそれを上回るカー効果レンズを採用してもよい。
頭部装着型実施形態に必要ではないが、光ファイバ３８１２、および随意にヨーク３８１４は、１つまたはそれを上回る方向への移動のために支持されてもよい。例えば、光ファイバ３８１２、および随意にヨーク３８１４は、２、３、またはそれを上回る移動の自由度のために、ジンバル３８１６を介して支持されてもよい。ジンバル３８１６は、ターンテーブル３８１６ａと、第１の軸３８２０ａの周囲で枢動または回転するように動作可能な第１のアクチュエータ３８１８ａ（例えば、電気モータ、ソレノイド、圧電変換器）とを含んでもよい。ジンバル３８１６は、ターンテーブル３８１６ａ上でフレーム３８１６ｃによって支持されるブラケット３８１６ｂと、第２の軸３８２０ｂの周囲で枢動または回転するように動作可能な第２のアクチュエータ３８１８ｂ（例えば、電気モータ、ソレノイド、圧電変換器）とを含んでもよい。ジンバル３８１６は、ブラケット３８１６ｂによって枢動可能に支持されるシャフト３８１６ｄと、第３の軸３８２０ｃの周囲で枢動または回転するように動作可能な第３のアクチュエータ３８１８ｃ（例えば、電気モータ、ソレノイド、圧電変換器）とを含んでもよい。第１、第２、第３の軸（集合的に３８２０）は、直行軸であってもよい。
図３８で図示される実施形態では、仮想画像生成システム３８００は、制御サブシステム３８２２を含む。制御サブシステム３８２２は、そのうちの１つが図３８で図示される、多種多様の形態のうちのいずれかを成してもよい。
制御サブシステム３８２２は、いくつかのコントローラ、例えば、１つまたはそれを上回るマイクロコントローラ、マイクロプロセッサ、または中央処理装置（ＣＰＵ）３８２４、デジタル信号プロセッサ（ＤＳＰ）、グラフィックス処理ユニット（ＧＰＵ）３８２６、特定用途向け集積回路（ＡＳＩＣ）等の他の集積回路コントローラ、プログラマブルゲートアレイ（ＰＧＡ）、例えば、フィールドＰＧＡ（ＦＰＧＡ）および／またはプログラマブル論理コントローラ（ＰＬＵ）を含む。図３８で図示される実施形態では、マイクロプロセッサ３８２４が、全体的な動作を制御する一方で、ＧＰＵ３８２６は、フレーム（例えば、ピクセルデータのセット）を１つまたはそれを上回るフレームバッファ３８２８ａ−３８２８ｎ（集合的に３８２８）にレンダリングする。図示されていないが、１つまたはそれを上回る付加的な集積回路は、両方とも２または３次元画像を生成するように同期化する、フレームバッファ３８２８へのフレームの読み込みおよび／またはフレームバッファ３８２８からのフレームの読み出し、ならびに圧電変換器または電極３８１４ａの動作を制御してもよい。フレームバッファ３８２８への読み込みおよび／またはフレームバッファ３８２８からの読み出しは、例えば、フレームがオーバーレンダリングされる、動的アドレス指定を採用してもよい。
制御サブシステム３８２２は、命令およびデータを記憶するように、１つまたはそれを上回る非一過性のコンピュータまたはプロセッサ可読媒体を含む。非一過性のコンピュータまたはプロセッサ可読媒体は、例えば、フレームバッファ３８２８を含んでもよい。非一過性のコンピュータまたはプロセッサ可読媒体は、例えば、１つまたはそれを上回る不揮発性メモリ、例えば、読取専用メモリ（ＲＡＭ）３８３０またはフラッシュメモリを含んでもよい。非一過性のコンピュータまたはプロセッサ可読媒体は、例えば、１つまたはそれを上回る揮発性メモリ、例えば、ランダムアクセスメモリ（ＲＡＭ）３８３２を含んでもよい。制御サブシステム３８２２は、他の揮発性および不揮発性メモリを含んでもよく、回転媒体記憶装置ならびにソリッドステート記憶デバイスを含む。
アクチュエータ（集合的に３８１８）が採用される実装では、制御サブシステム３８２２は、随意に、モータ制御信号を介してアクチュエータ３８１８を駆動するように通信可能に連結される、１つまたはそれを上回る専用モータコントローラ３８３４を含んでもよい。
制御サブシステム３８２２は、随意に、種々の他のシステム、構成要素、またはデバイスとの通信を提供する、１つまたはそれを上回る通信ポート３８３６ａ、３８３６ｂ（集合的に３８３６）を含んでもよい。例えば、制御サブシステム３８２２は、有線または光学通信を提供する、１つまたはそれを上回る有線インターフェースまたはポート３８３６ａを含んでもよい。また、例えば、制御サブシステム３８２２は、無線通信を提供する、１つまたはそれを上回る無線機（すなわち、無線伝送機、受信機、送受信機）３８３６ｂ等の１つまたはそれを上回る無線インターフェースまたはポートを含んでもよい。
図示されるように、有線インターフェースまたはポート３８３６ａは、エンドユーザ３８０２が位置する環境の画像を捕捉するように位置付けられて配向される、１つまたはそれを上回るカメラ３８３８ａを含む、環境撮像システム３８３８との有線または光学通信を提供する。そのようなものは、エンドユーザ３８０２および／または環境についての情報を感知、測定、または収集するために使用されてもよい。例えば、そのようなものは、エンドユーザ３８０２または頭部３８１０等のエンドユーザ３８０２の身体の部分の動きおよび／また配置を検出または測定するために使用されてもよい。図示されるように、有線インターフェースまたはポート３８３６ａは、随意に、エンドユーザ３８０２、頭部３８１０等のエンドユーザ３８０２の一部分、および／またはエンドユーザ３８０２が位置する環境を照射するように位置付けられて配向される、１つまたはそれを上回る光源３８４０ａを含む、構造照明システム３８４０との有線または光学通信を提供してもよい。
図示されるように、無線インターフェースまたはポート３８３６ｂは、エンドユーザ３８０２の頭部３８１０の動きを示す慣性測定を捕捉するように、１つまたはそれを上回る慣性変換器３８４２ａを含む、１つまたはそれを上回る頭部装着型変換器システム３８４２との無線（例えば、ＲＦ、マイクロ波、ＩＲ）通信を提供する。そのようなものは、エンドユーザ３８０２の頭部の動きについての情報を感知、測定、または収集するために使用されてもよい。例えば、そのようなものは、エンドユーザ３８０２の頭部３８１０の動き、速度、加速、および／また配置を検出または測定するために使用されてもよい。図示されるように、有線インターフェースまたはポート３８３６ａは、随意に、例えば、１つまたはそれを上回る前向きの撮像装置またはカメラ３８４２ａを含む、撮像システム３８４２との有線または光学通信を提供してもよい。そのようなものは、エンドユーザ３８０２が位置する環境についての情報を捕捉するために使用されてもよい。そのようなものは、その環境およびその環境内の特定のオブジェクトに対するエンドユーザ３８０２の距離および配向を示す情報を捕捉するために使用されてもよい。頭部に装着されたとき、前向きの撮像装置またはカメラ３８４２ａは、エンドユーザ３８０２が位置する環境およびその環境内の特定のオブジェクトに対するエンドユーザの頭部３８１０の距離および配向を示す情報を捕捉するために特に適している。そのようなものは、例えば、頭部の動き、頭部の動きの速度および／または加速を検出するために採用されてもよい。そのようなものは、例えば、エンドユーザの頭部３８１０の配向に少なくとも部分的に基づいて、例えば、エンドユーザ３８０２の注目の中心を検出または推測するために採用されてもよい。配向は、任意の方向で（例えば、エンドユーザの基準フレームに対して上／下、左／右）検出されてもよい。
いくつかの実装では、全ての通信が有線であり得る一方で、他の実装では、全ての通信は無線であり得る。なおもさらなる実装では、有線および無線通信の選択は、図３８で図示されるものとは異なり得る。したがって、有線または無線通信の特定の選択は、限定的と見なされるべきではない。
制御サブシステム３８２２の種々の構成要素、例えば、マイクロプロセッサ３８２４、ＧＰＵ３８２６、フレームバッファ３８２８、ＲＯＭ３８３０、ＲＡＭ３８３２、および／または随意に専用モータコントローラ３８３４は、１つまたはそれを上回る通信チャネル、例えば、１つまたはそれを上回るバス３８４６（１つだけが図示されている）を介して通信可能に連結されてもよい。バス３８４６は、命令バス、データバス、アドレスバス、他の通信バス、および／または電力バスを含む、種々の形態を成してもよい。
頭部の動きを予測する能力は、拡張現実システム等の仮想画像生成システム３８００（図３８）が、画像の提示を時迅に更新すること、および／または頭部の動きに適応するか、あるいはそれを補うことを可能にする。例えば、後続フレームは、感知された頭部の動きが採用された場合のみ可能であるよりも早く、レンダリングされるか、または読み出されてもよい。本明細書の議論から明白となるように、適応または補償は、種々の形態を成してもよい。例えば、後続フレームは、偏移した視野、またはエンドユーザの注目あるいは焦点の領域に向かって、またはそこに偏移させられる中心を伴って、レンダリングされるか、または読み出されてもよい。また、例えば、後続フレームは、頭部の動きに起因する変動に適応するか、またはそれを補うように、レンダリングされるか、または読み出されてもよい。例えば、ある表示または投影技術（例えば、ラスタ走査、渦巻状走査、リサジュー操作等のピクセルが連続的に表示される「フライングピクセル」技術）では、フレームがエンドユーザに提示されると、急速な頭部の動きがピクセル間の間隔の変化を引き起こし得る。適応または補償は、このピクセル間隔の変動に適応すること、またはそれを補うことを含んでもよい。例えば、いくつかのピクセルのサイズまたは感知されたサイズは、他のピクセルに対して調整されてもよい。また、例えば、いくつかのピクセルの強度または感知された輝度は、他のピクセルに対して調整されてもよい。さらなる実施例として、後続フレームは、結果として生じる画像の異なる部分の間の可変解像度で、レンダリングされるか、または読み出されてもよい。他の適応または補償技法が、本議論から明白となるであろう。他の側面では、これらの同一の技法の多くは、適応または補償以外の目的で採用されてもよく、予測頭部追跡、感知された頭部追跡とは無関係に、および／または「フライングピクセル」ベースではない表示または投影技術とともに採用されてもよい。
エンドユーザの動き、例えば、頭部の動きは、画像に大幅な影響を及ぼし得る。拡張現実システムが、フレーム、後に、頭部の動きと一致するフレームをレンダリングしようとすると、仮想オブジェクトの結果として生じる画像が圧縮され、拡張され、または別様に歪曲され得る。これは、少なくとも部分的に、多くの表示または提示技術（すなわち、「フライングピクセル」技術）について、任意の所与のフレームの完全画像が同時に提示または表示されないが、むしろピクセルごとに提示または表示されるという事実の結果である。したがって、これらの表示または提示技術のための真の瞬間視野がない。そのようなものは、多くの異なる種類の画像生成技術、例えば、ラスタ走査、渦巻状走査、またはリサジュー走査アプローチにわたって、異なる形態で生じ得る。１つまたはそれを上回る「白色」または空白フレームまたは画像が、急速な頭部の動きの効果のうちのいくつかを軽減し得る。
例えば、図３６Ａは、エンドユーザの頭部の急速な側方移動中に生成されるラスタ走査３６００ａの例示的な歪曲を示す。頭部運動が開始後に加速し、終了に先立って減速し得るため、歪曲は、非線形である可能性が高い。歪曲は、頭部の動きの方向、速度、および加速、ならびにラスタ走査ピクセル生成の方向（例えば、右から左、上から下）の関数である。
また、例えば、図３６Ｂは、エンドユーザの頭部の垂直上方移動中に生成されるラスタ走査３６００の例示的な歪曲を示す。頭部運動が開始後に加速し、終了に先立って減速し得るため、歪曲は、非線形である可能性が高い。歪曲は、頭部の動きの方向、速度、および加速、ならびにラスタ走査ピクセル生成の方向（例えば、右から左、上から下）の関数である。
さらに別の実施例として、図３７Ａは、左へのエンドユーザの頭部の急速な側方移動中に生成される渦巻状走査線３７００ａの例示的な歪曲を示す。頭部運動が開始後に加速し、終了に先立って減速し得るため、歪曲は、非線形である可能性が高い。歪曲は、頭部の動きの方向、速度、および加速、ならびに渦巻状走査ピクセル生成の方向（例えば、時計回り、半径を増加させる）の関数である。図示されるように、渦巻状走査線３７００ａの連続ループまたはコイルの間の間隔は、頭部の動きの方向で（例えば、図面では左に）増加し、正反対の方向で（例えば、図面では右に）減少する。
その上さらなる実施例として、図３７Ｂは、左へのエンドユーザの頭部の非常に急速な側方移動中に生成される渦巻状走査線３７００ｂの例示的な歪曲を示す。頭部運動が開始後に加速し、終了に先立って減速し得るため、歪曲は、非線形である可能性が高い。実際、歪曲は、図３７Ｂで図示されるように、高度に楕円形かつ偏心している。歪曲は、頭部の動きの方向、速度、および加速、ならびに渦巻状走査ピクセル生成の方向（例えば、時計回り、半径を増加させる）の関数である。図示されるように、渦巻状走査線３７００ｂの連続ループまたはコイルの間の間隔は、頭部の動きの方向で（例えば、図面では左に）増加する。頭部の動きが本システムにとって急速すぎる場合、各ループまたはコイルの最左部分は、図３７Ｂで図示されるように、渦巻状走査線３７００ｂの始点に対して頭部の動きと同一の方向に位置してもよい。
渦巻状走査パターンを採用することの１つの利点は、画像バッファにアドレス指定する変換が、移動方向（例えば、頭部の動き、ハンドヘルドピコプロジェクタのための手の動き）から独立していることである。
上記のシステムは、以下で説明される全ての実施形態で使用される。一実施形態では、本システムは、ユーザの焦点の偏移を予測することに基づく、予測頭部追跡に使用されてもよい。図１は、１つの図示した実施形態による、予測頭部追跡を採用する拡張現実システムにおける動作方法１００を示す。
１０２では、拡張現実システム（例えば、そのコントローラサブシステムおよび／またはプロセッサ）が、複数のフレームを画像として拡張現実システムのエンドユーザに提示する。フレームは、典型的には、視野内で１つまたはそれを上回る仮想オブジェクトを生成するための情報を特定する、ピクセル情報を含むであろう。前述のように、仮想オブジェクトは、物理的オブジェクトを視覚的に表し得るか、または情報、データ、あるいは論理構築を表し得る、多種多様の仮想オブジェクト形態または形式のうちのいずれかを成してもよい。仮想オブジェクトの非限定的実施例は、仮想テキストオブジェクト、仮想数値オブジェクト、仮想英数字オブジェクト、仮想タグオブジェクト、仮想フィールドオブジェクト、仮想チャートオブジェクト、仮想マップオブジェクト、仮想計装オブジェクト、または物理的オブジェクトの仮想視覚表現を含んでもよい。
１０４では、拡張現実システムが、少なくともエンドユーザの注目を示す入力に基づいて、１つまたはそれを上回る仮想オブジェクトを選択する。
入力は、エンドユーザによる実際の選択であってもよい。選択は、エンドユーザによってリアルタイムで行われてもよく、または以前に指定されていてもよい。したがって、エンドユーザは、エンドユーザが、典型的には、他のオブジェクトよりも集中または注目する、ある種類の仮想オブジェクトであるものとして、ある仮想器具のセットを選択してもよい。
入力は、種々のソースから推測されてもよい。入力は、仮想オブジェクト自体に関係付けられてもよい。入力は、加えて、または代替として、エンドユーザの視野内、またはディスプレイあるいはプロジェクタの視野内の物理的オブジェクトに関係付けられてもよい。入力は、加えて、または代替として、エンドユーザ自体、例えば、エンドユーザおよび／またはエンドユーザの一部分（例えば、頭部、眼）の位置および／または配向、あるいは履歴属性に関係付けられてもよい。履歴属性は、エンドユーザ特有であり得、またはより一般化されてもよく、あるいは一般的であり得る。履歴属性は、定義されたエンドユーザ特性のセットを示してもよい。エンドユーザ特性は、例えば、頭部の動きの速度、頭部の動きの加速、および／または頭部の動きと眼の動きとの間の関係（例えば、相互に対する比率）を含んでもよい。履歴属性によって追跡されるエンドユーザ特性は、ある仮想オブジェクトに注目する所与のエンドユーザの傾向の指標さえも含んでもよい。そのようなものは、仮想オブジェクトの種類（例えば、テキスト、チャート）、仮想オブジェクトの最近性（例えば、新たに出現するオブジェクト）、仮想オブジェクトの移動（例えば、画像から画像への大きな偏移、高速または急速移動、移動の方向）、および／または仮想オブジェクトの特性（例えば、色、輝度、サイズ）によって特定されてもよい。
１０６では、エンドユーザに提示されている複数のフレームのうちの少なくともいくつかのそれぞれについて、拡張現実システム（例えば、そのコントローラサブシステムおよび／またはプロセッサ）が、エンドユーザ基準フレームに対して、エンドユーザの視野内の仮想オブジェクトの出現場所を判定する。例えば、拡張現実システムは、新たに導入された仮想オブジェクトの場所、定義された種類の仮想オブジェクト、急速に、または広い距離にわたって移動する仮想オブジェクト、あるいは履歴的にエンドユーザのための注目点になっている仮想オブジェクトを判定してもよい。
１０８では、拡張現実システムが、エンドユーザの視野内の仮想オブジェクトの判定された出現場所に少なくとも部分的に基づいて、少なくとも１つの後続フレームの提示を調整する。非包括的適応または補償、ピクセルサイズを調整すること、ピクセル強度を調整すること、解像度を調整すること、ウィンドウイング、および／または消去あるいは点滅を含む、視野内の仮想オブジェクトの出現を調整する多数の方法が、本明細書で議論される。
図２は、１つの図示した実施形態による、拡張現実システムにおける別の動作方法２００を示す。方法２００は、図１の方法１００の行為１０４および／または１０６を実行する際に採用されてもよい。
方法２００は、エンドユーザに提示されるか、または提示されるであろう、仮想オブジェクトの特性に基づいて、頭部の動きを予測する技法を採用する。例えば、新たに導入された仮想オブジェクト、または（例えば、突然、速度、および／または距離による）移動がおそらくエンドユーザの注目を集めるであろう仮想オブジェクトが、特定の仮想オブジェクトを、エンドユーザの視野の中にもたらすか、または視野に近接させる、頭部の動きをもたらすと予測する。加えて、または代替として、拡張現実システムは、どれが注目を集める可能性が最も高いかを査定する際に、仮想オブジェクトの他の特性に依拠し得る。例えば、極めて魅力的な（例えば、点滅する、光る）、大きい、高速移動する、または明るい仮想オブジェクトは、他の仮想オブジェクトより注目を集める可能性が高くあり得る。
新たに導入された仮想オブジェクトの場合に焦点を合わせると、拡張現実システム（例えば、そのコントローラサブシステムおよび／またはプロセッサ）は、＃ＡＢ０２でエンドユーザの視野に新たに導入されたときに、仮想オブジェクトの出現場所を選択および／または判定する。仮想オブジェクトは、エンドユーザに提示された前の（時間的）関連フレーム内で出現しないときに、新たに導入されると見なされる。具体的には、拡張現実システムは、新たに導入された仮想オブジェクトが、直前のフレーム内で出現する仮想オブジェクトに対してエンドユーザの注目を集める可能性が高いという事実に依拠する。加えて、または代替として、拡張現実システムは、例えば、複数の新たに導入された仮想オブジェクトの間で選択または優先するように、どれが注目を集める可能性が最も高いかを査定する際に、仮想オブジェクトの他の特性に依拠し得る。例えば、極めて魅力的な（例えば、点滅する、光る）、大きい、高速移動する、または明るい仮想オブジェクトは、他の仮想オブジェクトより注目を集める可能性が高くあり得る。
移動仮想オブジェクトの場合に焦点を合わせると、拡張現実システム（例えば、そのコントローラサブシステムおよび／またはプロセッサ）は、２０４で、少なくとも１つの前のフレーム内の同一の仮想オブジェクトの位置に対する、フレーム内の新しい位置で仮想オブジェクトの出現場所を選択および／または判定する。したがって、１つのフレームから１つまたはそれを上回る後続フレームへの仮想オブジェクトの位置の突然の偏移、迅速な偏移、および／または空間的に大きい偏移は、エンドユーザの注目または集中を集める可能性が高くあり得る。加えて、または代替として、拡張現実システムは、例えば、複数の新たに導入された仮想オブジェクトの間で選択または優先するように、どれが注目を集める可能性が最も高いかを査定する際に、仮想オブジェクトの他の特性に依拠し得る。例えば、極めて魅力的な（例えば、点滅する、光る）、大きい、または明るい仮想オブジェクトは、他の仮想オブジェクトより注目を集める可能性が高くあり得る。
図３は、１つの図示した実施形態による、拡張現実システムにおける動作方法３００を示す。方法３００は、図１の方法１００の行為１０８を実行する際に採用されてもよい。
３０２では、拡張現実システム（例えば、そのコントローラサブシステムおよび／またはプロセッサ）は、少なくとも１つの後続フレームの中心が、エンドユーザの視野内の仮想オブジェクトの判定された出現場所で中心に置かれていない場合、少なくともそれに向かって偏移させられた、少なくとも１つの後続フレームを提示する。後続フレームまたは画像の中心は、エンドユーザの注目を集めると予測される、選択された仮想オブジェクトの場所と同一場所に位置するように偏移させられてもよい。代替として、後続フレームの中心は、エンドユーザの注目を集めると予測される、選択された仮想オブジェクトの場所に近接するように偏移させられてもよい。そのようなものは、２次元または３次元で行われてもよい。例えば、仮想オブジェクトの２次元または３次元位置が、それぞれ、２または３次元で後続画像の視野を調整するために使用されてもよい。偏移した後続フレームまたは画像は、好ましくは、エンドユーザの予測された頭部の動きとタイミングを合わせられる。したがって、偏移した後続フレームまたは画像は、実際の頭部の動きと可能な限り近いタイミングでエンドユーザに提示されるべきである。本明細書で議論されるように、そのようなものは、速度、加速、速度および加速の変動を構成し得る。
図４は、１つの図示した実施形態による、拡張現実システムにおける動作方法４００を示す。方法４００は、図１の方法１００を行う際に採用されてもよい。
随意に、４０２では、拡張現実システムが、エンドユーザの身元を示す情報を受信する。情報は、多種多様の形態のうちのいずれかを成してもよい。例えば、情報は、エンドユーザによって入力される（例えば、タイプされる）か、またはエンドユーザと関連付けられるトランスポンダ、磁気ストライプ、または機械可読記号から読み出される、ユーザ名または他のユーザ識別子であってもよい。例えば、情報は、エンドユーザの１つまたはそれを上回る物理的特性を示す、バイオメトリック情報を含んでもよい。１つの特に有利な実装では、拡張現実システムは、エンドユーザの一方または両方の眼の一部分（例えば、網膜）を表す、画像データを受信してもよい。例えば、拡張現実システムは、例えば、１つまたはそれを上回る光ファイバを介して、光をエンドユーザの一方または両方の眼に投影してもよい。光は、例えば、信号対雑音比を増加させ、および／または眼の加熱を制限するように、変調されてもよい。画像センサが、例えば、光を投影する１つまたはそれを上回る光ファイバを介して、眼の一部分の画像を捕捉してもよく、光ファイバは、双方向経路を提供する。代替として、専用光ファイバが採用されてもよい。さらなる代替案として、画像センサが、眼に近接して位置付けられてもよく、画像センサへの帰還経路としての光ファイバの使用を排除する。ヒトの眼のある部分（例えば、網膜の血管系）が、一意的なエンドユーザ識別子としての機能を果たすために十分に独特と見なされてもよい。
随意に、４０４では、拡張現実システムが、エンドユーザの身元を示す受信された情報に基づいて、エンドユーザの少なくとも１つのユーザ特有の履歴属性を取り出す。ユーザ特有の履歴属性は、エンドユーザの前の頭部の動きの速度、エンドユーザの前の頭部の動きの加速、エンドユーザの前の眼の動きと頭部の動きの関係、エンドユーザがある種類の、またはある特性を伴う仮想オブジェクトに注目する傾向のうちの少なくとも１つを示してもよい。
４０６では、拡張現実システム（例えば、そのコントローラサブシステムおよび／またはプロセッサ）が、エンドユーザの視野内の仮想オブジェクトの判定された出現場所に少なくとも部分的に基づいて、エンドユーザの頭部の動きの発生を予測する。再度、拡張現実システムは、例えば、エンドユーザごとに、頭部の動きを予測する際に仮想オブジェクトの魅力に依拠し得る。
拡張現実システムは、画像提示をエンドユーザの予測された頭部の動きと少なくとも部分的に同期化するように、推定速度および／または速度の推定変化あるいは推定加速を採用してもよい。予測された頭部の動きにおける速度の推定変化は、予測された頭部の動きの開始後の第１の定義された時間と、予測された頭部の動きの終了前の第２の定義された時間との間に延在する、範囲に基づいてもよい。
４０８では、拡張現実システムが、エンドユーザの予測された頭部の動きの推定速度を示す、少なくとも１つの値を推定する。拡張現実システムは、１つまたはそれを上回る値、パラメータ、または特性に基づいて、速度を推定してもよい。例えば、拡張現実システムは、選択または識別された仮想オブジェクトを観察するように、エンドユーザの頭部を新しい位置に動かすために必要とされる可動範囲に依拠し得る。拡張現実システムは、人間のサンプリングのための平均速度に依拠し得、または特定のエンドユーザの履歴上の頭部の動きの速度に依拠し得る。拡張現実システムは、特定のエンドユーザの履歴属性に依拠し得る。速度は、角速度で表されてもよい。
４１０では、拡張現実システムが、予測された頭部の動きの開始と予測された頭部の動きの終了との間で、頭部の動きの範囲にわたって起こる、エンドユーザの予測された頭部の動きにおける速度の少なくとも１つの変化を推定する。速度の変化は、予測された可動範囲のある部分の全体を通して異なる増分で起こり得る。
４１２では、拡張現実システムが、エンドユーザの予測された頭部の動きの推定加速を示す、少なくとも１つの値を推定する。推定加速は、頭部の動きの範囲全体にわたるか、またはその一部分のみにわたってもよい。推定加速は、頭部の動きの範囲の離散間隔にわたってもよい。仮想の推定値は、頭部の動きの開始後のある定義された持続時間で、１つまたはそれを上回る間隔について判定されてもよい。加速の推定値は、頭部の動きの終了前のある定義された持続時間で、１つまたはそれを上回る間隔について判定されてもよい。始点および／または終点から離間された推定は、加速測定値の大きな変動を回避し得る。
随意に、４１４では、拡張現実システムが、エンドユーザの予測された頭部の動きの推定速度に少なくとも部分的に適応するか、またはそれを補う、少なくとも１つの値を判定する。例えば、拡張現実システムは、所与の時間で提示するフレームの総数に関する値、および／またはどこでおよび／またはどれだけ迅速に、１つまたはそれを上回る仮想オブジェクトが、レンダリングおよび／または提示される一連の画像内の場面にわたって移動するべきかを特定する値を判定してもよい。そのようなものは、後続フレームをレンダリングするために使用されてもよい。
随意に、４１６では、拡張現実システムが、エンドユーザの予測された頭部の動きの推定速度を少なくとも部分的に補う、少なくとも１つの値に少なくとも部分的に基づいて、少なくとも１つの後続フレームをレンダリングする。例えば、拡張現実システムは、所与の時間で提示するフレームの総数に関する値、および／またはどこでおよび／またはどれだけ迅速に、１つまたはそれを上回る仮想オブジェクトが、レンダリングおよび／または提示される一連の画像内の場面にわたって移動するべきかを特定する値を判定してもよい。そのようなものは、後続フレームをレンダリングするために使用されてもよい。
別の実施形態では、本システムは、ユーザの履歴属性に基づく予測頭部追跡に使用されてもよい。図５は、１つの図示した実施形態による、予測頭部追跡を採用する拡張現実システムにおける動作方法５００を示す。
拡張現実システムは、予測頭部追跡を行う際に履歴属性を採用してもよい。履歴属性は、エンドユーザ特有であり得、またはより一般化されてもよく、あるいは一般的であり得る。履歴属性は、定義されたエンドユーザ特性のセットを示してもよい。エンドユーザ特性は、例えば、頭部の動きの速度、頭部の動きの加速、および／または頭部の動きと眼の動きとの間の関係（例えば、相互に対する比率）を含んでもよい。履歴属性によって追跡されるエンドユーザ特性は、ある仮想オブジェクトに注目する所与のエンドユーザの傾向の指標さえも含んでもよい。
５０２では、拡張現実システムが、エンドユーザの身元を示す情報を受信する。情報は、多種多様の形態のうちのいずれか、例えば、エンドユーザによって積極的に提供され、非一過性の記憶媒体から読み取られ、ユーザから読み取られ（例えば、バイオメトリックデータまたは特性）、またはエンドユーザアクションから推測される情報を成してもよい。
５０４では、拡張現実システムが、エンドユーザの身元を示す受信された情報に少なくとも部分的に基づいて、エンドユーザの少なくとも１つのユーザ特有の履歴属性を取り出す。身元情報は、多種多様の方法のうちのいずれかで受信、生成、または判定されてもよい。
５０６では、拡張現実システムが、エンドユーザの取り出された少なくとも１つのユーザ特有の履歴属性に少なくとも部分的に基づいて、フレームをエンドユーザに提供する。例えば、拡張現実システムは、フレームバッファからプロジェクタまたは表示デバイス（例えば、１つまたはそれを上回る光ファイバと対合された光源）にフレームを提供してもよく、またはフレームをフレームバッファにレンダリングしてもよい。拡張現実システムは、少なくとも２軸で移動可能である少なくとも１つの光ファイバを介して、光を提供してもよい。拡張現実システムは、同様にフレームをエンドユーザに提供する、少なくとも光ファイバを介して、エンドユーザの眼の少なくとも一部分の画像を示す画像情報を受信してもよい。
図６は、１つの図示した実施形態による、予測頭部追跡を採用する拡張現実システムにおける動作方法６００を示す。方法６００は、図５の方法５００の行為５０４を実行する際に採用されてもよい。
６０２では、拡張現実システムが、エンドユーザの少なくとも１つの頭部の動きの属性の指標を提供する、少なくとも１つの履歴属性を取り出す。頭部の動きの属性は、エンドユーザの少なくとも１つの前の頭部の動きを示す。履歴属性は、非一過性の媒体に、例えば、データベースあるいは他の論理構築物に記憶されてもよい。
６０４では、拡張現実システムが、エンドユーザの少なくとも１つの前の頭部の動きの頭部の動きの速度の指標を提供する、少なくとも１つの履歴属性を取り出す。
６０６では、拡張現実システムが、エンドユーザによる、少なくとも１つの前の頭部の動きの範囲の少なくとも一部にわたる頭部の動きの速度の変動の指標を提供する、少なくとも１つの履歴属性を取り出す。
６０８では、拡張現実システムが、エンドユーザによる、少なくとも１つの前の頭部の動きに対する頭部の動きの加速の指標を提供する、少なくとも１つの履歴属性を取り出す。
６１０では、拡張現実システムが、エンドユーザによる、少なくとも１つの前の頭部および眼の動きの組み合わせに対する頭部の動きと眼の動きとの間の関係の指標を提供する、少なくとも１つの履歴属性を取り出す。関係は、例えば、エンドユーザによる、少なくとも１つの前の頭部の動きを表す頭部の動きの値、および少なくとも１つの前の眼の動きを表す値の比率として表されてもよい。値は、例えば、角度変化として表される、それぞれ、頭部および眼の動きの量を表してもよい。比率は、エンドユーザによる、頭部の動きの履歴平均および眼の動きの履歴平均の比率であってもよい。加えて、または代替として、頭部および眼の動きの間の他の関係、例えば、速度または加速が採用されてもよい。
図７は、１つの図示した実施形態による、予測頭部追跡を採用する拡張現実システムにおける動作方法７００を示す。方法７００は、図５の方法５００の行為５０６を実行する際に採用されてもよい。
７０２では、拡張現実システムが、少なくともエンドユーザの頭部の動きの終点を予測する。例えば、仮想オブジェクトの出現が頭部の動きを予測するために使用される場合、特定の仮想オブジェクトの相対場所が終点として使用されてもよい。
７０４では、拡張現実システムが、少なくとも１つの後続フレームを少なくとも１つの画像バッファにレンダリングする。少なくとも１つの後続フレームは、少なくとも頭部の動きの予測された終点に向かって、または終点までさえも偏移させられる。
図８は、１つの図示した実施形態による、予測頭部追跡を採用する拡張現実システムにおける動作方法８００を示す。方法８００は、図７の方法７００の行為７０４を実行する際に採用されてもよい。
８０２では、拡張現実システムが、エンドユーザの少なくとも１つの頭部の動きの属性の少なくとも部分的な適応において、少なくとも頭部の動きの予測された終点に向かって偏移させられる、複数の後続フレームをレンダリングする。頭部の動きの属性は、頭部の動きの種々の物理的特徴、具体的には、エンドユーザの頭部の動きの履歴上の物理的特徴を示してもよい。頭部の動きの属性は、例えば、エンドユーザの履歴上の頭部の動きの速度、エンドユーザの履歴上の頭部の動きの加速、および／またはエンドユーザの頭部の動きと眼の動きとの間の履歴関係（例えば、比率）のうちの１つまたはそれを上回るものを含んでもよい。偏移は、対応する画像が偏移させられた、または対応する画像の中心が前のフレームに対応する画像に対して偏移させられた、後続フレームをレンダリングすることによって実装されてもよい。
図９は、１つの図示した実施形態による、予測頭部追跡を採用する拡張現実システムにおける動作方法９００を示す。方法９００は、図７の方法７００の行為７０３を実行する際に採用されてもよい。
９０２では、拡張現実システムが、エンドユーザの視野内の仮想オブジェクトの出現に少なくとも部分的に基づいて、エンドユーザの頭部の動きの出現を予測する。
出現は、エンドユーザに画像として提示された前のフレームに対する、時間的にエンドユーザに提示されるような視野に新たに導入されたときの新しい仮想オブジェクトの出現であってもよい。代替として、または加えて、出現は、エンドユーザに以前に提示されたような仮想オブジェクトの位置に対する、エンドユーザに提示されるような視野内の新しい位置での仮想オブジェクトの出現であってもよい。予測は、例えば、要因を考慮してもよい。例えば、予測は、仮想オブジェクトのサイズまたは突出性、位置の変化の量または割合、速度、急加速、または仮想オブジェクトの位置の他の変化に部分的に基づいてもよい。
本システムはまた、ピクセル特性の動的制御に使用されてもよい。図１０は、１つの図示した実施形態による、拡張現実システムにおける動作方法１０００を示す。
１００２では、拡張現実システム（例えば、そのコントローラサブシステムおよび／またはプロセッサ）は、フレーム内のいくつかのピクセルの間でエンドユーザに提示されるような間隔が、同一のフレーム内の他のピクセルの間の間隔とは異なるであろうという指標を検出する。例えば、拡張現実システムは、フレーム内の第１のピクセルのセットのピクセル間でエンドユーザに提示されるような間隔が、フレーム内の少なくとも第２のピクセルのセットのピクセル間でエンドユーザに提示されるような間隔とは異なるであろうという指標を検出してもよい。例えば、フレームのピクセルがある期間にわたって連続的に提示される（例えば、フレームバッファから読み出される）（例えば、ラスタ走査パターン、渦巻状走査パターン、リサジュー走査パターン等の「フライングピクセル」パターン）場合、急速な頭部の動きが、画像またはフレームの異なる部分の間のピクセル間隔の変動を引き起こし得る。
フレーム内のいくつかのピクセルの間の間隔が、エンドユーザに提示されるようなフレーム内の他のピクセルの間隔とは異なるであろうという検出に応答して、拡張現実システムは、１００４で、エンドユーザによって知覚可能である、第１のセットのピクセルの少なくとも１つのピクセル特性を少なくとも部分的に補うように調整された、少なくとも第１のピクセルのセットを、少なくとも１つの後続フレームの少なくとも一部分に提供する。そのようなものは、エンドユーザに提示されるような画像の異なる部分でのピクセル間の間隔の差異を少なくとも部分的に補ってもよい。
図１１は、１つの図示した実施形態による、拡張現実システムにおける動作方法１１００を示す。方法１１００は、図１０の方法１０００を実行する際に採用されてもよい。
随意に、１１０２では、拡張現実システム（例えば、そのコントローラサブシステムおよび／またはプロセッサ）が、エンドユーザによって装着された少なくとも１つの頭部装着型慣性センサの出力を示す信号を受信する。慣性センサは、種々の形態、例えば、ジャイロセンサまたは加速センサを成してもよい。慣性センサは、単軸または多軸デバイスであってもよい。慣性センサは、ＭＥＭＳデバイスの形態を成してもよい。
随意に、１１０４では、拡張現実システムが、エンドユーザによって装着された少なくとも１つの頭部装着型撮像装置の出力を示す信号を受信する。撮像装置は、例えば、デジタルカメラまたは他の画像捕捉デバイスの形態を成してもよい。そのようなものは、エンドユーザの視野に少なくとも接近する視野を捕捉する前向きのカメラであってもよい。
随意に、１１０６では、拡張現実システムが、頭部の動きの公称値を超える頭部の動きを検出する。例えば、拡張現実システムは、公称速度および／または公称加速を超える頭部の動きを検出してもよい。拡張現実システムは、動き、具体的には、加速を検出するために、慣性センサからの信号を採用してもよい。拡張現実システムは、周囲環境内の物理的オブジェクト、具体的には、壁、床、天井等の固定された物理的オブジェクトの位置の変化を検出するために、頭部搭載型カメラからの信号を採用してもよい。拡張現実システムは、任意の数の画像処理技法を採用してもよい。検出された位置の変化は、拡張現実システムが、頭部の位置、動きの速度、および加速の変化を判定することを可能にする。拡張現実システムは、慣性センサおよび頭部装着型撮像装置の情報に加えて、またはその代わりに、他の情報を採用してもよい。例えば、拡張現実システムは、周囲環境を監視し、ユーザによって装着されないが、むしろユーザを追跡する、システムからの信号を採用してもよい。そのようなシステムは、周囲環境を監視するために、１つまたはそれを上回る撮像装置、例えば、デジタルカメラを採用してもよい。撮像装置は、エンドユーザおよび頭部等のエンドユーザの部分の動きを検出する。再度、種々の画像処理技法が採用されてもよい。そのようなシステムは、構造化光システムと有利に対合されてもよい。代替として、方法＃ＣＢ００は、検出された、またはさらに予測された頭部の動きとは無関係に実行されてもよい。
１１０８では、拡張現実システムが、例えば、検出された頭部の動きの方向に基づいて、フレームの第１のピクセルのセットを選択する。拡張現実システムは、加えて、他の基準、例えば、検出された頭部の動きの速度に基づいて、フレームの第１のピクセルのセットを選択してもよい。
１１１０では、拡張現実システムが、少なくとも１つの後続フレームの第１のピクセルのセットのピクセルのうちの少なくともいくつかのサイズおよび／または強度のうちの少なくとも１つを調整する。調整は、頭部の動きに起因するフレームまたは画像の望ましくない変動に少なくとも適応するか、またはそれを少なくとも部分的に補うように設計されてもよい。
随意に、１１１２では、拡張現実システムが、少なくとも１つの後続フレームをレンダリングする。レンダリングされた後続フレームは、頭部の動きに起因するフレームまたは画像の望ましくない変動に少なくとも適応するか、またはそれを少なくとも部分的に補うように、調整されたピクセル情報を含む。
随意に、１１１４では、拡張現実システムが、１つまたはそれを上回る後続フレームを記憶する少なくとも１つのフレームバッファから、少なくとも１つの後続フレームを読み出す。例えば、拡張現実システムは、少なくとも１つのフレームバッファから少なくとも１つの後続フレームを選択的に読み出してもよい。そのようなものは、フレームが画像領域または視野のサイズに対してオーバーレンダリングされる、オーバーレンダリングを利用してもよい。本システムは、特に頭部搭載されたときに、ほとんどの場合、既知の面積および既知の解像度を有する固定ディスプレイ表面に専念するであろう。これは、信号を多種多様のサイズおよび解像度のディスプレイに供給することを目的としている、コンピュータまたは他のデバイスとは対照的である。したがって、拡張現実システムは、フレームバッファからフレーム全体を読み込むか、または読み出すよりむしろ、フレームバッファに選択的に読み込むか、またはそこから読み出す。オーバーレンダリングは、後続画像を作成して前の画像の外側にあるこれらの部分を示すようにレンダリングされる、新しいフレームの場合に別様に必要とされ得るほど過剰にＧＰＵを実行することを防止してもよい。例えば、オーバーレンダリングがないと、拡張現実システムは、エンドユーザの頭部が動かされる度に新しいフレームをレンダリングする必要があろう。オーバーレンダリングがあると、専用の電子機器のセットが、以前にレンダリングされたフレーム内のウィンドウを本質的に移動させて、オーバーレンダリングされたフレームの所望の部分を選択するか、または読み出すために採用されてもよい。
図１２は、１つの図示した実施形態による、拡張現実システムにおける動作方法１２００を示す。方法１２００は、図１１の方法１１００の行為１１０８および１１１０を実行する際に採用されてもよい。
１２０２では、拡張現実システム（例えば、そのコントローラサブシステムおよび／またはプロセッサ）は、第１のピクセルのセットが検出された頭部の動きの方向に対して所与の方向（例えば、同一の方向、反対方向）にあるように、フレームの少なくとも第１のピクセルのセットを選択する。
１２０２では、拡張現実システムが、少なくとも１つの後続フレームの第１のピクセルのセットのピクセルのユーザに提示されるような選択されたセットのピクセルのサイズを調整する。
例えば、拡張現実システムは、第１のピクセルのセットが、他のピクセルに対して、検出された頭部の動きの方向と同一の方向に位置付けられるように、フレームの第１のピクセルのセットを選択してもよい。例えば、第１のピクセルのセットは、概して、画像内の右に配向された第２のピクセルのセットに対して、相対的に画像内の左に向かって配向されてもよい。例えば、第１のピクセルのセットは、概して、画像内の底部に配向された第２のピクセルのセットに対して、相対的に画像内の最上部に向かって配向されてもよい。拡張現実システムは、第１のセットのピクセルが後続フレーム内のいくつかの他のピクセルに対して増大したサイズを有する、１つまたはそれを上回る後続フレームまたは画像を提供してもよい。そのようなものは、拡張現実システムがついていけない急速な頭部の動きに起因し得る、ピクセル間の拡散に少なくとも部分的に適応するか、またはそれを少なくとも部分的に補うことができる。
例えば、拡張現実システムは、第１のピクセルのセットが、他のピクセルに対して、検出された頭部の動きの方向と反対の方向に位置付けられるように、フレームの第１のピクセルのセットを選択してもよい。拡張現実システムは、第１のセットのピクセルが後続フレーム内のいくつかの他のピクセルに対して減少したサイズを有する、１つまたはそれを上回る後続フレームまたは画像を提供してもよい。そのようなものは、拡張現実システムがついていけない急速な頭部の動きに起因し得る、ピクセル間の拡散に少なくとも部分的に適応するか、またはそれを少なくとも部分的に補うことができる。
選択されたセットのピクセルのサイズを調整する（例えば、増大させる、減少させる）ことは、可変焦点要素を調整することを含んでもよい。選択されたセットのピクセルのサイズを調整する（例えば、増大させる、減少させる）ことは、可変サイズ源を調整することを含んでもよい。選択されたセットのピクセルのサイズを調整する（例えば、増大させる、減少させる）ことは、ジッタを調整することを含んでもよい。
さらなる実施例として、拡張現実システムは、第１のピクセルのセットが、他のピクセルに対して、検出された頭部の動きの方向と同一の方向に位置付けられるように、フレームの第１のピクセルのセットを選択してもよい。拡張現実システムは、第１のセットのピクセルが後続フレーム内のいくつかの他のピクセルに対して増加した強度を有する、１つまたはそれを上回る後続フレームまたは画像を提供してもよい。そのようなものは、拡張現実システムがついていけない急速な頭部の動きに起因し得る、ピクセル間の拡散に少なくとも部分的に適応するか、またはそれを少なくとも部分的に補うことができる。
その上さらなる実施例として、拡張現実システムは、第１のピクセルのセットが、検出された頭部の動きの方向と反対の方向に位置付けられるように、フレームの第１のピクセルのセットを選択してもよい。拡張現実システムは、第１のセットのピクセルが後続フレーム内のいくつかの他のピクセルに対して減少した強度を有する、１つまたはそれを上回る後続フレームまたは画像を提供してもよい。そのようなものは、拡張現実システムがついていけない急速な頭部の動きに起因し得る、ピクセル間の拡散に少なくとも部分的に適応するか、またはそれを少なくとも部分的に補うことができる。
上記のように、拡張現実システムは、選択されたピクセルのサイズのみ、選択されたピクセルの強度のみ、または選択されたピクセルのサイズおよび強度の両方を調整してもよい。さらに、拡張現実システムは、いくつかのピクセルの強度、いくつかのピクセルのサイズ、その上さらに他のピクセルの強度およびサイズを調整してもよく、および／またはその上さらなるピクセルの強度またはサイズのいずれかを調整しなくてもよい。
本システムはまた、以下で例証されるように、フレーム全体ごとより少ない基準で動的に更新するために使用されてもよい。図１３は、１つの図示した実施形態による、拡張現実システムにおける動作方法１３００を示す。
１３０２では、拡張現実システム（例えば、そのコントローラサブシステムおよび／またはプロセッサ）が、第１の完全フレームを画像バッファにレンダリングする。第１の完全フレームは、いくつかの仮想オブジェクトの画像を形成するように、ピクセルの連続提示のためのピクセル情報を備える。第１の完全フレームは、種々の表示技術に好適な種々の形態を成してもよい。例えば、完全フレームは、２つのフィールドを伴うインターレースラスタ走査フレームであり得る、完全ラスタ走査フレームを形成するために好適なピクセル情報を含んでもよい。インターレースラスタ走査の各フィールドは、複数の線と、奇数の線を備える第１のフィールドと、偶数の線を備える第２のフィールドとを含んでもよい。奇数および偶数の線は、少なくともエンドユーザに表示されるようにインターレースされてもよい。特に有利な技術は、渦巻状走査線を採用する。渦巻状走査アプローチは、例えば、単一の渦巻状トレースから成る、１フレームにつき単一のフィールドを採用してもよい。代替として、渦巻状走査アプローチは、例えば、連続的に提示される、２つまたはそれを上回る渦巻状トレースから成る、１フレームにつき２つまたはそれを上回るフィールドを採用してもよい。渦巻状トレースは、単純にフレームの各フィールド間に位相偏移を導入することによって、有利にインターレースまたはネスト化されてもよい。別の技術は、リサジュー走査アプローチを採用する。リサジュー走査アプローチは、例えば、単一のリサジュートレースから成る、１フレームにつき単一のフィールドを採用してもよい。代替として、リサジュー走査アプローチは、連続的に提示される、２つまたはそれを上回るリサジュートレースから成る、１フレームにつき２つまたはそれを上回るフィールドを採用してもよい。リサジュートレースは、単純にフレームの各フィールド間に位相偏移を導入することによって、有利にインターレースまたはネスト化されてもよい。
１３０４では、拡張現実システムが、第１の完全フレームの提示を開始する。そのようなものは、例えば、１つまたはそれを上回る光ファイバの光源および端部を駆動するように、フレームバッファから読み出すことを含んでもよい。読み出しは、フレームバッファのどの部分を読み出すかを動的に判定することを含んでもよい。
随意に、１３０６では、拡張現実システムが、頭部の動きの公称値を超えるエンドユーザの頭部の動きを検出する。そのようなものは、以前に議論されたような種々のアプローチのうちのいずれかを採用してもよい。
１３０８では、拡張現実システムが、第１の完全フレーム全体の提示の完了前に、第１の完全フレームの提示を動的に中断する。具体的には、拡張現実システムは、第１の完全フレームへの更新の提示を開始する。完全フレームへの更新の中のピクセル情報の少なくとも一部分は、第１の完全フレームから変化している。例えば、インターレースラスタ走査ベースのシステムでは、拡張現実システムは、第２のフィールドを更新された第２のフィールドと置換して、第１のフィールドの全体または一部分を提示してもよい。また、例えば、インターレース渦巻状走査ベースのシステムでは、拡張現実システムは、第２のフィールドを更新された第２のフィールド（例えば、元の第２の渦巻状走査またはトレースとは異なる、更新された第２の渦巻状走査線またはトレース）と置換して、第１のフィールド（例えば、第１の渦巻状走査線またはトレース）の全体または一部分を提示してもよい。同様に、インターレースリサジュー走査ベースのシステムでは、拡張現実システムは、第２のフィールドを更新された第２のフィールド（例えば、元の第２の渦巻状走査またはトレースとは異なる、更新された第２のリサジュー走査線またはトレース）と置換して、第１のフィールド（例えば、第１のリサジュー走査線またはトレース、すなわち、完全な８の字サイクル）の全体または一部分を提示してもよい。実施例がフィールドに関して挙げられるが、そのようなものはフィールド全体に限定されない。提示は、フィールドの提示中に、例えば、第１または第２、あるいはさらに第３のフィールドの提示中に解釈されてもよい。提示は、任意の所与の線（例えば、ラスタ走査の行、渦巻状またはリサジュー走査の完全なサイクル）の提示中に解釈されてもよい。
図１４は、１つの図示した実施形態による、拡張現実システムにおける動作方法１４００を示す。方法１４００は、図１３の方法１３００を実行する際に採用されてもよい。
１４０２では、拡張現実システム（例えば、そのコントローラサブシステムおよび／またはプロセッサ）が、更新された第１の完全フレームをレンダリングする。更新された第１の完全フレームは、第１の完全フレームのピクセル情報とは少なくとも１つの点で異なる、ピクセル情報を含む。
更新された第１の完全フレームをレンダリングすることは、第１のフィールド、および少なくとも第２のフィールドを伴って、更新された完全フレームをレンダリングすることを含んでもよい。第２のフィールドは、典型的には、第１のフィールドの提示に続いて連続的に提示することによって、第１のフィールドとインターレースされてもよい。例えば、第１のフィールドが、ラスタ走査では偶数の線から成ってもよい一方で、第２のフィールドは、奇数の線から成る。また、例えば、第１のフィールドが、第１の渦巻状走査線または第１のリサジュー走査線から成ってもよい一方で、第２のフィールドは、第２の渦巻状走査線または第２のリサジュー走査線から成ってもよい。したがって、更新された第１の完全フレームをレンダリングすることは、第１のフィールド、および少なくとも第２のフィールドを伴って、更新された完全フレームをレンダリングすることを含んでもよく、第２のフィールドは、少なくとも第１のフィールドとインターレースされる。
１４０４では、拡張現実システムが、第１の完全フレームの対応部分の代わりに、更新された第１の完全フレームの一部分を提示する。したがって、更新されたフレームの一部分は、元の更新されていない第１の完全フレームの中断に続く、第１の完全フレームの全体または一部分の代用である。
例えば、拡張現実システムは、元の（すなわち、更新されていない）第１の完全フレームの第２のフィールドの代わりに、更新された第１の完全フレームの第２のフィールドを提示してもよい。また、例えば、拡張現実システムは、第１の元の（すなわち、更新されていない）第１の完全フレームの第１のフィールドの対応する部分および第２のフィールド全体の代わりに、更新された第１の完全フレームの第２のフィールドとともに、第１のフィールドの第２の部分を提示してもよい。
また、例えば、拡張現実システムは、第１の完全フレームの対応フィールドの対応部分の代わりに、更新された第１の完全フレームのフィールドの一部分（例えば、線、線の一部、ピクセルのセット、ピクセル）を提示してもよい。例えば、拡張現実システムは、ラスタ走査フレームの元の（すなわち、更新されていない）第１の完全フレームの対応フィールドの対応部分の代わりに、ラスタ走査フレームの更新された第１の完全フレームのフィールドの一部分を提示してもよい。
別の実施例として、拡張現実システムは、元の（すなわち、更新されていない）第１の完全フレームの代わりに、更新された第１の完全フレームの線を提示してもよい。さらに別の実施例として、拡張現実システムは、元の（すなわち、更新されていない）第１の完全フレームの対応渦巻線の代わりに、更新された第１の完全フレームの渦巻線を提示してもよい。さらなる実施例として、拡張現実システムは、元の（すなわち、更新されていない）第１の完全フレームの対応線の対応部分の代わりに、更新された第１の完全フレームの線の一部分を提示してもよい。その上さらなる実施例として、拡張現実システムは、元の（すなわち、更新されていない）第１の完全フレームの対応する少なくとも１つのピクセルの代わりに、更新された第１の完全フレームの少なくとも１つのピクセルを提示してもよい。依然として付加的な実施例として、拡張現実システムは、元の（すなわち、更新されていない）第１の完全フレームのリサジューパターン走査の対応する１つの全サイクルの代わりに、更新された第１の完全フレームのリサジューパターン走査の１つの全サイクルを提示してもよい。
図１５は、１つの図示した実施形態による、拡張現実システムにおける動作方法１５００を示す。方法１５００は、図１３の方法１３００を実行する際に採用されてもよい。
１５０２では、拡張現実システム（例えば、そのコントローラサブシステムおよび／またはプロセッサ）が、第１の完全フレームをフレームバッファにレンダリングする。第１の完全フレームは、例えば、第１のフィールドと、少なくとも第２のフィールドとを含んでもよい。第１のフィールドは、例えば、少なくとも第１の渦巻状走査線のピクセル情報を含んでもよく、第２のフィールドは、少なくとも第２の渦巻状走査線のピクセル情報を含んでもよい。第２のフィールドの走査線は、第１のフィールドの走査線とインターレースされてもよい。第１のフィールドは、例えば、少なくとも第１のリサジュー走査線のピクセル情報を含んでもよく、第２のフィールドは、少なくとも第２のリサジュー走査線のピクセル情報を含んでもよい。第２のフィールドの走査線は、第１のフィールドの走査線とインターレースされてもよい。渦巻状およびリサジュー走査パターンの両方のための走査線のインターレースは、位相偏移を伴って効率的に達成されてもよい。フィールドまたは走査線の数は、２より多く、例えば、３、４、８、１６、またはそれを上回り得る。
１５０４では、拡張現実システムが、第１の完全フレームを記憶するフレームバッファから読み出し始める。拡張現実システムは、画像バッファからのフレームで特定されるピクセルデータに基づいて画像を生成するように、光源およびヨーク、または他のデバイスあるいは構造を駆動してもよい。
１５０６では、拡張現実システムが、更新された第１の完全フレームをフレームバッファにレンダリングする。更新された第１の完全フレームは、その一部分が元の（すなわち、更新されていない）第１の完全フレームによって特定される情報から変化している、フレームを特定するピクセル情報を含む。
１５０８では、拡張現実システムが、フレームバッファからの第１の完全フレームの読み出しの完了前に、更新された第１の完全フレームを読み出し始め、それによって、元の（すなわち、更新されていない）第１の完全フレームの提示を中断する。いくつかの実装は、２つまたはそれを上回るフレームバッファを有することを利用してもよく、フレームが他方のフレームバッファから読み出されている間に、一方のフレームバッファへのレンダリングを可能にする。そのようなものは、１つ、２つ、３つ、またはさらに多くのフレームバッファを採用し得る、拡張現実システムの種々の実装で限定的と見なされるべきではない。
図１６は、１つの図示した実施形態による、拡張現実システムにおける動作方法１６００を示す。方法１６００は、図１３の方法１３００を実行する際に採用されてもよい。
１６０２では、拡張現実システム（例えば、そのコントローラサブシステムおよび／またはプロセッサ）が、第１の走査線（例えば、渦巻状、リサジュー）のピクセル情報を生成する。
随意に、１６０４では、拡張現実システムが、第１の走査線（例えば、渦巻状、リサジュー）に対して位相偏移させられる、第２の走査線（例えば、渦巻状、リサジュー）のピクセル情報を生成する。位相偏移は、第２の走査線を渦巻状およびリサジュー走査線のための第１の走査線と有利にインターフェース接続またはネスト化する。
随意に、１６０６では、拡張現実システムが、第２の走査線（例えば、渦巻状、リサジュー）に対して位相偏移させられる、第３の走査線（例えば、渦巻状、リサジュー）のピクセル情報を生成する。位相偏移は、第３の走査線を渦巻状およびリサジュー走査線のための第１および第２の走査線と有利にインターフェース接続またはネスト化する。
随意に、１６０８では、拡張現実システムが、第３の走査線（例えば、渦巻状、リサジュー）に対して位相偏移させられる、第４の走査線（例えば、渦巻状、リサジュー）のピクセル情報を生成する。位相偏移は、第４の走査線を渦巻状およびリサジュー走査線のための第１、第２、および第３の走査線と有利にインターフェース接続またはネスト化する。
図１７は、１つの図示した実施形態による、拡張現実システムにおける動作方法１７００を示す。
１７０２では、複数のフレームのそれぞれについて、拡張現実システム（例えば、そのコントローラサブシステムおよび／またはプロセッサ）が、それぞれのフレームの少なくとも２つの部分に対するそれぞれの解像度を判定する。部分は、フィールド、ライン、他の再分割、またはさらに個々のピクセルであってもよい。
１７０４では、拡張現実システムが、複数のフレームに基づいて仮想オブジェクトの画像の提示を引き起こし、画像のうちの少なくともいくつかは、エンドユーザに提示されるような画像内で可変解像度を有する。例えば、隣接ピクセル間の間隔は、部分によって異なり得る。
図１８は、１つの図示した実施形態による、拡張現実システムにおける動作方法１８００を示す。方法１８００は、図１７の方法１７００を実行する際に採用されてもよい。
１８０２では、拡張現実システム（例えば、そのコントローラサブシステムおよび／またはプロセッサ）が、渦巻状走査パターンのためのそれぞれのピクセルデータとしてフレームをレンダリングする。
１８０４では、拡張現実システムが、フレームのうちの第１のフレームの第１の部分を提示すること、およびフレームのうちの第１のフレームの第２の部分を提示することの時間の間で、駆動信号の振幅を調整する。この振幅の変化は、フレームのうちの第１のフレームに対応する画像内の可変解像度をもたらす。拡張現実システムは、例えば、駆動信号の傾斜または勾配を変動させ得る。そのようなものは、渦巻状走査パターンとともに使用される場合に特に有用である。例えば、フレームの第１のフィールドは、第２のフィールドが異なる傾斜または勾配を有する、１つの傾斜または勾配を有してもよく、それによって、単一のフレームで有効解像度を変化させる。より高い解像度またはピクセル密度が、エンドユーザ関心または誘引の場所で、またはそれに近接して使用されてもよい一方で、より低い解像度またはピクセル密度は、そのような場所から離れて使用されてもよい。中心または画像がエンドユーザの誘引または集中の中心に向かって偏移させられる場合、高い解像度が、画像の中心の周囲で出現してもよい一方で、周辺部分は、より低い解像度で出現してもよい。そのようなものは、操縦可能なピクセルを伴って、陥凹型ディスプレイと表すことができるものを本質的に実装する。
図１９は、１つの図示した実施形態による、拡張現実システムにおける動作方法１９００を示す。方法１８００は、図１７の方法１７００を実行することと併せて、またはその一環として採用されてもよい。
１９０２では、拡張現実システム（例えば、そのコントローラサブシステムおよび／またはプロセッサ）が、エンドユーザのための少なくとも第１の画像内の注目点を査定する。拡張現実システムは、そのようなものを査定するための前述の技法のうちのいずれかを使用してもよい。例えば、新しい仮想オブジェクトが出現するであろうかどうか、および出現するであろう場所、または仮想オブジェクトがエンドユーザの視野内まで移動するであろうかどうかを判定してもよい。また、例えば、拡張現実システムは、仮想オブジェクトの相対的魅力（例えば、速度、色、サイズ、輝度、光ること）を査定してもよい。そのようなものは、エンドユーザの眼が追跡しているか、または焦点を合わせている視野内の場所を示す、眼の追跡情報を採用してもよい。
眼の追跡情報は、例えば、１つまたはそれを上回る頭部装着型変換器、例えば、頭部装着型カメラを介して、供給されてもよい。そのような眼の追跡情報は、例えば、エンドユーザの眼で光を投影し、その投影された光の少なくとも一部の帰還または反射を検出することによって、識別されてもよい。例えば、画像を作成または投影する投影サブシステムは、エンドユーザの角膜を外れて閃光を生成するように、少なくとも１つの光ファイバから光のピクセル、ドット、または他の要素を投影してもよい。眼の追跡は、１つ、２つ、３つ、またはさらに多くの光のスポットまたはドットを採用してもよい。光のスポットまたはドットが多いほど、より多くの情報が識別されてもよい。光源（例えば、レーザダイオード）は、例えば、カメラまたは画像センサのフレームレートと同期して、パルス化または変調されてもよい。そのような場合において、スポットまたはドットは、眼が動くと線のように見えてもよい。線がセンサを横断して進む際の線の方向は、眼の動きの方向を示してもよい。線の配向（例えば、垂直、水平、直交）は、眼の動きの配向を示す。線の長さは、眼の動きの速度を示す。
眼の追跡のために、光は、信号対雑音比を増加させるように変調（例えば、時間的に、強度）されてもよい。加えて、または代替として、光は、特定の波長（例えば、近赤外線）であってもよく、そのようなものが、背景光またはさらにエンドユーザが見ている画像を形成する光と区別されることを可能にする。光は、拡張現実システムが眼に提供しているエネルギー（例えば、熱）の総量を低減させるように変調されてもよい。閃光は、同一または別の光ファイバを介してセンサに返されてもよい。センサは、例えば、２次元画像センサ、例えば、ＣＣＤセンサまたはＣＭＯＳセンサの形態を成してもよい。
したがって、拡張現実システムは、エンドユーザの注目または集中の点または場所の指標を提供する、眼の相対的な動きを検出して追跡してもよい。拡張現実システムは、仮想オブジェクトまたは仮想事象（例えば、仮想オブジェクトの出現または移動）を、エンドユーザの注目または集中の識別された点または場所と論理的に関連付けてもよい。例えば、拡張現実システムは、エンドユーザにとって魅力的な仮想オブジェクトとして、エンドユーザの注目または集中の点または場所で、または少なくともそれに近接して出現する、仮想オブジェクトを指定してもよい。
１９０４では、拡張現実システムが、少なくとも１つの後続画像の少なくとも１つの部分の中で解像度を調整する（例えば、増加させる、減少させる）。拡張現実システムは、同一の後続ページの他の部分に対して後続ページの一部分の解像度を調整するように、本明細書で説明される種々の技法のうちのいずれか、ならびに他の技法を採用してもよい。
図２０は、１つの図示した実施形態による、拡張現実システムにおける動作方法２０００を示す。方法２０００は、図１９の方法１９００の行為１９０４を実行する際に採用されてもよい。
２００２では、拡張現実システム（例えば、そのコントローラサブシステムおよび／またはプロセッサ）が、少なくとも１つの後続画像の他の部分に対して、査定された注目点に少なくとも近接する少なくとも１つの後続画像の一部分内で解像度を増加させる。前述のように、解像度は、駆動信号の規模または振幅（例えば、電流、電圧）を制御することによって、渦巻状走査パターンのために調整されてもよい。解像度は、駆動信号の傾斜を調整することによって調整されてもよい。したがって、解像度が、駆動信号の振幅を増加させることによって増加させられてもよい一方で、位相は、不変のままにされる。
２００４では、拡張現実システムが、少なくとも１つの後続画像の他の部分に対して、査定された注目点より遠位にある少なくとも１つの後続画像の一部分内の解像度を減少させる。解像度が、駆動信号の振幅を減少させることによって減少させられてもよい一方で、位相は、不変のままにされる。
いくつかの実装では、解像度が増加させられるのみであり、いくつかの部分で増加する一方で、他の部分では増加も減少しない。他の実装では、解像度が減少させられるのみであり、いくつかの部分で減少する一方で、他の部分では増加も減少しない。その上なおも他の実装では、解像度は、いくつかの部分で増加させられる一方で、他の部分で減少させられる。
図２１は、１つの図示した実施形態による、拡張現実システムにおける動作方法２１００を示す。方法２１００は、図１７の方法１７００と併せて採用されてもよい。
２１０２では、拡張現実システム（例えば、そのコントローラサブシステムおよび／またはプロセッサ）が、眼の追跡データを処理する。眼の追跡データは、エンドユーザの少なくとも一方の眼の少なくとも配向を示してもよい。眼の追跡データは、少なくとも１つの変換器を介して供給されてもよい。例えば、眼の追跡データは、頭部装着型変換器を介して供給されてもよい。いくつかの実装では、眼の追跡データは、その遠位端に、またはそれに近接して位置付けられた変換器を用いて、光ファイバを介して収集される。例えば、光ファイバは、閃光であり得る、エンドユーザの眼の一部分から反射される光を収集してもよい。光ファイバは、エンドユーザに表示または投影するための画像を作成するために使用されるものと同一の光ファイバであってもよい。
２１０４では、拡張現実システムは、頭部追跡データを処理する。頭部追跡データは、少なくともエンドユーザの頭部の配向を示す。頭部追跡データは、少なくとも１つの変換器を介して供給されてもよい。
例えば、慣性センサ（例えば、ジャイロセンサ、加速度計）等の１つまたはそれを上回る頭部装着型または搭載型変換器である。頭部の動きの追跡は、１つまたはそれを上回る頭部装着型または頭部搭載型光源、および少なくとも１つのセンサを使用して、実装されてもよい。頭部追跡は、１つ、２つ、３つ、またはさらに多くの光のスポットまたはドットを採用してもよい。光のスポットまたはドットが多いほど、より多くの情報が識別されてもよい。光源（例えば、レーザダイオード）は、例えば、カメラまたは画像センサ（例えば、前向きのカメラ）のフレームレートと同期して、パルス化または変調されてもよい。レーザ源は、カメラまたは画像センサのフレームレートより低い周波数で変調されてもよい。そのような場合において、スポットまたはドットは、頭部が動くと線のように見えてもよい。線がセンサを横断して進む際の線の方向は、頭部の動きの方向を示してもよい。線の配向（例えば、垂直、水平、直交）は、頭部の動きの配向を示す。線の長さは、頭部の動きの速度を示す。反射光はまた、距離および／または幾何学形状（例えば、平面、曲面）および／または配向（例えば、傾斜または垂直）等の周囲環境内のオブジェクトに関する情報を提供してもよい。例えば、１つのレーザビームは、方向および速度に関する情報（例えば、突進または線の長さ）を生成してもよい。第２のレーザビームは、深度または距離に関する情報（例えば、Ｚ軸）を追加してもよい。第３のレーザビームは、周囲環境内の表面の幾何学形状および／または配向についての情報を追加してもよい。レーザまたは他の光源は、頭部の動きの間に、または頭部の動きの一部の間にパルス化されてもよい。
加えて、または代替として、頭部追跡データは、頭部装着型ではない変換器を介して供給されてもよい。例えば、カメラまたは撮像装置システムは、その動きを追跡して、エンドユーザの頭部を含む、エンドユーザを撮像してもよい。そのようなものは、例えば、ある外部基準フレーム、例えば、追跡システムによって画定される基準フレーム、または追跡システムが位置する部屋に対して、動きを追跡してもよい。
２１０６では、拡張現実システムが、エンドユーザ基準フレームに対してエンドユーザの視野内の仮想オブジェクトの出現場所を判定する。出現は、エンドユーザの視野に新たに導入されたときの新しい仮想オブジェクトの出現であってもよい。出現は、少なくとも１つの前の画像内の仮想オブジェクトの位置に対する、画像内の新しい位置での仮想オブジェクトの出現であってもよい。拡張現実システムは、仮想オブジェクトの出現場所を判定するように、本明細書の他の場所で説明される多数の技法のうちのいずれかを採用してもよい。
本システムはまた、エンドユーザ知覚を向上させるためにブランキングを使用してもよい。
図２２は、１つの図示した実施形態による、拡張現実システムにおける動作方法２２００を示す。方法２２００は、エンドユーザ知覚体験を向上させるためにブランキングを効果的に採用する。
２２０２では、拡張現実システム（例えば、そのコントローラサブシステムおよび／またはプロセッサ）が、少なくとも１つの仮想オブジェクトをエンドユーザに表示する。拡張現実システムは、フレームをフレームバッファにレンダリングし、１つまたはそれを上回る光源および／またはヨークあるいは他のシステムを駆動して、光の少なくとも２軸移動または追跡を生じるように、フレームを読み出してもよい。
２２０４では、拡張現実システムが、エンドユーザの頭部の動きの発生を検出および／または予測する。拡張現実システムは、頭部の動きの発生を検出および／または予測するために、本明細書の他の場所で説明される多数の技法のうちのいずれかを採用してもよい。限定ではないが、これらの技法は、例えば、慣性変換器またはセンサを介して、あるいはエンドユーザが存在して可視的である領域を撮像する、頭部装着型撮像装置または環境撮像装置からの画像を介して、頭部の動きを直接感知することを含む。これらの技法はまた、例えば、新しい仮想オブジェクトが出現するであろう場所、既存の仮想オブジェクトが移動するであろう場所、または特に魅力的な仮想オブジェクトが画像内に位置付けられる場所を判定することによって、頭部の動きを間接的に予測することも含む。
２２０６では、拡張現実システムは、検出および／または予測された頭部の動きが頭部の動きの公称値を超えるか、または超えると予測されるかどうかを査定する。拡張現実システムは、検出および／または予測された頭部の動きが頭部の動きの公称値を超えるか、または超えると予測されるかどうかを査定するために、本明細書の他の場所で説明される多数の技法のうちのいずれかを採用してもよい。そのようなものは、公称速度との検出または予測された速度の単純な比較を含んでもよい。そのようなものは、公称加速との検出または予測された加速の単純な比較を含んでもよい。そのようなものは、公称範囲との検出または予測された範囲の単純な比較を含んでもよい。そのようなものは、移動中の複数の時間にわたる速度、加速、または範囲の平均または積分を含む、より複雑な比較を含んでもよい。そのようなものは、履歴属性または他の情報さえも採用してもよい。
２２０８では、拡張現実システムが、エンドユーザへの少なくとも１つの仮想オブジェクトの表示の一部分を一時的に消去する。例えば、拡張現実システムは、フレームバッファから読み取ることをやめてもよい。加えて、または代替として、拡張現実システムは、照明または光源をオフにしてもよい。そのようなものは、ＬＣＤディスプレイのバックライトを一時的にオフにすることを含んでもよい。
図２３は、１つの図示した実施形態による、拡張現実システムにおける動作方法２３００を示す。方法２３００は、図２２の方法２２００を行う際に採用されてもよい。
２３０２では、拡張現実システム（例えば、そのコントローラサブシステムおよび／またはプロセッサ）が、頭部追跡データを処理する。頭部追跡データは、少なくともエンドユーザの頭部の配向を示す。頭部追跡データは、エンドユーザによって頭部に装着される場合もあり、されない場合もある、少なくとも１つの変換器を介して供給されてもよい。拡張現実システムは、頭部追跡データを処理するために、本明細書の他の場所で説明される多数の技法のうちのいずれかを採用してもよい。
２３０４では、エンドユーザに提示される画像のうちの少なくともいくつかについて、拡張現実システム（例えば、そのコントローラサブシステムおよび／またはプロセッサ）が、エンドユーザ基準フレームに対してエンドユーザの視野内の仮想オブジェクトの出現場所を判定する。エンドユーザの視野に新たに導入されたときの仮想オブジェクトの出現場所を判定する。少なくとも１つの前の画像内の仮想オブジェクトの位置に対する、画像内の新しい位置で仮想オブジェクトの出現場所を判定する。拡張現実システムは、仮想オブジェクトの出現場所を判定するために、本明細書の他の場所で説明される多数の技法のうちのいずれかを採用してもよい。
２３０６では、拡張現実システムは、仮想オブジェクトの判定された出現が十分魅力的であるかどうかを査定する。例えば、拡張現実システムは、仮想オブジェクトの相対的な視覚的魅力（例えば、速度、色、サイズ、輝度、光ること、透明度、特殊な光学効果）を査定してもよい。また、例えば、拡張現実システムは、相対的な関心の魅力（例えば、新規性、最近性、以前の注目、エンドユーザによる以前の識別、エンドユーザとの以前の相互作用）を査定してもよい。
２３０８では、拡張現実システムは、判定された場所が、エンドユーザの頭部の現在の位置に対して、エンドユーザの頭部を旋回させるようにエンドユーザに要求するかどうかを査定する。拡張現実システムは、エンドユーザの頭部の現在の位置および／または配向、ならびに仮想オブジェクトの相対位置および／または配向を採用してもよい。拡張現実システムは、距離、例えば、エンドユーザの現在の焦点と仮想オブジェクトの位置および／または配向との間の角度距離を判定してもよい。拡張現実システムは、判定された距離が眼の動きの範囲内であるかどうか、またはエンドユーザが頭部も旋回させなければならないかどうかを判定してもよい。エンドユーザが頭部を旋回させなければならない場合、本システムは、エンドユーザがどれだけ頭部を旋回させなければならないかを査定してもよい。例えば、拡張現実システムは、エンドユーザの眼の動きと頭部の動きとの間の関係を特定する、情報を採用してもよい。そのようなものは、頭部を旋回させる前に、眼の動きのみを介して、どの程度エンドユーザが注視を偏移させるであろうかを示してもよい。顕著なことには、眼の動きと頭部の動きとの間の関係は、種々の異なる方向について、例えば、ａ）上から下、ｂ）下から上、ｃ）左から右、ｄ）右から左、ｅ）左下から右上へ対角線上に、ｆ）右下から左上へ対角線上に、ｇ）左上から右下へ対角線上に、またはｈ）右上から左下へ対角線上に、特定されてもよい。
２３１０では、拡張現実システムが、査定に基づいて頭部の動きの発生を予測する。拡張現実システムは、頭部の動きが起こるであろうかどうか、頭部の動きの方向および／または配向、および／または頭部の動きの速度あるいは加速を予測する際に、査定からの１つまたはそれを上回る要因を使用してもよい。拡張現実システムは、エンドユーザ特有であるか、またはエンドユーザ群にとってより一般的であるかのいずれかである、履歴データを採用してもよい。拡張現実システムは、頭部の動きの予測の精度を増加させるように、１つまたはそれを上回る機械学習アルゴリズムを実装してもよい。
図２４は、１つの図示した実施形態による、拡張現実システムにおける動作方法２４００を示す。方法２４００は、図２２の方法２２００の行為２２０８を行う際に採用されてもよい。
２４０２では、拡張現実システム（例えば、そのコントローラサブシステムおよび／またはプロセッサ）が、ディスプレイまたはディスプレイのバックライトを点滅または閃光させる。点滅または閃光は、検出された頭部の動きまたは予測された頭部の動きの全体または一部分にわたって起こる。そのようなものは、有利なことには、仮想オブジェクトのフレームまたは提示内の矛盾の知覚を効果的に低減させてもよい。そのようなものはまた、知覚されたフレームレートを効果的に増加させてもよい。
図２５は、１つの図示した実施形態による、拡張現実システムにおける動作方法２５００を示す。
２５０２では、拡張現実システム（例えば、そのコントローラサブシステムおよび／またはプロセッサ）が、エンドユーザの頭部の動きの発生を検出および／または予測する。例えば、拡張現実システムは、少なくともエンドユーザの頭部の配向を示す頭部追跡データを処理してもよい。加えて、または代替として、拡張現実システムは、エンドユーザ基準フレームに対してエンドユーザの視野内の仮想オブジェクトの出現場所を判定し、判定された場所が、エンドユーザの頭部を旋回させるようにエンドユーザに要求するかどうかを査定し、査定に基づいて頭部の動きの発生を予測してもよい。拡張現実システムは、頭部の動きの発生を検出および／または予測するために、本明細書の他の場所で説明される多数の技法のうちのいずれかを採用してもよい。
２５０４では、拡張現実システムは、検出または予測された頭部の動きが頭部の動きの公称値を超えるかどうかを判定する。拡張現実システムは、検出または予測された頭部の動きが頭部の動きの公称値を超えるかどうかを判定するために、本明細書の他の場所で説明される多数の技法のうちのいずれかを採用してもよい。
２５０６では、検出された、または予測する部の動きが頭部の動きの公称値を超えるという判定に応答して、拡張現実システムは、少なくとも１つの自由度でプロジェクタを移動させるように、アクチュエータを選択的に起動する。プロジェクタを移動させることは、少なくとも１つの軸に沿って第１の光ファイバを平行移動させることを含んでもよい。プロジェクタを移動させることは、少なくとも１つの軸の周囲で第１の光ファイバを枢動させることを含んでもよい。
図２６は、１つの図示した実施形態による、拡張現実システムにおける動作方法２６００を示す。
拡張現実システムは、フレームをオーバーレンダリングし、所与の表示技術の最大領域および最大解像度のための必要よりはるかに大きいフレームを生成する。例えば、頭部装着型または搭載型拡張現実システムでは、表示または投影に利用可能な領域は、機器の種々のパラメータによって設定されてもよい。同様に、拡張現実システムが、複数の明確に異なる解像度で動作することが可能であり得る一方で、機器は、上限または最大解像度を設定するであろう。オーバーレンダリングされたフレームは、最大解像度で最大表示領域を超えるピクセルのセットのピクセル情報を含む。そのようなものは、有利なことには、拡張現実システムがフレームの部分のみ（例えば、中断されていなければフレームの各フィールドの一部分）を読み出すことを可能にしてもよい。そのようなものは、拡張現実システムがユーザに提示される画像を偏移させることを可能にしてもよい。
２６０２では、拡張現実システム（例えば、コントローラサブシステムおよび／またはプロセッサ）が、画定された視野のための複数のフレームのそれぞれをオーバーレンダリングする。そのようなものは、最大解像度での最大領域に別様に必要とされるであろう、より多くのピクセル情報を生成することを必要とする。例えば、フレームの領域は、例えば、フレームによって画定される水平、垂直、または直交方向のいずれかで、ピクセル情報を増加させる、最大領域の割合によって増加させられてもよい。フレームサイズが大きいほど、拡張現実システムが、ユーザに提示される画像の境界を偏移させるように、さらなる自由度を有するであろう。
２６０４では、拡張現実システムが、オーバーレンダリングされたフレームを少なくとも１つのフレームバッファに連続的にバッファリングする。拡張現実システムは、最大解像度での最大表示サイズに必要とされるフレームサイズより大きい、フレームバッファを採用してもよい。いくつかの実装は、複数のフレームバッファを採用する。そのようなものは、本明細書の他の場所で説明されるように、フレームの提示の中断を促進してもよい。
２６０６では、拡張現実システムが、提示するそれぞれの画像の一部分を判定する。拡張現実システムは、種々の要因のうちのいずれかに基づいて一部分を判定してもよい。例えば、要因は、エンドユーザが注目している、集中している、またはエンドユーザの注目を別様に集めた、画像または場面内の場所を示してもよい。再度、眼の追跡を含むが、それに限定されない、種々の技法が採用されてもよい。また、例えば、要因は、エンドユーザが注目、集中すると予測される、またはエンドユーザの注目を別様に集めるであろう、画像または場面内の場所を示してもよい。再度、新たに出現する仮想オブジェクト、高速または急速に移動する仮想オブジェクト、視覚的に魅力的である仮想オブジェクト、以前に指定された（例えば、エンドユーザによって、またはエンドユーザの相互作用を以前に追跡することによって指定された）仮想オブジェクト、および／または垂直オブジェクトの固有の性質に基づいて注目の魅力がある仮想オブジェクトを識別することを含むが、それに限定されない、種々の技法が採用されてもよい。垂直オブジェクトの固有の性質に基づいて注目の魅力がある仮想オブジェクトは、例えば、一般化エンドユーザまたは特定のエンドユーザのいずれかにとって懸念または不安のオブジェクトまたはアイテム（例えば、差し迫った脅威）を視覚的に表す、仮想オブジェクトを含んでもよい。
２６０８では、拡張現実システムが、フレームバッファからオーバーレンダリングされたフレームの一部分を選択的に読み出す。一部分は、提示するそれぞれの画像の判定された部分に少なくとも部分的に基づく。例えば、読み出される部分は、識別された場所に近接するか、またはそれと合致あるいは共同整合するように偏移させられる、中心を有してもよい。識別された場所は、例えば、エンドユーザの注目を集めた前の画像またはフレーム内の場所であってもよい。識別された場所は、例えば、エンドユーザの注目を集めるであろうと拡張現実システムが予測した、後続フレーム内の場所であってもよい。
図２７は、１つの図示した実施形態による、拡張現実システムにおける動作方法２７００を示す。方法２７００は、図２６の方法２６００を行う際に採用されてもよい。例えば、方法２７００は、エンドユーザの注目を集めるであろう、後続フレームまたは画像内の場所を予測するために使用されてもよい。
２７０２では、フレームのうちの少なくともいくつかについて、拡張現実システム（例えば、そのコントローラサブシステムおよび／またはプロセッサ）が、エンドユーザ基準フレームに対してエンドユーザの視野内の仮想オブジェクトの出現場所を判定する。
２７０４では、拡張現実システムが、視野内の仮想オブジェクトの出現場所を判定することに少なくとも部分的に基づいて、フレームバッファから選択的に読み出す。例えば、読み出される部分は、識別された場所に近接するか、またはそれと合致あるいは共同整合するように偏移させられる、中心を有してもよい。代替として、読み出される部分の境界は、２またはさらに３次元で、直接周辺領域内の判定された場所を包含するように偏移させられてもよい。例えば、拡張現実システムは、エンドユーザに提示するために、フレームバッファから読み出されるオーバーレンダリングされたフレーム全体の一部分（例えば、８０％）を選択してもよい。拡張現実システムは、境界が、例えば、エンドユーザに現在提示されている画像内で、エンドユーザの注目の現在の場所に対して偏移させられるように、その部分を選択してもよい。拡張現実システムは、現在の場所および予測された場所が、後に提示される画像内でエンドユーザに提示されるように、境界を設定しながら、両方の場所の組み合わせに基づいて境界を選択してもよい。
図２８は、１つの図示した実施形態による、拡張現実システムにおける動作方法２８００を示す。方法２８００は、図２６の方法２６００を行う際に採用されてもよい。例えば、方法２８００は、エンドユーザの注目を集めた、または集めると予測される、画像内の場所を判定するために使用されてもよい。
２８０２では、拡張現実システム（例えば、そのコントローラサブシステムおよび／またはプロセッサ）は、新しい仮想がエンドユーザの視野に新たに導入されたときに、新しい仮想オブジェクトの出現場所を判定する。拡張現実システムは、エンドユーザに提示される直前の前のフレームまたは画像に対して新しい、仮想オブジェクトの導入を識別するために、本明細書で説明される種々の技法のうちのいずれかを採用してもよい。したがって、たとえ仮想オブジェクトが、提示のある他の部分でエンドユーザに以前に提示されていたとしても、仮想オブジェクトの再導入にエンドユーザの注目を集めさせるために十分な数の介在画像が提示されていれば、仮想オブジェクトは、新たに導入されたものとして識別されてもよい。
２８０４では、拡張現実システムが、少なくとも１つの前のフレーム内の位置に対する、フレーム内の新しい位置で仮想オブジェクトの出現場所を判定する。拡張現実システムは、エンドユーザに提示される直前のフレームまたは画像に対して移動させられる、いくつかの画像内の新しいまたは異なる位置への仮想オブジェクトの移動を識別するために、本明細書で説明される種々の技法のうちのいずれかを採用してもよい。したがって、たとえ仮想オブジェクトが、提示のある他の部分の中のある場所でエンドユーザに以前に提示されていたとしても、前の場所における仮想オブジェクトの再出現にエンドユーザの注目を集めさせるために十分な数の介在画像が提示されていれば、仮想オブジェクトは、移動させられた、または移動しているものとして識別されてもよい。
２８０６では、拡張現実システムが、エンドユーザの視野内で、少なくとも定義された最小速度を有する仮想オブジェクトの場所を判定する。拡張現実システムは、画像から画像への仮想オブジェクトの移動の速度を判定するため、およびその速度を定義または公称速度と比較するために、本明細書で説明される種々の技法のうちのいずれかを採用してもよい。判定された速度は、画像内の固定基準フレームに対するか、または画像内で出現する他の仮想オブジェクトおよび／または物理的オブジェクトに対するものであってもよい。
２８０８では、拡張現実システムが、画像内の仮想オブジェクトの場所に少なくとも部分的に基づいて、提示するそれぞれの画像の一部分を判定する。拡張現実システムは、提示するそれぞれの画像の一部分を判定するために、本明細書で説明される種々の技法のうちのいずれかを採用してもよい。判定は、種々の要因のうちのいずれかに基づいてもよい。要因は、例えば、エンドユーザが注目している、集中している、またはエンドユーザの注目を別様に集めた、画像または場面内の場所を示す要因またはデータを含んでもよい。要因は、例えば、エンドユーザが注目、集中すると予測される、またはエンドユーザの注目を別様に集めるであろう、画像または場面内の場所を示す要因またはデータを含んでもよい。拡張現実システムは、実際の検出を介するか、または予測を介するかにかかわらず、エンドユーザの注目を集めた場所を識別するために、本明細書の他の場所で説明される種々の技法のうちのいずれかを採用してもよい。
２８１０では、拡張現実システムが、少なくとも１つの後続フレームのためのフレームバッファの一部分を読み出す。読み出される部分は、少なくとも、提示されるであろうそれぞれの画像の判定された部分に向かって、画像の中心を偏移させる。拡張現実システムは、エンドユーザの実際または予測された注目の中心の場所に基づいて、画像の中心または境界を偏移させる、フレームの一部分をフレームバッファから読み出すために、本明細書で説明される種々の技法のうちのいずれかを採用してもよい。
図２９は、１つの図示した実施形態による、拡張現実システムにおける動作方法２９００を示す。方法２９００は、図２６の方法２６００を行う際に採用されてもよい。具体的には、方法２９００は、エンドユーザの予測された頭部の動きに基づいて、フレームのどの部分を読み出すかを判定するために採用されてもよい。
２９０２では、拡張現実システム（例えば、そのコントローラサブシステムおよび／またはプロセッサ）が、エンドユーザの頭部の動きの発生を予測する。拡張現実システムは、頭部の動きを予測するために、本明細書で説明される種々の技法のうちのいずれかを採用してもよい。そのような技法は、新しい仮想オブジェクト、移動する仮想オブジェクト、急速に移動する仮想オブジェクト、以前に選択された仮想オブジェクト、および／または視覚的に魅力的な仮想オブジェクトの画像内の出現を検出することを含むが、それに限定されない。
２９０４では、拡張現実システムが、予測された頭部の動きに少なくとも部分的に基づいて、提示するそれぞれのフレームまたは画像の一部分を判定する。拡張現実システムは、使用されるフレームの部分を判定するために、本明細書で説明される種々の技法のうちのいずれかを採用してもよい。例えば、拡張現実システムは、境界が予測された頭部の動きの予測された終点の場所を包含するように、一部分を選択してもよい。頭部の動きの予測が仮想オブジェクトの出現（例えば、新たに導入された、移動する、魅力的な出現、エンドユーザによって以前に選択された）で予測される場合、終点は、後続フレームまたは画像内のその仮想オブジェクトの場所と一致し得る。
図３０は、１つの図示した実施形態による、拡張現実システムにおける動作方法３０００を示す。
拡張現実システムは、フレームをオーバーレンダリングし、所与の表示技術の最大領域および最大解像度のための必要よりはるかに大きいフレームを生成する。例えば、頭部装着型または搭載型拡張現実システムでは、表示または投影に利用可能な領域は、機器の種々のパラメータによって設定されてもよい。同様に、拡張現実システムが、複数の明確に異なる解像度で動作することが可能であり得る一方で、機器は、上限または最大解像度を設定するであろう。オーバーレンダリングされたフレームは、最大解像度で最大表示領域を超えるピクセルのセットのピクセル情報を含む。そのようなものは、有利なことには、拡張現実システムがフレームの部分のみ（例えば、中断されていなければフレームの各フィールドの一部分）を読み出すことを可能にしてもよい。そのようなものは、拡張現実システムがユーザに提示される画像を偏移させることを可能にしてもよい。
３００２では、拡張現実システム（例えば、コントローラサブシステムおよび／またはプロセッサ）が、画定された視野のための複数のフレームのそれぞれをオーバーレンダリングする。そのようなものは、最大解像度での最大領域に別様に必要とされるであろう、より多くのピクセル情報を生成することを必要とする。例えば、フレームの領域は、例えば、フレームによって画定される水平、垂直、または直交方向のいずれかで、ピクセル情報を増加させる、最大領域の割合によって増加させられてもよい。フレームサイズが大きいほど、拡張現実システムが、ユーザに提示される画像の境界を偏移させるように、さらなる自由度を有するであろう。
３００４では、拡張現実システムが、提示するそれぞれの画像の一部分を判定する。拡張現実システムは、種々の要因のうちのいずれかに基づいて一部分を判定してもよい。例えば、要因は、エンドユーザが注目している、集中している、またはエンドユーザの注目を別様に集めた、画像または場面内の場所を示してもよい。再度、眼の追跡を含むが、それに限定されない、種々の技法が採用されてもよい。また、例えば、要因は、エンドユーザが注目、集中すると予測される、またはエンドユーザの注目を別様に集めるであろう、画像または場面内の場所を示してもよい。再度、新たに出現する仮想オブジェクト、高速または急速に移動する仮想オブジェクト、視覚的に魅力的である仮想オブジェクト、以前に指定された（例えば、エンドユーザによって、またはエンドユーザの相互作用を以前に追跡することによって指定された）仮想オブジェクト、および／または垂直オブジェクトの固有の性質に基づいて注目の魅力がある仮想オブジェクトを識別することを含むが、それに限定されない、種々の技法が採用されてもよい。垂直オブジェクトの固有の性質に基づいて注目の魅力がある仮想オブジェクトは、例えば、一般化エンドユーザまたは特定のエンドユーザのいずれかにとって懸念または不安のオブジェクトまたはアイテム（例えば、差し迫った脅威）を視覚的に表す、仮想オブジェクトを含んでもよい。
３００６では、拡張現実システムが、オーバーレンダリングされたフレームの１つまたはそれを上回る判定された部分をバッファの中へ動的にアドレス指定する。判定された部分は、例えば、エンドユーザの注目、関心、または焦点の識別された場所に近接するか、またはそれと合致あるいは共同整合するように偏移させられる、中心を有してもよい。識別された場所は、例えば、エンドユーザの注目を集めた前の画像またはフレーム内の場所であってもよい。識別された場所は、例えば、エンドユーザの注目を集めるであろうと拡張現実システムが予測した、後続フレーム内の場所であってもよい。いくつかの実装は、複数のフレームバッファを採用する。そのようなものは、本明細書の他の場所で説明されるように、フレームのための提示の中断を促進してもよい。
３００８では、拡張現実システムが、フレームバッファからオーバーレンダリングフレームの判定された部分を読み出す。
本発明の種々の例示的実施形態が本明細書で説明される。非限定的な意味で、これらの実施例を参照する。それらは、本発明のより広く適用可能な側面を例証するように提供される。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、均等物が置換されてもよい。加えて、特定の状況、材料、組成物、プロセス、プロセスの行為またはステップを、本発明の目的、精神、または範囲に適合させるように、多くの修正が行われてもよい。さらに、当業者によって理解されるように、本明細書で説明および図示される個々の変形例のそれぞれは、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され得るか、またはそれらと組み合わせられ得る、離散構成要素および特徴を有する。全てのそのような修正は、本開示と関連付けられる請求項の範囲内であることを目的としている。
本発明は、本デバイスを使用して行われ得る方法を含む。本方法は、そのような好適なデバイスを提供する行為を含んでもよい。そのような提供は、エンドユーザによって行われてもよい。換言すると、「提供する」行為は、本方法において必要デバイスを提供するために、取得する、アクセスする、接近する、位置付ける、設定する、起動する、電源投入する、または別様に作用するようにエンドユーザに要求するにすぎない。本明細書に記載される方法は、論理的に可能である記載された事象の任意の順序で、ならびに事象の記載された順序で実行されてもよい。
本発明の例示的側面が、材料選択および製造に関する詳細とともに、上記で記載されている。本発明の他の詳細に関して、これらは、上記の参照された特許および公開に関連して理解されるとともに、概して、当業者によって把握または理解され得る。同じことが、一般的または理論的に採用されるような付加的な行為の観点から、本発明の方法ベースの側面に関して当てはまり得る。
加えて、本発明は、種々の特徴を随意に組み込む、いくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に関して考慮されるように説明または指示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、（本明細書に記載されるか、またはいくらか簡潔にするために含まれないかどうかにかかわらず）均等物が置換されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と加減との間の全ての介在値、およびその規定範囲内の任意の他の規定または介在値が、本発明内に包含されることが理解される。
また、本明細書で説明される発明の変形例の任意の随意的な特徴が、独立して、または本明細書で説明される特徴のうちのいずれか１つまたはそれを上回る特徴と組み合わせて、記載および請求され得ることが考慮される。単数形の項目の言及は、複数の同一項目が存在する可能性を含む。より具体的には、本明細書で、およびそれに関連付けられる請求項で使用されるように、「１つの（ａ、ａｎ）」、「該（ｓａｉｄ）」、および「前記（ｔｈｅ）」という単数形は、特に別様に記述されない限り、複数の指示対象を含む。換言すると、冠詞の使用は、上記の説明ならびに本開示と関連付けられる請求項で、対象項目の「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意的な要素を除外するように起草され得ることに留意されたい。したがって、この記述は、請求項要素の記載に関連する「だけ」、「のみ」、および同等物等の排他的用語の使用、または「否定的」制限の使用のための先行詞としての機能を果たすことを目的としている。
そのような排他的用語を使用することなく、本開示と関連付けられる請求項での「備える」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加をそのような請求項に記載される要素の性質を変換するものと見なすことができるかどうかにかかわらず、任意の付加的な要素の包含を可能にするものとする。本明細書で特に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の有効性を維持しながら、可能な限り広義の一般的に理解されている意味を与えられるものである。
本発明の範疇は、提供される実施例および／または本明細書に限定されるものではないが、むしろ本開示と関連付けられる請求項の範囲のみによって限定されるものとする。

Claims (8)

  1. 仮想画像提示システムにおける動作方法であって、前記方法は、
    エンドユーザの頭部の動きを検出することと、
    前記エンドユーザの前記検出された頭部の動きに応答して、フレームの少なくとも２つの部分の各々についてそれぞれの解像度を判定することと、
    前記フレームの第１の部分に対応する第１の駆動信号の第１の傾斜を前記フレームの第２の部分に対応する第２の駆動信号の第２の傾斜と異なるように調整することによって、前記フレームの前記第１の部分の第１の解像度を前記フレームの前記第２の部分の第２の解像度と異なるように修正することと、
    前記フレームの前記第１の部分の前記第１の解像度と前記第２の部分の前記第２の解像度とに基づいて、前記エンドユーザに仮想オブジェクトを表示することと
    を含む、方法。
  2. 前記フレームの各部分は、前記フレームのフィールド、前記フレームの線、および、前記フレームのピクセルのうちの少なくとも１つである、請求項１に記載の方法。
  3. 前記フレームの前記第１の部分の前記第１の解像度を修正することは、前記第１の駆動信号の振幅を調整することをさらに含む、請求項１に記載の方法。
  4. 渦巻状走査パターンを使用して、それぞれの解像度を含むピクセルデータで前記フレームをレンダリングすることをさらに含む、請求項１に記載の方法。
  5. 処理された眼の追跡データ、エンドユーザ基準フレームに対する前記エンドユーザの視野内の仮想オブジェクトの判定された出現場所、前記エンドユーザの前記視野に新たに導入されたときの前記仮想オブジェクトの判定された出現場所、および、少なくとも１つの前の画像内の前記仮想オブジェクトの位置に対する画像内の新しい位置での前記仮想オブジェクトの判定された出現場所のうちの少なくとも１つに基づいて、前記エンドユーザのための少なくとも第１の画像内の注目点を査定することをさらに含む、請求項１に記載の方法。
  6. 前記処理された眼の追跡データは、前記エンドユーザの眼の配向および前記エンドユーザの頭部の配向のうちの少なくとも１つを示す、請求項５に記載の方法。
  7. 前記査定された注目点に近接している少なくとも１つの後続画像の一部分内で前記少なくとも１つの後続画像内の解像度を増加させることをさらに含む、請求項６に記載の方法。
  8. 前記査定された注目点に近接していない少なくとも１つの後続画像の一部分内で前記少なくとも１つの後続画像内の解像度を減少させることをさらに含む、請求項６に記載の方法。
JP2018078476A 2013-03-15 2018-04-16 表示システムおよび方法 Active JP6542945B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361801219P 2013-03-15 2013-03-15
US61/801,219 2013-03-15

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016502951A Division JP6326482B2 (ja) 2013-03-15 2014-03-14 表示システムおよび方法

Publications (2)

Publication Number Publication Date
JP2018147501A true JP2018147501A (ja) 2018-09-20
JP6542945B2 JP6542945B2 (ja) 2019-07-10

Family

ID=51525486

Family Applications (10)

Application Number Title Priority Date Filing Date
JP2016502951A Active JP6326482B2 (ja) 2013-03-15 2014-03-14 表示システムおよび方法
JP2017047915A Active JP6353105B2 (ja) 2013-03-15 2017-03-13 表示システムおよび方法
JP2018078476A Active JP6542945B2 (ja) 2013-03-15 2018-04-16 表示システムおよび方法
JP2018078475A Active JP6542944B2 (ja) 2013-03-15 2018-04-16 表示システムおよび方法
JP2018078477A Active JP6602911B2 (ja) 2013-03-15 2018-04-16 表示システムおよび方法
JP2018078478A Active JP6676095B2 (ja) 2013-03-15 2018-04-16 表示システムおよび方法
JP2018078479A Active JP6542946B2 (ja) 2013-03-15 2018-04-16 表示システムおよび方法
JP2018109143A Active JP6683762B2 (ja) 2013-03-15 2018-06-07 表示システムおよび方法
JP2019185679A Active JP6826174B2 (ja) 2013-03-15 2019-10-09 表示システムおよび方法
JP2021003946A Withdrawn JP2021072135A (ja) 2013-03-15 2021-01-14 表示システムおよび方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2016502951A Active JP6326482B2 (ja) 2013-03-15 2014-03-14 表示システムおよび方法
JP2017047915A Active JP6353105B2 (ja) 2013-03-15 2017-03-13 表示システムおよび方法

Family Applications After (7)

Application Number Title Priority Date Filing Date
JP2018078475A Active JP6542944B2 (ja) 2013-03-15 2018-04-16 表示システムおよび方法
JP2018078477A Active JP6602911B2 (ja) 2013-03-15 2018-04-16 表示システムおよび方法
JP2018078478A Active JP6676095B2 (ja) 2013-03-15 2018-04-16 表示システムおよび方法
JP2018078479A Active JP6542946B2 (ja) 2013-03-15 2018-04-16 表示システムおよび方法
JP2018109143A Active JP6683762B2 (ja) 2013-03-15 2018-06-07 表示システムおよび方法
JP2019185679A Active JP6826174B2 (ja) 2013-03-15 2019-10-09 表示システムおよび方法
JP2021003946A Withdrawn JP2021072135A (ja) 2013-03-15 2021-01-14 表示システムおよび方法

Country Status (11)

Country Link
US (12) US9417452B2 (ja)
EP (2) EP4027222A1 (ja)
JP (10) JP6326482B2 (ja)
KR (8) KR102271727B1 (ja)
CN (9) CN107577350B (ja)
AU (8) AU2014229004B2 (ja)
CA (2) CA3160567A1 (ja)
HK (1) HK1248851A1 (ja)
IL (8) IL241657B (ja)
NZ (8) NZ751593A (ja)
WO (1) WO2014144526A2 (ja)

Families Citing this family (557)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0522968D0 (en) 2005-11-11 2005-12-21 Popovich Milan M Holographic illumination device
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
US9335604B2 (en) 2013-12-11 2016-05-10 Milan Momcilo Popovich Holographic waveguide display
US11204540B2 (en) 2009-10-09 2021-12-21 Digilens Inc. Diffractive waveguide providing a retinal image
WO2011042711A2 (en) 2009-10-09 2011-04-14 Milan Momcilo Popovich Compact edge illuminated diffractive display
WO2012136970A1 (en) 2011-04-07 2012-10-11 Milan Momcilo Popovich Laser despeckler based on angular diversity
WO2016020630A2 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Waveguide laser illuminator incorporating a despeckler
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
WO2013027004A1 (en) 2011-08-24 2013-02-28 Milan Momcilo Popovich Wearable data display
WO2013102759A2 (en) 2012-01-06 2013-07-11 Milan Momcilo Popovich Contact image sensor using switchable bragg gratings
CN106125308B (zh) 2012-04-25 2019-10-25 罗克韦尔柯林斯公司 用于显示图像的装置和方法
WO2013167864A1 (en) 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
US20160292924A1 (en) * 2012-10-31 2016-10-06 Sulon Technologies Inc. System and method for augmented reality and virtual reality applications
US9933684B2 (en) * 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
EP2967322A4 (en) 2013-03-11 2017-02-08 Magic Leap, Inc. System and method for augmented and virtual reality
NZ751593A (en) 2013-03-15 2020-01-31 Magic Leap Inc Display system and method
WO2014188149A1 (en) 2013-05-20 2014-11-27 Milan Momcilo Popovich Holographic waveguide eye tracker
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103424891B (zh) 2013-07-31 2014-12-17 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103431840B (zh) 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
US9727772B2 (en) 2013-07-31 2017-08-08 Digilens, Inc. Method and apparatus for contact image sensing
CN103431980A (zh) 2013-08-22 2013-12-11 北京智谷睿拓技术服务有限公司 视力保护成像系统及方法
CN103439801B (zh) 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
CN103500331B (zh) 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
CN103605208B (zh) 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射系统及方法
US10310597B2 (en) * 2013-09-03 2019-06-04 Tobii Ab Portable eye tracking device
CN113576398A (zh) 2013-09-03 2021-11-02 托比股份公司 便携式眼睛追踪设备
US10686972B2 (en) 2013-09-03 2020-06-16 Tobii Ab Gaze assisted field of view control
CN103558909B (zh) * 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示系统
US9491365B2 (en) * 2013-11-18 2016-11-08 Intel Corporation Viewfinder wearable, at least in part, by human operator
EP4071537B1 (en) 2014-01-31 2024-07-10 Magic Leap, Inc. Multi-focal display system
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US11138793B2 (en) 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
US10430985B2 (en) 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US9547412B1 (en) * 2014-03-31 2017-01-17 Amazon Technologies, Inc. User interface configuration to avoid undesired movement effects
US10852838B2 (en) 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20150379772A1 (en) * 2014-06-30 2015-12-31 Samsung Display Co., Ltd. Tracking accelerator for virtual and augmented reality displays
WO2016028864A1 (en) 2014-08-22 2016-02-25 Intelligent Technologies International, Inc. Secure testing device, system and method
US10540907B2 (en) 2014-07-31 2020-01-21 Intelligent Technologies International, Inc. Biometric identification headpiece system for test taking
US10359736B2 (en) 2014-08-08 2019-07-23 Digilens Inc. Method for holographic mastering and replication
US10410535B2 (en) 2014-08-22 2019-09-10 Intelligent Technologies International, Inc. Secure testing device
WO2016042283A1 (en) 2014-09-19 2016-03-24 Milan Momcilo Popovich Method and apparatus for generating input images for holographic waveguide displays
KR101728408B1 (ko) * 2014-09-22 2017-04-19 (주)에프엑스기어 방향 예측을 이용한 저 레이턴시 시뮬레이션 장치 및 방법과, 이를 위한 컴퓨터 프로그램
WO2016046514A1 (en) 2014-09-26 2016-03-31 LOKOVIC, Kimberly, Sun Holographic waveguide opticaltracker
NZ730509A (en) 2014-09-29 2018-08-31 Magic Leap Inc Architectures and methods for outputting different wavelength light out of waveguides
US10438106B2 (en) 2014-11-04 2019-10-08 Intellignet Technologies International, Inc. Smartcard
WO2016073986A1 (en) * 2014-11-07 2016-05-12 Eye Labs, LLC Visual stabilization system for head-mounted displays
JP6501501B2 (ja) * 2014-11-12 2019-04-17 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
US10176639B2 (en) 2014-11-27 2019-01-08 Magic Leap, Inc. Virtual/augmented reality system having dynamic region resolution
WO2016098591A1 (ja) * 2014-12-15 2016-06-23 株式会社島津製作所 ヘッドマウントディスプレイ用の動画像処理装置、ヘッドマウントディスプレイ用の動画像処理方法およびヘッドマウントディスプレイシステム
US9576399B2 (en) 2014-12-23 2017-02-21 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
US10255713B2 (en) 2014-12-29 2019-04-09 Google Llc System and method for dynamically adjusting rendering parameters based on user movements
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US9824498B2 (en) * 2014-12-30 2017-11-21 Sony Interactive Entertainment Inc. Scanning display system in head-mounted display for virtual reality
EP3245551B1 (en) 2015-01-12 2019-09-18 DigiLens Inc. Waveguide light field displays
EP3245444B1 (en) 2015-01-12 2021-09-08 DigiLens Inc. Environmentally isolated waveguide display
CN107533137A (zh) 2015-01-20 2018-01-02 迪吉伦斯公司 全息波导激光雷达
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
JP7136558B2 (ja) 2015-03-05 2022-09-13 マジック リープ， インコーポレイテッド 拡張現実のためのシステムおよび方法
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
WO2016145348A1 (en) * 2015-03-12 2016-09-15 LAFORGE Optical, Inc. Apparatus and method for multi-layered graphical user interface for use in mediated reality
US10459145B2 (en) 2015-03-16 2019-10-29 Digilens Inc. Waveguide device incorporating a light pipe
NZ773844A (en) 2015-03-16 2022-07-01 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
US10591756B2 (en) 2015-03-31 2020-03-17 Digilens Inc. Method and apparatus for contact image sensing
US10152906B2 (en) * 2015-04-26 2018-12-11 Mems Start, Llc Near-eye display system and method
KR102359038B1 (ko) 2015-06-15 2022-02-04 매직 립, 인코포레이티드 멀티플렉싱된 광 스트림들을 인-커플링하기 위한 광학 엘리먼트들을 가진 디스플레이 시스템
CN107710284B (zh) * 2015-06-30 2021-11-23 奇跃公司 用于在虚拟图像生成系统中更有效地显示文本的技术
US10176642B2 (en) 2015-07-17 2019-01-08 Bao Tran Systems and methods for computer assisted operation
US10149958B1 (en) 2015-07-17 2018-12-11 Bao Tran Systems and methods for computer assisted operation
US10492981B1 (en) 2015-07-17 2019-12-03 Bao Tran Systems and methods for computer assisted operation
US10335572B1 (en) 2015-07-17 2019-07-02 Naveen Kumar Systems and methods for computer assisted operation
WO2017015162A1 (en) * 2015-07-17 2017-01-26 Magic Leap, Inc. Virtual/augmented reality system having dynamic region resolution
US10685488B1 (en) 2015-07-17 2020-06-16 Naveen Kumar Systems and methods for computer assisted operation
US10254536B2 (en) 2015-07-20 2019-04-09 Magic Leap, Inc. Collimating fiber scanner design with inward pointing angles in virtual/augmented reality system
NZ739860A (en) 2015-08-18 2019-10-25 Magic Leap Inc Virtual and augmented reality systems and methods
KR20230150397A (ko) 2015-08-21 2023-10-30 매직 립, 인코포레이티드 눈 포즈 측정을 사용한 눈꺼풀 형상 추정
EP3337383B1 (en) 2015-08-21 2024-10-16 Magic Leap, Inc. Eyelid shape estimation
KR102389807B1 (ko) 2015-09-16 2022-04-21 매직 립, 인코포레이티드 오디오 파일들의 헤드 포즈 혼합
JP6876683B2 (ja) 2015-09-23 2021-05-26 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 軸外イメージャを用いた眼の撮像
NZ741830A (en) 2015-10-05 2022-02-25 Magic Leap Inc Microlens collimator for scanning optical fiber in virtual/augmented reality system
US10690916B2 (en) 2015-10-05 2020-06-23 Digilens Inc. Apparatus for providing waveguide displays with two-dimensional pupil expansion
CN118502118A (zh) 2015-10-06 2024-08-16 奇跃公司 具有反向角衍射光栅的虚拟/增强现实系统
WO2017066346A1 (en) * 2015-10-12 2017-04-20 Cinova Media Method and apparatus for optimizing video streaming for virtual reality
JP6885935B2 (ja) 2015-10-16 2021-06-16 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 眼の特徴を用いる眼ポーズ識別
US10088685B1 (en) 2015-10-19 2018-10-02 Meta Company Apparatuses, methods and systems for multiple focal distance display
CN113220116A (zh) 2015-10-20 2021-08-06 奇跃公司 改变可穿戴设备用户输入模式的系统和方法及可穿戴系统
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US10466780B1 (en) * 2015-10-26 2019-11-05 Pillantas Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor
CN106652004A (zh) * 2015-10-30 2017-05-10 北京锤子数码科技有限公司 基于头戴式可视设备对虚拟现实进行渲染的方法及装置
AU2016349891B9 (en) 2015-11-04 2021-05-06 Magic Leap, Inc. Dynamic display calibration based on eye-tracking
US11231544B2 (en) 2015-11-06 2022-01-25 Magic Leap, Inc. Metasurfaces for redirecting light and methods for fabricating
US10043075B2 (en) * 2015-11-19 2018-08-07 Microsoft Technology Licensing, Llc Eye feature identification
JP6511386B2 (ja) * 2015-11-20 2019-05-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
WO2017096241A1 (en) * 2015-12-02 2017-06-08 Augmenteum, Inc. System for and method of projecting augmentation imagery in a head-mounted display
CN108604383A (zh) 2015-12-04 2018-09-28 奇跃公司 重新定位系统和方法
WO2017112013A1 (en) * 2015-12-22 2017-06-29 Google Inc. System and method for performing electronic display stabilization via retained lightfield rendering
US20170188021A1 (en) * 2015-12-24 2017-06-29 Meta Company Optical engine for creating wide-field of view fovea-based display
US10678958B2 (en) 2015-12-28 2020-06-09 Intelligent Technologies International, Inc. Intrusion-protected memory component
US10026232B2 (en) 2016-01-04 2018-07-17 Meta Compnay Apparatuses, methods and systems for application of forces within a 3D virtual environment
US10466480B2 (en) 2016-01-07 2019-11-05 Magic Leap, Inc. Virtual and augmented reality systems and methods having unequal numbers of component color images distributed across depth planes
US20190012528A1 (en) * 2016-01-13 2019-01-10 Fove, Inc. Facial expression recognition system, facial expression recognition method, and facial expression recognition program
EP3405830B1 (en) 2016-01-19 2024-10-16 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US10831264B2 (en) 2016-01-19 2020-11-10 Magic Leap, Inc. Eye image combination
EP3405820B1 (en) 2016-01-20 2021-02-24 Magic Leap, Inc. Polarizing maintaining optical fiber in virtual/augmented reality system
CN108885352B (zh) 2016-01-29 2021-11-23 奇跃公司 三维图像的显示
CN109073889B (zh) 2016-02-04 2021-04-27 迪吉伦斯公司 全息波导光学跟踪器
WO2017139034A1 (en) * 2016-02-09 2017-08-17 Google Inc. Pixel adjusting at display controller for electronic display stabilization
WO2017142977A1 (en) 2016-02-15 2017-08-24 Meta Company Apparatuses, methods and systems for tethering 3-d virtual elements to digital content
NZ745246A (en) 2016-02-24 2020-01-31 Magic Leap Inc Polarizing beam splitter with low light leakage
CN114898675A (zh) 2016-02-24 2022-08-12 奇跃公司 用于光发射器的低轮廓互连
IL304423B1 (en) 2016-02-26 2024-08-01 Magic Leap Inc Light output system with reflector and lenses for high spatially uniform light output
CN109073821B (zh) 2016-02-26 2021-11-02 奇跃公司 具有用于多个光发射器的多个光管的显示系统
US9939635B2 (en) 2016-02-29 2018-04-10 Brillio LLC Method for providing notification in virtual reality device
AU2017227598B2 (en) 2016-03-01 2022-03-17 Magic Leap, Inc. Reflective switching device for inputting different wavelengths of light into waveguides
NZ756561A (en) 2016-03-04 2023-04-28 Magic Leap Inc Current drain reduction in ar/vr display systems
KR102358677B1 (ko) 2016-03-07 2022-02-03 매직 립, 인코포레이티드 생체 인증 보안을 위한 청색 광 조정
CN111329554B (zh) 2016-03-12 2021-01-05 P·K·朗 用于手术的装置与方法
AU2017236893A1 (en) 2016-03-21 2018-09-06 Washington University Virtual reality or augmented reality visualization of 3D medical images
EP3779740B1 (en) 2016-03-22 2021-12-08 Magic Leap, Inc. Head mounted display system configured to exchange biometric information
WO2017162999A1 (en) 2016-03-24 2017-09-28 Popovich Milan Momcilo Method and apparatus for providing a polarization selective holographic waveguide device
IL261769B2 (en) 2016-03-25 2024-08-01 Magic Leap Inc Virtual and augmented reality systems and methods
US10359806B2 (en) * 2016-03-28 2019-07-23 Sony Interactive Entertainment Inc. Pressure sensing to identify fitness and comfort of virtual reality headset
JP2017182247A (ja) * 2016-03-29 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN109196447B (zh) 2016-03-31 2022-06-17 奇跃公司 使用姿势和多dof控制器与3d虚拟对象的交互
KR20220040511A (ko) 2016-04-08 2022-03-30 매직 립, 인코포레이티드 가변 포커스 렌즈 엘리먼트들을 가진 증강 현실 시스템들 및 방법들
EP3433658B1 (en) 2016-04-11 2023-08-09 DigiLens, Inc. Holographic waveguide apparatus for structured light projection
US10341650B2 (en) 2016-04-15 2019-07-02 Ati Technologies Ulc Efficient streaming of virtual reality content
US10437326B2 (en) * 2016-04-21 2019-10-08 Facebook Technologies, Llc Backlight modulation for liquid crystal display with eyetracking for virtual reality
IL311131A (en) 2016-04-21 2024-04-01 Magic Leap Inc A visual aura around the field of vision
AU2017257549B2 (en) 2016-04-26 2021-09-09 Magic Leap, Inc. Electromagnetic tracking with augmented reality systems
US10046229B2 (en) 2016-05-02 2018-08-14 Bao Tran Smart device
KR20210032022A (ko) 2016-05-06 2021-03-23 매직 립, 인코포레이티드 광을 재지향시키기 위한 비대칭 격자들을 가진 메타표면들 및 제조를 위한 방법들
CN109414164B (zh) 2016-05-09 2022-06-14 奇跃公司 用于用户健康分析的增强现实系统和方法
EP4235237A1 (en) 2016-05-12 2023-08-30 Magic Leap, Inc. Distributed light manipulation over imaging waveguide
US10198874B2 (en) * 2016-05-13 2019-02-05 Google Llc Methods and apparatus to align components in virtual reality environments
US10365712B2 (en) 2016-05-17 2019-07-30 Google Llc Object tracking in a head mounted reference frame in an augmented and/or virtual reality environment
IL290933B2 (en) 2016-05-20 2023-10-01 Magic Leap Inc Contextual awareness of user interface menus
IL299710A (en) 2016-06-03 2023-03-01 Magic Leap Inc Identity verification in augmented reality
EP3469251B1 (en) 2016-06-10 2021-07-07 Magic Leap, Inc. Integrating point source for texture projecting bulb
KR102491130B1 (ko) 2016-06-20 2023-01-19 매직 립, 인코포레이티드 시각적 프로세싱 및 지각 상태들을 포함하는 신경학적 상태들의 평가 및 수정을 위한 증강 현실 디스플레이 시스템
US10366536B2 (en) 2016-06-28 2019-07-30 Microsoft Technology Licensing, Llc Infinite far-field depth perception for near-field objects in virtual environments
CA3029541A1 (en) 2016-06-30 2018-01-04 Magic Leap, Inc. Estimating pose in 3d space
EP3484343B1 (en) 2016-07-14 2024-01-10 Magic Leap, Inc. Iris boundary estimation using cornea curvature
KR102648770B1 (ko) 2016-07-14 2024-03-15 매직 립, 인코포레이티드 홍채 식별을 위한 딥 뉴럴 네트워크
WO2018017751A1 (en) * 2016-07-19 2018-01-25 Supereye, Inc. Systems and methods for predictive visual rendering
AU2017300636A1 (en) 2016-07-21 2019-01-31 Magic Leap, Inc. Technique for controlling virtual image generation system using emotional states of user
EP4345831A3 (en) 2016-07-25 2024-04-24 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
KR102520143B1 (ko) 2016-07-25 2023-04-11 매직 립, 인코포레이티드 광 필드 프로세서 시스템
KR102557341B1 (ko) 2016-07-29 2023-07-18 매직 립, 인코포레이티드 암호화방식으로 싸인된 레코드들의 안전한 교환
KR102649197B1 (ko) 2016-07-29 2024-03-20 삼성전자주식회사 그래픽 객체를 표시하기 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
US10373592B2 (en) * 2016-08-01 2019-08-06 Facebook Technologies, Llc Adaptive parameters in image regions based on eye tracking information
WO2018026737A1 (en) 2016-08-02 2018-02-08 Magic Leap, Inc. Fixed-distance virtual and augmented reality systems and methods
WO2018026893A1 (en) * 2016-08-03 2018-02-08 Google Llc Methods and systems for determining positional data for three-dimensional interactions inside virtual reality environments
KR102195352B1 (ko) 2016-08-11 2020-12-24 매직 립, 인코포레이티드 3-차원 공간에서의 가상 객체의 자동적인 배치
IL292025B2 (en) 2016-08-12 2023-12-01 Magic Leap Inc Parosh is a flurry of words
US10402649B2 (en) 2016-08-22 2019-09-03 Magic Leap, Inc. Augmented reality display device with deep learning sensors
WO2018039273A1 (en) 2016-08-22 2018-03-01 Magic Leap, Inc. Dithering methods and apparatus for wearable display device
WO2018039586A1 (en) 2016-08-26 2018-03-01 Magic Leap, Inc. Continuous time warp and binocular time warp for virtual and augmented reality display systems and methods
CN106331689B (zh) * 2016-08-26 2018-09-18 杭州智屏电子商务有限公司 Vr视频播放时定位对象方法及vr视频播放时定位对象装置
IL312096A (en) 2016-09-13 2024-06-01 Magic Leap Inc Sensory glasses
US11198063B2 (en) * 2016-09-14 2021-12-14 Square Enix Co., Ltd. Video display system, video display method, and video display program
CN112987303A (zh) 2016-09-21 2021-06-18 奇跃公司 用于具有出瞳扩展器的光学系统的系统和方法
US20180082482A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Display system having world and user sensors
WO2018057962A1 (en) 2016-09-22 2018-03-29 Magic Leap, Inc. Augmented reality spectroscopy
US10380950B2 (en) * 2016-09-23 2019-08-13 Novatek Microelectronics Corp. Method for reducing motion blur and head mounted display apparatus
IL265498B1 (en) 2016-09-26 2024-08-01 Magic Leap Inc Calibration of magnetic and optical sensors in a virtual reality or augmented reality display system
WO2018064169A1 (en) 2016-09-28 2018-04-05 Magic Leap, Inc. Face model capture by a wearable device
RU2016138608A (ru) 2016-09-29 2018-03-30 Мэджик Лип, Инк. Нейронная сеть для сегментации изображения глаза и оценки качества изображения
EP3519066B1 (en) * 2016-09-30 2021-09-01 Sony Interactive Entertainment Inc. Wireless head mounted display with differential rendering and sound localization
US10489680B2 (en) 2016-10-04 2019-11-26 Magic Leap, Inc. Efficient data layouts for convolutional neural networks
KR102269065B1 (ko) 2016-10-05 2021-06-24 매직 립, 인코포레이티드 혼합 현실 교정을 위한 안구주위 테스트
IT201600103076A1 (it) * 2016-10-13 2018-04-13 Osram Gmbh Procedimento di rilevazione del c.d. view frustum, sistema e prodotto informatico corrispondenti
GB2554914B (en) * 2016-10-14 2022-07-20 Vr Chitect Ltd Virtual reality system and method
EP4333428A3 (en) 2016-10-21 2024-05-22 Magic Leap, Inc. System and method for presenting image content on multiple depth planes by providing multiple intra-pupil parallax views
KR102561860B1 (ko) * 2016-10-25 2023-08-02 삼성전자주식회사 전자장치 및 그 제어방법
KR102507383B1 (ko) * 2016-11-08 2023-03-08 한국전자통신연구원 직사각형 윈도우를 이용한 스테레오 정합 방법 및 스테레오 정합 시스템
IL296031A (en) 2016-11-11 2022-10-01 Magic Leap Inc Peripheral assembly and audio of a full facial image
CN115097937A (zh) 2016-11-15 2022-09-23 奇跃公司 用于长方体检测的深度学习系统
AU2017361096B2 (en) 2016-11-16 2022-09-01 Magic Leap, Inc. Thermal management systems for wearable components
EP3542213A4 (en) 2016-11-18 2020-10-07 Magic Leap, Inc. WAVE GUIDE LIGHT MULTIPLEXER USING CROSSED GRIDS
JP7019695B2 (ja) 2016-11-18 2022-02-15 マジック リープ， インコーポレイテッド 広入射角範囲の光を再指向するための多層液晶回折格子
IL310194A (en) 2016-11-18 2024-03-01 Magic Leap Inc Liquid crystal refraction lattices vary spatially
US11067860B2 (en) 2016-11-18 2021-07-20 Magic Leap, Inc. Liquid crystal diffractive devices with nano-scale pattern and methods of manufacturing the same
EP3550418A4 (en) * 2016-11-30 2020-05-27 Gree, Inc. APPLICATION CONTROL PROGRAM, APPLICATION CONTROL METHOD, AND APPLICATION CONTROL SYSTEM
WO2018102834A2 (en) 2016-12-02 2018-06-07 Digilens, Inc. Waveguide device with uniform output illumination
US10531220B2 (en) 2016-12-05 2020-01-07 Magic Leap, Inc. Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems
KR20230070318A (ko) 2016-12-05 2023-05-22 매직 립, 인코포레이티드 혼합 현실 환경의 가상 사용자 입력 콘트롤들
EP4002000A1 (en) 2016-12-08 2022-05-25 Magic Leap, Inc. Diffractive devices based on cholesteric liquid crystal
GB2557593A (en) * 2016-12-09 2018-06-27 Sony Interactive Entertainment Inc Virtual reality
US10922887B2 (en) 2016-12-13 2021-02-16 Magic Leap, Inc. 3D object rendering using detected features
AU2017377915B2 (en) 2016-12-13 2022-12-15 Magic Leap. Inc. Augmented and virtual reality eyewear, systems, and methods for delivering polarized light and determining glucose levels
CN106888203B (zh) 2016-12-13 2020-03-24 阿里巴巴集团控股有限公司 基于增强现实的虚拟对象分配方法及装置
CA3046328A1 (en) 2016-12-14 2018-06-21 Magic Leap, Inc. Patterning of liquid crystals using soft-imprint replication of surface alignment patterns
KR20180071012A (ko) * 2016-12-19 2018-06-27 삼성전자주식회사 전자 장치 및 전자 장치 제어 방법
US10371896B2 (en) 2016-12-22 2019-08-06 Magic Leap, Inc. Color separation in planar waveguides using dichroic filters
US11036049B2 (en) 2016-12-22 2021-06-15 Magic Leap, Inc. Systems and methods for manipulating light from ambient light sources
GB2558284B (en) * 2016-12-23 2021-12-08 Sony Interactive Entertainment Inc Virtual reality
US10746999B2 (en) 2016-12-28 2020-08-18 Magic Leap, Inc. Dual depth exit pupil expander
CA3051060A1 (en) 2016-12-29 2018-07-05 Magic Leap, Inc. Automatic control of wearable display device based on external conditions
US10610775B1 (en) * 2017-01-04 2020-04-07 Facebook Technologies, Llc Actuation for a focus adjusting head mounted display
WO2018129151A1 (en) 2017-01-05 2018-07-12 Magic Leap, Inc. Patterning of high refractive index glasses by plasma etching
US10545346B2 (en) 2017-01-05 2020-01-28 Digilens Inc. Wearable heads up displays
KR20240059645A (ko) 2017-01-11 2024-05-07 매직 립, 인코포레이티드 의료 보조기
WO2018132804A1 (en) 2017-01-16 2018-07-19 Lang Philipp K Optical guidance for surgical, medical, and dental procedures
CN108320331B (zh) * 2017-01-17 2021-10-22 上海掌门科技有限公司 一种生成用户场景的增强现实视频信息的方法与设备
US10824888B1 (en) * 2017-01-19 2020-11-03 State Farm Mutual Automobile Insurance Company Imaging analysis technology to assess movements of vehicle occupants
JP6596452B2 (ja) * 2017-01-23 2019-10-23 ティフォン インコーポレーテッド 表示装置、表示方法及びその表示プログラム、並びに、遊興施設
US20180213202A1 (en) * 2017-01-23 2018-07-26 Jaunt Inc. Generating a Video Stream from a 360-Degree Video
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
US10451799B2 (en) 2017-01-23 2019-10-22 Magic Leap, Inc. Eyepiece for virtual, augmented, or mixed reality systems
US10841724B1 (en) 2017-01-24 2020-11-17 Ha Tran Enhanced hearing system
US10242654B2 (en) 2017-01-25 2019-03-26 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations
US9978118B1 (en) 2017-01-25 2018-05-22 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations with data compression
WO2018140651A1 (en) 2017-01-27 2018-08-02 Magic Leap, Inc. Diffraction gratings formed by metasurfaces having differently oriented nanobeams
US11681153B2 (en) 2017-01-27 2023-06-20 Magic Leap, Inc. Antireflection coatings for metasurfaces
US10354140B2 (en) 2017-01-31 2019-07-16 Microsoft Technology Licensing, Llc Video noise reduction for video augmented reality system
US11187909B2 (en) 2017-01-31 2021-11-30 Microsoft Technology Licensing, Llc Text rendering by microshifting the display in a head mounted display
US10504397B2 (en) 2017-01-31 2019-12-10 Microsoft Technology Licensing, Llc Curved narrowband illuminant display for head mounted display
US10298840B2 (en) 2017-01-31 2019-05-21 Microsoft Technology Licensing, Llc Foveated camera for video augmented reality and head mounted display
US11287292B2 (en) 2017-02-13 2022-03-29 Lockheed Martin Corporation Sensor system
US11347054B2 (en) 2017-02-16 2022-05-31 Magic Leap, Inc. Systems and methods for augmented reality
US11436389B2 (en) 2017-02-22 2022-09-06 Middle Chart, LLC Artificial intelligence based exchange of geospatial related digital content
US10949579B2 (en) * 2017-02-22 2021-03-16 Middle Chart, LLC Method and apparatus for enhanced position and orientation determination
US11481527B2 (en) 2017-02-22 2022-10-25 Middle Chart, LLC Apparatus for displaying information about an item of equipment in a direction of interest
US11194938B2 (en) 2020-01-28 2021-12-07 Middle Chart, LLC Methods and apparatus for persistent location based digital content
US11625510B2 (en) 2017-02-22 2023-04-11 Middle Chart, LLC Method and apparatus for presentation of digital content
US10740503B1 (en) 2019-01-17 2020-08-11 Middle Chart, LLC Spatial self-verifying array of nodes
US11900023B2 (en) 2017-02-22 2024-02-13 Middle Chart, LLC Agent supportable device for pointing towards an item of interest
KR102403719B1 (ko) * 2017-02-22 2022-06-02 삼성전자주식회사 전자 장치 및 그 제어 방법
US10984146B2 (en) 2017-02-22 2021-04-20 Middle Chart, LLC Tracking safety conditions of an area
US10902160B2 (en) 2017-02-22 2021-01-26 Middle Chart, LLC Cold storage environmental control and product tracking
US11475177B2 (en) 2017-02-22 2022-10-18 Middle Chart, LLC Method and apparatus for improved position and orientation based information display
US12086507B2 (en) 2017-02-22 2024-09-10 Middle Chart, LLC Method and apparatus for construction and operation of connected infrastructure
US10740502B2 (en) 2017-02-22 2020-08-11 Middle Chart, LLC Method and apparatus for position based query with augmented reality headgear
US10824774B2 (en) 2019-01-17 2020-11-03 Middle Chart, LLC Methods and apparatus for healthcare facility optimization
US11900021B2 (en) 2017-02-22 2024-02-13 Middle Chart, LLC Provision of digital content via a wearable eye covering
US11468209B2 (en) 2017-02-22 2022-10-11 Middle Chart, LLC Method and apparatus for display of digital content associated with a location in a wireless communications area
IL268427B2 (en) 2017-02-23 2024-03-01 Magic Leap Inc Variable focus virtual imagers based on polarization conversion
KR102578084B1 (ko) 2017-03-14 2023-09-12 매직 립, 인코포레이티드 광 흡수막들을 갖는 도파관들 및 이를 형성하기 위한 프로세스들
KR102302725B1 (ko) 2017-03-17 2021-09-14 매직 립, 인코포레이티드 룸 레이아웃 추정 방법들 및 기술들
WO2018170482A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Mixed reality system with color virtual content warping and method of generating virtual content using same
KR102517876B1 (ko) 2017-03-17 2023-04-03 매직 립, 인코포레이티드 증강 현실 데이터를 레코딩하기 위한 기술
IL290142B2 (en) 2017-03-17 2023-10-01 Magic Leap Inc A mixed reality system with the assembly of multi-source virtual content and a method for creating virtual content using it
CN110431599B (zh) 2017-03-17 2022-04-12 奇跃公司 具有虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法
KR102493992B1 (ko) 2017-03-21 2023-01-30 매직 립, 인코포레이티드 가상, 증강 및 혼합 현실 시스템들을 위한 깊이 감지 기술
EP3602177B1 (en) 2017-03-21 2023-08-02 Magic Leap, Inc. Methods, devices, and systems for illuminating spatial light modulators
KR102576133B1 (ko) 2017-03-21 2023-09-07 매직 립, 인코포레이티드 회절 광학 엘리먼트들을 이용한 눈-이미징 장치
KR20240069826A (ko) 2017-03-21 2024-05-20 매직 립, 인코포레이티드 저-프로파일 빔 스플리터
US11079603B2 (en) 2017-03-21 2021-08-03 Magic Leap, Inc. Display system with spatial light modulator illumination for divided pupils
WO2018175488A1 (en) 2017-03-21 2018-09-27 Magic Leap, Inc. Stacked waveguides having different diffraction gratings for combined field of view
WO2018175625A1 (en) 2017-03-22 2018-09-27 Magic Leap, Inc. Depth based foveated rendering for display systems
US10417739B2 (en) * 2017-03-23 2019-09-17 Google Llc Phase aligned foveated rendering
US10410349B2 (en) 2017-03-27 2019-09-10 Microsoft Technology Licensing, Llc Selective application of reprojection processing on layer sub-regions for optimizing late stage reprojection power
US10514753B2 (en) 2017-03-27 2019-12-24 Microsoft Technology Licensing, Llc Selectively applying reprojection processing to multi-layer scenes for optimizing late stage reprojection power
US10379606B2 (en) * 2017-03-30 2019-08-13 Microsoft Technology Licensing, Llc Hologram anchor prioritization
US10424107B2 (en) 2017-04-01 2019-09-24 Intel Corporation Hierarchical depth buffer back annotaton
US10255891B2 (en) 2017-04-12 2019-04-09 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations with multiple LSR processing engines
US20180300951A1 (en) * 2017-04-17 2018-10-18 Intel Corporation Adaptive tessellation for foveated rendering
US10896657B2 (en) 2017-04-17 2021-01-19 Intel Corporation Graphics with adaptive temporal adjustments
US10436968B2 (en) 2017-04-18 2019-10-08 Magic Leap, Inc. Waveguides having reflective layers formed by reflective flowable materials
JP7149289B2 (ja) 2017-04-19 2022-10-06 マジック リープ， インコーポレイテッド ウェアラブルシステムのためのマルチモード実行およびテキスト編集
US11010953B2 (en) 2017-04-21 2021-05-18 Intel Corporation Dedicated fixed point blending for energy efficiency
US10939038B2 (en) * 2017-04-24 2021-03-02 Intel Corporation Object pre-encoding for 360-degree view for optimal quality and latency
US11112932B2 (en) 2017-04-27 2021-09-07 Magic Leap, Inc. Light-emitting user input device
WO2018203333A1 (en) * 2017-04-30 2018-11-08 Oron Roi Virtual reality imaging system
KR102555443B1 (ko) * 2017-05-01 2023-07-12 매직 립, 인코포레이티드 콘텐츠를 공간 3d 환경에 매칭
JP6509938B2 (ja) * 2017-05-02 2019-05-08 株式会社コロプラ 情報処理方法、コンピュータ、及びプログラム
AU2018270948B2 (en) 2017-05-16 2022-11-24 Magic Leap, Inc. Systems and methods for mixed reality
JP2020521217A (ja) 2017-05-19 2020-07-16 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 仮想現実ディスプレイシステム、拡張現実ディスプレイシステム、および複合現実ディスプレイシステムのためのキーボード
CN110678891B (zh) 2017-05-22 2023-11-14 奇跃公司 与同伴设备配对
KR20240069815A (ko) 2017-05-30 2024-05-20 매직 립, 인코포레이티드 전자 디바이스를 위한 팬 조립체를 갖는 전력 공급기 조립체
EP3631567B1 (en) 2017-05-31 2022-09-21 Magic Leap, Inc. Eye tracking calibration techniques
US10921613B2 (en) * 2017-06-01 2021-02-16 NewSight Reality, Inc. Near eye display and related computer-implemented software and firmware
IL300301B2 (en) 2017-06-12 2024-08-01 Magic Leap Inc Augmented reality display with multi-component adaptive lenses to change plane depths
CN107422848B (zh) * 2017-06-16 2020-04-21 福建天晴数码有限公司 一种测试虚拟角色加速度值的方法及系统
EP3422147A1 (en) * 2017-06-28 2019-01-02 Koninklijke Philips N.V. Display apparatus for computer-mediated reality
US10216333B2 (en) * 2017-06-30 2019-02-26 Microsoft Technology Licensing, Llc Phase error compensation in single correlator systems
US10338400B2 (en) 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
KR102449200B1 (ko) * 2017-07-04 2022-09-30 삼성디스플레이 주식회사 클럭 배선을 포함하는 표시 장치
IL253432A0 (en) 2017-07-11 2017-09-28 Elbit Systems Ltd System and method for correcting a rolling display effect
WO2019012522A1 (en) 2017-07-11 2019-01-17 Elbit Systems Ltd. SYSTEM AND METHOD FOR CORRECTING A RUNNING DISPLAY EFFECT
US10908680B1 (en) 2017-07-12 2021-02-02 Magic Leap, Inc. Pose estimation using electromagnetic tracking
US10922583B2 (en) 2017-07-26 2021-02-16 Magic Leap, Inc. Training a neural network with representations of user interface devices
IL271963B (en) 2017-07-28 2022-08-01 Magic Leap Inc Fan assembly for image display
CN107820593B (zh) * 2017-07-28 2020-04-17 深圳市瑞立视多媒体科技有限公司 一种虚拟现实交互方法、装置及系统
US10395418B2 (en) 2017-08-18 2019-08-27 Microsoft Technology Licensing, Llc Techniques for predictive prioritization of image portions in processing graphics
US10445922B2 (en) * 2017-08-31 2019-10-15 Intel Corporation Last-level projection method and apparatus for virtual and augmented reality
US10521661B2 (en) 2017-09-01 2019-12-31 Magic Leap, Inc. Detailed eye shape model for robust biometric applications
IL272651B (en) * 2017-09-01 2022-08-01 Magic Leap Inc Creating a new frame using processed and unprocessed content from a previous perspective
US10762691B2 (en) * 2017-09-08 2020-09-01 Microsoft Technology Licensing, Llc Techniques for compensating variable display device latency in image display
US11801114B2 (en) 2017-09-11 2023-10-31 Philipp K. Lang Augmented reality display for vascular and other interventions, compensation for cardiac and respiratory motion
EP3685313A4 (en) 2017-09-20 2021-06-09 Magic Leap, Inc. PERSONALIZED NEURAL EYE TRACKING NETWORK
JP7280250B2 (ja) 2017-09-21 2023-05-23 マジック リープ， インコーポレイテッド 眼および／または環境の画像を捕捉するように構成される導波管を伴う拡張現実ディスプレイ
GB2566745A (en) * 2017-09-26 2019-03-27 Sony Interactive Entertainment Inc Motion signal generation
KR102650507B1 (ko) 2017-09-27 2024-03-21 매직 립, 인코포레이티드 별개의 위상 및 진폭 변조기들을 갖는 근안 3d 디스플레이
US10178619B1 (en) 2017-09-29 2019-01-08 Intel Corporation Advanced graphics power state management
WO2019067903A1 (en) * 2017-09-29 2019-04-04 Tobii Ab HEAD POSTURE ESTIMATION FROM A LOCAL EYE REGION
US10818087B2 (en) 2017-10-02 2020-10-27 At&T Intellectual Property I, L.P. Selective streaming of immersive video based on field-of-view prediction
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
WO2019069812A1 (ja) * 2017-10-05 2019-04-11 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイの視線検出システム、ヘッドマウントディスプレイ及びヘッドマウントディスプレイの視線検出方法
EP3695270A4 (en) 2017-10-11 2021-06-23 Magic Leap, Inc. AUGMENTED REALITY HEADSET INCLUDING A TRANSPARENT EMISSIVE DISPLAY EYEPIECE
CN111386495B (zh) 2017-10-16 2022-12-09 迪吉伦斯公司 用于倍增像素化显示器的图像分辨率的系统和方法
AU2018354330A1 (en) 2017-10-26 2020-05-14 Magic Leap, Inc. Augmented reality display having liquid crystal variable focus element and roll-to-roll method and apparatus for forming the same
US11537895B2 (en) 2017-10-26 2022-12-27 Magic Leap, Inc. Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks
IL308526A (en) 2017-10-26 2024-01-01 Magic Leap Inc Broadband adjustable lens assembly for augmented reality display
AU2018355441B2 (en) 2017-10-27 2023-11-09 Magic Leap, Inc. Virtual reticle for augmented reality systems
CN107783653A (zh) * 2017-11-06 2018-03-09 广州新维感信息技术有限公司 一种虚拟现实交互方法及系统
US10510812B2 (en) 2017-11-09 2019-12-17 Lockheed Martin Corporation Display-integrated infrared emitter and sensor structures
WO2019099305A1 (en) 2017-11-14 2019-05-23 Magic Leap, Inc. Meta-learning for multi-task learning for neural networks
US10553016B2 (en) 2017-11-15 2020-02-04 Google Llc Phase aligned foveated rendering
KR102717573B1 (ko) 2017-12-11 2024-10-14 매직 립, 인코포레이티드 도파관 조명기
IL311263A (en) 2017-12-14 2024-05-01 Magic Leap Inc Context-based processing of virtual characters
IL274976B2 (en) 2017-12-15 2024-05-01 Magic Leap Inc Improved positioning for a display device
IL274977B2 (en) 2017-12-15 2023-10-01 Magic Leap Inc Eyepieces for an augmented reality display system
AU2018388581A1 (en) 2017-12-22 2020-07-23 Magic Leap, Inc. Methods and system for managing and displaying virtual content in a mixed reality system
JP7182632B2 (ja) 2017-12-22 2022-12-02 マジック リープ， インコーポレイテッド 仮想、拡張、または複合現実環境内で３ｄビデオを生成および表示するための方法およびシステム
US10360454B1 (en) 2017-12-28 2019-07-23 Rovi Guides, Inc. Systems and methods for presenting supplemental content in augmented reality
CA3085459A1 (en) 2018-01-04 2019-07-11 Magic Leap, Inc. Optical elements based on polymeric structures incorporating inorganic materials
EP3710876A4 (en) 2018-01-08 2022-02-09 DigiLens Inc. SYSTEMS AND PROCESSES FOR THE MANUFACTURE OF WAVEGUIDE CELLS
WO2019135796A1 (en) 2018-01-08 2019-07-11 Digilens, Inc. Systems and methods for high-throughput recording of holographic gratings in waveguide cells
US10914950B2 (en) 2018-01-08 2021-02-09 Digilens Inc. Waveguide architectures and related methods of manufacturing
KR20200110367A (ko) 2018-01-17 2020-09-23 매직 립, 인코포레이티드 디스플레이 시스템들에서의 눈 회전 중심 결정, 깊이 평면 선택, 및 렌더 카메라 포지셔닝
US10917634B2 (en) 2018-01-17 2021-02-09 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes
WO2019148154A1 (en) 2018-01-29 2019-08-01 Lang Philipp K Augmented reality guidance for orthopedic and other surgical procedures
US11567627B2 (en) 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
GB2570708A (en) * 2018-02-05 2019-08-07 Nokia Technologies Oy Switching between multidirectional and limited viewport video content
KR102689931B1 (ko) 2018-02-06 2024-07-29 매직 립, 인코포레이티드 증강 현실을 위한 시스템들 및 방법들
US10275919B1 (en) 2018-02-06 2019-04-30 International Business Machines Corporation Preventing transition shocks during transitions between realities
US10594951B2 (en) 2018-02-07 2020-03-17 Lockheed Martin Corporation Distributed multi-aperture camera array
US11616941B2 (en) 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system
US10690910B2 (en) 2018-02-07 2020-06-23 Lockheed Martin Corporation Plenoptic cellular vision correction
US10129984B1 (en) 2018-02-07 2018-11-13 Lockheed Martin Corporation Three-dimensional electronics distribution by geodesic faceting
US10652529B2 (en) 2018-02-07 2020-05-12 Lockheed Martin Corporation In-layer Signal processing
US10838250B2 (en) 2018-02-07 2020-11-17 Lockheed Martin Corporation Display assemblies with electronically emulated transparency
US10951883B2 (en) 2018-02-07 2021-03-16 Lockheed Martin Corporation Distributed multi-screen array for high density display
US10979699B2 (en) 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
JP7112502B2 (ja) 2018-02-22 2022-08-03 マジック リープ， インコーポレイテッド 複合現実システムのためのブラウザ
AU2019225931A1 (en) 2018-02-22 2020-08-20 Magic Leap, Inc. Object creation with physical manipulation
US10735649B2 (en) 2018-02-22 2020-08-04 Magic Leap, Inc. Virtual and augmented reality systems and methods using display system control information embedded in image data
CN111771231A (zh) 2018-02-27 2020-10-13 奇跃公司 用于虚拟化身的匹配网格
EP3759542B1 (en) 2018-02-28 2023-03-29 Magic Leap, Inc. Head scan alignment using ocular registration
US11467398B2 (en) 2018-03-05 2022-10-11 Magic Leap, Inc. Display system with low-latency pupil tracker
EP4212222A1 (en) 2018-03-07 2023-07-19 Magic Leap, Inc. Visual tracking of peripheral devices
US11656462B2 (en) 2018-03-07 2023-05-23 Magic Leap, Inc. Adaptive lens assemblies including polarization-selective lens stacks for augmented reality display
US10659815B2 (en) 2018-03-08 2020-05-19 At&T Intellectual Property I, L.P. Method of dynamic adaptive streaming for 360-degree videos
US11828942B2 (en) 2018-03-12 2023-11-28 Magic Leap, Inc. Tilting array based display
EP3765890A4 (en) * 2018-03-14 2022-01-12 Magic Leap, Inc. DISPLAY SYSTEMS AND CONTENT CROPPING METHODS TO INCREASE VIEWING COMFORT
US11430169B2 (en) 2018-03-15 2022-08-30 Magic Leap, Inc. Animating virtual avatar facial movements
JP7381482B2 (ja) 2018-03-16 2023-11-15 マジック リープ， インコーポレイテッド ディスプレイシステムのための深度ベースの中心窩化レンダリング
WO2019178614A1 (en) 2018-03-16 2019-09-19 Digilens Inc. Holographic waveguides incorporating birefringence control and methods for their fabrication
WO2019177869A1 (en) 2018-03-16 2019-09-19 Magic Leap, Inc. Facial expressions from eye-tracking cameras
US11182962B2 (en) * 2018-03-20 2021-11-23 Logitech Europe S.A. Method and system for object segmentation in a mixed reality environment
WO2019183399A1 (en) 2018-03-21 2019-09-26 Magic Leap, Inc. Augmented reality system and method for spectroscopic analysis
CN108427199A (zh) * 2018-03-26 2018-08-21 京东方科技集团股份有限公司 一种增强现实设备、系统及方法
CN108514421A (zh) * 2018-03-30 2018-09-11 福建幸福家园投资管理有限公司 提升混合现实与日常健康监测的方法
CN112119334A (zh) 2018-04-02 2020-12-22 奇跃公司 具有集成光学元件的波导及其制造方法
WO2019195193A1 (en) 2018-04-02 2019-10-10 Magic Leap, Inc. Waveguides having integrated spacers, waveguides having edge absorbers, and methods for making the same
EP3776029A4 (en) 2018-04-02 2022-06-29 Magic Leap, Inc. Hybrid polymer waveguide and methods for making the same
US11276219B2 (en) 2018-04-16 2022-03-15 Magic Leap, Inc. Systems and methods for cross-application authoring, transfer, and evaluation of rigging control systems for virtual characters
US11067805B2 (en) 2018-04-19 2021-07-20 Magic Leap, Inc. Systems and methods for operating a display system based on user perceptibility
US10916066B2 (en) * 2018-04-20 2021-02-09 Edx Technologies, Inc. Methods of virtual model modification
WO2019209431A1 (en) 2018-04-23 2019-10-31 Magic Leap, Inc. Avatar facial expression representation in multidimensional space
WO2019212698A1 (en) 2018-05-01 2019-11-07 Magic Leap, Inc. Avatar animation using markov decision process policies
US11308673B2 (en) 2018-05-03 2022-04-19 Magic Leap, Inc. Using three-dimensional scans of a physical subject to determine positions and/or orientations of skeletal joints in the rigging for a virtual character
US10922895B2 (en) 2018-05-04 2021-02-16 Microsoft Technology Licensing, Llc Projection of content libraries in three-dimensional environment
JP7328993B2 (ja) 2018-05-17 2023-08-17 マジック リープ， インコーポレイテッド ニューラルネットワークの勾配型敵対的訓練
US10721510B2 (en) 2018-05-17 2020-07-21 At&T Intellectual Property I, L.P. Directing user focus in 360 video consumption
WO2019226494A1 (en) 2018-05-21 2019-11-28 Magic Leap, Inc. Generating textured polygon strip hair from strand-based hair for a virtual character
EP3797345A4 (en) 2018-05-22 2022-03-09 Magic Leap, Inc. TRANSMODAL INPUT FUSION FOR A BODY WEARABLE SYSTEM
US10482653B1 (en) 2018-05-22 2019-11-19 At&T Intellectual Property I, L.P. System for active-focus prediction in 360 video
CN112437950A (zh) 2018-05-22 2021-03-02 奇跃公司 用于对虚拟头像制作动画的骨架系统
WO2019226549A1 (en) 2018-05-22 2019-11-28 Magic Leap, Inc. Computer generated hair groom transfer tool
WO2019226865A1 (en) 2018-05-25 2019-11-28 Magic Leap, Inc. Compression of dynamic unstructured point clouds
US10827225B2 (en) 2018-06-01 2020-11-03 AT&T Intellectual Propety I, L.P. Navigation for 360-degree video streaming
US12087022B2 (en) 2018-06-01 2024-09-10 Magic Leap, Inc. Compression of dynamic unstructured point clouds
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US10812774B2 (en) * 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
WO2019236344A1 (en) 2018-06-07 2019-12-12 Magic Leap, Inc. Augmented reality scrollbar
DE102018209377A1 (de) * 2018-06-12 2019-12-12 Volkswagen Aktiengesellschaft Verfahren zur Darstellung von AR-/VR-Inhalten auf einem mobilen Endgerät und mobiles Endgerät, auf dem AR-/VR-Inhalte dargestellt werden
WO2019241575A1 (en) 2018-06-15 2019-12-19 Magic Leap, Inc. Wide field-of-view polarization switches with liquid crystal optical elements with pretilt
WO2019241573A1 (en) 2018-06-15 2019-12-19 Magic Leap, Inc. Wide field-of-view polarization switches and methods of fabricating liquid crystal optical elements with pretilt
WO2019246058A1 (en) 2018-06-18 2019-12-26 Magic Leap, Inc. Systems and methods for temporarily disabling user control interfaces during attachment of an electronic device
WO2019246129A2 (en) 2018-06-18 2019-12-26 Magic Leap, Inc. Augmented reality display with frame modulation functionality
US11624909B2 (en) 2018-06-18 2023-04-11 Magic Leap, Inc. Head-mounted display systems with power saving functionality
GB2574882B (en) * 2018-06-22 2020-08-12 Sony Interactive Entertainment Inc Method and system for displaying a virtual object
US11151793B2 (en) 2018-06-26 2021-10-19 Magic Leap, Inc. Waypoint creation in map detection
US11669726B2 (en) 2018-07-02 2023-06-06 Magic Leap, Inc. Methods and systems for interpolation of disparate inputs
US11106033B2 (en) 2018-07-05 2021-08-31 Magic Leap, Inc. Waveguide-based illumination for head mounted display system
JP7408621B2 (ja) 2018-07-13 2024-01-05 マジック リープ， インコーポレイテッド ディスプレイの両眼変形補償のためのシステムおよび方法
CN109063039A (zh) * 2018-07-17 2018-12-21 高新兴科技集团股份有限公司 一种基于移动端的视频地图动态标签显示方法及系统
WO2020018938A1 (en) 2018-07-19 2020-01-23 Magic Leap, Inc. Content interaction driven by eye metrics
CN112470464B (zh) 2018-07-23 2023-11-28 奇跃公司 场顺序显示器中的场内子码时序
US10916064B2 (en) 2018-07-23 2021-02-09 Magic Leap, Inc. Method and system for resolving hemisphere ambiguity using a position vector
US11627587B2 (en) 2018-07-23 2023-04-11 Magic Leap, Inc. Coexistence interference avoidance between two different radios operating in the same band
JP7562504B2 (ja) 2018-07-23 2024-10-07 マジック リープ， インコーポレイテッド 頭部姿勢予測のための深層予測器再帰ニューラルネットワーク
WO2020023383A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
US12099386B2 (en) 2018-07-24 2024-09-24 Magic Leap, Inc. Thermal management system for electronic device
US11567336B2 (en) 2018-07-24 2023-01-31 Magic Leap, Inc. Display systems and methods for determining registration between display and eyes of user
WO2020023672A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Display systems and methods for determining vertical alignment between left and right displays and a user's eyes
EP3827294A4 (en) 2018-07-24 2022-04-20 Magic Leap, Inc. BOUNCE-INDUCED LIGHT LOSS ATTENUATION DIFFRACTIVE OPTICS AND RELATED SYSTEMS AND METHODS
WO2020023404A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Flicker mitigation when toggling eyepiece display illumination in augmented reality systems
USD924204S1 (en) 2018-07-24 2021-07-06 Magic Leap, Inc. Totem controller having an illumination region
USD918176S1 (en) 2018-07-24 2021-05-04 Magic Leap, Inc. Totem controller having an illumination region
USD930614S1 (en) 2018-07-24 2021-09-14 Magic Leap, Inc. Totem controller having an illumination region
WO2020023779A1 (en) 2018-07-25 2020-01-30 Digilens Inc. Systems and methods for fabricating a multilayer optical structure
CN112753007A (zh) 2018-07-27 2021-05-04 奇跃公司 虚拟角色的姿势空间变形的姿势空间维度减小
WO2020027035A1 (ja) 2018-07-30 2020-02-06 三菱ケミカル株式会社 熱溶融型積層造形用材料
WO2020028867A1 (en) 2018-08-03 2020-02-06 Magic Leap, Inc. Depth plane selection for multi-depth plane display systems by user categorization
US10600236B2 (en) 2018-08-06 2020-03-24 Valve Corporation Prediction and throttling adjustments based on application rendering performance
US11019361B2 (en) 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
CN112585673B (zh) * 2018-08-29 2024-09-20 索尼公司 信息处理设备、信息处理方法及程序
US10826964B2 (en) 2018-09-05 2020-11-03 At&T Intellectual Property I, L.P. Priority-based tile transmission system and method for panoramic video streaming
GB2576910B (en) * 2018-09-06 2021-10-20 Sony Interactive Entertainment Inc User profile generating system and method
GB2567553B (en) * 2018-09-06 2021-04-07 Sony Interactive Entertainment Inc Foveated rendering system and method
GB2576904B (en) * 2018-09-06 2021-10-20 Sony Interactive Entertainment Inc Content modification system and method
GB2576905B (en) * 2018-09-06 2021-10-27 Sony Interactive Entertainment Inc Gaze input System and method
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
USD934873S1 (en) 2018-09-18 2021-11-02 Magic Leap, Inc. Mobile computing support system having an illumination region
USD934872S1 (en) 2018-09-18 2021-11-02 Magic Leap, Inc. Mobile computing support system having an illumination region
USD955396S1 (en) 2018-09-18 2022-06-21 Magic Leap, Inc. Mobile computing support system having an illumination region
USD950567S1 (en) 2018-09-18 2022-05-03 Magic Leap, Inc. Mobile computing support system having an illumination region
WO2020069026A1 (en) 2018-09-26 2020-04-02 Magic Leap, Inc. Diffractive optical elements with optical power
EP3857289A4 (en) 2018-09-26 2022-07-13 Magic Leap, Inc. GLASSES WITH PIN-HOLE AND SLOT CAMERAS
US10782779B1 (en) * 2018-09-27 2020-09-22 Apple Inc. Feedback coordination for a virtual interaction
CN113227879A (zh) 2018-10-26 2021-08-06 奇跃公司 用于电磁跟踪的环境电磁失真校正
JP6800938B2 (ja) * 2018-10-30 2020-12-16 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN111131865A (zh) * 2018-10-30 2020-05-08 中国电信股份有限公司 提高vr视频播放流畅度的方法、装置、系统和机顶盒
US10638165B1 (en) * 2018-11-08 2020-04-28 At&T Intellectual Property I, L.P. Adaptive field of view prediction
EP3881232A4 (en) 2018-11-15 2022-08-10 Magic Leap, Inc. DEEP NEURON NETWORK POSE ESTIMATION SYSTEM
JP2022509083A (ja) 2018-11-20 2022-01-20 マジック リープ， インコーポレイテッド 拡張現実ディスプレイシステムのための接眼レンズ
WO2020110506A1 (ja) * 2018-11-28 2020-06-04 ソニーセミコンダクタソリューションズ株式会社 表示装置および表示制御装置
EP3887925A4 (en) 2018-11-30 2022-08-17 Magic Leap, Inc. MULTIMODAL HANDHELD LOCATION AND ORIENTATION TO AVATAR MOVEMENT
US10866413B2 (en) 2018-12-03 2020-12-15 Lockheed Martin Corporation Eccentric incident luminance pupil tracking
JP7539386B2 (ja) 2018-12-28 2024-08-23 マジック リープ， インコーポレイテッド 左眼および右眼のための共有ディスプレイを伴う拡張および仮想現実ディスプレイシステム
EP3903135B1 (en) 2018-12-28 2024-10-23 Magic Leap, Inc. Virtual and augmented reality display systems with emissive micro-displays
CN118573920A (zh) * 2019-01-24 2024-08-30 交互数字Vc控股公司 用于自适应空间内容流传输的方法和装置
EP3914997A4 (en) 2019-01-25 2022-10-12 Magic Leap, Inc. OCULOMETRY USING IMAGES WITH DIFFERENT EXPOSURE TIMES
CN109599068B (zh) * 2019-01-31 2021-03-02 京东方科技集团股份有限公司 一种vr设备及其控制方法
JP2022523076A (ja) 2019-02-01 2022-04-21 マジック リープ， インコーポレイテッド 直列内部結合光学要素
US11857378B1 (en) 2019-02-14 2024-01-02 Onpoint Medical, Inc. Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets
US11553969B1 (en) 2019-02-14 2023-01-17 Onpoint Medical, Inc. System for computation of object coordinates accounting for movement of a surgical site for spinal and other procedures
JP2022520472A (ja) 2019-02-15 2022-03-30 ディジレンズ インコーポレイテッド 統合された格子を使用してホログラフィック導波管ディスプレイを提供するための方法および装置
JP7518844B2 (ja) 2019-02-28 2024-07-18 マジック リープ， インコーポレイテッド 光エミッタアレイによって形成される複数の瞳孔内視差ビューを使用して可変遠近調節キューを提供するためのディスプレイシステムおよび方法
EP3938824A4 (en) 2019-03-12 2022-11-23 Magic Leap, Inc. WAVEGUIDES WITH HIGH REFRESHING INDEX MATERIALS AND METHOD FOR THEIR MANUFACTURE
EP3938818B1 (en) 2019-03-12 2024-10-09 Magic Leap, Inc. Method of fabricating display device having patterned lithium-based transition metal oxide
WO2020186113A1 (en) 2019-03-12 2020-09-17 Digilens Inc. Holographic waveguide backlight and related methods of manufacturing
EP3942227A4 (en) 2019-03-20 2022-12-07 Magic Leap, Inc. LIGHT COLLECTING SYSTEM
WO2020191170A1 (en) 2019-03-20 2020-09-24 Magic Leap, Inc. System for providing illumination of the eye
US10944711B2 (en) * 2019-03-28 2021-03-09 Microsoft Technology Licensing, Llc Paginated method to create decision tree conversation
US10698201B1 (en) 2019-04-02 2020-06-30 Lockheed Martin Corporation Plenoptic cellular axis redirection
WO2020206313A1 (en) 2019-04-03 2020-10-08 Magic Leap, Inc. Managing and displaying webpages in a virtual three-dimensional space with a mixed reality system
US11016305B2 (en) 2019-04-15 2021-05-25 Magic Leap, Inc. Sensor fusion for electromagnetic tracking
US20220230376A1 (en) * 2019-05-17 2022-07-21 Nvidia Corporation Motion prediction using one or more neural networks
EP3973347A4 (en) 2019-05-20 2023-05-31 Magic Leap, Inc. EYE POSITION ESTIMATION SYSTEMS AND TECHNIQUES
US20200371472A1 (en) * 2019-05-21 2020-11-26 Light Field Lab, Inc. Light Field Display System Based Commercial System
WO2020243014A1 (en) 2019-05-24 2020-12-03 Magic Leap, Inc. Variable focus assemblies
EP3976726A4 (en) 2019-05-28 2023-06-28 Magic Leap, Inc. Thermal management system for portable electronic devices
USD962981S1 (en) 2019-05-29 2022-09-06 Magic Leap, Inc. Display screen or portion thereof with animated scrollbar graphical user interface
DE112020002550T5 (de) 2019-05-30 2022-02-24 Nvidia Corporation Virtual-Reality-Simulationen unter Verwenden von Oberflächen-Tracking
US20200386947A1 (en) 2019-06-07 2020-12-10 Digilens Inc. Waveguides Incorporating Transmissive and Reflective Gratings and Related Methods of Manufacturing
CN114286962A (zh) 2019-06-20 2022-04-05 奇跃公司 用于增强现实显示系统的目镜
US11287655B2 (en) 2019-06-21 2022-03-29 Samsung Electronics Co.. Ltd. Holographic display apparatus and method for providing expanded viewing window
CN114270312A (zh) 2019-06-21 2022-04-01 奇跃公司 经由模态窗口的安全授权
WO2020263866A1 (en) 2019-06-24 2020-12-30 Magic Leap, Inc. Waveguides having integral spacers and related systems and methods
US11533468B2 (en) 2019-06-27 2022-12-20 Samsung Electronics Co., Ltd. System and method for generating a mixed reality experience
US11029805B2 (en) 2019-07-10 2021-06-08 Magic Leap, Inc. Real-time preview of connectable objects in a physically-modeled virtual space
CN114424147A (zh) 2019-07-16 2022-04-29 奇跃公司 利用一个或多个眼睛跟踪相机确定眼睛旋转中心
CN114502991A (zh) 2019-07-19 2022-05-13 奇跃公司 具有偏振敏感性降低的衍射光栅的显示设备
JP2022540691A (ja) 2019-07-19 2022-09-16 マジック リープ， インコーポレイテッド 回折格子を加工する方法
CN114341729A (zh) 2019-07-29 2022-04-12 迪吉伦斯公司 用于使像素化显示器的图像分辨率和视场倍增的方法和设备
WO2021021942A1 (en) 2019-07-31 2021-02-04 Magic Leap, Inc. User data management for augmented reality using a distributed ledger
US11704874B2 (en) 2019-08-07 2023-07-18 Magic Leap, Inc. Spatial instructions and guides in mixed reality
CN110460831B (zh) 2019-08-22 2021-12-03 京东方科技集团股份有限公司 显示方法、装置、设备及计算机可读存储介质
WO2021041949A1 (en) 2019-08-29 2021-03-04 Digilens Inc. Evacuating bragg gratings and methods of manufacturing
GB2586838B (en) * 2019-09-05 2022-07-27 Sony Interactive Entertainment Inc Free-viewpoint method and system
US10943388B1 (en) * 2019-09-06 2021-03-09 Zspace, Inc. Intelligent stylus beam and assisted probabilistic input to element mapping in 2D and 3D graphical user interfaces
US11614573B2 (en) 2019-09-11 2023-03-28 Magic Leap, Inc. Display device with diffraction grating having reduced polarization sensitivity
US11238662B2 (en) * 2019-09-25 2022-02-01 Apple Inc. Optimal luminance mapping for augmented reality devices
US11176757B2 (en) 2019-10-02 2021-11-16 Magic Leap, Inc. Mission driven virtual character for user interaction
US11276246B2 (en) 2019-10-02 2022-03-15 Magic Leap, Inc. Color space mapping for intuitive surface normal visualization
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction
CN114641713A (zh) 2019-11-08 2022-06-17 奇跃公司 具有包括多种材料的光重定向结构的超表面以及制造方法
US11468627B1 (en) * 2019-11-08 2022-10-11 Apple Inc. View dependent content updated rates
USD982593S1 (en) 2019-11-08 2023-04-04 Magic Leap, Inc. Portion of a display screen with animated ray
US11493989B2 (en) 2019-11-08 2022-11-08 Magic Leap, Inc. Modes of user interaction
JP2023503257A (ja) 2019-11-18 2023-01-27 マジック リープ， インコーポレイテッド パス可能世界のマッピングおよび位置特定
US12094139B2 (en) 2019-11-22 2024-09-17 Magic Leap, Inc. Systems and methods for enhanced depth determination using projection spots
WO2021102165A1 (en) 2019-11-22 2021-05-27 Magic Leap, Inc. Method and system for patterning a liquid crystal layer
CN114761859A (zh) 2019-11-26 2022-07-15 奇跃公司 用于增强或虚拟现实显示系统的增强眼睛跟踪
CN114788251A (zh) 2019-12-06 2022-07-22 奇跃公司 在静态图像中编码立体闪屏
EP4070150A4 (en) 2019-12-06 2023-12-06 Magic Leap, Inc. DYNAMIC BROWSER STAGE
USD940749S1 (en) 2019-12-09 2022-01-11 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD940189S1 (en) 2019-12-09 2022-01-04 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD941307S1 (en) 2019-12-09 2022-01-18 Magic Leap, Inc. Portion of a display screen with graphical user interface for guiding graphics
USD952673S1 (en) 2019-12-09 2022-05-24 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD941353S1 (en) 2019-12-09 2022-01-18 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
USD940748S1 (en) 2019-12-09 2022-01-11 Magic Leap, Inc. Portion of a display screen with transitional graphical user interface for guiding graphics
US11288876B2 (en) 2019-12-13 2022-03-29 Magic Leap, Inc. Enhanced techniques for volumetric stage mapping based on calibration object
US11294461B2 (en) 2020-01-24 2022-04-05 Magic Leap, Inc. Content movement and interaction using a single controller
US11340695B2 (en) 2020-01-24 2022-05-24 Magic Leap, Inc. Converting a 2D positional input into a 3D point in space
USD936704S1 (en) 2020-01-27 2021-11-23 Magic Leap, Inc. Portion of a display screen with avatar
USD949200S1 (en) 2020-01-27 2022-04-19 Magic Leap, Inc. Portion of a display screen with a set of avatars
USD948562S1 (en) 2020-01-27 2022-04-12 Magic Leap, Inc. Portion of a display screen with avatar
USD948574S1 (en) 2020-01-27 2022-04-12 Magic Leap, Inc. Portion of a display screen with a set of avatars
EP4097685A4 (en) 2020-01-27 2024-02-21 Magic Leap, Inc. NEUTRAL AVATARS
US11574424B2 (en) 2020-01-27 2023-02-07 Magic Leap, Inc. Augmented reality map curation
JP2023511311A (ja) 2020-01-27 2023-03-17 マジック リープ， インコーポレイテッド ユーザ入力デバイスの機能性の注視タイマベースの拡張
CN115004235A (zh) 2020-01-27 2022-09-02 奇跃公司 基于锚的交叉现实应用的增强状态控制
US11507714B2 (en) 2020-01-28 2022-11-22 Middle Chart, LLC Methods and apparatus for secure persistent location based digital content
US11640486B2 (en) 2021-03-01 2023-05-02 Middle Chart, LLC Architectural drawing based exchange of geospatial related digital content
EP4097532A4 (en) 2020-01-31 2024-02-21 Magic Leap, Inc. AUGMENTED REALITY AND VIRTUAL REALITY DISPLAY SYSTEMS FOR OCULOMETRICAL ASSESSMENTS
US20210240257A1 (en) * 2020-01-31 2021-08-05 Ati Technologies Ulc Hiding latency in wireless virtual and augmented reality systems
US11709363B1 (en) 2020-02-10 2023-07-25 Avegant Corp. Waveguide illumination of a spatial light modulator
EP4104034A4 (en) 2020-02-10 2024-02-21 Magic Leap, Inc. POSITIONING BODY-CENTRIC CONTENT RELATIVE TO A THREE-DIMENSIONAL CONTAINER IN A MIXED REALITY ENVIRONMENT
WO2021163354A1 (en) 2020-02-14 2021-08-19 Magic Leap, Inc. Virtual object movement speed curve for virtual and augmented reality display systems
JP7515604B2 (ja) 2020-02-26 2024-07-12 マジック リープ， インコーポレイテッド 手続型電子ビームリソグラフィ
JP2023516594A (ja) 2020-02-28 2023-04-20 マジック リープ， インコーポレイテッド 統合されたスペーサを伴う接眼レンズを形成するための金型を加工する方法
US11262588B2 (en) 2020-03-10 2022-03-01 Magic Leap, Inc. Spectator view of virtual and physical objects
JP2023518421A (ja) 2020-03-20 2023-05-01 マジック リープ， インコーポレイテッド 網膜結像および追跡のためのシステムおよび方法
JP7507872B2 (ja) 2020-03-25 2024-06-28 マジック リープ， インコーポレイテッド 一方向ミラーを伴う光学デバイス
WO2021202783A1 (en) 2020-04-03 2021-10-07 Magic Leap, Inc. Avatar customization for optimal gaze discrimination
US11604354B2 (en) 2020-04-03 2023-03-14 Magic Leap, Inc. Wearable display systems with nanowire LED micro-displays
US11481965B2 (en) 2020-04-10 2022-10-25 Samsung Electronics Co., Ltd. Electronic device for communicating in augmented reality and method thereof
US11144117B1 (en) * 2020-05-18 2021-10-12 Qualcomm Incorporated Deep learning based head motion prediction for extended reality
EP4154050A4 (en) 2020-05-22 2024-06-05 Magic Leap, Inc. AUGMENTED AND VIRTUAL REALITY DISPLAY SYSTEMS WITH CORRELATED OPTICAL REGIONS
WO2021247435A1 (en) 2020-06-05 2021-12-09 Magic Leap, Inc. Enhanced eye tracking techniques based on neural network analysis of images
CN111667584B (zh) * 2020-06-09 2024-02-09 福州市极化律网络科技有限公司 多用户的虚拟世界探索方法及存储介质
GB2596541B (en) * 2020-06-30 2023-09-13 Sony Interactive Entertainment Inc Video processing
US11998275B2 (en) 2020-07-15 2024-06-04 Magic Leap, Inc. Eye tracking using aspheric cornea model
WO2022032198A1 (en) 2020-08-07 2022-02-10 Magic Leap, Inc. Tunable cylindrical lenses and head-mounted display including the same
KR20220039113A (ko) * 2020-09-21 2022-03-29 삼성전자주식회사 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치
EP4222551A4 (en) 2020-09-29 2024-10-23 Avegant Corp ARCHITECTURE FOR ILLUMINATION OF A SCREENBOARD
DE102020214824A1 (de) * 2020-11-25 2022-05-25 Carl Zeiss Meditec Ag Verfahren zum Betreiben eines Visualisierungssystems bei einer chirurgischen Anwendung und Visualisierungssystem für eine chirurgische Anwendung
US12053247B1 (en) 2020-12-04 2024-08-06 Onpoint Medical, Inc. System for multi-directional tracking of head mounted displays for real-time augmented reality guidance of surgical procedures
KR102586624B1 (ko) * 2020-12-07 2023-10-10 주식회사 테크인모션 개인 맞춤 및 영상 보정을 통한 디지털 멀미 감소 장치 및 그 방법
US11630509B2 (en) * 2020-12-11 2023-04-18 Microsoft Technology Licensing, Llc Determining user intent based on attention values
US11449137B2 (en) 2021-02-12 2022-09-20 Rockwell Collins, Inc. Soldier and surface vehicle heads-up display imagery compensation system to align imagery with surroundings
WO2022192585A1 (en) 2021-03-10 2022-09-15 Onpoint Medical, Inc. Augmented reality guidance for imaging systems and robotic surgery
CN113315964B (zh) * 2021-06-21 2023-04-14 北京京东方光电科技有限公司 一种3d图像的显示方法、装置及电子设备
JP7574756B2 (ja) 2021-07-12 2024-10-29 トヨタ自動車株式会社 仮想現実シミュレータ及び仮想現実シミュレーションプログラム
JP2023011262A (ja) * 2021-07-12 2023-01-24 トヨタ自動車株式会社 仮想現実シミュレータ及び仮想現実シミュレーションプログラム
US12085723B2 (en) 2021-08-03 2024-09-10 Lenovo (Singapore) Pte. Ltd. Electronic glasses with dynamically extendable and retractable temples
AU2022328715A1 (en) * 2021-08-18 2024-01-18 Advanced Neuromodulation Systems, Inc. Systems and methods for providing digital health services
CN117940878A (zh) * 2021-09-02 2024-04-26 斯纳普公司 通过分布式和连接的真实世界对象建立社交连接
KR20230103379A (ko) 2021-12-31 2023-07-07 삼성전자주식회사 Ar 처리 방법 및 장치
WO2023219916A1 (en) * 2022-05-10 2023-11-16 Leia Inc. Predictive head-tracking multiview display and method
WO2024170548A1 (en) * 2023-02-15 2024-08-22 Ams-Osram International Gmbh Eye tracker module, eye tracking method and eye tracker system
WO2024206132A1 (en) * 2023-03-31 2024-10-03 University Of Southern California Transforming digital images of archival materials into dimensionally accurate virtual objects

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1130763A (ja) * 1997-07-10 1999-02-02 Nec Corp 画像表示装置
JP2002176661A (ja) * 2000-12-08 2002-06-21 Kawasaki Heavy Ind Ltd 画像表示装置
WO2012082807A2 (en) * 2010-12-17 2012-06-21 Microsoft Corporation Optimized focal area for augmented reality displays

Family Cites Families (278)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3632865A (en) * 1969-12-23 1972-01-04 Bell Telephone Labor Inc Predictive video encoding using measured subject velocity
DE2737499C3 (de) 1977-08-19 1981-10-22 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V., 3400 Göttingen Faseroptisches Schaltungselement
GB8701288D0 (en) * 1987-01-21 1987-02-25 Waldern J D Perception of computer-generated imagery
FR2647449B1 (fr) * 1989-05-23 1994-03-25 Rhone Poulenc Sante Procede de preparation d'ethers aromatiques
US5271093A (en) 1989-10-17 1993-12-14 Mitsubishi Denki Kabushiki Kaisha Video display apparatus for filling the interior shapes of contour
US5138555A (en) * 1990-06-28 1992-08-11 Albrecht Robert E Helmet mounted display adaptive predictive tracking
US8730129B2 (en) 1990-12-07 2014-05-20 Dennis J Solomon Advanced immersive visual display system
JPH0655203B2 (ja) * 1992-07-09 1994-07-27 株式会社エイ・ティ・アール視聴覚機構研究所 視線検出を用いた医療診断装置
US5311897A (en) 1992-09-18 1994-05-17 Robert L. Cargill, Jr. Rotary control valve with offset variable area orifice and bypass
US5467104A (en) * 1992-10-22 1995-11-14 Board Of Regents Of The University Of Washington Virtual retinal display
US5422653A (en) * 1993-01-07 1995-06-06 Maguire, Jr.; Francis J. Passive virtual reality
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
DE69434851T2 (de) 1993-08-12 2007-04-19 Seiko Epson Corp. Am Kopf montierte Bildanzeigevorrichtung und diese enthaltendes Datenverarbeitungsgerät
WO1995007590A1 (fr) * 1993-09-06 1995-03-16 Kabushiki Kaisha Oh-Yoh Keisoku Kenkyusho Processeur d'images variant dans le temps et dispositif d'affichage
JP3306183B2 (ja) 1993-09-14 2002-07-24 リーダー電子株式会社 信号波形表示装置及び表示方法
JP2952858B2 (ja) 1994-05-31 1999-09-27 株式会社島津製作所 ヘッドマウントディスプレイ
US5742264A (en) 1995-01-24 1998-04-21 Matsushita Electric Industrial Co., Ltd. Head-mounted display
GB2301216A (en) 1995-05-25 1996-11-27 Philips Electronics Uk Ltd Display headset
US5933125A (en) * 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
JPH09284676A (ja) 1996-04-15 1997-10-31 Sony Corp 身体の動きに同期した映像及び音声処理方法と映像表示装置
GB2317086A (en) * 1996-09-05 1998-03-11 Secr Defence Virtual reality system
US5886822A (en) 1996-10-08 1999-03-23 The Microoptical Corporation Image combining system for eyeglasses and face masks
US7066956B2 (en) 1997-02-12 2006-06-27 Arthrex, Inc. Transverse fixation technique for ACL reconstruction using bone-tendon-bone graft
US6151179A (en) 1997-07-11 2000-11-21 International Business Machines Corporation Signal processing circuit with feedback extracted from a sampled analog error signal
WO1999022314A1 (fr) 1997-10-29 1999-05-06 Sharp Kabushiki Kaisha Dispositif de commande d'affichage et dispositif de reproduction d'affichage pour livres electroniques
EP1027627B1 (en) 1997-10-30 2009-02-11 MYVU Corporation Eyeglass interface system
JP3724157B2 (ja) * 1997-10-30 2005-12-07 コニカミノルタホールディングス株式会社 映像観察装置
US5913591A (en) * 1998-01-20 1999-06-22 University Of Washington Augmented imaging using a silhouette to improve contrast
US6088744A (en) 1998-02-13 2000-07-11 Agilent Technologies Multiport data buffer having multi level caching wherein each data port has a FIFO buffer coupled thereto
JP3461117B2 (ja) * 1998-05-26 2003-10-27 日本電信電話株式会社 立体表示方法及び記録媒体並びに立体表示装置
JP2000350865A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
US6353503B1 (en) 1999-06-21 2002-03-05 The Micropitical Corporation Eyeglass display lens system employing off-axis optical design
CA2387700C (en) * 1999-10-29 2007-01-02 Microvision, Inc. Scanned display with pinch, timing, and distortion correction
JP2001255862A (ja) 2000-03-10 2001-09-21 Seiko Epson Corp オーバレイ画像処理装置およびオーバレイ画像表示装置
US7663642B2 (en) 2000-11-15 2010-02-16 Sony Corporation Systems and methods for rendering a polygon in an image to be displayed
US6654021B2 (en) * 2001-05-18 2003-11-25 Sun Microsystems, Inc. Multi-channel, demand-driven display controller
DE10131720B4 (de) 2001-06-30 2017-02-23 Robert Bosch Gmbh Head-Up Display System und Verfahren
US20030014212A1 (en) 2001-07-12 2003-01-16 Ralston Stuart E. Augmented vision system using wireless communications
US6759979B2 (en) 2002-01-22 2004-07-06 E-Businesscontrols Corp. GPS-enhanced system and method for automatically capturing and co-registering virtual models of a site
JP3762309B2 (ja) 2002-02-18 2006-04-05 キヤノン株式会社 位置方向測定装置および情報処理方法
US7497574B2 (en) 2002-02-20 2009-03-03 Brother Kogyo Kabushiki Kaisha Retinal image display device
CN1304958C (zh) * 2002-04-15 2007-03-14 Kaj株式会社 显示虚拟现实空间的方法和显示虚拟现实空间的装置
US6917370B2 (en) 2002-05-13 2005-07-12 Charles Benton Interacting augmented reality and virtual reality
JP4170068B2 (ja) * 2002-11-12 2008-10-22 シャープ株式会社 データ信号線駆動方法、データ信号線駆動回路およびそれを用いた表示装置
US7386799B1 (en) 2002-11-21 2008-06-10 Forterra Systems, Inc. Cinematic techniques in avatar-centric communication during a multi-user online simulation
US7385606B2 (en) 2002-12-18 2008-06-10 Microsoft Corporation International font measurement system and method
US7203384B2 (en) 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
US7515756B2 (en) 2003-06-23 2009-04-07 Shoestring Research, Llc. Region segmentation and characterization systems and methods for augmented reality
US20050148388A1 (en) 2003-07-17 2005-07-07 Fabricio Vayra Method and system for interaction with real-time events from a remote location, through use of a computer, game console or other module
ITTO20030662A1 (it) * 2003-08-29 2005-02-28 Fiat Ricerche Disposizione di visualizzazione virtuale per un quadro
US11033821B2 (en) 2003-09-02 2021-06-15 Jeffrey D. Mullen Systems and methods for location based games and employment of the same on location enabled devices
US7110100B2 (en) 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
KR101026800B1 (ko) 2003-11-21 2011-04-04 삼성전자주식회사 액정 표시 장치, 표시 장치용 광원의 구동 장치 및 그방법
US7038846B2 (en) 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
US7268956B2 (en) 2003-11-24 2007-09-11 Electronic Scripting Products, Inc. Solid catadioptric lens with two viewpoints
US7088440B2 (en) 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7023536B2 (en) 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
CN100385937C (zh) * 2004-03-26 2008-04-30 瑞昱半导体股份有限公司 利用位移向量补偿的影像去交错方法与装置
US7161664B2 (en) 2004-04-13 2007-01-09 Electronic Scripting Products, Inc. Apparatus and method for optical determination of intermediate distances
JP4373286B2 (ja) 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
US7403337B2 (en) 2004-05-11 2008-07-22 Universal Vision Biotechnology Co., Ltd. Focus adjustable head mounted display system and method and device for realizing the system
US7442918B2 (en) 2004-05-14 2008-10-28 Microvision, Inc. MEMS device having simplified drive
JP2005339267A (ja) 2004-05-27 2005-12-08 Canon Inc 情報処理方法、情報処理装置、撮像装置
US6947219B1 (en) 2004-06-02 2005-09-20 Universal Vision Biotechnology Co., Ltd. Focus adjustable head mounted display system for displaying digital contents and device for realizing the system
US7113270B2 (en) 2004-06-18 2006-09-26 Electronics Scripting Products, Inc. Determination of an orientation parameter of an elongate object with a scan beam apparatus
US20060007056A1 (en) 2004-07-09 2006-01-12 Shu-Fong Ou Head mounted display system having virtual keyboard and capable of adjusting focus of display screen and device installed the same
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US8585476B2 (en) 2004-11-16 2013-11-19 Jeffrey D Mullen Location-based games and augmented reality systems
KR100656342B1 (ko) 2004-12-16 2006-12-11 한국전자통신연구원 다중 입체 영상 혼합 제시용 시각 인터페이스 장치
CN100341334C (zh) * 2005-01-14 2007-10-03 北京航空航天大学 基于有效区域的多参考帧快速运动估计方法
WO2006082827A1 (ja) * 2005-02-02 2006-08-10 Brother Kogyo Kabushiki Kaisha 光走査型ディスプレイおよびそれの駆動方法
US20060214911A1 (en) 2005-03-23 2006-09-28 Eastman Kodak Company Pointing device for large field of view displays
US20060226231A1 (en) * 2005-03-29 2006-10-12 University Of Washington Methods and systems for creating sequential color images
JP4738870B2 (ja) 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
US7773098B2 (en) * 2005-05-11 2010-08-10 Canon Kabushiki Kaisha Virtual reality presentation apparatus and method
JP4689344B2 (ja) 2005-05-11 2011-05-25 キヤノン株式会社 情報処理方法、情報処理装置
US8847861B2 (en) 2005-05-20 2014-09-30 Semiconductor Energy Laboratory Co., Ltd. Active matrix display device, method for driving the same, and electronic device
JP2006338509A (ja) 2005-06-03 2006-12-14 Nippon Telegr & Teleph Corp <Ntt> 状況記憶型コンテンツ管理装置及び方法
US7737965B2 (en) 2005-06-09 2010-06-15 Honeywell International Inc. Handheld synthetic vision device
US20060284791A1 (en) 2005-06-21 2006-12-21 National Applied Research Laboratories National Center For High-Performance Computing Augmented reality system and method with mobile and interactive function for multiple users
IL173361A (en) 2005-09-12 2012-03-29 Elbit Systems Ltd Display system near the eye
US7480422B2 (en) 2005-10-14 2009-01-20 Disney Enterprises, Inc. Systems and methods for information content delivery relating to an object
IL172797A (en) 2005-12-25 2012-09-24 Elbit Systems Ltd Real-time image scanning and processing
JP5112332B2 (ja) * 2006-01-05 2013-01-09 トムソン ライセンシング インターレイヤ動き予測方法
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
JP2007286082A (ja) * 2006-04-12 2007-11-01 Sony Computer Entertainment Inc 描画処理装置
US9958934B1 (en) 2006-05-01 2018-05-01 Jeffrey D. Mullen Home and portable augmented reality and virtual reality video game consoles
SE0601216L (sv) 2006-05-31 2007-12-01 Abb Technology Ltd Virtuell arbetsplats
US7835027B2 (en) * 2006-06-14 2010-11-16 Kabushiki Kaisha Toshiba Reducing the resolution of a rendered image for printing
KR100809479B1 (ko) 2006-07-27 2008-03-03 한국전자통신연구원 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
US20080058629A1 (en) 2006-08-21 2008-03-06 University Of Washington Optical fiber scope with both non-resonant illumination and resonant collection/imaging for multiple modes of operation
US8743109B2 (en) * 2006-08-31 2014-06-03 Kent State University System and methods for multi-dimensional rendering and display of full volumetric data sets
US7725547B2 (en) 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
US7889178B2 (en) * 2006-09-08 2011-02-15 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Programmable resolution for optical pointing device
US20080071559A1 (en) 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
JP4936522B2 (ja) 2006-09-29 2012-05-23 キヤノン株式会社 画像処理方法、画像処理装置
JP5228307B2 (ja) 2006-10-16 2013-07-03 ソニー株式会社 表示装置、表示方法
WO2008153599A1 (en) 2006-12-07 2008-12-18 Adapx, Inc. Systems and methods for data annotation, recordation, and communication
US7903166B2 (en) * 2007-02-21 2011-03-08 Sharp Laboratories Of America, Inc. Methods and systems for display viewer motion compensation based on user image data
US20080215974A1 (en) 2007-03-01 2008-09-04 Phil Harrison Interactive user controlled avatar animations
CN100478849C (zh) * 2007-04-10 2009-04-15 南京航空航天大学 基于多加速度传感器的虚拟现实头盔防眩晕系统及方法
CN100468295C (zh) * 2007-04-10 2009-03-11 南京航空航天大学 基于人体表面肌电信息的头盔显示器虚拟视觉时延补偿系统及方法
US8832557B2 (en) * 2007-05-04 2014-09-09 Apple Inc. Adjusting media display in a personal display system based on perspective
US20080303811A1 (en) 2007-06-07 2008-12-11 Leviathan Entertainment, Llc Virtual Professional
US20090003662A1 (en) 2007-06-27 2009-01-01 University Of Hawaii Virtual reality overlay
US8902227B2 (en) 2007-09-10 2014-12-02 Sony Computer Entertainment America Llc Selective interactive mapping of real-world objects to create interactive virtual-world objects
US20090089685A1 (en) 2007-09-28 2009-04-02 Mordecai Nicole Y System and Method of Communicating Between A Virtual World and Real World
US8063905B2 (en) 2007-10-11 2011-11-22 International Business Machines Corporation Animating speech of an avatar representing a participant in a mobile communication
US20090225001A1 (en) 2007-11-06 2009-09-10 University Of Central Florida Research Foundation, Inc. Hybrid Display Systems and Methods
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
KR20090067822A (ko) 2007-12-21 2009-06-25 삼성전자주식회사 현실 인자를 반영하는 혼합 세계 생성 시스템 및 구현 방법
TW200928860A (en) * 2007-12-31 2009-07-01 Htc Corp Method and device for adjusting output frame
US20090177042A1 (en) 2008-01-09 2009-07-09 University Of Washington Color image acquisition with scanning laser beam devices
US8624924B2 (en) 2008-01-18 2014-01-07 Lockheed Martin Corporation Portable immersive environment using motion capture and head mounted display
US8615383B2 (en) 2008-01-18 2013-12-24 Lockheed Martin Corporation Immersive collaborative environment using motion capture, head mounted display, and cave
US20090222424A1 (en) 2008-02-26 2009-09-03 Van Benedict Method and apparatus for integrated life through virtual cities
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US8757812B2 (en) 2008-05-19 2014-06-24 University of Washington UW TechTransfer—Invention Licensing Scanning laser projection display devices and methods for projecting one or more images onto a surface with a light-scanning optical fiber
US20090322671A1 (en) 2008-06-04 2009-12-31 Cybernet Systems Corporation Touch screen augmented reality system and method
US8063968B2 (en) 2008-07-23 2011-11-22 Lockheed Martin Corporation Device for detecting an image of a nonplanar surface
US9600067B2 (en) 2008-10-27 2017-03-21 Sri International System and method for generating a mixed reality environment
EP2486450B1 (en) 2008-11-02 2021-05-19 David Chaum Near to eye display system and appliance
CN101739199A (zh) * 2008-11-05 2010-06-16 联想(北京)有限公司 一种显示图像的移动终端和方法
US20100287500A1 (en) 2008-11-18 2010-11-11 Honeywell International Inc. Method and system for displaying conformal symbology on a see-through display
EP2194418B1 (en) 2008-12-02 2014-07-02 Saab Ab Head-up display for night vision goggles
US20100137684A1 (en) 2008-12-03 2010-06-03 Hoya Corporation Endoscope system with scanning function
US8132916B2 (en) 2008-12-12 2012-03-13 Carl Zeiss Meditec, Inc. High precision contrast ratio display for visual stimulus
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US8487933B2 (en) 2009-03-31 2013-07-16 General Electric Company System and method for multi-segment center point trajectory mapping
US9195898B2 (en) 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
JP2011009846A (ja) * 2009-06-23 2011-01-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
US9511289B2 (en) 2009-07-10 2016-12-06 Valve Corporation Player biofeedback for dynamically controlling a video game state
JP2011089874A (ja) * 2009-10-22 2011-05-06 Toyota Central R&D Labs Inc 距離画像データ取得装置
JP5553635B2 (ja) 2009-10-23 2014-07-16 キヤノン株式会社 補償光学装置、撮像装置および補償光学方法、撮像方法
US20110107216A1 (en) 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
US8780096B2 (en) 2009-11-19 2014-07-15 Panasonic Corporation Scanning image display apparatus
KR101652311B1 (ko) 2010-01-26 2016-08-30 광주과학기술원 비전 영상 정보 저장 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
GB2477787B (en) 2010-02-15 2014-09-24 Marcus Alexander Mawson Cavalier Use of portable electonic devices with head-mounted display devices
JP5499762B2 (ja) 2010-02-24 2014-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び画像処理システム
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
AU2011220382A1 (en) * 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US20120120103A1 (en) * 2010-02-28 2012-05-17 Osterhout Group, Inc. Alignment control in an augmented reality headpiece
JP5681850B2 (ja) 2010-03-09 2015-03-11 レノボ・イノベーションズ・リミテッド（香港） ヘッドマウントディスプレイを外部表示装置として使用する携帯端末
US8217997B2 (en) * 2010-03-16 2012-07-10 Interphase Corporation Interactive display system
JP2011203823A (ja) 2010-03-24 2011-10-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
US8893022B2 (en) 2010-04-01 2014-11-18 Microsoft Corporation Interactive and shared viewing experience
WO2011135848A1 (ja) 2010-04-28 2011-11-03 パナソニック株式会社 走査型画像表示装置
US8762041B2 (en) 2010-06-21 2014-06-24 Blackberry Limited Method, device and system for presenting navigational information
US20120200600A1 (en) 2010-06-23 2012-08-09 Kent Demaine Head and arm detection for virtual immersion systems and methods
JP5652037B2 (ja) * 2010-07-30 2015-01-14 富士通株式会社 模擬映像生成装置、方法、プログラム
JP5436678B2 (ja) 2010-08-09 2014-03-05 パナソニック株式会社 光デバイス、及びこれを含む充電システム
US20120127136A1 (en) 2010-08-18 2012-05-24 Kent Displays Incorporated Display device including piezoelectric and liquid crystal layers
US20120050140A1 (en) * 2010-08-25 2012-03-01 Border John N Head-mounted display control
US8780014B2 (en) 2010-08-25 2014-07-15 Eastman Kodak Company Switchable head-mounted display
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US8638364B2 (en) 2010-09-23 2014-01-28 Sony Computer Entertainment Inc. User interface system and method using thermal imaging
US20120212405A1 (en) 2010-10-07 2012-08-23 Benjamin Zeis Newhouse System and method for presenting virtual and augmented reality scenes to a user
WO2012048252A1 (en) 2010-10-07 2012-04-12 Aria Glassworks, Inc. System and method for transitioning between interface modes in virtual and augmented reality applications
US8578299B2 (en) 2010-10-08 2013-11-05 Industrial Technology Research Institute Method and computing device in a system for motion detection
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US8884984B2 (en) 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US9348141B2 (en) 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US8743464B1 (en) 2010-11-03 2014-06-03 Google Inc. Waveguide with embedded mirrors
US20120117514A1 (en) 2010-11-04 2012-05-10 Microsoft Corporation Three-Dimensional User Interaction
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US8831278B2 (en) * 2010-11-30 2014-09-09 Eastman Kodak Company Method of identifying motion sickness
CN101996410B (zh) * 2010-12-07 2012-12-12 北京交通大学 动态背景下的运动目标检测方法及系统
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
JP5690135B2 (ja) * 2010-12-29 2015-03-25 任天堂株式会社 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法
US20120182313A1 (en) 2011-01-13 2012-07-19 Pantech Co., Ltd. Apparatus and method for providing augmented reality in window form
US9113050B2 (en) 2011-01-13 2015-08-18 The Boeing Company Augmented collaboration system
US20120188148A1 (en) * 2011-01-24 2012-07-26 Microvision, Inc. Head Mounted Meta-Display System
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP5844288B2 (ja) 2011-02-01 2016-01-13 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 機能拡張装置、機能拡張方法、機能拡張プログラム、及び集積回路
CN102179048A (zh) * 2011-02-28 2011-09-14 武汉市高德电气有限公司 基于动作分解和行为分析实现实景游戏的方法
JP2012203128A (ja) * 2011-03-24 2012-10-22 Seiko Epson Corp 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9217867B2 (en) * 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
US8401343B2 (en) 2011-03-27 2013-03-19 Edwin Braun System and method for defining an augmented reality character in computer generated virtual reality using coded stickers
KR20160084502A (ko) 2011-03-29 2016-07-13 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
US9071709B2 (en) 2011-03-31 2015-06-30 Nokia Technologies Oy Method and apparatus for providing collaboration between remote and on-site users of indirect augmented reality
CN103635891B (zh) 2011-05-06 2017-10-27 奇跃公司 大量同时远程数字呈现世界
US8508830B1 (en) 2011-05-13 2013-08-13 Google Inc. Quantum dot near-to-eye display
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US9727132B2 (en) 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
US8832233B1 (en) 2011-07-20 2014-09-09 Google Inc. Experience sharing for conveying communication status
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
AU2011205223C1 (en) 2011-08-09 2013-03-28 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
US10019962B2 (en) 2011-08-17 2018-07-10 Microsoft Technology Licensing, Llc Context adaptive user interface for augmented reality display
US9342610B2 (en) 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US9274595B2 (en) 2011-08-26 2016-03-01 Reincloud Corporation Coherent presentation of multiple reality and interaction models
US9191661B2 (en) 2011-08-29 2015-11-17 Microsoft Technology Licensing, Llc Virtual image display device
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US9213163B2 (en) 2011-08-30 2015-12-15 Microsoft Technology Licensing, Llc Aligning inter-pupillary distance in a near-eye display system
WO2013033195A2 (en) * 2011-08-30 2013-03-07 Microsoft Corporation Head mounted display with iris scan profiling
WO2013029667A1 (en) * 2011-08-31 2013-03-07 Lemoptix Sa A device and method for projecting an image
US8223024B1 (en) 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
US9286711B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
US9268406B2 (en) 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus
US20130088413A1 (en) 2011-10-05 2013-04-11 Google Inc. Method to Autofocus on Near-Eye Display
US9255813B2 (en) 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
RU2621633C2 (ru) 2011-10-28 2017-06-06 Мэджик Лип, Инк. Система и способ для дополненной и виртуальной реальности
US8970452B2 (en) 2011-11-02 2015-03-03 Google Inc. Imaging method
US8879155B1 (en) 2011-11-09 2014-11-04 Google Inc. Measurement method and system
US9311883B2 (en) 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
CN105974587B (zh) 2011-11-24 2018-09-28 松下知识产权经营株式会社 头戴式显示器装置
US20130141419A1 (en) 2011-12-01 2013-06-06 Brian Mount Augmented reality with realistic occlusion
CN102508363A (zh) * 2011-12-28 2012-06-20 王鹏勃 一种基于增强现实技术的无线显示眼镜及其实现方法
US8963805B2 (en) 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
US9330478B2 (en) 2012-02-08 2016-05-03 Intel Corporation Augmented reality creation using a real scene
US20130215230A1 (en) 2012-02-22 2013-08-22 Matt Miesnieks Augmented Reality System Using a Portable Device
JP5958689B2 (ja) 2012-03-22 2016-08-02 セイコーエプソン株式会社 頭部装着型表示装置
US8933912B2 (en) 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
US9183676B2 (en) 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
US9122321B2 (en) 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
US10502876B2 (en) 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements
US9201625B2 (en) 2012-06-22 2015-12-01 Nokia Technologies Oy Method and apparatus for augmenting an index generated by a near eye display
US9696547B2 (en) 2012-06-25 2017-07-04 Microsoft Technology Licensing, Llc Mixed reality system learned input and functions
US9645394B2 (en) 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
US9035970B2 (en) * 2012-06-29 2015-05-19 Microsoft Technology Licensing, Llc Constraint based information inference
JP6015250B2 (ja) 2012-08-31 2016-10-26 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US20140071163A1 (en) 2012-09-11 2014-03-13 Peter Tobias Kinnebrew Augmented reality information detail
US8797340B2 (en) * 2012-10-02 2014-08-05 Nvidia Corporation System, method, and computer program product for modifying a pixel value as a function of a display duration estimate
US10269179B2 (en) 2012-10-05 2019-04-23 Elwha Llc Displaying second augmentations that are based on registered first augmentations
CN102938145B (zh) * 2012-10-23 2015-07-01 深圳大学 一种拼接类全景图的一致性调整方法及系统
US9448404B2 (en) * 2012-11-13 2016-09-20 Qualcomm Incorporated Modifying virtual object display properties to increase power performance of augmented reality devices
US9030495B2 (en) 2012-11-21 2015-05-12 Microsoft Technology Licensing, Llc Augmented reality help
US9582123B2 (en) 2012-11-26 2017-02-28 Qualcomm Incorporated Dual-mode capacitance sensing in a touch panel sensor
US20140178029A1 (en) 2012-12-26 2014-06-26 Ali Fazal Raheman Novel Augmented Reality Kiosks
KR102019124B1 (ko) 2013-01-04 2019-09-06 엘지전자 주식회사 헤드 마운트 디스플레이 및 그 제어 방법
US9202313B2 (en) 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US9342929B2 (en) 2013-01-22 2016-05-17 Microsoft Technology Licensing, Llc Mixed reality experience sharing
JP2014149712A (ja) 2013-02-01 2014-08-21 Sony Corp 情報処理装置、端末装置、情報処理方法及びプログラム
KR102050897B1 (ko) 2013-02-07 2019-12-02 삼성전자주식회사 음성 대화 기능을 구비한 휴대 단말기 및 이의 음성 대화 방법
EP2967322A4 (en) 2013-03-11 2017-02-08 Magic Leap, Inc. System and method for augmented and virtual reality
US9852512B2 (en) 2013-03-13 2017-12-26 Electronic Scripting Products, Inc. Reduced homography based on structural redundancy of conditioned motion
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty
US9164281B2 (en) 2013-03-15 2015-10-20 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
NZ751593A (en) * 2013-03-15 2020-01-31 Magic Leap Inc Display system and method
US9049469B2 (en) 2013-04-03 2015-06-02 Roy S. Melzer Encryption and decryption of visible codes for real time augmented reality views
US9685003B2 (en) 2013-06-03 2017-06-20 Microsoft Technology Licensing, Llc Mixed reality data collaboration
US10137361B2 (en) 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US10139623B2 (en) 2013-06-18 2018-11-27 Microsoft Technology Licensing, Llc Virtual object orientation and visualization
US9911231B2 (en) 2013-10-08 2018-03-06 Samsung Electronics Co., Ltd. Method and computing device for providing augmented reality
US10943111B2 (en) 2014-09-29 2021-03-09 Sony Interactive Entertainment Inc. Method and apparatus for recognition and matching of objects depicted in images
US9778814B2 (en) 2014-12-19 2017-10-03 Microsoft Technology Licensing, Llc Assisted object placement in a three-dimensional visualization system
US9576399B2 (en) 2014-12-23 2017-02-21 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
US20170090194A1 (en) 2015-09-24 2017-03-30 Halo Augmented Reality Ltd. System And Method For Subtractive Augmented Reality And Display Contrast Enhancement
US10768772B2 (en) 2015-11-19 2020-09-08 Microsoft Technology Licensing, Llc Context-aware recommendations of relevant presentation content displayed in mixed environments
US10345594B2 (en) 2015-12-18 2019-07-09 Ostendo Technologies, Inc. Systems and methods for augmented near-eye wearable displays
US9927614B2 (en) 2015-12-29 2018-03-27 Microsoft Technology Licensing, Llc Augmented reality display system with variable focus
CN109196447B (zh) 2016-03-31 2022-06-17 奇跃公司 使用姿势和多dof控制器与3d虚拟对象的交互
US10191541B2 (en) 2016-06-30 2019-01-29 Sony Interactive Entertainment Inc. Augmenting virtual reality content with real world content
KR102269065B1 (ko) 2016-10-05 2021-06-24 매직 립, 인코포레이티드 혼합 현실 교정을 위한 안구주위 테스트
US10338400B2 (en) 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
EP3710915A4 (en) 2017-11-13 2021-08-11 Neurable Inc. BRAIN-COMPUTER INTERFACE WITH ADAPTATIONS FOR HIGH-SPEED, ACCURATE AND INTUITIVE USER INTERACTIONS
CA3084546C (en) 2017-12-03 2023-01-31 Frank Jones Enhancing the performance of near-to-eye vision systems
JP7087481B2 (ja) 2018-03-13 2022-06-21 セイコーエプソン株式会社 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム
US10901215B1 (en) 2018-05-16 2021-01-26 Facebook Technologies, Llc Systems and methods for providing a mobile artificial reality user with environmental awareness
US11567336B2 (en) 2018-07-24 2023-01-31 Magic Leap, Inc. Display systems and methods for determining registration between display and eyes of user
SE543144C2 (en) 2019-05-15 2020-10-13 Tobii Ab Method and system for dwell-less, hands-free interaction with a selectable object
US11537351B2 (en) 2019-08-12 2022-12-27 Magic Leap, Inc. Systems and methods for virtual and augmented reality
WO2021119171A1 (en) 2019-12-10 2021-06-17 Magic Leap, Inc. Increased depth of field for mixed-reality display
US11217024B2 (en) 2019-12-26 2022-01-04 Facebook Technologies, Llc Artificial reality system with varifocal display of artificial reality content
US20210349322A1 (en) 2020-05-01 2021-11-11 Mark Harris Wearable near-to-eye vision systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1130763A (ja) * 1997-07-10 1999-02-02 Nec Corp 画像表示装置
JP2002176661A (ja) * 2000-12-08 2002-06-21 Kawasaki Heavy Ind Ltd 画像表示装置
WO2012082807A2 (en) * 2010-12-17 2012-06-21 Microsoft Corporation Optimized focal area for augmented reality displays

Also Published As

Publication number Publication date
AU2017232175A1 (en) 2017-10-12
CN105229719A (zh) 2016-01-06
HK1248851A1 (zh) 2018-10-19
US10304246B2 (en) 2019-05-28
EP2973532A2 (en) 2016-01-20
US9429752B2 (en) 2016-08-30
US20150235452A1 (en) 2015-08-20
AU2017232179B2 (en) 2019-10-03
JP6826174B2 (ja) 2021-02-03
NZ712192A (en) 2018-11-30
US10553028B2 (en) 2020-02-04
US9417452B2 (en) 2016-08-16
JP2018152092A (ja) 2018-09-27
IL255454A (en) 2018-01-31
CN107632710A (zh) 2018-01-26
JP6602911B2 (ja) 2019-11-06
IL255456A (en) 2018-01-31
JP2018142344A (ja) 2018-09-13
AU2017232177B2 (en) 2019-08-01
KR20190029794A (ko) 2019-03-20
AU2017232177A1 (en) 2017-10-12
IL268637A (en) 2019-10-31
KR20150130555A (ko) 2015-11-23
KR102271719B1 (ko) 2021-06-30
US20150235449A1 (en) 2015-08-20
JP2021072135A (ja) 2021-05-06
KR102458124B1 (ko) 2022-10-21
CN107632710B (zh) 2021-04-30
IL255464A (en) 2018-01-31
IL268635A (en) 2019-10-31
AU2021200916B2 (en) 2023-01-05
CN108628446B (zh) 2021-10-26
US20150235453A1 (en) 2015-08-20
JP6326482B2 (ja) 2018-05-16
CN107656617B (zh) 2020-08-25
AU2017232175B2 (en) 2019-05-16
JP2018197860A (ja) 2018-12-13
IL268635B (en) 2020-04-30
JP6542944B2 (ja) 2019-07-10
EP4027222A1 (en) 2022-07-13
IL255456B (en) 2020-01-30
IL268637B (en) 2020-04-30
US20220076495A1 (en) 2022-03-10
KR102271727B1 (ko) 2021-06-30
US20150234184A1 (en) 2015-08-20
US20150235450A1 (en) 2015-08-20
US20150235430A1 (en) 2015-08-20
IL255455A (en) 2018-01-31
CN107656618A (zh) 2018-02-02
KR20210080615A (ko) 2021-06-30
AU2014229004B2 (en) 2017-09-21
US20150235583A1 (en) 2015-08-20
CN107577350A (zh) 2018-01-12
US20150235417A1 (en) 2015-08-20
EP2973532A4 (en) 2017-01-18
IL241657B (en) 2019-10-31
JP6542946B2 (ja) 2019-07-10
KR20190029795A (ko) 2019-03-20
NZ735755A (en) 2019-04-26
AU2019272052B2 (en) 2020-11-19
NZ735747A (en) 2019-10-25
NZ735754A (en) 2019-04-26
JP6353105B2 (ja) 2018-07-04
US11854150B2 (en) 2023-12-26
KR102560629B1 (ko) 2023-07-26
JP2016520891A (ja) 2016-07-14
US10134186B2 (en) 2018-11-20
JP2017107605A (ja) 2017-06-15
WO2014144526A3 (en) 2014-12-24
KR20210129277A (ko) 2021-10-27
JP2020074080A (ja) 2020-05-14
IL255464B (en) 2020-01-30
CA2905506C (en) 2022-08-16
CN107656618B (zh) 2021-03-23
JP6542945B2 (ja) 2019-07-10
US11205303B2 (en) 2021-12-21
CN108427504B (zh) 2021-06-11
AU2019272052A1 (en) 2019-12-19
JP2018142343A (ja) 2018-09-13
JP6683762B2 (ja) 2020-04-22
AU2017232181B2 (en) 2019-10-03
CN107577350B (zh) 2020-10-23
US20140267420A1 (en) 2014-09-18
AU2017232179A1 (en) 2017-10-12
CN105229719B (zh) 2018-04-27
CN107656617A (zh) 2018-02-02
AU2014229004A1 (en) 2015-10-01
KR20230113418A (ko) 2023-07-28
KR102271198B1 (ko) 2021-06-29
KR20220144892A (ko) 2022-10-27
US10453258B2 (en) 2019-10-22
CN107632709B (zh) 2021-06-08
CN107632709A (zh) 2018-01-26
NZ751593A (en) 2020-01-31
AU2017232176A1 (en) 2017-10-12
IL255484A (en) 2018-01-31
KR20190031337A (ko) 2019-03-25
CN108628446A (zh) 2018-10-09
KR102318391B1 (ko) 2021-10-26
AU2017232176B2 (en) 2019-10-03
IL255484B (en) 2020-01-30
JP6676095B2 (ja) 2020-04-08
AU2021200916A1 (en) 2021-03-04
US10510188B2 (en) 2019-12-17
AU2017232181A1 (en) 2017-10-12
US20150235451A1 (en) 2015-08-20
NZ735751A (en) 2019-10-25
NZ735752A (en) 2019-10-25
US20240078771A1 (en) 2024-03-07
KR102271726B1 (ko) 2021-06-30
WO2014144526A2 (en) 2014-09-18
CN113918018A (zh) 2022-01-11
NZ751602A (en) 2020-01-31
CA3160567A1 (en) 2014-09-18
JP2018156663A (ja) 2018-10-04
IL255455B (en) 2020-01-30
CN108427504A (zh) 2018-08-21
IL255454B (en) 2020-01-30
CA2905506A1 (en) 2014-09-18

Similar Documents

Publication Publication Date Title
JP6602911B2 (ja) 表示システムおよび方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190520

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190613

R150 Certificate of patent or registration of utility model

Ref document number: 6542945

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250