JP2020515954A - 仮想コンテンツをワーピングすることを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法 - Google Patents

仮想コンテンツをワーピングすることを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法 Download PDF

Info

Publication number
JP2020515954A
JP2020515954A JP2019550231A JP2019550231A JP2020515954A JP 2020515954 A JP2020515954 A JP 2020515954A JP 2019550231 A JP2019550231 A JP 2019550231A JP 2019550231 A JP2019550231 A JP 2019550231A JP 2020515954 A JP2020515954 A JP 2020515954A
Authority
JP
Japan
Prior art keywords
virtual content
warped
location
coordinate system
existing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019550231A
Other languages
English (en)
Other versions
JP2020515954A5 (ja
JP7055815B2 (ja
Inventor
レザ ヌーライ，
レザ ヌーライ，
ロバート ブレイク テイラー，
ロバート ブレイク テイラー，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2020515954A publication Critical patent/JP2020515954A/ja
Publication of JP2020515954A5 publication Critical patent/JP2020515954A5/ja
Application granted granted Critical
Publication of JP7055815B2 publication Critical patent/JP7055815B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/44—Morphing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Generation (AREA)

Abstract

仮想コンテンツをワーピングする方法は、ソース仮想コンテンツを変換することによってワーピングされた仮想コンテンツを生成することを含む。方法は、出力座標系におけるワーピングされた仮想コンテンツのＸ、Ｙ場所に対応するメモリ場所が既存の仮想コンテンツによって占有されているかどうかを決定することも含む。方法は、メモリ場所が占有されていない場合、ワーピングされた仮想コンテンツをメモリ場所に記憶することを含む。方法は、メモリ場所が占有されている場合、ワーピングされた仮想コンテンツおよび既存の仮想コンテンツのそれぞれのＺ場所を比較し、視認場所により近いＺ場所を伴う仮想コンテンツを識別することを含む。方法は、ワーピングされた仮想コンテンツのＺ場所が既存の仮想コンテンツの既存のＺ場所より視認場所に近い場合、ワーピングされた仮想コンテンツをＸ、Ｙ場所に対応するメモリ場所に記憶することも含む。

Description

本開示は、仮想コンテンツをワーピングすることを伴う複合現実システムと、それを使用して、ワーピングされた仮想コンテンツを含む複合現実体験を生成する方法とに関する。
現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、現実であるように見える様式、またはそのように知覚され得る様式でユーザに提示される、いわゆる「仮想現実」（ＶＲ）または「拡張現実」（ＡＲ）体験のための「複合現実」（ＭＲ）システムの開発を促進している。ＶＲシナリオは、典型的には、実際の実世界の視覚的入力に対する透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。ＡＲシナリオは、典型的には、ユーザの周囲の実際の世界の可視化の拡張として、デジタルまたは仮想画像情報の提示を伴う（すなわち、実世界視覚的入力に対して透明である）。故に、ＡＲシナリオは、実世界視覚的入力に対する透明性を伴うデジタルまたは仮想画像情報の提示を伴う。
種々の光学システムが、ＭＲ（ＶＲおよびＡＲ）シナリオを表示するために、画像を種々の深度において生成する。いくつかのそのような光学システムは、２０１４年１１月２７日に出願された米国実用特許出願第１４／５５５，５８５号（代理人整理番号第ＭＬ．２００１１．００）（その内容は、参照することによって、全体として記載される場合と同様、その全体として明示的かつ完全に本明細書に組み込まれる）に説明される。
ＭＲシステムは、典型的には、ユーザの頭部に少なくとも緩く結合され、したがって、ユーザの頭部が移動すると移動するウェアラブルディスプレイデバイス（例えば、頭部装着型ディスプレイ、ヘルメット搭載型ディスプレイ、またはスマートグラス）を採用する。ユーザの頭部運動が、ディスプレイデバイスによって検出される場合、表示されているデータは、頭部姿勢（すなわち、ユーザの頭部の向きおよび／または場所）の変化を考慮するために更新されることができる。
例として、頭部装着型ディスプレイデバイスを装着しているユーザが、仮想オブジェクトの仮想表現をディスプレイデバイス上で視認し、仮想オブジェクトが現れるエリアの周囲を歩き回る場合、仮想オブジェクトは、各視点のためにレンダリングされ、ユーザに実空間を占有するオブジェクトの周囲を歩き回っているという知覚を与えることができる。頭部装着型ディスプレイデバイスが、複数の仮想オブジェクトを提示するために使用される場合、頭部姿勢の測定は、場面をユーザの動的に変化する頭部姿勢に合致するようにレンダリングし、増加した没入感を提供するために使用されることができる。しかしながら、場面をレンダリングすることと、レンダリングされた場面を表示／投影することとの間には、不可避の遅れが存在する。
頭部装着型ディスプレイデバイスは、ＡＲが、実および仮想オブジェクトの両方の同時視認を提供することを可能にする。「光学シースルー」ディスプレイを用いることで、ユーザは、ディスプレイシステム内の透明（または半透明）要素を通して見ることによって、直接、環境内の実オブジェクトからの光を視認することができる。多くの場合、「コンバイナ」と称される透明要素が、ディスプレイからの光を実世界のユーザのビューの上に重ね、ディスプレイからの光は、仮想コンテンツの画像を環境内の実オブジェクトのシースルービューの上に投影する。カメラが、頭部装着型ディスプレイデバイス上に搭載され、ユーザによって視認されている場面の画像またはビデオを捕捉し得る。
ＭＲシステムにおけるもの等の現在の光学システムは、仮想コンテンツを光学的にレンダリングする。コンテンツは、それが空間内のそれぞれの位置に位置する実際の物理的オブジェクトに対応しないという点で「仮想」である。代わりに、仮想コンテンツは、ユーザの眼に導かれる光ビームによって刺激されるとき、頭部装着型ディスプレイデバイスのユーザの脳（例えば、視覚中枢）内のみに存在する。
ＭＲシステムは、写実的没入型のＭＲシナリオを提示するように試みる。しかしながら、仮想コンテンツの生成と生成された仮想コンテンツの表示との間の遅れ時間は、ＭＲシナリオでは、遅れ時間中の頭部移動と組み合わせられ、視覚的アーチファクト（例えば、
グリッチ）をもたらし得る。この問題は、遅れ時間中の高速頭部移動によって悪化される。
この問題に対処するために、いくつかの光学システムは、ソース仮想コンテンツをソースから受信するワーピングソフトウェア／システムを含み得る。ワーピングシステムは、次いで、ディスプレイシステム／視認者の座標系（「ディスプレイ座標系」）における表示のために、受信されたソース仮想コンテンツを「ワーピング」する（すなわち、座標系を変換する）。ワーピングまたは変換は、仮想コンテンツが提示される座標系を変化させる。このアプローチは、もともとレンダリングされた仮想コンテンツを採用し、仮想コンテンツが提示される方法をシフトさせ、仮想コンテンツを異なる視点から表示するように試みる。
いくつかのワーピングソフトウェア／システムは、ソース仮想コンテンツを２回の処理工程においてワーピングする。ワーピングシステムは、第１の工程において、ソース仮想コンテンツにおいて３−Ｄシナリオを形成するソースサブ部分の全てをワーピングする。ワーピングシステムは、この第１の工程において、深度試験も実施し、深度データを生成するが、深度試験は、ソース座標系において実施される。ワーピングシステムは、その第１の工程において、３−Ｄシナリオを形成するソースサブ部分の変換から生じる全てのワーピングされたサブ部分と、ソース座標系における相対的深度とを記憶する（例えば、リスト内に）。
ワーピング中、３−Ｄシナリオの２つ以上の異なるサブ部分が、最終ディスプレイ画像の同一ピクセルの中にワーピング／投影され得る（すなわち、割り当てられる）。これらのサブ部分は、「競合」し、ワーピングシステムは、現実的２−Ｄディスプレイ画像を生成するために、競合を解決しなければならない。
第１の工程後、ワーピングされたサブ部分のうちのいくつかは、最終２−Ｄディスプレイ画像のピクセルに対して競合し得る。ワーピングシステムは、次いで、第１の工程において記憶された中間ワーピングデータを通して、第２の工程を実施し、競合するワーピングされたサブ部分の深度試験データを分析し、出力座標系における視認場所に最も近いワーピングされたサブ部分を識別する。出力座標系における視認場所に最も近い競合するワーピングされたサブ部分は、最終２−Ｄディスプレイ画像を生成するために使用される。残りの競合するワーピングされたサブ部分は、破棄される。しかしながら、ソースからの仮想コンテンツをワーピングするためのこの多工程システムは、算出上高価であり（プロセッサ／メモリ関連システム限界をもたらす）、かつ時間がかかり得る（システム待ち時間をもたらす）。
一実施形態では、仮想コンテンツをワーピングするコンピュータ実装方法は、ソース仮想コンテンツを変換することによって、ワーピングされた仮想コンテンツを生成することを含む。方法は、出力座標系におけるワーピングされた仮想コンテンツのＸ、Ｙ場所に対応するメモリ場所が既存の仮想コンテンツによって占有されているかどうかを決定することも含む。方法は、既存の仮想コンテンツによってメモリ場所が占有されていない場合、ワーピングされた仮想コンテンツをメモリ場所に記憶することをさらに含む。さらに、方法は、メモリ場所が既存の仮想コンテンツによって占有されている場合、ワーピングされた仮想コンテンツおよび既存の仮想コンテンツのそれぞれのＺ場所を比較し、出力座標系における視認場所により近いＺ場所を伴う仮想コンテンツを識別することを含む。加えて、方法は、ワーピングされた仮想コンテンツのＺ場所が出力座標系における既存の仮想コンテンツの既存のＺ場所より視認場所に近い場合、ワーピングされた仮想コンテンツをＸ、Ｙ場所に対応するメモリ場所に記憶することを含む。
１つ以上の実施形態では、既存の仮想コンテンツの既存のＺが出力座標系におけるワーピングされた仮想コンテンツのＺ場所より視認場所に近い場合、ワーピングされた仮想コンテンツを破棄することも含む。ワーピングされた仮想コンテンツを生成すること、メモリ場所が占有されているかどうかを決定すること、メモリ場所が占有されている場合、それぞれのＺ場所を比較すること、およびワーピングされた仮想コンテンツをメモリ内に記憶することの全ては、１回の工程において生じ得る。
１つ以上の実施形態では、仮想コンテンツを変換することは、画像のピクセルをマッピングすることによって、ピクセルマップを生成することを含む。変換することは、ピクセルマップを複数のプリミティブに分割することも含み得る。変換することはさらに、複数のプリミティブのうちの１つの出力座標系への変換を実施することを含み得る。仮想コンテンツは、複数のプリミティブのうちの１つであり得る。複数のプリミティブの各々は、四辺形、三角形、および／またはピクセルであり得る。変換は、フーリエ変換であり得る。
１つ以上の実施形態では、方法は、出力座標系と異なるソース座標系を使用して、ソース仮想コンテンツを生成することも含む。仮想コンテンツは、ソース座標系から出力座標系に変換され得る。それぞれのＺ場所は、仮想コンテンツを生成するために使用されるソース座標系と異なる出力座標系におけるものであり得る。
１つ以上の実施形態では、仮想コンテンツは、画像情報およびソース座標系におけるソースＸ、Ｙ場所を含む。画像情報は、明度、色、および／またはソース座標系におけるＺ場所を含み得る。ワーピングされた仮想コンテンツは、出力座標系における出力Ｘ、Ｙ場所を含み得る。
別の実施形態では、仮想コンテンツをワーピングするためのシステムは、ソース仮想コンテンツを記憶するための入力メモリを含む。システムは、ソース仮想コンテンツを複数のスケジューリングユニットに分割するためのコマンドプロセッサも含む。システムは、処理順序を決定するためのスケジューラをさらに含む。さらに、システムは、ＧＰＵコアを含み、ＧＰＵコアは、複数のシェーダコアを有し、複数のシェーダコアは、複数のスケジューリングユニットのうちの１つを処理し、ワーピングされた仮想コンテンツを生成する。加えて、システムは、ＧＰＵコアからの出力を記憶するためのＦＩＦＯメモリを含む。システムは、表示のためにワーピングされた仮想コンテンツをラスタ化するためのＲＯＰも含む。システムは、ワーピングされた仮想コンテンツを一時的に記憶するためのバッファメモリをさらに含む。バッファメモリに一時的に記憶された既存の仮想コンテンツがワーピングされた仮想コンテンツと競合するとき、ＲＯＰは、既存の仮想コンテンツおよびワーピングされた仮想コンテンツのそれぞれのＺ場所を比較する。
１つ以上の実施形態では、ソース仮想コンテンツは、ソース座標系におけるソースＸ、Ｙ値を含む。ワーピングされた仮想コンテンツは、出力座標系における出力Ｘ、Ｙ値を含み得る。
さらに別の実施形態では、コンピュータプログラム製品は、非一過性コンピュータ読み取り可能な媒体内に具現化され、コンピュータ読み取り可能な媒体は、プロセッサによって実行されると、プロセッサに、仮想コンテンツをワーピングする方法を実行させる一連の命令を記憶している。方法は、ソース仮想コンテンツを変換することによって、ワーピングされた仮想コンテンツを生成することを含む。方法は、出力座標系におけるワーピングされた仮想コンテンツのＸ、Ｙ場所に対応するメモリ場所が既存の仮想コンテンツによって占有されているかどうかを決定することも含む。方法は、メモリ場所が既存の仮想コンテンツによって占有されていない場合、ワーピングされた仮想コンテンツをメモリ場所に記憶することをさらに含む。さらに、方法は、メモリ場所が既存の仮想コンテンツによって占有されている場合、ワーピングされた仮想コンテンツおよび既存の仮想コンテンツのそれぞれのＺ場所を比較し、出力座標系における視認場所により近いＺ場所を伴う仮想コンテンツを識別することを含む。加えて、方法は、ワーピングされた仮想コンテンツのＺ場所が出力座標系における既存の仮想コンテンツの既存のＺ場所より視認場所に近い場合、ワーピングされた仮想コンテンツをＸ、Ｙ場所に対応するメモリ場所に記憶することを含む。
１つ以上の実施形態では、コンピュータプログラミング製品は、ＡＰＩである。
さらに別の実施形態では、仮想コンテンツをワーピングするためのシステムは、ワーピングされた仮想コンテンツを生成するためのワーピングユニットを含む。ワーピングユニットは、姿勢推定器と、変換ユニットとを含む。システムは、混成ユニットを含む合成ユニットも含む。システムは、ワーピングされた仮想コンテンツを一時的に記憶するためのデータベースをさらに含む。データベースに一時的に記憶された既存の仮想コンテンツがワーピングされた仮想コンテンツと競合するとき、合成ユニットの混成ユニットは、既存の仮想コンテンツおよびワーピングされた仮想コンテンツのそれぞれのＺ場所を比較する。
本開示の追加のおよび他の目的、特徴、ならびに利点は、発明を実施するための形態、図、および請求項に説明される。
図面は、本開示の種々の実施形態の設計および利用可能性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して同様の参照番号によって表されることに留意されたい。本開示の種々の実施形態の上で列挙される利点ならびに他の利点および目的を取得する方法をより深く理解するために、上で簡単に説明された本開示の発明を実施するための形態は、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本開示の典型的実施形態のみを描写し、したがって、その範囲の限定と見なされないことを理解されたい、本開示は、付随の図面の使用を通して、追加の具体性および詳細とともに記載ならびに説明されるであろう。
図１は、いくつかの実施形態による、ウェアラブルＡＲユーザデバイスを通した拡張現実（ＡＲ）のユーザのビューを描写する。 図２Ａ−２Ｄは、いくつかの実施形態による、ＡＲシステムおよびそのサブシステムを図式的に描写する。 図２Ａ−２Ｄは、いくつかの実施形態による、ＡＲシステムおよびそのサブシステムを図式的に描写する。 図２Ａ−２Ｄは、いくつかの実施形態による、ＡＲシステムおよびそのサブシステムを図式的に描写する。 図２Ａ−２Ｄは、いくつかの実施形態による、ＡＲシステムおよびそのサブシステムを図式的に描写する。 図３および４は、いくつかの実施形態による、高速頭部移動に伴うレンダリングアーチファクトを図示する。 図３および４は、いくつかの実施形態による、高速頭部移動に伴うレンダリングアーチファクトを図示する。 図５−８は、いくつかの実施形態による、仮想コンテンツをワーピングする種々の側面を図示する。 図５−８は、いくつかの実施形態による、仮想コンテンツをワーピングする種々の側面を図示する。 図５−８は、いくつかの実施形態による、仮想コンテンツをワーピングする種々の側面を図示する。 図５−８は、いくつかの実施形態による、仮想コンテンツをワーピングする種々の側面を図示する。 図９は、いくつかの実施形態による、グラフィック処理ユニット（ＧＰＵ）を図式的に描写する。 図１０は、いくつかの実施形態による、プリミティブとして記憶される仮想オブジェクトを描写する。 図１１は、いくつかの実施形態による、仮想コンテンツをワーピングする方法を描写する。 図１２は、いくつかの実施形態による、例証的コンピューティングシステムを図式的に描写するブロック図である。
本開示の種々の実施形態は、単一実施形態または複数の実施形態における、仮想コンテンツをワーピングするためのシステム、方法、および製造品を対象とする。本開示の他の目的、特徴、および利点は、発明を実施するための形態、図、および請求項に説明される。
種々の実施形態が、ここで、図面を参照して詳細に説明され、それらは、当業者が本開示を実践することを可能にするように、本開示の例証的例として提供されるであろう。着目すべきこととして、以下の図および例は、本開示の範囲を限定することを意味するものではない。本開示のある要素が、部分的または完全に、公知のコンポーネント（または方法もしくはプロセス）を使用して実装され得る場合、本開示の理解のために必要なそのような公知のコンポーネント（または方法もしくはプロセス）の一部のみが、説明され、そのような公知のコンポーネント（または方法もしくはプロセス）の他の部分の詳細な説明は、本開示を曖昧にしないように、省略されるであろう。さらに、種々の実施形態は、本明細書に例証として参照されるコンポーネントの現在および将来的公知の均等物を包含する。
仮想コンテンツワーピングシステムは、複合現実システムから独立して実装され得るが、下記のいくつかの実施形態は、例証的目的のためだけに、ＡＲシステムに関連して説明される。さらに、本明細書に説明される仮想コンテンツワーピングシステムも、ＶＲシステムと同じ様式で使用され得る。
（例証的複合現実シナリオおよびシステム）
続く説明は、ワーピングシステムが実践され得る例証的拡張現実システムに関する。しかしながら、実施形態は、他のタイプのディスプレイシステム（他のタイプの複合現実システムを含む）における用途にも適しており、したがって、実施形態は、本明細書に開示される例証的システムのみに限定されないことを理解されたい。
複合現実（例えば、ＶＲまたはＡＲ）シナリオは、多くの場合、実世界オブジェクトに関連して仮想オブジェクトに対応する仮想コンテンツ（例えば、画像および音）の提示を含む。例えば、図１を参照すると、拡張現実（ＡＲ）場面１００が、描写され、ＡＲ技術のユーザは、人々、木々、背景における建物、および実世界の物理的コンクリートプラットフォーム１０４を特徴とする実世界の物理的公園状設定１０２を見ている。これらのアイテムに加え、ＡＲ技術のユーザは、物理的コンクリートプラットフォーム１０４上に立っている仮想ロボット像１０６と、マルハナバチの擬人化のように見える、飛んでいる仮想漫画状アバタキャラクタ１０８とも「見えている」と知覚するが、これらの仮想オブジェクト１０６、１０８は、実世界には存在しない。
ＡＲシナリオのように、ＶＲシナリオも、仮想コンテンツを生成／レンダリングするために使用される姿勢を考慮する。仮想コンテンツをＡＲ／ＶＲディスプレイ座標系に対して正確にワーピングし、ワーピングされた仮想コンテンツをワーピングすることは、ＡＲ／ＶＲシナリオを改良すること、または少なくともＡＲ／ＶＲシナリオを損なわせないことができる。
続く説明は、本開示が実践され得る例証的ＡＲシステムに関する。しかしながら、本開示は、他のタイプの拡張現実および仮想現実システムにおける用途にも適し、したがって、本開示は、本明細書に開示される例証的システムのみに限定されないことを理解されたい。
図２Ａは、いくつかの実施形態による、拡張現実（ＡＲ）システム２００を図示する。ＡＲシステム２００は、投影サブシステム２０８と併せて動作させられ、物理的オブジェクトと混合された仮想オブジェクトの画像をユーザ２５０の視野内に提供し得る。このアプローチは、１つ以上の少なくとも部分的に透明な表面を採用し、それを通して、物理的オブジェクトを含む周囲環境が、見られることができ、それを通して、ＡＲシステム２００は、仮想オブジェクトの画像を生産する。投影サブシステム２０８は、リンク２０７を通してディスプレイシステム／サブシステム２０４に動作可能に結合された制御サブシステム２０１内に格納される。リンク２０７は、有線または無線通信リンクであり得る。
ＡＲアプリケーションに対して、それぞれの物理的オブジェクトに対して種々の仮想オブジェクトをユーザ２５０の視野内に空間的に位置付けることが望ましくあり得る。仮想オブジェクトは、画像として表されることが可能な任意の種々のデータ、情報、概念、または論理構造を有する多種多様な形態のいずれかをとり得る。仮想オブジェクトの非限定的例は、仮想テキストオブジェクト、仮想数値オブジェクト、仮想英数字オブジェクト、仮想タグオブジェクト、仮想フィールドオブジェクト、仮想チャートオブジェクト、仮想マップオブジェクト、仮想計器オブジェクト、または物理的オブジェクトの仮想視覚的表現を含み得る。
ＡＲシステム２００は、ユーザ２５０によって装着されるフレーム構造２０２と、ディスプレイシステム２０４がユーザ２５０の眼の正面に位置付けられるように、フレーム構造２０２によって支持されるディスプレイシステム２０４と、ディスプレイシステム２０４の中に組み込まれる、またはそれに接続される、スピーカ２０６とを含む。図示される実施形態では、スピーカ２０６は、スピーカ２０６がユーザ２５０の外耳道（内またはその周囲）に隣接して位置付けられるように、フレーム構造２０２によって支持される（例えば、イヤーバッドまたはヘッドホン）。
ディスプレイシステム２０４は、２次元および３次元コンテンツの両方を含む周囲環境に対する拡張として快適に知覚され得る光ベースの放射パターンをユーザ２５０の眼に提示するように設計される。ディスプレイシステム２０４は、単一コヒーレント場面の知覚を提供する一連のフレームを高周波数で提示する。この目的を達成するために、ディスプレイシステム２０４は、投影サブシステム２０８と、それを通して投影サブシステム２０８が画像を投影する部分的に透明なディスプレイ画面とを含む。ディスプレイ画面は、ユーザ２５０の眼と周囲環境との間のユーザ２５０の視野内に位置付けられる。
いくつかの実施形態では、投影サブシステム２０８は、走査ベースの投影デバイスの形態をとり、ディスプレイ画面は、導波管ベースのディスプレイの形態をとり、その中に、投影サブシステム２０８からの走査光が投入され、例えば、無限遠より近い単一光学視認距離（例えば、腕の長さ）における画像、複数の別々の光学視認距離または焦点面における画像、および／または複数の視認距離または焦点面にスタックされ、立体３Ｄオブジェクトを表す画像層を生産する。明視野内のこれらの層は、ヒト視覚サブシステムに連続して現れるように十分に一緒に緊密にスタックされ得る（例えば、１つの層が、隣接する層の混同の円錐内にある）。加えて、または代替として、画素が、２つ以上の層にわたって混成され、それらの層がより疎らにスタックされる（例えば、１つの層が、隣接する層の混同の円錐外にある）場合でも、明視野内の層間の移行の知覚される連続性を増加させ得る。ディスプレイシステム２０４は、単眼または双眼であり得る。走査アセンブリは、光ビームを生産する（例えば、異なる色の光を定義されたパターンで放出する）１つ以上の光源を含む。光源は、ピクセル情報またはデータのそれぞれのフレーム内で規定された定義されたピクセルパターンに従って、赤色、緑色、および青色のコヒーレントなコリメートされた光をそれぞれ生産するように動作可能である多種多様な形態のいずれか、例えば、ＲＧＢソースの組（例えば、赤色、緑色、および青色光を出力することが可能なレーザダイオード）をとり得る。レーザ光は、高色飽和を提供し、高度にエネルギー効率的である。光学結合サブシステムは、光をディスプレイ画面の端部の中に光学的に結合する光学導波管入力装置（例えば、１つ以上の反射表面、回折格子、ミラー、ダイクロイックミラー、またはプリズム等）を含む。光学結合サブシステムは、光ファイバからの光をコリメートする、コリメーション要素をさらに含む。随意に、光学結合サブシステムは、コリメーション要素からの光を光学導波管入力装置の中心内の焦点に向かって収束させ、それによって、光学導波管入力装置のサイズが最小化されることを可能にするために構成された光学変調装置を含む。したがって、ディスプレイシステム２０４は、１つ以上の仮想オブジェクトの歪曲されていない画像をユーザに提示するピクセル情報の一連の合成画像フレームを生成する。ディスプレイサブシステムを説明するさらなる詳細は、「Ｄｉｓｐｌａｙ Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ」と題された米国実用特許出願第１４／２１２，９６１号（代理人整理番号ＭＬ．２０００６．００）および「Ｐｌａｎａｒ Ｗａｖｅｇｕｉｄｅ Ａｐｐａｒａｔｕｓ Ｗｉｔｈ Ｄｉｆｆｒａｃｔｉｏｎ Ｅｌｅｍｅｎｔ ａｎｄ Ｓｕｂｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｓａｍｅ」と題された第１４／３３１，２１８号（代理人整理番号ＭＬ．２００２０．００）（その内容は、参照することによって、全体として記載される場合と同様、その全体として明示的かつ完全に本明細書に組み込まれる）に提供される。
ＡＲシステム２００は、ユーザ２５０の頭部の位置（向きを含む）および移動および／またはユーザ２５０の眼位置および眼球間距離を検出するためにフレーム構造２０２に搭載された１つ以上のセンサをさらに含む。そのようなセンサは、画像捕捉デバイス、マイクロホン、慣性測定ユニット（ＩＭＵ）、加速度計、コンパス、ＧＰＳユニット、無線デバイス、ジャイロスコープ等を含み得る。例えば、一実施形態では、ＡＲシステム２００は、ユーザ２５０の頭部の移動を示す慣性測定値を捕捉するための１つ以上の慣性変換器を含む頭部装着型変換器サブシステムを含む。そのようなデバイスは、ユーザ２５０の頭部移動についての情報を感知、測定、または収集するために使用され得る。例えば、これらのデバイスは、ユーザの頭部２５０の移動、速度、加速、および／または位置を検出／測定するために使用され得る。ユーザ２５０の頭部の位置（向きを含む）は、ユーザ２５０の「頭部姿勢」としても知られる。
図２ＡのＡＲシステム２００は、１つ以上の前方に面したカメラを含み得る。カメラは、システム２００の前方方向からの画像／ビデオの記録等、任意の数の目的のために採用され得る。加えて、カメラは、環境および環境内の特定のオブジェクトに対するユーザ２５０の距離、向き、および／または角位置を示す情報等、ユーザ２５０が位置する環境についての情報を捕捉するために使用され得る。
ＡＲシステム２００は、後ろ向きに面したカメラをさらに含み、ユーザ２５０の眼の角位置（片眼または両眼が向いている方向）、瞬目、および焦点深度（眼収束を検出することによって）を追跡し得る。そのような眼追跡情報は、例えば、光をエンドユーザの眼に投影し、その投影された光の少なくとも一部の戻りまたは反射を検出することによって、判別され得る。
拡張現実システム２００は、多種多様な形態のいずれかをとり得る制御サブシステム２０１をさらに含む。制御サブシステム２０１は、いくつかのコントローラ、例えば１つ以上のマイクロコントローラ、マイクロプロセッサまたは中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ、グラフィック処理ユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）等の他の集積回路コントローラ、プログラマブルゲートアレイ（ＰＧＡＳ）、例えば、フィールドＰＧＡＳ（ＦＰＧＡＳ）、および／またはプログラマブル論理コントローラ（ＰＬＵ）を含む。制御サブシステム２０１は、デジタル信号プロセッサ（ＤＳＰ）、中央処理ユニット（ＣＰＵ）２５１、グラフィック処理ユニット（ＧＰＵ）２５２、および１つ以上のフレームバッファ２５４を含み得る。ＣＰＵ２５１は、システムの全体的動作を制御する一方、ＧＰＵ２５２は、フレームをレンダリングし（すなわち、３次元場面を２次元画像に変換する）、これらのフレームをフレームバッファ２５４内に記憶する。図示されないが、１つ以上の追加の集積回路は、フレームバッファ２５４の中へのフレームの読み込みおよび／またはそれからの読み取りならびにディスプレイシステム２０４の動作を制御し得る。フレームバッファ２５４の中への読み込みおよび／またはそれからの読み取りは、動的アドレス指定を採用し得、例えば、フレームは、オーバーレンダリングされる。制御サブシステム２０１は、読み取り専用メモリ（ＲＯＭ）およびランダムアクセスメモリ（ＲＡＭ）をさらに含む。制御サブシステム２０１は、３次元データベース２６０をさらに含み、それから、ＧＰＵ２５２は、フレームをレンダリングするための１つ以上の場面の３次元データおよび３次元場面内に含まれる仮想音源に関連付けられた合成音データにアクセスすることができる。
制御ＡＲ拡張現実サブシステム２０１０は、ユーザ向き検出モジュール２４８をさらに含む。ユーザ向きモジュール２４８は、ユーザ２５０の頭部の瞬間位置を検出し、センサから受信された位置データに基づいて、ユーザ２５０の頭部の位置を予測し得る。ユーザ向きモジュール２４８は、センサから受信された追跡データに基づいて、ユーザ２５０の眼、特に、ユーザ２５０が焦点を合わせている方向および／または距離も追跡する。
図２Ｂは、いくつかの実施形態による、ＡＲシステム２００’を描写する。図２Ｂに描写されるＡＲシステム２００’は、図２Ａに描写され、上で説明される、ＡＲシステム２００に類似する。例えば、ＡＲシステム２００’は、フレーム構造２０２と、ディスプレイシステム２０４と、スピーカ２０６と、リンク２０７を通してディスプレイシステム２０４に動作可能に結合された制御サブシステム２０１’とを含む。図２Ｂに描写される制御サブシステム２０１’は、図２Ａに描写され、上で説明される、制御サブシステム２０１に類似する。例えば、制御サブシステム２０１’は、投影サブシステム２０８と、画像／ビデオデータベース２７１と、ユーザ向きモジュール２４８と、ＣＰＵ２５１と、ＧＰＵ２５２と、３Ｄデータベース２６０と、ＲＯＭと、ＲＡＭとを含む。
制御サブシステム２０１’、したがって、図２Ｂに描写されるＡＲシステム２００’と、図２Ａに描写される対応するシステム／システムコンポーネントとの間の差異は、図２Ｂに描写される制御サブシステム２０１’内のブロック２９０の存在である。ブロック２９０は、ＧＰＵ２５２またはＣＰＵ２５１のいずれかから独立する、別個のワーピングブロックである。図２Ｃに図示されるように、ブロック２９０は、ワーピングユニット２８０と、データベース２９２と、合成ユニット２９４とを含む。合成ユニット２９４は、混成ユニット２９６を含む。図２Ｄに図示されるように、ワーピングユニット２８０は、姿勢推定器２８２と、変換ユニット２８４とを含む。
ＡＲシステム２００、２００’の種々の処理コンポーネントは、分散型サブシステム内に含まれ得る。例えば、ＡＲシステム２００、２００’は、有線導線または無線接続性２０７等によって、ディスプレイシステム２０４の一部に動作可能に結合されたローカル処理およびデータモジュール（すなわち、制御サブシステム２０１、２０１’）を含む。ローカル処理およびデータモジュールは、フレーム構造２０２に固定して取り付けられる構成、ヘルメットまたは帽子に固定して取り付けられる構成、ヘッドホンに内蔵される構成、ユーザ２５０の胴体に除去可能に取り付けられる構成、またはベルト結合式構成においてユーザ２５０の腰部に除去可能に取り付けられる構成等、種々の構成において搭載され得る。ＡＲシステム２００、２００’は、遠隔モジュールが、互いに動作可能に結合され、ローカル処理およびデータモジュールに対するリソースとして利用可能であるように、有線導線または無線接続性等によって、ローカル処理およびデータモジュールに動作可能に結合された遠隔処理モジュールおよび遠隔データリポジトリをさらに含み得る。ローカル処理およびデータモジュールは、電力効率的プロセッサまたはコントローラとフラッシュメモリ等のデジタルメモリとを備え得、それらの両方は、可能性として、処理または読み出し後、ディスプレイシステム２０４への通過のために、センサから捕捉されたデータ、および／または遠隔処理モジュールおよび／または遠隔データリポジトリを使用して入手および／または処理されたデータの処理、キャッシュ、および記憶を補助するために利用され得る。遠隔処理モジュールは、データおよび／または画像情報を分析および処理するように構成された１つ以上の比較的に強力なプロセッサまたはコントローラを備え得る。遠隔データリポジトリは、比較的に大規模デジタルデータ記憶設備を備え得、それは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であり得る。いくつかの実施形態では、全てのデータは、記憶され、全ての算出は、ローカル処理およびデータモジュール内で実施され、任意の遠隔モジュールからの完全な自律的使用を可能にする。上で説明される種々のコンポーネント間の結合は、ワイヤまたは光学通信を提供するために、１つ以上の有線インターフェースまたはポート、もしくは無線通信を提供するために、ＲＦ、マイクロ波、およびＩＲ等を介した１つ以上の無線インターフェースまたはポートを含み得る。いくつかの実装では、全ての通信は、有線であり得る一方、他の実装では、全ての通信は、光ファイバを除き、無線であり得る。
（問題およびソリューションの概要）
光学システムが仮想コンテンツを生成／レンダリングするとき、光学システムは、仮想コンテンツがレンダリングされるときのシステムの姿勢に関連し得るソース座標系を使用し得る。ＡＲシステムでは、レンダリングされた仮想コンテンツは、実際の物理的オブジェクトと所定の関係を有し得る。例えば、図３は、実際の物理的台３１２の上部に位置付けられた仮想植木鉢３１０を含むＡＲシナリオ３００を図示する。ＡＲシステムは、仮想植木鉢３１０が実際の台３１２の上部に置かれているように見えるように、ソース座標系（それにおいて実際の台３１２の場所が、既知である）に基づいて、仮想植木鉢３１０をレンダリングした。ＡＲシステムは、第１の時間において、ソース座標系を使用して、仮想植木鉢３１０をレンダリングし、第１の時間の後の第２の時間において、レンダリングされた仮想植木鉢３１０を出力座標系に表示／投影し得る。ソース座標系および出力座標系が、同一である場合、仮想植木鉢３１０は、意図された場所（例えば、実際の物理的台３１２の上部）に現れるであろう。
しかしながら、ＡＲシステムの座標系が、仮想植木鉢３１０がレンダリングされる第１の時間と、レンダリングされた仮想植木鉢３１０が表示／投影される第２の時間との間の間隙において変化する場合（例えば、高速ユーザ頭部移動に伴って）、ソース座標系と出力座標系との間の不整合／差異は、視覚的アーチファクト／異常／グリッチをもたらし得る。例えば、図４は、実際の物理的台４１２の上部に位置付けられるようにレンダリングされた仮想植木鉢４１０を含むＡＲシナリオ４００を示す。しかしながら、ＡＲシステムは、仮想植木鉢４１０がレンダリングされた後であるが、表示／投影される前、右に（急速に）移動されたので、仮想植木鉢４１０は、その意図される位置４１０’（想像線で示される）の右に表示される。したがって、仮想植木鉢４１０は、実際の物理的台４１２の右の空中に浮いているように見える。このアーチファクトは、仮想植木鉢が出力座標系において再レンダリングされると是正されるであろう（ＡＲシステム運動が中止すると仮定して）。しかしながら、アーチファクトは、依然として、一部のユーザに見えており、仮想植木鉢４１０は、予期しない位置に一時的にジャンプすることによって、グリッチとして現れるであろう。このグリッチおよびそのような他のものは、ＡＲシナリオの連続性の錯覚に悪影響を及ぼし得る。
いくつかの光学システムは、ソース仮想コンテンツの座標系を仮想コンテンツが生成されたソース座標系から、仮想コンテンツが表示されるであろう出力座標系にワーピングまたは変換するワーピングシステムを含み得る。図４に描写される例では、ＡＲシステムは、出力座標系および／または姿勢を検出および／または予測することができる（例えば、ＩＭＵまたは眼追跡を使用して）。ＡＲシステムは、次いで、ソース座標系からのレンダリングされた仮想コンテンツを出力座標系におけるワーピングされた仮想コンテンツにワーピングまたは変換することができる。
いくつかのワーピングソフトウェア／システムは、ソース仮想コンテンツを２回の処理工程においてワーピングする。図５−７における例を参照すると、ＡＲシステムは、第１の工程において、ソース仮想コンテンツにおける３−Ｄシナリオを形成する全てのソースサブ部分（例えば、チェスの駒５１０および立方体５１２を形成するプリミティブ）をワーピングする。第１の工程は、ワーピングされた仮想コンテンツ（例えば、ワーピングされたチェスの駒５１０’およびワーピングされた立方体５１２’）を形成する。チェスの駒５１０および立方体５１２は、図５−７では想像線で示され、それらがソース座標系におけるものであり、表示されないであろうことを示す。代わりに、出力座標系におけるワーピングされたチェスの駒５１０’およびワーピングされた立方体５１２’（実線で示される）が、表示されるであろう。いくつかのワーピングシステムは、第１の工程において、全てのサブ部分（例えば、ワーピングされたチェスの駒５１０’およびワーピングされた立方体５１２’を形成する各プリミティブ）を深度試験し、深度データを生成する。深度試験後、ＡＲシステムは、第１の工程において、全てのワーピングされたサブ部分（例えば、プリミティブ）とソース座標系における相対的深度とを記憶する（例えば、リスト内に）。第１の工程の終了時、ワーピングされた仮想コンテンツは、出力仮想コンテンツ（競合するワーピングされた仮想データの全てのインスタンスを含む）における各Ｘ、Ｙ位置（例えば、ピクセル）における全ての明度／色のリストとして記憶され得る。
ワーピングシステムは、次いで、第２の工程において、記憶されたワーピングされたサブ部分の各Ｘ、Ｙの位置および相対的深度（例えば、リスト）における全ての競合する仮想データを解決する。３−Ｄシナリオの２つ以上の異なるサブ部分（例えば、チェスの駒５１０および立方体５１２）が、出力座標系にワーピングされると（例えば、ワーピングされたチェスの駒５１０’およびワーピングされた立方体５１２’）、これらのサブ部分の一部は、最終ディスプレイ画像の同一ピクセルの中にワーピング／投影され得る（すなわち、割り当てられる）。例えば、図６におけるエリア５１４は、ワーピングされたチェスの駒５１０’とワーピングされた立方体５１２’との「競合する」部分を表す。ワーピングシステムは、出力仮想コンテンツを生成するとき、ワーピングされた仮想コンテンツのこれらの競合する部分を解決／解消する。
いくつかの実施形態では、ワーピングされたチェスの駒５１０’およびワーピングされた立方体５１２’（例えば、第１および第２の仮想コンテンツ）のそれぞれのピクセルが、ディスプレイの同一ピクセル（すなわち、衝突するピクセル）上に表示されるであろう場合、ワーピングシステムは、それぞれの衝突／競合するピクセルに対応する記憶された深度データを比較することができる。出力座標系において視認場所により近い衝突するピクセル（例えば、ワーピングされた仮想コンテンツ）が、表示される（コンテンツは不透明であると仮定する）。出力座標系において視認場所に最も近い衝突するピクセルは、最終ディスプレイ画像を生成するために使用される。残りの衝突するピクセルは、破棄される。
図７に示される１つのインスタンスでは、ワーピングされたチェスの駒５１０’は、ワーピングされた立方体５１２’よりユーザに近い。したがって、ワーピングされたチェスの駒５１０’とワーピングされた立方体５１２’とのピクセルが衝突するとき、ワーピングされたチェスの駒５１０’のピクセルが、出力コンテンツに表示される。図８に示される別のインスタンスでは、ワーピングされた立方体５１２’は、ワーピングされたチェスの駒５１０’よりユーザに近い。したがって、ワーピングされたチェスの駒５１０’とワーピングされた立方体５１２’とのピクセルが衝突するとき、ワーピングされた立方体５１２’のピクセルが、出力コンテンツに表示される。いくつかのワーピングシステムは、ソース座標系における深度データを生成するので、第２の工程における深度比較は、複数の変換を伴い、直接比較より複雑である。
この２工程システムは、仮想コンテンツをワーピングし、表示のために、衝突／競合するワーピングされた仮想コンテンツを解決する（例えば、現実的ＡＲシナリオにおいて）。しかしながら、この２工程ワーピングシステムは、算出上高価であり（プロセッサ／メモリ関連システム限界をもたらす）、かつ時間がかかる（システム待ち時間をもたらす）。要求される算出費用および時間は、表示のためにワーピングなければならない３−Ｄシナリオの複雑性に伴って増加する。シナリオ複雑性の増加に伴って増加させられる現在のワーピングソフトウェア／システムの時間要件は、いくつかの複合現実システム等のリアルタイムシステムとの適合がないこともある。さらに、シナリオ複雑性の増加に伴って増加させられるいくつかのワーピングソフトウェア／システムの算出費用は、サイズ、電力、熱、および他の処理関連限界に現れ得、いくつかの複合現実システム等のポータブルシステムとの適合がないこともある。
これらの限界に対処するために、本明細書に説明されるシステムは、単一工程において、仮想コンテンツをワーピングし、競合する仮想コンテンツを解消する。仮想コンテンツは、ソース座標系に基づいて、ディスプレイ座標系にワーピングされる。競合するワーピングされた仮想コンテンツを解消することは、表示のために、出力仮想コンテンツの特定のピクセルにおける全てのワーピングされた仮想コンテンツの深度試験を含む。いくつかのワーピングシステムと異なり、本明細書の実施形態による深度試験は、出力座標系において生じる。
（例証的グラフィック処理ユニット）
図９は、いくつかの実施形態による、仮想コンテンツを出力座標系にワーピングし、ワーピングされた仮想コンテンツの競合部分を解消するための例示的グラフィック処理ユニット（ＧＰＵ）２５２を図式的に描写する。ＧＰＵ２５２は、ワーピングされるための生成された仮想コンテンツを記憶するための入力メモリ９１０を含む。いくつかの実施形態では、仮想コンテンツは、プリミティブ（例えば、図１０では、三角形１０００）として記憶される。ＧＰＵ２５２は、コマンドプロセッサ９１２も含み、それは、（１）仮想コンテンツを入力メモリ９１０から受信し／読み取り、（２）仮想コンテンツをスケジューリングユニットに分割し、（３）並列処理のために、スケジューリングユニットをレンダリングパイプラインに沿って波またはワープで送信する。ＧＰＵ２５２は、スケジューラ９１４をさらに含み、スケジューラ９１４は、（１）スケジューリングユニットをコマンドプロセッサ９１２から受信し、（２）コマンドプロセッサ９１２からの「新しい作業」またはレンダリングパイプライン（下で説明される）内の下流から戻る「古い作業」がレンダリングパイプラインを辿って任意の特定の時間に送信されるべきであるかどうかを決定する。事実上、スケジューラ９１４は、ＧＰＵ２５２が種々の入力データを処理する順序を決定する。
ＧＰＵ２５２は、１つ以上のＧＰＵコア９１６を含み、各ＧＰＵコア９１６は、スケジューリングユニットを並行して処理するために、いくつかの並行実行可能コア／ユニット（「シェーダコア」）９１８を有する。コマンドプロセッサ９１２は、仮想コンテンツをシェーダコア９１８の数と等しい数（例えば、３２）に分割する。ＧＰＵ２５２は、ＧＰＵコア９１６からの出力を受信するための「先入れ先出し」（「ＦＩＦＯ」）メモリ９２０も含む。ＦＩＦＯメモリ９２０から、出力は、ＧＰＵコア９１６によるレンダリングパイプラインの追加の処理の中への挿入のために、スケジューラ９１４に「古い作業」として戻るようにルーティングされ得る。
ＧＰＵ２５２は、ＦＩＦＯメモリ９２０からの出力を受信し、表示のために、出力をラスタ化するラスタ演算ユニット（「ＲＯＰ」）９２２をさらに含む。例えば、仮想コンテンツのプリミティブは、三角形の頂点の座標として記憶され得る。ＧＰＵコア９１６による処理（その間に図１０の三角形１０００の３つの頂点１０１０、１０１２、１０１４がワーピングされ得る）後、ＲＯＰ９２２は、３つの頂点１０１０、１０１２、１０１４によって画定された三角形１０００の内側にあるピクセル１０１６を決定し、仮想コンテンツ内のそれらのピクセル１０１６を充填する。ＲＯＰ９２２は、仮想コンテンツに深度試験も実施し得る。
ＧＰＵ２５２はまた、ＲＯＰ９２２からのワーピングされた仮想コンテンツを一時的に記憶するためのバッファメモリ９２４を含む。バッファメモリ９２４内のワーピングされた仮想コンテンツは、出力座標系における視野の複数のＸ、Ｙ位置における明度／色および深度情報を含み得る。バッファメモリ９２４からの出力は、ＧＰＵコア９１６によるレンダリングパイプラインの追加の処理の中への挿入のために、またはディスプレイシステムの対応するピクセルにおける表示のために、スケジューラ９１４に「古い作業」として戻るようにルーティングされ得る。ＧＰＵコア９１６は、最初に、三角形１０００の頂点１０１０、１０１２、１０１４を処理し、次いで、三角形１０００の内側のピクセル１０１６を処理する。入力メモリ９１０内の仮想コンテンツの全てのフラグメントが、ワーピングおよび深度試験されると（必要な場合）、バッファメモリ９２４は、出力座標系において視野を表示するために必要とされる明度／色および深度情報の全てを含むであろう。
（仮想コンテンツワーピングシステムおよび方法）
頭部姿勢変化からの入力を伴わない画像処理では、ＧＰＵ２５２による処理の結果は、それぞれのＸ、Ｙ値（例えば、各ピクセル）における色／明度値および深度値である。しかしながら、頭部姿勢の変化に伴って、仮想コンテンツが生成されたソース座標系と異なる出力座標系における視認場所から視認される仮想コンテンツの異なる部分は、ピクセルにおいて重なり得る。仮想コンテンツをワーピングし、競合する仮想コンテンツを解決するためのいくつかの方法では、出力仮想コンテンツ内の各Ｘ、Ｙ位置を占有し得る全ての仮想コンテンツは、ワーピングされ（ソース座標系から）、記憶される（例えば、リスト内に）。記憶された仮想コンテンツは、色／明度および深度情報を含む。次いで、任意の競合する仮想コンテンツの深度は、互いに比較され、出力座標系における視認場所に最も近い仮想コンテンツを決定し、それは、出力仮想コンテンツにおいて使用される。上で説明されるように、この多工程ワーピングプロセスは、算出上高価かつ低速であり、複合現実システム等のポータブルディスプレイシステムとの使用を困難にし得る。
図１１は、いくつかの実施形態による、単一工程において、仮想コンテンツをワーピングし、競合する仮想コンテンツを解決する方法１１００を描写する。ステップ１１０２では、ワーピングシステム（例えば、ＧＰＵ２５２のＧＰＵコア９１６および／またはブロック２９０のワーピングユニット２８０の姿勢推定器２８２および変換ユニット２８４）が、ワーピングされた仮想コンテンツ（出力座標系におけるＸ’、Ｙ’、およびＺ’場所を有する）をソース仮想コンテンツ（ソース座標系におけるＸ、Ｙ、およびＺ場所を有する）から生成する。ワーピングされた仮想コンテンツは、色／明度、出力座標系におけるＸ’、Ｙ’、およびＺ’場所を含む情報によって表されるワーピングされたプリミティブであり得る。Ｘ’、Ｙ’、およびＺ’値は、出力座標系における視認場所に対して計算される。いくつかの実施形態では、ワーピングされた仮想コンテンツは、図５−８に示されるように、チェスの駒５１０’の一部に対応し得る。
ステップ１１０４では、ワーピングシステム（例えば、ＧＰＵ２５２のＲＯＰ９２２および／またはブロック２９０の合成ユニット２９４および混成ユニット２９６）は、ワーピングされた仮想コンテンツのＸ’、Ｙ’場所に対応するバッファメモリ９２４および／またはデータベース２９２のＸ’、Ｙ’場所が、現在のワーピングされた仮想コンテンツが生成される前にバッファメモリ９２４および／またはデータベース２９２内に記憶された既存の仮想コンテンツによって占有されているかどうかを決定する。例えば、図６−８におけるワーピングされた仮想コンテンツ５１０’、５１２’の部分５１４’は、競合するワーピングされた仮想コンテンツを含む。バッファメモリ９２４および／またはデータベース２９２のＸ’、Ｙ’場所が既存の仮想コンテンツによって占有されている場合、方法１１００は、ステップ１１０６／１１０６’に進む。
バッファメモリ９２４および／またはデータベース２９２のＸ’、Ｙ’場所が、ステップ１１０４において、占有されていないと決定される場合、ワーピングシステム（例えば、ＧＰＵ２５２のＲＯＰ９２２および／またはブロック２９０の合成ユニット２９４および混成ユニット２９６）は、ステップ１１０８において、ワーピングされた仮想コンテンツ（明度／色およびＺ’情報を含む）をバッファメモリ９２４および／またはデータベース２９２のＸ’、Ｙ’の場所に書き込む。方法１１００は、次いで、ステップ１１１２に進む。
ステップ１１１２では、ワーピングシステムは、全てのワーピングされた仮想コンテンツが生成されたかどうかを決定する。全てのワーピングされた仮想コンテンツが生成された場合、方法１１００は、終了され、バッファメモリ９２４および／またはデータベース２９２内に記憶されたワーピングされた仮想コンテンツは、表示されることができる。全てのワーピングされた仮想コンテンツが生成されていない場合、方法１１００は、ステップ１１０２に戻り、さらなるワーピングされた仮想コンテンツを生成する。
ステップ１１０６／１１０６’では、ワーピングシステム（例えば、ＧＰＵ２５２のＲＯＰ９２２および／またはブロック２９０の合成ユニット２９４および混成ユニット２９６）は、バッファメモリ９２４および／またはデータベース２９２のＸ’、Ｙ’場所内のワーピングされた仮想コンテンツおよび既存の仮想コンテンツのＺ’（例えば、深度）情報を比較し、出力座標系における視認場所により近い仮想コンテンツを決定する。Ｚ’情報は、出力座標系におけるものであるので、比較は、簡単である。ワーピングシステムが、既存の仮想コンテンツがワーピングされた仮想コンテンツより視認場所に近いことを決定する場合、方法１１００は、ステップ１１１０に進む。
ステップ１１１０では、ワーピングシステム（例えば、ＧＰＵ２５２のＲＯＰ９２２および／またはブロック２９０の合成ユニット２９４および混成ユニット２９６）は、随意に、ワーピングされた仮想コンテンツを破棄し、それは、より近い既存の仮想コンテンツによって妨害されるであろうから、視認場所から見えないであろう（既存の仮想コンテンツは不透明であると仮定する）。
ステップ１１１２では、ワーピングシステム（例えば、ＧＰＵ２５２のＲＯＰ９２２および／またはブロック２９０の合成ユニット２９４および混成ユニット２９６）は、全てのワーピングされた仮想コンテンツが生成されたかどうかを決定する。全てのワーピングされた仮想コンテンツが生成された場合、方法１１００は、終了され、バッファメモリ９２４内に記憶されるワーピングされた仮想コンテンツは、表示されることができる。全てのワーピングされた仮想コンテンツが生成されていない場合、方法１１００は、ステップ１１０２に戻り、さらなるワーピングされた仮想コンテンツを生成する。
ワーピングシステム（例えば、ＧＰＵ２５２のＲＯＰ９２２および／またはブロック２９０の合成ユニット２９４および混成ユニット２９６）が、ワーピングされた仮想コンテンツが既存の仮想コンテンツより視認場所に近いことを決定する場合、ワーピングシステム（例えば、ＧＰＵ２５２のＲＯＰ９２２および／またはブロック２９０の合成ユニット２９４および混成ユニット２９６）は、ステップ１１０８において、ワーピングされた仮想コンテンツ（明度／色およびＺ’情報を含む）をバッファメモリ９２４および／またはデータベース２９２のＸ’、Ｙ’場所内に書き込む。ワーピングされた仮想コンテンツをＸ’、Ｙ’場所内に書き込むことにおいて、Ｘ’、Ｙ’場所内に以前に記憶された既存の仮想コンテンツは、破棄されるであろう。方法１１００は、次いで、ステップ１１１２に進む。
ステップ１１１２では、ワーピングシステム（例えば、ＧＰＵ２５２のＲＯＰ９２２および／またはブロック２９０の合成ユニット２９４および混成ユニット２９６）は、全てのワーピングされた仮想コンテンツが生成されたかどうかを決定する。全てのワーピングされた仮想コンテンツが生成された場合、方法１１００は、終了され、バッファメモリ９２４内に記憶されるワーピングされた仮想コンテンツは、表示されることができる。全てのワーピングされた仮想コンテンツが生成されていない場合、方法１１００は、ステップ１１０２に戻り、さらなるワーピングされた仮想コンテンツを生成する。
単一工程において、仮想コンテンツをワーピングし、競合するワーピングされた仮想コンテンツを解決するステップは、仮想コンテンツをワーピングし、表示のための出力コンテンツを形成するために要求される、プロセッサ負担および時間を低減させる。図１１に描写される方法１１００は、ＧＰＵ２５２上で実行される「シェーダ拡張」またはアプリケーションプログラムインターフェース（「ＡＰＩ」）として具現化され得る。上で説明されるように、図１１に描写される方法１１００は、任意のＧＰＵ２５２またはＣＰＵ２５１のいずれからも独立した別個のワーピングブロック２９０上で実行され得る。さらに別の実施形態では、図１１に描写される方法１１００は、ＣＰＵ２５１上で実行され得る。さらに他の実施形態では、図１１に描写される方法１１００は、ＧＰＵ２５２、ＣＰＵ２５１、および別個のワーピングブロック２９０の種々の組み合わせ／副次的組み合わせ上で実行され得る。図１１に描写される方法１１００は、システムリソース利用可能性に従って特定の時間における種々の実行モデルを使用して実行され得る画像処理パイプラインである。
チェスの駒５１０および立方体５１２は、図５−８では、想像線で示され、チェスの駒５１０および立方体５１２が、ソース座標系内に生成され、ディスプレイ座標系内にないことを示す。ワーピングシステムが、チェスの駒５１０および立方体５１２をワーピングされた後のみ、ワーピングされたチェスの駒５１０’およびワーピングされた立方体５１２’は、実線で示される。
（システムアーキテクチャ概要）
図１２は、本開示の実施形態を実装するために好適な例証的コンピューティングシステム１２００のブロック図である。コンピュータシステム１２００は、プロセッサ１２０７、システムメモリ１２０８（例えば、ＲＡＭ）、静的記憶デバイス１２０９（例えば、ＲＯＭ）、ディスクドライブ１２１０（例えば、磁気または光学）、通信インターフェース１２１４（例えば、モデムまたはＥｔｈｅｒｎｅｔ（登録商標）カード）、ディスプレイ１２１１（例えば、ＣＲＴまたはＬＣＤ）、入力デバイス１２１２（例えば、キーボード）、およびカーソル制御等のサブシステムおよびデバイスを相互接続する、情報を通信するためのバス１２０６または他の通信機構を含む。
本開示の一実施形態によると、コンピュータシステム１２００は、プロセッサ１２０７がシステムメモリ１２０８内に含まれる１つ以上の一連の１つ以上の命令を実行することによって、具体的動作を実施する。そのような命令は、静的記憶デバイス１２０９またはディスクドライブ１２１０等の別のコンピュータ読み取り可能な／使用可能媒体からシステムメモリ１２０８の中に読み込まれ得る。代替実施形態では、有線回路が、ソフトウェア命令の代わりに、またはそれと組み合わせて、本開示を実装するために使用され得る。したがって、本開示の実施形態は、ハードウェア回路および／またはソフトウェアの任意の具体的組み合わせに限定されない。一実施形態では、用語「論理」は、本開示の全部または一部を実装するために使用される、任意の組み合わせのソフトウェアまたはハードウェアを意味し得る。
用語「コンピュータ読み取り可能な媒体」または「コンピュータ使用可能媒体」は、本明細書で使用されるように、実行のための命令をプロセッサ１２０７に提供することにおいて関与する任意の媒体を指す。そのような媒体は、限定ではないが、不揮発性媒体および揮発性媒体を含む多くの形態をとり得る。不揮発性媒体は、例えば、ディスクドライブ１２１０等の光学または磁気ディスクを含む。揮発性媒体は、システムメモリ１２０８等の動的メモリを含む。
一般的形態のコンピュータ読み取り可能な媒体は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ−ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを伴う任意の他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ（例えば、ＮＡＮＤフラッシュ、ＮＯＲフラッシュ）、任意の他のメモリチップまたはカートリッジ、もしくはコンピュータが読み取り得る、任意の他の媒体を含む。
本開示のある実施形態では、本開示を実践するための一連の命令の実行は、単一コンピュータシステム１２００によって実施される。本開示の他の実施形態によると、通信リンク１２１５（例えば、ＬＡＮ、ＰＴＳＮ、または無線ネットワーク）によって結合される、２つ以上のコンピュータシステム１２００が、互いに協調して、本開示を実践するために要求される一連の命令を実施し得る。
コンピュータシステム１２００は、通信リンク１２１５および通信インターフェース１２１４を通して、プログラム、例えば、アプリケーションコードを含むメッセージ、データ、および命令を伝送および受信し得る。受信されたプログラムコードは、プロセッサ１２０７によって、受信されるにつれて実行され、および／または後の実行のために、ディスクドライブ１２１０もしくは他の不揮発性記憶装置内に記憶され得る。記憶媒体１２３１内のデータベース１２３２は、データインターフェース１２３３を介して、システム１２００によってアクセス可能なデータを記憶するために使用され得る。
本開示は、本主題のデバイスを使用して実施され得る方法を含む。方法は、そのような好適なデバイスを提供する作用を含み得る。そのような提供は、ユーザによって実施され得る。言い換えると、「提供する」作用は、単に、ユーザが、本主題の方法において必要なデバイスを取得し、それにアクセスし、それに接近し、それを位置付け、それを設定し、それをアクティブ化し、それに電源を入れ、または別様にそれを提供するように作用することを要求する。本明細書に列挙される方法は、論理的に可能な列挙されたイベントの任意の順序ならびにイベントの列挙された順序で行われ得る。
本開示の例示的側面が、材料選択および製造に関する詳細とともに、上で記載された。本開示の他の詳細に関して、これらは、前述の参照特許および刊行物に関連して理解され、概して、当業者によって公知であり、または理解され得る。同じことは、一般または論理的に採用されるような追加の作用の観点から、本開示の方法ベースの側面に関しても当てはまり得る。
加えて、本開示は、随意に、種々の特徴を組み込むいくつかの例を参照して説明されたが、本開示は、開示の各変形例に関して検討されるように説明または図示されるものに限定されるものではない。種々の変更が、説明される本開示に行われ得、均等物（本明細書に列挙されるか、またはある程度の簡潔目的のために含まれないかどうかにかかわらず）は、本開示の精神および範囲から逸脱することなく代用され得る。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値および任意の他の述べられた値または述べられた範囲内の介在値が、本開示内に包含されるものと理解されたい。
説明される本発明の変形例の任意の随意の特徴が、独立して、または本明細書に説明される特徴のうちの任意の１つ以上のものと組み合わせて、記載および請求され得ることも考えられる。単数形アイテムの言及は、存在する複数の同一アイテムが存在する可能性を含む。より具体的には、本明細書および本明細書に関連付けられた請求項で使用されるように、単数形「ａ」、「ａｎ」、「ｓａｉｄ」、および「ｔｈｅ」は、別様に具体的に述べられない限り、複数の言及を含む。言い換えると、冠詞の使用は、上記の説明ならびに本開示に関連付けられる請求項における本主題のアイテムのうちの「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意の要素を除外するように起草され得ることに留意されたい。したがって、本文言は、請求項の要素の列挙と関連する「単に」、「のみ」等等の排他的専門用語の使用、または「消極的」限定の使用のための先行詞としての役割を果たすことが意図される。
そのような排他的専門用語を使用しなければ、本開示に関連付けられる請求項における用語「〜を備えている」は、所与の数の要素がそのような請求項で列挙されるかどうかにかかわらず、任意の追加の要素の包含を可能にするものとし、または、特徴の追加は、そのような請求項に記載される要素の性質を変換すると考えられ得る。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の正当性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるべきである。
本開示の範疇は、提供される例および／または本主題の明細書に限定されるべきではなく、むしろ、本開示に関連付けられた請求項の言語の範囲によってのみ限定されるべきである。
前述の明細書では、本開示は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本開示のより広義の精神および範囲から逸脱することなく、そこに行われ得ることが明白であろう。例えば、前述のプロセスフローは、プロセスアクションの特定の順序を参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本開示の範囲または動作に影響を及ぼすことなく、変更され得る。明細書および図面は、故に、限定的意味ではなく、例証と見なされるべきである。

Claims (22)

  1. 仮想コンテンツをワーピングするコンピュータ実装方法であって、前記方法は、
    ソース仮想コンテンツを変換することによって、ワーピングされた仮想コンテンツを生成することと、
    出力座標系における前記ワーピングされた仮想コンテンツのＸ、Ｙ場所に対応するメモリ場所が既存の仮想コンテンツによって占有されているかどうかを決定することと、
    前記メモリ場所が既存の仮想コンテンツによって占有されていない場合、前記ワーピングされた仮想コンテンツを前記メモリ場所に記憶することと、
    前記メモリ場所が既存の仮想コンテンツによって占有されている場合、前記ワーピングされた仮想コンテンツと前記既存の仮想コンテンツとのそれぞれのＺ場所を比較し、前記出力座標系における視認場所により近いＺ場所を伴う仮想コンテンツを識別することと、
    前記ワーピングされた仮想コンテンツのＺ場所が前記出力座標系における前記既存の仮想コンテンツの既存のＺ場所より前記視認場所に近い場合、前記ワーピングされた仮想コンテンツを前記Ｘ、Ｙ場所に対応する前記メモリ場所に記憶することと
    を含む、方法。
  2. 前記既存の仮想コンテンツの前記既存のＺが前記出力座標系における前記ワーピングされた仮想コンテンツの前記Ｚ場所より前記視認場所に近い場合、前記ワーピングされた仮想コンテンツを破棄することをさらに含む、請求項１に記載の方法。
  3. 前記ワーピングされた仮想コンテンツを生成すること、前記メモリ場所が占有されているかどうかを決定すること、前記メモリ場所が占有されている場合、それぞれのＺ場所を比較すること、および前記ワーピングされた仮想コンテンツを前記メモリ内に記憶することの全ては、１回の工程において生じる、請求項１に記載の方法。
  4. 前記仮想コンテンツを変換することは、
    画像のピクセルをマッピングすることによって、ピクセルマップを生成することと、
    前記ピクセルマップを複数のプリミティブに分割することと、
    前記複数のプリミティブのうちの１つに前記出力座標系への変換を実施することと
    を含み、
    前記仮想コンテンツは、前記複数のプリミティブのうちの前記１つである、請求項１に記載の方法。
  5. 前記複数のプリミティブの各々は、四辺形である、請求項４に記載の方法。
  6. 前記複数のプリミティブの各々は、三角形である、請求項４に記載の方法。
  7. 前記複数のプリミティブの各々は、ピクセルである、請求項４に記載の方法。
  8. 前記変換は、フーリエ変換である、請求項４に記載の方法。
  9. 前記出力座標系と異なるソース座標系を使用して、前記ソース仮想コンテンツを生成することをさらに含む、請求項１に記載の方法。
  10. 前記仮想コンテンツは、前記ソース座標系から前記出力座標系に変換される、請求項９に記載の方法。
  11. 前記それぞれのＺ場所は、前記仮想コンテンツを生成するために使用されるソース座標系と異なる前記出力座標系におけるものである、請求項１に記載の方法。
  12. 前記仮想コンテンツは、画像情報およびソース座標系におけるソースＸ、Ｙ場所を備えている、請求項１に記載の方法。
  13. 前記画像情報は、明度を備えている、請求項１２に記載の方法。
  14. 前記画像情報は、色を備えている、請求項１２に記載の方法。
  15. 前記画像情報は、前記ソース座標系におけるＺ場所を備えている、請求項１２に記載の方法。
  16. 前記ワーピングされた仮想コンテンツは、前記出力座標系における出力Ｘ、Ｙ場所を備えている、請求項１２に記載のシステム。
  17. 仮想コンテンツをワーピングするためのシステムであって、前記システムは、
    ソース仮想コンテンツを記憶するための入力メモリと、
    前記ソース仮想コンテンツを複数のスケジューリングユニットに分割するためのコマンドプロセッサと、
    処理順序を決定するためのスケジューラと、
    ＧＰＵコアであって、前記ＧＰＵコアは、前記複数のスケジューリングユニットのうちの１つを処理し、ワーピングされた仮想コンテンツを生成するための複数のシェーダコアを有する、ＧＰＵコアと、
    前記ＧＰＵコアからの出力を記憶するためのＦＩＦＯメモリと、
    表示のために前記ワーピングされた仮想コンテンツをラスタ化するためのＲＯＰと、
    前記ワーピングされた仮想コンテンツを一時的に記憶するためのバッファメモリと
    を備え、
    前記バッファメモリに一時的に記憶された既存の仮想コンテンツが前記ワーピングされた仮想コンテンツと競合するとき、前記ＲＯＰは、前記既存の仮想コンテンツと前記ワーピングされた仮想コンテンツとのそれぞれのＺ場所を比較する、システム。
  18. 前記ソース仮想コンテンツは、ソース座標系におけるソースＸ、Ｙ値を備えている、請求項１７に記載のシステム。
  19. 前記ワーピングされた仮想コンテンツは、出力座標系における出力Ｘ、Ｙ値を備えている、請求項１８に記載のシステム。
  20. 非一過性コンピュータ読み取り可能な媒体において具現化されるコンピュータプログラム製品であって、前記コンピュータ読み取り可能な媒体は、一連の命令を記憶しており、前記一連の命令は、プロセッサによって実行されると、仮想コンテンツをワーピングする方法を前記プロセッサに実行させ、前記方法は、
    ソース仮想コンテンツを変換することによって、ワーピングされた仮想コンテンツを生成することと、
    出力座標系における前記ワーピングされた仮想コンテンツのＸ、Ｙ場所に対応するメモリ場所が既存の仮想コンテンツによって占有されているかどうかを決定することと、
    前記メモリ場所が既存の仮想コンテンツによって占有されていない場合、前記ワーピングされた仮想コンテンツを前記メモリ場所に記憶することと、
    前記メモリ場所が既存の仮想コンテンツによって占有されている場合、前記ワーピングされた仮想コンテンツと前記既存の仮想コンテンツとのそれぞれのＺ場所を比較し、前記出力座標系における視認場所により近いＺ場所を伴う仮想コンテンツを識別することと、
    前記ワーピングされた仮想コンテンツのＺ場所が前記出力座標系における前記既存の仮想コンテンツの既存のＺ場所より前記視認場所に近い場合、前記ワーピングされた仮想コンテンツを前記Ｘ、Ｙ場所に対応する前記メモリ場所に記憶することと
    を含む、コンピュータプログラム製品。
  21. 前記コンピュータプログラミング製品は、ＡＰＩである、請求項２０に記載のコンピュータプログラム製品。
  22. 仮想コンテンツをワーピングするためのシステムであって、前記システムは、
    ワーピングされた仮想コンテンツを生成するためのワーピングユニットであって、前記ワーピングユニットは、
    姿勢推定器と、
    変換ユニットと
    を備えている、ワーピングユニットと、
    混成ユニットを備えている合成ユニットと、
    ワーピングされた仮想コンテンツを一時的に記憶するためのデータベースと
    を備え、
    前記データベースに一時的に記憶された既存の仮想コンテンツが前記ワーピングされた仮想コンテンツと競合するとき、前記合成ユニットの前記混成ユニットは、前記既存の仮想コンテンツと前記ワーピングされた仮想コンテンツとのそれぞれのＺ場所を比較する、システム。
JP2019550231A 2017-03-17 2018-03-16 仮想コンテンツをワーピングすることを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法 Active JP7055815B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762472985P 2017-03-17 2017-03-17
US62/472,985 2017-03-17
PCT/US2018/022993 WO2018170470A1 (en) 2017-03-17 2018-03-16 Mixed reality system with virtual content warping and method of generating virtual content using same

Publications (3)

Publication Number Publication Date
JP2020515954A true JP2020515954A (ja) 2020-05-28
JP2020515954A5 JP2020515954A5 (ja) 2021-04-30
JP7055815B2 JP7055815B2 (ja) 2022-04-18

Family

ID=63520216

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019550231A Active JP7055815B2 (ja) 2017-03-17 2018-03-16 仮想コンテンツをワーピングすることを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法

Country Status (9)

Country Link
US (3) US10769752B2 (ja)
EP (1) EP3596703A1 (ja)
JP (1) JP7055815B2 (ja)
KR (1) KR102366140B1 (ja)
CN (1) CN110431599B (ja)
AU (1) AU2018236457B2 (ja)
CA (1) CA3054619C (ja)
IL (1) IL268916B (ja)
WO (1) WO2018170470A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3265866B1 (en) 2015-03-05 2022-12-28 Magic Leap, Inc. Systems and methods for augmented reality
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
CA3007367A1 (en) 2015-12-04 2017-06-08 Magic Leap, Inc. Relocalization systems and methods
IL294134B2 (en) 2016-08-02 2023-10-01 Magic Leap Inc Virtual and augmented reality systems at a fixed distance and methods
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
CA3054617A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
KR20230149347A (ko) 2017-03-17 2023-10-26 매직 립, 인코포레이티드 컬러 가상 콘텐츠 워핑을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
EP3596703A1 (en) 2017-03-17 2020-01-22 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
WO2020023383A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
EP3827584A4 (en) 2018-07-23 2021-09-08 Magic Leap, Inc. INTRA-FIELD SUB-CODE SYNCHRONIZATION IN SEQUENTIAL FIELD DISPLAYS
US11748933B2 (en) 2020-08-03 2023-09-05 Samsung Electronics Co., Ltd. Method for performing shader occupancy for small primitives
US11798218B2 (en) 2020-08-03 2023-10-24 Samsung Electronics Co., Ltd. Methods and apparatus for pixel packing
WO2022072242A1 (en) * 2020-10-01 2022-04-07 Qualcomm Incorporated Coding video data using pose information of a user
EP4020058A1 (en) * 2020-12-23 2022-06-29 TriLite Technologies GmbH Augmented reality display

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128009A (ja) * 2005-11-07 2007-05-24 Research Organization Of Information & Systems 焦点ぼけ構造を用いたイメージング装置及びイメージング方法
WO2016038240A1 (en) * 2014-09-09 2016-03-17 Nokia Technologies Oy Stereo image recording and playback

Family Cites Families (238)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4462165A (en) 1983-01-31 1984-07-31 The Boeing Company Three axis orientation sensor for an aircraft or the like
US6701296B1 (en) 1988-10-14 2004-03-02 James F. Kramer Strain-sensing goniometers, systems, and recognition algorithms
US5047952A (en) 1988-10-14 1991-09-10 The Board Of Trustee Of The Leland Stanford Junior University Communication system for deaf, deaf-blind, or non-vocal individuals using instrumented glove
ES2115776T3 (es) 1992-08-14 1998-07-01 British Telecomm Sistema de localizacion de posicion.
CA2358682A1 (en) 1992-08-14 1994-03-03 British Telecommunications Public Limited Company Position location system
US5583974A (en) * 1993-05-10 1996-12-10 Apple Computer, Inc. Computer graphics system having high performance multiple layer Z-buffer
TW275590B (en) 1994-12-09 1996-05-11 Sega Enterprises Kk Head mounted display and system for use therefor
US5592401A (en) 1995-02-28 1997-01-07 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5930741A (en) 1995-02-28 1999-07-27 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5684498A (en) 1995-06-26 1997-11-04 Cae Electronics Ltd. Field sequential color head mounted display with suppressed color break-up
WO1997020244A1 (en) 1995-11-27 1997-06-05 Cae Electronics Ltd. Method and apparatus for displaying a virtual environment on a video display
US5784115A (en) 1996-12-31 1998-07-21 Xerox Corporation System and method for motion compensated de-interlacing of video frames
US6163155A (en) 1999-01-28 2000-12-19 Dresser Industries, Inc. Electromagnetic wave resistivity tool having a tilted antenna for determining the horizontal and vertical resistivities and relative dip angle in anisotropic earth formations
US6407736B1 (en) * 1999-06-18 2002-06-18 Interval Research Corporation Deferred scanline conversion architecture
GB9917591D0 (en) 1999-07-28 1999-09-29 Marconi Electronic Syst Ltd Head tracker system
WO2001056007A1 (en) 2000-01-28 2001-08-02 Intersense, Inc. Self-referenced tracking
US7878905B2 (en) 2000-02-22 2011-02-01 Creative Kingdoms, Llc Multi-layered interactive play experience
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
AU2001250802A1 (en) 2000-03-07 2001-09-17 Sarnoff Corporation Camera pose estimation
US6891533B1 (en) 2000-04-11 2005-05-10 Hewlett-Packard Development Company, L.P. Compositing separately-generated three-dimensional images
US6738044B2 (en) 2000-08-07 2004-05-18 The Regents Of The University Of California Wireless, relative-motion computer input device
US20020180727A1 (en) 2000-11-22 2002-12-05 Guckenberger Ronald James Shadow buffer control module method and software construct for adjusting per pixel raster images attributes to screen space and projector features for digital warp, intensity transforms, color matching, soft-edge blending, and filtering for multiple projectors and laser projectors
US6691074B1 (en) 2001-02-08 2004-02-10 Netmore Ltd. System for three dimensional positioning and tracking
US6861982B2 (en) 2001-08-16 2005-03-01 Itt Manufacturing Enterprises, Inc. System for determining position of an emitter
US7113618B2 (en) 2001-09-18 2006-09-26 Intel Corporation Portable virtual reality
JP2003337963A (ja) 2002-05-17 2003-11-28 Seiko Epson Corp 画像処理装置および画像処理方法、ならびに、画像処理プログラムおよびその記録媒体
US9153074B2 (en) 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
JP3984907B2 (ja) 2002-11-29 2007-10-03 キヤノン株式会社 画像観察システム
US20070155589A1 (en) 2002-12-04 2007-07-05 Philip Feldman Method and Apparatus for Operatively Controlling a Virtual Reality Scenario with an Isometric Exercise System
JP2004213350A (ja) 2002-12-27 2004-07-29 Seiko Epson Corp 力覚提示装置及び画像補正方法
US20050107870A1 (en) 2003-04-08 2005-05-19 Xingwu Wang Medical device with multiple coating layers
US7643025B2 (en) 2003-09-30 2010-01-05 Eric Belk Lange Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
US7443154B1 (en) 2003-10-04 2008-10-28 Seektech, Inc. Multi-sensor mapping omnidirectional sonde and line locator
CA2450837A1 (en) 2003-11-25 2005-05-25 University Of New Brunswick Induction magnetometer
US20160098095A1 (en) 2004-01-30 2016-04-07 Electronic Scripting Products, Inc. Deriving Input from Six Degrees of Freedom Interfaces
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
JP4508820B2 (ja) 2004-10-19 2010-07-21 株式会社ワコム ３次元情報検出システム及び３次元情報入力装置
EP1814101A1 (en) 2004-11-19 2007-08-01 Daem Interactive, Sl Personal device with image-acquisition functions for the application of augmented reality resources and corresponding method
US7598942B2 (en) 2005-02-08 2009-10-06 Oblong Industries, Inc. System and method for gesture based control system
WO2006116536A1 (en) 2005-04-26 2006-11-02 Imax Corporation Electronic projection systems and methods
US8308563B2 (en) 2005-08-30 2012-11-13 Nintendo Co., Ltd. Game system and storage medium having game program stored thereon
US8157651B2 (en) 2005-09-12 2012-04-17 Nintendo Co., Ltd. Information processing program
KR100722229B1 (ko) 2005-12-02 2007-05-29 한국전자통신연구원 사용자 중심형 인터페이스를 위한 가상현실 상호작용 인체모델 즉석 생성/제어 장치 및 방법
US9823747B2 (en) 2006-02-08 2017-11-21 Oblong Industries, Inc. Spatial, multi-modal control device for use with spatial operating system
US8531396B2 (en) 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8537111B2 (en) 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8370383B2 (en) 2006-02-08 2013-02-05 Oblong Industries, Inc. Multi-process interactive systems and methods
US9910497B2 (en) 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
JP4151982B2 (ja) 2006-03-10 2008-09-17 任天堂株式会社 動き判別装置および動き判別プログラム
JP4684147B2 (ja) 2006-03-28 2011-05-18 任天堂株式会社 傾き算出装置、傾き算出プログラム、ゲーム装置およびゲームプログラム
JP4196302B2 (ja) 2006-06-19 2008-12-17 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4804256B2 (ja) * 2006-07-27 2011-11-02 キヤノン株式会社 情報処理方法
US8194088B1 (en) 2006-08-03 2012-06-05 Apple Inc. Selective composite rendering
US7921120B2 (en) 2006-11-30 2011-04-05 D&S Consultants Method and system for image recognition using a similarity inverse matrix
CN101093586A (zh) 2007-07-12 2007-12-26 上海交通大学 面向复杂场景实时交互操作的并行碰撞检测方法
US8165352B1 (en) 2007-08-06 2012-04-24 University Of South Florida Reconstruction of biometric image templates using match scores
US10095815B2 (en) 2008-11-19 2018-10-09 Elbit Systems Ltd. System and a method for mapping a magnetic field
IL195389A (en) 2008-11-19 2013-12-31 Elbit Systems Ltd Magnetic Field Mapping System and Method
US20090115406A1 (en) 2007-11-01 2009-05-07 General Electric Company System and method for minimizing mutual inductance coupling between coils in an electromagnetic tracking system
US9013505B1 (en) 2007-11-27 2015-04-21 Sprint Communications Company L.P. Mobile system representing virtual objects on live camera image
KR20090055803A (ko) 2007-11-29 2009-06-03 광주과학기술원 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
US7795596B2 (en) 2008-01-03 2010-09-14 Alcatel-Lucent Usa Inc. Cloaking device detection system
WO2009091563A1 (en) 2008-01-18 2009-07-23 Thomson Licensing Depth-image-based rendering
US20090184825A1 (en) 2008-01-23 2009-07-23 General Electric Company RFID Transponder Used for Instrument Identification in an Electromagnetic Tracking System
US9947130B2 (en) * 2008-01-23 2018-04-17 Intel Corporation Method, apparatus, and computer program product for improved graphics performance
US8926511B2 (en) 2008-02-29 2015-01-06 Biosense Webster, Inc. Location system with virtual touch screen
US9684380B2 (en) 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US8723795B2 (en) 2008-04-24 2014-05-13 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US9952673B2 (en) 2009-04-02 2018-04-24 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
US9740293B2 (en) 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US9495013B2 (en) 2008-04-24 2016-11-15 Oblong Industries, Inc. Multi-modal gestural interface
US9740922B2 (en) 2008-04-24 2017-08-22 Oblong Industries, Inc. Adaptive tracking system for spatial input devices
US8446426B2 (en) 2008-04-28 2013-05-21 Apple Inc. Technique for visually compositing a group of graphical objects
KR20090120159A (ko) 2008-05-19 2009-11-24 삼성전자주식회사 영상합성장치 및 영상합성방법
US8929877B2 (en) 2008-09-12 2015-01-06 Digimarc Corporation Methods and systems for content processing
JP5415054B2 (ja) 2008-10-28 2014-02-12 セイコーエプソン株式会社 駆動方法および電気光学装置
EP2354896B1 (en) 2008-11-14 2016-12-21 Sony Interactive Entertainment Inc. Operating device and information processing apparatus
US8188745B2 (en) 2008-12-05 2012-05-29 Metrotech Corporation Inc. Precise location and orientation of a concealed dipole transmitter
US9465129B1 (en) 2009-03-06 2016-10-11 See Scan, Inc. Image-based mapping locating system
US8860723B2 (en) 2009-03-09 2014-10-14 Donya Labs Ab Bounded simplification of geometrical computer data
JP5177078B2 (ja) 2009-05-26 2013-04-03 富士通モバイルコミュニケーションズ株式会社 情報処理装置
US9933852B2 (en) 2009-10-14 2018-04-03 Oblong Industries, Inc. Multi-process interactive systems and methods
US8775424B2 (en) 2010-01-26 2014-07-08 Xerox Corporation System for creative image navigation and exploration
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US8581905B2 (en) * 2010-04-08 2013-11-12 Disney Enterprises, Inc. Interactive three dimensional displays on handheld devices
TWI399688B (zh) 2010-06-08 2013-06-21 Waltop Int Corp 整合電磁式及電容感應輸入裝置
JP2012043308A (ja) 2010-08-20 2012-03-01 Canon Inc 位置姿勢決定方法、位置姿勢決定装置、物体モデル生成方法、物体モデル生成装置、およびプログラム
US9355305B2 (en) 2010-10-08 2016-05-31 Panasonic Corporation Posture estimation device and posture estimation method
US20120086630A1 (en) 2010-10-12 2012-04-12 Sony Computer Entertainment Inc. Using a portable gaming device to record or modify a game or application in real-time running on a home gaming system
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
FR2966251B1 (fr) 2010-10-19 2014-04-25 Astrium Sas Systeme d'orientation et de positionnement d'un recepteur electromagnetique
US8660369B2 (en) 2010-10-25 2014-02-25 Disney Enterprises, Inc. Systems and methods using mobile devices for augmented reality
US8745061B2 (en) 2010-11-09 2014-06-03 Tibco Software Inc. Suffix array candidate selection and index data structure
EP2668617A1 (en) 2011-01-27 2013-12-04 Metaio GmbH Method for determining correspondences between a first and a second image, and method for determining the pose of a camera
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
JP5724544B2 (ja) * 2011-03-31 2015-05-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9206007B2 (en) 2011-05-31 2015-12-08 Twist-Ease Inc. Bag dispenser
US20120306850A1 (en) 2011-06-02 2012-12-06 Microsoft Corporation Distributed asynchronous localization and mapping for augmented reality
US20120327116A1 (en) 2011-06-23 2012-12-27 Microsoft Corporation Total field of view classification for head-mounted display
US8933913B2 (en) 2011-06-28 2015-01-13 Microsoft Corporation Electromagnetic 3D stylus
US20150100380A1 (en) 2011-07-20 2015-04-09 Raymond P. Jones, JR. Systems and methods for providing financial controls for aggregated weather-based work
US20150070347A1 (en) 2011-08-18 2015-03-12 Layar B.V. Computer-vision based augmented reality system
US20150040074A1 (en) 2011-08-18 2015-02-05 Layar B.V. Methods and systems for enabling creation of augmented reality content
US8749396B2 (en) 2011-08-25 2014-06-10 Satorius Stedim Biotech Gmbh Assembling method, monitoring method, communication method, augmented reality system and computer program product
WO2013029674A1 (en) 2011-08-31 2013-03-07 Metaio Gmbh Method of matching image features with reference features
EP2756328A2 (en) 2011-09-13 2014-07-23 Sadar 3D, Inc. Synthetic aperture radar apparatus and methods
US8821286B2 (en) 2011-09-29 2014-09-02 Wms Gaming, Inc. Wagering game system having motion sensing controllers
US9286711B2 (en) 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
KR101917630B1 (ko) 2011-10-28 2018-11-13 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
KR102116697B1 (ko) 2011-11-23 2020-05-29 매직 립, 인코포레이티드 3차원 가상 및 증강 현실 디스플레이 시스템
US9330468B2 (en) 2012-02-29 2016-05-03 RetailNext, Inc. Method and system for analyzing interactions
US9075824B2 (en) 2012-04-27 2015-07-07 Xerox Corporation Retrieval system and method leveraging category-level labels
US9098229B2 (en) 2012-05-04 2015-08-04 Aaron Hallquist Single image pose estimation of image capture devices
US9116666B2 (en) 2012-06-01 2015-08-25 Microsoft Technology Licensing, Llc Gesture based region identification for holograms
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9582072B2 (en) 2013-09-17 2017-02-28 Medibotics Llc Motion recognition clothing [TM] with flexible electromagnetic, light, or sonic energy pathways
US9384737B2 (en) 2012-06-29 2016-07-05 Microsoft Technology Licensing, Llc Method and device for adjusting sound levels of sources based on sound source priority
JP2014049934A (ja) 2012-08-31 2014-03-17 Sony Corp ヘッドマウントディスプレイ
EP2704055A1 (en) 2012-08-31 2014-03-05 Layar B.V. Determining space to display content in augmented reality
US9134954B2 (en) * 2012-09-10 2015-09-15 Qualcomm Incorporated GPU memory buffer pre-fetch and pre-back signaling to avoid page-fault
EP2711670B1 (en) * 2012-09-21 2019-01-30 NavVis GmbH Visual localisation
GB201217372D0 (en) 2012-09-28 2012-11-14 Ucl Business Plc A system and method for annotating images by propagating information
US9177404B2 (en) 2012-10-31 2015-11-03 Qualcomm Incorporated Systems and methods of merging multiple maps for computer vision based tracking
US9188694B2 (en) 2012-11-16 2015-11-17 Halliburton Energy Services, Inc. Optical interferometric sensors for measuring electromagnetic fields
US9160727B1 (en) 2012-11-30 2015-10-13 Microstrategy Incorporated Providing credential information
US9026847B2 (en) * 2012-12-21 2015-05-05 Advanced Micro Devices, Inc. Hardware based redundant multi-threading inside a GPU for improved reliability
US20140176591A1 (en) 2012-12-26 2014-06-26 Georg Klein Low-latency fusing of color image data
WO2014105385A1 (en) * 2012-12-27 2014-07-03 The Regents Of The University Of California Anamorphic stretch image compression
US9788714B2 (en) 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
KR102270699B1 (ko) 2013-03-11 2021-06-28 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US9898866B2 (en) 2013-03-13 2018-02-20 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
NZ735751A (en) 2013-03-15 2019-10-25 Magic Leap Inc Display system and method
US9436887B2 (en) 2013-03-15 2016-09-06 OrCam Technologies, Ltd. Apparatus and method for automatic action selection based on image context
US9269003B2 (en) * 2013-04-30 2016-02-23 Qualcomm Incorporated Diminished and mediated reality effects from reconstruction
US20140323148A1 (en) 2013-04-30 2014-10-30 Qualcomm Incorporated Wide area localization from slam maps
US9367960B2 (en) 2013-05-22 2016-06-14 Microsoft Technology Licensing, Llc Body-locked placement of augmented reality objects
US10254855B2 (en) 2013-06-04 2019-04-09 Wen-Chieh Geoffrey Lee High resolution and high sensitivity three-dimensional (3D) cursor maneuvering device
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9129430B2 (en) 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
US9443355B2 (en) 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences
US9712473B2 (en) 2013-07-11 2017-07-18 Facebook, Inc. Methods, systems, and user interfaces for community-based location ratings
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US10295338B2 (en) 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
US9514571B2 (en) 2013-07-25 2016-12-06 Microsoft Technology Licensing, Llc Late stage reprojection
JP6192010B2 (ja) 2013-09-05 2017-09-06 国立大学法人 東京大学 重み設定装置および方法
US9729864B2 (en) 2013-09-30 2017-08-08 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
JP6353214B2 (ja) 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US11402629B2 (en) 2013-11-27 2022-08-02 Magic Leap, Inc. Separated pupil optical systems for virtual and augmented reality and methods for displaying images using same
CA2931776A1 (en) 2013-11-27 2015-06-04 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US9354778B2 (en) 2013-12-06 2016-05-31 Digimarc Corporation Smartphone-based methods and systems
SG11201604981UA (en) 2013-12-19 2016-07-28 Avigilon Fortress Corp System and method for identifying faces in unconstrained media
EP2887311B1 (en) 2013-12-20 2016-09-14 Thomson Licensing Method and apparatus for performing depth estimation
US9360935B2 (en) 2013-12-20 2016-06-07 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Integrated bi-sensing optical structure for head mounted display
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US20160147063A1 (en) 2014-11-26 2016-05-26 Osterhout Group, Inc. See-through computer display systems
US9804395B2 (en) 2014-01-29 2017-10-31 Ricoh Co., Ltd Range calibration of a binocular optical augmented reality system
CN106796679A (zh) 2014-03-04 2017-05-31 谷歌公司 基于社交线索的地图个性化
US20160203624A1 (en) 2014-03-05 2016-07-14 Google Inc. System and Method for Providing Combined Multi-Dimensional Map Views
WO2015134958A1 (en) 2014-03-07 2015-09-11 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN106164982B (zh) 2014-04-25 2019-05-03 谷歌技术控股有限责任公司 基于影像的电子设备定位
CN105005457B (zh) 2014-04-25 2019-04-09 腾讯科技（深圳）有限公司 地理位置展示方法及装置
US9652893B2 (en) 2014-04-29 2017-05-16 Microsoft Technology Licensing, Llc Stabilization plane determination based on gaze location
US9727341B2 (en) * 2014-05-09 2017-08-08 Samsung Electronics Co., Ltd. Control flow in a thread-based environment without branching
WO2015185110A1 (en) 2014-06-03 2015-12-10 Metaio Gmbh Method and system for presenting a digital information related to a real object
US20150358539A1 (en) 2014-06-06 2015-12-10 Jacob Catt Mobile Virtual Reality Camera, Method, And System
US20150379772A1 (en) 2014-06-30 2015-12-31 Samsung Display Co., Ltd. Tracking accelerator for virtual and augmented reality displays
US10283035B2 (en) 2014-07-01 2019-05-07 Sharp Kabushiki Kaisha Field-sequential image display device and image display method
US10056054B2 (en) 2014-07-03 2018-08-21 Federico Fraccaroli Method, system, and apparatus for optimising the augmentation of radio emissions
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US10162177B2 (en) 2014-07-11 2018-12-25 Sixense Entertainment, Inc. Method and apparatus for self-relative body tracking for virtual reality systems using magnetic tracking
US9363644B2 (en) 2014-07-16 2016-06-07 Yahoo! Inc. System and method for detection of indoor tracking units
US9719871B2 (en) 2014-08-09 2017-08-01 Google Inc. Detecting a state of a wearable device
EP3998596A1 (en) 2014-09-08 2022-05-18 Simx LLC Augmented reality simulator for professional and educational training
US10216750B2 (en) 2014-10-14 2019-02-26 Microsoft Technology Licensing, Llc Annotated geometry
US9478029B2 (en) 2014-10-23 2016-10-25 Qualcomm Incorporated Selection strategy for exchanging map information in collaborative multi-user SLAM systems
US10650574B2 (en) 2014-10-31 2020-05-12 Fyusion, Inc. Generating stereoscopic pairs of images from a single lens camera
WO2016073557A1 (en) 2014-11-04 2016-05-12 The University Of North Carolina At Chapel Hill Minimal-latency tracking and display for matching real and virtual worlds
US9818170B2 (en) 2014-12-10 2017-11-14 Qualcomm Incorporated Processing unaligned block transfer operations
US9836641B2 (en) 2014-12-17 2017-12-05 Google Inc. Generating numeric embeddings of images
US9696549B2 (en) 2014-12-22 2017-07-04 International Business Machines Corporation Selectively pairing an application presented in virtual space with a physical display
US9846968B2 (en) 2015-01-20 2017-12-19 Microsoft Technology Licensing, Llc Holographic bird's eye view camera
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
EP3265866B1 (en) 2015-03-05 2022-12-28 Magic Leap, Inc. Systems and methods for augmented reality
US9885773B2 (en) 2015-03-07 2018-02-06 Verity Studios Ag Distributed localization systems and methods and self-localizing apparatus
US9874932B2 (en) 2015-04-09 2018-01-23 Microsoft Technology Licensing, Llc Avoidance of color breakup in late-stage re-projection
US9814430B1 (en) 2015-04-17 2017-11-14 Bertec Corporation System and method for measuring eye movement and/or eye position and postural sway of a subject
KR102580771B1 (ko) 2015-05-04 2023-09-19 매직 립, 인코포레이티드 가상 및 증강 현실을 위한 분리된 동공 광학 시스템들 및 이를 사용하여 이미지들을 디스플레이하기 위한 방법들
CN104866829B (zh) 2015-05-25 2019-02-19 苏州大学 一种基于特征学习的跨年龄人脸验证方法
US10721280B1 (en) 2015-05-29 2020-07-21 Sprint Communications Company L.P. Extended mixed multimedia reality platform
US20160378863A1 (en) 2015-06-24 2016-12-29 Google Inc. Selecting representative video frames for videos
US10062010B2 (en) 2015-06-26 2018-08-28 Intel Corporation System for building a map and subsequent localization
US10192361B2 (en) 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
US10750161B2 (en) 2015-07-15 2020-08-18 Fyusion, Inc. Multi-view interactive digital media representation lock screen
US9875427B2 (en) 2015-07-28 2018-01-23 GM Global Technology Operations LLC Method for object localization and pose estimation for an object of interest
WO2017044965A1 (en) 2015-09-10 2017-03-16 Duke University Systems and methods for arbitrary viewpoint robotic manipulation and robotic surgical assistance
GB201518112D0 (en) 2015-10-13 2015-11-25 Bae Systems Plc Improvements in and relating to displays
US10338677B2 (en) 2015-10-28 2019-07-02 Microsoft Technology Licensing, Llc Adjusting image frames based on tracking motion of eyes
US10026212B2 (en) 2015-11-20 2018-07-17 Google Llc Electronic display stabilization using pixel velocities
US20170161853A1 (en) 2015-12-03 2017-06-08 James Carroll Gossweiler Mapping system that identifies site-specific real estate due diligence professionals and related service providers
CA3007367A1 (en) 2015-12-04 2017-06-08 Magic Leap, Inc. Relocalization systems and methods
US10241569B2 (en) 2015-12-08 2019-03-26 Facebook Technologies, Llc Focus adjustment method for a virtual reality headset
FR3046261B1 (fr) 2015-12-24 2018-08-31 Starbreeze Paris Element mobile hybride, procede et dispositif pour interfacer une pluralite d'elements mobiles hybrides avec un systeme informatique, et ensemble pour systeme de realite virtuelle ou augmentee
US10130429B1 (en) 2016-01-06 2018-11-20 Ethicon Llc Methods, systems, and devices for controlling movement of a robotic surgical system
EP3411779A4 (en) 2016-02-05 2019-02-20 Magic Leap, Inc. SYSTEMS AND METHODS FOR INCREASED REALITY
WO2017145155A1 (en) 2016-02-22 2017-08-31 Real View Imaging Ltd. A method and system for displaying holographic images within a real object
CN108139815B (zh) 2016-02-22 2020-11-10 谷歌有限责任公司 用于虚拟现实内容的显示的场景和对象的分立时间扭曲
US10334076B2 (en) 2016-02-22 2019-06-25 Google Llc Device pairing in augmented/virtual reality environment
US9639935B1 (en) 2016-05-25 2017-05-02 Gopro, Inc. Apparatus and methods for camera alignment model calibration
US10453272B2 (en) 2016-05-29 2019-10-22 Google Llc Time-warping adjustment based on depth information in a virtual/augmented reality system
US10366536B2 (en) 2016-06-28 2019-07-30 Microsoft Technology Licensing, Llc Infinite far-field depth perception for near-field objects in virtual environments
IL294134B2 (en) 2016-08-02 2023-10-01 Magic Leap Inc Virtual and augmented reality systems at a fixed distance and methods
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
US10158979B2 (en) 2016-08-16 2018-12-18 Elenytics Group, Ltd. Method and system for wireless location and movement mapping, tracking and analytics
IL287380B2 (en) 2016-08-22 2024-03-01 Magic Leap Inc Virtual, augmented and mixed reality systems and methods
US10318115B2 (en) 2016-10-14 2019-06-11 OneMarket Network LLC System and method for presenting optimized map labels
CN108241142B (zh) 2016-12-26 2021-05-11 宏达国际电子股份有限公司 追踪系统及追踪方法
US10330936B2 (en) 2017-01-19 2019-06-25 Facebook Technologies, Llc Focal surface display
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
KR20230149347A (ko) 2017-03-17 2023-10-26 매직 립, 인코포레이티드 컬러 가상 콘텐츠 워핑을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
EP3596703A1 (en) 2017-03-17 2020-01-22 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
CA3054617A1 (en) 2017-03-17 2018-09-20 Magic Leap, Inc. Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
EP3619704A4 (en) 2017-05-01 2020-11-11 Pure Depth Inc. SACCADED SEQUENTIAL FIELD FRAGMENTATION REDUCTION BASED ON HEAD TRACKING
US10620710B2 (en) 2017-06-15 2020-04-14 Microsoft Technology Licensing, Llc Displacement oriented interaction in computer-mediated reality
GB201709752D0 (en) 2017-06-19 2017-08-02 Advanced Risc Mach Ltd Graphics processing systems
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
US10403032B2 (en) 2017-08-22 2019-09-03 Qualcomm Incorporated Rendering an image from computer graphics using two rendering computing devices
US10445922B2 (en) 2017-08-31 2019-10-15 Intel Corporation Last-level projection method and apparatus for virtual and augmented reality
US10529086B2 (en) 2017-11-22 2020-01-07 Futurewei Technologies, Inc. Three-dimensional (3D) reconstructions of dynamic scenes using a reconfigurable hybrid imaging system
US10481689B1 (en) 2018-01-10 2019-11-19 Electronic Arts Inc. Motion capture glove
US10861215B2 (en) 2018-04-30 2020-12-08 Qualcomm Incorporated Asynchronous time and space warp with determination of region of interest
WO2020023383A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
US11176901B1 (en) 2019-08-13 2021-11-16 Facebook Technologies, Llc. Pan-warping and modifying sub-frames with an up-sampled frame rate
US10843067B1 (en) 2019-10-04 2020-11-24 Varjo Technologies Oy Input device, system, and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128009A (ja) * 2005-11-07 2007-05-24 Research Organization Of Information & Systems 焦点ぼけ構造を用いたイメージング装置及びイメージング方法
WO2016038240A1 (en) * 2014-09-09 2016-03-17 Nokia Technologies Oy Stereo image recording and playback

Also Published As

Publication number Publication date
IL268916A (en) 2019-10-31
CA3054619A1 (en) 2018-09-20
US11410269B2 (en) 2022-08-09
KR20190129096A (ko) 2019-11-19
CN110431599A (zh) 2019-11-08
US20210133921A1 (en) 2021-05-06
US20180268518A1 (en) 2018-09-20
WO2018170470A1 (en) 2018-09-20
JP7055815B2 (ja) 2022-04-18
CA3054619C (en) 2024-01-30
US10769752B2 (en) 2020-09-08
US20200242729A1 (en) 2020-07-30
US10861130B2 (en) 2020-12-08
KR102366140B1 (ko) 2022-02-21
AU2018236457A1 (en) 2019-09-12
IL268916B (en) 2022-01-01
EP3596703A4 (en) 2020-01-22
CN110431599B (zh) 2022-04-12
AU2018236457B2 (en) 2021-04-29
EP3596703A1 (en) 2020-01-22

Similar Documents

Publication Publication Date Title
US11410269B2 (en) Mixed reality system with virtual content warping and method of generating virtual content using same
JP7407869B2 (ja) カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法
JP7304934B2 (ja) 仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
JP7095189B2 (ja) 多ソース仮想コンテンツ合成を伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210315

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210315

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220406

R150 Certificate of patent or registration of utility model

Ref document number: 7055815

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150