JP2022507502A - 拡張現実(ar)のインプリント方法とシステム - Google Patents
拡張現実(ar)のインプリント方法とシステム Download PDFInfo
- Publication number
- JP2022507502A JP2022507502A JP2021526486A JP2021526486A JP2022507502A JP 2022507502 A JP2022507502 A JP 2022507502A JP 2021526486 A JP2021526486 A JP 2021526486A JP 2021526486 A JP2021526486 A JP 2021526486A JP 2022507502 A JP2022507502 A JP 2022507502A
- Authority
- JP
- Japan
- Prior art keywords
- mobile device
- virtual
- content
- camera
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title claims description 106
- 230000008569 process Effects 0.000 claims description 52
- 230000000007 visual effect Effects 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 abstract description 10
- 230000005540 biological transmission Effects 0.000 description 4
- 230000001953 sensory effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/004—Annotating, labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/024—Multi-user, collaborative environment
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/06—Use of more than one graphics processor to process data before displaying to one or more screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
Abstract
拡張現実(AR)コンテンツは、仮想モデル上のインプリントとして作成され、記憶されてもよい。仮想モデルは、現実環境を基にモデル化、または現実環境を模倣する。直感的に使いやすいモバイル機器インターフェースは、モバイル機器の周辺のオブジェクトまたは表面とコンテンツをリンクするために使用され得る。後続のユーザは、1つまたは複数のアクセスパラメータに応じて、同一のコンテンツにアクセスできる。【選択図】図2
Description
本発明の実施形態は、概して、拡張現実(augmented reality:AR)に関し、特に、ARコンテンツを生成し、記憶して、抽出するための方法とシステムとに関する。
特許文献1には、仮想グラフィティを作成する方法が記載されている。仮想グラフィティとして使用される画像は、実際の位置に関連付けられる。同位置に近いユーザは、仮想グラフィティの視認が可能である。
特許文献1に記載の方法の問題点は、コンテンツを保持し、修正し、コンテンツにアクセスするためのフレームワークが不十分である点である。例えば、拡張現実コンテンツを動的に作成し、他者と共有するユーザインターフェースは、拡張現実(AR)コンテンツシステムには不十分である。
ある例示的な実施形態の態様によれば、仮想モデルを使用して拡張現実(AR)コンテンツを作成し、提供する方法は、カメラを備えるモバイル機器上に視覚コンテンツをロードする工程と、モバイル機器のインターフェースのアクティブ時にカメラの位置と向きとを記録する工程と、記録された位置と向きとに基づいて仮想モデル内の仮想オブジェクトを選択する工程と、選択された仮想オブジェクトの表面上に視覚コンテンツを掲示する工程と、を含む。本方法は、インターフェースのアクティブ時に、時間と、ユーザ識別と、適格な将来のビューアに対する制約と、存続期間(lifetime)と、任意の指定されたコンテンツトリガと、のうち1つまたは複数を記録する工程をさらに含んでもよい。掲示する工程は、ユーザ加入を検証する工程と、加入ステータスに基づいて、ユーザ単位で視覚コンテンツへのアクセスを許可する工程と、を含んでもよい。本方法は、記録する工程と同時にリアルタイムカメラフィードを表示する工程をさらに含んでもよい。本方法は、インターフェースボタンのアクティブ化を検出するためにインターフェースを監視する工程をさらに含んでもよい。インターフェースボタンは、カメラによる写真または映像の記録をトリガするように構成されてもよい。少なくともロードする工程と記録する工程とは、第1モバイル機器により実行されてもよく、少なくとも掲示する工程は、第1モバイル機器とは異なる第2モバイル機器により実行される。第1モバイル機器と第2モバイル機器とは、スマートフォン、ヘッドマウントディスプレイ、またはウェアラブル機器でもよい。選択する工程は、第1モバイル機器、第2モバイル機器、またはクラウドコンピューティング装置により実行されてもよい。選択する工程は、記録する工程の時点でのモバイル機器の視界内にある位置と少なくともいくつかの現実世界オブジェクトとを複製するようにモデル化された仮想モデルを使用してもよい。本方法は、仮想モデルを複数のモバイル機器に提供する工程と、複数のモバイル機器に対して掲示する工程を繰り返す工程と、を含んでもよい。本方法は、仮想モデル内に選択された仮想オブジェクトを有する視覚コンテンツを記憶する工程を含んでもよい。本方法は、単一の仮想オブジェクトを有する複数の視覚コンテンツを記憶する工程を含み、複数の視覚コンテンツは、異なるモバイルユーザから供給される。
ある例示的な実施形態の態様によれば、非一時的コンピュータ可読媒体は、コンピュータ可読命令を含む。コンピュータ可読命令は、1つまたは複数の処理装置により実行されると、カメラを含むモバイル機器上に視覚コンテンツをロードする工程と、モバイル機器のインターフェースのアクティブ時にカメラの位置と向きとを判定する工程と、記録された位置と向きとに基づいて仮想モデル内の仮想オブジェクトを選択する工程と、選択された仮想オブジェクトの表面上に視覚コンテンツを掲示する工程と、を1つまたは複数の処理装置に実行させる。
ある例示的な実施形態の態様によれば、拡張現実(AR)システムは、1つまたは複数の処理装置を含む。1つまたは複数の処理装置は、カメラを含むモバイル機器上に視覚コンテンツをロードする工程と、モバイル機器のインターフェースのアクティブ時にカメラの位置と向きとを記録する工程と、記録された位置と向きとに基づいて仮想モデル内の仮想オブジェクトを選択する工程と、選択された仮想オブジェクトの表面上に視覚コンテンツを掲示する工程と、を実行するように構成される。
図1は、拡張現実(AR)のための例示的なシステム100の図である。本明細書に開示されるいくつかの方法は、単一のモバイル機器101により、または単一のモバイル機器101を用いて実行可能である。しかしながら、同方法の多くは、複数のモバイル機器101による、または複数のモバイル機器101を用いての使用に特に適している。複数のモバイル機器の関与により、ユーザのコミュニティ間でのARコンテンツの共有が容易になる。1つまたは複数のネットワーク103は、モバイル機器(多くの場合、エンドユーザ機器であるが、必ずしもそうではない)から情報を収集し、モバイル機器に情報を送信し、情報を記憶し、および/または情報を処理するために採用されてもよい。1つまたは複数のクラウドベースのコンピュータ(例えば、サーバ)105は、特定のクラウドベースの機能を実行するために、システム100の構成要素でもよい。ネットワーク化されたシステム100は集中化されてもよく、または、分散化(例えば、ピア・ツー・ピアシステム)されてもよい。1つまたは複数の仮想モデルは、システム100内に記憶され、モバイル機器101のAR出力において提供され得るARコンテンツを記憶し、保持し、抽出するためのバックボーンとして使用される。仮想モデル用のデータは、モバイル機器101上に集約的に(例えば、クラウドサーバ105内に)、および/またはローカルに記憶されてもよい。仮想モデルは、2次元または3次元でもよく、現実世界の領域に対応し、厳密に一致してもよい。現実世界の仮想モデル内のオブジェクトは、現実世界内のサイズ、形状、稠度、構造、外観などにおいて同様のオブジェクトに対応している。例えば、都市の3D仮想モデルは、その絶対的または相対的なサイズと形状とが都市にある実際の建物に対応する仮想建物オブジェクトから構成されてもよい。
図2は、ARコンテンツを生成し、記憶するための例示的な方法200である。方法200は、現実世界環境との意味的関係にあるユーザ指定のARコンテンツを生成するために採用されてもよい。方法の一部は、「工程」または「ブロック」と互換的に呼ばれることがある。
工程201は、ユーザアクティブ化のためにモバイル機器のインターフェースを監視する工程を含む。この工程は、ユーザがARコンテンツの生成を希望しているときを認識し、ユーザがARコンテンツの生成を希望していないときからARコンテンツの生成を希望しているときを区別する際に役立つ。方法200は、カメラのアクティブ化など、エンドユーザの間で周知のアクティブ化技術を監視することによって、ユーザにとって直感的に使いやすい(user intuitive)方法でもよい。カメラはスマートフォンのようなモバイル機器の間で広く普及しており、このような機器のユーザは一般に、カメラをアクティブ化させて写真または映像を取り込む手段に精通している。これは、例えば、音量ボタン、ホームボタン、またはタッチスクリーンボタンでもよい。それはさらに、または代替的に、音声コマンドまたはジェスチャでもよい。工程201は、モバイル機器のカメラおよび/またはサポートソフトウェアを監視し、ユーザが写真または映像を取り込む機器のネイティブメソッドに従ってカメラをいつアクティブ化するかを認識し得る。
工程202は、ユーザアクティブ化が検出されるか否かを判定する判定ブロックである。アクティブ化が検出されない場合、監視は継続されてもよく、少なくともまだARコンテンツは作成されない。アクティブ化が検出された場合、方法200は次の工程に進む。
工程203は、アクティブ時のモバイル機器の状態を表すセンサデータを記録する工程を含む。モバイル機器の状態は、機器の姿勢を含んでもよい。姿勢は、位置204と向き205とからなる。モバイル機器の状態は、例えば、機器のジャイロスコープ、デジタルコンパス、GPSモジュール、温度計、磁力計、高度計から収集された種類の情報を含んでもよい。なお、3D仮想モデル107が現実世界に対応する場合、現実世界における機器の姿勢は、仮想モデル内の姿勢に直接マッピングされてもよい。状態データは、モバイル機器、またはより具体的には、カメラのようなモバイル機器の部品を表してもよい。ある実施形態では、モバイル機器の状態がユーザの状態を正確に反映すると仮定され得る。例えば、スマートフォンを携帯する人は一般に、スマートフォンと同じ位置を共有している。別の例として、人がスマートフォンのカメラを特定の方向に向けている場合、人は機器に注意を向けてる傾向にあり、その結果、カメラと同じ特定の方向を向いている。いくつかのモバイル機器のこの従来の使用挙動を前提として、「機器の」状態または状態成分の議論は一般に、「ユーザの」状態または状態成分の議論として扱われ得る。
様々な他のデータは、インターフェースのアクティブ時に、またはインターフェースのアクティブ化後に記録されてもよい。データは、次いで、記録された状態または特定のコンテンツに関連付けられるか、またはリンクされてもよい。例えば、モバイル機器は、時間と、ユーザ識別と、適格な将来のビューアに対する制限と、存続期間と、任意の指定されたコンテンツトリガと、のうち1つまたは複数を記録してもよい。「ユーザ識別」は、特定のユーザ(ユーザとは、機器または人)または異なる分類のユーザ(例えば、「極秘の」に対して「機密の」)を特徴付け、区別するために使用されてもよい。「存続期間」(lifetime)は、「存続期間」の開始時間(例えば、インターフェースのアクティブ化の時間)と所定の終了時間との間に経過する時間を追跡するタイマまたは同様の機構でもよい。「存続期間」の特徴は、存続期間の終了時に、存続期間に関連するコンテンツを、それを記憶している機器から自動的に削除、無効化、または除去するように構成されてもよい。「存続期間」は、「満期」または「持続期間」と表されてもよい。
工程206は、モバイル機器の状態データを取得し、それを使用して、モバイル機器またはユーザにとって「可視」オブジェクトを決定または識別する。可視オブジェクトは、例えば、視線(line of sight:LOS)テストを使用して識別されてもよい。視線は、記録された向き205に関係する方向における記録された位置204を基に判断されてもよい。視線に沿って位置する仮想オブジェクトは、工程206において可視であると識別されてもよい。または、オブジェクトの可視性は、適用された視錐台を用いて判定されてもよい。視錐台は、機器またはカメラの先行しているまたは前方に存在するものを判断するという点で視線に類似している。しかしながら、視錐台は、単なる視線よりも有利であり、3次元空間と、カメラおよび人間の目の両方が周囲を知覚する様子(例えば、近くの可視の物理的空間の量と比較して、遠くの可視の物理的空間の量のほうが多い)と、を考慮に入れているという点で有利である。視錐台は、工程203からの姿勢情報を用いて決定され得る。位置と、向きと、近視野限界および遠視野限界についての仮定と、を用いて、アクティブ時からのカメラの視錐台は決定される。次いで、視錐台は、仮想モデル107(図1参照)内の視錐台として適用される。適用された視錐台の境界内に入る仮想オブジェクトは、工程206の目的のために「可視」であることがわかる。
工程207は、1つまたは複数の可視オブジェクトの1つまたは複数の表面を選択する。これらの表面は、仮想モデル内に対応する対応仮想表面を有し得る。多くの場合、同工程は、単一の物体の単一の表面を選択する工程を含む。選択された表面は、他の仮想コンテンツと、仮想コンテンツと意味的関係にある現実世界の環境と、の2次元または3次元の構成と配置とに関連して、ARコンテンツがどこに記憶されるかを指定する。緩やかな例えとして、現実世界のグラフィティ・アーティストは、ペイントする構造だけでなく、ペイントを適用するその構造の1つまたは複数の表面を選択しなければならない。したがって、仮想コンテンツの配置においても、仮想オブジェクトと、そのオブジェクトの配置先となる1つまたは複数の表面と、を選択する必要がある。工程207は、選択された表面の特異性(例えば、正確な境界)を改良するサブ工程を含んでもよい。
工程208は、選択されたオブジェクトおよび表面上に、または選択されたオブジェクトおよび表面と共に記憶されるコンテンツを選択する。コンテンツ選択のために、様々な異なるサブプロセスが採用されてもよい。一例として、ユーザは、コンテンツを自分自身で選択してもよい。例えば、ユーザは、自分自身の機器の記憶部から写真またはグラフィックを選択してもよい。また、ユーザは、自分の指またはスタイラスで機器の画面上をなぞることにより、コンテンツを描いてもよい。例えば、ユーザは、「X」や円を描いてもよい。モバイル機器は、ユーザに選択を促し、ユーザの応答を受信するように構成されてもよい。モバイル機器は、ユーザが選択したコンテンツを(例えば、機器上の描画ユーティリティを使用して)作成することを可能にしてもよい。他の選択プロセスが使用されてもよい。
工程209は、選択された表面に関連付けて、選択されたコンテンツを配置する。同工程において、選択されたコンテンツは、仮想モデル107(図1参照)の一部となる。新しい拡張コンテンツは、仮想モデルに組み込まれるか、または仮想モデルに関連付けられ、仮想モデルと共に、または仮想モデルと並んで記憶される。フォーマットは、画像、テクスチャ、パターン、マップ、カラーオーバーレイ、または新しいコンテンツが関連付けられる仮想モデル内の1つまたは複数の表面に適用される他の同様の技術の形態をとり得る。これは、仮想モデル内で生成される、新しい表面またはオブジェクトなどの新しいエンティティの形態をとってもよい。なお、これらの表面または新しいエンティティは、平面または2次元である必要はないが、湾曲したオブジェクトや形状、不規則なオブジェクトや形状、複雑なオブジェクトや形状など、現実世界の表面と同程度に広範囲に変化し得る。
コンテンツの配置には、位置以上のことを考慮に入れることが理解されよう。コンテンツが関連付けられたオブジェクト、特にオブジェクトの表面は、多次元(例えば、3次元)空間枠に基づいて、他のオブジェクトおよび周囲との関係を有する。位置情報(例えば、GPS座標のセット)のみでは、仮想コンテンツと現実コンテンツとの間の真の意味的関係を供給することができない。位置は、むしろ、1つの関連する態様にすぎない。現実世界のオブジェクトをシミュレートするためにモデル化された複数の仮想オブジェクトを含む仮想モデルの使用は、コンテンツの配置のためのはるかに優れた空間システムを提供する。さらに、工程206における可視オブジェクトの決定は、ユーザが自分の特定位置(例えば、人が現在立っている場所)だけでなく、自分の周囲のどこにでもARコンテンツを配置することができる、直感的に使いやすい技術である。
図3は、ARコンテンツを抽出し、提供するための例示的な方法300を示す。ある実施形態では、特定のAR消費者の現実世界の周囲に対して意味的関係にあるARコンテンツのみが抽出され、その消費者に供給されることが望ましい。取得されたコンテンツは、方法200に従って作成されたコンテンツでもよく、または仮想モデル107(図1参照)が現実世界環境との意味的関係に記憶された他の何らかのコンテンツでもよい。
工程301は、モバイル機器のセンサデータを取得する。一般に、これには、少なくとも位置302と向き303とが含まれる。追加のセンサデータ、例えば、時間も収集され得る。
工程304は、ブロック301からのモバイル機器の感知された位置および向き(および/または他のセンサデータ)に基づいて、周囲の任意の仮想オブジェクトが「可視」であるか否かを判定する。物体の可視性を判定するアプローチは、方法200(図2参照)のブロック206のオブジェクトの可視性判別処理と同一でない場合、実質的に同等でもよい。例示的なプロセスは、例えば、視線(LoS)または視錐台を決定し、適用してもよい。
工程305は、方法200でコンテンツを抽出しているユーザが可視オブジェクト、またはそのようなオブジェクトに関連して記憶されたコンテンツにアクセスできるか否かをチェックする。仮想コンテンツへのアクセスを許可または拒否するために、様々なセキュリティまたは認証プロトコルのいずれかが使用されてもよい。例示的なサブプロセスとして、工程305は、ユーザ加入を検証する工程と、加入ステータスに基づいて、ユーザ単位でコンテンツへのアクセスを許可する工程と、を含むか、またはこれらの工程により構成される実施形態では、工程305は省略されてもよい。
コンテンツは、コンテンツへのアクセスを規制、制御、または制限する、コンテンツに関連するデータ(例えば、デジタル「タグ」)を有してもよい。このデータのいくつかは、指定されたコンテンツトリガと呼ばれることがある。工程305における照会は、非限定的な一例である。方法200に関連して前述したとおり、様々なデータは、記録された状態および/または特定のコンテンツに関連付けられてもよい。アクセス権は、ユーザ識別と、ユーザクラスと、存続期間または満了日と、アクセス要求時との近接性と、のうち1つ以上の要件を満たしている特定のコンテンツに付与できる。「ユーザ識別」自体は誰が作成されたコンテンツの視聴を許可されるかを定義し得るが、ユーザはユーザに許容可能な別個の認証基準(例えば、「極秘の」に対して「機密の」)で作成されたコンテンツを「タグ付け」可能でもよい。アクセス要求時との近接性を考慮すると、特定のコンテンツは、ビューアが特定のオブジェクトまたは位置に対して所定の近接性を有する場合にのみ視聴可能でもよい。例えば、将来のビューアは、あるコンテンツにアクセスするために、そのコンテンツが記憶されている表面からある程度の距離(例えば、10フィート)以内、またはユーザがインプリント時間に立っていた場所(場所204)からある程度の距離(例えば、10フィート)以内にいる必要があり得る。
工程306は、可視仮想オブジェクトからどの仮想コンテンツを提供すべきか(およびそれに応じて何を提供すべきでないか)を決定または識別する。この工程は、多数の決定を含み得る。前述のとおり、ARコンテンツ作成は、視覚コンテンツを特定の仮想オブジェクトの特定の側面または表面に関連付ける工程を含んでもよい。したがって、工程306の1つの考慮事項は、ARコンテンツが取得されるべき仮想オブジェクトの1つまたは複数の側面(1つまたは複数の表面)を識別することでもよい。工程306の別の考慮事項は、複数の別個のコンテンツが同じオブジェクトの同じ表面に対して記憶されている場合に、単一の側面からどのARコンテンツを取得すべきかを識別することでもよい。全てのコンテンツを一度に表示することにより、視覚コンテンツが重なったり、その他のコンフリクトが発生する可能性がある。工程306の別の考慮事項は、記憶されたコンテンツのメタデータをチェックし、メタデータに基づいてコンテンツを表示するか否かを決定することでもよい。例えば、コンテンツにはタイムスタンプが付されてもよく、特定の時間、期間、または特定の満了期間内からのコンテンツのみが取り出されてもよい。いつ、どのように、または誰にコンテンツが表示され得るかを決定する工程には、複数のレベルの基準が関与し得る。例えば、コンテンツは、特定の時間内で、コンテンツの位置から特定の視聴距離内で、特定のユーザにのみ表示され得る。
最後に、工程307では、抽出されたコンテンツがAR出力の拡張の形態でユーザに表示される。
図4は、ARコンテンツの作成と記憶と抽出との理解を支援するための例示的な図である。位置Aと位置Bとは、ユーザとユーザのモバイル機器との2つの生じ得る現実世界位置である。三角形と正方形と長方形とは、それぞれ、2つの関連するものを表す。各形状は、現実世界の建物(建物X、建物Y、または建物Z)と、形状とサイズと位置(およびおそらく他の一致基準)とにおいて対応する現実世界の建物に一致する仮想オブジェクト(オブジェクトX、オブジェクトY、またはオブジェクトZ)と、を示す。三角形と正方形と長方形との内部に記載される数字は、建物またはオブジェクトのそれぞれの表面または側面に対するラベルである。一点鎖線は、ユーザ位置(位置Aまたは位置B)から建物またはオブジェクト(建物X/オブジェクトX、建物Y/オブジェクトY、または建物Z/オブジェクトZ)までのいくつかの生じ得る視線(LoS)を示す。位置Bから生じ得る2つの視錐台は、それぞれ404および405として識別される。図示および説明を容易にするために、図は2次元である。実際には、3次元空間が使用されてもよい。
第1の例示的なシナリオによれば、ユーザは位置Aに位置し、近くの現実世界の建物の側に仮想看板を掲示することにより、ARコンテンツを作成することを望んでいる。周囲を見ると、位置Aのユーザは、視線AXに沿って建物Xの側面1を見ることができる。ユーザは、視線AY4に沿って建物Yの側面4を見ることができる。ユーザは、視線AY1に沿って建物Yの側面1も見ることができる。なお、建物Zは、建物Yが表す視覚的障害物が無ければ、視線AY1または視線AZ4に沿って可視である。ユーザの現在のビューによれば、仮想看板を掲示することができる3つの可能な建物の側面、すなわち、建物Xの側面1、建物Yの側面4、または建物Yの側面1がある。ユーザが建物Yの側面4を選択したと仮定すると、ARコンテンツを作成するために、ユーザは、モバイル機器を建物Y、特に建物Yの側面4に向け、アクションを開始するために使用される機器のインターフェースボタンを押す。モバイル機器は、インターフェースのアクティブ化を検出し、リアルタイムの位置と方向とを記録する。アクティブ化の時点は、位置Aおよび視線AY4である。機器は、この姿勢データを使用して、ARコンテンツ(看板)を掲示するためのユーザの選択が例えば、建物Xの側面1または建物Yの側面1ではなく、建物Yの側面4であることを判定する。ユーザが掲示するARコンテンツとして看板を既に選択している場合、モバイル機器は、オブジェクトY、特にオブジェクトYの側面4に仮想モデルを有する看板を実際に記憶する工程に進むことができる。ユーザが掲示するARコンテンツとして看板をまだ選択していない場合、モバイル機器はユーザに選択を求めるプロンプトを表示してもよい。モバイル機器は、さらなるプロンプトを提供してもよい。例えば、機器は、ユーザとのオブジェクトおよび側面の選択を検証し、ならびに/または、複数のオブジェクトおよび/または複数の側面が機器の位置と向きとに関係する場合に、オブジェクトと側面とを選択するオプションをユーザに提供してもよい。
第2の例示的なシナリオによれば、ユーザは位置Bに位置し、図4に図示される空間内で拡張現実体験を必要とし、または望んでいる。ユーザは、ARコンテンツの抽出および提供のための例示的な方法300を実行または容易にするモバイル機器を有する。カメラが建物Xと建物Yとを「見る」ようにユーザの機器を向けると、ユーザは、アクションを開始するために使用される機器のインターフェースボタンを押す。ユーザの機器はアクティブ化を検出し、機器の位置(位置B)と向きとを直ちに記録する。次いで、機器は、可視オブジェクトをチェックする。この例では、機器は視錐台に基づくアプローチを実行する。この機器は、位置および向きのデータと、近視野限界および遠視野限界に対するプリセット値と、を使用して視錐台404を画定する。視錐台404は、仮想モデルが現実世界に対応する(例えば、一致または複製する)ように構成されるため、現実世界の3次元空間の領域と、仮想モデル107(図1参照)の対応する仮想3次元空間と、の両方を画定する。この視錐台を仮想モデルに適用することにより、機器は、どの物体が視錐台内(部分的に視錐台内にある場合を含む)にあるかを識別する。図4に図示のとおり、視錐台404は、仮想モデル内のオブジェクトXとオブジェクトYとの部分を含む。より具体的にはオブジェクトXの側面2,3と、オブジェクトYの側面3,4と、のいくつかの部分は視錐台404内に含まれる。これらのオブジェクトとその側面とは、ARコンテンツの候補ソースである。次いで、機器は、どのオブジェクトとオブジェクトのどの表面とを使用するかを選択する。次いで、機器は、選択されたオブジェクトと側面とに関連するARコンテンツをさらに選択する。最終結果は、拡張現実出力における1つの拡張(または複数の拡張)として供給され得る特定のARコンテンツである。説明のために、この方法において、オブジェクトXの側面2、特に、それに関連する仮想看板が選択されたと仮定する。位置Bのユーザは、このプロセスの結果として、現実世界の建物Xの側面2に掲示された仮想看板を見ることができる。
当然のことながら、前段落のシナリオでは、ユーザの位置および/または向きがインターフェースアクティブ時に異なる場合、結果として異なるARコンテンツが抽出され、エンドユーザに提供される。例えば、ユーザが、インターフェースアクティブ時に建物Zの方向にある自分の機器に向いたが、同じ位置(位置B)に留まった場合、視錐台405が生じ得る。図4に図示のとおり、この結果は、建物Zの側面4または側3面のいずれかでの拡張をもたらし得る。
図4を用いて、位置Aのユーザが視線AY1に沿って向けられる機器を有している、3番目のシナリオ例について考察する。視線AY1は建物Yと交差し、視線を延長すると、建物Zとも交差する。視線AY1の延長線は、図4では視線AZ4と表記される。ある実施形態または使用事例では、障害物により遮られるオブジェクトを見るために、障害物を「見通す」オプションをユーザに提示してもよい。この例では、建物Yが障害物であり、建物Zが障害物により遮られるオブジェクトである。そして、オブジェクトYは障害物であり、オブジェクトZは障害物により遮られるオブジェクトである。例示的なプロトコルによれば、ユーザの機器はオブジェクトZに対する障害物にも関わらず、オブジェクトYとオブジェクトZとの両方を「可視」オブジェクトとして識別するように構成され得る。この場合、機器は、ユーザに対して、障害物ビューを選択するオプションのプロンプトを表示してもよい。ユーザがこの選択を行う場合、最終的なAR出力は、建物Yを効果的に「不可視」にするオブジェクトYに関する拡張を含むことができる。本質的に、拡張は建物Yのビューを置き換えるために使用されてもよく、これらの拡張は建物Yにより遮られる現実世界環境の外観を視覚的にとり得る。
本発明にかかる方法(例えば、図2の方法200、図3の方法300、他の方法)は、スマートフォン、ウェアラブルデバイス(例えば、フィットネストラッカ、スマートウォッチ)、AR機器専用ラップトップ(例えば、マイクロソフト社のHoloLens(登録商標)、Magic Leap(登録商標))、または何らかの他のモバイル機器などのモバイル機器により実行されてもよい。より具体的には、一部または全ての工程は、前述の機器の典型的な他のハードウェアによりサポートされ、前述の機器の1つまたは複数のプロセッサとカメラとにより、または、前述の機器の1つまたは複数のプロセッサとカメラを用いて実行され得る。
「仮想モデル」と「仮想世界」とは、互換的に使用され得る。現実世界が人間の通常の知覚に対して3次元(3D)であるので、対応する仮想モデルも3Dとして特徴付けられるが、必ずしも3次元である必要はない(すなわち、モデルは2次元または4次元でもよく、時間を含んでもよい。また、モデルは複数の空間次元と、時間次元と、色のような他の次元と、のうち1つまたは複数を有する多次元でもよい)。例示的な仮想モデルは、現実世界の位置に対応するように構成された仮想位置を含む。仮想モデルは、現実世界の景観を基にモデル化された仮想景観を含んでもよい。現実世界の地理、位置、景観、ランドマーク、構造など、自然のものでも人工のものでも、現実世界と同様の大きさ、比率、相対位置、配置などで仮想世界内に再現することができる。例えば、ニューヨーク市の例示的な3D仮想モデルは、実際に多くの点でニューヨーク市に似ており、一般的な地理とランドマークとが一致している。仮想世界内では、仮想オブジェクトは、仮想位置に作成されてもよい(例えば、インスタンス化されてもよい)。仮想位置は現実世界の位置に対応するので、所定の仮想位置に位置する仮想オブジェクトは、所定の仮想位置に対応する特定の現実世界位置に関連付けられる。
ARコンテンツを生成するために採用される仮想オブジェクトを含み、記憶する仮想世界は、1つまたは複数のデータベース(例えば、集約型データベースまたは分散型ネットワーク)にデータとして記憶され得る現実世界の3D仮想表現でもよい。このようなデータベースまたはネットワークは、例えば、仮想表現の幾何学的態様と、その仮想表現内においてインスタンス化されるオブジェクトの特徴と、を記憶してもよい。
一般に、拡張は、現実世界の環境要素との意味的関係でなくてもよい。例えば、多くのアメリカ人は、テレビでアメリカンフットボールを観るとき、拡張現実に慣れている。映像カメラにより捉えられるフットボールゲームは、現実世界のビューである。しかしながら、放送会社はしばしば、記録された現実世界のビューの画像を、フィールド上のスクリメージラインおよびファーストダウンのマーカを用いて拡張する。ラインとマーカとは、現実には存在せず、現実世界のビューに追加された仮想拡張である。任意の所定の試合では、スクリメージの線が40ヤードラインまたは30ヤードラインで描かれているかで異なる。スクリメージラインが描かれていることだけでなく、何の現実世界のオブジェクトが存在するか、それらがどこに存在するか、何の現実世界のイベントが起こっているかでも、十分ではない。現実世界の競技場と、競技者と、試合において現在行われているイベントに関連して、スクリメージラインがどこにどのように現れるかが重要である(例えば、スクリメージラインの拡張は試合の間において、現実世界との意味的関係を有さない)。スクリメージラインは、現実世界(現実世界の競技場と競技者とを含む)との意味的関係にある。現実世界の環境に対するスクリメージラインの配置が、何の現実世界の要素が存在し、何の現実世界のイベントが起こっているかに基づいているからである。別の例として、テレビで放送されるオリンピックのレースでは、移動する仮想ラインがイベントにおける世界記録と同じペースに並ぶランナーまたはスイマーの位置を表すために、トラックおよび水泳プールに重ねられる。リアルタイムではないが、現実世界と意味的関係にある拡張現実では、例えば、試合が既に行われた後に、表示されているフットボール試合の画像上にスクリメージラインが重ね合わせられる。
本明細書で使用される「見通し(perspective)」は、場所と、向きと、姿勢と、位置と、視野と、のうち1つまたは複数を指し得る。画像または映像が複数のカメラからの合成である場合、各カメラまたは代表的なカメラについての各情報が使用され得る。例示的な視野情報は、位置と向きとを含む。したがって、少なくとも、これは、画像または映像が撮影される場所と、画像または映像に含まれる現実世界のコンテンツを捉えるためにカメラが向いていた方向と、に関するカメラのビューを示す。
「位置」と「場所」とは、類似の用語であり、時には(必ずしも常にではないが)当技術分野で互換的に使用され得る。「場所」は、地理または地理を示すために使用される基準系(例えば、GPS)の文脈において、特に広く使われる。「位置」は、一般的な座標系、特に地理からかなり独立した座標系(例えば、直交座標系)の文脈において、一般的に使用される。「位置」と「場所」との両方は、点として表現され得る。しかしながら、「位置」とは異なり、「場所」は、領域、空間、またはエリアとして表現され得る。例えば、街角は場所として表現されてもよく、町全体が場所として表現されてもよい。
「位置(position)」または「場所(location)」のいずれかは、何かが例えば直交座標系(または他の何らかの座標系)内にある場所を指すために使用されてもよい。向きと比較して、場所は直線位置として特徴付けられてもよく、一方、向きは回転位置として特徴付けられてもよい。場所情報は、絶対的(absolute)(例えば、緯度と、経度と、高度と、経緯度原点とは、共に、場所を特定するため、追加情報を必要としないジオコーディングされた絶対位置を提供してもよい)、相対的(relative)(例えば、「緯度30.39、経度-97.71の2ブロック北」は、別々に知られる絶対位置に対して相対的な位置情報を提供する)、または連想的(associative)(例えば、「複写機のすぐ隣」は、複写機の場所、すなわち、指定された基準の場所が既に知られている場合、場所情報を提供する。この場合、複写機それ自体は、絶対的、相対的、または連想的であり得る)でもよい。緯度および経度を伴う絶対場所または絶対位置は、標準的経緯度原点、例えば、WGS84(World Geodetic System 1984)などを含むことが想定されてもよい。米国などにおいて、緯度および経度について議論する場合、グローバルポジショニングシステム(global positioning system:GPS)がWGS84を使用しており、緯度および経度の表現は本質的にこの特定の経緯度原点を伴うことが想定され得るため、経緯度原点はしばしば無視される。本開示では、絶対場所または絶対位置の情報は、任意の好適な経緯度原点のWGS84、またはそれらの代替物を使用し得る。
「向き」は、回転位置でもよい(一方、位置は直線位置でもよい)。向きは、姿勢と互換的に呼ばれることもある。単一の位置に制約される場合であっても、さらなる制約が適所にない限り、オブジェクトは、様々な向きを物理的にとり得る。向きは方向(例えば、単位ベクトル)によって表現されることができる。位置と向きとは、共に、3次元空間における6自由度(six degrees of freedom)に従ってオブジェクトを表現し得る。
「姿勢」は、集合体における位置または場所、および向きを指すために使用され得る用語である。
視野(field of view:FOV)は、所定の瞬間に、例えば、人またはカメラにより見られる観察可能な世界の範囲である。写真では画角(angle of view:AOV)という用語がより一般的であるが、視野(FOV)という用語と互換的に使用され得る。
ある実施形態では、1つまたは複数の処理装置(例えば、初期のカメラを含む機器またはシステム、またはARエンジンまたはAR対応機器の処理装置)は、どの仮想オブジェクトが拡張として提供される(例えば、表示されるか、または他の方法で出力される)べきかを判定するために、磁気センサからのデジタルコンパス入力、ジャイロスコープセンサからの回転データ、線形加速度センサからの加速度データ、GPSセンサからのGPSデータ(緯度、経度、高度、経緯度原点)、映像ストリームからの画像データ(それ自体が他のARシステムからの拡張を含み得る)のいくつかまたは全ての組合せを使用するように構成される。この情報の処理は、現実世界の視覚装置(例えば、カメラ)の位置と、向きと、視界(視錐台として表現可能)と、を特定し、その特定の精度を推定するために使用される。例えば、1つまたは複数の処理装置は、視覚装置(例えば、カメラ)の6次元位置を特定し得る。位置は、緯度と、経度と、高度と、経緯度原点と、向きと、によるセットであり、またはこれらのいくつかの組み合わせを含み得る。向きは、水平角度や垂直角度などの角度の組み合わせとして判定されてもよい。あるいは、向きは、例えば、ピッチ、ロール、ヨーなどの回転により特定されてもよい。
GPSデータは、デジタルコンパスセンサおよびジャイロスコープセンサデータと共に、所定の瞬間に、関連センサと同一の場所に配置されたカメラの3D位置と3D定位とを特定するために使用され得る。その場合、結果として得られる現実世界の視錐台は、3D仮想表現(仮想世界)に適用され得る。補正アルゴリズムは、測定の不正確さまたは不精確さについて対処することに使用され得る。例えば、想定される拡張が現実世界のコンテンツに現れるオブジェクト上に、またはそれに隣接して正確に配置されていない場合、画像内で検出された最も近いオブジェクトに拡張を「スナップ」する手法が実行され得る。
現実世界の視覚装置(例えば、カメラ)の視錐台と、画像内の任意の関連画像データにおける検出された配置と、に基づいて、拡張は、3D仮想表現(仮想世界)から供給されるように、およびその表現に関連付けられた特性により変更されるように、および検出された画像データにより潜在的に調節されるように、表示され得る。
「視錐台」は、3次元空間の可視領域を指すために使用されてもよい。現実世界の設定には、カメラが含まれてよく、仮想世界の設定には、視点(例えば、仮想カメラ)が含まれてもよい。デジタル空間(例えば、仮想現実世界)の関係において、視野(FOV)は、頻繁に視錐台に照らして議論される。図6は、本明細書では単に「視錐台」と称される視錐台1100の例を示す。表示領域が一般的に長方形であるため、視錐台はしばしば、四角錐台である。他の形状(例えば、円形)の表示領域の場合、視錐台は、異なる基部形状(例えば、円錐)を有し得る。視錐台1100の境界または縁は、垂直視野1101(角度、通常は度で表される)と、水平視野(角度、通常は度で表される)と、近視野限界(距離または位置)と、遠視野限界(距離または位置)と、に従って画定される。近視野限界は、視錐台のニアクリップ面1103で表される。同様に、遠視野限界は、視錐台のファークリップ面1104で表される。これらの境界の他に、視錐台は、位置と向きとを含んでもよい。つまり、例示的な視錐台は位置と、向きと、視野(水平、垂直、および/または対角線)と、近視野限界および遠視野限界と、を含んでもよい。デジタル空間では、視点1111とニアクリップ面1103との間の領域1120に入る仮想オブジェクトは、表示されない可能性がある。同様に、ファークリップ面1104を超えて領域1140に入る仮想オブジェクトは、表示されない可能性がある。視錐台1100内、すなわち、ニアクリップ面1103とファークリップ面1104との間の領域内、ならびに、水平視野1102および垂直視野1101内の仮想オブジェクトのみが、拡張による表現の候補となり得る。これは、対象物の可視性が一般的に水平視野1102と垂直視野1101とのみに基づいているカメラの現実世界のビューとは異なる。つまり、現実世界設定のカメラでは、水平視野1102および垂直視野1101内にある現実のオブジェクトが一般的に可視である。デジタル空間では、現実世界を見ているカメラからのビューを近似するために、ニアクリップ面1103はゼロ(すなわち、視点)に設定されてもよく、ファークリップ面1104は無限遠または実質的に無限遠に設定されてもよい。しかしながら、仮想カメラのニアクリップ面よりも近いオブジェクト(通常、実際のカメラでは焦点が合わない)と、ファークリップ面を超えるオブジェクト(実際のカメラでは物理的寸法がかなり大きくない限り、効果的に不可視となるほど小さく見える)と、の省略は、仮想システムでの効率ゲインとして実行される。拡張現実システムが結果として生じる視錐台の増大した体積をレンダリングするために必要とされる追加処理を行う場合、仮想カメラのニアクリップ面は任意に近くに配置されてもよく、ファークリップ面は任意に遠くに配置されてもよい。いずれの場合も、視錐台は一般に、実際のカメラの視界に対応し得る。なお、カメラから物体までの距離(視点から物体までの距離)が大きい場合に、別の物体による1つの物体の妨害、および物体の縮小は、物体が正確には視錐台1100内に存在する場合であっても、物体の可視性を低減または排除し得ることが理解されよう。
「拡張」は、仮想コンテンツのユニットでもよく、例えば、表示装置上にグラフィックとしてレンダリングされる仮想オブジェクトでもよい。拡張は、視覚的(最も一般的)、聴覚的、触覚的、力覚的、熱覚的、味覚的、嗅覚的、またはこれらの何らかの組み合わせでもよい。例えば、拡張は、音、映像、グラフィック、および/または触覚フィードバックを含むか、またはこれらから構成され得る。「拡張」という用語は、拡張現実の文脈で使用されることが多いが、仮想現実の文脈での使用と互換性がないわけではない。拡張は、1つまたは複数の(すなわち、少なくとも1つの)感覚モダリティ(sensory modality)を含み得る。感覚モダリティは、視覚、聴覚、触覚または力覚(例えば、振動)、嗅覚、味覚、あるいはそれらの任意の組み合わせ(例えば、視聴覚)でもよい。拡張は、例えば、現実のオブジェクトの3D表現(例えば、セルタワーの詳細な3D表現)、現実のオブジェクトを抽象化したもの(例えば、上部が球形の単純な円柱形として表されるセルタワー)、インジケータ、またはキュー(例えば、コールアウトボックス)の形態を取ってもよい。拡張で表されるいくつかの情報は、対応する現実世界の形状を有さなくてもよい。例えば、2つの無線ネットワークアンテナ間の無線ネットワークリンクは現実世界での視認可能な表現を有さず、そのため、その接続の全ての拡張表示は必ず、ある種の抽象化(例えば、幾何学的形状)である。その一方で、拡張で表されるいくつかの情報は、最小限に抽象化された少なくとも1つの単純な拡張、例えば、対応する現実世界の建物に非常に似せて配置され、成形され、着色された建物の3Dグラフィックを有してもよい。
いくつかの拡張は、現実世界の画像との関連においてレンダリングされた立体3Dモデルであるか、またはそれらを含む。いくつかの拡張は、時間の経過と共に、変更されるか、交換されるか、または完全に置換される。いくつかの拡張は、現実世界の画像に重ねられたアニメーションである。例えば、拡張は、何らかのイベントに基づいて再生されるスケーリングされた3Dモデルまたはアニメーションである。アニメーションは、そのようなイベントに基づいて誘起され得る(例えば、マクロ化され得る)。
仮想モデルに記憶された、仮想モデルと共に記憶された、または仮想モデルを参照して記憶された仮想オブジェクトは、感覚モダリティに関連する限り、本質的に特定の状態をとらなくてもよい。例えば、仮想オブジェクトは、特定の外観を有さなくてもよい。実際に、仮想オブジェクトは外観を全く有さず、本質的に肉眼では「不可視な」ものであり得る。対照的に、拡張は、定義により、1つまたは複数の感覚モダリティに従って知覚可能である。すなわち、拡張は、見られ、聞かれ、触れられ、嗅がれ、および/または味わわれ得る。拡張は、仮想オブジェクトの「面」とみなされ得る。この場合、仮想オブジェクト内に記憶され、または仮想オブジェクトにより記憶され、あるいは仮想オブジェクトと共に記憶されたデータは、その「面」を見ているユーザに拡張が何を描写し、または表現するかを決定するために使用される。
例示的なプロセスは一般に、特定の電子機器または電子機器のシステムのいずれかにおいて、ハードウェアと、ソフトウェアと、ファームウェアと、の何らかの組合せにより実行される。図5は、拡張現実を提供するための例示的なシステム900の模式図である。電子機器901は、ユーザの物理的な位置および姿勢(位置および向き)に関するデータを収集するためのセンサを含み得る。特に、データは、機器901自体の位置と姿勢とを反映し得る。機器901は、地理的空間の現実世界のビューを捉えるための1つまたは複数のカメラを備えてもよい。捉えられた/収集されたデータは、データ処理(例えば、視錐台の決定、仮想世界への現実世界の視錐台の適用、仮想オブジェクト候補の識別、拡張選択、拡張変更など)のために、クラウド903(例えば、1つまたは複数の地理的に離れたサーバの処理装置)に送られてもよい。集約型クラウドベースのシステムに加えて、またはその代わりに、本発明のプロセスの工程の実行に関与する処理装置は、少なくとも、記載された方法を実行するための演算能力を提供する特定のハードウェアに関して、一実施形態または1人のユーザから次のユーザまで変化するアドホックシステム(ad hoc system)などの、分散型システムの一部でもよい。データベース905(1つまたは多数のデータベースでもよい)は、ネットワーク関連データと、仮想世界の幾何学的データと、他の仮想世界のデータと、仮想オブジェクトのデータと、および本質的に、フィールドに配備され得るセンサおよびカメラから新たに収集されていない本明細書において説明される実質的に全ての他のデータと、の永久的または半永久的な記憶および抽出を提供する。当然のことながら、一般的にデータベースに記憶される本明細書において説明される様々なデータタイプ、特に仮想オブジェクトのデータは、新しいデータが利用可能になった場合、または既存のデータが古くなったまたは期限が切れた場合、時間経過と共に更新され得る。仮想オブジェクトと、それらの仮想オブジェクトに基づく拡張とは、それに応じて更新され得る。処理装置は、他のデータを生成するために、機器901からの画像フィードまたは映像フィードと、センサデータ、特に位置データと、を使用してもよい。拡張画像データは、表示装置上に拡張画像906を生成する機器901(または適宜、他の出力装置)に送り返されてもよい。
「出力装置」は、本明細書において使用される場合、ユーザが自身の感覚を使用して(例えば、自分の目および/または耳を使用して)出力を知覚することができるように、ユーザに対して少なくとも視覚出力、聴覚出力、視聴覚出力、または触覚出力を提供することができる装置でもよい。多くの実施形態において、出力装置は、少なくとも1つのディスプレイ、少なくとも1つのスピーカ、またはディスプレイとスピーカとのいくつかの組み合わせを備えるであろう。好適なディスプレイ(すなわち、表示装置)は、モバイル電子機器(例えば、電話、スマートフォン、GPS装置、ラップトップ、タブレット、スマートタッチなど)の画面である。別の好適な出力装置は、ヘッドマウントディスプレイ(head-mounted display:HMD)である。ある実施形態において、表示装置は、シースルー型HMDである。そのような場合、表示装置は、捉えられた現実世界の画像フィードを画面上に詳細に再生することなく、現実世界を見ることを受動的に可能にする。一般的に、シースルー型HMDにおいて、拡張のみが装置により能動的に示され、または出力される。視覚拡張は、常に、現実世界の環境の直接的ビューの上に重ねられるが、システムへの元の映像入力のいずれかの表示を必ずしも伴うわけではない。実際に、画像データを検出するために映像入力を使用しないシステムの場合、システムは、カメラを全く有さず、関連拡張を決定するために他のセンサ(例えば、GPS、ジャイロ、コンパスなど)に完全に依存し、透明なガラスまたはバイザー上に関連拡張を表示する、1つまたは複数のHMDを備えてもよい。出力装置と視覚装置とは、ユーザ入力を取得するために、入力機器(例えば、ボタン、タッチスクリーン、メニュー、キーボード、データポートなど)を備えてもよく、または伴ってもよい。
本発明のある実施形態は、システム、装置、方法、および/またはコンピュータプログラム製品でもよい。システム、装置、またはコンピュータプログラム製品は、処理装置に、本発明の態様、例えば、本明細書で説明されるプロセスまたはプロセスの一部、あるいはプロセスの組合せを実行させるための、コンピュータ可読プログラム命令を有するコンピュータ可読記憶媒体(または複数の媒体)を含んでもよい。
コンピュータ可読記憶媒体は、命令実行装置による使用のための命令を保持し、記憶することができる有形の装置でもよい。コンピュータ可読記憶媒体は、例えば、これらに限定されるわけではないが、電子記憶装置、磁気記憶装置、光学記憶装置、電磁気記憶装置、半導体記憶装置、またはこれらの好適な組み合わせでもよい。コンピュータ可読記憶媒体のより詳細な例の非包括的リストには、ポータブルコンピュータディスケット(portable computer diskette)、ハードディスク、ランダムアクセスメモリ(random access memory:RAM)、リードオンリメモリ(read-only memory:ROM)、消去可能なプログラマブルリードオンリメモリ(erasable programmable read-only memory)(EPROMまたはフラッシュメモリ)、スタティックランダムアクセスメモリ(static random access memory:SRAM)、ポータブルコンパクトディスクリードオンリメモリ(portable compact disc read-only memory:CD-ROM)、デジタル多用途ディスク(digital versatile disk:DVD)、メモリスティック、フロッピーディスク、パンチカードまたは、その上に記録された命令を有する溝における隆起した構造などの機械的にエンコードされた装置、および、これらの任意の適切な組み合わせが含まれる。コンピュータ可読記憶媒体は、本明細書において使用される場合、一過性の信号それ自体、例えば、ラジオ波または他の自由に伝搬する電磁波、導波路または他の伝送媒体を介して伝搬する電磁波(例えば、光ファイバケーブルを通る光パルス)、または電線を介して伝送される電気信号などとして解釈されるべきではない。
本明細書に記載されるプロセスまたはその工程は、コンピュータ可読記憶媒体から、またはネットワーク、例えば、インターネット、ローカルエリアネットワーク、広域ネットワークおよび/または無線ネットワークを介して外部コンピュータまたは外部記憶装置に、それぞれのコンピューティング装置/処理装置と対になっているか、またはそれらにダウンロードされる、コンピュータ可読プログラム命令で実施可能である。ネットワークは、銅製の伝送ケーブルと、光伝送ファイバと、無線伝送と、ルータと、ファイアウォールと、スイッチと、ゲートウェイコンピュータ(gateway computers)および/またはエッジサーバと、を備えてもよい。各コンピューティング装置/処理装置におけるネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、コンピュータ可読プログラム命令を、それぞれのコンピューティング装置/処理装置内のコンピュータ可読記憶媒体のストレージへと送信する。
本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、インストラクションセットアーキテクチャ(instruction-set-architecture:ISA)命令、機械語命令、機械依存命令(machine dependent instructions)、マイクロコード、ファームウェア命令、状態設定データ(state-setting data)、あるいはJava(登録商標)、Smalltalk、C++などのオブジェクト指向プログラミング言語、「C」プログラミング言語または類似のプログラミング言語などの従来の手続き型プログラミング言語を含む、1つまたは複数のプログラミング言語の任意の組み合わせで書かれたソースコードまたはオブジェクトコードのいずれかであり得る。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で実行されてもよく、スタンドアロンソフトウェアパッケージとして部分的にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、完全にリモートコンピュータまたはサーバにおいて実行されてもよい。後者のシナリオの場合、リモートコンピュータは、ローカルエリアネットワーク(local area network:LAN)または広域ネットワーク(wide area network:WAN)を含む、任意のタイプのネットワークを介して、ユーザのコンピュータに接続されてもよく、あるいは接続は外部コンピュータに対してなされてもよい(例えば、インターネットプロバイダを使用してインターネットを介して)。ある実施形態では、例えば、プログラマブル論理回路(programmable logic circuitry)、フィールドプログラマブルゲートアレイ(field-programmable gate arrays:FPGA)、またはプログラマブル論理アレイ(programmable logic arrays:PLA)を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用することにより、コンピュータ可読プログラム命令を実行し、電子回路をパーソナル化してもよい。
本発明の態様は、本発明の実施形態にかかる方法と、装置(システム)と、コンピュータプログラムの成果物と、のフローチャート図および/またはブロック図を参照しながら説明される。フローチャート図および/またはブロック図の各ブロックと、フローチャート図および/またはブロック図のブロックの組合せとが、コンピュータ可読プログラム命令により、およびそれらの様々な組合せにより、実装できることが理解されよう。
本発明は、例示的実施形態と特徴と共に本明細書において説明されているが、当業者であれば、本発明は本開示によって制限されず、添付の特許請求の範囲により定義される本発明の範囲を逸脱することなく、様々な変更と修正とを加えてもよいことを理解するであろう。
Claims (15)
- 仮想モデルを使用して拡張現実(AR)コンテンツを作成し、提供する方法であって、
カメラを備えるモバイル機器上に視覚コンテンツをロードする工程と、
前記モバイル機器のインターフェースのアクティブ時に前記カメラの位置と向きとを判定する工程と、
記録された前記位置と前記向きとに基づいて前記仮想モデル内の仮想オブジェクトを選択する工程と、
選択された前記仮想オブジェクトの表面上に前記視覚コンテンツを掲示する工程と、
を含む、
方法。 - 前記インターフェースのアクティブ時に、時間と、ユーザ識別と、適格な将来のビューアに対する制約と、存続期間と、任意の指定されたコンテンツトリガと、のうち1つまたは複数を記録する工程をさらに含む、
請求項1記載の方法。 - 前記掲示する工程は、
ユーザ加入を検証する工程と、
加入ステータスに基づいてユーザごとに前記視覚コンテンツへのアクセスを許可する工程と、
を含む、
請求項2記載の方法。 - 前記記録する工程と同時にリアルタイムカメラフィードを表示する工程をさらに含む、
請求項1記載の方法。 - インターフェースボタンのアクティブ化を検出するために前記インターフェースを監視する工程をさらに含む、
請求項1記載の方法。 - 前記インターフェースボタンは、前記カメラによる写真または映像の記録をトリガするように構成される、
請求項5記載の方法。 - 少なくとも前記ロードする工程と前記記録する工程とは、第1モバイル機器により実行され、
少なくとも前記掲示する工程は、前記第1モバイル機器とは異なる第2モバイル機器により実行される、
請求項1記載の方法。 - 前記第1モバイル機器と前記第2モバイル機器とは、スマートフォン、ヘッドマウントディスプレイ、またはウェアラブル機器である、
請求項7記載の方法。 - 前記選択する工程は、前記第1モバイル機器、前記第2モバイル機器、またはクラウドコンピューティング装置により実行される、
請求項7記載の方法。 - 前記選択する工程は、前記記録する工程の時点での前記モバイル機器の視界内にある位置と少なくともいくつかの現実世界オブジェクトとを複製するようにモデル化された前記仮想モデルを使用する、
請求項1記載の方法。 - 前記仮想モデルを複数のモバイル機器に提供する工程と、
前記複数のモバイル機器に対して前記掲示する工程を繰り返す工程と、
をさらに含む、
請求項10記載の方法。 - 前記仮想モデル内に選択された前記仮想オブジェクトと共に前記視覚コンテンツを記憶する工程をさらに含む、
請求項1記載の方法。 - 単一の前記仮想オブジェクトを有する複数の視覚コンテンツを記憶する工程、
をさらに含み、
前記複数の視覚コンテンツは、異なるモバイルユーザから供給される、
請求項12記載の方法。 - コンピュータ可読命令を備える非一時的コンピュータ可読媒体であって、前記コンピュータ可読命令は、1つまたは複数の処理装置により実行されると、
カメラを備えるモバイル機器上に視覚コンテンツをロードする工程と、
前記モバイル機器のインターフェースのアクティブ時に前記カメラの位置と向きとを判定する工程と、
記録された前記位置と前記向きとに基づいて仮想モデル内の仮想オブジェクトを選択する工程と、
選択された前記仮想オブジェクトの表面上に前記視覚コンテンツを掲示する工程と、
を1つまたは複数の前記処理装置に実行させる、
ことを特徴とする非一時的コンピュータ可読媒体。 - 1つまたは複数の処理装置を備える拡張現実(AR)システムであって、1つまたは複数の前記処理装置は、
カメラを備えるモバイル機器上に視覚コンテンツをロードする工程と、
前記モバイル機器のインターフェースのアクティブ時に前記カメラの位置と向きとを記録する工程と、
記録された前記位置と前記向きとに基づいて仮想モデル内の仮想オブジェクトを選択する工程と、
選択された前記仮想オブジェクトの表面上に前記視覚コンテンツを掲示する工程と、
を実行するように構成される、
ことを特徴とする拡張現実(AR)システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862767676P | 2018-11-15 | 2018-11-15 | |
US62/767,676 | 2018-11-15 | ||
PCT/US2019/061751 WO2020102687A1 (en) | 2018-11-15 | 2019-11-15 | Augmented reality (ar) imprinting methods and systems |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022507502A true JP2022507502A (ja) | 2022-01-18 |
Family
ID=70731714
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021526486A Pending JP2022507502A (ja) | 2018-11-15 | 2019-11-15 | 拡張現実(ar)のインプリント方法とシステム |
Country Status (5)
Country | Link |
---|---|
US (2) | US11532138B2 (ja) |
EP (1) | EP3881294A4 (ja) |
JP (1) | JP2022507502A (ja) |
CA (1) | CA3119609A1 (ja) |
WO (1) | WO2020102687A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7441579B1 (ja) | 2023-06-07 | 2024-03-01 | 株式会社センシンロボティクス | 情報処理システム及び情報処理方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3712781A1 (en) * | 2019-03-20 | 2020-09-23 | Nokia Technologies Oy | An apparatus and associated methods for presentation of presentation data |
US11558711B2 (en) * | 2021-03-02 | 2023-01-17 | Google Llc | Precision 6-DoF tracking for wearable devices |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1665765A4 (en) | 2003-08-29 | 2010-03-31 | Rgb Networks Inc | VIDEO MULTIPLEXER SYSTEM FOR OBTAINING VCR-TYPE EFFECTS AND LOW-LOW PROGRAM CHANGES |
US10528705B2 (en) * | 2006-05-09 | 2020-01-07 | Apple Inc. | Determining validity of subscription to use digital content |
US8350871B2 (en) * | 2009-02-04 | 2013-01-08 | Motorola Mobility Llc | Method and apparatus for creating virtual graffiti in a mobile virtual and augmented reality system |
US20100257252A1 (en) | 2009-04-01 | 2010-10-07 | Microsoft Corporation | Augmented Reality Cloud Computing |
US20110279445A1 (en) * | 2010-05-16 | 2011-11-17 | Nokia Corporation | Method and apparatus for presenting location-based content |
EP2572336B1 (en) * | 2010-05-18 | 2021-09-15 | Teknologian Tutkimuskeskus VTT | Mobile device, server arrangement and method for augmented reality applications |
JP5960796B2 (ja) * | 2011-03-29 | 2016-08-02 | クアルコム,インコーポレイテッド | ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ |
US9117483B2 (en) * | 2011-06-03 | 2015-08-25 | Michael Edward Zaletel | Method and apparatus for dynamically recording, editing and combining multiple live video clips and still photographs into a finished composition |
JP6281495B2 (ja) * | 2013-02-01 | 2018-02-21 | ソニー株式会社 | 情報処理装置、端末装置、情報処理方法及びプログラム |
EP4206870A1 (en) | 2014-06-14 | 2023-07-05 | Magic Leap, Inc. | Method for updating a virtual world |
US9530426B1 (en) * | 2015-06-24 | 2016-12-27 | Microsoft Technology Licensing, Llc | Filtering sounds for conferencing applications |
US10471353B2 (en) | 2016-06-30 | 2019-11-12 | Sony Interactive Entertainment America Llc | Using HMD camera touch button to render images of a user captured during game play |
US10726597B1 (en) * | 2018-02-22 | 2020-07-28 | A9.Com, Inc. | Optically challenging surface detection for augmented reality |
US10818093B2 (en) * | 2018-05-25 | 2020-10-27 | Tiff's Treats Holdings, Inc. | Apparatus, method, and system for presentation of multimedia content including augmented reality content |
-
2019
- 2019-11-15 WO PCT/US2019/061751 patent/WO2020102687A1/en unknown
- 2019-11-15 CA CA3119609A patent/CA3119609A1/en active Pending
- 2019-11-15 US US17/294,188 patent/US11532138B2/en active Active
- 2019-11-15 JP JP2021526486A patent/JP2022507502A/ja active Pending
- 2019-11-15 EP EP19884077.9A patent/EP3881294A4/en not_active Withdrawn
-
2022
- 2022-11-15 US US18/055,622 patent/US20230073750A1/en not_active Abandoned
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7441579B1 (ja) | 2023-06-07 | 2024-03-01 | 株式会社センシンロボティクス | 情報処理システム及び情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
CA3119609A1 (en) | 2020-05-22 |
US11532138B2 (en) | 2022-12-20 |
US20220005281A1 (en) | 2022-01-06 |
US20230073750A1 (en) | 2023-03-09 |
WO2020102687A1 (en) | 2020-05-22 |
EP3881294A4 (en) | 2022-08-24 |
EP3881294A1 (en) | 2021-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110954083B (zh) | 移动设备的定位 | |
JP7079231B2 (ja) | 情報処理装置及び情報処理システム及び制御方法、プログラム | |
US10089794B2 (en) | System and method for defining an augmented reality view in a specific location | |
US20210312887A1 (en) | Systems, methods, and media for displaying interactive augmented reality presentations | |
US20230073750A1 (en) | Augmented reality (ar) imprinting methods and systems | |
US11151791B2 (en) | R-snap for production of augmented realities | |
JP2014525089A5 (ja) | ||
KR20140082610A (ko) | 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치 | |
JP2014525089A (ja) | 3次元特徴シミュレーション | |
CN111679742A (zh) | 基于ar的交互控制方法、装置、电子设备及存储介质 | |
WO2022095468A1 (zh) | 增强现实场景下的展示方法、装置、设备、介质及程序 | |
JP2019509540A (ja) | マルチメディア情報を処理する方法及び装置 | |
US11302067B2 (en) | Systems and method for realistic augmented reality (AR) lighting effects | |
CN105138763A (zh) | 一种增强现实中实景与现实信息叠加的方法 | |
CN114153548A (zh) | 一种展示方法、装置、计算机设备及存储介质 | |
CN112684893A (zh) | 信息展示方法、装置、电子设备及存储介质 | |
JP2016200884A (ja) | 観光誘客システム、観光誘客方法、観光誘客用データベース、情報処理装置、通信端末装置およびそれらの制御方法と制御プログラム | |
CN111918114A (zh) | 图像显示方法、装置、显示设备及计算机可读存储介质 | |
JP2017108356A (ja) | 画像管理システム、画像管理方法、プログラム | |
CN111652986B (zh) | 舞台效果呈现方法、装置、电子设备及存储介质 | |
CN105894581B (zh) | 一种呈现多媒体信息的方法及装置 | |
US20200211295A1 (en) | Methods and devices for transitioning among realities mediated by augmented and/or virtual reality devices | |
JP6680886B2 (ja) | マルチメディア情報を表示する方法及び装置 | |
KR102443049B1 (ko) | 전자 장치 및 그 동작 방법 | |
US11568579B2 (en) | Augmented reality content generation with update suspension |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231205 |