JP2022023789A - マルチユーザ拡張現実におけるユーザ相互作用を表現するためのシステムおよび方法 - Google Patents

マルチユーザ拡張現実におけるユーザ相互作用を表現するためのシステムおよび方法 Download PDF

Info

Publication number
JP2022023789A
JP2022023789A JP2021102201A JP2021102201A JP2022023789A JP 2022023789 A JP2022023789 A JP 2022023789A JP 2021102201 A JP2021102201 A JP 2021102201A JP 2021102201 A JP2021102201 A JP 2021102201A JP 2022023789 A JP2022023789 A JP 2022023789A
Authority
JP
Japan
Prior art keywords
user
virtual
content
coordinate system
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021102201A
Other languages
English (en)
Other versions
JP2022023789A5 (ja
Inventor
ミッコ ハーポヤ ユホ
Mikko HAAPOJA Juho
レオネル デルガド バイロン
Leonel Delgado Byron
ルルー ステファン
Leroux Stephan
ボーシャン ダニエル
BEAUCHAMP Daniel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shopify Inc
Original Assignee
Shopify Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shopify Inc filed Critical Shopify Inc
Publication of JP2022023789A publication Critical patent/JP2022023789A/ja
Publication of JP2022023789A5 publication Critical patent/JP2022023789A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Abstract

【課題】マルチユーザ拡張現実におけるユーザ相互作用を表現するためのシステムおよび方法の提供。【解決手段】複数のユーザを伴う共有型ＡＲ体験を提供する拡張現実（ＡＲ）コンテンツの生成のためのシステムおよび方法が提供される。共有型ＡＲ体験は、複数の同時ユーザ間でのコミュニケーションおよび協力を向上させ得る。ある実施形態によると、ＡＲコンテンツは、共有型ＡＲ体験における第１のユーザのために生成される。ＡＲコンテンツは、モデルのレンダリング表現、共有型ＡＲ体験における第２のユーザの仮想表現、共有型ＡＲ体験におけるユーザ相互作用の仮想表現、および空間的音響コンテンツのうちの少なくとも１つを含む。共有型ＡＲ体験への修正も、提供される。これらの修正は、１人のユーザからの命令に基づいて開始され、複数のユーザのために生成されるＡＲコンテンツに反映され得る。【選択図】図４

Description

本願は、拡張現実（ＡＲ）に関しており、特定の実施形態では、ＡＲコンテンツの生成に関している。
ＡＲは、コンピュータ生成コンテンツまたは仮想コンテンツを用いた実世界体験の強化に関している。いくつかの場合、ＡＲは、物理的な実世界コンテンツ上に仮想コンテンツを重ね合わせることを伴う。この重ね合わせは、建設的または非建設的のいずれかであり得る。建設的ＡＲが、実世界体験にコンテンツを追加するのに対し、非建設的ＡＲは、実世界体験内のコンテンツを隠す。ＡＲは、仮想現実（ＶＲ）とは異なる。ＶＲは、完全な仮想体験の創出に関しているのに対し、ＡＲは、実世界体験の少なくとも一部を維持するが、仮想コンテンツを用いてその実世界体験の知覚を変更する。
本開示のいくつかの側面は、複数のユーザを伴う共有型ＡＲ体験を提供するＡＲコンテンツの生成に関している。このＡＲコンテンツは、「マルチユーザＡＲコンテンツ」と称され得る。複数のユーザは、互いに離れていることもあり、それによって、ユーザは、互いを物理的に見ることができず、互いに物理的に相互作用できない。しかしながら、ユーザ間の物理的分離にもかかわらず、共有型ＡＲ体験のためのＡＲコンテンツは、各ユーザの環境にマッピングされ得る。共有型ＡＲ体験は、複数のユーザが、例えばアイテムの同一のモデル等の同一の仮想コンテンツを同時に視認することを可能にする。
いくつかの実施形態では、共有型ＡＲ体験においてユーザのために生成されるＡＲコンテンツは、別のユーザの仮想表現を含む。各ユーザは、他のユーザ（単数または複数）が共有型ＡＲ体験内にどのように位置付けられているか、および／または他のユーザ（単数または複数）が共有型ＡＲ体験内でどのように仮想コンテンツを視認しているかを見ることが可能であり得る。これは、異なるユーザ間のコミュニケーションを向上させるためのコンテキストを提供し、それによって、共有型ＡＲ体験内での協力および協働を促進することを助け得る。
いくつかの実施形態では、共有型ＡＲ体験においてユーザのために生成されるＡＲコンテンツは、空間的音響コンテンツを含む。空間的音響コンテンツは、音の方向性をユーザに伝達し得、それは、ユーザが共有型ＡＲ体験において音が生じた場所を認識することを可能にし得る。例えば、共有型ＡＲ体験における第１のユーザの声が記録され得、第２のユーザのためのＡＲコンテンツは、ＡＲ体験における第１のユーザの位置に対応する方向性を有する声の記録を含み得る。これは、より直感的で没入感のある共有型ＡＲ体験を提供し得る。
いくつかの実施形態では、共有型ＡＲ体験においてユーザのために生成されるＡＲコンテンツは、ＡＲ体験内のユーザ相互作用の仮想表現を含む。これらのユーザ相互作用の仮想表現は、共有型ＡＲ体験における他のユーザ（単数または複数）へ１人のユーザの相互作用を伝達し得る。そのような相互作用の例は、ユーザがＡＲ体験における仮想アイテムに向かってジェスチャをすること、および、さらに仮想アイテムにタッチすることも含む。ＡＲ体験における仮想相互作用を表示することは、異なるユーザ間の非言語的コミュニケーションを可能にすることに役立ち得る。
いくつかの実施形態では、異なるユーザ間での協力および協働を向上させることに役立つように、共有型ＡＲ体験へのユーザ修正が可能とされる。共有型ＡＲ体験を修正することは、少なくとも１人のユーザのＡＲコンテンツの観測点を修正することを含み得る。ある例では、ユーザ環境内でどのユーザも物理的に移動する必要なく、ＡＲ体験における１人のユーザの観測点が、ＡＲ体験における別のユーザの観測点に合致するように修正される。別の例では、共有型ＡＲ体験における仮想アイテムが、全てのユーザのための同時に修正される。
本開示の一側面によると、コンピュータ実装方法が提供される。方法は、仮想座標系内に画定されるアイテムのモデルを取得することを含む。仮想座標系内の第１のユーザの位置は、第１のデバイスによって取得された第１の情報に基づいて決定され得、仮想座標系内の第２のユーザの位置は、第２のデバイスによって取得された第２の情報に基づいて決定され得る。方法は、第２のデバイスから、第２のユーザの音響を取得することも含み得る。この音響は、例えば第２のユーザの録音であり得る。方法は、ＡＲコンテンツを生成することをさらに含み得る。ＡＲコンテンツは、仮想座標系内の第１のユーザの位置に基づくモデルのレンダリング表現；仮想座標系内の第１のユーザの位置に対する第２のユーザの位置に基づく第２のユーザの仮想表現；および／または、第２のユーザの音響に基づく音響コンテンツを含み得、音響コンテンツは、仮想座標系内の第１のユーザの位置に対する第２のユーザの位置に対応する方向性を備えている。そして、方法は、第１のデバイスでの提示のためにＡＲコンテンツを出力し得る。
本開示の別の側面によると、コンピュータ実装方法が提供され、コンピュータ実装方法は、第１のユーザと第１のデバイスで提示される仮想コンテンツとの間の相互作用の位置を取得することを含む。ＡＲコンテンツであり得る仮想コンテンツは、仮想座標系内に画定されるモデルの第１のレンダリング表現を含む。相互作用の位置も、仮想座標系内に画定され得る。方法は、ＡＲコンテンツを生成することをさらに含み得る。ＡＲコンテンツは、仮想座標系内の第２のユーザの位置に基づくモデルの第２のレンダリング表現であって、第２のユーザの位置は、第２のデバイスによって取得された情報に基づいている、モデルの第２のレンダリング表現；および／または、相互作用の位置に基づく相互作用の仮想表現を含み得る。そして、方法は、第２のデバイスでの提示のためにＡＲコンテンツを出力することを含み得る。
本開示のさらに別の側面によると、コンピュータ実装方法が提供され、コンピュータ実装方法は、第１のＡＲコンテンツを生成することと、第１のユーザと関連付けられたデバイスでの提示のために第１のＡＲコンテンツを出力することとを含む。第１のＡＲコンテンツは、仮想座標系内につなぎ留められたモデルの第１のレンダリング表現を含み得、第１のレンダリング表現は、仮想座標系内の第１のユーザの位置に基づき得る。方法は、仮想座標系内の第２のユーザの位置に第１のユーザを位置替えするための命令を取得することも含み得る。方法は、第２のＡＲコンテンツを生成することをさらに含み得、第２のＡＲコンテンツは、仮想座標系内の第２のユーザの位置に基づくモデルの第２のレンダリング表現を含む。第２のＡＲコンテンツは、デバイスでの提示のために出力され得る。
本開示さらなる側面によると、コンピュータ実装方法が提供され、コンピュータ実装方法は、仮想座標系内に画定されるモデルの第１のレンダリング表現を含む第１のＡＲコンテンツを生成することを含む。第１のＡＲコンテンツは、第１のデバイスでの提示のために出力され得る。方法は、モデルを修正して仮想座標系内に画定される修正されたモデルを生み出すことも含み得る。モデルを修正するステップは、モデルの第２のレンダリング表現を提示する第２のデバイスによって取得された命令に基づき得る。方法は、修正されたモデルのレンダリング表現を含む第２のＡＲコンテンツを生成することと、第１のデバイスでの提示のために第２のＡＲコンテンツを出力することとも含み得る。
本開示の別の側面によると、システムが提供され、システムは、例えば、モデル、測定値、位置、および命令等の情報を記憶するためのメモリと、本明細書中で開示されるいずれかの方法を実施するように構成されている１つ以上のプロセッサとを含む。
本開示のさらなる側面によると、コンピュータ実行可能な命令を記憶している非一過性のコンピュータ読み取り可能な媒体が提供され、コンピュータ実行可能な命令は、コンピュータによって実行されると、本明細書中に開示されるいずれかの方法をコンピュータに実施させる。
本開示のさらなる側面によると、コンピュータプログラムが提供され、コンピュータプログラムは、コンピュータのプロセッサにおいて実行されると、本明細書中に開示されるいずれかの方法を実行することを引き起こすように構成されている。
よって、以下の請求項で詳細に説明される方法、システム、コンピュータ読み取り可能な媒体、およびプログラムが提供される。
本発明は、例えば以下を提供する。
（項目１）
コンピュータ実装方法であって、前記コンピュータ実装方法は、
第１のユーザと第１のデバイスに提示された仮想コンテンツとの間の相互作用の位置を取得することであって、前記仮想コンテンツは、仮想座標系内に画定された３次元（３Ｄ）モデルの第１のレンダリング表現を備え、前記相互作用の前記位置は、前記仮想座標系内に画定される、ことと、
拡張現実（ＡＲ）コンテンツを生成することであって、前記ＡＲコンテンツは、
前記仮想座標系内の第２のユーザの位置に基づく前記モデルの第２のレンダリング表現であって、前記第２のユーザの前記位置は、第２のデバイスによって取得された情報に基づいている、前記モデルの第２のレンダリング表現と、
前記相互作用の前記位置に基づく前記相互作用の仮想表現と
を備えている、ことと、
前記第２のデバイスでの提示のために前記ＡＲコンテンツを出力することと
を含む、コンピュータ実装方法。
（項目２）
前記仮想座標系内の前記第１のユーザの位置を取得することをさらに含み、
前記相互作用の前記位置は、前記仮想座標系内の前記第１のユーザの前記位置に基づいている、上記項目に記載のコンピュータ実装方法。
（項目３）
前記相互作用は、前記第１のデバイスを用いた前記仮想コンテンツにおける２次元（２Ｄ）ポイントの選択を含み、
前記相互作用の前記位置を取得することは、
前記仮想座標系内の前記第１のユーザの前記位置に基づいて、前記仮想コンテンツにおける前記２Ｄポイントを前記仮想座標系の平面における２Ｄポイントにマッピングすることと、
前記仮想座標系の前記平面における前記２Ｄポイントを通って伸びているベクトルを決定することであって、前記ベクトルは、前記仮想座標系の前記平面に対して垂直である、ことと、
前記ベクトルが前記モデルと交差する前記仮想座標系内の交差の３Ｄポイントを決定することと
を含み、
前記相互作用の前記位置は、前記仮想座標系内の交差の３Ｄポイントに基づいている、上記項目のいずれかに記載のコンピュータ実装方法。
（項目４）
前記相互作用の前記位置を取得することは、前記仮想座標系内の前記モデルに対する前記ベクトルの向きを決定することをさらに含み、
前記相互作用の前記仮想表現は、前記ベクトルの前記向きの指示を備えている、上記項目のいずれかに記載のコンピュータ実装方法。
（項目５）
前記仮想座標系内の前記相互作用の前記位置を取得することは、前記仮想座標系の前記第１のユーザの特徴の位置を取得することを含み、
前記仮想座標系内の前記相互作用の前記位置は、前記仮想座標系内の前記第１のユーザの前記特徴の前記位置に基づいている、上記項目のいずれかに記載のコンピュータ実装方法。
（項目６）
前記第１のデバイスを用いて、空間の表現を取得することをさらに含み、
前記仮想座標系内の前記第１のユーザの前記特徴の前記位置を取得することは、
前記空間内の前記モデルの位置を決定することと、
前記空間内の前記モデルの前記位置に基づいて、前記空間に前記仮想座標系をマッピングすることと、
前記空間内の前記第１のユーザの前記特徴の位置を決定することと
を含み、
前記仮想座標系内の前記第１のユーザの前記特徴の前記位置は、前記空間内の前記第１のユーザの前記特徴の前記位置に基づいている、上記項目のいずれかに記載のコンピュータ実装方法。
（項目７）
前記第１のユーザの前記特徴は、前記第１のユーザの解剖学的特徴である、上記項目のいずれかに記載のコンピュータ実装方法。
（項目８）
前記第１のユーザの前記特徴は、前記第１のデバイスを用いて前記第１のユーザによって制御されるカーソルである、上記項目のいずれかに記載のコンピュータ実装方法。
（項目９）
前記空間の前記表現は、前記第１のデバイスによって捕捉された前記空間の画像を備え、
前記空間内の前記第１のユーザの前記特徴の前記位置を決定することは、前記画像の画像分析に基づいている、上記項目のいずれかに記載のコンピュータ実装方法。
（項目１０）
前記仮想座標系内の前記第１のユーザの前記特徴の前記位置を決定することは、前記仮想座標系内の前記第１のユーザの前記特徴の向きを決定することを含み、
前記相互作用の前記表現は、前記第１のユーザの前記特徴の前記向きの指示を備えている、上記項目のいずれかに記載のコンピュータ実装方法。
（項目１１）
前記ＡＲコンテンツは第１のＡＲコンテンツであり、
前記仮想コンテンツは、第２のＡＲコンテンツを備えている、上記項目のいずれかに記載のコンピュータ実装方法。
（項目１２）
システムであって、前記システムは、
第１のユーザと第１のデバイスで提示される仮想コンテンツとの間の相互作用の位置を記憶しているメモリであって、前記仮想コンテンツは、仮想座標系内に画定される３次元（３Ｄ）モデルの第１のレンダリング表現を備え、前記相互作用の前記位置は、前記仮想座標系内に画定されている、メモリと、
上記項目のいずれかに記載の方法を実行するように構成されている少なくとも１つのプロセッサと
を備えている、システム。
（項目１３）
コンピュータのプロセッサで実行されると、上記項目のいずれかに記載の方法を実行するように構成されている、コンピュータプログラム。
（摘要）
複数のユーザを伴う共有型ＡＲ体験を提供する拡張現実（ＡＲ）コンテンツの生成のためのシステムおよび方法が提供される。共有型ＡＲ体験は、複数の同時ユーザ間でのコミュニケーションおよび協力を向上させ得る。ある実施形態によると、ＡＲコンテンツは、共有型ＡＲ体験における第１のユーザのために生成される。ＡＲコンテンツは、モデルのレンダリング表現、共有型ＡＲ体験における第２のユーザの仮想表現、共有型ＡＲ体験におけるユーザ相互作用の仮想表現、および空間的音響コンテンツのうちの少なくとも１つを含む。共有型ＡＲ体験への修正も、提供される。これらの修正は、１人のユーザからの命令に基づいて開始され、複数のユーザのために生成されるＡＲコンテンツに反映され得る。
実施形態が、添付の図を参照して、単なる例として説明される。
図１は、ある実施形態によるｅコマースプラットフォームのブロック図である。
図２は、ある実施形態によるアドミニストレータのホームページの例である。
図３は、図１のｅコマースプラットフォームであるが、ＡＲエンジンを含むｅコマースプラットフォームを例証している。
図４は、ある実施形態による共有型ＡＲ体験のためのＡＲコンテンツを表示するユーザデバイスを例証している。
図５は、ある実施形態による共有型ＡＲ体験のためのマルチユーザＡＲコンテンツを提供するシステムを例証するブロック図である。
図６は、ある実施形態による共有型ＡＲ体験のためのＡＲコンテンツを生成する方法を例証するフロー図である。
図７は、ある実施形態による、第１の時点における顧客と、商人と、ミキサのモデルとを含む共有型ＡＲ体験のための仮想座標系の斜視図である。
図８は、第１の時点における図７の共有型ＡＲ体験のためのＡＲコンテンツを表示する顧客デバイスを例証している。
図９は、第２の時点での図７の共有型ＡＲ体験のための仮想座標系の斜視図である。
図１０は、第２の時点における図７の共有型ＡＲ体験のためのＡＲコンテンツを生成する方法を例証するフロー図である。
図１１は、ある実施形態による、仮想ユーザ相互作用を有する共有型ＡＲ体験のためのＡＲコンテンツを生成する方法を例証するフロー図である。
図１２は、図７の共有型ＡＲ体験のための仮想コンテンツを表示する商人デバイスを例証している。
図１３は、商人と図１２の仮想コンテンツとの間の第１の例示的相互作用中の図７の共有型ＡＲ体験のための仮想座標系の斜視図である。
図１４は、商人と図１２の仮想コンテンツとの間の第１の例示的相互作用中の図７の共有型ＡＲ体験のためのＡＲコンテンツを表示する図８の顧客デバイスを例証している。
図１５は、商人と図１２の仮想コンテンツとの間の第２の例示的相互作用中の図７の共有型ＡＲ体験のための仮想座標系の斜視図である。
図１６は、商人と図１２の仮想コンテンツとの間の第２の例示的相互作用中の図７の共有型ＡＲ体験のためのＡＲコンテンツを表示する図８の顧客デバイスを例証している。
図１７は、ある実施形態による、共有型ＡＲ体験におけるユーザの観測点を修正するための方法を例証するフロー図である。
図１８は、図７の共有型ＡＲ体験のためのさらなるＡＲコンテンツを表示する図８の顧客デバイスを例証している。
図１９は、顧客が仮想座標系において商人の位置に位置替えされた後の図７の共有型ＡＲ体験のための仮想座標系の斜視図である。
図２０は、顧客が仮想座標系において商人の位置にロックされているときの図７の共有型ＡＲ体験のためのＡＲコンテンツを表示する図８の顧客デバイスを例証している。
図２１は、ある実施形態による共有型ＡＲ体験を修正する方法を例証するフロー図である。
図２２は、図７の共有型ＡＲ体験のための仮想座標系の別の斜視図である。
図２３は、図７の共有型ＡＲ体験のためのさらなるＡＲコンテンツを表示する図８の顧客デバイスを例証している。
図２４は、ミキサのモデルが位置替えされた後の図７の共有型ＡＲ体験のための仮想座標系の斜視図である。
図２５は、ミキサのモデルが位置替えされた後の図７の共有型ＡＲ体験のためのＡＲコンテンツを表示する図８の顧客デバイスを例証している。
図２６は、ミキサのモデルが操作された後の図７の共有型ＡＲ体験のための仮想座標系の斜視図である。
図２７は、ミキサのモデルが操作された後の図７の共有型ＡＲ体験のためのＡＲコンテンツを表示する図８の顧客デバイスを例証している。
図２８は、ミキサのモデルがブレンダのモデルと取り替えられた後の図７の共有型ＡＲ体験のための仮想座標系の斜視図である。
図２９は、ミキサのモデルがブレンダのモデルと取り替えられた後の図７の共有型ＡＲ体験のためのＡＲコンテンツを表示する図８の顧客デバイスを例証している。
例証の目的のために、これから、特定の例示的実施形態が、図面と共に以下でより詳細に説明される。
例示的ｅコマースプラットフォーム
いくつかの実施形態では、本明細書中で開示される方法は、コマースプラットフォームにおいて、またはそれに関連付けられて実装され得、コマースプラットフォームは、本明細書中で、ｅコマースプラットフォームと称される。したがって、ｅコマースプラットフォームの例が説明される。
図１は、一実施形態によるｅコマースプラットフォーム１００を例証している。ｅコマースプラットフォーム１００は、商人の製品およびサービスを顧客に提供するために用いられ得る。本開示は、製品およびサービスを購入するための装置、システムおよびプロセスを用いることを構想しているが、本明細書中の説明は、単純化のため、製品に言及する。この開示全体にわたる製品への全ての言及は、物理的製品、デジタルコンテンツ、チケット、サブスクリプション、提供されるサービス等を含む製品および／またはサービスにも言及していることを理解されるべきである。
本開示は、全体にわたって、「商人」および「顧客」は、個人より多いこともあることを構想しているが、単純化のため、本明細書中の説明は、概してそのように商人および顧客に言及する。商人および顧客への全ての言及が、この開示全体にわたって、個人、会社、企業、コンピューティングエンティティ等の群に言及し、製品の営利または非営利の交換を表し得ることも理解されるべきである。さらに、本開示は、全体にわたって、「商人」および「顧客」に言及し、そのように彼らの役割を説明するが、ｅコマースプラットフォーム１００は、ｅコマース環境においてユーザをより一般的にサポートすることを理解されるべきであり、この開示全体にわたる商人および顧客への全ての言及は、ユーザが、商人ユーザ（例えば、製品の売り手、小売業者、卸売業者、またはプロバイダ）、顧客ユーザ（例えば、製品の買い手、購入エージェント、または製品のユーザ）、潜在的ユーザ（例えば、閲覧しているユーザおよびまだ購入を確約していないユーザ、製品をマーケティングし販売することにおける潜在的な使用についてｅコマースプラットフォーム１００を評価するユーザ等）、サービスプロバイダユーザ（例えば、配送プロバイダ１１２、金融プロバイダ等）、会社ユーザまたは企業ユーザ（例えば、製品の購入、販売、または使用を代表する会社、事業者ユーザ、顧客関連または顧客管理の代理人等）、情報テクノロジーユーザ、コンピューティングエンティティユーザ（例えば、製品の購入、販売、または使用のためのコンピューティングボット）である場合等のユーザに言及していることも理解されるべきである。
ｅコマースプラットフォーム１００は、商人に彼らのビジネスを管理するためのオンラインリソースおよびオンラインファシリティを提供する集中型システムを提供し得る。本明細書中で説明されるファシリティは、プラットフォーム１００の一部または外部であり得る１つ以上のプロセッサにおいてコンピュータソフトウェア、モジュール、プログラムコード、および／または命令を実行する機械を通じて部分的または全体的に展開され得る。商人は、例えば、オンラインストア１３８を通じて、チャンネル１１０Ａ－Ｂを通じて、物理的場所にあるＰＯＳデバイス１５２（例えば、キオスク、端末、リーダ、プリンタ、３Ｄプリンタ等を通じて物理的な店頭または他の場所）を通じて、顧客におけるｅコマース体験を実装することによって、ｅコマースプラットフォーム１００を通じて彼らのビジネスを管理することによって、ｅコマースプラットフォーム１００の通信ファシリティ１２９を通じて顧客と相互作用することによって、またはこれらの任意の組み合わせによって、顧客とのコマースを管理するために、ｅコマースプラットフォーム１００を活用し得る。商人は、顧客との唯一のコマースプレゼンスとして、または物理的店舗（例えば、「ブリックアンドモルタル」小売店）、プラットフォーム外の商人のウェブサイト１０４（例えば、コマースインターネットウェブサイト、またはｅコマースプラットフォームとは別個で商人によって、またはその代理でサポートされた他のインターネットもしくはウェブプロパティまたはアセット）を通じて等、他の商人コマースファシリティと共にｅコマースプラットフォーム１００を活用し得る。しかしながら、これらの「他の」商人コマースファシリティも、ｅコマースプラットフォーム内に統合され得る（例えば、商人の物理的店舗内のＰＯＳデバイス１５２がｅコマースプラットフォーム１００につながれる場合、プラットフォーム外の商人のウェブサイト１０４からオンラインストア１３８にコンテンツをつなぐ「買うボタン」を通じて、プラットフォーム外の商人のウェブサイト１０４がｅコマースプラットフォーム１００内に結び付けられている場合等）。
オンラインストア１３８は、複数の仮想的店頭を備えているマルチテナントファシリティを表し得る。実施形態では、商人は、例えば商人デバイス１０２（例えば、コンピュータ、ラップトップコンピュータ、モバイルコンピューティングデバイス等）を通じて、オンラインストア１３８内の１つ以上の店頭を管理し、数多くの異なるチャンネル１１０Ａ－Ｂ（例えば、オンラインストア１３８、ＰＯＳデバイス１５２を通じた物理的店頭、（ソーシャルネットワーク、ソーシャルメディアページ、ソーシャルメディアメッセージシステム等のウェブサイトまたはソーシャルメディアチャンネルに統合された電子的買うボタンを通じた電子的市場等）を通じて製品を顧客に提供し得る。商人は、チャンネル１１０Ａ－Ｂを横断して販売し、そして、ｅコマースプラットフォーム１００を通じて彼らの販売を管理し得、チャンネル１１０Ａは、ｅコマースプラットフォーム１００の内部に、またはｅコマースチャンネル１１０Ｂの外部から提供され得る。商人は、例えば彼らの物理的小売店で販売し、ポップアップで販売し、卸売りを通して販売し、電話で販売し、そして、ｅコマースプラットフォーム１００を通じて彼らの販売を管理し得る。商人は、これらの全てまたは任意の組み合わせを使用し、ＰＯＳデバイス１５２を活用している物理的店頭を通してビジネスを維持し、オンラインストア１３８を通じて仮想的店頭を維持し、顧客相互作用に影響を与えるために通信ファシリティ１２９を活用し、販売の利益を向上させるために分析１３２を活用し得る。この開示全体にわたって、オンラインストア１３８および店頭という語は、同義的に、ｅコマースプラットフォーム１００を通じた商人のオンラインｅコマース提供主体を指すために用いられ得、オンラインストア１３８は、（例えば、複数の商人のための）ｅコマースプラットフォーム１００によってサポートされた店頭のマルチテナント集合体、または個々の商人の店頭（例えば、商人のオンラインストア）を指し得る。
いくつかの実施形態では、顧客は、顧客デバイス１５０（例えば、コンピュータ、ラップトップコンピュータ、モバイルコンピューティングデバイス等）、ＰＯＳデバイス１５２（例えば、小売りデバイス、キオスク、自動勘定システム等）、または業界で知られている任意の他のコマースインタフェースデバイスを通じて相互作用し得る。ｅコマースプラットフォーム１００は、オンラインストア１３８を通じて、物理的場所（例えば、商人の店頭または他の場所）にあるＰＯＳデバイス１５２を通じて、顧客に到達すること、電気通信ファシリティ１２９を介した顧客との対話を通じて顧客とのコマースを促進すること等を可能とし得、顧客に到達し顧客と相互作用するために利用可能な実通路または仮想通路に関して、顧客に到達し商人サービスを促進するためのシステムを提供する。
いくつかの実施形態では、本明細書中でさらに説明されるように、ｅコマースプラットフォーム１００は、プロセッサおよびメモリを含む処理ファシリティを通じて実装され得、処理ファシリティは、一連の命令を記憶しており、命令が実行されたとき、ｅコマースプラットフォーム１００は、本明細書で説明されるようにｅコマースを実施し、機能をサポートする。処理ファシリティは、サーバ、クライアント、ネットワークインフラストラクチャ、モバイルコンピューティングプラットフォーム、クラウドコンピューティングプラットフォーム、固定コンピューティングプラットフォーム、または他のコンピューティングプラットフォームの一部であり、ｅコマースプラットフォーム１００の電子コンポーネント、商人デバイス１０２、支払いゲートウェイ１０６、アプリケーション開発者、チャンネル１１０Ａ－Ｂ、配送プロバイダ１１２、顧客デバイス１５０、販売時点管理デバイス１５２等の間の電子的接続および通信を提供し得る。ｅコマースプラットフォーム１００は、ソフトウェアがサブスクリプションベースでライセンスを与えられ、一元的にホストされた（たとえば、Ｗｅｂブラウザまたは他のアプリケーションを介してクライアント（例えば、シンクライアント）を用いてユーザによってアクセスされる、ＰＯＳデバイスによってアクセスされる等）ソフトウェアおよび送達モデル等における、クラウドコンピューティングサービス、ソフトウェア・アズ・ア・サービス（ＳａａＳ）、インフラストラクチャ・アズ・ア・サービス（ＩａａＳ）、プラットフォーム・アズ・ア・サービス（ＰａａＳ）、デスクトップ・アズ・ア・サービス（ＤａａＳ）、管理型ソフトウェア・アズ・ア・サービス（ＭＳａａＳ）、モバイル・バックエンド・アズ・ア・サービス（ＭＢａａＳ）、情報テクノロジ管理・アズ・ア・サービス（ＩＴＭａａＳ）等として実装され得る。いくつかの実施形態では、ｅコマースプラットフォーム１００の要素は、種々のプラットフォーム、およびｉＯＳ、Ａｎｄｒｏｉｄ等のオペレーティングシステムにおいて、ならびにＷｅｂ上等で動作するように実装され得る（例えば、アドミニストレータ１１４は、多くの場合、ｉＯＳ、Ａｎｄｒｏｉｄ用の所与のオンラインストア、およびＷｅｂにおいて実装され、各々は同様の機能を有する）。
いくつかの実施形態では、オンラインストア１３８は、ｅコマースプラットフォーム１００のサーバによって提供されるウェブページを通じて顧客デバイス１５０にサービス提供され得る。サーバは、ブラウザまたは顧客デバイス１５０にインストールされた他のアプリケーションからウェブページの要求を受信し得、ブラウザ（または他のアプリケーション）は、ＩＰアドレスを通じてサーバに接続し、ＩＰアドレスは、ドメイン名を翻訳することによって取得される。これに対し、サーバは、要求されたウェブページを送り返す。ウェブページは、Ｈｙｐｅｒｔｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ（ＨＴＭＬ）、テンプレート言語、ＪａｖａＳｃｒｉｐｔ（登録商標）またはこれらの任意の組み合わせで記述されているか、またはそれらを含み得る。例えば、ＨＴＭＬは、ウェブページのレイアウト、フォーマット、およびコンテンツ等のウェブページに関する静的情報を記述するコンピュータ言語である。ウェブサイトの設計者および開発者は、テンプレート言語を用いて、複数のページで同一である静的コンテンツと、１つのページから次のページへと変化する動的コンテンツとを組み合わせるウェブページを構築し得る。テンプレート言語は、オンラインストアからのデータでページを動的に追加する一方で、ウェブページのレイアウトを画定する静的要素を再利用することを可能とし得る。静的要素は、ＨＴＭＬで書かれ得、動的要素は、テンプレート言語で書かれ得る。ファイル内のテンプレート言語要素は、プレースホルダーとして機能し、それによって、ファイル内のコードは、コンパイルされて顧客デバイス１５０に送られ、その後、テンプレート言語は、テーマがインストールされるとき等に、オンラインストア１３８からのデータによって置き換えられる。テンプレートおよびテーマは、タグ、オブジェクト、およびフィルタを考慮し得る。そして、クライアントデバイスウェブブラウザ（または他のアプリケーション）は、それに応じて、ページをレンダリングする。
いくつかの実施形態では、オンラインストア１３８は、ｅコマースプラットフォーム１００によって顧客に提供され得、顧客は、種々の取り扱い製品を閲覧および購入し得る（例えば、製品をカートに追加する、買うボタンを通じて即購入する等）。オンラインストア１３８は、製品が（直接商人から購入するのではなく）ｅコマースプラットフォーム１００を通じて提供されていることを顧客が必ずしも気付かない透明な手法で顧客に提供され得る。商人は、商人が構成可能なドメイン名、カスタマイズ可能なＨＴＭＬテーマ等を用いて、彼らのオンラインストア１３８をカスタマイズし得る。商人は、テーマシステムを通じて彼らのウェブサイトの見た目および雰囲気をカスタマイズし得、例えば、商人は、オンラインストア１３８の製品のヒエラルキー内に示される同一の下位の製品およびビジネスデータを示しながらオンラインストアのテーマを変更することによって、彼らのオンラインストアの見た目および雰囲気を選択および変更し得る。テーマは、テーマエディタおよびデザインインタフェースを通じてさらにカスタマイズされ得、デザインインタフェースは、ユーザが彼らのウェブサイトのデザインを柔軟にカスタマイズすることを可能にする。テーマは、特有の色、フォント、および予め構築されているレイアウトスキーム等の側面を変更するテーマ特有の設定を用いることによってもカスタマイズされ得る。オンラインストアは、ウェブサイトコンテンツのためのコンテンツ管理システムを実装し得る。商人は、ブログ投稿または静的ページを作り、ブログ、記事等を通じて彼らのオンラインストア１３８にそれらを発信するのみならず、ナビゲーションメニューも構成し得る。商人は、システムによる格納（例えば、データ１３４）等のために、画像（例えば、製品の画像）、ビデオ、コンテンツ、データ等をｅコマースプラットフォーム１００にアップロードし得る。いくつかの実施形態では、ｅコマースプラットフォーム１００は、画像をサイズ変更し、画像を製品に関連付け、画像にテキストを追加し関連付け、新たな製品バリエーションの画像を追加し、画像を保護するため等の機能を提供し得る。
本明細書中で説明されるように、ｅコマースプラットフォーム１００は、オンラインストア１３８、電話を介してのみならず、本明細書中で説明されるような物理的ＰＯＳデバイス１５２も含む多くの異なるチャンネル１１０Ａ－Ｂを通じて、製品の取引ファシリティを商人に提供し得る。ｅコマースプラットフォーム１００は、ビジネスサポートサービス１１６、アドミニストレータ１１４等を含み、それらは、彼らのオンラインストアに関連付けられたドメインサービス１１８、顧客との取引を促進するための支払いサービス１２０、購入された製品の配送オプションを顧客に提供するための配送サービス１２２、製品の保護および信頼性に関連付けられたリスクおよび保証サービス１２４、商人の請求等を提供する等、オンラインビジネスを営業することに関連付けられ得る。サービス１１６は、支払処理のための支払いゲートウェイ１０６、製品の配送を捗らせるための配送プロバイダ１１２等を通じて、ｅコマースプラットフォーム１００を介してまたは外部ファシリティに関連付けられて提供され得る。
いくつかの実施形態では、ｅコマースプラットフォーム１００は、リアルタイムの最新情報、追跡、自動的レート計算、バルクオーダ―準備、ラベル印刷等を商人に提供する等、統合型配送サービス１２２を（例えば、ｅコマースプラットフォーム配送ファシリティを通じて、または第三の配送キャリアを通じて）提供し得る。
図２は、アドミニストレータ１１４のホームページに関する非限定的な実施形態を描写し、日ごとのタスク、店舗の現在の活動、および商人が彼らのビジネスを構築するために取るべき次のステップについての情報を示し得る。いくつかの実施形態では、商人は、商人デバイス１０２を介して（デスクトップコンピュータまたはモバイルデバイスから等）アドミニストレータ１１４にログインし、商人のオンラインストア１３８の局面（オンラインストア１３８の現在の活動を視認すること、オンラインストア１３８のカタログを更新すること、注文、現在の訪問者の活動、および全体の注文活動等を管理すること等）を管理し得る。いくつかの実施形態では、商人は、例えば図２に示されるようなサイドバーを用いることによって、アドミニストレータ１１４の異なるセクションにアクセスすることが可能であり得る。アドミニストレータ１１４のセクションは、注文、製品、顧客、取り扱い報告および割引を含む商人のビジネスの核となる局面にアクセスし、それを管理するための種々のインタフェースを含み得る。アドミニストレータ１１４は、店舗のための販売チャンネルを管理するためのインタフェースも含み得、インタフェースは、オンラインストア、店舗にアクセスするために顧客に利用可能にされたモバイルアプリケーション（単数または複数）（モバイルアプリ）、ＰＯＳデバイス、および／または買うボタンを含む。アドミニストレータ１１４は、商人のアカウントにインストールされたアプリケーション（アプリ）を管理するためのインタフェース（商人のオンラインストア１３８およびアカウントに適用される設定）も含み得る。商人は、製品、ページ、または他の情報を見つけるために検索バーを用い得る。商人が使用しているデバイス１０２またはソフトウェアアプリケーションに依存して、商人は、アドミニストレータ１１４を通じて異なる機能を可能とされ得る。例えば、商人がブラウザからアドミニストレータ１１４にログインする場合、彼らは、彼らのオンラインストア１３８の全ての局面を管理することが可能であり得る。商人が彼らのモバイルデバイスから（例えばモバイルアプリケーションを介して）ログインする場合、彼らは、オンラインストア１３８の現在の活動を眺める、オンラインストア１３８のカタログを更新する、注文を管理する等、彼らのオンラインストア１３８の側面の全てまたは一部を視認することが可能であり得る。
コマースおよびオンラインストア１３８への訪問者に関するより詳細な情報は、商人のビジネス全体に関する売上概要、活動している販売チャンネルに関する特定の売上および従業員データ等を表示する等、獲得レポートまたはメトリクスを通じて見られ得る。レポートは、獲得レポート、行動レポート、顧客レポート、金融レポート、マーケティングレポート、売上レポート、カスタムレポート等を含み得る。商人は、ドロップダウンメニュー等を用いることによって、様々な期間（例えば、日、週、月等）から様々なチャンネル１１０Ａ－Ｂに関する売上データを見ることが可能であり得る。概観ダッシュボードも、店舗の売上および契約データのより詳細な図を望む商人に提供され得る。ホームメトリクスセクションにおける活動フィードは、商人のアカウントにおける活動の概観を例証するために提供され得る。例えば、「全ての現在の活動を見る」ダッシュボードボタンをクリックすることによって、商人は、彼らのアカウントにおける現在の活動のより長いフィードを見ることが可能であり得る。ホームページは、例えばアカウントステータス、成長、現在の顧客の活動等に基づいて、商人のオンラインストア１３８についての通知を示し得る。通知は、支払いを取り込む、履行された注文をマーキングする、完了した注文をアーカイブする等のプロセスを通じたナビゲーションで商人を支援するために提供され得る。
ｅコマースプラットフォーム１００は、商人、顧客、商人デバイス１０２、顧客デバイス１５０、ＰＯＳデバイス１５２等の間の通信相互作用を収集し分析するための電子メッセージ集約ファシリティを活用する等、電子通信を提供しマーケティングをするための通信ファシリティ１２９および関連付けられた商人インタフェースを提供し、製品の販売を提供するポテンシャルを増加させる等のために通信を集約し分析し得る。例えば、顧客は、製品に関連する質問を有し得、質問は、顧客と商人（または商人を代理する自動化されたプロセッサベースの代理人）との間の対話を生み出し得、通信ファシリティ１２９は、相互作用を分析し、販売に関する利益をどのように向上するかについて商人に分析を提供する。
ｅコマースプラットフォーム１００は、例えばセキュアカードサーバ環境を通じて、顧客との安全な金融取引のための金融ファシリティ１２０を提供し得る。ｅコマースプラットフォーム１００は、例えば、支払いカードインダストリーデータ（ＰＣＩ）環境（例えば、カードサーバ）等にクレジットカード情報を記憶し得、金融情報を照合し、商人に請求書を送り、（例えば、現金を用いているとき）ｅコマースプラットフォーム１００金融機関口座と商人の銀行口座との間の自動決済（ＡＣＨ）振替を実施する。これらのシステムは、Ｓａｒｂａｎｅｓ―Ｏｘｌｅｙ Ａｃｔ（ＳＯＸ）コンプライアンス、および、それらの開発および動作において要求される高いレベルの注意を有し得る。金融ファシリティ１２０は、例えば資金の貸し出し（例えば、貸出ファンド、現金前貸し等）および保険の付保を通して、商人に金融サポートも提供し得る。加えて、ｅコマースプラットフォーム１００は、マーケティングおよびパートナーサービスのセットを提供し、ｅコマースプラットフォーム１００とパートナーとの間の関係を制御し得る。それらは、新たな商人をｅコマースプラットフォーム１００に接続し、搭載し得る。これらのサービスは、商人がｅコマースプラットフォーム１００を横断して作業することを容易にすることによって商人の成長を可能とし得る。これらのサービスを通じて、商人は、ｅコマースプラットフォーム１００を介したヘルプファシリティを提供され得る。
いくつかの実施形態では、オンラインストア１３８は、数多くの独立して運営される店頭をサポートし、毎日の各種の製品に関する大量の取引データを処理し得る。取引データは、顧客連絡先情報、請求情報、配送情報、購入された製品の情報、与えられたサービスの情報、およびｅコマースプラットフォーム１００を通したビジネスに関連付けられた任意の他の情報を含み得る。いくつかの実施形態では、ｅコマースプラットフォーム１００は、データファシリティ１３４内にこのデータを記憶し得る。取引データは、分析１３２を生み出すために処理され得、ひいては、商人または第三のコマースエンティティに提供されて、顧客の傾向、マーケティングおよび売上の洞察、売上を向上するための推薦、顧客行動の評価、マーケティングおよび売上のモデル化、詐欺の傾向等を提供し、オンラインコマースに関連付けられ、レポートを通してダッシュボードインタフェースで提供され得る。ｅコマースプラットフォーム１００は、ビジネスおよび商人の取引についての情報を記憶し得、データファシリティ１３４は、データを強化し、データに貢献し、データを精錬し、データを抽出する多くの手段を有し得、収集されたデータは、経時的にｅコマースプラットフォーム１００の局面の改善を可能とし得る。
図１を再度参照すると、いくつかの実施形態では、ｅコマースプラットフォーム１００は、コンテンツ管理、タスク自動化、およびデータ管理のためのコマース管理エンジン１３６で構成され、（例えば、製品、在庫、顧客、注文、提携、供給者、レポート、金融、リスクおよび詐欺等に関連付けられた）複数のオンラインストア１３８のサポートおよびサービスを可能とし得るが、ｅコマースプラットフォーム１００は、アプリケーション１４２Ａ－Ｂを通して拡張可能であり得、アプリケーション１４２Ａ－Ｂは、多種多様な商人オンラインストア、ＰＯＳデバイス、製品、およびサービスに適応するために要求されるより高い柔軟性およびカスタム処理を可能にし、アプリケーション１４２Ａが、ｅコマースプラットフォーム１００の内部に提供され得、または、アプリケーション１４２Ｂが、ｅコマースプラットフォーム１００の外部に提供され得る。いくつかの実施形態では、アプリケーション１４２Ａは、プラットフォーム１００を提供する同じパーティによって、または異なるパーティによって提供され得る。いくつかの実施形態では、アプリケーション１４２Ｂは、プラットフォーム１００を提供する同じパーティによって、または異なるパーティによって提供され得る。コマース管理エンジン１３６は、例えば顧客識別子、注文識別子、オンラインストア識別子等による機能およびデータの分配（例えば、分割）を通じた柔軟性およびスケーラビリティのために構成され得る。コマース管理エンジン１３６は、店舗特有のビジネスロジックに適応し得、いくつかの実施形態では、アドミニストレータ１１４および／またはオンラインストア１３８を統合し得る。
コマース管理エンジン１３６は、ｅコマースプラットフォーム１００のベースまたは「核となる」機能を含み、そのため、本明細書中で説明されるように、オンラインストア１３８をサポートする全ての機能が、含めるのに適切であるわけではないこともある。例えば、コマース管理エンジン１３６内に含まれる機能は、「核となる」機能性のしきい値を超える必要があり得、「核となる」機能性のしきい値を通して、機能がコマース体験にとっての核であること（例えば、横断チャンネル、アドミニストレータインタフェース、商人の場所、産業、製品タイプ等のオンラインストア活動の大部分の共通性）、機能がオンラインストア１３８を横断して再利用可能であること（例えば核となる機能を横断して再利用／修正され得る機能）、同時に単一のオンラインストア１３８のコンテキストに限定されること（例えば、オンラインストア「分離原理」を実装し、この原理において、コードは、同時に複数のオンラインストア１３８と相互作用することが可能であるべきではなく、分離原理は、オンラインストア１３８が互いのデータにアクセスできないことを保証する）、取引仕事量を提供すること等が決定され得る。多くの要求される特徴が、コマース管理エンジン１３６によって直接提供されるか、または、アプリケーション１４２Ａ－Ｂおよびチャンネル１１０Ａ－Ｂへのアプリケーションプログラミングインタフェース（ＡＰＩ）接続を通じたその拡張等によってインタフェース１４０Ａ－Ｂを通して可能とされる（インタフェース１４０Ａは、ｅコマースプラットフォーム１００内のアプリケーション１４２Ａおよび／またはチャンネル１１０Ａに提供され、または、インタフェース１４０Ｂは、ｅコマースプラットフォーム１００の外部のアプリケーション１４２Ｂおよび／またはチャンネル１１０Ｂに提供され得る）かのいずれかである場合、どの機能が実装されるかということの制御をメンテナンスすることが、コマース管理エンジン１３６が応答可能であり続けることを可能とし得る。概して、プラットフォーム１００は、（拡張機能、コネクタ、ＡＰＩ等であり得る）インタフェース１４０Ａ－Ｂを含み得、インタフェース１４０Ａ－Ｂは、他のプラットフォーム、システム、ソフトウェア、データソース、コード等への接続およびそれらとの通信を促進する。そのようなインタフェース１４０Ａ－Ｂは、さらに概略的に、コマース管理エンジン１３６のインタフェース１４０Ａ、またはプラットフォーム１００のインタフェース１４０Ｂであり得る。ケアがコマース管理エンジン１３６内の規制機能に与えられない場合、低速データベースまたは致命的ではないバックエンドの破壊を通じたインフラストラクチャの劣化を通して、オフラインになっているデータセンター等による致命的なインフラストラクチャの破壊を通して、新たなコードが展開され、それが予期されるより実行するために長い時間を要することを通して、応答性が損なわれ得る。これらの状況を防ぐためにまたは軽減させるために、コマース管理エンジン１３６は、例えばタイムアウト、クエリ、劣化を防ぐバックプレッシャー等を活用する構成を通じて応答性を維持するように構成され得る。
オンラインストアデータを分離することは、オンラインストア１３８間および商人間のデータプライバシーを維持するために重要であるが、例えば注文リスク査定システムまたはプラットフォーム支払いファシリティ（注文リスク査定システムおよびプラットフォーム支払いファシリティの両方は、うまく実施するために複数のオンラインストア１３８からの情報を要求する）において相互店舗データを収集し使用する理由が存在し得る。いくつかの実施形態では、分離原理に違反することなく、これらのコンポーネントをコマース管理エンジン１３６の外部に移動させること、およびｅコマースプラットフォーム１００内のそれら自身のインフラストラクチャ内に移動させることが好まれ得る。
いくつかの実施形態では、ｅコマースプラットフォーム１００は、プラットフォーム支払いファシリティ１２０を提供し得、プラットフォーム支払いファシリティ１２０は、コマース管理エンジン１３６からのデータを活用するが分離原理に違反しないように外部に配置され得るコンポーネントの別の例である。プラットフォーム支払いファシリティ１２０は、オンラインストア１３８と相互作用する顧客が、コマース管理エンジン１３６によって安全に記憶された彼らの支払い情報を有することを可能とし、それによって、彼らは一度しか支払い情報を入力する必要がない。顧客が異なるオンラインストア１３８を訪問するとき、彼らが以前にその店舗に行ったことがない場合であっても、プラットフォーム支払いファシリティ１２０は、彼らの情報を回収し、より迅速で正確な勘定を可能にする。これは、クロスプラットフォームネットワーク効果を提供し得、例えば顧客の購入に関する使用の容易さのおかげでより頻繁に勘定をするより多くの顧客が存在するので、ｅコマースプラットフォーム１００は、より多くの商人が参加するにつれてその商人により有用となる。このネットワークの効果を最大化するために、所与の顧客に関する支払い情報は、オンラインストアの勘定から回収可能であり得、情報がオンラインストア１３８にわたって全体的に利用可能となることを可能にする。各オンラインストア１３８が任意の他のオンラインストア１３８に接続してそこに記憶された支払い情報を回収することが可能であることは、困難であり、誤りを起こしやすい。結果的に、プラットフォーム支払いファシリティは、コマース管理エンジン１３６の外部で実装され得る。
コマース管理エンジン１３６内に含まれていない機能に関して、アプリケーション１４２Ａ－Ｂは、ｅコマースプラットフォーム１００に特徴を追加する手段を提供する。アプリケーション１４２Ａ－Ｂは、例えば、商人のオンラインストア１３８にあるデータにアクセスし、これを修正し、アドミニストレータ１１４を通じてタスクを実施し、ユーザインタフェースを通じて商人のための新たなフローを創出し得る（例えば、それは、拡張機能／ＡＰＩを通じて示される）。商人は、アプリケーション検索、推薦およびサポート１２８を通じてアプリケーション１４２Ａ－Ｂを発見しインストールすることが可能とされ得る。いくつかの実施形態では、核となる製品、核となる拡張ポイント、アプリケーション、およびアドミニストレータ１１４が、共に作業するように開発され得る。例えば、アプリケーション拡張ポイントは、アドミニストレータ１１４の内部に構築され得、それによって、核となる特徴が、アプリケーションによって拡張され得、アプリケーションは、拡張機能を通じて機能を商人に送達し得る。
いくつかの実施形態では、アプリケーション１４２Ａ－Ｂは、インタフェース１４０Ａ－Ｂを通じて機能を商人に送達し得、例えば、アプリケーション１４２Ａ－Ｂは、取引データを商人に示すことが可能であり（例えば、アプリ：「エンジン、内臓アプリＳＤＫを用いてモバイル管理およびウェブ管理内の私のアプリデータを示して」）、および／またはコマース管理エンジン１３６は、要求された作業を実施することをアプリケーションに依頼することが可能である（エンジン：「アプリ、この勘定に関する地方税計算を私に提示して」）。
アプリケーション１４２Ａ－Ｂは、例えば、オンラインストア１３８およびチャンネル１１０Ａ－Ｂをサポートし、商人サポートを提供し、他のサービスと統合し得る。コマース管理エンジン１３６がオンラインストア１３８にサービスの基盤を提供し得る場合、アプリケーション１４２Ａ－Ｂは、商人が特定のニーズおよび時には独自のニーズを満足させるための手段を提供し得る。異なる商人は、異なるニーズを有するため、異なるアプリケーション１４２Ａ－Ｂから恩恵を受け得る。アプリケーション１４２Ａ－Ｂは、アプリケーション分類（カテゴリ）の開発を通じてｅコマースプラットフォーム１００を通してより見出され得、アプリケーション分類は、例えば、検索、ランキング、および推薦モデルをサポートするアプリケーションデータサービスを通じて、およびアプリケーションストア、ホーム情報カード、アプリケーション設定ページ等のアプリケーション発見インタフェースを通じて、アプリケーションが商人のために実施する機能のタイプによってアプリケーションがタグ付けされることを可能にする。
アプリケーション１４２Ａ－Ｂは、インタフェース１４０Ａ－Ｂを通じてコマース管理エンジン１３６に接続され得、例えば、ＡＰＩを活用して、（ＲＥＳＴ、ＧｒａｐｈＱＬ等を通じて）コマース管理エンジン１３６を通じてまたはその中で利用可能な機能およびデータをアプリケーションの機能に公開する。例えば、ｅコマースプラットフォーム１００は、アプリケーション拡張機能、プロセスフローサービス、開発者向けリソース等を含む商人およびパートナー向けの製品およびサービスにＡＰＩインタフェース１４０Ａ－Ｂを提供し得る。顧客がより頻繁にモバイルデバイスをショッピングのために用いることによって、モバイル使用に関連しているアプリケーション１４２Ａ－Ｂは、関連する増大するコマーストラフィックをサポートするためのＡＰＩのより拡張的な使用からの恩恵を受け得る。（例えばアプリケーション開発のために提供されるような）アプリケーションおよびＡＰＩの使用を通じて提供される柔軟性は、ｅコマースプラットフォーム１００が、コマース管理エンジン１３６に継続的な変更を要求することなく商人（および内部ＡＰＩを通じた内部開発者）の新しい独自のニーズにより良く適応することを可能にし、従って、商人が必要とするものを商人が必要とするときに商人に提供する。例えば、配送サービス１２２は、配送またはキャリアサービスＡＰＩを通じてコマース管理エンジン１３６と統合され得、従って、ｅコマースプラットフォーム１００がコマース管理エンジン１３６で実行しているコードに直接的に影響を及ぼすことなく、配送サービス機能を提供することを可能にする。
バックオフィス動作に関連する問題（商人向けのアプリケーション１４２Ａ－Ｂ）およびオンラインストア１３８における問題（顧客向けのアプリケーション１４２Ａ－Ｂ）等、多くの商人の問題は、パートナーがアプリケーション開発を通じて商人ワークフローを改善および拡張することによって解決され得る。ビジネスをする一部として、多くの商人は、バックオフィスタスク（例えば、販促、在庫、割引、履行等）およびオンラインストアタスク（例えば、彼らのオンラインストアショップに関連したアプリケーション、フラッシュセール、新製品の注文等）のために毎日モバイルおよびウェブ関連のアプリケーションを用い、アプリケーション１４２Ａ－Ｂは、拡張機能／ＡＰＩ１４０Ａ－Ｂを通じて、急速に成長する市場において製品を容易に見て購入することを助ける。いくつかの実施形態では、パートナー、アプリケーション開発者、内部アプリケーションファシリティ等は、例えばアプリケーションインタフェースをサンドボックスするアドミニストレータ１１４内のフレームを創出することを通じて、ソフトウェア開発キット（ＳＤＫ）を提供され得る。いくつかの実施形態では、アドミニストレータ１１４は、フレーム内で発生することを制御せず、発生したことに気付かないこともある。ＳＤＫは、ユーザインタフェースキットと共に用いられ、例えばコマース管理エンジン１３６の拡張機能として機能するｅコマースプラットフォーム１００のルックアンドフィールを模したインタフェースを生成し得る。
ＡＰＩを活用するアプリケーション１４２Ａ－Ｂは、要求されたデータをプルし得るが、それらは、更新が発生するときにデータがプッシュされる必要もある。例えば顧客創出、製品変更、または注文取消等の更新イベントは、サブスクリプションモデルにおいて実装され得る。更新イベントは、ローカルデータベースを同期させること、外部統合パートナーに通知すること等のためにコマース管理エンジン１３６の変更された状態に関して必要とされる更新を商人に提供し得る。更新イベントは、例えば更新イベントサブスクリプションを通じて更新を確認するためにコマース管理エンジン１３６を常にポーリングする必要なく、この機能を可能とし得る。いくつかの実施形態では、更新イベントサブスクリプションに関連する変更が発生すると、コマース管理エンジン１３６は、予め定義されたコールバックＵＲＬ等に要求を送り得る。この要求の本体は、オブジェクトの新たな状態と、アクションまたはイベントの記述とを含み得る。更新イベントサブスクリプションは、アドミニストレータファシリティ１１４において手動で、または（例えばＡＰＩ１４０Ａ－Ｂを介して）自動で創出され得る。いくつかの実施形態では、更新イベントは、待ち行列に入れられ、それらをトリガした状態変更から非同期で処理され得、それは、リアルタイムで分配されない更新イベント通知を生み出し得る。
いくつかの実施形態では、ｅコマースプラットフォーム１００は、アプリケーション検索、推薦およびサポート１２８を提供し得る。アプリケーション検索、推薦およびサポート１２８は、アプリケーションの開発において支援するための開発者製品およびツールと、（例えば、開発インタフェースを開発者に提供するため、アドミニストレータのアプリケーションの管理のため、商人のアプリケーションのカスタマイズのため等の）アプリケーションダッシュボードと、（例えば、インストールされる前に基準が満たされなければならない公衆アクセスのため、または商人による私的な使用のため等の公共アクセスのための）アプリケーション１４２Ａ－Ｂへのアクセスを提供することに関する許可をインストールおよび提供するためのファシリティと、商人のオンラインストア１３８のニーズを満足させるアプリケーション１４２Ａ－Ｂを商人が検索することを容易にするためのアプリケーション検索と、商人がどのようにして彼らのオンラインストア１３８を通じたユーザ体験を改善し得るかについての提案を商人に提供するためのアプリケーション推薦と、コマース管理エンジン１３６内の核となるアプリケーション能力の記述と等を含み得る。これらのサポートファシリティは、任意のエンティティによって実施されるアプリケーション開発によって活用され得、任意のエンティティは、彼ら自身のアプリケーション１４２Ａ－Ｂを開発する商人、アプリケーション１４２Ａ－Ｂを開発する第三開発者（例えば、アプリケーション１４２Ａ－Ｂは、商人によって契約され、公衆に提供するために独自で開発され、ｅコマースプラットフォーム１００に関連付けられた使用のために契約される）、またはｅコマースプラットフォーム１００に関連付けられた内部パーソナルリソースによって開発されるアプリケーション１４２Ａもしくは１４２Ｂを含む。いくつかの実施形態では、アプリケーション１４２Ａ－Ｂは、例えば、アプリケーションに（例えばＡＰＩを通して）リンクするために、アプリケーションを検索するために、アプリケーション推薦を作成するために、アプリケーション識別子（ＩＤ）を割り当てられ得る。
コマース管理エンジン１３６は、ｅコマースプラットフォーム１００のベース機能を含み、これらの機能をＡＰＩ１４０Ａ－Ｂを通じてアプリケーション１４２Ａ－Ｂに公開し得る。ＡＰＩ１４０Ａ－Ｂは、アプリケーション開発を通じて構築されたアプリケーションの異なるタイプを可能とし得る。アプリケーション１４２Ａ－Ｂは、商人の多様なニーズを満足させることを可能とし得るが、大まかに３つのカテゴリにグループに分けられ得る：顧客向けアプリケーション、商人向けアプリケーション、統合アプリケーション等。顧客向けアプリケーション１４２Ａ－Ｂは、オンラインストア１３８またはチャンネル１１０Ａ－Ｂを含み得、オンラインストア１３８またはチャンネル１１０Ａ－Ｂは、商人が製品をリストアップしそれらを購入してもらうことが可能な場所（例えば、オンラインストア、フラッシュセールのためのアプリケーション（例えば、商人製品または第三者リソースによる突発的なセールス機会からのもの）、モバイルストアアプリケーション、ソーシャルメディアチャンネル、卸売り購入を提供するためのアプリケーション等）である。商人向けアプリケーション１４２Ａ－Ｂは、商人が、（例えば、ウェブもしくはウェブサイト、またはモバイルデバイスに関連するアプリケーションを通じて）彼らのオンラインストア１３８を管理すること、彼らのビジネスを（例えばＰＯＳデバイスに関連するアプリケーションを通じて）営業すること、（例えば配送（例えば置き配）に関連するアプリケーション、自動化されたエージェントの使用、プロセスフロー開発および改善の使用を通じて）彼らのビジネスを成長させること等を可能にするアプリケーションを含む。統合アプリケーションは、配送プロバイダ１１２および支払いゲートウェイ等のビジネスの営業に関する有用な統合を提供するアプリケーションを含み得る。
いくつかの実施形態では、アプリケーション開発者は、アプリケーションプロキシを用いて、外部の場所からデータをフェッチし、それをオンラインストア１３８のページに表示し得る。これらのプロキシページにおけるコンテンツは、例えば動的であり、更新されることが可能であり得る。アプリケーションプロキシは、画像ギャラリ、統計、カスタムフォーム、および他の種類の動的コンテンツを表示するために有用であり得る。ｅコマースプラットフォーム１００の核となるアプリケーション構造は、アプリケーション１４２Ａ－Ｂで構築される増加した数の商人体験を可能とし、それによって、コマース管理エンジン１３６は、より一般的に活用されるコマースのビジネスロジックに焦点を当て続けることができる。
ｅコマースプラットフォーム１００は、商人が柔軟で透明性のある態様で顧客に接触することを可能にする洗練されたシステムアーキテクチャを通じてオンラインショッピング体験を提供する。典型的な顧客体験は、例示的な購入ワークフローの実施形態を通じてより理解され得、ワークフローにおいて、顧客は、チャンネル１１０Ａ－Ｂにある商人の製品を閲覧し、彼らが買いたい物を彼らのカートに追加し、勘定に進み、彼らのカートのコンテンツの支払いをし、商人への注文の創出をもたらす。そして、商人は、注文をレビューおよび履行（または取消）し得る。そして、製品は、顧客に送達される。顧客が満足しない場合、彼らは製品を商人に返却し得る。
例示的な実施形態では、顧客は、チャンネル１１０Ａ－Ｂにある商人の製品を閲覧し得る。チャンネル１１０Ａ－Ｂは、顧客が製品を見て買い得る場所である。いくつかの実施形態では、チャンネル１１０Ａ－Ｂは、アプリケーション１４２Ａ－Ｂ（可能な例外は、コマース管理エンジン１３６内に統合されるオンラインストア１３８である）としてモデル化され得る。販促コンポーネントは、商人が、彼らが販売したい物および彼らがそれを販売する場所を説明することを可能とし得る。製品とチャンネルとの間の関連付けは、製品出版物としてモデル化され、例えば製品リストアップＡＰＩを介してチャンネルアプリケーションによってアクセスされ得る。製品は、サイズおよび色、ならびに、極小かつ緑であるバリエーション、または大きいサイズかつ青であるバリエーション等、利用可能なオプションを全てのオプションの特定の組み合わせに拡大する多くのバリエーション等の多くのオプションを有し得る。製品は、少なくとも１つのバリエーション（例えば、「デフォルトバリエーション」は、どのオプションもない製品として創出される）を有し得る。閲覧および管理を促進するために、製品は、例えば、コレクションにグルーピングされ、製品識別子（例えば、在庫品維持ユニット（ＳＫＵ））等を提供され得る。製品のコレクションは、例えば手動で製品を１つのコレクションに分類すること（例えば、カスタムコレクション）か、または自動的な分類（例えばスマートコレクション）のためのルールセット等を構築することのいずれかによって構築され得る。製品は、例えば仮想現実または拡張現実インタフェースを通じて、２Ｄ画像、３Ｄ画像、回転図画像として閲覧され得る。
いくつかの実施形態では、顧客は、彼らが買いたい物を彼らのカートに追加し得る（代替となる実施形態では、製品は、本明細書中で説明されるように、例えば買うボタンを通じて直接購入され得る）。顧客は、彼らのショッピングカートに製品バリエーションを追加し得る。ショッピングカートモデルは、チャンネル特有であり得る。オンラインストア１３８カートは、複数のカートラインアイテムから構成され得、各カートラインアイテムは、製品バリエーションに関する量を追跡する。商人は、カートスクリプトを用いて、顧客のカートのコンテンツに基づいて顧客に特別なプロモーションを提供し得る。製品をカートに追加することは、顧客または商人からの何らかの約束を意味せず、カートの予測される寿命は数分の単位（日ではない）であり得るので、カートは、短期データ記憶装置に持続させられ得る。
そして、顧客は、勘定に進む。勘定コンポーネントは、顧客向けの注文創出プロセスとしてウェブ勘定を実装し得る。勘定ＡＰＩは、いくつかのチャンネルアプリケーションによって用いられるコンピュータ向けの注文創出プロセスとして提供され、（例えば、販売時点情報管理として）顧客に代わって注文を創出し得る。勘定は、カートから創出され、ｅメールアドレス、請求書、および配送詳細等の顧客の情報を記録し得る。勘定の時、商人は、価格設定を確約する。顧客が彼らの連絡先情報入力したが、勘定に進まない場合、ｅコマースプラットフォーム１００は、顧客に再び係合するための機会（例えば破棄された勘定の特徴）を提供し得る。それらの理由のため、勘定は、カートより遥かに長い寿命（時間またはさらに日）を有し得、したがって持続される。勘定は、顧客の配送先住所に基づいて税および配送費用を計算し得る。勘定は、税コンポーネントに税の計算を委任し、送達コンポーネントに配送費用の計算を委任し得る。価格設定コンポーネントは、商人が割引コード（例えば、勘定において入力されると、勘定されるアイテムに新たな価格を適用する「秘密の」文字列）を創出することを可能とし得る。割引は、顧客を引き付け、マーケティングキャンペーンの成果を評価するために、商人によって用いられ得る。割引および他のカスタム価格システムは、例えば価格ルール（例えば、満たされたときに一連の資格を示す一連の必須条件）を通じて、同一のプラットフォームピースの上部に実装され得る。例えば、必須条件は、「注文の小計が＄１００より高い」または「配送費用が＄１０を下回る」等のアイテムであり得、資格は、「注文全体の２０％割引」または「＄１０引き製品Ｘ、ＹおよびＺ」等のアイテムであり得る。
そして、顧客は、彼らのカートのコンテンツの支払いをし、これは、商人への注文の創出をもたらす。チャンネル１１０Ａ－Ｂは、コマース管理エンジン１３６を用いて、お金、通貨または店舗の価値の蓄え（ドルまたは暗号通貨等）を顧客と商人との間で移動させ得る。種々の支払いプロバイダ（例えば、オンライン支払いシステム、モバイル支払いシステム、デジタルウォレット、クレジットカードケートウェイ等）との通信は、支払い処理コンポーネント内で実装され得る。支払いゲートウェイ１０６との実際の相互作用は、カードサーバ環境を通じて提供され得る。いくつかの実施形態では、支払いゲートウェイ１０６は、例えば主要な国際クレジットカードプロセッサを組み込んだ国際支払いを承認し得る。カードサーバ環境は、カードサーバアプリケーション、カードシンク、ホステッドフィールド等を含み得る。この環境は、機密クレジットカード情報のセキュアゲートキーパーとして機能し得る。いくつかの実施形態では、ほとんどのプロセスは、支払い処理ジョブによって組織化され得る。コマース管理エンジン１３６は、サイト外支払いゲートウェイ１０６を通じたもの（例えば、顧客が別のウェブサイトに向け直される）、手動によるもの（例えば、現金）、オンライン支払方法（例えば、オンライン支払システム、モバイル支払いシステム、デジタルウォレット、クレジットカードゲートウェイ等）、ギフトカード等、多くの他の支払い方法をサポートし得る。勘定プロセスの最後に、注文が創出される。注文は、商人と顧客との間の販売契約であり、商人は、注文にリストアップされた商品およびサービス（例えば、注文ラインアイテム、配送ラインアイテム等）を提供することに同意し、顧客は、（税を含む）支払いを提供することに同意する。このプロセスは、販売コンポーネントでモデル化され得る。コマース管理エンジン１３６勘定によらないチャンネル１１０Ａ－Ｂは、注文ＡＰＩを用いて注文を創出し得る。注文が創出されると、通知コンポーネントを介して、注文確認通知が、顧客に送られ得、注文完了通知が商人に送られ得る。売り過ぎを回避するために、注文処理ジョブが始動するとき、在庫が予約され得る（例えば、商人は、各バリエーションの在庫方針からこの行動を制御し得る）。在庫予約は、短い時間スパン（数分）を有し得、フラッシュセール（例えば、ターゲットインパルス購入等の短時間提供される割引またはプロモーション）をサポートするために、非常に高速かつスケーラブルである必要があり得る。支払いが失敗した場合、予約が解除される。支払いが成功し、注文が創出されたとき、予約が、特定の場所に割り当てられた長期在庫確約に変換される。在庫コンポーネントは、バリエーションが保管される場所を記録し得、在庫追跡が可能であるバリエーションに関して、量を追跡する。在庫は、在庫アイテム（量および場所が管理されるアイテムを表す商人向けコンセプト）から製品バリエーション（製品リストのテンプレートを表す顧客向けコンセプト）を切り離し得る。在庫レベルコンポーネントは、販売取り扱い量、注文が確約された量、または在庫転送コンポーネントから（例えば、ベンダーから）の仕入れ量を追跡し得る。
そして、商人は、注文をレビューし、履行（または取消）し得る。レビューコンポーネントは、ビジネスプロセス商人の使用を実装し、実際にそれらを履行する前に注文が履行に適していることを保証し得る。注文は、詐欺であり得、確認（例えばＩＤチェック）を要求し、彼らの資金を受領することを確実するために待つことを商人に要求する支払い方法を有し得る。リスクおよび推薦は、注文リスクモデルで永続化され得る。注文リスクは、例えば、詐欺検出ツールから生成され、注文リスクＡＰＩを通じて第三者によって提出され得る。履行に進む前、商人は、支払い情報（例えば、クレジットカード情報）を捕捉するか、または（例えば、銀行送金、小切手等を介して）それを受領することを待って注文が支払われたことをマークする必要があり得る。それから、商人は、送達のために製品を準備し得る。いくつかの実施形態では、このビジネスプロセスは、履行コンポーネントによって実装され得る。履行コンポーネントは、在庫場所および履行サービスに基づいて作業の論理的履行単位に注文のラインアイテムをグルーピングし得る。商人は、作業の単位をレビューし、これを調節し、商人が箱から製品を取り出して梱包するときに用いられる（例えば、商人に管理された場所における）手動履行サービスを通じて、関連する履行サービスをトリガし、配送ラベルを購入してその追跡番号を入力するか、または、単に履行されたことをアイテムにマークし得る。カスタム履行サービスは、ｅメールを（例えば、ＡＰＩ接続を提供しない場所に）送り得る。ＡＰＩ履行サービスは、第三者をトリガし得、第三者が、履行記録を作成する。レガシー履行サービスは、コマース管理エンジン１３６から第三者へのカスタムＡＰＩコールをトリガし得る（例えば、Ａｍａｚｏｎによる履行）。ギフトカード履行サービスは、ギフトカードをプロビジョニングし（例えば、番号を生成する）、アクティブにし得る。商人は、注文プリンタアプリケーションを用い、梱包票を印刷し得る。履行プロセスは、アイテムが箱に梱包され、配送の準備がされるとき、配送されるとき、追跡されるとき、送達されるとき、顧客によって受領されたことが確認されるとき等に実行され得る。
顧客が満足しない場合、彼らは、製品（単数または複数）を商人に返却し得る。商人が、アイテムを「販売できない」ことを経験し得るビジネスプロセスは、返却コンポーネントによって実装され得る。返却は、各種の異なるアクションから成り得、各種の異なるアクションは、例えば、再入庫（販売された製品が実際にビジネスに復帰し、再び販売可能である場合）、払い戻し（顧客から集めたお金が部分的または全額返却される場合）、どのくらいのお金が払い戻されたかを通知する会計調節（例えば、何らかの再入庫料金が存在する場合、または商品が返却されておらず、顧客の手元に残っている場合を含む）等である。返却は、販売契約（例えば注文）の変更を表し得、ｅコマースプラットフォーム１００は、（例えば、税に関する）法規違反に関するコンプライアンスの問題を商人に知らせ得る。いくつかの実施形態では、ｅコマースプラットフォーム１００は、商人が経時的に販売契約の変更を追跡することを可能とし、これは、販売モデルコンポーネント（例えば、アイテムに発生した販売関連のイベントを記録する追加専用の日にちベースの台帳）を通じて実装される。
ｅコマースプラットフォームにおける拡張現実の実装
拡張現実（ＡＲ）は、向上させられた顧客体験を提供するために、コマースにおいて用いられ得る。ｅコマースプラットフォーム１００は、各種の異なる用途（その例は、本明細書中のあらゆる場所で説明される）のうちのいずれかのためのＡＲを実装し得る。図３は、図１のｅコマースプラットフォーム１００であるがＡＲエンジン３００を含むｅコマースプラットフォームを例証している。ＡＲエンジン３００は、ｅコマースプラットフォーム１００、顧客デバイス１５０および／または商人デバイス１０２による使用のためのＡＲコンテンツを生成するコンピュータ実装システムの例である。
ＡＲエンジン３００は、図３において、ｅコマースプラットフォーム１００の明確なコンポーネントとして例証されているが、これは単なる例である。同様に、または、代わりに、ＡＲエンジンは、ｅコマースプラットフォーム１００の内部または外部に常駐する別のコンポーネントによって提供されることもある。いくつかの実施形態では、アプリケーション１４２Ａ－Ｂの一方または両方が、顧客および／または商人に利用可能なＡＲエンジンを提供する。さらに、いくつかの実施形態では、コマース管理エンジン１３６が、ＡＲエンジンを提供する。ｅコマースプラットフォーム１００は、１つ以上のパーティによって提供される複数のＡＲエンジンを含み得る。複数のＡＲエンジンは、同一の方式で、同様の方式で、および／または別個の方式で実装され得る。加えて、ＡＲエンジンの少なくとも一部は、商人デバイス１０２および／または顧客デバイス１５０において実装され得る。例えば、顧客デバイス１５０は、ソフトウェアアプリケーションとしてＡＲエンジンを記憶し、ローカルで実行し得る。
ＡＲエンジン３００は、本明細書中で説明される機能のうちの少なくともいくつかを実装し得る。以下で説明される実施形態は、ｅコマースプラットフォーム１００等（しかし、これに限定されない）のｅコマースプラットフォームに関連付けられて実装され得るが、以下で説明される実施形態は、図１～図３の具体的なｅコマースプラットフォーム１００に限定されない。さらに、本明細書中で説明される実施形態は、必ずしもｅコマースプラットフォームに関連付けられて実装される必要も、ｅコマースプラットフォームを伴う必要もない。概して、ＡＲの任意のアプリケーションが、本明細書中で開示されるシステムおよび方法を実装し得る。
コマースにおけるＡＲの用途
ＡＲは、ユーザの実世界環境に仮想コンテンツを補い、ユーザの実世界環境の知覚を変更し得る。ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ（ＳＬＡＭ）として知られているプロセスを通じて、ユーザの実世界環境の表現、およびその実世界環境内のユーザの位置が、ＡＲエンジンによって継続的にまたは断続的に決定され得る。本明細書中で用いられる場合、位置が向きおよび場所の両方を含み得ることが、留意されるべきである。そして、ユーザのためのＡＲ体験が、実世界環境の表現に１つ以上の仮想モデルをマッピングすることによって生成され得る。ユーザのためのＡＲコンテンツは、実世界環境上に重ねられる仮想モデルのレンダリング表現を含み得る。レンダリング表現は、実世界環境におけるユーザの相対的位置、および実世界環境への仮想モデルのマッピングを反映するように生成される。この方式では、ＡＲコンテンツは、ユーザのための実世界空間との仮想モデルのほぼシームレスな統合を提供し得る。
ＡＲは、顧客が物理的製品と相互作用することが可能でないとき、顧客が仮想製品を視認し、それと相互作用することを可能にし得る。例えば、ＡＲは、画像内で捕捉された実世界環境上に、製品の仮想表現を重ね合わせ得、それは、製品が実世界環境内に存在するように見えるようにし得る。画像は、顧客の家、または顧客に関係する別の場所の画像であり得、それは、顧客が彼らにとって関心がある環境内で製品を視認することを可能にする。いくつかの実装では、家具販売者は、顧客が彼らの家の中で仮想家具を視認することを可能にするために、ＡＲを用い得る。例えば、テレビの仮想表現が、ＡＲを用いて顧客のリビングルームのビデオストリーム上に重ね合わせられ得、それは、リビングルームにおけるテレビのサイズおよび見た目が認識されることを可能にする。
従来、ＡＲ体験は、単一のユーザおよび／または単一のユーザデバイスに限定されていた。テレビの仮想表現が顧客のリビングルームのビデオストリーム上に重ね合わせられる例を考慮されたい。この例では、ＡＲ体験は、リビングルームのビデオを捕捉している顧客に限定される。これは、いくつかの場合、ＡＲ体験の機能を限定し得る。例えば、顧客が遠隔の商人（すなわち、顧客と同一の場所にいない商人）に、テレビについての特定の質問を尋ねることを望むこともある。顧客が、テレビの仮想表現を視認しながら商人と話すこと、または商人とコミュニケーションすることが可能である場合であっても、顧客は、彼らの質問を商人へ明確に表現することが依然として困難であり得る。商人は、顧客が視認しているＡＲ体験を見ることができない。したがって、商人は、顧客がテレビのどの部分に言及しているのか分からず、顧客によって尋ねられている質問のための限定されたコンテキストを有する。例えば、顧客は、テレビの特定のコンポーネントについての質問を有し得るが、彼らがテレビのどのコンポーネントに言及しているのかを商人に説明することに苦闘し得る。同様のコメントが商人に当てはまり、商人も、テレビを（実世界において、または仮想的に）視認しているが、商人がテレビのどのコンポーネントに言及しているのかを顧客が分からない場合、商人は、彼らの応答を顧客に明確に説明することに苦闘し得る。
単一ユーザＡＲ体験の限定は、顧客と商人との間の相互作用に及ぶ。顧客が彼らのリビングルームのビデオストリーム上に重ね合わせられたテレビの仮想表現を視認している例に再度言及すると、このリビングルームは、別の個人と共有され得る。顧客と他の個人とは、２つの異なる場所にいることもあるが、テレビを視認しているとき、共同することを望み得る。顧客および他の個人の両方が、それぞれのＡＲ体験においてテレビを視認しており、互いに話すことが可能である場合であっても、顧客および他の個人は、依然として、他方がテレビのどのコンポーネントまたは側面を視認しているのかを決定することが困難であり得る。これは、顧客と他の個人との間のコミュニケーションおよび協働を妨げ得る。
さらに、顧客と他の個人の両方が、同一の場所からそれぞれのＡＲ体験においてテレビを視認している場合であっても、難題が存在し得る。いくつかの場合、顧客および他の個人は、両方とも同一の部屋（例えば、共有のリビングルーム）に位置しながらテレビを協働して共にショッピングすることを望み得る。ＡＲコンテンツは、典型的に、１人のユーザの観測点のために生成されるので、１人のユーザのために生成されたＡＲコンテンツを別のユーザと共有することは、困難である。モバイルデバイス、眼鏡のセット、またはヘッドセットの観測点は、他のデバイスが同一の部屋にある場合であっても、別のデバイスと共有することが難しい。
複数のユーザにＡＲ体験を拡張することは、ＡＲ体験内での協働を可能にし、ＡＲ体験の機能全体を向上させ得る。しかしながら、複数のユーザを同時に適応させ得るＡＲ体験を提供することには技術的難題が存在する。例えば、２人以上のユーザが異なる所からＡＲ体験にアクセスしているとき、効果的なコミュニケーションを可能にする態様でのＡＲ体験における各ユーザの位置決めおよびマッピングは、困難であり得る。
いくつかの実施形態がコマース用途のコンテキストで説明されるが、本開示は決してコマースに限定されないことが留意されるべきである。本明細書中で開示されるシステムおよび方法は、ＡＲの他の用途においても実装され得る。
マルチユーザＡＲ
本開示は、部分的に、マルチユーザＡＲコンテンツを生成するためのシステムおよび方法に関している。マルチユーザＡＲコンテンツは、異なる物理的位置にいる複数のユーザのための共有型ＡＲ体験を提供し得る。ユーザ間の物理的分離にもかかわらず、共有型ＡＲ体験に関するＡＲコンテンツは、各ユーザのために生成され得る。共有型ＡＲ体験は、例えば仮想アイテム等の仮想コンテンツを含む単一の仮想座標系を実装し得る。仮想座標系を画定した後、（例えば）ＳＬＡＭプロセスが、各ユーザを仮想座標系にマッピングし、ユーザのためのＡＲコンテンツを生成し得る。よって、このようにして、各ユーザは、共有型ＡＲ体験の独自の視点を通じて同一の仮想コンテンツを体験し得る。
いくつかの実施形態では、共有型ＡＲ体験において各ユーザのために生成されるＡＲコンテンツは、他のユーザの仮想表現を含み得る。これは、異なるユーザ間のコミュニケーションを向上させ、それによって、共有型ＡＲ体験内での協力および協働を促進することを助け得る。例えば、ユーザの仮想表現は、複数のユーザがＡＲ体験において仮想アイテムの互いの視認を認識することを可能にし、ユーザ間のコミュニケーションのためのコンテキストを提供し得る。各ユーザは、共有型ＡＲ体験において仮想アイテムを視認し、他のユーザがどのように仮想アイテムを視認しているのかを見ることが可能であり得る。コマース用途において、これは、例えば、複数のユーザが製品を視認し、他のユーザが製品をどのように視認しているのかを見ることを可能にし得る。
共有型ＡＲ体験におけるユーザのためのマルチユーザＡＲコンテンツは、音響コンテンツをさらに含み得る。この音響コンテンツは、例えば、共有型ＡＲ体験における他のユーザから取得され、他のユーザの発話の録音を含み得る。いくつかの実装では、音響コンテンツは、共有型ＡＲ体験において音響コンテンツが関連しているユーザまたはオブジェクトの位置に対応する方向性を含む。方向性音響は、ユーザが共有型ＡＲ体験における他のユーザまたはオブジェクトの相対的位置をより良く決定することを助け得る。一例では、第１のユーザがＡＲ体験において第２のユーザの視界にいない場合、方向性音響は、ＡＲ体験における第１のユーザの位置の指示を第２のユーザに依然として提供し得る。別の例では、ユーザが共有型ＡＲ体験において異なる位置で複数の他のユーザの仮想表現を見ることができ、かつ、他のユーザのうちの１人が話している場合、方向性音響は、他のユーザのうちの誰が話しているのかをユーザが決定することを助け得る。
いくつかの実施形態では、マルチユーザＡＲコンテンツは、仮想ユーザ相互作用を描写する。つまり、共有型ＡＲ体験内の１人のユーザの仮想相互作用が、ＡＲ体験における他のユーザ（単数または複数）に伝達される。そのような相互作用の例は、ユーザがＡＲ体験における仮想アイテムに向かってジェスチャすること、および、さらにユーザが仮想アイテムにタッチすることも含む。ＡＲ体験において仮想相互作用を表示することは、異なるユーザ間の非言語コミュニケーションを可能にすることを助け得る。
図４は、ある実施形態による、共有型ＡＲ体験のためのＡＲコンテンツ４０２を表示するユーザデバイス４００を例証している。共有型ＡＲ体験における第１のユーザは、ユーザデバイス４００を動作させ、ＡＲコンテンツ４０２を視認している。ユーザデバイス４００は、示されるように、第２のユーザが共有型ＡＲ体験に存在していることの指示４１０も表示する。第２のユーザは、異なるユーザデバイスを通じて共有型ＡＲ体験にアクセスしており、第１のユーザと異なる物理的場所に存在し得る。ユーザデバイス４００は、示されるように、共有型ＡＲ体験を退出するためのオプション４１２と、第２のユーザが第１のユーザの話を聞こえないようにユーザデバイス４００のマイクロフォンをミュートにするためのオプション４１４と、他の機能にアクセスするためのオプション４１６とをさらに表示し得る。
ＡＲコンテンツ４０２は、直立したキッチンミキサの仮想表現４０４と、第２のユーザの仮想表現４０６と、第２のユーザとミキサとの間の相互作用の仮想表現４０８とを含む。第２のユーザの仮想表現４０６は、モバイルフォンを保持する手の形態であり、相互作用の仮想表現４０８は、ミキサを指し示している手の形態であるが、これらは単なる例である。
仮想表現４０４、４０６、４０８は、仮想コンテンツの例である；しかしながら、ＡＲコンテンツ４０２は、触覚コンテンツおよび／または音響コンテンツをさらに含み得る。例えば、ＡＲコンテンツ４０２は、第１のユーザと第２のユーザとが互いに話すことができるように第２のユーザの声の記録を含み得る。
ＡＲコンテンツ４０２は、第１のユーザのキッチンの画像上に重ねられ、それによって、仮想表現４０４は、キッチンのカウンター上に実際に置かれているミキサを示している。いくつかの実装では、ＡＲコンテンツ４０２は、少なくとも部分的にＳＬＡＭプロセスを用いて生成される。ミキサの仮想表現４０４は、共有型ＡＲ体験の仮想座標系内に画定されるミキサの３次元（３Ｄ）モデルのレンダリング表現であり得る。仮想座標系は、ミキサのモデルがキッチンのカウンター上に位置付けられるように、第１のユーザのキッチンの表現にマッピングされる。この第１のユーザのキッチンの表現は、例えば、ユーザデバイス４００におけるカメラまたは他のセンサを用いて取得されている。仮想座標系が第１のユーザのキッチンの表現にマッピングされた後、キッチン内の第１のユーザの位置が、決定され、仮想座標系にマッピングされ得る。そして、モデルのレンダリング表現が、仮想座標系における第１のユーザおよびミキサの相対的位置に基づいて生成され得る。
ＡＲコンテンツ４０２を用いて、第１のユーザは、仮想表現４０４を通じてミキサを視認することと、仮想表現４０６に基づいて第２のユーザがどのようにミキサを視認しているのかを決定することと、仮想表現４０８を通じて第２のユーザがどのようにミキサと相互作用しているのかを決定することとを同時に行うことが可能である。このようにして、仮想表現４０４、４０６、４０８は、共有型ＡＲ体験における第１のユーザと第２のユーザとの間のコミュニケーションおよび協働を向上させ得る。
ＡＲコンテンツは、共有型ＡＲ体験における第２のユーザのためにも生成され得る。このＡＲコンテンツは、ミキサの仮想表現、第１のユーザの仮想表現、および／または第２のユーザとミキサとの間の相互作用の仮想表現を含み得る。第２のユーザのためのＡＲコンテンツは、第２のユーザを囲む実世界環境の表現上に重ねられ得る。
いくつかの実施形態では、共有型ＡＲ体験は、ＡＲコンテンツと他の仮想コンテンツとの組み合わせ物を提供する。例えば、図４の共有型ＡＲ体験において、第２のユーザは、ＡＲコンテンツを提供されないこともある。その代わり、第２のユーザは、仮想環境上に重ねられたミキサのモデルのレンダリング表現を含むＶＲコンテンツを提供され得る。あるいは、第２のユーザは、単に、モデルを操作する（例えば、回転させる、およびズームインする）性能を有するデバイスにおいて、ミキサの３Ｄモデルを視認し得る。
本開示の実施形態は、これから、図５～図２９を参照してより詳細に説明される。
マルチユーザＡＲコンテンツを生成すること
図５は、共有型ＡＲ体験のためのマルチユーザＡＲコンテンツを提供するための例示的システム５００を例証するブロック図である。システム５００は、ＡＲエンジン５０２と、ネットワーク５２０と、複数のユーザデバイス５３０ａ、５３０ｂとを含む。
ネットワーク５２０は、ＡＲエンジン５０２およびユーザデバイス５３０ａ、５３０ｂを含む異なるデバイス間の有線および／または無線の接続を実装するコンピュータネットワークであり得る。ネットワーク５２０は、当該技術分野において公知である任意の通信プロトコルを実装し得る。通信プロトコルの非限定的な例は、ローカルエリアネットワーク（ＬＡＮ）、無線ＬＡＮ、インターネットプロトコル（ＩＰ）ネットワーク、セルラーネットワークを含む。
ＡＲエンジン５０２は、マルチユーザＡＲコンテンツを含むＡＲコンテンツの生成をサポートする。例証されるように、ＡＲエンジン５０２は、プロセッサ５０４と、メモリ５０６と、ネットワークインタフェース５０８とを含む。プロセッサ５０４は、メモリ５０６内または別の非一過性のコンピュータ読み取り可能な媒体内に記憶されている命令を実行する１つ以上のプロセッサによって実装され得る。あるいは、プロセッサ５０４のうちのいくつかまたは全てが、特定用途向け集積回路（ＡＳＩＣ）、グラフィックス処理ユニット（ＧＰＵ）、またはプログラムされたフィールドプログラマブルゲートアレイ（ＦＰＧＡ）等の専用回路を用いて実装されることもある。
ネットワークインタフェース５０８は、ネットワーク５２０上での通信のために提供される。ネットワークインタフェース５０８の構造は、実装特有である。例えば、ネットワークインタフェース５０８は、ネットワークインタフェースカード（ＮＩＣ）、コンピュータポート（例えば、プラグまたはケーブルが接続する物理的アウトレット）、および／またはネットワークソケットを含み得る。
メモリ５０６は、仮想モデルレコード５１０、ユーザ空間レコード５１２、画像分析部５１４、仮想コンテンツ生成部５１６を記憶している。
仮想モデルレコード５１０は、アイテム、建物、場所、風景、人々、解剖学的特徴、動物、および／または任意の他のタイプのオブジェクトの仮想モデルを記憶している。これらの仮想モデルは、ＡＲ体験において実装され得る。例として、１人以上のユーザは、仮想モデルレコード５１０内に記憶されている仮想モデルを検索し、選択することによって、ＡＲ体験を構築し得る。そして、仮想モデルは、１人以上のユーザのためにＡＲ体験内で実装され、ユーザが仮想モデルを視認し、それと随意に相互作用することを可能にし得る。図４のＡＲ体験における直立したキッチンミキサのモデルは、仮想モデルレコード５１０内に記憶され得る仮想モデルの例である。
仮想モデルレコード５１０内に記憶されている仮想モデルのうちのいずれか、それらのうちの１つ、それらのうちのいくつか、またはそれらの全てが、３次元（３Ｄ）モデルであり得る。３Ｄモデルは、長さ、幅、および高さで定義されたエンティティの数学的表現である。３Ｄモデルは、３Ｄ仮想座標系内に位置付けられ、さもなければ画定され得、３Ｄ仮想座標系は、例えば、デカルト座標系、円筒座標系、または極座標系であり得る。３Ｄモデルは、３Ｄモデルが仮想座標系の中心にあるように仮想座標系の原点につなぎ止められ得る。３Ｄモデルは、全体的にコンピュータ生成され得るか、または実世界エンティティの測定値に基づいて生成され得る。実世界エンティティから３Ｄモデルを生成するための可能な方法は、写真測量（一連の２Ｄ画像から３Ｄモデルを創出する）、および３Ｄスキャン（オブジェクトの周りでスキャナを移動させ、全ての角度を捕捉する）を含む。
３Ｄモデルは、オブジェクトがＡＲ体験において種々の異なる角度で視認されることを可能にする。さらに、ユーザが３Ｄ性能（例えば、ヘッドセット等）を有するデバイスを用いてＡＲコンテンツを視認している場合、３Ｄモデルは、オブジェクトの３Ｄ表現がＡＲコンテンツ内で生成され、そこに含まれることを可能にする。例えば、オブジェクトの３Ｄ表現は、ユーザの各眼にオブジェクトのわずかに異なる視点を表示し、オブジェクトに３Ｄ効果を与えることによって達成され得る。
仮想モデルレコード５１０内に記憶されているモデルは、音響コンテンツおよび／または触覚コンテンツにも関連付けられ得る。例えば、仮想モデルレコード５１０は、モデルによって作成された音もしくはモデルに関連付けられた音、および／または、モデルの感触を提供し得る触覚フィードバックを記憶し得る。
仮想モデルレコード５１０内の仮想モデルは、数多くの異なる方式のうちの任意の方式で取得され得る。いくつかの実装では、仮想モデルのうちの少なくともいくつかが、例えば顧客または商人から等、ＡＲエンジン５０２のユーザから取得される。商人は、彼らの店舗で販売されている製品のうちのいずれか、それらのうちの１つ、それらのうちのいくつか、またはそれらの全てのための仮想モデルを生成し得る。これらの仮想モデルは、商人によってＡＲエンジン５０２に直接提供され得るか、または、ＡＲエンジン５０２は、ｅコマースプラットにおける商人のアカウントからおよび／または商人のオンラインストアから仮想モデルを取得し得る。仮想モデルは、例えばソーシャルメディアプラットフォーム等の他のプラットフォームからも取得され得る。加えて、いくつかの仮想モデルは、ＡＲエンジン５０２でローカルに生成され得る。例えば、ＡＲエンジン５０２によって取得された画像またはスキャンは、３Ｄモデルを生成するために用いられ得る。
ユーザ空間レコード５１２は、実世界空間および／または仮想空間の表現を記憶している。実世界空間の表現は、ＡＲコンテンツを提供するために仮想コンテンツに重ねられ得る実世界環境を画定し得、仮想空間の表現は、ＶＲコンテンツを提供するための仮想コンテンツに重ねられ得るコンピュータ生成環境を画定し得る。空間の表現は、ユーザ特有であり得る。例えば、空間の表現は、特定のユーザから取得され、および／または特定のユーザのために特別に生成され得る。しかしながら、これは、いつもそうではないこともある。その代わり、空間の表現は、一般的または非個人的であり得る。
空間の表現は、概して、空間の境界（例えば、部屋の壁）および空間内のオブジェクト（例えば、部屋内の構造物および人々）を含む空間の特徴を描く空間的情報を提供する。空間的情報は、空間における特徴のうちのいずれか、それらのうちのいくつか、またはそれら全てを識別し、空間における特徴の位置（場所および向きを含む）および寸法を提供し得る。そのような特徴の非限定的な例は、空間における表面、辺、および角を含む。つまり、空間の表現は、空間の地形図、レイアウト、またはモデルを３Ｄで提供し得る。
いくつかの場合、実世界空間の表現は、実世界の部屋、建物、領域、または他の物理的環境に対応する。例えば、実世界空間の表現は、ユーザデバイスによって捕捉された測定値を含み、または測定値から生成され得る。これらの測定値は、例えば、空間の１つ以上の光画像、レーダスキャン、ｌｉｄａｒスキャン、および／またはソナースキャンを含み得る。実世界空間の表現は、新たな測定値が受信されると、継続的または断続的に更新され得る。いくつかの実装では、実世界空間の表現は、ＳＬＡＭプロセスによって生成され得る。
上で留意されるように、ユーザ空間レコード５１２内に記憶されている空間の表現は、コンピュータ生成され得る。コンピュータ生成される空間の表現の例は、仮想空間と仮想空間内の任意のオブジェクトとの境界を画定するコンピュータ生成３Ｄモデルである。
画像分析部５１４は、ＡＲエンジン５０２によって受信されおよび／または記憶されている画像を分析するために提供される。いくつかの実装では、画像分析部５１４は、実世界空間の１つ以上の画像に基づいて実世界空間の表現を生成するために用いられる。画像分析は、実世界の表面、辺、および／または角を含む実世界空間の特徴を検出し得る。画像分析は、実世界空間のこれらの特徴の寸法および相対的位置も３Ｄで決定し得る。そして、実世界空間の表現は、特徴のサイズ、形状および位置に基づいて生成され、ユーザ空間レコード５１２内に随意に記憶され得る。
さらなる実装では、画像分析部５１４は、例えば、写真測量を通じてオブジェクトの仮想モデルを生成するために用いられる。これらの仮想モデルは、仮想モデルレコード５１０内に記憶され得る。
２つ以上画像が同時に画像分析部５１４に入力され得る。例えば、異なる位置から撮影された実世界空間の複数の画像は、境界の決定および実世界空間のより正確な表現を可能にし得る。複数の画像は、例えば、ビデオストリームから、または複数の異なるカメラから取得され得る。画像分析部５１４が実世界空間のためのビデオストリームを受信する場合、画像分析部５１４は、実世界空間の特徴の位置を特定するために、初期特徴検出動作を実施し得る。そして、これらの特徴は、リアルタイムでビデオストリームから受信されたその後の画像において追跡され得る。その後の画像において検出された新たな特徴は、実世界空間の表現を拡張するために、実世界空間の表現に追加され得る。
画像分析部５１４は、プロセッサ５０４によって実行可能なソフトウェア命令の形態で実装され得る。数多くの異なるアルゴリズムのうちのいずれかが、画像分析部５１４内に含まれ得る。そのようなアルゴリズムの非限定的な例は：
・表面、角、および／または辺検出アルゴリズム；
・オブジェクト認識アルゴリズム；
・運動検出アルゴリズム；および
・画像セグメンテーションアルゴリズム
を含む。
画像分析アルゴリズムに関するさらなる詳細は、Ｒｉｃｈａｒｄ ＳｚｅｌｉｓｋｉによるＣｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ：Ａｌｇｏｒｉｔｈｍｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ， ＩＳＢＮ：９７８－１―８４８８２－９３５－０（Ｓｐｒｉｎｇｅｒ， ２０１０）に見出され得、その内容は、それら全体が参照によって本明細書中に援用される。
仮想コンテンツ生成部５１６は、１人以上のユーザのための仮想コンテンツを生成することが可能である１つ以上のアルゴリズム（可能ならば、プロセッサ５０４によって実行可能なソフトウェア命令の形態）を採用し、および／またはそれを実装する。この仮想コンテンツは、共有型ＡＲ体験においてユーザのために生成されるＡＲコンテンツの基礎を形成し得る。仮想コンテンツの非限定的な例は：
・図４における直立したキッチンミキサの仮想表現４０４等、１つ以上のオブジェクトの仮想表現；
・図４における第２のユーザの仮想表現４０６等、１人以上のユーザの仮想表現；および
・図４における第２のユーザとミキサとの間の相互作用の仮想表現４０８等、１つ以上のユーザ相互作用の仮想表現
を含む。
特定のユーザのための仮想コンテンツを生成するために、仮想コンテンツ生成部５１６への可能な入力は、
・仮想座標系内に画定される１つ以上の仮想モデル。仮想モデルは、例えば、仮想モデルレコード５１０から取得され得る。
・ユーザに関連付けられる実世界空間または仮想空間の表現。空間の表現は、例えば、ユーザ空間レコード５１２から取得され得る。
・仮想座標系を空間にマッピングするための空間の表現内の仮想座標系のためのアンカーポイント。アンカーポイントは、例えば、ユーザデバイスから受信され得る。
・（例えばＡＲエンジンによって決定される）仮想座標系内のユーザの場所。
・（例えばＡＲエンジンによって決定される）仮想座標系内の１人以上の他のユーザの場所。
・（例えばＡＲエンジンによって決定される）仮想座標系内の１つ以上ユーザ相互作用の場所。
を含む。
仮想コンテンツ生成部５１６による仮想コンテンツ出力は、視覚コンテンツ、触覚コンテンツ、および／または音響コンテンツを含み得る。視覚コンテンツは、ユーザがＡＲ体験内で仮想オブジェクトを視認することを可能にし得、触覚コンテンツは、ユーザがＡＲ体験内で仮想オブジェクトにタッチし、触れることを可能にし得、音響コンテンツは、ユーザがＡＲ体験内で音を聞くことを可能にし得る。いくつかの実装では、視覚コンテンツ、触覚コンテンツおよび／または音響コンテンツは、ＡＲ体験の仮想座標系内の１人以上のユーザの位置（場所および向きを含む）に基づいて生成される。例えば、ユーザのための仮想コンテンツは、仮想座標系内のオブジェクトのモデルに対するユーザの相対的位置に基づいて、オブジェクトを描写し得る。触覚コンテンツは、仮想座標系内のオブジェクトに接しているユーザの１つ以上の解剖学的特徴に基づいて、オブジェクトにタッチしまたは触れる感覚を提供し得る。触覚コンテンツは、例えば、少なくとも部分的に嵌め込みハプティクスを有する衣服を用いて実装され得る。音響コンテンツは、仮想座標系内の音響コンテンツの源に対するユーザの位置に対応する方向性を有する空間的音響を実装し得る。いくつかの実装では、空間的音響は、ユーザの各耳内へ再生される音を独立して制御することによって生み出される。
ＡＲ体験において特定のユーザのために生成される仮想コンテンツの例を考慮されたい。仮想コンテンツは、ＡＲ体験におけるオブジェクトを描写する視覚コンテンツ、オブジェクトの触感を提供する触覚コンテンツ、およびオブジェクトによって作製される音を提供する音響コンテンツを含み得る。視覚コンテンツとして描写されるオブジェクトのサイズおよび位置は、ＡＲ体験の仮想座標系におけるオブジェクトに対するユーザの位置に対応し得る。同様に、音響コンテンツの方向性は、仮想座標系におけるオブジェクトに対するユーザの位置に対応し得る。オブジェクトがユーザの左にある場合、オブジェクトに関する音響コンテンツは、ユーザの左耳においてより大きくあり得る。触覚コンテンツは、ユーザがオブジェクトにタッチしている部分（例えば、ユーザが指または掌でオブジェクトに接触しているかどうか）およびユーザが仮想座標系においてタッチしているオブジェクトの部分に基づき得る。
仮想コンテンツは、仮想コンテンツ生成部５１６によって継続的または断続的に更新され、ＡＲ体験における変更および／または修正を反映し得る。ユーザがＡＲ体験の仮想座標系内で移動する場合、新たな仮想コンテンツが、仮想座標系内のユーザの新たな位置を反映するために生成され得る。例えば、ユーザが仮想座標系において仮想モデルに対して移動すると、モデルのレンダリング表現のサイズおよび向きがそれに応じて変化し得る。同様のコメントは、ユーザのための仮想コンテンツに含まれる音響コンテンツおよび触覚コンテンツにも当てはまり、それらも、ユーザが移動すると変化し得る。
いくつかの実装では、仮想コンテンツ生成部５１６によってユーザのために生成される仮想コンテンツは、ＡＲコンテンツである。ＡＲコンテンツは、ユーザを囲む実世界空間上に重ねられ、ＡＲ体験をユーザに提供する。これは、例えばカメラによって捕捉された実世界空間の画像上にＡＲコンテンツを重ねることを含み得る。あるいは、ＡＲコンテンツは、例えば、ＡＲヘッドセット内の透明ディスプレイを用いて実世界空間上に重ねられ得る。ＡＲコンテンツは、ユーザ空間レコード５１２内に記憶されている実世界空間の表現に基づいて生成され得る。
いくつかの実装では、仮想コンテンツ生成部５１６によってユーザのために提供される仮想コンテンツは、ＶＲコンテンツである。ＶＲコンテンツは、仮想空間の表現上に重ねられるオブジェクト、ユーザ、および／またはユーザ相互作用の１つ以上の仮想表現を含む。よって、ＶＲコンテンツは、全体的にコンピュータ生成され得る。仮想空間の表現は、例えばユーザ空間レコード５１２から取得され得る。
いくつかの実装では、仮想コンテンツ生成部５１６は、複数のユーザのための共有型ＡＲ体験を提供する。複数のユーザの各々のために生成される仮想コンテンツは、オブジェクト、ユーザ、および／またはユーザ相互作用の１つ以上の仮想モデルを画定する単一の仮想座標系に基づき得る。共有型ＡＲ体験における各ユーザは、仮想座標系内の位置（場所および向きを含む）を有し、各ユーザのために生成される仮想コンテンツは、彼らの位置に依存し得る。
ＡＲコンテンツは、常に共有型ＡＲ体験における全てのユーザのために生成されるわけではないこともあることが留意されるべきである。いくつかの実装では、共有型ＡＲ体験は、ＡＲコンテンツおよびＶＲコンテンツの組み合わせ物を提供する。例として、顧客が共有型ＡＲ体験において商人と相互作用しているとき、顧客は、彼らの実世界周囲環境に重ねられるＡＲコンテンツを受信し得、商人は、全体的にコンピュータ生成されるＶＲコンテンツを受信し得る。顧客および商人の両方が、共有型ＡＲ体験における商人によって販売される製品のモデルを視認し得る。顧客は、彼らの家の中で製品がどう見えるかを見ることを望み、したがって、彼らの実世界周囲環境上に重ねられるためのＡＲコンテンツを選択し得る。一方、商人は、単に顧客を支援するために共有型ＡＲ体験内にあり得、顧客が製品をどのような環境で視認するかに関心がないこともある。したがって、商人は、ＶＲコンテンツを選択し得る。あるいは、商人のための仮想コンテンツは、まったく環境に重ねられないこともある。商人は、単に、別の空白の空間において１つ以上の３Ｄモデルを視認していることもある。ＡＲコンテンツおよびＶＲコンテンツの両方が、商人／顧客の表現を含み、それは、協働型ＡＲ体験を可能にし得る。
画像分析部５１４および仮想コンテンツ生成部５１６は、別個のモデルとして例証されるが、これは単に例である。いくつかの実施形態は、画像分析部５１４および仮想コンテンツ生成部５１６の機能をメモリ５０６内または別の非一過のコンピュータ読み取り可能な媒体内に記憶されている単一のソフトウェアインスタンスとして組み合わせ得る。
ＡＲエンジン５０２によって生成されるＡＲコンテンツおよびＶＲコンテンツを含む仮想コンテンツは、ユーザデバイス５３０ａ、５３０ｂの一方または両方に出力され得る。そのため、ユーザデバイス５３０ａ、５３０ｂは、それぞれのユーザが共有型ＡＲ体験と係合することを可能にし得る。ユーザデバイスの非限定的な例は、モバイルフォン、タブレット、ラップトップ、プロジェクタ、ヘッドセット、およびコンピュータを含む。ユーザデバイスは、例えば、顧客によって所有されおよび／または動作させられる顧客デバイスであることも、商人によって所有されおよび／または動作させられる商人デバイスであることもある。いくつかの実装では、ユーザデバイス５３０ａ、５３０ｂの一方または両方は、衣服材料に埋め込まれたデバイス等の植え込みデバイスもしくはウェアラブルデバイス、または、眼鏡等のユーザによって着用されるデバイスを含み、それらに嵌め込まれたディスプレイは、ユーザが、実世界を視認し、同時に、実世界上に重ねられる仮想コンテンツを視認することを可能にする。
ユーザデバイス５３０ａは、プロセッサ５３２ａと、メモリ５３４ａと、ユーザインタフェース５３６ａと、ネットワークインタフェース５３８ａと、センサ５４０ａとを含む。同様に、ユーザデバイス５３０ｂは、プロセッサ５３２ｂと、メモリ５３４ｂと、ユーザインタフェース５３６ｂと、ネットワークインタフェース５３８ｂと、センサ５４０ｂとを含む。ユーザデバイス５３０ａは、以下で例として説明される。しかしながら、ユーザデバイス５３０ａの説明はユーザデバイス５３０ｂにも当てはまり得ることが留意されるべきである。
ユーザインタフェース５３６ａは、例えば、ディスプレイスクリーン（タッチスクリーンであり得る）、ジェスチャ認識システム、スピーカ、ヘッドフォン、マイクロフォン、ハプティクス、キーボード、および／またはマウスを含み得る。ユーザインタフェース５３６ａは、例えば、衣服および／またはアクセサリ内に埋め込まれたウェアラブルデバイスによって少なくとも部分的に実装され得る。ユーザインタフェース５３６ａは、視覚コンテンツ、触覚コンテンツ、および音響コンテンツを含む仮想コンテンツをユーザに提示し得る。ネットワークインタフェース５３８ａは、ネットワーク５２０上の通信のために提供される。ネットワークインタフェース５３８ａの構造は、ユーザデバイス５３０ａがどのようにネットワーク５２０とインタフェース接続するかに依存する。例えば、ユーザデバイス５３０ａがモバイルフォン、ヘッドセット、またはタブレットである場合、ネットワークインタフェース５３８ａは、ネットワーク５２０へ無線伝送を送信し、ネットワーク５２０から無線伝送を受信するためのアンテナを有するトランスミッタ／レシーバを含み得る。ユーザデバイスがネットワークケーブルでネットワークに接続されるパーソナルコンピュータである場合、ネットワークインタフェース５３８ａは、例えば、ＮＩＣ、コンピュータポート、および／またはネットワークソケットを含み得る。プロセッサ５３２ａは、ユーザデバイス５３０ａによって実施される動作の全てを直接実施し、またはそれを命令する。これらの動作の例は、ユーザインタフェース５３６ａから受信されたユーザ入力を処理することと、ネットワーク５２０上での伝送のために情報を準備することと、ネットワーク５２０上で受信されたデータを処理することと、ディスプレイスクリーンに情報を表示することを命令することとを含む。プロセッサ５３２ａは、メモリ５３４ａ内に記憶されている命令を実行する１つ以上のプロセッサによって実装され得る。あるいは、プロセッサ５３２ａのうちのいくつかまたはその全てが、ＡＳＩＣ、ＧＰＵ、またはプログラムされたＦＰＧＡ等の専用回路を用いて実装され得る。
センサ５４０ａは、ユーザデバイス５３０ａを囲む実世界環境の測定値を取得するために提供される。これらの測定値は、例えば、実世界空間および／またはオブジェクトの３Ｄモデルの表現を生成するために用いられ得る。実世界空間の表現は、ユーザ空間レコード５１２内に記憶され得、オブジェクトの３Ｄモデルは、仮想モデルレコード５１０内に記憶され得る。
センサ５４０ａは、例えば、１つ以上のカメラ、レーダセンサ、ｌｉｄａｒセンサ、およびソナーセンサを含み得る。カメラの場合、捕捉された画像は、画像分析部５１４によって処理され得る。レーダセンサ、ｌｉｄａｒセンサ、およびソナーセンサから取得された測定値も、ＡＲエンジン５０２によって処理され得る。センサ５４０ａはユーザデバイス５３０ａのコンポーネントとして示されるが、センサ５４０ａは、同様に、または、代わりに、ユーザデバイス５３０ａから分離して実装され得、例えば有線接続および／または無線通信を介してユーザデバイス５３０ａおよび／またはＡＲエンジン５０２と通信し得る。
いくつかの実装では、ユーザデバイス５３０ａが、ＡＲ性能を有する。例えば、ＡＲエンジン５０２と同様のＡＲエンジンは、ユーザデバイス５３０ａにおいて部分的にまたは全体的に実装され得る。ソフトウェアアプリケーションまたはインスタンスは、仮想コンテンツをローカルで（すなわち、ユーザデバイス５３０ａで）生成するユーザデバイス５３０ａにインストールされ得る。ソフトウェアアプリケーションは、ＡＲエンジン５０２から、仮想モデルレコード５１０、ユーザ空間レコード５１２、画像分析部５１４、および／または仮想コンテンツ生成部５１６を受信し得る。
図５では、２つのユーザデバイスが例として示される。２つより多くのユーザデバイスが、ＡＲエンジン５０２と通信し得る。
ＡＲエンジン５０２は、例として提供される。ＡＲエンジンの他の実装も想定される。いくつかの実装では、ＡＲエンジンは、ｅコマースの核となる機能としてか、または、ｅコマースプラットフォームによってもしくはそれと通信してサポートされるアプリケーションもしくはサービスとして、少なくとも部分的にｅコマースプラットフォームによって提供される。いくつかの実装では、ＡＲエンジンは、顧客デバイスまたは商人デバイス等のユーザデバイスによって少なくとも部分的に実装される。いくつかの実装では、ＡＲエンジンは、ＡＲコンテンツを生成するためのスタンドアロン型サービスとして実装される。ＡＲエンジン５０２は、単一のコンポーネントとして示されているが、ＡＲエンジンは、代わりに、ネットワークを介して通信している複数の異なるコンポーネントによって提供され得る。
ユーザの仮想表現を有するマルチユーザＡＲコンテンツを生成すること
図６は、ある実施形態による共有型ＡＲ体験のためのＡＲコンテンツを生成する方法６００を例証するフロー図である。方法６００は、図５のＡＲエンジン５０２によって実施されるように説明され、共有型ＡＲ体験は、ユーザデバイス５３０ａのユーザ（「第１のユーザ」と称される）と、ユーザデバイス５３０ｂのユーザ（「第２のユーザ」と称される）とを少なくとも含む。しかしながら、方法６００の一部は、代わりに、例えば、ユーザデバイス５３０ａおよび／またはユーザデバイス５３０ｂ等の別の場所で実施され得る。
ステップ６０２は、プロセッサ５０４がユーザデバイス５３０ａ、５３０ｂの一方または両方から受信された命令に基づいて共有型ＡＲ体験を開始することを含む随意のステップである。共有型ＡＲ体験は、数多くの異なる方式のうちのいずれかで開始され得る。一例では、第１のユーザが、ユーザデバイス５３０ａにおいて個人的ＡＲ体験を開始し得る。そして、第１のユーザは、ＡＲ体験に第２のユーザを招待し、共有型ＡＲ体験を創出し得る。別の例では、ＡＲ体験は、第１のユーザおよび第２のユーザのために同時に開始され得る。したがって、ＡＲ体験は、マルチユーザＡＲ体験として開始される。
ステップ６０４は、プロセッサ５０４が共有型ＡＲ体験のためのアイテムのモデルを取得することを含む。このモデルは、３Ｄモデルであり得る。いくつかの実装では、アイテムのモデルは、仮想モデルレコード５１０から取得される。第１のユーザおよび／または第２のユーザは、第１のユーザおよび／または第２のユーザが共有型ＡＲ体験において視認することを望む特定のアイテムに基づいて、仮想モデルレコード５１０からモデルを選択し得る。例えば、第１のユーザが商人によって販売されている特定の製品を視認することを望む場合、ステップ６０４は、第１のユーザが仮想モデルレコード５１０内のこの製品を検索し、製品のモデルを選択することを含み得る。他の実装では、アイテムのモデルは、ユーザデバイス５３０ａ、５３０ｂのうちの１つから直接取得され得る。
ステップ６０４において取得されたアイテムのモデルは、仮想座標系内に位置付けられまたはさもなければ画定され得る。モデルは、仮想座標系の原点につなぎ留められ得、それによって、モデルは、仮想座標系の中心にある。アイテムの寸法は、モデルによって画定され得、それは、アイテムがアイテムの物理的サイズを反映するように仮想座標系内に適切にスケーリングされることを可能にする。
いくつかの実装では、アイテムの複数のモデルが、ステップ６０４において取得され、共有型ＡＲ体験内に含まれ得る。これらの複数のモデルは、一度に、または異なるときに取得され得、第１のユーザ、第２のユーザ、または両者によって選択され得る。
ステップ６０６は、プロセッサ５０４が仮想座標系内の第１のユーザの位置を決定することを含む。仮想座標系における第１のユーザの位置が、仮想座標系における第１のユーザの座標のみならず、仮想座標系における第１のユーザの向きも含み得ることが、留意されるべきである。ステップ６０６に続いて、アイテムのモデルおよび第１のユーザが、仮想座標系内に画定されたそれぞれの位置を有し、それは、第１のユーザに対するモデルの位置が決定されることを可能にする。
いくつかの実装では、第１のユーザの位置は、ユーザデバイス５３０ａによって取得された第１の情報に基づいて決定される。第１の情報は、ネットワーク５２０を介してユーザデバイス５３０ａによってＡＲエンジン５０２に伝送され得る。第１の情報の形態は、本明細書中で限定されない。いくつかの実装では、第１の情報は、第１のユーザに関連付けられた空間の表現を含むかまたはそれを提供する。この空間は、第１のユーザがアイテムのモデルを視認し得る設定または環境を提供する。そして、仮想座標系は、仮想座標系内の第１のユーザの位置を決定するために、空間の表現にマッピングされ得る。
いくつかの場合、第１のユーザに関連付けられた空間は、第１のユーザが物理的に存在している３Ｄの実世界空間である。例えば、実世界空間は、第１のユーザの家の部屋であり得る。第１の情報は、ユーザデバイス５３０ａによって収集される実世界空間の測定値を含み得る。そして、実世界空間の表現は、これらの測定値から生成され得る。測定値が光画像を含む場合、画像分析部５１４は、実世界空間の表現を生成するために画像を処理することを助け得る。測定値の他の例は、実世界空間のレーダスキャン、ｌｉｄａｒスキャン、およびソナースキャンを含む。実世界空間の表現は、ユーザ空間レコード５１２内に記憶され得る。
他の場合、第１の情報は、ユーザ空間レコード５１２からの空間の以前に生成された表現の選択物を含み得る。この空間は、第１のユーザに特有の場所（例えば、第１のユーザの家の部屋等）に対応し得、第１のユーザから以前に取得された測定値に基づき得る。
ステップ６０６において、空間における第１のユーザの位置（場所および向きを含む）が、おそらく、ユーザデバイス５３０ａによって取得された第１の情報に基づいて決定され得る。例えば、第１の情報は、空間内の第１のユーザの位置の指示を含み得る。いくつかの場合、第１のユーザの位置は、ユーザデバイス５３０ａの位置に等しいとみなされる。そのような場合の例は、ユーザデバイス５３０ａが、第１のユーザによって保持され、取り付けられ、および／または動作させられるスマートフォンまたはヘッドセットであるときを含む。これらの場合、ステップ６０６は、空間におけるユーザデバイス５３０ａの位置を決定することを含み得、第１のユーザの位置は、ユーザデバイス５３０ａの位置から推測される。
空間の表現がユーザデバイス５３０ａによって取得された測定値に基づいて決定される場合、第１のユーザの位置も、測定値から決定され得る。例えば、測定値の分析は、空間における第１のユーザまたはユーザデバイス５３０ａから１つ以上の表面までの距離の決定を可能にし得る。Ｌｉｄａｒおよびレーダは、表面への距離を決定するための測距性能を有する。さらに、画像分析部５１４によって実施される画像分析は、加えて、または、あるいは、表面までの距離を光画像から決定するために用いられることもある。第１のユーザまたはユーザデバイス５３０ａから空間内の１つ以上の表面までの距離が既知であるとき、空間内の第１のユーザおよび／またはユーザデバイス５３０ａの位置は、三角測量または他の手段を通じて決定され得る。同様に、または、代わりに、全世界位置システム（ＧＰＳ）データが、空間内のユーザデバイス５３０ａの位置を決定するために用いられ得る。いくつかの場合、実世界空間の表現を生成し実世界空間内の第１のユーザの位置を決定するプロセスは、ＳＬＡＭプロセスを用いて実施され得る。
同様に、または、代わりに、空間内の第１のユーザの位置の明示的な指示は、第１の情報によって提供され得る。例えば、空間内の第１のユーザおよび／またはユーザデバイス５３０ａの座標は、ＡＲエンジン５０２に直接提供され得る。
第１の情報が空間の表現を提供する場合、ステップ６０６は、空間の表現に仮想座標系をマッピングすることを含み得る。これは、空間内のステップ６０４で取得されたモデルの位置（場所および向きを含む）を取得することを伴い得る。いくつかの場合、第１の情報は、空間内のモデルの所望される位置の選択または指示を含む。例えば、第１のユーザは、ユーザデバイス５３０ａを用いて、彼らが空間内に特定の場所および向きでアイテムのモデルを位置付けることを望むことを示し得る。モデルのこの位置は、空間に仮想座標系をマッピングするためのアンカーポイントとして用いられ得る。そして、仮想座標系およびモデルは、空間に対して固定され得る。
ステップ６０６において、空間の表現を取得し、空間内の第１のユーザの位置を決定し、空間に仮想座標系をマッピングした後、仮想座標系内の第１のユーザの位置が決定され得る。
ステップ６０８は、プロセッサ５０４が仮想座標系内の第２のユーザの位置を決定することを含む。仮想座標系における第２のユーザの位置は、仮想座標系における第２のユーザの座標のみならず、仮想座標系における第２のユーザの向きも含み得る。ステップ６０８に続いて、第１のユーザ、第２のユーザ、およびアイテムのモデルは、仮想座標系内に画定されるそれぞれの位置を有する。これは、第２のユーザに対する第１のユーザの位置、およびモデルに対する第１のユーザの位置が決定されることを可能にし得る。
仮想座標系における第２のユーザの位置は、ステップ６０６に関して上記で説明されるそれらと同様の方法、および仮想座標系における第１のユーザの位置の決定を用いて決定され得る。いくつかの実装では、仮想座標系における第２のユーザの位置は、ユーザデバイス５３０ｂによって取得された第２の情報に基づいて決定され、ネットワーク５２０を介してＡＲエンジン５０２に伝送され得る。第２の情報は、第２のユーザに関連付けられた空間の表現を含み得る。いくつかの場合、第２のユーザに関連付けられた空間は、第１のユーザに関連付けられた実世界空間と異なる実世界空間である。例えば、第１のユーザに関連付けられた実世界空間と第２のユーザに関連付けられた実世界空間とは、互いに物理的に離れていることもある。よって、第１のユーザおよび第２のユーザは、異なる部屋、異なる建物、異なる街、または、さらに、異なる国にいることもある。
いくつかの実装では、第２のユーザのための空間の表現は、仮想空間のコンピュータ生成表現である。仮想空間は、第２のユーザに関連付けられている空間を表現し得るが、これは、必ずしも当てはまらないこともある。その代わり、仮想空間は、非個人的であるか、または一般的な空間であり得る。例えば、一般的な部屋が、仮想空間のコンピュータ生成表現として描写され得る。
ステップ６０８は、第２のユーザの関連付けられた空間内の第２のユーザの位置に基づいて、仮想座標系内の第２のユーザの位置を決定することを含み得る。第２のユーザの空間内の第２のユーザの位置は、例えば、ユーザデバイス５３０ｂから受信された測定値または明示的な指示を用いて決定され得る。いくつかの実装では、プロセッサ５０４は、ユーザデバイス５３０ｂから第２のユーザに関連付けられた空間内のアイテムのモデルの位置を取得する。そして、プロセッサ５０４は、空間内のモデルの位置に基づいて、第２のユーザの空間に仮想座標系をマッピングし得る。このマッピングは、仮想座標系内の第２のユーザの位置が決定されることを可能にし得る。
ステップ６０４、６０６、６０８にしたがって、単一の座標系における第１のユーザ、第２のユーザおよびアイテムのモデルのそれぞれの位置が、取得されている。仮想座標系は、第１のユーザおよび第２のユーザに関連付けられた異なる空間にマッピングされ得る。したがって、第１のユーザおよび第２のユーザは、彼らが選択した環境におけるアイテムのモデルと相互作用することができる。
ステップ６１０において、プロセッサ５０４は、第２のユーザの音響を取得する。例えば、第２のユーザ声が、ユーザデバイス５３０ｂ内のマイクロフォンによって記録され、ＡＲエンジン５０２に伝送され得る。第２のユーザの画像等の第２のユーザに関する他の情報も、ステップ６１０において収集され得る。例えば、ユーザデバイス５３０ｂは、モバイルデバイスであり得、モバイルデバイスは、第２のユーザを囲む実世界空間の画像を捕捉するための後向きカメラと、第２のユーザの顔の画像を捕捉するための前向きカメラとを有する。
ステップ６１２は、プロセッサ５０４が第１のユーザのためのＡＲコンテンツを生成することを含む。ＡＲコンテンツは、とりわけ、ステップ６０４において取得されたモデルのレンダリング表現、第２のユーザの仮想表現、音響コンテンツ、および／または触覚コンテンツを含み得る。いくつかの実装では、ＡＲコンテンツは、仮想コンテンツ生成部５１６を用いて生成される。
アイテムのモデルのレンダリング表現は、仮想座標系内の第１のユーザの位置に基づいて生成される。例えば、レンダリング表現において描写されるモデルの向きは、仮想座標系におけるモデルの第１のユーザの視点に対応し得る。さらに、レンダリング表現のサイズは、仮想座標系におけるモデルからの第１のユーザの距離に対応し得る。例えば、第１のユーザが仮想座標系におけるモデルからさらに離れて移動すると、第１のユーザのためのＡＲコンテンツにおけるモデルのサイズは減少し得る。
第２のユーザの仮想表現は、仮想座標系における第１のユーザの位置および第２のユーザの位置に基づき得る。例えば、仮想座標系における第１のユーザの位置に対する第２のユーザの位置は、第１のユーザと第２のユーザとの間の距離と、第１のユーザに対する第２のユーザの向きとを決定し得る。そして、この距離および向きは、第２のユーザの表現を生成するために用いられ得る。仮想座標系における第１のユーザと第２のユーザとの間の距離は、第２のユーザの仮想表現のサイズに反映され得る。第２のユーザの仮想表現は、仮想座標系における第２のユーザの向きの指示も含み得る。
ステップ６１２において生成されたＡＲコンテンツにおける第２のユーザの表現およびモデルのレンダリング表現は、仮想座標系におけるモデルに対する第２のユーザの位置を反映し得る。よって、第１のユーザのＡＲコンテンツは、モデルによって描写されるアイテムの第２のユーザの視点を伝達し得る。
いくつかの実装では、第２のユーザの表現は、第２のユーザを描写または表現するモデルを用いて生成される。このモデルは、仮想モデルレコード５１０から取得され、第２のユーザの位置において仮想座標系にマッピングされ得る。第２のユーザのモデルのレンダリング表現は、第２のユーザの表現として用いられ得る。第２のユーザのモデルは、第２のユーザの仮想アバターとみなされ得る。
第２のユーザの表現の形態は、本明細書中で限定されない。第２のユーザの表現は、第２のユーザの全身、第２のユーザの身体の一部（例えば、ユーザの顔）、および／または第２のユーザに関連付けられたいくつかのオブジェクトを描写し得る。しかしながら、第２のユーザの表現は、第２のユーザをまったく描写しないこともある。その代わり、第２のユーザの表現は、第２のユーザを表現するシンボルまたはオブジェクトであり得る。いくつかの場合、第２のユーザの表現は、仮想ユーザデバイスを含む。これらの場合のうちの少なくともいくつかでは、ステップ６０８で決定された第２のユーザの位置は、ユーザデバイス５３０ｂの位置に対応し得る。仮想ユーザデバイスの例は、図４の仮想表現４０６である。
いくつかの実装では、第２のユーザの仮想表現は、ステップ６１０で取得される第２のユーザの画像の少なくとも一部を含み得る。この画像は、第２のユーザの顔の画像であり得、第２のユーザの顔の画像は、第１のユーザのためのＡＲコンテンツにおける第２のユーザの表現に組み込まれ得る。そのため、第１のユーザは、第２のユーザのリアルタイムの顔の表情を視認し、それによって、より没入感のあるマルチユーザＡＲ体験を提供し得る。いくつかの場合、第２のユーザの顔の３Ｄモデルが、ユーザデバイス５３０ｂによって捕捉された複数の画像に基づいて生成され得る。この３Ｄモデルは、第２のユーザの顔の異なる図を生成し、仮想座標系における第１のユーザに対する第２のユーザの向きを反映するために用いられ得る。
第１のユーザのためのＡＲコンテンツにおける音響コンテンツは、ステップ６１０において取得された第２のユーザの音響を含むか、またはそれに基づき得る。この方式において、第１のユーザは、共有型ＡＲ体験における第２のユーザに話を聞くことが可能であり、これは、ユーザ間の言語的コミュニケーションを可能にし得る。加えて、または、あるいは、アイテムのモデルに関連付けられた音等の他の音響コンテンツが、ＡＲコンテンツに含まれ得る。
いくつかの実装では、音響コンテンツは、第１のユーザの位置、および、ユーザまたはオブジェクトが音響コンテンツにおける音を発生させる位置に基づいて空間化され得る。空間化された音響は、ユーザデバイス５３０ａ内の複数のスピーカによって伝達され得る方向性を有する。例として、ステップ６１０において取得された第２のユーザの録音に基づく音響コンテンツは、仮想座標系内の第１のユーザの位置に対する第２のユーザの位置に対応する方向性を含み得る。第２のユーザの位置が仮想座標系における第１のユーザの左にある場合、第２のユーザの録音は、ユーザデバイス５３０ａの左のスピーカにおいてのみ再生され得る。これは、第１のユーザが音響コンテンツに基づいて第２のユーザの相対的位置を認識することを可能にし、より没入感のあるＡＲ体験を提供し得る。
ステップ６１２で生成されたＡＲコンテンツに含まれる触覚コンテンツは、第１のユーザが、例えばアイテムのモデルおよび第２のユーザを含む共有型ＡＲ体験における他のオブジェクトに仮想的にタッチし、および触れることを可能にし得る。
ステップ６１４において、ＡＲコンテンツは、ユーザデバイス５３０ａでの提示のために、プロセッサ５０４によって出力される。これは、ネットワーク５２０を介してユーザデバイス５３０ａにＡＲコンテンツのうちの少なくともいくつかを伝送することを含み得る。例えば、ＡＲコンテンツにおける視覚コンテンツは、ユーザデバイス５３０ａのスクリーンに表示され得、ＡＲコンテンツにおける音響コンテンツは、ユーザデバイス５３０ａのスピーカで再生され得る。
いくつかの実装では、ＡＲコンテンツは、第１のユーザのための実世界空間の表現の少なくとも一部を含む。例えば、ユーザデバイス５３０ａでの提示の間、ＡＲコンテンツのうちの少なくともいくつか（例えば、モデルのレンダリング表現および第２のユーザの仮想表現を含む）は、ステップ６０６において取得された実世界空間の画像上に重ねられ得る。そのため、ＡＲコンテンツは、第１のユーザの実世界周囲環境上に重ね合わせられ得る。
ＡＲコンテンツを実世界空間の画像上に重ねることは、ＡＲエンジン５０２またはユーザデバイス５３０ａで実施され得る。例として、モデルのレンダリング表現および第２のユーザの仮想表現は、ＡＲエンジン５０２で生成され、そしてユーザデバイス５３０ａに伝送され得、モデルのレンダリング表現および第２のユーザの仮想表現は、ユーザデバイス５３０ａによって捕捉された画像上に重ねられる。あるいは、ＡＲコンテンツは、第１のユーザのための実世界空間の表現を含まないこともある。その代わり、ＡＲコンテンツは、ユーザデバイス５３０ａにおける透明ディスプレイで提示され、第１のユーザがＡＲコンテンツと実世界とを同時に視認することを可能にし得る。
図６においてステップ６１４からステップ６０６へのフィードバック矢印で例証されるように、ステップ６０６、６０８、６１０、６１２、６１４は、複数回繰り返され得る。これは、例えば、第１のユーザが共有型ＡＲ体験内でナビゲートし、応答として新たなＡＲコンテンツを受信することを可能にし得る。ステップ６１４の各段階で、第１のユーザのための更新されたＡＲコンテンツが、ユーザデバイス５３０ａに出力され、更新されたＡＲコンテンツは、アイテムのモデルの更新されたレンダリング表現、第２のユーザの更新された表現、新たな音響コンテンツ、および／または新たな触覚コンテンツを含み得る。
仮想座標系内の第１のユーザの位置が実世界空間内の第１のユーザの位置に基づいて決定される場合、ＡＲ体験内でのナビゲーションは、第１のユーザが実世界空間内で彼ら自身または彼らのユーザデバイス５３０ａを物理的に移動させることを含み得る。ユーザデバイス５３０ａからの測定値に基づいて、実世界空間における第１のユーザの更新された位置が、ステップ６０６の各段階で決定され得、その更新された位置が、実世界空間において固定されたままである仮想座標系にマッピングされ得る。仮想座標系における第２のユーザの更新された位置も、ステップ６０８の各段階で決定され得る。第１のユーザのための更新されたＡＲコンテンツは、そして、第１のユーザおよび第２のユーザの更新された位置に基づいて、ステップ６１２において生成され得る。ユーザデバイス５３０ａがステップ６０６の繰り返しを通じて実世界空間のより多くの測定値を捕捉すると、実世界空間の表現も、更新され得る。これは、実世界空間の表現に新たな特徴および／または領域を追加し得る。しかしながら、仮想座標系におけるアイテムのモデルの位置は、経時的に固定されたままであり、したがって、方法６００において一度だけ画定される必要があり得る。
図６におけるステップ６０２、６０４、６０６、６０８、６１０、６１２、６１４の順序が例としてのみ示されていることが留意されるべきである。ステップ６０２、６０４、６０６、６０８、６１０、６１２、６１４の異なる順序も想定される。例えば、ステップ６０８は、ステップ６０６の前に実施され得る。加えて、または、あるいは、ステップ６０２、６０４、６０６、６０８、６１０、６１２、６１４のうちの２つ以上が、同時に実施され得る。
方法６００は、第１のユーザのためのＡＲコンテンツの生成に関しているが、仮想コンテンツは、ＡＲエンジン５０２によって第２のユーザのためにも生成され得る。さらなるユーザも、共有型ＡＲ体験に存在し、ＡＲエンジン５０２によって生成される関連付けられた仮想コンテンツを受信し得る。第２のユーザのための仮想コンテンツは、例えば仮想コンテンツ生成部５１６を用いて生成されるＡＲコンテンツまたはＶＲコンテンツであり得る。そして、仮想コンテンツは、ユーザデバイス５３０ｂでの提示のために出力され得る。仮想コンテンツは：
・仮想座標系内での第２のユーザの位置に基づくモデルのレンダリング表現；
・仮想座標系内での第１のユーザの位置および第２のユーザの位置に基づく第１のユーザの表現；
・音響コンテンツ；および
・触覚コンテンツ
のうちのいずれか１つ以上を含み得る。
ＡＲコンテンツが第２のユーザのために生成される場合、ステップ６１０、６１２、６１４と同様のステップが、ＡＲコンテンツを生成するために実装され得る。あるいは、他の仮想コンテンツが、例えばモデルのレンダリング表現および／または第１のユーザの表現を仮想空間に加えることによって、第２のユーザのために生成され得る。仮想空間は、ユーザ空間レコード５１２から取得され得る。第２のユーザは、ユーザインタフェース５３６ｂを用いて共有型ＡＲ体験内でナビゲートし得る。例えば、ユーザインタフェース５３６ｂは、仮想座標系内の第２のユーザの位置を移動させるためのボタンを含み得る。
ここで、ある実施形態による、顧客および商人のための共有型ＡＲ体験を例証している図７～図１０への参照がなされる。顧客および商人は、異なる物理的場所にいるが、彼らのそれぞれのデバイスを用いて共有型ＡＲ体験における直立したキッチンミキサと仮想的に相互作用しているユーザである。図７は、第１の時点での共有型ＡＲ体験の仮想座標系７００の斜視図であり、図８は、第１の時点での共有型ＡＲ体験のためのＡＲコンテンツ８０２を表示する顧客デバイス８００を例証しており、図９は、第２の時点での共有型ＡＲ体験の仮想座標系７００の斜視図であり、図１０は、第２の時点での共有型ＡＲ体験のためのさらなるＡＲコンテンツ１００２を表示する顧客デバイス８００を例証している。図８および図１０において、顧客デバイス８００は、商人が共有型ＡＲ体験に存在していることを示す指示８１０、共有型ＡＲ体験を退出するためのオプション８１２、商人が顧客の話を聞こえないように顧客デバイス８００のマイクロフォンをミュートにするためのオプション８１４、および他の機能にアクセスするためのオプション８１６も表示している。図７～図１０の共有型ＡＲ体験は、少なくとも部分的に方法６００を用いて提供され得る。
図７～図１０に例証されている商人および顧客のための共有型ＡＲ体験は、数多くの異なる方法のうちのいずれかで開始され得る。いくつかの実装では、共有型ＡＲ体験は、方法６００のステップ６０２で開始される。一例では、顧客は、顧客デバイス８００において個人的ＡＲ体験を開始し、彼らのキッチンにおいて仮想的にミキサを視認し、および／またはそれと相互作用し得る。そして、顧客は、例えば顧客が商人にミキサに関する質問を有している場合、ＡＲ体験に商人を招待し得る。ＡＲ体験に商人を招待する行為が、マルチユーザＡＲ体験を開始し得る。別の例では、ＡＲ体験は、顧客と商人とのために同時に開始され得る。そのため、ＡＲ体験がマルチユーザＡＲ体験として開始される。顧客は、商人にミキサに関する質問を尋ねるために、商人との共有型ＡＲ体験を開始し得る。あるいは、顧客が、商人にミキサに関する質問を送り得、商人は、顧客の質問に答えることに役立つように、顧客との共有型ＡＲ体験を開始し得る。
図７および図９に示されるように、仮想座標系７００は、ｘ軸、ｙ軸およびｚ軸を含むデカルト座標系である。直立したキッチンミキサの３Ｄ仮想モデル７０２は、仮想座標系７００の原点に位置付けられている。モデル７０２の位置は、第１の時点と第２の時点との間で変化しない。そのため、モデル７０２は、仮想座標系７００につなぎ止められているとみなされ得る。いくつかの実装では、モデル７０２は、方法６００のステップ６０４において取得される。
顧客の３Ｄ仮想モデル７０４および商人の３Ｄ仮想モデル７０６も、仮想座標系７００内に位置付けられる。モデル７０４、７０６の各々は、仮想ユーザデバイスを保持する仮想の手を描写している。仮想座標系７００におけるモデル７０４の位置は、方法６００のステップ６０６で決定され得る顧客の位置に対応し、モデル７０６の位置は、方法６００のステップ６０８で決定され得る商人の位置に対応する。例えば、顧客デバイス８００から取得された情報に基づいて、仮想座標系７００内の顧客の位置が決定され得る。顧客デバイス８００は、光画像、ｌｉｄａｒおよび／またはレーダを通じて顧客のキッチンの表現を取得し、キッチン内での顧客の位置を決定し得る。顧客は、彼らがミキサのモデル７０２が特定の向きでキッチンカウンター上に位置付けられるべきことを望むことを示し得る。そして、仮想座標系７００は、図８および図１０に示されるように、キッチンカウンター上にミキサのモデル７０２を位置付けるために、キッチンの表現にマッピングされ得る。同様に、仮想座標系７００内の商人の位置は、商人デバイス（示されず）からの情報に基づいて決定され得る。
仮想座標系７００におけるモデル７０４、７０６の一方または両方の位置は、第１の時点と第２の時点との間で変化し得、位置の変化は、仮想座標系７００内での顧客および／または商人の移動に対応する。例えば、図７および図８に示されるように、第１の時点で、顧客および商人が、仮想座標系７００においてミキサのモデル７０２の概して反対側に位置付けられている。その後、図９および図１０に示される第２の時点において、顧客および商人は、仮想座標系７００において、ミキサのモデル７０２の同一の側に概して位置付けられる。第１の時点と第２の時点との間の顧客の移動は、顧客が彼らのキッチン内で物理的に移動することに対応し得る。顧客デバイス８００は、継続的に、測定値を通じてキッチンにおける顧客の位置を決定し、キッチンのカウンター上のミキサの固定位置を用いて、この位置を仮想座標系７００にマッピングし得る。
ＡＲコンテンツ８０２、１００２は、方法６００のステップ６１２の別の段階で生成され得るＡＲコンテンツの例である。ステップ６１２の第１の段階で、ＡＲコンテンツ８０２が生成され得る。ＡＲコンテンツ８０２は、ミキサの仮想表現８０４と、商人の仮想表現８０６とを含む。仮想表現８０４は、第１の時点での仮想座標系７００における顧客の位置に基づいて生成されたミキサのモデル７０２のレンダリング表現である。同様に、仮想表現８０６は、第１の時点での仮想座標系７００における顧客の位置および商人の位置に基づいて生成されたモデル７０６のレンダリング表現である。ステップ６１２の第２の段階で、ＡＲコンテンツ１００２が生成され得る。ＡＲコンテンツ１００２も、ミキサの仮想表現１００４を含み、ミキサの仮想表現１００４は、第２の時点での仮想座標系７００における顧客の位置に基づいて生成されたミキサのモデル７０２のレンダリング表現である。
例証されるように、ＡＲコンテンツ８０２、１００２は、顧客デバイス８００によって捕捉された顧客のキッチンの画像上に重ねられる。そのため、顧客は、仮想表現８０４、１００４を通じて、彼らのキッチンにおいてミキサを視認し得る。さらに、顧客は、商人の仮想表現８０６を通じて、第１の時点で商人がどのようにミキサを視認しているかを見ることができる。仮想表現８０６において描写されるモバイルデバイスの位置に基づいて、顧客は、商人の視点を認識し得る。仮想表現８０６において描写されるモバイルデバイスの向きは、仮想座標系７００における商人の向きの指示の例である。共有型ＡＲ体験によって、商人および顧客は、互いのミキサの視認を認識することが可能であり、それは、彼らのコミュニケーションのためのコンテキストを提供する。
図９に示されるように、商人は、第２の時点で、仮想座標系７００における顧客の視界にいない。したがって、ＡＲコンテンツ１００２は、商人の仮想表現を含まない。しかしながら、ＡＲコンテンツ１００２は、依然として、第２の時点での仮想座標系７００における商人の位置の指示を提供し得る。例えば、商人の声の記録に対応する音響コンテンツが、ＡＲコンテンツ１００２に含まれ得る。この音響コンテンツは、仮想座標系７００における顧客の位置に対する商人の位置に対応する方向性を含み得る。したがって、顧客は、音響コンテンツの方向性に基づいて、第２の時点での仮想座標系７００における商人の位置を決定することが可能であり得る。
図７～図１０に示されていないが、仮想コンテンツは、共有型ＡＲ体験において商人のためにも生成され得る。いくつかの実装では、商人のための仮想コンテンツは、ＡＲコンテンツである。しかしながら、仮想コンテンツは、その代わり、ＶＲコンテンツであるか、または単にミキサの３Ｄモデル７０２の図であり得る。商人のための仮想コンテンツは、商人デバイスに出力され得る。いくつかの実装では、商人のための仮想コンテンツは、顧客デバイス８００によって捕捉された画像を含み得る。これは、顧客が製品を使用することを望む実世界空間（すなわち、顧客のキッチン）への視界を商人に提供し得る。
ユーザ相互作用の仮想表現を有するマルチユーザＡＲコンテンツを生成すること
図６～図１０は、マルチユーザＡＲ体験における異なるユーザの仮想表現を実装することに関しており、それは、ＡＲ体験内でのユーザコミュニケーションを向上させることに役立ち得る。しかしながら、ＡＲ体験における複数のユーザ間のコミュニケーションを向上させる方法は、ユーザの仮想表現の実装に限定されない。本開示の別の側面は、仮想ユーザ相互作用を含むマルチユーザＡＲコンテンツを生成することに関している。このマルチユーザＡＲコンテンツは、複数の同時ユーザのための共有型相互作用可能ＡＲ体験を提供し得る。ＡＲ体験内での１人のユーザの仮想相互作用が、ＡＲ体験における他のユーザ（単数または複数）に伝達される。そのような相互作用の例は、ユーザがＡＲ体験における仮想アイテムに向かってジェスチャをすること、および、さらに、ユーザが仮想アイテムにタッチすることも含む。ＡＲ体験において仮想相互作用を表示することは、異なるユーザ間の非言語的コミュニケーションを向上させることを助け得る。
図１１は、ある実施形態による。仮想ユーザ相互作用を有する共有型ＡＲ体験のためのＡＲコンテンツを生成する方法１１００を例証するフロー図である。方法１１００は、図５のＡＲエンジン５０２によって実施されるように説明され、共有型ＡＲ体験は、ユーザデバイス５３０ａの第１のユーザと、ユーザデバイス５３０ｂの第２のユーザとを少なくとも含む。しかしながら、方法１１００の少なくとも一部は、代わりに、例えばユーザデバイス５３０ａおよび／またはユーザデバイス５３０ｂ等の別の場所で実施されることもある。
ステップ１１０２は、プロセッサ５０４が共有型ＡＲ体験における第１のユーザへの提示のための初期仮想コンテンツを生成することを含む随意のステップである。例えばＡＲコンテンツまたはＶＲコンテンツであり得るこの初期仮想コンテンツは、本明細書中で開示される任意の方法を用いて生成され得る。例えば、初期仮想コンテンツは、図６の方法６００を用いて生成されるＡＲコンテンツであり得る。初期仮想コンテンツは、共有型ＡＲ体験の仮想座標系内に画定された３Ｄモデルのレンダリング表現を含み得る。初期仮想コンテンツは、第２のユーザの仮想表現、音響コンテンツ、および／または触覚コンテンツ等の他のコンテンツも含み得る。
ステップ１１０４において、プロセッサ５０４は、ユーザデバイス５３０ａでの提示のために初期仮想コンテンツを出力する。そのため、第１のユーザは、ユーザデバイス５３０ａを介して初期仮想コンテンツを視認し、および／またはそれと相互作用することが可能である。いくつかの実装では、ステップ１１０２において生成される初期仮想コンテンツは、第２のユーザのために生成されるＡＲコンテンツである。したがって、第１のユーザは、第２のユーザがステップ１１０４において視認しているＡＲシーンを見ることができる。
ステップ１１０６は、プロセッサ５０４が第１のユーザとユーザデバイス５３０ａで提示される初期仮想コンテンツとの間の相互作用の位置を取得することを含む。そして、相互作用の位置は、メモリ５０６内、または別の非一過性のコンピュータ読み取り可能な媒体内に記憶され得る。第１のユーザと初期仮想コンテンツとの間の相互作用は、初期仮想コンテンツに関する第１のユーザによって実施される任意の行動を含み得る。例として、相互作用は、第１のユーザが初期仮想コンテンツにおいてモデルのレンダリング表現を仮想的に指し示すこと、それを掴むこと、または、それにタッチすることすら含み得る。モデルのレンダリング表現は、仮想座標系内に画定されるので、相互作用の位置は、仮想座標系内で決定され得る。いくつかの場合、相互作用のタイプも、ステップ１１０６で決定される。例えば、相互作用は、指し示す相互作用、掴む相互作用、またはタッチする相互作用として分類され得る。
第１のユーザと初期仮想コンテンツとの間の相互作用の位置は、数多くの異なる方式のうちのいずれかで決定され得、方式は、仮想コンテンツの形態に依存し得る。例えば、ＶＲコンテンツとのユーザ相互作用は、ＡＲコンテンツとのユーザ相互作用と異なり得、その結果、相互作用の位置を決定する方法は、ＡＲコンテンツのためとＶＲコンテンツのためとで異なり得る。
いくつかの実装では、第１のユーザと初期仮想コンテンツとの間の相互作用は、第１のユーザがユーザデバイス５３０ａを用いて初期仮想コンテンツにおける２次元（２Ｄ）ポイントを選択することを含む。例えば、ユーザデバイス５３０ａは、第１のユーザに初期仮想コンテンツの少なくとも一部を表示する２Ｄディスプレイスクリーンを含み得る。第１のユーザは、初期仮想コンテンツにおける２Ｄポイントに対応するディスプレイスクリーン上でのポイントを選択し得る。ディスプレイスクリーンがタッチスクリーンである場合、２Ｄポイントは、タッチアクションを用いて選択され得る。あるいは、２Ｄポイントは、例えばマウスカーソル等のカーソルを用いて選択され得る。いくつかの場合、第１のユーザは、初期仮想コンテンツにおけるモデルのレンダリング表現における特定のコンポーネントを指し示し得、２Ｄポイントは、モデルのレンダリング表現におけるこのコンポーネントに対応し得る。
第１のユーザによって選択される初期仮想コンテンツにおける２Ｄポイントは、仮想座標系内の相互作用の位置を決定するために、仮想座標系にマッピングされ得る。このマッピングは、仮想座標系内の第１のユーザの位置（場所および向きを含む）に基づき得る。方法６００のステップ６０６、６０８は、仮想座標系におけるユーザの位置を取得する例を提供する。
いくつかの実装では、初期仮想コンテンツにおける２Ｄポイントは、仮想座標系内の第１のユーザの位置に対応する仮想座標系の平面内の２Ｄポイントにマッピングされる。平面への法線ベクトルは、仮想座標系における第１のユーザの観測点または視点を画定する。そのため、平面内の２Ｄポイントを通って伸びる法線ベクトルは、仮想座標系における第１のユーザの視点の方向に伸びる３Ｄラインを提供し得る。法線ベクトルは、仮想座標系においてモデルと交差し得、仮想座標系において結果として生じる交差の３Ｄポイントは、第１のユーザと初期仮想コンテンツとの間の相互作用の位置の基礎を形成し得る。
よって、第１のユーザと初期仮想コンテンツとの間の相互作用が初期仮想コンテンツにおける２Ｄポイントの選択物を含むとき、相互作用の位置は、仮想座標系内の第１のユーザの位置のみならず、初期仮想コンテンツにおける２Ｄポイントの位置にも基づき得る。そのような場合、ステップ１１０６は、仮想座標系内の第１のユーザの位置に基づいて、仮想座標系の平面内の２Ｄポイントに初期仮想コンテンツ内の２Ｄポイントをマッピングすることを含み得る。そして、仮想座標系の平面内の２Ｄポイントを通って伸び、仮想座標系の平面に垂直であるベクトルが決定され得る。第１のユーザと初期仮想コンテンツとの間の相互作用の位置は、ベクトルがモデルと交差する仮想座標系内の交差の３Ｄポイントに基づき得る。相互作用の向きは、仮想座標系内のモデルに対するベクトルの向きに基づき得る。
いくつかの実装では、第１のユーザと初期仮想コンテンツとの間の相互作用は、共有型ＡＲ体験の仮想座標系にマッピングされる第１のユーザの特徴（例えば、第１のユーザの手）を用いて発生する。この第１のユーザの特徴は、第１のユーザが初期仮想コンテンツと相互作用するための任意の手段を含み得、いくつかの場合、ステップ１１０２で生成された初期仮想コンテンツの形態に依存する。第１のユーザの特徴は、３Ｄで制御可能であり得、それは、仮想座標系内の特徴の第１のユーザの拘束されない移動を可能にし得る。
第１のユーザと初期化王コンテンツとの間の相互作用が第１のユーザの特徴を用いて発生する場合、仮想座標系内の相互作用の位置は、仮想座標系内の特徴の位置に基づき得る。そのため、ステップ１１０６は、仮想座標系内の特徴の位置を取得することを含み得る。いくつかの実装では、仮想座標系内の特徴の位置は、第１のユーザに関連付けられた実世界空間または仮想空間内の特徴の位置に基づいて決定される。この空間の表現および空間内のモデルの位置が取得され得、それは、仮想座標系が空間内のモデルの位置に基づいて空間にマッピングされることを可能にし得る。このマッピングは、仮想座標系内の特徴の位置が、空間内の特徴の位置に基づいて決定されることを可能にする。空間内および／または仮想座標系内の第１のユーザの特徴の位置を決定することは、特徴の向きを決定することを含み得ることが留意されるべきである。仮想座標系を実世界空間または仮想空間にマッピングすることに関するさらなる詳細は、本明細書の他の場所でも見出され得る。
いくつかの実装では、第１のユーザのための初期仮想コンテンツは、ＡＲコンテンツを含み、第１のユーザの特徴は、実世界空間から仮想座標系へマッピングされる実世界特徴である。実世界特徴の例は、ユーザの手等の解剖学的特徴である。仮想座標系が第１のユーザを囲む実世界空間の表現にマッピングされる場合、仮想座標系における実世界特徴の位置が決定され得る。
いくつかの実装では、第１のユーザを囲む実世界空間の表現は、ユーザデバイス５３０ａによって捕捉された画像に基づいて生成される。ここで、空間内の第１のユーザの特徴の位置を決定することは、画像において画像分析を実施することを含み得る。画像分析は、画像分析部５１４を用いて実施され得る。例として、ユーザデバイス５３０ａは、第１のユーザの手を認識し得る画像または他の測定値を取得し、実世界空間内の手の位置を決定し得る。第１のユーザは、実世界空間における彼らの手の検出可能性を向上させることに役立つように、ＡＲ専用グローブを着用し得る。そして、第１のユーザの手の位置は、仮想座標系にマッピングされ得る。第１のユーザは、実世界空間内の彼らの手を移動させ得、それは、仮想座標系における第１のユーザの手の対応する移動をもたらし得る。したがって、第１のユーザは、例えば仮想座標系においてモデルを指し示し、またはそれにタッチすることによって、ＡＲコンテンツと相互作用し得る。
仮想座標系における第１のユーザの解剖学的特徴の位置は、第１のユーザと初期仮想コンテンツとの間の相互作用の位置に対応し得る。いくつかの実装では、実世界空間における第１のユーザの解剖学的特徴の検出が、初期仮想コンテンツとの相互作用とみなされ得る。したがって、仮想座標系における解剖学的特徴の位置は、継続的に決定され得る。いくつかの実装では、実世界空間における解剖学的特徴の測定値は、初期仮想コンテンツとの相互作用と解釈される解剖学的特徴によって実施される個別の行動を検出するために分析される。例えば、解剖学的特徴が第１のユーザの手である場合、指し示すことおよび掴むこと等のジェスチャが、検出され、相互作用と解釈され得る。そして、これらのジェスチャを実行するときの手の位置が、決定され得る。
第１のユーザの特徴は、常に実世界特徴であるわけではないこともある。その代わり、特徴は、ユーザデバイス５３０ａを用いて第１のユーザによって収集された仮想特徴であり得る。これは、初期仮想コンテンツが第２のユーザのために生成されたＶＲコンテンツであるかまたはＡＲシーンである場合に当てはまり得る。仮想特徴のある例は、ユーザデバイス５３０ａを用いて第１のユーザによって制御されるカーソルである。ユーザデバイス５３０ａは、カーソルの移動を可能にする１つ以上のコントロール（ジョイスティック等）を含み得る。カーソルは、共有型ＡＲ体験の仮想座標系にマッピングされ、第１のユーザがカーソルを仮想座標系内の３Ｄポイントにナビゲートすることを可能にし得る。カーソルは、初期仮想コンテンツと相互作用するために用いられ得、従って、カーソルの位置は、仮想座標系内での第１のユーザと初期仮想コンテンツとの間の相互作用の位置に対応し得る。
ステップ１１０６において第１のユーザと初期仮想コンテンツとの間の相互作用の位置を取得することは、ユーザデバイス５３０ａから情報を取得することを含み得る。この情報の形態は、第１のユーザと初期仮想コンテンツとの間の相互作用のタイプに依存する。相互作用が、第１のユーザデバイスを用いた初期仮想コンテンツにおける２Ｄポイントの選択を含む場合、ユーザデバイス５３０ａから取得された情報は、この２Ｄポイントの指示を含み得る。例えば、初期仮想コンテンツにおける２Ｄポイントに対応する座標またはピクセルは、ユーザデバイス５３０ａから取得された情報に含まれ得る。相互作用が、仮想座標系にマッピングされている第１のユーザの特徴の使用を含む場合、ユーザデバイス５３０ａから取得された情報は、第１のユーザの特徴の位置の指示を含み得る。そのような情報の例は、実世界空間における第１のユーザの解剖学的特徴の測定値、および／またはユーザデバイス５３０ａを用いて第１のユーザによって制御されるカーソルの位置の指示を含む。
いくつかの場合、ステップ１１０６が、共有型ＡＲ体験の仮想座標系における複数のユーザ相互作用の位置を取得することを含み得ることが、留意されるべきである。これらのユーザ相互作用は、共有型ＡＲ体験において、第１のユーザ、第２のユーザおよび／または他のユーザによって実施され得る。
いくつかの実装では、ステップ１１０６のうちの少なくともいくつかが、ユーザデバイス５３０ａによって実施され得る。例えば、ユーザデバイス５３０ａは、実世界空間および／または仮想座標系内の第１のユーザの解剖学的特徴の位置を取得することに役立つように用いられ得る。ユーザデバイス５３０ａは、画像分析を実施し、実世界空間内の特徴の位置を決定することに役立ち得る。
ステップ１１０８は、プロセッサ５０４が第２のユーザのためのＡＲコンテンツを生成することを含む。ＡＲコンテンツは、仮想座標系内の第２のユーザの位置に基づく共有型ＡＲ体験におけるモデルのレンダリング表現を含む。ユーザの位置を決定する例は、方法６００のステップ６０６、６０８において提供される。ＡＲコンテンツは、ステップ１１０６において決定された相互作用の位置、および随意に、仮想座標系における第１のユーザの位置に基づく、第１のユーザと初期仮想コンテンツとの間の相互作用の仮想表現をさらに含む。よって、ステップ１１０８において生成されたＡＲコンテンツを通じて、第２のユーザは、仮想座標系における第１のユーザの相互作用を視認し得る。これは、共有型ＡＲ体験におけるモデルを参照することを通じて第１のユーザと第２のユーザとが非言語的にコミュニケーションすることを可能にし得る。他のユーザ相互作用（共有型ＡＲ体験において、第１のユーザ、第２のユーザ、および／または別のユーザによって実施される）の仮想表現、第１のユーザの仮想表現、音響コンテンツ、および／または触覚コンテンツも、ステップ１１０８において生成されたＡＲコンテンツに含まれ得る。
ステップ１１０８において生成されたＡＲコンテンツは、仮想座標系内の第１のユーザ、第２のユーザ、第１のユーザの相互作用、およびモデルの相対的位置を反映し得る。そのため、第１のユーザと初期仮想コンテンツとの間の相互作用がモデルの特定のコンポーネントに対応する仮想座標系内の位置で発生する場合、ＡＲコンテンツは、このモデルの特定のコンポーネントでの相互作用を描写し得る。つまり、ＡＲコンテンツは、相互作用がモデルの特定のコンポーネントに対応することを示し得る。
ＡＲコンテンツにおける相互作用の仮想表現の形態は、本明細書中で限定さない。１つ以上のオブジェクト、シンボル、光、および／または色が、ＡＲコンテンツにおける相互作用の仮想表現を提供するために用いられ得る。一例では、相互作用が、第１のユーザがディスプレイスクリーンを用いて初期仮想コンテンツにおける２Ｄポイントを選択することを含む場合、相互作用の仮想表現は、仮想座標系における相互作用の位置が照射され、円で囲まれ、または異なる色に変化させられることを含み得る。別の例では、相互作用が、第１のユーザの手を用いて実施される実世界の指し示すジェスチャを含む場合、相互作用の仮想表現は、指し示すジェスチャを実施する手の形状のオブジェクトを含み得る。手の形状は、第１のユーザの手の測定された形状を反映し得る。
いくつかの実装では、ＡＲコンテンツにおける相互作用の仮想表現は、仮想座標系における相互作用の向きの指示を含む。相互作用の位置が２Ｄポイントから伸びるベクトルに基づいて決定される場合、相互作用の向きは、ベクトルの方向に基づき得る。相互作用の仮想表現は、例えば矢印を用いたベクトルの向きの指示を提供し得る。相互作用の位置が第１のユーザの特徴の位置に基づいている場合、相互作用の表現は、特徴の向きの指示を含み得る。例として、相互作用の仮想表現が仮想的な指し示すジェスチャを含む場合、指し示すジェスチャの向きは、仮想座標系における相互作用の向きに基づき得る。あるいは、指し示すジェスチャの向きは、第２のユーザの位置に（例えば、それにのみ）基づき得、それによって指し示すジェスチャは、第２のユーザに対して固定された向きにある。例えば、指し示すジェスチャの方向は、顧客が指し示すジェスチャの方向をより良く認識し得るように、顧客の観測点に対して垂直であり得る。
ステップ１１１０は、プロセッサ５０４がユーザデバイス５３０ｂでの提示のためにＡＲコンテンツを出力することを含む。いくつかの場合、ステップ１１１０は、方法６００のステップ６１４と同様の態様で実施される。
ステップ１１１０からステップ１１０２への矢印を用いて例証されるように、方法１１００は、複数回繰り返され得る。方法１１００の各段階において、更新された仮想コンテンツが、生成され、第１のユーザに提示され得、第１のユーザと仮想コンテンツとの間の相互作用の位置が、取得され得る。そして、相互作用の表現を含む更新されたＡＲコンテンツが、生成され、第２のユーザに提示され得る。第１のユーザは、方法１１００の複数の段階の間、彼らの相互作用を開始し、停止し、および／または変更し得、彼らの相互作用は、第２のユーザのために生成された更新されたＡＲコンテンツにおいて伝達され得る。
方法１１００が第２のユーザと第２のユーザのためのＡＲコンテンツとの間の相互作用の仮想表現を含む第１のユーザのためのＡＲコンテンツを生成するためにも実施され得ることが、留意されるべきである。これらの場合、ステップ１１０２、１１０４は、ステップ１１０８、１１１０と同様であり得るが、第２のユーザのためではなく第１のユーザのためのＡＲコンテンツを生成し得、ステップ１１０６は、第２のユーザとＡＲコンテンツとの間の相互作用の位置を決定し得る。
図１２～図１６は、共有型ＡＲ体験におけるユーザ相互作用の例を例証しており、共有型ＡＲ体験は、図７～図１０を参照して上記で議論されたものと同一のＡＲ体験である。共有型ＡＲ体験は、顧客および商人が仮想座標系７００において直立したキッチンミキサのモデル７０２と相互作用することを含む。図１２～図１６の共有型ＡＲ体験は、少なくとも部分的に方法１１００を用いて提供され得る。
図１２は、共有型ＡＲ体験のための仮想コンテンツ１２０２を表示する商人デバイス１２００を例証している。仮想コンテンツ１２０２は、空白の空間上に重ねられたミキサのモデル７０２のレンダリング表現１２０４を含む。モデル７０２のレンダリング表現１２０４は、仮想座標系７００におけるモデル７０２に対する商人の位置に基づいて生成される。仮想コンテンツ１２０２は、商人を囲むどの実世界空間上にも重ねられず、したがって、仮想コンテンツ１２０２は、ＶＲコンテンツとみなされ得る。いくつかの実装では、仮想コンテンツ１２０２は、方法１１００のステップ１１０２において生成される。商人デバイス１２００は、顧客が共有型ＡＲ体験に存在することの指示１２０８をさらに表示する。
商人は、商人デバイス１２００を用いて仮想コンテンツ１２０２と相互作用し得、商人と仮想コンテンツ１２０２との間のこの相互作用の位置は、方法１１００のステップ１１０６において決定され得る。
図１３および図１４は、商人と仮想コンテンツ１２０２との間の相互作用の第１の例を例証している。図１３は、第１の例示的相互作用の間の共有型ＡＲ体験のための仮想座標系７００の斜視図である。図１３は、ミキサのモデル７０２と、顧客のモデル７０４と、商人のモデル７０６とを含む。商人と仮想コンテンツ１２０２との間の第１の例示的相互作用において、商人は、彼らの指またはカーソルを用いて、仮想コンテンツ１２０２において２Ｄポイント（図１２において１２０６で示される）を選択する。選択された２Ｄポイント１２０６は、ミキサのつまみに対応する。仮想座標系７００における第１の例示的相互作用の位置を決定するために、仮想コンテンツ１２０２における選択された２Ｄポイント１２０６が、図１３に示される仮想座標系７００の平面１３００における２Ｄポイントにマッピングされる。平面１３００は、仮想座標系７００における商人の位置および視点に対応する。ベクトル１３０２は、平面１３００における２Ｄポイントから伸び、平面１３００に対して垂直である。ベクトル１３０２は、仮想座標系７００においてミキサのモデル７０２と交差する。図１３において１３０４で示される交差の３Ｄポイントは、ミキサのつまみに対応する。そして、商人と仮想コンテンツ１２０２との間の第１の例示的相互作用の位置が、仮想座標系７００における交差の３Ｄポイント１３０４と、随意にベクトル１３０２の向きとに基づいて決定され得る。
図１４は、商人と仮想コンテンツ１２０２との間の第１の例示的相互作用中の共有型ＡＲ体験のためのＡＲコンテンツ１４０２を表示する顧客デバイス８００を例証している。ＡＲコンテンツ１４０２は、仮想座標系７００における顧客、商人、およびミキサのモデル７０２のそれぞれの位置に基づくミキサのレンダリング表現１４０４と商人の仮想表現１４０６とを含む。ＡＲコンテンツ１４０２は、商人と仮想コンテンツ１２０２との間の第１の例示的相互作用の仮想表現１４０８をさらに含む。ＡＲコンテンツ１４０２における仮想表現１４０８は、顧客の位置に対する仮想座標系７００における交差の３Ｄポイント１３０４に基づいている。仮想表現１４０８は、ミキサのつまみの周りの円として描写されており、ミキサのつまみは、図１２の仮想コンテンツ１２０２において選択された２Ｄポイント１２０６で示される同じつまみである。したがって、商人および顧客は共有型ＡＲ体験において異なる視点を有するが、商人と仮想コンテンツ１２０２との間の第１の例示的相互作用は、顧客のためのＡＲコンテンツ１４０２において正確に描写される。いくつかの実装では、ＡＲコンテンツ１４０２は、方法１１００のステップ１１０８で生成される。
図１５および図１６は、商人と仮想コンテンツ１２０２との間の相互作用の第２の例を例証しており、商人は、彼らの実世界の手を用いて、ミキサのつまみを指し示している。図１５は、第２の例示的相互作用の間の共有型ＡＲ体験のための仮想座標系７００の斜視図である。図１５は、商人の手のモデル１５００を含む。モデル１５００の形状および位置は、ミキサのモデル７０２上のつまみを商人が指し示すジェスチャを描写する。
いくつかの実装では、商人デバイス１２００のカメラまたは別のセンサが、商人の手を検出し、商人を囲む実世界空間における商人の手の位置を決定するために用いられる。そして、仮想座標系７００における商人の手の位置が、本明細書中の別の場所で説明されるように、実世界空間に仮想座標系７００をマッピングすることによって決定され得る。
図１６は、商人と仮想コンテンツ１２０２との間の第２の例示的相互作用中の共有型ＡＲ体験のためのＡＲコンテンツ１６０２を表示する顧客デバイス８００を例証している。ＡＲコンテンツ１６０２は、仮想座標系７００における顧客およびミキサのモデル７０２のそれぞれの位置に基づくミキサのモデル７０２のレンダリング表現１６０４を含む。ＡＲコンテンツ１６０２は、商人と仮想コンテンツ１２０２との間の第２の例示的相互作用の仮想表現１６０６をさらに含む。ＡＲコンテンツ１６０２における仮想表現１６０６の位置は、顧客の位置に対する仮想座標系７００における商人の手のモデル１５００の位置に基づいている。仮想表現１６０６は、ミキサのつまみを指し示す仮想の手を描写するモデル１５００のレンダリング表現である。いくつかの実装では、ＡＲコンテンツ１６０２は、方法１１００のステップ１１０８において生成される。
商人と仮想コンテンツ１２０２との間の第１の例示的相互作用および第２の例示的相互作用が商人のために生成されるさらなる仮想コンテンツにおいても提示され得ることが、留意されるべきである。
共有型ＡＲ体験を修正すること
本開示のいくつかの実施形態は、共有型ＡＲ体験を修正する方法を提供する。これらの方法は、共有型ＡＲ体験における１つ以上のユーザの観測点または視点を修正することを含み得る。概して、共有型ＡＲ体験における各ユーザは、共有型ＡＲ体験の仮想座標系内のユーザの位置に部分的に基づく共有型ＡＲ体験内の異なる観測点を有し得る。ユーザの観測点は、ユーザのために生成される仮想コンテンツに反映されている。例えば、仮想アイテムの描写は、共有型ＡＲ体験における仮想アイテムのユーザの視点に基づく。本明細書中で開示される共有型ＡＲ体験への修正は、共有型ＡＲ体験における１つ以上のユーザ観測点を変更し、異なるユーザ間の協力および協働を潜在的に向上させ得る。
本開示のある側面によると、共有型ＡＲ体験の仮想座標系における１人のユーザの位置は、別のユーザの位置に合致するように修正され得る。そして、２人のユーザは、ＡＲ体験内で共有された観測点または共通の観測点を有し得る。有利なことに、ユーザ観測点が共有されることを可能にすることは、ＡＲ体験内でのコミュニケーションおよび協働を向上させ得る。２つのユーザ観測点が少なくとも一時的に重なる場合、２人のユーザは、ＡＲ体験内で実質的に同じ基準系を有し得る。これらの実質的に同じ基準系は、２人のユーザ間でのコミュニケーションのために有意なコンテキストを提供し得る。例えば、図４の共有型ＡＲ体験を参照すると、第１のユーザは、第２のユーザと実質的に同じミキサの図を有するために、第２のユーザの視点からミキサを視認することを要求し得る。
図１７は、ある実施形態による共有型ＡＲ体験におけるユーザの観測点を修正する方法１７００を例証するフロー図である。方法１７００は、図５のＡＲエンジン５０２によって実施されるように説明され、共有型ＡＲ体験は、ユーザデバイス５３０ａの第１のユーザと、ユーザデバイス５３０ｂの第２のユーザとを少なくとも含む。しかしながら、その代わり、方法１７００の少なくとも一部が、例えばユーザデバイス５３０ａおよび／またはユーザデバイス５３０ｂ等の他の場所で実施されることもある。
ステップ１７０２は、プロセッサ５０４が第１のユーザのための第１のＡＲコンテンツを生成することを含む。第１のＡＲコンテンツは、共有型ＡＲ体験の仮想座標系内につなぎ留められまたは画定されるモデルの第１のレンダリング表現を含む。このモデルは、例えばアイテムの３Ｄモデルであり得る。随意に、第１のＡＲコンテンツは、第２のユーザの仮想表現、１つ以上の仮想ユーザ相互作用の仮想表現、音響コンテンツ、および／または触覚コンテンツも含み得る。ステップ１７０４において、プロセッサ５０４は、ユーザデバイス５３０ａでの提示のために第１のＡＲコンテンツを出力する。
いくつかの実装では、ステップ１７０２、１７０４は、方法６００のステップ６０２、６０４、６０６、６０８、６１０、６１２、６１４のうちのいずれか、それらのうちのいくつか、もしくはそれらの全てと同様であり、ならびに／または、方法１１００のステップ１１０６、１１０８、１１１０のうちのいずれか、それらのうちのいくつか、もしくはそれらの全てと同様である。
ステップ１７０２において生成されるＡＲコンテンツにおけるモデルの第１のレンダリング表現は、共有型ＡＲ体験の仮想座標系内の第１のユーザの初期位置に基づいている。仮想座標系における第１のユーザの位置は、第１のユーザの座標および向きを含み得る。そのため、第１のレンダリング表現は、仮想座標系における第１のユーザの初期位置における第１のユーザの観測点からのものである。
いくつかの場合、ステップ１７０２は、ユーザデバイス５３０ａによって取得された第１の情報に基づいて、仮想座標系内の第１のユーザの初期位置を決定することを含む。例えば、ユーザデバイス５３０ａから受信される第１の情報は、第１のユーザを囲む実世界空間の表現を含み得る。そして、仮想座標系内の第１のユーザの初期位置を決定することは、空間内のモデルの位置を取得することと、空間内のモデルの位置に基づいて空間に仮想座標系をマッピングすることと、空間内の第１のユーザの位置を決定することとを含み得る。仮想座標系内の第１のユーザの初期位置は、空間内の第１のユーザの位置に基づいて決定され得る。仮想座標系内のユーザの位置を決定することのさらなる詳細および例は、方法６００のステップ６０６を参照して上記で提供される。
仮想コンテンツは、共有型ＡＲ体験における第２のユーザのためにも生成され得、仮想コンテンツは、仮想座標系における第２のユーザの位置に基づくモデルのレンダリング表現を含み得る。仮想座標系における第２のユーザの位置は、第２のユーザの座標および向きを含み得る。第１のユーザは、最初、仮想座標系内で第２のユーザと異なる位置にいる。したがって、第１のユーザおよび第２のユーザは、異なる視点からモデルを視認し得る。しかしながら、異なる視点からモデルを視認することは、いくつかの状況においてコミュニケーションを妨げ得る。例えば、第２のユーザは、第１のユーザのための視界にないモデルの特定のコンポーネントに言及することもある。よって、第１のユーザは、仮想座標系内の第２のユーザの位置および観測点からモデルを視認するための要求を生成し得る。あるいは、第２のユーザが、彼らの位置から第１のユーザがモデルを視認する要求を生成することもある。
ステップ１７０６は、プロセッサ５０４が仮想座標系内で第１のユーザを第２のユーザの位置に位置替えするための命令を取得することを含む。そして、命令が、メモリ５０６内または別の非一過性のコンピュータ読み取り可能な媒体内に記憶され得る。ステップ１７０６で取得される命令の例は、第１のユーザが仮想座標系内の第２のユーザの観測点からモデルを視認するための要求である。上記で留意されるように、命令は、ユーザデバイス５３０ａを介して第１のユーザから、および／またはユーザデバイス５３０ｂを介して第２のユーザから、受信され得る。
数多くの異なる動作のうちのいずれかが、第１のユーザまたは第２のユーザによって実施され、仮想座標系内での第２のユーザの位置への第１のユーザの位置替えをトリガするように作用するユーザデバイスへの命令を生成し得る。ある例では、ステップ１７０２において第１のユーザのために生成されるＡＲコンテンツは、仮想座標系内の異なる位置における第２のユーザの表現を含む。ユーザデバイス５３０ａを通じて、第１のユーザは、ＡＲコンテンツにおける第２のユーザの表現を選択し得る。そして、ユーザデバイス５３０ａは、仮想座標系内で第２のユーザの位置に仮想的に移動するためのオプションを表示し得る。
ステップ１７０８は、プロセッサ５０４が第１のユーザのための第２のＡＲコンテンツを生成することを含む。第２のＡＲコンテンツは、仮想座標系内の第２のユーザの位置に基づくモデルの第２のレンダリング表現を含む。つまり、第１のユーザは、仮想座標系において第２のユーザの位置に移動しており、第１のユーザは、第２のユーザの視点からモデル（および潜在的にＡＲ体験における他の仮想オブジェクト）を視認している。ステップ１７１０は、ユーザデバイス５３０ａでの提示のために第２のＡＲコンテンツを出力することを含む。
いくつかの実装では、ステップ１７０８は、ユーザデバイス５３０ｂによって取得された第２の情報に基づいて、仮想座標系内の第２のユーザの位置を決定することを含む。そして、仮想座標系内の第１のユーザの位置は、第２のユーザの位置に合致するように修正され得る。これらの動作に続いて、仮想座標系内の第１のユーザの位置は、仮想座標系内の第２のユーザの位置と合致し得、したがって、ステップ１７０８において第１のユーザのために生成されるＡＲコンテンツのうちの少なくともいくつかは、第２のユーザのために生成される仮想コンテンツと実質的に同じであり得る。例えば、第１のユーザおよび第２のユーザの両人が、モデルの第２のレンダリング表現を視認し得る。これは、第１のユーザおよび第２のユーザがＡＲ体験におけるモデルの共有された視点を有することを可能にする。
仮想座標系における第１のユーザの初期位置が、実世界空間における第１のユーザの位置と、実世界空間への仮想座標系のマッピングとに基づいて決定される場合、ステップ１７０８は、実世界空間に仮想座標系を再びマッピングすることを含み得る。仮想座標系を再びマッピングすることは、実世界空間内の第１のユーザの位置が仮想座標系内の第２のユーザの位置に対応するように、第１のユーザの実世界空間に対して仮想座標系を移動させることを含み得る。仮想座標系は、第１のユーザが実世界空間において静止したままでありながら、第１のユーザに対して移動させられ、したがって、第１のユーザは、実世界空間において能動的に移動することなく、仮想座標系において移動する。モデルは、仮想座標系において固定されたままであり、したがって、実世界空間に対して仮想座標系を移動させることは、実世界空間に対してモデルも移動させる。
ステップ１７０８において第１のユーザの実世界空間内で仮想座標系を再びマッピングすることは、第２のユーザの（実世界または仮想）空間への仮想座標系のマッピングに影響を及ぼさないこともある。そのため、モデルは、第２のユーザの空間に対して固定されたままであり得る。第１のユーザの実世界空間への仮想座標系の再マッピングは、第２のユーザの視点から、第１のユーザが仮想座標系内で移動するように見え得る。そのため、仮想座標系内の第２のユーザの位置は、仮想座標系内の第１のユーザの位置への修正にもかかわらず、固定されたままであり得る。
いくつかの実装では、ステップ１７０６において取得された命令は、仮想座標系内の第２のユーザの位置に仮想座標系内の第１のユーザの位置をロックするための命令を含み得る。その結果、仮想座標系内での第１のユーザおよび第２のユーザの移動は、ステップ１７０８において第２のユーザの位置に第１のユーザの位置を最初に合致させた後、少なくとも一時的に同期させられる。これらの実装では、方法１７００は、随意のステップ１７１２、１７１４、１７１６、１７１８に進み得る。
ステップ１７１２では、プロセッサ５０４は、第２のデバイスによって取得された第３の情報に基づいて、第２のユーザが仮想座標系内の新たな位置にあることを決定する。つまり、第２のユーザは、仮想座標系において移動している。これは、例えば仮想座標系がマッピングされている実世界空間内で第２のユーザが物理的に移動することを含み得る。
プロセッサ５０４は、ステップ１７１４において第１のユーザのための第３のＡＲコンテンツを生成し、プロセッサ５０４は、ステップ１７１６において、ユーザデバイス５３０ａでの提示のために第３のＡＲコンテンツを出力する。第１のユーザの位置が第２のユーザの位置にロックされているので、第１のユーザは、ステップ１７１４における第２のユーザの新たな位置に移動させられる。第３のＡＲコンテンツは、仮想座標系内の第２のユーザの新たな位置に基づくモデルの第３のレンダリング表現を含む。したがって、第１のユーザのための第３のＡＲコンテンツは、第２のユーザが仮想座標系内の新たな位置にあるときの第２のユーザのための仮想コンテンツに含まれるモデルの同一のレンダリング表現を含み得る。
ステップ１７１６とステップ１７１２との間の矢印によって例証されるように、ステップ１７１２、１７１４、１７１６は、複数回実施され得る。これは、第１のユーザの位置が経時的に第２のユーザの位置にロックされ、または固定されたままであることを確実にすることを助け得る。仮想座標系内の第２のユーザの位置が変化すると、仮想座標系における第１のユーザの位置は、適宜修正され得る。事実上、これは、第１のユーザの視点に対する制御を第２のユーザに与える。上記で概説されるように、仮想座標系における第１のユーザの位置を修正することは、第１のユーザを囲む実世界空間への仮想座標系の再マッピングを含み得る。したがって、第１のユーザは、仮想座標系内で第２のユーザと同一の位置にとどまるように物理的に移動する必要はない。
ステップ１７１８において、プロセッサ５０４は、仮想座標系内で第２のユーザの位置から第１のユーザの位置をアンロックするためのさらなる命令を取得する。この命令は、ユーザデバイス５３０ａを用いて明示的または暗示的に取得され得る。明示的な要求の例は、第１のユーザがユーザデバイス５３０ａに表示されるボタンを押して彼らの位置をアンロックすることである。暗示的な指示の例は、第１のユーザが仮想座標系内で第２のユーザから離れて移動することであり、それは、第１のユーザが仮想座標系において独立して移動することを望んでいると解釈され得る。
図１８～図２０は、共有型ＡＲ体験におけるユーザ修正の例を例証している。図１８～図２０は、図７～図１０および図１２～図１６を参照して上記で議論される同一のＡＲ体験に関しており、ＡＲ体験は、顧客および商人が仮想座標系７００において直立したキッチンミキサのモデル７０２と相互作用することを含む。図１８～図２０の共有型ＡＲ体験は、少なくとも部分的に方法１７００を用いて提供され得る。
図１８は、共有型ＡＲ体験における顧客のためのＡＲコンテンツ１８０２を表示する顧客デバイス８００を例証している。ＡＲコンテンツ１８０２は、ミキサのモデル７０２のレンダリング表現１８０４と、商人の仮想表現１８０６とを含む。いくつかの実装では、ＡＲコンテンツ８０２は、方法１７００のステップ１７０２において生成される。
図１８における顧客デバイス８００は、仮想座標系７００における商人の位置に顧客を位置替えするためのオプション１８０８と、仮想座標系７００において商人の位置にロックするための別のオプション１８１０とをさらに表示する。例えば、顧客が、ＡＲコンテンツ１８０２における商人の仮想表現１８０６か、または商人が共有型ＡＲ体験に存在していることの指示８１０を選択した後、オプション１８０８、１８１０が表示され得る。
図１９は、顧客がオプション１８０８、１８１０のうちの一つを選択して仮想座標系７００において商人の位置に位置替えされた後の共有型ＡＲ体験の仮想座標系７００の斜視図である。図１９は、３Ｄ仮想モデル１９００を描写しており、３Ｄ仮想モデル１９００は、顧客とモデルとが例証される例において仮想座標系７００内の同一の位置に重なっているとき、顧客および商人の両人を表現するために役立つ。
図２０は、顧客が仮想座標系７００における商人の位置にロックするためのオプション１８１０を選択した後の共有型ＡＲ体験における顧客のためのＡＲコンテンツ２００２を表示する顧客デバイス８００を例証している。ＡＲコンテンツ２００２は、仮想座標系７００にける顧客および商人の共有された位置に基づいて生成されたモデル７０２のレンダリング表現２００４を含む。仮想コンテンツは、モデル７０２の同一のレンダリング表現２００４を含む商人のためにも生成され得る。いくつかの実装では、ＡＲコンテンツ２００２は、方法１７００のステップ１７０８において生成される。
図２０において、顧客デバイス８００は、顧客の位置が商人の位置にロックされていることの指示２００６をさらに表示する。商人の位置にロックすることは、概して、商人の位置に顧客を最初に位置替えした後、経時的に仮想座標系７００において商人の位置に顧客を維持することを含む。指示２００６は、商人の位置から顧客をアンロックするためのボタンとしてさらに機能し得る。例えば、顧客は、仮想座標系内で独立して移動するための指示２００６を再度選択し得る。
本開示の別の側面によると、共有型ＡＲ体験における１人のユーザは、複数のユーザのためのＡＲコンテンツを同時に修正し得る。例として、共有型ＡＲ体験の仮想座標系に画定されたモデルは、単一のユーザからの要求に基づいて修正され得る。そして、その結果、共有型ＡＲ体験におけるモデルの各ユーザの図が変更され得る。したがって、単一のユーザは、共有型ＡＲ体験における複数のユーザのために生成されるＡＲコンテンツの少なくとも一部を制御し得る。有利なことに、モデルへの修正が共有され、繋げられ、またはさもなければ相関させられることを可能にすることは、ＡＲ体験内でのコミュニケーションおよび協働を向上させ得る。例えば、図４の共有型ＡＲ体験を参照すると、第１のユーザは、仮想座標系におけるミキサのモデルの向きを修正し、ミキサの特定の視点を第２のユーザに実証し得る。
図２１は、ある実施形態による、共有型ＡＲ体験を修正する方法２１００を例証するフロー図である。方法２１００は、図５のＡＲエンジン５０２によって実施されるように説明され、共有型ＡＲ体験は、ユーザデバイス５３０ａの第１のユーザと、ユーザデバイス５３０ｂの第２のユーザとを少なくとも含む。しかしながら、その代わり、方法２１００の少なくとも一部が、例えばユーザデバイス５３０ａおよび／またはユーザデバイス５３０ｂ等の他の場所で実施されることもある。
ステップ２１０２は、プロセッサ５０４が第１のユーザのための第１のＡＲコンテンツを生成することを含む。第１のＡＲコンテンツは、共有型ＡＲ体験の仮想座標系内につなぎ留められまたは画定されたモデルの第１のレンダリング表現を含む。このモデルは、例えばアイテムの３Ｄモデルであり得る。いくつかの実装では、モデルの第１のレンダリング表現は、仮想座標系における第１のユーザの位置に基づいており、第１のユーザの観測点からのものである。随意に、第１のＡＲコンテンツは、第２のユーザの仮想表現、１つ以上の仮想ユーザ相互作用の仮想表現、音響コンテンツ、および／または触覚コンテンツも含み得る。
ステップ２１０４は、プロセッサ５０４がユーザデバイス５３０ａでの提示のために第１のＡＲコンテンツを出力することを含む。いくつかの実装では、ステップ２１０２、２１０４は、方法６００のステップ６０２、６０４、６０６、６０８、６１０、６１２、６１４のうちのいずれか、それらのうちのいくつか、もしくはそれらの全てと同様であり、ならびに／または、方法１１００のステップ１１０６、１１０８、１１１０のうちのいずれか、それらのうちのいくつか、もしくはそれらの全てと同様であり得る。
ＡＲコンテンツまたはＶＲコンテンツ等の仮想コンテンツは、第２のユーザのためにも生成され、ユーザデバイス５３０ｂでも提示され得る。第２のユーザのための仮想コンテンツは、仮想座標系における第２のユーザの位置および観測点に基づくモデルの第２のレンダリング表現を含み得る。
ステップ２１０６は、プロセッサ５０４が仮想座標系内に画定された修正されたモデルを生み出すようにモデルを修正することを含む。ステップ２１０６は、ユーザデバイス５３０ｂによって第２のユーザから取得された命令に基づいて実施され得る。命令は、ＡＲエンジン５０２に伝送され、メモリ５０６内または別の非一過性のコンピュータ読み取り可能な媒体内に記憶され得る。
ステップ２１０６においてモデルを修正することは、ＡＲ体験の仮想座標系内でモデルを位置替えすることを含み得る。仮想座標系内でモデルを位置替えすることの非限定的な例は、モデルを移動させること、その向きを変えること、反転させること、ねじること、および／または回転させることを含む。いくつかの実装では、仮想座標系内でのモデルの位置替えは、仮想座標系が第１のユーザおよび第２のユーザに対して固定されたままでありながら、仮想座標系からモデルを外すことを含み得る。その結果、モデルは、ユーザデバイス５３０ｂによって取得された命令に基づいて、第１のユーザおよび第２のユーザの両方のために同時に位置替えされる。
同様に、または、その代わり、ステップ２１０６においてモデルを修正することは、仮想座標系においてモデル１つのコンポーネントをモデルの別のコンポーネントに対して位置替えすることによって、モデルを操作し、またはモデルをアニメーション化することを含み得る。例えば、モデルは、いくつかの異なる３Ｄコンポーネントを含み得る。ユーザデバイス５３０ｂによって取得された命令は、仮想座標系内でこれらのコンポーネントのうちの１つまたはいくつかを位置替えするための要求を含み得る。そして、モデルのこれらのコンポーネントは、仮想座標系において外され、位置替えされ得る一方、モデルの他のコンポーネントは固定されたままである。この形式の修正は、モデルのいくつかの機能をシミュレーションし得る。例えば、モデルによって表現されるアイテムは、アイテムの一部分が別の部分に対して移動する機械的機能を実施することが可能であり得る。
加えて、または、あるいは、ステップ２１０６においてモデルを修正することは、モデルを別のモデルと取り替えることを含み得る。例えば、元のモデルは、商人によって販売されている特定の製品であり得る。第２のユーザは、ユーザデバイス５３０ｂを用いて、元のモデルを異なる色またはスタイルの同一の製品のモデル、または異なる製品のモデルと取り替えるための命令を生成し得る。一例では、第２のユーザは、方法２１００によって提供される共有型ＡＲ体験を用いてテーブル上のセンターピースをショッピングし得る。第２のユーザは、元々、花瓶のモデルを視認しており、そして、花瓶のモデルを彫刻のモデルと取り替えるための命令を生成し得る。
ステップ２１０８は、第１のユーザのための第２のＡＲコンテンツを生成することを含み、第２のＡＲコンテンツは、ステップ２１０６において取得された修正されたモデルのレンダリング表現を含む。そして、第２のＡＲコンテンツは、ステップ２１１０において、ユーザデバイス５３０ａでの提示のために出力される。ステップ２１０８、２１１０は、ステップ２１０２、２１０４と実質的に同様であり得るが、モデルが修正された後に発生し得る。仮想コンテンツは、第２のユーザのためにも生成され得、修正されたモデルのレンダリング表現を含み得る。
図２２～図２９は、共有型ＡＲ体験への修正の例を例証しており、共有型ＡＲ体験は、図７～図１０、図１２～図１６、および図１８～図２０を参照して上記で議論されたものと同一のＡＲ体験である。共有型ＡＲ体験は、顧客および商人が仮想座標系７００において直立したキッチンミキサのモデル７０２と相互作用することを含む。図２２～図２９の共有型ＡＲ体験は、少なくとも部分的に方法２１００を用いて提供され得る。
図２２および図２３は、特定の時点での共有型ＡＲ体験を例証している。図２２は、共有型ＡＲ体験の仮想座標系７００の斜視図であり、図２３は、共有型ＡＲ体験のためのＡＲコンテンツ２３０２を表示する顧客デバイス８００を例証している。ＡＲコンテンツ２３０２は、ミキサのモデルのレンダリング表現２３０４と商人の仮想表現２３０６とを含む。随意に、ＡＲコンテンツ２３０２は、音響コンテンツ、および／または触覚コンテンツをさらに含み得る。いくつかの実装では、ＡＲコンテン２３０２は、方法２１００のステップ２１０２において生成される。
図２３における顧客デバイス８００は、仮想座標系７００においてモデル７０２を位置替えするためのオプション２３０８と、仮想座標系７００においてモデル７０２を操作するためのオプション２３１０と、モデル７０２を別のモデルと取り替えるためのオプション２３１２とをさらに表示する。オプション２３０８、２３１０、２３１２は、例えば顧客がオプション８１６を選択すると、顧客に提示され得る。
図２４および図２５は、顧客および商人のための共有型ＡＲ体験を修正する第１の例を例証している。図２４は、ミキサのモデル７０２が位置替えされた後の共有型ＡＲ体験のための仮想座標系７００の斜視図であり、図２５は、ミキサのモデル７０２が位置替えされた後の共有型ＡＲ体験のためのＡＲコンテンツ２５０２を表示する顧客デバイス８００を例証している。ＡＲコンテンツは、位置替えされたミキサのモデル７０２のレンダリング表現２５０４と、商人の仮想表現２５０６とを含む。いくつかの実装では、ＡＲコンテンツ２５０２は、方法２１００のステップ２１０８において生成される。
図２４および図２５に示されるように、ミキサのモデル７０２は、仮想座標系７００において垂直に反転させられる（逆向きにされる）ことによって、（図２２および図２３におけるモデル７０２の元の位置に対して）位置替えされている。そのため、顧客は、レンダリング表現２５０４においてミキサのボタンを見ることができる。ミキサのモデル７０２を反転させることは、顧客から、または商人から受信された命令に基づいて実施され得る。例えば、商人は、顧客とミキサのボタンについて議論することを望み得る。商人は、ミキサのモデル７０２のボタンを視認するために共有型ＡＲ体験の仮想座標系７００内の顧客の位置をいくらか修正することを顧客に命令するのでなく（これは不可能であり得る）、その代わり、仮想座標系７００内でモデル７０２を位置替えすることによってモデル７０２を修正するための命令を生成した。このモデル７０２の位置替えは、商人のために生成される仮想コンテンツおよび顧客のために生成されるＡＲコンテンツ２５０２に反映される。
図２６および図２７は、顧客および商人のための共有型ＡＲ体験を修正する第２の例を例証している。図２６は、ミキサのモデル７０２が操作された後の共有型ＡＲ体験のための仮想座標系７００の斜視図であり、図２７は、ミキサのモデル７０２が操作された後の共有型ＡＲ体験のためのＡＲコンテンツ２７０２を表示する顧客デバイス８００を例証している。ＡＲコンテンツ２７０２は、操作されたミキサのモデル７０２のレンダリング表現２７０４と、商人の仮想表現２７０６とを含む。いくつかの実装では、ＡＲコンテンツ２７０２は、方法２１００のステップ２１０８において生成される。
図２６および図２７において示されるように、ミキサのモデル７０２は、ミキサの基部に対してミキサの頂部を回転させることによって操作されている。これは、ミキサのボウルが取り除かれることを可能にするというミキサの現実の機能をシミュレーションし得、顧客は、この時、ＡＲコンテンツ２７０２においてそれを見ることができる。共有型ＡＲ体験における顧客および商人の視点から、モデル７０２を操作することは、ミキサの底部に対して移動するミキサの頂部のアニメーションであるように見え得る。いくつかの実装では、モデル７０２は、複数の異なるモデルまたはコンポーネントの組み合わせであり得、ミキサの基部に対してミキサの頂部を回転させることは、モデル７０２の１つまたはいくつかのコンポーネントを残りのコンポーネントに対して位置替えすることによって達成され得る。例えば、ミキサの頂部（モータまたは泡立て器を含む）が、第１の３Ｄコンポーネントによって表現され得、ミキサの基部が、第２の３Ｄコンポーネントによって表現され得る。共に結合されると、第１の３Ｄコンポーネントおよび第２の３Ｄコンポーネントは、ミキサの完全なモデル７０２を提供する。この例では、第１の３Ｄコンポーネントは、第２の３Ｄコンポーネントに対して回転させられ、ミキサの底部に対してミキサの頂部を回転させることをシミュレーションし得る。
ミキサを操作することは、顧客または商人から受信された命令に基づいて実施され得る。例えば、商人は、顧客にミキサの機能を実証することを望み得る。
図２８および図２９は、顧客および商人のための共有型ＡＲ体験を修正する第３の例を例証している。図２８は、ミキサのモデル７０２がブレンダのモデル２８０２と取り替えられた後の共有型ＡＲ体験のための仮想座標系７００の斜視図であり、図２９は、ミキサのモデル７０２がブレンダのモデル２８０２と取り替えられた後の共有型ＡＲ体験のためのＡＲコンテンツ２９０２を表示する顧客デバイス８００を例証している。ＡＲコンテンツは、ブレンダのモデル２８０２のレンダリング表現２９０４と、商人の仮想表現２９０６とを含む。いくつかの実装では、ＡＲコンテンツ２９０２は、方法２１００のステップ２１０８において生成される。
ミキサのモデル７０２をブレンダのモデル２８０２と取り替えることは、顧客または商人から受信された命令に基づいて／応答して実施され得る。ある例では、顧客は、商人とミキサおよびブレンダについて議論することを望み得る。顧客がミキサについての質問を訪ね終えた後、顧客は、ミキサのモデル７０２がブレンダのモデル２８０２と取り替えられるための要求を生成し得る。この要求は、顧客デバイス８００のユーザインタフェースを通じた顧客入力を受信することに応答して生成され得る。そして、要求は、顧客および／または商人のためのＡＲコンテンツを生成するＡＲエンジンに伝送され得る。要求に応答して、ＡＲエンジンは、ミキサのモデル７０２をブレンダのモデル２８０２と取り替えるように共有型ＡＲ体験を修正し得る。この例では、モデル７０２，２８０２の両方が、仮想座標系７００において同一の位置を有する。
結論
本発明はその特定の特徴および実施形態を参照して説明されたが、本発明から逸脱せず、種々の修正物および組み合わせ物が作製され得る。よって、説明および図面は、単に、添付の請求項によって定義される本発明のいくつかの実施形態の例証とみなされるべきであり、本発明の範囲内に属する任意のおよび全ての修正物、変更物、組み合わせ物、または同等物を網羅するように想定される。したがって、本発明およびその利点が詳細に説明されたが、種々の変化、代用、および変更が、添付の請求項によって定義される本発明から逸脱せず、本明細書においてなされ得る。そのうえ、本願の範囲は、本明細書中で説明されるプロセス、機械、製造、化合物、手段、方法、およびステップの特定の実施形態に限定されるように意図されていない。当業者は、本発明の開示から、本明細書中で説明される対応する実施形態と実質的に同一の機能を実施し、または同一の結果を達成する、既存または今後開発されるプロセス、機械、製造、化合物、手段、方法、またはステップが、本発明によって活用され得ることを、容易に認識するだろう。よって、添付の請求項は、そのようなプロセス、機械、製造、化合物、手段、方法、またはステップ等のそれらの範囲内に含まれるように意図される。
そのうえ、命令を実行する本明細書中で例示される任意のモジュール、コンポーネント、またはデバイスは、非一過性のコンピュータ／プロセッサ読み取り可能なストレージ媒体（単数または複数）を含むか、さもなければそれらへのアクセスを有し得、非一過性のコンピュータ／プロセッサ読み取り可能なストレージ媒体（単数または複数）は、コンピュータ／プロセッサ読み取り可能な命令、データ構造、プログラムモジュール、および／または他のデータ等の情報のストレージのためである。非一過性のコンピュータ／プロセッサ読み取り可能なストレージ媒体の例の非網羅的なリストは、磁気カスケット、磁気テープ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、光学ディスク（コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタルビデオディスクもしくはデジタルバーサタイルディスク（ＤＶＤ）、Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ、または任意の光学ストレージ等）、任意の方法またはテクノロジで実装される揮発性および不揮発性の除去可能および除去不可能媒体、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリまたは他のメモリテクノロジを含む。任意のそのような非一過性コンピュータ／プロセッサストレージ媒体は、デバイスの一部であるか、またはデバイスにアクセス可能もしくは接続可能であり得る。本明細書中で説明される任意のアプリケーションまたはモジュールは、そのような非一過性のコンピュータ／プロセッサ読み取り可能なストレージ媒体によって記憶されているか、さもなければ保持され得るコンピュータ／プロセッサ読み取り可能／実行可能な命令を用いて実装され得る。
本教示は、以下の番号付けされた項目のうちの１つ以上の特徴にも拡張され得る。
（項目１）
コンピュータ実装方法であって、前記コンピュータ実装方法は、
第１のユーザと第１のデバイスに提示された仮想コンテンツとの間の相互作用の位置を取得することであって、前記仮想コンテンツは、仮想座標系内に画定された３Ｄ（３次元）モデルの第１のレンダリング表現を備え、前記相互作用の前記位置は、前記仮想座標系内に画定される、ことと、
拡張現実（ＡＲ）コンテンツを生成することであって、前記ＡＲコンテンツは、
前記仮想座標系内の第２のユーザの位置に基づく前記モデルの第２のレンダリング表現であって、前記第２のユーザの前記位置は、第２のデバイスによって取得された情報に基づいている、前記モデルの第２のレンダリング表現と、
前記相互作用の前記位置に基づく前記相互作用の仮想表現と
を備えている、ことと、
前記第２のデバイスでの提示のために前記ＡＲコンテンツを出力することと
を含む、コンピュータ実装方法。
（項目２）
前記仮想座標系内の前記第１のユーザの位置を取得することをさらに含み、
前記相互作用の前記位置は、前記仮想座標系内の前記第１のユーザの前記位置に基づいている、項目１に記載のコンピュータ実装方法。
（項目３）
前記相互作用は、前記第１のデバイスを用いた前記仮想コンテンツにおける２次元（２Ｄ）ポイントの選択を含み、
前記相互作用の前記位置を取得することは、
前記仮想座標系内の前記第１のユーザの前記位置に基づいて、前記仮想コンテンツにおける前記２Ｄポイントを前記仮想座標系の平面における２Ｄポイントにマッピングすることと、
前記仮想座標系の前記平面における前記２Ｄポイントを通って伸びているベクトルを決定することであって、前記ベクトルは、前記仮想座標系の前記平面に対して垂直である、ことと、
前記ベクトルが前記モデルと交差する前記仮想座標系内の交差の３Ｄポイントを決定することと、
を含み、
前記相互作用の前記位置は、前記仮想座標系内の交差の３Ｄポイントに基づいている、項目２に記載のコンピュータ実装方法。
（項目４）
前記相互作用の前記位置を取得することは、前記仮想座標系内の前記モデルに対する前記ベクトルの向きを決定することをさらに含み、
前記相互作用の前記仮想表現は、前記ベクトルの前記向きの指示を備えている、項目３に記載のコンピュータ実装方法。
（項目５）
前記仮想座標系内の前記相互作用の前記位置を取得することは、前記仮想座標系の前記第１のユーザの特徴の位置を取得することを含み、
前記仮想座標系内の前記相互作用の前記位置は、前記仮想座標系内の前記第１のユーザの前記特徴の前記位置に基づいている、項目１に記載のコンピュータ実装方法。
（項目６）
前記第１のデバイスを用いて、空間の表現を取得することをさらに含み、
前記仮想座標系内の前記第１のユーザの前記特徴の前記位置を取得することは、
前記空間内の前記モデルの位置を決定することと、
前記空間内の前記モデルの前記位置に基づいて、前記空間に前記仮想座標系をマッピングすることと、
前記空間内の前記第１のユーザの前記特徴の位置を決定すること
を含み、
前記仮想座標系内の前記第１のユーザの前記特徴の前記位置は、前記空間内の前記第１のユーザの前記特徴の前記位置に基づいている、項目５に記載のコンピュータ実装方法。
（項目７）
前記第１のユーザの前記特徴は、前記第１のユーザの解剖学的特徴である、項目６に記載のコンピュータ実装方法。
（項目８）
前記第１のユーザの前記特徴は、前記第１のデバイスを用いて前記第１のユーザによって制御されるカーソルである、項目６に記載のコンピュータ実装方法。
（項目９）
前記空間の前記表現は、前記第１のデバイスによって捕捉された前記空間の画像を備え、
前記空間内の前記第１のユーザの前記特徴の前記位置を決定することは、前記画像の画像分析に基づいている、項目６に記載のコンピュータ実装方法。
（項目１０）
前記仮想座標系内の前記第１のユーザの前記特徴の前記位置を決定することは、前記仮想座標系内の前記第１のユーザの前記特徴の向きを決定することを含み、
前記相互作用の前記表現は、前記第１のユーザの前記特徴の前記向きの指示を備えている、項目５に記載のコンピュータ実装方法。
（項目１１）
前記ＡＲコンテンツは第１のＡＲコンテンツであり、
前記仮想コンテンツは、第２のＡＲコンテンツを備えている、項目１に記載のコンピュータ実装方法。
（項目１２）
システムであって、前記システムは、
第１のユーザと第１のデバイスで提示される仮想コンテンツとの間の相互作用の位置を記憶しているメモリであって、前記仮想コンテンツは、仮想座標系内に画定される３次元（３Ｄ）モデルの第１のレンダリング表現を備え、前記相互作用の前記位置は、前記仮想座標系内に画定されている、メモリと、
少なくとも１つのプロセッサであって、前記少なくとも１つのプロセッサは、
拡張現実（ＡＲ）コンテンツを生成することであって、前記ＡＲコンテンツは、
前記仮想座標系内の第２のユーザの位置に基づく前記モデルの第２のレンダリング表現であって、前記第２のユーザの前記位置は、第２のデバイスによって取得された情報に基づいている、前記モデルの第２のレンダリング表現と、
前記相互作用の前記位置に基づく前記相互作用の仮想表現と
を備えている、ことと、
前記第２のデバイスでの提示のために前記ＡＲコンテンツを出力することと
を行うように構成されている、少なくとも１つのプロセッサと
を備えている、システム。
（項目１３）
前記少なくとも１つのプロセッサは、前記仮想座標系内の前記第１のユーザの位置を取得するようにさらに構成され、前記相互作用の前記位置は、前記仮想座標系内の前記第１のユーザの前記位置に基づいている、項目１２に記載のシステム。
（項目１４）
前記相互作用は、前記第１のデバイスを用いた前記仮想コンテンツにおける２次元（２Ｄ）ポイントの選択を含み、
前記少なくとも１つのプロセッサは、
前記仮想座標系内の前記第１のユーザの前記位置に基づいて、前記仮想コンテンツにおける前記２Ｄポイントを前記仮想座標系の平面における２Ｄポイントにマッピングすることと、
前記仮想座標系の前記平面における前記２Ｄポイントを通って伸び、前記仮想座標系の前記平面に垂直であるベクトルを決定することと、
前記ベクトルが前記モデルと交差する前記仮想座標系内の交差の３Ｄポイントを決定することであって、前記相互作用の前記位置は、前記仮想座標系内の前記交差の３Ｄポイントに基づいている、ことと
を行うようにさらに構成されている、項目１３に記載のシステム。
（項目１５）
前記相互作用の前記位置は、前記仮想座標系内の前記モデルに対する前記ベクトルの向きをさらに備え、
前記相互作用の前記仮想表現は、前記ベクトルの前記向きの指示を備えている、項目１４に記載のシステム。
（項目１６）
前記仮想座標系内の前記相互作用の前記位置は、前記仮想座標系内の前記第１のユーザの特徴の位置に基づいている、項目１２に記載のシステム。
（項目１７）
前記少なくとも１つのプロセッサは、前記第１のデバイスを用いて、空間の表現を取得することと、
前記空間内の前記モデルの位置を決定することと、
前記空間内の前記モデルの前記位置に基づいて、前記空間に前記仮想座標系をマッピングすることと、
前記空間内の前記第１のユーザの前記特徴の位置を決定することであって、前記仮想座標系内の前記第１のユーザの前記特徴の前記位置は、前記空間内の前記第１のユーザの前記特徴の前記位置に基づいている、ことと
を行うようにさらに構成されている、項目１６に記載のシステム。
（項目１８）
前記第１のユーザの前記特徴は、前記第１のユーザの解剖学的特徴である、項目１７に記載のシステム。
（項目１９）
前記第１のユーザの前記特徴は、前記第１のデバイスを用いて前記第１のユーザによって制御されるカーソルである、項目１７に記載のシステム。
（項目２０）
前記空間の前記表現は、前記第１のデバイスによって捕捉された前記空間の画像を備え、
前記空間内の前記第１のユーザの前記特徴の前記位置は、前記画像の画像分析に基づいている、項目１７に記載のシステム。
（項目２１）
前記仮想座標系内の前記第１のユーザの前記特徴の前記位置は、前記仮想座標系内の前記第１のユーザの前記特徴の向きを備え、
前記相互作用の前記表現は、前記第１のユーザの前記特徴の前記向きの指示を備えている、項目１６に記載のシステム。
（項目２２）
前記ＡＲコンテンツは、第１のＡＲコンテンツであり、
前記仮想コンテンツは、第２のＡＲコンテンツを備えている、項目１２に記載のシステム。
（項目２３）
コンピュータ実行可能な命令を記憶している非一過性のコンピュータ読み取り可能な媒体であって、前記命令は、コンピュータによって実行されると、
第１のユーザと第１のデバイスで提示される仮想コンテンツとの間の相互作用の位置を取得することであって、前記仮想コンテンツは、仮想座標系内に画定された３次元（３Ｄ）モデルの第１のレンダリング表現を備え、前記相互作用の前記位置は、前記仮想座標系内に画定されている、ことと、
拡張現実（ＡＲ）コンテンツを生成することであって、前記ＡＲコンテンツは、
前記仮想座標系内の第２のユーザの位置に基づく前記モデルの第２のレンダリング表現であって、前記第２のユーザの前記位置は、第２のデバイスによって取得された情報に基づいている、前記モデルの第２のレンダリング表現と、
前記相互作用の前記位置に基づく前記相互作用の仮想表現と
を含む、ことと、
前記第２のデバイスでの提示のために前記ＡＲコンテンツを出力することと
を前記コンピュータに行わせる、非一過性のコンピュータ読み取り可能な媒体。

Claims (13)

  1. コンピュータ実装方法であって、前記コンピュータ実装方法は、
    第１のユーザと第１のデバイスに提示された仮想コンテンツとの間の相互作用の位置を取得することであって、前記仮想コンテンツは、仮想座標系内に画定された３次元（３Ｄ）モデルの第１のレンダリング表現を備え、前記相互作用の前記位置は、前記仮想座標系内に画定される、ことと、
    拡張現実（ＡＲ）コンテンツを生成することであって、前記ＡＲコンテンツは、
    前記仮想座標系内の第２のユーザの位置に基づく前記モデルの第２のレンダリング表現であって、前記第２のユーザの前記位置は、第２のデバイスによって取得された情報に基づいている、前記モデルの第２のレンダリング表現と、
    前記相互作用の前記位置に基づく前記相互作用の仮想表現と
    を備えている、ことと、
    前記第２のデバイスでの提示のために前記ＡＲコンテンツを出力することと
    を含む、コンピュータ実装方法。
  2. 前記仮想座標系内の前記第１のユーザの位置を取得することをさらに含み、
    前記相互作用の前記位置は、前記仮想座標系内の前記第１のユーザの前記位置に基づいている、請求項１に記載のコンピュータ実装方法。
  3. 前記相互作用は、前記第１のデバイスを用いた前記仮想コンテンツにおける２次元（２Ｄ）ポイントの選択を含み、
    前記相互作用の前記位置を取得することは、
    前記仮想座標系内の前記第１のユーザの前記位置に基づいて、前記仮想コンテンツにおける前記２Ｄポイントを前記仮想座標系の平面における２Ｄポイントにマッピングすることと、
    前記仮想座標系の前記平面における前記２Ｄポイントを通って伸びているベクトルを決定することであって、前記ベクトルは、前記仮想座標系の前記平面に対して垂直である、ことと、
    前記ベクトルが前記モデルと交差する前記仮想座標系内の交差の３Ｄポイントを決定することと
    を含み、
    前記相互作用の前記位置は、前記仮想座標系内の交差の３Ｄポイントに基づいている、請求項２に記載のコンピュータ実装方法。
  4. 前記相互作用の前記位置を取得することは、前記仮想座標系内の前記モデルに対する前記ベクトルの向きを決定することをさらに含み、
    前記相互作用の前記仮想表現は、前記ベクトルの前記向きの指示を備えている、請求項１～３のいずれか一項に記載のコンピュータ実装方法。
  5. 前記仮想座標系内の前記相互作用の前記位置を取得することは、前記仮想座標系の前記第１のユーザの特徴の位置を取得することを含み、
    前記仮想座標系内の前記相互作用の前記位置は、前記仮想座標系内の前記第１のユーザの前記特徴の前記位置に基づいている、請求項１～４のいずれか一項に記載のコンピュータ実装方法。
  6. 前記第１のデバイスを用いて、空間の表現を取得することをさらに含み、
    前記仮想座標系内の前記第１のユーザの前記特徴の前記位置を取得することは、
    前記空間内の前記モデルの位置を決定することと、
    前記空間内の前記モデルの前記位置に基づいて、前記空間に前記仮想座標系をマッピングすることと、
    前記空間内の前記第１のユーザの前記特徴の位置を決定することと
    を含み、
    前記仮想座標系内の前記第１のユーザの前記特徴の前記位置は、前記空間内の前記第１のユーザの前記特徴の前記位置に基づいている、請求項５に記載のコンピュータ実装方法。
  7. 前記第１のユーザの前記特徴は、前記第１のユーザの解剖学的特徴である、請求項５または６に記載のコンピュータ実装方法。
  8. 前記第１のユーザの前記特徴は、前記第１のデバイスを用いて前記第１のユーザによって制御されるカーソルである、請求項５または６に記載のコンピュータ実装方法。
  9. 前記空間の前記表現は、前記第１のデバイスによって捕捉された前記空間の画像を備え、
    前記空間内の前記第１のユーザの前記特徴の前記位置を決定することは、前記画像の画像分析に基づいている、請求項５～８のいずれか一項に記載のコンピュータ実装方法。
  10. 前記仮想座標系内の前記第１のユーザの前記特徴の前記位置を決定することは、前記仮想座標系内の前記第１のユーザの前記特徴の向きを決定することを含み、
    前記相互作用の前記表現は、前記第１のユーザの前記特徴の前記向きの指示を備えている、請求項５～９のいずれか一項に記載のコンピュータ実装方法。
  11. 前記ＡＲコンテンツは第１のＡＲコンテンツであり、
    前記仮想コンテンツは、第２のＡＲコンテンツを備えている、請求項１～１０のいずれか一項に記載のコンピュータ実装方法。
  12. システムであって、前記システムは、
    第１のユーザと第１のデバイスで提示される仮想コンテンツとの間の相互作用の位置を記憶しているメモリであって、前記仮想コンテンツは、仮想座標系内に画定される３次元（３Ｄ）モデルの第１のレンダリング表現を備え、前記相互作用の前記位置は、前記仮想座標系内に画定されている、メモリと、
    請求項１～１２のいずれか一項に記載の方法を実行するように構成されている少なくとも１つのプロセッサと
    を備えている、システム。
  13. コンピュータのプロセッサで実行されると、請求項１～１１のいずれか一項に記載の方法を実行するように構成されている、コンピュータプログラム。
JP2021102201A 2020-07-27 2021-06-21 マルチユーザ拡張現実におけるユーザ相互作用を表現するためのシステムおよび方法 Pending JP2022023789A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US16/939,280 US11908159B2 (en) 2020-07-27 2020-07-27 Systems and methods for representing user interactions in multi-user augmented reality
US16/939,280 2020-07-27
EP21168734.8A EP3945486A1 (en) 2020-07-27 2021-04-15 Systems and methods for representing user interactions in multi-user augmented reality
EP21168734 2021-04-15

Publications (2)

Publication Number Publication Date
JP2022023789A true JP2022023789A (ja) 2022-02-08
JP2022023789A5 JP2022023789A5 (ja) 2024-02-16

Family

ID=79551984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021102201A Pending JP2022023789A (ja) 2020-07-27 2021-06-21 マルチユーザ拡張現実におけるユーザ相互作用を表現するためのシステムおよび方法

Country Status (8)

Country Link
US (1) US11908159B2 (ja)
EP (1) EP3945486A1 (ja)
JP (1) JP2022023789A (ja)
KR (1) KR20220013903A (ja)
CN (1) CN113986004A (ja)
AU (1) AU2021203479A1 (ja)
CA (1) CA3117878A1 (ja)
TW (1) TW202205173A (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11494153B2 (en) 2020-07-27 2022-11-08 Shopify Inc. Systems and methods for modifying multi-user augmented reality
US11527045B2 (en) 2020-07-27 2022-12-13 Shopify Inc. Systems and methods for generating multi-user augmented reality content
US11580592B2 (en) 2021-05-19 2023-02-14 Snap Inc. Customized virtual store
US11636654B2 (en) * 2021-05-19 2023-04-25 Snap Inc. AR-based connected portal shopping
US11829126B2 (en) * 2021-09-22 2023-11-28 Rockwell Automation Technologies, Inc. Systems and methods for providing context-based data for an industrial automation system based on a virtual coordinate system
US11894989B2 (en) * 2022-04-25 2024-02-06 Snap Inc. Augmented reality experience event metrics system
US20240071004A1 (en) * 2022-08-31 2024-02-29 Snap Inc. Social memory re-experiencing system
KR102618364B1 (ko) * 2023-07-05 2023-12-28 주식회사 디씨엠 온라인 쥬얼리 시착 서비스 제공 시스템

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2775814B1 (fr) 1998-03-06 2001-01-19 Rasterland Sa Systeme de visualisation d'images tridimensionnelles realistes virtuelles en temps reel
SE521263C2 (sv) 1998-06-22 2003-10-14 Ericsson Telefon Ab L M Anordning och förfarande för att upprätta förbindelse mellan en första och andra abonnent med hjälp av ett publikt register
JP3631151B2 (ja) 2000-11-30 2005-03-23 キヤノン株式会社 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体
US7136829B2 (en) * 2002-03-08 2006-11-14 America Online, Inc. Method and apparatus for providing a shopping list service
CN201281869Y (zh) 2008-10-21 2009-07-29 蓝劲松 网络商品销售装置
US9348141B2 (en) 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US20140267234A1 (en) * 2013-03-15 2014-09-18 Anselm Hook Generation and Sharing Coordinate System Between Users on Mobile
US10430018B2 (en) 2013-06-07 2019-10-01 Sony Interactive Entertainment Inc. Systems and methods for providing user tagging of content within a virtual scene
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10725298B2 (en) 2014-03-26 2020-07-28 Mark D. Wieczorek, P.C. Virtual reality devices and accessories
US10852838B2 (en) 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
KR101687017B1 (ko) * 2014-06-25 2016-12-16 한국과학기술원 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
US9645648B2 (en) 2014-09-18 2017-05-09 Mary A. Spio Audio computer system for interacting within a virtual reality environment
US9846972B2 (en) * 2015-04-06 2017-12-19 Scope Technologies Us Inc. Method and apparatus for sharing augmented reality applications to multiple clients
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
TWI585617B (zh) 2016-08-31 2017-06-01 宅妝股份有限公司 互動方法及系統
US20200050256A1 (en) 2017-01-25 2020-02-13 Google Llc Techniques to cause changes in both virtual environment and physical environment
US10140773B2 (en) * 2017-02-01 2018-11-27 Accenture Global Solutions Limited Rendering virtual objects in 3D environments
DK180470B1 (en) * 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
US10685456B2 (en) * 2017-10-12 2020-06-16 Microsoft Technology Licensing, Llc Peer to peer remote localization for devices
US10773169B2 (en) * 2018-01-22 2020-09-15 Google Llc Providing multiplayer augmented reality experiences
US10438414B2 (en) * 2018-01-26 2019-10-08 Microsoft Technology Licensing, Llc Authoring and presenting 3D presentations in augmented reality
GB2571337B (en) 2018-02-26 2021-03-10 Sony Interactive Entertainment Inc Controlling data processing
US11107184B2 (en) * 2019-09-17 2021-08-31 Adobe Inc. Virtual object translation
US11380069B2 (en) * 2019-10-30 2022-07-05 Purdue Research Foundation System and method for generating asynchronous augmented reality instructions
WO2021178900A1 (en) 2020-03-06 2021-09-10 Christopher Renwick Alston Technologies for augmented-reality
US11527045B2 (en) 2020-07-27 2022-12-13 Shopify Inc. Systems and methods for generating multi-user augmented reality content
US11494153B2 (en) 2020-07-27 2022-11-08 Shopify Inc. Systems and methods for modifying multi-user augmented reality

Also Published As

Publication number Publication date
TW202205173A (zh) 2022-02-01
AU2021203479A1 (en) 2022-02-10
US20220028108A1 (en) 2022-01-27
KR20220013903A (ko) 2022-02-04
CN113986004A (zh) 2022-01-28
EP3945486A1 (en) 2022-02-02
CA3117878A1 (en) 2022-01-27
US11908159B2 (en) 2024-02-20

Similar Documents

Publication Publication Date Title
US11568620B2 (en) Augmented reality-assisted methods and apparatus for assessing fit of physical objects in three-dimensional bounded spaces
US11908159B2 (en) Systems and methods for representing user interactions in multi-user augmented reality
US11676200B2 (en) Systems and methods for generating augmented reality scenes for physical items
US11593870B2 (en) Systems and methods for determining positions for three-dimensional models relative to spatial features
US11847716B2 (en) Systems and methods for generating multi-user augmented reality content
US11670065B2 (en) Systems and methods for providing augmented media
JP2022052750A (ja) 歪められた３次元モデルに基づいて拡張現実コンテンツを生成するためのシステムおよび方法
EP4099276A1 (en) Systems and methods for supplementing digital media with three-dimensional (3d) models
US11494153B2 (en) Systems and methods for modifying multi-user augmented reality
KR20210075847A (ko) 2d 이미지 추천을 위한 시스템 및 방법
US11899833B2 (en) Systems and methods for interacting with augmented reality content using a dual-interface
US20240029279A1 (en) Systems and methods for generating augmented reality scenes

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20231115

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20231127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240206

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240206

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20240206