JP2018504153A - マルチユーザセンサベースインタラクション - Google Patents

マルチユーザセンサベースインタラクション Download PDF

Info

Publication number
JP2018504153A
JP2018504153A JP2017528799A JP2017528799A JP2018504153A JP 2018504153 A JP2018504153 A JP 2018504153A JP 2017528799 A JP2017528799 A JP 2017528799A JP 2017528799 A JP2017528799 A JP 2017528799A JP 2018504153 A JP2018504153 A JP 2018504153A
Authority
JP
Japan
Prior art keywords
computing device
notification
user
data
central
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017528799A
Other languages
English (en)
Other versions
JP6716563B2 (ja
Inventor
カミィ，ギラ
フェレンス，ロン
クーパーマン，ヴラジーミル，ヴォーヴァ
ニステル，コビ
ハーウィッツ，バラク
Original Assignee
インテル コーポレイション
インテル コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテル コーポレイション, インテル コーポレイション filed Critical インテル コーポレイション
Publication of JP2018504153A publication Critical patent/JP2018504153A/ja
Application granted granted Critical
Publication of JP6716563B2 publication Critical patent/JP6716563B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/542—Event management; Broadcasting; Multicasting; Notifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2358/00—Arrangements for display data security
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/10—Use of a protocol of communication by packets in interfaces along the display data pipeline

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

第１の対応する計算装置を有する第１のユーザのアクション又は状態（例えば、自然なやりとり）が第２のユーザに対応する第２の計算装置上のセンサによって観察される方法、システム及び機械可読媒体が、いくつかの具体例において開示される。第１のユーザの観察されたアクション又は状態を記述する通知は、第１の対応する計算装置とネットワークを介し共有されうる。このようにして、第１の計算装置にはユーザを直接検知する必要なくユーザの状態に関する情報が提供されうる。

Description

［優先権主張］
本出願は、参照することによってその全体がここに援用される、２０１４年１２月１８日に出願された米国仮特許出願第６２／０８７，１７３号及び２０１５年１月２９日に出願された米国出願第１４／５７５，７９７号に対する優先権の利益を主張する。
［著作権表示］
本特許文献の開示の一部は、著作権保護に従う題材を含む。著作権所有者は、それが特許商標庁の特許ファイル又は記録に現れるとき、特許文献又は特許開示の何れかの者によるファクシミリの再生に対して異議を有さないが、そうでない場合、全ての著作権を何であれ留保する。以下の表示は、後述されるような本文件の一部を構成する図面におけるソフトウェア及びデータに適用される。Ｃｏｐｙｒｉｇｈｔ ２０１４ Ｉｎｔｅｌ，Ｉｎｃ．，Ａｌｌ Ｒｉｇｈｔｓ Ｒｅｓｅｒｖｅｄ
［技術分野］
実施例は、拡張現実システムに関する。いくつかの実施例は、ジェスチャ認識、マルチデバイスインタラクション及びナチュラルユーザインタラクションに関する。
計算装置のサイズは、最近数年間で低減してきた。これらの計算装置は、ユーザの体に装着されるデバイスの形態さえとりうる。計算装置のサイズが低減するときでさえ、機能は増大してきた。例えば、多くの計算装置は、カメラ、モーションセンサなどのオンボードセンサを有する。
必ずしも縮尺して描画されていない図面において、同様の数字は異なる図において同様のコンポーネントを説明しうる。異なる添え字を有する同様の数字は、同様のコンポーネントの異なるインスタンスを表しうる。図面は、一般に限定することなく例示的に本文献に説明される各種実施例を示す。
図１は、マルチユーザマルチデバイスナチュラルインタラクションセンサベースアプリケーション環境の具体例を示す。 図２は、本開示のいくつかの具体例による中央計算装置を用いた協調マルチユーザナチュラルインタラクションサービスのメッセージシーケンス図を示す。 図３は、本開示のいくつかの具体例による中央計算装置を用いた協調マルチユーザナチュラルインタラクションサービスのメッセージシーケンス図を示す。 図４は、本開示のいくつかの具体例によるセンサベースアプリケーションにおける情報の共有を実現する中央計算装置の方法のフローチャートを示す。 図５は、本開示のいくつかの具体例によるセンサベースアプリケーションにユーザに関する情報を提供する計算装置の方法のフローチャートを示す。 図６は、本開示のいくつかの具体例による協調マルチユーザナチュラルインタラクションセンサベースアプリケーションに情報を提供するシステムの概略を示す。 図７は、１つ以上の実施例が実現されうるマシーンの具体例を示すブロック図である。
ここで開示されるように、計算アプリケーションは、現実世界に関する情報、特に、現実世界におけるユーザに関する情報を記述するセンサデータを利用して、様々なセンサベースプリケーションを提供しうる。一例となるセンサベースアプリケーションでは、第１の当事者のジェスチャ及び感情などのナチュラルインタラクションが検出され、第１の当事者に表示され、当該主体が第２の当事者によってどのように受けとられているかのリアルタイム分析を提供しうる。例えば、アプリケーションは、発言者のジェスチャ及び感情を検出し、彼らが話しているときにそれらを発言者に表示しうる。どのようにジェスチャが他の当事者によって受け取られる可能性があるかを知ることは、当事者間の会話に対する関係を改善しうる。センサベースアプリケーションは、計算装置におけるセンサを利用して、ユーザに機能性を提供する計算装置によって実行可能な何れのアプリケーションであってもよい。
センサベースアプリケーションの別の具体例として、拡張現実アプリケーションは、挿入されたコンピュータにより生成されたオブジェクト及びデータと物理的な現実世界の環境とを融合させ、コンピュータにより生成されたオブジェクトを物理的な現実世界の環境の一部に見えるようにする。コンピュータにより生成されたオブジェクトは、自然なジェスチャ及びインタラクションを利用して、参加者ユーザによって操作されてもよい。拡張現実は、ユーザ及びユーザのジェスチャ及び動きを含む現実世界のアイテムを検知、測定及び検出し、１つ以上の出力（例えば、ディスプレイ）装置上に可視的な１つ以上のコンピュータにより生成されたオブジェクトを追加するため、１つ以上のセンサを利用する１つ以上の計算装置によって提供されてもよい。一例となる拡張現実アプリケーションは、現実世界の環境においてゲームオブジェクトを重畳するゲームを含む。プレーヤは、自然な身体的なジェスチャを用いてゲームオブジェクトとやりとりしうる。例えば、ユーザは、それらがあたかも実生活のオブジェクトであるかのように、類似するオブジェクトを拾い上げ、移動、削除、変更又はそうでない場合にはやりとりしてもよい。他の例示的なアプリケーションは、ルートインジケータ（例えば、ライン）取るべき正しい道路の写真に重ね合わされるナビゲーションアプリケーションを含むものであってもよい。
これらのアプリケーションのための検知装置は、グローバル・ポジショニング・センサ（ＧＰＳ）、加速度計、Ｉｎｔｅｌ ＲｅａｌＳｅｎｓｅＴＭ ３Ｄカメラなどの画像センサ（例えば、カメラ）、オブジェクトスキャナなどを含むものであってもよい。検知装置は、ＧＰＳ座標、画像ピクセルデータ、加速度及び方向などのデータ（センサデータと呼ばれる）を出力しうる。このデータは、計算装置によって解析され、モデルデータを決定しうる。モデルデータは、現実世界における１つ以上のオブジェクトを含む、現実世界の少なくとも一部の情報（例えば、サイズ、位置及び他の属性）を記述する。モデルは、未処理のセンサデータから導き出されてもよい。現実世界におけるオブジェクトは、現実世界における人々を含みうる。いくつかの具体例では、モデルはこれらのオブジェクトの検出されたアクションを含みうる。アクションは、ジェスチャなどのオブジェクトの何れかの動き移動、手と指の追跡、音声認識、顔の動き及び現実世界において検出された人々及び他のオブジェクトに関する他の態様を含むものであってもよい。アクション情報の検出は、ジェスチャ、顔の動きなどの自然なやりとりを検出することを含みうる。アクション情報は、１つ以上の検出されたアクションを記述するものであってもよい。いくつかの具体例では、モデルは、オブジェクトのアクションから推論される現実世界のオブジェクトについての１つ以上の推論された状態を含みうる。人に適用される状態は、幸せ、悲しい、退屈、無関心などを含みうる。例えば、顔認識及びジェスチャ認識は、顔の表情などの顔のアクションから個人の状態を推定しうる。状態はオブジェクト状態情報によって記述されてもよい。この分析を実行するため、Ｉｎｔｅｌ ＲｅａｌＳｅｎｓｅＴＭソフトウェアなどのソフトウェアが利用されてもよい。
これらのアプリケーションを日常の環境でより使いやすく楽しいものにするために、検知装置（例えば、カメラ）は、ウェアラブル装置及び他のポータブル計算装置上にあってもよい。しかしながら、ウェアラブル及び他のポータブル計算装置は、カメラを外側に向けるだけでよく、従って、センサは、ジェスチャ、顔の表情及びユーザ自身に関する他の入力を検出しなくてもよい。身に着けているユーザの顔の表情及びジェスチャを捕らえるためにカメラを内側に向けて配置することは、装置のサイズ及びコストを増加させる。内側に向いたカメラを追加することはまた、満足のいく焦点距離を達成し、ユーザを十分捕らえるため、カメラを被写体から離れたところに配置することを必要とするため、多くのウェアラブルに実装することが困難である。従って、ウェアラブルは、ジェスチャ、手及び指の追跡、音声認識、顔の分析及びそれを身につけているユーザの他の側面を感知することに困難を有する。前方を向いているカメラは、他の人々のこれらの側面を検出することはできるが、拡張現実の環境とのユーザのインタラクションをウェアラブルが実現する能力は限られている。
いくつかの具体例では、第１の対応する計算装置を有する第１のユーザのアクション又は状態（例えば、自然なやりとり）が、第２のユーザに対応する第２の計算装置上のセンサによって観察される方法、システム及び機械可読媒体が開示される。第１のユーザの観察されたアクション又は状態を説明する通知が、ネットワークを介し第１の対応する計算装置と共有されてもよい。このようにして、第１の計算装置には、ユーザを直接検知する必要なく、ユーザの状態に関する情報が提供されうる。同様に、第１の計算装置は、第２のユーザに関する情報を第２の計算装置に送信しうる。検出された自然なやりとりのこの協調的な共有は、センサベースアプリケーションの拡張された適用を可能にしうる。例えば、この協調的共有は、第１及び第２のユーザが他方のユーザの目を通して自分自身を見ることを可能にしうる。例えば、第２の計算装置は、第１のユーザのディスプレイ装置上で使用するため、第１のユーザの計算装置に第１のユーザに関して検出されたジェスチャ、感情及び他の観察を中継してもよい。
計算装置間で交換される情報は、通知データの交換であってもよく、それは未加工のセンサデータ（オブジェクト、アクション及びオブジェクト状態を含むモデルデータを計算するため受信者によってその後に使用されうる）、モデルデータ、アクション情報（例えば、ジェスチャに関する情報）又はオブジェクト状態情報の１つ以上を含むものであってもよい。この通知データは、アプリケーションに参加する他の計算装置に直接送信されてもよいし、あるいは、中央計算装置に送信されてもよい。それから、中央計算装置は、通知データをアプリケーションに参加する他の計算装置に転送してもよい。当該通知は、コンピュータネットワークを介して送信されてもよい。
いくつかの具体例では、モデルデータを形成するための未処理のセンサデータの処理、オブジェクトの検出、アクションの検出又はこれらのアクションからのオブジェクトの状態の推定の１つ以上は、参加するユーザの計算装置上で実行されてもよい。他の具体例では、モデルデータを形成するための未処理のセンサデータの処理、オブジェクトの検出、アクションの検出又はこれらのアクションからのオブジェクトの状態の推定の１つ以上は、アプリケーションに参加しているユーザの計算装置から送信される通知データに基づき中央計算装置上で実行されてもよい。
ユーザのデバイスから中央計算装置に送信される通知データは、中央計算装置から応答してユーザのデバイスに配信される通知データとは異なりうる。例えば、アプリケーションのユーザに関連する計算装置は、中央計算装置などによってオブジェクト状態情報に処理される未処理センサデータを送信しうる。それから、オブジェクト状態情報は、未処理センサデータの代わりに個々の計算装置に送信されてもよい。
上述されるように、第１の対応する計算装置を有する第１のユーザのアクション又は状態（例えば、自然なやりとり）は、第２のユーザに対応する第２の計算装置上のセンサによって観察される。第２の計算装置又は中央計算装置は、第１のユーザの観察されたアクション又は状態を第１のユーザの計算装置（及び実際には第１のユーザ）に関連付けしてもよい。いくつかの具体例では、これは、第２の計算装置又は中央計算装置のいずれかによって実行される顔又は他のオブジェクト認識技術に基づき実行されてもよい。例えば、各ユーザは、自分自身の１つ以上の登録画像をシステム、例えば、中央計算装置に送信してもよい。いくつかの具体例では、これは登録中に行われうる。１つ以上の顔認識アルゴリズムは、登録画像を利用して、アクション又は状態に対応するユーザを決定してもよい。これらのアルゴリズムは、計算装置又は中央計算装置上で実行されてもよい。他の具体例では、第１のユーザを特定のアクション又は状態に関連付ける他の方法は、位置（例えば、ユーザの位置が観察されたアクション又は状態の位置と比較される位置レジストリ）、無線報知された識別子（例えば、計算装置は、短距離（１００ｍ未満）の無線リンク上で一意的な識別子を報知する）などを利用することを含むものであってもよい。
計算装置は、スマートメガネ、スマートウォッチなどのウェアラブル計算装置を含んでもよい。計算装置はまた、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータなどを含んでもよい。
これらのシステム、方法及び機械可読媒体は様々な用途を有してもよい。例えば、システムにおける他のユーザがどのようにあなたを見たり感じているかのフィードバックが、あなたに表示され、社会関係を改善し、争いを理解し、対面での会議におけるステークホルダを説得して影響を与えるためのあなたの能力を向上させるため利用可能である。他の用途は、エデュテインメント、ゲーム、デートなどが含む。
図１は、マルチユーザマルチデバイスナチュラルインタラクションセンサベースアプリケーション環境の一例１０００を示す。具体例では、当該環境は、ユーザに外向き（例えば、世界）に面するセンサ（例えば、２Ｄ又は３Ｄカメラ）を備えた計算装置が備えられるマルチユーザローカル環境である。いくつかの具体例では、計算装置は、ウェアラブル計算装置（例えば、スマートウォッチ、眼鏡に埋め込まれた計算装置など）を含むものであってもよい。計算装置は、センサを利用してその範囲内のローカル環境に関する情報（例えば、その視界内のカメラセンサについて）を知覚してもよい。いくつかの具体例では、計算装置には未処理センサデータをモデル情報に処理するための命令が備えられてもよく、いくつかの具体例では、オブジェクト検出及び認識、アクション検出及びオブジェクト状態判定の１つ以上を含む。例えば、計算装置は、別のユーザ、当該ユーザがとったアクション（例えば、笑顔、眉をひそめるなど）を検出し、これらのアクションに基づきユーザの状態（例えば、幸せ、悲しみ、多忙、不注意、退屈など）を検出してもよい。例えば、ユーザが目を回すユーザ状態が検出されてもよい。このジェスチャは、不快感の感情に変換されてもよい。計算装置は、ジェスチャを感情に変換する命令を有してもよい。
図１において、ユーザＡ１０１０にはウェアラブル計算装置が備えられ、ユーザＢ１０２０に対向している。ユーザＢ１０２０にはまたウェアラブル計算装置が備えられ、ユーザＡ１０１０に対向している。ユーザＣ１０３０はユーザＡ１０１０に対向し、計算装置を備える。具体例では、ユーザＢの計算装置は、ユーザＡのビデオを記録してもよい。ユーザＡのアクション（例えば、ジェスチャ）は、未処理センサデータの分析を通じてユーザＢの計算装置によって検出されてもよい（また、その反対でもよい）。ユーザＡ１０１０に関する通知情報（例えば、アクション情報）は、通知１０５０を用いて中央計算装置１０４０に送信されてもよい。中央計算装置１０４０は、通知情報１０７０をユーザＡ１０１０、ユーザＢ１０２０及びユーザＣ１０３０の計算装置の１つ以上に送信してもよい。通知情報を共有すべき計算装置の選択は、デバイス契約（例えば、当該情報を受信するための契約をしたデバイス）、計算装置におけるプライバシ設定、近接性などの１つ以上によって決定されてもよい。例えば、特定の計算装置との特定の近接さの範囲内のユーザに関する通知情報が、当該特定の計算装置に送信されてもよい。ユーザＣの計算装置はまた、ユーザＡのセンサデータを記録してもよい。ユーザＡのアクション（例えば、ジェスチャ）は、未処理センサデータの分析を通じてユーザＣの計算装置によって検出されてもよい（また、その反対であってもよい）。ユーザＡ１０１０に関する通知情報（例えば、アクション情報）は、通知１０６０を使用して中央計算装置１０４０に送信されてもよい。中央計算装置１０４０は、通知情報１０７０をユーザＡ１０１０、ユーザＢ１０２０及びユーザＣ１０３０の１つ以上の計算装置に送信してもよい。ユーザＡの計算装置はまた、ユーザＢのセンサデータを記録してもよい。ユーザＢのアクション（例えば、ジェスチャ）は、未処理センサデータの分析を通じてユーザＡの計算装置によって検出されてもよい（また、その反対であってもよい）。ユーザＢ１０２０に関する通知情報（例えば、アクション情報）は、通知１０８０を用いて中央計算装置１０４０に送信されてもよい。中央計算装置１０４０は、通知情報１０７０をユーザＡ１０１０、ユーザＢ１０２０及びユーザＣ１０３０の１つ以上の計算装置に送信してもよい。上述されたように、通知情報１０７０は、通知情報１０５０、１０６０及び１０８０において送信されるものと同じであってもよいし、あるいは、１０５０、１０６０及び１０８０における通知情報に基づく異なる通知情報であってもよい。従って、各計算装置はアプリケーションにおけるユーザの限定的な視界しか有していないが、各計算装置は、情報の協調的共有を介しアプリケーションにおけるすべてのユーザに関する情報を取得してもよい。
図２は、本開示のいくつかの具体例による中央計算装置（例えば、ウェブサーバなど）を使用する協調マルチユーザナチュラルインタラクションサービスのメッセージシーケンス図２０００を示す。ユーザＡ２０１０の計算装置は、登録要求メッセージ２０５０を利用してウェブサーバ２０３０に登録してもよい。当該登録は、デバイス２０１０が受信に関心のある通知情報を指定してもよい。登録メッセージ２０５０は、通知情報をハイレベル又は細かいレベルで指定してもよい。例えば、登録情報は、特定のアプリケーション又はアプリケーションのインスタンスに参加している全てのデバイスに関連する全ての情報、アプリケーションの特定のユーザの全ての情報、特定のセンサ情報、モデル情報、アクション情報又は状態情報のみ（例えば、特定のユーザが悲しいときにのみ私に示す）などを要求してもよい。ウェブサーバ２０３０は、リクエスト２０５０を処理し、それを中央計算装置２０４０（メッセージ２０６０によって表される）に転送してもよい。登録２０６０は、中央計算装置２０４０に関連するデータストアに記録されてもよく、応答２０７０が送信されてもよい。そのとき、ウェブサーバ２０３０は登録応答２０８０によって応答してもよい。当該プロセスは、メッセージ２０９０、２０１０、２１１０及び２１２０によってユーザＢデバイス２０２０について繰り返されてもよい。いくつかの具体例では、ウェブサーバ２０３０は、中央計算装置２０４０の一部であってもよい。
処理２１２５において、ユーザＡ２０１０の計算装置は、別のユーザ（例えば、ユーザＢ）に対応するイベントを検出しうる。イベントは、例えば、検出されたアクション、１つ以上のオブジェクト又はユーザの状態の変化など、モデルの何れかの変更であってもよい。イベントはまたタイマの満了も含んでもよく、例えば、計算装置は、通知情報を含む更新を中央計算装置２０４０（例えば、中央計算装置）に定期的に送信してもよい。いくつかの具体例では、通知情報は、イベントを記述してもよいし、あるいは、計算装置の現在のモデルを記述してもよい。通知２１３０はウェブサーバ２０３０に送信され、ウェブサーバ２０３０は、それ２１４０を中央計算装置２０４０に転送してもよい。中央計算装置２０４０は、契約情報に基づき１つ以上の選択された計算装置に配信するため、当該通知をメッセージ２１５０においてウェブサーバに転送してもよい。いくつかの具体例では、中央計算装置２０４０は受信した通知２１４０を処理してもよい。例えば、当該通知が未処理センサデータである場合、中央計算装置２０４０は、そのデータ（また、いくつかの具体例では、以前に受信された他のデバイスからの未処理センサデータ）を使用して、モデルを構築、オブジェクトを検出、アクションを検出、状態を推論するなどしてもよい。これらの具体例では、通知２１３０及び２１４０における情報は、それが処理されうるという点で、中央計算装置２０４０から送信された通知２１５０における情報と異なりうる。ウェブサーバ２０３０は、メッセージ２１６０を用いて通知２１５０をユーザＢの計算装置２０２０に転送し、いくつかの具体例では、メッセージ２１７０を用いてユーザＡの計算装置２０１０に転送してもよい。図２は、ポイント・ツー・ポイントメッセージング２１６０及び２１７０による一例となる実現を示したが、他の具体例では、マルチキャスト又はブロードキャストメッセージングが利用されてもよい。
図３は、本開示のいくつかの具体例による中央計算装置を使用する協調マルチユーザナチュラルインタラクションサービスの例示的なメッセージシーケンス図３０００を示す。図３に示される具体例では、ユーザＣ３０３０はユーザＡ３０１０に対向し、ユーザＡ３０１０は手を振り３０５０、当該イベントはユーザＣの計算装置３０３５によって検出される。ユーザＣの計算装置３０３５は、ユーザＡが手を振っていることを示す通知メッセージ３０６０3（この場合、アクション情報）を中央計算装置３０４０に送信してもよい。それから、中央計算装置３０４０は、ユーザＢの計算装置３０２５に通知メッセージ３０７０を送信し、いくつかの具体例では、協調マルチユーザサービス３０４０は、ユーザＡの計算装置３０１５に通知３０８０を送信してもよい。これらの通知メッセージ３０７０及び３０８０は、ユーザＡ３０２５が手を振っていたことを示すものであってもよい。当該通知は、計算装置３０１５及び３０２５が当該通知を表示するか、又は当該通知に基づくデジタルコンテンツを提供しうるアプリケーションを更新することを可能にするものであってもよい。他の具体例では、メッセージ３０８０及び３０７０は、通知３０６０に基づきデバイス３０１５、３０２５及び３０３５上で実行されるアプリケーションにおける１つ以上の仮想オブジェクトの１つ以上の状態を更新するメッセージであってもよい。例えば、アプリケーションが拡張現実ゲームであり、手を振るジェスチャが魔法の呪文を投げるために使用される場合、メッセージ３０８０及び３０７０は、投げられた呪文を反映させるように拡張現実のディスプレイを更新するのに利用されてもよい。これらの具体例では、メッセージはまたユーザＣの計算装置３０３５に送信されてもよい。
図３に続いて、ユーザＢ３０２０は笑って３０９０もよい。ユーザＡの計算装置３０１５は、笑顔を検出し、通知メッセージ３１００を中央計算装置３０４０に送信してもよい。中央計算装置３０４０は、ユーザＢが笑っていたことを示す通知３１１０をユーザＣのデバイス３０３５に送信し、いくつかの具体例では、通知３１２０をユーザＢの計算装置に送信してもよい（また、更なる具体例では、通知をユーザＡの計算装置３０１５に送信してもよい）。上述されたように、これは、ユーザＢが笑っていたという通知（又は他のユーザ状態通知）であってもよいし、あるいは、１つ以上の仮想オブジェクトに対する更新であってもよい。同様に、ユーザＣが歩く３０３０とき、それはユーザＢの計算装置３０２５によって検出されてもよい。ユーザＢの計算装置３０２５は、通知３１４０を中央計算装置３０４０に送信してもよく、それから、通知３１５０及び３１６０をユーザＡの計算装置及びユーザＣの計算装置に送信してもよい。
図４に戻って、本開示のいくつかの具体例によるセンサベースアプリケーションにおける情報の共有を実現する中央計算装置の方法４０００のフローチャートである。処理４０１０において、中央計算装置はメッセージを受信しうる。メッセージが登録メッセージである場合、中央計算装置は、処理４０２０において、登録メッセージを処理してもよい。登録メッセージの処理は、ローカルストレージへの登録の詳細の格納を含むものであってもよい。登録メッセージは、特定のアプリケーションに計算装置を登録してもよい。いくつかの具体例では、登録メッセージは、通知が送信された特定のユーザへの近接さに基づき通知が送信される具体例では、特定の位置において計算装置を登録してもよい。これらの具体例では、登録メッセージは、計算装置の位置を中央計算装置によって更新するため、計算装置によって定期的に送信されてもよい。
処理４０１０において受信されたメッセージが通知メッセージである場合、当該通知メッセージは、処理４０３０において処理されてもよい。いくつかの具体例では、通知の処理は、通知に含まれる情報に基づきアクション、状態などを含むモデル情報を計算することを含むものであってもよい。処理４０４０において、中央計算装置から第２の通知を受信する計算装置（ターゲットデバイス）が決定されてもよい。これは、登録情報に基づくものであってもよい。処理４０５０において、第２の通知がターゲット計算装置に送信されてもよい。第１及び第２の通知は、同じ情報（例えば、未処理センサデータ、アクション情報、状態情報、モデル情報など）を含んでもよい。他の具体例では、第２の通知は、第１の通知に基づき計算された情報、例えば、第１の通知における未処理センサデータから計算されたモデルデータ（例えば、処理４０３０において計算される）を含むものであってもよい。
図５に戻って、本開示のいくつかの具体例によるセンサベースアプリケーションにユーザに関する情報を提供する計算装置の方法５０００が示される。処理５０１０において、計算装置は中央計算装置に登録する。処理５０２０において、計算装置はイベントを受信する。イベントは、通知又はセンサデータを含んでもよい。イベントが通知（例えば、別の計算装置又は中央計算装置から受信された）である場合、計算装置は通知を読み取り、必要であれば、５０４０において計算装置のモデルを計算又は更新してもよい。例えば、通知が未処理センサデータである場合、計算装置は、１つ以上のオブジェクト、１つ以上のアクション及び／又は検出されたオブジェクトの１つ以上の状態の１つ以上を検出してもよい。他の具体例では、通知がモデル情報を含む場合、通知におけるモデル情報が、計算装置におけるモデル情報を更新するため利用されてもよい。処理５０５０において、いくつかの具体例では、通知情報及び／又は更新されたモデルは、アプリケーションに通知するため利用されうる。例えば、計算装置は、センサベースアプリケーションに通知を送信してもよい。いくつかの具体例では、図５の処理は、センサベースアプリケーション自体によって実行されてもよい。これらの具体例では、通知は、関数呼び出し、プロシージャ呼び出し、フラグ、プロセス内通信、プロセス間通信などであってもよい。アプリケーションは、その情報を利用してアプリケーション状態を更新してもよい。更新は、例えば、アプリケーションの表示を更新することを含むものであってもよい。一例として、通知情報が、別の計算装置によって知覚されるセンサベースアプリケーションのユーザの知覚された状態に関する情報（例えば、感知された感情）である場合、センサベースアプリケーションは当該状態をユーザに表示してもよい。
処理５０２０において受信したイベントがセンサデータ（又は、いくつかの具体例では、スケジューリングされたセンサ読み取り結果）である場合、計算装置は、５０６０においてモデルを計算又は更新してもよい。例えば、計算装置は、センサデータからアクション、状態（例えば、感情）又は他のモデル情報を計算してもよい。処理５０７０において、計算装置は、センサデータ又はモデル情報（アクション、感情などを含む）を中央計算装置に送信してもよい。処理５０５０において、計算装置は、センサデータに基づきセンサベースアプリケーション５０５０に通知してもよい。
図６は、計算装置６０１０及び中央計算装置６０２０の論理図を含む、本開示のいくつかの具体例による協調マルチユーザナチュラルインタラクションセンサベースアプリケーション６０００に情報を提供するシステムの概略図を示す。ラップトップ６０１０、モバイルデバイス６０３０及びウェアラブル６０４０（着用可能な計算眼鏡として示される）などの計算装置は、拡張現実アプリケーションに参加し、ネットワーク６０５０を介し中央計算装置６０２０を通じて互いに通信してもよい。計算装置は、図４の方法及び図２〜３からのメッセージシーケンス図の１つ以上を実現しうる各種論理モジュールを含むものであってもよい。図４の方法は、図６の計算装置６０１０のために示されたモジュールの１つ以上によって実行されてもよい。
登録モジュール６０６０は、中央計算装置６０２０に登録してもよい。上述されたように、それは、特定のアプリケーションに関連する通知を受信するため登録してもよい。いくつかの具体例では、登録モジュールは、登録メッセージを中央計算装置６０２０に送信して、中央計算装置６０２０を計算装置６０１０の位置において更新してもよい。登録モジュール６０６０は、登録メッセージを入出力モジュール６１００を介して中央計算装置６０２０に送信してもよい。入出力モジュール６１００は、ネットワーク６０５０を介し１つ以上の他の計算装置及び中央計算装置６０２０と通信するための１つ以上の通信プロトコルを実装してもよい。入出力モジュール６１００は、ディスプレイ及び他のインタフェースを計算装置６０１０のユーザに出力してもよい。
センサモジュール６０７０は、前方を向き、現実世界についてのデータを捕捉しうる３Ｄカメラなどの１つ以上のセンサであってもよい。センサモジュール６０７０は、当該データをモデルモジュール６０９０に提供してもよい。モデルモジュール６０９０は、センサデータを分析して、現実世界におけるオブジェクトを識別し、これらのオブジェクトがとるアクションを決定し、これらのアクションに基づきこれらのオブジェクトの状態（例えば、感情）を判定してもよい。いくつかの具体例では、計算装置６０１０は、センサデータからモデル情報を計算するための処理パワー又はバッテリ寿命を有しなくてもよいし、あるいは、モデル情報を計算するのに使用される処理パワーの量を制限することが望ましいかもしれない。これらの具体例では、計算装置６０１０は、未処理センサデータ又は部分的計算を中央計算装置６０２０に送信してもよい。そのとき、中央計算装置６０２０のモデルモジュール６１２０は、未処理センサデータ又は部分的計算を使用してモデル情報を計算してもよい。このとき、完了した計算は、計算装置６０１０に送り返されてもよい。制御モジュール６０８０は、計算装置に結合されたセンサベースアプリケーションにおいて、計算装置のユーザについて決定されたデータを利用してもよい。例えば、制御モジュール６０８０は、当該データをセンサベースアプリケーションに通信してもよいし、あるいは、センサベースアプリケーションがこの情報を取得する方法を提供してもよい（例えば、アプリケーションプログラミングインタフェースＡＰＩを提供する）。他の具体例では、制御モジュール６０８０は、拡張現実アプリケーションなどのセンサベースアプリケーションを提供し、他のモジュールのアクションを調整してもよい。制御モジュール６０８０は、センサデータに基づいて中央計算装置６０２０に通知を送信してもよい。例えば、制御モジュール６０８０は、モデルが変化したとき、あるいは、モデルが（例えば、オブジェクトの状態が変化したり、アクションが検出されたりするなど）所定の方法で変化したとき、通知を送信してもよい。
中央計算装置６０２０は、図５の方法及び図２〜３からのメッセージシーケンス図の１つ以上を実現しうる様々な論理モジュールを含むものであってもよい。図５の方法は、図６の中央計算装置６０２０について示された１つ以上のモジュールによって実行されてもよい。例えば、中央計算装置６０２０は、計算装置６０１０の位置への登録及び／又は更新を処理する登録モジュール６１１０を含んでもよい。モデルモジュール６１２０は、通知モジュール６１３０を介し他の計算装置から受信した通知を利用して、中央計算装置６０２０によって記憶されているモデルを更新又は作成してもよい。例えば、モデルモジュール６１２０は、通知における情報を分析して、現実世界におけるオブジェクトを識別し、これらのオブジェクトがとるアクションを決定し、これらのアクションに基づきこれらのオブジェクトの状態（例えば、感情）を決定してもよい。通知モジュール６１３０は、通知を受信した結果として、通知を送信すべき計算装置を決定してもよい。上述されたように、通知モジュール６１３０から送信された通知は、計算装置から受信されたものと同じ又は異なる情報を含むものであってもよい。通知モジュール６１３０はまた、計算装置からの通知を受信及び処理してもよい。入出力モジュール６１４０は、ネットワーク６０５０を介し１つ以上の他の計算装置と通信するための１つ以上の通信プロトコルを実装してもよい。制御モジュール６１５０は、登録モジュール６１１０、モデルモジュール６１２０、通知モジュール６１３０及び入出力モジュール６１４０の活動を調整してもよい。制御モジュール６１５０は、１つ以上の集中管理されたセンサアプリケーションを提供又は実現してもよい。例えば、拡張現実ゲームである。これらの具体例では、計算装置６０１０から送信される通知は、これらのアプリケーションの１つ以上の状態を更新してもよい。それから、アプリケーションに対する更新は、通知メッセージにおいて計算装置６０１０に送信されてもよい。
図７は、ここで説明される技術（例えば、方法）の何れか１つ以上が実行しうる例示的なマシーン７０００のブロック図を示す。代替の実施例では、マシーン７０００は、スタンドアロン装置として動作してもよく、あるいは、他のマシーンに接続（例えば、ネットワーク接続）されてもよい。ネットワーク化された配置では、マシーン７０００は、サーバ・クライアントネットワーク環境におけるサーバマシン、クライアントマシン又はその双方の能力で動作してもよい。一例では、マシーン７０００は、ピア・ツー・ピア（Ｐ２Ｐ）（又は他の分散型）ネットワーク環境においてピア・マシーンとして動作してもよい。マシーン７０００は、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、ウェアラブル計算装置、セットトップボックス（ＳＴＢ）、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、スマートフォン、ウェブアプライアンス、ネットワークルータ、スイッチ若しくはブリッジ又は当該マシーンがとるべきアクションを指定する命令（シーケンシャル又はその他）を実行することができる何れかのマシーンの形態における計算装置、中央計算装置などであってもよい。さらに、単一のマシーンだけが示されているが、“マシーン”という用語は、クラウドコンピューティング、ＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）、他のコンピュータクラスタ構成など、ここに説明される方法の何れか１つ以上を実行するための命令セット（又は複数のセット）を個別又は共同して実行するマシーンの何れかの集まりを含むものとされる。
ここで説明される具体例は、論理又は多数の構成要素、モジュール又は機構を含みうるか、あるいは、それら上で動作しうる。モジュールは、指定された処理を実行することが可能な有形のエンティティ（例えば、ハードウェア）であり、特定の方法で構成又は配置されてもよい。一例では、回路は、モジュールとして指定された方式で（例えば、内部的に又は他の回路などの外部エンティティに関して）配置されてもよい。一例では、１つ以上のコンピュータシステム（例えば、スタンドアロン、クライアント又はサーバコンピュータシステム）又は１つ以上のハードウェアプロセッサの全体又は一部は、ファームウェア又はソフトウェア（例えば、命令、アプリケーション部分又はアプリケーション）によって、指定された処理を実行するために動作するモジュールとして構成されてもよい。一例では、ソフトウェアは機械可読媒体上にあってもよい。一例では、ソフトウェアは、モジュールの基礎となるハードウェアによって実行されると、ハードウェアに指定された処理を実行させる。
従って、“モジュール”という用語は、ここに説明された何れかの処理の一部又は全てを実行するか、又は指定された方式で動作するよう物理的に構成され、具体的に構成され（例えば、配線化）、又は一時的に（例えば、一時的に）構成された（例えば、プログラム化）有形なエンティティを含むと理解される。モジュールが一時的に構成される具体例を考えると、各モジュールは、何れか１つの時点でインスタンス化される必要はない。例えば、モジュールがソフトウェアを用いて構成された汎用ハードウェアプロセッサを含むとき、汎用ハードウェアプロセッサは異なる時間にそれぞれ異なるモジュールとして構成されてもよい。従って、ソフトウェアは、例えば、特定のモジュールをある時点で構成し、異なる時点で異なるモジュールを構成するようハードウェアプロセッサを構成してもよい。
マシーン（例えば、コンピュータシステム）７０００は、ハードウェアプロセッサ７００２（例えば、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、ハードウェアプロセッサコア又はこれらの何れかの組み合わせ）、メインメモリ７００４及び静的メモリ７００６を含んでもよく、これらの一部又は全ては相互リンク（例えば、バス）７００８を介し互いに通信してもよい。マシーン７０００はさらに、ディスプレイユニット７０１０、英数字入力装置７０１２（例えば、キーボード）、ユーザインターフェース（ＵＩ）ナビゲーションデバイス７０１４（例えば、マウス）を含んでもよい。一例では、ディスプレイユニット７０１０、入力デバイス７０１２及びＵＩナビゲーションデバイス７０１４は、タッチスクリーンディスプレイであってもよい。マシーン７０００は更に、記憶装置（例えば、ドライブユニット）７０１６、信号生成装置７０１８（例えば、スピーカ）、ネットワークインタフェース装置７０２０及びグローバル・ポジショニング・システム（ＧＰＳ）センサ、コンパス、加速度計又は他のセンサなどの１つ以上のセンサ７０２１を有してもよい。マシーン７０００は、１つ以上の周辺装置（例えば、プリンタ、カードリーダなど）を通信又は制御するためのシリアル（例えば、ユニバーサルシリアルバス（ＵＳＢ）、パラレル又は他の有線若しくは無線（例えば、赤外線（ＩＲ）、近距離通信（ＮＦＣ）など）接続などの出力コントローラ７０２８を有してもよい。
記憶装置７０１６は、ここに説明される技術又は機能の何れか１つ以上によって具体化又は利用されるデータ構造又は命令７０２４（例えば、ソフトウェア）の１つ以上のセットが格納された機械可読媒体７０２２を含んでもよい。命令７０２４はまた、マシーン７０００による実行中、メインメモリ７００４内、静的メモリ７００６内又はハードウェアプロセッサ７００２内に完全に又は少なくとも部分的にあってもよい。一例では、ハードウェアプロセッサ７００２、メインメモリ７００４、静的メモリ７００６又は記憶装置７０１６の１つ又は何れかの組み合わせは、機械可読媒体を構成しうる。
機械可読媒体７０２２は、単一の媒体として示されているが、“機械可読媒体”という用語は、１つ以上の命令７０２４を記憶するよう構成される単一の媒体又は複数の媒体（例えば、集中型又は分散型データベース及び／又は関連するキャッシュ及びサーバを有してもよい。
“機械可読媒体”という用語は、マシーン７０００による実行のための命令を格納、符号化又は担持することが可能であり、マシーン７０００に本開示の技術のいずれか１つ以上を実行させる何れかの媒体、又はそのような命令によって使用されるか、又はそれに関連するデータ構造を格納、符号化又は担持することが可能な何れかの媒体を含むものであってもよい。非限定的な機械可読媒体の具体例は、ソリッドステートメモリ並びに光学及び磁気媒体を含んでもよい。機械可読媒体の特定の具体例は、半導体メモリデバイス（例えば、電気的にプログラム可能な読み出し専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラム可能な読み出し専用メモリ（ＥＥＰＲＯＭ））及びフラッシュメモリデバイスなどの不揮発性メモリ、内部ハードディスク及びリムーバブルディスクなどの磁気ディスク、光磁気ディスク、ランダムアクセスメモリ（ＲＡＭ）、ソリッドステートドライブ（ＳＳＤ）及びＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭディスクを含むものであってもよい。いくつかの具体例では、機械可読媒体は、非一時的機械可読媒体を含みうる。いくつかの具体例では、機械可読媒体は、一時的伝搬信号ではない機械可読媒体を含んでもよい。
命令７０２４は更に、ネットワークインタフェースデバイス７０２０を介し送信媒体を用いて通信ネットワーク７０２６を介し送受信されうる。マシーン７０００は、複数の伝送プロトコル（例えば、フレームリレイ、インターネットプロトコル（ＩＰ）、送信制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパテキスト伝送プロトコル（ＨＴＴＰ）など）の何れか１つを用いて１つ以上の他のマシーンと通信してもよい。一例となる通信ネットワークは、特に、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、パケットデータネットワーク（インターネットなど）、携帯電話ネットワーク（セルラネットワークなど）、ＰＯＴＳ（Ｐｌａｉｎ Ｏｌｄ Ｔｅｌｅｐｈｏｎｅ）ネットワーク及び無線データネットワーク（例えば、Ｗｉ−Ｆｉ（登録商標）として知られる規格のＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）８０２．１１ファミリ、ＷｉＭａｘ（登録商標）として知られる規格のＩＥＥＥ８０２．１６ファミリ）、ＩＥＥＥ８０２．１５．４規格ファミリ、ロング・ターム・エボリューション（ＬＴＥ）規格ファミリ、ＵＭＴＳ（Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ）規格ファミリ、ピア・ツー・ピア（Ｐ２Ｐ）ネットワークを含むものであってもよい。一例では、ネットワークインタフェースデバイス７０２０は、通信ネットワーク７０２６に接続するための１つ以上の物理的ジャック（例えば、イーサネット（登録商標）、同軸又は電話ジャック）又は１つ以上のアンテナを含んでもよい。一例では、ネットワークインタフェースデバイス７０２０は、ＳＩＭＯ（Ｓｉｎｇｌｅ−Ｉｎｐｕｔ Ｍｕｌｔｉｐｌｅ−Ｏｕｔｐｕｔ）、ＭＩＭＯ（Ｍｕｌｔｉｐｌｅ−Ｉｎｐｕｔ Ｍｕｌｔｉｐｌｅ−Ｏｕｔｐｕｔ）又はＭＩＳＯ（Ｍｕｌｔｉｐｌｅ−Ｉｎｐｕｔ Ｓｉｎｇｌｅ−Ｏｕｔｐｕｔ）技術の少なくとも１つを利用して無線通信するための複数のアンテナを含んでもよい。いくつかの具体例では、ネットワークインタフェースデバイス７０２０は、マルチユーザＭＩＭＯ技術を用いて無線通信してもよい。
他の表示及び具体例
具体例１は、１つ以上のコンピュータプロセッサを有し、１つ以上のコンピュータプロセッサは、コンピュータネットワークを介し第１の計算装置から第１の通知を受信する通知モジュールであって、第１の通知は第１の計算装置上のセンサから決定されたデータを含み、データはセンサから決定され、第２の計算装置に関連するユーザについて決定された情報を示す、通知モジュールと、第２の計算装置が拡張現実アプリケーションに登録されていることを確認し、第２の計算装置が登録されていることを確認したことに応答して、第２の計算装置に第２の通知を送信し、第２の通知は第１の通知に基づく、制御モジュールとを有するよう構成される主題（デバイス、装置又はマシーンなど）を含む。
具体例２では、具体例１の主題は、第１の通知は未処理センサデータを有し、第２の通知は未処理センサデータを有することを含むものであってもよい。
具体例３では、具体例１〜２の何れか１つの主題は、第１の通知は未処理センサデータを有し、制御モジュールは更に、未処理センサデータからユーザに関するモデルデータを決定するよう構成され、第２の通知はモデルデータを含むことを含むものであってもよい。
具体例４では、具体例１〜３の何れか１つの主題は、モデルデータはユーザのアクションを記述するアクション情報であることを含むものであってもよい。
具体例５では、具体例１〜４の何れか１つの主題は、モデルデータはユーザの状態を記述する状態情報であることを含むものであってもよい。
具体例６では、具体例１〜５の何れか１つの主題は、第１の通知はユーザに対応するモデルデータを有し、第２の通知はモデルデータを有することを含むものであってもよい。
具体例７では、具体例１〜６の何れか１つの主題は、第１の通知は第１のユーザの状態を記述するオブジェクト状態情報を有し、第２の通知はオブジェクト状態情報を有することを含むものであってもよい。
具体例８では、具体例１〜７の何れか１つの主題は、第１の通知はユーザのアクションを記述するアクション情報を有し、第２の通知はアクション情報を有することを含むものであってもよい。
具体例９では、具体例１〜８の何れか１つの主題は、拡張現実アプリケーションはゲームであることを含むものであってもよい。
具体例１０では、具体例１〜９の何れか１つの主題は、拡張現実アプリケーションは、ユーザの状態をユーザに表示するアプリケーションであり、状態は第２の計算装置によって検出されることを含むものであってもよい。
具体例１１は、中央計算装置において１つ以上のプロセッサを使用して、コンピュータネットワークを介し第１の計算装置から第１の通知を受信するステップであって、第１の通知は第１の計算装置上のセンサから決定されたデータを含み、データはセンサから決定され、第２の計算装置に関連するユーザについて決定された情報を示す、受信するステップと、第２の計算装置が拡張現実アプリケーションに登録されていることを確認するステップと、第２の計算装置が登録されていることを確認したことに応答して、第２の計算装置に第２の通知を送信するステップであって、第２の通知は第１の通知に基づく、送信するステップとを有する主題（マシーンによって実行されると、各ステップをマシーンに実行させる命令又は実行する装置を含む方法、ステップを実行する手段、マシーン可読媒体など）を含む。
具体例１２では、具体例１１の主題は、第１の通知は未処理センサデータを有し、第２の通知は未処理センサデータを有することを含むものであってもよい。
具体例１３では、具体例１１〜１２の何れか１つの主題は、第１の通知は未処理センサデータを有し、当該方法は更に、未処理センサデータからユーザに関するモデルデータを決定するステップを有し、第２の通知はモデルデータを含むことを含むものであってもよい。
具体例１４では、具体例１１〜１３の何れか１つの主題は、モデルデータはユーザのアクションを記述するアクション情報であることを含むものであってもよい。
具体例１５では、具体例１１〜１４の何れか１つの主題は、モデルデータはユーザの状態を記述する状態情報であることを含むものであってもよい。
具体例１６では、具体例１１〜１５の何れか１つの主題は、第１の通知はユーザに対応するモデルデータを有し、第２の通知はモデルデータを有することを含むものであってもよい。
具体例１７では、具体例１１〜１６の何れか１つの主題は、第１の通知は第１のユーザの状態を記述するオブジェクト状態情報を有し、第２の通知はオブジェクト状態情報を有することを含むものであってもよい。
具体例１８では、具体例１１〜１７の何れか１つの主題は、第１の通知はユーザのアクションを記述するアクション情報を有し、第２の通知はアクション情報を有することを含むものであってもよい。
具体例１９では、具体例１１〜１８の何れか１つの主題は、拡張現実アプリケーションはゲームであることを含むものであってもよい。
具体例２０では、具体例１１〜１９の何れか１つの主題は、拡張現実アプリケーションは、ユーザの状態をユーザに表示するアプリケーションであり、状態は第２の計算装置によって検出されることを含むものであってもよい。
具体例２１は、マシーンにより実行されると、具体例１１〜２０の何れかの処理をマシーンに実行させる命令を有する少なくとも１つのマシーン可読媒体を有する。
具体例２２は、具体例１１〜２０の何れかを実行する手段を有する装置を含む。
具体例２３は、コンピュータネットワークを介し第１の計算装置から第１の通知を受信する手段であって、第１の通知は第１の計算装置上のセンサから決定されたデータを含み、データはセンサから決定され、第２の計算装置に関連するユーザに関する情報を示す、受信する手段と、第２の計算装置が拡張現実アプリケーションに登録されていることを確認する手段と、第２の計算装置が拡張現実アプリケーションに登録されていることを確認したことに応答して、第２の計算装置に第２の通知を送信する手段であって、第２の通知は第１の通知に基づく、送信する手段とを有する主題（デバイス、装置又はマシーン）を含む。
具体例２４では、具体例２３の主題は、第１の通知は未処理センサデータを有し、第２の通知は未処理センサデータを有することを含むものであってもよい。
具体例２５では、具体例２３〜２４の何れか１つの主題は、第１の通知は未処理センサデータを有し、制御モジュールは更に、未処理センサデータからユーザに関するモデルデータを決定するよう構成され、第２の通知はモデルデータを含むことを含むものであってもよい。
具体例２６では、具体例２３〜２５の何れか１つの主題は、モデルデータはユーザのアクションを記述するアクション情報であることを含むものであってもよい。
具体例２７では、具体例２３〜２６の何れか１つの主題は、モデルデータはユーザの状態を記述する状態情報であることを含むものであってもよい。
具体例２８では、具体例２３〜２７の何れか１つの主題は、第１の通知はユーザに対応するモデルデータを有し、第２の通知はモデルデータを有することを含むものであってもよい。
具体例２９では、具体例２３〜２８の何れか１つの主題は、第１の通知は第１のユーザの状態を記述するオブジェクト状態情報を有し、第２の通知はオブジェクト状態情報を有することを含むものであってもよい。
具体例３０では、具体例２３〜２９の何れか１つの主題は、第１の通知はユーザのアクションを記述するアクション情報を有し、第２の通知はアクション情報を有することを含むものであってもよい。
具体例３１では、具体例２３〜３０の何れか１つの主題は、拡張現実アプリケーションはゲームであることを含むものであってもよい。
具体例３２では、具体例２３〜３１の何れか１つの主題は、拡張現実アプリケーションは、ユーザの状態をユーザに表示するアプリケーションであり、状態は第２の計算装置によって検出されることを含むものであってもよい。
具体例３３は、１つ以上のコンピュータプロセッサを有し、１つ以上のコンピュータプロセッサは、登録メッセージを中央計算装置に送信する登録モジュールであって、登録メッセージは第１の計算装置を中央計算装置に登録する、登録モジュールと、中央計算装置から通知を受信する通知モジュールであって、通知は第２の計算装置上の前に向いたセンサから計算装置のユーザについて決定されたデータを有する、通知モジュールと、計算装置に結合されたセンサベースアプリケーションにおいて計算装置のユーザについて決定されたデータを利用する制御モジュールとを有するよう構成される主題（デバイス、装置又はマシーンなど）を含む。
具体例３４では、具体例３３の主題は、通知は未処理センサデータを有することを含むものであってもよい。
具体例３５では、具体例３３〜３４の何れか１つの主題は、通知はモデルデータを有することを含むものであってもよい。
具体例３６では、具体例３３〜３５の何れか１つの主題は、モデルデータは第１のユーザの状態を記述する状態情報であることを含むものであってもよい。
具体例３７では、具体例３３〜３６の何れか１つの主題は、モデルデータはユーザのアクションを記述するアクション情報であることを含むものであってもよい。
具体例３８では、具体例３３〜３７の何れか１つの主題は、センサベースアプリケーションはゲームであり、第１及び第２の通知は、ゲームからのオブジェクトに対して作用する入力であることを含むものであってもよい。
具体例３９は、ユーザに関連する第１の計算装置において、１つ以上のプロセッサを利用して、登録メッセージを中央計算装置に送信するステップであって、登録メッセージは第１の計算装置を中央計算装置に登録する、送信するステップと、中央計算装置から通知を受信するステップであって、通知は第２の計算装置上の前に向いたセンサから計算装置のユーザについて決定されたデータを有する、受信するステップと、計算装置に結合されたセンサベースアプリケーションにおいて計算装置のユーザについて決定されたデータを利用するステップとを有する主題（マシーンによって実行されると、各ステップをマシーンに実行させる命令又は実行する装置を含む方法、ステップを実行する手段、マシーン可読媒体など）を含む。
具体例４０では、具体例３９の主題は、通知は未処理センサデータを有することを含むものであってもよい。
具体例４１では、具体例３９〜４０の何れか１つの主題は、通知はモデルデータを有することを含むものであってもよい。
具体例４２では、具体例３９〜４１の何れか１つの主題は、モデルデータは第１のユーザの状態を記述する状態情報であることを含むものであってもよい。
具体例４３では、具体例３９〜４２の何れか１つの主題は、モデルデータはユーザのアクションを記述するアクション情報であることを含むものであってもよい。
具体例４４では、具体例３９〜４３の何れか１つの主題は、センサベースアプリケーションはゲームであり、第１及び第２の通知は、ゲームからのオブジェクトに対して作用する入力であることを含むものであってもよい。
具体例４５は、マシーンにより実行されると、具体例３９〜４４の何れかの処理をマシーンに実行させる命令を有する少なくとも１つのマシーン可読媒体を有する。
具体例４６は、具体例３９〜４４の何れかを実行する手段を有する装置を含む。
具体例４７は、登録メッセージを中央計算装置に送信する手段であって、登録メッセージは第１の計算装置を中央計算装置に登録する、送信する手段と、中央計算装置から通知を受信する手段であって、通知は第２の計算装置上の前に向いたセンサから計算装置のユーザについて決定されたデータを有する、受信する手段と、計算装置に結合されたセンサベースアプリケーションにおいて計算装置のユーザについて決定されたデータを利用する手段とを有する主題（デバイス、装置又はマシーンなど）を含む。
具体例４８では、具体例４７の主題は、通知は未処理センサデータを有することを含むものであってもよい。
具体例４９では、具体例４７〜４８の何れか１つの主題は、通知はモデルデータを有することを含むものであってもよい。
具体例５０では、具体例４７〜４９の何れか１つの主題は、モデルデータは第１のユーザの状態を記述する状態情報であることを含むものであってもよい。
具体例５１では、具体例４７〜５０の何れか１つの主題は、モデルデータはユーザのアクションを記述するアクション情報であることを含むものであってもよい。
具体例５２では、具体例４７〜５１の何れか１つの主題は、センサベースアプリケーションはゲームであり、第１及び第２の通知は、ゲームからのオブジェクトに対して作用する入力であることを含むものであってもよい。
具体例５３は、１つ以上のコンピュータプロセッサを有し、１つ以上のコンピュータプロセッサは、登録メッセージを中央計算装置に送信する登録モジュールであって、登録メッセージは第１の計算装置を中央計算装置に登録する、登録モジュールと、中央計算装置から通知を受信する通知モジュールであって、通知は第２の計算装置上の前に向いたセンサから計算装置のユーザについて決定されたデータを有する、通知モジュールと、計算装置に結合されたセンサベースアプリケーションにおいて計算装置のユーザについて決定されたデータを利用する制御モジュールとを有するよう構成される主題（デバイス、装置又はマシーンなど）を含む。
具体例５４では、具体例５３の主題は、通知は未処理センサデータを有することを含むものであってもよい。
具体例５５では、具体例５３〜５４の何れか１つの主題は、通知はモデルデータを有することを含むものであってもよい。
具体例５６では、具体例５３〜５５の何れか１つの主題は、モデルデータは第１のユーザの状態を記述する状態情報であることを含むものであってもよい。
具体例５７では、具体例５３〜５６の何れか１つの主題は、モデルデータはユーザのアクションを記述するアクション情報であることを含むものであってもよい。
具体例５８では、具体例５３〜５７の何れか１つの主題は、センサベースアプリケーションはゲームであり、第１及び第２の通知は、ゲームからのオブジェクトに対して作用する入力であることを含むものであってもよい。
具体例５９は、ユーザに関連する第１の計算装置において、１つ以上のプロセッサを利用して、登録メッセージを中央計算装置に送信するステップであって、登録メッセージは第１の計算装置を中央計算装置に登録する、送信するステップと、中央計算装置に通知を送信するステップであって、通知は計算装置上の前に向いたセンサから第２の計算装置のユーザについて決定されたデータを有する、送信するステップと、計算装置に結合されたセンサベースアプリケーションにおいて第２の計算装置のユーザについて決定されたデータを利用するステップとを有する主題（マシーンによって実行されると、各ステップをマシーンに実行させる命令又は実行する装置を含む方法、ステップを実行する手段、マシーン可読媒体など）を含む。
具体例６０では、具体例５９の主題は、通知は未処理センサデータを有することを含むものであってもよい。
具体例６１では、具体例５９〜６０の何れか１つの主題は、通知はモデルデータを有することを含むものであってもよい。
具体例６２では、具体例５９〜６１の何れか１つの主題は、モデルデータは第１のユーザの状態を記述する状態情報であることを含むものであってもよい。
具体例６３では、具体例５９〜６２の何れか１つの主題は、モデルデータはユーザのアクションを記述するアクション情報であることを含むものであってもよい。
具体例６４では、具体例５９〜６３の何れか１つの主題は、センサベースアプリケーションはゲームであり、第１及び第２の通知は、ゲームからのオブジェクトに対して作用する入力であることを含むものであってもよい。
具体例６５は、マシーンにより実行されると、具体例５９〜６４の何れかの処理をマシーンに実行させる命令を含む少なくとも１つの機械可読媒体を含む。
具体例６６は、登録メッセージを中央計算装置に送信する手段であって、登録メッセージは第１の計算装置を中央計算装置に登録する、送信する手段と、中央計算装置に通知を送信する手段であって、通知は計算装置上の前に向いたセンサから第２の計算装置のユーザについて決定されたデータを有する、送信する手段と、計算装置に結合されたセンサベースアプリケーションにおいて第２の計算装置のユーザについて決定されたデータを利用する手段とを有する主題（デバイス、装置又はマシーンなど）を含む。
具体例６０では、具体例５９の主題は、通知は未処理センサデータを有することを含むものであってもよい。
具体例６１では、具体例５９〜６０の何れか１つの主題は、通知はモデルデータを有することを含むものであってもよい。
具体例６２では、具体例５９〜６１の何れか１つの主題は、モデルデータは第１のユーザの状態を記述する状態情報であることを含むものであってもよい。
具体例６３では、具体例５９〜６２の何れか１つの主題は、モデルデータはユーザのアクションを記述するアクション情報であることを含むものであってもよい。
具体例６４では、具体例５９〜６３の何れか１つの主題は、センサベースアプリケーションはゲームであり、第１及び第２の通知は、ゲームからのオブジェクトに対して作用する入力であることを含むものであってもよい。

Claims (26)

  1. 中央計算装置であって、
    １つ以上のコンピュータプロセッサを有し、
    前記１つ以上のコンピュータプロセッサは、
    コンピュータネットワークを介し第１の計算装置から第１の通知を受信する通知モジュールであって、前記第１の通知は前記第１の計算装置上のセンサから決定されたデータを含み、前記データは前記センサから決定され、第２の計算装置に関連するユーザについて決定された情報を示す、通知モジュールと、
    前記第２の計算装置が拡張現実アプリケーションに登録されていることを確認し、前記第２の計算装置が登録されていることを確認したことに応答して、前記第２の計算装置に第２の通知を送信し、前記第２の通知は前記第１の通知に基づく、制御モジュールと、
    を有するよう構成される中央計算装置。
  2. 前記第１の通知は未処理センサデータを有し、前記第２の通知は前記未処理センサデータを有する、請求項１記載の中央計算装置。
  3. 前記第１の通知は未処理センサデータを有し、
    前記制御モジュールは更に、前記未処理センサデータから前記ユーザに関するモデルデータを決定するよう構成され、
    前記第２の通知は前記モデルデータを含む、請求項１記載の中央計算装置。
  4. 前記モデルデータは前記ユーザのアクションを記述するアクション情報である、請求項３記載の中央計算装置。
  5. 前記モデルデータは前記ユーザの状態を記述する状態情報である、請求項３記載の中央計算装置。
  6. 前記第１の通知は前記ユーザに対応するモデルデータを有し、前記第２の通知は前記モデルデータを有する、請求項１記載の中央計算装置。
  7. 前記第１の通知は前記第１のユーザの状態を記述するオブジェクト状態情報を有し、前記第２の通知はオブジェクト状態情報を有する、請求項６記載の中央計算装置。
  8. 前記第１の通知は前記ユーザのアクションを記述するアクション情報を有し、前記第２の通知はアクション情報を有する、請求項６記載の中央計算装置。
  9. 前記拡張現実アプリケーションはゲームである、請求項１記載の中央計算装置。
  10. 前記拡張現実アプリケーションは、前記ユーザの状態を前記ユーザに表示するアプリケーションであり、前記状態は前記第２の計算装置によって検出される、請求項１記載の中央計算装置。
  11. 請求項１乃至１０何れか一項記載の装置をコンピュータに実現させるプログラム。
  12. 協調マルチユーザインタラクションサービスに参加する計算装置であって、
    １つ以上のコンピュータプロセッサを有し、
    前記１つ以上のコンピュータプロセッサは、
    登録メッセージを中央計算装置に送信する登録モジュールであって、前記登録メッセージは第１の計算装置を前記中央計算装置に登録する、登録モジュールと、
    前記中央計算装置から通知を受信する通知モジュールであって、前記通知は第２の計算装置上の前に向いたセンサから前記計算装置のユーザについて決定されたデータを有する、通知モジュールと、
    前記計算装置に結合されたセンサベースアプリケーションにおいて前記計算装置のユーザについて決定されたデータを利用する制御モジュールと、
    を有するよう構成される計算装置。
  13. 前記通知は未処理センサデータを有する、請求項１２記載の計算装置。
  14. 前記通知はモデルデータを有する、請求項１２記載の計算装置。
  15. 前記モデルデータは前記第１のユーザの状態を記述する状態情報である、請求項１４記載の計算装置。
  16. 前記モデルデータは前記ユーザのアクションを記述するアクション情報である、請求項１４記載の計算装置。
  17. 前記センサベースアプリケーションはゲームであり、
    前記第１及び第２の通知は、前記ゲームからのオブジェクトに対して作用する入力である、請求項１２記載の計算装置。
  18. 請求項１２乃至１７何れか一項記載の装置をコンピュータに実現させるプログラム。
  19. 中央計算装置であって、
    コンピュータネットワークを介し第１の計算装置から第１の通知を受信する手段であって、前記第１の通知は前記第１の計算装置上のセンサから決定されたデータを含み、前記データは前記センサから決定され、第２の計算装置に関連するユーザに関する情報を示す、受信する手段と、
    前記第２の計算装置が拡張現実アプリケーションに登録されていることを確認する手段と、
    前記第２の計算装置が前記拡張現実アプリケーションに登録されていることを確認したことに応答して、前記第２の計算装置に第２の通知を送信する手段であって、前記第２の通知は前記第１の通知に基づく、送信する手段と、
    を有するよう構成される中央計算装置。
  20. 前記第１の通知は未処理センサデータを有し、前記第２の通知は前記未処理センサデータを有する、請求項１９記載の中央計算装置。
  21. 前記第１の通知は未処理センサデータを有し、
    前記中央計算装置は、前記未処理センサデータから前記ユーザに関するモデルデータを決定する手段を有し、
    前記第２の通知は前記モデルデータを含む、請求項１９記載の中央計算装置。
  22. 前記モデルデータは前記ユーザのアクションを記述するアクション情報である、請求項２１記載の中央計算装置。
  23. 前記モデルデータは前記ユーザの状態を記述する状態情報である、請求項２１記載の中央計算装置。
  24. 前記第１の通知は前記ユーザに対応するモデルデータを有し、前記第２の通知は前記モデルデータを有する、請求項１９記載の中央計算装置。
  25. 前記第１の通知は前記第１のユーザの状態を記述するオブジェクト状態情報を有し、前記第２の通知はオブジェクト状態情報を有する、請求項１９記載の中央計算装置。
  26. 請求項１１又は１８記載のプログラムを記憶するコンピュータ可読記憶媒体。

JP2017528799A 2014-12-18 2015-12-03 マルチユーザセンサベースインタラクション Active JP6716563B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/575,797 2014-12-18
US14/575,797 US9633622B2 (en) 2014-12-18 2014-12-18 Multi-user sensor-based interactions
PCT/US2015/063797 WO2016099933A1 (en) 2014-12-18 2015-12-03 Multi-user sensor-based interactions

Publications (2)

Publication Number Publication Date
JP2018504153A true JP2018504153A (ja) 2018-02-15
JP6716563B2 JP6716563B2 (ja) 2020-07-01

Family

ID=56127341

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017528799A Active JP6716563B2 (ja) 2014-12-18 2015-12-03 マルチユーザセンサベースインタラクション

Country Status (6)

Country Link
US (1) US9633622B2 (ja)
EP (1) EP3234740A4 (ja)
JP (1) JP6716563B2 (ja)
KR (1) KR102650978B1 (ja)
CN (1) CN107003819B (ja)
WO (1) WO2016099933A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7644376B2 (en) * 2003-10-23 2010-01-05 Microsoft Corporation Flexible architecture for notifying applications of state changes
US9531998B1 (en) * 2015-07-02 2016-12-27 Krush Technologies, Llc Facial gesture recognition and video analysis tool
US9633622B2 (en) 2014-12-18 2017-04-25 Intel Corporation Multi-user sensor-based interactions
JP2017010387A (ja) * 2015-06-24 2017-01-12 キヤノン株式会社 システム、複合現実表示装置、情報処理方法及びプログラム
US10555021B2 (en) * 2015-08-31 2020-02-04 Orcam Technologies Ltd. Systems and methods for selecting content based on a user's behavior
US10466953B2 (en) * 2017-03-30 2019-11-05 Microsoft Technology Licensing, Llc Sharing neighboring map data across devices
US12106161B2 (en) * 2021-11-02 2024-10-01 International Business Machines Corporation Augmented reality object interaction and notification

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8493206B2 (en) 2010-07-30 2013-07-23 Gravity Jack, Inc. Augmented reality and location determination methods and apparatus
US8941723B2 (en) * 2010-08-26 2015-01-27 Blast Motion Inc. Portable wireless mobile device motion capture and analysis system and method
US8638364B2 (en) * 2010-09-23 2014-01-28 Sony Computer Entertainment Inc. User interface system and method using thermal imaging
US20120122570A1 (en) 2010-11-16 2012-05-17 David Michael Baronoff Augmented reality gaming experience
TWI477114B (zh) * 2011-02-25 2015-03-11 Univ Nat Chiao Tung 以擴增實境為基礎並結合雲端計算之創新檔案傳輸方法
US8190749B1 (en) * 2011-07-12 2012-05-29 Google Inc. Systems and methods for accessing an interaction state between multiple devices
US9498720B2 (en) 2011-09-30 2016-11-22 Microsoft Technology Licensing, Llc Sharing games using personal audio/visual apparatus
US10264102B2 (en) 2011-11-03 2019-04-16 Aaron Nahumi System, methods and computer readable medium for augmented personalized social network
CN103218105B (zh) * 2012-01-19 2016-07-06 联想(北京)有限公司 电子设备的处理方法、系统及电子设备
JP5912059B2 (ja) * 2012-04-06 2016-04-27 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
US9066200B1 (en) 2012-05-10 2015-06-23 Longsand Limited User-generated content in a virtual reality environment
US9035970B2 (en) * 2012-06-29 2015-05-19 Microsoft Technology Licensing, Llc Constraint based information inference
KR20140061620A (ko) * 2012-11-13 2014-05-22 삼성전자주식회사 증강 현실을 활용한 소셜 네트워크 서비스 제공 시스템 및 방법과, 디바이스
US20140191939A1 (en) * 2013-01-09 2014-07-10 Microsoft Corporation Using nonverbal communication in determining actions
KR20230173231A (ko) * 2013-03-11 2023-12-26 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US9952042B2 (en) * 2013-07-12 2018-04-24 Magic Leap, Inc. Method and system for identifying a user location
CN106125904B (zh) * 2013-11-26 2019-03-26 青岛海信电器股份有限公司 手势数据处理方法和手势输入设备
US9633622B2 (en) 2014-12-18 2017-04-25 Intel Corporation Multi-user sensor-based interactions

Also Published As

Publication number Publication date
US9633622B2 (en) 2017-04-25
US20160180797A1 (en) 2016-06-23
JP6716563B2 (ja) 2020-07-01
CN107003819A (zh) 2017-08-01
EP3234740A4 (en) 2018-08-01
EP3234740A1 (en) 2017-10-25
WO2016099933A1 (en) 2016-06-23
CN107003819B (zh) 2021-10-08
KR20170096104A (ko) 2017-08-23
KR102650978B1 (ko) 2024-03-26

Similar Documents

Publication Publication Date Title
JP6716563B2 (ja) マルチユーザセンサベースインタラクション
US11782272B2 (en) Virtual reality interaction method, device and system
US11331584B2 (en) Information display method and apparatus for virtual pet, terminal, server, storage medium, and system
US10095461B2 (en) Outside-facing display for head-mounted displays
US11503432B2 (en) Scalable real-time location sharing framework
US11822774B2 (en) Messaging system with battery level sharing
KR20240112969A (ko) 공유 증강 현실 박스 열기 경험
KR20230072495A (ko) 로케이션을 공유하기 위한 사용자 아바타를 포함하는 증강 현실 콘텐츠 아이템들
US20240281192A1 (en) Location-based shared augmented reality experience system
KR20230161516A (ko) 햅틱 피드백 응답을 갖는 가상 현실 인터페이스
KR20230152723A (ko) 평균 스무딩을 사용하여 이미지-대-이미지 모델들 압축
KR20240124999A (ko) 아바타 통화 플랫폼
KR102428438B1 (ko) 실시간 좌표 공유 기반의 다자 간 원격 협업 방법 및 시스템
WO2023034721A1 (en) Per participant end-to-end encrypted metadata
KR20230127295A (ko) 오프라인 동기화를 통한 다중 유저 ar 경험
US11894989B2 (en) Augmented reality experience event metrics system
US20240345665A1 (en) Device-to-device collocated ar using hand tracking
US20240193875A1 (en) Augmented reality shared screen space
US20240288946A1 (en) Shared augmented reality eyewear device with hand tracking alignment
US20240345895A1 (en) Power attribution and throttling on mobile devices
WO2024215538A1 (en) Device-to-device collocated ar using hand tracking
KR20240121272A (ko) 단안 세계 메싱
KR20240049575A (ko) 조합된 판독 및 반응 메시지
WO2024182548A1 (en) Alignment of user devices in a shared extended reality environment based on hand tracking
KR20240009484A (ko) 바이오메트릭 센서 데이터를 이용한 자동 미디어 캡처

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200610

R150 Certificate of patent or registration of utility model

Ref document number: 6716563

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250