JP2022513754A - 仲介拡張物理的相互作用のためのシステム及び方法 - Google Patents

仲介拡張物理的相互作用のためのシステム及び方法 Download PDF

Info

Publication number
JP2022513754A
JP2022513754A JP2021532896A JP2021532896A JP2022513754A JP 2022513754 A JP2022513754 A JP 2022513754A JP 2021532896 A JP2021532896 A JP 2021532896A JP 2021532896 A JP2021532896 A JP 2021532896A JP 2022513754 A JP2022513754 A JP 2022513754A
Authority
JP
Japan
Prior art keywords
mobile device
physical
data
image generation
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021532896A
Other languages
English (en)
Inventor
ウェイ チェン イエ
トラビス ジョン コセアート
Original Assignee
ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー filed Critical ユニバーサル シティ スタジオズ リミテッド ライアビリティ カンパニー
Publication of JP2022513754A publication Critical patent/JP2022513754A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • A63F13/355Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92Video game devices specially adapted to be hand-held while playing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

Figure 2022513754000001
システムは、モバイルデバイスのカメラを介してキャプチャされた画像データに少なくとも部分的に基づいて、現実世界環境のストリーミングメディアを生成し、モバイルデバイスとのユーザ相互作用に関するデータに少なくとも部分的に基づいて現実世界環境のストリーミングメディアに重畳された1又は2以上の拡張を生成し、現実世界環境のストリーミングメディアを、モバイルデバイスのディスプレイに表示される1又は2以上の拡張と共に現実世界環境のストリーミングメディアを送信する、画像生成システムを含む。システムはまた、モバイルデバイスとのユーザ相互作用に関するデータに少なくとも部分的に基づいて、現実世界環境にて物理的対象物に実装される1又は2以上の物理的効果を決定し、物理的対象物に信号を送信して、決定された1又は2以上の物理的効果を実装する、物理的相互作用システムを含む。
【選択図】図2

Description

(関連出願に対する相互参照)
本出願は、2018年12月17日に出願された「仲介拡張物理的相互作用のためのシステム及び方法」と題する米国特許仮出願第62/780,669号に対する優先権及び利益を主張し、当該仮出願は、あらゆる目的で引用により全体が本明細書に組み込まれる。
(技術分野)
本明細書に開示される主題は、アミューズメントパークのアトラクションに関し、より具体的には、モバイルデバイスを介したアミューズメントパークの物理的対象物との来園客の相互作用を容易にすることに関する。
20世紀初頭以来、アミューズメントパーク(又はテーマパーク)の人気が大幅に高まっている。これに伴い、アミューズメントパークへの需要も高まり、それに伴う競争も激化している。従って、アミューズメントパークにはより多くの娯楽性があり多数のアトラクションを追加することが望ましい。乗物及びショーなどの大型のアトラクションを追加すると、一般的に、より多くの来園客を処理する能力を有するアミューズメントパークが提供される。しかしながら、このようなアトラクションは、より多くの来場者を引き寄せ、来園客の往来の拠点となる傾向がある。更に、興味を引きつける層を追加することなく従来の乗物を追加するだけでは、来園客の往来の問題に対処する、又は競合他社に優る利点を提供するのに十分な来園客の関心を集めるには不十分である可能性がある。従って、来園客の往来の分散を促進する、及び/又はエンターテイメントの価値のレベルを高めるシステム及び方法が望ましいことが認識されている。
このセクションは、本明細書に記載され及び/又は特許請求される本発明の技法の様々な態様に関連する可能性のある技術の様々な態様を読み手に紹介することを意図している。ここでの議論は、本開示の様々な態様のより良い理解を容易にする背景情報を読み手に提供するのに役立つと考えられる。従って、これらの記載は、この点に照らして読むべきであり、従来技術の自認ではないことを理解されたい。
本発明の範囲内にある特定の実施形態について以下で要約する。これらの実施形態は、本開示の技術的範囲を限定することを意図するものではなく、むしろそれらの実施形態は、開示された特定の実施形態の簡潔な概要を示すことのみを意図している。実際に、本開示は、以下に記載される実施形態に類似した又は異なるものとすることができる様々な形態を含むことができる。
一実施形態では、アミューズメントパークシステムは、モバイルデバイスに通信可能に結合されるように構成された画像生成システムを含む。画像生成システムは、モバイルデバイスのカメラを介してキャプチャされた画像データに少なくとも部分的に基づいて、現実世界の環境のストリーミングメディアを生成するように構成されている。画像生成システムはまた、モバイルデバイスとのユーザ相互作用に関連するデータに少なくとも部分的に基づいて、現実世界の環境のストリーミングメディアに重畳される1又は2以上の拡張を生成するように構成されている。画像生成システムは更に、モバイルデバイスのディスプレイに表示される1又は2以上の拡張と共に、現実世界の環境のストリーミングメディアを送信するように構成される。アミューズメントパークシステムはまた、モバイルデバイスと通信可能に結合されるように構成された物理的相互作用システムを含む。物理的相互作用システムは、モバイルデバイスとのユーザ相互作用に関連するデータに少なくとも部分的に基づいて、現実世界の環境で物理的対象物に実装される1又は2以上の物理的効果を決定するように構成されている。物理的相互作用システムはまた、信号を物理的対象物に送信して、決定された1又は2以上の物理的効果を実装するように構成されている。
一実施形態では、方法は、画像生成システムを介して、モバイルデバイスからリアルタイムビデオデータストリームを受信することを含む。本方法はまた、受信したリアルタイムビデオデータストリームに少なくとも部分的に基づいて、画像生成システムを介して、アミューズメントパークの現実世界環境の視覚化を生成することを含む。本方法は更に、画像生成システムを介して、モバイルデバイスとのユーザ相互作用に関連するデータに少なくとも部分的に基づいて、現実世界の環境の視覚化に拡張現実(AR)画像をオーバーレイすることを含む。更に、本方法は、物理的相互作用システムを介して、モバイルデバイスとのユーザ相互作用に関連するデータに少なくとも部分的に基づいて、現実世界の環境で物理的対象物に実装される1又は2以上の物理的効果を決定することを含む。本方法はまた、画像生成システムを介して、現実世界の環境の視覚化と共にオーバーレイされたAR画像をモバイルデバイスに送信することを含む。本方法は更に、物理的相互作用システムを介して信号を物理的対象物に送信し、決定された1又は2以上の物理的効果を実装することを含む。
本発明の開示のこれら及び他の特徴、態様、及び利点は、図面を通して同じ文字が同じ部分を表す添付図面を参照して以下の詳細説明を読むとより良く理解されるであろう。
本開示の実施形態による、1又は2以上のアトラクションを含むアミューズメントパークを示す図である。 本開示の実施形態による、図1に示すアミューズメントパークにAR体験を提供するシステムの概略図である。 本開示の実施形態による、モバイルデバイス、補助デバイス、及び物理的対象物を示す図である。 本開示の実施形態による、ユーザがモバイルデバイス(及び/又は補助デバイス)を使用して所与の数の物理的対象物と物理的に相互作用することに基づいて、ロックが解除されたアミューズメントパークのドアを介して隠さ洞窟にアクセスするユーザの実施例を示している。 本開示の実施形態による、モバイルデバイス(及び/又は補助デバイス)とのユーザ相互作用に基づいて解決することができるパズルの実施例を示す。 本開示の実施形態による、本明細書に記載のシステムを動作させる方法を示す図である。
本開示の1又は2以上の特定の実施形態が本明細書において記載される。これらの実施形態の簡潔な説明を行うために、本明細書では、実際の実施構成の全ての特徴については説明しないことにする。何れかの技術又は設計プロジェクトと同様に、このような何らかの実際の実施構成の開発において、システム及びビジネスに関連した制約への準拠など、実施構成毎に異なる可能性のある開発者の特定の目標を達成するために、多数の実施時固有の決定を行う必要がある点は理解されたい。更に、このような開発の取り組みは、複雑で時間を要する可能性があるが、本開示の利点を有する当業者にとっては、設計、製作、及び製造の日常的な業務である点を理解されたい。
本発明の種々の実施形態の要素を導入する際に、冠詞「a」、「an」、及び「the」は、要素の1つ又はそれ以上が存在することを意味するものとする。用語「備える」、「含む」、及び「有する」は、包括的なものであり、記載した要素以外の付加的な要素が存在し得ることを意味する。更に、本開示の「1つの実施形態」又は「実施形態」への言及は、リストされた特徴も組み込んだ追加の実施形態の存在を除外するものとして解釈されることを意図していない点を理解されたい。
本実施形態は、アミューズメントパーク又はテーマパークにおいて、スリルライドなどのアトラクションの一部として拡張現実(AR)体験を提供するシステム及び方法に関する。特定の実施形態では、アミューズメントパークの利用者は、アミューズメントパーク内に配置された物理的対象物の操作並びにAR体験の両方を容易にするモバイルデバイス及び他の補助デバイスを使用することができる。具体的には、特定の実施形態では、モバイルデバイスは、現実世界の環境(例えば、物理的なアミューズメントパークの態様)のリアルタイムビデオデータ(例えば、ライブ使用中にキャプチャされて実質的にリアルタイムで送信されるビデオ)をキャプチャするように構成することができる。更に、特定の実施形態では、画像生成システムは、モバイルデバイスからリアルタイムビデオデータ(例えば、実質的にリアルタイムで送信されるライブビデオ)を受信し、現実世界の環境のビデオストリームをモバイルデバイスのディスプレイに表示されるモバイルデバイスへの様々なAR画像と共にレンダリングすることができる。
例えば、特定の実施形態では、画像生成システムは、例えば、特定の実施形態では、アミューズメントパークの現実世界環境に配置された特定の物理的対象物に対する、モバイルデバイスの位置及び/又は方位、モバイルデバイスの近接性、モバイルデバイスの検出された操作(例えば、モバイルデバイスの動き、モバイルデバイスのユーザインタフェースを介した利用客の相互作用など)並びに利用客による補助デバイスの操作、利用客によるモバイルデバイスへ入力されるローカル設定、アミューズメントパークのグローバル設定(例えば、アミューズメントパークの所有者よって入力される)、モバイルデバイスを介して実行された以前の相互作用、及びその他に少なくとも部分的に基づいて、モバイルデバイスにAR画像をレンダリングすることができる。特定の実施形態では、モバイルデバイス、補助デバイス、アミューズメントパークの物理的対象物、及びその他は、モニタリングシステムによってモニタリングすることができ、モニタリングシステムは、モバイルデバイス、補助デバイス、アミューズメントパークの物理的対象物及びその他に関するデータ(例えば、識別、位置、方位、動き、速度、加速度、及びその他)を画像生成システムに伝達することができ、画像生成システムは、モバイルデバイス、補助デバイス、アミューズメントパークの物理的対象物及びその他に関するデータに少なくとも部分的に基づいてAR画像を生成することができるようになる。
更に、特定の実施形態では、モニタリングシステムは、モバイルデバイス、補助デバイス、アミューズメントパークの物理的オブジェクト、及びその他に関するデータに少なくとも部分的に基づいて、アミューズメントパークの現実世界環境内に配置された物理的対象物の物理的効果(例えば、運動効果、音響効果、触覚フィードバック効果、色効果、香り効果及びその他)を引き起こすように構成された物理的相互作用システムと通信するように構成することができる。特定の実施形態では、アミューズメントパークの現実世界環境内に配置された物理的対象物の物理的効果は、モバイルデバイス、補助デバイス、物理的対象物及びその他から受信したデータに少なくとも部分的に基づいて引き起こすことができる。
このように、モバイルデバイス、補助デバイス、画像生成システム、モニタリングシステム、及び物理的相互作用システムを使用してAR体験を作成及び表示すると共に、アミューズメントパークの現実世界環境内に配置された物理的対象物の物理的効果を引き起こす利用客の能力を促進することにより、アミューズメントパーク内での利用客の全体的な体験を向上させることができる。しかしながら、本明細書に記載の技術は、アミューズメントパークのアトラクション用途に限定されるものではなく、例えば、医療用途(例えば、画像誘導手術、非侵襲的画像化分析)、エンジニアリング設計用途(例えば、エンジニアリングモデル開発)、製造、建設、及び保守用途(例えば、製品製造、新しい建物の建設、自動車修理)、学術及び/又は職業訓練用途、エクササイズ用途(例えば、ボディビルディング及び体重減少モデル)、テレビジョン(TV)用途(例えば、天気及びニュース)、及び同様のものなど、様々な用途の何れかに拡張できることを理解されたい。
以上のことを踏まえて、図1に示すアミューズメントパーク10の実施例など、アミューズメントパークの実施形態を説明することが有用とすることができる。図示のように、アミューズメントパーク10は、スリルライド12、アミューズメントパーク施設14(例えば、レストラン、土産物店、及びその他)、及び追加のアミューズメントパークアトラクション16を含むことができる。特定の実施形態では、スリルライド12は、ローラーコースター又は他の同様のスリルライドを含むことができ、従って、閉ループトラック又は閉ループトラック18のシステム(例えば、数マイルのトラック18)を更に含むことができる。トラック18は、乗用車20が横断できるインフラストラクチャとして提供することができる。
乗客乗物車両20がトラック18を横断すると、乗客22には、スリルライド12の周囲又は近くのエリアにおけるシーン(例えば、施設14、追加のアミューズメントアトラクション16、及びその他)の移動ツアーが提供することができる。例えば、これは、スリルライド12を取り巻く環境(例えば、スリルライド12を完全に又は部分的に収容する建物)を含むことができる。乗客22は、スリルライド12が極めて楽しい体験であることに気付くことができ、特定の実施形態では、乗客22がスリルライド12に乗るときに、例えば、スリルライドのスリル要素12を強化することで、乗客22の体験を強化することが有用とすることができる。具体的には、施設14(例えば、レストラン、土産物店及びその他)、追加のアミューズメントアトラクション16(例えば、アミューズメントパーク10に関連してテーマを設定したアトラクション)、又はアミューズメントパーク10内の他の利用客24だけを物理的に見るのではなく、乗物車両20がトラック18を横断するときに、乗客22にAR体験を提供することが有用とすることができる。
同様に、アミューズメントパークの利用客24は、アミューズメントパーク10の施設14、追加のアミューズメントアトラクション16及びその他がそれ自体で楽しいことに気付くことができるが、特定の実施形態では、利用客24がアミューズメントパーク10の施設 14、追加のアミューズメントアトラクション16及びその他を通り抜けるときに利用客24の体験を向上させることが有用とすることができる。具体的には、アミューズメントパーク10の施設14、追加のアミューズメントアトラクション16及びその他に関して利用客24にAR体験を提供することも有用とすることができる。
例えば、図1に示すように、特定の実施形態では、アミューズメントパーク10の乗客22及び他の利用客24は、アミューズメントパーク10のスリルライド12、施設14、追加のアミューズメントアトラクション16及びその他を囲む現実世界環境に配置された物理的対象物28との相互作用を容易にするモバイルデバイス26を使用することができる。具体的には、本明細書でより詳細に説明するように、特定の実施形態では、モバイルデバイス26は、スリルライド12、施設14、追加のアミューズメントアトラクション16及びその他を取り巻く環境のARビューを提供し、またアミューズメントパーク10の乗客22及び他の利用客24が、モバイルデバイス26の操作を介して物理的対象物28の物理的効果(例えば、運動効果、音響効果、触覚フィードバック効果、色効果、香り効果及びその他)を引き起こすことを可能にするように構成することができる。更にまた、本明細書でより詳細に説明するように、特定の実施形態では、モバイルデバイス26は、補助デバイス30と協働して使用して、アミューズメントパーク10の乗客22及び他の利用客24が、物理的対象物28の身体的効果を引き起こすことを可能にすることができる。特定の実施形態では、補助デバイス30は、おもちゃの銃、旗、棒及びその他などのアミューズメントパークのテーマに関連した対象物とすることができる。
図2は、本開示の実施形態による、図1に示されるアミューズメントパーク10にAR体験を提供するためのシステム32の概略図である。図2に示すように、特定の実施形態において、システム32は、アミューズメントパーク10の乗客22及び他の利用客24によって使用できる1又は2以上のモバイルデバイス26を含むことができる。モバイルデバイス26は、ワイヤレスネットワーク36(例えば、ワイヤレスローカルエリアネットワーク(WLAN))、ワイヤレスワイドエリアネットワーク(WWAN)、近距離通信(NFC)ネットワーク、又は他の適切なワイヤレスネットワーク)を介して画像生成システム34(例えば、アミューズメントパーク10内の)に通信可能に結合することができる。モバイルデバイス26は、アミューズメントパーク10の現実世界環境に対してAR体験を作成するのに使用することができる。具体的には、本明細書でより詳細に記載されるように、モバイルデバイスを介して見ることができるAR体験は、1又は2以上のAR画像40(例えば、仮想増強)と電子的にマージされた現実世界画像38を含むリアルタイムビデオとすることができる。「リアルタイム」という用語は、実際の観察時間に実質的に近い時間枠で画像が取得及び/又は提供されることを意味する。
特定の実施形態では、モバイルデバイス26は、携帯電話(例えば、スマートフォン)、タブレットコンピュータ、ウェアラブルデバイス(例えば、メガネ、ゴーグル、時計、及びその他など)、或いは、他の何れかの適切なデバイスとすることができ、これらは、乗客22又は他の利用客24によってアミューズメントパーク10中を携行することができ、また、乗客22又は他の利用客24のためにAR体験を表示することができる。特定の実施形態では、モバイルデバイス26は、複数の方位及び位置センサー42(例えば、加速度計、磁力計、ジャイロスコープ、全球測位システム(GPS)受信機、電磁及び固体動き追跡センサーなどの動き追跡センサー、及びその他)を含むことができ、これらは、モバイルデバイス26の位置、場所、方位、動き、及びその他を追跡するのに使用することができる。同様に、特定の実施形態では、モバイルデバイス26の特徴(例えば、幾何学的側面又はマーキング)は、モニタリングシステム44(例えば、特定の実施形態では、1又は2以上のカメラ)によって監視されて、モバイルデバイス26の位置、場所、方位、動き及びその他を決定することができる。更に、特定の実施形態では、乗客22及び他の利用客24は、モニタリングシステム44(例えば、カメラ)によって監視されて、乗客22及び他の利用客24の位置、場所、方位、動き及びその他を識別することができる。
更に、特定の実施形態では、モバイルデバイス26は、画像及びビデオ(例えば、現実世界画像)をキャプチャし、キャプチャされた画像及びビデオ(更にAR画像40)をモバイルデバイス26の1又は2以上のディスプレイ48を介して表示するように構成された1又は2以上のカメラ46を含むことができる。特定の実施形態では、AR体験の作成をサポートするために、モバイルデバイス26は、プロセッサ50及びメモリ52などのプロセッシング回路を含むことができる。プロセッサ50は、メモリ52に動作可能に結合されて、乗客22及び他の利用客24の体験を向上させるためにAR画像40とマージされた現実世界画像38を生成する本開示の技術を少なくとも部分的に実施する(例えば、画像生成システム34と協働して)ための命令を実行することができる。これらの命令は、メモリ52及び/又は他の記憶装置などの有形の非一時的コンピュータ可読媒体に格納されたプログラム又はコードに符号化することができる。特定の実施形態では、プロセッサ50は、汎用プロセッサ、システムオンチップ(SoC)デバイス、特定用途向け集積回路(ASIC)、又は他の何れかの同様のプロセッサ構成とすることができる。
特定の実施形態では、1又は2以上のディスプレイ48は各々、液晶ディスプレイ(LCD)、有機発光ダイオード(OLED)ディスプレイ、又は現実世界画像38及びAR画像40を乗客22及び他の利用客24に表示するのに有用な他の同様のディスプレイを含むことができる。特定の実施形態では、1又は2以上のディスプレイ48は各々、例えば、乗客22及び他の利用客24が、それぞれのディスプレイ48を通してアミューズメントパーク10の実際の物理的な現実世界環境を見る能力を維持しながら、ディスプレイ48上に現れる現実世界画像38及びAR画像40を見ることを可能にするのに有用な不透明もしくはシースルーLCD又は不透明もしくはシースルーOLEDディスプレイを含むことができる。
モバイルデバイス26の1又は2以上のカメラ46を使用して、アミューズメントパーク10の現実世界環境のリアルタイムビデオデータ(例えば、ライブビデオ)をキャプチャすることができる。特定の実施形態では、モバイルデバイス26は、1又は2以上のカメラ46を介してキャプチャされたリアルタイムビデオデータを、処理のために画像生成システム34に送信(例えば、モバイルデバイス26に含まれる1又は2以上の通信インタフェース54を介して無線で)することができる。しかしながら、他の実施形態では、1又は2以上のカメラ46を介してキャプチャされたリアルタイムビデオデータは、プロセッサ50を介してモバイルデバイス26上で処理することができる。実際、特定の実施形態では、画像生成システム34は、モバイルデバイス26と一体化することができる。更に、特定の実施形態では、モバイルデバイス26はまた、モバイルデバイス26の方位及び位置センサー42を介して取得されたデータに少なくとも部分的に基づいて取得及び/又は導出された、方位データ、位置データ、動き追跡データ及びその他を送信することができる。
特定の実施形態では、本明細書でより詳細に記載されるように、プロセッサ56(例えば、汎用プロセッサ又は他のプロセッサ)及びメモリ58などの処理回路を含むこともできる画像生成システム34は、画像生成システム34の1又は2以上の通信インタフェース60を介してモバイルデバイス26及び/又はモニタリングシステム44から受信した、リアルタイムビデオデータ(例えば、ライブビデオ)及び方位データ、位置データ、及び動き追跡データを処理することができる。更に、特定の実施形態では、AR画像40(例えば、AR拡張)に加えて、画像生成システム34はまた、モバイルデバイス26上のAR画像40の出現と同時に起こることができる、モバイルデバイス26の内部構成要素を介して実装される1又は2以上の運動効果、音響効果、触覚フィードバック効果、色効果、香り効果及びその他をトリガーすることもできる。これらの機能を実行するための命令は、メモリ58及び/又は他の記憶装置などの有形の非一時的コンピュータ可読媒体に格納されたプログラム又はコードにエンコードすることができる。特定の実施形態では、プロセッサ56は、汎用プロセッサ、システムオンチップ(SoC)デバイス、特定用途向け集積回路(ASIC)、又は他の何れかの同様のプロセッサ構成とすることができる。
特定の実施形態では、画像生成システム34は、モバイルデバイス26及び/又はモニタリングシステム44から受信した方位データ、位置データ、及び動き追跡データを使用して、リアルタイムビデオデータを生成された現実世界画像38及びAR画像40に登録するための基準フレームを生成することができる。特定の実施形態では、画像生成システム34は、モバイルデバイス26の方位、位置、及び/又は動きに関する変化を反映するために、現実世界画像38のレンダリングを常に(例えば、リアルタイムで)更新することができる。レンダリングされた画像の視認性を助けるために、特定の実施形態では、画像生成システム34は、約20フレーム/秒(FPS)以上、約30FPS以上、約40FPS以上、約50FPS以上、約60FPS以上、約90FPS以上、又は約120FPS以上のリアルタイムレートで画像(例えば、現実世界画像38及びAR画像40)をレンダリングすることができる。
特定の実施形態では、本明細書でより詳細に記載されるように、画像生成システム34はまた、現実世界画像38上に重畳された1又は2以上のAR画像40を生成及びレンダリングして、乗客22又は他の利用客24のための完全なAR体験を作成することができる。例えば、特定の実施形態では、画像生成システム34は、議論されたビデオマージ及び/又は光学マージ技術の1又は2以上を利用して、AR画像40を現実世界画像38に重畳し、乗客22及び他の利用客24は、アミューズメントパーク10の現実世界の物理的環境(例えば、それぞれのディスプレイ48を介してレンダリングされたビデオデータとして提供される)並びにAR画像40(例えば、仮想増強)をモバイルデバイス26の1又は2以上のディスプレイ48を介して知覚するようになる。具体的には、特定の実施形態では、画像生成システム34は、実世界画像38と時間的及び空間的に同等のAR画像40のビューをレンダリングすることができ、現実世界画像38は、AR画像40がオーバーレイされた背景として見えるようになる。
特定の実施形態では、画像生成システム34はまた、1又は2以上の明るさ、照明、又は陰影モデル、及び/又は他のフォトリアリスティックなレンダリングモデルを生成して、現実世界画像38及びAR画像40をレンダリングする際の現実世界の物理的環境(例えば、晴れの日、一部曇りの日、曇り日、夕方、夜)のコントラスト及び明るさを正確に反映するように調整された現実世界画像38及びAR画像40を生成することができる。例えば、特定の実施形態では、現実世界画像38及びAR画像40のフォトリアリズムを高めるために、画像生成システム34は、1又は2以上の天気予報及び/又は予測システム(例えば、グローバル予報システム、ドップラーレーダー、及びその他)から気象関連データを受け取り、気象関連データ又は他の同様のデータを使用して、現実世界画像38及び/又はAR画像40のコントラスト、明るさ、及び/又は他の照明効果を調整することができる。他の実施形態では、画像生成システム34は、モバイルデバイス26に含まれる1又は2以上の光センサーから検出された照明に少なくとも部分的に基づいて、又はモバイルデバイス26のカメラ46によってキャプチャされたリアルタイムビデオデータに少なくとも部分的に基づいて、現実世界画像38及び/又はAR画像40のコントラスト、明るさ、及び/又は他の照明効果を調整することができる。更に、上述のように、画像生成システム34は、モバイルデバイス26の方位、位置、及び/又は動きに関する変化を反映するよう、AR画像40のレンダリングを常に(例えば、リアルタイムで)更新することができる。
更に、特定の実施形態では、本明細書でより詳細に記載されるように、画像生成システム34は、モバイルデバイス26によって検出することができる、モバイルデバイス26の操作に関連するデータに少なくとも部分的に基づいて、1又は2以上のAR画像40を生成及びレンダリングすることができる。例えば、特定の実施形態では、モバイルデバイス26の1又は2以上のディスプレイ48は、タッチスクリーンディスプレイ(又は他のユーザインタフェース)を含むことができ、これを介して、乗客22又は他の利用客24は、1又は2以上のディスプレイ48に表示された対象物が、現実世界画像38の一部としての現実世界の対象物であるか、或いは1又は2以上のディスプレイ48を介して描写されたAR画像40のAR生成対象物であるかにかかわらず、この1又は2以上のディスプレイ48に表示された対象物を操作しようと試みることができる(例えば、指のスワイプ、指のピンチ、指のタッピング、及びその他を介して)。次に、モバイルデバイス26によって検出された操作は、モバイルデバイス26の1又は2以上の通信インタフェース54を介して画像生成システム34に通信することができ、画像生成システム34は、検出された操作に少なくとも部分的に基づいて、モバイルデバイス26の1又は2以上のディスプレイ48上に表示されるAR画像40を生成することができる。
更に、特定の実施形態では、本明細書でより詳細に記載されるように、画像生成システム34は、モバイルデバイス26の方位及び位置センサー42によって検出することができる、モバイルデバイス26の方位データ、位置データ、及び動き追跡データに基づいて1又は2以上のAR画像40を生成しレンダリングすることができる。モバイルデバイス26の方位データ、位置データ、及び動き追跡データは、モバイルデバイス26の1又は2以上の通信インタフェース54を介して画像生成システム34に通信することができ、画像生成システム34は、モバイルデバイス26の方位データ、位置データ、及び動き追跡データに少なくとも部分的に基づいて、モバイルデバイス26の1又は2以上のディスプレイ48に表示されるAR画像40を生成することができる。
同様に、特定の実施形態では、本明細書でより詳細に記載されるように、画像生成システム34は、モニタリングシステム44によって検出することができる、モバイルデバイス26の方位データ、位置データ、及び動き追跡データに基づいて1又は2以上のAR画像40を生成しレンダリングすることができる。例えば、特定の実施形態では、モニタリングシステム44は、モバイルデバイス26の方位データ、位置データ、及び動き追跡データを検出するように構成された1又は2以上の追跡デバイス62(例えば、特定の実施形態では、1又は2以上のカメラ)を含むことができる。次に、モニタリングシステム44は、モニタリングシステム44の1又は2以上の通信インタフェース64を介して、モバイルデバイス26の方位データ、位置データ、及び動き追跡データを画像生成システム34に通信することができ、画像生成システム34は、モバイルデバイス26の方位データ、位置データ、及び動き追跡データに少なくとも部分的に基づいて、モバイルデバイス26の1又は2以上のディスプレイ48に表示されるAR画像40を生成することができる。更に、特定の実施形態では、モニタリングシステム44は、プロセッサ66(例えば、汎用プロセッサ又は他のプロセッサ)及びメモリ68などの処理回路を含むことができ、方位データ、位置データ、及び動き追跡データを処理することができ、1又は2以上の追跡デバイス62によって検出されたモバイルデバイス26の方位データ、位置データ、及び動き追跡データを処理して、例えば、モバイルデバイス26の方位データ、位置データ、及び動き追跡データを画像生成システム34に適した形式に変換することができる。これらの機能を実行するための命令は、メモリ68及び/又は他の記憶装置などの有形の非一時的コンピュータ可読媒体に格納されたプログラム又はコードにエンコードすることができる。特定の実施形態では、プロセッサ66は、汎用プロセッサ、システムオンチップ(SoC)デバイス、特定用途向け集積回路(ASIC)、又は他の何れかの同様のプロセッサ構成とすることができる。
更に、特定の実施形態では、本明細書でより詳細に記載されるように、画像生成システム34は、モバイルデバイス26と協働して用いることができる、補助デバイス30に関するデータに少なくとも部分的に基づいて、1又は2以上のAR画像40を生成及びレンダリングすることができる。特定の実施形態では、補助デバイス30は、おもちゃの銃、旗、棒及びその他などのアミューズメントパークのテーマに関連した対象物とすることができる。特定の実施形態では、補助デバイス30は、受動的対象物(すなわち、センサー、制御回路及びその他を含まない)とすることができ、その方位、位置、及び動きは、例えば、モニタリングシステム44によって追跡することができる。このような実施形態では、受動的特徴(例えば、幾何学的側面又はマーキング、無線周波数識別(RFID)タグ及びその他)又はより多くの能動的特徴(例えば、超広帯域(UWB)無線送信機及びその他などの無線送信機)は、モニタリングシステム44によって監視されて、補助デバイス30の方位、位置、及び動き及びその他を決定することができる。更に、特定の実施形態では、補助デバイス30は、複数の方位及び位置センサー70(例えば、加速度計、磁力計、ジャイロスコープ、全球測位システム(GPS)受信機、電磁及び固体動き追跡センサー、及びその他)を含むことができ、これらは、モニタリングシステム44が補助デバイス30の方位、位置、動き及びその他を追跡するのに使用することができる。
従って、特定の実施形態では、本明細書でより詳細に記載されるように、画像生成システム34は、補助デバイス30によって検出することができる、補助デバイス30の操作に関するデータに少なくとも部分的に基づいて、1又は2以上のAR画像40を生成及びレンダリングすることができる。例えば、特定の実施形態では、補助デバイス30の方位及び位置センサー70によって検出された、方位、位置、動き及びその他は、補助デバイス30の1又は2以上の通信インタフェース72を介して画像生成システム34に通信することができ、画像生成システム34は、補助デバイス30の方位データ、位置データ、及び動き追跡データに少なくとも部分的に基づいて、モバイルデバイス26の1又は2以上のディスプレイ48に表示されるAR画像40を生成することができる。
同様に、特定の実施形態では、本明細書でより詳細に記載されるように、画像生成システム34は、モニタリングシステム44によって検出することができる、補助デバイス30の方位データ、位置データ、及び動き追跡データに少なくとも部分的に基づいて、1又は2以上のAR画像40を生成及びレンダリングすることができる。例えば、特定の実施形態では、モニタリングシステム44の1又は2以上の追跡デバイス62は、補助デバイス30の方位データ、位置データ、及び動き追跡データを検出することができる。次に、モニタリングシステム44は、モニタリングシステム44の1又は2以上の通信インタフェース64を介して、補助デバイス30の方位データ、位置データ、及び動き追跡データを画像生成システム34に通信することができ、画像生成システム34は、補助デバイス30の方位データ、位置データ、及び動き追跡データに少なくとも部分的に基づいて、モバイルデバイス26の1又は2以上のディスプレイ48に表示されるAR画像40を生成することができる。更に、特定の実施形態では、モニタリングシステム44の処理回路は、1又は2以上の追跡デバイス62によって検出された補助デバイス30の方位データ、位置データ、及び動き追跡データを処理して、例えば、補助デバイス30の方位データ、位置データ、動き追跡データを画像生成システム34に適した形式に変換することができる。
同様に、特定の実施形態では、本明細書でより詳細に記載されるように、画像生成システム34は、モニタリングシステム44によって検出することができる、乗客22及び他の利用客24の方位データ、位置データ、及び動き追跡データに少なくとも部分的に基づいて、1又は2以上のAR画像40を生成してレンダリングすることができる。例えば、特定の実施形態では、モニタリングシステム44の1又は2以上の追跡デバイス62は、乗客22及び他の利用客24の方位データ、位置データ、及び動き追跡データを検出することができる(例えば、乗客22及び他の利用客24の身体を検出すること、乗客及び他の利用客24の手のジェスチャーのパターンを検出すること、及びその他を含む)。次に、モニタリングシステム44は、モニタリングシステム44の1又は2以上の通信インタフェース64を介して、乗客22及び他の利用客24の方位データ、位置データ、及び動き追跡データを画像生成システム34に通信することができ、画像生成システム34は、乗客22及び他の利用客24の方位データ、位置データ、及び動き追跡データに少なくとも部分的に基づいて、モバイルデバイス26の1又は2以上のディスプレイ48に表示されるAR画像40を生成することができる。更に、特定の実施形態では、モニタリングシステム44の処理回路は、1又は2以上の追跡デバイス62によって検出された乗客22及び他の利用客24の方位データ、位置データ、及び動き追跡データを処理して、例えば、乗客22及び他の利用客24の方位データ、位置データ、及び動き追跡データを画像生成システム34に適した形式に変換することができる。
同様に、特定の実施形態では、本明細書でより詳細に記載されるように、画像生成システム34は、モニタリングシステム44によって検出することができる、アミューズメントパーク10のスリルライド12、施設14、追加のアミューズメントアトラクション16、及び/又は他の物理的対象物28に少なくとも部分的に基づいて、1又は2以上のAR画像40を生成してレンダリングすることができる。例えば、特定の実施形態では、モニタリングシステム44の1又は2以上の追跡デバイス62は、アミューズメントパーク10の周囲に配置された3次元小道具、アミューズメントパーク10の環境内の2次元グラフィックス、及びアミューズメントパーク10のスリルライド12、施設14、追加のアミューズメントアトラクション16、及び/又は他の物理的対象物28に関連する他の物理的特徴を検出することができる。次に、モニタリングシステム44は、アミューズメントパーク10のスリルライド12、施設14、追加のアミューズメントアトラクション16、及び/又は他の物理的対象物28の物理的特徴に関連する方位データ、位置データ、及び動き追跡データを、モニタリングシステム44の1又は2以上の通信インタフェース64を介して画像生成システム34に通信することができ、画像生成システム34は、アミューズメントパーク10のスリルライド12、施設14、追加のアミューズメントアトラクション16、及び/又は他の物理的対象物28の物理的特徴に関連する方位データ、位置データ、及び動き追跡データに少なくとも部分的に基づいて、モバイルデバイス26の1又は2以上のディスプレイ48に表示されるAR画像40を生成することができる。
更に、特定の実施形態では、モニタリングシステム44の処理回路は、アミューズメントパーク10のスリルライド12、施設14、追加のアミューズメントアトラクション16、及び/又は他の物理的対象物28の物理的特徴の方位データ、位置データ、及び動き追跡データを処理して、例えば、アミューズメントパーク10のスリルライド12、施設14、追加のアミューズメントアトラクション16、及び/又は他の物理的特徴の物理的特徴の方位データ、位置データ、及び動き追跡データを、画像生成システム34に適した形式に変換することができる。このようにして、画像生成システム34は、生成される1又は2以上のAR画像40を決定するために、アミューズメントパーク10のスリルライド12、施設14、追加のアミューズメントアトラクション16、及び/又は他の物理的対象物28のこれらの検出された物理的特徴をARマーカー(すなわち、位置インデックスなどの基準点及びその他)として用いることができる。このように、これらの物理的特徴マーカーは、画像生成システム34の3次元世界空間の初期配置及び方位付けを支援し、これは、AR視覚化の改善と、乗客22及び他の利用客24を3次元世界空間に結び付けることに役立つ。
更に、特定の実施形態では、本明細書でより詳細に記載されるように、画像生成システム34は、アミューズメントパーク10の特定の物理的対象物28に関するデータに少なくとも部分的に基づいて、1又は2以上のAR画像40を生成及びレンダリングすることができる。例えば、特定の実施形態では、物理的対象物28は、プロセッサ74及びメモリ76などの処理回路を含むことができる。プロセッサ74は、特定の物理的対象物28の特定の動作状態を決定及び/又は設定するための命令を実行するために、メモリ76に動作可能に結合することができる。これらの命令は、メモリ76及び/又は他の記憶装置などの有形の非一時的コンピュータ可読媒体に格納されたプログラム又はコードにエンコードすることができる。特定の実施形態では、プロセッサ74は、汎用プロセッサ、システムオンチップ(SoC)デバイス、特定用途向け集積回路(ASIC)、又は他の何れかの同様のプロセッサ構成とすることができる。特定の実施形態では、特定の物理的対象物28のプロセッサ74は、特定の物理的効果が物理的対象物28に対してアクティブにされたかどうかを決定し、この決定を物理的対象物28の1又は2以上の通信インタフェース78を介して画像生成システム34に通信するように構成することができ、画像生成システム34は、この決定に少なくとも部分的に基づいて、モバイルデバイス26の1又は2以上のディスプレイ48に表示されるAR画像40を生成することができる。
本明細書でより詳細に記載されるように、モバイルデバイス26を介したAR体験の生成を容易にすることに加えて、特定の実施形態では、本明細書で記載されるシステム及び方法は、アミューズメントパーク10の特定の物理的対象物28の物理的効果(例えば、運動効果、音響効果、触覚フィードバック効果、色効果、香り効果及びその他)の生成を可能にする。具体的には、物理的相互作用システム80を使用して、アミューズメントパーク10の特定の物理的対象物28の物理的効果を生成することができる。特定の実施形態では、本明細書でより詳細に記載されるように、プロセッサ82(例えば、汎用プロセッサ又は他のプロセッサ)及びメモリ84などの処理回路を含むことができる物理的相互作用システム80は、モバイルデバイス26、物理的対象物28、補助デバイス30、画像生成システム34、及びモニタリングシステム44からのデータを処理して、特定の物理的対象物28に対して生成されるべき物理的効果のタイプを決定することができる。詳細には、モバイルデバイス26、物理的対象物28、補助デバイス30、画像生成システム34、及びモニタリングシステム44の間で通信されるものとして説明される異なるタイプのデータの全ては、アミューズメントパーク10の構成要素及び物理的相互作用システム80の1又は2以上の通信インタフェース86との間でも通信することができ、物理的相互作用システム80は、このデータに少なくとも部分的に基づいて特定の物理的対象物28に対して生成されるべき特定の物理的効果を決定することができ、また、これらの物理的対象物28に命令を通信して、物理的効果を生成することができることは理解されるであろう。これらの命令は、メモリ84及び/又は他の記憶装置などの有形の非一時的コンピュータ可読媒体に格納されたプログラム又はコードでエンコードすることができる。特定の実施形態では、プロセッサ82は、汎用プロセッサ、システムオンチップ(SoC)デバイス、特定用途向け集積回路(ASIC)、又は他の何れかの同様のプロセッサ構成とすることができる。
図2に示されるシステム32の機能の観点から、図3は、本開示の実施形態による、モバイルデバイス26、補助デバイス30、及び物理的対象物28を示す。図3に示すアミューズメントパーク10の現実世界環境(例えば、描写された物理的対象物28を含む)は、モバイルデバイス26のディスプレイ48上に表示することができる。具体的には、本明細書でより詳細に記載されるように、物理的対象物28及びアミューズメントパーク10の現実世界環境の残りの部分は、モバイルデバイス26の1又は2以上のカメラ46によってキャプチャされ、画像生成システム34に現実世界画像38として送信され(例えば、通信インタフェース54、60を介して)、画像生成システム34によってAR画像40と組み合わされて、モバイルデバイス26のディスプレイ48を介して表示するためにモバイルデバイス26に(例えば、通信インタフェース54、60を介して)送り返すことができる。
加えて、本明細書でより詳細に記載されるように、モバイルデバイス26に関する1又は2以上のユーザ相互作用を検出して、これを用いて、AR画像40を生成すると共に、アミューズメントパークの現実世界環境10において特定の物理的効果(例えば、特定の物理的対象物28)を実装することができる。特定の実施形態では、モバイルデバイス26に関する1又は2以上のユーザ相互作用は、モバイルデバイス26に関する動きのパターンを含むことができる。例えば、特定の実施形態では、経路88によって示されるように、動きのパターンは、モバイルデバイス26のディスプレイ48(例えば、タッチスクリーンディスプレイ)を介して、例えば、ディスプレイ48の指のスワイプ、指のピンチ、指タップ及びその他を介してキャプチャすることができる。代替的に、又はこれに加えて、特定の実施形態において、経路90によって示されるように、動きのパターンは、モニタリングシステム44の追跡デバイス62によって検出されるモバイルデバイス26の方位、位置、及び/又は動き、モバイルデバイス26の方位及び位置センサー42、或いは、相互に協働して動作する、モニタリングシステム44の追跡デバイス62及びモバイルデバイス26の方位及び位置センサー42(例えば、一方が、モバイルデバイス26の方位、位置、動き、及びその他を追跡し、他方が、モバイルデバイス26の方位、位置、動き及びその他を較正又は他方方法で確認する)とすることができる。代替的に、又はこれに加えて、特定の実施形態では、経路92によって示されるように、動きのパターンは、モニタリングシステム44の追跡デバイス62によって検出される補助デバイス30の方位、位置、及び/又は動きとすることができる。
動きのパターン88、90、92が、例えばモバイルデバイス26及び/又はモニタリングシステム44によって検出されると、動きのパターン88、90、92は、画像生成システム34に送信することができ(例えば、通信インタフェース54、60、64を介して)、画像生成システム34は、動きのパターン88、90、92に少なくとも部分的に基づいて、現実世界画像38(例えば、モバイルデバイス26にストリーミングされる)に重畳される1又は2以上の拡張(すなわち、AR画像40)を生成することができる。詳細には、特定の実施形態では、画像生成システム34は、画像生成システム34のプロセッサ56によって実行される画像生成システム34のメモリ58に符号化された命令の一部としてパターン認識ソフトウェアモジュールを含むことができ、これは、動き88、90、92のパターンに関するデータを分析して、動き88、90、92のパターンが既知のパターンに対応するかどうかを決定するように構成される。例えば、特定の実施形態では、画像生成システム34は、動き88、90、92のパターンと、例えば、画像生成システム34のメモリ58に格納されている複数の既知の動きパターンとの比較を実行して、現実世界画像38に重畳される1又は2以上の拡張(すなわち、AR画像40)を決定することができる。特定の実施形態において、動き88、90、92のパターンが格納された特定の動きのパターンに対応する場合、画像生成システム34は、特定の視覚化を現実世界画像38に重畳することができる。1つの非限定的な実施例として、特定の実施形態において、動き88、90、92のパターンが、特定の魔法の呪文に相当する格納された動きのパターンに対応すると識別された場合、視覚効果94(例えば、特定の魔法の呪文に関する)は、現実世界画像38に重畳されるAR画像40の一部として生成することができる。例えば、特定の実施形態では、視覚効果94は、電気ベースの魔法の呪文の場合には電気火花、火ベースの魔法の呪文の場合には炎及びその他を表すことができる。
同様に、動き88、90、92のパターンが、例えばモバイルデバイス26及び/又はモニタリングシステム44によって検出されると、動き88、90、92のパターンは、物理的相互作用システム80(例えば、通信インタフェース54、64、86を介して)に送信することができ、物理的相互作用システム80は、動きのパターン88, 90, 92に少なくとも部分的に基づいて1又は2以上の物理的対象物28(すなわち、現実世界画像38の一部とすることができる)を決定することができる。詳細には、特定の実施形態では、物理的相互作用システム80は、物理的相互作用システム80のプロセッサ82によって実行される、物理的相互作用システム80のメモリ84に符号化された命令の一部としてパターン認識ソフトウェアモジュールを含むことができ、これは、動き88、90、92のパターンに関するデータを分析して、動き88、90、92のパターンが既知のパターンに対応するかどうかを決定するように構成される。例えば、特定の実施形態では、物理的相互作用システム80は、動き88、90、92のパターンと、例えば、物理的相互作用のメモリ84に格納された複数の既知の動きのパターンとの比較を実行して、システム80は、1又は2以上の物理的対象物に対して実装される1又は2以上の物理的効果を決定することができる。特定の実施形態において、動き88、90、92のパターンが格納された特定の動きのパターンに対応する場合、物理的相互作用システム80は、1又は2以上の物理的対象物28に対して特定の物理的効果を実施することができる。1つの非限定的な実施例として、特定の実施形態において、動き88、90、92のパターンが、特定の魔法の呪文に相当する格納された動きのパターンに対応すると識別された場合、1又は2以上の物理的対象物28(例えば、特定の魔法の呪文に関する)は、物理的相互作用システム80によって決定することができ、物理的相互作用システム80は、特定の物理的対象物28と通信し(例えば、通信インタフェース78、86を介して)、例えば、物理的対象物28に関連する物理的動作機構98を介して物理的効果96を実施することができる。例えば、特定の実施形態では、物理的効果96は、電気ベースの魔法の呪文の場合は電源によって生成される物理的対象物28から発せられる電気火花、火ベースの呪文の場合の点火システムによって生成される物理的対象物28から発せられる火炎、空中浮遊の場合の物理的対象物28の一部の動き(図3に示すような)、及びその他とすることができる。
このように、本明細書に記載の実施形態は、モバイルデバイス26のディスプレイ48を介したAR体験と、アミューズメントパーク10の現実世界環境の周りに配置された物理的対象物28との知覚される物理的相互作用の両方を可能にする。特定の実施形態では、アミューズメントパーク10の現実世界環境の周りに配置された物理的対象物28との物理的相互作用は、物理的対象物28の特定の部分の動きを含むのでなく、むしろアミューズメントパーク自体とのより複雑な物理的相互作用を含むことができる。例えば、特定の実施形態では、モバイルデバイス26(及び/又は特定の実施形態では補助デバイス30)の特定のユーザが、アミューズメントパーク10への特定の訪問でアミューズメントパーク10の現実世界環境の周りに配置された他の物理的対象物28と一定数の相互作用を行う場合、システム32は、ユーザが、例えば、アミューズメントパーク10の周りに同様に配置された隠れた洞窟への入り口を提供することができる特定のドアと物理的に相互作用することができると判断することができる。
図4は、本開示の実施形態による、モバイルデバイス26(及び/又は補助デバイス30)を使用してユーザが所与の数の物理的対象物28と物理的に相互作用することに基づいて、アンロックされたアミューズメントパーク10のドア102を介して隠れた洞窟100にアクセスするユーザの実施例を示す。特定の実施形態では、ドア102をアンロックする能力は、第1の要件のみとすることができ、第2の要件は、ユーザがモバイルデバイス26(及び/又は特定の実施形態では補助デバイス30)と別の相互作用を実行することである。例えば、特定の実施形態では、ユーザは、例えば、図3に関して記載されるような動き88、90、92の特定のパターンを引き起こすことによって、モバイルデバイス26(及び/又は特定の実施形態では補助デバイス30)を介して特定のドア開放呪文を実行する必要があることがある。ユーザが動き88、90、92の特定のパターンを実行すると、物理的相互作用システム80は、例えば、ロック機構98(例えば、特定の実施形態では磁気ロック)を作動させることにより、ドア102を開く(例えば、物理的効果96として)ようにすることができる。更に、特定の実施形態では、特定の視覚効果94は、ドア102の開放と協働して、画像生成システム34によってモバイルデバイス26のディスプレイ48上に表示させることができる。
更に、特定の実施形態では、本明細書に記載の実施形態によって可能にされる、AR体験及びアミューズメントパーク10の物理的対象物28との物理的相互作用により、ユーザは、特定の物理的対象物28を介して提示される特定のパズルを解くことができる。図5は、本開示の実施形態による、モバイルデバイス26(及び/又は補助デバイス30)とのユーザ相互作用に基づいて解決できるパズル104の実施例を示す。図示の実施形態では、複数の物理的対象物28は、モバイルデバイス26(及び/又は特定の実施形態では補助デバイス30)とのユーザ相互作用を介して物理的に相互作用することができる。特定の実施形態では、複数の物理的対象物28が、モバイルデバイス26(及び/又は特定の実施形態では補助デバイス30)とのユーザ相互作用を介して、物理的に正しい位置に物理的に移動されるようになると、特定の視覚効果94は、画像生成システム34によってモバイルデバイス26のディスプレイ48に表示させることができる。例えば、図5に示す実施形態では、モバイルデバイス26(及び/又は特定の実施形態では補助デバイス30)とのユーザ相互作用により、矢印110で示されるように、物理的対象物28がベース108のそれぞれの区画106内に配置され、これによってパズルを解くことができ、特定の実施形態では、画像生成システム34によってモバイルデバイス26のディスプレイ48上に視覚効果94を表示させるようにすることができる。
図6は、本開示の実施形態による、本明細書に記載されるシステム32を動作させる方法112を示す。例えば、特定の実施形態では、方法112は、画像生成システム34を介して、モバイルデバイス26の1又は2以上のカメラ46を介してキャプチャされる画像データ(例えば、現実世界画像38)に少なくとも部分的に基づいて、アミューズメントパーク10の現実世界環境のストリーミングメディアを生成することを含む(ブロック114)。更に、特定の実施形態では、方法112は、画像生成システム34を介して、モバイルデバイス26とのユーザ相互作用に関するデータに少なくとも部分的に基づいてアミューズメントパーク10の現実世界環境のストリーミングメディアに重畳された1又は2以上の拡張(例えば、1又は2以上のAR画像40)を生成することを含む(ブロック116)。更に、特定の実施形態では、方法112は、画像生成システム34を介して、アミューズメントパーク10の現実世界環境のストリーミングメディアを、モバイルデバイス46のディスプレイ48に表示される1又は2以上の拡張と共に送信することを含む。(ブロック118)。更に、特定の実施形態では、方法112は、物理的相互作用システム80を介して、モバイルデバイス26とのユーザ相互作用に関するデータに少なくとも部分的に基づいてアミューズメントパーク10の現実世界環境における物理的対象物28に実装される1又は2以上の物理的効果96を決定することを含む(ブロック120)。更に、特定の実施形態では、方法112は、物理的相互作用システム80を介して、決定された1又は2以上の物理的効果96を実装するために物理的対象物28に信号を送信することを含む。
本開示の特定の特徴のみを本明細書に図示し説明したが、多くの修正及び変更が当業者に見出されるであろう。従って、添付の特許請求の範囲は、本開示の真の趣旨に属するような修正及び変更の全てを包含するように意図されると理解すべきである。更に、開示された実施形態の特定の要素は、互いに組み合わせること、又は交換できることを理解されたい。
26 モバイルデバイス
30 補助デバイス
28 物理的対象物
36 無線ネットワーク
34 画像生成システム
38 現実世界画像
40 AR画像
44 モニタリングシステム
80 物理的相互作用システム

Claims (23)

  1. システムであって、
    モバイルデバイスに通信可能に結合されるように構成された画像生成システムであって、
    前記モバイルデバイスのカメラを介してキャプチャされた画像データに少なくとも部分的に基づいて、現実世界環境のストリーミングメディアを生成し、
    前記モバイルデバイスとのユーザ相互作用に関するデータに少なくとも部分的に基づいて、前記現実世界環境のストリーミングメディアに重畳された1又は2以上の拡張を生成し、
    前記現実世界環境のストリーミングメディアを、前記モバイルデバイスのディスプレイに表示される前記1又は2以上の拡張と共に送信する、
    ように構成された画像生成システムと、
    前記モバイルデバイスに通信可能に結合されるように構成された物理的相互作用システムであって、
    前記モバイルデバイスとの前記ユーザ相互作用に関するデータに少なくとも部分的に基づいて、前記現実世界環境にて物理的対象物に実装される1又は2以上の物理的効果を決定し、
    前記物理的対象物に信号を送信して、前記決定された1又は2以上の物理的効果を実装する、
    ように構成された物理的相互作用システムと、
    を備える、システム。
  2. 前記ユーザ相互作用に関するデータが、動きのパターンを含む、請求項1記載のシステム。
  3. 前記画像生成システムが、前記ユーザ相互作用に関するデータを分析して前記動きのパターンが既知のパターンに対応するかどうかを決定するように構成されたパターン認識モジュールを含み、前記画像生成システムは、前記動きのパターンが前記既知のパターンに対応するかどうかに少なくとも部分的に基づいて、前記1又は2以上の拡張を生成するように構成された、請求項2に記載のシステム。
  4. 前記物理的相互作用システムが、前記ユーザ相互作用に関するデータを分析して、前記動きのパターンが既知のパターンに対応するかどうかを決定するように構成されたパターン認識モジュールを含み、前記物理的相互作用システムは、前記動きのパターンが前記既知のパターンに対応するかどうかに少なくとも部分的に基づいて、実装される前記1又は2以上の物理的効果を決定するように構成される、請求項2に記載のシステム。
  5. 前記動きのパターンは、前記モバイルデバイスを監視するモニタリングシステムによって検出された前記モバイルデバイスの動きのパターンを含む、請求項2に記載のシステム。
  6. 前記動きのパターンは、前記モバイルデバイスのユーザインタフェースを介して受信された入力を含む、請求項2に記載のシステム。
  7. 前記ユーザ相互作用は、前記モバイルデバイスの動きを含む、請求項1に記載のシステム。
  8. 前記画像生成システムは、前記モバイルデバイスの方位、前記モバイルデバイスの位置、前記モバイルデバイスの動き、又はこれらの組み合わせに少なくとも部分的に基づいて、前記現実世界環境のストリーミングメディアを生成するように構成されている、請求項7に記載のシステム。
  9. 前記画像生成システムは、前記モバイルデバイスの方位、前記モバイルデバイスの位置、前記モバイルデバイスの動き、又はこれらの組み合わせを前記モバイルデバイスから受信するように構成される、請求項8に記載のシステム。
  10. 前記モバイルデバイスの方位、前記モバイルデバイスの位置、前記モバイルデバイスの動き、又はこれらの組み合わせを決定するために、前記モバイルデバイスの物理的属性を監視するように構成されたモニタリングシステムを備える、請求項8に記載のシステム。
  11. 前記ユーザ相互作用は、前記モバイルデバイスのユーザインタフェースを介して受信された入力を含む、請求項1に記載のシステム。
  12. 前記画像生成システムは、前記モバイルデバイスと協働して使用される補助デバイスとのユーザ相互作用に関するデータに少なくとも部分的に基づいて、前記現実世界環境のストリーミングメディアに重畳された前記1又は2以上の拡張を生成するように構成されている、請求項1に記載のシステム。
  13. 前記物理的相互作用システムが、前記モバイルデバイスと協働して使用された補助デバイスとのユーザ相互作用に関するデータに少なくとも部分的に基づいて、前記現実世界環境内の前記物理的対象物に実装される前記1又は2以上の物理的効果を決定するように構成されている、請求項1に記載のシステム。
  14. 前記画像生成システムが、前記現実世界環境に配置された1又は2以上の物理的対象物に関するデータに少なくとも部分的に基づいて、前記現実世界環境のストリーミングメディアに重畳された前記1又は2以上の拡張を生成するように構成されている、請求項1に記載のシステム。
  15. 方法であって、
    画像生成システムを介して、モバイルデバイスからリアルタイムビデオデータストリームを受信するステップと、
    前記受信したリアルタイムビデオデータストリームに少なくとも部分的に基づいて、前記画像生成システムを介して、現実世界環境の視覚化を生成するステップと、
    前記画像生成システムを介して、前記モバイルデバイスとのユーザ相互作用に関するデータに少なくとも部分的に基づいて、前記現実世界環境の視覚化に拡張現実(AR)画像をオーバーレイするステップと、
    前記モバイルデバイスとの前記ユーザ相互作用に関するデータに少なくとも部分的に基づいて、物理的相互作用システムを介して、前記現実世界環境において物理的対象物に実装される1又は2以上の物理的効果を決定するステップと、
    前記画像生成システムを介して、前記オーバーレイされたAR画像を前記現実世界環境の視覚化と共に前記モバイルデバイスに送信するステップと、
    前記物理的相互作用システムを介して、前記決定された1又は2以上の物理的効果を実装するための信号を前記物理的対象物に送信するステップと、
    を含む、方法。
  16. 前記ユーザ相互作用に関するデータが、動きのパターンを含む、請求項15記載の方法。
  17. 前記動きのパターンが既知のパターンに対応するかどうかに少なくとも部分的に基づいて、前記画像生成システムを介して、前記現実世界環境の視覚化に前記AR画像をオーバーレイするステップを含む、請求項16に記載の方法。
  18. 前記物理的相互作用システムを介して、前記動きのパターンが既知のパターンに対応するかどうかに少なくとも部分的に基づいて、前記現実世界環境における前記物理的対象物に実装される前記1又は2以上の物理的効果を決定するステップを含む、請求項16に記載の方法。
  19. 前記動きのパターンは、前記前記モバイルデバイスを監視するモニタリングシステムによって検出された前記モバイルデバイスの動きのパターンを含む、請求項16に記載の方法。
  20. 前記動きのパターンは、前記モバイルデバイスのユーザインタフェースを介して受信された入力を含む、請求項16に記載の方法。
  21. 前記画像生成システムを介して、前記モバイルデバイスの方位、前記モバイルデバイスの位置、前記モバイルデバイスの動き、又はこれらの組み合わせに少なくとも部分的に基づいて、前記現実世界環境の視覚化に前記AR画像をオーバーレイするステップを含む、請求項15に記載の方法。
  22. 前記モバイルデバイスの1又は2以上のセンサーを使用して、前記モバイルデバイスの方位、前記モバイルデバイスの位置、前記モバイルデバイスの動き、又はこれらの組み合わせを検出するステップを含む、請求項21に記載の方法。
  23. 前記モバイルデバイスを監視するモニタリングシステムを使用して、前記モバイルデバイスの方位、前記モバイルデバイスの位置、前記モバイルデバイスの動き、又はこれらの組み合わせを検出するステップを含む、請求項21に記載の方法。
JP2021532896A 2018-12-17 2019-12-09 仲介拡張物理的相互作用のためのシステム及び方法 Pending JP2022513754A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862780669P 2018-12-17 2018-12-17
US62/780,669 2018-12-17
US16/293,331 2019-03-05
US16/293,331 US10692294B1 (en) 2018-12-17 2019-03-05 Systems and methods for mediated augmented physical interaction
PCT/US2019/065290 WO2020131463A1 (en) 2018-12-17 2019-12-09 Systems and methods for mediated augmented physical interaction

Publications (1)

Publication Number Publication Date
JP2022513754A true JP2022513754A (ja) 2022-02-09

Family

ID=71072692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021532896A Pending JP2022513754A (ja) 2018-12-17 2019-12-09 仲介拡張物理的相互作用のためのシステム及び方法

Country Status (8)

Country Link
US (1) US10692294B1 (ja)
EP (1) EP3897893A1 (ja)
JP (1) JP2022513754A (ja)
KR (1) KR20210097195A (ja)
CN (1) CN113195068A (ja)
CA (1) CA3121939A1 (ja)
SG (1) SG11202105150WA (ja)
WO (1) WO2020131463A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102620073B1 (ko) 2019-01-04 2024-01-03 삼성전자주식회사 가전 기기 및 그 제어 방법
US10937218B2 (en) * 2019-07-01 2021-03-02 Microsoft Technology Licensing, Llc Live cube preview animation
US20230316662A1 (en) * 2022-03-30 2023-10-05 Rovi Guides, Inc. Systems and methods for creating a custom secondary content for a primary content based on interactive data

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9191450B2 (en) 2007-09-20 2015-11-17 Disney Enterprises, Inc. Measuring user engagement during presentation of media content
US20130083008A1 (en) 2011-09-30 2013-04-04 Kevin A. Geisner Enriched experience using personal a/v system
US9741145B2 (en) 2012-06-29 2017-08-22 Disney Enterprises, Inc. Augmented reality simulation continuum
US10067557B2 (en) 2012-10-04 2018-09-04 Disney Enterprises, Inc. Interactive objects for immersive environment
WO2014075028A1 (en) 2012-11-09 2014-05-15 Whitewater West Industries, Ltd. Mobile application for an amusement park or waterpark
US10134267B2 (en) 2013-02-22 2018-11-20 Universal City Studios Llc System and method for tracking a passive wand and actuating an effect based on a detected wand path
US9555326B2 (en) 2014-03-11 2017-01-31 Microsoft Technology Licensing, Llc Gaming system for modular toys
US9616350B2 (en) 2014-05-21 2017-04-11 Universal City Studios Llc Enhanced interactivity in an amusement park environment using passive tracking elements
US9690375B2 (en) * 2014-08-18 2017-06-27 Universal City Studios Llc Systems and methods for generating augmented and virtual reality images
US9504930B2 (en) 2014-08-26 2016-11-29 Universal City Studios Llc Special effects techniques
US11030806B2 (en) 2014-11-15 2021-06-08 Vr Exit Llc Combined virtual and physical environment
CN105491365A (zh) * 2015-11-25 2016-04-13 罗军 基于移动终端的图像处理方法、装置及系统
CN106023692A (zh) * 2016-05-13 2016-10-12 广东博士早教科技有限公司 一种基于娱乐交互的ar趣味学习系统及方法
US9789403B1 (en) * 2016-06-14 2017-10-17 Odile Aimee Furment System for interactive image based game
US20180043263A1 (en) * 2016-08-15 2018-02-15 Emmanuel Brian Cao Augmented Reality method and system for line-of-sight interactions with people and objects online
US10512845B2 (en) 2016-09-20 2019-12-24 Disney Enterprises, Inc. Real-time manipulation of gameplay through synchronous signal consumption in non-interactive media
US10004984B2 (en) 2016-10-31 2018-06-26 Disney Enterprises, Inc. Interactive in-room show and game system
US10484547B2 (en) 2016-11-01 2019-11-19 Disney Enterprises, Inc. Systems and methods of distributing image effects for user experiences
EP3547267A4 (en) * 2016-11-24 2020-11-25 Kyoto University ROBOT CONTROL SYSTEM, MACHINE CONTROL SYSTEM, ROBOT CONTROL METHOD, MACHINE CONTROL METHOD, AND RECORDING MEDIUM
US20180255285A1 (en) 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
US10656704B2 (en) 2017-05-10 2020-05-19 Universal City Studios Llc Virtual reality mobile pod
US10362299B1 (en) * 2017-08-28 2019-07-23 Disney Enterprises, Inc. System for introducing physical experiences into virtual reality (VR) worlds
US10751877B2 (en) * 2017-12-31 2020-08-25 Abb Schweiz Ag Industrial robot training using mixed reality

Also Published As

Publication number Publication date
CA3121939A1 (en) 2020-06-25
US10692294B1 (en) 2020-06-23
US20200193706A1 (en) 2020-06-18
KR20210097195A (ko) 2021-08-06
CN113195068A (zh) 2021-07-30
SG11202105150WA (en) 2021-06-29
WO2020131463A1 (en) 2020-06-25
EP3897893A1 (en) 2021-10-27

Similar Documents

Publication Publication Date Title
JP6995799B2 (ja) 拡張現実及び仮想現実画像を生成するためのシステム及び方法
EP3592443B1 (en) Augmented ride system and method
JP7079207B2 (ja) 立体視的な拡張現実画像および仮想現実画像を生成するためのシステムおよび方法
US11173408B2 (en) Systems and methods for a connected augmented environment
KR20230173231A (ko) 증강 및 가상 현실을 위한 시스템 및 방법
JP2022513754A (ja) 仲介拡張物理的相互作用のためのシステム及び方法
JP2019535090A (ja) 仮想現実アトラクション制御方法及びシステム
CA3124882C (en) Systems and methods for a connected augmented environment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240226

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240514