JP2020013550A - 仮想世界を介してデジタル現実アプリケーションを開発および試験して実世界の中に展開するためのシステムおよび方法 - Google Patents

仮想世界を介してデジタル現実アプリケーションを開発および試験して実世界の中に展開するためのシステムおよび方法 Download PDF

Info

Publication number
JP2020013550A
JP2020013550A JP2019096980A JP2019096980A JP2020013550A JP 2020013550 A JP2020013550 A JP 2020013550A JP 2019096980 A JP2019096980 A JP 2019096980A JP 2019096980 A JP2019096980 A JP 2019096980A JP 2020013550 A JP2020013550 A JP 2020013550A
Authority
JP
Japan
Prior art keywords
digital reality
application
virtual
reality applications
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019096980A
Other languages
English (en)
Other versions
JP6944098B2 (ja
Inventor
セヴァト,イエルリ
Yerli Cevat
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TMRW Foundation IP and Holding SARL
Original Assignee
TMRW Foundation IP and Holding SARL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TMRW Foundation IP and Holding SARL filed Critical TMRW Foundation IP and Holding SARL
Publication of JP2020013550A publication Critical patent/JP2020013550A/ja
Application granted granted Critical
Publication of JP6944098B2 publication Critical patent/JP6944098B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/30Creation or generation of source code
    • G06F8/34Graphical or visual programming
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3664Environments for testing or debugging software
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • G06F11/3668Software testing
    • G06F11/3672Test management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/20Software design
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality

Abstract

【課題】仮想世界システムを介してデジタル現実アプリケーションを開発、試験および実世界の中に展開するためのシステムおよび方法を提供する。【解決手段】システムは、対応する実物体の仮想レプリカ110を含む仮想世界システム108、アプリケーション(以下、アプリ)開発環境モジュール112およびアプリ管理環境モジュール118を格納して計算するサーバ102を備える。サーバに接続されたユーザ装置120は、仮想世界システム108、アプリ開発環境モジュール112およびアプリ管理環境モジュール118にアクセスする。ユーザは、実物体を含む実世界レイヤ、実世界レイヤの上に構成された純粋に仮想の物体およびそれぞれの実物体の仮想レプリカ110を含む仮想世界レイヤおよび展開されたデジタル現実アプリを含むデジタル現実アプリレイヤからなる融合現実において、デジタル現実アプリを見てそれと対話する。【選択図】図1

Description

本開示は一般にコンピュータシステムに関し、より具体的には、パーシステント仮想世界システムを介して1つ以上のデジタル現実アプリケーションを開発および試験して実世界または仮想世界の中に展開するためのシステムおよび方法に関する。
デジタル現実アプリケーションコンテンツをユーザに提供するための技術開発は、過去に可能でなかった体験を可能にした。特に拡張現実(AR)、仮想現実(VR)および複合現実(MR)などのデジタル現実はユーザが何を見て聞いて感じているか、および実世界がどれだけこれらの体験の中に入り込んでいるかに関してユーザの知覚を変化させ、ユーザに実世界または想像世界の中の場所に物理的に存在しているという感覚を与える。
デジタル現実アプリケーションの開発、試験および展開は計算集約的である場合がある。さらに、デジタル現実環境の可変的性質は、デジタル現実アプリケーションを創出する際に開発者に難題をもたらす。望まれているものは、あまり計算集約的な方法でなく、かつ一体化エコシステムにおけるデジタル現実アプリケーションの開発、展開および動作を容易にするためのシステムおよび方法である。
本概要は、以下の発明を実施するための形態においてさらに説明されている単純化された形態での選択された概念を紹介するために提供されている。本概要は特許請求されている主題の重要な特徴を特定するためのものでもなければ、特許請求されている主題の範囲を決定するのを支援するものとして使用されるものでもない。
背景技術に記載されている欠点は、パーシステント仮想世界システムを介したデジタル現実アプリケーションの一体化された開発、試験および実世界における展開を可能にするシステムおよび方法により本開示によって対処される。
位置的デジタル現実アプリケーション、地域的デジタル現実アプリケーションサービスまたはそれらの組み合わせを含むデジタル現実アプリケーションを開発、試験および展開するためのシステムは、メモリおよび少なくとも1つのプロセッサを備える少なくとも1つのサーバであって、メモリは対応する実物体の少なくとも1つの仮想レプリカを含むパーシステント仮想世界システムを格納しており、仮想レプリカの仮想3D世界座標および仮想特性は実物体の3D世界座標および特性に基づいているサーバと、ネットワークを介してサーバに接続されており、かつパーシステント仮想世界システムにアクセスするように構成されている少なくとも1つのユーザ装置とを備え、1人以上のユーザは、実世界レイヤー、実世界レイヤーの上に構成された仮想世界レイヤー、および仮想世界レイヤーの上に構成された1つ以上のデジタル現実アプリケーションレイヤーからなる融合現実(merged reality)において1つ以上のデジタル現実アプリケーションを見て対話する。
本開示では、デジタル現実アプリケーションは、位置的デジタル現実アプリケーション、地域的デジタル現実アプリケーションサービスまたはそれらの組み合わせを含んでもよい。位置的デジタル現実アプリケーションは、3D位置および向きを含む1つ以上の所定かつ正確な3D世界位置にパーシステント仮想世界システムを介して構成されており、かつ3D世界位置の複数のインスタンスを有することができる。地域的デジタル現実アプリケーションサービスは、1つ以上の位置的デジタル現実アプリケーションを包含する1つ以上の所定の地理的領域において永続的に利用可能なアプリケーションサービスを指し、ここでは、それらのサービスはそれらの領域内にいるかそれらに近接しているユーザに、1つ以上の位置的デジタル現実アプリケーションに関するそれぞれのアプリケーションサービスを提供することができる。位置的デジタル現実アプリケーションおよび地域的デジタル現実アプリケーションサービスは、1つ以上のデジタル現実アプリケーションレイヤーの上に構成されている。
サーバのメモリは、アプリケーション開発者が仮想世界システムにアクセスして1つ以上のデジタル現実アプリケーションを開発することができるように構成されたアプリケーション開発環境モジュールと、アプリケーション管理者がパーシステント仮想世界システムにアクセスして1つ以上のデジタル現実アプリケーションを受信、管理および展開することができるように構成されたアプリケーション管理環境モジュールとをさらに格納する。
いくつかの実施形態では、少なくとも1つのサーバは、分散された計算能力を実装し得るクラウド・エッジ間インフラストラクチャ(cloud−to−edge infrastructure)を使用してもよく、企業システム、モバイルプラットフォームおよび/またはユーザ装置などのパブリックもしくはプライベートクラウド、クラウドレットおよびエッジシステムを用いる。いくつかの実施形態では、デジタル現実アプリケーションの処理およびプロビジョニングは、少なくとも1つのユーザ装置の少なくとも1つのデジタル現実アプリケーションへの近接に基づいている。さらなる実施形態では、処理およびプロビジョニングは、サーバベース、クライアントベースまたはそれらの組み合わせである。さらなる実施形態では、少なくとも1つのユーザ装置が複数のデジタル現実アプリケーションに近接している場合、サーバは、複数のアプリケーションのメディアコンテンツを1人以上のユーザの視野または広視野において計算および合成し、かつ合成されたメディアコンテンツをユーザ装置に伝送するのを続行してもよい。
一実施形態によれば、パーシステント仮想世界システムは、互いとの間およびそれらの対応する仮想レプリカを介した実世界レイヤーの要素との間の空間的構成、行動、計算的および論理的対話を可能にする、1つ以上の仮想レプリカ、純粋に仮想の物体、仮想回廊、位置的デジタル現実アプリケーション、地域的デジタル現実アプリケーションサービスまたはそれらの組み合わせを含む仮想3Dインフラを備える。
一実施形態によれば、展開の間のアプリケーションの公開は、ユーザによる関与の間にパーシステントレイヤである1つ以上のデジタル現実アプリケーションレイヤー上で行われるが、1つ以上の位置的デジタル現実アプリケーションまたは地域的デジタル現実アプリケーションサービスは、特定の1つ以上の位置的デジタル現実アプリケーションまたは地域的デジタル現実アプリケーションサービスに関連する仮想レプリカおよび純粋に仮想の物体を含む仮想世界レイヤーの複数の要素をフィルタリングして処理することができる。
いくつかの実施形態では、アプリケーション開発環境モジュールは、サブモジュールの開発、設定および試験を含む。これらのサブモジュールは、アプリケーション開発者が1つ以上のデジタル現実アプリケーションまたはデジタル現実アプリケーションレイヤーを途切れなく開発、試験および構成することができるように構成されており、これは、1つ以上のデジタル現実アプリケーションまたはデジタル現実アプリケーションレイヤーのための3D位置決めおよび縮尺調整、時間設定や標的ユーザパラメータを含むコンテンツ、位置的もしくは地域的位置および空間設定を調整することを含む。位置および空間設定サブモジュールでは、デジタル現実アプリケーションは、将来の展開後にユーザがそれらを対話のために見つけることができる仮想世界レイヤーの上の1つ以上のデジタル現実アプリケーションレイヤーの上に位置決めされている。1つ以上のデジタル現実アプリケーションを開発、構成および試験したら、アプリケーション開発者は1つ以上のデジタル現実アプリケーションをアプリケーション管理環境モジュールを介してアプリケーション管理者と共有するのを続行してもよい。
アプリケーション管理環境モジュールは、1つ以上の共有されるデジタル現実アプリケーション、アプリケーション管理試験サブモジュール、ルールベースアプリケーション評価サブモジュール、アプリケーション展開サブモジュールおよびオンラインアプリケーションライブラリを含む。アプリケーション管理環境モジュールでは、アプリケーション管理者はアプリケーション管理試験サブモジュールによりデジタル現実アプリケーションを試験してもよい。アプリケーション試験サブモジュールによりアプリケーションを試験した後であって、ルールベースアプリケーション評価サブモジュールによりアプリケーションの適合性を評価した後に、アプリケーション管理者は、1つ以上のデジタル現実アプリケーションが調整を必要としていることを決定してもよい。従ってアプリケーション管理者は調整要求をアプリケーション開発者に送信してもよい。その後にアプリケーション開発者は1つ以上のデジタル現実アプリケーションを調整してもよく、それが承認されたら、アプリケーション管理者は、アプリケーション展開サブモジュールによりエンドユーザとの対話のために1つ以上のデジタル現実アプリケーションをオンラインアプリケーションライブラリの中に展開および試験展開してもよい。展開された1つ以上のデジタル現実アプリケーションは、アプリケーション開発者によって前もって設定され、かつアプリケーション管理者によって承認された構成を含む。言い換えると、展開されたアプリケーションは、3D位置決めおよび縮尺調整、時間設定と1つ以上のデジタル現実アプリケーションのために定められた標的ユーザパラメータとを含むコンテンツ、実および/または仮想位置および空間の設定を含む。ユーザはネットワークを介してサーバに接続された装置を介してデジタル現実アプリケーションと対話してもよく、ここでは、サーバはユーザのためにデジタル現実アプリケーションコンテンツを保守点検、ストリーミング、配信、計算および/またはレンダリングしてもよい。
1つ以上のデジタル現実アプリケーションは、サーバのメモリに格納されたパーシステント仮想世界システムを介して実世界の中に構成されてもよい。パーシステント仮想世界システムは本開示では、実世界の仮想レプリカの設定の中に組み込まれる緯線方向および長手方向の位置および向きデータを含む実物体の3D位置、向きおよび縮尺などの実世界座標を含む仮想化バージョンの実世界を指す。パーシステント仮想世界システムは、各実体(例えば、建物、森林、人々など)が実世界データに基づいてモデル化されている実在のモデルに従った詳細な世界地図を含むことができるが、実世界データに基づいていない仮想物体を含んでもよい。従って、1つ以上の位置的デジタル現実アプリケーションを構成する場合、アプリケーション開発者は、デジタル現実アプリケーションを既存の仮想レプリカの拡張部分として見ることができるように、デジタル現実アプリケーションをパーシステント仮想世界システムに存在している1つ以上の仮想レプリカにアタッチしてもよい。但し他の実施形態では、位置的デジタル現実アプリケーションは特定の仮想レプリカにアタッチされることなくパーシステント仮想世界システムの位置にアタッチされていてもよいが、パーシステント仮想世界システム内の他の仮想レプリカに対して位置決めされている。他の実施形態では、地域的デジタル現実アプリケーションサービスは、特定の仮想レプリカにリンクされていないパーシステント仮想世界システムの1つ以上の地理的領域にアタッチされていてもよい。従って、パーシステント仮想世界システムを参照として用いてデジタル現実アプリケーションを開発、試験、評価および展開することにより、アプリケーション開発者、管理者およびエンドユーザに当該世界が開発空間であるという感覚を与えることができる。
一実施形態によれば、デジタル現実アプリケーションの開発、試験および実世界の中へ展開を容易にする方法は、メモリおよび少なくとも1つのプロセッサを備える少なくとも1つのサーバによって、1つ以上のデジタル現実アプリケーションおよび対応する実物体の少なくとも1つの仮想レプリカを含むパーシステント仮想世界システムを提供する工程であって、仮想レプリカの仮想3D世界座標および仮想特性は実物体の3D世界座標および特性に基づいている工程と、パーシステント仮想世界システムにアクセスしている少なくとも1つのユーザ装置からの入力を少なくとも1つのサーバによって受信する工程とを含む。少なくとも1つのユーザ装置はネットワークを介して少なくとも1つのサーバに接続されている。パーシステント仮想世界システムにより、1人以上のユーザが実世界レイヤー、実世界レイヤーの上に構成された仮想世界レイヤー、および仮想世界レイヤーの上に構成された1つ以上のデジタル現実アプリケーションレイヤーを含む融合現実において1つ以上のデジタル現実アプリケーションを見て対話することができる。
いくつかの実施形態では、上記入力は、1つ以上のデジタル現実アプリケーションの開発に関連していてもよい。そのような場合、少なくとも1つのサーバは、アプリケーション開発者によってアプリケーション開発環境モジュールにより1つ以上のデジタル現実アプリケーションを開発し、アプリケーション開発者によってデジタル現実アプリケーションをアプリケーション管理環境モジュールと共有し、アプリケーション管理者によってアプリケーション管理環境モジュールによりコンプライアンス評価のためにデジタル現実アプリケーションを試験し、アプリケーション管理者によってアプリケーション管理環境モジュールによりデジタル現実アプリケーションを承認/拒絶し、必要な場合に、アプリケーション開発環境モジュールにアプリケーション調整要求を送信し、アプリケーション開発者によってアプリケーション開発環境モジュールによりアプリケーションを調整し、かつデジタル現実アプリケーションがアプリケーション管理者コンプライアンスパラメータに準拠したらアプリケーション管理者によってオンラインアプリケーションライブラリの中にデジタル現実アプリケーションを展開および試験展開するさらなる工程を容易にしてもよい。
一実施形態によれば、アプリケーション開発環境モジュールにより1つ以上のデジタル現実アプリケーションを開発する工程は、アプリケーション開発者によってアプリケーションの構成(例えば、特に位置、時間および標的ユーザパラメータ)を設定すること、アプリケーション開発者によってデジタル現実アプリケーションをアプリケーション開発空間において試験すること、およびアプリケーション開発者によって仮想現実における仮想世界の最終的な位置的もしくは地域的位置および拡張現実における実世界の最終的な位置的もしくは地域的位置でさらなる試験を行うことをさらに含む。
1つ以上のデジタル現実アプリケーションが位置決めおよび展開される本開示のアプリケーションライブラリは、実世界レイヤーの上に構成されたパーシステント仮想世界システムの仮想世界レイヤーの上に構成されたデジタル現実アプリケーションレイヤーとみなしてもよい。仮想世界レイヤーは、1つ以上の仮想レプリカおよび純粋に仮想の物体を含む。このレイヤーのセットは融合現実を形成し、ここではユーザ装置を用いるユーザは、拡張現実、仮想現実またはそれらの組み合わせの中でデジタル現実アプリケーションおよび少なくともいくつかの仮想レプリカを見て対話してもよい。実世界の実物体の全てまたは大部分はパーシステント仮想世界システムの中にマップまたは仮想化されているので、パーシステント仮想世界システムの領域に位置しているユーザは、実世界が、実世界のいくつかの部分に構成されたデジタル現実アプリケーションを有するアプリケーションライブラリであるという感覚を有し得る。
上記発明の概要は、本開示の全ての態様の網羅的なリストを含んでいない。本開示は上に要約されている各種態様の全ての好適な組み合わせ、ならびに以下の発明を実施するための形態に開示されているもの、特に本出願と共に出願されている特許請求の範囲に示されているものに基づいて実施することができる全てのシステムおよび方法を含むものと想定される。そのような組み合わせは上記発明の概要に具体的には列挙されていない特定の利点を有する。本開示の他の特徴および利点は、添付の図面および以下に続く発明を実施するための形態から明らかになるであろう。
上記態様および本開示の付随する利点の多くは、添付の図面と共に解釈される場合に、以下の発明を実施するための形態を参照することによってより良好に理解されるので、より容易に理解されるようになるであろう。
一実施形態に係る、パーシステント仮想世界システムを介して1つ以上のデジタル現実アプリケーションを開発、試験および実世界の中へ展開するためのシステムの図を描写している。 一実施形態に係る、パーシステント仮想世界システムを介して1つ以上のデジタル現実アプリケーションを開発して実世界の中に試験するためのアプリケーション開発環境モジュールの図を描写している。 一実施形態に係る、パーシステント仮想世界システムを介して1つ以上のデジタル現実アプリケーションのコンプライアンス試験および実世界の中への展開を可能にするアプリケーション管理環境モジュールの図を描写している。 パーシステント仮想世界システムを介して1つ以上のデジタル現実アプリケーションを開発、試験および実世界の中へ展開するためのシステムの概略図を描写しており、ここでは仮想世界システムおよび実世界は、1つ以上のデジタル現実アプリケーションの展開を可能にする融合現実にマージされている。 パーシステント仮想世界システムを介して1つ以上のデジタル現実アプリケーションを開発、試験および実世界の中へ展開するためのシステムの概略図を描写しており、ここでは仮想世界システムおよび実世界は、1つ以上のデジタル現実アプリケーションの展開を可能にする融合現実にマージされている。 一実施形態に係る、本開示の1つ以上のデジタル現実アプリケーションを開発、試験および展開するために使用することができるユーザ装置の図を描写している。 パーシステント仮想世界システムを介して1つ以上のデジタル現実アプリケーションを開発、試験および実世界の中へ展開するための方法のブロック図を描写している。
以下の説明では、様々な実施形態を例示として示す図面を参照する。また、様々な実施形態をいくつかの例を参照することによって以下に説明する。当然のことながら当該実施形態は、特許請求されている主題の範囲から逸脱することなく設計および構造における変化を含んでもよい。
図1は、一実施形態に係る、パーシステント仮想世界システムを介して位置的デジタル現実アプリケーション、地域的デジタル現実アプリケーションサービスまたはそれらの組み合わせを含む1つ以上のデジタル現実アプリケーションを開発および試験して実世界の中に展開させるために使用することができるシステム100を描写している。
システム100は、メモリ104および少なくとも1つのプロセッサ106を備える少なくとも1つのサーバ102であって、メモリ104は1つ以上のデジタル現実アプリケーションおよび対応する実物体(図示せず)の少なくとも1つの仮想レプリカ110(例えば仮想レプリカA〜N)を含むパーシステント仮想世界システム108を格納し、仮想レプリカ110の仮想3D世界座標および仮想特性は実物体の3D世界座標および特性に基づいているサーバ102と、ユーザ114(例えば、アプリケーション開発者)がパーシステント仮想世界システム108にアクセスし、かつ1つ以上のデジタル現実アプリケーション116を開発することができるように構成されたアプリケーション開発環境モジュール112と、ユーザ114(例えばアプリケーション管理者)がアプリケーション開発環境モジュール112により創出された1つ以上のデジタル現実アプリケーション116を管理することができるように構成されたアプリケーション管理環境モジュール118とを備えていてもよい。ユーザ114は自身の権利に応じて、ネットワーク122を介して接続されたユーザ装置120を介してパーシステント仮想世界システム108、アプリケーション開発環境モジュール112およびアプリケーション管理環境モジュール118のうちの1つ以上にアクセスしてもよい。少なくとも1つのプロセッサ106は、仮想レプリカ110およびデジタル現実アプリケーション116のデータに対して命令を実行するように構成されている。いくつかの実施形態では、パーシステント仮想世界システム108は、以下でさらに詳細に説明するように、ユーザが、実世界レイヤー、実世界レイヤーの上に構成された仮想世界レイヤーおよび仮想世界レイヤーの上に構成された1つ以上のデジタル現実アプリケーションレイヤーを含む融合現実において、デジタル現実アプリケーション106を見て対話することができるように構成されている。
本開示では「パーシステント」という用語は、連続的に実行するプロセスまたはネットワーク接続なしに存在し続けることができるシステムの状態を特徴づけるために使用される。例えば「パーシステント」という用語は、仮想世界システムおよびその中に含まれる仮想レプリカ、純粋に仮想の物体およびデジタル現実アプリケーションの全てが、仮想レプリカ、純粋に仮想の物体およびデジタル現実アプリケーションを創出するために使用されるプロセスが停止した後にユーザが仮想世界システムに接続されているかに関わらず存在し続ける仮想世界システムを特徴づけるために使用されてもよい。従って仮想世界システムはサーバ内の不揮発性記憶位置に保存されている。このように、仮想レプリカ、純粋に仮想の物体およびデジタル現実アプリケーションは、ユーザがサーバに接続されていないとしても特定の目標を達成するために構成されている場合は互いに対話および共同することができる。
アプリケーション開発環境モジュール112は、1人以上のアプリケーション開発者などの1人以上のユーザ114が一緒または別々に、仮想世界システム108を介して接続して1つ以上のデジタル現実アプリケーションを開発、創出および試験し、かつ1つ以上のデジタル現実アプリケーション116をアプリケーション管理環境モジュール118と共有するのを可能にするように構成されている。アプリケーション管理環境モジュール118は、アプリケーション管理者などの1人以上のユーザ114が、デジタル現実アプリケーション116のコンプライアンス試験、ユーザ装置120を介してエンドユーザによってアクセスすることができるオンラインアプリケーションライブラリの中への展開および試験展開を可能にするように構成されている。
いくつかの実施形態では、デジタル現実アプリケーション116を展開および試験展開したら、パーシステント仮想世界システム108に存在している仮想レプリカ110にアタッチしてもよく、これはデジタル現実アプリケーション116のうちのいくつかが少なくとも1つの仮想レプリカ110の方を向いている矢印によって図1に表すことができる。従って、1つ以上のデジタル現実アプリケーション116を仮想レプリカ110と同じ位置に構成してもよく、かつ既存の仮想レプリカ110の拡張部分とみなしてもよい。但し他の実施形態では、1つ以上のデジタル現実アプリケーション116を特定の仮想レプリカ110にアタッチすることなくパーシステント仮想世界システム108の位置にアタッチしてもよい。他の実施形態では、1つ以上のデジタル現実アプリケーション116の1つ以上の地域的デジタル現実アプリケーションサービスの領域を指定することは、1つ以上の地域的デジタル現実アプリケーションサービスを特定の仮想レプリカにリンクされていないパーシステント仮想世界システム108の1つ以上の地理的領域にアタッチすることを含む。
パーシステント仮想世界システム108内の仮想レプリカ110は、仮想レプリカ110の基となる実物体のそれぞれの形状、位置、位置決めおよび向き、他の特性(例えば、物理的および論理的特性)ならびに予測される機能的およびシステム的影響(例えば、エネルギ消費、交通現象、炭素排出など)に基づいて開発することができる。従って、例えば仮想レプリカ110は、これらの特性のそれぞれを構成するのを可能にし得る各仮想レプリカ110のデータおよび命令を入力するように構成されたレプリカエディタ(図示せず)に含まれているソフトウェアモジュールおよびツールにより入力されるデータおよび命令を含んでもよい。但し仮想レプリカ110は、純粋に仮想の物体などの実生活に存在していない物体を表してもよい。純粋に仮想の物体を表すこれらの仮想レプリカ110は実物体の位置に対して位置決めすることもでき、かつデジタル現実アプリケーション116がその上にアタッチされていてもよい。
いくつかの実施形態では、仮想レプリカは、SLAMまたは派生物マッピングベースのデータなどの3D世界および建物データ、3Dジオメトリデータ、3Dポイントクラウドデータ、またはデジタル現実アプリケーションのために3D構造をモデル化するのに役立ち得る実世界の構造特性を表す地理的情報システムデータのうちの1つ以上を含む。
パーシステント仮想世界システム108は、仮想レプリカ110の設定の中に組み込まれる緯線方向および長手方向の位置および向きデータを含む、実物体の3D位置、向きおよび縮尺などの実世界座標を含む仮想化バージョンの実世界である。パーシステント仮想世界システム108は、各実体(例えば、建物、森林、人々など)が実世界データに基づいてモデル化されている実在のモデルに従った詳細な世界地図を含むことができるが、これは実世界データに基づいていない仮想物体を含んでもよい。実世界物体を仮想レプリカ110に変換するためのモデル化技術は、当該技術分野で知られている技術に基づいていてもよい。一実施形態では、仮想レプリカ110は実世界要素の容易に利用可能なコンピュータ支援設計(CAD)モデルに基づいてモデル化されていてもよい。例えば、機械所有者は、自身の機械の既に存在しているデジタルCADモデルを提供してもよい。同様に、建物所有者または政府当局は、施設の物理的および機能的特性のデジタル表示である建物情報モデル(BIM)を提供し、かつそれらをパーシステント仮想世界システム108に格納してもよい。他の実施形態では、仮想レプリカは、様々な写真、ビデオ、深度の同時位置特定およびマッピング(SLAM:simultaneous location and mapping)スキャンにより入力される車またはドローンを用いた画像スキャンパイプラインによりモデル化されてもよい。他の実施形態では、合成開口レーダ、実開口レーダ、光検出と測距(LIDAR:Light Detection and Ranging)、逆合成開口レーダ、モノパルスレーダなどのレーダイメージングおよび他の種類のイメージング技術を使用して、実世界要素をマップおよびモデル化した後にそれらをパーシステント仮想世界システム108の中に一体化させてもよい。レーダイメージング解決法は、特に構造物の元のモデルが利用可能でない場合または欠損している情報が存在するかさらなる情報をCADモデルによって提供されない仮想世界実体に追加する必要がある場合に実施してもよい。
一実施形態によれば、デジタル現実アプリケーション116によって提供されるデジタルコンテンツは、画像データ、3Dジオメトリ、ビデオデータ、音声データ、触覚データ、テキストデータまたはそれらの組み合わせのうちの少なくとも1つを含んでもよい。少なくとも1つのユーザ114に提供されるデジタルコンテンツの1つ以上の部分は、拡張現実(AR)、仮想現実(VR)デジタルコンテンツまたはそれらの組み合わせを含んでいてもよい。ユーザ114がデジタルコンテンツをARデジタルコンテンツとして見る場合、ARデジタルコンテンツは音、ビデオ、グラフィックスまたはGPSデータなどのコンピュータによって生成される感覚入力によって拡張された実世界環境要素を含む。実世界における追加の情報または仮想物体をオーバーレイすることなどの拡張技術は典型的に、リアルタイムで環境要素を含むセマンティックコンテキストにおいて行われる。ARデジタルコンテンツにより、ユーザ114の実世界の周りに関する情報または実世界における仮想物体オーバーレイを対話型およびデジタル対話型になるようにすることができる。ユーザ114がデジタルコンテンツをVRデジタルコンテンツとして見る場合、VRデジタルコンテンツは、実世界をシミュレートされたものと置き換えるために使用される仮想の要素を含んでもよい。
少なくとも1つのサーバ102は、ユーザ114との対話のために1つ以上のデジタル現実アプリケーション116からのデジタルコンテンツを保守点検、配信、計算、ストリーミングおよび/またはレンダリングするなどの重い負荷アプリケーションを実行するのに十分な計算リソースを提供してもよい。好ましい実施形態では、サーバ102の計算環境は、クラウドサーバなどにおいてアプリケーション間でCPU、メモリおよび記憶装置などのリソースを共有する抽象化された仮想化インフラ上で実行される。クラウドコンピューティングネットワークを用いた計算能力、コンピュータインフラ(例えば、サービスとしてのいわゆるインフラ、すなわちIaaSを介して)、アプリケーションおよびビジネスプロセスへのアクセスは、要求に応じてユーザ114へのサービスとして提供することができる。
いくつかの実施形態では、少なくとも1つのデジタル現実アプリケーション116の処理およびプロビジョニングは、1つ以上のユーザ装置120の少なくとも1つのデジタル現実アプリケーション116への近接に基づいている。いくつかの実施形態では、少なくとも1つのデジタル現実アプリケーション116の処理およびプロビジョニングは、サーバベース、クライアントベースまたはそれらの組み合わせである。サーバベースの処理およびプロビジョニングの実施形態では、ユーザ114によって用いられる1つ以上のユーザ装置120が少なくとも1つのデジタル現実アプリケーション116に近接している場合、少なくとも1つのデジタル現実アプリケーション116の処理の大部分および任意にレンダリングは、少なくとも1つのサーバ102の少なくとも1つのプロセッサ106によって行われる。従って、1つ以上のユーザ装置120が少なくとも1つのデジタル現実アプリケーション116に近接している場合、サーバ102の少なくとも1つのプロセッサ106は、1つ以上のデジタル現実アプリケーションメディアコンテンツを地理空間的に(すなわち、ユーザ装置120を用いるユーザ114の現在の実もしくは仮想位置および向きに基づいて)処理し、任意にレンダリングし、かつユーザ装置120による出力のためにユーザ114に伝送し、軽い動作および計算のみをユーザ装置120によって行われるままにしてもよい。クライアントベースの処理およびプロビジョニングの実施形態では、ユーザ114が少なくとも1つのデジタル現実アプリケーション116に近接している場合、サーバ102はユーザ装置120による局所的処理および実行のために1つ以上のデジタル現実アプリケーションを伝送するのを続行してもよい。
他の実施形態では、ユーザ114によって用いられる1つ以上のユーザ装置120が1人以上のユーザ114の視野(例えば最大90°)または広視野(例えば、120°、180°またはさらには360°などの90°超)において1つ以上のデジタル現実アプリケーション116の複数の位置的デジタル現実アプリケーションまたは地域的デジタル現実アプリケーションサービスに近接している場合、サーバ102は、1つ以上のデジタル現実アプリケーション116の複数の位置的デジタル現実アプリケーションまたは地域的デジタル現実アプリケーションサービスのメディアコンテンツを1人以上のユーザ114の視野または広視野において計算および合成し、かつそれらの合成されたメディアコンテンツをユーザ装置120に伝送するのを続行することができる。
いくつかの実施形態では、少なくとも1つのサーバ102は分散された計算能力を実装し得るクラウド・エッジ間インフラストラクチャを使用してもよく、これは企業システム、モバイルプラットフォームおよびユーザ装置などのパブリックもしくはプライベートクラウド、クラウドレットおよびエッジシステムを用いることを含む。このように、物理的なサーバおよびネットワーク機器を含むリソースは、ユーザのリソースまでの距離ならびにユーザからのネットワークおよび計算要求などの因子に応じて動的に割り当てられ得る共有される記憶および計算を可能にする。
一実施形態では、ハードウェアおよびネットワーク要求を減らし、ネットワークレイテンシの減少に寄与し、かつ一般的なデジタル現実体験を向上させるために、デジタル現実エコシステムは、第5世代無線システム通信(5G)などのミリ波(mmW)またはmmWとサブ6GHz通信システムとの組み合わせを含むネットワーク122を介して接続してもよい。他の実施形態では、本システムは好ましくは16GHzでデータを提供する無線ローカルエリアネットワーキング(Wi−Fi)を介して接続してもよい。提供される通信システムは、典型的には高対話型デジタル現実アプリケーションを実行するために必要なパラメータに準拠している約1〜約5ミリ秒のエンドツーエンド(E2E)レイテンシおよびその現場内のエンドポイントまでの1〜10Gbpsのダウンリンク速度を可能にしてもよい。これにより高品質、低レイテンシ、リアルタイムのデジタルアプリケーションコンテンツストリーミングが得られる。他の実施形態では、デジタル現実エコシステムは、第4世代無線システム通信(4G)を介して通信可能に接続してもよく、4G通信システムによってサポートされてもよく、あるいは他の有線もしくは無線通信システムを備えていてもよい。
ユーザ装置120としては、例えば、携帯電話、スマートフォン、スマートコンタクトレンズ、ヘッドアップディスプレイ、PDA(携帯情報端末)、ハンドヘルドゲーム装置、携帯型メディアプレーヤ、パーソナルコンピュータ、ゲームコンソール、メディアセンターまたはデジタル現実と対話するために特に設計された装置(例えば、VR/AR/MRメガネ、VR/AR/MRコンタクトレンズなど)などが挙げられる。
いくつかの実施形態では、デジタルコンテンツとのユーザの対話はジェスチャにより可能になってもよく、この場合、ユーザ114がユーザ装置120を介した対話のために1つ以上のジェスチャを用いる。例えばジェスチャはナチュラルユーザインタフェース(NUI)ジェスチャであってもよい。NUIは、ユーザ114がマウス、キーボード、遠隔制御などの入力装置によって課される人工拘束なしに装置と自然に対話するのを可能にする任意のインタフェース技術として定めてもよい。NUI方法の例としては、音声認識、タッチ認識、顔認識、スタイラス認識、エアジェスチャ(air gesture)(例えば、手のポーズや動きおよび他の体/手足の動き/ポーズ)、頭および視線追跡、発声および発話などの触覚型および非触覚型インタフェースなどのジェスチャを用いる方法ならびに例えば視覚、音声、声、ポーズおよび/またはタッチデータに関する機械学習が挙げられる。
図2は、一実施形態に係る、パーシステント仮想世界システムを介してデジタル現実アプリケーション116を開発、試験および実世界の中に展開するために使用し得るアプリケーション開発環境モジュール112を描写している。図2のいくつかの要素は図1の要素と同様である場合があり、従って、それらの要素を特定するために同様もしくは同一の符号が使用されている場合がある。アプリケーション開発環境モジュール112は、開発サブモジュール202、設定サブモジュール204および試験サブモジュール206を含む。
開発サブモジュール202は、1人以上のアプリケーション開発者208が1つ以上のデジタル現実アプリケーション116を開発するのを可能にするように構成されている。開発サブモジュール202は、1つ以上のデジタル現実アプリケーション116を作成するために、リアルタイム3Dゲームエンジンソフトウェア開発キット(SDK)などのアプリケーション開発ツール210を含む。設定サブモジュール204は、1人以上のアプリケーション開発者208がデジタル現実アプリケーション116の好適な展開のために必要な各種特徴を設定することができるように構成されている。設定サブモジュール204は、位置および空間設定212、時間設定214および標的ユーザパラメータ設定216を含んでもよい。
位置および空間設定212は、少なくとも1つのデジタル現実アプリケーション116の相対的3次元位置および縮尺調整を含む、少なくとも1つのデジタル現実アプリケーション116がエンドユーザに利用可能になり得る1つ以上の位置的もしくは地域的位置を定めることが可能になるように構成されている。従って、1つ以上のデジタル現実アプリケーション116は、ユーザが対話のためにそれらを見つけることができる実世界を表すパーシステント仮想世界システム上の1つ以上のデジタル現実アプリケーションレイヤーの上に位置決めされている。
いくつかの実施形態では、位置および空間設定212により1つ以上の位置的デジタル現実アプリケーションの位置および空間を指定することは、1つ以上の位置的デジタル現実アプリケーションをパーシステント仮想世界システムに存在している1つ以上の仮想レプリカにアタッチすることを含む。他の実施形態では、位置および空間設定212により1つ以上の位置的デジタル現実アプリケーションの位置および空間を指定することは、1つ以上のデジタル現実アプリケーションを特定の仮想レプリカにリンクされていないパーシステント仮想世界システムの空の位置にアタッチすることを含む。他の実施形態では、位置および空間設定212により1つ以上のデジタル現実アプリケーションサービスの領域を指定することは、1つ以上の地域的デジタル現実アプリケーションサービスを特定の仮想レプリカにリンクされていないパーシステント仮想世界システムの1つ以上の地理的領域にアタッチすることを含む。例えば設定サブモジュール204は、1つ以上の位置的デジタル現実アプリケーションを、パーシステント仮想世界システムに存在している1つ以上の仮想レプリカまたは特定の仮想レプリカにリンクされていないパーシステント仮想世界システムの空の位置にアタッチするか、あるいは1つ以上の地域的デジタル現実アプリケーションサービスを特定の仮想レプリカにリンクされていないパーシステント仮想世界システムの1つ以上の地理的領域にアタッチするように構成されていてもよい。
時間設定214は、デジタル現実アプリケーション116がユーザ114に利用可能になり得る異なる時間スロットを構成するのを可能にしてもよい。一実施形態では、時間設定214は、1つ以上のデジタル現実アプリケーション116が決定された間隔で自動的に更新または修正されるように構成するのを可能にしてもよい。別の実施形態では、時間設定214は、デジタル現実アプリケーション116が時間および日付に応じて様々な時点で無効にされるのを可能にしてもよい。さらなる実施形態では、位置および空間設定212は、デジタル現実アプリケーション116が特定の季節または所定の天候条件の間に構成されるのを可能にしてもよい。例えば時間設定214は、デジタル現実アプリケーション116が昼間、夜間、特定の時間もしくは特定の期間、夏もしくは冬の間または1日のうちの雨もしくは乾燥している時間の間のみ利用可能になり得ることを決定してもよい。標的ユーザパラメータ設定216は、アプリケーション開発者208がデジタル現実アプリケーション116へのアクセス権を指定するのを可能にしてもよい。例えば、アプリケーション開発者208は、人口統計学的パラメータ(例えば年齢または性別)などによって、ユーザの選択されたグループがデジタル現実アプリケーション116にアクセスできるようにしてもよい。他の実施形態では、標的ユーザパラメータ設定216は、ユーザ嗜好データ、一般的なビッグデータ条件、機械学習出力などの他のルールベース基準を利用してもよい。
いくつかの実施形態では、設定サブモジュール204は、1つ以上のデジタル現実アプリケーション116の適応的特性構成を可能にするようにさらに構成されていてもよい。適応的特性構成は、デジタル現実アプリケーション116が利用可能な設定に基づいて少なくとも1つのデジタル現実アプリケーション116の1つ以上の特性の構成を変更するのを可能にしてもよい。例えば、設定サブモジュール204の適応的構成は、その日の時間、照明条件、天候条件、交通条件などに基づいて1つ以上のデジタル現実アプリケーション116の色、輝度、陰影、サイズ、テキスト、音などを調整することができる。別の例では、適応的特性構成は、日中のデジタル現実アプリケーション116のグラフィック表示の輝度を高めて、晴天の日の間のデジタル現実アプリケーション116の可視性を高めることができ、かつ夜間の間の輝度を調整して下げることができる。
試験サブモジュール206は、アプリケーション開発者208が創出されたデジタル現実アプリケーション116を試験することができるように構成されている。試験サブモジュール206は、開発空間試験ツール218、最終位置仮想現実試験ツール220および最終位置拡張現実試験ツール222を含んでもよい。開発空間試験ツール218は、アプリケーション開発者104がデジタル現実アプリケーション116をパーシステント仮想世界システム内に位置決めすることなく開発空間においてアプリケーションを試験することができるようにするためのリソースシミュレータを備えていてもよい。従って、このシミュレータは、シミュレートされた入力をデジタル現実アプリケーション116に提供して、試験およびアプリケーション検証を可能にしてもよい。最終位置仮想現実(VR)試験ツール220は、仮想現実における仮想世界の最終的な位置的もしくは地域的位置でアプリケーション開発者208が1つ以上のデジタル現実アプリケーション116を試験することができるように構成されていてもよい。このシナリオでは、デジタル現実アプリケーション116を展開させることができる仮想化バージョンの領域および要素が試験のために必要とされ、これらは、例えば図1のサーバ102のパーシステント仮想世界システム108に既に格納されて計算されていてもよい。最終位置拡張現実(AR)試験ツール222は、アプリケーション開発者208が拡張現実における実世界の最終的な位置的もしくは地域的位置で1つ以上のデジタル現実アプリケーション116を試験することができるように構成されていてもよい。このシナリオでは、デジタル現実アプリケーション116を開発しているアプリケーション開発者208との対話に関与し得るデジタル現実アプリケーション116およびパーシステント仮想世界システム内の1つ以上の仮想レプリカは、試験のために現実の上にオーバーレイされていてもよい。デジタル現実アプリケーション116が所定のレベルの開発に達したら最終位置VRおよびAR試験ツール220および222を使用してもよく、故にこれはエンドユーザが1つ以上のデジタル現実アプリケーション116と対話し得る最終位置で試験するのに適している。
アプリケーション開発者208がデジタル現実アプリケーション116を開発した後、アプリケーション開発者208はデジタル現実アプリケーション116をアプリケーション管理環境モジュールと共有してもよい。
図3は、一実施形態に係る、デジタル現実アプリケーション116のコンプライアンス試験および展開のために使用することができるアプリケーション管理環境モジュール118の概略図を描写している。図3のいくつかの要素は図1〜2の要素と同様である場合があり、従って同様もしくは同一の符号がそれらの要素を特定するために使用されている場合がある。
アプリケーション管理環境モジュール118は、ネットワーク122を介してアプリケーション管理環境モジュール118をホストしている1つ以上のサーバ(例えば、図1のサーバ102)に好適なユーザ装置120を介して接続することによってアプリケーション管理者302によってアクセスされてもよい。アプリケーション管理環境モジュール118は、アプリケーション開発環境モジュールから共有される1つ以上のデジタル現実アプリケーション116、アプリケーション管理試験サブモジュール304、ルールベースアプリケーション評価サブモジュール306、アプリケーション展開サブモジュール308およびオンラインアプリケーションライブラリ310を含んでもよい。アプリケーション管理試験サブモジュール304は、アプリケーション管理者302が好適なユーザ装置120を介してデジタル現実アプリケーション116を試験するのを可能にしてもよい。行われる試験は、1つ以上の最終位置でデジタル現実アプリケーション116を試験すること、1日の異なる時間、季節または天候条件で試験すること、または異なる標的ユーザパラメータ設定を試すことなどの、アプリケーション開発環境モジュールにおいて既に構成されているデジタル現実アプリケーション116の異なるパラメータおよびオプションを試験することを含んでもよい。
アプリケーション管理試験サブモジュール304において行われる試験の際に、アプリケーション管理者302は、デジタル現実アプリケーション116が展開および試験展開のために適しているかを決定するために、ルールベースアプリケーション評価サブモジュール306を用いてもよい。ルールベースアプリケーション評価サブモジュール306の基となるルールは、特にコンテンツ、実および/または仮想位置および空間、時間および標的ユーザパラメータに関連していてもよい。例えばアプリケーション管理者302は、ルールベースアプリケーション評価サブモジュール306により、コンテンツの一部がこれらの承認/拒絶ルールに準拠しない場面を含んでいる場合があるという理由でデジタル現実アプリケーション116が展開および試験展開のために適し得ないことを決定してもよい。アプリケーション管理者302がデジタル現実アプリケーション116が展開および試験展開のために適していると決定した場合、アプリケーション管理者302はアプリケーション展開サブモジュール308を用いてデジタル現実アプリケーション116のオンラインアプリケーションライブラリ310の中への展開および試験展開を可能にしてもよい。オンラインアプリケーションライブラリ310は1つ以上のユーザ装置120上で実行され、ユーザ114がデジタル現実アプリケーション116を見つけてアクセスすることができるようにするための機能性を提供する。
アプリケーション管理者302によるデジタル現実アプリケーション116のアプリケーションライブラリ310の中への展開および試験展開後に、オンラインアプリケーションライブラリ310にログインした任意のエンドユーザ312は、エンドユーザ312がデジタル現実アプリケーション116から特定の距離に位置したら、デジタル現実アプリケーション116を見て、それにアクセスして対話することができるようにしてもよい。例えば、アプリケーションが実彫像の仮想レプリカにアタッチされるように展開された場合、実彫像に接近しているエンドユーザ312は、デジタル現実アプリケーション116がエンドユーザ312の視野または広視野内に位置すると、そのアプリケーションを見て対話することができるようにしてもよい。
本開示のアプリケーションライブラリ310は、パーシステント仮想世界システムの1つ以上の仮想のレイヤーまたは仮想世界レイヤーの上の1つ以上のデジタル現実アプリケーションレイヤーとみなしてもよく、ここでは、デジタル現実アプリケーションは拡張、仮想もしくは複合現実においてユーザによって見られてもよい。実世界の実物体の全てまたは大部分がパーシステント仮想世界システムの中にマップまたは仮想化されているので、パーシステント仮想世界システムの領域に位置しているユーザは、実世界が実および仮想物体の両方を見て対話することができるアプリケーションストアのようであると感じるかもしれない。
図4A〜4Bは、パーシステント仮想世界システムを介して1つ以上のデジタル現実アプリケーションを開発、試験および実世界の中へ展開するためのシステム400a〜bの概略図を描写しており、ここでは仮想世界システム108および実世界402は、1つ以上のデジタル現実アプリケーション116の展開を可能にする融合現実404の中にマージされている。図4A〜4Bのいくつかの要素は図1〜3の要素と同様である場合があり、同様もしくは同一の符号がそれらの要素を特定するために使用されている場合がある。
図4Aのシステム400aの例示では、ユーザ装置120を身に付けている2人のエンドユーザ406a〜bが実世界402の領域に立っている。ユーザ装置120を身に付けていない人から見れば、実世界402は例えば建物408、木410、飛行機412および2人のエンドユーザ406a〜bを含む。
パーシステント仮想世界システム108には3つのデジタル現実アプリケーション414a〜cが存在し、ここではデジタル現実アプリケーション414a〜bはパーシステント仮想世界システム108の空の領域に位置決めおよび展開されているが、デジタル現実アプリケーション414cは木の仮想レプリカ410aにアタッチされている。パーシステント仮想世界システム108では、エンドユーザ406a〜bは自身のそれぞれの仮想アバター416a〜bを有し、他の実物体(例えば、建物408、木410および飛行機412)もそれ自体の仮想レプリカ(例えば、建物の仮想レプリカ408a、木の仮想レプリカ410aおよび飛行機の仮想レプリカ412a)を有する。またパーシステント仮想世界システム108には、実世界からの物体を表わさない1つ以上の仮想レプリカ(例えば、仮想の鳥418および仮想の噴水420などの純粋に仮想の物体)が存在してもよい。
融合現実404は、実世界レイヤー422、実世界レイヤー422の上に構成された仮想世界レイヤー424、および仮想世界レイヤー424の上に構成された1つ以上のデジタル現実アプリケーションレイヤー426を含む。従って、デジタル現実アプリケーションをオンラインアプリケーションライブラリ(例えば、図3のオンラインアプリケーションライブラリ310)の中に展開させた場合、デジタル現実アプリケーションは1つ以上のデジタル現実アプリケーションレイヤー426の上に位置決めおよび展開される。
エンドユーザ406a〜bは、融合現実404(例えば、仮想現実または拡張現実)においてパーシステント仮想世界システム108と対話するために選択された実設定に応じて、1つ以上の実世界物体408〜412、それらのそれぞれの仮想レプリカ408〜412a、デジタル現実アプリケーション414a〜c、純粋に仮想の物体418〜420またはそれらの組み合わせのいずれかを見てもよい。ユーザ406a〜bは、1つ以上の仮想レプリカ408a〜412a、デジタル現実アプリケーション414a〜cおよび純粋に仮想の物体418〜420とさらに対話してもよい。例えば、エンドユーザが仮想現実において融合現実404を見る場合、エンドユーザはデジタル現実アプリケーション414a〜cを見てそれと対話してもよく、かつ利用可能な構成およびメディアコンテンツに応じて、仮想レプリカ408a〜412aおよび純粋に仮想の物体418〜420を見てそれと対話してもよい。別の例では、エンドユーザが拡張現実において融合現実404を見る場合、エンドユーザはデジタル現実アプリケーション414a〜cを見てそれと対話してもよく、実世界物体408〜412を見てもよく、かつ利用可能な構成およびメディアコンテンツに応じて、それらのそれぞれの仮想レプリカ408a〜412aおよび純粋に仮想の物体418〜420を見て対話してもよい。
本開示のいくつかの実施形態では、デジタル現実アプリケーションは、位置的デジタル現実アプリケーション、地域的デジタル現実アプリケーションサービスまたはそれらの組み合わせを指す。位置的デジタル現実アプリケーションは、3D位置および向きを含む1つ以上の所定かつ正確な3D世界位置の上にパーシステント仮想世界システム108を介して構成されており、かつ3D世界位置の複数のインスタンスを有することができる。地域的デジタル現実アプリケーションサービスは、1つ以上の位置的デジタル現実アプリケーションを包含する1つ以上の所定の地理的領域上で永続的に利用可能なアプリケーションサービスを指し、それらのサービスはそれらの領域内にいるかそれらに近接しているユーザに、1つ以上の位置的デジタル現実アプリケーションに関するそれぞれのアプリケーションサービスを提供することができる。位置的デジタル現実アプリケーションおよび地域的デジタル現実アプリケーションサービスは、1つ以上のデジタル現実アプリケーションレイヤー426の上に構成されている。
図4Bは、仮想世界システム108が仮想世界レイヤー424および1つ以上のデジタル現実アプリケーションレイヤー426を含むシステム400bの例示を描写している。仮想世界レイヤー424は、仮想レプリカ408a〜410aおよび純粋に仮想の物体418〜420などのパーシステント仮想世界システム108に含まれ得る仮想の要素のみを含む。他方、1つ以上のデジタル現実アプリケーションレイヤー420は、デジタル現実アプリケーション414a〜414cなどのパーシステント仮想世界システム108に含まれ得るアプリケーションのみを含む。
一実施形態によれば、仮想世界システム108における複数の仮想レプリカ(例えば、仮想レプリカ408a〜412a)、純粋に仮想の物体(例えば、純粋に仮想の物体418〜420)、および位置的デジタル現実アプリケーション、地域的デジタル現実アプリケーションサービスまたはそれらの組み合わせを含むデジタル現実アプリケーション(例えば、デジタル現実アプリケーション414a〜c)は、実物体(それらの仮想レプリカを介して)、デジタル現実アプリケーションおよび純粋に仮想の物体のそれぞれの正確な特性を含む仮想3Dインフラとみなしてもよい。従って、例えば仮想世界レイヤー424のこの仮想3Dインフラは、デジタル現実アプリケーション414a〜c、仮想レプリカ408a〜412aおよび純粋に仮想の物体418間の空間的構成、いくつかの行動ならびに計算的および論理的対話を可能にすることができる。いくつかの実施形態では、仮想3Dインフラにおける純粋に仮想の物体は、それらの仮想レプリカ、純粋に仮想の物体またはデジタル現実アプリケーションを通る実物体の経路を定めて境界を定めるのに役立ち得る仮想回廊をさらに含む。例えば図4Aを参照すると、実飛行機412(およびその上にアタッチされる任意のデジタル現実アプリケーション)は、所定の飛行経路を仮想回廊として保守点検させ、かつそのそれぞれの仮想レプリカ412aを介してアクセスおよび処理することができる。同様に自立的または手動で制御される任意の他の移動物体(例えば、飛行、運転、歩行など)は、仮想回廊または仮想3Dインフラサービスを使用して仮想世界システム108を介して実世界をナビゲート、処理および計算することができる。
一実施形態によれば、展開の間のアプリケーションの公開は、ユーザによる関与の間にパーシステントレイヤである1つ以上のデジタル現実アプリケーションレイヤー426の上で行われるが、1つ以上の位置的デジタル現実アプリケーションまたは地域的デジタル現実アプリケーションサービスは、特定のデジタル現実アプリケーションに関連する仮想レプリカおよび純粋に仮想の物体を含む仮想世界レイヤー426の全てまたは大部分の要素によりフィルタリングして処理することができる。例えば、ファストフードレストランのデジタル現実アプリケーションレイヤーは、全てのファストフードレストランをそれらのそれぞれの仮想レプリカによりフィルタリングしてユーザのために強調し、かつ各レストランの必要なデータをユーザに提供することができる。別の例では、デーティングアプリケーションレイヤーは、そのようなアプリケーションを使用している人々のみをユーザのためにフィルタリングし、ユーザのためにこれらの人々を強調し、かつユーザの背景、人格または好みに一致する見込みのある人をユーザに提供することができる。
図5は、ユーザ装置120の概略図を描写している。ユーザ装置120は、入力/出力(I/O)モジュール502、電源504、メモリ506、追跡モジュール512を形成するセンシング機構508および送受信機510、およびネットワークインタフェース514などの操作構成要素を備えていてもよく、それら全てがプロセッサ516に接続されている。
I/Oモジュール502はユーザと対話し、かつユーザ入力データを1つ以上の他のシステム構成要素に提供するように構成されたコンピューティングハードウェアおよびソフトウェアとして実装されている。例えば、I/Oモジュール502は、ユーザと対話し、その対話に基づいてユーザ入力データを生成し、かつこのユーザ入力データをネットワークを介してサーバなどの他の処理システムに転送する前にプロセッサ516に提供するように構成されていてもよい。別の例では、I/Oモジュール502は、他の接続された要素と対話するように構成された外部コンピューティングポインティングデバイス(例えば、タッチスクリーン、マウス、3D制御、ジョイスティック、ゲームパッドなど)および/またはテキスト入力装置(例えば、キーボード、ディクテーションツールなど)として実装されている。さらに他の実施形態では、I/Oモジュール502は、上に記載したものへのさらなる機能性、それより少ない機能性、またはそれとは異なる機能性を提供してもよい。
電源504は、電力をユーザ装置120に提供するように構成されたコンピューティングハードウェアおよびソフトウェアとして実装されている。一実施形態では、電源504は電池であってもよい。電源504は上記装置に内蔵されていても上記装置から取外し可能であってもよく、かつ充電式であっても非充電式であってもよい。一実施形態では、ある電源504を別の電源504と置き換えることによってユーザ装置120に電力を再供給してもよい。別の実施形態では、電源504は、パーソナルコンピュータに取り付けられるユニバーサル・シリアル・バス(「USB」)、ファイアワイヤ、イーサネット、サンダーボルト(Thunderbolt)またはヘッドホンケーブルなどの充電源に取り付けられるケーブルによって再充電してもよい。さらに別の実施形態では、電源504は電磁誘導充電によって再充電されてもよく、ここではエネルギを電磁誘導充電器から電源504に移動させるために電磁場が使用され(その2つを至極近接させた場合)、ケーブルを介して互いにプラグを差し込む必要はない。別の実施形態では、ドッキングステーションを使用して充電を容易にしてもよい。
メモリ506は、アプリケーションプログラム命令を格納し、かつセンシング機構によって取得されたマルチソース感覚データを格納するように構成されたコンピューティングハードウェアおよびソフトウェアとして実装されていてもよい。メモリ506は、ハードドライブ、メモリカード、フラッシュドライブ、ROM、RAM、DVDまたは他の光ディスクなどの電子装置の助けを借りて読み込むことができるデータを格納する非一時的コンピュータ可読媒体ならびに他の書込み可能および読取り専用メモリなどの、プロセッサ516によってアクセス可能な情報を格納することができる任意の好適な種類のものであってもよい。メモリ506はパーシステント記憶装置に加えて一時記憶装置を含んでもよい。
センシング機構508は、開発、管理またはエンドユーザのアプリケーションとの対話などにおいて、そのアプリケーションとの対話の間に使用することができるユーザからの感覚データを得るように構成されたコンピューティングハードウェアおよびソフトウェアとして実装されていてもよい。例えばセンシング機構508を使用して、ユーザ装置120および従ってユーザ装置120と対話する1つ以上の仮想レプリカおよびデジタル現実アプリケーションの位置および向きを決定/追跡してもよい。センシング機構は、特に1つ以上の慣性測定ユニット(IMU)、加速度計およびジャイロスコープを備えていてもよい。IMUは加速度計とジャイロスコープとの組み合わせを用いることによって、ユーザ装置120の速度、加速度、角運動量、並進速度、回転速度および他の遠隔測定メタデータを測定および報告するように構成されている。センシング機構508は、光センサ、触覚センサ、音声センサまたは拡張もしくは仮想現実体験をユーザに提供するために使用される他の好適なセンサを有するカメラをさらに備えてもよい。
送受信機510は、装置がアンテナから無線電波を受信し、かつデータをアンテナに送り戻すのを可能にするように構成されたコンピューティングソフトウェアおよびハードウェアとして実装されていてもよい。いくつかの実施形態では、mmW送受信機510を用いてもよく、これはイマーシブコンテンツと対話する場合に、アンテナからmmW波信号を受信し、かつデータをアンテナに送り戻すように構成されていてもよい。送受信機510は双方向通信送受信機510であってもよい。
一実施形態では、追跡モジュール512は、IMU、加速度計およびジャイロスコープの能力を送受信機510によって提供される位置追跡と組み合わせることによって実装されてもよく、かつmmWベースのアンテナによって提供される正確な追跡、低レイテンシおよび高QoS機能性は、サブセンチメートルまたはサブミリメートルでの位置および向きの追跡を可能にしてもよく、これによりユーザ装置120のリアルタイム位置および向きを追跡する際の正確性を高めてもよい。他の実施形態では、センシング機構および送受信機510は単一の追跡モジュール装置として互いに結合されていてもよい。
ネットワークインタフェース514は、ネットワークに通信可能に接続し、サーバまたは他の装置によって送信されるネットワークからのコンピュータ可読プログラム命令を受信し、かつプロセッサ516による実行のためにメモリ506に格納するための命令を転送するためのコンピューティングソフトウェアおよびハードウェアとして実装されていてもよい。
プロセッサ516は、命令を受信して処理するように構成されたコンピューティングハードウェアおよびソフトウェアとして実装されていてもよい。例えば、プロセッサ516は、イメージング要求を行い、イメージングデータを受信し、イメージングデータを処理して環境もしくは他のデータにし、ユーザ入力データおよび/またはイメージングデータを処理してユーザ対話データを生成し、エッジベース(オンデバイス)機械学習のトレーニングおよび推論を行い、サーバ要求を行い、サーバ応答を受信し、かつ/またはユーザ対話データ、環境データおよびコンテンツ物体データを1つ以上の他のシステム構成要素に提供するように構成されていてもよい。例えばプロセッサ516は、I/Oモジュール502からユーザ入力データを受信してもよく、かつメモリ506に格納されたアプリケーションプログラムをそれぞれ実行してもよい。他の例では、プロセッサ516は追跡モジュール512によりユーザ装置120の正確な位置および向きを受信してもよく、かつデータのうちのいくつかをさらなる処理のためにサーバに送信する前にこれらのデータを準備してもよい。オンデバイスプロセッサ516はサーバによって行われる処理タスクのうちのいくつかを共有してもよい。
いくつかの実施形態では、ユーザ装置120は、タッチセンサ式ディスプレイ、声および音声認識、意図および目標の理解、深度計測カメラ(例えば、立体カメラシステム、赤外線カメラシステム、カラーカメラシステムおよびそれらの組み合わせ)を用いるモーションジェスチャ検出、加速度計/ジャイロスコープを用いるモーションジェスチャ検出、顔認識、3Dディスプレイ、頭、目および視線追跡によるNUI対話を可能にしてもよく、これらを本開示のARもしくはVR体験を可能にするために使用してもよい。
いくつかの実施形態では、デジタル現実アプリケーションの開発、試験および展開を容易にするために、サーバコンピュータシステムは、本明細書に記載されている技術を用いて、1つ以上のデジタル現実アプリケーションおよび対応する実物体の少なくとも1つの仮想レプリカを含むパーシステント仮想世界システムであって、仮想レプリカの仮想3D世界座標および仮想特性は実物体の3D世界座標および特性に基づいているシステムを提供し、かつパーシステント仮想世界システムにアクセスしている少なくとも1つのユーザ装置からの入力を受信してもよい。少なくとも1つのユーザ装置は、ネットワークを介してサーバコンピュータシステムに接続されていてもよい。パーシステント仮想世界システムにより、1人以上のユーザが実世界レイヤー、実世界レイヤーの上に構成された仮想世界レイヤー、および仮想世界レイヤーの上に構成された1つ以上のデジタル現実アプリケーションレイヤーを含む融合現実において1つ以上のデジタル現実アプリケーションを見て対話することができる。
ユーザ装置から受信された入力は、デジタル現実アプリケーションの開発、試験または展開に関連していてもよい。この開発は、アプリケーション構成を設定すること、1つ以上のデジタル現実アプリケーションを開発空間において試験すること、および拡張および仮想現実の最終位置でさらなる試験を行うことを含んでもよい。この開発はメモリに格納されたアプリケーション開発環境モジュールにおいて行ってもよく、デジタル現実アプリケーションの管理はアプリケーション管理環境モジュールにおいて行ってもよい。
図6は、一実施形態に係る、パーシステント仮想世界システムを介して位置的デジタル現実アプリケーション、地域的デジタル現実アプリケーションサービスまたはそれらの組み合わせを含む1つ以上のデジタル現実アプリケーションを開発、試験および実世界の中に展開するための方法600を描写している。方法600は、図1〜5に開示されている本開示のシステムによって実行されるソフトウェアツールによって容易にしてもよい。
方法600は、アプリケーション開発者がデジタル現実アプリケーションを創出した時に工程602において開始してもよい。例えば図2を参照すると、デジタル現実アプリケーションの創出は、アプリケーション開発環境モジュール112の開発サブモジュール202を用いて達成してもよい。次いで工程604では、方法600はアプリケーション開発者がアプリケーション構成パラメータを設定した時に続行してもよい。例えば図2を参照すると、アプリケーション開発者は、アプリケーション開発環境モジュール112の設定サブモジュール204を用いてアプリケーション構成パラメータを設定してもよく、それにより位置、3D位置決めおよび縮尺調整を含む位置および空間設定212、時間設定214および標的ユーザパラメータ設定216を定めてもよい。
その後に工程606では、方法600は、例えば図2の試験サブモジュール206に含まれている開発空間試験ツール218などによって、アプリケーション開発空間においてデジタル現実アプリケーションを試験するアプリケーション開発者により続行してもよい。工程608では、アプリケーション開発者はデジタル現実アプリケーションのさらなる試験を行う。例えば図2を参照すると、さらなる試験は、試験サブモジュール206に含まれている仮想現実における仮想世界の最終的な位置的もしくは地域的位置で試験するための最終位置仮想現実試験ツール220および拡張現実における実世界の最終的な位置的もしくは地域的位置で試験するための最終位置拡張現実試験ツール222を用いてもよい。
工程610では、アプリケーション開発者は、例えば図3のアプリケーション管理環境モジュール118を介して、デジタル現実アプリケーションをアプリケーション管理者と共有する。次いで工程612では、アプリケーション管理者は、例えば、アプリケーション管理環境モジュール118のアプリケーション管理試験サブモジュール304によりコンプライアンス評価のためにデジタル現実アプリケーションを試験する。
チェック614では、アプリケーション管理者は、例えば、図3のルールベースアプリケーション評価サブモジュール306を用いることによってデジタル現実アプリケーションを承認するか拒絶するかを決定してもよい。図3に記載されているように、アプリケーション管理者は、図2に記載されているコンテンツ、位置および空間設定212、時間設定214および標的ユーザパラメータ設定216などの因子に関するルールを考慮に入れてデジタル現実アプリケーションを承認するか拒絶するかの決定を基にしてもよい。アプリケーション管理者がデジタル現実アプリケーションを拒絶する場合、アプリケーション管理者は工程616に示されているように、アプリケーション調整要求をアプリケーション開発者に送信してもよい。次いで工程618では、アプリケーション開発者は、調整要求(例えば、特にコンテンツ、位置設定、時間設定、および標的ユーザパラメータ設定の調整)に基づいてデジタル現実アプリケーションを調整することによって続行してもよい。次いで方法600は、工程606に戻ってもよく、これによりアプリケーション開発者は、アプリケーション開発空間においてアプリケーションを試験する。その後に方法600は、アプリケーション管理者の承認を得るまで続行してもよい。チェック614において、アプリケーション管理者がデジタル現実アプリケーションを承認することを決定した場合、アプリケーション管理者は工程620に示されているように、先に定められ、かつ承認されているコンテンツおよび構成に基づいてデジタル現実アプリケーションをオンラインアプリケーションライブラリ上で展開することによって続行してもよい。
特定の実施形態について説明し、かつ添付の図面に図示してきたが、当然のことながらそのような実施形態は広範な本開示の単に例示であってそれを限定するものではなく、様々な他の修正が当業者に思い付く場合があるため、本開示は図示および説明されている特定の構造および構成に限定されない。従って上記説明は、本開示を限定するものではなく例示とみなされるべきである。

Claims (20)

  1. デジタル現実アプリケーションの開発、試験および展開を容易にするためのシステムであって、前記システムは、
    メモリおよび少なくとも1つのプロセッサを備える少なくとも1つのサーバであって、前記メモリは1つ以上のデジタル現実アプリケーションおよび対応する実物体の少なくとも1つの仮想レプリカを含むパーシステント仮想世界システムを格納しており、前記仮想レプリカの仮想3D世界座標および仮想特性は前記実物体の3D世界座標および特性に基づいているサーバと、
    ネットワークを介して前記サーバに接続されており、かつ前記パーシステント仮想世界システムにアクセスするように構成されている少なくとも1つのユーザ装置と、
    を備え、
    前記パーシステント仮想世界システムは、1人以上のユーザが実世界レイヤー、前記実世界レイヤーの上に構成された仮想世界レイヤーおよび前記仮想世界レイヤーの上に構成された1つ以上のデジタル現実アプリケーションレイヤーを含む融合現実において前記1つ以上のデジタル現実アプリケーションを見て対話することができるように構成されている、システム。
  2. 前記メモリは、前記1つ以上のデジタル現実アプリケーションを開発するために前記パーシステント仮想世界システムへのアクセスを可能にするように構成されたアプリケーション開発環境モジュールと、1つ以上の開発されたデジタル現実アプリケーションを受信、管理および展開するために前記パーシステント仮想世界システムへのアクセスを可能にするように構成されたアプリケーション管理環境モジュールとをさらに格納する、請求項1に記載のシステム。
  3. 前記アプリケーション開発環境モジュールは、前記パーシステント仮想世界システムを介した仮想現実における仮想世界の最終的な位置的もしくは地域的位置、および前記パーシステント仮想世界システムを介した拡張現実における実世界の最終的な位置的もしくは地域的位置で、開発空間において前記1つ以上のデジタル現実アプリケーションを試験するように構成された試験サブモジュールをさらに備え、かつ前記アプリケーション管理環境モジュールは、前記アプリケーション開発環境モジュールにより開発されて試験展開された前記1つ以上のデジタル現実アプリケーションを試験するように構成されたアプリケーション管理試験サブモジュールをさらに含む、請求項2に記載のシステム。
  4. 前記アプリケーション開発環境モジュールは、前記パーシステント仮想世界システムに関する前記1つ以上のデジタル現実アプリケーションまたは1つ以上のデジタルアプリケーションレイヤーの位置的もしくは地域的位置および空間、時間および標的ユーザパラメータ設定を指定するように構成された設定サブモジュールをさらに含む、請求項2に記載のシステム。
  5. 前記設定サブモジュールは、前記1つ以上のデジタル現実アプリケーションの適応的特性構成を可能にするようにさらに構成されている、請求項4に記載のシステム。
  6. 前記設定サブモジュールは、1つ以上の位置的デジタル現実アプリケーションを、前記パーシステント仮想世界システムに存在している1つ以上の仮想レプリカまたは特定の仮想レプリカにリンクされていない前記パーシステント仮想世界システムの空の位置にアタッチするか、あるいは1つ以上の地域的デジタル現実アプリケーションサービスを特定の仮想レプリカにリンクされていない前記パーシステント仮想世界システムの1つ以上の地理的領域にアタッチするようにさらに構成されている、請求項4に記載のシステム。
  7. 前記システムは、前記少なくとも1つのユーザ装置の前記1つ以上のデジタル現実アプリケーションへの近接に基づいて前記1つ以上のデジタル現実アプリケーションを処理およびプロビジョニングするように構成されており、かつ前記プロビジョニングおよび処理はサーバベース、クライアントベースまたはそれらの組み合わせである、請求項1に記載のシステム。
  8. 前記サーバは、複数のデジタル現実アプリケーションのメディアコンテンツを前記1人以上のユーザの視野または広視野において計算および合成し、かつ前記計算および合成されたメディアコンテンツを前記複数のデジタル現実アプリケーションに近接している前記少なくとも1つのユーザ装置に伝送するように構成されている、請求項7に記載のシステム。
  9. 前記1つ以上のデジタル現実アプリケーションは、前記1つ以上のデジタル現実アプリケーションに関連する仮想レプリカおよび純粋に仮想の物体を含む前記仮想世界レイヤーの複数の要素をフィルタリングして処理するように構成されている、請求項1に記載のシステム。
  10. 前記パーシステント仮想世界システムは、互いとの間および対応する仮想レプリカを介した前記実世界レイヤーの要素との間での空間的構成、行動、計算的および論理的対話を可能にする1つ以上の仮想レプリカ、純粋に仮想の物体、仮想回廊、位置的デジタル現実アプリケーション、地域的デジタル現実アプリケーションサービスまたはそれらの組み合わせを含む仮想3Dインフラを備える、請求項1に記載のシステム。
  11. デジタル現実アプリケーションの開発、試験および展開を容易にするための方法であって、前記方法は、
    メモリおよび少なくとも1つのプロセッサを備える少なくとも1つのサーバによって、1つ以上のデジタル現実アプリケーションおよび対応する実物体の少なくとも1つの仮想レプリカを含むパーシステント仮想世界システムを提供することであって、前記仮想レプリカの仮想3D世界座標および仮想特性は前記実物体の3D世界座標および特性に基づいていることと、
    前記パーシステント仮想世界システムにアクセスしている少なくとも1つのユーザ装置からの入力を前記少なくとも1つのサーバによって受信することであって、前記少なくとも1つのユーザ装置はネットワークを介して前記少なくとも1つのサーバに接続されており、前記パーシステント仮想世界システムにより、1人以上のユーザが実世界レイヤー、前記実世界レイヤーの上に構成された仮想世界レイヤーおよび前記仮想世界レイヤーの上に構成された1つ以上のデジタル現実アプリケーションレイヤーを含む融合現実において前記1つ以上のデジタル現実アプリケーションを見て対話することができることと、
    を含む、方法。
  12. 前記入力は前記1つ以上のデジタル現実アプリケーションの開発に関連しており、かつ前記開発は、アプリケーション構成を設定すること、前記1つ以上のデジタル現実アプリケーションを開発空間において試験すること、および拡張および仮想現実の最終位置でさらなる試験を行うことを含む、請求項11に記載の方法。
  13. 前記入力は前記1つ以上のデジタル現実アプリケーションの開発に関連しており、かつ前記開発は、前記メモリに格納されたアプリケーション開発環境モジュールにおいて行い、かつ前記1つ以上のデジタル現実アプリケーションの管理はアプリケーション管理環境モジュールで行う、請求項11に記載の方法。
  14. 前記アプリケーション開発環境モジュールは、前記パーシステント仮想世界システムを介した仮想現実における仮想世界の最終的な位置的もしくは地域的位置、および前記パーシステント仮想世界システムを介した拡張現実における実世界の最終的な位置的もしくは地域的位置で開発空間において前記1つ以上のデジタル現実アプリケーションを試験するように構成された試験サブモジュールを含み、かつ前記アプリケーション管理環境モジュールは、前記アプリケーション開発環境モジュールにより開発されて試験展開された前記1つ以上のデジタル現実アプリケーションを試験するように構成されたアプリケーション管理試験サブモジュールをさらに含む、請求項13に記載の方法。
  15. 前記アプリケーション開発環境モジュールは、前記パーシステント仮想世界システムに関する前記1つ以上のデジタル現実アプリケーションまたは1つ以上のデジタルアプリケーションレイヤーの位置的もしくは地域的位置および空間、時間および標的ユーザパラメータ設定を指定するように構成された設定サブモジュールを含む、請求項13に記載の方法。
  16. 前記設定サブモジュールは、前記1つ以上のデジタル現実アプリケーションを前記パーシステント仮想世界システムに存在している1つ以上の仮想レプリカまたは特定の仮想レプリカにリンクされていない前記パーシステント仮想世界システムの空の位置にアタッチするか、あるいは1つ以上の地域的デジタル現実アプリケーションサービスを特定の仮想レプリカにリンクされていない前記パーシステント仮想世界システムの1つ以上の地理的領域にアタッチするように構成されている、請求項11に記載の方法。
  17. 前記1つ以上のデジタル現実アプリケーションを処理およびプロビジョニングすることをさらに含み、かつ前記処理およびプロビジョニングは、前記少なくとも1つのユーザ装置の前記1つ以上のデジタル現実アプリケーションへの近接に基づいており、かつ前記プロビジョニングおよび処理はサーバベース、クライアントベースまたはそれらの組み合わせである、請求項11に記載の方法。
  18. 前記少なくとも1つのユーザ装置が複数の位置的デジタル現実アプリケーションまたは地域的デジタル現実アプリケーションサービスに近接している場合に、
    前記複数の位置的デジタル現実アプリケーションまたは地域的デジタル現実アプリケーションサービスのメディアコンテンツを前記1人以上のユーザの視野または広視野において計算および合成することと、
    前記計算および合成されたメディアコンテンツを前記少なくとも1つのユーザ装置に伝送することと、
    をさらに含む、請求項17に記載の方法。
  19. 前記少なくとも1つのサーバは、以下の行動:
    前記1つ以上のデジタル現実アプリケーションをアプリケーション管理者と共有することと、
    コンプライアンスのために前記1つ以上のデジタル現実アプリケーションを前記アプリケーション管理者によって試験することと、
    前記1つ以上のデジタル現実アプリケーションを承認または拒絶することと、
    必要があれば、アプリケーション調整要求を前記アプリケーション開発者に送信することと、
    必要があれば前記1つ以上のデジタル現実アプリケーションを前記アプリケーション開発者によって調整することと、
    前記アプリケーション管理者によって前記アプリケーション管理環境モジュールからの前記1つ以上のデジタル現実アプリケーションをオンラインアプリケーションライブラリに展開することと、
    を容易にするためのソフトウェアツールを実行する、請求項11に記載の方法。
  20. メモリおよび少なくとも1つのプロセッサを備えるサーバコンピュータシステムにデジタル現実アプリケーションの開発、試験および展開を容易にするための方法を実行させるように構成された命令がその上に格納されている1つ以上の非一時的コンピュータ可読媒体であって、
    1つ以上のデジタル現実アプリケーションおよび対応する実物体の少なくとも1つの仮想レプリカを含むパーシステント仮想世界システムを提供する工程であって、前記仮想レプリカの仮想3D世界座標および仮想特性は前記実物体の3D世界座標および特性に基づいている工程と、
    前記パーシステント仮想世界システムにアクセスしている少なくとも1つのユーザ装置からの入力を受信する工程であって、前記少なくとも1つのユーザ装置はネットワークを介して前記少なくとも1つのサーバに接続されており、かつ前記パーシステント仮想世界システムにより、1人以上のユーザが実世界レイヤー、前記実世界レイヤーの上に構成された仮想世界レイヤーおよび前記仮想世界レイヤーの上に構成された1つ以上のデジタル現実アプリケーションレイヤーを含む融合現実において前記1つ以上のデジタル現実アプリケーションを見て対話することができる工程と、
    を含む、非一時的コンピュータ可読媒体。
JP2019096980A 2018-05-24 2019-05-23 仮想世界を介してデジタル現実アプリケーションを開発および試験して実世界の中に展開するためのシステムおよび方法 Active JP6944098B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862676072P 2018-05-24 2018-05-24
US62/676,072 2018-05-24

Publications (2)

Publication Number Publication Date
JP2020013550A true JP2020013550A (ja) 2020-01-23
JP6944098B2 JP6944098B2 (ja) 2021-10-06

Family

ID=66912511

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019096980A Active JP6944098B2 (ja) 2018-05-24 2019-05-23 仮想世界を介してデジタル現実アプリケーションを開発および試験して実世界の中に展開するためのシステムおよび方法

Country Status (5)

Country Link
US (1) US11307968B2 (ja)
EP (1) EP3572913A1 (ja)
JP (1) JP6944098B2 (ja)
KR (1) KR102236957B1 (ja)
CN (1) CN110531960B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022014487A (ja) * 2020-07-07 2022-01-20 プレティア・テクノロジーズ株式会社 映像処理システム及び映像処理方法
JP2022050323A (ja) * 2020-08-28 2022-03-30 ティーエムアールダブリュー ファウンデーション アイピー エスエーアールエル 仮想環境内でのアプリケーションの配信システム及び方法
JP7327851B1 (ja) 2022-11-09 2023-08-16 Tradfit株式会社 情報処理方法、プログラム及び情報処理装置

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116520989A (zh) 2018-05-24 2023-08-01 卡兰控股有限公司 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作
US20190378334A1 (en) * 2018-06-08 2019-12-12 Vulcan Inc. Augmented reality portal-based applications
US10996831B2 (en) 2018-06-29 2021-05-04 Vulcan Inc. Augmented reality cursors
US10929118B2 (en) * 2018-11-30 2021-02-23 International Business Machines Corporation Cognitive microcode simulation, planning, and risk assessment
FR3092416B1 (fr) * 2019-01-31 2022-02-25 Univ Grenoble Alpes Système et procédé d’interaction avec des robots dans des applications de réalité mixte
US11115468B2 (en) 2019-05-23 2021-09-07 The Calany Holding S. À R.L. Live management of real world via a persistent virtual world system
CN112100798A (zh) 2019-06-18 2020-12-18 明日基金知识产权控股有限公司 用于将现实世界元素的虚拟副本部署到持久性虚拟世界系统中的系统和方法
CN112102497A (zh) 2019-06-18 2020-12-18 明日基金知识产权控股有限公司 用于将应用和交互附接到静态对象的系统和方法
US11341727B2 (en) 2019-06-18 2022-05-24 The Calany Holding S. À R.L. Location-based platform for multiple 3D engines for delivering location-based 3D content to a user
US20200403935A1 (en) * 2019-06-18 2020-12-24 Tmrw Foundation Ip & Holding S. À R.L. Software engine virtualization and dynamic resource and task distribution across edge and cloud
US11202036B2 (en) 2019-06-18 2021-12-14 The Calany Holding S. À R.L. Merged reality system and method
US11546721B2 (en) 2019-06-18 2023-01-03 The Calany Holding S.À.R.L. Location-based application activation
CN112102498A (zh) 2019-06-18 2020-12-18 明日基金知识产权控股有限公司 用于将应用虚拟地附接到动态对象并实现与动态对象的交互的系统和方法
US11516296B2 (en) 2019-06-18 2022-11-29 THE CALANY Holding S.ÀR.L Location-based application stream activation
FR3104290B1 (fr) * 2019-12-05 2022-01-07 Airbus Defence & Space Sas Jumelles de visee de simulation, et systeme et procedes de simulation
CN111314417B (zh) * 2020-01-14 2023-04-28 网易(杭州)网络有限公司 应用数据处理的方法及装置、存储介质、处理器
CN111589107B (zh) * 2020-05-14 2023-04-28 北京代码乾坤科技有限公司 虚拟模型的行为预测方法和装置
US11366739B2 (en) * 2020-07-16 2022-06-21 T-Mobile Innovations Llc Pipeline for validation process and testing
CN112764943B (zh) * 2020-12-31 2021-09-28 橙色云互联网设计有限公司 信息处理方法、系统、电子设备和计算机可读存储介质
JP2024507749A (ja) 2021-02-08 2024-02-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるコンテンツ共有
JP2024506630A (ja) * 2021-02-08 2024-02-14 サイトフル コンピューターズ リミテッド 生産性のためのエクステンデッド・リアリティ
US11823344B2 (en) * 2021-05-07 2023-11-21 Msg Entertainment Group, Llc Mobile device tracking module within a VR simulation
US11673059B2 (en) * 2021-05-18 2023-06-13 Roblox Corporation Automatic presentation of suitable content
US11971814B2 (en) 2021-07-28 2024-04-30 International Business Machines Corporation Digital twin functional and non-functional simulation testing
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
KR102583073B1 (ko) * 2022-01-18 2023-09-25 정희용 메타버스 기반 시뮬레이션 시스템
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230334795A1 (en) 2022-01-25 2023-10-19 Multinarity Ltd Dual mode presentation of user interface elements
US20230367444A1 (en) * 2022-05-10 2023-11-16 Tmrw Foundation Ip S. À R.L. Layer-partitioned virtual world system
KR102559768B1 (ko) * 2022-07-27 2023-07-26 콩테크 주식회사 오브젝트와 앱 간의 연관도를 이용한 앱목록 인터페이스를 제공하는 방법, 이를 수행하는 서비스서버 및 컴퓨터-판독가능 매체
KR102559765B1 (ko) * 2022-07-27 2023-07-26 콩테크 주식회사 오브젝트 관련 앱목록 인터페이스를 제공하는 방법, 이를 수행하는 서비스서버 및 컴퓨터-판독가능 매체
CN117251059B (zh) * 2023-11-17 2024-01-30 天津市品茗科技有限公司 一种基于ar的三维全息互动系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014176017A (ja) * 2013-03-12 2014-09-22 Nippon Telegr & Teleph Corp <Ntt> 映像再生装置、映像配信装置、映像再生方法及び映像配信方法
JP2015502584A (ja) * 2011-10-05 2015-01-22 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 可搬装置、仮想現実システムおよび方法
WO2016017254A1 (ja) * 2014-08-01 2016-02-04 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP2016110245A (ja) * 2014-12-03 2016-06-20 株式会社T.J.Promotion 表示システム、表示方法、コンピュータプログラム、コンピュータが読み取り可能な記憶媒体
US20160379415A1 (en) * 2015-06-23 2016-12-29 Paofit Holdings Pte Ltd Systems and Methods for Generating 360 Degree Mixed Reality Environments
WO2017141391A1 (ja) * 2016-02-18 2017-08-24 ガンホー・オンライン・エンターテイメント株式会社 サーバー装置
WO2018074000A1 (ja) * 2016-10-20 2018-04-26 株式会社リアルアンリアル 位置情報ゲームのロケーション評価方法

Family Cites Families (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5883817A (en) 1996-07-08 1999-03-16 Trimble Navigation Limited Method and apparatus for precise positioning of large structures
US5956039A (en) 1997-07-25 1999-09-21 Platinum Technology Ip, Inc. System and method for increasing performance by efficient use of limited resources via incremental fetching, loading and unloading of data assets of three-dimensional worlds based on transient asset priorities
US6278479B1 (en) 1998-02-24 2001-08-21 Wilson, Hewitt & Associates, Inc. Dual reality system
EP1087323A1 (en) 1999-09-24 2001-03-28 Nokia Corporation A wireless system for interacting with a virtual space
US6556206B1 (en) 1999-12-09 2003-04-29 Siemens Corporate Research, Inc. Automated viewpoint selection for 3D scenes
US20060184886A1 (en) 1999-12-22 2006-08-17 Urbanpixel Inc. Spatial chat in a multiple browser environment
DE10127396A1 (de) 2000-06-13 2001-12-20 Volkswagen Ag Verfahren zum Verwerten eines Altfahrzeugs
US20060122917A1 (en) 2000-08-14 2006-06-08 Urbanpixel Inc Real-time collaborative commerce in a multiple browser environment
US7168051B2 (en) 2000-10-10 2007-01-23 Addnclick, Inc. System and method to configure and provide a network-enabled three-dimensional computing environment
US20020107679A1 (en) 2001-02-05 2002-08-08 Koninklijke Philips Electronics N. V. Virtual model generation via physical components
EP1366451A4 (en) 2001-02-07 2007-05-23 Universal City Studios Inc RESERVATION SYSTEM AND METHOD FOR LEISURE PARKS
US20030030658A1 (en) 2001-08-10 2003-02-13 Simon Gibbs System and method for mixed reality broadcast
US8909729B2 (en) 2001-11-20 2014-12-09 Portulim Foundation Llc System and method for sharing digital media content
WO2004018158A2 (en) 2002-08-21 2004-03-04 Neal Solomon Organizing groups of self-configurable mobile robotic agents
US7680694B2 (en) 2004-03-11 2010-03-16 American Express Travel Related Services Company, Inc. Method and apparatus for a user to shop online in a three dimensional virtual reality setting
US7529690B2 (en) 2004-05-22 2009-05-05 Altaf Hadi System and method for delivering real time remote buying, selling, meeting, and interacting in a virtual reality environment
DE102005011126A1 (de) 2005-03-10 2006-09-14 Siemens Ag Generierung virtueller Welten auf Basis einer realen Umgebung
CN100484726C (zh) 2006-05-12 2009-05-06 上海大学 基于虚拟现实机器人灵巧手遥操作平台
HUP0600879A2 (en) 2006-11-28 2008-06-30 Adam Dalnoki System and method for moving real objects through operations performed in a virtual environment
US20080263460A1 (en) 2007-04-20 2008-10-23 Utbk, Inc. Methods and Systems to Connect People for Virtual Meeting in Virtual Reality
US8909370B2 (en) 2007-05-08 2014-12-09 Massachusetts Institute Of Technology Interactive systems employing robotic companions
CN101360119A (zh) * 2007-08-01 2009-02-04 马利 一种虚拟世界接入系统
US9111285B2 (en) 2007-08-27 2015-08-18 Qurio Holdings, Inc. System and method for representing content, user presence and interaction within virtual world advertising environments
US20090106671A1 (en) * 2007-10-22 2009-04-23 Olson Donald E Digital multimedia sharing in virtual worlds
US20090244059A1 (en) 2008-03-26 2009-10-01 Kulkarni Gaurav N System and method for automatically generating virtual world environments based upon existing physical environments
JP5215740B2 (ja) 2008-06-09 2013-06-19 株式会社日立製作所 移動ロボットシステム
US20100131865A1 (en) 2008-11-24 2010-05-27 Disney Enterprises, Inc. Method and system for providing a multi-mode interactive experience
US20100131947A1 (en) 2008-11-24 2010-05-27 Disney Enterprises, Inc. System and method for enabling a local user of a real-life simulation environment to interact with a remote user of a corresponding virtual environment
DE102009039834A1 (de) 2009-09-03 2011-03-10 Deutsche Telekom Ag Automatisches Sprach-Chat-System in Mobilfunknetzen mit Ortsbezug
US8660670B2 (en) 2009-09-10 2014-02-25 Sam FREED Controller with artificial intelligence based on selection from episodic memory and corresponding methods
CN102120325B (zh) 2010-01-08 2012-12-12 哈尔滨理工大学 新型遥操作远端机器人控制平台及方法
US8564621B2 (en) 2010-08-11 2013-10-22 International Business Machines Corporation Replicating changes between corresponding objects
US8698843B2 (en) * 2010-11-02 2014-04-15 Google Inc. Range of focus in an augmented reality application
US9511291B2 (en) 2010-11-15 2016-12-06 Bally Gaming, Inc. System and method for enhanced augmented reality tracking
US9384587B2 (en) 2010-11-29 2016-07-05 Verizon Patent And Licensing Inc. Virtual event viewing
US9721386B1 (en) * 2010-12-27 2017-08-01 Amazon Technologies, Inc. Integrated augmented reality environment
US20130009994A1 (en) 2011-03-03 2013-01-10 Thomas Casey Hill Methods and apparatus to generate virtual-world environments
US10796494B2 (en) * 2011-06-06 2020-10-06 Microsoft Technology Licensing, Llc Adding attributes to virtual representations of real-world objects
EP2754127A4 (en) * 2011-08-04 2015-04-08 Playware Studios Asia Pte Ltd METHOD AND SYSTEM FOR HOSTING TRANSIENT VIRTUAL WORLDS THAT CAN BE CREATED, HOSTED AND COMPLETELY AND AUTOMATICALLY COMPLETED
CA2845730A1 (en) 2011-08-18 2013-02-21 Utherverse Digital, Inc. Systems and methods of virtual world interaction
US20140063061A1 (en) 2011-08-26 2014-03-06 Reincloud Corporation Determining a position of an item in a virtual augmented space
JP6110866B2 (ja) 2011-10-28 2017-04-05 マジック リープ, インコーポレイテッド 拡張現実および仮想現実のためのシステムおよび方法
WO2013104820A1 (en) 2012-01-09 2013-07-18 Nokia Corporation Method and apparatus for providing an architecture for delivering mixed reality content
US9281727B1 (en) 2012-11-01 2016-03-08 Amazon Technologies, Inc. User device-based control of system functionality
US20140214504A1 (en) 2013-01-31 2014-07-31 Sony Corporation Virtual meeting lobby for waiting for online event
US20140282220A1 (en) 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
US9264479B2 (en) 2013-12-30 2016-02-16 Daqri, Llc Offloading augmented reality processing
WO2015192117A1 (en) * 2014-06-14 2015-12-17 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US20170243403A1 (en) 2014-11-11 2017-08-24 Bent Image Lab, Llc Real-time shared augmented reality experience
US20160133230A1 (en) * 2014-11-11 2016-05-12 Bent Image Lab, Llc Real-time shared augmented reality experience
US9916002B2 (en) * 2014-11-16 2018-03-13 Eonite Perception Inc. Social applications for augmented reality technologies
US20160300392A1 (en) 2015-04-10 2016-10-13 VR Global, Inc. Systems, media, and methods for providing improved virtual reality tours and associated analytics
US10775878B2 (en) 2015-04-10 2020-09-15 Sony Interactive Entertainment Inc. Control of personal space content presented via head mounted display
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
JP6676286B2 (ja) 2015-05-12 2020-04-08 キヤノン株式会社 情報処理方法、および情報処理装置
US20160343168A1 (en) * 2015-05-20 2016-11-24 Daqri, Llc Virtual personification for augmented reality system
US10399225B2 (en) 2015-07-08 2019-09-03 Stephen Favis Biomimetic humanoid robotic model, control system, and simulation process
CN107735747B (zh) 2015-07-08 2022-02-01 索尼公司 信息处理设备、显示装置、信息处理方法及程序
GB2542434A (en) 2015-09-21 2017-03-22 Figment Productions Ltd A System for Providing a Virtual Reality Experience
FR3041804B1 (fr) 2015-09-24 2021-11-12 Dassault Aviat Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d'utilisateurs et procede associe
US9573062B1 (en) 2015-12-06 2017-02-21 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
US20170250930A1 (en) 2016-02-29 2017-08-31 Outbrain Inc. Interactive content recommendation personalization assistant
US10325610B2 (en) 2016-03-30 2019-06-18 Microsoft Technology Licensing, Llc Adaptive audio rendering
US20170289202A1 (en) 2016-03-31 2017-10-05 Microsoft Technology Licensing, Llc Interactive online music experience
US20170286572A1 (en) 2016-03-31 2017-10-05 General Electric Company Digital twin of twinned physical system
US20170358024A1 (en) 2016-06-13 2017-12-14 Wal-Mart Stores, Inc. Virtual reality shopping systems and methods
WO2018026959A1 (en) 2016-08-04 2018-02-08 Fairwayiq, Inc. System and method for managing and interacting with spectators at an activity venue
US20180047093A1 (en) 2016-08-09 2018-02-15 Wal-Mart Stores, Inc. Self-service virtual store system
US9942360B2 (en) * 2016-08-12 2018-04-10 Unity IPR ApS System and method for digital token exchange and delivery
KR101940720B1 (ko) 2016-08-19 2019-04-17 한국전자통신연구원 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법
WO2018039437A1 (en) 2016-08-24 2018-03-01 Wal-Mart Stores, Inc. Apparatus and method for providing a virtual shopping environment
US10877470B2 (en) 2017-01-26 2020-12-29 Honeywell International Inc. Integrated digital twin for an industrial facility
WO2018151908A1 (en) 2017-02-16 2018-08-23 Walmart Apollo, Llc Systems and methods for a virtual reality showroom with autonomous storage and retrieval
US10967255B2 (en) 2017-05-26 2021-04-06 Brandon Rosado Virtual reality system for facilitating participation in events
WO2018226621A1 (en) * 2017-06-05 2018-12-13 Umajin Inc. Methods and systems for an application system
US20190065028A1 (en) 2017-08-31 2019-02-28 Jedium Inc. Agent-based platform for the development of multi-user virtual reality environments
US20190102709A1 (en) 2017-10-03 2019-04-04 Invight, Inc. Systems and methods for coordinating venue systems and messaging control
US20190102494A1 (en) 2017-10-03 2019-04-04 Endurica, LLC System for tracking incremental damage accumulation
WO2019079826A1 (en) 2017-10-22 2019-04-25 Magical Technologies, Llc DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY
US10679412B2 (en) 2018-01-17 2020-06-09 Unchartedvr Inc. Virtual experience monitoring mechanism
US10565764B2 (en) * 2018-04-09 2020-02-18 At&T Intellectual Property I, L.P. Collaborative augmented reality system
CN116520989A (zh) 2018-05-24 2023-08-01 卡兰控股有限公司 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作
US11403822B2 (en) 2018-09-21 2022-08-02 Augmntr, Inc. System and methods for data transmission and rendering of virtual objects for display
US10867444B2 (en) 2018-11-29 2020-12-15 Adobe Inc. Synthetic data generation for training a machine learning model for dynamic object compositing in scenes
US20200210137A1 (en) 2018-12-27 2020-07-02 Facebook Technologies, Llc Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration
US10921878B2 (en) 2018-12-27 2021-02-16 Facebook, Inc. Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration
US11024074B2 (en) 2018-12-27 2021-06-01 Facebook Technologies, Llc Virtual spaces, mixed reality spaces, and combined mixed reality spaces for improved interaction and collaboration
US10748302B1 (en) 2019-05-02 2020-08-18 Apple Inc. Multiple user simultaneous localization and mapping (SLAM)

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015502584A (ja) * 2011-10-05 2015-01-22 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 可搬装置、仮想現実システムおよび方法
JP2014176017A (ja) * 2013-03-12 2014-09-22 Nippon Telegr & Teleph Corp <Ntt> 映像再生装置、映像配信装置、映像再生方法及び映像配信方法
WO2016017254A1 (ja) * 2014-08-01 2016-02-04 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP2016110245A (ja) * 2014-12-03 2016-06-20 株式会社T.J.Promotion 表示システム、表示方法、コンピュータプログラム、コンピュータが読み取り可能な記憶媒体
US20160379415A1 (en) * 2015-06-23 2016-12-29 Paofit Holdings Pte Ltd Systems and Methods for Generating 360 Degree Mixed Reality Environments
WO2017141391A1 (ja) * 2016-02-18 2017-08-24 ガンホー・オンライン・エンターテイメント株式会社 サーバー装置
WO2018074000A1 (ja) * 2016-10-20 2018-04-26 株式会社リアルアンリアル 位置情報ゲームのロケーション評価方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"「特集1 Eclipse/Subversion/Subclipse/Tracで[生産性を確実に上げる]チーム開発環境A to Z 第1章 Subver", WEB+DB PRESS, vol. 32, JPN6020045573, 25 May 2006 (2006-05-25), JP, pages 10 - 17, ISSN: 0004396036 *
JEFFREY RICHTER(外1名)著,藤原雄介訳, 「プログラミング WINDOWS RUNTIME」, vol. 初版, JPN6020045583, 9 June 2014 (2014-06-09), JP, pages 291 - 300, ISSN: 0004396039 *
MICHEAL LANHAM著,高橋憲一(外3名)訳, 「UNITYによるARゲーム開発 - 作りながら学ぶオーグメンテッドリアリティ入門」, vol. 初版, JPN6020045579, 1 September 2017 (2017-09-01), JP, pages 243 - 251, ISSN: 0004396038 *
橋本佳幸, 「IOS位置情報プログラミング IBEACON/GEOFENCE/NAVI/COREMOTION/M7の理解と実践」, vol. 第1版, JPN6020045577, 1 March 2014 (2014-03-01), JP, pages 82 - 94, ISSN: 0004396037 *
越智大介(外1名): "「リアルタイム全天球映像配信システム」", NTT技術ジャーナル, vol. 27, no. 4, JPN6018037825, 1 April 2015 (2015-04-01), JP, pages 51 - 54, ISSN: 0004547315 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022014487A (ja) * 2020-07-07 2022-01-20 プレティア・テクノロジーズ株式会社 映像処理システム及び映像処理方法
JP7212215B2 (ja) 2020-07-07 2023-01-25 プレティア・テクノロジーズ株式会社 映像処理システム及び映像処理方法
JP2022050323A (ja) * 2020-08-28 2022-03-30 ティーエムアールダブリュー ファウンデーション アイピー エスエーアールエル 仮想環境内でのアプリケーションの配信システム及び方法
JP7340281B2 (ja) 2020-08-28 2023-09-07 ティーエムアールダブリュー ファウンデーション アイピー エスエーアールエル 仮想環境内でのアプリケーションの配信システム及び方法
JP7327851B1 (ja) 2022-11-09 2023-08-16 Tradfit株式会社 情報処理方法、プログラム及び情報処理装置

Also Published As

Publication number Publication date
JP6944098B2 (ja) 2021-10-06
US20190361797A1 (en) 2019-11-28
CN110531960B (zh) 2023-02-28
CN110531960A (zh) 2019-12-03
EP3572913A1 (en) 2019-11-27
KR20190134512A (ko) 2019-12-04
US11307968B2 (en) 2022-04-19
KR102236957B1 (ko) 2021-04-08

Similar Documents

Publication Publication Date Title
JP6944098B2 (ja) 仮想世界を介してデジタル現実アプリケーションを開発および試験して実世界の中に展開するためのシステムおよび方法
US11196964B2 (en) Merged reality live event management system and method
KR20210086973A (ko) 협력적인 3d 맵 데이터 융합 플랫폼 및 그것의 가상 세계 시스템을 구현하는 시스템 및 방법
CN112102463B (zh) 通过位置虚拟化技术操作3d应用的系统和方法
US11341727B2 (en) Location-based platform for multiple 3D engines for delivering location-based 3D content to a user
CN112104595B (zh) 基于位置的应用流激活
US11546721B2 (en) Location-based application activation
US11270513B2 (en) System and method for attaching applications and interactions to static objects
US11471772B2 (en) System and method for deploying virtual replicas of real-world elements into a persistent virtual world system
US11455777B2 (en) System and method for virtually attaching applications to and enabling interactions with dynamic objects

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190930

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210806

R150 Certificate of patent or registration of utility model

Ref document number: 6944098

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150