JP2021111385A - 協調的３ｄマップデータ融合プラットフォーム及びその仮想世界システムを可能にするシステム及び方法 - Google Patents

Abstract

【課題】協調的３Ｄマップを生成する方法及びシステムを提供する。【解決手段】システムは、世界の場所の基本衛星マップを提供することと、基本衛星マップを参照して実世界の場所の詳細なリアルタイム仮想レプリカネットワーク（ＲＶＲＮ）を公開することと、クライアントデバイスのポーズ（例えば、位置及び向き）を取得することと、第１の座標空間の同時ローカライゼーション・マッピング（ＳＬＡＭ）プロセスを実行することと、を含む。ＳＬＡＭプロセスは、クライアントデバイスのイメージングデバイスからの画像データ、クライアントデバイスのポーズ及び／又は基本衛星マップのデータを用いて、第１の座標空間内の複数の特徴のポーズを判定する。さらに、第１の座標空間内の複数の特徴の三次元座標を備える新規マップを作成し、新規マップを公開されたＲＶＲＮとマージして融合３Ｄマップを作成する。【選択図】図７

Description

（単数又は複数の）関連出願に対する（単数又は複数の）相互参照
本出願は、参照により本明細書に組み込まれる２０１９年１２月３０日に出願された米国特許仮出願第６２／９５５２１６号の利益を主張するものである。

ロボット又は他のデバイスが未知環境のマップを構築しながら同時に前記環境での自身の現在位置を追跡し続けることを可能にするために、イメージングデバイス及び同時ローカライゼーション・マッピング（ＳＬＡＭ）技術の使用が当該技術分野で公知である。いくつかのＳＬＡＭ技術では、複数のイメージングデバイスからのデータを用いることがあり、該データは協調的ＳＬＡＭマップを生成するためにマージされる。

通常、複数のイメージングデバイスは、ＳＬＡＭマッピングを担うドローン又はロボットなどの専用モバイルプラットフォーム上に構成される。したがって、現在の協調技術は通常、未知領域のマッピングを一次タスクとして行う特定のデバイスでのみ可能となり、この技術は通常、一般のユーザデバイスでは可能とならないため、マッピングできる領域が少数のデバイスに制限される。加えて、マッピングの時点で複数のイメージングデバイスのうちの一部の位置及び向きが正確に分からない場合があり、作成されたマップの精度及び信頼性が落ちるため、複数のイメージングデバイスからのＳＬＡＭプロセスの精度は、現在の協調的ＳＬＡＭ技術の制限因子と考えられる。さらに、現在のＳＬＡＭマップは、通常、適用分野がナビゲーションに制限され、場合によっては、拡張現実体験を生み出すために生成されたマップの上にオブジェクトをさらにオーバーレイすることに制限され、ゆえに、他の適用分野は通常無視されている。

この概要は、発明の詳細な説明でさらに後述する簡略化された形態で概念の１つの選択を紹介するために提供される。この概要は、特許請求される主題の重要な特徴を特定することを意図しておらず、特許請求される主題の範囲を決定する助けとして用いられることも意図していない。

本開示は、一般に、コンピュータシステム及び方法に関し、より詳細には、更新可能な（例えば、継続的に更新される、断続的に更新される、定期的に更新されるように構成されるなど）協調的３Ｄマップデータ融合プラットフォーム及びその永続的仮想世界システムを可能にするシステム及び方法に関する。

背景技術で説明した１つ以上の欠点は、更新可能な協調的３Ｄマップデータ融合プラットフォーム及びその永続的仮想世界システムを可能にするシステム及び方法を通じて対処される。一態様では、本開示の方法は、少なくとも１つのプロセッサを備える１つ以上のサーバコンピュータのメモリ内に３Ｄマップデータ融合プラットフォームを提供するステップと、３Ｄマップデータ融合プラットフォーム内に世界の場所の基本衛星マップを提供するステップと、３Ｄマップデータ融合プラットフォームで、基本衛星マップを参照して（例えば、入手可能な場合、基本衛星マップの座標と位置合わせされる）実世界の場所の詳細なリアルタイム仮想レプリカネットワーク（ＲＶＲＮ）を公開するステップと、第１のクライアントデバイスのポーズ（例えば、位置及び向き）を取得するステップと、第１の座標空間の同時ローカライゼーション・マッピング（ＳＬＡＭ）プロセスを実行するステップとを含む。ＳＬＡＭプロセスは、第１のクライアントデバイスの少なくとも１つのイメージングデバイスからの画像データ、第１のクライアントデバイスのポーズ、及び／又は基本衛星マップのデータを用いて、第１の座標空間内の第１の複数の特徴のポーズを判定する。

一実施形態では、方法はさらに、第１の座標空間内の第１の複数の特徴の三次元座標を含む第１の新規マップを作成することと、第１の新規マップを公開されたＲＶＲＮとマージして融合３Ｄマップを作成することを含む。一実施形態では、第１の新規マップを作成することは、３Ｄマップデータ融合プラットフォームによる特徴マッチングアルゴリズムを通じて、マッピングされた第１の複数の特徴を公開された詳細なＲＶＲＮと比較することを含む。一実施形態では、比較するステップは、第１の座標空間の特徴の閾値数に達すると（例えば、特定の領域の所定のパーセンテージがマッピングされ、対応する特徴が取得されると）実行される。これは、取得した特徴が少なすぎて、比較を行うにはサンプルサイズが小さすぎる状況を回避するのに役立つ。

したがって、新たに作成されたマップは、公開された詳細なＲＶＲＮの一部として含まれる正確な３Ｄジオメトリと融合されるため、又は新たに作成されたマップは、公開された詳細なＲＶＲＮにさらなる３Ｄジオメトリ及び特徴を提供するため、融合３Ｄマップは、基本マップよりも高密度の詳細及び特徴を含み、拡張現実又は仮想現実などのいくつかの用途での使用をサポートすることができる。さらに、詳細に富むＲＶＲＮを作成するための参照として基本マップを使用し、新たに作成されたマップの特徴マッチングのための参照としてＲＶＲＮを使用すると、ＲＶＲＮに又は基本マップに既に含まれている領域及び／又は特徴を再マッピングする必要がないので、新規マップの作成中にいくらかの計算能力及び時間が節約され得る。

システムは、ＲＶＲＮが新たにマッピングされた特徴を既に含んでいるかどうかを判定するべく１つ以上のチェックを行うことができる。一実施形態では、公開された詳細なＲＶＲＮが新たにマッピングされた特徴を含んでいる場合、ＳＬＡＭプロセスは終了することができる。しかしながら、公開されたＲＶＲＮが新たにマッピングされた特徴を含んでいない場合、ＳＬＡＭプロセスは、第１の座標空間の第１の新規マップが作成されるまで続行することができる。

いくつかの実施形態では、方法はさらに、第２のクライアントデバイスのポーズ（例えば、位置及び向き）を取得し、次いで、第２の座標空間のＳＬＡＭプロセスを開始することを含む。一実施形態では、第２の座標空間のＳＬＡＭプロセスは、第２のクライアントデバイスの少なくとも１つのイメージングデバイスからの画像データ、第２のクライアントデバイスのポーズ、及び／又は融合３Ｄマップのデータを用いて、第２の座標空間内の第２の複数の特徴のポーズを判定する。一実施形態では、方法はさらに、第２の複数の特徴を備える第２の新規マップを作成することと、第２の新規マップを融合３Ｄマップとマージして協調的３Ｄマップを作成することを含む。

一実施形態では、第２の座標空間の十分な特徴がマッピングされると、方法は、３Ｄマップデータ融合プラットフォームによる特徴マッチングアルゴリズムを通じて、マッピングされた第２の複数の特徴を融合３Ｄマップと比較することに進む。融合３Ｄマップが新たにマッピングされた特徴を含んでいる場合、ＳＬＡＭプロセスは終了することができる。しかしながら、融合３Ｄマップが新たにマッピングされた特徴を含んでいない場合、ＳＬＡＭプロセスは、第２のマップが作成されるまで続行することができる。

さらに別の実施形態では、方法はまた、仮想レプリカ、純粋な仮想オブジェクト、アプリケーション、又はこれらの組み合わせを備える永続的仮想世界システムと協調的３Ｄマップを共有することを含み、新たにマッピングされたオブジェクトは、永続的仮想世界システムに（例えば、仮想レプリカとして）追加される。

いくつかの実施形態では、画像データは、第１及び第２のクライアントデバイスの両方から（例えば、同時に）受信される。このような実施形態では、方法は、第１及び第２のクライアントデバイスのポーズを取得することを含み得、これは、３Ｄマップデータ融合プラットフォーム内に基本衛星マップを提供し、１つ以上のＲＶＲＮを公開した後に行われ得る。方法は、第１及び第２のクライアントデバイスの少なくとも１つのイメージングデバイスから画像データを取り込むことを含む、第１及び第２の座標空間のＳＬＡＭプロセスを同時に行うことを含み得、前記ＳＬＡＭプロセスは、第１及び第２のクライアントデバイスのポーズを使用して第１及び第２の座標空間内の第１及び第２の複数の特徴のポーズを判定することによって行われる。方法は、特徴のマップを互いに比較及び照合するのに十分な特徴が抽出されているかどうかをチェックすることを含み得る。方法は、第１及び第２の複数の特徴が（例えば、正確に又は所定の程度まで）一致するかどうかを判定し、それらが一致する場合、特徴の第１のマップと特徴の第２のマップをマージすることを含み得、前記マージすることは、基本マップと位置合わせした状態で行われる。一実施形態では、方法は、組み合わされたマップをＲＶＲＮと比較及びマージして協調的３Ｄマップを生成することに進む。第１の複数の特徴と第２の複数の特徴が一致しない場合、方法は、特徴の第１及び第２のマップを別々にＲＶＲＮと比較及びマージして協調的３Ｄマップを生成することに進むことができる。

いくつかの実施形態では、公開されたＲＶＲＮは、コンピュータ支援製図（ＣＡＤ）モデリング技術を通じて作成される、又は１つ以上のコンピュータビジョンスキャニング法を通じてスキャンされる。例えば、少なくとも１つのサーバコンピュータのメモリは、仮想レプリカを入力及び編集するのに必要なデータ及び命令を格納できるＣＡＤソフトウェアであり得る、ユーザが実世界のエンティティの仮想レプリカをモデル化及び編集することを可能にするように構成されたソフトウェア、ハードウェア、及び／又はファームウェアを含み得る、仮想レプリカエディタを備え得る。仮想レプリカエディタは、各レプリカ及びシステム全体の形状、場所、位置及び向き、物理的特性、及び期待される機能及び影響を記述するデータ及び命令などの各デジタルレプリカに関連する明示的なデータ及び命令の入力を可能にし得る。

いくつかの実施形態では、ＳＬＡＭプロセスは、部分的にクライアントデバイスの１つ以上のプロセッサによって行われる。いくつかの実施形態では、クライアントデバイスは、モバイルデバイス、スマートコンタクトレンズ、ヘッドマウントディスプレイ、ラップトップ、デスクトップコンピュータ、カメラ、ドローン、及び車両のうちの１つ以上である。３Ｄマップデータ融合プラットフォームは、特徴比較及びマージアルゴリズムを通じて、新たに作成された第１のマップ及びＲＶＲＮに含まれるマップデータなどの、複数の特徴を含む複数のマップの融合を可能にし、融合３Ｄマップ、又は融合３Ｄマップと少なくとも第２のマップを形成する。さらに、３Ｄマップデータ融合プラットフォームは、複数のマップをマージするためにこのようなアルゴリズムを適用するべく複数のクライアントデバイスがマップデータを提供することを可能にし、プラットフォームが協調的３Ｄマップを生成するのに利用可能なデータポイントの数を増加させる。

さらなる実施形態では、方法は、第１又は第２のクライアントデバイスから識別子コードを取得することと、識別子コードを第１の新規マップ又は第２の新規マップと関連付けることと、識別子コードと関連付けられているマップを分散台帳に格納することを含む。識別され格納されたマップは、例えば、第１又は第２のクライアントデバイスによるマップ領域寄与に関連して報酬を提供することを含む報酬システムで用いられ得る。報酬システムは、分散台帳に格納されたスマートコントラクトのルールによって管理され得る。識別子コードは、例えば、ＱＲコード、ＵＲＬ、ＩＰアドレス、ＭＡＣアドレス、暗号学的ハッシュ、ＵＵＩＤ、又はＯＵＩであり得る。報酬は、例えば、暗号通貨、クーポン、１つ以上のアプリケーションのさらなるレベルへのアクセスなどであり得る。

いくつかの実施形態では、基本マップは、衛星画像を用いる衛星マッピング技術により得られる。いくつかの実施形態では、基本マップは、マップのプレーンバージョンを指し、例えば、領域内に多数の特徴及び詳細が含まれていないマップであり、このような特徴のいくつかの詳細は省略される場合もある。いくつかの実施形態では、基本マップは、衛星画像を用いる衛星マッピング技術により得られる。いくつかの実施形態では、基本マップは、領域の２Ｄマップである。例えば、基本マップは、ＯｐｅｎＳｔｒｅｅｔＭａｐ（商標）、Ｇｏｏｇｌｅ Ｍａｐｓ（商標）、又はＣｒｏｗｄＭａｐ（商標）によって提供されるマップであり得る。

いくつかの実施形態では、クライアントデバイスの位置及び向きは、全地球航法衛星システム（ＧＮＳＳ）、ミリ波ジオロケーション法、内部測位法、又はこれらの組み合わせを通じて得られる。

いくつかの実施形態では、方法はさらに、第１又は第２のクライアントデバイスを通じて、１つ以上の仮想オブジェクトを選択することと、第１又は第２のクライアントデバイスによって、仮想オブジェクトの位置合わせのための参照として融合３Ｄマップ又は協調的仮想世界システムを用いることによって、選択された仮想オブジェクトを１つ以上の場所の上にオーバーレイすることを含む。

いくつかの実施形態では、方法はさらに、ユーザごとの資格情報を画像データに追加することを含み、資格のあるユーザのみが、その場所の画像データを見るためのアクセス権を有する。

いくつかの実施形態では、方法はさらに、セルフコンピューティング能力及び自律行動を提供するために、永続的仮想世界システムの仮想オブジェクトの少なくともいくつかに、論理、仮想データ、及びモデルを追加することを含み、モデルは、３Ｄモデル、動的モデル、ジオメトリモデル、又は機械学習モデル、又はこれらの組み合わせのうちの１つ以上を含む。さらに別の実施形態では、永続的仮想世界システムは、製造作業、交通挙動、ユーティリティ、又はこれらの組み合わせの自律的又は半自律的管理のために採用される。

一実施形態では、更新可能な３Ｄ空間マップを可能にするシステムは、メモリと少なくとも１つのプロセッサとを備える少なくとも１つのサーバコンピュータを備え、メモリは３Ｄマップデータ融合プラットフォームを格納し、少なくとも１つのサーバコンピュータは、３Ｄマップデータ融合プラットフォーム内に世界の場所の基本衛星マップを提供し、３Ｄマップデータ融合プラットフォームで基本衛星マップを参照して実世界の場所のＲＶＲＮを公開し、第１のクライアントデバイスのポーズを取得し、第１のクライアントデバイスの少なくとも１つのイメージングデバイスからの画像データと第１のクライアントデバイスのポーズを用いて第１の座標空間内の第１の複数の特徴のポーズを判定する、第１の座標空間のＳＬＡＭプロセスを開始し、第１の座標空間内の第１の複数の特徴の三次元座標を含む第１の新規マップを作成し、３Ｄマップデータ融合プラットフォームによって、第１の座標空間内の第１の複数の特徴の三次元座標を含む第１の新規マップを公開されたＲＶＲＮとマージして融合３Ｄマップを作成するように構成される。

一実施形態では、第１の新規マップを作成することは、３Ｄマップデータ融合プラットフォームによる１つ以上の特徴マッチングアルゴリズムを通じて、第１の複数の特徴を公開されたＲＶＲＮと比較することを含む。比較するステップは、第１の座標空間の特徴の閾値数に達すると行われ得る。

いくつかの実施形態では、クライアントデバイスは、メモリと、少なくとも１つのプロセッサと、場所の画像データを取り込むように構成された少なくとも１つのイメージングデバイスと、クライアントデバイスの位置及び向きを提供する追跡システムを含む。

一実施形態によれば、３Ｄマップデータ融合プラットフォームは、少なくとも１つのプロセッサによって実行されるときに、ＳＬＡＭプロセスを開始するように少なくとも１つのプロセッサをトリガする命令を備える。

一実施形態では、少なくとも１つのサーバコンピュータはさらに、第２のクライアントデバイスの少なくとも１つのイメージングデバイスからの画像データと第２のクライアントデバイスのポーズを用いて第２の座標空間内の第２の複数の特徴のポーズを判定する第２の座標空間のＳＬＡＭプロセスを開始し、第２の複数の特徴を備える第２の新規マップを作成し、第２の新規マップを融合３Ｄマップとマージして協調的３Ｄマップを作成するように構成される。

一実施形態では、少なくとも１つのサーバコンピュータはさらに、第２の座標空間の十分な特徴がマッピングされると、３Ｄマップデータ融合プラットフォームによる特徴マッチングアルゴリズムを通じて、マッピングされた第２の複数の特徴を融合３Ｄマップと比較し、融合３Ｄマップが新たにマッピングされた特徴を含んでいる場合、ＳＬＡＭプロセスを終了し、融合３Ｄマップが新たにマッピングされた特徴を含んでいない場合、第２のマップが作成されるまでＳＬＡＭプロセスを続行するように構成される。

いくつかの実施形態では、システムはさらに、別の場所に第２のクライアントデバイス備え、３Ｄマップデータ融合プラットフォームは、少なくとも１つのプロセッサによって実行されるときに、第２のクライアントデバイスの少なくとも１つのイメージングデバイスからの画像データを取り込むことによって、第２のクライアントデバイスのポーズを用いて第２の座標空間内の第２の複数の特徴のポーズを判定することにより行われる第２の座標空間のＳＬＡＭプロセスを開始し、第２の座標空間の十分な特徴がマッピングされると、３Ｄマップデータ融合プラットフォームによる特徴マッチングアルゴリズムを通じて、マッピングされた第２の複数の特徴を融合３Ｄマップと比較し、融合３Ｄマップが新たにマッピングされた特徴を含んでいる場合、ＳＬＡＭプロセスを終了し、融合３Ｄマップが新たにマッピングされた特徴を含んでいない場合、第２のマップが作成されるまでＳＬＡＭプロセスを続行し、協調的３Ｄマップデータ融合プラットフォームによって、作成された第２の座標空間の第２のマップを融合３Ｄマップとマージして協調的３Ｄマップを作成するように少なくとも１つのプロセッサをトリガする命令をさらに備える。

一実施形態によれば、協調的３Ｄマップは、仮想レプリカ、純粋な仮想オブジェクト、アプリケーション、又はこれらの組み合わせを備える永続的仮想世界システムと共有され、新たにマッピングされたオブジェクトは、永続的仮想世界システムに（例えば、仮想レプリカとして）追加される。

一実施形態によれば、少なくとも１つのサーバコンピュータはさらに、第１又は第２のクライアントデバイスから識別子コードを取得し、識別子コードを第１の新規マップと関連付け、識別された第１の新規マップを分散台帳に実装されたスマートコントラクトに格納するように構成される。一実施形態では、識別され格納されたマップは、第１又は第２のクライアントデバイスによるマップ領域寄与に関連して報酬を提供することを含む報酬システムで用いられる。

一実施形態によれば、クライアントデバイスは、少なくとも１つのサーバコンピュータのメモリに格納された１つ以上の仮想オブジェクトを選択し、仮想オブジェクトの位置合わせのための参照として永続的仮想世界システムと共有される協調的３Ｄマップを用いることによって、選択された仮想オブジェクトを１つ以上の場所の上にオーバーレイするように構成される。

上記の概要は、本開示のすべての態様の網羅的なリストを含んでいるわけではない。本開示は、上記に要約した種々の態様のすべての適切な組み合わせから実施できるすべてのシステム及び方法、並びに、以下の発明を実施するための形態で開示され、特に本出願と共に提出される請求項で指摘されたシステム及び方法を含むと考えられる。このような組み合わせは、上記の概要に具体的に列挙していない特定の利点を有する。本開示の他の特徴及び利点は、添付の図面から及び以下に続く詳細な説明から明らかとなるであろう。

本発明の上記の態様及び付随する利点の多くは、添付の図面と併せて解釈すれば、以下の詳細な説明を参照して同じことがよりよく理解されるようになるので、より容易に理解されるであろう。

本開示の特定の特徴、態様、及び利点は、以下の説明と添付の図面からよりよく理解されるであろう。

一実施形態に係る、更新可能な協調的３Ｄマップデータ融合プラットフォーム及びその永続的仮想世界システムを可能にするシステムの略図である。 更新可能な協調的３Ｄマップデータ融合プラットフォーム及びその永続的仮想世界システムを可能にするシステムの別の実施形態の略図である。 更新可能な協調的３Ｄマップデータ融合プラットフォーム及びその永続的仮想世界システムを可能にするシステムのさらなる実施形態の略図である。 一実施形態に係る、２つ以上のクライアントデバイスによるＳＬＡＭスキャンと、サーバへのデータの流れの略図である。 一実施形態に係る、永続的仮想世界システムの線図である。 一実施形態に係る、永続的仮想世界システム、及びその３Ｄマップデータ融合プラットフォームとの関係性のさらなる線図である。 一実施形態に係る、更新可能な協調的３Ｄマップデータ融合プラットフォーム及びその永続的仮想世界システムを可能にする方法のブロック図である。 一実施形態に係る、更新可能な協調的３Ｄマップデータ融合プラットフォーム及びその永続的仮想世界システムを可能にする方法のさらなるステップのブロック図である。 一実施形態に係る、更新可能な協調的３Ｄマップデータ融合プラットフォーム及びその永続的仮想世界システムを可能にする、第１及び第２のクライアントデバイスから画像データを受信する方法のブロック図である。 一実施形態に係る、更新可能な協調的３Ｄマップデータ融合プラットフォーム及びその永続的仮想世界システムを可能にする方法のさらなるステップを示す方法のブロック図である。 一実施形態に係る、更新可能な協調的３Ｄマップデータ融合プラットフォーム及びその永続的仮想世界システムを可能にする方法のさらなるステップを示すブロック図である。

以下の説明では、種々の実施形態を例証として示す図面を参照する。また、いくつかの例を参照することによって種々の実施形態を以下に説明する。実施形態は、特許請求される主題の範囲から逸脱することなく設計及び構造の変更を含み得ることを理解されたい。

背景技術で説明した１つ以上の欠点は、更新可能な協調的３Ｄマップデータ融合プラットフォーム及びその永続的仮想世界システムを可能にするシステム及び方法を通じて対処される。このシステム及び方法は、複数のイメージングデバイスによって取り込まれた少なくとも１つの座標空間の画像を取り込む及び解析するためにコンピュータビジョン技術を採用することができる。データを取り込んで同時ローカライゼーション・マッピング（ＳＬＡＭ）プロセスを実行するイメージングデバイスを備えるクライアントデバイスの正確な測位及び追跡と、事後分析技術を通じて、特徴を抽出し、座標空間内の１つ以上のオブジェクトに関連付けることができる。分析された特徴データは、３Ｄマップデータ融合プラットフォームで利用可能な基本衛星マップを考慮して、３Ｄマップデータ融合プラットフォームで公開された座標空間内に配置される複数の仮想レプリカを備えるリアルタイム仮想レプリカネットワーク（ＲＶＲＮ）と比較され得る。前記比較は、イメージングデバイスがデータの取り込みとＳＬＡＭプロセスの実行を続けるべきであるかどうかを判定するために行われる。ＲＶＲＮがマッピングされた特徴を含んでいないため又は前記オブジェクトの仮想レプリカが利用できないためにさらにマップデータが必要とされる場合、システム及び方法は、ＳＬＡＭマップを終了することができ、次いで、新たに作成されたマップを公開されたＲＶＲＮとマージすることができる。

同様の論理に従って、他のクライアントデバイスからの画像データを融合３Ｄマップとさらに比較することができ、融合３Ｄマップにまだ含まれていないとき、それとマージして、複数のソースから画像データ入力を受け入れることができる協調的３Ｄマップを作成することができる。この協調的３Ｄマップは、仮想レプリカ、純粋な仮想オブジェクト、及びアプリケーションを含む仮想オブジェクトを備える永続的仮想世界システムとさらに共有することができる。協調的３Ｄマップによって共有されるデータは、永続的仮想世界システムに仮想レプリカの一部として追加することができる。加えて、複数のアプリケーションで用いるために他のデータ及びモデルを仮想レプリカに追加することができる。

図１は、一実施形態に係る、永続的仮想世界システムに接続された更新可能な協調的３Ｄマップデータ融合プラットフォームを可能にするシステム１００の略図である。

システム１００は、実世界からデータ１０４を取り込み、該データ１０４を、ネットワーク１０８を介して少なくとも１つのサーバコンピュータ１０６に送信する、複数のクライアントデバイス１０２を備える。クライアントデバイス１０２の例として、監視カメラ１０２ａ、ラップトップコンピュータ１０２ｂ、ロボット１０２ｃ、ドローン１０２ｄ、スマートグラス１０２ｅ、自律車両１０２ｆ、スマートコンタクトレンズ１０２ｇ、及び移動電話１０２ｈが図１に示されているが、他のタイプのクライアントデバイス１０２も、少なくとも１つのサーバコンピュータ１０６にデータ１０４を提供するのに用いられ得る。データ１０４は、第１の複数の特徴を備える少なくとも１つの座標空間（例えば、１つ以上の場所）の画像データ１１０と、画像データ１１０を取り込むクライアントデバイス１０２のポーズデータ１１２（例えば、位置及び向き）を含む。例えば、ドローン１０２ｄなどの第１のクライアントデバイスは、第１の複数の特徴を備える少なくとも１つの第１の座標空間の画像データ１１０を取り込むことができ、移動電話１０２ｈなどの第２のクライアントデバイスは、少なくとも第２の複数の特徴を備える第２の座標空間の画像データ１１０を取り込むことができる。少なくとも１つのサーバコンピュータ１０６によって受信されたデータ１０４は、永続的仮想世界システム１２０に接続している、メモリに格納された３Ｄマップデータ融合プラットフォーム１１４に送信される。

システム１００は、（例えば、複数の対応するアプリケーション・プログラミング・インターフェース（ＡＰＩ）を通じて）３Ｄマップデータ融合プラットフォーム１１４に接続する１つ以上のパブリック又はプライベートの世界マップ、地域マップ、又は局所マップの衛星画像を用いるマッピング技術によって得られる基本衛星マップ１１６のデータを受信する。基本衛星マップ１１６は、マップのプレーンバージョンを指し、例えば、領域内に多数の特徴及び詳細が含まれていないマップであり、このような特徴のいくつかの詳細は省略される場合もある。いくつかの実施形態では、基本衛星マップは２Ｄマップである。他の実施形態では、基本衛星マップは基本３Ｄマップである。例えば、基本マップは、ＯｐｅｎＳｔｒｅｅｔＭａｐ（商標）、Ｇｏｏｇｌｅ Ｍａｐｓ（商標）、又はＣｒｏｗｄＭａｐ（商標）によって提供されるマップであり得る。

永続的仮想世界システム１２０は、リアルタイム３Ｄ仮想レプリカネットワーク（ＲＶＲＮ１１８）に関するデータを受信する。ＲＶＲＮ１１８は、実世界オブジェクトの複数の仮想レプリカを備えることができる。仮想レプリカは、例えば、建物の所有者又は州の機関によって公開され得る。いくつかの実施形態では、公開される仮想レプリカは、コンピュータ支援製図（ＣＡＤ）モデリング技術を通じて作成される、又は１つ以上のコンピュータビジョンスキャニング法を通じてスキャンされる。例えば、少なくとも１つのサーバコンピュータ１０６のメモリは、仮想レプリカを入力及び編集するのに必要なデータ及び命令を格納することができるＣＡＤソフトウェアであり得る、ユーザが実世界のエンティティの仮想レプリカをモデル化及び編集することを可能にするように構成されたソフトウェア及びハードウェアを含み得る、仮想レプリカエディタを備えることができる。仮想レプリカエディタは、各レプリカ及びシステム全体の形状、場所、位置及び向き、物理的特性、及び期待される機能及び影響を記述するデータ及び命令などの、各仮想レプリカに関連する明示的なデータ及び命令の入力を可能にし得る。明示的なデータ及び命令により実世界のエンティティを仮想レプリカに変換し、それらを永続的仮想世界システムで利用できるようにするためのモデリング技術は、実世界のエンティティの容易に入手可能なＣＡＤモデルに基づくことができる。コンピュータビジョンスキャニング法は、例えば、合成開口レーダ、実開口レーダ、光検出・測距（ＬＩＤＡＲ）、逆開口レーダ、モノパルスレーダ、及び他のタイプのイメージング技術の使用を含み、実世界のエンティティを、永続的仮想世界システムに統合する前にマッピング及びモデル化するのに用いられ得る。

３Ｄマップデータ融合プラットフォーム１１４は、クライアントデバイス１０２からデータ１０４を受信すると、第１の座標空間の同時ローカライゼーション・マッピング（ＳＬＡＭ）プロセスを開始することに進み、前記ＳＬＡＭプロセスは、第１のクライアントデバイスのポーズ、又は基本衛星マップ１０８のデータ、又はこれらの組み合わせを用いて、画像データ１１０から検索される第１の座標空間内の第１の複数の特徴のポーズを判定することによって行われる。本明細書で用いられる場合の「ポーズ」という用語は、単独で、或いはデバイス又は特徴の位置などの他のデータと組み合わせて、デバイス又は特徴の向きを指す。

第１の座標空間の十分な特徴がマッピングされると、３Ｄマップデータ融合プラットフォーム１１４は、特徴マッチングアルゴリズムを通じて、１つ以上の座標空間のＲＶＲＮ１１８を新たに入力された画像データ１１０から抽出された特徴と比較する。公開されたＲＶＲＮ１１８が、画像データ１１０及び対応する特徴ポーズデータに特徴を含んでいない場合、３Ｄマップデータ融合プラットフォーム１１４は、第１のクライアントデバイスのポーズに関して、複数の特徴の第１の新規マップを作成することに進み、次いで、少なくとも１つの第１の複数の特徴の三次元座標を含む第１の新規マップを基本マップと位置合わせした状態でＲＶＲＮ１１８とマージして融合３Ｄマップを作成することに進む。

同様のプロセスを、他のクライアントデバイスによって取り込まれた他の特徴からの画像データ１１０に適用することができる。したがって、例えば、３Ｄマップデータ融合プラットフォーム１１４は、第２のクライアントデバイスのポーズデータ１１２を受信し、次いで、前記ポーズデータを用いて第２の座標空間内の第２の複数の特徴のポーズを判定する、第２の座標空間のＳＬＡＭプロセスを実行することに進む。第２の座標空間の十分な特徴がマッピングされると、３Ｄマップデータ融合プラットフォーム１１４は、特徴マッチングアルゴリズムを通じて、融合３Ｄマップを新たに入力された画像データと比較する。融合３Ｄマップが三次元座標を含む画像データ１１０を含んでいない場合、３Ｄマップデータ融合プラットフォーム１１４は、第２の複数の特徴の第２の新規マップが作成されるまでＳＬＡＭプロセスを続行することに進む。最後に、３Ｄマップデータ融合プラットフォーム１１４は、第２の新規マップを融合３Ｄマップとマージして協調的３Ｄマップを作成することに進む。

本開示において、座標空間との関連での「特徴」又は「画像特徴」という用語は、画像コンテンツの情報を提供する座標空間内の関心点を指す。このような特徴は、環境内のオブジェクトを記述し得る、画像又は派生した特徴と関連付けられ得る、任意の適切な手段（例えば、ベジェ曲線又は代数多様体）によって記述される点、線分、及び／又は表面を含み得る。例えば、複数の特徴は、道、公共空間（例えば、公園又は公共広場）、地形、及び建物の１つ以上の画像から抽出され得る。特徴は、一緒に結合されると、画像内に複数のオブジェクトを備える座標空間のマップを形成することができる。他の実施形態では、特徴はさらに、屋内の場所内のオブジェクトなどの屋内の関心点に含まれ得る。特徴は、画像又はマップデータの認識、マッチング、再構築などのために３Ｄマップデータ融合プラットフォーム１１４によって行われる画像解析及び処理に用いられる多くのアプリケーションでの基礎となる。

いくつかの実施形態では、画像データ１１０は、１つ以上のクライアントデバイス１０２によって送信されるフレームのストリームに含まれ得る。クライアントデバイス１０２の１つ以上のイメージングデバイスによって記録される画像と、フレームに含まれる画像データ１１０に３Ｄマップデータ融合プラットフォーム１１４によって少なくとも部分的に行われるＳＬＡＭ技術を通じて、クライアントデバイス１０２の移動と複数の特徴のポーズを判定することができる。いくつかの実施形態では、ＳＬＡＭプロセス中に、フレームのうちの少なくともいくつかは、随意的にキーフレームとして保持することができる。例えば、該当する座標空間のマッピングが不十分である又はマッピングされていない部分を示すフレームから新規キーフレームを選択することができる。いくつかの例では、座標空間のマッピングが不十分である又はマッピングされていない部分をキーフレームが示していると判断する１つの方法は、ＲＶＲＮ１１８又は融合３Ｄマップ内に一致する対応がない特徴などの、多くの新規特徴が現れるときである。

次いで、いくつかの実施形態では、協調的３Ｄマップは、同じく少なくとも１つのサーバコンピュータ１０６のメモリに格納されている永続的仮想世界システム１２０と共有することができる。永続的仮想世界システム１２０は、実世界の仮想バージョンを指し、実世界のすべて又はほとんどのオブジェクトは、対応する仮想レプリカとして表され、純粋な仮想オブジェクト及びアプリケーションなどの他のオブジェクトも追加及び構成され得る。永続的仮想世界システム１２０は、実世界の正確なバージョンを表し得る。永続的仮想世界システム１２０は、実世界オブジェクトの位置、向き、スケール、及び寸法などの実世界の座標、物理的特性、及びリアルタイム３Ｄ仮想レプリカの形態の実オブジェクトのそれぞれの３Ｄ構造を含む。

本開示において、「永続的な」という用語は、プロセス又はネットワーク接続を継続的に行わなくても存在し続けることができるシステムの状態を特徴付けるのに用いられる。例えば、「永続的な」という用語は、仮想世界システムと、その中に含まれる仮想レプリカ、純粋な仮想オブジェクト、及びアプリケーションのすべてが、仮想レプリカ、純粋な仮想オブジェクト、及びアプリケーションを作成するために用いられるプロセスが停止した後に存在し続け、仮想世界システムに接続しているユーザから独立している、仮想世界システムを特徴付けるのに用いられる場合がある。したがって、仮想世界システムは、不揮発性ストレージの場所に（例えば、サーバに）保存される。このようにして、仮想レプリカ、純粋な仮想オブジェクト、及びアプリケーションは、ユーザがサーバに接続していなくても特定の目標を達成するように構成されているときに、相互に対話及び協働することができる。

いくつかの実施形態では、システム１００は、すべてネットワークを通じて接続することができる、パブリック又はプライベートのクラウドサーバ、フォグサーバ、及び企業システム、モバイルプラットフォーム、及びユーザデバイスなどのエッジデバイス及びシステムを使用する分散型コンピューティング機能を実装し得るクラウド・ツー・エッジインフラストラクチャを用いることができる。クラウド・ツー・エッジコンピューティングネットワークを用いると、計算能力、コンピュータ・インフラストラクチャ（例えば、所謂サービスとしてのインフラストラクチャ、すなわちＩａａＳを通じて）、アプリケーション、及びビジネスプロセスへのアクセスを、オンデマンドでクライアントデバイスを介してユーザにサービスとして送達することができる。このように、物理サーバ及びネットワーク機器を含むリソースは、ユーザとリソース及びネットワークとの距離などの因子並びにユーザからの計算要求に応じて動的に割り当てられ得る共有のストレージ及びコンピューティングを可能にする。いくつかの実施形態では、クラウド・ツー・エッジインフラストラクチャは、３Ｄマップデータ融合プラットフォーム１１４と永続的仮想世界システム１２０を共有展開で広く分散させるために必要なデータの転送及び格納を容易にする分散台帳ベースのインフラストラクチャをさらに含む。

いくつかの実施形態では、ハードウェア及びネットワークの需要を低減し、ネットワーク待ち時間の減少に寄与し、一般的なマージドリアリティ体験を改善するために、システムは、ミリ波（ｍｍＷ）、又はミリ波と第５世代無線システム通信（５Ｇ）などのサブ６ＧＨｚ通信システムの組み合わせを含むネットワーク１０８を通じて接続することができる。他の実施形態では、システムは、６０ＧＨｚでデータを提供するワイヤレスローカルエリアネットワーキング（Ｗｉ−Ｆｉ）を通じて接続することができる。提供される通信システムは、低い待ち時間と、フィールド内のエンドポイントへの高Ｇｂｐｓのダウンリンク速度を可能にし、通常は高度にインタラクティブなデジタル現実アプリケーション又は他の非常に要求の厳しいアプリケーションを実行するのに必要なパラメータと適合する。これにより、高品質の、低い待ち時間の、リアルタイムのデジタルアプリケーションコンテンツのストリーミングが得られる。他の実施形態では、システムは、４Ｇ通信システムによってサポートされ得る第４世代無線システム通信（４Ｇ）を通じて通信可能に接続することができ、或いは、他の有線又は無線通信システムを含み得る。

いくつかのセルラーネットワークの実施形態では、極高周波帯域とも呼ばれるミリ波帯域が採用される。ミリ波帯域は３０〜３００ＧＨｚであるが、約１０〜３００ＧＨｚの隣接する超高周波も、ミリ波と同様に伝搬するため、ミリ波帯域に含まれる。ミリ波ベースのアンテナ又はミリ波ベースのアンテナとサブＧＨｚアンテナシステムとの組み合わせは、ミリ波の極高周波のために、反射率が高く、壁又は他の固体オブジェクトによって容易に遮られ、樹木の葉を通過する際に又は厳しい気象条件の中で顕著に減衰することがある。したがって、セルラーネットワークアンテナは、グリッドパターンで配置された小型のミリ波トランシーバを備えている場合があり、これは、送信電力を増加させることなく集合エネルギーを増大させ、利得を増加させ、電力損失を減少させる一助となる。ビームをいくつかのデバイスで同時に分離するか又は多数のデータストリームを単一のデバイスに送信するために、多重入力、多重出力、つまりＭＩＭＯなどの当該技術分野では公知の技術を用いることができ、これにより、サービス品質（ＱＯＳ）が高まる。加えて、アンテナは、ミリ波の正確な伝搬を保証するために約１００メートルから約２ｋｍの間の比較的小さい領域をカバーし得る。

一実施形態によれば、クライアントデバイス１０２の追跡は、到来予定時刻（ＴＯＡ）、到来角（ＡＯＡ）／放射角（ＡＯＤ）、及び視覚画像化技術（例えば、クライアントデバイス１０２の近くの領域に配置されたイメージングデバイスによる）のうちの１つ以上によって行われる。追跡は、レーダ技術、アンテナ、Ｗｉ−Ｆｉ、慣性計測装置、ジャイロスコープ、及び加速度計のうちの１つ以上によって行われ得る。

いくつかの実施形態では、ミリ波アンテナの平方メートルあたりの密度が他のシステムよりも高いため、クライアントデバイスのより近くに配置されるアンテナの可用性がより高くなり、結果的にアンテナから送信器への、またその逆への、信号間の到来時間が短くなり、これは、ＴＯＡ又は推定ＡＯＡ／ＡＯＤなどの他の技術を通じてクライアントデバイス１０２の推定位置及び向きの計算に用いられ得る。さらに、クライアントデバイスの推定位置は、ビームフォーマの設計に必要な情報を提供する。したがって、クライアントデバイス１０２の位置が正確に推定されると、アンテナは、見通し内（ＬＯＳ）経路を直接使用して、一次リフレクタを通じて、又は任意の他の適切な技術を通じて、ビームをクライアントデバイス１０２に向けて操縦することができる。これにより、高いＱＯＳを保ちながら位置特定サービスと通信サービスとの協働が得られる。さらに、アンテナとクライアントデバイス１０２との近接性と、より高いＱＯＳに起因して、ＳＬＡＭプロセスの大部分をサーバ１０６で行うことができ、より軽い又は薄いクライアントデバイス１０２の使用が可能となる。

他の実施形態では、クライアントデバイス１０２の測位を可能にするために、ＧＰＳ、ＢＤＳ、Ｇｌｏｎａｓｓ、ＱＺＳＳ、Ｇａｌｉｌｅｏ、及びＩＲＮＳＳなどの任意の衛星ベースのナビゲーションシステムを指す、全地球航法衛星システム（ＧＮＳＳ）が用いられ得る。十分な数の衛星からの信号と、三角測量及び三辺測量などの技術を使用して、ＧＮＳＳは、デバイスの位置、速度、高度、及び時間を計算することができる。一実施形態では、外部測位システムは、既存の移動体通信ネットワークのアーキテクチャを通じて補助ＧＮＳＳ（ＡＧＮＳＳ）によって拡張され、既存のアーキテクチャは５Ｇを含む。他の実施形態では、ＡＧＮＳＳ追跡システムはさらに、４Ｇ移動体通信ネットワークによってサポートされる。屋内の実施形態では、ＧＮＳＳはさらに、６０ＧＨｚでのデータの提供を含むがこれに限定されないＷｉ−Ｆｉなどの無線ワイヤレスローカルエリアネットワークによって拡張される。代替的な実施形態では、ＧＮＳＳは、差動型ＧＰＳ（ＤＧＰＳ）、静止衛星型衛星航法補強システム（ＳＢＡＳ）、リアルタイムキネマティック（ＲＴＫ）システムなどの他の技術によって拡張される。いくつかの実施形態では、クライアントデバイス１０２の追跡は、ＡＧＮＳＳとクライアントデバイス１０２内の慣性センサとの組み合わせによって実施される。

図２は、更新可能な協調的３Ｄマップデータ融合プラットフォーム及びその永続的仮想世界システムを可能にするシステム２００の別の実施形態の略図である。図２のいくつかの要素は、図１の要素と類似している場合があり、したがって、それらを表すために同じ又は同様の参照番号が用いられる場合がある。

システム２００は、クライアントデバイス１、クライアントデバイス２、及びクライアントデバイスＮなどの複数のクライアントデバイス１０２を備え、これらはすべて、３Ｄマップデータ融合プラットフォーム１１４のクライアント管理モジュール２０２にデータを送信することができる。個々のクライアントデバイス管理インスタンス２０４が、クライアントデバイス１０２ごとに動的に作成され、各クライアントデバイス１０２によって転送されたデータ１０４を受信及び処理し、さらなるマッピング及びナビゲーションの目的で、対応するマップ更新２０６を各クライアントデバイス１０２に送信する。例えば、個々のクライアントデバイス管理インスタンス２０４によるデータ１０４の処理には、受信したデータ１０４に基づいて座標空間のＳＬＡＭスキャンを行うためにＳＬＡＭパイプラインを実装することと、画像データを永続的仮想世界システム１２０内の１つ以上のＲＶＲＮ１１８と比較するために１つ以上の特徴マッチングアルゴリズムを実装することと、座標空間のマップを作成し、基本衛星マップ１１６を考慮して又はこれと位置合わせして、マップを利用可能なＲＶＲＮ１１８とマージして融合３Ｄマップ２０８を作成することが含まれ得る。クライアント管理モジュール２０２によって行われるタスクのさらなる詳細は、図３で説明される。

いくつかの実施形態では、画像データは、多数のクライアントデバイスから（例えば、同時に）受信される。これらの実施形態では、３Ｄマップデータ融合プラットフォーム１１４は、最初にクライアントデバイス１０２（例えば、クライアントデバイス１及び２）のポーズを取得し、同時に、第１及び第２のクライアントデバイスの少なくとも１つのイメージングデバイスから画像データを取り込むことによって第１及び第２の座標空間のＳＬＡＭプロセスを実行するように構成されてよく、前記ＳＬＡＭプロセスは、第１及び第２のクライアントデバイス１０２のポーズを使用して第１及び第２の座標空間内の第１及び第２の複数の特徴のポーズを判定することによって行われる。次いで、各個々のクライアントデバイス管理インスタンス２０４は、対応する第１又は第２のクライアントデバイス１０２からデータを同時に取得し、それぞれの座標空間ごとにＳＬＡＭプロセスを実行するように構成される。３Ｄマップデータ融合プラットフォーム１１４はさらに、十分な特徴が抽出されているかどうかをチェックし、その後、座標空間のそれぞれの複数の特徴を比較及び照合するように構成され得る。第１の複数の特徴と第２の複数の特徴が一致する場合、３Ｄマップデータ融合プラットフォームは、特徴の第１のマップと特徴の第２のマップをマージすることに進むことができ、前記マージは、基本衛星マップ１１６と位置合わせして行われ、融合３Ｄマップ２０８が形成される。その後、融合３Ｄマップ２０８をＲＶＲＮ１１８とマージして協調的３Ｄマップを生成することができる。第１の複数の特徴と第２の複数の特徴が一致しない場合、３Ｄマップデータ融合プラットフォーム１１４はさらに、特徴の第１及び第２のマップを対応するＲＶＲＮ１１８と別々に比較及びマージして協調的３Ｄマップを生成することができる。

本開示において、「インスタンス化」という用語は、クライアント管理モジュール２０２などの、１つ以上のクラウドサーバコンピュータ１０６のインスタンス又はそのプログラムを作成するために、１つ以上のクラウドサーバコンピュータ１０６などのサーバの特性（例えば、メモリ、計算能力、ネットワーク、オペレーティングシステムなど）を仮想化するプロセスを指す。

図３は、更新可能な協調的３Ｄマップデータ融合プラットフォーム及びその永続的仮想世界システムを可能にするシステム３００の一実施形態の略図である。図３のいくつかの要素は、図１〜図２の要素と類似している場合があり、したがって、それらを表すために同じ又は同様の参照番号が用いられる場合がある。

図３では、システム３００は、１つ以上のサーバコンピュータ１０６にデータ１０４を送信するクライアントデバイス１０２（例えば、クライアントデバイス１）を備える。クライアントデバイス１０２は、センサ３０４及びトランシーバ３０６を備える追跡ユニット３０２を備える。センサ３０４は、実世界から少なくとも視覚データを取得し、クライアントデバイス１０２のポーズ１１２を判定／追跡するように適合されたコンピューティングハードウェア、ソフトウェア、及び／又はファームウェアとして実装され得る。いくつかの実施形態では、画像データを取り込むために、センサ３０４は、ＲＧＢカメラ、カラーカメラ、グレースケールカメラ、赤外線カメラ、電荷結合素子（ＣＣＤ）、ＣＭＯＳデバイス、深度カメラ（例えば、ＬＩＤＡＲ）、又はこれらの組み合わせのうちの１つ以上に含まれる１つ以上の光学センサを含む。クライアントデバイス１０２のポーズを判定するために、センサ３０４はさらに、慣性航法システム（ＩＮＳ）アルゴリズムを通じてクライアントデバイス１０２のポーズを内部的に判定するのに用いられ得る１つ以上の慣性計測装置（ＩＭＵ）、加速度計、及びジャイロスコープを含む。

トランシーバ３０６は、デバイスがアンテナから無線電波を受信し、データをアンテナに送り返すことを可能にするように構成されたコンピューティングハードウェア及びソフトウェアとして実装され得る。いくつかの実施形態では、アンテナからミリ波信号を受信し、データをアンテナに送り返すように構成され得る、ミリ波トランシーバ３０６が採用され得る。トランシーバ３０６は、例えば、双方向通信トランシーバ３０６であり得る。

追跡ユニット３０２は、ＩＭＵ、加速度計、及びジャイロスコープの機能を、トランシーバ３０６によって提供される位置追跡と、ミリ波ベースのアンテナによって提供される正確な追跡、低い待ち時間、及び高いＱＯＳ機能と組み合わせることによって実装することができ、これは、サブセンチメートル又はサブミリメートルの位置及び向き追跡を可能にし得る。これにより、デバイス１０２のリアルタイムの位置及び向きの追跡時の精度が向上し得る。代替的な実施形態では、センサ３０４とトランシーバ３０６は、単一の追跡モジュールデバイス内で一緒に結合される。クライアントデバイス１０２の少なくとも１つのプロセッサは、クライアントデバイス１０２の追跡中のセンサデータの確率的不確実性を考慮に入れるために、カルマンフィルタ又は拡張カルマンフィルタなどのアルゴリズムを用いることができる。他の実施形態では、少なくとも１つのプロセッサはさらに、例えば、プロセスの各ステップでエラーを推定するのではなく、ＳＬＡＭプロセスを通して一定の且つ一貫したエラーを保つことによって、クライアントデバイス１０２の追跡中にジッタ低減アルゴリズムを実行することができる。

ポーズ１１２及び画像データ１１０を含むデータ１０４は、データ１０４に対して１つ以上の動作を行うために、３Ｄマップデータ融合プラットフォーム１１４に転送され得る。いくつかの実施形態では、図２を参照すると、動作の少なくともいくつかは、オンデマンドで生成されるクライアント管理モジュール２０２の単一の専用インスタンスによって行われる。

３Ｄマップデータ融合プラットフォーム１１４は、１つ以上の特定の機能専用の複数のモジュールを備え、これらは、対応するＡＰＩを通じて永続的仮想世界システム１２０と又は互いに通信することができる。本開示において、「モジュール」は、特定の機能を実行するための、専用のコンピュータ回路、ソフトウェアアプリケーション、ファームウェア、プロセッサ上で動作するコンピュータ命令／ソフトウェアのセット、又はプロセッサ自体（例えば、ＡＳＩＣ）を指す場合がある。３Ｄマップデータ融合プラットフォーム１１４のモジュールのうちのいくつかは、基本衛星マップ３０８、コンピューティングプロセス（例えば、コマンド、プログラム実行、タスク、スレッド、手順など）を実行する複数のモジュール、例えば、新規特徴抽出モジュール３１２、特徴ポーズ推論モジュール３１４、新規マップ生成モジュール３１６、及びマップ比較マージモジュール３１８など、並びに、融合３Ｄマップ３２０及び協調的３Ｄマップ３２２などの他のモジュールを備えるＳＬＡＭパイプライン３１０を含む。実装されるプロセスに応じて、モジュールは、時には手順を順次に又は並列に実行することができ、さらなる処理に用いられ得るフィードバックを相互に得ることができる。

画像データ１１０は、ＳＬＡＭパイプライン３１０の協調的実装中に、クライアントデバイス１０２の１つ以上のイメージングデバイスによって取り込まれる。いくつかの実施形態では、ＳＬＡＭパイプライン３１０の協調的実装は、少なくとも部分的に、３Ｄマップデータ融合プラットフォーム１１４によって行われ、また、クライアントデバイス１０２のメモリに格納されその少なくとも１つのプロセッサによって実行されるＳＬＡＭスキャンナビゲーションモジュール３３４を通じてクライアントデバイス１０２によって行われる。いくつかの実施形態では、画像データ１１０は、クライアントデバイス１０２の少なくとも１つのプロセッサによって実行されるＳＬＡＭスキャンナビゲーションモジュール３３４のコンピュータ命令を通じて前処理され得る。例えば、少なくとも１つのプロセッサは、サーバ１０６に送信される前の取り込まれた画像データ１１０に基づいて抽象化された画像データを生成することができる。他の例では、クライアントデバイス１０２が装着可能デバイス（例えば、ヘッドマウントディスプレイ）である実施形態では、クライアントデバイス１０２のＳＬＡＭスキャンナビゲーションモジュール３３４は、クライアントデバイス１０２を装着したときのユーザの体又は頭の動きを変換するのに用いられ、これは、ＳＬＡＭを実行するのに必要とされ得る情報である。

ＳＬＡＭパイプライン３１０の新規特徴抽出モジュール３１２は、画像データ１１０が含まれるフレームから、クライアントデバイスの周囲の環境についての視覚的及び構造的情報を抽出することによって、画像データ１１０から特徴を抽出するように構成され得る。例えば、新規特徴抽出モジュール３１２は、例えば、クライアントデバイス１０２のＳＬＡＭスキャンナビゲーションモジュール３３４から受信した前処理されたセンサデータの分析に基づいて、環境のジオメトリ及び／又は外観を判定することができる。特徴の判定又は抽出は、コーナー及びブロブ検出、ハリス検出、ハリス−ラプラス検出、Ｓｈｉ−Ｔｏｍａｓｉ、スケール不変特徴変換（ＳＩＦＴ）、高速堅牢特徴（ＳＵＲＦ）、加速セグメント試験からの特徴（ＦＡＳＴ）、二進堅牢独立素特徴（ＢＲＩＥＦ）、又はＯＲＢ特徴検出アルゴリズム、又はこれらの組み合わせなどのいくつかのアルゴリズムを通じて行われ得る。いくつかの実施形態では、新規特徴抽出モジュール３１２はさらに、特徴追跡及びマッチングプロセスを実行することができる。特徴追跡は、隣接するフレームの特徴間の対応を見つけるプロセスである。例えば、特徴追跡は、２つのフレーム間で動きの小さい変動が生じるときに有用であり得る。特徴マッチングは、特徴を個々に抽出し、多数のフレームにわたってそれらをマッチングするプロセスであり、これは、特徴の外観に顕著な変化が生じるときに有用であり得る。いくつかの実施形態では、新規特徴抽出モジュール３１２はさらに、ＲＡＮＳＡＣ法及び／又はマッチング同等技術などの任意の適切な技術を通じて、外れ値の識別及び抑制を実行することができる。

その後、ＳＬＡＭパイプライン３１０の特徴ポーズ推論モジュール３１４が、クライアントデバイス１０２の所与のポーズに関して抽出された特徴のポーズを推論することができる。いくつかの例では、この計算は、ハリス・コーナー検出、キャニー・エッジ検出、既知の特徴と画像との相互相関、カラークラスタリングによる領域発見、及び勾配の集約による境界発見などの方法を用いて行われ得る。特徴の位置データ及び他の幾何学的データを比較することにより、特徴のそれぞれのポーズを判定することができる。その後、ＳＬＡＭパイプライン３１０の新規マップ生成モジュール３１６が、対応するポーズを含む新規特徴を備えるマップを作成することができる。場合によっては、マップにかなりの数の特徴が含まれていないことがあり、十分な数の特徴に達するまでＳＬＡＭパイプライン３１０を継続する必要があり得る。新規マップ生成モジュール３１６では、ＳＬＡＭパイプライン３１０は、新規マップの特徴を、マップ比較マージモジュール３１８を通じて行われ得るＲＶＲＮ１１８に基づいて構成される特徴と、同時に比較及び照合することができる。したがって、複数の仮想レプリカから構成されるＲＶＲＮ１１８は、これらの実施形態では、対応するオブジェクトの複数の特徴を備える詳細な３Ｄマップと考えることができる。ＲＶＲＮ１１８がマッピングされた特徴を含んでいない又はマッピングされた特徴を部分的にしか含んでいない場合、マップ比較マージモジュール３１８は、基本衛星マップ３０８と関連して新たに生成されたマップの特徴をＲＶＲＮ１１８とマージして融合３Ｄマップ３２０を生成することに進むことができる。

いくつかの実施形態では、第２の又はさらなるクライアントデバイスが同時に又は非同期的にデータ１０４をサーバ１０６に提供することができる。これらの実施形態では、画像データ１１０は、ＳＬＡＭパイプライン３１０の協調的実装中に第２のクライアントデバイスの１つ以上のイメージングデバイスによって取り込まれる。第２の座標空間のＳＬＡＭプロセスが第２のクライアントデバイスによって取り込まれたデータ１０４で開始されるように上記と同様のプロセスを実装することができる。第２の座標空間の十分な特徴がマッピングされると、ＳＬＡＭパイプライン３１０は、特徴マッチングアルゴリズムを通じて、マッピングされた第２の複数の特徴を融合３Ｄマップ３２０と比較することに進む。融合３Ｄマップ３２０が新たにマッピングされた特徴を含んでいない場合、ＳＬＡＭパイプライン３１０は、第２のマップが作成されるまでＳＬＡＭプロセスを続行することに進むことができ、次いで、協調的３Ｄマップデータ融合プラットフォーム１１４によって、第２のマップが融合３Ｄマップ３２０とマージされて協調的３Ｄマップ３２２が作成される。

次いで、３Ｄマップデータ融合プラットフォーム１１４は、対応するＡＰＩを通じて通信することができる永続的仮想世界システム１２０と、協調的３Ｄマップ３２２を共有することができる。したがって、協調的３Ｄマップ３２２は、ＲＶＲＮ１１８の形態の永続的仮想世界システム１２０の一部として含まれる。永続的仮想世界システム１２０は、アプリケーション３２６及び純粋な仮想オブジェクト３２８（例えば、ＲＶＲＮ１１８とは異なり、実世界に存在せず、したがって、実世界の対応物をもたない仮想オブジェクト）などの他の仮想オブジェクト３２４をさらに備えることができる。

いくつかの実施形態では、ユーザは、少なくとも１つのサーバコンピュータ１０６に接続されたクライアントデバイス１０２を通じて、永続的仮想世界システム１２０の１つ以上の仮想オブジェクト３２４を選択し、仮想オブジェクト３２４の位置合わせのための参照として永続的仮想世界システム１２０と共有される協調的３Ｄマップ３２２を用いることによって、選択された仮想オブジェクト３２４を１つ以上の場所の上にオーバーレイすることが可能となる。例えば、ユーザは、協調的に作成された３Ｄシーン上に純粋な仮想オブジェクト３２８又はアプリケーション３２６をオーバーレイすることができ、クライアントデバイス１０２のメモリに格納されたＡＲ／ＶＲモジュール３３０を通じて、オーバーレイされたオブジェクトを拡張現実（ＡＲ）又は仮想現実（ＶＲ）で見ることができる。

いくつかの実施形態では、生成された協調的３Ｄマップ３２２はさらに、３Ｄマップデータ融合プラットフォーム１１４によって処理された画像データに追加することができるユーザごとの資格情報を備え、資格のあるユーザのみが、その場所の画像データを見るためのアクセス権を有する。例えば、一部の制限された屋内エリアは、これらのエリアを見ることが可能なクリアランスレベルをもつ特定の人々にのみ可視であり、「通常の」ユーザはこれらのエリアを見ることができなくなる。

いくつかの実施形態では、アプリケーション３２６は、１つ以上の従来のアプリケーション、分散型アプリケーション、又は非集中型アプリケーションとすることができる。従来のアプリケーションは、典型的に、従来のクライアント−サーバモデルに基づいており、静的インフラストラクチャ内の専用サーバで実行される。分散型アプリケーションは、本開示のクラウドサーバなどのクラウドコンピューティングプラットフォーム上に主に格納されたアプリケーションであり、同じネットワーク上の多数のシステム及びデバイスで同時に実行することができ、或いは、ブロックチェーン又は分散台帳ベースの分散型データベースで実行することができる。非集中型アプリケーションは、ブロックチェーン又は分散台帳ベースの分散型データベースなどの非集中型インフラストラクチャで主に実行される。前記アプリケーション３２６との対話機構は、コンピュータスクリプト及びコンピュータプログラムに含まれるコンピュータコードを通じて定義され、アプリケーション３２６、ブロックチェーン又は分散台帳ベースの分散型データベースで利用可能なスマートコントラクト、又はこれらの組み合わせを通じて可能となる。相互作用は、対話型ゲームのようなアプリケーションの形態で又はゲームのような対話機構を通じてユーザが体験することができる。

いくつかの実施形態では、サーバ１０６はさらに、セルフコンピューティング能力及び自律行動を提供するために、永続的仮想世界システムの仮想オブジェクトの少なくともいくつかに、論理、仮想データ、及びモデルを追加するように構成され得る。モデルは、例えば、３Ｄモデル、動的モデル、ジオメトリモデル、又は機械学習モデル、又はこれらの組み合わせのうちの１つ以上を含み得る。したがって、本開示は、協調的ＳＬＡＭ３Ｄマッピングプロセスを、ナビゲーションの目的で判定された座標空間内の構造体の幾何学的及び視覚的特性だけでなく前記構造体（例えば、仮想オブジェクト３２４の形態の）との対話並びに構造の少なくともいくつかとの間の通信も可能にし得る他の高度な特徴を備え得る永続的仮想世界システム１２０と組み合わせる方法を可能にする。例えば、本開示の永続的仮想世界システム１２０と共有される協調的３Ｄマップは、効率的な自律車両交通管理のために用いることができ、この場合、車両は、永続的仮想世界システム１２０に含まれる協調的にマッピングされた道路を走行することができ、一方、車両の仮想レプリカは、例えば、事故時に交通を止める又は速度を調整する、或いは交通渋滞時に最も効率的なルートを車両に推奨／操縦するための自律行動を可能にする論理、仮想データ、及びモデルを備える。他の例では、本開示の永続的仮想世界システム１２０と共有される協調的３Ｄマップは、製造作業、ユーティリティ、汚染規制などの管理のために用いられ得る。

「自己管理機能」とも呼ばれる「セルフコンピューティング機能」は、本明細書では、例えば、分散型コンピューティングリソースの管理及びそれらの環境の変化への適応などのタスクを自律的に行うために人工知能アルゴリズムを適用するソフトウェアエンティティ（例えば、永続的仮想世界システム１２０の仮想レプリカ又はＲＶＲＮ１１８）の能力を指す。自己管理ルール及び条件は、ルール及び条件を分散されたトランスペアレントな様態でさらに体系化するために、ブロックチェーン又は分散台帳技術で実行されるスマートコントラクトの使用を通じてさらに支配され得る。したがって、各仮想レプリカは、必要なリソースを割り当て、コマンドを自律的に送信及び実行し、各状況での必要に応じてイベントを生成することによって、永続的仮想世界システム１２０に反映される実世界での条件に応じて自律的に動作することができる。このタイプの行動を実現するには、仮想レプリカのモデリング中に人工知能アルゴリズムを使用して仮想レプリカをトレーニングする必要があり得る。

図４は、一実施形態に係る、２つ以上のクライアントデバイスによるＳＬＡＭスキャンと、サーバへのデータの流れの略図である。

図４では、ユーザ４０２は、第１のクライアントデバイス（例えば、装着可能デバイス４０４）を装着しており、これは、装着可能デバイス４０４に実装されたＳＬＡＭスキャンナビゲーションモジュール３３４及びサーバコンピュータ１０６に実装されたＳＬＡＭパイプライン３１０によって実装される図３に示された協調ＳＬＡＭプロセスなどのＳＬＡＭプロセスを通じて、第１の座標空間４０８から第１の画像データセット４０６を取り込む。装着可能デバイス４０４はまた、第１のクライアントポーズデータ４１０及び第１のクライアントデバイス個人ＩＤコード４１２を少なくとも１つのサーバコンピュータ１０６に送信することができる。同様に、第２のクライアントデバイス（例えば、ドローン４１４）が、第２の座標空間４１８の第２の画像データセット４１６を取り込み、第２の画像データセット４１６を、対応する第２のクライアントデバイスポーズデータ４２０及び個人ＩＤコード４２２と一緒に、少なくとも１つのサーバコンピュータ１０６に送信する。クライアントデバイスと少なくとも１つのサーバコンピュータ１０６との通信は、ミリ波アンテナ（例えば、５Ｇアンテナ通信システムで用いられるもの）などの１つ以上のアンテナ４２４を通じて行うことができる。個人ＩＤコード４１２及び４２２は、例えば、ＱＲコード、ＵＲＬ、ＩＰアドレス、ＭＡＣアドレス、暗号学的ハッシュ、ＵＵＩＤ、又はＯＵＩであり得る。ＩＤコード４１２及び４２２は、各クライアントデバイスによってマッピングされた全エリアの３Ｄ座標に付加される。

第１のステージにおいて、３Ｄマップデータ融合プラットフォーム１１４は、例えば、装着可能デバイス４０４からデータを受信し、マップ比較マージモジュール３１８を通じて、永続的仮想世界システム１２０内の利用可能なＲＶＲＮ１１８とデータを比較することに進む。いくつかの実施形態では、３Ｄマップデータ融合プラットフォーム１１４は、図３を参照して説明した対応するモジュール３１２〜３１６を通じて、新規特徴抽出（例えば、第１の画像データセット４０６から抽出された第１の複数の特徴から）、特徴ポーズ推論、及び新規マップ生成を行う。比較のために十分なデータが利用可能であり、利用可能なＲＶＲＮ１１８での比較結果が第１の複数の特徴を含んでいない又は十分に含んでいない場合、３Ｄマップデータ融合プラットフォーム１１４は、ＳＬＡＭプロセスを続行してクライアントにより識別された第１のマップ４２６を作成することに進み、クライアントにより識別された第１のマップ４２６は、第１のクライアントデバイス個人ＩＤコード４１２を備えるＳＬＡＭマッピングされた第１の座標空間４０８を指す。クライアントにより識別された第１のマップ４２６は、永続的仮想世界システム１２０内のＲＶＲＮ１１８の既存のデータとさらに比較され、組み合わされ、クライアントにより識別された領域を含む融合３Ｄマップ３２０を形成し得る。

ドローン４１４によって送信されたデータも、３Ｄマップデータ融合プラットフォーム１１４によって受信され、図３を参照して説明した対応するモジュール３１２〜３１６を通じて、特徴抽出、特徴ポーズ推論、及び新規マップ生成が行われる。比較のために十分なデータが利用可能であり、利用可能なＲＶＲＮ１１８での比較結果が第１の複数の特徴を含んでいない又は十分に含んでいない場合、３Ｄマップデータ融合プラットフォーム１１４は、ＳＬＡＭプロセスを続行してクライアントにより識別された第２のマップ４２８を作成することに進み、クライアントにより識別された第２のマップ４２８は、第２のクライアントデバイス個人ＩＤコード４２２を備えるＳＬＡＭマッピングされた第２の座標空間４１８を指す。クライアントにより識別された第２のマップ４２８は、次いで、マップ比較マージモジュール３１８によって、融合３Ｄマップ３２０と比較され、必要なときに組み合わされ、永続的仮想世界システム１２０とその後共有される協調的３Ｄマップを形成する。

いくつかの実施形態では、クライアントにより識別されたマップ領域寄与がさらに分散台帳に格納される。さらに別の実施形態では、クライアントにより識別されたマップ領域寄与は、クライアントデバイスによるマップ領域寄与に関連して報酬を提供することを含む報酬システムで用いられ得る。例えば、座標とこれらの座標内の特徴点は、各特徴点のポーズデータと共に、ブロックチェーンを形成するべく暗号法を用いてリンク及び保護された増大するレコードのリストである元帳又はブロックに格納され得る。これらのブロックチェーンは、データの改変に耐えるように設計され、報酬システムをサポートするために各クライアントデバイスによってマッピングされた領域を記録することができるオープンな分散台帳として作用することができる。各ブロックには、前のブロックへのリンクとしてのハッシュポインタ、タイムスタンプ、トランザクションデータ、及びクライアントデバイスによってマッピングされた領域に関連する他のデータが含まれ得る。例えば、第１のクライアントデバイスが第２のクライアントデバイスの２倍の領域をマッピングした場合、報酬システムは、第１のクライアントデバイスの２倍の報酬（例えば、暗号通貨、割引クーポンなど）を計算することができる。これらのトランザクションは、検証可能な永続的な様態で分散台帳にさらに格納することができる。このような報酬システムのルールは、分散台帳に格納及び実装されたスマートコントラクトによって管理され得る。

図５は、一実施形態に係る、ＲＶＲＮの構成要素を示す線図である。図５のいくつかの要素は、図１〜図４の同様の又は同じ要素を指す場合があり、したがって、同じ参照番号を用いる場合がある。

図５に示すように、他のデバイス５０４及びユーザデバイス５０６を含む実世界５０２の要素が、永続的仮想世界システムにデータストリーム５０８を提供する。これらのデータストリーム５０８は、他のデバイス５０４又はユーザデバイスの能力に応じて、単方向又は双方向とすることができる。本開示において、「ユーザデバイス」という用語は、とりわけ、モバイルデバイス、パーソナルコンピュータ、ゲームコンソール、メディアセンター、及びヘッドマウントディスプレイなどのアプリケーションと対話するために人間のユーザによって使用され得るデバイスを指す場合がある。本開示において、他のデバイス５０４は、監視カメラ、車両、交通信号灯、建物、道、線路、家電、ロボット、ドローンなどの、ユーザデバイス５０６以外のネットワークに接続する及びデータを共有することができる技術ベースのシステムを指す。

他のデバイス５０４によって送信されたデータストリーム５０８は、１つ以上の光学センサ、温度センサ、近接センサ、慣性センサ（例えば、慣性計測装置、加速度計、ジャイロスコープ、及び磁力計）、赤外線センサ、汚染センサ（例えば、ガスセンサ）、圧力センサ、光センサ、超音波センサ、煙センサ、タッチセンサ、色彩センサ、湿度センサ、水センサ、電気センサ、又はこれらの組み合わせなどの、他のデバイス５０４上に設置されたセンサによって得られる。例えば、データストリーム５０８は、特徴データを仮想レプリカ５１０に統合する前に、さらなる処理のために３Ｄマップデータ融合プラットフォームに送信することができる画像データ及びポーズデータを含み得る。ユーザデバイス５０６のデータストリーム５０８は、センサデータとは別に、ユーザデバイス５０６を介するアプリケーションとの対話から生じるユーザ入力データを含み得る。

複数の他のデバイス５０４及びユーザデバイス５０６に、実世界５０２から絶えずデータを取り込むセンサ機構を設けることによって、仮想世界及び各同期した仮想レプリカ５１０は、実世界５０２の条件をミラーリングするリアルタイムのマルチソースデータで更新され続ける。マルチソースデータは、とりわけ、３Ｄ画像データ、３Ｄジオメトリ、３Ｄエンティティ、３Ｄセンサデータ、３Ｄ動的オブジェクト、ビデオデータ、音声データ、優先度データ、化学組成、廃棄物生成データ、テキスト型データ、時間データ、位置データ、向きデータ、速度データ、温度データ、湿度データ、汚染データ、照明データ、体積データ、流量データ、色彩データ、電力消費データ、帯域幅データ、及び質量データのうちの１つ以上を含む、各実世界要素の取り込み可能なデータを含む。

永続的仮想世界システムにおける仮想レプリカ５１０との対話は、各仮想レプリカ５１０のデータストア５１２に接続される公開／サブスクライブサービスを用いて、データの交換を通じてなされる。データタイプは、周期的及び非周期的、同期及び非同期データを含み得る。各仮想レプリカ５１０は、データストア５１２を保持し、そこでのデータは、実世界の対応物によって又はマイクロサービス（図示せず）によって更新することができる。永続的仮想世界システム内のデータは、特定の仮想レプリカ５１０と直接関連付けることができ、又は匿名データとして処理することができ、これは、関連する仮想レプリカの多数のストリーミングソースの集約を含み得る。例えば、予知保全サービスに利用可能なデータをストリーミングするべく、車の特定のモデルのすべてのユニットからのデータを処理及び集約することもできる。

マイクロサービスは、独立して開発、展開、及び維持することができる個々のサービスを指し、各サービスは、個別のタスクを行うように構成され、ＡＰＩを通じて他のサービスと通信する。各マイクロサービスは、仮想レプリカ５１０の特定の属性の値を修正するべく、仮想レプリカモデル及び環境との関係性を用いて、仮想レプリカ５１０のデータストア５１２内のデータを更新することができる。マイクロサービスは、複数のエンジンなどの、永続的仮想世界システムの特定のコアサービスを用いることができ、又は外部プラットフォームに接続することができる。

データストリーム５０８は、コネクタ５１４を介してデータストア５１２に格納することができる。コネクタ５１４は、データストリーム５０８のデータを読み出す及びデータストア５１２に書き込むのに用いられるソフトウェア、ハードウェア、及び／又はファームウェアを備えることができる。コネクタ５１４は、公開／サブスクライブアプリケーション・プログラミング・インターフェース（ＡＰＩ）を用いてデータストア５１２に接続し、他のデバイス５０４及びユーザデバイス５０６からのデータストリーム５０８を仮想レプリカ５１０に供給するのを助けることができる。他のデバイス５０４のデータストリーム５０８はさらに、コネクタ５１４を通じてサイバー・物理システム５１６に供給され、一方、ユーザデバイス５０６のデータストリーム５０８は、コネクタ５１４を通じてユーザ５０６の仮想アバター５１８に供給される。システム５００はまた、ボット５２０の実装を備え、これは、機械学習アルゴリズムを採用することによって人間又は人間のような行動を伴う自動エージェントとして応答するように構成されたソフトウェア、ハードウェア、及び／又はファームウェアを含み得る。人間のアバター５１８は、人間のユーザの身体的特徴を表示するように構成されてよく、又は、異なる視覚的態様及び特徴で構成されてよい。

本開示において、一対の仮想と本物のツイン又はツインペアは、サイバー・物理システム５１６と考えることができ、これは、システムのサイバー部分と物理部分との両方によって行動が定義される、計算と物理プロセスの統合である。したがって、仮想レプリカ５１０は、サイバー・物理システム５１６のサイバー部分である。その場合、仮想レプリカ５１０は、物理部分と人工知能及びシミュレーションとの接続を可能にしてオブジェクトの能力及びパフォーマンスを向上させる、本物のツインの拡張と考えられ得る。仮想レプリカ５１０は、いくつかの実施形態では、物理コンポーネント及びプロセスの一部の代替であり得る。例えば、センサが本物の対応物において故障している場合、本物のツインの感知入力は、仮想世界での仮想ツインの対話によって提供される。別の例では、本物のツインのバッテリが少なくなっている場合、本物のツインの計算の一部を仮想世界で行うこともできる。

仮想レプリカ５１０はまた、永続的仮想世界システムで現実を複製するのに用いられ得る現実の態様の任意のグラフィカル表現、数学的表現、又は論理的表現を参照するモデル５２２を備えることができる。いくつかの実施形態では、適切なモデル５２２は、３Ｄモデル５２４、ジオメトリモデル５２６、動的モデル５２８、及び機械学習モデル５３０のうちの１つ以上を含む。モデル５２２が４つだけ本明細書で開示されているが、システムは提示したよりも少ない又は多いモデルを実装するように適合され得ることを当業者は理解するであろう。

３Ｄモデル５２４は、ジオメトリモデル５２６と連携して、テクスチャ、色、シェーディング、反射、衝突効果などの仮想レプリカ５１０のジオメトリのそれぞれに含まれるデータを示す。３Ｄモデル５２４は、永続的仮想世界システム内の仮想レプリカ５１０、及びアプリケーション、純粋な仮想レプリカ、仮想ボット、広告などの他の仮想要素を視覚的に表すのに用いられる３Ｄデータ構造を備える。３Ｄデータ構造は、例えば、１つ以上の八分木、四分木、ＢＳＰ木、ｓｐ散在ボクセル八分木、３Ｄアレイ、ｋＤ木、点群、ワイヤフレーム、境界表現（Ｂ−Ｒｅｐ）、構造的中実形状木（ＣＳＧ木）、二分木、及び六角形構造を含み得る。３Ｄデータ構造は、永続的仮想世界システム内の仮想オブジェクトのジオメトリのそれぞれのデータを正確に効率よく表すのに役立つ。３Ｄデータ構造の正しい選択は、データの生成元、レンダリング中に求められるジオメトリの精度、レンダリングがリアルタイムで行われるか又は事前にレンダリングされるか、レンダリングが、クラウドサーバを介して、ユーザデバイス、フォグデバイス、又はこれらの組み合わせを介して行われるかどうか、永続的仮想世界システムが採用される特定の用途（例えば、医療又は科学用途では他のタイプの用途よりも高いレベルの定義が必要となり得る）、サーバからの及びユーザデバイスからのメモリ容量、ひいては、所望のメモリ消費などに依存する。

ジオメトリモデル５２４は、実世界要素に基づいて仮想レプリカ５１０の形状を定義する数学的モデルを含み、３Ｄモデル５２４によって補完され得る。

動的モデル５２８は、時間の経過に伴う仮想世界での実世界オブジェクトの行動を記述する数学的モデルを表し、定義された順序で発生する状態のセットを含むことができ、連続（例えば、代数方程式又は微分方程式）及び離散（例えば、状態マシン又は確率モデルとして）動的モデルを含むことができる。

機械学習モデル５３０は、実世界オブジェクト及びプロセスの数学的表現であり、通常、学習のためのトレーニングデータとして用いられている実際の又はシミュレートされたデータに基づいて機械学習アルゴリズムによって生成される。このモデルは、仮想ツインを通じて本物のツインの動作及び／又はパフォーマンスを最適化するために用いることができる人工知能技術の実装を可能にし得る。機械学習モデルは、本物のツインの行動をシミュレートするために本物のツインの行動について仮想レプリカ５１０に学習させることを可能にする機械学習アルゴリズムを採用することができる。

いくつかの実施形態では、仮想レプリカ５１０に用いられるモデルは、特定のシナリオ計算に必要な詳細レベル（ＬＯＤ）を考慮している。ＬＯＤは、仮想レプリカ５１０が観測者から離れるにつれて、又はオブジェクトの重要度、視点−相対速度、観測者の分類、又は位置などの他のメトリクスに従って、モデル５２２の表現の複雑さを軽減することを含む。ＬＯＤは、ユーザの視点がオブジェクトにより近い場合にのみより詳細なモデルを用いる、リアルタイムレンダリングを最適化するためにゲームエンジンで通常用いられる特徴である。ＬＯＤ管理は、グラフィックスパイプラインの使用負荷の低減、通常は頂点変換によって、又は、低忠実度モデルから高忠実度モデルまで様々な物理モデルを仮想レプリカに関連付けることができ、ゆえにケース及び状況に応じて様々なシミュレーションが行われることを可能にするので、物理シミュレーションの強化によって、レンダリングプロセスなどのコンピューティングプロセスの効率を高める。ＬＯＤ管理は、グラフィックスパイプラインの使用負荷の低減、通常は頂点変換によって、又は、低忠実度モデルから高忠実度モデルまでの様々な３Ｄモデル５２４又は動的モデル５２８を仮想レプリカ５１０に関連付けることができ、ゆえにケース及び状況に応じて様々なシミュレーションを行うことができるので、物理シミュレーションの強化によって、レンダリングプロセスなどのコンピューティングプロセスの効率を高める。一般に、ＬＯＤ管理は、フレームレートを改善し、メモリとコンピューティングの需要を低減することができる。

複数の接続された仮想レプリカ５１０は、ＲＶＲＮ１１８を形成する。各仮想レプリカ５１０はまた、互いとのソーシャル接続５３２、すなわち、互いとの対話も表示することができる。

いくつかの実施形態では、仮想レプリカ５１０は、ＳＬＡＭ又は導写像に基づくデータなどの３Ｄ世界及び建物データ、３Ｄジオメトリデータ、３Ｄ点群データ、又はデジタル現実アプリケーションの３Ｄ構造をモデル化するのに役立つ可能性のある実世界の構造的特性を表す地理情報システムデータのうちの１つ以上を含む。

いくつかの実施形態では、仮想レプリカ５１０のそれぞれは、現在のジオロケーション技術で用いるのに適した基準座標系を用いてジオロケートされ得る。例えば、仮想レプリカは、ＧＰＳによって用いられる現在の基準座標系であるＷＧＳ８４などの世界測地系規格を用いることができる。

図６は、一実施形態に係る、マージドリアリティシステムで用いられるＲＶＲＮを生成するのに用いられるプラットフォーム及びインターフェースを説明するシステム６００の線図である。点線内に配置された要素は、仮想レプリカ及びＲＶＲＮ１１８が存在する永続的仮想世界システム１２０を表す。

図６に示すように、ＲＶＲＮ１１８は、複数の外部プラットフォーム６０２に、又は永続的仮想世界システム１２０に含まれるエンジンサービス６０４に接続することができる。複数の外部プラットフォームは、例えば、モデルを提供及び操作し、データを消費する又は仮想レプリカに公開するために、ＡＰＩ６０６を通じて永続的仮想世界システム１２０に接続することができる、モノのインターネット（ＩｏＴ）プラットフォーム、機械学習（ＭＬ）プラットフォーム、ビッグデータプラットフォーム、及びシミュレーションプラットフォームを含み得る。

ＩｏＴプラットフォームは、他のデバイス及びユーザデバイス内のセンサから受信したマルチソース入力データの管理を可能にするソフトウェア、ハードウェア、及び／又はファームウェアを指す。ＭＬプラットフォームは、人工知能アプリケーションのために機械学習モデル及びアルゴリズムを使用する能力をＲＶＲＮ１１８に提供するソフトウェア、ハードウェア、及び／又はファームウェアを指す。ビッグデータプラットフォームは、ＲＶＲＮ１１８に関係したビッグデータの開発、展開、運用、及び管理を編成することができるソフトウェア、ハードウェア、及び／又はファームウェアを指す。シミュレーションプラットフォームは、実世界のエンティティの実際の行動を仮想的に再現するためにＲＶＲＮ１１８とそれらのデータ及びモデルを用いることを可能にするソフトウェア、ハードウェア、及び／又はファームウェアを指す。

永続的仮想世界システム１２０に含まれるエンジンサービス６０４は、例えば、とりわけ、人工知能エンジン、シミュレーションエンジン、３Ｄエンジン、及び触覚エンジンを含み得る。人工知能エンジンは、人工知能アプリケーションのための機械学習モデル及びアルゴリズムの管理及び適用を可能にするソフトウェア、ハードウェア、及び／又はファームウェアを指す。シミュレーションエンジンは、実世界のエンティティの実際の行動を仮想的に再現するために仮想レプリカとそれらのデータ及びモデルを用いることを可能にするソフトウェア、ハードウェア、及び／又はファームウェアを指す。３Ｄエンジンは、仮想レプリカの３Ｄグラフィックスの作成及び処理に用いられ得るソフトウェア、ハードウェア、及び／又はファームウェアを指す。触覚エンジンは、アプリケーション及び仮想レプリカに触覚特徴を実装してユーザにタッチに基づく対話を提供することを可能にするソフトウェア、ハードウェア、及び／又はファームウェアを指す。永続的仮想世界システム１２０はまた、永続的仮想世界システム１２０内の、及び永続的仮想世界システム１２０とマージドリアリティ６０８との間の実空間データ及び仮想空間データの交換及び管理の最適化のために構成された空間データストリーミングプラットフォームに接続する。

エンジンサービス６０４のうちのいくつか（例えば、３Ｄエンジン及び触覚エンジン）は、ユーザデバイス内の適切なデジタル現実インターフェース６１０を介してマージドリアリティ６０８に接続することができ、仮想現実又は拡張現実のいずれかでマージドリアリティにアクセス可能となる。マージドリアリティ６１０は、本物の要素が永続的仮想オブジェクトによってオーバーラップ又は拡張され、現実での特定の地理的位置又は本物の要素に結び付けられ、現実の仮想レプリカに接続されるＡＩ及びシミュレーションを含む、エクステンデッド・リアリティをユーザに提供する。ユーザは、自分のアバターを通じてこのマージドリアリティ６０８と無制限に対話することができる。

いくつかの実施形態では、いくつかの詳細な３Ｄマップを永続的仮想世界システム１２０の既存のＲＶＲＮ１１８と比較する、照合する、及び組み合わせるために、３Ｄマップデータ融合プラットフォーム１１４によって協調的マッピングデータが取得及び処理され得る。

ＲＶＲＮ１１８は、永続的仮想世界システム１２０の一体部分であり、仮想レプリカ現実６１２の実装を可能にし、この場合、すべての実世界要素は完全に仮想であり、仮想的に強化され得る（例えば、実世界要素にはない場合がある仮想レプリカに特徴を追加する）。本開示において、仮想現実は、すべての要素が仮想である世界の没入型実現を表すことができ、一方、仮想レプリカ現実６１２は、状況、実世界オブジェクトに基づく正確なジオロケーション、並びにデータ及びモデルの入力を通じて継続的に更新され（又は計算リソース及び条件が許す限り定期的に又は断続的に更新され）、複数のプラットフォーム及び／又はエンジンを介して操作され得る仮想レプリカ間の対話及び接続を考慮に入れているという点で、仮想レプリカ現実６１２は、仮想現実の典型的な概念とは異なる。したがって、仮想レプリカ現実６１２は、永続的仮想世界システム内の世界の実際の仮想レプリカを指し、永続的仮想世界システムは、各仮想レプリカのセルフコンピューティング能力及び自律行動を可能にするデータ、モデル、対話、接続、及びインフラストラクチャを提供する。

さらに別の実施形態では、システム６００は、拡張現実及び仮想現実のために少なくとも１つのサーバの別個の層のメモリに格納することができる。別個の層は、マージドリアリティ６０８を通じて、拡張現実又は仮想現実のいずれかで仮想レプリカ現実６１２にアクセスすることを可能にし、一方又は他方のタイプの現実にアクセスするときにはいつでも、少なくとも１つのサーバコンピュータに接続されたユーザデバイスを通じてアクティブ化され得る。各層は、各層に特異的であり得る現実及び仮想レプリカの拡張を含み得る。例えば、拡張現実でマージドリアリティ６０８にアクセスするとき、ユーザは、現在のマージドリアリティシーンにある実オブジェクト、対応する仮想レプリカを介した各実オブジェクトの現在の拡張、及び拡張現実でのみ可視であるように構成された純粋な仮想オブジェクトを見ることができる。別の例では、仮想現実でマージドリアリティ６０８を見るとき、ユーザは、仮想現実でのみ見られるように構成された拡張を含む、仮想現実のために構成された仮想レプリカ現実６１２のバージョンのみを見ることができる。しかしながら、仮想現実の場合、ユーザは、本来は拡張現実用の拡張及び仮想オブジェクトを見るために、拡張現実層をアクティブ化することができる。同様に、拡張現実の場合、ユーザは、拡張現実で拡張を見ることができながら仮想現実に完全に移行するために仮想現実層をアクティブ化することができる。

さらなる実施形態では、ＲＶＲＮ１１８は、分散台帳プラットフォーム６１４に接続し、これは、クライアントにより識別されたマップ領域寄与６１６を格納することができる。いくつかの実施形態では、クライアントにより識別されたマップ領域寄与６１６は、クライアントデバイスによるマップ領域寄与に関連して報酬を提供することを含む報酬システムで用いられ、これは、マップ寄与に従って対応する報酬（例えば、暗号通貨６２０）をユーザに提供するために、対応するスマートコントラクト６１８によって管理され得る。

図７は、一実施形態に係る、更新可能な協調的３Ｄマップデータ融合プラットフォーム及びその永続的仮想世界システムを可能にする方法７００のブロック図である。

本開示の方法７００は、ステップ７０２で始まり、ステップ７０４で、少なくとも１つのプロセッサを備えるサーバコンピュータのメモリ内に３Ｄマップデータ融合プラットフォーム（例えば、図１〜図４及び図６に関連して説明した３Ｄマップデータ融合プラットフォーム１１４）を提供する。続いて、ステップ７０６で、方法７００は、３Ｄマップデータ融合プラットフォーム内に世界の場所の基本衛星マップを提供する。いくつかの実施形態では、基本衛星マップは、（例えば、複数の対応するＡＰＩを通じて）３Ｄマップデータ融合プラットフォームに接続する、１つ以上のパブリック又はプライベートの世界マップ、地域マップ、又は局所マップの衛星画像を用いる衛星マッピング技術によって得られる。

続いて、ステップ７０８で、方法は、３Ｄマップデータ融合プラットフォームで、基本衛星マップを参照して（例えば、入手可能な場合、基本衛星マップの座標と位置合わせされる）実世界の場所のＲＶＲＮ（例えば、図１〜図６からのＲＶＲＮ１１８）を公開する。このプロセスに続いて、ステップ７１０で、方法７００は、第１のクライアントデバイスのポーズを取得し、これは、センサ（例えば、ＩＭＵ、加速度計、及びジャイロスコープ）によって、外部センサ（例えば、カメラ）の使用を通じて、又はこれらの組み合わせによって得られるセンサデータからの位置及び向き決定並びに追跡技術及びアルゴリズムを通じて行われ得る。その後、方法は、ステップ７１２で、第１のクライアントデバイスの少なくとも１つのイメージングデバイスからの画像データと第１のクライアントデバイスのポーズを用いて第１の座標空間内の第１の複数の特徴のポーズを判定する、第１の座標空間のＳＬＡＭプロセスを実行することに進む。いくつかの実施形態では、画像データは、ＳＬＡＭパイプラインの協調的実装中にクライアントデバイスの１つ以上のイメージングデバイスによって取り込まれ、これは、少なくとも部分的に、３Ｄマップデータ融合プラットフォームによって、及び、クライアントデバイスのメモリに格納され、その少なくとも１つのプロセッサによって実行されるＳＬＡＭスキャンナビゲーションモジュールを通じてクライアントデバイスによって行われる。いくつかの実施形態では、画像データは、クライアントデバイスの少なくとも１つのプロセッサによって実行されるＳＬＡＭスキャンナビゲーションモジュールのコンピュータ命令を通じて前処理され得る。

続いて、方法７００は、第１の座標空間内の第１の複数の特徴を備える新規マップを作成する。図７に示した例では、これは、ステップ７１４で、新しいデータとＲＶＲＮデータとの比較を行うために画像データから十分な特徴が抽出されているかどうかをチェックする機能を実行することを含む。十分な特徴が取り込まれていない場合、方法は、ステップ７１２に進み、ＳＬＡＭプロセスを続行する。第１の座標空間の十分な特徴がマッピングされると、方法７００はステップ７１６に進み、マッピングされた第１の複数の特徴がＲＶＲＮに含まれる又は部分的に含まれるかをチェックするために、３Ｄマップデータ融合プラットフォームによる特徴マッチングアルゴリズムを通じて、マッピングされた第１の複数の特徴を公開されたＲＶＲＮと比較する。マッピングされた第１の複数の特徴がＲＶＲＮに含まれていない又は部分的にしか含まれていない場合、ステップ７１８で、ＳＬＡＭプロセスは、第１の新規マップが作成されるまで続行することができる。次いで、ステップ７２０で見られるように、第１の新規マップをＲＶＲＮとマージして融合３Ｄマップを作成することができる。しかしながら、公開された詳細なＲＶＲＮが新たにマッピングされた特徴を含んでいる場合、方法７００は、ターミネータ７２２で終了することができる。

図８は、一実施形態に係る、更新可能な協調的３Ｄマップデータ融合プラットフォーム及びその永続的仮想世界システムを可能にする方法７００と組み合わせて用いることができる方法８００のブロック図である。

方法８００は、ステップ８０２で始まり、ステップ８０４で、第２のクライアントデバイスの位置及び向きを取得する。次いで、ステップ８０６で、方法は、第２のクライアントデバイスの少なくとも１つのイメージングデバイスからの画像データと第２のクライアントデバイスのポーズを用いて第２の座標空間内の第２の複数の特徴のポーズを判定する、第２の座標空間のＳＬＡＭプロセスを実行する。続いて、ステップ８０８で、方法８００は、新しいデータと融合３Ｄマップデータとの比較を行うために画像データから十分な特徴が抽出されているかどうかをチェックする。

十分な特徴が取り込まれていない場合、方法は、ステップ８０６に進み、ＳＬＡＭプロセスを続行する。第１の座標空間の十分な特徴がマッピングされると、続いて、方法８００は、第２の複数の特徴を備える第２の新規マップを作成する。図８に示された例では、これは、ステップ８１０で、３Ｄマップデータ融合プラットフォームによる特徴マッチングアルゴリズムを通じて、マッピングされた第２の複数の特徴が融合３Ｄマップに含まれている又は部分的に含まれているかをチェックするために、マッピングされた第２の複数の特徴を融合３Ｄマップと比較する機能を実行することを含む。マッピングされた第１の複数の特徴が融合３Ｄマップに含まれていない又は部分的にしか含まれていない場合、ＳＬＡＭプロセスは、ステップ８１２で、第２の新規マップが作成されるまで続行することができる。次いで、ステップ８１４に示すように、第２の新規マップを融合３Ｄマップとマージして協調的３Ｄマップを作成することができる。しかしながら、融合３Ｄマップが新たにマッピングされた特徴を含んでいる場合、方法８００は、ターミネータ８１６で終了することができる。

さらに別の実施形態では、方法はまた、協調的３Ｄマップを永続的仮想世界システムと協調的３Ｄマップを共有することを含み、協調的３Ｄマップの複数の特徴は、仮想オブジェクトの一部として永続的仮想世界システムと共有される。

図９は、更新可能な協調的３Ｄマップデータ融合プラットフォーム及びその永続的仮想世界システムを可能にする、第１及び第２のクライアントデバイスの両方から同時に画像データを受信する方法９００のブロック図である。

方法９００は、図７のステップ７０２〜７０８のアクションを行うステップ９０２で始まることができる。その後、ステップ９０４で、方法９００は、第１及び第２のクライアントデバイスのポーズを取得することができる。続いて、ステップ９０６で、方法は、第１及び第２のクライアントデバイスの少なくとも１つのイメージングデバイスから画像データを取り込むことによって第１及び第２の座標空間のＳＬＡＭプロセスを同時に行うことができ、前記ＳＬＡＭプロセスは、第１及び第２のクライアントデバイスのポーズを使用して第１及び第２の座標空間内の第１及び第２の複数の特徴のポーズを判定することによって行われる。次いで、ステップ９０８で、方法９００は、十分な特徴が抽出されているかどうかをチェックすることができ、その結果、ステップ９１０で、特徴が比較及び照合され得る。第１の複数の特徴と第２の複数の特徴が一致する場合、方法９００は、特徴の第１のマップと特徴の第２のマップをマージすることに進み、前記マージは、基本マップと位置合わせした状態で行われる。その後、方法９００は、組み合わされたマップをＲＶＲＮと比較及びマージして協調的３Ｄマップを生成する。

第１の複数の特徴と第２の複数の特徴が一致しない場合、方法９００は、ステップ９１４に進み、特徴の第１及び第２のマップを別々にＲＶＲＮと比較及びマージして協調的３Ｄマップを生成することができる。ステップ９１２又は９１４の後で、方法９００は、ターミネータ９１６で終了することができる。

図１０は、一実施形態に係る、更新可能な協調的３Ｄマップデータ融合プラットフォーム及びその永続的仮想世界システムを可能にする方法のさらなるステップを示す方法１０００のブロック図である。

方法１０００は、ステップ１００２で、第１又は第２のクライアントデバイスから識別子コードを取得することで始めることができる。個人ＩＤコードは、例えば、ＱＲコード、ＵＲＬ、ＩＰアドレス、ＭＡＣアドレス、暗号学的ハッシュ、ＵＵＩＤ、又はＯＵＩであり得る。ＩＤコードは、各クライアントデバイスによってマッピングされた全エリアの３Ｄ座標に付加される。次いで、ステップ１００４で、方法は、識別子コードをそれぞれ第１又は第２のマップに関連付けることができる。最後に、方法１０００は、ステップ１００６で、識別された第１又は第２のマップを分散台帳に実装されたスマートコントラクトに格納することで終了することができる。さらに別の実施形態では、クライアントにより識別されたマップ領域寄与は、クライアントデバイスによるマップ領域寄与に関連して報酬を提供することを含む報酬システムで用いられ得る。

図１１は、一実施形態に係る、更新可能な協調的３Ｄマップデータ融合プラットフォーム及びその永続的仮想世界システムを可能にする方法のさらなるステップを示すブロック図である。

方法１１００は、ステップ１１０２で、第１又は第２のクライアントデバイスを通じて、少なくとも１つのサーバコンピュータのメモリに格納された１つ以上の仮想オブジェクトを選択することで始めることができる。次いで、ステップ１１０４で、方法１１００は、仮想オブジェクトの位置合わせのための参照として永続的仮想世界システムと共有される協調的３Ｄマップを用いることによって、選択された仮想オブジェクトを１つ以上の場所の上にオーバーレイすることで終了することができる。

１つ以上のコンピュータに本明細書で説明される方法のいずれかを行わせるように構成された命令を格納しているコンピュータ可読媒体も説明される。コンピュータ可読媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなどの情報を格納することができる任意の方法又は技術で実装される揮発性又は不揮発性の、取り外し可能又は取り外し不可能な媒体を含み得る。一般に、本明細書で説明されるコンピューティングデバイスの機能は、Ｃ、Ｃ＋＋、ＣＯＢＯＬ、ＪＡＶＡ（商標）、ＰＨＰ、Ｐｅｒｌ、Ｐｙｔｈｏｎ、Ｒｕｂｙ、ＨＴＭＬ、ＣＳＳ、ＪａｖａＳｃｒｉｐｔ、ＶＢＳｃｒｉｐｔ、ＡＳＰＸ、Ｃ＃などのＭｉｃｒｏｓｏｆｔ．ＮＥＴ（商標）言語といったプログラミング言語で書くことができるハードウェア又はソフトウェア命令で具体化されるコンピューティング論理で実装され得る。コンピューティング論理は、実行可能プログラムにコンパイルする又は解釈されたプログラミング言語で書くことができる。一般に、本明細書で説明される機能は、より優れた処理能力を提供するために複製する、他のモジュールとマージする、又はサブモジュールに分割することができる論理モジュールとして実装することができる。コンピューティング論理は、任意のタイプのコンピュータ可読媒体（例えば、メモリ又は記憶媒体などの一時的でない媒体）又はコンピュータ記憶装置に格納することができ、１つ以上の汎用又は専用プロセッサに格納し、それにより実行することができ、したがって、本明細書で説明される機能を提供するように構成された専用コンピューティングデバイスを作成することができる。

特定の実施形態が添付の図面に説明及び示されているが、このような実施形態は、広範な開示の単なる例証であって限定するものではないことと、当該技術分野の当業者は他の様々な修正に想到することができるため、本開示は、示され説明された特定の構成及び配置に限定されないことが理解される。したがって、説明は、限定ではなく例証とみなされるべきである。

排他的財産又は特権が主張される本発明の実施形態は、以下のように定義される。

Claims (20)

1. 方法であって、
   少なくとも１つのプロセッサを備える１つ以上のサーバコンピュータのメモリ内に３Ｄマップデータ融合プラットフォームを提供することと、
   前記３Ｄマップデータ融合プラットフォーム内に世界の場所の基本衛星マップを提供することと、
   前記３Ｄマップデータ融合プラットフォームで前記基本衛星マップを参照してリアルタイム仮想レプリカネットワーク（ＲＶＲＮ）を公開することと、
   第１のクライアントデバイスのポーズを取得することと、
   前記第１のクライアントデバイスの少なくとも１つのイメージングデバイスからの画像データ、前記第１のクライアントデバイスのポーズ、及び前記基本衛星マップのデータを用いて第１の座標空間内の第１の複数の特徴のポーズを判定する、前記第１の座標空間の同時ローカライゼーション・マッピング（ＳＬＡＭ）プロセスを実行することと、
   前記第１の座標空間内の第１の複数の特徴の三次元座標を含む第１の新規マップを作成することと、
   前記３Ｄマップデータ融合プラットフォームによって、前記第１の座標空間内の第１の複数の特徴の三次元座標を含む第１の新規マップを公開されたＲＶＲＮとマージして融合３Ｄマップを作成することと、
   を含む、方法。
2. 前記第１の新規マップを作成することが、前記３Ｄマップデータ融合プラットフォームによる１つ以上の特徴マッチングアルゴリズムを通じて、前記第１の複数の特徴を前記公開されたＲＶＲＮと比較することを含む、請求項１に記載の方法。
3. 前記比較するステップが、前記第１の座標空間の特徴の閾値数に達すると実行される、請求項２に記載の方法。
4. 第２のクライアントデバイスのポーズを取得することと、
   前記第２のクライアントデバイスの少なくとも１つのイメージングデバイスからの画像データ、前記第２のクライアントデバイスのポーズ、及び前記融合３Ｄマップのデータを用いて第２の座標空間内の第２の複数の特徴のポーズを判定する、前記第２の座標空間のＳＬＡＭプロセスを開始することと、
   前記第２の複数の特徴を備える第２の新規マップを作成することと、
   前記３Ｄマップデータ融合プラットフォームによって、前記第２の新規マップを前記融合３Ｄマップとマージして協調的３Ｄマップを作成することと、
   をさらに含む、請求項１に記載の方法。
5. 仮想レプリカ、純粋な仮想オブジェクト、アプリケーション、又はこれらの組み合わせを備える永続的仮想世界システムと前記協調的３Ｄマップを共有することをさらに含み、新たにマッピングされたオブジェクトが前記永続的仮想世界システムに追加される、請求項４に記載の方法。
6. 前記第１又は前記第２のクライアントデバイスを通じて、１つ以上の仮想オブジェクトを選択することと、
   前記第１又は前記第２のクライアントデバイスによって、前記仮想オブジェクトの位置合わせのための参照として前記永続的仮想世界システムと共有される協調的３Ｄマップを用いることによって、前記選択された仮想オブジェクトを１つ以上の場所の上にオーバーレイすることと、
   をさらに含む、請求項４に記載の方法。
7. 前記第１又は前記第２のクライアントデバイスから識別子コードを取得することと、
   前記識別子コードを前記第１の新規マップ又は前記第２の新規マップと関連付けることと、
   前記識別子コードと関連付けられているマップを分散台帳に実装されたスマートコントラクトに格納することと、
   をさらに含む、請求項４に記載の方法。
8. 前記格納されたマップが、前記第１又は前記第２のクライアントデバイスによるマップ領域寄与に関連して報酬を提供することを含む報酬システムで用いられる、請求項７に記載の方法。
9. ユーザごとの資格情報を前記画像データに追加することをさらに含み、資格のあるユーザのみが、その場所の画像データを見るためのアクセス権を有する、請求項１に記載の方法。
10. 前記ＳＬＡＭプロセスが、前記第１のクライアントデバイスの１つ以上のプロセッサと、前記１つ以上のサーバコンピュータによって部分的に行われる、請求項１に記載の方法。
11. 更新可能な３Ｄ空間マップを可能にするシステムであって、
    メモリと少なくとも１つのプロセッサとを備える少なくとも１つのサーバコンピュータであって、前記メモリは３Ｄマップデータ融合プラットフォームを格納し、前記少なくとも１つのサーバコンピュータは、
    前記３Ｄマップデータ融合プラットフォーム内に世界の場所の基本衛星マップを提供し、
    前記３Ｄマップデータ融合プラットフォームで前記基本衛星マップを参照して実世界の場所の詳細なリアルタイム仮想レプリカネットワーク（ＲＶＲＮ）を公開し、
    第１のクライアントデバイスのポーズを取得し、
    前記第１のクライアントデバイスの少なくとも１つのイメージングデバイスからの画像データと前記第１のクライアントデバイスのポーズを用いて第１の座標空間内の第１の複数の特徴のポーズを判定する、前記第１の座標空間の同時ローカライゼーション・マッピング（ＳＬＡＭ）プロセスを開始し、
    前記第１の座標空間内の第１の複数の特徴の三次元座標を含む第１の新規マップを作成し、
    前記３Ｄマップデータ融合プラットフォームによって、前記第１の座標空間内の第１の複数の特徴の三次元座標を含む第１の新規マップを公開されたＲＶＲＮとマージして融合３Ｄマップを作成する、
    ように構成される、サーバコンピュータ
    を備える、システム。
12. 前記第１の新規マップを作成することが、前記３Ｄマップデータ融合プラットフォームによる１つ以上の特徴マッチングアルゴリズムを通じて、前記第１の複数の特徴を前記公開されたＲＶＲＮと比較することを含む、請求項１１に記載のシステム。
13. 前記比較するステップが、前記第１の座標空間の特徴の閾値数に達すると実行される、請求項１２に記載のシステム。
14. 前記少なくとも１つのサーバコンピュータがさらに、
    第２のクライアントデバイスの少なくとも１つのイメージングデバイスからの画像データと前記第２のクライアントデバイスのポーズを用いて第２の座標空間内の第２の複数の特徴のポーズを判定する、前記第２の座標空間のＳＬＡＭプロセスを開始し、
    前記第２の複数の特徴を備える第２の新規マップを作成し、
    前記３Ｄマップデータ融合プラットフォームによって、前記第２の新規マップを前記融合３Ｄマップとマージして協調的３Ｄマップを作成する、
    ように構成される、請求項１１に記載のシステム。
15. 前記協調的３Ｄマップが、仮想レプリカ、純粋な仮想オブジェクト、アプリケーション、又はこれらの組み合わせを備える永続的仮想世界システムと共有され、新たにマッピングされたオブジェクトが前記永続的仮想世界システムに追加される、請求項１４に記載のシステム。
16. 前記少なくとも１つのサーバコンピュータがさらに、
    前記第１のクライアントデバイスから識別子コードを取得し、
    前記識別子コードを前記第１の新規マップと関連付け、
    前記識別された第１の新規マップを分散台帳に実装されたスマートコントラクトに格納するように構成され、
    前記識別され格納されたマップが、前記第１のクライアントデバイスによるマップ領域寄与に関連して報酬を提供することを含む報酬システムで用いられる、請求項１１に記載のシステム。
17. 前記第１のクライアントデバイスが、前記少なくとも１つのサーバコンピュータのメモリに格納された１つ以上の仮想オブジェクトを選択し、参照として前記融合３Ｄマップを用いることによって、前記選択された１つ以上の仮想オブジェクトを１つ以上の場所の上にオーバーレイするように構成される、請求項１１に記載のシステム。
18. ３Ｄマップデータ融合プラットフォームを提供するステップと、
    前記３Ｄマップデータ融合プラットフォーム内に世界の場所の基本衛星マップを提供するステップと、
    前記３Ｄマップデータ融合プラットフォームで前記基本衛星マップを参照してリアルタイム仮想レプリカネットワーク（ＲＶＲＮ）を公開するステップと、
    第１のクライアントデバイスのポーズを取得するステップと、
    前記第１のクライアントデバイスの少なくとも１つのイメージングデバイスからの画像データと前記第１のクライアントデバイスのポーズと前記基本衛星マップのデータを用いて第１の座標空間内の第１の複数の特徴のポーズを判定する、前記第１の座標空間の同時ローカライゼーション・マッピング（ＳＬＡＭ）プロセスを実行するステップと、
    前記第１の座標空間内の第１の複数の特徴の三次元座標を備える新規マップを作成するステップと、
    前記３Ｄマップデータ融合プラットフォームによって、前記第１の座標空間内の第１の複数の特徴の三次元座標を含む第１の新規マップを公開されたＲＶＲＮとマージして融合３Ｄマップを作成するステップと、
    を１つ以上のプロセッサに行わせるように構成されたコンピュータで実行可能な命令を格納している一時的でないコンピュータ可読媒体。
19. 前記第１の新規マップを作成することが、１つ以上の特徴マッチングアルゴリズムを通じて、前記第１の複数の特徴を前記公開されたＲＶＲＮと比較することを含む、請求項１８に記載の一時的でないコンピュータ可読媒体。
20. 前記比較するステップが、前記第１の座標空間の特徴の閾値数に達すると実行される、請求項１９に記載の一時的でないコンピュータ可読媒体。

Images