JP2015504550A - 無線通信デバイスのためのハンズ・フリー拡張現実感 - Google Patents

Abstract

本開示は、無線通信デバイス（ＷＣＤ）にハンズ・フリー拡張現実感を提供するための技法に関する。この技法によれば、ＷＣＤ内のアプリケーション・プロセッサが、拡張現実感（ＡＲ）アプリケーションを実行し、複数のイメージ・フレームを受信する。そして、複数のイメージ・フレームを、シーンを表わすためにともにステッチされる複数のイメージ・フレームを備える単一のピクチャに変換する。ＡＲアプリケーションを実行しているＷＣＤは、その後、単一のピクチャで表わされるシーンのＡＲコンテンツをＡＲデータベース・サーバから要求し、シーンのＡＲコンテンツを、ＡＲデータベース・サーバから受信し、このＡＲコンテンツを処理し、ＷＣＤでユーザに表示するための単一のピクチャをオーバレイする。このようにして、ユーザは、オーバレイされたＡＲコンテンツを備える単一のピクチャを、ＷＣＤのディスプレイにおいて快適に見て、単一のピクチャで表わされるシーンについてもっと知ることができる。

Description

優先権主張

本願は、その全体内容が参照によって本明細書に組み込まれている２０１１年１１月８日出願の米国仮出願６１／５５７，２６５号の利益を主張する。

本開示は、無線通信デバイスに関し、特に、無線通信デバイスにおける拡張現実感アプリケーションに関する。

無線通信デバイス（ＷＣＤ）は、モバイル電話、無線通信カードを備えたポータブル・コンピュータ、携帯情報端末（ＰＤＡ）、ポータブル・メディア・プレーヤ、ポータブル・ゲーム・デバイス、または、いわゆる「スマート」フォンおよび「スマート」パッドまたはタブレットを含む無線通信機能を備えたその他のデバイスを含む。ＷＣＤは、一般に、制限されたバッテリ・リソースによって駆動される。したがって、ＷＣＤを設計する際、および、ＷＣＤで動作するアプリケーションを設計する際、バッテリ寿命の向上および維持が、永遠の懸念である。しかしながら、バッテリ寿命に対する懸念は、ＷＣＤで動作するアプリケーションにおける機能向上に対する要求によって相殺される。

一例として、拡張現実感（ＡＲ：augmented reality）アプリケーションが、ＷＣＤにおいてますますポピュラになってきている。ＡＲアプリケーションは、ＷＣＤ内のカメラによってキャプチャされたリアル・タイム・ビデオで表わされるシーンの情報を収集することによって、ＷＣＤにおいて動作する。ＡＲアプリケーションは、ＡＲサーバへ、リアル・タイム・ビデオを送信する。その後、ＡＲアプリケーションは、リアル・タイム・ビデオで表わされるシーンのＡＲコンテンツをＡＲサーバから受信し、このＡＲコンテンツを、ユーザに対して表示するために、リアル・タイム・ビデオにオーバレイする。ＡＲコンテンツは、リアル・タイム・ビデオのシーンに含まれる、ビジネス、ランドマーク、交通、人、オブジェクト等に関する情報を含みうる。

ＡＲアプリケーションがＷＣＤにおいて実行している場合、リアル・タイム・ビデオの各シーンのＡＲコンテンツをＷＣＤのユーザに示すために、上記ステップがなされうる。例えば、ＷＣＤのユーザは、市街道路に沿った単一の方向でビデオを撮影し、そのシーンの情報を受信しうる。ユーザが、ＷＣＤを移したり、傾けたり、ゆっくり動かした場合、ＷＣＤ内のカメラは、例えば、同じ道路に沿った別方向におけるような別のシーンを表すリアル・タイム・ビデオをキャプチャするだろう。そして、この新たなシーンの情報を受信するために、上記ステップが繰り返されるだろう。

一般に、本開示は、無線通信デバイス（ＷＣＤ）におけるハンズ・フリー拡張現実感を提供する技術に関する。本技法によれば、ＷＣＤ内のアプリケーション・プロセッサが、拡張現実感（ＡＲ）アプリケーションを実行し、複数のイメージ・フレームを受信し、これら複数のイメージ・フレームを、シーンを表すためにともにステッチされる複数のイメージ・フレームを含む単一のピクチャに変換する。ＡＲアプリケーションを実行しているＷＣＤは、これらイメージ・フレームが単一のピクチャに変換された後、単一のピクチャにおいて表わされるシーンのＡＲコンテンツを、ＡＲデータベース・サーバから要求し、このＡＲデータベース・サーバから、このシーンのＡＲコンテンツを受信し、このＡＲコンテンツを処理し、ＷＣＤでユーザへ表示するために、単一のピクチャをオーバレイする。このように、ユーザは、オーバレイされたＡＲコンテンツを備える単一のピクチャを、ＷＣＤのディスプレイにおいて快適に見て、例えば、シーンがキャプチャされた後、ＷＣＤを、シーンに連続的に向ける必要なく、単一のピクチャで表されるシーンについてもっと知ることができる。例えば、ＡＲコンテンツは、単一のピクチャのシーンに含まれる、ビジネス、ランドマーク、交通、人、オブジェクト等に関する情報を含みうる。

一例において、本開示は、ＷＣＤを用いて拡張現実感アプリケーションを実行する方法に向けられている。この方法は、おのおのがシーンの一部を表わす複数のイメージ・フレームを、ＷＣＤのプロセッサを用いて受信することと、これら複数のイメージ・フレームを単一のピクチャに変換することとを備える。ここで、単一のピクチャは、シーンを表わすためにともにステッチされる複数のイメージ・フレームを備える。この方法はさらに、単一のピクチャにおいて表わされるシーンのＡＲコンテンツを、ＡＲデータベース・サーバから要求することと、このＡＲデータベース・サーバから、この単一のピクチャにおいて表わされるシーンのＡＲコンテンツを受信することと、このＡＲコンテンツを処理し、ＷＣＤにおける表示のために、単一のピクチャをオーバレイすることと、を備える。

別の例では、本開示は、拡張現実感アプリケーションを実行するためのＷＣＤに向けられている。このＷＣＤは、イメージ・データを格納するメモリと、プロセッサと、ディスプレイとを備える。このプロセッサは、おのおのがシーンの一部を表わす複数のイメージ・フレームを受信し、これら複数のイメージ・フレームを単一のピクチャに変換するように構成されている。ここで、単一のピクチャは、シーンを表わすためにともにステッチされる複数のイメージ・フレームを備える。プロセッサはさらに、単一のピクチャにおいて表わされるシーンのＡＲコンテンツを、ＡＲデータベース・サーバから要求し、このＡＲデータベース・サーバから、このシーンのＡＲコンテンツを受信し、このＡＲコンテンツを処理し、単一のピクチャをオーバレイする、ように構成されている。ディスプレイは、オーバレイされたＡＲコンテンツを備える単一のピクチャを、ＷＣＤのユーザに表示する。

さらなる例において、本開示は、拡張現実感アプリケーションを実行するＷＣＤに向けられている。このＷＣＤは、おのおのがシーンの一部を表わす複数のイメージ・フレームを受信する手段と、これら複数のイメージ・フレームを単一のピクチャに変換する手段とを備える。ここで、単一のピクチャは、シーンを表わすためにともにステッチされる複数のイメージ・フレームを備える。ＷＣＤはさらに、単一のピクチャにおいて表わされるシーンのＡＲコンテンツを、ＡＲデータベース・サーバから要求する手段と、このＡＲデータベース・サーバから、単一のピクチャにおいて表わされるシーンのＡＲコンテンツを受信する手段と、このＡＲコンテンツを処理し、ＷＣＤにおける表示のために、単一のピクチャをオーバレイする手段と、を備える。

別の例では、本開示は、ＷＣＤにおいて実行された場合、１または複数のプログラム可能なプロセッサに対して以下を実行させる、拡張現実感アプリケーションを実行するための命令群を備えるコンピュータ読取可能な媒体に向けられている。これら命令群は、おのおのがシーンの一部を表わす複数のイメージ・フレームを受信することと、これら複数のイメージ・フレームを単一のピクチャに変換することとを実行させる。ここで、単一のピクチャは、シーンを表わすためにともにステッチされる複数のイメージ・フレームを備える。命令群はさらに、単一のピクチャにおいて表わされるシーンのＡＲコンテンツを、ＡＲデータベース・サーバから要求することと、このＡＲデータベース・サーバから、このシーンのＡＲコンテンツを受信することと、このＡＲコンテンツを処理し、ＷＣＤにおいて表示するために、単一のピクチャをオーバレイすることと、を実行させる。

本開示の１または複数の例の詳細は、以下の添付図面および詳細説明において記載されている。他の特徴、目的、および利点が、説明と図面から、および特許請求の範囲から明らかになるだろう。

図１は、開示された技法の例にしたがって、ハンズ・フリー拡張現実感を提供することが可能な無線通信デバイス（ＷＣＤ）を例示するブロック図である。 図２は、従来の技法にしたがって、拡張現実感アプリケーションを実行する典型的なＷＣＤを例示する概念図である。 図３は、開示された技法の例にしたがって、ハンズ・フリー拡張現実感アプリケーションを実行するＷＣＤによって生成されたオーバレイされたＡＲコンテンツを備えるシーンを表わす単一のピクチャを例示する概念図である。 図４は、シーンを表わす単一のピクチャにＡＲコンテンツをオーバレイするために、ＷＣＤを用いてハンズ・フリー拡張現実感アプリケーションを実行する典型的な技法を例示するフローチャートである。 図５は、ＷＣＤへのユーザ入力に基づくＡＲコンテンツ設定にしたがって、ハンズ・フリー拡張現実感アプリケーションを実行する典型的な技法を例示するフローチャートである。

図１は、開示された技法にしたがって、ハンズ・フリー拡張現実感を提供することが可能な無線通信デバイス（ＷＣＤ）１０を例示するブロック図である。これら技法は、ユーザが、シーンの拡張現実感（ＡＲ）コンテンツを受信したり、レビューするために、カメラ２０を備えたＷＣＤ１０を、シーンに向けたままずっと持っている必要がないことから、「ハンズ・フリー」と考えられうる。その代わりに、これら技法によって、ユーザは、シーンがキャプチャされた後、シーンのＡＲコンテンツをレビューするために、ＷＣＤ１０をこのシーンに連続的に向ける必要なく、快適に、ＷＣＤ１０を、ユーザの膝に載せたり、テーブルの上に置くことが可能となる。

ＷＣＤ１０は、モバイル電話、無線通信カードを備えたポータブル・コンピュータ、携帯情報端末（ＰＤＡ）、ポータブル・メディア・プレーヤ、ポータブル・ゲーム・デバイス、または、いわゆる「スマート」フォンおよび「スマート」パッドまたはタブレット・コンピュータを含む無線通信機能を備えたその他のデバイスを含むモバイル・デバイスでありうる。図１に例示されるように、ＷＣＤ１０は、アプリケーション・プロセッサ１２、拡張現実感（ＡＲ）アプリケーション１４、ディスプレイ・プロセッサ１６、ディスプレイ１８、カメラ２０、１または複数のセンサ２２、メモリ２４、送信機／受信機（ＴＸ／ＲＸ）２６、および、バッテリ２８すなわちバッテリ・ベース電源を含む。

一般に、アプリケーション・プロセッサ１２は、ＡＲアプリケーション１４を含むさまざまなアプリケーションがＷＣＤ１０上で動作しうる環境を提供する。追加の例のアプリケーションは、テキスト・アプリケーション、電子メール・アプリケーション、ビデオ・ゲーム・アプリケーション、ビデオまたはピクチャ・スライドショー・アプリケーション、プレゼンテーション・アプリケーション、ビデオ会議アプリケーション等を含みうる。アプリケーション・プロセッサ１２は、メモリ２４、カメラ２０、および／または、センサ２２から、これらのアプリケーションによって使用されるデータを受信しうる。カメラ２０は、静止画および／またはビデオをキャプチャすることが可能なイメージ・センサを含みうる。センサ２２は、コンパス・センサ、グローバル・ポジショニング信号（ＧＰＳ）センサ、またはＷＣＤ１０に組み込まれたその他のタイプの位置決めセンサを含みうる。ディスプレイ・プロセッサ１６は、ＷＣＤ１０においてアプリケーション・データを示すために、ディスプレイ１８における表示のために、アプリケーション・プロセッサ１２からのイメージ・データを処理する。いくつかの場合には、ＷＣＤ１０はさらに、ビデオ・エンコーダ、ビデオ・デコーダ、および／または、“ＣＯＤＥＣ”として知られているビデオ・エンコーダとデコーダとの組み合わせを含みうる。

本開示の技法によれば、ＷＣＤ１０内のアプリケーション・プロセッサ１２は、拡張現実感（ＡＲ）アプリケーション１４を実行して、シーンの異なる部分を表わす複数のイメージ・フレームを受信し、これら複数のイメージ・フレームを、これら複数のイメージ・フレームを含む単一のピクチャに変換する。これら複数のイメージ・フレームのすべてまたは一部は、ともにステッチされ、シーンを表す単一のピクチャが生成される。アプリケーション・プロセッサ１２は、イメージ・フレームを単一のピクチャに変換した後、単一のピクチャにおいて表わされるシーンのＡＲコンテンツを、ＡＲデータベース・サーバから要求し、このＡＲデータベース・サーバから、このシーンのＡＲコンテンツを受信し、このＡＲコンテンツを処理し、ＷＣＤ１０においてユーザへ表示するために単一のピクチャをオーバレイする。このようにして、ユーザは、オーバレイされたＡＲコンテンツを備える単一のピクチャを、ＷＣＤ１０のディスプレイ１８において快適に見て、例えば、単一のピクチャにキャプチャされたシーンに向けることなく、単一のピクチャで表わされるシーンについてもっと知ることができる。

ＡＲアプリケーション１４は、アプリケーション・プロセッサ１２によって実行された場合、単一のピクチャで表わされるシーンに関する情報を、ＷＣＤのユーザ１０に提供する。単一のピクチャで表わされるシーンは、道路、ビルディング、乗り物、公園、水域等を含む屋外エリアを含みうる。このシーンはまた、オフィス・ビルディングおよびショッピング・モールの内部を含む屋内エリアをも含みうる。さらに、このシーンは、人間を含みうる。シーン・タイプの上記リストは、典型的であり、ＡＲコンテンツがＡＲアプリケーション１４によって提供されうるシーンのタイプの完全なリストを提供している訳ではない。

シーンのために提供されるＡＲコンテンツは、例えば、レストランおよびバーの営業時間、メニュー、およびスペシャルや、食料品店および小売店における販売、来たるべきイベント、および／または、ビジネスの顧客各付けのような、シーン内のビジネスに関する情報を含みうる。ＡＲコンテンツはさらに、例えば、公共交通機関の時刻表、公共公園情報、史跡およびイベント、旅行情報、および／または、警察署や緊急サービスの場所のような、シーンに含まれる都市または近隣に関する情報をも含みうる。さらに、ＡＲコンテンツは、シーンに含まれる外国語表記の翻訳を含みうる。ＡＲコンテンツはさらに、例えば、人がソーシャル・ネットワーク会社によってユーザに関連付けられているか否か、および、どのようにして関連付けられているのかのような、シーンに含まれる人の識別情報を含みうる。ＡＲコンテンツはさらに、例えば、温度、天気予報、および／または、公害レベルおよびアレルゲン・レベルのような環境情報をも含みうる。ＡＲコンテンツのタイプの上記リストは典型的であり、ＡＲアプリケーション１４によって提供されうる、シーンに関する情報のタイプの完全なリストを提供している訳ではない。

従来実行されているＡＲアプリケーションは、ユーザが、ＷＣＤを持ち続けることと、ＷＣＤに含まれたカメラを用いて単一方向でシーンのリアル・タイム・ビデオを撮影することとを必要とする。ユーザがＷＣＤを持ち、リアル・タイム・ビデオを撮影している間、ユーザは、ＷＣＤに表示されるリアル・タイム・ビデオにオーバレイされたＡＲコンテンツを、「プレビュー」ウィンドウで見ることができる。ユーザが腕を下げ、リアル・タイム・ビデオの撮影を停めると、ユーザはもはや、このシーンやＡＲコンテンツを見ることができない。従来実行されているＡＲアプリケーションが、図２に例示されている。

従来の技法は、ユーザに対して人目を気にさせうる。また、リアル・タイムでビデオを撮影することと、ＡＲビデオでＡＲコンテンツを見ることとの両方を行うためにＷＣＤを持ち続けていなければならないことから、腕の疲れ、いわゆる「ゴリラ・アーム」をもたらしうる。ハンズ・フリー拡張現実感を与えるための１つの解決策は、シーンのＡＲコンテンツを、ユーザによってかけられたゴーグルまたはメガネにオーバレイさせるバーチャル・リアリティ（ＶＲ）ゴーグルをかけることであった。これらのゴーグルは、「オタクっぽい」と考えられ、ユーザに対してＷＣＤを持つよりもさらに人目を気にさせうる。さらに、ＶＲゴーグルは、一般に、高価である。これら従来の技法はともに、ユーザに対して人目を気にさせ、ＡＲアプリケーションを使用する可能性を下げることから、好ましくない。

本開示の技法は、以前に撮影または録画されたイメージ・フレームを、シーンを表す単一のピクチャに変換することと、このシーンのＡＲコンテンツを、単一のピクチャ上にオーバレイすることとによって、これら問題を回避する。これによって、ユーザは、シーンに向かう必要なく、任意の時間および任意の場所において、シーンのＡＲコンテンツを見ることができる。このように、これら技法は、ゴーグルも、あるいは、ＷＣＤ１０へのその他の外部デバイスをも必要とすることなく、ハンズ・フリー拡張現実感を提供する。

さらに詳しくは、本開示の技法にしたがって、アプリケーション・プロセッサ１２が、ＡＲアプリケーション１４を実行し、おのおのがシーンの一部を表わす複数のイメージ・フレームを受信する。これらイメージ・フレームは、シーンのビデオ・データの複数のビデオ・フレームまたは、複数の静止画でありうる。いくつかの場合には、これらイメージ・フレームは、ＷＣＤ１０の外部にある記憶デバイスから受信されうる。その他の場合には、これらイメージ・フレームは、ＷＣＤ１０に含まれたカメラ２０によってキャプチャされうる。

ユーザが、ＷＣＤに含まれているビデオ・カメラを連続的に動作させることと、リアル・タイム・ビデオにオーバレイされたＡＲコンテンツをＷＣＤのプレビュー・ウィンドウで見ることと、を必要とする従来の技法とは異なり、本技法によって、ユーザは、シーンのビデオ・データのほんの数秒間、または、多くの静止画を撮影することができる。いくつかの例において、イメージ・フレームは、複数のビデオ・フレームを含むビデオのほんの数秒間、または、複数の静止画をキャプチャするために、ＷＣＤ１０に含まれるカメラ２０を、シーンにわたってパノラマ方式にスイープさせることによってキャプチャされうる。キャプチャされたイメージ・フレームは、その後、ＡＲアプリケーション１４による使用のために、アプリケーション・プロセッサ１２にダイレクトに送信されうる。あるいは、イメージ・フレームがメモリ２４に格納され、その後、ＡＲアプリケーション１４による使用のためにアプリケーション・プロセッサ１２によって取得されうる。

アプリケーション・プロセッサ１２は、その後、複数の静止画から、または、ビデオ・データの数秒間からの複数のイメージ・フレームを、シーンを表わすためにともにステッチされる複数のイメージ・フレームを備える単一のピクチャに変換する。いくつかの例では、ＷＣＤ１０内のアプリケーション・プロセッサ１２が、複数のイメージ・フレームをともにステッチすることによって、単一のピクチャを生成しうる。アプリケーション・プロセッサ１２は、例えば、パノラマ・シーンをステッチするために従来使用されてきたようなさまざまな従来方式のうちの何れかによってステッチを実行しうる。その他の例では、ＷＣＤ１０内のアプリケーション・プロセッサ１２が、ＴＸ／ＲＸ２６によって遠隔サーバへイメージ・フレームを送信しうる。この例では、アプリケーション・プロセッサ１２は、遠隔サーバに対して、複数イメージ・フレームをステッチして単一のピクチャを生成するように指示する。そして、遠隔サーバから戻された単一のピクチャを受信する。この単一のピクチャは、市街道路、史跡、近隣等を、複数の方向で表わしうる。このように、この単一のピクチャは、シーンのパノラマ表示を備えうる。

例として、ユーザは、ＷＣＤ１０に含まれるカメラ２０を、所与の場所から１８０°または３６０°まで回転させることによって、パノラマ方式でシーンを撮影しうる。ビデオ・データの場合、ユーザは、毎秒およそ３０のフレームを撮影するために、ＷＣＤ１０のカメラ２０をシーンにわたって単純にスイープさせうる。静止画の場合、ユーザは、ＷＣＤ１０のカメラ２０を用いて静止画を撮影し、カメラ２０を数°動かし、次の静止画を撮影する。その後、カメラ２０を再度動かし、別の静止画を撮影する、ということを全シーンにわたって行う。いずれの場合であれ、アプリケーション・プロセッサ１２または遠隔サーバは、キャプチャされたイメージ・フレームをともにステッチして、単一のパノラマ・ピクチャを生成する。複数の静止画から単一のピクチャを生成するために、アプリケーション・プロセッサ１２または遠隔サーバは、複数の静止画をともにフィットさせ、これら静止画間の冗長な情報を除去して、シームレスな単一のピクチャを生成するように構成されうる。複数のビデオ・フレームからの単一のフレーム、すなわち、ビデオ・データのうちのほんの数秒間を生成するために、アプリケーション・プロセッサ１２または遠隔サーバは、一時的に、ビデオ・フレームをダウン・サンプルし、シームレスな単一のピクチャを生成するために、ビデオ・フレーム間の冗長な情報を除去しうる。

例えば、生成された単一のピクチャは、６０００×１２８０ピクセルのサイズを備えた非常に大きなイメージでありうる。いくつかのケースでは、ＷＣＤ１０またはＷＣＤ１０のアプリケーション・プロセッサ１２のユーザは、ＷＣＤ１０においてイメージ・フレームをともにステッチすること、または、遠隔サーバにおいてともにステッチされるべきイメージ・フレームを送信することによって、単一のピクチャを生成するか否かをアプリオリに決定しうる。単一のピクチャがＷＣＤ１０において生成されるか、または、遠隔サーバにおいて生成されるかは、ＷＣＤ１０におけるメモリの量、バッテリ寿命、および処理強度、ＷＣＤ１０に利用可能な現在のデータ・レート、および、データのメガバイト（ＭＢ）あたりのコストに依存しうる。アプリケーション・プロセッサ１２は、例えば、ＷＣＤ１０の処理電力を、遠隔サーバの処理電力と比較しうる。アプリケーション・プロセッサ１２はまた、単一のピクチャを遠隔サーバへ送信するために、複数のイメージ・フレームと比べてどれくらい多くの電力が必要とされるのかと、単一のピクチャを遠隔サーバへ送信するために、複数のイメージ・フレームと比べてＭＢあたりどれくらいのコストが必要とされるのかとを判定するために、信号強度を確認しうる。さらに、アプリケーション・プロセッサ１２は、ＷＣＤ１０の残りのバッテリ寿命を判定するために、ＷＣＤ１０の内のバッテリ２８を確認しうる。

これらの要因は、おのおののＷＣＤおよびおのおののユーザについて変わるだろう。例えば、ＷＣＤ１０が、無制限のデータおよび良好な信号強度の高速電話であれば、アプリケーション・プロセッサ１２は、単一のピクチャを生成するために、これらイメージ・フレームをともにローカルにステッチしなければならない。一方、ＷＣＤ１０が低機能電話であれば、アプリケーション・プロセッサ１２は、ＷＣＤ１０に関連付けられたデータ・プランが非常に高価である場合を除き、単一のピクチャを生成するため、ステッチするためにイメージ・フレームを遠隔サーバへ送信しなければならない。その場合、アプリケーション・プロセッサ１２が、複数のイメージ・フレームを遠隔サーバへ送信し、ステッチされた単一のピクチャをサーバから受信するのに、コスト高になりうる。さらに、ＷＣＤ１０のバッテリ２８がフル・パワーである場合、アプリケーション・プロセッサ１２は、単一のピクチャを生成するため、ステッチするためのイメージ・フレームを遠隔サーバへ送信し、遠隔サーバから戻された単一のピクチャを受信しうる。しかしながら、ＷＣＤ１０のバッテリ２８の電力レベルが低いのであれば、代わりに、アプリケーション・プロセッサ１２が、イメージ・フレームをローカルにステッチし、単一のピクチャを生成しうる。

ＡＲアプリケーション１４を実行するアプリケーション・プロセッサ１２は、イメージ・フレームが単一のピクチャに変換された後、ＡＲデータベース・サーバから、単一のピクチャに表わされたシーンのＡＲコンテンツを要求する。アプリケーション・プロセッサ１２は、この単一のピクチャをＡＲデータベース・サーバへ送信することによって、シーンのＡＲコンテンツを要求しうる。その他のケースでは、アプリケーション・プロセッサ１２は、複数のイメージ・フレームのうちの１またはそれ以上をＡＲデータベース・サーバへ送信することによって、シーンのＡＲコンテンツを要求しうる。一般に、ＡＲデータベース・サーバは、アプリケーション・プロセッサ１２が、ＴＸ／ＲＸ２６によってＡＲデータベース・サーバへ単一のピクチャを送信できるように、ＷＣＤ１０への遠隔サーバを備える。第１の遠隔サーバが単一のピクチャを生成するケースでは、ＡＲデータベースは、同じ第１の遠隔サーバにおいて、または、別の第２の遠隔サーバにおいて格納されうる。別の例では、ＡＲデータベースは、ＷＣＤ１０に格納されうる。

この開示では、これら技法は主に、単一のピクチャにおいて表わされるシーンに関連付けられたＡＲコンテンツを要求するために、単一のピクチャがＷＣＤ１０からＡＲデータベース・サーバへ送信されるケースにしたがって記載されている。しかしながら、これら技法は、例えば、複数の静止画または複数のビデオ・フレームのような複数のイメージ・フレームのおのおののＡＲコンテンツを要求するために、これら複数のイメージ・フレームがＡＲデータベース・サーバへダイレクトに送信されるケースにも適用されうると理解されるべきである。アプリケーション・プロセッサ１２は、ＡＲコンテンツが受信された後、イメージ・フレームのおのおののＡＲコンテンツを単一のピクチャに適用しうる。

シーンのためにＡＲコンテンツがどのように要求されるのかに関わらず、ＷＣＤ１０は、単一のピクチャにおいて表わされるシーン全体のＡＲコンテンツを受信しうる。アプリケーション・プロセッサ１２は、ＡＲコンテンツを処理し、単一のピクチャをオーバレイする。いくつかの例では、ディスプレイ・プロセッサ１６は、ＡＲコンテンツの処理またはレンダリングを実行するために、アプリケーション・プロセッサ１２と共に動作しうる。その後、ディスプレイ・プロセッサ１６は、ＷＣＤ１０のディスプレイ１８においてユーザへ表示するために、オーバレイされたＡＲコンテンツを備える単一のピクチャを準備する。このように、ＷＣＤ１０のユーザは、オーバレイされたＡＲコンテンツを備える単一のピクチャを、ディスプレイ１８において、快適に見て、例えば、座っている間、または、イメージにおいてキャプチャされたシーンに向かっていない間、周囲のエリアについてもっと知ることができる。

ＡＲコンテンツは、単一のピクチャに表わされたシーンのＡＲコンテンツを表すグラフィックおよび／またはテキストを含みうる。ＡＲコンテンツはまた、単一のピクチャに対応するグラフィックおよび／またはテキストのための位置情報を含みうる。例えば、ＡＲコンテンツは、単一のピクチャにおいてキャプチャされた場所におけるイベントを記述するテキストを含みうる。ＡＲコンテンツは、テキストを配置する単一のピクチャにおける場所の、例えば（ｘ，ｙ）ピクセル位置のような位置情報をも含みうる。

一般に、ＡＲデータベース・サーバは、単一のピクチャに対応する位置情報を備えるＡＲコンテンツのみを、アプリケーション・プロセッサ１２へ送信するだろう。例えば、ＡＲコンテンツの各アイテムは、ＡＲコンテンツを表わすグラフィックおよび／またはテキストを単一のピクチャ上の正しい位置に配置するために、関連付けられた座標を含んでいる。これは、ＡＲデータベース・サーバが、単一のピクチャ上にＡＲコンテンツを配置し、オーバレイされたＡＲコンテンツを備える大量の単一のピクチャをＷＣＤ１０へ返信することよりも時間も電力も消費しない。しかしながら、いくつかの例では、ＡＲデータベース・サーバは、オーバレイされたＡＲコンテンツを備える単一のピクチャの全体を、ＷＣＤ１０へ戻しうる。その場合、アプリケーション・プロセッサ１２および／またはディスプレイ・プロセッサ１６は、ディスプレイ１８に表示するために、オーバレイされたＡＲコンテンツを備える、受信された単一のピクチャを処理またはレンダリングしうる。

アプリケーション・プロセッサ１２はまた、単一のピクチャに加えて、単一のピクチャおよび／またはイメージ・フレームの生成に関連付けられた位置情報および／または遠近情報を、ＡＲデータベース・サーバへ送信しうる。このように、アプリケーション・プロセッサ１２は、単一のピクチャに表わされるシーンに含まれるオブジェクトがキャプチャされた場合、ユーザに対するオブジェクトの位置に少なくとも部分的に基づいて、これらオブジェクトのＡＲコンテンツを受信しうる。アプリケーション・プロセッサ１２は、例えば、コンパス・センサ、ＧＰＳセンサ等のような１または複数のセンサ２２から、位置情報および／または遠近情報を受信しうる。アプリケーション・プロセッサ１２は、おのおのがシーンの一部を表わし単一のピクチャを生成するためにともにステッチされる複数のイメージ・フレームの位置情報および／または遠近情報を受信しうる。このように、単一のピクチャに表わされるシーンの別の部分は、別の位置情報および／または遠近情報を有しうる。いくつかのケースでは、アプリケーション・プロセッサ１２はまた、単一のピクチャで表わされたシーンと、このシーンの以前のピクチャとの間の差分を示す、シーンのＡＲコンテンツを受信するために、イメージ・フレームおよび／または単一のピクチャを生成することに関連付けられた時間情報および日付情報をＡＲデータベース・サーバへ送信しうる。

本開示に記載されたハンズ・フリーＡＲ技法によれば、単一のピクチャにおいてキャプチャされたシーンについて、従来のＡＲ技法よりも、よりロバストに見ることができる。従来のＡＲ技法では、ユーザは、ＷＣＤを持ち、リアル・タイム・ビデオを撮影している間、瞬時的なＡＲコンテンツしか期待していない。これにより、リアル・タイム・ビデオにオーバレイされるべきＡＲコンテンツは、制限された量しか容易に決定されないようになる。さらに、従来の技法では、ユーザは、シーンの光景が絶えず変化するように、ＷＣＤのカメラを移動またはスイープさせうる。取得するのに長い時間を要するＡＲコンテンツは、ＷＣＤがこのＡＲコンテンツを取得する時までに古くなっている場合がありうる。例えば、ＷＣＤが、特定のランドマークのＡＲコンテンツを受信した時に、ユーザは、リアル・タイム・ビデオの方向を変えており、この特定のランドマークがもはやリアル・タイム・ビデオによってキャプチャされたシーンに含まれず、このＡＲコンテンツが不要になっているかもしれない。

本開示の技法によれば、ユーザは、シーンの静止した単一ピクチャに、ユーザが好きなだけ座ったり立ち上がったりすることができる。したがって、ユーザは、表示のために取得され処理されるべき単一のピクチャに表わされたシーンに関連付けられたＡＲコンテンツのすべてを求めてより長く待つことをいとわないかもしれない。より長い待ち時間に対するトレード・オフは、例えば、ウェブサイトおよびビデオに対するリンクを含むＡＲコンテンツの詳細の量がより多くなり、よりレベルが高くなることでありうる。ユーザはまた、シーンの単一のピクチャにおいて、および、単一のピクチャにわたってナビゲートすることができる。例えば、これら技法によって、ユーザは、オーバレイされたＡＲコンテンツを備える単一のピクチャをディスプレイ１８において見ている場合、例えば、ゆっくり動かしたりし、傾けたり、ズームさせる動作のようなイメージ動作を実行することが可能となる。このように、ユーザが、単一のピクチャにキャプチャされた特定の領域またはビルディングにゆっくり動かしたりズームさせると、その領域内のさらなるＡＲコンテンツが表わされうる。

より具体的な例として、アプリケーション・プロセッサ１２および／またはディスプレイ・プロセッサ１６は、単一のピクチャにおいて表わされるシーンの新たな光景を生成するために、ユーザ入力に応じて、例えば単一のピクチャにおいてゆっくり動かしたり、傾けたり、スクロースしたり、ズームさせる動作のような１または複数のイメージ動作を実行しうる。アプリケーション・プロセッサ１２および／またはディスプレイ・プロセッサ１６は、これらイメージ動作が実行されたた後、ＡＲコンテンツを追加することと、単一のピクチャからＡＲコンテンツを除去することとのうちの１によって、単一のピクチャに新たな光景をオーバレイするために、ＡＲコンテンツを更新しうる。いくつかのケースでは、ＡＲコンテンツを更新することは、ＡＲデータベース・サーバからの単一のピクチャに表わされるシーンの追加のＡＲコンテンツを要求することを含みうる。

いくつかのケースでは、アプリケーション・プロセッサ１２は、単一のピクチャを生成するために用いられる複数のイメージ・フレームのうちのおのおののために、例えばＧＰＳ読取のような位置情報と、例えば、コンパス読取のような遠近情報とを受信しうる。このように、ＷＣＤ１０のユーザが、単一のピクチャに表わされるシーンの特定の部分に注目している場合、アプリケーション・プロセッサ１２は、このシーンの特定の部分を表わすイメージ・フレームのために受信された位置情報および／または遠近情報に基づいて、ＡＲデータベース・サーバからの追加のＡＲコンテンツを要求しうる。さらに詳しくは、シーンの一部のＡＲコンテンツは、ＡＲデータベース・サーバによって認識されたシーンの一部における目に見えるオブジェクトに基づく情報と、イメージ・フレームをキャプチャする場合、ユーザが立ちあがる場所に対する目に見えるオブジェクトの位置に基づく情報と、を含むだろう。例えば、ユーザが、所与のビルディングにズーム・インした場合、このビルディングのＡＲコンテンツは、ビルディングの外側において認識されるレストラン名に関連付けられたメニューと、ビルティング自体や、ビルディングの相対位置に基づいてビルディングに含まれるその他のビジネスの名称と、を含みうる。

アプリケーション・プロセッサ１２は、ユーザ入力に基づいて、ＡＲコンテンツ設定を決定しうる。ＡＲコンテンツ設定は、ＡＲデータベース・サーバから受信するＡＲコンテンツの１または複数のタイプと、ＡＲデータベース・サーバから受信するＡＲコンテンツの量と、ＡＲデータベース・サーバからＡＲコンテンツを受信する時間とを含みうる。アプリケーション・プロセッサ１２は、その後、このＡＲコンテンツ設定にしたがって、ＡＲデータベース・サーバから、単一のピクチャに表わされるシーンのＡＲコンテンツを受信しうる。例として、ユーザは、エリア内のレストランを迅速に選択するために、ウェブサイト・リンクではなく、ユーザ各付けを有するレストラン情報を受信することを選択するだけでありうる。ＡＲコンテンツ設定が変わった場合、アプリケーション・プロセッサ１２および／またはディスプレイ・プロセッサ１６は、ＡＲコンテンツを追加すること、または、単一のピクチャからＡＲコンテンツを除去することのうちの１つによって、単一のピクチャをオーバレイするためにＡＲコンテンツを更新しうる。

いくつかのケースでは、ＡＲコンテンツは、漸次的に受信されうる。取得することがより容易であるＡＲコンテンツのいくつかのタイプは、単一のピクチャ上の即時表示のためにアプリケーション・プロセッサ１２によって処理されうる。追加のＡＲコンテンツが取得され、アプリケーション・プロセッサ１２へ送り戻されると、この追加のコンテンツが処理され、単一のピクチャ上に表示されうる。このようにして、ユーザは、単一のピクチャに表わされているシーンについて知リ始めるために、ＡＲコンテンツの受信を直ちに開始しうる。その間、残りのＡＲコンテンツは、漸次的に取得、処理、および表示される。ユーザは、ユーザがこのシーンに関する十分な情報を有している場合、進行中のＡＲコンテンツをいつでも停止しうる。さらに、これら技法によって、単一のピクチャを生成するために使用されているイメージ・フレームのうちの少なくともいくつかが、少なくともいくつかのＡＲコンテンツを受信するために、ＡＲデータベース・サーバへストリームされるようになりうる。このケースでは、ＷＣＤ１０は、単一のピクチャを生成するために使用されるリアル・タイム・ビデオ・データのほんの数秒間をオーバレイするために、いくつかのＡＲコンテンツを受信しうる。

いくつかのケースでは、単一のピクチャを生成するために使用されるイメージ・フレームは、不完全または貧弱な品質でありうる。いくつかの例において、アプリケーション・プロセッサ１２は、ＷＣＤ１０からの追加の、より高い解像度のイメージ・フレームを求める要求を、ＡＲデータベース・サーバから受信しうる。これは、例えば、ガボール（Gabor）フィルタを用い、次に、テキストを読み取るために光学式文字認識（ＯＣＲ）を用いるように、テキストを見つけるために単一のピクチャをフィルタすることによって、単一のピクチャに含まれているテキストをＡＲデータベース・サーバが識別した場合に生じうる。識別されたテキストが読取不能であれば、ＡＲデータベース・サーバは、テキストを含むシーンの一部の、より高解像度のピクチャを求める要求を、アプリケーション・プロセッサ１２へ送信しうる。

別の例では、アプリケーション・プロセッサ１２は、ＡＲデータベース・サーバまたはその他の遠隔サーバに対して、イメージ・ストアのウェブサイトを含む、外部記憶デバイスから取得される追加のイメージ・フレームを用いて、単一のピクチャの品質を向上させるように指示しうる。例えば、ＡＲデータベース・サーバまたはその他の遠隔サーバは、単一のピクチャに表わされるシーンの、追加の公的に利用可能なイメージを、アプリケーション・プロセッサ１２へ送信しうる。単一のピクチャのサイズの増加、および／または、単一のピクチャの品質の向上のために、追加のイメージ・フレームが使用されうる。例として、ユーザが、単一のピクチャの縁を超えてスクロールしたり、または、ゆっくり動かすと、これらの技法は、シーンの縁における、例えばＧＰＳ読取および／またはコンパス読取のような位置情報および／または遠近情報に基づいて、追加のイメージ・フレームを取得しうる。

これら技法はまた、単一のピクチャに表わされるシーンと、このシーンの以前のピクチャとの差分を示す比較情報を生成するためにも、追加のイメージ・フレームを使用しうる。例えば、ＡＲデータベース・サーバまたはその他の遠隔サーバは、現在の単一のピクチャにおいて表わされるシーンのビルディングおよびランドマークを、公的に利用可能なウェブサイトから取得された同じシーンの以前のピクチャと比較しうる。このケースでは、アプリケーション・プロセッサ１２は、どのビルディングおよびランドマーク、または、ビルディング内のビジネスが新しいのかを示すために、この比較情報を受信しうる。例として、この比較情報は、直近の６か月以内、または、その他いくつかの選択された時間フレーム内におけるエリア内の新たなレストランを示すために使用されうる。

この開示のハンズ・フリーＡＲ技法は、いくつかの利点を与えうる。例えば、ＷＣＤ１０のユーザは、例えば近隣または歴史的なランドマークのような特定のシーンについてもっと知るためにＡＲアプリケーションを使用しても、ユーザは、人目を気にすることも、人々がユーザを旅行客として見ることもなくなるであろう。さらに、ユーザは、いくつかの静止画またはビデオの数秒間をキャプチャするために、ＷＣＤを一度だけ持ち上げればよいので、これら技法は、腕の疲れを少なくする。ユーザは、その後、単一のピクチャで表わされるシーンに連続的に向けておく必要なく、オーバレイされたＡＲコンテンツを備える単一のピクチャを、座って、快適に見たり、熱中しうる。

アプリケーション・プロセッサ１２が、ＷＣＤ１０に含まれるカメラ２０から、複数のイメージ・フレームを受信するケースでは、これら技法は、イメージ・フレームをキャプチャするために少ない電力しか使用しない。なぜなら、カメラ２０は、エリアに関するすべてのＡＲコンテンツを受信するためにＡＲデータベース・サーバとのやりとりにより連続的にリアル・タイム・ビデオ・データおよびストリーミング・データをキャプチャするのではなく、ビデオ・データのほんの数秒をキャプチャする必要しかないからである。さらに、これら技法は、ＡＲデータベース・サーバと通信するために少ない電力しか使用しない。なぜなら、単一のピクチャに表わされるシーンに含まれるオブジェクトは、そのオブジェクトのリアル・タイム・ビデオをユーザがキャプチャする毎に同じオブジェクトを連続的に認識するのではなく、一度だけ識別され分析される必要しかないからである。

図１に例示されたＷＣＤ１０の構成要素は、単に典型例である。他の例では、ＷＣＤ１０は、より多くの構成要素、より少ない構成要素、および／または別の構成要素を含みうる。ＷＣＤ１０の構成要素は、例えば、１または複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、ディスクリート・ロジック、ソフトウェア、ハードウェア、ファームウェア、またはこれらの任意の組み合わせのようなさまざまな適切な回路類のうちの何れかとして実現されうる。ＷＣＤ１０におけるディスプレイ１８は、例えば、液晶ディスプレイ（ＬＣＤ）、プラズマ・ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、またはその他のタイプのディスプレイ・デバイスのようなさまざまなディスプレイ・デバイスのうちの１つを備えうる。

ＷＣＤ１０におけるメモリ２４は、限定される訳ではないが、例えば、シンクロナス・ダイナミック・ランダム・アクセス・メモリ（ＳＤＲＡＭ）、読取専用メモリ（ＲＯＭ）、不揮発性ランダム・アクセス・メモリ（ＮＶＲＡＭ）、電子的消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリ等のようなランダム・アクセス・メモリ（ＲＡＭ）を含む広範な揮発性メモリまたは不揮発性メモリのうちの何れかを備えうる。メモリ２４は、メディア・データのみならず、その他の種類のデータをも格納するためのコンピュータ読取可能な記憶媒体を備えうる。メモリ２４はさらに、本開示に記載されている技法を実行することの一部として、アプリケーション・プロセッサ１２によって実行される命令群およびプログラム・コードを格納する。

ＷＣＤ１０は、例えば、符号分割多元接続（ＣＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、時分割多元接続（ＴＤＭＡ）、または直交周波数分割多重（ＯＦＤＭ）のような１または複数の無線通信技術をサポートするように設計された通信システム内で動作しうる。前述した無線通信技術は、さまざまなラジオ・アクセス技術のうちの何れかにしたがって生み出されうる。例えば、ＣＤＭＡは、ｃｄｍａ２０００規格または広帯域ＣＤＭＡ（ＷＣＤＭＡ（登録商標））規格にしたがって生み出されうる。ＴＤＭＡは、グローバル移動体通信（ＧＳＭ）（登録商標）規格にしたがって生み出されうる。ユニバーサル・モバイル・テレコミュニケーション・システム（ＵＭＴＳ）規格は、ＯＦＤＭのために、ロング・ターム・イボリューション（ＬＴＥ）を用いるＧＳＭ動作またはＷＣＭＡ動作を可能にする。さらに、例えば、ｃｄｍａ２０００ １ｘ ＥＶ−ＤＯのような高データ・レート（ＨＤＲ）技術が使用されうる。

ＷＣＤ１０の通信システムは、複数のモバイル無線ネットワークまたはＷｉＦｉ（例えば、ＩＥＥＥ ８０２．１１ｘ）ネットワークをサポートする１または複数の基地局（図示せず）を含みうる。通信サービス・プロバイダは、ネットワーク・ハブとして基地局を用いるこれらネットワークのうちの１または複数を中央で操作および管理しうる。

図２は、従来の技法にしたがって拡張現実感アプリケーションを実行する典型的なＷＣＤ３０を例示する概念図である。従来、ＡＲアプリケーションを実行することは、図２に例示されるように、ユーザは、ＷＣＤ３０を持ち続け、ＷＣＤ３０に含まれるカメラを用いてシーンのリアル・タイム・ビデオを撮影することが必要である。その後、リアル・タイム・ビデオが、ＡＲデータベース・サーバへ連続的にストリームされ、ＷＣＤ３０が、リアル・タイム・ビデオに表わされるシーンに関連付けられたＡＲコンテンツを、ＡＲデータベース・サーバから受信する。ＷＣＤ３０のユーザは、ＷＣＤを持ち、リアル・タイム・ビデオを撮影している間、瞬時的なＡＲコンテンツを期待している。これにより、リアル・タイム・ビデオにオーバレイされるべきＡＲコンテンツは、制限された量しか容易に決定されないようになる。

図２に例示される例では、ユーザは、ＷＣＤ３０を持ち、ビルディング、公共交通機関、および人間を含む市街道路のシーンのリアル・タイム・ビデオを撮影する。リアル・タイム・ビデオにおけるシーンのＡＲコンテンツを要求するために、ＷＣＤ３０は、ＡＲデータベース・サーバに、このリアル・タイム・ビデオを送信する。ＷＣＤ３０は、その後、ＡＲコンテンツ情報３２，３４，３６を受信し、ライブ・ビデオによってユーザに表示する。図２の例では、ＡＲコンテンツ３２は、例えば、温度および花粉レベルのような環境情報や、ユーザのためのメッセージング情報を含む。ＡＲコンテンツ３４は、道路シーンに含まれるバスに関連付けられた公共交通スケジューリング情報を含む。さらに、ＡＲコンテンツ３６は、道路シーンに含まれるビルディングのうちの１つに位置している、例えば、レストラン、小売店、またはツアー・オペレータのようなビジネスのためのセールス広告を含む。

従来の技法は、リアル・タイム・ビデオを連続的に撮影することと、ＡＲデータベース・サーバによって再識別されるべき同じオブジェクトのイメージを連続的に送信することとのために、大量の電力を使用する。例えば、ＷＣＤ３０は、道路シーンに含まれるビルディングのリアル・タイム・ビデオをＡＲデータベース・サーバへストリームしうる。そして、これらビルディングのうちの１つに位置するビジネスにおけるセールを広告している同じＡＲコンテンツ３６を連続的に受信しうる。

さらに、ＷＣＤ３０のユーザは、ＷＣＤ３０内のカメラを移動またはスイープさせうるか、または、道路シーンの光景がコンスタントに変化するように、シーンにもともと含まれているオブジェクトが、このシーンの外へ移動しうる。取得するために長い時間を要するＡＲコンテンツは、ＷＣＤ３０がこのＡＲコンテンツを受信するまでに、古くなっている場合がありうる。例えば、ＷＣＤ３０が、リアル・タイム・ビデオにもともと含まれているバスに関連付けられた公共共通スケジューリング情報を含むＡＲコンテンツ３４を受信するまでに、バス自身がリアル・タイム・ビデオにおいて表わされるシーンの外に移動している場合がありうる。そのケースでは、ＷＣＤ３０は、受信したＡＲコンテンツ３４を使用しないことがありうる。なぜなら、受信したＡＲコンテンツ３４は、リアル・タイム・ビデオにおいてキャプチャされた現在の道路シーンに含まれたオブジェクトに関連付けられていないからである。その他のケースでは、ＷＣＤ３０が、位置情報にしたがって、ＡＲコンテンツ３４を処理し、リアル・タイム・ビデオ上に表示しうる。しかしながら、バスはもはやリアル・タイム・ビデオの同じ場所には位置していないので、ＡＲコンテンツ３４は、コンテキスト外となるだろう。

さらに、ＷＣＤ１０において従来通りＡＲアプリケーションを実行するための技法は、ＡＲコンテンツを撮影し、リアル・タイム・ビデオ・データからＡＲコンテンツを受信するためにユーザがＷＣＤ３０を持つ場合、ユーザに人目を気にさせうる。ＷＣＤ３０を連続的に持つことはまた、腕の疲労、すなわち「ゴリラ・アーム」をもたらしうる。１つの既存のハンズ・フリー拡張現実感ソリューションは、ＡＲコンテンツを、ユーザによってかけられたゴーグルまたはメガネにオーバレイするバーチャル・リアリティ（ＶＲ）ゴーグルによってユーザにハンズ・フリーＡＲを提供する。ＶＲゴーグルは、許容可能なユーザ体験を提供するようにディスプレイ・スクリーンを適合させるために、サイズが大きく、かさばったものとなりうる。したがって、ＶＲゴーグルは、「オタクっぽい」と考えられ、ユーザに対してＷＣＤを持つよりもさらに人目を気にさせる可能性がありうる。さらに、ＶＲゴーグルは高価である。

一般に、従来の技法は、ユーザに、人目を気にさせ、ＡＲアプリケーションをあまり用いないようにさせうる。本開示に記載されたハンズ・フリー技法は、ＡＲアプリケーションを用いることの疲労や厄介な部分を取り除き、バッテリ寿命を保ちながら、ＡＲアプリケーションをＷＣＤにおいてよりユビキタスにすることに役立ちうる。

図３は、開示された技法にしたがってハンズ・フリー拡張現実感アプリケーションを実行するＷＣＤによって生成されたオーバレイされたＡＲコンテンツ４２，４４，４６を備える単一のピクチャ４０を例示する概念図である。単一のピクチャ４０は、単一のピクチャ４０におけるシーンの全体を表わすために、おのおのがシーンの一部を表わす複数のイメージ・フレームをともにステッチすることによって形成される。ＷＣＤは、イメージ・フレームが単一のピクチャ４０に変換された後、単一のピクチャ４０において表わされるシーンのＡＲコンテンツ４２，４４，４６を、ＡＲデータベース・サーバから受信し、ＡＲコンテンツ４２，４４，４６を処理して、ユーザへの表示のために、単一のピクチャ４０をオーバレイする。このようにして、ユーザは、オーバレイされたＡＲコンテンツ４２，４４，４６を備える単一のピクチャ４０を、ＷＣＤにおいて、快適に見て、例えば、単一のピクチャにおいてキャプチャされたシーンを向くことなく、単一のピクチャ４０に表わされたシーンについてもっと知ることができる。

図３の例では、単一のピクチャ４０は、公園やビルディングを含む近隣全体のパノラマ・ピクチャを表わす。単一のピクチャ４０は、複数の静止画から、または、このシーンのビデオ・データの複数のビデオ・フレームから生成されうる。例として、ＷＣＤのユーザは、所与の位置から１８０°または３６０°回転させることによって、シーンのビデオ・データのほんの数秒を記録するか、複数の静止画を撮影しうる。このケースでは、単一のピクチャ４０は、キャプチャされた静止画またはビデオ・フレームをともにステッチすることによって生成される単一のパノラマ・イメージでありうる。

例えば、単一のピクチャ４０は、６０００×１２８０ピクセルのサイズの非常に大きなイメージでありうる。したがって、単一のピクチャ４０は、ＷＣＤのカメラによって取得されたオリジナルの個々の静止画またはビデオ・フレームのフォーマットよりも、より大きなフォーマット、および、いくつかのケースにおいては、実質的により大きなフォーマットを有しうる。いくつかの例では、単一のピクチャ４０は、個々の静止画またはビデオ・フレームに対して、例えば幅方向のような単一の次元においてより大きくなりうるが、例えば、高さ次元のような別の次元において同じサイズを維持しうる。または、その逆もありうる。例えば、大きなパノラマ・イメージは、高さは同じであるが、個々のピクチャまたはビデオ・フレームよりもはるかに大きな幅を有しうる。別の例では、単一のピクチャ４０は、幅と高さとの両方において、より大きくなりうる。いくつかの例では、単一のピクチャ４０は、少なくとも１つの次元において、個々のピクチャまたはビデオ・フレームよりも、例えば１．５倍、２倍、３倍、４倍、またはそれ以上のように、実質的に大きくなりうる。

単一のピクチャ４０に表わされたシーンに関連付けられたＡＲコンテンツ４２，４４，４６が、ＡＲデータベース・サーバから取得される。図３に例示されるように、ＡＲコンテンツ４２，４４，４６は、単一のピクチャ４０に表わされるシーン、および、単一のピクチャ４０に対応するグラフィックおよび／またはテキストの位置情報を記述するためのテキストおよび／またはグラフィクスを含む。例えば、ＡＲコンテンツ４２は、単一のピクチャ４０に含まれるビルディングのうちの１つのビジネスにおけるセールを示すテキストを含みうる。このケースでは、ＡＲデータベース・サーバから受信されたＡＲコンテンツ４２はまた、テキストを配置する単一のピクチャ４０におけるビジネスの、例えば（ｘ，ｙ）ピクセル位置のような位置情報をも含む。

別の例として、ＡＲコンテンツ４４はまた、単一のピクチャ４０に含まれる公園に位置するセールまたは値下げ額、および、ビジネスに関する情報をも含む。繰り返すが、ＡＲコンテンツ４４は、単一のピクチャ４０に表わされるビジネスの近くにＡＲコンテンツ４４のテキストを配置するため、単一のピクチャ４０に対応する位置情報を含む。さらに、ＡＲコンテンツ４６は、単一のピクチャ４０に含まれる公園内の博物館が開いているか、閉まっているかのようなランドマーク情報を含んでいる。ＡＲコンテンツ４６はまた、単一のピクチャ４０に表わされる博物館のための位置情報をも含む。いくつかのケースでは、ＡＲコンテンツ４６は、博物館の開館に関するより具体的な時間を提供しうるか、または、博物館のウェブサイトへのリンクを提供しうる。ＡＲコンテンツ４２，４４，４６は、単一のピクチャ４０にオーバレイされうるＡＲコンテンツのほんのいくつかの例しか提供していない。その他のケースでは、その他多くのタイプおよび量のＡＲコンテンツが取得され、単一のピクチャ４０上に表示されるために処理されうる。

本開示に記載されたハンズ・フリーＡＲ技法によって、単一のピクチャ４０において表わされるシーンを、従来のＡＲ技法を用いてリアル・タイム・ビデオにおいてキャプチャされたシーンのために可能であるよりも、はるかにロバストに見ることが可能となる。本開示の技法によれば、ユーザは、好きなだけ長い間、シーンの、静止した単一のピクチャ４０を眺めることができる。したがって、ユーザは、表示のために取得および処理されうる単一のピクチャ４０に関連付けられたすべてのＡＲコンテンツを求めて、喜んで長い時間待つだろう。より長い待ち時間に対するトレード・オフは、例えば、ウェブサイトおよびビデオへのリンクを含む、より大量でかつより高レベルなＡＲコンテンツの詳細でありうる。

ユーザは、シーンの単一のピクチャ４０において、および、単一のピクチャ４０にわたってナビゲートすることができうる。例えば、これらの技法によって、ユーザは、単一のピクチャ４０に表わされるシーンの新たな光景を生成するために単一のピクチャ４０を見ている場合、例えば、ゆっくり動かす動作、傾ける動作、およびズームする動作のようなイメージ動作を実行できるようになる。ＷＣＤは、イメージ動作が実行された後、単一のピクチャに新たな光景をオーバレイするために、ＡＲコンテンツの追加、または、単一のピクチャ４０からのＡＲコンテンツの除去のうちの１つを行うことによって、ＡＲコンテンツを更新しうる。これは、ズーム動作、ゆっくり動かす動作、またはスクロール動作の前に見えなかった、単一のピクチャ４０の部分をオーバレイするためにＡＲコンテンツを追加すること、および／または、ズーム動作、ゆっくり動かす動作、またはスクロール動作の後にもはや見ることはできない、単一のピクチャ４０の部分のＡＲコンテンツを除去すること、を含みうる。いくつかのケースでは、ＡＲコンテンツを更新することは、単一のピクチャ４０において表わされるシーンのための追加のＡＲコンテンツを、ＡＲデータベース・サーバから要求することを含みうる。その他のケースでは、ＡＲコンテンツを更新することは、単一のピクチャ４０において表わされるシーンについて、ＡＲデータベース・サーバから以前に取得されたが、単一のピクチャ４０の表示された部分において見ることはできない追加のＡＲコンテンツを表すことを含みうる。

いくつかのケースでは、ＷＣＤは、単一のピクチャ４０を生成するために使用される複数のイメージ・フレームのおのおののために、例えばＧＰＳ読取のような位置情報と、例えばコンパス読取のような遠近情報とを受信しうる。このように、ＷＣＤのユーザが、単一のピクチャ４０において表わされるシーンの特定の部分に移動した場合、このシーンの特定の部分を表わすイメージ・フレームについて取得された位置情報および／または遠近情報に基づいて、追加のＡＲコンテンツが、ＡＲデータベース・サーバから要求されうる。さらに詳しくは、シーンの一部のＡＲコンテンツは、ＡＲデータベース・サーバによって認識されたシーンの部分において目に見えるオブジェクトに基づく情報と、このシーンの部分を表わしているイメージ・フレームをキャプチャしているときにユーザが立っていた場所に対する目に見えるオブジェクトの位置に基づく情報と、を含むだろう。

また、これら技法によって、ユーザは、ＡＲデータベース・サーバから受信するＡＲコンテンツの１または複数のタイプを含むＡＲコンテンツ設定と、ＡＲデータベース・サーバから受信するＡＲコンテンツの量と、ＡＲデータベース・サーバからＡＲコンテンツを受信する時間と、を示すことができうる。ＷＣＤは、その後、単一のピクチャ４０において表わされるシーンのＡＲコンテンツを、ＡＲコンテンツ設定にしたがって、ＡＲデータベース・サーバから受信しうる。ＡＲコンテンツ設定が変わった場合、ＷＣＤは、ＡＲコンテンツの追加、または、ＡＲコンテンツの単一のピクチャ４０からの除去、のうちの１つを行うことによって、単一のピクチャ４０をオーバレイするためにＡＲコンテンツを更新しうる。

例えば、シーンのために選択されたＡＲコンテンツのタイプは、例えば名前、時間、およびメニューのようなレストラン情報と、宿泊および当該場所識別を含むビジタ情報と、小売店販売情報と、コンサート・イベントおよびスポーツ・イベントを含むイベント情報と、人物認識と、例えば警察署、消防署、および病院の場所のような緊急サービス情報と、例えばバスや電車の時刻表や説明のような公共交通情報等とのうちの１または複数を含みうる。

ユーザが単一のピクチャ４０をオーバレイすることを見たく思うであろうＡＲコンテンツの量は、例えば、キロバイト（ｋＢ）またはメガバイト（ＭＢ）、利用可能なデータのパーセンテージ、ディスプレイのスクリーン・サイズのパーセンテージ、またはその他いくつかの測定値のようなデータの記憶サイズに基づいて指定されうる。さらに、ユーザが、シーンのＡＲコンテンツをＡＲデータベース・サーバから受信したく思うであろう時間長さは、ユーザが、単一のピクチャ４０をオーバレイするためにＡＲコンテンツを受信することを喜んで待つ秒または分に基づいて指定されうる。いくつかのケースでは、ユーザは、指定された時間長さにおいて、進捗最新版を受信し、示されたＡＲコンテンツを待ち続けるか、ＡＲコンテンツの受信および処理を停やめるか、のうちの何れかを選択しうる。

いくつかのケースでは、単一のピクチャ４０において表わされるシーンのＡＲコンテンツが、漸次的に受信されうる。取得することがより容易なＡＲコンテンツのいくつかのタイプは、単一のピクチャ４０上への即時表示のために処理されうる。追加のＡＲコンテンツが取得され、ＷＣＤへ送り戻されると、この追加のＡＲコンテンツが処理され、単一のピクチャ４０上に表示される。このようにして、ユーザは、単一のピクチャ４０に表わされているシーンについて知り始めるために、いくつかのＡＲコンテンツの受信を直ちに開始しうる。その間、残りのＡＲコンテンツが、漸次的に取得、処理、および表示される。ユーザは、ユーザがシーンに関する十分な情報を有している場合、進行中のＡＲコンテンツをいつでも停止しうる。

前述した技法によって、さまざまなＡＲコンテンツ・タイプ、量、および処理時間から選択されたシーンについて受信されたＡＲコンテンツに対する制御が可能となる。この制御およびさまざまなＡＲコンテンツは、制限された量のＡＲコンテンツをユーザへ示すためにリアル・タイム・ビデオを用いる従来のＡＲアプリケーションでは可能ではない。しかしながら、これら技法によって、単一のピクチャ４０を生成するために使用されているイメージ・フレームのうちの少なくともいくつかが、少なくともいくつかのＡＲコンテンツを受信するために、ＡＲデータベース・サーバへリアル・タイムでストリームされるようになる。このケースでは、
ＷＣＤは、単一のピクチャ４０の一部を生成するために使用されるリアル・タイム・ビデオ・データのほんの数秒をオーバレイするためにいくつかのＡＲコンテンツを直ちに受信しうる。さらに、静止した単一のピクチャ４０において表わされるシーン全体について、時間にわたってよりロバストなＡＲコンテンツを受信しうる。

図４は、シーンを表す単一のピクチャにＡＲコンテンツをオーバレイするために、ＷＣＤを用いてハンズ・フリー拡張現実感アプリケーションを実行する典型的な技法を例示するフローチャートである。ハンズ・フリーＡＲ技法は、ここでは、図１からのＷＣＤ１０に関して記載されるだろう。

ＷＣＤ１０は、ＡＲアプリケーション１４を実行する場合、おのおのがシーンの一部を表わす複数のイメージ・フレームを受信する（５０）。これらイメージ・フレームは、このシーンのビデオ・データの複数のビデオ・フレーム、または、複数の静止画でありうる。これらイメージ・フレームは、ＷＣＤ１０に含まれたカメラ２０によってキャプチャされうるか、または、ＷＣＤ１０の外部の記憶デバイスから受信されうる。その後、アプリケーション・プロセッサ１２が、複数のイメージ・フレームを、シーンを表わす単一のピクチャへ変換する（５２）。単一のピクチャは、シーンを表わすためにともにステッチされる複数のイメージ・フレームを含む。いくつかの例において、アプリケーション・プロセッサ１２は、単一のピクチャを生成するために複数のイメージ・フレームをともにステッチすることによって、これらイメージ・フレームを単一のピクチャへ変換しうる。その他の例では、アプリケーション・プロセッサ１２は、複数のイメージ・フレームをＴＸ／ＲＸ２６によって遠隔サーバへ送信することによって、これらイメージ・フレームを単一のピクチャに変換しうる。アプリケーション・プロセッサ１２は、その後、単一のピクチャを生成するためにこれらイメージ・フレームをともにステッチするように遠隔サーバへ要求し、遠隔サーバから送り戻された単一のピクチャを受信しうる。いずれのケースであれ、これらイメージ・フレームは、例えば、パノラマ・シーンをステッチするために従来使用されているような、さまざまな従来方式の何れかによって、ともにステッチされうる。

アプリケーション・プロセッサ１２は、イメージ・フレームが単一のピクチャに変換された後、単一のピクチャに表わされるシーンのＡＲコンテンツを、ＡＲデータベース・サーバから要求する（５４）。アプリケーション・プロセッサ１２は、単一のピクチャをＡＲデータベース・サーバへ送信することによって、または、複数のイメージ・フレームのうちの１または複数をＡＲデータベース・サーバへ送信することによって、このシーンのＡＲコンテンツを要求しうる。いずれのケースにおいても、ＷＣＤ１０は、単一のピクチャで表わされるシーンのＡＲコンテンツを、ＡＲデータベース・サーバから受信する（５６）。ＡＲコンテンツは、このシーンに関する情報を表わすテキストおよび／またはグラフィックと、単一のピクチャに対応するテキストおよび／またはグラフィックの位置情報とを含みうる。例えば、ＡＲコンテンツは、単一のピクチャにおいてキャプチャされた場所におけるイベントを記述するテキストと、ＡＲコンテンツは、テキストを配置する単一のピクチャにおける場所の、例えば（ｘ，ｙ）ピクセル位置のような位置情報と、を含みうる。

一般に、ＡＲデータベース・サーバは、ＷＣＤ１０に対する遠隔サーバであり、アプリケーション・プロセッサ１２は、ＴＸ／ＲＸ２６によってＡＲデータベース・サーバへ単一のピクチャを送信する。別の例において、ＡＲデータベースは、ＷＣＤ１０に格納されうる。いくつかのケースでは、アプリケーション・プロセッサ１２は、このシーンのためのＡＲコンテンツを求める要求とともに、単一のピクチャの生成に関連付けられた位置情報および／または遠近情報を、ＡＲデータベース・サーバへ送信する。その後、ＷＣＤ１０は、ユーザに対するオブジェクトの位置に少なくとも部分的に基づいて、単一のピクチャにおいて表わされるシーンにおけるオブジェクトのＡＲコンテンツを受信し、これらオブジェクトがキャプチャされる。アプリケーション・プロセッサ１２は、例えば、コンパス・センサ、ＧＰＳセンサ等のような１または複数のセンサ２２から、シーンの位置情報および／または遠近情報を受信しうる。その他のケースでは、アプリケーション・プロセッサ１２は、シーンのＡＲコンテンツを求める要求とともに、単一のピクチャの生成に関連付けられた時間情報および日付情報をＡＲデータベース・サーバへ送信しうる。ＷＣＤ１０は、その後、単一のピクチャに表わされるシーンと、このシーンの以前のピクチャとの差分を示す、単一のピクチャに表わされるシーンのＡＲコンテンツを、ＡＲデータベース・サーバから受信する。

アプリケーション・プロセッサ１２は、その後、このＡＲコンテンツを処理して、単一のピクチャをオーバレイする（５８）。いくつかの例において、ディスプレイ・プロセッサ１６は、ＡＲコンテンツの処理またはレンダリングのうちの少なくともいくつかを実行しうる。ディスプレイ・プロセッサ１６は、その後、オーバレイされたＡＲコンテンツを備える単一のピクチャを、ディスプレイ１８でユーザに表示する（６０）。このようにして、ユーザは、オーバレイされたＡＲコンテンツを備える単一のピクチャを、ＷＣＤのディスプレイにおいて快適に見て、単一のピクチャに表わされたシーンについて、いつでも、どこでも、もっと知ることができる。

図５は、ＷＣＤへのユーザ入力に基づくＡＲコンテンツ設定にしたがって、ハンズ・フリー拡張現実感アプリケーションを実行する典型的な技法を例示するフローチャートである。ここでは、ハンズ・フリーＡＲ技法は、図１からのＷＣＤ１０に関して記載される。

ＷＣＤ１０は、ＡＲアプリケーション１４を実行する場合、おのおのがシーンの一部を表わす複数のイメージ・フレームを受信する（６６）。前述したように、これらイメージ・フレームは、シーンのビデオ・データの複数のビデオ・フレームまたは複数の静止画でありうる。アプリケーション・プロセッサ１２は、その後、これら複数のイメージ・フレームを、シーンを表わす単一のピクチャへ変換する（６８）。単一のピクチャは、シーンを表すためにともにステッチされる複数のイメージ・フレームを含む。

アプリケーション・プロセッサ１２は、その後、ユーザ入力に基づいて、ＡＲコンテンツ設定を決定する。より具体的には、アプリケーション・プロセッサ１２は、シーンのためにＡＲデータベース・サーバから受信する１または複数のＡＲコンテンツのタイプを決定する（７０）。例えば、アプリケーション・プロセッサ１２は、例えば名前、時間、およびメニューのようなレストラン情報と、宿泊および当該場所識別を含むビジタ情報と、小売店販売情報と、コンサート・イベントおよびスポーツ・イベントを含むイベント情報と、人物認識と、例えば警察署、消防署、および病院の場所のような緊急サービス情報と、例えばバスや電車の時刻表や説明のような公共交通情報等と、のうちの１または複数を示すユーザ入力を受信しうる。

アプリケーション・プロセッサ１２はまた、シーンのためにＡＲデータベース・サーバから受信するＡＲコンテンツの量を決定する（７２）。例えば、アプリケーション・プロセッサ１２は、ユーザが、ディプレイ１８に単一のピクチャをオーバレイすることを見たいであろう情報の量を示すユーザ入力を受信しうる。ＡＲコンテンツの量は、例えば、キロバイト（ｋＢ）またはメガバイト（ＭＢ）、利用可能なデータのパーセンテージ、ディスプレイ１８のスクリーン・サイズのパーセンテージ、またはその他いくつかの測定値のようなデータの記憶サイズに基づいて指定されうる。

さらに、アプリケーション・プロセッサ１２は、ＡＲデータベース・サーバから、シーンからのＡＲコンテンツを受信する時刻を決定する（７４）。例えば、アプリケーション・プロセッサは、単一のピクチャをオーバレイするＡＲコンテンツを受信するためにユーザが喜んで待つ秒または分を示すユーザ入力を受信しうる。このケースでは、アプリケーション・プロセッサ１２は、シーンのために要求されるすべてのＡＲコンテンツを受信するため、残りの秒または分を指定する最新情報をユーザに提供しうる。アプリケーション・プロセッサ１２はまた、要求されたデータのタイプまたは量が、指定された時間において受信されることができないとの通知をユーザに提供しうる。このケースでは、ユーザは、待ち続けること、すなわち、時間設定を延長することを選択するか、または、要求されたすべてのＡＲデータが受信されているかに関わらず、指定された時間においてＡＲコンテンツを受信すること停めることを選択しうる。

アプリケーション・プロセッサ１２は、その後、単一のピクチャおよびＡＲコンテンツ設定をＡＲデータベース・サーバへ送信することによって、シーンのＡＲコンテンツを要求する（７６）。ＷＣＤ１０は、ＡＲコンテンツ設定にしたがって、単一のピクチャで表わされるシーンのＡＲコンテンツを、ＡＲデータベース・サーバから受信する（７８）。アプリケーション・プロセッサ１２は、単一のピクチャをオーバレイするためにＡＲコンテンツを処理する（８０）。前述したように、ディスプレイ・プロセッサ１６は、ＡＲコンテンツの処理またはレンダリングのうちの少なくともいくつかを実行しうる。ディスプレイ・プロセッサ１６は、その後、オーバレイされたＡＲコンテンツを備える単一のピクチャを、ディスプレイ１８でユーザに対して表示する（８２）。

オーバレイされたＡＲコンテンツを備える単一のピクチャが表示された後、ユーザは、ＡＲコンテンツ設定を修正しうる（８４）。例えば、ユーザは、ＡＲコンテンツのタイプを追加するかまたはＡＲコンテンツを単一のピクチャから除去すること、または、単一のピクチャ上に含めるＡＲコンテンツの量を増加または減少させること、を決定しうる。ＡＲコンテンツ設定が変更されていない場合（８４のＮＯ分岐）、ディスプレイ・プロセッサ１６は、オーバレイされたオリジナルのＡＲコンテンツを備える単一のピクチャを、ディプレイ１８でユーザへ表示し続ける（８２）。ＡＲコンテンツ設定が変わっているとアプリケーション・プロセッサ１２が判定した場合（８４のＹＥＳ分岐）、アプリケーション・プロセッサ１２および／またはディスプレイ・プロセッサ１６は、修正されたＡＲコンテンツ設定にしたがって、単一のピクチャをオーバレイするためにＡＲコンテンツを更新する（８６）。ＡＲコンテンツを更新することは、ＡＲコンテンツのあるタイプを追加すること、および／または、ＡＲコンテンツのあるタイプを単一のピクチャから除去することを含みうる。いくつかのケースにおいて、アプリケーション・プロセッサ１２は、シーンの追加のＡＲコンテンツを、ＡＲデータベース・サーバから要求しうる。ディスプレイ・プロセッサ１６は、ＡＲコンテンツが更新された後、オーバレイされた修正されたＡＲコンテンツを備える単一のピクチャを、ディスプレイ１８でユーザへ表示する（８２）。

ユーザは、オーバレイされたＡＲコンテンツを備える単一のピクチャが表示された後にＡＲコンテンツ設定を修正することに加えて、アプリケーション・プロセッサ１２に対して、単一のピクチャで表されるシーンの新たな光景を生成するために、単一のピクチャに対してゆっくり動かしたり、傾けたり、スクロールしたり、ズームする動作のうちの１または複数の実行するように要求する。アプリケーション・プロセッサ１２は、イメージ効果が実行された後、ＡＲコンテンツの追加、または、ＡＲコンテンツの単一のピクチャからの除去、のうちの１つを実行することによって、単一のピクチャにおける新たな光景をオーバレイするためにＡＲコンテンツを更新しうる。例えば、イメージ効果がズーム・イン効果であるケースでは、アプリケーション・プロセッサ１２は、単一のピクチャで表わされるシーンの新たな光景のための追加のＡＲコンテンツを、ＡＲデータベース・サーバから要求しうる。このように、ユーザは、例えば、近隣全体のようなシーン全体に関する一般情報を見ることができうるが、その後、単一のピクチャにおけるそのエリアの表示にズーム・インすることによって、例えば単一のブロックまたは単一のビジネスのようなシーンの特定のエリアに関するさらなる詳細情報を見ることができる。

１または複数の例では、記載された機能は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせで実現されうる。ソフトウェアで実現される場合、これら機能は、コンピュータ読取可能な媒体上に格納されるか、あるいは、コンピュータ読取可能な媒体上の１または複数の命令群またはコードとして送信されうる。コンピュータ読取可能な媒体は、コンピュータ・プログラムの１つの場所から別の場所への移動を容易にする任意の媒体を含むコンピュータ・データ記憶媒体または通信媒体を含みうる。いくつかの例において、コンピュータ読取可能な媒体は、非一時的なコンピュータ読取可能な媒体を備えうる。データ記憶媒体は、本開示において記述された技術を実施するための命令群、コード、および／または、データ構造を検索するために１または複数のコンピュータまたは１または複数のプロセッサによってアクセスされうる任意の利用可能な媒体でありうる。

限定ではなく、例として、このようなコンピュータ読取可能な媒体は、例えば、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたはその他の光ディスク記憶装置、またはその他の磁気記憶デバイス、フラッシュ・メモリ、または、命令群またはデータ構造の形態で所望のプログラム・コードを伝送または格納するために使用され、かつ、コンピュータによってアクセスされうるその他任意の媒体、のような非一時的な媒体を備えうる。さらに、いかなる接続も、コンピュータ読取可能な媒体として適切に称される。同軸ケーブル、光ファイバ・ケーブル、ツイスト・ペア、デジタル加入者線（ＤＳＬ）、あるいは、例えば赤外線、無線およびマイクロ波のような無線技術を使用して、ウェブサイト、サーバ、あるいはその他の遠隔ソースからソフトウェアが送信される場合、同軸ケーブル、光ファイバ・ケーブル、ツイスト・ペア、ＤＳＬ、あるいは、例えば赤外線、無線およびマイクロ波のような無線技術が、媒体の定義に含まれる。本明細書で使用されるディスク（ｄｉｓｋおよびｄｉｓｃ）は、コンパクト・ディスク（ｄｉｓｃ）（ＣＤ）、レーザ・ディスク（ｄｉｓｃ）、光ディスク（ｄｉｓｃ）、デジタル多用途ディスク（ｄｉｓｃ）（ＤＶＤ）、フロッピー（登録商標）ディスク（ｄｉｓｋ）、およびブルー・レイ・ディスク（ｄｉｓｃ）を含む。これらｄｉｓｃは、レーザを用いてデータを光学的に再生する。それに対して、ｄｉｓｋは、通常、データを磁気的に再生する。前述した組み合わせもまた、コンピュータ読取可能な媒体の範囲内に含まれるべきである。

このコードは、例えば、１または複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向けＩＣ（ＡＳＩＣ）、フィールド・プログラマブル・ロジック・アレイ（ＦＰＧＡ）、またはその他の等価な統合またはディスクリートな論理回路のような１または複数のプロセッサによって実行されうる。したがって、本明細書で使用されているように、用語「プロセッサ」は、前述した構成、または、本明細書に記載された技術の実施のために適切なその他任意の構成のうちの何れかを称しうる。さらに、いくつかの態様では、本明細書に記載された機能は、エンコードおよびデコードのために構成された専用のハードウェアおよび／またはソフトウェア・モジュール内に適用されうるか、または、結合されたコーデック内に組み込まれうる。さらに、これら技術は、１または複数の回路または論理要素で完全に実現されうる。

本開示の技術は、無線ハンドセット、集積回路（ＩＣ）、またはＩＣのセット（例えば、チップセット）を含む種々さまざまなデバイスまたは装置において実現されうる。さまざまな構成要素、モジュール、またはユニットは、本開示では、開示された技術を実行するように構成されたデバイスの機能態様を強調するように記載されているが、異なるハードウェア・ユニットによる実現を必ずしも必要とする訳ではない。むしろ、前述されたように、さまざまなユニットは、適切なソフトウェアおよび／またはハードウェアと連携する、前述されたような１または複数のプロセッサを含む共通のハードウェア・ユニットの集合によって提供されうるか、コーデック・ハードウェア・ユニットに結合されうる。

本発明のさまざまな実施形態が説明された。これらおよびその他の実施形態は、以下の特許請求の範囲のスコープ内である。

本発明のさまざまな実施形態が説明された。これらおよびその他の実施形態は、以下の特許請求の範囲のスコープ内である。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］無線通信デバイス（ＷＣＤ）を用いて拡張現実感アプリケーションを実行する方法であって、
おのおのがシーンの一部を表わす複数のイメージ・フレームを、前記ＷＣＤのプロセッサを用いて受信することと、
前記複数のイメージ・フレームを、単一のピクチャに変換することと、ここで、前記単一のピクチャは、前記シーンを表わすためにともにステッチされる、前記複数のイメージ・フレームのうちの少なくとも一部を備える、
前記単一のピクチャにおいて表わされるシーンの拡張現実感（ＡＲ）コンテンツを、ＡＲデータベース・サーバから要求することと、
前記ＡＲデータベース・サーバから、前記単一のピクチャにおいて表わされるシーンのＡＲコンテンツを受信することと、
前記ＡＲコンテンツを処理し、前記ＷＣＤにおける表示のために、前記単一のピクチャをオーバレイすることと、
を備える方法。
［２］前記複数のイメージ・フレームは、前記シーンのビデオ・データの複数のビデオ・フレームおよび複数の静止画のうちの１つを備える、［１］に記載の方法。
［３］前記複数のイメージ・フレームを受信することは、
前記ＷＣＤに含まれたカメラでキャプチャされたイメージ・フレームを受信することと、
前記ＷＣＤの外部の記憶デバイスからイメージ・フレームを受信することと、
のうちの１または複数を備える、［１］に記載の方法。
［４］前記ＡＲコンテンツを要求することは、前記イメージ・フレームの一部および前記単一のピクチャのうちの１つを、前記ＡＲデータベース・サーバへ送信することを備える、［１］に記載の方法。
［５］前記複数のイメージ・フレームを単一のピクチャに変換することは、前記ＷＣＤのプロセッサを用いて、前記複数のイメージ・フレームのうちの一部をともにステッチし、前記単一のピクチャを生成することを備える、［１］に記載の方法。
［６］前記イメージ・データを単一のピクチャに変換することは、
前記複数のイメージ・フレームを遠隔サーバへ送信することと、
前記遠隔サーバに対して、前記複数のイメージ・フレームのうちの一部をともにステッチして、前記単一のピクチャを生成するように指示することと、
前記遠隔サーバから、前記単一のピクチャを受信することと
を備える、［１］に記載の方法。
［７］前記ＡＲデータベース・サーバは、遠隔サーバを備える、［１］に記載の方法。
［８］前記単一のピクチャで表わされるシーンのＡＲコンテンツ設定を、ユーザ入力に基づいて決定することと、
前記シーンのＡＲコンテンツ設定を、前記ＡＲデータベース・サーバへ送信することとをさらに備え、
前記ＡＲコンテンツを受信することは、前記ＡＲコンテンツ設定にしたがって、前記単一のピクチャで表わされるシーンのＡＲコンテンツを、前記ＡＲデータベース・サーバから受信することを備える、［１］に記載の方法。
［９］前記ＡＲコンテンツ設定を決定することは、前記シーンのために、前記ＡＲデータベース・サーバから受信するＡＲコンテンツの１または複数のタイプを示すユーザ入力を受信することを備える、［８］に記載の方法。
［１０］前記ＡＲコンテンツ設定を決定することは、前記シーンのために、前記ＡＲデータベース・サーバから受信するＡＲコンテンツの量を示すユーザ入力を受信することを備える、［８］に記載の方法。
［１１］前記ＡＲコンテンツ設定を決定することは、前記シーンのためのＡＲコンテンツを前記ＡＲデータベース・サーバから受信する時刻を示すユーザ入力を受信することを備える、［８］に記載の方法。
［１２］前記シーンのためのＡＲコンテンツ設定に対する修正を示すユーザ入力を受信することと、
前記修正されたＡＲコンテンツ設定にしたがって、前記ＡＲコンテンツを更新し、前記単一のピクチャをオーバレイすることとをさらに備え、
前記ＡＲコンテンツを更新することは、前記ＡＲコンテンツを追加すること、または、前記ＡＲコンテンツを前記単一のピクチャから除去すること、のうちの１つを備える、［８］に記載の方法。
［１３］ゆっくり動かす動作、傾ける動作、スクロールする動作、およびズームする動作のうちの１または複数を、前記単一のピクチャに対して実行し、前記単一のピクチャにおいて表わされるシーンの新たなビューを生成することと、
前記ＡＲコンテンツを更新し、前記単一のピクチャに、前記新たなビューをオーバレイすることとをさらに備え、
前記ＡＲコンテンツを更新することは、前記ＡＲコンテンツを追加すること、または、前記ＡＲコンテンツを前記単一のピクチャから除去すること、のうちの１つを備える、をさらに備える［１］に記載の方法。
［１４］前記単一のピクチャで表わされるシーンの追加のＡＲコンテンツを、前記ＡＲデータベース・サーバから要求することと、
前記ＷＣＤにおける表示のために、既存のＡＲコンテンツに加えて前記単一のピクチャをオーバレイするために、前記追加のＡＲコンテンツを処理することと、
をさらに備える［１］に記載の方法。
［１５］前記ＡＲコンテンツを受信することは、前記単一のピクチャで表わされるシーンのＡＲコンテンツを、前記ＡＲデータベース・サーバから漸次的に受信することを備え、
前記ＡＲコンテンツを処理し、前記単一のピクチャをオーバレイすることは、
前記ＡＲコンテンツが前記ＡＲデータベース・サーバから受信されると、前記ＡＲコンテンツを前記単一のピクチャへ漸次的に追加すること
を備える、［１］に記載の方法。
［１６］前記シーンの一部を表わす複数のイメージ・フレームのおのおのの位置情報および遠近情報を、１または複数のセンサから受信することと、
前記シーンの少なくとも一部の位置情報および遠近情報を、前記ＡＲデータベース・サーバへ送信することとをさらに備え、
前記ＡＲコンテンツを受信することは、前記シーンの一部の位置情報および遠近情報に少なくとも部分的に基づいて、前記単一のピクチャで表わされるシーンの一部のＡＲコンテンツを、前記ＡＲデータベース・サーバから受信することを備える、［１］に記載の方法。
［１７］前記ＡＲコンテンツを受信することは、
前記単一のピクチャで表わされるシーンのＡＲコンテンツを示すテキストおよびグラフィックのうちの１または複数を、前記ＡＲデータベース・サーバから受信することと、
前記単一のピクチャに対応するテキストおよびグラフィックの位置情報を、前記ＡＲデータベース・サーバから受信することと
をさらに備える、［１］に記載の方法。
［１８］前記ＡＲコンテンツを受信することは、前記単一のピクチャで表わされるシーンと、前記シーンの以前のピクチャとの差分を示す、前記単一のピクチャに表わされるシーンのＡＲコンテンツを、前記ＡＲデータベース・サーバから受信することをさらに備える、［１］に記載の方法。
［１９］拡張現実感アプリケーションを実行するための無線通信デバイス（ＷＣＤ）であって、
イメージ・データを格納するためのメモリと、
おのおのがシーンの一部を表わす複数のイメージ・フレームを受信することと、
前記複数のイメージ・フレームを単一のピクチャに変換することと、ここで、前記単一のピクチャは、前記シーンを表わすためにともにステッチされる、前記複数のイメージ・フレームのうちの少なくとも一部を備える、
前記単一のピクチャにおいて表わされるシーンの拡張現実感（ＡＲ）コンテンツを、ＡＲデータベース・サーバから要求することと、
前記ＡＲデータベース・サーバから、前記単一のピクチャにおいて表されるシーンのＡＲコンテンツを受信することと、
前記ＡＲコンテンツを処理し、前記単一のピクチャをオーバレイすることと
を実行するように構成されたプロセッサと、
前記オーバレイされたＡＲコンテンツを備える単一のピクチャを、前記ＷＣＤのユーザへ表示するためのディスプレイと、
を備える無線通信デバイス。
［２０］前記複数のイメージ・フレームは、前記シーンのビデオ・データの複数のビデオ・フレームおよび複数の静止画のうちの１つを備える、［１９］に記載の無線通信デバイス。
［２１］前記ＷＣＤに含まれ、イメージ・フレームをキャプチャするためのカメラをさらに備え、
前記プロセッサは、前記複数のイメージ・フレームを、前記ＷＣＤに含まれるカメラおよび前記ＷＣＤの外部の記憶デバイスのうちの１または複数から受信する、［１９］に記載の無線通信デバイス。
［２２］送信機をさらに備え、
前記プロセッサは、前記シーンのＡＲコンテンツを要求するために、前記送信機によって、前記ＡＲデータベース・サーバへ、前記複数のイメージ・フレームの一部および前記単一のピクチャのうちの１つを送信する、［１９］に記載の無線通信デバイス。
［２３］前記プロセッサは、前記複数のイメージ・フレームの一部をともにステッチして、前記単一のピクチャを生成する、［１９］に記載の無線通信デバイス。
［２４］送信機と受信機とをさらに備え、
前記プロセッサは、
前記複数のイメージ・フレームを前記送信機によって遠隔サーバへ送信し、
前記遠隔サーバに対して、前記複数のイメージ・フレームのうちの一部をともにステッチして、前記単一のピクチャを生成するように指示し、
前記受信機によって、前記遠隔サーバから、前記単一のピクチャを受信する、
［１９］に記載の無線通信デバイス。
［２５］前記ＡＲデータベース・サーバは、遠隔サーバを備える、［１９］に記載の無線通信デバイス。
［２６］前記プロセッサは、
前記単一のピクチャで表わされるシーンのＡＲコンテンツ設定を、ユーザ入力に基づいて決定し、
前記シーンのＡＲコンテンツ設定を、前記ＡＲデータベース・サーバへ送信し、
前記ＡＲコンテンツ設定にしたがって、前記単一のピクチャで表わされるシーンのＡＲコンテンツを、前記ＡＲデータベース・サーバから受信する、
［１９］に記載の無線通信デバイス。
［２７］前記プロセッサは、前記シーンのために、前記ＡＲデータベース・サーバから受信するＡＲコンテンツの１または複数のタイプを示すユーザ入力を受信する、［２６］に記載の無線通信デバイス。
［２８］前記プロセッサは、前記シーンのために、前記ＡＲデータベース・サーバから受信するＡＲコンテンツの量を示すユーザ入力を受信する、［２６］に記載の無線通信デバイス。
［２９］前記プロセッサは、前記シーンのためのＡＲコンテンツを前記ＡＲデータベース・サーバから受信する時刻を示すユーザ入力を受信する、［２６］に記載の無線通信デバイス。
［３０］前記プロセッサは、
前記シーンのためのＡＲコンテンツ設定に対する修正を示すユーザ入力を受信し、
前記修正されたＡＲコンテンツ設定にしたがって、前記ＡＲコンテンツを更新し、前記単一のピクチャをオーバレイし、
ここで、前記ＡＲコンテンツを更新することは、前記ＡＲコンテンツを追加すること、または、前記ＡＲコンテンツを前記単一のピクチャから除去すること、のうちの１つを備える、［２６］に記載の無線通信デバイス。
［３１］前記プロセッサは、
ゆっくり動かす動作、傾ける動作、スクロールする動作、およびズームする動作のうちの１または複数を、前記単一のピクチャに対して実行し、前記単一のピクチャにおいて表わされるシーンの新たなビューを生成し、
前記ＡＲコンテンツを更新し、前記単一のピクチャに、前記新たなビューをオーバレイし、
ここで、前記ＡＲコンテンツを更新することは、前記ＡＲコンテンツを追加すること、または、前記ＡＲコンテンツを前記単一のピクチャから除去すること、のうちの１つを備える、［１９］に記載の無線通信デバイス。
［３２］前記プロセッサは、
前記単一のピクチャで表わされるシーンの追加のＡＲコンテンツを、前記ＡＲデータベース・サーバから要求し、
前記ＷＣＤにおける表示のために、既存のＡＲコンテンツに加えて前記単一のピクチャをオーバレイするために、前記追加のＡＲコンテンツを処理する、［１９］に記載の無線通信デバイス。
［３３］前記プロセッサは、
前記単一のピクチャで表わされるシーンのＡＲコンテンツを、前記ＡＲデータベース・サーバから漸次的に受信し、
前記ＡＲコンテンツが前記ＡＲデータベース・サーバから受信されると、前記ＡＲコンテンツを前記単一のピクチャへ漸次的に追加する、［１９］に記載の無線通信デバイス。
［３４］前記プロセッサは、
前記シーンの一部を表わす複数のイメージ・フレームのおのおのの位置情報および遠近情報を、１または複数のセンサから受信し、
前記シーンの少なくとも一部の位置情報および遠近情報を、前記ＡＲデータベース・サーバへ送信し、
前記シーンの一部の位置情報および遠近情報に少なくとも部分的に基づいて、前記単一のピクチャで表わされるシーンの一部のＡＲコンテンツを、前記ＡＲデータベース・サーバから受信する、［１９］に記載の無線通信デバイス。
［３５］前記プロセッサは、
前記単一のピクチャで表わされるシーンのＡＲコンテンツを表わすテキストおよびグラフィックのうちの１または複数を、前記ＡＲデータベース・サーバから受信し、
前記単一のピクチャに対応するテキストおよびグラフィックの位置情報を、前記ＡＲデータベース・サーバから受信する、［１９］に記載の無線通信デバイス。
［３６］前記プロセッサは、前記単一のピクチャで表わされるシーンと、前記シーンの以前のピクチャとの差分を示す、前記単一のピクチャに表わされるシーンのＡＲコンテンツを、前記ＡＲデータベース・サーバから受信する、［１９］に記載の無線通信デバイス。
［３７］拡張現実感アプリケーションを実行するための無線通信デバイス（ＷＣＤ）であって、
おのおのがシーンの一部を表わす複数のイメージ・フレームを受信する手段と、
前記複数のイメージ・フレームを単一のピクチャに変換する手段と、ここで、前記単一のピクチャは、前記シーンを表わすためにともにステッチされる、前記複数のイメージ・フレームのうちの少なくとも一部を備える、
前記単一のピクチャにおいて表わされるシーンの拡張現実感（ＡＲ）コンテンツを、ＡＲデータベース・サーバから要求する手段と、
前記ＡＲデータベース・サーバから、前記単一のピクチャにおいて表されるシーンのＡＲコンテンツを受信する手段と、
前記ＡＲコンテンツを処理し、前記ＷＣＤにおける表示のために、前記単一のピクチャをオーバレイする手段と、
を備える無線通信デバイス。
［３８］前記複数のイメージ・フレームを単一のピクチャに変換する手段は、前記複数のイメージ・フレームのうちの一部をともにステッチし、前記単一のピクチャを生成する手段を備える、［３７］に記載の無線通信デバイス。
［３９］前記イメージ・データを単一のピクチャに変換する手段は、
前記複数のイメージ・フレームを遠隔サーバへ送信する手段と、
前記遠隔サーバに対して、前記複数のイメージ・フレームのうちの一部をともにステッチして、前記単一のピクチャを生成するように指示する手段と、
前記遠隔サーバから、前記単一のピクチャを受信する手段とを備える、［３７］に記載の無線通信デバイス。
［４０］前記単一のピクチャで表わされるシーンのＡＲコンテンツ設定を、ユーザ入力に基づいて決定する手段と、
前記シーンのＡＲコンテンツ設定を、前記ＡＲデータベース・サーバへ送信する手段と、
前記ＡＲコンテンツ設定にしたがって、前記単一のピクチャで表わされるシーンのＡＲコンテンツを、前記ＡＲデータベース・サーバから受信する手段と、
さらに備える［３７］に記載の無線通信デバイス。
［４１］前記シーンのためのＡＲコンテンツ設定に対する修正を示すユーザ入力を受信する手段と、
前記修正されたＡＲコンテンツ設定にしたがって、前記ＡＲコンテンツを更新し、前記単一のピクチャをオーバレイする手段とをさらに備え、
前記ＡＲコンテンツを更新することは、前記ＡＲコンテンツを追加すること、または、前記ＡＲコンテンツを前記単一のピクチャから除去すること、のうちの１つを備える、［４０］に記載の無線通信デバイス。
［４２］ゆっくり動かす動作、傾ける動作、スクロールする動作、およびズームする動作のうちの１または複数を、前記単一のピクチャに対して実行し、前記単一のピクチャにおいて表わされるシーンの新たなビューを生成する手段と、
前記ＡＲコンテンツを更新し、前記単一のピクチャに、前記新たなビューをオーバレイする手段とをさらに備え、
前記ＡＲコンテンツを更新することは、前記ＡＲコンテンツを追加すること、または、前記ＡＲコンテンツを前記単一のピクチャから除去すること、のうちの１つを備える、［３７］に記載の無線通信デバイス。
［４３］前記単一のピクチャで表わされるシーンのＡＲコンテンツを、前記ＡＲデータベース・サーバから漸次的に受信する手段と、
前記ＡＲコンテンツが前記ＡＲデータベース・サーバから受信されると、前記ＡＲコンテンツを前記単一のピクチャへ漸次的に追加する手段と、
をさらに備える［３７］に記載の無線通信デバイス。
［４４］無線通信デバイス（ＷＣＤ）において実行された場合、１または複数のプログラム可能なプロセッサに対して以下の処理を実行させる、拡張現実感アプリケーションを実行するための命令群を備えたコンピュータ読取可能な媒体であって、前記処理は、
おのおのがシーンの一部を表わす複数のイメージ・フレームを受信することと、
前記複数のイメージ・フレームを単一のピクチャに変換することと、ここで、前記単一のピクチャは、前記シーンを表わすためにともにステッチされる、前記複数のイメージ・フレームのうちの少なくとも一部を備える、
前記単一のピクチャにおいて表わされるシーンの拡張現実感（ＡＲ）コンテンツを、ＡＲデータベース・サーバから要求することと、
前記ＡＲデータベース・サーバから、前記単一のピクチャにおいて表されるシーンのＡＲコンテンツを受信することと、
前記ＡＲコンテンツを処理し、前記ＷＣＤにおいて表示するために、前記単一のピクチャをオーバレイすることと
を含む、コンピュータ読取可能な媒体。
［４５］前記プロセッサに対して、前記複数のイメージ・フレームを単一のピクチャに変換させるための命令群はさらに、前記プロセッサに対して、前記複数のイメージ・フレームのうちの一部をともにステッチし、前記単一のピクチャを生成させることを備える、［４４］に記載のコンピュータ読取可能な媒体。
［４６］前記プロセッサに対して、前記複数のイメージ・フレームを単一のピクチャに変換させるための命令群はさらに、
前記プロセッサに対して、
前記複数のイメージ・フレームを遠隔サーバへ送信することと、
前記遠隔サーバに対して、前記複数のイメージ・フレームのうちの一部をともにステッチして、前記単一のピクチャを生成するように指示することと、
前記遠隔サーバから、前記単一のピクチャを受信することと
を実行させるための命令群を備える、［４４］に記載のコンピュータ読取可能な媒体。
［４７］前記プロセッサに対して、
前記単一のピクチャで表わされるシーンのＡＲコンテンツ設定を、ユーザ入力に基づいて決定することと、
前記シーンのＡＲコンテンツ設定を、前記ＡＲデータベース・サーバへ送信することと、
前記ＡＲコンテンツ設定にしたがって、前記単一のピクチャで表わされるシーンのＡＲコンテンツを、前記ＡＲデータベース・サーバから受信することと、
を実行させるための命令群をさらに備える、［４４］に記載のコンピュータ読取可能な媒体。
［４８］前記プロセッサに対して、
前記シーンのためのＡＲコンテンツ設定に対する修正を示すユーザ入力を受信することと、
前記修正されたＡＲコンテンツ設定にしたがって、前記ＡＲコンテンツを更新し、前記単一のピクチャをオーバレイすることとを実行させるための命令群をさらに備え、
前記ＡＲコンテンツを更新することは、前記ＡＲコンテンツを追加すること、または、前記ＡＲコンテンツを前記単一のピクチャから除去すること、のうちの１つを備える、［４７］に記載のコンピュータ読取可能な媒体。
［４９］前記プロセッサに対して、
ゆっくり動かす動作、傾ける動作、スクロールする動作、およびズームする動作のうちの１または複数を、前記単一のピクチャに対して実行し、前記単一のピクチャにおいて表わされるシーンの新たなビューを生成することと、
前記ＡＲコンテンツを更新し、前記単一のピクチャに、前記新たなビューをオーバレイすることとを実行させるための命令群をさらに備え、
前記ＡＲコンテンツを更新することは、前記ＡＲコンテンツを追加すること、または、前記ＡＲコンテンツを前記単一のピクチャから除去すること、のうちの１つを備える、［４４］に記載のコンピュータ読取可能な媒体。
［５０］前記命令群は、プロセッサに対して、
前記単一のピクチャで表わされるシーンのＡＲコンテンツを、前記ＡＲデータベース・サーバから漸次的に受信することと、
前記ＡＲコンテンツが前記ＡＲデータベース・サーバから受信されると、前記ＡＲコンテンツを前記単一のピクチャへ漸次的に追加することと
を実行させる、［４４］に記載のコンピュータ読取可能な媒体。

Claims (50)

1. 無線通信デバイス（ＷＣＤ）を用いて拡張現実感アプリケーションを実行する方法であって、
   おのおのがシーンの一部を表わす複数のイメージ・フレームを、前記ＷＣＤのプロセッサを用いて受信することと、
   前記複数のイメージ・フレームを、単一のピクチャに変換することと、ここで、前記単一のピクチャは、前記シーンを表わすためにともにステッチされる、前記複数のイメージ・フレームのうちの少なくとも一部を備える、
   前記単一のピクチャにおいて表わされるシーンの拡張現実感（ＡＲ）コンテンツを、ＡＲデータベース・サーバから要求することと、
   前記ＡＲデータベース・サーバから、前記単一のピクチャにおいて表わされるシーンのＡＲコンテンツを受信することと、
   前記ＡＲコンテンツを処理し、前記ＷＣＤにおける表示のために、前記単一のピクチャをオーバレイすることと、
   を備える方法。
2. 前記複数のイメージ・フレームは、前記シーンのビデオ・データの複数のビデオ・フレームおよび複数の静止画のうちの１つを備える、請求項１に記載の方法。
3. 前記複数のイメージ・フレームを受信することは、
   前記ＷＣＤに含まれたカメラでキャプチャされたイメージ・フレームを受信することと、
   前記ＷＣＤの外部の記憶デバイスからイメージ・フレームを受信することと、
   のうちの１または複数を備える、請求項１に記載の方法。
4. 前記ＡＲコンテンツを要求することは、前記イメージ・フレームの一部および前記単一のピクチャのうちの１つを、前記ＡＲデータベース・サーバへ送信することを備える、請求項１に記載の方法。
5. 前記複数のイメージ・フレームを単一のピクチャに変換することは、前記ＷＣＤのプロセッサを用いて、前記複数のイメージ・フレームのうちの一部をともにステッチし、前記単一のピクチャを生成することを備える、請求項１に記載の方法。
6. 前記イメージ・データを単一のピクチャに変換することは、
   前記複数のイメージ・フレームを遠隔サーバへ送信することと、
   前記遠隔サーバに対して、前記複数のイメージ・フレームのうちの一部をともにステッチして、前記単一のピクチャを生成するように指示することと、
   前記遠隔サーバから、前記単一のピクチャを受信することと
   を備える、請求項１に記載の方法。
7. 前記ＡＲデータベース・サーバは、遠隔サーバを備える、請求項１に記載の方法。
8. 前記単一のピクチャで表わされるシーンのＡＲコンテンツ設定を、ユーザ入力に基づいて決定することと、
   前記シーンのＡＲコンテンツ設定を、前記ＡＲデータベース・サーバへ送信することとをさらに備え、
   前記ＡＲコンテンツを受信することは、前記ＡＲコンテンツ設定にしたがって、前記単一のピクチャで表わされるシーンのＡＲコンテンツを、前記ＡＲデータベース・サーバから受信することを備える、請求項１に記載の方法。
9. 前記ＡＲコンテンツ設定を決定することは、前記シーンのために、前記ＡＲデータベース・サーバから受信するＡＲコンテンツの１または複数のタイプを示すユーザ入力を受信することを備える、請求項８に記載の方法。
10. 前記ＡＲコンテンツ設定を決定することは、前記シーンのために、前記ＡＲデータベース・サーバから受信するＡＲコンテンツの量を示すユーザ入力を受信することを備える、請求項８に記載の方法。
11. 前記ＡＲコンテンツ設定を決定することは、前記シーンのためのＡＲコンテンツを前記ＡＲデータベース・サーバから受信する時刻を示すユーザ入力を受信することを備える、請求項８に記載の方法。
12. 前記シーンのためのＡＲコンテンツ設定に対する修正を示すユーザ入力を受信することと、
    前記修正されたＡＲコンテンツ設定にしたがって、前記ＡＲコンテンツを更新し、前記単一のピクチャをオーバレイすることとをさらに備え、
    前記ＡＲコンテンツを更新することは、前記ＡＲコンテンツを追加すること、または、前記ＡＲコンテンツを前記単一のピクチャから除去すること、のうちの１つを備える、請求項８に記載の方法。
13. ゆっくり動かす動作、傾ける動作、スクロールする動作、およびズームする動作のうちの１または複数を、前記単一のピクチャに対して実行し、前記単一のピクチャにおいて表わされるシーンの新たなビューを生成することと、
    前記ＡＲコンテンツを更新し、前記単一のピクチャに、前記新たなビューをオーバレイすることとをさらに備え、
    前記ＡＲコンテンツを更新することは、前記ＡＲコンテンツを追加すること、または、前記ＡＲコンテンツを前記単一のピクチャから除去すること、のうちの１つを備える、をさらに備える請求項１に記載の方法。
14. 前記単一のピクチャで表わされるシーンの追加のＡＲコンテンツを、前記ＡＲデータベース・サーバから要求することと、
    前記ＷＣＤにおける表示のために、既存のＡＲコンテンツに加えて前記単一のピクチャをオーバレイするために、前記追加のＡＲコンテンツを処理することと、
    をさらに備える請求項１に記載の方法。
15. 前記ＡＲコンテンツを受信することは、前記単一のピクチャで表わされるシーンのＡＲコンテンツを、前記ＡＲデータベース・サーバから漸次的に受信することを備え、
    前記ＡＲコンテンツを処理し、前記単一のピクチャをオーバレイすることは、
    前記ＡＲコンテンツが前記ＡＲデータベース・サーバから受信されると、前記ＡＲコンテンツを前記単一のピクチャへ漸次的に追加すること
    を備える、請求項１に記載の方法。
16. 前記シーンの一部を表わす複数のイメージ・フレームのおのおのの位置情報および遠近情報を、１または複数のセンサから受信することと、
    前記シーンの少なくとも一部の位置情報および遠近情報を、前記ＡＲデータベース・サーバへ送信することとをさらに備え、
    前記ＡＲコンテンツを受信することは、前記シーンの一部の位置情報および遠近情報に少なくとも部分的に基づいて、前記単一のピクチャで表わされるシーンの一部のＡＲコンテンツを、前記ＡＲデータベース・サーバから受信することを備える、請求項１に記載の方法。
17. 前記ＡＲコンテンツを受信することは、
    前記単一のピクチャで表わされるシーンのＡＲコンテンツを示すテキストおよびグラフィックのうちの１または複数を、前記ＡＲデータベース・サーバから受信することと、
    前記単一のピクチャに対応するテキストおよびグラフィックの位置情報を、前記ＡＲデータベース・サーバから受信することと
    をさらに備える、請求項１に記載の方法。
18. 前記ＡＲコンテンツを受信することは、前記単一のピクチャで表わされるシーンと、前記シーンの以前のピクチャとの差分を示す、前記単一のピクチャに表わされるシーンのＡＲコンテンツを、前記ＡＲデータベース・サーバから受信することをさらに備える、請求項１に記載の方法。
19. 拡張現実感アプリケーションを実行するための無線通信デバイス（ＷＣＤ）であって、
    イメージ・データを格納するためのメモリと、
    おのおのがシーンの一部を表わす複数のイメージ・フレームを受信することと、
    前記複数のイメージ・フレームを単一のピクチャに変換することと、ここで、前記単一のピクチャは、前記シーンを表わすためにともにステッチされる、前記複数のイメージ・フレームのうちの少なくとも一部を備える、
    前記単一のピクチャにおいて表わされるシーンの拡張現実感（ＡＲ）コンテンツを、ＡＲデータベース・サーバから要求することと、
    前記ＡＲデータベース・サーバから、前記単一のピクチャにおいて表されるシーンのＡＲコンテンツを受信することと、
    前記ＡＲコンテンツを処理し、前記単一のピクチャをオーバレイすることと
    を実行するように構成されたプロセッサと、
    前記オーバレイされたＡＲコンテンツを備える単一のピクチャを、前記ＷＣＤのユーザへ表示するためのディスプレイと、
    を備える無線通信デバイス。
20. 前記複数のイメージ・フレームは、前記シーンのビデオ・データの複数のビデオ・フレームおよび複数の静止画のうちの１つを備える、請求項１９に記載の無線通信デバイス。
21. 前記ＷＣＤに含まれ、イメージ・フレームをキャプチャするためのカメラをさらに備え、
    前記プロセッサは、前記複数のイメージ・フレームを、前記ＷＣＤに含まれるカメラおよび前記ＷＣＤの外部の記憶デバイスのうちの１または複数から受信する、請求項１９に記載の無線通信デバイス。
22. 送信機をさらに備え、
    前記プロセッサは、前記シーンのＡＲコンテンツを要求するために、前記送信機によって、前記ＡＲデータベース・サーバへ、前記複数のイメージ・フレームの一部および前記単一のピクチャのうちの１つを送信する、請求項１９に記載の無線通信デバイス。
23. 前記プロセッサは、前記複数のイメージ・フレームの一部をともにステッチして、前記単一のピクチャを生成する、請求項１９に記載の無線通信デバイス。
24. 送信機と受信機とをさらに備え、
    前記プロセッサは、
    前記複数のイメージ・フレームを前記送信機によって遠隔サーバへ送信し、
    前記遠隔サーバに対して、前記複数のイメージ・フレームのうちの一部をともにステッチして、前記単一のピクチャを生成するように指示し、
    前記受信機によって、前記遠隔サーバから、前記単一のピクチャを受信する、
    請求項１９に記載の無線通信デバイス。
25. 前記ＡＲデータベース・サーバは、遠隔サーバを備える、請求項１９に記載の無線通信デバイス。
26. 前記プロセッサは、
    前記単一のピクチャで表わされるシーンのＡＲコンテンツ設定を、ユーザ入力に基づいて決定し、
    前記シーンのＡＲコンテンツ設定を、前記ＡＲデータベース・サーバへ送信し、
    前記ＡＲコンテンツ設定にしたがって、前記単一のピクチャで表わされるシーンのＡＲコンテンツを、前記ＡＲデータベース・サーバから受信する、
    請求項１９に記載の無線通信デバイス。
27. 前記プロセッサは、前記シーンのために、前記ＡＲデータベース・サーバから受信するＡＲコンテンツの１または複数のタイプを示すユーザ入力を受信する、請求項２６に記載の無線通信デバイス。
28. 前記プロセッサは、前記シーンのために、前記ＡＲデータベース・サーバから受信するＡＲコンテンツの量を示すユーザ入力を受信する、請求項２６に記載の無線通信デバイス。
29. 前記プロセッサは、前記シーンのためのＡＲコンテンツを前記ＡＲデータベース・サーバから受信する時刻を示すユーザ入力を受信する、請求項２６に記載の無線通信デバイス。
30. 前記プロセッサは、
    前記シーンのためのＡＲコンテンツ設定に対する修正を示すユーザ入力を受信し、
    前記修正されたＡＲコンテンツ設定にしたがって、前記ＡＲコンテンツを更新し、前記単一のピクチャをオーバレイし、
    ここで、前記ＡＲコンテンツを更新することは、前記ＡＲコンテンツを追加すること、または、前記ＡＲコンテンツを前記単一のピクチャから除去すること、のうちの１つを備える、請求項２６に記載の無線通信デバイス。
31. 前記プロセッサは、
    ゆっくり動かす動作、傾ける動作、スクロールする動作、およびズームする動作のうちの１または複数を、前記単一のピクチャに対して実行し、前記単一のピクチャにおいて表わされるシーンの新たなビューを生成し、
    前記ＡＲコンテンツを更新し、前記単一のピクチャに、前記新たなビューをオーバレイし、
    ここで、前記ＡＲコンテンツを更新することは、前記ＡＲコンテンツを追加すること、または、前記ＡＲコンテンツを前記単一のピクチャから除去すること、のうちの１つを備える、請求項１９に記載の無線通信デバイス。
32. 前記プロセッサは、
    前記単一のピクチャで表わされるシーンの追加のＡＲコンテンツを、前記ＡＲデータベース・サーバから要求し、
    前記ＷＣＤにおける表示のために、既存のＡＲコンテンツに加えて前記単一のピクチャをオーバレイするために、前記追加のＡＲコンテンツを処理する、請求項１９に記載の無線通信デバイス。
33. 前記プロセッサは、
    前記単一のピクチャで表わされるシーンのＡＲコンテンツを、前記ＡＲデータベース・サーバから漸次的に受信し、
    前記ＡＲコンテンツが前記ＡＲデータベース・サーバから受信されると、前記ＡＲコンテンツを前記単一のピクチャへ漸次的に追加する、請求項１９に記載の無線通信デバイス。
34. 前記プロセッサは、
    前記シーンの一部を表わす複数のイメージ・フレームのおのおのの位置情報および遠近情報を、１または複数のセンサから受信し、
    前記シーンの少なくとも一部の位置情報および遠近情報を、前記ＡＲデータベース・サーバへ送信し、
    前記シーンの一部の位置情報および遠近情報に少なくとも部分的に基づいて、前記単一のピクチャで表わされるシーンの一部のＡＲコンテンツを、前記ＡＲデータベース・サーバから受信する、請求項１９に記載の無線通信デバイス。
35. 前記プロセッサは、
    前記単一のピクチャで表わされるシーンのＡＲコンテンツを表わすテキストおよびグラフィックのうちの１または複数を、前記ＡＲデータベース・サーバから受信し、
    前記単一のピクチャに対応するテキストおよびグラフィックの位置情報を、前記ＡＲデータベース・サーバから受信する、請求項１９に記載の無線通信デバイス。
36. 前記プロセッサは、前記単一のピクチャで表わされるシーンと、前記シーンの以前のピクチャとの差分を示す、前記単一のピクチャに表わされるシーンのＡＲコンテンツを、前記ＡＲデータベース・サーバから受信する、請求項１９に記載の無線通信デバイス。
37. 拡張現実感アプリケーションを実行するための無線通信デバイス（ＷＣＤ）であって、
    おのおのがシーンの一部を表わす複数のイメージ・フレームを受信する手段と、
    前記複数のイメージ・フレームを単一のピクチャに変換する手段と、ここで、前記単一のピクチャは、前記シーンを表わすためにともにステッチされる、前記複数のイメージ・フレームのうちの少なくとも一部を備える、
    前記単一のピクチャにおいて表わされるシーンの拡張現実感（ＡＲ）コンテンツを、ＡＲデータベース・サーバから要求する手段と、
    前記ＡＲデータベース・サーバから、前記単一のピクチャにおいて表されるシーンのＡＲコンテンツを受信する手段と、
    前記ＡＲコンテンツを処理し、前記ＷＣＤにおける表示のために、前記単一のピクチャをオーバレイする手段と、
    を備える無線通信デバイス。
38. 前記複数のイメージ・フレームを単一のピクチャに変換する手段は、前記複数のイメージ・フレームのうちの一部をともにステッチし、前記単一のピクチャを生成する手段を備える、請求項３７に記載の無線通信デバイス。
39. 前記イメージ・データを単一のピクチャに変換する手段は、
    前記複数のイメージ・フレームを遠隔サーバへ送信する手段と、
    前記遠隔サーバに対して、前記複数のイメージ・フレームのうちの一部をともにステッチして、前記単一のピクチャを生成するように指示する手段と、
    前記遠隔サーバから、前記単一のピクチャを受信する手段とを備える、請求項３７に記載の無線通信デバイス。
40. 前記単一のピクチャで表わされるシーンのＡＲコンテンツ設定を、ユーザ入力に基づいて決定する手段と、
    前記シーンのＡＲコンテンツ設定を、前記ＡＲデータベース・サーバへ送信する手段と、
    前記ＡＲコンテンツ設定にしたがって、前記単一のピクチャで表わされるシーンのＡＲコンテンツを、前記ＡＲデータベース・サーバから受信する手段と、
    さらに備える請求項３７に記載の無線通信デバイス。
41. 前記シーンのためのＡＲコンテンツ設定に対する修正を示すユーザ入力を受信する手段と、
    前記修正されたＡＲコンテンツ設定にしたがって、前記ＡＲコンテンツを更新し、前記単一のピクチャをオーバレイする手段とをさらに備え、
    前記ＡＲコンテンツを更新することは、前記ＡＲコンテンツを追加すること、または、前記ＡＲコンテンツを前記単一のピクチャから除去すること、のうちの１つを備える、請求項４０に記載の無線通信デバイス。
42. ゆっくり動かす動作、傾ける動作、スクロールする動作、およびズームする動作のうちの１または複数を、前記単一のピクチャに対して実行し、前記単一のピクチャにおいて表わされるシーンの新たなビューを生成する手段と、
    前記ＡＲコンテンツを更新し、前記単一のピクチャに、前記新たなビューをオーバレイする手段とをさらに備え、
    前記ＡＲコンテンツを更新することは、前記ＡＲコンテンツを追加すること、または、前記ＡＲコンテンツを前記単一のピクチャから除去すること、のうちの１つを備える、請求項３７に記載の無線通信デバイス。
43. 前記単一のピクチャで表わされるシーンのＡＲコンテンツを、前記ＡＲデータベース・サーバから漸次的に受信する手段と、
    前記ＡＲコンテンツが前記ＡＲデータベース・サーバから受信されると、前記ＡＲコンテンツを前記単一のピクチャへ漸次的に追加する手段と、
    をさらに備える請求項３７に記載の無線通信デバイス。
44. 無線通信デバイス（ＷＣＤ）において実行された場合、１または複数のプログラム可能なプロセッサに対して以下の処理を実行させる、拡張現実感アプリケーションを実行するための命令群を備えたコンピュータ読取可能な媒体であって、前記処理は、
    おのおのがシーンの一部を表わす複数のイメージ・フレームを受信することと、
    前記複数のイメージ・フレームを単一のピクチャに変換することと、ここで、前記単一のピクチャは、前記シーンを表わすためにともにステッチされる、前記複数のイメージ・フレームのうちの少なくとも一部を備える、
    前記単一のピクチャにおいて表わされるシーンの拡張現実感（ＡＲ）コンテンツを、ＡＲデータベース・サーバから要求することと、
    前記ＡＲデータベース・サーバから、前記単一のピクチャにおいて表されるシーンのＡＲコンテンツを受信することと、
    前記ＡＲコンテンツを処理し、前記ＷＣＤにおいて表示するために、前記単一のピクチャをオーバレイすることと
    を含む、コンピュータ読取可能な媒体。
45. 前記プロセッサに対して、前記複数のイメージ・フレームを単一のピクチャに変換させるための命令群はさらに、前記プロセッサに対して、前記複数のイメージ・フレームのうちの一部をともにステッチし、前記単一のピクチャを生成させることを備える、請求項４４に記載のコンピュータ読取可能な媒体。
46. 前記プロセッサに対して、前記複数のイメージ・フレームを単一のピクチャに変換させるための命令群はさらに、
    前記プロセッサに対して、
    前記複数のイメージ・フレームを遠隔サーバへ送信することと、
    前記遠隔サーバに対して、前記複数のイメージ・フレームのうちの一部をともにステッチして、前記単一のピクチャを生成するように指示することと、
    前記遠隔サーバから、前記単一のピクチャを受信することと
    を実行させるための命令群を備える、請求項４４に記載のコンピュータ読取可能な媒体。
47. 前記プロセッサに対して、
    前記単一のピクチャで表わされるシーンのＡＲコンテンツ設定を、ユーザ入力に基づいて決定することと、
    前記シーンのＡＲコンテンツ設定を、前記ＡＲデータベース・サーバへ送信することと、
    前記ＡＲコンテンツ設定にしたがって、前記単一のピクチャで表わされるシーンのＡＲコンテンツを、前記ＡＲデータベース・サーバから受信することと、
    を実行させるための命令群をさらに備える、請求項４４に記載のコンピュータ読取可能な媒体。
48. 前記プロセッサに対して、
    前記シーンのためのＡＲコンテンツ設定に対する修正を示すユーザ入力を受信することと、
    前記修正されたＡＲコンテンツ設定にしたがって、前記ＡＲコンテンツを更新し、前記単一のピクチャをオーバレイすることとを実行させるための命令群をさらに備え、
    前記ＡＲコンテンツを更新することは、前記ＡＲコンテンツを追加すること、または、前記ＡＲコンテンツを前記単一のピクチャから除去すること、のうちの１つを備える、請求項４７に記載のコンピュータ読取可能な媒体。
49. 前記プロセッサに対して、
    ゆっくり動かす動作、傾ける動作、スクロールする動作、およびズームする動作のうちの１または複数を、前記単一のピクチャに対して実行し、前記単一のピクチャにおいて表わされるシーンの新たなビューを生成することと、
    前記ＡＲコンテンツを更新し、前記単一のピクチャに、前記新たなビューをオーバレイすることとを実行させるための命令群をさらに備え、
    前記ＡＲコンテンツを更新することは、前記ＡＲコンテンツを追加すること、または、前記ＡＲコンテンツを前記単一のピクチャから除去すること、のうちの１つを備える、請求項４４に記載のコンピュータ読取可能な媒体。
50. 前記命令群は、プロセッサに対して、
    前記単一のピクチャで表わされるシーンのＡＲコンテンツを、前記ＡＲデータベース・サーバから漸次的に受信することと、
    前記ＡＲコンテンツが前記ＡＲデータベース・サーバから受信されると、前記ＡＲコンテンツを前記単一のピクチャへ漸次的に追加することと
    を実行させる、請求項４４に記載のコンピュータ読取可能な媒体。

Images