JP2014515130A - 写実的に表されたビューのテーマベースの拡張 - Google Patents

Abstract

ユーザの視点からの、ユーザが位置する物理的環境の写実的に表されたビューを提供するように構成されたディスプレイにおいて、写実的に表されたビューを拡張する際に使用するためのテーマを選択する入力をユーザから受けるステップを含む方法が提供される。この方法は、物理的環境の環境情報を光学的に、かつリアルタイムで取得するステップと、その環境情報に基づいて、物理的環境の空間モデルを生成するステップとをさらに含む。この方法は、空間モデルの解析を介して、それぞれが物理環境内の１つまたは複数の物理的特徴に対応する、空間モデル内の１つまたは複数の特徴を識別するステップをさらに含む。この方法は、そのような解析に基づいて、識別された特徴の拡張をディスプレイ上に表示するステップをさらに含み、拡張は、テーマに関連している。

Description

[0001]ユーザがその中で没頭できる仮想環境をシミュレートするための仮想現実システムが存在する。

仮想環境を表示するために、ヘッドアップディスプレイ、ヘッドマウントディスプレイなどのディスプレイが利用され得る。ユーザが完全に没頭するのでなく、むしろ、実環境と多少つながった状態を保つ仮想現実体験をユーザに提供することが望ましい場合がある。したがって、ユーザの実世界環境の認識をグラフィック、音声などで拡張するための拡張現実システムが開発されている。ある例として、実物体に仮想画像を統合した、パイロットの訓練およびシミュレーションのためのコックピット・シミュレーション環境を提供するために、拡張現実システムが使用され得る。

既存の拡張現実技術は、通常、仮想要素が適切に統合され得るように、シミュレーション環境の事前に設定されたモデルなど、所定のデータに依存する。

[0002]本開示の一態様によれば、ユーザが選択したテーマに従って、ユーザの自らの環境のビューが拡張される。詳細には、ディスプレイは、ユーザの視点からの、ユーザの環境の写実的に表されたビュー（ｐｈｏｔｏｒｅｐｒｅｓｅｎｔａｔｉｖｅ ｖｉｅｗ）をユーザに提供する。このディスプレイはまた、ビューを拡張するように、ユーザが選択したテーマに関連する（１つまたは複数の）拡張を表示する。そのような（１つまたは複数の）拡張の表示は、拡張され得る特徴を識別するためにリアルタイムで生成および解析される物理的環境の空間モデルに基づく。そのような識別された特徴は、物理的環境内の物理的特徴に対応する。

[0003]この「発明の概要」は、「発明を実施するための形態」においてさらに後述される概念の選択を簡素化された形で紹介するために提供される。この「発明の概要」は、特許請求される主題の主な特徴または重要な特徴を識別することが意図されず、特許請求される主題の範囲を限定するために使用されることも意図されない。さらに、特許請求される主題は、本開示のいずれかの部分に記述される何らかのまたはすべての不利点を解決する実装形態に限定されない。

本開示の一実施形態による、一例示的な使用環境を示す図である。 本開示の一実施形態による、別の例示的な使用環境を示す図である。 本開示の一実施形態による写実的に表されたビューのテーマベースの拡張を提供する、一例示的な方法を示す図である。 本開示の一実施形態による、ある空間モデルを形成するステップの一例示的な概略図である。 本開示の一実施形態による、一例示的なテーマベースの拡張を示す図である。 本開示の一実施形態による、一例示的なコンピューティングシステムを示す図である。

[0010]写実的に表されたビューのテーマベースの拡張を実現することに関する実施形態が本明細書で開示される。写実的に表されたビューは、ディスプレイによって提供され、ユーザの視点からの、ユーザが位置する物理的環境のビューの実質的に現実的な（例えば、写真のような）表現である。自らの環境のユーザの認識をそのように拡張することは、ユーザが、自らの環境自体と多少つながった状態を保ちながら、自らの環境のテーマに合わせたビューを体験することを可能にする。

[0011]本開示の態様が、次に、例として、上に記載された、例示される実施形態を参照して記述される。１つまたは複数の実施形態内で実質的に同じ可能性がある構成要素、プロセスステップ、およびその他の要素は、連係して識別され、反復を最小限に抑えて記述される。しかし、連係して識別される要素は、ある程度異なる場合もある点に留意されよう。本明細書に含まれる図面は、概略図であり、全体に原寸に比例して描かれていない点にさらに留意されよう。むしろ、様々な図面の縮尺、アスペクト比、および図面に示される構成要素の数は、ある種の特徴または関係をより分かり易くするために、意図的に歪められる場合がある。

[0012]図１Ａは、本開示のある実施形態による、ある例示的な使用環境、すなわち、ユーザ１０２が位置する物理的環境１００の概略図を示す。図１Ａは、例示のためであり、原寸に比例して描かれていない点を理解されたい。さらに、物理的環境１００は、この例で、居間として示されるが、そのような環境は例示的であり、限定的であることが決して意図されない点を理解されたい。むしろ、物理的環境１００は、屋内環境、屋外環境、慣れた環境、不慣れな環境などを含むが、これらに限定されない、ユーザ１０２が位置する、事実上、いかなるタイプの物理的環境であってもよい。ユーザ１０２に加えて、物理的環境１００は、ソファー１０４ａと、コーヒーテーブル１０４ｂと、犬１０４ｃとを含めて、いくつかの物理的な特徴１０４をさらに含む。

[0013]図１Ａは、ディスプレイ出力を介してテーマベースの拡張を提供するためのディスプレイシステム１０６をさらに示す。ディスプレイシステム１０６は、ユーザ１０２の視点からの物理的環境１００の写実的に表されたビューを提供するように構成されたディスプレイ１０８を含む。ディスプレイ１０８の非限定的な例は、ヘッドアップディスプレイ（ＨＵＤ）、ヘッドマウントディスプレイ（ＨＭＤ）などを含む。

[0014]いくつかの実施形態では、ディスプレイ１０８は、１つまたは複数の十分に透過的な部分を有する光透過型ディスプレイ（ｏｐｔｉｃａｌ ｓｅｅ−ｔｈｒｏｕｇｈ ｄｉｓｐｌａｙ）であってもよい。そのようなディスプレイは、それを介して物理的環境がユーザに可視である（１つまたは複数の）透過的な部分を介して写実的に表されたビューを提供する。しかし、他の実施形態では、ディスプレイ１０８は、その環境の空間モデルの完全にレンダリングされた画像を表示することによって、写実的に表されたビューを提供するように構成された没頭型ディスプレイであってもよい。

[0015]ディスプレイシステム１０６は、写実的に表されたビューを拡張するためのテーマを選択する入力を含めて、１つまたは複数のユーザ入力を（例えば、入力デバイスを経由して）受けるように構成される。それに応じて、ディスプレイシステム１０６は、物理的特徴１０４など、そのテーマに従って拡張され得る環境内の物理的特徴（例えば、物体、人々、建物など）を識別し、次いで、（例えば、写実的に表されたビューの少なくともいくつかを依然として提供しながら）そのような拡張を表示する。このように、ユーザ１０２は、その環境自体と多少つながった状態を保ちながら、物理的環境１００のテーマに合わせたビューを体験する。

[0016]ある例として、ディスプレイ１０８は、選択されたテーマに従って物理的環境１００を拡張できるように、ユーザ１０２がオーバーレイしている物理的特徴１０４として認知する画像を表示することができる。図２を参照して以下でより詳細に記述されるように、そのようなディスプレイシステムは、ディスプレイシステムがその環境の空間モデルを生成するために利用できる、物理的環境１００に関する情報を取得するために、デプスカメラ（ｄｅｐｔｈ ｃａｍｅｒａ）などの画像キャプチャデバイスを利用することができる。このディスプレイシステムは、次いで、そのモデルを解析して、拡張され得るモデル内の特徴を識別することができる。

[0017]図１Ａに例示されたようなディスプレイシステム１０６は、非限定的である点を理解されたい。その他の実施形態では、ディスプレイ１０８において写実的に表されたビューを提供できるように、ディスプレイシステムの１つまたは複数の構成要素は、外部で実装されてもよい。図１Ｂは、ディスプレイシステム１０６Ｂがディスプレイ１０８で見るための写実的に表されたビューを提供／送信する、別の例示的な物理的環境内、すなわち、物理的環境１００Ｂ内のユーザ１０２の概略図を示す。図３を参照して以下でより詳細に記述されるように、そのようなディスプレイシステムは、例えば、ユーザ１０２と物理的環境とを追跡して、ユーザの視点から、物理的環境の空間モデルを生成するために、デプスカメラなどの画像キャプチャデバイスが利用され得る。

[0018]ディスプレイシステム（例えば、ディスプレイシステム１０６、ディスプレイシステム１０６Ｂ）は、任意の適切な様式でテーマベースの拡張を提供するように構成され得る。図２は、写実的に表されたビューのテーマベースの拡張を提供する、ある例示的な方法２００を示す。そのような方法は、例えば、その中に格納された命令を実行することによって、ディスプレイシステム（例えば、ディスプレイシステム１０６、ディスプレイシステム１０６Ｂ）によって提供可能である。

[0019]２０２で、方法２００は、写実的に表されたビューを拡張する際に使用するためのテーマを選択する入力をユーザから受けるステップを含む。そのような入力は、ディスプレイ（例えば、ディスプレイ１０８）において、もしくは別の場所で表示されるユーザ選択可能ボタン、仮想ボタン、またはその他のユーザインターフェースなど、ディスプレイシステムと通信するように構成された入力デバイスから受けることができる。

[0020]２０４で、方法２００は、物理的環境の環境情報を光学的に、かつリアルタイムで取得するステップを含む。そのような環境情報は、物理的環境と、図１Ａに例示された物理的環境１００の物理的特徴１０４など、その特徴とを記述する何らかの適切な情報であってもよい。適切な環境情報の例は、（例えば、色彩情報、奥行き情報、赤外線情報など）画像データ、寸法データ、表面データ、動きデータ、音声データなどを含むが、これらに限定されない。

[0021]ディスプレイシステム（例えば、ディスプレイシステム１０６、ディスプレイシステム１０６Ｂ）は、任意の適切な様式で物理的環境（例えば、物理的環境１００、物理的環境１００Ｂ）の環境情報を取得するように構成され得る。非限定的な例として、ディスプレイシステムは、そのような環境情報を光学的に、かつリアルタイムで取得するように構成された、１つまたは複数のセンサをさらに含むことが可能である。したがって、方法２００は、２０６に示されるように、ディスプレイに関連する１つまたは複数のセンサを経由して環境情報を検出するステップを含むことが可能である。

[0022]いくつかの実施形態では、そのような（１つまたは複数の）センサは、ユーザ１０２の視点から環境情報をキャプチャできるように、ディスプレイ１０８の近位に配置されてもよい。図１Ａは、ディスプレイ１０８に関連し、かつディスプレイ１０８の近位に配置された、そのようなある例示的なセンサ１１０を示す。しかし、別の例として、図１Ｂは、ディスプレイ１０８に関連するが、ディスプレイ１０８から離れて配置された、ある例示的なセンサ１１０Ｂを示す。後者の場合、ディスプレイシステム１０６Ｂは、検出された情報に基づいて、ユーザ１０２の視点を判断するように構成され得る。非限定的な例として、センサは、物理的環境とその特徴の観察された場面とを視覚的に監視または追跡する、デプスカメラなどのキャプチャデバイスを含むことが可能である。中でも、ディスプレイシステム１０６Ｂがユーザの現在の視点および／または変化する視点を反映する写実的に表されたビューを提供できるように、ユーザ１０２の位置および向きを追跡することによって、ディスプレイシステム１０６Ｂは情報をディスプレイ１０８に送信することができる。

[0023]２０８で、方法２００は、環境情報に基づいて、物理的環境の空間モデルを生成するステップを含む。そのような空間モデルは、二次元モデル、三次元モデルなど、ユーザの視点から物理的環境を表すための任意の適切なモデルであってもよい。空間モデルは、ユーザの眺めから、物理的環境の写実的に表されたビュー内のほぼどんな１つまたは複数の物理的な特徴の表現も含むことができる。詳細には、空間モデルは、物理的環境の表現と、物理的環境内の物体の表現とを含む。空間モデルは、したがって、環境内の物体の空間的な配置と、互いに対する相対的は配置とを示す。ある非限定的な例として、空間モデルは、コンピュータ生成されたモデルであってもよい。加えて、変化するユーザの視点を明らかにするために、モデルはリアルタイムで動的に更新され得る。

[0024]図３は、奥行き画像解析を用いたディスプレイシステムの事例に関する空間モデルを形成するステップのある例示的な概略図を示す。図３は、センサ１１０が観察された場面１１２を検出する図１Ａを参照して以下でより詳細に議論されるが、そのような議論は、センサ１１０Ｂが観察された場面１１２Ｂを検出する図１Ｂにも適用できる点を理解されたい。前者の場合、センサ１１０は、ディスプレイ１０８の近位に配置され、したがって、取得される環境情報は、既に、ユーザの視点からである（例えば、センサは、ユーザの頭の動きの結果として狙いを定める）。後者の場合、センサ１１０Ｂはディスプレイ１０８から離れて配置されているため、ディスプレイシステムは、ユーザの眺めから物理的環境の空間モデルを生成するために、環境情報からユーザの視点（例えば、身体的な位置／向き、視線など）を判断することができる。

[0025]図３を続けると、ディスプレイシステム１０６の奥行き画像解析システムは、センサ１１０（例えば、デプスカメラ）を利用して、センサ１１０によって観察された、観察された場面１１２内の物理的環境１００の物理的特徴（例えば、物体、人々など）を視覚的に監視または追跡することができる。示される例では、犬１０４ｃの形の物理的特徴がセンサ１１０によって追跡される。図３で例示されるシナリオは、ある例として提供されるが、限定的であることが決して意図されない点を理解されたい。反対に、例示されるシナリオは、本開示の範囲から逸脱せずに、様々な異なる用途に適用され得る概括的な概念を明示することが意図される。したがって、観察された場面１１２内のその他の物理的特徴は、加えて、またはその代わりに、センサ１１０によって追跡されることもある。

[0026]図３は、仮想アバター３１６を生成するために使用され得る仮想骨格３３８として、観察された場面１１２内の犬１０４ｃがモデル形成される簡素化された処理パイプラインを示す。環境内の物理的特徴のそれぞれをそのようにモデル形成することによって、その環境の空間モデルが生成され得る。したがって、アバター、仮想物体、表面、床などは、その物理的な対照物の追跡された配置、向き、動きなどを正確に表すために、空間モデル内で適切にパラメーター化され、それにより、物理的環境の正確な表現を提供する空間モデルを生み出す。処理パイプラインは、本開示の範囲から逸脱せずに、図３に示されたステップ以外の追加のステップおよび／または代替のステップを含むことが可能である点を理解されよう。

[0027]図３に示されるように、簡素化された処理パイプラインは、対象（例えば、犬１０４ｃ）が、センサ１１０（例えば、デプスカメラ）などのキャプチャデバイスによって撮像されることから始まる。環境内のいくつかの対象、ならびに環境自体（例えば、壁、床など）も撮像可能である点を理解されたい。デプスカメラは、それぞれの画素に関して、デプスカメラに対して、観察された場面内の表面の奥行きを判断することができる。本開示の範囲から逸脱せずに、事実上、いかなる奥行き検出技術が使用されもよい。例示的な奥行き検出技術の例は、図５のキャプチャデバイス５１８を参照してより詳細に議論される。

[0028]奥行きマップ（ｄｅｐｔｈ ｍａｐ）３３６を生成するために、それぞれの画素に関して判断された奥行き情報が使用され得る。そのような奥行きマップは、観察された場面のそれぞれの画素に関する奥行き値を含むマトリックスに限定されないが、そのようなマトリックスを含めて、事実上、いかなる適切なデータ構造の形をとってもよい。図３では、奥行きマップ３３６は、対象の輪郭の画素化されたグリッドとして概略的に示される。この例示は、技術的な精度に関するものではなく、理解し易くするためである。奥行きマップは、概して、対象を撮像する単なる画素ではなく、すべての画素に関する奥行き情報を含み、センサ１１０の眺めは結果として図３に示される輪郭をもたらさない点を理解されたい。

[0029]いくつかの実施形態では、仮想骨格３３８は、対象の機械可読表現を提供するために、奥行きマップ３３６から導出され得る。すなわち、仮想骨格３３８は、対象をモデル形成するために、奥行きマップ３３６から導出され得る。仮想骨格３３８は、任意の適切な様式で奥行きマップから導出され得る。いくつかの実施形態では、１つまたは複数の骨格調整アルゴリズム（ｓｋｅｌｅｔａｌ ｆｉｔｔｉｎｇ ａｌｇｏｒｉｔｈｍｓ）が奥行きマップに適用され得る。本開示は、事実上、いかなる骨格モデル形成技法とも互換性がある。

[0030]仮想骨格３３８は、複数の関節を含むことが可能であり、それぞれの関節は対象の一部に対応する。図３では、仮想骨格３３８は、多関節棒線図として示される。この例示は、技術的な精度に関するものではなく、理解し易くするためである。本開示による仮想骨格は、そのそれぞれが、事実上、任意の数のパラメーター（例えば、三次元の関節位置、関節回転、対応する身体部分の体位（例えば、開いた手、握った手など）など）に関連し得る、任意の数の関節を含むことが可能である。仮想骨格は、複数の骨格関節のそれぞれに関する１つまたは複数のパラメーター（例えば、それぞれの関節に関するｘ位置、ｙ位置、ｚ位置、および回転を含む関節マトリックス）を含めて、データ構造の形をとってよい点を理解されたい。いくつかの実施形態では、（例えば、ワイヤーフレーム、形状プリミティブ（ｓｈａｐｅ ｐｒｉｍｉｔｉｖｅｓ）のセットなど）他のタイプの仮想骨格が使用され得る。

[0031]図３に示されるように、仮想アバター３１６が生成され得る。そのようなアバターは、その環境に対応する空間モデル内の対象の仮想表現を提供する。より詳細には、仮想骨格３３８は、追跡された対象をモデル形成し、仮想骨格３３８に基づいて仮想アバター３１６が生成されるため、仮想アバター３１６は、空間モデル内の対象のデジタル表現として機能する。そのように空間モデルを生成することによって、空間モデルの任意の１つまたは複数の部分が、オプションで、表示のためにレンダリングされ得る点を理解されたい。さらに、そのような空間モデルは、そのモデル内のデジタル表現の特性が修正されて、表示のためにレンダリングされ得るという点で拡張をサポートする。

[0032]物理的環境内の物体をモデル形成するための上述の技法は単一の対象をモデル形成することに関するが、そのような記述は非限定的である点を理解されたい。したがって、本開示の範囲から逸脱せずに、上述の技法を使用して、いくつかの対象がモデル形成され得る。また、上に示されたように、床、壁、天井など、動く対象以外の物理的特徴がモデル形成されることも可能である。

[0033]このように、物理的環境とその特徴とをモデル形成することによって、物理的環境の空間モデルが生成され得る。環境情報は光学的に、かつリアルタイムで取得され得るため、空間モデルがリアルタイムで生成および／または更新可能であるだけでなく、さらに、空間モデルは事前に設定されたデータに依存する必要がない。したがって、従来のシミュレーション環境と異なり、ユーザは、ディスプレイシステムがそれに関して（例えば、事前に構成された空間モデル、ＧＰＳデータなど）既存の知識をわずかに有するか、または既存の知識を全く有さない「新しい」環境内でそのようなディスプレイシステムを利用することができる。したがって、ユーザは、それに関してシステムが事前の情報を有さない新しい環境を含めて、様々な異なる物理的環境に関するテーマベースの拡張を体験することができる。

[0034]図２に戻ると、空間モデルを生成するとすぐに、方法２００は、次に、２１０で、空間モデルの解析を介して、それぞれが物理的環境内の１つまたは複数の物理的特徴に対応する、空間モデル内の１つまたは複数の特徴を識別するステップを含む。このように、ディスプレイシステムは、環境のユーザのビュー内の特徴を判断する。そのような解析は、物体認識、ジェスチャー認識、顔認識、ボイス認識、音声認識など、任意の適切な解析を含むことが可能である。いくつかの事例では、そのような解析は、（例えば、物体の寸法を示す）概括的な記述などを生み出すことが可能であるのに対して、他の事例では、そのような解析は、（例えば、物体が犬であることを示す）より詳細な記述を生み出すことが可能である。

[0035]図２を続けると、２１２で、方法２００は、次に、そのような解析に基づいて、１つまたは複数の識別された特徴の１つまたは複数の拡張をディスプレイ（例えば、ディスプレイ１０８）において表示するステップを含む。いくつかの実施形態では、この拡張は、例えば、物理的環境の写実的に表されたビューのうちの少なくとも一部を依然として提供しながら表示され得る。（１つまたは複数の）拡張は、ユーザによって選択されたテーマに関連する。いくつかの実施形態では、（１つまたは複数の）拡張は、そのテーマに関連する複数の拡張から選択されることがあり、そのような選択は、２１４に示されるように、空間モデル内で識別された特徴に基づく。例えば、大きな物体が空間モデル内で識別された場合、そのテーマに関連して利用可能な拡張から、寸法の点で類似の程度の拡張が選択され得る。例えば、長椅子など、居間の比較的大きな物体は、結果として、テーマ内の特定の利用可能な拡張（例えば、中世のテーマで、大きな城）を使用させることが可能である。自然／森林のテーマを仮定すると、物理的環境内の背が高く細い物体は仮想木でオーバーレイされ得る。

[0036]表示される拡張は、ユーザに提供される写実的に表されたビューを拡張する、事実上、いかなるタイプの仮想画像であってもよい。ある例として、２１６に示されるように、ユーザの視点から、物理的環境内の対応する物理的特徴をオーバーレイする画像が表示され得る。ある非限定的な例として、空間モデル内で識別された特徴に仮想皮膚が適用されることもあり、仮想皮膚の画像が表示され得る。この皮膚はモデル内の特徴に適用されたため、表示される皮膚は、ユーザによれば、その環境内の対応する物理的特徴をオーバーレイするように見えることになる。

[0037]図４は、図１Ａのユーザ１０２に関するある例を示し、ユーザは中世のテーマを選択した。この例では、ディスプレイシステム１０６は、物理的環境１００の空間モデルを生成して、物理的特徴、すなわち、ソファー１０４ａと、コーヒーテーブル１０４ｂと、犬１０４ｃとを識別した。そのような解析に基づいて、４００で拡張されたビュー内で例示される、写実的に表されたビューの拡張がディスプレイ１０８に表示される。そのような拡張を表示することは、ユーザがソファー１０４ａ上にオーバーレイされた城４０２と、コーヒーテーブル１０４ｂ上にオーバーレイされた緑樹４０４と、犬１０４ｃ上にオーバーレイされた衣装４０６とを見ることを可能にする。これらの拡張の表示は空間モデルの解析に基づくため、これらの拡張は物理的環境に合わせてカスタマイズされる。例えば、城４０２は、ソファー１０４ａの寸法および特徴に対応するようにカスタマイズされ得る。さらに、新しい環境情報が取得されるにつれて、空間モデルはリアルタイムで更新され得るため、これらの拡張の表示もリアルタイムで更新され得る。したがって、ユーザが物理的環境の中を移動する際に、これらの拡張の表示を維持することができ、ユーザがテーマベースの体験を続けることを可能にする。したがって、これらの拡張の表示はいかなる意味でも「静的」ではない。反対に、ユーザが移動するにつれて、ユーザの動的な変化する視点に従って拡張が継続的に表示されるように、これらの拡張の表示は動的に調整されてもよい。

[0038]図４に例示されるシナリオは、ある例として提供され、限定的であることが決して意図されない点を理解されたい。反対に、例示されるシナリオは、本開示の範囲から逸脱せずに、様々な異なる用途に適用され得る概括的な概念を明示することが意図される。

[0039]図２を続けると、この拡張は、任意の適切な様式で表示されてもよい。例えば、光透過型ディスプレイの場合、ユーザは、ディスプレイの光透過部分によって提供される写実的に表されたビューを経由して、その環境を既に見ている可能性がある。そのような場合、ユーザの視点から、物理的環境内の対応する物理的特徴をオーバーレイする仮想物体の１つまたは複数の画像がディスプレイ上に表示され得る。したがって、２１８に示されるように、表示された画像はユーザのビューを拡張する。このようにして、自らの環境自体と多少つながった状態を保ちながら、その環境のテーマベースの体験がユーザに提供される。

[0040]あるいは、没頭型ディスプレイの場合、ユーザは、空間モデルの完全にレンダリングされた画像を介して提供された写実的に表されたビューを経由してその環境を既に見ている可能性がある（例えば、ユーザがそのディスプレイの光透過部分を介して場面を直接的に見るのではなく、ディスプレイ全体がレンダリングされる）。そのような場合、空間モデル内で識別された１つまたは複数の特徴は修正されることがあり、それに応じて、空間モデルのそのような修正を反映する、空間モデルの完全にレンダリングされた画像が表示され得る。空間モデル内で識別された特徴は十分に保持され得るため、２２０に示されるように、ユーザは、環境内の物理的特徴のオーバーレイとして、それらの修正を認識することができる。

[0041]したがって、ディスプレイが光透過型ディスプレイであるか、または没頭型ディスプレイであるかにかかわらず、その環境自体と多少つながった状態を保ちながら、その環境のテーマベースの体験がユーザに提供される。すなわち、典型的には、例えば、物理的環境の正確なビューに、写真のような、比較的高いレベルの忠実性（ｆｉｄｅｌｉｔｙ）を提供して、表示される内容の一部がフォトレプリゼンタティブ状態に留まる。すなわち、いくつかの事例では、空間モデルに応答して選択された適切なテーマベースの修正を用いて、物理的環境全体がオーバーレイされること、覆われる（ｓｋｉｎｎｅｄ）ことなどが可能である。

[0042]さらに、ディスプレイシステムは環境情報を光学的に、かつリアルタイムで取得するため、２２２に示されるように、ユーザが物理的環境の中を移動するにつれて、拡張の表示が維持され得る。すなわち、ユーザが物理的環境内で移動するにつれて、拡張が動的に表示され、その結果として、写実的に表されたビュー内に変更をもたらすことが可能である。いくつかの実施形態では、これは、ユーザの視点がやはりリアルタイムで変更する場合ですら、ユーザの視点に従って、表示された拡張が引き続き表示されるように、拡張および／または空間モデルを修正するステップを含むことが可能である。したがって、ユーザがその環境の中を移動するにつれて、かつ／またはその環境と相互作用するにつれて、ユーザはテーマベースの体験を自然に続けることができる。

[0043]いくつかの実施形態では、上述の方法およびプロセスは、１つまたは複数のコンピュータを含むコンピューティングシステムに連結され得る。詳細には、本明細書に記述される方法およびプロセスは、コンピュータアプリケーション、コンピュータサービス、コンピュータＡＰＩ、コンピュータライブラリ、および／またはその他のコンピュータプログラム製品として実施され得る。

[0044]図５は、上述の方法およびプロセスのうちの１つまたは複数を実行することが可能な非限定的なコンピューティングシステム５００を概略的に示す。コンピューティングシステム５００は簡素化された形で示される。本開示の範囲から逸脱せずに、事実上、いかなるコンピュータアーキテクチャが使用されてもよい点を理解されたい。様々な実施形態で、コンピューティングシステム５００は、メインフレームコンピュータ、サーバーコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ホーム・エンターテイメント・コンピュータ、ネットワーク・コンピューティング・デバイス、モバイル・コンピューティングデバイス、モバイル通信デバイス、ゲームデバイスなどの形をとってもよい。

[0045]コンピューティングシステム５００は、論理サブシステム５０２とデータ保持サブシステム５０４とを含む。コンピューティングシステム５００は、ディスプレイサブシステム５０６、通信サブシステム５０８、環境サブシステム５１０、解析サブシステム５１２、および／または図５に示されない他の構成要素をオプションで含むことが可能である。コンピューティングシステム５００は、例えば、キーボード、マウス、ゲームコントローラ、カメラ、マイクロフォン、および／またはタッチスクリーンなどのユーザ入力デバイスをオプションで含むことも可能である。

[0046]論理サブシステム５０２は、１つまたは複数の命令を実行するように構成された１つまたは複数の物理的デバイスを含むことが可能である。例えば、論理サブシステムは、１つもしくは複数のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、構成要素、データ構造、またはその他の論理的構造の一部である、１つもしくは複数の命令を実行するように構成され得る。そのような命令は、タスクを実行するため、データタイプを実行するため、１つもしくは複数のデバイスの状態を変更するため、またはそうでない場合、所望される結果を達するために実施され得る。

[0047]論理サブシステムは、ソフトウェア命令を実行するように構成された１つまたは複数のプロセッサを含むことが可能である。加えて、またはその代わりに、論理サブシステムは、ハードウェア命令またはファームウェア命令を実行するように構成された１つもしくは複数のハードウェア論理マシンあるいはファームウェア論理マシンを含むことが可能である。論理サブシステムのプロセッサは、シングルコアであってもよく、またはマルチコアであってもよく、プロセッサにおいて実行されるプログラムは、並行処理用に構成されても、または分散型処理用に構成されてもよい。論理サブシステムは、遠隔で配置されてもよく、かつ／または協調的な処理用に構成されてもよい、２つ以上のデバイスを通して分散された個々の構成要素をオプションで含むことが可能である。論理サブシステムの１つまたは複数の態様は、仮想化されて、クラウドコンピューティング構成で構成された、遠隔でアクセス可能なネットワーク接続されたコンピューティングデバイスよって実行可能である。

[0048]データ保持サブシステム５０４は、ディスプレイと１つもしくは複数のセンサ（例えば、センサ５１６）とに動作可能に結合され得、本明細書に記述される方法およびプロセスを実行するために論理サブシステムによって実行可能なデータならびに／または命令を保持するように構成された、１つもしくは複数の物理的な非一時的デバイスを含むことが可能である。そのような方法およびプロセスが実施されるとき、データ保持サブシステム５０４の状態は（例えば、異なるデータを保持するように）変換され得る。

[0049]データ保持サブシステム５０４は、取外し可能媒体および／または内蔵型デバイスを含むことが可能である。データ保持サブシステム５０４は、中でも、（例えば、ＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、Ｂｌｕ−Ｒａｙディスクなど）光メモリデバイス、（例えば、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなど）半導体メモリデバイス、および／または（例えば、ハードディスクドライブ、フロッピー(登録商標)ディスクドライブ、テープドライブ、ＭＲＡＭなど）磁気メモリデバイスを含むことが可能である。データ保持サブシステム５０４は、以下の特性、すなわち、揮発性特性、不揮発性特性、動的特性、静的特性、読取り／書込み特性、読取り専用特性、ランダムアクセス特性、シーケンシャルアクセス特性、位置アドレス可能（ｌｏｃａｔｉｏｎ ａｄｄｒｅｓｓａｂｌｅ）特性、ファイルアドレス可能（ｆｉｌｅ ａｄｄｒｅｓｓａｂｌｅ）特性、およびコンテンツアドレス可能（ｃｏｎｔｅｎｔ ａｄｄｒｅｓｓａｂｌｅ）特性のうちの１つまたは複数を備えたデバイスを含むことが可能である。いくつかの実施形態では、論理サブシステム５０２およびデータ保持サブシステム５０４は、特定用途向け集積回路またはシステムオンチップなど、１つもしくは複数の共通デバイス内に統合され得る。

[0050]図５は、本明細書に記述される方法とプロセスとを実施するために実行可能なデータおよび／もしくは命令を記憶ならびに／または転送するために使用され得る、取外し可能なコンピュータ可読記憶媒体５１４の形のデータ保持サブシステムのある態様をやはり示す。取外し可能なコンピュータ可読記憶媒体５１４は、中でも、ＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、Ｒｌｕ−Ｒａｙディスク、ＥＥＰＲＯＭ、および／またはフロッピー(登録商標)ディスクの形をとってもよい。

[0051]データ保持サブシステム５０４は、１つまたは複数の物理的な非一時的デバイスを含む点を理解されたい。対照的に、いくつかの実施形態では、本明細書に記述される命令の態様は、少なくとも有限存続期間にわたって物理的デバイスによって保持されないピュアな信号（ｐｕｒｅ ｓｉｇｎａｌ）（例えば、電磁信号、光信号など）によって一時的な形で伝搬され得る。さらに、本開示に関するデータおよび／または他の形の情報はピュアな信号によって伝搬され得る。

[0052]ディスプレイサブシステム５０６は、含まれるとき、データ保持サブシステム５０４によって保持されるデータの視覚的表現（例えば、仮想アバターおよび／または三次元仮想世界）を提示するために使用され得る。本明細書で開示される方法およびプロセスはデータ保持サブシステムによって保持されるデータを変更し、それにより、データ保持サブシステムの状態を変換するため、ディスプレイサブシステム５０６の状態も同様に変換されて、基礎となるデータ内の変更を視覚的に表すことが可能である。例えば、コンピューティングシステム５００は、ディスプレイサブシステム５０６のディスプレイデバイスにおいて表示するために運転ゲームをレンダリングするように構成され得る。したがって、コンピューティングシステム５００は、運転ゲームインターフェースをディスプレイデバイスに出力するためのディスプレイ出力を含むことが可能である。ディスプレイサブシステム５０６は、事実上、いかなるタイプの技術も利用する、１つまたは複数のディスプレイデバイスを含むことが可能である。そのようなディスプレイデバイスは共有筐体内で論理サブシステム５０２および／もしくはデータ保持サブシステム５０４と組み合わされてもよく、またはそのようなディスプレイデバイスは、ディスプレイ出力を介して論理サブシステムに接続された周辺ディスプレイデバイスであってもよい。

[0053]含まれるとき、通信サブシステム５０８は、コンピューティングシステム５００を１つまたは複数の他のコンピューティングデバイスと通信可能に結合するように構成され得る。通信サブシステムは、１つもしくは複数の異なる通信プロトコルと互換性のある有線通信デバイスおよび／または無線通信デバイスを含むことが可能である。非限定的な例として、通信サブシステムは、無線電話ネットワーク、無線ローカルエリアネットワーク、有線ローカルエリアネットワーク、無線広域ネットワーク、有線広域ネットワークなどを経由して通信するように構成され得る。いくつかの実施形態では、通信サブシステムは、コンピューティングシステム５００が、インターネットなどのネットワークを経由して、他のデバイスにメッセージを送信すること、および／または他のデバイスからメッセージを受けることを可能にできる。

[0054]環境サブシステム５１０は、環境情報を光学的に、かつリアルタイムで取得するための１つまたは複数のセンサ５１６を含むことが可能である。センサ５１６は、１つもしくは複数の対象の奥行き画像を取得するように構成された統合キャプチャデバイスおよび／または周辺キャプチャデバイス５１８を含むことが可能である。いずれの場合も、コンピューティングシステム５００は、デプスカメラから奥行き画像を受け、受けた奥行き画像を処理のために論理サブシステムに配信するための周辺入力を含むことが可能である。キャプチャデバイス５１８は、任意の適切な技法（例えば、飛行時間（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ）、構造化光（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）、ステレオ画像（ｓｔｅｒｅｏ ｉｍａｇｅ）など）により奥行き情報を有するビデオをキャプチャするように構成され得る。したがって、キャプチャデバイス５１８は、デプスカメラ、ビデオカメラ、ステレオカメラ、および／またはその他の適切なキャプチャデバイスを含むことが可能である。

[0055]例えば、飛行時間解析では、キャプチャデバイス５１８は、赤外線を対象に放射することが可能であり、次いで、センサを使用して、対象の表面から後方散乱した光を検出することが可能である。いくつかの事例では、パルス赤外線が使用されてもよく、出射光パルスと対応する入射光パルスとの間の時間が測定されて、キャプチャデバイスから対象上の特定の位置までの物理的距離を判断するために、その時間が使用され得る。いくつかの事例では、位相偏移を判断するために、出射光波の位相が入射光波の位相と比較され得、キャプチャデバイスから対象上の特定の位置までの物理的距離を判断するために、位相偏移が使用され得る。

[0056]別の例では、シャッター光パルス結像（ｓｈｕｔｔｅｒｅｄ ｌｉｇｈｔ ｐｕｌｓｅ ｉｍａｇｉｎｇ）などの技法によって、光の反射ビームの強度を経時的に解析することによって、キャプチャデバイスから対象上の特定の位置までの物理的距離を間接的に判断するために、飛行時間解析が使用され得る。

[0057]別の例では、奥行き情報をキャプチャするために、キャプチャデバイス５１８によって構造化光解析が利用され得る。そのような解析では、パターン化された光（例えば、グリッドパターン、ストライプパターン、ドットのコンステレーション（ｃｏｎｓｔｅｌｌａｔｉｏｎ ｏｆ ｄｏｔｓ）など、知られているパターンとして表示された光）が対象上に投影され得る。対象の表面を照らすとすぐに、そのパターンは変形し、キャプチャデバイスから対象上の特定の位置までの物理的距離を判断するために、パターンのこの変形が調査され得る。

[0058]別の例では、キャプチャデバイスは、視覚的なステレオデータを取得するために、異なる角度からターゲットを見る、１つまたは複数の物理的に分離されたカメラを含むことが可能である。そのような場合、奥行き画像を生成するために、視覚的ステレオデータが解決され得る。

[0059]他の実施形態では、キャプチャデバイス５１８は、他の技術を利用して、奥行き値を測定および／または計算することが可能である。加えて、キャプチャデバイス５１８は、計算された奥行き情報を「Ｚ」個の層、例えば、その見通し線に沿ってデプスカメラからその対象まで伸びるＺ軸に対して直角な層に組織化することが可能である。

[0060]いくつかの実施形態では、２つ以上の異なるカメラが統合キャプチャデバイス内に組み込まれることが可能である。例えば、デプスカメラおよびビデオカメラ（例えば、ＲＧＢビデオカメラ）が共通キャプチャデバイス内に組み込まれてもよい。いくつかの実施形態では、２つ以上の別個のキャプチャデバイスが協働的に使用され得る。例えば、デプスカメラと、別個のビデオカメラとが使用されてもよい。ビデオカメラが使用されるとき、そのビデオカメラは、対象追跡データ、ならびに対象追跡の誤り訂正、画像キャプチャ、顔認識、指（もしくは、その他の小さな特徴）の高精度追跡、光感知、および／またはその他の機能に関する確認データを提供するために使用され得る。

[0061]環境サブシステム５１０は、環境情報に基づいて、物理的環境の空間モデルを生成するようにさらに構成され得る。少なくともいくつかの対象解析動作および対象追跡動作が１つまたは複数のキャプチャデバイスの論理マシンによって実行され得る点を理解されたい。キャプチャデバイスは、１つもしく複数の対象解析機能および／または対象追跡機能を実行するように構成された１つもしくは複数のオンボード処理ユニットを含むことが可能である。キャプチャデバイスは、そのようなオンボード処理論理の更新を円滑にするためのファームウェアを含むことが可能である。

[0062]コンピューティングシステム５００は、入力デバイス５２０など、１つまたは複数の入力デバイスをオプションで含むことが可能である。例えば、写実的に表されたビューを拡張するためのテーマを選択するユーザ入力を受けるために、入力デバイス５２０が利用され得る。コンピューティングシステムの動作を制御するために、入力デバイスが使用され得る。ゲームの文脈で、本明細書に記述された対象認識、対象追跡、ならびに対象解析の方法および手順によって制御されないゲームの側面を制御するために、入力デバイスが使用され得る。いくつかの実施形態では、入力デバイスは、物理的空間内でコントローラの動きを測定するために使用され得る、加速度計、ジャイロスコープ、赤外線ターゲットシステム／赤外線センサシステムなどのうちの１つまたは複数を含むことが可能である。いくつかの実施形態では、コンピューティングシステムは、入力グラブ、キーボード、マウス、トラックパッド、トラックボール、タッチスクリーン、ボタン、スイッチ、ダイアル、および／またはその他の入力デバイスをオプションで含むこと、ならびに／または利用することが可能である。理解されるように、ゲームコントローラなど、入力デバイスによって従来制御されたゲーム、もしくはその他のアプリケーションの側面を制御または拡張するために、対象認識、対象追跡、および対象解析が使用され得る。いくつかの実施形態では、他の形態のユーザ入力に対する完全な置換として本明細書に記述された対象追跡が使用され得るのに対して、他の実施形態では、１つまたは複数の他の形態のユーザ入力を補間するために、そのような対象追跡が使用され得る。

[0063]解析サブシステム５１２は、次いで、環境サブシステム５１０によって生み出された空間モデルを解析するように構成され得る。そのような解析は、物体認識、ジェスチャー認識、顔認識、ボイス認識、音声認識、および／または任意のその他の適切なタイプの解析を含むことが可能である。

[0064]本明細書に記述された構成および／または手法は、本質的に例示であり、数多くの改変が可能であるため、これらの特定の実施形態または例は限定的な意味で考察されるべきではない点を理解されたい。本明細書に記述された特定のルーチンまたは方法は、任意の数の処理戦略のうちの１つまたは複数を表す場合がある。したがって、例示された様々な活動は、例示された順序で実行されても、他の順序で実行されても、並行して実行されても、または、場合によっては、省略されてもよい。同様に、上述のプロセスの順序も変更されてもよい。

[0065]本開示の主題は、本明細書で開示された様々なプロセス、システムおよび構成、その他の特徴、機能、活動、ならびに／または特性のみならず、それらの何らかの均等物およびすべての均等物のすべての新規性があり、かつ自明でない組合せとサブコンビネーションとを含む。

Claims (10)

1. ユーザの視点からの、前記ユーザが位置する物理的環境の写実的に表されたビューを提供するように構成されたディスプレイにおいて、前記写実的に表されたビューのテーマベースの拡張を実現する方法であって、
   前記写実的に表されたビューを拡張する際に使用するためのテーマを選択する入力を前記ユーザから受けるステップと、
   前記物理的環境の環境情報を光学的にリアルタイムで取得するステップと、
   前記環境情報に基づいて、前記物理的環境の空間モデルを生成するステップと、
   前記空間モデルの解析を介して、それぞれが前記物理的環境内の１つまたは複数の物理的特徴に対応する、前記空間モデル内の１つまたは複数の特徴を識別するステップと、
   前記解析に基づいて、前記テーマに関連した、識別された特徴の拡張を前記ディスプレイ上に表示するステップと
   を含む方法。
2. 請求項１に記載の方法であって、前記空間モデルの解析時に、前記テーマに関連する複数の拡張から前記拡張を選択するステップをさらに含み、前記選択が識別された前記１つまたは複数の特徴に基づく、方法。
3. 請求項１に記載の方法であって、前記拡張を表示するステップが、前記識別された特徴に対応する、前記物理的環境内の前記物理的特徴を前記ユーザの視点からオーバーレイする画像を表示するステップを含む、方法。
4. 請求項１に記載の方法であって、前記ディスプレイは、前記物理的環境が前記ユーザに可視である前記ディスプレイの１つまたは複数の十分に透過的な部分を介して、前記写実的に表されたビューを提供するように構成された光透過型ディスプレイである、方法。
5. 請求項４に記載の方法であって、前記拡張を表示するステップが、仮想物体を前記空間モデルの識別された前記特徴上にオーバーレイするステップと、前記仮想物体の画像を表示するステップであって、該画像は、前記ディスプレイを介して前記ユーザに可視である、前記物理的環境内の前記対応する物理的特徴を前記ユーザの視点からオーバーレイする、ステップとを含む、方法。
6. 請求項１に記載の方法であって、前記ディスプレイが、前記空間モデルの完全にレンダリングされた画像を表示することによって、前記写実的に表されたビューを提供するように構成された没頭型ディスプレイである、方法。
7. 請求項６に記載の方法であって、前記拡張を表示するステップが、前記空間モデル内で識別された１つまたは複数の特徴を修正するステップと、それに応じて、前記空間モデルの前記修正を反映する、前記空間モデルの完全にレンダリングされた画像を表示するステップとを含む、方法。
8. 請求項１に記載の方法であって、前記ユーザが前記物理的環境の中を移動する際に、前記拡張の表示を維持するステップをさらに含む、方法。
9. ディスプレイ出力を介してテーマベースの拡張を提供するためのディスプレイシステムであって、
   ユーザの視点からの、前記ユーザが位置する物理的環境の写実的に表されたビューを提供するように構成されたディスプレイと、
   前記物理的環境の環境情報を光学的にリアルタイムで取得するように構成された１つまたは複数のセンサと、
   前記ディスプレイおよび前記１つまたは複数のセンサと動作上結合されたデータ保持サブシステムであって、
   前記写実的に表されたビューを拡張する際に使用するためのテーマを選択する入力を前記ユーザから受けることと、
   前記環境情報に基づいて、前記物理的環境の空間モデルを生成することと、
   前記空間モデルの解析を介して、それぞれが前記物理的環境内の１つまたは複数の物理的特徴に対応する、前記空間モデル内の１つまたは複数の特徴を識別することと、
   前記解析に基づいて、前記テーマに関連した、識別された特徴の拡張を前記ディスプレイ上に表示することと
   を行うために、論理サブシステムによって実行可能な命令を含むデータ保持サブシステムと
   を備えたディスプレイシステム。
10. 請求項９に記載のディスプレイシステムであって、前記１つまたは複数のセンサが、前記物理的環境の１つまたは複数の奥行き画像を取得するように構成された画像キャプチャデバイスを含む、ディスプレイシステム。

Images