JP2023109848A - 仮想現実システムのための安全境界を修正するためのシステムおよび方法 - Google Patents

Abstract

【課題】ＨＭＤデバイスを着用しているユーザが、現実世界環境中の特徴または障害との衝突を防ぐために使用する現実世界環境中の仮想境界（ｖｉｒｔｕａｌ ｂｏｕｎｄａｒｙ）を修正する方法、コンピュータ可読記憶媒体およびシステムを提供する。【解決手段】方法は、現実世界環境の平面を表す基準高度の指示を受信することと、基準高度に対して、仮想世界環境についての仮想境界を確立することと、仮想境界を修正したいというユーザからの要求を受信することと、ユーザからの要求に応答して、配向データを生成するために方向インジケータの配向を監視することと、基準高度と配向データとに基づいて仮想境界を修正することと、を含む。【選択図】図１

Description

関連出願の相互参照
本出願は、その開示全体がこの参照により組み込まれる、２０１８年１０月３１日に出願された米国非仮出願第１６／１７７，４２４号の利益を主張する。

仮想現実（ＶＲ）システムおよび拡張現実（ＡＲ）システムは、ユーザが、通常のテレビまたはビデオゲーミングが提供することができるものよりも没入型のエクスペリエンスを有することを可能にし得る。ヘッドマウントディスプレイ（ＨＭＤ）を着用しながら、ユーザは、まさに、ユーザが現実世界環境を観察するために自然に行うように、単に、自分の頭部を配向することによって、キャプチャされたシーンまたは人工的に生成されたシーンの異なる部分を観察することができる。シーンは、シーンがユーザの頭部の位置および配向の変化に基づいて変化するように、ユーザの頭部の位置および配向に基づいて、ＨＭＤにおいてユーザに提示され得る。また、モバイルＶＲシステムが、ユーザが現実世界環境中を歩き回るとき、ユーザの移動を考慮することができ、その結果、ユーザは自身が仮想環境中で移動していると知覚する。

没入型であるが、これらの特徴は、ユーザにユーザの現実世界環境の重要な態様を忘れさせるやり方で、ユーザが仮想環境と関与することを可能にし得る。たとえば、仮想環境中のある位置から別の位置に歩くことを試みるユーザは、ユーザの、現実世界環境の認識の欠如により、テーブル、カウチ、または壁など、現実世界の障害を考慮することに失敗すること（または、見ることができないこと）がある。これにより、現実世界環境または現実世界環境中の特徴との衝突が生じ得る。

以下でより詳細に説明されるように、本開示は、ＨＭＤデバイスを着用しているユーザが、現実世界環境中の特徴または障害との衝突を防ぐために使用され得る、現実世界環境中の仮想境界（ｖｉｒｔｕａｌ ｂｏｕｎｄａｒｙ）を修正することを可能にし得る、システムおよび方法について説明する。

一例では、仮想境界を修正するためのコンピュータ実装方法が、（１）現実世界環境の平面を表す基準高度（ｒｅｆｅｒｅｎｃｅ ｅｌｅｖａｔｉｏｎ）の指示を受信することと、（２）基準高度に対して、仮想世界環境についての仮想境界を確立することと、（３）仮想境界を修正したいというユーザからの要求を受信することと、（４）ユーザからの要求に応答して、配向データを生成するために方向インジケータの配向を監視することと、（５）基準高度と配向データとに基づいて仮想境界を修正することとを含み得る。

いくつかの例では、配向データは、基準高度に対する方向インジケータの高度の高度データを含み得る。仮想境界を修正することは、平面と、高度データによって示された高度におけるおよび配向データによって示された配向におけるユーザデバイスから延びる仮想線との交差部を決定することを含み得る。

いくつかの例では、本方法は、ヘッドマウントディスプレイシステムのイメージングシステムで現実世界環境のビューをキャプチャすることを含み得る。キャプチャされたビューは、レンズ誘発ひずみを有し得る。本方法は、現実世界環境の補償ビューを作り出すために、キャプチャされたビュー中のレンズ誘発ひずみを補正することと、仮想境界を現実世界環境の補償ビューに重ね合わせることと、境界修正状態中に現実世界環境の補償ビューをヘッドマウントディスプレイシステムのディスプレイに表示することとをも含み得る。

いくつかの例では、仮想境界が最小エリアしきい値を満たすとき、仮想境界は成功色で表示され得、仮想境界が最小エリアしきい値を満たさないとき、仮想境界は警告色で表示され得る。いくつかの例では、仮想境界は、仮想境界によって定義された塗りつぶされた形状として表示され得る。

いくつかの例では、仮想境界を修正することは、仮想境界に部分を加えること、または仮想境界から部分を減じることを含み得る。いくつかの例では、本方法は、基準高度の確認を受信することを含み得る。いくつかの例では、本方法は、仮想境界をリセットするための指示を受信することを含み得る。

いくつかの例では、上記で説明された方法は、コンピュータ可読媒体上のコンピュータ可読命令として符号化され得る。たとえば、コンピュータ可読媒体は、１つまたは複数のコンピュータ実行可能命令を含み得、それらの命令は、コンピューティングデバイスの少なくとも１つのプロセッサによって実行されたとき、コンピューティングデバイスに、（１）現実世界環境の平面を表す基準高度の指示を受信することと、（２）基準高度に対して、仮想世界環境についての仮想境界を確立することと、（３）配向データを生成するために方向インジケータの配向を監視することと、（４）基準高度と配向データとに基づいて仮想境界を修正することとを行わせ得る。

いくつかの例では、配向データは、基準高度に対する方向インジケータの高度の高度データを含み得る。仮想境界を修正することは、平面と、高度データによって示された高度におけるおよび配向データによって示された配向における方向インジケータから延びる仮想線との交差部を決定することを含み得る。

いくつかの例では、命令は、ヘッドマウントディスプレイシステムのイメージングシステムで現実世界環境のビューをキャプチャするための命令を含み得る。キャプチャされたビューは、レンズ誘発ひずみを有し得る。命令は、現実世界環境の補償ビューを作り出すために、キャプチャされたビュー中のレンズ誘発ひずみを補正することと、仮想境界を、仮想境界によって定義された塗りつぶされた形状として、現実世界環境の補償ビューに重ね合わせることと、境界修正状態中に現実世界環境の補償ビューをヘッドマウントディスプレイシステムのディスプレイに表示することとを行うための命令を含み得る。

いくつかの例では、仮想境界が最小エリアしきい値を満たすとき、仮想境界は成功色で表示され得、仮想境界が最小エリアしきい値を満たさないとき、仮想境界は警告色で表示され得る。

いくつかの例では、仮想境界を修正することは、仮想境界に部分を加えること、または仮想境界から部分を減じることを含み得る。いくつかの例では、命令は、基準高度の確認を受信するための命令を含み得る。いくつかの例では、命令は、仮想境界をリセットするための指示を受信するための命令を含み得る。

さらに、ヘッドマウントディスプレイシステムが、ユーザアタッチメントシステムに固定されたディスプレイと、方向インジケータと、処理システムとを含み得る。処理システムは、（１）現実世界環境の平面を表す基準高度を識別することと、（２）基準高度に対して、仮想世界環境についての仮想境界を確立することと、（３）基準高度と方向インジケータの配向を特徴づける配向データとに基づいて仮想境界を修正することと行うように構成され得る。

いくつかの例では、処理システムは、ヘッドマウントディスプレイシステムのイメージングシステムで現実世界環境のビューをキャプチャするようにさらに構成され得る。キャプチャされたビューは、レンズ誘発ひずみを有し得る。処理システムは、現実世界環境の補償ビューを作り出すために、キャプチャされたビュー中のレンズ誘発ひずみを補正することと、仮想境界を、仮想境界によって定義された塗りつぶされた形状として、現実世界環境の補償ビューに重ね合わせることと、境界修正状態中に現実世界環境の補償ビューをヘッドマウントディスプレイシステムのディスプレイに表示することとを行うようにさらに構成され得る。

いくつかの例では、仮想境界が最小エリアしきい値を満たすとき、仮想境界は成功色で表示され得、仮想境界が最小エリアしきい値を満たさないとき、仮想境界は警告色で表示され得る。

いくつかの例では、仮想境界を修正することは、仮想境界に部分を加えること、または仮想境界から部分を減じることを含み得る。いくつかの例では、配向データは、方向インジケータの高度の高度データを含み得る。仮想境界を修正することは、平面と、高度データによって示された高度におけるおよび配向データによって示された配向におけるユーザデバイスから延びる仮想線との交差部を決定することを含み得る。

上述の実施形態のいずれかからの特徴が、本明細書で説明される一般的な原理に従って、互いと組み合わせて使用され得る。これらおよび他の実施形態、特徴、および利点は、添付の図面および特許請求の範囲とともに以下の発明を実施するための形態を読むとより十分に理解されよう。

本発明による一実施形態では、１つまたは複数のコンピュータ可読非一時的記憶媒体は、実行されたとき、本発明による方法または上述の実施形態のいずれかにおける方法を実施するように動作可能であるソフトウェアを具現し得る。

本発明による一実施形態では、システムは、１つまたは複数のプロセッサと、プロセッサに結合され、プロセッサによって実行可能な命令を備える少なくとも１つのメモリとを備え得、プロセッサは、命令を実行したとき、本発明による方法または上述の実施形態のいずれかにおける方法を実施するように動作可能である。

本発明による一実施形態では、好ましくはコンピュータ可読非一時的記憶媒体を備えるコンピュータプログラム製品は、データ処理システム上で実行されたとき、本発明による方法または上述の実施形態のいずれかにおける方法を実施するように動作可能であり得る。

本発明による実施形態は、特に、方法、記憶媒体、およびヘッドマウントディスプレイ（ＨＭＤ）を対象とする添付の特許請求の範囲で開示され、１つの請求項カテゴリー、たとえば、方法において述べられた任意の特徴は、別の請求項カテゴリー、たとえば、ＨＭＤ、システムおよびコンピュータプログラム製品においても請求され得る。添付の特許請求の範囲における従属関係または参照は、形式上の理由で選定されるにすぎない。ただし、前の請求項への意図的な参照（特に複数の従属関係）から生じる主題も請求され得、その結果、請求項とその特徴との任意の組合せが、開示され、添付の特許請求の範囲で選定された従属関係にかかわらず請求され得る。請求され得る主題は、添付の特許請求の範囲に記載の特徴の組合せだけでなく、特許請求の範囲における特徴の任意の他の組合せをも含み、特許請求の範囲において述べられた各特徴は、特許請求の範囲における任意の他の特徴または他の特徴の組合せと組み合わせられ得る。さらに、本明細書で説明または示される実施形態および特徴のいずれも、別個の請求項において、ならびに／あるいは、本明細書で説明もしくは示される任意の実施形態もしくは特徴との、または添付の特許請求の範囲の特徴のいずれかとの任意の組合せで請求され得る。

添付の図面は、いくつかの例示的な実施形態を示し、本明細書の一部である。以下の説明とともに、これらの図面は、本開示の様々な原理を示し、それらの原理について説明する。

本開示の態様による、現実世界環境に対する仮想境界を修正するための例示的な方法の流れ図である。 本開示の態様による、例示的なヘッドマウントディスプレイ（ＨＭＤ）システムのブロック図である。 本開示の態様による、図２のＨＭＤシステム中に含まれ得る例示的なＨＭＤデバイスの斜視図である。 本開示の態様による、図２のＨＭＤシステム中に含まれ得る例示的なハンドヘルドコントローラの斜視図である。 本開示の態様による、現実世界環境中で図３のＨＭＤデバイスを着用し、図４のハンドヘルドコントローラを保持するユーザの、それぞれ、斜視図および上面図である。 本開示の態様による、仮想安全境界を作り出すために現実世界環境の再生と対話するユーザの、それぞれ、斜視図および上面図である。 本開示の態様による、仮想境界を定義するために現実世界環境と対話するためのシステムを示す図である。 本開示の態様による、仮想境界を作り出すために現実世界環境の再生と対話し続けるユーザの、それぞれ、斜視図および上面図である。 本開示の態様による、定義された仮想境界と対話するユーザの、それぞれ、斜視図および上面図である。 本開示の態様による、あらかじめ定義された仮想境界のセットに対応する物理的定義のセットを含んでいるメモリデバイスの図である。

図面全体にわたって、同一の参照符号および説明は、同様であるが、必ずしも同一でない要素を示す。本明細書で説明される例示的な実施形態は、様々な修正および代替形態が可能であるが、特定の実施形態が、図面において例として示されており、本明細書で詳細に説明される。しかしながら、本明細書で説明される例示的な実施形態は、開示される特定の形態に限定されるものではない。むしろ、本開示は、添付の特許請求の範囲内に入るすべての修正、均等物、および代替形態をカバーする。

本開示は、概して、ユーザがユーザの現実世界環境および／または仮想環境に対する仮想境界を修正することを可能にするシステムおよび方法を対象とする。以下でより詳細に説明されるように、本開示の実施形態は、ユーザが、たとえば、ハンドヘルドコントローラ、指、視線、または他の方向インジケータを使用することによって、現実世界環境の床（ｆｌｏｏｒ）上の仮想境界を修正することを可能にし得る。ユーザは、仮想境界に対する修正を「描画」（たとえば、方向インジケータを使用して仮想的に描画）し得る。ユーザがＨＭＤデバイスを着用している間、ＨＭＤデバイス上に配設された１つまたは複数のカメラによって、現実世界環境のビューが提供され得る。これらのカメラは、ユーザがＨＭＤデバイスを着用していないかのように現実世界環境を示す、パススルービュー（ｐａｓｓ－ｔｈｒｏｕｇｈ ｖｉｅｗ）を可能にし得る。このようにして、ユーザは、回避されるべき環境の特徴および障害を見ることがあり、そのような特徴から安全な距離離れた仮想境界を定義および修正し得る。

いくつかの実施形態では、ユーザは、現実世界環境の床上のロケーションをポイントするために方向インジケータを使用し得る。たとえば、ＨＭＤシステムは、床をポイントするために使用され得るハンドヘルドコントローラを含み得る。床からのハンドヘルドコントローラの高さとハンドヘルドコントローラの配向とを使用することなどによって、処理サブシステムによって床上の特定のポイントを識別するために、ハンドヘルドコントローラの位置および配向情報が使用され得る。境界修正状態中に、仮想境界は床上に表示され得、ユーザが床上の仮想境界を修正する間、ユーザに視覚フィードバックを提供するために、仮想線が、ユーザにとってハンドヘルドコントローラから床のほうへ延びるように現れ得る。

仮想境界を修正した後に、ユーザに現実世界環境を気づかせ、および／またはユーザが物体につまずき、転び、またはぶつかるのを防ぐために、ユーザが仮想境界のしきい値距離内に入るときはいつでも、仮想境界および／または仮想境界から導出された境界壁の指示が、ＨＭＤデバイス中でユーザに提示され得る。仮想境界に依拠して、ユーザは、動作状態中にユーザに提示される仮想環境とより良く関与するために、ＨＭＤデバイスをオンに保ち、現実世界環境を安全に動き回ることができる。本明細書で説明される態様は、追加のセンサーまたは専用ハードウェアを必要とすることなしに安全特徴を提供することによって、ＶＲおよびＡＲ技術を改善し得る。さらに、本明細書で説明される態様は、追加のリソースを必要とすることなしに実装され得る安全特徴を提供することによって、コンピュータの働きを改善し得る。たとえば、安全特徴は、コンピュータからのかなりの処理およびメモリリソースを必要とすることなしに実装され得、したがって、コンピューティング性能に悪影響は及ぼし得ない。

以下は、図１～図９を参照しながら、ユーザが、現実世界環境に対する、自身の仮想境界を修正することと、偶発的衝突のリスクが高くなりすぎるときはいつでもユーザに現実世界環境に気づかせるためにユーザに視覚および／または聴覚指示を提供するために、その仮想境界を使用することとを可能にする、システムおよび方法の詳細な説明を提供する。図１は、仮想境界を修正する例示的なプロセスを示す。図２は、例示的なＶＲシステムを示す。図３は、例示的なＨＭＤデバイスを示す。図４は、例示的な方向インジケータを示す。図５Ａ～図５Ｂは、例示的なＡＲシステムを使用するユーザを示す。図６Ａ～図６Ｃは、ユーザが現実世界環境の再生とどのように対話し得るかを示す。図７Ａ～図７Ｂは、ユーザが仮想境界をどのように修正し得るかを示す。図８Ａ～図８Ｂは、ユーザが仮想境界とどのように対話し得るかを示す。図９は、ＶＲシステムの例示的なメモリデバイスを示す。

図１は、仮想境界を修正するための例示的なコンピュータ実装方法１００の流れ図である。図１に示されているステップは、図２～図４に示されている（１つまたは複数の）システムを含む、任意の好適なコンピュータ実行可能コードおよび／またはコンピューティングシステムによって実施され得る。一例では、図１に示されているステップの各々は、その構造が複数のサブステップを含み、および／または複数のサブステップによって表される、アルゴリズムを表し得、その例は以下でより詳細に提供される。

図１に示されているように、ステップ１１０において、本明細書で説明されるシステムのうちの１つまたは複数が、現実世界環境の平面を表す基準高度の指示を受信し得る。たとえば、図２に示されている、ＨＭＤシステム２００の処理サブシステム２１０が、基準高度の指示を受信し得る。

いくつかの実施形態では、「基準高度」という用語は、方向インジケータによってポイントされたポイント／ロケーションを決定するために使用され得る、現実世界環境中の基準平面に対応する高度を指し得る。いくつかの実施形態では、基準高度は、現実世界環境のベース平面に対応するベースライン高度であり得る。「ベース平面」という用語は、ユーザが現実世界環境中で遭遇し得る最低高度を指し得る。ベース平面の例は、限定はしないが、床、テーブル、地面を含む。ベースライン高度は、ベース平面の高度を表し得、床に対して直角に定義され得る。ＶＲシステムのための仮想境界は、基準高度および／または対応する平面に対して、定義および／または修正され得る。図２は、仮想境界を利用し得る例示的なＶＲシステムを示す。

図２は、ユーザにシーン（たとえば、キャプチャされたシーン、人工的に生成されたシーン、またはそれらの組合せ）を提示するＨＭＤシステム２００の一実施形態のブロック図である。ＨＭＤシステム２００は、仮想現実（ＶＲ）システム環境、拡張現実（ＡＲ）システム環境、複合現実（ＭＲ）システム環境、またはそれらの何らかの組合せにおいて動作し得る。図２に示されているＨＭＤシステム２００は、ＨＭＤデバイス２０５を含み得、ＨＭＤデバイス２０５は、処理サブシステム２１０および入出力（Ｉ／Ｏ）インターフェース２１５を含むかまたは処理サブシステム２１０および入出力（Ｉ／Ｏ）インターフェース２１５と通信する。ＨＭＤデバイス２０５は、いくつかの実施形態では、現実世界環境のユーザのビューを完全に遮断し得る。他の実施形態は、現実世界環境のユーザのビューを部分的にのみ遮断し得、および／またはＨＭＤデバイス２０５のディスプレイにおいて表示されているコンテンツに応じて、ユーザのビューを遮断し得る。

図２は、少なくとも１つのＨＭＤデバイス２０５と少なくとも１つのＩ／Ｏインターフェース２１５とを含む例示的なＨＭＤシステム２００を示しているが、他の実施形態では、任意の数のこれらの構成要素が、ＨＭＤシステム２００中に含まれ得る。たとえば、関連するＩ／Ｏインターフェース２１５を各々が有する、複数のＨＭＤ２０５があり得、各ＨＭＤデバイス２０５およびＩ／Ｏインターフェース２１５は処理サブシステム２１０と通信する。処理サブシステム２１０がＨＭＤデバイス２０５内に含まれないかまたはＨＭＤデバイス２０５と統合されない実施形態では、ＨＭＤデバイス２０５は、ワイヤード接続またはワイヤレス接続を介して処理サブシステム２１０と通信し得る。代替構成では、異なるおよび／または追加の構成要素が、ＨＭＤシステム２００中に含まれ得る。さらに、図２に示されている構成要素のうちの１つまたは複数に関連して説明される機能性は、いくつかの実施形態では、図２に関して説明されるものとは異なる様式で構成要素の間で分散され得る。

ＨＭＤデバイス２０５は、人工的にレンダリングされた仮想世界環境の仮想ビュー、および／またはコンピュータ生成された要素（たとえば、２次元（２Ｄ）または３次元（３Ｄ）画像、２Ｄまたは３Ｄビデオ、音など）を用いて拡張された物理的現実世界環境の拡張ビューを含む、様々なコンテンツをユーザに提示し得る。いくつかの実施形態では、提示されるコンテンツは、内部または外部デバイス（たとえば、スピーカーおよび／またはヘッドフォン）を介して提示されるオーディオを含み、内部または外部デバイスは、ＨＭＤデバイス２０５、処理サブシステム２１０、またはその両方からオーディオ情報を受信し、そのオーディオ情報に基づいてオーディオデータを提示する。いくつかの実施形態では、そのようなスピーカーおよび／またはヘッドフォンは、ＨＭＤデバイス２０５に統合されるかまたは解放可能に結合またはアタッチされ得る。ＨＭＤデバイス２０５は、１つまたは複数の本体を備え得、これらの本体は、剛性的にまたは非剛性的に互いに結合され得る。剛体間の剛性結合は、結合された剛体が単一の剛性エンティティとして働くことを引き起こし得る。対照的に、剛体間の非剛性結合は、剛体が互いに対して移動することを可能にし得る。ＨＭＤデバイス２０５の一実施形態は、図３に示されているＨＭＤデバイス３００であり、以下でさらに詳細に説明される。

いくつかの例では、ＨＭＤデバイス２０５は、深度検知サブシステム２２０（または深度カメラシステム）、電子ディスプレイ２２５、１つまたは複数のカメラを含む画像キャプチャサブシステム２３０、１つまたは複数の位置センサー２３５、および／または慣性測定ユニット（ＩＭＵ）２４０を含み得る。ＨＭＤデバイス２０５の他の実施形態は、ユーザの視線を推定するためにＨＭＤデバイス２０５のユーザの眼を追跡するように構成された随意の視標追跡または視線推定システムを含み得る。随意の可変焦点モジュールが、視標追跡システムおよび他の構成要素から取得された決定された視標追跡情報に基づいて、電子ディスプレイ２２５上に表示される１つまたは複数の画像の焦点を調整するように構成され得る。ＨＭＤデバイス２０５のいくつかの実施形態は、図２に関連して説明されるものとは異なる構成要素を有し得る。

深度検知サブシステム２２０は、ＨＭＤデバイス２０５の一部または全部を囲むローカル現実世界エリアまたは環境を特徴づける、および／あるいはローカルエリア内の深度検知サブシステム２２０の（および、それによりＨＭＤデバイス２０５の）位置、速度、または位置を特徴づける深度情報を説明するデータをキャプチャし得る。深度検知サブシステム２２０は、収集されたデータを使用して（たとえば、１つまたは複数のコンピュータビジョン方式またはアルゴリズムに従って、キャプチャされた光に基づいて、構造化光パターンの一部分を処理することによって、飛行時間（ＴｏＦ）イメージング、同時位置特定およびマッピング（ＳＬＡＭ：ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）によってなど）深度情報を算出することができるか、あるいは深度検知サブシステム２２０は、深度検知サブシステム２２０からのデータを使用して深度情報を決定することができる処理サブシステム２１０の外部実装などの別のデバイスに、このデータを送信することができる。

電子ディスプレイ２２５は、処理サブシステム２１０から受信されたデータに従って、２次元または３次元画像をユーザに表示し得る。様々な実施形態では、電子ディスプレイ２２５は、単一の電子ディスプレイまたは複数の電子ディスプレイ（たとえば、ユーザの各眼のためのディスプレイ）を含む。電子ディスプレイ２２５の例は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、無機発光ダイオード（ＩＬＥＤ）ディスプレイ、アクティブマトリックス有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイ、透明有機発光ダイオード（ＴＯＬＥＤ）ディスプレイ、別の好適なディスプレイ、またはそれらの何らかの組み合わせを含み得る。電子ディスプレイ２２５は、ユーザが電子ディスプレイ２２５を通してローカル環境を見ることができないように、不透明であり得る。

画像キャプチャサブシステム２３０は、ローカル環境から画像データをキャプチャおよび収集する１つまたは複数の光学画像センサーまたはカメラを含み得る。いくつかの実施形態では、画像キャプチャサブシステム２３０中に含まれるセンサーは、ローカル環境の立体視ビューを提供し得、この立体視ビューは、処理サブシステム２１０によって、ローカル環境、ならびに／またはローカル環境内のＨＭＤデバイス２０５の位置および配向を特徴づける、画像データを生成するために使用され得る。たとえば、画像キャプチャサブシステム２３０は、同時位置特定およびマッピング（ＳＬＡＭ）カメラ、またはユーザの眼によってキャプチャされ得るよりも広い視野をキャプチャする広角レンズシステムを含む他のカメラを含み得る。本明細書で説明されるように、画像キャプチャサブシステム２３０は、ＨＭＤシステム２００が境界定義状態にあるとき、電子ディスプレイ２２５を介してユーザに表示される現実世界環境のパススルービューを提供し得る。

いくつかの実施形態では、処理サブシステム２１０は、画像キャプチャサブシステム２３０のレンズシステムによって、および／あるいはユーザの眼の間の平均的な分離距離よりも著しく大きいかまたは著しく小さい２つの画像センサー間の分離距離によって引き起こされた、ひずみを除去するために、画像キャプチャサブシステム２３０によってキャプチャされた画像を処理し得る。たとえば、画像キャプチャサブシステム２３０がＳＬＡＭカメラシステムであるかまたはＳＬＡＭカメラシステムの一部であるとき、画像キャプチャサブシステム２３０からの直接画像は、補正されていないフォーマットで示された場合、ユーザにとってひずんでいるように見えることがある。画像補正または補償は、画像を補正し、より自然な外観でユーザに提示するために、処理サブシステム２１０によって実施され得、その結果、画像は、ユーザにとってユーザがＨＭＤデバイス２０５の電子ディスプレイ２２５を通して見ているかのように見える。いくつかの実施形態では、画像キャプチャサブシステム２３０は、ローカル環境のパススルービューを提供するように（視野、分離距離などの観点から）適応されたレンズを有する、１つまたは複数の画像センサーを含み得る。画像キャプチャサブシステム２３０は、色画像またはモノクロ画像をキャプチャし得る。

ＩＭＵ２４０は、いくつかの例では、位置センサー２３５のうちの１つまたは複数から受信された測定信号に基づいて、および深度検知サブシステム２２０および／または画像キャプチャサブシステム２３０から受信された深度情報から、ＨＭＤデバイス２０５の位置および／または配向を示すデータを生成する電子サブシステムを表し得る。たとえば、位置センサー２３５は、ＨＭＤデバイス２０５の運動に応答して１つまたは複数の測定信号を生成する。位置センサー２３５の例は、１つまたは複数の加速度計、１つまたは複数のジャイロスコープ、１つまたは複数の磁力計、運動を検出する別の好適なタイプのセンサー、ＩＭＵ２４０のエラー補正のために使用されるタイプのセンサー、またはそれらの何らかの組合せを含む。位置センサー２３５は、ＩＭＵ２４０の外部に、ＩＭＵ２４０の内部に、またはそれらの何らかの組合せで位置し得る。

１つまたは複数の位置センサー２３５からの１つまたは複数の測定信号に基づいて、ＩＭＵ２４０は、ＨＭＤデバイス２０５の初期位置および／または配向に対する、ＨＭＤデバイス２０５の推定された現在の位置、高度、および／または配向を示すデータを生成し得る。たとえば、位置センサー２３５は、並進運動（前／後、上／下、左／右）を測定するための複数の加速度計と、回転運動（たとえば、ピッチ、ヨー、ロール）を測定するための複数のジャイロスコープとを含み得る。本明細書で説明されるように、画像キャプチャサブシステム２３０および／または深度検知サブシステム２２０は、ＨＭＤデバイス２０５が使用される現実世界環境に対するＨＭＤデバイス２０５の推定された現在の位置および／または配向を示すデータを生成し得る。

Ｉ／Ｏインターフェース２１５は、ユーザが、アクション要求を送り、処理サブシステム２１０および／または方向インジケータ２７０からの応答を受信することを可能にする、サブシステムまたはデバイスを表し得る。いくつかの実施形態では、方向インジケータ２７０は、方向インジケータ２７０のセンサーによって検知された配向および／または位置データなど、入力をＩ／Ｏインターフェース２１５に提供するためにユーザによって操作され得る、ハンドヘルドコントローラまたは他のデバイスを備え得る。他の実施形態では、方向インジケータ２７０は、Ｉ／Ｏインターフェース２１５に受動入力を提供し得る。たとえば、方向インジケータ２７０は、ユーザの指または手、手袋または他の装着可能な物体、ハンドヘルド物体、ユーザの眼および／または視線、ならびに／あるいは方向インジケータ２７０に対する配向および／または位置データを決定するためにＨＭＤシステム２００のセンサーによって検出され得る別のユーザ操作可能な物体を含み得る。いくつかの実施形態では、Ｉ／Ｏインターフェース２１５は、２つ以上の方向インジケータ２７０との通信を容易にし得る。たとえば、ユーザは、各手において１つずつ、２つの方向インジケータ２７０を有し得る。アクション要求は、いくつかの例では、特定のアクションを実施するための要求を表し得る。たとえば、アクション要求は、画像データまたはビデオデータのキャプチャを開始または終了するための命令、あるいはアプリケーション内で特定のアクションを実施するか、境界定義状態を開始または終了するための命令であり得る。Ｉ／Ｏインターフェース２１５は、１つまたは複数の入力デバイスを含むか、または１つまたは複数の入力デバイスとの通信を可能にし得る。例示的な入力デバイスは、キーボード、マウス、ハンドヘルドコントローラ、またはアクション要求を受信し、アクション要求を処理サブシステム２１０に通信するための任意の他の好適なデバイスを含み得る。

Ｉ／Ｏインターフェース２１５によって受信されたアクション要求は、処理サブシステム２１０に通信され得、処理サブシステム２１０は、アクション要求に対応するアクションを実施し得る。いくつかの実施形態では、方向インジケータ２７０は、初期位置に対する方向インジケータ２７０の推定された位置を示す慣性データをキャプチャするＩＭＵ２４０を含む。いくつかの実施形態では、Ｉ／Ｏインターフェース２１５および／または方向インジケータ２７０は、処理サブシステム２１０および／またはＨＭＤデバイス２０５から受信された命令に従って、ユーザに触覚フィードバックを提供し得る。たとえば、アクション要求が受信されたときに触覚フィードバックが提供されるか、または処理サブシステム２１０がアクションを実施するときに、処理サブシステム２１０がＩ／Ｏインターフェース２１５に命令を通信して、Ｉ／Ｏインターフェース２１５が触覚フィードバックを生成するか、触覚フィードバックの生成を指令することを引き起こす。

処理サブシステム２１０は、深度検知サブシステム２２０、画像キャプチャサブシステム２３０、Ｉ／Ｏインターフェース２１５、および方向インジケータ２７０のうちの１つまたは複数から受信された情報に従って、ＨＭＤデバイス２０５にコンテンツを提供する、１つまたは複数の処理デバイスまたは物理プロセッサを含み得る。図２に示されている例では、処理サブシステム２１０は、エンジン２６０と、アプリケーションストア２５０と、追跡モジュール２５５とを含む。処理サブシステム２１０のいくつかの実施形態は、図２に関連して説明されるものとは異なるモジュールまたは構成要素を有する。同様に、以下でさらに説明される機能は、図２に関連して説明されるものとは異なる様式でＨＭＤシステム２００の構成要素の間で分散され得る。

アプリケーションストア２５０は、処理サブシステム２１０による実行のための１つまたは複数のアプリケーションを記憶し得る。アプリケーションは、いくつかの例では、プロセッサによって実行されたとき、ユーザへの提示のためのコンテンツを生成する命令のグループを表し得る。アプリケーションによって生成されたコンテンツは、ＨＭＤデバイス２０５または方向インジケータ２７０の移動を介してユーザから受信された入力に応答して生成され得る。アプリケーションの例は、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の好適なアプリケーションを含む。

追跡モジュール２５５は、１つまたは複数の較正パラメータを使用してＨＭＤシステム２００を較正し得、ＨＭＤデバイス２０５または方向インジケータ２７０の位置の決定におけるエラーを低減するために、１つまたは複数の較正パラメータを調整し得る。たとえば、追跡モジュール２５５は、深度検知サブシステム２２０によってキャプチャされた構造化光要素の位置をより正確に決定するために、深度検知サブシステム２２０の焦点を調節するための較正パラメータを深度検知サブシステム２２０に通信し得る。また、追跡モジュール２５５によって実施される較正は、ＨＭＤデバイス２０５中のＩＭＵ２４０および／または方向インジケータ２７０中に含まれる別のＩＭＵ２４０から受信された情報を考慮し得る。さらに、ＨＭＤデバイス２０５の追跡が失われた（たとえば、深度検知サブシステム２２０が、少なくともしきい値数の構造化光要素の見通し線を失った）場合、追跡モジュール２５５は、ＨＭＤシステム２００の一部または全部を再較正し得る。

追跡モジュール２５５は、深度検知サブシステム２２０、画像キャプチャサブシステム２３０、１つまたは複数の位置センサー２３５、ＩＭＵ２４０、またはそれらの何らかの組合せからの情報を使用して、ＨＭＤデバイス２０５の移動または方向インジケータ２７０の移動を追跡し得る。たとえば、追跡モジュール２５５は、ＨＭＤデバイス２０５で収集された情報に基づいて、現実世界環境のマッピングにおいてＨＭＤデバイス２０５の基準ポイントの位置を決定し得る。さらに、いくつかの実施形態では、追跡モジュール２５５は、ＨＭＤデバイス２０５および／または方向インジケータ２７０の将来の位置および／または配向を予測するために、ＩＭＵ２４０からのＨＭＤデバイス２０５および／または方向インジケータ２７０の位置および／または配向を指示するデータの部分を使用し得る。また、追跡モジュール２５５は、エンジン２６０に、ＨＭＤデバイス２０５またはＩ／Ｏインターフェース２１５の推定または予測された将来の位置を提供し得る。

いくつかの実施形態では、追跡モジュール２５５は、深度検知サブシステム２２０、画像キャプチャサブシステム２３０、および／または別のシステムによって観測され得る他の特徴を追跡し得る。たとえば、追跡モジュール２５５は、現実世界環境内のユーザの手のロケーションが知られ、利用され得るように、ユーザの手の一方または両方を追跡し得る。追跡モジュール２５５は、たとえば、方向インジケータ２７０がユーザの手を含むとき、ユーザの手のうちの一方の指のポインティング方向を決定するためにデータを受信し、処理し得る。追跡モジュール２５５はまた、ユーザの視線を追跡するために、ＨＭＤデバイス２０５のいくつかの実施形態に含まれる、１つまたは複数の視標追跡カメラから情報を受信し得る。

画像処理エンジン２６０は、ＨＭＤデバイス２０５から受信された情報に基づいて、ＨＭＤデバイス２０５の一部または全部を囲むエリア（すなわち、「ローカルエリア」または「現実世界環境」）の３次元マッピングを生成し得る。いくつかの実施形態では、エンジン２６０は、深度を算出する際に使用される技法について関連のある深度検知サブシステム２２０から受信された情報に基づいて、ローカルエリアの３次元マッピングのために深度情報を決定する。エンジン２６０は、構造化光から深度を算出する際に、１つまたは複数の技法を使用して深度情報を計算し得る。様々な実施形態では、エンジン２６０は、たとえば、ローカルエリアのモデルを更新するために、深度情報を使用し、更新されたモデルに部分的に基づいてコンテンツを生成する。

エンジン２６０はまた、ＨＭＤシステム２００内のアプリケーションを実行し、追跡モジュール２５５から、ＨＭＤデバイス２０５の位置情報、加速度情報、速度情報、予測された将来の位置、またはそれらの何らかの組合せを受信し得る。受信された情報に基づいて、エンジン２６０は、ユーザへの提示のためにＨＭＤデバイス２０５に提供すべきコンテンツを決定し得る。たとえば、受信された情報が、ユーザが左を見ていることを指示する場合、エンジン２６０は、仮想環境において、またはローカルエリアを追加のコンテンツで拡張する環境において、ユーザの移動に対応するＨＭＤデバイス２０５のためのコンテンツを生成する。さらに、エンジン２６０は、Ｉ／Ｏインターフェース２１５および／または方向インジケータ２７０から受信されたアクション要求に応答して、処理サブシステム２１０上で実行しているアプリケーション内でアクションを実施し、そのアクションが実施されたというフィードバックをユーザに提供し得る。提供されたフィードバックは、ＨＭＤデバイス２０５を介した視覚または可聴フィードバック、あるいは方向インジケータ２７０を介した触覚フィードバックであり得る。

図１に戻ると、本明細書で説明されるシステムは、様々なやり方でステップ１１０を実施し得る。一例では、基準高度は、前に確立および記憶され得る。他の例では、基準高度は、基準高度を定義および／または確認するためにＨＭＤデバイス３００および／またはハンドヘルドコントローラ４００を使用することなどによって、ユーザによって設定され得る。たとえば、ＨＭＤシステム２００は、ＨＭＤデバイス３００および／またはハンドヘルドコントローラ４００から基準高度の指示を受信し得る。

図３は、ＨＭＤデバイス２０５の一実施形態による、ＨＭＤデバイス３００の図である。ＨＭＤデバイス３００は、イメージングサブシステムと、深度検知サブシステムとを含み得る。ＨＭＤデバイス３００は、たとえば、ＶＲシステム、ＡＲシステム、ＭＲシステムの一部、またはそれらの何らかの組合せであり得る。ＡＲシステムおよび／またはＭＲシステムを説明する実施形態では、ＨＭＤデバイス３００の前側３０２の部分が、可視帯域（約３８０ナノメートル（ｎｍ）～７５０ｎｍ）内で少なくとも部分的に透明である。より詳細には、ＨＭＤデバイス３００の前側３０２とユーザの眼との間にあるＨＭＤデバイス３００の部分が、少なくとも部分的に透明（たとえば、部分透明電子ディスプレイ２２５）であり得る。他の実施形態では、前側３０２は不透明であり、ユーザが現実世界環境を見るのを防ぐ。ＨＭＤデバイス３００は、電子ディスプレイ２２５および他の構成要素を格納する前方剛体３０５と、ＨＭＤデバイス３００をユーザの頭部に固定するバンド３１０などのユーザアタッチメントシステムと、ＨＭＤデバイス３００の位置および／または配向を特徴づけることができる基準ポイント３１５とを含み得る。

さらに、ＨＭＤデバイス３００は、イメージング開口３２０と、照明開口３２５とを含み得る。深度検知サブシステム２２０中に含まれる照明源が、照明開口３２５を通して光（たとえば、構造化光）を放出し得る。深度検知サブシステム２２０のイメージングデバイスが、イメージング開口３２０を通して、ローカルエリアから反射または後方散乱される照明源からの光をキャプチャし得る。ＨＭＤデバイス３００の実施形態は、図２の画像キャプチャサブシステム２３０の構成要素であり得るカメラ３４０Ａとカメラ３４０Ｂとをさらに含み得る。カメラ３４０Ａとカメラ３４０Ｂとは、ユーザの眼の間の平均分離距離とは異なる距離だけ互いに分離され得る。

前方剛体３０５は、１つまたは複数の電子ディスプレイ要素と、１つまたは複数の統合視標追跡システムと、ＩＭＵ３３０と、１つまたは複数の位置センサー３３５と、基準ポイント３１５とを含み得る。ＩＭＵ３３０は、位置センサー３３５のうちの１つまたは複数から受信された測定信号に基づいて高速較正データを生成する電子デバイスを表し得る。位置センサー３３５は、ＨＭＤデバイス３００の運動に応答して１つまたは複数の測定信号を生成し得る。

図４は、いくつかの実施形態による、図２のＨＭＤシステム２００中に含まれる方向インジケータ２７０の一実施形態であり得る例示的なハンドヘルドコントローラ４００の斜視図である。ＨＭＤシステム２００は、コントローラ４００のような１つまたは複数のハンドヘルドコントローラを含み得る。たとえば、ＨＭＤシステム２００は、２つのハンドヘルドコントローラ４００を含み得、ユーザの右手および左手の各々について１つのハンドヘルドコントローラ４００がある。各ハンドヘルドコントローラ４００は、ＨＭＤデバイス２０５に、および／またはコンピューティングデバイス（たとえば、パーソナルコンピュータ、処理サブシステム２１０など）に通信可能に結合され得る。ハンドヘルドコントローラ４００は、任意の好適なワイヤレスおよび／またはワイヤード接続を介してＨＭＤデバイス２０５に通信可能に結合され得る。

図４に示されているように、ハンドヘルドコントローラ４００は、ユーザの手の内に収まるようにサイズ決定されたグリップ４０２を含み得る。ハンドヘルドコントローラ４００は、ＨＭＤデバイス２０５に対するおよび／または現実世界環境に対するハンドヘルドコントローラ４００の位置、配向、および／または移動を追跡するための追跡ループ４０４をも含み得る。いくつかの実施形態では、追跡ループ４０４は、追跡光（ｔｒａｃｋｉｎｇ ｌｉｇｈｔ）４０６のアレイなど、１つまたは複数の追跡光を含み得る。追跡光４０６のアレイは、ＨＭＤシステム２００を使用しながら３６０度の運動制御を提供するために、運動および位置追跡目的で使用される追跡ＬＥＤ（たとえば、赤外線（ＩＲ）ＬＥＤ）を含み得る。追跡光４０６は、仮想境界を「描画する」ために現実世界環境の床との交差ポイントが識別され得るように、コントローラ４００の配向を決定するために利用され得る。コントローラ４００は、コントローラ４００の任意の好適な部分上に追跡光を含み得る。いくつかの例では、ハンドヘルドコントローラ４００の追跡光４０６は、ほぼ７００ｎｍよりも大きい波長とほぼ９００ｎｍよりも小さい波長とを有する光を放出し得る。一実施形態では、ハンドヘルドコントローラ４００の追跡光４０６は、ほぼ８５０ｎｍ（たとえば、ほぼ８４０ｎｍから８６０ｎｍの間、またはほぼ８３０ｎｍから８７０ｎｍの間）の波長を有する光を放出し得る。少なくとも１つの実施形態では、カメラ３４０Ａおよび３４０Ｂが、ハンドヘルドコントローラ４００上の追跡光４０６によって放出された光を受信し得、追跡モジュール２５５は、ＨＭＤデバイス２０５および／または、現実世界環境の基準フレームなど、別の基準フレームに対する、ハンドヘルドコントローラ４００のロケーション、配向、および／または移動を決定するために、受信された光を利用し得る。

基準高度を定義するために、ユーザは、ＨＭＤシステム２００と対話し得る。たとえば、ユーザは、ハンドヘルドコントローラ４００を、現実世界環境のベース平面を提供し得る床と接触して配置するように促され得る。基準高度は、床に対して直角に定義され得る。いくつかの実施形態では、ＨＭＤデバイス３００の構成要素が、ＨＭＤデバイス３００の配向と、ＨＭＤデバイス３００から床までの距離を特徴づける１つまたは複数の深度測定値とに基づいて、床からの高さを決定し得る。たとえば、ＨＭＤシステム２００は、仮想境界定義プロセスの一部として、現実世界環境の床を見るようにユーザに促し得る。

いくつかの実施形態は、基準高度の確認を受信することをさらに含み得る。ユーザは、基準高度の指示を提示され得る。たとえば、ＨＭＤシステム２００は、基準高度および／または基準高度からのＨＭＤデバイス３００の現在の高さに関連付けられた平面の視覚表現を示し得る。ユーザは、次いで、上記で説明されたように、基準高度を確認するか、または基準高度を定義／再定義し得る。

図１に戻ると、ステップ１２０において、本明細書で説明されるシステムのうちの１つまたは複数が、基準高度に対して、仮想世界環境のための仮想境界を確立し得る。たとえば、処理サブシステム２１０および／またはＨＭＤデバイス２０５および／またはＨＭＤデバイス３００は、方向インジケータ２７０および／またはコントローラ４００からの入力に基づいて、または前に定義された仮想境界を取り出すことに基づいて、仮想境界を決定し得る。

いくつかの実施形態では、「仮想境界」という用語は、ユーザの現実世界環境および／または仮想環境に対して定義される境界を指し得る。仮想境界の例は、限定はしないが、ユーザがＶＲおよび／またはＡＲエクスペリエンス中に遭遇し得る現実世界環境中の障害から安全な距離離れて定義し得る、本明細書で説明される安全境界を含む。他の仮想境界は、センサーによって検出されるための理想的なロケーションを示す境界と、現実世界環境中のユーザの移動を制限するための境界と、仮想環境中の障害の配置および／またはクリアのために使用され得る境界と、他の使用のための境界とを含み得る。

本明細書で説明されるシステムは、様々なやり方でステップ１２０を実施し得る。一例では、仮想境界は、ＨＭＤシステム２００に記憶されたデフォルト設定または前のユーザアクションなど、前に記憶された設定からロードされ得る。他の例では、ユーザは、たとえば、ＨＭＤシステム２００を使用して仮想境界を定義し得る。

図５Ａおよび図５Ｂは、いくつかの実施形態による、リビングルームなど、現実世界環境５００中で図３のＨＭＤデバイス３００を着用し、図４のハンドヘルドコントローラ４００を保持するユーザの、それぞれ、斜視図および上面図を提示する。現実世界環境５００は、床５０２とも呼ばれるベース平面５０２と、壁５０４と総称される壁５０４Ａ、５０４Ｂ、５０４Ｃ、および５０４Ｄとを含み得る。現実世界環境５００は、ユーザのビューがＨＭＤデバイス３００によって遮断されるときに衝突リスクをもたらす室内の複数の物体または特徴をさらに含み得る。たとえば、環境５００は、突出するマントルピース５０６Ｂを有する暖炉５０６Ａと、テーブル５０６Ｃと、棚５０６Ｄとを含み得る。環境５００は、図５Ｂに示されているように、ソファー５０６Ｅをさらに含み得る。物体および特徴５０６Ａ、５０６Ｂ、５０６Ｃ、５０６Ｄ、および５０６Ｅは、壁５０４とともに、現実世界環境５００の特徴５０６と呼ばれることがある。

いくつかの実施形態では、ユーザは、ＨＭＤデバイス３００中に表示された仮想環境内を移動するために、現実世界環境５００内を移動し得る。言い換えれば、ユーザが現実世界環境５００内を移動するとき、ＨＭＤデバイス３００の電子ディスプレイ２２５に示されている画像は、ユーザの移動に基づいて更新され得る。したがって、ユーザは、ユーザが現実世界環境５００中を移動するとき、仮想環境に対して移動する。以下でより詳細に説明されるように、本明細書で説明されるシステムおよび方法の実施形態は、ユーザが（たとえば、ＨＭＤデバイス３００によるユーザの現実世界ビューの遮断により）現実世界環境を見ることができないとき、ユーザが特徴５０６のいずれかと衝突するの防ぐために使用され得る仮想境界をユーザが定義することを可能にし得る。

図６Ａおよび図６Ｂは、いくつかの実施形態による、仮想境界または安全境界を作り出すために図５Ａおよび図５Ｂの現実世界環境５００の再生６００と対話するユーザの、それぞれ、斜視図および上面図を提示する。現実世界環境５００のユーザのビューが、ＨＭＤデバイス３００によってすっかりまたは部分的に遮断されることがあるので、現実世界の環境５００の再生６００は、ＨＭＤデバイス３００の電子ディスプレイ２２５中でユーザに提供され得る。再生６００は、現実世界の環境５００のパススルービューを提供するために、画像キャプチャサブシステム２３０によって作り出され得る。いくつかの実施形態では、処理サブシステム２１０は、ひずみを除去し、現実世界環境５００の改善されたビューを提供するために、画像キャプチャサブシステム２３０によってキャプチャされた画像に画像補正を実施し得る。たとえば、処理サブシステム２１０は、カメラ３４０Ａおよび３４０Ｂのレンズによっておよび／またはカメラ３４０Ａとカメラ３４０Ｂとの間の分離距離によって引き起こされるひずみを緩和するために、画像補正を実施し得る。

図６Ａに示されているように、ユーザは、ユーザが仮想境界を定義し得る境界定義状態中に、交差ポイント６０２を選択するためにポインタまたは方向インジケータとしてコントローラ４００を利用し得る。交差ポイント６０２は、ユーザによって保持および操作されるコントローラ４００の配向および位置によって定義される、床５０２と仮想線６０４との交差部のロケーションとして定義され得る。仮想線６０４は、ユーザが床５０２上に仮想境界６０６を描画することができるように、ＨＭＤデバイス３００中でユーザに表示され得る。ユーザがコントローラ４００を操作するとき、床５０２に沿って延びる仮想境界６０６を形成するために、交差ポイント６０２のような、一連の交差ポイントが結合され得る。図６Ｂは、交差ポイント６０２と仮想線６０４と仮想境界６０６とを示す現実世界環境５００の再生６００内の上面図を示す。

図６Ｃは、いくつかの実施形態による、交差ポイント６０２がどのように定義され得るかを示す図である。現実世界環境５００内のハンドヘルドコントローラの位置および配向は、ＩＭＵおよび／または位置トラッカなど、ハンドヘルドコントローラ４００内に含まれるサブシステムに基づいて決定され得る。いくつかの事例では、ユーザは、ＨＭＤデバイス３００中に表示されたメッセージによって、境界定義プロセスのために準備するためにハンドヘルドコントローラ４００をベース平面または床５０２に接触して配置するように命令され得る。ユーザは、次いで、コントローラ４００が床５０２と接触していることをＨＭＤシステム２００に示すために、コントローラ４００上のボタンをアクティブ化するか、または所定の時間量の間、依然としてコントローラ４００を保持する。ユーザは、次いで、立つように指示され、それによりＨＭＤデバイス３００とコントローラ４００の両方は、変位Ｄ１だけ床５０２から離れて変位され得、変位Ｄ１は、床５０２のコントローラ４００の高さまたは高度として使用され得る。いくつかの実施形態では、ＨＭＤデバイス３００は、床５０２からのＨＭＤデバイス３００の高度と、ＨＭＤデバイス３００とハンドヘルドコントローラ４００との間の距離とを決定し得る。たとえば、深度検知サブシステム２２０は、構造化光を使用して、または立体視画像を使用する三角測量推定によって、床５０２からＨＭＤデバイス３００までの距離を決定し得る。ＨＭＤデバイス３００とハンドヘルドコントローラ４００との間の距離は、変位Ｄ１またはハンドヘルドコントローラ４００の高度を決定するために、床５０２からのＨＭＤデバイス３００の高さから減算され得る。コントローラ４００の配向は、コントローラ４００の軸が床５０２とともに作る角度Ａ１を決定するために使用され得る。コントローラ４００のロケーションと変位Ｄ１と角度Ａ１とを使用して、仮想線６０４と床５０２との交差のポイントは、交差ポイント６０２として使用され得る。コントローラ４００を操作することによって、複数の交差ポイント６０２が識別され得、これらのポイント６０２は、仮想境界６０６を形成するために接続され得る。図６Ｃは、床５０２を基準高度として示しているが、他の実施形態では、基準高度は、現実世界環境中の別の平面に対して定義され得る。

図１に戻ると、ステップ１３０において、本明細書で説明されるシステムのうちの１つまたは複数が、ユーザから、仮想境界を修正したいという要求を受信し得る。たとえば、ＨＭＤシステム２００は、コントローラ４００を介してユーザから、仮想境界を修正したいという要求を受信し得る。

いくつかの実施形態では、ＨＭＤシステム２００は、仮想境界を修正するための入力を監視するための境界修正状態に入り得る。「境界修正状態」という用語は、仮想境界がユーザによってその間修正され得る状態またはフェーズを指し得る。境界修正状態は、仮想境界がその間定義され得る境界定義状態と同じまたは同様のフェーズであるか、または別個のフェーズであり得る。境界修正状態は、もっぱら仮想境界を修正するためのＨＭＤシステム２００の固有モードであり得る。代替的に、境界修正状態は、ＨＭＤシステム２００の他の動作状態と一体化され得る。

本明細書で説明されるシステムは、様々なやり方でステップ１３０を実施し得る。一例では、ユーザは仮想境界が不十分であり得ると通知され得、したがって、ユーザは境界修正状態を始動し得る。ユーザは、様々なやり方で仮想境界の不十分さに関して通知され得る。たとえば、ユーザは、ＨＭＤデバイス３００などを通して、視覚または可聴通知を受信し得る。通知は、アイコンであり得るか、またはよりロバストな視覚インジケータであり得る。

いくつかの例では、本システムはまた、ヘッドマウントディスプレイシステムのイメージングシステムで現実世界環境のビューをキャプチャし得る。キャプチャされたビューは、レンズ誘発ひずみを有し得る。本システムは、現実世界環境の補償ビューを作り出すために、キャプチャされたビュー中のレンズ誘発ひずみを補正し得る。本システムは、仮想境界を現実世界環境の補償ビューに重ね合わせ、境界修正状態中に現実世界環境の補償ビューをヘッドマウントディスプレイシステムのディスプレイに表示し得る。図７Ａおよび図７Ｂは、ユーザに提示される現実世界環境の補償ビューの例示的なシナリオを示す。

図７Ａおよび図７Ｂは、いくつかの実施形態による、仮想境界６０６を作り出すために現実世界環境５００の再生６００と対話するユーザの、それぞれ、斜視図および上面図を提示する。仮想境界６０６は、境界領域６０８を定義し得る。境界領域６０８は、たとえばＨＭＤデバイス３００によって、仮想境界６０６によって定義された塗りつぶされた形状として表示され得る。境界領域６０８は、単色（ｓｏｌｉｄ ｃｏｌｏｒ）など、仮想境界６０６と同様に表示され得るか、あるいは仮想境界６０６に対応する影付きまたは半透明色であり得る。

いくつかの例では、仮想境界６０６によって定義されたエリア、たとえば、境界領域６０８は、最小エリアしきい値と比較され得る。最小エリアしきい値は、ユーザが現実世界環境においてＶＲおよび／またはＡＲシステムを安全に動作させることが予想され得る、最小平方フィート数など、最小エリアに対応し得る。最小エリアしきい値は、所定のまたはデフォルトの値であり得るか、あるいは現実世界環境において動的に決定され得る。最小エリアしきい値は、最小および／または最大の長さおよび／または幅など、寸法限界を含み得る。

いくつかの例では、最小エリアしきい値は、最小エリアしきい値のために満たされるべきまたは必要とされる平方フィート数の量など、明示的にユーザに提示され得る。他の例では、最小エリアしきい値は、最小エリアしきい値が満たされたときは成功色で、または最小エリアしきい値が満たされない場合は警告色で境界領域を表示することによって表され得る。たとえば、仮想境界６０６および／または境界領域６０８は、最小エリアしきい値が満たされたときは緑で表示され、最小エリアしきい値が満たされないときは赤で表示され得る。

仮想境界６０６が最小エリアしきい値を満たさないことがわかると、ユーザは、仮想境界を修正するために境界修正状態を始動し得る。代替的に、境界修正状態は、最小エリアしきい値が満たされない場合、自動的に始動され得る。たとえば、境界定義状態中に、仮想境界６０６が最小エリアしきい値を満たさない場合、境界修正状態は自動的に始動され得る。さらに、ユーザは、他の理由のために境界修正状態を始動し得る。たとえば、現実世界環境が変化することがあり、あるいは、ユーザがより小さいまたはより大きい境界領域を選好する場合など、ユーザが仮想境界を微調整することを望むことがある。

図１に戻ると、ステップ１４０において、本明細書で説明されるシステムのうちの１つまたは複数は、ユーザからの要求に応答して、配向データを生成するために方向インジケータの配向を監視する。たとえば、処理サブシステム２１０および／またはＨＭＤデバイス２０５および／またはＨＭＤデバイス３００は、方向インジケータ２７０および／またはコントローラ４００からの入力に基づいて配向データを決定し得る。いくつかの例では、配向データは、追加の入力データを含み、および／または追加の入力データに関連付けられ得る。たとえば、配向データは、基準高度に対する方向インジケータの高度データを含み得る。配向データは、方向インジケータの位置データを含み得る。

本明細書で説明されるシステムは、様々なやり方でステップ１４０を実施し得る。一例では、現実世界環境５００内のハンドヘルドコントローラ４００の位置および配向は、ＩＭＵおよび／または位置センサーなど、ハンドヘルドコントローラ４００内に含まれるサブシステムに基づいて決定され得る。図６Ｃに関して上記で説明されたように、高度データを決定するためにＤ１が監視され、配向データを決定するためにＡ１が監視され得る。代替的に、高度データおよび配向データは、現実世界環境５００中のコントローラ４００を観察するカメラなど、コントローラ４００の外部のセンサーから決定され得る。

図１に戻ると、ステップ１５０において、本明細書で説明されるシステムのうちの１つまたは複数が、基準高度と配向データとに基づいて仮想境界を修正し得る。たとえば、処理サブシステム２１０および／またはＨＭＤデバイス２０５および／またはＨＭＤデバイス３００は、方向インジケータ２７０および／またはコントローラ４００からの高度データおよび配向データと、基準高度とに基づいて、仮想境界を修正し得る。

本明細書で説明されるシステムは、様々なやり方でステップ１５０を実施し得る。一例では、平面と、高度データによって示された高度におけるおよび配向データによって示された配向におけるユーザデバイスから延びる仮想線との交差部が、決定され得る。図６Ｃに示されているように、コントローラ４００のロケーション、Ｄ１、およびＡ１は、仮想線６０４がどこで始まるかを定義し得、仮想線６０４と床５０２との交差のポイントが、交差ポイント６０２を定義し得る。複数の交差ポイント６０２が仮想境界６０６をどのように定義し得るかと同様に、仮想境界６０６に対する修正は、１つまたは複数の交差ポイント６０２によって定義され得る。交差ポイント６０２は、仮想境界６０６に対する伸張を定義し得る。

仮想境界は、様々なやり方で修正され得る。たとえば、図７Ａおよび図７Ｂは、仮想境界６０６がどのように修正され得るかを示す。仮想境界６０６は最小エリアしきい値を満たさないことがあり、境界領域６０８が警告色で表示され得る。ユーザは、１つまたは複数の交差ポイント６０２によって定義され得る修正線６１０を定義するために、コントローラ４００を操作し得る。図７Ａおよび図７Ｂに完全には示されていないが、修正線６１０は、最小エリアしきい値を満たすために、境界領域６０８を包囲する領域の輪郭を描き得る。

仮想境界は、仮想境界に部分を加えることによって修正され得る。たとえば、境界領域６０８に追加の領域を加えるために仮想境界６０６の部分が延長され得る。追加の領域は、境界領域６０８の側部に接続されるなど、境界領域６０８に接続され得るか、あるいは、境界領域６０８に関連付けられた、切り離されたまたは場合によっては不連続の領域であり得る。追加の領域は、境界領域６０８を部分的にまたは完全に包囲し得る。

他の例では、仮想境界を修正することは、仮想境界から部分を減じることを含み得る。たとえば、境界修正状態は、部分を加えるための加える状態（ａｄｄｉｔｉｏｎ ｓｔａｔｅ）と、仮想境界から部分を除去するための減じる状態（ｓｕｂｔｒａｃｔｉｏｎ ｓｔａｔｅ）とを含み得る。ユーザは、仮想境界を所望の形状に定義および修正するために、加える状態と減じる状態との間をトグルし得る。たとえば、ユーザは、加える状態に入って、仮想境界６０６に加えるものを描画するために、コントローラ４００を使用し得る。ユーザは、減じる状態に入って、仮想境界６０６から部分を切り取るために、コントローラ４００を使用し得る。

また他の例では、仮想境界を修正することは、仮想境界をリセットすることによって達成され得る。たとえば、ユーザは、仮想境界をリセットするための指示を送り得る。ユーザは、次いで、空の状態から仮想境界を定義し得る。代替的に、ユーザは、１つまたは複数の修正を取り消す／やり直すことが可能であり得る。

修正された仮想境界は、最小エリアしきい値と比較され得る。比較は、たとえば、ユーザが修正を描画するときにリアルタイムで、動的に行われ得る。不完全なループおよび／または接続されていない部分は、エリアを推定する目的で、たとえば、接続されていない部分を接続するための最短距離直線で、自動的に接続され得る。したがって、ユーザは、最小エリアしきい値がいつ満たされるかが、リアルタイムでわかり得る。代替的に、ユーザが境界修正状態を終えることを示すとき、最小エリア比較が行われ得る。いくつかの例では、ユーザは、最小エリアしきい値が満たされない限り、境界修正状態を終えないことがある。

さらに、境界修正状態が終わるとき、仮想境界はエラーについて検査され得る。エラーは、たとえば、閉じられていないループ、ゼロエリア部分、ユーザが適度に使用するには小さすぎる部分（最小部分エリアしきい値と比較され得る）、および他のエラーを含み得る。いくつかの例では、エラーは、自動的に補正され得る。たとえば、閉じられていないループが接続され得る、問題になる部分が除去され得るなどである。他の例では、ユーザはエラーに関してアラートされ得、いくつかの例では、境界修正状態が自動的に再始動され得る。いくつかの例では、仮想境界中で検出されるエラーがなくなるまで、境界修正状態は終わらないことがある。

ユーザが、最小エリアしきい値を満たすことを必要とし得る、境界修正状態を完了することと、仮想境界を確定することとを行った後、ユーザは、仮想境界と対話し得る。図８Ａおよび図８Ｂは、いくつかの実施形態による、仮想環境中の定義された仮想境界と対話するユーザの、それぞれ、斜視図および上面図である。図８Ａおよび図８Ｂに示されているように、仮想環境８００は、ＨＭＤデバイス３００においてユーザに表示され得る。仮想環境８００は、ユーザが移動することができるキャプチャされたシーン、またはビデオゲームなどにおける人工環境を表し得る。ユーザは、現実世界環境５００内を移動することによって、仮想環境８００内を移動し得る。仮想環境は、仮想境界６０６の視覚指示を含み得る。言い換えれば、ＨＭＤデバイス３００の視野が仮想境界６０６を含むときはいつでも、ユーザが仮想境界６０６を見ることが可能であるように、仮想境界６０６は、可視的にレンダリングされ、ユーザに提示され得る。いくつかの実施形態では、ユーザは、仮想境界６０６が常に現れるようにするための設定、またはユーザがしきい値距離内にいるときのみ仮想境界６０６が現れるようにするための設定を選択し得る。そのようなしきい値距離は、速度またはユーザの移動に依存し、および／あるいは境界に最も近いユーザまたはＨＭＤシステム２００の特定の部分に依存し得る。

いくつかの実施形態では、ユーザが仮想境界６０６に接近するとき、仮想境界６０６への、したがって衝突リスクをもたらす現実世界環境５００内の特徴５０６へのユーザの近接度についてユーザにアラートするために、（要素８０２Ａおよび８０２Ｂとして示される）境界壁８０２が、ＨＭＤデバイス３００においてレンダリングされ得る。境界壁８０２は、一連の垂直または水平バー、線のグリッド、ドットのグリッドなどとしてレンダリングされ得、それにより、ユーザは境界壁８０２を通して仮想環境８００の一部分を観察し続けることが可能になり得る。他の実施形態では、境界壁８０２は、仮想環境８００の一部分のユーザのビューを完全に「遮る」様式でレンダリングされ得る。いくつかの実施形態では、境界壁８０２のレンダリングは、ユーザが仮想境界６０６に近づくにつれて増加する量のユーザのビューを遮断し得る。他の例では、境界壁８０２は、（たとえば、画像キャプチャサブシステム２３０によって提供される）現実世界環境のパススルービューの上部にオーバーレイされるかまたは場合によってはレンダリングされる。

図８Ａおよび図８Ｂに示されているように、別個の壁部分が、ＨＭＤデバイス３００においてレンダリングされ得る。したがって、境界壁８０２Ａおよび境界壁８０２Ｂが示される。境界壁８０２Ａは、ユーザと仮想境界６０６との間の距離が距離Ｄ２よりも小さいかまたはそれに等しいとき、レンダリングされ得る。距離Ｄ２は、ユーザによって、または自動的にＨＭＤシステム２００によって構成可能であり得る。たとえば、いくつかの実施形態において、２フィートから５フィートの間のしきい値距離が使用され得る。しきい値距離は、いくつかの実施形態では、ユーザの速度の関数であり得る。境界壁８０２Ｂは、コントローラ４００と仮想境界６０６との間の距離Ｄ３に基づいて、またはＨＭＤデバイス３００と仮想境界６０６との間の距離Ｄ４に基づいて、ＨＭＤデバイス３００においてレンダリングされ得る。いくつかの実装形態では、ユーザの手の位置が監視され得、ユーザが１つまたは複数のコントローラ４００を保持しているか否かにかかわらず、ユーザの１つまたは複数の手が仮想境界６０６に近すぎると決定されたとき、境界壁８０２がユーザに表示され得る。

いくつかの実施形態では、方法１００は、現実世界環境の物理的定義を生成する動作と、仮想境界が定義された現実世界環境の物理的定義に関連する、任意の修正を含む仮想境界をメモリデバイスに記憶する動作とをさらに含み得、その結果、ユーザ定義された仮想境界は、再ロードされ、その仮想境界が定義されたのと同じ現実世界環境中で再び使用され得る。図９に示されているように、メモリデバイス９００と呼ばれるメモリデバイスは、ＨＭＤシステム２００中に含まれ得る。メモリデバイス９００は、複数の物理的定義９０２Ａ～Ｄを含んでいるテーブルまたは仮想境界ライブラリを記憶し得る。物理的定義９０２Ａ～Ｄの各々は、それぞれ、仮想境界９０４Ａ～Ｄに関連付けられ得る。いくつかの実施形態では、仮想境界ライブラリは、たとえば、ユーザが修正を取り消す／やり直すことを可能にし得る修正の履歴を決定するために、エントリが修正に対応するかどうかさらにを示し得る。方法１００は、現実世界環境検査を実施する動作を含み得、これは、現実世界環境の仮物理的定義を生成することと、次いでその定義を、メモリデバイス９００中に含まれる物理的定義９０２Ａ～Ｄと比較することとを含み得る。比較の結果として一致が見つけられたとき、処理サブシステム２１０は、ＨＭＤシステム２００による、対応する仮想境界の使用を許可し得る。処理サブシステム２１０は、現実世界環境検査の結果、一致が見つけられないとき、ＨＭＤシステム２００による仮想境界の使用を拒否し、ユーザが新しい仮想境界を定義することを必要とし得る。

本明細書で説明される態様に従って、ＶＲシステムのユーザは、前に定義された仮想境界を修正し得る。ＨＭＤデバイスを着用して、ユーザは、現実世界環境のパススルービュー上にオーバーレイされた仮想境界を観察し得る。ユーザは、仮想境界に対する修正を描画するためにハンドヘルドコントローラを使用し得る。ＨＭＤデバイスおよびハンドヘルドコントローラは、ユーザが、修正を「描画する」かまたは「ペイントブラッシングする」ことによって仮想境界を直観的に修正することを可能にし得る。ユーザが仮想境界を修正することを可能にすることは、補正が必要とされる場合、ユーザが完全に最初から仮想境界を再定義しなければならないことを防ぎ得る。ユーザはまた、仮想境界に対して補正が必要とされる場合、視覚的におよび／または聴覚的に通知され得、次いでリアルタイムで仮想境界を補正し得る。したがって、ユーザは、仮想境界を定義および修正するためのより効率的なおよび直観的なインターフェースを提示され得る。

上記で詳述されたように、本明細書で説明および／または示されるコンピューティングデバイスおよびシステムは、本明細書で説明されるモジュール内に含まれているものなど、コンピュータ可読命令を実行することが可能な任意のタイプまたは形態のコンピューティングデバイスまたはシステムを広く表す。それらの最も基本的な構成では、（１つまたは複数の）これらのコンピューティングデバイスは、各々、少なくとも１つのメモリデバイスと少なくとも１つの物理プロセッサとを含み得る。

いくつかの例では、「メモリデバイス」という用語は、概して、データおよび／またはコンピュータ可読命令を記憶することが可能な、任意のタイプまたは形態の揮発性または不揮発性記憶デバイスまたは媒体を指す。一例では、メモリデバイスは、本明細書で説明されるモジュールのうちの１つまたは複数を記憶、ロード、および／または維持し得る。メモリデバイスの例は、限定はしないが、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、光ディスクドライブ、キャッシュ、上記のうちの１つまたは複数の変形形態または組合せ、あるいは任意の他の好適な記憶メモリを含む。

いくつかの例では、「物理プロセッサ」という用語は、概して、コンピュータ可読命令を解釈および／または実行することが可能な任意のタイプまたは形態のハードウェア実装処理ユニットを指す。一例では、物理プロセッサは、上記で説明されたメモリデバイスに記憶された１つまたは複数のモジュールにアクセスし、および／またはそれらのモジュールを変更し得る。物理プロセッサの例は、限定はしないが、マイクロプロセッサ、マイクロコントローラ、中央処理ユニット（ＣＰＵ）、ソフトコアプロセッサを実装するフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、上記のうちの１つまたは複数の部分、上記のうちの１つまたは複数の変形形態または組合せ、あるいは任意の他の好適な物理プロセッサを含む。

別個の要素として示されているが、本明細書で説明および／または示されるモジュールは、単一のモジュールまたはアプリケーションの部分を表し得る。さらに、いくつかの実施形態では、これらのモジュールのうちの１つまたは複数は、コンピューティングデバイスによって実行されたとき、コンピューティングデバイスに１つまたは複数のタスクを実施させ得る、１つまたは複数のソフトウェアアプリケーションまたはプログラムを表し得る。たとえば、本明細書で説明および／または示されるモジュールのうちの１つまたは複数は、本明細書で説明および／または示されるコンピューティングデバイスまたはシステムのうちの１つまたは複数上で稼働するように記憶および構成されたモジュールを表し得る。これらのモジュールのうちの１つまたは複数は、１つまたは複数のタスクを実施するように構成された１つまたは複数の専用コンピュータのすべてまたは部分をも表し得る。

さらに、本明細書で説明されるモジュールのうちの１つまたは複数は、データ、物理デバイス、および／または物理デバイスの表現をある形態から別の形態に変換し得る。たとえば、本明細書で具陳されるモジュールのうちの１つまたは複数は、変換されるべきセンサーデータを受信し、センサーデータを変換し、仮想境界を表示するために変換の結果を出力し、仮想境界を定義および／または修正するために変換の結果を使用し、仮想境界を確立するために変換の結果を記憶し得る。追加または代替として、本明細書で具陳されるモジュールのうちの１つまたは複数は、コンピューティングデバイス上で実行すること、コンピューティングデバイスにデータを記憶すること、および／または場合によっては、コンピューティングデバイスと対話することによって、物理コンピューティングデバイスのプロセッサ、揮発性メモリ、不揮発性メモリ、および／または任意の他の部分をある形態から別の形態に変換し得る。

いくつかの実施形態では、「コンピュータ可読媒体」という用語は、概して、コンピュータ可読命令を記憶または搬送することが可能な任意の形態のデバイス、キャリア、または媒体を指す。コンピュータ可読媒体の例は、限定はしないが、搬送波など、送信タイプ媒体、磁気記憶媒体など、非一時的タイプの媒体（たとえば、ハードディスクドライブ、テープドライブ、およびフロッピーディスク）、光記憶媒体（たとえば、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、およびＢＬＵ－ＲＡＹディスク）、電子記憶媒体（たとえば、ソリッドステートドライブおよびフラッシュメディア）、および他の配信システムを含む。

本開示の実施形態は、人工現実システムを含むか、または人工現実システムとともに実装され得る。人工現実は、ユーザへの提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいはそれらの何らかの組合せおよび／または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされた（たとえば、現実世界の）コンテンツと組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る（観察者に３次元効果をもたらすステレオビデオなど）。加えて、いくつかの実施形態では、人工現実は、たとえば、人工現実におけるコンテンツを作り出すために使用される、および／または人工現実において別様に使用される（たとえば、人工現実におけるアクティビティを実施する）アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せにも関連付けられ得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、独立型ＨＭＤ、モバイルデバイスまたはコンピューティングシステム、あるいは、１人または複数の観察者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。

本明細書で説明および／または示されるステップのプロセスパラメータおよびシーケンスは、単に例として与えられ、必要に応じて変動させられ得る。たとえば、本明細書で示されるおよび／または説明されるステップは特定の順序で示されるかまたは説明され得るが、これらのステップは、必ずしも、示されるかまたは説明される順序で実施される必要がない。本明細書で説明および／または示される様々な例示的な方法はまた、本明細書で説明されるかまたは示されるステップのうちの１つまたは複数を省略するか、あるいは、開示されるものに加えて追加のステップを含み得る。

先行する説明は、他の当業者が、本明細書で開示される例示的な実施形態の様々な態様を最も良く利用することを可能にするために提供された。この例示的な説明は、網羅的であること、または開示される正確な形態に限定されることは意図されない。多くの変更および変形が、本開示の趣旨および範囲から逸脱することなく可能である。本明細書で開示される実施形態は、あらゆる点で、限定的ではなく例示的であると見なされるべきである。本開示の範囲を決定する際に、添付の特許請求の範囲およびそれらの均等物の参照が行われるべきである。

別段に記載されていない限り、本明細書および特許請求の範囲において使用される「に接続された（ｃｏｎｎｅｃｔｅｄ ｔｏ）」および「に結合された（ｃｏｕｐｌｅｄ ｔｏ）」という用語（およびそれらの派生語）は、直接接続と間接接続（すなわち、他の要素または構成要素を介したもの）の両方を許容するものとして解釈されるべきである。さらに、本明細書および特許請求の範囲において使用される「ａ」または「ａｎ」という用語は、「のうちの少なくとも１つ」を意味するものとして解釈されるべきである。最後に、使いやすさのために、本明細書および特許請求の範囲において使用される「含む（ｉｎｃｌｕｄｉｎｇ）」および「有する（ｈａｖｉｎｇ）」という用語（およびそれらの派生語）は、「備える、含む（ｃｏｍｐｒｉｓｉｎｇ）」という単語と交換可能であり、その単語と同じ意味を有する。

Claims (35)

1. 現実世界環境の平面を表す基準高度の指示を受信することと、
   前記基準高度に対して、仮想世界環境についての仮想境界を確立することと、
   前記仮想境界を修正したいというユーザからの要求を受信することと、
   前記ユーザからの前記要求に応答して、配向データを生成するために方向インジケータの配向を監視することと、
   前記基準高度と前記配向データとに基づいて前記仮想境界を修正することと
   を含む、方法。
2. 前記配向データが、前記基準高度に対する前記方向インジケータの高度の高度データを含む、請求項１に記載の方法。
3. 前記仮想境界を修正することが、前記平面と、前記高度データによって示された高度におけるおよび前記配向データによって示された前記配向における前記方向インジケータから延びる仮想線との交差部を決定することを含む、請求項２に記載の方法。
4. ヘッドマウントディスプレイシステムのイメージングシステムで前記現実世界環境のビューをキャプチャすることであって、前記キャプチャされたビューがレンズ誘発ひずみを有する、前記現実世界環境のビューをキャプチャすることと、
   前記現実世界環境の補償ビューを作り出すために、前記キャプチャされたビュー中の前記レンズ誘発ひずみを補正することと、
   前記仮想境界を前記現実世界環境の前記補償ビューに重ね合わせることと、
   前記現実世界環境の前記補償ビューを前記ヘッドマウントディスプレイシステムのディスプレイに表示することと
   をさらに含む、請求項１に記載の方法。
5. 前記仮想境界が最小エリアしきい値を満たすとき、前記仮想境界が成功色で表示され、前記仮想境界が前記最小エリアしきい値を満たさないとき、前記仮想境界が警告色で表示される、請求項４に記載の方法。
6. 前記仮想境界が、前記仮想境界によって定義された塗りつぶされた形状として表示される、請求項４に記載の方法。
7. 前記仮想境界を修正することが、前記仮想境界に部分を加えること、または前記仮想境界から部分を減じることを含む、請求項１に記載の方法。
8. 前記基準高度の確認を受信することをさらに含む、請求項１に記載の方法。
9. 前記仮想境界をリセットするための指示を受信することをさらに含む、請求項１に記載の方法。
10. 命令が記憶された有形非一時的コンピュータ可読記憶媒体であって、前記命令が、処理システムによって実行されたとき、前記処理システムに、
    現実世界環境の平面を表す基準高度の指示を受信することと、
    前記基準高度に対して、仮想世界環境についての仮想境界を確立することと、
    配向データを生成するために方向インジケータの配向を監視することと、
    前記基準高度と前記配向データとに基づいて前記仮想境界を修正することと
    を含む動作を実施させる、有形非一時的コンピュータ可読記憶媒体。
11. 前記配向データが、前記基準高度に対する前記方向インジケータの高度の高度データを含む、請求項１０に記載の非一時的コンピュータ可読記憶媒体。
12. 前記仮想境界を修正することが、前記平面と、前記高度データによって示された高度におけるおよび前記配向データによって示された前記配向における前記方向インジケータから延びる仮想線との交差部を決定することを含む、請求項１１に記載の非一時的コンピュータ可読記憶媒体。
13. ヘッドマウントディスプレイシステムのイメージングシステムで前記現実世界環境のビューをキャプチャすることであって、前記キャプチャされたビューがレンズ誘発ひずみを有する、前記現実世界環境のビューをキャプチャすることと、
    前記現実世界環境の補償ビューを作り出すために、前記キャプチャされたビュー中の前記レンズ誘発ひずみを補正することと、
    前記仮想境界を、前記仮想境界によって定義された塗りつぶされた形状として、前記現実世界環境の前記補償ビューに重ね合わせることと、
    前記現実世界環境の前記補償ビューを前記ヘッドマウントディスプレイシステムのディスプレイに表示することと
    を行うための命令をさらに含む、請求項１０に記載の非一時的コンピュータ可読記憶媒体。
14. 前記仮想境界が最小エリアしきい値を満たすとき、前記仮想境界が成功色で表示され、前記仮想境界が前記最小エリアしきい値を満たさないとき、前記仮想境界が警告色で表示される、請求項１３に記載の非一時的コンピュータ可読記憶媒体。
15. 前記仮想境界を修正することが、前記仮想境界に部分を加えること、または前記仮想境界から部分を減じることを含む、請求項１０に記載の非一時的コンピュータ可読記憶媒体。
16. ユーザアタッチメントシステムに固定されたディスプレイと、
    方向インジケータと、
    処理システムと
    を備えるヘッドマウントディスプレイシステムであって、前記処理システムが、
    現実世界環境の平面を表す基準高度を識別することと、
    前記基準高度に対して、仮想世界環境についての仮想境界を確立することと、
    前記基準高度と前記方向インジケータの配向を特徴づける配向データとに基づいて前記仮想境界を修正することと
    を行うように構成された、ヘッドマウントディスプレイシステム。
17. 前記処理システムは、
    ヘッドマウントディスプレイシステムのイメージングシステムで前記現実世界環境のビューをキャプチャすることであって、前記キャプチャされたビューがレンズ誘発ひずみを有する、前記現実世界環境のビューをキャプチャすることと、
    前記現実世界環境の補償ビューを作り出すために、前記キャプチャされたビュー中の前記レンズ誘発ひずみを補正することと、
    前記仮想境界を、前記仮想境界によって定義された塗りつぶされた形状として、前記現実世界環境の前記補償ビューに重ね合わせることと、
    前記現実世界環境の前記補償ビューを前記ヘッドマウントディスプレイシステムのディスプレイに表示することと
    を行うようにさらに構成された、請求項１６に記載のヘッドマウントディスプレイシステム。
18. 前記仮想境界が最小エリアしきい値を満たすとき、前記仮想境界が成功色で表示され、前記仮想境界が前記最小エリアしきい値を満たさないとき、前記仮想境界が警告色で表示される、請求項１７に記載のヘッドマウントディスプレイシステム。
19. 前記仮想境界を修正することが、前記仮想境界に部分を加えること、または前記仮想境界から部分を減じることを含む、請求項１６に記載のヘッドマウントディスプレイシステム。
20. 前記配向データが、前記方向インジケータの高度の高度データを含み、前記仮想境界を修正することが、前記平面と、前記高度データによって示された前記高度におけるおよび前記配向データによって示された前記配向における前記方向インジケータから延びる仮想線との交差部を決定することを含む、請求項１６に記載のヘッドマウントディスプレイシステム。
21. 現実世界環境の平面を表す基準高度の指示を受信することと、
    前記基準高度に対して、仮想世界環境についての仮想境界を確立することと、
    前記仮想境界を修正したいというユーザからの要求を受信することと、
    前記ユーザからの前記要求に応答して、配向データを生成するために方向インジケータの配向を監視することと、
    前記基準高度と前記配向データとに基づいて前記仮想境界を修正することと
    を含む、コンピュータ実装方法。
22. 前記配向データが、前記基準高度に対する前記方向インジケータの高度の高度データを含み、
    随意に、前記仮想境界を修正することが、前記平面と、前記高度データによって示された高度におけるおよび前記配向データによって示された前記配向における前記方向インジケータから延びる仮想線との交差部を決定することを含む、
    請求項２１に記載の方法。
23. ヘッドマウントディスプレイシステムのイメージングシステムで前記現実世界環境のビューをキャプチャすることであって、前記キャプチャされたビューがレンズ誘発ひずみを有する、前記現実世界環境のビューをキャプチャすることと、
    前記現実世界環境の補償ビューを作り出すために、前記キャプチャされたビュー中の前記レンズ誘発ひずみを補正することと、
    前記仮想境界を前記現実世界環境の前記補償ビューに重ね合わせることと、
    前記現実世界環境の前記補償ビューを前記ヘッドマウントディスプレイシステムのディスプレイに表示することと
    をさらに含む、請求項２１または２２に記載の方法。
24. 前記仮想境界が最小エリアしきい値を満たすとき、前記仮想境界が成功色で表示され、前記仮想境界が前記最小エリアしきい値を満たさないとき、前記仮想境界が警告色で表示され、および／または
    前記仮想境界が、前記仮想境界によって定義された塗りつぶされた形状として表示される、
    請求項２３に記載の方法。
25. 前記仮想境界を修正することが、前記仮想境界に部分を加えること、または前記仮想境界から部分を減じることを含む、請求項２１から２４のいずれか一項に記載の方法。
26. 前記基準高度の確認を受信することをさらに含む、請求項２１から２５のいずれか一項に記載の方法。
27. 前記仮想境界をリセットするための指示を受信することをさらに含む、請求項２１から２６のいずれか一項に記載の方法。
28. 命令が記憶された有形非一時的コンピュータ可読記憶媒体であって、前記命令が、処理システムによって実行されたとき、前記処理システムに、
    現実世界環境の平面を表す基準高度の指示を受信することと、
    前記基準高度に対して、仮想世界環境についての仮想境界を確立することと、
    配向データを生成するために方向インジケータの配向を監視することと、
    前記基準高度と前記配向データとに基づいて前記仮想境界を修正することと
    を含む動作を実施させる、有形非一時的コンピュータ可読記憶媒体。
29. 前記配向データが、前記基準高度に対する前記方向インジケータの高度の高度データを含み、
    随意に、前記仮想境界を修正することが、前記平面と、前記高度データによって示された高度におけるおよび前記配向データによって示された前記配向における前記方向インジケータから延びる仮想線との交差部を決定することを含む、
    請求項２８に記載の非一時的コンピュータ可読記憶媒体。
30. ヘッドマウントディスプレイシステムのイメージングシステムで前記現実世界環境のビューをキャプチャすることであって、前記キャプチャされたビューがレンズ誘発ひずみを有する、前記現実世界環境のビューをキャプチャすることと、
    前記現実世界環境の補償ビューを作り出すために、前記キャプチャされたビュー中の前記レンズ誘発ひずみを補正することと、
    前記仮想境界を、前記仮想境界によって定義された塗りつぶされた形状として、前記現実世界環境の前記補償ビューに重ね合わせることと、
    前記現実世界環境の前記補償ビューを前記ヘッドマウントディスプレイシステムのディスプレイに表示することと
    を行うための命令をさらに含み、
    随意に、前記仮想境界が最小エリアしきい値を満たすとき、前記仮想境界が成功色で表示され、前記仮想境界が前記最小エリアしきい値を満たさないとき、前記仮想境界が警告色で表示される、
    請求項２８または２９に記載の非一時的コンピュータ可読記憶媒体。
31. 前記仮想境界を修正することが、前記仮想境界に部分を加えること、または前記仮想境界から部分を減じることを含む、請求項２８から３０のいずれか一項に記載の非一時的コンピュータ可読記憶媒体。
32. ユーザアタッチメントシステムに固定されたディスプレイと、
    方向インジケータと、
    処理システムと
    を備えるヘッドマウントディスプレイシステムであって、前記処理システムが、
    現実世界環境の平面を表す基準高度を識別することと、
    前記基準高度に対して、仮想世界環境についての仮想境界を確立することと、
    前記基準高度と前記方向インジケータの配向を特徴づける配向データとに基づいて前記仮想境界を修正することと
    を行うように構成された、ヘッドマウントディスプレイシステム。
33. 前記処理システムは、
    ヘッドマウントディスプレイシステムのイメージングシステムで前記現実世界環境のビューをキャプチャすることであって、前記キャプチャされたビューがレンズ誘発ひずみを有する、前記現実世界環境のビューをキャプチャすることと、
    前記現実世界環境の補償ビューを作り出すために、前記キャプチャされたビュー中の前記レンズ誘発ひずみを補正することと、
    前記仮想境界を、前記仮想境界によって定義された塗りつぶされた形状として、前記現実世界環境の前記補償ビューに重ね合わせることと、
    前記現実世界環境の前記補償ビューを前記ヘッドマウントディスプレイシステムのディスプレイに表示することと
    を行うようにさらに構成され、
    随意に、前記仮想境界が最小エリアしきい値を満たすとき、前記仮想境界が成功色で表示され、前記仮想境界が前記最小エリアしきい値を満たさないとき、前記仮想境界が警告色で表示される、
    請求項３２に記載のヘッドマウントディスプレイシステム。
34. 前記仮想境界を修正することが、前記仮想境界に部分を加えること、または前記仮想境界から部分を減じることを含む、請求項３２または３３に記載のヘッドマウントディスプレイシステム。
35. 前記配向データが、前記方向インジケータの高度の高度データを含み、前記仮想境界を修正することが、前記平面と、前記高度データによって示された前記高度におけるおよび前記配向データによって示された前記配向における前記方向インジケータから延びる仮想線との交差部を決定することを含む、請求項３２から３４のいずれか一項に記載のヘッドマウントディスプレイシステム。

Images