JP2017531221A - 仮想現実環境の中に没入したときのつまずき対抗 - Google Patents

Abstract

シースルーディスプレイと深度検出能力を伴うＨＭＤデバイスは、仮想現実環境の表示を選択的に薄暗く又はフェードアウトするように構成されている。ユーザと現実世界オブジェクトとの間の距離が閾値距離よりも小さいと判断されたときに、仮想世界による妨害なしにユーザが現実世界を見ることができるようにである。ユーザが立っているか、または、座っているかに応じて異なる閾値距離が使用され得るように、ディミング／フェーディングを実行するときに、ユーザの頭の現在の高さ（つまり、頭から地面までの距離）が使用されてよい。

Description

ヘッドマウントディスプレイ（ＨＭＤ）システムおよびハンドヘルドモバイルデバイス（例えば、スマートフォン、タブレットコンピュータ、等）といった、複合現実（ｍｉｘｅｄ ｒｅａｌｉｔｙ）コンピューティングデバイスは、ユーザの視野及び/又はデバイスのカメラの視野において、仮想及び/又は現実のオブジェクトに関する情報をユーザに対して表示するように構成されてよい。例えば、ＨＭＤデバイスは、シースルー（ｓｅｅ−ｔｈｒｏｕｇｈ）ディスプレイシステムを使用して、現実世界オブジェクトが混合された（ｍｉｘｅｄ ｉｎ）仮想環境、または、仮想オブジェクトが混合された現実世界環境を表示するように構成されてよい。同様に、モバイルデバイスは、カメラのビューファインダのウィンドウを使用してそうした情報を表示してよい。

この背景は、以降の概要および詳細な説明に対する簡素なコンテクストを紹介するために提供されるものである。この背景は、請求される技術的事項の範囲を定めることを支援するように意図されたものではなく、また、請求項される技術的事項を上記の不利な点または問題のいくつか又は全てを解決する実施に限定するものと見なされるものでもない。

シースルーディスプレイと深度（ｄｅｐｔｈ）検出能力を伴うＨＭＤデバイスは、仮想現実環境の表示を選択的に薄暗く（ｄｉｍ）またはフェードアウト（ｆａｄｅ ｏｕｔ）するように構成されている。ユーザと現実世界オブジェクトとの間の距離が閾値距離よりも小さいと判断されたときに、仮想世界による妨害なしにユーザが現実世界を見ることができるようにである。ユーザが立っているか、または、座っているかに応じて異なる閾値距離が使用され得るように、ディミング（ｄｉｍｍｉｎｇ）／フェーディング（ｆａｄｉｎｇ）を実行するときに、ユーザの頭の現在の高さ（つまり、頭から地面までの距離）が使用されてよい。

様々な説明的な実施例において、表面再構成データまたは深度データは、深度センサを使用するＨＭＤデバイスによって、または、立体画像化（ｓｔｅｒｅｏ ｉｍａｇｉｎｇ）から深度を判断することによってキャプチャされる。ユーザと現実世界オブジェクトとの間の距離を動的に測定するためであり、ユーザの高さを見積ることも同様である。ユーザは、ユーザの高さに応じた大きさの円柱またはカプセルといった体積形状（ｖｏｌｕｍｅｔｒｉｃ ｓｈａｐｅ）を使用して表現されてよい。ディスプレイのディミング／フェーディングが実行される際の現実世界オブジェクトとユーザを表現している体積形状との間の閾値距離は、ユーザが座っているときは、より小さく、そして、ユーザが立っているときは、より大きいものであり得る。座っている場合に、立っている又は走っている場合のそうしたオブジェクトとのインタラクションと比較して、現実世界オブジェクトに突き当たるか、接触するときのユーザに対するより小さな安全上の問題（ｓａｆｅｔｙ ｈａｚａｒｄ）を認めて、様々な閾値が使用されてよい。それらはつまずき（ｔｒｉｐ）又は、ころび（ｆａｌｌ）を結果として生じ得るものである。

この概要は、以降の詳細な説明においてより詳しく説明される概念の選択について、簡素化された形式において紹介するものである。この概要は、請求される技術的事項の主要な特徴または本質的な特徴を特定するように意図されたものではなく、また、請求される技術的事項の範囲を定める支援として使用されるように意図されたものでもない。さらに、請求される技術的事項は、この開示のあらゆる部分において示されたいくつか又は全ての不利な点を解決する実施に限定されるものではない。上記の技術的事項は、コンピュータコントロール装置、コンピュータプロセス、コンピューティングシステム、または、一つまたはそれ以上のコンピュータで読取り可能なストレージ媒体といった製品として実施され得ることが正しく理解されてよい。これらの特徴及び様々な他の特徴は、以降の詳細な説明を読むこと、および、関連する図面のレビューから明らかであり得る。

図１は、説明的な仮想現実環境を示しており、その一部が、ＨＭＤデバイスのユーザのビュー（ｖｉｅｗ）の中に表わされている。 図２は、説明的な現実世界環境を示しており、その中にＨＭＤデバイスのユーザが位置している。 図３は、ＨＭＤデバイスによってキャプチャされている現実世界オブジェクトと関連付けされた表面再構成データを示している。 図４は、説明的な表面再構成パイプラインのブロック図を示している。 図５は、ユーザの高さに応じたサイズの説明的な体積形状によって表現されているユーザを示している。 図６は、ユーザの高さに応じたサイズの説明的な体積形状によって表現されているユーザを示している。 図７は、ＨＭＤのディスプレイが現実世界オブジェクトを表示するように操作される際の説明的な閾値距離を示している。 図８は、ＨＭＤのディスプレイが現実世界オブジェクトを表示するように操作される際の説明的な閾値距離を示している。 図９は、ＨＭＤデバイスを使用して実行され得る説明的な方法のフローチャートである。 図１０は、ＨＭＤデバイスを使用して実行され得る説明的な方法のフローチャートである。 図１１は、ＨＭＤデバイスを使用して実行され得る説明的な方法のフローチャートである。 図１２は、複合現実ＨＭＤデバイスの説明的な例の絵画図である。 図１３は、複合現実ＨＭＤデバイスの説明的な例の機能ブロック図を示している。 図１４は、複合現実ＨＭＤデバイスのコンポーネントとして使用され得るシールドバイザーの絵画的正面図である。 図１５は、複合現実ＨＭＤデバイスのコンポーネントとして使用され得るシールドバイザーの絵画的正面図である。 図１６は、シールドバイザーの部分的な分解図を示している。 図１７は、シールドバイザーの細い線の（ｐｈａｎｔｏｍ ｌｉｎｅ）正面図を示している。 図１８は、シールドバイザーの絵画的な背面図を示している。 図１９は、典型的なコンピューティングシステムを示している。

類似の参照番号は、図面において類似のエレメントを示している。エレメントは、そうでないものと示されていなければ、縮尺どおりに描かれていない。

ＨＭＤデバイスを使用しながら複合現実または仮想現実環境を体験しているとき、ユーザは、現実世界空間において動き回る際に物理的オブジェクトに突き当たり、または、つまずくことがある。なぜなら、仮想世界がユーザのビューを妨害しているからである。一つの説明的な例においては、図１に示されるように、ユーザ１０２は、仮想現実環境１００を経験するためのシースルーＨＭＤデバイス１０４を使用することができる。仮想現実環境は、目に見えるように表わされており、かつ、いくつかの実施例においては、オーディオ、及び／又は、触覚／力覚の感覚を含んでよい。この特定の限定的でない例において、仮想現実環境１００は、ユーザ１０２が見て、かつ、相互作用することができる様々なビルディング、ストア、等を伴う街の通り（ｃｉｔｙ ｓｔｒｅｅｔ）を含んでいる。ユーザが頭の位置または向きを変える、及び／又は、現実世界空間の中で移動すると、仮想現実環境のユーザのビューが変化し得る。視野（図１において破線１１０によって表されているもの）が、サイズ合わせされ、かつ、形成され、そして、デバイスの他の特性がコントロールされ得る。仮想世界に存在しているという強い意識をユーザに提供するように、ＨＭＤデバイスの体験を視覚的に没入させる（ｖｉｓｕａｌｌｙ ｉｍｍｅｒｓｉｖｅ）ためである。

図２に示されるように、ＨＭＤデバイス１０４を使用しているときにユーザが占める物理的、現実世界空間２００は、様々なオブジェクト（代表的に参照番号２０５によって示されているもの）を含み得る。オブジェクトは、ユーザに対してつまずき問題（ｔｒｉｐ ｈａｚａｒｄ）を示し、もしくは、そうでなければ、接触または突き当たったときにＨＭＤユーザ体験を邪魔し得るものである。この説明的な例において、現実世界オブジェクト２０５は、仮想現実環境１００（図１に示されているもの）の中へ組み込まれておらず、そして、従って、ＨＭＤデバイス１０４を身に付けたユーザにとって普通は目に見えないものである。

本ＨＭＤデバイス１０４は、ユーザが仮想現実環境に没入（ｉｍｍｅｒｓｅ）しているときに、つまずき対抗（ａｎｔｉ−ｔｒｉｐ）機能を備えることができる。図３に示されるように、デバイスは、現実世界空間におけるオブジェクト２０５を検出し、かつ、ユーザからの距離を判断するための統合深度センサ３０５を使用することによって、表面再構成データ３００を獲得するように構成されている。代替的な実施においては、深度データが適切な立体画像解析技術を使用して引き出され得る。

図４は、現実世界空間におけるオブジェクトに対する表面再構成データを獲得するための、説明的な表面再構成パイプラインのブロック図を示している。開示される技術は説明的なものであること、そして、特定の実施に係る要求に応じて他の技術および方法が使用されてよいことが強調される。生の深度センサデータ４０２は、センサの３Ｄ（三次元）姿勢見積り（ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ）の中へ入力される（ブロック４０４）。センサ姿勢トラッキング（ｔｒａｃｋｉｎｇ）が、例えば、予想される表面と現在のセンサ測定との間のＩＣＰ（ｉｔｅｒａｔｉｖｅ ｃｌｏｓｅｓｔ ｐｏｉｎｔ）アライメントを使用して達成され得る。センサの各深度測定は、例えば、符号付距離場（ＳＤＦ、ｓｉｇｎｅｄ ｄｉｓｔａｎｃｅ ｆｉｅｌｄ）としてエンコードされた表面を使用して体積表現へと統合され得る（ブロック４０６）。ループを使用して、ＳＤＦは、深度マップがその上に整列される密な表面予測を提供するために見積りされたフレームの中へレイキャスト（ｒａｙｃａｓｔ）される（ブロック４０８）。

ユーザが現実世界オブジェクトに近づくときを判断するために、ＨＭＤデバイス１０４は、図５と図６において示されるように、体積形状としてユーザ１０２を表わしている。体積は、カプセル、または、図５に示されるような円柱５０５といった、様々な任意の形状から選択されてよい。体積形状は、物理的空間の中でのユーザの頭の位置に応じてサイズ合わせされる。図６に示されるように、ユーザが座っているときに形状６０５がより短くなるようにである。ユーザの頭の位置は、あらゆる適切な技術を使用して判断され得る。技術は、例えば、ＨＭＤの内部センサを使用する頭トラッキング、床からのユーザの頭の高さを見積るための画像解析、または、外部／リモートの方法を用いること、を含んでいる。

ユーザがオブジェクトを見ることができるようにするためにＨＭＤデバイスにおける表示を薄暗く、または、フェードさせる際の、体積形状と現実世界オブジェクトとの間の閾値距離は、物理的空間におけるユーザの頭の高さに応じて変動し得る（例えば、ユーザが立っている／走っているか、または、座っているか）。図７と図８に示されるように、閾値距離１（参照番号７００によって示されているもの）は、より高い体積形状５０５と関連付けされており、そして、より低い形状６０５と関連付けされている閾値距離２（８００）より相対的に大きいものである。

図９、図１０、および図１１は、ＨＭＤデバイスを使用して実行され得る説明的な方法のフローチャートである。特定的に述べられていなければ、フローチャートにおいて示され、そして、一緒のテキストにおいて説明される方法またはステップは、特定の順序またはシーケンスに限定されるものではない。加えて、そうした実施例の要求に応じて、それらのいくつかの方法またはステップは、同時に発生し、または、実行され得るものであり、かつ、必ずしも全ての方法またはステップが、所与の実施において実行されることを要するものではない。そして、いくつかの方法またはステップは、任意的に使用されてよい。

図９における方法９００は、仮想現実環境のレンダリング（ｒｅｎｄｅｒｉｎｇ）を支援（ｓｕｐｐｏｒｔ）するＨＭＤデバイスによって実行されてよい。ステップ９０５においては、ユーザのＨＭＤデバイスに隣接する物理的空間を記述するセンサデータが獲得される。センサデータは、例えば、深度データを含んでよい。ＨＭＤデバイスの中に統合された深度センサを使用したもの、または、外部センサまたはソース（ｓｏｕｒｃｅ）から獲得したものである。立体から深度への画像化解析（ｄｐｅｔｈ−ｆｒｏｍ−ｓｔｅｒｅｏ ｉｍａｇｉｎｇ ａｎａｌｙｓｉｓ）も、また、深度データを作成するために使用されてよい。ステップ９１０において、センサデータは、物理的空間における現実世界オブジェクトのジオメトリ（ｇｅｏｍｅｔｒｙ）を再構成するために使用される。例えば、表面再構成を使用するものである。

ステップ９１５においては、ユーザが、体積形状を用いて表現される。ステップ９２０において、ユーザと現実世界オブジェクトとの間の現在の距離を、再構成されたジオメトリを使用して、判断するときに、使用され得るものである。ステップ９２５においては、仮想現実環境から妨害されることなくユーザが現実世界オブジェクトを見ることができるように、ＨＭＤデバイスが操作される。典型的に、ＨＭＤデバイスは、仮想現実環境のレンダリングからの著しい妨害が存在しないように操作される。しかし、いくつかの部分的な妨害は、いくつかの実施例においては許容可能なものであり得る。

図１０における方法１０００は、シースルーディスプレイを使用するＨＭＤデバイスによって実行されてよい。付加的な混合（ａｄｄｉｔｉｖｅ ｂｌｅｎｄｉｎｇ）を使用するものであり、そこでは仮想現実シーン（ｓｃｅｎｅ）と関連付けされたピクセルが、オーバーレイする「現実世界」ピクセルに対して付加される。従って、黒の仮想色が表示される（ｒｅｎｄｅｒｅｄ）ときに、それはユーザによって透明なものとして実際には見られ、かつ、黒の仮想ピクセルを通して見たときに、現実世界は変わらない。そして、典型的には、付加的ディスプレイにおける実際のピクセルを暗くする方法は存在しない。

ステップ１００５においては、表面再構成データが、深度データまたはカメラシステムを使用して生成される。ステップ１０１０においては、物理的環境における現実世界オブジェクトとユーザを表現する体積形状との間の距離を判断するために使用される。様々な適切な再構成技術が使用されてよい。複数のオーバーラップしている表面が統合された、図４におけるパイプラインにおいて示されたものを含むものである。

ステップ１０１５において、現実世界オブジェクトが閾値距離の範囲内にあるときは、ユーザがディスプレイを通して見ることができ、かつ、現実世界オブジェクトを見ることができるように、付加的ディスプレイ上に暗いピクセル（ｄａｒｋ ｐｉｘｅｌ）が表示される。典型的には、オブジェクトのビューが仮想世界によって著しく妨害されないように、ディスプレイの十分な部分が暗いピクセルを用いて表示される。閾値距離は、ステップ１０２０において、ユーザが立っているか、または、座っているかに応じて、変動してよい。

図１１における方法１１００は、健全な仮想現実モードにおけるオペレーションから、ユーザに対して物理的環境を見せるための透明オペレーションへ切り替えられる光学ディスプレイを有するＨＭＤデバイスによって実行されてよい。従って、既定の距離閾値の中に落とし込まれる現実世界オブジェクトが検出されたときにディスプレイが透明になるように、仮想現実環境のディスプレイは、薄暗くされ得る（つまり、フェードされる）。

ステップ１１０５において、ＨＭＤデバイスにおけるディスプレイ光学素子は、仮想現実環境のレンダリングを薄暗くすることを通じて、選択的に透明オペレーションをするために構成されている。ステップ１１１０においては、表面再構成を使用して、物理的環境が動的に（ｄｙｎａｍｉｃａｌｌｙ）モデル化される。つまり、モデルは、ユーザが物理的環境の中を移動する際に、例えば、フレーム毎（ｆｒａｍｅ−ｂｙ−ｆｒａｍｅ）に、または、他の適切なやり方で更新され得る。現在の表面再構成モデルは、ステップ１１１５において、物理的環境におけるユーザと現実世界オブジェクトとの間の距離を判断するために使用される。ディスプレイ光学素子は、判断された距離が規定の閾値よりも小さいか等しいときに、ステップ１１２０において、透明オペレーションができるように仮想現実環境について薄暗くされる。判断された距離が、更新された表面再構成モデルにおける規定の閾値を超えるときは、ステップ１１２５において、仮想現実のレンダリングが再開される（つまり、ディスプレイが薄暗くされない）。

これから、様々な説明的な実施例の詳細に移ると、本構成に従った、シースルーの、複合現実ディスプレイデバイスは、あらゆる適切な形状（ｆｏｒｍ）であってよい。これらに限定されるわけではないが、ＨＭＤデバイス１０４、及び／又は、他のポータブル／モバイルデバイスといったニアアイ（ｎｅａｒ−ｅｙｅ）デバイスを含むものである。図１２は、シースルーの、複合現実ディスプレイシステム１２００に係る一つの特定の例を示しており、そして、図１３は、システム１２００の機能ブロック図を示している。ディスプレイシステム１２００は、シースルーディスプレイサブシステム１２０４の一部を形成する一つまたはそれ以上のレンズ１２０２を含んでよい。画像が、レンズ１２０２を使用して（例えば、レンズ１２０２の上へのプロジェクション、レンズ１２０２の中に組み込まれている一つまたはそれ以上の導波管システム（ｗａｖｅｇｕｉｄｅ ｓｙｓｔｅｍ）を使用して、及び／又は、あらゆる他の適切なやり方において）表示されるようにである。ディスプレイシステム１２００は、さらに、ユーザによって見られている背景シーン及び／又は物理的空間の画像を獲得するように構成されている一つまたはそれ以上の外側に面している（ｏｕｔｗａｒｄ−ｆａｃｉｎｇ）画像センサ１２０６を有しており、そして、ユーザからの音声コマンドといった、サウンドを検出するように構成されている一つまたはそれ以上のマイクロフォン１２０８を含んでよい。外側に面している画像センサ１２０６は、一つまたはそれ以上の深度センサ、及び／又は、一つまたはそれ以上の２次元画像センサを含んでよい。代替的な構成において、複合現実ディスプレイシステムは、シースルーディスプレイサブシステムを組み込む代わりに、外側に面している画像センサのためのビューファインダ（ｖｉｅｗｆｉｎｄｅｒ）モードを通じて複合現実の画像を表示してよい。

ディスプレイシステム１２００は、さらに、上記のように、ユーザのそれぞれの目の凝視方向、または、焦点の方向もしくは位置を検出するために構成されている凝視（ｇａｚｅ）検出サブシステム１２１０を含んでよい。凝視検出サブシステムは、あらゆる適切な方法において、ユーザの目のそれぞれの凝視方向を判断するように構成されてよい。例えば、示されている説明的な例において、凝視検出サブシステム１２１０は、赤外光源といった、ユーザの各眼球から反射する光の閃光（ｇｌｉｎｔ）を生じさせるように構成された、一つまたはそれ以上の閃光光源１２１２、および、内側に面しているセンサといった、ユーザの各眼球の画像をキャプチャするように構成された、一つまたはそれ以上の画像センサ１２１４、を含んでいる。ユーザの眼球からの閃光、及び／又は、ユーザの瞳孔の位置における変化は、画像センサ１２１４を使用して収集された画像データから判断されるので、凝視方向の判断のために使用され得る。

加えて、ユーザの目から投射された凝視ラインが外部ディスプレイと交差する場所は、ユーザが凝視しているオブジェクト（例えば、表示された仮想オブジェクト、及び／又は、現実の背景オブジェクト）を判断するために使用されてよい。凝視検出サブシステム１２１０は、あらゆる適切な数量、および、光源と画像センサの構成を有してよい。いくつかの実施例においては、凝視検出サブシステム１２１０が除外されてよい。

ディスプレイシステム１２００は、また、追加のセンサも含んでよい。例えば、ディスプレイシステム１２００は、全地球測位システム（ＧＰＳ）サブシステム１２１６を含んでよく、ディスプレイシステム１２００の位置が決定されるようにすることができる。このことは、ユーザが隣接している物理的環境の中に配置され得る、ビルディング、等といった、現実世界オブジェクトを特定するために役に立ち得る。

ディスプレイシステム１２００は、さらに、ユーザが、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）ＨＭＤデバイスの一部としてシステムを身に付けているときに、ユーザの頭の移動、および、位置／向き／姿勢を検出するための一つまたはそれ以上のモーションセンサ１２１８（例えば、イナーシャ、多軸ジャイロスコープ、または、加速度センサ）を含んでよい。モーションデータは、潜在的には目トラッキング閃光データ（ｅｙｅ−ｔｒａｃｋｉｎｇ ｇｌｉｎｔ ｄａｔａ）および外側に面している画像データと一緒に、凝視検出のために使用され得る。外側に面している画像センサ１２０６からの画像におけるブラー（ｂｌｕｒ）に対する修正を手助けする画像安定化のためにも同様に使用される。モーションデータの使用により、凝視位置における変化は、外側に面している画像センサ１２０６からの画像データが解決され得ない場合でさえも、トラックすることができる。

加えて、モーションセンサ１２１８は、また、マイクロフォン１２０８および凝視検出サブシステム１２１０と同様に、ユーザ入力デバイスとして使用されてもよい。ユーザが、目、首、及び／又は、頭のジェスチャを介してディスプレイシステム１２００とインタラクションし得るようにであり、いくつかの事例においては言語コマンドを介することも同様である。図１２と図１３に図示され、かつ、以下の文章で説明されているセンサは、例示の目的のために含まれるものであって、あらゆる方法において限定することを意図されていないことが理解されよう。あらゆる他の適切なセンサ及び／又はセンサの組み合わせは、拡張現実デバイスの特定の実施に係る必要性を満たすように利用され得るからである。例えば、バイオメトリックセンサ（例えば、心拍数と呼吸数、血圧、脳活動、体温、等を検出するためのもの）、または、環境センサ（例えば、温度、湿度、標高、ＵＶ（紫外線）レベル、等を検出するためのもの）が、いくつかの実施例において使用されてよい。

ディスプレイシステム１２００は、さらに、ロジックサブシステム１２２２およびセンサと通信するデータストレージサブシステム１２２４を有しているコントローラ１２２０、凝視検出サブシステム１２１０、ディスプレイサブシステム１２０４、及び／又は、通信サブシステム１２２６を通じた他のコンポーネント、を含み得る。通信サブシステムは、また、処理、ストレージ、電力、データ、およびサービスといった、離れて置かれているリソースと併せてオペレーションされているディスプレイシステムも促進し得る。つまり、いくつかの実施例において、ＨＭＤデバイスは、異なるコンポーネントとサブシステムの中にリソースと機能を分配し得るシステムの一部としてオペレーションされ得るものである。

ストレージサブシステム１２２４は、ロジックサブシステム１２２２によって実行可能な保管されたインストラクションを含んでよい。例えば、センサからの入力を受信して解釈すること、ユーザの位置および移動を特定すること、表面再構成および他の技術を使用して現実のオブジェクトを特定すること、および、オブジェクトがユーザによって見ることができるようにオブジェクトまでの距離に基づいてディスプレイを薄暗く／フェードすること、その他のタスクである。

ディスプレイシステム１２００は、拡張現実経験の一部としてオーディオが利用され得るように、一つまたはそれ以上のオーディオトランスデューサ１２２８（例えば、スピーカ、イヤホン、等）を用いて構成されている。電力管理サブシステム１２３０は、一つまたはそれ以上のバッテリー１２３２及び／又は保護回路モジュール（ＰＣＭ）、および、ディスプレイシステム１２００におけるコンポーネントに対して電力を供給するための関連の充電器インターフェイス１２３４、及び／又は、リモート電力インターフェイス、を含んでよい。

示されたディスプレイデバイス１０４と１２００は、例示の目的のために説明されたものであり、従って、限定することを意図するものではないことが正しく理解されよう。さらに、ディスプレイデバイスは、追加的及び／又は代替的なセンサ、カメラ、マイクロフォン、入力デバイス、出力デバイス、等を、本構成の範囲から逸脱することなく示されているものの他に含み得ることが理解されるであろう。加えて、ディスプレイデバイスの物理的なコンフィグレーション、および、様々なセンサとサブコンポーネントは、本構成の範囲から逸脱することなく様々な異なる形状をであってよい。

図１４−図１８は、ＨＭＤデバイスのコンポーネントとして使用され得る複合現実ディスプレイシステム１４００のための説明的な代替の実施例を示している。この例において、システム１４００は、シースルーディスプレイサブシステムのために利用される内部光学素子アセンブリを保護するように構成されているシースルーシールドバイザー１４０２を使用する。バイザー１４０２は、典型的には、ＨＭＤデバイスの他のコンポーネント（図示なし）と適合される。ヘッドマウント／保持システム、および、図１２と図１３と併せて説明的に示されたような、センサ、電力管理コントローラ、等を含んでいる他のサブシステム、といったものである。スナップ（ｓｎａｐ）、ボス（ｂｏｓｓ）、ネジ、および、他のファスナ、等を含んでいる適切なインターフェイスエレメント（図示なし）も、また、バイザー１４０２の中に組み込まれてよい。

バイザーは、シースルーのフロントシールド１４０４とリアシールド１４０５それぞれを含んでいる。透明材料を使用してモールドされ得るものであり、光学ディスプレイおよび周囲の現実世界環境に対する妨害されることのないビジョン（ｖｉｓｉｏｎ）を促進するためである。色付け（ｔｉｎｔｉｎｇ）、鏡面化（ｍｉｒｒｏｒｉｎｇ）、反射防止、曇り止め、および他のコーティング、といった処理がフロントとリアシールドに対して適用されてよく、そして、また、様々な色と仕上げが、使用されてもよい。フロントとリアシールドは、シャーシに対して貼り付けられている。図１５における部分的な分解図において示されるようにであり、そこでは、バイザー１４０２から取り外されたようにシールドカバー１５１０が示されている。

シールドバイザー１４０２は、ＨＭＤデバイスが身に付けられ、オペレーションで使用されているとき、および、クリーニングのための通常のハンドリングの最中、等の場合に、光学ディスプレイサブアセンブリ１６０２（図１６における分解図で示されるもの）を含む、敏感な内部コンポーネントを物理的に保護することができる。バイザー１４０２は、また、ＨＭＤデバイスが落とされ、または、ぶつかられ、インパクトを与えられた、等の環境的な要素およびダメージから光学ディスプレイサブアセンブリ１６０２を保護することもできる。光学ディスプレイサブアセンブリ１６０２は、落下またはインパクトの際にゆがめられたときにシールドがサブアセンブリと接触しないような方法で、シールドバイザーの中にマウントされている。

図１６と図１８に示されるように、リアシールド１４０６は、ユーザの鼻と適合するように人間工学的に正しい形状において構成されており、そして、鼻パッド１８０４（図１８）および他の快適な機能が含まれてよい（例えば、専用コンポーネントとしてモールド形成され、及び／又は、付け加えられたもの）。シールドバイザー１４０２は、また、いくつかの事例においては、モールドされたシールドの中に光学的ディオプタ（ｄｉｏｐｔｅｒ）曲率（つまり、目の処方）に係るいくらかのレベルを組み込むこともできる。

図１９は、上述のコンフィグレーション、構成、方法、または、プロセスのうち一つまたはそれ以上を実施するときに使用され得るコンピューティングシステム１９００の一つの限定的でない実施例を模式的に示している。ＨＭＤデバイス１０４は、コンピューティングシステム１９００に係る一つの限定的でない実施例であり得る。コンピューティングシステム１９００は、簡素化された形状において示されている。本構成の範囲から逸脱することなく、事実上あらゆるコンピュータアーキテクチャが使用され得る。異なる実施例において、コンピューティングシステム１９００は、ディスプレイデバイス、ウェアラブルコンピューティングデバイス、メインフレームコンピュータ、サーバーコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ホームエンターテイメントコンピュータ、ネットワークコンピューティングデバイス、ゲームデバイス、モバイルコンピューティングデバイス、モバイル通信デバイス（例えば、スマートフォン）、等の形状であってよい。

コンピューティングシステム１９００は、ロジックサブシステム１９０２とストレージサブシステム１９０４を含んでいる。コンピューティングシステム１９００は、任意的に、ディスプレイサブシステム１９０６、入力サブシステム１９０８、通信サブシステム１９１０、及び／又は、図１９に示されていない他のコンポーネント、を含んでよい。

ロジックサブシステム１９０２は、インストラクションを実行するように構成されている一つまたはそれ以上の物理的デバイスを含んでいる。例えば、ロジックサブシステム１９０２は、一つまたはそれ以上のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造、または、他の論理的構築、の一部であるインストラクションを実行するように構成されてよい。そうしたインストラクションは、タスクを実行し、データタイプを実施し、一つまたはそれ以上のコンポーネントの状態を変換し、または、そうでなければ所望の結果に到達するために実施され得るものである。

ロジックサブシステム１９０２は、ソフトウェアインストラクションを実行するように構成されている一つまたはそれ以上のプロセッサを含んでよい。追加的または代替的に、ロジックサブシステム１９０２は、ハードウェアまたはファームウェアインストラクションを実行するように構成されている一つまたはそれ以上のハードウェアまたはファームウェア論理マシンを含んでよい。ロジックサブシステム１９０２のプロセッサは、シングルコアまたはマルチコアであってよく、そして、実行されるプログラムは、順次処理、並行処理、または分散処理のために構成されてよい。ロジックサブシステム１９０２は、任意的に、２つまたはそれ以上のデバイスの中に分散される個別のコンポーネントを含んでよい。離れて配置され、及び／又は、調整された処理のために構成され得るものである。ロジックサブシステム１９０２の態様は、クラウドコンピューティング（ｃｌｏｕｄ−ｃｏｍｐｕｔｉｎｇ）コンフィグレーションにおいて構成された、離れてアクセス可能であり、ネットワーク化された、コンピューティングデバイスによって、仮想化され、かつ、実行され得るものである。

ストレージサブシステム１９０４は、データ、及び／又は、ここにおいて説明された方法とプロセスを実施するためにロジックサブシステム１９０２によって実行可能なインストラクションを保持するように構成されている一つまたはそれ以上の物理的デバイスを含んでいる。そうした方法とプロセスが実施されるとき、ストレージサブシステム１９０４の状態は変換され得る。例えば、異なるデータを保持するようにである。

ストレージサブシステム１９０４は、リムーバブルメディア及び／又は内蔵（ｂｕｉｌｔ−ｉｎ）デバイスを含んでよい。ストレージサブシステム１９０４は、光記憶デバイス（例えば、ＣＤ（コンパクトディスク）、ＤＶＤ（デジタル多目的ディスク）、ＨＤ−ＤＶＤ（ハイデフィニションＤＶＤ）、ブルーレイ（登録商標）ディスク、等）、半導体メモリデバイス（例えば、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（読出し専用メモリ）、ＥＰＲＯＭ（消去可能プログラム可能なＲＯＭ）、ＥＥＰＲＯＭ（電気的消去可能ＲＯＭ）、等）、及び／又は、磁気メモリデバイス（例えば、ハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、テープドライブ、ＭＲＡＭ（磁気抵抗ＲＡＭ））、等を含んでよい。ストレージサブシステム１９０４は、揮発性、不揮発性、ダイナミック、スタティック、リード／ライト、リードオンリー、ランダムアクセス、シーケンシャルアクセス、ロケーションアドレス可能、ファイルアドレス可能、及び／又は、コンテンツアドレス可能なデバイスを含んでよい。

ストレージサブシステム１９０４は、一つまたはそれ以上の物理的デバイスを含み、そして、それ自体が伝播していく信号を除外することが正しく理解されよう。しかしながら、いくつかの実施例において、ここにおいて説明されたインストラクションの態様は、ストレージデバイス上に保管されていることとは反対に、通信媒体を使用して、きれいな信号（ｐｕｒｅ ｓｉｇｎａｌ）（例えば、電磁気信号、光信号、等）によって伝播されてよい。さらに、本構成に関連するデータ、及び／又は、情報の他の形状が、きれいな信号によって伝播されてよい。

いくつかの実施例において、ロジックサブシステム１９０２およびストレージサブシステム１９０４の態様は、一つまたはそれ以上のハードウェアロジックコンポーネントの中へ一緒に統合されてよく、それを通じてここにおいて説明された機能性が制定され得る。そうしたハードウェアロジックコンポーネントは、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定プログラムおよびアプリケーション向け集積回路（ＰＡＳＩＣ／ＡＳＩＣ）、システムオンチップ（ＳＯＣ）システム、および、複合プログラマブルロジックデバイス（ＣＰＬＤ）を含んでよい。

ディスプレイサブシステム１９０６は、含まれるとき、ストレージサブシステム１９０４によって保持されているデータベースの視覚的表現を表わすために使用されてよい。この視覚的表現は、グラフィカルユーザインターフェイス（ＧＵＩ）の形であってよい。説明された本方法およびプロセスが、ストレージサブシステムによって保持されるデータを変更し、そして、従って、ストレージサブシステムの状態を変換すると、同様に、ディスプレイサブシステム１９０６の状態が、根底のデータ（ｕｎｄｅｒｌｙｉｎｇ ｄａｔａ）における変更を視覚的に表現するように変換され得る。ディスプレイサブシステム１９０６は、あらゆるタイプの技術を仮想的に利用している一つまたはそれ以上のディスプレイデバイスを含んでよい。そうしたディスプレイデバイスは、いくつかの事例において、共有の筐体（ｅｎｃｌｏｓｕｒｅ）においてロジックサブシステム１９０２及び／又はストレージサブシステム１９０４と組み合わされてよく、もしくは、そうしたディスプレイデバイスは、他のものにおけるペリフェラルディスプレイデバイスであってよい。

入力サブシステム１９０８は、含まれるとき、キーボード、マウス、タッチスクリーン、または、ゲームコントローラといった一つまたはそれ以上のユーザ入力デバイスを含み、または、それらとインターフェイスしてよい。いくつかの実施例において、入力サブシステムは、選択されたユーザ入力（ＮＵＩ）コンポーネントを含み、または、インターフェイスしてよい。そうしたコンポーネントは、統合されるか、または、周辺機器であってよく、そして、入力動作の変換及び／又は処理は、オンボードまたはオフボードで扱われてよい。典型的なＮＵＩコンポーネントは、スピーチ及び／又は音声認識のためのマイクロフォン；マシンビジョン（ｍａｃｈｉｎｅ ｖｉｓｉｏｎ）及び／又はジェスチャ認識のための赤外線、カラー、ステレオスコープ、及び／又は、深度カメラ；モーション検出及び／又は意図認識のための頭トラッカー（ｔｒａｃｋｅｒ）、目トラッカー、加速度計、及び／又は、ジャイロスコープ；同様に脳活動をアセスするための電界検出コンポーネント、を含んでよい。

通信サブシステム１９１０は、含まれるとき、コンピューティングシステム１９００を一つまたはそれ以上の他のコンピューティングデバイスと通信できるように接続するよう構成されてよい。通信サブシステム１９１０は、一つまたはそれ以上の異なる通信プロトコルとコンパチブル（ｃｏｍｐａｔｉｂｌｅ）な有線及び／又は無線通信デバイスを含んでよい。限定的でない例として、通信サブシステムは、無線電話ネットワーク、もしくは、有線または無線のローカルエリアネットワークまたはワイドエリアネットワークを介した通信のために構成されてよい。いくつかの実施例において、通信サブシステムによって、コンピューティングシステム１９００は、インターネットといったネットワークを使用して、他のデバイスへメッセージを送信、及び／又は、他のデバイスからメッセージを受信することができる。

仮想現実環境の中に没入したときの本つまずき対抗に係る様々な典型的な実施例は、ここで説明として示されるものであり、全ての実施例に係る網羅的なリストとしてのものではない。一つの例は、仮想現実環境のレンダリングを支援するヘッドマウントディスプレイ（ＨＭＤ）によって実施される方法を含んでいる。本方法は、ＨＭＤデバイスのユーザに隣接する物理的空間を記述するセンサデータを獲得するステップと、センサデータを使用して物理的空間に置かれた現実世界オブジェクトのジオメトリを再構成するステップと、再構成されたジオメトリを使用してユーザと現実世界オブジェクトとの間の距離を判断するステップと、を含む。そして、距離が既定の閾値と等しいか小さい場合には、ユーザが仮想現実環境からの妨害なしに現実世界オブジェクトを見ることができるように、ＨＭＤデバイスを操作する。

別の例において、センサデータは深度データを含む。そして、本方法は、さらに、深度センサを使用してセンサデータを生成するステップと、現実世界オブジェクトのジオメトリを再構成するために表面再構成技術を適用するステップと、を含む。別の例において、本方法は、さらに、一つまたはそれ以上の立体から深度への画像化解析を使用して深度データを生成するステップと、を含む。別の例において、本方法は、さらに、操作の最中にＨＭＤデバイスの中に組み込まれているシースルーディスプレイの少なくとも一部を薄暗くするステップと、を含む。別の例において、本方法は、さらに、ＨＭＤデバイスの中に組み込まれているシースルーディスプレイの少なくとも一部を実質的に透明になるようにするステップと、を含む。別の例において、本方法は、さらに、ユーザを体積形状を用いて表現するステップと、ユーザと現実世界オブジェクトとの間の距離を判断するときに体積形状を使用するステップと、を含む。別の例において、本方法は、さらに、物理的空間のグラウンドの上でのユーザの頭の高さに応じて、体積形状をサイズ合わせするステップと、を含む。別の例において、本方法は、さらに、体積形状のサイズ、形状、または他の特性に応じて、既定の閾値を変えるステップと、を含む。別の例において、本方法は、さらに、ユーザが座っているときは、ユーザが立っているときと比較して相対的に小さくなるように既定の閾値を構成するステップと、を含む。別の例において、本方法は、さらに、ユーザの現在の高さを判断するためにセンサデータを使用するステップと、を含む。

さらなる例は、物理的環境におけるユーザによって操作可能なヘッドマウントディスプレイ（ＨＭＤ）デバイスを含む。本デバイスは、一つまたはそれ以上のプロセッサと、現実世界と仮想世界の表示エレメントとの間の付加的な混合を使用するシースルーディスプレイと、コンピュータで読取り可能なインストラクションを保管している一つまたはそれ以上のメモリデバイスと、を含む。一つまたはそれ以上のプロセッサによって実行されると、深度センサまたはカメラシステムを使用して表面再構成データを生成するステップと、表面再構成データを使用してユーザを表現する体積形状から物理的環境における現実世界オブジェクトまでの距離を判断するステップと、現実世界オブジェクトが体積形状から閾値距離の範囲内にあるときシースルーディスプレイの少なくとも一部がユーザによって見通せるようにＨＭＤを操作するステップ、を実施する。

別の例において、ＨＭＤデバイスは、さらに、仮想世界の少なくとも一部が現実世界オブジェクトの表示を妨害しないように、仮想世界の表示について暗いピクセルをレンダリングすることによってシースルーディスプレイを操作すること、を含む。別の例において、ＨＭＤデバイスは、さらに、表面再構成データを収集するために構成された深度センサを含む。別の例において、ＨＭＤデバイスは、さらに、ユーザが立っているか、または、座っているかに関する判断に応じて、閾値距離を変えること、を含む。別の例において、ＨＭＤデバイスは、さらに、表面再構成データパイプラインを使用して物理的環境をモデル化することであり、統合される複数のオーバーラップしている表面を生成する容積法を実施すること、を含む。別の例において、ＨＭＤデバイスは、さらに、シースルーディスプレイを実質的に包み込むシールド保護バイザーを含む。

さらなる実施例は、コンピュータで実行可能なインストラクションを保管している一つまたはそれ以上のコンピュータで読取り可能なメモリを含む。インストラクションは、物理的環境におけるヘッドマウントディスプレイ（ＨＭＤ）デバイスのユーザに対して示された没入させる仮想環境について、つまずき対抗機能を提供するための方法を実施するものである。本方法は、仮想環境のレンダリングのディミングによる選択的な透明オペレーションのためにＨＤＭデバイスの中に組み込まれるディスプレイ光学素子を構成すること、表面再構成を使用して物理的環境とその中に含まれる現実世界オブジェクトを動的にモデル化すること、表面再構成モデルにおけるユーザから現実世界オブジェクトまでの距離を判断すること、そして、距離が既定の閾値と等しいか小さいときに、ユーザがディスプレイ光学素子を通じて現実世界を見ることができるようにディスプレイ光学素子を透明オペレーションのためにディミングすること、を含む。

別の例において、一つまたはそれ以上のコンピュータで読取り可能なメモリは、さらに、動的なモデル化と判断のステップを反復して実行することを含む。別の例において、一つまたはそれ以上のコンピュータで読取り可能なメモリは、さらに、距離が既定の閾値を超えるときに、仮想現実環境のレンダリングを再開するためにディスプレイ光学素子をディミングしないこと、を含む。別の例において、既定の閾値は、物理的環境におけるユーザの頭の高さに依存している。

技術的事項が構造的特徴及び／又は方法論的アクトに特有の言葉で説明されてきたが、添付の特許請求の範囲において定められる技術的事項は、上述された特定の特徴またはアクトに必ずしも限定される必要はないことが理解されるべきである。むしろ、上述の特定の特徴およびアクトは、請求項に係る発明の実施例として開示されたものである。

Claims (15)

1. 仮想現実環境のレンダリングを支援するヘッドマウントディスプレイ（ＨＭＤ）によって実施される方法であって、
   前記ＨＭＤデバイスのユーザに隣接する物理的空間を記述するセンサデータを獲得するステップと、
   前記センサデータを使用して、前記物理的空間に置かれた現実世界オブジェクトのジオメトリを再構成するステップと、
   前記再構成されたジオメトリを使用して、前記ユーザと前記現実世界オブジェクトとの間の距離を判断するステップと、
   を含み、
   前記距離が既定の閾値と等しいか小さい場合には、前記ユーザが、前記仮想現実環境からの妨害なしに前記現実世界オブジェクトを見ることができるように、前記ＨＭＤデバイスを操作する、
   方法。
2. 前記センサデータは、深度データを含み、
   前記方法は、さらに、
   深度センサを使用して前記センサデータを生成するステップと、
   前記現実世界オブジェクトのジオメトリを再構成するために表面再構成技術を適用するステップと、を含む、
   請求項１に記載の方法。
3. 前記方法は、さらに、
   一つまたはそれ以上の、立体から深度への画像化解析を使用して、深度データを生成するステップと、を含む、
   請求項１に記載の方法。
4. 前記方法は、さらに、
   前記操作の最中に、前記ＨＭＤデバイスの中に組み込まれているシースルーディスプレイの少なくとも一部を薄暗くするステップと、を含む、
   請求項１に記載の方法。
5. 前記方法は、さらに、
   前記ＨＭＤデバイスの中に組み込まれているシースルーディスプレイの少なくとも一部を実質的に透明になるようにするステップと、を含む、
   請求項１に記載の方法。
6. 前記方法は、さらに、
   前記ユーザを体積形状を用いて表現するステップと、
   前記ユーザと前記現実世界オブジェクトとの間の前記距離を判断するときに、前記体積形状を使用するステップと、を含む、
   請求項１に記載の方法。
7. 前記方法は、さらに、
   前記物理的空間のグラウンドの上での前記ユーザの頭の高さに応じて、前記体積形状をサイズ合わせするステップと、を含む、
   請求項６に記載の方法。
8. 前記方法は、さらに、
   前記体積形状のサイズ、形状、または他の特性に応じて、前記既定の閾値を変えるステップと、を含む、
   請求項７に記載の方法。
9. 前記方法は、さらに、
   前記ユーザが座っているときは、前記ユーザが立っているときと比較して相対的に小さくなるように、前記既定の閾値を構成するステップと、を含む、
   請求項８に記載の方法。
10. 前記方法は、さらに、
    前記ユーザの現在の高さを判断するために前記センサデータを使用するステップと、を含む、
    請求項１に記載の方法。
11. 物理的環境におけるユーザによって操作可能なヘッドマウントディスプレイ（ＨＭＤ）デバイスであって、
    一つまたはそれ以上のプロセッサと、
    現実世界と仮想世界の表示エレメントとの間の付加的な混合を使用するシースルーディスプレイと、
    コンピュータで読取り可能なインストラクションを保管している一つまたはそれ以上のメモリデバイスであり、前記インストラクションが前記一つまたはそれ以上のプロセッサによって実行されると方法を実施する、メモリデバイスと、
    を含み、
    前記方法は、
    深度センサまたはカメラシステムを使用して表面再構成データを生成するステップと、
    前記表面再構成データを使用して、前記ユーザを表現する体積形状から前記物理的環境における現実世界オブジェクトまでの距離を判断するステップと、
    前記現実世界オブジェクトが前記体積形状から閾値距離の範囲内にあるとき、前記シースルーディスプレイの少なくとも一部が前記ユーザによって見通せるように、前記ＨＭＤを操作するステップと、
    を含む、
    ＨＭＤデバイス。
12. 前記方法は、さらに、
    前記仮想世界の少なくとも一部が前記現実世界オブジェクトの表示を妨害しないように、前記仮想世界の表示について暗いピクセルをレンダリングすることによって前記シースルーディスプレイを操作するステップと、含む、
    請求項１１に記載のＨＭＤデバイス。
13. 前記ＨＭＤデバイスは、さらに、
    前記表面再構成データを収集するために構成された深度センサと、を含む、
    請求項１１に記載のＨＭＤデバイス。
14. 前記方法は、さらに、
    前記ユーザが立っているか、または、座っているかに関する判断に応じて、前記閾値距離を変えるステップと、を含む、
    請求項１１に記載のＨＭＤデバイス。
15. 前記方法は、さらに、
    表面再構成データパイプラインを使用して前記物理的環境をモデル化するステップであり、統合される複数のオーバーラップしている表面を生成する容積法を実施する、ステップと、を含む、
    請求項１１に記載のＨＭＤデバイス。
    

Images