JP2020177608A - 仮想シーン及び現実環境のマップをピクチャ・イン・ピクチャモードで表示可能なヘッドマウントディスプレイシステム、関連する方法及び関連する非一時的なコンピュータ可読記憶媒体 - Google Patents

Abstract

【課題】仮想シーン及び現実環境のマップをピクチャ・イン・ピクチャモードで表示可能なヘッドマウントディスプレイシステムを提供する。【解決手段】ヘッドマウントディスプレイシステムは、追跡ユニットと、表示ユニットと、追跡ユニット及び表示ユニットへ結合された処理ユニットとを含む。追跡ユニットは、ヘッドマウントディスプレイシステムの位置、向き及び姿勢のうちの少なくとも１つを追跡し、更には追跡結果を生成する。表示ユニットは、仮想シーン及び現実環境のマップを追跡ユニットの追跡結果に基づきピクチャ・イン・ピクチャモードで表示する。本開示は、ユーザが仮想シーン及び現実環境のマップをピクチャ・イン・ピクチャモードで同時に見ることを可能にし、ユーザが現実環境におけるユーザの現在の位置又は現在の状態を理解するのを助ける。これは、ユーザが仮想環境を体験するときに、ユーザの安全性を有効に確保し、衝突による負傷を防ぐ。【選択図】図２

Description

本開示は、ヘッドマウントディスプレイシステム、関連する方法及び関連する非一時的なコンピュータ可読記憶媒体に関係があり、より具体的には、仮想シーン及び現実環境のマップを同時にピクチャ・イン・ピクチャモードで表示可能なヘッドマウントディスプレイシステム、関連する方法及び関連する非一時的なコンピュータ可読記憶媒体に関係がある。

技術の進歩及び発達とともに、コンピュータゲームとユーザとの間のインタラクションの要求は高まっている。人間とコンピュータとの間のインタラクション技術、例えば、体性感覚ゲーム、仮想現実（virtual reality；ＶＲ）環境、拡張現実（augmented reality；ＡＲ）環境、複合現実（mixed reality；ＭＲ）環境及びクロスリアリティ（extended reality；ＸＲ）環境は、その生理的及び娯楽的機能により一般的になりつつある。ヘッドマウントディスプレイ（head mounted display；ＨＭＤ）のような従来の表示装置は、通常、フルスクリーンモードで仮想環境の仮想シーンのみを表示することができる。そのために、ユーザは、現実環境におけるユーザの位置又は状態を理解することができない。これは、ユーザが仮想環境を体験するときに、潜在的な安全上の問題を引き起こす可能性がある。

従って、本開示の目的は、上記の問題を解決するために、仮想シーン及び現実環境のマップを同時にピクチャ・イン・ピクチャモードで表示可能なヘッドマウントディスプレイシステム、関連する方法及び関連する非一時的なコンピュータ可読記憶媒体を提供することである。

上記の目的を達成するために、本開示は、ヘッドマウントディスプレイシステムを開示する。ヘッドマウントディスプレイシステムは、装着可能な本体、追跡ユニット、表示ユニット及び処理ユニットを含む。前記装着可能な本体は、ユーザによって身に付けられるよう構成される。前記追跡ユニットは、前記装着可能な本体の位置、当該ヘッドマウントディスプレイシステムの向き及び当該ヘッドマウントディスプレイシステムの姿勢の中の少なくとも１つを追跡し、更には、追跡結果を生成するよう構成される。前記表示ユニットは、前記装着可能な本体に取り付けられ、仮想シーン及び現実環境のマップを前記追跡ユニットの前記追跡結果に基づきピクチャ・イン・ピクチャモードで表示するよう構成される。前記処理ユニットは、前記表示ユニット及び前記追跡ユニットへ結合される。

上記の目的を達成するために、本開示は、仮想シーン及び現実環境のマップをピクチャ・イン・ピクチャモードで表示するためにヘッドマウントディスプレイシステムを使用する方法を更に開示する。方法は、前記ヘッドマウントディスプレイシステムの位置、前記ヘッドマウントディスプレイシステムの向き及び前記ヘッドマウントディスプレイシステムの姿勢の中の少なくとも１つを追跡するために、更には、追跡結果を生成するために前記ヘッドマウントディスプレイシステムの追跡ユニットを使用することと、前記仮想シーン及び前記現実環境の前記マップを前記追跡ユニットの前記追跡結果に基づき前記ピクチャ・イン・ピクチャモードで表示するために前記ヘッドマウントディスプレイシステムの表示ユニットを使用することとを含む。

上記の目的を達成するために、本開示は、ヘッドマウントディスプレイシステムにプロセスを実行させるプログラムを記憶している非一時的なコンピュータ可読記憶媒体を開示する。前記プロセスは、前記ヘッドマウントディスプレイシステムの位置、前記ヘッドマウントディスプレイシステムの向き及び前記ヘッドマウントディスプレイシステムの姿勢の中の少なくとも１つを追跡するために、更には、追跡結果を生成するために前記ヘッドマウントディスプレイシステムの追跡ユニットを使用することと、前記仮想シーン及び前記現実環境の前記マップを前記追跡ユニットの前記追跡結果に基づき前記ピクチャ・イン・ピクチャモードで表示するために前記ヘッドマウントディスプレイシステムの表示ユニットを使用することとを含む。

要約すると、本開示は、仮想シーンをフルスクリーンモードで表示するか又は仮想シーン及び現実環境のマップを同時にピクチャ・イン・ピクチャモードで同じビデオフレーム内に組み合わせて表示するために表示ユニットを利用し、更には、表示ユニットに起動コマンドに応答してフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替わるよう指示するために処理ユニットを利用する。従って、それは、ユーザが現実環境におけるユーザの現在の位置又は現在の状態を理解することを助けるために、種々の方法で表示ユニットをフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替えることをユーザに可能にする。このことは、ユーザが仮想環境を体験するときに、ユーザの安全性を有効に確保するとともに、衝突によって引き起こされる負傷を防ぐ。

本発明のそれら及び他の目的は、様々な図及び図面で説明される好適な実施形態の以下の詳細な説明を読んだ後で当業者にきっと明らかになるだろう。

本開示の第１実施形態に従うヘッドマウントディスプレイシステムの図である。 本開示の第１実施形態に従うヘッドマウントディスプレイシステムの機能ブロック図である。 本開示の第１実施形態に従ってヘッドマウントディスプレイシステムをフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替える方法を説明するフローチャート図である。 本開示の第１実施形態に従って仮想シーンをフルスクリーンモードで表示する表示ユニットを表す図である。 本開示の第１実施形態に従って仮想シーン及び現実環境のマップをピクチャ・イン・ピクチャモードで表示する表示ユニットを表す図である。 本開示の第２実施形態に従うヘッドマウントディスプレイシステムの図である。 本開示の第２実施形態に従うヘッドマウントディスプレイシステムの機能ブロック図である。 本開示の第２実施形態に従ってヘッドマウントディスプレイシステムをフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替える方法を説明するフローチャート図である。 本開示の第３実施形態に従うヘッドマウントディスプレイシステムの図である。 本開示の第３実施形態に従うヘッドマウントディスプレイシステムの機能ブロック図である。 本開示の第３実施形態に従ってヘッドマウントディスプレイシステムをフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替える方法を説明するフローチャート図である。 本開示の第４実施形態に従うヘッドマウントディスプレイシステムの図である。 本開示の第４実施形態に従うヘッドマウントディスプレイシステムの機能ブロック図である。 本開示の第４実施形態に従ってヘッドマウントディスプレイシステムをフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替える方法を説明するフローチャート図である。 本開示の第５実施形態に従うヘッドマウントディスプレイシステムの図である。 本開示の第５実施形態に従うヘッドマウントディスプレイシステムの機能ブロック図である。 本開示の第５実施形態に従ってヘッドマウントディスプレイシステムをフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替える方法を説明するフローチャート図である。

特定の語が、特定のコンポーネントに言及するために、明細書及び続く特許請求の範囲を通じて使用される。当業者が理解するだろうように、電子機器メーカーは、種々の名称によってあるコンポーネントに言及することがある。本書は、名称が異なるが機能は異ならないコンポーネントを区別するつもりはない。以下の記載において、及び特許請求の範囲において、語「含む」（include）及び「有する」（comprise）は、非限定的な意味で使用され、よって、「制限なしに、〜を含む」を意味すると解釈されるべきである。その上、記載を簡単にし、且つ、夫々の実施形態を比較することをより都合良くするよう、同じコンポーネントは、以下の実施形態の夫々で、同じ参照番号を付されている。図はもっぱら説明を目的とし、図は実寸通りでない点に留意されたい。また、語「結合する」（couple）は、間接的又は直接的な電気的／機械的接続のいずれかを意味するよう意図される。よって、第１デバイスが第２デバイスへ結合される場合に、その接続は直接的な電気的／機械的接続を通じても、又は他のデバイス及び接続を経る間接的な電気的／機械的接続を通じてもよい。

図１及び図２を参照されたい。図１は、本開示の第１実施形態に従うヘッドマウントディスプレイシステム１の図である。図２は、本開示の第１実施形態に従うヘッドマウントディスプレイシステム１の機能ブロック図である。図１及び図２に示されるように、ヘッドマウントディスプレイシステム１は、ユーザによって身に付けられ得る装着可能な本体１１と、表示ユニット１２と、処理ユニット１３と、追跡ユニット１４とを含む。

表示ユニット１２は、装着可能な本体１１に取り付けられ得る。表示ユニット１２は、仮想環境の仮想シーンをフルスクリーンモードで表示するか、又は仮想環境の仮想シーン及び現実環境の現実シーンのマップをピクチャ・イン・ピクチャモードで同時に同じビデオフレーム内で組み合わせて表示するよう構成される。表示ユニット１２は、フルスクリーンモードからピクチャ・イン・ピクチャモードへ切り替わること、及び／又はピクチャ・イン・ピクチャモードからフルスクリーンモードへ切り替わることができる。この実施形態では、表示ユニット１２は、液晶ディスプレイ（liquid crystal display；ＬＣＤ）、発光ダイオード（light-emitting diode；ＬＥＤ）ディスプレイ、有機発光ダイオード（organic light-emitting diode；ＯＬＥＤ）ディスプレイ、又は何らかの他のディスプレイであることができる。なお、本開示はそれらに限られない。

処理ユニット１３は、装着可能な本体１１内に実装され、表示ユニット１２及び追跡ユニット１４へ結合され得る。処理ユニット１３は、表示ユニット１２及び追跡ユニット１４のデータを処理するよう、且つ、起動コマンドに応答して、表示ユニット１２に、フルスクリーンモードからピクチャ・イン・ピクチャモードへ切り替えるように、及び／又はピクチャ・イン・ピクチャモードからフルスクリーンモードへ切り替えるように指示するよう構成される。この実施形態では、処理ユニット１３は、ソフトウェア、ファームウェア、ハードウェア構成、又はそれらの組み合わせにおいて実施され得る。例えば、処理ユニット１３は、中央演算処理装置、アプリケーションプロセッサ、マイクロプロセッサなどのようなプロセッサであることができ、あるいは、特定用途向け集積回路（application specific integrated circuit；ＡＳＩＣ）によって実現されてもよい。なお、本開示はそれらに限られない。

追跡ユニット１４は、ヘッドマウントディスプレイシステム１の位置、向き又は姿勢を追跡するよう構成される。この実施形態では、追跡ユニット１４は、ヘッドマウントディスプレイシステム１の位置、向き又は姿勢を決定するよう装着可能な本体１１の位置、向き及び姿勢の中の少なくとも１つを追跡するために、ジャイロスコープ、加速度計、磁気センサ又はそれらの組み合わせのような、装着可能な本体１１内に実装された慣性計測装置（inertial measurement unit；ＩＭＵ）１４１を含むことができる。なお、本開示は、この実施形態に限られない。慣性計測装置は、装着可能な本体以外の他のコンポーネントに実装され得る。例えば、他の実施形態では、追跡ユニット１４は、手センサ、下半身センサ又は外部カメラモジュールを更に含むことができ、慣性計測装置は、ヘッドマウントディスプレイシステム１の位置、向き又は姿勢を決定するよう手センサ、下半身センサ又は外部カメラモジュールの位置、向き又は姿勢を追跡するために、手センサ、下半身センサ又は外部カメラモジュールに実装され得る。

追跡ユニット１４は、現実環境の捕捉された画像と、装着可能な本体１１の位置、向き及び姿勢の中の少なくとも１つとに従って追跡結果を生成するために、現実環境の画像を捕捉するカメラモジュール１４２を更に含むことできる。それにより、現実環境のマップが、同時の位置決め及びマッピング（Simultaneous Localization and Mapping；ＳＬＡＭ）技術によって追跡ユニット１４の追跡ユニットに基づき構築され得る。

しかし、本開示はそれに限られない。例えば、他の実施形態では、慣性計測装置は省略可能であり、ヘッドマウントディスプレイシステムの位置、向き及び姿勢は、追跡ユニットのカメラモジュールによって捕捉された画像によって決定され得る。代替的に、他の実施形態では、追跡ユニットのカメラモジュールは省略可能であり、現実環境のマップは、現実環境の画像を捕捉せずに、所定のマップ情報及び追跡ユニットの追跡結果に基づき構築され得る。

更に、この実施形態では、追跡ユニット１４は、現実環境のマップを構築するためだけでなく、起動コマンドの生成を決定するためにも、データを収集するよう構成される。例えば、起動コマンドは、追跡ユニット１４の追跡結果が所定の条件を満たすときに生成され得る。なお、起動コマンドの生成の決定は、この実施形態に限られない。後述される他の実施形態では、追跡ユニット１４から収集されたデータは、起動コマンドの生成を決定するために使用されなくてもよい。

その上、この実施形態では、起動コマンドの生成の決定及び起動コマンドの生成は、追跡ユニット１４によって実行され得る。なお、本開示はこれに限られない。他の実施形態では、追跡ユニットは、収集されたデータ又は追跡結果を、装着可能な本体に配置された処理ユニットへ送ることができ、起動コマンドの生成の決定及び起動コマンドの生成は、装着可能な本体に配置された処理ユニットによって実行され得る。

この実施形態では、表示ユニット１２、処理ユニット１３及び追跡ユニット１４は、装着可能な本体１１に配置されている。しかし、本開示は、この実施形態に限られない。例えば、他の実施形態では、ヘッドマウントディスプレイシステムは、装着可能な本体から離れて独立して配置された遠隔コンピュータ装置と、遠隔コンピュータ装置への通信チャネルを構成するために装着可能な本体に配置された通信モジュールとを更に含むことができる。遠隔コンピュータ装置は、エッジコンピュータデバイス、クラウドコンピュータデバイス、ローカルホストコンピュータ、遠隔サーバ、スマートフォン、などであることができる。通信モジュールは、装着可能な本体における要素と遠隔コンピュータ装置における要素との間に有線接続又は無線接続を確立することができる。この実施形態では、処理ユニット及び追跡ユニットのうちの少なくとも一方は、装着可能な本体以外に遠隔コンピュータ装置に少なくとも部分的に配置又は構成され得、且つ／あるいは、タスクの一部を遠隔コンピュータ装置へ分配する。それにより、遠隔コンピュータ装置は、装着可能な本体のサイズ及び装着可能な本体に配置された処理ユニットの計算を減らして、装着可能な本体を軽量且つ持ち運び可能にするために、通信モジュールを介して、追跡ユニットの追跡結果に基づき現実環境のマップを構築するために追跡ユニットの追跡結果を受けること、又は起動コマンド、現実環境の画像及び現実環境のマップの中の少なくとも１つを送信することができる。

図３乃至図５を参照されたい。図３は、本開示の第１実施形態に従ってヘッドマウントディスプレイシステム１をフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替える方法を説明するフローチャート図である。図４は、本開示の第１実施形態に従って仮想シーンをフルスクリーンモードで表示する表示ユニット１２を表す図である。図５は、本開示の第１実施形態に従って仮想シーン及び現実環境のマップをピクチャ・イン・ピクチャモードで表示する表示ユニット１２を表す図である。図３に示されるように、方法は、次のステップを含む。

Ｓ１：表示ユニット１２は、仮想環境の仮想シーンをフルスクリーンモードで表示する。

Ｓ２：追跡ユニット１４は、追跡結果を生成するために、ヘッドマウントディスプレイシステム１の位置、向き及び姿勢の中の少なくとも１つを追跡し且つ現実環境の画像を捕捉する。

Ｓ３：現実環境のマップが、追跡ユニット１４の追跡結果に基づき構築される。

Ｓ４：追跡ユニット１４の追跡結果が所定の条件を満たすときに、起動コマンドが生成される。

Ｓ５：処理ユニット１３は、起動コマンドに応答して、表示ユニット１２に、フルスクリーンモードからピクチャ・イン・ピクチャモードへ切り替えるよう指示する。

ステップの詳細な説明は、次のように与えられる。ステップＳ１で、ユーザが装着可能な本体１１を身に付けているとき、表示ユニット１２は、図４に示されるように、最初に、ユーザのためにフルスクリーンモードで仮想環境の仮想シーンを表示することができる。ステップＳ２からＳ４において、ユーザが仮想環境を体験しているとき、一方で、追跡ユニット１４は、現実環境における装着可能な本体１１の位置、向き及び姿勢の中の少なくとも１つを追跡することによって、ヘッドマウントディスプレイシステム１の位置、向き及び姿勢の中の少なくとも１つを追跡し、ヘッドマウントディスプレイシステムの位置、向き及び姿勢の中の少なくとも１つと、現実環境の捕捉された画像とに従って追跡結果を生成するために現実環境の画像を捕捉することができる。それにより、現実環境のマップが、追跡ユニットの追跡結果に基づき構築され得る。更に、追跡ユニット１４の追跡結果が所定の条件を満たすときに起動コマンドが生成される。所定の条件は、ヘッドマウントディスプレイシステム１と現実環境との間の関係に従って決定され得る。

例えば、所定の条件は、ユーザによって装着されている装着可能な本体１１と、現実環境における、図４及び図５に示されているテレビ受像機２、又は壁のような実在の事物との間の距離が所定の距離以下であることを参照することができる。所定の条件は、望ましくは５０センチメートルであることができる。すなわち、装着可能な本体１１と現実環境における実在の事物との間の距離がユーザの動作中に５０センチメートル以下であるとき、起動コマンドは生成され、ユーザが衝突を回避するための警告メッセージを供給することができる。

しかし、所定の条件はそれに限られない。他の実施形態では、所定の条件は、所定の向き又は所定の姿勢を参照することができ、起動コマンドは、追跡ユニットによって追跡されるヘッドマウントディスプレイシステムの向き又は姿勢が所定の向き又は所定の姿勢を満たすときに生成され得る。

代替的に、後述される他の実施形態では、追跡ユニットは、ユーザの手のジェスチャ、ユーザの手の動き又はユーザの下半身の動きを決定するために、カメラモジュール、ユーザに手に装着される手センサ、ユーザの下半身に装着される下半身センサ、又はそれらの組み合わせを含むことができ、所定の条件は、所定の手のジェスチャ、所定の手の動き、所定の下半身の動き、又はそれらの組み合わせであることができ、起動コマンドは、追跡ユニットによって追跡されるユーザの手のジェスチャ、手の動き、又は下半身の動きが所定の手のジェスチャ、所定の手の動き、又は所定の下半身の動きを満たすときに生成され得る。

その後、ステップＳ５で、処理ユニット１３は、ユーザが仮想シーン及び現実環境のマップを同時に同じビデオフレーム内で組み合わせて見ることを可能にし且つユーザが現実環境におけるユーザの現在の位置又は現在の状態を理解するのを助けるために、起動コマンドに応答して、表示ユニット１２に、図４に示されるフルスクリーンモードから、図５に示されるピクチャ・イン・ピクチャモードへ切り替えるよう指示することができる。このことは、ユーザが仮想環境を体験しているときに、ユーザの安全性を有効に確保するとともに、衝突によって引き起こされる負傷を防ぐ。

その上、マップのウィンドウ２１のサイズ、マップのウィンドウ２１の位置、マップのスケール、マップの方位又はマップのビューは、追跡ユニット１４の追跡結果が所定の条件を満たすときに調整され得る。例えば、ユーザは、特定の手のジェスチャ及び／又は特定の手の動きによって、ウィンドウ２１のサイズ、ウィンドウ２１の位置、マップのスケール、マップの方位、又はマップのビューを調整することができる。他の例として、ウィンドウ２１のサイズ、ウィンドウ２１の位置、マップのスケール、マップの方位、又はマップのビューは、より良いユーザ経験を提供するために、追跡ユニット１４の追跡結果（例えば、アイトラッキング結果）に基づき自動調整され得る。

当然のことだが、装着可能な本体１１と実在の事物との間の距離が再び広がり、５０センチメートルといった所定の距離よりも大きくなる場合には、表示ユニットは、没入体験を強めるためにピクチャ・イン・ピクチャモードからフルスクリーンモードへ切り替えられ得る。

図６乃至図８を参照されたい。図６は、本開示の第２実施形態に従うヘッドマウントディスプレイシステム１’の図である。図７は、本開示の第２実施形態に従うヘッドマウントディスプレイシステム１’の機能ブロック図である。図８は、本開示の第２実施形態に従ってヘッドマウントディスプレイシステム１’をフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替える方法を説明するフローチャート図である。図６乃至図８に示されるように、第１実施形態のヘッドマウントディスプレイシステム１とは異なり、この実施形態のヘッドマウントディスプレイシステム１’は、装着可能な本体１１’、表示ユニット１２’、処理ユニット１３’、追跡ユニット１４’及びスイッチユニット１５’を含む。追跡ユニット１４’及び表示ユニット１２’は、装着可能な本体１１’に配置される。処理ユニット１３’は、装着可能な本体１１’に配置され、表示ユニット１２’及び追跡ユニット１４’へ結合され得る。スイッチユニット１５’は、装着可能な本体１１’に配置され、スイッチユニット１５’の状態が変化するときに起動コマンドを生成する処理ユニット１３’へ結合される。すなわち、この実施形態では、ユーザは、実際の要求に従ってスイッチユニット１５’の状態を変化させることによって、表示ユニット１２’をフルスクリーンモードからピクチャ・イン・ピクチャモードへ切り替えることができる。更に、当然のことながら、ユーザは、スイッチユニット１５’の状態を再び変化させることによって、表示ユニット１２’をピクチャ・イン・ピクチャモードからフルスクリーンモードへ切り替えることができる。その上、この実施形態では、スイッチユニット１５’は、装着可能な本体１１’上の物理的なボタンであることができ、スイッチユニット１５’の状態は、物理的なボタンを押下又はクリックすることによって変更可能である。しかしながら、本開示はそれに限られない。他の実施形態では、スイッチユニットはまた、装着可能な本体上の仮想ボタンであるか、あるいは、表示ユニットによって表示され、タッチ操作によってアクティブ又は非アクティブにされ得る。

図９乃至図１１を参照されたい。図９は、本開示の第３実施形態に従うヘッドマウントディスプレイシステム１”の図である。図１０は、本開示の第３実施形態に従うヘッドマウントディスプレイシステム１”の機能ブロック図である。図１１は、本開示の第３実施形態に従ってヘッドマウントディスプレイシステム１”をフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替える方法を説明するフローチャート図である。図９乃至図１１に示されるように、上記のヘッドマウントディスプレイシステム１、１’とは異なり、この実施形態のヘッドマウントディスプレイシステム１”は、装着可能な本体１１”、表示ユニット１２”、処理ユニット１３”と、追跡ユニット１４”、リモートコントローラ１６”、通信モジュール１７”、遠隔コンピュータ装置１８”を含む。表示ユニット１２”及び追跡ユニット１４”は、装着可能な本体１１”に取り付けられる。処理ユニット１３”は、遠隔コンピュータ装置１８”において構成され得る。通信モジュール１７”は、遠隔コンピュータ装置１８”にある処理ユニット１３”と、装着可能な本体１１”に配置されている表示ユニット１２”と、リモートコントローラ１６”との間の通信チャネルを構成する。すなわち、処理ユニット１３”は、追跡ユニット１４”の追跡結果を受け、表示ユニット１２”にフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替わるよう指示するために、通信モジュール１７”によって追跡ユニット１４”及び表示ユニット１２”へ結合され、リモートコントローラ１６”は、リモートコントローラ１６”が操作されるときに起動コマンドを生成し、通信モジュール１７”を介して処理ユニット１３”へ遠隔で送信するために、通信モジュール１７”によって処理ユニット１３”へ結合される。すなわち、この実施形態では、ユーザは、実際の要求に従ってリモートコントローラ１６”を操作することによって、表示ユニット１２”をフルスクリーンモードからピクチャ・イン・ピクチャモードへ切り替えることができる。更に、当然のことながら、ユーザは、リモートコントローラ１６”を再び操作することによって、表示ユニット１２”をピクチャ・イン・ピクチャモードからフルスクリーンモードへ切り替えることができる。

図１２乃至図１４を参照されたい。図１２は、本開示の第４実施形態に従うヘッドマウントディスプレイシステム１’’’の図である。図１３は、本開示の第４実施形態に従うヘッドマウントディスプレイシステム１’’’の機能ブロック図である。図１４は、本開示の第４実施形態に従ってヘッドマウントディスプレイシステム１’’’をフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替える方法を説明するフローチャート図である。図１２乃至図１４に示されるように、上記のヘッドマウントディスプレイシステム１、１’、１”とは異なり、この実施形態のヘッドマウントディスプレイシステム１’’’は、装着可能な本体１１’’’、表示ユニット１２’’’、処理ユニット１３’’’及び追跡ユニット１４’’’を含む。表示ユニット１２’’’及び処理ユニット１３’’’は、装着可能な本体１１’’’に配置される。処理ユニット１３’’’は、表示ユニット１２’’’へ結合される。追跡ユニット１４’’’は、ヘッドマウントディスプレイシステム１’’’の位置、ヘッドマウントディスプレイシステム１’’’の向き、ヘッドマウントディスプレイシステム１’’’の姿勢、ユーザの手のジェスチャ、ユーザの手の動き、及びユーザの下半身の動きのうちの少なくとも１つを追跡するために、装着可能な本体１１’’’内に実装され、処理ユニット１３’’’へ結合された慣性計測装置１４１’’’と、装着可能な本体１１’’’に配置され、処理ユニット１３’’’へ結合されたカメラモジュール１４２’’’と、ユーザの手に装着され、処理ユニット１３’’’へ結合された手センサ１４３’’’と、ユーザの下半身に装着され、処理ユニット１３’’’へ結合された下半身センサ１４４’’’とを含む。この実施形態で、所定の条件は、所定の手のジェスチャ、所定の手の動き、所定の下半身の動き、又はそれらの組み合わせを参照することができる。例えば、起動コマンドは、追跡ユニットによって追跡されているユーザの手のジェスチャ、手の動き又は下半身の動きが所定の手のジェスチャ、所定の手の動き又は所定の下半身の動きを満たすときに生成され得る。しかしながら、本開示はそれに限られない。他の実施形態では、追跡ユニットは、慣性計測装置、カメラモジュール、手センサ及び下半身センサの中の少なくとも１つしか含まなくてもよい。

図１５乃至図１７を参照されたい。図１５は、本開示の第５実施形態に従うヘッドマウントディスプレイシステム１””の図である。図１６は、本開示の第５実施形態に従うヘッドマウントディスプレイシステム１””の機能ブロック図である。図１７は、本開示の第５実施形態に従ってヘッドマウントディスプレイシステム１””をフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替える方法を説明するフローチャート図である。図１５乃至図１７に示されるように、この実施形態のヘッドマウントディスプレイシステム１””は、装着可能な本体１１””、表示ユニット１２””、処理ユニット１３””及び追跡ユニット１４””を含む。表示ユニット１２””及び処理ユニット１３””は、装着可能な本体１１””に配置される。処理ユニット１３””は、表示ユニット１２””へ結合される。追跡ユニット１４””は、ユーザの手のジェスチャ、ユーザの手の動き、ユーザの下半身の動き、ヘッドマウントディスプレイシステム１””の位置、ヘッドマウントディスプレイシステム１””の向き、及びヘッドマウントディスプレイシステム１””の姿勢の中の少なくとも１つを追跡するために、処理ユニット１３””へ結合された慣性計測装置１４１””と、装着可能な本体１１””に取り付けられ、処理ユニット１３””へ結合されたカメラモジュール１４２””と、処理ユニット１３へ結合され、ユーザの手に装着された手センサ１４３””と、処理ユニット１３””へ結合され、ユーザの下半身に装着された下半身センサ１４４””とを含む。起動コマンドは、追跡ユニット１４””の追跡結果が複数の所定の条件を満たすときに生成され得る。複数の所定の条件は、例えば、第１所定条件及び第２所定条件を含むことができる。第１所定条件は、所定の距離、ヘッドマウントディスプレイシステム１””の所定の位置、ヘッドマウントディスプレイシステム１””の所定の向き、又はヘッドマウントディスプレイシステム１””の所定の姿勢を参照することができ、第２所定条件は、所定の手のジェスチャ、所定の手の動き、及び所定の下半身の動きを参照することができる。

この実施形態では、慣性計測装置１４１””は、追跡ユニット１４””がヘッドマウントディスプレイシステム１””の位置、向き又は姿勢を決定するよう装着可能な本体１１””の位置、向き又は姿勢を追跡することができるように、装着可能な本体１１””に取り付けられ得る。

更に、起動コマンドの生成の決定は、多段階動作、例えば、二段階動作であることができる。例えば、装着可能な本体１１””と実在の事物との間の距離が所定の距離に満たないと追跡ユニット１４””が決定するときに、追跡ユニット１４””は更に、ユーザの手のジェスチャが所定の手のジェスチャと一致するかどうかを判定する。ユーザの手のジェスチャが所定の手のジェスチャと一致すると追跡ユニット１４””が決定するときに、起動コマンドが生成される。しかし、本開示はこの実施形態に制限されない。他の実施形態では、起動コマンドの生成の決定は、一段階動作であることができ、すなわち、起動コマンドは、追跡ユニットの第１追跡結果及び第２追跡結果が夫々第１所定条件及び第２所定条件を同時に満たすときに生成され得る。

更に、本開示の上記の実施形態は、ソフトウェア、ファームウェア、ハードウェア構成、又はそれらの組み合わせにおいて実施可能であり、ヘッドマウントディスプレイシステムに本開示の上記の方法に従ってプロセッサによって処理を実行させるプログラムを記憶する非一時的なコンピュータ可読記憶媒体を提供することも可能である。プロセッサは、中央演算処理装置、アプリケーションプロセッサ、マイクロプロセッサなどであることができ、あるいは、特定用途向け集積回路（ＡＳＩＣ）によって実現され得る。コンピュータ可読記憶媒体は、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、又は光学式データ記憶デバイスであることができる。しかしながら、本開示はそれらに限られない。

先行技術と対照的に、本開示は、仮想シーンをフルスクリーンモードで表示するか、又は仮想シーン及び現実環境のマップをピクチャ・イン・ピクチャモードで同時に同じビデオフレーム内で組み合わせて表示するために表示ユニットを利用し、更には、起動コマンドに応答して、表示ユニットにフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替わるよう指示するために処理ユニットを利用する。従って、それは、ユーザが現実環境におけるユーザの現在の位置又は現在の状態を理解することを助けるために、様々な方法でユーザが表示ユニットをフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替えることを可能にする。これにより、ユーザが仮想環境を体験しているときに、ユーザの安全性が有効に確保されるとともに、衝突によって引き起こされる負傷が防止される。

当業者は、デバイス及び方法の多数の改良及び変更が本発明の教示を保ちながら行われ得ると容易に気付くだろう。然るに、上記の開示は、添付の特許請求の範囲の境界によってしか制限されないと理解されるべきである。

１，１’，１”，１’’’，１”” ヘッドマウントディスプレイシステム
１１，１１’，１１”，１１’’’，１１”” 装着可能な本体
１２，１２’，１２”，１２’’’，１２”” 表示ユニット
１３，１３’，１３”，１３’’’，１３”” 処理ユニット
１４，１４’，１４”，１４’’’，１４”” 追跡ユニット
１４１，１４１’’’，１４１”” 慣性計測装置
１４２，１４２’’’，１４２”” カメラモジュール
１４３’’’，１４３”” 手センサ
１４４’’’，１４４”” 下半身センサ
１５’ スイッチユニット
１６” リモートコントローラ
１７” 通信モジュール
１８” 遠隔コンピュータ装置

Claims (10)

1. ヘッドマウントディスプレイシステムであって、
   ユーザによって身に付けられるよう構成される装着可能な本体と、
   当該ヘッドマウントディスプレイシステムの位置、当該ヘッドマウントディスプレイシステムの向き、及び当該ヘッドマウントディスプレイシステムの姿勢、の中の少なくとも１つを追跡するよう、更に、追跡結果を生成するよう構成される追跡ユニットと、
   前記本体に取り付けられ、仮想シーン及び現実環境のマップを前記追跡ユニットの前記追跡結果に基づきピクチャ・イン・ピクチャモードで表示するよう構成される表示ユニットと、
   前記追跡ユニット及び前記表示ユニットへ結合される処理ユニットと
   を有するヘッドマウントディスプレイシステム。
2. 前記表示ユニットは更に、前記仮想シーンをフルスクリーンモードで表示するよう構成され、
   前記処理ユニットは、起動コマンドに応答して、前記表示ユニットに前記フルスクリーンモードと前記ピクチャ・イン・ピクチャモードとの間で切り替わるように指示するよう構成される、
   請求項１に記載のヘッドマウントディスプレイシステム。
3. 前記処理ユニットへ結合されるスイッチユニットであり、該スイッチユニットの状態が変化するときに前記起動コマンドを生成する前記スイッチユニット、及び／又は
   前記処理ユニットと通信するリモートコントローラであり、該リモートコントローラが操作されるときに前記起動コマンドを生成する前記リモートコントローラを更に有する
   請求項２に記載のヘッドマウントディスプレイシステム。
4. 前記追跡ユニットは、前記ユーザの手のジェスチャ、前記ユーザの手の動き、及び前記ユーザの下半身の動き、の中の少なくとも１つを追跡するよう更に構成され、
   前記起動コマンドは、前記追跡ユニットの前記追跡結果が少なくとも１つの所定の条件を満たすときに生成される、
   請求項２に記載のヘッドマウントディスプレイシステム。
5. 前記追跡ユニットは、前記ユーザの手のジェスチャ、前記ユーザの手の動き、及び前記ユーザの下半身の動き、の中の少なくとも１つを追跡するよう更に構成され、
   前記マップのウィンドウのサイズ、前記マップの前記ウィンドウの位置、前記マップのスケール、前記マップの方位及び前記マップのビューの中の少なくとも１つは、前記追跡ユニットの前記追跡結果が所定の条件を満たすときに調整される、
   請求項１に記載のヘッドマウントディスプレイシステム。
6. 仮想シーン及び現実環境のマップをピクチャ・イン・ピクチャモードで表示するためにヘッドマウントディスプレイシステムを使用する方法であって、
   前記ヘッドマウントディスプレイシステムの位置、前記ヘッドマウントディスプレイシステムの向き、及び前記ヘッドマウントディスプレイシステムの姿勢、の中の少なくとも１つを追跡するために、更に、追跡結果を生成するために前記ヘッドマウントディスプレイシステムの追跡ユニットを使用することと、
   前記仮想シーン及び前記現実環境の前記マップを前記追跡ユニットの前記追跡結果に基づき前記ピクチャ・イン・ピクチャモードで表示するために前記ヘッドマウントディスプレイシステムの表示ユニットを使用することと
   を有する方法。
7. 前記仮想シーンをフルスクリーンモードで表示するために前記表示ユニットを使用することと、
   起動コマンドに応答して、前記表示ユニットに、前記フルスクリーンモードと前記ピクチャ・イン・ピクチャモードとの間で切り替わるよう指示するために、前記ヘッドマウントディスプレイシステムの処理ユニットを使用することと
   を更に有する
   請求項６に記載の方法。
8. スイッチユニットの状態が変化するときに前記起動コマンドを生成するよう前記ヘッドマウントディスプレイシステムの前記スイッチユニットを使用すること、及び／又は
   リモートコントローラが操作されるときに前記起動コマンドを生成するよう前記ヘッドマウントディスプレイシステムの前記リモートコントローラを使用すること
   を更に有する
   請求項７に記載の方法。
9. ユーザの手のジェスチャ、前記ユーザの手の動き、及び前記ユーザの下半身の動き、の中の少なくとも１つを追跡するために前記追跡ユニットを使用することと、
   前記追跡ユニットの前記追跡結果が少なくとも１つの所定の条件を満たすときに前記起動コマンドを生成することと
   を更に有する
   請求項７に記載の方法。
10. ユーザの手のジェスチャ、前記ユーザの手の動き、及び前記ユーザの下半身の動き、の中の少なくとも１つを追跡するために前記追跡ユニットを使用することと、
    前記追跡ユニットの前記追跡結果が所定の条件を満たすときに、前記マップのウィンドウのサイズ、前記マップの前記ウィンドウの位置、前記マップのスケール、前記マップの方位及び前記マップのビュー、の中の少なくとも１つを調整することと
    を更に有する
    請求項６に記載の方法。

Images