JP2020178330A - 仮想シーン及び現実シーンをピクチャ・イン・ピクチャモードで表示可能なヘッドマウントディスプレイシステム、関連する方法及び関連する非一時的なコンピュータ可読記憶媒体 - Google Patents

Abstract

【課題】仮想シーン及び現実シーンをピクチャ・イン・ピクチャモードで表示可能なヘッドマウントディスプレイシステムを提供する。【解決手段】ヘッドマウントディスプレイシステムは、装着可能な本体、画像捕捉ユニット、表示ユニット及び処理ユニットを含む。画像捕捉ユニットは装着可能な本端に取り付けられ、現実環境の現実世界を捕捉する。表示ユニットは装着可能な本体に取り付けられ、仮想シーン及び現実シーンをピクチャ・イン・ピクチャモードで表示する。処理ユニットは表示ユニット及び画像捕捉ユニットへ結合される。本開示は、ユーザが仮想シーン及び現実シーンを同時に同じビデオフレーム内で組み合わせて見ることを可能にし、ユーザが現実環境におけるユーザの現在の位置又は現在の状態を理解するのを助ける。これは、ユーザが仮想環境を体験するときに、ユーザの安全性を有効に確保し、衝突による負傷を防ぐ。【選択図】図２

Description

本開示は、ヘッドマウントディスプレイシステム、関連する方法及び関連する非一時的なコンピュータ可読記憶媒体に関係があり、より具体的には、仮想シーン及び現実シーンをピクチャ・イン・ピクチャモードで同時に表示可能なヘッドマウントディスプレイシステム、関連する方法及び関連する非一時的なコンピュータ可読記憶媒体に関係がある。

技術の進歩及び発達とともに、コンピュータゲームとユーザとの間のインタラクションの要求は高まっている。人間とコンピュータとの間のインタラクション技術、例えば、体性感覚ゲーム、仮想現実（virtual reality；ＶＲ）環境、拡張現実（augmented reality；ＡＲ）環境、複合現実（mixed reality；ＭＲ）環境及びクロスリアリティ（extended reality；ＸＲ）環境は、その生理的及び娯楽的機能により一般的になりつつある。ヘッドマウントディスプレイ（head mounted display；ＨＭＤ）のような従来の表示装置は、通常、フルスクリーンモードで仮想環境の仮想シーンのみを表示することができる。しかしながら、ユーザは、現実環境の現実シーンを見ることができず、そのために、ユーザは、ユーザが仮想環境を体験するときに、実在の事物と容易に衝突することといった、現実環境での起こり得る来るべきアクシデントに気付くことができない。

従って、本開示の目的は、上記の問題を解決するために、仮想シーン及び現実シーンをピクチャ・イン・ピクチャモードで同時に表示可能なヘッドマウントディスプレイシステム、関連する方法及び関連する非一時的なコンピュータ可読記憶媒体を提供することである。

上記の目的を達成するために、本開示は、ヘッドマウントディスプレイシステムを開示する。ヘッドマウントディスプレイシステムは、装着可能な本体、画像捕捉ユニット、表示ユニット及び処理ユニットを含む。前記装着可能な本体は、ユーザによって身に付けられるよう構成される。前記画像捕捉ユニットは、前記装着可能な本体に取り付けられ、現実シーンを捕捉するよう構成される。前記表示ユニットは、前記装着可能な本体に取り付けられる。前記表示ユニットは、仮想シーン及び前記現実シーンをピクチャ・イン・ピクチャモードで表示するよう構成される。前記処理ユニットは、前記表示ユニット及び前記画像捕捉ユニットへ結合される。

上記の目的を達成するために、本開示は、仮想シーン及び現実シーンをピクチャ・イン・ピクチャモードで表示するためにヘッドマウントディスプレイシステムを使用する方法を更に開示する。方法は、前記現実シーンを捕捉するために前記ヘッドマウントディスプレイシステムの画像捕捉ユニットを使用することと、前記仮想シーン及び前記現実シーンを前記ピクチャ・イン・ピクチャモードで表示するために前記ヘッドマウントディスプレイシステムの表示ユニットを使用することとを含む。

上記の目的を達成するために、本開示は、ヘッドマウントディスプレイシステムにプロセスを実行させるプログラムを記憶している非一時的なコンピュータ可読記憶媒体を開示する。前記プロセスは、現実シーンを捕捉するために前記ヘッドマウントディスプレイシステムの画像捕捉ユニットを使用することと、仮想シーン及び前記現実シーンをピクチャ・イン・ピクチャモードで表示するために前記ヘッドマウントディスプレイシステムの表示ユニットを使用することとを含む。

要約すると、本開示は、仮想シーンをフルスクリーンモードで表示するか又は仮想シーン及び現実シーンをピクチャ・イン・ピクチャモードで同時に同じビデオフレーム内に組み合わせて表示するために表示ユニットを利用し、更には、表示ユニットに起動コマンドに応答してフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替わるよう指示するために処理ユニットを利用する。従って、それは、ユーザが現実環境におけるユーザの現在の位置又は現在の状態を理解することを助けるために、種々の方法で表示ユニットをフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替えることをユーザに可能にする。このことは、ユーザが仮想環境を体験するときに、ユーザの安全性を有効に確保するとともに、衝突によって引き起こされる負傷を防ぐ。

本開示のそれら及び他の障害物は、様々な図及び図面で説明される好適な実施形態の以下の詳細な説明を読んだ後で当業者にきっと明らかになるだろう。

本開示の第１実施形態に従うヘッドマウントディスプレイシステムの図である。 本開示の第１実施形態に従うヘッドマウントディスプレイシステムの機能ブロック図である。 本開示の第１実施形態に従ってヘッドマウントディスプレイシステムをフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替える方法を説明するフローチャート図である。 本開示の第１実施形態に従って仮想シーンをフルスクリーンモードで表示する表示ユニットを表す図である。 本開示の第１実施形態に従って仮想シーン及び現実シーンをピクチャ・イン・ピクチャモードで表示する表示ユニットを表す図である。 本開示の第２実施形態に従うヘッドマウントディスプレイシステムの図である。 本開示の第２実施形態に従うヘッドマウントディスプレイシステムの機能ブロック図である。 本開示の第２実施形態に従ってヘッドマウントディスプレイシステムをフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替える方法を説明するフローチャート図である。 本開示の第３実施形態に従うヘッドマウントディスプレイシステムの図である。 本開示の第３実施形態に従うヘッドマウントディスプレイシステムの機能ブロック図である。 本開示の第３実施形態に従ってヘッドマウントディスプレイシステムをフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替える方法を説明するフローチャート図である。 本開示の第４実施形態に従うヘッドマウントディスプレイシステムの図である。 本開示の第４実施形態に従うヘッドマウントディスプレイシステムの機能ブロック図である。 本開示の第４実施形態に従ってヘッドマウントディスプレイシステムをフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替える方法を説明するフローチャート図である。 本開示の第５実施形態に従うヘッドマウントディスプレイシステムの図である。 本開示の第５実施形態に従うヘッドマウントディスプレイシステムの機能ブロック図である。 本開示の第５実施形態に従ってヘッドマウントディスプレイシステムをフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替える方法を説明するフローチャート図である。

特定の語が、特定のコンポーネントに言及するために、明細書及び続く特許請求の範囲を通じて使用される。当業者が理解するだろうように、電子機器メーカーは、種々の名称によってあるコンポーネントに言及することがある。本書は、名称が異なるが機能は異ならないコンポーネントを区別するつもりはない。以下の記載において、及び特許請求の範囲において、語「含む」（include）及び「有する」（comprise）は、非限定的な意味で使用され、よって、「制限なしに、〜を含む」を意味すると解釈されるべきである。その上、記載を簡単にし、且つ、夫々の実施形態を比較することをより都合良くするよう、同じコンポーネントは、以下の実施形態の夫々で、同じ参照番号を付されている。図はもっぱら説明を目的とし、図は実寸通りでない点に留意されたい。また、語「結合する」（couple）は、間接的又は直接的な電気的／機械的接続のいずれかを意味するよう意図される。よって、第１デバイスが第２デバイスへ結合される場合に、その接続は直接的な電気的／機械的接続を通じても、又は他のデバイス及び接続を経る間接的な電気的／機械的接続を通じてもよい。

図１及び図２を参照されたい。図１は、本開示の第１実施形態に従うヘッドマウントディスプレイシステム１の図である。図２は、本開示の第１実施形態に従うヘッドマウントディスプレイシステム１の機能ブロック図である。図１及び図２に示されるように、ヘッドマウントディスプレイシステム１は、ユーザによって身に付けられ得る装着可能な本体１１と、表示ユニット１２と、処理ユニット１３と、追跡ユニット１４と、画像捕捉ユニット１５とを含む。

画像捕捉ユニット１５は、装着可能な本体１１に取り付けられ、処理ユニット１３へ結合され得る。画像捕捉ユニット１５は、現実環境の現実シーンを捕捉するよう構成される。この実施形態で、画像捕捉ユニット１５はカメラモジュールであることができる。しかし、本開示はそれに限られない。

表示ユニット１２は、装着可能な本体１１に取り付けられ、処理ユニット１３へ結合され得る。表示ユニット１２は、仮想環境の仮想シーンをフルスクリーンモードで表示するか、又は仮想環境の仮想シーン及び画像捕捉ユニット１５によって捕捉された現実環境の現実シーンをピクチャ・イン・ピクチャモードで同時に同じビデオフレーム内で組み合わせて表示するよう構成される。表示ユニット１２は、フルスクリーンモードからピクチャ・イン・ピクチャモードへ切り替わること、及び／又はピクチャ・イン・ピクチャモードからフルスクリーンモードへ切り替わることができる。この実施形態では、表示ユニット１２は、液晶ディスプレイ（liquid crystal display；ＬＣＤ）、発光ダイオード（light-emitting diode；ＬＥＤ）ディスプレイ、有機発光ダイオード（organic light-emitting diode；ＯＬＥＤ）ディスプレイ、又は何らかの他のディスプレイであることができる。なお、本開示はそれらに限られない。

処理ユニット１３は、装着可能な本体１１内に実装され得る。処理ユニット１３は、起動コマンドに応答して、表示ユニット１２に、フルスクリーンモードからピクチャ・イン・ピクチャモードへ切り替えるように、及び／又はピクチャ・イン・ピクチャモードからフルスクリーンモードへ切り替えるように指示するよう構成される。この実施形態では、処理ユニット１３は、ソフトウェア、ファームウェア、ハードウェア構成、又はそれらの組み合わせにおいて実施され得る。例えば、処理ユニット１３は、中央演算処理装置、アプリケーションプロセッサ、マイクロプロセッサなどのようなプロセッサであることができ、あるいは、特定用途向け集積回路（application specific integrated circuit；ＡＳＩＣ）によって実現されてもよい。なお、本開示はそれらに限られない。

追跡ユニット１４は、処理ユニット１３へ結合され、ヘッドマウントディスプレイシステム１の位置、向き又は姿勢を追跡することができる。この実施形態では、追跡ユニットは、ヘッドマウントディスプレイシステム１の位置、向き又は姿勢を決定するよう装着可能な本体１１の位置、向き又は姿勢を追跡するために、ジャイロスコープ、加速度計、磁気センサ又はそれらの組み合わせのような、装着可能な本体１１内に実装された慣性計測装置（inertial measurement unit；ＩＭＵ）１４１を含むことができる。なお、本開示は、この実施形態に限られない。慣性計測装置は、装着可能な本体以外の他のコンポーネントに実装され得る。例えば、他の実施形態では、追跡ユニット１４は、手センサ、下半身センサ又は外部カメラモジュールを更に含むことができ、慣性計測装置は、ヘッドマウントディスプレイシステム１の位置、向き又は姿勢を決定するよう手センサ、下半身センサ又は外部カメラモジュールの位置、向き又は姿勢を追跡するために、手センサ、下半身センサ又は外部カメラモジュールに実装され得る。

この実施形態では、追跡ユニット１４は、起動コマンドの生成を決定するデータを収集するよう構成される。例えば、起動コマンドは、追跡ユニット１４の追跡結果が所定の条件を満たすときに生成され得る。なお、起動コマンドの生成の決定は、この実施形態に限られない。後述される他の実施形態では、追跡ユニット１４から収集されたデータは、起動コマンドの生成を決定するために使用されなくてもよい。

更に、この実施形態では、起動コマンドの生成の決定及び起動コマンドの生成は、追跡ユニット１４によって実行され得る。なお、本開示はこれに限られない。他の実施形態では、追跡ユニットは、収集されたデータ又は追跡結果を処理ユニットへ送ることができ、起動コマンドの生成の決定及び起動コマンドの生成は、処理ユニットによって実行され得る。

更に、この実施形態では、表示ユニット１２、処理ユニット１３、追跡ユニット１４及び画像捕捉ユニット１５は、装着可能な本体１１に配置されている。しかし、本開示は、この実施形態に限られない。例えば、他の実施形態では、ヘッドマウントディスプレイシステムは、装着可能な本体から離れて独立して配置された遠隔コンピュータ装置と、遠隔コンピュータ装置への通信チャネルを構成するために装着可能な本体に配置された通信モジュールとを更に含む。遠隔コンピュータ装置は、エッジコンピュータデバイス、クラウドコンピュータデバイス、ローカルホストコンピュータ、遠隔サーバ、スマートフォン、などであることができる。通信モジュールは、装着可能な本体における要素と遠隔コンピュータ装置における要素との間に有線接続又は無線接続を確立することができる。この実施形態では、処理ユニット及び追跡ユニットのうちの少なくとも一方は、装着可能な本体以外に遠隔コンピュータ装置に少なくとも部分的に配置又は構成され得、且つ／あるいは、タスクの一部を遠隔コンピュータ装置へ分配する。それにより、遠隔コンピュータ装置は、ヘッドマウントディスプレイのサイズ及び計算を減らして、装着可能な本体を軽量且つ持ち運び可能にするために、通信モジュールを介して、追跡ユニットの追跡結果を受けること、又は起動コマンドを送信することができる。

図３乃至図５を参照されたい。図３は、本開示の第１実施形態に従ってヘッドマウントディスプレイシステム１をフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替える方法を説明するフローチャート図である。図４は、本開示の第１実施形態に従って仮想シーンをフルスクリーンモードで表示する表示ユニット１２を表す図である。図５は、本開示の第１実施形態に従って仮想シーン及び現実シーンをピクチャ・イン・ピクチャモードで表示する表示ユニット１２を表す図である。図３に示されるように、方法は、次のステップを含む。

Ｓ１：表示ユニット１２は、仮想環境の仮想シーンをフルスクリーンモードで表示する。

Ｓ２：画像捕捉ユニット１５は、現実環境の現実シーンを捕捉する。

Ｓ３：追跡ユニット１４は、ヘッドマウントディスプレイシステム１の位置、向き及び姿勢の中の少なくとも１つを追跡する。

Ｓ４：追跡ユニット１４の追跡結果が所定の条件を満たすときに、起動コマンドが生成される。

Ｓ５：処理ユニット１３は、起動コマンドに応答して、表示ユニット１２に、フルスクリーンモードからピクチャ・イン・ピクチャモードへ切り替えるよう指示する。

ステップの詳細な説明は、次のように与えられる。ステップＳ１で、ユーザがヘッドマウントディスプレイ１０を身に付けているとき、表示ユニット１２は、図４に示されるように、最初に、ユーザのためにフルスクリーンモードで仮想環境の仮想シーンを表示することができる。ステップＳ２からＳ４において、ユーザが仮想環境を体験しているとき、一方で、追跡ユニット１４は、現実環境における装着可能な本体１１の位置、向き及び姿勢の中の少なくとも１つを追跡することによって、ヘッドマウントディスプレイシステム１の位置、向き及び姿勢の中の少なくとも１つを追跡することができ、画像捕捉ユニット１５は、現実環境の現実シーンを捕捉することができる。更に、追跡ユニット１４の追跡結果が所定の条件を満たすときに起動コマンドが生成される。所定の条件は、ヘッドマウントディスプレイシステム１と現実環境との間の関係に従って決定され得る。

例えば、所定の条件は、ユーザによって装着されている装着可能な本体１１と、現実環境における、図４及び図５に示されているテレビ受像機２、又は壁のような実在の事物との間の距離が所定の距離以下であることを参照することができる。所定の条件は、望ましくは５０センチメートルであることができる。すなわち、装着可能な本体１１と現実環境における実在の事物との間の距離がユーザの動作中に５０センチメートル以下であるとき、起動コマンドは生成され、ユーザが衝突を回避するための警告メッセージを供給することができる。

しかし、所定の条件はそれに限られない。他の実施形態では、所定の条件は、所定の向き又は所定の姿勢を参照することができ、起動コマンドは、追跡ユニットによって追跡されるヘッドマウントディスプレイシステムの向き又は姿勢が所定の向き又は所定の姿勢を満たすときに生成され得る。

代替的に、後述される他の実施形態では、追跡ユニットは、ユーザの手のジェスチャ、ユーザの手の動き又はユーザの下半身の動きを決定するために、カメラモジュール、ユーザに手に装着される手センサ、ユーザの下半身に装着される下半身センサ、又はそれらの組み合わせを更に含むことができ、所定の条件は、所定の手のジェスチャ、所定の手の動き、所定の下半身の動き、又はそれらの組み合わせを参照することができ、起動コマンドは、追跡ユニットによって追跡されるユーザの手のジェスチャ、手の動き、又は下半身の動きが所定の手のジェスチャ、所定の手の動き、又は所定の下半身の動きを満たすときに生成され得る。

代替的に、他の実施形態では、追跡ユニットは単に省略され得、画像捕捉ユニットが更に、ユーザの手のジェスチャ、ユーザの手の動き、ユーザの下半身の動き、ヘッドマウントディスプレイシステムの位置、ヘッドマウントディスプレイシステムの向き、及びヘッドマウントディスプレイシステムの姿勢のうちの少なくとも１つを、画像捕捉ユニットによって捕捉された画像に従って追跡するよう構成される。

その後、ステップＳ５で、処理ユニット１３は、ユーザが仮想シーン及び現実シーンを同時に同じビデオフレーム内で組み合わせて見ることを可能にし且つユーザが現実環境におけるユーザの現在の位置又は現在の状態を理解するのを助けるために、起動コマンドに応答して、表示ユニット１２に、図４に示されるフルスクリーンモードから、図５に示されるピクチャ・イン・ピクチャモードへ切り替えるよう指示することができる。このことは、ユーザが仮想環境を体験しているときに、ユーザの安全性を有効に確保するとともに、衝突によって引き起こされる負傷を防ぐ。

その上、ピクチャ・イン・ピクチャモードで表示される現実シーンのウィンドウ２１のサイズ又は位置は、追跡ユニット１４又は画像捕捉ユニット１５の追跡結果が所定の条件を満たすときに調整され得る。例えば、ユーザは、特定の手のジェスチャ及び／又は特定の手の動きによって、表示されている現実シーンのウィンドウ２１のサイズ又は位置を調整することができる。他の例として、ウィンドウ２１のサイズ又は位置は、より良いユーザ経験を提供するために、追跡ユニット１４の追跡結果（例えば、アイトラッキング結果）に基づき自動調整され得る。

当然のことだが、装着可能な本体１１と実在の事物との間の距離が再び広がり、５０センチメートルといった所定の距離よりも大きくなる場合には、表示ユニットは、没入体験を強めるためにピクチャ・イン・ピクチャモードからフルスクリーンモードへ切り替えられ得る。

図６乃至図８を参照されたい。図６は、本開示の第２実施形態に従うヘッドマウントディスプレイシステム１’の図である。図７は、本開示の第２実施形態に従うヘッドマウントディスプレイシステム１’の機能ブロック図である。図８は、本開示の第２実施形態に従ってヘッドマウントディスプレイシステム１’をフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替える方法を説明するフローチャート図である。図６乃至図８に示されるように、第１実施形態のヘッドマウントディスプレイシステム１とは異なり、この実施形態のヘッドマウントディスプレイシステム１’は、装着可能な本体１１’、表示ユニット１２’、処理ユニット１３’、画像捕捉ユニット１５’及びスイッチユニット１６’を含む。画像捕捉ユニット１５’は、装着可能な本体１１’に配置される。表示ユニット１２’は、装着可能な本体１１’に配置される。処理ユニット１３’は、装着可能な本体１１’に配置され、表示ユニット１２’及び画像捕捉ユニット１５’へ結合される。スイッチユニット１６’は、装着可能な本体１１’に配置され、スイッチユニット１６’の状態が変化するときに起動コマンドを生成する処理ユニット１３’へ結合される。すなわち、この実施形態では、ユーザは、実際の要求に従ってスイッチユニット１６’の状態を変化させることによって、表示ユニット１２’をフルスクリーンモードからピクチャ・イン・ピクチャモードへ切り替えることができる。更に、当然のことながら、ユーザは、スイッチユニット１６’の状態を再び変化させることによって、表示ユニット１２’をピクチャ・イン・ピクチャモードからフルスクリーンモードへ切り替えることができる。その上、この実施形態では、スイッチユニット１６’は、装着可能な本体１１’上の物理的なボタンであることができ、スイッチユニット１６’の状態は、物理的なボタンを押下又はクリックすることによって変更可能である。しかしながら、本開示はそれに限られない。他の実施形態では、スイッチユニットはまた、装着可能な本体上の仮想ボタンであるか、あるいは、表示ユニットによって表示され、タッチ操作によってアクティブ又は非アクティブにされ得る。

図９乃至図１１を参照されたい。図９は、本開示の第３実施形態に従うヘッドマウントディスプレイシステム１”の図である。図１０は、本開示の第３実施形態に従うヘッドマウントディスプレイシステム１”の機能ブロック図である。図１１は、本開示の第３実施形態に従ってヘッドマウントディスプレイシステム１”をフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替える方法を説明するフローチャート図である。図９乃至図１１に示されるように、上記のヘッドマウントディスプレイシステム１、１’とは異なり、この実施形態のヘッドマウントディスプレイシステム１”は、装着可能な本体１１”と、装着可能な本体１１”に取り付けられている表示ユニット１２”と、表示ユニット１２”へ結合されている処理ユニット１３”と、装着可能な本体１１”に取り付けられ、処理ユニット１３”へ結合されている画像捕捉ユニット１５”と、リモートコントローラ１７”と、通信モジュール１８”と、遠隔コンピュータ装置１９”とを含む。処理ユニット１３”は、遠隔コンピュータ装置１９”において構成され得る。通信モジュール１８”は、遠隔コンピュータ装置１９”にある処理ユニット１３”と、装着可能な本体１１”に配置されている表示ユニット１２”と、リモートコントローラ１７”との間の通信チャネルを構成する。すなわち、処理ユニット１３”は、表示ユニット１２”にフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替わるよう指示するために、通信モジュール１８”によって表示ユニット１２”及び画像捕捉ユニット１５”へ結合され、リモートコントローラ１７”は、リモートコントローラ１７”が操作されるときに起動コマンドを生成し、通信モジュール１８”を介して処理ユニット１３”へ遠隔で送信するために、通信モジュール１８”によって処理ユニット１３”へ結合されてそれと通信する。すなわち、この実施形態では、ユーザは、実際の要求に従ってリモートコントローラ１７”を操作することによって、表示ユニット１２”をフルスクリーンモードからピクチャ・イン・ピクチャモードへ切り替えることができる。更に、当然のことながら、ユーザは、リモートコントローラ１７”を再び操作することによって、表示ユニット１２”をピクチャ・イン・ピクチャモードからフルスクリーンモードへ切り替えることができる。

図１２乃至図１４を参照されたい。図１２は、本開示の第４実施形態に従うヘッドマウントディスプレイシステム１’’’の図である。図１３は、本開示の第４実施形態に従うヘッドマウントディスプレイシステム１’’’の機能ブロック図である。図１４は、本開示の第４実施形態に従ってヘッドマウントディスプレイシステム１’’’をフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替える方法を説明するフローチャート図である。図１２乃至図１４に示されるように、上記のヘッドマウントディスプレイシステム１、１’、１”とは異なり、この実施形態のヘッドマウントディスプレイシステム１’’’は、装着可能な本体１１’’’、表示ユニット１２’’’、処理ユニット１３’’’、追跡ユニット１４’’’及び画像捕捉ユニット１５’’’を含む。表示ユニット１２’’’、処理ユニット１３’’’及び画像捕捉ユニット１５’’’は、装着可能な本体１１’’’に配置される。処理ユニット１３’’’は、表示ユニット１２’’’及び画像捕捉ユニット１５’’’へ結合される。追跡ユニット１４’’’は、ユーザの手のジェスチャ、ユーザの手の動き、及びユーザの下半身の動きのうちの少なくとも１つを追跡するために、処理ユニット１３’’’へ結合され、装着可能な本体１１’’’に配置されているカメラモジュール１４２’’’と、処理ユニット１３’’’へ結合され、ユーザの手に装着されている手センサ１４３’’’と、処理ユニット１３’’’へ結合され、ユーザの下半身に装着されている下半身センサ１４４’’’とを含み、所定の条件は、所定の手のジェスチャ、所定の手の動き、所定の下半身の動き、又はそれらの組み合わせを参照することができる。例えば、起動コマンドは、追跡ユニットによって追跡されているユーザの手のジェスチャ、手の動き又は下半身の動きが所定の手のジェスチャ、所定の手の動き又は所定の下半身の動きを満たすときに生成され得る。しかしながら、本開示はそれに限られない。追跡ユニットは、カメラモジュール１４２’’’、手センサ１４３’’’及び下半身センサ１４４’’’のうちの少なくとも１つしか含まなくてもよい。例えば、他の実施形態では、追跡ユニットのカメラモジュールは省略され得、追跡ユニットは、画像捕捉ユニットによって捕捉された画像、手センサ及び下半身センサによってユーザの手のジェスチャ、ユーザの手の動き及びユーザの下半身の動きのうちの少なくとも１つを決定するために、画像捕捉ユニットへ結合され得る。

図１５乃至図１７を参照されたい。図１５は、本開示の第５実施形態に従うヘッドマウントディスプレイシステム１””の図である。図１６は、本開示の第５実施形態に従うヘッドマウントディスプレイシステム１””の機能ブロック図である。図１７は、本開示の第５実施形態に従ってヘッドマウントディスプレイシステム１””をフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替える方法を説明するフローチャート図である。図１５乃至図１７に示されるように、この実施形態のヘッドマウントディスプレイシステム１””は、装着可能な本体１１””、表示ユニット１２””、処理ユニット１３””、追跡ユニット１４””及び画像捕捉ユニット１５””を含む。表示ユニット１２””、処理ユニット１３””及び画像捕捉ユニット１５””は、装着可能な本体１１””に配置される。処理ユニット１３””は、表示ユニット１２””及び画像捕捉ユニット１５””へ結合される。追跡ユニット１４””は、ユーザの下半身の動き、ヘッドマウントディスプレイシステム１””の位置、ヘッドマウントディスプレイシステム１””の向き、及びヘッドマウントディスプレイシステム１””の姿勢のうちの少なくとも１つを追跡するために、処理ユニット１３””へ結合された慣性計測装置１４１””と、処理ユニット１３””へ結合され、ユーザの下半身に装着された下半身センサ１４４””とを含む。画像捕捉ユニット１５””は、カメラモジュールを含み、ユーザの手のジェスチャ及び手の動きのうちの少なくとも１つを追跡するよう構成される。起動コマンドは、追跡ユニット１４””の追跡結果及び画像捕捉ユニット１５””の追跡結果が夫々第１所定条件及び第２所定条件を満たすときに生成され得る。第１所定条件は、所定の距離、ヘッドマウントディスプレイシステム１””の所定の位置、ヘッドマウントディスプレイシステム１””の所定の向き、又はヘッドマウントディスプレイシステム１””の所定の姿勢を参照することができ、第２所定条件は、所定の手のジェスチャ、所定の手の動き、及び所定の下半身の動きを参照することができる。

この実施形態では、慣性計測装置１４１””は、追跡ユニット１４””がヘッドマウントディスプレイシステム１””の位置、向き又は姿勢を決定するよう装着可能な本体１１””の位置、向き又は姿勢を追跡することができるように、装着可能な本体１１””に取り付けられ得る。

更に、起動コマンドの生成の決定は、多段階動作、例えば、二段階動作であることができる。例えば、装着可能な本体１１””と実在の事物との間の距離が所定の距離に満たないと追跡ユニット１４””が決定するときに、画像捕捉ユニット１５””が更に、ユーザの手のジェスチャが所定の手のジェスチャと一致するかどうかを判定する。ユーザの手のジェスチャが所定の手のジェスチャと一致すると画像捕捉ユニット１５””が決定するときに、起動コマンドが生成される。しかし、本開示はこの実施形態に制限されない。他の実施形態では、起動コマンドの生成の決定は、一段階動作であることができ、すなわち、起動コマンドは、追跡ユニットの追跡結果及び画像捕捉ユニットの追跡結果が夫々第１所定条件及び第２所定条件を同時に満たすときに生成され得る。

更に、本開示の上記の実施形態は、ソフトウェア、ファームウェア、ハードウェア構成、又はそれらの組み合わせにおいて実施可能であり、ヘッドマウントディスプレイシステムに本開示の上記の方法に従ってプロセッサによって処理を実行させるプログラムを記憶する非一時的なコンピュータ可読記憶媒体を提供することも可能である。プロセッサは、中央演算処理装置、アプリケーションプロセッサ、マイクロプロセッサなどであることができ、あるいは、特定用途向け集積回路（ＡＳＩＣ）によって実現され得る。コンピュータ可読記憶媒体は、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、又は光学式データ記憶デバイスであることができる。しかしながら、本開示はそれらに限られない。

先行技術と対照的に、本開示は、仮想シーンをフルスクリーンモードで表示するか、又は仮想シーン及び現実シーンをピクチャ・イン・ピクチャモードで同時に同じビデオフレーム内で組み合わせて表示するために表示ユニットを利用し、更には、起動コマンドに応答して、表示ユニットにフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替わるよう指示するために処理ユニットを利用する。従って、それは、ユーザが現実環境におけるユーザの現在の位置又は現在の状態を理解することを助けるために、様々な方法でユーザが表示ユニットをフルスクリーンモードとピクチャ・イン・ピクチャモードとの間で切り替えることを可能にする。これにより、ユーザが仮想環境を体験しているときに、ユーザの安全性が有効に確保されるとともに、衝突によって引き起こされる負傷が防止される。

当業者は、デバイス及び方法の多数の改良及び変更が本開示の教示を保ちながら行われ得ると容易に気付くだろう。然るに、上記の開示は、添付の特許請求の範囲の境界によってしか制限されないと理解されるべきである。

１，１’，１”，１’’’，１”” ヘッドマウントディスプレイシステム
１１，１１’，１１”，１１’’’，１１”” 装着可能な本体
１２，１２’，１２”，１２’’’，１２”” 表示ユニット
１３，１３’，１３”，１３’’’，１３”” 処理ユニット
１４，１４’’’，１４”” 追跡ユニット
１４１，１４１”” 慣性計測装置
１４２’’’ カメラモジュール
１４３’’’ 手センサ
１４４’’’，１４４”” 下半身センサ
１５，１５”，１５’’’，１５”” 画像捕捉ユニット
１６’ スイッチユニット
１７” リモートコントローラ
１８” 通信モジュール
１９” 遠隔コンピュータ装置

Claims (10)

1. ユーザによって身に付けられるよう構成される装着可能な本体と、
   前記装着可能な本体に取り付けられ、現実シーンを捕捉するよう構成される画像捕捉ユニットと、
   前記装着可能な本体に取り付けられ、仮想シーン及び前記現実シーンをピクチャ・イン・ピクチャモードで表示するよう構成される表示ユニットと、
   前記画像捕捉ユニット及び前記表示ユニットへ結合される処理ユニットと
   を有し、
   前記表示ユニットは更に、前記仮想シーンをフルスクリーンモードで表示するよう構成され、
   前記処理ユニットは、起動コマンドに応答して、前記表示ユニットに前記フルスクリーンモードと前記ピクチャ・イン・ピクチャモードとの間で切り替わるように指示するよう構成される、
   ヘッドマウントディスプレイシステム。
2. 前記処理ユニットへ結合されるスイッチユニットであり、該スイッチユニットの状態が変化するときに前記起動コマンドを生成する前記スイッチユニット、及び／又は
   前記処理ユニットと通信するリモートコントローラであり、該リモートコントローラが操作されるときに前記起動コマンドを生成する前記リモートコントローラ
   を更に有する
   請求項１に記載のヘッドマウントディスプレイシステム。
3. 前記画像捕捉ユニットは更に、前記ユーザの手のジェスチャ、前記ユーザの手の動き、前記ユーザの下半身の動き、当該ヘッドマウントディスプレイシステムの位置、当該ヘッドマウントディスプレイシステムの向き、及び当該ヘッドマウントディスプレイシステムの姿勢、の中の少なくとも１つを追跡するよう構成され、前記起動コマンドは、前記画像捕捉ユニットの追跡結果が所定の条件を満たすときに生成され、あるいは、
   当該ヘッドマウントディスプレイシステムは、前記処理ユニットへ結合され、前記ユーザの手のジェスチャ、前記ユーザの手の動き、前記ユーザの下半身の動き、当該ヘッドマウントディスプレイシステムの位置、当該ヘッドマウントディスプレイシステムの向き、及び当該ヘッドマウントディスプレイシステムの姿勢、の中の少なくとも１つを追跡するよう構成される追跡ユニットを更に有し、前記起動コマンドは、前記追跡ユニットの追跡結果が所定の条件を満たすときに生成される、
   請求項１に記載のヘッドマウントディスプレイシステム。
4. 前記処理ユニットへ結合され、前記ユーザの下半身の動き、当該ヘッドマウントディスプレイシステムの位置、当該ヘッドマウントディスプレイシステムの向き、及び当該ヘッドマウントディスプレイシステムの姿勢、の中の少なくとも１つを追跡するよう構成される追跡ユニットを更に有し、
   前記画像捕捉ユニットは、前記ユーザの手のジェスチャ及び手の動きの中の少なくとも１つを追跡するよう構成され、
   前記起動コマンドは、前記追跡ユニットの追跡結果及び前記画像捕捉ユニットの追跡結果が夫々第１所定条件及び第２所定条件を満たすときに生成される、
   請求項１に記載のヘッドマウントディスプレイシステム。
5. 前記画像捕捉ユニットは更に、前記ユーザの手のジェスチャ及び手の動きの中の少なくとも１つを追跡するよう構成され、
   前記ピクチャ・イン・ピクチャモードで表示される前記現実シーンのウィンドウのサイズ及び位置の少なくとも一方は、前記画像捕捉ユニットの追跡結果が所定の条件を満たすときに調整される、
   請求項１に記載のヘッドマウントディスプレイシステム。
6. 仮想シーン及び現実シーンをピクチャ・イン・ピクチャモードで表示するためにヘッドマウントディスプレイシステムを使用する方法であって、
   前記仮想シーンをフルスクリーンモードで表示するために前記ヘッドマウントディスプレイシステムの表示ユニットを使用することと、
   前記現実シーンを捕捉するために前記ヘッドマウントディスプレイシステムの画像捕捉ユニットを使用することと、
   起動コマンドに応答して、前記表示ユニットに、前記フルスクリーンモードと前記ピクチャ・イン・ピクチャモードとの間で切り替わるよう指示するために、前記ヘッドマウントディスプレイシステムの処理ユニットを使用することと、
   前記仮想シーン及び前記現実シーンを前記ピクチャ・イン・ピクチャモードで表示するために前記表示ユニットを使用することと
   を有する方法。
7. スイッチユニットの状態が変化するときに前記起動コマンドを生成するよう前記ヘッドマウントディスプレイシステムの前記スイッチユニットを使用すること、及び／又は
   リモートコントローラが操作されるときに前記起動コマンドを生成するよう前記ヘッドマウントディスプレイシステムの前記リモートコントローラを使用すること
   を更に有する
   請求項６に記載の方法。
8. ユーザの手のジェスチャ、前記ユーザの手の動き、前記ユーザの下半身の動き、前記ヘッドマウントディスプレイシステムの位置、前記ヘッドマウントディスプレイシステムの向き、及び前記ヘッドマウントディスプレイシステムの姿勢、の中の少なくとも１つを追跡するために前記画像捕捉ユニットを使用し、前記画像捕捉ユニットの追跡結果が所定の条件を満たすときに前記起動コマンドを生成すること、又は
   ユーザの手のジェスチャ、前記ユーザの手の動き、前記ユーザの下半身の動き、前記ヘッドマウントディスプレイシステムの位置、前記ヘッドマウントディスプレイシステムの向き、及び前記ヘッドマウントディスプレイシステムの姿勢、の中の少なくとも１つを追跡するために前記ヘッドマウントディスプレイシステムの追跡ユニットを使用し、前記追跡ユニットの追跡結果が所定の条件を満たすときに前記起動コマンドを生成すること
   を更に有する
   請求項６に記載の方法。
9. ユーザの手のジェスチャ及び前記ユーザの手の動きの中の少なくとも１つを追跡するために前記画像捕捉ユニットを使用することと、
   前記ユーザの下半身の動き、前記ヘッドマウントディスプレイシステムの位置、前記ヘッドマウントディスプレイシステムの向き、及び前記ヘッドマウントディスプレイシステムの姿勢、の中の少なくとも１つを追跡するために前記ヘッドマウントディスプレイシステムの追跡ユニットを使用することと、
   前記追跡ユニットの追跡結果及び前記画像捕捉ユニットの追跡結果が夫々第１所定条件及び第２所定条件を満たすときに前記起動コマンドを生成することと
   を更に有する
   請求項６に記載の方法。
10. ユーザの手のジェスチャ及び前記ユーザの手の動きの中の少なくとも１つを追跡するために前記画像捕捉ユニットを使用することと、
    前記画像捕捉ユニットの追跡結果が所定の条件を満たすときに、前記ピクチャ・イン・ピクチャモードで表示される前記現実シーンのウィンドウのサイズ及び位置の少なくとも一方を調整することと
    を更に有する
    請求項６に記載の方法。

Images