JP2018524673A - 仮想現実の反応性アニメーション - Google Patents

Abstract

仮想現実ヘッドマウントディスプレイの光学システム及び方法が提供される。一実施形態では、システムは、ユーザ頭部に搭載され、且つディスプレイに結合される筐体であって、ディスプレイへのビューフォーカスを可能にする筐体と、前記筐体に動作可能に結合され、及び第１の位置から第２の位置への前記筐体の第１の位置変化を検出し、且つ前記第１の変化よりも大きい前記筐体の第２の位置変化を検出するように構成されたセンサとを含む。プロセッサは、ディスプレイに結合され、及び前記ディスプレイ上での出力のために第１のアニメーションをレンダリングし、センサが第１の位置変化を検出すると、第２のアニメーションを事前ロードし、且つセンサが第２の位置変化を検出することに基づき、ディスプレイへの出力のために第２のアニメーションをレンダリングするように構成された。

Description

技術分野
本発明は、概して、仮想現実に関し、特に反応性アニメーションにより強化された仮想現実に関する。

背景
この項は、以下に説明及び／又は特許請求される本発明の様々な態様に関連し得る技術の様々な態様を読者に紹介することを目的とする。この考察は、本発明の様々な態様のよりよい理解を促進するために、背景情報を読者に提供するのに有用であると考えられる。したがって、これらの文章はこの観点から読まれるべきであり、先行技術の承認として読まれるべきではないことを理解されたい。

近年、仮想現実（ＶＲ）は一層注目される主題となっている。これは、テスト、娯楽、及び教示を含む様々な機能を実行するために、ＶＲがあらゆる分野で実用的に使用可能なためである。例えば、技術者及び建築家は、新しい設計のモデリング及びテストにＶＲを使用することができる。医師は、ＶＲを使用して事前に様々な手術を練習し完全なものにすることができ、軍事専門家は、戦場オペレーションをシミュレートすることにより戦略を策定することができる。ＶＲは、インタラクティブ経験を提供し、且つ観客の楽しみを強化するためにゲーム及び娯楽産業でも広く使用されている。ＶＲは、現実に感じられ、現実世界又は虚構世界での現実的な生活経験を正確に複製することができるシミュレーション環境の作成を可能にする。更に、ＶＲは、テレプレゼンス及びテレイグジスタンス又はバーチャルアーチファクト（ＶＡ）の概念を用いてユーザの仮想存在を提供するリモート通信環境をカバーする。

大半の仮想現実システムは、他の多感覚入力及び出力デバイスと連携し、それらとの通信を処理することになる高度なコンピュータを利用して、インタラクティブ仮想現実を作成する。仮想環境との人間の対話を正確にシミュレートするために、ＶＲシステムは、人間の感覚を表す情報の入力及び出力を促進することを目指す。その結果、これらの高度な計算システムは、立体視ディスプレイ及び仮想味覚、仮想視覚、仮想臭覚、仮想サウンド、及び仮想触覚を含むことができるそのような感覚経験を表す他のデバイス等の没入型マルチメディアデバイスと組み合わせられる。しかし、多くの状況では、人間の感覚の中でも特に、視覚は恐らく評価ツールとして最も有用である。したがって、視覚化の光学システムは、大半の仮想現実システムの重要な部分である。

概要
仮想現実ヘッドマウントディスプレイの光学システム及び方法が提供される。一実施形態では、本システムは、ユーザ頭部に搭載され、且つディスプレイに結合される筐体であって、ディスプレイへのビューフォーカスを可能にする筐体と、前記筐体に動作可能に結合され、及び第１の位置から第２の位置への前記筐体の第１の位置変化を検出し、且つ前記第１の変化よりも大きい前記筐体の第２の位置変化を検出するように構成されたセンサとを含む。プロセッサは、ディスプレイに結合され、及び前記ディスプレイ上での出力のために第１のアニメーションをレンダリングし、センサが第１の位置変化を検出すると、第２のアニメーションを事前ロードし、且つセンサが第２の位置変化を検出することに基づき、ディスプレイへの出力のために第２のアニメーションをレンダリングするように構成された。

別の実施形態では、本方法は、ヘッドマウント筐体を介してユーザに仮想現実経験を提供し、本方法は、プロセッサを使用して、筐体を介してユーザにより見られる画像をレンダリングすることを含み、筐体はディスプレイに結合される。本方法は、また、プロセッサを使用して、前記筐体の第１の位置変化を検出することと、プロセッサを使用して、前記第１の変化よりも大きい変化を定義する前記筐体の第２の位置変化を検出することと、プロセッサを使用して、前記ディスプレイへの出力のために第１のアニメーションをレンダリングすることとを含む。次に、前記第１の位置変化を検出するプロセッサの状態において、第２のアニメーションが、プロセッサを含む計算システムに事前ロードされ、及び前記第２の位置変化を検出するプロセッサの状態において、第２のアニメーションは、前記ディスプレイへの出力のために、プロセッサを使用してレンダリングされる。

本発明の技法を通して追加の特徴及び利点が実現される。本発明の他の実施形態及び態様は、本明細書において詳述され、特許請求される本発明の一部と見なされる。利点及び特徴を有する本発明をよりよく理解するために、説明及び図面を参照されたい。

図面の簡単な説明
本発明は、添付図を参照して、決して限定ではない以下の実施形態及び実行例により、よりよく理解され示される。

本発明の一実施形態による反応性アニメーション用に構成されたＶＲヘッドマウント光学システムを利用するユーザ／プレーヤを示す。 本発明の一実施形態による、図１の例で使用されるシステム等の光学システムを動作させる方法を示すフローチャートである。

図２では、表されるブロックは純粋に機能的エンティティであり、必ずしも物理的に別個のエンティティに対応するわけではない。すなわち、表されるブロックは、ソフトウェア、ハードウェアの形態で開発されてもよく、又は１つ若しくは複数のプロセッサを含む１つ若しくは幾つかの集積回路で実施されてもよい。

可能な場合は常に、同じ参照番号が図全体を通して同じ又は同様の部分を指すために使用される。

説明
本発明の図及び説明は、明確さのために、典型的なデジタルマルチメディアコンテンツ配信方法及びシステムに見られる多くの他の要素を省きながら、本発明の明確な理解のために関連する要素を説明するように簡略化されていることを理解されたい。しかし、そのような要素は当技術分野で周知であるため、そのような要素の詳細な考察は本明細書に提供されない。本明細書での開示は、当業者に既知のそのような全ての変形形態及び変更形態に向けられる。

図１は、反応性アニメーション機能及び特徴を有する仮想現実（ＶＲ）システム（１１０）の例を示す。この実施形態では、ＶＲシステム（１１０）は、少なくとも１つのプロセッサ若しくはコンピュータ（１２５）（配置が筐体ユニットの内部又は外部であり得ることを示すために破線で示されている）を有するか、又は少なくとも１つのプロセッサ若しくはコンピュータ（１２５）に結合されるヘッドマウント光学システムである。プロセッサ（１２５）は、計算環境又はネットワーク内の他のプロセッサ及びコンピュータとの通信の処理を行うように構成され得る。加えて、ＶＲシステム（１１０）は、データを記憶する記憶ロケーションにアクセス可能であるか、又は記憶ロケーションを含む。システムは有線又は無線であり得る。

図に示されるもの等の一実施形態では、ＶＲシステム１１０は、筐体（１２０）からなる光学システムを含む。当業者に既知のように、様々な設計が使用可能である。図１の実施形態では、筐体は、ユーザ（プレーヤとも呼ばれる）の頭部の周囲に半径方向に延びるように構成される調整可能ストラップ（１３５）を含む。筐体（１２０）を定位置に確実に保持し、構造的剛性を加えるのに役立つように、追加のストラップ（１３８）が追加され得る。一実施形態では、ストラップ（１３５）は長さ調整可能であり、固定具を含むことができるか、又は伸縮性材料から作られてもよい。他の実施形態では、当業者により理解することができるように、ストラップは、固定具等の追加の構成要素を有し得る。筐体（１２０）は、代替的に、より少ない構造、例えば、サングラスのように装着できるようにするもので作られ得るか、又は頭部若しくは顔を部分的若しくは全体的に覆うマスクのようにより徹底的に作られ得るか、又は必要とされる徹底性若しくは用途に応じてそれらの中間で設計することもできる。

一実施形態では、筐体（１１０）は、目を覆う少なくとも１つの表示セクション（１２２）を含むディスプレイに結合するように構成される。一実施形態では、表示セクション（１２２）は、両目を覆って広がり、少なくとも１つのディスプレイの閲覧を可能にする１枚のレンズを有する。別の実施形態では、図１に示されるように、第１のレンズが第１のディスプレイと人の目のうちの第１の目との間に配置され、第２のレンズがディスプレイと人の目のうちの第２の目との間に配置されるように視覚平面を画定する２枚のレンズ（１２３）が提供される。別の実施形態では、１枚の単一レンズを両目上に提供することができる。単一の表示エリア及び単一のレンズが提供される場合、レンズはディスプレイと人の目との間に配置される。一実施形態では、目はそれぞれ別個のフレーム（１２３）で覆うことができる。示される実施形態では、筐体（１１０）は、単一のディスプレイに結合されるように構成されるが、代替の実施形態では、特に左目のレンズ及び右目のレンズが左目ディスプレイ及び右目ディスプレイに結合されるように別個のレンズが提供される場合、２つ以上のディスプレイを使用し得る。加えて、

ディスプレイ（図示せず）は、様々な方法で提供することができる。一実施形態では、受け取りエリアが表示セクション（１２０）に提供されて、ディスプレイ、プロセッサ、及び他の構成要素を有するスマートフォン等のモバイルデバイスを受ける。一例は、無線通信インタフェース、及び移動、位置、若しくは姿勢若しくはユーザの頭部、又は上記パラメータのいずれかの変化若しくは変化率を検知する１つ又は複数のセンサ（加速度計）であり得る。

一実施形態では、ディスプレイ及びプロセッサは、筐体（１２０）及び表示セクション（１２２）に結合することができ、又はローカル若しくはリモートデバイス（ゲームユニット、モバイルタブレット、携帯電話、デスクトップ、サーバ、若しくはそれらに結合されて一体となる他の計算手段への通信の処理におけるものであり得る。一実施形態では、表示セクション（１２２）は、更には、当業者により理解することができるように、スマートフォン又は他のデバイスに接続されたディスプレイを受けるのに十分大きい受け取りエリア（図示せず）を含むこともできる。

別の実施形態では、ＶＲシステム（１１０）は、ディスプレイ（図示せず）に結合するように構成された筐体（１２０）で構成される仮想現実ヘッドマウントディスプレイを有する光学システムである。筐体（１２０）は、それぞれディスプレイの第１及び第２の部分へのユーザの第１及び第２の目による合焦を提供する第１及び第２の光路をそれぞれ画定する。述べたように、筐体に動作可能に結合され、及び第１の位置から第２の位置への筐体の第１の位置変化を検出し、且つ第１の変化よりも大きい変化を定義する筐体の第２の位置変化を検出するように構成されるセンサを提供し得、それにより、ディスプレイに結合されたプロセッサは、ディスプレイ上での出力のための第１のアニメーションをレンダリングし、センサが第１の位置変化を検出すると、第２のアニメーションを事前ロードし、且つセンサが第２の位置変化を検出すると、ディスプレイへの出力のために第２のアニメーションをレンダリングするように構成される。

理解を容易にするために、ここで例示的な例を提供する。図１では、ユーザは、ユーザが直立しており、前を向いているとき、水平軸及び垂直軸が平衡状態である中央位置に立っている。ユーザはヘッドマウントＶＲシステム（１１０）を装着している。頭部傾斜の形態での位置変化が生じると、プロセッサ（１２５）は、図２に関連しても考察されるように、アニメーションモードにシフトする。この実施形態では、偏差角の値は１０度に設定される。これは、０度〜１０度の頭部傾斜が位置変化として認識されるが、予め選択される値（ここでは１０％）が満たされるか又は超えられるまで、反応性アニメーションモードにならないことを意味する。

この例では、反応性アニメーションになる（ロードされる）と、更なる頭部又は体の移動は、変化が再び特定の値よりも大きい場合、追加の反応性アニメーションを開始させる。この例では、この値は１４．７度に設定される。値を超えた後、任意の更なる位置変化は反応性アニメーションフェーズを開始させ、考察されるように、投射される画像が追加の位置変化に応答するように画像をディスプレイに投射する。図１に示される例では、考察されるように偏差値に１０度及び１４．７度で達するが、これらの値は単に例示を目的として使用され、他の値を選択することもできる。なお、偏差値１４．７を超え、反応性アニメーションモードに完全になると、全ての追加の頭部追跡移動は、常にアクティブ化され、且つ視線がユーザインタフェース（ＵＩ）内の他のグラフィカルユーザインタフェース（ＧＵＩ）要素に触れる際に更新している（頭部移動を通して）フィードバック経験をもたらす追加のアニメーションを開始する。

一実施形態では、コンテンツ（例えば、第１のアニメーション）を見ている間、立っているユーザに適用される「視線」が特定される。視線がＸ度増大する場合、第２のアニメーションが事前ロードされ、視線がＹ度ずれる（Ｘ＜Ｙ）場合、アニメーションはアクティブ化される。例えば、ゲームＨをプレイ中のユーザの例示的な場合を使用することができる。ゲームＨは、モバイルデバイスにダウンロードするか、又は他の手段を通してプレイ中であり得るホラージャンルのゲームである。ユーザ／プレーヤは、頭部傾斜（Ｘ度）により反応性アニメーションを開始し、反応性アニメーションに関与する。次に、ユーザの頭部は、ユーザが頭部傾斜のみで特定の動作を選択するように、その時点から略ＵＩとして使用される。一実施形態では、自発的動作又は非自発的動作の両方が使用可能である。例えば、プレーヤがこのＶＲ世界に入る際、プレーヤが自発的に選択する様々なホラーシーン及び選択肢がプレーヤに提示される。しかし、一事例では、ユーザは特に陰惨なシーンを見ることがあり、プレーヤは、ユーザの頭部を特定の方向に非自発的に動かして、他のシーンを表示させる。一実施形態では、この非自発的な動作は、例えば、ゲーム内でユーザ／プレーヤが配置されるＶＲ虚構部屋の異なるエリア内の他の事前ロードされた画像を提供し得る。一実施形態では、利用可能な技術ユーザ／プレーヤは、M-GO Advanced、Oculus Rift又はGear VRのようなシステムなど、利用可能な技術を利用することができる。

一実施形態では、ＶＲシステムは、更には、ユーザ／プレーヤが表示中のコンテンツに強く反応し、ゲームにおいて後に又は他のゲームでその知識を使用して、その特定のユーザに向けてより特別に設計された経験を提供するタイプの画像及び事例を捕捉することもできる。

反応性アニメーションは、当業者に既知のように、多くの方法でプロセッサ（１２５）により提供することができる。例えば、一実施形態では、これは、大半が挙動及び事象の指示に基づく非常にインタラクティブなマルチメディアアニメーションを構成するデータタイプ及び機能の集合として提供することができる。挙動は時変反応値であり、一方、事象は、恐らく豊富な情報を伝達する任意の幾つかの複雑な条件セットである。最も従来的な値は挙動として扱うことができ、そうして画像が扱われる場合、アニメーションになる。

同様に図１に示されるような代替の実施形態では、ユーザは、直立中央ボディポジションにおり、ＶＲシステム（１１０）でのコンテンツ閲覧に携わっている。この実施形態では、ユーザが視線を中央メジアンよりも下に下げると随時、装置は、事前ロードされたものの代わりに動的な経験を開始する。これは、前のロケーションにおける記憶されたものを有する代わりに、経験が動的に作成されることを意味し得る。これにより、ここで、他のデバイス又はクラウド等のネットワークと通信するプロセッサ（１２５）を通してライブで投射されている、実際の場所でのカメラ又は他のデバイスの使用を含み得る動的な現実世界経験にアクセスすることができる。

別の実施形態では、ＶＲシステム１１０は、追加の感覚刺激を提供することができる他の構成要素を含み得る。例えば、視覚的構成要素により、ユーザが重力、速度、加速度等を経験することができるのと同時に、システム１１０は、視覚的構成要素に結び付けられて、ユーザの視覚経験を強化する風、湿気、匂い等の他の物理的刺激を提供することができる。

本発明の一実施形態では、ＶＲシステム１１０を通してユーザに提供されるコンテンツは、拡張現実の形態で提示することもできる。近年、拡張現実は、娯楽分野を含む様々な分野で使用することができる独自の経験を提供するように拡大されてきた。拡張現実は、多くの場合、適応型ＨＴＴＰストリーミング（マルチビットレートスイッチングとも呼ばれる）等のコンピュータ生成感覚入力を通して、感覚入力を使用して現実作業要素を作成し、急速にマルチメディアコンテンツ配信の主要技術になりつつある。既に使用されている適応型ＨＴＴＰストリーミングプロトコルの中でも特に、最も有名なものは、AppleからのHTTP Live Streaming（ＨＬＳ）、MicrosoftからのSilverlight Smooth Streaming（ＳＳＳ）、AdobeからのAdobe Dynamic Streaming（ＡＤＳ）、及びＳＡ４グループ内の３ＧＰＰにより開発された動的適応型ＨＴＴＰストリーミング（ＤＡＳＨ）である。拡張現実の技術は、当業者に既知であり、これ以上考察しない。

図２は、図１の実施形態で考察される等のヘッドマウントディスプレイを介して仮想現実経験をユーザに対して使用する一実施形態を記述するフローチャートの図である。ステップ２１０は、偏差角を予め選択することができ、視線のベースラインが確立される初期ステップである。ステップ２２０は、プロセッサ（１２５）を使用して、ユーザの第１の位置変化を検出する。ステップ２３０に示されるように、変化があり、変化が予め選択される偏差値を超える場合、反応性アニメーションになる（ステップ２４０）。次に、第２の位置変化があり、第２の値を超える場合、反応性アニメーションに完全になる（ステップ２５０）。別個の実施形態では、値の任意の水平変化及び垂直変化は、システムと完全に連動することができる。

反応性アニメーションが完全になると、任意の追加の頭部移動は、ステップ２６０に示されるように、それに従って対応するシーンを提供する。換言すれば、考察されるように、反応性アニメーションモードになると、全ての追加の頭部追跡移動は追加のアニメーションを開始させ、常にアクティブ化され、且つこれらの他のユーザインタフェースを通して仮想的に見ることができる他のグラフィックユーザインタフェースデバイス及びコンポーネントに視線が触れる際に更新しているフィードバック経験をもたらす。

幾つかの実施形態について説明したが、当業者が現在及び将来の両方において様々な改善形態及び改良形態をなし得、これらが以下の特許請求の範囲内にあることが理解される。これらの請求項は、最初に説明された本発明の適切な保護を維持するように解釈されるべきである。

Claims (8)

1. 仮想現実ヘッドマウントディスプレイの光学システムであって、
   前記ディスプレイに結合される、ユーザの頭部に搭載される筐体であって、前記ディスプレイへのビューフォーカスを可能にする筐体と、
   前記筐体に動作可能に結合され、及び第１の位置から第２の位置への前記筐体の第１の位置変化を検出し、且つ前記第１の変化よりも大きい前記筐体の第２の位置変化を検出するように構成されたセンサと
   を含み、それにより、
   前記ディスプレイに結合されるプロセッサは、前記ディスプレイ上での出力のために第１のアニメーションをレンダリングし、前記センサが前記第１の位置変化を検出すると、第２のアニメーションを事前ロードし、且つ前記センサが前記第２の位置変化を検出することに基づき、前記ディスプレイへの出力のために前記第２のアニメーションをレンダリングするように構成された、光学システム。
2. 前記筐体は、前記ディスプレイを更に含む第１の筐体である、請求項１に記載の光学システム。
3. 前記ディスプレイ、前記センサ、及び前記プロセッサは、前記第１の筐体に結合される第２の筐体内に統合される、請求項２に記載の光学システム。
4. 前記第１の位置変化は、前記第１の位置からの第１の角度を定義し、及び前記第２の位置変化は、前記第１の位置からの第２の角度を定義し、前記第２の角度は前記第１の角度よりも大きい、請求項１に記載の光学システム。
5. 前記第１の角度は１０度を超える、請求項４に記載の光学システム。
6. 前記第２の角度は１４．７度である、請求項５に記載の光学システム。
7. ヘッドマウント筐体を介してユーザに仮想現実経験を提供する方法であって、
   プロセッサを使用して、前記筐体を介してユーザにより見られる画像をレンダリングすることであって、前記筐体はディスプレイに結合される、レンダリングすることと、
   前記プロセッサを使用して、前記筐体の第１の位置変化を検出することと、
   前記プロセッサを使用して、前記第１の変化よりも大きい変化を定義する前記筐体の第２の位置変化を検出することと、
   前記プロセッサを使用して、前記ディスプレイへの出力のために第１のアニメーションをレンダリングすることと、
   前記第１の位置変化を検出する前記プロセッサの状態において、前記プロセッサを含む計算システムに第２のアニメーションを事前ロードすることと、
   前記プロセッサを使用して、前記第２の位置変化を検出する前記プロセッサの状態において、前記ディスプレイへの出力のために前記第２のアニメーションをレンダリングすることと
   を含む方法。
8. 第１及び第２の画像は、それぞれ第１及び第２の光路を介してユーザの第１及び第２の目によって見られる前記ディスプレイのそれぞれの部分によって提供される、請求項７に記載の方法。