JP2016517089A - 頭部装着式ディスプレイに画像を表示するための方法および装置 - Google Patents

Abstract

ステレオHMDからの表示画像の個々のUI要素を単眼画像またはステレオ画像として選択的に投影するためのシステムおよび方法を開示する。単眼画像としてまたは深度の知覚を引き起こすようなステレオ分離を伴ったステレオ画像としてレンダリングするために、UI要素をタグ付けし得る。UI要素に対する単眼画像またはステレオ画像とのタグ付けは、そのUI要素が永続性要素であるかどうかに基づいていてもよい。永続性要素は、ユーザに対して情報を提示するが、これはユーザのフォーカス注目を必要としない。永続性要素は、ユーザが永続性要素により提示される情報に対する意識は維持しながら他のUI要素にまたは実世界にフォーカスできるように単眼画像としてレンダリングされてもよい。これに対して、非永続性UI要素は、ユーザのフォーカス注目を必要とし得る。非永続性UI要素は、ユーザのフォーカスを招くように指定の深度面における投影のためにステレオ画像としてレンダリングされてもよい。

Description

本出願は、一般的には画像表示システムに関する。特に、本出願は、ユーザが着用した表示システムに画像を表示するための方法およびシステムに関する。

シースルー頭部装着式ディスプレイ(HMD)は、HMDを着用したユーザの眼の前方数インチに装着された表示媒体上へのコンピュータ生成の画像の表示を可能にする。HMDは、ユーザが着用する眼鏡やヘルメットに組み込まれ得る。ユーザは、実世界についてのユーザの視界に対する障害が最小限になるように、ビデオの鑑賞、情報の受信、およびディスプレイとのやりとりをし得る。HMDは、拡張現実(augmented-reality)デバイスにおいて、ますます見かけるようになっている。シースルーHMDは、単眼型のこともステレオ型のこともある。単眼HMDは、単一の表示画像を表示する。一方、ステレオHMDは、物体の左眼画像と右眼画像を独立に投影してユーザに対して深度の知覚を引き起こさせることによって、物体を立体的に表示する。左眼画像と右眼画像のステレオ分離は、指定の深度面においてデジタル的に投影画像を投影するために大きくまたは小さくなり得る。

しかしながら、頻繁に、HMDを着用したユーザは、現在表示されている画像が投影されている深度面と一致しない深度面にフォーカスする場合がある。このようなことが生じると、左眼画像と右眼画像との間にある眼間アーチファクトが知覚可能となってしまい、これが複視作用(double vision effect)を引き起こし得る。たとえば、ユーザインターフェース(UI)要素などの画像が3フィートの深度面にステレオで投影されている一方でユーザが歩行中ということで無限遠にフォーカスすると、UI要素が二重に見えるとともにフォーカス外れとなることがある。このような複視作用は不快であるだけでなく、さらに眼精疲労すなわち疲れにもつながり、このためにHMDを着用したユーザが全体的な体験を損なうことになる。このため、ステレオ画像が投影されている深度面と異なる深度面にHMDを着用したユーザがフォーカスしている場合には、ユーザが体験する複視作用を緩和するための解決法が必要とされている。

ステレオ画像が投影されている深度面と異なる深度面にHMDを着用したユーザがフォーカスしているときに体験する複視作用を緩和するために、ステレオHMDからの表示画像の個々のUI要素を単眼画像またはステレオ画像として選択的に投影するためのシステムおよび方法を開示する。ステレオHMDからの表示画像は、個別のユーザインターフェース(UI)要素を備えてもよい。個別のUI要素を、そのUI要素の単眼画像が生成されるようにユーザの一方の眼だけに対してレンダリングするようにタグ付けしてもよい。たとえば、永続性要素と特徴付けされたUI要素は、単眼画像としてレンダリングされてもよい。永続性UI要素は、ユーザのフォーカス注目(focused attention)を必要としない要素であるが、ユーザによる移動性および状況認識の維持の必要性を妨害しないのであればユーザに対して表示してもよい。永続性UI要素は、現在の時刻、日付、HMDの電池レベル、その他などのステータス情報を含んでいてもよい。したがって、永続性UI要素を単眼画像としてレンダリングしながら、ユーザは、歩行しつつ、中距離または無限遠に対してフォーカスした注視を維持し得る。単眼画像はステレオ画像で見られる複視作用を生じることがないため、ユーザは、眼の疲労を生じることなく、実世界に対するまたはディスプレイの異なる部分に対するフォーカスを維持し得る。ユーザ体験をさらに向上させるために、ユーザは、この単眼画像をユーザの利き眼に対して表示するようにHMDを構成してもよい。

永続性要素と特徴付けされていないUI要素を、これらのUI要素についてのステレオ画像が生成されるように両眼向けにレンダリングするようにタグ付けしてもよい。これらの要素は、ユーザがこれらの要素の奥側を見ることで異なる深度面上にフォーカスする可能性が低くなるように、ユーザのフォーカス注目を必要とし得る。たとえば、ユーザがフォーカスすることになるナビゲーション可能なUI要素、ビデオストリームまたはインタラクティブ要素を、ステレオ画像としてレンダリングしてもよい。HMDは、永続性UI要素に関する単眼画像と他の要素に関するステレオ画像とを同時に表示してもよい。HMDはまた、UI要素が表示されるユーザの環境または状況が変化すると、UI要素を単眼画像としてレンダリングするか、UI要素をステレオ画像としてレンダリングかを切り替える柔軟性を有していてもよい。

HMDに対して画像を表示するための方法を開示する。本方法は、アプリケーションからの画像に関するUI要素を生成するステップを含む。本方法はまた、そのUI要素がHMD着用のユーザのフォーカス注目を必要とするかどうかに基づいて、UI要素を非永続性要素としてまたは永続性要素としてタグ付けするステップを含む。本方法はさらに、そのUI要素が非永続性要素としてタグ付けされたかまたは永続性要素としてタグ付けされたかに基づいて、UI要素をステレオ画像としてまたは単眼画像としてレンダリングするステップを含む。

画像を表示するための装置を開示する。本装置は、メモリと、このメモリを読み取るとともに画像を表示するように構成された1つまたは複数のプロセッサとを備える。このプロセッサは、画像に関するUI要素を生成するように構成される。このプロセッサはさらに、UI要素が非永続性としてタグ付けされているか、永続性要素としてタグ付けされているかを判定するために、UI要素のうちの1つと関連付けされたタグを検査するように構成される。このプロセッサはさらに、そのUI要素が非永続性要素としてタグ付けされたかまたは永続性要素としてタグ付けされたかに基づいて、UI要素をステレオ画像としてまたは単眼画像としてレンダリングするように構成される。

プロセッサによって実行するためのマシン可読命令を記憶する非一時的コンピュータ可読媒体を開示する。このプロセッサは、画像を表示するためのステップを実行させる命令を読み取る。この命令は、画像に関するUI要素を生成するステップを含む。この命令はさらに、UI要素が、非永続性要素としてタグ付けされているか、永続性要素としてタグ付けされているかを判定するために、UI要素のうちの1つと関連付けされたタグを検査するステップを含む。この命令はさらに、そのUI要素が非永続性要素としてタグ付けされたかまたは永続性要素としてタグ付けされたかに基づいて、UI要素をステレオ画像としてまたは単眼画像としてレンダリングするステップを含む。

HMDに対して画像を表示するためのシステムを開示する。本システムは、画像に関するUI要素を生成するための手段を含む。本システムは、UI要素が非永続性要素としてタグ付けされているか、永続性要素としてタグ付けされているかを判定するために、UI要素のうちの1つと関連付けされたタグを検査するための手段を含む。本システムはさらに、そのUI要素が非永続性要素としてタグ付けされたかまたは永続性要素としてタグ付けされたかに基づいて、UI要素をステレオ画像としてまたは単眼画像としてレンダリングするための手段を含む。

本開示の主題の一実施形態に従って画像を表示するためのコンピューティングシステムに接続されたHMDを示した図である。 本開示の主題の一実施形態に従った画像のUI要素に対するタグ付けおよびレンダリングのためのアプリケーションに関するプロセスの流れ図における各ステップを示した図である。 本開示の主題の一実施形態に従ってUI要素を単眼画像またはステレオ画像として選択的に表示するためのHMDに関するプロセスの流れ図における各ステップを示した図である。 本開示の主題の一実施形態に従ったユーザの利き眼の右眼用のHMDのディスプレイの例示的な視界を示した図である。 本開示の主題の一実施形態に従ったユーザの左眼用のHMDのディスプレイの例示的な視界を示した図である。 本開示の主題の一実施形態に従った図1のコンピューティングデバイスまたはHMDを実装するのに適したコンピュータシステムのブロック図である。

本開示の実施形態およびその利点については、以下の詳細な説明を参照することによって最適に理解されよう。図面のうちの1つまたは複数に示した同じ要素を識別するためには同じ参照番号を使用していることを理解されたい。

ステレオHMDからの表示画像の個別のUI要素を単眼画像またはステレオ画像として選択的に投影するためのシステムおよび方法を開示する。UI要素を、単眼画像としてレンダリング(単一の画像として投影されることになる)するためにタグ付けしても、ステレオ画像としてレンダリング(深度の知覚を引き起こすためにステレオ分離によって左眼画像および右眼画像として投影されることになる)するためにタグ付けしてもよい。UI要素を単眼画像としてタグ付けするかステレオ画像としてタグ付けするかは、そのUI要素が永続性要素と特徴付けされているかどうかに基づいていてもよい。永続性要素は、ユーザに対して情報を提示しているが、ユーザのフォーカス注目を必要としていない。ユーザが、永続性要素により提示される情報に対する意識を維持しつつ、他のUI要素にまたは実世界にフォーカスすることができるように、単眼画像として永続性要素をレンダリングしてもよい。HMDは、ユーザの利き眼に対して単眼画像を表示してもよい。一方で、非永続性UI要素は、ユーザのフォーカス注目を必要とし得る。非永続性UI要素を、指定の深度面に投影してユーザのフォーカスを引き寄せるために、ステレオ画像としてレンダリングしてもよい。

一実施形態では、アプリケーションに関するUI要素のタグ付けは、アプリケーションの開発時点で行われる。一実施形態では、UI要素のタグ付けは、アプリケーション開発中の開発者用のオプションを用いて実行時に行われ、実行時のタグをオーバライドしてもよい。UI要素と関連付けされるタグは、静的または動的であり得る。静的なタグは、UI要素を単眼画像またはステレオ画像のいずれかとして静的にレンダリングすることができる。動的タグは、UI要素をレンダリングの単眼画像とステレオ画像との間での切り替えることができる。たとえば、ユーザに注意を喚起するようにステレオ画像として表示するために、新たなステータスメッセージを、最初に非永続性UIとしてタグ付けしてもよい。ユーザがメッセージを読み取れるだけの時間期間の後、ステータスメッセージを、バックグラウンドの単眼画像としての表示のために永続性UIとしてタグ付けしてもよい。

有利には、永続性UI要素に関する単眼画像と非永続性UI要素に関するステレオ画像とを同時に表示することによって、異なる深度面に投影されている他のステレオ画像によって生じる複視作用を受けることなく、実世界に対するまたはある深度面におけるステレオ画像に対するフォーカスを、HMDを着用したユーザは維持し得る。

図1は、本開示の主題の一実施形態に従って画像を表示するためにコンピューティングデバイスに接続されたHMDを示している。コンピューティングデバイス102は、スマートフォン(たとえば、iPhone、Google phone、またはAndroid、Window Mobile、または他のオペレーティングシステムを稼働する他の電話機)、タブレットコンピュータ(たとえば、iPad、Galaxy)、パーソナルデジタルアシスタント(PDA)、ノートブックコンピュータ、または様々な他のタイプのワイヤレス式や有線式コンピューティングデバイスであってもよい。コンピューティングデバイス102は、本開示の趣旨を逸脱することなくモバイルデバイスと呼ばれることがあることを理解されたい。コンピューティングデバイス102は、ネットワーク106を介してHMD104と通信してもよい。

コンピューティングデバイス102は、UI要素からなる表示画像を生成するアプリケーションを稼働させてもよい。UI要素は、アプリケーションアイコン、ビデオストリーム、画像、インタラクティブ要素、メッセージ、ステータス情報、その他を含んでいてもよい。UI要素は、アプリケーションの開発時の間に単眼画像またはステレオ画像としてレンダリングするようにタグ付け済みであってもよく、またネットワーク106を介してHMD104に転送されてもよい。1つまたは複数の実施形態では、コンピューティングデバイス102は、UI要素をアプリケーションの実行時の間に静的または動的のいずれかでタグ付けしてもよい。他の実施形態では、静的なタグ付けは、アプリケーションの開発時の間に行われてもよい。動的タグ付けは、実行時の間に、アプリケーションによって、構成されたユーザプリファレンスによって、またはユーザ発行のコマンドを受けた際に、タグの動的な変更を可能にしていてもよい。1つまたは複数の実施形態では、UI要素を、ユーザの眼をトラッキングすることによって、HMD104により動的にタグ付けしてもよい。たとえば、HMD104は、投影されたステレオ画像の深度面上にユーザの眼がもはやフォーカスしていないと判定したときに、ステレオ画像から単眼画像に変更してもよい。タグ付けは、そのUI要素が永続性であるか非永続性であるか、あるいはUI要素の他の特性に基づいていてもよい。1つまたは複数の実施形態では、あるクラスまたはタイプのUI要素を同じようにタグ付けしてもよい。たとえば、画像のサムネイルスケッチをデフォルトで単眼画像としてタグ付けしてもよいし、また高解像度の画像をステレオ画像としてタグ付けしてもよい。

HMD104は、コンピューティングデバイス102のユーザが着用する眼鏡やヘルメットに組み込まれ得る。HMD104は、UI要素を、眼の一方だけに対する単眼画像として投影してもよいし、または一対のステレオ画像の各々が異なる眼に投影されるように一対のステレオ画像として投影してもよい。すなわち、この一対のステレオ画像は、深度の知覚を引き起こすように画像間にステレオ分離を設けるようにして左眼画像と右眼画像として投影され得る。1つまたは複数の実施形態では、ユーザは、単眼画像を視聴する際に用いる眼に関する優先を指定するためにHMD104の利き眼設定を構成してもよい。ユーザは、一対のステレオの左眼画像と右眼画像との間のステレオ分離など単眼画像またはステレオ画像をどのように表示させるかを指定するために他のパラメータを構成してもよい。

HMD104は、タグ付けされたUI要素をコンピューティングデバイス102から受け取ってもよく、またこれに従ってUI要素をレンダリングしてもよい。UI要素をレンダリングするためにHMD104は、そのUI要素と関連付けされたタグを検査する。そのタグによりUI要素が永続性であると示されている場合には、HMD104は、UI要素を単眼画像として、HMD104によって選択された一方の眼に対して、またはユーザによる構成に従って利き眼に対して投影する。そのタグによりUI要素が非永続性であると示されている場合には、HMD104は、UI要素の2つのステレオ画像間のステレオ分離を決定し、このステレオ画像を投影する。HMD104は、UI要素のすべてが表示されるまで現在の表示についてのUI要素のすべてに対するタグを検査する。あるUI要素に関するタグがアプリケーション実行時の間に変更された場合には、HMD104は、そのUI要素を再レンダリングしてもよく、またその新たなタグに従ってUI要素を投影してもよい。

HMD104を着用したユーザは、HMD104にコマンドを提供するためにコンピューティングデバイス102をユーザインターフェースとして使用してもよい。たとえば、ユーザは、単眼画像の表示のための利き眼設定を構成するために、ステレオ画像の表示のためのステレオ分離を構成するために、または動的タグ付けのためのUI要素のタグを変更するためにコンピューティングデバイス102上でアプリケーションを稼働してもよい。ユーザはまた、HMD104によって表示されたアイコンを選択するために、HMD104によって表示された画像やテキストの中をスクロールするために、また別の方法でHMD104とやりとりするためにコンピューティングデバイス102を使用してもよい。

ネットワーク106は、単一のネットワークとしてまたは複数のネットワークの組合せとして実装されてもよい。たとえば、様々な実施形態では、ネットワーク106は、インターネットおよび/または1つまたは複数のイントラネット、ワイヤレスネットワーク(たとえば、セルラー、ワイドエリアネットワーク(WAN)、WiFiホットスポット、WiMax、パーソナルエリアネットワーク(PAN)、Bluetooth(登録商標)、その他)、固定電話網および/または他の適当なタイプの通信ネットワークを含んでいてもよい。このため、様々な実施形態では、コンピューティングデバイス102は、ある特定のリンク(たとえば、URL(ユニフォームリソースロケータ)からIP(インターネットプロトコル)アドレスまでなどのリンク)と関連付けされていてもよい。

レンダリングのためにタグ付けされたUI要素をHMD104に転送するものとしてコンピューティングデバイス102を示しているが、UI要素のレンダリングは、コンピューティングデバイス102によって行っても、コンピューティングデバイス102とHMD104とが合同で行ってもよいことを理解されたい。同様に、UI要素に対する実行時タグ付けは、HMD104、コンピューティングデバイス102、またはこれらの組合せによって行われてもよい。さらに、ユーザが、HMD104と直接やりとりして、コンピューティングデバイス102の支援なしでコマンドを入力することができるように、コンピューティングデバイス102の機能をHMD104に組み込んでもよいことを理解されたい。

図2Aは、本開示の主題の一実施形態に従った画像のUI要素に対するタグ付けおよびレンダリングのためのアプリケーションに関するプロセスの流れ図における各ステップを示している。201では、アプリケーションがHMD104上に表示させようとする画像に関する1つまたは複数のUI要素を生成する。このUI要素は、アプリケーションの開発時の間に生成されてもよい。たとえば、ビデオアプリケーションの開発者が、ビデオを視聴するためにユーザによる操作用のグラフィックアイコンやユーザインターフェース要素を生成してもよい。1つまたは複数の実施形態では、アプリケーションが、UI要素をアプリケーションの実行時の間に生成してもよい。たとえば、ユーザがそのアプリケーションを稼働させているときに、ビデオアプリケーションがビデオクリップを表示してもよい。

203では、アプリケーションまたはアプリケーションを稼働させているコンピューティングデバイス102が画像からのUI要素を、そのUI要素がユーザのフォーカス注目を必要とするかどうかに基づいて、永続性要素としてまたは非永続性要素としてタグ付けする。タグ付けは、アプリケーションが開発されるときまたはアプリケーションが実行されるときに実行されてもよい。ユーザのフォーカス注目を必要としないUI要素は、永続性要素としてタグ付けされ得る。ユーザのフォーカス注目を必要とするUI要素は、非永続性要素としてタグ付けされ得る。

205では、表示デバイスがタグ付けされたUI要素を、そのタグに基づいて、ステレオ画像としてまたは単眼画像としてレンダリングする。たとえば、HMD104は、そのUI要素が永続性要素としてタグ付けされている場合には、他の場所にあるユーザのフォーカス注目と干渉しないように、UI要素を単眼画像としてレンダリングしてもよい。一方、HMD104は、UI要素が非永続性要素としてタグ付けされている場合には、ユーザのフォーカス注目を引き寄せるためにUI要素をステレオ画像としてレンダリングしてもよい。

図2Bは、本開示の主題の一実施形態に従ってUI要素を単眼画像またはステレオ画像として選択的に表示するための図1のHMDに関するプロセスの流れ図における各ステップを示している。202では、ユーザが、HMD104に関する利き眼設定を構成するためにコンピューティングデバイス102を使用する。ユーザは、単眼画像を視聴するのに好ましい眼として左眼または右眼を選択するためにアプリケーションを稼働させてもよい。1つまたは複数の実施形態では、ユーザはまた、ステレオ画像を投影するためにHMD104によって使用される左眼画像と右眼画像との間のステレオ分離を構成してもよい。1つまたは複数の実施形態では、利き眼および/またはステレオ分離の構成は、ユーザによるこうした構成の実行が一度だけで済むようにHMD104に記憶されていてもよい。

204では、コンピューティングデバイス102またはHMD104が表示させようとするUI要素のリストを生成する。このUI要素は、コンピューティングデバイス102上で稼働しているモバイルアプリケーションから、またはHMD104上で稼働しているホストアプリケーションから生成されてもよい。たとえば、このUI要素は、コンピューティングデバイス102上で稼働しているアプリケーションまたはOSによって生成されるアプリケーションアイコン、ビデオストリーム、画像および/またはインタラクティブ要素を含んでいてもよい。このUI要素はまた、HMD104上で稼働しているアプリケーションまたはOSからのメッセージ、ステータス情報、および/またはインタラクティブ要素を含んでいてもよい。このUI要素は、関連付けされたタグに基づいて、HMD104によって単眼画像またはステレオ画像のいずれかとして表示されることになる。

1つまたは複数の実施形態では、UI要素は、UI要素を生成するアプリケーションの開発時間中にタグ付けされる。1つまたは複数の実施形態では、UI要素は、アプリケーションからのUI要素が表示されるときにコンピューティングデバイス102またはHMD104によるアプリケーションの実行時の間にタグ付けされる。1つまたは複数の実施形態では、UI要素のタグ付けは、アプリケーション開発中の開発者用のオプションを用いて実行時に行われ、実行時のタグをオーバライドしてもよい。UI要素のタグ付けは、そのUI要素が永続性要素と特徴付けされたかどうかに基づいていてもよい。永続性要素は、ユーザのフォーカス注目を必要としておらず、このためユーザが永続性要素によって提示される情報に対する意識を維持しながら他のUI要素にまたは実世界にフォーカスできるように単眼画像としてレンダリングし得る。非永続性UI要素は、ユーザのフォーカス注目を必要としており、このためユーザによるフォーカス性の視聴のためにステレオ分離によって決定された深度面のステレオ画像としてレンダリングし得る。1つまたは複数の実施形態では、UI要素のタグ付けは、UI要素のクラスまたはタイプに基づいていてもよい。たとえば、ユーザ入力を受け取るUI要素をステレオ画像としてレンダリングするようにタグ付けしてもよいし、またユーザ入力を受け取らないUI要素を単眼画像としてレンダリングするようにタグ付けしてもよい。

206では、HMD104は、UI要素を単眼画像として表示させるかステレオ画像として表示させるかを判定するために各UI要素と関連付けされたタグを検査する。208では、タグによってUI要素が非永続性であると示されている場合、HMD104はUI要素を2つの画像間のステレオ分離を伴った一対のステレオ画像としてレンダリングする。HMD104は、深度の錯視を引き起こすために、この一対のステレオのうちの一方の画像を左眼に対して、またもう一方の画像を右眼に対して投影する。ステレオ分離は、ユーザによって構成されてもよく、アプリケーションの開発者またはコンテンツ製作者によって構成されてもよく、あるいはHMD104によって決定されてもよい。

210では、タグによってUI要素が永続性であると示されている場合、HMDはUI要素を単一の画像としてレンダリングする。HMD104は、利き眼に対して単眼画像を投影する。利き眼は、ユーザによって構成されてもよく、あるいはHMD104によって決定されてもよい。永続性UI要素を単眼画像としてかつ非永続性UI要素をステレオ画像として同じ視野域内に同時に表示することによって、ユーザは異なる深度面の他の非永続性ステレオUI要素によって生じる複視作用を伴うことなく実世界に対するまたは非永続性ステレオUI要素に対するフォーカスを維持し得る。212では、HMD104は、表示させるUI要素がさらに存在するかどうかを判定する。追加のUI要素が存在する場合、HMD104は視野域内のすべてのUI要素が単眼画像としてまたはステレオ画像として表示されるまで追加のUI要素を検査する。

214では、コンピューティングデバイス102および/またはHMD104はUI要素のいずれかに対して動的な再タグ付けを要するかどうかを判定する。動的なタグ付けによって、UI要素の単眼画像としてまたはステレオ画像としての表示をアプリケーション実行時の間に、アプリケーションによって、構成済みのユーザプリファレンスによって、またはユーザ発行コマンドを受けた際に動的に変更することが可能となる。1つまたは複数の実施形態では、UI要素の非永続性タグは、持続時間を有し得る。たとえば、ユーザに注意を喚起するようにステレオ画像として表示するために、新たなステータスメッセージを最初に非永続性UIとしてタグ付けしてもよい。ステレオ画像を、ユーザがメッセージを読み取れるような持続時間長にわたって表示してもよい。持続時間が満了すると、このステータスメッセージを、バックグラウンドの単眼画像としての表示のために永続性UIとしてタグ付けしてもよい。

1つまたは複数の実施形態では、HMD104は、UI要素を動的にタグ付けするためにユーザの眼をトラッキングしてもよい。たとえば、UI要素を、ステレオ画像としてレンダリングするために最初に非永続性要素としてタグ付けしてもよい。HMD104は、UI要素のステレオ画像を指定の深度面に投影してもよい。HMD104が、ユーザの眼のトラッキングによって、ユーザがそのフォーカスをUI要素の深度面から異なる深度面にある実世界にシフトしたことを検出した場合には、HMD104は、UI要素を単眼画像としてレンダリングして投影するために、HMD104に関するUI要素のタグを永続性要素に変更してもよい。後の時点においてHMD104によってユーザがそのフォーカスを実世界から逸らせたことが検出された場合には、HMD104は、ステレオ画像としてレンダリングするためにUI要素を非永続性要素に戻すように再タグ付けしてもよい。HMD104は、UI要素のステレオ画像を元の深度面に再度投影してもよい。1つまたは複数の実施形態では、ユーザは、UI要素の単眼画像/ステレオ画像間での切り替えを希望する場合には、UI要素に対するタグを変更するようにHMD104に指示してもよい。

図3は、本開示の主題の一実施形態に従ったユーザの利き眼の右眼用の図1のHMDのディスプレイの例示的な視界を示している。図4は、本開示の主題の一実施形態に従ったユーザの左眼用の同じディスプレイの例示的な視界を示している。図3のディスプレイ300は、ユーザの利き眼の右眼用に、右上隅にある単眼画像として表示された第1の単眼UI要素302と、右下隅にある別の単眼画像として表示された第2の単眼UI要素304とを含む。単眼UI要素は、ユーザがディスプレイの異なる部分にまたは実世界に対する眼のフォーカスを維持する可能性が高いときにバックグラウンドにHMD104のステータス情報を提供し得る永続性UI要素である。たとえば、単眼UI要素は、現在の時刻、日付またはHMD104の電池レベルを表示してもよい。

ディスプレイ300はまた、一対のステレオ画像の右眼画像として表示される中心の近くの3つのアプリケーションアイコン306、308、310とビデオストリーム312とを含む。図4のディスプレイ400は、一対のステレオ画像の左眼画像として表示されるアプリケーションアイコン406、408、410とビデオストリーム412とを含む。ユーザは、一対の右眼画像312と左眼画像412として投影されるステレオビデオストリームにフォーカスして、ストリーミングビデオを視聴する。ビデオストリームは、ストリームビデオが再生の終了後にディスプレイ300から除去されるため非永続性である。同様に、ユーザは、ユーザ入力機構を通じてアプリケーションアイコンのうちの1つを選択するために画像対306/406、308/408および310/410として投影されるステレオ性アプリケーションアイコンにフォーカスし得る。ユーザがアプリケーションアイコンのうちの1つを選択した後、3つのアプリケーションアイコンのうちの1つまたは複数が、ディスプレイ300から除去されてもよい。UI要素を単眼要素とステレオ要素の組合せによって表示することによってHMD104は、ユーザに単眼UI要素からの複視作用を体験させることなくディスプレイのステレオ要素または実世界に対するユーザによるフォーカスを可能にする。

図5は、本開示の主題の一実施形態に従った図1のコンピューティングデバイス102またはHMD104を実装するのに適したコンピュータシステム500のブロック図である。様々な実装形態では、ユーザのコンピューティングデバイス102は、ネットワークと通信することが可能なパーソナルコンピューティングデバイス(たとえば、スマートフォン、コンピューティングタブレット、パーソナルコンピュータ、ラップトップ、PDA、Bluetooth(登録商標)デバイス、キーFOB、badge、その他)を備えていてもよい。同様にHMD104は、眼鏡やヘルメットに組み込まれたパーソナルコンピューティングデバイスを備え得る。コンピューティングデバイス102またはHMD104は、記載した実施形態に従って様々な方法を実行するように動作する複数のハードウェア構成要素および/またはソフトウェア構成要素を備えまたは実装してもよい。例示的なコンピューティングデバイス102またはHMD104は、たとえば、モバイルOSを稼働させるスタンドアロンおよびネットワーク式のコンピュータを含んでいてもよい。

コンピュータシステム500は、コンピュータシステム500の様々な構成要素の間で情報データ、信号および情報を通信するためにバス502または他の通信機構を含む。構成要素には、仮想キーパッド/キーボードからキーを選択すること、1つまたは複数のボタンやリンクを選択すること、その他などのユーザ行為を処理するとともに、対応する信号をバス502に送信する入力/出力(I/O)構成要素504が含まれる。I/O構成要素504はまた、ユーザの眼の前方で短い距離に装着されたHMD104のディスプレイ511などの出力構成要素と、カーソル制御子513などの入力制御子(仮想キーボード、仮想キーパッド、仮想マウス、その他など)とを含んでいてもよい。オーディオ信号を情報信号に変換することによって情報を入力するための音声の使用をユーザに可能とさせるために任意選択のオーディオ入力/出力構成要素505もまた含まれ得る。オーディオI/O構成要素505は、ユーザにオーディオの聴取を可能とさせ得る。送受信機またはネットワークインターフェース506は、コンピュータシステム500と別のユーザデバイスなどの他のデバイスや別のネットワークコンピューティングデバイスとの間でネットワークへの通信リンク518を介して信号を送受信する。一実施形態では、その送信がワイヤレス式であるが、他の送信媒体および方法も適当となり得る。マイクロコントローラ、デジタル信号プロセッサ(DSP)、または他の処理構成要素とすることが可能なプロセッサ512は、コンピュータシステム500上への表示向けまたは通信リンク518を介した他のデバイスへの送信向けなどのためにこれらの様々な信号を処理する。プロセッサ512はまた、クッキーやIPアドレスなどの情報の他のデバイスへの送信を制御してもよい。

コンピュータシステム500の構成要素はまた、システムメモリ構成要素514(たとえば、RAM)、静的記憶構成要素516(たとえば、ROM)、および/またはディスクドライブ517を含む。コンピュータシステム500は、プロセッサ512および他の構成要素によってシステムメモリ構成要素514内に包含された命令の1つまたは複数のシーケンスを実行することによって指定の操作を実行する。ロジックは、プロセッサ512に実行のための命令を提供する際に関与する任意の媒体を意味し得るコンピュータ可読媒体内に符号化されてもよい。このような媒体は、不揮発性媒体、揮発性媒体および伝送媒体(ただし、これらに限らない)を含む多くの形態をとり得る。様々な実装形態では、不揮発性媒体は、光学式または磁気式ディスクまたは半導体ドライブを含み、また揮発性媒体は、システムメモリ構成要素514などの動的メモリを含み、また伝送媒体は同軸ケーブル、銅ワイヤおよび光ファイバ(バス502を備えたワイヤを含む)を含む。一実施形態では、ロジックは、非一時的コンピュータ可読媒体に符号化される。一例として、伝送媒体は、無線波、光学式および赤外線のデータ通信中に生じるような音波や光波の形態をとり得る。

本開示の様々な実施形態では、本開示を実施するための命令シーケンスの実行をコンピュータシステム500によって実行してもよい。本開示の様々な他の実施形態では、通信リンク518によってネットワーク(たとえば、LAN、WLAN、PTSN、および/または様々な他の有線式やワイヤレス式ネットワーク(遠隔通信、モバイル、および携帯電話ネットワークを含む)など)に結合させた複数のコンピュータシステム500が互いに協調して本開示を実施するための命令シーケンスを実行してもよい。

適用可能であれば、本開示によって提供される様々な実施形態は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組合せを用いて実装されてもよい。同じく適用可能であれば、本明細書に提示した様々なハードウェア構成要素、ソフトウェア構成要素および/またはファームウェア構成要素は、本開示の精神を逸脱することなくソフトウェア、ファームウェア、ハードウェアおよび/またはすべてを備えた複合構成要素になるように組み合わせてもよい。適用可能であれば、本明細書に提示した様々なハードウェア構成要素、ソフトウェア構成要素および/またはファームウェア構成要素は、本開示の精神を逸脱することなくソフトウェア、ファームウェア、ハードウェアまたはすべてを備えた下位構成要素に分離してもよい。さらに適用可能であれば、ソフトウェア構成要素をハードウェア構成要素として実装してもよいし、またこの逆の実装も企図される。適用可能であれば、本明細書に記載した様々なステップの順序は本明細書に記載した特徴を提供するために、変更され、混成のステップに合成され、および/またはサブステップに分離されてもよい。

本開示の実施形態について説明してきたが、これらの実施形態は本開示を例証するものであり限定するものではない。たとえば、HMD104に関するタグ付け、レンダリング、UI要素の投影について、HMD104と通信するコンピューティングデバイス102を用いて例証しているが、本開示の実施形態は、コンピューティングデバイス102の機能を組み入れたHMD104を包含していてもよい。さらに、本開示の実施形態はこれらの実施形態に限定されるべきでなく、本開示の原理に従って修正形態や変形形態を当業者によって実施することができ、そのような修正形態や変形形態も添付の特許請求の範囲に示したような本開示の精神および趣旨の範囲内に含まれ得ることを理解されたい。

102 コンピューティングデバイス
104 頭部装着式ディスプレイ(HMD)
106 ネットワーク
300 ディスプレイ
302 第1の単眼UI要素
304 第2の単眼UI要素
306 アプリケーションアイコン
308 アプリケーションアイコン
310 アプリケーションアイコン
312 ビデオストリーム
400 ディスプレイ
406 アプリケーションアイコン
408 アプリケーションアイコン
410 アプリケーションアイコン
412 ビデオストリーム
500 コンピュータシステム
502 バス
504 入力/出力(I/O)構成要素
505 オーディオI/O構成要素
506 ネットワークインターフェース
511 ディスプレイ
512 プロセッサ
513 カーソル制御子
514 システムメモリ構成要素
516 静的記憶構成要素
517 ディスクドライブ
518 通信リンク

Claims (51)

1. 頭部装着式ディスプレイ(HMD)に対して画像を表示するための方法であって、
   アプリケーションから前記画像に関する1つまたは複数のユーザインターフェース(UI)要素を生成するステップと、
   UI要素がユーザのフォーカス注目を必要とするかどうかに基づいて、前記UI要素を非永続性要素としてまたは永続性要素としてタグ付けするステップと、
   前記UI要素が非永続性要素としてタグ付けされたかまたは永続性要素としてタグ付けされたかに基づいて、前記UI要素をステレオ画像としてまたは単眼画像としてレンダリングするステップと
   を含む、方法。
2. UI要素を非永続性要素としてまたは永続性要素としてタグ付けする前記ステップは、前記UI要素がユーザのフォーカス注目を必要とする場合には前記UI要素を非永続性要素としてタグ付けするステップを含む、請求項1に記載の方法。
3. UI要素を非永続性要素としてまたは永続性要素としてタグ付けする前記ステップは、前記UI要素がユーザのフォーカス注目を必要とする場合には前記UI要素を永続性要素としてタグ付けするステップを含む、請求項1に記載の方法。
4. 前記UI要素をステレオ画像としてまたは単眼画像としてレンダリングする前記ステップは、前記UI要素が非永続性要素としてタグ付けされている場合には前記UI要素をステレオ画像としてレンダリングするステップを含む、請求項1に記載の方法。
5. 前記UI要素をステレオ画像としてレンダリングする前記ステップは、ステレオ分離によって分離された前記UI要素の2つの画像を生成するステップを含む、請求項4に記載の方法。
6. 前記UI要素をステレオ画像としてまたは単眼画像としてレンダリングする前記ステップは、前記要素が永続性要素としてタグ付けされている場合には前記UI要素を単眼画像としてレンダリングするステップを含む、請求項1に記載の方法。
7. 前記UI要素が永続性要素としてタグ付けされている場合には前記ユーザの一方の眼に対して前記UI要素の前記単眼画像を投影するステップをさらに含む、請求項1に記載の方法。
8. 前記HMDを前記ユーザの利き眼向けに構成するステップをさらに含み、前記UI要素の前記単眼画像を投影する前記ステップは、前記単眼画像を前記ユーザの前記利き眼に対して投影するステップを含む、請求項7に記載の方法。
9. 前記画像の各UI要素に対して、前記タグ付けするステップ、前記レンダリングするステップおよび前記投影するステップを繰り返すステップをさらに含む、請求項7に記載の方法。
10. 少なくとも1つの単眼画像と少なくとも一対のステレオ画像とを前記画像内に同時に投影するステップをさらに含む、請求項9に記載の方法。
11. 前記UI要素が非永続性要素としてタグ付けされている場合には前記ユーザの両眼に対して前記UI要素の前記ステレオ画像を投影するステップをさらに含む、請求項1に記載の方法。
12. 前記タグ付けするステップは、前記UI要素を生成する前記アプリケーションの開発時間中に行われる、請求項1に記載の方法。
13. 前記タグ付けするステップは、前記ユーザが前記UI要素を生成する前記アプリケーションを稼働させているときに行われる、請求項1に記載の方法。
14. 前記UI要素を前記永続性要素から前記非永続性要素におよびこの逆方向に変更するように前記UI要素を再タグ付けするステップと、前記再タグ付けするステップに基づいて前記UI要素をレンダリングするステップとをさらに含む、請求項1に記載の方法。
15. 前記UI要素が前記HMDのステータス情報を備える場合には、前記タグ付けするステップは前記UI要素を永続性要素としてタグ付けするステップを含む、請求項1に記載の方法。
16. 前記UI要素が前記ユーザに関するインタラクティブ要素を備える場合には、前記タグ付けするステップは前記UI要素を非永続性要素としてタグ付けするステップを含む、請求項1に記載の方法。
17. メモリと、
    前記メモリに結合された1つまたは複数のプロセッサであって、
    画像に関する1つまたは複数のユーザインターフェース(UI)要素を生成すること、
    UI要素と関連付けされたタグを検査すること、
    前記UI要素が非永続性要素としてタグ付けされたかまたは永続性要素としてタグ付けされたかに基づいて、前記UI要素をステレオ画像としてまたは単眼画像としてレンダリングすること、
    を行うように構成された1つまたは複数のプロセッサと
    を備える、装置。
18. 前記1つまたは複数のプロセッサは、前記UI要素が非永続性要素としてタグ付けされている場合には前記UI要素をステレオ画像としてレンダリングするようにさらに構成されることによって前記UI要素をレンダリングするように構成される、請求項17に記載の装置。
19. 前記1つまたは複数のプロセッサは、ステレオ分離によって分離された前記UI要素の2つの画像を生成するようにさらに構成されることによって前記UI要素をステレオ画像としてレンダリングするように構成される、請求項18に記載の装置。
20. 前記1つまたは複数のプロセッサは、前記要素が永続性要素としてタグ付けされている場合には前記UI要素を単眼画像としてレンダリングするようにさらに構成されることによって前記UI要素をレンダリングするように構成される、請求項17に記載の装置。
21. 表示媒体をさらに備え、前記1つまたは複数のプロセッサは前記ステレオ画像または前記単眼画像を前記表示媒体上に投影するようにさらに構成される、請求項17に記載の装置。
22. 前記1つまたは複数のプロセッサは、前記ステレオ画像をユーザの両眼に対して投影するようにさらに構成されることによって前記ステレオ画像または前記単眼画像を投影するように構成される、請求項21に記載の装置。
23. 前記1つまたは複数のプロセッサは、前記単眼画像をユーザの一方の眼に対して投影するようにさらに構成されることによって前記ステレオ画像または前記単眼画像を投影するように構成される、請求項21に記載の装置。
24. 前記1つまたは複数のプロセッサは、前記ユーザの利き眼向けの設定を受け取るようにさらに構成される、請求項23に記載の装置。
25. 前記1つまたは複数のプロセッサは、前記単眼画像を前記利き眼に対して投影するようにさらに構成されることによって前記単眼画像を前記ユーザの一方の眼に対して投影するように構成される、請求項24に記載の装置。
26. 前記1つまたは複数のプロセッサは、前記画像のUI要素の各々と関連付けされたタグを検査し、前記UI要素の各々をステレオ画像としてまたは単眼画像としてレンダリングし、かつ前記UI要素の各々に関する前記ステレオ画像または前記単眼画像を前記表示媒体上に投影するようにさらに構成される、請求項21に記載の装置。
27. 前記画像は、少なくとも1つの単眼画像と少なくとも一対のステレオ画像とを備える、請求項26に記載の装置。
28. 前記1つまたは複数のプロセッサは、前記タグが変更されたどうかを検出するために前記UI要素と関連付けされた前記タグを検査し、変更されたタグに基づいて、前記UI要素をステレオ画像としてまたは単眼画像としてレンダリングし、かつ前記ステレオ画像または前記単眼画像を前記変更されたタグに基づいて、前記表示媒体上に投影するようにさらに構成される、請求項21に記載の装置。
29. 前記UI要素が前記HMDのステータス情報を備える場合には、前記UI要素が永続性要素としてタグ付けされる、請求項17に記載の装置。
30. 1つまたは複数のプロセッサによって実行させたときに前記1つまたは複数のプロセッサに、
    画像に関する1つまたは複数のユーザインターフェース(UI)要素を生成するステップと、
    UI要素と関連付けされたタグを検査するステップと、
    前記UI要素が非永続性要素としてタグ付けされたかまたは永続性要素としてタグ付けされたかに基づいて、前記UI要素をステレオ画像としてまたは単眼画像としてレンダリングするステップと
    を含む方法を実行させるように適合された複数のマシン可読命令を備える、非一時的コンピュータ可読媒体。
31. 前記UI要素をステレオ画像としてまたは単眼画像としてレンダリングする前記ステップは、前記UI要素が非永続性要素としてタグ付けされている場合には前記UI要素をステレオ画像としてレンダリングするステップを含む、請求項30に記載の非一時的コンピュータ可読媒体。
32. 前記UI要素をステレオ画像としてレンダリングする前記ステップは、ステレオ分離によって分離された前記UI要素の2つの画像を生成するステップを含む、請求項31に記載の非一時的コンピュータ可読媒体。
33. 前記UI要素をステレオ画像としてまたは単眼画像としてレンダリングする前記ステップは、前記要素が永続性要素としてタグ付けされている場合には前記UI要素を単眼画像としてレンダリングするステップを含む、請求項30に記載の非一時的コンピュータ可読媒体。
34. 前記ステレオ画像または前記単眼画像を投影するステップをさらに含む、請求項30に記載の非一時的コンピュータ可読媒体。
35. 前記ステレオ画像または前記単眼画像を投影する前記ステップは、前記ステレオ画像をユーザの両眼に対して投影するステップを含む、請求項34に記載の非一時的コンピュータ可読媒体。
36. 前記ステレオ画像または前記単眼画像を投影する前記ステップは、前記単眼画像をユーザの一方の眼に対して投影するステップを含む、請求項34に記載の非一時的コンピュータ可読媒体。
37. 前記単眼画像を前記ユーザの一方の眼に対して投影する前記ステップは、前記単眼画像を前記ユーザの利き眼に対して投影するステップを含む、請求項36に記載の非一時的コンピュータ可読媒体。
38. 前記タグが変更されたどうかを検出するために前記UI要素と関連付けされた前記タグを検査するステップと、変更されたタグに基づいて前記UI要素をステレオ画像としてまたは単眼画像としてレンダリングするステップと、前記ステレオ画像または前記単眼画像を前記変更されたタグに基づいて投影するステップとをさらに含む、請求項34に記載の非一時的コンピュータ可読媒体。
39. 前記画像の各要素に対して、前記検査するステップ、前記レンダリングするステップおよび前記投影するステップを繰り返すステップをさらに含む、請求項34に記載の非一時的コンピュータ可読媒体。
40. 前記画像は少なくとも1つの単眼画像と少なくとも一対のステレオ画像とを備える、請求項39に記載の非一時的コンピュータ可読媒体。
41. 頭部装着式ディスプレイ(HMD)に対して画像を表示するためのシステムであって、
    前記画像に関する1つまたは複数のユーザインターフェース(UI)要素を生成するための手段と、
    UI要素と関連付けされたタグを検査するための手段と、
    前記UI要素が非永続性要素としてタグ付けされたかまたは永続性要素としてタグ付けされたかに基づいて、前記UI要素をステレオ画像としてまたは単眼画像としてレンダリングするための手段と
    を備える、システム。
42. 前記UI要素をステレオ画像としてまたは単眼画像としてレンダリングするための前記手段は、前記UI要素が非永続性要素としてタグ付けされている場合には前記UI要素をステレオ画像としてレンダリングするための手段を備える、請求項41に記載のシステム。
43. 前記UI要素をステレオ画像としてレンダリングするための前記手段は、ステレオ分離によって分離された前記UI要素の2つの画像を生成するための手段を備える、請求項42に記載のシステム。
44. 前記UI要素をステレオ画像としてまたは単眼画像としてレンダリングするための前記手段は、前記要素が永続性要素としてタグ付けされている場合には前記UI要素を単眼画像としてレンダリングするための手段を備える、請求項41に記載のシステム。
45. 前記ステレオ画像または前記単眼画像を投影するための手段をさらに備える請求項41に記載のシステム。
46. 前記ステレオ画像または前記単眼画像を投影するための前記手段は、前記UI要素の前記ステレオ画像をユーザの両眼に対して投影するための手段を備える、請求項45に記載のシステム。
47. 前記ステレオ画像または前記単眼画像を投影するための前記手段は、前記UI要素の前記単眼画像をユーザの一方の眼に対して投影するための手段を備える、請求項45に記載のシステム。
48. 前記HMDを前記ユーザの利き眼向けに構成するための手段をさらに備え、前記UI要素の前記単眼画像を投影するための前記手段は、前記単眼画像を前記ユーザの前記利き眼に対して投影するための手段を備える、請求項47に記載のシステム。
49. 前記タグが変更されたどうかを検出するために前記UI要素と関連付けされた前記タグを検査するための手段をさらに備え、前記レンダリングするための手段は、変更されたタグに基づいて、前記UI要素をステレオ画像としてまたは単眼画像としてレンダリングするための手段を備え、かつ前記投影するための手段は前記ステレオ画像または前記単眼画像を前記変更されたタグに基づいて投影するための手段を備える、請求項45に記載のシステム。
50. 検査するための前記手段は、前記画像に関する前記UI要素の各々と関連付けされたタグを検査するための手段を備え、前記レンダリングするための手段は、前記UI要素の各々をステレオ画像としてまたは単眼画像としてレンダリングするための手段を備え、かつ前記投影するための手段は前記UI要素の各々に関する前記ステレオ画像または前記単眼画像を投影するための手段を備える、請求項45に記載のシステム。
51. 前記画像は少なくとも1つの単眼画像と少なくとも一対のステレオ画像とを備える、請求項50に記載のシステム。

Images