JP2015118578A - 拡張現実情報詳細 - Google Patents

拡張現実情報詳細 Download PDF

Info

Publication number
JP2015118578A
JP2015118578A JP2013261876A JP2013261876A JP2015118578A JP 2015118578 A JP2015118578 A JP 2015118578A JP 2013261876 A JP2013261876 A JP 2013261876A JP 2013261876 A JP2013261876 A JP 2013261876A JP 2015118578 A JP2015118578 A JP 2015118578A
Authority
JP
Japan
Prior art keywords
information
holographic object
user
detail level
holographic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013261876A
Other languages
English (en)
Other versions
JP2015118578A5 (ja
Inventor
キンブリュー,ピーター・トビアス
Tobias Kinnebrew Peter
カムダ,ニコラス
Kamuda Nicholas
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Priority to JP2013261876A priority Critical patent/JP2015118578A/ja
Publication of JP2015118578A publication Critical patent/JP2015118578A/ja
Publication of JP2015118578A5 publication Critical patent/JP2015118578A5/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

【課題】選択情報詳細レベルを有するホログラフィック・オブジェクトを提示するホログラフィック・オブジェクト提示システムおよび関連する方法を提供する。【解決手段】ホログラフィック・オブジェクト提示プログラム14は、ユーザー行動情報74および物理環境情報60を受け取ることができる。ユーザー行動情報74および物理環境情報60の内1つ以上に基づいて、プログラム14は、ホログラフィック・オブジェクト36の選択情報詳細レベルを、調節情報詳細レベルに調節することができる。次いで、プログラム14は、調節情報詳細レベルのホログラフィック・オブジェクト36’を、ディスプレイ・デバイス38上に表示するために、拡張現実表示プログラム32に供給する。【選択図】図1

Description

従来技術
[0001] 拡張現実デバイスは、種々の実世界環境およびコンテキストにおいて、ホログラフィック・オブジェクト(holographic object)および他の仮想現実情報によって拡張された実世界のビューを提供するために使用することができる。このようなデバイスは、ユーザーに提示することができる大量の仮想現実情報にアクセスすることができる。拡張現実デバイスが使用されている実世界環境および/またはコンテキストに依存して、余りに多い拡張現実情報を提示すると、ユーザーを苛立たせるまたは閉口させ、情報を処理するのが困難になる場合がある。他の状況では、余りに多い仮想現実情報を提示すると、ユーザーをうんざりさせ、満足のいくユーザー体験に至らないこともある。
[0002] 特定のホログラフィック・オブジェクトのようなある種の仮想現実情報におけるユーザーの興味は、ときの経過と共に変わっていく可能性がある。加えて、環境要因を変更すると、ホログラフィック・オブジェクトの現状の詳細レベルまたは提示方法が、ユーザーにとって相応しくなかったり、望ましくないものになることもある。更に、ユーザーが異なれば、拡張現実デバイスによる拡張現実情報の量および/または提示方法に関して、好みや快適度も異なると考えられる。
[0003] 以上の課題に取り組むために、選択情報詳細レベルを有するホログラフィック・オブジェクトを提示するホログラフィック・オブジェクト提示システムおよび関連方法を提供する。一例では、ホログラフィック・オブジェクト提示プログラムは、ユーザー行動情報および物理環境情報を受け取ることができる。ホログラフィック・オブジェクト提示プログラムは、ユーザー行動情報および物理環境情報の内1つ以上に基づいて、ホログラフィック・オブジェクトの選択情報詳細レベルを、調節情報詳細レベルに調節することができる。次いで、ホログラフィック・オブジェクト提示プログラムは、調節情報詳細レベルのホログラフィック・オブジェクトを、拡張現実表示プログラムに供給することができ、ホログラフィック・オブジェクトは、拡張現実表示プログラムによって、ディスプレイ・デバイス上に表示されるように構成される。
[0004] この摘要は、詳細な説明の章において以下で更に説明する概念から選択したものを簡略化された形式で紹介するために、設けられている。この摘要は、特許請求する主題の主要な特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を限定するために使用されることを意図するのでもない。更に、特許請求する主題は、本開示の任意の部分に記される任意の欠点を解決する実施態様にも、全ての欠点を解決する実施態様にも限定されない。
図1は、本開示の一実施形態によるホログラフィック・オブジェクト提示システムの模式図である。 図2は、本開示の一実施形態による頭部装着ディスプレイ・デバイスの一例を示す。 図3は、本開示の一実施形態による図1のデフォルト情報詳細レベルにおけるホログラフィック・オブジェクトの模式図である。 図4は、図3の開発者定義情報詳細レベルの一例を示す表である。 図5は、図3の開発者定義トリガーおよび対応する調節情報詳細レベルの一例を示す表である。 図6は、図3の開発者定義トリガー、条件、および対応する調節情報詳細レベルの一例を示す表である。 図7は、図3のユーザー定義設定値の一例を示す表である。 図8は、図3の開発者定義行動状態の一例を示す表である。 図9は、2つのホログラフィック・オブジェクトを示す、図2の頭部装着ディスプレイ・デバイスを通して見たときの物理環境の模式図である。 図10は、図9の物理環境の模式図であり、異なる情報詳細レベルにおけるホログラフィック・オブジェクト、および異なる行動状態における他のホログラフィック・オブジェクトの内1つを示す。 図11Aは、本開示の一実施形態にしたがって、選択情報詳細レベルを有するホログラフィック・オブジェクトを提示する方法のフローチャートである。 図11Bは、本開示の一実施形態にしたがって、選択情報詳細レベルを有するホログラフィック・オブジェクトを提示する方法のフローチャートである。 図12は、計算デバイスの一実施形態を簡略化した模式図である。
[0017] 図1は、選択情報詳細レベルを有するホログラフィック・オブジェクトを提示するためのホログラフィック・オブジェクト提示システム10の一実施形態の模式図を示す。ホログラフィック・オブジェクト提示システム10は、計算デバイス22の大容量ストレージ18に格納することができるホログラフィック・オブジェクト提示プログラム14を含む。ホログラフィック・オブジェクト提示プログラム14は、メモリー26にロードされ、計算デバイス22のプロセッサー30によって実行され、以下に詳細に説明する方法およびプロセスの内1つ以上を実行することができる。
[0018] ホログラフィック・オブジェクト提示プログラム14は、種々の選択情報詳細レベルを有する1つ以上のホログラフィック・オブジェクトを含むことができる。尚、ホログラフィック・オブジェクトの情報詳細レベルは、ホログラフィック・オブジェクトによって提示される視覚情報またはホログラフィック・オブジェクトと共に表示される視覚情報の量に対応してもよく、種々の画像解像度レベル、色、明るさレベル、記述的映像詳細レベル、画像形式および形状、テキスト情報等を含むことは認められよう。
[0019] 一例では、そして図1に示すように、ホログラフィック・オブジェクト提示プログラム14は、デフォルト情報詳細レベルとするとよい選択情報詳細レベルを有するホログラフィック・オブジェクト36を含むことができる。以下で更に詳しく説明するが、デフォルト情報詳細レベルは、開発者定義情報詳細レベル(developer-defined information detail level)に対応することができ、ホログラフィック・オブジェクト36の開発者によって設定することができる。また、以下で更に詳しく説明するが、ホログラフィック・オブジェクト提示プログラム14は、プログラムによって、ホログラフィック・オブジェクト36の選択情報詳細レベルを、調節ホログラフィック・オブジェクト36’における調節情報詳細レベルに調節することもできる。また、2つ、3つ、4つ、またはそれ以上の調節情報詳細レベルというように、任意の適した数の調節情報詳細レベルを、ホログラフィック・オブジェクト提示システム10に含むことができることも認められよう。
[0020] 一例では、ホログラフィック・オブジェクト提示システム10は、計算デバイス22の大容量ストレージ18に格納することができる拡張現実表示プログラム32を含むことができる。拡張現実表示プログラム32は、頭部装着ディスプレイ(HMD)デバイス38のような、ディスプレイ・デバイス上での表示のために仮想環境34を生成することができる。仮想環境34は、ホログラフィック・オブジェクトのような、1つ以上の仮想物体表現を含むことができる。例の中には、インタラクティブ・ビデオ・ゲーム、モーション・ピクチャー体験、あるいは他の適した電子ゲームまたは体験の形態で拡張現実体験を提供するために、仮想環境34を生成できる場合もある。他の例では、拡張現実表示プログラム32は、離れて格納されてもよく、そして計算デバイス22が動作可能に接続されているネットワーク40を介して、計算デバイス22によってアクセスされるのでもよい。
[0021] 計算デバイス22は、デスクトップ計算デバイス、スマート・フォン、ラップトップ、ノートブックまたはタブレット・コンピューターのような移動体計算デバイス、ネットワーク・コンピューター、家庭娯楽用コンピューター、インタラクティブ・テレビジョン、ゲーミング・システム、あるいは他の適したタイプの計算デバイスの形態をなすことができる。計算デバイス22のコンポーネントおよび計算形態に関する追加の詳細については、図12を参照して以下で更に詳しく説明する。
[0022] 計算デバイス22は、有線接続を使用するHMDデバイス38と動作可能に接続することができ、あるいはWiFi、Bluetooth(登録商標)、または任意の他の適したワイヤレス通信プロトコルによるワイヤレス接続を採用することもできる。加えて、図1に示す例は、計算デバイス22を、HMDデバイス38とは別のコンポーネントとして示す。尚、他の例では、計算デバイス22をHMDデバイス38に統合してもよいことは認められよう。
[0023] また、計算デバイス22は、ネットワーク40を介して1つ以上の追加のデバイスとも動作可能に接続することができる。一例では、計算デバイス22は、サーバー32および移動体デバイス46と通信することができる。ネットワーク40は、ローカル・エリア・ネットワーク(LAN)、ワイド・エリア・ネットワーク(WAN)、有線ネットワーク、ワイヤレス・ネットワーク、パーソナル・エリア・ネットワーク、またはその組み合わせの形態をなすことができ、更にインターネットを含むこともできる。
[0024] 図2は、透過型ディスプレイ50を含む1対の装着可能なめがねの形態としたHMDデバイス200の一例を示す。他の例では、HMDデバイス200は、透過型ディスプレイ、半透過型ディスプレイ、または非透過型ディスプレイが見る人の一方または両方の目の前で支持される、他の適した形態をなすことができる。尚、図1に示すHMDデバイス28は、以下で更に詳しく説明するような、HMDデバイス200の形態、または任意の他の適したHMDデバイスの形態をなすこともできることは認められよう。加えて、種々のフォーム・ファクタを有する多くの他のタイプおよび構成のディスプレイ・デバイスを使用してもよいことも認められよう。例えば、拡張現実体験を提供することができるハンドヘルド・ディスプレイ・デバイスを使用することもできる。
[0025] 図1および図2を参照すると、この例では、HMDデバイス200は、画像をユーザー52の目に伝えることを可能にする透過型ディスプレイ50を含む。透過型ディスプレイ50は、透過型ディスプレイを通して物理環境を見るユーザーに、物理環境の外観を視覚的に拡張するように構成することができる。例えば、物理環境の外観は、透過型ディスプレイ50を通して提示されるグラフィック・コンテンツ(例えば、それぞれの色および明るさを有する1つ以上の画素)によって拡張することができる。
[0026] また、透過型ディスプレイ50は、仮想オブジェクト表現を表示している1つ以上の部分的に透過性の画素を介して、ユーザーが物理環境における実世界物体を見ることを可能にするように構成されている。一例では、透過型ディスプレイ50は、レンズ204内に配置されている画像生成エレメント(例えば、シースルー有機発光ダイオード(OLED)ディスプレイのような)を含むことができる。他の例として、透過型ディスプレイ50は、レンズ204のエッジに光変調器を含むこともできる。この例では、レンズ204は、光変調器からの光をユーザーの目に伝える導光路の役割を果たすことができる。
[0027] 他の例では、透過型ディスプレイ50は、HMDデバイス200を装着しているユーザーの目に到達する前に、物理環境から受光する光の選択的フィルタリングをサポートすることもできる。このようなフィルタリングは、画素毎に、または画素のグループ毎に行うことができる。一例では、透過型ディスプレイ50は、1つ以上の照明画素(illuminated pixel)の形態の光を追加する第1表示層と、物理環境から受光される周囲光を排除する第2表示層とを含むことができる。これらの層は、異なる表示解像度、画素密度、および/または表示能力を有することができる。
[0028] また、HMDデバイスは、種々のシステムおよびセンサーも含むことができる。例えば、そして図1におけるHMDデバイス38も参照すると、HMDデバイス200は、少なくとも1つの内向センサー208を利用する目追跡システム54を含むことができる。内向センサー208は、ユーザーの目からの目追跡情報の形態で画像データーを取り込むように構成されている撮像センサーとするとよい。ユーザーがこの情報の取り込みおよび使用に同意したことを条件に、目追跡システム54はこの情報を使用して、ユーザーの眼位および/または目の動きを追跡することができる。目追跡システム54は、次いで、ユーザーはどこをおよび/またはどの実世界または仮想物体を凝視しているのか判断することができる。
[0029] HMDデバイス200は、また、光センサーのような、少なくとも1つの外向センサー212を利用する光センサー・システム58も含むことができる。外向センサー212は、ジェスチャーに基づく入力あるいはユーザーまたは視野内にいる人が行う他の動きというような、その視野内における動きを検出することができる。また、外向センサー212は、画像情報および深度情報を、物理環境およびその環境内にある実世界物体から取り込むこともできる。例えば、外向センサー212は、深度カメラ、可視光カメラ、赤外線光カメラ、および/または位置追跡カメラを含むことができる。例の中には、外向センサー212が、物理環境における実世界照明状態からの可視スペクトルおよび/またはは赤外線光を観察するために1つ以上の光センサーを含むこともできる。このようなセンサーは、例えば、電荷結合デバイス撮像センサーを含むことができる。
[0030] 先に注記したように、HMDデバイス200は、1つ以上の深度カメラによる深度検知を含むことができる。各深度カメラは、例えば、立体視カメラの左および右カメラを含むことができる。これらの深度カメラの1つ以上からの時間分解画像(time-resolved image)を互いに位置合わせすること、および/または可視スペクトル・カメラのような他の光センサーからの画像に位置合わせすることができ、更に組み合わせて深度分解ビデオを生成することができる。
[0031] 例の中には、深度カメラが、複数の離散特徴(例えば、線および点)を含む構造化赤外線照明を投射するように構成されている構造化光深度カメラの形態をなすとよい場合もある。この深度カメラは、構造化照明が投射される場面から反射した構造化照明を撮像するように構成することができる。撮像された場面の種々の領域における隣接する特徴間の間隔に基づいて、この場面の深度マップを構築することができる。
[0032] 他の例では、深度カメラは、場面にパルス状赤外線照明を投射するように構成されている飛行時間深度カメラの形態をなすこともできる。この深度カメラは、場面から反射するパルス状照明を検出するように構成することができる。これらの深度カメラの2つ以上は、パルス状照明に同期された電子シャッターを含むことができる。ソースから場面へそして深度カメラへのパルス状照明の画素分解飛行時間が、2つの深度カメラの対応する画素において受光される相対的な光量から区別可能となるように、2つ以上の深度カメラの積分時間が異なっているとよい。また、HMDデバイス200は、構造化光および/または飛行時間深度分析において補助するために、赤外線プロジェクターも含むことができる。
[0033] 他の例では、ユーザー52および/または物理環境にいる人からのジェスチャーに基づく入力あるいは他の動き入力を、1つ以上の深度カメラによって検出することもできる。例えば、外向センサー212は、深度画像を作るために、相対的位置がわかっている2つ以上の光センサーを含むことができる。相対的位置が分かっているこれらの光センサーからの動きの結果を使用すると、このような深度画像はときの経過と共に進展することができる。
[0034] 外向センサー212は、ユーザー52がいる物理環境の画像を取り込むことができる。以下で更に詳しく説明するが、このような画像は、HMDデバイス38によって受け取られ計算デバイス22に供給することができる物理環境情報60の一部とすることができる。一例では、拡張現実表示プログラム32は、3Dモデリング・システムを含むことができる。この3Dモデリング・システムは、このような入力を使用して、取り込まれた物理環境をモデリングする仮想環境34を生成する。
[0035] また、HMDデバイス200は、位置センサー・システム62も含むことができる。位置センサー・システム62は、HMDデバイス200の位置追跡および/または方位検知を可能にし、物理環境内におけるHMDデバイスの位置を判定するために、1つ以上の動きセンサー216を利用する。一例として、位置センサー・システム62は、6軸または6自由度の位置センサー・システムとして構成された慣性測定ユニットを含むことができる。この位置センサー・システム例は、例えば、3つの加速度計および3つのジャイロスコープを含み、3本の直交軸(例えば、x、y、z)に沿った三次元空間におけるHMDデバイス200の位置変化、および3本の直交軸を中心とするHMDデバイスの方位(例えば、ロール、ピッチ、ヨー)の変化を示すまたは測定することができる。
[0036] 位置センサー・システム62は、GPSまたは他の汎地球ナビゲーション・システムというような、他の適した測位技法もサポートすることができる。例えば、位置センサー・システム62は、衛星および/または地上基地局からブロードキャストされるワイヤレス信号を受信するためにワイヤレス受信機(例えば、GPS受信機またはセルラ受信機)を含むことができる。これらのワイヤレス信号は、HMDデバイス200の地理的位置を特定するために使用することができる。
[0037] HMDデバイス200によって受信されたワイヤレス信号から得られた位置情報は、動きセンサー216から得られた測位情報と組み合わせて、HMDデバイス200の位置および/または方位の指示を与えることができる。位置センサー・システムの具体的な例について説明したが、他の適した位置センサー・システムを使用してもよいことは認められよう。
[0038] また、動きセンサー216は、ユーザーが首または頭のジェスチャー、または身体のジェスチャーによってHMDデバイス200と対話処理することができるように、ユーザー入力デバイスとして使用することもできる。動きセンサーの非限定的な例には、加速度計、ジャイロスコープ、コンパス、および方位センサーが含まれ、その任意のコンビネーションまたはサブコンビネーションも含むことができる。
[0039] また、HMDデバイス200は、1つ以上のマイクロフォン220も含むことができる。ある例では、そして以下で更に詳しく説明するが、マイクロフォン220がユーザーからのオーディオ入力および/またはユーザーの周囲の物理環境からのオーディオ入力を受けることができる。加えてまたは代わりに、HMDデバイス200とは別個の1つ以上のマイクロフォンを使用してオーディオ入力を受けることもできる。
[0040] また、HMDデバイス200は、以下で図12に関して更に詳しく説明するように、論理サブシステムおよびデーター保持サブシステムを有するコントローラ224も含むことができる。これらのサブシステムは、HMDデバイスの種々の入力および出力デバイスと通信することができる。端的に言うと、データー保持サブシステムは、例えば、センサーからの入力を受け取り、通信サブシステムを介して計算デバイス22に転送し(未処理のまたは処理済みの形態で)、そして透過型ディスプレイ50を介して画像をユーザー52に提示するために、論理サブシステムによって実行可能な命令を含むことができる。
[0041] 尚、HMDデバイス200ならびに以上で説明し図1および図2において図示した関連センサーおよび他のコンポーネントは、一例として示したに過ぎないことは認められよう。これらの例は、限定であることを全く意図していない。何故なら、任意の他の適したセンサー、コンポーネント、および/またはセンサーおよびコンポーネントの組み合わせを利用してもよいからである。したがって、HMDデバイス200は、本開示の範囲から逸脱することなく、追加のおよび/または代わりのセンサー、カメラ、マイクロフォン、入力デバイス、出力デバイス等を含んでもよいことは理解されてしかるべきである。更に、HMDデバイス200ならびにその種々のセンサーおよびサブコンポーネントの物理的構成も、本開示の範囲から逸脱することなく、種々の異なる形態をなすことができる。
[0042] これより図3から図10を参照して、ホログラフィック・オブジェクト提示システム10およびHMDデバイス200を利用する実施形態例ならびに使用事例について、これより説明する。これらの実施形態および使用事例を説明するにあたって、ユーザー52が装着したHMDデバイス200の透過型デバイス50を通して見たときの物理環境230の模式図を示すために、図9および図10を用意した。
[0043] 尚、例の中には、ホログラフィック・オブジェクト提示プログラム14が、計算デバイス22のメモリー26から、デフォルト情報詳細レベルでホログラフィック・オブジェクト36を受け取ることができる場合もあることは認められよう。他の例では、ホログラフィック・オブジェクト36は、サーバー42または移動体デバイス46のような、計算デバイス22外部のソースからネットワーク40を介して受信することもできる。
[0044] これより図3を参照すると、ホログラフィック・オブジェクト36は、1つ以上の開発者定義情報詳細レベル64を含むことができる。図4に示す一例では、そして図9および図10も参照すると、ホログラフィック・オブジェクト36は、地球を表す球体の地球儀(spherical globe)234の形態をなすことができる。ホログラフィック・オブジェクト36の開発者は、地球儀234によって表示される情報の種々のレベルに対応する、開発者定義情報詳細レベル64を含ませることができる。
[0045] 図4に示すように、一例では、地球儀234の最大詳細レベルが、地形差高線の表現、水体の詳細な描画、森林被覆などの三次元表現を含む、地球の起伏地形全体に対応することができる。中間レベルの詳細は、
大陸および水体の二次元概要の地球儀234というような、最大詳細レベルよりも視覚情報が少ない地球儀234に対応することができる。低レベルの詳細は、青く塗り潰した球体として描画された地球儀234というような、中間レベルの詳細よりも視覚情報が少ない地球儀234に対応することができる。最低レベルの詳細は、透明で無色の球体として描画された地球儀234というような、低レベルの詳細よりも視覚情報を少ない地球儀234に対応することができる。一例では、地球儀234のデフォルト情報詳細レベルを、図4に示すよな低レベルの詳細に設定してもよい。また、他の例では、それよりも低いまたは高いレベルの情報詳細を、ホログラフィック・オブジェクト36に与えてもよいことは認められよう。
[0046] 再度図1および図2を参照すると、前述のように、HMDデバイス200の種々のセンサーおよびシステムの内1つ以上が、ユーザー行動情報74および/または物理環境情報60を受け取ることができる。例の中には、ユーザー行動情報74が、音声認識情報、目追跡情報、頭部姿勢情報、ユーザー動き情報、およびユーザー・ジェスチャー情報を含む場合もある。物理環境情報60は、例えば、光情報、物理的物体近接情報、および物理的物体速度情報を含むことができる。
[0047] 以下で更に詳しく説明するが、ユーザー行動情報74および物理環境情報60の内1つ以上の基づいて、ホログラフィック・オブジェクト提示システム10は、ホログラフィック・オブジェクト36の選択情報詳細レベルを調節して、ホログラフィック・オブジェクト36’において表現される、調節情報詳細レベルにすることができる。次いで、ホログラフィック・オブジェクト提示システム10は、調節情報詳細レベルとしたホログラフィック・オブジェクト36’を、拡張現実表示プログラム32に供給することができ、ホログラフィック・オブジェクト36’をHMDデバイス200上に表示されるように構成する。
[0048] 一例では、そして図9を参照すると、地球儀234は、初期状態では、図4の表に示されるような青く塗り潰した球体に対応する低情報詳細レベルのような、デフォルト情報詳細レベルで表示されてもよい。物理環境情報60および/またはユーザー行動情報74に対応する開発者定義トリガーも、地球儀234に関連付けることができる。一例では、音声認識情報、目追跡情報、頭部姿勢情報、ユーザー動き情報、およびジェスチャー情報の内1つ以上に基づいて、ホログラフィック・オブジェクト提示システム14は、ユーザー52がホログラフィック・オブジェクトに対する興味のレベルが増々高くなっていることを示唆する、興味増加トリガーを検出するように構成することができる。興味増加トリガーを検出したことに基づいて、ホログラフィック・オブジェクト提示プログラム14は、ホログラフィック・オブジェクトの選択情報詳細レベルを高くすることができる。
[0049] 一例では、ホログラフィック・オブジェクト提示プログラム14は、目追跡システム54から受け取った目追跡情報において、ユーザー52が地球儀234を凝視していることを検出することができる。図10に示すように、ユーザーの凝視に基づいて、ホログラフィック・オブジェクト提示プログラム14は、地球儀234のデフォルト情報詳細レベルを、低情報詳細レベルから、大陸および水体概要がある地球儀234’に対応する中間情報詳細レベルに高くすることができる。
[0050] これより図5を参照すると、表68は、ユーザーの凝視に関係する開発者定義トリガーおよび対応する情報詳細レベルの4つの他の例を示す。第1トリガーは、ユーザーがホログラフィック・オブジェクトを3秒よりも長い間凝視することと定めることができる。このトリガーが検出されたとき、ホログラフィック・オブジェクト提示プログラム14は、オブジェクトの情報詳細を最大詳細レベルに調節することができる。尚、この第1トリガーは、ユーザーのオブジェクトに対する興味が高まりつつあることを示唆する興味増加トリガーに対応するとよいことは認められよう。
[0051] 引き続き表68を参照すると、第2トリガーは、ユーザーが凝視していたホログラフィック・オブジェクトからユーザーが目を逸らしていることと定めることができる。このトリガーが検出されたとき、ホログラフィック・オブジェクト提示プログラム14は、オブジェクトの情報詳細を中間の詳細レベルに調節することができる。第3トリガーは、ユーザーが3秒よりも長い間ホログラフィック・オブジェクトから目を逸らしていることと定めることができる。このトリガーが検出されたとき、ホログラフィック・オブジェクト提示プログラム14は、このオブジェクトの情報詳細を低詳細レベルに調節することができる。第4トリガーは、ユーザーが異なるホログラフィック・オブジェクトと対話処理していることと定めることができる。このトリガーが検出されたとき、ホログラフィック・オブジェクト提示プログラム14は、直前のオブジェクトの情報詳細を最低の詳細レベルに調節することができる。
[0052] 尚、以上で説明した第2、第3、および第4トリガーは、ユーザーのオブジェクトに対する興味が低下していることを示唆する興味低下トリガーに対応することができることは認められよう。また、ユーザー行動情報74および/または物理環境情報60に関連する多くの他のタイプのトリガー、ならびにトリガーに関連する値も利用できることも認められよう。
[0053] 他の例では、2つ以上の開発者定義条件を各開発者定義トリガーに関連付けることもでき、各条件が特定の情報詳細レベルに対応する。これより図6を参照すると、一例では、表72は、図5の4つの開発者定義トリガーと、これらのトリガーの各々に対する2つの可能な条件とを含む。条件毎に、対応する調節情報詳細レベルが設けられる。図6に示す例では、物理環境照明条件が検出され、日中または夜間のいずれかに類別することができる。第1トリガーに関して、ユーザーがホログラフィック・オブジェクトを2秒よりも長い間凝視するとき、検出された条件が日中である場合、ホログラフィック・オブジェクト提示プログラム14は、このオブジェクトに最高の詳細レベルを与えることができる。検出された条件が夜間である場合、ホログラフィック・オブジェクト提示プログラム14は、このオブジェクトに中間の詳細レベルを与えることができる。
[0054] 第2トリガーに関して、ユーザーがオブジェクトから目を逸らしたとき、検出された条件が日中である場合、ホログラフィック・オブジェクト提示プログラム14は、このオブジェクトの情報詳細を中間の詳細レベルに調節することができる。検出された状態が夜間である場合、ホログラフィック・オブジェクト提示プログラム14はこのオブジェクトの情報詳細を低い詳細レベルに調節することができる。第3トリガーに関して、ユーザーが3秒よりも長い間オブジェクトから目を逸らしたとき、検出された条件が日中である場合、ホログラフィック・オブジェクト提示プログラム14は、このオブジェクトの情報詳細を低い詳細レベルに調節することができる。検出された条件が夜間である場合、ホログラフィック・オブジェクト提示プログラム14は、このオブジェクトの情報詳細を最低の詳細レベルに調節することができる。第4トリガーに関して、ユーザーが他のホログラフィック・オブジェクトと対話処理したとき、検出された条件が日中か夜間かには関係なく、ホログラフィック・オブジェクト提示プログラム14は、直前のオブジェクトの情報詳細を最低の詳細レベルに調節することができる。
[0055] 有利なこととして、この例では、開発者は、ユーザーが体験しているかもしれない物理環境の条件に基づいて、ホログラフィック・オブジェクトの情報詳細レベルを更に制御することができる。尚、情報詳細レベルを調節するために、多くの他のタイプの条件を利用してもよいことは認められよう。このような条件には、他のユーザー行動、ノイズ・レベルおよび天候というような他の物理環境状態、他のオブジェクトまたは人の数および/または近接度、ユーザーの心理的状態、仮想環境における他のホログラフィック・オブジェクトの数および/または近接度等を含むことができるが、これらに限定されるのではない。
[0056] 他の例では、1つ以上のユーザー定義設定値を、開発者定義トリガーと関連付けることができ、各ユーザー定義設定値が、ホログラフィック・オブジェクトの情報詳細レベルを調節するパラメーターを決定する。一例では、図7を参照すると、表76は、ある種のユーザー行動に関連する2つのユーザー定義設定値を含む。第1ユーザー定義設定値は、ユーザーのホログラフィック・オブジェクト凝視の最短時間に関係し、最高情報詳細レベルを生ずることができる。この例では、ホログラフィック・オブジェクト提示プログラム14を介してホログラフィック・オブジェクトと対話処理することに精通した経験豊富なユーザーであれば、1秒のユーザー定義設定値を入力することができる。つまり、ユーザーがホログラフィック・オブジェクトを1秒間凝視すると、ホログラフィック・オブジェクト提示プログラム14は情報詳細レベルを最高レベルに調節する。他の例では、ホログラフィック・オブジェクト提示プログラム14を使用することに精通していない初心者のユーザーであれば、例えば、もっと長い4秒のユーザー定義設定値を入力することもできる。
[0057] 引き続き図7を参照すると、第2ユーザー定義設定値は、ユーザーがホログラフィック・オブジェクトから目を逸らした後の最短時間に関係し、低い情報詳細レベルを生ずることができる。この例では、経験豊富なユーザーは1秒のユーザー定義設定値を入力することができる。つまり、ユーザーがホログラフィック・オブジェクトから目を逸らしたとき、1秒後に、ホログラフィック・オブジェクト提示プログラム14は情報詳細レベルを低レベルに調節する。他の例では、ホログラフィック・オブジェクト提示プログラム14を使用することに精通していない初心者のユーザーは、例えば、2秒といったもっと長いユーザー定義設定値を入力することができる。尚、ユーザー定義設定値は、開発者定義トリガーにおける対応する設定値に優先できることは認められよう。
[0058] 興味増加トリガーの他の例では、そして再度図9および図10を参照すると、ホログラフィック・オブジェクト提示プログラム14は、位置センサー・システム62から受け取ったユーザー動き情報から、ユーザー52が地球儀234に向かって動いていることを検出することができる。このユーザーの動きに基づいて、ホログラフィック・オブジェクト提示プログラム14は、地球儀234のデフォルト情報詳細レベルを、低い詳細情報レベルから、図9に示す地球儀234’に対応する中間の詳細情報レベルに高めることができる。
[0059] 興味増大トリガーの他の例では、そして再度図9および図10を参照すると、ホログラフィック・オブジェクト提示プログラム14は、光センサー・システム58から受け取ったユーザー・ジェスチャー情報から、ユーザー52が地球儀234に向かってジェスチャーを行っていることを検出することができる。例えば、ユーザー52は指56を地球儀234に向けて指し示すことができる。地球儀234に対して高まる興味を示唆するユーザー・ジェスチャーを検出したことに基づいて、ホログラフィック・オブジェクト提示プログラム14は、地球儀234のデフォルト情報詳細レベルを、低い詳細情報レベルから、図10に示す地球儀234’に対応する中間の詳細情報レベルに高めることができる。尚、地球儀234に向けて頷くというような、多くの他のタイプおよび形態のユーザー・ジェスチャーも検出し、地球儀234に対するユーザー52の高まる興味を推論するために使用できることは認められよう。
[0060] 興味増加トリガーの更に他の例では、ホログラフィック・オブジェクト提示プログラム14は、マイクロフォン220から受け取った音声認識情報において、地球儀234に対するユーザーの高まる興味レベルを示唆する声かけ(verbal cue)を検出することができる。例えば、ユーザー52が「地球はなんと美しいのだろう」と言ったとしてもよい。このような声かけに基づいて、ホログラフィック・オブジェクト提示プログラム14は地球儀234のデフォルト情報詳細レベルを高めることができる。尚、多くの他の声かけの例も検出して、地球儀234に対するユーザー52の高まる興味を推論するために使用できることは認められよう。
[0061] 他の例では、1つ以上の開発者定義ホログラフィック・オブジェクト行動状態を、ホログラフィック・オブジェクトに対して規定することもできる。図9を参照すると、一例において、バルーン238の形態となっているホログラフィック・オブジェクトを、HMDデバイス200の透過型ディスプレイ50上に表示することができる。図8の表80に示すように、バルーン238の2つの異なる開発者定義行動状態を規定することができる。第1の静的行動状態では、バルーン234はユーザー52に対して静止しているように見える。第2の動的行動状態では、図10に示すように、バルーン238’は、風によってもてあそばれているかのように、ふらついて見える。
[0062] 尚、開発者定義ホログラフィック・オブジェクト行動状態は、種々のユーザー行動、物理環境状態、仮想環境パラメーター、および/または他の要因によって呼び出すことができることは認められよう。また、多くの異なる形態の開発者定義ホログラフィック・オブジェクト行動状態も、種々のホログラフィック・オブジェクトに対して設けることができることも認められよう。
[0063] 他の例では、ホログラフィック・オブジェクト提示システム10は、物理環境230から受け取った物理環境情報60を使用して、ホログラフィック・オブジェクト36の選択情報詳細レベルを、ホログラフィック・オブジェクト36’の調節情報詳細レベルに調節することができる。物理環境情報60が物理的オブジェクト近接情報を含む一例では、ホログラフィック・オブジェクト提示プログラム14は、他の人がユーザー52から、例えば、半径3フィート以内というような、指定距離以内に移動したときに、ホログラフィック・オブジェクトの情報詳細レベルを、もっと低い詳細レベルに調節することができる。
[0064] 物理環境情報60が外部オーディオ情報を含む他の例では、ホログラフィック・オブジェクト提示プログラム14は、ユーザーにとって重要であり得るオーディオ情報が検出されたときに、ホログラフィック・オブジェクトの情報詳細レベルをもっと低い詳細レベルに調節することができる。一例では、このようなオーディオ情報は、ユーザーが予定している航空便に関する飛行場における通知を含むことができる。物理環境情報60が物理的オブジェクト速度情報を含む他の例では、ホログラフィック・オブジェクト提示プログラム14は、外部オブジェクトがしきい値よりも高い速度でユーザー52に向かって進んで来ることが検出されたときに、ホログラフィック・オブジェクトの情報詳細レベルをもっと低い詳細レベルに調節することができる。一例では、実世界の野球のボールが約15km/hrの速度でユーザー52に向かって飛んで来るとき、ホログラフィック・オブジェクト提示プログラム14は、ホログラフィック・オブジェクト36の選択情報詳細レベルを、もっと低い詳細レベルに調節することができる。尚、物理環境情報60の多くの他の例も、ホログラフィック・オブジェクト36の選択情報詳細レベルを調節情報詳細レベルに、高い方また低い方の詳細レベルのいずれにも調節するために使用できることは認められよう。
[0065] 例の中には、情報詳細レベルが低い程、高い情報詳細レベルと比較して、ホログラフィック・オブジェクトの高い透過性に対応するとよい場合がある。同様に、情報詳細レベルが高い程、低い情報詳細レベルと比較して、ホログラフィック・オブジェクトの高い不透明性に対応するとよい場合もある。他の例では、ホログラフィック・オブジェクトの情報詳細レベルの調節が、ホログラフィック・オブジェクトの形態または形状を変化させることを含むのでもよい。例えば、人の最も低い情報詳細レベルが、棒線画のアイコン(stick figure icon)に対応してもよく、一方その人の低い詳細情報レベルが、顔のある二次元の姿に対応してもよい。
[0066] 図11Aおよび図11Bは、本開示の一実施形態にしたがって、選択情報詳細レベルを有するホログラフィック・オブジェクトを提示する方法300のフローチャートを示す。方法300についての以下の説明は、以上で説明し図1に示したホログラフィック・オブジェクト提示システム10のソフトウェアおよびハードウェア・コンポーネントを参照しながら行う。尚、方法300は、他の適したハードウェアおよびソフトウェア・コンポーネントを使用する他のコンテキストでも実行できることは認められよう。
[0067] 図11Aを参照すると、304において、本方法は、音声認識情報、目追跡情報、頭部姿勢情報、ユーザー動き情報、ユーザー・ジェスチャー情報というような、ユーザー行動情報74を受けるステップを含むことができる。308において、本方法は、音声認識情報、目追跡情報、頭部姿勢情報、ユーザー動き情報、およびユーザー・ジェスチャー情報の内1つ以上において、興味増加トリガーを検出するステップを含むことができる。一例では、312において、本方法は、ユーザーがホログラフィック・オブジェクトを凝視していることを、目追跡情報において検出するステップを含むことができる。他の例では、316において、本方法は、ユーザー動き情報において、ユーザーがホログラフィック・オブジェクトに向かってジェスチャーを行っていることを検出するステップを含むことができる。更に他の例では、320において、本方法は、ユーザー・ジェスチャー情報において、ユーザーがホログラフィック・オブジェクトに向かってジェスチャーを行っていることを検出するステップを含むことができる。
[0068] 324において、本方法は、音声認識情報、目追跡情報、頭部姿勢情報、ユーザー動き情報、およびユーザー・ジェスチャー情報の内1つ以上において興味低下トリガーを検出するステップを含むことができる。328において、本方法は、物理環境情報60も受け取るステップを含むことができる。
[0069] 332において、本方法は、ユーザー行動情報74および物理環境情報60の内1つ以上に基づいて、ホログラフィック・オブジェクトの選択情報詳細レベルを、調節情報詳細レベルに調節するステップを含むことができる。一例では、336において、本方法は、興味増加トリガーを検出したことに基づいて、ホログラフィック・オブジェクトの選択情報詳細レベルを高めるステップを含むことができる。例えば、340において、本方法は、ユーザーがホログラフィック・オブジェクトを凝視すると、このホログラフィック・オブジェクトの選択情報詳細レベルを高めるステップを含むことができる。他の例では、334において、本方法は、ユーザーがホログラフィック・オブジェクトに向かって動くと、このホログラフィック・オブジェクトの選択情報詳細レベルを高めるステップを含むことができる。更に他の例では、348において、本方法は、ユーザーがホログラフィック・オブジェクトに向かってジェスチャーを行ったときに、このホログラフィック・オブジェクトの選択情報詳細レベルを高めるステップを含むことができる。
[0070] 他の例では、352において、本方法は、興味低下トリガーに基づいて、ホログラフィック・オブジェクトの選択情報詳細レベルを低くするステップを含むことができる。
[0071] 356において、本方法は、第1条件が満たされたときに、ホログラフィック・オブジェクトの選択情報詳細レベルを、第1調節情報詳細レベルに調節するステップを含むことができる。360において、本方法は、第2条件が満たされたときに、ホログラフィック・オブジェクトの選択情報詳細レベルを第2調節情報詳細レベルに調節するステップを含むことができる。364において、本方法は、HMDデバイス200上に表示するために、調節した情報詳細レベルとしたホログラフィック・オブジェクトを、拡張現実表示プログラム32に供給するステップを含むことができる。
[0072] 図12は、以上で説明した方法およびプロセスの内1つ以上を実行することができる計算デバイス400の非限定的な実施形態を模式的に示す。計算デバイス400は、簡略化した形態で示されている。尚、本開示の範囲から逸脱することなく、事実上あらゆるコンピューター・アーキテクチャーを使用できることは言うまでもない。異なる実施形態では、計算デバイス400は、メインフレーム・コンピューター、サーバー・コンピューター、デスクトップ・コンピューター、ラップトップ・コンピューター、家庭娯楽用コンピューター、ネットワーク計算デバイス、移動体計算デバイス、移動体通信デバイス、ゲーミング・デバイス等の形態をなすことができる。
[0073] 図12に示すように、計算デバイス400は、論理サブシステム404、データー保持サブシステム408、ディスプレイ・サブシステム412、通信サブシステム416、およびセンサー・サブシステム420を含む。任意に、計算サブシステム400は、図12には示されていない他のサブシステムおよびコンポーネントを含む場合もある。また、任意に、計算デバイス400は、例えば、キーボード、マウス、ゲーム・コントローラー、および/またはタッチ・スクリーンというような、他のユーザー入力デバイスを含むこともできる。更に、実施形態の中には、本明細書において説明した方法およびプロセスを、コンピューター・アプリケーション、コンピューター・サービス、コンピューターAPI、コンピューター・ライブラリー、および/または1つ以上のコンピューターを含む計算システムにおける他のコンピューター・プログラム生産物として実現できる場合もある。
[0074] 論理サブシステム404は、1つ以上の命令を実行するように構成されている1つ以上の物理デバイスを含むことができる。例えば、論理サブシステムは、1つ以上のアプリケーション、サービス、プログラム、ルーチン、ライブラリー、オブジェクト、コンポーネント、データー構造、または他の論理構造の一部である、1つ以上の命令を実行するように構成することもできる。このような命令は、タスクを実行する、データー型を実装する、1つ以上のデバイスの状態を変化させる、またはそれ以外で所望の結果に到達するために実現することができる。
[0075] 論理サブシステム404は、ソフトウェア命令を実行するように構成されている1つ以上のプロセッサーを含むことができる。加えてまたは代わりに、論理サブシステムは、ハードウェアまたはファームウェア命令を実行するように構成されている1つ以上のハードウェアまたはファームウェア論理装置を含むこともできる。論理サブシステムのプロセッサーは、単一コアまたはマルチコアであってもよく、そこで実行されるプログラムは、並列処理または分散処理のために構成することもできる。論理サブシステムは、任意に、2つ以上のデバイスにわたって分散されている個別のコンポーネントを含むことができ、これらは離れて配置され、調和処理用に構成することもできる。クラウド計算構成に構成され離れてアクセス可能なネットワーク接続計算デバイスによって、論理サブシステムの1つ以上の形態を可視化し、実行することもできる。
[0076] データー保持サブシステム408は、1つ以上の物理的、永続的デバイスを含む。このデバイスは、データーおよび/または本明細書において説明した方法およびプロセスを実現するために論理サブシステム404によって実行可能な命令を保持するように構成されている。このような方法およびプロセスを実現するとき、データー保持サブシステム408の状態を移り変わらせる(例えば、異なるデーターを保持するために)こともできる。
[0077] データー保持サブシステム408は、リムーバブル媒体および/または内蔵デバイスを含むことができる。データー保持サブシステム408は、とりわけ、光メモリー・デバイス(例えば、CD、DVD、HD−DVD、ブルーレイ・ディスク等)、半導体メモリー・デバイス(例えば、RAM、EPROM、EEPROM等)、および/または磁気メモリー・デバイス(例えば、ハード・ディスク・ドライブ、フロッピー(登録商標)・ディスク・ドライブ、テープ・ドライブ、MRAM等)を含むことができる。データー保持サブシステム408は、以下の特性の内1つ以上を有するデバイスを含むことができる。揮発性、不揮発性、ダイナミック、スタティック、読み取り/書き込み、読み取り専用、ランダム・アクセス、順次アクセス、位置アドレス可能、ファイル・アドレス可能、およびコンテンツ・アドレス可能。実施形態の中には、論理サブシステム404およびデーター保持サブシステム408を、特定用途集積回路またはチップ上システムというような、1つ以上の共通デバイスに統合できる場合もある。
[0078] また、図12は、リムーバブル・コンピューター読み取り可能記憶媒体424の形態としたデーター保持サブシステム408の形態も示す。これは、データーおよび/または本明細書において説明した方法およびプロセスを実現するために実行可能な命令を格納するためおよび/または送るために使用することができる。リムーバブル・コンピューター読み取り可能記憶媒体424は、とりわけ、CD、DVD、HD−DVD、ブルーレイ・ディスク、EEPROM、および/またはフロッピー(登録商標)・ディスクの形態をなすことができる。
[0079] 尚、データー保持サブシステム408は、1つ以上の物理的、永続的デバイスを含むことは認められてしかるべきである。対照的に、実施形態の中には、本明細書において説明した命令の形態を、一時的に純粋な信号(例えば、電磁信号、光信号等)によって伝搬させることもできる場合がある。この純粋な信号は、少なくとも有限期間は、物理デバイスによって保持されない。更に、本開示に関するデーターおよび他の形態の情報は、純粋な信号によって伝搬することもできる。
[0080] ディスプレイ・サブシステム412は、データー保持サブシステム408によって保持されているデーターの視覚的表現を提示するために使用することができる。ディスプレイ・サブシステム412は、例えば、HMDデバイス200の透過型ディスプレイ50を含むことができる。以上で説明した方法およびプロセスは、データー保持サブシステム408によって保持されているデーターを変化させる、つまりデーター保持サブシステムの状態を移り変わらせ、同様に、基礎であるデーターの変化を視覚的に表すために、ディスプレイ・サブシステム412の状態も移り変わらせることができる。ディスプレイ・サブシステム412は、事実上あらゆるタイプの技術を利用する1つ以上のディスプレイ・デバイスを含むことができる。このようなディスプレイ・デバイスは、共有筐体において論理サブシステム404および/またはデーター保持サブシステム408と組み合わせることができ、あるいはこのようなディスプレイ・デバイスは、周辺ディスプレイ・デバイスであってもよい。
[0081] 通信サブシステム416は、計算デバイス400を、ネットワーク40のような1つ以上のネットワーク、および/または1つ以上の他の計算デバイスと通信可能に結合するように構成することができる。通信サブシステム416は、1つ以上の異なる通信プロトコルと互換性のある有線通信デバイスおよび/またはワイヤレス通信デバイスを含むことができる。非限定的な例として、通信サブシステム416は、ワイヤレス電話ネットワーク、ワイヤレス・ローカル・エリア・ネットワーク、有線ローカル・エリア・ネットワーク、ワイヤレス・ワイド・エリア・ネットワーク、有線ワイド・エリア・ネットワーク等を介した通信のために構成することができる。実施形態の中には、通信サブシステムが、計算デバイス400がインターネットのようなネットワークを介してメッセージを他のデバイスに対して送信および/または受信することを可能にする場合もある。
[0082] センサー・サブシステム420は、以上で説明したように、異なる物理現象(例えば、可視光、赤外線光、音、加速、方位、位置等)を検知するように構成されている1つ以上のセンサーを含むことができる。例えば、センサー・サブシステム420は、1つ以上の目追跡センサー、撮像センサー、マイクロフォン、加速度計のような動きセンサー、タッチ・パッド、タッチ・スクリーン、および/または任意の他の適したセンサーを含むことができる。センサー・サブシステム420は、例えば、観察情報を論理サブシステム404に供給するように構成することができる。前述のように、目追跡情報、画像情報、オーディオ情報、周囲照明情報、深度情報、位置情報、動き情報、および/または他の適したセンサー・データーというような観察情報を使用して、以上で説明した方法およびプロセスを実行することができる。
[0083] 「プログラム」という用語は、1つ以上の特定の機能を実行するために実現されるホログラフィック・オブジェクト提示システム10の形態を記述するために使用することができる。場合によっては、このようなプログラムは、データー保持サブシステム408によって保持されている命令を論理サブシステム404が実行することによってインスタンス化することができる。尚、同じアプリケーション、サービス、コード・ブロック、オブジェクト、ライブラリー、ルーチン、API、関数等から異なるプログラムがインスタンス化されてもよいことは理解されてしかるべきである。同様に、同じプログラムが異なるアプリケーション、サービス、コード・ブロック、オブジェクト、ルーチン、API、関数等によってインスタンス化されてもよい。「プログラム」という用語は、実行可能ファイル、データー・ファイル、ライブラリー、ドライバ、スクリプト、データーベース・レコード等の個体またはグループを含むことを意図している。
[0084] 尚、本明細書において説明した構成および/または手法は、性質上例示であること、そしてこれら具体的な実施形態や方法は、複数の変種が可能であることから、限定的な意味で解釈してはならないことは言うまでもない。本明細書において説明した具体的なルーチンまたは方法は、任意の数の処理方策の内1つ以上を表すことができる。したがって、図示した種々の動作は、図示したシーケンスで、他のシーケンスで、並列に実行することもでき、また場合によっては省略することもできる。同様に、以上で説明したプロセスの順序も変更することができる。
[0085] 本開示の主題は、種々のプロセス、システムおよび構成、ならびに他の特徴、機能、動作、および/または本明細書において開示したプロパティ、更にはそのいずれかの均等物および全ての均等物の全ての新規で非自明なコンビネーションおよびサブコンビネーションを含む。

Claims (10)

  1. 選択情報詳細レベルを有するホログラフィック・オブジェクトを提示するホログラフィック・オブジェクト提示システムであって、
    計算デバイスのプロセッサーによって実行されるホログラフィック・オブジェクト提示プログラムを含み、このホログラフィック・オブジェクト提示プログラムが、
    ユーザー行動情報を受け取り、
    物理環境情報を受け取り、
    前記ユーザー行動情報および前記物理環境情報の内1つ以上の基づいて、前記ホログラフィック・オブジェクトの前記選択情報詳細レベルを調節情報詳細レベルに調節し、
    前記調節情報詳細レベルとした前記ホログラフィック・オブジェクトを、拡張現実表示プログラムに供給する、
    ように構成されており、前記ホログラフィック・オブジェクトが、前記拡張現実表示プログラムによってディスプレイ・デバイス上に表示されるように構成された、ホログラフィック・オブジェクト提示システム。
  2. 請求項1記載のホログラフィック・オブジェクト提示システムにおいて、前記ユーザー行動情報が、音声認識情報、目追跡情報、頭部姿勢情報、ユーザー動き情報、およびユーザー・ジェスチャー情報の内1つ以上を含み、前記ホログラフィック・オブジェクト提示プログラムが、更に、
    前記音声認識情報、前記目追跡情報、前記頭部姿勢情報、前記ユーザー動き情報、および前記ユーザー・ジェスチャー情報の内1つ以上において、興味増加トリガーを検出し、
    前記興味増加トリガーに基づいて、前記ホログラフィック・オブジェクトの前記選択情報詳細レベルを高めるように構成されている、ホログラフィック・オブジェクト提示システム。
  3. 請求項2記載のホログラフィック・オブジェクト提示システムにおいて、前記ホログラフィック・オブジェクト提示プログラムが、更に、
    前記音声認識情報、前記目追跡情報、前記頭部姿勢情報、前記ユーザー動き情報、および前記ユーザー・ジェスチャー情報前記の内1つ以上において興味減少トリガーを検出し、
    前記興味減少トリガーに基づいて、前記ホログラフィック・オブジェクトの前記選択情報詳細レベルを低くする、
    ように構成されている、ホログラフィック・オブジェクト提示プログラム。
  4. 請求項2記載のホログラフィック・オブジェクト提示システムにおいて、前記ユーザー行動情報が前記ユーザー動き情報を含み、前記ホログラフィック・オブジェクト提示プログラムが、更に、
    前記ユーザー動き情報において、前記ホログラフィック・オブジェクトに向かうユーザーの動きを検出し、
    前記ユーザーが前記ホログラフィック・オブジェクトに向かって移動すると、前記ホログラフィック・オブジェクトの前記選択情報詳細レベルを高くする、
    ように構成されている、ホログラフィック・オブジェクト提示システム。
  5. 請求項1記載のホログラフィック・オブジェクト提示システムにおいて、前記ディスプレイ・デバイスが、前記計算デバイスに動作可能に接続された頭部装着ディスプレイ・デバイスを含む、ホログラフィック・オブジェクト提示システム。
  6. 選択情報詳細レベルを有するホログラフィック・オブジェクトを提示する方法であって、
    ユーザー行動情報を受け取るステップと、
    物理環境情報を受け取るステップと、
    前記ユーザー行動情報および前記物理環境情報の内1つ以上に基づいて、前記ホログラフィック・オブジェクトの前記選択情報詳細レベルを調節情報詳細レベルに調節するステップと、
    前記調節情報詳細レベルとした前記ホログラフィック・オブジェクトを、拡張現実表示プログラムに供給するステップであって、前記ホログラフィック・オブジェクトが、前記拡張現実表示プログラムによってディスプレイ・デバイス上に表示されるように構成された、ステップと、
    を含む、方法。
  7. 請求項6記載の方法において、前記調節情報詳細レベルが、第1条件に対応する第1調節情報詳細レベルと、第2条件に対応する第2調節情報詳細レベルとを含み、前記方法が、更に、
    前記第1条件が満たされたとき、前記第1調節情報詳細レベルで前記ホログラフィック・オブジェクトを供給するステップと、
    前記第2条件が満たされたとき、前記第2調節情報詳細レベルで前記ホログラフィック・オブジェクトを供給するステップと、
    を含む、方法。
  8. 請求項6記載の方法において、前記ユーザー行動情報が目追跡情報を含み、前記方法が、更に、
    前記目追跡情報において、ユーザーが前記ホログラフィック・オブジェクトを凝視していることを検出するステップと、
    前記ホログラフィック・オブジェクトの前記選択情報詳細レベルを高めるステップと、
    を含む、方法。
  9. 請求項6記載の方法において、前記ユーザー行動情報がユーザー・ジェスチャー情報を含み、前記方法が、更に、
    前記ユーザー・ジェスチャー情報において、ユーザーが前記ホログラフィック・オブジェクトに向かってジェスチャーを行っていることを検出するステップと、
    前記ユーザーが前記ホログラフィック・オブジェクトに向かってジェスチャーを行ったときに、前記ホログラフィック・オブジェクトの前記選択情報詳細レベルを高めるステップと、
    を含む、方法。
  10. 請求項6記載の方法において、前記ユーザー行動情報が音声認識情報を含み、前記方法が、更に、
    前記音声認識情報において、声かけを検出するステップと、
    前記声かけに基づいて、前記ホログラフィック・オブジェクトの前記選択情報詳細レベルを高めるステップと、
    を含む、方法。
JP2013261876A 2013-12-18 2013-12-18 拡張現実情報詳細 Pending JP2015118578A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013261876A JP2015118578A (ja) 2013-12-18 2013-12-18 拡張現実情報詳細

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013261876A JP2015118578A (ja) 2013-12-18 2013-12-18 拡張現実情報詳細

Publications (2)

Publication Number Publication Date
JP2015118578A true JP2015118578A (ja) 2015-06-25
JP2015118578A5 JP2015118578A5 (ja) 2017-02-02

Family

ID=53531227

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013261876A Pending JP2015118578A (ja) 2013-12-18 2013-12-18 拡張現実情報詳細

Country Status (1)

Country Link
JP (1) JP2015118578A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017182628A (ja) * 2016-03-31 2017-10-05 株式会社エヌ・ティ・ティ・データ 拡張現実ユーザインタフェース適用装置および制御方法
JP2021036422A (ja) * 2019-08-20 2021-03-04 ティーエムアールダブリュー ファウンデーション アイピー アンド ホールディング エスエーアールエル パブリックデジタルリアリティ体験からパーソナルデジタルリアリティ体験への移行
EP4242800A1 (en) 2022-03-07 2023-09-13 Canon Kabushiki Kaisha System, method, program and storage medium for managing a virtual object
US12026831B2 (en) 2021-10-27 2024-07-02 Samsung Electronics Co., Ltd. Electronic device and method for spatial mapping using the same

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005038008A (ja) * 2003-07-15 2005-02-10 Canon Inc 画像処理方法、画像処理装置
US20060028400A1 (en) * 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Head mounted display with wave front modulator
WO2009005901A2 (en) * 2007-05-18 2009-01-08 The Uab Research Foundation Virtual interactive presence systems and methods
US20100103075A1 (en) * 2008-10-24 2010-04-29 Yahoo! Inc. Reconfiguring reality using a reality overlay device
JP2011123807A (ja) * 2009-12-14 2011-06-23 Dainippon Printing Co Ltd アノテーション表示システム,方法及びサーバ装置
US20110270522A1 (en) * 2010-04-30 2011-11-03 Ryan Fink Visual training devices, systems, and methods
US20120200600A1 (en) * 2010-06-23 2012-08-09 Kent Demaine Head and arm detection for virtual immersion systems and methods
JP2013025789A (ja) * 2011-07-18 2013-02-04 Fuji Xerox Co Ltd 現実世界環境におけるジェスチャベースの対話型ホットスポット生成のシステム、方法及びプログラム
WO2013056187A1 (en) * 2011-10-14 2013-04-18 Liu James C User controlled real object disappearance in a mixed reality display
WO2013118458A1 (en) * 2012-02-10 2013-08-15 Sony Corporation Image processing device, and computer program product
WO2013153740A2 (en) * 2012-04-11 2013-10-17 Sony Corporation Information processing apparatus, display control method, and program
US20140071163A1 (en) * 2012-09-11 2014-03-13 Peter Tobias Kinnebrew Augmented reality information detail

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005038008A (ja) * 2003-07-15 2005-02-10 Canon Inc 画像処理方法、画像処理装置
US20060028400A1 (en) * 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Head mounted display with wave front modulator
WO2009005901A2 (en) * 2007-05-18 2009-01-08 The Uab Research Foundation Virtual interactive presence systems and methods
JP2010528354A (ja) * 2007-05-18 2010-08-19 ザ ユーエービー リサーチ ファンデーション 仮想インタラクティブプレゼンスのシステムおよび方法
US20100295921A1 (en) * 2007-05-18 2010-11-25 Barton Guthrie Virtual Interactive Presence Systems and Methods
US20100103075A1 (en) * 2008-10-24 2010-04-29 Yahoo! Inc. Reconfiguring reality using a reality overlay device
JP2011123807A (ja) * 2009-12-14 2011-06-23 Dainippon Printing Co Ltd アノテーション表示システム,方法及びサーバ装置
US20110270522A1 (en) * 2010-04-30 2011-11-03 Ryan Fink Visual training devices, systems, and methods
US20120200600A1 (en) * 2010-06-23 2012-08-09 Kent Demaine Head and arm detection for virtual immersion systems and methods
JP2013025789A (ja) * 2011-07-18 2013-02-04 Fuji Xerox Co Ltd 現実世界環境におけるジェスチャベースの対話型ホットスポット生成のシステム、方法及びプログラム
WO2013056187A1 (en) * 2011-10-14 2013-04-18 Liu James C User controlled real object disappearance in a mixed reality display
WO2013118458A1 (en) * 2012-02-10 2013-08-15 Sony Corporation Image processing device, and computer program product
WO2013153740A2 (en) * 2012-04-11 2013-10-17 Sony Corporation Information processing apparatus, display control method, and program
JP2013218597A (ja) * 2012-04-11 2013-10-24 Sony Corp 情報処理装置、表示制御方法及びプログラム
US20140071163A1 (en) * 2012-09-11 2014-03-13 Peter Tobias Kinnebrew Augmented reality information detail
WO2014043119A1 (en) * 2012-09-11 2014-03-20 Peter Tobias Kinnebrew Augmented reality information detail

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017182628A (ja) * 2016-03-31 2017-10-05 株式会社エヌ・ティ・ティ・データ 拡張現実ユーザインタフェース適用装置および制御方法
JP2021036422A (ja) * 2019-08-20 2021-03-04 ティーエムアールダブリュー ファウンデーション アイピー アンド ホールディング エスエーアールエル パブリックデジタルリアリティ体験からパーソナルデジタルリアリティ体験への移行
US11481980B2 (en) 2019-08-20 2022-10-25 The Calany Holding S.Á´ R.L. Transitioning from public to personal digital reality experience
JP7217990B2 (ja) 2019-08-20 2023-02-06 ザ カラニー ホールディング エスエーアールエル パブリックデジタルリアリティ体験からパーソナルデジタルリアリティ体験への移行
US12026831B2 (en) 2021-10-27 2024-07-02 Samsung Electronics Co., Ltd. Electronic device and method for spatial mapping using the same
EP4242800A1 (en) 2022-03-07 2023-09-13 Canon Kabushiki Kaisha System, method, program and storage medium for managing a virtual object

Similar Documents

Publication Publication Date Title
US20140071163A1 (en) Augmented reality information detail
KR102159849B1 (ko) 혼합 현실 디스플레이 제공 기법
JP6967043B2 (ja) 3次元コンテンツ内の場所に基づく仮想要素モダリティ
JP6730286B2 (ja) 拡張現実視野オブジェクトフォロワー
CN108369449B (zh) 第三方全息门户
JP6246829B2 (ja) ヘッドマウントディスプレイのリソース管理
KR102282316B1 (ko) 혼합 현실의 등급을 매긴 정보 전달
EP3137976B1 (en) World-locked display quality feedback
US9429912B2 (en) Mixed reality holographic object development
JP6301962B2 (ja) 複合現実フィルタリング
EP2887322B1 (en) Mixed reality holographic object development
CN112154405B (zh) 三维推送通知
KR20160148623A (ko) 디스플레이 디바이스 뷰어 시선 유인
CN111602104B (zh) 用于与所识别的对象相关联地呈现合成现实内容的方法和设备
CN103760973A (zh) 增强现实的信息细节
US11699412B2 (en) Application programming interface for setting the prominence of user interface elements
US20180330546A1 (en) Wind rendering for virtual reality computing device
JP2015118578A (ja) 拡張現実情報詳細
EP2887639A1 (en) Augmented reality information detail
KR20150071613A (ko) 증강 현실 정보 상세도
CN112639889A (zh) 内容事件映射
US20220253196A1 (en) Information processing apparatus, information processing method, and recording medium

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180903