JP2014526157A - ヘッドマウントディスプレイの全視野の分類 - Google Patents

ヘッドマウントディスプレイの全視野の分類 Download PDF

Info

Publication number
JP2014526157A
JP2014526157A JP2014517099A JP2014517099A JP2014526157A JP 2014526157 A JP2014526157 A JP 2014526157A JP 2014517099 A JP2014517099 A JP 2014517099A JP 2014517099 A JP2014517099 A JP 2014517099A JP 2014526157 A JP2014526157 A JP 2014526157A
Authority
JP
Japan
Prior art keywords
hmd
wearer
hmd wearer
regions
tfov
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014517099A
Other languages
English (en)
Inventor
リウ,ジェームズ・チア−ミン
ラッタ,スティーヴン・ギルクライスト
アンドリュース,アントン
ヴォート,ベンジャミン・アイザック
ノヴァック,クリストファー・マイケル
スモール,シェリダン・リー
Original Assignee
マイクロソフト コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US13/167,113 priority Critical
Priority to US13/167,113 priority patent/US20120327116A1/en
Application filed by マイクロソフト コーポレーション filed Critical マイクロソフト コーポレーション
Priority to PCT/US2012/043178 priority patent/WO2012177657A2/en
Publication of JP2014526157A publication Critical patent/JP2014526157A/ja
Application status is Pending legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Other optical systems; Other optical apparatus
    • G02B27/0093Other optical systems; Other optical apparatus with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Other optical systems; Other optical apparatus
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Other optical systems; Other optical apparatus
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Other optical systems; Other optical apparatus
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

仮想イメージが、拡張現実視野をHMD装着者に提供するために、ヘッドマウントディスプレイ(HMD)内に表示するために配置される。センサーデータが、HMDに設けられたオンボードセンサーから収集され得る。加えて、他の日が、外部ソースから収集され得る。収集されたセンサーデータおよび他のデータに基づいて、HMD装着者の身体および周囲の環境に対するHMD装着者の頭部の位置および回転が決定され得る。HMD装着者の頭部の位置を解決した後、HMD装着者の全視野(TFOV)は、領域に分類され得る。次に、仮想イメージをHMD装着者の身体および周囲の環境に対して配置するために、仮想イメージは、分類されたTFOV領域内に配置され得る。

Description

本願発明の一実施例は、例えば、ヘッドマウントディスプレイの全視野の分類に関する。

[0001]シースルーヘッドマウントディスプレイ(HMD)は、装着者が見るものを仮想物体で拡張する機能を提供する。すなわち、HMDは、拡張現実視野を提供するために、現実世界のHMD装着者の視野を、仮想イメージで拡張する。しかしながら、これらの仮想イメージは、容易に気が散り、押し付けがましくなる可能性があり、注意を現実世界から引き離し、HMD装着者の通常の(拡張されない)視野を遮蔽する。これは、特に、モバイル、野外、および活動中のシナリオを考慮する場合、特に、「常時オン」のウェアラブル表示装置の用途で、課題を示す可能性がある。

本願発明の一実施例は、例えば、ヘッドマウントディスプレイの全視野の分類に関する。

[0002]この概要は、「発明を実施するための形態」でさらに後述される選択された概念を簡略化した形態で紹介するために提供される。この概要は、特許請求された主題の主要な特徴または本質的な特徴を特定することを意図するものではなく、特許請求された主題の範囲を決定する際に補助として使用されることを意図するものでもない。

[0003]本発明の実施形態は、拡張現実視野をHMD装着者に提供するために、ヘッドマウントディスプレイ(HMD)内に仮想イメージを配置することに関する。センサーデータが、HMDに設けられたオンボードセンサーから収集され得る。加えて、他のデータが、外部ソースから収集され得る。収集されたセンサーデータおよび他のデータに基づいて、HMD装着者の身体および周囲の環境に対するHMD装着者の頭部の位置および回転が決定され得る。HMD装着者の頭部の位置を解決した後、HMD装着者の全視野(TFOV)は、領域に分類され得る。次に、仮想イメージをHMD装着者の身体および周囲の環境に対して配置するために、仮想イメージは、分類されたTFOV領域内に配置され得る。

[0004]本発明は、添付図面を参照して、以下に詳細に説明される。

[0005]本発明の実施形態を実施する際に使用するのに適した例示的なコンピューティング環境のブロック図である。 [0006]本発明の実施形態による、TFOVの領域を分類し、仮想物体を領域内に配置するための例示的なシステムのブロック図である。 [0007]図3Aは、本発明の実施形態による、一次領域、二次領域、および三次領域に分類されたHMD装着者のTFOVの側面図である。

図3Bは、本発明の実施形態による、一次領域、二次領域、および三次領域に分類されたHMD装着者のTFOVの正面図である。
[0008]本発明の実施形態による、HMD装着者のTFOVの固定された領域を示す図である。 [0009]本発明の実施形態による、HMD装着者のTFOVの動的な領域を示す図である。 [0010]本発明の実施形態による、仮想物体が一次領域、二次領域、および三次領域に配置されたHMD装着者の視野を示す図である。 [0011]本発明の実施形態による、HMD装着者のTFOVの領域を分類するための方法を示す流れ図である。 [0012]本発明の実施形態による、HMDを使用して仮想物体を表示するための方法を示す流れ図である。

[0013]本発明の主題は、法的要件を満たすために、本明細書に具体的に説明される。しかしながら、説明自体は、本発明の範囲を限定することを目的としない。むしろ、本発明者らは、特許請求される主題は、他の現在のまたは将来の技術と組み合わせて、この文書に記載されているものと同様の異なるステップまたはステップの組合せを含むように、他の方法で実施されてもよいと考えている。さらに、「ステップ」および/または「ブロック」という用語は、本明細書では、用いられる方法の異なる要素を暗示するために使用され得るが、これらの用語は、個々のステップの順序が明示的に記載されている場合を除き、本明細書に開示された様々なステップ間のどのような特定の順序を意味するものとしても解釈されるべきではない。

[0014]本発明の実施形態は、HMD装着者に拡張現実視野を提供するために、HMD装着者の全視野(TFOV)に対するHMDの表示内の仮想イメージの自動的で連続的な配置および置換を対象とする。本明細書で使用される「TFOV」は、人間の頭部の回転および平行移動の完全な範囲を占める。これは、人間が所与の瞬間に見るものの範囲を占める人間の視野(FOV)とは対照的である。

[0015]本発明の実施形態によれば、センサーデータが、HMDに設けられた任意の数のオンボードセンサーから収集される。加えて、他のデータが、HMDの外部のソースから収集され得る。センサーデータおよび他のデータは、HMD装着者の物理的な頭部が、HMD装着者の物理的な身体と、HMD装着者の周囲の物理的な環境とに関係するように、HMD装着者の物理的な頭部を追跡および解釈するために使用され得る。HMD装着者の物理的な頭部を、HMD装着者の身体および周囲の環境に対して追跡することによって、HMD装着者のTFOVは、様々な領域に分類され得る。これらの領域は、HMD装着者および周囲の環境に対して定義され得る。いくつかの実施形態では、領域は、一次領域、および1つまたは複数の非一次領域を含むことができる。仮想イメージは、分類された領域に従って、TFOV内に配置され得る。したがって、本発明の実施形態は、HMD装着者の身体および周囲の環境に対してHMD装着者の頭部を認識し、このような知識を、HMD装着者の身体および周囲の環境に対して仮想イメージを配置するために使用することができるシステムを提供する。いくつかの実施形態では、一次領域の視覚的な遮蔽を低減することによって、仮想イメージが、危険でない方法で提示されるように、仮想物体は、概して、一次領域から離れて配置されてもよく、邪魔にならない領域に配置されてもよい。仮想物体は、文脈を提供する(例えば、情報を、関連性が低い、重要でないなどとして分類する)ために、一次領域から離れて配置されてもよい。

[0016]したがって、一態様では、本発明の実施形態は、1つまたは複数のコンピューティングデバイスによって使用されると、1つまたは複数のコンピューティングデバイスに方法を実行させるコンピューター使用可能命令を記憶する1つまたは複数のコンピューター記憶媒体を対象とする。方法は、1つまたは複数のHMDオンボードセンサーからセンサーデータを受信するステップを含む。方法は、センサーデータを使用して、HMD装着者の身体およびHMD装着者の周囲の環境に対するHMD装着者の頭部の位置および回転を決定するステップも含む。方法は、さらに、1つまたは複数の予め決められた規則、ならびにHMD装着者の身体およびHMD装着者の周囲の環境に対するHMD装着者の頭部の位置および回転に基づいて、HMD装着者のTFOV内の2つ以上の領域を分類するステップを含む。方法は、さらにまた、HMD装着者のTFOV内の2つ以上の領域を分類するステップに基づいて、HMDによって表示されることになる仮想イメージを配置するステップを含む。

[0017]別の実施形態では、本発明の態様は、HMDを対象とする。HMDは、1つまたは複数のオンボードセンサーを含む。HMDは、また、1つまたは複数のオンボードセンサーからのセンサーデータに基づいて、HMD装着者の身体に対するHMD装着者の頭部の位置および回転を決定し、HMD装着者の身体に対するHMD装着者の頭部の位置および回転に基づいて、HMD装着者のTFOVの2つ以上の領域を分類し、1つまたは複数の仮想物体を2つ以上の領域内に配置するように構成された1つまたは複数のプロセッサーを含む。HMDは、さらに、HMD装着者に拡張視野を提供するために、1つまたは複数の仮想物体の少なくとも1つを表示するように構成された1つまたは複数の表示構成要素を含む。

[0018]さらなる実施形態は、HMD装着者のTFOVの領域を分類するための方法を対象とする。方法は、HMDのオンボードの1つまたは複数のセンサーからセンサーデータを受信するステップと、HMDの外部の1つまたは複数のセンサーから他のデータを受信するステップと、センサーデータおよび他のデータに基づいて、HMD装着者の身体および周囲の環境に対するHMD装着者のTFOVの領域を分類するステップとを連続的に含む。

[0019]本発明の実施形態の概要を簡単に説明しており、本発明の実施形態が実施され得る例示的な動作環境が、本発明の様々な態様に関する概括的な文脈を提供するために、以下に説明される。最初に図1を特に参照し、本発明の実施形態を実施するための例示的な動作環境が、コンピューティングデバイス100として全体的に示され、指定される。コンピューティングデバイス100は、適切なコンピューティング環境の一例にすぎず、本発明の使用または機能の範囲について何ら限定を示唆するものではない。また、コンピューティングデバイス100は、示された構成要素のいずれか1つまたは組合せに関するどのような依存性または要件を有するものとしても解釈されるべきではない。

[0020]本発明は、パーソナルデータシスタント、または他のハンドヘルドデバイスなど、コンピューターまたは他のマシンによって実行される、プログラムモジュールなどのコンピューター実行可能命令を含む、コンピューターコードまたはマシン使用可能命令の概括的な文脈で説明され得る。概して、ルーチン、プログラム、オブジェクト、構成要素、データ構造などを含むプログラムモジュールは、特定のタスクを実行する、または特定の抽象データ型を実装するコードを指す。本発明は、ハンドヘルドデバイス、民生用電子機器、汎用コンピューター、より専門的なコンピューティングデバイスなどを含む、様々なシステム構成で実施され得る。本発明は、通信ネットワークを介してリンクされた遠隔処理デバイスによってタスクが実行される分散コンピューティング環境で実施されてもよい。

[0021]図1を参照し、コンピューティングデバイス100は、以下のデバイスを直接または間接的に結合するバス110と、メモリ112と、1つまたは複数のプロセッサー114と、1つまたは複数のプレゼンテーション構成要素116と、入力/出力(I/O)ポート118と、入力/出力構成要素120と、例示的な電源122とを含む。バス110は、(アドレスバス、データバス、またはそれらの組合せなど)1つまたは複数のバスとすることができるものを表す。図1の様々なブロックは、明瞭にするために線で示されているが、実際には、様々な構成要素を描写することは、それほど明確ではなく、比喩的には、線は、より正確には、グレイで曖昧であろう。例えば、表示装置などのプレゼンテーション構成要素を、I/O構成要素であると考えることができる。また、プロセッサーは、メモリを有する。発明者らは、それが技術の本質であると認識し、図1の図が、本発明の1つまたは複数の実施形態に関連して使用され得る例示的なコンピューティングデバイスの単なる例示にすぎないことを繰り返し述べたい。例えば、「ワークステーション」、「サーバー」、「ラップトップ」、「ハンドヘルドデバイス」としてのこのようなカテゴリー間の区別は、これらのすべてが、図1、および「コンピューティングデバイス」への参照の範囲内であるため、行われない。

[0022]コンピューティングデバイス100は、典型的には、様々なコンピューター可読媒体を含む。コンピューター可読媒体は、コンピューティングデバイス100によってアクセスされ得る任意の利用可能な媒体であってもよく、揮発性および不揮発性媒体、リムーバブルおよび非リムーバブル媒体の両方を含む。例として、限定ではなく、コンピューター可読媒体は、コンピューター記憶媒体および通信媒体を含むことができる。コンピューター記憶媒体は、コンピューター可読命令、データ構造、プログラムモジュール、または他のデータなどの情報の記憶のための任意の方法または技術で実現される、揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体の両方を含む。コンピューター記憶媒体は、RAM、ROM、EEPROM、フラッシュメモリ、もしくは他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)、もしくは他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、もしくは他の磁気記憶装置、または所望の情報を格納するために使用され得る、コンピューティングデバイス100によってアクセスされ得る任意の他の媒体を含むが、これらに限定されない。通信媒体は、典型的には、コンピューター可読命令、データ構造、プログラムモジュール、または他のデータを、搬送波もしくは他の伝送機構などの変調データ信号内で具体化し、任意の情報配信媒体を含む。「変調データ信号」という用語は、信号内に情報を符号化するような方法で設定または変更された1つまたは複数のその特徴を有する信号を意味する。例として、限定ではなく、通信媒体は、ワイヤードネットワークまたは直接配線接続などのワイヤード媒体、ならびに音響、RF、赤外線、および他のワイヤレス媒体などのワイヤレス媒体を含む。上記のいずれの組合せも、コンピューター可読媒体の範囲内に含まれるべきである。

[0023]メモリ112は、揮発性および/または不揮発性メモリの形態のコンピューター記憶媒体を含む。メモリは、リムーバブル、非リムーバブル、またはそれらの組合せであってもよい。例示的なハードウェアデバイスは、固体メモリ、ハードドライブ、光ディスクドライブなどを含む。コンピューティングデバイス100は、メモリ112またはI/O構成要素120などの様々な実体からデータを読み出す1つまたは複数のプロセッサーを含む。プレゼンテーション構成要素(複数可)116は、データ表示をユーザーまたは他のデバイスに示す。例示的なプレゼンテーション構成要素は、表示装置、スピーカー、印刷構成要素、振動構成要素などを含む。

[0024]I/Oポート118は、コンピューティングデバイス100が、I/O構成要素120を含む他のデバイスに論理的に結合されることを可能にし、I/O構成要素120のいくつかは、組み込まれていてもよい。例示的な構成要素は、マイクロフォン、ジョイスティック、ゲームパッド、サテライトディッシュ、スキャナー、プリンター、ワイヤレス装置などを含む。

[0025]ここで図2を参照し、本発明の実施形態による、HMD装着者のTFOVを分類し、分類された領域内に仮想物体を配置するためのシステム200を示すブロック図が提供される。本明細書に記載のこの配置および他の配置は、例としてのみ記載されることを理解すべきである。他の配置および要素(例えば、マシン、インターフェース、機能、順序、および機能のグループ化など)が、示されたものに加えて、またはその代わりに使用可能であり、いくつかの要素は、完全に省略されてもよい。さらに、本明細書に記載の要素の多くは、個別のまたは分散された構成要素として、または他の構成要素と組み合わせて、任意の適切な組合せおよび位置で実装可能な機能的実体である。1つまたは複数の実体によって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、および/またはソフトウェアによって実行され得る。例えば、様々な機能は、メモリに記憶された命令を実行するプロセッサーによって実行され得る。

[0026]図2に示すように、システム200は、HMD202を含む。図示されていないが、HMD202は、例えば、メモリ、プロセッサー、コンピューター可読媒体、入力/出力構成要素、および電源を含む、概括的なコンピューティングデバイス100に関して図1を参照して上述されたものなどの構成要素を含むことができる。HMD202は、例えば、眼鏡、ゴーグル、またはヘルメットを含む、多数の異なるフォームファクターのいずれかで提供され得る。

[0027]HMD202は、概して、装着者の現実世界の視野をコンピューターで生成された仮想イメージで拡張することによって、装着者に現実世界の拡張視野を提供することができる。装着者に拡張視野を提供するために、HMD202は、装着者が現実世界を見ることを依然として可能にしながら、コンピューターで生成された仮想イメージを表示する表示構成要素204を含むことができる。いくつかの実施形態では、これは、ヘッドアップディスプレイ(HUD)技術を含むことができ、HUD技術は、仮想イメージを提供するために、例えば、任意の種類の投影またはマイクロディスプレイ技術を使用することができる。装着者が現実世界を見ていながら、画像が装着者の網膜に直接投影される網膜ディスプレイなどの他の技術が用いられてもよい。

[0028]HMD202は、ワイヤレス通信構成要素206を含むこともでき、ワイヤレス通信構成要素206は、HMD202が、コンパニオンデバイス(例えば、スマートフォン)、サーバー装置、または他のネットワーク構成要素と通信することを可能にするために、ワイヤレス通信機能を提供する。例えば、本発明のいくつかの実施形態は、HMD装着者のTFOVの領域を分類し、仮想物体をこれらの領域内に配置する際に、クラウドベースのサービスにHMD202を援助させることによって実施され得る。いくつかの実施形態では、HMD202は、サーバー装置と直接通信するように構成されてもよく、他の実施形態では、HMD202は、HMD装着者の手元にあるコンパニオンデバイス(例えば、スマートフォンまたは他のデバイス)を介してサーバー装置と通信することができる。

[0029]HMD202は、位置および他のセンサーデータを提供する多数のオンボードセンサー208を含むこともできる。様々な異なる種類のオンボードセンサー208のいずれも、本発明の様々な実施形態によるHMD202に含まれてもよい。概して、システムが、HMD装着者の身体および周囲の環境に対するHMD装着者の頭部の位置および回転、目の位置、または他の有用な状況情報を決定することを可能にする任意のセンサーが使用され得る。例のみとして、限定ではなく、オンボードセンサー208は、GPSセンサー、慣性測定ユニット(IMU)センサー、深度センサー、カメラ、目追跡センサー、マイクロフォン、生体計測センサー、および他の種類のセンサーを含むことができる。

[0030]HMD202上のIMUは、慣性加速度を測定することができ、加速度計、ジャイロスコープ、磁力計、および他のデバイスの機能を組み込むことができる。一実施形態では、慣性加速度のIMU測定は、6自由度を有する。IMUからのデータは、空間内の絶対位置を推定するために他のデータと共に使用され得る相対運動および回転情報を提供することができる。追加のデータは、GPSセンサーからの情報を含むことができ、GPSセンサーからの情報は、マクロレベルでの位置情報を提供するために使用され得る。いくつかの実施形態では、HMD202は、補助GPS(A−GPS)を使用することができる。

[0031]深度センサーおよびカメラは、HMD装着者の周囲の環境に関するデータを収集するために、HMD202上で使用され得る。深度センサーは、概して、物体までの距離を決定するセンサーを含むことができる。いくつかの実施では、深度センサーは、送信源から放出され、物体から反射されたIR光を取り込む赤外線センサーを含むことができる。距離データは、飛行時間法、三角測量、または他の既知の原理を使用して決定され得る。カメラは、IRもしくは可視スペクトル、白黒、または赤緑青(RGB)カメラであってもよい。いくつかの実施形態では、2つの異なるカメラからの画像間の視差が、人間の2つの目が奥行知覚を提供するのと同様に奥行きを測定するために使用され得る。

[0032]HMD202は、1つまたは複数の目追跡センサーを含むこともでき、目追跡センサーは、典型的には、ユーザーの視線の方向を決定するために、目の瞳孔もしくは他の部分、または目の周囲の領域の動きを追跡する。これは、例えば、HMD装着者の目に向けられたIRまたはRGBカメラを使用して達成され得る。HMD装着者の声、および周囲の環境の音を含む音声情報を収集するために、マイクロフォンが設けられてもよい。HMD装着者に関する生体情報を収集するために、生体計測センサーが使用され得る。

[0033]オンボードセンサー208からのセンサーデータは、処理するための仮想イメージングシステム210に提供され得る。本発明のいくつかの実施形態では、仮想イメージングシステム210は、HMD202に設けることができる。他の実施形態では、仮想イメージングシステム210は、サーバー装置または他のネットワーク構成要素など、HMD202の外部のデバイスによって提供され得る。さらに他の実施形態では、仮想イメージングシステム210は、複数のデバイス(例えば、HMD202および外部デバイス)にわたって分散され得る。任意のおよびすべてのこのような変形形態は、本発明の実施形態の範囲内にあると考えられる。

[0034]仮想イメージングシステム210は、頭部位置構成要素212を含み、頭部位置構成要素212は、オンボードセンサー208からセンサーデータを受信し、HMD装着者の周囲の環境およびHMD装着者の身体に対するHMD装着者の頭部の位置および回転を決定するように動作可能である。例のみとして、限定ではなく、頭部位置構成要素212は、マッピングされた周囲の環境に対するHMD装着者の頭部のリアルタイム位置を提供するために、例えば、カメラデータおよび/または深度センサーデータを使用する同時位置およびマッピング(SLAM)などの技術を使用することができる。IMUデータは、カメラまたは深度センサーが利用不可能であっても、相対回転および位置情報を提供することもできる。HMD装着者の身体の領域(例えば、手、腕、胴、脚、足など)は、センサーデータを使用して識別されてもよい。例えば、カメラデータおよび/または深度センサーデータは、HMD装着者が自分自身を見ているときに得ることができる。このように、HMD装着者の身体に対するHMD装着者の頭部の位置および回転は、有用な程度の精度に推定され得る。これは、少し例を挙げれば、HMD装着者が立っているか、座っているか、胴体に対して真っ直ぐ前を見ているかなどの情報を含むことができる。

[0035]頭部位置構成要素212は、HMD212の外部のセンサーおよび他のソース220からデータを受信することもできる。例のみとして、限定ではなく、他のソース220は、外部カメラ、外部深度センサー(例えば、KINECT(登録商標)センサー)、他のHMD、モバイルデバイス、およびHMDから遠隔に記憶された履歴センサーデータを含むことができる。概して、HMD装着者の身体および周囲の環境に対するHMD装着者の頭部の位置および回転をシステムが決定することを可能にする情報の任意の外部ソースが使用され得る。

[0036]様々なオンボードセンサー208および外部ソース220からのデータは、概して、冗長性および精密化を提供することができる。しかしながら、すべてのセンサーが必要ではないことを理解すべきである。本明細書に示されたセンサー、ならびに他のセンサーおよび情報のソースの任意の組合せが、本発明の実施形態の範囲内で使用され得る。

[0037]頭部位置構成要素212が、HMD装着者の身体および周囲の環境に対するHMD装着者の頭部の位置および回転を解決した後、TFOV分類構成要素214は、HMD装着者のTFOVの領域を分類する。本発明の実施形態によれば、TFOV分類構成要素214は、様々な規則に従ってHMD装着者のTFOVの領域を識別する。規則は、ユーザー定義またはシステム定義可能である。加えて、規則は、不変であってもよく、HMD装着者の現在の状況および環境に関する異なる入力に基づいて動的であってもよく、またはHMD装着者が現在なにを行っているのかに基づいて、HMD装着者のための最高の体験を提供するために、HMD装着者によって変更可能であってもよい。

[0038]本発明のいくつかの実施形態では、領域は、一次領域、および任意の数の追加の非一次領域を含むことができる。一次領域は、HMD装着者のFOV内の一次区域に対応し得る。概して、これは、仮想物体によって遮蔽されるべきではない区域に対応する。非一次領域は、仮想物体によって遮蔽され得る区域に対応する。

[0039]例として、図3Aおよび図3Bは、それぞれ、HMD装着者304に関するTFOV302の側面図および正面図を示す。図3Aおよび図3Bに示すように、TFOV302は、一次領域306、二次領域308、および三次領域310に分類されている。図3Aおよび図3Bに示す分類は、例としてのみ与えられ、TFOVは、概して、任意の数の領域に分類されてもよい。領域は、対称的または非対称的であってもよい。加えて、領域は、垂直方向に、水平方向に、またはそれらの任意の順列に分割されてもよい。いくつかの実施形態では、領域は、HMD装着者の身体または身体の部分に関連して分類されてもよい。例えば、領域は、身体の領域の左上、身体の領域の右上、身体の左下の領域、身体の右下の領域を含むことができる。

[0040]TFOVの領域の分類は、固定されてもよく、または動的に変化してもよい。例示として、動的領域と対比した固定された領域の例が、図4および図5に提供される。まず、図4は、固定された領域の例を示す。図4に示すように、HMD装着者が、見上げ、見下ろして自分の頭部を動かすとき、領域は、固定されたままである。対照的に、図5は、動的領域の例を示す。図5に示すように、HMD装着者が、自分の頭部を上下に動かすと、領域は、HMD装着者の頭部の動きと共に移動する。

[0041]TFOV領域は、領域のサイズを自動的に調整する(すなわち、拡張または縮小する)、TFOV内で領域をシフトする、またはTFOVに対して新しい領域を完全に再分類することによって、動的に変化することができる。領域は、イベントによってトリガーされる規則、環境条件、身体の配置および移動、ならびに追加のセンサー情報に基づいて、自動的に変化することができる。例えば、HMD装着者が座っている場合、HMD装着者が静止しており、HMD装着者のFOVの多くを遮蔽することがより安全であるため、一次領域は、比較的小さくてもよい。しかしながら、HMD装着者が立って、歩き始める場合、HMD装着者のより少ないFOVが仮想イメージによって遮蔽されるように、一次領域は、拡張可能である。HMD装着者が走り始める、または車を運転し始める場合、一次領域は、さらに拡大することさえできる。再分類する領域の例として、HMD装着者の目が、TFOVの二次領域を見ており、手が、TFOVの二次領域内に移動しているとする。これは、HMD装着者が、その空間内でいくつかのタスクを実行していることを示している可能性がある。これらの入力の結果として、TFOVは、領域が現在一次領域となるように、再分類され得る。他の環境条件も、領域の分類に影響を及ぼし得る。例えば、生体計測入力が、HMD装着者が緊張している、または怖がっていることを示す可能性がある。これに応答して、一次領域は、拡張可能である。

[0042]本発明のいくつかの実施形態によれば、固定された領域または動的な領域のどちらが任意の所与の時点で使用されるのかを制御する規則を使用することによって、固定された領域および動的に変化する領域の組合せが、経時的に使用されてもよい。特に、いくつかの状況は、固定された領域の使用を指示する可能性があり、他の状況は、動的な領域の使用を指示する可能性がある。例えば、領域は、最初に、所与の期間中、固定されてもよい。特定の入力が受信されると、規則は、次に、領域を動的に変化させることを指示することができる。特定の例として、HMD装着者が座っている場合、HMD装着者が座り続けている間、領域は、固定された状態のままとすることができる。しかしながら、HMD装着者が一旦立ち上がると、規則は、ユーザーが空間内を動き回るにつれて、領域を動的に変化させるようにトリガーされ得る。したがって、領域分類は、環境的に適用可能であり得る。

[0043]TFOVの領域を分類した後、仮想物体配置構成要素216は、分類に従って仮想物体を様々な領域内に配置することができる。概して、仮想物体は、定義された規則に従って、領域内に配置されてもよい。規則は、ユーザー定義またはシステム定義可能である。加えて、規則は、不変であってもよく、HMD装着者の現在の状況および環境に関する異なる入力に基づいて動的であってもよく、またはHMD装着者が現在なにを行っているのかに基づいて、HMD装着者のための最高の体験を提供するために、HMD装着者によって変更可能であってもよい。いくつかの実施形態では、これは、一次領域を遮蔽することを防止するために、大部分の仮想物体を、TFOVの非一次領域内に配置することを含んでよい。いくつかの例では、通知のみ、あまり邪魔でない仮想物体、またはより重要であると考えられる仮想物体が、一次領域に配置されてもよい。

[0044]例示として、図6は、本発明の実施形態による、HMD装着者に提供される視野を提供する。図6に示すように、HMD装着者は、現在、別の人間602を見ている。HMD装着者のFOVは、TFOVの一次領域604、二次領域606、および三次領域608をカバーする。説明の目的のための破線および領域ラベルが図6に設けられ、これらは、HMD装着者に対して表示されないことが留意されるべきである。代わりに、仮想物体610のみが表示されることになる。図6に示すように、より小さい通知仮想物体610のみが、一次領域604内に表示され、より大きく、より邪魔な仮想物体610が、二次領域606および三次領域608内に表示される。結果として、一次領域604は、概して、仮想物体によって遮蔽されない。

[0045]本発明の様々な実施形態では、TFOV内のコンテンツの位置を管理するために、許可セットが使用され得る。これは、特定のコンテンツを特定の領域内に配置する、または配置しないことを指示する、アプリケーションまたは状況にまたがる普遍的な規則を含むことができる。状態に基づいてTFOVの許可を変更することもできる(例えば、ユーザーが運転しているときの仮想物体の配置に関する規則は、ユーザーが居間にいるときの仮想物体の配置に関する規則と異なっていてもよい)。システムによって実行されているアプリケーションの分類に基づいて変化する許可セットが存在してもよい。これらの全体的/状態/アプリケーションに基づく許可の間の相互作用は、コンテンツ、およびTFOV内に表示されるコンテンツの位置を駆動する。

[0046]領域がHMD装着者の身体に対して分類される実施形態では、仮想物体は、これらの仮想物体をHMD装着者の身体に対して配置するために、領域内に配置されてもよい。例えば、領域が、足領域として、HMD装着者の足の周囲に分類されてもよく、特定の仮想物体が、仮想物体をHMD装着者の足の近くに配置するために、その領域内に配置されてもよい。別の例として、HMD装着者の胴体の周囲の領域が、胴体領域として分類されてもよく、仮想デスクトップが、HMD装着者がアクセスすることを望む可能性がある情報を含むように、その領域内に配置されてもよい。このように、HMD装着者は、HMD装着者の胴体の周囲の仮想デスクトップを見下ろすことによって、情報を見ることができる。

[0047]いくつかの例では、仮想物体は、インタラクティブではない静的な物体を含むことができる。例えば、仮想物体は、単に、HMD装着者が見るための情報またはグラフィックを表示することができる。他の例では、仮想物体は、ユーザーインターフェース(UI)物体であってもよく、HMD装着者は、ジェスチャー、音声コマンド、および/または他の形態の入力を使用して、UI物体と相互作用することができる。

[0048]TFOVは、HMD装着者のFOVを越えて延在するため、任意の所与の時点では、TFOV内のすべての仮想物体の一部のみが、HMD装着者によって見られることができる。したがって、仮想イメージ表示構成要素218は、TFOV内のHMD装着者の現在のFOVを決定し、HMD装着者のFOV内の適切な位置に仮想物体を表示させるように動作可能であってもよい。例えば、仮想物体が、HMD装着者の足の近くのTFOV領域に配置される場合、HMD装着者が見上げている場合、仮想物体は、表示されないことになる。しかしながら、HMD装着者が見下ろしていた場合、仮想イメージ表示構成要素218は、HMD装着者のFOVが足領域上にあることを決定することになり、仮想物体を適切な位置に表示させることになる。いくつかの実施形態では、HMD装着者のFOVの範囲は、単に、HMD202の表示構成要素204の表示区域の範囲に対応すると考えられてもよいことが留意されるべきである。

[0049]いくつかの実施形態では、HMDのFOVは、HMD装着者のFOVを越えて延在してもよい。例えば、深度センサー、カメラ、および他のオンボードHMDセンサー、ならびに外部センサーは、HMD装着者のFOVの外部のデータを取り入れることができる可能性がある。このように、HMDのFOVは、様々なセンサーがカバーし、HMD装着者のFOVをかなり越えて延在することができる範囲によって画定され得る。いくつかの実施形態は、仮想物体がHMDのFOV内に配置される限り、HMD装着者のFOVの外側にあるためHMD装着者に現在表示されない仮想物体とHMD装着者が相互作用することを可能にすることによって、HMDのFOVを利用することができる。例えば、インタラクティブな仮想物体が、HMD装着者の右腰に隣接する領域内に隣接して配置されるとする。HMD装着者は、HMD装着者が他の場所を見ており、仮想物体がHMD装着者に対して表示されない場合であっても、HMDが、HMD装着者の仮想物体との相互作用を取り込むことができるように、仮想物体が配置されるHMD装着者の右腰に隣接する領域が、HMDのFOV内に配置される限り、仮想物体と相互作用することができる。

[0050]ここで図7を参照し、本発明の実施形態による、HMD装着者のTFOVの領域を分類するための方法700を示す流れ図が提供される。方法700は、例えば、HMD、HMDの外部の装置、またはそれらの組合せによって実行されてもよい。ブロック702に示すように、HMDに設けられたオンボードセンサーからのデータが受信される。前述のように、オンボードセンサーは、無制限に、GPSセンサー、慣性測定ユニット(IMU)センサー、深度センサー、カメラ、目追跡センサー、マイクロフォン、生体計測入力、および他のセンサーを含むことができる。加えて、データは、ブロック704に示すように、HMDの外部のソースから受信されてもよい。例のみとして、限定ではなく、これは、外部カメラ、外部深度センサー、他のHMD、モバイルデバイス、およびHMDから遠隔に記憶された履歴センサーデータを含むことができる。

[0051]ブロック706に示すように、オンボードセンサーからのセンサーデータ、および外部ソースからの他のデータに基づいて、HMD装着者の頭部の位置および回転が、HMD装着者の身体および周囲の環境に対して決定される。ブロック708に示すように、その情報を使用して、HMD装着者のTFOVが、2つ以上の領域に分類される。本発明の実施形態によれば、TFOVは、ユーザー定義またはシステム定義可能な不変または動的な規則に従って分類される。ブロック710に示すように、仮想物体が、TFOVの領域内に配置される。様々な仮想物体を領域内に配置するための多数の規則が定義可能である。これらの規則も、ユーザー定義またはシステム定義可能であり、不変または動的であってもよい。いくつかの実施形態では、システムは、様々な仮想物体を配置するための場所を決定するときに、アクセスされているアプリケーションを考慮することができる。ブロック702および704に戻ることによって表されるように、TFOVの領域を分類するプロセスは、繰り返されてもよい。いくつかの実施形態では、1つまたは複数の規則が、TFOVの領域を再分類することをトリガーしてもよく、他の実施形態では、TFOVは、連続的に再分類されてもよい。

[0052]図8に移り、本発明の実施形態による、HMDを使用して仮想物体を表示するための方法800を示す流れ図が提供される。ブロック802に示すように、HMD装着者のFOVが、最初に決定される。いくつかの実施形態では、HMD装着者のFOVの範囲は、単に、HMDの表示構成要素によって提供される表示区域の範囲に対応し得る。ブロック804に示すように、HMD装着者のFOVは、例えば、図7を参照して上述した方法700を使用して決定されたTFOVの領域と比較される。比較は、TFOVの領域に対するHMD装着者のFOVの位置を識別する。

[0053]表示する仮想物体は、ブロック806で、TFOV領域、およびTFOV領域内の仮想物体の位置に対する、HMD装着者のFOVの位置に基づいて決定される。いくつかの実施形態では、一組の許可が、この時点で、例えば、現在のユーザーの状態、または関与している特定のアプリケーション(複数可)に基づいて、仮想物体の使用を管理するために使用され得る。識別された仮想物体は、次に、ブロック808に示すように、HMDの表示構成要素を使用して、適切な位置に表示される。

[0054]理解され得るように、本発明の実施形態は、センサー入力および規則に基づいてHMD装着者のTFOVの領域を分類し、分類された領域内に仮想物体を配置することを提供する。本発明は、すべての点で限定ではなく例示であることが意図される特定の実施形態に関連して説明されている。代わりの実施形態が、その範囲から逸脱することなく、本発明が属する技術の当業者には、明らかになるであろう。

[0055]以上のことから、本発明は、明白なシステムおよび方法に固有の他の利点と共に、すべての上述した目標および目的を達成するのに十分に適しているものであることがわかるであろう。特定の特徴および部分的組合せは、有用であり、他の特徴および部分的組合せを参照することなく用いられてもよいことが理解されるであろう。これは、特許請求の範囲によって意図され、特許請求の範囲内である。

Claims (10)

  1. 1つまたは複数のコンピューティングデバイスによって使用されると、前記1つまたは複数のコンピューティングデバイスに方法を実行させるコンピューター使用可能命令を記憶する1つまたは複数のコンピューター記憶媒体であって、前記方法が、
    1つまたは複数のヘッドマウントディスプレイ(HMD)オンボードセンサーからセンサーデータを受信するステップと、
    前記センサーデータを使用して、HMD装着者の身体および前記HMD装着者の周囲の環境(environment)に対する前記HMD装着者の頭部の位置および回転を決定するステップと、
    1つまたは複数の予め決められた規則(rules)、ならびに前記HMD装着者の身体および前記HMDの周囲の環境に対する(relative to)前記HMD装着者の頭部の位置(position)および回転に基づいて、前記HMD装着者の全視野(TFOV:total field of view)内の2つ以上の領域(regions)を分類する(classifying)ステップと、
    前記HMD装着者のTFOV内の前記2つ以上の領域を分類するステップに基づいて、前記HMDによって表示されることになる仮想イメージを配置する(locating)ステップと
    を含む、1つまたは複数のコンピューター記憶媒体。
  2. 前記方法が、
    前記HMDの外部の1つまたは複数のソースから他のデータを受信するステップと、
    前記センサーデータと併せて(in conjunction with)前記他のデータを使用して、前記HMD装着者の身体および前記HMD装着者の周囲の環境に対する前記HMD装着者の頭部の位置および回転を決定するステップと
    をさらに含む、請求項1に記載の1つまたは複数のコンピューター記憶媒体。
  3. 前記2つ以上の領域が、前記HMD装着者のTFOV内で動的に変化する、請求項1に記載の1つまたは複数のコンピューター記憶媒体。
  4. 前記2つ以上の領域が、一次(primary)領域および1つまたは複数の非一次(non-primary)領域を含み、前記仮想イメージを配置するステップが、前記一次領域の遮蔽(occluding)を低減するように前記仮想イメージを配置するステップを含む、請求項1に記載の1つまたは複数のコンピューター記憶媒体。
  5. 前記HMD装着者のTFOV内の前記2つ以上の領域を分類するステップが、前記HMD装着者の身体に対して前記領域の少なくとも1つを分類するステップを含み、前記HMDによって表示されることになる仮想現実イメージを配置するステップが、前記HMD装着者の身体に対して前記領域の前記少なくとも1つを分類するステップに基づいて、HMD装着者の身体に対して前記仮想現実イメージの少なくとも1つを配置するステップを含む、請求項1に記載の1つまたは複数のコンピューター記憶媒体。
  6. 前記方法が、
    前記HMD装着者の視野(FOV)を決定するステップと、
    前記FOVを、前記HMD装着者のTFOVの前記2つ以上の領域と比較するステップと、
    前記HMD装着者のTFOVの前記2つ以上の領域に対する前記FOVの位置に基づいて、表示する仮想物体のサブセットを決定するステップと、
    前記HMDの表示構成要素を介して、仮想物体の前記サブセットを表示するステップと
    をさらに含む、請求項1に記載の1つまたは複数のコンピューター記憶媒体。
  7. 前記方法が、前記2つ以上の領域からの第1の領域内に配置されたインタラクティブ仮想イメージとのユーザーの相互作用(interaction)を識別するステップであって、前記第1の領域が、前記HMD装着者の現在の視野(field of view)の外部にある、ステップと、前記インタラクティブ仮想イメージとの前記ユーザーの相互作用に応じて動作を実行するステップとをさらに含む、請求項1に記載の1つまたは複数のコンピューター記憶媒体。
  8. ヘッドマウントディスプレイ(HMD)であって、
    1つまたは複数のオンボードセンサーと、
    前記1つまたは複数のオンボードセンサーからのセンサーデータに基づいて、HMD装着者の身体に対する前記HMD装着者の頭部の位置および回転を決定し、前記HMD装着者の身体に対する前記HMD装着者の頭部の前記位置および回転に基づいて、前記HMD装着者のTFOVの2つ以上の領域を分類し、1つまたは複数の仮想物体を前記2つ以上の領域内に配置するように構成された1つまたは複数のプロセッサーと、
    前記HMD装着者に拡張視野を提供するために、前記1つまたは複数の仮想物体の少なくとも1つを表示するように構成された1つまたは複数の表示構成要素と
    を備える、HMD。
  9. ワイヤレス通信構成要素をさらに備え、前記ワイヤレス通信構成要素が、前記HMDの外部の1つまたは複数のソースから他のデータを受信するように構成され、前記1つまたは複数のプロセッサーが、前記HMDの外部の前記1つまたは複数のソースからの前記他のデータに基づいて、前記HMD装着者の身体に対するHMD装着者の頭部の前記位置および回転を決定するようにさらに構成されている、請求項8に記載のHMD。
  10. ヘッドマウントディスプレイ(HMD)装着者の全視野(TFOV)の領域を分類するための方法であって、
    前記HMDのオンボードの1つまたは複数のセンサーからセンサーデータを受信するステップと、
    前記HMDの外部の1つまたは複数のソースから他のデータを受信するステップと、
    前記センサーデータおよび他のデータに基づいて、前記HMD装着者の身体および周囲の環境に対する前記HMD装着者のTFOVの領域を分類するステップと
    を含む、方法。
JP2014517099A 2011-06-23 2012-06-19 ヘッドマウントディスプレイの全視野の分類 Pending JP2014526157A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/167,113 2011-06-23
US13/167,113 US20120327116A1 (en) 2011-06-23 2011-06-23 Total field of view classification for head-mounted display
PCT/US2012/043178 WO2012177657A2 (en) 2011-06-23 2012-06-19 Total field of view classification for head-mounted display

Publications (1)

Publication Number Publication Date
JP2014526157A true JP2014526157A (ja) 2014-10-02

Family

ID=47361426

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014517099A Pending JP2014526157A (ja) 2011-06-23 2012-06-19 ヘッドマウントディスプレイの全視野の分類

Country Status (7)

Country Link
US (3) US20120327116A1 (ja)
EP (1) EP2724191A4 (ja)
JP (1) JP2014526157A (ja)
KR (1) KR20140034252A (ja)
CN (1) CN103635849A (ja)
TW (1) TW201303640A (ja)
WO (1) WO2012177657A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9977241B2 (en) 2015-03-17 2018-05-22 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and computer program
JP2018129054A (ja) * 2013-06-07 2018-08-16 ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー ヘッドマウントシステムに関連するホップ数を削減するためのシステム及び方法

Families Citing this family (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9727132B2 (en) * 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
JP5993127B2 (ja) * 2011-10-25 2016-09-14 オリンパス株式会社 頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法
US8963805B2 (en) 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
US8970495B1 (en) * 2012-03-09 2015-03-03 Google Inc. Image stabilization for color-sequential displays
EP2879098A4 (en) * 2012-07-27 2016-03-16 Nec Solution Innovators Ltd Three-dimensional environment sharing system, and three-dimensional environment sharing method
KR101989893B1 (ko) * 2012-10-29 2019-09-30 엘지전자 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 출력 방법
US9619911B2 (en) 2012-11-13 2017-04-11 Qualcomm Incorporated Modifying virtual object display properties
JP6036209B2 (ja) * 2012-11-19 2016-11-30 セイコーエプソン株式会社 虚像表示装置
WO2014116826A1 (en) * 2013-01-24 2014-07-31 The Trustees Of Columbia University In The City Of New York Mobile, neurally-assisted personal assistant
WO2014164901A1 (en) 2013-03-11 2014-10-09 Magic Leap, Inc. System and method for augmented and virtual reality
KR20190031337A (ko) * 2013-03-15 2019-03-25 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US10195058B2 (en) 2013-05-13 2019-02-05 The Johns Hopkins University Hybrid augmented reality multimodal operation neural integration environment
US9367960B2 (en) 2013-05-22 2016-06-14 Microsoft Technology Licensing, Llc Body-locked placement of augmented reality objects
JPWO2014192103A1 (ja) * 2013-05-29 2017-02-23 三菱電機株式会社 情報表示装置
US9063330B2 (en) * 2013-05-30 2015-06-23 Oculus Vr, Llc Perception based predictive tracking for head mounted displays
US10137361B2 (en) 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
JP6313432B2 (ja) 2013-06-09 2018-04-18 株式会社ソニー・インタラクティブエンタテインメント 頭部装着ディスプレイ
US9256987B2 (en) 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
JP2015015563A (ja) * 2013-07-04 2015-01-22 セイコーエプソン株式会社 画像表示装置
CN103431840B (zh) 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
CN103431980A (zh) 2013-08-22 2013-12-11 北京智谷睿拓技术服务有限公司 视力保护成像系统及方法
KR20150025116A (ko) * 2013-08-28 2015-03-10 엘지전자 주식회사 헤드 마운티드 디스플레이의 화상통화를 지원하는 포터블 디바이스 및 그 제어 방법
CN103500331B (zh) 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
CN103605208B (zh) 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射系统及方法
US9448689B2 (en) * 2013-08-30 2016-09-20 Paypal, Inc. Wearable user device enhanced display system
CN103558909B (zh) * 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示系统
US9679144B2 (en) * 2013-11-15 2017-06-13 Microsoft Technology Licensing, Llc Protecting privacy in web-based immersive augmented reality
US9229235B2 (en) * 2013-12-01 2016-01-05 Apx Labs, Inc. Systems and methods for unlocking a wearable device
JP6316965B2 (ja) * 2013-12-03 2018-04-25 ノキア テクノロジーズ オーユー ヘッドマウントディスプレイへの情報の表示
WO2015099215A1 (ko) * 2013-12-24 2015-07-02 엘지전자 주식회사 헤드 마운트 디스플레이 장치 및 그 동작방법
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US10001645B2 (en) 2014-01-17 2018-06-19 Sony Interactive Entertainment America Llc Using a second screen as a private tracking heads-up display
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US20150277120A1 (en) 2014-01-21 2015-10-01 Osterhout Group, Inc. Optical configurations for head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9532714B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
US9651788B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9811153B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9310610B2 (en) 2014-01-21 2016-04-12 Osterhout Group, Inc. See-through computer display systems
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
TWI486631B (zh) * 2014-01-24 2015-06-01 Quanta Comp Inc 頭戴式顯示裝置及其控制方法
US9852545B2 (en) 2014-02-11 2017-12-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US9767609B2 (en) * 2014-02-12 2017-09-19 Microsoft Technology Licensing, Llc Motion modeling in visual tracking
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
JP6376807B2 (ja) * 2014-04-02 2018-08-22 キヤノン株式会社 表示装置、表示制御方法及びプログラム
US20150309534A1 (en) 2014-04-25 2015-10-29 Osterhout Group, Inc. Ear horn assembly for headworn computer
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9158116B1 (en) 2014-04-25 2015-10-13 Osterhout Group, Inc. Temple and ear horn assembly for headworn computer
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US9904055B2 (en) * 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US9959591B2 (en) * 2014-07-31 2018-05-01 Seiko Epson Corporation Display apparatus, method for controlling display apparatus, and program
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US9366868B2 (en) 2014-09-26 2016-06-14 Osterhout Group, Inc. See-through computer display systems
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
USD743963S1 (en) 2014-12-22 2015-11-24 Osterhout Group, Inc. Air mouse
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
KR20160084991A (ko) * 2015-01-07 2016-07-15 삼성전자주식회사 마스터 기기, 슬레이브 기기 및 그 제어 방법
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US9911232B2 (en) 2015-02-27 2018-03-06 Microsoft Technology Licensing, Llc Molding and anchoring physically constrained virtual environments to real-world environments
WO2016187348A1 (en) * 2015-05-18 2016-11-24 Brian Mullins Biometric authentication in a head mounted device
US9836117B2 (en) 2015-05-28 2017-12-05 Microsoft Technology Licensing, Llc Autonomous drones for tactile feedback in immersive virtual reality
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
KR20170043911A (ko) 2015-10-14 2017-04-24 삼성전자주식회사 전자 장치 및 그 제어 방법
US9864194B2 (en) 2015-11-24 2018-01-09 Honeywell International Inc. Systems and methods for displaying FOV boundaries on HUDs
US10147235B2 (en) 2015-12-10 2018-12-04 Microsoft Technology Licensing, Llc AR display with adjustable stereo overlap zone
US10134188B2 (en) * 2015-12-21 2018-11-20 Intel Corporation Body-centric mobile point-of-view augmented and virtual reality
WO2017147748A1 (zh) * 2016-02-29 2017-09-08 华为技术有限公司 一种可穿戴式系统的手势控制方法以及可穿戴式系统
US20170252643A1 (en) * 2016-03-07 2017-09-07 Htc Corporation Accessory management of virtual reality system
CN105912123A (zh) * 2016-04-15 2016-08-31 北京小鸟看看科技有限公司 一种三维沉浸式环境下的界面布局方法和装置
TWI628634B (zh) * 2016-05-25 2018-07-01 國立中央大學 互動式教學系統以及方法
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US9826299B1 (en) 2016-08-22 2017-11-21 Osterhout Group, Inc. Speaker systems for head-worn computer systems
US9880441B1 (en) 2016-09-08 2018-01-30 Osterhout Group, Inc. Electrochromic systems for head-worn computer systems
US9910284B1 (en) 2016-09-08 2018-03-06 Osterhout Group, Inc. Optical systems for head-worn computers
USD840395S1 (en) 2016-10-17 2019-02-12 Osterhout Group, Inc. Head-worn computer
US20180126241A1 (en) * 2016-11-10 2018-05-10 National Taiwan University Augmented learning system for tai-chi chuan with head-mounted display
EP3330839A1 (en) * 2016-12-05 2018-06-06 THOMSON Licensing Method and device for adapting an immersive content to the field of view of a user
USD864959S1 (en) 2017-01-04 2019-10-29 Mentor Acquisition One, Llc Computer glasses
US10159900B2 (en) * 2017-03-17 2018-12-25 Roblox Corporation Avatar teleport controller
CN106997242A (zh) * 2017-03-28 2017-08-01 联想(北京)有限公司 界面管理方法及头戴式显示设备
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
TWI658291B (zh) * 2018-01-25 2019-05-01 宏碁股份有限公司 頭戴式顯示器及其操作方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995005620A1 (fr) * 1993-08-12 1995-02-23 Seiko Epson Corporation Dispositif de visualisation du type lunettes et processeur de donnees d'images equipe d'un tel dispositif
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
JP2004234253A (ja) * 2003-01-29 2004-08-19 Canon Inc 複合現実感呈示方法
JP2008504597A (ja) * 2004-06-21 2008-02-14 トータルフェルスバレッツ フォルスクニングスインスティテュート 周辺界の画像を表示するための装置及び方法
JP2008217119A (ja) * 2007-02-28 2008-09-18 Canon Inc システム、画像処理装置、画像処理方法
JP2009037487A (ja) * 2007-08-02 2009-02-19 Canon Inc システム、頭部装着型表示装置、その制御方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3701053B2 (ja) * 1995-07-13 2005-09-28 コニカミノルタホールディングス株式会社 映像表示装置
JPH1184307A (ja) * 1997-09-01 1999-03-26 M R Syst Kenkyusho:Kk 頭部装着型の光学装置
AUPQ896000A0 (en) * 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
DE10131720B4 (de) * 2001-06-30 2017-02-23 Robert Bosch Gmbh Head-Up Display System und Verfahren
US7561966B2 (en) 2003-12-17 2009-07-14 Denso Corporation Vehicle information display system
WO2005122128A1 (ja) 2004-06-10 2005-12-22 Matsushita Electric Industrial Co., Ltd. 装着型情報提示装置
US7369317B2 (en) 2005-03-07 2008-05-06 Himax Technologies, Inc. Head-mounted display utilizing an LCOS panel with a color filter attached thereon
HU0500357D0 (en) * 2005-04-04 2005-05-30 Innoracio Fejlesztoe Es Kutata Dynamic display and method for enhancing the effective resolution of displays
IL196078A (en) * 2007-12-20 2014-09-30 Raytheon Co Imaging system
US9600067B2 (en) 2008-10-27 2017-03-21 Sri International System and method for generating a mixed reality environment
US20100182340A1 (en) * 2009-01-19 2010-07-22 Bachelder Edward N Systems and methods for combining virtual and real-time physical environments

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995005620A1 (fr) * 1993-08-12 1995-02-23 Seiko Epson Corporation Dispositif de visualisation du type lunettes et processeur de donnees d'images equipe d'un tel dispositif
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
JP2004234253A (ja) * 2003-01-29 2004-08-19 Canon Inc 複合現実感呈示方法
JP2008504597A (ja) * 2004-06-21 2008-02-14 トータルフェルスバレッツ フォルスクニングスインスティテュート 周辺界の画像を表示するための装置及び方法
JP2008217119A (ja) * 2007-02-28 2008-09-18 Canon Inc システム、画像処理装置、画像処理方法
JP2009037487A (ja) * 2007-08-02 2009-02-19 Canon Inc システム、頭部装着型表示装置、その制御方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018129054A (ja) * 2013-06-07 2018-08-16 ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー ヘッドマウントシステムに関連するホップ数を削減するためのシステム及び方法
US9977241B2 (en) 2015-03-17 2018-05-22 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and computer program
US10175484B2 (en) 2015-03-17 2019-01-08 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and computer program

Also Published As

Publication number Publication date
TW201303640A (zh) 2013-01-16
CN103635849A (zh) 2014-03-12
US20130093789A1 (en) 2013-04-18
US9245501B2 (en) 2016-01-26
WO2012177657A2 (en) 2012-12-27
EP2724191A4 (en) 2015-03-25
KR20140034252A (ko) 2014-03-19
EP2724191A2 (en) 2014-04-30
US20150235632A1 (en) 2015-08-20
US9041623B2 (en) 2015-05-26
WO2012177657A3 (en) 2013-05-02
US20120327116A1 (en) 2012-12-27

Similar Documents

Publication Publication Date Title
EP2956843B1 (en) Human-body-gesture-based region and volume selection for hmd
RU2621644C2 (ru) Мир массового одновременного удаленного цифрового присутствия
US9030495B2 (en) Augmented reality help
US9122321B2 (en) Collaboration environment using see through displays
US10019962B2 (en) Context adaptive user interface for augmented reality display
US9323325B2 (en) Enhancing an object of interest in a see-through, mixed reality display device
US9035955B2 (en) Synchronizing virtual actor's performances to a speaker's voice
US20130307855A1 (en) Holographic story telling
JP2014504413A (ja) 理解および意図に基づく拡張現実表示用コンテンツ
EP2946264B1 (en) Virtual interaction with image projection
US20130021374A1 (en) Manipulating And Displaying An Image On A Wearable Computing System
US9690099B2 (en) Optimized focal area for augmented reality displays
TWI597623B (zh) 可穿戴基於行爲的視覺系統
US9201578B2 (en) Gaze swipe selection
KR20160022921A (ko) 모바일 디바이스 착용 시의 머리 움직임 추적
US9384737B2 (en) Method and device for adjusting sound levels of sources based on sound source priority
US8963956B2 (en) Location based skins for mixed reality displays
US20130342572A1 (en) Control of displayed content in virtual environments
US20140152558A1 (en) Direct hologram manipulation using imu
US20130328925A1 (en) Object focus in a mixed reality environment
JP2016506565A (ja) 人間トリガのホログラフィックリマインダ
US20130326364A1 (en) Position relative hologram interactions
US9024842B1 (en) Hand gestures to signify what is important
KR20140144510A (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US9342610B2 (en) Portals: registered objects as virtualized, personalized displays

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150514

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160412

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161104