JP2014526157A - Classification of the total field of view of the head mounted display - Google Patents
Classification of the total field of view of the head mounted display Download PDFInfo
- Publication number
- JP2014526157A JP2014526157A JP2014517099A JP2014517099A JP2014526157A JP 2014526157 A JP2014526157 A JP 2014526157A JP 2014517099 A JP2014517099 A JP 2014517099A JP 2014517099 A JP2014517099 A JP 2014517099A JP 2014526157 A JP2014526157 A JP 2014526157A
- Authority
- JP
- Japan
- Prior art keywords
- hmd
- wearer
- hmd wearer
- tfov
- regions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/02—Viewing or reading apparatus
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
- G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Abstract
仮想イメージが、拡張現実視野をHMD装着者に提供するために、ヘッドマウントディスプレイ(HMD)内に表示するために配置される。センサーデータが、HMDに設けられたオンボードセンサーから収集され得る。加えて、他の日が、外部ソースから収集され得る。収集されたセンサーデータおよび他のデータに基づいて、HMD装着者の身体および周囲の環境に対するHMD装着者の頭部の位置および回転が決定され得る。HMD装着者の頭部の位置を解決した後、HMD装着者の全視野(TFOV)は、領域に分類され得る。次に、仮想イメージをHMD装着者の身体および周囲の環境に対して配置するために、仮想イメージは、分類されたTFOV領域内に配置され得る。 A virtual image is arranged for display in a head mounted display (HMD) to provide an augmented reality view to the HMD wearer. Sensor data can be collected from on-board sensors provided in the HMD. In addition, other days can be collected from external sources. Based on the collected sensor data and other data, the position and rotation of the HMD wearer's head relative to the HMD wearer's body and surrounding environment may be determined. After resolving the position of the HMD wearer's head, the HMD wearer's full field of view (TFOV) can be classified into regions. The virtual image can then be placed within the classified TFOV region to place the virtual image relative to the HMD wearer's body and surrounding environment.
Description
本願発明の一実施例は、例えば、ヘッドマウントディスプレイの全視野の分類に関する。 One embodiment of the present invention relates to, for example, classification of the entire field of view of a head mounted display.
[0001]シースルーヘッドマウントディスプレイ(HMD)は、装着者が見るものを仮想物体で拡張する機能を提供する。すなわち、HMDは、拡張現実視野を提供するために、現実世界のHMD装着者の視野を、仮想イメージで拡張する。しかしながら、これらの仮想イメージは、容易に気が散り、押し付けがましくなる可能性があり、注意を現実世界から引き離し、HMD装着者の通常の(拡張されない)視野を遮蔽する。これは、特に、モバイル、野外、および活動中のシナリオを考慮する場合、特に、「常時オン」のウェアラブル表示装置の用途で、課題を示す可能性がある。 [0001] See-through head-mounted displays (HMDs) provide the ability to extend what a wearer sees with virtual objects. That is, the HMD expands the field of view of the HMD wearer in the real world with a virtual image to provide an augmented reality field of view. However, these virtual images can be easily distracting and intrusive, pulling attention away from the real world and shielding the normal (unexpanded) field of view of the HMD wearer. This can present challenges, especially in applications for “always-on” wearable displays, especially when considering mobile, outdoor, and active scenarios.
本願発明の一実施例は、例えば、ヘッドマウントディスプレイの全視野の分類に関する。 One embodiment of the present invention relates to, for example, classification of the entire field of view of a head mounted display.
[0002]この概要は、「発明を実施するための形態」でさらに後述される選択された概念を簡略化した形態で紹介するために提供される。この概要は、特許請求された主題の主要な特徴または本質的な特徴を特定することを意図するものではなく、特許請求された主題の範囲を決定する際に補助として使用されることを意図するものでもない。 [0002] This summary is provided to introduce a selection of concepts in a simplified form that are further described below in the Detailed Description. This summary is not intended to identify key features or essential features of the claimed subject matter, but is intended to be used as an aid in determining the scope of the claimed subject matter. Not a thing.
[0003]本発明の実施形態は、拡張現実視野をHMD装着者に提供するために、ヘッドマウントディスプレイ(HMD)内に仮想イメージを配置することに関する。センサーデータが、HMDに設けられたオンボードセンサーから収集され得る。加えて、他のデータが、外部ソースから収集され得る。収集されたセンサーデータおよび他のデータに基づいて、HMD装着者の身体および周囲の環境に対するHMD装着者の頭部の位置および回転が決定され得る。HMD装着者の頭部の位置を解決した後、HMD装着者の全視野(TFOV)は、領域に分類され得る。次に、仮想イメージをHMD装着者の身体および周囲の環境に対して配置するために、仮想イメージは、分類されたTFOV領域内に配置され得る。 [0003] Embodiments of the invention relate to placing a virtual image within a head mounted display (HMD) to provide an augmented reality view to an HMD wearer. Sensor data can be collected from on-board sensors provided in the HMD. In addition, other data can be collected from external sources. Based on the collected sensor data and other data, the position and rotation of the HMD wearer's head relative to the HMD wearer's body and surrounding environment may be determined. After resolving the position of the HMD wearer's head, the HMD wearer's full field of view (TFOV) can be classified into regions. The virtual image can then be placed within the classified TFOV region to place the virtual image relative to the HMD wearer's body and surrounding environment.
[0004]本発明は、添付図面を参照して、以下に詳細に説明される。 [0004] The present invention is described in detail below with reference to the accompanying drawings.
図3Bは、本発明の実施形態による、一次領域、二次領域、および三次領域に分類されたHMD装着者のTFOVの正面図である。
[0013]本発明の主題は、法的要件を満たすために、本明細書に具体的に説明される。しかしながら、説明自体は、本発明の範囲を限定することを目的としない。むしろ、本発明者らは、特許請求される主題は、他の現在のまたは将来の技術と組み合わせて、この文書に記載されているものと同様の異なるステップまたはステップの組合せを含むように、他の方法で実施されてもよいと考えている。さらに、「ステップ」および/または「ブロック」という用語は、本明細書では、用いられる方法の異なる要素を暗示するために使用され得るが、これらの用語は、個々のステップの順序が明示的に記載されている場合を除き、本明細書に開示された様々なステップ間のどのような特定の順序を意味するものとしても解釈されるべきではない。 [0013] The subject matter of the present invention is specifically described herein to meet legal requirements. However, the description itself is not intended to limit the scope of the invention. Rather, we believe that the claimed subject matter includes different steps or combinations of steps similar to those described in this document in combination with other current or future technologies. It is thought that it may be implemented by the method. Further, the terms “step” and / or “block” may be used herein to imply different elements of the method used, but these terms may be used in the explicit order of the individual steps. Except where noted, this should not be construed as implying any particular order between the various steps disclosed herein.
[0014]本発明の実施形態は、HMD装着者に拡張現実視野を提供するために、HMD装着者の全視野(TFOV)に対するHMDの表示内の仮想イメージの自動的で連続的な配置および置換を対象とする。本明細書で使用される「TFOV」は、人間の頭部の回転および平行移動の完全な範囲を占める。これは、人間が所与の瞬間に見るものの範囲を占める人間の視野(FOV)とは対照的である。 [0014] Embodiments of the present invention provide automatic and continuous placement and replacement of virtual images within the display of the HMD relative to the entire field of view (TFOV) of the HMD wearer in order to provide an augmented reality view to the HMD wearer Is targeted. “TFOV” as used herein occupies the full range of human head rotation and translation. This is in contrast to the human field of view (FOV), which occupies the range of what a human sees at a given moment.
[0015]本発明の実施形態によれば、センサーデータが、HMDに設けられた任意の数のオンボードセンサーから収集される。加えて、他のデータが、HMDの外部のソースから収集され得る。センサーデータおよび他のデータは、HMD装着者の物理的な頭部が、HMD装着者の物理的な身体と、HMD装着者の周囲の物理的な環境とに関係するように、HMD装着者の物理的な頭部を追跡および解釈するために使用され得る。HMD装着者の物理的な頭部を、HMD装着者の身体および周囲の環境に対して追跡することによって、HMD装着者のTFOVは、様々な領域に分類され得る。これらの領域は、HMD装着者および周囲の環境に対して定義され得る。いくつかの実施形態では、領域は、一次領域、および1つまたは複数の非一次領域を含むことができる。仮想イメージは、分類された領域に従って、TFOV内に配置され得る。したがって、本発明の実施形態は、HMD装着者の身体および周囲の環境に対してHMD装着者の頭部を認識し、このような知識を、HMD装着者の身体および周囲の環境に対して仮想イメージを配置するために使用することができるシステムを提供する。いくつかの実施形態では、一次領域の視覚的な遮蔽を低減することによって、仮想イメージが、危険でない方法で提示されるように、仮想物体は、概して、一次領域から離れて配置されてもよく、邪魔にならない領域に配置されてもよい。仮想物体は、文脈を提供する(例えば、情報を、関連性が低い、重要でないなどとして分類する)ために、一次領域から離れて配置されてもよい。 [0015] According to embodiments of the present invention, sensor data is collected from any number of on-board sensors provided in the HMD. In addition, other data can be collected from sources external to the HMD. Sensor data and other data may be obtained from the HMD wearer so that the physical head of the HMD wearer is related to the physical body of the HMD wearer and the physical environment surrounding the HMD wearer. Can be used to track and interpret the physical head. By tracking the physical head of the HMD wearer relative to the body and surrounding environment of the HMD wearer, the TFOV of the HMD wearer can be classified into various regions. These areas can be defined for the HMD wearer and the surrounding environment. In some embodiments, the region can include a primary region and one or more non-primary regions. Virtual images may be placed in the TFOV according to the classified area. Accordingly, embodiments of the present invention recognize the HMD wearer's head relative to the HMD wearer's body and surrounding environment, and such knowledge is virtual to the HMD wearer's body and surrounding environment. A system is provided that can be used to place images. In some embodiments, the virtual object may generally be placed away from the primary region so that the virtual image is presented in a non-hazardous manner by reducing the visual occlusion of the primary region. , It may be arranged in a non-intrusive area. Virtual objects may be placed away from the primary region to provide context (eg, classify information as less relevant, less important, etc.).
[0016]したがって、一態様では、本発明の実施形態は、1つまたは複数のコンピューティングデバイスによって使用されると、1つまたは複数のコンピューティングデバイスに方法を実行させるコンピューター使用可能命令を記憶する1つまたは複数のコンピューター記憶媒体を対象とする。方法は、1つまたは複数のHMDオンボードセンサーからセンサーデータを受信するステップを含む。方法は、センサーデータを使用して、HMD装着者の身体およびHMD装着者の周囲の環境に対するHMD装着者の頭部の位置および回転を決定するステップも含む。方法は、さらに、1つまたは複数の予め決められた規則、ならびにHMD装着者の身体およびHMD装着者の周囲の環境に対するHMD装着者の頭部の位置および回転に基づいて、HMD装着者のTFOV内の2つ以上の領域を分類するステップを含む。方法は、さらにまた、HMD装着者のTFOV内の2つ以上の領域を分類するステップに基づいて、HMDによって表示されることになる仮想イメージを配置するステップを含む。 [0016] Thus, in one aspect, embodiments of the invention store computer-usable instructions that, when used by one or more computing devices, cause one or more computing devices to perform a method. Target one or more computer storage media. The method includes receiving sensor data from one or more HMD on-board sensors. The method also includes using the sensor data to determine the position and rotation of the HMD wearer's head relative to the HMD wearer's body and surrounding environment. The method further includes the TFOV of the HMD wearer based on one or more predetermined rules and the position and rotation of the HMD wearer's head relative to the HMD wearer's body and surrounding environment. Categorizing two or more regions within. The method further includes placing a virtual image to be displayed by the HMD based on classifying two or more regions within the TFOV of the HMD wearer.
[0017]別の実施形態では、本発明の態様は、HMDを対象とする。HMDは、1つまたは複数のオンボードセンサーを含む。HMDは、また、1つまたは複数のオンボードセンサーからのセンサーデータに基づいて、HMD装着者の身体に対するHMD装着者の頭部の位置および回転を決定し、HMD装着者の身体に対するHMD装着者の頭部の位置および回転に基づいて、HMD装着者のTFOVの2つ以上の領域を分類し、1つまたは複数の仮想物体を2つ以上の領域内に配置するように構成された1つまたは複数のプロセッサーを含む。HMDは、さらに、HMD装着者に拡張視野を提供するために、1つまたは複数の仮想物体の少なくとも1つを表示するように構成された1つまたは複数の表示構成要素を含む。 [0017] In another embodiment, aspects of the invention are directed to an HMD. The HMD includes one or more on-board sensors. The HMD also determines the position and rotation of the HMD wearer's head relative to the HMD wearer's body based on sensor data from one or more on-board sensors, and the HMD wearer's body relative to the HMD wearer's body. One configured to classify two or more regions of the TFOV of the HMD wearer based on the position and rotation of the head of the HMD and place one or more virtual objects in the two or more regions Or contain multiple processors. The HMD further includes one or more display components configured to display at least one of the one or more virtual objects to provide an expanded field of view to the HMD wearer.
[0018]さらなる実施形態は、HMD装着者のTFOVの領域を分類するための方法を対象とする。方法は、HMDのオンボードの1つまたは複数のセンサーからセンサーデータを受信するステップと、HMDの外部の1つまたは複数のセンサーから他のデータを受信するステップと、センサーデータおよび他のデータに基づいて、HMD装着者の身体および周囲の環境に対するHMD装着者のTFOVの領域を分類するステップとを連続的に含む。 [0018] A further embodiment is directed to a method for classifying a region of TFOV of an HMD wearer. The method includes receiving sensor data from one or more sensors on-board the HMD, receiving other data from one or more sensors external to the HMD, and sensor data and other data. And continuously classifying the region of the HMD wearer's TFOV relative to the body and surrounding environment of the HMD wearer.
[0019]本発明の実施形態の概要を簡単に説明しており、本発明の実施形態が実施され得る例示的な動作環境が、本発明の様々な態様に関する概括的な文脈を提供するために、以下に説明される。最初に図1を特に参照し、本発明の実施形態を実施するための例示的な動作環境が、コンピューティングデバイス100として全体的に示され、指定される。コンピューティングデバイス100は、適切なコンピューティング環境の一例にすぎず、本発明の使用または機能の範囲について何ら限定を示唆するものではない。また、コンピューティングデバイス100は、示された構成要素のいずれか1つまたは組合せに関するどのような依存性または要件を有するものとしても解釈されるべきではない。
[0019] Having briefly described an overview of embodiments of the present invention, an exemplary operating environment in which embodiments of the present invention may be implemented provides a general context for the various aspects of the present invention. Will be described below. With particular reference first to FIG. 1, an exemplary operating environment for practicing embodiments of the present invention is generally shown and designated as
[0020]本発明は、パーソナルデータシスタント、または他のハンドヘルドデバイスなど、コンピューターまたは他のマシンによって実行される、プログラムモジュールなどのコンピューター実行可能命令を含む、コンピューターコードまたはマシン使用可能命令の概括的な文脈で説明され得る。概して、ルーチン、プログラム、オブジェクト、構成要素、データ構造などを含むプログラムモジュールは、特定のタスクを実行する、または特定の抽象データ型を実装するコードを指す。本発明は、ハンドヘルドデバイス、民生用電子機器、汎用コンピューター、より専門的なコンピューティングデバイスなどを含む、様々なシステム構成で実施され得る。本発明は、通信ネットワークを介してリンクされた遠隔処理デバイスによってタスクが実行される分散コンピューティング環境で実施されてもよい。 [0020] The present invention is a generalization of computer code or machine-usable instructions, including computer-executable instructions, such as program modules, executed by a computer or other machine, such as a personal data assistant or other handheld device. Can be described in context. Generally, program modules that include routines, programs, objects, components, data structures, etc., refer to code that performs a particular task or implements a particular abstract data type. The present invention may be implemented in various system configurations including handheld devices, consumer electronics, general purpose computers, more specialized computing devices, and the like. The invention may also be practiced in distributed computing environments where tasks are performed by remote processing devices that are linked through a communications network.
[0021]図1を参照し、コンピューティングデバイス100は、以下のデバイスを直接または間接的に結合するバス110と、メモリ112と、1つまたは複数のプロセッサー114と、1つまたは複数のプレゼンテーション構成要素116と、入力/出力(I/O)ポート118と、入力/出力構成要素120と、例示的な電源122とを含む。バス110は、(アドレスバス、データバス、またはそれらの組合せなど)1つまたは複数のバスとすることができるものを表す。図1の様々なブロックは、明瞭にするために線で示されているが、実際には、様々な構成要素を描写することは、それほど明確ではなく、比喩的には、線は、より正確には、グレイで曖昧であろう。例えば、表示装置などのプレゼンテーション構成要素を、I/O構成要素であると考えることができる。また、プロセッサーは、メモリを有する。発明者らは、それが技術の本質であると認識し、図1の図が、本発明の1つまたは複数の実施形態に関連して使用され得る例示的なコンピューティングデバイスの単なる例示にすぎないことを繰り返し述べたい。例えば、「ワークステーション」、「サーバー」、「ラップトップ」、「ハンドヘルドデバイス」としてのこのようなカテゴリー間の区別は、これらのすべてが、図1、および「コンピューティングデバイス」への参照の範囲内であるため、行われない。
[0021] Referring to FIG. 1, a
[0022]コンピューティングデバイス100は、典型的には、様々なコンピューター可読媒体を含む。コンピューター可読媒体は、コンピューティングデバイス100によってアクセスされ得る任意の利用可能な媒体であってもよく、揮発性および不揮発性媒体、リムーバブルおよび非リムーバブル媒体の両方を含む。例として、限定ではなく、コンピューター可読媒体は、コンピューター記憶媒体および通信媒体を含むことができる。コンピューター記憶媒体は、コンピューター可読命令、データ構造、プログラムモジュール、または他のデータなどの情報の記憶のための任意の方法または技術で実現される、揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体の両方を含む。コンピューター記憶媒体は、RAM、ROM、EEPROM、フラッシュメモリ、もしくは他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)、もしくは他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、もしくは他の磁気記憶装置、または所望の情報を格納するために使用され得る、コンピューティングデバイス100によってアクセスされ得る任意の他の媒体を含むが、これらに限定されない。通信媒体は、典型的には、コンピューター可読命令、データ構造、プログラムモジュール、または他のデータを、搬送波もしくは他の伝送機構などの変調データ信号内で具体化し、任意の情報配信媒体を含む。「変調データ信号」という用語は、信号内に情報を符号化するような方法で設定または変更された1つまたは複数のその特徴を有する信号を意味する。例として、限定ではなく、通信媒体は、ワイヤードネットワークまたは直接配線接続などのワイヤード媒体、ならびに音響、RF、赤外線、および他のワイヤレス媒体などのワイヤレス媒体を含む。上記のいずれの組合せも、コンピューター可読媒体の範囲内に含まれるべきである。
[0022]
[0023]メモリ112は、揮発性および/または不揮発性メモリの形態のコンピューター記憶媒体を含む。メモリは、リムーバブル、非リムーバブル、またはそれらの組合せであってもよい。例示的なハードウェアデバイスは、固体メモリ、ハードドライブ、光ディスクドライブなどを含む。コンピューティングデバイス100は、メモリ112またはI/O構成要素120などの様々な実体からデータを読み出す1つまたは複数のプロセッサーを含む。プレゼンテーション構成要素(複数可)116は、データ表示をユーザーまたは他のデバイスに示す。例示的なプレゼンテーション構成要素は、表示装置、スピーカー、印刷構成要素、振動構成要素などを含む。
[0023] The
[0024]I/Oポート118は、コンピューティングデバイス100が、I/O構成要素120を含む他のデバイスに論理的に結合されることを可能にし、I/O構成要素120のいくつかは、組み込まれていてもよい。例示的な構成要素は、マイクロフォン、ジョイスティック、ゲームパッド、サテライトディッシュ、スキャナー、プリンター、ワイヤレス装置などを含む。
[0024] The I /
[0025]ここで図2を参照し、本発明の実施形態による、HMD装着者のTFOVを分類し、分類された領域内に仮想物体を配置するためのシステム200を示すブロック図が提供される。本明細書に記載のこの配置および他の配置は、例としてのみ記載されることを理解すべきである。他の配置および要素(例えば、マシン、インターフェース、機能、順序、および機能のグループ化など)が、示されたものに加えて、またはその代わりに使用可能であり、いくつかの要素は、完全に省略されてもよい。さらに、本明細書に記載の要素の多くは、個別のまたは分散された構成要素として、または他の構成要素と組み合わせて、任意の適切な組合せおよび位置で実装可能な機能的実体である。1つまたは複数の実体によって実行されるものとして本明細書に記載された様々な機能は、ハードウェア、ファームウェア、および/またはソフトウェアによって実行され得る。例えば、様々な機能は、メモリに記憶された命令を実行するプロセッサーによって実行され得る。
[0025] Referring now to FIG. 2, a block diagram illustrating a
[0026]図2に示すように、システム200は、HMD202を含む。図示されていないが、HMD202は、例えば、メモリ、プロセッサー、コンピューター可読媒体、入力/出力構成要素、および電源を含む、概括的なコンピューティングデバイス100に関して図1を参照して上述されたものなどの構成要素を含むことができる。HMD202は、例えば、眼鏡、ゴーグル、またはヘルメットを含む、多数の異なるフォームファクターのいずれかで提供され得る。
As shown in FIG. 2, the
[0027]HMD202は、概して、装着者の現実世界の視野をコンピューターで生成された仮想イメージで拡張することによって、装着者に現実世界の拡張視野を提供することができる。装着者に拡張視野を提供するために、HMD202は、装着者が現実世界を見ることを依然として可能にしながら、コンピューターで生成された仮想イメージを表示する表示構成要素204を含むことができる。いくつかの実施形態では、これは、ヘッドアップディスプレイ(HUD)技術を含むことができ、HUD技術は、仮想イメージを提供するために、例えば、任意の種類の投影またはマイクロディスプレイ技術を使用することができる。装着者が現実世界を見ていながら、画像が装着者の網膜に直接投影される網膜ディスプレイなどの他の技術が用いられてもよい。
[0027] The
[0028]HMD202は、ワイヤレス通信構成要素206を含むこともでき、ワイヤレス通信構成要素206は、HMD202が、コンパニオンデバイス(例えば、スマートフォン)、サーバー装置、または他のネットワーク構成要素と通信することを可能にするために、ワイヤレス通信機能を提供する。例えば、本発明のいくつかの実施形態は、HMD装着者のTFOVの領域を分類し、仮想物体をこれらの領域内に配置する際に、クラウドベースのサービスにHMD202を援助させることによって実施され得る。いくつかの実施形態では、HMD202は、サーバー装置と直接通信するように構成されてもよく、他の実施形態では、HMD202は、HMD装着者の手元にあるコンパニオンデバイス(例えば、スマートフォンまたは他のデバイス)を介してサーバー装置と通信することができる。
[0028] The
[0029]HMD202は、位置および他のセンサーデータを提供する多数のオンボードセンサー208を含むこともできる。様々な異なる種類のオンボードセンサー208のいずれも、本発明の様々な実施形態によるHMD202に含まれてもよい。概して、システムが、HMD装着者の身体および周囲の環境に対するHMD装着者の頭部の位置および回転、目の位置、または他の有用な状況情報を決定することを可能にする任意のセンサーが使用され得る。例のみとして、限定ではなく、オンボードセンサー208は、GPSセンサー、慣性測定ユニット(IMU)センサー、深度センサー、カメラ、目追跡センサー、マイクロフォン、生体計測センサー、および他の種類のセンサーを含むことができる。
[0029] The
[0030]HMD202上のIMUは、慣性加速度を測定することができ、加速度計、ジャイロスコープ、磁力計、および他のデバイスの機能を組み込むことができる。一実施形態では、慣性加速度のIMU測定は、6自由度を有する。IMUからのデータは、空間内の絶対位置を推定するために他のデータと共に使用され得る相対運動および回転情報を提供することができる。追加のデータは、GPSセンサーからの情報を含むことができ、GPSセンサーからの情報は、マクロレベルでの位置情報を提供するために使用され得る。いくつかの実施形態では、HMD202は、補助GPS(A−GPS)を使用することができる。
[0030] The IMU on the
[0031]深度センサーおよびカメラは、HMD装着者の周囲の環境に関するデータを収集するために、HMD202上で使用され得る。深度センサーは、概して、物体までの距離を決定するセンサーを含むことができる。いくつかの実施では、深度センサーは、送信源から放出され、物体から反射されたIR光を取り込む赤外線センサーを含むことができる。距離データは、飛行時間法、三角測量、または他の既知の原理を使用して決定され得る。カメラは、IRもしくは可視スペクトル、白黒、または赤緑青(RGB)カメラであってもよい。いくつかの実施形態では、2つの異なるカメラからの画像間の視差が、人間の2つの目が奥行知覚を提供するのと同様に奥行きを測定するために使用され得る。
[0031] A depth sensor and camera may be used on the
[0032]HMD202は、1つまたは複数の目追跡センサーを含むこともでき、目追跡センサーは、典型的には、ユーザーの視線の方向を決定するために、目の瞳孔もしくは他の部分、または目の周囲の領域の動きを追跡する。これは、例えば、HMD装着者の目に向けられたIRまたはRGBカメラを使用して達成され得る。HMD装着者の声、および周囲の環境の音を含む音声情報を収集するために、マイクロフォンが設けられてもよい。HMD装着者に関する生体情報を収集するために、生体計測センサーが使用され得る。
[0032] The
[0033]オンボードセンサー208からのセンサーデータは、処理するための仮想イメージングシステム210に提供され得る。本発明のいくつかの実施形態では、仮想イメージングシステム210は、HMD202に設けることができる。他の実施形態では、仮想イメージングシステム210は、サーバー装置または他のネットワーク構成要素など、HMD202の外部のデバイスによって提供され得る。さらに他の実施形態では、仮想イメージングシステム210は、複数のデバイス(例えば、HMD202および外部デバイス)にわたって分散され得る。任意のおよびすべてのこのような変形形態は、本発明の実施形態の範囲内にあると考えられる。
[0033] Sensor data from on-
[0034]仮想イメージングシステム210は、頭部位置構成要素212を含み、頭部位置構成要素212は、オンボードセンサー208からセンサーデータを受信し、HMD装着者の周囲の環境およびHMD装着者の身体に対するHMD装着者の頭部の位置および回転を決定するように動作可能である。例のみとして、限定ではなく、頭部位置構成要素212は、マッピングされた周囲の環境に対するHMD装着者の頭部のリアルタイム位置を提供するために、例えば、カメラデータおよび/または深度センサーデータを使用する同時位置およびマッピング(SLAM)などの技術を使用することができる。IMUデータは、カメラまたは深度センサーが利用不可能であっても、相対回転および位置情報を提供することもできる。HMD装着者の身体の領域(例えば、手、腕、胴、脚、足など)は、センサーデータを使用して識別されてもよい。例えば、カメラデータおよび/または深度センサーデータは、HMD装着者が自分自身を見ているときに得ることができる。このように、HMD装着者の身体に対するHMD装着者の頭部の位置および回転は、有用な程度の精度に推定され得る。これは、少し例を挙げれば、HMD装着者が立っているか、座っているか、胴体に対して真っ直ぐ前を見ているかなどの情報を含むことができる。
[0034] The
[0035]頭部位置構成要素212は、HMD212の外部のセンサーおよび他のソース220からデータを受信することもできる。例のみとして、限定ではなく、他のソース220は、外部カメラ、外部深度センサー(例えば、KINECT(登録商標)センサー)、他のHMD、モバイルデバイス、およびHMDから遠隔に記憶された履歴センサーデータを含むことができる。概して、HMD装着者の身体および周囲の環境に対するHMD装着者の頭部の位置および回転をシステムが決定することを可能にする情報の任意の外部ソースが使用され得る。
[0035] The
[0036]様々なオンボードセンサー208および外部ソース220からのデータは、概して、冗長性および精密化を提供することができる。しかしながら、すべてのセンサーが必要ではないことを理解すべきである。本明細書に示されたセンサー、ならびに他のセンサーおよび情報のソースの任意の組合せが、本発明の実施形態の範囲内で使用され得る。
[0036] Data from various on-
[0037]頭部位置構成要素212が、HMD装着者の身体および周囲の環境に対するHMD装着者の頭部の位置および回転を解決した後、TFOV分類構成要素214は、HMD装着者のTFOVの領域を分類する。本発明の実施形態によれば、TFOV分類構成要素214は、様々な規則に従ってHMD装着者のTFOVの領域を識別する。規則は、ユーザー定義またはシステム定義可能である。加えて、規則は、不変であってもよく、HMD装着者の現在の状況および環境に関する異なる入力に基づいて動的であってもよく、またはHMD装着者が現在なにを行っているのかに基づいて、HMD装着者のための最高の体験を提供するために、HMD装着者によって変更可能であってもよい。
[0037] After the
[0038]本発明のいくつかの実施形態では、領域は、一次領域、および任意の数の追加の非一次領域を含むことができる。一次領域は、HMD装着者のFOV内の一次区域に対応し得る。概して、これは、仮想物体によって遮蔽されるべきではない区域に対応する。非一次領域は、仮想物体によって遮蔽され得る区域に対応する。 [0038] In some embodiments of the present invention, a region may include a primary region and any number of additional non-primary regions. The primary region may correspond to a primary area within the FMD wearer's FOV. In general, this corresponds to an area that should not be occluded by the virtual object. Non-primary regions correspond to areas that can be occluded by virtual objects.
[0039]例として、図3Aおよび図3Bは、それぞれ、HMD装着者304に関するTFOV302の側面図および正面図を示す。図3Aおよび図3Bに示すように、TFOV302は、一次領域306、二次領域308、および三次領域310に分類されている。図3Aおよび図3Bに示す分類は、例としてのみ与えられ、TFOVは、概して、任意の数の領域に分類されてもよい。領域は、対称的または非対称的であってもよい。加えて、領域は、垂直方向に、水平方向に、またはそれらの任意の順列に分割されてもよい。いくつかの実施形態では、領域は、HMD装着者の身体または身体の部分に関連して分類されてもよい。例えば、領域は、身体の領域の左上、身体の領域の右上、身体の左下の領域、身体の右下の領域を含むことができる。
[0039] As an example, FIGS. 3A and 3B show a side view and a front view of a TFOV 302 for an
[0040]TFOVの領域の分類は、固定されてもよく、または動的に変化してもよい。例示として、動的領域と対比した固定された領域の例が、図4および図5に提供される。まず、図4は、固定された領域の例を示す。図4に示すように、HMD装着者が、見上げ、見下ろして自分の頭部を動かすとき、領域は、固定されたままである。対照的に、図5は、動的領域の例を示す。図5に示すように、HMD装着者が、自分の頭部を上下に動かすと、領域は、HMD装着者の頭部の動きと共に移動する。 [0040] The classification of the TFOV region may be fixed or may change dynamically. By way of illustration, examples of fixed regions versus dynamic regions are provided in FIGS. First, FIG. 4 shows an example of a fixed area. As shown in FIG. 4, the area remains fixed when the HMD wearer moves his head looking up and looking down. In contrast, FIG. 5 shows an example of a dynamic region. As shown in FIG. 5, when the HMD wearer moves his / her head up and down, the region moves with the movement of the head of the HMD wearer.
[0041]TFOV領域は、領域のサイズを自動的に調整する(すなわち、拡張または縮小する)、TFOV内で領域をシフトする、またはTFOVに対して新しい領域を完全に再分類することによって、動的に変化することができる。領域は、イベントによってトリガーされる規則、環境条件、身体の配置および移動、ならびに追加のセンサー情報に基づいて、自動的に変化することができる。例えば、HMD装着者が座っている場合、HMD装着者が静止しており、HMD装着者のFOVの多くを遮蔽することがより安全であるため、一次領域は、比較的小さくてもよい。しかしながら、HMD装着者が立って、歩き始める場合、HMD装着者のより少ないFOVが仮想イメージによって遮蔽されるように、一次領域は、拡張可能である。HMD装着者が走り始める、または車を運転し始める場合、一次領域は、さらに拡大することさえできる。再分類する領域の例として、HMD装着者の目が、TFOVの二次領域を見ており、手が、TFOVの二次領域内に移動しているとする。これは、HMD装着者が、その空間内でいくつかのタスクを実行していることを示している可能性がある。これらの入力の結果として、TFOVは、領域が現在一次領域となるように、再分類され得る。他の環境条件も、領域の分類に影響を及ぼし得る。例えば、生体計測入力が、HMD装着者が緊張している、または怖がっていることを示す可能性がある。これに応答して、一次領域は、拡張可能である。 [0041] The TFOV region is moved by automatically adjusting the size of the region (ie, expanding or shrinking), shifting the region within the TFOV, or completely reclassifying the new region with respect to the TFOV. Can change. The region can change automatically based on events triggered rules, environmental conditions, body placement and movement, and additional sensor information. For example, if the HMD wearer is sitting, the primary region may be relatively small because the HMD wearer is stationary and it is safer to shield much of the HMD wearer's FOV. However, when the HMD wearer stands and begins to walk, the primary region can be expanded so that the FOV of the HMD wearer is masked by the virtual image. If the HMD wearer starts running or driving a car, the primary area can even be expanded further. As an example of the area to be reclassified, it is assumed that the eyes of the HMD wearer are looking at the secondary area of TFOV and the hand is moving into the secondary area of TFOV. This may indicate that the HMD wearer is performing several tasks within the space. As a result of these inputs, the TFOV can be reclassified so that the region is now the primary region. Other environmental conditions can also affect the classification of the area. For example, the biometric input may indicate that the HMD wearer is nervous or scared. In response, the primary region can be expanded.
[0042]本発明のいくつかの実施形態によれば、固定された領域または動的な領域のどちらが任意の所与の時点で使用されるのかを制御する規則を使用することによって、固定された領域および動的に変化する領域の組合せが、経時的に使用されてもよい。特に、いくつかの状況は、固定された領域の使用を指示する可能性があり、他の状況は、動的な領域の使用を指示する可能性がある。例えば、領域は、最初に、所与の期間中、固定されてもよい。特定の入力が受信されると、規則は、次に、領域を動的に変化させることを指示することができる。特定の例として、HMD装着者が座っている場合、HMD装着者が座り続けている間、領域は、固定された状態のままとすることができる。しかしながら、HMD装着者が一旦立ち上がると、規則は、ユーザーが空間内を動き回るにつれて、領域を動的に変化させるようにトリガーされ得る。したがって、領域分類は、環境的に適用可能であり得る。 [0042] According to some embodiments of the present invention, fixed by using a rule that controls whether a fixed region or a dynamic region is used at any given time. A combination of regions and dynamically changing regions may be used over time. In particular, some situations may dictate the use of fixed areas, while others may dictate the use of dynamic areas. For example, the region may initially be fixed for a given period. When a particular input is received, the rule can then indicate that the region is to change dynamically. As a specific example, if an HMD wearer is sitting, the region can remain fixed while the HMD wearer continues to sit. However, once the HMD wearer is up, rules can be triggered to dynamically change the area as the user moves about in space. Thus, region classification may be environmentally applicable.
[0043]TFOVの領域を分類した後、仮想物体配置構成要素216は、分類に従って仮想物体を様々な領域内に配置することができる。概して、仮想物体は、定義された規則に従って、領域内に配置されてもよい。規則は、ユーザー定義またはシステム定義可能である。加えて、規則は、不変であってもよく、HMD装着者の現在の状況および環境に関する異なる入力に基づいて動的であってもよく、またはHMD装着者が現在なにを行っているのかに基づいて、HMD装着者のための最高の体験を提供するために、HMD装着者によって変更可能であってもよい。いくつかの実施形態では、これは、一次領域を遮蔽することを防止するために、大部分の仮想物体を、TFOVの非一次領域内に配置することを含んでよい。いくつかの例では、通知のみ、あまり邪魔でない仮想物体、またはより重要であると考えられる仮想物体が、一次領域に配置されてもよい。
[0043] After classifying regions of the TFOV, the virtual
[0044]例示として、図6は、本発明の実施形態による、HMD装着者に提供される視野を提供する。図6に示すように、HMD装着者は、現在、別の人間602を見ている。HMD装着者のFOVは、TFOVの一次領域604、二次領域606、および三次領域608をカバーする。説明の目的のための破線および領域ラベルが図6に設けられ、これらは、HMD装着者に対して表示されないことが留意されるべきである。代わりに、仮想物体610のみが表示されることになる。図6に示すように、より小さい通知仮想物体610のみが、一次領域604内に表示され、より大きく、より邪魔な仮想物体610が、二次領域606および三次領域608内に表示される。結果として、一次領域604は、概して、仮想物体によって遮蔽されない。
[0044] By way of example, FIG. 6 provides a field of view provided to an HMD wearer, according to an embodiment of the present invention. As shown in FIG. 6, the HMD wearer is currently looking at another
[0045]本発明の様々な実施形態では、TFOV内のコンテンツの位置を管理するために、許可セットが使用され得る。これは、特定のコンテンツを特定の領域内に配置する、または配置しないことを指示する、アプリケーションまたは状況にまたがる普遍的な規則を含むことができる。状態に基づいてTFOVの許可を変更することもできる(例えば、ユーザーが運転しているときの仮想物体の配置に関する規則は、ユーザーが居間にいるときの仮想物体の配置に関する規則と異なっていてもよい)。システムによって実行されているアプリケーションの分類に基づいて変化する許可セットが存在してもよい。これらの全体的/状態/アプリケーションに基づく許可の間の相互作用は、コンテンツ、およびTFOV内に表示されるコンテンツの位置を駆動する。 [0045] In various embodiments of the present invention, permission sets may be used to manage the location of content within a TFOV. This can include universal rules across applications or situations that instruct specific content to be placed or not placed in a particular region. TFOV permissions can also be changed based on the state (eg, rules for placement of virtual objects when the user is driving may differ from rules for placement of virtual objects when the user is in the living room) Good). There may be a permission set that changes based on the classification of the application being executed by the system. The interaction between these global / state / application-based permissions drives the content and the location of the content displayed in the TFOV.
[0046]領域がHMD装着者の身体に対して分類される実施形態では、仮想物体は、これらの仮想物体をHMD装着者の身体に対して配置するために、領域内に配置されてもよい。例えば、領域が、足領域として、HMD装着者の足の周囲に分類されてもよく、特定の仮想物体が、仮想物体をHMD装着者の足の近くに配置するために、その領域内に配置されてもよい。別の例として、HMD装着者の胴体の周囲の領域が、胴体領域として分類されてもよく、仮想デスクトップが、HMD装着者がアクセスすることを望む可能性がある情報を含むように、その領域内に配置されてもよい。このように、HMD装着者は、HMD装着者の胴体の周囲の仮想デスクトップを見下ろすことによって、情報を見ることができる。 [0046] In embodiments where regions are classified relative to the body of the HMD wearer, virtual objects may be placed within the region to place these virtual objects relative to the body of the HMD wearer. . For example, a region may be classified as a foot region around the HMD wearer's foot, and a particular virtual object is placed within that region in order to place the virtual object near the HMD wearer's foot. May be. As another example, the area around the HMD wearer's torso may be classified as a torso area, so that the virtual desktop includes information that the HMD wearer may wish to access. It may be arranged inside. In this way, the HMD wearer can view information by looking down at the virtual desktop around the torso of the HMD wearer.
[0047]いくつかの例では、仮想物体は、インタラクティブではない静的な物体を含むことができる。例えば、仮想物体は、単に、HMD装着者が見るための情報またはグラフィックを表示することができる。他の例では、仮想物体は、ユーザーインターフェース(UI)物体であってもよく、HMD装着者は、ジェスチャー、音声コマンド、および/または他の形態の入力を使用して、UI物体と相互作用することができる。 [0047] In some examples, a virtual object may include a static object that is not interactive. For example, the virtual object can simply display information or graphics for viewing by the HMD wearer. In other examples, the virtual object may be a user interface (UI) object, and the HMD wearer interacts with the UI object using gestures, voice commands, and / or other forms of input. be able to.
[0048]TFOVは、HMD装着者のFOVを越えて延在するため、任意の所与の時点では、TFOV内のすべての仮想物体の一部のみが、HMD装着者によって見られることができる。したがって、仮想イメージ表示構成要素218は、TFOV内のHMD装着者の現在のFOVを決定し、HMD装着者のFOV内の適切な位置に仮想物体を表示させるように動作可能であってもよい。例えば、仮想物体が、HMD装着者の足の近くのTFOV領域に配置される場合、HMD装着者が見上げている場合、仮想物体は、表示されないことになる。しかしながら、HMD装着者が見下ろしていた場合、仮想イメージ表示構成要素218は、HMD装着者のFOVが足領域上にあることを決定することになり、仮想物体を適切な位置に表示させることになる。いくつかの実施形態では、HMD装着者のFOVの範囲は、単に、HMD202の表示構成要素204の表示区域の範囲に対応すると考えられてもよいことが留意されるべきである。
[0048] Because the TFOV extends beyond the FMD wearer's FOV, at any given time, only a portion of all virtual objects in the TFOV can be seen by the HMD wearer. Accordingly, the virtual
[0049]いくつかの実施形態では、HMDのFOVは、HMD装着者のFOVを越えて延在してもよい。例えば、深度センサー、カメラ、および他のオンボードHMDセンサー、ならびに外部センサーは、HMD装着者のFOVの外部のデータを取り入れることができる可能性がある。このように、HMDのFOVは、様々なセンサーがカバーし、HMD装着者のFOVをかなり越えて延在することができる範囲によって画定され得る。いくつかの実施形態は、仮想物体がHMDのFOV内に配置される限り、HMD装着者のFOVの外側にあるためHMD装着者に現在表示されない仮想物体とHMD装着者が相互作用することを可能にすることによって、HMDのFOVを利用することができる。例えば、インタラクティブな仮想物体が、HMD装着者の右腰に隣接する領域内に隣接して配置されるとする。HMD装着者は、HMD装着者が他の場所を見ており、仮想物体がHMD装着者に対して表示されない場合であっても、HMDが、HMD装着者の仮想物体との相互作用を取り込むことができるように、仮想物体が配置されるHMD装着者の右腰に隣接する領域が、HMDのFOV内に配置される限り、仮想物体と相互作用することができる。 [0049] In some embodiments, the HMD FOV may extend beyond the FMD of the HMD wearer. For example, depth sensors, cameras, and other on-board HMD sensors, as well as external sensors, may be able to capture data external to the HMD wearer's FOV. Thus, the HMD's FOV can be defined by the extent that various sensors cover and can extend well beyond the HMD wearer's FOV. Some embodiments allow an HMD wearer to interact with a virtual object that is not currently displayed to the HMD wearer because it is outside the HMD wearer's FOV as long as the virtual object is placed within the HMD FOV By doing so, the FOV of the HMD can be used. For example, it is assumed that an interactive virtual object is arranged adjacent to the area adjacent to the right waist of the HMD wearer. The HMD wearr takes the interaction with the virtual object of the HMD wearer even if the HMD wearer is looking elsewhere and the virtual object is not displayed to the HMD wearer. As long as the region adjacent to the right waist of the HMD wearer where the virtual object is placed is placed in the FMD of the HMD, it can interact with the virtual object.
[0050]ここで図7を参照し、本発明の実施形態による、HMD装着者のTFOVの領域を分類するための方法700を示す流れ図が提供される。方法700は、例えば、HMD、HMDの外部の装置、またはそれらの組合せによって実行されてもよい。ブロック702に示すように、HMDに設けられたオンボードセンサーからのデータが受信される。前述のように、オンボードセンサーは、無制限に、GPSセンサー、慣性測定ユニット(IMU)センサー、深度センサー、カメラ、目追跡センサー、マイクロフォン、生体計測入力、および他のセンサーを含むことができる。加えて、データは、ブロック704に示すように、HMDの外部のソースから受信されてもよい。例のみとして、限定ではなく、これは、外部カメラ、外部深度センサー、他のHMD、モバイルデバイス、およびHMDから遠隔に記憶された履歴センサーデータを含むことができる。
[0050] Referring now to FIG. 7, a flow diagram illustrating a
[0051]ブロック706に示すように、オンボードセンサーからのセンサーデータ、および外部ソースからの他のデータに基づいて、HMD装着者の頭部の位置および回転が、HMD装着者の身体および周囲の環境に対して決定される。ブロック708に示すように、その情報を使用して、HMD装着者のTFOVが、2つ以上の領域に分類される。本発明の実施形態によれば、TFOVは、ユーザー定義またはシステム定義可能な不変または動的な規則に従って分類される。ブロック710に示すように、仮想物体が、TFOVの領域内に配置される。様々な仮想物体を領域内に配置するための多数の規則が定義可能である。これらの規則も、ユーザー定義またはシステム定義可能であり、不変または動的であってもよい。いくつかの実施形態では、システムは、様々な仮想物体を配置するための場所を決定するときに、アクセスされているアプリケーションを考慮することができる。ブロック702および704に戻ることによって表されるように、TFOVの領域を分類するプロセスは、繰り返されてもよい。いくつかの実施形態では、1つまたは複数の規則が、TFOVの領域を再分類することをトリガーしてもよく、他の実施形態では、TFOVは、連続的に再分類されてもよい。
[0051] As shown in
[0052]図8に移り、本発明の実施形態による、HMDを使用して仮想物体を表示するための方法800を示す流れ図が提供される。ブロック802に示すように、HMD装着者のFOVが、最初に決定される。いくつかの実施形態では、HMD装着者のFOVの範囲は、単に、HMDの表示構成要素によって提供される表示区域の範囲に対応し得る。ブロック804に示すように、HMD装着者のFOVは、例えば、図7を参照して上述した方法700を使用して決定されたTFOVの領域と比較される。比較は、TFOVの領域に対するHMD装着者のFOVの位置を識別する。
[0052] Turning to FIG. 8, a flowchart is provided illustrating a
[0053]表示する仮想物体は、ブロック806で、TFOV領域、およびTFOV領域内の仮想物体の位置に対する、HMD装着者のFOVの位置に基づいて決定される。いくつかの実施形態では、一組の許可が、この時点で、例えば、現在のユーザーの状態、または関与している特定のアプリケーション(複数可)に基づいて、仮想物体の使用を管理するために使用され得る。識別された仮想物体は、次に、ブロック808に示すように、HMDの表示構成要素を使用して、適切な位置に表示される。
[0053] The virtual object to display is determined at
[0054]理解され得るように、本発明の実施形態は、センサー入力および規則に基づいてHMD装着者のTFOVの領域を分類し、分類された領域内に仮想物体を配置することを提供する。本発明は、すべての点で限定ではなく例示であることが意図される特定の実施形態に関連して説明されている。代わりの実施形態が、その範囲から逸脱することなく、本発明が属する技術の当業者には、明らかになるであろう。 [0054] As can be appreciated, embodiments of the present invention provide for classifying a region of the HFOV of the HMD wearer based on sensor input and rules and placing a virtual object within the classified region. The invention has been described in connection with specific embodiments that are intended in all respects to be illustrative rather than limiting. Alternate embodiments will become apparent to those skilled in the art to which this invention belongs without departing from the scope thereof.
[0055]以上のことから、本発明は、明白なシステムおよび方法に固有の他の利点と共に、すべての上述した目標および目的を達成するのに十分に適しているものであることがわかるであろう。特定の特徴および部分的組合せは、有用であり、他の特徴および部分的組合せを参照することなく用いられてもよいことが理解されるであろう。これは、特許請求の範囲によって意図され、特許請求の範囲内である。 [0055] From the foregoing, it can be seen that the present invention is well suited to accomplish all the above-mentioned goals and objectives, as well as other advantages inherent in the obvious systems and methods. Let's go. It will be understood that certain features and subcombinations are useful and may be used without reference to other features and subcombinations. This is contemplated by and is within the scope of the claims.
Claims (10)
1つまたは複数のヘッドマウントディスプレイ(HMD)オンボードセンサーからセンサーデータを受信するステップと、
前記センサーデータを使用して、HMD装着者の身体および前記HMD装着者の周囲の環境(environment)に対する前記HMD装着者の頭部の位置および回転を決定するステップと、
1つまたは複数の予め決められた規則(rules)、ならびに前記HMD装着者の身体および前記HMDの周囲の環境に対する(relative to)前記HMD装着者の頭部の位置(position)および回転に基づいて、前記HMD装着者の全視野(TFOV:total field of view)内の2つ以上の領域(regions)を分類する(classifying)ステップと、
前記HMD装着者のTFOV内の前記2つ以上の領域を分類するステップに基づいて、前記HMDによって表示されることになる仮想イメージを配置する(locating)ステップと
を含む、1つまたは複数のコンピューター記憶媒体。 One or more computer storage media storing computer-usable instructions that when used by one or more computing devices cause the one or more computing devices to perform the method, the method comprising: ,
Receiving sensor data from one or more head mounted display (HMD) on-board sensors;
Using the sensor data to determine the position and rotation of the HMD wearer's head relative to the HMD wearer's body and the surrounding environment of the HMD wearer;
Based on one or more predetermined rules, and the position and rotation of the head of the HMD wearer relative to the HMD wearer's body and the environment surrounding the HMD. Classifying two or more regions within the total field of view (TFOV) of the HMD wearer;
Locating a virtual image to be displayed by the HMD based on classifying the two or more regions in the TFOV of the HMD wearer Storage medium.
前記HMDの外部の1つまたは複数のソースから他のデータを受信するステップと、
前記センサーデータと併せて(in conjunction with)前記他のデータを使用して、前記HMD装着者の身体および前記HMD装着者の周囲の環境に対する前記HMD装着者の頭部の位置および回転を決定するステップと
をさらに含む、請求項1に記載の1つまたは複数のコンピューター記憶媒体。 The method comprises
Receiving other data from one or more sources external to the HMD;
The other data is used in conjunction with the sensor data to determine the position and rotation of the HMD wearer's head relative to the HMD wearer's body and the surrounding environment. The one or more computer storage media of claim 1, further comprising:
前記HMD装着者の視野(FOV)を決定するステップと、
前記FOVを、前記HMD装着者のTFOVの前記2つ以上の領域と比較するステップと、
前記HMD装着者のTFOVの前記2つ以上の領域に対する前記FOVの位置に基づいて、表示する仮想物体のサブセットを決定するステップと、
前記HMDの表示構成要素を介して、仮想物体の前記サブセットを表示するステップと
をさらに含む、請求項1に記載の1つまたは複数のコンピューター記憶媒体。 The method comprises
Determining the field of view (FOV) of the HMD wearer;
Comparing the FOV with the two or more regions of the HMD wearer's TFOV;
Determining a subset of virtual objects to display based on the position of the FOV relative to the two or more regions of the TFOV of the HMD wearer;
The one or more computer storage media of claim 1, further comprising displaying the subset of virtual objects via a display component of the HMD.
1つまたは複数のオンボードセンサーと、
前記1つまたは複数のオンボードセンサーからのセンサーデータに基づいて、HMD装着者の身体に対する前記HMD装着者の頭部の位置および回転を決定し、前記HMD装着者の身体に対する前記HMD装着者の頭部の前記位置および回転に基づいて、前記HMD装着者のTFOVの2つ以上の領域を分類し、1つまたは複数の仮想物体を前記2つ以上の領域内に配置するように構成された1つまたは複数のプロセッサーと、
前記HMD装着者に拡張視野を提供するために、前記1つまたは複数の仮想物体の少なくとも1つを表示するように構成された1つまたは複数の表示構成要素と
を備える、HMD。 A head mounted display (HMD),
One or more on-board sensors;
Based on sensor data from the one or more on-board sensors, the position and rotation of the HMD wearer's head relative to the body of the HMD wearer is determined, and the HMD wearer's body relative to the HMD wearer's body. Based on the position and rotation of the head, configured to classify two or more regions of the HFOV of the HMD wearer and place one or more virtual objects within the two or more regions One or more processors;
An HMD comprising one or more display components configured to display at least one of the one or more virtual objects to provide an expanded field of view to the HMD wearer.
前記HMDのオンボードの1つまたは複数のセンサーからセンサーデータを受信するステップと、
前記HMDの外部の1つまたは複数のソースから他のデータを受信するステップと、
前記センサーデータおよび他のデータに基づいて、前記HMD装着者の身体および周囲の環境に対する前記HMD装着者のTFOVの領域を分類するステップと
を含む、方法。 A method for classifying a total field of view (TFOV) of a head mounted display (HMD) wearer, comprising:
Receiving sensor data from one or more sensors on-board the HMD;
Receiving other data from one or more sources external to the HMD;
Classifying a region of the HMD wearer's TFOV relative to the HMD wearer's body and surrounding environment based on the sensor data and other data.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/167,113 US20120327116A1 (en) | 2011-06-23 | 2011-06-23 | Total field of view classification for head-mounted display |
US13/167,113 | 2011-06-23 | ||
PCT/US2012/043178 WO2012177657A2 (en) | 2011-06-23 | 2012-06-19 | Total field of view classification for head-mounted display |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014526157A true JP2014526157A (en) | 2014-10-02 |
Family
ID=47361426
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014517099A Pending JP2014526157A (en) | 2011-06-23 | 2012-06-19 | Classification of the total field of view of the head mounted display |
Country Status (7)
Country | Link |
---|---|
US (3) | US20120327116A1 (en) |
EP (1) | EP2724191A4 (en) |
JP (1) | JP2014526157A (en) |
KR (1) | KR20140034252A (en) |
CN (1) | CN103635849A (en) |
TW (1) | TW201303640A (en) |
WO (1) | WO2012177657A2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9977241B2 (en) | 2015-03-17 | 2018-05-22 | Seiko Epson Corporation | Head-mounted display device, control method for head-mounted display device, and computer program |
JP2018129054A (en) * | 2013-06-07 | 2018-08-16 | ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | Systems and methods for reducing hops associated with head-mounted system |
Families Citing this family (184)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9158116B1 (en) | 2014-04-25 | 2015-10-13 | Osterhout Group, Inc. | Temple and ear horn assembly for headworn computer |
US9298007B2 (en) | 2014-01-21 | 2016-03-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9229233B2 (en) | 2014-02-11 | 2016-01-05 | Osterhout Group, Inc. | Micro Doppler presentations in head worn computing |
US20150205111A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | Optical configurations for head worn computing |
US9965681B2 (en) | 2008-12-16 | 2018-05-08 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US20150277120A1 (en) | 2014-01-21 | 2015-10-01 | Osterhout Group, Inc. | Optical configurations for head worn computing |
US9366867B2 (en) | 2014-07-08 | 2016-06-14 | Osterhout Group, Inc. | Optical systems for see-through displays |
US9715112B2 (en) | 2014-01-21 | 2017-07-25 | Osterhout Group, Inc. | Suppression of stray light in head worn computing |
US9400390B2 (en) | 2014-01-24 | 2016-07-26 | Osterhout Group, Inc. | Peripheral lighting for head worn computing |
US9952664B2 (en) | 2014-01-21 | 2018-04-24 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9727132B2 (en) * | 2011-07-01 | 2017-08-08 | Microsoft Technology Licensing, Llc | Multi-visor: managing applications in augmented reality environments |
US9606992B2 (en) * | 2011-09-30 | 2017-03-28 | Microsoft Technology Licensing, Llc | Personal audio/visual apparatus providing resource management |
JP5993127B2 (en) * | 2011-10-25 | 2016-09-14 | オリンパス株式会社 | Head-mounted display device, information terminal, program, information storage medium, image processing system, head-mounted display device control method, and information terminal control method |
US8963805B2 (en) | 2012-01-27 | 2015-02-24 | Microsoft Corporation | Executable virtual objects associated with real objects |
US8970495B1 (en) * | 2012-03-09 | 2015-03-03 | Google Inc. | Image stabilization for color-sequential displays |
US20150213649A1 (en) * | 2012-07-27 | 2015-07-30 | Nec Solutions Innovators, Ltd. | Three-dimensional environment sharing system and three-dimensional environment sharing method |
KR101989893B1 (en) * | 2012-10-29 | 2019-09-30 | 엘지전자 주식회사 | A Head Mounted Display and A Method of Outputting Audio Signal Using the Same |
US9619911B2 (en) | 2012-11-13 | 2017-04-11 | Qualcomm Incorporated | Modifying virtual object display properties |
JP6036209B2 (en) * | 2012-11-19 | 2016-11-30 | セイコーエプソン株式会社 | Virtual image display device |
WO2014116826A1 (en) * | 2013-01-24 | 2014-07-31 | The Trustees Of Columbia University In The City Of New York | Mobile, neurally-assisted personal assistant |
US9709806B2 (en) | 2013-02-22 | 2017-07-18 | Sony Corporation | Head-mounted display and image display apparatus |
CA3157218A1 (en) | 2013-03-11 | 2014-10-09 | Magic Leap, Inc. | System and method for augmented and virtual reality |
JP6326482B2 (en) | 2013-03-15 | 2018-05-16 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | Display system and method |
US10195058B2 (en) | 2013-05-13 | 2019-02-05 | The Johns Hopkins University | Hybrid augmented reality multimodal operation neural integration environment |
US9367960B2 (en) | 2013-05-22 | 2016-06-14 | Microsoft Technology Licensing, Llc | Body-locked placement of augmented reality objects |
CN105229584A (en) * | 2013-05-29 | 2016-01-06 | 三菱电机株式会社 | Information display device |
US9063330B2 (en) | 2013-05-30 | 2015-06-23 | Oculus Vr, Llc | Perception based predictive tracking for head mounted displays |
US10137361B2 (en) | 2013-06-07 | 2018-11-27 | Sony Interactive Entertainment America Llc | Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system |
US9630098B2 (en) | 2013-06-09 | 2017-04-25 | Sony Interactive Entertainment Inc. | Head mounted display |
US9256987B2 (en) | 2013-06-24 | 2016-02-09 | Microsoft Technology Licensing, Llc | Tracking head movement when wearing mobile device |
CN103353667B (en) | 2013-06-28 | 2015-10-21 | 北京智谷睿拓技术服务有限公司 | Imaging adjustment Apparatus and method for |
CN103353677B (en) | 2013-06-28 | 2015-03-11 | 北京智谷睿拓技术服务有限公司 | Imaging device and method thereof |
CN103353663B (en) | 2013-06-28 | 2016-08-10 | 北京智谷睿拓技术服务有限公司 | Imaging adjusting apparatus and method |
JP2015015563A (en) * | 2013-07-04 | 2015-01-22 | セイコーエプソン株式会社 | Image display device |
CN103424891B (en) | 2013-07-31 | 2014-12-17 | 北京智谷睿拓技术服务有限公司 | Imaging device and method |
CN103431840B (en) | 2013-07-31 | 2016-01-20 | 北京智谷睿拓技术服务有限公司 | Eye optical parameter detecting system and method |
CN103431980A (en) | 2013-08-22 | 2013-12-11 | 北京智谷睿拓技术服务有限公司 | Eyesight protection imaging system and method |
CN103439801B (en) | 2013-08-22 | 2016-10-26 | 北京智谷睿拓技术服务有限公司 | Sight protectio imaging device and method |
KR102138511B1 (en) * | 2013-08-28 | 2020-07-28 | 엘지전자 주식회사 | Apparatus and Method for Portable Device transmitting marker information for videotelephony of Head Mounted Display |
CN103605208B (en) | 2013-08-30 | 2016-09-28 | 北京智谷睿拓技术服务有限公司 | content projection system and method |
CN103500331B (en) | 2013-08-30 | 2017-11-10 | 北京智谷睿拓技术服务有限公司 | Based reminding method and device |
US9448689B2 (en) * | 2013-08-30 | 2016-09-20 | Paypal, Inc. | Wearable user device enhanced display system |
CN103558909B (en) * | 2013-10-10 | 2017-03-29 | 北京智谷睿拓技术服务有限公司 | Interaction projection display packing and interaction projection display system |
US9679144B2 (en) * | 2013-11-15 | 2017-06-13 | Microsoft Technology Licensing, Llc | Protecting privacy in web-based immersive augmented reality |
US20150153826A1 (en) * | 2013-12-01 | 2015-06-04 | Apx Labs, Llc | Systems and methods for providing a virtual menu |
JP6316965B2 (en) * | 2013-12-03 | 2018-04-25 | ノキア テクノロジーズ オーユー | Displaying information on the head mounted display |
WO2015099215A1 (en) * | 2013-12-24 | 2015-07-02 | 엘지전자 주식회사 | Head-mounted display apparatus and method for operating same |
US9299194B2 (en) | 2014-02-14 | 2016-03-29 | Osterhout Group, Inc. | Secure sharing in head worn computing |
US10191279B2 (en) | 2014-03-17 | 2019-01-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9529195B2 (en) | 2014-01-21 | 2016-12-27 | Osterhout Group, Inc. | See-through computer display systems |
US10254856B2 (en) | 2014-01-17 | 2019-04-09 | Osterhout Group, Inc. | External user interface for head worn computing |
US10649220B2 (en) | 2014-06-09 | 2020-05-12 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US11227294B2 (en) | 2014-04-03 | 2022-01-18 | Mentor Acquisition One, Llc | Sight information collection in head worn computing |
US20160019715A1 (en) | 2014-07-15 | 2016-01-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
US9575321B2 (en) | 2014-06-09 | 2017-02-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
US9671613B2 (en) | 2014-09-26 | 2017-06-06 | Osterhout Group, Inc. | See-through computer display systems |
US9448409B2 (en) | 2014-11-26 | 2016-09-20 | Osterhout Group, Inc. | See-through computer display systems |
US9746686B2 (en) | 2014-05-19 | 2017-08-29 | Osterhout Group, Inc. | Content position calibration in head worn computing |
US10684687B2 (en) | 2014-12-03 | 2020-06-16 | Mentor Acquisition One, Llc | See-through computer display systems |
US20150228119A1 (en) | 2014-02-11 | 2015-08-13 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
US11103122B2 (en) | 2014-07-15 | 2021-08-31 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US9810906B2 (en) | 2014-06-17 | 2017-11-07 | Osterhout Group, Inc. | External user interface for head worn computing |
US10001645B2 (en) | 2014-01-17 | 2018-06-19 | Sony Interactive Entertainment America Llc | Using a second screen as a private tracking heads-up display |
US9841599B2 (en) | 2014-06-05 | 2017-12-12 | Osterhout Group, Inc. | Optical configurations for head-worn see-through displays |
US9829707B2 (en) | 2014-08-12 | 2017-11-28 | Osterhout Group, Inc. | Measuring content brightness in head worn computing |
US9939934B2 (en) | 2014-01-17 | 2018-04-10 | Osterhout Group, Inc. | External user interface for head worn computing |
US9366868B2 (en) | 2014-09-26 | 2016-06-14 | Osterhout Group, Inc. | See-through computer display systems |
US20150277118A1 (en) | 2014-03-28 | 2015-10-01 | Osterhout Group, Inc. | Sensor dependent content position in head worn computing |
US9594246B2 (en) | 2014-01-21 | 2017-03-14 | Osterhout Group, Inc. | See-through computer display systems |
US20150205135A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | See-through computer display systems |
US9523856B2 (en) | 2014-01-21 | 2016-12-20 | Osterhout Group, Inc. | See-through computer display systems |
US11737666B2 (en) | 2014-01-21 | 2023-08-29 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
US9532715B2 (en) | 2014-01-21 | 2017-01-03 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US11669163B2 (en) | 2014-01-21 | 2023-06-06 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
US9494800B2 (en) | 2014-01-21 | 2016-11-15 | Osterhout Group, Inc. | See-through computer display systems |
US9310610B2 (en) | 2014-01-21 | 2016-04-12 | Osterhout Group, Inc. | See-through computer display systems |
US11487110B2 (en) | 2014-01-21 | 2022-11-01 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
US9836122B2 (en) | 2014-01-21 | 2017-12-05 | Osterhout Group, Inc. | Eye glint imaging in see-through computer display systems |
US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
US9740280B2 (en) | 2014-01-21 | 2017-08-22 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US11892644B2 (en) | 2014-01-21 | 2024-02-06 | Mentor Acquisition One, Llc | See-through computer display systems |
US9651784B2 (en) | 2014-01-21 | 2017-05-16 | Osterhout Group, Inc. | See-through computer display systems |
US9766463B2 (en) | 2014-01-21 | 2017-09-19 | Osterhout Group, Inc. | See-through computer display systems |
TWI486631B (en) * | 2014-01-24 | 2015-06-01 | Quanta Comp Inc | Head mounted display and control method thereof |
US9846308B2 (en) | 2014-01-24 | 2017-12-19 | Osterhout Group, Inc. | Haptic systems for head-worn computers |
US9852545B2 (en) | 2014-02-11 | 2017-12-26 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
US9401540B2 (en) | 2014-02-11 | 2016-07-26 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
US20150241963A1 (en) | 2014-02-11 | 2015-08-27 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9767609B2 (en) | 2014-02-12 | 2017-09-19 | Microsoft Technology Licensing, Llc | Motion modeling in visual tracking |
EP2921899B1 (en) | 2014-03-21 | 2018-07-04 | Samsung Electronics Co., Ltd | Head-mounted display and method of operating the same |
US20160187651A1 (en) | 2014-03-28 | 2016-06-30 | Osterhout Group, Inc. | Safety for a vehicle operator with an hmd |
JP6376807B2 (en) * | 2014-04-02 | 2018-08-22 | キヤノン株式会社 | Display device, display control method, and program |
US9672210B2 (en) | 2014-04-25 | 2017-06-06 | Osterhout Group, Inc. | Language translation with head-worn computing |
US20150309534A1 (en) | 2014-04-25 | 2015-10-29 | Osterhout Group, Inc. | Ear horn assembly for headworn computer |
US9651787B2 (en) | 2014-04-25 | 2017-05-16 | Osterhout Group, Inc. | Speaker assembly for headworn computer |
US10853589B2 (en) | 2014-04-25 | 2020-12-01 | Mentor Acquisition One, Llc | Language translation with head-worn computing |
US9423842B2 (en) | 2014-09-18 | 2016-08-23 | Osterhout Group, Inc. | Thermal management for head-worn computer |
US20160137312A1 (en) | 2014-05-06 | 2016-05-19 | Osterhout Group, Inc. | Unmanned aerial vehicle launch system |
US10663740B2 (en) | 2014-06-09 | 2020-05-26 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US9865089B2 (en) | 2014-07-25 | 2018-01-09 | Microsoft Technology Licensing, Llc | Virtual reality environment with real world objects |
US9858720B2 (en) | 2014-07-25 | 2018-01-02 | Microsoft Technology Licensing, Llc | Three-dimensional mixed-reality viewport |
US9904055B2 (en) * | 2014-07-25 | 2018-02-27 | Microsoft Technology Licensing, Llc | Smart placement of virtual objects to stay in the field of view of a head mounted display |
US10416760B2 (en) | 2014-07-25 | 2019-09-17 | Microsoft Technology Licensing, Llc | Gaze-based object placement within a virtual reality environment |
US10451875B2 (en) | 2014-07-25 | 2019-10-22 | Microsoft Technology Licensing, Llc | Smart transparency for virtual objects |
US9766460B2 (en) | 2014-07-25 | 2017-09-19 | Microsoft Technology Licensing, Llc | Ground plane adjustment in a virtual reality environment |
US10311638B2 (en) | 2014-07-25 | 2019-06-04 | Microsoft Technology Licensing, Llc | Anti-trip when immersed in a virtual reality environment |
US9959591B2 (en) * | 2014-07-31 | 2018-05-01 | Seiko Epson Corporation | Display apparatus, method for controlling display apparatus, and program |
KR102243656B1 (en) * | 2014-09-26 | 2021-04-23 | 엘지전자 주식회사 | Mobile device, head mounted display and system |
KR102358548B1 (en) * | 2014-10-15 | 2022-02-04 | 삼성전자주식회사 | Method and appratus for processing screen using device |
US9684172B2 (en) | 2014-12-03 | 2017-06-20 | Osterhout Group, Inc. | Head worn computer display systems |
CN112530025A (en) * | 2014-12-18 | 2021-03-19 | 脸谱科技有限责任公司 | System, apparatus and method for providing a user interface for a virtual reality environment |
USD743963S1 (en) | 2014-12-22 | 2015-11-24 | Osterhout Group, Inc. | Air mouse |
USD751552S1 (en) | 2014-12-31 | 2016-03-15 | Osterhout Group, Inc. | Computer glasses |
USD753114S1 (en) | 2015-01-05 | 2016-04-05 | Osterhout Group, Inc. | Air mouse |
KR102144515B1 (en) | 2015-01-07 | 2020-08-14 | 삼성전자주식회사 | Master device, slave device and control method thereof |
US20160239985A1 (en) | 2015-02-17 | 2016-08-18 | Osterhout Group, Inc. | See-through computer display systems |
US10878775B2 (en) | 2015-02-17 | 2020-12-29 | Mentor Acquisition One, Llc | See-through computer display systems |
US9911232B2 (en) | 2015-02-27 | 2018-03-06 | Microsoft Technology Licensing, Llc | Molding and anchoring physically constrained virtual environments to real-world environments |
WO2016141373A1 (en) | 2015-03-05 | 2016-09-09 | Magic Leap, Inc. | Systems and methods for augmented reality |
US10838207B2 (en) | 2015-03-05 | 2020-11-17 | Magic Leap, Inc. | Systems and methods for augmented reality |
WO2016187348A1 (en) * | 2015-05-18 | 2016-11-24 | Brian Mullins | Biometric authentication in a head mounted device |
US9898864B2 (en) | 2015-05-28 | 2018-02-20 | Microsoft Technology Licensing, Llc | Shared tactile interaction and user safety in shared space multi-person immersive virtual reality |
US9836117B2 (en) | 2015-05-28 | 2017-12-05 | Microsoft Technology Licensing, Llc | Autonomous drones for tactile feedback in immersive virtual reality |
CA2989939C (en) * | 2015-06-30 | 2022-05-31 | Magic Leap, Inc. | Technique for more efficiently displaying text in virtual image generation system |
US10139966B2 (en) | 2015-07-22 | 2018-11-27 | Osterhout Group, Inc. | External user interface for head worn computing |
KR102402048B1 (en) | 2015-10-14 | 2022-05-26 | 삼성전자주식회사 | Electronic apparatus and the controlling method thereof |
US9864194B2 (en) | 2015-11-24 | 2018-01-09 | Honeywell International Inc. | Systems and methods for displaying FOV boundaries on HUDs |
KR20180090355A (en) | 2015-12-04 | 2018-08-10 | 매직 립, 인코포레이티드 | Recirculation systems and methods |
US10147235B2 (en) | 2015-12-10 | 2018-12-04 | Microsoft Technology Licensing, Llc | AR display with adjustable stereo overlap zone |
US10134188B2 (en) * | 2015-12-21 | 2018-11-20 | Intel Corporation | Body-centric mobile point-of-view augmented and virtual reality |
KR102610120B1 (en) | 2016-01-20 | 2023-12-06 | 삼성전자주식회사 | Head mounted display and control method thereof |
KR102524641B1 (en) | 2016-01-22 | 2023-04-21 | 삼성전자주식회사 | Head mounted display device and method for controlling the same |
US10850116B2 (en) | 2016-12-30 | 2020-12-01 | Mentor Acquisition One, Llc | Head-worn therapy device |
US10591728B2 (en) | 2016-03-02 | 2020-03-17 | Mentor Acquisition One, Llc | Optical systems for head-worn computers |
US10667981B2 (en) | 2016-02-29 | 2020-06-02 | Mentor Acquisition One, Llc | Reading assistance system for visually impaired |
EP3413165B1 (en) * | 2016-02-29 | 2021-10-13 | Huawei Technologies Co., Ltd. | Wearable system gesture control method and wearable system |
US9880441B1 (en) | 2016-09-08 | 2018-01-30 | Osterhout Group, Inc. | Electrochromic systems for head-worn computer systems |
US9826299B1 (en) | 2016-08-22 | 2017-11-21 | Osterhout Group, Inc. | Speaker systems for head-worn computer systems |
US10518172B2 (en) * | 2016-03-07 | 2019-12-31 | Htc Corporation | Accessory management of virtual reality system |
US10133345B2 (en) * | 2016-03-22 | 2018-11-20 | Microsoft Technology Licensing, Llc | Virtual-reality navigation |
US10684478B2 (en) | 2016-05-09 | 2020-06-16 | Mentor Acquisition One, Llc | User interface systems for head-worn computers |
US9910284B1 (en) | 2016-09-08 | 2018-03-06 | Osterhout Group, Inc. | Optical systems for head-worn computers |
US10466491B2 (en) | 2016-06-01 | 2019-11-05 | Mentor Acquisition One, Llc | Modular systems for head-worn computers |
US10824253B2 (en) | 2016-05-09 | 2020-11-03 | Mentor Acquisition One, Llc | User interface systems for head-worn computers |
CN105912123A (en) * | 2016-04-15 | 2016-08-31 | 北京小鸟看看科技有限公司 | Interface layout method and device under three-dimension immersion environment |
TWI628634B (en) * | 2016-05-25 | 2018-07-01 | 國立中央大學 | Interactive teaching systems and methods thereof |
WO2017218306A1 (en) * | 2016-06-13 | 2017-12-21 | Sony Interactive Entertainment LLC | Method and system for directing user attention to a location based game play companion application |
EP3494549A4 (en) * | 2016-08-02 | 2019-08-14 | Magic Leap, Inc. | Fixed-distance virtual and augmented reality systems and methods |
US10690936B2 (en) | 2016-08-29 | 2020-06-23 | Mentor Acquisition One, Llc | Adjustable nose bridge assembly for headworn computer |
USD840395S1 (en) | 2016-10-17 | 2019-02-12 | Osterhout Group, Inc. | Head-worn computer |
US10864423B2 (en) * | 2016-11-10 | 2020-12-15 | National Taiwan University | Augmented learning system for tai-chi chuan with head-mounted display |
EP3330839A1 (en) * | 2016-12-05 | 2018-06-06 | THOMSON Licensing | Method and device for adapting an immersive content to the field of view of a user |
USD864959S1 (en) | 2017-01-04 | 2019-10-29 | Mentor Acquisition One, Llc | Computer glasses |
US10812936B2 (en) | 2017-01-23 | 2020-10-20 | Magic Leap, Inc. | Localization determination for mixed reality systems |
US10628950B2 (en) * | 2017-03-01 | 2020-04-21 | Microsoft Technology Licensing, Llc | Multi-spectrum illumination-and-sensor module for head tracking, gesture recognition and spatial mapping |
JP7055815B2 (en) | 2017-03-17 | 2022-04-18 | マジック リープ, インコーポレイテッド | A mixed reality system that involves warping virtual content and how to use it to generate virtual content |
US10159900B2 (en) * | 2017-03-17 | 2018-12-25 | Roblox Corporation | Avatar teleport controller |
KR102366781B1 (en) | 2017-03-17 | 2022-02-22 | 매직 립, 인코포레이티드 | Mixed reality system with color virtual content warping and method for creating virtual content using same |
CA3054617A1 (en) | 2017-03-17 | 2018-09-20 | Magic Leap, Inc. | Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same |
KR102404734B1 (en) * | 2017-03-24 | 2022-06-07 | 삼성전자주식회사 | Computer readable recording medium and electronic appratus for reproducing content |
CN106997242B (en) * | 2017-03-28 | 2020-10-30 | 联想(北京)有限公司 | Interface management method and head-mounted display device |
CN106980377B (en) * | 2017-03-29 | 2019-01-25 | 京东方科技集团股份有限公司 | A kind of interactive system and its operating method of three-dimensional space |
US10747386B2 (en) * | 2017-06-01 | 2020-08-18 | Samsung Electronics Co., Ltd. | Systems and methods for window control in virtual reality environment |
US10620710B2 (en) | 2017-06-15 | 2020-04-14 | Microsoft Technology Licensing, Llc | Displacement oriented interaction in computer-mediated reality |
CN107274438B (en) * | 2017-06-28 | 2020-01-17 | 山东大学 | Single Kinect multi-person tracking system and method supporting mobile virtual reality application |
US11158126B1 (en) | 2017-06-30 | 2021-10-26 | Apple Inc. | Redirected walking in virtual reality environments |
US10422995B2 (en) | 2017-07-24 | 2019-09-24 | Mentor Acquisition One, Llc | See-through computer display systems with stray light management |
US10578869B2 (en) | 2017-07-24 | 2020-03-03 | Mentor Acquisition One, Llc | See-through computer display systems with adjustable zoom cameras |
US11409105B2 (en) | 2017-07-24 | 2022-08-09 | Mentor Acquisition One, Llc | See-through computer display systems |
US10969584B2 (en) | 2017-08-04 | 2021-04-06 | Mentor Acquisition One, Llc | Image expansion optic for head-worn computer |
TWI658291B (en) * | 2018-01-25 | 2019-05-01 | 宏碁股份有限公司 | Head-mounted display and operation method thereof |
CN108198249B (en) * | 2018-03-07 | 2024-02-02 | 上海交通大学医学院附属第九人民医院 | Visual field defect simulation device and method based on virtual reality technology |
US10572002B2 (en) * | 2018-03-13 | 2020-02-25 | Facebook Technologies, Llc | Distributed artificial reality system with contextualized hand tracking |
EP3827299A4 (en) | 2018-07-23 | 2021-10-27 | Magic Leap, Inc. | Mixed reality system with virtual content warping and method of generating virtual content using same |
US11195334B2 (en) * | 2018-08-03 | 2021-12-07 | Igt | Providing interactive virtual elements within a mixed reality scene |
CN112639579B (en) | 2018-08-31 | 2023-09-15 | 奇跃公司 | Spatially resolved dynamic dimming for augmented reality devices |
US11347303B2 (en) | 2018-11-30 | 2022-05-31 | Sony Interactive Entertainment Inc. | Systems and methods for determining movement of a controller with respect to an HMD |
US10802281B2 (en) | 2018-12-20 | 2020-10-13 | General Electric Company | Periodic lenses systems for augmented reality |
KR102174794B1 (en) | 2019-01-31 | 2020-11-05 | 주식회사 알파서클 | Method and device for controlling transit time of virtual reality video |
KR102128894B1 (en) | 2019-10-10 | 2020-07-01 | 주식회사 메디씽큐 | A method and system for eyesight sensing of medical smart goggles |
US20210192799A1 (en) * | 2019-12-19 | 2021-06-24 | Facebook Technologies, Llc | Passthrough window object locator in an artificial reality system |
KR20220039113A (en) * | 2020-09-21 | 2022-03-29 | 삼성전자주식회사 | Method and apparatus for transmitting video content using edge computing service |
TW202301083A (en) * | 2021-06-28 | 2023-01-01 | 見臻科技股份有限公司 | Optical system providing accurate eye-tracking and related method |
CN116740318B (en) * | 2023-08-14 | 2023-12-12 | 深圳风向标教育资源股份有限公司 | Method, device and storage medium for placing automobile parts |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1995005620A1 (en) * | 1993-08-12 | 1995-02-23 | Seiko Epson Corporation | Head mount type image display device and information processor equipped with the device |
US20020044152A1 (en) * | 2000-10-16 | 2002-04-18 | Abbott Kenneth H. | Dynamic integration of computer generated and real world images |
JP2004234253A (en) * | 2003-01-29 | 2004-08-19 | Canon Inc | Method for presenting composite sense of reality |
JP2008504597A (en) * | 2004-06-21 | 2008-02-14 | トータルフェルスバレッツ フォルスクニングスインスティテュート | Apparatus and method for displaying peripheral image |
JP2008217119A (en) * | 2007-02-28 | 2008-09-18 | Canon Inc | System, image processor and image processing method |
JP2009037487A (en) * | 2007-08-02 | 2009-02-19 | Canon Inc | System, head mounted display device, its control method |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3701053B2 (en) * | 1995-07-13 | 2005-09-28 | コニカミノルタホールディングス株式会社 | Video display device |
JPH1184307A (en) * | 1997-09-01 | 1999-03-26 | M R Syst Kenkyusho:Kk | Head-mounted optical device |
AUPQ896000A0 (en) * | 2000-07-24 | 2000-08-17 | Seeing Machines Pty Ltd | Facial image processing system |
DE10131720B4 (en) * | 2001-06-30 | 2017-02-23 | Robert Bosch Gmbh | Head-Up Display System and Procedures |
US7561966B2 (en) * | 2003-12-17 | 2009-07-14 | Denso Corporation | Vehicle information display system |
CN1922651A (en) * | 2004-06-10 | 2007-02-28 | 松下电器产业株式会社 | Wearable type information presentation device |
US7369317B2 (en) | 2005-03-07 | 2008-05-06 | Himax Technologies, Inc. | Head-mounted display utilizing an LCOS panel with a color filter attached thereon |
HU0500357D0 (en) * | 2005-04-04 | 2005-05-30 | Innoracio Fejlesztoe Es Kutata | Dynamic display and method for enhancing the effective resolution of displays |
US8314814B2 (en) * | 2007-12-20 | 2012-11-20 | Raytheon Company | Imaging system |
US9600067B2 (en) | 2008-10-27 | 2017-03-21 | Sri International | System and method for generating a mixed reality environment |
US20100182340A1 (en) * | 2009-01-19 | 2010-07-22 | Bachelder Edward N | Systems and methods for combining virtual and real-time physical environments |
-
2011
- 2011-06-23 US US13/167,113 patent/US20120327116A1/en not_active Abandoned
-
2012
- 2012-05-02 TW TW101115609A patent/TW201303640A/en unknown
- 2012-06-19 CN CN201280030619.6A patent/CN103635849A/en active Pending
- 2012-06-19 JP JP2014517099A patent/JP2014526157A/en active Pending
- 2012-06-19 EP EP12803004.6A patent/EP2724191A4/en not_active Withdrawn
- 2012-06-19 KR KR1020137034185A patent/KR20140034252A/en not_active Application Discontinuation
- 2012-06-19 WO PCT/US2012/043178 patent/WO2012177657A2/en unknown
- 2012-12-03 US US13/692,885 patent/US9041623B2/en active Active
-
2015
- 2015-05-07 US US14/706,377 patent/US9245501B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1995005620A1 (en) * | 1993-08-12 | 1995-02-23 | Seiko Epson Corporation | Head mount type image display device and information processor equipped with the device |
US20020044152A1 (en) * | 2000-10-16 | 2002-04-18 | Abbott Kenneth H. | Dynamic integration of computer generated and real world images |
JP2004234253A (en) * | 2003-01-29 | 2004-08-19 | Canon Inc | Method for presenting composite sense of reality |
JP2008504597A (en) * | 2004-06-21 | 2008-02-14 | トータルフェルスバレッツ フォルスクニングスインスティテュート | Apparatus and method for displaying peripheral image |
JP2008217119A (en) * | 2007-02-28 | 2008-09-18 | Canon Inc | System, image processor and image processing method |
JP2009037487A (en) * | 2007-08-02 | 2009-02-19 | Canon Inc | System, head mounted display device, its control method |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018129054A (en) * | 2013-06-07 | 2018-08-16 | ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | Systems and methods for reducing hops associated with head-mounted system |
US9977241B2 (en) | 2015-03-17 | 2018-05-22 | Seiko Epson Corporation | Head-mounted display device, control method for head-mounted display device, and computer program |
US10175484B2 (en) | 2015-03-17 | 2019-01-08 | Seiko Epson Corporation | Head-mounted display device, control method for head-mounted display device, and computer program |
Also Published As
Publication number | Publication date |
---|---|
EP2724191A2 (en) | 2014-04-30 |
US9245501B2 (en) | 2016-01-26 |
US20120327116A1 (en) | 2012-12-27 |
WO2012177657A3 (en) | 2013-05-02 |
US9041623B2 (en) | 2015-05-26 |
TW201303640A (en) | 2013-01-16 |
US20150235632A1 (en) | 2015-08-20 |
CN103635849A (en) | 2014-03-12 |
WO2012177657A2 (en) | 2012-12-27 |
US20130093789A1 (en) | 2013-04-18 |
KR20140034252A (en) | 2014-03-19 |
EP2724191A4 (en) | 2015-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2014526157A (en) | Classification of the total field of view of the head mounted display | |
CN110954083B (en) | Positioning of mobile devices | |
CN107209386B (en) | Augmented reality view object follower | |
US10132633B2 (en) | User controlled real object disappearance in a mixed reality display | |
US9430038B2 (en) | World-locked display quality feedback | |
JP6558839B2 (en) | Intermediary reality | |
US20240037880A1 (en) | Artificial Reality System with Varifocal Display of Artificial Reality Content | |
JP2022532825A (en) | Systems and methods to generate dynamic obstacle collision warnings for head-mounted displays | |
US20210124412A1 (en) | Systems and methods for generating dynamic obstacle collision warnings based on detecting poses of users | |
US11699412B2 (en) | Application programming interface for setting the prominence of user interface elements | |
US11321926B2 (en) | Method and device for content placement | |
US20230060596A1 (en) | Method and Device for Sketch-Based Placement of Virtual Objects | |
WO2023049000A1 (en) | Parallel renderers for electronic devices | |
US11468611B1 (en) | Method and device for supplementing a virtual environment | |
US11715271B2 (en) | XR preferred movement along planes | |
WO2024064909A2 (en) | Methods, systems, and computer program products for alignment of a wearable device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20150514 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150608 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160412 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20161104 |