JP2022002144A - System and method for augmented reality - Google Patents

System and method for augmented reality Download PDF

Info

Publication number
JP2022002144A
JP2022002144A JP2021168082A JP2021168082A JP2022002144A JP 2022002144 A JP2022002144 A JP 2022002144A JP 2021168082 A JP2021168082 A JP 2021168082A JP 2021168082 A JP2021168082 A JP 2021168082A JP 2022002144 A JP2022002144 A JP 2022002144A
Authority
JP
Japan
Prior art keywords
display system
item
electromagnetic
sensor
additional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021168082A
Other languages
Japanese (ja)
Other versions
JP7297028B2 (en
Inventor
エー. ミラー サミュエル
A Miller Samuel
ジェイ. ウッズ マイケル
j woods Michael
シー. ルンドマーク デイビッド
C Lundmark David
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/062,104 external-priority patent/US20160259404A1/en
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2022002144A publication Critical patent/JP2022002144A/en
Application granted granted Critical
Publication of JP7297028B2 publication Critical patent/JP7297028B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/23Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35Details of game servers
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525Changing parameters of virtual cameras
    • A63F13/5255Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Abstract

To provide a system and a method for augmented reality.SOLUTION: An augmented reality display system includes an electromagnetic field emitter, and which emits a known electromagnetic field within a known coordinate system. The system further includes an electromagnetic sensor, and which measures a parameter pertaining to magnetic flux in the electromagnetic sensor which is generated from the known magnetic field. The system further includes a depth sensor, and which measures a distance within the known coordinate system. Furthermore, the system includes a controller, and which, at least partially, determines posture information of the electromagnetic sensor against the electromagnetic field emitter within the known coordinate system, based on the magnetic flux measured by the electromagnetic sensor and a parameter pertaining to the distance measured by the depth sensor. In addition, the system includes a display system, and which, at least partially, displays virtual contents to users, based on the posture information of the electromagnetic sensor against the electromagnetic field emitter.SELECTED DRAWING: Figure 16B

Description

(関連出願データ)
本願は、2016年2月5日に出願された米国仮特許出願第62/292,185号および2016年2月23日に出願された米国仮特許出願第62/298,993号に対する優先権の利益を主張するものである。また、本願は、2016年3月5日に出願された米国特許出願第15/062,104号の一部継続出願であり、これは、2015年3月5日に出願された米国仮特許出願第62/128,993号および2016年2月5日に出願された米国仮特許出願第62/292,185号に対する優先権の利益を主張するものである。また、本願は、2016年3月1日に出願された米国仮特許出願第62/301,847号に関連している。上記出願は、それらの全体が参照により本明細書中に援用される。
(Related application data)
This application has priority over US Provisional Patent Application No. 62 / 292,185 filed on February 5, 2016 and US Provisional Patent Application No. 62 / 298,993 filed on February 23, 2016. It claims profit. In addition, this application is a partial continuation application of US Patent Application No. 15 / 062,104 filed on March 5, 2016, which is a US provisional patent application filed on March 5, 2015. It claims the benefit of priority to US Provisional Patent Application Nos. 62 / 292,185 filed on Nos. 62 / 128,993 and February 5, 2016. The application is also related to US Provisional Patent Application No. 62/301,847 filed on March 1, 2016. The above applications are incorporated herein by reference in their entirety.

本開示は、拡張現実システムの状況において、1つまたはそれを上回るオブジェクトの位置および配向を特定するためのシステムおよび方法に関する。 The present disclosure relates to systems and methods for identifying the position and orientation of one or more objects in the context of augmented reality systems.

現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、現実であるように見えるかまたはそのように知覚され得る様式においてユーザに提示される、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進している。仮想現実、すなわち、「VR」シナリオは、典型的には、他の実際の実世界の視覚的入力に対して透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実、すなわち、「AR」シナリオは、典型的には、ユーザの周囲の実際の世界の視覚化の拡張として、デジタルまたは仮想画像情報の提示を伴う。 Modern computing and display technology presents the user in a manner in which digitally reproduced images or parts thereof appear to be or can be perceived as real, so-called "virtual reality" or. Facilitates the development of systems for "augmented reality" experiences. Virtual reality, or "VR" scenarios, typically involves the presentation of digital or virtual image information without transparency to other real-world visual inputs. Augmented reality, or "AR" scenarios, typically involve the presentation of digital or virtual image information as an extension of the visualization of the real world around the user.

例えば、図1を参照すると、拡張現実場面(4)が、描写されており、AR技術のユーザには、背景における人々、木々、建物およびコンクリートプラットフォーム(1120)を特徴とする、実世界の公園のような設定(6)が見える。これらのアイテムに加え、AR技術のユーザはまた、実世界プラットフォーム(1120)上に立っているロボット像(1110)と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ(2)とが「見える」と知覚するが、これらの要素(2、1110)は、実世界には存在しない。結論から述べると、ヒト視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適かつ自然な感覚で豊かな提示を促進する、VRまたはAR技術を生成することは、困難である。 For example, referring to FIG. 1, an augmented reality scene (4) is depicted, and for users of AR technology, a real-world park featuring people, trees, buildings and a concrete platform (1120) in the background. You can see the setting (6) like. In addition to these items, users of AR technology also have a robot image (1110) standing on a real-world platform (1120) and a flying cartoon-like avatar character that looks like an anthropomorphic bumblebee (1120). 2) perceives as "visible", but these elements (2, 1110) do not exist in the real world. In conclusion, the human visual perception system is a VR or AR technology that is very complex and promotes a comfortable and natural sense of rich presentation of virtual image elements among other virtual or real world image elements. Is difficult to generate.

例えば、頭部装着型ARディスプレイ(またはヘルメット搭載型ディスプレイまたはスマートグラス)は、典型的には、ユーザの頭部に少なくとも緩く結合され、したがって、ユーザの頭部が移動すると、移動し得る。ユーザの頭部の運動が、ディスプレイシステムによって検出される場合、表示されているデータは、頭部姿勢の変化を考慮するように更新されることができる。 For example, a head-mounted AR display (or helmet-mounted display or smart glasses) is typically at least loosely coupled to the user's head and thus can move as the user's head moves. If the movement of the user's head is detected by the display system, the displayed data can be updated to take into account changes in head posture.

実施例として、頭部装着型ディスプレイを装着するユーザが、ディスプレイ上の3次元(3−D)オブジェクトの仮想表現を視認し、3−Dオブジェクトが現れる面積の周囲を歩き回る場合、その3−Dオブジェクトは、視点毎に再レンダリングされ、彼らが、実空間を占めるオブジェクトの周囲を歩き回っているような知覚をユーザに与えることができる。頭部装着型ディスプレイが、仮想空間内に複数のオブジェクト(例えば、豊かな仮想世界)を提示するために使用される場合、頭部の姿勢の測定(すなわち、ユーザの頭部の場所および配向)が、ユーザの動的に変化する頭部場所および配向に合致するように場面を再レンダリングし、仮想空間内への没入感の増加を提供するために使用されることができる。 As an example, when a user wearing a head-mounted display visually recognizes a virtual representation of a three-dimensional (3-D) object on the display and walks around the area where the 3-D object appears, the 3-D Objects are re-rendered from perspective to perspective, giving the user the perception that they are roaming around objects that occupy real space. When a head-mounted display is used to present multiple objects in a virtual space (eg, a rich virtual world), head posture measurements (ie, the location and orientation of the user's head). Can be used to re-render the scene to match the user's dynamically changing head location and orientation and provide increased immersiveness within the virtual space.

ARシステムでは、頭部の姿勢の検出または計算は、ユーザにとって意味をなす様式において、ディスプレイシステムが、仮想オブジェクトが実世界内の空間を占めるように現れるように、それらをレンダリングすることを促進することができる。加えて、ユーザの頭部またはARシステムと連動したハンドヘルドデバイス(「トーテム」とも称され得る)、触知デバイス、または他の実物理的オブジェクト等の実オブジェクトの位置および/または配向の検出もまた、ディスプレイシステムが、ディスプレイ情報をユーザに提示し、ユーザが、ARシステムのある側面と効率的に相互作用することを可能にすることを促進し得る。ユーザの頭部が、実世界内で動き回るにつれて、仮想オブジェクトは、仮想オブジェクトが実世界に対して安定したまま現れるように、頭部の姿勢の関数として再レンダリングされ得る。少なくともAR用途に関して、物理的オブジェクトと空間的に連動した仮想オブジェクトの設置(例えば、2次元または3次元において物理的オブジェクトに空間的に近接して現れるように提示される)は、些細な問題ではあり得ない。例えば、頭部の移動が、周囲環境の視点からの仮想オブジェクトの設置を有意に複雑にし得る。これは、視点が周囲環境の画像として捕捉され、次いで、エンドユーザに投影もしく表示されるかどうか、またはエンドユーザが周囲環境の視点を直接知覚するかどうかに当てはまり得る。例えば、頭部の移動は、エンドユーザの視野を変化させる可能性が高く、これは、種々の仮想オブジェクトがエンドユーザの視野に表示される場所に対する更新を要求する可能性が高いであろう。加えて、頭部移動は、多種多様な範囲および速度で生じ得る。頭部移動速度は、異なる頭部移動間においてだけではなく、単一頭部移動の範囲内またはそれを横断して変動し得る。例えば、頭部移動速度は、始点から増加し得(例えば、線形または非線形)、終点に到達するにつれて、減少し得、頭部の移動の始点と終点との間のある場所で最大速度を得る。高速頭部移動は、特定の表示または投影技術の能力さえ超え、均一および/または平滑運動としてエンドユーザに現れる画像をレンダリングし得る。 In AR systems, head posture detection or calculation facilitates the display system to render virtual objects to appear to occupy space in the real world in a manner that makes sense to the user. be able to. In addition, detection of the position and / or orientation of real objects such as handheld devices (also referred to as "totems"), tactile devices, or other real physical objects associated with the user's head or AR system is also possible. , The display system may present display information to the user and facilitate the user to interact efficiently with certain aspects of the AR system. As the user's head moves around in the real world, the virtual object can be re-rendered as a function of head posture so that the virtual object appears stable with respect to the real world. At least for AR applications, the installation of virtual objects that are spatially linked to physical objects (eg, presented to appear spatially close to physical objects in 2D or 3D) is a trivial matter. impossible. For example, head movement can significantly complicate the placement of virtual objects from the perspective of the surrounding environment. This can be true whether the viewpoint is captured as an image of the surrounding environment and then projected or displayed to the end user, or whether the end user directly perceives the viewpoint of the surrounding environment. For example, head movement is likely to change the end user's field of view, which is likely to require updates to where various virtual objects appear in the end user's field of view. In addition, head movement can occur in a wide variety of ranges and velocities. Head movement speeds can vary not only between different head movements, but also within or across a single head movement. For example, the head movement speed can increase from the start point (eg, linear or non-linear) and decrease as it reaches the end point, gaining maximum speed at some point between the start and end points of the head movement. .. Fast head movement can even exceed the capabilities of certain display or projection techniques to render images that appear to the end user as uniform and / or smooth motion.

頭部追跡正確度および待ち時間(すなわち、ユーザがその頭部を移動させてから、画像が更新され、ユーザに表示されるまでの経過時間)は、VRおよびARシステムにとって課題となっている。特に、ユーザの視野の実質的部分を仮想要素で充填する、ディスプレイシステムに関して、頭部追跡の正確度が高く、頭部運動の最初の検出からディスプレイによってユーザの視覚系に配信される光の更新までの全体的システム待ち時間が非常に短いことが重要である。待ち時間が長い場合、システムは、ユーザの前庭と視感覚系との間に不整合をもたらし、乗り物酔いまたは3D酔いにつながり得る、ユーザ知覚シナリオを生成させ得る。システム待ち時間が長い場合、仮想オブジェクトの見掛け場所は、高速頭部運動の間、不安定に現れ得る。 Head tracking accuracy and latency (ie, the elapsed time from the user moving the head to the time the image is updated and displayed to the user) is a challenge for VR and AR systems. Especially for display systems that fill a substantial portion of the user's field of view with virtual elements, head tracking is highly accurate and updates of light delivered by the display to the user's visual system from the first detection of head movement. It is important that the overall system latency to is very short. If the latency is long, the system can generate a user perception scenario that can lead to inconsistencies between the user's vestibule and the visual sensory system, leading to motion sickness or 3D sickness. If the system latency is long, the apparent location of the virtual object can appear unstable during high-speed head movements.

頭部装着型ディスプレイシステムに加え、他のディスプレイシステムもまた、正確かつ短い待ち時間の頭部の姿勢検出から恩恵を受け得る。これらとして、ディスプレイが、ユーザの身体に装着されず、例えば、壁または他の表面上に搭載される、頭部追跡型ディスプレイシステムが挙げられ得る。頭部追跡型ディスプレイは、場面上に窓のように作用し得、ユーザがその頭部を「窓」に対して移動させるにつれて、場面は、ユーザの変化する視点に合致するように、再レンダリングされる。他のシステムとして、頭部装着型ディスプレイが光を実世界上に投影する、頭部装着型投影システムが挙げられる。 In addition to head-mounted display systems, other display systems can also benefit from accurate and short latency head posture detection. These may include head tracking display systems where the display is not worn on the user's body and is mounted, for example, on a wall or other surface. The head-tracking display can act like a window on the scene, and as the user moves his head relative to the "window," the scene is re-rendered to match the user's changing perspective. Will be done. Another system is a head-mounted projection system in which a head-mounted display projects light onto the real world.

加えて、現実的拡張現実体験を提供するために、ARシステムは、ユーザと相互作用するように設計されてもよい。例えば、複数のユーザが、仮想ボールおよび/または他の仮想オブジェクトを用いて、ボールゲームをプレーしてもよい。1人のユーザが、仮想ボールを「キャッチ」し、ボールを別のユーザに投げ返してもよい。別の実施形態では、第1のユーザは、仮想ボールを打つためのトーテム(例えば、ARシステムに通信可能に結合される実際の「バット」)を提供されてもよい。他の実施形態では、仮想ユーザインターフェースは、ユーザが多くのオプションのうちの1つを選択することを可能にするために、ARユーザに提示されてもよい。ユーザは、トーテム、触知デバイス、ウェアラブルコンポーネントを使用し、または単に、仮想画面をタッチし、システムと相互作用してもよい。 In addition, the AR system may be designed to interact with the user to provide a realistic augmented reality experience. For example, multiple users may play a ball game with a virtual ball and / or other virtual objects. One user may "catch" the virtual ball and throw the ball back to another user. In another embodiment, the first user may be provided with a totem for hitting a virtual ball (eg, an actual "bat" communicatively coupled to an AR system). In other embodiments, the virtual user interface may be presented to the AR user to allow the user to select one of many options. Users may use totems, tactile devices, wearable components, or simply touch virtual screens to interact with the system.

ユーザの頭部の姿勢および配向ならびに空間内の実オブジェクトの物理的場所を検出することは、ARシステムが、仮想コンテンツを効果的かつ楽しい様式で表示することを可能にする。しかしながら、これらの能力は、ARシステムにとって重要であるが、達成することが困難である。言い換えると、ARシステムは、実オブジェクト(例えば、ユーザの頭部、トーテム、触知デバイス、ウェアラブルコンポーネント、ユーザの手等)の物理的場所を認識し、実オブジェクトの物理的座標をユーザに表示されている1つまたはそれを上回る仮想オブジェクトに対応する仮想座標に相関させなければならない。これは、1つまたはそれを上回るオブジェクトの位置および配向を高速レートで追跡する非常に正確なセンサならびにセンサ認識システムを要求する。現在のアプローチは、満足のゆく速度または精度規格において位置特定を行わない。 Detecting the posture and orientation of the user's head and the physical location of real objects in space allows the AR system to display virtual content in an effective and enjoyable way. However, while these capabilities are important for AR systems, they are difficult to achieve. In other words, the AR system recognizes the physical location of the real object (eg, the user's head, totem, tactile device, wearable component, user's hand, etc.) and displays the physical coordinates of the real object to the user. It must be correlated with the virtual coordinates corresponding to one or more virtual objects. This requires highly accurate sensors and sensor recognition systems that track the position and orientation of one or more objects at a high rate. Current approaches do not locate at satisfactory speed or accuracy standards.

したがって、ARおよびVRデバイスの状況において、より優れた位置特定システムの必要がある。 Therefore, in the context of AR and VR devices, there is a need for a better location system.

本発明の実施形態は、1人またはそれを上回るユーザのために仮想現実および/または拡張現実相互作用を促進するためのデバイス、システム、および方法に関する。 Embodiments of the invention relate to devices, systems, and methods for facilitating virtual reality and / or augmented reality interactions for one or more users.

一実施形態では、拡張現実(AR)ディスプレイシステムは、既知の磁場を放出するための電磁場エミッタを既知の座標系内に含む。本システムはまた、既知の磁場から生じる電磁センサにおける磁束に関連するパラメータを測定するための電磁センサを含む。本システムはさらに、既知の座標系内の距離を測定するための深度センサを含む。さらに、本システムは、少なくとも部分的に、電磁センサによって測定された磁束および深度センサによって測定された距離に関連するパラメータに基づいて、既知の座標系内の電磁場エミッタに対する電磁センサの姿勢情報を判定するためのコントローラを含む。加えて、本システムは、少なくとも部分的に、電磁場エミッタに対する電磁センサの姿勢情報に基づいて、仮想コンテンツをユーザに表示するためのディスプレイシステムを含む。 In one embodiment, the augmented reality (AR) display system comprises an electromagnetic field emitter for emitting a known magnetic field within a known coordinate system. The system also includes an electromagnetic sensor for measuring parameters related to magnetic flux in an electromagnetic sensor originating from a known magnetic field. The system also includes a depth sensor for measuring distances within known coordinate systems. In addition, the system determines the attitude information of the electromagnetic sensor with respect to the electromagnetic field emitter in a known coordinate system, at least in part, based on the magnetic flux measured by the electromagnetic sensor and the distance-related parameters measured by the depth sensor. Includes a controller for In addition, the system includes, at least in part, a display system for displaying virtual content to the user based on the attitude information of the electromagnetic sensor with respect to the electromagnetic field emitter.

1つまたはそれを上回る実施形態では、深度センサは、受動ステレオ深度センサである。 In one or more embodiments, the depth sensor is a passive stereo depth sensor.

1つまたはそれを上回る実施形態では、深度センサは、能動深度センサである。深度センサは、テクスチャ投影ステレオ深度センサ、構造化光投影ステレオ深度センサ、飛行時間深度センサ、LIDAR深度センサ、または変調放出深度センサであってもよい。 In one or more embodiments, the depth sensor is an active depth sensor. The depth sensor may be a texture projection stereo depth sensor, a structured light projection stereo depth sensor, a flight time depth sensor, a lidar depth sensor, or a modulated emission depth sensor.

1つまたはそれを上回る実施形態では、深度センサは、第1の視野(FOV)を有する、深度カメラを含む。ARディスプレイシステムはまた、世界捕捉カメラを含んでもよく、世界捕捉カメラは、少なくとも部分的に、第1のFOVと重複する、第2のFOVを有する。ARディスプレイシステムはまた、写真カメラを含んでもよく、写真カメラは、少なくとも部分的に、第1のFOVおよび第2のFOVと重複する、第3のFOVを有する。深度カメラ、世界捕捉カメラ、および写真カメラは、個別の異なる第1、第2、および第3の分解能を有してもよい。深度カメラの第1の分解能は、サブVGAであってもよく、世界捕捉カメラの第2の分解能は、720pであってもよく、写真カメラの第3の分解能は、2メガピクセルであってもよい。 In one or more embodiments, the depth sensor comprises a depth camera having a first field of view (FOV). The AR display system may also include a world capture camera, which has a second FOV that, at least in part, overlaps with the first FOV. The AR display system may also include a photographic camera, which has a third FOV that, at least in part, overlaps with the first FOV and the second FOV. Depth cameras, world capture cameras, and photographic cameras may have different first, second, and third resolutions. The first resolution of the depth camera may be sub VGA, the second resolution of the world capture camera may be 720p, and the third resolution of the photographic camera may be 2 megapixels. good.

1つまたはそれを上回る実施形態では、深度カメラ、世界捕捉カメラ、および写真カメラは、個別の第1、第2、および第3の画像を捕捉するように構成される。コントローラは、第2および第3の画像をセグメント化するようにプログラムされてもよい。コントローラは、第2および第3の画像をセグメント化した後、第2および第3の画像を融合し、融合された画像を生成するようにプログラムされてもよい。既知の座標系内の距離を測定することは、深度カメラからの第1の画像を分析することによって、仮説的距離を生成することと、仮説的距離および融合された画像を分析することによって、距離を生成することとを含んでもよい。深度カメラ、世界捕捉カメラ、および写真カメラは、単一統合センサを形成してもよい。 In one or more embodiments, the depth camera, world capture camera, and photographic camera are configured to capture individual first, second, and third images. The controller may be programmed to segment the second and third images. The controller may be programmed to segment the second and third images and then fuse the second and third images to produce the fused image. Measuring distances within a known coordinate system is by analyzing a first image from a depth camera to generate a hypothetical distance, and by analyzing a hypothetical distance and a fused image. It may include generating a distance. Depth cameras, world capture cameras, and photographic cameras may form a single integrated sensor.

1つまたはそれを上回る実施形態では、ARディスプレイシステムはまた、付加的情報を提供するための付加的位置特定リソースを含む。既知の座標系内の電磁場エミッタに対する電磁センサの姿勢情報は、少なくとも部分的に、電磁センサによって測定された磁束、深度センサによって測定された距離、および付加的位置特定リソースによって提供される付加的情報に関連するパラメータに基づいて判定されてもよい。 In one or more embodiments, the AR display system also includes additional locating resources to provide additional information. The attitude information of the electromagnetic sensor with respect to the electromagnetic field emitter in the known coordinate system is, at least in part, the magnetic flux measured by the electromagnetic sensor, the distance measured by the depth sensor, and the additional information provided by the additional locating resource. It may be determined based on the parameters related to.

1つまたはそれを上回る実施形態では、付加的位置特定リソースは、WiFi送受信機、付加的電磁エミッタ、または付加的電磁センサを含んでもよい。付加的位置特定リソースは、ビーコンを含んでもよい。ビーコンは、放射を放出してもよい。放射は、赤外線放射であってもよく、ビーコンは、赤外線LEDを含んでもよい。付加的位置特定リソースは、反射体を含んでもよい。反射体は、放射を反射してもよい。 In one or more embodiments, the additional locating resource may include a WiFi transceiver, an additional electromagnetic emitter, or an additional electromagnetic sensor. The additional location resource may include a beacon. Beacons may emit radiation. The radiation may be infrared radiation and the beacon may include an infrared LED. Additional locating resources may include reflectors. The reflector may reflect radiation.

1つまたはそれを上回る実施形態では、付加的位置特定リソースは、セルラーネットワーク送受信機、RADARエミッタ、RADAR検出器、LIDARエミッタ、LIDAR検出器、GPS送受信機、既知の検出可能パターンを有するポスタ、既知の検出可能パターンを有するマーカ、慣性測定ユニット、または歪みゲージを含んでもよい。 In one or more embodiments, the additional locating resource is a cellular network transmitter / receiver, a RADAR emitter, a RADAR detector, a LIDAR emitter, a LIDAR detector, a GPS transmitter / receiver, a poster with a known detectable pattern, known. It may include a marker, an inertial measurement unit, or a strain gauge having a detectable pattern of.

1つまたはそれを上回る実施形態では、電磁場エミッタは、ARディスプレイシステムのモバイルコンポーネントに結合される。モバイルコンポーネントは、ハンドヘルドコンポーネント、トーテム、ディスプレイシステムを格納する頭部搭載型コンポーネント、胴体装着型コンポーネント、またはベルトパックであってもよい。 In one or more embodiments, the electromagnetic field emitter is coupled to a mobile component of an AR display system. The mobile component may be a handheld component, a totem, a head-mounted component that houses the display system, a torso-mounted component, or a belt pack.

1つまたはそれを上回る実施形態では、電磁場エミッタは、電磁場エミッタが既知の位置および既知の配向を有するように、既知の座標系内のオブジェクトに結合される。電磁センサは、ARディスプレイシステムのモバイルコンポーネントに結合されてもよい。モバイルコンポーネントは、ハンドヘルドコンポーネント、トーテム、ディスプレイシステムを格納する頭部搭載型コンポーネント、胴体装着型コンポーネント、またはベルトパックであってもよい。 In one or more embodiments, the field emitter is coupled to an object in a known coordinate system such that the field emitter has a known position and a known orientation. The electromagnetic sensor may be coupled to a mobile component of the AR display system. The mobile component may be a handheld component, a totem, a head-mounted component that houses the display system, a torso-mounted component, or a belt pack.

1つまたはそれを上回る実施形態では、姿勢情報は、既知の座標系内の電磁場エミッタに対する電磁センサの位置および配向を含む。コントローラは、姿勢情報を分析し、既知の座標系内の電磁センサの位置および配向を判定してもよい。 In one or more embodiments, the attitude information includes the position and orientation of the electromagnetic sensor with respect to the electromagnetic field emitter in a known coordinate system. The controller may analyze the attitude information to determine the position and orientation of the electromagnetic sensor in a known coordinate system.

別の実施形態では、拡張現実を表示するための方法は、電磁場エミッタを使用して、既知の座標系内で既知の磁場を放出するステップを含む。本方法はまた、電磁センサを使用して、既知の磁場から生じる電磁センサにおける磁束に関連するパラメータを測定するステップを含む。本方法はさらに、深度センサを使用して、既知の座標系内の距離を測定するステップを含む。さらに、本方法は、少なくとも部分的に、電磁センサを使用して測定された磁束および深度センサを使用して測定された距離に関連するパラメータに基づいて、既知の座標系内の電磁場エミッタに対する電磁センサの姿勢情報を判定するステップを含む。加えて、本方法は、少なくとも部分的に、電磁場エミッタに対する電磁センサの姿勢情報に基づいて、仮想コンテンツをユーザに表示するステップを含む。 In another embodiment, the method for displaying augmented reality involves using an electromagnetic field emitter to emit a known magnetic field within a known coordinate system. The method also comprises using an electromagnetic sensor to measure parameters related to magnetic flux in an electromagnetic sensor originating from a known magnetic field. The method further comprises the step of measuring a distance within a known coordinate system using a depth sensor. In addition, the method is at least partially electromagnetic to the electromagnetic field emitters in a known coordinate system based on the magnetic flux measured using the electromagnetic sensor and the distance-related parameters measured using the depth sensor. It includes a step of determining the attitude information of the sensor. In addition, the method comprises displaying virtual content to the user, at least in part, based on the attitude information of the electromagnetic sensor with respect to the electromagnetic field emitter.

1つまたはそれを上回る実施形態では、深度センサは、受動ステレオ深度センサである。 In one or more embodiments, the depth sensor is a passive stereo depth sensor.

1つまたはそれを上回る実施形態では、深度センサは、能動深度センサである。深度センサは、テクスチャ投影ステレオ深度センサ、構造化光投影ステレオ深度センサ、飛行時間深度センサ、LIDAR深度センサ、または変調放出深度センサであってもよい。 In one or more embodiments, the depth sensor is an active depth sensor. The depth sensor may be a texture projection stereo depth sensor, a structured light projection stereo depth sensor, a flight time depth sensor, a lidar depth sensor, or a modulated emission depth sensor.

1つまたはそれを上回る実施形態では、深度センサは、第1の視野(FOV)を有する、深度カメラを含む。深度センサはまた、世界捕捉カメラを含んでもよく、世界捕捉カメラは、少なくとも部分的に、第1のFOVと重複する、第2のFOVを有する。深度センサはまた、写真カメラを含んでもよく、写真カメラは、少なくとも部分的に、第1のFOVおよび第2のFOVと重複する、第3のFOVを有する。深度カメラ、世界捕捉カメラ、および写真カメラは、個別の異なる第1、第2、および第3の分解能を有してもよい。深度カメラの第1の分解能は、サブVGAであってもよく、世界捕捉カメラの第2の分解能は、720pであってもよく、写真カメラの第3の分解能は、2メガピクセルであってもよい。 In one or more embodiments, the depth sensor comprises a depth camera having a first field of view (FOV). The depth sensor may also include a world capture camera, which has a second FOV that, at least in part, overlaps with the first FOV. The depth sensor may also include a photographic camera, which has a third FOV that, at least in part, overlaps with the first FOV and the second FOV. Depth cameras, world capture cameras, and photographic cameras may have different first, second, and third resolutions. The first resolution of the depth camera may be sub VGA, the second resolution of the world capture camera may be 720p, and the third resolution of the photographic camera may be 2 megapixels. good.

1つまたはそれを上回る実施形態では、本方法はまた、個別の深度カメラ、世界捕捉カメラ、および写真カメラを使用して、第1、第2、および第3の画像を捕捉するステップを含む。本方法はまた、第2および第3の画像をセグメント化するステップを含んでもよい。本方法はさらに、第2および第3の画像をセグメント化した後、第2および第3の画像を融合し、融合された画像を生成するステップを含んでもよい。既知の座標系内の距離を測定するステップは、深度カメラからの第1の画像を分析することによって、仮説的距離を生成するステップと、仮説的距離および融合された画像を分析することによって、距離を生成するステップとを含んでもよい。深度カメラ、世界捕捉カメラ、および写真カメラは、単一統合センサを形成してもよい。 In one or more embodiments, the method also comprises the steps of capturing first, second, and third images using individual depth cameras, world capture cameras, and photographic cameras. The method may also include the steps of segmenting the second and third images. The method may further include segmenting the second and third images and then fusing the second and third images to produce the fused image. The steps to measure distances in a known coordinate system are to generate a hypothetical distance by analyzing a first image from a depth camera, and by analyzing a hypothetical distance and a fused image. It may include a step to generate a distance. Depth cameras, world capture cameras, and photographic cameras may form a single integrated sensor.

1つまたはそれを上回る実施形態では、本方法はまた、少なくとも部分的に、電磁センサを使用して測定された磁束、深度センサを使用して測定された距離、および付加的位置特定リソースによって提供された付加的情報に関連するパラメータに基づいて、既知の座標系内の電磁場エミッタに対する電磁センサの姿勢情報を判定するステップを含む。 In one or more embodiments, the method is also provided, at least in part, by magnetic flux measured using an electromagnetic sensor, distance measured using a depth sensor, and additional locating resources. It comprises determining the attitude information of the electromagnetic sensor with respect to the electromagnetic field emitter in a known coordinate system based on the parameters associated with the additional information provided.

1つまたはそれを上回る実施形態では、付加的位置特定リソースは、WiFi送受信機、付加的電磁エミッタ、または付加的電磁センサを含んでもよい。付加的位置特定リソースは、ビーコンを含んでもよい。本方法はまた、ビーコンが放射を放出するステップを含んでもよい。放射は、赤外線放射であってもよく、ビーコンは、赤外線LEDを含んでもよい。付加的位置特定リソースは、反射体を含んでもよい。本方法はまた、反射体が放射を反射するステップを含んでもよい。 In one or more embodiments, the additional locating resource may include a WiFi transceiver, an additional electromagnetic emitter, or an additional electromagnetic sensor. The additional location resource may include a beacon. The method may also include a step in which the beacon emits radiation. The radiation may be infrared radiation and the beacon may include an infrared LED. Additional locating resources may include reflectors. The method may also include a step in which the reflector reflects radiation.

1つまたはそれを上回る実施形態では、付加的位置特定リソースは、セルラーネットワーク送受信機、RADARエミッタ、RADAR検出器、LIDARエミッタ、LIDAR検出器、GPS送受信機、既知の検出可能パターンを有する、ポスタ、既知の検出可能パターンを有する、マーカ、慣性測定ユニット、または歪みゲージを含んでもよい。 In one or more embodiments, the additional location resource is a cellular network transmitter / receiver, RADAR emitter, RADAR detector, LIDAR emitter, LIDAR detector, GPS transmitter / receiver, poster with known detectable pattern, It may include a marker, an inertial measurement unit, or a strain gauge with a known detectable pattern.

1つまたはそれを上回る実施形態では、電磁場エミッタは、ARディスプレイシステムのモバイルコンポーネントに結合される。モバイルコンポーネントは、ハンドヘルドコンポーネント、トーテム、ディスプレイシステムを格納する頭部搭載型コンポーネント、胴体装着型コンポーネント、またはベルトパックであってもよい。 In one or more embodiments, the electromagnetic field emitter is coupled to a mobile component of an AR display system. The mobile component may be a handheld component, a totem, a head-mounted component that houses the display system, a torso-mounted component, or a belt pack.

1つまたはそれを上回る実施形態では、電磁場エミッタは、電磁場エミッタが既知の位置および既知の配向を有するように、既知の座標系内のオブジェクトに結合される。電磁センサは、ARディスプレイシステムのモバイルコンポーネントに結合されてもよい。モバイルコンポーネントは、ハンドヘルドコンポーネント、トーテム、ディスプレイシステムを格納する頭部搭載型コンポーネント、胴体装着型コンポーネント、またはベルトパックであってもよい。 In one or more embodiments, the field emitter is coupled to an object in a known coordinate system such that the field emitter has a known position and a known orientation. The electromagnetic sensor may be coupled to a mobile component of the AR display system. The mobile component may be a handheld component, a totem, a head-mounted component that houses the display system, a torso-mounted component, or a belt pack.

1つまたはそれを上回る実施形態では、姿勢情報は、既知の座標系内の電磁場エミッタに対する電磁センサの位置および配向を含む。本方法はまた、姿勢情報を分析し、既知の座標系内の電磁センサの位置および配向を判定するステップを含んでもよい。 In one or more embodiments, the attitude information includes the position and orientation of the electromagnetic sensor with respect to the electromagnetic field emitter in a known coordinate system. The method may also include a step of analyzing the attitude information to determine the position and orientation of the electromagnetic sensor in a known coordinate system.

さらに別の実施形態では、拡張現実ディスプレイシステムは、電磁場エミッタに結合される、ハンドヘルドコンポーネントであって、電磁場エミッタは、磁場を放出する、ハンドヘルドコンポーネントを含む。本システムはまた、仮想コンテンツをユーザに表示する、ディスプレイシステムを有する、頭部搭載型コンポーネントを含む。頭部搭載型コンポーネントは、磁場から生じる電磁センサにおける磁束に関連するパラメータを測定する、電磁センサに結合され、既知の座標系内の頭部搭載型コンポーネントの頭部の姿勢は、既知である。本システムはさらに、既知の座標系内の距離を測定する、深度センサを含む。さらに、本システムは、ハンドヘルドコンポーネント、頭部搭載型コンポーネント、および深度センサに通信可能に結合される、コントローラを含む。コントローラは、電磁センサにおける磁束に関連するパラメータを頭部搭載型コンポーネントから、距離を深度センサから受信する。コントローラは、少なくとも部分的に、電磁センサによって測定された磁束および深度センサによって測定された距離に関連するパラメータに基づいて、ハンドヘルドコンポーネントの手の姿勢を判定する。本システムは、少なくとも部分的に、手の姿勢に基づいて、ユーザに表示される仮想コンテンツを修正する。 In yet another embodiment, the augmented reality display system is a handheld component coupled to an electromagnetic field emitter, the electromagnetic field emitter comprising a handheld component that emits a magnetic field. The system also includes a head-mounted component with a display system that displays virtual content to the user. The head-mounted component is coupled to an electromagnetic sensor that measures parameters related to magnetic flux in the electromagnetic sensor resulting from a magnetic field, and the head posture of the head-mounted component within a known coordinate system is known. The system also includes a depth sensor that measures distances within known coordinate systems. In addition, the system includes handheld components, head-mounted components, and a controller communicably coupled to a depth sensor. The controller receives the parameters related to the magnetic flux in the electromagnetic sensor from the head-mounted component and the distance from the depth sensor. The controller determines the hand posture of the handheld component, at least in part, based on the magnetic flux measured by the electromagnetic sensor and the distance-related parameters measured by the depth sensor. The system modifies the virtual content displayed to the user, at least in part, based on the posture of the hand.

1つまたはそれを上回る実施形態では、深度センサは、受動ステレオ深度センサである。 In one or more embodiments, the depth sensor is a passive stereo depth sensor.

1つまたはそれを上回る実施形態では、深度センサは、能動深度センサである。深度センサは、テクスチャ投影ステレオ深度センサ、構造化光投影ステレオ深度センサ、飛行時間深度センサ、LIDAR深度センサ、または変調放出深度センサであってもよい。 In one or more embodiments, the depth sensor is an active depth sensor. The depth sensor may be a texture projection stereo depth sensor, a structured light projection stereo depth sensor, a flight time depth sensor, a lidar depth sensor, or a modulated emission depth sensor.

1つまたはそれを上回る実施形態では、深度センサは、第1の視野(FOV)を有する、深度カメラを含む。ARディスプレイシステムはまた、世界捕捉カメラを含んでもよく、世界捕捉カメラは、少なくとも部分的に、第1のFOVと重複する、第2のFOVを有する。ARディスプレイシステムはまた、写真カメラを含んでもよく、写真カメラは、少なくとも部分的に、第1のFOVおよび第2のFOVと重複する、第3のFOVを有する。深度カメラ、世界捕捉カメラ、および写真カメラは、個別の異なる第1、第2、および第3の分解能を有してもよい。深度カメラの第1の分解能は、サブVGAであってもよく、世界捕捉カメラの第2の分解能は、720pであってもよく、写真カメラの第3の分解能は、2メガピクセルであってもよい。 In one or more embodiments, the depth sensor comprises a depth camera having a first field of view (FOV). The AR display system may also include a world capture camera, which has a second FOV that, at least in part, overlaps with the first FOV. The AR display system may also include a photographic camera, which has a third FOV that, at least in part, overlaps with the first FOV and the second FOV. Depth cameras, world capture cameras, and photographic cameras may have different first, second, and third resolutions. The first resolution of the depth camera may be sub VGA, the second resolution of the world capture camera may be 720p, and the third resolution of the photographic camera may be 2 megapixels. good.

1つまたはそれを上回る実施形態では、深度カメラ、世界捕捉カメラ、および写真カメラは、個別の第1、第2、および第3の画像を捕捉するように構成される。コントローラは、第2および第3の画像をセグメント化するようにプログラムされてもよい。コントローラは、第2および第3の画像をセグメント化した後、第2および第3の画像を融合し、融合された画像を生成するようにプログラムされてもよい。既知の座標系内の距離を測定することは、深度カメラからの第1の画像を分析することによって、仮説的距離を生成することと、仮説的距離および融合された画像を分析することによって、距離を生成することとを含んでもよい。深度カメラ、世界捕捉カメラ、および写真カメラは、単一統合センサを形成してもよい。 In one or more embodiments, the depth camera, world capture camera, and photographic camera are configured to capture individual first, second, and third images. The controller may be programmed to segment the second and third images. The controller may be programmed to segment the second and third images and then fuse the second and third images to produce the fused image. Measuring distances within a known coordinate system is by analyzing a first image from a depth camera to generate a hypothetical distance, and by analyzing a hypothetical distance and a fused image. It may include generating a distance. Depth cameras, world capture cameras, and photographic cameras may form a single integrated sensor.

1つまたはそれを上回る実施形態では、ARディスプレイシステムはまた、付加的情報を提供するための付加的位置特定リソースを含む。コントローラは、少なくとも部分的に、電磁センサによって測定された磁束、深度センサによって測定された距離、および付加的位置特定リソースによって提供される付加的情報に関連するパラメータに基づいて、ハンドヘルドコンポーネントの手の姿勢を判定する。 In one or more embodiments, the AR display system also includes additional locating resources to provide additional information. The controller is at least partially based on the magnetic flux measured by the electromagnetic sensor, the distance measured by the depth sensor, and the parameters associated with the additional information provided by the additional locating resource. Determine the posture.

1つまたはそれを上回る実施形態では、付加的位置特定リソースは、WiFi送受信機、付加的電磁エミッタ、または付加的電磁センサを含んでもよい。付加的位置特定リソースは、ビーコンを含んでもよい。ビーコンは、放射を放出してもよい。放射は、赤外線放射であってもよく、ビーコンは、赤外線LEDを含んでもよい。付加的位置特定リソースは、反射体を含んでもよい。反射体は、放射を反射してもよい。 In one or more embodiments, the additional locating resource may include a WiFi transceiver, an additional electromagnetic emitter, or an additional electromagnetic sensor. The additional location resource may include a beacon. Beacons may emit radiation. The radiation may be infrared radiation and the beacon may include an infrared LED. Additional locating resources may include reflectors. The reflector may reflect radiation.

1つまたはそれを上回る実施形態では、付加的位置特定リソースは、セルラーネットワーク送受信機、RADARエミッタ、RADAR検出器、LIDARエミッタ、LIDAR検出器、GPS送受信機、既知の検出可能パターンを有する、ポスタ、既知の検出可能パターンを有する、マーカ、慣性測定ユニット、または歪みゲージを含んでもよい。 In one or more embodiments, the additional location resource is a cellular network transmitter / receiver, RADAR emitter, RADAR detector, LIDAR emitter, LIDAR detector, GPS transmitter / receiver, poster with known detectable pattern, It may include a marker, an inertial measurement unit, or a strain gauge with a known detectable pattern.

1つまたはそれを上回る実施形態では、電磁場ハンドヘルドコンポーネントは、トーテムである。手の姿勢情報は、既知の座標系内のハンドヘルドコンポーネントの位置および配向を含んでもよい。 In one or more embodiments, the electromagnetic field handheld component is a totem. The hand posture information may include the position and orientation of the handheld component within a known coordinate system.

本発明の付加的および他の目的、特徴、および利点が、発明を実施するための形態、図、および請求項で説明される。
(項目1)
拡張現実(AR)ディスプレイシステムであって、
既知の座標系内で既知の磁場を放出する電磁場エミッタと、
電磁センサであって、上記電磁センサは、上記既知の磁場から生じる上記電磁センサにおける磁束に関連するパラメータを測定する電磁センサと、
上記既知の座標系内の距離を測定する深度センサと、
コントローラであって、上記コントローラは、少なくとも部分的に、上記電磁センサによって測定された磁束および上記深度センサによって測定された距離に関連するパラメータに基づいて、上記既知の座標系内の電磁場エミッタに対する上記電磁センサの姿勢情報を判定する、コントローラと、
ディスプレイシステムであって、上記ディスプレイシステムは、少なくとも部分的に、上記電磁場エミッタに対する上記電磁センサの姿勢情報に基づいて、仮想コンテンツをユーザに表示する、ディスプレイシステムと、
を備える、ARディスプレイシステム。
(項目2)
上記深度センサは、受動ステレオ深度センサである、項目1に記載のARディスプレイシステム。
(項目3)
上記深度センサは、能動深度センサである、項目1に記載のARディスプレイシステム。
(項目4)
上記深度センサは、テクスチャ投影ステレオ深度センサである、項目3に記載のARディスプレイシステム。
(項目5)
上記深度センサは、構造化光投影ステレオ深度センサである、項目3に記載のARディスプレイシステム。
(項目6)
上記深度センサは、飛行時間深度センサである、項目3に記載のARディスプレイシステム。
(項目7)
上記深度センサは、LIDAR深度センサである、項目3に記載のARディスプレイシステム。
(項目8)
上記深度センサは、変調放出深度センサである、項目3に記載のARディスプレイシステム。
(項目9)
上記深度センサは、第1の視野(FOV)を有する深度カメラを備える、項目1に記載のARディスプレイシステム。
(項目10)
世界捕捉カメラをさらに備え、
上記世界捕捉カメラは、少なくとも部分的に、上記第1のFOVと重複する第2のFOVを有する、項目9に記載のARディスプレイシステム。
(項目11)
写真カメラをさらに備え、
上記写真カメラは、少なくとも部分的に、上記第1のFOVおよび上記第2のFOVと重複する第3のFOVを有する、項目10に記載のARディスプレイシステム。
(項目12)
上記深度カメラ、上記世界捕捉カメラ、および上記写真カメラは、個別の異なる第1、第2、および第3の分解能を有する、項目11に記載のARディスプレイシステム。
(項目13)
上記深度カメラの第1の分解能は、サブVGAであり、上記世界捕捉カメラの第2の分解能は、720pであり、上記写真カメラの第3の分解能は、2メガピクセルである、項目12に記載のARディスプレイシステム。
(項目14)
上記深度カメラ、上記世界捕捉カメラ、および上記写真カメラは、個別の第1、第2、および第3の画像を捕捉するように構成される、項目11に記載のARディスプレイシステム。
(項目15)
上記コントローラは、上記第2および第3の画像をセグメント化するようにプログラムされる、項目14に記載のARディスプレイシステム。
(項目16)
上記コントローラは、上記第2および第3の画像をセグメント化した後、上記第2および第3の画像を融合し、融合された画像を生成するようにプログラムされる、項目15に記載のARディスプレイシステム。
(項目17)
上記既知の座標系内の距離を測定することは、
上記深度カメラからの第1の画像を分析することによって、仮説的距離を生成することと、
上記仮説的距離および上記融合された画像を分析することによって、上記距離を生成することと、
を含む、項目16に記載のARディスプレイシステム。
(項目18)
上記深度カメラ、上記世界捕捉カメラ、および上記写真カメラは、単一統合センサを形成する、項目11に記載のARディスプレイシステム。
(項目19)
付加的情報を提供する付加的位置特定リソースをさらに備え、上記既知の座標系内の電磁場エミッタに対する上記電磁センサの姿勢情報は、少なくとも部分的に、上記電磁センサによって測定された磁束、上記深度センサによって測定された距離、および上記付加的位置特定リソースによって提供される付加的情報に関連するパラメータに基づいて判定される、項目1に記載のARディスプレイシステム。
(項目20)
上記付加的位置特定リソースは、WiFi送受信機を備える、項目19に記載のARディスプレイシステム。
(項目21)
上記付加的位置特定リソースは、付加的電磁エミッタを備える、項目19に記載のARディスプレイシステム。
(項目22)
上記付加的位置特定リソースは、付加的電磁センサを備える、項目19に記載のARディスプレイシステム。
(項目23)
上記付加的位置特定リソースは、ビーコンを備える、項目19に記載のARディスプレイシステム。
(項目24)
上記ビーコンは、放射を放出する、項目23に記載のARディスプレイシステム。
(項目25)
上記放射は、赤外線放射であり、上記ビーコンは、赤外線LEDを備える、項目24に記載のARディスプレイシステム。
(項目26)
上記付加的位置特定リソースは、反射体を備える、項目19に記載のARディスプレイシステム。
(項目27)
上記反射体は、放射を反射する、項目26に記載のARディスプレイシステム。
(項目28)
上記付加的位置特定リソースは、セルラーネットワーク送受信機を備える、項目19に記載のARディスプレイシステム。
(項目29)
上記付加的位置特定リソースは、RADARエミッタを備える、項目19に記載のARディスプレイシステム。
(項目30)
上記付加的位置特定リソースは、RADAR検出器を備える、項目19に記載のARディスプレイシステム。
(項目31)
上記付加的位置特定リソースは、LIDARエミッタを備える、項目19に記載のARディスプレイシステム。
(項目32)
上記付加的位置特定リソースは、LIDAR検出器を備える、項目19に記載のARディスプレイシステム。
(項目33)
上記付加的位置特定リソースは、GPS送受信機を備える、項目19に記載のARディスプレイシステム。
(項目34)
上記付加的位置特定リソースは、既知の検出可能パターンを有するポスタを備える、項目19に記載のARディスプレイシステム。
(項目35)
上記付加的位置特定リソースは、既知の検出可能パターンを有するマーカを備える、項目19に記載のARディスプレイシステム。
(項目36)
上記付加的位置特定リソースは、慣性測定ユニットを備える、項目19に記載のARディスプレイシステム。
(項目37)
上記付加的位置特定リソースは、歪みゲージを備える、項目19に記載のARディスプレイシステム。
(項目38)
上記電磁場エミッタは、ARディスプレイシステムのモバイルコンポーネントに結合される、項目1に記載のARディスプレイシステム。
(項目39)
上記モバイルコンポーネントは、ハンドヘルドコンポーネントである、項目38に記載のARディスプレイシステム。
(項目40)
上記モバイルコンポーネントは、トーテムである、項目39に記載のARディスプレイシステム。
(項目41)
上記モバイルコンポーネントは、ディスプレイシステムを格納する頭部搭載型コンポーネントである、項目38に記載のARディスプレイシステム。
(項目42)
上記モバイルコンポーネントは、胴体装着型コンポーネントである、項目38に記載のARディスプレイシステム。
(項目43)
上記胴体装着型コンポーネントは、ベルトパックである、項目42に記載のARディスプレイシステム。
(項目44)
上記電磁場エミッタは、上記電磁場エミッタが既知の位置および既知の配向を有するように、上記既知の座標系内のオブジェクトに結合される、項目1に記載のARディスプレイシステム。
(項目45)
上記電磁センサは、ARディスプレイシステムのモバイルコンポーネントに結合される、項目44に記載のARディスプレイシステム。
(項目46)
上記モバイルコンポーネントは、ハンドヘルドコンポーネントである、項目45に記載のARディスプレイシステム。
(項目47)
上記モバイルコンポーネントは、トーテムである、項目46に記載のARディスプレイシステム。
(項目48)
上記モバイルコンポーネントは、ディスプレイシステムを格納する頭部搭載型コンポーネントである、項目45に記載のARディスプレイシステム。
(項目49)
上記モバイルコンポーネントは、胴体装着型コンポーネントである、項目45に記載のARディスプレイシステム。
(項目50)
上記胴体装着型コンポーネントは、ベルトパックである、項目49に記載のARディスプレイシステム。
(項目51)
上記姿勢情報は、上記既知の座標系内の電磁場エミッタに対する上記電磁センサの位置および配向を備える、項目1に記載のARディスプレイシステム。
(項目52)
上記コントローラは、上記姿勢情報を分析し、上記既知の座標系内の上記電磁センサの位置および配向を判定する、項目1に記載のARディスプレイシステム。
(項目53)
拡張現実を表示するための方法であって、上記方法は、
電磁場エミッタを使用して、既知の座標系内で既知の磁場を放出するステップと、
電磁センサを使用して、上記既知の磁場から生じる上記電磁センサの磁束に関連するパラメータを測定するステップと、
深度センサを使用して、上記既知の座標系内の距離を測定するステップと、
少なくとも部分的に、上記電磁センサを使用して測定された磁束および上記深度センサを使用して測定された距離に関連するパラメータに基づいて、上記既知の座標系内の電磁場エミッタに対する上記電磁センサの姿勢情報を判定するステップと、
少なくとも部分的に、上記電磁場エミッタに対する上記電磁センサの姿勢情報に基づいて、仮想コンテンツをユーザに表示するステップと、
を含む、方法。
(項目54)
上記深度センサは、受動ステレオ深度センサである、項目53に記載の方法。
(項目55)
上記深度センサは、能動深度センサである、項目53に記載の方法。
(項目56)
上記深度センサは、テクスチャ投影ステレオ深度センサである、項目55に記載の方法。
(項目57)
上記深度センサは、構造化光投影ステレオ深度センサである、項目55に記載の方法。
(項目58)
上記深度センサは、飛行時間深度センサである、項目55に記載の方法。
(項目59)
上記深度センサは、LIDAR深度センサである、項目55に記載の方法。
(項目60)
上記深度センサは、変調放出深度センサである、項目55に記載の方法。
(項目61)
上記深度センサは、第1の視野(FOV)を有する深度カメラを備える、項目53に記載の方法。
(項目62)
上記深度センサはさらに、世界捕捉カメラを備え、
上記世界捕捉カメラは、少なくとも部分的に、上記第1のFOVと重複する第2のFOVを有する、項目61に記載の方法。
(項目63)
上記深度センサはさらに、写真カメラを備え、
上記写真カメラは、少なくとも部分的に、上記第1のFOVおよび上記第2のFOVと重複する第3のFOVを有する、項目62に記載の方法。
(項目64)
上記深度カメラ、上記世界捕捉カメラ、および上記写真カメラは、個別の異なる第1、第2、および第3の分解能を有する、項目63に記載の方法。
(項目65)
上記深度カメラの第1の分解能は、サブVGAであり、上記世界捕捉カメラの第2の分解能は、720pであり、上記写真カメラの第3の分解能は、2メガピクセルである、項目64に記載の方法。
(項目66)
個別の深度カメラ、世界捕捉カメラ、および写真カメラを使用して、第1、第2、および第3の画像を捕捉するステップをさらに含む、項目63に記載の方法。
(項目67)
上記第2および第3の画像をセグメント化するステップをさらに含む、項目66に記載の方法。
(項目68)
上記第2および第3の画像をセグメント化した後、上記第2および第3の画像を融合し、融合された画像を生成するステップをさらに含む、項目67に記載の方法。
(項目69)
上記既知の座標系内の距離を測定するステップは、
上記深度カメラからの第1の画像を分析することによって、仮説的距離を生成するステップと、
上記仮説的距離および上記融合された画像を分析することによって、上記距離を生成するステップと、
を含む、項目68に記載の方法。
(項目70)
上記深度カメラ、上記世界捕捉カメラ、および上記写真カメラは、単一統合センサを形成する、項目63に記載の方法。
(項目71)
少なくとも部分的に、上記電磁センサを使用して測定された磁束、上記深度センサを使用して測定された距離、および付加的位置特定リソースによって提供された付加的情報に関連するパラメータに基づいて、上記既知の座標系内の電磁場エミッタに対する上記電磁センサの姿勢情報を判定するステップをさらに含む、項目53に記載の方法。
(項目72)
上記付加的位置特定リソースは、WiFi送受信機を備える、項目71に記載の方法。
(項目73)
上記付加的位置特定リソースは、付加的電磁エミッタを備える、項目71に記載の方法。
(項目74)
上記付加的位置特定リソースは、付加的電磁センサを備える、項目71に記載の方法。
(項目75)
上記付加的位置特定リソースは、ビーコンを備える、項目71に記載の方法。
(項目76)
上記ビーコンが放射を放出するステップをさらに含む、項目75に記載の方法。
(項目77)
上記放射は、赤外線放射であり、上記ビーコンは、赤外線LEDを備える、項目76に記載の方法。
(項目78)
上記付加的位置特定リソースは、反射体を備える、項目71に記載の方法。
(項目79)
上記反射体が放射を反射するステップをさらに含む、項目78に記載の方法。
(項目80)
上記付加的位置特定リソースは、セルラーネットワーク送受信機を備える、項目71に記載の方法。
(項目81)
上記付加的位置特定リソースは、RADARエミッタを備える、項目71に記載の方法。
(項目82)
上記付加的位置特定リソースは、RADAR検出器を備える、項目71に記載の方法。
(項目83)
上記付加的位置特定リソースは、LIDARエミッタを備える、項目71に記載の方法。
(項目84)
上記付加的位置特定リソースは、LIDAR検出器を備える、項目71に記載の方法。
(項目85)
上記付加的位置特定リソースは、GPS送受信機を備える、項目71に記載の方法。
(項目86)
上記付加的位置特定リソースは、既知の検出可能パターンを有するポスタを備える、項目71に記載の方法。
(項目87)
上記付加的位置特定リソースは、既知の検出可能パターンを有するマーカを備える、項目71に記載の方法。
(項目88)
上記付加的位置特定リソースは、慣性測定ユニットを備える、項目71に記載の方法。
(項目89)
上記付加的位置特定リソースは、歪みゲージを備える、項目71に記載の方法。
(項目90)
上記電磁場エミッタは、ARディスプレイシステムのモバイルコンポーネントに結合される、項目53に記載の方法。
(項目91)
上記モバイルコンポーネントは、ハンドヘルドコンポーネントである、項目90に記載の方法。
(項目92)
上記モバイルコンポーネントは、トーテムである、項目91に記載の方法。
(項目93)
上記モバイルコンポーネントは、ディスプレイシステムを格納する頭部搭載型コンポーネントである、項目90に記載の方法。
(項目94)
上記モバイルコンポーネントは、胴体装着型コンポーネントである、項目90に記載の方法。
(項目95)
上記胴体装着型コンポーネントは、ベルトパックである、項目94に記載の方法。
(項目96)
上記電磁場エミッタは、上記電磁場エミッタが既知の位置および既知の配向を有するように、上記既知の座標系内のオブジェクトに結合される、項目53に記載の方法。
(項目97)
上記電磁センサは、ARディスプレイシステムのモバイルコンポーネントに結合される、項目96に記載の方法。
(項目98)
上記モバイルコンポーネントは、ハンドヘルドコンポーネントである、項目97に記載の方法。
(項目99)
上記モバイルコンポーネントは、トーテムである、項目98に記載の方法。
(項目100)
上記モバイルコンポーネントは、ディスプレイシステムを格納する頭部搭載型コンポーネントである、項目97に記載の方法。
(項目101)
上記モバイルコンポーネントは、胴体装着型コンポーネントである、項目97に記載の方法。
(項目102)
上記胴体装着型コンポーネントは、ベルトパックである、項目101に記載の方法。
(項目103)
上記姿勢情報は、上記既知の座標系内の電磁場エミッタに対する上記電磁センサの位置および配向を備える、項目53に記載の方法。
(項目104)
上記姿勢情報を分析し、上記既知の座標系内の上記電磁センサの位置および配向を判定するステップをさらに含む、項目53に記載の方法。
(項目105)
拡張現実ディスプレイシステムであって、
電磁場エミッタに結合されるハンドヘルドコンポーネントであって、上記電磁場エミッタは、磁場を放出する、ハンドヘルドコンポーネントと、
仮想コンテンツをユーザに表示するディスプレイシステムを有する頭部搭載型コンポーネントであって、上記頭部搭載型コンポーネントは、上記磁場から生じる電磁センサにおける磁束に関連するパラメータを測定する電磁センサに結合され、既知の座標系内の上記頭部搭載型コンポーネントの頭部の姿勢は、既知である、頭部搭載型コンポーネントと、
上記既知の座標系内の距離を測定する深度センサと、
上記ハンドヘルドコンポーネント、上記頭部搭載型コンポーネント、および上記深度センサに通信可能に結合されるコントローラであって、上記コントローラは、上記電磁センサにおける磁束に関連するパラメータを上記頭部搭載型コンポーネントから受信し、上記距離を上記深度センサから受信する、コントローラと、
を備え、上記コントローラは、少なくとも部分的に、上記電磁センサによって測定された磁束および上記深度センサによって測定された距離に関連するパラメータに基づいて、上記ハンドヘルドコンポーネントの手の姿勢を判定し、
上記システムは、少なくとも部分的に、上記手の姿勢に基づいて、上記ユーザに表示される仮想コンテンツを修正する、
拡張現実ディスプレイシステム。
(項目106)
上記深度センサは、受動ステレオ深度センサである、項目105に記載のARディスプレイシステム。
(項目107)
上記深度センサは、能動深度センサである、項目105に記載のARディスプレイシステム。
(項目108)
上記深度センサは、テクスチャ投影ステレオ深度センサである、項目107に記載のARディスプレイシステム。
(項目109)
上記深度センサは、構造化光投影ステレオ深度センサである、項目107に記載のARディスプレイシステム。
(項目110)
上記深度センサは、飛行時間深度センサである、項目107に記載のARディスプレイシステム。
(項目111)
上記深度センサは、LIDAR深度センサである、項目107に記載のARディスプレイシステム。
(項目112)
上記深度センサは、変調放出深度センサである、項目107に記載のARディスプレイシステム。
(項目113)
上記深度センサは、第1の視野(FOV)を有する深度カメラを備える、項目105に記載のARディスプレイシステム。
(項目114)
世界捕捉カメラをさらに備え、
上記世界捕捉カメラは、少なくとも部分的に、上記第1のFOVと重複する第2のFOVを有する、項目113に記載のARディスプレイシステム。
(項目115)
写真カメラをさらに備え、
上記写真カメラは、少なくとも部分的に、上記第1のFOVおよび上記第2のFOVと重複する第3のFOVを有する、項目114に記載のARディスプレイシステム。
(項目116)
上記深度カメラ、上記世界捕捉カメラ、および上記写真カメラは、個別の異なる第1、第2、および第3の分解能を有する、項目115に記載のARディスプレイシステム。
(項目117)
上記深度カメラの第1の分解能は、サブVGAであり、上記世界捕捉カメラの第2の分解能は、720pであり、上記写真カメラの第3の分解能は、2メガピクセルである、項目116に記載のARディスプレイシステム。
(項目118)
上記深度カメラ、上記世界捕捉カメラ、および上記写真カメラは、個別の第1、第2、および第3の画像を捕捉するように構成される、項目115に記載のARディスプレイシステム。
(項目119)
上記コントローラは、上記第2および第3の画像をセグメント化するようにプログラムされる、項目118に記載のARディスプレイシステム。
(項目120)
上記コントローラは、上記第2および第3の画像をセグメント化した後、上記第2および第3の画像を融合し、融合された画像を生成するようにプログラムされる、項目119に記載のARディスプレイシステム。
(項目121)
上記既知の座標系内の距離を測定することは、
上記深度カメラからの第1の画像を分析することによって、仮説的距離を生成することと、
上記仮説的距離および上記融合された画像を分析することによって、上記距離を生成することと、
を含む、項目120に記載のARディスプレイシステム。
(項目122)
上記深度カメラ、上記世界捕捉カメラ、および上記写真カメラは、単一統合センサを形成する、項目115に記載のARディスプレイシステム。
(項目123)
付加的情報を提供する付加的位置特定リソースをさらに備え、上記コントローラは、少なくとも部分的に、上記電磁センサによって測定された磁束、上記深度センサによって測定された距離、および上記付加的位置特定リソースによって提供される付加的情報に関連するパラメータに基づいて、上記ハンドヘルドコンポーネントの手の姿勢を判定する、項目105に記載のARディスプレイシステム。
(項目124)
上記付加的位置特定リソースは、WiFi送受信機を備える、項目123に記載のARディスプレイシステム。
(項目125)
上記付加的位置特定リソースは、付加的電磁エミッタを備える、項目123に記載のARディスプレイシステム。
(項目126)
上記付加的位置特定リソースは、付加的電磁センサを備える、項目123に記載のARディスプレイシステム。
(項目127)
上記付加的位置特定リソースは、ビーコンを備える、項目123に記載のARディスプレイシステム。
(項目128)
上記ビーコンは、放射を放出する、項目127に記載のARディスプレイシステム。
(項目129)
上記放射は、赤外線放射であり、上記ビーコンは、赤外線LEDを備える、項目128に記載のARディスプレイシステム。
(項目130)
上記付加的位置特定リソースは、反射体を備える、項目123に記載のARディスプレイシステム。
(項目131)
上記反射体は、放射を反射する、項目130に記載のARディスプレイシステム。
(項目132)
上記付加的位置特定リソースは、セルラーネットワーク送受信機を備える、項目123に記載のARディスプレイシステム。
(項目133)
上記付加的位置特定リソースは、RADARエミッタを備える、項目123に記載のARディスプレイシステム。
(項目134)
上記付加的位置特定リソースは、RADAR検出器を備える、項目123に記載のARディスプレイシステム。
(項目135)
上記付加的位置特定リソースは、LIDARエミッタを備える、項目123に記載のARディスプレイシステム。
(項目136)
上記付加的位置特定リソースは、LIDAR検出器を備える、項目123に記載のARディスプレイシステム。
(項目137)
上記付加的位置特定リソースは、GPS送受信機を備える、項目123に記載のARディスプレイシステム。
(項目138)
上記付加的位置特定リソースは、既知の検出可能パターンを有するポスタを備える、項目123に記載のARディスプレイシステム。
(項目139)
上記付加的位置特定リソースは、既知の検出可能パターンを有するマーカを備える、項目123に記載のARディスプレイシステム。
(項目140)
上記付加的位置特定リソースは、慣性測定ユニットを備える、項目123に記載のARディスプレイシステム。
(項目141)
上記付加的位置特定リソースは、歪みゲージを備える、項目123に記載のARディスプレイシステム。
(項目142)
上記ハンドヘルドコンポーネントは、トーテムである、項目105に記載のARディスプレイシステム。
(項目143)
上記手の姿勢は、上記既知の座標系内の上記ハンドヘルドコンポーネントの位置および配向を備える、項目105に記載のARディスプレイシステム。
Additional and other objects, features, and advantages of the invention are described in embodiments, figures, and claims for carrying out the invention.
(Item 1)
Augmented reality (AR) display system
An electromagnetic field emitter that emits a known magnetic field in a known coordinate system,
The electromagnetic sensor is an electromagnetic sensor that measures parameters related to magnetic flux in the electromagnetic sensor generated from the known magnetic field.
With a depth sensor that measures distances within the known coordinate system,
A controller, the controller, at least in part, with respect to an electromagnetic field emitter in the known coordinate system, based on parameters related to the magnetic flux measured by the electromagnetic sensor and the distance measured by the depth sensor. A controller that determines the attitude information of the electromagnetic sensor,
A display system, wherein the display system displays virtual content to the user, at least in part, based on the attitude information of the electromagnetic sensor with respect to the electromagnetic field emitter.
The AR display system.
(Item 2)
The AR display system according to item 1, wherein the depth sensor is a passive stereo depth sensor.
(Item 3)
The AR display system according to item 1, wherein the depth sensor is an active depth sensor.
(Item 4)
The AR display system according to item 3, wherein the depth sensor is a texture projection stereo depth sensor.
(Item 5)
The AR display system according to item 3, wherein the depth sensor is a structured light projection stereo depth sensor.
(Item 6)
The AR display system according to item 3, wherein the depth sensor is a flight time depth sensor.
(Item 7)
The AR display system according to item 3, wherein the depth sensor is a lidar depth sensor.
(Item 8)
The AR display system according to item 3, wherein the depth sensor is a modulated emission depth sensor.
(Item 9)
The AR display system according to item 1, wherein the depth sensor comprises a depth camera having a first field of view (FOV).
(Item 10)
With more world capture cameras
9. The AR display system of item 9, wherein the world capture camera has, at least in part, a second FOV that overlaps the first FOV.
(Item 11)
With more photo cameras
The AR display system according to item 10, wherein the photographic camera has, at least in part, a first FOV and a third FOV that overlaps the second FOV.
(Item 12)
11. The AR display system of item 11, wherein the depth camera, the world capture camera, and the photographic camera have different first, second, and third resolutions.
(Item 13)
Item 12. The first resolution of the depth camera is sub VGA, the second resolution of the world capture camera is 720p, and the third resolution of the photographic camera is 2 megapixels. AR display system.
(Item 14)
11. The AR display system of item 11, wherein the depth camera, the world capture camera, and the photographic camera are configured to capture individual first, second, and third images.
(Item 15)
The AR display system according to item 14, wherein the controller is programmed to segment the second and third images.
(Item 16)
The AR display according to item 15, wherein the controller is programmed to segment the second and third images and then fuse the second and third images to generate the fused images. system.
(Item 17)
Measuring distances within the known coordinate system described above is not possible.
By analyzing the first image from the depth camera, we generate a hypothetical distance and
By analyzing the hypothetical distance and the fused image, the distance can be generated.
16. The AR display system according to item 16.
(Item 18)
11. The AR display system of item 11, wherein the depth camera, the world capture camera, and the photographic camera form a single integrated sensor.
(Item 19)
The attitude information of the electromagnetic sensor with respect to the electromagnetic field emitter in the known coordinate system is, at least in part, the magnetic flux measured by the electromagnetic sensor, the depth sensor, further comprising additional locating resources that provide additional information. The AR display system according to item 1, wherein the AR display system is determined based on the distance measured by the above and the parameters related to the additional information provided by the additional locating resource.
(Item 20)
The AR display system according to item 19, wherein the additional location specifying resource includes a WiFi transceiver.
(Item 21)
The AR display system according to item 19, wherein the additional locating resource comprises an additional electromagnetic emitter.
(Item 22)
The AR display system according to item 19, wherein the additional locating resource comprises an additional electromagnetic sensor.
(Item 23)
The AR display system according to item 19, wherein the additional locating resource comprises a beacon.
(Item 24)
23. The AR display system according to item 23, wherein the beacon emits radiation.
(Item 25)
The AR display system according to item 24, wherein the radiation is infrared radiation and the beacon comprises an infrared LED.
(Item 26)
The AR display system according to item 19, wherein the additional locating resource comprises a reflector.
(Item 27)
26. The AR display system according to item 26, wherein the reflector reflects radiation.
(Item 28)
The AR display system according to item 19, wherein the additional locating resource includes a cellular network transceiver.
(Item 29)
The AR display system according to item 19, wherein the additional locating resource comprises a RADAR emitter.
(Item 30)
The AR display system according to item 19, wherein the additional locating resource includes a RADAR detector.
(Item 31)
The AR display system according to item 19, wherein the additional locating resource comprises a lidar emitter.
(Item 32)
The AR display system according to item 19, wherein the additional locating resource comprises a lidar detector.
(Item 33)
The AR display system according to item 19, wherein the additional location-specific resource includes a GPS transceiver.
(Item 34)
19. The AR display system of item 19, wherein the additional locating resource comprises a poster with a known detectable pattern.
(Item 35)
19. The AR display system of item 19, wherein the additional locating resource comprises a marker having a known detectable pattern.
(Item 36)
The AR display system according to item 19, wherein the additional locating resource comprises an inertial measurement unit.
(Item 37)
The AR display system according to item 19, wherein the additional locating resource comprises a strain gauge.
(Item 38)
The AR display system according to item 1, wherein the electromagnetic field emitter is coupled to a mobile component of the AR display system.
(Item 39)
The AR display system according to item 38, wherein the mobile component is a handheld component.
(Item 40)
The AR display system according to item 39, wherein the mobile component is a totem.
(Item 41)
The AR display system according to item 38, wherein the mobile component is a head-mounted component that stores the display system.
(Item 42)
The AR display system according to item 38, wherein the mobile component is a body-mounted component.
(Item 43)
The AR display system according to item 42, wherein the body-mounted component is a belt pack.
(Item 44)
The AR display system of item 1, wherein the electromagnetic field emitter is coupled to an object in the known coordinate system such that the electromagnetic field emitter has a known position and a known orientation.
(Item 45)
The AR display system according to item 44, wherein the electromagnetic sensor is coupled to a mobile component of the AR display system.
(Item 46)
The AR display system according to item 45, wherein the mobile component is a handheld component.
(Item 47)
The AR display system according to item 46, wherein the mobile component is a totem.
(Item 48)
The AR display system according to item 45, wherein the mobile component is a head-mounted component that stores the display system.
(Item 49)
The AR display system according to item 45, wherein the mobile component is a body-mounted component.
(Item 50)
The AR display system according to item 49, wherein the body-mounted component is a belt pack.
(Item 51)
The AR display system according to item 1, wherein the attitude information comprises the position and orientation of the electromagnetic sensor with respect to the electromagnetic field emitter in the known coordinate system.
(Item 52)
The AR display system according to item 1, wherein the controller analyzes the attitude information and determines the position and orientation of the electromagnetic sensor in the known coordinate system.
(Item 53)
It is a method for displaying augmented reality, and the above method is
With the step of using an electromagnetic field emitter to emit a known magnetic field within a known coordinate system,
Using an electromagnetic sensor, the steps of measuring the parameters related to the magnetic flux of the electromagnetic sensor resulting from the known magnetic field, and
Using a depth sensor to measure the distance in the known coordinate system above,
Of the electromagnetic sensor to the electromagnetic field emitter in the known coordinate system, at least in part, based on the parameters related to the magnetic flux measured using the electromagnetic sensor and the distance measured using the depth sensor. Steps to determine posture information and
At least in part, a step of displaying virtual content to the user based on the attitude information of the electromagnetic sensor with respect to the electromagnetic field emitter.
Including, how.
(Item 54)
The method according to item 53, wherein the depth sensor is a passive stereo depth sensor.
(Item 55)
The method according to item 53, wherein the depth sensor is an active depth sensor.
(Item 56)
The method according to item 55, wherein the depth sensor is a texture projection stereo depth sensor.
(Item 57)
55. The method of item 55, wherein the depth sensor is a structured light projection stereo depth sensor.
(Item 58)
The method according to item 55, wherein the depth sensor is a flight time depth sensor.
(Item 59)
The method according to item 55, wherein the depth sensor is a lidar depth sensor.
(Item 60)
55. The method of item 55, wherein the depth sensor is a modulated emission depth sensor.
(Item 61)
53. The method of item 53, wherein the depth sensor comprises a depth camera having a first field of view (FOV).
(Item 62)
The depth sensor also has a world capture camera,
61. The method of item 61, wherein the world capture camera has, at least in part, a second FOV that overlaps the first FOV.
(Item 63)
The depth sensor is also equipped with a photo camera,
62. The method of item 62, wherein the photographic camera has, at least in part, a first FOV and a third FOV that overlaps the second FOV.
(Item 64)
63. The method of item 63, wherein the depth camera, the world capture camera, and the photographic camera have different first, second, and third resolutions.
(Item 65)
Item 64, wherein the first resolution of the depth camera is sub VGA, the second resolution of the world capture camera is 720p, and the third resolution of the photographic camera is 2 megapixels. the method of.
(Item 66)
63. The method of item 63, further comprising capturing first, second, and third images using individual depth cameras, world capture cameras, and photographic cameras.
(Item 67)
66. The method of item 66, further comprising segmenting the second and third images.
(Item 68)
67. The method of item 67, further comprising segmenting the second and third images and then fusing the second and third images to generate a fused image.
(Item 69)
The step of measuring the distance in the known coordinate system is
The step of generating a hypothetical distance by analyzing the first image from the depth camera,
The steps to generate the distance by analyzing the hypothetical distance and the fused image,
68. The method of item 68.
(Item 70)
63. The method of item 63, wherein the depth camera, the world capture camera, and the photographic camera form a single integrated sensor.
(Item 71)
At least in part, based on the magnetic flux measured using the electromagnetic sensor, the distance measured using the depth sensor, and the parameters related to the additional information provided by the additional locating resource. 53. The method of item 53, further comprising determining the attitude information of the electromagnetic sensor with respect to the electromagnetic field emitter in the known coordinate system.
(Item 72)
The method according to item 71, wherein the additional location specifying resource includes a WiFi transceiver.
(Item 73)
The method of item 71, wherein the additional locating resource comprises an additional electromagnetic emitter.
(Item 74)
The method of item 71, wherein the additional locating resource comprises an additional electromagnetic sensor.
(Item 75)
The method of item 71, wherein the additional location-identifying resource comprises a beacon.
(Item 76)
The method of item 75, further comprising the step of emitting radiation from the beacon.
(Item 77)
The method of item 76, wherein the radiation is infrared radiation and the beacon comprises an infrared LED.
(Item 78)
The method of item 71, wherein the additional locating resource comprises a reflector.
(Item 79)
78. The method of item 78, further comprising the step of reflecting radiation by the reflector.
(Item 80)
The method according to item 71, wherein the additional location-specific resource comprises a cellular network transceiver.
(Item 81)
The method of item 71, wherein the additional locating resource comprises a RADAR emitter.
(Item 82)
The method of item 71, wherein the additional locating resource comprises a RADAR detector.
(Item 83)
The method of item 71, wherein the additional locating resource comprises a lidar emitter.
(Item 84)
The method of item 71, wherein the additional location-identifying resource comprises a lidar detector.
(Item 85)
The method according to item 71, wherein the additional location specifying resource includes a GPS transceiver.
(Item 86)
The method of item 71, wherein the additional locating resource comprises a poster with a known detectable pattern.
(Item 87)
The method of item 71, wherein the additional locating resource comprises a marker with a known detectable pattern.
(Item 88)
The method of item 71, wherein the additional locating resource comprises an inertial measurement unit.
(Item 89)
The method of item 71, wherein the additional locating resource comprises a strain gauge.
(Item 90)
53. The method of item 53, wherein the electromagnetic field emitter is coupled to a mobile component of an AR display system.
(Item 91)
The method according to item 90, wherein the mobile component is a handheld component.
(Item 92)
The method according to item 91, wherein the mobile component is a totem.
(Item 93)
90. The method of item 90, wherein the mobile component is a head-mounted component that houses a display system.
(Item 94)
The method according to item 90, wherein the mobile component is a body-mounted component.
(Item 95)
The method of item 94, wherein the fuselage-mounted component is a belt pack.
(Item 96)
53. The method of item 53, wherein the electromagnetic field emitter is coupled to an object in the known coordinate system such that the electromagnetic field emitter has a known position and a known orientation.
(Item 97)
The method of item 96, wherein the electromagnetic sensor is coupled to a mobile component of an AR display system.
(Item 98)
The method according to item 97, wherein the mobile component is a handheld component.
(Item 99)
The method according to item 98, wherein the mobile component is a totem.
(Item 100)
The method according to item 97, wherein the mobile component is a head-mounted component that houses a display system.
(Item 101)
The method according to item 97, wherein the mobile component is a fuselage-mounted component.
(Item 102)
The method according to item 101, wherein the body-mounted component is a belt pack.
(Item 103)
53. The method of item 53, wherein the attitude information comprises a position and orientation of the electromagnetic sensor with respect to an electromagnetic field emitter in the known coordinate system.
(Item 104)
53. The method of item 53, further comprising a step of analyzing the attitude information to determine the position and orientation of the electromagnetic sensor in the known coordinate system.
(Item 105)
Augmented reality display system
A handheld component coupled to an electromagnetic field emitter, wherein the electromagnetic field emitter is a handheld component that emits a magnetic field.
A head-mounted component having a display system that displays virtual content to the user, the head-mounted component being coupled to and known as an electromagnetic sensor that measures parameters related to magnetic flux in the electromagnetic sensor generated from the magnetic field. The head orientation of the head-mounted component in the coordinate system of is known for the head-mounted component and
With a depth sensor that measures distances within the known coordinate system,
A controller communicably coupled to the handheld component, the head-mounted component, and the depth sensor, the controller receiving parameters related to magnetic flux in the electromagnetic sensor from the head-mounted component. , The controller, which receives the distance from the depth sensor,
The controller determines, at least in part, the hand posture of the handheld component based on the magnetic flux measured by the electromagnetic sensor and the distance-related parameters measured by the depth sensor.
The system modifies the virtual content displayed to the user, at least in part, based on the posture of the hand.
Augmented reality display system.
(Item 106)
The AR display system according to item 105, wherein the depth sensor is a passive stereo depth sensor.
(Item 107)
The AR display system according to item 105, wherein the depth sensor is an active depth sensor.
(Item 108)
The AR display system according to item 107, wherein the depth sensor is a texture projection stereo depth sensor.
(Item 109)
The AR display system according to item 107, wherein the depth sensor is a structured light projection stereo depth sensor.
(Item 110)
The AR display system according to item 107, wherein the depth sensor is a flight time depth sensor.
(Item 111)
The AR display system according to item 107, wherein the depth sensor is a lidar depth sensor.
(Item 112)
The AR display system according to item 107, wherein the depth sensor is a modulated emission depth sensor.
(Item 113)
The AR display system according to item 105, wherein the depth sensor comprises a depth camera having a first field of view (FOV).
(Item 114)
With more world capture cameras
The AR display system of item 113, wherein the world capture camera has, at least in part, a second FOV that overlaps the first FOV.
(Item 115)
With more photo cameras
The AR display system of item 114, wherein the photographic camera has, at least in part, a first FOV and a third FOV that overlaps the second FOV.
(Item 116)
11. The AR display system of item 115, wherein the depth camera, the world capture camera, and the photographic camera have different first, second, and third resolutions.
(Item 117)
Item 116, wherein the first resolution of the depth camera is sub VGA, the second resolution of the world capture camera is 720p, and the third resolution of the photographic camera is 2 megapixels. AR display system.
(Item 118)
11. The AR display system of item 115, wherein the depth camera, the world capture camera, and the photographic camera are configured to capture individual first, second, and third images.
(Item 119)
The AR display system of item 118, wherein the controller is programmed to segment the second and third images.
(Item 120)
119. The AR display of item 119, wherein the controller is programmed to segment the second and third images and then fuse the second and third images to produce the fused images. system.
(Item 121)
Measuring distances within the known coordinate system described above is not possible.
By analyzing the first image from the depth camera, we generate a hypothetical distance and
By analyzing the hypothetical distance and the fused image, the distance can be generated.
120. The AR display system according to item 120.
(Item 122)
11. The AR display system of item 115, wherein the depth camera, the world capture camera, and the photographic camera form a single integrated sensor.
(Item 123)
Further comprising additional locating resources to provide additional information, the controller may at least partially by means of the magnetic flux measured by the electromagnetic sensor, the distance measured by the depth sensor, and the additional locating resource. 10. The AR display system of item 105, which determines the hand posture of the handheld component based on parameters associated with the additional information provided.
(Item 124)
The AR display system according to item 123, wherein the additional location specifying resource includes a WiFi transceiver.
(Item 125)
The AR display system of item 123, wherein the additional locating resource comprises an additional electromagnetic emitter.
(Item 126)
The AR display system according to item 123, wherein the additional locating resource comprises an additional electromagnetic sensor.
(Item 127)
The AR display system according to item 123, wherein the additional locating resource comprises a beacon.
(Item 128)
The AR display system according to item 127, wherein the beacon emits radiation.
(Item 129)
The AR display system according to item 128, wherein the radiation is infrared radiation and the beacon comprises an infrared LED.
(Item 130)
The AR display system according to item 123, wherein the additional locating resource comprises a reflector.
(Item 131)
The AR display system according to item 130, wherein the reflector reflects radiation.
(Item 132)
The AR display system according to item 123, wherein the additional locating resource comprises a cellular network transceiver.
(Item 133)
The AR display system according to item 123, wherein the additional locating resource comprises a RADAR emitter.
(Item 134)
The AR display system according to item 123, wherein the additional locating resource comprises a RADAR detector.
(Item 135)
The AR display system according to item 123, wherein the additional locating resource comprises a lidar emitter.
(Item 136)
The AR display system according to item 123, wherein the additional locating resource comprises a lidar detector.
(Item 137)
The AR display system according to item 123, wherein the additional location specifying resource includes a GPS transceiver.
(Item 138)
23. The AR display system of item 123, wherein the additional locating resource comprises a poster with a known detectable pattern.
(Item 139)
23. The AR display system of item 123, wherein the additional locating resource comprises a marker with a known detectable pattern.
(Item 140)
The AR display system according to item 123, wherein the additional locating resource comprises an inertial measurement unit.
(Item 141)
The AR display system of item 123, wherein the additional locating resource comprises a strain gauge.
(Item 142)
The AR display system according to item 105, wherein the handheld component is a totem.
(Item 143)
The AR display system of item 105, wherein the hand posture comprises the position and orientation of the handheld component within the known coordinate system.

図面は、本発明の種々の実施形態の設計および利用を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して同一参照番号によって表されることに留意されたい。本発明の種々の実施形態の前述および他の利点および目的を得る方法をより深く理解するために、上記に簡潔に説明された本発明のより詳細な説明が、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的な実施形態のみを描写しており、したがって、その範囲の限定と見なされるものではないことを理解した上で、本発明が、付随の図面の使用を通して付加的具体性および詳細とともに記載され、説明されるであろう。 The drawings illustrate the design and use of various embodiments of the invention. Note that the figure is not drawn to exact scale and elements of similar structure or function are represented by the same reference number throughout the figure. A more detailed description of the invention, briefly described above, is illustrated in the accompanying drawings in order to gain a deeper understanding of the aforementioned and other advantages and objectives of the various embodiments of the invention. It will be given by reference to specific embodiments. It is understood that these drawings depict only typical embodiments of the invention and are therefore not considered to be a limitation of their scope, and the invention is added through the use of the accompanying drawings. It will be described and explained with specificity and details.

図1は、一実施形態による、ARシステムのユーザに表示されるAR場面の平面図を図示する。FIG. 1 illustrates a plan view of an AR scene displayed to a user of an AR system according to an embodiment. 図2A−2Dは、ウェアラブルARデバイスの種々の実施形態を図示する。2A-2D illustrates various embodiments of the wearable AR device. 図2A−2Dは、ウェアラブルARデバイスの種々の実施形態を図示する。2A-2D illustrates various embodiments of the wearable AR device. 図2A−2Dは、ウェアラブルARデバイスの種々の実施形態を図示する。FIG. 2A-2D illustrates various embodiments of the wearable AR device. 図2A−2Dは、ウェアラブルARデバイスの種々の実施形態を図示する。2A-2D illustrates various embodiments of the wearable AR device. 図3は、ARシステムの1つまたはそれを上回るクラウドサーバと相互作用するウェアラブルARデバイスの例示的実施形態を図示する。FIG. 3 illustrates an exemplary embodiment of a wearable AR device that interacts with one or more cloud servers in an AR system. 図4は、電磁追跡システムの例示的実施形態を図示する。FIG. 4 illustrates an exemplary embodiment of an electromagnetic tracking system. 図5は、一例示的実施形態による、センサの位置および配向を判定する例示的方法を図示する。FIG. 5 illustrates an exemplary method for determining the position and orientation of a sensor according to an exemplary embodiment. 図6は、電磁追跡システムを有する、ARシステムの例示的実施形態を図示する。FIG. 6 illustrates an exemplary embodiment of an AR system with an electromagnetic tracking system. 図7は、検出された頭部の姿勢に基づいて仮想コンテンツをユーザに配信する、例示的方法を図示する。FIG. 7 illustrates an exemplary method of delivering virtual content to a user based on the detected head posture. 図8は、電磁送信機および電磁センサを有する一実施形態による、ARシステムの種々のコンポーネントの概略図を図示する。FIG. 8 illustrates a schematic diagram of various components of an AR system according to an embodiment having an electromagnetic transmitter and an electromagnetic sensor. 図9A−9Fは、制御および急速解放モジュールの種々の実施形態を図示する。9A-9F illustrate various embodiments of the control and rapid release module. 図9A−9Fは、制御および急速解放モジュールの種々の実施形態を図示する。9A-9F illustrate various embodiments of the control and rapid release module. 図9A−9Fは、制御および急速解放モジュールの種々の実施形態を図示する。9A-9F illustrate various embodiments of the control and rapid release module. 図9A−9Fは、制御および急速解放モジュールの種々の実施形態を図示する。9A-9F illustrate various embodiments of the control and rapid release module. 図9A−9Fは、制御および急速解放モジュールの種々の実施形態を図示する。9A-9F illustrate various embodiments of the control and rapid release module. 図9A−9Fは、制御および急速解放モジュールの種々の実施形態を図示する。9A-9F illustrate various embodiments of the control and rapid release module. 図10は、ウェアラブルARデバイスの1つの簡略化された実施形態を図示する。FIG. 10 illustrates one simplified embodiment of a wearable AR device. 図11Aおよび11Bは、頭部搭載型ARシステム上への電磁センサの設置の種々の実施形態を図示する。11A and 11B illustrate various embodiments of the installation of electromagnetic sensors on a head-mounted AR system. 図11Aおよび11Bは、頭部搭載型ARシステム上への電磁センサの設置の種々の実施形態を図示する。11A and 11B illustrate various embodiments of the installation of electromagnetic sensors on a head-mounted AR system. 図12A−12Eは、電磁センサに結合されるべきフェライト立方体の種々の実施形態を図示する。12A-12E illustrate various embodiments of a ferrite cube to be coupled to an electromagnetic sensor. 図13A−13Cは、電磁センサのためのデータプロセッサの種々の実施形態を図示する。13A-13C illustrate various embodiments of a data processor for an electromagnetic sensor. 図13A−13Cは、電磁センサのためのデータプロセッサの種々の実施形態を図示する。13A-13C illustrate various embodiments of a data processor for an electromagnetic sensor. 図13A−13Cは、電磁センサのためのデータプロセッサの種々の実施形態を図示する。13A-13C illustrate various embodiments of a data processor for an electromagnetic sensor. 図14は、電磁追跡システムを使用して頭部および手の姿勢を検出する、例示的方法を図示する。FIG. 14 illustrates an exemplary method of detecting head and hand postures using an electromagnetic tracking system. 図15は、電磁追跡システムを使用して頭部および手の姿勢を検出する、別の例示的方法を図示する。FIG. 15 illustrates another exemplary method of detecting head and hand postures using an electromagnetic tracking system. 図16Aは、深度センサ、電磁送信機、および電磁センサを有する、別の実施形態による、ARシステムの種々のコンポーネントの概略図を図示する。FIG. 16A illustrates a schematic representation of various components of an AR system according to another embodiment, having a depth sensor, an electromagnetic transmitter, and an electromagnetic sensor. 図16Bは、深度センサ、電磁送信機、および電磁センサを有する、さらに別の実施形態による、ARシステムの種々のコンポーネントおよび種々の視野の概略図を図示する。FIG. 16B illustrates schematics of different components and different fields of view of an AR system according to yet another embodiment having a depth sensor, an electromagnetic transmitter, and an electromagnetic sensor.

図2A−2Dを参照すると、いくつかの一般的なコンポーネントオプションが図示されている。図2A−2Dの議論に従う、詳細な説明の部分では、種々のシステム、サブシステム、およびコンポーネントが、ヒトVRおよび/またはARのための高品質かつ快適に知覚されるディスプレイシステムを提供する目的に対処するために提示される。 Referring to FIG. 2A-2D, some common component options are illustrated. Following the discussion of FIG. 2A-2D, in the detailed description section, the various systems, subsystems, and components are intended to provide a high quality and comfortably perceived display system for human VR and / or AR. Presented to deal with.

図2Aに示されるように、ARシステムユーザ(60)は、ユーザの眼の正面に位置付けられるディスプレイシステム(62)に結合されるフレーム(64)構造を特徴とする、頭部搭載型コンポーネント(58)を装着するように描写される。スピーカ(66)が、描写される構成においてフレーム(64)に結合され、ユーザの外耳道に隣接して位置付けられる(一実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、立体/成形可能音制御を提供する)。ディスプレイ(62)は、有線導線または無線コネクティビティ等によって、ローカル処理およびデータモジュール(70)に動作可能に結合(68)されてもよく、これは、フレーム(64)に固定して取り付けられる、図2Bの実施形態に示されるようにヘルメットまたは帽子(80)に固定して取り付けられる、ヘッドホン内に埋め込まれた、図2Cの実施形態に示されるようにバックパック式構成においてユーザ(60)の胴体(82)に除去可能に取り付けられる、または図2Dの実施形態に示されるようにベルト結合式構成においてユーザ(60)の臀部(84)に除去可能に取り付けられる等、種々の構成において搭載されてもよい。 As shown in FIG. 2A, the AR system user (60) is a head-mounted component (58) characterized by a frame (64) structure coupled to a display system (62) located in front of the user's eyes. ) Is depicted as wearing. A speaker (66) is coupled to a frame (64) in the configured configuration and is positioned adjacent to the user's ear canal (in one embodiment, another speaker, not shown, is adjacent to the user's other ear canal. Positioned and provides solid / formable sound control). The display (62) may be operably coupled (68) to local processing and data modules (70), such as by wired leads or wireless connectivity, which is fixedly attached to the frame (64). The fuselage of the user (60) in a backpack-type configuration as shown in the embodiment of FIG. 2C, embedded in headphones, fixedly attached to a helmet or hat (80) as shown in the embodiment of 2B. It is mounted in a variety of configurations, such as removable attachment to (82) or removable attachment to the torso (84) of the user (60) in a belt-coupled configuration as shown in the embodiment of FIG. 2D. May be good.

ローカル処理およびデータモジュール(70)は、電力効率の良いプロセッサまたはコントローラならびにフラッシュメモリ等のデジタルメモリを備えてもよく、両方とも、データの処理、キャッシュ、および記憶を補助するために利用されてもよく、そのようなデータは、a)画像捕捉デバイス(カメラ等)、マイクロホン、慣性測定ユニット、加速度計、コンパス、GPSユニット、無線デバイス、および/またはジャイロ等、フレーム(64)に動作可能に結合され得る、センサから捕捉される、および/または、b)可能性として、そのような処理または読み出し後、ディスプレイ(62)への通過のために、遠隔処理モジュール(72)および/または遠隔データリポジトリ(74)を使用して、取得および/または処理され得る。ローカル処理およびデータモジュール(70)は、遠隔モジュール(72、74)が、相互に動作可能に結合され、ローカル処理およびデータモジュール(70)へのリソースとして利用可能であるように、有線または無線通信リンク等を介して、これらの遠隔処理モジュール(72)および遠隔データリポジトリ(74)に動作可能に結合(76、78)されてもよい。 The local processing and data module (70) may include a power efficient processor or controller as well as digital memory such as flash memory, both of which may be utilized to assist in data processing, caching, and storage. Well, such data is operably coupled to a frame (64), such as a) an image capture device (such as a camera), a microphone, an inertial measurement unit, an accelerometer, a compass, a GPS unit, a wireless device, and / or a gyro. Possible, captured from the sensor, and / or b) possibly after such processing or reading, for passage to the display (62), the remote processing module (72) and / or the remote data repository. (74) may be used to be acquired and / or processed. The local processing and data module (70) is wired or wireless so that the remote modules (72, 74) are operably coupled and available as resources to the local processing and data module (70). They may be operably coupled (76,78) to these remote processing modules (72) and remote data repositories (74) via links and the like.

一実施形態では、遠隔処理モジュール72は、データおよび/または画像情報を分析および処理するように構成される、1つまたはそれを上回る比較的に高い性能のプロセッサまたはコントローラを備えてもよい。一実施形態では、遠隔データリポジトリ(74)は、比較的に大規模なデジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成内の他のネットワーキング構成を通して利用可能であってもよい。一実施形態では、全てのデータは、記憶されてもよく、全ての計算は、ローカル処理およびデータモジュール内で行われ、任意の遠隔モジュールから完全に自律的な使用を可能にしてもよい。 In one embodiment, the remote processing module 72 may include one or more relatively high performance processors or controllers configured to analyze and process data and / or image information. In one embodiment, the remote data repository (74) may be equipped with relatively large digital data storage equipment, which may be available through the Internet or other networking configurations within a "cloud" resource configuration. You may. In one embodiment, all data may be stored and all calculations may be performed locally and within the data module, allowing for fully autonomous use from any remote module.

ここで図3を参照すると、概略図は、クラウドコンピューティングアセット(46)とローカル処理アセットとの間の協調を図示し、そのようなローカル処理アセットは、例えば、ユーザの頭部(120)に結合される頭部搭載型コンポーネント(58)およびユーザのベルト(308)に結合されるローカル処理およびデータモジュール(70)内に常駐し得る。したがって、コンポーネント70はまた、図3に示されるように、「ベルトパック」70とも称され得る。一実施形態では、1つまたはそれを上回るサーバシステム(110)等のクラウド(46)アセットは、有線または無線ネットワーキング等を介して、(無線は、可動性のために好ましく、有線は、所望され得る特定の高帯域幅または高データ量転送のために好ましい)、直接、前述のように、ユーザの頭部(120)およびベルト(308)に結合されるプロセッサおよびメモリ構成等のローカルコンピューティングアセットの一方または両方(40、42)に動作可能に結合(115)される。ユーザにローカルのこれらのコンピューティングアセットは同様に、図8を参照して以下に議論される有線結合(68)等、有線および/または無線コネクティビティ構成(44)を介して、相互に動作可能に結合されてもよい。一実施形態では、ユーザの頭部(120)に搭載される低慣性および小型サブシステムを維持するために、ユーザとクラウド(46)との間の一次転送は、ベルト(308)に搭載されるサブシステムとクラウドとの間のリンクを介してもよく、頭部搭載型サブシステム(120)は、主に、例えば、パーソナルコンピューティング周辺コネクティビティ用途において現在採用されているような超広帯域(「UWB」)コネクティビティ等の無線コネクティビティを使用して、ベルトベースのサブシステム(308)にデータテザリングされる。 Referring here to FIG. 3, the schematic illustrates the coordination between the cloud computing asset (46) and the local processing asset, such as the local processing asset, eg, on the user's head (120). It may reside within a local processing and data module (70) coupled to a head-mounted component (58) to be coupled and a user's belt (308). Therefore, the component 70 may also be referred to as the "belt pack" 70, as shown in FIG. In one embodiment, cloud (46) assets such as one or more server systems (110) are via wired or wireless networking, etc. (wireless is preferred for mobility, wired is desired. Local computing assets such as processors and memory configurations that are directly coupled to the user's head (120) and belt (308), as described above), preferably for certain high bandwidth or high data volume transfers). It is operably coupled (115) to one or both (40, 42). These computing assets local to the user can also work with each other via a wired and / or wireless connectivity configuration (44), such as the wired coupling (68) discussed below with reference to FIG. It may be combined. In one embodiment, the primary transfer between the user and the cloud (46) is mounted on the belt (308) in order to maintain a low inertia and small subsystem mounted on the user's head (120). A link between the subsystem and the cloud may be used, and the head-mounted subsystem (120) is mainly used as an ultra-wide band (“UWB), as currently adopted in personal computing peripheral connectivity applications, for example. It is data tethered to a belt-based subsystem (308) using wireless connectivity such as connectivity.

効率的なローカルおよび遠隔の処理の協調ならびに図2Aに示されるユーザインターフェースまたはユーザディスプレイシステム(62)またはその変形例等のユーザのための適切なディスプレイデバイスを用いることで、ユーザの現在の実際または仮想の場所に関する1つの世界の側面は、ユーザに転送または「パス(pass)」され、効率的方式で更新され得る。言い換えると、世界のマップが、ユーザのARシステム上に部分的に常駐し得、かつクラウドリソース内に部分的に常駐し得る記憶場所において、継続的に更新され得る。マップ(「パス可能世界モデル(passable world model)」とも称される)は、ラスタ画像、3−Dおよび2−D点、パラメータ情報、および実世界についての他の情報を備える、大型データベースであってもよい。多くのARユーザが、彼らの実環境についての情報を継続的に捕捉する(例えば、カメラ、センサ、IMU等を通して)ほど、マップはより正確かつ完全となる。 Efficient coordination of local and remote processing and the use of appropriate display devices for the user, such as the user interface or user display system (62) shown in FIG. 2A or a variant thereof, the user's current reality or One aspect of the world regarding virtual locations can be transferred or "passed" to the user and updated in an efficient manner. In other words, the map of the world may be continuously updated in a storage location that may be partially resident on the user's AR system and may be partially resident within the cloud resource. A map (also known as a "passable world model") is a large database containing raster images, 3-D and 2-D points, parameter information, and other information about the real world. May be. The more AR users continuously capture information about their real environment (eg, through cameras, sensors, IMUs, etc.), the more accurate and complete the map.

前述のような構成を用いることで、クラウドコンピューティングリソース上に常駐し、そこから配信されることができる、1つの世界モデルが存在し、そのような世界は、リアルタイムビデオデータまたは同等物を回送することを試みるために好ましい比較的に低い帯域幅の形態において、1人またはそれを上回るユーザに「パス可能」となり得る。像の近くに立っている人(すなわち、図1に示されるように)の拡張体験は、クラウドベースの世界モデルによって情報提供されてもよく、そのサブセットは、彼らおよび彼らのローカルディスプレイデバイスにパスされ、ビューを完成させてもよい。机上にあるパーソナルコンピュータと同程度に単純であり得る遠隔ディスプレイデバイスに向かって着座している人が、その情報の同一セクションをクラウドから効率的にダウンロードし、それを彼らのディスプレイ上にレンダリングさせることもできる。実際、実際に像の近くに居る公園内に存在する1人の人物は、遠隔に位置する友人と公園内を散歩してもよく、友人は、仮想および拡張現実を通して参加する。本システムは、通りの場所、木々の場所、像の場所を把握する必要があるであろうが、クラウド上のその情報を用いることで、参加する友人は、クラウドから、シナリオの側面をダウンロードし、次いで、実際に公園内に居る人物に対してローカルな拡張現実に沿って歩行を開始することができる。 By using the configuration as described above, there is one world model that can reside on and be delivered from cloud computing resources, such a world forwarding real-time video data or equivalents. It can be "passable" to one or more users in the form of relatively low bandwidth preferred to attempt to. The extended experience of people standing near the statue (ie, as shown in Figure 1) may be informed by a cloud-based world model, a subset of which passes to them and their local display device. And may complete the view. People sitting towards a remote display device that can be as simple as a personal computer on their desk can efficiently download the same section of that information from the cloud and render it on their display. You can also. In fact, one person who is actually in the park near the statue may take a walk in the park with a remote friend, who participates through virtual and augmented reality. The system will need to know the location of streets, trees, and statues, but by using that information in the cloud, participating friends can download aspects of the scenario from the cloud. Then you can start walking along the augmented reality that is local to the person who is actually in the park.

3−D点が、環境から捕捉されてもよく、それらの画像または点を捕捉するカメラの姿勢(すなわち、世界に対するベクトルおよび/または原位置情報)が、これらの点または画像が、本姿勢情報と「タグ付けされ」得るかまたは関連付けられ得るように、判定されてもよい。次いで、第2のカメラによって捕捉された点は、第2のカメラの姿勢を判定するために利用されてもよい。言い換えると、第1のカメラからのタグ付けされた画像との比較に基づいて、第2のカメラを配向および/または位置特定することができる。次いで、本知識は、テクスチャを抽出するため、マップを作成するため、および実世界の仮想コピーを作成するために利用されてもよい(その時点で、位置合わせされる2つのカメラが周囲に存在するため)。 Points 3-D may be captured from the environment, and the attitude of the camera capturing those images or points (ie, the vector and / or position information with respect to the world), these points or images are the present attitude information. May be determined so that it can be "tagged" or associated with. The points captured by the second camera may then be used to determine the attitude of the second camera. In other words, the second camera can be oriented and / or positioned based on a comparison with the tagged image from the first camera. This knowledge may then be used to extract textures, create maps, and create virtual copies of the real world (at that time, there are two cameras around to be aligned). To do).

したがって、基礎レベルでは、一実施形態では、人物装着型システムは、3−D点およびその点を生成した2−D画像の両方を捕捉するために利用されることができ、これらの点および画像は、クラウド記憶および処理リソースに送信されてもよい。それらはまた、内蔵姿勢情報とともにローカルにキャッシュされてもよい(すなわち、タグ付けされた画像をキャッシュする)。したがって、クラウドは、すぐ使える状態の(すなわち、利用可能なキャッシュ内において)タグ付けされた2−D画像(すなわち、3−D姿勢とタグ付けされた)を3−D点とともに有し得る。ユーザが、動的なものを観察している場合、ユーザはまた、クラウドに、運動に関する付加的情報を送信してもよい(例えば、別の人物の顔を見ている場合、ユーザは、顔のテクスチャマップを撮影し、周囲世界がその他の点では基本的に静的であっても、それを最適化された周波数でプッシュすることができる)。オブジェクト認識装置およびパス可能世界モデルに関するさらなる情報は、「System and method for augmented and virtual reality」と題された米国特許出願第14/205,126号(参照することによって本明細書にその全体として組み込まれる)とともに、Magic Leap, Inc.(Fort Lauderdale, Florida)によって開発されたもの等の拡張および仮想現実システムに関連する、米国特許出願第14/641,376号、米国特許出願第14/555,585号、米国特許出願第14/212,961号、米国特許出願第14/690,401号、米国特許出願第13/663,466号、および米国特許出願第13/684,489号の付加的開示に見出され得る。 Thus, at the basic level, in one embodiment, a person-mounted system can be utilized to capture both the 3-D point and the 2-D image that produced the point, and these points and images. May be sent to cloud storage and processing resources. They may also be cached locally with built-in attitude information (ie, cache tagged images). Thus, the cloud may have a ready-to-use (ie, in the available cache) a tagged 2-D image (ie, tagged with a 3-D pose) with a 3-D point. If the user is observing a dynamic object, the user may also send additional information about the exercise to the cloud (eg, if the user is looking at another person's face, the user may send the face. You can take a texture map of the face and push it at an optimized frequency, even if the surrounding world is otherwise essentially static). Further information on object recognition devices and passable worlds models is incorporated herein by reference in US Patent Application Nos. 14 / 205,126, entitled "System and method for augmented and virtual reality". With), Magic Leap, Inc. U.S. Patent Application No. 14 / 641,376, U.S. Patent Application No. 14 / 555,585, U.S. Patent Application No. 14 / related to extensions and virtual reality systems such as those developed by (Fort Laiddale, Florida). It can be found in the additional disclosures of 212,961, US Patent Application 14 / 690,401, US Patent Application 13 / 663,466, and US Patent Application 13 / 648,489.

「パス可能世界モデル」を生成するために使用され得る点を捕捉するために、世界に対するユーザの場所、姿勢、および配向を正確に把握することが有用である。より具体的には、ユーザの位置は、ユーザの頭部の姿勢ならびに手の姿勢(ユーザが、ハンドヘルドコンポーネントを握っている、ジェスチャを行っている等の場合)を把握することが重要であり得るため、ある程度の粒度まで位置特定されなければならない。1つまたはそれを上回る実施形態では、GPSおよび他の位置特定情報が、そのような処理のための入力として利用されてもよい。ユーザの頭部、トーテム、手のジェスチャ、触知デバイス等の非常に正確な位置特定が、適切な仮想コンテンツをユーザに表示するために、重要である。 It is useful to have an accurate grasp of the user's location, orientation, and orientation with respect to the world in order to capture the points that can be used to generate a "passable world model". More specifically, it may be important for the position of the user to grasp the posture of the user's head as well as the posture of the hand (when the user is holding the handheld component, performing a gesture, etc.). Therefore, it must be positioned to a certain degree of grain size. In one or more embodiments, GPS and other location information may be used as inputs for such processing. Very accurate positioning of the user's head, totems, hand gestures, tactile devices, etc. is important for displaying the appropriate virtual content to the user.

高精度位置特定を達成するための1つのアプローチは、ユーザのARヘッドセット、ベルトパック、および/または他の補助デバイス(例えば、トーテム、触知デバイス、ゲーム器具等)上に方略的に設置される、電磁センサと結合される電磁場の使用を伴い得る。電磁追跡システムは、典型的には、少なくとも、電磁場エミッタと、少なくとも1つの電磁場センサとを備える。センサは、既知の分布を伴う電磁場を測定してもよい。これらの測定に基づいて、エミッタに対する場センサの位置および配向が、判定される。 One approach to achieving high precision positioning is strategically installed on the user's AR headset, belt pack, and / or other auxiliary device (eg, totem, tactile device, gaming device, etc.). May involve the use of an electromagnetic field coupled with an electromagnetic sensor. The electromagnetic tracking system typically comprises at least an electromagnetic field emitter and at least one electromagnetic field sensor. The sensor may measure an electromagnetic field with a known distribution. Based on these measurements, the position and orientation of the field sensor with respect to the emitter is determined.

ここで図4を参照すると、電磁追跡システムの例示的システム図(例えば、Johnson & Johnson Corporationの子会社であるBiosense(登録商標)、Polhemus(登録商標),Inc.(Colchester, Vermont)等の組織によって開発されたもの、Sixense(登録商標)Entertainment, Inc.(Los Gatos, California)、および他の追跡装置製造企業によって製造されたもの等)が、図示される。1つまたはそれを上回る実施形態では、電磁追跡システムは、既知の磁場を放出するように構成される電磁場エミッタ402を備える。図4に示されるように、電磁場エミッタは、電力供給源(例えば、電流、バッテリ等)に結合され、電力を電磁場エミッタ402に提供してもよい。 Referring now to FIG. 4, an exemplary system diagram of an electromagnetic tracking system (eg, by an organization such as Biosense®, Polhemus®, Inc. (Colchester, Vermont), a subsidiary of Johnson & Johnson Corporation). Developed, Sixense® (Registered Trademark) Enterprise, Inc. (Los Gateos, California), and those manufactured by other tracking device manufacturers, etc.) are illustrated. In one or more embodiments, the electromagnetic tracking system comprises an electromagnetic field emitter 402 configured to emit a known magnetic field. As shown in FIG. 4, the electromagnetic field emitter may be coupled to a power source (eg, current, battery, etc.) to provide power to the electromagnetic field emitter 402.

1つまたはそれを上回る実施形態では、電磁場エミッタ402は、磁場を生成する、いくつかのコイル(例えば、相互に垂直に位置付けられ、場をx、y、およびz方向に生成する、少なくとも3つのコイル)を備える。本磁場は、座標空間を確立するために使用される。これは、システムが、既知の磁場と関連してセンサの位置をマップすることを可能にし、センサの位置および/または配向を判定することに役立つ。1つまたはそれを上回る実施形態では、電磁センサ404a、404b等が、1つまたはそれを上回る実オブジェクトに取り付けられてもよい。電磁センサ404は、放出される電磁場を通して電流が誘導され得る、より小さいコイルを備えてもよい。概して、「センサ」コンポーネント(404)は、エミッタ(402)によって放出される磁場から流入する磁束を捕捉するように位置付けられる/配向される立方体または他の容器等の小型構造内にともに結合される、3つの異なるように配向される(すなわち、相互に対して直交して配向される等)コイルのセット等の小型コイルまたはループを備えてもよい。これらのコイルを通して誘導される電流を比較することによって、かつ相互に対するコイルの相対的な位置および配向を把握することによって、エミッタに対するセンサの相対的な位置および配向が、計算され得る。 In one or more embodiments, the electromagnetic field emitter 402 has at least three coils that generate a magnetic field (eg, positioned perpendicular to each other and generate fields in the x, y, and z directions). Coil) is provided. This magnetic field is used to establish the coordinate space. This allows the system to map the position of the sensor in relation to a known magnetic field and helps determine the position and / or orientation of the sensor. In one or more embodiments, electromagnetic sensors 404a, 404b, etc. may be attached to one or more real objects. The electromagnetic sensor 404 may include a smaller coil in which a current can be induced through the emitted electromagnetic field. In general, the "sensor" component (404) is coupled together within a small structure such as a cube or other container that is positioned / oriented to capture the magnetic flux flowing from the magnetic field emitted by the emitter (402). It may comprise a small coil or loop, such as a set of three differently oriented (ie, orthogonal to each other, etc.) coils. The relative position and orientation of the sensor with respect to the emitter can be calculated by comparing the currents induced through these coils and by grasping the relative position and orientation of the coils with respect to each other.

電磁追跡センサに動作可能に結合される、コイルおよび慣性測定ユニット(「IMU」)コンポーネントの挙動に関する1つまたはそれを上回るパラメータが、電磁場エミッタが結合される座標系に対するセンサ(およびそれが取り付けられるオブジェクト)の位置および/または配向を検出するために、測定されてもよい。当然ながら、本座標系は、実世界内の電磁場エミッタの場所または姿勢を判定するために、世界の座標系に変換されてもよい。1つまたはそれを上回る実施形態では、複数のセンサが、電磁エミッタと連動して使用され、座標空間内のセンサのそれぞれの位置および配向を検出してもよい。 One or more parameters regarding the behavior of the coil and inertial measurement unit (“IMU”) components that are operably coupled to the electromagnetic tracking sensor are attached to the sensor (and it is attached) to the coordinate system to which the electromagnetic field emitter is coupled. It may be measured to detect the position and / or orientation of the object). Of course, this coordinate system may be transformed into a world coordinate system to determine the location or orientation of the electromagnetic field emitter in the real world. In one or more embodiments, multiple sensors may be used in conjunction with an electromagnetic emitter to detect the position and orientation of each of the sensors in coordinate space.

いくつかの実施形態では、頭部の姿勢は、ARシステムの頭部搭載型コンポーネント上のセンサと、頭部搭載型ARシステムを通して捕捉されたセンサデータおよび画像データに基づいて行われるSLAM分析とに基づいて既に把握されている場合があることを理解されたい。しかしながら、既知の頭部の姿勢に対するユーザの手(例えば、トーテムのようなハンドヘルドコンポーネント等)の位置を把握することが重要である場合もある。言い換えると、頭部の姿勢に対する手の姿勢を把握することが重要であり得る。いったん頭部(センサが頭部搭載型コンポーネント上に設置されると仮定して)と手との間の関係が把握されると、世界に対する手の場所(例えば、世界座標)が、容易に計算されることができる。 In some embodiments, the head orientation is a sensor on the head-mounted component of the AR system and SLAM analysis performed on the sensor and image data captured through the head-mounted AR system. Please understand that it may already be known based on. However, it may be important to know the position of the user's hand (eg, a handheld component such as a totem) with respect to a known head posture. In other words, it may be important to know the posture of the hand with respect to the posture of the head. Once the relationship between the head (assuming the sensor is mounted on the head-mounted component) and the hand is known, the location of the hand with respect to the world (eg, world coordinates) can be easily calculated. Can be done.

電磁追跡システムは、3つの方向(すなわち、X、Y、およびZ方向)において、さらに、2つまたは3つの配向角度において、位置を提供してもよい。1つまたはそれを上回る実施形態では、IMUの測定は、コイルの測定と比較され、センサの位置および配向を判定してもよい。1つまたはそれを上回る実施形態では、電磁(EM)データおよびIMUデータは両方とも、カメラ、深度センサ、および他のセンサ等の種々の他のデータ源とともに、位置および配向を判定するために組み合わせられてもよい。本情報は、コントローラ406に伝送されてもよい(例えば、無線通信、Bluetooth(登録商標)等)。1つまたはそれを上回る実施形態では、姿勢(または位置および配向)は、従来のシステムにおいて比較的に高いリフレッシュレートで報告されてもよい。従来、電磁エミッタは、テーブル、手術台、壁、または天井等の比較的に安定した大型オブジェクトに結合され、1つまたはそれを上回るセンサは、医療デバイス、ハンドヘルドゲームコンポーネント、または同等物等のより小型のオブジェクトに結合される。代替として、図6を参照して以下に説明されるように、電磁追跡システムの種々の特徴が、採用され、より安定した大域座標系に対する空間内を移動する2つのオブジェクト間の位置および/または配向における変化またはデルタが追跡され得る、構成を生成してもよい。言い換えると、構成は、図6に示されており、電磁追跡システムの変動が、利用され、頭部搭載型コンポーネントとハンドヘルドコンポーネントとの間の位置および配向デルタを追跡し得る一方、(例えば、ユーザにローカルの室内環境の)大域座標系に対する頭部の姿勢は、システムの頭部搭載型コンポーネントに結合され得る外向き捕捉カメラを使用して、同時位置特定およびマッピング(「SLAM」)技法等によって別様に判定される。 The electromagnetic tracking system may provide positions in three directions (ie, X, Y, and Z directions) and in two or three orientation angles. In one or more embodiments, the IMU measurement may be compared to the coil measurement to determine the position and orientation of the sensor. In one or more embodiments, both electromagnetic (EM) and IMU data, together with various other sources such as cameras, depth sensors, and other sensors, are combined to determine position and orientation. May be done. This information may be transmitted to controller 406 (eg, wireless communication, Bluetooth®, etc.). In one or more embodiments, the posture (or position and orientation) may be reported at a relatively high refresh rate in conventional systems. Traditionally, electromagnetic emitters have been coupled to relatively stable large objects such as tables, operating tables, walls, or ceilings, and one or more sensors are better than medical devices, handheld gaming components, or equivalents. Combined into a small object. As an alternative, as described below with reference to FIG. 6, various features of the electromagnetic tracking system have been adopted to position and / or position between two objects moving in space with respect to a more stable global coordinate system. Configurations may be generated in which changes or deltas in orientation can be tracked. In other words, the configuration is shown in FIG. 6, while variations in the electromagnetic tracking system can be utilized to track the position and orientation delta between the head-mounted component and the handheld component (eg, the user). Head posture with respect to the global coordinate system (in the local indoor environment) can be coupled to the system's head-mounted components by simultaneous positioning and mapping (“SLAM”) techniques, etc., using an outward capture camera. It is judged differently.

コントローラ406は、電磁場エミッタ402を制御してもよく、また、データを種々の電磁センサ404から捕捉してもよい。システムの種々のコンポーネントは、任意の電気機械的または無線/Bluetooth(登録商標)手段を通して相互に結合されてもよいことを理解されたい。コントローラ406はまた、既知の磁場に関するデータと磁場に関連する座標空間に関するデータとを備えてもよい。本情報は、次いで、既知の電磁場に対応する座標空間に関連してセンサの位置および配向を検出するために使用されてもよい。 The controller 406 may control the electromagnetic field emitter 402 or may capture data from various electromagnetic sensor 404s. It should be appreciated that the various components of the system may be coupled to each other through any electromechanical or wireless / Bluetooth® means. Controller 406 may also include data on known magnetic fields and data on coordinate spaces associated with magnetic fields. This information may then be used to detect the position and orientation of the sensor in relation to the coordinate space corresponding to the known electromagnetic field.

電磁追跡システムの1つの利点は、最小限の待ち時間および高分解能を伴って非常に正確な追跡結果を生成することができることである。加えて、電磁追跡システムは、必ずしも、光学追跡装置に依拠せず、ユーザの視線内にないセンサ/オブジェクトは、容易に追跡され得る。 One advantage of electromagnetic tracking systems is that they can produce highly accurate tracking results with minimal latency and high resolution. In addition, electromagnetic tracking systems do not necessarily rely on optical tracking devices, and sensors / objects that are not in the user's line of sight can be easily tracked.

電磁場(「v」)の強度は、コイル送信機(例えば、電磁場エミッタ402)からの距離rの三次関数として低下することを理解されたい。したがって、アルゴリズムは、電磁場エミッタからの距離に基づいて、要求されてもよい。コントローラ406は、そのようなアルゴリズムを用いて、電磁場エミッタからの可変距離におけるセンサ/オブジェクトの位置および配向を判定するように構成されてもよい。電磁エミッタから離れて移動するにつれて、電磁場の強度の急減を前提として、正確度、効率、および短待ち時間の観点から、最良結果が、より近い距離において達成され得る。典型的な電磁追跡システムでは、電磁場エミッタは、電流(例えば、差込式電力供給源)によって給電され、電磁場エミッタから半径20フィート以内に位置するセンサを有する。センサと場エミッタとの間の半径が短いほど、AR用途を含む多くの用途においてより望ましくあり得る。 It should be understood that the strength of the electromagnetic field (“v”) decreases as a cubic function of the distance r from the coil transmitter (eg, electromagnetic field emitter 402). Therefore, the algorithm may be requested based on the distance from the electromagnetic field emitter. The controller 406 may be configured to use such an algorithm to determine the position and orientation of the sensor / object at variable distances from the electromagnetic field emitter. Best results can be achieved at closer distances in terms of accuracy, efficiency, and short latency, given a sharp decrease in the strength of the electromagnetic field as it moves away from the electromagnetic emitter. In a typical electromagnetic tracking system, the electromagnetic field emitter is powered by an electric current (eg, a plug-in power source) and has a sensor located within a radius of 20 feet from the electromagnetic field emitter. The shorter the radius between the sensor and the field emitter, the more desirable it may be in many applications, including AR applications.

ここで図5を参照すると、典型的な電磁追跡システムの機能を説明する例示的フロー図が、簡単に説明される。502では、既知の電磁場が、放出される。1つまたはそれを上回る実施形態では、磁場エミッタは、磁場を生成してもよく、各コイルは、電場を一方向(例えば、x、y、またはz)に生成させ得る。磁場は、任意の波形を用いて生成されてもよい。1つまたはそれを上回る実施形態では、軸はそれぞれ、若干異なる周波数で発振してもよい。504では、電磁場に対応する座標空間が、判定され得る。例えば、図4のコントローラ406は、電磁場に基づいて、エミッタの周囲の座標空間を自動的に判定してもよい。506では、センサ(既知のオブジェクトに取り付けられ得る)におけるコイルの挙動が、検出され得る。例えば、コイルにおいて誘導される電流が、計算されてもよい。他の実施形態では、コイルの回転または任意の他の定量化可能な挙動が、追跡および測定されてもよい。508では、本挙動は、センサおよび/または既知のオブジェクトの位置および配向を検出するために使用されてもよい。例えば、コントローラ406は、センサにおけるコイルの挙動を種々の位置または配向に相関させる、マッピングテーブルを参考にしてもよい。これらの計算に基づいて、座標空間内の位置が、センサの配向とともに、判定されてもよい。いくつかの実施形態では、姿勢/場所情報は、センサにおいて判定されてもよい。他の実施形態では、センサは、センサにおいて検出されたデータをコントローラに通信し、コントローラは、マッピングテーブルを参考にし、既知の磁場に対する姿勢情報(例えば、ハンドヘルドコンポーネントに対する座標)を判定してもよい。 Here, with reference to FIG. 5, an exemplary flow diagram illustrating the function of a typical electromagnetic tracking system is briefly described. At 502, a known electromagnetic field is emitted. In one or more embodiments, the magnetic field emitter may generate a magnetic field, and each coil may generate an electric field in one direction (eg, x, y, or z). The magnetic field may be generated using any waveform. In one or more embodiments, the axes may oscillate at slightly different frequencies. At 504, the coordinate space corresponding to the electromagnetic field can be determined. For example, the controller 406 in FIG. 4 may automatically determine the coordinate space around the emitter based on the electromagnetic field. At 506, the behavior of the coil in the sensor (which can be attached to a known object) can be detected. For example, the current induced in the coil may be calculated. In other embodiments, coil rotation or any other quantifiable behavior may be tracked and measured. At 508, this behavior may be used to detect the position and orientation of sensors and / or known objects. For example, controller 406 may refer to a mapping table that correlates the behavior of the coil in the sensor with various positions or orientations. Based on these calculations, the position in the coordinate space may be determined along with the orientation of the sensor. In some embodiments, the attitude / location information may be determined by the sensor. In other embodiments, the sensor may communicate data detected by the sensor to the controller, which may refer to a mapping table to determine attitude information for a known magnetic field (eg, coordinates for a handheld component). ..

ARシステムの状況では、電磁追跡システムの1つまたはそれを上回るコンポーネントは、モバイルコンポーネントの正確な追跡を促進するために、修正される必要があり得る。前述のように、ユーザの頭部の姿勢および配向の追跡は、多くのAR用途において重要である。ユーザの頭部の姿勢および配向の正確な判定は、ARシステムが、正しい仮想コンテンツをユーザに表示することを可能にする。例えば、仮想場面は、実際の建物の背後に隠れているモンスタを含み得る。建物と関連したユーザの頭部の姿勢および配向に応じて、仮想モンスタのビューは、現実的AR体験が提供されるように修正される必要があり得る。または、トーテム、触知デバイス、または仮想コンテンツと相互作用するある他の手段の位置および/または配向は、ARユーザがARシステムと相互作用することを可能にすることにおいて重要であり得る。例えば、多くのゲーム用途では、ARシステムは、仮想コンテンツと関連した実オブジェクトの位置および配向を検出しなければならない。または、仮想インターフェースを表示するとき、トーテム、ユーザの手、触知デバイス、またはARシステムとの相互作用のために構成される任意の他の実オブジェクトの位置が、システムがコマンド等を理解するために、表示される仮想インターフェースと関連して把握されなければならない。光学追跡および他の方法を含む、従来の位置特定方法は、典型的には、長い待ち時間および低い分解能の問題に悩まされ、レンダリングを多くの拡張現実用途において困難にする。 In the context of AR systems, one or more components of an electromagnetic tracking system may need to be modified to facilitate accurate tracking of mobile components. As mentioned above, tracking the posture and orientation of the user's head is important in many AR applications. Accurate determination of the posture and orientation of the user's head allows the AR system to display the correct virtual content to the user. For example, a virtual scene can include a monster hidden behind a real building. Depending on the posture and orientation of the user's head associated with the building, the virtual monster view may need to be modified to provide a realistic AR experience. Alternatively, the location and / or orientation of certain other means of interacting with the totem, tactile device, or virtual content may be important in allowing the AR user to interact with the AR system. For example, in many gaming applications, AR systems must detect the position and orientation of real objects associated with virtual content. Or, when displaying a virtual interface, the location of any other real object configured for interaction with the totem, user's hand, tactile device, or AR system allows the system to understand commands etc. In addition, it must be understood in relation to the virtual interface displayed. Traditional locating methods, including optical tracking and other methods, typically suffer from long latency and low resolution issues, making rendering difficult in many augmented reality applications.

1つまたはそれを上回る実施形態では、図4および5に関連して議論される、電磁追跡システムは、放出される電磁場に関連して1つまたはそれを上回るオブジェクトの位置および配向を検出するようにARシステムに適合されてもよい。典型的な電磁システムは、大型で嵩張る電磁エミッタ(例えば、図4における402)を有する傾向にあって、これは、ARデバイスにとって問題となる。しかしながら、より小型の電磁エミッタ(例えば、ミリメートル範囲内)が、ARシステムの状況において既知の電磁場を放出するために使用されてもよい。 In one or more embodiments, the electromagnetic tracking system discussed in connection with FIGS. 4 and 5 is such that it detects the position and orientation of one or more objects in relation to the emitted electromagnetic field. May be adapted to the AR system. Typical electromagnetic systems tend to have large and bulky electromagnetic emitters (eg 402 in FIG. 4), which is a problem for AR devices. However, smaller electromagnetic emitters (eg, within millimeters) may be used to emit known electromagnetic fields in the context of AR systems.

ここで図6を参照すると、電磁追跡システムは、ハンドヘルドコントローラ606の一部として組み込まれる電磁場エミッタ602とともに、示されるように、ARシステムとともに組み込まれてもよい。1つまたはそれを上回る実施形態では、ハンドヘルドコントローラは、ゲームシナリオにおいて使用されるべきトーテムであってもよい。他の実施形態では、ハンドヘルドコントローラは、触知デバイスであってもよい。さらに他の実施形態では、電磁場エミッタは、単に、ベルトパック70の一部として組み込まれてもよい。ハンドヘルドコントローラ606は、電磁場エミッタ602に給電する、バッテリ610または他の電力供給源を備えてもよい。電磁場エミッタ602はまた、他のコンポーネントに対する電磁場エミッタ602の位置および/または配向を判定することを補助するように構成される、IMUコンポーネント650を備える、またはそれに結合されてもよいことを理解されたい。これは、電磁場エミッタ602およびセンサ(604)の両方がモバイル式である場合、特に重要であり得る。図6の実施形態に示されるように、ベルトパックではなく、ハンドヘルドコントローラ内に電磁場エミッタ602を設置することは、電磁場エミッタがベルトパックにおいてリソースを競合するのではなく、むしろ、ハンドヘルドコントローラ606においてその独自のバッテリ源を使用することを確実にする。 Referring now to FIG. 6, the electromagnetic tracking system may be incorporated with the AR system, as shown, along with the electromagnetic field emitter 602 incorporated as part of the handheld controller 606. In one or more embodiments, the handheld controller may be a totem to be used in a game scenario. In other embodiments, the handheld controller may be a tactile device. In yet another embodiment, the electromagnetic field emitter may simply be incorporated as part of the belt pack 70. The handheld controller 606 may include a battery 610 or other power source that powers the electromagnetic field emitter 602. It should be understood that the electromagnetic field emitter 602 may also include or be coupled to an IMU component 650 configured to assist in determining the position and / or orientation of the electromagnetic field emitter 602 with respect to other components. .. This can be especially important if both the electromagnetic field emitter 602 and the sensor (604) are mobile. As shown in the embodiment of FIG. 6, installing the electromagnetic field emitter 602 in the handheld controller rather than in the belt pack does not cause the electromagnetic field emitter to compete for resources in the belt pack, but rather in the handheld controller 606. Ensure that you use your own battery source.

1つまたはそれを上回る実施形態では、電磁センサ(604)は、1つまたはそれを上回るIMUまたは付加的磁束捕捉コイル(608)等、他の感知デバイスとともに、ユーザのヘッドセット(58)上の1つまたはそれを上回る場所に設置されてもよい。例えば、図6に示されるように、センサ(604、608)は、ヘッドセット(58)の両側に設置されてもよい。これらのセンサ(604、608)は、非常に小型(故に、ある場合には、低感度であり得る)に加工されるため、複数のセンサを有することは、効率および精度を改良し得る。 In one or more embodiments, the electromagnetic sensor (604), along with other sensing devices such as one or more IMUs or additional flux capture coils (608), is on the user's headset (58). It may be installed in one or more places. For example, as shown in FIG. 6, sensors (604, 608) may be installed on both sides of the headset (58). Since these sensors (604, 608) are machined to a very small size (and therefore can be less sensitive in some cases), having multiple sensors can improve efficiency and accuracy.

1つまたはそれを上回る実施形態では、1つまたはそれを上回るセンサはまた、ベルトパック(620)またはユーザの身体の任意の他の部分上に設置されてもよい。センサ(604、608)は、無線で、またはBluetooth(登録商標)を通して、センサ(604、608)(および電磁場エミッタ(602)によって放出される既知の磁場と関連して、それらが取り付けられるARヘッドセット(58))の姿勢および配向を判定する、コンピューティング装置(607、例えば、コントローラ)と通信してもよい。1つまたはそれを上回る実施形態では、コンピューティング装置(607)は、ベルトパック620に常駐してもよい。他の実施形態では、コンピューティング装置(607)は、ヘッドセット(58)自体またはさらにハンドヘルドコントローラ(606)に常駐してもよい。コンピューティング装置(607)は、センサ(604、608)の測定を受信し、電磁場エミッタ(602)によって放出される既知の電磁場に関連してセンサ(604、608)の位置および配向を判定してもよい。 In one or more embodiments, one or more sensors may also be mounted on the belt pack (620) or any other part of the user's body. Sensors (604, 608) are AR heads to which they are mounted in connection with known magnetic fields emitted by the sensors (604, 608) (and electromagnetic field emitters (602)) either wirelessly or through Bluetooth®. It may communicate with a computing device (607, eg, a controller) that determines the orientation and orientation of the set (58)). In one or more embodiments, the computing device (607) may reside in the belt pack 620. In other embodiments, the computing device (607) may reside in the headset (58) itself or even in the handheld controller (606). The computing device (607) receives measurements from the sensor (604, 608) and determines the position and orientation of the sensor (604, 608) in relation to the known electromagnetic field emitted by the electromagnetic field emitter (602). May be good.

コンピューティング装置(607)は、ひいては、マッピングデータベース(632;例えば、パス可能世界モデル、座標空間等)を備え、姿勢を検出し、実オブジェクトおよび仮想オブジェクトの座標を判定してもよく、さらに、1つまたはそれを上回る実施形態では、クラウドリソース(630)およびパス可能世界モデルに接続してもよい。マッピングデータベース(632)が、センサ(604、608)の場所座標を判定するために参考にされてもよい。マッピングデータベース(632)は、いくつかの実施形態では、ベルトパック(620)内に常駐してもよい。図6に描写される実施形態では、マッピングデータベース(632)は、クラウドリソース(630)上に常駐する。コンピューティング装置(607)は、無線でクラウドリソース(630)と通信する。判定された姿勢情報は、ARシステムによって収集された点および画像と併せて、次いで、クラウドリソース(630)に通信され、次いで、パス可能世界モデル(634)に追加されてもよい。 The computing device (607) may thus include a mapping database (632; eg passable world models, coordinate space, etc.) to detect orientations and determine the coordinates of real and virtual objects, and further. In one or more embodiments, you may connect to cloud resources (630) and passable worlds models. The mapping database (632) may be referenced to determine the location coordinates of the sensors (604, 608). The mapping database (632) may reside in the belt pack (620) in some embodiments. In the embodiment depicted in FIG. 6, the mapping database (632) resides on the cloud resource (630). The computing device (607) wirelessly communicates with the cloud resource (630). The determined attitude information, along with the points and images collected by the AR system, may then be communicated to the cloud resource (630) and then added to the passable world model (634).

前述のように、従来の電磁エミッタは、ARデバイスにおいて使用するために嵩張り過ぎ得る。したがって、電磁場エミッタは、従来のシステムと比較してより小型のコイルを使用して、コンパクトに加工されてもよい。しかしながら、電磁場の強度が場エミッタからの距離の三次関数として減少することを前提として、電磁センサ604と電磁場エミッタ602との間の半径が短いほど(例えば、約3〜3.5フィート)、図4に詳述されるもの等の従来のシステムと比較して、電力消費を低減させ得る。 As mentioned above, conventional electromagnetic emitters can be too bulky for use in AR devices. Therefore, the electromagnetic field emitter may be machined compactly using smaller coils as compared to conventional systems. However, the shorter the radius between the electromagnetic sensor 604 and the electromagnetic field emitter 602 (eg, about 3 to 3.5 feet), assuming that the strength of the electromagnetic field decreases as a cubic function of the distance from the field emitter, the figure. Power consumption can be reduced as compared to conventional systems such as those detailed in 4.

本側面は、1つまたはそれを上回る実施形態では、コントローラ606および電磁場エミッタ602に給電し得るバッテリ610の寿命を延長させるために利用されてもよい。または、他の実施形態では、本側面は、電磁場エミッタ602において磁場を生成するコイルのサイズを縮小させるために利用されてもよい。しかしながら、同一の強度の磁場を得るために、電力は、増加される必要があり得る。これは、ハンドヘルドコントローラ606においてコンパクトにフィットし得るコンパクトな電磁場エミッタユニット602を可能にする。 This aspect may be utilized to extend the life of the battery 610 capable of feeding the controller 606 and the electromagnetic field emitter 602 in one or more embodiments. Alternatively, in other embodiments, this aspect may be utilized to reduce the size of the coil that produces the magnetic field at the electromagnetic field emitter 602. However, the power may need to be increased in order to obtain a magnetic field of the same intensity. This enables a compact electromagnetic field emitter unit 602 that can fit compactly in the handheld controller 606.

いくつかの他の変更が、ARデバイスのために電磁追跡システムを使用するときに行われてもよい。この姿勢報告レートは、非常に良好であるが、ARシステムは、さらにより効率的な姿勢報告レートを要求してもよい。この目的を達成するために、IMUベースの姿勢追跡が、センサ内で使用されてもよい。重要なこととして、IMUは、姿勢検出プロセスの効率を増加させるために、可能な限り安定したままでなければならない。IMUは、最大50〜100ミリ秒、安定したままであるように加工されてもよい。いくつかの実施形態は、姿勢更新が10〜20Hzのレートで報告されることを可能にし得る、外部姿勢推定器モジュールを利用してもよいことを理解されたい(すなわち、IMUは、経時的にドリフトし得る)。IMUを合理的なレートに安定して保つことによって、姿勢更新レートは、10〜20Hzまで著しく低下され得る(従来のシステムにおけるより高い周波数と比較して)。 Some other changes may be made when using the electromagnetic tracking system for AR devices. This attitude reporting rate is very good, but the AR system may require an even more efficient attitude reporting rate. To this end, IMU-based attitude tracking may be used within the sensor. Importantly, the IMU should remain as stable as possible in order to increase the efficiency of the attitude detection process. The IMU may be processed to remain stable for up to 50-100 ms. It should be appreciated that some embodiments may utilize an external attitude estimator module that may allow attitude updates to be reported at rates of 10-20 Hz (ie, the IMU over time. Can drift). By keeping the IMU stable at a reasonable rate, the attitude update rate can be significantly reduced from 10 to 20 Hz (compared to the higher frequencies in conventional systems).

電磁追跡システムが、10%デューティサイクルにおいて起動され得る場合(例えば、100ミリ秒毎にのみグラウンドトゥルースにピングする)、これは、ARシステムにおける電力を節約する別の方法となるであろう。これは、電磁追跡システムが、100ミリ秒毎に10ミリ秒にわたってウェイクアップし、姿勢推定値を生成することを意味するであろう。これは、直接、電力消費節約につながり、ひいては、ARデバイスのサイズ、バッテリ寿命、およびコストに影響を及ぼし得る。 If the electromagnetic tracking system can be started in a 10% duty cycle (eg, ping to ground truth only every 100 milliseconds), this would be another way to save power in an AR system. This would mean that the electromagnetic tracking system wakes up every 100 milliseconds for 10 milliseconds to generate attitude estimates. This directly leads to power savings and can, in turn, affect the size, battery life, and cost of the AR device.

1つまたはそれを上回る実施形態では、デューティサイクルのこの低減は、1つのみではなく、2つのハンドヘルドコントローラ(図示せず)を提供することによって方略的に利用されてもよい。例えば、ユーザは、2つのトーテム等を要求するゲームをプレーしてもよい。または、マルチユーザゲームでは、2人のユーザが、その独自のトーテム/ハンドヘルドコントローラを有し、ゲームをプレーしてもよい。1つではなく、2つのコントローラ(例えば、各手に対して対称的なコントローラ)が、使用されるとき、コントローラは、オフセットデューティサイクルで動作してもよい。同一概念はまた、例えば、マルチプレーヤゲームをプレーしている2人の異なるユーザによって利用されるコントローラにも適用されてもよい。 In one or more embodiments, this reduction in duty cycle may be strategically utilized by providing two handheld controllers (not shown) instead of just one. For example, the user may play a game that requires two totems and the like. Alternatively, in a multi-user game, two users may have their own totem / handheld controller and play the game. When two controllers (eg, controllers symmetrical for each hand) are used instead of one, the controllers may operate in offset duty cycles. The same concept may also apply, for example, to a controller used by two different users playing a multiplayer game.

ここで図7を参照すると、ARデバイスの状況における電磁追跡システムを説明する例示的フロー図が、説明される。702では、ハンドヘルドコントローラが、磁場を放出する。704では、電磁センサ(ヘッドセット、ベルトパック等上に設置される)が、磁場を検出する。706では、ヘッドセット/ベルトの位置および配向は、センサにおけるコイル/IMUの挙動に基づいて判定される。708では、姿勢情報が、コンピューティング装置(例えば、ベルトパックまたはヘッドセットにおける)に伝達される。710では、随意に、マッピングデータベース(例えば、パス可能世界モデル)は、実世界座標と仮想世界座標を相関させるために調べられてもよい。712では、仮想コンテンツが、ARヘッドセットにおいてユーザに送達されてもよい。前述のフロー図は、例証目的にすぎず、限定として読み取られるべきではないことを理解されたい。 Here, with reference to FIG. 7, an exemplary flow diagram illustrating an electromagnetic tracking system in the context of an AR device is illustrated. At 702, the handheld controller emits a magnetic field. In 704, an electromagnetic sensor (installed on a headset, belt pack, etc.) detects a magnetic field. At 706, the headset / belt position and orientation is determined based on the coil / IMU behavior in the sensor. At 708, posture information is transmitted to a computing device (eg, in a belt pack or headset). At 710, the mapping database (eg, passable world model) may optionally be examined to correlate real world coordinates with virtual world coordinates. At 712, virtual content may be delivered to the user in an AR headset. It should be understood that the flow diagram above is for illustration purposes only and should not be read as a limitation.

有利には、図6に概略されるものに類似する電磁追跡システムの使用は、姿勢追跡を可能にする(例えば、頭部位置および配向、トーテムおよび他のコントローラの位置および配向)。これは、ARシステムが、光学追跡技法と比較して、より高い正確度およびより短い待ち時間を伴って、仮想コンテンツを投影することを可能にする。 Advantageously, the use of an electromagnetic tracking system similar to that outlined in FIG. 6 allows for posture tracking (eg, head position and orientation, totem and other controller positions and orientations). This allows AR systems to project virtual content with higher accuracy and shorter latency compared to optical tracking techniques.

図8を参照すると、多くの感知コンポーネントを特徴とする、システム構成が、図示される。頭部搭載型ウェアラブルコンポーネント(58)は、ここでは、図9A−9Fを参照して以下に説明されるように、制御および急速解放モジュール(86)もまた特徴とする、物理的マルチコア導線を使用して、ベルトパック等のローカル処理およびデータモジュール(70)に動作可能に結合(68)されて示される。ローカル処理およびデータモジュール(70)は、ここでは、低電力Bluetooth(登録商標)等の無線接続によって、ハンドヘルドコンポーネント(606)に動作可能に結合(100)されてもよい。ハンドヘルドコンポーネント(606)はまた、低電力Bluetooth(登録商標)等の無線接続等によって、直接、頭部搭載型ウェアラブルコンポーネント(58)に動作可能に結合(94)されてもよい。概して、IMUデータが、種々のコンポーネントの座標姿勢検出にパスされる場合、数百または数千サイクル/秒またはより高い範囲内等の高周波数接続が、望ましい。センサ(604)および送信機(602)ペアリング等による電磁位置特定感知のためには、数十サイクル/秒が、適正であり得る。また、壁(8)等のユーザの周囲の実世界内の固定オブジェクトを表す、大域座標系(10)も示される。クラウドリソース(46)はまた、それぞれ、ローカル処理およびデータモジュール(70)に、頭部搭載型ウェアラブルコンポーネント(58)に、壁(8)または大域座標系10に対して固定される他のアイテムに結合され得るリソースに動作可能に結合(42、40、88、90)されてもよい。壁(8)に結合される、または大域座標系(10)に対して既知の位置および/または配向を有する、リソースは、Wi−Fi送受信機(114)、電磁エミッタ(602)および/または受信機(604)、赤外線LEDビーコン等の所与のタイプの放射を放出または反射するように構成されるビーコンまたは反射体(112)、セルラーネットワーク送受信機(110)、RADARエミッタまたは検出器(108)、LIDARエミッタまたは検出器(106)、GPS送受信機(118)、既知の検出可能パターン(122)を有するポスタまたはマーカ、およびカメラ(124)を含んでもよい。頭部搭載型ウェアラブルコンポーネント(58)は、赤外線カメラ(124)のための赤外線エミッタ(130)等のカメラ(124)検出器を補助するように構成される光エミッタ(130)に加え、図示されるような類似コンポーネントを特徴とする。頭部搭載型ウェアラブルコンポーネント(58)はまた、1つまたはそれを上回る歪みゲージ(116)を特徴とし、これは、頭部搭載型ウェアラブルコンポーネント(58)のフレームまたは機械的プラットフォームに固定して結合され、電磁受信機センサ(604)またはディスプレイ要素(62)等のコンポーネント間のそのようなプラットフォームの偏向を判定するように構成されてもよく、図8に描写される眼鏡様プラットフォーム上の突出部上方の部分等のプラットフォームの薄い部分等においてプラットフォームの屈曲が生じた場合、それを理解することが重要であり得る。頭部搭載型ウェアラブルコンポーネント(58)はまた、プロセッサ(128)と、1つまたはそれを上回るIMU(102)とを特徴とする。コンポーネントはそれぞれ、好ましくは、プロセッサ(128)に動作可能に結合される。ハンドヘルドコンポーネント(606)およびローカル処理およびデータモジュール(70)は、類似コンポーネントを特徴とするように図示される。図8に示されるように、そのように多くの感知およびコネクティビティ手段を用いることで、そのようなシステムは、重く、電力を大量に消費し、大型で、かつ比較的に高価である可能性が高い。しかしながら、例証目的のために、そのようなシステムは、非常に高いレベルのコネクティビティ、システムコンポーネント統合、および位置/配向追跡を提供するために利用されてもよい。例えば、そのような構成を用いることで、種々の主要モバイルコンポーネント(58、70、606)は、Wi−Fi、GPS、またはセルラー信号三角測量を使用して、大域座標系に対する位置の観点から位置特定されてもよく、ビーコン、電磁追跡(前述のように)、RADAR、およびLIDIRシステムはさらに、場所および/または配向情報およびフィードバックを提供してもよい。マーカおよびカメラもまた、相対的および絶対的な位置および配向に関するさらなる情報を提供するために利用されてもよい。例えば、頭部搭載型ウェアラブルコンポーネント(58)に結合されて示されるもの等の種々のカメラコンポーネント(124)は、コンポーネント(58)が他のコンポーネントに対して配向される場所およびその状態を判定するために、同時位置特定およびマッピングプロトコル、すなわち、「SLAM」において利用され得る、データを捕捉するために利用されてもよい。 With reference to FIG. 8, a system configuration featuring many sensing components is illustrated. The head-mounted wearable component (58) uses physical multi-core conductors, which here also feature a control and rapid release module (86), as described below with reference to FIGS. 9A-9F. It is shown operably coupled (68) to a local process such as a belt pack and a data module (70). The local processing and data module (70) may be operably coupled (100) here to the handheld component (606) by a wireless connection such as low power Bluetooth®. The handheld component (606) may also be operably coupled (94) directly to the head-mounted wearable component (58), such as by wireless connection such as low power Bluetooth®. In general, if the IMU data is passed for coordinate orientation detection of various components, high frequency connections, such as in the hundreds or thousands of cycles / second or higher range, are desirable. Dozens of cycles / sec may be appropriate for electromagnetic position identification sensing by sensor (604) and transmitter (602) pairing and the like. Also shown is a global coordinate system (10) that represents a fixed object in the real world around the user, such as a wall (8). Cloud resources (46) are also to local processing and data modules (70), to head-mounted wearable components (58), to walls (8) or other items that are anchored to the global coordinate system 10. It may be operably coupled (42, 40, 88, 90) to a resource that can be bound. Resources coupled to the wall (8) or having a known position and / or orientation with respect to the global coordinate system (10) are Wi-Fi transceivers (114), electromagnetic emitters (602) and / or receive. Machines (604), beacons or reflectors (112) configured to emit or reflect given types of radiation, such as infrared LED beacons, cellular network transceivers (110), lidar emitters or detectors (108). , LIDAR emitter or detector (106), GPS transceiver (118), poster or marker with known detectable pattern (122), and camera (124). The head-mounted wearable component (58) is illustrated in addition to the light emitter (130) configured to assist the camera (124) detector, such as the infrared emitter (130) for the infrared camera (124). It features similar components such as. The head-mounted wearable component (58) also features one or more strain gauges (116), which are secured and coupled to the frame or mechanical platform of the head-mounted wearable component (58). And may be configured to determine the deflection of such a platform between components such as an electromagnetic receiver sensor (604) or a display element (62), a protrusion on a spectacle-like platform as depicted in FIG. It may be important to understand when the platform bends, such as in the thin part of the platform, such as the upper part. The head-mounted wearable component (58) also features a processor (128) and one or more IMUs (102). Each component is preferably operably coupled to the processor (128). The handheld component (606) and the local processing and data module (70) are illustrated to feature similar components. With such a large number of sensing and connectivity means, as shown in FIG. 8, such a system can be heavy, power intensive, large and relatively expensive. expensive. However, for illustrative purposes, such systems may be utilized to provide a very high level of connectivity, system component integration, and location / orientation tracking. For example, by using such a configuration, various major mobile components (58, 70, 606) are positioned in terms of position relative to the global coordinate system using Wi-Fi, GPS, or cellular signal triangulation. Beacons, electromagnetic tracking (as described above), RADAR, and LIDIR systems may be specified and may further provide location and / or orientation information and feedback. Markers and cameras may also be utilized to provide additional information about relative and absolute position and orientation. Various camera components (124), such as those shown coupled to a head-mounted wearable component (58), determine where and how the component (58) is oriented with respect to other components. For this purpose, it may be used to capture data, which may be used in a simultaneous location and mapping protocol, i.e., "SLAM".

図9A−9Fを参照すると、制御および急速解放モジュール86の種々の側面が、描写される。図9Aを参照すると、2つの外側筐体コンポーネントが、機械的掛止を用いて増強され得る磁気結合構成を使用して、ともに結合される。関連付けられたシステムの動作のためのボタン(136)が、含まれてもよい。図9Bは、ボタン(136)および下層上部印刷回路基板(138)が示される、部分的切断図を図示する。図9Cを参照すると、ボタン(136)および下層上部印刷回路基板(138)が除去され、メス型接触ピンアレイ(140)が、可視である。図9Dを参照すると、筐体(134)の反対部分が除去され、下側印刷回路基板(142)が、可視である。下側印刷回路基板(142)が除去され、図9Eに示されるように、オス型接触ピンアレイ(144)が、可視である。図9Fの断面図を参照すると、オス型ピンまたはメス型ピンのうちの少なくとも1つが、各ピンの縦軸に沿って押下され得るように、ばね荷重されるように構成される。ピンは、「ポゴピン」と称され得、概して、銅または金等の非常に伝導性のある材料を含んでいてもよい。組み立てられると、図示される構成は、46オス型ピンとメス型ピンを噛合させており、アセンブリ全体は、手動で引き離し、ピンアレイ(140、144)の周縁の周囲に配向された南北磁石を使用して作られた磁気インターフェース146の荷重を克服することによって、急速解放式に半分に分断されてもよい。一実施形態では、46個のポゴピンを圧縮することからの約2kgの荷重が、約4kgの閉鎖維持力と対抗される。アレイ内のピンは、約1.3mmだけ分離されてもよく、ピンは、ツイストペアまたは他の組み合わせ等の種々のタイプの伝導性ラインに動作可能に結合され、USB3.0、HDMI(登録商標)2.0、I2S信号、GPIO、およびMIPI構成、ならびに一実施形態では、最大約4アンペア/5ボルト用に構成される高電流アナログラインおよび接地をサポートしてもよい。 With reference to FIGS. 9A-9F, various aspects of the control and rapid release module 86 are depicted. Referring to FIG. 9A, the two outer housing components are coupled together using a magnetic coupling configuration that can be augmented with mechanical hooking. Buttons (136) for the operation of the associated system may be included. FIG. 9B illustrates a partial cut view showing a button (136) and a lower layer upper printed circuit board (138). Referring to FIG. 9C, the button (136) and the lower layer upper printed circuit board (138) are removed and the female contact pin array (140) is visible. Referring to FIG. 9D, the opposite portion of the housing (134) is removed and the lower printed circuit board (142) is visible. The lower printed circuit board (142) has been removed and the male contact pin array (144) is visible, as shown in FIG. 9E. Referring to the cross-sectional view of FIG. 9F, at least one of the male or female pins is configured to be spring loaded so that it can be pressed along the longitudinal axis of each pin. The pin may be referred to as a "pogo pin" and may generally contain a highly conductive material such as copper or gold. Once assembled, the illustrated configuration meshes 46 male and female pins, and the entire assembly is manually pulled apart and uses north-south magnets oriented around the perimeter of the pin array (140, 144). By overcoming the load of the magnetic interface 146 made of the above, it may be split in half in a rapid release manner. In one embodiment, a load of about 2 kg from compressing 46 pogo pins opposes a closure retention force of about 4 kg. The pins in the array may be separated by about 1.3 mm and the pins are operably coupled to various types of conductive lines such as twisted pair or other combination, USB3.0, HDMI®. 2.0, I2S signals, GPIO, and MIPI configurations, and in one embodiment, may support high current analog lines and grounding configured for up to about 4 amps / 5 volts.

図10を参照すると、種々のコンポーネントの重量および大きさを最小限にし、例えば、図10において特徴付けられているもの(58)等の比較的にスリムな頭部搭載型コンポーネントに至るようにすることを可能にするために、最小限にされたコンポーネント/特徴セットを有することが有用である。したがって、図8に示される種々のコンポーネントの種々の順列および組み合わせが、利用されてもよい。 Referring to FIG. 10, the weight and size of the various components are minimized, leading to relatively slim head-mounted components such as those characterized in FIG. 10 (58). It is useful to have a minimal set of components / characterizations to make this possible. Therefore, different sequences and combinations of different components shown in FIG. 8 may be utilized.

図11Aを参照すると、電磁感知コイルアセンブリ(604、すなわち、筐体に結合される3つの個々のコイル)が、頭部搭載型コンポーネント(58)に結合されて示される。そのような構成は、付加的幾何学形状を全体的アセンブリに追加し、これは、望ましくない場合がある。図11Bを参照すると、図11Aの構成におけるように、コイルをボックスまたは単一筐体内に格納するのではなく、個々のコイルは、図11Bに示されるように、頭部搭載型コンポーネント(58)の種々の構造の中に統合されてもよい。例えば、x−軸コイル(148)が、頭部搭載型コンポーネント(58)の一部分(例えば、フレームの中心)に設置されてもよい。同様に、y−軸コイル(150)が、頭部搭載型コンポーネント(58;例えば、フレームの左右の底部側面)の別の部分に設置されてもよい。同様に、z−軸コイル152が、頭部搭載型コンポーネント(58)のさらに別の部分(例えば、フレームの左右の上部側面)に設置されてもよい。 Referring to FIG. 11A, an electromagnetic sensing coil assembly (604, ie, three individual coils coupled to a housing) is shown coupled to a head-mounted component (58). Such configurations add additional geometry to the overall assembly, which can be undesirable. Referring to FIG. 11B, instead of housing the coils in a box or single enclosure as in the configuration of FIG. 11A, the individual coils are head-mounted components (58) as shown in FIG. 11B. It may be integrated into various structures of. For example, the x-axis coil (148) may be installed on a portion of the head-mounted component (58) (eg, in the center of the frame). Similarly, the y-axis coil (150) may be installed in another portion of the head-mounted component (58; eg, the left and right bottom sides of the frame). Similarly, the z-axis coil 152 may be installed in yet another portion of the head-mounted component (58) (eg, left and right upper sides of the frame).

図12A−12Eは、電磁センサに結合され、場感度を増加させるフェライトコアを特徴とするための種々の構成を図示する。図12Aを参照すると、フェライトコアは、中実立方体(1202)であってもよい。中実立方体(1202)は、場感度を増加させることにおいて最も効果的であり得るが、また、図12B−12Eに描写される残りの構成と比較して、最も重くなり得る。図12Bを参照すると、複数のフェライトディスク(1204)が、電磁センサに結合されてもよい。同様に、図12Cを参照すると、1つの軸空心(1206)を伴う中実立方体が、電磁センサに結合されてもよい。図12Cに示されるように、開放空間(すなわち、空心)が、1つの軸に沿って中実立方体内に形成されてもよい。これは、依然として、必要な場感度を提供しながら、立方体の重量を減少させ得る。さらに別の実施形態では、図12Dを参照すると、3つの軸空心(1208)を伴う中実立方体が、電磁センサに結合されてもよい。本構成では、中実立方体は、全3つの軸に沿って中空化され、それによって、立方体の重量を著しく減少させる。図12Eを参照すると、プラスチック筐体(1210)を伴うフェライトロッドもまた、電磁センサに結合されてもよい。図12B−12Eの実施形態は、図12Aの中実コア構成より重量が軽く、前述のように、質量を節約するために利用されてもよいことを理解されたい。 FIGS. 12A-12E illustrate various configurations for featuring a ferrite core coupled to an electromagnetic sensor to increase field sensitivity. Referring to FIG. 12A, the ferrite core may be a solid cube (1202). The solid cube (1202) can be most effective in increasing field sensitivity, but can also be the heaviest compared to the remaining configurations depicted in FIGS. 12B-12E. Referring to FIG. 12B, a plurality of ferrite disks (1204) may be coupled to the electromagnetic sensor. Similarly, with reference to FIG. 12C, a solid cube with one axial air core (1206) may be coupled to the electromagnetic sensor. As shown in FIG. 12C, an open space (ie, an open space) may be formed in a solid cube along one axis. This can still reduce the weight of the cube while still providing the required field sensitivity. In yet another embodiment, with reference to FIG. 12D, a solid cube with three axial air centers (1208) may be coupled to the electromagnetic sensor. In this configuration, the solid cube is hollowed out along all three axes, thereby significantly reducing the weight of the cube. Referring to FIG. 12E, the ferrite rod with the plastic housing (1210) may also be coupled to the electromagnetic sensor. It should be appreciated that embodiments of FIGS. 12B-12E are lighter in weight than the solid core configuration of FIG. 12A and may be utilized to save mass, as described above.

図13A−13Cを参照すると、時分割多重化(「TDM」)が、同様に質量を節約するために利用されてもよい。例えば、図13Aを参照すると、従来のローカルデータ処理構成が、3コイル電磁受信機センサのために示されており、アナログ電流が、X、Y、およびZコイル(1302、1304、および1306)のそれぞれから流入し、前置増幅器(1308)の中に流れ、帯域通過フィルタ(1310)、PA(1312)、アナログ/デジタルコンバータ(1314)を通して、最終的には、デジタル信号プロセッサ(1316)の中に流れる。図13Bの送信機構成および図13Cの受信機構成を参照すると、時分割多重化が、各コイルセンサチェーンがその独自の増幅器等を要求しないように、ハードウェアを共有するために利用されてもよい。これは、図13Bに示されるように、TDMスイッチ(1320)を通して達成されてもよく、これは、同一セットのハードウェアコンポーネント(増幅器等)を使用して、複数の送信機および受信機へならびにそこからの信号の処理を促進する。センサ筐体を除去し、多重化し、頭部上のハードウェアを節約することに加え、信号対雑音比が、1つを上回るセットの電磁センサを有することによって増加されてもよく、各セットは、単一のより大きいコイルセットに対して比較的に小さい。また、概して、複数の感知コイルを近接近して有するために必要とされる、低側周波数限界が、帯域幅要件の改良を促進するために改良されてもよい。多重化が、概して、無線周波数信号の受信を時間的に拡散し、概して、より粗悪な信号をもたらすという点において、多重化とのトレードオフが存在する。したがって、より大きいコイル直径が、多重化システムのために要求され得る。例えば、多重化システムが、9mm辺寸法の立方体のコイルセンサボックスを要求し得る場合、非多重化システムは、類似性能のために、7mm辺寸法の立方体のコイルボックスのみを要求し得る。したがって、幾何学形状および質量を最小限にする際、トレードオフが存在し得る。 With reference to FIGS. 13A-13C, time division multiplexing (“TDM”) may be utilized to save mass as well. For example, with reference to FIG. 13A, a conventional local data processing configuration is shown for a 3-coil electromagnetic receiver sensor, where the analog currents are X, Y, and Z coils (1302, 1304, and 1306). From each, it flows into the preamplifier (1308), through the bandpass filter (1310), PA (1312), analog / digital converter (1314), and finally into the digital signal processor (1316). Flow to. With reference to the transmitter configuration of FIG. 13B and the receiver configuration of FIG. 13C, even if time division multiplexing is used to share hardware so that each coil sensor chain does not require its own amplifier or the like. good. This may be achieved through a TDM switch (1320), as shown in FIG. 13B, which may be achieved through multiple transmitters and receivers using the same set of hardware components (such as amplifiers). Facilitates the processing of the signal from there. In addition to removing and multiplexing the sensor enclosure and saving hardware on the head, the signal-to-noise ratio may be increased by having more than one set of electromagnetic sensors, each set. , Relatively small for a single larger coil set. Also, in general, the low frequency limits required to have multiple sensing coils in close proximity may be modified to facilitate improved bandwidth requirements. There is a trade-off with multiplexing in that multiplexing generally spreads the reception of radio frequency signals over time, resulting in generally worse signals. Therefore, larger coil diameters may be required for multiplexing systems. For example, if a multiplexing system may require a cube coil sensor box with 9 mm sides, a non-multiplexed system may only require a cube coil box with 7 mm sides for similar performance. Therefore, there may be trade-offs in minimizing geometry and mass.

頭部搭載型コンポーネント(58)等の特定のシステムコンポーネントが2つまたはそれを上回る電磁コイルセンサセットを特徴とする別の実施形態では、システムは、システムの性能を最適化するために、相互に最も近いセンサおよびエミッタ対を選択的に利用するように構成されてもよい。 In another embodiment, the particular system component, such as a head-mounted component (58), comprises two or more electromagnetic coil sensor sets, in which the systems mutually optimize the performance of the system. It may be configured to selectively utilize the closest sensor and emitter pair.

図14を参照すると、一実施形態では、ユーザが自身のウェアラブルコンピューティングシステム(160)に電源を投入した後、頭部搭載型コンポーネントアセンブリは、IMUおよびカメラデータ(カメラデータは、例えば、より多くのraw処理能力が存在し得るベルトパックプロセッサ等のSLAM分析のために使用される)の組み合わせを捕捉し、実世界の大域座標系に対する頭部の姿勢(すなわち、位置および配向)を判定および更新してもよい(162)。ユーザはまた、ハンドヘルドコンポーネントを能動化し、例えば、拡張現実ゲームをプレーしてもよく(164)、ハンドヘルドコンポーネントは、ベルトパックおよび頭部搭載型コンポーネントの一方または両方に動作可能に結合される電磁送信機を備えてもよい(166)。送信機からの磁束を捕捉するために、1つまたはそれを上回る電磁場コイル受信機セット(すなわち、3つの異なるように配向される個々のコイルのセット)が、頭部搭載型コンポーネントに結合され、これは、頭部搭載型コンポーネントとハンドヘルドコンポーネント(168)との間の位置または配向差(または「デルタ」)を判定するために利用されてもよい。大域座標系に対する姿勢の判定を補助する頭部搭載型コンポーネントと、頭部搭載型コンポーネントに対するハンドヘルドの相対的な場所および配向を判定することを補助するハンドヘルドの組み合わせは、システムが、概して、各コンポーネントが大域座標系に対して位置する場所、したがって、ユーザの頭部の姿勢を判定することを可能にし、ハンドヘルド姿勢は、好ましくは、拡張現実画像の特徴の提示と、ハンドヘルドコンポーネント(170)の移動および回転を使用した相互作用とのために、比較的に短い待ち時間で追跡され得る。 Referring to FIG. 14, in one embodiment, after the user powers on his wearable computing system (160), the head-mounted component assembly has an IMU and camera data (camera data is, for example, more). Captures combinations of (used for SLAM analysis such as beltpack processors) where raw processing power may be present, and determines and updates head orientation (ie, position and orientation) with respect to the real-world global coordinate system. May be (162). The user may also activate the handheld component and play, for example, a playtest (164), where the handheld component is operably coupled to one or both of the belt pack and head-mounted component electromagnetic transmission. It may be equipped with a machine (166). To capture the magnetic flux from the transmitter, one or more sets of electromagnetic field coil receivers (ie, a set of three differently oriented individual coils) are coupled to the head-mounted component. It may be utilized to determine the position or orientation difference (or "delta") between the head-mounted component and the handheld component (168). The combination of a head-mounted component that assists in determining posture with respect to the global coordinate system and a handheld that assists in determining the relative location and orientation of the handheld with respect to the head-mounted component is generally a system of each component. Allows you to determine where is located relative to the global coordinate system, and thus the posture of the user's head, and the handheld posture is preferably the presentation of features of the augmented reality image and the movement of the handheld component (170). And because of the interaction using rotation, it can be tracked with a relatively short latency.

図15を参照すると、図14のものに幾分類似するが、システムが頭部搭載型コンポーネント(172)およびハンドヘルドコンポーネント(176、178)の両方の姿勢の判定を補助するために利用可能なより多くの感知デバイスおよび構成を有する実施形態が図示されており、これにより、ユーザの頭部の姿勢およびハンドヘルド姿勢が、好ましくは、拡張現実画像の特徴の提示と、ハンドヘルドコンポーネント(180)の移動および回転を使用した相互作用とのために、比較的に短い待ち時間において追跡され得る。 With reference to FIG. 15, somewhat similar to that of FIG. 14, but more than available to assist the system in determining the posture of both the head-mounted component (172) and the handheld component (176, 178). Embodiments with many sensing devices and configurations are illustrated, which allow the user's head and handheld postures to preferably present features of augmented reality images and move and handheld components (180). Due to the interaction using rotation, it can be tracked with a relatively short latency.

具体的には、ユーザが、自身のウェアラブルコンピューティングシステム(160)に電源を投入した後、頭部搭載型コンポーネントは、実世界の大域座標系に対する頭部の姿勢を判定および更新するために、SLAM分析のためのIMUおよびカメラデータの組み合わせを捕捉する。システムはさらに、大域座標系の種々の側面または1つまたはそれを上回る移動可能なコンポーネント(172)に結び付けられ得る、Wi−Fi、セルラー、ビーコン、RADAR、LIDAR、GPS、マーカ、および/または他のカメラのような環境内の他の位置特定リソースの存在を検出するように構成されてもよい。 Specifically, after the user powers on their wearable computing system (160), the head-mounted component determines and updates the posture of the head with respect to the real-world global coordinate system. Capture a combination of IMU and camera data for SLAM analysis. The system can further be tied to various aspects of the global coordinate system or to one or more mobile components (172), Wi-Fi, cellular, beacons, RADAR, LIDAR, GPS, markers, and / or others. It may be configured to detect the presence of other location-specific resources in the environment, such as a camera.

ユーザはまた、ハンドヘルドコンポーネントを能動化し、例えば、拡張現実ゲーム(174)をプレーしてもよく、ハンドヘルドコンポーネントは、ベルトパックおよび頭部搭載型コンポーネント(176)の一方または両方に動作可能に結合される電磁送信機を備えてもよい。他の位置特定リソースもまた、同様に利用されてもよい。頭部搭載型コンポーネントに結合される1つまたはそれを上回る電磁場コイル受信機セット(例えば、3つの異なるように配向される個々のコイルのセット)が、電磁送信機からの磁束を捕捉するために使用されてもよい。この捕捉された磁束は、頭部搭載型コンポーネントとハンドヘルドコンポーネント(178)との間の位置または配向差異(または「デルタ」)を判定するために利用されてもよい。 The user may also activate the handheld component and play, for example, a playtest game (174), which is operably coupled to one or both of the belt pack and the head-mounted component (176). It may be equipped with an electromagnetic transmitter. Other locating resources may be used as well. One or more sets of electromagnetic field coils coupled to a head-mounted component (eg, a set of three differently oriented individual coils) to capture the magnetic flux from the electromagnetic transmitter. May be used. This captured flux may be utilized to determine the position or orientation difference (or "delta") between the head-mounted component and the handheld component (178).

したがって、ユーザの頭部の姿勢およびハンドヘルド姿勢が、ARコンテンツの提示および/またはハンドヘルドコンポーネント(180)の移動または回転を使用したARシステムとの相互作用のために、比較的に短い待ち時間において追跡され得る。 Therefore, the posture of the user's head and handheld posture are tracked with a relatively short latency due to the presentation of AR content and / or the interaction with the AR system using the movement or rotation of the handheld component (180). Can be done.

図16Aおよび16Bを参照すると、図8のものに類似する構成の種々の側面が、示される。図16Aの構成は、LIDAR(106)タイプの深度センサに加え、図16Aの構成が、例証目的のために、例えば、ステレオ三角測量式深度センサ(受動ステレオ深度センサ、テクスチャ投影ステレオ深度センサ、または構造化光ステレオ深度センサ等)または飛行時間式深度センサ(LIDAR深度センサまたは変調放出深度センサ等)のいずれかであり得る、汎用深度カメラまたは深度センサ(154)を特徴とするという点において、図8のものと異なる。さらに、図16Aの構成は、付加的な前向き「世界」カメラ(124、720p範囲の分解能が可能なセンサを有するグレースケールカメラであってもよい)ならびに比較的に高い分解能の「写真カメラ」(156、例えば、2メガピクセルまたはより高い分解能が可能なセンサを有するフルカラーカメラであってもよい)を有する。図16Bは、図16Bを参照して以下にさらに説明されるように、例証目的のために、図16Aの構成の部分的直交図を示す。 With reference to FIGS. 16A and 16B, various aspects of the configuration similar to those of FIG. 8 are shown. In addition to the lidar (106) type depth sensor, the configuration of FIG. 16A is for illustration purposes, eg, a stereotriangular depth sensor (passive stereo depth sensor, texture projection stereo depth sensor, or A general purpose depth camera or depth sensor (154), which may be either a structured optical stereo depth sensor or the like) or a time-of-flight depth sensor (such as a lidar depth sensor or a modulated emission depth sensor). It is different from the one in 8. In addition, the configuration of FIG. 16A is an additional forward-looking "world" camera (which may be a grayscale camera with sensors capable of resolutions in the 124, 720p range) as well as a "photographic camera" with relatively high resolution (photo camera). It may have 156, eg, a full color camera with a sensor capable of 2 megapixels or higher resolution). FIG. 16B shows a partially orthogonal view of the configuration of FIG. 16A for illustration purposes, as further described below with reference to FIG. 16B.

図16Aおよび前述のステレオ対飛行時間式深度センサに戻って参照すると、これらの深度センサタイプはそれぞれ、本明細書に開示されるようなウェアラブルコンピューティングソリューションとともに採用され得るが、それぞれ、種々の利点および不利点を有する。例えば、多くの深度センサは、黒色表面と光沢表面または反射表面とに関する課題を有する。受動ステレオ深度感知は、深度カメラまたはセンサを用いて深度を計算するために三角測量を得るという比較的に単純な方法であるが、広視野(「FOV」)が要求される場合、課題となり得、比較的に有意なコンピューティングリソースを要求し得る。さらに、そのようなセンサタイプは、目下の特定の用途に重要であり得るエッジ検出に関する課題を有し得る。受動ステレオは、無テクスチャ壁、低光状況、および繰り返しパターンに関する課題を有し得る。受動ステレオ深度センサは、Intel(登録商標)およびAquifi(登録商標)等の製造業者から利用可能である。テクスチャ投影を伴うステレオ(「能動ステレオ」としても知られる)は、受動ステレオに類似するが、テクスチャプロジェクタは、投影パターンを環境上にブロードキャストし、より多くのテクスチャがブロードキャストされるほど、より高い正確度が深度計算のための三角測量において利用可能になる。能動ステレオもまた、比較的に高い算出リソースを要求し、広FOVが要求されるときに課題を提示し、エッジを検出することにおいて幾分準最適であり得るが、無テクスチャ壁に効果的であるという点、低光において良好であるという点、そして、繰り返しパターンに関する問題を概して有していないという点において、受動ステレオの課題のうちのいくつかに対処する。能動ステレオ深度センサは、Intel(登録商標)およびAquifi(登録商標)等の製造業者から利用可能である。Primesense, Inc.(登録商標)によって開発され、商標名Kinect(登録商標)下で利用可能なシステム、ならびに、単一カメラ/プロジェクタペアリングおよびプロジェクタを概して利用するMantis Vision,Inc.(登録商標)から利用可能なシステム等の構造化光を伴うステレオは、アプリオリに把握されたドットのパターンをブロードキャストするように構成されるという点において特殊化されている。本質的に、システムは、ブロードキャストされるパターンを把握し、判定されるべき変数が深度であることを把握している。そのような構成は、算出負荷に関して比較的に効率的であり得、広FOV要件シナリオならびに他の近傍デバイスからブロードキャストされる周囲光およびパターンを伴うシナリオでは、課題となり得るが、多くのシナリオにおいて非常に効果的かつ効率的であり得る。PMD Technologies(登録商標),A.G.およびSoft Kinetic Inc.(登録商標)から利用可能なもの等の変調飛行時間タイプ深度センサを用いることで、エミッタは、振幅変調光の正弦波等の波を送信するように構成されてもよい。いくつかの構成では、近傍に、またはさらに重複して位置付けられ得る、カメラコンポーネントが、カメラコンポーネントのピクセルのそれぞれ上への戻り信号を受信し、深度マッピングが、判定/計算されてもよい。そのような構成は、幾何学形状が比較的にコンパクトであり得、高正確度、および低算出負荷であり得るが、画像分解能(オブジェクトのエッジにおいて等)、多経路誤差(センサが反射性のコーナーまたは光沢性のあるコーナーに照準され、いくつかの深度検出エイリアシングが存在するように、検出器が1つを上回る戻り経路を受信する結果となる等)の観点から課題となり得る。前述のLIDARとも称され得る、直接飛行時間センサが、LuminAR(登録商標)およびAdvanced Scientific Concepts, Inc.(登録商標)等の供給業者から利用可能である。これらの飛行時間構成を用いることで、概して、光のパルス(ピコ秒、ナノ秒、またはフェムト秒長の光のパルス等)は、その周囲に配向される世界に注ぐようにこの光ピングとともに送信される。次いで、カメラセンサ上の各ピクセルは、そのパルスが戻って来るのを待機し、光の速度を把握することで、各ピクセルにおける距離が、計算され得る。そのような構成は、変調飛行時間センサ構成の利点(無ベースライン、比較的に広いFOV、高正確度、比較的に低い算出負荷等)の多くを有し得、そして、数百万ヘルツ等の比較的に高いフレームレートを有し得る。それらはまた、比較的に高価であって、比較的に低い分解能を有し、明るい光に敏感であって、かつ多経路誤差を受けやすい。それらはまた、比較的に大型であって、かつ重くあり得る。 Returning to FIG. 16A and the stereo vs. time-of-flight depth sensor described above, each of these depth sensor types can be employed with wearable computing solutions as disclosed herein, but each has a variety of advantages. And have disadvantages. For example, many depth sensors have problems with black surfaces and glossy or reflective surfaces. Passive stereo depth sensing is a relatively simple method of obtaining triangulation to calculate depth using a depth camera or sensor, but can be a challenge when a wide field of view (“FOV”) is required. , May require relatively significant computing resources. In addition, such sensor types may have challenges with edge detection that may be important for the particular application at hand. Passive stereo can have challenges with untextured walls, low light conditions, and repeating patterns. Passive stereo depth sensors are available from manufacturers such as Intel® and Aquifi®. Stereo with texture projection (also known as "active stereo") is similar to passive stereo, but the texture projector broadcasts the projection pattern over the environment and the more textures are broadcast, the higher the accuracy. Degrees will be available in triangulation for depth calculations. Active stereo also requires relatively high computational resources, presents challenges when wide FOV is required, and may be somewhat suboptimal in detecting edges, but is effective for untextured walls. It addresses some of the challenges of passive stereo in that it is good in low light, and generally does not have problems with repeating patterns. Active stereo depth sensors are available from manufacturers such as Intel® and Aquifi®. Primesense, Inc. Developed by (Registered Trademark) and available under the Trademark Kinect®, as well as Mantis Vision, Inc., which makes general use of single camera / projector pairing and projectors. Stereos with structured light, such as systems available from (R), are specialized in that they are configured to broadcast a priorily grasped dot patterns. In essence, the system knows what pattern is being broadcast and knows that the variable to be determined is depth. Such a configuration can be relatively efficient with respect to computational load and can be challenging in wide FOV requirement scenarios and scenarios with ambient light and patterns broadcast from other nearby devices, but in many scenarios it is very high. Can be effective and efficient. PMD Technologies®, A.I. G. And Soft Kinetic Inc. By using a modulated flight time type depth sensor such as one available from®, the emitter may be configured to transmit a wave such as a sine wave of amplitude modulated light. In some configurations, the camera component may receive a return signal to each of the camera component's pixels, which may be located in close proximity or even more overlapping, and the depth mapping may be determined / calculated. Such configurations can have relatively compact geometry, high accuracy, and low computational load, but image resolution (such as at the edges of objects), multipath error (sensors are reflective). Aimed at a corner or a glossy corner, it can be a challenge in terms of (eg, resulting in the detector receiving more than one return path, as there are some depth detection aliasings). Direct flight time sensors, also referred to as the aforementioned LIDAR, are described in LuminAR® and Advanced Scientific Concepts, Inc. It is available from suppliers such as (Registered Trademark). By using these flight time configurations, in general, light pulses (such as picoseconds, nanoseconds, or femtosecond long light pulses) are transmitted with this optical ping to pour into the world oriented around it. Will be done. Each pixel on the camera sensor then waits for its pulse to come back, and by grasping the speed of light, the distance at each pixel can be calculated. Such a configuration can have many of the advantages of a modulated flight time sensor configuration (no baseline, relatively wide FOV, high accuracy, relatively low calculated load, etc.), and millions of hertz, etc. Can have a relatively high frame rate. They are also relatively expensive, have relatively low resolution, are sensitive to bright light, and are susceptible to multipath error. They can also be relatively large and heavy.

図16Bを参照すると、部分的上面図が、例証目的のために示され、ユーザの眼(12)と、視野(28、30)を伴うカメラ(14、赤外線カメラ等)と、眼(12)に向かって指向され、眼追跡、観察、および/または画像捕捉を促進する、光源または放射源(16、赤外線等)とを特徴とする。3つの外向き世界捕捉カメラ(124)が、深度カメラ(154)およびそのFOV(24)と、写真カメラ(156)およびそのFOV(26)と同様に、そのFOV(18、20、22)とともに示される。深度カメラ(154)から集められた深度情報は、重複FOVおよび他の前向きカメラからのデータを使用することによって強化されてもよい。例えば、システムは、深度センサ(154)からのサブVGA画像、世界カメラ(124)からの720p画像、場合によって、写真カメラ(156)からの2メガピクセルカラー画像のようなもので構成され得る。そのような構成は、共通FOVを共有する5つのカメラを有し、そのうちの3つは、異種可視スペクトル画像を伴い、1つのものは、色を伴い、第3のものは、比較的に低い分解能の深度を伴う。システムは、グレースケールおよびカラー画像においてセグメント化を行い、それらの画像を融合し、比較的に高い分解能の画像をそれらから作成し、いくつかのステレオ対応を得て、深度センサを使用して、ステレオ深度についての仮説的を提供し、ステレオ対応を使用して、深度センサのみから利用可能なものよりも有意に良好であり得る、より精緻化された深度マップを得るように構成されてもよい。そのようなプロセスは、ローカルモバイル処理ハードウェア上で起動されてもよいか、または、可能性として、エリア内の他者からのデータとともに(近傍で相互からテーブルを横断して着座している2人等)クラウドコンピューティングリソースを使用して、起動され、非常に精緻化されたマッピングとなり得る。別の実施形態では、そのような機能性を遂行するために、前述のセンサは全て、1つの統合されたセンサに組み合わせられてもよい。 Referring to FIG. 16B, a partial top view is shown for illustration purposes, the user's eye (12), a camera with a visual field (28, 30) (14, infrared camera, etc.), and an eye (12). It features a light source or radiation source (16, infrared, etc.) that is directed towards and facilitates eye tracking, observation, and / or image capture. Three outward world capture cameras (124), along with a depth camera (154) and its FOV (24), and a photographic camera (156) and its FOV (26), as well as its FOV (18, 20, 22). Shown. The depth information collected from the depth camera (154) may be enhanced by using data from overlapping FOVs and other forward facing cameras. For example, the system may consist of a sub VGA image from the depth sensor (154), a 720p image from the world camera (124), and optionally a 2 megapixel color image from the photographic camera (156). Such a configuration has five cameras that share a common FOV, three with heterogeneous visible spectrum images, one with color, and the third relatively low. With depth of resolution. The system segmented in grayscale and color images, fused those images, created relatively high resolution images from them, got some stereo support, and used depth sensors. It may be configured to provide a hypothesis about stereo depth and use stereo correspondence to obtain a more refined depth map that may be significantly better than that available only from depth sensors. .. Such a process may be launched on local mobile processing hardware or, possibly, is seated across a table from each other in the vicinity with data from others in the area2. (People, etc.) Can be invoked using cloud computing resources and become a very sophisticated mapping. In another embodiment, all of the aforementioned sensors may be combined into one integrated sensor to perform such functionality.

本発明の種々の例示的実施形態が、本明細書で説明されている。非限定的な意味で、これらの実施例が参照されている。それらは、本発明のより広くて適用可能な側面を例証するように提供されている。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、同等物が置換されてもよい。加えて、特定の状況、材料、物質組成、プロセス、プロセス行為、またはステップを本発明の目的、精神、または範囲に適合させるように、多くの修正が行われてもよい。さらに、当業者によって理解されるように、本明細書で説明および例証される個々の変形例のそれぞれは、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され、またはそれらと組み合わせられ得る、離散コンポーネントおよび特徴を有する。全てのそのような修正は、本開示と関連付けられる請求項の範囲内にあることを目的としている。 Various exemplary embodiments of the invention are described herein. In a non-limiting sense, these examples are referred to. They are provided to illustrate the broader and applicable aspects of the invention. Various modifications may be made to the invention described and the equivalent may be substituted without departing from the true spirit and scope of the invention. In addition, many modifications may be made to adapt a particular situation, material, material composition, process, process action, or step to the object, spirit, or scope of the invention. Moreover, as will be appreciated by those of skill in the art, each of the individual variants described and exemplified herein will be of some other embodiment without departing from the scope or spirit of the invention. It has discrete components and features that can be easily separated from or combined with any of the features. All such amendments are intended to be within the claims associated with this disclosure.

本発明は、本デバイスを使用して行われ得る方法を含む。本方法は、そのような好適なデバイスを提供する行為を含んでもよい。そのような提供は、エンドユーザによって行われてもよい。換言すると、「提供する」行為は、本方法において必要なデバイスを提供するために、取得する、アクセスする、接近する、位置付ける、設定する、起動する、電源投入する、または別様に作用するようにエンドユーザに要求するにすぎない。本明細書に記載される方法は、論理的に可能である記載された事象の任意の順序で、ならびに事象の記載された順序で実行されてもよい。 The present invention includes methods that can be performed using the device. The method may include the act of providing such a suitable device. Such provision may be made by the end user. In other words, the act of "providing" is to acquire, access, approach, position, configure, boot, power on, or otherwise act to provide the device required in this method. It just asks the end user. The methods described herein may be performed in any order of the described events that is logically possible, as well as in the order in which the events are described.

本発明の例示的側面が、材料選択および製造に関する詳細とともに、上記で記載されている。本発明の他の詳細に関して、これらは、上記の参照された特許および公開に関連して理解されるとともに、概して、当業者によって把握または理解され得る。同じことが、一般的または理論的に採用されるような付加的な行為の観点から、本発明の方法ベースの側面に関して当てはまり得る。 Exemplary aspects of the invention are described above, along with details regarding material selection and manufacture. With respect to other details of the invention, these may be understood in connection with the above-referenced patents and publications, as well as generally grasped or understood by one of ordinary skill in the art. The same may apply with respect to the method-based aspects of the invention in terms of additional actions as commonly or theoretically adopted.

加えて、本発明は、種々の特徴を随意に組み込む、いくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に関して考慮されるように説明または指示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、(本明細書に記載されるか、またはいくらか簡潔にするために含まれないかどうかにかかわらず)均等物が置換されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値、およびその規定範囲内の任意の他の規定値または介在値が、本発明内に包含されることが理解される。 In addition, while the invention has been described with reference to some embodiments that optionally incorporate various features, the invention has been described or directed to be considered for each variation of the invention. It is not limited to things. Various modifications may be made to the invention described, without departing from the true spirit and scope of the invention (as described herein or for some conciseness). Equivalents may be replaced (with or without). In addition, if a range of values is provided, all intervening values between the upper and lower bounds of the range, and any other defined or intervening values within that defined range, are included within the invention. Is understood.

また、本明細書で説明される発明の変形例の任意の随意的な特徴が、独立して、または本明細書で説明される特徴のうちのいずれか1つまたはそれを上回る特徴と組み合わせて、記載および請求され得ることが考慮される。単数形の項目の言及は、複数の同一項目が存在する可能性を含む。より具体的には、本明細書で、およびそれに関連付けられる請求項で使用されるように、「1つの(a、an)」、「該(said)」、および「該(the)」という単数形は、特に別様に記述されない限り、複数の指示対象を含む。換言すると、冠詞の使用は、上記の説明ならびに本開示と関連付けられる請求項で、対象項目の「少なくとも1つ」を可能にする。さらに、そのような請求項は、任意の随意的な要素を除外するように起草され得ることに留意されたい。したがって、この記述は、請求項要素の記載に関連する「だけ」、「のみ」、および同等物等のそのような排他的用語の使用、または「否定的」制限の使用のための先行詞としての機能を果たすことを目的としている。 Also, any optional feature of the modifications of the invention described herein can be used independently or in combination with any one or more of the features described herein. , Described and may be claimed. References to singular items include the possibility of multiple identical items. More specifically, as used herein and in the claims associated thereto, the singular "one (a, an)", "said", and "the". A form includes a plurality of referents unless otherwise stated. In other words, the use of articles allows for "at least one" of subject items in the above description as well as in the claims associated with the present disclosure. Further note that such claims may be drafted to exclude any voluntary elements. Therefore, this statement is an antecedent for the use of such exclusive terms, such as "only", "only", and equivalents, or the use of "negative" restrictions in connection with the description of the claim element. The purpose is to fulfill the function of.

そのような排他的用語を使用することなく、本開示と関連付けられる請求項での「備える」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加をそのような請求項に記載される要素の性質を変換するものと見なすことができるかどうかにかかわらず、任意の付加的な要素の包含を可能にするものとする。本明細書で特に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の有効性を維持しながら、可能な限り広義の一般的に理解されている意味を与えられるものである。 Without using such exclusive terms, the term "prepared" in the claims associated with this disclosure is such that a given number of elements are listed in such claims or the addition of features. Shall allow inclusion of any additional elements, regardless of whether or not can be considered as transforming the properties of the elements described in such claims. Except as specifically defined herein, all technical and scientific terms used herein are generally understood in the broadest possible sense while maintaining the validity of the claims. It is something that gives meaning.

本発明の広さは、提供される実施例および/または本明細書に限定されるものではないが、むしろ本開示と関連付けられる請求項の範囲のみによって限定されるものとする。 The breadth of the invention is not limited to the examples provided and / or the present specification, but rather is limited solely by the scope of the claims associated with the present disclosure.

Claims (20)

拡張現実(AR)ディスプレイシステムであって、Augmented reality (AR) display system
電磁場エミッタを備えるハンドヘルドコンポーネントであって、前記電磁場エミッタは、磁場を放出する、ハンドヘルドコンポーネントと、A handheld component comprising an electromagnetic field emitter, wherein the electromagnetic field emitter is a handheld component that emits a magnetic field.
頭部搭載型コンポーネントであって、ディスプレイシステムと、前記電磁場エミッタから第1の位置情報を検出する頭部搭載型電磁センサとを備える頭部搭載型コンポーネントと、A head-mounted component that includes a display system and a head-mounted electromagnetic sensor that detects first position information from the electromagnetic field emitter.
前記電磁場エミッタから第2の位置情報を検出するベルトパック電磁センサを備えるベルトパックと、A belt pack including a belt pack electromagnetic sensor that detects a second position information from the electromagnetic field emitter, and a belt pack.
第3の位置情報を提供するための付加的位置特定リソースと、Additional location-specific resources to provide third location information,
コントローラであって、前記コントローラは、前記頭部搭載型コンポーネント、前記ベルトパック、前記付加的位置特定リソースから前記第1の位置情報、前記第2の位置情報、前記第3の位置情報を受信することにより、座標系に対する位置および配向を決定する、コントローラとA controller that receives the first position information, the second position information, and the third position information from the head-mounted component, the belt pack, and the additional position-specific resource. With the controller, which determines the position and orientation with respect to the coordinate system.
を備え、Equipped with
前記第3の位置情報は、WiFi情報、セルラー情報、RADAR情報、LIDAR情報、GPS情報、カメラ情報、電磁情報、放射情報、慣性情報、歪み情報からなる群から選択され、The third position information is selected from the group consisting of WiFi information, cellular information, RADAR information, LIDAR information, GPS information, camera information, electromagnetic information, radiation information, inertial information, and distortion information.
前記第3の位置情報は、前記座標系に結び付けられている、ARディスプレイシステム。The third position information is an AR display system linked to the coordinate system.
前記付加的位置特定リソースは、WiFi送受信機を備える、請求項1に記載のARディスプレイシステム。The AR display system according to claim 1, wherein the additional location specifying resource includes a WiFi transceiver. 前記付加的位置特定リソースは、付加的電磁エミッタを備える、請求項1に記載のARディスプレイシステム。The AR display system of claim 1, wherein the additional locating resource comprises an additional electromagnetic emitter. 前記付加的位置特定リソースは、付加的電磁センサを備える、請求項1に記載のARディスプレイシステム。The AR display system according to claim 1, wherein the additional locating resource comprises an additional electromagnetic sensor. 前記付加的位置特定リソースは、ビーコンを備える、請求項1に記載のARディスプレイシステム。The AR display system according to claim 1, wherein the additional locating resource comprises a beacon. 前記ビーコンは、放射を放出する、請求項5に記載のARディスプレイシステム。The AR display system according to claim 5, wherein the beacon emits radiation. 前記放射は、赤外線放射であり、前記ビーコンは、赤外線LEDを備える、請求項6に記載のARディスプレイシステム。The AR display system according to claim 6, wherein the radiation is infrared radiation and the beacon comprises an infrared LED. 前記付加的位置特定リソースは、反射体を備える、請求項1に記載のARディスプレイシステム。The AR display system of claim 1, wherein the additional locating resource comprises a reflector. 前記反射体は、放射を反射する、請求項8に記載のARディスプレイシステム。The AR display system according to claim 8, wherein the reflector reflects radiation. 前記付加的位置特定リソースは、セルラーネットワーク送受信機を備える、請求項1に記載のARディスプレイシステム。The AR display system according to claim 1, wherein the additional locating resource includes a cellular network transceiver. 前記付加的位置特定リソースは、RADARエミッタを備える、請求項1に記載のARディスプレイシステム。The AR display system of claim 1, wherein the additional locating resource comprises a RADAR emitter. 前記付加的位置特定リソースは、RADAR検出器を備える、請求項1に記載のARディスプレイシステム。The AR display system according to claim 1, wherein the additional locating resource includes a RADAR detector. 前記付加的位置特定リソースは、LIDARエミッタを備える、請求項1に記載のARディスプレイシステム。The AR display system of claim 1, wherein the additional locating resource comprises a lidar emitter. 前記付加的位置特定リソースは、LIDAR検出器を備える、請求項1に記載のARディスプレイシステム。The AR display system according to claim 1, wherein the additional locating resource includes a lidar detector. 前記付加的位置特定リソースは、GPS送受信機を備える、請求項1に記載のARディスプレイシステム。The AR display system according to claim 1, wherein the additional location specifying resource includes a GPS transceiver. 前記付加的位置特定リソースは、既知の検出可能なパターンを有するポスタを備える、請求項1に記載のARディスプレイシステム。The AR display system of claim 1, wherein the additional locating resource comprises a poster with a known detectable pattern. 前記付加的位置特定リソースは、既知の検出可能なパターンを有するマーカを備える、請求項1に記載のARディスプレイシステム。The AR display system of claim 1, wherein the additional locating resource comprises a marker having a known detectable pattern. 前記付加的位置特定リソースは、慣性測定ユニットを備える、請求項1に記載のARディスプレイシステム。The AR display system according to claim 1, wherein the additional locating resource includes an inertial measurement unit. 前記付加的位置特定リソースは、歪みゲージを備える、請求項1に記載のARディスプレイシステム。The AR display system of claim 1, wherein the additional locating resource comprises a strain gauge. 前記ディスプレイシステムは、前記座標系に対して決定された位置および配向に少なくとも部分的に基づいて、前記頭部搭載型コンポーネントを装着しているユーザに仮想コンテンツを表示する、請求項1に記載のARディスプレイシステム。10. The display system of claim 1, wherein the display system displays virtual content to a user wearing the head-mounted component based at least in part on a determined position and orientation with respect to the coordinate system. AR display system.
JP2021168082A 2016-02-05 2021-10-13 Systems and methods for augmented reality Active JP7297028B2 (en)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662292185P 2016-02-05 2016-02-05
US62/292,185 2016-02-05
US201662298993P 2016-02-23 2016-02-23
US62/298,993 2016-02-23
US15/062,104 2016-03-05
US15/062,104 US20160259404A1 (en) 2015-03-05 2016-03-05 Systems and methods for augmented reality
JP2018540434A JP2019505926A (en) 2016-02-05 2017-02-06 System and method for augmented reality

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018540434A Division JP2019505926A (en) 2016-02-05 2017-02-06 System and method for augmented reality

Publications (2)

Publication Number Publication Date
JP2022002144A true JP2022002144A (en) 2022-01-06
JP7297028B2 JP7297028B2 (en) 2023-06-23

Family

ID=59501080

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018540434A Withdrawn JP2019505926A (en) 2016-02-05 2017-02-06 System and method for augmented reality
JP2021168082A Active JP7297028B2 (en) 2016-02-05 2021-10-13 Systems and methods for augmented reality

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018540434A Withdrawn JP2019505926A (en) 2016-02-05 2017-02-06 System and method for augmented reality

Country Status (8)

Country Link
EP (1) EP3411779A4 (en)
JP (2) JP2019505926A (en)
KR (1) KR20180110051A (en)
CN (2) CN108700939B (en)
AU (1) AU2017214748B9 (en)
CA (1) CA3011377C (en)
IL (3) IL301449B1 (en)
WO (1) WO2017136833A1 (en)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2016225963B2 (en) 2015-03-05 2021-05-13 Magic Leap, Inc. Systems and methods for augmented reality
US10180734B2 (en) 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
EP3384468A4 (en) 2015-12-04 2019-01-30 Magic Leap, Inc. Relocalization systems and methods
AU2017305227B2 (en) 2016-08-02 2021-12-16 Magic Leap, Inc. Fixed-distance virtual and augmented reality systems and methods
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
IL298822A (en) 2017-03-17 2023-02-01 Magic Leap Inc Mixed reality system with color virtual content warping and method of generating virtual content using same
JP7009495B2 (en) 2017-03-17 2022-01-25 マジック リープ, インコーポレイテッド Mixed reality system with multi-source virtual content synthesis and how to use it to generate virtual content
CN110431599B (en) 2017-03-17 2022-04-12 奇跃公司 Mixed reality system with virtual content warping and method for generating virtual content using the same
CN107807738B (en) * 2017-12-04 2023-08-15 成都思悟革科技有限公司 Head motion capturing system and method for VR display glasses
US10558260B2 (en) 2017-12-15 2020-02-11 Microsoft Technology Licensing, Llc Detecting the pose of an out-of-range controller
CN108269310A (en) * 2018-03-20 2018-07-10 公安部上海消防研究所 A kind of interactive exhibition system, method and device
JP7413345B2 (en) 2018-07-23 2024-01-15 マジック リープ, インコーポレイテッド Intra-field subcode timing in field-sequential displays
WO2020023383A1 (en) 2018-07-23 2020-01-30 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
US11227435B2 (en) 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system
CN112805750A (en) * 2018-08-13 2021-05-14 奇跃公司 Cross-reality system
CN112654404A (en) 2018-09-05 2021-04-13 奇跃公司 Directional emitter/sensor for enhanced electromagnetic tracking in display systems
US11666203B2 (en) * 2018-10-04 2023-06-06 Biosense Webster (Israel) Ltd. Using a camera with an ENT tool
EP3861387A4 (en) 2018-10-05 2022-05-25 Magic Leap, Inc. Rendering location specific virtual content in any location
EP3873325A1 (en) * 2018-10-30 2021-09-08 Boston Scientific Scimed, Inc. Devices and methods for treatment of body lumens
US11353588B2 (en) 2018-11-01 2022-06-07 Waymo Llc Time-of-flight sensor with structured light illuminator
DE102020110212A1 (en) * 2019-04-16 2020-10-22 Ascension Technology Corporation Position and orientation determination with a Helmholtz device
CN110223686A (en) * 2019-05-31 2019-09-10 联想(北京)有限公司 Audio recognition method, speech recognition equipment and electronic equipment
JP2022551735A (en) 2019-10-15 2022-12-13 マジック リープ, インコーポレイテッド Cross-reality system using wireless fingerprints
JP2022551733A (en) 2019-10-15 2022-12-13 マジック リープ, インコーポレイテッド Cross-reality system with localization service
WO2021096931A1 (en) 2019-11-12 2021-05-20 Magic Leap, Inc. Cross reality system with localization service and shared location-based content
EP4073763A4 (en) 2019-12-09 2023-12-27 Magic Leap, Inc. Cross reality system with simplified programming of virtual content
US11410395B2 (en) 2020-02-13 2022-08-09 Magic Leap, Inc. Cross reality system with accurate shared maps
JP2023514208A (en) 2020-02-13 2023-04-05 マジック リープ, インコーポレイテッド Cross-reality system with map processing using multi-resolution frame descriptors
US11830149B2 (en) 2020-02-13 2023-11-28 Magic Leap, Inc. Cross reality system with prioritization of geolocation information for localization
CN111652261A (en) * 2020-02-26 2020-09-11 南开大学 Multi-modal perception fusion system
CN113539039B (en) * 2021-09-01 2023-01-31 山东柏新医疗制品有限公司 Training device and method for drug application operation of male dilatation catheter
CN114882773A (en) * 2022-05-24 2022-08-09 华北电力大学(保定) Magnetic field learning system based on Augmented Reality
KR20240047186A (en) * 2022-10-04 2024-04-12 삼성전자주식회사 Augmented reality apparatus and operating method thereof

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001208529A (en) * 2000-01-26 2001-08-03 Mixed Reality Systems Laboratory Inc Measuring apparatus, control method thereof and memory medium
JP2005500721A (en) * 2001-06-25 2005-01-06 リチャーズ アンガス VTV system
JP2007134785A (en) * 2005-11-08 2007-05-31 Konica Minolta Photo Imaging Inc Head mounted video display apparatus
US20110238399A1 (en) * 2008-11-19 2011-09-29 Elbit Systems Ltd. System and a method for mapping a magnetic field
JP2015079447A (en) * 2013-10-18 2015-04-23 任天堂株式会社 Information processing program, information processing device, information processing system, and information processing method
US20160026253A1 (en) * 2014-03-11 2016-01-28 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2115776T3 (en) * 1992-08-14 1998-07-01 British Telecomm POSITION LOCATION SYSTEM.
CA2358682A1 (en) * 1992-08-14 1994-03-03 British Telecommunications Public Limited Company Position location system
US20070155589A1 (en) * 2002-12-04 2007-07-05 Philip Feldman Method and Apparatus for Operatively Controlling a Virtual Reality Scenario with an Isometric Exercise System
KR20090055803A (en) * 2007-11-29 2009-06-03 광주과학기술원 Method and apparatus for generating multi-viewpoint depth map, method for generating disparity of multi-viewpoint image
US8926511B2 (en) * 2008-02-29 2015-01-06 Biosense Webster, Inc. Location system with virtual touch screen
US8405680B1 (en) * 2010-04-19 2013-03-26 YDreams S.A., A Public Limited Liability Company Various methods and apparatuses for achieving augmented reality
EP2887311B1 (en) * 2013-12-20 2016-09-14 Thomson Licensing Method and apparatus for performing depth estimation
US20150358539A1 (en) * 2014-06-06 2015-12-10 Jacob Catt Mobile Virtual Reality Camera, Method, And System
CN205007551U (en) * 2015-08-19 2016-02-03 深圳游视虚拟现实技术有限公司 Human -computer interaction system based on virtual reality technology

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001208529A (en) * 2000-01-26 2001-08-03 Mixed Reality Systems Laboratory Inc Measuring apparatus, control method thereof and memory medium
JP2005500721A (en) * 2001-06-25 2005-01-06 リチャーズ アンガス VTV system
JP2007134785A (en) * 2005-11-08 2007-05-31 Konica Minolta Photo Imaging Inc Head mounted video display apparatus
US20110238399A1 (en) * 2008-11-19 2011-09-29 Elbit Systems Ltd. System and a method for mapping a magnetic field
JP2015079447A (en) * 2013-10-18 2015-04-23 任天堂株式会社 Information processing program, information processing device, information processing system, and information processing method
US20160026253A1 (en) * 2014-03-11 2016-01-28 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality

Also Published As

Publication number Publication date
IL293782B2 (en) 2023-08-01
CN108700939B (en) 2022-07-05
CA3011377C (en) 2024-05-14
IL301449B1 (en) 2024-02-01
IL260614A (en) 2018-08-30
EP3411779A4 (en) 2019-02-20
AU2017214748A1 (en) 2018-08-02
AU2017214748B2 (en) 2021-05-06
IL293782A (en) 2022-08-01
WO2017136833A1 (en) 2017-08-10
IL293782B1 (en) 2023-04-01
CA3011377A1 (en) 2017-08-10
JP2019505926A (en) 2019-02-28
AU2017214748B9 (en) 2021-05-27
CN108700939A (en) 2018-10-23
IL301449A (en) 2023-05-01
KR20180110051A (en) 2018-10-08
CN114995647A (en) 2022-09-02
JP7297028B2 (en) 2023-06-23
EP3411779A1 (en) 2018-12-12

Similar Documents

Publication Publication Date Title
JP7297028B2 (en) Systems and methods for augmented reality
US10678324B2 (en) Systems and methods for augmented reality
US11429183B2 (en) Systems and methods for augmented reality
US11403827B2 (en) Method and system for resolving hemisphere ambiguity using a position vector
KR20200116459A (en) Systems and methods for augmented reality
US11256090B2 (en) Systems and methods for augmented reality
NZ735802A (en) Traffic diversion signalling system and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211013

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221014

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230515

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230613

R150 Certificate of patent or registration of utility model

Ref document number: 7297028

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150