CN112601975A - 雷达头部姿势定位 - Google Patents

雷达头部姿势定位 Download PDF

Info

Publication number
CN112601975A
CN112601975A CN201980044585.8A CN201980044585A CN112601975A CN 112601975 A CN112601975 A CN 112601975A CN 201980044585 A CN201980044585 A CN 201980044585A CN 112601975 A CN112601975 A CN 112601975A
Authority
CN
China
Prior art keywords
radar
measurement unit
frame
map
fingerprints
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980044585.8A
Other languages
English (en)
Inventor
A·伊利克
M·G·扎勒特
K·K·谢伊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of CN112601975A publication Critical patent/CN112601975A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/52—Discriminating between fixed and moving objects or between objects moving at different speeds
    • G01S13/536—Discriminating between fixed and moving objects or between objects moving at different speeds using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G01S13/343—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal using sawtooth modulation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/581—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/582—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of interrupted pulse modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/585—Velocity or trajectory determination systems; Sense-of-movement determination systems processing the video signal in order to evaluate or display the velocity value
    • G01S13/587—Velocity or trajectory determination systems; Sense-of-movement determination systems processing the video signal in order to evaluate or display the velocity value using optical means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/588—Velocity or trajectory determination systems; Sense-of-movement determination systems deriving the velocity value from the range measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726—Multiple target tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G01S13/874—Combination of several systems for attitude determination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/28—Details of pulse systems
    • G01S7/285—Receivers
    • G01S7/288—Coherent receivers
    • G01S7/2883—Coherent receivers using FFT processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/35—Details of non-pulse systems
    • G01S7/352—Receivers
    • G01S7/356—Receivers involving particularities of FFT processing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Abstract

一种增强现实装置具有雷达系统，该雷达系统生成真实世界对象的位置的雷达地图。惯性测量单元检测诸如加速度、重力和倾斜范围的测量值。来自测量单元的值随时间漂移。处理雷达地图以确定指纹，并且将指纹与来自测量单元的值组合以存储姿势估计。比较不同时间的姿势估计，以确定测量单元的漂移。调整测量单元滤波器以校正漂移。

Description

雷达头部姿势定位
相关申请的交叉引用
本申请要求于2018年5月31日提交的美国临时专利申请No.62/678,621的优先权，其全部内容通过引用整体合并于此。
技术领域
本发明涉及增强现实装置以及显示被渲染内容的方法。
背景技术
现代的计算和显示技术促进了诸如“虚拟现实”观看装置的视觉感知装置的发展。虚拟现实观看装置可以是向用户呈现两个图像的可穿戴装置，一个图像用于左眼，一个图像用于右眼。图像中的对象可能以允许大脑将这些对象处理为三维对象的方式而彼此不同。当图像不断变化时，可以模拟三维运动。虚拟现实观看装置通常涉及数字或虚拟图像信息的呈现，而对其他真实世界对象不透明。
其他视觉感知装置，即所谓的“增强现实”观看装置通常包括允许数字和虚拟图像信息的呈现作为对用户周围的实际世界的视觉化的增强的技术。增强现实观看装置可以例如具有一个或多个透明目镜，该透明目镜允许用户看到目镜后方的真实世界对象。这种目镜可以用作波导，激光通过该波导从激光投射器朝向用户的眼睛传播。由投射器产生的激光图案在眼睛的视网膜上变得可见。然后，眼睛的视网膜接收来自目镜后方的真实世界对象的光和来自投射器的激光。因此，在用户的感知中，真实世界对象通过来自投射器的图像数据而被增强。
增强现实装置通常具有即使用户会移动其头部也允许用户感知到一个对象相对于真实世界对象保持在静止位置的技术。例如，如果用户要将其头部向右旋转，则被渲染对象必须在用户视图内与真实世界对象一起向左旋转。可以通过诸如惯性测量单元(IMU)的测量装置来跟踪增强现实装置的运动，以使得可以经由投射器来调整对象的位置。
发明内容
在一些实施例中，本发明提供了一种增强现实装置，其包括头戴式框架、雷达系统、测量单元、测量单元滤波器、传感器融合模块、渲染模块、目镜和投射器。雷达系统在慢域中的第一时间和第二时间生成真实世界对象相对于用户的位置的第一雷达地图和第二雷达地图。测量单元可以被固定到框架，并且在慢域中的第一时间和第二时间检测第一测量值和第二测量值，每个测量值指示测量单元的位置和运动。测量单元滤波器可以被连接到测量单元。传感器融合模块可以被连接到图像处理模块，并且可以可操作以(i)确定第一姿势估计和第二姿势估计，第一姿势估计是基于第一组雷达指纹相对于第一测量值，第二姿势估计是基于第二组雷达指纹相对于第二测量值，(ii)通过将第一姿势估计与第二姿势估计进行比较来确定测量单元的漂移，以及(iii)调整测量单元滤波器以校正漂移。渲染模块基于第二姿势来确定被渲染对象的期望位置。目镜可以被固定到框架。投射器可以被固定到框架，并且可以可操作以将数据转换为光以便生成被渲染对象，以及通过目镜向用户显示在期望位置的被渲染对象。
在一些实施例中，本发明还提供了另一种增强现实装置，其包括可头戴式框架、雷达系统、测量单元、测量单元滤波器、传感器融合模块、渲染模块、目镜和投射器。雷达系统包括：至少第一雷达装置，其具有：第一雷达发射器，其被固定到框架，并且在慢域中的第一时间和第二时间发射无线电波；以及第一雷达接收器，其被固定到框架，并且在无线电波从表面被反射之后检测无线电波；雷达跟踪模块，其连接到第一雷达接收器，并且分别确定在无线电波的发射与检测之间的在快域中的第一时间间隔和第二时间间隔；雷达绘图模块，其连接到雷达跟踪模块，并且至少基于快域中的相应时间来生成真实世界对象相对于用户的位置的第一雷达地图和第二雷达地图；图像处理模块，其连接到雷达绘图模块，并且分别基于真实世界对象在第一雷达地图和第二雷达地图中的位置来计算第一组雷达指纹和第二组雷达指纹。测量单元可以被固定到框架，并且在慢域中的第一时间和第二时间检测第一测量值和第二测量值，每个测量值指示测量单元的位置和运动；测量单元滤波器可以被连接到测量单元。传感器融合模块可以被连接到图像处理模块，并且可以可操作以(i)确定第一姿势估计和第二姿势估计，第一姿势估计是基于第一组雷达指纹相对于第一测量值，第二姿势估计是基于第二组雷达指纹相对于第二测量值，(ii)通过将第一姿势估计与第二姿势估计进行比较来确定测量单元的漂移，以及(iii)调整测量单元滤波器以校正漂移。渲染模块可以基于第二姿势来确定被渲染对象的期望位置。目镜可以被固定到框架。投射器可以被固定到框架，并且可以可操作以将数据转换为光以便生成被渲染对象，以及通过目镜向用户显示在期望位置的被渲染对象。
在一些实施例中，本发明进一步提供了另一增强现实装置，其包括头戴式框架、雷达系统、测量单元、测量单元滤波器、传感器融合模块、渲染模块、目镜和投射器。雷达系统可以被固定到框架并且可以包括：雷达发射器，其被固定到框架，并且通过发射第一无线电波来初始化第一雷达循环的执行；雷达接收器，其被固定到框架，并且在第一无线电波可以从表面被反射之后检测第一无线电波；雷达跟踪模块，其连接到雷达接收器，并且确定在第一无线电波的发射与检测之间的第一时间；雷达绘图模块，其连接到雷达跟踪模块，并且至少基于第一无线电波的发射与检测之间的第一时间来生成真实世界对象相对于用户的位置的第一雷达地图；以及图像处理模块，其连接到雷达绘图模块，并且基于真实世界对象在第一雷达地图中的位置来计算第一组雷达指纹，以完成第一雷达循环。测量单元可以被固定到框架并可以检测第一测量值，第一测量值指示被固定到框架的测量单元的位置和运动。传感器融合模块被连接到图像处理模块。测量单元可以确定第一组雷达指纹相对于第一测量值的第一姿势估计。雷达系统执行第二雷达循环，其包括：发射第二无线电波；在第二无线电波从表面被反射之后，检测第二无线电波；确定在第二无线电波的发射与检测之间的第二时间；至少基于在第二无线电波的发射与检测之间的第二时间，生成真实世界对象相对于用户的位置的第二雷达地图；以及基于真实世界对象在第二雷达地图中的位置来计算第二雷达指纹。测量单元检测第二测量值，第二测量值指示被固定到框架的测量单元的位置和运动。传感器融合模块：可以确定第二组雷达指纹相对于第二测量值的第二姿势估计；可以通过将第一姿势估计与第二姿势估计进行比较来确定测量单元的漂移；以及调整可以被连接到测量单元的测量单元滤波器以校正漂移。渲染模块可以基于第二姿势来确定被渲染对象的期望位置。目镜可以被固定到框架。投射器可以被固定到框架并且可以可操作以将数据转换为光以便生成被渲染对象，以及通过目镜向用户显示在期望位置的被渲染对象。
在一些实施例中，本发明还提供一种显示被渲染内容的方法。头戴式框架可被附到用户的头部。可以执行多个雷达循环，以在慢域中的第一时间和第二时间生成真实世界对象相对于用户的位置的第一雷达地图和第二雷达地图。可以在慢域中的第一时间和第二时间检测第一测量值和第二测量值，每个测量值指示被固定到框架的测量单元的位置和运动。可以确定第一姿势估计和第二姿势估计，第一姿势估计是基于第一组雷达指纹相对于第一测量值，第二姿势估计是基于第二组雷达指纹相对于第二测量值。可以通过将第一姿势估计与第二姿势估计进行比较来确定测量单元的漂移。可以调整被连接到测量单元的测量单元滤波器以校正漂移。可以基于第二姿势估计来确定被渲染对象的期望位置。可以将数据转换为光以生成被渲染对象。可以通过被固定到头戴式框架的目镜向用户显示在期望位置的被渲染对象。
在一些实施例中，本发明提供了显示被渲染内容的另一种方法。头戴式框架可被附到用户的头部。可以执行多个雷达循环，该雷达循环包括：在慢域中的第一时间和第二时间发射无线电波；在无线电波从表面被反射之后检测无线电波；分别确定在无线电波的发射与检测之间的在快域中的第一时间间隔和第二时间间隔；至少基于快域中的相应时间来生成真实世界对象相对于用户的位置的第一雷达地图和第二雷达地图；以及分别基于在第一雷达地图和第二雷达地图中的真实世界对象的位置来计算第一组雷达指纹和第二组雷达指纹。可以在慢域中的第一时间和第二时间检测第一测量值和第二测量值，每个测量值指示被固定到框架的测量单元的位置和运动。可以确定第一姿势估计和第二姿势估计，第一姿势估计是基于第一组雷达指纹相对于第一测量值，第二姿势估计是基于第二组雷达指纹相对于第二测量值。可以通过将第一姿势估计与第二姿势估计进行比较来确定测量单元的漂移；调整被连接到测量单元的测量单元滤波器以校正漂移。可以基于第二姿势估计来确定被渲染对象的期望位置。可以将数据转换为光以生成被渲染对象。可以通过被固定到头戴式框架的目镜向用户显示在期望位置的被渲染对象。
在一些实施例中，本发明提供了显示被渲染内容的另一方法。可以将头戴式框架附到用户的头部。可以执行第一雷达循环，其可以包括：发射第一无线电波；在第一无线电波从表面被反射之后检测第一无线电波；确定在第一无线电波的发射与检测之间的第一时间；至少基于在第一无线电波的发射与检测之间的第一时间，生成真实世界对象相对于用户的位置的第一雷达地图；以及基于真实世界对象在第一雷达地图中的位置，计算第一组雷达指纹；检测第一测量值，第一测量值指示被固定到框架的测量单元的位置和运动。可以确定第一组雷达指纹相对于第一测量值的第一姿势估计。可以执行第二雷达循环，其可以包括：发射第二无线电波；在第二无线电波从表面被反射之后检测第二无线电波；确定在第二无线电波的发射与检测之间的第二时间；至少基于在第二无线电波的发射与检测之间的第二时间，生成真实世界对象相对于用户的位置的第二雷达地图；以及基于真实世界对象在第二雷达地图中的位置，计算第二组雷达指纹。可以检测第二测量值，第二测量值指示被固定到框架的测量单元的位置和运动。可以确定第二组雷达指纹相对于第二测量值的第二姿势估计可以通过将第一姿势估计与第二姿势估计进行比较来确定测量单元的漂移可以调整被连接到测量单元的测量单元滤波器以校正漂移。可以基于第二姿势估计来确定被渲染对象的期望位置可以将数据转换为光以生成被渲染对象。可以通过被固定到头戴式框架的目镜向用户显示在期望位置的被渲染对象。
附图说明
通过示例并参考附图进一步描述本发明，其中：
图1是根据本发明的实施例的增强现实装置以及佩戴该增强现实装置的用户的俯视图；
图2是示出了为了生成视觉地图(map)而捕获视觉数据的透视图；
图3是增强现实装置的其他组件的框图；
图4是示出了如何使用增强现实装置的雷达系统来校正增强现实装置的测量单元的漂移的流程图；
图5是示出了使用雷达系统检测增强现实装置周围的表面的透视图；
图6是示出了如何创建雷达地图的时间图；
图7是示出了被检测到以确定指纹的对象的雷达地图；
图8是示出了如何对测量单元数据和雷达传感器阵列数据进行校正的框图；
图9是示出了增强现实装置的初始化过程的流程图；
图10示出了用户使用增强现实装置看到的渲染；以及
图11是根据本发明的一个实施例的可以在本发明的系统中找到应用的计算机形式的机器的框图。
具体实施方式
增强现实装置具有雷达系统，该雷达系统生成真实世界对象的位置的雷达地图。惯性测量单元检测诸如加速度、重力和倾斜范围的测量值。来自测量单元的值随时间漂移。雷达地图被处理以确定指纹，并且该指纹可以与来自测量单元的值组合以存储姿势估计。可以比较不同时间的姿势估计以确定测量单元的漂移。可以调整测量单元滤波器以校正漂移。
与诸如“可以是”或“可以具有”等可选术语相对，在本文中诸如“是”、“具有”等的肯定性术语是优选的。使用肯定性术语以符合以下要求：(i)描述最佳模式；(ii)提供使本领域普通技术人员能够实现本发明的描述；以及(iii)提供示例。然而，应当理解，在不脱离如权利要求中更广泛地限定的本发明的范围和精神的情况下，可以修改使用肯定性术语描述的具体细节。
图1示出了根据本发明的实施例的增强现实装置10以及用户12的头部。增强现实装置10可以包括头戴式框架14以及可以被安装到框架14的雷达系统16、测量单元18、第一目镜20和第二目镜22、第一投射器24和第二投射器26和视觉相机28。
雷达系统16可以包括第一、第二和第三雷达装置30、32和34。每个雷达装置30、32和34可以被安装到框架14。每个雷达装置30、32和34具有特定的取向，该特定的取向允许雷达装置30、32或34在期望方向上发射和接收无线电波。
雷达系统可以包括一个或多个用于发射和/或接收信号的天线。雷达系统可以具有芯片，该芯片具有固定数量的被固定在该芯片上的天线。为了获得期望的信号数量和/或方向性，可以使用一个以上的芯片，并且可以根据需要来放置每个芯片以将信号引导到期望的位置。可替代地，雷达系统可以具有单个芯片，该单个芯片具有可以被放置在不同的位置并指向不同方向以获得期望的雷达信号的一个或多个天线。
测量单元18可以是惯性测量单元(IMU)。测量单元18可以包括一个或多个加速度计、陀螺仪和磁力计。如本领域普通技术人员通常所理解的，加速度计测量加速度，该加速度可以被积分以确定速度，并且该速度可以被积分以确定位置。陀螺仪可以确定角度取向的变化。磁力计可以确定重力的方向，并且可以确定测量单元相对于重力方向的“姿态”。
投射器24和26可操作以将数据转换为光(例如，激光或LED光)并生成被渲染对象。投射器24和26可以具有被定向为分别将激光引导到目镜20和22中的激光器。目镜20和22可以是波导，该波导也可以是透明的。
雷达装置30、32或34中的每一个具有大约30°的视场和0.1至4米的工作范围。雷达装置30、32和34通常被操作为发射和接收无线电波。无线电波可以是调频连续波。无线电波可以是毫米波雷达(例如，在60GHz频带内工作)。每个雷达装置30、32和34可以具有一个以上的发射(TX)信道(例如，两个TX信道)和一个以上的接收(RX)信道(例如，四个RX信道)，其中一些信道测量冗余信号。
视觉相机28以大约60Hz捕获灰度图像和深度地图。视觉相机28具有大约90°的视场和大约1至4米的工作范围。
图2更详细地示出了视觉系统的使用。视觉系统捕获对象38，并且深度传感器可以确定增强现实装置10距对象38的距离。视觉相机28连续地捕获真实世界对象38的图像。可以通过使用同步定位和绘图(mapping)(SLAM)和视觉里程计程序来处理来自视觉系统的图像而确定用户的头部姿势和位置。虚线表示连续地对图像的进一步处理。图像的这种连续处理提供了指示增强现实装置10相对于真实世界对象38的运动的数据。因为深度传感器和重力传感器确定了真实世界对象38相对于重力的位置，并且视觉相机28检测增强现实装置10相对于真实世界对象38的运动，所以还可以计算增强现实装置10相对于重力的运动。可以采用其他绘图三维环境的方法，例如，使用位于房间内的固定位置的一个或多个相机。然而，深度传感器和视觉系统在增强现实装置10内的集成提供了更加移动性的应用。
如图3所示，增强现实装置10可以包括装置上软件堆叠40、云数据库42和头戴式装置硬件44。
头戴式装置硬件44包括第一、第二和第三雷达装置30、32和34、测量单元18和视觉相机28。每个雷达装置30、32或34具有各自的雷达发射器46和各自的雷达接收器48。测量单元18可以包括多个测量装置，包括加速度计50、陀螺仪52和磁力计54。
头戴式装置硬件44的所有组件被直接或间接地安装到框架14，因此相对于框架14是固定的。装置上软件堆叠40可以包括用户界面60、应用界面62、渲染模块64、实时跟踪模块66、绘图和地图管理模块68、传感器融合模块70、图像处理模块72和硬件抽象层(HAL)74。
实时跟踪模块66可以包括雷达跟踪模块76、雷达绘图模块78、视觉跟踪模块80和视觉绘图模块82。绘图和地图管理模块68可以包括至少一个雷达地图84、视觉地图86和地图合并与优化模块88。
装置上软件堆叠40的组件被示出为单独的模块。然而，这些模块可以以计算机程序内的调用和子例程的形式而相互连接。装置上软件堆叠40的组件可以通过硬件抽象层74连接到头戴式装置硬件44的组件。重要的是，雷达跟踪模块76可以连接到雷达装置30、32和34中的雷达发射器46和雷达接收器48，并且雷达绘图模块78可以连接到雷达跟踪模块76。同样重要的是，视觉追踪模块80可以连接到视觉相机28，并且视觉绘图模块82可以连接到视觉跟踪模块80。
雷达绘图模块78创建雷达地图84，并且视觉跟踪模块80创建视觉地图86。图像处理模块72读取雷达地图84和视觉地图86，以确定地图内的特征。另外的雷达地图90和视觉地图92可以位于云数据库42内。云数据库42可以连接到绘图和地图管理模块68，使得雷达地图90和视觉地图92可以被存储到云数据库42中或可以从云数据库42中下载。传感器融合模块70可以连接到图像处理模块72和测量单元18的测量装置。
在使用中，用户12将框架14固定到他们的头部上。框架14具有搁在用户12的鼻子上的桥接部分96和在用户12的耳朵之上延伸并固定到用户12的耳朵上或固定在他们的头后部上的镜腿98。目镜20和22可以位于用户12的眼睛前方。安装在框架14上的所有组件，包括雷达系统16和测量单元18，可以相对于用户12的头部是固定的并且在用户12移动他们的头部时与用户12的头部一起移动。
视觉相机28连续捕获用户12前方的对象的灰度图像。视觉跟踪模块80控制视觉相机28。视觉绘图模块82基于从视觉相机28接收的灰度图像生成视觉地图86。图像处理模块72处理视觉地图86以确定视觉地图86内的对象。最新的视觉地图86可以作为视觉地图86被存储在绘图和地图管理模块68内，以及较早的地图可以作为视觉地图92被存储在云数据库42内。因此，“视觉系统”可以由视觉相机28、视觉跟踪模块80、视觉绘图模块82、视觉地图86和92以及图像处理模块72提供。
图4示出了图1和3的增强现实装置10的后续功能。在110处，可以经由TX信道对世界进行照明。参照图3，雷达发射器46中的每一个雷达发射器发射无线电波。无线电波可以从一个或多个表面被反射，然后可以由相应的雷达接收器48检测。无线电波具有大约60GHz的频率，这允许非常精确地测量距一个或多个表面的距离。另外，可以以大约100Hz至10kHz的慢域中的频率来发射和检测多个无线电波。慢域中的频率可能足够高，以确保距离测量的非常快的采样率。
如图1所示，雷达装置32可以指向用户12的前方，以检测用户12前方的表面。雷达装置30可以指向用户12的左方。尽管在图1中未清楚地示出，雷达装置34也可以在垂直方向上，即，朝纸外指向，以检测用户12上方的天花板的位置。虽然在给定的实施例中，雷达装置30、32和34位于同一平面中，但是在另一实施例中，它们可以位于不同的平面中。另一实施例可以使用三个以上的雷达装置来降低搜索复杂度，尽管三个雷达装置是最佳的，因为这提供了要检测的大量自由度而没有设计上的不必要的复杂性。
雷达装置30、32和34可以由雷达跟踪模块76控制。雷达跟踪模块76将慢域中的频率提供给雷达发射器46。雷达跟踪模块76还在快域中通过雷达接收器48对无线电波进行采样。如在雷达工程领域中通常所理解的，当无线电波从比较近的表面更远的表面被反射时，该无线电波将在发射与接收之间花费更长的时间。发射与接收之间的时间可以位于快域中，并且该时间可以是无线电波从其反射的表面的距离的指示符。每个雷达接收器48具有可以检测距二维区域之上的表面的距离的检测器阵列。另外，雷达接收器48检测后向散射。不同类型的表面具有不同的后向散射特性，因此后向散射是例如表面粗糙度或纹理的表面类型的测量。每个表面的距离、其在二维空间中的位置、其大小和表面类型最终都用于提供指纹，该指纹可以包括各个表面和这些表面的组合。
图5示出了到达可以由用户12佩戴的增强现实装置10的前方、左方和上方的无线电波的发射和接收。每个TX信道可以发射表示相应的TX信号的相应的无线电波110A，以及每个RX信道可以接收表示相应的RX信号的相应的无线电波112A。因此检测到到达增强现实装置10的左方和右方的表面以及到增强现实装置10上方的天花板的距离。
在图4中，在114处，可以读取所有IMU数据。图3中的传感器融合模块70读取包括加速度计50、陀螺仪52和磁力计54的测量单元18的输出。在图4中的116处，可以确定装置的三维(3D)取向。在图3中，传感器融合模块70基于来自加速度计50、陀螺仪52和磁力计54的读数来计算增强现实装置10的3D取向。
在图4中，在118处，可以创建归一化的距离多普勒(range-Doppler)地图。在图3中，雷达绘图模块78创建由雷达跟踪模块76检测到的所有表面的地图，并将该地图存储为雷达地图84。雷达地图84可以是二维地图，该二维地图可包括表面、他们的位置和纹理。多普勒地图可以基于来自测量单元18的数据而被归一化以补偿(用户的例如自我运动)运动。
距离多普勒地图在本领域中是众所周知的，并且许多雷达传感器系统自动创建一个或多个距离多普勒地图。通常，系统发出一个或多个TX信号，并且一个或多个对象将信号反射回(RX)。可以使用一种或多种操作将接收到的信号转换为距离多普勒地图，该一种或多种操作包括到慢时间图/快时间图的转换、窗口傅立叶快速变换(FFT)和背景减除。只要标准形式是在y轴上的距离和在x轴上的速度，就可以使用其他创建距离多普勒地图的合适的方法。
图6示出了如何创建距离多普勒地图。图5示出了三个雷达传感器发射(110A)和接收(112A)信号，并且在图6中，每个TX信号(110A)可以由频域图113表示，每个RX信道(112A)可以由时域图115表示。频域图113示出了相应的TX信道可以发射由脉冲表示的一系列信号。
时域图115示出了响应于频域图113中的脉冲而接收到的RX信号。来自较远对象的反射信号需要更长的时间来行进。由于RX电路的设计，不同的电压电平表示不同的距离。
来自RX信道的信号被划分成较小的样本片。根据TX信号中的脉冲将RX信号的样本片在时间上进行划分。
四个矩阵表示RX信号的后续处理。第一矩阵示出了时域图115被变换为慢时间和快时间，其分别在各自的轴上表示。RX信号的每个样本(在TX信号的脉冲之间)被输入到矩阵中自己的列中。第二个矩阵示出了沿快时间进行快速傅立叶变换的结果。快时域提供有关不同表面的距离的数据。第三个矩阵中的背景减除允许前景中的对象被隔离，以使得可以识别移动对象。第四个矩阵示出了沿慢时间的快速傅立叶变换，以创建示出了位于不同轴上的距离和速度的距离多普勒地图。
如参考图6所讨论的那样，在已计算了距离多普勒地图之后，由于用户12的移动，系统然后执行计算以补偿增强现实装置10。当已做出针对自我运动的校正时，系统可以确定用户12是否正在移动经过一个对象，或者该对象是否正在移动经过用户12。
距离多普勒地图仅能确定对象的相对位置。例如，距离多普勒地图可示出有三英尺远的墙。如果做出对自我运动的校正，则墙不应移动，即，墙的速度应为零。在没有自我校正的情况下，如果用户将以一定速度向墙壁走去，则从距离多普勒地图看来墙壁正在移动。一旦系统做出校正以适应自我运动，墙壁将在距离多普勒地图内保持固定。在图4中的114处读取的IMU数据用于计算用户12的速度，该速度用于校正用户的运动。
在图4中，在120处，可以计算雷达指纹。图6和7示出了如何针对一个信道识别雷达指纹。雷达指纹提取是渲染一组值的方法，这组值可以是房间中给定位置的特征。距静态对象的距离和角度尤其重要。雷达指纹是距离多普勒地图，其中针对自我运动校正了距离多普勒地图。雷达指纹中包括的仅有的对象是速度为零的对象。通过示例，固定壁被包括在指纹中，但不包括用户12的手部或由于用户12的移动而引起的任何影响。
在图3中，图像处理模块72可用于计算指纹。因此提供了雷达系统，其可以包括雷达装置30、32和34、雷达跟踪模块76、雷达绘图模块78、雷达地图84和90以及图像处理模块72。
在图4中，可以在114处读取的IMU数据并且在120处计算出的雷达指纹允许在122处确定姿势估计。可以使用几何误差最小化来确定姿势，尽管可以使用其他几何或其他错误最小化方法。姿势估计是在第一时间t1处的第一姿势估计。因此，IMU数据与t1处的指纹有关。姿势估计可以被存储以用于在慢域中的第二时间t2处的关于IMU数据的后续取回和后续校正。
在图4中，在124处，可以可选地借助相对于视觉地图86的指纹对姿势估计进行细化(refine)。在图3中，地图合并和优化模块88将雷达地图84中的指纹与视觉地图86中的指纹进行比较。然后用视觉地图86中的指纹更新雷达地图84中的指纹。最新的雷达地图可以作为雷达地图84被存储在绘图和地图管理模块68中，而较早的雷达地图可以作为雷达地图90被存储在云数据库42中。云数据库42中的雷达地图90可用于附加计算，例如，用于预测性计算。
再次参考图4，在126处，可以确定是否找到了与较早姿势估计的匹配。出于讨论的目的，可以假设在t1处没有进一步的姿势估计，并且系统不进行到128和130，而是进行到132以收集进一步的雷达数据。
上文参考图4所描述的序列表示在慢域中的第一时间t1处的第一周期。每个雷达装置30、32和34具有捕获的表面，这些表面可以用于确定第一组雷达指纹，并且可以通过将第一指纹与来自测量单元18的数据组合来计算第一姿势。
在慢域中的第二t2处，系统再次进行到在110处经由TX信道对世界进行照明。该过程通过以下继续：在112处，读取RX信道，在114处，可以读取IMU数据，在116处，可以确定装置的3D取向，在118处，创建归一化的距离多普勒地图，在120处，计算雷达指纹，在122处，确定姿势估计，以及在124处，借助来自视觉地图的指纹来细化姿势估计。在126处，可以做出关于较早的一组雷达指纹是否可用的确定。在本示例中，先前在t1处已计算出较早的一组雷达指纹。然后，系统进行到128以更新姿势估计。由测量单元18提供的值随时间漂移并且变得不准确。漂移主要是由于对加速度的双重积分来获得位置导致的结果。可以通过将第一姿势估计与第二姿势估计进行比较来确定漂移量。然后进行必要的调整以校正漂移。调整由此形成更新的姿势估计。指纹只能存储足够长的时间以校正IMU漂移，然后可以将其丢弃。指纹可以被存储在圆形缓冲器等中。可以保留一个以上的指纹，例如最后的五个指纹，从而可以计算漂移的路径。五个左右的指纹对于预测IMU数据漂移、计算时间偏差(warping)或外推目的也可能是有用的。
在130处，雷达地图84被更新。雷达地图84可能需要更新，因为它可能以来自测量单元18的不正确的数据集为基础。指纹与地图的比较允许系统进行绝对定位。可以通过示例的方式描述“相对定位”，以指示相对于用户12朝其行走的墙壁调整内容的显示。可以通过示例的方式描述“绝对定位”，以指示即使用户从左向右旋转头部和/或其他人何时能够使用自己的增强现实装置分享经历，也可以在桌子上保持内容的显示。
通过查看连续的指纹集，可以获得房间中的唯一3D姿势。由于测量单元18和雷达装置30、32和34的高时间频率，估计的精度随时间快速收敛。在图3中，传感器融合模块70可以负责确定每个姿势估计，包括在t1处的第一姿势估计和在t2处的第二姿势估计。传感器融合模块70还通过将第一姿势估计与第二姿势估计进行比较来确定测量单元18的漂移，并且进行任何必要的调整以校正漂移。
图8示出了测量单元18和雷达传感器阵列121。雷达传感器阵列121可以包括图1和3所示的雷达装置30、32和34。测量单元18进行的测量传递通过测量单元滤波器134。雷达传感器阵列121进行的测量传递通过雷达卡尔曼滤波器136。将来自测量单元滤波器134的估计138和来自雷达卡尔曼滤波器136的估计140相结合，以计算出姿势估计142。在144处，姿势估计142可以用于调整测量单元滤波器134。该调整校正测量单元18中的漂移。可以在144处进行的调整包括加速度偏差和陀螺仪漂移校正、以及位置、速度和姿态校正。
在146处，姿势估计130可以用于调整雷达卡尔曼滤波器136。可以在测量单元滤波器134处进行的调整包括位置、速度和姿态校正。
在148处，可以组合由姿势估计142产生的姿势和视觉地图86，以使用相对于视觉地图86的指纹来细化估计。由于视觉地图86提供的细化，该细化导致比姿势估计142更精确的姿势。
图4中进行的测量，包括测量单元18、雷达传感器阵列121和视觉地图86的测量，都是例如在t2处同时进行的。在稍后的时间t3处，可以进行一组新的测量，包括来自测量单元18、雷达传感器阵列121和新的视觉地图86的一组新的测量。可替代地，可以不在精确的同一时间进行所有测量。例如，测量单元18和雷达传感器阵列121可以在略微不同的时间进行测量。如果要在同一时间进行测量，则可以使用插值算法来修改测量以获得表示测量的测量集。此外，视觉地图86可以是能够在比测量单元18和雷达传感器阵列121的测量更早的时间获取的视觉地图。例如，可以在t1获取视觉地图86并且可以在t2获取来自测量单元18和雷达传感器阵列121的测量。
图9示出了在增强现实装置10可以被上电或戴在用户12的头部上时发生的初始化。在150处，增强现实装置10执行粗略定位。增强现实装置10利用环境的全球定位系统(GPS)和/或WIFI和/或BluetoothTM来执行装置10的粗略地理位置定位。在152处，装置10搜索视觉地图是否可以是本地可用或可从云数据库42获得。在154处，系统确定地图是否可用。如果没有可用的地图，则装置10进行到156以创建新的地图。
如果地图可用，则装置10在158进行以加载地图。然后，装置10进行到160以初始化重新定位。在重新定位期间，装置10使用雷达传感器和IMU指纹的圆形缓冲器来确定粗略定位。然后，装置10通过使用深度传感器输入进一步细化开始位置。在162处，装置10开始使用IMU数据跟踪其运动。
再次参考图3，渲染模块64接收计算机数据，该计算机数据表示必须被渲染对象。渲染模块64还基于由图8产生的姿势来确定对象的位置。然后，渲染模块64基于该姿势将图像的数据及其位置提供给图1中的投射器24和26。投射器24和26将数据转换为激光或其他光并将光插入到目镜20和22中。投射器24和26各自生成激光图案，该激光图案渲染对象并相对于姿势在特定位置渲染对象。然后，激光在目镜20和22内反射，然后朝着用户12离开目镜20和22。然后，激光进入用户12的眼睛，并且用户在他们的眼睛的视网膜上感知激光。用户12还可以通过目镜20和22观看。用户12因此可以看到在目镜20和22后方的真实世界对象，并且真实世界对象被渲染对象增强。相对于真实世界对象，被渲染对象可以是静止的对象。当用户12移动其头部时，测量单元18检测到这样的运动，并且姿势可以被更新，使得姿势相对于真实世界的对象而改变。因为被渲染对象相对于姿势保持静止，所以被渲染对象在用户12的视场内中相对于真实世界对象保持静止。在替代实施例中，被渲染对象可以相对于用户静止，或者被渲染对象可以相对于用户或真实世界对象移动。
在图3中，用户界面60和应用界面62允许用户12与装置上软件堆叠40的其他模块进行交互。例如，用户12可以修改能够创建视觉地图或雷达地图或者可以捕获IMU数据的频率。
图10示出了由使用增强现实装置10的用户12所看到的渲染。在给定的示例中，被渲染对象是地球仪170，并且当用户12移动他们的头部时，地球仪17的位置可以相对于真实世界对象38固定。在图3中，在对象被显示在期望位置之后，渲染模块64通过接收来自测量单元18的测量值来继续跟踪第二姿势的变化，并响应于对第二姿势的变化的跟踪来更新被渲染对象的期望位置。
如上所述，人可能正在佩戴增强现实装置10，并且为了正确地显示增强现实内容，必须知道增强现实装置10的位置。IMU可以提供良好的短期位置估计，但是随着时间可能会经历漂移问题。雷达数据在长期(而不是短期)上可能更准确，因此将其与IMU数据组合，以产生长期和短期的改进位置数据。组合的数据仅能准确确定相对位置。组合的数据可以例如确定该装置距墙壁3英尺远，但是该装置仍然不知道该墙壁或用户在世界上的位置。为了提供装置的准确的绝对位置数据，可以从雷达和IMU数据创建雷达指纹，并将其与来自面向外的视觉相机的数据进行比较。
图11示出了计算机系统900的示例性形式的机器的示意表示，在该计算机系统900内可以执行用于使机器执行本文所讨论的方法中的任何一个或多个方法的一组指令。在替代实施例中，该机器作为独立装置操作，或者可以被连接(例如，联网)到其他机器。此外，虽然仅示出了单个机器，但是术语“机器”也应被理解为包括机器的任何集合，这些机器单独地或共同地执行一组(或多组)指令以执行本文讨论的方法中的任何一个或多个方法。
示例性计算机系统900包括处理器902(例如，中央处理单元(CPU)、图形处理单元(GPU)或两者)、主存储器904(例如，只读存储器(ROM)、闪存、诸如同步DRAM(SDRAM)或Rambus DRAM(RDRAM)等的动态随机存取存储器(DRAM))和静态存储器906(例如闪存、静态随机存取存储器(SRAM)等)，上述经由总线908彼此通信以及与激光驱动器芯片912或其他光源驱动器通信。
计算机系统900可以进一步包括磁盘驱动器单元916和网络接口装置920。
磁盘驱动器单元916包括机器可读介质922，在该机器可读介质922上存储了体现本文所述方法或功能中的任何一个或多个的一组或多组指令924(例如，软件)。在计算机系统900执行软件期间，软件还可以全部或至少部分地驻留在主存储器904内和/或处理器902内，主存储器904和处理器902也构成机器可读介质。
软件还可以经由网络接口装置920在网络928上被发射或接收。
尽管在示例性实施例中将机器可读介质924示出为单个介质，但是术语“机器可读介质”应被认为包括存储一组或多组指令的单个介质或多个介质(例如，集中式或分布式数据库和/或关联的缓存和服务器)。术语“机器可读介质”也应被认为包括能够存储、编码或携带一组指令以供机器执行并且使机器执行本发明的方法中的任何一种或多种方法的任何介质。因此，术语“机器可读介质”应被认为包括但不限于固态存储器、光学和磁性介质以及载波信号。
激光驱动器芯片912包括数据存储器161和它自己的处理器162。数据存储器161用于存储特定于激光源的操作的指令和数据结构。处理器162从数据存储器中取得指令，并有权访问数据结构以执行驱动激光源的例程，从而使激光源生成激光。激光源构成了接收诸如视频数据的数据的投射器的一部分。扫描仪构成投射器的一部分，以允许投射器在二维区域内显示激光，在一些情况下，在三维空间内显示激光，该激光具有基于视频数据中的值的由投射器创建的任何图案、颜色、饱和度和其他光质量。
尽管已经示出并讨论了激光源和激光驱动器芯片912，但是可以使用其他显示系统。其他显示系统例如可以包括利用发光二极管(LED)技术、有机发光二极管(OLED)技术、超发光发光二极管(SLED)等的显示器。
示例实施例
在一些实施例中，本发明提供了一种增强现实装置，其包括：头戴式框架；雷达系统，所述雷达系统在第一时间和第二时间生成真实世界对象相对于用户的位置的第一组雷达指纹和第二组雷达指纹；测量单元，其被固定到所述框架，并且在所述第一时间和所述第二时间检测第一测量值和第二测量值，每个测量值指示所述测量单元的位置和运动中的至少一个；测量单元滤波器，其连接到所述测量单元；传感器融合模块，其连接到所述雷达系统和所述测量单元，并且可操作以(i)确定第一姿势估计和第二姿势估计，所述第一姿势估计是基于所述第一组雷达指纹相对于所述第一测量值，所述第二姿势估计是基于所述第二组雷达指纹相对于所述第二测量值，(ii)通过将所述第一姿势估计与所述第二姿势估计进行比较来确定所述测量单元的漂移，以及(iii)调整所述测量单元滤波器以校正所述漂移；渲染模块，其用于基于所述第二姿势来确定被渲染对象的期望位置；目镜，其被固定到所述框架；以及投射器，其被固定到所述框架，并且可操作以将数据转换为光以便生成所述被渲染对象，以及通过所述目镜向所述用户显示在所述期望位置的所述被渲染对象。
在一些实施例中，增强现实装置可以包括：所述雷达系统包括：至少第一雷达装置，其具有：第一雷达发射器，其被固定到所述框架，并且在慢域中的第一时间和第二时间发射无线电波；第一雷达接收器，其被固定到所述框架，并且在所述无线电波从表面被反射之后检测所述无线电波；雷达跟踪模块，其连接到所述第一雷达接收器，并且分别确定在所述无线电波的所述发射与所述检测之间的在快域中的第一时间间隔和第二时间间隔；雷达绘图模块，其连接到所述雷达跟踪模块，并且至少基于所述快域中的相应时间来生成真实世界对象相对于所述用户的位置的第一雷达地图和第二雷达地图；以及图像处理模块，其连接到所述雷达绘图模块，并且分别基于所述真实世界对象在所述第一雷达地图和所述第二雷达地图中的所述位置来计算第一组雷达指纹和第二组雷达指纹。
在一些实施例中，增强现实装置可以包括：所述雷达系统包括：至少第二雷达装置，其具有：第二雷达发射器，其被固定到所述框架，并且在慢域中的第一时间和第二时间发射无线电波；以及第二雷达接收器，其被固定到所述框架，并且在由所述第二雷达发射器发射的所述无线电波从表面被反射之后检测所述无线电波，其中，所述雷达跟踪模块被连接到所述第二雷达接收器，并且确定在由所述第二雷达发射器发射的相应无线电波的所述发射与所述检测之间的在所述快域中的第一时间间隔和第二时间间隔。
在一些实施例中，增强现实装置可以包括：所述雷达系统包括：至少第三雷达装置，其具有：第三雷达发射器，其被固定到所述框架，并且在慢域中的第一时间和第二时间发射无线电波；以及第三雷达接收器，其被固定到所述框架，并且在由所述第三雷达发射器发射的所述无线电波从表面被反射之后检测所述无线电波，其中，所述雷达跟踪模块被连接到所述第三雷达接收器，并且确定在由所述第三雷达发射器发射的相应无线电波的所述发射与所述检测之间的在所述快域中的第一时间间隔和第二时间间隔。
在一些实施例中，增强现实装置可以包括：所述第一雷达接收器检测来自所述表面的后向散射，以及所述图像处理模块基于所述后向散射来计算所述表面的纹理。
在一些实施例中，增强现实装置可以包括视觉系统，其包括：视觉相机，其被安装到所述框架，以捕获所述真实世界对象的第一视觉图像和第二视觉图像；视觉跟踪模块，其连接到所述视觉相机，并且分别在所述慢域中的所述第一时间和所述第二时间存储所述第一视觉图像和所述第二视觉图像；视觉绘图模块，其连接到所述视觉跟踪模块，并且基于所述第一视觉图像和所述第二视觉图像生成真实世界对象相对于所述用户的位置的第一视觉地图和第二视觉地图；以及地图合并和优化模块，其分别基于所述第一视觉地图和所述第二视觉地图来细化所述第一组指纹和所述第二组指纹的所述位置。
在一些实施例中，增强现实装置可以包括雷达滤波器，其连接到所述雷达系统，其中所述传感器融合模块基于所述第二姿势估计来调整所述雷达滤波器。
在一些实施例中，增强现实装置可以包括：在所述对象被显示在所述期望位置之后，所述渲染模块通过接收来自所述测量装置的测量值来跟踪所述第二姿势的变化，并且响应于对所述第二姿势的所述变化的所述跟踪来更新所述被渲染对象的所述期望位置。
在一些实施例中，增强现实装置可以包括：所述传感器融合模块基于无线信号执行粗略定位。
在一些实施例中，本发明还提供一种增强现实装置，其包括：头戴式框架；雷达系统，其包括：至少第一雷达装置，其具有：第一雷达发射器，其被固定到所述框架，并且在慢域中的第一时间和第二时间发射无线电波；第一雷达接收器，其被固定到所述框架，并且在所述无线电波从表面被反射之后检测所述无线电波；雷达跟踪模块，其连接到所述第一雷达接收器，并且分别确定在所述无线电波的所述发射与所述检测之间的在快域中的第一时间间隔和第二时间间隔；雷达绘图模块，其连接到所述雷达跟踪模块，并且至少基于所述快域中的相应时间来生成真实世界对象相对于所述用户的位置的第一雷达地图和第二雷达地图；图像处理模块，其连接到所述雷达绘图模块，并且分别基于所述真实世界对象在所述第一雷达地图和所述第二雷达地图中的所述位置来计算第一组雷达指纹和第二组雷达指纹；测量单元，其被固定到所述框架，并且在所述慢域中的所述第一时间和所述第二时间检测第一测量值和第二测量值，每个测量值指示所述测量单元的位置和运动中的至少一个；测量单元滤波器，其连接到所述测量单元；传感器融合模块，其连接到所述图像处理模块，并且可操作以(i)确定第一姿势估计和第二姿势估计，所述第一姿势估计是基于所述第一组雷达指纹相对于所述第一测量值，所述第二姿势估计是基于所述第二组雷达指纹相对于所述第二测量值，(ii)通过将所述第一姿势估计与所述第二姿势估计进行比较来确定所述测量单元的漂移，以及(iii)调整所述测量单元滤波器以校正所述漂移；渲染模块，其用于基于所述第二姿势来确定被渲染对象的期望位置；目镜，其被固定到所述框架；以及投射器，其被固定到所述框架，并且可操作以将数据转换为光以便生成所述被渲染对象，以及通过所述目镜向所述用户显示在所述期望位置的所述被渲染对象。
在一些实施例中，本发明进一步提供了一种增强现实装置，其包括：头戴式框架；雷达系统，其被固定到所述框架，所述雷达系统包括：雷达发射器，其被固定到所述框架，并且通过发射第一无线电波来初始化第一雷达循环的执行；雷达接收器，其被固定到所述框架，并且在所述第一无线电波从表面被反射之后检测所述第一无线电波；雷达跟踪模块，其连接到所述雷达接收器，并且确定在所述第一无线电波的所述发射与所述检测之间的第一时间；雷达绘图模块，其连接到所述雷达跟踪模块，并且至少基于所述第一无线电波的所述发射与所述检测之间的所述第一时间来生成真实世界对象相对于所述用户的位置的第一雷达地图；图像处理模块，其连接到所述雷达绘图模块，并且基于所述真实世界对象在所述第一雷达地图中的所述位置来计算第一组雷达指纹，以完成所述第一雷达循环；测量单元，其被固定到所述框架并检测第一测量值，所述第一测量值指示被固定到所述框架的测量单元的位置和运动中的至少一个；传感器融合模块，其连接到所述图像处理模块和所述测量单元，并且确定所述第一组雷达指纹相对于所述第一测量值的第一姿势估计；其中，所述雷达系统执行第二雷达循环，包括：发射第二无线电波；在所述第二无线电波从所述表面被反射之后，检测所述第二无线电波；确定在所述第二无线电波的所述发射与所述检测之间的第二时间；至少基于在所述第二无线电波的所述发射与所述检测之间的所述第二时间，生成真实世界对象相对于所述用户的位置的第二雷达地图；以及基于所述真实世界对象在所述第二雷达地图中的所述位置来计算第二雷达指纹；其中，所述测量单元检测第二测量值，所述第二测量值指示被固定到所述框架的所述测量单元的位置和运动；其中，所述传感器融合模块：确定所述第二组雷达指纹相对于所述第二测量值的第二姿势估计；通过将所述第一姿势估计与所述第二姿势估计进行比较来确定所述测量单元的漂移；调整被连接到所述测量单元的测量单元滤波器以校正所述漂移；渲染模块，其用于基于所述第二姿势来确定被渲染对象的期望位置；目镜，其被固定到所述框架；以及投射器，其被固定到所述框架，并且可操作以将数据转换为光以便生成所述被渲染对象，以及通过所述目镜向所述用户显示在所述期望位置的所述被渲染对象。
在一些实施例中，本发明还提供一种增强现实装置，其包括：头戴式框架；雷达系统，其在第一时间和第二时间生成真实世界对象相对于所述用户的位置的第一雷达指纹和第二雷达指纹；视觉系统，其包括：视觉相机，其被安装到所述框架，以捕获所述真实世界对象的第一视觉图像和第二视觉图像；视觉跟踪模块，其连接到所述视觉相机，并且分别在所述第一时间间隔和所述第二时间间隔处存储所述第一视觉图像和所述第二视觉图像；视觉绘图模块，其连接到所述视觉跟踪模块，并且基于所述第一视觉图像和所述第二视觉图像来生成真实世界对象相对于所述用户的位置的第一视觉地图和第二视觉地图；地图合并和优化模块，其分别基于所述第一视觉地图和所述第二视觉地图来细化所述第一组指纹和所述第二组指纹的所述位置；渲染模块，其基于由所述地图合并和优化模块细化的所述第一组指纹和所述第二组指纹，确定被渲染对象的期望位置；目镜，其被固定到所述框架；以及投射器，其被固定到所述框架并且可操作以将数据转换为光以便生成所述被渲染对象，以及通过所述目镜向所述用户显示在所述期望位置的所述被渲染对象。
在一些实施例中，本发明还提供一种显示被渲染内容的方法，该方法包括：将头戴式框架附到用户的头部；执行多个雷达循环，以在慢域中的第一时间和第二时间生成真实世界对象相对于所述用户的位置的第一雷达指纹和第二雷达指纹；在所述慢域中的所述第一时间和所述第二时间检测第一测量值和第二测量值，每个测量值指示被固定到所述框架的测量单元的位置和运动中的至少一个；确定第一姿势估计和第二姿势估计，所述第一姿势估计是基于所述第一组雷达指纹相对于所述第一测量值，所述第二姿势估计是基于所述第二组雷达指纹相对于所述第二测量值；通过将所述第一姿势估计与所述第二姿势估计进行比较来确定所述测量单元的漂移；调整被连接到所述测量单元的测量单元滤波器以校正所述漂移；基于所述第二姿势估计来确定被渲染对象的期望位置；将数据转换为光以生成所述被渲染对象；以及通过被固定到所述头戴式框架的目镜向所述用户显示在所述期望位置的所述被渲染对象。
在一些实施例中，该方法可以包括：在所述慢域中的第一时间和第二时间发射无线电波；在所述无线电波从表面被反射之后检测所述无线电波；分别确定在所述无线电波的所述发射与所述检测之间的在快域中的第一时间间隔和第二时间间隔；至少基于所述快域中的相应时间来生成真实世界对象相对于所述用户的位置的第一雷达地图和第二雷达地图；以及分别基于所述真实世界对象在所述第一雷达地图和所述第二雷达地图中的所述位置来计算第一组雷达指纹和第二组雷达指纹。
在一些实施例中，该方法可以包括检测来自所述表面的后向散射；以及基于所述后向散射来计算所述表面的纹理。
在一些实施例中，该方法可以包括：所述雷达循环包括：在所述慢域中的第一时间和第二时间发射无线电波；在所述无线电波从表面被反射之后检测所述无线电波；分别确定在所述无线电波的所述发射与所述检测之间的在快域中的第一时间间隔和第二时间间隔；至少基于所述快域中的相应时间来生成真实世界对象相对于所述用户的位置的第一雷达地图和第二雷达地图；以及分别基于在所述第一雷达地图和所述第二雷达地图中的所述真实世界对象的所述位置来计算第一组雷达指纹和第二组雷达指纹。
在一些实施例中，本发明还提供一种显示被渲染内容的方法，该方法包括：将头戴式框架附到用户的头部；执行多个雷达循环，包括：在慢域中的第一时间和第二时间发射无线电波；在所述无线电波从表面被反射之后检测所述无线电波；分别确定在所述无线电波的所述发射与所述检测之间的在快域中的第一时间间隔和第二时间间隔；至少基于所述快域中的相应时间来生成真实世界对象相对于所述用户的位置的第一雷达地图和第二雷达地图；以及分别基于所述真实世界对象在所述第一雷达地图和所述第二雷达地图中的所述位置来计算第一组雷达指纹和第二组雷达指纹；在所述慢域中的所述第一时间和所述第二时间检测第一测量值和第二测量值，每个测量值指示被固定到所述框架的测量单元的位置和运动中的至少一个；确定第一姿势估计和第二姿势估计，所述第一姿势估计是基于所述第一组雷达指纹相对于所述第一测量值，所述第二姿势估计是基于所述第二组雷达指纹相对于所述第二测量值；通过将所述第一姿势估计与所述第二姿势估计进行比较来确定所述测量单元的漂移；调整被连接到所述测量单元的测量单元滤波器以校正所述漂移；基于所述第二姿势估计来确定被渲染对象的期望位置；将数据转换为光以生成所述被渲染对象；以及通过被固定到所述头戴式框架的目镜向所述用户显示在所述期望位置的所述被渲染对象。
在一些实施例中，本发明还提供了一种显示被渲染内容的方法，该方法包括：将头戴式框架附到用户的头部；执行第一雷达循环，包括：发射第一无线电波；在所述第一无线电波从表面被反射之后检测所述第一无线电波；确定在所述第一无线电波的所述发射与所述检测之间的第一时间；至少基于在所述第一无线电波的所述发射与所述检测之间的所述第一时间，生成真实世界对象相对于所述用户的位置的第一雷达地图；以及基于所述真实世界对象在所述第一雷达地图中的所述位置，计算第一组雷达指纹；检测第一测量值，所述第一测量值指示被固定到所述框架的测量单元的位置和运动中的至少一个；确定所述第一组雷达指纹相对于所述第一测量值的第一姿势估计；执行第二雷达循环，包括：发射第二无线电波；在所述第二无线电波从所述表面被反射之后检测所述第二无线电波；确定在所述第二无线电波的所述发射与所述检测之间的第二时间；至少基于在所述第二无线电波的所述发射与所述检测之间的所述第二时间，生成真实世界对象相对于所述用户的位置的第二雷达地图；以及基于所述真实世界对象在所述第二雷达地图中的所述位置，计算第二组雷达指纹；检测第二测量值，所述第二测量值指示被固定到所述框架的所述测量单元的位置和运动；确定所述第二组雷达指纹相对于所述第二测量值的第二姿势估计；通过将所述第一姿势估计与所述第二姿势估计进行比较来确定所述测量单元的漂移；调整被连接到所述测量单元的测量单元滤波器以校正所述漂移；基于所述第二姿势估计来确定被渲染对象的期望位置；将数据转换为光以生成所述被渲染对象；以及通过被固定到头戴式框架的目镜向所述用户显示在所述期望位置的所述被渲染对象。
在一些实施例中，本发明还提供了一种显示被渲染内容的方法，该方法包括：将头戴式框架附到用户的头部；执行多个雷达循环，以在所述慢域中的第一时间和第二时间生成真实世界对象相对于所述用户的位置的第一雷达指纹和第二雷达指纹；使用被安装到所述框架的视觉相机来捕获所述真实世界对象的第一视觉图像和第二视觉图像；分别在所述慢域中的所述第一时间和所述第二时间存储所述第一视觉图像和所述第二视觉图像；基于所述第一视觉图像和所述第二视觉图像，生成真实世界对象相对于所述用户的位置的第一视觉地图和第二视觉地图；分别基于所述第一视觉地图和所述第二视觉地图来细化所述第一组指纹和所述第二组指纹的所述位置；基于所细化的所述第一组指纹和所述第二组指纹来确定被渲染对象的期望位置；将数据转换为光以生成所述被渲染对象；以及通过被固定到所述头戴式框架的目镜向所述用户显示在所述期望位置的所述被渲染对象。
在一些实施例中，本发明还提供一种增强现实装置，其包括：头戴式框架；雷达系统，其在所述慢域中的第一时间和第二时间生成真实世界对象相对于所述用户的位置的第一组雷达指纹和第二组雷达指纹；测量单元，其被固定到所述框架，并且在所述慢域中的所述第一时间和所述第二时间检测第一测量值和第二测量值，每个测量值指示所述测量单元的位置和运动中的至少一个；测量单元滤波器，其连接到所述测量单元；处理器；计算机可读介质，其连接到所述处理器；所述计算机可读介质上的一组指令，该组指令可由所述处理器执行以(i)确定第一姿势估计和第二姿势估计，所述第一姿势估计是基于所述第一组雷达指纹相对于所述第一测量值，所述第二姿势估计是基于所述第二组雷达指纹相对于所述第二测量值，(ii)通过将所述第一姿势估计与所述第二姿势估计进行比较来确定所述测量单元的漂移，以及(iii)调整所述测量单元滤波器以校正所述漂移；以及(iv)基于所述第二姿势确定被渲染对象的期望位置；目镜，其被固定到所述框架；以及投射器，其被固定到所述框架，并且可操作以将数据转换为光以便生成所述被渲染对象，以及通过所述目镜向所述用户显示在所述期望位置的所述被渲染对象。
尽管已经描述并在附图中示出了某些示例性实施例，但是应该理解，这些实施例仅是示例性的，并不限制本发明，并且因为本领域的普通技术人员能够想到进行修改，所以本发明不限于所示的特定构造和布置。

Claims (20)

1.一种增强现实装置，包括：
头戴式框架；
雷达系统，所述雷达系统在第一时间和第二时间生成真实世界对象相对于用户的位置的第一组雷达指纹和第二组雷达指纹；
测量单元，其被固定到所述框架，并且在所述第一时间和所述第二时间检测第一测量值和第二测量值，每个测量值指示所述测量单元的位置和运动中的至少一个；
测量单元滤波器，其连接到所述测量单元；
传感器融合模块，其连接到所述雷达系统和所述测量单元，并且可操作以(i)确定第一姿势估计和第二姿势估计，所述第一姿势估计是基于所述第一组雷达指纹相对于所述第一测量值，所述第二姿势估计是基于所述第二组雷达指纹相对于所述第二测量值，(ii)通过将所述第一姿势估计与所述第二姿势估计进行比较来确定所述测量单元的漂移，以及(iii)调整所述测量单元滤波器以校正所述漂移；
渲染模块，其用于基于所述第二姿势来确定被渲染对象的期望位置；
目镜，其被固定到所述框架；以及
投射器，其被固定到所述框架，并且可操作以将数据转换为光以便生成所述被渲染对象，以及通过所述目镜向所述用户显示在所述期望位置的所述被渲染对象。
2.根据权利要求1所述的增强现实装置，其中，所述雷达系统包括：
至少第一雷达装置，其具有：
第一雷达发射器，其被固定到所述框架，并且在慢域中的第一时间和第二时间发射无线电波；
第一雷达接收器，其被固定到所述框架，并且在所述无线电波从表面被反射之后检测所述无线电波；
雷达跟踪模块，其连接到所述第一雷达接收器，并且分别确定在所述无线电波的所述发射与所述检测之间的在快域中的第一时间间隔和第二时间间隔；
雷达绘图模块，其连接到所述雷达跟踪模块，并且至少基于所述快域中的相应时间来生成真实世界对象相对于所述用户的位置的第一雷达地图和第二雷达地图；以及
图像处理模块，其连接到所述雷达绘图模块，并且分别基于所述真实世界对象在所述第一雷达地图和所述第二雷达地图中的所述位置来计算第一组雷达指纹和第二组雷达指纹。
3.根据权利要求2所述的增强现实装置，其中，所述雷达系统包括：
至少第二雷达装置，其具有：
第二雷达发射器，其被固定到所述框架，并且在慢域中的第一时间和第二时间发射无线电波；以及
第二雷达接收器，其被固定到所述框架，并且在由所述第二雷达发射器发射的所述无线电波从表面被反射之后检测所述无线电波，其中，所述雷达跟踪模块被连接到所述第二雷达接收器，并且确定在由所述第二雷达发射器发射的相应无线电波的所述发射与所述检测之间的在所述快域中的第一时间间隔和第二时间间隔。
4.根据权利要求3所述的增强现实装置，其中，所述雷达系统包括：
至少第三雷达装置，其具有：
第三雷达发射器，其被固定到所述框架，并且在慢域中的第一时间和第二时间发射无线电波；以及
第三雷达接收器，其被固定到所述框架，并且在由所述第三雷达发射器发射的所述无线电波从表面被反射之后检测所述无线电波，其中，所述雷达跟踪模块被连接到所述第三雷达接收器，并且确定在由所述第三雷达发射器发射的相应无线电波的所述发射与所述检测之间的在所述快域中的第一时间间隔和第二时间间隔。
5.根据权利要求2所述的增强现实装置，其中，所述第一雷达接收器检测来自所述表面的后向散射，以及所述图像处理模块基于所述后向散射来计算所述表面的纹理。
6.根据权利要求1所述的增强现实装置，进一步包括：
视觉系统，其包括：
视觉相机，其被安装到所述框架，以捕获所述真实世界对象的第一视觉图像和第二视觉图像；
视觉跟踪模块，其连接到所述视觉相机，并且分别在所述慢域中的所述第一时间和所述第二时间存储所述第一视觉图像和所述第二视觉图像；
视觉绘图模块，其连接到所述视觉跟踪模块，并且基于所述第一视觉图像和所述第二视觉图像生成真实世界对象相对于所述用户的位置的第一视觉地图和第二视觉地图；以及
地图合并和优化模块，其分别基于所述第一视觉地图和所述第二视觉地图来细化所述第一组指纹和所述第二组指纹的所述位置。
7.根据权利要求1所述的增强现实装置，进一步包括：
雷达滤波器，其连接到所述雷达系统，其中所述传感器融合模块基于所述第二姿势估计来调整所述雷达滤波器。
8.根据权利要求1所述的增强现实装置，其中，在所述对象被显示在所述期望位置之后，所述渲染模块通过接收来自所述测量装置的测量值来跟踪所述第二姿势的变化，并且响应于对所述第二姿势的所述变化的所述跟踪来更新所述被渲染对象的所述期望位置。
9.根据权利要求1所述的增强现实装置，其中，所述传感器融合模块基于无线信号执行粗略定位。
10.一种增强现实装置，包括：
头戴式框架；
雷达系统，其包括：
至少第一雷达装置，其具有：
第一雷达发射器，其被固定到所述框架，并且在慢域中的第一时间和第二时间发射无线电波；
第一雷达接收器，其被固定到所述框架，并且在所述无线电波从表面被反射之后检测所述无线电波；
雷达跟踪模块，其连接到所述第一雷达接收器，并且分别确定在所述无线电波的所述发射与所述检测之间的在快域中的第一时间间隔和第二时间间隔；
雷达绘图模块，其连接到所述雷达跟踪模块，并且至少基于所述快域中的相应时间来生成真实世界对象相对于所述用户的位置的第一雷达地图和第二雷达地图；
图像处理模块，其连接到所述雷达绘图模块，并且分别基于所述真实世界对象在所述第一雷达地图和所述第二雷达地图中的所述位置来计算第一组雷达指纹和第二组雷达指纹；
测量单元，其被固定到所述框架，并且在所述慢域中的所述第一时间和所述第二时间检测第一测量值和第二测量值，每个测量值指示所述测量单元的位置和运动中的至少一个；
测量单元滤波器，其连接到所述测量单元；
传感器融合模块，其连接到所述图像处理模块，并且可操作以(i)确定第一姿势估计和第二姿势估计，所述第一姿势估计是基于所述第一组雷达指纹相对于所述第一测量值，所述第二姿势估计是基于所述第二组雷达指纹相对于所述第二测量值，(ii)通过将所述第一姿势估计与所述第二姿势估计进行比较来确定所述测量单元的漂移，以及(iii)调整所述测量单元滤波器以校正所述漂移；
渲染模块，其用于基于所述第二姿势来确定被渲染对象的期望位置；
目镜，其被固定到所述框架；以及
投射器，其被固定到所述框架，并且可操作以将数据转换为光以便生成所述被渲染对象，以及通过所述目镜向所述用户显示在所述期望位置的所述被渲染对象。
11.一种增强现实装置，包括：
头戴式框架；
雷达系统，其被固定到所述框架，所述雷达系统包括：
雷达发射器，其被固定到所述框架，并且通过发射第一无线电波来初始化第一雷达循环的执行；
雷达接收器，其被固定到所述框架，并且在所述第一无线电波从表面被反射之后检测所述第一无线电波；
雷达跟踪模块，其连接到所述雷达接收器，并且确定在所述第一无线电波的所述发射与所述检测之间的第一时间；
雷达绘图模块，其连接到所述雷达跟踪模块，并且至少基于所述第一无线电波的所述发射与所述检测之间的所述第一时间来生成真实世界对象相对于所述用户的位置的第一雷达地图；
图像处理模块，其连接到所述雷达绘图模块，并且基于所述真实世界对象在所述第一雷达地图中的所述位置来计算第一组雷达指纹，以完成所述第一雷达循环；
测量单元，其被固定到所述框架并检测第一测量值，所述第一测量值指示被固定到所述框架的测量单元的位置和运动中的至少一个；
传感器融合模块，其连接到所述图像处理模块和所述测量单元，并且确定所述第一组雷达指纹相对于所述第一测量值的第一姿势估计；
其中，所述雷达系统执行第二雷达循环，包括：
发射第二无线电波；
在所述第二无线电波从所述表面被反射之后，检测所述第二无线电波；
确定在所述第二无线电波的所述发射与所述检测之间的第二时间；
至少基于在所述第二无线电波的所述发射与所述检测之间的所述第二时间，生成真实世界对象相对于所述用户的位置的第二雷达地图；以及
基于所述真实世界对象在所述第二雷达地图中的所述位置来计算第二雷达指纹；
其中，所述测量单元检测第二测量值，所述第二测量值指示被固定到所述框架的所述测量单元的位置和运动；
其中，所述传感器融合模块：
确定所述第二组雷达指纹相对于所述第二测量值的第二姿势估计；
通过将所述第一姿势估计与所述第二姿势估计进行比较来确定所述测量单元的漂移；
调整被连接到所述测量单元的测量单元滤波器以校正所述漂移；
渲染模块，其用于基于所述第二姿势来确定被渲染对象的期望位置；
目镜，其被固定到所述框架；以及
投射器，其被固定到所述框架，并且可操作以将数据转换为光以便生成所述被渲染对象，以及通过所述目镜向所述用户显示在所述期望位置的所述被渲染对象。
12.一种增强现实装置，包括：
头戴式框架；
雷达系统，其在第一时间和第二时间生成真实世界对象相对于所述用户的位置的第一雷达指纹和第二雷达指纹；
视觉系统，其包括：
视觉相机，其被安装到所述框架，以捕获所述真实世界对象的第一视觉图像和第二视觉图像；
视觉跟踪模块，其连接到所述视觉相机，并且分别在所述第一时间间隔和所述第二时间间隔处存储所述第一视觉图像和所述第二视觉图像；
视觉绘图模块，其连接到所述视觉跟踪模块，并且基于所述第一视觉图像和所述第二视觉图像来生成真实世界对象相对于所述用户的位置的第一视觉地图和第二视觉地图；
地图合并和优化模块，其分别基于所述第一视觉地图和所述第二视觉地图来细化所述第一组指纹和所述第二组指纹的所述位置；
渲染模块，其基于由所述地图合并和优化模块细化的所述第一组指纹和所述第二组指纹，确定被渲染对象的期望位置；
目镜，其被固定到所述框架；以及
投射器，其被固定到所述框架并且可操作以将数据转换为光以便生成所述被渲染对象，以及通过所述目镜向所述用户显示在所述期望位置的所述被渲染对象。
13.一种显示被渲染内容的方法，包括：
将头戴式框架附到用户的头部；
执行多个雷达循环，以在慢域中的第一时间和第二时间生成真实世界对象相对于所述用户的位置的第一雷达指纹和第二雷达指纹；
在所述慢域中的所述第一时间和所述第二时间检测第一测量值和第二测量值，每个测量值指示被固定到所述框架的测量单元的位置和运动中的至少一个；
确定第一姿势估计和第二姿势估计，所述第一姿势估计是基于所述第一组雷达指纹相对于所述第一测量值，所述第二姿势估计是基于所述第二组雷达指纹相对于所述第二测量值；
通过将所述第一姿势估计与所述第二姿势估计进行比较来确定所述测量单元的漂移；
调整被连接到所述测量单元的测量单元滤波器以校正所述漂移；
基于所述第二姿势估计来确定被渲染对象的期望位置；
将数据转换为光以生成所述被渲染对象；以及
通过被固定到所述头戴式框架的目镜向所述用户显示在所述期望位置的所述被渲染对象。
14.根据权利要求13所述的方法，进一步包括：
在所述慢域中的第一时间和第二时间发射无线电波；
在所述无线电波从表面被反射之后检测所述无线电波；
分别确定在所述无线电波的所述发射与所述检测之间的在快域中的第一时间间隔和第二时间间隔；
至少基于所述快域中的相应时间来生成真实世界对象相对于所述用户的位置的第一雷达地图和第二雷达地图；以及
分别基于所述真实世界对象在所述第一雷达地图和所述第二雷达地图中的所述位置来计算第一组雷达指纹和第二组雷达指纹。
15.根据权利要求14所述的方法，进一步包括：
检测来自所述表面的后向散射；以及
基于所述后向散射来计算所述表面的纹理。
16.根据权利要求13所述的方法，其中，所述雷达循环包括：
在所述慢域中的第一时间和第二时间发射无线电波；
在所述无线电波从表面被反射之后检测所述无线电波；
分别确定在所述无线电波的所述发射与所述检测之间的在快域中的第一时间间隔和第二时间间隔；
至少基于所述快域中的相应时间来生成真实世界对象相对于所述用户的位置的第一雷达地图和第二雷达地图；以及
分别基于在所述第一雷达地图和所述第二雷达地图中的所述真实世界对象的所述位置来计算第一组雷达指纹和第二组雷达指纹。
17.一种显示被渲染内容的方法，包括：
将头戴式框架附到用户的头部；
执行多个雷达循环，包括：
在慢域中的第一时间和第二时间发射无线电波；
在所述无线电波从表面被反射之后检测所述无线电波；
分别确定在所述无线电波的所述发射与所述检测之间的在快域中的第一时间间隔和第二时间间隔；
至少基于所述快域中的相应时间来生成真实世界对象相对于所述用户的位置的第一雷达地图和第二雷达地图；以及
分别基于所述真实世界对象在所述第一雷达地图和所述第二雷达地图中的所述位置来计算第一组雷达指纹和第二组雷达指纹；
在所述慢域中的所述第一时间和所述第二时间检测第一测量值和第二测量值，每个测量值指示被固定到所述框架的测量单元的位置和运动中的至少一个；
确定第一姿势估计和第二姿势估计，所述第一姿势估计是基于所述第一组雷达指纹相对于所述第一测量值，所述第二姿势估计是基于所述第二组雷达指纹相对于所述第二测量值；
通过将所述第一姿势估计与所述第二姿势估计进行比较来确定所述测量单元的漂移；
调整被连接到所述测量单元的测量单元滤波器以校正所述漂移；
基于所述第二姿势估计来确定被渲染对象的期望位置；
将数据转换为光以生成所述被渲染对象；以及
通过被固定到所述头戴式框架的目镜向所述用户显示在所述期望位置的所述被渲染对象。
18.一种显示被渲染内容的方法，包括：
将头戴式框架附到用户的头部；
执行第一雷达循环，包括：
发射第一无线电波；
在所述第一无线电波从表面被反射之后检测所述第一无线电波；
确定在所述第一无线电波的所述发射与所述检测之间的第一时间；
至少基于在所述第一无线电波的所述发射与所述检测之间的所述第一时间，生成真实世界对象相对于所述用户的位置的第一雷达地图；以及
基于所述真实世界对象在所述第一雷达地图中的所述位置，计算第一组雷达指纹；
检测第一测量值，所述第一测量值指示被固定到所述框架的测量单元的位置和运动中的至少一个；
确定所述第一组雷达指纹相对于所述第一测量值的第一姿势估计；
执行第二雷达循环，包括：
发射第二无线电波；
在所述第二无线电波从所述表面被反射之后检测所述第二无线电波；
确定在所述第二无线电波的所述发射与所述检测之间的第二时间；
至少基于在所述第二无线电波的所述发射与所述检测之间的所述第二时间，生成真实世界对象相对于所述用户的位置的第二雷达地图；以及
基于所述真实世界对象在所述第二雷达地图中的所述位置，计算第二组雷达指纹；
检测第二测量值，所述第二测量值指示被固定到所述框架的所述测量单元的位置和运动；
确定所述第二组雷达指纹相对于所述第二测量值的第二姿势估计；
通过将所述第一姿势估计与所述第二姿势估计进行比较来确定所述测量单元的漂移；
调整被连接到所述测量单元的测量单元滤波器以校正所述漂移；
基于所述第二姿势估计来确定被渲染对象的期望位置；
将数据转换为光以生成所述被渲染对象；以及
通过被固定到头戴式框架的目镜向所述用户显示在所述期望位置的所述被渲染对象。
19.一种显示被渲染内容的方法，包括：
将头戴式框架附到用户的头部；
执行多个雷达循环，以在所述慢域中的第一时间和第二时间(刘：要考虑是想限定在某个时间生成指纹，还是想限定生成在某个时间的指纹？其它权利要求中涉及时间和事件的都需考虑。)生成真实世界对象相对于所述用户的位置的第一雷达指纹和第二雷达指纹；
使用被安装到所述框架的视觉相机来捕获所述真实世界对象的第一视觉图像和第二视觉图像；
分别在所述慢域中的所述第一时间和所述第二时间存储所述第一视觉图像和所述第二视觉图像；
基于所述第一视觉图像和所述第二视觉图像，生成真实世界对象相对于所述用户的位置的第一视觉地图和第二视觉地图；
分别基于所述第一视觉地图和所述第二视觉地图来细化所述第一组指纹和所述第二组指纹的所述位置；
基于所细化的所述第一组指纹和所述第二组指纹来确定被渲染对象的期望位置；
将数据转换为光以生成所述被渲染对象；以及
通过被固定到所述头戴式框架的目镜向所述用户显示在所述期望位置的所述被渲染对象。
20.一种增强现实装置，包括：
头戴式框架；
雷达系统，其在所述慢域中的第一时间和第二时间生成真实世界对象相对于所述用户的位置的第一组雷达指纹和第二组雷达指纹；
测量单元，其被固定到所述框架，并且在所述慢域中的所述第一时间和所述第二时间检测第一测量值和第二测量值，每个测量值指示所述测量单元的位置和运动中的至少一个；
测量单元滤波器，其连接到所述测量单元；
处理器；
计算机可读介质，其连接到所述处理器；
所述计算机可读介质上的一组指令，该组指令可由所述处理器执行以(i)确定第一姿势估计和第二姿势估计，所述第一姿势估计是基于所述第一组雷达指纹相对于所述第一测量值，所述第二姿势估计是基于所述第二组雷达指纹相对于所述第二测量值，(ii)通过将所述第一姿势估计与所述第二姿势估计进行比较来确定所述测量单元的漂移，以及(iii)调整所述测量单元滤波器以校正所述漂移；以及(iv)基于所述第二姿势确定被渲染对象的期望位置；
目镜，其被固定到所述框架；以及
投射器，其被固定到所述框架，并且可操作以将数据转换为光以便生成所述被渲染对象，以及通过所述目镜向所述用户显示在所述期望位置的所述被渲染对象。
CN201980044585.8A 2018-05-31 2019-05-24 雷达头部姿势定位 Pending CN112601975A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862678621P 2018-05-31 2018-05-31
US62/678,621 2018-05-31
PCT/US2019/033987 WO2019231850A1 (en) 2018-05-31 2019-05-24 Radar head pose localization

Publications (1)

Publication Number Publication Date
CN112601975A true CN112601975A (zh) 2021-04-02

Family

ID=68697315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980044585.8A Pending CN112601975A (zh) 2018-05-31 2019-05-24 雷达头部姿势定位

Country Status (5)

Country Link
US (1) US11885871B2 (zh)
EP (1) EP3803450A4 (zh)
JP (1) JP7319303B2 (zh)
CN (1) CN112601975A (zh)
WO (1) WO2019231850A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113655473A (zh) * 2021-08-15 2021-11-16 海南三熙科技有限公司 一种共轴双云台雷达与光电一体化设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI767179B (zh) * 2019-01-24 2022-06-11 宏達國際電子股份有限公司 混合實境中偵測真實世界光源的方法、混合實境系統及記錄媒體
US11493766B2 (en) * 2019-12-17 2022-11-08 Tobii Ab Method and system for controlling transparency of a displaying device
WO2022055742A1 (en) * 2020-09-08 2022-03-17 Daedalus Labs Llc Head-mounted devices with radar
US20230400565A1 (en) * 2022-06-10 2023-12-14 Microsoft Technology Licensing, Llc Full body tracking using fusion depth sensing
US20240020072A1 (en) * 2022-07-18 2024-01-18 Nextedge Labs, Inc. Method of displaying real-time images and document camera system thereof
EP4336310A1 (en) * 2022-09-06 2024-03-13 Nokia Technologies Oy Device orientation detection

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100103196A1 (en) * 2008-10-27 2010-04-29 Rakesh Kumar System and method for generating a mixed reality environment
CN102656474A (zh) * 2010-03-08 2012-09-05 英派尔科技开发有限公司 用于增强现实的宽带无源跟踪
CN103201645A (zh) * 2010-11-12 2013-07-10 克里斯蒂安·希罗尼米 用于对物体进行姿态确定和/或控制的系统
US20140306866A1 (en) * 2013-03-11 2014-10-16 Magic Leap, Inc. System and method for augmented and virtual reality
US20140368378A1 (en) * 2011-12-20 2014-12-18 Sadar 3D, Inc. Systems, apparatus, and methods for data acquisition and imaging
WO2016041088A1 (en) * 2014-09-19 2016-03-24 Sulon Technologies Inc. System and method for tracking wearable peripherals in augmented reality and virtual reality applications
CN105850113A (zh) * 2014-01-06 2016-08-10 欧库勒斯虚拟现实有限责任公司 虚拟现实系统的校准
CN106030335A (zh) * 2014-03-28 2016-10-12 英特尔公司 使用微功率脉冲雷达确定移动显示位置和取向
CN106355647A (zh) * 2016-08-25 2017-01-25 北京暴风魔镜科技有限公司 增强现实系统和方法
US20170205903A1 (en) * 2015-03-05 2017-07-20 Magic Leap, Inc. Systems and methods for augmented reality
US20170254832A1 (en) * 2011-11-04 2017-09-07 Google Inc. Calibrating Inertial Sensors Using an Image
US20170261610A1 (en) * 2016-03-11 2017-09-14 Oculus Vr, Llc Ultrasound/radar for eye tracking
EP3252714A1 (en) * 2016-06-03 2017-12-06 Univrses AB Camera selection in positional tracking
CN107450577A (zh) * 2017-07-25 2017-12-08 天津大学 基于多传感器的无人机智能感知系统和方法

Family Cites Families (541)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6541736B1 (en) 2001-12-10 2003-04-01 Usun Technology Co., Ltd. Circuit board/printed circuit board having pre-reserved conductive heating circuits
US4344092A (en) 1980-10-21 1982-08-10 Circon Corporation Miniature video camera means for video system
US4652930A (en) 1984-11-19 1987-03-24 Rca Corporation Television camera structure
US4810080A (en) 1987-09-03 1989-03-07 American Optical Corporation Protective eyewear with removable nosepiece and corrective spectacle
US5142684A (en) 1989-06-23 1992-08-25 Hand Held Products, Inc. Power conservation in microprocessor controlled devices
US4997268A (en) 1989-07-24 1991-03-05 Dauvergne Hector A Corrective lens configuration
US5074295A (en) 1989-08-03 1991-12-24 Jamie, Inc. Mouth-held holder
JPH0712944Y2 (ja) 1989-08-24 1995-03-29 株式会社アドバンテスト 電子部品実装基板の温度保護構造
US5007727A (en) 1990-02-26 1991-04-16 Alan Kahaney Combination prescription lens and sunglasses assembly
US5396635A (en) 1990-06-01 1995-03-07 Vadem Corporation Power conservation apparatus having multiple power reduction levels dependent upon the activity of the computer system
US5240220A (en) 1990-09-12 1993-08-31 Elbex Video Ltd. TV camera supporting device
EP0697614A2 (en) 1991-03-22 1996-02-21 Nikon Corporation Optical apparatus for correcting image deviation
WO1993001743A1 (en) 1991-07-22 1993-02-04 Adair Edwin Lloyd Sterile video microscope holder for operating room
US5251635A (en) 1991-09-03 1993-10-12 General Electric Company Stereoscopic X-ray fluoroscopy system using radiofrequency fields
US5224198A (en) 1991-09-30 1993-06-29 Motorola, Inc. Waveguide virtual image display
US5497463A (en) 1992-09-25 1996-03-05 Bull Hn Information Systems Inc. Ally mechanism for interconnecting non-distributed computing environment (DCE) and DCE systems to operate in a network system
US5937202A (en) 1993-02-11 1999-08-10 3-D Computing, Inc. High-speed, parallel, processor architecture for front-end electronics, based on a single type of ASIC, and method use thereof
US5410763A (en) 1993-02-11 1995-05-02 Etablissments Bolle Eyeshield with detachable components
US5682255A (en) 1993-02-26 1997-10-28 Yeda Research & Development Co. Ltd. Holographic optical devices for the transmission of optical signals of a plurality of channels
US6023288A (en) 1993-03-31 2000-02-08 Cairns & Brother Inc. Combination head-protective helmet and thermal imaging apparatus
EP0632360A1 (en) 1993-06-29 1995-01-04 Xerox Corporation Reducing computer power consumption by dynamic voltage and frequency variation
US5455625A (en) 1993-09-23 1995-10-03 Rosco Inc. Video camera unit, protective enclosure and power circuit for same, particularly for use in vehicles
US5689669A (en) 1994-04-29 1997-11-18 General Magic Graphical user interface for navigating between levels displaying hallway and room metaphors
US6016147A (en) 1995-05-08 2000-01-18 Autodesk, Inc. Method and system for interactively determining and displaying geometric relationships between three dimensional objects based on predetermined geometric constraints and position of an input device
US5835061A (en) 1995-06-06 1998-11-10 Wayport, Inc. Method and apparatus for geographic-based communications service
CA2180899A1 (en) 1995-07-12 1997-01-13 Yasuaki Honda Synchronous updating of sub objects in a three dimensional virtual reality space sharing system and method therefore
US5826092A (en) 1995-09-15 1998-10-20 Gateway 2000, Inc. Method and apparatus for performance optimization in power-managed computer systems
US5737533A (en) 1995-10-26 1998-04-07 Wegener Internet Projects Bv System for generating a virtual reality scene in response to a database search
US6219045B1 (en) 1995-11-13 2001-04-17 Worlds, Inc. Scalable virtual world chat client-server system
US5864365A (en) 1996-01-26 1999-01-26 Kaman Sciences Corporation Environmentally controlled camera housing assembly
US6064749A (en) 1996-08-02 2000-05-16 Hirota; Gentaro Hybrid tracking for augmented reality using both camera motion detection and landmark tracking
US5854872A (en) 1996-10-08 1998-12-29 Clio Technologies, Inc. Divergent angle rotator system and method for collimating light beams
US8005254B2 (en) 1996-11-12 2011-08-23 Digimarc Corporation Background watermark processing
US6012811A (en) 1996-12-13 2000-01-11 Contour Optik, Inc. Eyeglass frames with magnets at bridges for attachment
JP3651204B2 (ja) 1996-12-18 2005-05-25 トヨタ自動車株式会社 立体画像表示装置、立体画像表示方法及び記録媒体
JP3465528B2 (ja) 1997-04-22 2003-11-10 三菱瓦斯化学株式会社 新規な光学材料用樹脂
JPH10309381A (ja) 1997-05-13 1998-11-24 Yoshimasa Tanaka 移動体用遊戯装置
US6271843B1 (en) 1997-05-30 2001-08-07 International Business Machines Corporation Methods systems and computer program products for transporting users in three dimensional virtual reality worlds using transportation vehicles
CN1171182C (zh) 1997-08-29 2004-10-13 世雅企业股份有限公司 图象处理系统和图象处理方法
JPH11142783A (ja) 1997-11-12 1999-05-28 Olympus Optical Co Ltd 画像表示装置
US6243091B1 (en) 1997-11-21 2001-06-05 International Business Machines Corporation Global history view
US6385735B1 (en) 1997-12-15 2002-05-07 Intel Corporation Method and apparatus for limiting processor clock frequency
US6079982A (en) 1997-12-31 2000-06-27 Meader; Gregory M Interactive simulator ride
US6191809B1 (en) 1998-01-15 2001-02-20 Vista Medical Technologies, Inc. Method and apparatus for aligning stereo images
US6362817B1 (en) 1998-05-18 2002-03-26 In3D Corporation System for creating and viewing 3D environments using symbolic descriptors
US6076927A (en) 1998-07-10 2000-06-20 Owens; Raymond L. Adjustable focal length eye glasses
US6119147A (en) 1998-07-28 2000-09-12 Fuji Xerox Co., Ltd. Method and system for computer-mediated, multi-modal, asynchronous meetings in a virtual space
JP2000099332A (ja) 1998-09-25 2000-04-07 Hitachi Ltd 遠隔手続き呼び出し最適化方法とこれを用いたプログラム実行方法
US6414679B1 (en) 1998-10-08 2002-07-02 Cyberworld International Corporation Architecture and methods for generating and displaying three dimensional representations
US6415388B1 (en) 1998-10-30 2002-07-02 Intel Corporation Method and apparatus for power throttling in a microprocessor using a closed loop feedback system
US6918667B1 (en) 1998-11-02 2005-07-19 Gary Martin Zelman Auxiliary eyewear attachment apparatus
US6487319B1 (en) 1998-11-18 2002-11-26 Sarnoff Corporation Apparatus and method for identifying the location of a coding unit
US7111290B1 (en) 1999-01-28 2006-09-19 Ati International Srl Profiling program execution to identify frequently-executed portions and to assist binary translation
US6556245B1 (en) 1999-03-08 2003-04-29 Larry Allan Holmberg Game hunting video camera
US6396522B1 (en) 1999-03-08 2002-05-28 Dassault Systemes Selection navigator
US7119819B1 (en) 1999-04-06 2006-10-10 Microsoft Corporation Method and apparatus for supporting two-dimensional windows in a three-dimensional environment
AU4190900A (en) 1999-04-06 2000-10-23 Microsoft Corporation Method and apparatus for supporting two-dimensional windows in a three-dimensional environment
US6375369B1 (en) 1999-04-22 2002-04-23 Videolarm, Inc. Housing for a surveillance camera
GB9930850D0 (en) 1999-12-24 2000-02-16 Koninkl Philips Electronics Nv 3D environment labelling
US6621508B1 (en) 2000-01-18 2003-09-16 Seiko Epson Corporation Information processing system
WO2001056007A1 (en) 2000-01-28 2001-08-02 Intersense, Inc. Self-referenced tracking
JP4921634B2 (ja) 2000-01-31 2012-04-25 グーグル インコーポレイテッド 表示装置
US9129034B2 (en) 2000-02-04 2015-09-08 Browse3D Corporation System and method for web browsing
KR20000030430A (ko) 2000-02-29 2000-06-05 김양신 3차원 그래픽 가상공간을 이용한 인터넷 광고시스템
JP4479051B2 (ja) 2000-04-28 2010-06-09 ソニー株式会社 情報処理装置および方法、並びに記録媒体
US6784901B1 (en) 2000-05-09 2004-08-31 There Method, system and computer program product for the delivery of a chat message in a 3D multi-user environment
KR100487543B1 (ko) 2000-09-01 2005-05-03 엘지전자 주식회사 시피유 스케쥴링 방법
US7788323B2 (en) 2000-09-21 2010-08-31 International Business Machines Corporation Method and apparatus for sharing information in a virtual environment
JP4646374B2 (ja) 2000-09-29 2011-03-09 オリンパス株式会社 画像観察光学系
US7168051B2 (en) 2000-10-10 2007-01-23 Addnclick, Inc. System and method to configure and provide a network-enabled three-dimensional computing environment
TW522256B (en) 2000-12-15 2003-03-01 Samsung Electronics Co Ltd Wearable display system
US6715089B2 (en) 2001-01-22 2004-03-30 Ati International Srl Reducing power consumption by estimating engine load and reducing engine clock speed
US20020108064A1 (en) 2001-02-07 2002-08-08 Patrick Nunally System and method for optimizing power/performance in network-centric microprocessor-controlled devices
US6807352B2 (en) 2001-02-11 2004-10-19 Georgia Tech Research Corporation Optical waveguides with embedded air-gap cladding layer and methods of fabrication thereof
US6931596B2 (en) 2001-03-05 2005-08-16 Koninklijke Philips Electronics N.V. Automatic positioning of display depending upon the viewer's location
US7176942B2 (en) 2001-03-23 2007-02-13 Dassault Systemes Collaborative design
US20020140848A1 (en) 2001-03-30 2002-10-03 Pelco Controllable sealed chamber for surveillance camera
EP1249717A3 (en) 2001-04-10 2005-05-11 Matsushita Electric Industrial Co., Ltd. Antireflection coating and optical element using the same
JPWO2002088913A1 (ja) 2001-04-27 2004-08-19 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｓｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ プロセッサの動作速度を制御するための方法および装置
US6961055B2 (en) 2001-05-09 2005-11-01 Free Radical Design Limited Methods and apparatus for constructing virtual environments
JP4682470B2 (ja) 2001-07-16 2011-05-11 株式会社デンソー スキャン型ディスプレイ装置
US6622253B2 (en) 2001-08-02 2003-09-16 Scientific-Atlanta, Inc. Controlling processor clock rate based on thread priority
US6762845B2 (en) 2001-08-23 2004-07-13 Zygo Corporation Multiple-pass interferometry
IL160902A0 (en) 2001-09-25 2004-08-31 Cambridge Flat Projection Flat-panel projection display
US6833955B2 (en) 2001-10-09 2004-12-21 Planop Planar Optics Ltd. Compact two-plane optical device
AU2002361572A1 (en) 2001-10-19 2003-04-28 University Of North Carolina At Chape Hill Methods and systems for dynamic virtual convergence and head mountable display
JP3834615B2 (ja) 2001-11-02 2006-10-18 独立行政法人産業技術総合研究所 画像表示方法及びシステム
US7076674B2 (en) 2001-12-19 2006-07-11 Hewlett-Packard Development Company L.P. Portable computer having dual clock mode
JP2003329873A (ja) 2001-12-27 2003-11-19 Fujikura Ltd 位置決め機構を備えた光ファイバ把持具、光ファイバアダプタ、及び光ファイバ加工装置
US6592220B1 (en) 2002-01-30 2003-07-15 Lak Cheong Eyeglass frame with removably mounted lenses
US7305020B2 (en) 2002-02-04 2007-12-04 Vizionware, Inc. Method and system of reducing electromagnetic interference emissions
US7038694B1 (en) 2002-03-11 2006-05-02 Microsoft Corporation Automatic scenery object generation
US6999087B2 (en) 2002-03-12 2006-02-14 Sun Microsystems, Inc. Dynamically adjusting sample density in a graphics system
EP1351117A1 (en) 2002-04-03 2003-10-08 Hewlett-Packard Company Data processing system and method
CN102902839B (zh) 2002-04-25 2016-04-06 新思科技公司 管理集成电路设计的装置和方法
US6849558B2 (en) 2002-05-22 2005-02-01 The Board Of Trustees Of The Leland Stanford Junior University Replication and transfer of microstructures and nanostructures
KR100382232B1 (en) 2002-05-31 2003-05-09 Palm Palm Tech Mobile terminal having enhanced power managing function and power managing method thereof
US7046515B1 (en) 2002-06-06 2006-05-16 Raytheon Company Method and apparatus for cooling a circuit component
US7155617B2 (en) 2002-08-01 2006-12-26 Texas Instruments Incorporated Methods and systems for performing dynamic power management via frequency and voltage scaling
US6714157B2 (en) 2002-08-02 2004-03-30 The Boeing Company Multiple time-interleaved radar operation using a single radar at different angles
US20040113887A1 (en) 2002-08-27 2004-06-17 University Of Southern California partially real and partially simulated modular interactive environment
KR100480786B1 (ko) 2002-09-02 2005-04-07 삼성전자주식회사 커플러를 가지는 집적형 광 헤드
AU2003268373A1 (en) 2002-09-04 2004-03-29 Mentor Graphics (Holdings) Ltd. Polymorphic computational system and method
US8458028B2 (en) 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
WO2004051450A2 (en) 2002-12-04 2004-06-17 Koninklijke Philips Electronics N.V. Software-based control of microprocessor power dissipation
US20050128212A1 (en) 2003-03-06 2005-06-16 Edecker Ada M. System and method for minimizing the amount of data necessary to create a virtual three-dimensional environment
US7306337B2 (en) 2003-03-06 2007-12-11 Rensselaer Polytechnic Institute Calibration-free gaze tracking under natural head movement
DE10311972A1 (de) 2003-03-18 2004-09-30 Carl Zeiss HMD-Vorrichtung
AU2003901272A0 (en) 2003-03-19 2003-04-03 Martin Hogan Pty Ltd Improvements in or relating to eyewear attachments
US7294360B2 (en) 2003-03-31 2007-11-13 Planar Systems, Inc. Conformal coatings for micro-optical elements, and method for making the same
US20040205757A1 (en) 2003-04-09 2004-10-14 Pering Trevor A. Performance scheduling using multiple constraints
WO2004109349A2 (en) 2003-06-10 2004-12-16 Elop Electro-Optics Industries Ltd. Method and system for displaying an informative image against a background image
US20040268159A1 (en) 2003-06-30 2004-12-30 Microsoft Corporation Power profiling
US7467356B2 (en) 2003-07-25 2008-12-16 Three-B International Limited Graphical user interface for 3d virtual display browser using virtual display windows
US7134031B2 (en) 2003-08-04 2006-11-07 Arm Limited Performance control within a multi-processor system
JP3931336B2 (ja) 2003-09-26 2007-06-13 マツダ株式会社 車両用情報提供装置
US7434083B1 (en) 2004-01-06 2008-10-07 Apple Inc. Method and apparatus for the generation and control of clock signals
JP4699699B2 (ja) 2004-01-15 2011-06-15 株式会社東芝 ビーム光走査装置及び画像形成装置
US7269590B2 (en) 2004-01-29 2007-09-11 Yahoo! Inc. Method and system for customizing views of information associated with a social network user
KR101128635B1 (ko) 2004-03-29 2012-03-26 소니 주식회사 광학 장치 및 허상 표시 장치
CN100350792C (zh) 2004-04-14 2007-11-21 奥林巴斯株式会社 摄像装置
JP4364047B2 (ja) 2004-04-14 2009-11-11 オリンパス株式会社 表示装置、撮像装置
US7219245B1 (en) 2004-06-03 2007-05-15 Advanced Micro Devices, Inc. Adaptive CPU clock management
US20060019723A1 (en) 2004-06-29 2006-01-26 Pieter Vorenkamp Automatic control of power save operation in a portable communication device utilizing historical usage information
US7382288B1 (en) 2004-06-30 2008-06-03 Rockwell Collins, Inc. Display of airport signs on head-up display
GB0416038D0 (en) 2004-07-16 2004-08-18 Portland Press Ltd Document display system
US20070189669A1 (en) 2004-07-22 2007-08-16 Maurizio Tormen Integrated wavelength selective grating-based filter
WO2006020846A2 (en) 2004-08-11 2006-02-23 THE GOVERNMENT OF THE UNITED STATES OF AMERICA as represented by THE SECRETARY OF THE NAVY Naval Research Laboratory Simulated locomotion method and apparatus
EP1850731A2 (en) 2004-08-12 2007-11-07 Elop Electro-Optical Industries Ltd. Integrated retinal imager and method
US9030532B2 (en) 2004-08-19 2015-05-12 Microsoft Technology Licensing, Llc Stereoscopic image display
US7029114B2 (en) 2004-09-03 2006-04-18 E'lite Optik U.S. L.P. Eyewear assembly with auxiliary frame and lens assembly
EP2637047A3 (en) 2004-09-16 2014-02-26 Nikon Corporation MgF2 optical thin film including amorphous silicon oxide binder, optical element provided with the same, and method for producing mgF2 optical thin film
US20060090092A1 (en) 2004-10-25 2006-04-27 Verhulst Anton H Clock timing adjustment
US7536567B2 (en) 2004-12-10 2009-05-19 Hewlett-Packard Development Company, L.P. BIOS-based systems and methods of processor power management
US20060126181A1 (en) 2004-12-13 2006-06-15 Nokia Corporation Method and system for beam expansion in a display device
US8619365B2 (en) 2004-12-29 2013-12-31 Corning Incorporated Anti-reflective coating for optical windows and elements
GB0502453D0 (en) 2005-02-05 2005-03-16 Cambridge Flat Projection Flat panel lens
US7573640B2 (en) 2005-04-04 2009-08-11 Mirage Innovations Ltd. Multi-plane optical apparatus
US20060250322A1 (en) 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
US7948683B2 (en) 2006-05-14 2011-05-24 Holochip Corporation Fluidic lens with manually-adjustable focus
US7644148B2 (en) 2005-05-16 2010-01-05 Hewlett-Packard Development Company, L.P. Historical data based workload allocation
JP4567786B2 (ja) 2005-06-03 2010-10-20 ノキア コーポレイション 射出瞳を拡大する汎用的な回折的光学方法
US7364306B2 (en) 2005-06-20 2008-04-29 Digital Display Innovations, Llc Field sequential light source modulation for a digital display system
US7933395B1 (en) 2005-06-27 2011-04-26 Google Inc. Virtual tour of user-defined paths in a geographic information system
JP4776285B2 (ja) 2005-07-01 2011-09-21 ソニー株式会社 照明光学装置及びこれを用いた虚像表示装置
JP4660787B2 (ja) 2005-08-25 2011-03-30 隆広 西岡 眼鏡
US7739524B2 (en) 2005-08-29 2010-06-15 The Invention Science Fund I, Inc Power consumption management
US20070058248A1 (en) 2005-09-14 2007-03-15 Nguyen Minh T Sport view binocular-zoom lens focus system
US20080043334A1 (en) 2006-08-18 2008-02-21 Mirage Innovations Ltd. Diffractive optical relay and method for manufacturing the same
US7869128B2 (en) 2005-09-27 2011-01-11 Konica Minolta Holdings, Inc. Head mounted display
US20100232016A1 (en) 2005-09-28 2010-09-16 Mirage Innovations Ltd. Stereoscopic Binocular System, Device and Method
US7817150B2 (en) 2005-09-30 2010-10-19 Rockwell Automation Technologies, Inc. Three-dimensional immersive system for representing an automation control environment
US9658473B2 (en) 2005-10-07 2017-05-23 Percept Technologies Inc Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
KR101193331B1 (ko) 2005-10-14 2012-10-19 엘지전자 주식회사 그래픽장치의 전력소모를 관리하는 시스템 및 방법
ATE422679T1 (de) 2005-11-03 2009-02-15 Mirage Innovations Ltd Binokulare optische relaiseinrichtung
JP5266059B2 (ja) 2005-11-18 2013-08-21 ナノコンプ オイ リミテッド 回折格子の製造方法
JP5226528B2 (ja) 2005-11-21 2013-07-03 マイクロビジョン，インク． 像誘導基板を有するディスプレイ
US7917573B2 (en) 2005-11-30 2011-03-29 International Business Machines Corporation Measuring and reporting processor capacity and processor usage in a computer system with processors of different speed and/or architecture
JP2007199841A (ja) 2006-01-24 2007-08-09 Seiko Epson Corp 電子機器のコントローラ、バス制御装置
ES2605367T3 (es) 2006-01-26 2017-03-14 Nokia Technologies Oy Dispositivo de seguimiento ocular
KR20060059992A (ko) 2006-01-31 2006-06-02 닛토덴코 가부시키가이샤 간섭 광학필터
JP2007219106A (ja) 2006-02-16 2007-08-30 Konica Minolta Holdings Inc 光束径拡大光学素子、映像表示装置およびヘッドマウントディスプレイ
US7461535B2 (en) 2006-03-01 2008-12-09 Memsic, Inc. Multi-temperature programming for accelerometer
IL174170A (en) 2006-03-08 2015-02-26 Abraham Aharoni Device and method for two-eyed tuning
US7353134B2 (en) 2006-03-09 2008-04-01 Dean A. Cirielli Three-dimensional position and motion telemetry input
CA2645817C (en) 2006-03-15 2016-05-03 Google Inc. Automatic display of resized images
JP2007273733A (ja) 2006-03-31 2007-10-18 Tdk Corp 固体電解コンデンサの製造方法
WO2007141587A1 (en) 2006-06-02 2007-12-13 Nokia Corporation Color distribution in exit pupil expanders
EP1868149B1 (en) 2006-06-14 2019-08-07 Dassault Systèmes Improved computerized collaborative work
US7692855B2 (en) 2006-06-28 2010-04-06 Essilor International Compagnie Generale D'optique Optical article having a temperature-resistant anti-reflection coating with optimized thickness ratio of low index and high index layers
US9015501B2 (en) 2006-07-13 2015-04-21 International Business Machines Corporation Structure for asymmetrical performance multi-processors
US7724980B1 (en) 2006-07-24 2010-05-25 Adobe Systems Incorporated System and method for selective sharpening of images
US8214660B2 (en) 2006-07-26 2012-07-03 International Business Machines Corporation Structure for an apparatus for monitoring and controlling heat generation in a multi-core processor
KR100809479B1 (ko) 2006-07-27 2008-03-03 한국전자통신연구원 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
US20080030429A1 (en) 2006-08-07 2008-02-07 International Business Machines Corporation System and method of enhanced virtual reality
US7640449B2 (en) 2006-08-17 2009-12-29 Via Technologies, Inc. Systems and methods for dynamic clock frequencies for low power design
US9582060B2 (en) 2006-08-31 2017-02-28 Advanced Silicon Technologies Llc Battery-powered device with reduced power consumption based on an application profile data
JP4861105B2 (ja) 2006-09-15 2012-01-25 株式会社エヌ・ティ・ティ・ドコモ 空間掲示板システム
US20080125218A1 (en) 2006-09-20 2008-05-29 Kelly James Collins Method of use for a commercially available portable virtual reality system
US20080068557A1 (en) 2006-09-20 2008-03-20 Gilbert Menduni Lens holding frame
CN101512413B (zh) 2006-09-28 2012-02-15 诺基亚公司 利用三维衍射元件的光束扩展
US20090300528A1 (en) 2006-09-29 2009-12-03 Stambaugh Thomas M Browser event tracking for distributed web-based processing, spatial organization and display of information
BRPI0716338A2 (pt) 2006-10-31 2014-03-11 Modines Ltd Oy Estrutura de desaclopamento de luz para um dispositivo de iluminaçao
US20080146942A1 (en) 2006-12-13 2008-06-19 Ep Medsystems, Inc. Catheter Position Tracking Methods Using Fluoroscopy and Rotational Sensors
WO2008071830A1 (en) 2006-12-14 2008-06-19 Nokia Corporation Display device having two operating modes
JP4847351B2 (ja) 2007-01-11 2011-12-28 キヤノン株式会社 回折光学素子及びそれを用いた回折格子
US7418368B2 (en) 2007-01-18 2008-08-26 International Business Machines Corporation Method and system for testing processor cores
JP4348441B2 (ja) 2007-01-22 2009-10-21 国立大学法人 大阪教育大学 位置検出装置、位置検出方法、データ判定装置、データ判定方法、コンピュータプログラム及び記憶媒体
US8726681B2 (en) 2007-01-23 2014-05-20 Hewlett-Packard Development Company, L.P. Method and system of cooling components of a computer system
US20090017910A1 (en) 2007-06-22 2009-01-15 Broadcom Corporation Position and motion tracking of an object
JP5194530B2 (ja) 2007-04-09 2013-05-08 凸版印刷株式会社 画像表示装置及び画像表示方法
EP3667399A1 (en) 2007-06-04 2020-06-17 Magic Leap, Inc. A diffractive beam expander
US8060759B1 (en) 2007-06-29 2011-11-15 Emc Corporation System and method of managing and optimizing power consumption in a storage system
US9387402B2 (en) 2007-09-18 2016-07-12 Disney Enterprises, Inc. Method and system for converting a computer virtual environment into a real-life simulation environment
JP2009090689A (ja) 2007-10-03 2009-04-30 Calsonic Kansei Corp ヘッドアップディスプレイ
US8368721B2 (en) 2007-10-06 2013-02-05 Mccoy Anthony Apparatus and method for on-field virtual reality simulation of US football and other sports
US7844724B2 (en) 2007-10-24 2010-11-30 Social Communications Company Automated real-time data stream switching in a shared virtual area communication environment
WO2009074976A2 (en) 2007-12-12 2009-06-18 Bio-Ride Ltd. System and methodology for providing shared internet experience
WO2009077802A1 (en) 2007-12-18 2009-06-25 Nokia Corporation Exit pupil expanders with wide field-of-view
DE102008005817A1 (de) 2008-01-24 2009-07-30 Carl Zeiss Ag Optisches Anzeigegerät
EP2242419B1 (en) 2008-02-14 2016-01-13 Nokia Technologies Oy Device and method for determining gaze direction
JP2009244869A (ja) 2008-03-11 2009-10-22 Panasonic Corp 表示装置、表示方法、眼鏡型ヘッドマウントディスプレイ、及び自動車
US8296196B2 (en) 2008-05-15 2012-10-23 International Business Machines Corporation Tag along shopping
US20090309819A1 (en) 2008-06-13 2009-12-17 Element Labs, Inc. Collapsible Support Structure for a Display
JP5181860B2 (ja) 2008-06-17 2013-04-10 セイコーエプソン株式会社 パルス幅変調信号生成装置およびそれを備えた画像表示装置、並びにパルス幅変調信号生成方法
JP5027746B2 (ja) 2008-07-01 2012-09-19 株式会社トプコン 位置測定方法、位置測定装置、およびプログラム
US8250389B2 (en) 2008-07-03 2012-08-21 International Business Machines Corporation Profiling an application for power consumption during execution on a plurality of compute nodes
US10885471B2 (en) 2008-07-18 2021-01-05 Disney Enterprises, Inc. System and method for providing location-based data on a wireless portable device
US7850306B2 (en) 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
US8229800B2 (en) 2008-09-13 2012-07-24 At&T Intellectual Property I, L.P. System and method for an enhanced shopping experience
US7885506B2 (en) 2008-09-26 2011-02-08 Nokia Corporation Device and a method for polarized illumination of a micro-display
CN102224476B (zh) 2008-10-14 2017-08-01 奥布隆工业有限公司 多进程交互系统和方法
WO2010065786A1 (en) 2008-12-03 2010-06-10 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for determining the positioin of the tip of a medical catheter within the body of a patient
US20100153934A1 (en) 2008-12-12 2010-06-17 Peter Lachner Prefetch for systems with heterogeneous architectures
US8325088B2 (en) 2009-02-04 2012-12-04 Google Inc. Mobile device battery management
US8539359B2 (en) 2009-02-11 2013-09-17 Jeffrey A. Rapaport Social network driven indexing system for instantly clustering people with concurrent focus on same topic into on-topic chat rooms and/or for generating on-topic search results tailored to user preferences regarding topic
US8411086B2 (en) 2009-02-24 2013-04-02 Fuji Xerox Co., Ltd. Model creation using visual markup languages
US8699141B2 (en) 2009-03-13 2014-04-15 Knowles Electronics, Llc Lens assembly apparatus and method
JP5121764B2 (ja) 2009-03-24 2013-01-16 株式会社東芝 固体撮像装置
US9095436B2 (en) 2009-04-14 2015-08-04 The Invention Science Fund I, Llc Adjustable orthopedic implant and method for treating an orthopedic condition in a subject
US20100274567A1 (en) 2009-04-22 2010-10-28 Mark Carlson Announcing information about payment transactions of any member of a consumer group
US20100274627A1 (en) 2009-04-22 2010-10-28 Mark Carlson Receiving an announcement triggered by location data
US9383823B2 (en) 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US20110010636A1 (en) 2009-07-13 2011-01-13 International Business Machines Corporation Specification of a characteristic of a virtual universe establishment
US20110022870A1 (en) 2009-07-21 2011-01-27 Microsoft Corporation Component power monitoring and workload optimization
US8758125B2 (en) 2009-07-24 2014-06-24 Wms Gaming, Inc. Controlling event-driven behavior of wagering game objects
JP2011033993A (ja) 2009-08-05 2011-02-17 Sharp Corp 情報提示装置、および情報提示方法
US8738949B2 (en) 2009-08-31 2014-05-27 Empire Technology Development Llc Power management for processor
JP5316391B2 (ja) 2009-08-31 2013-10-16 ソニー株式会社 画像表示装置及び頭部装着型ディスプレイ
US20110050640A1 (en) 2009-09-03 2011-03-03 Niklas Lundback Calibration for a Large Scale Multi-User, Multi-Touch System
US11320571B2 (en) 2012-11-16 2022-05-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view with uniform light extraction
EP2494454A4 (en) 2009-10-30 2013-05-15 Intel Corp TWO-WAY COMMUNICATION SUPPORT FOR HETEROGENIC PROCESSORS ENERGY COMPUTER PLATFORM
US8305502B2 (en) 2009-11-11 2012-11-06 Eastman Kodak Company Phase-compensated thin-film beam combiner
US8605209B2 (en) 2009-11-24 2013-12-10 Gregory Towle Becker Hurricane damage recording camera system
US8909962B2 (en) 2009-12-16 2014-12-09 Qualcomm Incorporated System and method for controlling central processing unit power with guaranteed transient deadlines
US9244533B2 (en) 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
US8751854B2 (en) 2009-12-21 2014-06-10 Empire Technology Development Llc Processor core clock rate selection
US8565554B2 (en) 2010-01-09 2013-10-22 Microsoft Corporation Resizing of digital images
KR101099137B1 (ko) 2010-01-29 2011-12-27 주식회사 팬택 이동 통신 시스템에서 증강 현실 정보를 제공하기 위한 장치 및 방법
US8549339B2 (en) 2010-02-26 2013-10-01 Empire Technology Development Llc Processor core communication in multi-core processor
US11275482B2 (en) 2010-02-28 2022-03-15 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9547910B2 (en) 2010-03-04 2017-01-17 Honeywell International Inc. Method and apparatus for vision aided navigation using image registration
WO2011107831A1 (en) 2010-03-04 2011-09-09 Nokia Corporation Optical apparatus and method for expanding an exit pupil
JP5499854B2 (ja) 2010-04-08 2014-05-21 ソニー株式会社 頭部装着型ディスプレイにおける光学的位置調整方法
US8118499B2 (en) 2010-05-19 2012-02-21 LIR Systems, Inc. Infrared camera assembly systems and methods
US20110291964A1 (en) 2010-06-01 2011-12-01 Kno, Inc. Apparatus and Method for Gesture Control of a Dual Panel Electronic Device
JP5923696B2 (ja) 2010-06-08 2016-05-25 アキム株式会社 角速度センサ検査用テーブル装置
JP2012015774A (ja) 2010-06-30 2012-01-19 Toshiba Corp 立体視映像処理装置および立体視映像処理方法
US8560876B2 (en) 2010-07-06 2013-10-15 Sap Ag Clock acceleration of CPU core based on scanned result of task for parallel execution controlling key word
US8601288B2 (en) 2010-08-31 2013-12-03 Sonics, Inc. Intelligent power controller
US8854594B2 (en) 2010-08-31 2014-10-07 Cast Group Of Companies Inc. System and method for tracking
KR101479262B1 (ko) 2010-09-02 2015-01-12 주식회사 팬택 증강현실 정보 이용 권한 부여 방법 및 장치
JP5632693B2 (ja) 2010-09-28 2014-11-26 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理方法および情報処理システム
US20120081392A1 (en) 2010-09-30 2012-04-05 Apple Inc. Electronic device operation adjustment based on face detection
US8688926B2 (en) 2010-10-10 2014-04-01 Liqid Inc. Systems and methods for optimizing data storage among a plurality of solid state memory subsystems
KR101260576B1 (ko) 2010-10-13 2013-05-06 주식회사 팬택 Ａｒ 서비스를 제공하기 위한 사용자 단말기 및 그 방법
US8947784B2 (en) 2010-10-26 2015-02-03 Optotune Ag Variable focus lens having two liquid chambers
US20120113235A1 (en) 2010-11-08 2012-05-10 Sony Corporation 3d glasses, systems, and methods for optimized viewing of 3d video content
US9406166B2 (en) 2010-11-08 2016-08-02 Seereal Technologies S.A. Display device, in particular a head-mounted display, based on temporal and spatial multiplexing of hologram tiles
JP5854593B2 (ja) 2010-11-17 2016-02-09 キヤノン株式会社 積層型回折光学素子
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US20160187654A1 (en) 2011-02-28 2016-06-30 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US8949637B2 (en) 2011-03-24 2015-02-03 Intel Corporation Obtaining power profile information with low overhead
EP2691936A1 (en) 2011-03-29 2014-02-05 Qualcomm Incorporated Modular mobile connected pico projectors for a local multi-user collaboration
US8856571B2 (en) 2011-04-05 2014-10-07 Apple Inc. Adjusting device performance over multiple time domains
KR101210163B1 (ko) 2011-04-05 2012-12-07 엘지이노텍 주식회사 광학 시트 및 이를 포함하는 표시장치
JP2012235036A (ja) 2011-05-09 2012-11-29 Shimadzu Corp 発熱部品搭載用の厚銅箔プリント配線基板およびその製造方法
US8856355B2 (en) 2011-05-09 2014-10-07 Samsung Electronics Co., Ltd. Systems and methods for facilitating communication between mobile devices and display devices
US20150077312A1 (en) 2011-05-13 2015-03-19 Google Inc. Near-to-eye display having adaptive optics
US9245307B2 (en) * 2011-06-01 2016-01-26 Empire Technology Development Llc Structured light projection for motion detection in augmented reality
US9087267B2 (en) 2011-06-10 2015-07-21 Image Vision Labs, Inc. Image scene recognition
US10606066B2 (en) 2011-06-21 2020-03-31 Gholam A. Peyman Fluidic light field camera
US20120326948A1 (en) 2011-06-22 2012-12-27 Microsoft Corporation Environmental-light filter for see-through head-mounted display device
JP6061926B2 (ja) 2011-06-27 2017-01-18 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 身体管腔のライブ３ｄ画像を提供するためのシステム、その作動方法及びコンピュータプログラム
US9100587B2 (en) 2011-07-22 2015-08-04 Naturalpoint, Inc. Hosted camera remote control
US8548290B2 (en) 2011-08-23 2013-10-01 Vuzix Corporation Dynamic apertured waveguide for near-eye display
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
EP3309602A1 (en) 2011-08-29 2018-04-18 Vuzix Corporation Controllable waveguide for near-eye display applications
US9025252B2 (en) 2011-08-30 2015-05-05 Microsoft Technology Licensing, Llc Adjustment of a mixed reality display for inter-pupillary distance alignment
US9213163B2 (en) 2011-08-30 2015-12-15 Microsoft Technology Licensing, Llc Aligning inter-pupillary distance in a near-eye display system
KR101407670B1 (ko) 2011-09-15 2014-06-16 주식회사 팬택 증강현실 기반 모바일 단말과 서버 및 그 통신방법
US8998414B2 (en) 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
US9835765B2 (en) 2011-09-27 2017-12-05 Canon Kabushiki Kaisha Optical element and method for manufacturing the same
US8847988B2 (en) 2011-09-30 2014-09-30 Microsoft Corporation Exercising applications for personal audio/visual system
US9125301B2 (en) 2011-10-18 2015-09-01 Integrated Microwave Corporation Integral heater assembly and method for carrier or host board of electronic package assembly
US8782454B2 (en) 2011-10-28 2014-07-15 Apple Inc. System and method for managing clock speed based on task urgency
US8891918B2 (en) 2011-11-17 2014-11-18 At&T Intellectual Property I, L.P. Methods, systems, and products for image displays
WO2013101842A1 (en) 2011-12-27 2013-07-04 Zoom Focus Eyewear Spectacles with removable optics
US8608309B2 (en) 2011-12-30 2013-12-17 A New Vision Llc Eyeglass system
EP2797657B1 (en) 2011-12-30 2019-03-13 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for detection and avoidance of collisions of robotically-controlled medical devices
US9619240B2 (en) 2012-02-04 2017-04-11 Empire Technology Development Llc Core-level dynamic voltage and frequency scaling in a chip multiprocessor
JP5942456B2 (ja) 2012-02-10 2016-06-29 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
GB2499635B (en) 2012-02-23 2014-05-14 Canon Kk Image processing for projection on a projection screen
US9704220B1 (en) 2012-02-29 2017-07-11 Google Inc. Systems, methods, and media for adjusting one or more images displayed to a viewer
US9740007B2 (en) 2012-03-22 2017-08-22 Sony Corporation Display device, image processing device and image processing method, and computer program
US10013511B2 (en) 2012-04-09 2018-07-03 Purdue Research Foundation System and method for energy usage accounting in software applications
US20130278633A1 (en) 2012-04-20 2013-10-24 Samsung Electronics Co., Ltd. Method and system for generating augmented reality scene
US10627623B2 (en) 2012-05-03 2020-04-21 Nokia Technologies Oy Image providing apparatus, method and computer program
WO2013177316A2 (en) 2012-05-22 2013-11-28 Xockets IP, LLC Efficient packet handling, redirection, and inspection using offload processors
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9113291B2 (en) 2012-06-18 2015-08-18 Qualcomm Incorporated Location detection within identifiable pre-defined geographic areas
US8848741B2 (en) 2012-06-21 2014-09-30 Breakingpoint Systems, Inc. High-speed CLD-based TCP segmentation offload
US9767720B2 (en) 2012-06-25 2017-09-19 Microsoft Technology Licensing, Llc Object-centric mixed reality space
US9696547B2 (en) 2012-06-25 2017-07-04 Microsoft Technology Licensing, Llc Mixed reality system learned input and functions
US9645394B2 (en) 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
JP5538483B2 (ja) 2012-06-29 2014-07-02 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像処理システム
TW201403299A (zh) 2012-07-04 2014-01-16 Acer Inc 中央處理器控制方法
US8605764B1 (en) 2012-07-09 2013-12-10 Microvision, Inc. Laser diode junction temperature compensation
US9031283B2 (en) 2012-07-12 2015-05-12 Qualcomm Incorporated Sensor-aided wide-area localization on mobile devices
US9860522B2 (en) 2012-08-04 2018-01-02 Paul Lapstun Head-mounted light field display
US9841563B2 (en) 2012-08-04 2017-12-12 Paul Lapstun Shuttered waveguide light field display
JP6218833B2 (ja) 2012-08-20 2017-10-25 キャメロン，ドナルド，ケヴィン 処理リソース割り当て
CN102829880B (zh) 2012-08-23 2014-04-16 江苏物联网研究发展中心 基于黒硅的高性能mems热电堆红外探测器及其制备方法
IN2015KN00682A (zh) 2012-09-03 2015-07-17 Sensomotoric Instr Ges Für Innovative Sensorik Mbh
KR102044054B1 (ko) 2012-09-12 2019-11-12 소니 주식회사 화상 제어 장치 및 화상 제어 방법
KR101923723B1 (ko) 2012-09-17 2018-11-29 한국전자통신연구원 사용자 간 상호작용이 가능한 메타버스 공간을 제공하기 위한 메타버스 클라이언트 단말 및 방법
US9177404B2 (en) 2012-10-31 2015-11-03 Qualcomm Incorporated Systems and methods of merging multiple maps for computer vision based tracking
US9576183B2 (en) * 2012-11-02 2017-02-21 Qualcomm Incorporated Fast initialization for monocular visual SLAM
US9584382B2 (en) 2012-11-28 2017-02-28 At&T Intellectual Property I, L.P. Collecting and using quality of experience information
US20140168260A1 (en) 2012-12-13 2014-06-19 Paul M. O'Brien Waveguide spacers within an ned device
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
US20150355481A1 (en) 2012-12-31 2015-12-10 Esight Corp. Apparatus and method for fitting head mounted vision augmentation systems
US10716469B2 (en) 2013-01-25 2020-07-21 Wesley W. O. Krueger Ocular-performance-based head impact measurement applied to rotationally-centered impact mitigation systems and methods
US9336629B2 (en) 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process
GB201301764D0 (en) 2013-01-31 2013-03-20 Adlens Ltd Actuation of fluid-filled lenses
WO2014124706A1 (en) 2013-02-15 2014-08-21 Adlens Limited Adjustable lens and article of eyewear
US8884663B2 (en) 2013-02-25 2014-11-11 Advanced Micro Devices, Inc. State machine for low-noise clocking of high frequency clock
US9600068B2 (en) 2013-03-13 2017-03-21 Sony Interactive Entertainment Inc. Digital inter-pupillary distance adjustment
US9854014B2 (en) 2013-03-14 2017-12-26 Google Inc. Motion data sharing
WO2014144035A1 (en) 2013-03-15 2014-09-18 Brian Adams Ballard Method and system for representing and interacting with augmented reality content
KR20160005680A (ko) 2013-03-15 2016-01-15 임미 인크. 비동공 형성 광 경로를 갖는 헤드마운트 디스플레이
KR101845350B1 (ko) 2013-03-26 2018-05-18 세이코 엡슨 가부시키가이샤 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법
JP6337418B2 (ja) 2013-03-26 2018-06-06 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US9079399B2 (en) 2013-05-16 2015-07-14 Océ-Technologies B.V. Method for operating a printing system
US9235395B2 (en) 2013-05-30 2016-01-12 National Instruments Corporation Graphical development and deployment of parallel floating-point math functionality on a system with heterogeneous hardware components
JP6232763B2 (ja) 2013-06-12 2017-11-22 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
CN104704818B (zh) 2013-06-19 2018-08-31 松下知识产权经营株式会社 图像显示装置和图像显示方法
US9256987B2 (en) 2013-06-24 2016-02-09 Microsoft Technology Licensing, Llc Tracking head movement when wearing mobile device
US9998863B2 (en) 2013-08-19 2018-06-12 Estimote Polska Sp. Z O. O. System and method for providing content using beacon systems
JP2016529559A (ja) 2013-08-27 2016-09-23 フラメリ・インコーポレーテッド 取り外し可能眼鏡レンズおよびフレームプラットフォーム
CN105474125B (zh) 2013-09-27 2019-01-01 英特尔公司 用于跟踪唤醒锁定使用的技术
US9256072B2 (en) 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
US20150123966A1 (en) 2013-10-03 2015-05-07 Compedia - Software And Hardware Development Limited Interactive augmented virtual reality and perceptual computing platform
US20150097719A1 (en) 2013-10-03 2015-04-09 Sulon Technologies Inc. System and method for active reference positioning in an augmented reality environment
US9996797B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Interactions with virtual objects for machine control
KR102189115B1 (ko) 2013-11-11 2020-12-09 삼성전자주식회사 대칭형 다중 프로세서를 구비한 시스템 온-칩 및 이를 위한 최대 동작 클럭 주파수 결정 방법
US9286725B2 (en) 2013-11-14 2016-03-15 Nintendo Co., Ltd. Visually convincing depiction of object interactions in augmented reality images
US9927923B2 (en) 2013-11-19 2018-03-27 Hitachi Maxell, Ltd. Projection-type video display device
WO2015079610A1 (ja) 2013-11-26 2015-06-04 ソニー株式会社 ヘッドマウントディスプレイ
NZ720610A (en) 2013-11-27 2020-04-24 Magic Leap Inc Virtual and augmented reality systems and methods
WO2015100714A1 (en) 2014-01-02 2015-07-09 Empire Technology Development Llc Augmented reality (ar) system
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US10228562B2 (en) 2014-02-21 2019-03-12 Sony Interactive Entertainment Inc. Realtime lens aberration correction from eye tracking
US9383630B2 (en) 2014-03-05 2016-07-05 Mygo, Llc Camera mouth mount
US9871741B2 (en) 2014-03-10 2018-01-16 Microsoft Technology Licensing, Llc Resource management based on device-specific or user-specific resource usage profiles
US9251598B2 (en) 2014-04-10 2016-02-02 GM Global Technology Operations LLC Vision-based multi-camera factory monitoring with dynamic integrity scoring
US20170123775A1 (en) 2014-03-26 2017-05-04 Empire Technology Development Llc Compilation of application into multiple instruction sets for a heterogeneous processor
US11137601B2 (en) 2014-03-26 2021-10-05 Mark D. Wieczorek System and method for distanced interactive experiences
JP6442149B2 (ja) 2014-03-27 2018-12-19 オリンパス株式会社 画像表示装置
US20150301955A1 (en) 2014-04-21 2015-10-22 Qualcomm Incorporated Extending protection domains to co-processors
US10424103B2 (en) 2014-04-29 2019-09-24 Microsoft Technology Licensing, Llc Display device viewer gaze attraction
US9626802B2 (en) 2014-05-01 2017-04-18 Microsoft Technology Licensing, Llc Determining coordinate frames in a dynamic environment
KR102173699B1 (ko) 2014-05-09 2020-11-03 아이플루언스, 인크. 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들
CN113253476B (zh) 2014-05-30 2022-12-27 奇跃公司 采用虚拟或增强现实装置生成虚拟内容显示的方法和系统
EP2952850A1 (en) 2014-06-03 2015-12-09 Optotune AG Optical device, particularly for tuning the focal length of a lens of the device by means of optical feedback
JP2017153498A (ja) 2014-06-17 2017-09-07 日本電産コパル電子株式会社 感圧センサと感圧カテーテル
CN106464826B (zh) 2014-07-01 2020-02-07 索尼公司 信息处理装置及方法
RU2603238C2 (ru) 2014-07-15 2016-11-27 Самсунг Электроникс Ко., Лтд. Световодная структура, голографическое оптическое устройство и система формирования изображений
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
WO2016017254A1 (ja) 2014-08-01 2016-02-04 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
WO2016031417A1 (ja) 2014-08-28 2016-03-03 ソニー株式会社 画像処理装置、及び画像処理システム
US20160077338A1 (en) 2014-09-16 2016-03-17 Steven John Robbins Compact Projection Light Engine For A Diffractive Waveguide Display
US9494799B2 (en) 2014-09-24 2016-11-15 Microsoft Technology Licensing, Llc Waveguide eye tracking employing switchable diffraction gratings
US10176625B2 (en) 2014-09-25 2019-01-08 Faro Technologies, Inc. Augmented reality camera for use with 3D metrology equipment in forming 3D images from 2D camera images
US20160093269A1 (en) 2014-09-26 2016-03-31 Pixtronix, Inc. Laser-Pumped Phosphor Backlight and Methods
KR20240005987A (ko) 2014-09-29 2024-01-12 매직 립, 인코포레이티드 상이한 파장의 광을 도파관 밖으로 출력하기 위한 아키텍쳐 및 방법
US9977573B2 (en) 2014-10-31 2018-05-22 Microsoft Technology Licensing, Llc Facilitating interaction between users and their environments using a headset having input mechanisms
US10371936B2 (en) 2014-11-10 2019-08-06 Leo D. Didomenico Wide angle, broad-band, polarization independent beam steering and concentration of wave energy utilizing electronically controlled soft matter
IL235642B (en) 2014-11-11 2021-08-31 Lumus Ltd A compact head-up display system is protected by an element with a super-thin structure
US20170243403A1 (en) 2014-11-11 2017-08-24 Bent Image Lab, Llc Real-time shared augmented reality experience
US10794728B2 (en) 2014-12-19 2020-10-06 Invensense, Inc. Device and method for sensor calibration
US10096162B2 (en) 2014-12-22 2018-10-09 Dimensions And Shapes, Llc Headset vision system for portable devices that provides an augmented reality display and/or a virtual reality display
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US10018844B2 (en) 2015-02-09 2018-07-10 Microsoft Technology Licensing, Llc Wearable image display system
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US10459145B2 (en) 2015-03-16 2019-10-29 Digilens Inc. Waveguide device incorporating a light pipe
WO2016149536A1 (en) 2015-03-17 2016-09-22 Ocutrx Vision Technologies, Llc. Correction of vision defects using a visual display
US20160287337A1 (en) 2015-03-31 2016-10-06 Luke J. Aram Orthopaedic surgical system and method for patient-specific surgical procedure
EP3745167A1 (en) 2015-04-07 2020-12-02 Magic Leap, Inc. Diffraction grating and method of manufacture
US9779554B2 (en) 2015-04-10 2017-10-03 Sony Interactive Entertainment Inc. Filtering and parental control methods for restricting visual activity on a head mounted display
CN107533339B (zh) 2015-04-20 2020-05-22 深圳市大疆创新科技有限公司 用于对传感器操作进行热调节的系统和方法
WO2016171705A1 (en) 2015-04-23 2016-10-27 Leia Inc. Dual light guide grating-based backlight and electronic display using same
US10419655B2 (en) * 2015-04-27 2019-09-17 Snap-Aid Patents Ltd. Estimating and using relative head pose and camera field-of-view
US10909464B2 (en) 2015-04-29 2021-02-02 Microsoft Technology Licensing, Llc Semantic locations prediction
US9664569B2 (en) 2015-05-15 2017-05-30 Google Inc. Circuit board configurations facilitating operation of heat sensitive sensor components
KR20160139727A (ko) 2015-05-28 2016-12-07 엘지전자 주식회사 글래스타입 단말기 및 이의 제어방법
GB2539009A (en) 2015-06-03 2016-12-07 Tobii Ab Gaze detection method and apparatus
KR20190087292A (ko) 2015-06-15 2019-07-24 시리트 엘엘씨 빔형성 안테나를 이용한 통신을 위한 방법 및 시스템
US10832479B2 (en) 2015-06-15 2020-11-10 Sony Corporation Information processing apparatus, information processing method, and program
FR3037672B1 (fr) 2015-06-16 2017-06-16 Parrot Drone comportant des moyens perfectionnes de compensation du biais de la centrale inertielle en fonction de la temperature
US9519084B1 (en) 2015-06-18 2016-12-13 Oculus Vr, Llc Securing a fresnel lens to a refractive optical element
CA2991644C (en) 2015-07-06 2022-03-01 Frank Jones Methods and devices for demountable head mounted displays
US11190681B1 (en) 2015-07-10 2021-11-30 Snap Inc. Systems and methods for DSP fast boot
US20170100664A1 (en) 2015-10-12 2017-04-13 Osterhout Group, Inc. External user interface for head worn computing
US20170038607A1 (en) 2015-08-04 2017-02-09 Rafael Camara Enhanced-reality electronic device for low-vision pathologies, and implant procedure
US9781246B2 (en) 2015-08-28 2017-10-03 Qualcomm Incorporated Augmenting reality using a small cell
WO2017039308A1 (en) 2015-08-31 2017-03-09 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
US9880611B2 (en) 2015-08-31 2018-01-30 Google Llc Energy saving mode for electronic devices
US9489027B1 (en) 2015-08-31 2016-11-08 Wave Resource Strategies, Inc. System and method for the accurate recordation of power consumption in a computing device utilizing power profiles
JP6615541B2 (ja) 2015-09-02 2019-12-04 株式会社バンダイナムコアミューズメント 投影システム
US20150378407A1 (en) 2015-09-04 2015-12-31 Mediatek Inc. Loading-Based Dynamic Voltage And Frequency Scaling
KR102161161B1 (ko) 2015-09-11 2020-09-29 아마존 테크놀로지스, 인크. 에지 위치들에서 맞춤형 이벤트-트리거된 컴퓨터의 조작을 위한 시스템, 방법 및 컴퓨터-판독가능한 스토리지 매체
JP6824967B2 (ja) 2015-09-18 2021-02-03 オーリス ヘルス インコーポレイテッド 管状網のナビゲーション
US10082865B1 (en) 2015-09-29 2018-09-25 Rockwell Collins, Inc. Dynamic distortion mapping in a worn display
GB2542853B (en) 2015-10-02 2021-12-15 Cambridge Consultants Processing apparatus and methods
US10241332B2 (en) 2015-10-08 2019-03-26 Microsoft Technology Licensing, Llc Reducing stray light transmission in near eye display using resonant grating filter
US10067346B2 (en) 2015-10-23 2018-09-04 Microsoft Technology Licensing, Llc Holographic display
US9983709B2 (en) 2015-11-02 2018-05-29 Oculus Vr, Llc Eye tracking using structured light
CN113489967A (zh) 2015-11-04 2021-10-08 奇跃公司 可穿戴显示系统和用于校准可穿戴显示器的方法
US9671615B1 (en) 2015-12-01 2017-06-06 Microsoft Technology Licensing, Llc Extended field of view in near-eye display using wide-spectrum imager
US10025060B2 (en) 2015-12-08 2018-07-17 Oculus Vr, Llc Focus adjusting virtual reality headset
US10445860B2 (en) 2015-12-08 2019-10-15 Facebook Technologies, Llc Autofocus virtual reality headset
DE102015122055B4 (de) 2015-12-17 2018-08-30 Carl Zeiss Ag Optisches System sowie Verfahren zum Übertragen eines Quellbildes
US20170185261A1 (en) 2015-12-28 2017-06-29 Htc Corporation Virtual reality device, method for virtual reality
WO2017120475A1 (en) 2016-01-06 2017-07-13 University Of Utah Research Foundation Low-power large aperture adaptive lenses for smart eyeglasses
EP3190447B1 (en) 2016-01-06 2020-02-05 Ricoh Company, Ltd. Light guide and virtual image display device
US9978180B2 (en) 2016-01-25 2018-05-22 Microsoft Technology Licensing, Llc Frame projection for augmented reality environments
WO2017127897A1 (en) 2016-01-27 2017-08-03 Paul Lapstun Shuttered waveguide light field display
US10429639B2 (en) 2016-01-31 2019-10-01 Paul Lapstun Head-mounted light field display
US9891436B2 (en) 2016-02-11 2018-02-13 Microsoft Technology Licensing, Llc Waveguide-based displays with anti-reflective and highly-reflective coating
JP6686504B2 (ja) 2016-02-15 2020-04-22 セイコーエプソン株式会社 頭部装着型画像表示装置
JP6686505B2 (ja) 2016-02-15 2020-04-22 セイコーエプソン株式会社 頭部装着型画像表示装置
CN109348738B (zh) 2016-02-18 2021-11-16 富士电机株式会社 信号传输装置
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US9880441B1 (en) 2016-09-08 2018-01-30 Osterhout Group, Inc. Electrochromic systems for head-worn computer systems
US20170256096A1 (en) 2016-03-07 2017-09-07 Google Inc. Intelligent object sizing and placement in a augmented / virtual reality environment
CN109310476B (zh) 2016-03-12 2020-04-03 P·K·朗 用于手术的装置与方法
US10223605B2 (en) 2016-03-18 2019-03-05 Colorvision International, Inc. Interactive virtual aquarium simulation system and associated methods
JP2019514448A (ja) 2016-03-31 2019-06-06 ゾール メディカル コーポレイションＺＯＬＬ Ｍｅｄｉｃａｌ Ｃｏｒｐｏｒａｔｉｏｎ 患者の動きを追跡するシステムおよび方法
CA3018782A1 (en) 2016-04-07 2017-10-12 Magic Leap, Inc. Systems and methods for augmented reality
EP3236211A1 (en) 2016-04-21 2017-10-25 Thomson Licensing Method and apparatus for estimating a pose of a rendering device
US10197804B2 (en) 2016-04-25 2019-02-05 Microsoft Technology Licensing, Llc Refractive coating for diffractive optical elements
NZ787464A (en) 2016-04-26 2023-06-30 Magic Leap Inc Electromagnetic tracking with augmented reality systems
US20170312032A1 (en) 2016-04-27 2017-11-02 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
WO2017193012A1 (en) 2016-05-06 2017-11-09 Magic Leap, Inc. Metasurfaces with asymetric gratings for redirecting light and methods for fabricating
US10241346B2 (en) 2016-05-07 2019-03-26 Microsoft Technology Licensing, Llc Degrees of freedom for diffraction elements in wave expander
US10215986B2 (en) 2016-05-16 2019-02-26 Microsoft Technology Licensing, Llc Wedges for light transformation
US11228770B2 (en) 2016-05-16 2022-01-18 Qualcomm Incorporated Loop sample processing for high dynamic range and wide color gamut video coding
GB201609027D0 (en) 2016-05-23 2016-07-06 Bae Systems Plc Waveguide manufacturing method
US10078377B2 (en) 2016-06-09 2018-09-18 Microsoft Technology Licensing, Llc Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
US9939647B2 (en) 2016-06-20 2018-04-10 Microsoft Technology Licensing, Llc Extended field of view in near-eye display using optically stitched imaging
US10114440B2 (en) 2016-06-22 2018-10-30 Razer (Asia-Pacific) Pte. Ltd. Applying power management based on a target time
US10372184B2 (en) 2016-06-28 2019-08-06 Renesas Electronics America Inc. Method and apparatus for implementing power modes in microcontrollers using power profiles
WO2018008232A1 (ja) 2016-07-04 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10839732B2 (en) 2016-07-07 2020-11-17 Hitachi-Lg Data Storage, Inc. Video display device
TW201803289A (zh) 2016-07-11 2018-01-16 原相科技股份有限公司 可利用較小電路面積並同時考量節能省電以偵測空氣中之干擾訊號之功率來控制放大器之增益值的無線收發機裝置及方法
JP7182538B2 (ja) 2016-07-25 2022-12-02 マジック リープ， インコーポレイテッド 拡張現実および仮想現実アイウェアを用いた結像修正、表示、および可視化
CN113240601B (zh) 2016-08-04 2024-03-26 杜比实验室特许公司 单一深度追踪调节-聚散解决方案
WO2018027206A1 (en) 2016-08-04 2018-02-08 Reification Inc. Methods for simultaneous localization and mapping (slam) and related apparatus and systems
US10966186B2 (en) 2016-08-12 2021-03-30 Qualcomm Incorporated Downlink control channel structure for low latency applications
US10676345B2 (en) 2016-08-15 2020-06-09 Y-Sensors Ltd. Temperature stabilized MEMS device
US10267970B2 (en) 2016-08-22 2019-04-23 Magic Leap, Inc. Thermal dissipation for wearable device
US10690936B2 (en) 2016-08-29 2020-06-23 Mentor Acquisition One, Llc Adjustable nose bridge assembly for headworn computer
US20180067779A1 (en) 2016-09-06 2018-03-08 Smartiply, Inc. AP-Based Intelligent Fog Agent
US20180082480A1 (en) 2016-09-16 2018-03-22 John R. White Augmented reality surgical technique guidance
US11839433B2 (en) 2016-09-22 2023-12-12 Medtronic Navigation, Inc. System for guided procedures
WO2018058063A1 (en) * 2016-09-26 2018-03-29 Magic Leap, Inc. Calibration of magnetic and optical sensors in a virtual reality or augmented reality display system
US10134192B2 (en) 2016-10-17 2018-11-20 Microsoft Technology Licensing, Llc Generating and displaying a computer generated image on a future pose of a real world object
US10373297B2 (en) 2016-10-26 2019-08-06 Valve Corporation Using pupil location to correct optical lens distortion
JP7229155B2 (ja) 2016-11-02 2023-02-27 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 画像誘導手術のための連続的な位置合せのシステム及び方法
US10735691B2 (en) 2016-11-08 2020-08-04 Rockwell Automation Technologies, Inc. Virtual reality and augmented reality for industrial automation
EP3320829A1 (en) 2016-11-10 2018-05-16 E-Health Technical Solutions, S.L. System for integrally measuring clinical parameters of visual function
KR102573744B1 (ko) 2016-11-23 2023-09-01 삼성디스플레이 주식회사 표시 장치 및 그 구동 방법
JP7076447B2 (ja) 2016-11-24 2022-05-27 ユニヴァーシティ オブ ワシントン ヘッドマウントディスプレイのための光照射野キャプチャおよびレンダリング
JP6917701B2 (ja) 2016-11-30 2021-08-11 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
US11272600B2 (en) 2016-12-01 2022-03-08 Sony Corporation Information processing apparatus and information processing method
US10185151B2 (en) 2016-12-20 2019-01-22 Facebook Technologies, Llc Waveguide display with a small form factor, a large field of view, and a large eyebox
CN108885533B (zh) 2016-12-21 2021-05-07 杰创科科技有限公司 组合虚拟现实和增强现实
JP7190434B2 (ja) 2016-12-29 2022-12-15 マジック リープ， インコーポレイテッド 外部条件に基づくウェアラブルディスプレイデバイスの自動制御
US10203252B2 (en) 2016-12-29 2019-02-12 Industrial Technology Research Institute Microelectromechanical apparatus having a measuring range selector
WO2018125812A1 (en) 2017-01-02 2018-07-05 Gauss Surgical, Inc. Tracking surgical items with prediction of duplicate imaging of items
US10489975B2 (en) 2017-01-04 2019-11-26 Daqri, Llc Environmental mapping system
US10436594B2 (en) 2017-01-17 2019-10-08 Blind InSites, LLC Devices, systems, and methods for navigation and usage guidance in a navigable space using wireless communication
US9978118B1 (en) 2017-01-25 2018-05-22 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations with data compression
US20180218545A1 (en) 2017-01-31 2018-08-02 Daqri, Llc Virtual content scaling with a hardware controller
US20180255285A1 (en) 2017-03-06 2018-09-06 Universal City Studios Llc Systems and methods for layered virtual features in an amusement park environment
EP3376279B1 (en) 2017-03-13 2022-08-31 Essilor International Optical device for a head-mounted display, and head-mounted device incorporating it for augmented reality
US10452123B2 (en) 2017-03-30 2019-10-22 Google Llc Predictive power saving and screen dimming for computing devices
US10642045B2 (en) 2017-04-07 2020-05-05 Microsoft Technology Licensing, Llc Scanner-illuminated LCOS projector for head mounted display
US10241545B1 (en) 2017-06-01 2019-03-26 Facebook Technologies, Llc Dynamic distortion correction for optical compensation
US11132533B2 (en) 2017-06-07 2021-09-28 David Scott Dreessen Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion
US11236993B1 (en) 2017-06-08 2022-02-01 Facebook Technologies, Llc Depth sensing using a time of flight system including a scanning beam in combination with a single photon avalanche diode array
GB201709199D0 (en) 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system
JP6904637B2 (ja) 2017-06-18 2021-07-21 ムーヴィット エーピーピー グローバル リミテッド 輸送停車場ロケーションを決定するためのシステムと方法
US20190196690A1 (en) 2017-06-23 2019-06-27 Zyetric Virtual Reality Limited First-person role playing interactive augmented reality
US10402448B2 (en) 2017-06-28 2019-09-03 Google Llc Image retrieval with deep local feature descriptors and attention-based keypoint descriptors
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US20190056591A1 (en) 2017-08-18 2019-02-21 Microsoft Technology Licensing, Llc Optical waveguide with multiple antireflective coatings
US9948612B1 (en) 2017-09-27 2018-04-17 Citrix Systems, Inc. Secure single sign on and conditional access for client applications
US10437065B2 (en) 2017-10-03 2019-10-08 Microsoft Technology Licensing, Llc IPD correction and reprojection for accurate mixed reality object placement
US20190137788A1 (en) 2017-11-08 2019-05-09 Interstol Trading Co. Inc. Lens assembly including magnet assembly components for mounting onto an eye glass frame
US10317680B1 (en) 2017-11-09 2019-06-11 Facebook Technologies, Llc Optical aberration correction based on user eye position in head mounted displays
ES2859474T3 (es) 2017-11-13 2021-10-04 Vr Coaster Gmbh & Co Kg Dispositivo para vivir una simulación de realidad virtual en un mundo submarino
US10599259B2 (en) 2017-11-20 2020-03-24 Google Llc Virtual reality / augmented reality handheld controller sensing
KR102411287B1 (ko) 2017-11-22 2022-06-22 삼성전자 주식회사 미디어 출력 제어 장치 및 방법
WO2019108651A1 (en) 2017-12-01 2019-06-06 Rhodan Marine Systems Of Florida, Llc Dynamic augmented reality headset system
US10916059B2 (en) 2017-12-06 2021-02-09 Universal City Studios Llc Interactive video game system having an augmented virtual representation
US10636198B2 (en) 2017-12-28 2020-04-28 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for monocular simultaneous localization and mapping
US10620430B2 (en) 2018-01-12 2020-04-14 Microsoft Technology Licensing, Llc Geometrically multiplexed RGB lasers in a scanning MEMS display system for HMDS
US10773169B2 (en) 2018-01-22 2020-09-15 Google Llc Providing multiplayer augmented reality experiences
WO2019148154A1 (en) 2018-01-29 2019-08-01 Lang Philipp K Augmented reality guidance for orthopedic and other surgical procedures
WO2019152617A1 (en) 2018-02-03 2019-08-08 The Johns Hopkins University Calibration system and method to align a 3d virtual scene and 3d real world for a stereoscopic head-mounted display
US10422989B2 (en) 2018-02-06 2019-09-24 Microsoft Technology Licensing, Llc Optical systems including a single actuator and multiple fluid-filled optical lenses for near-eye-display devices
GB201805301D0 (en) 2018-03-29 2018-05-16 Adlens Ltd Improvements In Or Relating To Variable Focusing Power Optical Devices
US10997746B2 (en) 2018-04-12 2021-05-04 Honda Motor Co., Ltd. Feature descriptor matching
US10504288B2 (en) 2018-04-17 2019-12-10 Patrick Piemonte & Ryan Staake Systems and methods for shared creation of augmented reality
JP6779939B2 (ja) 2018-04-19 2020-11-04 グリー株式会社 ゲーム装置、制御方法及び制御プログラム
US10969486B2 (en) 2018-04-26 2021-04-06 SCRRD, Inc. Augmented reality platform and method for use of same
US10740966B2 (en) 2018-05-14 2020-08-11 Microsoft Technology Licensing, Llc Fake thickness on a two-dimensional object
EP3804306B1 (en) 2018-06-05 2023-12-27 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
CN112584791A (zh) 2018-06-19 2021-03-30 托尼尔公司 用于诊断肩部疾患的神经网络
US11510027B2 (en) 2018-07-03 2022-11-22 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US10854004B2 (en) 2018-08-24 2020-12-01 Facebook, Inc. Multi-device mapping and collaboration in augmented-reality environments
US10902678B2 (en) 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
CN110942518B (zh) 2018-09-24 2024-03-29 苹果公司 上下文计算机生成现实(cgr)数字助理
US11017217B2 (en) 2018-10-09 2021-05-25 Midea Group Co., Ltd. System and method for controlling appliances using motion gestures
US10838488B2 (en) 2018-10-10 2020-11-17 Plutovr Evaluating alignment of inputs and outputs for virtual environments
US10678323B2 (en) 2018-10-10 2020-06-09 Plutovr Reference frames for virtual environments
US10516853B1 (en) 2018-10-10 2019-12-24 Plutovr Aligning virtual representations to inputs and outputs
US10776933B2 (en) 2018-12-06 2020-09-15 Microsoft Technology Licensing, Llc Enhanced techniques for tracking the movement of real-world objects for improved positioning of virtual objects
US10970547B2 (en) 2018-12-07 2021-04-06 Microsoft Technology Licensing, Llc Intelligent agents for managing data associated with three-dimensional objects
US11216150B2 (en) 2019-06-28 2022-01-04 Wen-Chieh Geoffrey Lee Pervasive 3D graphical user interface with vector field functionality
US20210008413A1 (en) 2019-07-11 2021-01-14 Elo Labs, Inc. Interactive Personal Training System
US11174153B2 (en) 2019-08-21 2021-11-16 Invensense, Inc. Package level thermal gradient sensing
US11209656B1 (en) 2020-10-05 2021-12-28 Facebook Technologies, Llc Methods of driving light sources in a near-eye display

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100103196A1 (en) * 2008-10-27 2010-04-29 Rakesh Kumar System and method for generating a mixed reality environment
CN102656474A (zh) * 2010-03-08 2012-09-05 英派尔科技开发有限公司 用于增强现实的宽带无源跟踪
CN103201645A (zh) * 2010-11-12 2013-07-10 克里斯蒂安·希罗尼米 用于对物体进行姿态确定和/或控制的系统
US20170254832A1 (en) * 2011-11-04 2017-09-07 Google Inc. Calibrating Inertial Sensors Using an Image
US20140368378A1 (en) * 2011-12-20 2014-12-18 Sadar 3D, Inc. Systems, apparatus, and methods for data acquisition and imaging
US20140306866A1 (en) * 2013-03-11 2014-10-16 Magic Leap, Inc. System and method for augmented and virtual reality
CN105850113A (zh) * 2014-01-06 2016-08-10 欧库勒斯虚拟现实有限责任公司 虚拟现实系统的校准
CN106030335A (zh) * 2014-03-28 2016-10-12 英特尔公司 使用微功率脉冲雷达确定移动显示位置和取向
WO2016041088A1 (en) * 2014-09-19 2016-03-24 Sulon Technologies Inc. System and method for tracking wearable peripherals in augmented reality and virtual reality applications
US20170205903A1 (en) * 2015-03-05 2017-07-20 Magic Leap, Inc. Systems and methods for augmented reality
US20170261610A1 (en) * 2016-03-11 2017-09-14 Oculus Vr, Llc Ultrasound/radar for eye tracking
EP3252714A1 (en) * 2016-06-03 2017-12-06 Univrses AB Camera selection in positional tracking
CN106355647A (zh) * 2016-08-25 2017-01-25 北京暴风魔镜科技有限公司 增强现实系统和方法
CN107450577A (zh) * 2017-07-25 2017-12-08 天津大学 基于多传感器的无人机智能感知系统和方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113655473A (zh) * 2021-08-15 2021-11-16 海南三熙科技有限公司 一种共轴双云台雷达与光电一体化设备

Also Published As

Publication number Publication date
US20210141076A1 (en) 2021-05-13
US11885871B2 (en) 2024-01-30
EP3803450A1 (en) 2021-04-14
JP2021525868A (ja) 2021-09-27
WO2019231850A1 (en) 2019-12-05
EP3803450A4 (en) 2021-08-18
JP7319303B2 (ja) 2023-08-01

Similar Documents

Publication Publication Date Title
US11885871B2 (en) Radar head pose localization
EP3165939B1 (en) Dynamically created and updated indoor positioning map
US10134192B2 (en) Generating and displaying a computer generated image on a future pose of a real world object
US9965689B2 (en) Geometric matching in visual navigation systems
US11127380B2 (en) Content stabilization for head-mounted displays
US11960661B2 (en) Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
CN108022302B (zh) 一种Inside-Out空间定位的AR立体显示装置
CN110100151A (zh) 在视觉惯性测距中使用全球定位系统速度的系统及方法
US20190204599A1 (en) Head-mounted display device with electromagnetic sensor
US9406171B2 (en) Distributed aperture visual inertia navigation
US11024040B2 (en) Dynamic object tracking
US10475415B1 (en) Strobe tracking of head-mounted displays (HMDs) in virtual, augmented, and mixed reality (xR) applications
US11694345B2 (en) Moving object tracking using object and scene trackers
US20190228583A1 (en) Systems and methods for tracking object location and orientation in virtual reality environments using ultra-wideband signals, inertia measurement units, and reflective markers
WO2019221763A1 (en) Position and orientation tracking system, apparatus and method
US20220026710A1 (en) Tracking system
US20230122185A1 (en) Determining relative position and orientation of cameras using hardware
US20220350365A1 (en) Composite pose estimate for wearable computing device
KR20230017088A (ko) 영상 좌표의 불확실성을 추정하는 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination