CN106462232A - 在动态环境中确定坐标框架 - Google Patents

在动态环境中确定坐标框架 Download PDF

Info

Publication number
CN106462232A
CN106462232A CN201580021525.6A CN201580021525A CN106462232A CN 106462232 A CN106462232 A CN 106462232A CN 201580021525 A CN201580021525 A CN 201580021525A CN 106462232 A CN106462232 A CN 106462232A
Authority
CN
China
Prior art keywords
real
feature
coordinate frame
sensor
world
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580021525.6A
Other languages
English (en)
Other versions
CN106462232B (zh
Inventor
A·G·鲍罗斯
A·汤姆林
T·安布鲁斯
J·科尔
I·D·麦克恩特瑞
D·斯蒂里
F·斯查法里兹基
G·克莱因
K·P·马尔卡希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN106462232A publication Critical patent/CN106462232A/zh
Application granted granted Critical
Publication of CN106462232B publication Critical patent/CN106462232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

揭示了用于区分物理环境中各特征的移动的方法和系统的各实施例。例如，在头戴式显示设备上，方法的一个实施例包括获得两个或更多个坐标框架中的现实世界特征的标识，并从头戴式显示设备外部的一个或多个传感器获得运动数据。方法还包括基于运动数据将一个坐标框架中的特征与在另一半坐标框架中的特征进行区分。

Description

在动态环境中确定坐标框架
背景
物理环境可由计算机使用各种传感器来映射以检测对象的位置和/或移动以及环境中的其它特征。然而，某些环境可能是动态的并且包括彼此相对地移动的特征。在这样的环境中，诸如姿势识别和现实世界视觉增强的各应用可受现实世界特征的移动影响。
概述
揭示了涉及通过计算设备确定可彼此相对地移动的现实世界对象的坐标框架的各实施例。例如，一个公开的实施例提供一种用于确定物理环境中的坐标框架的方法。该方法包括获得两个或更多个坐标框架中的现实世界特征的表示，并从头戴式显示设备外部的一个或多个传感器获得运动数据。该方法还包括基于传感器数据将一个坐标框架中的特征与另一坐标框架中的特征区别开。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。而且，所要求保护的主题不限于解决该公开的任一部分中所注的任何或全部缺点的实现方式。
附图简述
图1A－1C示出根据本发明的一实施例的示例物理环境并解说了虚拟图像的显示用以增强环境。
图2是根据本发明的一实施例的示例坐标框架检测和分派系统的框图。
图3是描绘了根据本方面的一个实施例的用于在物理环境中确定坐标框架的方法的流程图。
图4是说明根据本发明的一实施例的用于分割和合并坐标框架的方法的流程图。
图5示出根据本公开的一实施例的头戴式显示设备的示例。
图6是计算系统的示例实施例的框图。
详细描述
增强现实体验可通过在透视显示器(现实世界环境透过其可见)上显示虚拟图像，来被提供在诸如头戴式显示设备(HMD)之类的透视显示设备上。现实世界可通过来自HMD上面朝外的图像传感器来被检测并定位，并且虚拟图像可接着被定位在该显示上增强该现实世界对象的位置处。
为了实现从HMD的佩戴者的视角正确地对齐到现实世界环境的增强现实体验，佩戴者的移动可被跟踪以帮助确定在哪里显示内容。然而，佩戴者的移动可起源于多个运动源(诸如佩戴者被定位在其中的移动车辆)。这样的相对运动可能使得将虚拟图像与现实世界对象对齐的任务复杂化。
因此，在此揭示了有关通过从一个或多个传感器接收到的动作数据来区分在不同坐标框架中的现实世界特征的移动以帮助虚拟图像增强对现实世界特征的正确对齐的各实施例，其中一个或多个传感器在增强现实显示设备外部。图1A-1C示出了示例物理环境100，其中传感器数据可被用来将在图像数据中捕捉的现实世界特征与不同的所标识的坐标框架相关联。首先，图1A示出了车辆102沿着路行驶并且正在被驾驶员104驾驶。随着车辆沿着路移动，不同对象或其它特征可彼此相对地移动。例如，车辆102可能正相对于基本上固定的现实世界对象(诸如标志106和树木108)移动。车辆102还可进一步相对于车辆110移动。此外，尽管驾驶员104可与车辆102一致地(例如，相对于固定的现实世界对象和其它车辆110)移动，驾驶员104也可相对于车辆移动，诸如当驾驶员104转动以查看不同方向或作出相对于车辆102的坐标框架的其它移动时。因此，在此示例中，标志106和树木108可被看成是处在第一坐标框架内、车辆102处在第二坐标框架内、车辆110处在第三坐标框架内、(当驾驶员104相对于车辆102移动时)驾驶员104处在第四坐标框架内。
区分与驾驶员相关联的坐标框架和与车辆相关联的不同的坐标框架可使得增强现实显示设备在确定驾驶员的移动时能够补偿车辆的移动。这可允许关于因处于车辆102中所导致的驾驶员104的运动的信息被从与驾驶员104的坐标框架相关联的运动信号传感器中减去，从而帮助获得关于驾驶员104相对于车辆102的运动的信息。此外，对来自IMU或其它运动传感器的运动数据的使用相比于单单从图像数据确定物理世界特征的相对运动而言可简化对这样的坐标框架的确定。
物理环境内的坐标框架可基于来自任何合适的传感器的数据来被确定。例如，诸如惯性测量单元的运动传感器和/或其它合适的传感器可被定位在环境内的对象中或上。作为更具体的示例，标志106被示为包括附于和/或集成在标志内的传感器112。传感器112可测量并广播和/或发送与标志106相关联的位置和/或运动特性。例如，传感器112可指示标志的位置(例如，在绝对或相对坐标中，诸如纬度/经度等)。将理解这样的传感器可位于标志的坐标框架中的任何其它合适的位置，并可被配置来以任何合适的方式传送传感器数据。此外，与大地的坐标框架相关的运动也可通过其它传感器，诸如全球定位系统(GPS)传感器，来确定。
类似地，车辆102和110分别可包括传感器114和116。此外，由驾驶员104佩戴的头戴式显示设备(HMD)118可包括一个或多个传感器，如以下参考图5描述的。这些对象的每一个可包括用于获得有关现实世界特征的位置和相对运动的信息的任何合适数量、类型的传感器和/或其组合。例如，传感器可包括一个或多个相机(例如深度、红外、可见光、立体等等)、惯性测量单元(IMU)、加速度计、陀螺仪、GPS传感器、磁力计等。类似地，传感器114可随时间提供关于车辆102的位置和/或运动特性的传感器数据。此外，HMD 118的传感器可提供关于驾驶员104的位置和/或运动特性的运动信号。
具有这样的传感器的设备可例如通过直接配对、通过计算机网络、和/或以任何其它方式来相互通信。在一个非限制性实施例中，配置来向其它设备提供传感器数据的设备可输出信标信号以警告其它设备有关传感器数据的可用性，且其它设备可自动地或经由手动配对过程来与该信标信号连接。一旦与HMD 118配对，传感器设备可接着向HMD提供传感器数据。
在配对之后，数据可从各传感器被接收以帮助区分现实世界特征的彼此相对移动。例如，HMD 118可从车辆102和110中的GPS单元接收GPS数据，并基于接收到的GPS数据来确定这两辆车的相对移动。这可帮助从HMD的用户的视角以相对于物理现实世界对象一致且稳定的位置来显示虚拟对象。IMU和/或其它合适的数据也可被用来将车辆的移动相互区分。
图1B和1C示出了从图1A的驾驶员104的视角的示例视场(分别为120和130)。在图1B中，虚拟对象122，在此示为车辆速度的文本表示，被显示在相对于车辆102固定的位置。在所描绘的示例中，虚拟对象122，在通过HMD 118的透视显示器查看时，可看上去覆盖车辆的挡风玻璃124的一部分。可能想要响应于车辆和HMD之间的相对运动来调节虚拟对象122在HMD 118上显示的位置，使得虚拟对象看上去稳定在位置中。然而，即使当所检测到的运动实际上是载有该HMD的轿车的运动，HMD上的惯性运动单元也可能指示HMD正在移动。因此，为了将由车辆引起的HMD的运动与HMD相对于车辆的运动进行区分，传感器数据可由HMD从传感器114(例如，位于轿车中的IMU、车辆的GPS系统，等)获得，并且轿车的运动可从HMD的运动中被减去。以此方式，HMD相对于车辆的运动的表示可被获得。通过相比于由车辆运动引起的移动区分由用户运动引起的HMD 118的移动，HMD 118对虚拟对象112的呈现可针对HMD和车辆之间的相对运动来被调节。
图1C示出了包括对车辆102外部的现实世界特征(即标志106)的增强的虚拟对象126的示例。由车辆102引起的HMD 118的移动以及HMD 118相对于车辆102的移动可影响透过HMD 118的透视显示器所感知的标志106的位置。因此，标志106的坐标框架可例如通过从HMD 118中的IMU确定的运动信号来被确定，因为HMD 118捕捉到的图像数据中标志106的明显运动将对应于这个传感器感测到的车辆和HMD的运动。来自车辆102的GPS数据和/或来自车辆102的IMU数据也可被用来确定标志106的坐标框架。这可允许所感知的虚拟对象126的位置相应地被更新。
在一些实施例中，物理环境中的对象(例如，基本固定的对象、车辆、HMD等)的相对移动可被车辆102和/或HMD 118上的传感器来单独确定。在其它实施例中，这样的相对移动可使用大地坐标框架中的传感器，连同车辆和/或HMD上的传感器来确定。固定传感器可遍布物理环境以提供现实世界中相对于大地固定的位置/对象的容易获得的指示。例如，相对于大地固定的传感器可被集成在公共或私有基础设施内(例如，在道路、建筑、交通信号灯等中)、位于自然特征内或上(例如，埋在地里/粘在地上、附于植物等)、在固定的相对位置围绕地球、和/或以任何其它合适的方式提供/分布。结合到对象中的可被移动的传感器通过任何合适的机制可同样对其它设备容易地可用。
图2示出了描绘示例坐标框架检测和分派系统200的框图。系统200可被至少部分包括在头戴式显示设备202(诸如图1的HMD 118)中，或可被结合到任何其它合适的设备中。系统200还被描绘成包括与HMD通信但可不与HMD结合的组件，诸如用于HMD外部的坐标框架的运动传感器。
系统200包括被配置用于对环境进行成像并向特征标识模块206提供图像数据的一个或多个相机204。一个或多个相机204可包括位于头戴式显示设备202远程(例如外部地)和位于头戴式显示设备202上的任何合适的相机的组合。一个或多个相机204可包括任何合适类型和数量的相机。例如，HMD 202可包括耦合到HMD的RGB(红/绿/蓝)立体对相机、单个RGB相机、一个或多个深度相机及其组合等等。
特征标识模块206可从一个或多个相机204接收并分析图像数据以标识相机所成像的物理环境中的一个或多个现实世界特征。例如，特征标识模块206可检测各物理对象、各对象的各边、各对象的各角、和/或任何其它合适的结构，并可执行任何合适的图像分析以标识现实世界特征。
特征标识模块206可向特征跟踪器208提供关于所检测到的现实世界特征的标识信息。该特征跟踪器208可随时间跟踪现实世界特征的位置以便确定与该现实世界特征相关联的一个或多个运动特性。例如，基于来自特征标识模块206的数据，特征跟踪器208可确定被跟踪特征的速度、加速度、方向、速率、和/或其它合适的运动特性。
此外，诸如惯性测量单元(IMU)210和被配置来提供有关运动的信息的其它传感器212的运动传感器，可将运动信号发送到坐标框架生成器214。其它传感器212可包括可用于检测现实世界特征的运动的任何合适的传感器，包括但不限于加速度计、陀螺仪、GPS单元、相机等。IMU210和其它传感器212可被放置在物理环境的任何位置的组合中。例如，一个或多个IMU 210和/或传感器212可位于头戴式显示设备202的外部，并且一个或多个IMU 210和/或传感器212可被集成在头戴式显示设备202的内部。外部IMU 210和/或传感器212可相对于物理环境中的一个或多个对象固定，如以上结合图1A－1C中的传感器112、114和116描述的，并且因此与这些对象的坐标框架相关联。
坐标框架生成器214可分析运动信号，并为每个检测到的运动信号生成坐标框架，其中坐标框架相对于运动信号从其被接收的传感器的位置固定。
特征跟踪器208和坐标框架生成器214的每一个可向坐标框架分派模块216提供输入。坐标框架分派模块216可把由特征跟踪器208跟踪的特征的运动特性和与坐标框架生成器214生成的每个坐标框架相关联的运动特性进行比较。具有与一坐标框架的运动特性相匹配(例如，一致和/或在一阈值范围内)的运动特性的特征可被分派到那个坐标框架。
来自特征跟踪器208和/或坐标框架分派模块216的信息可被提供给图像呈现器218。图像呈现器218可被配置来呈现增强现实显示输出以供显示在头戴式显示设备200的显示器220(例如，透视显示器)上。例如，图像呈现器218可从定义与现实世界对象在位置上相关联的图像元素的虚拟图像生产引擎222接收一个或多个虚拟对象。图像呈现器218可基于如用户通过透视显示器220所感知的现实世界对象的位置来控制虚拟对象的显示位置，现实世界对象的位置例如通过特征跟踪器208接收的信息来确定。图像呈现器218可基于检测到的现实世界对象相对于头戴式显示设备的坐标框架的位置(如基于来自特征跟踪器208和坐标框架分派模块216的信息来确定)的改变来更新虚拟对象被显示的位置。对现实世界对象的坐标框架的知晓可允许虚拟对象的显示保持在相对于现实世界对象固定的位置。
图3示出描绘用于确定物理环境中的坐标框架的方法300的实施例的流程图。方法300可被头戴式显示设备，诸如图1A-C的HMD 118，或任何其它合适类型的设备执行。在302，方法300包括：获得物理环境中的现实世界特征的表示。例如，如在304指示的，表示可通过用相机对物理环境进行成像来获得。现实世界特征可包括各物理对象、各对象的各边、各对象的各角、和/或任何其它合适的对象特征，如在306所指示的。
如上面提及的，归因于物理世界中各对象的坐标框架的相对运动，现实世界特征可具有相对彼此的不同运动特性。因此，在308，方法300包括获得来自一个或多个传感器的运动数据。各传感器可在头戴式显示设备的外部和/或集成在头戴式显示设备的内部/安装到头戴式显示设备。进一步，传感器数据可从任何合适类型的传感器获得，包括但不限于以上参考图1A－1C讨论的那些。获得传感器数据可包括接收运动信号，如在310所指示的。此外，获得传感器数据可包括从与不同坐标框架相关联的各传感器接收数据，如在312所指示并在以下文进一步详述。例如，坐标框架可基于从各传感器接收的描述物理环境中的特征的运动特性的运动数据来被标识。
方法300进一步包括跟踪在图像数据中标识的现实世界特征的位置，如在314所指示的。例如，现实世界特征的位置可相对于HMD的相机的位置来被跟踪，如在316所指示的。因在308获得的传感器数据被应用于如在304/306描述的被成像的物理环境中的特征，可基于该传感器数据来跟踪各位置。在318，方法300包括基于随时间跟踪的各位置来确定一个或多个运动特性。
方法300还包括，在322，通过传感器数据将一个坐标框架中的一个或多个现实世界特征与另一个坐标框架中的一个或多个特征进行区分。例如，方法300可包括将从图像数据中确定的现实世界的特征的运动特性与从一个或多个传感器(例如，头戴式显示器的传感器和/或与另一个现实世界特征相关联的传感器)接收的运动数据进行比较，如在324所指示的。以此方式，对应于所标识的现实世界特征的运动特性可与传感器数据进行比较以将每个现实世界特征与所检测的坐标框架相关联。此外，一个坐标框架(例如，HMD坐标框架)相对于另一坐标框架的移动可通过针对两个坐标框架减去运动信号来被隔离。
在某些实例中，物理世界特征可从处在单个坐标框架中切换到处在不同坐标框架中。例如，当佩戴着HMD的人正站在人行横道上观察在红绿灯处停止的车辆时，该车辆和围绕该车辆的物理环境可在相同坐标框架中。然而，当车辆在灯变绿后继续行驶时，该车辆和该车辆外的物理环境在不同坐标框架中。
因此，图4示出了描绘用于基于各现实世界特征之间的相对移动的开始和停止来分割和合并各现实世界特征的各坐标框架的方法400的流程图。方法400可被头戴式显示设备和/或任何其它合适的计算设备执行。
方法400包括，在402，跟踪现实世界特征的位置和/或移动。被跟踪的现实世界特征的至少一些可在相同坐标框架中，如在404指示的。可使用图像数据和/或其它传感器数据来跟踪现实世界特征，如以上参考图2描述的。
方法400还包括，在408，检测第一现实世界特征相对于第二现实世界特征的移动。该移动可以以任何合适的方式来检测，诸如通过在410通过图像数据和/或运动传感器数据来标识特征的不同运动特性。例如，一旦车辆开始移动，从传感器接收到的运动数据可指示移动。此外，在运动数据从多个传感器接收时，不同坐标框架中的不同传感器可通过检测不同运动特性来指示相互的相对运动。
在412，方法400包括对应于各特征之间相对运动，将各物理世界特征共享的初始坐标框架分割成针对不同特征的不同坐标框架。例如，坐标框架可通过从一个或多个传感器接收的运动数据来被标识。这进一步可包括基于那个传感器/特征的检测到的/测量到的运动(与从图像数据确定的特征的运动相比)，将各物理世界特征匹配到不同标识的坐标框架，如在414所指示的。
被跟踪的现实世界特征的运动特性可被连续跟踪(例如，通过周期性更新)。在某些点，第一和第二特征之间的相对运动可停止，如此这些特征是相同坐标框架的部分。如此，在416，方法400包括从运动传感器数据中检测匹配运动特性，诸如匹配加速度数据、匹配速率数据、匹配方向数据。图像数据还可被用来检测匹配运动。响应于检测匹配运动特性，方法400包括合并具有匹配运动特性的各传感器和/或相关联的特征的各坐标框架，如在418所指示的。例如，如果在沿着道路移动之后，以上示例中的车辆再次停下，与该车辆相关联的坐标框架可再次和与物理环境中的固定对象相关联的坐标框架进行合并。
因此，通过从与各坐标框架相关联的各传感器接收运动数据，动态环境中的运动的源可被区分并与不同坐标框架相关联。如上面所描述的，这可便于相对于现实世界特征显示增强现实呈现，同时补偿各特征彼此相对的实际移动。
图5示出具有透明显示器502的一副可佩戴眼镜形式的示例HMD设备500。将理解，在其他示例中，HMD设备500可以采取其他合适的形式，其中透明、半透明和/或可变地透明显示器被支撑在查看者的一只或两只眼睛前方。还将理解，图1A－1C中所示的HMD设备118可以采取HMD设备500的形式(如在下文更详细地描述的)或任何其他合适的HMD设备。
HMD设备500包括在504示意性地指示的图像生成系统，以及使得诸如全息对象和/或虚拟对象等的图像能通过透明显示器502被递送到HMD的佩戴者的眼睛。透明显示器502和图像生成系统504可被配置来，通过经由透明显示器502呈现图像，向查看物理环境的佩戴者在视觉上增强该物理环境的外观。
透明显示器502还可被配置成使用户能够透过显示虚拟对象表示的一个或多个部分透明的像素来查看物理环境中的物理现实世界对象。如图5所示，在一个示例中，透明显示器502可包括位于透镜506内的图像生成元件(诸如例如透视有机发光二极管(OLED)显示器)。作为另一示例，透明显示器502可包括在透镜506边缘上的光调制器或以其他方式被配置以将图像传递到透镜506。在这一示例中，透镜506可以担当光导以供将光从光调制器递送到用户的眼睛。这样的光导可使得用户能够感知位于物理环境内的用户正在查看的3D全息图像，同时还允许用户查看物理环境中的物理对象，由此创建混合现实环境。
HMD设备500还可包括各种传感器和相关系统。例如，HMD设备500可包括包含配置成获取来自用户的眼睛的注视跟踪数据形式的图像数据的一个或多个图像传感器(诸如面向内传感器509)的注视跟踪系统。假定用户已同意获取和使用这一信息，注视跟踪系统可以使用这一信息来跟踪用户的眼睛的位置和/或运动。在一个示例中，注视跟踪系统包括被配置成检测用户的每一个眼睛的注视方向的注视检测子系统。该注视检测子系统可被配置成以任何合适方式确定每一只用户眼睛的注视方向。例如，注视检测子系统可包括诸如红外光源等被配置成使得从用户的每一只眼睛反射闪光的一个或多个光源。一个或多个图像传感器然后可被配置成捕捉用户眼睛的图像。如从收集自图像传感器的图像数据确定的闪烁和瞳孔的图像可用于确定每一眼睛的光轴。使用这一信息，注视跟踪系统随后可确定用户的注视方向。作为补充或替换，注视跟踪系统可确定用户注视哪一物理或虚拟对象。此类注视跟踪数据然后可被提供给HMD设备500。还将理解，注视跟踪系统可以具有任意适当数量和布置的光源和图像传感器。
HMD设备500还可包括从物理环境接收物理环境数据的传感器系统。例如，HMD设备500还可包括利用一个或多个运动传感器512(诸如IMU)来捕捉头部姿态数据并从而允许对用户头部的位置跟踪、方向以及定向感测和/或运动检测的头部跟踪系统610。如以上更详细地描述的，来自这样的传感器的信息可允许归因于由用户对HMD设备500的移动的运动来从源自其它源的运动中区别出来。
在一个示例中，头部跟踪系统510的运动传感器512可包括配置成三轴或三自由度的位置传感器系统的一个或多个惯性测量单元。这一示例定位传感器系统可以例如包括用于指示或测量HMD设备500在3D空间内绕三个正交轴(例如，x、y、z)(例如，滚转、俯仰、偏航)的定向变化的三个陀螺仪。在另一示例中，头部跟踪系统510可包括配置成六自由度的位置传感器系统的惯性测量单元。这一示例位置传感器系统可以例如包括用于指示或测量HMD设备500沿三个正交轴的位置变化和绕该三个正交轴的设备定向变化的三个加速度计和三个陀螺仪。
头部跟踪系统510还可以支持其他合适的定位技术，如GPS513或其他全球导航系统。此外，尽管描述了位置传感器系统的具体示例，但将明白，可以使用任何其他合适的位置传感器系统。例如，头部姿态和/或移动数据可以基于来自集成在HMD设备500内、安装在HMD设备500上、安装在佩戴者上、和/或佩戴者/HMD设备500外部的传感器的任何组合的传感器信息来确定，包括但不限于任何数量的陀螺仪、加速度计、惯性测量单元(IMU)、GPS设备、气压计、磁力计、相机(例如，可见光相机、红外光相机、飞行时间深度相机、结构化光深度相机，等等)、通信设备(例如，WIFI天线/接口、蓝牙天线/接口等等)，用于与外部传感器和/或具有传感器的外部设备等进行通信。
在一些实例中，HMD设备500还可包括利用一个或多个面向外的传感器来捕捉图像数据的可任选传感器系统，诸如HMD设备500上的光传感器514。一个或多个面向外的传感器可以检测其视野内的移动，如视野内的用户或人或物理对象所执行的基于姿势的输入或其他移动。该一个或多个面向外的传感器还可从物理环境和该环境内的物理对象捕捉2D图像信息和深度信息。例如，该一个或多个面向外的传感器可包括深度相机、可见光相机、红外光相机，和/或位置跟踪相机。
光学传感器系统可包括经由一个或多个深度相机来生成深度跟踪数据的深度跟踪系统。在一个示例中，每一深度相机可包括立体视觉系统的左和右相机。来自这些深度相机中的一个或多个的时间分辨的图像可被彼此配准和/或与来自另一光学传感器(如可见光谱相机)的图像配准，且可被组合以产生深度分辨的视频。
在其他示例中，结构化光深度相机可被配置成投影结构化红外照明并对从照明被投影到其之上的场景中反射的该照明进行成像。基于所成像的场景的各个区域内邻近特征之间的间隔，可构造该场景的深度图。在其他示例中，深度相机可以采取飞行时间深度相机的形式，其被配置成将脉冲的红外照明投影到该场景上以及检测从该场景反射的照明。例如，照明可由红外光源516提供。可以理解，在本发明的范围内可使用任意其他合适的深度相机。
面向外的传感器可以捕捉用户位于其中的物理环境的图像。参考HMD设备500，在一个示例中，混合现实显示程序可包括使用这样的所捕捉的图像来生成对用户周围的物理环境进行建模的虚拟环境的3D建模系统。
HMD设备500还可包括话筒系统，该话筒系统包括捕捉音频数据的一个或多个话筒，诸如HMD设备500上的话筒518。在其他示例中，音频可经由一个或多个扬声器(诸如HMD设备500上的扬声器520)被呈现给用户。
HMD设备500还可包括控制器，诸如HMD设备500上的控制器522。该控制器可包括与HMD设备和显示器的各传感器和系统通信的逻辑机和存储机，如下文参考图6更详细地讨论的。在一个示例中，存储子系统可包括能由逻辑子系统执行以接收来自传感器的输入、确定HMD设备500的姿态、以及调整系数值透明显示器502上的内容的显示属性的指令。
在一些实施例中，在此描述的方法和过程可以与一个或多个计算设备的计算系统绑定。尤其地，这样的方法和过程可被实现为计算机应用程序或服务、应用编程接口(API)、库和/或其他计算机程序产品。
图6示意性地示出可以执行上述方法和过程中的一个或多个的计算系统600的非限制性实施例。以简化形式示出了计算系统600。计算系统600可采取以下形式：一个或多个头戴式显示设备、或与头戴式显示设备协作的一个或多个设备(例如，个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如，智能电话)和/或其他计算设备)。
计算系统600包括逻辑机602和存储机604。计算系统600可任选地包括显示子系统606、输入子系统608、通信子系统610和/或在图6中未示出的其他组件。
逻辑机602包括被配置成执行指令的一个或多个物理设备。例如，逻辑机可被配置成执行作为以下各项的一部分的指令：一个或多个应用、服务、程序、例程、库、对象、组件、数据结构、或其它逻辑构造。这种指令可被实现以执行任务、实现数据类型、转换一个或多个部件的状态、实现技术效果、或以其它方式得到期望结果。
逻辑机可包括被配置成执行软件指令的一个或多个处理器。作为补充或替换，逻辑机可包括被配置成执行硬件或固件指令的一个或多个硬件或固件逻辑设备。逻辑机的处理器可以是单核或多核，且在其上执行的指令可被配置为串行、并行和/或分布式处理。逻辑机的各个组件可任选地分布在两个或更多单独设备上，这些设备可以位于远程和/或被配置成进行协同处理。逻辑机的各方面可由以云计算配置进行配置的可远程访问的联网计算设备来虚拟化和执行。
存储机604包括被配置成保存可由逻辑机执行以实现此处所述的方法和过程的机器可读指令的一个或多个物理设备。在实现这些方法和过程时，可以变换存储机604的状态(例如，保存不同的数据)。
存储机604可以包括可移动和/或内置设备。存储机604可包括光学存储器(例如，CD、DVD、HD-DVD、蓝光盘等)、半导体存储器(例如，RAM、EPROM、EEPROM等)和/或磁存储器(例如，硬盘驱动器、软盘驱动器、磁带驱动器、MRAM等)等等。存储机604可包括易失性、非易失性、动态、静态、读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和/或内容可寻址设备。
可以理解，存储机604包括一个或多个物理设备。然而，本文描述的指令的各方面可另选地通过不由物理设备在有限时长内持有的通信介质(例如，电磁信号、光信号等)来传播。
逻辑机602和存储机604的各方面可被一起集成到一个或多个硬件逻辑组件中。这些硬件逻辑组件可包括例如现场可编程门阵列(FPGA)、程序和应用专用的集成电路(PASIC/ASIC)、程序和应用专用的标准产品(PSSP/ASSP)、片上系统(SOC)以及复杂可编程逻辑器件(CPLD)。
术语“模块”可用于描述被实现来执行特定功能的计算系统600的一方面。在某些情况下，可以经由执行存储机602所保持的指令的逻辑机604来实例化模块。将理解，可以从同一应用、服务、代码块、对象、库、例程、API、函数等实例化不同的模块。同样，可以由不同的应用、服务、代码块、对象、例程、API、函数等来实例化同一模块。术语“模块”可涵盖单个或成组的可执行文件、数据文件、库、驱动程序、脚本、数据库记录等。
在被包括时，显示子系统606可用于呈现由存储机604保存的数据的视觉表示。该视觉表示可采用图形用户界面(GUI)的形式。由于此处所描述的方法和过程改变了由存储机保持的数据，并由此变换了存储机的状态，因此同样可以转变显示子系统606的状态以视觉地表示底层数据的改变。显示子系统606可包括实际上利用任何类型的技术的一个或多个显示设备，诸如图5中所示的HMD 502的显示器500。可将此类显示设备与逻辑机602和/或存储机604组合在共享封装中，或者此类显示设备可以是外围显示设备。
在包括输入子系统608时，输入子系统1208可以包括诸如键盘、鼠标、触摸屏或游戏控制器之类的一个或多个用户输入设备或者与其对接。在一些实施例中，输入子系统可以包括所选择的自然用户输入(NUI)部件或与其对接。这种元件部分可以是集成的或外围的，并且输入动作的转导和/或处理可以在板上或板外被处理。示例NUI部件可包括用于语言和/或语音识别的话筒；用于机器视觉和/或姿势识别的红外、色彩、立体显示和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速计和/或陀螺仪；以及用于评估脑部活动和/或身体运动的电场感测部件；以上参考图5的头部跟踪系统510描述的传感器中的任一者；和/或任何其他合适的传感器。
当包括通信子系统610时，通信子系统600可以被配置成将计算系统1200与一个或多个其它计算设备可通信地耦合。通信子系统610可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可被配置成用于经由无线电话网络或者有线或无线局域网或广域网来进行通信。在一些实施例中，通信子系统可允许计算系统600经由诸如因特网这样的网络将消息发送至其他设备以及/或者从其它设备接收消息。例如，通信子系统610可允许计算系统600向外部运动相关数据源发送数据(诸如IMU和位于远离计算系统600并且在计算系统600之外的其它传感器)和/或从外部运动相关数据源接收数据。
将会理解，此处描述的配置和/或方法本质是示例性的，这些具体实施例或示例不应被视为限制性的，因为许多变体是可能的。此处描述的具体例程或方法可以表示任何数量的处理策略中的一个或多个。如此，所示和/或所述的各种动作可以以所示和/或所述顺序、以其它顺序、并行地执行，或者被省略。同样，上述过程的次序可以改变。
本公开的主题包括各种过程、系统和配置以及此处公开的其他特征、功能、动作和/或属性、以及它们的任一和全部等价物的所有新颖且非显而易见的组合和子组合。

Claims (10)

1.一种头戴式显示设备，包括：
多个传感器；
透视显示器；
逻辑机；以及
存储机，所述存储机保持能够由所述逻辑机执行的指令以：
在两个或更多个坐标框架中获得现实世界特征的表示；
从两个或更多个传感器接收传感器数据，第一传感器对应于第一坐标框架而第二传感器对应于第二坐标框架，并且所述第一传感器和所述第二传感器的一个或多个位于所述头戴式显示设备的外部；
基于所述传感器数据将所述第一坐标框架中的现实世界特征与所述第二坐标框架中的现实世界特征进行区分；以及
通过透视显示器显示与所选坐标框架中的现实世界对象在位置上相关联的虚拟对象。
2.如权利要求1所述的头戴式显示设备，其特征在于，所述多个传感器包括相机，并且其中获得所述现实世界特征的表示进一步包括基于来自所述相机的图像数据随时间跟踪每个现实世界特征相对于所述相机的位置。
3.如权利要求1所述的头戴式显示设备，其特征在于，所述第一传感器和所述第二传感器在所述头戴式显示设备的外部并且与不同坐标框架相关联。
4.如权利要求1所述的头戴式显示设备，其特征在于，所述第一传感器和所述第二传感器的每一个包括外部相机和外部惯性测量单元中的一个或多个。
5.在头戴式显示设备上的一种方法，包括：
在两个或更多个坐标框架中获得现实世界特征的表示；
从所述头戴式显示设备的外部的一个或多个传感器获得运动数据的输入，每个传感器与对应的坐标框架相关联；以及
基于所述运动数据，将一个坐标框架中的特征与另一个坐标框架中的特征进行区分。
6.如权利要求5中所述的方法，其特征在于，获得现实世界特征的表示包括用相机对所述物理环境进行成像，所述方法还包括通过图像数据随时间跟踪所述现实世界特征相对于所述相机的位置。
7.如权利要求6所述的方法，其特征在于，进一步包括基于跟踪所述现实世界特征的位置中的改变来确定每个现实世界特征的运动特性。
8.如权利要求7所述的方法，其特征在于，将一个坐标框架中的特征与另一个坐标框架中的特征进行区分包括将每个现实世界特征的运动特性与来自一个或多个传感器的运动数据进行比较。
9.如权利要求5所述的方法，其特征在于，获得所述现实世界特征的表示包括检测所述物理环境中的一个或多个对象、对象的角、和/或对象的边。
10.如权利要求5所述的方法，其特征在于，进一步包括在所述头戴式显示设备的透视显示器上将虚拟对象显示在相对于视野中所选的现实世界对象处，并基于所述运动数据来更新所述虚拟对象的位置。
CN201580021525.6A 2014-05-01 2015-04-28 用于在动态环境中确定坐标框架的方法和系统 Active CN106462232B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/267,755 US9626802B2 (en) 2014-05-01 2014-05-01 Determining coordinate frames in a dynamic environment
US14/267,755 2014-05-01
PCT/US2015/027860 WO2015168044A1 (en) 2014-05-01 2015-04-28 Determining coordinate frames in a dynamic environment

Publications (2)

Publication Number Publication Date
CN106462232A true CN106462232A (zh) 2017-02-22
CN106462232B CN106462232B (zh) 2020-04-17

Family

ID=53181342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580021525.6A Active CN106462232B (zh) 2014-05-01 2015-04-28 用于在动态环境中确定坐标框架的方法和系统

Country Status (5)

Country Link
US (2) US9626802B2 (zh)
EP (1) EP3137975B1 (zh)
KR (2) KR102358274B1 (zh)
CN (1) CN106462232B (zh)
WO (1) WO2015168044A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951262A (zh) * 2017-03-28 2017-07-14 联想(北京)有限公司 一种显示处理方法及装置
CN109785381A (zh) * 2018-12-06 2019-05-21 苏州炫感信息科技有限公司 一种光学惯性融合空间定位方法、定位设备及定位系统
CN111147810A (zh) * 2018-11-02 2020-05-12 通用汽车有限责任公司 增强现实（ar）远程车辆协助
CN113544766A (zh) * 2019-03-12 2021-10-22 奇跃公司 在第一和第二增强现实观看器之间配准本地内容
CN114600062A (zh) * 2019-09-26 2022-06-07 谷歌有限责任公司 利用显示设备的物理位置的设备管理器
CN115278204A (zh) * 2022-07-27 2022-11-01 浙江极氪智能科技有限公司 显示装置使用方法、装置、设备及存储介质
US11567156B2 (en) * 2019-05-08 2023-01-31 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for magnetic resonance imaging

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10292625B2 (en) 2010-12-07 2019-05-21 Earlysense Ltd. Monitoring a sleeping subject
EP2933707B1 (en) * 2014-04-14 2017-12-06 iOnRoad Technologies Ltd. Head mounted display presentation adjustment
US9766075B2 (en) * 2014-05-02 2017-09-19 Thales Visionix, Inc. Registration for vehicular augmented reality using auto-harmonization
KR20150135895A (ko) * 2014-05-26 2015-12-04 삼성전자주식회사 이미지 처리 방법 및 그 전자 장치
JP6361382B2 (ja) * 2014-08-29 2018-07-25 アイシン精機株式会社 車両の制御装置
US10157473B2 (en) * 2014-10-20 2018-12-18 Bae Systems Information And Electronic Systems Integration Inc. Method for providing range estimations
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
US10156721B2 (en) * 2015-03-09 2018-12-18 Microsoft Technology Licensing, Llc User-based context sensitive hologram reaction
DE102015221439B3 (de) * 2015-11-02 2017-05-04 Continental Automotive Gmbh Verfahren und Vorrichtung zur Auswahl und Übertragung von Sensordaten von einem ersten zu einem zweiten Kraftfahrzeug
US9568995B1 (en) * 2015-12-30 2017-02-14 Thunder Power Hong Kong Ltd. Remote driving with a virtual reality system
US10019054B2 (en) * 2015-12-30 2018-07-10 Thunder Power New Energy Vehicle Development Company Limited Remote driving with a virtual reality system
US20170231545A1 (en) * 2016-02-14 2017-08-17 Earlysense Ltd. Apparatus and methods for monitoring a subject
DE102016102808A1 (de) * 2016-02-17 2017-08-17 Krauss-Maffei Wegmann Gmbh & Co. Kg Verfahren zur Steuerung eines an einem Fahrzeug richtbar angeordnetes Sichtgeräts
WO2017145155A1 (en) * 2016-02-22 2017-08-31 Real View Imaging Ltd. A method and system for displaying holographic images within a real object
JP2017215664A (ja) * 2016-05-30 2017-12-07 サン電子株式会社 端末装置
US10078377B2 (en) 2016-06-09 2018-09-18 Microsoft Technology Licensing, Llc Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
US10146335B2 (en) * 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Modular extension of inertial controller for six DOF mixed reality input
US10146334B2 (en) 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Passive optical and inertial tracking in slim form-factor
US10126553B2 (en) 2016-06-16 2018-11-13 Microsoft Technology Licensing, Llc Control device with holographic element
AT518667B1 (de) * 2016-06-29 2017-12-15 Peterseil Thomas Fahrsicherheits-Trainingsanordnung
US20180005445A1 (en) * 2016-06-30 2018-01-04 Microsoft Technology Licensing, Llc Augmenting a Moveable Entity with a Hologram
US10620717B2 (en) 2016-06-30 2020-04-14 Microsoft Technology Licensing, Llc Position-determining input device
DE102017006231A1 (de) * 2016-07-03 2018-01-04 DDG Benelux S.A. Mit einer Virtual-Reality-Einrichtung versehene nicht-schienengebundene Fahrvorrichtung
US10503245B2 (en) * 2016-09-21 2019-12-10 Apple Inc. Relative intertial measurement system
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP3343267B1 (en) 2016-12-30 2024-01-24 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US20180203504A1 (en) * 2017-01-16 2018-07-19 Htc Corporation Movement tracking method and movement tracking system
US10332292B1 (en) * 2017-01-17 2019-06-25 Zoox, Inc. Vision augmentation for supplementing a person's view
US10223598B2 (en) * 2017-02-20 2019-03-05 Volkswagen Aktiengesellschaft Method of generating segmented vehicle image data, corresponding system, and vehicle
CN107133002B (zh) * 2017-03-22 2020-07-24 联想(北京)有限公司 一种信息处理方法及电子设备
US10698068B2 (en) 2017-03-24 2020-06-30 Samsung Electronics Co., Ltd. System and method for synchronizing tracking points
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US20210166481A1 (en) * 2017-08-04 2021-06-03 Zyetric Enterprise Limited Intelligent virtual object in an augmented reality environment interactively responding to ambient environmental changes
US10948299B1 (en) 2017-09-28 2021-03-16 Apple Inc. Relative inertial measurement system with visual correction
GB2567012B (en) 2017-10-02 2021-05-12 Advanced Risc Mach Ltd Motion Sensing
DE102017217923A1 (de) * 2017-10-09 2019-04-11 Audi Ag Verfahren zum Betrieb einer Anzeigeeinrichtung in einem Kraftfahrzeug
CN107731005B (zh) * 2017-10-17 2020-01-07 海豚大数据网络科技(深圳)有限公司 一种基于云计算的利用幻影成像的车载警示系统
KR102029906B1 (ko) * 2017-11-10 2019-11-08 전자부품연구원 이동수단의 가상현실 콘텐츠 제공 장치 및 방법
CN116990888A (zh) 2017-12-10 2023-11-03 奇跃公司 光波导上的抗反射涂层
US11187923B2 (en) 2017-12-20 2021-11-30 Magic Leap, Inc. Insert for augmented reality viewing device
US10964030B2 (en) * 2018-02-12 2021-03-30 Samsung Electronics Co., Ltd. Device and method with pose estimator based on current predicted motion state array
WO2019178567A1 (en) 2018-03-15 2019-09-19 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
EP3803488A4 (en) 2018-05-30 2021-07-28 Magic Leap, Inc. COMPACT VARIABLE FOCUS CONFIGURATIONS
WO2019231850A1 (en) 2018-05-31 2019-12-05 Magic Leap, Inc. Radar head pose localization
WO2019236495A1 (en) 2018-06-05 2019-12-12 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
JP7421505B2 (ja) 2018-06-08 2024-01-24 マジック リープ， インコーポレイテッド 自動化された表面選択設置およびコンテンツ配向設置を用いた拡張現実ビューア
WO2020010097A1 (en) 2018-07-02 2020-01-09 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US10551623B1 (en) * 2018-07-20 2020-02-04 Facense Ltd. Safe head-mounted display for vehicles
EP4270016A3 (en) 2018-07-24 2024-02-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
US11112862B2 (en) 2018-08-02 2021-09-07 Magic Leap, Inc. Viewing system with interpupillary distance compensation based on head motion
WO2020028191A1 (en) 2018-08-03 2020-02-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
CN112955073A (zh) 2018-08-22 2021-06-11 奇跃公司 患者观察系统
JP7163732B2 (ja) * 2018-11-13 2022-11-01 トヨタ自動車株式会社 運転支援装置、運転支援システム、運転支援方法およびプログラム
JP7472127B2 (ja) 2018-11-16 2024-04-22 マジック リープ， インコーポレイテッド 画像鮮明度を維持するための画像サイズによってトリガされる明確化
EP4369151A2 (en) 2019-02-06 2024-05-15 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
KR20200098034A (ko) 2019-02-11 2020-08-20 삼성전자주식회사 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법
US10559135B1 (en) * 2019-03-15 2020-02-11 Microsoft Technology Licensing, Llc Fixed holograms in mobile environments
US11445232B2 (en) 2019-05-01 2022-09-13 Magic Leap, Inc. Content provisioning system and method
CN110009709B (zh) 2019-05-08 2023-07-07 上海联影医疗科技股份有限公司 医学图像成像方法和系统
JP2022542363A (ja) 2019-07-26 2022-10-03 マジック リープ， インコーポレイテッド 拡張現実のためのシステムおよび方法
IT201900017429A1 (it) * 2019-09-27 2021-03-27 Milano Politecnico Metodo e sistema per l'assistenza alla guida di un veicolo
JP2023502927A (ja) 2019-11-15 2023-01-26 マジック リープ， インコーポレイテッド 外科手術環境において使用するための視認システム
IT202000015736A1 (it) * 2020-06-30 2021-12-30 Federico Tucci Sistema di tracciatura e visualizzazione della posizione di un motoveicolo e di un utente
IT202100007862A1 (it) 2021-03-30 2022-09-30 Milano Politecnico Metodo e sistema di assistenza alla guida di un veicolo
US11790860B2 (en) * 2021-09-03 2023-10-17 Honeywell International Inc. Systems and methods for providing image motion artifact correction for a color sequential (CS) display
US11900550B2 (en) 2021-09-30 2024-02-13 Snap Inc. AR odometry using sensor data from a personal vehicle
CN118020052A (zh) * 2021-09-30 2024-05-10 斯纳普公司 基于ar的个人移动系统的性能调节
EP4299494A1 (en) 2022-02-14 2024-01-03 LG Energy Solution, Ltd. Winding apparatus and winding method for electrode connection film and electrode roll
US20230308631A1 (en) * 2022-03-22 2023-09-28 Microsoft Technology Licensing, Llc Perspective-dependent display of surrounding environment
US11586286B1 (en) 2022-05-18 2023-02-21 Bank Of America Corporation System and method for navigating on an augmented reality display
US11720380B1 (en) 2022-05-18 2023-08-08 Bank Of America Corporation System and method for updating augmented reality navigation instructions based on a detected error

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120242694A1 (en) * 2011-03-22 2012-09-27 Kabushiki Kaisha Toshiba Monocular head mounted display

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6474159B1 (en) 2000-04-21 2002-11-05 Intersense, Inc. Motion-tracking
US7000469B2 (en) * 2000-04-21 2006-02-21 Intersense, Inc. Motion-tracking
US20020052724A1 (en) 2000-10-23 2002-05-02 Sheridan Thomas B. Hybrid vehicle operations simulator
US6956503B2 (en) 2002-09-13 2005-10-18 Canon Kabushiki Kaisha Image display apparatus, image display method, measurement apparatus, measurement method, information processing method, information processing apparatus, and identification method
US8629903B2 (en) 2009-04-02 2014-01-14 GM Global Technology Operations LLC Enhanced vision system full-windshield HUD
WO2012014430A1 (ja) 2010-07-27 2012-02-02 パナソニック株式会社 移動体検出装置および移動体検出方法
US8203605B1 (en) 2011-05-11 2012-06-19 Google Inc. Point-of-view object selection
US20130002525A1 (en) 2011-06-29 2013-01-03 Bobby Duane Foote System for locating a position of an object
EP2933707B1 (en) * 2014-04-14 2017-12-06 iOnRoad Technologies Ltd. Head mounted display presentation adjustment

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120242694A1 (en) * 2011-03-22 2012-09-27 Kabushiki Kaisha Toshiba Monocular head mounted display

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951262A (zh) * 2017-03-28 2017-07-14 联想(北京)有限公司 一种显示处理方法及装置
CN106951262B (zh) * 2017-03-28 2023-07-21 联想(北京)有限公司 一种显示处理方法及装置
CN111147810A (zh) * 2018-11-02 2020-05-12 通用汽车有限责任公司 增强现实（ar）远程车辆协助
CN109785381A (zh) * 2018-12-06 2019-05-21 苏州炫感信息科技有限公司 一种光学惯性融合空间定位方法、定位设备及定位系统
CN113544766A (zh) * 2019-03-12 2021-10-22 奇跃公司 在第一和第二增强现实观看器之间配准本地内容
US11567156B2 (en) * 2019-05-08 2023-01-31 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for magnetic resonance imaging
CN114600062A (zh) * 2019-09-26 2022-06-07 谷歌有限责任公司 利用显示设备的物理位置的设备管理器
CN115278204A (zh) * 2022-07-27 2022-11-01 浙江极氪智能科技有限公司 显示装置使用方法、装置、设备及存储介质

Also Published As

Publication number Publication date
KR102358274B1 (ko) 2022-02-04
EP3137975A1 (en) 2017-03-08
US20150317834A1 (en) 2015-11-05
WO2015168044A1 (en) 2015-11-05
US20170206668A1 (en) 2017-07-20
EP3137975B1 (en) 2018-07-25
CN106462232B (zh) 2020-04-17
KR20220019068A (ko) 2022-02-15
KR20160148680A (ko) 2016-12-26
KR102493749B1 (ko) 2023-01-30
US9626802B2 (en) 2017-04-18
US10223799B2 (en) 2019-03-05

Similar Documents

Publication Publication Date Title
CN106462232A (zh) 在动态环境中确定坐标框架
CN106255939B (zh) 世界锁定显示质量反馈
CN105264548B (zh) 用于生成增强现实体验的难以察觉的标签
CN106462233B (zh) 用于显示设备观看者视线吸引的方法和设备
CN106255943A (zh) 身体锁定增强现实与世界锁定增强现实之间的转换
CN109643014B (zh) 头戴式显示器追踪
CN107407567B (zh) 增强现实导航
CN104885144B (zh) 混合现实显示调节
KR102212250B1 (ko) 증강 현실 오브젝트의 신체 고정식 배치
CN105518574B (zh) 用于混合现实分级信息递送的方法和系统
CN108369449A (zh) 第三方全息门户
CN106104423A (zh) 姿势参数调节
CN103760973B (zh) 增强现实的信息细节
CN106462733A (zh) 视线检测校准
CN103761085B (zh) 混合现实全息对象开发
CN107004279A (zh) 自然用户界面相机校准
CN105900041A (zh) 利用视线跟踪进行的目标定位
Coppens Merging real and virtual worlds: An analysis of the state of the art and practical evaluation of Microsoft Hololens
US20210405363A1 (en) Augmented reality experiences using social distancing
US20240031678A1 (en) Pose tracking for rolling shutter camera
US20230362573A1 (en) Audio enhanced augmented reality
JP2022097830A (ja) 表示システム及びサーバ
CN103793473A (zh) 保存增强现实
Ali et al. Augmented reality based online application for e-shopping

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant