CN110494792A - 外围设备的视觉跟踪 - Google Patents

外围设备的视觉跟踪 Download PDF

Info

Publication number
CN110494792A
CN110494792A CN201980001863.1A CN201980001863A CN110494792A CN 110494792 A CN110494792 A CN 110494792A CN 201980001863 A CN201980001863 A CN 201980001863A CN 110494792 A CN110494792 A CN 110494792A
Authority
CN
China
Prior art keywords
handheld device
handheld
data
orientation
wearable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980001863.1A
Other languages
English (en)
Other versions
CN110494792B (zh
Inventor
R·利拉兹利德吉
Z·C·尼恩斯泰特
S·A·米勒
B·费雷德曼
L·E·埃德温
E·C·布洛伊
W·H·韦尔奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Priority to CN202110689396.5A priority Critical patent/CN113426098A/zh
Publication of CN110494792A publication Critical patent/CN110494792A/zh
Application granted granted Critical
Publication of CN110494792B publication Critical patent/CN110494792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer

Abstract

公开了用于执行手持设备相对于可穿戴设备的定位的技术。诸如惯性测量单元(IMU)之类的被安装在手持设备上的至少一个传感器可以获得指示手持设备相对于世界的运动的手持数据。被安装在手持设备或可穿戴设备上的成像设备可以捕获包含被固定到另一设备的若干基准点的基准点图像。确定图像中包含的基准点数量。基于基准点数量，根据第一操作状态、第二操作状态或第三操作状态基于图像和手持数据而更新手持设备相对于可穿戴设备的位置和取向中的至少一者。

Description

外围设备的视觉跟踪
相关申请的交叉引用
本申请主张2018年3月7日提交的名称为“VISUAL TRACKING OF PERIPHERALDEVICES(外围设备的视觉跟踪)”的美国临时专利申请No.62/640,009和2018年3月7日提交的名称为“VISUAL TRACKING OF PERIPHERAL DEVICES(外围设备的视觉跟踪)”的美国临时专利申请No.62/640,299的优先权，出于所有目的，这两个申请的全部公开内容在此通过引用并入本文中，如同在本文中完全阐述一样。
背景技术
现代计算和显示技术促进了所谓的“虚拟现实”或“增强现实”体验的系统的开发，其中数字再现的图像或其部分以看起来是或可以被感知为真实的方式呈现给用户。虚拟现实或“VR”场景通常涉及数字或虚拟图像信息的呈现而对于其它实际的真实世界视觉输入不透明；增强现实或“AR”场景通常涉及将数字或虚拟图像信息呈现作为对用户周围的实际世界的可视化的增强。
尽管在这些显示技术中已经取得了进步，但是本领域仍需要与增强现实系统(尤其是显示系统)相关的改进的方法、系统和设备。
发明内容
本发明一般地涉及外围设备的定位(位置、取向和/或距离)。更具体地说，本发明的实施例提供了用于相对于可穿戴设备定位手持设备的系统、设备和方法。尽管本发明的一些部分参考增强现实(AR系统)进行了描述，但是本公开适用于各种应用。
根据本发明的第一方面，提供了一种执行手持设备相对于可穿戴设备的定位的方法。所述方法包括通过被安装在所述手持设备上的至少一个传感器获得指示所述手持设备相对于世界的运动的手持数据。在一些实施例中，获得所述手持数据包括通过被安装在所述手持设备上的惯性测量单元(IMU)检测所述手持设备的线性加速度和旋转速度。在一些实施例中，获得所述手持数据包括通过被安装在所述手持设备上的手持相机捕获包含位于所述手持设备周围的一个或多个特征的世界图像。所述方法可以进一步包括通过被安装在所述可穿戴设备上的可穿戴相机获得指示所述手持设备相对于所述可穿戴设备的运动的基准数据(fiducial data)。在一些实施例中，获得所述基准数据包括通过所述可穿戴相机捕获包含若干发光二极管(LED)的基准点图像(fiducial image)，所述若干发光二极管(LED)被固定到在所述手持设备上固定的多个LED的手持设备。
所述方法可以进一步包括确定所述基准点图像中包含的LED的数量。所述方法可以进一步包括响应于确定所述LED的数量等于或大于3，根据第一操作状态仅基于所述基准数据而更新所述手持设备相对于所述可穿戴设备的位置和取向。所述方法可以进一步包括响应于确定所述LED的数量等于1或2，根据第二操作状态基于所述基准数据和所述手持数据而更新所述手持设备相对于所述可穿戴设备的位置和取向。所述方法可以进一步包括响应于确定所述LED的数量等于0，根据第三操作状态仅基于所述手持数据而更新所述手持设备相对于所述可穿戴设备的位置和取向。
根据本发明的第二方面，一种执行手持设备相对于可穿戴设备的定位的方法。所述方法可以包括通过被安装在所述手持设备上的至少一个传感器获得指示所述手持设备相对于世界的运动的手持数据。所述方法还可以包括通过被安装在第一设备上的成像设备获得指示所述手持设备相对于所述可穿戴设备的运动的基准数据。在一些实施例中，所述第一设备是所述手持设备或所述可穿戴设备。在一些实施例中，获得所述基准数据包括通过所述成像设备捕获包含被固定到不同于所述第一设备的第二设备的若干基准点(fiducial)的基准点图像。在一些实施例中，所述第二设备是所述手持设备或所述可穿戴设备。所述方法可以进一步包括确定所述基准点图像中包含的基准点数量。所述方法可以进一步包括基于所述基准点图像中包含的基准点数量，根据第一操作状态或第二操作状态基于所述基准数据和所述手持数据而更新所述手持设备相对于所述可穿戴设备的位置和取向。
在一些实施例中，获得所述手持数据包括通过被安装在所述手持设备上的IMU检测所述手持设备的旋转运动。在一些实施例中，所述成像设备被安装在所述手持设备上，并且包括所述若干基准点的多个基准点被固定到所述可穿戴设备。在一些实施例中，所述成像设备被安装在所述可穿戴设备上，并且包括所述若干基准点的多个基准点被固定到所述手持设备。在一些实施例中，所述成像设备被安装在所述手持设备上，并且包括所述若干基准点的多个基准点被固定到所述可穿戴设备。在一些实施例中，获得所述手持数据包括通过被安装在所述手持设备上的第二手持成像设备捕获包含位于所述手持设备周围的一个或多个特征的世界图像。在一些实施例中，所述成像设备被安装在所述可穿戴设备上，并且包括所述若干基准点的单个基准点被固定到所述手持设备。在这样的实施例中，获得所述手持数据包括通过被安装在所述手持设备上的第二手持成像设备捕获包含位于所述手持设备周围的一个或多个特征的世界图像。
在一些实施例中，所述成像设备被安装在所述可穿戴设备上，并且包括所述若干基准点的多个基准点被固定到所述手持设备。在这样的实施例中，获得所述手持数据包括通过被安装在所述手持设备上的第二手持成像设备捕获包含位于所述手持设备周围的一个或多个特征的世界图像。所述方法可以进一步包括响应于确定所述基准点数量等于或大于3，根据第一操作状态基于所述基准数据而更新所述手持设备相对于所述可穿戴设备的位置和取向。所述方法可以进一步包括响应于确定所述基准点的数量等于1或2，根据第二操作状态基于所述基准数据和所述手持数据而更新所述手持设备相对于所述可穿戴设备的位置和取向。所述方法可以进一步包括响应于确定所述基准点数量等于0，根据第三操作状态基于所述手持数据而更新所述手持设备相对于所述可穿戴设备的位置和取向。在一些实施例中，根据所述第一操作状态仅基于所述基准数据而更新所述手持设备相对于所述可穿戴设备的位置和取向。在一些实施例中，根据所述第三操作状态仅基于所述手持数据而更新所述手持设备相对于所述可穿戴设备的位置和取向。
根据本发明的第三方面，提供了一种用于执行手持设备相对于可穿戴设备的定位的系统。所述系统可以包括所述可穿戴设备。所述系统还可以包括所述手持设备。所述系统可以进一步包括一个或多个处理器，其与所述可穿戴设备和所述手持设备进行通信耦合。在一些实施例中，所述一个或多个处理器被配置为执行包括以下项的操作：通过被安装在所述手持设备上的至少一个传感器获得指示所述手持设备相对于世界的运动的手持数据。所述操作还可以包括通过被安装在第一设备上的成像设备获得指示所述手持设备相对于所述可穿戴设备的运动的基准数据。在一些实施例中，所述第一设备是所述手持设备或所述可穿戴设备。在一些实施例中，获得所述基准数据包括通过所述成像设备捕获包含被固定到不同于所述第一设备的第二设备的若干基准点的基准点图像。在一些实施例中，所述第二设备是所述手持设备或所述可穿戴设备。所述操作可以进一步包括确定所述基准点图像中包含的基准点数量。所述操作可以进一步包括基于所述基准点图像中包含的基准点数量，根据第一操作状态或第二操作状态基于所述基准数据和所述手持数据而更新所述手持设备相对于所述可穿戴设备的位置和取向。
在一些实施例中，获得所述手持数据包括通过被安装在所述手持设备上的IMU检测所述手持设备的旋转运动。在一些实施例中，所述成像设备被安装在所述手持设备上，并且包括所述若干基准点的多个基准点被固定到所述可穿戴设备。在一些实施例中，所述成像设备被安装在所述可穿戴设备上，并且包括所述若干基准点的多个基准点被固定到所述手持设备。在一些实施例中，所述成像设备被安装在所述手持设备上，并且包括所述若干基准点的多个基准点被固定到所述可穿戴设备。在这样的实施例中，获得所述手持数据包括通过被安装在所述手持设备上的第二手持成像设备捕获包含位于所述手持设备周围的一个或多个特征的世界图像。在一些实施例中，所述成像设备被安装在所述可穿戴设备上，并且包括所述若干基准点的单个基准点被固定到所述手持设备。在这样的实施例中，获得所述手持数据包括通过被安装在所述手持设备上的第二手持成像设备捕获包含位于所述手持设备周围的一个或多个特征的世界图像。在一些实施例中，所述成像设备被安装在所述可穿戴设备上，并且包括所述若干基准点的多个基准点被固定到所述手持设备。在这样的实施例中，获得所述手持数据包括通过被安装在所述手持设备上的第二手持成像设备捕获包含位于所述手持设备周围的一个或多个特征的世界图像。
在一些实施例中，所述操作进一步包括响应于确定所述基准点数量等于或大于3，根据第一操作状态基于所述基准数据而更新所述手持设备相对于所述可穿戴设备的位置和取向。在一些实施例中，所述操作进一步包括响应于确定所述基准点数量等于1或2，根据第二操作状态基于所述基准数据和所述手持数据而更新所述手持设备相对于所述可穿戴设备的位置和取向。在一些实施例中，所述操作进一步包括响应于确定所述基准点数量等于0，根据第三操作状态基于所述手持数据而更新所述手持设备相对于所述可穿戴设备的位置和取向。
借助本发明实现了优于传统技术的多种益处。例如，本发明的实施例提供了比诸如采用一系列磁线圈的电磁跟踪系统之类的传统技术更准确的手持设备定位。本发明的实施例还可以利用在AR系统中已经采用的硬件，诸如头戴装置上配备的前向或侧向世界相机。实施例可以延伸超出AR系统并延伸到其中一个设备相对于另一设备的定位非常重要的任何应用。本发明的其它益处对于本领域技术人员而言将是显而易见的。
附图说明
图1示出了根据本文描述的实施例的通过可穿戴AR设备观看的增强现实(AR)场景。
图2示出了AR系统的各种可能的部件。
图3示出了视觉跟踪系统如何并入有具有可穿戴设备和手持设备的AR系统的示例。
图4示出了定位任务的图表。
图5示出了AR系统的示例配置。
图6示出了使用图5所示的示例配置执行定位的方法。
图7示出了AR系统的示例配置。
图8示出了使用图7所示的示例配置执行定位的方法。
图9示出了AR系统的示例配置。
图10示出了使用图9所示的示例配置执行定位的方法。
图11A示出了AR系统的示例配置。
图11B示出了AR系统的示例配置。
图12示出了使用图11A和11B所示的示例配置执行定位的方法。
图13示出了使用任何先前示出的示例配置执行定位的方法。
图14示出了根据本文描述的一些实施例的简化计算机系统。
具体实施方式
在传统的虚拟现实(VR)或增强现实(AR)系统中，通过包含策略性地放置在用户的AR头戴装置、腰包和/或其它辅助设备(例如，图腾、触觉设备、游戏工具等)上的一系列电磁传感器和发射器来实现对外围设备的六个自由度跟踪。通常，电磁跟踪系统包括至少一个电磁场发射器和至少一个电磁场传感器。由于发射的电磁场具有已知的分布，因此可以分析检测到的场以确定外围设备的位置和/或取向。尽管这样的系统提供了对定位问题的简单解决方案，但是需要提供更高精度定位的另外的解决方案。本发明的实施例可以代替或补充电磁跟踪系统。
本发明的实施例提供了一种用于执行手持设备(例如，图腾)相对于可穿戴设备(例如，头戴式设备)的高精度定位的视觉跟踪系统。成像设备被安装在其中一个设备上，并且可以捕获被固定到另一设备的一个或多个基准点的图像。可以将另外的成像设备安装在手持设备上以捕获各种环境标记。基于所捕获的图像中的基准点数量，可以实现不同地利用基准数据(即，基于基准点图像的具有本地参考的数据)和手持数据(从被安装在手持设备上的传感器收集的具有世界参考的数据)的不同数据处理方案。本文中被称为操作状态的每个数据处理方案使得能够准确地估计手持设备相对于可穿戴设备的位置和/或取向。跟踪系统可以通知AR系统估计的定位，并且AR系统可以使用定位信息来生成令用户感觉舒适的虚拟内容。
图1示出了根据本文描述的实施例的通过可穿戴AR设备观看的AR场景。描绘了AR场景100，其中AR技术的用户看到以人、树木、背景中的建筑物和混凝土平台120为特征的真实世界公园状设置106。除了这些物品之外，AR技术的用户还感知到他“看到”站在真实世界平台120上的机器人雕像110，以及看起来是大黄蜂的化身的飞过的卡通式化身角色102，即使这些元素(角色102和雕像110)在真实世界中不存在。由于人类的视觉感知和神经系统极其复杂，因此产生促进除其他虚拟或真实世界图像元素之外的虚拟图像元素的舒适的、感觉自然的、丰富的呈现的VR或AR技术是具有挑战性的。
图2示出了AR系统的各种可能的部件。在所示实施例中，AR系统用户260被示出为穿戴着头戴式部件258，其以耦合到位于用户眼睛前方的显示系统262的框架264结构为特征。扬声器266以所示的配置耦合到框架264并且定位在用户耳道附近(在一个实施例中，另一未示出的扬声器定位在用户的另一耳道附近以提供立体声/可塑形的声音控制)。显示器262例如通过有线引线或无线连接可操作地耦合(如268所示)到本地处理和数据模块270，本地处理和数据模块270可以以各种配置安装，例如固定地附接到框架264，固定地附接到头盔或帽子，以背包式配置可移除地附接到用户260的躯干上，或者以带耦接式配置可移除地附接到用户260的髋部。
本地处理和数据模块270可以包括功率有效的处理器或控制器，以及数字存储器(诸如闪速存储器)，两者都可用于辅助处理、缓存和存储以下数据：a)从可操作地耦合到框架264的传感器捕获的数据，所述传感器例如包括图像捕获设备(诸如相机)、麦克风、惯性测量单元、加速度计、指南针、GPS单元、无线电设备和/或陀螺仪；和/或b)使用远程处理模块272和/或远程数据储存库274获取和/或处理的数据，这些数据可以在这样的处理或检索之后传送到显示器262。
本地处理和数据模块270例如通过有线或无线通信链路可操作地耦合(如276、278所示)到远程处理模块272和远程数据储存库274，使得这些远程模块272、274彼此可操作地耦合并且作为资源可用于本地处理和数据模块270。在一个实施例中，远程处理模块272可以包括一个或多个相对强大的处理器或控制器，所述处理器或控制器被配置为分析和处理数据和/或图像信息。在一个实施例中，远程数据储存库274可以包括相对大规模的数字数据存储设施，其可以通过因特网或“云”资源配置中的其它网络配置获得。在一个实施例中，在本地处理和数据模块中存储所有数据并且执行所有计算，从而允许从任何远程模块完全自主地使用。
图3示出了视觉跟踪系统如何并入到具有可穿戴设备302(例如，头戴式装置)和手持设备304(例如，控制器)的AR系统中的示例。在一些实施例中，手持设备304可以是手持控制器，其允许用户向AR系统提供输入。例如，手持设备304可以是在游戏场景中使用的图腾。手持设备304可以是触觉设备，并且可以包括利用各种传感器类型的一个或多个触觉表面。在AR系统的操作期间，用户可以通过主动抓握手持设备304和/或通过将附接装置(例如，缠绕带)固定到用户手上来将手持设备304保持在他/她的左手或右手中。
手持设备304可以包括一个或多个基准点(本文中被称为手持基准点322)，其沿着手持设备304的一个或多个外表面定位，使得基准点可以位于手持设备的外部的成像设备的视野内。手持基准点322可以具有已知的相对于彼此的关系，使得成像设备可以通过捕获一个或多个手持基准点322的图像来确定其相对于手持设备304的位置和/或取向。手持基准点322可以是动态的、静态的、电动的、无动力的，并且在一些实施例中，可以彼此区分。例如，第一基准点可以是具有第一波长的发光二极管(LED)，第二基准点可以是具有第二波长的LED。替代地或附加地，不同的基准点可以具有不同的亮度和/或可以以不同的频率脉动(例如，第一基准点可以以100Hz脉动，并且第二基准点可以以150Hz脉动)。
手持设备304可以包括一个或多个成像设备(本文中被称为手持成像设备326)，其被定位以使得当手持设备304被用户握持时，手持设备304周围的某个特征和/或可穿戴设备302在成像设备的视野内。例如，前部手持成像设备326A可以被定位成使得其视野被取向为远离用户朝向手持设备304的周围环境中的一个或多个特征，后部手持成像设备326B可以被定位成使得其视野被取向为朝向可穿戴设备302。手持成像设备326可以包括一个或多个前向成像设备和/或一个或多个后向成像设备，以产生所需的累积视野。在一些实施例中，手持成像设备326可以是诸如相机之类的光学设备，并且可以捕获静止或运动图像。
手持设备304可以包括惯性测量单元(IMU)(本文中被称为手持IMU324)，其被刚性地固定在手持设备304内，使得手持设备304的旋转和线性运动由手持IMU 324类似地经历。在一些情况下，手持IMU 324可以包括一个或多个加速度计(例如，三个)、一个或多个陀螺仪(例如，三个)、一个或多个磁力计(例如，三个)，和/或数字信号处理硬件和软件，以将原始测量转换为处理数据。例如，手持IMU 324可以包括用于三个轴中每一者的加速度计、陀螺仪和磁力计。对于每个轴，手持IMU 324可以输出以下一项或多项：线性位置、线性速度、线性加速度、旋转位置、旋转速度和/或旋转加速度。替代地或附加地，手持IMU 324可以输出原始数据，可从该原始数据计算出上述任何形式的处理数据。
手持设备304可以包括可再充电的和/或可更换的电池328或为手持基准点322、手持成像设备326、手持IMU 324和手持设备304的任何其它部件供电的其它电源。尽管图3未示出，但是手持设备304可以包括用于实现与可穿戴设备302和/或腰包340的无线通信的电路。例如，在使用手持成像设备326和手持IMU 324检测或捕获数据时，手持设备304可以将原始数据或处理数据发送到可穿戴设备302和/或腰包340。
可穿戴设备302可以包括一个或多个基准点(本文中被称为可穿戴基准点306)，其沿着可穿戴设备302的一个或多个外表面定位，使得基准点可以位于后部手持成像设备326B的视野内。可穿戴基准点306可以具有已知的相对于彼此的关系，使得成像设备可以通过捕获一个或多个可穿戴基准点306的图像来确定其相对于可穿戴设备302的位置和/或取向。在一些实施例中，可穿戴基准点306可以是动态的、静态的、电动的、无动力的，并且可以彼此区分。例如，第一基准点可以是具有第一波长的LED，第二基准点可以是具有第二波长的LED。替代地或附加地，不同的基准点可以具有不同的亮度和/或可以以不同的频率脉动。
可穿戴设备302可以包括一个或多个成像设备(本文中被称为可穿戴成像设备310)，其定位成使得当用户握持手持设备304时，手持设备304(特别是手持基准点322)在成像设备的视野内。例如，一个或多个可穿戴成像设备310可以面向前方定位在可穿戴设备302上，位于可穿戴设备302的光学透视部件的上方、下方和/或侧面。在一个实施例中，两个可穿戴成像设备310可以定位在可穿戴设备302的光学透视部件的相反两侧。在一些实施例中，可穿戴成像设备310可以是诸如相机之类的光学设备，并且可以捕获静止或运动图像。
可穿戴设备302可以包括IMU(本文中被称为可穿戴IMU 308)，其被刚性地固定在可穿戴设备302内，使得可穿戴设备302的旋转和线性运动由可穿戴IMU 308类似地经历。在一些情况下，可穿戴IMU 308可以包括一个或多个加速度计(例如，三个)、一个或多个陀螺仪(例如，三个)、一个或多个磁力计(例如，三个)，和/或数字信号处理硬件和软件，以将原始测量转换为处理数据。例如，可穿戴IMU308可以包括用于三个轴中每一者的加速度计、陀螺仪和磁力计。对于每个轴，可穿戴IMU 308可以输出以下一项或多项：线性位置、线性速度、线性加速度、旋转位置、旋转速度和/或旋转加速度。替代地或附加地，可穿戴IMU 308可以输出原始数据，可从该原始数据计算出上述任何形式的处理数据。
在一些实施例中，AR系统可以包括腰包340，其可以包括用于执行手持设备304相对于可穿戴设备302的定位的计算装置(例如，一个或多个处理器和相关联的存储器)。替代地或附加地，计算装置可以驻留在可穿戴设备302本身中，或甚至驻留在手持设备304中。计算装置可以(经由有线和/或无线连接)从可穿戴IMU 308、可穿戴成像设备310、手持IMU324和手持成像设备326中的每一者接收原始数据或处理数据，并且可以计算手持设备304的地理空间位置(相对于可穿戴设备302的地理空间位置)和手持设备304的取向(相对于可穿戴设备302的取向)。在一个或多个实施例中，计算装置又可以包括映射数据库342(例如，可传递的世界模型、坐标空间等)以检测姿势，确定真实对象和虚拟对象的坐标，并且甚至可以连接到云资源和可传递的世界模型。在一些实施例中，使用可穿戴成像设备310和/或手持成像设备326捕获的图像可用于构建可传递的世界模型。例如，可以在捕获的图像中检测到特征，并且可以使用收集的数据(例如稀疏点)构建可传递的世界模型或环境地图。
图4示出了由AR系统执行的定位任务的图，其中确定手持设备304相对于可穿戴设备302的位置和取向。在所示的图中，可穿戴设备302具有地理空间位置(“可穿戴位置”)和取向(“可穿戴取向”)，所述地理空间位置相对于世界参考被定义为(XWP，YWP，ZWP)，所述取向相对于世界参考被定义为(XWO，YWO，ZWO)。在一些情况下，可穿戴设备302的地理空间位置以经度、纬度和高程值表示，并且可穿戴设备302的取向以俯仰角、偏航角和翻滚角值表示。
如图所示，手持设备304具有相对于可穿戴设备302的地理空间位置(XWP，YWP，ZWP)的被定义为(X'HP，Y'HP，Z'HP)的地理空间位置(“手持位置”)以及相对于可穿戴设备302的取向(XWO，YWO，ZWO)的被定义为(X'HO，Y'HO，Z'HO)的取向(“手持取向”)。在一些情况下，手持设备304的地理空间位置以X，Y和Z笛卡尔值表示，并且手持设备304的取向以俯仰角、偏航角和翻滚角值表示。作为一个特定示例，当用户握持手持设备304时，手持设备304的地理空间位置可以等于(0.7m，-0.5m，0.1m)，并且手持设备304的取向可以等于(10.2°，-46.2°，15.2°)。
图5示出了AR系统500的示例配置，其中可穿戴设备302包括一个或多个可穿戴基准点306，并且手持设备304包括一个或多个后向手持成像设备326，当用户在正常操作中握持手持设备304时，后向手持成像设备326的视野至少部分地且至少暂时地包括可穿戴基准点306。AR系统500可以包括被安装在手持设备304上的另外的传感器，例如手持IMU 324。这种配置的一个优点可以是手持设备304具有相对于可穿戴设备302执行其自身的定位时所需的全部数据，从而减少了可穿戴设备302上的处理负载。AR系统500可以包括被安装在可穿戴设备302上的另外的传感器，例如可穿戴IMU 308。
图6示出了使用AR系统500执行手持设备304相对于可穿戴设备302的定位的方法600。方法600的一个或多个步骤可以被省略或者可以以与所示实施例不同的顺序执行，并且方法600的一个或多个步骤可以在位于可穿戴设备302、手持设备304和/或腰包340内的一个或多个处理装置处执行。
在步骤602，由手持成像设备326捕获图像(“基准点图像”)。基准点图像可以包含可穿戴基准点306中的若干基准点。例如，如果存在三个可穿戴基准点306，则可以分析基准点图像以确定其包含零个、一个、两个还是三个基准点。
在步骤604，例如基于基准点图像而计算手持设备304相对于可穿戴设备302的位置和/或取向。例如，可以分析基准点图像以确定可穿戴基准点306中的任何基准点的定位，并且可以基于基准点图像内的基准点的位置以及可穿戴基准点306之间的已知物理关系而确定位置和/或取向。手持设备304的位置和/或取向可被用于确定手持设备304相对于可穿戴设备302的姿势。步骤604的输出被称为基准数据630。
在步骤610，由手持IMU 324检测至少指示手持设备304相对于世界(和/或相对于可穿戴设备302)的旋转运动的数据(“IMU数据”)。IMU数据可以包括旋转速度或从其计算旋转速度的原始数据。在一些实施例中，IMU数据还指示手持设备304的线性运动，并且可以包括线性加速度或从其计算线性加速度的原始数据。
在步骤612，基于IMU数据计算手持设备304的位置和/或取向。在一些实施例中，计算手持设备304相对于世界的位置和/或取向(使用先前已知的和/或估计的相对于世界的取向)，和/或在一些其它实施例中，计算手持设备304相对于可穿戴设备302的位置和/或取向(使用先前已知的和/或估计的相对于可穿戴设备302的取向)。
在步骤614，基于基准数据630和/或手持数据632而计算手持设备304相对于可穿戴设备302的位置和/或取向。基准数据630可以包括基准点图像和/或在步骤604中执行的基于基准点图像的位置和/或取向计算。手持数据632可以包括IMU数据和/或在步骤612中执行的基于IMU数据的位置和/或取向计算。步骤614处的位置和取向计算可以基于在基准点图像中找到的基准点数量，根据各种操作状态之一执行。每种操作状态可以不同地处理基准数据630和手持数据632，并且可以相对于其它类型的数据更加强调一种类型的数据。将参考图13更详细地描述这些操作状态。
在步骤616，将手持设备304相对于可穿戴设备302的位置和/或取向输出到例如外部设备和/或用于操作AR系统500的处理。例如，位置和/或取向可以被输出到AR系统500以生成和显示虚拟内容。
图7示出了AR系统700的示例配置，其中可穿戴设备302包括一个或多个可穿戴成像设备310，当用户在正常操作中握持手持设备304时，可穿戴成像设备310的视野至少部分地且至少暂时地包括手持基准点322，并且手持设备304包括一个或多个手持基准点322。AR系统700可以包括被安装在手持设备304上的另外的传感器，例如手持IMU 324。这种配置的一个优点可以是手持设备304的简单性和低功耗性。AR系统700可以包括被安装在可穿戴设备302上的另外的传感器，例如可穿戴IMU 308。
图8示出了使用AR系统700执行手持设备304相对于可穿戴设备302的定位的方法800。方法800的一个或多个步骤可以被省略或者可以以与所示实施例不同的顺序执行，并且方法800的一个或多个步骤可以在位于可穿戴设备302、手持设备304和/或腰包340内的一个或多个处理装置处执行。
在步骤802，由可穿戴成像设备310捕获图像(“基准点图像”)。基准点图像可以包含手持基准点322中的若干基准点。例如，如果存在三个手持基准点322，则可以分析基准点图像以确定其包含零个、一个、两个或三个基准点。
在步骤804，例如基于基准点图像计算手持设备304相对于可穿戴设备302的位置和/或取向。例如，可以分析基准点图像以确定手持基准点322中的任何基准点的位置，并且可以基于基准点图像内的基准点的位置以及手持基准点322之间的已知的物理关系而确定位置和/或取向。手持设备304的位置和/或取向可用于确定手持设备304相对于可穿戴设备302的姿势。步骤804的输出被称为基准数据830。
在步骤810，由手持IMU 324检测至少指示手持设备304相对于世界的旋转运动的数据(“IMU数据”)。IMU数据可以包括旋转速度或从其计算旋转速度的原始数据。在一些实施例中，IMU数据还指示手持设备304的线性运动，并且可以包括线性加速度或从其计算线性加速度的原始数据。
在步骤812，基于IMU数据计算手持设备304的位置和/或取向。在一些实施例中，计算手持设备304相对于世界的位置和/或取向(使用先前已知的和/或估计的相对于世界的取向)，和/或在一些实施例中，计算手持设备304相对于可穿戴设备302的位置和/或取向(使用先前已知的和/或估计的相对于可穿戴设备302的取向)。步骤812的输出可以被称为手持数据832。
在步骤814，基于基准数据830和/或手持数据832而计算手持设备304相对于可穿戴设备302的位置和/或取向。基准数据830可以包括基准点图像和/或在步骤804中执行的基于基准点图像的位置和/或取向计算。手持数据832可以包括IMU数据和/或在步骤812中执行的基于IMU数据的位置和/或取向计算。步骤814处的位置和/或取向计算可以基于在基准点图像中找到的基准点数量，根据各种操作状态之一执行。每种操作状态可以不同地处理基准数据830和手持数据832，并且可以相对于其它类型的数据更加强调一种类型的数据。将参考图13更详细地描述这些操作状态。
在步骤816，将手持设备304相对于可穿戴设备302的位置和/或取向输出到例如外部设备和/或用于操作AR系统700的处理。例如，位置和/或取向可以被输出到AR系统700以生成和显示虚拟内容。
图9示出了AR系统900的示例配置，其中手持设备326包括前部手持成像设备326A和后部手持成像设备326B，当用户握持手持设备304时，前部手持成像设备326A的视野至少部分地且至少暂时地包括一个或多个周围特征344，当用户在正常操作中握持手持设备304时，后部手持成像设备326B的视野至少部分地且至少暂时地包括一个或多个可穿戴基准点306。在示例配置中，多个可穿戴基准点322被固定到可穿戴设备302。AR系统900可以包括被安装在手持设备304上的另外的传感器，例如手持IMU 324。这种配置的一个优点可以是由多个成像设备提供的增加的准确度。AR系统900可以包括被安装在可穿戴设备302上的另外的传感器，例如可穿戴IMU 308。
图10示出了使用AR系统900执行手持设备304相对于可穿戴设备302的定位的方法1000。方法1000的一个或多个步骤可以被省略或者可以以与所示实施例不同的顺序执行，并且方法1000的一个或多个步骤可以在位于可穿戴设备302、手持设备304和/或腰包340内的一个或多个处理装置处执行。
在步骤1002，由后部手持成像设备326B捕获图像(“基准点图像”)。基准点图像可以包含可穿戴基准点306中的若干基准点。例如，如果存在三个可穿戴基准点306，则可以分析基准点图像以确定其包含零个、一个、两个或三个基准点。
在步骤1004，例如基于基准点图像计算手持设备304相对于可穿戴设备302的位置和/或取向。例如，可以分析基准点图像以确定可穿戴基准点306中的任何基准点的位置，并且可以基于基准点图像内的基准点的位置以及可穿戴基准点306之间的已知的物理关系确定位置和/或取向。手持设备304的位置和/或取向可用于确定手持设备304相对于可穿戴设备302的姿势。步骤1004的输出被称为基准数据1030。
在步骤1006，由前部手持成像设备326A捕获图像(“世界图像”)。世界图像可以包含周围特征344。
在步骤1008，基于世界图像计算手持设备304相对于世界的位置和/或取向。在一些情况下，将世界图像与先前的世界图像进行比较以使用视觉测距技术估计手持设备304的运动，视觉测距技术可以包括在每个世界图像中执行特征检测以建立世界图像之间的对应关系。然后可以计算与世界图像中检测到的特征的运动最一致的手持设备304的运动矢量。步骤1008的输出被称为手持数据1032。
在步骤1010，由手持式IMU 324检测至少指示手持式设备304相对于世界的旋转运动的数据(“IMU数据”)。IMU数据可以包括旋转速度或可从其计算旋转速度的原始数据。在一些实施例中，IMU数据还指示手持设备304的线性运动，并且可以包括线性加速度或可从其计算线性加速度的原始数据。
在步骤1012，基于IMU数据计算手持设备304的位置和/或取向。在一些实施例中，计算手持设备304相对于世界的位置和/或取向(使用先前已知的和/或估计的相对于世界的取向)，和/或在一些实施例中，计算手持设备304相对于可穿戴设备302的位置和/或取向(使用先前已知的和/或估计的相对于可穿戴设备302的取向)。步骤1012的输出被称为手持数据1032。
在步骤1014，基于基准数据1030和/或手持数据1032计算手持设备304相对于可穿戴设备302的位置和/或取向。基准数据1030可以包括基准点图像和/或在步骤1004中执行的基于基准点图像的位置和/或取向计算。手持数据1032可以包括世界图像、在步骤1008中执行的基于世界图像的位置和/或取向计算、IMU数据、和/或在步骤1012中执行的基于IMU数据的位置和/或取向计算。步骤1014处的位置和取向计算可以基于在基准点图像中找到的基准点数量，根据各种操作状态之一执行。每种操作状态可以不同地处理基准数据1030和手持数据1032，并且可以相对于其它类型的数据更加强调一种类型的数据。将参考图13更详细地描述这些操作状态。
在步骤1016，将手持设备304相对于可穿戴设备302的位置和/或取向输出到例如外部设备和/或用于操作AR系统900的处理。例如，位置和/或取向可以被输出到AR系统900以生成和显示虚拟内容。
图11A示出了AR系统1100A的示例配置，其中可穿戴设备302包括一个或多个可穿戴成像设备310，当用户在正常操作中握持手持设备304时，可穿戴成像设备310的视野至少部分地且至少暂时地包括手持基准点322，并且其中手持设备304包括一个或多个手持成像设备326，当用户在正常操作中握持手持设备304时，手持成像设备326的视野至少部分地且至少暂时地包括一个或多个周围特征344。在图11A所示的示例配置中，单个手持基准点322被固定到手持设备304。AR系统1100可以包括被安装在手持设备304上的另外的传感器，例如手持IMU 324。图11A所示的配置的优点包括由多个成像设备提供的增加的准确度，以及在受单个基准点位置约束的同时计算位置和取向的计算效率。AR系统1100A可以包括被安装在可穿戴设备302上的另外的传感器，例如可穿戴IMU 308。
图11B示出了AR系统1100B的示例配置，其中可穿戴设备302包括一个或多个可穿戴成像设备310，当用户在正常操作中握持手持设备304时，可穿戴成像设备310的视野至少部分地且至少暂时地包括手持基准点322，并且其中手持设备304包括一个或多个手持成像设备326，当用户在正常操作中握持手持设备304时，手持成像设备326的视野至少部分地且至少暂时地包括一个或多个周围特征344。在图11B所示的示例配置中，多个手持基准点322被固定到手持设备304。AR系统1100B可以包括被安装在手持设备304上的另外的传感器，例如手持IMU 324。这样的配置的优点包括由多个成像设备提供的增加的准确度，以及通过组合基于基准点的跟踪与视觉测距技术而增加的稳健性。AR系统1100B可以包括被安装在可穿戴设备302上的另外的传感器，例如可穿戴IMU。
图12示出了使用图11A的AR系统1100A或图11B的AR系统1100B执行手持设备304相对于可穿戴设备302的定位的方法1200。方法1200的一个或多个步骤可以被省略或者可以以与所示实施例不同的顺序执行，并且方法1200的一个或多个步骤可以在位于可穿戴设备302、手持设备304和/或腰包340内的一个或多个处理装置处执行。
在步骤1202，由可穿戴成像设备310捕获图像(“基准点图像”)。基准点图像可以包含若干手持基准点322。例如，对于图11A，如果存在一个手持基准点322，则可以分析基准点图像以确定其包含零个或一个基准点。例如，对于图11B，如果存在三个手持基准点322，则可以分析基准点图像以确定其包含零个、一个、两个或三个基准点。
在步骤1204，例如基于基准点图像计算手持设备304相对于可穿戴设备302的位置和/或取向。例如，对于图11A，可以分析基准点图像以确定基准点的位置，并且可以基于基准点图像内的基准点位置确定位置和/或取向的约束。例如，对于图11B，可以分析基准点图像以确定任何基准点的位置，并且可以基于基准点图像内的基准点的位置以及可穿戴基准点306之间的已知的物理关系而确定位置和/或取向。
在步骤1206，由手持成像设备326捕获图像(“世界图像”)。世界图像可以包含周围特征344。
在步骤1208，基于世界图像计算手持设备304相对于世界的位置和/或取向。在一些情况下，将世界图像与先前的世界图像进行比较以使用视觉测距技术估计手持设备304的运动，视觉测距技术可以包括在每个世界图像中执行特征检测以建立世界图像之间的对应关系。然后可以计算与世界图像中检测到的特征的运动最一致的手持设备304的运动矢量。步骤1208的输出被称为手持数据1232。
在步骤1210，由手持式IMU 324检测至少指示手持式设备304相对于世界的旋转运动的数据(“IMU数据”)。IMU数据可以包括旋转速度或可从其计算旋转速度的原始数据。在一些实施例中，IMU数据还指示手持设备304的线性运动，并且可以包括线性加速度或可从其计算线性加速度的原始数据。
在步骤1212，基于IMU数据计算手持设备304的位置和/或取向。在一些实施例中，计算手持设备304相对于世界的位置和/或取向(使用先前已知的和/或估计的相对于世界的取向)，和/或在一些实施例中，计算手持设备304相对于可穿戴设备302的位置和/或取向(使用先前已知的和/或估计的相对于可穿戴设备302的取向)。步骤1212的输出被称为手持数据1232。
在步骤1214，基于基准数据1230和/或手持数据1232计算手持设备304相对于可穿戴设备302的位置和/或取向。例如，对于图11A，基准数据1230可以包括基准点图像和/或在步骤1204中执行的基于基准点图像的位置和/或取向计算的约束。例如，对于图11B，基准数据1230可以包括基准点图像和/或在步骤1204中执行的基于基准点图像的位置和/或取向计算。手持数据1232可以包括世界图像、在步骤1208中执行的基于世界图像的位置和/或取向计算、IMU数据和/或在步骤1212中执行的基于IMU数据的位置和/或取向计算。步骤1214处的位置和取向计算可以基于在基准点图像中找到的基准点数量，根据各种操作状态之一执行。每种操作状态可以不同地处理基准数据1230和手持数据1232，并且可以相对于其它类型的数据更加强调一种类型的数据。将参考图13更详细地描述这些操作状态。
在步骤1216，将手持设备304相对于可穿戴设备302的位置和/或取向输出到例如外部设备和/或用于操作AR系统1100的处理。例如，位置和/或取向可以被输出到AR系统1100以生成和显示虚拟内容。
图13示出了使用AR系统500、700、900、1100中的任一者或其任何组合执行手持设备304相对于可穿戴设备302的定位的方法1300。方法1300的一个或多个步骤可以被省略或者可以以与所示实施例不同的顺序执行，并且方法1300的一个或多个步骤可以在位于可穿戴设备302、手持设备304和/或腰包340内的一个或多个处理装置处执行。
在步骤1302，使用成像设备获得指示手持设备304相对于可穿戴设备302的运动的数据(“基准数据”)。执行步骤1302可以包括执行步骤1304、1306中的一者或全部两者。在步骤1304，由后部手持成像设备326B捕获包含若干可穿戴基准点306的图像(“基准点图像”)。在步骤1306，由可穿戴成像设备310捕获包含若干手持基准点322的图像(“基准点图像”)。
在步骤1308，检测至少指示手持设备304相对于世界的旋转运动的数据(“手持数据”)。执行步骤1308可以包括执行步骤1310、1312中的一者或全部两者。
在步骤1310，由前部手持成像设备326A捕获包含周围特征344的图像(“世界图像”)。在步骤1312，由手持IMU 324检测至少指示手持设备304相对于世界的旋转运动的数据(“IMU数据”)。IMU数据可以包括旋转速度或可从其计算旋转速度的原始数据。在一些实施例中，IMU数据还指示手持设备304的线性运动，并且可以包括线性加速度或可从其计算线性加速度的原始数据。
在步骤1314，确定基准点图像中包含的基准点数量以及观察到的基准点的位置(例如，像素位置)。
在步骤1316，根据三种操作状态之一计算/估计/更新手持设备304相对于可穿戴设备302的位置和/或取向。基于在基准点图像中观察到的基准点数量来选择操作状态。在所示实施例中，当在基准点图像中观察到三个或更多个基准点时，选择第一操作状态(“状态1”)，当在基准点图像中观察到一个或两个基准点时，选择第二操作状态(“状态2”)，当在基准点图像中观察到零个基准点时，选择第三操作状态(“状态3”)。状态之间的切换可以在每次捕获新的基准点图像时发生或者以预定时间间隔发生。例如，可以基于基准数据(例如，基准点图像)和手持数据(例如，世界图像和IMU取向)中的一者或全部两者，在每个相机帧处执行步骤1316。步骤1316可以进一步包含先前的位置和/或取向计算以提高估计准确度。
根据第一操作状态(“状态1”)，可以例如仅基于基准数据高准确度地计算位置和/或取向(完整的六个自由度)。当观察到四个或更多个基准点时，位置可以被完全解算。当恰好观察到三个基准点时，存在两个可能的位置解，其中一个可以基于附加处理和/或与先前计算的位置的比较而被丢弃。在一些实施例中，手持数据可用于补充和提高计算准确度。在一些实施例中，可以采用扩展卡尔曼滤波器来基于先前的位置和/或取向计算提高准确度。
根据第二操作状态(“状态2”)，例如可以使用基准数据和手持数据二者来计算位置和/或取向。当观察到两个基准点时，基准数据使得能够计算受约束的位置和/或取向，并且手持数据可用于在基准数据施加的约束的情况下完成计算。在一些实施例中，可以采用扩展卡尔曼滤波器来基于先前的位置和/或取向计算而提高准确度。在第二操作状态下执行的计算总体上可能不如在第一操作状态下执行的计算准确。
根据第三操作状态(“状态3”)，例如可以仅基于手持数据(即，航位推算(deadreckoning))计算位置和取向。在一些实施例中，可以采用扩展卡尔曼滤波器来基于先前的位置和/或取向计算提高准确度。在第三操作状态下执行的计算总体上可能不如在第一或第二操作状态下执行的计算准确。
在步骤1318，执行IMU偏差校正以增加作为步骤1316处的输入提供的IMU数据的准确度。由于IMU数据可能随时间漂移，因此定期更新可以重新校准IMU数据。在一些实施例中，仅在选择第一操作状态时提供偏差更新，并且可以提供高准确度偏差更新。在一些实施例中，在选择第一操作状态或第二操作状态时提供偏差更新，因为两种状态在其计算中均利用基准数据。偏差更新可以在每个相机帧处提供或以预定时间间隔提供。
图14示出了根据本文描述的一些实施例的简化计算机系统1400。图14提供了可以执行由各种实施例提供的方法的部分或所有步骤的计算机系统1400的一个示例的示意图。应当注意，图14仅用于提供各种部件的概括说明，可以适当地使用其中的任何或所有部件。因此，图14广泛地示例了如何以相对分离或相对更集成的方式实现各个系统元件。
计算机系统1400被示出为包括可以通过总线1405电耦接，或者可以适当地以其它方式进行通信的硬件元件。这些硬件元件可以包括：一个或多个处理器1410，其包括但不限于一个或多个通用处理器和/或一个或多个专用处理器，例如数字信号处理芯片、图形加速处理器和/或类似物；一个或多个输入设备1415，其可以包括但不限于鼠标、键盘、相机和/或类似物；一个或多个输出设备1420，其可以包括但不限于显示设备、打印机和/或类似物。
计算机系统1400可以进一步包括一个或多个非暂时性存储设备1425，和/或与一个或多个非暂时性存储设备1425通信，该存储设备1425可以包括但不限于本地和/或网络可访问存储器，和/或可以包括但不限于磁盘驱动器、驱动器阵列、光学存储设备、固态存储设备，诸如可编程的、可闪速更新的随机存取存储器(“RAM”)和/或只读存储器(“ROM”)，和/或类似物。这样的存储设备可以被配置为实现任何适当的数据存储，包括但不限于各种文件系统、数据库结构和/或类似物。
计算机系统1400可以还包括通信子系统1419，其可以包括但不限于调制解调器、网卡(无线或有线)、红外通信设备、无线通信设备和/或芯片组，例如BluetoothTM设备、802.11设备、WiFi设备、WiMax设备、蜂窝通信设施等等，和/或类似物。通信子系统1419可以包括一个或多个输入和/或输出通信接口，以允许与诸如下面举例描述的网络之类的网络、其它计算机系统、电视和/或本文描述的任何其它设备交换数据。取决于所需的功能和/或其它实施方式问题，便携式电子设备或类似设备可以经由通信子系统1419传送图像和/或其它信息。在其它实施例中，诸如第一电子设备之类的便携式电子设备可以被并入到计算机系统1400中，例如作为输入设备1415的电子设备。在一些实施例中，计算机系统1400还包括工作存储器1435，其可以包括上述RAM或ROM设备。
计算机系统1400还可以包括软件元件，其被示出为当前位于工作存储器1435内，工作存储器1435包括操作系统1440、设备驱动程序、可执行库和/或其它代码，例如一个或多个应用程序1445，如本文所述，这些应用程序1445可以包括由各种实施例提供的计算机程序，和/或可以被设计为实现由其它实施例提供的方法和/或配置系统。仅作为示例，参考上述方法描述的一个或多个过程可以被实现为可由计算机和/或计算机内的处理器执行的代码和/或指令；然后，在一方面，这样的代码和/或指令可被用于配置和/或调整通用计算机或其它设备以根据所描述的方法执行一个或多个操作。
一组这些指令和/或代码可以被存储在非暂时性计算机可读存储介质上，例如上述存储设备1425上。在一些情况下，存储介质可以被并入计算机系统中，例如计算机系统1400中。在其它实施例中，存储介质可以与计算机系统分离，例如可移除的介质，例如光盘，和/或在安装包中被提供，使得存储介质可被用于编程、配置和/或调整其上存储有指令/代码的通用计算机。这些指令可以采用可由计算机系统1400执行的可执行代码的形式，和/或可以采用源代码和/或可安装代码的形式，当例如使用各种通常可用的编译器、安装程序、压缩/解压缩实用程序等在计算机系统1400上编译和/或安装时，该源代码和/或可安装代码然后采用可执行代码的形式。
对于本领域技术人员显而易见的是，可以根据具体要求进行实质性变化。例如，也可以使用定制硬件，和/或特定元件可以用硬件和/或包括便携式软件(例如小应用程序等)的软件实现。此外，可以采用与诸如网络输入/输出设备之类的其它计算设备的连接。
如上所述，在一方面，一些实施例可以采用诸如计算机系统1400之类的计算机系统来执行根据本技术的各种实施例的方法。根据一组实施例，这些方法的部分或全部过程由计算机系统1400执行，以响应于处理器1410执行一个或多个指令的一个或多个序列，这些指令可以被并入到操作系统1440和/或诸如应用程序1445之类的包含在工作存储器1435中的其它代码中。可以将这样的指令从另一计算机可读介质(例如一个或多个存储设备1425)读入工作存储器1435中。仅作为示例，包含在工作存储器1435中的指令序列的执行可以使处理器1410执行本文描述的方法的一个或多个过程。附加地或替代地，本文描述的方法的一部分可以通过专用硬件来执行。
如本文所使用的，术语“机器可读介质”和“计算机可读介质”是指参与提供使机器以特定方式操作的数据的任何介质。在使用计算机系统1400实现的实施例中，各种计算机可读介质可以涉及向处理器1410提供指令/代码以供执行，和/或可以被用于存储和/或携带这样的指令/代码。在许多实施方式中，计算机可读介质是物理和/或有形的存储介质。这样的介质可以采用非易失性介质或易失性介质的形式。非易失性介质例如包括光盘和/或磁盘，例如存储设备1425。易失性介质包括但不限于动态存储器，例如工作存储器1435。
物理和/或有形的计算机可读介质的常见形式例如包括软盘、柔性盘、硬盘、磁带或任何其它磁介质、CD-ROM、任何其它光介质、穿孔卡、纸带、具有孔图案的任何其它物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其它存储器芯片或盒式磁带，或计算机可以从中读取指令和/或代码的任何其它介质。
各种形式的计算机可读介质可以涉及将一个或多个指令的一个或多个序列传送到处理器1410以供执行。仅作为示例，指令最初可以承载在远程计算机的磁盘和/或光盘上。远程计算机可以将指令加载到其动态存储器中，并将指令作为信号通过传输介质发送，以由计算机系统1400接收和/或执行。
通信子系统1419和/或其部件通常将接收信号，然后总线1405可以将信号和/或信号所携带的数据、指令等传输到工作存储器1435，处理器1410从工作存储器1435检索并执行指令。由工作存储器1435接收的指令可以可选地在由处理器1410执行之前或之后被存储在非暂时性存储设备1425上。
以上讨论的方法、系统和设备是示例。各种配置可以适当地省略、替换或添加各种过程或组件。例如，在备选配置中，可以以不同于所描述的顺序执行方法，和/或可以添加、省略和/或组合各种阶段。而且，针对特定配置描述的特征可以以各种其它配置组合。配置的不同方面和元件可以以类似的方式组合。此外，技术是发展的，因此许多元件是示例，并不限制本公开或权利要求的范围。
在说明书中给出了具体细节以提供对包括实施方式的示例性配置的透彻理解。然而，可以在没有这些具体细节的情况下实践配置。例如，已经示出了众所周知的电路、处理、算法、结构和技术而没有不必要的细节，以避免混淆配置。该描述仅提供示例配置，并且不限制权利要求的范围、适用性或配置。相反，前面对配置的描述将为本领域技术人员提供用于实现所描述的技术的使能说明。在不脱离本公开的精神或范围的情况下，可以对元件的功能和布置进行各种改变。
此外，配置可以被描述为过程，该过程能够被描绘为示意性流程图或框图。尽管每个过程可以将操作描述为顺序过程，但是许多操作可以并行或同时被执行。另外，可以重新排列操作的顺序。一过程可能具有附图中未包括的附加步骤。此外，方法的示例可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合来实现。当通过软件、固件、中间件或微代码实现时，用于执行必要任务的程序代码或代码段可以被存储在诸如存储介质之类的非暂时性计算机可读介质中。处理器可以执行所描述的任务。
已经描述了若干示例配置，在不脱离本公开的精神的情况下，可以使用各种修改、替代构造和等同物。例如，上述元件可以是更大系统的组件，其中其它规则可能优先于本技术的应用或以其它方式修改本技术的应用。而且，可以在考虑上述元件之前、期间或之后执行许多步骤。因此，以上描述不限制权利要求的范围。
如本文和所附权利要求中所使用的，单数形式“一”、“一个”和“该”包括复数指代，除非上下文另有明确说明。因此，例如，对“一用户”的提及包括多个这样的用户，并且对“该处理器”的提及包括提及本领域技术人员公知的一个或多个处理器及其等同物等等。
此外，当在本说明书和先的权利要求中使用时，词语“包括”、“包含”、“含有”、“内含”、“具有”、“涵盖”和“带有”旨在指定所声明的特征、整体、组件或步骤的存在，但它们不排除一个或多个其它特征、整体、组件、步骤、动作或其组的存在或添加。
还应理解，本文描述的实例和实施例仅用于说明目的，根据这些实例和实施例进行的各种修改或改变将被暗示给本领域技术人员，并且这些修改或改变将被包括在本申请的精神和范围以及所附权利要求的范围内。

Claims (20)

1.一种执行手持设备相对于可穿戴设备的定位的方法，所述方法包括：
通过被安装在所述手持设备上的至少一个传感器获得指示所述手持设备的运动的手持数据，其中获得所述手持数据包括：
通过被安装在所述手持设备上的惯性测量单元(IMU)检测所述手持设备的线性加速度和旋转速度；以及
通过被安装在所述手持设备上的手持相机捕获包含位于所述手持设备周围的一个或多个特征的世界图像；
通过被安装在所述可穿戴设备上的可穿戴相机获得指示所述手持设备的运动的基准数据，其中获得所述基准数据包括：
通过所述可穿戴相机捕获包含被固定到所述手持设备的多个基准点中的若干基准点的基准点图像；
确定所述基准点图像中的基准点数量；
响应于确定所述基准点数量等于或大于3，根据第一操作状态仅基于所述基准数据而更新所述手持设备的位置和取向中的至少一者；
响应于确定所述基准点数量等于1或2，根据第二操作状态基于所述基准数据和所述手持数据而更新所述手持设备的位置和取向中的至少一者；以及
响应于确定所述基准点数量等于0，根据第三操作状态仅基于所述手持数据而更新所述手持设备的位置和取向中的至少一者。
2.根据权利要求1所述的方法，其中所述多个基准点包括发光二极管(LED)。
3.一种执行手持设备相对于可穿戴设备的定位的方法，所述方法包括：
通过被安装在所述手持设备上的惯性测量单元(IMU)获得指示所述手持设备的运动的手持数据；
通过被安装在第一设备上的成像设备获得指示所述手持设备的运动的基准数据，其中所述第一设备是所述手持设备或所述可穿戴设备，并且其中获得所述基准数据包括：
通过所述成像设备捕获包含被固定到不同于所述第一设备的第二设备的若干基准点的基准点图像，其中所述第二设备是所述手持设备或所述可穿戴设备；确定所述基准点图像中包含的基准点数量；以及
基于所述基准点图像中包含的基准点数量，根据第一操作状态或第二操作状态基于所述基准数据和所述手持数据而更新所述手持设备的位置和取向。
4.根据权利要求3所述的方法，其中所述多个基准点包括发光二极管(LED)。
5.根据权利要求3所述的方法，其中所述成像设备被安装在所述手持设备上，并且包括所述若干基准点的多个基准点被固定到所述可穿戴设备。
6.根据权利要求3所述的方法，其中所述成像设备被安装在所述可穿戴设备上，并且包括所述若干基准点的多个基准点被固定到所述手持设备。
7.根据权利要求3所述的方法，其中所述成像设备被安装在所述手持设备上，并且包括所述若干基准点的一个或多个基准点被固定到所述可穿戴设备，并且其中获得所述手持数据包括：
通过被安装在所述手持设备上的第二手持成像设备捕获包含位于所述手持设备周围的一个或多个特征的世界图像。
8.根据权利要求3所述的方法，其中所述成像设备被安装在所述可穿戴设备上，并且包括所述若干基准点的多个基准点被固定到所述手持设备，并且其中获得所述手持数据包括：
通过被安装在所述手持设备上的第二手持成像设备捕获包含位于所述手持设备周围的一个或多个特征的世界图像。
9.根据权利要求3所述的方法，进一步包括：
响应于确定所述基准点数量等于或大于3，根据所述第一操作状态基于所述基准数据而更新所述手持设备的位置和取向中的至少一者；以及
响应于确定所述基准点数量等于1或2，根据所述第二操作状态基于所述基准数据和所述手持数据而更新所述手持设备的位置和取向中的至少一者。
10.根据权利要求9所述的方法，进一步包括：
响应于确定所述基准点数量等于0，根据第三操作状态基于所述手持数据而更新所述手持设备的位置和取向中的至少一者。
11.根据权利要求10所述的方法，其中：
根据所述第一操作状态仅基于所述基准数据而更新所述手持设备的位置和取向中的至少一者；以及
根据所述第三操作状态仅基于所述手持数据而更新所述手持设备的位置和取向中的至少一者。
12.一种用于执行手持设备相对于可穿戴设备的定位的系统，所述系统包括：
所述可穿戴设备；
所述手持设备；以及
一个或多个处理器，其与所述可穿戴设备和所述手持设备进行通信耦合，其中所述一个或多个处理器被配置为执行包括以下项的操作：
通过被安装在所述手持设备上的惯性测量单元(IMU)获得指示所述手持设备的运动的手持数据；
通过被安装在第一设备上的成像设备获得指示所述手持设备的运动的基准数据，其中所述第一设备是所述手持设备或所述可穿戴设备，并且其中获得所述基准数据包括：
通过所述成像设备捕获包含被固定到不同于所述第一设备的第二设备的若干基准点的基准点图像，其中所述第二设备是所述手持设备或所述可穿戴设备；
确定所述基准点图像中包含的基准点数量；以及
基于所述基准点图像中包含的基准点数量，根据第一操作状态或第二操作状态基于所述基准数据和所述手持数据而更新所述手持设备的位置和取向中的至少一者。
13.根据权利要求12所述的系统，其中所述多个基准点包括发光二极管(LED)。
14.根据权利要求12所述的系统，其中所述成像设备被安装在所述手持设备上，并且包括所述若干基准点的多个基准点被固定到所述可穿戴设备。
15.根据权利要求12所述的系统，其中所述成像设备被安装在所述可穿戴设备上，并且包括所述若干基准点的多个基准点被固定到所述手持设备。
16.根据权利要求12所述的系统，其中所述成像设备被安装在所述手持设备上，并且包括所述若干基准点的多个基准点被固定到所述可穿戴设备，并且其中获得所述手持数据包括：
通过被安装在所述手持设备上的第二手持成像设备捕获包含位于所述手持设备周围的一个或多个特征的世界图像。
17.根据权利要求12所述的系统，其中所述成像设备被安装在所述可穿戴设备上，并且包括所述若干基准点的一个或多个基准点被固定到所述手持设备，并且其中获得所述手持数据包括：
通过被安装在所述手持设备上的第二手持成像设备捕获包含位于所述手持设备周围的一个或多个特征的世界图像。
18.根据权利要求12所述的系统，其中所述操作进一步包括：
响应于确定所述基准点数量等于或大于3，根据所述第一操作状态基于所述基准数据而更新所述手持设备的位置和取向中的至少一者；以及
响应于确定所述基准点数量等于1或2，根据所述第二操作状态基于所述基准数据和所述手持数据而更新所述手持设备的位置和取向中的至少一者。
19.根据权利要求18所述的系统，其中所述操作进一步包括：
响应于确定所述基准点数量等于0，根据第三操作状态基于所述手持数据而更新所述手持设备的位置和取向中的至少一者。
20.根据权利要求19所述的系统，其中：
根据所述第一操作状态仅基于所述基准数据而更新所述手持设备的位置和取向中的至少一者；以及
根据所述第三操作状态仅基于所述手持数据而更新所述手持设备的位置和取向中的至少一者。
CN201980001863.1A 2018-03-07 2019-03-06 外围设备的视觉跟踪 Active CN110494792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110689396.5A CN113426098A (zh) 2018-03-07 2019-03-06 外围设备的视觉跟踪

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862640009P 2018-03-07 2018-03-07
US62/640,009 2018-03-07
US201862640299P 2018-03-08 2018-03-08
US62/640,299 2018-03-08
PCT/US2019/021025 WO2019173524A1 (en) 2018-03-07 2019-03-06 Visual tracking of peripheral devices

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110689396.5A Division CN113426098A (zh) 2018-03-07 2019-03-06 外围设备的视觉跟踪

Publications (2)

Publication Number Publication Date
CN110494792A true CN110494792A (zh) 2019-11-22
CN110494792B CN110494792B (zh) 2021-07-09

Family

ID=67847404

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110689396.5A Pending CN113426098A (zh) 2018-03-07 2019-03-06 外围设备的视觉跟踪
CN201980001863.1A Active CN110494792B (zh) 2018-03-07 2019-03-06 外围设备的视觉跟踪

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110689396.5A Pending CN113426098A (zh) 2018-03-07 2019-03-06 外围设备的视觉跟踪

Country Status (10)

Country Link
US (4) US10860090B2 (zh)
EP (2) EP3593198B1 (zh)
JP (1) JP6785385B2 (zh)
KR (2) KR102122600B1 (zh)
CN (2) CN113426098A (zh)
AU (2) AU2019231697B2 (zh)
CA (2) CA3059064C (zh)
IL (2) IL269587B (zh)
NZ (1) NZ757418A (zh)
WO (1) WO2019173524A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2019231697B2 (en) 2018-03-07 2020-01-30 Magic Leap, Inc. Visual tracking of peripheral devices
US11265387B2 (en) * 2019-11-13 2022-03-01 At&T Intellectual Property I, L.P. Synchronizing multiple user devices in an immersive media environment using time-of-flight light patterns
JP2021077262A (ja) * 2019-11-13 2021-05-20 セイコーエプソン株式会社 頭部装着型表示装置、入力方式方法の切り替え方法、及び、その切り替えプログラム
US11128636B1 (en) 2020-05-13 2021-09-21 Science House LLC Systems, methods, and apparatus for enhanced headsets
US20210398314A1 (en) * 2020-06-17 2021-12-23 Qualcomm Incorporated Low power visual tracking systems
US11954268B2 (en) * 2020-06-30 2024-04-09 Snap Inc. Augmented reality eyewear 3D painting
US20230132644A1 (en) * 2021-10-28 2023-05-04 Meta Platforms Technologies, Llc Tracking a handheld device
US20240069651A1 (en) * 2022-08-30 2024-02-29 Htc Corporation Virtual reality tracker and tracker correction position method

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103105926A (zh) * 2011-10-17 2013-05-15 微软公司 多传感器姿势识别
WO2014199154A1 (en) * 2013-06-11 2014-12-18 Sony Computer Entertainment Europe Limited Head-mountable apparatus and systems
US20150234192A1 (en) * 2014-02-18 2015-08-20 Merge Labs, Inc. Soft head mounted display goggles for use with mobile computing devices
KR20160066451A (ko) * 2014-12-02 2016-06-10 경북대학교 산학협력단 Hmd 디바이스 및 그 제어 방법
CN105934775A (zh) * 2013-11-26 2016-09-07 约阿夫·谢斐 用于构建锚定在真实世界物体上的虚拟图像的方法和系统
CN106815859A (zh) * 2017-01-13 2017-06-09 大连理工大学 基于尺度自适应相关滤波和特征点匹配的目标跟踪算法
US20170357333A1 (en) * 2016-06-09 2017-12-14 Alexandru Octavian Balan Passive optical and inertial tracking in slim form-factor
CN107646098A (zh) * 2015-07-07 2018-01-30 谷歌有限责任公司 用于在虚拟现实中跟踪手持式设备的系统
CN107767450A (zh) * 2017-10-31 2018-03-06 南京维睛视空信息科技有限公司 一种基于sparse‑slam的实时建图方法

Family Cites Families (166)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5704151A (en) 1995-03-24 1998-01-06 James Paul West Portable battery-powered safety lock
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US6577738B2 (en) 1996-07-17 2003-06-10 American Technology Corporation Parametric virtual speaker and surround-sound system
EP1027627B1 (en) 1997-10-30 2009-02-11 MYVU Corporation Eyeglass interface system
US6757068B2 (en) 2000-01-28 2004-06-29 Intersense, Inc. Self-referenced tracking
US8019121B2 (en) 2002-07-27 2011-09-13 Sony Computer Entertainment Inc. Method and system for processing intensity from input devices for interfacing with a computer program
US8287373B2 (en) * 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
JP4364002B2 (ja) 2004-02-06 2009-11-11 オリンパス株式会社 頭部装着型カメラ及び頭部装着型カメラによる撮影方法
JP2005252732A (ja) 2004-03-04 2005-09-15 Olympus Corp 撮像装置
JP4373286B2 (ja) 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
US20060103633A1 (en) 2004-11-17 2006-05-18 Atrua Technologies, Inc. Customizable touch input module for an electronic device
US20060181521A1 (en) 2005-02-14 2006-08-17 Atrua Technologies, Inc. Systems for dynamically illuminating touch sensors
US7548230B2 (en) 2005-05-27 2009-06-16 Sony Computer Entertainment Inc. Remote input device
KR100811160B1 (ko) 2005-06-02 2008-03-07 삼성전자주식회사 사용자명령을 3차원적으로 입력가능한 전자장치
KR100538572B1 (ko) 2005-06-14 2005-12-23 (주)멜파스 시각적 입력 피드백을 포함하는 사용자 접촉 기반의 디지털기기 제어 장치 및 방법
JP4682927B2 (ja) 2005-08-03 2011-05-11 セイコーエプソン株式会社 静電型超音波トランスデューサ、超音波スピーカ、音声信号再生方法、超音波トランスデューサの電極の製造方法、超音波トランスデューサの製造方法、超指向性音響システム、および表示装置
JP4914124B2 (ja) 2006-06-14 2012-04-11 パナソニック株式会社 音像制御装置及び音像制御方法
DE102006037545B4 (de) 2006-08-10 2015-05-28 Ferton Holding S.A. Bedienelement und Verfahren zur Eingabe von Werten an einem medizinischen Gerät
US20100020229A1 (en) 2007-04-30 2010-01-28 General Electric Company Wearable personal video/audio device method and system
JP4857196B2 (ja) 2007-05-31 2012-01-18 キヤノン株式会社 頭部装着型表示装置、及びその制御方法
US20090002218A1 (en) 2007-06-28 2009-01-01 Matsushita Electric Industrial Co., Ltd. Direction and holding-style invariant, symmetric design, touch and button based remote user interaction device
US8696458B2 (en) * 2008-02-15 2014-04-15 Thales Visionix, Inc. Motion tracking system and method using camera and non-camera sensors
TWI360068B (en) 2008-05-30 2012-03-11 Asustek Comp Inc Pointing device and method for determining rotatio
JP2010015535A (ja) 2008-06-02 2010-01-21 Sony Corp 入力装置、制御システム、ハンドヘルド装置及び校正方法
US8620009B2 (en) 2008-06-17 2013-12-31 Microsoft Corporation Virtual sound source positioning
US8319184B2 (en) * 2008-07-24 2012-11-27 Massachusetts Institute Of Technology Three-dimensional imaging using a fluorescent medium
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US8721444B2 (en) 2009-07-21 2014-05-13 Sony Corporation Game device for performing operation object control and non-operation object control
JP5453006B2 (ja) 2009-07-21 2014-03-26 株式会社ソニー・コンピュータエンタテインメント ゲーム装置
JP5769727B2 (ja) 2009-12-24 2015-08-26 株式会社ソニー・コンピュータエンタテインメント 無線デバイスのペアリング及びグルーピング方法
WO2011097564A1 (en) 2010-02-05 2011-08-11 Kopin Corporation Touch sensor for controlling eyewear
AU2011220382A1 (en) 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US10031576B2 (en) 2010-06-09 2018-07-24 Dynavox Systems Llc Speech generation device with a head mounted display unit
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
JP6185844B2 (ja) 2010-12-24 2017-08-30 マジック リープ， インコーポレイテッド 人間工学的ヘッドマウントディスプレイデバイスおよび光学システム
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
US9217867B2 (en) 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
CN103635891B (zh) 2011-05-06 2017-10-27 奇跃公司 大量同时远程数字呈现世界
US8179604B1 (en) 2011-07-13 2012-05-15 Google Inc. Wearable marker for passive interaction
US9897805B2 (en) 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
EP2760363A4 (en) 2011-09-29 2015-06-24 Magic Leap Inc TACTILE GLOVE FOR HUMAN COMPUTER INTERACTION
US20130083018A1 (en) 2011-09-30 2013-04-04 Kevin A. Geisner Personal audio/visual system with holographic objects
US20130104085A1 (en) 2011-10-21 2013-04-25 Digital Artforms, Inc. Systems and methods for human-computer interaction using a two handed interface
BR112014010230A8 (pt) * 2011-10-28 2017-06-20 Magic Leap Inc sistema e método para realidade virtual e aumentada
CA3024054C (en) 2011-11-23 2020-12-29 Magic Leap, Inc. Three dimensional virtual and augmented reality display system
EP2618564A1 (en) 2012-01-18 2013-07-24 Harman Becker Automotive Systems GmbH Method for operating a conference system and device for a conference system
JP6044079B2 (ja) 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20130217488A1 (en) 2012-02-21 2013-08-22 Radu Mircea COMSA Augmented reality system
JP5970872B2 (ja) 2012-03-07 2016-08-17 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US8831255B2 (en) 2012-03-08 2014-09-09 Disney Enterprises, Inc. Augmented reality (AR) audio with position and action triggered virtual sound effects
US9096920B1 (en) 2012-03-22 2015-08-04 Google Inc. User interface method
WO2013152205A1 (en) 2012-04-05 2013-10-10 Augmented Vision Inc. Wide-field of view (fov) imaging devices with active foveation capability
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN104737061B (zh) 2012-06-11 2018-01-16 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
US9041622B2 (en) 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
US9152226B2 (en) 2012-06-15 2015-10-06 Qualcomm Incorporated Input method designed for augmented reality goggles
US9384737B2 (en) 2012-06-29 2016-07-05 Microsoft Technology Licensing, Llc Method and device for adjusting sound levels of sources based on sound source priority
EP2895910A4 (en) 2012-09-11 2016-04-20 Magic Leap Inc ERGONOMIC HEAD-MOUNTED DISPLAY DEVICE AND OPTICAL SYSTEM
EP2936829A4 (en) 2012-12-18 2016-08-10 Nokia Technologies Oy SPACE AUDIO DEVICE
EP2943852A2 (en) 2013-01-08 2015-11-18 Ayotle Methods and systems for controlling a virtual interactive surface and interactive display systems
US10151875B2 (en) 2013-01-15 2018-12-11 Magic Leap, Inc. Ultra-high resolution scanning fiber display
JP6079268B2 (ja) 2013-01-29 2017-02-15 セイコーエプソン株式会社 画像表示装置
KR102387314B1 (ko) 2013-03-11 2022-04-14 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
NZ751602A (en) 2013-03-15 2020-01-31 Magic Leap Inc Display system and method
EP2797313A1 (en) 2013-04-26 2014-10-29 Elvesjö, John Computer graphics presentation system and method
US20140328505A1 (en) 2013-05-02 2014-11-06 Microsoft Corporation Sound field adaptation based upon user tracking
CN105229720B (zh) * 2013-05-21 2018-05-15 索尼公司 显示控制装置、显示控制方法以及记录介质
US10019057B2 (en) 2013-06-07 2018-07-10 Sony Interactive Entertainment Inc. Switching mode of operation in a head mounted display
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US20140362110A1 (en) 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
GB201310364D0 (en) 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
KR20150026336A (ko) 2013-09-02 2015-03-11 엘지전자 주식회사 웨어러블 디바이스 및 그 컨텐트 출력 방법
US9630105B2 (en) 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
JP6200756B2 (ja) 2013-10-02 2017-09-20 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ポインティング装置、ポインティング方法、及び、ポインティング装置用プログラム
EP3058418B1 (en) 2013-10-16 2023-10-04 Magic Leap, Inc. Virtual or augmented reality headsets having adjustable interpupillary distance
WO2015065494A1 (en) 2013-11-04 2015-05-07 Bodhi Technology Ventures Llc Detecting stowing or unstowing of a mobile device
US9111076B2 (en) 2013-11-20 2015-08-18 Lg Electronics Inc. Mobile terminal and control method thereof
US20150138065A1 (en) 2013-11-21 2015-05-21 Nvidia Corporation Head-mounted integrated interface
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
KR102268462B1 (ko) 2013-11-27 2021-06-22 매직 립, 인코포레이티드 가상 및 증강 현실 시스템들 및 방법들
WO2015103439A1 (en) 2014-01-03 2015-07-09 Harman International Industries, Incorporated Gesture interactive wearable spatial audio system
EP3100098B8 (en) 2014-01-31 2022-10-05 Magic Leap, Inc. Multi-focal display system and method
CA2841371A1 (en) 2014-01-31 2015-07-31 Usquare Soft Inc. Devices and methods for portable processing and application execution
EP4071537A1 (en) 2014-01-31 2022-10-12 Magic Leap, Inc. Multi-focal display system
WO2015123771A1 (en) 2014-02-18 2015-08-27 Sulon Technologies Inc. Gesture tracking and control in augmented and virtual reality
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN106233227B (zh) * 2014-03-14 2020-04-28 索尼互动娱乐股份有限公司 具有体积感测的游戏装置
CN106255916B (zh) * 2014-03-14 2019-08-09 索尼互动娱乐股份有限公司 跟踪头戴式显示器(hmd)的方法和系统以及用于hmd头带调整的校准
US9163933B1 (en) 2014-03-28 2015-10-20 Rockwell Collins, Inc. Wearable head tracking system
US9542011B2 (en) * 2014-04-08 2017-01-10 Eon Reality, Inc. Interactive virtual reality systems and methods
CA2945842C (en) 2014-04-14 2020-09-22 Tremolant Inc. Augmented reality communications
US9495801B2 (en) 2014-05-01 2016-11-15 Microsoft Technology Licensing, Llc Pose tracking an augmented reality device
US20150324568A1 (en) 2014-05-09 2015-11-12 Eyefluence, Inc. Systems and methods for using eye signals with secure mobile communications
US10504231B2 (en) * 2014-05-21 2019-12-10 Millennium Three Technologies, Inc. Fiducial marker patterns, their automatic detection in images, and applications thereof
KR102193052B1 (ko) 2014-05-30 2020-12-18 매직 립, 인코포레이티드 가상 또는 증강 현실 장치로 가상 콘텐츠 디스플레이를 생성하기 위한 방법들 및 시스템들
JP2015228009A (ja) 2014-06-03 2015-12-17 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報送受信システム、および、コンピュータープログラム
JP6355978B2 (ja) 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
AU2015274283B2 (en) 2014-06-14 2020-09-10 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
DE102014009298A1 (de) 2014-06-26 2015-12-31 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
US20150382130A1 (en) 2014-06-27 2015-12-31 Patrick Connor Camera based adjustments to 3d soundscapes
GB2528699B (en) 2014-07-29 2017-05-03 Sony Computer Entertainment Europe Ltd Image processing
US10444849B2 (en) 2014-09-01 2019-10-15 Yinbo Li Multi-surface controller
US10509865B2 (en) * 2014-09-18 2019-12-17 Google Llc Dress form for three-dimensional drawing inside virtual reality environment
US9984505B2 (en) 2014-09-30 2018-05-29 Sony Interactive Entertainment Inc. Display of text information on a head-mounted display
AU2015333646B2 (en) 2014-10-14 2018-08-09 Arsil Nayyar Hussain Systems, devices, and methods for capturing and outputting data regarding a bodily characteristic
WO2016079774A1 (en) * 2014-11-21 2016-05-26 Johri Abhishek System and method for data and command input
CN107111339A (zh) 2014-12-24 2017-08-29 电子部品研究院 可穿戴电子设备
US10571696B2 (en) 2014-12-26 2020-02-25 Cy Vision Inc. Near-to-eye display device
US10265621B2 (en) 2015-01-20 2019-04-23 Disney Enterprises, Inc. Tracking specific gestures relative to user movement
US9787846B2 (en) 2015-01-21 2017-10-10 Microsoft Technology Licensing, Llc Spatial audio signal processing for objects with associated audio content
JP6465672B2 (ja) * 2015-01-29 2019-02-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
KR101627652B1 (ko) 2015-01-30 2016-06-07 가우디오디오랩 주식회사 바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법
US10180734B2 (en) * 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
JP7136558B2 (ja) 2015-03-05 2022-09-13 マジック リープ， インコーポレイテッド 拡張現実のためのシステムおよび方法
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US10412173B2 (en) 2015-04-22 2019-09-10 Panasonic Avionics Corporation Passenger seat pairing system
EP3289430B1 (en) 2015-04-27 2019-10-23 Snap-Aid Patents Ltd. Estimating and using relative head pose and camera field-of-view
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
US20160378204A1 (en) * 2015-06-24 2016-12-29 Google Inc. System for tracking a handheld device in an augmented and/or virtual reality environment
JP6684559B2 (ja) 2015-09-16 2020-04-22 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
EP4254145A3 (en) 2015-09-16 2023-11-01 Magic Leap, Inc. Head pose mixing of audio files
US10338673B2 (en) 2015-09-16 2019-07-02 Google Llc Touchscreen hover detection in an augmented and/or virtual reality environment
FR3046489B1 (fr) 2016-01-05 2018-01-12 Mimi Hearing Technologies GmbH Encodeur ambisonique ameliore d'une source sonore a pluralite de reflexions
US10324293B2 (en) * 2016-02-23 2019-06-18 Compedia Software and Hardware Development Ltd. Vision-assisted input within a virtual world
US9774979B1 (en) 2016-03-03 2017-09-26 Google Inc. Systems and methods for spatial audio adjustment
EP3429193A4 (en) 2016-03-10 2019-04-17 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
JP2017163432A (ja) 2016-03-10 2017-09-14 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
WO2017189450A1 (en) * 2016-04-26 2017-11-02 Magic Leap, Inc. Electromagnetic tracking with augmented reality systems
US10254546B2 (en) * 2016-06-06 2019-04-09 Microsoft Technology Licensing, Llc Optically augmenting electromagnetic tracking in mixed reality
US20170352184A1 (en) * 2016-06-06 2017-12-07 Adam G. Poulos Optically augmenting electromagnetic tracking in mixed reality
US10146335B2 (en) 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Modular extension of inertial controller for six DOF mixed reality input
US20170354864A1 (en) 2016-06-11 2017-12-14 Sony Interactive Entertainment Inc. Directional Interface Object
US10620717B2 (en) 2016-06-30 2020-04-14 Microsoft Technology Licensing, Llc Position-determining input device
US10037626B2 (en) * 2016-06-30 2018-07-31 Microsoft Technology Licensing, Llc Interaction with virtual objects based on determined restrictions
US9972119B2 (en) 2016-08-11 2018-05-15 Microsoft Technology Licensing, Llc Virtual object hand-off and manipulation
EP3500977B1 (en) 2016-08-22 2023-06-28 Magic Leap, Inc. Virtual, augmented, and mixed reality systems and methods
USD797743S1 (en) 2016-08-22 2017-09-19 Magic Leap, Inc. Totem controller
KR102462271B1 (ko) 2016-09-26 2022-11-03 스냅 인코포레이티드 광학 코드들에 의한 디바이스 페어링
US10440240B2 (en) * 2016-09-30 2019-10-08 Sony Interactive Entertainment Inc. Systems and methods for reducing an effect of occlusion of a tracker by people
US10088902B2 (en) * 2016-11-01 2018-10-02 Oculus Vr, Llc Fiducial rings in virtual reality
RU2746686C2 (ru) 2016-11-25 2021-04-19 Сенсорикс Аг Носимая система отслеживания движения
US10452133B2 (en) * 2016-12-12 2019-10-22 Microsoft Technology Licensing, Llc Interacting with an environment using a parent device and at least one companion device
US10451439B2 (en) 2016-12-22 2019-10-22 Microsoft Technology Licensing, Llc Dynamic transmitter power control for magnetic tracker
US10650552B2 (en) * 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
US10732797B1 (en) * 2017-01-10 2020-08-04 Lucasfilm Entertainment Company Ltd. Virtual interfaces for manipulating objects in an immersive environment
US10843068B2 (en) * 2017-01-18 2020-11-24 Xvisio Technology Corp. 6DoF inside-out tracking game controller
US11740690B2 (en) * 2017-01-27 2023-08-29 Qualcomm Incorporated Systems and methods for tracking a controller
US10433094B2 (en) 2017-02-27 2019-10-01 Philip Scott Lyren Computer performance of executing binaural sound
KR102502383B1 (ko) 2017-03-27 2023-02-23 가우디오랩 주식회사 오디오 신호 처리 방법 및 장치
AU2018244316B2 (en) 2017-03-28 2022-09-29 Magic Leap, Inc. Augmented reality system with spatialized audio tied to user manipulated virtual object
US10726574B2 (en) * 2017-04-11 2020-07-28 Dolby Laboratories Licensing Corporation Passive multi-wearable-devices tracking
IL310727A (en) 2017-04-27 2024-04-01 Magic Leap Inc Light emitting user output device
US10719125B2 (en) * 2017-05-09 2020-07-21 Microsoft Technology Licensing, Llc Object and environment tracking via shared sensor
US10817128B2 (en) * 2017-07-11 2020-10-27 Logitech Europe S.A. Input device for VR/AR applications
US10152141B1 (en) * 2017-08-18 2018-12-11 Osterhout Group, Inc. Controller movement tracking with light emitters
US10816334B2 (en) * 2017-12-04 2020-10-27 Microsoft Technology Licensing, Llc Augmented reality measurement and schematic system including tool having relatively movable fiducial markers
US10514545B2 (en) * 2017-12-08 2019-12-24 Facebook Technologies, Llc Selective tracking of a head-mounted display
US10325411B1 (en) * 2017-12-13 2019-06-18 The Charles Stark Draper Laboratory, Inc. Egocentric odometry system for maintaining pose alignment between real and virtual worlds
US10558260B2 (en) * 2017-12-15 2020-02-11 Microsoft Technology Licensing, Llc Detecting the pose of an out-of-range controller
US10773169B2 (en) * 2018-01-22 2020-09-15 Google Llc Providing multiplayer augmented reality experiences
AU2019231697B2 (en) 2018-03-07 2020-01-30 Magic Leap, Inc. Visual tracking of peripheral devices
US10628711B2 (en) * 2018-04-24 2020-04-21 Microsoft Technology Licensing, Llc Determining pose of handheld object in environment
US10535199B1 (en) * 2018-06-18 2020-01-14 Facebook Technologies, Llc Systems and methods for determining a safety boundary for a mobile artificial reality user

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103105926A (zh) * 2011-10-17 2013-05-15 微软公司 多传感器姿势识别
WO2014199154A1 (en) * 2013-06-11 2014-12-18 Sony Computer Entertainment Europe Limited Head-mountable apparatus and systems
CN105934775A (zh) * 2013-11-26 2016-09-07 约阿夫·谢斐 用于构建锚定在真实世界物体上的虚拟图像的方法和系统
US20150234192A1 (en) * 2014-02-18 2015-08-20 Merge Labs, Inc. Soft head mounted display goggles for use with mobile computing devices
KR20160066451A (ko) * 2014-12-02 2016-06-10 경북대학교 산학협력단 Hmd 디바이스 및 그 제어 방법
CN107646098A (zh) * 2015-07-07 2018-01-30 谷歌有限责任公司 用于在虚拟现实中跟踪手持式设备的系统
US20170357333A1 (en) * 2016-06-09 2017-12-14 Alexandru Octavian Balan Passive optical and inertial tracking in slim form-factor
CN106815859A (zh) * 2017-01-13 2017-06-09 大连理工大学 基于尺度自适应相关滤波和特征点匹配的目标跟踪算法
CN107767450A (zh) * 2017-10-31 2018-03-06 南京维睛视空信息科技有限公司 一种基于sparse‑slam的实时建图方法

Also Published As

Publication number Publication date
AU2019231697B2 (en) 2020-01-30
CN113426098A (zh) 2021-09-24
AU2020202820B2 (en) 2020-10-15
CA3139648A1 (en) 2019-09-12
US11181974B2 (en) 2021-11-23
US20210116991A1 (en) 2021-04-22
EP3593198A4 (en) 2020-03-18
KR20200067959A (ko) 2020-06-12
CA3059064A1 (en) 2019-09-12
AU2019231697A1 (en) 2019-10-10
EP3593198A1 (en) 2020-01-15
KR102345492B1 (ko) 2021-12-29
US20220113792A1 (en) 2022-04-14
US10860090B2 (en) 2020-12-08
KR20190122266A (ko) 2019-10-29
JP6785385B2 (ja) 2020-11-18
US11625090B2 (en) 2023-04-11
US20230195212A1 (en) 2023-06-22
JP2020518909A (ja) 2020-06-25
WO2019173524A1 (en) 2019-09-12
KR102122600B1 (ko) 2020-06-12
EP4212222A1 (en) 2023-07-19
CA3059064C (en) 2022-01-04
IL269587B (en) 2021-07-29
NZ757418A (en) 2020-06-26
AU2020202820A1 (en) 2020-05-21
US20200026348A1 (en) 2020-01-23
IL284819B (en) 2022-05-01
IL284819A (en) 2021-08-31
EP3593198B1 (en) 2023-03-08
CN110494792B (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN110494792A (zh) 外围设备的视觉跟踪
US11836284B2 (en) Sensor fusion for electromagnetic tracking
US11157090B2 (en) Ambient electromagnetic distortion correction for electromagnetic tracking
CN112486331A (zh) 基于imu的三维空间手写输入方法和装置
US20230021404A1 (en) Method and system for resolving hemisphere ambiguity in six degree of freedom pose measurements
JP2013217793A (ja) オフセット算出装置、オフセット算出方法、プログラム、及び情報処理装置
CN117664173A (zh) 动作捕捉设备的校准方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant