CN109689173A - 使用增强现实系统的电磁跟踪 - Google Patents

使用增强现实系统的电磁跟踪 Download PDF

Info

Publication number
CN109689173A
CN109689173A CN201780038686.5A CN201780038686A CN109689173A CN 109689173 A CN109689173 A CN 109689173A CN 201780038686 A CN201780038686 A CN 201780038686A CN 109689173 A CN109689173 A CN 109689173A
Authority
CN
China
Prior art keywords
sensor
augmented reality
signal
display system
transmitter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780038686.5A
Other languages
English (en)
Other versions
CN109689173B (zh
Inventor
B·巴克纳
C·洛佩斯
M·伍兹
A·H·M·阿利
J·W·帕尔默
E·F·林克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Priority to CN202210265122.8A priority Critical patent/CN114699751A/zh
Publication of CN109689173A publication Critical patent/CN109689173A/zh
Application granted granted Critical
Publication of CN109689173B publication Critical patent/CN109689173B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • G01S1/02Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using radio waves
    • G01S1/68Marker, boundary, call-sign, or like beacons transmitting signals not carrying directional information
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • G01S1/70Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • G01S1/70Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using electromagnetic waves other than radio waves
    • G01S1/703Details
    • G01S1/7032Transmitters
    • G01S1/7038Signal details
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0247Determining attitude
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0284Relative positioning
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01HELECTRIC SWITCHES; RELAYS; SELECTORS; EMERGENCY PROTECTIVE DEVICES
    • H01H9/00Details of switching devices, not covered by groups H01H1/00 - H01H7/00
    • H01H9/02Bases, casings, or covers
    • H01H9/0214Hand-held casings
    • H01H9/0228Line cord switches
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01HELECTRIC SWITCHES; RELAYS; SELECTORS; EMERGENCY PROTECTIVE DEVICES
    • H01H9/00Details of switching devices, not covered by groups H01H1/00 - H01H7/00
    • H01H9/02Bases, casings, or covers
    • H01H9/0214Hand-held casings
    • H01H9/0235Hand-held casings specially adapted for remote control, e.g. of audio or video apparatus
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S2201/00Indexing scheme relating to beacons or beacon systems transmitting signals capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters
    • G01S2201/01Indexing scheme relating to beacons or beacon systems transmitting signals capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters adapted for specific applications or environments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S2205/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S2205/01Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations specially adapted for specific applications
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Stereophonic System (AREA)
  • Burglar Alarm Systems (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)

Abstract

头戴式增强现实(AR)设备可以跟踪佩戴者头部的姿态,以提供位于佩戴者环境中的对象的三维虚拟表示。电磁(EM)跟踪系统可以跟踪头部或身体姿态。手持用户输入设备可以包括产生EM场的EM发射器,以及头戴式AR设备可以包括感测EM场的EM传感器。可以分析来自传感器的EM信息以确定传感器的位置和/或取向,从而确定佩戴者的姿态。EM发射器和传感器可以利用时分多路复用(TDM)或动态频率调谐以在多个频率下操作。电压增益控制可以在发送器而不是传感器中实现,从而允许更小和更轻的传感器设计。EM传感器可以实现噪声消除,以降低附近音频扬声器产生的EM干扰的水平。

Description

使用增强现实系统的电磁跟踪
相关申请的交叉引用
本申请要求2016年4月26日提交的名称为“SYSTEMS AND METHODS FOR AUGMENTEDREALITY(用于增强现实的系统和方法)”的美国专利申请No.62/328,003以及2017年3月30日提交的名称为“ELECTROMAGNETIC TRACKING WITH AUGMENTED REALITY SYSTEMS(使用增强现实系统的电磁跟踪)”的美国专利申请No.62/479,111的优先权,所有上述内容都通过引用整体并入本文。
技术领域
本公开涉及在增强现实系统的背景下定位一个或多个对象的位置或取向的系统和方法。
背景技术
现代计算和显示技术促进了用于所谓的“虚拟现实”或“增强现实”体验的系统的发展,其中数字再现的图像或其部分以其看起来是真实的或者可被感知为真实的方式呈现给用户。虚拟现实(或者“VR”)场景通常涉及数字或虚拟图像信息的呈现,而对于其它实际的真实世界的视觉输入不透明;增强现实(或者“AR”)场景通常涉及数字或虚拟图像信息的呈现作为对用户周围的实际世界的可视化的增强。
发明内容
头戴式增强现实(AR)设备可以跟踪佩戴者的头部(或其他身体部位)的姿态,以能够提供在佩戴者的环境中的对象的三维虚拟表示。电磁(EM)跟踪系统的实施例可用于跟踪头部姿态或身体姿势。例如,手持用户输入设备可以包括EM发射器,以及头戴式AR设备可以包括EM传感器。在一些实施方式中,EM发射器产生可以由EM传感器感测的EM场。可以分析来自传感器的EM信息以确定传感器的位置和/或取向,从而确定佩戴者的头部姿态。EM发射器和传感器可以利用允许跟踪系统在多个频率下操作的时分多路复用(TDM)或动态频率调谐。电压增益控制可以在发送器(transmitter)而不是传感器中实现,从而允许较小和轻的传感器设计。EM传感器可以实现噪声消除,以降低由附近音频扬声器产生的EM干扰水平。
头戴式显示系统的实施例包括可定位在佩戴者眼睛前方的显示器;电磁(EM)场发射器,其被配置为产生具有频率的磁场;EM传感器,其被配置为感测在该频率下的磁场;以及处理器,其被编程为:从EM传感器接收指示感测到的磁场的信号;以及分析接收到的信号以确定EM传感器的位置或取向。
电磁(EM)跟踪系统的实施例包括EM场发射器,该EM场发射器包括:第一发送器线圈,其被配置为产生具有第一频率的第一磁场;第二发送器线圈,其被配置为产生具有第二频率的第二磁场;以及第三发送器线圈,其被配置为产生具有第三频率的第三磁场,EM场发射器包括第一时分多路复用(TDM)电路,其被配置为在第一发送器线圈、第二发送器线圈和第三发送器线圈之间切换功率。头戴式增强现实显示设备可以包括EM跟踪系统的实施例。
电磁(EM)跟踪系统的实施例包括EM场发射器,该EM场发射器包括自动增益控制(AGC)电路和发送器线圈;以及没有AGC电路的EM传感器,该EM传感器包括传感器线圈。头戴式增强现实显示设备可以包括EM跟踪系统的实施例。
在附图和以下描述中阐述了本说明书中描述的主题的一个或多个实施方式的细节。根据说明书、附图和权利要求,其他特征、方面和优点将变得显而易见。该概述和以下详细描述都不旨在限定或限制本发明主题的范围。
附图说明
图1描绘了具有某些虚拟现实对象以及由人观看到的某些物理对象的增强现实场景的图示。
图2A-2D示意性地示出了可穿戴系统的示例。
图3示意性地示出云计算资产和本地处理资产之间的协调。
图4示意性地示出了电磁(EM)跟踪系统的示例系统图。
图5是描述电磁跟踪系统的实施例的示例功能的流程图。
图6示意性地示出了与AR系统结合的电磁跟踪系统的示例。
图7是描述在AR设备的背景下的电磁跟踪系统的示例的功能的流程图。
图8示意性地示出了AR系统的实施例的部件的示例。
图9A-9F示意性地示出了快速释放模块的示例。
图10示意性地示出了头戴式显示系统。
图11A和11B示意性地示出了耦接到头戴式显示器的电磁感测线圈的示例。
图12A-12E示意性地示出了可以耦接到电磁传感器的铁氧体磁芯的示例配置。
图13A是示意性地示出频分多路复用(FDM)的EM发送器电路(EM发射器)的示例的框图。
图13B是示意性地示出频分多路复用的EM接收器电路(EM传感器)的示例的框图。
图13C是示意性地示出时分多路复用(TDM)的EM发送器电路的示例的框图。
图13D是示意性地示出用于EM发射器的动态可调谐电路的示例的框图。
图13E是示出可以通过动态地调谐图13D所示的电路来实现的谐振的示例的图。
图13F示出了时分多路复用的EM发送器和接收器的时序图的示例。
图13G示出了时分多路复用的EM发送器和接收器的扫描时序的示例。
图13H是示意性地示出EM跟踪系统中的TDM接收器的示例的框图。
图13I是示意性地示出没有自动增益控制(AGC)的EM接收器的示例的框图。
图13J是示意性地示出采用AGC的EM发送器的示例的框图。
图14和15是示出在头戴式AR系统中利用电磁跟踪系统进行姿态跟踪的示例的流程图。
图16A和16B示意性地示出了AR系统的其他实施例的部件的示例。
图17A示意性地示出了电磁跟踪系统中的发送器中的谐振电路的示例。
图17B是示出图17A的谐振电路中在22kHz下的谐振的示例的图表。
图17C是示出流过谐振电路的电流的示例的图表。
图17D和17E示意性地示出了用于电磁跟踪系统的EM场发送器中的谐振电路的动态可调谐配置的示例。
图17F是通过改变图17E所示的示例电路中的电容器C4的电容值来示出动态调谐的谐振的示例的图表。
图17G是示出在各种谐振频率下实现的最大电流的示例的图表。
图18A是示意性地示出与音频扬声器相邻的电磁场传感器的示例的框图。
图18B是示意性地示出具有噪声消除系统的电磁场传感器的示例的框图,该噪声消除系统接收来自传感器和外部音频扬声器的输入。
图18C是示出如何反相和添加信号以消除由音频扬声器引起的磁干扰的示例的图表。
图18D是示出用于消除EM跟踪系统中的EM传感器接收的干扰的示例方法的流程图。
图19示意性地示出了使用光的图案来辅助视觉系统的校准。
图20A-20C是可与可穿戴显示设备的子系统或部件一起使用的示例电路的框图。
图21是示出将来自IMU、电磁跟踪传感器和光学传感器的融合的输出的示例的图表。
图22A-22C示意性地示出了耦接到头戴式显示器的电磁感测线圈的其他示例。
图23A-23C示意性得示出了使用电磁信号和声信号对头戴式显示器进行重新校准的示例。
图24A-24D示意性地示出了使用相机或深度传感器对头戴式显示器进行重新校准其他示例。
图25A和25B示意性地示出了用于解决可能与电磁跟踪系统相关联的位置模糊的技术。
在整个附图中,可以重复使用附图标记来指示所引用的元件之间的对应关系。提供附图是为了说明本文描述的示例实施例,并且不旨在限制本公开的范围。
具体实施方式
AR、VR和定位系统概述
在图1中,描绘了增强现实场景(4),其中AR技术的用户看到以人、树木、背景中的建筑物和混凝土平台(1120)为特征的真实世界公园状设置(6)。除了这些项目之外,AR技术的用户同样感知到他“看到”站在真实世界平台(1120)上的机器人雕像(1110)以及飞过的卡通式化身角色(2),该化身角色看起来是大黄蜂的化身,即使这些元素(2、1110)在真实世界中不存在。因为人类的视觉感知系统是非常复杂的,并且产生有助于连同其他虚拟或真实世界的图像元素一起的虚拟图像元素的舒适、自然、丰富呈现是具有挑战性的。
例如,头戴式AR显示器(或头盔式显示器或智能眼镜)通常至少松散地耦接到用户的头部,并由此在用户的头部移动时而移动。如果显示系统检测到用户的头部移动,则可以更新正在显示的数据以考虑头部姿态的变化。
作为示例,如果佩戴头戴式显示器的用户在显示器上观看三维(3D)对象的虚拟表示并且在3D对象出现的区域周围走动,则该3D对象可以关于每个视点被重新渲染(render),使用户感知到他或她正在占据真实空间的对象周围走动。如果头戴式显示器用于呈现位于虚拟空间(例如,丰富的虚拟世界)内的多个对象,则可以使用头部姿态的测量(例如,用户头部的位置和取向)来重新渲染场景,以匹配用户的动态改变的头部位置和取向,并提供增加的虚拟空间沉浸感。
在AR系统中,头部姿态的检测或计算可以有利于显示系统渲染虚拟对象,使得它们看起来以对用户有意义的方式占据真实世界中的空间。此外,与用户头部或AR系统相关的真实对象(诸如手持设备(也可以称为“图腾(totem)”)、触觉设备或其他真实物理对象)的位置和/或取向的检测还可以有利于显示系统向用户呈现显示信息,以使用户能够有效地与AR系统的某些方面交互。当用户头部在真实世界中移动时,虚拟对象可以作为头部姿态的函数被重新渲染,使得虚拟对象看起来相对于真实世界保持稳定。至少对于AR应用,虚拟对象与物理对象的空间关系的放置(例如,呈现为看起来在二维或三维中在空间上接近物理对象)可能是非平凡的问题。例如,头部移动可能使周围环境视图中的虚拟对象的放置显著复杂化。无论视图是作为周围环境的图像被捕获然后被投影或显示给终端用户,还是终端用户直接感知周围环境的视图,都是如此。例如,头部移动将可能导致终端用户的视场改变,这将可能需要更新在终端用户的视场中显示的各种虚拟对象的位置。另外,头部移动可以在多种范围和速度内发生。头部移动速度可以不仅在不同的头部移动之间变化,而且也可以在单个头部移动的范围内或跨单个头部移动的范围变化。例如,头部移动速度可以最初从起始点增加(例如,线性地或不是线性地),并且可以在达到结束点时减小,从而在头部移动的起始点和结束点之间的某处获得最大速度。快速的头部移动甚至可能超过特定显示器或投影技术的能力,以使得向终端用户呈现看起来均匀和/或平滑移动的图像。
头部跟踪准确度和延迟(例如,在用户移动他或她的头部时和图像被更新并显示给用户时的时间之间的经过的时间)对于VR和AR系统来说是具有挑战性的。特别是对于用虚拟元素填充用户视场的大部分的显示系统,如果头部跟踪的准确度高并且从头部移动的第一次检测到由显示器传递给用户视觉系统的光的更新的整体系统延迟非常低是有利的。如果延迟高,则系统可能会在用户的前庭和视觉感官系统之间产生不匹配,并产生可能导致运动病或模拟器疾病的用户感知场景。如果系统延迟高,则虚拟对象的明显位置在快速头部移动期间将显得不稳定。
除了头戴式显示系统之外,其他显示系统可受益于准确且低延迟的头部姿态检测。这些包括头部跟踪显示系统,其中显示器没有佩戴在用户的身体上,而是例如安装在墙壁或其他表面上。头部跟踪显示器就像一个到场景上的窗口,并且当用户相对于“窗口”移动他的头部时,场景被重新渲染以匹配用户的改变的视点。其他系统包括头戴式投影系统,其中头戴式显示器将光投射到真实世界上。
另外,为了提供真实的增强现实体验,可以将AR系统设计为与用户交互。例如,多个用户可以用虚拟球和/或其他虚拟对象玩球赛。一个用户可以“抓住”虚拟球,并将球扔回另一用户。在另一实施例中,可以向第一用户提供图腾(例如,通信地耦接到AR系统的真实球棒)以击中虚拟球。在其他实施例中,可以向AR用户呈现虚拟用户界面以允许用户选择许多选项中的一个。用户可以使用图腾、触觉设备、可穿戴部件、或者简单地触摸虚拟屏幕以与系统交互。
检测用户的头部姿态和取向以及检测空间中的真实对象的物理位置使得AR系统能够以有效且愉快的方式显示虚拟内容。然而,虽然这些能力对AR系统是关键,但很难实现。换言之,AR系统可以识别真实对象(例如,用户的头部、图腾、触觉设备、可穿戴部件、用户的手等)的物理位置并且将真实对象的物理坐标与对应于正被显示给用户的一个或多个虚拟对象的虚拟坐标相关联。这通常需要高度精确的传感器和以快速速率跟踪一个或多个对象的位置和取向的传感器识别系统。当前的方法不能以令人满意的速度或精度标准执行定位。
由此,在AR和VR设备的背景下需要更好的定位系统。
示例AR和VR系统以及部件
参考图2A-2D,示出了一些通用部件选项。在关于图2A-2D的讨论之后的详细描述的部分中,呈现了各种系统、子系统和部件,用于解决为人类VR和/或AR提供高质量、舒适感知的显示系统的目标。
如图2A所示,AR系统用户(60)被描绘为佩戴头戴式部件(58),该头戴式部件(58)以耦接到位于用户眼睛前方的显示系统(62)的框架(64)结构为特征。扬声器(66)耦接到以所示配置的框架(64)并且位于用户的耳道附近(在一个实施例中,另一个扬声器(未示出)位于用户的另一耳道附近以提供给立体声/可塑形声音控制)。显示器(62)可操作地(诸如通过有线引线或无线连接)被耦接(68)到本地处理和数据模块(70),本地处理和数据模块(70)可以以各种配置安装,诸如被固定地附到框架(64)上、被固定地附到如图2B的实施例示出的头盔或帽子(80)上、被嵌入耳机内、以图2C的实施例示出的背包式配置可拆卸地附到用户(60)的躯干(82)、或以图2D的实施例示出的带耦接式配置可拆卸地附到用户(60)的臀部(84)。
本地处理和数据模块(70)可以包括功率有效的处理器或控制器以及诸如闪速存储器的数字存储器,这两者都可用于辅助处理、高速缓存和存储数据,该数据包括:a)从可以可操作地耦接到框架(64)的传感器捕捉的数据,所述传感器诸如为图像捕捉设备(诸如相机)、麦克风、惯性测量单元、加速度计、罗盘、GPS单元、无线电设备和/或陀螺仪;和/或b)使用远程处理模块(72)和/或远程数据储存库(74)获取和/或处理的数据,这些数据可以在这样的处理或检索之后被传送到显示器(62)。本地处理和数据模块(70)可以诸如经由有线或无线通信链路可操作地耦接(76、78)到远程处理模块(72)和远程数据储存库(74),使得这些远程模块(72、74)可操作地彼此耦接并且可用作本地处理和数据模块(70)的资源。
在一个实施例中,远程处理模块(72)可以包括一个或多个相对强大的处理器或控制器,这些处理器或控制器被配置为分析和处理数据和/或图像信息。在一个实施例中,远程数据储存库(74)可以包括相对大规模的数字数据存储设施,该设施可以通过因特网或“云”资源配置中的其它网络配置而可用。在一个实施例中,存储所有数据并且在本地处理和数据模块中执行所有计算,允许从任何远程模块完全自主使用。
现在参考图3,示意图示出了云计算资产(46)和本地处理资产之间的协调,该本地处理资产可以例如存在于耦接到用户头部(120)的头戴式部件(58)和耦接到用户的腰带(308;因此部件70也可以称为“腰带包”70)本地处理和数据模块(70)中,如图3所示。在一个实施例中,诸如一个或多个服务器系统(110)的云(46)资产诸如经由有线或无线网络(无线优选用于移动性,有线优选用于可能需要的某些高带宽或高数据容量传输)可操作地直接耦接(115)到(40、42)如上所述耦接到用户的头部(120)和腰带(308)的本地计算资产中的一个或两个,该本地资产诸如处理器和存储器配置。对用户而言为本地的这些计算资产也可以经由有线和/或无线连接配置(44)可操作地彼此耦接,诸如下面参考图8讨论的有线耦接(68)。在一个实施例中,为了保持安装到用户头部(120)的低惯性和小尺寸子系统,用户和云(46)之间的主要传输可以经由安装在腰带(308)的子系统和云之间的链路,其中头戴式(120)子系统主要使用无线连接(诸如超宽带(“UWB”)连接)数据连接(data-tether)到基于腰带的(308)子系统,如当前例如在个人计算外围连接应用中所采用的那样。
通过有效的本地和远程处理协调以及用于用户的诸如图2A所示的用户界面或用户显示系统(62)或其变型的适当的显示设备,与用户当前的实际或虚拟位置相关的一个世界的方面可以被传输或“传递”给用户并以有效的方式更新。换言之,可以在存储位置处连续地更新世界的映射(map),该存储位置可以部分地存在于用户的AR系统上并且部分地存在于云资源中。映射(也称为“可传递的世界模型”)可以是包括栅格图像、3-D和2-D点、参数信息以及关于真实世界的其他信息的大型数据库。随着越来越多的AR用户(例如,通过相机、传感器、IMU等)不断地捕获关于他们的真实环境的信息,映射变得越来越准确和完整。
利用如上所述的配置,其中存在可以位于云计算资源上并且从那里分配的一个世界模型,这样的世界可以以相对低的带宽形式“可传递”给一个或多个用户,优选尝试传递实时视频数据等。站在雕像(例如,如图1所示)附近的人的增强体验可以通过基于云的世界模型来通知,该基于云的世界模型的子集可以被向下传递给基于云的世界模型以及他们的本地显示设备以完成视图。坐在远程显示设备处的人(其可以像坐在桌子上的个人计算机一样简单)可以有效地从云中下载相同的信息部分并将其呈现在他们的显示器上。事实上,实际出现在雕像附近的公园里的一个人可能会带一个位于远方的朋友在那个公园散步,其中该朋友通过虚拟和增强现实加入。系统将需要知道街道的位置、树的位置、雕像的位置-但是关于在云上的那些信息,加入的朋友可以从场景的云方面下载,然后作为相对于实际在公园里的人为本地的增强现实开始一起散步。
可以从环境捕获三维(3-D)点,并且可以确定捕获那些图像或点的相机的姿态(例如,相对于世界的矢量和/或原点位置信息),以便这些点或图像可以被该姿态信息“标记”或与该姿态信息相关联。然后,可以利用由第二相机捕获的点来确定第二相机的姿态。换言之,可以基于与来自第一相机的标记图像的比较来定向和/或定位第二相机。然后,可以利用这些知识来提取纹理(texture)、制作映射以及创建真实世界(因为那时在那周围注册了两个相机)的虚拟副本。
因此,在基础水平处,在一个实施例中,可以利用人佩戴系统来捕获3-D点和产生这些点的2-D图像两者,并且这些点和图像可以被传输(transmit)到云存储和处理资源。它们也可以被本地高速缓存为具有嵌入的姿态信息(例如,高速缓存标记的图像);因此,云可以具有准备好的(例如,在可用的高速缓存中)标记的2-D图像(例如,被3-D姿态标记)以及3-D点。如果用户正在观察动态的东西,他还可以将另外的信息传输到与运动相关的云(例如,如果观看另一个人的脸部,用户可以拍摄脸部的纹理映射并在优化频率下将其向上推(push up),即使周围的世界基本上是静态的)。关于对象识别器和可传递的世界模型的更多信息可以在名称为“System and method for augmented and virtual reality(用于增强和虚拟现实的系统和方法)”的美国专利公开No.2014/0306866中找到,其全部内容通过引用并入本文,以及在以下附加公开内容中找到,其涉及诸如由弗罗里达州种植园(Plantation)的奇跃股份有限公司开发的增强和虚拟现实系统:美国专利公开No.2015/0178939;美国专利公开No.2015/0205126;美国专利公开No.2014/0267420;美国专利公开No.2015/0302652;美国专利公开No.2013/0117377;以及美国专利公开No.2013/0128230,其中每一者在此通过引用整体并入本文。
GPS和其他定位信息可以用作这种处理的输入。用户的头部、图腾、手势、触觉设备等的高度精确定位可能是有利的,以便向用户显示适当的虚拟内容。
头戴式设备(58)可包括可定位在设备佩戴者眼睛前方的显示器。显示器可以包括光场显示器。显示器可以被配置为在多个深度平面处向佩戴者呈现图像。显示器可以包括具有衍射元件的平面波导。在美国专利公开No.2015/0016777中描述了在本文公开的任何实施例中可使用的显示器、头戴式设备和其他AR部件的示例。美国专利公开No.2015/0016777在此通过引用整体并入本文。
电磁定位的示例
实现高精度定位的一种方法可以涉及使用与电磁传感器耦接的电磁(EM)场,该电磁传感器策略性地放置在用户的AR头部装置、腰带包和/或其他辅助设备(例如,图腾、触觉设备、游戏仪器等)上。电磁跟踪系统通常包括至少一个电磁场发射器和至少一个电磁场传感器。电磁场发射器在AR耳机的佩戴者的环境中产生具有已知空间(和/或时间)分布的电磁场。电磁场传感器测量传感器位置处产生的电磁场。基于这些测量和所产生的电磁场的分布的知识,可以确定场传感器相对于发射器的姿态(例如,位置和/或取向)。因此,可以确定传感器所附接的对象的姿态。
现在参考图4,示出了电磁跟踪系统(例如,由诸如佛蒙特州科尔切斯特的Polhemus股份有限公司的Johnson&Johnson公司的Biosense部门的组织开发的那些系统、由加利福尼亚州洛斯盖托斯的Sixense Entertainment公司以及其他跟踪公司制造的那些系统)的示例系统图。在一个或多个实施例中,电磁跟踪系统包括电磁场发射器402,其被配置成发射已知的磁场。如图4所示,电磁场发射器可以耦接到电源(例如,电流、电池等)以向发射器402提供电力。
在一个或多个实施例中,电磁场发射器402包括产生磁场的若干线圈(例如,至少三个彼此垂直定位以在X、Y和Z方向上产生场的线圈)。该磁场用于建立坐标空间(例如,X-Y-Z笛卡尔坐标空间)。这允许系统相对于已知磁场映射传感器的位置(例如,(X,Y,Z)位置),并帮助确定传感器的位置和/或取向。在一个或多个实施例中,电磁传感器404a、404b等可以附接到一个或多个真实对象。电磁传感器404可以包括较小的线圈,在该线圈中可以通过发射的电磁场感应出电流。通常,“传感器”部件(404)可以包括小线圈或环,例如在诸如立方体或其他容器的小结构内耦接在一起的一组三个不同取向(例如,诸如相对于彼此正交取向)的线圈,该小线圈或环被定位/取向以捕获来自发射器(402)发射的磁场的入射磁通量,以及通过比较通过这些线圈感应的电流并且知道线圈相对于彼此的相对定位和取向,可以计算传感器相对于发射器的相对位置和取向。
可以测量与可操作地耦接到电磁跟踪传感器的线圈和惯性测量单元(“IMU”)部件的行为有关的一个或多个参数,以检测传感器(以及其附接到的对象)相对于电磁场发射器耦接到的坐标系统的位置和/或取向。在一个或多个实施例中,可以相对于电磁发射器使用多个传感器来检测坐标空间内的每个传感器的位置和取向。电磁跟踪系统可以提供三个方向(例如,X、Y和Z方向)上的位置,并且还提供两个或三个取向角的位置。在一个或多个实施例中,可以将IMU的测量与线圈的测量进行比较,以确定传感器的位置和取向。在一个或多个实施例中,电磁(EM)数据和IMU数据以及各种其他数据源(诸如相机、深度传感器和其他传感器)可以组合以确定位置和取向。该信息可以被传输(例如,无线通信、蓝牙等)到控制器406。在一个或多个实施例中,在传统系统中可以以相对高的刷新率报告姿态(或位置和取向)。传统上,电磁场发射器耦接到相对稳定且大的对象,诸如桌子、操作台、墙壁或天花板,以及一个或多个传感器耦接到较小的对象,诸如医疗设备、手持游戏部件等等。或者,如下面参考图6所述,可以采用电磁跟踪系统的各种特征来产生这样的配置,可以跟踪在相对于更稳定的全局坐标系统的空间中移动的两个对象之间的位置和/或取向的变化或增量(delta);换言之,图6示出了一种配置,其中可以利用电磁跟踪系统的变化来跟踪头戴式部件和手持部件之间的位置和取向增量,同时另外确定相对于全局坐标系统(例如,对用户而言为本地的房间环境)的头部姿态,诸如通过使用可以耦接到系统的头戴式部件的向外捕获(outward-capturing)的相机的同时定位和映射(“SLAM”)技术。
控制器406可以控制电磁场发生器402,并且还可以捕获来自各种电磁传感器404的数据。应当理解,系统的各种部件可以通过任何电子机械或无线/蓝牙装置耦接到彼此。控制器406还可以包括关于已知磁场的数据,以及相对于磁场的坐标空间。然后,该信息用于检测传感器相对于与已知电磁场对应的坐标空间的位置和取向。
电磁跟踪系统的一个优点是它们产生具有最小延迟和高分辨率的高度准确的跟踪结果。另外,电磁跟踪系统不一定依赖于光学跟踪器,以及可以容易地跟踪不在用户视线中的传感器/对象。
应当理解,电磁场v的强度作为距线圈发送器(例如,电磁场发射器402)的距离r的三次函数而下降。由此,可以基于远离电磁场发射器的距离来使用算法。控制器406可以配置有这样的算法,以确定传感器/对象在远离电磁场发射器的不同距离处的位置和取向。已知随着传感器越来越远离电磁发射器移动,电磁场强度迅速下降,在准确度、效率和低延迟方面的最佳结果可以在更近的距离实现。在典型的电磁跟踪系统中,电磁场发射器由电流(例如,插入式电源)供电,并且具有位于距电磁场发射器20ft半径内的传感器。在包括AR应用的许多应用中,传感器和场发射器之间的较短半径可能是更期望的。
现在参考图5,简要描述了描述典型电磁跟踪系统的功能的示例流程图。在502处,发射已知的电磁场。在一个或多个实施例中,磁场发射器可以产生磁场,每个线圈可以在一个方向(例如,X、Y或Z)上产生电场。可以产生具有任意波形的磁场。在一个或多个实施例中,沿着每个轴的磁场分量可以在与其他方向上的其他磁场分量略微不同的频率下振荡。在504处,可确定与电磁场对应的坐标空间。例如,图4的控制406可以基于电磁场自动确定发射器周围的坐标空间。在506处,可以检测传感器处的线圈(其可以附接到已知对象)的行为。例如,可以计算在线圈处感应的电流。在其他实施例中,可以跟踪和测量线圈的旋转或任何其他可量化的行为。在508处,该行为可用于检测传感器和/或已知对象的位置或取向。例如,控制器406可以查阅映射表,该映射表将传感器处的线圈的行为与各种位置或取向相关联。基于这些计算,可以确定坐标空间中的位置以及传感器的取向。
在AR系统的背景下,可能需要修改电磁跟踪系统的一个或多个部件以促进移动部件的准确跟踪。如上所述,在许多AR应用中可能需要跟踪用户的头部姿态和取向。准确确定用户的头部姿态和取向允许AR系统向用户显示正确的虚拟内容。例如,虚拟场景可以包括隐藏在真实建筑物后面的怪物。依赖于用户头部相对于建筑物的姿态和取向,可能需要修改虚拟怪物的视图,以便提供真实的AR体验。或者,图腾、触觉设备或与虚拟内容交互的一些其他装置的位置和/取向对于使AR用户能够与AR系统交互可能是重要的。例如,在许多游戏应用中,AR系统可以检测真实对象相对于虚拟内容的位置和取向。或者,当显示虚拟界面时,可以知道图腾、用户的手、触觉设备或被配置用于与AR系统交互的任何其他真实对象相对于所显示的虚拟界面的位置,以便系统理解命令。包括光学跟踪和其他方法的传统定位方法通常受到高延迟和低分辨率问题的困扰,这使得在许多增强现实应用中渲染虚拟内容具有挑战性。
在一个或多个实施例中,相对于图4和5讨论的电磁跟踪系统可以适用于AR系统,以检测一个或多个对象相对于所发射的电磁场的位置和取向。典型的电磁系统倾向于具有大且笨重的电磁发射器(例如,图4中的402),这对于头戴式AR设备而言是有问题的。然而,较小的电磁发射器(例如,在毫米范围内)可用于在AR系统的背景下发射已知的电磁场。
现在参考图6,电磁跟踪系统可以与如图所示的AR系统结合,其中电磁场发射器602被结合作为手持控制器606的一部分。控制器606可以相对于AR耳机(或腰带包70)独立地移动。例如,用户可以将控制器606握在他或她的手中,或者控制器可以安装到用户的手或手臂上(例如,作为戒指或手镯或作为用户佩戴的手套的一部分)。在一个或多个实施例中,手持控制器可以是在游戏场景中使用(例如,多自由度控制器)或者在AR环境中提供丰富的用户体验或者允许用户与AR系统的交互的图腾。在其他实施例中,手持控制器可以是触觉设备。在另外的实施例中,电磁场发射器可以被简单地结合作为腰带包70的一部分。手持控制器606可以包括电池610或为该电磁场发射器602供电的其他电源。应当理解,电磁场发射器602还可以包括或被耦接到IMU 650部件,该IMU 650部件被配置为帮助确定电磁场发射器602相对于其他部件的定位和/或取向。在场发射器602和传感器(604)都是移动的情况下,这可能是特别有利的。如图6的实施例所示,将电磁场发射器602放置在手持控制器而不是腰带包中,有助于确保电磁场发射器不在腰带包中竞争资源,而是在手持控制器606中使用其自己的电池源。在另外的实施例中,电磁场发射器602可以设置在AR耳机上,以及传感器604可以设置在控制器606或腰带包70上。
在一个或多个实施例中,电磁传感器604可以与诸如一个或多个IMU或附加磁通量捕获线圈608的其他感测设备一起放置在用户耳机上的一个或多个位置上。例如,如图6所示,传感器(604、608)可以放置在耳机(58)的一侧或两侧。由于这些传感器设计得相当小(因此在某些情况下可能不太敏感),因此具有多个传感器可以提高效率和精度。在一个或多个实施例中,一个或多个传感器也可以放置在腰带包70或用户身体的任何其他部位上。传感器(604、608)可以无线地或通过蓝牙与计算装置通信,该计算装置确定传感器(以及其所附接到的AR耳机)的姿态和取向。在一个或多个实施例中,计算装置可以存在于腰带包70处。在其他实施例中,计算装置可以存在于耳机本身处,或甚至存在于手持控制器606处。在一个或多个实施例中,计算装置又可以包括映射数据库(例如,可传递的世界模型、坐标空间等)以检测姿态,从而确定真实对象和虚拟对象的坐标,该计算装置甚至可以连接到云资源和可传递的世界模型。
如上所述,传统的电磁发射器对于AR设备而言可能太笨重。因此,与传统系统相比,可以使用更小的线圈将电磁场发射器设计成紧凑的。然而,假设电磁场的强度作为远离场发射器的距离的三次函数而减小,当与诸如图4中详述的系统的传统系统相比时,电磁传感器604和电磁场发射器602之间的较短半径(例如,约3至3.5ft)可能降低功耗。
在一个或多个实施例中,该方面可以用于延长可以为控制器606和电磁场发射器602供电的电池610的寿命。或者,在其他实施例中,该方面可用于减小在电磁场发射器602处产生磁场的线圈的尺寸。然而,为了获得相同的磁场强度,可能需要增加功率。这允许可以紧凑地安装在手持控制器606上的紧凑的电磁场发射器单元602。
当将电磁跟踪系统用于AR设备时,可以进行若干其他改变。虽然这种姿态报告率相当好,但AR系统可能需要更高效的姿态报告率。为此,可以(另外地或替代地)在传感器中使用基于IMU的姿态跟踪。有利地,IMU可以保持尽可能稳定,以便提高姿态检测过程的效率。可以设计IMU使得它们在高达50-100毫秒内保持稳定。应当理解,一些实施例可以利用外部姿态估计器模块(例如,IMU可以随时间漂移),其可以使姿态更新能够以10到20Hz的速率报告。通过使IMU以合理的速率保持稳定,姿态更新的速率可以显著降低到10到20Hz(与传统系统中的更高频率相比)。
如果电磁跟踪系统可以以例如10%的占空比运行(例如,仅每100毫秒对地面实况进行查验(ping)),则这将是节省AR系统的功率的另一种方式。这将意味着电磁跟踪系统每100毫秒中每10毫秒唤醒一次,以产生姿态估计。这直接转化为功耗节省,这进而又可能影响AR设备的尺寸、电池寿命和成本。
在一个或多个实施例中,可以通过提供两个手持控制器(未示出)而不是仅仅一个来策略性地利用占空比的这种减小。例如,用户可能正在玩需要两个图腾等的游戏。或者,在多用户游戏中,两个用户可以拥有他们自己的图腾/手持控制器来玩游戏。当使用两个控制器(例如,关于每只手的对称的控制器)而不是一个时,控制器可以以偏移的(offset)占空比操作。例如,相同的概念也可以应用于由玩多人游戏的两个不同用户使用的控制器。
现在参考图7,描述了描述AR设备的背景下的电磁跟踪系统的示例流程图。在702处,便携式(例如,手持式)控制器发射磁场。在704处,电磁传感器(放置在耳机、腰带包等上)检测磁场。在706处,基于传感器处的线圈/IMU的行为来确定耳机/腰带的姿态(例如,位置或取向)。在708处,将姿态信息传送到(例如,在腰带包或耳机处)计算装置。在710处,可选地,可以查阅映射数据库(例如,可传递的世界模型)以将(例如,针对耳机/腰带的姿态所确定的)真实世界坐标与虚拟世界坐标相关联。在712处,虚拟内容可以在AR耳机处被传递给用户并且(例如,经由本文描述的光场显示器)被显示给用户。应当理解,上述流程图仅用于说明性的目的,不应理解为限制。
有利地,使用类似于图6中概述的电磁跟踪系统的电磁跟踪系统能够进行姿态跟踪(例如,头部位置和取向、图腾的位置和取向以及其他控制器)。当与光学跟踪技术相比时,这允许AR系统(至少部分地基于所确定的姿态)以更高的准确度和非常低的延迟来投影虚拟内容。
参考图8,示出了系统配置,其中该系统配置以许多感测部件为特征。头戴式可穿戴部件(58)被示出为这里使用物理多芯引线可操作地耦接(68)到诸如腰带包的本地处理和数据模块(70),该物理多芯引线也以控制和快速释放模块(86)为特征,如下面参考图9A-9F所述。本地处理和数据模块(70)这里通过诸如低功率蓝牙的无线连接可操作地耦接(100)到手持部件(606);手持部件(606)还可以例如通过诸如低功率蓝牙的无线连接直接可操作地耦接(94)到头戴式可穿戴部件(58)。通常,在传递IMU数据以协调各种部件的姿态检测的情况下,需要诸如在数百或数千周期(cycle)/秒或更高的范围内的高频连接;诸如通过传感器(604)和发射器(602)配对,每秒数十个周期对于电磁定位感测可能是足够的。还示出了全局坐标系统(10),其代表用户周围的真实世界中的固定对象,诸如墙壁(8)。
云资源(46)还可以分别可操作地耦接(42、40、88、90)到本地处理和数据模块(70)、耦接到头戴式可穿戴部件(58)、耦接到可以耦接到墙壁(8)或相对于全局坐标系统(10)固定的其他项的资源。耦接到墙壁(8)或具有相对于全球坐标系统(10)而已知的位置和/或取向的资源可以包括无线收发器(114)、电磁发射器(602)和/或接收器(604)、被配置为发射或反射诸如红外LED信标的给定类型的辐射的信标或反射器(112)、蜂窝网络收发器(110)、雷达(RADAR)发射器或检测器(108)、LIDAR发射器或检测器(106)、GPS收发器(118)、具有已知可检测图案的海报或标记器(122)以及相机(124)。
除了被配置为辅助相机(124)检测器的诸如用于红外相机(124)的红外发射器(130)的发光发射器(130)之外,头戴式可穿戴部件(58)具有与所示部件类似的部件;在头戴式可穿戴部件(58)上还有一个或多个应变仪(116),该一个或多个应变仪(116)可以固定地耦接到头戴式可穿戴部件(58)的框架或机械平台上,并被配置为确定这种平台在诸如电磁接收器传感器(604)或显示元件(62)的部件之间的偏转,其中可以有价值地理解平台是否已经发生弯曲,诸如在平台的变薄部分,诸如图8所示类似眼镜的平台上的鼻子上方的部分。
头戴式可穿戴部件(58)还以处理器(128)和一个或多个IMU(102)为特征。部件中的每一个优选地可操作地耦接到处理器(128)。手持部件(606)和本地处理和数据模块(70)被示出为以类似的部件为特征。如图8所示,由于具有如此多的感测和连接装置,这样的系统可能很重、耗电、大而且相对昂贵。然而,出于说明性目的,可以利用这样的系统来提供非常高水平的连接、系统部件集成和位置/取向跟踪。例如,利用这样的配置,各种主要移动部件(58、70、606)可以使用WiFi、GPS或蜂窝信号三角测量就相对于全局坐标系统的位置而言被定位;信标、电磁跟踪(如本文所述)、雷达和LIDAR系统可以提供更进一步的位置和/取向信息和反馈。标记和相机也可用于提供关于相对和绝对位置和取向的进一步的信息。例如,各种相机部件(124),诸如那些被显示为耦接到头戴式可穿戴部件(58)的相机部件,可以用于捕获能够在同时定位和映射协议或“SLAM”中使用的数据,以确定部件(58)的位置以及它相对于其他部件的取向如何。
参考图9A-9F,描绘了控制和快速释放模块(86)的各个方面。参考图9A,两个外壳部件(132、134)使用磁耦接配置耦接在一起,该磁耦接配置可以通过机械锁定来增强。可以包括用于操作相关系统的按钮(136),例如,开/关按钮(圆形按钮)和上/下音量控制(三角形按钮)。如图8所示,模块86的相对端可以连接到在本地处理和数据模块(70)与显示器(62)之间运行的电引线。
图9B示出了去除外壳(132)的部分剖视图,示出了按钮(136)和下面的顶部印刷电路板(138)。参考图9C,在按钮(136)和下面的顶部印刷电路板(138)被去除的情况下,可以看到阴性(female)接触销(pin)阵列(140)。参考图9D,在去除壳体(134)的相对部分的情况下,下部印刷电路板(142)是可见的。如图9E所示,在去除下部印刷电路板(142)的情况下,可以看到阳性(male)接触销阵列(144)。
参考图9F的横截面视图,阳性销或阴性销中的至少一个被配置为被弹簧加载的,使得它们可以沿着每个销的纵向轴线被压下;这些销可以称为“弹簧销”并且通常包括高导电材料,诸如铜或金。导电材料可以被镀到销上(例如,浸没或电镀),并且导电材料的宽度在某些情况下可以是例如至少25μm的金。当组装时,所示的配置配合46个阳性销和46个对应的阴性销,并且整个组件可以通过手动将两个壳体(132、134)拉开并克服磁性接口(146)负载而被快速释放去耦,该磁性接口(146)负载可以使用围绕销阵列(140、144)的周边而取向的北极和南极磁体被开发。在一个实施例中,通过磁性接口(146)提供的约4kg的闭合维持力抵消了压缩46个弹簧销的大约2kg的负载。阵列中的销可以分开约1.3mm,并且销可以可操作地耦接到各种类型的导线,诸如双绞线或其他组合,以支持诸如USB 3.0、HDMI 2.0(用于数字视频)和I2S(用于数字音频)的接口、用于高速串行数据的传输最小化差分信号(TMDS)、通用输入/输出(GPIO)和移动接口(例如,MIPI)配置、电池/电源连接以及在一个实施例中被配置为高达约4安培和5伏特的高电流模拟线路和接地。
在一个实施例中,磁性接口(146)通常是矩形的并围绕销阵列(140、144)并且宽约1mm且高4.8mm。矩形磁铁的内径约为14.6mm。围绕阳性销阵列(144)的磁体可以具有第一极性(例如,北),以及围绕阴性销阵列(140)的磁体可以具有第二(相反)极性(例如,南)。在一些情况下,每个磁体包括北极和南极的混合,其中相对的磁体具有相应的相反极性,以提供磁吸引力而有助于将壳体(132、134)保持在一起。
阵列(140、144)中的弹簧销具有4.0至4.6mm高度范围以及0.6至0.8mm直径范围。阵列中的不同销可以具有不同的高度、直径和栅距(pitch)。例如,在一种实施方式中,销阵列(140、144)具有约42至50mm的长度、约7至10mm的宽度和约5mm的高度。USB 2.0和其他信号的销阵列的栅距可以约为1.3mm,以及高速信号销阵列的栅距约为2.0至2.5mm。
参考图10,具有最小化的部件/特征组可能是有益的以能够减少或最小化各种部件的重量或体积并且达到相对较薄的头戴式部件(例如,诸如图10中所示的那个(58)。由此,可以利用图8中所示的各种部件的各种排列和组合。
AR系统中的示例电磁感测部件
参考图11A,电磁感测线圈组件(604,例如,耦接到壳体的3个独立线圈)被示出为耦接到头戴式部件(58);这样的配置为整个组件增加了额外的几何形状,这可能是不希望的。参考图11B,不是如图11A的配置那样将线圈容纳在盒子或单个壳体604中,而是可以将独立线圈集成到头戴式部件(58)的各种结构中,如图11B所示。图11B示出了关于X轴线圈(148)、Y轴线圈(150)和Z轴线圈(152)的头戴式显示器58上的位置的示例。由此,感测线圈可以在空间上分布在头戴式显示器(58)上或周围,以通过电磁跟踪系统提供显示器(58)的定位和/或取向的所需空间分辨率或准确度。
图12A-12E示出了使用耦接到电磁传感器的铁氧体磁芯1200a-1200e以增加场灵敏度的各种配置。图12A示出了立方体形状的实心铁氧体磁芯1200a,图12B示出了被配置作为彼此间隔开的多个矩形磁盘的铁氧体磁芯1200b,图12C示出了具有单轴空气芯的铁氧体磁芯1200c,图12D示出了具有三轴空气芯的铁氧体磁芯1200d,以及图12E示出了在壳体(其可以由塑料制成)中包括多个铁氧体棒的铁氧体磁芯1200e。图12B-12E的实施例1200b-1200e的重量比图12A的实心磁芯实施例1200a轻,并且可用于节省质量。尽管在图12A-12E中被示出为立方体,但在其他实施例中铁氧体磁芯的形状可以不同。
EM跟踪系统的频分多路复用、时分多路复用和增益控制
传统的EM跟踪解决方案通常采用频分多路复用(FDM)电路设计或时分多路复用(TDM)电路设计。然而,FDM设计通常使用更多电流,而TDM设计通常仅支持有限数量的用户。如下面进一步描述的,合并FDM和TDM设计的电路设计可以实现两者的益处。与传统设计相比,这种设计的优点可以包括节省印刷电路板(PCB)的面积、材料成本、所用部件的数量和/或电流消耗。该设计还可以允许多个用户在改进的或最佳的性能下使用。
图13A是示意性地示出频分多路复用的EM发送器(TX)电路1302的示例的框图。EM发送器电路可以在EM跟踪系统中驱动三个调谐的正交线圈。由EM TX产生的时间变化的EM场可以由EM接收器感测(例如,参考图13B描述的)。该电路使用主控制单元(MCU)控制在三个不同射频(RF)频率(f1、f2和f3)下的三个不同的合成器,该三个不同的合成器的输出(例如,在带通滤波器(BPF)和可选的铁氧体磁珠(FB)处)被滤波并(例如,通过前置放大器(PA))被放大且被馈送到相应的X、Y、Z线圈。该电路还采用电流感测控制电路(R-感测和电流控制),确保进入每个线圈的电流保持恒定。该电路还具有连接到MCU的RF无线通信接口(例如,蓝牙低能量(BLE)),该MCU与参考图13B描述的EM接收器单元通信。
图13B是示意性地示出频分多路复用的EM接收器(RX)电路1304的示例的框图。EM接收器使用三个正交线圈(在频率f1下操作的X线圈、在频率f2下操作的Y线圈以及在频率f3下操作的Z线圈)来接收由EM TX电路1302(参见例如,图13A)产生的时间变化的EM信号。三个信号(例如,通过前置放大器(PA))被单独放大并且(例如,通过带通滤波器(BPF))被并行地滤波。可选地,可以进一步放大滤波器输出。然后将放大的输出馈送到模拟至数字(ADC),并且数字信号由数字信号处理器(DSP)处理。DSP可以控制前置放大器的增益,以防止ADC饱和。该接收器设计还具有与EM发送器通信的DSP(或MCU)连接的射频(RF)通信链路(例如,参考图13B描述的)。RF链路可以被配置为支持包括蓝牙低能量(BLE)的任何合适的无线标准。
图13A和13B中所示的EM TX和RX电路1302、1304(以及下面参考图13C-13J描述的TX和RX电路)可以用于EM跟踪。例如,EM TX电路1302可以用在参考图4描述的EM场发射器402中以及EM RX电路1304可以用在参考图4描述的EM场传感器404中。将描述EM TX和RX电路的附加实施例,以能够提供诸如例如减少部件数量、减小PCB面积、降低材料成本等的优点,其可以允许多个用户在最佳性能下使用。
图13C是示意性地示出时分多路复用的EM发送器电路1302的示例的框图。在该实施例中,图13A的FDM电路已经改变为时分多路复用电路。TDM电路仅使用一条路径,该路径被分成3个正交线圈。X、Y和Z线圈分别在频率f1、f2和f3下操作,以产生由EM接收器电路接收的时间变化的EM场。TDM电路可以根据TDM时序(timing)协议在相应的时间t1、t2和t3操作这些线圈(参见例如图13F和13G)。自动增益控制(AGC)可以被包括在发送器电路中(下面参考图13I和13J进一步描述的)。每个线圈可以动态地调频到由MCU分配的所需频率。
动态频率调谐
动态频率调谐可用于在每个线圈上实现谐振,以在EM TX电路中获得增加的或最大的电流。动态频率调谐可用于容纳多个用户。图13D是示意性地示出动态可调谐电路1306的示例的框图。参考图17D-17G描述动态可调谐电路1306的其他实施例。在图13D所示的电路中,发送线圈由电感器L1表示。静电电容器(C2)与可调谐电容器(C1)并联。在该示例中,由线圈通过调谐电容器C1产生的频率覆盖16kHz至30kHz的频率范围。图13E是示出可以通过动态调谐图13D示出的电路1306来实现的在各种频率(从16kHz到30kHz)下的谐振的示例的图表。为了容纳多个用户,示例动态频率调谐电路可以为每个用户采用一个传输(TX)频率。频率分配的示例如表1所示。
表1
时分多路复用
在一些实施例中,为了在发送器上实现时分多路复用,可以利用发送器和接收器电路之间的同步。下面讨论两种可能的同步方案。
第一种方案使用通过接收器和发送器的RF无线接口(例如,BLE)的同步。无线RF链路可用于发送器和接收器的时钟同步。在实现同步之后,时分多路复用可以参考板上(on-board)的实时时钟(RTC)。
第二种方案使用通过电磁脉冲的同步。EM脉冲的飞行时间将明显短于TDM电路中通常使用的容差并且可以被忽略。TX EM脉冲由发送器传输到接收器,接收器计算接收器时钟和发送器时钟之间的时间差。该时间差作为已知偏移通过RF无线链路传送,或者该时间差用于调整无线接口(例如,BLE)时钟上的参考。
在一些实施例中,可以实现这些同步方案中的一个或两个。在完成同步之后,可以建立用于发送器和接收器的TDM的时间序列。图13F示出了TDM时序图1308的示例。X线圈上的TX将保持开启持续第一时间段,该第一时间段允许接收器的X、Y和Z线圈接收由X线圈产生的磁通量。在第一时间段期间,Y线圈和Z线圈上的TX基本上关闭(例如,线圈完全关闭或以比他们的正常操作电压低得多的电压(例如,<10%、<5%、<1%等)操作)。在X线圈传输之后,Y线圈上的TX将打开(并且X线圈将基本关闭,而Z线圈保持基本关闭),以及接收器的X、Y和Z线圈将接收由TX Y线圈产生的磁通量。在Y线圈传输之后,Z线圈上的TX将打开(并且Y线圈将基本关闭,而X线圈保持基本关闭),以及接收器的X、Y和Z线圈将接收由TX Z线圈产生的磁通量。然后在EM发送器操作的同时连续地重复该时间序列。
以下描述了容纳多个用户的非限制性说明性示例。例如,为了容纳具有两个发射器的多达四个的用户,每个用户需要八个TX频率。如果不重复这些频率通常是有利的。在这样的实施例中,可以由EM接收器实现扫描过程以确定特定频率是否正被紧密地接近使用。图13G示出了扫描时序1310的示例。该扫描可以由EM接收器1304在初始化时以及在用户会话期间周期性地完成。扫描可以通过以下方式执行:通过有意地关闭发送器1302中的TX并循环通过(在接收器1304中)RX来测量无意干扰的存在而执行。如果确定存在在该频率下的能量,则可以选择备用频率。通过监视三个正交线圈中的一个或两个(而不是全部三个),也可以缩短该扫描,因为在该时隙中不需要位置和取向(PnO)。
图13H是示意性地示出EM跟踪系统中的接收器1304的另一示例的框图。与图13B中所示的示例FDM接收器相比,TDM切换已替换了来自三个正交线圈的各个路径。TDM切换可以由RF无线接口(例如,BLE)控制。TDM切换可以利用图13F中所示的时序协议1308。
在各种实施例中,参考图13C-13H描述的时分多路复用TX和/或RX电路可以提供以下优点中的一个或多个。(A)电流消耗和电池寿命。通过时间多路复用发送器和接收器,可以降低使用的电流量。这种减少来自这样的事实:诸如发送器的高电流电路不再在100%的时间内被利用。与图13A和13B所示的FDM电路相比,系统的电流消耗可以减少到略超过1/3。(B)材料成本清单。在上述TDM实施例中,用于实现相同结果的部件的数量已经减少(与图13A和13B中的FDM电路相比)。通过相同的路径多路复用信号减少了部件数量,在这种情况下,与FDM对应部件相比,部件的成本也应该降低到略超过1/3。(C)PCB面积。减少部件的另一个好处是可以节省PCB面积。部件数量减少了近2/3,因此PCB上所需的空间减少了。
其他可能的优点可以是减少TX和RX电路的质量。例如,图13A和13B中所示的FDMTX和RX电路对三个正交线圈中的每一个使用单独的滤波器和放大器路径。相反,图13C和13H中所示的TDM TX和RX电路共享滤波器和放大器路径。
除了去除传感器外壳和进行多路复用以节省硬件开销之外,可以通过具有多于一组的电磁传感器来增加信噪比,每组电磁传感器相对于单个较大的线圈组相对较小。而且,可以改进低侧(low-side)频率限制以便于带宽需求的改进,该低侧频率限制通常需要具有紧密接近的多个感测线圈。通常存在与TD复用的权衡,因为多路复用通常在时间上扩展RF信号的接收,这导致通常更嘈杂的信号;由此,较大的线圈直径可用于多路复用系统。例如,在多路复用系统可以使用9mm边(side)尺寸的立方线圈传感器盒的情况下,非多路复用系统可以仅使用7mm边尺寸的立方线圈盒以获得类似的性能;由此,在最小化几何形状和质量以及在FDM和TDM电路的实施例之间进行选择可能存在权衡。
关于电磁跟踪系统的自动增益控制的示例
参考图13A和13B,FDM接收器(图13B)实现闭环增益控制,而FDM发送器(图13A)不实现增益控制并且以其最大输出功率进行传输,不管接收到的电平如何。可以通过DSP设置接收器的增益。例如,接收器线圈上的接收电压直接馈送至具有增益控制的第一级。可以在DSP中确定大电压,以及DSP可以自动调整第一级的增益。将增益控制放置在接收器中可以在发送器中使用更多功率,即使在不需要时也是如此。因此,在发送器侧(而不是接收器侧)采用自动增益控制(AGC,有时也称为自适应增益控制)可能是有利的,这可以节省接收器系统中的空间(否则将用于AGC),从而允许更小和更便携的接收器。
图13I是示意性地示出不利用自动增益控制(AGC)的EM接收器1304的示例的框图。第一级不再是AGC电路(与图13B相比),并且接收器被设计为仅具有恒定增益。线圈上的接收电压的电平由DSP确定,并且DSP将该信息提供给无线(例如,BLE)链路。该BLE链路可以将该信息提供给发送器(参见图13J)以控制TX电平。
图13J是示意性地示出采用AGC的EM发送器1302的示例的框图。图13J的EM发射器1302可以与图13I的接收器1304通信。无线链路(例如,BLE)将(从接收器上的BLE链路)接收到的电压电平传送到MCU。放大级可以具有由MCU控制的可调增益。这可以在所需的接收电压小时允许节省发送器上的电流。
因此,图13I和13J中的RX和TX电路示例在EM发送器1302中使用AGC而不是在EM接收器1304中。图13A和13B中的RX和TX电路示例的这种改变可以允许更小的RX设计以及更功率高效的设计,因为必要时可以允许降低TX功率。
用户头部姿态或手部姿态的EM跟踪的示例
参考图14,在一个实施例中,在用户给他或她的可穿戴计算系统(160)加电之后,头戴式部件组件可以捕获IMU和相机数据的组合(例如,对于SLAM分析正在使用的相机数据,诸如在可能存在更多的原始处理马力的腰带包处理器处)以确定和更新相对于真实世界全局坐标系统(162)的头部姿态(例如,位置或取向)。用户还可以激活手持部件以例如玩增强现实游戏(164),以及手持部件可以包括可操作地耦接到腰带包和头戴式部件(166)中的一个或两个的电磁发送器。一个或多个电磁场线圈接收器组(例如,一组是3个不同取向的独立线圈)耦接到头戴式部件以捕获来自发送器的磁通量,这可用于确定头戴式部件和手持部件(168)之间的位置或取向差异(或“增量”)。头戴式部件的结合有助于确定相对于全局坐标系统的姿态,以及手持式设备有助于确定手持式设备相对于头戴式部件的相对位置和取向,从而允许系统通常确定每个部件相对于全局坐标系统的位置,由此,为了呈现增强现实图像特征和使用手持部件(170)的移动和旋转的交互,可以优选地以相对低延迟跟踪用户的头部姿态和手持姿态。
参考图15,示出了与图14的实施例有些类似的实施例,不同之处在于系统具有更多可使用的感测装置和配置以有助于确定头戴式部件(172)和手持部件(176、178)两者的姿态,使得为了呈现增强现实图像特征和使用手持部件(180)的移动和旋转的交互,可以优选地以相对低延迟跟踪用户的头部姿态和手持姿态。
示例立体和飞行时间深度感测
参考图16A和16B,示出了与图8类似的配置的各个方面。图16A的配置与图8的配置的不同之处在于,除了LIDAR(106)类型的深度传感器之外,用于说明目的,图16A的配置还以通用深度相机或深度传感器(154)为特征,该通用深度相机或深度传感器(154)可以例如为立体三角式深度传感器(诸如被动立体深度传感器、纹理投影立体深度传感器、或结构化光立体深度传感器)或时间或飞行式深度传感器(诸如LIDAR深度传感器或调制发射深度传感器);此外,图16A的配置具有附加的面向前的“世界”相机(124,其可以是灰度相机,具有能够具有720p范围分辨率的传感器)以及相对高分辨率的“图像相机”(156,例如,其可以是全色相机,具有能够具有两百万像素或更高分辨率的传感器)。用于说明性目的,图16B示出了图16A的配置的部分正交视图,如下面参考图16B进一步描述的。
返回参考图16A以及上面提到的立体vs.飞行时间式深度传感器,这些深度传感器类型中的每一个可以与本文所公开的可穿戴计算解决方案一起使用,尽管每个都具有各种优点和缺点。例如,许多深度传感器具有黑色表面和光泽或反射表面的挑战。被动立体深度感测是利用深度相机或传感器进行三角测量以计算深度的相对简单的方式,但如果需要宽视场(“FOV”),则可能具有挑战性,并且可能需要相对重要的计算资源。此外,这种传感器类型可能具有边缘检测的挑战,这对于在手部处的特定使用情况可能是重要的。被动立体可能对无纹理的墙壁、低光照条件和重复图案具有挑战。被动立体深度传感器可从英特尔和Aquifi等制造商处获得。具有纹理投影的立体(也称为“主动立体”)类似于被动立体,但纹理投影仪将投影图案播放(broadcast)到环境上,并且播放的纹理越多,在用于深度计算的三角测量中可获得的准确度越高。主动立体也可能需要相对较高的计算资源,当需要宽FOV时存在挑战,并且在检测边缘方面有些欠佳,但它确实解决了被动立体的一些挑战,因为它对无纹理的墙壁是有效的、在低光下是良好的以及通常没有重复图案的问题。主动立体深度传感器可从英特尔和Aquifi等制造商处获得。
具有结构化的立体(诸如由Primesense股份有限公司开发并以商品名Kinect可获得的系统以及可从Mantis Vision股份有限公司获得的系统)通常利用单个相机/投影仪配对,并且该投影仪专门用于其被配置为播放先验已知的点图案。本质上,系统知道播放的图案,并且它知道要确定的变量是深度。这样的配置在计算负载上可以是相对有效的,并且在宽FOV需求场景中以及在具有从其他附近设备播放的环境光和图案的场景中可能受到挑战,但是在许多场景中这样的配置可以非常有效和高效的。在调制的飞行时间类型深度传感器情况下,诸如可从PMD Technologies、A.G以及SoftKinetic股份有限公司获得的那些深度传感器,发射器可以被配置为发出具有振幅调制的光的波,诸如正弦波;可以在一些配置中被定位在附近或者甚至重叠的相机部件在相机部件的每个像素上接收返回信号,并且可以确定/计算深度映射。这样的配置在几何形状上可以相对紧凑、准确度高并且计算负载低,但是在图像分辨率方面(诸如在对象的边缘处)、多路径误差(诸如其中传感器针对的是反射或光泽的角以及检测器最终接收一个以上的返回路径,使得存在一些深度检测混叠)可能具有挑战性。。
直接飞行时间传感器(也可称为前述的LIDAR)可从诸如LuminAR和AdvancedScientific Concepts有限责任公司的供应商处获得。使用这些飞行时间配置,通常发出光脉冲(诸如,皮秒、纳秒或飞秒长光脉冲)以使用该光侦测围绕世界取向而冲刷(bathe)世界;然后,相机传感器上的每个像素等待该脉冲返回,并且在知道光速的情况下,可以计算每个像素处的距离。这样的配置可以具有调制的飞行时间传感器配置(没有基线、相对宽的FOV、高准确度、相对低的计算负载等)以及还具有相对高的帧速率(诸如成千上万赫兹)的许多优点。它们也可能相对昂贵、分辨率相对较低、对强光敏感、易受多路径误差的影响;它们也可能相对大而且重。
参考图16B,用于说明目的,示出了部分顶视图,其特征在于用户的眼睛(12)以及直接朝向眼睛(12)的具有视场(28、30)的相机(14,诸如红外相机)和光或辐射源(16,诸如红外线)以便于眼睛跟踪、观察和/或图像捕获。三个面向外的捕捉世界的相机(124)被示出具有FOV(18、20、22)示出,也就是,深度相机(154)及其FOV(24)以及图片相机(156)及其FOV(26)。可以通过使用来自其他面向前的相机的重叠FOV和数据来支持从深度相机(154)获得的深度信息。例如,系统可以以诸如来自深度传感器(154)的子VGA图像、来自世界相机(124)的720p图像以及偶尔来自图片相机(156)的2百万像素彩色图像而终止。这样的配置具有共享共同FOV的四个相机,其中两个具有异质可见光谱图像,一个具有颜色,第三个具有相对低分辨率的深度。该系统可以被配置为在灰度和彩色图像中进行分割,融合这两者并根据它们制作相对高分辨率的图像,获得一些立体匹配(correspondence),使用深度传感器来提供关于立体深度的假设,并使用该立体匹配获得更细化的深度映射,这可能明显优于仅从深度传感器获得的深度映射。这样的过程可以在本地移动处理硬件上运行,或者可以使用云计算资源运行,也可以与该区域中其他人(诸如两个人跨越桌子而彼此相邻坐着)的数据一起运行,最终得到相当细化的映射。在另一实施例中,所有上述传感器可以组合成一个集成传感器以实现这种功能。
用于EM跟踪的传输线圈的动态调谐示例
参考图17A-17G,示出了用于电磁跟踪的动态传输线圈调谐配置的各方面,以便于传输线圈最佳地在每个正交轴在多个频率下操作,这允许多个用户在同一系统上操作。通常,电磁跟踪发送器将被设计为在每个正交轴在固定频率下操作。通过这种方法,每个传输线圈都使用静态串联电容进行调谐,该静态串联电容仅在操作频率下产生谐振。这种谐振允许最大可能的电流流过线圈,这进而使产生的磁通量最大化。图17A示出了用于在固定操作频率下产生谐振的典型谐振电路1305。如图17B所示,电感器“L”表示具有1mH电感的单轴传输线圈,并且电容设置为52nF,在22kHz下产生谐振。图17C示出了相对于频率绘制的通过图17A的电路1305的电流,并且可以看出电流在谐振频率下是最大的。如果预期该系统在任何其他频率下操作,则操作电路将不会处于可能的最大电流(其发生在22kHz的谐振频率下)。
图17D示出了关于电磁跟踪系统的发送器1302的发送器电路1306的动态可调谐配置的实施例。图17D中所示的示例电路1306可以用在本文描述的EM场发射器402、602、1302的实施例中。图17D中的电路包括振荡电压源1702、传输(TX)线圈、高压(HV)电容器和电容器组1704中的多个低压(LV)电容器,该电容器组1704可被选择以提供关于期望的谐振频率的调谐。可以设置动态频率调谐以在线圈上实现(在期望的、动态可调整的频率下的)谐振以获得最大电流。图17E中示出了动态可调谐电路1306的另一示例,其中可调谐电容器1706(“C4”)可被调谐以产生不同频率的谐振,如图17F所示的模拟数据中所示。调谐可调谐电容器可以包括在多个不同电容器之间切换,该多个不同电容器如图17D所示电路中示意性示出的。如图17E的实施例所示,电磁跟踪器的正交线圈中的一个被模拟作为电感器“L”,而静态电容器(“C5”)是固定的高压电容器。由于谐振,该高压电容器将看到更高的电压,因此其封装尺寸通常会更大。电容器C4将是以不同值动态切换的电容器,因此可以看到较低的最大电压,并且通常是较小的几何封装以节省放置空间。电感器L3也可用于微调谐振频率。
图17F示出了可以由图17E的电路1306实现的谐振的示例。在图17F中,较高的曲线(248)示出了跨电容器C5的电压Vmid-Vout,而较低的曲线(250)示出了跨电容器C4的电压Vout。随着C4的电容变化,谐振频率(在该示例中在约22kHz和30kHz之间)改变,并且需要注意,跨C5的电压(Vmid-Vout;曲线248)高于跨C4的电压(Vout;曲线250)。这通常将允许C4上的较小封装部件,因为该电容器至的多个通常将用于系统中,例如,每个谐振操作频率有一个电容器(参见例如图17D中所示的电容器组1704中的多个LV电容器)。图17G是电流相对于频率的曲线图,其示出了无论跨电容器的电压如何,所达到的最大电流都遵循谐振。因此,动态可调谐电路的实施例可以跨多个频率在发送器线圈中提供增加的或最大的电流,从而允许单个EM跟踪系统关于多个用户的改进或优化的性能。
EM跟踪系统的示例音频噪声消除
音频扬声器(或任何外部磁体)可以产生能够无意地干扰由EM跟踪系统的EM场发射器产生的磁场的磁场。这种干扰会劣化由EM跟踪系统提供的位置估计的准确性或可靠性。
随着AR设备的发展,它们变得更加复杂并且集成了必须共存并独立执行的更多技术。EM跟踪系统依赖于(通过EM传感器)接收(由EM场发射器产生的)磁通量的微小变化以确定EM传感器的3-D位置(从而确定传感器所附接到的或包括传感器的对象的3-D位置)。存在于EM跟踪传感器线圈附近的音频扬声器可以发出磁通量,该磁通量可能干扰EM跟踪系统计算真实位置的能力。
参考图18A-18C,电磁跟踪系统可以被限制以在约30kHz以下工作,这略高于人类听觉的可听范围。图18A示出了音频扬声器1820紧邻EM传感器604的配置。音频扬声器1820由时间变化的电压源1822和放大器1824驱动。扬声器1820的磁场可能导致对EM跟踪系统的无意的磁场干扰,因为扬声器在由EM传感器604的线圈感测的磁场中产生噪声。在一些实施方式中,可以增加音频扬声器1820和EM传感器604之间的距离以减少接收到的干扰。但是因为来自扬声器的磁通量随距传感器的距离的立方(1/r3)而衰减,所以将存在在干扰中大距离提供非常小的衰减的点。音频扬声器(例如,图2A-2D中所示的扬声器66)通常用于AR设备中,以向AR设备的佩戴者提供音频体验;因此,音频扬声器相对靠近也设置在AR设备上的EM传感器(例如,参见图11A所示的示例性可穿戴显示设备58中设置在扬声器66附近的EM传感器604)可能是常见的。来自音频扬声器的磁场可能干扰由EM跟踪系统的EM传感器感测的EM场。
参考图18A,可能存在一些音频系统,其在关于这样的电磁跟踪系统可使用的频率下产生噪声。此外,音频扬声器通常具有磁场和一个或多个线圈,其也可能干扰电磁跟踪系统。参考图18B,示出了关于电磁跟踪系统的噪声消除系统1830的示例的框图。由于无意的EM干扰是已知实体(因为由电压源1822提供给音频扬声器1820的信号是已知的或可以被测量的),所以该知识可用于消除来自音频扬声器1820的EM干扰并提高EM跟踪系统的性能。换言之,由系统产生的音频信号可用于消除由EM传感器604的线圈接收的来自扬声器的磁干扰。如图18B中示意性所示,噪声消除电路1830可被配置为接受来自EM传感器604的损坏的信号1850a以及来自音频系统的信号1850b。噪声消除系统可以组合信号1850a、1850b以抵消从音频扬声器1820接收的干扰并提供未损坏的传感器信号1850c。
图18C是示出如何能够使音频信号1850b反相并将其添加到损坏的传感器信号1850a以消除干扰并提供基本上未损坏的传感器信号1850c的说明性非限制性示例的曲线图。顶部曲线(V(噪声))是由音频扬声器1820添加到EM跟踪系统的噪声信号1850b。底部曲线(V(取消))是反相音频信号(例如,-V(噪声)),当这些加在一起时,效果为没有来自音频的噪声劣化。换言之,噪声消除系统接收损坏的信号1850a,该损坏的信号1850a也就是真实的EM传感器信号(表示来自EM发送器线圈的信号的V(传感器))和噪声信号的总和:V(传感器)+V(噪声)。通过将反相音频信号(-V(噪声))添加到损坏的信号1850a,恢复未损坏的信号(V(传感器)1850c)。未损坏的信号1850c反映传感器604的响应,就好像音频扬声器604不存在并且因此反映传感器604的位置处的EM发射器场。等效地,可以从损坏的信号1850a中减去噪声信号1850b,以恢复未损坏的信号(V(传感器)1850c)。噪声消除可导致消除(例如,来自音频扬声器的)基本上全部(例如,>80%、>90%、>95%或更多)的噪声信号。如果可以确定噪声信号的测量(或估计),这种噪声消除技术不限于消除仅音频扬声器噪声,而且可以应用于EM传感器信号的其他噪声干扰源(使得然后如上所述可以将它从EM传感器信号中去除)。
图18D是示出用于消除EM跟踪系统中的EM传感器所接收的干扰的示例方法1800的流程图。方法1800可以由AR设备中的例如,本地处理和数据模块70的硬件处理器执行,或者由EM跟踪系统中的硬件处理器执行。在框1802处,该方法接收来自电磁传感器的噪声信号。如上所述,噪声信号可能由来自产生电磁干扰的附近音频扬声器的干扰引起。在框1804处,该方法接收来自EM干扰源的信号。例如,信号可以是用于驱动音频扬声器的信号1850b(参见例如图18B)。在框1806处,组合噪声信号和干扰信号以获得去噪声的EM信号。例如,可以使干扰信号反相并将其添加到噪声信号中,或者可以从噪声信号中减去干扰信号。在框1808处,去噪声的信号可用于确定EM传感器的位置。使用去噪声的信号获得的位置(与使用噪声信号相比)更准确可靠。
因此,前述提供了一种去除由EM跟踪器传感器附近的音频扬声器产生的无意的噪声的方法。该方法采用噪声消除方法,该噪声消除方法使用关于音频的已知信息以将其从EM跟踪信号中去除。当不能实现音频扬声器和EM传感器线圈的充分物理分离(使得干扰足够低)时,可以使用该系统。尽管在上文中,干扰噪声已被描述为由音频扬声器产生,但这仅用于说明而非限制。前述实施例可以应用于可以被测量的然后从损坏的传感器信号中减去的任何干扰信号。
视觉系统的示例校准
参考图19,在一个实施例中,可利用光或其他发射器的已知图案1900(诸如圆形图案)来辅助视觉系统的校准。例如,圆形图案可以用作基准;由于在对耦接到图案的对象进行重新取向的同时具有已知取向的相机或其他捕获设备捕获图案的形状,因此可以确定诸如手持图腾设备606的对象的取向;可以将这种取向与来自对象(例如,图腾)上的相关联IMU的取向进行比较,以用于误差确定和校准中的使用。进一步参考图19,光1900的图案可以由手持图腾606(在图19中示意性地表示为圆柱)上的光发射器(例如,多个LED)产生。如图19所示,当通过AR耳机58上的相机正面观看图腾时,光1900的图案呈圆形。当图腾606在其他取向上倾斜时,图案1900看起来是椭圆形的。可以使用计算机视觉技术识别光1900的图案,并且可以确定图腾606的取向。
在各种实施方式中,增强现实设备可以包括计算机视觉系统,该计算机视觉系统被配置为实现一种或多种计算机视觉技术以识别光的图案(或执行本文使用或描述的其他计算机视觉程序)。计算机视觉技术的非限制性示例包括:标度(scale)不变特征变换(SIFT)、加速稳健(robust)特征(SURF)、定向(orient)FAST和旋转(rotate)BRIEF(ORB)、二进制稳健不变可缩放关键点(BRISK)、快速视网膜关键点(FREAK)、Viola-Jones算法、Eigenfaces方法、Lucas-Kanade算法、Horn-Schunk算法、Mean-shift算法、视觉同步定位和映射(vSLAM)技术、序贯(sequential)贝叶斯估计器(例如,卡尔曼滤波器、扩展卡尔曼滤波器等)、束调整、自适应阈值(和其他阈值技术)、迭代最近点(ICP)、半全局匹配(SGM)、半全局块匹配(SGBM)、特征点直方图、各种机器学习算法(诸如,支持向量机、k-最近邻算法、朴素贝叶斯、神经网络(包括卷积或深度神经网络)、或其他有监督/无监督模型等)等等。
可穿戴显示设备的子系统的示例电路
参考图20A-20C,示出了具有求和放大器2002的配置,以简化可穿戴计算配置的两个子系统或部件(诸如头戴式部件和腰带包部件)之间的电路。在传统配置的情况下,电磁跟踪传感器604的线圈2004(在图20A的左侧)中的每一个与放大器2006相关联,并且三个不同的放大信号可以通过求和放大器2002传输和缆线传输到另一部件(例如,如图20B所示的处理电路)。在所示的实施例中,三个不同的放大信号可以被引导到求和放大器2002,该求和放大器2002产生一个放大的信号,该放大的信号被向下引导到被有利地简化的缆线2008,并且每个信号可以处于不同的频率下。求和放大器2002可以被配置为放大由放大器接收的所有三个信号;然后(如图20B所示)在模拟至数字转换之后,接收数字信号处理器在另一端分离信号。可以使用增益控制。图20C示出了针对每个频率(F1、F2和F3)的滤波器-因此可以在这样的阶段将信号分离回来。可以通过计算算法来分析这三个信号(例如,以确定传感器姿态),并且AR系统可以使用位置或取向结果(例如,以基于用户的瞬时头部姿态向用户正确地显示虚拟内容)。
示例的EM跟踪系统更新
参考图21,就便携式系统的功率而言,电磁(“EM”)跟踪更新可能相对“昂贵”,并且可能不能进行非常高频率的更新。在“传感器融合”配置中,可以将来自诸如IMU的另一传感器的更频繁更新的定位信息和来自另一传感器(诸如光学传感器(例如,相机或深度相机))的数据组合在一起,其可能是或者可能不具有相对较高的频率;融合所有这些输入的网络对EM系统提出了较低的要求并提供了更快的更新。
返回参考图11B,示出了关于AR设备58的分布式传感器线圈配置。参考图22A,具有单个电磁传感器设备(604)的AR设备58可以耦接到可穿戴部件(58)用于6个自由度跟踪,该单个电磁传感器设备(604)诸如包括三个正交感测线圈的壳体,其中对于每个线圈具有X、Y、Z中的每个方向,如上所述。同样如上所述,这样的设备可以是解体(disintegrate)的,其中三个子部分(例如,线圈)连接在可穿戴部件(58)的不同位置,如图22B和22C所示。参考图22C,为了提供进一步的设计备选方案,每个单独的传感器线圈可以用一组类似取向的线圈代替,使得任何给定的正交方向的总磁通量由组(148、150、152)捕获而不是由每个正交方向的单个线圈捕获。换言之,不是关于每个正交方向为一个线圈,而是可以利用一组较小的线圈,并且它们的信号被聚集以形成该正交方向的信号。在另一实施例中,其中诸如头戴式部件(58)的特定系统部件以两个或更多个电磁线圈传感器组为特征,该系统可以被配置为选择性地利用彼此最接近(例如,在1cm、2cm、3cm、4cm、5cm或10cm内)的传感器和发射器配对,以改善或优化系统的性能。
重新校准可穿戴显示系统的示例
参考图23A-23C,重新校准诸如本文所讨论的可穿戴计算系统可能是有用的,并且在一个实施例中,在发送器处以及接收器处的声学传感器(例如,麦克风)生成的声学(例如,超声波)信号和声学飞行时间计算可以用于确定发送器和接收器之间的声音传播延迟,从而确定发送器和接收器之间的距离(因为声速是已知的)。图23A示出了在一个实施例中,发送器上的三个线圈被一阵(burst)正弦波激励,同时超声波换能器可以被一阵正弦波激励,该一阵正弦波优选地与线圈中的一个具有相同的频率。图23B示出了EM接收器,其可以被配置为使用X、Y、Z传感器线圈接收三个EM波并且使用麦克风(MIC)接收声学超声波。可以根据三个EM信号的振幅计算总距离。可以通过将声学(麦克风)响应的时序2302与EM线圈的响应2304进行比较来计算飞行时间(声音传播延迟时间2300)(参见例如图23C)。这也可以用于计算距离。将电磁计算的距离与声学延迟时间2300进行的比较可以用于(例如,通过校正因子)校准EM TX或RX电路。
参考图24A,在另一实施例中,在以相机为特征的增强现实系统中,可以通过测量在诸如手持控制器(例如,控制器606)的另一个设备上的具有已知尺寸的对准特征(如图24A中的箭头所示)的像素的尺寸来计算距离。
参考图24B,在另一个实施例中,在以诸如红外(“IR”)深度传感器的深度传感器为特征的增强现实系统中,该距离可以由这样的深度传感器计算并直接报告给控制器。
参考图24C和24D,一旦知道总距离,可以使用相机或深度传感器来确定空间中的位置。增强现实系统可以被配置为将一个或多个虚拟对准目标投射到用户。用户可以将控制器与目标对准,并且系统可以根据EM响应以及虚拟目标的方向加上先前计算的距离来计算位置。可以通过将控制器上的已知特征与投射给用户的虚拟目标对准来完成摆动(roll)角校准;可以通过向用户呈现虚拟目标并且让用户将控制器上的两个特征与目标对准(非常像瞄准步枪)来校准偏航和俯仰(pitch)角。
参考图25A和25B,可能存在与EM跟踪系统相关联的固有模糊性(inherentamiguity):接收器将在发送器周围的两个对角相对的位置中产生类似的响应。例如,图25A示出了手持设备606和产生类似的响应的幻影(ghost)设备606a。这样的挑战在其中发送器和接收器两者可以相对于彼此移动的系统中特别相关。
在一个实施例中,系统可以使用IMU传感器来确定用户是否在参考(例如,对称)轴的正侧或负侧。在诸如上述以世界相机和深度相机为特征的实施例的实施例中,系统可以使用该信息来检测手持部件(例如,图25B中的手持设备2500)是否在参考轴的正侧或负侧;如果手持设备2500位于相机和/或深度传感器的视场之外,则系统可以被配置为决定(或用户可以决定)手持部件2500直接位于用户背面的180度区域中,例如,如图25B所示的幻影位置2500a。
其他方面和优点
在第1方面,头戴式显示系统包括可定位在佩戴者眼睛前方的显示器;电磁(EM)场发射器,其被配置为产生具有频率的磁场;EM传感器,其被配置为感测在该频率下的磁场;处理器,其被编程为:从EM传感器接收指示感测到的磁场的信号;以及分析接收到的信号以确定EM传感器的位置或取向。
在第2方面,如方面1所述的头戴式显示系统,其中显示器包括光场显示器。
在第3方面,如方面1或方面2所述的头戴式显示系统,其中EM场发射器包括时分多路复用(TDM)电路。
在第4方面,如方面3所述的头戴式显示系统,其中TDM电路包括单个放大器电路,该单个放大器电路被TDM切换到多个射频(RF)发送器线圈中的每一个。
在第5方面,如方面3或方面4所述的头戴式显示系统,其中EM场发射器被配置为动态地调谐频率。
在第6方面,如方面5所述的头戴式显示系统,其中为了动态地调谐频率,EM场发射器被配置为改变电容器的电容或者在电容器组中的多个电容器中进行选择。
在第7方面,如方面3至6中任一项所述的头戴式显示系统,其中EM场发射器包括第一无线接口,EM传感器包括第二无线接口和TDM电路,以及EM场发射器和EM传感器被配置为:在第一无线接口和第二无线接口之间建立无线链路;以及通过无线链路进行同步。
在第8方面,如方面3至7中任一项所述的头戴式显示系统,其中EM场发射器被配置为将EM脉冲发射到EM传感器,以及EM场发射器或EM传感器被配置为确定EM场发射器时钟和EM传感器时钟之间的时序差。
在第9方面,如方面7或方面8所述的头戴式显示系统,其中EM场发射器包括第一线圈和第二线圈,并且EM场发射器被配置为应用TDM时序协议,其中:第一线圈在第一时间段期间传输,而第二线圈在第一时间段期间基本上不传输;以及第二线圈在与第一时间段不同的第二时间段期间传输,而第一线圈在第二时间段期间基本上不传输。
在第10方面,如方面7至9中任一项所述的头戴式显示系统,其中EM传感器被配置为:在第三时间段期间扫描在频率下的无意的RF干扰;以及响应于确定在该频率下存在无意的RF干扰,切换到与该频率不同的备用频率。
在第11方面,如方面10所述的头戴式显示系统,其中EM场发射器被配置为在第三时间段期间基本上停止发射。
在第12方面,如方面1至11中任一项所述的头戴式显示系统,其中EM场发射器包括自动增益控制(AGC)电路。
在第13方面,如方面12所述的头戴式显示系统,其中EM传感器不包括AGC电路。
在第14方面,如方面12或方面13所述的头戴式显示系统,其中EM场发射器的AGC电路被配置为:接收关于EM传感器中的线圈的电压电平;以及至少部分地基于所接收的电压电平来调整EM场发射器的放大级的增益。
在第15方面,如方面1至14中任一项所述的头戴式显示系统,其中头戴式显示系统还包括音频扬声器,以及EM传感器包括噪声消除电路。
在第16方面,如方面15所述的头戴式显示系统,其中噪声消除电路被配置为:接收来自EM传感器的第一信号;接收来自音频扬声器的第二信号;将第一信号和第二信号组合以提供被消除噪声的信号。
在第17方面,如方面16所述的头戴式显示系统,其中为了组合第一信号和第二信号,噪声消除电路被配置为:(a)使第二信号反相并且将反相的第二信号添加到第一信号或(b)从第一信号中减去第二信号。
在第18方面,如方面1至17中任一项所述的头戴式显示系统,还包括用户输入图腾,该用户输入图腾包括EM场发射器。
在第19方面,电磁(EM)跟踪系统包括:EM场发射器,其包括:第一发送器线圈,其被配置为产生具有第一频率的第一磁场;第二发送器线圈,其被配置为产生具有第二频率的第二磁场;以及第三发送器线圈,其被配置为产生具有第三频率的第三磁场,该EM场发射器包括第一时分多路复用(TDM)电路,其被配置为在第一发送器线圈、第二发送器线圈和第三发送器线圈之间切换功率。
在第20方面,如方面19所述的EM跟踪系统,其中第一发送器线圈、第二发送器线圈和第三发送器线圈与相互正交的轴一起设置。
在第21方面,如方面19或方面20所述的EM跟踪系统,其中EM场发射器被配置为动态地调谐第一频率、第二频率或第三频率。
在第22方面,如方面19至21中任一项所述的EM跟踪系统,其中为了动态地调谐第一、第二或第三频率,EM场发射器被配置为改变电容器的电容或在电容器组中的多个电容器当中选择。
在第23方面,如方面19至22中任一项所述的EM跟踪系统,其中EM场发射器被配置为具有自动增益控制(AGC)电路。
在第24方面,如方面23所述的EM跟踪系统,其中AGC电路包括位于数字信号处理器(DSP)和放大级之间的控制环。
在第25方面,如方面23或方面24所述的EM跟踪系统,其中EM场发射器被配置为:接收关于EM传感器中的线圈的电压电平;以及至少部分地基于所接收的电压电平来调整EM场发射器的放大级的增益。
在第26方面,如方面19至25中任一项所述的EM跟踪系统,还包括EM传感器,其包括:第一接收器线圈,其被配置为感测具有第一频率的第一磁场;第二接收器线圈,其被配置为感测具有第二频率的第二磁场,以及第三接收器线圈,其被配置为感测具有第三频率的第三磁场,EM场传感器包括第二时分多路复用(TDM)电路,其被配置为在第一接收器线圈、第二接收器线圈和第三接收器线圈之间切换功率。
在第27方面,如方面26所述的EM跟踪系统,其中EM跟踪系统被配置为经由EM场发射器和EM传感器之间的无线链路来使EM场发射器和EM传感器同步。
在第28方面,如方面27所述的EM跟踪系统,其中:EM场发射器被配置为将EM脉冲发送到EM传感器;以及EM场发射器或EM传感器被配置为确定EM场发射器时钟和EM传感器时钟之间的时序差。
在第29方面,如方面26至28中任一项的EM跟踪系统,其中在第一时间段期间:第一发送器线圈被配置为产生具有第一频率的第一磁场,在该第一时间段期间,第二发送器线圈和第三发送器线圈基本上不发送相应的第二磁场和第三磁场;以及EM传感器的第一接收器线圈、第二接收器线圈和第三接收器线圈被配置为按顺序被激活。
在第30方面,如方面29所述的EM跟踪系统,其中在第一时间段之后的第二时间段期间:第二发送器线圈被配置为产生具有第二频率的第二磁场,在该第二时间段期间,第一发送器线圈和第三发送器线圈被配置为基本上不传输相应的第一磁场和第三磁场;以及EM传感器的第一接收器线圈、第二接收器线圈和第三接收器线圈被配置为按顺序被激活。
在第31方面,如方面26至30中任一项所述的EM跟踪系统,其中EM传感器被配置为扫描正在使用的频率。
在第32方面,如方面31所述的EM跟踪系统,其中在第三时间段期间:第一发送器线圈被配置为基本上不发射第一磁场;以及第一接收器线圈被配置为被激活以测量第一频率下的干扰的存在。
在第33方面,如方面32所述的EM跟踪系统,其中响应于检测到第一频率下的干扰,EM跟踪系统被配置为将第一频率改变为不同的频率。
在第34方面,如方面26至33中任一项所述的EM跟踪系统,其中EM传感器被配置为:接收表示磁干扰源的干扰信号;至少部分地消除干扰信号以输出基本上免受磁干扰源影响的传感器信号。
在第35方面,一种电磁(EM)跟踪系统包括:EM场发射器,其包括自动增益控制(AGC)电路和发送器线圈;以及不具有AGC电路的EM传感器,该EM传感器包括传感器线圈。
在第36方面,如方面35所述的EM跟踪系统,其中:EM传感器被配置为将传感器线圈信号电平无线传送到EM场发射器;以及EM场发射器被配置为至少部分地基于传感器线圈信号电平来调整发送器线圈的增益。
在第37方面,如方面35或方面36所述的EM跟踪系统,其中EM场发射器被配置为动态地调整由发送器线圈发射的射频。
在第38方面,方面35至37中任一项所述的EM跟踪系统,其中EM场发射器和EM传感器被配置为使用时分多路复用来操作。
在第39方面,根据方面35至38中任一项所述的EM跟踪系统,其中EM传感器被配置为:接收表示磁干扰源的干扰信号;至少部分地消除干扰信号以输出基本上免受磁干扰源影响的传感器信号。
在第40方面,一种头戴式增强现实(AR)显示设备,其包括方面35至39中任一项所述的EM跟踪系统。
在第41方面,如方面40所述的头戴式AR显示设备,其中EM传感器设置在AR显示设备的框架上。
在第42方面,如方面40或方面41所述的头戴式AR显示设备,其中EM场发射器设置在手持的用户输入图腾中。
在第43方面,一种增强现实显示系统,包括:显示器,其被配置为将虚拟图像投影到佩戴者的眼睛;框架,其被配置为将显示器安装在佩戴者的眼睛前方;电磁(EM)场发射器,其被配置为产生磁场;EM传感器,其被配置为感测磁场,其中EM场发射器或EM传感器中的一个被机械地耦接到框架,以及EM场发射器或EM传感器中的另一个被机械地耦接到增强现实显示系统的相对于框架而独立地可移动的部件;以及硬件处理器,其被编程为:接收来自EM传感器的指示所感测的磁场的信号;以及分析接收到的信号以确定EM传感器的位置或取向。
在第44方面,如方面43所述的增强现实显示系统,其中显示器包括光场显示器。
在第45方面,如方面43或方面44所述的增强现实显示系统,其中:上述部件包括用户输入图腾或腰带包,EM传感器被机械地耦接到框架,以及EM场发射器被机械地耦接到用户输入图腾或腰带包。
在第46方面,如方面43至45中任一项所述的增强现实显示系统,还包括:音频扬声器,其中增强现实显示系统包括噪声消除电路,该噪声消除电路被配置为消除感测到的磁场中的由音频扬声器产生的磁干扰。音频扬声器可以被机械地耦接到框架。
在第47方面,如方面46所述的增强现实显示系统,其中噪声消除电路被配置为:接收来自EM传感器的第一信号;接收来自音频扬声器的第二个信号;将第一信号和第二信号组合以提供被消除噪声的信号。
在第48方面,如方面47所述的增强现实显示系统,其中为了组合第一信号和第二信号,噪声消除电路被配置为:(a)使第二信号反相并将所反相的第二信号添加到第一信号或(b)从第一信号中减去第二信号。
在第49方面,如方面43至48中任一项所述的增强现实显示系统,其中EM场发射器包括:第一发送器线圈,其被配置为产生具有第一频率的第一磁场;以及第二发送器线圈,其被配置为产生具有第二频率的第二磁场;以及时分多路复用(TDM)电路,其被配置为分别在第一发送器线圈和第二发送器线圈之间切换功率。
在第50方面,如方面49所述的增强现实显示系统,其中TDM电路包括单个放大器电路,该单个放大器电路被TDM切换到第一和第二发送器线圈中的每一个。
在第51方面,如方面49或方面50所述的增强现实显示系统,其中第一发送器线圈和第二发送器线圈沿相互正交的轴设置。
在第52方面,如方面43至51中任一项所述的增强现实显示系统,其中EM场发射器被配置为动态地调谐第一频率或第二频率。
在第53方面,如方面52所述的增强现实显示系统,其中为了动态地调谐第一频率或第二频率,EM场发射器被配置为改变电容器的电容或者在电容器组中的多个电容器当中进行选择。
在第54方面,如方面43至53中任一项所述的增强现实显示系统,其中EM场发射器包括第一无线接口,EM传感器包括第二无线接口和第二TDM电路,以及EM场发射器和EM传感器被配置为:在第一无线接口和第二无线接口之间建立无线链路;以及通过无线链路使EM场发射器时钟与EM传感器时钟的时序同步。
在第55方面,如方面43至54中任一项所述的增强现实显示系统,其中EM场发射器被配置为将EM脉冲发射到EM传感器,以及EM场发射器或EM传感器被配置为确定EM场发射器时钟和EM传感器时钟之间的时序差。在另一方面,如方面43至54中任一项所述的AR显示系统可以被配置为使得EM场发射器包括声发生器,以及EM传感器包括声传感器。AR显示系统可以被配置为至少部分地基于声学信号和电磁信号之间的所测量的延迟来确定发射器和传感器之间的第一距离的飞行时间。AR显示系统还可以被配置为至少部分地基于电磁信号的振幅来确定发射器和传感器之间的第二距离。AR显示系统还可以被配置为至少部分地基于第一距离和第二距离的比较来校准系统。
在第56方面,如方面49至55中任一项所述的增强现实显示系统,其中EM场发射器被配置为应用TDM时序协议,其中:第一发送器线圈在第一时间段期间传输,而第二发送器线圈在第一时间段内基本上不传输;以及第二发送器线圈在不同于第一时间段的第二时间段期间传输,而第一发送器线圈在第二时间段期间基本上不传输。
在第56方面,如方面43至56中任一项所述的增强现实显示系统,其中EM场发射器被配置为产生具有第一频率的磁场,以及EM传感器被配置为:扫描第一频率下的无意的射频(RF)干扰;以及响应于确定第一频率下存在无意的RF干扰,切换到与第一频率不同的第二频率。
在第58方面,如方面43至57中任一项所述的增强现实显示系统,其中EM场发射器包括自动增益控制(AGC)电路,该自动增益控制(AGC)电路被配置为:接收关于EM传感器中的线圈的电压电平;以及至少部分地基于所接收的电压电平来调整EM场发射器的放大级的增益。
在第59方面,一种操作用于增强现实(AR)显示系统的电磁(EM)跟踪系统的方法,该AR显示系统包括头戴式AR显示器、EM发射器和包括被提供的EM传感器的便携式用户输入设备。该方法包括通过便携式用户输入设备中的EM发射器发射时间变化的磁场;通过EM传感器检测时间变化的磁场;至少部分地基于检测到的磁场确定EM传感器的姿态;至少部分地基于所确定的姿态确定要向AR显示系统的用户显示的虚拟内容;以及通过头戴式AR显示器显示虚拟内容。头戴式AR显示器可以包括光场显示器。
在第60方面,如方面59所述的方法,还包括使EM发射器和EM传感器时间同步。
在第61方面,如方面59或方面60所述的方法,还包括从所检测的磁场中消除磁干扰。
在第62方面,如方面59至61中任一项所述的方法,还包括将与EM传感器的姿态相关联的真实世界坐标与跟虚拟内容相关联的虚拟世界坐标相关联。
在第63方面,如方面59至62中任一项所述的方法操作的AR显示系统。该AR显示系统可包括光场显示器。
其他考虑因素
本文描述的和/或附图描绘的过程、方法以及算法中的每一者可体现在以下项中并通过以下项被全部或部分自动化:代码模块,其由一个或多个物理计算系统、硬件计算机处理器、专用电路执行;和/或电子硬件,其被配置为执行具体和特定计算机指令。例如,计算系统能包括用具体计算机指令或专用计算机编程的通用计算机(例如服务器)、专用电路等。代码模块可被编译并链接到可执行程序中,安装在动态链接库中,或可用解释性编程语言编写。在一些实施方式中,特定操作和方法可由特定于给定功能的电路来执行。
此外,本公开的功能的特定实施方式在数学上、计算上或技术上都足够复杂,以至于为了执行所述功能(例如由于所涉及的计算量或复杂性)或为了基本实时地提供结果,专用硬件或者一个或多个物理计算设备(利用适当的专有可执行指令)可以是必需的。例如,视频可包括多个帧,每帧具有数百万个像素,为了处理视频数据以在商业合理的时间量内提供期望的图像处理任务或应用,专用编程计算机硬件是必需的。
代码模块或任何类型的数据可被存储在任何类型的非暂时性计算机可读介质上,诸如物理计算机存储器,包括硬盘驱动器、固态存储器、随机存取存储器(RAM)、只读存储器(ROM)、光盘、易失性或非易失性存储器以及相同和/或相似元件的组合。方法和模块(或数据)也可在各种计算机可读传输介质上作为生成的数据信号(例如,作为载波或其他模拟或数字播放信号的一部分)传输,所述传输介质包括基于无线的介质和基于有线/电缆的介质,且可采取多种形式(例如,作为单一或多路复用模拟信号的一部分,或者作为多个离散数字数据包或帧)。所公开的过程或处理步骤的结果可持久地或以其他方式存储在任何类型的非暂时性实体计算机存储器中,或可经由计算机可读传输介质进行传送。
本文所描述和/或附图所描绘的流程图中的任何过程、框、状态、步骤或功能应当被理解为潜在地表示代码模块、代码段或代码部分,它们包括在过程中实现具体功能(例如逻辑功能或算术功能)或步骤的一个或多个可执行指令。各种过程、框、状态、步骤或功能能够根据本文提供的说明性示例进行组合、重新排列、添加、删除、修改或其他改变。在一些实施例中,额外或不同的计算系统或代码模块可执行本文所述的一些或全部功能。本文所述方法和过程也不限于任何具体的顺序,且与其相关的框、步骤或状态能以适当的其他顺序来执行,例如以串行、并行或某种其他方式。可向所公开的示例实施例添加或从中移除任务或事件。此外,本文所述的实施方式中的分离各种系统部件是出于说明的目的,且不应被理解为在所有实施方式中都需要这样的分离。应该理解,所描述的程序部件、方法以及系统一般能一起集成在单个计算机产品中或封装到多个计算机产品中。许多实施方式变体是可行的。
过程、方法以及系统可在网络(或分布式)计算环境中实施。网络环境包括企业范围的计算机网络、内联网、局域网(LAN)、广域网(WAN)、个人区域网络(PAN)、云计算网络、众包计算网络、因特网以及万维网。网络可以是有线或无线网络或者任何其他类型的通信网络。
本发明包括可以使用主题装置执行的方法。该方法可以包括提供这种合适的装置的动作。这种提供可以由终端用户执行。换言之,“提供”动作仅仅需要终端用户获得、访问、接近、定位、设置、激活、开启或以其它方式提供在该方法中的必要装置。在此所述的方法可以按逻辑上可能的所述事件的任何顺序以及按照所记载的事件顺序进行。
本公开的系统和方法各自具有若干创新性方面,这些方面中的任一单个方面不单独负责本文所公开的期望待性或不是本文所公开的期望待性所必需的。上述各种特征和过程可彼此独立使用或可以以各种方式组合使用。所有可能的组合和子组合均旨在落入此公开的范围内。对此公开所述的实施方式的各种修改对于本领域技术人员而言可以是显而易见的,且在不脱离此公开的精神或范围的情况下,可将本文中限定的一般原理应用于其他实施方式。因此,权利要求不旨在限于本文所示的实施方式,而是应被赋予与本文所公开的此公开、原理和新颖特征一致的最宽范围。
在单独实施方式的上下文中在此说明书所述的某些特征也能在单个实施方式中组合实现。相反,在单个实施方式的上下文中所述的各种特征也能在多个实施方式中单独地或以任何合适的子组合实现。此外,尽管上文可将特征描述为以某些组合执行,甚至最初这样要求保护,但在一些情况下,来自所要求保护的组合的一个或多个特征能被从该组合中删除,且所要求保护的组合可涉及子组合或子组合的变体。任何单个特征或特征组对于每个实施例都不是必需或不可或缺的。
本文中使用的条件语,诸如(除其他项外)“能”、“能够”、“可能”、“可以”、“例如”等一般旨在表达某些实施例包括而其他实施例不包括某些特征、元素和/或步骤,另有具体说明或在上下文中另有理解除外。因此,这样的条件语一般不旨在暗示特征、元素和/或步骤以任何方式对于一个或多个实施例是必需的,或者一个或多个实施例必然包括用于在具有或没有程序设计者输入或提示的情况下决定这些特征、元素和/或步骤是否包括在或者是否将在任何具体实施例中执行的逻辑。术语“包括”、“包含”、“具有”等是同义词,且以开放式的方式包含性地使用,且不排除额外的元素、特征、动作、操作等。此外,术语“或”以其包含性含义(而不是其专有性含义)使用,因此,当被用于例如连接元素列表时,术语“或”意味着列表中的一个、一些或全部元素。另外,本申请和所附权利要求书中使用的冠词“一”、“一个”和“所述”应被解释为意味着“一个或多个”或“至少一个”,另有具体说明除外。除了在此具体定义之外,应在保持权利要求有效性的同时给定在此使用的所有技术和科学术语尽可能广泛的通常理解含义。
如本文所使用的,涉及项目列表的“至少一个”的短语指这些项目的任何组合,包括单个成员。作为示例,“A、B或C中的至少一个”旨在覆盖:A、B、C、A和B、A和C、B和C以及A、B和C。诸如短语“X、Y以及Z中的至少一个”的连接语(除非另有声明)以通常使用的上下文来理解,以表达项目、术语等可以是X、Y或Z中的至少一个。因此,这样的连接语一般并不旨在暗示某些实施例要求X中的至少一个、Y中的至少一个以及Z中的至少一个中的每个都存在。
类似地,虽然操作在附图中可以以特定顺序描绘,但应认识到,这样的操作不需要以所述特定顺序或以相继顺序执行,或执行所有例示的操作以实现期望的结果。此外,附图可以以流程图的形式示意性地描绘一个或多个示例过程。然而,未示出的其他操作能并入示意性地示出的示例方法和过程中。例如,能在任何所示操作之前、之后、同时或期间执行一个或多个附加操作。另外,在其他实施方式中,操作可被重新排列或重新排序。在某些情况下,多任务和并行处理可具有优势。此外,上述实施方式描述的各种系统部件的分离不应被理解为在所有实施方式中都需要这种分离,且应该理解,所述程序部件和系统一般能被一起集成在单个软件产品中或封装到多个软件产品中。另外,其他实施方式处于以下权利要求的范围内。在一些情况下,权利要求中列举的动作能以不同的顺序执行,且仍实现期望的结果。
权利要求书(按照条约第19条的修改)
1.一种具有控制和快速释放模块的腰带包,包括:
第一外壳部件和第二外壳部件,其中所述第一外壳部件和所述第二外壳部件耦接在一起;
位于所述第一外壳上的一个或多个按钮,其中所述一个或多个按钮叠加在顶部印刷电路板之上;
连接到所述第一外壳的第一端;
连接到所述第二壳体的第二端;
位于所述第一外壳和所述第二外壳之间的本地处理和数据模块;以及
位于所述第一外壳和所述第二外壳之间的电引线,其中所述电引线连接所述第一端、所述本地处理和数据模块和所述第二端。
2.根据权利要求1所述的腰带包,其中所述第一外壳部件和所述第二外壳部件通过用于增强机械锁定的磁耦接配置耦接在一起。
3.根据权利要求1所述的腰带包,其中所述一个或多个按钮包括圆形按钮或三角形按钮中的至少一个。
4.根据权利要求1所述的腰带包,还包括位于所述第一外壳和所述第二外壳之间的显示器,以及其中所述电引线还运行通过所述显示器。
5.根据权利要求1所述的腰带包,其中所述顶部印刷电路板叠加在阴性接触销阵列的顶部上。
6.根据权利要求1所述的腰带包,其中所述第二壳体覆盖下部印刷电路板,其中所述下部印刷电路板叠加在阳性接触销阵列的顶部上。
7.根据权利要求6所述的腰带包,其中所述阳性接触销阵列与所述阴性接触销阵列配合。
8.根据权利要求7所述的腰带包,其中所述阳性接触销阵列或所述阴性接触销阵列中的至少一个中的销被配置为被弹簧加载的,使得所述销可以沿着每个销的纵向轴被压下。
9.根据权利要求8所述的腰带包,其中所述销包括被镀到所述阳性销上的导电材料,以及所述导电材料的宽度可以为至少25μm。
10.根据权利要求7所述的腰带包,其中所述阳性接触销阵列包括46个阳性销以及所述阴性接触销阵列包括46个阴性销。
11.根据权利要求7所述的腰带包,其中所述阳性接触销阵列经由磁性接口与所述阴性接触销阵列配合,所述磁性接口通常为矩形并围绕所述销阵列以及为约1mm宽且4.8mm高。
12.根据权利要求11所述的腰带包,其中围绕所述阳性销阵列的第一磁体具有第一极性,以及围绕所述阴性销阵列的第二磁体具有与所述第一极性相反的第二极性。
13.根据权利要求6所述的腰带包,其中所述阳性销阵列或所述阴性销阵列中的至少一者具有约42至50mm的长度、约7至10mm的宽度以及约5mm的高度。

Claims (20)

1.一种增强现实显示系统,包括:
显示器,其被配置为将虚拟图像投影到佩戴者的眼睛;
框架,其被配置为将所述显示器安装在所述佩戴者的所述眼睛的前方;
电磁(EM)场发射器,其配置为产生磁场;
EM传感器,其被配置为感测所述磁场,其中所述EM场发射器或所述EM传感器中的一个被机械地耦接到所述框架,以及所述EM场发射器或所述EM传感器中的另一个被机械地耦接到所述增强现实显示系统的相对于所述框架而独立可移动的部件;以及
硬件处理器,其被编程为:
接收来自所述EM传感器的指示感测到的磁场的信号;以及
分析所述接收到的信号以确定所述EM传感器的位置或取向。
2.根据权利要求1所述的增强现实显示系统,其中所述显示器包括光场显示器。
3.根据权利要求1所述的增强现实显示系统,其中:
所述部件包括用户输入图腾或腰带包,
所述EM传感器被机械地耦接到所述框架,以及
所述EM场发射器被机械地耦接到所述用户输入图腾或腰带包。
4.根据权利要求1所述的增强现实显示系统,还包括:
音频扬声器,
其中所述增强现实显示系统包括噪声消除电路,所述噪声消除电路被配置为消除所述感测到的磁场中的由所述音频扬声器产生的磁干扰。
5.根据权利要求4所述的增强现实显示系统,其中所述噪声消除电路被配置为:
接收来自所述EM传感器的第一信号;
接收来自所述音频扬声器的第二信号;
将所述第一信号和所述第二信号组合以提供被消除噪声的信号。
6.根据权利要求5所述的增强现实显示系统,其中为了组合所述第一信号和所述第二信号,所述噪声消除电路被配置为:(a)使所述第二信号反相并将所述反相的第二信号添加到所述第一信号或(b)从所述第一信号中减去所述第二信号。
7.根据权利要求1所述的增强现实显示系统,其中所述EM场发射器包括:
第一发送器线圈,其被配置为产生具有第一频率的第一磁场;
第二发送器线圈,其被配置为产生具有第二频率的第二磁场;以及
时分多路复用(TDM)电路,其被配置为分别在所述第一发送器线圈和所述第二发送器线圈之间切换功率。
8.根据权利要求7所述的增强现实显示系统,其中所述TDM电路包括被TDM切换到所述第一和第二发送器线圈中的每一个的单个放大器电路。
9.根据权利要求7所述的增强现实显示系统,其中所述第一发送器线圈和所述第二发送器线圈沿相互正交的轴设置。
10.根据权利要求7所述的增强现实显示系统,其中所述EM场发射器被配置为动态地调谐所述第一频率或所述第二频率。
11.根据权利要求10所述的增强现实显示系统,其中为了动态地调谐所述第一频率或所述第二频率,所述EM场发射器被配置为改变电容器的电容或者在电容器组中的多个电容器当中选择。
12.根据权利要求7所述的增强现实显示系统,其中所述EM场发射器包括第一无线接口,所述EM传感器包括第二无线接口和第二TDM电路,以及所述EM场发射器和所述EM传感器被配置为:
在所述第一无线接口和所述第二无线接口之间建立无线链路;以及
通过所述无线链路使EM场发射器时钟和EM传感器时钟的时序同步。
13.根据权利要求7所述的增强现实显示系统,其中所述EM场发射器被配置为将EM脉冲发射到所述EM传感器,以及所述EM场发射器或所述EM传感器被配置为确定EM场发射器时钟和EM传感器时钟之间的时序差。
14.根据权利要求7所述的增强现实显示系统,其中所述EM场发射器被配置为应用TDM时序协议,其中:
所述第一发送器线圈在第一时间段期间传输,而所述第二发送器线圈在所述第一时间段期间基本上不传输;以及
所述第二发送器线圈在不同于所述第一时间段的第二时间段期间传输,而所述第一发送器线圈在所述第二时间段期间基本上不传输。
15.根据权利要求1所述的增强现实显示系统,其中所述EM场发射器被配置为产生在第一频率下的所述磁场,以及所述EM传感器被配置为:
扫描在所述第一频率下的无意的射频(RF)干扰;以及
响应于确定在所述第一频率下存在无意的RF干扰,切换到与所述第一频率不同的第二频率。
16.根据权利要求1所述的增强现实显示系统,其中所述EM场发射器包括自动增益控制(AGC)电路,所述自动增益控制电路被配置为:
接收关于所述EM传感器中的线圈的电压电平;以及
至少部分地基于所述接收到的电压电平来调整所述EM场发射器的放大级的增益。
17.一种操作用于增强现实(AR)显示系统的电磁(EM)跟踪系统的方法,所述AR显示系统包括头戴式AR显示器、EM发射器和包括EM传感器的便携式用户输入设备,所述方法包括:
通过所述便携式用户输入设备中的所述EM发射器发射时间变化的磁场;
通过所述EM传感器检测所述时间变化的磁场;
至少部分地基于所述检测到的磁场确定所述EM传感器的姿态;
至少部分地基于所述确定的姿态确定要向所述AR显示系统的用户显示的虚拟内容;以及
通过所述头戴式AR显示器显示所述虚拟内容。
18.根据权利要求17所述的方法,还包括使所述EM发射器和所述EM传感器时间同步。
19.根据权利要求17所述的方法,还包括从所述检测到的磁场中消除磁干扰。
20.根据权利要求17所述的方法,还包括将与所述EM传感器的所述姿态相关联的真实世界坐标跟与所述虚拟内容相关联的虚拟世界坐标相关联。
CN201780038686.5A 2016-04-26 2017-04-24 使用增强现实系统的电磁跟踪 Active CN109689173B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210265122.8A CN114699751A (zh) 2016-04-26 2017-04-24 使用增强现实系统的电磁跟踪

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662328003P 2016-04-26 2016-04-26
US62/328,003 2016-04-26
US201762479111P 2017-03-30 2017-03-30
US62/479,111 2017-03-30
PCT/US2017/029189 WO2017189450A1 (en) 2016-04-26 2017-04-24 Electromagnetic tracking with augmented reality systems

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210265122.8A Division CN114699751A (zh) 2016-04-26 2017-04-24 使用增强现实系统的电磁跟踪

Publications (2)

Publication Number Publication Date
CN109689173A true CN109689173A (zh) 2019-04-26
CN109689173B CN109689173B (zh) 2022-03-18

Family

ID=60089537

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780038686.5A Active CN109689173B (zh) 2016-04-26 2017-04-24 使用增强现实系统的电磁跟踪
CN202210265122.8A Pending CN114699751A (zh) 2016-04-26 2017-04-24 使用增强现实系统的电磁跟踪

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210265122.8A Pending CN114699751A (zh) 2016-04-26 2017-04-24 使用增强现实系统的电磁跟踪

Country Status (10)

Country Link
US (5) US10261162B2 (zh)
EP (2) EP4130942A1 (zh)
JP (4) JP7027336B2 (zh)
KR (3) KR20230054499A (zh)
CN (2) CN109689173B (zh)
AU (2) AU2017257549B2 (zh)
CA (1) CA3021964A1 (zh)
IL (2) IL262504B (zh)
NZ (3) NZ787464A (zh)
WO (1) WO2017189450A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675307A (zh) * 2019-08-19 2020-01-10 杭州电子科技大学 基于vslam的3d稀疏点云到2d栅格图的实现方法
TWI696980B (zh) * 2019-04-26 2020-06-21 未來市股份有限公司 使用深度引擎和數位訊號處理器的互動影像處理方法、裝置及媒體
CN111537988A (zh) * 2020-03-31 2020-08-14 北京小米移动软件有限公司 角色控制方法、角色控制装置及计算机可读存储介质
US10885671B2 (en) 2019-04-17 2021-01-05 XRSpace CO., LTD. Method, apparatus, and non-transitory computer-readable medium for interactive image processing using depth engine and digital signal processor
US11039118B2 (en) 2019-04-17 2021-06-15 XRSpace CO., LTD. Interactive image processing system using infrared cameras
CN113029190A (zh) * 2019-12-09 2021-06-25 未来市股份有限公司 运动跟踪系统和方法
CN113124852A (zh) * 2019-12-31 2021-07-16 北京凌宇智控科技有限公司 一种多传感器融合定位系统及定位方法
CN113426089A (zh) * 2021-06-02 2021-09-24 杭州融梦智能科技有限公司 头戴式设备及其交互方法
WO2021190280A1 (en) * 2020-03-24 2021-09-30 Guangdong Oppo Mobile Telecommunications Corp., Ltd. System and method for augmented tele-cooperation
CN113874816A (zh) * 2019-05-22 2021-12-31 脸谱科技有限责任公司 人工现实系统中身体姿态跟踪的磁传感器采样频率的同步

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
EP3405830A4 (en) 2016-01-19 2020-01-22 Magic Leap, Inc. SYSTEMS AND METHODS WITH EXTENDED REALITY USING REFLECTIONS
JP7027336B2 (ja) * 2016-04-26 2022-03-01 マジック リープ, インコーポレイテッド 拡張現実システムを用いた電磁追跡
WO2017201568A1 (en) 2016-05-23 2017-11-30 tagSpace Pty Ltd Media tags location-anchored digital media for augmented reality and virtual reality environments
US20170352184A1 (en) * 2016-06-06 2017-12-07 Adam G. Poulos Optically augmenting electromagnetic tracking in mixed reality
US10254546B2 (en) 2016-06-06 2019-04-09 Microsoft Technology Licensing, Llc Optically augmenting electromagnetic tracking in mixed reality
US10146335B2 (en) * 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Modular extension of inertial controller for six DOF mixed reality input
US10078377B2 (en) * 2016-06-09 2018-09-18 Microsoft Technology Licensing, Llc Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
US10146334B2 (en) 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Passive optical and inertial tracking in slim form-factor
CN106569339B (zh) * 2016-11-08 2019-11-15 歌尔科技有限公司 Vr头戴设备以及vr头戴设备的控制方法
US10545219B2 (en) * 2016-11-23 2020-01-28 Chirp Microsystems Three dimensional object-localization and tracking using ultrasonic pulses
JP2018107603A (ja) * 2016-12-26 2018-07-05 オリンパス株式会社 センサ情報取得装置、センサ情報取得方法、センサ情報取得プログラム及び医療器具
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP3343267B1 (en) 2016-12-30 2024-01-24 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
TWI646449B (zh) * 2017-05-12 2019-01-01 華碩電腦股份有限公司 三維定位系統與方法
US10859834B2 (en) 2017-07-03 2020-12-08 Holovisions Space-efficient optical structures for wide field-of-view augmented reality (AR) eyewear
US10338400B2 (en) 2017-07-03 2019-07-02 Holovisions LLC Augmented reality eyewear with VAPE or wear technology
US10908680B1 (en) 2017-07-12 2021-02-02 Magic Leap, Inc. Pose estimation using electromagnetic tracking
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US20190042844A1 (en) * 2017-08-03 2019-02-07 Brown University Intelligent visual prosthesis
CN107807738B (zh) * 2017-12-04 2023-08-15 成都思悟革科技有限公司 一种用于vr显示眼镜的头部动作捕捉系统及方法
US10514545B2 (en) * 2017-12-08 2019-12-24 Facebook Technologies, Llc Selective tracking of a head-mounted display
EP3721270B1 (en) 2017-12-10 2024-04-10 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
AU2018392482A1 (en) 2017-12-20 2020-07-02 Magic Leap, Inc. Insert for augmented reality viewing device
RU2020100251A (ru) * 2018-01-02 2022-02-03 Лумус Лтд. Дисплеи дополненной реальности с активным выравниванием и соответствующие способы
CA3030409A1 (en) * 2018-01-19 2019-07-19 Ascension Technology Corporation Calibrating a magnetic transmitter
CA3030247A1 (en) * 2018-01-19 2019-07-19 Ascension Technology Corporation Calibrating a magnetic sensor
WO2019156992A2 (en) * 2018-02-06 2019-08-15 Magic Leap, Inc. Systems and methods for augmented reality
DE102018202240A1 (de) * 2018-02-14 2019-08-14 Osram Gmbh Verfahren zur objekterkennung
US20190257673A1 (en) * 2018-02-22 2019-08-22 Sixense Enterprises Inc. Electromagnetic Six Degree of Freedom (6DOF) Tracking System With Non-Concentric Transmitter Coils
KR102122600B1 (ko) * 2018-03-07 2020-06-12 매직 립, 인코포레이티드 주변 디바이스들의 시각적 추적
EP3766039B1 (en) 2018-03-15 2024-08-14 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
CN112601975B (zh) 2018-05-31 2024-09-06 奇跃公司 雷达头部姿势定位
US10825424B2 (en) 2018-06-05 2020-11-03 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
US11534246B2 (en) * 2018-06-15 2022-12-27 Verb Surgical Inc. User input device for use in robotic surgery
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
US11510027B2 (en) 2018-07-03 2022-11-22 Magic Leap, Inc. Systems and methods for virtual and augmented reality
JP7519742B2 (ja) * 2018-07-23 2024-07-22 マジック リープ, インコーポレイテッド 位置ベクトルを使用して半球曖昧性を解決するための方法およびシステム
US11624929B2 (en) 2018-07-24 2023-04-11 Magic Leap, Inc. Viewing device with dust seal integration
WO2020023545A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
CN112740665A (zh) 2018-08-02 2021-04-30 奇跃公司 基于头部运动的瞳孔间距离补偿的观察系统
CN116820239A (zh) 2018-08-03 2023-09-29 奇跃公司 图腾在用户交互系统中的融合姿势的基于未融合姿势的漂移校正
JP7487176B2 (ja) 2018-08-22 2024-05-20 マジック リープ, インコーポレイテッド 患者視認システム
US11314281B2 (en) * 2018-09-10 2022-04-26 Apple Inc. Display system
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
US11666203B2 (en) * 2018-10-04 2023-06-06 Biosense Webster (Israel) Ltd. Using a camera with an ENT tool
US11519753B2 (en) * 2018-10-09 2022-12-06 Trustees Of Dartmouth College Inductive sensing apparatus and method
WO2020086356A2 (en) 2018-10-26 2020-04-30 Magic Leap, Inc. Ambient electromagnetic distortion correction for electromagnetic tracking
EP3881279A4 (en) 2018-11-16 2022-08-17 Magic Leap, Inc. IMAGE SIZE-TRIGGERED CLARIFICATION TO MAINTAIN IMAGE SHARPNESS
WO2020132484A1 (en) 2018-12-21 2020-06-25 Magic Leap, Inc. Air pocket structures for promoting total internal reflection in a waveguide
US11287885B1 (en) * 2019-01-22 2022-03-29 Facebook Technologies, Llc Apparatus, system, and method for determining the position of wearables donned by users of artificial reality systems
US11326905B1 (en) 2019-01-25 2022-05-10 Alken Inc. Dynamic mixing of and switching between sensor measurements in hybrid trackers using electromagnetic tracking
US11543529B1 (en) 2019-01-26 2023-01-03 Alken Inc. Adaptive weighting of multiple sources in a magnetic or hybrid tracking system
JP2022518779A (ja) 2019-01-28 2022-03-16 マジック リープ, インコーポレイテッド 6自由度の姿勢測定値における半球の曖昧性を解決するための方法およびシステム
WO2020163603A1 (en) 2019-02-06 2020-08-13 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
WO2020185405A1 (en) 2019-03-12 2020-09-17 Magic Leap, Inc. Registration of local content between first and second augmented reality viewers
DE102020109121A1 (de) * 2019-04-02 2020-10-08 Ascension Technology Corporation Korrektur von Verzerrungen
WO2020214272A1 (en) 2019-04-15 2020-10-22 Magic Leap, Inc. Sensor fusion for electromagnetic tracking
DE102020110212A1 (de) * 2019-04-16 2020-10-22 Ascension Technology Corporation Positions- und Orientierungsbestimmung mit einer Helmholtz-Vorrichtung
DE102019111238A1 (de) 2019-04-30 2020-11-05 Carl Zeiss Ag Verfahren zur Einstellung und Visualisierung von Parametern zur Fokussierung eines Objektivs auf ein Objekt sowie System zur Durchführung des Verfahrens
US11445232B2 (en) 2019-05-01 2022-09-13 Magic Leap, Inc. Content provisioning system and method
US11686941B2 (en) 2019-05-17 2023-06-27 Magic Leap, Inc. Methods and apparatuses for corner detection using neural network and corner detector
US10794730B1 (en) * 2019-06-03 2020-10-06 Wenbo Yang Position tracking system
US20220113798A1 (en) * 2019-06-26 2022-04-14 Hewlett-Packard Development Company, L.P. Apparatus having a handle and inflation bladders
US11514673B2 (en) 2019-07-26 2022-11-29 Magic Leap, Inc. Systems and methods for augmented reality
IT201900013200A1 (it) * 2019-07-29 2021-01-29 Uocy Italy S R L Sistema di interazione multimediale, particolarmente per applicazioni turistiche e ludiche
US20210065731A1 (en) * 2019-08-29 2021-03-04 Sony Interactive Entertainment Inc. Noise cancellation using artificial intelligence (ai)
US11592592B2 (en) 2019-09-25 2023-02-28 Disney Enterprises, Inc. Tracking system for visual effect triggering using induced magnetic field and predictive analysis
US11054923B2 (en) * 2019-10-11 2021-07-06 Finch Technologies Ltd. Automatic switching between different modes of tracking user motions to control computer applications
JP2023501574A (ja) 2019-11-14 2023-01-18 マジック リープ, インコーポレイテッド 仮想および拡張現実のためのシステムおよび方法
JP2023502927A (ja) 2019-11-15 2023-01-26 マジック リープ, インコーポレイテッド 外科手術環境において使用するための視認システム
US11454810B2 (en) 2019-12-30 2022-09-27 Northern Digital Inc. Reducing interference between Electromagnetic Tracking systems
JP2023515526A (ja) * 2020-02-26 2023-04-13 マジック リープ, インコーポレイテッド ウェアラブルシステムのための手およびトーテム入力融合
CN111988534B (zh) * 2020-07-23 2021-08-20 首都医科大学附属北京朝阳医院 一种基于多摄像头的画面拼接方法和装置
EP3958095A1 (en) * 2020-08-21 2022-02-23 Deutsche Telekom AG A mobile computer-tethered virtual reality/augmented reality system using the mobile computer as a man machine interface
US11489336B1 (en) 2021-06-29 2022-11-01 Microsoft Technology Licensing, Llc Two wire power delivery system for mobile devices with passive orientation detection
WO2023282885A1 (en) * 2021-07-06 2023-01-12 Hewlett-Packard Development Company, L.P. Adjusting ergonomic configurations of display devices
EP4399589A1 (en) * 2021-09-10 2024-07-17 Manus Technology Group B.V. Novel self-governing synchronization system and method
US11693063B2 (en) * 2021-09-16 2023-07-04 Penumbra, Inc. Method and apparatus for automatic frequency selection in magnetic tracking systems
US20230132644A1 (en) * 2021-10-28 2023-05-04 Meta Platforms Technologies, Llc Tracking a handheld device
US11797127B1 (en) * 2021-11-16 2023-10-24 Alken Inc. Hybrid tracking with auto-correction
US11675421B1 (en) * 2021-12-23 2023-06-13 Microsoft Technology Licensing, Llc Time-multiplexing resonant drive scheme to generate dual polarity supplies
US20230224667A1 (en) * 2022-01-10 2023-07-13 Sound United Llc Virtual and mixed reality audio system environment correction
US11960082B2 (en) 2022-07-13 2024-04-16 Htc Corporation Virtual reality system and object detection method applicable to virtual reality system
US11775064B1 (en) * 2022-07-29 2023-10-03 Hunter Maximilian King Multiple-magnet hand-mounted position-tracking device
WO2024090630A1 (ko) * 2022-10-28 2024-05-02 엘지전자 주식회사 전송 코일을 구비하는 헤드 마운티드 디스플레이 장치 및 이를 포함하는 사용자 인터랙션 추정 시스템
US12063389B2 (en) * 2022-11-10 2024-08-13 Rovi Guides, Inc. 3D prediction method for video coding
US12068803B2 (en) 2022-12-28 2024-08-20 Microsoft Technology Licensing, Llc Time domain separated powerline communications method for input source selection

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2490773Y (zh) * 2001-07-09 2002-05-08 王小光 穿戴式多功能可视大屏幕移动通讯装置
US20040143176A1 (en) * 1998-04-17 2004-07-22 Massachusetts Institute Of Technology, A Massachusetts Corporation Motion tracking system
US20040201857A1 (en) * 2000-01-28 2004-10-14 Intersense, Inc., A Delaware Corporation Self-referenced tracking
CN101258436A (zh) * 2005-09-08 2008-09-03 瑞士电信流动电话公司 通信设备、系统和方法
CN201508788U (zh) * 2008-09-03 2010-06-16 苹果公司 按钮控制器组件和耳机
CN102194254A (zh) * 2010-03-04 2011-09-21 索尼公司 信息处理设备、信息处理方法,和程序
CN102567617A (zh) * 2010-10-19 2012-07-11 株式会社泛泰 用于提供增强现实信息的装置和方法
CN102656474A (zh) * 2010-03-08 2012-09-05 英派尔科技开发有限公司 用于增强现实的宽带无源跟踪
CN102893236A (zh) * 2010-07-20 2013-01-23 英派尔科技开发有限公司 增强现实临近检测
CN104407700A (zh) * 2014-11-27 2015-03-11 曦煌科技(北京)有限公司 一种移动头戴式虚拟现实和增强现实的设备
CN105188516A (zh) * 2013-03-11 2015-12-23 奇跃公司 用于增强和虚拟现实的系统与方法

Family Cites Families (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4007443A (en) * 1974-05-06 1977-02-08 Termiflex Corporation Hand-held interactive terminal
US4287809A (en) 1979-08-20 1981-09-08 Honeywell Inc. Helmet-mounted sighting system
US4346384A (en) 1980-06-30 1982-08-24 The Austin Company Remote object position and orientation locator
USD322244S (en) * 1989-11-20 1991-12-10 Bishai Mark R Remote control housing for a curtain positioner
JPH0442029U (zh) * 1990-08-09 1992-04-09
EP0606388A4 (en) * 1991-10-04 1994-12-07 Micromed Systems Inc POCKET INPUT DEVICE AND METHOD FOR COMPUTERS.
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
CA2161126C (en) 1993-04-22 2007-07-31 Waldean A. Schulz System for locating relative positions of objects
US5579026A (en) * 1993-05-14 1996-11-26 Olympus Optical Co., Ltd. Image display apparatus of head mounted type
US5685776A (en) * 1994-11-23 1997-11-11 Tiger Electronics, Inc. Hand-held electronic game devices
FR2734900B1 (fr) 1995-06-01 1997-07-04 Sextant Avionique Procede de determination de la position et de l'orientation d'un systeme mobile, notamment de la ligne de visee dans un viseur de casque
US5670988A (en) * 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US6022274A (en) * 1995-11-22 2000-02-08 Nintendo Co., Ltd. Video game system using memory module
USD387352S (en) * 1996-03-19 1997-12-09 Microsoft Corporation Remote control
WO1998007129A1 (fr) * 1996-08-14 1998-02-19 Latypov Nurakhmed Nurislamovic Procede de suivi et de representation de la position et de l'orientation d'un sujet dans l'espace, procede de presentation d'un espace virtuel a ce sujet, et systemes de mise en oeuvre de ces procedes
US6380732B1 (en) 1997-02-13 2002-04-30 Super Dimension Ltd. Six-degree of freedom tracking system having a passive transponder on the object being tracked
JP3849250B2 (ja) * 1997-09-30 2006-11-22 株式会社島津製作所 磁気式3次元トラッカー
USD424553S (en) * 1998-09-01 2000-05-09 Abc International Traders, Inc. Combined headset and handset video game
JP2000102036A (ja) 1998-09-22 2000-04-07 Mr System Kenkyusho:Kk 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法
US6222675B1 (en) * 1998-12-01 2001-04-24 Kaiser Electro-Optics, Inc. Area of interest head-mounted display using low resolution, wide angle; high resolution, narrow angle; and see-through views
JP2000215744A (ja) 1999-01-25 2000-08-04 Nichifu Co Ltd コネクタ付きスイッチ
US6163155A (en) 1999-01-28 2000-12-19 Dresser Industries, Inc. Electromagnetic wave resistivity tool having a tilted antenna for determining the horizontal and vertical resistivities and relative dip angle in anisotropic earth formations
GB9917591D0 (en) 1999-07-28 1999-09-29 Marconi Electronic Syst Ltd Head tracker system
JP2001356875A (ja) 2000-06-13 2001-12-26 Toshiba Corp ポインタ表示システム
US6484118B1 (en) 2000-07-20 2002-11-19 Biosense, Inc. Electromagnetic position single axis system
US6990453B2 (en) 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
US6861982B2 (en) 2001-08-16 2005-03-01 Itt Manufacturing Enterprises, Inc. System for determining position of an emitter
US6774624B2 (en) 2002-03-27 2004-08-10 Ge Medical Systems Global Technology Company, Llc Magnetic tracking system
JP4425126B2 (ja) 2002-04-25 2010-03-03 ランドマーク・デジタル・サービシーズ・エルエルシー ロバストかつインバリアントな音声パターンマッチング
JP2004056272A (ja) * 2002-07-17 2004-02-19 Japan Aviation Electronics Industry Ltd 全周映像表示装置及びそれに用いるヘッドトラッカーの磁気補正方法
JP2004201728A (ja) 2002-12-24 2004-07-22 Mitsumi Electric Co Ltd コントローラ
US7599629B2 (en) 2003-06-06 2009-10-06 Scientific-Atlanta, Inc. Optical receiver having an open loop automatic gain control circuit
DE10330071B4 (de) 2003-07-03 2013-01-24 Byk Gardner Gmbh Vorrichtung und Verfahren zur Bestimmung von Oberflächeneigenschaften
US7443154B1 (en) 2003-10-04 2008-10-28 Seektech, Inc. Multi-sensor mapping omnidirectional sonde and line locator
US7710395B2 (en) 2004-07-14 2010-05-04 Alken, Inc. Head-mounted pointing and control device
IL165314A (en) 2004-11-21 2009-08-03 Elbit Ltd Electromagnetic tracker
US7276910B2 (en) * 2005-07-19 2007-10-02 Seektech, Inc. Compact self-tuned electrical resonator for buried object locator applications
US7787648B1 (en) * 2005-08-26 2010-08-31 At&T Mobility Ii Llc Active cancellation hearing assistance device
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
WO2007087898A1 (en) * 2006-02-01 2007-08-09 Telefonaktiebolaget Lm Ericsson (Publ) Routing media streams from packet switched network to circuit switched network
JP4151982B2 (ja) * 2006-03-10 2008-09-17 任天堂株式会社 動き判別装置および動き判別プログラム
WO2007117951A2 (en) 2006-03-29 2007-10-18 Stryker Corporation Shielded surgical navigation system that determines the position and orientation of the tracked object with real and virtual dipoles
JP2007272067A (ja) * 2006-03-31 2007-10-18 Brother Ind Ltd 画像表示装置
JP4757115B2 (ja) 2006-06-28 2011-08-24 キヤノン株式会社 画像処理装置、画像処理方法
US10908421B2 (en) 2006-11-02 2021-02-02 Razer (Asia-Pacific) Pte. Ltd. Systems and methods for personal viewing devices
US8090194B2 (en) 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
US7796715B2 (en) * 2006-12-28 2010-09-14 Motorola, Inc. Method and apparatus for reducing intra-device interference
US20090024050A1 (en) 2007-03-30 2009-01-22 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Computational user-health testing
CN101093586A (zh) 2007-07-12 2007-12-26 上海交通大学 面向复杂场景实时交互操作的并行碰撞检测方法
WO2009035645A1 (en) 2007-09-14 2009-03-19 Alken Inc., Doing Business As Polhemus Ac magnetic tracking with phase disambiguation
IL195389A (en) 2008-11-19 2013-12-31 Elbit Systems Ltd Magnetic Field Mapping System and Method
JP5129795B2 (ja) 2009-08-19 2013-01-30 東洋ガラス株式会社 物体識別装置および物体選別装置
US8854798B1 (en) * 2009-10-02 2014-10-07 Qmotion Incorporated Transmitter holder apparatus and method
JP2011085868A (ja) 2009-10-19 2011-04-28 Nikon Corp 画像生成装置、画像生成方法およびプログラム
CN102906623A (zh) * 2010-02-28 2013-01-30 奥斯特豪特集团有限公司 交互式头戴目镜上的本地广告内容
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
CA2822978C (en) 2010-12-24 2019-02-19 Hong Hua An ergonomic head mounted display device and optical system
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
EP2499960B1 (en) 2011-03-18 2015-04-22 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method for determining at least one parameter of two eyes by setting data rates and optical measuring device
JP5807364B2 (ja) 2011-04-08 2015-11-10 株式会社バッファロー 管理装置、管理方法、プログラムおよび記録媒体
CN103635891B (zh) 2011-05-06 2017-10-27 奇跃公司 大量同时远程数字呈现世界
US8675781B2 (en) 2011-09-08 2014-03-18 Thinkrf Corporation Radio frequency receiver system for wideband signal processing
US8743051B1 (en) 2011-09-20 2014-06-03 Amazon Technologies, Inc. Mirror detection-based device functionality
EP2760363A4 (en) 2011-09-29 2015-06-24 Magic Leap Inc TACTILE GLOVE FOR HUMAN COMPUTER INTERACTION
CN104011788B (zh) 2011-10-28 2016-11-16 奇跃公司 用于增强和虚拟现实的系统和方法
KR102440195B1 (ko) 2011-11-23 2022-09-02 매직 립, 인코포레이티드 3차원 가상 및 증강 현실 디스플레이 시스템
US8958599B1 (en) 2012-01-06 2015-02-17 Google Inc. Input method and system based on ambient glints
US20130194389A1 (en) 2012-01-31 2013-08-01 Ben Vaught Head-mounted display device to measure attentiveness
BR112014024941A2 (pt) 2012-04-05 2017-09-19 Magic Leap Inc dispositivo de imagem de campo de visão amplo com capacidade de focalização ativa
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN104737061B (zh) 2012-06-11 2018-01-16 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
US9880193B2 (en) 2012-08-15 2018-01-30 Qualcomm Incorporated Device driven inertial interference compensation
JP2015534108A (ja) 2012-09-11 2015-11-26 マジック リープ, インコーポレイテッド 人間工学的な頭部搭載型ディスプレイデバイスおよび光学システム
IL283193B (en) 2013-01-15 2022-08-01 Magic Leap Inc A system for scanning electromagnetic imaging radiation
US9589294B2 (en) 2013-01-23 2017-03-07 Wal-Mart Stores, Inc. Location based alerts for shopper
WO2014160342A1 (en) 2013-03-13 2014-10-02 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
US20140267004A1 (en) * 2013-03-13 2014-09-18 Lsi Corporation User Adjustable Gesture Space
NZ735754A (en) 2013-03-15 2019-04-26 Magic Leap Inc Display system and method
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10330931B2 (en) 2013-06-28 2019-06-25 Microsoft Technology Licensing, Llc Space carving based on human physical data
US10228242B2 (en) 2013-07-12 2019-03-12 Magic Leap, Inc. Method and system for determining user input based on gesture
JP6111932B2 (ja) 2013-08-26 2017-04-12 ソニー株式会社 行動支援装置、行動支援方法、プログラム、および記憶媒体
WO2015039050A1 (en) * 2013-09-13 2015-03-19 Nod, Inc Using the human body as an input device
US20150097719A1 (en) * 2013-10-03 2015-04-09 Sulon Technologies Inc. System and method for active reference positioning in an augmented reality environment
IL295157B2 (en) 2013-10-16 2023-10-01 Magic Leap Inc An augmented or virtual reality head device with intrapupillary distance adjustment
US9672649B2 (en) 2013-11-04 2017-06-06 At&T Intellectual Property I, Lp System and method for enabling mirror video chat using a wearable display device
CN107315249B (zh) 2013-11-27 2021-08-17 奇跃公司 虚拟和增强现实系统与方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US9360935B2 (en) 2013-12-20 2016-06-07 Hong Kong Applied Science And Technology Research Institute Co. Ltd. Integrated bi-sensing optical structure for head mounted display
NZ722904A (en) 2014-01-31 2020-05-29 Magic Leap Inc Multi-focal display system and method
CN111552079B (zh) 2014-01-31 2022-04-15 奇跃公司 多焦点显示系统和方法
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10430985B2 (en) 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US9649558B2 (en) * 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
US9344673B1 (en) 2014-03-14 2016-05-17 Brian K. Buchheit Enhancing a camera oriented user interface via an eye focus guide
JP6320143B2 (ja) 2014-04-15 2018-05-09 株式会社東芝 健康情報サービスシステム
JP2015210797A (ja) 2014-04-30 2015-11-24 シャープ株式会社 表示装置
AU2015297036B2 (en) 2014-05-09 2017-09-28 Google Llc Systems and methods for discerning eye signals and continuous biometric identification
CA3124368C (en) 2014-05-30 2023-04-25 Magic Leap, Inc. Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
US10056054B2 (en) * 2014-07-03 2018-08-21 Federico Fraccaroli Method, system, and apparatus for optimising the augmentation of radio emissions
US9599821B2 (en) 2014-08-08 2017-03-21 Greg Van Curen Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
US9841784B2 (en) * 2014-09-26 2017-12-12 Intel Corporation Apparatus and method for controlling wearable devices using wireless energy harvesting
WO2016141373A1 (en) 2015-03-05 2016-09-09 Magic Leap, Inc. Systems and methods for augmented reality
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
CN106303498B (zh) 2015-05-30 2018-10-16 北京智谷睿拓技术服务有限公司 视频显示控制方法和装置、显示设备
US10049303B2 (en) 2015-10-01 2018-08-14 Infinity Augmented Reality Israel Ltd. Method and a system for identifying reflective surfaces in a scene
US9851561B2 (en) 2015-12-23 2017-12-26 Intel Corporation Head-mounted device with rear-facing camera
EP3405830A4 (en) 2016-01-19 2020-01-22 Magic Leap, Inc. SYSTEMS AND METHODS WITH EXTENDED REALITY USING REFLECTIONS
JP7027336B2 (ja) 2016-04-26 2022-03-01 マジック リープ, インコーポレイテッド 拡張現実システムを用いた電磁追跡

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040143176A1 (en) * 1998-04-17 2004-07-22 Massachusetts Institute Of Technology, A Massachusetts Corporation Motion tracking system
US20040201857A1 (en) * 2000-01-28 2004-10-14 Intersense, Inc., A Delaware Corporation Self-referenced tracking
CN2490773Y (zh) * 2001-07-09 2002-05-08 王小光 穿戴式多功能可视大屏幕移动通讯装置
CN101258436A (zh) * 2005-09-08 2008-09-03 瑞士电信流动电话公司 通信设备、系统和方法
CN201508788U (zh) * 2008-09-03 2010-06-16 苹果公司 按钮控制器组件和耳机
CN102194254A (zh) * 2010-03-04 2011-09-21 索尼公司 信息处理设备、信息处理方法,和程序
CN102656474A (zh) * 2010-03-08 2012-09-05 英派尔科技开发有限公司 用于增强现实的宽带无源跟踪
CN102893236A (zh) * 2010-07-20 2013-01-23 英派尔科技开发有限公司 增强现实临近检测
CN102567617A (zh) * 2010-10-19 2012-07-11 株式会社泛泰 用于提供增强现实信息的装置和方法
CN105188516A (zh) * 2013-03-11 2015-12-23 奇跃公司 用于增强和虚拟现实的系统与方法
CN104407700A (zh) * 2014-11-27 2015-03-11 曦煌科技(北京)有限公司 一种移动头戴式虚拟现实和增强现实的设备

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10885671B2 (en) 2019-04-17 2021-01-05 XRSpace CO., LTD. Method, apparatus, and non-transitory computer-readable medium for interactive image processing using depth engine and digital signal processor
US11039118B2 (en) 2019-04-17 2021-06-15 XRSpace CO., LTD. Interactive image processing system using infrared cameras
TWI696980B (zh) * 2019-04-26 2020-06-21 未來市股份有限公司 使用深度引擎和數位訊號處理器的互動影像處理方法、裝置及媒體
CN113874816A (zh) * 2019-05-22 2021-12-31 脸谱科技有限责任公司 人工现实系统中身体姿态跟踪的磁传感器采样频率的同步
CN113874816B (zh) * 2019-05-22 2024-04-05 元平台技术有限公司 人工现实系统中身体姿态跟踪的磁传感器采样频率的同步
CN110675307A (zh) * 2019-08-19 2020-01-10 杭州电子科技大学 基于vslam的3d稀疏点云到2d栅格图的实现方法
CN110675307B (zh) * 2019-08-19 2023-06-06 杭州电子科技大学 基于vslam的3d稀疏点云到2d栅格图的实现方法
CN113029190A (zh) * 2019-12-09 2021-06-25 未来市股份有限公司 运动跟踪系统和方法
CN113124852A (zh) * 2019-12-31 2021-07-16 北京凌宇智控科技有限公司 一种多传感器融合定位系统及定位方法
CN113124852B (zh) * 2019-12-31 2023-07-25 北京凌宇智控科技有限公司 一种多传感器融合定位系统及定位方法
WO2021190280A1 (en) * 2020-03-24 2021-09-30 Guangdong Oppo Mobile Telecommunications Corp., Ltd. System and method for augmented tele-cooperation
CN115104078A (zh) * 2020-03-24 2022-09-23 Oppo广东移动通信有限公司 用于增强型远程协作的系统和方法
CN111537988A (zh) * 2020-03-31 2020-08-14 北京小米移动软件有限公司 角色控制方法、角色控制装置及计算机可读存储介质
CN113426089A (zh) * 2021-06-02 2021-09-24 杭州融梦智能科技有限公司 头戴式设备及其交互方法

Also Published As

Publication number Publication date
JP2024015296A (ja) 2024-02-01
JP2023107820A (ja) 2023-08-03
US20210165217A1 (en) 2021-06-03
JP2019522832A (ja) 2019-08-15
AU2021277680A1 (en) 2021-12-23
US20220404622A1 (en) 2022-12-22
KR20180135487A (ko) 2018-12-20
NZ747815A (en) 2023-05-26
IL262504A (en) 2018-12-31
JP7027336B2 (ja) 2022-03-01
AU2017257549B2 (en) 2021-09-09
NZ787464A (en) 2023-06-30
WO2017189450A1 (en) 2017-11-02
US10495718B2 (en) 2019-12-03
EP3458167A4 (en) 2019-11-20
EP3458167B1 (en) 2022-10-19
KR20230054499A (ko) 2023-04-24
US20190195979A1 (en) 2019-06-27
CN109689173B (zh) 2022-03-18
CA3021964A1 (en) 2017-11-02
IL287229A (en) 2021-12-01
KR102522502B1 (ko) 2023-04-17
AU2021277680B2 (en) 2023-07-13
IL262504B (en) 2021-10-31
JP2022059034A (ja) 2022-04-12
US10261162B2 (en) 2019-04-16
NZ787459A (en) 2023-05-26
AU2017257549A1 (en) 2018-11-22
US10948721B2 (en) 2021-03-16
JP7289944B2 (ja) 2023-06-12
EP3458167A1 (en) 2019-03-27
EP4130942A1 (en) 2023-02-08
CN114699751A (zh) 2022-07-05
US20200064431A1 (en) 2020-02-27
US20170307891A1 (en) 2017-10-26
JP7456047B2 (ja) 2024-03-26
US11460698B2 (en) 2022-10-04
KR102384882B1 (ko) 2022-04-07
KR20220049045A (ko) 2022-04-20

Similar Documents

Publication Publication Date Title
CN109689173A (zh) 使用增强现实系统的电磁跟踪
JP7476387B2 (ja) 深層学習センサを有する拡張現実ディスプレイデバイス
CN112513711B (zh) 用于使用位置向量解析半球模糊度的方法和系统
CN112292690A (zh) 增强现实深度手势网络

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant