CN111670423A - 用于融合声学和惯性位置确定的系统 - Google Patents

用于融合声学和惯性位置确定的系统 Download PDF

Info

Publication number
CN111670423A
CN111670423A CN201880088727.6A CN201880088727A CN111670423A CN 111670423 A CN111670423 A CN 111670423A CN 201880088727 A CN201880088727 A CN 201880088727A CN 111670423 A CN111670423 A CN 111670423A
Authority
CN
China
Prior art keywords
signal
transmitter
synchronization signal
inertial
modulated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880088727.6A
Other languages
English (en)
Inventor
S·里卡迪
K·卡廷加里
J·尤塞夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yingmeisheng Co ltd
InvenSense Inc
Original Assignee
Yingmeisheng Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yingmeisheng Co ltd filed Critical Yingmeisheng Co ltd
Publication of CN111670423A publication Critical patent/CN111670423A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00Indicating or recording presence, absence, or direction, of movement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D18/00Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/14Systems for determining distance or velocity not using reflection or reradiation using ultrasonic, sonic, or infrasonic waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/16Systems for determining distance or velocity not using reflection or reradiation using difference in transit time between electrical and acoustic signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Abstract

提供了一种用于基于声学信号和基于惯性信号的定位系统的同步系统,该同步系统生成磁场作为同步信号。调制磁同步信号由定位系统的发送器发送,并由定位系统的接收器接收。接收器可以基于接收到的调制同步信号做出发送器的声学位置确定,并且可以基于接收到的惯性信号做出发送器的惯性位置确定,使得声学位置确定和惯性位置确定相融合。

Description

用于融合声学和惯性位置确定的系统
相关申请的交叉引用
本申请要求享有2017年12月6日提交的标题为“System for determining positionand orientation of a mobile device in 6 degrees of freedom”的美国临时专利申请序列号62/595,562和2018年12月6日提交的标题为“SYSTEM FOR FUSING ACOUSTIC ANDINERTIAL POSITION DETERMINATION”的美国专利申请序列号16/212,075的优先权和益处,其两者都转让给本文的受让人,并且通过引用以其整体并入。
技术领域
本公开一般地涉及运动传感器,并且更具体地涉及与接收器通信的发送器,其中,接收器确定发送器的位置信息。
背景技术
微机电系统(MEMS)的发展使得能够将各种传感器并入移动设备中,诸如手机、笔记本电脑、平板电脑、游戏设备以及其他便携式电子设备。这种传感器的非限制性示例包括加速度计、陀螺仪、磁力计、压力传感器、麦克风、接近传感器、环境光传感器、红外传感器等。此外,可以执行传感器融合处理,以组合来自多个传感器的数据从而提供设备的运动或取向的改善的表征。
许多应用可以受益于使用这种传感器来确定便携式设备的位置和/或运动。作为一个非限制性示例,增强现实(AR)系统和虚拟现实(VR)系统通常具有头戴式显示器(HMD),对于其,将合期望的是经由便携式设备,诸如佩戴或握在用户的手中的控制器来提供用户输入。相应地,HMD可以针对广泛的用户输入采用关于控制器的位置信息,包括对预定手势的识别或在物理控制器和虚拟对象(诸如光标或指针)之间创建对应关系。
尽管MEMS技术已经允许以上讨论的类型的传感器的广泛使用,但是与使用这些相对低成本的设备相关联的一个缺点是由于累积的传感器偏移和偏置而导致的性能退化。特别地,这些特性能使运动传感器的使用复杂化,以进行准确的平移确定。用于减轻与运动传感器(包括诸如加速度计和陀螺仪的惯性传感器)相关联的缺点的一种策略是提供一种可以用于校正或增强运动传感器的确定的补充位置确定系统。例如,基于声学信号的定位系统可以与如下许多类型的便携式设备一起使用:诸如智能手机、平板电脑、笔记本电脑、以及在以上讨论的HMD应用的上下文中的控制器。实际上,基于声学信号的定位系统可用于提供关于控制器相对于HMD以及通过扩展,相对于用户的相对位置的信息。常规的基于声学信号的定位系统包括发射声学信号的发送器和接收发射信号的接收器。接收器测量接收到的声学信号的传播时间延迟,称为到达时间(“TOA”),并且可以将TOA乘以声速,以确定发送器的位置。使用多个接收器可以允许三角测量和/或另一种形式的多点定位,并且提供在二维或甚至三维中的位置的确定。
将合期望的是,采用基于惯性的定位系统结合基于声学信号的定位系统,以利用不同系统的相对强度。为了解决该需求和其他需求,本公开涉及如在以下材料中描述的用于融合基于惯性传感器系统的位置信息与来自声学系统的位置信息的技术。
发明内容
如将在下面详细描述的,本公开包括一种具有发送器的定位系统,该发送器包括配置成发送调制声学信号的声学信号发送器,配置成发送调制磁同步信号的磁同步信号发送器,以及至少一个惯性传感器组件,其具有至少一个传感器,配置为接收调制磁同步信号作为输入,并配置为发送惯性信号。定位系统还具有接收器,该接收器包括配置为接收发送的调制声学信号的声学信号接收器,配置为接收发送的调制磁同步信号的磁同步信号接收器,配置为接收发送的惯性信号的惯性信号接收器,以及至少一个处理器,配置为在相同的时域上接收来自声学信号接收器的调制声学信号,来自磁同步信号接收器的调制磁同步信号和来自惯性信号接收器的惯性信号,以基于接收的调制同步信号,接收的调制声学信号和接收的惯性信号的确定的时间延迟来确定发送器的位置。
本公开还涉及一种便携式发送器,其包括配置成发送调制声学信号的声学信号发送器,配置成发送调制磁同步信号的磁同步信号发送器以及至少一个惯性传感器组件,其具有至少一个传感器,配置为接收调制磁同步信号作为输入,并被配置为发送惯性信号。
附图说明
图1是根据实施例的具有发送器和接收器的定位系统的示意图。
图2是根据实施例的定位系统的发送器的示意图。
图3是根据实施例的定位系统的接收器的示意图。
图4是根据实施例的示出声学信号和惯性信号之间的同步的示意图。
图5是根据实施例的示出声学信号和惯性信号之间的同步的示意性时序图。
具体实施方式
一开始,应理解,本公开不限于特别示例化的材料、架构、例程、方法或结构,照此,其可以变化。因此,尽管可以在本公开的实践或实施例中使用与本文描述的那些类似或等同的许多这种选项,但是本文描述了优选的材料和方法。
还应理解,本文中所使用的术语仅出于描述本公开的特定实施例的目的,而不意图是限制性的。
以下结合附图阐述的详细描述旨在作为对本公开的示例性实施例的描述,而并非意图表示在其中可以实践本公开的仅有示例性实施例。贯穿本描述使用的术语“示例性”意指“用作示例、实例或说明”,并且应不必被解释为比其他示例性实施例优选或有利。为了提供对说明书的示例性实施例的透彻理解的目的,详细描述包括特定细节。对于本领域技术人员将显而易见的是,可以在没有这些特定细节的情况下实践说明书的示例性实施例。在一些实例中,以框图形式示出了众所周知的结构和设备,以便避免使本文中呈现的示例性实施例的新颖性模糊。
仅出于方便和清楚的目的,可以相对于附图或芯片实施例使用诸如顶部、底部、左、右、上、下、在……之上、以上、以下、在……下面、后面、背面和前方的方向性术语。这些和类似的方向性术语不应以任何方式解释为限制本公开的范围。
在本说明书和权利要求书中,将理解的是,当元件被称为“连接至”或“耦合至”另一元件时,其可以直接连接或耦合至另一元件,或可以存在中间元件。相反,当元件被称为“直接连接至”或“直接耦合至”另一个元件时,不存在中间元件。
下面的详细描述的一些部分是依据程序、逻辑块、处理和对计算机存储器内的数据位的操作的其他符号表示来呈现的。这些描述和表示是数据处理领域的技术人员用来最有效地向本领域的其他技术人员传达其工作实质的手段。在本申请中,程序、逻辑块、过程等被构思是导致期望结果的步骤或指令的自洽序列。所述步骤是需要对物理量进行物理操纵的步骤。通常,尽管不是必需的,但是这些量采取能够在计算机系统中存储、传输、组合、比较和以其他方式操纵的电或磁信号的形式。
然而,应该牢记,所有这些和类似术语均应与适当的物理量相关联,并且仅仅是应用于这些量的方便标签。除非具体指出,否则如从下面的讨论中显而易见的,应领会到,贯穿本申请,利用诸如“访问”、“接收”、“发送”、“使用”、“选择”、“确定”、“归一化”、“相乘”、“平均”、“监视”、“比较”、“应用”、“更新”、“测量”、“得到”等术语的讨论指的是计算机系统或类似的电子计算设备的动作和过程,所述类似的电子计算设备操纵表示为计算机系统的寄存器和存储器中的物理(电子)量的数据并将其转换为其他数据,所述其他数据类似地表示为计算机系统存储器或寄存器或其他此类信息存储、传输或显示设备中的物理量。
可以在驻留于某种形式的非暂时性处理器可读介质(诸如程序模块)上的、由一个或多个计算机或其他设备执行的处理器可执行指令的一般上下文中讨论本文中描述的实施例。通常,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。在各种实施例中,可以根据需要组合或分布程序模块的功能。
在附图中,单个块可以被描述为执行一个功能或多个功能;然而,在实际实践中,由该块执行的一个或多个功能可以在单个组件中或跨多个组件执行,和/或可以使用硬件、使用软件或使用硬件和软件的组合来执行。为了清楚地说明硬件和软件的这种可互换性,上面已总体在它们的功能性方面描述了各种说明性的组件、块、模块、电路和步骤。将这种功能性实现为硬件还是软件取决于特定的应用和施加在整个系统上的设计约束。技术人员可以针对每个特定应用以变化的方式来实现所描述的功能性,但是这种实现决定不应被解释为导致脱离本公开的范围。而且,示例性无线通信设备可以包括除所示组件之外的组件,包括众所周知的组件,诸如处理器、存储器等。
除非特别描述为以特定方式实现,否则本文中描述的技术可以以硬件、软件、固件或其任何组合来实现。被描述为模块或组件的任何特征也可以一起在集成逻辑设备中实现,或者单独地实现为分立但可互操作的逻辑设备。如果以软件实现,则所述技术可以至少部分地由包括指令的非暂时性处理器可读存储介质来实现,所述指令在被执行时执行以上描述的方法中的一个或多个。非暂时性处理器可读数据存储介质可以形成计算机程序产品的一部分,该计算机程序产品可以包括封装材料。
非暂时性处理器可读存储介质可以包括随机存取存储器(RAM),诸如同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪速存储器、其他已知的存储介质等。附加地或替代地,该技术可以至少部分地由处理器可读通信介质来实现,该处理器可读通信介质以指令或数据结构的形式承载或传送代码并且其可以由计算机或其他处理器来访问、读取和/或执行。例如,可以采用载波来承载计算机可读电子数据,诸如用在发送和接收电子邮件中或用在访问诸如因特网或局域网(LAN)之类的网络中的那些。当然,可以在不脱离所要求保护的主题的范围或精神的情况下对该配置做出许多修改。
结合本文中公开的实施例描述的各种说明性逻辑块、模块、电路和指令可以由一个或多个处理器,诸如一个或多个传感器处理单元(SPU)、数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、专用指令集处理器(ASIP)、现场可编程门阵列(FPGA)或其他等同的集成或分立逻辑电路来执行。如本文所使用的,术语“处理器”可以指代任何前述结构或适合于实现本文中描述的技术的任何其他结构。另外,在一些方面中,可以在如本文中所描述那样配置的专用软件模块或硬件模块内提供本文中描述的功能性。同样,该技术可以在一个或多个电路或逻辑元件中完全实现。通用处理器可以是微处理器,但可替代地,处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可被实现为计算设备的组合,例如,运动处理器单元(MPU)或传感器处理单元(SPU)与微处理器的组合、多个微处理器、一个或多个微处理器结合MPU/SPU核、或任何其他此类配置。
除非另外定义,否则本文中使用的所有技术和科学术语具有与具有本公开所属领域的普通技术的人员通常所理解的相同含义。
最后,如在本说明书和所附权利要求书中使用的,单数形式“一”、“一个”和“该”包括复数指示物,除非内容另外明确指示。
关于包括本公开的特征的系统100的一个实施例的细节在图1中被描绘为高级示意图块。如将领会到的,发送器102和接收器104被实现为便携式设备或装置,诸如控制器和头戴式显示器(HMD)。尽管发送器102和接收器104二者通常都可由用户在空间中移动,但是本公开的上下文涉及做出发送器102相对于接收器104的相对位置确定作为其在空间中的位置、运动和/或取向的指示。如本文中所使用的,除非另外指示,否则术语“位置”可以指代位置和取向中的任一个或两者。此外,假定运动是位置或取向的改变,则位置信息还可包括运动信息。例如,给定的取向和/或位置序列可以与预定手势相关联,该预定的手势可以被识别以向系统100提供用户输入。同样,给定的取向和/或位置序列也可以映射到虚拟对象以用于控制该对象作为对系统100的用户输入。相应地,接收器104可以是专用HMD或其他AR/VR设备,或者可以是具有可被利用以提供与HMD相关联的某种程度的功能性的能力的另一便携式设备,包括移动电话(例如,蜂窝电话,在本地网络上运行的电话或任何其他电话听筒)、有线电话(例如,通过电线附接的电话)、个人数字助理(PDA)、视频游戏机、视频游戏控制器、导航设备、活动或健身追踪器设备(例如手镯或夹子)、智能手表、其他可穿戴设备、移动互联网设备(MID)、个人导航设备(PND)、数码相机、数字摄像机、双筒望远镜、远摄镜头、便携式音乐、视频或媒体播放器、遥控器或其他手持设备、或这些设备中一个或多个的组合。发送器102是与接收器104结合使用的设备,诸如专用控制器或其他输入设备,或者也可以是另一种类型的便携式设备,包括提供该功能性的上面指出的任何便携式设备。此外,可以使用多个发送器102,诸如两个或更多个单独的控制器,其中每个控制器能够独立移动,其中每个控制器能够单独提供用户输入或者与一个或多个其他发送器102结合提供用户输入。更一般地,发送器102是与接收器104通信的设备,其将从确定其相对于接收器的位置、取向或运动中受益,例如,出于提供用户输入的目的。
如所示出的,发送器102包括发送器处理器106,其可以是一个或多个微处理器、中央处理单元(CPU)或其他处理器,以运行软件程序,该软件程序可以存储在存储器108中,与设备100的功能相关联。发送器102包括至少一个传感器组件,如这里以集成传感器处理单元(SPU)110的形式示出的,所述集成传感器处理单元(SPU)110以传感器处理器112、存储器114和内部传感器116为特征。存储器114可以存储算法、例程或其他指令,其用于使用传感器处理器112的逻辑或控制器来处理由内部传感器116和/或如以下所描述的其他传感器输出的数据,以及存储由内部传感器116或其他传感器输出的原始数据和/或运动数据。取决于架构,存储器114或存储器108或组合可用于存储数据、可执行指令或涉及发送器102的任何其他合适的操作。内部传感器116可以是用于测量发送器102在空间中的运动的一个或多个传感器,包括惯性传感器,诸如加速度计和陀螺仪,或其他运动传感器,包括磁力计、压力传感器或其他。取决于配置,SPU 110测量设备的一个或多个旋转轴和/或一个或多个加速度轴。在一个实施例中,内部传感器116可以包括旋转运动传感器或线性运动传感器。例如,旋转运动传感器可以是陀螺仪,以测量沿一个或多个正交轴的角速度,并且线性运动传感器可以是加速度计,以测量沿一个或多个正交轴的线性加速度。一方面,可以采用三个陀螺仪和三个加速度计,其中将传感器读数发送到接收器104,使得可以如以下所描述的那样执行传感器融合操作以组合来自内部传感器116的数据以提供六轴运动确定或六个自由度(6DOF)。替代地或附加地,传感器处理器112或发送器102的其他处理资源可以执行传感器融合。如所期望的,内部传感器116可以使用微机电系统(MEMS)来实现,以与SPU 110一起集成在单个封装中。关于发送器处理器106和SPU 110的合适配置的示例性细节可以在共同拥有的2012年8月28日授权的美国专利号8,250,921和2015年2月10日授权的美国专利号8,952,832中找到,这些美国专利据此通过引用以其整体被并入。可以从加利福尼亚州圣何塞的InvenSense公司获得发送器102中SPU 110的合适实现。在一些实施例中,一个或多个运动算法层可以提供运动算法,用于对从内部或外部传感器提供的原始传感器数据进行低级处理。此外,传感器设备驱动器层可以向发送器102的硬件传感器提供软件接口。这些层中的一些或全部可以在存储器108中提供以供发送器处理器106访问,可以在存储器114中提供以供传感器处理器112访问,或以任何其他合适的架构来提供。
替代地或附加地,发送器102可以以外部传感器118的形式实现传感器组件。这是可选的,并且不是在所有实施例中都是必需的。外部传感器可以代表如以上所描述的一个或多个传感器,诸如加速度计和/或陀螺仪。如本文中使用的,“外部”意指不与SPU 110集成在一起并且可以是相对于发送器102远程或本地的。同样,可替代地或附加地,SPU 110可以从辅助传感器120接收数据,该辅助传感器120被配置为测量关于发送器102周围的环境的一个或多个方面。这是可选的,并且不是在所有实施例中都需要。例如,可以使用压力传感器和/或磁力计来改善使用内部传感器116进行的运动确定。在一个实施例中,辅助传感器120可以包括沿三个正交轴测量的磁力计并输出数据,所述数据要与陀螺仪和加速度计惯性传感器数据融合以提供九轴运动确定。在另一个实施例中,辅助传感器120还可以包括压力传感器以提供高度确定,所述高度确定可以与其他传感器数据融合以提供十轴运动确定。再次,涉及来自外部传感器118和辅助传感器120之一或两者的该可选数据的传感器融合可以在接收器104处、在发送器102处或在两者处执行。尽管在一个或多个传感器是基于MEMS的上下文中进行了描述,但是本公开的技术可以应用于任何传感器设计或实现。
在所示出的实施例中,发送器处理器106、存储器108、SPU 110和发送器102的其他组件可以通过总线122耦合,而传感器处理器112、存储器114、内部传感器116和/或辅助传感器120可以通过总线124耦合,其中的每一个可以是任何合适的总线或接口,诸如外围组件互连快速(PCIe)总线、通用串行总线(USB)、通用异步接收器/发送器(UART)串行总线、合适的高级微控制器总线架构(AMBA)接口、集成电路间(I2C)总线、串行数字输入输出(SDIO)总线、串行外围设备接口(SPI)或其他等效物。取决于架构,可以根据需要采用不同的总线配置。例如,附加总线可以用于耦合发送器102的各个组件,诸如通过在发送器处理器106和存储器108之间使用专用总线。
继而,接收器104可以包括接收器处理器126和存储器128以实现任何期望的操作,通过总线129进行耦合,总线129还耦合接收器104的其他功能组件。如下面进一步详细描述的,这可以包括使用来自发送器102的运动传感器数据,包括惯性传感器信息来通过执行存储在存储器128中的指令以确定关于发送器102相对于接收器104的相对位置、取向和/或运动的信息的任何合适方面,如由惯性模块130所指示的。进一步,存储器128还可以包括表示为声学模块132的指令,以处理与发送器102的基于声学信号的定位相关联的信息,如也在下面进一步详细描述的。更进一步,存储器128可以包括融合模块134,所述融合模块134可以包括用于整合由惯性模块130和声学模块132确定的信息的指令。在一些实施例中,诸如当接收器104用作HMD时,显示器136可以被配置为将内容传递给用户,诸如使用的立体信息,模拟三维虚拟或增强现实环境。在该示意性表示中,显示器136也可以被认为诸如通过合适的扬声器系统来递送音频信息。接收器104还可以包括传感器处理单元,比如SPU 110,该传感器处理单元具有诸如例如惯性传感器之类的内部传感器,并且还可以包括外部传感器,比如外部传感器118(未示出)。照此,接收器104中的这些传感器可以用于确定接收器104的位置、定位和/或取向,独立于或依赖于发送器102。
可以在存储器128中提供多层软件,该存储器可以是计算机可读介质(诸如电子存储器)或其他存储介质(诸如硬盘、光盘等)的任何组合,以与接收器处理器126一起使用。例如,可以为发送器102提供操作系统层以实时控制和管理系统资源,启用应用软件和其他层的功能,以及将应用程序与接收器104的其他软件和功能对接。类似地,可以提供不同的软件应用程序,诸如菜单导航软件,游戏,相机功能控制,导航软件,通信软件(诸如电话或无线局域网(WLAN)软件),或者各种其他软件和功能接口中的任何。在一些实施例中,可以在单个接收器104上提供多个不同的应用,并且在那些实施例中的一些中,多个应用可以同时运行。
用于处理传感器数据的算法、例程或其他指令可以被惯性模块130采用以执行与本公开的技术相关联的任何操作,诸如确定便携式发送器102相对于接收器104的运动、位置、距离和/或取向。确定便携式发送器102的运动或取向可以涉及传感器融合或由接收器处理器126执行的类似操作。按保证,这样的确定可以是绝对的或相对的。基于运动传感器确定位置改变的示例可以在共同待决的共同拥有的2014年11月10日提交的美国专利申请序列号14/537,503中找到,该申请据此通过引用以其整体被并入。
如以上指出的,发送器102和接收器104可以包括基于声学信号的定位系统,使得发送器102包括同步信号发送器138和声学信号发送器140。关于合适的基于声学信号的定位系统的更多细节可以在美国专利号9,897,682中找到,其据此通过引用以其整体被并入本文中。声学信号发送器138发送调制的超声信号,诸如调制的连续超声信号。例如,调制的连续超声信号的信号范围可以在约20kHz与80kHz和/或高达200kHz之间变化。调制的连续超声信号的包括具有载波信号部分和被调制到载波信号部分上的基带信号部分的调制的连续波超声信号。同样地,接收器104相应地包括同步信号接收器142和声学信号接收器144。在一些实施例中,声学信号接收器140可以是一个或多个麦克风。在一些实施例中,声音接收器144可能能够接收由声学信号发送器140发射的声学信号。
例如,声学模块132可以根据存储在存储器128中的指令以及所存储的预期信号或由接收器处理器126生成的预期信号来将接收到的信号与预期信号进行比较。在一些实施例中,基于存储在存储器128中的模板、模型和/或特征,预期信号可以对应于存储在存储器128中的预限定的调制连续信号或计算出的调制连续波信号的副本。在一些实施例中,接收器处理器126可以使用载波和基带相关性来比较接收到的声学信号。在美国专利号8,184,504中进一步讨论了将接收到的声学信号与预期声学信号进行比较,其据此通过引用以其整体被并入本文中。
同步信号发送器138发送调制同步信号,该调制同步信号可以被同步接收器144检测到并且被声学模块132用来发起延迟计数以用于从声学信号发送器140接收调制声学信号,其速度可以慢于从同步信号发送器106发送的调制同步信号。然后可以将延迟计数用于确定所接收到的声学信号的时间延迟,其中可以将该时间延迟与声学信号的传播速度一起使用以确定发送器102和接收器104之间的距离。在一些实施例中,发射的声学信号具有已知速度,例如空气中的声速。在一些实施例中,相对于发送器102和接收器104之间的距离,调制同步信号可以具有非常小的时间延迟。接收到的调制同步信号也可以用于使发送器102和接收器104之间的时钟同步,以补偿时钟误差和/或偏移。在一些实施例中,同步机制被包括在接收器104中,其可以被存储在例如存储器128中并且由接收器处理器126执行。
在一些实施例中,声学模块132可能能够通过测量通过视线(LOS)的传输声学信号的时间延迟来确定发送器102相对于接收器104的位置。在一些实施例中,可以基于将来自接收到的声学信号的载波信号和基带信号互关联来确定发送器102相对于接收器104的位置。在一些实施例中,声学模块132包括快速傅立叶变换(FFT)能力,并且可以用于执行所接收到的声学信号的相位和幅度分析。此外,声学模块132可以将接收到的声学信号与预期信号进行比较,其可以基于相位、幅度和/或群延迟的差异进行校准。相应地,可以基于在LOS上的从发送器102到接收器104的声学信号的时间延迟来确定包括发送器102和接收器104之间的距离的位置信息,例如,发送器102与接收器104之间的最短距离。可以基于从接收器104确定的距离的三角测量或另一形式的多点定位来确定发送器102的位置。为了确定附加维度中的位置,可以使用附加接收设备和/或附加声学信号接收器144。在一些实施例中,使用求和来处理增益。基于接收到的信号,声学模块132可以基于载波和基带信号来计算时间延迟,并且可以执行三角测量或其他形式的多点定位来确定作为时间的函数的发送设备的位置。
根据本公开的技术,基于声学信号的定位系统可以使用调制磁同步信号,其中同步信号发送器138是磁同步信号发送器106,并且同步信号接收器142是磁同步信号接收器106。磁同步信号发送器138发送由磁同步信号接收器142接收的磁同步信号,使得磁同步信号发送器138磁耦合至磁同步信号接收器142。在一些实施例中,调制磁同步信号可以具有与由声学信号发送器140发送的声学信号相同的调制。
发送器102和接收器104可以分别采用通信模块146和148,以原始传感器数据的形式传送从SPU 110中的传感器获得的位置信息,通过融合操作获得的确定或任何其他相关信息。在一些实施例中,通信模块126可以采用符合电气和电子工程师协会(IEEE)802.11协议的无线局域网(WLAN)、可以使用其他系统,包括基于蜂窝的和WLAN技术,诸如通用陆地无线接入(UTRA)、码分多址(CDMA)网络、全球移动通信系统(GSM)、IEEE 802.16(WiMAX)、长期演进(LTE)、其他传输控制协议、基于因特网协议(TCP/IP)数据包的通信等等。在一些实施例中,可以采用多个通信系统来利用不同的能力。通常,涉及更高带宽的通信可以与更大的功率消耗相关联,使得其他信道可以利用诸如BLUETOOTH®、ZigBee®、ANT等的更低功率的通信协议。此外,虽然无线通信允许更大的移动自由度,但是取决于实施例,有线连接可以用于系统的各个组件之间的一些信息的通信。另外,发送器102和接收器104可以直接或间接地通信,诸如通过一个或多个互连的网络。如将领会到的,可以采用各种系统、组件和网络配置、拓扑和基础设施,诸如客户端/服务器,对等或混合架构,以支持分布式计算环境。例如,计算系统可以通过有线或无线系统、通过局域网或广泛分布的网络连接在一起。当前,许多网络耦合到因特网,该因特网提供用于广泛分布的计算的基础设施并且涵盖了许多不同的网络,尽管任何网络基础设施都可以用于对于如各种实施例中描述的技术易做出的示例性通信。
图2是与一些实施例一致的图示发送器102的各方面的示图。如图2所示,声学信号发送器138可以包括能够发送声学信号的一个或多个扬声器200-1-200-n(统称为扬声器200)。在一些实施例中,扬声器200可以均能够发送信号范围在大约20与80kHz和/或高达200kHz之间的调制的连续超声信号。在一些实施例中,由扬声器200发送的调制的连续超声信号可以包括载波信号部分和被调制到载波信号部分上的基带信号部分。此外,扬声器200可以取向在发送器102上的不同位置、不同角度、不同取向等以便将超声信号以不同的距离发送到接收器104以允许对超声信号进行三角测量以确定发送器102相对于接收器104的位置。此外,扬声器200可以位于发送器102上的不同位置处以发送超声信号用于确定发送器102相对于接收器104的姿态或角度。
磁同步信号发送器138可以是或包括由功率源驱动耦合的线圈或变压器。在一些实施例中,磁同步信号发送器138可以对应于耦合到声学信号发送器140以用于增强声学信号的线圈或变压器。磁同步信号发送器138生成的磁场或信号可以与检测磁同步信号接收器142建立磁耦合。建立磁耦合的该生成的场充当磁同步信号发送器138与磁同步信号接收器142之间的调制磁同步信号。在一些实施例中,调制磁同步信号或场提供小于30ns的定时检索精度。磁同步信号发送器138还可以通过跨频带扩展场的能量来生成扩频调制磁同步信号,以增加所生成的调制磁同步信号的冗余度和鲁棒性。在一些实施例中,扩展的带宽越大,通过同步实现的定时恢复就越准确。在一些实施例中,磁同步信号发送器138可以耦合到与声学信号发送器140不同的功率源,并且因此耦合到与声学信号发送器140分离的电路径或信道。
声学信号发送器140和磁同步信号发送器138可以耦合至带通滤波器202,带通滤波器202可以能够对由调制器203生成的调制信号进行滤波,使得将调制信号的声学分量发送至声学信号发送器140,并且将信号的非声学分量发送到磁同步信号发送器138。在一些实施例中,调制器203可以是能够将载波信号部分调制到基带信号部分上的Δ-∑调制器。带通滤波器202可以能够从调制器203产生的调制信号中滤除∑-Δ带外分量,以减少电流消耗。此外,基带信号部分和载波信号部分两者都可以被调制,以引用提高的定时精度和减少的干扰。在一些实施例中,磁同步信号和声学信号两者都可以由调制器203调制。在一些实施例中,磁同步信号和声学信号可以由调制器203在幅度、频率和相位中的至少一个中调制。在一些实施例中,可以以足够大以允许确定调制周期内的定时的调制周期来调制磁同步信号和声学信号。
调制器203可以耦合到发送器处理器106,发送器处理器106进一步耦合到存储器108或发送器102的其他合适的处理资源,以及电源210。相应地,发送器处理器106可以控制调制器203并且生成信号,以用于通过调制器203的调制和通过声学信号发送器138以及磁同步信号发送器140的发送。电源210可以是直流电源、交流电源,并且还可以包括电池。与一些实施例一致,如果声学信号发送器140具有大的电容分量,则电源210可以能够驱动磁同步信号发送器138以具有匹配的电感。在一些实施例中,电感值可以由磁同步信号发送器138固定。使用匹配的感应驱动器可以使调制的中心频率也成为由感应驱动器和声学信号发送器140形成的谐振器的中心频率,由此改善声学信号发送器140的效率和有效性。
图3是与一些实施例一致的图示接收器104的各方面的示图。如图3中所示出的,声学信号接收器144可以包括声学传感器302-1-302-n(统称为声学传感器302)。在一些实施例中,声学传感器302可以是能够检测超声信号的麦克风,并且在进一步的实施例中,可以是微机电系统(MEMS)麦克风。声学信号接收器144可以包括如定位要求所需的那样多的声学传感器302,但是通常可以包括:单个声学传感器302用于确定发送器102在一个维度中的位置,两个声学传感器302用于确定发送器102在两个维度中的位置,以及三个声学传感器302用于确定发送器102在三个维度中的位置。取决于发送器102和接收器104的相对位置和取向,附加的声学传感器302也可以用于解释(account for)一个或多个其他声学传感器不处于适合的LOS关系的可能性。
图3图示了具有类似输入的电路。在这种情况下,可以互换接收到的声学信号和磁信号,而不会对系统性能具有不利影响。与用于磁输入的相同的时序域用于对麦克风输出进行采样的电路,诸如音频编解码器。音频编解码器通常具有一可编程增益放大器,其后是A/D转换器。来自A/D转换器的样本被将流式传输到音频处理器。在一些实施例中,在音频编解码器的相同时域中同时采样声学信号和磁信号。以与音频传感器同步的方式在相同的时域中对磁信号进行采样提供了:保持磁信号和声学信号之间的精确时序。在RE-front IC中对磁(或RF)信号进行采样将不允许如在与在音频编解码器中相同的时域中对两种信号进行采样那样的同步级别。例如,RF电路可以具有定时偏移,并且由于跨接线连接起动(jumpstart)RF电路和音频电路的不同时间,声学样本将具有一些时间偏移。这就是“相同时域”的含义。
如图3中示出的,磁同步信号接收器142可以耦合到与声学信号接收器144类似的输入,使得提供由声学传感器302-1至302-n接收的调制声学信号和由磁同步接收器142接收的调制磁同步信号以用于在相同时序域上进行处理。与一些实施例一致,调制磁同步信号可以由磁同步信号发送器138和磁同步接收器142产生,所述磁同步接收器142包括用于检测调制磁同步信号并建立磁耦合的线圈或类似特征。尽管在图3中仅示出了一个磁同步接收器142,但是,在一些实施例中可以包括用于接收附加的调制磁同步信号或其他同步信号的附加的同步接收器。
可以将调制声学信号和调制磁同步信号提供给编码器-解码器(CODEC)304。在一些实施例中,CODEC 304可以充当接收器处理器126的协处理器。CODEC 304可以包括前置放大器、数字转换器310和滤波器312。在一些实施例中,CODEC 304可以具有比图3中所示出的更多或更少的组件、模块、电路等,例如可以包括解码器。前置放大器306可以放大接收到的调制声学信号和调制磁同步信号。解码器308然后可以对由编码器204编码为调制声学信号和调制磁同步信号的信息进行解码。然后,解码的声学信号和磁同步信号可以由数字转换器310数字化。在一些实施例中,数字转换器310可以是模数转换器(ADC),其能够将接收到的信号数字化以输出到接收器处理器126。CODEC 304还可以包括滤波器312,该滤波器312可以包括一个或多个滤波组件。通常,滤波器除掉带外分量,以便避免在抽取期间混叠。一个或多个滤波组件可以能够动态地滤除所接收到的声学信号和所接收到的调制磁同步信号中的缺陷或异常,诸如磁尖峰或杂散(spur)。此外,如果用足够大的带宽来调制磁同步信号,则滤波器312可以改善所接收到的调制磁同步信号的质量,而同时不会不利地影响同步信号的时序。在一些实施例中,滤波器312可以是抽取滤波器。此外,滤波器312可以位于CODEC 304的外部,使得在一些实施例中,与CODEC 304执行的处理和调节并行地对接收到的调制声学信号和调制磁同步信号进行滤波。如在图3中进一步图示的,CODEC 304可以包括数字核308,其从滤波器312接收信号并将它们提供给接收器处理器126。接收器处理器126可以通过总线129耦合到CODEC 304以从CODEC 304接收信号,该CODEC 304也可以耦合存储器128和数字输入和输出314。数字EO 314可以包括能够从接收器处理器126接收数字输出或向接收器处理器126提供数字输入的任何组件。
作为另一示例,接收器处理器126可以能够执行用于增加所接收到的同步信号和声学信号的信噪比的指令,该指令可以包括信号求和算法、差分相关求和算法以及线性拟合算法。尽管未示出,但是接收器104可以包括锁相环(PLL)、延迟锁环(DLL)或数字锁相环(DPLL),用于增加所接收到的同步信号和声学信号的信噪比。在一些实施例中,延迟或锁相环可以是接收器104中包括的电路,而在其他实施例中,可以将环路编码为由接收器处理器126执行的算法。在某些实施例中,接收器处理器126可以能够给定误差成本函数而搜索最佳偏移和延迟。在一些实施例中,可以通过在接收器104上添加附加的磁同步信号接收器142以改善调制磁同步信号的接收来增加信噪比。此外,接收器处理器126可以通过确定接收到的调制磁同步信号的信号电平来确定接收到的信号强度指示(RSSI),该信号电平将用作发送器102与接收器104之间的距离的量度。
根据一些实施例,接收器104可以包括比图3中示出的更多或更少的组件。此外,图3中示出的其他组件可以被耦合到总线129,而不是直接耦合到一个或多个其他组件。此外,图3中示出的组件可以被示出为是单一系统的部分,但是也可以是其中组件分离但耦合并且通信的系统的部分。通常,图3中示出的组件被示出为能够执行本文公开的实施例的接收器104中的组件的示例。然而,接收器104可以具有更多或更少的组件,并且仍然能够执行本文中公开的一些实施例。
因此,与一些实施例一致,声学模块132可以根据所发射的调制声学定位信号和调制磁同步信号来确定发送器102的位置信息。调制声学定位信号由声学传感器302从发送器102接收,在一些实施例中,其可以使接收到的调制声学信号生成电信号以进行处理。所接收到的调制磁同步信号可以由磁同步信号接收器144接收,该磁同步信号接收器144可以包括包裹在核上的线圈或空心圆柱体,从而使得生成电信号以进行处理。在一些实施例中,可以接收并发送所接收到的调制声学信号和所接收到的调制磁信号以在相同的时域上进行处理,使得可以在相同的域中处理所接收到的调制声学信号和所接收到的调制磁信号。可以由CODEC 304的解码器308对接收到的调制声学信号和调制磁同步信号进行解码。在一些实施例中,解码可以包括从接收到的调制声学和调制磁同步信号中提取编码信息。解码的信号然后可以由数字转换器310数字化。基于接收到的数字化信号,声学模块132可以测量接收到的声学信号的版本和接收到的调制磁同步信号的版本之间的时间延迟。在一些实施例中,每个声学传感器302可以接收由发送器102的扬声器200发送的声学信号的版本。此外,每个声学传感器302可以接收由发送设备的不同的扬声器200发送的声学信号的版本。由于声学信号的速度,存在与每个接收到的声学信号相关联的相关联飞行时间,使得可以在从发射开始的一定时间延迟之后接收到声学信号。由于调制磁同步信号可以几乎立即由磁同步信号接收器110接收,因此所接收到的调制磁同步信号可以用于确定与所接收到的声学信号的每个版本的飞行时间相关联的时间延迟。
然后,所测量的时间延迟可以被转换为至少第一距离和第二距离。在一些实施例中,声学模块132可以使用接收到的声学信号的每个版本来确定时间延迟,并且可以通过获知声学信号的速度和时间延迟来使用每个时间延迟来确定距离。然后,声学模块132可以对第一距离和第二距离进行三角测量以确定发送器102的位置。基于发送器102中的扬声器200的数量和接收器104中的声学传感器302的数量,所确定的位置可以具有一维、二维或三维的位置。此外,除了位置之外,还可以基于扬声器200的位置来确定发送器102的姿态或角度。
因此,如本文中描述的实施例可以提供基于声学信号的定位系统,其可以通过在发送器和接收器之间建立磁耦合来同步。可以通过由同步信号发生器生成的调制磁同步信号来建立磁耦合,该同步信号发生器可以比常规同步系统更容易地与发送器设备集成在一起。而且,调制磁同步信号可以由同步信号接收器接收,该同步信号接收器可以集成在接收器内,并且在与声学信号相同的路径上接收,从而消除了对专用同步信号处理硬件的需要。
从以上材料中,将领会到,惯性模块130基于运动传感器数据(诸如来自SPU 110的惯性传感器数据)确定与发送器102有关的位置信息,而声学模块132基于接收到学信号声音和同步信号确定与发送器102有关的位置信息。相应地,融合模块134起作用以组合由惯性模块130和声学模块132中的每一个确定的位置信息,以便改善发送器102相对于接收器104的相对位置、运动和/或取向的表征。为了更准确地组合由这些分离的系统确定的位置信息,需要能够使每个系统的相关(respect)定时信息关联,并且从而使系统同步。根据本公开的技术,这是通过使用基于声学信号的定位系统的调制磁同步信号结合基于惯性的定位系统来实现的。
在图4中示意性地描绘了协调基于声学信号的定位系统和基于惯性的定位系统,图4示出了在发送器102中实现的每个系统的各方面。具体地,在此由调制声学信号的四个指示的信道表示的声学信号发送器140的输出与磁同步信号发送器138在磁信道上的输出对齐,以便表示调制的声学信号和磁信号的同步。声学信号发送器140和磁同步信号发送器138可以由诸如与发送器处理器106相关联的那个的公共时钟CLK1驱动。然而,SPU 110及其传感器数据可以利用不同的时钟,诸如,如所指示的CLK2。CLK2可以是在SPU 110内生成的内部时钟。类似于上面讨论的发送器102和接收器104之间的时钟差,为了基于运动传感器数据的位置信息和基于声学传感器数据的位置信息的准确融合,任何时钟偏移和/或时钟误差必须得到校正。因此,磁同步信号发送器138可以同时将信号输出到SPU 110,如图4中的同步信道所指示的。同步信号发送器138可以输出同步脉冲,并且如可以看出,同步信道信号的上升沿可以与磁信道和声学信道两者上的声学信号的开始对齐。同步信道可以连接到SPU或传感器上的专用同步输入引脚,并且SPU 110可以被配置为检测同步信道上的上升沿。继而,SPU 110可以确定其传感器读数和磁同步信号之间的任何时间差。在图5的时序图中示意性地示出了传感器数据同步的细节。顶部迹线指示由声学信号发送器140在声学信道上发送的声学信号的重复模式或调制模式。接下来,示出了磁信道,其中调制磁同步信号具有与如由磁同步信号发送器138发送的声学信号模式的开始对齐的脉冲。如在专用同步输入引脚上输入到SPU 110的同步信道的上升沿被示出为与调制磁同步信号的脉冲的开始对齐的向上箭头。相应地,SPU 110可以确定传感器数据样本(也指示为向上箭头)与同步信号之间的定时延迟Δ。定时延迟Δ是通过在专用同步输入引脚上检测到上升沿时启动计数器来确定的,并且该计数器在同步信号之后的第一个传感器数据处停止。如在图5的底部迹线中指示的,基于SPU 110的内部时钟CLK2对SPU 110的传感器数据加时间戳。通过将定时延迟Δ与第一接收到的传感器数据的时间戳相组合,基于SPU 110的内部时钟CLK2的同步信号的时间戳被确定。然后,例如使用通信模块146至通信模块148将来自SPU 110的带有时间戳的传感器数据与带有时间戳的同步信号一起从发送器102传输到接收器104。该传输可以使用例如蓝牙协议来执行。传送到接收器104的数据包括传感器数据和相关联的时间戳数据,并且当检测到同步信号时,还包括所接收到的同步信号的时间戳或相对于所接收到的同步信号的定时延迟Δ。然后,融合模块134使用接收到的数据和时间戳,使得可以将惯性模块130确定的位置信息与声学模块132确定的位置信息对齐。通过比较基于SPU 110的时钟CLK2的同步信号的时间戳和在接收器104处接收到的磁同步信号的定时信息,带有时间戳的传感器数据可以与在接收器104处接收到的声学数据对齐。如图5中示出的实施例中,声学信号模式重复,并且在该下一个模式的开始处,磁同步信号发送器138发送另一个脉冲。类似地,另一个同步信号被发送到SPU 110,使得可以确定新的定时延迟Δ,并与随后的传感器数据时间戳组合地应用所述定时延迟Δ。
根据以上讨论,本公开的定位系统可以包括:发送器:具有配置为发送调制声学信号的声学信号发送器的发送器;配置为发送调制磁同步信号的磁同步信号发送器;和至少一个惯性传感器组件,其具有至少一个传感器,配置为接收调制磁同步信号作为输入并配置为发送惯性信号。定位系统还具有接收器,该接收器包括:配置为接收发送的调制声学信号的声学信号接收器;配置为接收发送的调制磁同步信号的磁同步信号接收器;配置为接收发送的惯性信号的惯性信号接收器;以及至少一个处理器,配置为在相同的时域上接收来自声学信号接收器的调制声学信号、来自磁同步信号接收器的调制磁同步信号和来自惯性信号接收器的惯性信号,以基于接收到的调制同步信号、接收到的调制声学信号和接收到的惯性信号的确定时间延迟来确定发送器的位置。
一方面,所述至少一个处理器可以被配置为如下来确定发送器的位置:通过基于所接收到的调制同步信号和所接收到的调制声学信号的所确定的时间延迟来做出发送器的声学位置确定,基于接收到的惯性信号做出发送器的惯性位置确定,并将声学位置确定和惯性位置确定融合。
一方面,基于调制磁同步信号使声学位置确定和惯性位置确定同步。
一方面,惯性传感器组件可以被配置为接收调制磁同步信号的开始的指示作为输入,并且相对于惯性信号确定定时数据。定时数据可以是在所接收到的调制磁同步信号的开始的指示与所获取的惯性传感器样本之间的时间延迟。惯性传感器组件还可以基于时间延迟来确定所接收到的调制磁同步信号的开始的指示的时间戳。
一方面,惯性传感器组件可以具有加速度计和陀螺仪中的至少一个。惯性传感器组件也可以具有磁力计。
一方面,接收器可以是虚拟现实显示器和/或增强现实显示器。发送器可以是手持控制器。
一方面,该定位系统可以具有:能够独立移动的附加声学信号发送器,其配置成发送调制声学信号;磁同步信号发送器,配置成发送调制磁同步信号;以及至少一个惯性传感器组件,具有至少一个传感器,其与调制磁同步信号同步并被配置为发送惯性信号。
一方面,可以使用射频通信来发送惯性信号。
在所描述的实施例中,芯片被定义为包括通常由半导体材料形成的至少一个基板。单个芯片可以由多个基板形成,其中基板被机械地接合以保持功能性。多芯片包括至少两个基板,其中两个基板被电连接,但是不需要机械接合。封装提供了芯片上的接合焊盘与可焊接至PCB的金属引线之间的电连接。封装通常包括基板和盖。集成电路(IC)基板可以指代具有电路的硅基板,所述电路通常为CMOS电路。在一些配置中,被称为MEMS盖的基板部分为MEMS结构提供机械支撑。MEMS结构层附接到MEMS盖。MEMS盖也被称为操作基板或操作晶片。在所描述的实施例中,结合有传感器的电子设备可以采用也称为传感器处理单元(SPU)的传感器跟踪模块,该传感器跟踪模块除了电子电路之外还包括至少一个传感器。除了本领域中已知的其他传感器外,还设想了诸如陀螺仪、磁力计、加速度计、麦克风、压力传感器、接近传感器或环境光传感器之类的传感器。一些实施例包括加速度计和陀螺仪,它们各自沿着彼此正交的三个轴提供测量。此类设备通常称为6轴设备。其他实施例包括加速度计、陀螺仪和磁力计,它们各自沿着彼此正交的三个轴提供测量。此类设备通常称为9轴设备。其他实施例可以不包括所有传感器,或者可以沿着一个或多个轴提供测量。传感器可以形成在第一基板上。其他实施例可以包括固态传感器或任何其他类型的传感器。SPU中的电子电路从一个或多个传感器接收测量输出。在一些实施例中,电子电路处理传感器数据。电子电路可以被实现在第二硅基板上。在一些实施例中,第一基板可以在单个半导体芯片中:相对于第二基板垂直堆叠、附接并且电连接到第二基板,而在其他实施例中,第一基板可以在单个半导体封装中:相对于第二基板横向地布置并且电连接到第二基板。
在一个实施例中,如在共同拥有的美国专利号7,104,129中所描述的,第一基板通过晶片接合被附接到第二基板,该美国专利通过引用以其整体并入本文中,以同时提供电连接并气密密封MEMS设备。这种制造技术有利地实现了一种技术,该技术允许以非常小巧且经济的封装设计和制造高性能、多轴、惯性传感器。晶圆级的集成使寄生电容最小化,从而允许相对于分立解决方案的改善的信噪比。晶圆级的这种集成还使得能够并入丰富的特征集,其使对外部放大的需要最小化。
在所描述的实施例中,原始数据指代来自尚未处理的来自传感器的测量输出。运动数据可以指代处理的和/或原始数据。处理可以包括应用传感器融合算法或应用任何其他算法。在传感器融合算法的情况下,可以组合来自多个传感器的数据以提供例如设备的取向。在所描述的实施例中,SPU可以包括在结构当中的处理器、存储器、控制逻辑和传感器。
诸如发送器102之类的便携式设备的参考系可以是具有三个正交轴的本体坐标系。可以通过对数据施加适当的旋转来执行从本体坐标系到世界坐标系或任何其他合适的参考系(诸如,例如与接收器104中的一个或多个相关联的参考系)的切换,或者反之亦然。同样,世界坐标系的轴可能固定到地球,诸如通过将世界坐标系的Z轴与从地球的重力场产生的重力矢量对齐,从地球表面指向天空。尽管在本公开中提供的数学和描述是在这些坐标系的上下文中,但是本领域的技术人员将认识到,可以使用其他定义和参考系来执行类似的操作。所有的教导都可以用不同的定义重做。因此,便携式设备的取向可以表述为将本体坐标系平移到世界坐标系的旋转操作,诸如将本体坐标系的Z轴与重力矢量对齐的旋转操作。在一些实施例中,旋转操作可以单位四元数的形式表述。如本文中所使用的,为了方便起见,术语“四元数”和“单位四元数”可以互换使用。因此,四元数可以是描述从一个旋转取向到另一旋转取向的转变的四元素向量,并且可以用于表示便携式设备的取向。单位四元数具有一标量项和三个虚数项。在本公开中,四元数首先用标量项表示,其后是虚数项,但是可以对公式、方程式和运算做出适当的修改以适应四元数的不同定义。
尽管已经根据所示出的实施例描述了本发明,但是本领域的普通技术人员将容易认识到,实施例可以有变化,并且那些变化将在本发明的精神和范围内。例如,已经在HMD和控制器的上下文中解释了本公开的技术,但是该技术可以在任何其他合适的上下文中应用。本领域的技术人员可以容易地设计出与所公开的实施例一致的其他系统,其意图落入本公开的范围内。

Claims (17)

1.一种定位系统,包括:
发送器,所述发送器包括:
声学信号发送器,配置为发送调制声学信号;
磁同步信号发送器,配置为发送调制磁同步信号;和
至少一个惯性传感器组件,其具有至少一个传感器,配置为接收调制磁同步信号作为输入,并配置为发送惯性信号;和
接收器,所述接收器包括:
声学信号接收器,配置为接收所发送的调制声学信号;
磁同步信号接收器,配置为接收所发送的调制磁同步信号;
惯性信号接收器,配置为接收所发送的惯性信号;和
至少一个处理器,配置为在相同时域上接收来自声学信号接收器的调制声学信号、来自磁同步信号接收器的调制磁同步信号和来自惯性信号接收器的惯性信号,并且配置为基于所接收到的调制同步信号、所接收到的调制声学信号和所接收到的惯性信号的确定的时间延迟来确定发送器的位置。
2.根据权利要求1所述的定位系统,其中,所述至少一个处理器被配置为通过以下来确定所述发送器的位置:
基于所接收到的调制同步信号和所接收到的调制声学信号的确定的时间延迟来做出发送器的声学位置确定;
基于所接收到的惯性信号,做出发送器的惯性位置确定;以及
融合声学位置确定和惯性位置确定。
3.根据权利要求2所述的定位系统,其中,基于所述调制磁同步信号使所述声学位置确定和所述惯性位置确定同步。
4.根据权利要求3所述的定位系统,其中,所述惯性传感器组件被配置为接收所述调制磁同步信号的开始的指示作为输入,并且确定相对于所述惯性信号的定时数据。
5.根据权利要求4所述的定位系统,其中,所述定时数据包括在所接收到的调制磁同步信号的开始的指示与所获取的惯性传感器样本之间的时间延迟。
6.根据权利要求5所述的定位系统,其中,所述惯性传感器组件还被配置为基于所述时间延迟来确定所接收到的调制磁同步信号的开始的指示的时间戳。
7.根据权利要求6所述的定位系统,其中,所述惯性传感器组件在专用输入上接收所述调制磁同步信号。
8.根据权利要求1所述的定位系统,其中,所述惯性传感器组件包括加速度计和陀螺仪中的至少一个。
9.根据权利要求8所述的定位系统,其中,所述惯性传感器组件还包括磁力计。
10.根据权利要求1所述的定位系统,其中,所述接收器包括虚拟现实显示器和增强现实显示器中的至少一个。
11.根据权利要求10所述的定位系统,其中,所述发送器包括用于所述接收器的手持式控制器。
12.根据权利要求1所述的定位系统,还包括:
附加声学信号发送器,其能够经历独立的移动并且被配置为发送调制声学信号;
磁同步信号发送器,配置为发送调制磁同步信号;和
至少一个惯性传感器组件,其具有至少一个传感器,与调制磁同步信号同步的并配置为发送惯性信号。
13.根据权利要求2所述的定位系统,其中,所述惯性信号是使用射频通信发送的。
14.一种便携式发送器,包括:
声学信号发送器,配置为发送调制声学信号;
磁同步信号发送器,配置为发送调制磁同步信号;和
至少一个惯性传感器组件,具有至少一个传感器,配置为接收调制磁同步信号作为输入并配置为发送惯性信号。
15.根据权利要求14所述的便携式发送器,其中,所述惯性传感器组件被配置为接收所述调制磁同步信号的开始的指示作为输入,并且确定相对于所述惯性信号的定时数据。
16.根据权利要求15所述的便携式发送器,其中,所述定时数据包括在所接收到的调制磁同步信号的开始的指示与所获取的惯性传感器样本之间的时间延迟。
17.根据权利要求16所述的便携式发送器,其中,所述惯性传感器组件还被配置为基于所述时间延迟来确定所接收到的调制磁同步信号的开始的指示的时间戳。
CN201880088727.6A 2017-12-06 2018-12-06 用于融合声学和惯性位置确定的系统 Pending CN111670423A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762595562P 2017-12-06 2017-12-06
US62/595562 2017-12-06
PCT/US2018/064334 WO2019113374A1 (en) 2017-12-06 2018-12-06 System for fusing acoustic and inertial position determination

Publications (1)

Publication Number Publication Date
CN111670423A true CN111670423A (zh) 2020-09-15

Family

ID=66659006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880088727.6A Pending CN111670423A (zh) 2017-12-06 2018-12-06 用于融合声学和惯性位置确定的系统

Country Status (4)

Country Link
US (3) US11573245B2 (zh)
EP (1) EP3721322A1 (zh)
CN (1) CN111670423A (zh)
WO (1) WO2019113374A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11451931B1 (en) 2018-09-28 2022-09-20 Apple Inc. Multi device clock synchronization for sensor data fusion
JP7198730B2 (ja) * 2019-07-05 2023-01-04 株式会社日立製作所 センサデータ補正システム
US11029373B2 (en) * 2019-07-16 2021-06-08 Allegro Microsystems, Llc Magnetic field sensors having a magnetic anti-aliasing filter
US11719782B2 (en) * 2019-07-29 2023-08-08 Raytheon Company One-way time-of-flight localization using sonic and electromagnetic signals for mobile ad hoc networks
CN110672143A (zh) * 2019-11-07 2020-01-10 徐州陀微传感科技有限公司 一种传感器校准方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014160991A1 (en) * 2013-03-29 2014-10-02 Qualcomm Incorporated Magnetic synchronization for a positioning system
US8957812B1 (en) * 2010-11-12 2015-02-17 Position Imaging, Inc. Position tracking system and method using radio signals and inertial sensing
US20160011013A1 (en) * 2014-07-11 2016-01-14 Sixense Entertainment, Inc. Method And Apparatus For Synchronizing a Transmitter and Receiver in a Magnetic Tracking System
CN106840154A (zh) * 2017-03-21 2017-06-13 江苏星月测绘科技股份有限公司 地下空间惯性测量与无线传感器组合定位系统与方法
CN106933390A (zh) * 2017-03-08 2017-07-07 吉林大学 惯性技术和超声波相结合的触控笔位姿检测方法及系统
CN107102749A (zh) * 2017-04-23 2017-08-29 吉林大学 一种基于超声波和惯性传感器的三维笔式定位方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7104129B2 (en) 2004-02-02 2006-09-12 Invensense Inc. Vertically integrated MEMS structure with electronics in a hermetically sealed cavity
US8952832B2 (en) 2008-01-18 2015-02-10 Invensense, Inc. Interfacing application programs and motion sensors of a device
US8250921B2 (en) 2007-07-06 2012-08-28 Invensense, Inc. Integrated motion processing unit (MPU) with MEMS inertial sensing and embedded digital electronics
JP5331097B2 (ja) 2007-03-27 2013-10-30 エポス ディベロップメント リミテッド 測位のためのシステムおよび方法
US9952663B2 (en) * 2012-05-10 2018-04-24 Umoove Services Ltd. Method for gesture-based operation control
US9365413B2 (en) * 2013-05-29 2016-06-14 Freescale Semiconductor, Inc. Transducer-including devices, and methods and apparatus for their calibration
US20160341579A1 (en) * 2014-10-09 2016-11-24 Invensense, Inc. Gyroscope and image sensor synchronization
DE102016120740B4 (de) * 2016-10-31 2022-07-28 Krohne Messtechnik Gmbh System aus Messeinheit und Steckmodul

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8957812B1 (en) * 2010-11-12 2015-02-17 Position Imaging, Inc. Position tracking system and method using radio signals and inertial sensing
WO2014160991A1 (en) * 2013-03-29 2014-10-02 Qualcomm Incorporated Magnetic synchronization for a positioning system
US20160011013A1 (en) * 2014-07-11 2016-01-14 Sixense Entertainment, Inc. Method And Apparatus For Synchronizing a Transmitter and Receiver in a Magnetic Tracking System
CN106933390A (zh) * 2017-03-08 2017-07-07 吉林大学 惯性技术和超声波相结合的触控笔位姿检测方法及系统
CN106840154A (zh) * 2017-03-21 2017-06-13 江苏星月测绘科技股份有限公司 地下空间惯性测量与无线传感器组合定位系统与方法
CN107102749A (zh) * 2017-04-23 2017-08-29 吉林大学 一种基于超声波和惯性传感器的三维笔式定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MANUEL HUBER ET AL: "Temporal Calibration in Multisensor Tracking Setups", 第八届IEEE国际研讨会, 1 October 2009 (2009-10-01), pages 195 - 196, XP055560811, DOI: 10.1109/ISMAR.2009.5336465 *

Also Published As

Publication number Publication date
EP3721322A1 (en) 2020-10-14
US20230204619A1 (en) 2023-06-29
US11340250B2 (en) 2022-05-24
US20190170546A1 (en) 2019-06-06
WO2019113374A1 (en) 2019-06-13
US20190170785A1 (en) 2019-06-06
US11573245B2 (en) 2023-02-07

Similar Documents

Publication Publication Date Title
US11340250B2 (en) System for fusing acoustic and inertial position determination
US11269047B2 (en) Three dimensional object-localization and tracking using ultrasonic pulses with synchronized inertial position determination
US10514279B2 (en) System and method for MEMS sensor system synchronization
US20160084937A1 (en) Systems and methods for determining position information using acoustic sensing
US10184797B2 (en) Apparatus and methods for ultrasonic sensor navigation
US9752879B2 (en) System and method for estimating heading misalignment
CN108028976A (zh) 分布式音频麦克风阵列和定位器配置
US10239750B2 (en) Inferring ambient atmospheric temperature
US10830606B2 (en) System and method for detecting non-meaningful motion
US20170299388A9 (en) Systems and methods for synthetic sensor signal generation
US11647352B2 (en) Head to headset rotation transform estimation for head pose tracking in spatial audio applications
WO2014130577A1 (en) Systems and methods for activity recognition training
US10386203B1 (en) Systems and methods for gyroscope calibration
US10506163B2 (en) Systems and methods for synchronizing sensor data
CN111684293A (zh) 用于跟踪电子装置的移动的设备和方法
US11395633B2 (en) Systems and methods for determining engagement of a portable device
US11892465B2 (en) Differential mems device and methods
US9921335B1 (en) Systems and methods for determining linear acceleration
US11486961B2 (en) Object-localization and tracking using ultrasonic pulses with reflection rejection
US11236999B1 (en) Low power inertial sensor architecture and methods
US20230096949A1 (en) Posture and motion monitoring using mobile devices
US20160134237A1 (en) Low power oscillator system
Chae et al. Threshold-Free Step Detection Method for PDR Irrespective of Smartphone’s Various Carrying Modes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination