CN109643205B - 利用自适应参考的头部跟踪 - Google Patents

利用自适应参考的头部跟踪 Download PDF

Info

Publication number
CN109643205B
CN109643205B CN201780040301.9A CN201780040301A CN109643205B CN 109643205 B CN109643205 B CN 109643205B CN 201780040301 A CN201780040301 A CN 201780040301A CN 109643205 B CN109643205 B CN 109643205B
Authority
CN
China
Prior art keywords
orientation
head
data
reference orientation
relative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780040301.9A
Other languages
English (en)
Other versions
CN109643205A (zh
Inventor
马坦·本-阿舍
迈尔·沙舒阿
加尔·阿尔查纳蒂
纳达夫·内霍兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waves Audio Ltd
Original Assignee
Waves Audio Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waves Audio Ltd filed Critical Waves Audio Ltd
Publication of CN109643205A publication Critical patent/CN109643205A/zh
Application granted granted Critical
Publication of CN109643205B publication Critical patent/CN109643205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

用于提供相对于自适应参考取向的头部取向的方法和系统，由处理单元实现并且包括：从头部传感器接收头部数据，所述头部数据描述用户的第一头部取向；从第二传感器接收第二数据；通过将所述自适应参考取向至少部分地朝向所述第一头部取向移动至少部分地根据所述第二数据而变化的量来调整所述自适应参考取向，从而生成新的自适应参考取向；以及根据所述第一头部取向和所述新的自适应参考取向生成用户的第二头部取向作为相对于所述新的自适应参考取向的所述第一头部取向。

Description

利用自适应参考的头部跟踪
相关申请的交叉引用
本申请要求于2016年5月2日提交的美国临时专利申请第62/330,267号的权益，其全部内容通过引用并入本文。
技术领域
本公开主题涉及头部跟踪，并且更特别地，涉及非静态环境中的头部跟踪。
背景技术
头部跟踪对模拟VR(虚拟现实)或AR(增强现实)或者双耳音频呈现的积极且重要的效果是公知现象。在实现这样的效果的系统中，使用头部跟踪数据以将虚拟对象(例如视觉对象或声源)的位置调整以适应用户的头部运动以使它们在空间中呈现静态而不是跟随用户。
在非静态环境中，例如当用户正在行走、乘坐火车等时，用户的参考系在不断变化。在这些情况下，相对于固定参考来跟踪头部运动变成有问题的并且可能导致将虚拟对象错误地放置在用户附近。
在传统技术中已经认识到非静态环境中的头部跟踪的问题，并且已经开发了各种技术来提供解决方案，例如：
美国专利公布No.US 2011/0293129公开了确定用户的头部相对于参考方向的旋转角度的头部跟踪系统，该参考方向取决于用户的运动。此处，用户的运动应当被理解为运动的动作或过程，包括例如地点、位置或姿势的变化例如躺下或坐在放松椅上。根据本发明的头部跟踪系统包括感测装置和处理电路，该感测装置用于测量头部运动以提供表示头部运动的度量，该处理电路用于根据该度量来得到用户的头部相对于参考方向的旋转角度。处理电路中使用的参考方向取决于用户的运动。使参考方向取决于用户的运动的优点在于：确定头部的旋转角度是与环境无关的，即不被固定至环境。因此，每当用户例如在运动时以及他的身体部位经历运动时，使参考方向适应于运动。
上面引用的参考文献教示了可以适用于本公开主题的背景信息。因此，在适于适当地教示另外的或替选的细节、特征和/或技术背景的情况下，这些公布的全部内容通过引用并入本文。
发明内容
在头部跟踪的许多情况下，例如响应于用户的线性运动的方向的变化，用户的参考系也经历变化。例如，在用于在飞机中观看电影的VR系统中，模拟具有屏幕和扬声器的放映室并且用户坐在该放映室中。期望的是，模拟的电影院将相对于用户而不是地球的“北”保持稳定，使得当飞机转弯时电影院将保持在用户的眼睛的前方。另一示例是在行走或跑步时通过耳机利用虚拟扬声器听音乐。在该示例中，期望的是，即使在用户在街角转弯时，虚拟扬声器位置也将保持在收听者的前方。
本公开主题减轻了提供了用在非静态环境中的通过根据用户的运动调整用于头部跟踪的参考来进行头部跟踪的方法和系统。使用两个或更多个惯性测量单元(IMU)或者用于获取位置和/或运动和/或取向数据的任何其他的两个或更多个传感器，其中传感器中的至少一个传感器用于跟踪用户头部的取向，并且至少另一传感器用于提供指示可能需要调整通过其跟踪头部运动的参考系的信息。
根据本公开主题的一个方面，提供了一种用于提供相对于自适应参考取向的头部取向的系统，该系统包括：头部传感器，其被配置成提供描述与用户相关联的第一头部取向的头部数据；一个或更多个第二传感器，其被配置成提供第二数据；以及处理单元，其可操作地耦接至头部传感器以及一个或更多个第二传感器，并且被配置成：从头部传感器接收头部数据；从一个或更多个第二传感器接收第二数据；通过将所述自适应参考取向至少部分地朝向所述第一头部取向移动至少部分地根据所述第二数据而变化的量来调整所述自适应参考取向，从而生成新的自适应参考取向；以及根据所述第一头部取向和所述新的自适应参考取向生成与用户相关联的第二头部取向作为相对于所述新的自适应参考取向的所述第一头部取向。
除了上述特征之外，根据本公开主题的该方面的系统可以包括以下列出的特征(i)至(xii)中的一个或更多个特征的技术上可能的任何期望的组合或排列：
(i)该量至少部分地根据所述第二数据的统计特征的变化而变化。
(ii)通过在所述自适应参考取向与所述第一头部取向之间进行插值以根据调整量旋转自适应参考取向来调整自适应参考取向。可以使用四元数球面线性插值(“Slerp”)操作来执行插值。
(iii)可以使用第二数据通过基于第二数据计算一个或更多个度量并将一个或更多个度量转换成调整量来计算或得到调整量。
(iv)可以通过将一个或更多个度量中的一个或更多个与一个或更多个相应阈值进行比较来将一个或更多个度量转换成调整量。
(v)一个或更多个度量可以包括相对稳定性、相对偏差和/或绝对偏差中的一个或更多个。
(vi)调整量可以被进一步处理以用于进行平滑。
(viii)调整量可以被进一步处理以控制调整量的上升时间、保持时间和衰减时间中的一个或更多个。
(ix)第二数据包括指示需要改变自适应参考取向的数据。
(x)第二数据包括指示三维坐标系的至少一个维度上的与用户相关联的位置、运动、取向、速度和加速度中的至少之一的数据。
(xi)可以根据第二头部取向呈现双耳音频并且将双耳音频传送到用户佩戴的耳机。
(xii)可以根据第二头部取向呈现虚拟现实(VR)视频和/或增强现实(AR)视频中的至少之一。
根据本公开主题的另一方面，提供了一种提供相对于自适应参考取向的头部取向的计算机实现的方法，该方法包括：通过处理单元：从头部传感器接收头部数据，该头部数据描述与用户相关联的第一头部取向；从一个或更多个第二传感器接收第二数据；通过将自适应参考取向至少部分地朝向所述第一头部取向移动至少部分地根据所述第二数据而变化的量来调整自适应参考方向，从而生成新的自适应参考取向；以及根据所述第一头部取向和所述新的自适应参考取向生成与用户相关联的第二头部取向作为相对于所述新的自适应参考取向的所述第一头部取向。
本公开主题的该方面可以包括以上关于系统列出的特征(i)至(xii)中的一个或更多个特征的加以必要变更的技术上可能的任何期望的组合或排列。
根据本公开主题的另一方面，提供了一种有形地包含计算机可读指令的计算机可读的非暂态程序存储装置，计算机可读指令能够由计算机执行以执行提供相对于自适应参考取向的头部取向的方法，该方法包括：通过处理单元：从头部传感器接收头部数据，该头部数据描述与用户相关联的第一头部取向；从一个或更多个第二传感器接收第二数据；通过将自适应参考取向至少部分地朝向所述第一头部取向移动至少部分地根据所述第二数据而变化的量来调整自适应参考取向，从而生成新的自适应参考取向；以及根据所述第一头部取向和所述新的自适应参考取向生成与用户相关联的第二头部取向作为相对于所述新的自适应参考取向的所述第一头部取向。
本公开主题的该方面可以可选地包括以上关于系统列出的特征(i)至(xii)中的一个或更多个特征的加以必要变更的技术上可能的任何期望的组合或排列。
本公开主题的技术优点之一是：能够通过使用来自独立于头部传感器进行操作的一个或更多个第二传感器的数据检测用户的参考系何时已经改变来执行非静态环境中的头部跟踪。
其中的另一优点是：能够连续生成在头部跟踪中使用的自适应参考取向从而使得能够在非静态环境中将虚拟对象适当地放置在用户头部附近。
附图说明
为了理解本发明并了解其在实践中如何被实施，将参照附图通过非限制性示例描述实施方式，在附图中：
图1示出了根据本公开主题的某些实施方式的参考调整系统的示例框图；
图2示出了根据本公开主题的某些实施方式的双耳音频呈现器的示例框图；
图3示出了根据本公开主题的某些实施方式的参考调整系统的示例流程图；
图4A示出了根据本公开主题的某些实施方式的收敛自适应参考取向的示例曲线图；
图4B示出了根据本公开主题的某些实施方式的收敛自适应参考取向的示例放大曲线图；
图5A示出了根据本公开主题的某些实施方式的式1的图形描绘；
图5B示出了根据本公开主题的某些实施方式的式3至式5的图形描绘；
图5C示出了根据本公开主题的某些实施方式的式6的图形描绘；
图5D示出了根据本公开主题的某些实施方式的式7至式11的图形描绘；
图5E示出了根据本公开主题的某些实施方式的式12的图形描绘；
图5F示出了根据本公开主题的某些实施方式的式14的图形描绘；
图6示出了根据本公开主题的某些实施方式的针对不同的相对度量值计算的样本调整量的示例曲线图；
图7示出了根据本公开主题的某些实施方式的被执行用于生成相对头部取向的操作序列的流程图的示例；以及
图8示出了根据本公开主题的某些实施方式的相对于参考取向的相对头部取向。
具体实施方式
在以下详细描述中，阐述了许多具体细节以提供对本发明的透彻理解。然而，本领域技术人员将理解，可以在没有这些具体细节的情况下实践本公开主题。在其他情况下，未详细描述公知的方法、过程、部件和电路以免使本公开主题模糊。
除非另外特别说明，否则根据以下讨论所明显的是，应当理解，在整个说明书中，利用诸如“处理”、“计算(computing)”、“计算(calculating)”、“调整”、“生成”等术语的讨论指的是操纵数据和/或将数据转换成其他数据的计算机的动作和/或处理，所述数据被表示为诸如电子的物理量和/或所述数据表示物理对象。术语“计算机”应当被广泛地解释成涵盖具有数据处理能力的任何类型的基于硬件的电子装置，作为非限制性示例包括本申请中公开的处理电路。
本文使用的术语“非暂态存储器”和“非暂态存储介质”应当被广泛地解释成涵盖适合本公开主题的任何易失性或非易失性计算机存储器。
可以通过存储在非暂态计算机可读存储介质中的计算机程序由针对期望目的而专门配置的计算机或者由专门配置用于期望目的的通用计算机执行根据本文的教示的操作。
本专利说明书中使用的术语“用户”应当被广泛地解释成涵盖期望其头部运动被跟踪的个体。
本专利说明书中使用的术语“头部取向”应当被广泛地解释成涵盖描述用户头部在三个维度中的旋转(即转动、俯仰、摇摆)的任何类型的数据(例如，四元数、旋转矩阵或欧拉角集合等形式)，其也可以被描述成相对于某个其他取向的相对术语。
本专利说明书中使用的术语“参考系”应当被理解为描述用户的头部取向相对于其而被跟踪的场景(例如听觉的和/或视觉的)的非数学术语。
本专利说明书中使用的术语“参考取向”应当被广泛地解释成涵盖描述头部取向相对于其而被描述的参考系的旋转的任何类型的数据(例如，四元数、旋转矩阵或欧拉角集合等形式)。
并未参考任何特定编程语言来描述本公开主题的实施方式。将理解的是，可以使用各种编程语言来实现如本文描述的本公开主题的教示。
考虑到这一点，注意图1，其示出了根据本公开主题的某些实施方式的用于计算自适应参考取向的参考调整系统(RAS)(100)的简化框图。在某些实施方式中，RAS(100)可以包括可操作地耦接至头部传感器(114)的处理电路(102)，头部传感器(114)被配置成提供例如与用户相关联的头部数据，包括例如提供在任何给定时间处的相对于某个固定参考取向的用户头部取向。在某些实施方式中，头部传感器(114)可以是例如直接或间接地耦接至用户头部(例如，耦接至耳机或用户佩戴的其他设备)的惯性测量单元(IMU)。在某些实施方式中，头部数据可以存储在诸如所示的数据储存器(106)的缓冲器中。
处理电路(102)还可操作地耦接至一个或更多个第二传感器S1至Sn(116)，一个或更多个第二传感器S1至Sn(116)被配置成提供指示需要改变参考取向的第二数据并且被配置成独立于头部传感器(114)进行操作。也就是说，头部传感器(114)和第二传感器(116)不会相互感测或以其他方式相互共享数据。在某些实施方式中，第二传感器(116)可以包括例如IMU、加速度计、陀螺仪、磁力计或能够检测与用户相关联的位置、运动(例如动力学运动、物理运动、三维运动等)、取向、速度和/或加速度中的至少之一的变化的其他传感器中的一个或更多个。
在某些实施方式中，处理电路(102)可以被包括在由用户携带的移动装置例如智能电话、平板电脑中。在某些实施方式中，第二传感器(116)(或其中的一些)也可以被包括在由用户携带的、位于用户的口袋中或者以其他方式物理地位于用户附近的移动装置(其可以是其中可以包括处理电路的相同或不同的移动装置)中，使得第二传感器对用户的运动的变化作出响应。
处理电路(102)还可以包括或被耦接至一个或更多个处理单元(104)。处理单元(104)可以是例如处理器、微处理器、微控制器或包括多个和/或并行的处理单元的任何其他计算装置或模块。如下面将进一步详细描述的，处理电路(102)还可以包括(或以其他方式相关联)诸如所示的数据储存器(106)的一个或更多个存储器，所述一个或更多个存储器被配置成存储包括接收的头部数据和/或第二数据的数据。
处理电路(102)还可以包括(或以其他方式相关联)以下模块中的一个或更多个模块：调整量计算(AAC)模块(108)、参考取向计算(ROC)模块(110)和相对头部取向计算(RHOC)模块(112)。
在某些实施方式中，如下面将参照示出了根据某些实施方式的RAS(100)的示例流程图的图3进一步详细描述的，AAC模块(108)可以被配置成从第二传感器(116)连续接收第二数据并且基于所述数据计算指示调整量的值。在某些实施方式中，第二数据中的一些或全部数据可以存储在诸如数据储存器(106)的缓冲器中。
在某些实施方式中，如下面将参照示出了根据某些实施方式的RAS(100)的示例流程图的图3进一步详细描述的，ROC模块(110)可以被配置成从头部传感器(114)接收头部取向、从AAC模块接收调整量以及接收自适应参考取向，并且通过将自适应参考取向朝向头部取向移动来调整自适应参考取向，从而生成新的自适应参考取向。
在某些实施方式中，新的自适应参考取向被反馈到ROC模块(110)作为下一个输入自适应参考取向。例如，ROC模块(110)可以包括递归滤波器(例如，平滑滤波器、平均滤波器、无限脉冲响应(IIR)滤波器、有限脉冲响应(FIR)滤波器等)或者与该递归滤波器相关联，该递归滤波器被配置成连续接收作为输入的参考取向Qref[n]和时间常数Tc以用于进行平均，并且通过根据Tc执行平滑操作来连续输出新的参考取向Qref[n+1]。输出参考取向Qref[n+1]然后被反馈到滤波器中作为下一个输入参考取向Qref[n]。如下面将详细描述的，时间常数Tc也可以连续变化。
在某些实施方式中，如下面将参照示出了根据某些实施方式的RAS(100)的示例流程图的图3详细描述的，RHOC模块(112)可以被配置成从ROC模块接收最新的自适应参考取向并且从头部传感器(114)接收最新的头部取向，并且计算用户相对于当前自适应参考取向的相对头部取向。
在某些实施方式中，上面详细描述的RAS(100)可以用于呈现双耳音频、虚拟或增强现实场景或者需要将虚拟对象放置在用户头部附近的任何其他应用。作为非限制性示例，图2示出了包括RAS(100)和音频转换器(210)的双耳音频呈现器(200)的概括框图，音频转换器(210)被配置成调整音频流中的虚拟声源的放置并且可以使用本领域已知的软件、硬件和/或处理电路的任何组合来实现。参见例如，题为“Audio control based onorientation”的美国专利第9,271,103号，其全部内容通过引用并入本文。音频转换器(210)实时接收包括一个或更多个虚拟声源(例如右虚拟扬声器和左虚拟扬声器)的音频流以及来自RAS(100)的用户的相对头部取向，并且生成输出音频流，该输出音频流具有根据用户的相对头部取向所调整的一个或更多个虚拟声源的位置。该输出音频流然后也被实时地传送给用户(例如，通过耳机或扬声器)。
本领域技术人员应当理解，虽然图2作为示例描述了呈现双耳音频，但是相同的基本原理适用于呈现AR和/或VR视频，并且应当被理解成包括在本说明书的范围内。
图3示出了根据某些实施方式的RAS(100)的示例流程图，其中AAC模块(108)从第二传感器(116)接收第二数据，并计算指示可能需要改变参考取向(例如，通过提供用户当前参考系的变化的标记)的一个或更多个度量(300-1)至(300-N)。在某些实施方式中，一个或更多个度量可以是从第二传感器接收的第二数据的统计特征的变化。统计特征的示例包括例如方差、期望、自相关、互相关等。在某些实施方式中，一个或更多个度量可以包括相对稳定性、相对偏差和绝对偏差中之一或者相对稳定性、相对偏差和绝对偏差中的一个或更多个的组合。下面将根据本公开主题的实施方式更详细地讨论这些度量中的每一个。
在某些实施方式中，在计算出指示需要改变参考取向的一个或更多个度量(300-1)至(300-N)之后，AAC模块(108)将一个或更多个度量转换成指示调整量的值(302)。该转换可以通过将一个或更多个度量与一个或更多个阈值进行比较来执行。例如，如下面将通过某些示例更全面地详细描述和示出的，调整量可以是基于两个或更多个度量中之一或者两个或更多个度量的组合所计算的0到1之间的得到值。然后可以进一步对调整量进行线性或非线性滤波(304)以例如控制上升时间、保持时间和衰减时间中的一个或更多个，或者用于进行平滑。
调整量是每单位时间先前参考取向将朝向头部取向移动的量。这确定了自适应参考取向将跟随头部的速度(例如，角速度)。该速度是将参考取向朝向头部取向调整的速度的某个度量。该速度根据来自第二传感器的数据而连续变化。
在现在已经计算出至少部分地基于最新的第二数据(并且可以响应于第二数据的变化来实时地连续重新计算)的调整量的情况下，然后将当前调整量馈送到ROC模块(110)，ROC模块(110)使用调整量和当前头部取向来调整自适应参考取向(306)。
调整参考取向的处理被连续重复，使得参考取向逐渐朝向当前头部取向收敛至少部分地由第二数据指示的量(如下面在图4A至图4B中针对单个维度所示的)。这可以例如使用本领域技术人员已知的插值(包括例如线性插值)技术来实现。
例如，如果Qref是参考取向的四元数表示，并且Q头部是当前头部取向的四元数表示，则可以在一阶反馈回路中使用球面线性插值操作(“Slerp”)使Qref以计算的调整量朝向Q头部连续收敛，如式1所示：
Qref[n]＝Slerp(Qref[n-1],Q头部[n],调整量[n]) (1)
式1可以被描述为一阶IIR滤波器。图5A示出了式1的图形描绘。
通常，Slerp操作是指给定端点和0到1之间的插值参数的沿单位半径大圆弧的恒速运动(参见例如Ken Shoemake：Animating Rotation with QuaternionCurves.SIGGRAPH，第19卷，第3号(1985))。因此在该示例中，Qref和Q头部将是“端点”，而调整量将是插值参数。
本领域技术人员应当理解，存在许多计算两个取向之间的线性插值的方法，并且式1的Slerp示例仅是单个非限制性示例。
如上面详细描述的，每当由ROC模块(110)生成新的参考取向时，该新的参考取向被反馈到ROC模块(110)以用于生成下一个参考取向。另外，新的参考取向也被馈送到RHOC模块(112)，RHOC模块(112)使用该新的参考取向和当前头部取向来确定用户相对于新的参考取向的相对头部取向(308)。例如，如式2中，可以根据参考取向Qref和头部取向Q头部通过乘以四元数的逆来确定相对取向Q头部/ref：
Figure BDA0001924815300000101
图8示出了根据某些实施方式的生成相对于参考取向的相对头部取向的示例。应当理解，虽然图8中所示的示例是针对单个维度提供的，但在实践中可以在一个维度、两个维度或三个维度上确定相对头部取向。还应当理解，虽然图8的示例以“度”示出了取向，但是这是非限制性的并且在实践中可以使用任何其他合适的空间取向描述符。现在参照图8，第一头部取向(802)描述了由头部传感器(114)提供的用户的当前头部取向。参考取向(804)描述了由ROC模块(110)最新生成的当前参考取向。因此，在该示例中，RHOC模块(112)可以生成第二头部取向(806)，第二头部取向(806)是用户相对于当前参考取向的相对头部取向。
上述处理被连续地重复，使得连续地并且可能响应于用户的头部运动而实时地确定用户的相对头部取向，根据上述，Q头部/ref可以用作任何运动VR、AR或双耳环境中的头部取向。
如上面详细描述的，在某些实施方式中，在被馈送到ROC模块(110)之前，调整量可以经历滤波处理，以例如根据和/或经线性和/或非线性滤波的预定最小值和/或最大值来控制调整量，以控制上升时间、保持时间和衰减时间中的一个或更多个，以产生最佳且自然的参考取向运动。例如，对应于一些最小量的最大时间常数60秒将确保参考取向将总是缓慢地朝向头部方向运动以补偿小的或缓慢累积的偏移。在另一示例中，可以关于该量设置短的上升时间(0秒)和较长的保持时间和衰减时间(2秒)，使得如果发生突然且短暂的瞬变，则该量将立即响应，使参考取向在整个保持时间内紧随头部(以补偿剧烈的变化)。然后，随衰减时间缓慢地消失，参考取向最终保持静止，并且将恢复正常跟踪。
图4A示出了连续时间曲线图，该连续时间曲线图在单个维度上示出了朝向头部取向移动根据第二数据而变化的量的自适应参考取向。例如，该量可以至少部分地根据第二数据的统计特征的变化来变化。应当理解，示出了单个维度以说明构思；实际上，可以在多于一个维度即最多达三个维度(俯仰、摇摆、转动)上跟踪头部取向并且移动参考取向。此外，术语“方向”用于描述一个维度上的取向。图4A中所示的曲线图模拟了第二传感器附接到用户的躯干(例如，在用户的口袋中的用户的移动装置中)并检测躯干的运动和/或取向的变化的状况。该曲线图示出了在接收头部数据和第二数据的连续时间段期间可以由ROC模块(110)输出的样本自适应参考取向。
图4A被划分成四个不同的曲线图(410)、(418)、(420)、(422)以更好地说明本公开主题的构思。曲线图(410)视觉地示出了在躯干(414)的方向变化(例如，用户可能正在行走、跑步等)以及用户头部(412)的方向也独立于躯干而变化的连续时间段期间在不同采样时间处的用户头部(412)和躯干(414)的俯视图。还示出了虚拟扬声器(416)，其可以取决于在该连续时间段期间的特定时间处生成的特定自适应参考取向的方向而被不同地定位。通常，如根据(410)而明显的是，当用户的躯干方向稳定时，无论头部方向如何，虚拟扬声器都被放置在躯干正前方，而如果躯干方向正在变化，则虚拟扬声器朝向头部移动，即移动到较为紧密地对应于头部方向的位置。
图4A的曲线图(418)示出了表示可以基于从附接到躯干(414)的第二传感器接收的第二数据在任何给定时间处计算的调整量值的样本值。例如，在时间t1与t2之间，调整量被示为零，因为如同样在曲线图(410)中针对同一时间段视觉地示出的，躯干方向是稳定的。相反，在t3与t4之间，响应于指示此时正在改变躯干方向的第二数据，调整量上升到～0.2。从t5至t6，调整量基本保持为零，其反映了指示在t5与t6之间躯干方向的稳定性的第二数据。响应于指示躯干方向的稳定性的大幅变化的第二数据，调整量上升，在t6处开始再次上升至～0.8的峰值(424)，并且在t7处上升至～1的峰值(426)。
图4A的曲线图(420)通过实线示出了表示连续时间段期间的头部方向的样本值，并且通过虚线示出了表示可以在连续时间段期间计算的自适应参考取向的样本值。因此，在t1与t3之间，当躯干方向稳定时，尽管存在交替的头部运动，但是参考取向呈现为恒定地处于零角度偏移(尽管其实际上在非常缓慢地朝向头部方向收敛)，所述零角度偏移反映了在t1与t3之间虚拟扬声器(416)被定位在躯干正前方。相反，在时间t6和t7处，可以看到，响应于调整量相应增加到～0.8和～1，(420)中的参考取向的方向正在快速收敛于头部方向。
图4A的曲线图(422)示出了由RHOC模块(112)计算的用户相对于自适应参考取向的相对头部方向。因此，例如，在t3处，当自适应参考取向的方向基本等于头部方向时，用户的相对头部方向(即，偏移)基本为零。此外，在(418)中的调整量分别在t6和t7处移动到～0.8和～1时，可以看到，(422)中的相对头部方向分别在(428)和(430)处移动到零。如上面详细描述的，可以使用(422)中的相对头方向的样本值以例如实现双耳音频、VR、AR等的呈现。
如图4A中所示，只要仅存在头部运动，则参考方向是恒定的，并且虚拟扬声器在空间中呈现为固定的(即静止的)。仅躯干方向的变化会使参考取向变化。当发生这种情况时，参考取向朝向头部取向收敛，(模拟虚拟扬声器的运动以跟随头部)直到躯干方向稳定为止。因此，例如在曲线图(410)中可以看到，例如，从时间t1至时间t2，尽管如曲线图(410)和(420)中所见存在用户的左右头部移动，但是用户的躯干方向相对不变化，因此第二数据产生零调整量，转换成接近恒定的参考取向。然而，注意到曲线图(422)中的针对同一时间段的正在变化的相对头部方向。如上面详细描述的，可以使用(422)中的相对头部方向的样本值，以例如实现双耳音频的呈现。
应当注意，由于图4A中所示的曲线图的缩放水平，虽然在(424)和(426)处可以呈现为(420)中的参考取向等于头部取向，但是实际上在(424)处参考取向并不精确地等于头部取向，因为调整量小于1。因此，图4B示出了类似于图4A的曲线图的顶部和中间部分的放大曲线图，其中可以看到，当调整量接近1但不等于1时，参考取向移动得较接近头部取向但不等于头部取向。仅在调整量等于1的情况下，参考取向等于头部取向。
在某些实施方式中，如上面详细描述的，一个或更多个度量可以包括相对稳定性、相对偏差和绝对偏差中之一或者相对稳定性、相对偏差和绝对偏差中的一个或更多个的组合。现在将更详细地讨论这些度量中的每一个，并且将提供示例。
示例#1：相对稳定性
该度量将当前短时间样本方差与之前的长期样本方差进行比较，并且返回方差相对增加的指示符。假设使用式3来表示每个传感器(每轴)在n-N与n之间的样本上的方差S：
Figure BDA0001924815300000121
每轴的相对稳定性(未归一化)由式4给出：
RS_UNNORM每传感器每轴[n]＝max((S{n,n-N1}-S{n-N1,n-N1-N2}),0) (4)
其中，N1和N2是计算方差的样本组(时间窗口)，n是当前样本。由下式给出使用正态分布方差的方差针对方差的总方差对其进行归一化：
Figure BDA0001924815300000131
其转化成由下式给出的两个组的合并方差：
Figure BDA0001924815300000132
因此归一化的每轴每传感器的相对稳定性可以被写为式5：
Figure BDA0001924815300000133
分母通过方差的总方差对方差进行归一化，因此方差被用作随机变量以实现方差变化的无单位度量。为了针对不同的装置和传感器类型设置一个阈值，无单位度量是关键的。图5B示出了式3至式5的图形描绘。
最后，例如使用式6，针对每轴每传感器计算的相对稳定性可以通过均方根(RMS)进行组合，并且还通过允许每个传感器的不同加权的加权RMS在传感器之间进行组合：
Figure BDA0001924815300000134
其中，K是传感器的数量。例如，对于三轴陀螺仪和三轴加速度计，K＝2。然后，例如在100Hz处，如果T1＝0.5秒并且T2＝2.0秒，则N1＝50，N2＝200。在该示例中，将当前半秒(短期)的稳定性与前两秒(长期)的稳定性进行比较。图5C示出了式6的图形描绘。
示例#2：相对偏差
该度量对两个相邻时间跨度之间的平均参考取向进行比较。可以使用上面描述的“Slerp”操作实现计算一组四维四元数的几何平均四元数。该操作确保两个四元数之间的插值通过最短路径(即较大的圆)完成。为了计算在时段Tc上的均值，可以如式7中以递归的方式使用Slerp操作：
Q均值[n]＝Slerp(Q均值[n-1]，Qin[n]，α) (7)
其中，α是每个步骤上的Slerp的相对量，并且按照式8，由时间常数Tc和跟踪样本率Fs来定义：
Figure BDA0001924815300000144
为了计算四元数的方差，如在式9中，定义距离度量，例如通过点积计算的两个四元数之间的角度：
Figure BDA0001924815300000141
然后如在式10中，可以计算方差：
Figure BDA0001924815300000142
应当注意，Q均值是矢量，但是方差SQ是以平方角为单位的标量。
均值和方差被计算两次，一次在最后一秒内(或任何其他时间跨度)，另一次在前一秒内(或任何其他时间跨度)，即：
Q均值1＝Q均值(t,t-T)并且Q均值2＝Q均值(t-T,t-2T)；并且
SQ1＝SQ(t,t-T)并且SQ2＝SQ(t-T,t-2T)
T是在其上计算取向的均值和方差的时间常数。例如，当T＝1秒时，将当前秒的取向与前一秒的取向进行比较。
使用均值和方差，可以使用式11计算相对偏差，该相对偏差也是无单位的：
Figure BDA0001924815300000143
图5D示出了式7至式11的图形描绘。
示例#3：相对稳定性和相对偏差的组合
该度量通过组合上面详细描述的相对稳定性和相对偏差的度量来计算。如在式12中，可以例如使用均方根来组合这些度量：
Figure BDA0001924815300000151
在某些实施方式中，各个度量(即相对稳定性和相对偏差)每个均可以被赋予相应的权重。图5E示出了式12的图形描绘。
示例#4：绝对偏差
该度量旨在处理发生可能不能通过上述两个示例捕获的慢运动的情况。该度量(以角度单位提供)将第二传感器的平均取向与某个参考锚进行比较，锚是某个过去的取向。如在式13中，当与锚的偏差超过阈值时，锚被设置成第二传感器的当前取向：
绝对偏差度量＝|θ差(Q均值，Q锚)| (13)
度量到调整量的转换
如上面详细描述的，可以根据两个或更多个度量中之一或者两个或更多个度量的组合来得到调整量。例如，参考上面详细描述的相对稳定性、相对偏差和绝对偏差的示例度量，可以按照式14计算调整量：
Figure BDA0001924815300000152
其中，p是某个功率值。图5F示出了式14的图形描绘。相对阈值的值确定其中量等于1/2的点。如图6中所示，p的值确定量将根据相对度量和相对阈值从0变成1的快速性如何。
如图6中所示，如果绝对偏差度量超过绝对阈值(例如，以度或其他的取向单位)，则调整量被设置成1，否则，其被平滑地设置在0至1的范围内，其中斜线的位置和形状分别由相对阈值和p控制，图6示出了针对不同的相对度量值和不同的功率值计算的样本调整量的示例曲线图。
如上面详细描述的，式1中提供的示例线性插值操作可以被描述为一阶IIR滤波器。在诸如此类的系统中，通常定义滤波器时间常数TC，在该滤波器时间常数TC内输出值达到目标值的
Figure BDA0001924815300000153
的值。在这些定义下，在式15和式16中描述了调整量与TC之间的关系：
Figure BDA0001924815300000161
Figure BDA0001924815300000162
其中，log是自然对数，并且Fs是采样率。
然而，调整量基于第二传感器数据而变化，因此如式17中所描述的，TC不是常数：
Figure BDA0001924815300000163
使用TC[n]，参考取向可以被描述为以与1/TC[n]成比例的速度进行调整。
图7示出了根据某些实施方式的可以由处理单元执行以提供相对于自适应参考取向的头部取向的操作序列的示例流程图。在块700处，处理单元初始化要用作起始参考取向的自适应参考取向。在某些实施方式中，初始化参考取向可以包括例如生成默认或任意的参考取向并将调整量设置成等于1，从而保证所生成的参考取向将快速收敛到头部取向。
在块702处，处理单元从头部传感器(114)接收头部数据。头部数据描述与用户相关联的第一头部取向。在某些实施方式中，例如以预定采样率从头部传感器连续接收头部数据，从而使得最新接收到的头部数据描述当前第一头部取向。
与接收头部数据基本同时地，在块704处，处理单元从一个或更多个第二传感器(116)接收第二数据。在某些实施方式中，例如以相应预定采样率从一个或更多个第二传感器连续接收第二数据，从而使得最新接收到的第二数据描述最新的第二数据。在某些实施方式中，如上面详细描述的，第二数据包括指示需要改变自适应参考取向的数据，例如指示在三维坐标系的至少一个维度上的与用户相关联的位置、运动、取向、速度和/或加速度的数据。
在块706处，处理单元例如AAC模块(108)至少部分地根据最新的第二数据连续计算指示调整量的值。在某些实施方式中，可以例如通过根据第二数据(例如，基于第二数据的统计特征的变化)计算一个或更多个度量并将一个或更多个度量转换成调整量来根据第二数据得到或计算调整量。在某些实施方式中，可以通过将度量中的一个或更多个度量与一个或更多个相应阈值进行比较来将一个或更多个度量转换成调整量。一个或更多个度量可以包括例如相对稳定性、相对偏差和/或绝对偏差。在某些实施方式中，可以进一步对调整量进行滤波以用于进行平滑和/或控制上升时间、保持时间和衰减时间中的一个或更多个。
在块708处，处理单元例如ROC模块(110)通过将自适应参考取向至少部分地朝向头部取向(由头部数据提供)移动至少部分地根据第二数据而变化的量来连续调整自适应参考取向，从而生成新的自适应参考取向。在某些实施方式中，该量可以由调整量来确定。在某些其他实施方式中，可以根据滤波器时间常数TC得到该量，在该滤波器时间常数TC内，参考取向的值将至少部分地朝向当前头部取向收敛。在某些实施方式中，调整自适应参考取向可以包括根据在块706处计算的调整量来旋转自适应参考取向。例如，可以通过自适应参考取向与第一头部取向之间的四元数“Slerp”来实现旋转。
在块710处，处理单元例如RHOC模块(112)根据用户的第一头部取向(在块702处接收)和新的自适应参考取向(在块708处生成)生成指示与用户相关联的第二头部取向的数据，其中第二头部取向描述用户相对于新的自适应参考取向的第一头部取向。在某些实施方式中，用户的第二头部取向可以用于呈现双耳音频、VR视频和/或AR视频中的至少之一，然后其可以通过耳机、眼镜或其他收听和/或观看设备传递给用户。然后执行返回到块702并且重复操作序列702至710，其中，在块710处生成的新的自适应参考取向构成要在块708处被调整的下一参考取向。
在块710的每次执行处，相对于自适应参考取向生成用户的最新相对头部取向，从而使得能够与用户的头部运动实时地或接近实时地响应于用户的头部运动向用户传送所呈现的音频和/或视频。
应当注意，本公开主题的教示不受参照图1描述的系统的约束。等效和/或修改的功能可以以其他方式进行合并或划分，并且可以以软件与固件和/或硬件的任何适当的组合实现，并且在合适的装置上执行。
应当注意，本公开主题的教示不受图7中所示的流程图的约束，所示的操作可以不以所示的顺序来发生。例如，连续示出的操作702和704可以基本上同时地或以相反的顺序来执行。还应当注意，虽然参照系统(100)的元件描述了流程图，但是这决不是约束，并且可以通过除了本文描述的那些元件之外的元件来执行操作。
应当理解，本发明不将其应用限制于本文中包含的描述中阐述的或在附图中示出的细节。本发明能够具有其他实施方式并且能够以各种方式实践和实施。因此，应当理解，本文采用的措辞和术语是出于描述的目的，并且不应当被视为限制。因此，本领域技术人员将理解，可以容易地将本公开所基于的概念用作设计用于实施本公开主题的若干目的的其他结构、方法和系统的基础。
还应当理解，根据本发明的系统可以被至少部分地实现在适当编程的计算机上。同样，本发明设想了能够由计算机读取以执行本发明的方法的计算机程序。本发明还设想了有形地包含能够由计算机执行以用于执行本发明方法的指令的程序的非暂态计算机可读存储器。
本领域技术人员将容易地理解，在不脱离所附权利要求中限定并且由所附权利要求限定的其范围的情况下，可以将各种修改和变化应用于上文描述的本发明的实施方式。

Claims (20)

1.一种用于提供相对于参考取向的头部取向的方法，所述方法由处理单元实现并且包括：
重复地提供：
a)从头部传感器接收头部数据，所述头部数据描述与用户相关联的头部取向；
b)从独立于所述头部传感器进行操作的第二传感器接收第二数据，所述第二数据指示关于与当前参考取向相关联的用户的当前参考系的变化；
c)通过将所述当前参考取向至少部分地朝向所述头部取向移动至少部分地根据当前接收到的第二数据而变化的量来使用所述当前接收到的第二数据获得更新的参考取向；
d)计算相对于所述更新的参考取向的头部取向，从而提供更新的参考系中的头部取向；以及
e)使用所述更新的参考取向作为当前参考取向以用于操作a)至d)的下一次重复。
2.根据权利要求1所述的方法，其中，所述量至少部分地根据所述第二数据的统计特征的变化而变化。
3.根据权利要求1所述的方法，其中，通过根据调整量旋转所述当前参考取向来获得所述更新的参考取向。
4.根据权利要求3所述的方法，其中，所述当前接收到的第二数据被用以计算所述调整量。
5.根据权利要求3所述的方法，其中，通过在所述当前参考取向与所述头部取向之间进行插值来执行所述旋转。
6.根据权利要求4所述的方法，其中，通过计算一个或更多个度量并将所述一个或更多个度量转换成所述调整量来根据所述当前接收到的第二数据得到所述调整量，其中，所述一个或更多个度量包括相对稳定性、相对偏差、绝对偏差中的一个或更多个。
7.根据权利要求6所述的方法，其中，所述调整量被进一步处理以进行以下中的至少之一：平滑；以及控制所述调整量的上升时间、保持时间和衰减时间中的一个或更多个。
8.根据权利要求6所述的方法，其中，通过将所述一个或更多个度量中的一个或更多个与一个或更多个相应阈值进行比较来将所述一个或更多个度量转换成所述调整量。
9.根据权利要求1所述的方法，其中，所述当前接收到的第二数据包括指示在三维坐标系的至少一个维度上的与所述用户相关联的位置、运动、取向、速度和加速度中的至少之一的数据。
10.根据权利要求1所述的方法，还包括：根据相对于所述更新的参考取向计算的头部取向呈现双耳音频。
11.根据权利要求1所述的方法，还包括：根据相对于所述更新的参考取向计算的头部取向呈现虚拟现实VR视频和增强现实AR视频中之一。
12.一种用于提供相对于参考取向的头部取向的系统，所述系统包括：
头部传感器，其被配置成提供头部数据，所述头部数据描述与用户相关联的头部取向；
一个或更多个第二传感器，其独立于所述头部传感器进行操作，并且被配置成提供第二数据；所述第二数据指示关于与当前参考取向相关联的用户的当前参考系的变化；以及
处理单元，其可操作地耦接至所述头部传感器以及所述一个或更多个第二传感器，并且被配置成重复地提供：
a)从所述头部传感器接收描述头部取向的头部数据；
b)从所述一个或更多个第二传感器接收第二数据；
c)通过将所述当前参考取向至少部分地朝向所述头部取向移动至少部分地根据当前接收到的第二数据而变化的量来使用所述当前接收到的第二数据获得更新的参考取向；以及
d)计算相对于所述更新的参考取向的头部取向，从而提供更新的参考系中的头部取向；以及
e)使用所述更新的参考取向作为当前参考取向以用于操作a)至d)的下一次重复。
13.根据权利要求12所述的系统，其中，所述量至少部分地根据所述第二数据的统计特征的变化而变化。
14.根据权利要求12所述的系统，其中，通过根据调整量旋转所述当前参考取向来获得所述更新的参考取向。
15.根据权利要求14所述的系统，其中，所述当前接收到的第二数据被用以计算所述调整量。
16.根据权利要求15所述的系统，其中，通过计算一个或更多个度量并将所述一个或更多个度量转换成所述调整量来根据所述当前接收到的第二数据得到所述调整量，其中，所述一个或更多个度量包括相对稳定性、相对偏差、绝对偏差中的一个或更多个。
17.根据权利要求16所述的系统，其中，所述调整量被进一步处理以进行以下中的至少之一：平滑；以及控制所述调整量的上升时间、保持时间和衰减时间中的一个或更多个。
18.根据权利要求12所述的系统，其中，所述当前接收到的第二数据包括指示在三维坐标系的至少一个维度上的与所述用户相关联的位置、运动、取向、速度和加速度中的至少之一的数据。
19.根据权利要求12所述的系统，还包括以下中的至少之一：根据相对于所述更新的参考取向计算的头部取向呈现双耳音频；以及根据相对于所述更新的参考取向计算的头部取向呈现虚拟现实VR视频和增强现实AR视频中之一。
20.一种有形地包含指令程序的非暂态计算机可读存储器，所述指令程序能够由计算机执行以执行提供相对于参考取向的头部取向的方法，所述方法包括：
重复地提供：
a)从头部传感器接收头部数据，所述头部数据描述与用户相关联的头部取向；
b)从独立于所述头部传感器进行操作的第二传感器接收第二数据，所述第二数据指示关于与当前参考取向相关联的用户的当前参考系的变化；
c)通过将所述当前参考取向至少部分地朝向所述头部取向移动至少部分地根据当前接收到的第二数据而变化的量来使用所述当前接收到的第二数据获得更新的参考取向；
d)计算相对于所述更新的参考取向的头部取向，从而提供更新的参考系中的头部取向；以及
e)使用所述更新的参考取向作为当前参考取向以用于操作a)至d)的下一次重复。
CN201780040301.9A 2016-05-02 2017-05-01 利用自适应参考的头部跟踪 Active CN109643205B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662330267P 2016-05-02 2016-05-02
US62/330,267 2016-05-02
PCT/IL2017/050484 WO2017191631A1 (en) 2016-05-02 2017-05-01 Head tracking with adaptive reference

Publications (2)

Publication Number Publication Date
CN109643205A CN109643205A (zh) 2019-04-16
CN109643205B true CN109643205B (zh) 2022-03-25

Family

ID=60202864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780040301.9A Active CN109643205B (zh) 2016-05-02 2017-05-01 利用自适应参考的头部跟踪

Country Status (5)

Country Link
US (1) US10705338B2 (zh)
EP (1) EP3452891B1 (zh)
JP (1) JP6913326B2 (zh)
CN (1) CN109643205B (zh)
WO (1) WO2017191631A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190056600A1 (en) 2016-12-31 2019-02-21 Lumus Ltd Eye tracker based on retinal imaging via light-guide optical element
DE102017208365A1 (de) * 2017-05-18 2018-11-22 Robert Bosch Gmbh Verfahren zur Orientierungsschätzung eines tragbaren Gerätes
US11303814B2 (en) * 2017-11-09 2022-04-12 Qualcomm Incorporated Systems and methods for controlling a field of view
RU2759012C1 (ru) 2018-04-24 2021-11-08 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Аппаратура и способ для воспроизведения аудиосигнала для проигрывания пользователю
US20220279303A1 (en) * 2019-10-22 2022-09-01 Google Llc Spatial audio for wearable devices
US11860369B2 (en) 2021-03-01 2024-01-02 Lumus Ltd. Optical system with compact coupling from a projector into a waveguide
US11822088B2 (en) 2021-05-19 2023-11-21 Lumus Ltd. Active optical engine
TW202309570A (zh) 2021-08-23 2023-03-01 以色列商魯姆斯有限公司 具有嵌入式耦入反射器的複合光導光學元件的製造方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101133679A (zh) * 2004-09-01 2008-02-27 史密斯研究公司 个性化的头戴耳机虚拟
CN102318374A (zh) * 2009-02-13 2012-01-11 皇家飞利浦电子股份有限公司 头部跟踪
CN102435139A (zh) * 2010-09-08 2012-05-02 哈曼贝克自动系统股份有限公司 对头部旋转的检测被改进的头部跟踪系统
CN103748598A (zh) * 2011-05-20 2014-04-23 爱福露恩斯公司 用于识别视线跟踪场景参考位置的系统和方法
US9268136B1 (en) * 2012-09-28 2016-02-23 Google Inc. Use of comparative sensor data to determine orientation of head relative to body

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2671329B2 (ja) * 1987-11-05 1997-10-29 ソニー株式会社 オーディオ再生装置
US5742264A (en) 1995-01-24 1998-04-21 Matsushita Electric Industrial Co., Ltd. Head-mounted display
JP3796776B2 (ja) 1995-09-28 2006-07-12 ソニー株式会社 映像音声再生装置
US6009210A (en) * 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
JP2001208529A (ja) * 2000-01-26 2001-08-03 Mixed Reality Systems Laboratory Inc 計測装置及びその制御方法並びに記憶媒体
US6474159B1 (en) 2000-04-21 2002-11-05 Intersense, Inc. Motion-tracking
DE602007009784D1 (de) 2007-01-16 2010-11-25 Harman Becker Automotive Sys Vorrichtung und Verfahren zum Verfolgen von surround Kopfhörern unter Verwendung von Audiosignalen unterhalb der maskierten Hörschwelle
EP2012170B1 (en) * 2007-07-06 2017-02-15 Harman Becker Automotive Systems GmbH Head-tracking system and operating method thereof
EP2031418B1 (en) 2007-08-27 2017-11-01 Harman Becker Automotive Systems GmbH Tracking system using RFID (radio frequency identification) technology
US20090189830A1 (en) * 2008-01-23 2009-07-30 Deering Michael F Eye Mounted Displays
US20090219224A1 (en) 2008-02-28 2009-09-03 Johannes Elg Head tracking for enhanced 3d experience using face detection
WO2009155525A2 (en) 2008-06-19 2009-12-23 University Of Utah Research Foundation Implementing and interpolating rotations from a computing input device
KR101315303B1 (ko) 2011-07-11 2013-10-14 한국과학기술연구원 착용형 디스플레이 장치 및 컨텐츠 디스플레이 방법
US8831255B2 (en) * 2012-03-08 2014-09-09 Disney Enterprises, Inc. Augmented reality (AR) audio with position and action triggered virtual sound effects
US9271103B2 (en) 2012-03-29 2016-02-23 Intel Corporation Audio control based on orientation
US9063330B2 (en) 2013-05-30 2015-06-23 Oculus Vr, Llc Perception based predictive tracking for head mounted displays
US10310595B2 (en) 2014-06-30 2019-06-04 Sony Corporation Information processing apparatus, information processing method, computer program, and image processing system
US10095306B2 (en) 2015-06-15 2018-10-09 Harman International Industries, Incorporated Passive magnetic head tracker
US9821920B2 (en) * 2015-08-18 2017-11-21 Nextvr Inc. Methods and apparatus for compensating for vehicular motion
US10503245B2 (en) 2016-09-21 2019-12-10 Apple Inc. Relative intertial measurement system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101133679A (zh) * 2004-09-01 2008-02-27 史密斯研究公司 个性化的头戴耳机虚拟
CN102318374A (zh) * 2009-02-13 2012-01-11 皇家飞利浦电子股份有限公司 头部跟踪
CN102435139A (zh) * 2010-09-08 2012-05-02 哈曼贝克自动系统股份有限公司 对头部旋转的检测被改进的头部跟踪系统
CN103748598A (zh) * 2011-05-20 2014-04-23 爱福露恩斯公司 用于识别视线跟踪场景参考位置的系统和方法
US9268136B1 (en) * 2012-09-28 2016-02-23 Google Inc. Use of comparative sensor data to determine orientation of head relative to body

Also Published As

Publication number Publication date
US20190064519A1 (en) 2019-02-28
JP2019523510A (ja) 2019-08-22
EP3452891A4 (en) 2019-12-18
EP3452891B1 (en) 2024-04-10
JP6913326B2 (ja) 2021-08-04
US10705338B2 (en) 2020-07-07
CN109643205A (zh) 2019-04-16
EP3452891A1 (en) 2019-03-13
WO2017191631A1 (en) 2017-11-09

Similar Documents

Publication Publication Date Title
CN109643205B (zh) 利用自适应参考的头部跟踪
US10268882B2 (en) Apparatus for recognizing posture based on distributed fusion filter and method for using the same
CN107690110B (zh) 用于操作可穿戴式扬声器设备的系统和方法
US20160363992A1 (en) Passive magentic head tracker
JP7431025B2 (ja) エゴモーション情報推定装置及び方法
US11651762B2 (en) Reverberation gain normalization
US11620771B2 (en) Head tracking with adaptive reference
CN111527465A (zh) 预测对象运动的方法、校准运动模型的方法、获得预定义量的方法和生成虚拟现实视图的方法
JP5620516B2 (ja) 安定化方法、及びコンピュータ・システム
US10540020B2 (en) Mapped variable smoothing evolution method and device
US20240147180A1 (en) Sensor data prediction
JP7478100B2 (ja) 反響利得正規化
EP4309377A1 (en) Sensor data prediction
CN111512212A (zh) 头戴式显示设备及其显示控制方法
AU2021218187A1 (en) Rendering motion of objects in virtual environments
CN116997770A (zh) 磁力计的校准

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant