CN113382350B - 用于双耳音频渲染的协调跟踪的方法、系统和介质 - Google Patents

Abstract

本发明题为“用于双耳音频渲染的协调跟踪的方法、系统和介质”。本发明描述了双耳声音再现系统，以及使用双耳声音再现系统来动态地重新定中虚拟声源的参照系的方法。双耳声音再现系统可包括参考设备，例如移动设备，其具有参考传感器以提供与参考设备的方向对应的参考取向数据，以及头戴式设备，例如耳机，其具有设备传感器以提供与头戴式设备的方向对应的设备取向数据。系统可使用参考取向数据来确定头戴式设备是正在静态使用情形中还是在动态使用情形中使用，并且可调整音频输出以基于所确定的使用情形在经调整的源方向上渲染虚拟声源。还描述了其他实施方案并要求对其进行保护。

Description

用于双耳音频渲染的协调跟踪的方法、系统和介质

本申请要求2016年9月23日提交的美国临时专利申请No.62/399,250的优先权的权益，并且通过引用将该临时专利申请并入本文。

本申请是国际申请日为2017年8月18日、国际申请号为PCT/US2017/047592、国家申请号为CN201780052292.5A、发明名称为“用于双耳音频渲染的协调跟踪的方法、系统和介质”的发明专利申请的分案申请。

技术领域

公开了涉及双耳声音再现系统的实施方案。更具体地，公开了涉及具有与电子设备通信的头戴式设备的双耳声音再现系统的实施方案。

背景技术

双耳耳机模拟虚拟声源。为了实现逼真的虚拟声源，可使用头部跟踪来将虚拟声源锚定到参照系，例如房间。头部跟踪系统可包括方向传感器，以允许音频引擎预测双耳耳机相对于参照系的取向，从而在收听者的头部转动时在适当的方向上模拟虚拟声源。

发明内容

现有的具有头部跟踪的双耳耳机可在参照系不移动时实现逼真的虚拟声源。即，当前的双耳耳机假设虚拟声源在空间上锚定到固定参照系，因此，头部跟踪器的移动归因于收听者的头部转动。然而，当参照系是移动参照系或者当收听者的整个身体相对于前向方向移动时，这种假设可能是不合适的。例如，当收听者沿着蜿蜒的城市街道慢跑或者当收听者在汽车或飞机的机舱中旅行时，该假设可能是不正确的。当参照系和用户的头部经历类似的运动时，例如，当飞机从旧航向向右偏航到新航向并导致乘客头部向右转弯时，逼真的虚拟声源应该相对于新的航向定位在相同的方向上，而不是相对于旧航向保持固定。应当理解，这在现有的双耳耳机中不会发生，因为如收听者所感知到的，从转动平面传递给头部跟踪器的移动将导致虚拟声源向左移动，即使收听者的头部和移动的机舱之间没有取向变化。

在实施方案中，双耳声音再现系统执行动态地重新定中虚拟声源的参照系的方法。双耳声音再现系统包括：参考设备，该参考设备具有用于输出参考取向数据的参考传感器；以及头戴式设备，该头戴式设备具有用于输出设备取向数据的设备传感器。参考取向数据对应于参考设备的参考方向，并且设备取向数据对应于头戴式设备的设备方向。因此，双耳声音再现系统具有系统取向数据，该系统取向数据可用于重新定中头戴式设备的参照系。

在一个实施方案中，头戴式设备包括音频处理器，该音频处理器被配置为输出音频输出以在与前向设备方向成偏移角度的源方向上渲染虚拟声源。因此，头戴式设备的用户可将虚拟声源感知为来自源方向。可根据头戴式设备的使用情形动态地移动虚拟声源。更具体地，可基于确定的使用情形来调整音频输出。因此，音频处理器可被配置为基于参考取向数据确定头戴式设备是处于静态使用情形(例如，当参考方向的参考角度变化在预先确定的运动范围内时)还是动态使用情形(例如，当参考角度变化在预先确定的运动范围之外时)。

在实施方案中，当头戴式设备处于静态使用情形时，头戴式设备的参照系被手动重新定中。例如，头戴式设备可包括重新定中输入开关，以接收来自用户的重新定中输入。音频处理器可响应于接收到重新定中输入而调整音频输出，例如，响应于用户按下物理按钮，以重新定中头戴式设备的参照系。更具体地说，音频处理器可在与当前前向设备方向成偏移角度的经调整的源方向上渲染虚拟声源。偏移角度可为与用户转动他的头部之前虚拟声源先前从初始前向设备方向偏移的角度相同的角度。因此，在静态使用情形中，用户可手动移动虚拟声源。

在实施方案中，当头戴式设备处于动态使用情形时，头戴式设备的参照系根据动态时间常数自动地重新定中。为了实现自动重新定中，音频处理器可确定头戴式设备的设备方向的设备角度变化的量，例如用户头部旋转的程度。当设备角度变化的量大于预先确定的角度变化阈值时，音频处理器可确定设备角度变化的速率。可在预先确定的持续时间内确定速率。例如，预先确定的持续时间可与设备角度变化的量成反比。即，当设备角度变化的量较小时，预先确定的持续时间可更长。在一个实施方案中，当所确定的速率小于预先确定的速率阈值(指示用户现在正在面向新的前向方向)时，音频处理器可调整音频输出以在调整的源方向上渲染虚拟声源。经调整的源方向可从初始源方向偏移设备角度变化的量。因此，基于头戴式设备的移动自动重新定中头戴式设备的参照系可将用户对虚拟声源的感知保持为来自相同方向。

在实施方案中，当头戴式设备处于动态使用情形时，头戴式设备的参照系基于参考设备的移动自动重新定中。为了实现自动重新定中，音频处理器可确定参考设备的参考方向的参考角度变化的量，例如，当参考设备由于用户围绕拐角慢跑或行驶而旋转时。音频处理器可调整音频输出以在经调整的源方向上渲染虚拟声源。在一个实施方案中，经调整的源方向从初始源方向偏移参考角度变化的量。因此，头戴式设备的参照系的重新定中基于参考设备的移动。经协调的重新定中可将用户对虚拟声源的感知保持为来自相同方向。

上面的概述不包括本发明的所有方面的详尽列表。设想本发明包括可从上面概述的各个方面以及在下面的具体实施方式中公开且在随该专利申请提交的权利要求书中特别指出的各个方面的所有合适的组合而实践的所有系统和方法。此类组合具有未在上面的概述中具体叙述的特定优点。

附图说明

图1是根据实施方案的在静态使用情形中消费音频或视频内容的用户的图示。

图2是根据实施方案的在动态使用情形中消费音频或视频内容的用户的图示。

图3是根据实施方案的双耳声音再现系统的图示。

图4是根据实施方案的双耳声音再现系统的框图。

图5是根据实施方案的在静态使用情形和动态使用情形期间双耳声音再现系统的取向数据的图形表示。

图6是根据实施方案的使用双耳声音再现系统来动态地重新定中虚拟声源的参照系的方法的流程图。

图7是根据实施方案的在静态或动态使用情形中使用的双耳声音再现系统的图形表示。

图8是根据实施方案的在静态使用情形中使用双耳声音再现系统动态地重新定中虚拟声源的参照系的方法的流程图。

图9A-9C是根据实施方案的在静态使用情形中的双耳声音再现系统的图示。

图10是根据实施方案的在动态使用情形中使用双耳声音再现系统动态地重新定中虚拟声源的参照系的方法的流程图。

图11是根据实施方案的在动态使用情形中的双耳声音再现系统的图示。

图12是根据实施方案的在动态使用情形中的双耳声音再现系统的头戴式设备的角度变化的图形视图。

图13A-13C是根据实施方案的在动态使用情形中的双耳声音再现系统的图示。

图14是根据实施方案的在动态使用情形中使用双耳声音再现系统动态地重新定中虚拟声源的参照系的方法的流程图。

图15A-15C是根据实施方案的在动态使用情形中的双耳声音再现系统的图示。

具体实施方式

实施方案描述了双耳声音再现系统，以及使用双耳声音再现系统来动态地重新定中虚拟声源的参照系的方法。双耳声音再现系统可包括参考设备，诸如膝上型计算机、平板电脑、移动设备或可穿戴计算机；以及头戴式设备，诸如头戴式受话器或耳机。然而，双耳声音再现系统可包含其他设备和装置。例如，头戴式设备可是非头戴式设备，例如，该设备可是与用户所佩戴的计算机同步的机动车的扬声器系统。同样，参考设备可是机动车辆的车载计算机。

在各个实施方案中，参考附图进行描述。然而，某些实施方案可在不存在这些具体细节中的一个或多个具体细节或者不与其他已知的方法和构型相结合的情况下被实施。在以下的描述中，阐述多个具体细节诸如具体构型、尺寸和过程，以便提供对实施方案的透彻理解。在其他实例中，没有特别详细地描述众所周知的过程和制造技术，以便不会不必要地模糊该描述。整个本说明书中对“一个实施方案”、“实施方案”等的引用意味着所描述的特定特征、结构、构型或特性包括在至少一个实施方案中。因此，整个本说明书中各个地方出现短语“一个实施方案”、“实施方案”等不一定是指相同实施方案。此外，特定特征、结构、构型或特性可以任何适当的方式组合在一个或多个实施方案中。

在整个描述中使用相对术语可指代相对位置或方向。例如，“顺时针”可指示围绕参考点的第一旋转方向。类似地，“逆时针”可指示与第一旋转方向相反的第二旋转方向。然而，提供此类术语以建立相对参照系，并且不旨在将双耳声音再现系统的使用或取向限制为下面的各种实施方案中描述的特定配置。

在一个方面，双耳声音再现系统包括：头戴式设备，该头戴式设备用于输出在源方向上渲染虚拟声源的音频；以及辅助参考设备，其相对于虚拟声源的参照系保持固定。例如，辅助设备可在慢跑收听者的躯干上，或者在移动的汽车或飞机的控制台或托盘上放置的移动设备或膝上型计算机上。因此，辅助设备可具有参考方向，该参考方向是相对于某个参考的当前取向方向。例如，参考方向可为前向方向，例如，收听者正在行进的方向或者汽车或飞机正在行进的方向。来自辅助设备的取向数据可用于确定头戴式设备是正在静态使用情形还是动态使用情形中使用。因此，可基于特定使用情形来区分头戴式设备的移动与辅助设备的移动，用于以实际定位收听者所期望的虚拟声源的方式调整音频输出。即，虚拟声源可相对于收听者正在收听的参照系定位，如参考设备所确定的，并且局部头部移动可提供听觉线索，以实现音频渲染中虚拟声源的外化和定位。

参照图1，根据实施方案示出了在静态使用情形中的消费音频或视频内容的用户的图示。静态使用情形100可是与用户相关联的局部参照系102相对于全局参照系104静止的情况。例如，全局参照系104可是用户下方的地球表面。在这种情况下，诸如移动设备、平板电脑或搁置在用户前面的桌子上的膝上型计算机的参考设备106可相对于局部参照系102和全局参照系104保持固定。类似地，用户的躯干可相对于局部参照系102和全局参照系104保持固定。因此，用户所佩戴的头戴式设备108的移动可归因于用户转动他的头部而不是归因于局部参照系102相对于全局参照系104转动。

参照图2，根据实施方案示出了在动态使用情形中消费音频或视频内容的用户的图示。动态使用情形200可为其中与用户相关联的局部参照系102相对于全局参照系104移动的情形。用户可能坐在移动车辆202的座位上。在这种情况下，参考设备106可搁置在车辆202的控制台上，因此，参考设备106可相对于局部参照系102保持固定。类似地，用户的躯干可相对于局部参照系102保持固定。然而，当车辆202改变方向时，局部参照系102可相对于全局参照系104移动。例如，当车辆202向右转向时，局部参照系102相对于全局参照系104向右转。因此，参考设备106或用户的躯干(其可固定到移动的局部参照系102)也可相对于全局参照系104转动。

无论用户是否正在收听由静态使用情形100或动态使用情形200中的头戴式设备108渲染的虚拟声源，期望虚拟声源对于用户的头部运动是稳定的。即，头戴式设备108应调整音频输出以使虚拟声源在相对于局部参照系102的适当方向上渲染。更具体地讲，可能希望在用户转动他的头部时重新定位虚拟声源，而不是在转动用户的躯干导致头转弯时重新定位虚拟声源。然而，重新定位虚拟声源的适当方法可取决于使用情形。例如，在静态使用情形100中，当参考设备106相对于全局参照系104固定时，当用户希望在他的椅子中转动以将前向的方向从旧方向(例如，面向桌子上的参考设备106)改变为新方向(例如，看向窗外)时，用户可能想要手动重新定中头部跟踪器。相比之下，在动态使用情形200中，当参考设备106相对于全局参照系104移动时，用户可能想要自动更新前向方向以避免每次他围绕拐角慢跑或行驶时需要连续提供手动重新定中输入。

参照图3，根据实施方案示出了双耳声音再现系统的图示。双耳声音再现系统300可包括参考设备106和头戴式设备108。头戴式设备108可输出音频以在收听音频输出302的用户所感知的源方向上渲染虚拟声源。如下所述，参考设备106可是用于提供与局部参照系102的方向或移动对应的取向数据的辅助设备。可通过有线或无线连接在参考设备106和头戴式设备108之间建立通信链路304，以在设备之间传送音频或取向数据。

参考设备106可以是电子设备，诸如智能电话设备、平板电脑、膝上型计算机、汽车的车载计算机等。即，参考设备106可为相对于全局参照系104可移动的任何便携式设备或装置。参考设备106可包括允许用户访问涉及例如呼叫、语音邮件、音乐、电子邮件、互联网浏览、日程安排或照片的特征结构的各种能力。参考设备106还可包括用于促进这种能力的硬件。例如，壳体306可包含用于在呼叫期间向近端用户传送远端语音的音频扬声器(例如微型扬声器)，以及用于在呼叫期间接收用户的语音的麦克风。显示器308可向用户呈现与音频输出302相关联的视频内容。其他常规特征结构未示出，但当然可包括在参考设备106中。

双耳声音再现系统300的头戴式设备108可适于向用户呈现音频内容。例如，头戴式设备108可是具有左扬声器310和右扬声器312的耳机或头戴式受话器，以将音频输出302作为立体声发射给用户。音频输出302可与由在参考设备106上运行的音乐播放器应用程序播放的音乐文件或由参考设备106服务的呼叫的远端语音相关联。头戴式设备108可包括麦克风314，以在呼叫期间拾取用户的语音。麦克风314还可检测用户输入，诸如语音激活命令。类似地，头戴式设备108可包括手动输入特征结构，诸如重新定中输入开关316，以接收来自用户的重新定中输入，如下所述。

参照图4，示出了根据实施方案的双耳声音再现系统的框图。参考设备106可是具有适合于特定功能的电路的几种类型的便携式设备或装置中的任何一种。因此，图示电路是作为实施例而非限制提供的。参考设备106可包括一个或多个处理器402，以执行指令用于实施下面描述的不同功能和能力。可从本地存储器404检索由参考设备106的处理器402执行的指令，本地存储器404可包括非暂时性机器可读介质。指令可为具有设备驱动器和/或音频渲染引擎的操作系统程序的形式以用于根据下面描述的方法渲染虚拟声源。处理器402还可从存储器404检索音频数据406，包括与电话相关联的音频数据和/或由在操作系统之上运行的电话或音乐应用程序控制的音乐重放功能。为了执行此类功能，处理器402可直接或间接地实现控制回路并从其他电子部件接收输入信号和/或向其他电子部件提供输出信号。例如，参考设备106可从双耳声音再现系统300的取向设备接收输入信号，并且经由有线或无线通信链路304将音频信号输出到音频扬声器和/或头戴式设备108。在实施方案中，通信链路304可包括音频插孔连接，然而，音频插孔仅是一种类型的可能连接器，并且可使用其他有线连接器。此外，在实施方案中，参考设备106和/或头戴式设备108不包括音频插孔和/或有线连接，并且通信链路304仅通过无线连接建立。头戴式设备108可处理音频信号以渲染虚拟声源，如下所述。

在实施方案中，参考设备106的电子电路包括参考传感器408，以输出与参考设备106的参考方向702对应的参考取向数据。参考取向数据可以被提供给处理器402或存储器404，并且处理器402可从存储器404检索参考取向数据。参考传感器408可是任何已知的取向传感器中的一者或多者，诸如加速计、磁力计、陀螺仪等。例如，参考传感器408可为集成在参考设备106的壳体306内的惯性测量单元(IMU)。然而，这种基于惯性的实施例不是限制性的，并且参考传感器408可包括非惯性传感器，诸如光学传感器。更具体地，参考传感器408可为集成在机器人映射系统，例如同步定位和映射系统中的相机的光学传感器。机器人映射系统可用于开发和提供与参考设备106的参考方向对应的参考取向数据。

参考传感器408可检测与双耳声音再现系统300的使用情形相关的附加信息。例如，参考传感器408可包括全球定位系统(GPS)传感器，以确定参考设备106是否在运输中，例如在街道或铁路线上。类似地，参考传感器408可包括麦克风以接收可与签名声音简档(例如来自飞机引擎的环境噪声)相比的环境声音，以收集关于使用情形的上下文的进一步信息。

在实施方案中，头戴式设备108包括设备传感器410，用于输出与头戴式设备108的设备方向对应的设备取向数据。设备传感器410可类似于参考传感器408。例如，设备传感器410可为用于检测头戴式设备108的取向的惯性或非惯性传感器。此外，设备传感器410可检测头戴式设备108的上下文，即，与头戴式设备108的使用情形有关的信息。

头戴式设备108可将设备取向数据从设备传感器410存储在相应的存储器(未示出)中，或者设备取向数据可直接提供给头戴式设备108的音频处理器412。音频处理器412可被配置为经由左扬声器310和右扬声器312向用户呈现音频输出302。更具体地，音频处理器412可向扬声器提供音频电信号，使得来自扬声器的立体声在源方向上渲染虚拟声源。对应于音频输出302的音频数据406可由音频处理器412经由有线或无线通信链路304从参考设备106接收。例如，音频数据406可对应于在参考设备106的显示器308上播放的视频。

参考设备106的处理器402和/或头戴式设备108的音频处理器412可执行音频渲染算法以确定左扬声器310和右扬声器312的适当音频电信号以在适当的方向上渲染虚拟声源。更具体地讲，处理器402或音频处理器412可确定双耳声音再现系统300的使用情形，并基于由参考传感器408和/或设备传感器410收集的信息动态地重新定中双耳声音再现系统300的参照系。可由音频处理器412手动或自动执行重新定中。

参照图5，根据实施方案示出了在静态使用情形和动态使用情形期间双耳声音再现系统的取向数据的图形表示。如上所述，参考设备106的参考传感器408可输出参考取向数据502。参考取向数据502可对应于局部参照系102的旋转。在静态使用情形100期间，参考取向数据502指示参考设备106是静止的。更具体地说，参考设备106的参考方向，其按照惯例初始指向相对于全局参照系104的零度方向，保持指向零度方向。即，参考设备106在静态使用情形100中没有经历可辨别的角度变化或旋转。相比之下，在动态使用情形200期间，参考取向数据502指示参考设备106不是静止的。更具体地，参考设备106的参考方向偏离零度方向，并相对于全局参照系104移动。即，参考设备106在动态使用情形200中经历角度改变或旋转。静态使用情形100期间的参考取向数据502可为在公共汽车停在公共汽车站时坐在公共汽车中的用户的典型，并且在动态使用情形200期间的参考取向数据502可为在公共汽车沿着城市街道移动时坐在公共汽车中的用户的典型。

头戴式设备108的设备传感器410可输出设备取向数据504。设备取向数据504可对应于用户的头部方位角。在静态使用情形100期间，设备取向数据504指示头戴式设备108相对于参考设备106移动。更具体地说，头戴式设备108的设备方向随着用户从左向右看而改变。更具体地讲，头戴式设备108的设备方向相对于静态使用情形100中的局部参照系102和全局参照系104两者移动。类似地，在动态使用情形200期间，设备取向数据504指示头戴式设备108随着用户从左向右看而移动。在静态使用情形100期间的设备取向数据504可为在公共汽车停在公共汽车站时看着公共汽车中的其他乘客的用户的典型，而在动态使用情形200期间的设备取向数据504可为当公共汽车沿着城市街道移动时从公共汽车窗户向外看的用户的典型。因此，设备取向数据504指示用户的头部相对于全局参照系104移动的程度，但是不指示头部归因于用户所在的局部参照系102的移动而移动的程度。

向用户呈现虚拟声源，使得用户将声源感知为固定在空间中。然而，将虚拟声源维持在收听者所期望的位置可能需要双耳声音再现系统300区分由用户颈部的旋转引起的收听者头部的移动和由用户所在的局部参照系102的旋转引起的移动。因此，为了将虚拟声源锚定到局部参照系102，双耳声音再现系统300可用于评估使用情形并基于所确定的使用情形重新定中虚拟声源的参照系。

参照图6，根据实施方案示出了使用双耳声音再现系统来动态地重新定中虚拟声源的参照系的方法的流程图。图7是在图6的方法期间使用的双耳声音再现系统的图形表示。因此，下面一起描述图6和图7。

在操作602处，双耳声音再现系统300的处理器可接收参考取向数据502。参考取向数据502可由参考设备106的参考传感器408输出。例如，参照图7，参考取向数据502可对应于参考设备106的参考方向702。可按照惯例建立参考方向702。例如，参考方向702可是对应于基准(例如，从壳体306的顶表面向前的矢量)的IMU或导航系统的输出。然而，参考方向702实际上不需要在用户706的前方。即，辅助设备106不必定向或甚至不知道实际的前向方向是哪种方式。相反，在该整个说明书中描述的确定可基于取向的相对变化，并且不一定考虑实际的前向方向。因此，在整个说明书中使用的术语“前向”将被解释为相对术语，并且不一定是考虑用户706的空间取向的绝对术语。

在操作604处，双耳声音再现系统300的处理器可接收设备取向数据504。设备取向数据504可由头戴式设备108的设备传感器410输出。例如，参照图7，设备取向数据504可对应于头戴式设备108的设备方向704。当然，头戴式设备108可由用户706佩戴，因此设备方向704可对应于用户706的前向方向。因此，当用户706转动他的头部或者当用户706所在的局部参照系102相对于全局参照系104移动时，设备方向704可以相对于全局参照系104改变。

在操作606处，头戴式设备108提供音频输出302。更具体地讲，音频处理器412可为左扬声器310和右扬声器312生成电音频信号，以在源方向710上渲染虚拟声源708。虚拟声源708可与在参考设备106上播放的内容相关联。例如，虚拟声源708可为在视频会议呼叫期间坐在用户706的周围的参与者的语音。因此，为了将虚拟声源708准确地表示给用户706，音频输出302可与设备方向704成偏移角度712渲染虚拟声源708，使得用户706将该语音感知为来自其视觉的周围。

局部参照系102可以相对于全局参照系104能够移动。当局部参照系102偏移时，可相对于局部参照系102固定的参考设备106也可偏移。当参考设备106旋转时，参考方向702可经历相对于全局参照系104的基准的参考角度变化，例如，相对于正北方向。当局部参照系102移动时，对应于用户706的前向方向的设备方向704也可移动。然而，为了精确地表示虚拟声源708，应当还通过移动源方向710来补偿可归因于局部参照系102的移动的设备方向704上的任何移动。即，当局部参照系102相对于全局参照系104移动时，头戴式设备108的参照系可被重新定中使得虚拟声源708继续来自用户706感知为其视力周围的方向。此类重新定中可响应于确定适当的重新定中方法而发生，即，基于头戴式设备108的使用情形的方法。

在操作608处，双耳声音再现系统300的处理器402和/或音频处理器412可确定头戴式设备108是静态使用情形100还是动态使用情形200。可基于参考取向数据502进行这种确定。更具体地讲，可将参考方向702的参考角度变化与预先确定的运动范围714进行比较，以评估头戴式设备108是否正在静态使用情形100或动态使用情形200中使用。

运动范围714可为相对于参考设备106的基线参考方向的角度范围，例如-20到20度。即，当参考取向数据502指示参考方向702在运动范围714内经历静态参考角度变化716(例如，在任一方向上小于20度)时，音频处理器412可确定头戴式设备108处于静态使用情形100中。运动范围714内的角度偏差可归因于给定静态环境内的自然偏移，例如，在跑步机上行驶时的躯干旋转，并且可能不足以将重新定中方法从手动方法改变为如下所述的自动方法。

当参考取向数据502指示参考方向702经历预先确定的运动范围714之外的动态参考角度变化718(例如，在任一方向上超过20度)时，音频处理器412可确定头戴式设备108处于动态使用情形200中。在运动范围714之外的角度偏差可归因于预先设想的动态环境，例如，围绕拐角慢跑或行驶，并且可足以将重新定中方法从手动方法改变为如下所述的自动方法。

在操作610处，双耳声音再现系统300可基于所确定的使用情形来调整音频输出302。更具体地讲，头戴式设备108的音频处理器412可改变提供给左扬声器310和右扬声器312的电音频信号，以在经调整的源方向上渲染虚拟声源708。可使用不同的方法来实现在经调整的源方向上重新定位虚拟声源708。例如，如下所述，可基于与头戴式设备108相关联的局部参照系102的手动或自动重新定中来重新定位虚拟声源708。

参照图8，根据实施方案示出了在静态使用情形中使用双耳声音再现系统动态地重新定中虚拟声源的参照系的方法的流程图。图9A-9C是图8的方法期间双耳声音再现系统的图示。因此，下面一起描述图8和图9A-9C。

在操作802处，双耳声音再现系统300的一个或多个处理器可确定头戴式设备108处于静态使用情形100中。如上所述，这种确定可基于参考方向702的参考角度变化在运动范围714内。

当头戴式设备108处于静态使用情形100中时，头戴式设备108的参照系可手动重新定中。以举例的方式，如参考取向数据502所指示的局部参照系102可相对于全局参照系104保持静止。然而，例如当用户706想要在他的椅子中转动以在听音乐再现的同时看向窗外时，用户706可能想要将设备方向704重新定中在新的前向方向上。

参照图9A，用户706可最初面向第一方向，使得设备方向704在静态使用情形100中面向前方。如上所述，虚拟声源708可被渲染成由用户706感知为与参考方向702成偏移角度712处的周围方向。

参照图9B，用户706可旋转他的办公椅，使得用户706的躯干和面部指向与第一方向偏移的第二方向。用户706可能希望第二方向是新的前向方向。更具体地，第二方向可为当前设备方向902，其与设备方向704偏移调整角度904。在图9B中，虚拟声源708可继续在源方向710上渲染，因为头戴式设备108不会自动地重新定中虚拟声源708的参照系以针对静态使用情形100中的用户躯干的移动而调整。因此，即使用户706通过旋转他的椅子已经移动了他的个人参照系，并且可能期望虚拟声源708偏移以匹配个人参照系，虚拟声源708可相反被感知为来自与用户新目光几乎相同的方向。

在操作804处，用户706可手动覆盖双耳声音再现系统300以重新定中头戴式设备108的参照系，使得虚拟声源708偏移到预期位置。参照图9B，当头戴式设备108具有当前设备方向902时，音频处理器412可接收重新定中输入906。重新定中输入906可以是来自用户706的手动输入。例如，用户706可致动重新定中输入开关316以向头戴式设备108提供重新定中输入906。重新定中输入开关316可为由用户706发出的口头命令致动的语音激活开关。类似地，重新定中输入开关316可为头戴式设备108上的物理按钮，并且用户706可以手动按压物理按钮以提供重新定中输入906。

在操作806处，响应于确定头戴式设备108处于静态使用情形100中并且响应于接收重新定中输入906，可调整音频输出302。例如，在确定头戴式设备108处于静态使用情形100之后，音频处理器412可从重新定中输入开关316接收重新定中输入906，并且音频处理器412可调整音频输出302以在经调整的源方向上渲染虚拟声源708。参照图9C，经调整的源方向908可处于与当前设备方向902成偏移角度712。因此，用户706可通过激活重新定中输入开关316来手动校准头戴式设备108的零度方向以与用户的目光对准。因此，在用户706已经在他的椅子中旋转并且手动地重新定中头戴式设备108的参照系之后，虚拟声源708将继续被感知为来自用户706的周围视觉。

参照图10，根据实施方案，示出了在动态使用情形中使用双耳声音再现系统动态地重新定中虚拟声源的参照系的方法的流程图。参照图11、12和图13A-13C有助于图10中所示的方法的理解，并因此结合下面描述的那些附图。

在操作1002处，双耳声音再现系统300的一个或多个处理器可确定头戴式设备108处于动态使用情形200中。如上所述，此类确定可基于参考方向702的参考角度变化在运动范围714之外。

当头戴式设备108处于动态使用情形200中时，头戴式设备108的参照系可自动重新定中。以举例的方式，当参考取向数据502所指示的局部参照系102相对于全局参照系104移动时，双耳声音再现系统300可在新的前向方向上将设备方向704重新定中。因此，如移动用户706所感知的，虚拟声源708可被偏移以保持固定在移动的局部参照系102内。在实施方案中，自动偏移虚拟声源708的方式可取决于设备角度变化的量和/或速率。

参照图11，根据实施方案示出了动态使用情形中的双耳声音再现系统的图示。在操作1004处，确定设备方向704的角度变化的量和速率。在用户的头部已经在动态使用情形200中移动之后，可将设备角度变化1102测量为初始设备方向704和当前设备方向902之间的角度距离。例如，当用户706围绕拐角慢跑并且将前向方向从指向一条街道的设备方向704移动到指向正交街道的当前设备方向902时，设备角度变化1102可为90度。

在实施方案中，设备角度变化1102的量可在不同的移动范围内。例如，头戴式设备108的设备方向可在移动范围内的角度上从初始设备方向704移动到当前设备方向，并且移动范围可为从初始设备方向偏移至少预先确定的角度变化阈值(例如，第一角度变化阈值1104)的移动的若干范围中的一者。设备角度变化1102的量可大于第一角度变化阈值1104。当头戴式设备108处于动态使用情形200时由用户706进行的小的头部运动可能不需要移动虚拟声源708。第一角度变化阈值1104可对应于包括不应该使虚拟声源708跳跃的小的头部运动和扫视的预先确定的范围。相比之下，当头戴式设备108经历更大的设备角度变化1102时，可能需要更多地移动虚拟声源708。因此，设备角度变化1102可进一步划分为移动的范围。第一移动范围可包括第一角度变化阈值1104和第二角度变化阈值1106之间的移动范围。第二移动范围可以包括第二角度变化阈值1106和第三角度变化阈值1108之间的移动范围。第三移动范围可包括超过第三角度变化阈值1108的移动范围。

音频处理器412可确定设备角度变化1102的量是小于第二预先确定的角度变化阈值1106，还是大于第二角度变化阈值1106以及小于第三角度变化阈值1108，或者大于第三角度变化阈值1108。当设备方向在第一角度变化阈值1104和第二角度变化阈值1106之间时，音频处理器412可确定头戴式设备的设备方向已经从初始设备方向704移动到第一移动范围内的当前设备方向。当设备方向在第二角度变化阈值1106和第三角度变化阈值1108之间时，音频处理器412可确定头戴式设备的设备方向已经从初始设备方向704移动到第二移动范围内的当前设备方向，等等。可基于当前设备方向902落入其中的角度变化来发生重新定中。即，音频处理器412可基于设备方向的移动范围来调整音频输出，以在从源方向偏移头戴式设备所横贯的设备角度变化1102的经调整的源方向上渲染虚拟声源。

参照图12，根据实施方案，示出了在动态使用情形中双耳声音再现系统的头戴式设备的角度变化的图形视图。在实施方案中，音频处理器412可响应于设备角度变化1102的量大于第一预先确定的角度变化阈值1104来确定设备角度变化的速率。例如，当设备方向在阈值1104,1106之间的第一移动范围内移动或者在阈值1106,1108之间的第二移动范围内移动时，音频处理器412可确定设备角度变化的速率。当头戴式设备108的移动处于小范围内时，虚拟声源708可相对于头戴式设备108的现有参照系保持固定，然而，当头戴式设备108的移动超过第一角度变化阈值1104时，音频处理器412可以开始评估何时以及在何处移动虚拟声源708。可基于移动范围内的设备角度变化的速率1202来进行此类评估。

可根据角度与时间来分析设备角度变化的速率。在实施方案中，设备角度变化的速率1202对应于每单位时间的设备角度变化的量。设备角度变化的速率可为仓持续时间内的设备角度变化的量。例如，分析的时间范围可被分成单独的仓，并且每个仓可具有仓持续时间1204。因此，音频处理器412可在预先确定的仓持续时间1204上确定设备角度变化1102的速率1202。当设备方向在给定的移动范围内时，速率1202可是设备方向的中值变化速率。例如，当仓持续时间1204被设置为100ms时，可以在每个100ms时间窗口上测量设备方向的中值变化速率。

在实施方案中，仓持续时间1204基于设备角度变化1102的量。例如，仓持续时间1204可对应于头戴式设备当前被引导和/或移动的移动范围。当设备角度变化1102的量大于第一角度变化阈值1104并且小于第二角度变化阈值1106时，仓持续时间1204可是第一持续时间，例如100ms。当设备角度变化1102的量大于第二角度变化阈值1106时，仓持续时间1204可是不同于第一持续时间的第二持续时间。例如，当设备角度变化1102的量在第二角度变化阈值1106和第三角度变化阈值1108之间时，仓持续时间1204可是不同的值，例如25ms。当设备角度变化1102的量大于第三角度变化阈值1108时，仓持续时间1204可是另一个值，例如5ms。因此，仓持续时间1204的长度可与设备角度变化1102的量反向相关。即，与大于第二角度变化阈值1106的角度变化(在第二移动范围内)相关联的第二仓持续时间可小于与小于第二角度变化阈值1106的角度变化(在第一移动范围内)相关联的第一仓持续时间。

在操作1006处，音频处理器412可响应于设备角度变化的速率1202小于预先确定的速率阈值1206来调整音频输出302。再次参照图12，可以将各个仓之间的差异与速率阈值1206进行比较。例如，可分析设备方向704的中值变化速率以确定速率1202是否已经降低到可安全地假设用户706现在正在朝作为新的前向方向的方向看的点。应当理解，在极端移动期间发生的变化速率1202(例如，围绕拐角慢跑或行驶)可高于在用户706在前向方向注视时发生的变化速率。因此，通过将仓持续时间1204与设备角度变化1102的量相反地改变，可分析适当的较小时间窗口以确定用户706是否已经转向面向新的前向方向。即，大转弯可接收虚拟声源708的几乎立即偏移，而较小转弯可更加逐渐地移动虚拟声源708。因此，对虚拟声源708的源方向710的调整可更自然地匹配用户706的移动。

图13A-13C是在图10的方法期间双耳声音再现系统的图示。参照图13A，头戴式设备108可在动态使用情形200中面向参考方向702，而音频输出302在源方向710上渲染虚拟声源708。如上所述，源方向710可处于与设备方向704成偏移角度712处。参照图13B，用户706可通过围绕拐角走动来将设备方向704偏移到当前设备方向902。更具体地讲，设备方向704可经历设备角度变化1102。设备角度变化1102的量可大于第一角度变化阈值1104，向头戴式设备108指示应该调整音频输出302以重新定位虚拟声源708。参照图13C，响应于头戴式设备108处于动态使用情形200中，并且响应于设备角度变化1102的速率1202小于如上所述的预先确定的速率阈值1206，音频处理器412可调整音频输出302以在经调整的源方向908上渲染虚拟声源708。角度偏移可等于设备角度变化1102。即，在确定设备角度变化1102是用户706改变到期望的前向方向的结果之后，可将虚拟声源708偏移设备角度变化1102的量以保持虚拟声源708的感知与当前设备方向902处于相同的偏移角度712。

贯穿本说明书描述的方法不一定要求由参考设备106确定静态使用情形100或动态使用情形200以可用于双耳声音再现期间的头部跟踪。例如，可执行一个或多个方法而不进行关于双耳声音再现系统是否正在动态情形中使用的初始确定。即，双耳声音再现系统300可被假定为处于动态使用情形200(或静态使用情形100)中，并且可相应地调整音频输出302。

在实施方案中，用于双耳声音再现的头部跟踪包括类似于图10的方法的方法。然而，操作1002可被省略。更具体地说，可根据操作1004和1006连续更新音频输出，而无需确定头戴式设备108是否处于动态使用情形200中。因此，对音频输出的调整可以基于图11-12中所示的操作，以实现图13A-13C所示的音频调整，而无需根据操作1002进行初始确定。因此，可使用连续确定适当的源方向710(或908)的动态时间因子来执行基于时间的头部跟踪以用于双耳声音再现。这被指出用于阐明任何所描述的方法可用比所描述的操作更少的操作来实践，并且事实上，来自不同双耳声音再现方法的操作可以在本说明书的范围内进行组合。因此，所描述的方法是说明性的而非限制性的。

参照图14，根据实施方案示出了在动态使用情形中使用双耳声音再现系统动态地重新定中虚拟声源的参照系的方法的流程图。图15A-15C是在图14的方法期间双耳声音再现系统的图示。因此，下面一起描述图14和图15A-15C。

参照图15A，头戴式设备108可在动态使用情形200中面向参考方向702，而音频输出302在源方向710上渲染虚拟声源708。如上所述，源方向710可处于与设备方向704成偏移角度712。

在操作1402处，双耳声音再现系统300的一个或多个处理器可确定头戴式设备108处于动态使用情形200中。如上所述，此类确定可基于参考方向702的参考角度变化在运动范围714之外。

当头戴式设备108处于动态使用情形200中时，头戴式设备108的参照系可自动重新定中。以举例的方式，当参考取向数据502所指示的局部参照系102相对于全局参照系104移动时，双耳声音再现系统300可在新的前向方向上重新定中设备方向704。因此，如移动用户706所感知的，虚拟声源708可被自动偏移以保持固定在移动的局部参照系102内。在实施方案中，自动偏移虚拟声源708的方式可包括来自参考设备106的参考取向数据502与来自头戴式设备108的设备取向数据504之间的协调。

参照图15B，参考设备106可经历参考角度变化，使得参考方向702从初始参考方向702偏移到新的参考方向1502。新的参考方向1502可从参考方向702偏移调整角度904。在实施方案中，参考方向702的改变也可在设备方向704上发生。例如，当参考设备106和用户706都位于移动的车辆中时，参考设备106和头戴式设备108两者将在车辆围绕拐角转弯时经历相同的角度变化。因此，设备方向704可旋转调整角度904到当前设备方向902。

在操作1404处，音频处理器412可确定参考方向702的参考角度变化的量。更具体地，当参考方向702旋转调整角度904时，音频处理器412可确定参考角度变化的量等于调整角度904。

在操作1406处，音频处理器412可基于参考角度变化的量来调整音频输出302。更具体地讲，可响应于确定头戴式设备108处于动态使用情形200中来调整音频输出302，以在与初始源方向710偏移的经调整的源方向908上渲染虚拟声源708。调整量可与参考角度变化相同。因此，虚拟声源708可与参考设备106的角度偏移协调地偏移。即，当参考设备106旋转一定量时，虚拟声源708可偏移相同的量。因此，如正在移动的用户706所感知的，虚拟声源708可被自动偏移以保持固定在移动的局部参照系102内。

参照图15C，头戴式设备108的参照系相对于与参考设备106相关联的局部参照系102的自动重新定中可允许虚拟声源708的参照系基于参考设备106的移动而不是头戴式设备108的移动而偏移。更具体地，在虚拟声源708偏移到经调整的源方向908之后，用户706可旋转他的头部而不影响虚拟声源708相对于局部参照系102的位置。然而，当用户706转动他的头部时，可不同地渲染虚拟声源708。例如，当用户706转动他的头部以将设备方向704从当前设备方向902改回到初始设备方向704时，虚拟声源708可继续被感知为来自经调整的源方向908，其现在可与设备方向704成比以前更大的角度。

应当理解，上述重新定中操作可组合成混合实施方案。例如，用于控制双耳声音再现系统300的部件更新方向的频率的调谐方法可应用于参考设备106。此类调谐方法可类似于上面关于图10描述的方法。例如，再次参照图15B，可以将参考角度变化的量与类似于关于图11所描述的那些的角度变化阈值进行比较。在实施方案中，参考角度变化的速率可响应于参考角度变化的量大于预先确定的角度变化阈值而确定，例如，大于应用于参考设备106的移动的第一角度变化阈值。可在预先确定的持续时间内确定参考角度变化的速率。即，参考角度变化的速率可以与参照图12所述的速率1202的确定类似的方式确定。因此，再次参照图14的操作1406，响应于参考角度变化的速率小于相应的预先确定的速率阈值，可进一步进行音频输出302的调整。这种方法类似于用于基于用户706的观察方向动态地重新定中头戴式设备108的方法。应当理解，将这种平滑方法应用于图14的动态重新定中方法可以提供另一个益处。即，将平滑算法应用于参考设备106允许双耳声音再现系统300准确且平滑地定位新的参考方向1502，以允许虚拟声源708然后被偏移适当的调整角度904。

如上所述，双耳声音再现系统300的传感器输入可分为不同的使用情形。如果双耳声音再现系统300确定动态使用情形200，则将根据上述方法之一使用重新定中。为了示出双耳声音再现系统300的应用程序，可考虑用户706在飞机上观看电影的情形。用户706可使用双耳声音再现系统300来观看电影。例如，参考设备106可是平板电脑，并且显示器308可向用户706呈现视频内容。头戴式设备108可为具有校准声音的一对耳机，使得来自视频内容的对话被感知为来自前向方向，即显示器308，而环绕内容被感知为来自用户706后面。当用户706移动他的头部，例如，凝视飞机的窗口时，对话将继续被感知为来自平板电脑的前向方向。可以理解的是，如果飞机偏航，在没有动态重新定中功能的帮助下，头部跟踪器将检测到在用户的头部转动时飞机的旋转，并且因此对话和环绕内容将被不正确旋转。然而，使用上述动态重新定中操作，双耳声音再现系统300可区分用户的头部运动和参照系(飞机)移动，并且可进行补偿以确保对话和环绕内容被正确地渲染。

在以上说明书中，已参照本发明的特定示例性实施方案描述了本发明。将明显的是，可在不脱离如在以下权利要求中阐述的本发明的更广泛的实质和范围的情况下对具体示例性方面作出各种修改。相应地，说明书和附图被视为是例示性意义而不是限定性意义。

Claims (20)

1.一种用于双耳声音再现系统的方法，包括：

在具有参考方向的参考设备上呈现视频内容；

输出与所述视频内容相关联的初始音频信号，以使具有设备方向的头戴式设备在与所述设备方向成偏移角度的初始源方向上渲染虚拟声源；

确定所述参考方向在调整角度上的移动；以及

响应于所述参考方向的所述移动，输出经调整的音频信号，以使所述头戴式设备在与所述初始源方向偏移所述调整角度的经调整的源方向上渲染所述虚拟声源。

2.根据权利要求1所述的方法，还包括接收与所述参考设备的所述参考方向相对应的参考取向数据，其中基于所述参考取向数据来确定所述参考方向的所述移动。

3.根据权利要求1所述的方法，其中确定所述参考方向的所述移动包括确定所述调整角度在预先确定的运动范围之外。

4.根据权利要求1所述的方法，还包括确定所述参考方向的参考角度变化的速率，其中输出所述经调整的音频信号还响应于所述参考角度变化的速率小于预先确定的参考速率阈值。

5.根据权利要求1所述的方法，还包括确定所述设备方向的设备角度变化的速率，其中输出所述经调整的音频信号还响应于所述设备角度变化的速率小于预先确定的设备速率阈值。

6.根据权利要求1所述的方法，其中所述头戴式设备与所述参考设备物理地分离。

7.根据权利要求6所述的方法，其中所述头戴式设备在用户上，并且其中所述参考设备不所述用户上。

8.一种双耳声音再现系统，包括：

参考设备，具有参考方向和用以呈现视频内容的显示器；

头戴式设备，具有设备方向以及用以播放与所述视频内容相关联的音频的扬声器；以及

音频处理器，被配置为：

输出与所述音频相关联的初始音频信号，以使所述头戴式设备播放所述音频并且在与所述设备方向成偏移角度的初始源方向上渲染虚拟声源；

确定所述参考方向在调整角度上的移动；以及

响应于所述参考方向的所述移动，输出经调整的音频信号，以使所述头戴式设备在与所述初始源方向偏移所述调整角度的经调整的源方向上渲染所述虚拟声源。

9.根据权利要求8所述的双耳声音再现系统，其中所述音频处理器还被配置为：接收与所述参考设备的所述参考方向相对应的参考取向数据，其中基于所述参考取向数据来确定所述参考方向的所述移动。

10.根据权利要求8所述的双耳声音再现系统，其中确定所述参考方向的所述移动包括确定所述调整角度在预先确定的运动范围之外。

11.根据权利要求8所述的双耳声音再现系统，其中所述音频处理器还被配置为：确定所述参考方向的参考角度变化的速率，其中输出所述经调整的音频信号还响应于所述参考角度变化的速率小于预先确定的参考速率阈值。

12.根据权利要求8所述的双耳声音再现系统，其中所述音频处理器还被配置为：确定所述设备方向的设备角度变化的速率，其中输出所述经调整的音频信号还响应于所述设备角度变化的速率小于预先确定的设备速率阈值。

13.根据权利要求8所述的双耳声音再现系统，其中所述头戴式设备与所述参考设备物理地分离。

14.根据权利要求13所述的双耳声音再现系统，其中所述头戴式设备在用户上，并且其中所述参考设备不所述用户上。

15.一种具有指令的非暂时性机器可读介质，所述指令当被双耳声音再现系统的处理器执行时，使所述双耳声音再现系统执行方法，所述方法包括：

在具有参考方向的参考设备上呈现视频内容；

输出与所述视频内容相关联的初始音频信号，以使具有设备方向的头戴式设备在与所述设备方向成偏移角度的初始源方向上渲染虚拟声源；

确定所述参考方向在调整角度上的移动；以及

响应于所述参考方向的所述移动，输出经调整的音频信号，以使所述头戴式设备在与所述初始源方向偏移所述调整角度的经调整的源方向上渲染所述虚拟声源。

16.根据权利要求15所述的非暂时性机器可读介质，所述方法还包括接收与所述参考设备的所述参考方向相对应的参考取向数据，其中基于所述参考取向数据来确定所述参考方向的所述移动。

17.根据权利要求15所述的非暂时性机器可读介质，其中确定所述参考方向的所述移动包括确定所述调整角度在预先确定的运动范围之外。

18.根据权利要求15所述的非暂时性机器可读介质，所述方法还包括确定所述参考方向的参考角度变化的速率，其中输出所述经调整的音频信号还响应于所述参考角度变化的速率小于预先确定的参考速率阈值。

19.根据权利要求15所述的非暂时性机器可读介质，所述方法还包括确定所述设备方向的设备角度变化的速率，其中输出所述经调整的音频信号还响应于所述设备角度变化的速率小于预先确定的设备速率阈值。

20.根据权利要求15所述的非暂时性机器可读介质，其中所述头戴式设备与所述参考设备物理地分离。

Images