CN111148013A - 一个动态跟随听觉视角的虚拟现实音频双耳再现系统与方法 - Google Patents

Abstract

本发明公开了一个动态跟随听者听觉视角的虚拟现实音频双耳再现系统与方法，系统包括负责姿态解析和生成VR音频数据的上位机模块，姿态角传感器模块，负责姿态信息提取的核心处理器模块，辅助传输模块以及双耳耳机。在该系统中应用本发明公开的动态跟随听者听觉视角的虚拟现实音频双耳再现方法，该方法解析头部姿态数据得到声源相对于听者实时主视角的方位信息，基于HRTF双耳音频对音频数据流添加方位信息。本系统在完成虚拟听觉环境创造的同时，实时地根据听者头部姿态调整声源与听者主视角的相对方位，保证声源的绝对空间极坐标方位不变，满足听者在虚拟听觉空间全方位听取声源信息的需求。

Description

一个动态跟随听觉视角的虚拟现实音频双耳再现系统与方法

技术领域

本发明涉及音频的数字处理技术领域，具体涉及一个动态跟随听觉视角的虚拟现实(Virtual reality，VR)音频双耳再现系统与方法。

背景技术

近年来，VR技术在市场上应用越来越广泛，但是VR音频相关的技术应用以及系统却极为少见。目前，部分影院能够基于扬声器矩阵进行高度的声场还原，但是这种大型麦克风矩阵并不容易在普通用户之间进行推广，同时常用的耳机系统中关于声场的还原大都停留在立体声和环绕声水平，远达不到VR音频实时根据听者的头部姿态信息进行声场信息实时调整的要求。

基于耳机进行VR音频的重放目前主要是使用基于头相关传输函数(head-relatedtransfer function，HRTF)的双耳声学技术进行音频的三维空间信息的重建。该技术是对人耳的空间声源的定位过程进行重现从而影响人脑对声源方位的判断，HRTF函数就是实际测量得到声音从声源传到到人耳的整个过程的系统函数，经过HRTF处理的音频数据通过耳机重放可以反映对应HRTF的声源方向。目前对于HRTF的理论研究已经十分丰富，HRTF的插值、建模和个性化问题都已经得到了充分的研究，HRTF也被应用到电子游戏等平台进行静态声源方位的再现。然而，由于HRTF是针对人头进行测量的，其包含的空间的方位信息的都是以人头为空间坐标原点的，如果单纯使用HRTF进行空间方位再现，对于听者而言，如果人头发生偏转，针对人头添加的声源的方位信息也会随之偏转，从而导致客观上的声源本身方位发生变化，这显然不符合客观物理世界的规律。因此，本发明提出了一个能够动态跟随听觉视角的VR耳机系统与方法，设计实现了一个动态跟随听觉视角的虚拟现实音频双耳再现系统实时采集听者头部信息传递给上位机基于虚拟现实音频双耳再现方法进行实时VR音频的合成。经由该系统再现的声场中的声源都有着自己的绝对世界坐标，在该声场中，声源的方位保持不变，随着人头姿势的变化，听者接收到的声源方位会发生一个相对的反向转动，从而保证声源本身方位不发生改变，能够真实的再现一个客观的听觉世界。

发明内容

本发明的目的是针对已有技术的不足，提供一种动态跟踪听觉视角的虚拟现实音频双耳再现系统与方法。该系统可以营造一个客观的声场，不论听者在其中如何改变头部姿态，都能够得到一个客观一致的听觉方位感受，这样听者就可以像VR视频一样对VR音频中的声源进行全方位的聆听。

为了达到上述目的，本发明采用了下述技术方案：

1、一个动态跟随听觉视角的虚拟现实音频双耳再现系统主要由如附图1所示的5个主要模块组成，其中包括1)上位机模块，2)JY61姿态角传感器模块，3)STM32F103VET6核心处理器模块，4)HC-05无线蓝牙传输模块以及最终用于VR音频播放的5)双耳耳机模块。各模块组成的系统框架如说明书附图1所示。

其中系统各模块执行功能如下：

(1)上位机模块1负责当前姿态信息的解析，基于HRTF双耳声学技术对音频数据流进行处理得到针对当前姿态信息的VR音频数据流；

(2)JY61姿态角传感器模块2负责采集听者当前头部姿态信息的采集；

(3)STM32F103VET6核心处理器模块3负责提取JY61姿态角传感器数据中的姿态角信息以及将由上位机模块1处理好的VR音频数据流D/A转换送给双耳耳机模块5进行播放；

(4)HC-05无线蓝牙传输模块4负责上位机模块1以及STM32F103VET6核心处理器模块3之间的数据传输，主要包括将姿态信息从模块3送入模块1，以及将VR音频数据流从模块1送入模块3；

(5)双耳耳机模块5则负责VR音频数据流模拟信息的播放。

2、一个动态跟随听觉视角的虚拟现实音频双耳再现方法，是在设定声源的初始绝对空间极坐标方位的基础上，根据头部的姿态信息解析得到声源实时相对于听者听觉主视角的方位角；对MIT HRTF库进行双线性插值得到该方位角的HRTF数据，对左右声道音频数据流分别进行卷积后得到包含声源空间方位信息的VR音频。

该系统对于音频数据以及姿态角信息的具体处理步骤如附图2所示：

(1)经过系统处理得到当前听着头部的姿态信息数据；

(2)经过姿态解析算法处理后，得到在听者头部当前状态下声源相对于听者的听觉视角的方位信息；

(3)在MIT HRTF数据库中，提取HRTF球面上临近目标方位角的四个离散测量方位角的HRTF数据；

(4)基于双线性插值算法计算得到目标方位角的HRTF数据；

(5)从目标音频数据流中提取当前时刻的音频数据帧；

(6)将步骤(4)中的HRTF数据与步骤(5)中的音频数据帧进行卷积计算，得到当前时刻的包含声源空间方位角信息的VR音频数据帧。

本发明的一个动态跟随听觉视角的VR音频耳机系统及方法与现有技术相比较，具有如下优势：

本发明实时采集听者头部的姿态角信息，对应计算声源相对听觉主视角的方位，并对音频数据流添加该方位的声源空间方位信息，营造了一个听者可以自由选择听觉视角而不会使得声场信息发生改变的虚拟现实听觉环境。

附图说明

图1为优先实施例动态跟随听觉视角的VR音频双耳再现系统结构框图。

图2为优先实施例动态跟随听觉视角的VR音频再现方法主程序框图。

图3为优先实施例音频处理集成电路中电源模块设计图。

图4为优先实施例音频处理集成电路中芯片电源接入模块设计图。

图5为优先实施例音频处理集成电路中启动选择电路模块设计图。

图6为优先实施例音频处理集成电路USB转串口模块设计图。

图7为优先实施例音频处理集成电路时钟振荡电路模块设计图。

具体实施方式

下面结合实施例及附图对本发明作进一步的详细描述，但本发明的实施方式不限于此。

虚拟现实音频双耳再现系统中STM32F103VET6核心处理器模块的具体方案包括：

(1)电源模块：其原理图如说明书附图3所示。在电源模块中，因为是USB供电，所以电源接入是5V_USB。电源要两个电容进行退藕，然后经过稳压芯片AMS1117-3.3，输入稳压3.3V。同理，3.3V接出也需要电容退藕，与电容的并联发光二极管作为电源指示灯；稳压3.3V输出之后，为芯片供电时，在每个芯片电源引脚的附近都要放置小电容进行退藕，可以达到滤波和稳压的作用。电源VDD_5附近的磁珠L1可以用电阻30欧代替，实现同样的效果。该部分的原理图如说明书附图4所示；

(2)启动选择电路模块，即BOOT电路：通过将BOOT0和BOOT1置高低电平以选择不同的启动模式。在BOOT0和BOOT1都置为0时，程序存储器启动；如果BOOT0为0，BOOT1为1时，单片机由系统启动。正常情况下，都会将BOOT键都置为0，由FLASH启动。BOOT电路的原理图如说明书附图5所示；

(3)USB转串口模块：进行电脑与单片机之间的通信，使用芯片CH340G主导完成USB转串口的功能。同时，也可以配合BOOT键完成下载程序的功能。该模块的原理图如说明书附图6所示；

(4)时钟振荡电路模块：时钟振荡电路所用的晶振是8MHZ的无源晶振，作为高速时钟源；起振电容为22pF。系统在工作的时候需要用到PLL锁相环电路，将其9倍频，达到72MHZ的工作频率。当然，还有实时时钟振荡电路，该电路用的是32.768KHZ的无源晶振，起振电容为10oF。该部分的原理图如说明书附图7所示。

虚拟现实音频双耳再现方法的具体数据处理流程包括：

(1)根据用户的设定得到声源的初始绝对空间极坐标方位

其中r表示声源相对于听者头部的初始距离，θ为初始水平方位角，

为初始垂直方位角。在本发明中仅探讨头部姿态转动问题，不考虑距离移动，所以假设听者距离声源的距离r＝1m，并保持不变；

(2)采集得到头部的姿态角变化(α,β,γ)，其中，根据四元数法计算得到声源现在相对于听者的方位。其中α为横滚角，β为俯仰角，γ为偏向角，则声源的初始四元数坐标可以表示为

从移动端中获取到手机的相对角度变动(α,β,γ)后，根据相对运动，头部的旋转可以看作声源相对头部做出(-α,-β,-γ)的旋转，即沿着x轴方向(1,0,0,0)旋转-α，沿着y轴方向(0,1,0,0)旋转-β，沿着z轴方向(0,0,1,0)旋转-r。则旋转因子q为：

根据声源的旋转可由四元数的旋转公式

p′＝qpq^-1 (2)

计算得到，将计算得到的当前四元数坐标p′转换到球坐标系即可得到现在的声源对移动端即模拟头部的相对方向。

(3)对于步骤(2)得到的声源方位信息角，如果该方位角恰好在MIT HRTF库中，则可以直接从该库中提取该HRTF数据进行应用，否则进行HRTF数据的双线性插值得到该方位的HRTF数据用于声源方位信息的再现；

(4)对于步骤(3)中得到的HRTF数据，需要使用该数据与音频数据卷积以向音频数据添加空间方位信息；但在处理音频数据的过程中，为保证声源方位能够实时地根据听者头部姿态信息进行变化，因此只能逐帧进行音频数据处理，在处理的过程中，本发明使用“生产者-消费者”队列进行数据的处理和传输，以保证上位机的姿态解析线程、声源方位添加线程和数据发送线程能够有序稳定进行。

综上所示，本发明主要发明了一个动态跟随听觉视角的VR音频双耳再现系统及方法，该系统主要包括音频处理集成电路和上位机程序。音频处理集成电路获取听者头部实时姿态信息并传递给上位机程序，上位机程序据此进行姿态解析并合成VR音频交给音频处理集成电路播放。该方法主要设定声源的绝对空间极坐标，根据听者头部姿态基于四元数法解析得到声源相对于当前头部姿态的空间方位信息，并据此基于MIT HRTF库进行双线性插值得到对应的HRTF数据，并与左右声道分别卷积得到包含实时空间方位信息的VR音频。

经由该系统及方法得到的VR音频包含一个客观真实的全方位听觉空间信息，能够满足听者听觉视角随意转换的需求。

上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明动态跟随听觉视角的虚拟现实音频双耳再现系统与方法的技术原理和发明构思，都属于本发明的保护范围。

Claims (3)

1.一个动态跟随听觉视角的虚拟现实音频双耳再现系统，主要由负责姿态解析和生成VR音频数据的上位机模块，负责采集听者头部姿态信息的JY61姿态角传感器模块，负责姿态信息提取和VR音频数据DA转换的STM32F103VET6核心处理器模块，负责上位机模块和核心处理器模块通信的HC-05无线蓝牙传输模块以及最终用于VR音频播放的双耳耳机模块组成，系统框架图如说明书附图1所示。其特征在于，音频处理集成电路使用JY61姿态角传感器采集得到听者头部的实时姿态原始信息，将该信息传输至STM32F103VET6核心处理器模块进行头部姿态信息提取；并经由HC-05蓝牙收发模块发送给上位机模块，上位机模块进行姿态角信息解析得到当前VR空间方位信息，对音频数据流进行空间方位信息的添加得到VR音频数据流；最后将该音频数据流经由HC-05蓝牙收发模块发送至STM32F103VET6核心处理器模块进行DA转换并送至双耳耳机播放；其中STM32F103VET6核心处理器模块包括但不仅限于5V_USB电源模块，启动电路模块、USB转串口模块以及时钟振荡电路模块。

2.一种动态跟随听觉视角的虚拟现实音频双耳再现方法，采用根据权利要求1所述的动态跟随听觉视角虚拟现实音频双耳再现系统进行VR音频的制作和播放，其特征在于在声源的绝对方位既定的基础上，基于听者头部姿态信息进行姿态解析得到听者应该得到的声源当前的相对方位，基于该相对方位对音频数据流进行空间方位信息的添加得到VR音频。其操作步骤如下：

1)在音频处理集成电路，由JY61姿态角传感器采集得到听者头部当前的姿态信息；使用STM32F103VET6核心处理器提取姿态信息中的俯仰角变化信息，并经由HC-05蓝牙收发模块发送给上位机模块；

2)上位机模块接收当前头部方位姿态角变化数据(α,β,γ)，针对声源的初始方位角

基于四元数解析得到声源针对当前头部姿态的方位角信息

并与音频数据帧进行分段卷积得到包含当前声源相对方位信息的VR音频数据流；

3)上位机模块将步骤2得到的包含当前声源方位信息的VR音频数据流经由HC-05蓝牙收发模块发送给耳机端进行DA转换和播放。

3.根据权利要求2所述的一种动态跟随听觉视角的虚拟现实音频双耳再现方法，根据系统得到的听者当前的头部姿态信息，解析得到声源相对于当前的头部姿态的方位角计算步骤如下：

1)根据用户的设定得到声源的初始绝对空间极坐标方位

且在本发明中仅探讨头部姿态转动问题，不考虑距离移动，所以假设听者距离声源的距离＝1m，并保持不变；

采集得到头部的姿态角变化(α,β,γ)，其中，根据四元数法计算得到声源现在相对于听者的方位，声源的初始四元数坐标可以表示为

从JY61姿态角传感器中获取到手机的相对角度变动(α,β,γ)后，根据相对运动，头部的旋转可以看作声源相对头部做出(-α,-β,-γ)的旋转，即沿着x轴方向(1,0,0,0)旋转-α，沿着y轴方向(0,1,0,0)旋转-β，沿着z轴方向(0,0,1,0)旋转-r。则旋转因子q为：

根据声源的旋转可由四元数的旋转公式

p′＝qpq^-1 (2)

计算得到，将计算得到的当前四元数坐标p′转换到球坐标系即可得到现在的声源对当前头部姿态的相对方向。

Images