CN104284291A - 5.1通路环绕声的耳机动态虚拟重放方法及其实现装置 - Google Patents

Abstract

本发明公开了5.1通路环绕声的耳机动态虚拟重放方法及其实现装置。该方法利用头踪迹跟踪模块实时检测倾听者头部的水平转动角度，并根据这个参数动态、实时地模拟5.1通路的各个虚拟扬声器，再转换得到双耳声信号，实现水平方向的实时绘制。所用的头踪迹跟踪模块由磁传感器、加速度传感器和单片机等组成，不需要信号发射装置，通过磁传感器和加速度传感器获取头部运动引起的物理信息变化来计算倾听者的水平转动角度。该模块可以直接安装在耳机上，通过电池或USB供电。将上述双耳声信号经耳机—耳道传输特性均衡处理后馈给耳机重放，可产生类似扬声器重放的5.1通路环绕声效果。

Description

5.1通路环绕声的耳机动态虚拟重放方法及其实现装置

技术领域

本发明专利涉及电声技术领域，具体涉及一种5.1通路环绕声的耳机动态虚拟重放方法及其实现装置。 

背景技术

5.1通路环绕声具有前方左(L)、中(C)、右(R)以及左环绕(LS)、右环绕(RS)5个全频带通路，加上一个低频效果通路(LFE)。各通路信号馈给按国际电信联盟所推荐标准扬声器布置的进行重放，可以得到水平面环绕声的听觉效果。但在一些应用中，如各种手持或便携式播放设备，多媒体计算机的等，有时也需要通过耳机来重放5.1通路环绕声信号。这种重放方式使得声音空间信息受损，不能获得正确的立体声像，产生头中定位效应。 

为改善耳机重放5.1通路环绕声效果，可通过各扬声器方向的头相关传输函数(head related transfer functions,HRTF)对信号进行滤波，合成双耳声信号并馈给耳机进行重放。国内外已经有多个这方面的专利技术，如dolby耳机技术和华南理工大学的耳机虚拟环绕声技术(中华人民共和国国家发明专利授权，ZL02134415.9)。这相当于用信号处理的方法虚拟出5.1通路扬声器。虽然这类耳机虚拟重放技术可以改善声音空间信息的重放，但还是存在一定缺陷，例如声像前后混乱、感知的声像方向与理论值有偏差、不能完全消除头中定位等。通过采用个性化HRTF进行信号处理以及进行个性化的耳机-外耳传输特性均衡，可以提高合成双耳信号的精确度，但也只能部分改善上述缺陷。 

上面的方法只是考虑了静态，也就是头部固定的情况。而现实中倾听者头部的运动会带来动态信息，这对听觉主观感知非常重要。现有研究表明，包含了动态信息处理的耳机虚拟听觉实时绘制可以明显降低声像前后混乱率、提高声像定位准确度、消除头中定位效应并使感知的声像距离更远。动态信息是通过头踪迹跟踪器来检测倾听者头部运动来获取，共包括6个自由度(3个平移自由度和3个转动自由度)。动态处理有两个重要的参数：场景刷新率和系统滞后时间。场景刷新率指的是单位时间内的信号处理(场景)刷新次数，主要取决于头踪迹跟踪器的性能；系统滞后时间指的是从倾听者运动到某个位置与系统输出相应的响应信号之间的时间差。已有研究结果表明，为了达到可接受的主观听觉效果，场景刷新率需大于20Hz，系统滞后时间应少于60ms。头踪迹跟踪器性能对这两项参数都有重要影响。目前各种专业的头踪迹跟踪器产品的指标可以做到很高，例如Polhemus FASTRAK可输出6个自由度参数，只接1个接收器时数据刷新率为120Hz，数据输出的滞后时间为4ms，距离测量 精度0.08cm、分辨率0.0005cm，角度测量精度0.15°、分辨率0.025°。现有的各种虚拟听觉环境实时绘制系统就是采用这类的头踪迹跟踪器。 

若在5.1通路环绕声的耳机虚拟重放也加入动态信息，原则上也可有效的改善听觉效果。然而现上述的头踪迹跟踪器产品一般体积大并且价格较高，所需要的计算资源很大，其功耗也较大，因而只适合于虚拟听觉环境实时绘制科学研究、工程技术等专业的应用，而不适用于便携的消费类电子产品应用。但由于5.1通路环绕声只考虑产生平面上的声音空间信息，因此对于5.1通路环绕声的耳机虚拟重放，可以只处理水平角这一个自由度的动态信息。这样对头踪迹跟踪器的性能要求可以降低，只要能输出水平角一个自由度参数即可。并且对于消费电子类的应用，对信号处理的精确性的要求可以降低。而对于各种手持或便携式播放设备，则要求头踪迹跟踪器及相关的信号处理装置体积小、重量轻、价格低，且还要求功耗小。 

发明内容

本发明的目的在于克服现有技术的不足，提供了5.1通路环绕声的耳机动态虚拟重放方法及其实现装置。该方法通过磁传感器、加速度传感器和单片机获取头部运动引起的物理信息变化来计算倾听者的头部的水平转动角度，动态、实时地模拟5.1通路环绕声的各个虚拟扬声器，实现水平方向的声像的实时绘制，能完全消除头中定位效应，产生类似扬声器重放的5.1通路环绕声效果。 

本发明的目的通过如下技术方案实现。 

5.1通路环绕声的耳机动态虚拟重放方法，其包括如下步骤： 

1)输入初始数据，包括5.1通路环绕声信号、5.1通路虚拟扬声器的位置参数和头相关传输函数数据； 

2)采用头踪迹跟踪模块实时检测倾听者头部水平转动角度； 

3)根据倾听者头部水平转动角度调用相应的头相关传输函数数据,并用其对5.1通路环绕声信号进行滤波，合成虚拟5.1通路环绕声的各个扬声器的双耳信号； 

4)将各虚拟扬声器的双耳声信号混合并经过耳机—耳道传输特性均衡处理后馈给耳机重放。 

进一步的，上述方法在小型或便携式播放设备耳机重放中根据倾听者头部的水平角度进行双耳信号的动态合成处理，产生扬声器重放的动态5.1通路环绕声效果。 

进一步的，所述头踪迹跟踪模块包括磁传感器、加速度传感器和单片机，实时检测倾听者头部运动引起的物理信息变化，从而计算出水平转动角度。 

进一步的，所述磁传感器用于测量地磁场的三个轴分量H_x、H_y、H_z，加速度传感器用 于测量重力加速度g的三个轴分量g_x、g_y、g_z；这两个传感器开始工作时先进行水平校准，当头踪迹跟踪器模块水平放置时，单片机根据H_x、H_y地磁分量计算出水平转动角度；当头踪迹跟踪器模块不是水平放置时，利用重力加速度的三个轴分量先对H_x、H_y进行倾斜校正，再通过单片机计算水平转动角度；然后将头踪迹跟踪模块检测出来的倾听者头部水平转动角度传送给播放设备的信号处理模块，动态虚拟出5.1通路环绕声的各个扬声器；将虚拟扬声器重放的5.1通路信号进行合成，得到动态双耳声信号。 

一种用于实现上述方法的装置，包括耳机和安装在耳机上的头踪迹跟踪器模块，所述头踪迹跟踪模块包括磁传感器、加速度传感器和单片机，所述磁传感器用于测量地磁场的三个轴分量H_x、H_y、H_z，加速度传感器用于测量重力加速度g的三个轴分量g_x、g_y、g_z；这两个传感器开始工作时先进行水平校准，当头踪迹跟踪器模块水平放置时，单片机根据H_x、H_y地磁分量计算出水平转动角度；当头踪迹跟踪器模块不是水平放置时，利用重力加速度的三个轴分量先对H_x、H_y进行倾斜校正，再通过单片机计算水平转动角度；然后将头踪迹跟踪模块检测出来的倾听者头部水平转动角度传送给播放设备的信号处理模块。 

本发明利用头踪迹跟踪模块实时检测倾听者头部的水平转动角度，并根据这个参数动态、实时地对5.1通路信号进行合成双耳声信号处理，实现水平方向的实时绘制。头踪迹跟踪模块不需要信号发射装置，通过磁传感器和加速度传感器获取头部运动引起的物理信息变化来计算倾听者的水平转动角度。该模块可以直接安装在耳机上，通过电池或USB接口供电。将上述双耳声信号经耳机—耳道传输特性均衡处理后馈给耳机重放，可产生类似扬声器重放的5.1通路环绕声效果。 

本发明与现有技术相比，具有如下优点和有益效果： 

1.本发明可在小型或便携式播放设备实现5.1通路环绕声双耳信号的动态合成处理，实现5.1通路环绕声的耳机动态虚拟重放，全消除头中定位效应，改善声像定位，在耳机重放中产生类似扬声器重放5.1通路环绕声效果。 

2.本发明只需根据头部运动引起的物理信息变化计算水平旋转角度，不需要信号发射装置； 

3.本发明的头踪迹跟踪模块体积小、重量轻、价格低，功耗小，可通过USB或电池供电，可安装在耳机上，且相应的信号处理运算量低，适合手持或便携式产品的应用； 

4.本发明的信号处理模块部分可在多媒体计算机上通过算法语言(如VC++)编程实现，也可采用通用DSP硬件电路实现。 

附图说明

图1是本发明的实施实例示意图。 

图2是采用个人计算机做信号处理的系统硬件组成示意图。 

图3是系统软件模块组成示意图。 

图4是5.1通路环绕声扬声器到双耳传输的示意图。 

图5是本发明头踪迹跟踪模块框图。 

图6是头踪迹跟踪模块坐标图。 

具体实施方式

下面结合附图和实施例对本发明做进一步的详细说明，但本发明要求保护范围并不局限于实施例表示的范围。 

本发明的系统方框图如图1所示，包括输入初始数据(5.1通路输入信号、扬声器位置以及HRTF数据)、动态信号处理及双耳信号合成、耳机重放三个部分。 

图2是采用个人计算机做信号处理的系统硬件组成示意图，包括一台个人计算机、支持ASIO功能的声卡、耳机、头踪迹跟踪器模块。计算机是整个系统的信息处理中心，系统开始工作前计算机先通过USB接口下传参数完成头踪迹跟踪模块及声卡的初始化工作，以及设置5.1通路输入信号、虚拟扬声器位置和HRTF数据等信息.系统开始工作后头踪迹跟踪器将倾听者头部的水平方向信息通过USB接口传给计算机，计算机的信号处理模块据此信息计算出双耳声信号，然后通过声卡传送给耳机重放。 

图3是系统软件模块组成示意图，软件分成两部分：计算机上的信号处理软件和头踪迹跟踪模块软件。信号处理软件在计算机上用C++语言实现，包括设定虚拟扬声器位置、声频数据输入输出、头踪迹跟踪数据接收、信号处理参数计算、信号滤波及合成等功能，分为三个线程。头踪迹跟踪器模块软件在单片机上用C语言实现，包括磁传感器、加速度传感器、单片机及串口初始化，磁传感器与加速度传感器三轴数据读取，计算水平旋转角度，串口数据收发等功能，采用单线程处理。 

图4是5.1通路环绕声扬声器到双耳传输的示意图。用扬声器重放5.1通路环绕声时，设前方左、中、右扬声器到倾听者双耳的头相关传输函数HRTF分别为H_LL、H_RL、H_LC、H_RC、H_LR、H_RR,左、右环绕扬声器到双耳的头相关传输函数分别为H_LLS、H_RLS、H_LRS、H_RRS。由于低频效果通路LFE的处理与中置C通路类似,所以在以下分析中略去。则左、右耳总声压P_L、P_R为各个扬声器分别产生的双耳声压相叠加： 

P_L＝H_LLL+H_LCC+H_LRR+H_LLSLS+H_LRSRS             (1) 

P_R＝H_RLL+H_RCC+H_RRR+H_RLSLS+H_RRSRS 

当耳机重放时，如先将L、C、R、LS和RS五路原始的信号按(2)式进行HRTF滤波处理再馈给耳机，即： 

E_L＝H_LLL+H_LCC+H_LRR+H_LLSLS+H_LRSRS            (2) 

E_R＝H_RLL+H_RCC+H_RRR+H_RLSLS+H_RRSRS 

那么重放的双耳声压将等于或正比于扬声器重放的情况，产生正确的声音空间信息。 

对于静态情况，(2)式中的各个HRTF是不变的。但对于动态情况，由于各个虚拟扬声器在空间的绝对位置不变，当倾听者头部转动后，虚拟扬声器与倾听者头部的相对位置会改变。本发明只考虑水平角这一个动态信息，若某虚拟扬声器的初始角坐标为θ₀，倾听者头部转动Δθ角后，则虚拟扬声器新的角坐标为： 

θ＝θ₀－Δθ                (3) 

因此信号处理时需根据虚拟扬声器新的角坐标θ不断刷新(2)式的各个HRTF数据。其中Δθ由头踪迹跟踪器模块测量得到。 

HRTF是声源空间位置的连续函数，但实验测量得到的是有限离散空间方向的HRTF数据。为了虚拟水平面任意角度位置的声源，需要通过空间插值的方法得到未测量方向的HRTF数据。现有的多种不同空间插值方法都可以用于HRTF的方向插值，比如线性插值的方法，采用相邻两个测量方向的HRTF的线性组合来近似未测量方向的HRTF。 

利用(3)式的关系计算出虚拟扬声器相对倾听者新的头部位置参数后，插值得到对应的HRTF数据，代入(2)式即可实现动态信号处理。由于实际处理中，只能以一定的时间间隔对倾听者位置进行检测(时间采样)，直接从一个位置的HRTF切换到另一个位置的HRTF容易产生可察觉切换的噪声。这可以通过对HRTF切换前后的输出信号进行过渡处理，或对HRTF进行PCA分解，HRTF切换时改变相关的权重系数。 

头踪迹跟踪器模块主要由磁传感器、加速度传感器、单片机、串口转USB芯片组成，如图5所示。建立如图6所示的坐标系，o-xyz表示参考坐标系，其中xoy表示水平面，x轴指向北极。o₁-x₁y₁z₁表示磁传感器的坐标系，x₁轴在水平面的投影与x轴之间的角度定义为水平角α，顺时针为正。磁传感器可以测出在此坐标系中的三个地磁场分量H_x1、H_y1、H_z1。o₂-x₂y₂z₂表示加速度传感器的坐标系，加速度传感器可以测出重力加速度g在此坐标系中的三个轴分量g_x2、g_y2、g_z2。这两个传感器测出的数据都传给单片机进行处理。当头踪迹跟踪器模块水平放置时，单片机先根据H_x1、H_y1地磁分量就可以利用(4)式计算出角度α，再根据H_x1、H_y1的正负号将α调整到0°≤α<360°。但一般情况下，模块并不是水平放置，两个传感器的坐标系发生旋转。将传感器坐标系绕参考坐标系x轴旋转的角度称为倾斜角β，绕y轴旋转的角度称为滚动角γ。这时直接根据H_x1、H_y1计算出的角度α会有误差，需要先利用g_x2、g_y2、g_z2根据(5)式计算出倾斜角β与滚动角γ，然后利用(6)式对H_x1、H_y1进行修正，最后再利用(4)式计算出角度α。单片机将α的数据通过串口传给计算机进行信号处理，前后两个α 的差值即为(3)式的Δθ。 

$\mathrm{\&alpha;}=\arctan \left(\frac{H_{y1}}{H_{x1}}\right)---\left(4\right)$

$\mathrm{\&beta;}=\arcsin \left(\frac{g_{y2}}{g}\right)---\left(5\right)$

$\mathrm{\&gamma;}=\arcsin \left(\frac{g_{x2}}{g}\right)$

H′_x1＝H_y1sinβsinγ+H_z1cosβsinγ          (6) 

H′_y1＝H_y1cosβ-H_z1sinβ 

实例效果与验证 

选择的系统硬件配置为：个人计算机(Intel i3CPU2.53GHz，2G内存)、声卡(ESI UGM96)、耳机(Sennheiser IE8)。头踪迹跟踪器模块主要由磁传感器(Honeywell HMC5883)、加速度传感器(Freescale MMA7455L)、单片机(STM32F103RET6)、串口转USB芯片(CH340)组成。软件部分采用Microsoft Visual Studio.NET2003平台用C++语言实现。声卡的ASIO数据缓冲区取128点。 

表1列出了测量得到的系统实例的性能参数。其中系统滞后时间指的是从倾听者运动到某个位置与系统输出相应的响应信号之间的时间差。系统刷新率指的是单位时间内的信号处理(场景)刷新次数。 

表1 系统性能参数列表 

心理声学实验的目的是验证虚拟声源合成的实际效果。 

实验采用全可听频带白噪声信号作为原始信号，白噪声信号是在计算机中通过软件产生(采样率44.1kHz、量化精度16bit)。采用MIT媒体实验室测量的KEMAR人工头的远场HRTF数据，分别作静态和动态自由场虚拟声源信号处理，对比虚拟声源的方向和距离定位(头内或头外)结果。 

共选择水平面上5个虚拟声源方向，方位角θ＝0°,30°,110°,250°,330°。方位角的定义是θ＝0°为倾听者正前方，θ＝90°为倾听者正右方。共有6名受试者(男女各3名) 参加实验。对稳态和动态信号处理，每名受试者对每个虚拟声源方向分别作3次判断，6名受试者共有18次判断. 

表2给出了前方和环绕方向感知的虚拟声源头内定位百分比、前后混乱率、平均仰角定位误差(定义为期望与实际感知虚拟声源方向的绝对仰角差别)和平均水平角定位误差(定义为期望与实际感知虚拟声源方向的绝对水平角差别)。 

表2 心理声学实验结果统计表 

实验结果表明，动态双耳声信号合成能完全消除头中定位效应，能消除前后声像混乱和提高前方虚拟声源的定位准确度，提升了5.1通路环绕声的耳机虚拟重放性能。 

Claims (5)

1.5.1通路环绕声的耳机动态虚拟重放方法，其特征在于包括如下步骤：

1)输入初始数据，包括5.1通路环绕声信号、5.1通路虚拟扬声器的位置参数和头相关传输函数数据；

2)采用头踪迹跟踪模块实时检测倾听者头部水平转动角度；

3)根据倾听者头部水平转动角度调用相应的头相关传输函数数据,并用其对5.1通路环绕声信号进行滤波，合成虚拟5.1通路环绕声的各个扬声器的双耳信号；

4)将各虚拟扬声器的双耳声信号混合并经过耳机—耳道传输特性均衡处理后馈给耳机重放。

2.根据权利要求1所述的5.1通路环绕声的耳机动态虚拟重放方法，其特征在于在小型或便携式播放设备耳机重放中根据倾听者头部的水平角度进行双耳信号的动态合成处理，产生扬声器重放的动态5.1通路环绕声效果。

3.根据权利要求1所述的5.1通路环绕声的耳机动态虚拟重放方法，其特征在于所述头踪迹跟踪模块包括磁传感器、加速度传感器和单片机，实时检测倾听者头部运动引起的物理信息变化，从而计算出水平转动角度。

4.根据权利要求3所述的5.1通路环绕声的耳机动态虚拟重放方法，其特征在于所述磁传感器用于测量地磁场的三个轴分量H_x、H_y、H_z，加速度传感器用于测量重力加速度g的三个轴分量g_x、g_y、g_z；这两个传感器开始工作时先进行水平校准，当头踪迹跟踪器模块水平放置时，单片机根据H_x、H_y地磁分量计算出水平转动角度；当头踪迹跟踪器模块不是水平放置时，利用重力加速度的三个轴分量先对H_x、H_y进行倾斜校正，再通过单片机计算水平转动角度；然后将头踪迹跟踪模块检测出来的倾听者头部水平转动角度传送给播放设备的信号处理模块，动态虚拟出5.1通路环绕声的各个扬声器；将虚拟扬声器重放的5.1通路信号进行合成，得到动态双耳声信号。

5.一种用于实现权利要求1～4任一项所述方法的装置，包括耳机，其特征在于还包括安装在耳机上的头踪迹跟踪器模块，所述头踪迹跟踪模块包括磁传感器、加速度传感器和单片机，所述磁传感器用于测量地磁场的三个轴分量H_x、H_y、H_z，加速度传感器用于测量重力加速度g的三个轴分量g_x、g_y、g_z；这两个传感器开始工作时先进行水平校准，当头踪迹跟踪器模块水平放置时，单片机根据H_x、H_y地磁分量计算出水平转动角度；当头踪迹跟踪器模块不是水平放置时，利用重力加速度的三个轴分量先对H_x、H_y进行倾斜校正，再通过单片机计算水平转动角度；然后将头踪迹跟踪模块检测出来的倾听者头部水平转动角度传送给播放设备的信号处理模块。