CN102665156B

CN102665156B - 一种基于耳机的虚拟3d重放方法

Info

Publication number: CN102665156B
Application number: CN201210083752.XA
Authority: CN
Inventors: 李军锋; 夏日升; 付强; 颜永红
Original assignee: Institute of Acoustics CAS; Beijing Kexin Technology Co Ltd
Current assignee: Institute of Acoustics CAS; Beijing Kexin Technology Co Ltd
Priority date: 2012-03-27
Filing date: 2012-03-27
Publication date: 2014-07-02
Anticipated expiration: 2032-03-27
Also published as: CN102665156A

Abstract

本发明涉及一种基于耳机的虚拟3D重放方法，其包括设定虚拟3D声源的参数；计算空气对声音的吸收值，计算声音的声压衰减因子；计算房间脉冲响应RIR；计算RIR每样点与接收点位置距离d，依据d计算原声源经传输d距离后的声压；以插值法处理墙面频率点的吸收系数，以获得增加空气衰减及墙面吸收后的房间脉冲响应；计算声源点和头位置之间的水平角度和仰角，以选择最接近的头相关传输函数；将HRTF与增加空气衰减及墙面吸收后的房间脉冲响应卷积，以获得双耳房间脉冲响应BRIR；将BRIR与输入声信号卷积，以实现基于耳机的虚拟3D声信号。依照本发明提供的方法可较好地解决耳机重放时的“头内”问题、距离方位感、房间特性等问题，从而实现基于耳机的虚拟3D效果。

Description

一种基于耳机的虚拟3D重放方法

技术领域

本发明涉及3D语音重构领域，具体涉及到一种基于耳机的虚拟3D重放方法。

背景技术

基于耳机的虚拟3D重放技术是通过模拟空间某点声源在两耳产生的声场，使听者感觉到虚拟声源是从空间对应位置发出。该种技术主要采用的是头相关传递函数(Head-Related Transfer Function，HRTF)及模拟房间混响的方法来虚拟空间某点声源。

头相关传递函数HRTF是一种声音定位的处理技术，在自由场条件下声源到耳膜之间的传递函数，其包括头、耳廓、肩等对声音传输的影响。而房间混响的合成常采用映像image方法，它是将原声源经墙面反射后的点用原声源的映像来表示，而映像后的点又作为新的声源。在某一时刻听者双耳的声压是包括映像点的所有声源在该时刻的声压之和。

传统的映像image方法在实现过程中未详细考察声音在真实环境中传输的特性，例如声音在空气中传输时不同频率的衰减差异问题、墙面材料对声源不用频率成分吸收的程度变化问题等。因此，在合成虚拟3D效果时存在“头外”不明显、距离感不强、及空间感知不自然等问题。“头外”通常是指听者感觉到的音像位置在头的外部。

那么，如何克服以上的问题，实现“头外”效果明显，实现准确的虚拟3D效果，是本发明所要解决的问题。

发明内容

有鉴于此，本发明的目的是提供一种基于耳机的虚拟3D重放方法，以解决现有技术的虚拟3D重放方法中存在的虚拟效果距离感不强。空间感知不自然以及“头外”效果不明显的问题。

为实现上述目的，本发明一方面提供了一种基于耳机的虚拟3D重放方法，该方法包括：

设定虚拟3D声源的参数；

计算空气对声音的吸收值，据以计算声音的声压衰减因子；

计算房间脉冲响应RIR；

计算RIR每样点与接收点位置距离，据以计算原声源经传输该距离后的声压；

以插值法处理墙面频率点的吸收系数，以获得增加空气衰减及墙面吸收后的房间脉冲响应；

计算声源点和头位置之间的水平角度和仰角，以选择最接近的头相关传输函数HRTF；

将HRTF与增加空气衰减及墙面吸收后的房间脉冲响应卷积，以获得双耳房间脉冲响应BRIR；

将BRIR与输入声信号卷积，以实现基于耳机的虚拟3D声信号。

本发明的一实施例依照用耳机播放与扬声器播放的差异，增加声音在空气中传输的特性、墙面对声音吸收特性及HRTF与image方法的联合实现技术，解决耳机重放时的“头内”问题、距离方位感、房间特性等问题，从而实现基于耳机的虚拟3D效果。

附图说明

图1为依据本发明一实施例的基于耳机的虚拟3D重放方法的实现原理图；

图2为依据本发明一实施例的基于耳机的虚拟3D重放方法的流程图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

当声源经过扬声器播放时，人能比较准确的感知到头外声源的方位，距离感以及房间特性。本发明就是依照耳机播放与扬声器播放的差异，来补偿用耳机重放时导致3D效果不明显的问题。具体地说，增加声音在空气中传输的特性、墙面对声音吸收特性及HRTF与image方法的联合实现等技术，来解决耳机重放时的听者感觉到的音像位置位于头的内部的“头内”问题、距离方位感、房间特性等问题，从而实现基于耳机的虚拟3D效果。

如图1所示，其为依据本发明一实施例的基于耳机的虚拟3D重放方法的实现原理图。为解决基于耳机的虚拟3D中的“头外”、距离感以及对房间特性感知等问题，本发明在传统image方法的基础上模拟声音在房间中真实的传输特性，如考虑空气对不同频率成分的衰减、墙面对声音吸收以及对每个映像点作HRTF方向定位。

其中，改进房间模型模块除包括映像image方法生成的冲击响应外，还将声音在空气中传输的真实特性集成，并且模拟真实特定的墙面对声音的吸收以及对每个声源点(包括image映像点)对冲击响应的影响。

基于HRTF的双耳合成模块首先根据所需虚拟的3D位置，如与头中心相应的角度及距离，在MIT KEMAR数据库中获取对应的HRTF函数；然后将HRTF与房间冲击响应作卷积模拟出双耳房间脉冲响应(Binaural RoomImpulse Response，BRIR)，最后将模拟出的BRIR与输入的声源作卷积，即实现耳机虚拟3D效果。

当声音在空气中传输时，随着距离的增加，会有能量衰减的特性；而且空气对声音的不同频率成分的衰减程度也不相同，其中，对高频成分衰减比低频成分要大。空气吸收公式如下：

a = f^{2} [1.84 \times 10^{- 11} {(\frac{p_{s}}{p_{s 0}})}^{- 1} {(\frac{T}{T_{0}})}^{1 / 2} + {(\frac{T}{T_{0}})}^{- 5 / 2}

{\frac{1.278 \times 10^{- 2} \exp (- 2239.1 / T)}{f_{r, O} + f^{2} / f_{r, O}} + \frac{1.068 \times 10^{- 1} \exp (- 3352 / T)}{f_{r, N} + f^{2} / f_{r, N}}}] - - - (1)

其中，f为频率，p_s为大气压，p_s0为参考大气压(101.325kPa)，T₀为参考空气温度(293.16)，f_r，O、f_r，N分别为氧气与氮气的截止频率。通过增加空气对声音的衰减可以更自然的合成声音的传输，从而增加对房间特性及声源距离的感知，提高虚拟3D的真实感。

另一方面，由于墙面的材料对不同的频率成分吸收也不同，本发明将此墙面的材料对不同的频率成分吸收特性引入至虚拟3D的效果中，对不同的频率成分按照频率点125，250，500，1000，2000，4000(Hz)的吸收系数作处理，而对这些频率点之外的频率通过插值算法处理，以模拟真实房间墙面的特性，增加虚拟3D的自然感。

最后，根据映像法image方法原理，将每个映像点重新作为新的声源，也就是说针对这些映像点也有对应的方位信息，将所有映像点作为新的声源，然后计算映像点的坐标，根据映像点的坐标判断出映像点与接收点之间的角度，据此采用与此方位在在MIT KEMAR数据库中查找最接近的HRTF与之卷积，从而更准确的实现虚拟3D效果。

请参考图2，其为具体实现上述原理的方法流程图。

在步骤S201中，设定虚拟3D声源的参数；

这些参数包括，如墙面吸收材料，空气特性参数(湿度，温度)、房间大小、源位置、接收mic位置等。

在步骤S202中，计算空气对声音的吸收值a，依据a和公式p＝exp(-a)计算声音的声压衰减因子p；

在步骤S203中，以计算房间脉冲响应RIR；

优选采用映像法来计算房间脉冲响应，但是也可以采用其他的方法，不作为限制。

在步骤S204中，计算RIR每样点与接收点位置距离d，依据d计算原声源经传输d距离后的声压；

求出冲击响应的每样点与接收mic位置的距离，记为d，然后依据步骤B求出的衰减因子p求出增加空气衰减后的声压，即p(d)＝p₀exp(-ad)，其中p₀为原声源经过传输距离d之后的声压。

在步骤S205中，以插值法处理墙面频率点的吸收系数，以获得增加空气衰减及墙面吸收后的房间脉冲响应；

针对墙面对其它频率点的吸收系数采用插值的方法进行处理，将两频率点之间插256个点以近似实现墙面对不同频率的吸收，公式如下：

g (x) = y_{0} + \frac{y_{1} - y_{0}}{x_{1} - x_{0}} (x - x_{0}),

其中，x₀和x₁表示频率，y₀和y₁则是对应的墙面吸收系数；x表示[x0，x1]之间的某一频率，y表示对应的墙面吸收系数，g(x)表示墙面某一点的吸收。

从而获得增加空气衰减及墙面吸收后的房间脉冲响应RIR。

在本实施例中采用的是线性插值法，但是在实际操作中，所述领域的技术人员可以采用拟合方法或者二次插值法等等，因此本实施例，不应理解为对本发明本身的限制。

在步骤S206中，计算声源点和头位置之间的水平角度和仰角，以选择最接近的头相关传输函数HRTF；

根据声源点(包括映像点)与头位置(也即相应的mic接收点)的坐标，计算它们之间的水平角度及仰角度，据此从HRTF数据库中选出最接近的HRTF。

在步骤S207中，将HRTF与增加空气衰减及墙面吸收后的房间脉冲响应卷积，以获得双耳房间脉冲响应BRIR；

利用求出的头相关传递函数HRTF与步骤S205中求出的时域房间脉冲响应RIR卷积，从而获得双耳房间脉冲响应，即BRIR。

在步骤S208中，将双耳房间脉冲响应BRIR与输入声信号卷积，以实现基于耳机的虚拟3D声信号。

依据以上的方法，可以较好地解决耳机重放时的“头内”问题、距离方位感、房间特性等问题，从而实现基于耳机的虚拟3D效果。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于耳机的虚拟3D重放方法，其特征在于，包括：

设定虚拟3D声源的参数；

计算空气对声音的吸收值，据以计算声音的声压衰减因子；

计算房间脉冲响应RIR；

将所述最接近的头相关传输函数HRTF与增加空气衰减及墙面吸收后的房间脉冲响应卷积，以获得双耳房间脉冲响应BRIR；

将所述双耳房间脉冲响应BRIR与输入声信号卷积，以实现基于耳机的虚拟3D声信号；

所述设定虚拟3D声源的参数的步骤中虚拟3D声源的参数包括墙面吸收材料、空气特性参数、房间尺寸、源位置以及接收点位置；

在计算空气对声音的吸收值的步骤中，按照公式

计算空气对声音的吸收值a；

其中，f为频率，p_s为大气压，p_s0为参考大气压，T₀为参考空气温度，f_r,O、f_r,N分别为氧气与氮气的截止频率；

所述据以计算声音的声压衰减因子的步骤中采用指数函数p=exp(-a)，计算声压衰减因子p；

所述计算RIR每样点与接收点位置距离，据以计算原声源经传输该距离后的声压，具体为：求出冲击响应的每样点与接收位置的距离，记为d，然后依据求出的衰减因子p求出增加空气衰减后的声压，即p(d)=p₀exp(-ad)，其中p₀为原声源经过传输距离d之后的声压；

所述以插值法处理墙面频率点的吸收系数，以获得增加空气衰减及墙面

和y₁则是对应的墙面吸收系数；x表示[x₀,x₁]之间的某一频率，g(x)表示墙面某一点的吸收，从而获得增加空气衰减及墙面吸收后的房间脉冲响应RIR。

2.如权利要求1所述的方法，其特征在于，在以插值法处理墙面频率点的吸收系数的步骤中，插值法对墙面的两频率点之间插256个点。

3.如权利要求1所述的方法，其特征在于，所述计算声源点和头位置之间的水平角度和仰角的步骤中，所述声源点包括映像点。

4.如权利要求1所述的方法，其特征在于，在选择最接近的头相关传输函数HRTF的步骤中，所述最接近的HRTF是在HRTF数据库中选取的。