CN105120418B - 双声道3d音频生成装置及方法 - Google Patents

Abstract

本发明提供双声道3D音频生成装置及方法，装置包括左右耳声压模拟模块、距离变量函数确定模块、远场头相关传递函数提取模块、近场头相关传递函数记录模块、卷积模块，首先计算距离不同的声源在硬质球体的某点上产生的声压，然后将不同距离下声源在该点处的声压比较得到距离变量函数值，再根据距离变量函数值与已有的远程头相关传递函数得到近场头相关传递函数，再利用该头相关传递函数进行时频变换得到头相关传递冲激响应与音频信号进行卷积，最终得到3D音频。利用本发明技术方案基于近场头相关传递函数合成的3D音频信号，具有更好的距离感知效果、更明确的方位感和更少的前后混淆效应。

Description

双声道3D音频生成装置及方法

技术领域

本发明涉及3D音视频技术领域，尤其涉及双声道3D音频生成装置及方法。

背景技术

随着3D音视频的快速发展，传统的立体声及环绕声技术已经满足不了人们对于更好视听体验的需求。声学研究表明，头相关传递函数中包含的双耳间级差、双耳间时差以及频谱信息可以用来合成含有声源位置信息的音频信号。而且头相关传递术适用于耳机环境下的特点，使得该技术适合在移动设备上使用，具有广阔的市场前景。但头相关传递函数与听音者的人体参数相关，为了得到更好的效果，需要对大量测试者进行测量，然而近场的头相关传递函数在测量时存在着多种缺陷：1、没有合适的扬声器满足测量头相关传递函数时实验对于对声源的要求；2、测试者的头部需要保持严格静止；3、大量位置点的头相关传递函数测量会造成测试者的疲劳等问题，从而很难得到能使得合成的音频信号的感知距离和方位感较好的近场头相关传递函数。因此，也无法得到理想的双声道3D音频。

发明内容

本发明的目的是提供新的双声道3D音频生成方法及装置，通过避免获取真人近场头相关传递函数时的不便，达到改善近距离的声源感知准确性的目的，从而完成在双声道系统中3D音频的更好合成。

为到达上述目的，本发明技术方案提供一种双声道3D音频生成装置，包括以下模块：

左右耳声压模拟模块，用于设待合成的近场头相关传递函数的适用距离为近场声源距离r，设已有的远场头相关传递函数库相应测量时声源与测试者的距离记为远场声源距离R，利用硬质球体模拟人头，并将左耳和右耳模拟为硬质球体上的两点，计算近场声源距离r下声源到硬质球体上左耳相应点的声压p₁ ^r和右耳相应点的声压p₂ ^r，计算远场声源距离R下声源到硬质球体上左耳相应点的声压p₁ ^R和右耳相应点的声压p₂ ^R；

距离变量函数确定模块，用于计算左耳对应的距离变量函数值DVF₁和右耳对应的距离变量函数值DVF₂如下，

远场头相关传递函数提取模块，用于在远场头相关传递函数库中任意挑选一个远场头相关传递函数，设左耳对应的远场头相关传递函数记为HRTF_R ¹，右耳对应的远场头相关传递函数记为HRTF_R ²；

左右耳近场头相关传递函数生成模块，用于基于左右耳分别对应的远场头相关传递函数与对应距离变量函数值，得到对应的近场头相关传递函数，

HRTF_r ¹＝DVF₁×HRTF_R ¹

HRTF_r ²＝DVF₂×HRTF_R ²

其中，HRTF_r ¹为左耳相应的近场头相关传递函数，HRTF_r ²为右耳相应的近场头相关传递函数；

近场头相关传递函数记录模块，用于记录左右耳近场头相关传递函数生成模块所得左右耳的近场头相关传递函数HRTF_r ¹和HRTF_r ²；

卷积模块，用于进行3D音频的合成，包括将输入的音频信号与记录的近场头相关传递函数对应的时域的左右耳近场头相关传递冲激响应分别进行卷积，得到用于双声道系统中左右声道播放的3D音频。

而且，左右耳声压模拟模块中，计算不同声源距离下到硬质球体某点的声压p(a,ω,θ,l)采用下式，

其中，k为波数，e为自然底数，i为虚数单位，l为声源到硬质球体中心的距离；a为声源到硬质球体上某点的距离，ω为声源信号的频率，θ为声源到球体中心的连线和球体中心到球体上某点间的连线的夹角；h_m(.)是m阶的第一类汉克尔函数，h'_m(.)是它的一阶导数，P_m为m度的纳然德多项式。

本发明还相应提供一种双声道3D音频生成方法，包括以下步骤：

步骤1，设待合成的近场头相关传递函数的适用距离为近场声源距离r，设已有的远场头相关传递函数库相应测量时声源与测试者的距离记为远场声源距离R，利用硬质球体模拟人头，并将左耳和右耳模拟为硬质球体上的两点，计算近场声源距离r下声源到硬质球体上左耳相应点的声压p₁ ^r和右耳相应点的声压p₂ ^r，计算远场声源距离R下声源到硬质球体上左耳相应点的声压p₁ ^R和右耳相应点的声压p₂ ^R；

步骤2，计算左耳对应的距离变量函数值DVF₁和右耳对应的距离变量函数值DVF₂如下，

步骤3，在远场头相关传递函数库中任意挑选一个远场头相关传递函数，设左耳对应的远场头相关传递函数记为HRTF_R ¹，右耳对应的远场头相关传递函数记为HRTF_R ²；

步骤4，基于步骤3所得左右耳分别对应的远场头相关传递函数与步骤2所得对应距离变量函数值，得到对应的近场头相关传递函数，

HRTF_r ¹＝DVF₁×HRTF_R ¹

HRTF_r ²＝DVF₂×HRTF_R ²

其中，HRTF_r ¹为左耳相应的近场头相关传递函数，HRTF_r ²为右耳相应的近场头相关传递函数；

步骤5、记录步骤4所得左右耳的近场头相关传递函数HRTF_r ¹和HRTF_r ²；

步骤6、进行3D音频的合成，包括将输入的音频信号与记录的近场头相关传递函数对应的时域的左右耳近场头相关传递冲激响应分别进行卷积，得到用于双声道系统中左右声道播放的3D音频。

而且，步骤1中，计算不同声源距离下到硬质球体某点的声压p(a,ω,θ,l)采用下式，

其中，k为波数，e为自然底数，i为虚数单位，l为声源到硬质球体中心的距离；a为声源到硬质球体上某点的距离，ω为声源信号的频率，θ为声源到球体中心的连线和球体中心到球体上某点间的连线的夹角；h_m(.)是m阶的第一类汉克尔函数，h'_m(.)是它的一阶导数，P_m为m度的纳然德多项式。

使用本发明技术方案能够避免测量头相关传递函数时实验对于对扬声器的过高要求；测试者的头部需要保持严格静止；大量位置点的头相关传递函数测量造成测试者疲劳的问题，实现简单方便，用自动化方式取代人工参与，效率高。所得到的基于近场头相关传递函数合成的音频信号，具有更好的距离感知效果、更明确的方位感和更少的前后混淆效应。

附图说明

图1是本发明实施例的系统结构框图。

图2是本发明实施例的方法流程图。

具体实施方式

下面结合具体实施例和附图对本发明的技术方案作进一步说明。

参见图1，本发明实施例提供了双声道3D音频生成装置，包括以下模块：

左右耳声压模拟模块，用于设待合成的近场头相关传递函数的适用距离为近场声源距离r，设已有的远场头相关传递函数库相应测量时声源与测试者的距离记为远场声源距离R，利用硬质球体模拟人头，并将左耳和右耳模拟为硬质球体上的两点，计算近场声源距离r下声源到硬质球体上左耳相应点的声压p₁ ^r和右耳相应点的声压p₂ ^r，计算远场声源距离R下声源到硬质球体上左耳相应点的声压p₁ ^R和右耳相应点的声压p₂ ^R；开始工作时，可以先输入声源距离r和R；

距离变量函数确定模块，用于计算左耳对应的距离变量函数值DVF₁和右耳对应的距离变量函数DVF₂如下，

远场头相关传递函数提取模块，用于在远场头相关传递函数库中任意挑选一个远场头相关传递函数，设左耳对应的远场头相关传递函数记为HRTF_R ¹，右耳对应的远场头相关传递函数记为HRTF_R ²；

左右耳近场头相关传递函数生成模块，用于基于左右耳分别对应的远场头相关传递函数与对应距离变量函数，得到对应的近场头相关传递函数，

HRTF_r ¹＝DVF₁×HRTF_R ¹

HRTF_r ²＝DVF₂×HRTF_R ²

其中，HRTF_r ¹为左耳相应的近场头相关传递函数，HRTF_r ²为右耳相应的近场头相关传递函数；

近场头相关传递函数记录模块，用于记录左右耳近场头相关传递函数生成模块所得左右耳的近场头相关传递函数HRTF_r ¹和HRTF_r ²；

卷积模块，用于进行3D音频的合成，包括将输入的音频信号与记录的近场头相关传递函数对应的时域的左右耳近场头相关传递冲激响应分别进行卷积，得到用于双声道系统中左右声道播放的3D音频。具体实施时，根据近场头相关传递函数记录模块的记录结果，输入一段音频即可进行卷积得到所需3D音频。

参见图2，本发明实施例提供相应的双声道3D音频生成方法，具体实施时可以采用计算机软件技术手段自动进行其流程，具体包括以下步骤：

步骤1、计算不同距离下到硬质球体某点的声压：

预先确定需要合成的近场头相关传递函数的适用距离，即近场声源距离r，具体实施时可以由本领域技术人员预先设定适用距离r的取值，流程开始时直接输入即可。实施例中r定为0.1米。已有的远场头相关传递函数库中测量时声源与测试者的距离记为远场声源距离R，由于实施例中远场头相关传递函数库选取的是CIPIC HRTF库，故此时R为1米。

具体实施时，硬质球体采用不吸收声波的全反射的材质即可，本领域技术人员可自行指定具体材质。计算利用硬质球体模拟的听音者在听距离不同的声源发出的声音信号时双耳处的声压值，是用来计算基于距离变量函数的值的前导工作，计算得到两个值：声源为一个近点声源时硬质球体某点处的声压值，此近点声源到球体中心的距离由人工给定，一般情况下应该小于一米；该球体上同一点处，声源为一个远点声源时该点处的声压值，该远点声源距离球体中心的距离一般由已知的头相关传递函数库决定。

实施例利用硬质球体模拟人头，并将左右耳模拟为硬质球体上的两点，则r和R都是声源到硬质球体中心的距离，近场声源距离r小于远场声源距离R。分别利用公式1计算到硬质球体中心距离为r＝0.1米和R＝1米时两点处的声压值，其中距离为0.1米时声压值为p_n，距离为1米时为p_f：

其中，k为波数，可由声源信号的频率和声速得到，e为自然底数，i为虚数单位，l为声源到硬质球体中心的距离，针对近场声源距离和远场声源距离计算时分别取l＝r，l＝R；a为声源到硬质球体上某点(本发明取用来表征耳朵的点，分别有左耳和右耳)的距离，ω为声源信号的频率(角频率)，θ为声源到球体中心的连线和球体中心到球体上某点间的连线的夹角；h_m(.)是m阶的第一类汉克尔函数，h'_m(.)是它的一阶导数，P_m为m度的纳然德多项式。

左右耳分别相应的距离a和夹角θ不同，将分别进行相应计算所得近场声源距离r条件下左耳声压值和右耳声压值记为p₁ ^r、p₂ ^r，声源距离R条件下左耳声压值和右耳声压值记为p₁ ^R、p₂ ^R。

步骤2、计算左右耳对应硬质球体上位置的距离变量函数值：

利用步骤1的计算结果来计算距离变量函数的值，通过近点声源在听音点处的声压值与远点声源在听音点的声压值的比值就可以确定用于合成适用于某距离的头相关传递函数的距离变量函数的值，针对左右耳位于人头两侧，对应于硬质球体上两不同点，分别得到两个点处的距离变量函数值。

实施例利用公式2得到相应的距离变量函数值DVF：

其中，p(a,ω,θ,r)为近场声源距离r相应声压值，p(a,ω,θ,R)为远场声源距离R相应声压值。

具体地，左耳相应的距离变量函数值记为DVF₁，右耳相应的距离变量函数值记为DVF₂，

步骤3、在远场头相关传递函数库中任意挑选一个远场头相关传递函数：

远场头相关传递函数库是用来存储已有的远场头相关传递函数的，一般情况下该库包含有不同人体参数的测试者的头相关传递函数的数据，可从中提取同一个测试者的左右耳头相关传递函数。

实施例在远场头相关传递函数库中任意选取一个测试者的头相关传递函数，记为HRTF_R，此时实施例从CIPIC HRTF库中任意选择一个对象作为实施例合成近场头相关传递函数时使用的远场头相关传递函数，需要注意的是由于CIPIC HRTF库实际存储的是头相关传递响应，即HRIR，故实施例需要先对头相关传递响应HRIR做一步时频变换得到对应的远场头相关传递函数HRTF_R；设左耳对应的远场头相关传递函数HRTF_R记为HRTF_R ¹，右耳对应的远场头相关传递函数HRTF_R记为HRTF_R ²。

步骤4、将步骤3所得左右耳分别对应的头相关传递函数数据与对应距离变量函数值进行计算，得到对应的左右耳近场头相关传递函数数据：

计算单耳的近场头相关传递函数，是通过将该耳对应的硬质球体上一点的距离变量函数的值与的远场头相关传递函数做乘，即可得到对应耳的对应于人工给定的声源到硬质球体中心的距离的头相关传递函数。

实施例利用公式3，计算相应的近场头相关传递函数记为HRTF_r，注意在进行近场头相关传递函数合成时，应对左右耳分别进行处理，分别得到相应的HRTF_r；

HRTF_r＝DVF×HRTF_R

公式3

具体的，根据左耳的距离变量函数值DVF₁，和对应的远场头相关传递函数HRTF_R ¹，计算HRTF_r ¹＝DVF₁×HRTF_R ¹得到左耳相应的近场头相关传递函数HRTF_r ¹；根据右耳的距离变量函数值DVF₂，和对应的远场头相关传递函数HRTF_R ²，计算HRTF_r ²＝DVF₂×HRTF_R ²得到右耳相应的近场头相关传递函数HRTF_r ²。

步骤5、记录步骤4所得左右耳的近场头相关传递函数HRTF_r ¹和HRTF_r ²：

具体实施时，可将步骤4合成的左右耳的近场头相关传递函数按照预设的存储格式进行封装。

一般不同的头相关传递函数库有不同的存储格式，不同格式合成3D音频时的具体过程不完全相同，因此建议合成后与原有的远场头相关传递函数库的存储格式保存一致。即根据远场头相关传递函数库预设存储格式，最终将左右耳分别的近场头相关传递函数HRTF_r ¹、HRTF_r ²合成为满足选取的远场头相关传递函数库存储格式的文件，从而得到完整的近场头相关传递函数。

步骤6、进行3D音频的合成，包括将输入的音频信号与记录的近场头相关传递函数对应的时域的左右耳近场头相关传递冲激响应分别进行卷积，得到用于双声道系统中左右声道播放的3D音频：

具体实施时，将步骤5所记录近场头相关传递函数读取出来，进行时频变换得到对应的近场头相关传递冲激响应，与输入的音频信号进行卷积，得到最终播放的3D音频。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (4)

1.一种双声道3D音频生成装置，其特征在于，包括以下模块：

左右耳声压模拟模块，用于设待合成的近场头相关传递函数的适用距离为近场声源距离r，设已有的远场头相关传递函数库相应测量时声源与测试者的距离记为远场声源距离R，利用硬质球体模拟人头，并将左耳和右耳模拟为硬质球体上的两点，计算近场声源距离r下声源到硬质球体上左耳相应点的声压p₁ ^r和右耳相应点的声压p₂ ^r，计算远场声源距离R下声源到硬质球体上左耳相应点的声压p₁ ^R和右耳相应点的声压p₂ ^R；

距离变量函数确定模块，用于计算左耳对应的距离变量函数值DVF₁和右耳对应的距离变量函数值DVF₂如下，

${\mathrm{DVF}}_1=\frac{{p_1}^r}{{p_1}^R}$

${\mathrm{DVF}}_2=\frac{{p_2}^r}{{p_2}^R}$

远场头相关传递函数提取模块，用于在远场头相关传递函数库中任意挑选一个远场头相关传递函数，设左耳对应的远场头相关传递函数记为HRTF_R ¹，右耳对应的远场头相关传递函数记为HRTF_R ²；

左右耳近场头相关传递函数生成模块，用于基于左右耳分别对应的远场头相关传递函数与对应距离变量函数值，得到对应的近场头相关传递函数，

HRTF_r ¹＝DVF₁×HRTF_R ¹

HRTF_r ²＝DVF₂×HRTF_R ²

其中，HRTF_r ¹为左耳相应的近场头相关传递函数，HRTF_r ²为右耳相应的近场头相关传递函数；

近场头相关传递函数记录模块，用于记录左右耳近场头相关传递函数生成模块所得左右耳的近场头相关传递函数HRTF_r ¹和HRTF_r ²；

卷积模块，用于进行3D音频的合成，包括将输入的音频信号与记录的近场头相关传递函数对应的时域的左右耳近场头相关传递冲激响应分别进行卷积，得到用于双声道系统中左右声道播放的3D音频。

2.根据权利要求1所述双声道3D音频生成装置，其特征在于：左右耳声压模拟模块中，计算不同声源距离下到硬质球体某点的声压p(a,ω,θ,l)采用下式，

$p(a,\mathrm{\ω},\mathrm{\θ},l)=-kl\underset{m=0}{\overset{\mathrm{\∞}}{\Σ}}(2m+1)\frac{h_m\left(kl\right)}{h_m^{\′}\left(ka\right)}{P}_m{e}^{-ikl}$

其中，k为波数，e为自然底数，i为虚数单位，l为声源到硬质球体中心的距离；a为声源到硬质球体上某点的距离，ω为声源信号的频率，θ为声源到球体中心的连线和球体中心到球体上某点间的连线的夹角；h_m(.)是m阶的第一类汉克尔函数，h'_m(.)是它的一阶导数，P_m为m度的纳然德多项式。

3.一种双声道3D音频生成方法，其特征在于，包括以下步骤：

步骤1，设待合成的近场头相关传递函数的适用距离为近场声源距离r，设已有的远场头相关传递函数库相应测量时声源与测试者的距离记为远场声源距离R，利用硬质球体模拟人头，并将左耳和右耳模拟为硬质球体上的两点，计算近场声源距离r下声源到硬质球体上左耳相应点的声压p₁ ^r和右耳相应点的声压p₂ ^r，计算远场声源距离R下声源到硬质球体上左耳相应点的声压p₁ ^R和右耳相应点的声压p₂ ^R；

步骤2，计算左耳对应的距离变量函数值DVF₁和右耳对应的距离变量函数值DVF₂如下，

${\mathrm{DVF}}_1=\frac{{p_1}^r}{{p_1}^R}$

${\mathrm{DVF}}_2=\frac{{p_2}^r}{{p_2}^R}$

步骤3，在远场头相关传递函数库中任意挑选一个远场头相关传递函数，设左耳对应的远场头相关传递函数记为HRTF_R ¹，右耳对应的远场头相关传递函数记为HRTF_R ²；

步骤4，基于步骤3所得左右耳分别对应的远场头相关传递函数与步骤2所得对应距离变量函数值，得到对应的近场头相关传递函数，

HRTF_r ¹＝DVF₁×HRTF_R ¹

HRTF_r ²＝DVF₂×HRTF_R ²

其中，HRTF_r ¹为左耳相应的近场头相关传递函数，HRTF_r ²为右耳相应的近场头相关传递函数；

步骤5、记录步骤4所得左右耳的近场头相关传递函数HRTF_r ¹和HRTF_r ²；

步骤6、进行3D音频的合成，包括将输入的音频信号与记录的近场头相关传递函数对应的时域的左右耳近场头相关传递冲激响应分别进行卷积，得到用于双声道系统中左右声道播放的3D音频。

4.根据权利要求3所述双声道3D音频生成方法，其特征在于：步骤1中，计算不同声源距离下到硬质球体某点的声压p(a,ω,θ,l)采用下式，

$p(a,\mathrm{\ω},\mathrm{\θ},l)=-kl\underset{m=0}{\overset{\mathrm{\∞}}{\Σ}}(2m+1)\frac{h_m\left(kl\right)}{h_m^{\′}\left(ka\right)}{P}_m{e}^{-ikl}$

其中，k为波数，e为自然底数，i为虚数单位，l为声源到硬质球体中心的距离；a为声源到硬质球体上某点的距离，ω为声源信号的频率，θ为声源到球体中心的连线和球体中心到球体上某点间的连线的夹角；h_m(.)是m阶的第一类汉克尔函数，h'_m(.)是它的一阶导数，P_m为m度的纳然德多项式。