CN105933818A - 耳机三维声场重建的幻象中置声道的实现方法及系统 - Google Patents

Abstract

本发明涉及一种耳机三维声场重建的幻象中置声道的实现方法及系统，该方法包括：使左右声道的左右耳输入信号分别与对应的左右耳HRTF对进行一次卷积后输出；采用对应的滤波器分别对一次卷积后输出的左右耳信号进行二次卷积处理，分别改变左右耳信号对应的左右耳HRTF对的相位，使得左右耳信号对应的左右耳HRTF对在分别被改变相位之后的线性加和结果与真实的中置声道的HRTF对相一致；将由所述滤波器二次卷积处理后输出的左右耳信号进行对应线性叠加后输出至耳机。本发明可以使耳机三维声场重建的幻象中置声道与真实的中置声道相一致，解决了目前技术下耳机输出的信号使虚拟的中置声道失去空间感的问题。

Description

耳机三维声场重建的幻象中置声道的实现方法及系统

技术领域

本发明属于音频信号处理技术领域，具体涉及一种耳机三维声场重建的幻象中置声道的实现方法及系统。

背景技术

3D虚拟环绕声场重建技术主要用耳机作为播放设备，但也可以用扬声器作为播放设备。虚拟环绕声的核心技术是头相关函数(HRTF)的使用。头相关函数是空间中的任意位置到达人双耳的一对传输函数，即若在3维空间中采样n个方向，所对应的头相关函数将为n对，2n个(左右耳各一个)。假设需要重建某一个方向声源S(水平角为θ，垂直角)，其双耳重建信号可由输入信号与头相关函数卷积得到：

在实际应用中，想实现环绕声场重建，一般需要至少5个音频通道，即5.1格式音频信号。将此多声道信号进行基于耳机左右耳信号的环绕声场重建需要对每个音频通道的输入信号带入公式(1)和(2)计算(其中水平角和垂直角为各个音频通道对应的建议播放角度)，最后再将各路信号进行线性叠加，即对于5.1信号，最后的输出为：

如图1所示，其中左侧扬声器声道按照ITU标准5.1格式应为S₁，S₅；左侧扬声器声道按照ITU标准5.1格式应为S₂，S₆。在图1，由于中置声道S₃以及低音声道S₄与本发明无直接关系，故省略未标出。本发明可适用于各种双声道、多声道的音频格式。如输入信号为7.1声道时，左侧扬声器声道为S₁，S₅，S₇；右侧扬声器声道为S₂，S₄，S₆。

式(3)‐(4)中，多路信号将与对应的HRTF对(左耳、右耳为一对)进行卷积，之后对应耳的信号将进行叠加。在实际音频信号制作中，经常会将5.1或2.1信号中的左前和右前信号设置为同一信号，即S，以达到虚拟的中置声道的效果。此做法在使用扬声器系统播放音频信号中没有问题。但是在使用耳机进行虚拟3D声场重建的过程中将会遇到虚拟的中置声道失去空间感(即虚拟的距离感)的问题。当有同角度的幻象中置声道发生时，左右对应输入信号相同。假设输入信号的左右信号为左θ度，右θ度，则最终的耳机输出信号根据(3)，(4)式为：

其中，和为中置声道对应的左右耳HRTF对。

可见，现有技术中，最终的耳机输出的信号使虚拟的中置声道失去空间感。

发明内容

本发明的目的在于解决上述的技术问题而提供一种耳机三维声场重建的幻象中置声道的实现方法及系统。

为实现上述目的，本发明采用如下技术方案：

一种耳机三维声场重建的幻象中置声道的实现方法，包括以下步骤：

使左右声道的左右耳输入信号分别与对应的左右耳HRTF对进行一次卷积后输出；

采用对应的滤波器分别对一次卷积后输出的左右耳信号进行二次卷积处理，分别改变左右耳信号对应的左右耳HRTF对的相位，使得左右耳信号对应的左右耳HRTF对在分别被改变相位之后的线性加和结果与真实的中置声道的HRTF对相一致；

将由所述滤波器二次卷积处理后输出的左右耳信号进行对应线性叠加后输出至耳机。

本发明的目的还在于提供一种耳机三维声场重建的幻象中置声道的实现系统，包括以下单元：

一次卷积处理单元，用于使左右声道的左右耳输入信号分别与对应的左右耳HRTF对进行一次卷积后输出；

二次卷积处理单元，用于采用对应的滤波器分别对一次卷积后输出的左右耳信号进行二次卷积处理，分别改变左右耳信号对应的左右耳HRTF对的相位，使得左右耳信号对应的左右耳HRTF对在分别被改变相位之后的线性加和结果与真实的中置声道的HRTF对相一致；

线性叠加单元，用于将由所述滤波器二次卷积处理后输出的左右耳信号进行对应线性叠加后输出至耳机。

本发明方法以及系统通过采用对应的滤波器分别对一次卷积后输出的左右耳信号进行二次卷积处理，分别改变左右耳信号对应的左右耳HRTF对的相位，使得左右耳信号对应的左右耳HRTF对在分别被改变相位之后的线性加和结果与真实的中置声道的HRTF对相一致；再将由所述滤波器二次卷积处理后输出的左右耳信号进行对应线性叠加后输出至耳机，从而使得耳机三维声场重建的幻象中置声道与真实的中置声道相一致，从而解决了目前技术下耳机输出的信号使虚拟的中置声道失去空间感的问题。

附图说明

图1为现有技术下耳机三维声场重建的幻象中置声道信号处理方法的原理示意图；

图2为本发明实施例提供的耳机三维声场重建的幻象中置声道信号处理方法的原理示意图。

具体实施方式

下面，结合实例对本发明的实质性特点和优势作进一步的说明，但本发明并不局限于所列的实施例。

参见图2所示，一种耳机三维声场重建的幻象中置声道的实现方法，包括以下步骤：

使左右声道的左右耳输入信号分别与对应的左右耳HRTF对进行一次卷积后输出；

采用对应的滤波器分别对一次卷积后输出的左右耳信号进行二次卷积处理，分别改变左右耳信号对应的左右耳HRTF对的相位，使得左右耳信号对应的左右耳HRTF对在分别被改变相位之后的线性加和结果与真实的中置声道的HRTF对相一致；

将由所述滤波器二次卷积处理后输出的左右耳信号进行对应线性叠加后输出至耳机100。

一般地，若有用户左侧声源(O_L)，在经过与对应的左右耳HRTF对(HRTF_left_L,HRTF_left_R)进行一次卷积处理后形成的基于耳机的虚拟环绕声左右耳信号Out_L、Out_R分别为：

Out_L＝HRTF_left_L*O_L (7)

Out_R＝HRTF_left_R*O_L (8)

然而，在这种情况下，直接将该虚拟环绕声左右耳信号进行线性叠加后输出到耳机时，虚拟或幻象的中置声道会失去空间感，因此，本发明通过采用对应的滤波器分别对一次卷积后输出的左右耳信号进行二次卷积处理，分别改变左右耳信号对应的左右耳HRTF对的相位，使得左右耳信号对应的左右耳HRTF对在分别被改变相位之后的线性加和结果与真实的中置声道的HRTF对相一致。通过改变相位再加和效果如：输入1为-10，输入2为10，若直接加和为0；如果输入1改变180度相位，输入1为(-10)*(-1)＝10，则新加和为20。

其中，具体实现上，本发明中，所述滤波器采用全通滤波器。

下面以用户左、右侧扬声器的声道采用全通滤波器为例进行说明：

如设有四个全通滤波器L_L,L_R,R_L,R_R,分别对应左声道的左右耳信号、右声道的左右耳信号，四个全通滤波器L_L,L_R,R_L,R_R分别为N个，对应于N个声道，当然了相应的HRTF对也分别为N个，参见图2所示，并使得：

HRTF_center_L＝HRTF_left_L*L_L+HRTF_right_L*R_L (9)

HRTF_center_R＝HRTF_left_R*L_R+HRTF_right_R*R_R (10)

其中，HRTF_left_L表示用户左边声音信号的耳机左耳输出对应的头相关函数滤波器，HRTF_left_R表示用户左边声音信号的耳机右耳输出对应的头相关函数滤波器，HRTF_right_L表示用户右边声音信号的耳机左耳输出对应的头相关函数滤波器，HRTF_right_R表示用户右边声音信号的耳机右耳输出对应的头相关函数滤波器，HRTF_center_L表示用户前方正中声音信号的耳机左耳输出对应的头相关函数滤波器，HRTF_center_R表示用户前方正中声音信号的耳机右耳输出对应的头相关函数滤波器。

由于此全通滤波器将作用于各个对应的左右耳的HRTF滤波器，为了保证非幻象中置声道情况下的质量，即背景技术中所述的式(1)‐-(4)，四个滤波器L_L,L_R,R_L,R_R必须为四个全通滤波器，分别对左声道一次卷积后形成的左耳信号及右耳信号、右声道一次卷积形成的左耳信号及右耳信号进行处理，改变对应的一次卷积后左右耳信号的相位，使得左右耳信号对应的左右耳HRTF对在分别被改变相位之后的线性加和结果与真实的中置声道的HRTF对相一致，即满足式(9)、(10)的条件，如图2所示。

为了保证使得左右耳信号对应的左右耳HRTF对在分别被改变相位之后的线性加和结果与真实的中置声道的HRTF对相一致，在具体实现上，必须至少有一对HRTF对(对应于左、右耳)只能使用同一个全通滤波器，即L_L＝L_R＝L,R_L＝R_R＝R。即左声道一次卷积后形成的左耳信号及右耳信号的全通滤波器采用相同的滤波器L,右声道一次卷积后形成的左耳信号及右耳信号的全通滤波器采用相同的滤波器R。

故式(9)、(10)可以简化为：

HRTF_center_L＝HRTF_left_L*L+HRTF_right_L*R (11)

HRTF_center_R＝HRTF_left_R*L+HRTF_right_R*R (12)

本发明中，所述全通滤波器L、R为多对，每一对全通滤波器L、R分别对应于一个左声道左右耳信号与一个右声道左右耳信号，该全通滤波器L、R由于是分别对应于一个左声道左右耳信号与一个右声道左右耳信号，因此可以采用如下对应左右耳HRTF对计算全通滤波器L、R的方法求解。

若假设完全对称的HRTF模型，HRTF_center_L＝HRTF_center_R,HRTF_left_L＝

HRTF_right_R,HRTF_right_L*R＝HRTF_left_R。

式(11)、(12)可以简化为

HRTF_center_L＝HRTF_left_L*L+HRTF_left_R*R (13)

在傅里叶变换之后的频域对于每一个频点上，

HRTF_center_L＝HC_re+HC_im·j (14)

HRTF_left_L＝HL_re+HL_im·j (15)

HRTF_left_R＝HR_re+HR_im·j (16)

其中，’_re’代表实部，’_im’代表虚部,‘j’为虚数单位，HC_re为HRTF-center缩写的实部,HC_im是HRTF-center缩写的虚部，HL_re是HRTF-left缩写的实部，HR_re是HRTF-right缩写的实部,以下同。式(13)带入式(14)‐(16)变为：

HC_re＝HL_re·L_re-HL_im·L_im+HR_re·R_re-HR_im·R_im (17)

HC_im＝HL_re·L_im+HL_im·L_re+HR_re·R_im+HR_im·R_re (18)

由于L＝L_re+L_im·j,R＝R_re+R_im·j,且L，R为全通滤波器，

(L_re)²+(L_im)²＝1 (19)

(R_re)²+(R_im)²＝1 (20)

故使用(12)‐(15)联立，每一对全通滤波器L，R的实部和虚部可解，从而可求解该全通滤波器L，R。

本发明中，对应左右声道的左右耳信号的所述全通滤波器L_L,L_R,R_L,R_R也可以是采用同一滤波器，即全通滤波器L_L,L_R,R_L,R_R采用同一个全通滤波器AP，在这个情况下，即是使上面情况下的全通滤波器L＝R。其优点在于原始的左右耳HRTF滤波器对在每个方向上的使用的全通滤波器完全相同，从而可绝对避免任何对式(1)‐(4)已有结果的改变。主要的问题是会对(3)、(4)式，即总体加和之后的结果产生影响，不足之处在于无法保证完全满足式(9)、(10)的条件，只能保证在满足所有限制条件的情况下误差最小。此时可通过全局优化的方式来计算所述的全通滤波器AP，方法如下：

HRTF_center_L＝HRTF_left_L*AP+HRTF_right_L*AP (21)

HRTF_center_R＝HRTF_left_R*AP+HRTF_right_R*AP (22)

故类似(17)‐(20)，有

${\mathrm{HC}}_{re}^L={\mathrm{HL}}_{re}^L\·{\mathrm{AP}}_{re}-{\mathrm{HL}}_{im}^L\·{\mathrm{AP}}_{im}+{\mathrm{HR}}_{re}^L\·{\mathrm{AP}}_{re}-{\mathrm{HR}}_{im}^L\·{\mathrm{AP}}_{im}---\left(23\right)$

${\mathrm{HC}}_{im}^L={\mathrm{HL}}_{re}^L\·{\mathrm{AP}}_{im}+{\mathrm{HL}}_{im}^L\·{\mathrm{AP}}_{re}+{\mathrm{HR}}_{re}^L\·{\mathrm{AP}}_{im}+{\mathrm{HR}}_{im}^L\·{\mathrm{AP}}_{re}---\left(24\right)$

${\mathrm{HC}}_{re}^R={\mathrm{HL}}_{re}^R\·{\mathrm{AP}}_{re}-{\mathrm{HL}}_{im}^R\·{\mathrm{AP}}_{im}+{\mathrm{HR}}_{re}^R\·{\mathrm{AP}}_{re}-{\mathrm{HR}}_{im}^R\·{\mathrm{AP}}_{im}---\left(25\right)$

${\mathrm{HC}}_{im}^R={\mathrm{HL}}_{re}^R\·{\mathrm{AP}}_{im}+{\mathrm{HL}}_{im}^R\·{\mathrm{AP}}_{re}+{\mathrm{HR}}_{re}^R\·{\mathrm{AP}}_{im}+{\mathrm{HR}}_{im}^R\·{\mathrm{AP}}_{re}---\left(26\right)$

(AP_re)²+(AP_im)²＝1 (27)

AP_re和AP_im可由优化算法求得：

使用全通滤波器AP之后式(9)、(10)存在的误差e_L，e_R为：

e_L＝abs(HRTF_center_L-HRTF_left_L·AP-HRTF_right_L·AP) (28)

e_R＝abs(HRTF_center_R-HRTF_left_R·AP-HRTF_right_R·AP) (29)

故，优化算法为通过遍历AP_re和AP_im，极度降低误差ｅ_L，e_R总和

e_L+e_R (30)

同时保证

(AP_re)²+(AP_im)²＝1 (31)；

这样即可通过全局优化来求得所需要的全通滤波器AP。

本发明的目的还在于提供一种耳机三维声场重建的幻象中置声道的实现系统，包括以下单元：

一次卷积处理单元，用于使左右声道的左右耳输入信号分别与对应的左右耳HRTF对进行一次卷积后输出；

二次卷积处理单元，用于采用对应的滤波器分别对一次卷积后输出的左右耳信号进行二次卷积处理，分别改变左右耳信号对应的左右耳HRTF对的相位，使得左右耳信号对应的左右耳HRTF对在分别被改变相位之后的线性加和结果与真实的中置声道的HRTF对相一致；

线性叠加单元，用于将由所述滤波器二次卷积处理后输出的左右耳信号进行对应线性叠加后输出至耳机。

其中，具体实现上，本发明中，所述滤波器采用全通滤波器。

所述全通滤波器中，作用于右声道与左声道的左右耳信号的全通滤波器为相同的全通滤波器。

所述全通滤波器中，也可以是作用于右声道的左右耳信号的全通滤波器相同,作用于左声道的左右耳信号的全通滤波器相同。

关于耳机三维声场重建的幻象中置声道的实现系统的具体实现方法与过程，请参阅上述的耳机三维声场重建的幻象中置声道的实现方法的详细说明，在此不再进行说明。

可以看出，本发明方法以及系统通过采用对应的滤波器分别对一次卷积后输出的左右耳信号进行二次卷积处理，分别改变左右耳信号对应的左右耳HRTF对的相位，使得左右耳信号对应的左右耳HRTF对在分别被改变相位之后的线性加和结果与真实的中置声道的HRTF对相一致；再将由所述滤波器二次卷积处理后输出的左右耳信号进行对应线性叠加后输出至耳机，从而使得耳机三维声场重建的幻象中置声道与真实的中置声道相一致，从而解决了目前技术下耳机输出的信号使虚拟的中置声道失去空间感的问题。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种耳机三维声场重建的幻象中置声道的实现方法，其特征在于，包括以下步骤：

使左右声道的左右耳输入信号分别与对应的左右耳HRTF对进行一次卷积后输出；

采用对应的滤波器分别对一次卷积后输出的左右耳信号进行二次卷积处理，分别改变左右耳信号对应的左右耳HRTF对的相位，使得左右耳信号对应的左右耳HRTF对在分别被改变相位之后的线性加和结果与真实的中置声道的HRTF对相一致；

将由所述滤波器二次卷积处理后输出的左右耳信号进行对应线性叠加后输出至耳机。

2.根据权利要求1所述耳机三维声场重建的幻象中置声道的实现方法，其特征在于，所述滤波器采用全通滤波器。

3.根据权利要求2所述耳机三维声场重建的幻象中置声道的实现方法，其特征在于，所述全通滤波器中，作用于右声道与左声道的左右耳信号的全通滤波器为相同的全通滤波器。

4.根据权利要求2所述耳机三维声场重建的幻象中置声道的实现方法，其特征在于，所述全通滤波器中，作用于右声道的左右耳信号的全通滤波器相同,作用于左声道的左右耳信号的全通滤波器相同。

5.一种耳机三维声场重建的幻象中置声道的实现系统，其特征在于，包括以下单元：

一次卷积处理单元，用于使左右声道的左右耳输入信号分别与对应的左右耳HRTF对进行一次卷积后输出；

二次卷积处理单元，用于采用对应的滤波器分别对一次卷积后输出的左右耳信号进行二次卷积处理，分别改变左右耳信号对应的左右耳HRTF对的相位，使得左右耳信号对应的左右耳HRTF对在分别被改变相位之后的线性加和结果与真实的中置声道的HRTF对相一致；

线性叠加单元，用于将由所述滤波器二次卷积处理后输出的左右耳信号进行对应线性叠加后输出至耳机。

6.根据权利要求5所述耳机三维声场重建的幻象中置声道的实现系统，其特征在于，所述滤波器采用全通滤波器。

7.根据权利要求6所述耳机三维声场重建的幻象中置声道的实现系统，其特征在于，所述全通滤波器中，作用于右声道与左声道的左右耳信号的全通滤波器为相同的全通滤波器。

8.根据权利要求6所述耳机三维声场重建的幻象中置声道的实现系统，其特征在于，所述全通滤波器中，作用于右声道的左右耳信号的全通滤波器相同,作用于左声道的左右耳信号的全通滤波器相同。