CN100539741C - 增强三维音效的音频处理方法 - Google Patents

Abstract

本发明公开了一种增强三维音效的音频处理方法，通过对双声输入先进行频率时间范围内基于主成分的两级增强处理，再进行空间范围内基于双声合成的多级增强处理，将单声或立体声信号增强3D音场后，产生更具沉浸感及空间感的立体声发出，使收听者通过耳机或者两个喇叭感受到更具沉浸感和空间感的增强音场，产生身临其境的感觉。本发明可用于任何具有耳机或两个喇叭的声音播放系统。

Description

增强三维音效的音频处理方法

技术领域

本发明涉及一种音频处理方法，尤其是涉及增强三维音效的音频处理方法。

背景技术

目前有许多可行的方法可以产生三维音效(3D)增强的效果。3D增强音效通常利用双耳合成技术以及相关的数字信号处理方法实现，双耳合成技术运用在3D增强音效中就是利用听众对其三维空间周围不同的方位而产生的不同的头部对应传输功能(HRTF)进行双向过滤处理的过程，通过耳机或喇叭在各个方向营造声像，使人感觉到的声音的发出点超过实际喇叭的发音点。在接喇叭的情况下，消除串音非常必要，因为串音是由于从左耳进入的信号在传到右耳或从右耳进入的信号传到左耳的过程中时发生泄漏而产生的，这种串音会破坏正确的方位信息。除现存的方法外，非常需要开发一种新技术，以能够为经过双向或单向编码的信号提供更好的3D增强音效，而不含任何双耳串音信息。

发明内容

本发明的目的在于提供一种增强三维音效的音频处理方法，能够消除任何双耳串音信息，使收听者通过耳机或者两个喇叭感受到更具沉浸感和空间感的增强音场，产生身临其境的感觉。

上述目的可通过以下的技术措施来实现：一种增强三维音效的音频处理方法，通过对双声输入先进行频率时间范围内基于主成分的增强处理，再进行空间范围内基于双声合成的增强处理。

所述频率时间范围内基于主成分的增强处理分两级，其中第一级的具体过程为：左右两个声道信号平均，平均后的信号S经过滤器F1获得一次过滤的信号；接着，该过滤后的信号经过绝对值运算处理后再通过另一个过滤器F2，得到二次过滤的信号；一次过滤的信号乘以增益系数后与原左声道输入信号进行加权和，二次过滤的信号乘以增益系数后与上述左声道加权和所得信号再次进行加权和，获得本级输出的左声道输出信号L1；一次过滤的信号乘以增益系数后与原右声道输入信号进行加权和，二次过滤的信号乘以增益系数后与上述右声道加权和所得信号再次进行加权和，获得本级输出的右声道输出信号R1；

其中第二级的具体过程为：原左右两个声道输入平均后的信号经过滤器F3进行过滤，过滤信号乘以增益系数后与第一级中输出的左声道输出信号进行加权和，获得第二级输出的左声道输出信号L2；该信号与第一级中输出的右声道输出信号进行加权和，获得第二级输出的右声道输出信号R2。

所述空间范围内基于双声合成的增强处理至少需要一级，级数可根据设定分布在不同的方位的声源像个数确定，多设定一个不同的方位声源像数，就需要增多一级双声合成的增强处理，每一级的处理过程相同；其中第一级双声合成的增强处理具体过程为：

上述左声道输出信号L2经过滤器F4获得过滤的信号，上述右声道输出信号R2先经过延时处理后再经过滤器F5获得过滤的信号，所得的两个过滤信号进行加权和获得信号T4；该信号T4乘以增益系数后与左声道输出信号L2进行加权和，获得该级双声合成的增强处理输出的左声道输出信号L3；

同时上述右声道输出信号R2经过滤器F4获得过滤的信号，上述左声道输出信号L2先经过延时处理后再经过滤器F5获得过滤的信号，所得的两个过滤信号进行加权和获得信号T5；该信号T5乘以增益系数后与右声道输出信号R2进行加权和，获得该级双声合成的增强处理输出的右声道输出信号R3。

所述双声合成的增强处理的各级之间为连续的处理模式或平行的处理模式或连续平行混合的处理模式。

所述双声合成的增强处理的过程为两级，第一级和第二级为两个连续的处理模式，其连续的处理模式的过程为下一级的滤波双耳合成输入来自上一级的输出。

所述双声合成的增强处理的过程为两级，第一级和第二级为两个并行的处理模式，下一级和上一级的滤波双耳合成输入都来自第二级频率时间范围内增强处理的输出。

所述在频率时间范围内增强处理过程中三个过滤器的频率反应依据频谱的特性和被平均的信号由于非线性运算而产生的三阶指令数据。

所述双声合成增强处理的过程中两个过滤器的频率反应依据事先确定放置声像地点方位的两侧水平差距(ILD)和两侧声音时间迟延差别(ITD)。

所述双声合成增强处理的过程中单位延迟处理时间值由在事先确定放置声像的地点方位，声音从一只耳朵传到另一只耳朵而产生的时间差而确定。

所述在双声合成的增强处理后增加一级音量调节控制处理，以平稳地控制音频信号输出及把由于增强效果而产生地听觉方面的人为噪音降低到最小。

本发明第一、二级频率时间范围内基于主成分分析的增强过程以及第三、四级空间范围内基于双声合成的增强过程后，有多个虚拟声源位于三维空间的不同地方，使双声道或单声道输出将产生预期的音频效果，增强的音场更具沉浸感和空间感。

附图说明

图1为本发明的具体实施例的原理框图；

图2为图1中第一级频率时间范围内增强处理的流程示意图；

图3为图1中第二级频率时间范围内增强处理的流程示意图；

图4为图1中第三级空间范围内双声合成增强处理的流程示意图；

图5为图1中第四级空间范围内双声合成增强处理的连续模式流程示意图；

图6为图1中第四级空间范围内双声合成增强处理的并行处理模式流程示意图。

具体实施方式

如图1所示，本实施例分四级增强处理，其第一、二级为频率时间范围内基于主成分分析的增强过程，第三、四级为空间范围内基于双声合成的增强过程，下面具体讨论各级的增强处理过程，简单起见，设定输入的信号为左右声道立体声输入而播放系统采用耳机。

如图2所示，其中第一级频率时间范围内的增强处理具体过程为：左右两个声道信号L0、R0平均，平均后的信号S经过滤器F1获得一次过滤的信号；接着，该过滤后的信号经过绝对值运算处理后再通过另一个过滤器F2，得到二次过滤的信号；一次过滤的信号乘以增益系数G1后与原左声道输入信号L0进行加权和，二次过滤的信号乘以增益系数G2后与上述左声道加权和所得信号TI再次进行加权和，获得本级输出的左声道输出信号L1；一次过滤的信号乘以增益系数G1后与原右声道输入信号R0进行加权和，二次过滤的信号乘以增益系数G2后与上述右声道加权和所得信号T2再次进行加权和，获得本级输出的右声道输出信号R1；

如图3所示，第二级频率时间范围内的增强处理具体过程为：原左右两个声道信号L0、R0输入平均后的信号S经过滤器F3进行过滤，过滤信号乘以增益系数G3后与第一级中输出的左声道输出信号L1进行加权和，获得第二级输出的左声道输出信号L2；该信号与第一级中输出的右声道输出信号R1进行加权和，获得第二级输出的右声道输出信号R2。

上述增益系数G1、G2和G3的值都应该为正，且小于1。

上述三个过滤器F1、F2和F3的目是为了增强输入音频中的主成分，这三个过滤器的频率反应频谱的特性和被平均的信号S由于非线性运算(如第一阶段的绝对值运算)而产生的三阶指令数据，如此，不同频率的成分通过不同过滤频率反应进行处理。这两个阶段的增强主要发生在时间频率范围内。

如图4所示，接着在第三级空间范围内基于双声合成的增强处理具体过程为：上述左声道输出信号L2经过滤器F4获得过滤的信号，上述右声道输出信号R2先经过延时处理D1后再经过滤器F5获得过滤的信号，所得的两个过滤信号进行加权和获得信号T4；该信号T4乘以增益系数G4后与左声道输出信号L2进行加权和，获得该级双声合成的增强处理输出的左声道输出信号L3；同时上述右声道输出信号R2经过滤器F4获得过滤的信号，上述左声道输出信号L2先经过延时D1处理后再经过滤器F5获得过滤的信号，所得的两个过滤信号进行加权和获得信号T5；该信号T5乘以增益系数G4后与右声道输出信号R2进行加权和，获得该级双声合成的增强处理输出的右声道输出信号R3。

这一级中利用过滤器F4和F5进行双耳合成，这两个过滤器的频率反应依据事先确定放置声像地点方位S1的两侧水平差距(ILD)和两侧声音时间迟延差别(ITD)。假设收听者的正上方是0度，其左边方位的值为负，角度为—180°到0°；其右边的方位的值为正，角度为0°到180°。同时，单位延迟处理时间值D1由在事先确定放置声像的地点方位S1，声音从一只耳朵传到另一只耳朵而产生的时间差而确定。这一级里，输入的左右声道信号L2、R2处理后，左右耳分别产生相对应的双声输出L3和R3。换言之，经过这样处理后，收听者可以感觉到声音来自S1、-S1或者头部以外的地方。并且，这个位可以通过调节过滤器F4和F5的频率反应来控制。并且双耳合成信号T4和T5被增益系数G4(增益系数G4为正且小于1)修改后，再分别增加到相应的输入信号L2和R2上而得到相对应的双声输出L3和R3时，才是完全实现了3D增强的效果。这样的结合使收听者感受到增强的3D音场，在一定程度上更具沉浸感和空间感。

上述空间范围内基于双声合成的增强处理可以是多级，级数可根据设定分布在不同的方位的声源像个数确定，多设定一个不同的方位声源像数，就需要增多一级双声合成的增强处理，每一级的处理过程相同。

本实施例双声合成的增强处理的过程为两级，这二级为两个连续的处理模式，下一级的滤波双耳合成输入来自上一级的输出。如图5所示，第四级空间范围内基于双声合成的增强处理具体过程与图4中所示的第三级相同，该级可更进一步增强3D音频效果。同图4中所示的第三级一样，这一级也有两个不同的过滤器F6和F7分别用于产生新的双声道输出T6和T7。决定F6和F7的频率反应的方法和决定过滤器F4和F5一样。这两极的区别仅在于在后一级声源像将分布在不同的方位S_2和-S_2。同样，同时，单位延迟处理时间值D2由在事先确定放置声像的地点方位S2，声音从一只耳朵传到另一只耳朵而产生的时间差而确定。在这一级中，两个双声道处理的输入信号分别是L3和R3，这与图4中所示的第一级的两个输入信号L2和R2有所不同。换言之，通过新合成的双耳合成信号T6和T7，听者不仅可以感觉到声音位于S2和—S2，而且音场被分别扩展到S1和—S1的位置。双耳合成信号T6和T7被增益系数G5(增益系数G5为正且小于1)修改后，再分别增加到相应的输入信号L3和R3上而得到相对应的双声输出L4和R4时，这样一共有六个声源位于三维空间的不同地方，以形成最终完整的系统输出。这六个声源中有四个是虚拟的，分别位于S_1、-S_1、S_2和-S_2，另外两个声源是频率时间范围增强的立体声信号。

如图6所示，另外第三级和第四级之间也可为两个并行的处理模式，具体处理过程与图5所示的一样，不同在于下一级和上一级的滤波双耳合成输入都来自第二级频率时间范围内增强处理的输出。并行的处理模式时，在这一级中，两个双声道处理的输入信号与图4中所示的第三级的两个输入信号一样都为第二级频率时间范围内增强处理的输出L2和R2。双耳合成信号T6和T7被增益系数G5(增益系数G5为正且小于1)修改后，再分别增加到相应的输入信号L3和R3上而得到同样效果的系统输出。

在经上述二级双声合成的增强处理后还可增加更多的增强级，增加的级数与以处理上述级中输出的原理一样，在增加的各级之间可以是连续的处理模式或平行的处理模式或连续平行混合的处理模式。额外增加级的情况下，不同的定位，如S_3，S_4，被增加到最终的系统输出中，音场被进一步扩展，而音场进一步扩展的代价就是方法变得更复杂。

在最后增强级输出中还可增加一级音量调节控制处理，以平稳地控制音频信号输出以及把由于增强效果而产生地听觉方面的人为噪音降低到最小，尤其是本发明方法运用在数字领域的时候。

当在单声道信号输入时，上述实施例中的第一、二级的平均信号s变成单声道输入，即平均信号s＝左声道输入信号L0＝右声道输入信号R0。这种情况下出现如下等式：第一级左声道输出信号L1＝第一级右声道输出信号R1，第二级左声道输出信号L2＝第二级右声道输出信号R2，进一步说，第三级通过如下运算产生立体声输出：

L3＝L2+G4＊F4(L2)

R3＝R2+G4＊F5(D1(R2))

这里的过滤器F4、F5和D1根据具体的定位S1确定。同样的第四级也产生立体声输出：

L4＝L3+G5＊F6(L3)

R4＝R3+G5＊F7(D2(R3))

这里的过滤器F6、F7和D2根据具体的定位S2确定，把音场进一步扩展到S2位置。在单声道的情况下，主要因为L2＝R2，所以并没有对于-S1和-S2的定位进行处理。另一个处理单声道输入的方法是首先采用I-Q直角方法产生新的左右声道立体声输出，然后按照上述实施例中立体声输入情况相同的方法处理(如图1—5所示)。

当播放系统为两个喇叭，第三、四级消除串音很必要，这两级消除串音的过滤器的频率反应可以根据过滤器F4、F5、F6、F7、D1和D2事先确定。由于串音会破坏双声选听，且串音的取消并不能避免双声选听时所有损失，因此，使用喇叭情况下的3D增强效果没有使用耳机时的效果显著。并且，听者应该保持距离两个喇叭1米的距离。

本发明方法可以支持任何采样率，包括96kHz、48kHz、44.1KHz和32kHz、16kHz和8kHz。采样率不同，所有涉及到的过滤器的频率反应将有所不同。但是，采样率相对较低的情况下，由于空间及频率分辨率的减小，削弱了3D的增强效果。

本发明中所涉及的过滤器可以是IIR过滤器也可以是FIR过滤器。IIR过滤器的开关和FIR过滤器的次序处于平衡状态(性能、速度及复杂性适中)。为简化本发明方法的实施，二级指令的多IIR过滤器可以串联起来以替代长开关FIR过滤器或高次序IIR过滤器

本发明方法可以支持任何已有的单声道及立体声音频信号，如MP3、WMA、MIDI、数字TV、数字广播及网络音频等。本方法适用于任何软硬件，也可以内置于相关的音频播放器中。

Claims (8)

1、一种增强三维音效的音频处理方法，其特征在于通过对左右双声输入音频先进行在频率时间范围内基于主成分的增强处理，再进行在空间范围内基于双声合成的增强处理；

所述频率时间范围内基于主成分的增强处理分两级，其中第一级的具体过程为：左右两个声道信号平均，平均后的信号S经过滤器F1获得一次过滤的信号；接着，该过滤后的信号经过绝对值运算处理后再通过另一个过滤器F2，得到二次过滤的信号；一次过滤的信号乘以增益系数后与原左声道输入信号进行加权和，二次过滤的信号乘以增益系数后与上述左声道加权和所得信号再次进行加权和，获得本级输出的左声道输出信号L1；一次过滤的信号乘以增益系数后与原右声道输入信号进行加权和，二次过滤的信号乘以增益系数后与上述右声道加权和所得信号再次进行加权和，获得本级输出的右声道输出信号R1；

其中第二级的具体过程为：原左右两个声道输入平均后的信号经过滤器F3进行过滤，过滤信号乘以增益系数后与第一级中输出的左声道输出信号进行加权和，获得第二级输出的左声道输出信号L2；该信号与第一级中输出的右声道输出信号进行加权和，获得第二级输出的右声道输出信号R2；

所述空间范围内基于双声合成的增强处理至少需要一级，级数可根据设定分布在不同的方位的声源像个数确定，多设定一个不同的方位声源像数，就需要增多一级双声合成的增强处理，每一级的处理过程相同；其中第一级双声合成的增强处理具体过程为：

上述左声道输出信号L2经过滤器F4获得过滤的信号，上述右声道输出信号R2先经过延时处理后再经过滤器F5获得过滤的信号，所得的两个过滤信号进行加权和获得信号T4；该信号T4乘以增益系数后与左声道输出信号L2进行加权和，获得该级双声合成的增强处理输出的左声道输出信号L3；

同时上述右声道输出信号R2经过滤器F4获得过滤的信号，上述左声道输出信号L2先经过延时处理后再经过滤器F5获得过滤的信号，所得的两个过滤信号进行加权和获得信号T5；该信号T5乘以增益系数后与右声道输出信号R2进行加权和，获得该级双声合成的增强处理输出的右声道输出信号R3。

2、根据权利要求1所述的增强三维音效的音频处理方法，其特征在于双声合成的增强处理的各级之间为连续的处理模式或平行的处理模式或连续平行混合的处理模式。

3、根据权利要求1所述的增强三维音效的音频处理方法，其特征在于双声合成的增强处理的过程为两级，第一级和第二级为两个连续的处理模式，其连续的处理模式的过程为下一级的滤波双耳合成输入来自上一级的输出。

4、根据权利要求1所述的增强三维音效的音频处理方法，其特征在于双声合成的增强处理的过程为两级，第一级和第二级为两个并行的处理模式，下一级和上一级的滤波双耳合成输入都来自第二级频率时间范围内增强处理的输出。

5、根据权利要求1所述的增强三维音效的音频处理方法，其特征在于频率时间范围内增强处理过程中三个过滤器的频率反应依据频谱的特性和被中和的信号由于非线性运算而产生的三阶指令数据。

6、根据权利要求1所述的增强三维音效的音频处理方法，其特征在于双声合成增强处理的过程中两个过滤器的频率反应依据事先确定放置声像地点方位的两侧水平差距(ILD)和两侧声音时间迟延差别(ITD)。

7、根据权利要求1所述的增强三维音效的音频处理方法，其特征在于双声合成增强处理的过程中单位延迟处理时间值由在事先确定放置声像的地点方位，声音从一只耳朵传到另一只耳朵而产生的时间差而确定。

8、根据权利要求1所述的增强三维音效的音频处理方法，其特征在于在双声合成的增强处理后增加一级音量调节控制处理。

Images