CN102986254A - 音频信号产生装置 - Google Patents

Abstract

本发明涉及一种用于从包含第一音频通道信号和第二音频通道信号的多通道音频信号生成混音音频信号的音频信号产生装置。该音频信号产生装置包括一个处理器(103)，用于使用第一相移系数来修改第一音频通道信号的相位，和/或使用第二相移系数来修改第二音频通道信号的相位，使得合成修改后的第一音频通道信号和第二音频通道信号时减少信号消除；和一个合成单元(109)，用于合成修改后的第一音频通道信号和第二音频通道信号以获得混音音频信号。

Description

音频信号产生装置

技术领域

本发明涉及通过通信网络进行的移动通信。

背景技术

为了编码多通道音频信号，可以应用下列参考资料中所介绍的参数立体声音频编码或多通道音频编码：C.Faller和F.Baumgarte合著的《Efficientrepresentation of spatial audio using perceptual parametrization》，于2001年10月发表在《Proc.IEEE Workshop on Appl.of Sig.Proc.to Audioand Acoust.》中，第199-202页；C.Faller和F.Baumgarte合著的《BinauralCue Coding：A novel and efficient representation of spatial audio》，于2002年5月发表在《Proc.ICASSP》中，第2卷第1841-1844页；E.Schuijers、W.Oomen、B.den Brinker和J.Breebaart合著的《Advances in parametriccoding for high-quality audio》，于2003年3月发表在《Preprint 114th Conv.Aud.Eng.Soc.》中；F.Baumgarte和C.Faller合著的《Binaural Cue Coding-Part I：Psychoacoustic fundamentals and design principles》，于2003年11月发表在《IEEE Trans.on Speech and Audio Proc.》中，第11卷第6期第509-519页；C.Faller和F.Baumgarte合著的《Binaural Cue Coding-Part II：Schemes and applications》，于2003年11月发表在《IEEE Trans.on Speech and Audio Proc.》中，第11卷第6期第520-531页。传统的参数立体声音频编码方法或多通道音频编码方法采用下混来生成混音音频信号，这种音频信号的通道要少于原始多通道音频信号的通道。混音音频信号包含的通道信号可以是波形编码形式的，而涉及原始信号通道关系的边信息可以添加到已编码通道音频。解码器可以使用这些边信息根据已解码的波形编码音频通道信号重新生成原始数量的音频通道信号。

如果音频通道信号是独立的，可以通过对输入的多个音频通道信号求和来生成混音音频信号。但是，如果音频通道信号不是独立的(这种情况对于立体声和多通道音频信号很常见)，则上述求和操作可能会导致声音的音调发生变化，因为通道信号间的统计数据会随时间而变化。要缓解这个问题，其中一个解决方法是采用幅度均衡法，如A.Baumgarte、C.Faller和P.Kroon合著的论文《Audio coder enhancement using scalable binaural cue coding withequalized mixing》中所述(于2004年5月发表在《Preprint 116th Conv.Aud.Eng.Soc.》中)。

但是，如果原始音频通道信号之间存在时延，则幅度均衡法并不一定足以纠正消除信号(在为生成混音信号添加异相信号时进行消除)带来的不良效应。当由录音师进行了混音的音乐使用通道间时延、倒相间时延或间隔麦克风之间的时延来进行录音时，就会出现这个问题。在将参数立体声或多通道音频编码用于语音应用(例如，电话或IP语音)的情况下，如果在电话会议上使用多个麦克风来获取语音，则可能会出现上述问题。

发明内容

本发明的一个目的是提供一个能够更高效地从多个音频通道信号生成混音信号的概念。

本发明基于这样一个研究结果：在对表现为输入音频通道信号的音频通道信号求和之前使用时自适应相位校准可以更高效地生成混音音频信号。在组合生成的音频通道信号以获得混音信号时，进行相位校准可以减少信号消除，而且可以逐帧地和/或根据一个求平均值过程(对于多个帧)进行相位校准。另外，除了求平均值过程，还可以采用幅度均衡法。

根据第一方面，本发明涉及一种音频信号产生装置，该音频信号产生装置用于从包括第一音频通道信号和第二音频通道信号的多通道音频信号生成混音音频信号，它包括一个处理器和一个合成单元，该处理器使用第一相移系数来修改第一音频通道信号的相位，和/或使用第二相移系数来修改第二音频通道信号的相位，使得合成修改后的第一音频通道信号和第二音频通道信号时减少信号消除；该合成单元用于合成修改后的第一音频通道信号和第二音频通道信号以获得混音音频信号。

根据第一方面的一种实施形式，该处理器可用于修改第一音频通道信号的相位和/或第二音频通道信号的相位，以匹配参考信号的相位。参考信号可以是预定的参考信号，也可以是从第一音频信号和第二音频信号生成的信号。

根据第一方面的一种实施形式，该处理器可用于确定第一音频通道信号与第二音频通道信号之乘积的平均值，以获得第一相移因子和/或第二相移因子。可以根据求平均值过程通过对这些乘积(例如，针对多个帧)进行求和来确定该平均值。

根据第一方面的一种实施形式，该处理器可用于将第一相移系数或第二相移系数设为1。因此，可以只修改一个音频通道信号的相位。

根据第一方面的一种实施形式，第一相移系数是第二相移系数的复共轭形式。要获得第一相移系数或第二相移系数的复共轭形式，可以转换其虚数部分的符号。

根据第一方面的一种实施形式，该处理器可用于根据以下公式确定第一相移系数P₁(k，i)和第二相移系数P₂(k，i)，其中，k表示时间指数，i表示频率指数：

P₁(k，i)＝1

$P_2(k,i)=\frac{E\left\{X_1(k,i)X_2^{*}(k,i)\right\}}{\left|E\right\{X_1(k,i)X_2^{*}(k,i)\left\}\right|}$

其中，X₁(k，i)和X₂(k，i)分别表示第一音频通道信号和第二音频通道信号，E{.}表示求平均值运算。

根据第一方面的一种实施形式，该处理器可用于根据以下公式确定第一相移系数P₁(k，i)和第二相移系数P₂(k，i)，其中，k表示时间指数，i表示频率指数：

P₁(k，i)＝P(k，i)^*

P₂(k，i)＝P(k，i)

$P(k,i)=\sqrt{\frac{E\left\{X_1(k,i)X_2^{*}(k,i)\right\}}{E\left\{\right|X_1(k,i)X_2^{*}(k,i)\left|\right\}}}$

其中，X₁(k，i)和X₂(k，i)分别表示第一音频通道信号和第二音频通道信号，E{.}表示求平均值运算。

根据第一方面的一种实施形式，该处理器可用于根据以下公式确定第一相移系数P₁(k，i)和第二相移系数P₂(k，i)，其中，k表示时间指数，i表示频率指数：

$P_1(k,i)=\frac{E\left\{S(k,i)X_1^{*}(k,i)\right\}}{\left|E\right\{S(k,i)X_1^{*}(k,i)\left\}\right|}$

$P_2(k,i)=\frac{E\left\{S(k,i)X_2^{*}(k,i)\right\}}{\left|E\right\{S(k,i)X_2^{*}(k,i)\left\}\right|}$

S(k，i)＝X₁(k，i)+X₂(k，i)

或

$S(k,i)=\sqrt{{\left|X_1(k,i)\right|}^2+{\left|X_2(k,i)\right|}^2}{e}^{\mathrm{j\α}(i,k)}$

其中，

$\mathrm{\α}(i,k)=\frac{\left|X_1(k,i)\right|\∠X_1(k,i)+\left|X_2(k,i)\right|\∠X_2(k,i)}{{\left|X_1(k,i)\right|}^2+{\left|X_2(k,i)\right|}^2}$

其中，X₁(k，i)和X₂(k，i)分别表示第一音频通道信号和第二音频通道信号，E{.}表示求平均值运算。

根据第一方面的一种实施形式，该处理器可用于通过功率因数对混音信号进行加权，例如，该功率因数依赖于第一音频通道信号和第二音频通道信号的功率之和。因此，功率因数会增强或减弱混音信号，以便对照第一音频通道信号和第二音频通道信号调整其功率。

根据第一方面的一种实施形式，该合成单元可用于叠加第一辅助信号和第二辅助信号来获得混音信号。为了叠加这两个辅助信号，可以将该合成单元配置为能够对这两个辅助信号进行汇总。

根据第一方面的一种实施形式，该处理器可用于将第一音频通道信号乘以第一相移系数，或者将第二音频通道信号乘以第二相移系数，以便进行相位修改。这种处理装置可以包括至少一个乘法器，用来乘以相应的音频通道信号。

根据第一方面的一种实施形式，该音频信号产生装置还包括一个转换器，该转换器用于将第一时域信号转换为频域信号以获得第一音频通道信号，以及将第二时域信号转换为频域信号以获得第二音频通道信号。该转换器可以是傅里叶转换器。

根据第一方面的一种实施形式，混音音频信号是频域信号，其中所述音频信号产生装置还包括一个转换器，该转换器用于将混音音频信号转换为时域信号。该转换器可以是傅里叶逆转换器。

另外，第一方面的每一种实施形式都可以与它的任何其它实施形式结合起来，以形成本发明第一方面的新的实施形式。

根据第二方面，本发明涉及一种方法，该方法用于从包括第一音频通道信号和第二音频通道信号的多通道音频信号生成混音音频信号，该方法包括以下步骤：使用第一相移系数来修改第一音频通道信号的相位；和/或使用第二相移系数来修改第二音频通道信号的相位，以便在结合生成的第一音频通道信号和第二音频通道信号时减少信号消除；以及合成所生成的第一音频通道信号和第二音频通道信号以获得混音音频信号。

根据第二方面的一些实施形式或根据其它方面，提供了一种用于从多个输入音频通道信号生成混音信号的方法。该方法可以包括以下步骤：接收多个输入音频通道信号；将接收到的输入音频通道信号转换为多个子带；估计这些输入音频通道信号与参考音频通道信号之间的相位差；修改至少一个输入音频通道信号子带的相位，以使其匹配相应的参考音频通道信号子带的相位；得出修改后的输入音频通道信号子带之和，以生成混音信号子带；以及将混音信号子带转换为时域信号，以生成混音输出信号。

根据第三方面，本发明涉及一种计算机程序，当在计算机上运行时，该程序用于执行生成混音音频信号的方法。

附图说明

将会结合下面各个图说明本发明的更多实施例，其中：

图1显示了一个音频信号产生装置的方框图；而

图2显示了一种用于生成混音信号的方法的图解。

具体实施方式

图1显示了根据一种实施形式的音频信号产生装置的方框图。为简洁起见，以下的说明可能提及形成多通道信号的实施例的立体声信号。因此，立体声信号的左通道信号和右通道信号可以形成多通道音频信号的第一音频通道信号和第二音频通道信号。

如图1所示，该音频信号产生装置可以包括一个转换器101，该转换器用于将立体声信号的时域左通道信号x₁(n)和时域右通道信号x₂(n)转换为频域信号，以获得频域信号形式的第一音频通道信号X₁(k，i)和第二音频通道信号X₂(k，i)。第一音频通道信号和第二音频通道信号将被提供给处理器103，该处理器可以使用第一相移系数P₁(k，i)修改第一音频通道信号的相位，和/或使用第二相移系数P₂(k，i)修改第二音频通道信号的相位，以便合成修改后的第一音频通道信号和第二音频通道信号时减少信号消除。为了修改各个音频通道信号的相位，该处理器可以包括第一乘法器105，用于将第一音频通道信号乘以第一相移系数和第二乘法器107，用于将第二音频通道信号乘以第二相移系数。

乘法器105和107的计算结果可以提供给合成单元109，用于合成(或者说叠加)生成的第一音频通道信号和第二音频通道信号以获得混音音频信号。

为了确定第一相移系数和第二相移系数，处理器103可以包括一个混音参数计算器110，该计算器用于接收转换器101的输出。混音参数计算器110可以根据相关原理和/或本文中所述的公式确定第一相移系数和第二相移系数。

可选地，该音频信号产生装置可以包括另一个乘法器111，该乘法器用于通过功率因数M(k，i)对合成单元109的输出进行加权。可选地，可以将处理器103配置为用该功率因数对合成单元109的输出进行加权。根据合成单元109的输出或乘法器111的输出，可以生成频域信号形式的混音音频信号X(k，i)。可以将生成的频域信号形式的混音音频信号转换为时域信号，例如使用逆滤波器组113做转换，可按照傅里叶逆变换来执行这种转换。

相应地，转换器101可以包括第一滤波器组115，用于转换左通道信号以获得频域信号形式的第一音频通道信号；和第二滤波器组117，用于转换右通道信号以获得频域信号形式的第二音频通道信号。滤波器组115和117可以为傅里叶转换器。

图2显示了一种用于从包括第一音频通道信号和第二音频通道信号的多通道音频信号生成混音音频信号的方法的图解。该方法包括以下步骤：使用第一相移系数来修改第一音频通道信号的相位(步骤201)；和/或使用第二相移系数来修改第二音频通道信号的相位(步骤203)；以及合成所生成的第一音频通道信号和第二音频通道信号以获得混音音频信号(步骤205)。

参考图1，立体声信号的时域左通道信号和时域右通道信号分别表示为x₁(n)和x₂(n)，其中，n是离散时间指数。

在于混音处理中，这两个信号会被转换为时频信号。时频信号的左立体声通道信号和右立体声通道信号分别表示为X₁(k，i)和X₂(k，i)，其中，k是降低取样时间指数(又称为帧指数)，i是频率指数。在不影响普遍性的前提下，下面可以假设使用了复值时频信号。

可以通过以下方程式计算混音信号：

X(k，i)＝M(k，i)(P₁(k，i)X₁(k，i)+P₂(k，i)X₂(k，i))

其中，M(k，i)是可选的实数值增益因子，P₁(k，i)和P₂(k，i)分别是幅度为1的复合左“相位校准”因子和右“相位校准”因子。图1显示了用于生成混音信号的处理方案。

左信号和右信号x₁(n)和x₂(n)由转换器或滤波器组(FB)转换为时频域信号。在左子带信号和右子带信号相加以生成子带混音信号之前，计算并应用混音处理参数。可以使用逆滤波器组/转换器(IFB)将子带混音信号再转换为时域信号。

这样做的目的是确定P₁(k，i)和P₂(k，i)，以便同时协调地添加左通道信号和右通道信号，从而防止可能发生依时信号消除现象。另外，会确定实数值因子M(k，i)，以使X(k，i)的功率等于或约等于X₁(k，i)与X₂(k，i)的功率之和。

其中一个策略是根据一个通道信号(例如X₁(k，i))调整另一个通道信号(例如X₂(k，i))。可以通过选择以下方程式来执行上述策略：

P₁(k，i)＝1

$P_2(k,i)=\frac{E\left\{X_1(k,i)X_2^{*}(k,i)\right\}}{\left|E\right\{X_1(k,i)X_2^{*}(k,i)\left\}\right|}$

其中，E{.}是短时求平均值运算，|·|是一个复数的绝对值，*表示复共轭。对于这种运算，可以选择使用80毫秒时间常数的单极求平均值方法。

如上所述，可以计算M(k，i)，以使混音信号的功率等于或约等于左通道信号与右通道信号的功率之和。可以使用以下方程式来计算M(k，i)：

$M(k,i)=\sqrt{\frac{E\{X_1(k,i)X_1^{*}(k,i)+E\{X_2(k,i)X_2^{*}(k,i)\left\}\right\}}{E\left\{{|P_1(k,i)X_1(k,i)+P_2(k,i)X_2(k,i)|}^2\right\}}}$

为了在M(k，i)过大或过小的情况下减少赝象来改善性能，可以将M(k，i)的范围限制为[0.5，2](对应于±6dB)。

根据一些实施例，可以使用以下公式来获得相移系数：

P₁(k，i)＝P(k，i)^*

P₂(k，i)＝P(k，i)

其中

$P(k,i)=\sqrt{\frac{E\left\{X_1(k,i)X_2^{*}(k,i)\right\}}{E\left\{\right|X_1(k,i)X_2^{*}(k,i)\left|\right\}}}$

根据以上公式，可以修改代表(例如)左通道信号和右通道信号的两个音频通道信号的相位。可以对两个通道信号进行半相位校正，而不是对一个通道信号进行全相位校正，前一种做法的好处是可以减轻最大音频波形修改程度。

或者，可以根据合量信号对两个音频通道信号(例如，立体声信号的左通道信号和右通道信号)进行相位校准，即，

$P_1(k,i)=\frac{E\left\{S(k,i)X_1^{*}(k,i)\right\}}{\left|E\right\{S(k,i)X_1^{*}(k,i)\left\}\right|}$

$P_2(k,i)=\frac{E\left\{S(k,i)X_2^{*}(k,i)\right\}}{\left|E\right\{S(k,i)X_2^{*}(k,i)\left\}\right|}$

其中，S(k，i)＝X₁(k，i)+X₂(k，i)，形成了一个参考音频信号。

根据一些实施例，可以不使用合量信号，而是使用具有以下特点的参考信号：其相位可以是两个通道信号的相位的加权和，且其幅度是两个通道信号的幅度之和或模方。也就是说，相移系数可以与某个参考信号(“合量信号”)配合使用，该参考信号可以等于：

$S(k,i)=\sqrt{{\left|X_1(k,i)\right|}^2+{\left|X_2(k,i)\right|}^2}{e}^{\mathrm{j\α}(i,k)}$

其中

$\mathrm{\α}(i,k)=\frac{\left|X_1(k,i)\right|\∠X_1(k,i)+\left|X_2(k,i)\right|\∠X_2(k,i)}{{\left|X_1(k,i)\right|}^2+{\left|X_2(k,i)\right|}^2}$

此类参考信号可以具有以下属性：

·功率谱是左功率谱与右功率谱之和，因此，在按时间求平均值运算过程中，相位会通过信号功率进行加权。

·相位是左通道信号和右通道信号(即，第一通道信号和第二通道信号)的相位的加权平均值。可以选择适当的权重，以使较强的那个通道信号的相位处于支配地位。

根据一些实施形式，参考信号可以是第一音频通道信号或第二音频通道信号。

根据一些实施形式，参考信号可以是第一音频通道信号与第二音频通道信号之和。

根据一些实施形式，参考信号可以是具有以下特点的信号：其幅度是输入信号的子带幅度之和，且其相位是输入信号的子带相位之和。

根据一些实施形式，可以通过对多个帧进行求平均值来估算相位差。

根据一些实施形式，可以在求和之后对混音子带信号应用增益因子，以实现幅度均衡。

Claims (14)

1.一种音频信号产生装置，用于从包含第一音频通道信号和第二音频通道信号的多通道音频信号生成混音音频信号，该音频信号产生装置包括：

一个处理器(103)，用于使用第一相移系数修改第一音频通道信号的相位，和/或使用第二相移系数修改第二音频通道信号的相位，使得合成修改后的第一音频通道信号和第二音频通道信号时减少信号消除；以及

一个合成单元(109)，用于合成修改后的第一音频通道信号和第二音频通道信号以获得混音音频信号。

2.根据权利要求1所述的音频信号产生装置，其中所述处理器(103)用于修改第一音频通道信号的相位或第二音频通道信号的相位，以匹配参考信号的相位。

3.根据权利要求1或2所述的音频信号产生装置，其中所述处理器(103)用于确定第一音频通道信号与第二音频通道信号之乘积的平均值，以获得第一相移因子或第二相移因子。

4.根据上述任何权利要求之一所述的音频信号产生装置，其中所述处理器(103)用于将第一相移系数或第二相移系数设为1。

5.根据上述任何权利要求之一所述的音频信号产生装置，其中所述第一相移系数是第二相移系数的复共轭形式。

6.根据上述任何权利要求之一所述的音频信号产生装置，其中所述处理器(103)根据以下公式确定第一相移系数P₁(k，i)和第二相移系数P₂(k，i)，其中，k表示时间指数，i表示频率指数：

P₁(k，i)＝1

$P_2(k,i)=\frac{E\left\{X_1(k,i)X_2^{*}(k,i)\right\}}{\left|E\right\{X_1(k,i)X_2^{*}(k,i)\left\}\right|}$

其中，X₁(k，i)和X₂(k，i)分别表示第一音频通道信号和第二音频通道信号，E{.}表示求平均值运算。

7.根据上述任何权利要求之一所述的音频信号产生装置，其中所述处理器(103)根据以下公式确定第一相移系数P₁(k，i)和第二相移系数P₂(k，i)，其中，k表示时间指数，i表示频率指数：

P₁(k，i)＝P(k，i)^*

P₂(k，i)＝P(k，i)

$P(k,i)=\sqrt{\frac{E\left\{X_1(k,i)X_2^{*}(k,i)\right\}}{E\left\{\right|X_1(k,i)X_2^{*}(k,i)\left|\right\}}}$

其中，X₁(k，i)和X₂(k，i)分别表示第一音频通道信号和第二音频通道信号，E{.}表示求平均值运算。

8.根据上述任何权利要求之一所述的音频信号产生装置，其中所述处理器(103)根据以下公式确定第一相移系数P₁(k，i)和第二相移系数P₂(k，i)，其中，k表示时间指数，i表示频率指数：

$P_1(k,i)=\frac{E\left\{S(k,i)X_1^{*}(k,i)\right\}}{\left|E\right\{S(k,i)X_1^{*}(k,i)\left\}\right|}$

$P_2(k,i)=\frac{E\left\{S(k,i)X_2^{*}(k,i)\right\}}{\left|E\right\{S(k,i)X_2^{*}(k,i)\left\}\right|}$

S(k，i)＝X₁(k，i)+X₂(k，i)

或

$S(k,i)=\sqrt{{\left|X_1(k,i)\right|}^2+{\left|X_2(k,i)\right|}^2}{e}^{\mathrm{j\α}(i,k)}$

其中，

$\mathrm{\α}(i,k)=\frac{\left|X_1(k,i)\right|\∠X_1(k,i)+\left|X_2(k,i)\right|\∠X_2(k,i)}{{\left|X_1(k,i)\right|}^2+{\left|X_2(k,i)\right|}^2}$

其中，X₁(k，i)和X₂(k，i)分别表示第一音频通道信号和第二音频通道信号，E{.}表示求平均值运算。

9.根据上述任何权利要求之一所述的音频信号产生装置，其中所述处理器(103)通过功率因数对混音信号进行加权，尤其是功率因数依赖于第一音频通道信号和第二音频通道信号的功率之和。

10.根据上述任何权利要求之一所述的音频信号产生装置，其中所述合成单元(109)可用于叠加第一辅助信号和第二辅助信号来获得混音信号。

11.根据上述任何权利要求之一所述的音频信号产生装置，其中所述处理器(103)可用于将第一音频通道信号乘以第一相移系数，或者将第二音频通道信号乘以第二相移系数，以便进行相位修改。

12.根据上述任何权利要求之一所述的音频信号产生装置，该音频信号产生装置还包括一个转换器(101)，该转换器用于将第一时域信号转换为频域信号以获得第一音频通道信号，以及将第二时域信号转换为频域信号以获得第二音频通道信号。

13.根据上述任何权利要求之一所述的音频信号产生装置，其中所述混音音频信号是频域信号，而该音频信号产生装置还包括一个转换器(113)，该转换器用于将混音音频信号转换为时域信号。

14.一种用于从包含第一音频通道信号和第二音频通道信号的多通道音频信号生成混音音频信号的方法，该方法包括：

使用第一相移系数来修改第一音频通道信号的相位，以便在合成生成的第一音频通道信号和第二音频通道信号时减少信号消除(步骤201)；和/或

使用第二相移系数来修改第二音频通道信号的相位，以便在合成生成的第一音频通道信号和第二音频通道信号时减少信号消除(步骤203)；以及

合成修改后的第一音频通道信号和第二音频通道信号以获得混音音频信号(步骤205)。

Images