CN1914683A - 频域中多通道卷积混合的盲分离方法和设备 - Google Patents

Abstract

一种利用频域归一化多通道盲去卷积执行盲源分离方法和设备。多通道混合信号为N个抽样的帧，包括r个连续的具有M个抽样的块。该混合信号的帧在频域中利用DFT以重叠保留的方式采用分离滤波器进行分离。该分离信号利用反DFT转换回时域并施加非线性方程。计算分离信号和非线性变换后的信号之间的交叉功率谱并由分离信号和非线性变换后的信号的功率谱进行归一化以具有平整频谱。施加时域约束以保留前L个交叉相关。这些无混叠归一化交叉功率谱由不完整约束所限制。通过将无混叠归一化交叉功率谱与分离滤波器进行卷积计算自然梯度。当分离滤波器长度限制为L，分离滤波器利用自然梯度更新并归一化为具有单位标准。终止条件为检查分离滤波器是否收敛。

Description

频域中多通道卷积混合的盲分离方法和设备

技术领域

本发明涉及信号处理，特别是涉及频域中多通道卷积混合(convolutivemixtures)的盲信号分离的方法、设备以及包含执行上述盲信号分离的程序的存储介质。

背景技术

在语音处理领域中，有必要在多径环境中将多信号的混合(包括语音信号)从多个传感器中分离出来。这种对未知信号的混合的分离公知为盲源分离(blind source separation，BSS)。BSS对于分离来自于诸如多个扬声器和声纳阵列的独立源的信号是非常有用的。BSS技术可以应用于扬声器位置跟踪、语音识别、语音编码、基于目标的3D音频信号处理、声学回声消除器、通道均衡、到达方向估算以及诸如EEG和MEG的多种生物学信号的检测。

大多数BSS技术致力于通过消除多径效应的影响而恢复原始信号。虽然通常情况下需要无限长度滤波器以达到此目的，但在大多数实际环境中，有限长度滤波器也能够提供足够的分离。

对BSS问题来说有两种普遍的方法：(i)多重去相关(multipledecorrelation，MD)方法，该方法利用第二阶信号统计作为独立测量，和(ii)多通道盲去卷积(multichannel blind deconvolution，MBD)方法，该方法利用高阶统计。

MD方法通过对角化第二阶统计对混合信号进行去相关。[例如见E.Weinstein，M.Feder，and A.V.Oppenheim，“Multi-channel signal separation bydecorrelation，”IEEE Trans.Speech Audio Processing，vol.1，no.4，pp.405-413，Apr.1993；Lucas Parra and Clay Spence，“Convolutive blind source separation ofnonstationary sources”，IEEE Trans.Speech Audio Processing，pp.320-327，May，2000；D.W.E.Schobben and P.C.W.Sommen，“A frequency-domain blind signalseparation method based on decorrelation，”IEEE Trans.Signal Processing，vol.50，no.8，pp.1855-1865，Aug.2002；N.Murata and S.Ikeda，and A.Ziehe，“An approach to blind source separation based on temporal structure of speechsignal，”Neurocomputing，vol.41，no.4，pp.1-24，2001]对角化应该在多个时刻执行以成功分离信号。为此，这些方法仅应用于非平稳(nonstationary)信号。这些方法非常快而且稳定。另一方面，MBD方法通过将非线性变换分离信号的相互信息最小化而分离信号，非线性变换分离信号由与信号统计分布匹配的非线性方程变换得到。[例如见S.Amari，S.C.Douglas，A.Cichocki，H.H.Yang，″Novel on-line adaptive learning algorithm for blind deconvolutionusing the natural gradient approach″，Proc.IEEE 11th IFAC Symposium onSystem Identiftcation，Japan，1997，pp.1057-1062；A.J.Bell and T.J.Sejnowski，“An information maximization approach to blind separation and blinddeconvolution，”Neural Computation，7，no.6，pp.1129-1159，Nov.1995；L.Zhang，A.Cichocki，and S.Amari，“Geometrical structures of FIR manifolds andtheir application to multichannel blind deconvolution，”Proc of Int.IEEEWorkshop on Neural Networks and Signal Processing，pp.303-312，Madison，Wisconsin，USA，Aug.23-25，1999]。

发明内容

在现有技术中，分离性能由于其频率排列(frequency permutation)、白化(whitening)以及采用的滤波器类型等缺陷而大大受限。

MD方法受频率排列问题的影响，也就是分离源在每个频率槽(frequencybin)中排列不同，从而最终的分离信号仍然混合。虽然对这种排列问题有一些解决方案，但分离性能随着分离滤波器的长度增加而恶化。另一方面，MBD方法受白化效应的影响，即分离信号的频谱被白化(或变平)。为解决MBD方法的这种缺陷，已提出一种语音信号的线性预测方法。[例如见，S.C.Douglas，″Blind separation of acoustic signals″，in Microphone Arrays：Signalprocessing techniques and applications，M.Brandstein and D.Ward Eds，Springer，pp.355-380，2001.]。这种方法采用双向滤波器，其在实际应用中可能会不适于正常的混合环境。此外，部分的房间脉冲响应可以被看作人类语音信号的声音跟踪响应。

因此，需要一种以高语音质量快速并准确地分离语音信号的BSS技术。

本发明提供一种在块频域中具有归一化自然梯度的多通道盲去卷积的方法和设备，其对用于信号分离的单向分离滤波器进行估算。

图4a显示了对实际环境中记录的混合信号进行分离的例子。采用两个麦克放在房间中记录语音和音乐信号，然后利用本发明的方法对该混合信号进行分离。图4a从上至下显示了两个混合信号x＝(x₁，x₂)和两个分离信号u＝(u₁，u₂)。所采用的参数为L＝128，M＝2L，N＝2N，μ＝0.0025。图4b显示了该例子中最终的分离滤波器。

本发明可以以高语音质量从混合信号中分离出期望的信号，从而分离信号可以被导入语音识别器或语音编码器。图5从上之下显示了各通道的原始信号s、混合信号x以及分离信号u。图5显示了高质量的分离语音信号。

附图说明

通过结合附图和下列描述可以很容易理解本发明的教导，其中：

图1显示了执行本发明软件实现的系统；

图2a显示了采用归一化自然梯度的多通道盲去卷积的框图；

图2b显示了分离混合的多通道信号的分离滤波器的图示；

图2c显示了利用非线性方程将分离信号变换为具有均匀概率密度的信号的示意图；

图3显示了本发明实施方式的流程图；

图4a显示了由本发明的方法从在实际房间中记录的混合信号中分离的信号、语音和音乐；

图4b显示了通过本发明的方法对实际房间中记录的混合信号进行分离的最终分离滤波器w_ij；

图5显示了各通道的原始语音信号s、混合语音信号x以及分离信号u。

具体实施方式

图1描述了本发明执行信号分离的系统100。该系统100包括：输入装置126，用于提供待分离的混合信号；和计算机系统108，其用于执行本发明的频域归一化多通道盲去卷积程序124。该输入装置126可以包含任何类型的装置，但示意性显示为包括传感器阵列102、信号处理器104和记录信号源106。该传感器阵列102包括一个或多个变换器102A、102B、102C，例如麦克风。信号处理器108对(卷积)混合信号进行数字化。

计算机系统108包括中央处理单元(CPU)114、存储器122、输入/输出(I/O)接口120和辅助电路116。所述计算机系统通常通过I/O接口120连接到输入装置110以及各种输入/输出装置，例如监视器、鼠标以及键盘。所述辅助电路116包括公知的电路，例如电源、缓存器、定时电路、通信电路、总线等。存储器122可以包括随机存取存储器(RAM)、只读存储器(ROM)、磁盘驱动器、磁带驱动器、闪存、光盘(CD)等，或者一些存储装置的组合。本发明是作为频域归一化多通道盲去卷积程序124而实现的，该程序存储于存储器122中并由CPU114执行以处理来自于输入装置126的信号。这样，计算机系统108是通用目的计算机系统，而在执行本发明的程序124的时候成为特定目的计算机系统。本发明还可以以软件、硬件或软件与硬件的结合而实现，例如应用专用集成电路(ASIC)、数字信号处理器以及其他硬件装置。

所显示的计算机系统108进一步包括语音识别处理器118，例如语音识别电路卡或语音识别软件，用于对由本发明从混合信号中提取出来的分离信号进行处理。这样，具有背景噪声或音乐的具有两人以上同时说话的房间中的混合信号可以由麦克风阵列102捕捉到。由麦克风102捕捉到的语音信号就是应该被分离成单独分量以进行语音识别的混合信号。该混合信号经过信号处理器104的滤波、放大和数字化后被发送到计算机系统108。执行频域归一化多通道盲去卷积程序124的CPU114将混合信号分离成其分量信号。从这些分量信号中，可以很容易地将背景噪声移除。然后，应用无噪声的分量信号到语音识别处理器118以将所述分量信号处理成计算机文件或计算机指令。以此方式，执行频域归一化多通道盲去卷积程序124的计算机系统108为语音识别处理器118执行信号预处理或信号调理。

图2a是本发明频域归一化多通道盲去卷积124的框图。本发明的频域归一化多通道盲去卷积包括分离部件201、非线性变换器202以及滤波器更新部件203，该滤波器更新部件203利用归一化自然梯度来更新分离滤波器系数。所述分离部件201分离混合多通道信号x(k)。混合信号x(k)作为n个传感器至m个分量信号的输出出现于多径环境中，并且由下列等式所定义：

         x(k)＝[x₁(k)，x₂(k)，…，x_n(k)]^T                             (1)

其中，x_j(k)为来自于第j个传感器的混合信号。将x(k)分离成其分量信号的分离滤波器是mxn矩阵W(z，k)，其(i，j)分量由下列等式所表示：

$w_{\mathrm{ij}}(z,k)=\underset{p=0}{\overset{L-1}{\mathrm{\Σ}}}{w}_{\mathrm{ij},p}\left(k\right)z^{-p}---\left(2\right)$

其中，L为分离滤波器的长度。分离的分量信号u(k)由下列等式定义：

         u(k)＝[u₁(k)，u₂(k)，…，u_m(k)]^T                             (3)

其中，u_i(k)是由下列等式定义的第i个分离信号：

$u_i\left(k\right)=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{w}_{\mathrm{ij},p}\left(k\right)x_j(k-p),i=1,\·\·\·,m---\left(4\right)$

图2b显示了m＝n＝2情况下的分离处理。来自于分离部件201的分离信号u(k)施加到非线性变换器202。

非线性变换器202通过无记忆非线性方程对分离信号执行变换，从而非线性变换信号具有均匀概率密度。该非线性变换由下列等式定义：

            y_i(k)＝f(u_i(k))，i＝1，…，m                           (5)

图2c显示了非线性变换，其中具有拉普拉斯概率密度的信号被映射成具有均匀概率密度的信号。在非线性变换中使用的方程与概率密度紧密相关。对于音频和语音信号，通常使用αsgn(u)或tanh(u)。

滤波器更新部件203通过下列等式利用具有自然梯度的最速上升法对分离滤波器的系数进行更新：

            w_ij，p(k+1)＝w_ij，p(k)+μΔw_ij，p(k)                      (6)

其中，1≤i≤m，1≤j≤n，0≤p≤L-1，μ为步长，Δw_ij，p(k)为下列等式所定义的自然梯度：

${\mathrm{\Δw}}_{\mathrm{ij},p}\left(k\right)={\mathrm{\Δw}}_{\mathrm{ij},p}\left(k\right)-\underset{l=1}{\overset{m}{\mathrm{\Σ}}}\underset{q=0}{\overset{p}{\mathrm{\Σ}}}{\stackrel{\‾}{y}}_i\left(k\right){\stackrel{\‾}{u}}_l(k-p+q)w_{\mathrm{lj},q}\left(k\right)---\left(7\right)$

其中， y_i(k)和 u_l(k)分别是y_i(k)和u_l(k)的具有平整频谱的频域归一化形式。需要注意的是，等式(7)中的滤波器迟滞q上限为p而不是L-1。在本发明中，分离滤波器是长度L的单向。因此不需要抽样延迟。

在本发明中，上述处理是以重叠保留(overlap-save)方式在频域中执行的以利用FFT变换(快速傅立叶变换)的优点。滤波器长度、块长度以及帧长度分别表示为L、M、N。帧之间的重叠量由比例r＝N/M确定。下面，为简化起见，假设50％重叠(r＝2)并且FFT大小与帧长度相同。

图3显示了本发明频域归一化多通道盲去卷积实施方式的流程图。参考该流程图，在步骤301输入混合信号x(k)。在步骤302，该混合信号形成M个抽样的两个(r＝2)连续块的当前帧，如下：

        x_j(b)＝[x_j(bM-2M+1)，…，x_j(bM)]^T，j＝1，…，n                (8)

其中，b表示块指数。在步骤303，混合信号利用分离滤波器进行分离

        w_ij(b)＝[w_ij，0，w_ij，1，…，w_ij，L-1]^T                           (9)

分离滤波器通常初始化如下：

        w_ij(0)＝[1，0，…，0]^T，i＝j                                     (10a)

        w_ij(0)＝[0，…，0]^T，i≠j                                        (10b)

然而，如果在分离滤波器上有任何有效信息，则该信息可以用作该分离滤波器的初始化。分离信号通过下列等式在频域中利用循环卷积计算：

其中⊙表示分量相乘(component-wise multiplication)，f表示频域量(frequency domain quantity)，从而

        w_ij(f，b)＝Fw_ij(b)                                                (12a)

        x_j(f，b)＝Fx_j(b)                                                 (12b)

其中F是N×N的DFT矩阵。然后，分离信号在下列等式中被变回时域以抛弃前L个混叠抽样(aliased samples)：

u_i(f，b)＝P_0，N-LFu_i(f，b)＝[0，…，0，u_i(bM-2M+L+1)，…，u_i(bM)]^T  (13)

其中，P_0，N-L是投影矩阵(projection matrix，或窗口矩阵)以将前L个抽样设为0，其定义如下：

$P_{0,N-L}=\left(\begin{array}{cc}{0}_L& 0\\ 0& I_{N-L}\end{array}\right)---\left(14\right)$

其中0_L是L×L零矩阵，I_N-L是(N-L)×(N-L)单位矩阵。

在步骤304，分离信号在时域内经过非线性方程的变换。可以采用下列等式之一：

y_i(b)＝f(u_i(b))＝[0，…，0，f(u_i(bM-2M+L+1))，…，f(u_i(bM))]^T       (15a)

y_i(b)＝f(u_i(b))＝[0，…，0，f(u_i(bM-2M+2L+1))，…，f(u_i(bM))]^T      (15b)

该非线性方程的输出用于在步骤306计算交叉相关(cross-correlations)f(u_i(k))u_j(k-p)，p＝0，1，…，L-1。如果采用等式(15a)，则交叉相关将有偏，如果采用等式(15b)，则交叉相关无偏。

在步骤305，计算无混叠(alias-free)归一化交叉功率谱。步骤305在本发明中非常关键。所述归一化交叉功率谱由下列等式定义：

其中， P_yiuj(f，b)是y_i(f，b)和u_j(f，b)之间的交叉功率谱，这将在下文中进行描述。如果i＝j，则期望值由Bussgang特性归一化为1。在步骤306，频域内的交叉功率谱由下列等式定义：

其中，*代表复共轭，而且

             y_i(f，b)＝Fy_i(b)                                     (18a)

             u_j(f，b)＝Fu_j(b)                                     (18b)

注意，等式(17)中的交叉功率谱是仅利用等式(18a)和(18b)中来自当前帧的抽样而计算出来的。在步骤307，计算分离信号和非线性变换后的信号的功率谱以归一化交叉功率谱。为了适应信号的时变特性，功率谱在每个块中更新，如下：

$P_{y_i}(f,b)=(1-\mathrm{\γ})P_{y_i}(f,b-1)+\mathrm{\γ}{\left|y_i(f,b)\right|}^2,i=1,\·\·\·,m---\left(19a\right)$

$P_{u_j}(f,b)=(1-\mathrm{\γ})P_{u_j}(f,b-1)+\mathrm{\γ}{\left|u_j(f,b)\right|}^2,j=1,\·\·\·,m---\left(19b\right)$

这里，γ是0至1之间的常量。功率谱被初始化为 $P_{y_i}(f,0)=P_{u_j}(f,0)=c{[1,\·\·\·,1]}^T,i=1,\·\·\·,m,$ 其中c是很小的正数常量0＜c＜＜1。

在步骤308，交叉功率谱归一化如下：

其中，上述除法以分量方式进行。然而，如果等式(20)中的交叉功率谱被变换回时域，则所得交叉相关包含混叠部分。而且，在等式(7)中仅需要前L个交叉相关以计算自然梯度。因此，仅前L个交叉相关必须被提取出来。这是在步骤309通过在时域中应用适当的时域约束来执行的，如下：

${\tilde{P}}_{y_i{u}_j}(f,b)={\mathrm{FP}}_{L,0}{F}^{-1}{\stackrel{\‾}{P}}_{y_i{u}_j}(f,b)---\left(21\right)$

其中，F^-1是N×N反DFT矩阵，P_L，0是N×N投影矩阵，其保留了前L个抽样并将其余(N-L)个抽样设为0，定义为：

$P_{(L,0)}=\left(\begin{array}{cc}{I}_L& 0\\ 0& 0_{N-L}\end{array}\right)---\left(22\right)$

在步骤310，所述自然梯度利用不完整约束(nonholonomic constraints)计算如下：

${\hat{P}}_{y_i{u}_j}(f,b)=\left\{\begin{array}{c}\stackrel{\‾}{1}-{\tilde{P}}_{y_i{u}_j}(f,b),\mathrm{for},i=j\\ -{\tilde{P}}_{y_i{u}_j}(f,b),\mathrm{for},i\≠j\end{array}\right.---\left(23a\right)$

 其中 1＝[1，…，1]^T。所述的不完整性表示分离不响应于信号功率，而仅响应于信号之间统计的依赖。

注意，由于对角线分量

平均为 1，因此等式(23a)中的 接近于不完整。然后，通过将对角线分量设0可以获得严格的不完整：

${\hat{P}}_{y_i{u}_j}(f,b)=0---\left(24\right)$

通常，虽然获知分离滤波器的所有分量，但可以不必获知所有的对角线分量，从而对角线分量被吸收到非对角线分量中。这在本发明中通过将梯度的对角线分量设为0就可以轻易实现，如下：

                   Δw_ii(f，b)＝0                                      (25)

如果等式(24)和(25)结合到一起，可以减少运算。注意，对于特定情况m＝n＝2，等式(21)中的时域约束是不必要的并且计算负担大幅降低。这种修改的灵活性是本发明的一个优点。

在步骤311，分离滤波器作如下更新：

           w_ij(f，b+1)＝w_ij(f，b)+μΔw_ij(f，b)                        (26)

在步骤312，分离滤波器在频域中被归一化以具有单位标准(unit norm)。具有单位标准的分离滤波器在重复(iteration)期间保留信号功率。

在步骤313，终止条件由是否应该终止分离过程来决定。

在步骤314，收敛的分离滤波器用于对混合信号进行滤波以获取分离信号。步骤302中的等式(11)也可以在该步骤中使用。

虽然这里对结合本发明教导的各种实施方式进行了展示和描述，但本领域技术人员可以很容易地设计出其他各种实施方式而仍然结合了这些教导。因此，可以在不脱离本发明范围和实质的情况下做出实施例的各种选择、修改、置换以及变化。

工业适用性

本发明在作为用于对不同源的信号进行去卷积和分离的信号预处理器系统的语音识别系统中发现了应用，从而语音识别处理器可以对各种没有干扰噪声源的语音信号做出响应。

Claims (7)

1.一种将混合信号分离成分量信号的方法，该方法包括步骤：

(a)从所述混合信号中产生当前帧(302)；

(b)将所述当前帧分离成当前帧的分量信号(303)；

(c)利用非线性方程将所述分量信号变换成非线性变换后的信号(304)；

(d)计算所述分量信号和(c)中的所述非线性变换后的信号的无混叠归一化交叉功率谱(305)；

(e)利用所述交叉功率谱计算自然梯度(310)；

(f)利用所述自然梯度更新分离滤波器系数(311)；

(g)对所述分离滤波器系数进行归一化(312)；

(h)判断收敛条件并重复(a)至(g)直到收敛(313)；

(i)收敛后利用所述分离滤波器系数将所述混合信号分离为分量信号。

2.根据权利要求1所述的方法，其中步骤(b)进一步包括子步骤：

(b1)将所述混合帧和所述分离滤波器系数变换为频域；

(b2)在频域中计算分量信号，并将所述分量信号变换回时域；和

(b3)将所述分量信号的前L个抽样设为0，从而产生分量信号。

3.根据权利要求1所述的方法，其中步骤(d)包括子步骤：

(d1)将所述分量信号和所述非线性变换后的信号变换为频域；

(d2)在频域中利用所述分量信号和所述非线性变换后的信号计算交叉功率谱(306)；

(d3)计算所述分量信号的功率谱和非线性变换后的信号的功率谱(307)；

(d4)计算归一化交叉功率谱(308)；和

(d5)将所述归一化交叉功率谱变换回时域；并应用用于仅保留前L个抽样的时域约束(309)。

4.根据权利要求1所述的方法，其中步骤(e)包括子步骤：

(e1)将不完整约束应用到所述无混叠归一化交叉功率谱；和

(e2)利用所述分离滤波器系数和所述不完整约束的交叉功率谱计算自然梯度。

5.一种根据权利要求1-4的设备，用于利用频域归一化多通道盲去卷积方法将多个混合信号分离成多个分量信号。

6.

7.一种根据权利要求1-4的计算机可读存储介质，该计算机可读存储介质包括程序，当在通用目的计算机系统上执行该程序时，使所述通用目的计算机系统成为特定目的计算机系统，该特定目的计算机系统能够利用频域归一化多通道盲去卷积方法将多个混合信号分离成多个分量信号。

Images