CN103456312B - 一种基于计算听觉场景分析的单通道语音盲分离方法 - Google Patents

Abstract

本发明涉及一种基于计算听觉场景分析的单通道语音盲分离方法，所述方法包括如下步骤：步骤一、对输入的混叠语音进行前端处理；步骤二、对经过步骤一处理的混叠语音进行听觉特征提取；步骤三、对经过步骤二处理的混叠语音基于谐波特性进行听觉分割；步骤四、对经过步骤三处理的混叠语音基于能量特征进行听觉重组；步骤五、对经过步骤四处理的混叠语音进行目标语音重构。本发明在噪声存在的情况下，可以很好地解决单通道混叠语音分离问题，分离的语音可以应用于语音识别的前端，在人工智能、语音通信，声音信号增强领域都将有着广阔的应用前景。

Description

一种基于计算听觉场景分析的单通道语音盲分离方法

技术领域

本发明涉及一种基于计算听觉场景分析的单通道语音盲分离方法，属于语音信号处理领域。

背景技术

语音信号处理是近年来信号处理中最引人注目的研究领域之一，在语音信号处理领域，一个重要的问题是如何从未知信号随机混合得到的混叠语音中分离出原始语音，混叠语音分离在噪声消除、语音合成、语音通信等方面有重要的研究意义和实用价值。由于混叠语音在时域和频域的重叠性，常用的语音增强方法难以实现语音分离。目前，混叠语音分离最常采用的方法是盲源分离方法即独立分量分析方法，但独立分量分析方法有一些假设条件，例如要求观测信号的个数大于或等于源信号的个数、假定没有噪声等，这些条件限制了盲源分离的应用，因此，盲源分离不能应用于源信号个数大于观测信号个数的单通道混叠语音分离问题，尤其是在噪声存在的情况下，盲源分离方法应用于混叠语音分离效果明显恶化。

人工智能领域的发展需要新一代计算机的人机接口能自如地用语言和人类交流。语音和人类的听觉系统是密切相关的，在研究语音信号本身的特性及其处理方法的同时，研究人类听觉系统感知语音信息的机理将能进一步促进语音信号处理的研究。事实上，人类听觉系统对语音信号的感知能力大大地超过了目前的信号处理水平，由于人的听觉系统是一个很强大的音频信号处理器，特别是在强噪声干扰下，人类能有选择地听取所需的内容，能够从杂乱的声音信号中分辨并跟踪其感兴趣的某一路目标信号，感知其相关信息，即所谓的“鸡尾酒会效应”。利用听觉感知的研究成果建立模型，并用计算机来实现它，使听觉场景分析应用到机器智能中，让机器具有智能的听觉，这就是计算听觉场景分析。用计算听觉场景分析方法进行混叠语音信号分离，不仅符合人的感知特性，而且不受盲源分离方法的那些假设条件限制。计算听觉场景分析从心理模型的角度，把听觉组织过程看作是一个具有层次性的加工过程，丰富了听觉组织的理论，听觉场景分析还用生态学的观点来分析听觉组织过程，从而增加了理论的外部效应，使之更加易于实际应用。计算听觉场景分析由于其不需要假设信号的统计特性和单通道条件下的可实现性，所以特别适合应用于噪声存在时的单通道混叠语音分离问题。

发明内容

本发明的目的是克服现有技术的缺点，解决如何从存在噪声的单通道混叠语音中分离出目标语音的方法，提出一种基于能量和谐波特性的计算听觉场景分析单通道混叠语音分离方法。

本发明提出一种基于计算听觉场景分析的单通道语音盲分离方法，其特征在于：

所述方法包括如下步骤：

步骤一、对输入的混叠语音进行前端处理；

步骤二、对经过步骤一处理的混叠语音进行听觉特征提取；

步骤三、对经过步骤二处理的混叠语音基于谐波特性进行听觉分割；

步骤四、对经过步骤三处理的混叠语音基于能量特征进行听觉重组；

步骤五、对经过步骤四处理的混叠语音进行目标语音重构。

进一步地，步骤一中：所述前端处理是将输入的混合时域信号转化成相应的时频域表示形式；根据人耳的感知机理，将输入混合声音信号通过128个信道的Gammatone滤波器组进行带通滤波，该滤波器的中心频率按照等距宽(Equivalent RectangularBandwidth，ERB)在80～5kHz之间准对数分布；将时频分解后的每一个Gammatone滤波器的输出送入Meddis内耳毛细胞模型；得到神经发放率；然后，在时域上对每个毛细胞的输出以帧长20ms，50％重叠为帧移进行分帧处理；将输入的混合语音信号分解成为一系列时频单元，即T-F单元；同时，为了高频部分的特征提取和听觉重组，对毛细胞输出进行半波整流和低通滤波，从而得到每个通道的包络特征。

进一步地，步骤二中：经过前端处理过程，混合语音信号在时域和频域上被分解成一系列的T-F单元，在每个T-F单元中，计算下列特征函数：自相关函数(A_H)、包络自相关函数(A_E)、主基音周期(P(m))、相邻信道互相关(C_H)、相邻信道包络互相关(C_E)，式(4)、式(5)、式(6)、式(7、式(8)为其计算公式：

$A_H(c,m,\mathrm{\τ})=\frac{1}{N_c}\underset{n=0}{\overset{N_c-1}{\mathrm{\Σ}}}h(c,\mathrm{mT}-n)h(c,\mathrm{mT}-n-\mathrm{\τ})$ (4)

$A_E(c,m,\mathrm{\τ})=\frac{1}{N_c}\underset{n=0}{\overset{N_c-1}{\mathrm{\Σ}}}{h}_E(c,\mathrm{mT}-n)h_E(c,\mathrm{mT}-n-\mathrm{\τ})$ (5)

其中，c表示信道，m为时间帧，N_c是采样点数，h(c，·)表示神经发放率，时延τ∈[0，12.5ms]，表示帧移，h_E(c，·)为毛细胞输出包络；

$P\left(m\right)=\underset{\mathrm{\τ}}{\max }\left\{\underset{c}{\mathrm{\Σ}}{A}_H(c,m,\mathrm{\τ})\right\},\mathrm{\τ}\∈[2\mathrm{ms},12.5\mathrm{ms}]$ (6)

$C_H(c,m)=\underset{\mathrm{\τ}=0}{\overset{L-1}{\mathrm{\Σ}}}{\hat{A}}_H(c,m,\mathrm{\τ}){\hat{A}}_H(c+1,m,\mathrm{\τ})$ (7)

$C_E(c,m)=\underset{\mathrm{\τ}=0}{\overset{L-1}{\mathrm{\Σ}}}{\hat{A}}_E(c,m,\mathrm{\τ}){\hat{A}}_E(c+1,m,\mathrm{\τ})$ (8)

其中，L=采样率×12.5ms，表示归一化的自相关函数，表示归一化的包络自相关函数。

进一步地，步骤三中：根据听觉特征提取的提取特征，混合语音信号经过听觉前端处理后的那些T-F单元，合并成对应的听觉片段；在时频域中，属于某一个声源的连续T-F单元的片段区域，定义为段，它是介于时频单元和语音听觉流的中间表示；

(1)类型″1″听觉片段

对于频率信道上的两个相邻T-F单元u(c，m)，u(c+1，m)，如果其相邻信道互相关(C_H)满足式(9)，则将这两个T-F单元都标记为″1″；

$U_{\mathrm{lf}}(c,m)=\left\{\begin{array}{ccc}1,& & C_H>{\mathrm{\θ}}_C,{\mathrm{\θ}}_C=0.985\\ 0,& & \mathrm{else}\end{array}\right.$ (9)

将标记是″1″的那些相邻T-F单元合并到听觉片段中，从而得到类型″1″的听觉片段，segment(c，m)=1，c∈{c_lf}，完成了混合语音信号低频部分的听觉分割；

(2)类型″2″听觉片段

对于频率通道上的两个相邻T-F单元，如果其相邻信道包络互相关C_E满足式(10)，则将这两个相邻T-F单元标记为″2″；

$U_{\mathrm{hf}}(c,m)=\left\{\begin{array}{ccc}1,& & C_E>{\mathrm{\θ}}_C,{\mathrm{\θ}}_C=0.985\\ 0,& & \mathrm{else}\end{array}\right.$ (10)

对于不确定性时频单元，根据幅度调制现象和时域连续性这两个特性，将标记为″2″的相邻T-F单元合并到听觉片段中，从而得到类型″2″的听觉片段，segment(c，m)=2，c∈{c_hf}，完成了高频区域连续T-F单元的听觉分割；

(3)对于不满足上述条件的那些T-F单元，不被合并到任何一个听觉片段中，并且将其标记为″0″，即为噪声片段。

进一步地，步骤四中：将上一阶段来自同一个声源的那些听觉片段分别重组到对应的目标语音流和干扰噪声流中，从而实现目标语音分离；

(1)T-F单元标记

对于类型″1″听觉片段中的T-F单元，利用该T-F单元的自相关函数和目标语音基音频率来刻画谐波关系，即周期性准则；如果片段″1″中的时频单元u(c，m)满足：

$\frac{A_H(c,m,P\left(m\right))}{\underset{\mathrm{\τ}}{\max }\left\{A_H(c,m,\mathrm{\τ})\right\}}>{\mathrm{\θ}}_H$ (11)

则标记u(c，m)为目标语音信号主导，否则标记为噪声主导；这里，P(m)是第m帧上的目标基音周期；τ∈[2ms，12.5ms]表示基音周期范围；θ_H=0.85；

听觉片段″2″中主要对应非确定T-F单元，其滤波响应包络具有明显的幅度调制现象，这里采用幅度调制(AM)准则对其进行标记；如果片段″2″中的时频单元u(c，m)满足：

$\frac{A_E(c,m,P\left(m\right))}{\underset{\mathrm{\τ}}{\max }\left\{A_E(c,m,\mathrm{\τ})\right\}}>{\mathrm{\θ}}_E$ (12)

则认为u(c，m)是由目标语音信号主导，否则将其标记为噪声干扰主导；其中，θ_H=0.7；

根据上述标记的T-F单元，将混合语音信号的所有听觉片段分别重组到对应的目标语音听觉流stream(c，m)=1和噪声干扰流stream(c，m)=0中，为下一阶段听觉流调整奠定基础；

(2)最终听觉流形成

对于目标语音信号中高频部分的那些T-F单元，为了估计其被噪声干扰的程度，需要计算混合信号在各个频率信道上的能量，通过对每一个信道上的信号提取时间包络，进而可得到混合信号在各个信道上的能量E(c_i)，c_i∈[1，128]；

具体步骤如下：

①在混合语音信号的低频范围内，根据得到的各个频率信道能量E(c_i)，c_i∈[1，64]，选择三个能量最大值，按从小到大排序为E₀，E₁，E₂；

②对高频范围内的T-F单元进行调整，如果某个频率信道上的能量满足

E(c_i)＞E₀

(13)

则计算该频率信道上所有T-F单元的平均能量

$E^{\′}\left(c_i\right)=\frac{E\left(c_i\right)}{N}$ (14)

其中，N是该频率信道c_i中时间帧的总数；

③对于该频率信道c_i上的各个T-F单元求取能量值E(c_i，m)，如果满足下式：

E(c_i，m)＞E′(c_i)

(15)

则认为该T-F单元由噪声干扰主导，将其从目标语音听觉流stream(c，m)=1中去除掉，并且合并到噪声干扰流stream(c，m)=0中；

④通过迭代重组将stream(c，m)=1周围的T-F单元合并到该听觉流，得到最

终的目标语音听觉流，即目标语音二值模。

进一步地，步骤五中：利用二值模和Gammatone滤波器结构来合成目标语音信号的时域波形图，从而实现语音信号的分离；目标语音重构的具体步骤如下：

(1)各个Gammatone滤波器信道的输出信号先进行时间反转，并将其结果再次送入Gammatone滤波器；

(2)由于滤波器频率信道间存在相位延迟，需要将上一阶段每个滤波输出的信号再一次时间反转，来消除滤波器本身的时延；

(3)利用每帧20ms，帧移10ms的分帧原则，采用升余弦函数作为窗函数，对各个滤波信道的输出信号分帧处理；

(4)以二值模为权值，即权值1和0，在频率轴上对T-F单元滤波响应进行加权求和，其输出结果即为重构后的目标语音信号。

人工智能领域的发展需要新一代计算机的人机接口能自如地用语言和人类交流。现有的技术难以应用于噪声存在时的单通道语音分离问题，本发明所提出的基于能量和谐波特性的计算听觉场景分析单通道混叠语音分离方法，在噪声存在的情况下，可以很好地解决单通道混叠语音分离问题，分离的语音可以应用于语音识别的前端，在人工智能、语音通信，声音信号增强领域都将有着广阔的应用前景。

附图说明

通过参照附图更详细地描述本发明的示例性实施例，本发明的以上和其它方面及优点将变得更加易于清楚，在附图中：

图1为本发明的一种基于计算听觉场景分析的单通道语音盲分离方法的原理模型示意图。

具体实施方式

在下文中，现在将参照附图更充分地描述本发明，在附图中示出了各种实施例。然而，本发明可以以许多不同的形式来实施，且不应该解释为局限于在此阐述的实施例。相反，提供这些实施例使得本公开将是彻底和完全的，并将本发明的范围充分地传达给本领域技术人员。

在下文中，将参照附图更详细地描述本发明的示例性实施例。

参考附图1，本发明采用的技术方案如下：

步骤一、对输入的混叠语音进行前端处理

前端处理是将输入的混合时域信号转化成相应的时频域表示形式。根据人耳的感知机理，将输入混合声音信号通过128个信道的Gammatone滤波器组进行带通滤波，Gammatone滤波器对于人耳基底膜在不同频率上的响应都能很好的模拟，是一种标准的听觉滤波模型，该滤波器的中心频率按照等距宽(Equivalent Rectangular Bandwidth，ERB)在80～5kHz之间准对数分布。将时频分解后的每一个Gammatone滤波器的输出送入Meddis内耳毛细胞模型，得到神经发放率。然后，在时域上对每个毛细胞的输出以帧长20ms，50％重叠为帧移进行分帧处理。将输入的混合语音信号分解成为一系列时频单元，即T-F单元。同时，为了高频部分的特征提取和听觉重组，对毛细胞输出进行半波整流和低通滤波，从而得到每个通道的包络特征。

步骤二、对经过步骤一处理的混叠语音进行听觉特征提取

经过前端处理过程，混合语音信号在时域和频域上被分解成一系列的T-F单元，在每个T-F单元中，计算下列特征函数：自相关函数(A_H)、包络自相关函数(A_E)、主基音周期(P(m))、相邻信道互相关(C_H)、相邻信道包络互相关(C_E)，式(4)、式(5)、式(6)、式(7、式(8)为其计算公式。

$A_H(c,m,\mathrm{\τ})=\frac{1}{N_c}\underset{n=0}{\overset{N_c-1}{\mathrm{\Σ}}}h(c,\mathrm{mT}-n)h(c,\mathrm{mT}-n-\mathrm{\τ})$ (4)

$A_E(c,m,\mathrm{\τ})=\frac{1}{N_c}\underset{n=0}{\overset{N_c-1}{\mathrm{\Σ}}}{h}_E(c,\mathrm{mT}-n)h_E(c,\mathrm{mT}-n-\mathrm{\τ})$ (5)

其中，c表示信道，m为时间帧，N_c是采样点数，h(c，·)表示神经发放率，时延τ∈[0，12.5ms]，表示帧移，h_E(c，·)为毛细胞输出包络。

$P\left(m\right)=\underset{\mathrm{\τ}}{\max }\left\{\underset{c}{\mathrm{\Σ}}{A}_H(c,m,\mathrm{\τ})\right\},\mathrm{\τ}\∈[2\mathrm{ms},12.5\mathrm{ms}]$ (6)

$C_H(c,m)=\underset{\mathrm{\τ}=0}{\overset{L-1}{\mathrm{\Σ}}}{\hat{A}}_H(c,m,\mathrm{\τ}){\hat{A}}_H(c+1,m,\mathrm{\τ})$ (7)

$C_E(c,m)=\underset{\mathrm{\τ}=0}{\overset{L-1}{\mathrm{\Σ}}}{\hat{A}}_E(c,m,\mathrm{\τ}){\hat{A}}_E(c+1,m,\mathrm{\τ})$ (8)

其中，L＝采样率×12.5ms，表示归一化的自相关函数，表示归一化的包络自相关函数。

步骤三、对经过步骤二处理的混叠语音基于谐波特性进行听觉分割

根据听觉特征提取的提取特征，混合语音信号经过听觉前端处理后的那些T-F单元，可以合并成对应的听觉片段。在时频域中，属于某一个声源的连续T-F单元的片段区域，定义为段，它是介于时频单元和语音听觉流的中间表示。听觉分段的目的在于分辨出时频域中可以利用的那些连续T-F单元，并且，每个分段惟一的对应着某一个声源。

(1)类型″1″听觉片段

Gammatone听觉滤波器组中，由于相邻的带通频率之间表现出明显的重叠现象，从而多个邻近滤波器受到同一个谐波的激励，导致相邻信道的高度相关性。听觉滤波器相邻信道互相关(C_H)程度越高，即其值越接近于1，表明这两个相邻信道来自于同一声源的可能性越大。因此，对于频率信道上的两个相邻T-F单元u(c，m)，u(c+1，m)，如果其相邻信道互相关(C_H)满足式(9)，则将这两个T-F单元都标记为″1″。

$U_{\mathrm{lf}}(c,m)=\left\{\begin{array}{cc}1,& C_H>{\mathrm{\θ}}_C,{\mathrm{\θ}}_C=0.985\\ 0,& \mathrm{else}\end{array}\right.$ (9)

另外，语音信号具有时域连续性，通常会持续一段时间(＞50ms)。基于语音信号的这两个特性，可以成功的将标记是″1″的那些相邻T-F单元合并到听觉片段中，从而得到类型″1″的听觉片段，segment(c，m)＝1，c∈{c_lf}，完成了混合语音信号低频部分的听觉分割。

(2)类型″2″听觉片段

语音信号的高频范围(＞1kHz)内，听觉滤波器的频率通带较宽，一个滤波器会同时响应多个谐波，以至于这些不确定谐波的滤波响应产生幅度调制(AM)现象，并且相邻通道的包络具有很强的通道互相关。相邻信道包络互相关程度越高，表明高频范围内的两个相邻信道来自于同一声源的可能性越大。因此，对于频率通道上的两个相邻T-F单元，如果其相邻信道包络互相关C_E满足式(10)，则将这两个相邻T-F单元标记为″2″。

$U_{\mathrm{hf}}(c,m)=\left\{\begin{array}{cc}1,& C_E>{\mathrm{\θ}}_C,{\mathrm{\θ}}_C=0.985\\ 0,& \mathrm{else}\end{array}\right.$ (10)

因此，对于不确定性时频单元，根据幅度调制现象和时域连续性这两个特性，可以成功的将标记为″2″的相邻T-F单元合并到听觉片段中，从而得到类型″2″的听觉片段，segment(c，m)＝2，c∈{c_hf}，完成了高频区域连续T-F单元的听觉分割。

(3)对于不满足上述条件的那些T-F单元，不被合并到任何一个听觉片段中，并且将其标记为″0″，即为噪声片段。

步骤四、对经过步骤三处理的混叠语音基于能量特征进行听觉重组

将上一阶段来自同一个声源的那些听觉片段分别重组到对应的目标语音流和干扰噪声流中，从而实现目标语音分离。

(1)T-F单元标记

对于类型″1″听觉片段中的T-F单元，利用该T-F单元的自相关函数和目标语音基音频率来刻画谐波关系，即周期性准则。如果片段″1″中的时频单元u(c，m)满足：

$\frac{A_H(c,m,P\left(m\right))}{\underset{\mathrm{\τ}}{\max }\left\{A_H(c,m,\mathrm{\τ})\right\}}>{\mathrm{\θ}}_H$ (11)

则标记u(c，m)为目标语音信号主导，否则标记为噪声主导。这里，P(m)是第m帧上的目标基音周期；τ∈[2ms，12.5ms]表示基音周期范围。θ_H＝0.85

听觉片段″2″中主要对应非确定T-F单元，其滤波响应包络具有明显的幅度调制现象，这里采用幅度调制(AM)准则对其进行标记。如果片段″2″中的时频单元u(c，m)满足：

$\frac{A_E(c,m,P\left(m\right))}{\underset{\mathrm{\τ}}{\max }\left\{A_E(c,m,\mathrm{\τ})\right\}}>{\mathrm{\θ}}_E$ (12)

则认为u(c，m)是由目标语音信号主导，否则将其标记为噪声干扰主导。其中，θ_H＝0.7。

根据上述标记的T-F单元，将混合语音信号的所有听觉片段分别重组到对应的目标语音听觉流stream(c，m)＝1和噪声干扰流stream(c，m)＝0中，为下一阶段听觉流调整奠定基础。

(2)最终听觉流形成

对于目标语音信号中高频部分的那些T-F单元，为了估计其被噪声干扰的程度，需要计算混合信号在各个频率信道上的能量，本发明通过对每一个信道上的信号提取时间包络，进而可得到混合信号在各个信道上的能量E(c_i)，c_i∈[1，128]。

具体步骤如下：

①在混合语音信号的低频范围内(低于1kHz)，根据得到的各个频率信道能量E(c_i)，c_i∈[1，64]，选择三个能量最大值，按从小到大排序为E₀，E₁，E₂。

②对高频范围内的T-F单元进行调整，如果某个频率信道上的能量满足

E(c_i)＞E₀

(13)

则计算该频率信道上所有T-F单元的平均能量

$E^{\′}\left(c_i\right)=\frac{E\left(c_i\right)}{N}$ (14)

其中，N是该频率信道c_i中时间帧的总数。

③对于该频率信道c_i上的各个T-F单元求取能量值E(c_i，m)，如果满足下式：

E(c_i，m)＞E′(c_i)

(15)

则认为该T-F单元由噪声干扰主导，将其从目标语音听觉流stream(c，m)＝1中去除掉，并且合并到噪声干扰流stream(c，m)＝0中。

④通过迭代重组将stream(c，m)＝1周围的T-F单元合并到该听觉流，得到最终的目标语音听觉流，即目标语音二值模。

步骤五、对经过步骤四处理的混叠语音进行目标语音重构

利用二值模和Gammatone滤波器结构来合成目标语音信号的时域波形图，从而实现语音信号的分离。目标语音重构的具体步骤如下：

(1)各个Gammatone滤波器信道的输出信号先进行时间反转，并将其结果再次送入Gammatone滤波器。

(2)由于滤波器频率信道间存在相位延迟，需要将上一阶段每个滤波输出的信号再一次时间反转，来消除滤波器本身的时延。

(3)利用每帧20ms，帧移10ms的分帧原则，采用升余弦函数作为窗函数，对各个滤波信道的输出信号分帧处理。

(4)以二值模为权值(即权值1和0)，在频率轴上对T-F单元滤波响应进行加权求和，其输出结果即为重构后的目标语音信号。

以上所述仅为本发明的实施例而已，并不用于限制本发明。本发明可以有各种合适的更改和变化。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于计算听觉场景分析的单通道语音盲分离方法，其特征在于：

所述方法包括如下步骤：

步骤一、对输入的混叠语音进行前端处理；所述前端处理是将输入的混合时域信号转化成相应的时频域表示形式；根据人耳的感知机理，将输入混合声音信号通过128个信道的Gammatone滤波器组进行带通滤波，该滤波器的中心频率按照等距宽(EquivalentRectangular Bandwidth，ERB)在80～5kHz之间准对数分布；将时频分解后的每一个Gammatone滤波器的输出送入Meddis内耳毛细胞模型；得到神经发放率；然后，在时域上对每个毛细胞的输出以帧长20ms，50％重叠为帧移进行分帧处理；将输入的混合语音信号分解成为一系列时频单元，即T-F单元；同时，为了高频部分的特征提取和听觉重组，对毛细胞输出进行半波整流和低通滤波，从而得到每个通道的包络特征；

步骤二、对经过步骤一处理的混叠语音进行听觉特征提取；经过前端处理过程，混合语音信号在时域和频域上被分解成一系列的T-F单元，在每个T-F单元中，计算下列特征函数：自相关函数(A_H)、包络自相关函数(A_E)、主基音周期(P(m))、相邻信道互相关(C_H)、相邻信道包络互相关(C_E)，式(4)、式(5)、式(6)、式(7)、式(8)为其计算公式：

$A_H(c,m,\mathrm{\τ})=\frac{1}{N_c}\underset{n=0}{\overset{N_c-1}{\Σ}}h(c,mT-n)h(c,mT-n-\mathrm{\τ})---\left(4\right)$

$A_E(c,m,\mathrm{\τ})=\frac{1}{N_c}\underset{n=0}{\overset{N_c-1}{\Σ}}{h}_E(c,mT-n)h_E(c,mT-n-\mathrm{\τ})---\left(5\right)$

其中，c表示信道，m为时间帧，N_c是采样点数，h(c，·)表示神经发放率，时延τ∈[0，12.5ms]，表示帧移，h_E(c，·)为毛细胞输出包络，n表示某个采样点；

$P\left(m\right)=\underset{\mathrm{\τ}}{max}\left\{\underset{c}{\Σ}{A}_H(c,m,\mathrm{\τ})\right\},\mathrm{\τ}\∈\[2ms,12.5ms\]$ $\left(6\right)$

$C_H(c,m)=\underset{\mathrm{\τ}=0}{\overset{L-1}{\Σ}}{\hat{A}}_H(c,m,\mathrm{\τ}){\hat{A}}_H(c+1,m,\mathrm{\τ})---\left(7\right)$

$C_E(c,m)=\underset{\mathrm{\τ}=0}{\overset{L-1}{\Σ}}{\hat{A}}_E(c,m,\mathrm{\τ}){\hat{A}}_E(c+1,m,\mathrm{\τ})---\left(8\right)$

其中，L＝采样率×12.5ms，表示归一化的自相关函数，表示归一化的包络自相关函数；

步骤三、对经过步骤二处理的混叠语音基于谐波特性进行听觉分割；根据听觉特征提取的提取特征，混合语音信号经过听觉前端处理后的那些T-F单元，合并成对应的听觉片段；在时频域中，属于某一个声源的连续T-F单元的片段区域，定义为段，它是介于时频单元和语音听觉流的中间表示；

(1)类型″1″听觉片段

对于频率信道上的两个相邻T-F单元u(c，m)，u(c+1，m)，如果其相邻信道互相关(C_H)满足式(9)，则将这两个T-F单元都标记为″1″；

$U_{lf}(c,m)=\left\{\begin{array}{cc}1,& \begin{array}{cc}{C}_H>{\mathrm{\θ}}_C& {\mathrm{\θ}}_C=0.985\end{array}\\ 0& else\end{array}\right.---\left(9\right)$

将标记是″1″的那些相邻T-F单元合并到听觉片段中，从而得到类型″1″的听觉片段，segment(c，m)＝1，c∈{c_lf}，其中c_lf表示低频通道集合，完成混合语音信号低频部分的听觉分割；

(2)类型″2″听觉片段

对于频率通道上的两个相邻T-F单元，如果其相邻信道包络互相关C_E满足式(10)，则将这两个相邻T-F单元标记为″2″；

$U_{hf}(c,m)=\left\{\begin{array}{cc}1,& \begin{array}{cc}{C}_E>{\mathrm{\θ}}_C& {\mathrm{\θ}}_C=0.985\end{array}\\ 0& else\end{array}\right.---\left(10\right)$

对于不确定性时频单元，根据幅度调制现象和时域连续性这两个特性，将标记为″2″的相邻T-F单元合并到听觉片段中，从而得到类型″2″的听觉片段，segment(c，m)＝2，c∈{c_hf}，其中，c_hf表示高频通道集合，完成高频区域连续T-F单元的听觉分割；

(3)对于不满足上述条件的那些T-F单元，不被合并到任何一个听觉片段中，并且将其标记为″0″，即为噪声片段；

步骤四、对经过步骤三处理的混叠语音基于能量特征进行听觉重组；将上一阶段来自同一个声源的那些听觉片段分别重组到对应的目标语音流和干扰噪声流中，从而实现目标语音分离；

(1)T-F单元标记

对于类型″1″听觉片段中的T-F单元，利用该T-F单元的自相关函数和目标语音基音频率来刻画谐波关系，即周期性准则；如果片段″1″中的时频单元u(c，m)满足：

$\frac{A_H(c,m,P(m\left)\right)}{\underset{\mathrm{\τ}}{\max }\left\{A_H(c,m,\mathrm{\τ})\right\}}>{\mathrm{\θ}}_H---\left(11\right)$

则标记u(c，m)为目标语音信号主导，否则标记为噪声主导；这里，P(m)是第m帧上的目标基音周期；τ∈[2ms，12.5ms]表示基音周期范围；θ_H＝0.85；

听觉片段″2″中主要对应非确定T-F单元，其滤波响应包络具有明显的幅度调制现象，这里采用幅度调制(AM)准则对其进行标记；如果片段″2″中的时频单元u(c，m)满足：

$\frac{A_E(c,m,P(m\left)\right)}{\underset{\mathrm{\τ}}{\max }\left\{A_E(c,m,\mathrm{\τ})\right\}}>{\mathrm{\θ}}_E---\left(12\right)$

则认为u(c，m)是由目标语音信号主导，否则将其标记为噪声干扰主导；其中，θ_E＝0.7；

根据上述标记的T-F单元，将混合语音信号的所有听觉片段分别重组到对应的目标语音听觉流stream(c，m)＝1和噪声干扰流stream(c，m)＝0中，为下一阶段听觉流调整奠定基础；

(2)最终听觉流形成

对于目标语音信号中高频部分的那些T-F单元，为了估计其被噪声干扰的程度，需要计算混合信号在各个频率信道上的能量，通过对每一个信道上的信号提取时间包络，进而可得到混合信号在各个信道上的能量E(c_i)，c_i∈[1，128]；具体步骤如下：

①在混合语音信号的低频范围内，根据得到的各个频率信道能量E(c_i)，c_i∈[1，64]，选择三个能量最大值，按从小到大排序为E₀，E₁，E₂；

②对高频范围内的T-F单元进行调整，如果某个频率信道上的能量满足

E(c_i)＞E₀

(13)

则计算该频率信道上所有T-F单元的平均能量

$E^{\′}\left(c_i\right)=\frac{E\left(c_i\right)}{N}---\left(14\right)$

其中，N是该频率信道c_i中时间帧的总数；

③对于该频率信道ci上的各个T-F单元求取能量值E(ci，m)，如果满足下式：

E(c_i，m)＞E′(c_i)

(15)

则认为该T-F单元由噪声干扰主导，将其从目标语音听觉流stream(c，m)＝1中去除掉，并且合并到噪声干扰流stream(c，m)＝0中；

④通过迭代重组将stream(c，m)＝1周围的T-F单元合并到该听觉流，得到最终的目标语音听觉流，即目标语音二值模；

步骤五、对经过步骤四处理的混叠语音进行目标语音重构；利用二值模和Gammatone滤波器结构来合成目标语音信号的时域波形图，从而实现语音信号的分离；目标语音重构的具体步骤如下：

(1)各个Gammatone滤波器信道的输出信号先进行时间反转，并将其结果再次送入Gammatone滤波器；

(2)由于滤波器频率信道间存在相位延迟，需要将上一阶段每个滤波输出的信号再一次时间反转，来消除滤波器本身的时延；

(3)利用每帧20ms，帧移10ms的分帧原则，采用升余弦函数作为窗函数，对各个滤波信道的输出信号分帧处理；

(4)以二值模为权值，即权值1和0，在频率轴上对T-F单元滤波响应进行加权求和，其输出结果即为重构后的目标语音信号。