CN112331226B - 一种针对主动降噪系统的语音增强系统及方法 - Google Patents
一种针对主动降噪系统的语音增强系统及方法 Download PDFInfo
- Publication number
- CN112331226B CN112331226B CN202011057901.6A CN202011057901A CN112331226B CN 112331226 B CN112331226 B CN 112331226B CN 202011057901 A CN202011057901 A CN 202011057901A CN 112331226 B CN112331226 B CN 112331226B
- Authority
- CN
- China
- Prior art keywords
- noise
- signal
- module
- output
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009467 reduction Effects 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 28
- 230000003044 adaptive effect Effects 0.000 claims abstract description 79
- 238000001228 spectrum Methods 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000000903 blocking effect Effects 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 125000004122 cyclic group Chemical group 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 230000014759 maintenance of location Effects 0.000 claims 2
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 102100033495 Glycine dehydrogenase (decarboxylating), mitochondrial Human genes 0.000 description 1
- 101000998096 Homo sapiens Glycine dehydrogenase (decarboxylating), mitochondrial Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
- G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
- G10K11/1781—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
- G10K11/17813—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms
- G10K11/17817—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the acoustic paths, e.g. estimating, calibrating or testing of transfer functions or cross-terms between the output signals and the error signals, i.e. secondary path
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
- G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
- G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
- G10K11/1785—Methods, e.g. algorithms; Devices
- G10K11/17853—Methods, e.g. algorithms; Devices of the filter
- G10K11/17854—Methods, e.g. algorithms; Devices of the filter the filter being an adaptive filter
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/26—Pre-filtering or post-filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/87—Detection of discrete points within a voice signal
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02166—Microphone arrays; Beamforming
Abstract
本发明公开一种针对主动降噪系统的语音增强系统及方法，属于噪声控制和智能语音技术领域。包括：一个能够输出噪声信号的噪声源、一个能够输出语音信号的信号源、一个能够采集噪声信号的麦克风阵列、一个能够通过广义互功率谱算法计算麦克风之间时延的时延估计模块、一个能够根据接收到的时延信息对所述噪声信号时延补偿的时延补偿模块、一个自适应波束形成模块能够得到噪声估计值和目标信号估计值、一个误差传感器能够输出误差信号、一个自适应滤波器能够输出抵消噪声信号、一个抵消噪声扬声器和一个能够获取增强后语音信号的语音增强模块。本发明解决了现有技术中主动降噪方法会损失有用声源，导致语音失真的问题。
Description
技术领域
本发明属于噪声控制和智能语音技术领域，尤其涉及一种针对主动降噪系统的语音增强系统及方法。
背景技术
主动降噪通常是利用电声器件产生与原始噪声等幅反相的抵消噪声，使两者在空间中实现物理抵消，进而形成一个安静的声场。当存在有用信号的时候，传统主动降噪方法会把有用的信号也抵消掉，且在提升信噪比的同时，往往会使语音失真。
发明内容
本发明的目的是提供一种针对主动降噪系统的语音增强系统及方法，以解决现有技术中主动降噪方法会损失有用声源，导致语音失真的问题。
为了实现上述目的，本发明提供如下技术方案：
一个噪声源，其能够输出噪声信号；
一个信号源，其能够输出语音信号；
一个麦克风阵列，其包括若干个均匀线性排布的麦克风，所述麦克风阵列能够采集所述噪声信号；
一个时延估计模块，其配置为能够接收所述麦克风阵列输出的噪声信号，所述时延估计模块将所述噪声信号通过广义互功率谱算法计算麦克风之间的时延；
一个时延补偿模块，其配置为能够接收所述时延估计模块输出的时延信息和所述麦克风阵列输出的噪声信号，所述时延补偿模块能够根据接收到的时延信息对所述噪声信号时延补偿；
一个自适应波束形成模块，其配置为能够接收所述时延补偿模块输出的得到时延补偿后的噪声信号；所述自适应波束形成模块通过噪声估计算法得到噪声估计值，所述自适应波束形成模块通过目标信号估计算法得到目标信号估计值；
一个误差传感器，其能够接收所述降噪扬声器输出的反噪声信号，所述误差传感器能够接收所述噪声源输出的所述噪声信号；所述误差传感器能够根据所述反噪声信号和所述噪声信号输出误差信号；
一个第一自适应滤波器，其配置为能够接收所述噪声估计值和所述误差信号；所述第一自适应滤波器根据所述噪声估计值和所述误差信号更新所述第一自适应滤波器的权值，所述第一自适应滤波器能够输出抵消噪声信号；
一个抵消噪声扬声器，其能够接收所述抵消噪声信号，所述抵消噪声扬声器能够输出所述抵消噪声信号；所述抵消噪声信号能够将带噪信号中的噪声抵消掉；
一个语音增强模块，其能够接收所述目标信号估计值；所述语音增强模块通过深度神经网络语音增强模块实时处理所述目标信号估计值，获得增强后的语音信号。
在上述技术方案的基础上，本发明还可以做如下改进：
进一步地，所述自适应波束形成模块根据滤波阶数，麦克风数目获取目标信号的估计值。
进一步地，若干个第二自适应滤波器组，所述若干个第二自适应滤波器组组成一个阻塞矩阵。
进一步地，一个噪声消除模块，其配置为能够接收所述输出相向量，所述噪声消除模块包括若干个第三自适应滤波器；若干个所述第三自适应滤波器的长度为；所述噪声消除模块能够对接收到的所述输出向量滤波。
进一步地，所述噪声消除模块输出消除噪声后获取消除噪声后的目标信号估计值。
进一步地，所述深度神经网络语音增强模块接收所述目标信号估计值；所述深度神经网络语音增强模块对所述目标信号估计值分帧、重叠加窗和短时傅里叶变换得到一组特征向量。
进一步地，所述特征向量经过循环神经网络RNN模型计算，得到子带增益；带噪语音经过基音滤波器消除其谐波间的噪声，其输出在频域内与子带增益相点乘，即可得到降噪之后的频域信号。
进一步地，通过傅里叶逆变换，根据重叠相加原理，重建出纯净语音的时域波形；输出增强后的语音信号。
一种针对主动降噪系统的语音增强方法，其特征在于，包括：
S101：配置一个信号源、一个噪声源和一个麦克风阵列；所述信号源能够输出语音信号，所述噪声源能够输出噪声信号；所述麦克风阵列包括若干个均匀线性排布的麦克风，所述麦克风阵列能够采集所述噪声信号；
S102：配置一个时延估计模块；所述时延估计模块能够接收所述麦克风阵列输出的噪声信号，所述时延估计模块将所述噪声信号通过广义互功率谱算法计算麦克风之间的时延；
S103：配置一个时延补偿模块，所述时延补偿模块能够接收所述时延估计模块输出的时延信息和所述麦克风阵列输出的噪声信号，所述时延补偿模块能够根据接收到的时延信息对所述噪声信号时延补偿；
S104：配置一个自适应波束形成模块，所述自适应波束形成模块为能够接收所述时延补偿模块输出的得到时延补偿后的噪声信号；所述自适应波束形成模块通过噪声估计算法得到噪声估计值，所述自适应波束形成模块通过目标信号估计算法得到目标信号估计值；
S105：配置一个误差传感器，其能够接收所述降噪扬声器输出的反噪声信号，所述误差传感器能够接收所述噪声源输出的所述噪声信号；所述误差传感器能够根据所述反噪声信号和所述噪声信号输出误差信号；
S106：配置一个第一自适应滤波器，其能够接收所述噪声估计值和所述误差信号；所述第一自适应滤波器根据所述噪声估计值和所述误差信号更新所述第一自适应滤波器的权值，所述第一自适应滤波器能够输出抵消噪声信号；
S107：配置一个抵消噪声扬声器，其能够接收所述抵消噪声信号，所述抵消噪声扬声器能够输出所述抵消噪声信号；所述抵消噪声信号能够将带噪信号中的噪声抵消掉；
S108：配置一个语音增强模块，其能够接收所述目标信号估计值；所述语音增强模块通过深度神经网络语音增强模块实时处理所述目标信号估计值，获得增强后的语音信号。
本发明具有如下优点：
1.本发明中的针对主动降噪系统的语音增强方法，基于深度神经网络有监督学习的语音增强方法，充分利用了语音的先验信息，克服了无监督学习方法存在的很多假设和噪声估计不准确的问题，大大地提升了语音增强的性能。
2.本发明中的针对主动降噪系统的语音增强方法，利用麦克风阵列和自适应波束形成算法的思想对主动降噪系统进行改进，既可以在空间中进行噪声控制，形成不含噪声的局部区域，又可以提取出纯净的语音信号，有效地减少了有用声源的损失，实现了更好的语音保真效果。
同时，经过深度神经网络对语音信号进行增强，进一步提升语音质量和可懂度，系统功能得以完善，并取得令人满意的效果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明针对主动降噪系统的语音增强方法的流程示意图。
图2为本发明针对主动降噪系统的语音增强系统的工作原理图。
图3为本发明针对主动降噪系统的语音增强系统的连接结构示意图。
噪声源10，信号源20，麦克风阵列30，时延估计模块40，时延补偿模块50，自适应波束形成模块60，误差传感器70，第一自适应滤波器80，抵消噪声扬声器90，语音增强模块100。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1-3所示，本发明实施例提供了一种针对主动降噪系统的语音增强方法，包括：一个噪声源10、一个信号源20、一个麦克风阵列30、一个时延估计模块40、一个时延补偿模块50、一个自适应波束形成模块60、一个误差传感器70、一个第一自适应滤波器80、一个抵消噪声扬声器90和一个语音增强模块100
噪声源10，其能够输出噪声信号。
信号源20，其能够输出纯净的语音信号，信号源20输出的纯净的语音信号经过传播被会被噪声源10输出的噪声信号污染成为带噪信号。
麦克风阵列30，其包括若干个均匀线性排布的麦克风，麦克风阵列30能够采集噪声源10输出的噪声信号，得到的观测数据可以表示为p1，p2，……pM，，噪声信号作为自适应算法中的参考信号，参考信号是应用于自适应算法中的要被抵消掉的噪声信号。
时延估计模块40，其配置为能够接收麦克风阵列30输出的噪声信号，时延估计模块40将噪声信号通过广义互功率谱算法计算麦克风之间的时延。通过时延估计模块40估计的信号延时可以表示为τ1，τ2，......τM，。
在时延估计模块40中，采用具有较好的抗噪声和抗混响能力的广义互功率谱算法，它是对传统的CSP方法的一种优化。在GCSP方法中，加权函数Ψij(ω)取为
|S(ω)|2是声源信号的功率谱，由多对麦克风阵列30信号的互功率谱来估计：
其中，第i和第j个麦克风阵列30信号的互功率谱为：
加权以后的互功率谱函数为：
G'ij(ω)＝Ψij(ω)Gij(ω)
求出：
Rij(τ)的峰值位置，即为麦克i与麦克j之间的时延。
这里要结合语音活动性检测(VAD)，仅对有语音帧进行计算更加准确。
时延补偿模块50，其配置为能够接收时延估计模块40输出的时延信息和麦克风阵列30输出的噪声信号，时延补偿模块50能够根据接收到的时延信息对噪声信号时延补偿。经过时延补偿之后的信号表示为s1，s2，......sM，通过自适应波束形成噪声估计模块得到噪声的估计值x。
自适应波束形成模块60，其配置为能够接收时延补偿模块50输出的得到时延补偿后的噪声信号。自适应波束形成模块60通过噪声估计算法得到噪声估计值，自适应波束形成模块60通过目标信号估计算法得到目标信号估计值。
在自适应波束形成模块60中，采用鲁棒性广义旁瓣抵消结构。自适应波束形成模块60的滤波阶数为Lf，麦克风数目为M。输出可表示为：
yf(k)＝ATx(k) 公式1
其中：
A为滤波器系数，与目标语音信号的位置和传播路径有关。通过设定A，使得麦克风在一定范围内(由说话者的活动范围提前确定)能够对准说话者注视方向的目标信号，使目标信号得到增强而使其他方向的干扰衰减。
误差传感器70，其能够接收降噪扬声器输出的反噪声信号，误差传感器70能够接收噪声源10输出的噪声信号。误差传感器70能够根据反噪声信号和噪声信号输出误差信号。
第一自适应滤波器80，其配置为能够接收噪声估计值和误差信号。第一自适应滤波器80根据噪声估计值和误差信号更新自适应滤波器的权值，第一自适应滤波器80能够输出抵消噪声信号。
抵消噪声扬声器90，其能够接收抵消噪声信号，抵消噪声扬声器90能够输出抵消噪声信号。抵消噪声信号能够将带噪信号中的噪声抵消掉。
语音增强模块100，其能够接收目标信号估计值。语音增强模块100通过深度神经网络语音增强模块100实时处理目标信号估计值，获得增强后的语音信号。
通过在PC上对比实验得出结论，相比于传统ANC系统在“安静”区域内语音和噪声均被抑制，语音信号没有被增强。采用了麦克风阵列30语音增强方法前馈型ANC系统，当输入信噪比为-10dB(分贝)时，语音增强之后的信噪比提升了18.82dB，语音质量PESQ值由1.113提升到2.222。
当输入信噪比为-5dB时，语音增强之后的信噪比提升了15.15dB，语音质量PESQ值由1.148提升到2.611。当输入信噪比为0dB时，语音增强之后的信噪比提升了10.68dB，语音质量PESQ值由1.225提升到2.537。可见，本发明对ANC系统控制噪声和提升语音质量效果明显。
如图1-3所示，一个阻塞矩阵B(k)＝(b1(k)，b2(k)，…，bM(k))，其包括若干个第二自适应滤波器，第二自适应滤波器的长度为Lb，阻塞矩阵能够消除目标语音信号保留噪声。
阻塞矩阵的输出为：
eb(k)＝yb(k)-BT(k)xb(k)
其中，
yb(k)＝(x1(k)，x2(k)，…，xM(k))T为自适应滤波器的期望信号。
xb(k)＝(yf(k)，yf(k-1)，…，yf(k-Lb+1))T为输入信号。
系数矩阵中：
第二自适应滤波器具有一个滤波器系数的自适应调整公式：
bm，k(n+1)＝bm，k(n)+2μbyf(n)eb，m(n) 公式3
一个噪声消除模块NC，其配置为能够接收输出相向量eb，m(k)，包括若干个第三自适应滤波器cm(k)(m＝1，2，…，M)，若干个第三自适应滤波器的长度为Lc。噪声消除模块能够对接收到的输出向量eb，m(k)滤波。
噪声消除模块的输出为：
ec(k)＝yf(k)-cT(k)xc(k) 公式4
其中：
基于最小平方准则求解优化问题：
如图1-3所示，通过滤波算法在LMS算法的基础上优化，降噪扬声器发出的反噪声信号到达误差传感器70所经过的通道为次级通道，次级通道表示为S(z)，是通过离线或在线的方式对S(z)估计。离线或在线是指对次级通道S(z)的传递特性进行辨识的两种方式。离线方式适用于耳机等使用环境保持稳定或者改变不大的情况。在线的方式则针对环境多变的情况。
初级通道是指噪声源10所发出的噪声到达误差传感器70所经过的通道，也被称作主通道。
通过对x滤波，得到的滤波结果为/>滤波器的权系数更新公式为：
滤波器的输出为：
y(n)＝WT(n)X(n) 公式7。
深度神经网络语音增强模块100接收目标信号估计值。深度神经网络语音增强模块100对目标信号估计值分帧、重叠加窗和短时傅里叶变换得到一组特征向量。重叠是指对语音信号分帧时，为了保证连续性，而做的帧之间的数据重叠。加窗就是对帧数据乘以一个窗函数。
表一
得到22子带。在22个子带提取bark frequency Cepstral coefficients(BFCC)，取前6个BFCC的一阶二阶差分，提取基音周期特征、互相关系数计算DCT的前6个系数及频谱动态特征，组成一个42维的特征向量。经过循环神经网络RNN模型计算，得到子带增益。带噪语音经过基音滤波器消除其谐波间的噪声，其输出在频域内与子带增益相点乘，即可得到降噪之后的频域信号。最后通过傅里叶逆变换，根据重叠相加原理，重建出纯净语音的时域波形。
一种针对主动降噪系统的语音增强方法，包括：
S101：配置一个信号源、一个噪声源和一个麦克风阵列。
本步骤中，配置一个信号源20、一个噪声源10和一个麦克风阵列30。信号源20能够输出语音信号，噪声源10能够输出噪声信号。麦克风阵列30包括若干个均匀线性排布的麦克风，麦克风阵列30能够采集噪声信号。
S102：时延估计模块计算麦克风之间的时延。
本步骤中，配置一个时延估计模块40。时延估计模块40能够接收麦克风阵列30输出的噪声信号，时延估计模块40将噪声信号通过广义互功率谱算法计算麦克风之间的时延。
S103：时延补偿模块对噪声信号时延补偿。
本步骤中，配置一个时延补偿模块50，时延补偿模块50能够接收时延估计模块40输出的时延信息和麦克风阵列30输出的噪声信号，时延补偿模块50能够根据接收到的时延信息对噪声信号时延补偿。
S104：通过自适应波束形成模块得到噪声估计值和目标信号估计值。
本步骤中，配置一个自适应波束形成模块60，自适应波束形成模块60为能够接收时延补偿模块50输出的得到时延补偿后的噪声信号。自适应波束形成模块60通过噪声估计算法得到噪声估计值，自适应波束形成模块60通过目标信号估计算法得到目标信号估计值。
S105：误差传感器输出误差信号。
本步骤中，配置一个误差传感器70，其能够接收降噪扬声器输出的反噪声信号，误差传感器70能够接收噪声源10输出的噪声信号。误差传感器70能够根据反噪声信号和噪声信号输出误差信号。
S106：第一自适应滤波器能够根据噪声估计值和误差信号更新自适应滤波器的权值并输出抵消噪声信号。
本步骤中，配置一个第一自适应滤波器，其能够接收噪声估计值和误差信号。第一自适应滤波器根据噪声估计值和误差信号更新第一自适应滤波器的权值，自适应滤波器能够输出抵消噪声信号。
S107：抵消噪声扬声器能够输出抵消噪声信号。
本步骤中，配置一个抵消噪声扬声器90，其能够接收抵消噪声信号，抵消噪声扬声器90能够输出抵消噪声信号。抵消噪声信号能够将带噪信号中的噪声抵消掉。
S108：语音增强模块通过深度神经网络语音增强模块实时处理目标信号估计值获得增强后的语音信号。
本步骤中，配置一个语音增强模块100，其能够接收目标信号估计值。语音增强模块100通过深度神经网络语音增强模块100实时处理目标信号估计值，获得增强后的语音信号。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种针对主动降噪的语音增强系统，其特征在于，包括：
一个噪声源，其能够输出噪声信号；
一个信号源，其能够输出语音信号；
一个麦克风阵列，其包括若干个均匀线性排布的麦克风，所述麦克风阵列能够采集所述噪声信号；
一个时延估计模块，其配置为能够接收所述麦克风阵列输出的噪声信号，所述时延估计模块将所述噪声信号通过广义互功率谱算法计算麦克风之间的时延；
一个时延补偿模块，其配置为能够接收所述时延估计模块输出的时延信息和所述麦克风阵列输出的噪声信号，所述时延补偿模块能够根据接收到的时延信息对所述噪声信号时延补偿；
一个自适应波束形成模块，其配置为能够接收所述时延补偿模块输出的得到时延补偿后的噪声信号；所述自适应波束形成模块通过噪声估计算法得到噪声估计值，所述自适应波束形成模块通过目标信号估计算法得到目标信号估计值；
一个误差传感器，其能够接收降噪扬声器输出的反噪声信号，所述误差传感器能够接收所述噪声源输出的所述噪声信号；所述误差传感器能够根据所述反噪声信号和所述噪声信号输出误差信号；
一个第一自适应滤波器，其配置为能够接收所述噪声估计值和所述误差信号；所述第一自适应滤波器根据所述噪声估计值和所述误差信号更新所述第一自适应滤波器的权值，所述第一自适应滤波器能够输出抵消噪声信号；
一个抵消噪声扬声器，其能够接收所述抵消噪声信号，所述抵消噪声扬声器能够输出所述抵消噪声信号；所述抵消噪声信号能够将带噪信号中的噪声抵消掉；
一个语音增强模块，其能够接收所述目标信号估计值；所述语音增强模块通过深度神经网络语音增强模块实时处理所述目标信号估计值，获得增强后的语音信号；所述深度神经网络语音增强模块接收所述目标信号估计值；所述深度神经网络语音增强模块对所述目标信号估计值分帧、重叠加窗和短时傅里叶变换得到一组特征向量；所述特征向量经过循环神经网络RNN模型计算，得到子带增益；带噪语音经过基音滤波器消除其谐波间的噪声，其输出在频域内与子带增益相点乘，即可得到降噪之后的频域信号；通过傅里叶逆变换，根据重叠相加原理，重建出纯净语音的时域波形；输出增强后的语音信号；
一个阻塞矩阵B(k)＝(b1(k)，b2(k)，…，bM(k))，其包括若干个第二自适应滤波器，第二自适应滤波器的长度为Lb，阻塞矩阵能够消除目标语音信号保留噪声；阻塞矩阵的输出为：
eb(k)＝yb(k)-BT(k)xb(k)
其中，
yb(k)＝(x1(k)，x2(k)，…，xM(k))T为自适应滤波器的期望信号；
xb(k)＝(yf(k)，yf(k-1)，…，yf(k-Lb+1))T为输入信号；
系数矩阵中：
第二自适应滤波器具有一个滤波器系数的自适应调整公式：
bm，k(n+1)＝bm，k(n)+2μbyf(n)eb，m(n)
一个噪声消除模块NC，其配置为能够接收输出相向量eb，m(k)，包括若干个第三自适应滤波器cm(k)(m＝1，2，…，M)，若干个第三自适应滤波器的长度为Lc；噪声消除模块能够对接收到的输出向量eb，m(k)滤波；
噪声消除模块的输出为：
ec(k)＝yf(k)-cT(k)xc(k)
其中：
基于最小平方准则求解优化问题：
2.如权利要求1所述的语音增强系统，其特征在于，
所述自适应波束形成模块根据滤波阶数，麦克风数目获取目标信号的估计值。
3.如权利要求1所述的语音增强系统，其特征在于，还包括：
若干个第二自适应滤波器组，所述若干个第二自适应滤波器组组成一个阻塞矩阵。
4.如权利要求1所述的语音增强系统，其特征在于，还包括：
一个噪声消除模块，其配置为能够接收所述输出相向量，所述噪声消除模块包括若干个第三自适应滤波器；若干个所述第三自适应滤波器的长度为；所述噪声消除模块能够对接收到的所述输出向量滤波。
5.如权利要求4所述的语音增强系统，其特征在于，所述噪声消除模块输出消除噪声后获取消除噪声后的目标信号估计值。
6.一种针对主动降噪系统的语音增强方法，其特征在于，包括：
S101：配置一个信号源、一个噪声源和一个麦克风阵列；所述信号源能够输出语音信号，所述噪声源能够输出噪声信号；所述麦克风阵列包括若干个均匀线性排布的麦克风，所述麦克风阵列能够采集所述噪声信号；
S102：配置一个时延估计模块；所述时延估计模块能够接收所述麦克风阵列输出的噪声信号，所述时延估计模块将所述噪声信号通过广义互功率谱算法计算麦克风之间的时延；
S103：配置一个时延补偿模块，所述时延补偿模块能够接收所述时延估计模块输出的时延信息和所述麦克风阵列输出的噪声信号，所述时延补偿模块能够根据接收到的时延信息对所述噪声信号时延补偿；
S104：配置一个自适应波束形成模块，所述自适应波束形成模块为能够接收所述时延补偿模块输出的得到时延补偿后的噪声信号；所述自适应波束形成模块通过噪声估计算法得到噪声估计值，所述自适应波束形成模块通过目标信号估计算法得到目标信号估计值；
S105：配置一个误差传感器，其能够接收降噪扬声器输出的反噪声信号，所述误差传感器能够接收所述噪声源输出的所述噪声信号；所述误差传感器能够根据所述反噪声信号和所述噪声信号输出误差信号；
S106：配置一个第一自适应滤波器，其能够接收所述噪声估计值和所述误差信号；所述第一自适应滤波器根据所述噪声估计值和所述误差信号更新所述第一自适应滤波器的权值，所述第一自适应滤波器能够输出抵消噪声信号；
S107：配置一个抵消噪声扬声器，其能够接收所述抵消噪声信号，所述抵消噪声扬声器能够输出所述抵消噪声信号；所述抵消噪声信号能够将带噪信号中的噪声抵消掉；
S108：配置一个语音增强模块，其能够接收所述目标信号估计值；所述语音增强模块通过深度神经网络语音增强模块实时处理所述目标信号估计值，获得增强后的语音信号；所述深度神经网络语音增强模块接收所述目标信号估计值；所述深度神经网络语音增强模块对所述目标信号估计值分帧、重叠加窗和短时傅里叶变换得到一组特征向量；所述特征向量经过循环神经网络RNN模型计算，得到子带增益；带噪语音经过基音滤波器消除其谐波间的噪声，其输出在频域内与子带增益相点乘，即可得到降噪之后的频域信号；通过傅里叶逆变换，根据重叠相加原理，重建出纯净语音的时域波形；输出增强后的语音信号；
一个阻塞矩阵B(k)＝(b1(k)，b2(k)，…，bM(k))，其包括若干个第二自适应滤波器，第二自适应滤波器的长度为Lb，阻塞矩阵能够消除目标语音信号保留噪声；阻塞矩阵的输出为：
eb(k)＝yb(k)-BT(k)xb(k)
其中，
yb(k)＝(x1(k)，x2(k)，…，xM(k))T为自适应滤波器的期望信号；
xb(k)＝(yf(k)，yf(k-1)，…，tf(k-Lb+1))T为输入信号；
系数矩阵中：
第二自适应滤波器具有一个滤波器系数的自适应调整公式：
bm，k(n+1)＝bm，k(n)+2μbyf(n)eb，m(n)
一个噪声消除模块NC，其配置为能够接收输出相向量eb，m(k)，包括若干个第三自适应滤波器cm(k)(m＝1，2，…，M)，若干个第三自适应滤波器的长度为Lc；噪声消除模块能够对接收到的输出向量eb，m(k)滤波；
噪声消除模块的输出为：
ec(k)＝yf(k)-cT(k)xc(k)
其中：
基于最小平方准则求解优化问题：
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011057901.6A CN112331226B (zh) | 2020-09-29 | 2020-09-29 | 一种针对主动降噪系统的语音增强系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011057901.6A CN112331226B (zh) | 2020-09-29 | 2020-09-29 | 一种针对主动降噪系统的语音增强系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112331226A CN112331226A (zh) | 2021-02-05 |
| CN112331226B true CN112331226B (zh) | 2024-04-12 |
Family
ID=74314501
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011057901.6A Active CN112331226B (zh) | 2020-09-29 | 2020-09-29 | 一种针对主动降噪系统的语音增强系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112331226B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113132845A (zh) * | 2021-04-06 | 2021-07-16 | 北京安声科技有限公司 | 信号处理方法及装置、计算机可读存储介质及耳机 |
| CN113976300A (zh) * | 2021-10-26 | 2022-01-28 | 芜湖职业技术学院 | 一种粉碎机智能系统控制方法 |
| CN116230005A (zh) * | 2023-03-06 | 2023-06-06 | 长沙东玛克信息科技有限公司 | 一种远程语音信号延迟估计方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1753084A (zh) * | 2004-09-23 | 2006-03-29 | 哈曼贝克自动系统股份有限公司 | 使用噪声降低的多通道自适应语音信号处理 |
| JP2007093630A (ja) * | 2005-09-05 | 2007-04-12 | Advanced Telecommunication Research Institute International | 音声強調装置 |
| CN101976565A (zh) * | 2010-07-09 | 2011-02-16 | 瑞声声学科技(深圳)有限公司 | 基于双麦克风语音增强装置及方法 |
| CN102509552A (zh) * | 2011-10-21 | 2012-06-20 | 浙江大学 | 一种基于联合抑制的麦克风阵列语音增强方法 |
| CN102938254A (zh) * | 2012-10-24 | 2013-02-20 | 中国科学技术大学 | 一种语音信号增强系统和方法 |
| CN107993670A (zh) * | 2017-11-23 | 2018-05-04 | 华南理工大学 | 基于统计模型的麦克风阵列语音增强方法 |
| CN108900943A (zh) * | 2018-07-24 | 2018-11-27 | 四川长虹电器股份有限公司 | 一种场景自适应主动降噪方法及耳机 |
| CN110600050A (zh) * | 2019-09-12 | 2019-12-20 | 深圳市华创技术有限公司 | 基于深度神经网络的麦克风阵列语音增强方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2216774B1 (en) * | 2009-01-30 | 2015-09-16 | Harman Becker Automotive Systems GmbH | Adaptive noise control system and method |
| US10242690B2 (en) * | 2014-12-12 | 2019-03-26 | Nuance Communications, Inc. | System and method for speech enhancement using a coherent to diffuse sound ratio |
-
2020
- 2020-09-29 CN CN202011057901.6A patent/CN112331226B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1753084A (zh) * | 2004-09-23 | 2006-03-29 | 哈曼贝克自动系统股份有限公司 | 使用噪声降低的多通道自适应语音信号处理 |
| JP2007093630A (ja) * | 2005-09-05 | 2007-04-12 | Advanced Telecommunication Research Institute International | 音声強調装置 |
| CN101976565A (zh) * | 2010-07-09 | 2011-02-16 | 瑞声声学科技(深圳)有限公司 | 基于双麦克风语音增强装置及方法 |
| CN102509552A (zh) * | 2011-10-21 | 2012-06-20 | 浙江大学 | 一种基于联合抑制的麦克风阵列语音增强方法 |
| CN102938254A (zh) * | 2012-10-24 | 2013-02-20 | 中国科学技术大学 | 一种语音信号增强系统和方法 |
| CN107993670A (zh) * | 2017-11-23 | 2018-05-04 | 华南理工大学 | 基于统计模型的麦克风阵列语音增强方法 |
| CN108900943A (zh) * | 2018-07-24 | 2018-11-27 | 四川长虹电器股份有限公司 | 一种场景自适应主动降噪方法及耳机 |
| CN110600050A (zh) * | 2019-09-12 | 2019-12-20 | 深圳市华创技术有限公司 | 基于深度神经网络的麦克风阵列语音增强方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| 一种改进GSC自适应语音增强方法;赵益波;徐进;阮玮琪;蒋;;科技通报(第09期);第172-176页 * |
| 基于相干性滤波器的广义旁瓣抵消器麦克风小阵列语音增强方法;杨立春;钱沄涛;;电子与信息学报;第34卷(第12期);第3027-3033页 * |
| 基于麦克风阵列的语音增强算法;闵新宇;王清理;冉云飞;;计算机工程与设计(第04期);第182-187页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112331226A (zh) | 2021-02-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112331226B (zh) | 一种针对主动降噪系统的语音增强系统及方法 | |
| CN110085248B (zh) | 个人通信中降噪和回波消除时的噪声估计 | |
| CN109727604A (zh) | 用于语音识别前端的频域回声消除方法及计算机储存介质 | |
| US8942976B2 (en) | Method and device for noise reduction control using microphone array | |
| CN105590631B (zh) | 信号处理的方法及装置 | |
| US10657981B1 (en) | Acoustic echo cancellation with loudspeaker canceling beamformer | |
| AU2007323521B2 (en) | Signal processing using spatial filter | |
| US9818424B2 (en) | Method and apparatus for suppression of unwanted audio signals | |
| WO2012026126A1 (ja) | 音源分離装置、音源分離方法、及び、プログラム | |
| JP5091948B2 (ja) | ブラインド信号抽出 | |
| DK3008924T3 (en) | METHOD OF SIGNAL PROCESSING IN A HEARING SYSTEM AND HEARING SYSTEM | |
| JP2002530922A (ja) | 信号を処理する装置と方法 | |
| US20010036283A1 (en) | Active noise reduction system | |
| CN112530451A (zh) | 基于去噪自编码器的语音增强方法 | |
| Albu | The constrained stability least mean square algorithm for active noise control | |
| Zheng et al. | A deep learning solution to the marginal stability problems of acoustic feedback systems for hearing aids | |
| CN103929704B (zh) | 一种基于变换域的自适应声反馈消除的方法和系统 | |
| Priyanka et al. | Adaptive Beamforming Using Zelinski-TSNR Multichannel Postfilter for Speech Enhancement | |
| Yu et al. | Speech enhancement based on the generalized sidelobe cancellation and spectral subtraction for a microphone array | |
| CN112435681B (zh) | 一种基于声聚焦和麦克风阵列波束形成的语音增强方法 | |
| Lee et al. | Deep neural network-based speech separation combining with MVDR beamformer for automatic speech recognition system | |
| CN113763984A (zh) | 一种用于分布式多说话人的参数化噪声消除系统 | |
| CN113838472A (zh) | 一种语音降噪方法及装置 | |
| CN113362846A (zh) | 一种基于广义旁瓣相消结构的语音增强方法 | |
| Braun et al. | Low complexity online convolutional beamforming |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Kang Hongtao Inventor after: OuYang Peng Inventor before: Kang Hongtao Inventor before: OuYang Peng Inventor before: Yin Shouyi |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |