CN110164468A - 一种基于双麦克风的语音增强方法及装置 - Google Patents
一种基于双麦克风的语音增强方法及装置 Download PDFInfo
- Publication number
- CN110164468A CN110164468A CN201910338720.1A CN201910338720A CN110164468A CN 110164468 A CN110164468 A CN 110164468A CN 201910338720 A CN201910338720 A CN 201910338720A CN 110164468 A CN110164468 A CN 110164468A
- Authority
- CN
- China
- Prior art keywords
- voice
- separation
- matrix
- noise
- time delay
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009977 dual effect Effects 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000000926 separation method Methods 0.000 claims abstract description 79
- 230000000694 effects Effects 0.000 claims abstract description 31
- 238000012880 independent component analysis Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 76
- 238000004590 computer program Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000007423 decrease Effects 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000008439 repair process Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000014155 detection of activity Effects 0.000 claims 1
- 239000004568 cement Substances 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000002708 enhancing effect Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000010415 tropism Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0264—Noise filtering characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
- G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明公开了一种基于双麦克风的语音增强方法及装置，其中，方法包括以下步骤：根据双麦克风采集到的观测信号进行语音活动性检测和时延估计；根据语音活动性检测和时延估计的结果，进行基于频域独立成分分析的分离，计算二值掩模；根据计算的二值掩模，进行次序置信度的判决，输出分离后的语音与噪声；根据分离后的语音与噪声，进行似然比的计算；根据分离后的语音和似然比，进行滤波处理，得到增强后的语音信号。本发明的一种基于双麦克风的语音增强方法及装置，仅采用了双麦克风，大大降低了硬件成本的同时，在面对无方向性的噪声、与语音同向的噪声的情况下，依旧保持着优秀的语音增强性能。
Description
技术领域
本发明涉及语音信号处理领域，尤其涉及一种基于双麦克风的语音增强方法及装置。
背景技术
语音信号处理已经成为一个非常热门的领域，清晰的语音能够极大限度地提高了人机交互的效率。然而，很多的实际情况往往面临着多人同时说话、环境噪声等干扰，而无法获得干净的单一源信号。因此，从含噪的语音信号中准确的提取语音信号是一个贴合实际，同时亟需解决的难题。语音增强便是从数字语音信号处理出发，解决该问题的方式。
语音增强以采集信号的通道数可以划分为：单通道语音增强和基于麦克风阵列的多通道语音增强。多通道语音增强方法因其利用了更多的麦克风，充分考虑了观测信号的空间信息，在方向性的干扰和噪声的抑制取得了不错的效果。但其使用更多的麦克风数带来准确的空间信息的同时，也带来了硬件成本的上升。同时，在面对无方向性的噪声或是与语音同向的噪声时，性能下降严重。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是现有技术中语音增强方法存在的在面对无方向性的噪声、与语音同向的噪声的情况下的性能不足、硬件成本高，开发了一种基于双麦克风的语音增强方法及装置，仅采用了双麦克风，大大降低了硬件成本的同时，在面对无方向性的噪声、与语音同向的噪声的情况下，依旧保持着优秀的语音增强性能。
为实现上述目的，本发明提供了一种基于双麦克风的语音增强方法，包括以下步骤：
根据双麦克风采集到的观测信号进行语音活动性检测和时延估计；
根据语音活动性检测和时延估计的结果，进行基于频域独立成分分析的分离，计算二值掩模；
根据计算的二值掩模，进行次序置信度的判决，输出分离后的语音与噪声；
根据分离后的语音与噪声，进行似然比的计算；
根据分离后的语音和似然比，进行滤波处理，得到增强后的语音信号。
进一步地，根据双麦克风采集到的观测信号进行语音活动性检测和时延估计，具体包括以下步骤：
对观测信号进行短时傅里叶变换后，通过Mel滤波器，将其转换为Mel域；
对Mel域的信号在其各个子带上通过EM算法进行方差、均值、权重的计算，对语音和噪声建立双高斯模型，从而进行语音活动性的检测，判断当前帧是否为语音帧；
当当前帧判断为语音帧时，进行时延的估计，得到时延估计值，以计算导向矢量。
进一步地，根据语音活动性检测和时延估计的结果，进行基于频域独立成分分析的分离，计算二值掩模，具体包括以下步骤：
根据时延估计值，对每一个频点确定导向矢量和混合矩阵迭代时的初值；
采用信息最大化准则，以自然梯度下降的方式，迭代混合矩阵，收敛后得到混合矩阵的第一列；
获取混合矩阵的第一列作为先验的输入，进行半盲分离迭代解混矩阵，该解混矩阵为混合矩阵的逆矩阵，得到预分离信号；
根据预分离信号和观测信号，确定能量估计矩阵；
根据估计矩阵，计算所有时频单元的二值掩模，用来指导迭代以及次序判决的修正。
进一步地，根据计算的二值掩模，进行次序置信度的判决，输出分离后的语音与噪声，具体包括以下步骤：
根据导向矢量、混合矩阵的第一列和二值掩模，进行次序修正的判断，决定是否应进行次序的修正；
将解混矩阵与观测信号进行频域上的相乘，得到分离信号的频域形式，从而输出分离后的语音和噪声。
本发明公开又提供了一种基于双麦克风的语音增强装置，包括：
检测装置，用于根据双麦克风采集到的观测信号进行语音活动性检测和时延估计；
分离装置，用于根据语音活动性检测和时延估计的结果，进行基于频域独立成分分析的分离，计算二值掩模；
判决装置，用于根据计算的二值掩模，进行次序置信度的判决，输出分离后的语音与噪声；
计算装置，用于根据分离后的语音与噪声，进行似然比的计算；
滤波装置，用于根据分离后的语音和似然比，进行滤波处理，得到增强后的语音信号。
进一步地，检测装置包括：
转换单元，用于对观测信号进行短时傅里叶变换后，通过Mel滤波器，将其转换为Mel域；
判断单元，用于对Mel域的信号在其各个子带上通过EM算法进行方差、均值、权重的计算，对语音和噪声建立双高斯模型，从而进行语音活动性的检测，判断当前帧是否为语音帧；
时延估计单元，用于当当前帧判断为语音帧时，进行时延的估计，得到时延估计值，以计算导向矢量。
进一步地，分离装置包括：
根据时延估计值，对每一个频点确定导向矢量和混合矩阵迭代时的初值；
采用信息最大化准则，以自然梯度下降的方式，迭代混合矩阵，收敛后得到混合矩阵的第一列；
获取混合矩阵的第一列作为先验的输入，进行半盲分离迭代解混矩阵，该解混矩阵为混合矩阵的逆矩阵，得到预分离信号；
根据预分离信号和观测信号，确定能量估计矩阵；
根据估计矩阵，计算所有时频单元的二值掩模，用来指导迭代以及次序判决的修正。
进一步地，判决装置包括：
次序修正判断，用于根据导向矢量、混合矩阵的第一列和二值掩模，进行次序修正的判断，决定是否应进行次序的修正；
输出单元，用于将解混矩阵与观测信号进行频域上的相乘，得到分离信号的频域形式，从而输出分离后的语音和噪声。
本发明公开又提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如上述任一项的方法。
本发明公开又提供了一种存储有计算机程序的计算机可读存储介质，计算机程序使计算机执行时实现如上述任一项的一种基于双麦克风的语音增强方法。
技术效果
本发明的一种基于双麦克风的语音增强方法，充分考虑了传统方法无法应对无方向性的噪声、与语音同向的噪声的情况，以语音分离的方法对观测信号进行了分解，进而使用后置滤波的方式，在面对无方向性的噪声、与语音同向的噪声的情况下，依旧保持着优秀的语音增强性能，有效地提高了算法的鲁棒性和语音的增强结果。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的一个较佳实施例的一种基于双麦克风的语音增强方法的详细流程示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下描述中，为了说明而不是为了限定，提出了诸如特定内部程序、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
实施例一
本实施例提供了一种基于双麦克风的语音增强方法，包括以下步骤：
步骤100，根据双麦克风采集到的观测信号进行语音活动性检测和时延估计；
步骤200，根据语音活动性检测和时延估计的结果，进行基于频域独立成分分析的分离，计算二值掩模；
步骤300，根据计算的二值掩模，进行次序置信度的判决，输出分离后的语音与噪声；
步骤400，根据分离后的语音与噪声，进行似然比的计算；
步骤500，根据分离后的语音和似然比，进行滤波处理，得到增强后的语音信号。
以下将具体说明每个步骤。
进一步的，步骤100，根据双麦克风采集到的观测信号进行语音活动性检测和时延估计，具体包括以下步骤：
步骤101，对观测信号进行短时傅里叶变换后，通过Mel滤波器，将其转换为Mel域；具体的，通过双麦克风采集待增强语音数据，该数据同时可称作观测信号X，将观测信号X进行短时傅里叶变换后，通过Mel滤波器，将其转换为Mel域；
步骤102，对Mel域的信号在其各个子带上通过EM算法进行方差、均值、权重的计算，对语音和噪声建立双高斯模型，从而进行语音活动性的检测，判断当前帧是否为语音帧；
步骤103，当当前帧判断为语音帧时，进行时延的估计，得到时延估计值，以计算导向矢量。具体的，在判断当前帧为语音帧时，以GCC-PHAT(广义互相关)方法进行时延的估计，得到时延估计值τ。具体公式如下：
其中，k表示频点，Nk为傅里叶变换后的总频点数，X1、X2分别为观测信号X的第一通道和第二通道数据，*为取复共轭。
进一步地，步骤200，根据语音活动性检测和时延估计的结果，进行基于频域独立成分分析的分离，计算二值掩模，具体包括以下步骤：
步骤201，根据时延估计值，对每一个频点确定导向矢量和混合矩阵迭代时的初值；
时延估计值τ用来计算导向矢量d(k)以及混合矩阵H(k)迭代时的初值Hinit(k)，一种可能的实现方式为：
步骤202，采用信息最大化准则，以自然梯度下降的方式，迭代混合矩阵，收敛后得到混合矩阵的第一列；在语音活动性检测判断为语音帧时，采用信息最大化准则，以自然梯度下降的方式，迭代混合矩阵H(k)，一种可能的实现方式为：
其中，η为迭代步长，Yi为预分离信号，I为单位阵，Φ()为非线性函数。
步骤203，获取混合矩阵的第一列作为先验的输入，进行半盲分离迭代解混矩阵，该解混矩阵为混合矩阵的逆矩阵，得到预分离信号；取收敛后的H(k)的第一列h1(k)，作为半盲分离的先验输入，进一步迭代解混矩阵W(k)，得到预分离信号Y，具体公式如下：
Wi+1(k)＝Wi(k)+η[I-<φ(Y(k，l))YH(k，l)>l]Wi(k)
其中，η为迭代步长，YH表示Y的共轭转置；
步骤204，根据预分离信号和观测信号，确定能量估计矩阵；
根据混合矩阵H(k)的一种可能实现方式，所计算出来的预分离信号Y和观测信号X，可以确定能量估计矩阵A，对应公式如下：
A＝E(XYT)(E(YYT))-1
步骤205，根据估计矩阵，计算所有时频单元的二值掩模，用来指导迭代以及次序判决的修正。
进一步地，步骤300，根据计算的二值掩模，进行次序置信度的判决，输出分离后的语音与噪声，具体包括以下步骤：
步骤301，根据导向矢量、混合矩阵的第一列和二值掩模，进行次序修正的判断，决定是否应进行次序的修正；
根据上述计算的导向矢量d(k)、混合矩阵的第一列h1(k)和二值掩模p(k，l)，进行次序修正的判断，来决定是否应进行次序的修正，判决的置信度公式如下：
其中，p(k)是一个频点k上由所有时频单元的二值掩模p(k，l)组成的行向量，α为一个在0～1之间的常数；
步骤302，将解混矩阵与观测信号进行频域上的相乘，得到分离信号的频域形式，从而输出分离后的语音和噪声。
如图1所示，以下将具体说明该实施例的一种基于双麦克风的语音增强方法的更为详细的步骤：
S101：通过双麦克风接收语音信号，此时观测信号X为一个两通道的数据，可以理解的是，每一个麦克风接收到的数据即对应一个信号通道。
S102：对接收到的数据进行短时傅里叶变换，之后使得频域信号通过Mel滤波器，在Mel域上进行子带的划分，本实施例中，划分成了16个子带。
S103：对S102中的每一个子带，都进行方差、均值、权重的计算，然后便可以对语音和噪声建立双高斯模型，来对当前帧进行判断，判断其为语音帧还是噪声帧。
S104：当语音活动性检测判断为噪声帧时，不进行时延估计；判断为语音帧时，进行时延估计。本实施例中采用的是GCC-PHAT(广义互相关)方法，对应公式如下：
其中，k表示频点，Nk为傅里叶变换后的总频点数，X1、X2分别为观测信号X的第一通道和第二通道数据，*为取复共轭。
S105：估计出来的时延τ，客观地显示了语音到达两个麦克风的时间差，以此可以计算语音相对麦克风的方向，同时导向矢量d(k)、混合矩阵H(k)的迭代初值Hinit(k)也可以计算，公式如下：
其中，k表示频点，Nk为傅里叶变换后的总频点数，τ为估计的时延值。
通过迭代初值Hinit(k)，采用信息最大化准则，以自然梯度下降的方式，迭代混合矩阵H(k)迭代公式为：
其中，η为迭代步长，Yi为预分离信号，I为单位阵，Φ()为非线性函数。
S106：在迭代收敛后，取混合矩阵H(k)的第一列h1(k)作为下一步半盲分离的输入，进一步迭代解混矩阵W(k)，得到预分离信号Y，迭代公式为：
Wi+1(k)＝Wi(k)+η[I-<φ(Y(k，l))YH(k，l)>l]Wi(k)
其中，η为迭代步长，YH表示Y的共轭转置，φ(Y(k，l))表示非线性的代价函数，在实施例中为：
φ(Y(f，τ))＝tanh(Re(Y(f，τ)))+i*tanh(Im(Y(f，τ)))
其中，Re()表示取实部操作，Im()表示取虚部操作。
S107：根据预分离信号Y和观测信号X，可以计算能量估计矩阵A。A是通过最小二乘法，最小化(X-AY)期望的结果，在理想情况下，X-AY的结果将逼近于零，A的计算公式如下：
A＝E(XYT)(E(YYT))-1
其中，X、Y分别为观测信号和预分离信号。
S108：由能量估计矩阵A可以进一步计算所有时频单元的二值掩模p(k，l)，二值掩模可以有效地指导迭代作为迭代收敛的判断条件之一，同时可以进行次序判决的修正，计算公式如下：
其中，ai为能量估计矩阵A的列向量。
同时再根据步骤S105得到的导向矢量d(k)和S106得到的h1(k)，便能进行次序置信度的判断，对应公式如下：
其中，p(k)是一个频点k上由所有时频单元的二值掩模p(k，l)组成的行向量，α为一个在0～1之间的常数，本实施例提供了一个α可能值，α＝0.5。
当判决输出为真时，则需要改变当前频点k的分离输出，得到分离后的语音Ys和噪声Yn。
S109：通过分离后的语音Ys和噪声Yn，可以计算似然比，计算公式如下：
L3＝Ys
S110：根据步骤S103语音帧的判断结果，选择下一步的操作。若判断为语音帧，则执行步骤S111；若判断为噪声帧，则对步骤S109中的语音通道直接进行单通道滤波。
S111：根据步骤S109中得到的似然比，对语音和噪声进行双高斯模型建模，然后滤波输出。
S112：对滤波输出的频域信号进行逆傅里叶变换，最终得到增强后的语音信号。
使用信号失真比SDR(Signal to Distortion Ratio)来具体评价步骤S109中分离后语音与噪声的质量。其中，SDR为语音分离领域常用的检测分离性能的指标。该值越大，则表明分离性能越好。
为了说明改增强算法的鲁棒性，分别在-6dB、-3dB、0dB、3dB、6dB、9dB这六个不同输入信噪比下，根据分离后的语音来计算SDR，结果如下表所示。
表：步骤S109中，不同信噪比下的分离结果
| 输入信噪比 | -6dB | -3dB | 0dB | 3dB | 6dB | 9dB |
| 本发明SDR/dB | 1.3 | 4.8 | 6.4 | 7.8 | 8.3 | 9.2 |
本发明提出了一种基于双麦克风的语音增强方法，该方法包括：接收语音信号，对观测信号进行语音活动性检测，并对语音帧时声源到麦克风阵列的时延进行估计；通过时延值τ，确定混合矩阵H(k)的初值Hinit(k)，并迭代H(k)；以混合矩阵H(k)的第一列h1(k)为先验信息，进行半盲分离，迭代解混矩阵W(k)；对预分离的信号进行次序修正；得到分离后的语音Ys和噪声Yn；对Ys和Yn进行滤波，再将滤波结果进行逆傅里叶变换，便能得到分离后的时域波形。本发明的算法，充分考虑了传统方法无法应对无方向性的噪声、与语音同向的噪声的情况，以语音分离的方法对观测信号进行了分解，进而使用后置滤波的方式，在面对无方向性的噪声、与语音同向的噪声的情况下，依旧保持着优秀的语音增强性能，有效地提高了算法的鲁棒性和语音的增强结果。
实施例二
本发明公开又提供了一种基于双麦克风的语音增强装置，包括：
检测装置，用于根据双麦克风采集到的观测信号进行语音活动性检测和时延估计；
分离装置，用于根据语音活动性检测和时延估计的结果，进行基于频域独立成分分析的分离，计算二值掩模；
判决装置，用于根据计算的二值掩模，进行次序置信度的判决，输出分离后的语音与噪声；
计算装置，用于根据分离后的语音与噪声，进行似然比的计算；
滤波装置，用于根据分离后的语音和似然比，进行滤波处理，得到增强后的语音信号。
进一步地，检测装置包括：
转换单元，用于对观测信号进行短时傅里叶变换后，通过Mel滤波器，将其转换为Mel域；
判断单元，用于对Mel域的信号在其各个子带上通过EM算法进行方差、均值、权重的计算，对语音和噪声建立双高斯模型，从而进行语音活动性的检测，判断当前帧是否为语音帧；
时延估计单元，用于当当前帧判断为语音帧时，进行时延的估计，得到时延估计值，以计算导向矢量。
进一步地，分离装置包括：
根据时延估计值，对每一个频点确定导向矢量和混合矩阵迭代时的初值；
采用信息最大化准则，以自然梯度下降的方式，迭代混合矩阵，收敛后得到混合矩阵的第一列；
获取混合矩阵的第一列作为先验的输入，进行半盲分离迭代解混矩阵，该解混矩阵是为混合矩阵的逆矩阵，得到预分离信号；
根据预分离信号和观测信号，确定能量估计矩阵；
根据估计矩阵，计算所有时频单元的二值掩模，用来指导迭代以及次序判决的修正。
进一步地，判决装置包括：
次序修正判断，用于根据导向矢量、混合矩阵的第一列和二值掩模，进行次序修正的判断，决定是否应进行次序的修正；
输出单元，用于将解混矩阵与观测信号进行频域上的相乘，得到分离信号的频域形式，从而输出分离后的语音和噪声。
本实施例的装置用于实现实施例中的一种基于双麦克风的语音增强方法，其具体实现方法同实施例一，此处将不在赘述。
实施例三
本发明实施例三提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现上述任一项的方法。
该实施例的计算机设备包括：处理器、存储器以及存储在存储器中并可在处理器上运行的计算机程序，例如资源发放程序。处理器执行计算机程序时实现上述各个人体行为相似度计算方法实施例中的步骤。或者，处理器执行计算机程序时实现上述各装置实施例中各模块/单元的功能。
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机设备中的执行过程。
计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可包括，但不仅限于，处理器、存储器。
处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array， FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以是计算机设备的内部存储单元，例如计算机设备的硬盘或内存。存储器也可以是计算机设备的外部存储设备，例如计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器用于存储计算机程序以及计算机设备所需的其他程序和数据。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (10)
1.一种基于双麦克风的语音增强方法，其特征在于，包括以下步骤：
根据双麦克风采集到的观测信号进行语音活动性检测和时延估计；
根据所述语音活动性检测和时延估计的结果，进行基于频域独立成分分析的分离，计算二值掩模；
根据计算的所述二值掩模，进行次序置信度的判决，输出分离后的语音与噪声；
根据所述分离后的语音与噪声，进行似然比的计算；
根据所述分离后的语音和似然比，进行滤波处理，得到增强后的语音信号。
2.如权利要求1所述的一种基于双麦克风的语音增强方法，其特征在于，根据双麦克风采集到的观测信号进行语音活动性检测和时延估计，具体包括以下步骤：
对所述观测信号进行短时傅里叶变换后，通过Mel滤波器，将其转换为Mel域；
对所述Mel域的信号在其各个子带上通过EM算法进行方差、均值、权重的计算，对语音和噪声建立双高斯模型，从而进行语音活动性的检测，判断当前帧是否为语音帧；
当所述当前帧判断为语音帧时，进行时延的估计，得到时延估计值，以计算导向矢量。
3.如权利要求2所述的一种基于双麦克风的语音增强方法，其特征在于，根据所述语音活动性检测和时延估计的结果，进行基于频域独立成分分析的分离，计算二值掩模，具体包括以下步骤：
根据所述时延估计值，对每一个频点确定导向矢量和混合矩阵迭代时的初值；
采用信息最大化准则，以自然梯度下降的方式，迭代所述混合矩阵，收敛后得到所述混合矩阵的第一列；
获取所述混合矩阵的所述第一列作为先验的输入，进行半盲分离迭代解混矩阵，得到预分离信号；
根据所述预分离信号和所述观测信号，确定能量估计矩阵；
根据所述估计矩阵，计算所有时频单元的二值掩模，用来指导迭代以及次序判决的修正。
4.如权利要求3所述的一种基于双麦克风的语音增强方法，其特征在于，根据计算的所述二值掩模，进行次序置信度的判决，输出分离后的语音与噪声，具体包括以下步骤：
根据所述导向矢量、所述混合矩阵的所述第一列和所述二值掩模，进行次序修正的判断，决定是否应进行次序的修正；
将所述解混矩阵与所述观测信号进行频域上的相乘，得到分离信号的频域形式，从而输出分离后的语音和噪声。
5.一种基于双麦克风的语音增强装置，其特征在于，包括：
检测装置，用于根据双麦克风采集到的观测信号进行语音活动性检测和时延估计；
分离装置，用于根据所述语音活动性检测和时延估计的结果，进行基于频域独立成分分析的分离，计算二值掩模；
判决装置，用于根据计算的所述二值掩模，进行次序置信度的判决，输出分离后的语音与噪声；
计算装置，用于根据所述分离后的语音与噪声，进行似然比的计算；
滤波装置，用于根据所述分离后的语音和似然比，进行滤波处理，得到增强后的语音信号。
6.如权利要求5所述的一种基于双麦克风的语音增强装置，其特征在于，所述检测装置包括：
转换单元，用于对所述观测信号进行短时傅里叶变换后，通过Mel滤波器，将其转换为Mel域；
判断单元，用于对所述Mel域的信号在其各个子带上通过EM算法进行方差、均值、权重的计算，对语音和噪声建立双高斯模型，从而进行语音活动性的检测，判断当前帧是否为语音帧；
时延估计单元，用于当所述当前帧判断为语音帧时，进行时延的估计，得到时延估计值，以计算导向矢量。
7.如权利要求6所述的一种基于双麦克风的语音增强装置，其特征在于，所述分离装置包括：
根据所述时延估计值，对每一个频点确定导向矢量和混合矩阵迭代时的初值；
采用信息最大化准则，以自然梯度下降的方式，迭代所述混合矩阵，收敛后得到所述混合矩阵的第一列；
获取所述混合矩阵的所述第一列作为先验的输入，进行半盲分离迭代解混矩阵，得到预分离信号；
根据所述预分离信号和所述观测信号，确定能量估计矩阵；
根据所述估计矩阵，计算所有时频单元的二值掩模，用来指导迭代以及次序判决的修正。
8.如权利要求7所述的一种基于双麦克风的语音增强装置，其特征在于，所述判决装置包括：
次序修正判断，用于根据所述导向矢量、所述混合矩阵的所述第一列和所述二值掩模，进行次序修正的判断，决定是否应进行次序的修正；
输出单元，用于将所述解混矩阵与所述观测信号进行频域上的相乘，得到分离信号的频域形式，从而输出分离后的语音和噪声。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求1-4中任一项所述的方法。
10.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序使计算机执行时实现如权利要求1-4中任一项所述的一种基于双麦克风的语音增强方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910338720.1A CN110164468B (zh) | 2019-04-25 | 2019-04-25 | 一种基于双麦克风的语音增强方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910338720.1A CN110164468B (zh) | 2019-04-25 | 2019-04-25 | 一种基于双麦克风的语音增强方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110164468A true CN110164468A (zh) | 2019-08-23 |
| CN110164468B CN110164468B (zh) | 2022-01-28 |
Family
ID=67639988
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910338720.1A Active CN110164468B (zh) | 2019-04-25 | 2019-04-25 | 一种基于双麦克风的语音增强方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110164468B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111429933A (zh) * | 2020-03-06 | 2020-07-17 | 北京松果电子有限公司 | 音频信号的处理方法及装置、存储介质 |
| CN113077808A (zh) * | 2021-03-22 | 2021-07-06 | 北京搜狗科技发展有限公司 | 一种语音处理方法、装置和用于语音处理的装置 |
| TWI738532B (zh) * | 2019-10-27 | 2021-09-01 | 英屬開曼群島商意騰科技股份有限公司 | 具多麥克風之語音增強裝置及方法 |
| CN113746967A (zh) * | 2021-09-14 | 2021-12-03 | 维沃移动通信有限公司 | 阻尼铰链、折叠机构和电子设备 |
| CN117935835A (zh) * | 2024-03-22 | 2024-04-26 | 浙江华创视讯科技有限公司 | 音频降噪方法、电子设备以及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1748250A (zh) * | 2002-12-11 | 2006-03-15 | 索夫塔马克斯公司 | 在稳定性约束下使用独立分量分析的语音处理系统和方法 |
| CN103903631A (zh) * | 2014-03-28 | 2014-07-02 | 哈尔滨工程大学 | 基于变步长自然梯度算法的语音信号盲分离方法 |
| US20150117649A1 (en) * | 2013-10-31 | 2015-04-30 | Conexant Systems, Inc. | Selective Audio Source Enhancement |
| CN108831495A (zh) * | 2018-06-04 | 2018-11-16 | 桂林电子科技大学 | 一种应用于噪声环境下语音识别的语音增强方法 |
| CN108877831A (zh) * | 2018-08-28 | 2018-11-23 | 山东大学 | 基于多标准融合频点筛选的盲源分离快速方法及系统 |
-
2019
- 2019-04-25 CN CN201910338720.1A patent/CN110164468B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1748250A (zh) * | 2002-12-11 | 2006-03-15 | 索夫塔马克斯公司 | 在稳定性约束下使用独立分量分析的语音处理系统和方法 |
| US20150117649A1 (en) * | 2013-10-31 | 2015-04-30 | Conexant Systems, Inc. | Selective Audio Source Enhancement |
| CN103903631A (zh) * | 2014-03-28 | 2014-07-02 | 哈尔滨工程大学 | 基于变步长自然梯度算法的语音信号盲分离方法 |
| CN108831495A (zh) * | 2018-06-04 | 2018-11-16 | 桂林电子科技大学 | 一种应用于噪声环境下语音识别的语音增强方法 |
| CN108877831A (zh) * | 2018-08-28 | 2018-11-23 | 山东大学 | 基于多标准融合频点筛选的盲源分离快速方法及系统 |
Non-Patent Citations (4)
| Title |
|---|
| MASOUD GERAVANCHIZADEH .ET AL: "PSO-based infomax algorithm for frequency-domain blind source separation", 《2011 19TH IRANIAN CONFERENCE ON ELECTRICAL ENGINEERING》 * |
| 刘伯权: "独立分量分析与时频掩蔽结合的语音盲分离", 《计算机工程与应用》 * |
| 李广康: "基于独立成分分析的噪音分离研究与应用", 《中国优秀硕士学位论文全文数据库工程科技II辑》 * |
| 钱思冲等: "基于独立分量分析与二值掩膜的语音分离", 《华中科技大学学报（自然科学版）》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI738532B (zh) * | 2019-10-27 | 2021-09-01 | 英屬開曼群島商意騰科技股份有限公司 | 具多麥克風之語音增強裝置及方法 |
| CN111429933A (zh) * | 2020-03-06 | 2020-07-17 | 北京松果电子有限公司 | 音频信号的处理方法及装置、存储介质 |
| CN113077808A (zh) * | 2021-03-22 | 2021-07-06 | 北京搜狗科技发展有限公司 | 一种语音处理方法、装置和用于语音处理的装置 |
| CN113077808B (zh) * | 2021-03-22 | 2024-04-26 | 北京搜狗科技发展有限公司 | 一种语音处理方法、装置和用于语音处理的装置 |
| CN113746967A (zh) * | 2021-09-14 | 2021-12-03 | 维沃移动通信有限公司 | 阻尼铰链、折叠机构和电子设备 |
| CN117935835A (zh) * | 2024-03-22 | 2024-04-26 | 浙江华创视讯科技有限公司 | 音频降噪方法、电子设备以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110164468B (zh) | 2022-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110164468A (zh) | 一种基于双麦克风的语音增强方法及装置 | |
| Mitianoudis et al. | Audio source separation of convolutive mixtures | |
| Ikram et al. | Permutation inconsistency in blind speech separation: Investigation and solutions | |
| CN106483502B (zh) | 一种声源定位方法及装置 | |
| Kowalczyk et al. | Blind system identification using sparse learning for TDOA estimation of room reflections | |
| CN101965613A (zh) | 信号增强装置、其方法、程序以及记录介质 | |
| CN110459234A (zh) | 用于车载的语音识别方法及系统 | |
| CN102074236A (zh) | 一种分布式麦克风的说话人聚类方法 | |
| CN109087663A (zh) | 信号处理器 | |
| CN108091345B (zh) | 一种基于支持向量机的双耳语音分离方法 | |
| CN103871420B (zh) | 麦克风阵列的信号处理方法及装置 | |
| CN105427859A (zh) | 一种用于对说话人识别的前端语音增强方法 | |
| CN104505100A (zh) | 一种基于鲁棒非负矩阵分解和数据融合的无监督语音增强方法 | |
| Mazur et al. | An approach for solving the permutation problem of convolutive blind source separation based on statistical signal models | |
| CN108962276B (zh) | 一种语音分离方法及装置 | |
| CN112885368A (zh) | 基于改进胶囊网络的多频带谱减法振动信号去噪方法 | |
| CN110190917B (zh) | 一种LTE230MHz电力无线专网的频谱空洞感知方法、装置及设备 | |
| Cobos et al. | Two-microphone separation of speech mixtures based on interclass variance maximization | |
| Lee et al. | Single-channel speech separation using phase-based methods | |
| Araki et al. | Hybrid approach for multichannel source separation combining time-frequency mask with multi-channel Wiener filter | |
| CN106057211A (zh) | 一种信号匹配方法及装置 | |
| CN114189781A (zh) | 双麦神经网络降噪耳机的降噪方法及系统 | |
| Mazur et al. | A sparsity based criterion for solving the permutation ambiguity in convolutive blind source separation | |
| Liang et al. | The analysis of the simplification from the ideal ratio to binary mask in signal-to-noise ratio sense | |
| CN106710602A (zh) | 一种声学混响时间估计方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |