CN110459241A - 一种用于语音特征的提取方法和系统 - Google Patents
一种用于语音特征的提取方法和系统 Download PDFInfo
- Publication number
- CN110459241A CN110459241A CN201910818573.8A CN201910818573A CN110459241A CN 110459241 A CN110459241 A CN 110459241A CN 201910818573 A CN201910818573 A CN 201910818573A CN 110459241 A CN110459241 A CN 110459241A
- Authority
- CN
- China
- Prior art keywords
- coefficient
- mfcc
- voice signal
- feature
- lpc
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000004927 fusion Effects 0.000 claims abstract description 27
- 230000009466 transformation Effects 0.000 claims abstract description 26
- 230000004913 activation Effects 0.000 claims abstract description 21
- 230000004044 response Effects 0.000 claims abstract description 20
- 238000013528 artificial neural network Methods 0.000 claims abstract description 18
- 238000001228 spectrum Methods 0.000 claims description 23
- 238000000605 extraction Methods 0.000 claims description 19
- 239000000284 extract Substances 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000009432 framing Methods 0.000 claims description 7
- 235000013350 formula milk Nutrition 0.000 claims 3
- 230000000694 effects Effects 0.000 abstract description 11
- 238000001514 detection method Methods 0.000 abstract description 7
- 238000003062 neural network model Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 10
- 238000009826 distribution Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 5
- 230000006854 communication Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000005291 magnetic effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000005653 Brownian motion process Effects 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005537 brownian motion Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 210000001260 vocal cord Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Machine Translation (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明给出了一种用于语音特征的提取方法和系统，包括响应于检测到语音信号的时域信号，提取语音信号的语音特征，其中，语音特征包括MFCC系数和LPC系数；基于神经网络的全连接层，对MFCC系数和LPC系数进行线性变换和非线性激活，获取MFCC系数和LPC系数的全连接层输出；基于MFCC系数和LPC系数的全连接层输出，利用均值计算获取语音信号的融合特征。本发明主要应用于神经网络模型，能够十分有效的提高基于神经网络的语音活动检测模型的准确率，以满足实际场景的应用。
Description
技术领域
本发明涉及语音信号领域，尤其是一种用于语音特征的提取方法和系统。
背景技术
随着深度学习神经网络技术的发展，越来越多的基于神经网络的语音活动检测模型被应用，而对于神经网络来说，良好的特征提取方法能够帮助神经网络更好的学习和区分语音和非语音帧。常用的特征提取方法主要有基于能量、基于谐波、基于长时信息和基于倒谱，这些方法在平稳的语音段中通常能够取得较高的识别率。但对于实时通信场景，语音常常伴随非平稳的噪声出现，并且信噪比时好时坏，这使得基于神经网络的语音活动检测模型的准确率大大降低。
公开号为CN107393553A的中国专利公开了一种用于语音活动检测的听觉特征提取方法，利用语音时域信号计算先验信噪比和后验信噪比并用先验信噪比和后验信噪比计算听觉特征的特征提取方法，该方案具有三个维度的特征，第一维度特征为V(1)先验信噪比，第二维度为V(2)后验信噪比，第三维度为V(3)听觉特征；首先通过已知无语音段的噪音功率谱密度，观测信号功率谱密度，估计语音频谱计算先验信噪比和后验信噪比，进而计算听觉特征，该方案可在单麦情况下有效提取远场听觉特征。该方案初始条件限制较大，需提供一段时间的无语音段，这对于实际复杂场景下的应用十分不利，并且先验概率的估计的准确度十分影响后续特征的效果，应用范围十分局限。
公开号为CN101515454B的中国专利公开了一种用于语音、音乐、噪音自动分类的信号特征提取方法，基于分形度量提出了三种提取特征的方法，特征提取方法一，根据分形布朗运动模型进行特征提取；特征提取方法二，根据分形理论中计算毯子覆盖维数的原理进行特征提取；特征提取方法三，根据分形理论中个计算广义盒子维数的原理计算特征提取，通常将三种特征串联组合起来一起使用效果最佳，该方案对于单独的语音、音乐、噪音和助听器自噪音均有较高的识别率。该方案的主要缺点在于其对于各类信号的纯净度要求较高，一旦多种语音混合产生多种信噪比的信号，则十分不利于该方案所提出的特征提取方法，应用范围十分局限。
发明内容
本发明提出了一种用于语音特征的提取方法和系统。
在一个方面，本发明提出了一种用于会议系统的混音方法，包括以下步骤：
S1：响应于检测到语音信号的时域信号，提取语音信号的语音特征，其中，语音特征包括MFCC系数和LPC系数；
S2：利用两个神经网络的全连接层，分别与MFCC系数和LPC系数连接并进行线性变换和非线性激活，获取MFCC系数和LPC系数对应的全连接层输出；
S3：基于MFCC系数和LPC系数的全连接层输出，利用均值计算获取语音信号的融合特征。
在具体的实施例中，步骤S1中MFCC系数的提取步骤包括：
响应于检测到语音信号的时域信号，将语音信号进行预加重、分帧和加窗处理；
基于傅里叶变换，计算各帧语音信号的频谱，并对语音信号的频谱取模平方获取语音信号的能量谱；
响应于能量谱通过Mel滤波器，计算每个Mel滤波器的对数能量，最终利用离散余弦变换计算MFCC系数C(n)，
其中，En(m)表示Mel滤波器的对数能量，n表示MFCC系数的阶数，M是Mel滤波器的个数。
在具体的实施例中，步骤S1中LPC系数的提取步骤包括：
响应于检测到语音信号的时域信号，利用P阶差分方程和最小均方误差方程获取关于LPC系数的函数关系式：其中，E为最小均方差，x(n)为真实信号，加权项为预测信号，e(n)为预测误差，a为LPC系数；
基于Yule-Wolker方程和Levision-Durbin算法计算获得LPC系数。
在优选的实施例中，MFCC系数和LPC系数的维度为13维。
在具体的实施例中，步骤S2中的线性变换公式为：flinear(x)＝wx+b，其中x为特征向量，w为全连接层的权重，b为全连接层的偏置值，w和b初始值为(0,1)内的随机实数。
在优选的实施例中，步骤S2中非线性激活公式为：
在优选的实施例中，步骤S3中的融合特征计算公式为：
其中ReLUmfcc(l)表示非线性激活后的MFCC系数，ReLUlpc(l)表示非线性激活后的LPC系数。
在具体的实施例中，融合特征的维度为16维。
根据本发明的第二方面，提出了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机处理器执行时上述方法。
根据本发明的第三方面，提出了一种用于语音特征的提取系统，该系统包括：
特征提取模块：配置用于响应于检测到语音信号的时域信号，提取语音信号的语音特征，其中，语音特征包括MFCC系数和LPC系数；
全连接层处理模块：配置用于基于全连接层，对MFCC系数和LPC系数进行线性变换和非线性激活，获取MFCC系数和LPC系数的全连接层输出；
特征融合模块：配置用于基于MFCC系数和LPC系数的全连接层输出，利用均值计算获取语音信号的融合特征。
本发明通过获取的语音信号的时域信号，提取13维的MFCC特征和LPC特征，再通过神经网络的全连接层，分别对MFCC和LPC特征进行线性变换和非线性激活，最终利用MFCC和LPC的全连接层的输出，对二者输出采用均值计算的方法进行融合获得16维的融合特征。本发明应用了较为先进的神经网络技术，并且对于非平稳噪音和低信噪比下的语音信号均有较高的鲁棒性，能够提高神经网络模型的检测准确率，应用范围较广，特征提取方法效果受环境因素影响较低。
附图说明
包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本发明的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请的一个实施例的用于语音特征的提取方法的流程图；
图2是本申请的一个具体的实施例的语音特征的提取方法的流程图；
图3是本申请的一个具体的实施例的语音特征提取的神经网络的结构图；
图4是本申请的一个具体的实施例的MFCC系数提取的流程图；
图5是本申请的一个具体的实施例的LPC系数提取的流程图；
图6是本申请的一个实施例的用于语音特征的提取系统的框架图；
图7是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
根据本申请的一个实施例的用于会议系统的混音方法，图1示出了根据本申请的实施例的用于会议系统的混音方法的流程图。如图1所示，该方法包括以下步骤：
S101：响应于检测到语音信号的时域信号，提取语音信号的语音特征，其中，语音特征包括MFCC系数和LPC系数。MFCC利用了人耳的听觉原理，具有较好的鲁棒性，LPC对噪声的敏感程度高，基于MFCC和LPC进行语音信号的提取可以提高语音信号特征的准确性。
在具体的实施例中，MFCC系数的提取步骤包括：响应于检测到语音信号的时域信号，将所述语音信号进行预加重、分帧和加窗处理；基于傅里叶变换，计算各帧语音信号的频谱，并对所述语音信号的频谱取模平方获取所述语音信号的能量谱；响应于所述能量谱通过Mel滤波器，计算每个Mel滤波器的对数能量，最终利用离散余弦变换计算MFCC系数C(n)，具体计算公式为：
其中，En(m)表示Mel滤波器的对数能量，n表示所述MFCC系数的阶数，M是Mel滤波器的个数。使用MFCC系数可以在多个领域中使声音信号有更好的表示。
在具体的实施例中，LPC系数的提取步骤包括：响应于检测到语音信号的时域信号，利用P阶差分方程和最小均方误差方程获取关于所述LPC系数的函数关系式：其中，E为最小均方差，x(n)为真实信号，加权项为预测信号，e(n)为预测误差，a为LPC系数；基于Yule-Wolker方程和Levision-Durbin算法计算获得所述LPC系数。
在优选的实施例中，MFCC系数和LPC系数的维度为13维。采用13维能够更好的适应语音特征，提高识别率；对于语音而言，中低频的特征分布较为广泛，取13维MFCC能够更大范围的涵盖到中低频部分的特征；LPC本质上提取的是音频的共振峰特征，而对于语音而言，其共振峰分布较为平缓，因此取13维特征能够适应该语音特征。应当认识到，还可以选择其他维度进行MFCC系数和LPC系数的提取，根据实际应用场景需求选择合适的维度，可以保证获得满足实际应用所需的语音特征。
S102：基于神经网络的全连接层，分别将MFCC系数和LPC系数连接并进行线性变换和非线性激活，获取MFCC系数和LPC系数对应的全连接层输出。全连接层下的MFCC系数和LPC系数的输出，使语音信号特征参数更加准确全面。
在具体的实施例中，线性变换公式为：flinear(x)＝wx+b，其中x为特征向量，w为全连接层的权重，b为全连接层的偏置值，w和b初始值为(0,1)内的随机实数。非线性激活函数为Relu，计算公式具体为
S103：基于MFCC系数和LPC系数的全连接层输出，利用均值计算获取语音信号的融合特征。采用均值计算获取的语音信号的融合特征，结合了MFCC和LPC的相关优点使输出的语音信号特征的效果更佳。
在具体的实施例中，融合特征的计算公式为：
其中ReLUmfcc(l)表示非线性激活后的MFCC系数，ReLUlpc(l)表示非线性激活后的LPC系数。采用Relu的激活函数可以提高模型的学习能力。
在优选的实施例中，融合特征的维度为16维。原则上选择8的倍数以方便并行加速计算，据申请人的大量实验验证，16维的效果更为稳定，与32维的效果相差无几。应当认识到，还可以选择其他维度进融合特征的计算，根据实际应用场景需求选择合适的维度，可以保证获得满足实际应用所需的语音特征。
继续参考图2，图2示出了本发明的一个具体的实施例的语音特征的提取方法的流程图，该方法具体包括以下步骤：
步骤201：时域语音信号；获取语音信号的时域信号，作为后续语音特征提取的基础。
步骤202：梅尔倒谱系数；提取梅尔频率倒谱MFCC系数，梅尔频率倒谱系数(Mel-Frequency Cepstral Coefficients，MFCCs)是组成梅尔频率倒谱的系数，用于正常的对数倒频谱中的线性间隔的频带更能近似人类的听觉系统。这样的非线性表示，可以在多个领域中使声音信号有更好的表示。
步骤203：线性预测系数；提取线性预测LPC系数，语音的线性预测系数(LinearPrediction Coefficient，LPC)优势在于其可以较为精确的估计语音的参数，而这些极少的参数可以正确的表现语音信号的时域和频域特性。
步骤204、205：全连接层；全连接层的每一个结点都与上一层的所有结点相连，用来把步骤202和步骤203中提取到的MFCC和LPC特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的，可以提高模型的学习能力。
在具体的实施例中，利用两个全连接神经网络层，分别与MFCC系数和LPC系数连接并进行线性变换和非线性激活，最后获取MFCC系数和LPC系数对应的全连接层的输出，两个全连接神经网络层的神经元个数都为16个，全连接的特性表现为：16个神经元与13维系数两两连接进行线性变换，生成13x16个权重值，其中由于MFCC和LPC相互独立，因此分别可生成13x16个权重值，利用权重值进行线性变换和非线性激活计算获得语音特征向量，作为语音特征融合的数据基础。
步骤206：平均融合层；基于MFCC系数和LPC系数的全连接层输出，利用均值计算获取语音信号的融合特征。融合特征融合了MFCC和LPC系数的相关特性，既具有LPC分析优点又同时具有MFCC较好的鲁棒性和利用人耳听觉原理特点。
步骤207：融合特征输出。通过神经网络获得的语音特征受环境因素影响低，且对于非平稳噪音和低信噪比下的语音信号均具有较高的鲁棒性，可用于提高神经网络模型的监测准确率。
图3示出了本申请的一个具体的实施例的语音特征提取的神经网络的结构图，13维的MFCC系数和LPC系数作为输入层，分别与两个全连接神经网络层连接，两个全连接神经网络层的神经元个数都为16,16个神经元与13为系数两两连接，并进行线性变换和Relu非线性激活，最终利用两个全连接神经网络对应顺序的两个神经元进行连接取均值，输出16维的融合特征。
图4示出了本申请的一个具体的实施例的MFCC系数提取的流程图，具体流程包括以下步骤：
步骤401：时域语音信号。基于时域语音信号，当检测到时域语音信号时，执行以下402-411步骤。
步骤402：预加重。将分帧后的各麦克风通道语音信号进行预加重处理，具体计算公式如下所示：
H(Z)＝1-μZ-1
其中，μ是预加系数，μ值的取值范围为[0.9,1.0]，优选的，本发明中取0.97。预加重的目的是提升语音信号高频的部分，使各麦克风通道语音信号的频谱变得平坦，同时消除语音发生过程中由于声源个体声带和嘴唇的效应，突出语音信号高频共振峰，增加语音的高频分辨率。
步骤403：分帧。对各麦克风通道语音信号进行重新分帧。时域语音信号是一系列有序信号，其中将N个采样点结合成一个观测单位，称为帧。在本发明中N取160，对于16KHz的采样频率涵盖的时间为10ms。为避免相邻两帧变化过大，因此相邻两帧之间有一段重叠区域，重叠区域长度一般为帧长的1/2或1/3，优选的，本发明中采用1/2的重叠长度。
步骤404：加窗。将各麦克风通道的每一帧语音信号乘以汉明窗，加窗使得语音信号有周期性，以减少语音信号FFT变换中的语音能量泄露。具体加窗的计算公式如下：
S′(n)＝S(n)×W(n)
其中，S(n)表示多个麦克风语音信号，W(n)表示汉明窗，N为帧长大小，a为汉明窗系数，优选的，a取0.46。
步骤405：FFT(Fast Fourier Transform)快速傅里叶变换。由于信号在时域上的变换通常很难看出信号的特性，所以通常将它转换为频域上的能量分布来观察，不同的能量分布，就能代表不同语音的特性。所以在乘上汉明窗后，每帧还必须再经过快速傅里叶变换以得到在频谱上的能量分布。对分帧加窗后的各帧信号进行FFT变换得到各麦克风语音信号每一帧的频谱，将语音信号的频谱取模平方得到语音信号的能量谱，傅里叶变换计算公式如下：
其中，X(k)表示变换后的频谱，x(n)为麦克风的语音时域信号,j表示虚数，表示角频率，N1表示傅里叶变换的点数。
各麦克风语音信号在时域上的变换通常很难看出语音信号的特性，通过加窗后的每一帧语音信号必须再经过FFT以得到在频谱上的语音能量分布，根据不同的能量分布，可以直观看出不同声源的语音特性，从而识别各麦克风的语音信号是否来自于同一个声源。
步骤406：梅尔三角滤波器(Mel滤波器组)。将能量谱通过一组Mel尺度的三角形滤波器组，定义有M个三角滤波器的滤波器组，各个三角滤波器的中心频率是相等间隔的线性分布，频率互相Mel域的公式如下所示：
其中，f表示频率，fmel表示Mel频率。
梅尔三角滤波器的频率响应定义公式如下：
其中，表示在限定范围下的Mel频率，该频率是相等间隔的线性分布，f(m)为中心频率，Hm(k)表示三角滤波器的频响，k表示傅里叶变换的点数。
步骤407：对数运算。计算每个滤波器组输出的对数能量，计算公式如下：
其中，En(m)表示对数能量，Hm(k)表示三角滤波器的频响，X(k)
表示变换后的频谱。因为人耳对声音的感知为非线性的，呈对数关系，这也是类似人的听觉，不能在线性范围听到响度。
步骤408：离散余弦变换(Discrete Cosine Transform,DCT)。将语音信号进行DCT变换，得到MFCC系数计算公式如下：
其中，L表示MFCC系数的阶数，同时也是MFCC的维度，M表示三角滤波器的个数，En(m)表示对数能量。梅尔频率倒谱系数(Mel-Frequency Cepstral Coefficients，MFCCs)是组成梅尔频率倒谱的系数。梅尔频率倒谱的频带划分是在梅尔刻度上等距划分的，它比用于正常的对数倒频谱中的线性间隔的频带更能近似人类的听觉系统。这样的非线性表示，可以在多个领域中使声音信号有更好的表示。
继续参考图5，图5示出了根据本发明的一个具体的实施例的LPC系数提取的流程图，具体流程包括以下步骤：
步骤501：时域语音信号，基于时域语音信号，当检测到时域语音信号时，执行以下402-405步骤。
步骤502：P阶差分方程，从时域上看，LPC实际上就是求解一阶线性FIR滤波器的P阶系数，其差分方程如下所示：
其中，x(n)代表时域语音信号，代表滤波器输出结果，p表示滤波器长度，a即为LPC系数。
步骤503：最小均方误差方程,采用最小均方误差准则来计算，差分方程如下所示：
其中，x(n)为真实信号，加权项为预测信号，e(n)为预测误差，根据e(n)的均方差MSE期望值E的公式如下：
求解最小E即可得到唯一的LPC系数。
步骤504：Yule-Wolker方程,求解E的极小值等同于求取E方程的极点，对E求ai偏导得如下公式：
将结果化简可得：
基于Yule-Wolker方程，将简化结果转换成自相关形式如下所示：
拆分成矩阵形式，即为Toeplize矩阵：
Toeplize是一个AR矩阵，通常使用Levision-Durbin算法进行高效求解。
步骤505：Levision-Durbin算法求解系数，Levison-Durbin算法是求解自回归(AR)矩阵的高效算法，算法具体流程如下：
若i＞1，j＝1,2，...，i-1
通过执行上述算法即可求解LPC系数a。其中，初始值a(0)＝1，R(i)是信号的自相关矩阵，k是算法中的临时变量，用来储存结果(算法流程中，如无特别说明，均为临时变量)，p为滤波器长度，优选的，本发明中p取12，总共提取13维LPC系数(即a(0)～a(12))。线性预测LPC分析是最有效的语音分析技术之一，能够即为精确的估计基本的语音参数(例如基音、共振峰、功率谱、声道面积函数以及用低速率传输和储存语音)，且计算速度较快。
图6示出了根据本发明的一个具体的实施例的用于语音信号提取系统的框架图，该系统包括依次连接的特征提取模块601、全连接层处理模块602和特征融合模块603。其中，特征提取模块601配置用于响应于检测到语音信号的时域信号，提取语音信号的语音特征，其中，语音特征包括MFCC系数和LPC系数；全连接层处理模块602配置用于基于全连接层，对MFCC系数和LPC系数进行线性变换和非线性激活，获取MFCC系数和LPC系数的全连接层输出；特征融合模块603配置用于基于MFCC系数和LPC系数的全连接层输出，利用均值计算获取语音信号的融合特征。
下面参考图7，其示出了适于用来实现本申请实施例的电子设备的计算机系统700的结构示意图。图7示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号或语音信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括特征提取模块、全连接层处理模块、特征融合模块。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：响应于检测到语音信号的时域信号，提取所述语音信号的语音特征，其中，所述语音特征包括MFCC系数和LPC系数；基于神经网络的全连接层，对所述MFCC系数和所述LPC系数进行线性变换和非线性激活，获取所述MFCC系数和所述LPC系数的全连接层输出；基于所述MFCC系数和所述LPC系数的全连接层输出，利用均值计算获取所述语音信号的融合特征。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种用于语音特征的提取方法，其特征在于，包括以下步骤：
S1：响应于检测到语音信号的时域信号，提取所述语音信号的语音特征，其中，所述语音特征包括MFCC系数和LPC系数；
S2：利用两个神经网络的全连接层，分别与所述MFCC系数和所述LPC系数连接并进行线性变换和非线性激活，获取所述MFCC系数和所述LPC系数对应的全连接层输出；
S3：基于所述MFCC系数和所述LPC系数的全连接层输出，利用均值计算获取所述语音信号的融合特征。
2.根据权利要求1所述的用于语音特征的提取方法，其特征在于，所述步骤S1中MFCC系数的提取步骤包括：
响应于检测到语音信号的时域信号，将所述语音信号进行预加重、分帧和加窗处理；
基于傅里叶变换，计算各帧语音信号的频谱，并对所述语音信号的频谱取模平方获取所述语音信号的能量谱；
响应于所述能量谱通过Mel滤波器，计算每个Mel滤波器的对数能量，最终利用离散余弦变换计算MFCC系数C(n)，
其中，En(m)表示Mel滤波器的对数能量，n表示所述MFCC系数的阶数，M是Mel滤波器的个数。
3.根据权利要求2所述的用于语音特征的提取方法，其特征在于，所述步骤S1中LPC系数的提取步骤包括：
响应于检测到语音信号的时域信号，利用P阶差分方程和最小均方误差方程获取关于所述LPC系数的函数关系式： 其中，E为最小均方差，x(n)为真实信号，加权项为预测信号，e(n)为预测误差，a为LPC系数；
基于Yule-Wolker方程和Levision-Durbin算法计算获得所述LPC系数。
4.根据权利要求3所述的用于语音特征的提取方法，其特征在于，所述MFCC系数和所述LPC系数的维度为13维。
5.根据权利要求1所述的用于语音特征的提取方法，其特征在于，所述步骤S2中的线性变换公式为：flinear(x)＝wx+b，其中x为特征向量，w为全连接层的权重，b为全连接层的偏置值，w和b初始值为(0,1)内的随机实数。
6.根据权利要求5所述的用于语音特征的提取方法，其特征在于，所述步骤S2中非线性激活公式为：
7.根据权利要求6所述的用于语音特征的提取方法，其特征在于，所述步骤S3中的融合特征计算公式为：
其中，ReLUmfcc(l)表示非线性激活后的MFCC系数，ReLUlpc(l）表示非线性激活后的LPC系数。
8.根据权利要求7所述的用于语音特征的提取方法，其特征在于，所述融合特征的维度为16维。
9.一种计算机可读存储介质，其上存储有一或多个计算机程序，其特征在于，该一或多个计算机程序被计算机处理器执行时实施权利要求1至8中任一项所述的方法。
10.一种用于语音特征的提取系统，其特征在于，所述系统包括：
特征提取模块：配置用于响应于检测到语音信号的时域信号，提取所述语音信号的语音特征，其中，所述语音特征包括MFCC系数和LPC系数；
全连接层处理模块：配置用于基于全连接层，对所述MFCC系数和所述LPC系数进行线性变换和非线性激活，获取所述MFCC系数和所述LPC系数的全连接层输出；
特征融合模块：配置用于基于所述MFCC系数和所述LPC系数的全连接层输出，利用均值计算获取所述语音信号的融合特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910818573.8A CN110459241B (zh) | 2019-08-30 | 2019-08-30 | 一种用于语音特征的提取方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910818573.8A CN110459241B (zh) | 2019-08-30 | 2019-08-30 | 一种用于语音特征的提取方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110459241A true CN110459241A (zh) | 2019-11-15 |
| CN110459241B CN110459241B (zh) | 2022-03-04 |
Family
ID=68490252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910818573.8A Active CN110459241B (zh) | 2019-08-30 | 2019-08-30 | 一种用于语音特征的提取方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110459241B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111276131A (zh) * | 2020-01-22 | 2020-06-12 | 厦门大学 | 一种基于深度神经网络的多类声学特征整合方法和系统 |
| CN111816166A (zh) * | 2020-07-17 | 2020-10-23 | 字节跳动有限公司 | 声音识别方法、装置以及存储指令的计算机可读存储介质 |
| CN112201261A (zh) * | 2020-09-08 | 2021-01-08 | 厦门亿联网络技术股份有限公司 | 基于线性滤波的频带扩展方法、装置及会议终端系统 |
| CN112863488A (zh) * | 2021-01-15 | 2021-05-28 | 广东优碧胜科技有限公司 | 语音信号的处理方法、装置以及电子设备 |
| CN112967739A (zh) * | 2021-02-26 | 2021-06-15 | 山东省计算中心（国家超级计算济南中心） | 一种基于长短期记忆网络的语音端点检测方法及系统 |
| CN113380226A (zh) * | 2021-07-02 | 2021-09-10 | 因诺微科技(天津)有限公司 | 一种极短语音语种识别特征提取方法 |
| CN114496221A (zh) * | 2022-01-17 | 2022-05-13 | 天津大学 | 基于闭环语音链和深度学习的抑郁症自动诊断系统 |
| CN114863934A (zh) * | 2022-06-17 | 2022-08-05 | 成都理工大学 | 基于集成卷积神经网络的声纹识别模型构建方法 |
| CN117014675A (zh) * | 2022-09-16 | 2023-11-07 | 腾讯科技（深圳）有限公司 | 虚拟对象的视频生成方法、装置和计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140156575A1 (en) * | 2012-11-30 | 2014-06-05 | Nuance Communications, Inc. | Method and Apparatus of Processing Data Using Deep Belief Networks Employing Low-Rank Matrix Factorization |
| CN104900229A (zh) * | 2015-05-25 | 2015-09-09 | 桂林电子科技大学信息科技学院 | 一种语音信号混合特征参数的提取方法 |
| CN105336323A (zh) * | 2015-10-14 | 2016-02-17 | 清华大学 | 维语语音识别方法和装置 |
| CN108847244A (zh) * | 2018-08-22 | 2018-11-20 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 基于mfcc和改进bp神经网络的声纹识别方法及系统 |
| CN109299268A (zh) * | 2018-10-24 | 2019-02-01 | 河南理工大学 | 一种基于双通道模型的文本情感分析方法 |
-
2019
- 2019-08-30 CN CN201910818573.8A patent/CN110459241B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140156575A1 (en) * | 2012-11-30 | 2014-06-05 | Nuance Communications, Inc. | Method and Apparatus of Processing Data Using Deep Belief Networks Employing Low-Rank Matrix Factorization |
| CN104900229A (zh) * | 2015-05-25 | 2015-09-09 | 桂林电子科技大学信息科技学院 | 一种语音信号混合特征参数的提取方法 |
| CN105336323A (zh) * | 2015-10-14 | 2016-02-17 | 清华大学 | 维语语音识别方法和装置 |
| CN108847244A (zh) * | 2018-08-22 | 2018-11-20 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 基于mfcc和改进bp神经网络的声纹识别方法及系统 |
| CN109299268A (zh) * | 2018-10-24 | 2019-02-01 | 河南理工大学 | 一种基于双通道模型的文本情感分析方法 |
Non-Patent Citations (3)
| Title |
|---|
| 张学锋等: "《融合LPC与MFCC的特征参数》", 《计算机工程》 * |
| 徐克虎等编著: "《智能计算方法及其应用》", 31 July 2019, 国防工业出版社 * |
| 毛燕湖等: "《融合LPC和MFCC的说话人识别技术研究》", 《第十二届全国人机语音通讯学术会议(NCMMSC2013)》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111276131B (zh) * | 2020-01-22 | 2021-01-12 | 厦门大学 | 一种基于深度神经网络的多类声学特征整合方法和系统 |
| CN111276131A (zh) * | 2020-01-22 | 2020-06-12 | 厦门大学 | 一种基于深度神经网络的多类声学特征整合方法和系统 |
| US11217225B2 (en) | 2020-01-22 | 2022-01-04 | Xiamen University | Multi-type acoustic feature integration method and system based on deep neural networks |
| CN111816166A (zh) * | 2020-07-17 | 2020-10-23 | 字节跳动有限公司 | 声音识别方法、装置以及存储指令的计算机可读存储介质 |
| CN112201261B (zh) * | 2020-09-08 | 2024-05-03 | 厦门亿联网络技术股份有限公司 | 基于线性滤波的频带扩展方法、装置及会议终端系统 |
| CN112201261A (zh) * | 2020-09-08 | 2021-01-08 | 厦门亿联网络技术股份有限公司 | 基于线性滤波的频带扩展方法、装置及会议终端系统 |
| CN112863488A (zh) * | 2021-01-15 | 2021-05-28 | 广东优碧胜科技有限公司 | 语音信号的处理方法、装置以及电子设备 |
| CN112967739A (zh) * | 2021-02-26 | 2021-06-15 | 山东省计算中心（国家超级计算济南中心） | 一种基于长短期记忆网络的语音端点检测方法及系统 |
| CN113380226A (zh) * | 2021-07-02 | 2021-09-10 | 因诺微科技(天津)有限公司 | 一种极短语音语种识别特征提取方法 |
| CN114496221A (zh) * | 2022-01-17 | 2022-05-13 | 天津大学 | 基于闭环语音链和深度学习的抑郁症自动诊断系统 |
| CN114496221B (zh) * | 2022-01-17 | 2024-05-14 | 天津大学 | 基于闭环语音链和深度学习的抑郁症自动诊断系统 |
| CN114863934A (zh) * | 2022-06-17 | 2022-08-05 | 成都理工大学 | 基于集成卷积神经网络的声纹识别模型构建方法 |
| CN117014675A (zh) * | 2022-09-16 | 2023-11-07 | 腾讯科技（深圳）有限公司 | 虚拟对象的视频生成方法、装置和计算机可读存储介质 |
| WO2024056078A1 (zh) * | 2022-09-16 | 2024-03-21 | 腾讯科技（深圳）有限公司 | 视频生成方法、装置和计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110459241B (zh) | 2022-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110459241A (zh) | 一种用于语音特征的提取方法和系统 | |
| Zheng et al. | Phase-aware speech enhancement based on deep neural networks | |
| CN108564963B (zh) | 用于增强语音的方法和装置 | |
| CN106486131B (zh) | 一种语音去噪的方法及装置 | |
| CN103999076B (zh) | 包括将声音信号变换成频率调频域的处理声音信号的系统和方法 | |
| Bayya et al. | Spectro-temporal analysis of speech signals using zero-time windowing and group delay function | |
| CN110364140B (zh) | 歌声合成模型的训练方法、装置、计算机设备以及存储介质 | |
| CN109599093A (zh) | 智能质检的关键词检测方法、装置、设备及可读存储介质 | |
| Jiang et al. | Geometric methods for spectral analysis | |
| US9484044B1 (en) | Voice enhancement and/or speech features extraction on noisy audio signals using successively refined transforms | |
| US9530434B1 (en) | Reducing octave errors during pitch determination for noisy audio signals | |
| Chaki | Pattern analysis based acoustic signal processing: a survey of the state-of-art | |
| Yang et al. | BaNa: A noise resilient fundamental frequency detection algorithm for speech and music | |
| JP2013037174A (ja) | 雑音／残響除去装置とその方法とプログラム | |
| US9208794B1 (en) | Providing sound models of an input signal using continuous and/or linear fitting | |
| Shahnawazuddin et al. | Pitch-normalized acoustic features for robust children's speech recognition | |
| Narendra et al. | Estimation of the glottal source from coded telephone speech using deep neural networks | |
| CN115273904A (zh) | 一种基于多特征融合的愤怒情绪识别方法及装置 | |
| Huang et al. | Novel sub-band spectral centroid weighted wavelet packet features with importance-weighted support vector machines for robust speech emotion recognition | |
| Mathur et al. | Significance of parametric spectral ratio methods in detection and recognition of whispered speech | |
| Cheng et al. | DNN-based speech enhancement with self-attention on feature dimension | |
| CN108369803A (zh) | 用于形成基于声门脉冲模型的参数语音合成系统的激励信号的方法 | |
| Gaudani et al. | Comparative study of robust feature extraction techniques for ASR for limited resource Hindi language | |
| CN111261192A (zh) | 一种基于lstm网络的音频检测方法、电子设备及存储介质 | |
| Reddy et al. | Inverse filter based excitation model for HMM‐based speech synthesis system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |