CN111583947A - 一种语音增强方法和装置以及设备 - Google Patents
一种语音增强方法和装置以及设备 Download PDFInfo
- Publication number
- CN111583947A CN111583947A CN202010364755.5A CN202010364755A CN111583947A CN 111583947 A CN111583947 A CN 111583947A CN 202010364755 A CN202010364755 A CN 202010364755A CN 111583947 A CN111583947 A CN 111583947A
- Authority
- CN
- China
- Prior art keywords
- voice data
- voice
- fourier transform
- segment
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000002708 enhancing effect Effects 0.000 claims abstract description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 17
- 238000013145 classification model Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 8
- 238000000926 separation method Methods 0.000 claims description 8
- 239000012634 fragment Substances 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000006403 short-term memory Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007787 long-term memory Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000010892 electric spark Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明公开了一种语音增强方法和装置以及设备。其中，所述方法包括：获取待增强的语音数据，和从该语音数据中识别出与预设语音对应的目标语音片段，和从该语音数据中分离出该目标语音片段，和增强该分离出的目标语音片段，以及将该经增强后的目标语音片段拼接到该经分离后的语音数据中形成新的语音数据。通过上述方式，能够实现对整段语音中的语音片段进行增强。
Description
技术领域
本发明涉及语音技术领域，尤其涉及一种语音增强方法和装置以及设备。
背景技术
语音增强是指当语音数据被各种各样的噪声干扰、甚至淹没后，从噪声背景中提取有用的语音数据，抑制、降低噪声干扰的技术。
然而，现有的语音增强方案，一般是对整段语音数据进行增强，无法实现对整段语音中的语音片段进行增强。
发明内容
有鉴于此，本发明的目的在于提出一种语音增强方法和装置以及设备，能够实现对整段语音中的语音片段进行增强。
根据本发明的一个方面，提供一种语音增强方法，包括：获取待增强的语音数据；从所述语音数据中识别出与预设语音对应的目标语音片段；从所述语音数据中分离出所述目标语音片段；增强所述分离出的目标语音片段；将所述经增强后的目标语音片段拼接到所述经分离后的语音数据中形成新的语音数据。
其中，所述从所述语音数据中识别出与预设语音对应的目标语音片段，包括：采用基于所述语音数据的声纹特征和预设语音数据的声纹特征，通过将所述语音数据中涵盖所述预设语音数据的声纹特征最多且时间长度最短的语音片段作为目标语音片段的方式，从所述语音数据中识别出与预设语音对应的目标语音片段。
其中，所述从所述语音数据中分离出所述目标语音片段，包括：采用提取所述目标语音片段和所述语音数据的线性预测分析特征，和对所述线性预测分析特征进行归一化操作，和将所述经归一化操作后的线性预测分析特征作为长短期记忆网络和卷积神经网络和卷积神经网络的训练输入的方式，构建基于所述语音数据和所述目标语音片段的二分类模型，和根据所述二分类模型，从所述语音数据中分离出所述目标语音片段。
其中，在所述将所述经增强后的目标语音片段拼接到所述经分离后的语音数据中形成新的语音数据之后，还包括：对所述新的语音数据进行优化。
其中，所述对所述新的语音数据进行优化，包括：提取所述新的语音数据的短时短时傅里叶变换特征和一阶短时傅里叶变换特征以及二阶短时傅里叶变换特征，通过交叉熵损失的损失函数对所述短时傅里叶变换特征和一阶短时傅里叶变换特征以及二阶短时傅里叶变换特征进行参数更新，通过所述经更新后的短时傅里叶变换特征和一阶短时傅里叶变换特征以及二阶短时傅里叶变换特征采用预设次数的迭代方式，对所述新的语音数据进行优化。
根据本发明的另一个方面，提供一种语音增强装置，包括：获取模块、识别模块、分离模块、增强模块和拼接模块；所述获取模块，用于获取待增强的语音数据；所述识别模块，用于从所述语音数据中识别出与预设语音对应的目标语音片段；所述分离模块，用于从所述语音数据中分离出所述目标语音片段；所述增强模块，用于增强所述分离出的目标语音片段；所述拼接模块，用于将所述经增强后的目标语音片段拼接到所述经分离后的语音数据中形成新的语音数据。
其中，所述识别模块，具体用于：采用基于所述语音数据的声纹特征和预设语音数据的声纹特征，通过将所述语音数据中涵盖所述预设语音数据的声纹特征最多且时间长度最短的语音片段作为目标语音片段的方式，从所述语音数据中识别出与预设语音对应的目标语音片段。
其中，所述分离模块，具体用于：采用提取所述目标语音片段和所述语音数据的线性预测分析特征，和对所述线性预测分析特征进行归一化操作，和将所述经归一化操作后的线性预测分析特征作为长短期记忆网络和卷积神经网络和卷积神经网络的训练输入的方式，构建基于所述语音数据和所述目标语音片段的二分类模型，和根据所述二分类模型，从所述语音数据中分离出所述目标语音片段。
其中，所述语音增强装置，还包括：优化模块；所述优化模块，用于对所述新的语音数据进行优化。
其中，所述优化模块，具体用于：提取所述新的语音数据的短时短时傅里叶变换特征和一阶短时傅里叶变换特征以及二阶短时傅里叶变换特征，通过交叉熵损失的损失函数对所述短时傅里叶变换特征和一阶短时傅里叶变换特征以及二阶短时傅里叶变换特征进行参数更新，通过所述经更新后的短时傅里叶变换特征和一阶短时傅里叶变换特征以及二阶短时傅里叶变换特征采用预设次数的迭代方式，对所述新的语音数据进行优化。
根据本发明的又一个方面，提供一种语音增强设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一项所述的语音增强方法。
根据本发明的再一个方面，提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的语音增强方法。
可以发现，以上方案，可以获取待增强的语音数据，和可以从该语音数据中识别出与预设语音对应的目标语音片段，和可以从该语音数据中分离出该目标语音片段，和可以增强该分离出的目标语音片段，以及可以将该经增强后的目标语音片段拼接到该经分离后的语音数据中形成新的语音数据，能够实现对整段语音中的语音片段进行增强。
进一步的，以上方案，可以采用基于该语音数据的声纹特征和预设语音数据的声纹特征，通过将该语音数据中涵盖该预设语音数据的声纹特征最多且时间长度最短的语音片段作为目标语音片段的方式，从该语音数据中识别出与预设语音对应的目标语音片段，这样的好处是能够提高从该语音数据中识别出与预设语音对应的目标语音片段的准确率。
进一步的，以上方案，可以采用提取该目标语音片段和该语音数据的线性预测分析特征，和对该线性预测分析特征进行归一化操作，和将该经归一化操作后的线性预测分析特征作为长短期记忆网络和卷积神经网络和卷积神经网络的训练输入的方式，构建基于该语音数据和该目标语音片段的二分类模型，和根据该二分类模型，从该语音数据中分离出该目标语音片段，这样的好处是由于该长短期记忆网络和卷积神经网络能够保留音频上下文的信息，能够提高该构建的二分类模型的准确率，同时又能够根据该构建的二分类模型从该语音数据中分离出该目标语音片段，能够提高该从该语音数据中分离出该目标语音片段的准确率。
进一步的，以上方案，可以对该新的语音数据进行优化，这样的好处是能够实现提高该新的语音数据对应的语音的播放效果。
进一步的，以上方案，可以提取该新的语音数据的短时短时傅里叶变换特征和一阶短时傅里叶变换特征以及二阶短时傅里叶变换特征，通过交叉熵损失的损失函数对该短时傅里叶变换特征和一阶短时傅里叶变换特征以及二阶短时傅里叶变换特征进行参数更新，通过该经更新后的短时傅里叶变换特征和一阶短时傅里叶变换特征以及二阶短时傅里叶变换特征采用预设次数的迭代方式，对该新的语音数据进行优化，这样的好处是能够使该新的语音数据的特征更加突出，能够实现提高该新的语音数据对应的语音的播放效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明语音增强方法一实施例的流程示意图；
图2是本发明语音增强方法另一实施例的流程示意图；
图3是本发明语音增强装置一实施例的结构示意图；
图4是本发明语音增强装置另一实施例的结构示意图；
图5是本发明语音增强设备一实施例的结构示意图。
具体实施方式
下面结合附图和实施例，对本发明作进一步的详细描述。特别指出的是，以下实施例仅用于说明本发明，但不对本发明的范围进行限定。同样的，以下实施例仅为本发明的部分实施例而非全部实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明提供一种语音增强方法，能够实现对整段语音中的语音片段进行增强。
请参见图1，图1是本发明语音增强方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该方法包括如下步骤：
S101：获取待增强的语音数据。
在本实施例中，该语音数据可以是纯净的原始语音的语音数据，也可以是含有噪声的语音数据等，本发明不加以限定。
在本实施例中，该含有的噪声可以包括下述类别：
一、周期性噪声，例如电气干扰噪声，发动机旋转部分引起的干扰噪声等，这类干扰噪声表现为一些离散的窄频峰；
二、冲激噪声，例如一些电火花、放电产生的干扰噪声；
三、宽带噪声，这是指高斯噪声或白噪声一类的噪声，它们的特点是频带宽，几乎覆盖整个语音频带；
四、语音干扰噪声，例如话筒中拾入其它人的说话，或者传输时遇到串音引起的语音噪声。对付上述各种不同类型的噪声，增强技术亦是不一样的。
S102：从该语音数据中识别出与预设语音对应的目标语音片段。
其中，该从该语音数据中识别出与预设语音对应的目标语音片段，可以包括：
采用基于该语音数据的声纹特征和预设语音数据的声纹特征，通过将该语音数据中涵盖该预设语音数据的声纹特征最多且时间长度最短的语音片段作为目标语音片段的方式，从该语音数据中识别出与预设语音对应的目标语音片段，这样的好处是能够提高从该语音数据中识别出与预设语音对应的目标语音片段的准确率。
S103：从该语音数据中分离出该目标语音片段。
其中，该从该语音数据中分离出该目标语音片段，可以包括：
采用提取该目标语音片段和该语音数据的LPC(Linear Predictive Coding，线性预测分析)特征，和对该线性预测分析特征进行归一化操作，和将该经归一化操作后的线性预测分析特征作为LSTM(Long Short-Term Memory，长短期记忆网络和卷积神经网络)和CNN(Convolutional Neural Networks，卷积神经网络)的训练输入的方式，构建基于该语音数据和该目标语音片段的二分类模型，和根据该二分类模型，从该语音数据中分离出该目标语音片段，这样的好处是由于该长短期记忆网络和卷积神经网络能够保留音频上下文的信息，能够提高该构建的二分类模型的准确率，同时又能够根据该构建的二分类模型从该语音数据中分离出该目标语音片段，能够提高该从该语音数据中分离出该目标语音片段的准确率。
S104：增强该分离出的目标语音片段。
在本实施例中，可以将该分离出的目标语音片段增强至预设的增强值等，本发明不加以限定。
S105：将该经增强后的目标语音片段拼接到该经分离后的语音数据中形成新的语音数据。
其中，在该将该经增强后的目标语音片段拼接到该经分离后的语音数据中形成新的语音数据之后，还可以包括：
对该新的语音数据进行优化，这样的好处是能够实现提高该新的语音数据对应的语音的播放效果。
可以发现，在本实施例中，可以获取待增强的语音数据，和可以从该语音数据中识别出与预设语音对应的目标语音片段，和可以从该语音数据中分离出该目标语音片段，和可以增强该分离出的目标语音片段，以及可以将该经增强后的目标语音片段拼接到该经分离后的语音数据中形成新的语音数据，能够实现对整段语音中的语音片段进行增强。
进一步的，在本实施例中，可以采用基于该语音数据的声纹特征和预设语音数据的声纹特征，通过将该语音数据中涵盖该预设语音数据的声纹特征最多且时间长度最短的语音片段作为目标语音片段的方式，从该语音数据中识别出与预设语音对应的目标语音片段，这样的好处是能够提高从该语音数据中识别出与预设语音对应的目标语音片段的准确率。
进一步的，在本实施例中，可以采用提取该目标语音片段和该语音数据的线性预测分析特征，和对该线性预测分析特征进行归一化操作，和将该经归一化操作后的线性预测分析特征作为长短期记忆网络和卷积神经网络和卷积神经网络的训练输入的方式，构建基于该语音数据和该目标语音片段的二分类模型，和根据该二分类模型，从该语音数据中分离出该目标语音片段，这样的好处是由于该长短期记忆网络和卷积神经网络能够保留音频上下文的信息，能够提高该构建的二分类模型的准确率，同时又能够根据该构建的二分类模型从该语音数据中分离出该目标语音片段，能够提高该从该语音数据中分离出该目标语音片段的准确率。
请参见图2，图2是本发明语音增强方法另一实施例的流程示意图。本实施例中，该方法包括以下步骤：
S201：获取待增强的语音数据。
可如上S101所述，在此不作赘述。
S202：从该语音数据中识别出与预设语音对应的目标语音片段。
可如上S102所述，在此不作赘述。
S203：从该语音数据中分离出该目标语音片段。
可如上S103所述，在此不作赘述。
S204：增强该分离出的目标语音片段。
可如上S104所述，在此不作赘述。
S205：将该经增强后的目标语音片段拼接到该经分离后的语音数据中形成新的语音数据。
可如上S105所述，在此不作赘述。
S206：对该新的语音数据进行优化。
其中，该对该新的语音数据进行优化，可以包括：
提取该新的语音数据的短时短时傅里叶变换特征和一阶短时傅里叶变换特征以及二阶短时傅里叶变换特征，通过交叉熵损失的损失函数对该短时傅里叶变换特征和一阶短时傅里叶变换特征以及二阶短时傅里叶变换特征进行参数更新，通过该经更新后的短时傅里叶变换特征和一阶短时傅里叶变换特征以及二阶短时傅里叶变换特征采用预设次数的迭代方式，对该新的语音数据进行优化，这样的好处是能够使该新的语音数据的特征更加突出，能够实现提高该新的语音数据对应的语音的播放效果。
可以发现，在本实施例中，可以对该新的语音数据进行优化，这样的好处是能够实现提高该新的语音数据对应的语音的播放效果。
进一步的，在本实施例中，可以提取该新的语音数据的短时短时傅里叶变换特征和一阶短时傅里叶变换特征以及二阶短时傅里叶变换特征，通过交叉熵损失的损失函数对该短时傅里叶变换特征和一阶短时傅里叶变换特征以及二阶短时傅里叶变换特征进行参数更新，通过该经更新后的短时傅里叶变换特征和一阶短时傅里叶变换特征以及二阶短时傅里叶变换特征采用预设次数的迭代方式，对该新的语音数据进行优化，这样的好处是能够使该新的语音数据的特征更加突出，能够实现提高该新的语音数据对应的语音的播放效果。
本发明还提供一种语音增强装置，能够实现对整段语音中的语音片段进行增强。
请参见图3，图3是本发明语音增强装置一实施例的结构示意图。本实施例中，该语音增强装置30包括获取模块31、识别模块32、分离模块33、增强模块34和拼接模块35。
该获取模块31，用于获取待增强的语音数据。
该识别模块32，用于从该语音数据中识别出与预设语音对应的目标语音片段。
该分离模块33，用于从该语音数据中分离出该目标语音片段。
该增强模块34，用于增强该分离出的目标语音片段。
该拼接模块35，用于将该经增强后的目标语音片段拼接到该经分离后的语音数据中形成新的语音数据。
可选地，该识别模块32，可以具体用于：
采用基于该语音数据的声纹特征和预设语音数据的声纹特征，通过将该语音数据中涵盖该预设语音数据的声纹特征最多且时间长度最短的语音片段作为目标语音片段的方式，从该语音数据中识别出与预设语音对应的目标语音片段。
可选地，该分离模块33，可以具体用于：
采用提取该目标语音片段和该语音数据的线性预测分析特征，和对该线性预测分析特征进行归一化操作，和将该经归一化操作后的线性预测分析特征作为长短期记忆网络和卷积神经网络和卷积神经网络的训练输入的方式，构建基于该语音数据和该目标语音片段的二分类模型，和根据该二分类模型，从该语音数据中分离出该目标语音片段。
请参见图4，图4是本发明语音增强装置另一实施例的结构示意图。区别于上一实施例，本实施例所述语音增强装置40还包括优化模块41。
该优化模块41，用于对该新的语音数据进行优化。
可选地，该优化模块41，可以具体用于：
提取该新的语音数据的短时短时傅里叶变换特征和一阶短时傅里叶变换特征以及二阶短时傅里叶变换特征，通过交叉熵损失的损失函数对该短时傅里叶变换特征和一阶短时傅里叶变换特征以及二阶短时傅里叶变换特征进行参数更新，通过该经更新后的短时傅里叶变换特征和一阶短时傅里叶变换特征以及二阶短时傅里叶变换特征采用预设次数的迭代方式，对该新的语音数据进行优化。
该语音增强装置30/40的各个单元模块可分别执行上述方法实施例中对应步骤，故在此不对各单元模块进行赘述，详细请参见以上对应步骤的说明。
本发明又提供一种语音增强设备，如图5所示，包括：至少一个处理器51；以及，与至少一个处理器51通信连接的存储器52；其中，存储器52存储有可被至少一个处理器51执行的指令，指令被至少一个处理器51执行，以使至少一个处理器51能够执行上述的语音增强方法。
其中，存储器52和处理器51采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器51和存储器52的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器51处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器51。
处理器51负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器52可以被用于存储处理器51在执行操作时所使用的数据。
本发明再提供一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
可以发现，以上方案，可以获取待增强的语音数据，和可以从该语音数据中识别出与预设语音对应的目标语音片段，和可以从该语音数据中分离出该目标语音片段，和可以增强该分离出的目标语音片段，以及可以将该经增强后的目标语音片段拼接到该经分离后的语音数据中形成新的语音数据，能够实现对整段语音中的语音片段进行增强。
进一步的，以上方案，可以采用基于该语音数据的声纹特征和预设语音数据的声纹特征，通过将该语音数据中涵盖该预设语音数据的声纹特征最多且时间长度最短的语音片段作为目标语音片段的方式，从该语音数据中识别出与预设语音对应的目标语音片段，这样的好处是能够提高从该语音数据中识别出与预设语音对应的目标语音片段的准确率。
进一步的，以上方案，可以采用提取该目标语音片段和该语音数据的线性预测分析特征，和对该线性预测分析特征进行归一化操作，和将该经归一化操作后的线性预测分析特征作为长短期记忆网络和卷积神经网络和卷积神经网络的训练输入的方式，构建基于该语音数据和该目标语音片段的二分类模型，和根据该二分类模型，从该语音数据中分离出该目标语音片段，这样的好处是由于该长短期记忆网络和卷积神经网络能够保留音频上下文的信息，能够提高该构建的二分类模型的准确率，同时又能够根据该构建的二分类模型从该语音数据中分离出该目标语音片段，能够提高该从该语音数据中分离出该目标语音片段的准确率。
进一步的，以上方案，可以对该新的语音数据进行优化，这样的好处是能够实现提高该新的语音数据对应的语音的播放效果。
进一步的，以上方案，可以提取该新的语音数据的短时短时傅里叶变换特征和一阶短时傅里叶变换特征以及二阶短时傅里叶变换特征，通过交叉熵损失的损失函数对该短时傅里叶变换特征和一阶短时傅里叶变换特征以及二阶短时傅里叶变换特征进行参数更新，通过该经更新后的短时傅里叶变换特征和一阶短时傅里叶变换特征以及二阶短时傅里叶变换特征采用预设次数的迭代方式，对该新的语音数据进行优化，这样的好处是能够使该新的语音数据的特征更加突出，能够实现提高该新的语音数据对应的语音的播放效果。
在本发明所提供的几个实施方式中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的部分实施例，并非因此限制本发明的保护范围，凡是利用本发明说明书及附图内容所作的等效装置或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种语音增强方法，其特征在于，包括：
获取待增强的语音数据；
从所述语音数据中识别出与预设语音对应的目标语音片段；
从所述语音数据中分离出所述目标语音片段；
增强所述分离出的目标语音片段；
将所述经增强后的目标语音片段拼接到所述经分离后的语音数据中形成新的语音数据。
2.如权利要求1所述的语音增强方法，其特征在于，所述从所述语音数据中识别出与预设语音对应的目标语音片段，包括：
采用基于所述语音数据的声纹特征和预设语音数据的声纹特征，通过将所述语音数据中涵盖所述预设语音数据的声纹特征最多且时间长度最短的语音片段作为目标语音片段的方式，从所述语音数据中识别出与预设语音对应的目标语音片段。
3.如权利要求1所述的语音增强方法，其特征在于，所述从所述语音数据中分离出所述目标语音片段，包括：
采用提取所述目标语音片段和所述语音数据的线性预测分析特征，和对所述线性预测分析特征进行归一化操作，和将所述经归一化操作后的线性预测分析特征作为长短期记忆网络和卷积神经网络和卷积神经网络的训练输入的方式，构建基于所述语音数据和所述目标语音片段的二分类模型，和根据所述二分类模型，从所述语音数据中分离出所述目标语音片段。
4.如权利要求1所述的语音增强方法，其特征在于，在所述将所述经增强后的目标语音片段拼接到所述经分离后的语音数据中形成新的语音数据之后，还包括：
对所述新的语音数据进行优化。
5.如权利要求4所述的语音增强方法，其特征在于，所述对所述新的语音数据进行优化，包括：
提取所述新的语音数据的短时短时傅里叶变换特征和一阶短时傅里叶变换特征以及二阶短时傅里叶变换特征，通过交叉熵损失的损失函数对所述短时傅里叶变换特征和一阶短时傅里叶变换特征以及二阶短时傅里叶变换特征进行参数更新，通过所述经更新后的短时傅里叶变换特征和一阶短时傅里叶变换特征以及二阶短时傅里叶变换特征采用预设次数的迭代方式，对所述新的语音数据进行优化。
6.一种语音增强装置，其特征在于，包括：
获取模块、识别模块、分离模块、增强模块和拼接模块；
所述获取模块，用于获取待增强的语音数据；
所述识别模块，用于从所述语音数据中识别出与预设语音对应的目标语音片段；
所述分离模块，用于从所述语音数据中分离出所述目标语音片段；
所述增强模块，用于增强所述分离出的目标语音片段；
所述拼接模块，用于将所述经增强后的目标语音片段拼接到所述经分离后的语音数据中形成新的语音数据。
7.如权利要求6所述的语音增强装置，其特征在于，所述识别模块，具体用于：
采用基于所述语音数据的声纹特征和预设语音数据的声纹特征，通过将所述语音数据中涵盖所述预设语音数据的声纹特征最多且时间长度最短的语音片段作为目标语音片段的方式，从所述语音数据中识别出与预设语音对应的目标语音片段。
8.如权利要求6所述的语音增强装置，其特征在于，所述分离模块，具体用于：
采用提取所述目标语音片段和所述语音数据的线性预测分析特征，和对所述线性预测分析特征进行归一化操作，和将所述经归一化操作后的线性预测分析特征作为长短期记忆网络和卷积神经网络和卷积神经网络的训练输入的方式，构建基于所述语音数据和所述目标语音片段的二分类模型，和根据所述二分类模型，从所述语音数据中分离出所述目标语音片段。
9.如权利要求6所述的语音增强装置，其特征在于，所述语音增强装置，还包括：
优化模块；
所述优化模块，用于对所述新的语音数据进行优化。
10.如权利要求9所述的语音增强装置，其特征在于，所述优化模块，具体用于：
提取所述新的语音数据的短时短时傅里叶变换特征和一阶短时傅里叶变换特征以及二阶短时傅里叶变换特征，通过交叉熵损失的损失函数对所述短时傅里叶变换特征和一阶短时傅里叶变换特征以及二阶短时傅里叶变换特征进行参数更新，通过所述经更新后的短时傅里叶变换特征和一阶短时傅里叶变换特征以及二阶短时傅里叶变换特征采用预设次数的迭代方式，对所述新的语音数据进行优化。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010364755.5A CN111583947A (zh) | 2020-04-30 | 2020-04-30 | 一种语音增强方法和装置以及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010364755.5A CN111583947A (zh) | 2020-04-30 | 2020-04-30 | 一种语音增强方法和装置以及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111583947A true CN111583947A (zh) | 2020-08-25 |
Family
ID=72124603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010364755.5A Pending CN111583947A (zh) | 2020-04-30 | 2020-04-30 | 一种语音增强方法和装置以及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111583947A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108877823A (zh) * | 2018-07-27 | 2018-11-23 | 三星电子（中国）研发中心 | 语音增强方法和装置 |
| CN109376264A (zh) * | 2018-11-09 | 2019-02-22 | 广州势必可赢网络科技有限公司 | 一种音频检测方法、装置、设备及计算机可读存储介质 |
| CN109785852A (zh) * | 2018-12-14 | 2019-05-21 | 厦门快商通信息技术有限公司 | 一种增强说话人语音的方法及系统 |
| CN110223708A (zh) * | 2019-05-07 | 2019-09-10 | 平安科技（深圳）有限公司 | 基于语音处理的语音增强方法及相关设备 |
| CN110232909A (zh) * | 2018-03-02 | 2019-09-13 | 北京搜狗科技发展有限公司 | 一种音频处理方法、装置、设备及可读存储介质 |
| CN110473528A (zh) * | 2019-08-22 | 2019-11-19 | 北京明略软件系统有限公司 | 语音识别方法和装置、存储介质及电子装置 |
| CN110751957A (zh) * | 2019-09-25 | 2020-02-04 | 电子科技大学 | 一种使用堆叠多尺度模块的语音增强方法 |
| CN110808062A (zh) * | 2019-11-26 | 2020-02-18 | 秒针信息技术有限公司 | 混合语音分离方法和装置 |
| CN110875037A (zh) * | 2019-11-19 | 2020-03-10 | 腾讯科技（深圳）有限公司 | 语音数据处理方法、装置及电子设备 |
| CN111009238A (zh) * | 2020-01-02 | 2020-04-14 | 厦门快商通科技股份有限公司 | 一种拼接语音的识别方法和装置以及设备 |
-
2020
- 2020-04-30 CN CN202010364755.5A patent/CN111583947A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232909A (zh) * | 2018-03-02 | 2019-09-13 | 北京搜狗科技发展有限公司 | 一种音频处理方法、装置、设备及可读存储介质 |
| CN108877823A (zh) * | 2018-07-27 | 2018-11-23 | 三星电子（中国）研发中心 | 语音增强方法和装置 |
| CN109376264A (zh) * | 2018-11-09 | 2019-02-22 | 广州势必可赢网络科技有限公司 | 一种音频检测方法、装置、设备及计算机可读存储介质 |
| CN109785852A (zh) * | 2018-12-14 | 2019-05-21 | 厦门快商通信息技术有限公司 | 一种增强说话人语音的方法及系统 |
| CN110223708A (zh) * | 2019-05-07 | 2019-09-10 | 平安科技（深圳）有限公司 | 基于语音处理的语音增强方法及相关设备 |
| CN110473528A (zh) * | 2019-08-22 | 2019-11-19 | 北京明略软件系统有限公司 | 语音识别方法和装置、存储介质及电子装置 |
| CN110751957A (zh) * | 2019-09-25 | 2020-02-04 | 电子科技大学 | 一种使用堆叠多尺度模块的语音增强方法 |
| CN110875037A (zh) * | 2019-11-19 | 2020-03-10 | 腾讯科技（深圳）有限公司 | 语音数据处理方法、装置及电子设备 |
| CN110808062A (zh) * | 2019-11-26 | 2020-02-18 | 秒针信息技术有限公司 | 混合语音分离方法和装置 |
| CN111009238A (zh) * | 2020-01-02 | 2020-04-14 | 厦门快商通科技股份有限公司 | 一种拼接语音的识别方法和装置以及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106486130B (zh) | 噪声消除、语音识别方法及装置 | |
| CN110148400B (zh) | 发音类型的识别方法、模型的训练方法、装置及设备 | |
| CN108335694B (zh) | 远场环境噪声处理方法、装置、设备和存储介质 | |
| CN104969288A (zh) | 基于话音记录日志提供话音识别系统的方法和系统 | |
| CN111009238B (zh) | 一种拼接语音的识别方法和装置以及设备 | |
| CN110807093A (zh) | 语音处理方法、装置及终端设备 | |
| CN104462912A (zh) | 改进的生物密码安全 | |
| US10832661B2 (en) | Sound identification utilizing periodic indications | |
| US11410685B1 (en) | Method for detecting voice splicing points and storage medium | |
| CN111108554A (zh) | 一种基于语音降噪的声纹识别方法和相关装置 | |
| JP2010078877A (ja) | 音声認識装置、音声認識方法及び音声認識プログラム | |
| CN105469801A (zh) | 一种修复输入语音的方法及其装置 | |
| CN106910494B (zh) | 一种音频识别方法和装置 | |
| CN111583947A (zh) | 一种语音增强方法和装置以及设备 | |
| CN113112992A (zh) | 一种语音识别方法、装置、存储介质和服务器 | |
| CN111128234B (zh) | 一种拼接语音的识别检测方法和装置以及设备 | |
| CN115457973A (zh) | 说话人分割方法、系统、终端及存储介质 | |
| CN113763968A (zh) | 用于识别语音的方法、装置、设备、介质和产品 | |
| CN114360559B (zh) | 语音合成方法、装置、电子设备和存储介质 | |
| CN111933180B (zh) | 音频拼接检测方法、系统、移动终端及存储介质 | |
| CN110634475B (zh) | 语音识别方法、装置、电子设备和计算机可读存储介质 | |
| JP2008139747A (ja) | 音響モデルパラメータ更新処理方法、音響モデルパラメータ更新処理装置、プログラム、記録媒体 | |
| Curatelli et al. | Competitive learning methods for efficient vector quantizations in a speech recognition environment | |
| CN114694634A (zh) | 豪萨语声纹识别模型的训练方法、识别方法及装置 | |
| CN115188366A (zh) | 基于深度学习的语种识别方法、装置、可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200825 |
|
| RJ01 | Rejection of invention patent application after publication |