CN111933171B - 降噪方法及装置、电子设备、存储介质 - Google Patents
降噪方法及装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN111933171B CN111933171B CN202010994517.2A CN202010994517A CN111933171B CN 111933171 B CN111933171 B CN 111933171B CN 202010994517 A CN202010994517 A CN 202010994517A CN 111933171 B CN111933171 B CN 111933171B
- Authority
- CN
- China
- Prior art keywords
- noise reduction
- original
- amplitude information
- audio
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009467 reduction Effects 0.000 title claims abstract description 221
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000005236 sound signal Effects 0.000 claims abstract description 83
- 230000007613 environmental effect Effects 0.000 claims abstract description 33
- 238000009432 framing Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims description 51
- 238000005070 sampling Methods 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 29
- 230000008447 perception Effects 0.000 claims description 11
- 230000002829 reductive effect Effects 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000000452 restraining effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 11
- 230000004913 activation Effects 0.000 description 8
- 238000010606 normalization Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Abstract
本公开关于音频降噪方法及装置、电子设备、存储介质，其中方法包括：对当前音频信号执行加窗分帧操作获得多个音频帧；分别对多个音频帧执行傅里叶变换操作，获得多个音频帧的原始幅度信息和原始相位信息；输入多个音频帧的原始幅度信息至预先训练好的降噪模型，获得所述降噪模型输出的降噪系数；利用降噪系数分别对多个音频帧的原始幅度信息执行降噪操作，获得多个音频帧的降噪幅度信息；分别组合多个音频帧的降噪幅度信息和原始相位信息，并执行逆傅里叶变换操作，获得多个降噪音频帧；将多个降噪音频帧进行加窗和叠接相加操作，获得并输出降噪音频信号。本公开可以使用降噪系数对原始幅度信息执行降噪操作，从而达到抑制环境噪声的目的。
Description
技术领域
本公开涉及互联网技术领域，尤其涉及降噪方法及装置、电子设备、存储介质。
背景技术
随着科学技术的不断进步，电子设备中应用种类越来越多，且，许多应用都会涉及音频信号，例如短视频应用中用户录制短视频时会涉及到音频信号、直播类应用中用户直播时会涉及到音频信号、实时通讯类应用中实时传输时涉及到音频信号等等。
由于用户使用电子设备的环境较为复杂，所以音频信号不尽包括用户音频还包括环境噪声。为此需要一种降噪方法，以便降低音频信号中的环境噪声。
发明内容
本公开提供一种噪声抑制方法及装置、电子设备、存储介质，以至少解决相关技术中抑制音频信号中的环境噪声的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供了一种音频降噪方法，包括：
对当前音频信号执行加窗分帧操作获得多个音频帧；
分别对所述多个音频帧执行傅里叶变换操作，获得所述多个音频帧的原始幅度信息和原始相位信息；
输入所述多个音频帧的原始幅度信息至预先训练好的降噪模型，获得所述降噪模型输出的降噪系数；
利用所述降噪系数分别对所述多个音频帧的原始幅度信息执行降噪操作，获得所述多个音频帧的降噪幅度信息；
分别组合所述多个音频帧的降噪幅度信息和原始相位信息，并执行逆傅里叶变换操作，获得多个降噪音频帧；
将所述多个降噪音频帧进行加窗和叠接相加操作，获得并输出降噪音频信号。
其中，所述降噪模型包括：
多层级联的且使用空洞卷积的残差学习模块的下采样单元；
多层级联的且使用空洞卷积的残差学习模块的上采样单元；
以及，下采样单元与上采样单元之间至少设有一个门控注意力模块。
其中，在所述对当前音频信号执行加窗分帧操作获得多个音频帧之前，还包括：
确定训练样本集；其中一个训练样本包括原始语音的已有幅度信息，以及，原始语音中纯净语音的幅度信息和原始语音中环境噪声的幅度信息；
利用所述训练样本集对降噪模型进行有监督训练；
在达到训练结束条件后获得训练好的降噪模型。
其中，所述训练结束条件包括噪声感知代价函数趋于收敛；
其中，所述噪声感知代价函数包括两部分：语音预测损失和噪声估计损失。
其中，所述噪声感知代价函数采用如下公式表示：
其中，Y为原始语音的已有幅度信息、X为原始语音中纯净语音的幅度信息、N为原始语音中环境噪声的幅度信息、
为原始语音中纯净语音的幅度信息经过降噪模型后输出的降噪幅度信息，
为加权因子。
其中，在所述对当前音频信号执行加窗分帧操作获得多个音频帧之前，还包括：
接收原始音频信号；
对原始音频信号执行切分操作获得至少一个当前音频信号。
根据本公开实施例的第二方面，提供一种音频降噪装置，包括：
加窗分帧单元，被配置为对当前音频信号执行加窗分帧操作获得多个音频帧；
傅里叶变换单元，被配置为分别对所述多个音频帧执行傅里叶变换操作，获得所述多个音频帧的原始幅度信息和原始相位信息；
获得降噪系数单元，被配置为输入所述多个音频帧的原始幅度信息至预先训练好的降噪模型，获得所述降噪模型输出的降噪系数；
降噪单元，被配置为利用所述降噪系数分别对所述多个音频帧的原始幅度信息执行降噪操作，获得所述多个音频帧的降噪幅度信息；
组合单元，被配置为分别组合所述多个音频帧的降噪幅度信息和原始相位信息，并执行逆傅里叶变换操作，获得多个降噪音频帧；
输出单元，被配置为将所述多个降噪音频帧进行加窗和叠接相加操作，获得并输出降噪音频信号。
其中，所述降噪模型包括：
多层级联的且使用空洞卷积的残差学习模块的下采样单元；
多层级联的且使用空洞卷积的残差学习模块的上采样单元；
以及，下采样单元与上采样单元之间至少设有一个门控注意力模块。
其中，在加窗分帧单元之前，所述装置还包括：
训练单元，被配置为确定训练样本集；其中一个训练样本包括原始语音的已有幅度信息，以及，原始语音中纯净语音的幅度信息和原始语音中环境噪声的幅度信息；利用所述训练样本集对降噪模型进行有监督训练；在达到训练结束条件后获得训练好的降噪模型。
其中，所述训练结束条件包括噪声感知代价函数趋于收敛；
其中，所述噪声感知代价函数包括两部分：语音预测损失和噪声估计损失。
其中，所述噪声感知代价函数采用如下公式表示：
其中，Y为原始语音的已有幅度信息、X为原始语音中纯净语音的幅度信息、N为原始语音中环境噪声的幅度信息，
为原始语音中纯净语音的幅度信息经过降噪模型后输出的降噪幅度信息，
为加权因子。
其中在加窗分帧单元之前，所述装置还包括：
接收单元，被配置为接收原始音频信号；
切分单元，被配置为对原始音频信号执行切分操作获得至少一个当前音频信号。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现第一方面任一项所述的音频降噪方法。
根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行第一方面任一项所述的音频降噪方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
本公开可以分别对当前音频信号中的多个音频帧执行傅里叶变换操作，获得多个音频帧的原始幅度信息和原始相位信息，然后，利用预先训练好的降噪模型生成与多个音频帧的原始幅度信息对应的降噪系数，利用降噪系数分别对多个音频帧的原始幅度信息执行降噪操作，获得多个音频帧的降噪幅度信息，最后分别组合多个音频帧的降噪幅度信息和原始相位信息，并执行逆傅里叶变换操作，获得由多个降噪音频帧组成的当前降噪音频信号。
本公开可以基于降噪模型计算与多个音频帧的原始幅度信息相匹配的降噪系数，并使用降噪系数对原始幅度信息执行降噪操作，从而达到抑制环境噪声的目的。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1a是根据一示例性实施例示出的一种音频降噪系统的结构示意图；
图1b是根据一示例性实施例示出的一种音频降噪系统的结构示意图；
图1c是根据一示例性实施例示出的一种音频降噪系统的结构示意图；
图2a和图2b是根据一示例性实施例示出的一种降噪模型的两种示意图；
图3a是根据一示例性实施例示出的下采样单元的结构示意图；
图3b是根据一示例性实施例示出的上采样单元的结构示意图；
图3c是根据一示例性实施例示出的门控注意力模块的结构示意图；
图4是根据一示例性实施例示出的一种降噪模型训练方法的流程图；
图5是根据一示例性实施例示出的一种音频降噪方法的流程图；
图6是根据一示例性实施例示出的一种音频降噪装置的框图；
图7是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1a是根据一示例性实施例示出的一种音频降噪系统的结构示意图，如图1a所示，降噪包括:多个移动终端100和服务器200。移动终端100安装有客户端，服务器200为与客户端对应的服务端。
客户端可以为语音类应用，此情况下，移动终端100直接收集原始音频信号并发送原始音频信号至服务器200，以供服务器200执行降噪操作。
客户端可以为视频类应用，此情况下，移动终端100直接收集原始视频信号并发送原始视频信号至服务器200，以供服务器200从原始视频信号中提取原始音频信号，并对原始音频信号执行降噪操作。
图1b是根据一示例性实施例示出的一种音频降噪系统的结构示意图，如图1b所示，音频降噪系统包括:多个移动终端100、服务器200和代理服务器300。移动终端100安装有客户端，服务器100为与客户端对应的服务端。
客户端可以为语音类应用，此情况下，移动终端100直接收集原始音频信号并发送原始音频信号至服务器200，服务器200可以发送原始音频信号至代理服务器300，以供代理服务器300执行降噪操作，以便服务器200使用代理服务器300提供的降噪服务。
客户端可以为视频类应用，此情况下，移动终端100直接收集原始视频信号并发送原始视频信号至服务器200，以供服务器200从原始视频信号中提取原始音频信号，服务器200可以发送原始音频信号至代理服务器300，以供代理服务器300执行降噪操作，以便服务器200使用代理服务器300提供的降噪服务。
图1c是根据一示例性实施例示出的一种音频降噪系统的结构示意图，如图1c所示，降噪系统包括:处理设备400和数据库设备500，数据库设备存储有多条原始音频信号。处理设备400从数据库设备500中提取原始音频信号，并对原始音频信号执行降噪处理操作。
可以理解的是，图1a-1c示例性提供了音频降噪系统的三种结构示意图，可以理解的是，本领域技术人员可以使用其它架构来实现降噪系统，对此不再一一列举。原始音频信号通常较大，为了便于处理，可以对原始音频信号执行切分操作获得至少一个当前音频信号；针对至少一个当前音频信号执行降噪方法。
为了对当前音频信号进行降噪操作，本公开提供一种降噪模型。图2a和图2b是根据一示例性实施例示出的一种降噪模型的两种示意图。
参见图2a或2b，降噪模型包括：
多层级联的下采样单元，下采样单元基于使用空洞卷积的残差学习模块和卷积模块实现，用于进行特征提取。
多层级联的上采样单元，上采样单元基于使用空洞卷积的残差学习模块和反卷积模块实现，用于进行特征恢复。
下采样单元与上采样单元之间至少设有一个门控注意力模块，用于去除一些无用的干扰神经元，进一步获取更准确的特征抽象，提升语音预测的准确性。
图2a与图2b不同的是，图2a中采用一个门控注意力模块，图2b中采用多个门控注意力模块。
采用多个门控注意力模块，可以更准确地进行特征抽象，提升语音预测的准确性；同时，也会增加计算量。因此，门控注意力模块的多少，可以根据实际情况添加，本公开不限定门控注意力模块的数量。
图3a是根据一示例性实施例示出的下采样单元的结构示意图，如图3a所示，其中残差学习模块包括：第一空洞卷积模块和第二空洞卷积模块；第一空洞卷积模块包括实现第一空洞率(2,2)的空洞卷积层、批量归一化层和激活函数层。第二空洞卷积模块包括实现第二空洞率(4，4)的空洞卷积层、批量归一化层和激活函数层。
图3b是根据一示例性实施例示出的上采样单元的结构示意图，如图3b所示，其中残差学习模块包括：第一空洞卷积模块和第二空洞卷积模块；第一空洞卷积模块包括实现第一空洞率(2,2)的空洞卷积层、批量归一化层和激活函数层。第二空洞卷积模块包括实现第二空洞率(4，4)的空洞卷积层、批量归一化层和激活函数层。
本实施中利用在残差学习模块中使用空洞卷积其目的为扩大感受野，以便获得更加丰富的上下文信息。
对于图2a和图2b中级联的多个下采样单元中的卷积模块，可以采用不同的卷积核和不同步长，以用于解决使用池化层带来的信息丢失。
对于图2a和图2b中级联的多个上采样单元中的反卷积模块，采用与卷积模块对应的卷积核和步长，以用于恢复特征图的大小。
在上采样单元和下采样单元中的批归一化层可以采用BN(Batchnormalization)，激活函数层可以采用Leaky Relu激活函数。
降噪模型具有多层级联的且使用空洞卷积的残差学习模块的下采样单元，使用空洞卷积可以获得更大感受野，所以可以获得更多的上下文信息。并且，降噪模型使用门控注意力模块执行降噪操作，可以过滤环境噪声，从而达到降低音频信号中的环境噪声的目的。
图3c是根据一示例性实施例示出的门控注意力模块的结构示意图，如图3c所示，门控注意力模块包括：第一卷积模块，第二卷积模块，叠加模块，激活函数，第三卷积模块，归一化模块，上采样模块，和，乘积模块。
图4是根据一示例性实施例示出的一种降噪模型训练方法的流程图，以用于训练图2a或图2b所示的降噪模型。
降噪模型训练方法可以用于图1a中的服务器200、图1b中的代理服务器300或图1c中的处理设备400，在训练结束即可存储训练好的降噪模型，以用于对当前音频信号进行降噪操作。
另外，降噪模型训练方法还可以应用于其它设备中，其它设备在训练结束后可以发送训练好的降噪模型，图1a中的服务器200、图1b中的代理服务器300或图1c中的处理设备400存储训练好的降噪模型，以用于对原始音频信号进行降噪操作。
如图4所示，一种降噪模型训练方法包括以下步骤：
步骤S400：获取多组原始音频帧、纯净音频帧和环境噪声帧。
一组原始音频帧、纯净音频帧和相对应的环境噪声帧包括：多个连续的原始音频帧也即原始语音，与多个原始音频帧一一对应的多个纯净音频帧也即原始语音中的纯净语音，和，与多个原始音频帧一一对应的多个环境噪声帧也即原始语音中的环境噪声。原始音频帧为包含环境噪声的音频帧，纯净音频帧为与不包含环境噪声的音频帧。
步骤S401：确定训练样本集。
对一组原始音频帧、纯净音频帧以及相对应的环境噪声而言，分别对原始语音、原始语音中的纯净语音以及原始语音中的环境噪声进行傅里叶变换，获得原始语音的已有幅度信息，以及，原始语音中纯净语音的幅度信息和原始语音中环境噪声的幅度信息。
一个训练样本为一个序列，该序列包含原始语音的已有幅度信息，以及，原始语音中纯净语音的幅度信息和原始语音中环境噪声的幅度信息。多个训练样本形成训练样本集。
一组原始音频帧、纯净音频帧以及环境噪声帧，可以建模为y＝x+n，其中y为原始语音，x为原始语音中的纯净语音，n为原始语音中的环境噪声；则采用傅里叶变换到频域后，训练样本为Y＝X+N，其中，Y为原始语音的已有幅度信息、X为原始语音中纯净语音的幅度信息、N为原始语音中环境噪声的幅度信息。
步骤S402：利用训练样本集对降噪模型进行有监督训练。
在降噪模型进行有监督训练过程中使用噪声感知代价函数(Weighted MeanAbsolute Error，WMAE)。噪声感知代价函数不仅考虑降噪模型中的语音预测损失，还考虑噪声估计损失，将并将噪声估计损失作为语音预测损失的补偿，以提供更加准确合理的噪声感知代价函数。
噪声感知代价函数可以采用如下公式：
其中，Y为原始语音的已有幅度信息、X为原始语音中纯净语音的幅度信息、N为原始语音中环境噪声的幅度信息、
为原始语音中纯净语音的幅度信息经过降噪模型后输出的降噪幅度信息，
为加权因子。
步骤S403：在达到训练结束条件后获得训练好的降噪模型。
在训练结束条件为噪声感知代价函数趋于收敛的情况下，可以持续训练降噪模型中涉及的模型参数，直到噪声感知代价函数趋于收敛，从而获得训练好的降噪模型。
训练好的降噪模型，以幅度序列为输入，以降噪系数为输出。降噪模型可以对幅度序列进行特征提取和特征恢复，以便去除幅度序列中一些环境噪声、提取出更准确语音特征，输出的降噪系数可以表示幅度序列中有价值的语音特征。
图5是根据一示例性实施例示出的一种音频降噪方法的流程图，用于图1a中的服务器200、图1b中的代理服务器300或图1c中的处理设备400。
为了便于描述，本实施例以服务器为例，来介绍音频降噪方法的详细描述，可以理解的是，本实施例中的服务器可以替换为代理服务器或处理设备。
参见图5，音频降噪方法包括以下步骤：
步骤S500：接收原始音频信号并对原始音频信号执行切分操作，获得至少一个当前音频信号。
服务器可以处理音频信号长度有限，因此对原始音频信号执行切分操作，例如按1秒钟为周期执行切分操作，获得至少一个当前音频信号。可以理解的是，每个当前音频信号包括多个连续的音频帧。
由于服务器对每个当前音频信号的降噪过程均是一致的，所以本实施例的下文中以一个当前音频信号为例进行详细说明。
步骤S501：对当前音频信号执行加窗分帧操作获得多个音频帧。
步骤S502：分别对所述多个音频帧执行傅里叶变换操作，获得所述多个音频帧的原始幅度信息和原始相位信息。
傅里叶变换操作可以包括快速傅里叶变换、短时傅里叶变换等操作。傅里叶变换音频帧从时域信号转换到频域信号，若频域信号采用极坐标形式表示幅值信息和相位信息。分别对多个音频帧执行傅里叶变换操作，可以获得多个音频帧的原始幅度信息和原始相位信息。
步骤S503：输入所述多个音频帧的原始幅度信息至预先训练好的降噪模型，获得所述降噪模型输出的降噪系数。
当前音频信号中的多个音频帧是具有先后时间顺序的，为了保留各个音频帧之间的上下文信息，将多个音频帧的原始幅度信息按照音频帧的时间顺序组成幅度序列。
多个音频帧的原始幅度信息中既有用户语音又有环境噪声，可以将幅度序列输入至训练好的降噪模型，以便降噪模型输出与多个音频帧的原始幅度信息相匹配的降噪系数，在降噪模型中称为掩蔽因子。
以图2a所示的降噪模型为例，幅度序列进入降噪模型后，首先利用级联的多个下采样单元不断对幅度序列进行编码，在对幅度序列不断编码过程也是一种不断过滤环境噪声保留用户人声的过程，并获得含噪语音编码特征f。
含噪语音编码特征f还可以向下进入下采样单元，继续对含噪语音编码特征f执行过滤环境噪声保留用户人声的过程，最终得到过滤大部分噪声保留大部分用户人声的语音编码特征，为了便于区分称为门控信号。
在不断向下执行下采样单元的过程中，语音特征的大小会不断减小，以减少计算量。为了恢复门控信号的大小，门控信号会经过上采样单元以进行解码，获得与含噪语音编码特征f同样大小的门控信号g。
含噪语音编码特征f和门控信号g一并进入门控注意力模块，门控注意力模块可以按照图3c的方式首先分别利用第二卷积模块对门控信号g执行卷积操作，利用第一卷积模块对含噪语音编码特征f，然后再执行叠加操作。
叠加操作可以综合考虑含噪语音编码特征f和门控信号g中的用户人声和环境噪声，尽量保留用户人声、过滤环境噪声；因此，将叠加操作后的输出信号再次作为门控信号，利用激活函数、第三卷积模块、归一化模块和上采样模块对门控信号进行处理操作，并获得门控注意力系数w。
门控注意力系数w为由0-1之间的数值组成的矩阵，越接近1表示越允许通过，越接近0表示越不允许通过。将门控注意力系数w再次作用于含噪语音编码特征f，可以获得降噪操作后的降噪语音编码特征
将降噪语音编码特征
和门控信号g连接在一起作为下采样单元的输入，在多个级联的上采样单元的不断解码后，获得降噪系数。
步骤S504：利用所述降噪系数分别对所述多个音频帧的原始幅度信息执行降噪操作，获得所述多个音频帧的降噪幅度信息。
降噪模型的目的为生成降噪系数(Mask)，将降噪系数与多个音频帧的原始幅度信息组成的幅度序列相乘，可以获得降噪后的幅度谱，也即多个音频帧的降噪幅度信息。
步骤S505：分别组合所述多个音频帧的降噪幅度信息和原始相位信息，并执行逆傅里叶变换操作，获得多个降噪音频帧。
从降幅序列中提取多个单独的降噪幅度信息，多个降噪幅度信息分别与一一对应的多个原始相位信息组合。然后再分别对各个组合执行逆傅里叶变换，获得多个降噪音频帧。
步骤S506：将所述多个降噪音频帧进行加窗和叠接相加操作，获得并输出降噪音频信号。
多个降噪音频帧仍然按照当前音频信号中音频帧的时间顺序排列，进行加窗和叠接相加操作，从而获得降噪后的降噪音频信号，服务器可以输出降噪音频信号。
本公开的实施例提供的技术方案至少带来以下有益效果：
本公开可以分别对当前音频信号中的多个音频帧执行傅里叶变换操作，获得多个音频帧的原始幅度信息和原始相位信息，然后，利用预先训练好的降噪模型生成与多个音频帧的原始幅度信息对应的降噪系数，利用降噪系数分别对多个音频帧的原始幅度信息执行降噪操作，获得多个音频帧的降噪幅度信息，最后分别组合多个音频帧的降噪幅度信息和原始相位信息，并执行逆傅里叶变换操作，获得由多个降噪音频帧组成的当前降噪音频信号。
本公开可以基于降噪模型计算与多个音频帧的原始幅度信息相匹配的降噪系数，并使用降噪系数对原始幅度信息执行降噪操作，从而达到抑制环境噪声的目的。
预先训练好的降噪模型具有多层级联的且使用空洞卷积的残差学习模块的下采样单元，使用空洞卷积可以获得更大感受野，所以可以获得更多的上下文信息。并且，预先训练好的降噪模型使用门控注意力模块执行降噪操作，可以过滤环境噪声，从而达到降低音频信号中的环境噪声的目的。
图6是根据一示例性实施例示出的一种音频降噪装置600框图。参照图2，该装置包括加窗分帧单元61，傅里叶变换单元62、获得降噪系数单元63、降噪单元64、组合单元65和输出单元66。
加窗分帧单元61，被配置为对当前音频信号执行加窗分帧操作获得多个音频帧；
傅里叶变换单元62，被配置为分别对所述多个音频帧执行傅里叶变换操作，获得所述多个音频帧的原始幅度信息和原始相位信息；
获得降噪系数单元63，被配置为输入所述多个音频帧的原始幅度信息至预先训练好的降噪模型，获得所述降噪模型输出的降噪系数；
降噪单元64，被配置为利用所述降噪系数分别对所述多个音频帧的原始幅度信息执行降噪操作，获得所述多个音频帧的降噪幅度信息；
组合单元65，被配置为分别组合所述多个音频帧的降噪幅度信息和原始相位信息，并执行逆傅里叶变换操作，获得多个降噪音频帧；
输出单元66，被配置为将所述多个降噪音频帧进行加窗和叠接相加操作，获得并输出降噪音频信号。
其中，所述降噪模型包括：
多层级联的且使用空洞卷积的残差学习模块的下采样单元；
多层级联的且使用空洞卷积的残差学习模块的上采样单元；
以及，下采样单元与上采样单元之间至少设有一个门控注意力模块。
其中，在加窗分帧单元之前，所述装置还包括：
训练单元67，被配置为确定训练样本集；其中一个训练样本包括一组连续音频帧的原始幅度信息，以及，相对应的一组连续纯净音频帧的幅度信息和一组连续环境噪声的幅度信息；利用所述训练样本集对降噪模型进行有监督训练；在达到训练结束条件后获得训练好的降噪模型。
其中，所述训练结束条件包括噪声感知代价函数趋于收敛；
其中，所述噪声感知代价函数包括两部分：语音预测损失和噪声估计损失。
其中，所述噪声感知代价函数采用如下公式表示：
其中，Y为原始语音的已有幅度信息、X为原始语音中纯净语音的幅度信息和N为原始语音中环境噪声的幅度信息，
为原始语音中纯净语音的幅度信息经过降噪模型后输出的降噪幅度信息，
为加权因子。
其中在加窗分帧单元之前，所述装置还包括：
接收单元68，被配置为接收原始音频信号；
切分单元69，被配置为对原始音频信号执行切分操作获得至少一个当前音频信号。
图7是根据一示例性实施例示出的一种电子设备700的框图。例如电子设备700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图7，电子设备700可以包括以下一个或多个组件：处理组件702，存储器704，电力组件706，多媒体组件708，音频组件710，输入/输出(I/O)的接口712，传感器组件714，以及通信组件716。
处理组件702通常控制电子设备700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。
存储器704被配置为存储各种类型的数据以支持在设备700的操作。这些数据的示例包括用于在电子设备700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件706为电子设备700的各种组件提供电力。电源组件706可以包括电源管理系统，一个或多个电源，及其他与为电子设备700生成、管理和分配电力相关联的组件。
多媒体组件708包括在所述电子设备700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当电子设备700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(MIC)，当电子设备700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。
I/O接口712为处理组件702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件714包括一个或多个传感器，用于为电子设备700提供各个方面的状态评估。例如，传感器组件714可以检测到设备700的打开/关闭状态，组件的相对定位，例如所述组件为电子设备700的显示器和小键盘，传感器组件714还可以检测电子设备700或电子设备700一个组件的位置改变，用户与电子设备700接触的存在或不存在，电子设备700方位或加速/减速和电子设备700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件716被配置为便于电子设备700和其他设备之间有线或无线方式的通信。电子设备700可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器704，上述指令可由电子设备700的处理器720执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (12)
1.一种音频降噪方法，其特征在于，包括：
对当前音频信号执行加窗分帧操作获得多个音频帧；
分别对所述多个音频帧执行傅里叶变换操作，获得所述多个音频帧的原始幅度信息和原始相位信息；
输入所述多个音频帧的原始幅度信息至预先训练好的降噪模型，获得所述降噪模型输出的降噪系数；
利用所述降噪系数分别对所述多个音频帧的原始幅度信息执行降噪操作，获得所述多个音频帧的降噪幅度信息；
分别组合所述多个音频帧的降噪幅度信息和原始相位信息，并执行逆傅里叶变换操作，获得多个降噪音频帧；
将所述多个降噪音频帧进行加窗和叠接相加操作，获得并输出降噪音频信号；
其中，所述降噪模型包括：
多层级联的且使用空洞卷积的残差学习模块的下采样单元；
多层级联的且使用空洞卷积的残差学习模块的上采样单元；
以及，下采样单元与上采样单元之间至少设有一个门控注意力模块。
2.根据权利要求1所述的音频降噪方法，其特征在于，在所述对当前音频信号执行加窗分帧操作获得多个音频帧之前，还包括：
确定训练样本集；其中一个训练样本包括原始语音的已有幅度信息，以及，原始语音中纯净语音的幅度信息和原始语音中环境噪声的幅度信息；
利用所述训练样本集对降噪模型进行有监督训练；
在达到训练结束条件后获得训练好的降噪模型。
3.根据权利要求2所述的音频降噪方法，其特征在于，所述训练结束条件包括噪声感知代价函数趋于收敛；
其中，所述噪声感知代价函数包括两部分：语音预测损失和噪声估计损失。
4.如权利要求3所述的音频降噪方法，其特征在于，所述噪声感知代价函数采用如下公式表示：
其中，Y为原始语音的已有幅度信息、X为原始语音中纯净语音的幅度信息、N为原始语音中环境噪声的幅度信息、
为原始语音中纯净语音的幅度信息经过降噪模型后输出的降噪幅度信息，
为加权因子。
5.根据权利要求1所述的音频降噪方法，其特征在于，在所述对当前音频信号执行加窗分帧操作获得多个音频帧之前，还包括：
接收原始音频信号；
对原始音频信号执行切分操作获得至少一个当前音频信号。
6.一种音频降噪装置，其特征在于，包括：
加窗分帧单元，被配置为对当前音频信号执行加窗分帧操作获得多个音频帧；
傅里叶变换单元，被配置为分别对所述多个音频帧执行傅里叶变换操作，获得所述多个音频帧的原始幅度信息和原始相位信息；
获得降噪系数单元，被配置为输入所述多个音频帧的原始幅度信息至预先训练好的降噪模型，获得所述降噪模型输出的降噪系数；
降噪单元，被配置为利用所述降噪系数分别对所述多个音频帧的原始幅度信息执行降噪操作，获得所述多个音频帧的降噪幅度信息；
组合单元，被配置为分别组合所述多个音频帧的降噪幅度信息和原始相位信息，并执行逆傅里叶变换操作，获得多个降噪音频帧；
输出单元，被配置为将所述多个降噪音频帧进行加窗和叠接相加操作，获得并输出降噪音频信号；
其中，所述降噪模型包括：
多层级联的且使用空洞卷积的残差学习模块的下采样单元；
多层级联的且使用空洞卷积的残差学习模块的上采样单元；
以及，下采样单元与上采样单元之间至少设有一个门控注意力模块。
7.根据权利要求6所述的音频降噪装置，其特征在于，在加窗分帧单元之前，所述装置还包括：
训练单元，被配置为确定训练样本集；其中一个训练样本包括原始语音的已有幅度信息，以及，原始语音中纯净语音的幅度信息和原始语音中环境噪声的幅度信息；利用所述训练样本集对降噪模型进行有监督训练；在达到训练结束条件后获得训练好的降噪模型。
8.根据权利要求7所述的音频降噪装置，其特征在于，所述训练结束条件包括噪声感知代价函数趋于收敛；
其中，所述噪声感知代价函数包括两部分：语音预测损失和噪声估计损失。
9.如权利要求8所述的音频降噪装置，其特征在于，所述噪声感知代价函数采用如下公式表示：
其中，Y为原始语音的已有幅度信息、X为原始语音中纯净语音的幅度信息、N为原始语音中环境噪声的幅度信息、
为原始语音中纯净语音的幅度信息经过降噪模型后输出的降噪幅度信息，
为加权因子。
10.根据权利要求6所述的音频降噪装置，其特征在于，在加窗分帧单元之前，所述装置还包括：
接收单元，被配置为接收原始音频信号；
切分单元，被配置为对原始音频信号执行切分操作获得至少一个当前音频信号。
11.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至5中任一项所述的音频降噪方法。
12.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至5中任一项所述的音频降噪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010994517.2A CN111933171B (zh) | 2020-09-21 | 2020-09-21 | 降噪方法及装置、电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010994517.2A CN111933171B (zh) | 2020-09-21 | 2020-09-21 | 降噪方法及装置、电子设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111933171A CN111933171A (zh) | 2020-11-13 |
| CN111933171B true CN111933171B (zh) | 2021-01-22 |
Family
ID=73335344
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010994517.2A Active CN111933171B (zh) | 2020-09-21 | 2020-09-21 | 降噪方法及装置、电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111933171B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113391122A (zh) * | 2021-06-09 | 2021-09-14 | 中电科思仪科技股份有限公司 | 一种提高频谱监测信道选择性的方法 |
| CN113423036B (zh) * | 2021-06-25 | 2022-07-29 | 歌尔科技有限公司 | 一种降噪设备的测试方法及降噪测试装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104810024A (zh) * | 2014-01-28 | 2015-07-29 | 上海力声特医学科技有限公司 | 一种双路麦克风语音降噪处理方法及系统 |
| CN109119093A (zh) * | 2018-10-30 | 2019-01-01 | Oppo广东移动通信有限公司 | 语音降噪方法、装置、存储介质及移动终端 |
| WO2020025140A1 (en) * | 2018-08-02 | 2020-02-06 | Huawei Technologies Co., Ltd. | Sound processing apparatus and method for sound enhancement |
| CN110797041A (zh) * | 2019-10-21 | 2020-02-14 | 珠海市杰理科技股份有限公司 | 语音降噪处理方法、装置、计算机设备及存储介质 |
| CN111081268A (zh) * | 2019-12-18 | 2020-04-28 | 浙江大学 | 一种相位相关的共享深度卷积神经网络语音增强方法 |
| CN111554321A (zh) * | 2020-04-20 | 2020-08-18 | 北京达佳互联信息技术有限公司 | 降噪模型训练方法、装置、电子设备及存储介质 |
-
2020
- 2020-09-21 CN CN202010994517.2A patent/CN111933171B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104810024A (zh) * | 2014-01-28 | 2015-07-29 | 上海力声特医学科技有限公司 | 一种双路麦克风语音降噪处理方法及系统 |
| WO2020025140A1 (en) * | 2018-08-02 | 2020-02-06 | Huawei Technologies Co., Ltd. | Sound processing apparatus and method for sound enhancement |
| CN109119093A (zh) * | 2018-10-30 | 2019-01-01 | Oppo广东移动通信有限公司 | 语音降噪方法、装置、存储介质及移动终端 |
| CN110797041A (zh) * | 2019-10-21 | 2020-02-14 | 珠海市杰理科技股份有限公司 | 语音降噪处理方法、装置、计算机设备及存储介质 |
| CN111081268A (zh) * | 2019-12-18 | 2020-04-28 | 浙江大学 | 一种相位相关的共享深度卷积神经网络语音增强方法 |
| CN111554321A (zh) * | 2020-04-20 | 2020-08-18 | 北京达佳互联信息技术有限公司 | 降噪模型训练方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111933171A (zh) | 2020-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108198569B (zh) | 一种音频处理方法、装置、设备及可读存储介质 | |
| CN111128221B (zh) | 一种音频信号处理方法、装置、终端及存储介质 | |
| CN110060215B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN111009257B (zh) | 一种音频信号处理方法、装置、终端及存储介质 | |
| CN111933171B (zh) | 降噪方法及装置、电子设备、存储介质 | |
| CN110931028B (zh) | 一种语音处理方法、装置和电子设备 | |
| WO2022160715A1 (zh) | 语音信号的处理方法及电子设备 | |
| CN113707134B (zh) | 一种模型训练方法、装置和用于模型训练的装置 | |
| CN110717399A (zh) | 人脸识别方法和电子终端设备 | |
| CN114186622A (zh) | 图像特征提取模型训练方法、图像特征提取方法和装置 | |
| CN111882558A (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN109544490B (zh) | 图像增强方法、装置和计算机可读存储介质 | |
| CN114446318A (zh) | 音频数据分离方法、装置、电子设备及存储介质 | |
| CN111583958B (zh) | 音频信号处理方法、装置、电子设备及存储介质 | |
| CN110148424B (zh) | 语音处理方法、装置、电子设备及存储介质 | |
| CN116129931B (zh) | 一种视听结合的语音分离模型搭建方法及语音分离方法 | |
| CN112820300A (zh) | 音频处理方法及装置、终端、存储介质 | |
| CN110675355B (zh) | 图像重建方法及装置、电子设备和存储介质 | |
| CN112201267A (zh) | 一种音频处理方法、装置、电子设备及存储介质 | |
| CN109635926B (zh) | 用于神经网络的注意力特征获取方法、装置及存储介质 | |
| CN110580910B (zh) | 一种音频处理方法、装置、设备及可读存储介质 | |
| CN111667842B (zh) | 音频信号处理方法及装置 | |
| CN113888432A (zh) | 一种图像增强方法、装置和用于图像增强的装置 | |
| CN113345461A (zh) | 一种语音处理方法、装置和用于语音处理的装置 | |
| CN113113036B (zh) | 音频信号处理方法及装置、终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |