CN117577124A - 基于知识蒸馏的音频降噪模型的训练方法、装置及设备 - Google Patents

Abstract

本申请公开了一种基于知识蒸馏的音频降噪模型的训练方法、装置及设备，涉及人工智能技术领域。该方法的一具体实施方式包括：将具有噪声的音频信号从时域转换至时频域，得到具有噪声的音频特征；分别将具有噪声的音频特征输入到教师网络和学生网络中，得到教师网络预测输出的第一降噪特征，以及学生网络预测输出的第二降噪特征；将第二降噪特征从时频域转换至时域，得到第二降噪信号；根据第二降噪信号与干净的音频信号，第二降噪特征与干净的音频特征，以及第二降噪特征和第一降噪特征，确定学生网络对应的损失函数；利用学生网络对应的损失函数对学生网络进行知识蒸馏训练，得到训练后的音频降噪模型。

Description

基于知识蒸馏的音频降噪模型的训练方法、装置及设备

技术领域

本申请涉及人工智能技术领域，尤其涉及一种基于知识蒸馏的音频降噪模型的训练方法、装置及设备。

背景技术

富媒体信息时代，音视频已成为人们获取、发布、交换信息的重要方式。同时，随着越来越多的人意识到在线会议的便捷性，在线沟通与交流使音视频用量激增，音视频沟通与交流已迅速普及到了人们的日常生活及工作中。实时音视频的典型场景是以沟通交流为核心诉求，这对音频的质量要求逐渐变高。但，麦克风采集到的原始音频数据会存在人声不清晰，环境噪声大、回声等问题。为了改善音视频会议的通话质量，需要对麦克风采集的声音进行降噪处理。

目前，基于深度学习的语音降噪算法存在以下问题：（1）较大的语音降噪模型的计算需求通常非常庞大，不适合应用在计算资源有限的设备上。（2）在较大的语音降噪模型的基础上直接进行量化、剪枝等操作，在一定程度上解决了实时性的问题，但同时也严重影响了模型的精度。

发明内容

本申请的实施例提出了一种基于知识蒸馏的音频降噪模型的训练方法、装置及设备。

第一方面，本申请的实施例提供了一种基于知识蒸馏的音频降噪模型的训练方法，该方法包括：将具有噪声的音频信号从时域转换至时频域，得到具有噪声的音频特征；分别将具有噪声的音频特征输入到教师网络和学生网络中，得到教师网络预测输出的第一降噪特征，以及学生网络预测输出的第二降噪特征；将第二降噪特征从时频域转换至时域，得到第二降噪信号；根据第二降噪信号与干净的音频信号之间的损失函数，第二降噪特征与干净的音频特征之间的损失函数，以及第二降噪特征和第一降噪特征之间的蒸馏损失函数，确定学生网络对应的损失函数；利用学生网络对应的损失函数对学生网络进行知识蒸馏训练，得到训练后的音频降噪模型。

在一些实施例中，教师网络包括依次连接的第一编码器层、第一骨干网络层和第一解码器层；学生网络包括依次连接的第二编码器层、第二骨干网络层和第二解码器层；其中，第一编码器层和第二编码器层的输入为具有噪声的音频特征；

该方法还包括：

根据第一编码器层和第二编码器层的输出结果，确定编码损失函数；

根据第一骨干网络层和第二骨干网络层的输出结果，确定骨干网络损失函数；

融合具有噪声的音频特征以及第一解码器层输出的第一掩码音频特征，得到第一降噪特征；以及融合具有噪声的音频特征以及第二解码器层输出的第二掩码音频特征，得到第二降噪特征；

根据第二降噪特征和第一降噪特征之间的损失函数，确定解码损失函数；

第二降噪特征和第一降噪特征之间的蒸馏损失函数基于以下步骤确定：

将编码损失函数、骨干网络损失函数和解码损失函数，作为蒸馏损失函数。

在一些实施例中，将编码损失函数、骨干网络损失函数和解码损失函数，作为蒸馏损失函数，包括：根据第一预设权重与编码损失函数，第二预设权重与骨干网络损失函数，以及第三预设权重与解码损失函数，确定蒸馏损失函数。

在一些实施例中，将具有噪声的音频信号从时域转换至时频域，得到具有噪声的音频特征，包括：将具有噪声的音频信号从时域转换至时频域，得到具有噪声的音频特征中每个频点对应的实部、虚部和幅值；

第二降噪特征与干净的音频特征之间的损失函数基于以下步骤确定：根据第二降噪特征与干净的音频特征的实部，第二降噪特征与干净的音频特征的虚部，以及第二降噪特征与干净的音频特征的幅值，确定第二降噪特征与干净的音频特征之间的损失函数。

在一些实施例中，教师网络基于以下步骤确定：将第一降噪特征从时频域转换至时域，得到第一降噪信号；根据第一降噪特征与干净的音频特征的实部，第一降噪特征与干净的音频特征的虚部和第一降噪特征与干净的音频特征的幅值所确定的损失函数，以及第一降噪信号与干净的音频信号之间的损失函数，确定教师网络的损失函数；基于教师网络的损失函数对教师网络进行训练，得到训练后的教师网络。

在一些实施例中，第一编码器层和第一解码器层中的卷积为可分离卷积。

第二方面，本申请的实施例提供了一种音频降噪方法，该方法包括：获取原始音频信号；将所述原始音频信号从时域转换至时频域得到原始音频特征；将所述原始音频特征输入到预先训练的音频降噪模型中，得到降噪音频特征；将所述降噪音频特征从时频域转换至时域得到降噪音频信号。

第三方面，本申请的实施例提供了一种基于知识蒸馏的音频降噪模型的训练装置，该装置包括：第一转换模块、特征预测模块、第二转换模块、损失确定模块和模型训练模块。其中，第一转换模块，用于将具有噪声的音频信号从时域转换至时频域，得到具有噪声的音频特征；特征预测模块，用于分别将具有噪声的音频特征输入到教师网络和学生网络中，得到教师网络预测输出的第一降噪特征，以及学生网络预测输出的第二降噪特征；第二转换模块，用于将第二降噪特征从时频域转换至时域，得到第二降噪信号；损失确定模块，用于根据第二降噪信号与干净的音频信号之间的损失函数，第二降噪特征与干净的音频特征之间的损失函数，以及第二降噪特征和第一降噪特征之间的蒸馏损失函数，确定学生网络对应的损失函数；模型训练模块，用于利用学生网络对应的损失函数对学生网络进行知识蒸馏训练，得到训练后的音频降噪模型。

在一些实施例中，教师网络包括依次连接的第一编码器层、第一骨干网络层和第一解码器层；学生网络包括依次连接的第二编码器层、第二骨干网络层和第二解码器层；其中，第一编码器层和第二编码器层的输入为具有噪声的音频特征；

该装置还包括：第一确定单元，用于根据第一编码器层和第二编码器层的输出结果，确定编码损失函数；第一确定单元，用于根据第一骨干网络层和第二骨干网络层的输出结果，确定骨干网络损失函数；特征融合单元，用于融合具有噪声的音频特征以及第一解码器层输出的第一掩码音频特征，得到第一降噪特征；以及融合具有噪声的音频特征以及第二解码器层输出的第二掩码音频特征，得到第二降噪特征；第三确定单元，用于根据第二降噪特征和第一降噪特征之间的损失函数，确定解码损失函数；

损失确定模块，还用于将编码损失函数、骨干网络损失函数和解码损失函数，作为蒸馏损失函数。

在一些实施例中，损失确定模块，还用于：根据第一预设权重与编码损失函数，第二预设权重与骨干网络损失函数，以及第三预设权重与解码损失函数，确定蒸馏损失函数。

在一些实施例中，第一转换模块，具体用于：将具有噪声的音频信号从时域转换至时频域，得到具有噪声的音频特征中每个频点对应的实部、虚部和幅值；

损失确定模块，还用于根据第二降噪特征与干净的音频特征的实部，第二降噪特征与干净的音频特征的虚部，以及第二降噪特征与干净的音频特征的幅值，确定第二降噪特征与干净的音频特征之间的损失函数。

在一些实施例中，第二转换模块，还用于将第一降噪特征从时频域转换至时域，得到第一降噪信号；

损失确定模块，还用于根据第一降噪特征与干净的音频特征的实部，第一降噪特征与干净的音频特征的虚部和第一降噪特征与干净的音频特征的幅值所确定的损失函数，以及第一降噪信号与干净的音频信号之间的损失函数，确定教师网络的损失函数；

模型训练模块，还用于基于教师网络的损失函数对教师网络进行训练，得到训练后的教师网络。

在一些实施例中，第一编码器层和第一解码器层中的卷积为可分离卷积。

第四方面，本申请的实施例提供了一种音频降噪装置，该装置包括：信号获取模块，用于获取原始音频信号；第一转换模块，用于将原始音频信号从时域转换至时频域得到原始音频特征；音频降噪模块，用于将原始音频特征输入到预先训练的音频降噪模型中，得到降噪音频特征；第二转换模块，用于将所述降噪音频特征从时频域转换至时域得到降噪音频信号。

第五方面，本申请的实施例提供了一种电子设备，包括至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面或第二方面描述的方法。

第六方面，本申请的实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面或第第二方面描述的方法。

本申请的实施例提供的基于知识蒸馏的音频降噪模型的训练方法、装置及设备，为了将较大的高精度深度学习降噪模型（即，教师网络）知识迁移到较小的轻量级深度学习降噪模型（即，学生网络）上，采用第二降噪信号与干净的音频信号之间的损失函数，第二降噪特征与干净的音频特征之间的损失函数，以及第二降噪特征和第一降噪特征之间的蒸馏损失函数，对学生网络进行知识蒸馏训练，得到训练后的音频降噪模型，从而在保证性能的前提下，实现了模型的轻量化。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请可以应用于其中的示例性系统架构图；

图2是根据本申请的基于知识蒸馏的音频降噪模型的训练方法的一个实施例的流程图；

图3是根据本申请的基于知识蒸馏的音频降噪模型的训练方法的一个实施例的流程图；

图4是教师网络和学生网络的示意图；

图5是根据本申请的基于知识蒸馏的音频降噪模型的训练方法的一个实施例的流程图；

图6是根据本申请的音频降噪方法的一个实施例的流程图；

图7是根据本申请的基于知识蒸馏的音频降噪模型的训练装置的一个实施例的结构示意图；

图8是根据本申请的音频降噪装置的一个实施例的结构示意图;

图9是适于用来实现本申请的实施例的电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的基于知识蒸馏的音频降噪模型的训练方法和装置或音频降噪方法和装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括移动端101，网络102和服务端103。网络102用以在移动端101与服务端103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

服务端103通过网络102与移动端101交互，例如由服务端103上的教师网络指导学生网络进行知识蒸馏训练，以将训练后的音频降噪模型部署在移动端101上。

需要说明的是，服务端103可以是硬件，也可以是软件。当服务端103为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务端103为软件时，可以实现成多个软件或软件模块（例如用来提供分布式服务），也可以实现成单个软件或软件模块。在此不做具体限定。

需要说明的是，本申请的实施例所提供的基于知识蒸馏的音频降噪模型的训练方法或音频降噪方法可以由服务端103执行，相应地，基于知识蒸馏的音频降噪模型的训练装置或音频降噪装置可以设置于服务端103中。

应该理解，图1中的移动端、网络和服务端的数目仅仅是示意性的。根据实现需要，可以具有任意数目的移动端、网络和服务端。

如图2，示出了根据本申请的基于知识蒸馏的音频降噪模型的训练方法的一个实施例的流程图200，该基于知识蒸馏的音频降噪模型的训练方法可以包括以下步骤：

步骤201，将具有噪声的音频信号从时域转换至时频域，得到具有噪声的音频特征。

在本实施例中，基于知识蒸馏的音频降噪模型的训练方法的执行主体（例如图1所示的服务端103）可以通过以下任一种方式将具有噪声的音频信号从时域转换至时频域，得到具有噪声的音频特征：傅里叶变换、拉普拉斯变换、z变换。例如，短时傅里叶变换（Short-Time Fourier Transform，STFT）。

在这里，具有噪声的音频信号可以为音频信号中存在噪声，该具有噪声的音频信号与干净的音频信号相对比，该干净的音频信号可以指无噪声干扰的音频信号或噪声的频率低于预设阈值的音频信号，该预设阈值可以根据基于的使用场景进行设定。另外，干净的音频信号在本申请中作为标签使用，该标签可以为人工标注的标签或通过相应的模型标注的标签。

为了表述方便，将本申请中的“信号”作为时域的信号；将本申请中的“特征”作为时频域的特征。

步骤202，分别将具有噪声的音频特征输入到教师网络和学生网络中，得到教师网络预测输出的第一降噪特征，以及学生网络预测输出的第二降噪特征。

在本实施例中，上述执行主体可以将具有噪声的音频特征输入到教师网络中，得到第一降噪特征；以及将具有噪声的音频特征输入到学生网络中，得到第二降噪特征。

在一个示例中，该教师网络可以为已训练完成、且精度高的网络。

在另一个示例中，该教师网络可以为待未训练的网络，在本申请中，在训练教师网络过程中，联合一起训练学生网络。

在本实施例中，教师网络具备高质量的降噪性能，教师网络的结构相较于学生网络的结构更复杂，该教师网络用于指导学生网络进行知识蒸馏训练，以使学生网络具备高质量的降噪性能。

步骤203，将第二降噪特征从时频域转换至时域，得到第二降噪信号。

在本实施例，上述执行主体可以通过以下任一种方式将第二降噪特征从时频域转换至时域，得到第二降噪信号：逆傅里叶变换、逆拉普拉斯变换、逆z变换。例如，逆短时傅里叶变换（Inverse Short-Time Fourier Transform，ISTFT）。

步骤204，根据第二降噪信号与干净的音频信号之间的损失函数，第二降噪特征与干净的音频特征之间的损失函数，以及第二降噪特征和第一降噪特征之间的蒸馏损失函数，确定学生网络对应的损失函数。

在实施例中，上述执行主体可以将第二降噪信号与干净的音频信号之间的损失函数作为时域对应的损失函数，将第二降噪特征与干净的音频特征之间的损失函数作为时频域对应的损失函数，将第二降噪特征和第一降噪特征之间的蒸馏损失函数作为教师网络与学生网络之间的蒸馏损失函数，一起作为训练学生网络的蒸馏模型。该蒸馏损失函数可以为教师网络传递过来的相似信息所产生的差值对应的损失函数。

在一个示例中，在训练过程中，训练学生网络，采用的损失函数（即，学生网络对应的损失函数）的公式为：

其中，为蒸馏损失函数。/>可以包括：第二降噪信号与干净的音频信号之间的损失函数，以及第二降噪特征与干净的音频特征之间的损失函数。

在这里，干净的音频特征可以为干净的音频信号从时域转换至时频域所得到的音频特征。

在一个示例中，可以基于用户对降噪性能的要求设置上述三个损失函数对应的权重，以进一步提高降噪性能。

步骤205，利用学生网络对应的损失函数对学生网络进行知识蒸馏训练，得到训练后的音频降噪模型。该训练后的音频降噪模型可以部署在移动端。

在本实施例中，上述执行主体可以基于步骤204中所得到的学生网络对应的损失函数对学生网络进行训练，得到训练后的音频降噪模型，并可以部署在移动端（例如图1所示的移动端101）。

在这里，知识蒸馏训练可以为教师网络通过损失函数来指导学生网络训练。

本实施例提供的基于知识蒸馏的音频降噪模型的训练方法，为了将较大的高精度深度学习降噪模型（即，教师网络）知识迁移到较小的轻量级深度学习降噪模型（即，学生网络）上，采用第二降噪信号与干净的音频信号之间的损失函数，第二降噪特征与干净的音频特征之间的损失函数，以及第二降噪特征和第一降噪特征之间的蒸馏损失函数，对学生网络进行知识蒸馏训练，得到训练后的音频降噪模型，从而在保证性能的前提下，实现了模型的轻量化。将音频降噪模型部署在移动端之后，能够在满足移动端计算资源限制的同时，也能满足音视频场景的实时性要求。

如图3，示出了根据本申请的基于知识蒸馏的音频降噪模型的训练方法的一个实施例的流程图300，该基于知识蒸馏的音频降噪模型的训练方法可以包括以下步骤：

步骤301，将具有噪声的音频信号从时域转换至时频域，得到具有噪声的音频特征。

在本实施例中，基于知识蒸馏的音频降噪模型的训练方法的执行主体（例如图1所示的服务端103）可以通过以下任一种方式将具有噪声的音频信号从时域转换至时频域，得到具有噪声的音频特征：傅里叶变换、拉普拉斯变换、z变换。例如，短时傅里叶变换（Short-Time Fourier Transform，STFT）。

在这里，具有噪声的音频信号可以为音频信号中存在噪声，该具有噪声的音频信号与干净的音频信号相对比，该干净的音频信号可以指无噪声干扰的音频信号或噪声的频率低于预设阈值的音频信号，该预设阈值可以根据基于的使用场景进行设定。另外，干净的音频信号在本申请中作为标签使用，该标签可以为人工标注的标签或通过相应的模型标注的标签。

步骤302，分别将具有噪声的音频特征输入到教师网络和学生网络中，得到教师网络预测输出的第一降噪特征，以及学生网络预测输出的第二降噪特征。

在本实施例中，上述执行主体可以将具有噪声的音频特征输入到教师网络中，得到第一降噪特征；以及将具有噪声的音频特征输入到学生网络中，得到第二降噪特征。

在一个示例中，将具有噪声的音频特征输入到教师网络中依次连接的第一编码器层、第一骨干网络层、第一解码器层和第一特征融合层中，得到第一编码器层的输出结果、第一骨干网络层的输出结果、第一解码器层输出的第一掩码音频特征和第一特征融合层输出的第一降噪特征；以及将具有噪声的音频特征输入到教师网络中依次连接的第二编码器层、第二骨干网络层、第二解码器层和第二特征融合层中，得到第二编码器层的输出结果、第二骨干网络层的输出结果、第二解码器层输出的第二掩码音频特征和第二特征融合层输出的第二降噪特征。

步骤303，根据第一编码器层和第二编码器层的输出结果，确定编码损失函数；根据第一骨干网络层和第二骨干网络层的输出结果，确定骨干网络损失函数；融合具有噪声的音频特征以及第一解码器层输出的第一掩码音频特征，得到第一降噪特征；以及融合具有噪声的音频特征以及第二解码器层输出的第二掩码音频特征，得到第二降噪特征；根据第二降噪特征和第一降噪特征之间的损失函数，确定解码损失函数。

在本实施例中，上述执行主体在执行步骤302时，在获取教师网络和学生网络预测输出的结果时，还会获取中间结果，即，编码器层的输出结果、骨干网络的输出结果和解码器层输出的掩码音频特征。

在获取中间结果之后，根据教师网络和学生网络中编码器层的输出结果来确定编码损失函数，根据教师网络和学生网络中的骨干网络层的输出结果来确定骨干网络损失函数，以及根据第一降噪特征与第二降噪特征来确定编码损失函数。

在一个示例中，在图4中，学生网络的学习目标是CRM（Complex Ratio Mask）。CRM的实部和虚部作为两个流从解码器层输出，以将具有噪声的音频特征进行降噪处理。

在图4中，将具有噪声的音频信号（S）从时域转换为时频域，得到具有噪声的音频特征（I）；之后，将具有噪声的音频特征（I）分别输入到教师网络（Teacher Network）和学生网络（Student Network）中。

将具有噪声的音频特征（I）输入第一编码器层（T-Encoder），得到第一编码器层（T-Encoder）的输出结果；将第一编码器层（T-Encoder）的输出结果输入第一骨干网络层（T-Backbone Network），得到第一骨干网络层（T-Backbone Network）的输出结果；将第一骨干网络层（T-Backbone Network）的输出结果输入第一解码器层（T-Decoder），得到第一解码器层（T-Decoder）的输出结果；将具有噪声的音频特征（I）和第一解码器层（T-Decoder）的输出结果输入第一特征融合层（对应图4中的“”），得到第一降噪特征。

将具有噪声的音频特征（I）输入第二编码器层（S-Encoder），得到第二编码器层（S-Encoder）的输出结果；将第二编码器层（S-Encoder）的输出结果输入第二骨干网络层（S-Backbone Network），得到第二骨干网络层（S-Backbone Network）的输出结果；将第二骨干网络层（S-Backbone Network）的输出结果输入第二解码器层（S-Decoder），得到第二解码器层（S-Decoder）的输出结果；将具有噪声的音频特征（I）和第二解码器层（S-Decoder）的输出结果输入第二特征融合层（对应图4中的“”），得到第二降噪特征。

在本实施例中，第一编码器层和第二编码器层分别用于将具有噪声的音频特征（I）经过Conv-BN-ReLU操作后，输出包含丰富音频信息的高维特征；第一骨干网络层和第二骨干网络层分别输入的第一编码器层和第二编码器层提取出的高维特征，经过LSTM-FC-iLN的操作后，输出更复杂的音频特征；第一解码器层和第二解码器层分别输入的第一骨干网络输出的音频特征和第二骨干网络输出的音频特征，经过DeConv-BN-ReLU操作后，将骨干网络层输出的音频特征还原到原始输入的空间，输出预测的特征掩码频谱图（即，第一解码器层或第二解码器层的输出）。

在本实施例中，特征融合层可以为将解码器层输出的掩码音频特征与音频特征进行向量相乘；特征融合层还可以为将解码器层输出的掩码音频特征的通道与音频特征的通道进行拼接。

例如，第一特征融合层和第二特征融合层分别用于将特征掩码频谱图与具有噪声的音频特征（I）相乘，得到降噪后的音频特征（即，第一降噪特征或第二降噪特征）。

在本实施例中，解码损失函数还可以基于以下步骤确定：

根据第一解码器层和第二解码器层输出的掩码音频特征，确定第一损失函数；

根据第一特征融合层和第二特征融合层的输出结果，确定第二损失函数；

将第一损失函数和/或第二损失函数，作为解码损失函数。

在图4，第一编码器层与第一解码器层之间增加了跳连接（Skip connection），通过skip-connection可以把较浅的特征引过来，这些特征分辨率较高，且层数浅，更利于生成掩码音频特征（即，第一掩码音频特征）；第二编码器层与第二解码器层之间通过skip-connection可以把较浅的特征引过来，这些特征分辨率较高，且层数浅，更利于生成掩码音频特征（即，第二掩码音频特征）。

在本实施例中，在编码-解码结构之间增加了skip connection，能够使得网络在每一级的上采样过程中，将编码器对应位置的特征图在通道上进行融合。通过底层特征与高层特征的融合，网络能够保留更多高层特征图蕴含的高分辨率细节信息，从而提高了音频降噪模型的降噪性能。

步骤304，将编码损失函数、骨干网络损失函数和解码损失函数，作为第二降噪特征和第一降噪特征之间的蒸馏损失函数。

在本实施例中，上述执行主体可以将编码损失函数、骨干网络损失函数和解码损失函数，作为教师网络与学生网络之间的蒸馏损失函数。

在训练过程中，教师网络和学生网络之间的蒸馏损失函数公式可以为：

其中，、/>和/>分别为教师网络和学生网络在编码器层对应的编码损失函数、在骨干网络层对应的骨干网络损失，以及在解码器层对应的解码损失函数。

步骤305，将第二降噪特征从时频域转换至时域，得到第二降噪信号。

在本实施例，上述执行主体可以通过以下任一种方式将第二降噪特征从时频域转换至时域，得到第二降噪信号：逆傅里叶变换、逆拉普拉斯变换、逆z变换。例如，逆短时傅里叶变换（Inverse Short-Time Fourier Transform，ISTFT）。

步骤306，根据第二降噪信号与干净的音频信号之间的损失函数，第二降噪特征与干净的音频特征之间的损失函数，以及第二降噪特征和第一降噪特征之间的蒸馏损失函数，确定学生网络对应的损失函数。

在实施例中，上述执行主体可以将第二降噪信号与干净的音频信号之间的损失函数作为时域对应的损失函数，将第二降噪特征与干净的音频特征之间的损失函数作为时频域对应的损失函数，将第二降噪特征和第一降噪特征之间的蒸馏损失函数作为教师网络与学生网络之间的蒸馏损失函数，一起作为训练学生网络的蒸馏模型。该蒸馏损失函数可以为教师网络传递过来的相似信息所产生的差值对应的损失函数。

需要说明的是，步骤305可以为步骤302之后且在骤306之前执行，例如，与步骤303或304同时执行，在此不赘述。

步骤307，利用学生网络对应的损失函数对学生网络进行知识蒸馏训练，得到训练后的音频降噪模型。

在本实施例中，上述执行主体可以基于步骤306中所得到的学生网络对应的损失函数对学生网络进行训练，得到训练后的音频降噪模型。

在本实施例中，步骤301、302、305和307的具体操作与图2所示的实施例中的步骤201、202、203、204和205的操作基本相同，在此不再赘述。

从图3中可以看出，与图2对应的实施例相比，本实施例中的基于知识蒸馏的音频降噪模型的训练方法300突出了确定教师网络和学生网络中的编码器层、骨干网络层、解码器层和特征融合层对应的蒸馏损失函数。能够让学生网络在不同的处理阶段（即，编码器层、骨干网络层、解码器层和特征融合层）都能学习到教师网络更丰富的特征信息，能够更有效地将教师网络的知识迁移到学生网络，使得学生网络在保持轻量级的同时，也能达到较高的降噪性能。

在本实施例的一些可选的实现方式中，将编码损失函数、骨干网络损失函数和解码损失函数，作为蒸馏损失函数，包括：

根据第一预设权重与编码损失函数，第二预设权重与骨干网络损失函数，以及第三预设权重与解码损失函数，确定蒸馏损失函数。

在本实现方式中，为了将大型的精度高的降噪模型（即，教师网络）知识转移到轻量级的小模型（即，学生网络）上，采用知识蒸馏的方法来训练学生网络。具体来说，可以通过让学生网络模仿教师模型的输出，或者通过让学生网络模仿教师模型的中间层的行为来实现。

在训练过程中，教师网络和学生网络之间的蒸馏损失函数公式可以为：

其中，、/>和/>分别为教师网络和学生网络在编码器层、骨干网络层和解码器层对应输出的蒸馏损失。

在一个示例中，教师网络和学生网络的输出维度可能不同，首先将教师网络的维度映射到与学生网络相同的维度上，例如，该蒸馏损失函数的模型可以为：

其中，α、β和γ分别为上述三个蒸馏损失的权重。α、β和γ可以根据教师网络和学生网络的维度差异进行设定。

在本实现方式中，为了让学生网络在不同的处理阶段都能学习到教师网络更丰富的特征信息，分别在不同特征层（即，编码器或骨干网络或解码器）之间计算蒸馏损失。模型的深度越深，包含的特征信息越丰富，所以在计算蒸馏损失时，我们给解码器输出时的损失赋予了较大的权重，而给编码器输出时的损失赋予了较小的权重，也即，α<γ。这样，学生网络就能在各个处理阶段都学习到教师网络的特征信息，从而提高其性能。能够有效地将教师网络的知识迁移到学生网络，使得学生网络在保持轻量级的同时，也能达到较高的降噪性能。

在本实施例的一些可选的实现方式中，将具有噪声的音频信号从时域转换至时频域，得到具有噪声的音频特征，包括：

将具有噪声的音频信号从时域转换至时频域，得到具有噪声的音频特征中每个频点对应的实部、虚部和幅值；

第二降噪特征与干净的音频特征之间的损失函数基于以下步骤确定：

根据第二降噪特征与干净的音频特征的实部，第二降噪特征与干净的音频特征的虚部，以及第二降噪特征与干净的音频特征的幅值，确定第二降噪特征与干净的音频特征之间的损失函数。

在图4中，学生网络的学习目标是CRM（Complex Ratio Mask）。CRM的实部和虚部作为两个流从解码器层输出，以产生无噪声的音频信号。学生网络降噪后的频谱图为S(I)，时域表示为S(s)。干净的音频特征的频谱图为G(I)，时域（即，干净的音频信号）表示为G(s)。和/>、/>和/>、|S(I)|和|G(I)|分别代表降噪后的频谱图和标签频谱图的实部、虚部、幅值。学生网络自身的损失函数/>的公式如下：

其中，为第二降噪信号和干净的音频信号之间的损失函数，且表示为时域的负信噪比（SNR），信噪比是衡量轻量级学生网络信号强度相对于背景噪声强度的指标，用于描述信号质量，其公式为：

中的第二部分考虑到频谱图质量，计算的是预测频谱（即，第二降噪特征）和真实谱图（即，干净的音频特征）之间的均方误差（MSE），MSE损失由三部分组成，、/>和/>分别衡量预测谱图与真实谱图之间的实部、虚部和幅度的差异，t表示时间，该时间为具有噪声的音频信号的时间长度。取MSE损失的对数以确保它与负信噪比具有相同的数量级。

在本实施例的一些可选的实现方式中，教师网络基于以下步骤确定：

将第一降噪特征从时频域转换至时域，得到第一降噪信号；

根据第一降噪特征与干净的音频特征的实部，第一降噪特征与干净的音频特征的虚部和第一降噪特征与干净的音频特征的幅值，确定的损失函数；之后，在上述确定的损失函数的基础上再结合第一降噪信号与干净的音频信号之间的损失函数，确定为教师网络的损失函数。

在一个示例中，通过以下任一种方式将第一降噪特征从时频域转换至时域，得到第一降噪信号：逆傅里叶变换、逆拉普拉斯变换、逆z变换。例如，逆短时傅里叶变换（Inverse Short-Time Fourier Transform，ISTFT）。

在一个示例中，在图4中，教师网络的学习目标是CRM（Complex Ratio Mask）。CRM的实部和虚部作为两个流从解码器层输出。教师网络降噪后的频谱图为T(I)，时域表示为T(s)。干净的音频特征的频谱图为G(I)，时域（即，干净的音频信号）表示为G(s)。和/>、/>和/>、|T(I)|和|G(I)|分别代表降噪后的频谱图和标签频谱图的实部、虚部、幅值。教师网络的损失函数/>包含两部分，公式如下：

其中，为第一降噪信号和干净的音频信号之间的损失函数，且表示为信噪比（SNR），该信噪比可以衡量教师网络信号强度相对于背景噪声强度的指标，用于描述信号质量，其公式为：

中的第二部分考虑到频谱图质量，计算的是预测频谱（即，第一降噪特征）和真实谱图（即，干净的音频特征）之间的均方误差（MSE），MSE损失由三部分组成，、/>和/>分别衡量预测谱图与真实谱图之间的实部、虚部和幅度的差异，t表示时间，该时间为具有噪声的音频信号的时间长度。取MSE损失的对数以确保它与负信噪比具有相同的数量级。

在本实施例的一些可选的实现方式中，第一编码器层和第一解码器层中的卷积为可分离卷积。

在本实现方式中，学生网络的输入为具有噪声的音频信号s，输出是第二降噪信号S(s)。学生网络采用了编码器-骨干网络-解码器的架构，各编码器-骨干网络-解码器的输入输出与教师网络相同。与教师网络相比存在以下区别：

学生网络的S-Encoder、S-Backbone Network和S-Decoder的网络层数较浅，这是为了减少模型的计算量和参数数量，使其更适合在移动端（例如图1所示的移动端101）进行部署。

学生网络中的第一编码器层和第一解码器层采用了深度可分离卷积，该深度可分离卷积将这个过程分为两步：深度卷积和点卷积。在深度卷积中，每个输入通道都有一个单独的卷积核。每个通道都生成一个新的特征图，而不是将所有通道的信息混合在一起。然后，在点卷积中，这些特征图被一个卷积核处理，例如，1x1，2x2，以获得最终的输出特征图。

教师网络使用的是传统的卷积操作。传统卷积在输入的每个通道上应用一个卷积核，然后将结果相加得到一个新的特征图，这个过程需要大量的计算资源。

可选的，教师网络也可以采用深度可分离卷积，传统的卷积操作与深度可分离卷积相比，更能充分增加不同维度的特征之间的相关性。

在本实现方式中，深度可分离卷积在有效地减少学生网络的计算量和参数数量的同时还能保持学生网络的降噪性能。

如图5，示出了根据本申请的基于知识蒸馏的音频降噪模型的训练方法的一个实施例的流程图500，该基于知识蒸馏的音频降噪模型的训练方法可以包括以下步骤：

步骤501，将具有噪声的音频信号从时域转换至时频域，得到具有噪声的音频特征中每个频点对应的实部、虚部和幅值。

在本实施例中，基于知识蒸馏的音频降噪模型的训练方法的执行主体（例如图1所示的服务端103）可以通过以下任一种方式将具有噪声的音频信号从时域转换至时频域，得到具有噪声的音频特征中每个频点对应的实部、虚部和幅值：傅里叶变换、拉普拉斯变换、z变换。例如，短时傅里叶变换（Short-Time Fourier Transform，STFT）。

在这里，具有噪声的音频信号可以为音频信号中存在噪声，该具有噪声的音频信号与干净的音频信号相对比，该干净的音频信号可以指无噪声干扰的音频信号。

步骤502，分别将具有噪声的音频特征输入到教师网络和学生网络中，得到教师网络预测输出的第一降噪特征，以及学生网络预测输出的第二降噪特征。

在一个示例中，教师网络包括第一编码器层、第一骨干网络层、第一解码器层和第一特征融合层；学生网络包括第二编码器层、第二骨干网络层、第二解码器层和第二特征融合层。

其中，将具有噪声的音频特征输入到第一编码器层，得到第一编码器层的输出结果；将第一编码器层的输出结果输入到第一骨干网络层，得到第一骨干网络层的输出结果；将第一骨干网络层的输出结果输入到第一解码器层，得到第一掩码音频特征；将第一掩码音频特征和具有噪声的音频特征输入到第一特征融合层，确定第一降噪特征；以及将具有噪声的音频特征输入到第二编码器层，得到第二编码器层的输出结果；将第二编码器层的输出结果输入到第二骨干网络层，得到第二骨干网络层的输出结果；将第二骨干网络层的输出结果输入到第二解码器层，得到第二掩码音频特征；将第二掩码音频特征和具有噪声的音频特征输入到第二特征融合层，确定第二降噪特征。

在图4中，将具有噪声的音频信号（S）从时域转换为时频域，得到具有噪声的音频特征（I）；之后，将具有噪声的音频特征（I）分别输入到教师网络（Teacher Network）和学生网络（Student Network）中。

将具有噪声的音频特征（I）输入第一编码器层（T-Encoder），得到第一编码器层（T-Encoder）的输出结果；将第一编码器层（T-Encoder）的输出结果输入第一骨干网络层（T-Backbone Network），得到第一骨干网络层（T-Backbone Network）的输出结果；将第一骨干网络层（T-Backbone Network）的输出结果输入第一解码器层（T-Decoder），得到第一解码器层（T-Decoder）的输出结果；将具有噪声的音频特征（I）和第一解码器层（T-Decoder）的输出结果输入第一特征融合层（对应图4中的“”），得到第一降噪特征。

将具有噪声的音频特征（I）输入第二编码器层（S-Encoder），得到第二编码器层（S-Encoder）的输出结果；第二编码器层（S-Encoder）的输出结果输入第二骨干网络层（S-Backbone Network），得到第二骨干网络层（S-Backbone Network）的输出结果；将第二骨干网络层（S-Backbone Network）的输出结果输入第二解码器层（S-Decoder），得到第二解码器层（S-Decoder）的输出结果；将具有噪声的音频特征（I）和第二解码器层（S-Decoder）的输出结果输入第二特征融合层（对应图4中的“”），得到第二降噪特征。

在本实施例中，第一编码器层和第二编码器层分别用于将具有噪声的音频特征（I）经过Conv（卷积）-BN（Batch Normalization）-ReLU（激活函数）操作后，输出包含丰富音频信息的高维特征；第一骨干网络层和第二骨干网络层分别输入的第一编码器层和第二编码器层提取出的高维特征，经过LSTM（Long-Short-Term Memory）-FC（Fully Connected，全连接）-iLN（层归一化）的操作后，输出更复杂的音频特征；第一解码器层和第二解码器层分别输入的第一骨干网络输出的音频特征和第二骨干网络输出的音频特征，经过DeConv（反卷积）-BN-ReLU操作后，将骨干网络层输出的音频特征还原到原始输入的空间，输出预测的特征掩码频谱图（即，第一解码器层或第二解码器层的输出）；第一特征融合层和第二特征融合层分别用于将特征掩码频谱图与具有噪声的音频特征（I）相乘，得到降噪后的音频特征（即，第一降噪特征或第二降噪特征）。

步骤503，将第一降噪特征和第二降噪特征分别从时频域转换至时域，得到第一降噪信号和第二降噪信号。

在本实施例中，上述执行主体可以通过以下任一种方式第一降噪特征和第二降噪特征分别从时频域转换至时域，得到与第一降噪特征对应的第一降噪信号和与第二降噪特征对应的第二降噪信号：逆傅里叶变换、逆拉普拉斯变换、逆z变换。例如，短时傅里叶变换（Inverse Short-Time Fourier Transform，ISTFT）。

步骤504，根据第一降噪特征与干净的音频特征的实部，第一降噪特征与干净的音频特征的虚部和第一降噪特征与干净的音频特征的幅值所确定的损失函数，以及第一降噪信号与干净的音频信号之间的损失函数，确定教师网络的损失函数。

步骤505，根据第一编码器层和第二编码器层的输出结果，确定编码损失函数；根据第一骨干网络层和第二骨干网络层的输出结果，确定骨干网络损失函数；融合具有噪声的音频特征以及第一解码器层输出的第一掩码音频特征，得到第一降噪特征；以及融合具有噪声的音频特征以及第二解码器层输出的第二掩码音频特征，得到第二降噪特征；根据第二降噪特征和第一降噪特征之间的损失函数，确定解码损失函数。

在本实施例中，上述执行主体在执行步骤502时，在获取教师网络和学生网络预测输出的结果时，还会获取中间结果，即，编码器层的输出结果、骨干网络层的输出结果和解码器层输出的掩码音频特征。

在获取中间结果之后，根据教师网络和学生网络中编码器层的输出结果来确定编码损失函数，根据教师网络和学生网络中的骨干网络层的输出结果来确定骨干网络损失函数，以及根据第一降噪特征与第二降噪特征来确定编码损失函数。

步骤506，将编码损失函数、骨干网络损失函数和解码损失函数，作为第二降噪特征和第一降噪特征之间的蒸馏损失函数。

在本实施例中，上述执行主体可以将编码损失函数、骨干网络损失函数和解码损失函数，作为教师网络与学生网络之间的蒸馏损失函数。

步骤507，根据第二降噪信号与干净的音频信号之间的损失函数，第二降噪特征与干净的音频特征之间的损失函数，以及第二降噪特征和第一降噪特征之间的蒸馏损失函数，确定学生网络对应的损失函数。

在实施例中，上述执行主体可以将第二降噪信号与干净的音频信号之间的损失函数作为时域对应的损失函数，将第二降噪特征与干净的音频特征之间的损失函数作为时频域对应的损失函数，将第二降噪特征和第一降噪特征之间的蒸馏损失函数作为教师网络与学生网络之间的蒸馏损失函数，一起作为训练学生网络的蒸馏模型。该蒸馏损失函数可以为教师网络传递过来的相似信息所产生的差值对应的损失函数。

需要说明的是，确定学生网络对应的损失函数的步骤可以与确定教师网络的损失函数的步骤同时执行；或，先执行确定学生网络对应的损失函数的步骤；或，先执行确定教师网络对应的损失函数的步骤。

步骤508，利用教师网络对应的损失函数对教师网络进行训练，以及联合利用学生网络对应的损失函数对学生网络进行知识蒸馏训练，得到训练后的音频降噪模型。该训练后的音频降噪模型可以部署在移动端。

在本实施例中，上述执行主体可以在训练教师网络的过程中，联合训练学生网络，得到训练后的音频降噪模型。

在本实施例中，步骤502、505、506和507的具体操作与图3所示的实施例中的步骤302、303、304和306的操作基本相同，在此不再赘述。

从图5中可以看出，与图2对应的实施例相比，本实施例中的基于知识蒸馏的音频降噪模型的训练方法500突出了在训练教师网络的同时联合训练学生网络。能够让学生网络在不同的处理阶段（即，编码器层、骨干网络层、解码器层和特征融合层）都能学习到教师网络更丰富的特征信息，能够更有效地将教师网络的知识迁移到学生网络，使得学生网络在保持轻量级的同时，也能达到较高的降噪性能。

如图6，示出了根据本申请的音频降噪方法的一个实施例的流程图600，该音频降噪方法可以包括以下步骤：

步骤601，获取原始音频信号。

在本实施例中，音频降噪方法的执行主体（例如图1所示的移动端101）可以通过从本地获取；或通过其上或与其连接的麦克风获取。上述原始音频信号可以为视频中的音频信号或通过麦克风获取的音频信号，该原始音频信号可以为未被降噪处理的信号或噪声频率高于预设阈值的信号。

步骤602，将原始音频信号从时域转换至时频域得到原始音频特征。

在本实施例，上述执行主体可以通过以下任一种方式将原始音频信号从时域转换至时频域得到原始音频特征：傅里叶变换、拉普拉斯变换、z变换。例如，短时傅里叶变换（Short-Time Fourier Transform，STFT）。

步骤603，将原始音频特征输入到预先训练的音频降噪模型中，得到降噪音频特征。

在本实施例中，上述执行主体可以将原始音频特征输入到预先训练的音频降噪模型中，得到降噪音频特征。

在这里，预先训练的音频降噪模型可以为图2、图3、图4或图5中训练生成的模型。

步骤604，将音频降噪特征从时频域转换至时域得到降噪音频信号。

在本实施例中，上述执行主体可以通过以下任一种方式将音频降噪特征从时频域转换至时域得到降噪音频信号：逆傅里叶变换、逆拉普拉斯变换、逆z变换。例如，逆短时傅里叶变换（Inverse Short-Time Fourier Transform，ISTFT）。

本实施例提供的音频降噪方法，能够基于较小的轻量级深度学习降噪模型上，实现很高的降噪性能。

进一步参考图7，作为对上述各图所示方法的实现，本申请公开了基于知识蒸馏的音频降噪模型的训练装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图7所示，本申请的实施例提供了一种基于知识蒸馏的音频降噪模型的训练装置700，该装置700包括：第一转换模块701、特征预测模块702、第二转换模块703、损失确定模块704和模型训练模块705。其中，第一转换模块701，用于将具有噪声的音频信号从时域转换至时频域，得到具有噪声的音频特征；特征预测模块702，用于分别将具有噪声的音频特征输入到教师网络和学生网络中，得到教师网络预测输出的第一降噪特征，以及学生网络预测输出的第二降噪特征；第二转换模块703，用于将第二降噪特征从时频域转换至时域，得到第二降噪信号；损失确定模块704，用于根据第二降噪信号与干净的音频信号之间的损失函数，第二降噪特征与干净的音频特征之间的损失函数，以及第二降噪特征和第一降噪特征之间的蒸馏损失函数，确定学生网络对应的损失函数；模型训练模块705，用于利用学生网络对应的损失函数对学生网络进行知识蒸馏训练，得到训练后的音频降噪模型。

在本实施例中，基于知识蒸馏的音频降噪模型的训练装置700中，第一转换模块701、特征预测模块702、第二转换模块703、损失确定模块704和模型训练模块705的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201~步骤205。可选的，第一转换模块701和第二转换模块703可以为相同或不同的模块。

在一些实施例中，教师网络包括依次连接的第一编码器层、第一骨干网络层和第一解码器层；学生网络包括依次连接的第二编码器层、第二骨干网络层和第二解码器层；其中，第一编码器层和第二编码器层的输入为具有噪声的音频特征；

该装置还包括：第一确定单元，用于根据第一编码器层和第二编码器层的输出结果，确定编码损失函数；第一确定单元，用于根据第一骨干网络层和第二骨干网络层的输出结果，确定骨干网络损失函数；特征融合单元，用于融合具有噪声的音频特征以及第一解码器层输出的第一掩码音频特征，得到第一降噪特征；以及融合具有噪声的音频特征以及第二解码器层输出的第二掩码音频特征，得到第二降噪特征；第三确定单元，用于根据第二降噪特征和第一降噪特征之间的损失函数，确定解码损失函数；

损失确定模块704，还用于将编码损失函数、骨干网络损失函数和解码损失函数，作为蒸馏损失函数。

在一些实施例中，损失确定模块704，还用于：根据第一预设权重与编码损失函数，第二预设权重与骨干网络损失函数，以及第三预设权重与解码损失函数，确定蒸馏损失函数。

在一些实施例中，第一转换模块701，具体用于：将具有噪声的音频信号从时域转换至时频域，得到具有噪声的音频特征中每个频点对应的实部、虚部和幅值；

损失确定模块704，还用于根据第二降噪特征与干净的音频特征的实部，第二降噪特征与干净的音频特征的虚部，以及第二降噪特征与干净的音频特征的幅值，确定第二降噪特征与干净的音频特征之间的损失函数。

在一些实施例中，第二转换模块703，还用于将第一降噪特征从时频域转换至时域，得到第一降噪信号；

损失确定模块704，还用于根据第一降噪特征与干净的音频特征的实部，第一降噪特征与干净的音频特征的虚部和第一降噪特征与干净的音频特征的幅值所确定的损失函数，以及第一降噪信号与干净的音频信号之间的损失函数，确定教师网络的损失函数；

模型训练模块705，还用于基于教师网络的损失函数对教师网络进行训练，得到训练后的教师网络。

在一些实施例中，第一编码器层和第一解码器层中的卷积为可分离卷积。

进一步参考图8，作为对上述各图所示方法的实现，本申请公开了音频降噪装置的一个实施例，该装置实施例与图6所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图8所示，本申请的实施例提供了一种音频降噪装置800，该装置800包括：信号获取模块801、第一转换模块802、音频降噪模块803和第二转换模块804。其中，信号获取模块801，用于获取原始音频信号；第一转换模块802，用于将原始音频信号从时域转换至时频域得到原始音频特征；音频降噪模块803，用于将原始音频特征输入到预先训练的音频降噪模型中，得到降噪音频特征；第二转换模块804，用于将降噪音频特征从时频域转换至时域得到降噪音频信号。

在本实施例中，音频降噪装置800中，信号获取模块801、第一转换模块802、音频降噪模块803和第二转换模块804的具体处理及其所带来的技术效果可分别参考图6对应实施例中的步骤601~步骤604。

如图9所示，是根据本申请的实施例的基于知识蒸馏的音频降噪模型的训练方法或音频降噪方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图9所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置（诸如，耦合至接口的显示设备）上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作（例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统）。图9中以一个处理器901为例。

存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的基于知识蒸馏的音频降噪模型的训练方法或音频降噪方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的基于知识蒸馏的音频降噪模型的训练方法或音频降噪方法。

存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请的实施例中基于知识蒸馏的音频降噪模型的训练方法或音频降噪方法对应的程序指令/模块（例如，第一转换模块701、特征预测模块702、第二转换模块703、损失确定模块704和模型训练模块705。或信号获取模块801、第一转换模块802、音频降噪模块803和第二转换模块804）。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中基于知识蒸馏的音频降噪模型的训练方法或音频降噪方法。

存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据基于区块链的信息处理电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至基于区块链的信息处理电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

基于知识蒸馏的音频降噪模型的训练方法或音频降噪方法的电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图9中以通过总线连接为例。

输入装置903可接收输入的数字或字符信息，以及产生与基于区块链的信息处理电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置（例如，LED）和触觉反馈装置（例如，振动电机）等。该显示设备可以包括但不限于，液晶显示器（LCD）、发光二极管（LED）显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC（专用集成电路）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序（也称作程序、软件、软件应用、或者代码）包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置（例如，磁盘、光盘、存储器、可编程逻辑装置（PLD）），包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (11)

1.一种基于知识蒸馏的音频降噪模型的训练方法，其中，所述训练方法包括：

将具有噪声的音频信号从时域转换至时频域，得到具有噪声的音频特征；

分别将具有噪声的音频特征输入到教师网络和学生网络中，得到所述教师网络预测输出的第一降噪特征，以及所述学生网络预测输出的第二降噪特征；

将所述第二降噪特征从时频域转换至时域，得到第二降噪信号；

根据所述第二降噪信号与干净的音频信号之间的损失函数，所述第二降噪特征与干净的音频特征之间的损失函数，以及所述第二降噪特征和所述第一降噪特征之间的蒸馏损失函数，确定所述学生网络对应的损失函数；

利用所述学生网络对应的损失函数对所述学生网络进行知识蒸馏训练，得到训练后的音频降噪模型。

2.根据权利要求1所述的方法，其中，所述教师网络包括依次连接的第一编码器层、第一骨干网络层和第一解码器层；所述学生网络包括依次连接的第二编码器层、第二骨干网络层和第二解码器层；其中，所述第一编码器层和所述第二编码器层的输入为具有噪声的音频特征；

所述方法还包括：

根据所述第一编码器层和所述第二编码器层的输出结果，确定编码损失函数；

根据所述第一骨干网络层和所述第二骨干网络层的输出结果，确定骨干网络损失函数；

融合具有噪声的音频特征以及将所述第一解码器层输出的第一掩码音频特征，得到第一降噪特征；以及融合具有噪声的音频特征以及所述第二解码器层输出的第二掩码音频特征，得到第二降噪特征；

根据所述第二降噪特征和所述第一降噪特征之间的损失函数，确定解码损失函数；

所述第二降噪特征和所述第一降噪特征之间的蒸馏损失函数基于以下步骤确定：

将所述编码损失函数、所述骨干网络损失函数和所述解码损失函数，作为所述蒸馏损失函数。

3.根据权利要求2所述的方法，其中，所述将所述编码损失函数、所述骨干网络损失函数和所述解码损失函数，作为所述蒸馏损失函数，包括：

根据第一预设权重与所述编码损失函数，第二预设权重与所述骨干网络损失函数，以及第三预设权重与所述解码损失函数，确定所述蒸馏损失函数。

4.根据权利要求1-3任一项所述的方法，其中，所述将具有噪声的音频信号从时域转换至时频域，得到具有噪声的音频特征，包括：

将具有噪声的音频信号从时域转换至时频域，得到具有噪声的音频特征中每个频点对应的实部、虚部和幅值；

所述第二降噪特征与干净的音频特征之间的损失函数基于以下步骤确定：

根据所述第二降噪特征与干净的音频特征的实部，第二降噪特征与干净的音频特征的虚部，以及第二降噪特征与干净的音频特征的幅值，确定所述第二降噪特征与干净的音频特征之间的损失函数。

5.根据权利要求4所述的方法，其中，所述教师网络基于以下步骤确定：

将所述第一降噪特征从时频域转换至时域，得到第一降噪信号；

根据所述第一降噪特征与干净的音频特征的实部，虚部和幅值所确定的损失函数，以及所述第一降噪信号与干净的音频信号之间的损失函数，确定所述教师网络的损失函数；

基于所述教师网络的损失函数对所述教师网络进行训练，得到训练后的教师网络。

6.根据权利要求2所述的方法，其中，所述第一编码器层和第一解码器层中的卷积为可分离卷积。

7.一种音频降噪方法，其中，所述音频降噪方法包括：

获取原始音频信号；

将所述原始音频信号从时域转换至时频域得到原始音频特征；

将所述原始音频特征输入到如权利要求1-6任一项所述的方法生成的音频降噪模型中，得到降噪音频特征；

将所述降噪音频特征从时频域转换至时域得到降噪音频信号。

8.一种基于知识蒸馏的音频降噪模型的训练装置，其中，所述训练装置包括：

第一转换模块，用于将具有噪声的音频信号从时域转换至时频域，得到具有噪声的音频特征；

特征预测模块，用于分别将具有噪声的音频特征输入到教师网络和学生网络中，得到所述教师网络预测输出的第一降噪特征，以及所述学生网络预测输出的第二降噪特征；

第二转换模块，用于将所述第二降噪特征从时频域转换至时域，得到第二降噪信号；

损失确定模块，用于根据所述第二降噪信号与干净的音频信号之间的损失函数，所述第二降噪特征与干净的音频特征之间的损失函数，以及所述第二降噪特征和所述第一降噪特征之间的蒸馏损失函数，确定所述学生网络对应的损失函数；

模型训练模块，用于利用所述学生网络对应的损失函数对所述学生网络进行知识蒸馏训练，得到训练后的音频降噪模型。

9.一种音频降噪装置，其中，所述音频降噪装置包括：

信号获取模块，用于获取原始音频信号；

第一转换模块，用于将所述原始音频信号从时域转换至时频域得到原始音频特征；

音频降噪模块，用于将所述原始音频特征输入到如权利要求1-6任一项所述的方法生成的音频降噪模型中，得到降噪音频特征；

第二转换模块，用于将所述降噪音频特征从时频域转换至时域得到降噪音频信号。

10.一种电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

11.一种存储有计算机指令的非瞬时计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。