CN113257283A - 音频信号的处理方法、装置、电子设备和存储介质 - Google Patents

Abstract

本公开提供一种音频信号的处理方法、装置、电子设备和存储介质。该方法的一具体实施方式包括：获取目标音频信号的音频特征，其中，音频特征包括至少一个音频特征单元；将每个音频特征单元输入预先训练的机器学习模型，得到相应的音频类别标签，其中，音频类别标签包括近场语音标签、远场语音标签、音乐标签和噪声标签中的至少一项。该实施方式不仅能够识别音频信号是否为语音，还可以识别音频信号具体为近场语音、远场语音还是音乐，从而为后续的音频处理提供可靠的类别信息，大大提高了音频处理的效率和效果。

Description

音频信号的处理方法、装置、电子设备和存储介质

技术领域

本公开的实施例涉及音频信号处理技术领域，具体涉及音频信号的处理方法、装置、电子设备和存储介质。

背景技术

语音活动检测(Voice activity detection，VAD)技术是一种在一段音频信号中检测是否存在语音信号的技术，其在语音编码、语音增强和语音识别领域都有着广泛的应用。

传统的语音活动检测本质上是一个二分类的分类器来区分语音和除了语音的一切噪声。随着应用场景的增多，传统的VAD技术越发不能满足应用需求。例如，传统的VAD技术将除了语音以外的所有声音都分为一类，这对于需要识别音乐的场景就很不友好。又例如，对于语音，很多情况下需要确定语音是近场语音还是远场语音，以此来做一些定制化的处理，传统的VAD技术就无法提供近远场语音的信息。

因此，有必要提出一种新的对音频信号进行处理的技术方案。

发明内容

本公开的实施例提出了音频信号的处理方法、装置、电子设备和存储介质。

第一方面，本公开提供了一种音频信号的处理方法，包括：

获取目标音频信号的音频特征，其中，上述音频特征包括至少一个音频特征单元；

将每个上述音频特征单元输入预先训练的机器学习模型，得到相应的音频类别标签，其中，上述音频类别标签包括近场语音标签、远场语音标签、音乐标签和噪声标签中的至少一项。

在一些可选的实施方式中，在上述将每个上述音频特征单元输入预先训练的机器学习模型，得到相应的音频类别标签之后，上述方法还包括：

根据上述音频类别标签，对上述目标音频信号进行降噪或者增强处理。

在一些可选的实施方式中，上述机器学习模型包括特征提取网络、音频分类网络和语音活动检测网络；

上述特征提取网络用于提取上述音频特征单元对应的机器学习特征；

上述语音活动检测网络用于根据上述机器学习特征，输出相应的语音活动标签，其中，上述语音活动标签包括语音标签和非语音标签中的至少一项；

上述音频分类网络用于根据上述机器学习特征，输出相应的上述音频类别标签。

在一些可选的实施方式中，在上述机器学习模型的训练阶段，上述语音活动标签用于对上述音频类别标签进行验证，其中，上述近场语音标签和上述远场语音标签对应于上述语音标签，上述音乐标签和上述噪声标签对应于上述非语音标签。

在一些可选的实施方式中，上述机器学习模型通过以下方式获取：

获取训练样本集，其中，上述训练样本集包括近场语音样本、远场语音样本、音乐样本和噪声样本，以及相应的样本类别标签；

通过上述训练样本集进行机器学习训练，以得到上述机器学习模型。

在一些可选的实施方式中，上述近场语音样本通过近场录音获得；或者，上述近场语音样本通过预设语音数据获得。

在一些可选的实施方式中，上述近场语音样本通过以下方式获得：

对上述近场录音或者上述预设语音数据进行降噪处理，得到相应的降噪近场音频；

通过语音活动检测技术提取上述降噪近场音频中的语音部分，得到相应的近场语音信号；

在上述近场语音信号中混入噪声或者音乐信号，得到上述近场语音样本。

在一些可选的实施方式中，上述远场语音样本通过远场录音获得；或者，上述远场语音样本通过向近场语音中增加混响获得，其中，上述近场语音包括近场录音和预设语音数据中的至少一项。

在一些可选的实施方式中，上述近场语音样本通过以下方式获得：

通过语音活动检测技术提取上述远场录音中或者加入混响后的上述近场语音中的语音部分，得到远场语音信号；

在上述远场语音信号中混入噪声或者音乐信号，得到上述远场语音样本。

在一些可选的实施方式中，上述音乐样本通过以下方式获得：

在预设音乐数据集的音乐信号中混入近场语音信号或者噪声，得到上述音乐样本。

在一些可选的实施方式中，上述噪声样本通过以下方式获得：

在预设噪声数据集的噪声中混入近场语音信号或者远场语音信号，得到上述噪声样本。

在一些可选的实施方式中，上述机器学习模型包括语音活动检测网络，上述训练样本集还包括上述近场语音样本的信噪比或者上述远场语音的信噪比；以及

上述通过上述训练样本集进行机器学习训练，以得到上述机器学习模型，包括：

通过上述训练样本集，将初始模型训练至参数收敛状态，得到第一机器学习模型；

通过上述近场语音样本的信噪比或者上述远场语音样本的信噪比，对上述第一机器学习模型中的上述语音活动检测网络进行微调，得到上述机器学习模型。

在一些可选的实施方式中，上述获取目标音频信号的音频特征，包括：

按照预设规则将上述目标音频信号切分为至少一个时域帧；

对上述时域帧进行短时傅里叶变换，得到相应的频域信号；

提取上述频域信号对应的梅尔倒频谱，得到相应的音频特征子单元；

对至少两个相邻的上述时域帧对应的上述音频特征子单元进行拼接，得到相应的上述音频特征单元。

第二方面，本公开提供了一种音频信号的处理装置，包括：

特征获取单元，用于获取目标音频信号的音频特征，其中，上述音频特征包括至少一个音频特征单元；

类型识别单元，用于将每个上述音频特征单元输入预先训练的机器学习模型，得到相应的音频类别标签，其中，上述音频类别标签包括近场语音标签、远场语音标签、音乐标签和噪声标签中的至少一项。

在一些可选的实施方式中，上述装置还包括音频处理单元，上述音频处理单元用于：

根据上述音频类别标签，对上述目标音频信号进行降噪或者增强处理。

在一些可选的实施方式中，上述机器学习模型包括特征提取网络、音频分类网络和语音活动检测网络；

上述特征提取网络用于提取上述音频特征单元对应的机器学习特征；

上述语音活动检测网络用于根据上述机器学习特征，输出相应的语音活动标签，其中，上述语音活动标签包括语音标签和非语音标签中的至少一项；

上述音频分类网络用于根据上述机器学习特征，输出相应的上述音频类别标签。

在一些可选的实施方式中，在上述机器学习模型的训练阶段，上述语音活动标签用于对上述音频类别标签进行验证，其中，上述近场语音标签和上述远场语音标签对应于上述语音标签，上述音乐标签和上述噪声标签对应于上述非语音标签。

在一些可选的实施方式中，上述机器学习模型通过以下方式获取：

获取训练样本集，其中，上述训练样本集包括近场语音样本、远场语音样本、音乐样本和噪声样本，以及相应的样本类别标签；

通过上述训练样本集进行机器学习训练，以得到上述机器学习模型。

在一些可选的实施方式中，上述近场语音样本通过近场录音获得；或者，上述近场语音样本通过预设语音数据获得。

在一些可选的实施方式中，上述近场语音样本通过以下方式获得：

对上述近场录音或者上述预设语音数据进行降噪处理，得到相应的降噪近场音频；

通过语音活动检测技术提取上述降噪近场音频中的语音部分，得到相应的近场语音信号；

在上述近场语音信号中混入噪声或者音乐信号，得到上述近场语音样本。

在一些可选的实施方式中，上述远场语音样本通过远场录音获得；或者，上述远场语音样本通过向近场语音中增加混响获得，其中，上述近场语音包括近场录音和预设语音数据中的至少一项。

在一些可选的实施方式中，上述近场语音样本通过以下方式获得：

通过语音活动检测技术提取上述远场录音中或者加入混响后的上述近场语音中的语音部分，得到远场语音信号；

在上述远场语音信号中混入噪声或者音乐信号，得到上述远场语音样本。

在一些可选的实施方式中，上述音乐样本通过以下方式获得：

在预设音乐数据集的音乐信号中混入近场语音信号或者噪声，得到上述音乐样本。

在一些可选的实施方式中，上述噪声样本通过以下方式获得：

在预设噪声数据集的噪声中混入近场语音信号或者远场语音信号，得到上述噪声样本。

在一些可选的实施方式中，上述机器学习模型包括语音活动检测网络，上述训练样本集还包括上述近场语音样本的信噪比或者上述远场语音的信噪比；以及

上述通过上述训练样本集进行机器学习训练，以得到上述机器学习模型，包括：

通过上述训练样本集，将初始模型训练至参数收敛状态，得到第一机器学习模型；

通过上述近场语音样本的信噪比或者上述远场语音样本的信噪比，对上述第一机器学习模型中的上述语音活动检测网络进行微调，得到上述机器学习模型。

在一些可选的实施方式中，上述特征获取单元进一步用于：

按照预设规则将上述目标音频信号切分为至少一个时域帧；

对上述时域帧进行短时傅里叶变换，得到相应的频域信号；

提取上述频域信号对应的梅尔倒频谱，得到相应的音频特征子单元；

对至少两个相邻的上述时域帧对应的上述音频特征子单元进行拼接，得到相应的上述音频特征单元。

第三方面，本公开提供了一种电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，

当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如本公开第一方面任一实施方式描述的方法。

第四方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，其中，上述计算机程序被一个或多个处理器执行时实现如本公开第一方面任一实施方式描述的方法。

本公开的实施例提供的音频信号的处理方法、装置、电子设备和存储介质，先获取目标音频信号的音频特征，再将音频特征中的音频特征单元输入机器学习模型进行识别，输出包括近场语音标签、远场语音标签、音乐标签和噪声标签在内的音频类别标签，不仅能够识别音频信号是否为语音，还可以识别音频信号具体为近场语音、远场语音还是音乐，从而为后续的音频处理提供可靠的类别信息，大大提高了音频处理的效率和效果。

此外，本公开的实施例中的机器学习模型能够实现多分类任务并且可以通过轻量化网络实现，参数量少、运算速度快，一方面能够应用于各类电子设备，另一方面有利于实现实时运算。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显。附图仅用于示出具体实施方式的目的，而并不认为是对本发明的限制。在附图中：

图1是根据本公开的音频信号处理系统的一个实施例的系统架构图；

图2是根据本公开的音频信号处理方法的一个实施例的流程图；

图3A是根据本公开的机器学习模型的示意图；

图3B是根据本公开的训练样本集的获取过程的示意图；

图4是根据本公开的音频信号处理装置的一个实施例的结构示意图；

图5是适于用来实现本公开的实施例的电子设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

图1示出了可以应用本公开的音频信号处理方法、装置、终端设备和存储介质的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如语音交互类应用、视频会议类应用、短视频社交类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有麦克风和扬声器的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来音频信号处理服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上采集的音频信号提供处理服务的后台服务器。后台服务器可以对接收到的音频信号等进行相应处理。

在一些情况下，本公开所提供的音频信号处理方法可以由终端设备101、102、103和服务器105共同执行，例如，“获取目标音频信号的音频特征”的步骤可以由终端设备101、102、103执行，“将每个音频特征单元输入预先训练的机器学习模型，得到相应的音频类别标签”的步骤可以由服务器105执行。本公开对此不做限定。相应地，音频信号处理装置也可以分别设置于终端设备101、102、103和服务器105中。

在一些情况下，本公开所提供的音频信号处理方法可以由终端设备101、102、103执行，相应地，音频信号处理装置也可以设置于终端设备101、102、103中，这时，系统架构100也可以不包括服务器105。

在一些情况下，本公开所提供的音频信号处理方法可以由服务器105执行，相应地，音频信号处理装置也可以设置于服务器105中，这时，系统架构100也可以不包括终端设备101、102、103。

需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，其示出了根据本公开的音频信号处理方法的一个实施例的流程200，应用于图1中的终端设备或服务器，该流程200包括以下步骤：

步骤201，获取目标音频信号的音频特征。

在本实施例中，目标音频信号可以是带有语音、音乐和音效的有规律的声波的频率或幅度变化信息的载体。此外，目标音频信号中还可以包含不规律的声波信息，即噪声。

在执行主体为终端设备的情况下，可以由终端设备中的麦克风将声波转化为电信号，从而获得目标音频信号。还可以由终端设备通过网络接收其他终端设备或者服务器发送的音频信号，从而获得目标音频信号。这里，终端设备例如是手机、电脑、智能音箱等。

在执行主体为服务器的情况下，可以由服务器通过网络接收终端设备或者其他服务器发送的音频信号，从而获得目标音频信号。

在执行主体为终端设备和服务器的情况下，可以由终端设备通过麦克风采集音频信号并将其发送至服务器进行处理。

在本实施例中，目标音频信号可以是按照特定采样频率进行采样所得到一系列数据。上述特定采样频率例如是8KHz(千赫)、16KHz、48KHz等。目标音频信号可以表现为时域图中一系列离散的数据点。这里，时域图的横坐标为时间，纵坐标为音频信号的幅值。

在一个视频会议场景的例子中，目标音频信号可以是实时采集的音频信号，其中可以包括近场语音、远场语音、音乐以及由底噪、电流音、键鼠敲击声、各类撞击声等组成的噪声。

在本实施例中，可以从声学处理的角度提取目标音频信号的音频特征。在一个例子中，上述步骤201可以按照如下方式实施：

第一步，可以按照预设规则将目标音频信号切分为至少一个时域帧。例如，在采样频率为16KHz的情况下，可以用宽度为640个数据点的滑动窗口在目标音频信号对应的时域图上滑动取值，每次滑动的步长为320个数据点，滑动窗口在每个位置所截取的数据即为一个时域帧。其中，每个时域帧对应的时间长度为40ms。

第二步，可以对时域帧进行短时傅里叶变换，得到相应的频域信号。短时傅里叶变换(STFT，short-time Fourier transform，或short-term Fourier transform))是和傅里叶变换相关的一种数学变换，用以确定时变信号其局部区域正弦波的频率与相位。可以对目标音频信号对应的每个时域帧进行短时傅里叶变换，得到该时域帧对应的频域信号。

第三步，可以提取频域信号对应的梅尔倒频谱，得到相应的音频特征子单元。这里，梅尔倒频谱(Mel-Frequency Spectrum,MFC)是一个可用来代表短期声音信号的频谱。在梅尔倒频谱中，频带是等距地分布在梅尔尺度上的，相比于在正常倒谱中线性间隔的频带，这种等距分布的频带更接近于人类的听觉系统。

在一个例子中，可以先利用三角窗函数将频域信号映射至梅尔刻度，再进行取对数运算，最后进行离散余弦转换，从而得到频域信号对应的梅尔倒频谱。其中，每个时域帧对应的梅尔倒频谱即为一个音频特征子单元。

在一个例子中，可以利用40个三角窗函数将频域信号映射至梅尔刻度，从而得到40维的梅尔倒频谱。

第四步，可以对至少两个相邻的时域帧对应的音频特征子单元进行拼接，得到相应的音频特征单元。

在一个例子中，可以将相邻8个时域帧对应的音频特征子单元沿另一维度进行拼接，形成一个二维的特征图，该特征图即为一个音频特征单元。通过上述拼接操作，能够扩展每个音频特征单元所对应的时间长度，扩充每个音频特征单元包含的信息，有利于提高相应的音频类别识别结果的准确度。

步骤202，将每个音频特征单元输入预先训练的机器学习模型，得到相应的音频类别标签，其中，音频类别标签包括近场语音标签、远场语音标签、音乐标签和噪声标签中的至少一项。

这里，近场语音标签可以表示相应的音频信号为近场语音，远场语音标签可以表示相应的音频信号为近场语音，音乐标签可以表示相应的音频信号为音乐，噪声标签可以表示相应的音频信号为噪声。其中，近场语音可以是特定空间范围之内(例如4米距离内或者5米距离内)的语音，远场语音可以是特定空间范围之外(例如4米距离外或者5米距离外)的语音，音乐可以是纯伴奏或者有伴奏的演唱，噪声可以是除近场语音、远场语音和音乐外的其他声音。

在一个例子中，如图3A所示，步骤202中的机器学习模型可以包括特征提取网络、音频分类网络和语音活动检测网络。

在上述例子中，特征提取网络可以用于提取音频特征单元对应的机器学习特征。特征提取网络可以基于Mobilenet V2(一种现有的轻量化网络)的bottleneck residual(瓶颈残差)的网络结构组成。例如，特征提取网络可以由一层二维卷积和两层bottleneckresidual卷积组成。如此，有利于实现机器学习模型的轻量化。

在上述例子中，语音活动检测网络可以用于根据机器学习特征，输出相应的语音活动标签，其中，语音活动标签包括语音标签和非语音标签中的至少一项。这里，语音标签可以表示相应的音频信号为语音，包括近场语音和远场语音。非语音标签可以表示相应的音频信号为非语音，包括音乐和噪声。上述语音活动检测网络可以基于高斯混合模型、卷积神经网络等实现。

在上述例子中，音频分类网络可以用于根据机器学习特征，输出相应的音频类别标签。上述音频分类网络可以由若干个全连接层组成。

在上述例子中，在机器学习模型的训练阶段，可以通过语音活动检测网络输出的语音活动标签对音频分类网络输出的音频类别标签进行验证。虽然语音活动检测和测频分类网络用于执行不同的任务，但是这两个任务之间是存在关联的，例如，近场语音标签和远场语音标签均对应于语音标签，音乐标签和噪声标签均对应于非语音标签。因此，可以通过语音活动检测网络输出的语音活动标签对音频分类网络输出的音频类别标签进行验证(在图3中体现为由语音活动检测网络指向音频类别标签的分支路径)，从而提高机器学习模型的识别准确度。

在另一个例子中，机器学习模型可以只包括图3中的特征提取网络和音频分类网络。

在本实施例中，步骤202中的机器学习模型可以通过以下方式获取：首先，可以获取训练样本集，其中，训练样本集包括近场语音样本、远场语音样本、音乐样本和噪声样本，以及相应的样本类别标签。其次，可以通过训练样本集进行机器学习训练，以得到机器学习模型。

在一个例子中，可以按照图3B所示的过程获取训练样本集。

近场语音样本可以通过近场录音或者预设语音数据获得。这里，近场录音可以通过在近场环境中录制语音所获得，例如由试验人员在特定距离内发出语音并通过录音设备录制。预设语音数据例如是现有的开源语音数据集。

近场语音样本可以通过以下方式获得：首先，可以对近场录音或者预设语音数据进行降噪处理，得到相应的降噪近场音频。通过降噪处理，有利于提高场录音或者预设语音数据的语音清晰度。其次，可以通过语音活动检测技术提取降噪近场音频中的语音部分，得到相应的近场语音信号。例如，可以利用webrtc(一项在浏览器内部进行实时视频和音频通信的技术)中的VAD模块对降噪近场音频进行语音活动检测，并根据检测结果提取降噪近场音频的语音部分。最后，可以在近场语音信号中混入噪声或者音乐信号，得到近场语音样本。通过在近场语音中混入噪声或者音乐信号，有利于获得“带噪”的近场语音样本，使其更接近实际应用中的近场语音，从而提高机器学习模型对近场语音识别的准确性和可靠性。

远场语音样本可以通过远场录音获得，或者通过向近场语音中增加混响获得。这里，远场录音可以通过在远场环境中录制语音所获得，例如由试验人员在特定距离外发出语音并通过录音设备录制，并且可以在多种距离下进行录制。近场语音可以包括近场录音和预设语音数据中的至少一项。通过向近场语音中增加混响，可以仿真出远场语音。

远场语音样本可以通过以下方式获得：首先，可以通过语音活动检测技术提取远场录音中或者加入混响后的近场语音中的语音部分，得到远场语音信号。例如，可以利用webrtc中的VAD模块对远场录音或者加入混响后的近场语音进行语音活动检测，并根据检测结果提取其中的语音部分，得到远场语音信号。其次，可以在远场语音信号中混入噪声或者音乐信号，得到远场语音样本。通过在远场语音中混入噪声或者音乐信号，有利于获得“带噪”的远场语音样本，使其更接近实际应用中的远场语音，从而提高机器学习模型对远场语音识别的准确性和可靠性。需要说明的是，由于远场数据本身不需要很高的信噪比，因此无需对远场录音中或者加入混响后的近场语音进行降噪处理。

音乐样本可以通过在预设音乐数据集的音乐信号中混入近场语音信号或者噪声来获得。这里，预设音乐数据集可以包括多种音乐风格的歌曲或者伴奏。通过在音乐信号中混入近场语音信号或者噪声，有利于提高对音乐识别的鲁棒性和稳定性。

噪声样本通过在预设噪声数据集的噪声中混入近场语音信号或者远场语音信号来得到。这里，预设噪声数据集例如是现有的开源噪声数据集。通过在噪声信号中混入近场语音信号或者远场语音信号，有利于提高对噪声识别的鲁棒性和稳定性。

需要说明的是，在某个声音类型的训练样本中，该声音类型该占据主体地位，其能量占比大于所混入的其他类型声音的能量占比。例如，在近场语音样本中，近场语音信号的能量占比大于混入的噪声或者音乐信号的能量占比。

在本实施例中，在各个声音类型的训练样本中混入了其他类型的声音，从而得到了“带噪”的训练样本，有利于提高机器学习模型的鲁棒性和稳定性。进而，本实施例中机器学习模型能够应用于各种类别、各种性能的声学采集设备中，具有较强的泛化能力。

在一个例子中，上述通过训练样本集进行机器学习训练，以得到机器学习模型的过程可以进一步包括以下步骤：

首先，可以通过训练样本集，将初始模型训练至参数收敛状态，得到第一机器学习模型。

其次，可以通过近场语音样本的信噪比或者的信噪比，对第一机器学习模型中的语音活动检测网络进行微调，得到机器学习模型。

在上述例子中，一方面可以在生成近场语音样本时，记录近场语音信号的能量与混入的噪声或者音乐信号的能量的比值，即近场语音样本的信噪比。类似地，可以在生成远场语音样本时，记录远场语音信号的能量与混入的噪声或者音乐信号的能量的比值，即远场语音样本的信噪比。此外，可以将上述信噪比的数值范围映射至[0,1]区间内，其中信噪比越大越接近1，信噪比越小越接近0。

在上述例子中，另一方面可以将语音活动检测网络输出的语音活动标签转化为[0,1]区间上连续的概率值，表面语音活动存在的概率，其数值越大表明语音活动存在的可能性越大。

在此基础上，可以根据信噪比和概率值之间的联系，将语音活动检测网络的二分类问题转化为语音活动预测概率的拟合问题，从而可以据此对语音活动检测网络进行优化。例如，可以通过MSE loss损失函数对语音活动检测网络进行微调。实践表明，上述方式能够有效提高语音活动检测网络的准确度，进而提高机器学习模型整体的准确度。

本公开的实施例提供的音频信号的处理方法，先获取目标音频信号的音频特征，再将音频特征中的音频特征单元输入机器学习模型进行识别，输出包括近场语音标签、远场语音标签、音乐标签和噪声标签在内的音频类别标签，不仅能够识别音频信号是否为语音，还可以识别音频信号具体为近场语音、远场语音还是音乐，从而为后续的音频处理提供可靠的类别信息，大大提高了音频处理的效率和效果。

此外，本公开的实施例中的机器学习模型能够实现多分类任务并且可以通过轻量化网络实现，参数量少、运算速度快，一方面能够应用于各类电子设备，另一方面有利于实现实时运算。

在一个例子中，在步骤202之后，前述音频信号的处理方法还可以包括以下步骤：

步骤203，根据音频类别标签，对目标音频信号进行降噪或者增强处理。

例如，可以根据近场语音标签和远场语音标签，将相应的目标音频信号分别发送至近场语音增强模块和远场语音增强模块进行处理，以针对性地进行语音增强。又例如，可以根据音乐标签，避免将相应的目标音频信号进行降噪处理，防止音乐的品质受到影响。如此，有利于提高音频处理的效率和效果。

进一步参考图4，作为对上述各图所示方法的实现，本公开提供了一种音频信号处理装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种终端设备中。

如图4所示，本实施例的音频信号处理装置400包括：特征获取单元401和类型识别单元402。其中，特征获取单元401，用于获取目标音频信号的音频特征，其中，音频特征包括至少一个音频特征单元；类型识别单元402，用于将每个音频特征单元输入预先训练的机器学习模型，得到相应的音频类别标签，其中，音频类别标签包括近场语音标签、远场语音标签、音乐标签和噪声标签中的至少一项。

在本实施例中，音频信号处理装置400的特征获取单元401和类型识别单元402的具体处理及其所带来的技术效果可分别参考图2对应实施例中步骤201和步骤202的相关说明，在此不再赘述。

在一些可选的实施方式中，上述装置还包括音频处理单元403，音频处理单元403用于：根据上述音频类别标签，对上述目标音频信号进行降噪或者增强处理。

在一些可选的实施方式中，上述机器学习模型可以包括特征提取网络、音频分类网络和语音活动检测网络；上述特征提取网络用于提取上述音频特征单元对应的机器学习特征；上述语音活动检测网络用于根据上述机器学习特征，输出相应的语音活动标签，其中，上述语音活动标签包括语音标签和非语音标签中的至少一项；上述音频分类网络用于根据上述机器学习特征，输出相应的上述音频类别标签。

在一些可选的实施方式中，在上述机器学习模型的训练阶段，上述语音活动标签可以用于对上述音频类别标签进行验证，其中，上述近场语音标签和上述远场语音标签对应于上述语音标签，上述音乐标签和上述噪声标签对应于上述非语音标签。

在一些可选的实施方式中，上述机器学习模型可以通过以下方式获取：获取训练样本集，其中，上述训练样本集包括近场语音样本、远场语音样本、音乐样本和噪声样本，以及相应的样本类别标签；通过上述训练样本集进行机器学习训练，以得到上述机器学习模型。

在一些可选的实施方式中，上述近场语音样本可以通过近场录音获得；或者，上述近场语音样本可以通过预设语音数据获得。

在一些可选的实施方式中，上述近场语音样本可以通过以下方式获得：对上述近场录音或者上述预设语音数据进行降噪处理，得到相应的降噪近场音频；通过语音活动检测技术提取上述降噪近场音频中的语音部分，得到相应的近场语音信号；在上述近场语音信号中混入噪声或者音乐信号，得到上述近场语音样本。

在一些可选的实施方式中，上述远场语音样本可以通过远场录音获得；或者，上述远场语音样本可以通过向近场语音中增加混响获得，其中，上述近场语音包括近场录音和预设语音数据中的至少一项。

在一些可选的实施方式中，上述近场语音样本可以通过以下方式获得：通过语音活动检测技术提取上述远场录音中或者加入混响后的上述近场语音中的语音部分，得到远场语音信号；在上述远场语音信号中混入噪声或者音乐信号，得到上述远场语音样本。

在一些可选的实施方式中，上述音乐样本可以通过以下方式获得：在预设音乐数据集的音乐信号中混入近场语音信号或者噪声，得到上述音乐样本。

在一些可选的实施方式中，上述噪声样本可以通过以下方式获得：在预设噪声数据集的噪声中混入近场语音信号或者远场语音信号，得到上述噪声样本。

在一些可选的实施方式中，上述机器学习模型可以包括语音活动检测网络，上述训练样本集还可以包括上述近场语音样本的信噪比或者上述远场语音的信噪比；以及上述通过上述训练样本集进行机器学习训练，以得到上述机器学习模型，可以包括：通过上述训练样本集，将初始模型训练至参数收敛状态，得到第一机器学习模型；通过上述近场语音样本的信噪比或者上述远场语音样本的信噪比，对上述第一机器学习模型中的上述语音活动检测网络进行微调，得到上述机器学习模型。

在一些可选的实施方式中，上述特征获取单元401可以进一步用于：按照预设规则将上述目标音频信号切分为至少一个时域帧；对上述时域帧进行短时傅里叶变换，得到相应的频域信号；提取上述频域信号对应的梅尔倒频谱，得到相应的音频特征子单元；对至少两个相邻的上述时域帧对应的上述音频特征子单元进行拼接，得到相应的上述音频特征单元。

需要说明的是，本公开的实施例提供的音频信号处理装置中各单元的实现细节和技术效果可以参考本公开中其它实施例的说明，在此不再赘述。

下面参考图5，其示出了适于用来实现本公开的终端设备的计算机系统500的结构示意图。图5示出的计算机系统500仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。

如图5所示，计算机系统500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有计算机系统500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

通常，以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许计算机系统500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备的计算机系统500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM 502被安装。在该计算机程序被处理装置501执行时，执行本公开的实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备实现如图2所示的实施例及其可选实施方式示出的音频信号处理方法。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，特征获取单元还可以被描述为“获取目标音频信号的音频特征的单元”。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (16)

1.一种音频信号的处理方法，包括：

获取目标音频信号的音频特征，其中，所述音频特征包括至少一个音频特征单元；

将每个所述音频特征单元输入预先训练的机器学习模型，得到相应的音频类别标签，其中，所述音频类别标签包括近场语音标签、远场语音标签、音乐标签和噪声标签中的至少一项。

2.根据权利要求1所述的方法，其中，在所述将每个所述音频特征单元输入预先训练的机器学习模型，得到相应的音频类别标签之后，所述方法还包括：

根据所述音频类别标签，对所述目标音频信号进行降噪或者增强处理。

3.根据权利要求1所述的方法，其中，所述机器学习模型包括特征提取网络、音频分类网络和语音活动检测网络；

所述特征提取网络用于提取所述音频特征单元对应的机器学习特征；

所述语音活动检测网络用于根据所述机器学习特征，输出相应的语音活动标签，其中，所述语音活动标签包括语音标签和非语音标签中的至少一项；

所述音频分类网络用于根据所述机器学习特征，输出相应的所述音频类别标签。

4.根据权利要求3所述的方法，其中，在所述机器学习模型的训练阶段，所述语音活动标签用于对所述音频类别标签进行验证，其中，所述近场语音标签和所述远场语音标签对应于所述语音标签，所述音乐标签和所述噪声标签对应于所述非语音标签。

5.根据权利要求1所述的方法，其中，所述机器学习模型通过以下方式获取：

获取训练样本集，其中，所述训练样本集包括近场语音样本、远场语音样本、音乐样本和噪声样本，以及相应的样本类别标签；

通过所述训练样本集进行机器学习训练，以得到所述机器学习模型。

6.根据权利要求5所述的方法，其中，所述近场语音样本通过近场录音获得；或者，所述近场语音样本通过预设语音数据获得。

7.根据权利要求6所述的方法，其中，所述近场语音样本通过以下方式获得：

对所述近场录音或者所述预设语音数据进行降噪处理，得到相应的降噪近场音频；

通过语音活动检测技术提取所述降噪近场音频中的语音部分，得到相应的近场语音信号；

在所述近场语音信号中混入噪声或者音乐信号，得到所述近场语音样本。

8.根据权利要求5所述的方法，其中，所述远场语音样本通过远场录音获得；或者，所述远场语音样本通过向近场语音中增加混响获得，其中，所述近场语音包括近场录音和预设语音数据中的至少一项。

9.根据权利要求8所述的方法，其中，所述近场语音样本通过以下方式获得：

通过语音活动检测技术提取所述远场录音中或者加入混响后的所述近场语音中的语音部分，得到远场语音信号；

在所述远场语音信号中混入噪声或者音乐信号，得到所述远场语音样本。

10.根据权利要求5所述的方法，其中，所述音乐样本通过以下方式获得：

在预设音乐数据集的音乐信号中混入近场语音信号或者噪声，得到所述音乐样本。

11.根据权利要求5所述的方法，其中，所述噪声样本通过以下方式获得：

在预设噪声数据集的噪声中混入近场语音信号或者远场语音信号，得到所述噪声样本。

12.根据权利要求5所述的方法，其中，所述机器学习模型包括语音活动检测网络，所述训练样本集还包括所述近场语音样本的信噪比或者所述远场语音的信噪比；以及

所述通过所述训练样本集进行机器学习训练，以得到所述机器学习模型，包括：

通过所述训练样本集，将初始模型训练至参数收敛状态，得到第一机器学习模型；

通过所述近场语音样本的信噪比或者所述远场语音样本的信噪比，对所述第一机器学习模型中的所述语音活动检测网络进行微调，得到所述机器学习模型。

13.根据权利要求1所述的方法，其中，所述获取目标音频信号的音频特征，包括：

按照预设规则将所述目标音频信号切分为至少一个时域帧；

对所述时域帧进行短时傅里叶变换，得到相应的频域信号；

提取所述频域信号对应的梅尔倒频谱，得到相应的音频特征子单元；

对至少两个相邻的所述时域帧对应的所述音频特征子单元进行拼接，得到相应的所述音频特征单元。

14.一种音频信号的处理装置，包括：

特征获取单元，用于获取目标音频信号的音频特征，其中，所述音频特征包括至少一个音频特征单元；

类型识别单元，用于将每个所述音频特征单元输入预先训练的机器学习模型，得到相应的音频类别标签，其中，所述音频类别标签包括近场语音标签、远场语音标签、音乐标签和噪声标签中的至少一项。

15.一种电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-13中任一项所述的方法。

16.一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被一个或多个处理器执行时实现如权利要求1-13中任一项所述的方法。

Images