CN117995203A - 一种音频信号的处理方法及装置 - Google Patents

Abstract

本公开实施例提供了一种音频信号的处理方法及装置，涉及数据处理技术领域。该方法包括：确定第一音频帧的编码数据是否丢失，当确定所述第一音频帧的编码数据丢失时，获取第一低频残差信号，所述第一低频残差信号为第二音频帧的低频残差信号，所述第二音频帧为最近一次正常接收到的编码数据所属的音频帧，再根据所述第一低频残差信号生成第二低频残差信号，所述第二低频残差信号的各个采样点的幅度值均属于目标幅度值集合，所述目标幅度值集合为所述第一低频残差信号的各个采样点的幅度值组成的集合，最终根据所述第二低频残差信号构建所述第一音频帧的高频信号。本公开实施例用于在丢包时提高恢复后的音频信号的音频质量。

Description

一种音频信号的处理方法及装置

技术领域

本公开涉及数据处理技术领域，尤其涉及一种音频信号的处理方法及装置。

背景技术

目前，在VOIP(Voice over Internet Protocol，基于IP的语音传输)通话中，由于网络丢包、抖动等原因，可能出现当前播放时间戳数据未收到的情况。为了解决上述问题，通常会在接收端使用上一帧的音频信号作为丢包帧的音频信号，再利用带宽扩展技术的编解码器对播放数据进行补偿。

在使用了带宽扩展技术的编解码器中，如果在接收端发生丢包，高频带信号和低频带信号均需要进行重建，最终合成输出的语音信号，如果高频信号恢复质量不佳，会出现较大的高频杂音，进而导致合成语音质量出现明显下降，影响用户体验。

发明内容

有鉴于此，本公开实施例提供了一种音频信号的处理方法及装置，用于在发生丢包时，提高恢复的高频信号的质量。

为了实现上述目的，本公开实施例提供技术方案如下：

第一方面，本公开的实施例提供了一种音频信号的处理方法，包括：

确定第一音频帧的编码数据是否丢失；

当确定所述第一音频帧的编码数据丢失，获取第一低频残差信号，所述第一低频残差信号为第二音频帧的低频残差信号，所述第二音频帧为最近一次正常接收到的编码数据所属音频帧；

根据所述第一低频残差信号生成第二低频残差信号；所述第二低频残差信号的各个采样点的幅度值均属于目标幅度值集合，所述目标幅度值集合为所述第一低频残差信号的各个采样点的幅度值组成的集合；

根据所述第二低频残差信号、构建所述第一音频帧的高频信号。

作为本公开实施例一种可选的实施方式，所述方法还包括：

获取第一增益值，所述第一增益值为所述第二音频帧的高频增益值；

通过第一衰减系数对所述第一增益值进行衰减，以获取第二增益值；

所述根据所述第二低频残差信号构建所述第一音频帧的高频信号，包括：

根据所述第二低频残差信号和所述第二增益值获取所述第一音频帧的高频信号。

作为本公开实施例一种可选的实施方式，所述方法还包括：

获取第一线性预测系数，所述第一线性预测系数为所述第二音频帧的线性预测系数；

所述根据所述第二低频残差信号和所述第二增益值获取所述第一音频帧的高频信号，包括：

根据所述第二低频残差信号、所述第二增益值以及所述第一线性预测系数，构建所述第一音频帧的高频信号。

作为本公开实施例一种可选的实施方式，所述根据所述第一低频残差信号生成第二低频残差信号，包括：

针对所述第二低频残差信号的各个采样点，随机从所述目标幅度值集合中获取一个幅度值作为所述采样点的幅度值，以生成所述第二低频残差信号。

作为本公开实施例一种可选的实施方式，在根据所述第一增益值和第一衰减系数获取第二增益值之前，所述方法还包括：

获取所述第一音频帧的类型和第一连续丢包次数，所述第一连续丢包次数为连续丢失编码数据的音频帧的数量；

根据所述第一音频帧的类型和所述第一连续丢包次数获取所述第一衰减系数。

作为本公开实施例一种可选的实施方式，所述根据所述第一音频帧的类型和所述第一连续丢包次数获取所述第一衰减系数，包括：

判断所述第一连续丢包次数是否大于第一阈值次数；

若是，则将所述第一衰减系数确定为第一预设值；

若否，则根据所述第一音频帧的类型获取所述第一衰减系数。

作为本公开实施例一种可选的实施方式，所述根据所述第一音频帧的类型获取所述第一衰减系数，包括：

当所述第一音频帧的类型为浊音时，将所述第一衰减系数确定为第二预设值；

当所述第一音频帧的类型不为浊音时，将所述第一衰减系数确定为第三预设值。

作为本公开实施例一种可选的实施方式，所述根据所述第二低频残差信号、所述第一线性预测系数以及所述第二增益值，构建所述第一音频帧的高频信号，包括：

根据所述第二低频残差信号和所述第二增益值获取第一高频残差信号；

根据所述第一高频残差信号和所述第一线性预测系数生成所述第一音频帧的高频信号。

作为本公开实施例一种可选的实施方式，所述方法还包括：

生成所述第一音频帧的低频信号；

根据所述第一音频帧的高频信号和所述第一音频帧的低频信号，生成所述第一音频帧的音频信号。

作为本公开实施例一种可选的实施方式，所述方法还包括：

若所述第一音频帧的编码数据未丢失，则判断第三音频帧的编码数据是否丢失，所述第三音频帧为所述第一音频帧的上一个音频帧；

若所述第三音频帧的编码数据丢失，则根据所述第二衰减系数和第三增益值获取第四增益值，所述第三增益值为根据所述编码数据获取的所述第一音频帧的高频增益值；

根据所述第四增益值构建所述第一音频帧的高频信号。

作为本公开实施例一种可选的实施方式，在根据第二衰减系数和第三增益值获取第四增益值之前，所述方法还包括：

获取第二连续丢包次数；所述第二连续丢包次数为连续丢失编码数据的音频帧的数量；

根据所述第二连续丢包次数获取第二衰减系数。

作为本公开实施例一种可选的实施方式，所述根据所述第四增益值构建所述第一音频帧的高频信号，包括：

根据第三低频残差信号和所述第四增益值获取第二高频残差信号；所述第三低频残差信号为根据所述编码数据获取的所述第一音频帧的低频残差信号；

根据所述第二高频残差信号和第二线性预测系数生成所述第一音频帧的高频信号，所述第二线性预测系数为根据所述编码数据获取的所述第一音频帧的线性预测系数。

第二方面，本公开实施例提供了一种音频信号的处理装置，包括：

确定单元，用于确定第一音频帧的编码数据是否丢失；

获取单元，用于当确定所述第一音频帧的编码数据丢失时，获取第一低频残差信号，所述第一低频残差信号为第二音频帧的低频残差信号，所述第二音频帧为最近一次正常接收到的编码数据所属的音频帧；

处理单元，用于根据所述第一低频残差信号生成第二低频残差信号；所述第二低频残差信号的各个采样点的幅度值均属于目标幅度值集合，所述目标幅度值集合为所述第一低频残差信号的各个采样点的幅度值组成的集合；

构建单元，用于根据所述第二低频残差信号，构建所述第一音频帧的高频信号。

作为本公开实施例一种可选的实施方式，所述获取单元还用于获取第一增益值，所述第一增益值为所述第二音频帧的高频增益值；通过第一衰减系数对所述第一增益值进行衰减，以获取第二增益值；所述根据所述第二低频残差信号构建所述第一音频帧的高频信号，包括：根据所述第二低频残差信号和所述第二增益值获取所述第一音频帧的高频信号。

作为本公开实施例一种可选的实施方式，所述获取单元还用于获取第一线性预测系数，所述第一线性预测系数为所述第二音频帧的线性预测系数；所述根据所述第二低频残差信号和所述第二增益值获取所述第一音频帧的高频信号，包括：根据所述第二低频残差信号、所述第二增益值以及所述第一线性预测系数，构建所述第一音频帧的高频信号。

作为本公开实施例一种可选的实施方式，所述处理单元，具体用于针对所述第二低频残差信号的各个采样点，随机从所述目标幅度值集合中获取一个幅度值作为所述采样点的幅度值，以生成所述第二低频残差信号。

作为本公开实施例一种可选的实施方式，所述获取单元还用于获取所述第一音频帧的类型和第一连续丢包次数，所述第一连续丢包次数为连续丢失编码数据的音频帧的数量；根据所述第一音频帧的类型和所述第一连续丢包次数获取所述第一衰减系数。

作为本公开实施例一种可选的实施方式，所述获取单元还用于判断所述第一连续丢包次数是否大于第一阈值次数；若是，则将所述第一衰减系数确定为第一预设值；若否，则根据所述第一音频帧的类型获取所述第一衰减系数。

作为本公开实施例一种可选的实施方式，所述处理单元还用于当所述第一音频帧的类型为浊音时，将所述第一衰减系数确定为第二预设值；当所述第一音频帧的类型不为浊音时，将所述第一衰减系数确定为第三预设值。

作为本公开实施例一种可选的实施方式，所述处理单元还用于生成所述第一音频帧的低频信号；根据所述第一音频帧的高频信号和所述第一音频帧的低频信号，生成所述第一音频帧的音频信号。

作为本公开实施例一种可选的实施方式，所述确定单元，还用于在所述第一音频帧的编码数据未丢失的情况下，判断第三音频帧的编码数据是否丢失，所述第三音频帧为所述第一音频帧的上一个音频帧；

所述获取单元包括：

增益值获取模块，用于在所述第三音频帧的编码数据丢失的情况下，根据所述第二衰减系数和第三增益值获取第四增益值，所述第三增益值为根据所述编码数据获取的所述第一音频帧的高频增益值；

所述构建单元，还用于根据所述第四增益值构建所述第一音频帧的高频信号。

作为本公开实施例一种可选的实施方式，所述获取单元还用于在根据第二衰减系数和第三增益值获取第四增益值之前，获取第二连续丢包次数；所述第二连续丢包次数为连续丢失编码数据的音频帧的数量；根据所述第二连续丢包次数获取第二衰减系数。

作为本公开实施例一种可选的实施方式，所述获取单元还用于判断所述第二连续丢包次数是否大于第二阈值次数；若是，则将所述第二衰减系数确定为第四预设值；若否，则将所述第二衰减系数确定为第五预设值。

作为本公开实施例一种可选的实施方式，所述构建模块，还用于根据第三低频残差信号和所述第四增益值获取第二高频残差信号；所述第三低频残差信号为根据所述编码数据获取的所述第一音频帧的低频残差信号；根据所述第二高频残差信号和第二线性预测系数生成所述第一音频帧的高频信号，所述第二线性预测系数为根据所述编码数据获取的所述第一音频帧的线性预测系数。

第三方面，本公开实施例提供一种电子设备，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在执行计算机程序时，使得所述电子设备实现上述任一实施方式所述的音频信号的处理方法。

第四方面，本公开实施例提供一种计算机可读存储介质，当所述计算机程序被计算设备执行时，使得所述计算设备实现上述任一实施方式所述的音频信号的处理方法。

第五方面，本公开实施例提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机实现上述任一实施方式所述的音频信号的处理方法。

本公开实施例提供的音频信号的处理方法是通过确定第一音频帧的编码数据是否丢失来进一步处理音频信号，当确定所述第一音频帧的编码数据丢失时，获取第一低频残差信号，再根据第一低频残差信号完成对第一音频帧的高频信号的构建。由于本公开实施例可以在音频帧的编码数据丢失时会获取最近一次正常接收的音频帧的低频残差信号，生成各个采样点的幅度值均属于最近一次正常接收的音频帧的低频残差信号的各个采样点的幅度值的第二低频残差信号，使第二低频残差信号与最近一次正常接收的音频帧的低频残差信号能量相近，最后根据所述第二低频残差信号，构建编码数据丢失的音频帧的高频信号，因此本公开实施例可以使构建的高频信号能量平稳，从而减少高频信号中的杂音，进而使恢复出的高频语音信号的质量更佳，合成的语音质量更高，提升用户体验。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要调用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的音频信号的处理方法步骤流程图之一；

图2为本公开实施例提供的音频信号的处理方法的步骤流程图之二；

图3为本公开实施例提供的音频信号的处理方法的步骤流程图之三；

图4为本公开实施例提供的音频信号的处理方法的步骤流程图之四；

图5为本公开实施例提供的音频信号的处理方法的步骤流程图之五；

图6为本公开实施例提供的音频信号的处理方法的步骤流程图之六；

图7为本公开实施例提供的音频信号的处理装置的硬件框架图之一；

图8为本公开实施例提供的音频信号的处理装置的硬件框架图之二；

图9为本公开实施例提供的音频信号的处理装置结构示意图之一；

图10为本公开实施例提供的音频信号的处理装置结构示意图之二；

图11为本公开实施例提供的电子设备的硬件结构示意图。

具体实施方式

为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。

在本公开实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本公开实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，调用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。此外，在本公开实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。

本公开实施例提供的一种音频信号的处理方法，参照图1所示，该音频信号的处理方法包括以下步骤：

S101、确定第一音频帧的编码数据是否丢失。

即，确定是否接收到了音频数据发送端发送的包括所述第一音频帧的编码数据的数据包。

本公开实施例中的第一音频帧可以为音频的任意一个音频帧。

S102、当确定所述第一音频帧的编码数据丢失时，获取第一低频残差信号。

其中，所述第一低频残差信号为第二音频帧的低频残差信号，所述第二音频帧为最近一次正常接收到的编码数据所属的音频帧。

低频残差信号是指音频信号的低频信号的各个样点的值与对应的预测值的差值，各个样点对应的预测值为线性预测系数乘与历史音频信号的低频信号的乘积。

例如：第一音频帧为第n个音频帧，若正常接收到了第n-1个音频帧的编码数据，则获取第n-1个音频的低频残差信号作为第一低频残差信号而若第n-1个音频帧的编码数据也丢失了，则判断正常接收到了第n-2个音频帧的编码数据，直到找到最近一次正常接收到编码数据的音频帧。

S103、根据所述第一低频残差信号生成第二低频残差信号，

其中，所述第二低频残差信号的各个采样点的幅度值均属于目标幅度值集合，所述目标幅度值集合为所述第一低频残差信号的各个采样点的幅度值组成的集合。

例如：第一低频残差信号为：x₁，x₂，x₃……x₆₄，其中，x₁，x₂，x₃……x₆₄分别表示低频残差信号中样点的值，则所述目标幅度值集合为

{x₁、x₂、x₃……x₆₄}，根据所述第一低频残差信号生成的第二低频残差信号均属于{x₁、x₂、x₃……x₆₄}。

S104、根据所述第二低频残差信号构建所述第一音频帧的高频信号。

本公开实施例提供的音频信号的处理方法是通过确定第一音频帧的编码数据是否丢失来进一步处理音频信号，当确定所述第一音频帧的编码数据丢失时，获取第一低频残差信号，再根据第一低频残差信号完成对第一音频帧的高频信号的构建。由于本公开实施例可以在音频帧的编码数据丢失时会获取最近一次正常接收的音频帧的低频残差信号，生成各个采样点的幅度值均属于最近一次正常接收的音频帧的低频残差信号的各个采样点的幅度值的第二低频残差信号，使第二低频残差信号与最近一次正常接收的音频帧的低频残差信号能量相近，最后根据所述第二低频残差信号，构建编码数据丢失的音频帧的高频信号，因此本公开实施例可以使构建的高频信号能量平稳，从而减少高频信号中的杂音，进而使恢复出的高频语音信号的质量更佳，合成的语音质量更高，提升用户体验。

作为上述实施例的扩展与细化，本公开实施例提供的一种音频信号的处理方法，参照图2所示，该音频信号的处理方法包括以下步骤：

S201、确定第一音频帧的编码数据是否丢失。

在上述步骤S201中，若是第一音频帧的编码数据丢失，则执行如下S202至S205。

S202、获取第一低频残差信号、第一增益值以及第一线性预测系数(LinearPrediction Coefficient，LPC)。

其中，所述第一低频残差信号为第二音频帧的低频残差信号，所述第二音频帧为最近一次正常接收到的编码数据所属的音频帧；所述第一增益值为所述第二音频帧的高频增益值；所述第一线性预测系数为所述第二音频帧的线性预测系数。

线性预测系数是指音频信号的样点值可以通过历史音频数据的样点值乘以系数，并对乘积求和的线形组合来逼近，例如：LPC阶数为10，则具有10个系数，使用该10个系数分别乘以历史音频数据的10个样点值，并对乘积求和可以逼近当前样点值，而这些系数即为线性预测系数。

高频增益是指高频残差信号的能量增益，具体为高频残差信号和低频残差信号的能量之比增益值指高频信号与低频信号之间的能量抵值。

例如：第一音频帧为第n个音频帧，若正常接收到了第n-1个音频帧的编码数据，则获取第n-1个音频的线性预测系数和增益值作为第一线性预测系数和第一增益值，而若第n-1个音频帧的编码数据也丢失了，则判断正常接收到了第n-2个音频帧的编码数据，直到找到最近一次正常接收到编码数据的音频帧。

S203、根据所述第一低频残差信号生成第二低频残差信号。

其中，所述第二低频残差信号的各个采样点的幅度值均属于目标幅度值集合，所述目标幅度值集合为所述第一低频残差信号的各个采样点的幅度值组成的集合。

S204、通过第一衰减系数对所述第一增益值进行衰减，以获取第二增益值。

在一些实施例中，根据所述第一增益值和第一衰减系数获取第二增益值包括：计算所述第一增益值和所述第一衰减系数的乘积，并将所述第一增益值和所述第一衰减系数的乘积确定为所述第二增益值。

S205、根据所述第二低频残差信号、所述第一线性预测系数以及所述第二增益值，构建所述第一音频帧的高频信号。

本公开实施例提供的音频信号的处理方法是通过判断第一音频帧的编码数据是否丢失来进一步处理音频信号，若所述第一音频帧的编码数据丢失，则获取第一低频残差信号、第一增益值以及第一线性预测系数，根据所述第一低频残差信号生成第二低频残差信号，再通过第一衰减系数对所述第一增益值进行衰减获取第二增益值，最终根据所述第二低频残差信号、所述第一线性预测系数以及所述第二增益值，完成第一音频帧的高频信号的构建。由于本公开实施例可以在音频帧的编码数据丢失时会获取最近一次正常接收的音频帧的线性预测系数、低频残差信号以及高频增益值，并通过衰减系数调整高频增益值，以对增益进行平滑获取第二增益值，生成各个采样点的幅度值均属于最近一次正常接收的音频帧的低频残差信号的各个采样点的幅度值的第二低频残差信号，使第二低频残差信号与最近一次正常接收的音频帧的低频残差信号能量相近，最后根据所述第二低频残差信号、所述第一线性预测系数以及所述第二增益值，构建编码数据丢失的音频帧的高频信号，因此本公开实施例可以使构建的高频信号能量平稳，从而减少高频信号中的杂音，进而使恢复出的高频语音信号的质量更佳，合成的语音质量更高，提升用户体验。

作为对上述实施例的细化与扩展，本公开实施例提供的一种音频信号的处理方法，参照图3所示，该音频信号的处理方法包括以下步骤：

S301、确定第一音频帧的编码数据是否丢失。

在上述步骤S301中，若第一音频帧的编码数据丢失，则执行如下步骤S302至S307。

S302、获取第一低频残差信号、第一增益值以及第一线性预测系数。

其中，所述第一低频残差信号为第二音频帧的低频残差信号，所述第二音频帧为最近一次正常接收到的编码数据所属的音频帧；所述第一增益值为所述第二音频帧的高频增益值；所述第一线性预测系数为所述第二音频帧的线性预测系数。

S303、针对所述第二低频残差信号的各个采样点，随机从目标幅度值集合中获取一个幅度值作为所述采样点的幅度值，以生成所述第二低频残差信号。

其中，所述目标幅度值集合为所述第一低频残差信号的各个采样点的幅度值组成的集合。

在一些实施例中，可以通过如下公式实现上述步骤S303：

hb_residue(i)＝lb_residue(rand()％N)0≤i≤N

其中，N为第二低频残差信号的采样点数量，i为第二低频残差信号中的采样点的索引，hb_residue为第二低频残差信号；lb_residue为第一低频残差信号，rand()％为随机取值函数。

S304、获取所述第一音频帧的类型和第一连续丢包次数。

其中，所述第一连续丢包次数为连续丢失编码数据的音频帧的数量。

本公开实施例中的第一连续丢包次数是指截止当前已丢失编码数据的音频帧，连续丢失编码数据的音频帧的数量。例如：当前音频帧为第t个音频帧，第t个音频帧的编码数据丢失，而正常接收到了第t-1个音频帧的编码数据，则可以确定第一连续丢包次数为1。再例如：当前音频帧为第t个音频帧，第t个音频帧、第t-1个音频帧的编码数据均丢失，而正常接收到了第t-2个音频帧的编码数据，则可以确定第一连续丢包次数为2。

在一些实施例中，信号类型可以包括：浊音类型以及其它类型。

S305、根据所述第一音频帧的类型和所述第一连续丢包次数获取所述第一衰减系数。

在一些实施例中，上步骤S305(根据所述第一音频帧的类型和所述第一连续丢包次数获取所述第一衰减系数)，包括如下步骤1至步骤4：

步骤1：判断所述第一连续丢包次数是否大于第一阈值次数。

示例性的，阈值次数可以为1。即，判断连续丢包次数是否超过了1次。

在上述步骤1中，若第一连续丢包次数小于或等于所述第一阈值次数，则执行如下步骤2，而若第一连续丢包次数大于第一阈值次数，则执行步骤3。

步骤2：将所述第一衰减系数确定为第一预设值。

示例性的，第一预设值可以为0.8。即，当第一连续丢包次数小于或等于第一阈值次数时，将所述第一衰减系数确定为0.8。

步骤3：根据所述第一音频帧的类型获取所述第一衰减系数。

在一些实施例中，根据所述第一音频帧的类型获取所述第一衰减系数包括如下步骤3.1至步骤3.3：

步骤3.1、判断所述第一音频帧的类型是否为浊音。

在上述步骤3.1中，若所述第一音频帧的类型为浊音，则执行如下步骤3.2，而若所述第一音频帧的类型不为浊音，则执行步骤3.3。

步骤3.2、将所述第一衰减系数确定为第二预设值。

步骤3.3、将所述第一衰减系数确定为第三预设值。

示例性的，当所述第二预设值为0.5，所述第三预设值为0.8，则可以通过如下公式实现上步骤3(根据所述第一音频帧的类型获取所述第一衰减系数)：

其中，att_coef₁为所述第一衰减系数。

即，当第一音频帧的类型为浊音时，将第一增益衰减系数确定为0.5；当第一音频帧的类型不为浊音时，将第一增益衰减系数确定为0.8。

S306、通过第一衰减系数对所述第一增益值进行衰减，以获取第二增益值。

在一些实施例中，所述第二增益值可以为所述第一衰减系数与所述第一增益值的乘积。即，设：第一衰减系数为att_coef₁，第一增益值为prev_hb_gain，第二增益值为hb_gain，则有：

hb_gain＝prev_hb_gain*att_coef

S307、根据所述第二低频残差信号、所述第一线性预测系数以及所述第二增益值，构建所述第一音频帧的高频信号。

作为对上述实施例的细化与扩展，本公开实施例提供的另一种音频信号的处理方法，参照图4所示，该音频信号的处理方法包括以下步骤：

S401、确定第一音频帧的编码数据是否丢失。

在上述步骤S401中，若第一音频帧的编码数据丢失，则执行如下步骤S402至S407。

S402、获取第一低频残差信号、第一增益值以及第一线性预测系数。

其中，所述第一低频残差信号为第二音频帧的低频残差信号，所述第二音频帧为最近一次正常接收到的编码数据所属的音频帧；所述第一增益值为所述第二音频帧的高频增益值；所述第一线性预测系数为所述第二音频帧的线性预测系数。

S403、根据所述第一低频残差信号生成第二低频残差信号。

S404、通过第一衰减系数对所述第一增益值进行衰减，以获取第二增益值。

S405、根据所述第二低频残差信号、所述第一线性预测系数以及所述第二增益值，构建所述第一音频帧的高频信号。

S406、生成所述第一音频帧的低频信号。

本公开实施例中不限定获取所述第一音频帧的低频信号的实现方式，以能够获取第一音频帧的低频信号为准。

S407、根据所述第一音频帧的高频信号和所述第一音频帧的低频信号，生成所述第一音频帧的音频信号。

作为对上述实施例的细化与扩展，本公开实施例提供的一种音频信号的处理方法，参照图5所示，该方法包括以下步骤：

S501、确定第一音频帧的编码数据是否丢失。

在上述步骤S501中，若第一音频帧的编码数据丢失，则执行如下S502至S507：

S502、获取第一低频残差信号、第一增益值以及第一线性预测系数。

其中，所述第一低频残差信号为第二音频帧的低频残差信号，所述第二音频帧为最近一次正常接收到的编码数据所属的音频帧；所述第一增益值为所述第二音频帧的高频增益值；所述第一线性预测系数为所述第二音频帧的线性预测系数。

S503、根据所述第一低频残差信号生成第二低频残差信号。

所述第二低频残差信号的各个采样点的幅度值均属于目标幅度值集合，所述目标幅度值集合为所述第一低频残差信号的各个采样点的幅度值组成的集合。

S504、通过第一衰减系数对所述第一增益值进行衰减，以获取第二增益值。

S505、根据所述第二低频残差信号、所述第一线性预测系数以及所述第二增益值，构建所述第一音频帧的高频信号。

S506、生成所述第一音频帧的低频信号。

S507、根据所述第一音频帧的高频信号和所述第一音频帧的低频信号，生成所述第一音频帧的音频信号。

在上述步骤S501中，若第一音频帧的编码数据未丢失，则执行如下步骤S508至S514：

S508、判断第三音频帧的编码数据是否丢失。

其中，所述第三音频帧为所述第一音频帧的上一个音频帧。

在上述S508中，若所述第三音频帧的编码数据未丢失，则按照正常的解码步骤获取第一音频帧的音频信，而若所述第三音频帧的编码数据丢失，则执行如下S509至S512：

S509、根据所述第二衰减系数和第三增益值获取第四增益值。

其中，所述第三增益值为根据所述编码数据获取的所述第一音频帧的高频增益值。

在一些实施例中，所述第四增益值可以为所述第二衰减系数与所述第三增益值的乘积。即，设：第二衰减系数为att_coef₂，第三增益值为hb_gain，第四增益值为hb′_gain，则有：

hb′_gain＝att_coef₂*hb_gain

由于使用的第二衰减系数的获取步骤在S509之前，本发明所提供的获取第二衰减系数的步骤包括以下步骤1至步骤2：

步骤1、获取第二连续丢包次数。

其中，所述第二连续丢包次数为连续丢失编码数据的音频帧的数量。

步骤2、根据所述第二连续丢包次数获取第二衰减系数。

S510、根据所述第四增益值构建所述第一音频帧的高频信号。

S511、根据第一音频帧的编码数据生成所述第一音频帧的低频信号。

S512、根据所述第一音频帧的高频信号和所述第一音频帧的低频信号，生成所述第一音频帧的音频信号。

作为对上述实施例的扩展和细化，本公开实施例提供的一种音频信号的处理方法，参照图6所示，该音频信号的处理方法包括以下步骤：

S601、确定第一音频帧的编码数据是否丢失。

在上述步骤S601中，若第一音频帧的编码数据丢失，则执行如下S602至S608：

S602、获取第一低频残差信号、第一增益值以及第一线性预测系数。

其中，所述第一低频残差信号为第二音频帧的低频残差信号，所述第二音频帧为最近一次正常接收到的编码数据所属的音频帧；所述第一增益值为所述第二音频帧的高频增益值；所述第一线性预测系数为所述第二音频帧的线性预测系数。

S603、根据所述第一低频残差信号生成第二低频残差信号。

其中，所述第二低频残差信号的各个采样点的幅度值均属于目标幅度值集合，所述目标幅度值集合为所述第一低频残差信号的各个采样点的幅度值组成的集合。

S604、通过第一衰减系数对所述第一增益值进行衰减，以获取第二增益值。

S605、根据所述第二低频残差信号和所述第二增益值获取第一高频残差信号。

S606、根据所述第一高频残差信号和所述第一线性预测系数生成所述第一音频帧的高频信号。

S607、生成所述第一音频帧的低频信号。

S608、根据所述第一音频帧的高频信号和所述第一音频帧的低频信号，生成所述第一音频帧的音频信号。

在上述步骤S601中，若第一音频帧的编码数据未丢失，则执行如下步骤S609至S618：

S609、判断第三音频帧的编码数据是否丢失。

所述第三音频帧为所述第一音频帧的上一个音频帧。

在上述S609中，若所述第三音频帧的编码数据未丢失，则按照正常解码步骤获取完整的第一音频帧的音频信号，若所述第三音频帧的编码数据丢失，则执行如下S610至S618：

S610、获取第二连续丢包次数。

所述第二连续丢包次数为连续丢失编码数据的音频帧的数量。

S611、判断所述第二连续丢包次数是否大于第二阈值次数。

在上述S611中，若所述第二连续丢包次数大于第二阈值次数，则执行如下S612，若所述第二连续丢包次数小于或等于第二阈值次数，则执行如下S613。

S612、将所述第二衰减系数确定为第四预设值。

S613、将所述第二衰减系数确定为第五预设值。

在本公开实施例中，所述第二阈值次数可以设定为2，当第二阈值次数设置为2时，上述S511至S513中可以通过如下公式实现：

其中，att_coef₂为第二衰减系数。

即，当所述第二连续丢包次数大于2时，将所述第二述衰减系数确定为1，当所述连续丢包次数小于或等于2时，将所述第二述衰减系数确定为0.8。

S614、根据所述第二衰减系数和第三增益值获取第四增益值。

其中，所述第三增益值为根据所述编码数据获取的所述第一音频帧的高频增益值。

S615、根据第三低频残差信号和所述第四增益值获取第二高频残差信号。

其中，所述第三低频残差信号为根据所述编码数据获取的所述第一音频帧的低频残差信号。

S616、根据所述第二高频残差信号和第二线性预测系数生成所述第一音频帧的高频信号。

其中，所述第二线性预测系数为根据所述编码数据获取的所述第一音频帧的线性预测系数。

S617、根据第一音频帧的编码数据生成所述第一音频帧的低频信号。

S618、根据所述第一音频帧的高频信号和所述第一音频帧的低频信号，生成所述第一音频帧的音频信号。

本公开实施例提供的音频信号的处理方法是通过判断第一音频帧的编码数据是否丢失来进一步处理音频信号，若所述第一音频帧的编码数据丢失，则获取第一低频残差信号、第一增益值以及第一线性预测系数，根据所述第一低频残差信号生成第二低频残差信号，再通过第一衰减系数对所述第一增益值进行衰减获取第二增益值，最终根据所述第二低频残差信号、所述第一线性预测系数以及所述第二增益值，完成第一音频帧的高频信号的构建。由于本公开实施例可以在音频帧的编码数据丢失时会获取最近一次正常接收的音频帧的线性预测系数、低频残差信号以及高频增益值，并通过衰减系数调整高频增益值，以对增益进行平滑获取第二增益值，生成各个采样点的幅度值均属于最近一次正常接收的音频帧的低频残差信号的各个采样点的幅度值的第二低频残差信号，使第二低频残差信号与最近一次正常接收的音频帧的低频残差信号能量相近，最后根据所述第二低频残差信号、所述第一线性预测系数以及所述第二增益值，构建编码数据丢失的音频帧的高频信号，因此本公开实施例可以使构建的高频信号能量平稳，从而减少高频信号中的杂音，进而使恢复出的高频语音信号的质量更佳，合成的语音质量更高，提升用户体验。

结合上述实施例，参照图7所示，图7为本公开实施例提供的当第一音频帧丢失时，用于实现图6所示实施例的硬件设备可以包括：获取模块701、生成模块702、计算模块703、高频信号合成器704、低频信号恢复模块705以及正交镜像滤波器706。

获取模块701，用于获取第一线性预测系数、第一低频残差信号以及第一增益值。

生成模块702，用于针对所述第二低频残差信号的各个采样点，随机从所述目标幅度值集合中获取一个幅度值作为所述采样点的幅度值，以生成所述第二低频残差信号。

计算模块703，用于根据第一增益值计算得到第二增益值。

高频信号合成器704，用于根据所述第二低频残差信号、所述第一线性预测系数以及所述第二增益值，构建所述第一音频帧的高频信号。

低频信号恢复模块705，用于根据第一音频帧的编码数据生成所述第一音频帧的低频信号。

正交镜像滤波器706，用于根据所述第一音频帧的高频信号和所述第一音频帧的低频信号，生成所述第一音频帧的音频信号。

结合上述实施例，参照图8所示，图8为本公开实施例提供的当第一音频帧未丢失时，用于实现图6所示实施例的硬件设备可以包括：解封器801、解码器802、高频信号合成器803、以及正交镜像滤波器804。

解封器801，用于解析获取低频编码信息、高频线谱对系数以及高频能量增益。

解码器802，用于对所述低频编码信息进行解码获取低频信号和低频残差信号。

高频信号合成器803，用于根据所述低频残差信号、所述线谱对系数以及所述高频能量增益，构建所述第一音频帧的高频信号。

正交镜像滤波器804，用于根据所述第一音频帧的高频信号和所述低频信号，生成所述第一音频帧的音频信号。

基于同一发明构思，作为对上述方法的实现，本公开实施例还提供了一种音频信号的处理装置，该实施例与前述方法实施例对应，为便于阅读，本实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的音频信号的处理装置能够对应实现前述方法实施例中的全部内容。

基于同一构思，本公开实施例提供了一种音频信号的处理装置，图9该音频信号的编码装置的结构示意图，参照图9所示，该音频信号的处理装置900包括：

确定单元901，用于确定第一音频帧的编码数据是否丢失；

获取单元902，用于当确定所述第一音频帧的编码数据丢失时，获取第一低频残差信号，所述第一低频残差信号为第二音频帧的低频残差信号，所述第二音频帧为最近一次正常接收到的编码数据所属的音频帧；

处理单元903，用于根据所述第一低频残差信号生成第二低频残差信号；所述第二低频残差信号的各个采样点的幅度值均属于目标幅度值集合，所述目标幅度值集合为所述第一低频残差信号的各个采样点的幅度值组成的集合；

构建单元904，用于根据所述第二低频残差信号，构建所述第一音频帧的高频信号。

作为本公开实施例一种可选的实施方式，所述获取单元902，还用于获取第一增益值，所述第一增益值为所述第二音频帧的高频增益值；通过第一衰减系数对所述第一增益值进行衰减，以获取第二增益值；所述根据所述第二低频残差信号构建所述第一音频帧的高频信号，包括：根据所述第二低频残差信号和所述第二增益值获取所述第一音频帧的高频信号。

作为本公开实施例一种可选的实施方式，所述获取单元902，还用于获取第一线性预测系数，所述第一线性预测系数为所述第二音频帧的线性预测系数；所述根据所述第二低频残差信号和所述第二增益值获取所述第一音频帧的高频信号，包括：根据所述第二低频残差信号、所述第二增益值以及所述第一线性预测系数，构建所述第一音频帧的高频信号。

作为本公开实施例一种可选的实施方式，所述处理单元903，具体用于针对所述第二低频残差信号的各个采样点，随机从所述目标幅度值集合中获取一个幅度值作为所述采样点的幅度值，以生成所述第二低频残差信号。

作为本公开实施例一种可选的实施方式，所述获取单元902，还用于获取所述第一音频帧的类型和第一连续丢包次数，所述第一连续丢包次数为连续丢失编码数据的音频帧的数量；根据所述第一音频帧的类型和所述第一连续丢包次数获取所述第一衰减系数。

作为本公开实施例一种可选的实施方式，所述处理单元903，还用于判断所述第一连续丢包次数是否大于第一阈值次数；若是，则将所述第一衰减系数确定为第一预设值；若否，则根据所述第一音频帧的类型获取所述第一衰减系数。

作为本公开实施例一种可选的实施方式，所述处理单元903，还用于当所述第一音频帧的类型为浊音时，将所述第一衰减系数确定为第二预设值；当所述第一音频帧的类型不为浊音时，将所述第一衰减系数确定为第三预设值。

作为本公开实施例一种可选的实施方式，所述处理单元903，还用于生成所述第一音频帧的低频信号；根据所述第一音频帧的高频信号和所述第一音频帧的低频信号，生成所述第一音频帧的音频信号。

作为本公开实施例一种可选的实施方式，参照图10所示，所述音频处理装置900还包括：

所述确定单元901，还用于在所述第一音频帧的编码数据未丢失的情况下，判断第三音频帧的编码数据是否丢失，所述第三音频帧为所述第一音频帧的上一个音频帧；

所述获取单元还包括：

增益值获取模块9031，用于在所述第三音频帧的编码数据丢失的情况下，根据所述第二衰减系数和第三增益值获取第四增益值，所述第三增益值为根据所述编码数据获取的所述第一音频帧的高频增益值；

所述构建单元904，还用于根据所述第四增益值构建所述第一音频帧的高频信号。

作为本公开实施例一种可选的实施方式，在根据第二衰减系数和第三增益值获取第四增益值之前，所述获取单元还用于获取第二连续丢包次数；所述第二连续丢包次数为连续丢失编码数据的音频帧的数量；根据所述第二连续丢包次数获取第二衰减系数。

作为本公开实施例一种可选的实施方式，所述获取单元还用于判断所述第二连续丢包次数是否大于第二阈值次数；若是，则将所述第二衰减系数确定为第四预设值；若否，则将所述第二衰减系数确定为第五预设值。

作为本公开实施例一种可选的实施方式，所述构建单元904，还用于根据第三低频残差信号和所述第四增益值获取第二高频残差信号；所述第三低频残差信号为根据所述编码数据获取的所述第一音频帧的低频残差信号；根据所述第二高频残差信号和第二线性预测系数生成所述第一音频帧的高频信号，所述第二线性预测系数为根据所述编码数据获取的所述第一音频帧的线性预测系数。

本公开实施例提供的音频信号的处理装置可以执行上述方法实施例提供的音频信号的处理方法，其实现原理与技术效果类似，此处不再赘述。

基于同一发明构思，本公开实施例还提供了一种电子设备。图11为本公开实施例提供的电子设备的结构示意图，如图11所示，本实施例提供的电子设备包括：存储器1101和处理器1102，所述存储器1101用于存储计算机程序；所述处理器1102用于在执行计算机程序时执行上述实施例提供的音频信号的处理方法。

基于同一发明构思，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当计算机程序被处理器执行时，使得所述计算设备实现上述实施例提供的音频信号的处理方法。

基于同一发明构思，本公开实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算设备实现上述实施例提供的音频信号的处理方法。

本领域技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。

处理器可以是中央渲染单元103(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动存储介质。存储介质可以由任何方法或技术来实现信息存储，信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。根据本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims (17)

1.一种音频信号的处理方法，其特征在于，包括：

确定第一音频帧的编码数据是否丢失；

当确定所述第一音频帧的编码数据丢失时，获取第一低频残差信号，所述第一低频残差信号为第二音频帧的低频残差信号，所述第二音频帧为最近一次正常接收到的编码数据所属的音频帧；

根据所述第一低频残差信号生成第二低频残差信号；所述第二低频残差信号的各个采样点的幅度值均属于目标幅度值集合，所述目标幅度值集合为所述第一低频残差信号的各个采样点的幅度值组成的集合；

根据所述第二低频残差信号构建所述第一音频帧的高频信号。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取第一增益值，所述第一增益值为所述第二音频帧的高频增益值；

通过第一衰减系数对所述第一增益值进行衰减，以获取第二增益值；

所述根据所述第二低频残差信号构建所述第一音频帧的高频信号，包括：

根据所述第二低频残差信号和所述第二增益值获取所述第一音频帧的高频信号。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取第一线性预测系数，所述第一线性预测系数为所述第二音频帧的线性预测系数；

所述根据所述第二低频残差信号和所述第二增益值获取所述第一音频帧的高频信号，包括：

根据所述第二低频残差信号、所述第二增益值以及所述第一线性预测系数，构建所述第一音频帧的高频信号。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第一低频残差信号生成第二低频残差信号，包括：

针对所述第二低频残差信号的各个采样点，随机从所述目标幅度值集合中获取一个幅度值作为所述采样点的幅度值，以生成所述第二低频残差信号。

5.根据权利要求2所述的方法，其特征在于，在根据所述第一增益值和第一衰减系数获取第二增益值之前，所述方法还包括：

获取所述第一音频帧的类型和第一连续丢包次数，所述第一连续丢包次数为连续丢失编码数据的音频帧的数量；

根据所述第一音频帧的类型和所述第一连续丢包次数获取所述第一衰减系数。

6.根据权利要求5所述的方法，其特征在于，所述根据所述第一音频帧的类型和所述第一连续丢包次数获取所述第一衰减系数，包括：

判断所述第一连续丢包次数是否大于第一阈值次数；

若是，则将所述第一衰减系数确定为第一预设值；

若否，则根据所述第一音频帧的类型获取所述第一衰减系数。

7.根据权利要求6所述的方法，其特征在于，所述根据所述第一音频帧的类型获取所述第一衰减系数，包括：

当所述第一音频帧的类型为浊音时，将所述第一衰减系数确定为第二预设值；

当所述第一音频帧的类型不为浊音时，将所述第一衰减系数确定为第三预设值。

8.根据权利要求3所述的方法，其特征在于，所述根据所述第二低频残差信号、所述第一线性预测系数以及所述第二增益值，构建所述第一音频帧的高频信号，包括：

根据所述第二低频残差信号和所述第二增益值获取第一高频残差信号；

根据所述第一高频残差信号和所述第一线性预测系数生成所述第一音频帧的高频信号。

9.根据权利要求1-8任一项所述的方法，其特征在于，所述方法还包括：

生成所述第一音频帧的低频信号；

根据所述第一音频帧的高频信号和所述第一音频帧的低频信号，生成所述第一音频帧的音频信号。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述第一音频帧的编码数据未丢失，则判断第三音频帧的编码数据是否丢失，所述第三音频帧为所述第一音频帧的上一个音频帧；

若所述第三音频帧的编码数据丢失，则根据第二衰减系数和第三增益值获取第四增益值，所述第三增益值为根据所述编码数据获取的所述第一音频帧的高频增益值；

根据所述第四增益值构建所述第一音频帧的高频信号。

11.根据权利要求10所述的方法，其特征在于，在根据第二衰减系数和第三增益值获取第四增益值之前，所述方法还包括：

获取第二连续丢包次数；所述第二连续丢包次数为连续丢失编码数据的音频帧的数量；

根据所述第二连续丢包次数获取第二衰减系数。

12.根据权利要求11所述的方法，其特征在于，所述根据所述第二连续丢包次数获取第二衰减系数，包括：

判断所述第二连续丢包次数是否大于第二阈值次数；

若是，则将所述第二衰减系数确定为第四预设值；

若否，则将所述第二衰减系数确定为第五预设值。

13.根据权利要求10所述的方法，其特征在于，所述根据所述第四增益值构建所述第一音频帧的高频信号，包括：

根据第三低频残差信号和所述第四增益值获取第二高频残差信号；所述第三低频残差信号为根据所述编码数据获取的所述第一音频帧的低频残差信号；

根据所述第二高频残差信号和第二线性预测系数生成所述第一音频帧的高频信号，所述第二线性预测系数为根据所述编码数据获取的所述第一音频帧的线性预测系数。

14.一种音频信号的处理装置，其特征在于，包括：

确定单元，用于确定第一音频帧的编码数据是否丢失；

获取单元，当确定所述第一音频帧的编码数据丢失时，获取第一低频残差信号，所述第一低频残差信号为第二音频帧的低频残差信号，所述第二音频帧为最近一次正常接收到的编码数据所属的音频帧；

处理单元，用于根据所述第一低频残差信号生成第二低频残差信号；所述第二低频残差信号的各个采样点的幅度值均属于目标幅度值集合，所述目标幅度值集合为所述第一低频残差信号的各个采样点的幅度值组成的集合；

构建单元、根据所述第二低频残差信号，构建所述第一音频帧的高频信号。

15.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在执行计算机程序时，使得所述电子设备实现权利要求1-13任一项所述的音频信号的处理方法。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序被计算设备执行时，使得所述计算设备实现权利要求1-13任一项所述的音频信号的处理方法。

17.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机实现如权利要求1-13任一项所述的音频信号的处理方法。