CN109524015B - 音频编码方法、解码方法、装置及音频编解码系统 - Google Patents

Abstract

本发明公开了一种音频编码方法、解码方法、装置及音频编解码系统，属于音频技术领域。所述方法包括：获取n个连续的音频帧中的第i个音频帧，对所述第i个音频帧进行编码得到第i个编码数据，将所述第i个编码数据进行缓存得到第i个冗余数据，i为正整数，n为正整数，1≤i≤n；将所述第i个编码数据和所述第i个冗余数据之前的至多m个冗余数据打包为第i个音频数据包，其中，m为预设正整数。本发明降低了音频数据包丢失时造成的时延。

Description

音频编码方法、解码方法、装置及音频编解码系统

技术领域

本申请实施例涉及音频技术领域，特别涉及一种音频编码方法、解码方法、装置及音频编解码系统。

背景技术

为了减小音频数据在传输时的数据量，发送端对音频源数据进行编码压缩得到压缩数据，将压缩数据发送给接收端，接收端对接收到的压缩数据进行解码得到音频源数据。

音频源数据由连续的音频帧组成，音频帧是20ms或40ms的音频数据，依次将音频帧编码压缩后得到压缩数据包。在网络较差的情况下，压缩数据包在传输过程中可能会丢失部分数据包，则接收端接收到的音频数据中部分音频帧会丢失，导致播放出的声音不连续或卡顿。为了解决数据包丢失的问题，相关技术中，发送端在一组压缩数据包(对应音频帧D1、音频帧D2、音频帧D3)发送之后，会发送一个冗余数据包(F)，冗余数据包用于恢复这组压缩数据包中丢失的音频帧，比如：音频帧D1对应的压缩数据包丢失，接收端继续接收压缩数据包(对应音频帧D2)、压缩数据包(对应音频帧D3)和冗余数据包(F)，当冗余数据包(F)到达后，根据丢失的音频帧D1对应的时间戳到冗余数据包(F)中查找对应的数据，对丢失的音频帧D1进行恢复。

由于压缩数据包在丢失之后，接收端需要等待冗余数据包到达后才能进行恢复解码，假设一个音频帧为20ms，在音频帧D1丢失的情况下，需要等待60ms才能利用冗余数据包对音频帧D1进行恢复，从而导致较大的时延。

发明内容

为了解决压缩数据包在丢失之后，接收端需要等待冗余数据包达到之后才能进行恢复解码，从而导致较大的时延的问题，本发明实施例提供了一种音频编码方法、解码方法、装置及音频编解码系统。所述技术方案如下：

第一方面，提供了一种音频编码方法，所述方法包括：

获取n个连续的音频帧中的第i个音频帧，对所述第i个音频帧进行编码得到第i个编码数据，将所述第i个编码数据进行缓存得到第i个冗余数据，i为正整数，n为正整数，1≤i≤n；

将所述第i个编码数据和所述第i个冗余数据之前的至多m个冗余数据打包为第i个音频数据包，其中，m为预设正整数。

可选的，所述将所述第i个编码数据和所述第i个冗余数据之前的至多m个冗余数据打包为第i个音频数据包，包括：

当i＝1时，将第1个编码数据打包为第1个音频数据包；和/或

当1＜i≤m时，将所述第i个编码数据和已缓存的第i个冗余数据之前的i-1个冗余数据打包为第i个音频数据包；和/或

当m＜i≤n时，将所述第i个编码数据和已缓存的第i-m个冗余数据至第i-1个冗余数据打包为第i个音频数据包。

可选的，所述方法还包括：

接收所述接收端发送的丢包率；

根据所述丢包率确定所述m的取值，所述m的取值与所述丢包率呈正相关。

可选的，所述方法还包括：

接收所述接收端发送的丢包率；

在对当前音频数据包打包后，根据所述丢包率，调整对后续音频帧进行编码时的采样率和/或压缩率，其中，所述采样率与所述丢包率呈正相关，所述压缩率与所述丢包率呈负相关。

可选的，所述对所述第i个音频帧进行编码得到第i个编码数据，将所述第i个编码数据进行缓存得到第i个冗余数据，包括：

通过第一编码方式对所述第i个音频帧进行编码得到第i个第一编码数据；

通过第二编码方式对所述第i个音频帧进行编码得到第i个第二编码数据，并将所述第i个第二编码数据进行缓存，作为第i个冗余数据。

可选的，所述方法还包括：

接收所述接收端发送的丢包率；

根据所述丢包率确定所述第二编码方式。

可选的，所述获取n个连续的音频帧中的第i个音频帧之前，还包括：

对声音信号进行信号采集得到音频源数据，所述音频源数据包括n个连续的音频帧。

第二方面，提供了一种音频解码方法，所述方法包括：

接收当前音频数据包；

在判断出所述当前音频数据包中的当前编码数据之前存在丢失的编码数据时，从所述当前音频数据包中的冗余数据中选取目标冗余数据，所述目标冗余数据对应的音频帧和所述丢失的编码数据对应的音频帧相同；

对所述目标冗余数据和所述当前编码数据进行解码。

可选的，判断所述当前编码数据之前存在丢失的编码数据的过程，包括：

在所述当前编码数据的时间戳与已接收到的编码数据的时间戳不连续时，确定所述当前编码数据之前存在所述丢失的编码数据。

可选的，所述从所述当前音频数据包中的冗余数据中选取目标冗余数据，包括：

根据所述当前音频数据包中的冗余数据的时间戳，选取与所述已接收到的编码数据的时间戳不重复的冗余数据作为所述目标冗余数据。

可选的，所述对所述目标冗余数据和所述当前编码数据进行解码，包括：

根据所述目标冗余数据的时间戳和所述当前编码数据的时间戳，对所述目标冗余数据和所述当前编码数据进行排序，其中，所述目标冗余数据的数量为w，w为正整数；

按照时间戳由小到大的顺序对所述目标冗余数据和所述当前编码数据依次进行解码，得到w+1个音频帧。

可选的，所述发送端在对当前音频帧进行编码时的编码方式包括第一编码方式和第二编码方式，其中，所述第一编码方式用于对所述当前音频帧进行编码得到所述当前编码数据；所述第二编码方式用于对所述当前音频帧进行编码得到当前冗余数据；

所述方法还包括：

每隔预定时长统计当前的丢包率；

将所述当前的丢包率发送给所述发送端，

所述丢包率用于确定下述参数中的至少一种：

在所述当前音频数据包中添加的冗余数据的最大个数m的取值、编码时的采样率、编码时的压缩率、所述第二编码方式；所述m的取值与所述丢包率呈正相关；所述采样率与所述丢包率呈正相关，所述压缩率与所述丢包率呈负相关。

第三方面，提供了一种音频编码装置，所述装置包括：

编码模块，用于获取n个连续的音频帧中的第i个音频帧，对所述第i个音频帧进行编码得到第i个编码数据，将所述第i个编码数据进行缓存得到第i个冗余数据，i为正整数，n为正整数，1≤i≤n；

打包模块，用于将所述编码模块得到的所述第i个编码数据和所述第i个冗余数据之前的至多m个冗余数据打包为第i个音频数据包，其中，m为预设正整数。

可选的，所述打包模块，包括：

第一打包单元，用于当i＝1时，将第1个编码数据打包为第1个音频数据包；

第二打包单元，用于当1＜i≤m时，将所述第i个编码数据和已缓存的第i个冗余数据之前的i-1个冗余数据打包为第i个音频数据包；

第三打包单元，用于当m＜i≤n时，将所述第i个编码数据和已缓存的第i-m个冗余数据至第i-1个冗余数据打包为第i个音频数据包。

可选的，所述装置还包括：

第一接收模块，用于接收所述接收端发送的丢包率；

第一确定模块，用于根据所述第一接收模块接收到的所述丢包率确定所述m的取值，所述m的取值与所述丢包率呈正相关。

可选的，所述装置还包括：

第二接收模块，用于接收所述接收端发送的丢包率；

调整模块，用于在对当前音频数据包打包后，根据所述第二接收模块接收到的所述丢包率，调整对后续音频帧进行编码时的采样率和/或压缩率，其中，所述采样率与所述丢包率呈正相关，所述压缩率与所述丢包率呈负相关。

可选的，所述编码模块，包括：

第一编码单元，用于通过第一编码方式对所述第i个音频帧进行编码得到第i个第一编码数据；

第二编码单元，用于通过第二编码方式对所述第i个音频帧进行编码得到第i个第二编码数据；

缓存单元，用于将所述第二编码单元得到的所述第i个第二编码数据进行缓存，作为第i个冗余数据。

可选的，所述装置还包括：

第三接收模块，用于接收所述接收端发送的丢包率；

第二确定模块，用于根据所述第三接收模块接收到的所述丢包率确定所述第二编码方式。

可选的，所述装置还包括：

采集模块，用于对声音信号进行信号采集得到音频源数据，所述音频源数据包括n个连续的音频帧。

第四方面，提供了一种音频解码装置，所述装置包括：

接收模块，用于接收当前音频数据包；

选取模块，用于在判断模块判断出所述当前音频数据包中的当前编码数据之前存在丢失的编码数据时，从所述当前音频数据包中的冗余数据中选取目标冗余数据，所述目标冗余数据对应的音频帧和所述丢失的编码数据对应的音频帧相同；

解码模块，用于对所述目标冗余数据和所述当前编码数据进行解码。

可选的，所述判断模块，用于在所述当前编码数据的时间戳与已接收到的编码数据的时间戳不连续时，确定所述当前编码数据之前存在所述丢失的编码数据。

可选的，所述选取模块，用于根据所述当前音频数据包中的冗余数据的时间戳，选取与所述已接收到的编码数据的时间戳不重复的冗余数据作为所述目标冗余数据。

可选的，所述解码模块，包括：

排序单元，用于根据所述目标冗余数据的时间戳和所述当前编码数据的时间戳，对所述目标冗余数据和所述当前编码数据进行排序，其中，所述目标冗余数据的数量为w，w为正整数；

解码单元，用于按照时间戳由小到大的顺序对所述目标冗余数据和所述当前编码数据依次进行解码，得到w+1个音频帧。

可选的，所述发送端在对当前音频帧进行编码时的编码方式包括第一编码方式和第二编码方式，其中，所述第一编码方式用于对所述当前音频帧进行编码得到所述当前编码数据；所述第二编码方式用于对所述当前音频帧进行编码得到当前冗余数据；

所述装置还包括：

统计模块，用于每隔预定时长统计当前的丢包率；

发送模块，用于将所述当前的丢包率发送给所述发送端，

所述丢包率用于确定下述参数中的至少一种：

在所述当前音频数据包中添加的冗余数据的最大个数m的取值、编码时的采样率、编码时的压缩率、所述第二编码方式；所述m的取值与所述丢包率呈正相关；所述采样率与所述丢包率呈正相关，所述压缩率与所述丢包率呈负相关。

第五方面，提供了一种音频编解码系统，所述系统包括：音频编码装置和音频解码装置；

其中，所述音频编码装置是如第三方面所述的装置；

所述音频解码装置是如第四方面所述的装置。

第六方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如第一方面所述的音频编码方法。

第七方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如第二方面所述的音频解码方法。

本发明实施例提供的技术方案带来的有益效果是：

通过对第i个音频帧进行编码得到第i个编码数据，并将第i个编码数据缓存得到第i个冗余数据，在打包音频数据包时，将第i个编码数据与第i个冗余数据之前的至多m个冗余数据打包为第i个音频数据包后发送给接收端，从而使得接收端在第i个音频数据包丢失或第i个编码数据解码失败时，可以获取后一个音频数据包中与第i个编码数据对应的最后一个冗余数据，接收端通过对最后一个冗余数据解码得到第i个音频帧，由于当前帧的编码数据与前一帧或前几帧的冗余数据一起传输，从而使得在当前帧丢失的情况下，能够通过下一个音频数据包中的冗余数据尽快恢复丢失的音频帧，不需要等待一组压缩数据包之后的冗余数据包到达之后才能恢复，从而降低了音频数据包丢失时造成的时延。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据部分实施例示出的音频编码和音频解码所涉及的实施环境示意图；

图2是本发明一个实施例提供的音频编码方法的方法流程图；

图3是本发明另一个实施例提供的音频编码方法的方法流程图；

图4是本发明一个实施例提供的音频数据包的示意图；

图5是本发明一个实施例提供的音频数据编码的示意图；

图6是本发明一个实施例提供的音频解码方法的方法流程图；

图7是本发明一个实施例提供的音频数据传输的示意图；

图8是本发明一个实施例提供的音频编码装置的结构方框图；

图9是本发明一个实施例提供的音频解码装置的结构方框图；

图10是本发明一个实施例提供的音频编解码系统的结构方框图；

图11是本发明一个实施例提供的终端的结构方框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

为了便于对本发明各实施例的理解，首先对相关名词进行解释：

音频源数据：对声音信号对应的模拟信号进行采样、量化、编码转换得到的未经压缩的数字音频数据。音频源数据可以是脉冲编码调制(英文：Pulse Code Modulation，简称：PCM)数据。

采样率：每秒从连续的模拟信号中提取并组成离散信号的采样个数。

压缩率：音频数据编码压缩后的文件大小与压缩之前的文件大小之比。

图1是根据部分实施例示出的音频编码和音频解码所涉及的实施环境示意图。如图1所示，该实施环境主要包括发送端110、接收端120和通信网络130。

发送端110用于在接收或获取到声音信号后，对声音信号进行信号采集得到音频源数据，然后对音频源数据进行编码压缩，将编码压缩后的数据打包成音频数据包发送。

接收端120用于接收音频数据包，对音频数据包中编码压缩的数据进行解码，得到音频源数据后，可以将音频源数据送入声卡中播放。

通信网络130可以为有线通信网络，也可以是无线通信网络。本实施例中不对通信网络130的物理实现方式进行限定。

图2是本发明一个实施例提供的音频编码方法的方法流程图，该音频编码方法以应用在图1所示的发送端110中进行举例说明。如图2所示，该音频编码方法可以包括以下步骤：

步骤201，对声音信号进行信号采集得到音频源数据，音频源数据包括n个连续的音频帧，n为正整数。

对声音信号进行信号采集是指对声音信号对应的模拟信号进行采样、量化、编码，得到的数字音频数据是音频源数据。可选的，音频源数据是PCM数据。

音频帧是音频源数据的一部分，音频帧是对应预定时长的音频数据，预定时长通常为20ms或40ms。

步骤202，获取n个连续的音频帧中的第i个音频帧，对第i个音频帧进行编码得到第i个编码数据，将第i个编码数据进行缓存得到第i个冗余数据，i为正整数，1≤i≤n。

编码数据是对音频数据编码压缩后得到的数据，冗余数据是对音频数据编码压缩后缓存的数据。

可选的，编码数据与冗余数据采用相同的编码方式。在这种情况下，可以直接将第i个编码数据缓存作为第i个冗余数据，这样针对一个音频帧只需要编码一次。

在实际应用中，发送端在编码时采用的编码方式可以是高级音频编码(英文：Advanced Audio Coding，简称：AAC)。

可选的，编码数据与冗余数据采用不同的编码方式。

可选的，发送端在编码时采用的编码方式包括第一编码方式和第二编码方式，则步骤202可以替换成图3所示的步骤：

步骤202a，通过第一编码方式对第i个音频帧进行编码得到第i个编码数据。

例如，通过第一编码方式对第i个音频帧进行编码得到第i个第一编码数据，将第i个第一编码数据作为后续打包时的第i个编码数据。

在一个可选实施例中，第一编码方式在确定之后通常保持不变。

步骤202b，通过第二编码方式对第i个音频帧进行编码并缓存得到第i个冗余数据。

例如，通过第二编码方式对第i个音频帧进行编码得到第i个第二编码数据，并将第i个第二编码数据缓存，作为第i个冗余数据。在这种情况下，第i个第二编码数据可以和第i个冗余数据的内容一致。

可选的，第二编码方式选择与第一编码方式不同的编码方式。由于一种编码方式的编码参数的可调范围有限，采用多种不同的编码方式可以使得编码参数在调整时有更大的可调范围。

将通过第二编码方式编码得到的冗余数据进行缓存，将缓存的冗余数据作为后面的音频帧在打包时的冗余数据。

通过缓存编码后的数据，使得在对后面的音频帧打包时，能够直接获取已缓存的冗余数据，从而提高编码的效率。

步骤203，将第i个编码数据和第i个冗余数据之前的至多m个冗余数据打包为第i个音频数据包，其中，m为预设正整数。

在对第i个音频数据包打包时，将第i个音频帧编码得到的第i个编码数据与第i个冗余数据之前的冗余数据一起打包。

在一个可选实施例中，在对第i个音频数据包打包时，将第i个音频帧通过第一编码方式编码得到的第i个第一编码数据与第i个冗余数据之前的冗余数据一起打包。

可选的，步骤203可以被替换成图3中的步骤203a和/或步骤203b和/或步骤203c。

步骤203a，当i＝1时，将第1个编码数据打包为第1个音频数据包。

对于第一个音频帧，由于该音频帧之前没有其他音频帧，因此发送端对第一个音频帧编码得到第1个编码数据后，直接将第1个编码数据打包为第1个音频数据包，第1个音频数据包中没有其他音频帧对应的冗余数据。

步骤203b，当1＜i≤m时，将第i个编码数据和已缓存的第i个冗余数据之前的i-1个冗余数据打包为第i个音频数据包。

若i≤m，当前音频帧之前所有的音频帧的数量小于m，则对当前音频帧打包时，将当前音频帧之前的所有音频帧对应的冗余数据与当前音频帧的编码数据一起打包为音频数据包，也就是说，发送端将第1个冗余数据至第i-1个冗余数据与当前音频帧的编码数据一起打包为音频数据包。

步骤203c，当m＜i≤n时，将第i个编码数据和已缓存的第i-m个冗余数据至第i-1个冗余数据打包为第i个音频数据包，m为正整数。

在对当前帧进行打包时，获取当前帧对应的冗余数据，当前帧对应的冗余数据是指当前帧的前m帧音频帧编码后缓存的数据。

由于一帧20ms的音频帧的数据大小通常较小，即使音频数据包中包括编码数据和冗余数据，音频数据包的大小通常不会超过网络的最大传输单元。

结合参考图4，其示例性地示出了音频数据包的格式，如图4所示，音频数据包10包括数据包头11、冗余数据12和编码数据13三部分。数据包头11定义了音频数据包11的参数，比如序号、时延、标识、时间戳等；冗余数据12包括冗余数据的定义参数和编码后的冗余数据块，冗余数据的定义参数包括编码方式、偏移值、冗余数据库长度等，偏移值是指冗余数据相对于编码数据的偏移，比如是编码数据对应的音频帧之前的第一帧音频帧，或者是编码数据对应的音频帧之前的第二帧音频帧；编码数据13包括编码数据的定义参数和编码后的编码数据块，编码数据的定义参数包括编码方式、时间戳等。

需要说明的是，若音频数据包10中包括的冗余数据12不止一个，则每一个冗余数据12分别包括该冗余数据的定义参数和该帧音频帧编码后的冗余数据块。

结合参考图5，其其示出了编码的示意图，如图5所示，对于每一帧音频帧，都经过编码和缓存的过程。示例性的，在对一个音频帧通过一种编码方式编码的情况下，第i个音频帧编码得到第i个编码数据，第i个编码数据缓存得到第i个冗余数据，第i+m-1个音频帧编码得到第i+m-1个编码数据，第i+m-1个编码数据缓存得到第i+m-1个冗余数据，第i+m个音频帧编码得到第i+m个编码数据，第i+m个编码数据缓存得到第i+m个冗余数据。在对第i+m个音频帧编码得到第i+m个编码数据之后，获取之前m个音频帧对应的冗余数据，即第i个冗余数据至第i+m-1个冗余数据，将第i个冗余数据至第i+m-1个冗余数据与第i+m个编码数据打包成第i+m个音频数据包。

需要说明的是，步骤203a至步骤203c是并列的三种情况，在实现时发送端针对音频帧的帧数与m之间的大小关系来确定所要执行的步骤。

举例说明，假设m取值为3，对于第1个音频帧，发送端对第1个音频帧进行编码得到第1个编码数据，并将第1个编码数据缓存得到第1个冗余数据，然后将第1个编码数据打包为第1个音频数据包；对于第2个音频帧，发送端对第2个音频帧进行编码得到第2个编码数据，并将第2个编码数据缓存得到第2个冗余数据，然后将第2个编码数据与第1个冗余数据打包为第2个音频数据包；对于第3个音频帧，发送端对第3个音频帧进行编码得到第3个编码数据，并将第3个编码数据缓存得到第3个冗余数据，然后将第3个编码数据与第1个冗余数据和第2个冗余数据打包为第3个音频数据包；对于第4个音频帧，发送端对第4个音频帧进行编码得到第4个编码数据，并将第4个编码数据进行缓存得到第4个冗余数据，然后将第4个编码数据与第1个冗余数据、第2个冗余数据和第3个冗余数据打包为第4个音频数据包；对于第5个音频帧，发送端对第5个音频帧进行编码得到第5个编码数据，并将第5个编码数据进行缓存得到第5个冗余数据，然后将第5个编码数据与第2个冗余数据、第3个冗余数据和第4个冗余数据打包为第5个音频数据包，后面的音频帧依次类推。

步骤204，将第i个音频数据包发送给接收端。

步骤205，接收接收端发送的丢包率。

丢包率是接收端在解码过程中统计的丢失或解码失败的音频数据包的数量占已接收的音频数据包的比值。

通常网络状况越差，丢包率越高。

发送端在编码过程中，可以接收接收端反馈的信息，并根据反馈的信息调整编码的相关参数，可选的，相关参数至少包括m的取值和编码参数(采样率和/或压缩率)，其中，对m的取值的调整请参见步骤206，对编码参数的调整请参见步骤207。

步骤206，根据丢包率确定m的取值，m的取值与丢包率呈正相关。

可选的，m的取值与冗余级别对应，冗余级别是指一级冗余、二级冗余、三级冗余等，丢包率越高，m的取值越大，冗余级别越高。

举例说明，当丢包率小于20％时，m＝1，使用一级冗余；当丢包率在20％至40％之间时，m＝2，使用二级冗余；当丢包率在40％至60％之间时，m＝3，使用三级冗余。

可选的，在实际应用中，当出现连续丢包时，接收端将连续丢包信息反馈给发送端，发送端根据连续丢包信息对冗余级别进行调整。比如：连续丢失3个音频数据包时，将m调整为4，使用四级冗余；连续丢失4个音频数据包时，将m调整为5，使用五级冗余。

由于当前帧的编码数据与前m个音频帧的冗余数据打包在一起传输，若出现连续丢包，则可能导致后面接收到的音频数据包中不包含之前传输的音频帧的冗余数据，则无法对丢失的音频帧进行恢复，因此需要将冗余数据对应的音频帧的数量增加，使得音频数据包的容错性更高，增加了数据可靠性。

步骤207，在对当前音频数据包打包后，根据丢包率，调整对后续音频帧进行编码时的采样率和/或压缩率，其中，采样率与丢包率呈正相关，压缩率与丢包率呈负相关。

可选的，发送端在编码时对应初始的编码参数，编码参数包括采样率和压缩率中的至少一种，采样率与丢包率呈正相关，压缩率与丢包率呈负相关。

丢包率越高，采样率越高，压缩率越低，从而使得编码后的数据在恢复时失真度较低。

可选的，在实际应用中，可以只调整采样率和压缩率中的一个，也可以同时对采样率和压缩率进行调整。

需要说明的是，步骤206与步骤207可以同时调整，也可以只调整其中一种，本发明实施例对此不进行限定。

可选的，当发送端编码时的编码方式包括第一编码方式和第二编码方式时，相关参数还包括第二编码方式，如图3所示，对于第二编码方式的调整请参见步骤208。

步骤208，根据丢包率确定第二编码方式。

举例说明，常见的编码方式包括G711U编码方式、AAC编码方式、opus编码方式等。其中，AAC编码方式的压缩率较高，G711U编码方式的压缩率较低，opus编码方式与AAC编码方式相比压缩率更高且更接近原始音频数据。

由于在音频数据包没有丢失的情况下，编码数据用于解码播放，而冗余数据不参与解码播放，因此主编码数据采用压缩率较低的G711U编码方式，从而使得接收端对音频解码的效率提高，且解码得到的音频帧的失真度较低，而冗余编码数据采用压缩率较高的AAC编码方式，使得冗余数据的数据量尽量缩小，从而减小音频数据包的大小，便于音频数据包的传输。

当丢包率较高时，表明冗余数据被用于解码的概率提高，则将第二编码方式调整为失真度较小的编码方式，比如：将AAC编码方式调整为opus编码方式。可选的，在实际应用中，可以设置一个丢包率阈值，当发送端接收到的丢包率达到丢包率阈值时，发送端对第二编码方式进行调整。

可选的，在实际应用中，若发送端使用一种编码方式，则启动一个编码器进行编码；若发送端使用多种编码方式，则启动多个编码器进行编码，每个编码器对应一种编码方式。

可选的，发送端与接收端之间可以通过会话描述协议(英文：SessionDescription Protocol，简称：SDP)协商支持的音频编解码能力，这里的音频编解码能力包括编码参数、编码方式和冗余级别中的至少一种，发送端根据接收端支持的音频编解码能力选择编码方式、编码参数或冗余级别。

需要说明的是，步骤206、步骤207和步骤208可以同时调整，也可以只调整其中一种，或者调整其中任意两种。另外，步骤205至步骤208可以在编码过程中的任意时刻执行，不限定在步骤204之后。

可选的，发送端在根据丢包率对m的取值、采样率、丢包率和第二编码方式的调整时，可以调整其中的任意一个、任意两个、任意三个或全部。

综上所述，本发明实施例提供的音频编码方法，通过对第i个音频帧进行编码得到第i个编码数据，并将第i个编码数据缓存得到第i个冗余数据，在打包音频数据包时，将第i个编码数据与第i个冗余数据之前的至多m个冗余数据打包为第i个音频数据包后发送给接收端，从而使得接收端在第i个音频数据包丢失或第i个编码数据解码失败时，可以获取后一个音频数据包中与第i个编码数据对应的最后一个冗余数据，接收端通过对最后一个冗余数据解码得到第i个音频帧，由于当前帧的编码数据与前一帧或前几帧的冗余数据一起传输，从而使得在当前帧丢失的情况下，能够通过下一个音频数据包中的冗余数据尽快恢复丢失的音频帧，不需要等待一组压缩数据包之后的冗余数据包到达之后才能恢复，从而降低了音频数据包丢失时造成的时延。

针对步骤205至步骤208，由于发送端在编码过程中接收发送端反馈的丢包率，并根据丢包率对编码时的m的取值或采样率或压缩率或所使用的第二编码方式进行调整，使得发送端能够根据音频数据包在网络传输中的实际传输情况对编码参数或编码方式进行自适应地调整。

图6是本发明一个实施例提供的音频解码方法的方法流程图，该音频解码方法以应用在图1所示的接收端120中进行举例说明。如图6所示，该音频解码方法可以包括以下步骤：

步骤301，接收当前音频数据包。

发送端向接收端依次发送音频数据包，接收端接收发送端发送的音频数据包。当前音频数据包是指接收端当前接收到的音频数据包，当前音频数据包可以是发送端发送的任意一个音频数据包。

在本发明实施例中，若当前音频数据包为发送端发送的第1个音频数据包，则该第1个音频数据包中包括第1个编码数据，该第1个编码数据是对第1个音频帧进行编码得到的。若当前音频数据包为发送端发送的第i(i＞1)个音频数据包，则该第i个编码数据包中包括第i个编码数据和至少一个冗余数据。具体来讲，假设发送端在一个音频数据包中添加的冗余数据的最大个数为m，m为预设正整数，则当1＜i≤m时，该第i个音频数据包中包括第i个编码数据和第i个冗余数据之前的i-1个冗余数据；当m＜i≤n时，该第i个音频数据包中包括第i个编码数据和第i-m个冗余数据至第i-1个冗余数据；其中，第i个冗余数据是对第i个音频帧编码得到的。

步骤302，在判断出当前音频数据包中的当前编码数据之前存在丢失的编码数据时，从当前音频数据包中的冗余数据中选取目标冗余数据，目标冗余数据对应的音频帧和丢失的编码数据对应的音频帧相同。

发送端在向接收端发送音频数据包的过程中，可能会出现音频数据包丢失的情况，导致接收端无法接收到某个或某些音频数据包。因此，接收端在接收到当前数据包之后，需要判断当前音频数据包中的当前编码数据之前是否存在丢失的编码数据。示例性的，上述判断过程包括如下几种可能的实现方式：

在一种可能的实现方式中，在当前编码数据的时间戳与已接收到的编码数据的时间戳不连续时，确定当前编码数据之前存在丢失的编码数据；

在没有出现丢包的情况下，接收端接收到的当前编码数据的时间戳与已接收到的编码数据的时间戳应当是连续的，例如已接收到的各个编码数据的时间戳依次为1、2、3，则下一个编码数据的时间戳应当是4。若接收端接收到的当前编码数据的时间戳为4，则确定当前编码数据之前不存在丢失的编码数据；若接收端接收到的当前编码数据的时间戳为5，则确定当前编码数据之前存在丢失的编码数据，也即时间戳为4的编码数据丢失。

在另一种可能的实现方式中，在当前音频数据包所包括的冗余数据中，存在时间戳与已接收到的编码数据的时间戳不重复的冗余数据时，确定当前编码数据之前存在丢失的编码数据。

在没有出现丢包的情况下，接收端接收到的当前音频数据包所包括的冗余数据中，各个冗余数据的时间戳均与已接收到的编码数据的时间戳重复，例如已接收到的各个编码数据的时间戳依次为1、2、3，假设每个音频数据包中最多携带2个冗余数据，则下一个音频数据包中应当携带时间戳为4的编码数据、时间戳为2的冗余数据以及时间戳为3的冗余数据。若接收端接收到的当前音频数据包中包括时间戳为4的编码数据、时间戳为2的冗余数据以及时间戳为3的冗余数据，则确定当前编码数据之前不存在丢失的编码数据；若接收端接收到的当前音频数据包中包括时间戳为5的编码数据、时间戳为3的冗余数据以及时间戳为4的冗余数据，由于时间戳4与已接收到的编码数据的时间戳不重复，则确定当前编码数据之前存在丢失的编码数据，也即时间戳为4的编码数据丢失。

另外，接收端可以根据帧率确定相邻两个编码数据(或者冗余数据)的时间戳的间隔，进而确定出两个编码数据(或者冗余数据)的时间戳是否连续。例如，若两个编码数据(或者冗余数据)的时间戳的差值等于上述间隔，则连续；若两个编码数据(或者冗余数据)的时间戳的差值不等于上述间隔，则不连续。

在判断出当前音频数据包中的当前编码数据之前存在丢失的编码数据时，接收端从当前音频数据包中的冗余数据中选取目标冗余数据，目标冗余数据对应的音频帧和丢失的编码数据对应的音频帧相同，也即，目标冗余数据对应的时间戳和丢失的编码数据对应的时间戳相同。

在一种可能的实施方式中，接收端根据当前音频数据包中的冗余数据的时间戳，选取与已接收到的编码数据的时间戳不重复的冗余数据作为目标冗余数据。仍然以上述例子为例，已接收到的各个编码数据的时间戳依次为1、2、3，若接收端接收到的当前音频数据包中包括时间戳为5的编码数据、时间戳为3的冗余数据以及时间戳为4的冗余数据，则接收端将时间戳为4的冗余数据作为目标冗余数据。目标冗余数据的数量可以是1个，也可以是多个，这由实际丢失的编码数据的数量决定。

步骤303，对目标冗余数据和当前编码数据进行解码。

可选地，接收端根据目标冗余数据的时间戳和当前编码数据的时间戳，对目标冗余数据和当前编码数据进行排序，其中，目标冗余数据的数量为w，w为正整数。而后，接收端按照时间戳由小到大的顺序对目标冗余数据和当前编码数据依次进行解码，得到w+1个音频帧。

例如，当前编码数据的时间戳为5，目标冗余数据的数量为2，其中一个目标冗余数据的时间戳为3，另一个目标冗余数据的时间戳为4，则接收端按照时间戳由小到大的顺序对上述数据进行排序，依次为时间戳为3的冗余数据、时间戳为4的冗余数据、时间戳为5的编码数据。之后，接收端按照时间戳由小到大的顺序对上述数据依次进行解码，得到3个音频帧。

通过上述方式，按照时间戳由小到大的顺序进行排序后解码，能够确保解码后得到的音频帧能够被准确播放。

可选的，本实施例提供的方法还包括以下步骤：

步骤304，每隔预定时长统计当前的丢包率。

接收端在解码过程中，每隔约定时长统计一次当前的丢包率，比如：每隔1秒统计一次当前丢失的数据包占已传输的数据包的数量的比值。

步骤305，将当前的丢包率发送给发送端。

接收端统计丢包率后，将丢包率实时发送给发送端，使得发送端能够根据丢包率对m的取值、编码时的采样率、编码时的压缩率和第二编码方式中的至少一种进行调整。

可选的，丢包率可以通过标准RTP控制协议(英文：RTP Control Protocol，简称：RTCP)由接收端发送给发送端。

可选的，若出现连续丢包的情况，接收端可以设置预定阈值，当连续丢包的数量达到预定阈值时，接收端向发送端发送连续丢包信息，发送端还可以根据连续丢包信息对m的取值、编码时的采样率、编码时的压缩率和第二编码方式中的至少一种进行调整。

需要说明的是，步骤304至步骤305可以在解码开始之后每隔预定时长执行一次，不限定在步骤303之后执行。

综上所述，本发明实施例提供的音频解码方法，通过在判断出当前音频数据包中的当前编码数据之前存在丢失的编码数据时，从当前音频数据包中的冗余数据中选取目标冗余数据，而后对目标冗余数据和当前编码数据进行解码，由于当前帧的编码数据与前一帧或前几帧的冗余数据一起传输，从而使得在当前帧丢失的情况下，能够通过下一个音频数据包中的冗余数据尽快恢复丢失的音频帧，不需要等待一组压缩数据包之后的冗余数据包到达之后才能恢复，从而降低了音频数据包丢失时造成的时延。

针对步骤304至步骤305，通过接收端每隔预定时长统计当前的丢包率，并将丢包率情况反馈给发送端，使得发送端能够根据丢包率对m的取值、编码时的采样率、编码时的压缩率和第二编码方式中的至少一种进行调整，从而使得发送端能够根据音频数据包在网络传输中的实际传输情况对编码参数或编码方式进行自适应地调整。

结合参考图7，其示例性地示出了音频数据传输的示意图，如图7所示，发送端110中的声音信号经过采集21、编码器22和冗余编码打包器23后，音频数据包通过网络传输给接收端120，接收端120中的音频数据包经过冗余编码解析器24、解码器25和播放26，最终将声音信号在接收端播放出来。

图8是本发明一个实施例提供的音频编码装置的结构方框图，该音频编码装置以应用在图1所示的发送端110中进行举例说明。如图8所示，该音频编码装置可以包括：编码模块410和打包模块420。

编码模块410，用于获取n个连续的音频帧中的第i个音频帧，对所述第i个音频帧进行编码得到第i个编码数据，将所述第i个编码数据进行缓存得到第i个冗余数据，i为正整数，n为正整数，1≤i≤n。

打包模块420，用于将所述编码模块得到的所述第i个编码数据和所述第i个冗余数据之前的至多m个冗余数据打包为第i个音频数据包，其中，m为预设正整数。

可选的，所述打包模块420，包括：

第一打包单元，用于当i＝1时，将第1个编码数据打包为第1个音频数据包；

第二打包单元，用于当1＜i≤m时，将所述第i个编码数据和已缓存的第i个冗余数据之前的i-1个冗余数据打包为第i个音频数据包；

第三打包单元，用于当m＜i≤n时，将所述第i个编码数据和已缓存的第i-m个冗余数据至第i-1个冗余数据打包为第i个音频数据包。

可选的，所述装置还包括：

第一接收模块，用于接收所述接收端发送的丢包率；

第一确定模块，用于根据所述第一接收模块接收到的所述丢包率确定所述m的取值，所述m的取值与所述丢包率呈正相关。

可选的，所述装置还包括：

第二接收模块，用于接收所述接收端发送的丢包率；

调整模块，用于在对当前音频数据包打包后，根据所述第二接收模块接收到的所述丢包率，调整对后续音频帧进行编码时的采样率和/或压缩率，其中，所述采样率与所述丢包率呈正相关，所述压缩率与所述丢包率呈负相关。

可选的，所述编码模块410，包括：

第一编码单元，用于通过第一编码方式对所述第i个音频帧进行编码得到第i个第一编码数据；

第二编码单元，用于通过第二编码方式对所述第i个音频帧进行编码得到第i个第二编码数据；

缓存单元，用于将所述第二编码单元得到的所述第i个第二编码数据进行缓存，作为第i个冗余数据。

可选的，所述装置还包括：

第三接收模块，用于接收所述接收端发送的丢包率；

第二确定模块，用于根据所述第三接收模块接收到的所述丢包率确定所述第二编码方式。

可选的，所述装置还包括：

采集模块，用于对声音信号进行信号采集得到音频源数据，所述音频源数据包括n个连续的音频帧。

综上所述，本发明实施例提供的音频编码装置，通过对第i个音频帧进行编码得到第i个编码数据，并将第i个编码数据缓存得到第i个冗余数据，在打包音频数据包时，将第i个编码数据与第i个冗余数据之前的至多m个冗余数据打包为第i个音频数据包后发送给接收端，从而使得接收端在第i个音频数据包丢失或第i个编码数据解码失败时，可以获取后一个音频数据包中与第i个编码数据对应的最后一个冗余数据，接收端通过对最后一个冗余数据解码得到第i个音频帧，由于当前帧的编码数据与前一帧或前几帧的冗余数据一起传输，从而使得在当前帧丢失的情况下，能够通过下一个音频数据包中的冗余数据尽快恢复丢失的音频帧，不需要等待一组压缩数据包之后的冗余数据包到达之后才能恢复，从而降低了音频数据包丢失时造成的时延。

由于发送端在编码过程中接收发送端反馈的丢包率，并根据丢包率对编码时的m的取值或采样率或压缩率或所使用的第二编码方式进行调整，使得发送端能够根据音频数据包在网络传输中的实际传输情况对编码参数或编码方式进行自适应地调整。

图9是本发明一个实施例提供的音频解码装置的结构方框图，该音频解码装置以应用在图1所示的接收端120中进行举例说明。如图9所示，该音频解码装置可以包括：接收模块510、判断模块520、选取模块530和解码模块540。

接收模块510，用于接收当前音频数据包。

判断模块520，用于判断所述当前音频数据包中的当前编码数据之前是否存在丢失的编码数据。

选取模块530，用于在判断模块520判断出所述当前音频数据包中的当前编码数据之前存在丢失的编码数据时，从所述当前音频数据包中的冗余数据中选取目标冗余数据，所述目标冗余数据对应的音频帧和所述丢失的编码数据对应的音频帧相同。

解码模块540，用于对所述目标冗余数据和所述当前编码数据进行解码。

可选的，所述判断模块520，用于在所述当前编码数据的时间戳与已接收到的编码数据的时间戳不连续时，确定所述当前编码数据之前存在所述丢失的编码数据。

可选的，所述选取模块530，用于根据所述当前音频数据包中的冗余数据的时间戳，选取与已接收到的编码数据的时间戳不重复的冗余数据作为所述目标冗余数据。

可选的，所述解码模块540，包括：

排序单元，用于根据所述目标冗余数据的时间戳和所述当前编码数据的时间戳，对所述目标冗余数据和所述当前编码数据进行排序，其中，所述目标冗余数据的数量为w，w为正整数；

解码单元，用于按照时间戳由小到大的顺序对所述目标冗余数据和所述当前编码数据依次进行解码，得到w+1个音频帧。

可选的，所述发送端在对当前音频帧进行编码时的编码方式包括第一编码方式和第二编码方式，其中，所述第一编码方式用于对所述当前音频帧进行编码得到所述当前编码数据；所述第二编码方式用于对所述当前音频帧进行编码得到当前冗余数据；

所述装置还包括：

统计模块，用于每隔预定时长统计当前的丢包率；

发送模块，用于将所述当前的丢包率发送给所述发送端，

所述丢包率用于确定下述参数中的至少一种：

在所述当前音频数据包中添加的冗余数据的最大个数m的取值、编码时的采样率、编码时的压缩率、所述第二编码方式；所述m的取值与所述丢包率呈正相关；所述采样率与所述丢包率呈正相关，所述压缩率与所述丢包率呈负相关。

综上所述，本发明实施例提供的音频解码装置，通过在判断出当前音频数据包中的当前编码数据之前存在丢失的编码数据时，从当前音频数据包中的冗余数据中选取目标冗余数据，而后对目标冗余数据和当前编码数据进行解码，由于当前帧的编码数据与前一帧或前几帧的冗余数据一起传输，从而使得在当前帧丢失的情况下，能够通过下一个音频数据包中的冗余数据尽快恢复丢失的音频帧，不需要等待一组压缩数据包之后的冗余数据包到达之后才能恢复，从而降低了音频数据包丢失时造成的时延。

通过接收端每隔预定时长统计当前的丢包率，并将丢包率情况反馈给发送端，使得发送端能够根据丢包率对m的取值、编码时的采样率、编码时的压缩率和第二编码方式中的至少一种进行调整，从而使得发送端能够根据音频数据包在网络传输中的实际传输情况对编码参数或编码方式进行自适应地调整。

图10是本发明一个实施例提供的音频编解码系统的结构方框图，该音频编解码系统600包括音频编码装置610和音频解码装置620。

其中，音频编码装置610如上图8所示实施例提供的音频编码装置，音频解码装置620如上图9所示实施例提供的音频解码装置。

上述音频编码装置610可以是编码器或者具有编码器的发送端设备，音频解码装置可以是解码器或者具有解码器的接收端设备。

需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

在示例性实施例中，还提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令，该至少一条指令由处理器加载并执行以实现如图2或图3所描述的音频编码方法。

在示例性实施例中，还提供了一种计算机可读存储介质，该存储介质中存储有至少一条指令，该至少一条指令由处理器加载并执行以实现如图6所描述的音频解码方法。

在示例性实施例中，还提供了一种计算机设备，该计算机设备包括处理器和存储器，存储器中存储有至少一条指令，该至少一条指令由处理器加载并执行以实现如图2或图3所描述的音频编码方法。

在示例性实施例中，还提供了一种计算机设备，该计算机设备包括处理器和存储器，存储器中存储有至少一条指令，该至少一条指令由处理器加载并执行以实现如图6所描述的音频解码方法。

请参见图11所示，其示出了本发明部分实施例中提供的终端的结构方框图。该终端700可以是图1所示的发送端110，也可以是图1所示的接收端120，该终端700用于实施上述实施例提供的音频编码方法或音频解码方法。本发明中的终端700可以包括一个或多个如下组成部分：用于执行计算机程序指令以完成各种流程和方法的处理器，用于信息和存储程序指令随机接入存储器(英文：random access memory，简称：RAM)和只读存储器(英文：read-only memory，简称：ROM)，用于存储数据和信息的存储器，I/O设备，界面，天线等。具体来讲：

终端700可以包括射频(英文：Radio Frequency，简称：RF)电路710、存储器720、输入单元730、显示单元740、传感器750、音频电路760、无线保真(英文：wireless fidelity，简称：WiFi)模块770、处理器780、电源782、摄像头790等部件。本领域技术人员可以理解，图11中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图11对终端700的各个构成部件进行具体的介绍：

RF电路710可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器780处理；另外，将设计上行的数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(英文：Low NoiseAmplifier，简称：LNA)、双工器等。此外，RF电路710还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(英文：Global System of Mobile communication，简称GSM)、通用分组无线服务(英文：General Packet Radio Service，简称：GPRS)、码分多址(英文：Code Division MultipleAccess，简称：CDMA)、宽带码分多址(英文：Wideband Code Division Multiple Access，简称：WCDMA)、长期演进(英文：Long Term Evolution，简称：LTE)、电子邮件、短消息服务(英文：Short Messaging Service，简称：SMS)等。

存储器720可用于存储软件程序以及模块，处理器780通过运行存储在存储器720的软件程序以及模块，从而执行终端700的各种功能应用以及数据处理。存储器720可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端700的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器720可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元730可用于接收输入的数字或字符信息，以及产生与终端700的用户设置以及功能控制有关的键信号输入。具体地，输入单元730可包括触控面板731以及其他输入设备732。触控面板731，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板731上或在触控面板731附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板731可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器780，并能接收处理器780发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板731。除了触控面板731，输入单元730还可以包括其他输入设备732。具体地，其他输入设备732可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元740可用于显示由用户输入的信息或提供给用户的信息以及终端700的各种菜单。显示单元740可包括显示面板741，可选的，可以采用液晶显示器(英文：LiquidCrystal Display，简称：LCD)、有机发光二极管(英文：Organic Light-Emitting Diode，简称：OLED)等形式来配置显示面板741。进一步的，触控面板731可覆盖显示面板741，当触控面板731检测到在其上或附近的触摸操作后，传送给处理器780以确定触摸事件的类型，随后处理器780根据触摸事件的类型在显示面板741上提供相应的视觉输出。虽然在图11中，触控面板731与显示面板741是作为两个独立的部件来实现终端700的输入和输入功能，但是在某些实施例中，可以将触控面板731与显示面板741集成而实现终端700的输入和输出功能。

终端700还可包括至少一种传感器750，比如陀螺仪传感器、磁感应传感器、光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板741的亮度，接近传感器可在终端700移动到耳边时，关闭显示面板741和/或背光。作为运动传感器的一种，加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端700还可配置的气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路760、扬声器761，传声器762可提供用户与终端700之间的音频接口。音频电路760可将接收到的音频数据转换后的电信号，传输到扬声器761，由扬声器761转换为声音信号输出；另一方面，传声器762将收集的声音信号转换为电信号，由音频电路760接收后转换为音频数据，再将音频数据输出处理器780处理后，经RF电路710以发送给比如另一终端，或者将音频数据输出至存储器720以便进一步处理。

WiFi属于短距离无线传输技术，终端700通过WiFi模块770可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图11示出了WiFi模块770，但是可以理解的是，其并不属于终端700的必须构成，完全可以根据需要在不改变公开的本质的范围内而省略。

处理器780是终端700的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器720内的软件程序和/或模块，以及调用存储在存储器720内的数据，执行终端700的各种功能和处理数据，从而对终端进行整体监控。可选的，处理器780可包括一个或多个处理单元；优选的，处理器780可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器780中。

终端700还包括给各个部件供电的电源782(比如电池)，优选的，电源可以通过电源管理系统与处理器780逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

摄像头790一般由镜头、图像传感器、接口、数字信号处理器、中央处理单元(英文：Central Processing Unit，简称：CPU)、显示屏幕等组成。其中，镜头固定在图像传感器的上方，可以通过手动调节镜头来改变聚焦；图像传感器相当于传统相机的“胶卷”，是摄像头采集图像的心脏；接口用于把摄像头利用排线、板对板连接器、弹簧式连接方式与终端主板连接，将采集的图像发送给所述存储器720；数字信号处理器通过数学运算对采集的图像进行处理，将采集的模拟图像转换为数字图像并通过接口发送给存储器720。

尽管未示出，终端700还可以包括蓝牙模块等，在此不再赘述。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的示例性实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (21)

1.一种音频编码方法，其特征在于，所述方法包括：

获取n个连续的音频帧中的第i个音频帧，通过第一编码方式对所述第i个音频帧进行编码得到第i个第一编码数据，通过第二编码方式对所述第i个音频帧进行编码得到第i个第二编码数据，并将所述第i个第二编码数据进行缓存，作为第i个冗余数据，i为正整数，n为正整数，1≤i≤n，所述第i个冗余数据包括所述第i个冗余数据的定义参数和编码后的冗余数据块，所述第i个冗余数据的定义参数至少包括编码方式、偏移值和冗余数据库长度，所述偏移值是指第i个冗余数据相对于第i个编码数据的偏移，所述第一编码方式和所述第二编码方式的采样率和压缩率中的至少一种不同；

将所述第i个编码数据和所述第i个冗余数据之前的至多m个冗余数据打包为第i个音频数据包，其中，m为预设正整数;

其中，所述方法还包括：

接收接收端发送的丢包率，所述丢包率用于对m的取值、对后续音频帧进行编码时的采样率、压缩率和所述第二编码方式进行调整；

根据所述丢包率确定冗余级别，并根据所述冗余级别确定所述m的取值，所述m的取值分别与所述丢包率和所述冗余级别呈正相关；在对当前音频数据包打包后，根据所述丢包率，调整对后续音频帧进行编码时的采样率和压缩率，其中，所述采样率与所述丢包率呈正相关，所述压缩率与所述丢包率呈负相关；

当所述丢包率大于或等于丢包率阈值时，调整所述第二编码方式，且调整后的第二编码方式的失真度小于调整之前的第二编码方式的失真度。

2.根据权利要求1所述的方法，其特征在于，所述将所述第i个编码数据和所述第i个冗余数据之前的至多m个冗余数据打包为第i个音频数据包，包括：

当i=1时，将第1个编码数据打包为第1个音频数据包；和/或

当1＜i≤m时，将所述第i个编码数据和已缓存的第i个冗余数据之前的i-1个冗余数据打包为第i个音频数据包；和/或

当m＜i≤n时，将所述第i个编码数据和已缓存的第i-m个冗余数据至第i-1个冗余数据打包为第i个音频数据包。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收所述接收端发送的丢包率；

根据所述丢包率确定所述第二编码方式。

4.根据权利要求1至3任一所述的方法，其特征在于，所述获取n个连续的音频帧中的第i个音频帧之前，还包括：

对声音信号进行信号采集得到音频源数据，所述音频源数据包括n个连续的音频帧。

5.一种音频解码方法，其特征在于，所述方法包括：

接收当前音频数据包；

在判断出所述当前音频数据包中的当前编码数据之前存在丢失的编码数据时，从所述当前音频数据包中的冗余数据中选取目标冗余数据，所述目标冗余数据对应的音频帧和所述丢失的编码数据对应的音频帧相同，其中所述当前编码数据是发送端通过第一编码方式对当前音频帧编码得到的，所述冗余数据是所述发送端通过第二编码方式对所述当前音频帧之前的至多m个音频帧编码后缓存得到的，所述第一编码方式和所述第二编码方式的采样率和/或压缩率中的至少一种不同，所述目标冗余数据包括所述目标表冗余数据的定义参数和编码后的冗余数据块，所述目标冗余数据的定义参数至少包括编码方式、偏移值和冗余数据库长度，所述偏移值是指所述目标冗余数据相对于对应的编码数据的偏移，所述当前音频数据包中的冗余数据的最大个数为m，所述m的取值为根据丢包率确定冗余级别后，根据所述冗余级别确定得到，且所述m的取值分别与所述丢包率和所述冗余级别呈正相关，所述丢包率还用于指示发送端在对所述当前音频数据包打包后，根据所述丢包率，调整对后续音频帧进行编码时的采样率和压缩率，其中，所述采样率与所述丢包率呈正相关，所述压缩率与所述丢包率呈负相关，当所述丢包率大于或等于丢包率阈值时，调整所述第二编码方式，且调整后的第二编码方式的失真度小于调整之前的第二编码方式的失真度；

对所述目标冗余数据和所述当前编码数据进行解码。

6.根据权利要求5所述的方法，其特征在于，判断所述当前编码数据之前存在丢失的编码数据的过程，包括：

在所述当前编码数据的时间戳与已接收到的编码数据的时间戳不连续时，确定所述当前编码数据之前存在所述丢失的编码数据。

7.根据权利要求5或6所述的方法，其特征在于，所述从所述当前音频数据包中的冗余数据中选取目标冗余数据，包括：

根据所述当前音频数据包中的冗余数据的时间戳，选取与已接收到的编码数据的时间戳不重复的冗余数据作为所述目标冗余数据。

8.根据权利要求5所述的方法，其特征在于，所述对所述目标冗余数据和所述当前编码数据进行解码，包括：

根据所述目标冗余数据的时间戳和所述当前编码数据的时间戳，对所述目标冗余数据和所述当前编码数据进行排序，其中，所述目标冗余数据的数量为w，w为正整数；

按照时间戳由小到大的顺序对所述目标冗余数据和所述当前编码数据依次进行解码，得到w+1个音频帧。

9.根据权利要求5所述的方法，其特征在于，所述方法还包括：

每隔预定时长统计当前的丢包率；

将所述当前的丢包率发送给所述发送端。

10.一种音频编码装置，其特征在于，所述装置包括：

编码模块，用于获取n个连续的音频帧中的第i个音频帧，通过第一编码方式对所述第i个音频帧进行编码得到第i个第一编码数据，通过第二编码方式对所述第i个音频帧进行编码得到第i个第二编码数据，并将所述第i个第二编码数据进行缓存，作为第i个冗余数据，i为正整数，n为正整数，1≤i≤n，所述第i个冗余数据包括所述第i个冗余数据的定义参数和编码后的冗余数据块，所述第i个冗余数据的定义参数至少包括编码方式、偏移值和冗余数据库长度，所述偏移值是指第i个冗余数据相对于第i个编码数据的偏移，所述第一编码方式和所述第二编码方式的采样率和压缩率中的至少一种不同；

打包模块，用于将所述编码模块得到的所述第i个编码数据和所述第i个冗余数据之前的至多m个冗余数据打包为第i个音频数据包，其中，m为预设正整数；

其中，所述装置还包括：

第一接收模块，用于接收接收端发送的丢包率，所述丢包率用于对m的取值、对后续音频帧进行编码时的采样率、压缩率和所述第二编码方式进行调整；

第一确定模块，用于根据所述丢包率确定冗余级别，并根据所述冗余级别确定所述m的取值，所述m的取值分别与所述丢包率和所述冗余级别呈正相关；

调整模块，用于在对当前音频数据包打包后，根据所述第一接收模块接收到的所述丢包率，调整对后续音频帧进行编码时的采样率和压缩率，其中，所述采样率与所述丢包率呈正相关，所述压缩率与所述丢包率呈负相关；当所述丢包率大于或等于丢包率阈值时，调整所述第二编码方式，且调整后的第二编码方式的失真度小于调整之前的第二编码方式的失真度。

11.根据权利要求10所述的装置，其特征在于，所述打包模块，包括：

第一打包单元，用于当i=1时，将第1个编码数据打包为第1个音频数据包；

第二打包单元，用于当1＜i≤m时，将所述第i个编码数据和已缓存的第i个冗余数据之前的i-1个冗余数据打包为第i个音频数据包；

第三打包单元，用于当m＜i≤n时，将所述第i个编码数据和已缓存的第i-m个冗余数据至第i-1个冗余数据打包为第i个音频数据包。

12.根据权利要求10所述的装置，其特征在于，所述装置还包括：

第三接收模块，用于接收所述接收端发送的丢包率；

第二确定模块，用于根据所述第三接收模块接收到的所述丢包率确定所述第二编码方式。

13.根据权利要求10至12任一所述的装置，其特征在于，所述装置还包括：

采集模块，用于对声音信号进行信号采集得到音频源数据，所述音频源数据包括n个连续的音频帧。

14.一种音频解码装置，其特征在于，所述装置包括：

接收模块，用于接收当前音频数据包；

选取模块，用于在判断模块判断出所述当前音频数据包中的当前编码数据之前存在丢失的编码数据时，从所述当前音频数据包中的冗余数据中选取目标冗余数据，所述目标冗余数据对应的音频帧和所述丢失的编码数据对应的音频帧相同，其中所述当前编码数据是发送端通过第一编码方式对当前音频帧编码得到的，所述冗余数据是所述发送端通过第二编码方式对所述当前音频帧之前的至多m个音频帧编码后缓存得到的，所述第一编码方式和所述第二编码方式的采样率和压缩率中的至少一种不同，所述目标冗余数据包括所述目标表冗余数据的定义参数和编码后的冗余数据块，所述目标冗余数据的定义参数至少包括编码方式、偏移值和冗余数据库长度，所述偏移值是指所述目标冗余数据相对于对应的编码数据的偏移所述当前音频数据包中的冗余数据的最大个数为m，所述m的取值为根据丢包率确定冗余级别后，根据所述冗余级别确定得到，且所述m的取值分别与所述丢包率和所述冗余级别呈正相关，所述丢包率还用于指示发送端在对所述当前音频数据包打包后，根据所述丢包率，调整对后续音频帧进行编码时的采样率和压缩率，其中，所述采样率与所述丢包率呈正相关，所述压缩率与所述丢包率呈负相关，当所述丢包率大于或等于丢包率阈值时，调整所述第二编码方式，且调整后的第二编码方式的失真度小于调整之前的第二编码方式的失真度；

解码模块，用于对所述目标冗余数据和所述当前编码数据进行解码。

15.根据权利要求14所述的装置，其特征在于，

所述判断模块，用于在所述当前编码数据的时间戳与已接收到的编码数据的时间戳不连续时，确定所述当前编码数据之前存在所述丢失的编码数据。

16.根据权利要求14或15所述的装置，其特征在于，

所述选取模块，用于根据所述当前音频数据包中的冗余数据的时间戳，选取与已接收到的编码数据的时间戳不重复的冗余数据作为所述目标冗余数据。

17.根据权利要求14所述的装置，其特征在于，所述解码模块，包括：

排序单元，用于根据所述目标冗余数据的时间戳和所述当前编码数据的时间戳，对所述目标冗余数据和所述当前编码数据进行排序，其中，所述目标冗余数据的数量为w，w为正整数；

解码单元，用于按照时间戳由小到大的顺序对所述目标冗余数据和所述当前编码数据依次进行解码，得到w+1个音频帧。

18.根据权利要求14所述的装置，其特征在于，所述装置还包括：

统计模块，用于每隔预定时长统计当前的丢包率；

发送模块，用于将所述当前的丢包率发送给所述发送端。

19.一种音频编解码系统，其特征在于，所述系统包括：音频编码装置和音频解码装置；

其中，所述音频编码装置是如权利要求10至13中任一所述的装置；

所述音频解码装置是如权利要求14至18中任一所述的装置。

20.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求1至4任一所述的音频编码方法。

21.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如权利要求5至9任一所述的音频解码方法。

Images