CN115720130A - 音频处理方法、装置、终端及计算机可读存储介质 - Google Patents

Abstract

本发明实施例涉及通信技术领域，特别涉及一种音频处理方法、装置、终端及计算机可读存储介质。其中音频处理方法包括：对网络质量进行检测；若检测到网络质量异常，则记录异常发生时间；若检测到网络质量恢复正常，则向发送端发送用于指示传输网络异常时间段内的非实时音频编码数据的信息；接收所述发送端发送的所述非实时音频编码数据；对所述非实时音频编码数据进行解码播放。可以通过非实时音频数据对实时音频数据进行补偿，保障了在音频通信的过程中，即使面对网络丢包严重的场景，音频接收端仍然可以接收到完整清晰的音频，提升了音频通信质量。

Description

音频处理方法、装置、终端及计算机可读存储介质

技术领域

本发明涉及通信技术领域，特别涉及一种音频处理方法、装置、终端及计算机可读存储介质。

背景技术

越来越多的移动终端参与远程音频通信，而在远程移动音频通信过程中，如果是在坐高铁或钻山洞等大量丢包的场景下，音频通信的质量就会降低。当前可以通过增加冗余包，或者，发送端同时编码发送两路实时码流并对两路码流互相备份，这两种方式来抵抗网络丢包音频数据丢失导致的音频质量下降。

然而，本发明的发明人发现，通过增加冗余包或者发送两路实时码流并互相备份只能解决网络少量丢包场景下的音频质量下降问题，当处于网络大量丢包的场景下，冗余包会占用带宽而加剧网络的压力，而发送的两路码流均会丢包严重。因此，采用上述两种方案，在网络状态异常时，接收端仍旧不能接收到完整清晰的音频，音频质量无法提升，甚至会进一步下降。

发明内容

本申请实施例的目的主要在于提出一种音频处理方法，通过非实时音频数据对实时音频数据进行补偿，保障了在音频通信的过程中，即使面对网络丢包严重的场景，音频接收端仍然可以接收到完整清晰的音频，提升了音频通信质量。

为实现上述目的，本申请实施例提供了一种音频处理方法，应用于接收端，包括：对网络质量进行检测；若检测到网络质量异常，则记录异常发生时间；若检测到网络质量恢复正常，则向发送端发送用于指示传输网络异常时间段内的非实时音频编码数据的信息；接收所述发送端发送的所述非实时音频编码数据；对所述非实时音频编码数据进行解码播放。

为实现上述目的，本申请实施例还提供了一种音频处理方法，应用于发送端，包括：采集实时音频数据；对所述实时音频数据进行编码，并将所述实时音频编码数据发送给接收端；若接收到所述接收端发送的用于指示传输网络异常时间段内的非实时音频编码数据的信息，则对所述非实时音频数据进行编码，并将所述非实时音频编码数据发送给接收端。

为实现上述目的，本申请实施例还提供了一种音频处理装置，应用于接收端，包括：检测模块，用于对网络质量进行检测；记录模块，用于在检测到网络质量异常后，记录异常发生时间；发送模块，用于在检测到网络质量恢复正常后，向发送端发送用于指示传输网络异常时间段内的非实时音频编码数据的信息；接收模块，用于接收所述发送端发送的所述非实时音频编码数据；处理模块，用于对所述非实时音频编码数据进行解码播放。

为实现上述目的，本申请实施例还提供了一种音频处理装置，应用于发送端，包括：采集模块，用于采集实时音频数据；编码模块，用于对所述实时音频数据进行编码，并将所述实时音频编码数据发送给接收端；发送模块，用于在接收到所述接收端发送的用于指示传输网络异常时间段内的非实时音频编码数据的信息，对所述非实时音频数据进行编码后，将所述非实时音频编码数据发送给接收端；

为实现上述目的，本申请实施例还提供了一种终端，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述应用于接收端的音频处理方法，或能够执行上述应用于发送端的音频处理方法。

为实现上述目的，本申请实施例还提供了一种计算机存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述应用于接收端的音频处理方法，或上述应用于发送端的音频处理方法。

本申请提出的实施方式中，首先会对网络质量进行检测，当检测到网络质量异常时，会先记录异常的时间信息，若网络质量恢复正常，会向发送端请求获取异常时间段内的非实时音频编码数据，通过获取所述非实时音频编码数据，用以补偿由于在网络异常阶段而丢包严重的实时音频编码数据，并对所述音频编码数据进行解码播放，以获取更完整清晰的音频数据，抵抗由于所述实时音频编码数据丢包严重导致的音频质量降低，提高了音频通信质量。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标识的元件表示为类似的元件，除非有特别的申明，附图中的图不构成比例限制。

图1是根据本发明一个实施例提供的音频处理方法的流程图；

图2是根据本发明一个实施例提供的判断网络处理状态的流程图；

图3是根据本发明一个实施例提供的待播放音频数据缓冲区处理过程的示意图；

图4是根据本发明另一个实施例提供的音频处理方法的流程图；

图5是根据本发明一个实施例提供的系统结构图；

图6是根据本发明另一个实施例提供的音频处理装置的示意图一；

图7是根据本发明另一个实施例提供的音频处理装置的示意图二；

图8是根据本发明另一个实施例提供的终端的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

本发明的一个实施例涉及一种音频处理方法，应用于接收端。在本实施例中，接收端在接收到实时音频编码数据后，会根据所述实时音频编码数据判断当前的网络处理状态，若判定所述网络处理状态为异常状态时，会记录异常的时间信息。当网络处理状态为异常恢复处理状态时，会向发送端获取非实时音频编码数据，对所述实时音频编码数据和所述非实时音频编码数据进行解码播放。根据当前网络处理状态判断所述实时音频编码数据是否丢包严重，若丢包严重则获取非实时音频编码数据，可以通过非实时音频编码数据对实时音频编码数据进行补偿，使接收端获取更完整清晰的音频数据，有效地提升了音频通信质量。

下面对本实施例的音频处理方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。本实施例的音频处理方法的具体流程可以如图1所示，包括：

步骤101，接收实时音频编码数据。

具体而言，接收端接收从发送端发送过来的实时音频编码数据，接收端可以是终端产品，如手机、平板电脑。

本实施例的具体应用场景可以是如图5所示的系统，具体包括：会议平台和多个终端。

在本实施例中，会议平台通过有线方式接入网络，网络可以是私网也可以是物联网，负责接收、处理、转发终端1、终端2、终端3和终端4发送的音频数据。

在一个例子中，终端1、终端2、终端3和终端4可以作为接收端，负责接收、处理会议平台发送的音频数据。

在另一个例子中，终端1、终端2、终端3和终端4可以作为发言终端，负责接收、处理会议平台发送的音频数据之外，还会发送本终端的音频数据给会议平台。

步骤102，判断当前网络处理状态。

具体而言，网络处理状态包括：网络正常处理状态，网络异常处理状态和网络异常恢复处理状态。接收端可以根据实时音频编码数据判断当前的网络处理状态，若当前网络处理状态为网络正常处理状态，则进入步骤103，若当前网络处理状态为网络异常处理状态，则进入步骤104，若当前网络处理状态为网络异常恢复处理状态，则进入步骤105。

步骤103，对实时音频编码数据进行解码播放。

具体而言，若网络处于正常处理状态，接收端会采用网络正常状态的处理策略：接收当前状态的实时音频编码数据，并对所述实时音频编码数据进行解码播放。

步骤104，记录当前状态的时间信息。

具体而言，若检测到网络质量异常，即网络处于异常处理状态，接收端会采用网络异常状态的处理策略：记录网络异常时的时间等关键信息，便于网络异常恢复后，能够获取指示网络处于异常时间阶段的信息，并且接收端在此状态下，会继续接收实时音频编码数据，以随时判断发送端和接收端的网络状况，但禁止对接收的实时音频编码数据进行解码播放。由于接收端接收的实时音频编码数据有可能丢包状况严重，若对接收的实时音频编码数据进行解码播放，音频也不够完整清晰，所以在网络异常处于异常处理状态时，禁止对接收的实时音频编码数据进行解码播放。

步骤105，获取非实时音频编码数据。

具体而言，若检测到网络质量恢复正常，接收端会采用网络异常恢复状态的处理策略：接收端会向发送端发送用于指示传输网络异常时间阶段的非实时音频编码数据的信息，以获取网络异常时间阶段的非实时音频编码数据，并且会同时接收当前的实时音频编码数据，也就是说，接收端会同时接收到两路音频数据。

步骤106，对实时音频编码数据和非实时音频编码数据进行排序。

具体而言，接收端将接收的实时音频编码数据和非实时音频编码数据放入创建的待播放数据缓冲区，并对实时音频编码数据和非实时音频编码数据进行排序，排序方式为：所述非实时音频编码数据在前，所述实时音频编码数据在后。

步骤107，对待播放数据缓冲区内的数据进行处理。

具体而言，首先，接收端对待播放数据缓冲区内的排序后的非实时音频编码数据和实时音频编码数据进行解码处理，得到非实时音频数据和实时音频数据，然后，提取所述非实时音频数据和所述实时音频数据中的有效音频数据。在一个例子中，提取有效音频数据为检测出非实时音频数据和实时音频数据中的噪声数据，并剔除非实时音频数据和实时音频数据中的噪声数据。

在另一个例子中，提取有效音频数据为检测出非实时音频数据和实时音频数据中的包含人声的音频数据，并提取出非实时音频数据和实时音频数据中的包含人声的音频数据。

最后对所述提取出的有效音频数据进行加倍速播放，以达到快速播完网络异常时间段内的音频数据，满足实时音频交互的要求。

在本实施例中，通过采用非实时音频编码数据在前，实时音频编码数据在后的排序方式，实现对缓冲区内实时音频编码数据和非实时音频编码数据的按序播放。接收端会优先对非实时音频编码数据进行解码播放，以实现非实时音频编码数据对网络异常阶段内丢包的实时音频编码数据的补偿。

在一个例子中，接收端对待播放数据缓冲区内的数据进行处理的示意图如图3所示，具体包括：

接收端对接收的实时音频编码数据进行判断，发现从第4个包开始丢包率较高，即网络出现异常，第9个包时丢包恢复正常，也就是说，从第9个包开始网络处于异常恢复状态。因此，在接收到第9个包时，接收端会向发送端发送用于指示传输网络异常时间阶段的非实时音频编码数据的信息，请求获取网络异常时间阶段的非实时音频编码数据，请求的非实时音频编码数据为从第4个包开始，第9个包结束这段时间内的非实时音频编码数据，同时接收端会继续接收当前的实时音频编码数据。

将接收的非实时音频编码数据和实时音频编码数据进行排序，非实时音频编码数据在前，实时音频编码数据在后。也就是说，当接收到非实时音频数据4、5、6、7、8后，待播放数据缓冲区内的音频数据的顺序为4、5、6、7、8、9、10、11、12、13、14。当待播放数据缓冲区内的音频数据没有播放完毕时，之后接收的音频数据会继续放入此队列。

由于播放待播放数据缓冲区内的音频数据会导致实时沟通延时增大，因此，在对待播放数据缓冲区内的音频数据进行解码后，需要对音频数据进行特别处理，包括但不限于剔除非有效数据并进行加倍速播放。在图3中，对音频数据进行特别处理后，实际播放的音频包可能为4、7、10、13、15、20，此时，待播放数据缓冲区内的音频数据已经全部播放完毕，之后可以进入网络正常流程处理，即对接收到的实时音频编码数据解码后以正常速度实时播放。也就是说，在进入网络异常恢复阶段后，由于需要播放的数据不仅包括实时音频，还包括非实时音频，因此，为了使用户能接听到网络异常阶段中的语音，同时避免较大的时延，以加倍速播放的方式对待播放音频数据缓冲区中的实时音频数据和非实时音频数据进行播放。当待播放数据缓冲区内的音频数据已经全部播放完毕，即接收端可以对接收的实时音频数据进行同步播放时，则无需再将接收的实时音频数据存入待播放数据缓冲区，此时停止对音频数据的加倍速处理，以正常速度实时播放解码后的实时音频。

在本实施例中，步骤102可以通过图2的各子步骤实现，具体包括：

子步骤1021，判断当前状态的实时音频编码数据的丢包率是否正常。

具体而言，在移动的远程通信过程中，如果网络状态异常，经常会出现突发、大量的音频数据丢包情况，接收端会首先会对网络质量进行检测，判断当前网络状态中发送端发送的实时音频编码数据的丢包状况是否超过了可以允许的范围，所述丢包的允许范围取决于所述实时音频编码数据的丢包率是否影响到了音频通信质量。

在一个例子中，若判定所述实时音频编码数据的丢包状况未超过可允许的范围，即所述实时音频编码数据的丢包率正常，则进入子步骤1022。

在另一个例子中，若判定所述实时音频编码数据的丢包状况超过了可允许的范围，即所述实时音频编码数据的丢包率异常，则进入子步骤1023，网络进入异常处理状态。

子步骤1022，判断原网络状态是否异常或待播放缓冲区数据是否非空。

具体而言，如果当前网络质量良好，即当前网络状态正常，在一个例子中，接收端会获取原网络状态，判断原网络状态是否异常，若原网络状态异常，则表明网络状态已有一段时间处于异常状态，这个时间段会造成实时音频编码数据的严重丢包，则进入子步骤1024，网络进入异常恢复处理状态。

在另一个例子中，接收端会将实时音频编码数据和非实时音频编码数据存放进创建的待播放音频数据缓冲区，若该待播放音频数据缓冲区内存有音频数据，则表明网络之前有段时间处于异常状态，在异常状态期间接收端从发送端接收到非实时音频编码数据，并将所述实时音频编码数据和非实时音频编码数据放入了待播放音频数据缓冲区。如果当前网络正常，但待播放音频数据缓冲区内数据非空时，会进入子步骤1024，网络进入异常恢复处理状态。

如果当前网络状态正常的情况下，原网络状态正常并且待播放音频数据缓冲区内数据为空，即上述两个例子的条件都不满足，则进入子步骤1025，网络进入正常处理状态。

由于在目前的相关技术中，增加冗余包和双路实时音频互为备份技术都无法解决在网络处于大量丢包的场景下时音频听不清或听不完整的问题，反而会增加网络的压力导致音频质量进一步降低。而本发明的实施例通过对网络质量进行检测，在检测到网络异常时，记录当前时间等关键信息，保证了在网络异常恢复时，准确获知网络异常时间段的信息，并从发送端获取异常时间段内的非实时音频编码数据，用以补偿网络异常时间段内丢包的实时音频编码数据，并对非实时音频编码数据进行解码，提取出有效音频数据，使得音频接收端在面对网络丢包严重的场景时，也能完整清晰地收听到所有有效音频，同时，提取出的有效音频数据会被加倍速播放，能够快速播完网络异常时间段内的音频数据，满足了实时音频交互的要求。

本发明地另一个实施例涉及一种音频处理方法，应用于发送端，下面对本实施例地音频处理方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，具体流程如图4所示，可以包括如下步骤：

步骤401，采集实时音频数据，即发送端采集实时音频数据。

步骤402，对实时音频数据进行编码。

具体而言，发送端对所述采集到的实时音频数据进行编码，得到实时音频编码数据，并本地保存采集到的实时音频数据作为非实时音频数据。在一个例子中，所述非实时音频数据可以被保存到硬盘，也可以被保存在内存中，并且可以全部保存所述非实时音频数据，也可以对其循环保存。

步骤403，发送实时音频编码数据，即发送端将获得的实时音频编码数据发送给接收端。

步骤404，判断是否发送非实时音频编码数据。

具体而言，发送端在发送实时音频编码数据给接收端后，根据是否接收到所述接收端发送的用于指示传输网络异常时间段内的非实时音频编码数据的信息，判断是否发送非实时音频编码数据给接收端。

步骤405，发送非实时音频编码数据。

具体而言，若发送端接收到所述接收端发送的用于指示传输网络异常时间段内的非实时音频编码数据的信息，则判定发送非实时音频编码数据给接收端。

在一个例子中，发送端会从之前保存的非实时音频数据中获取接收端所需时间段的非实时音频数据，并对所述非实时音频数据进行编码，得到非实时音频编码数据，再将所述非实时音频编码数据发送给接收端。

在本实施例中，发送端在采集到实时音频数据后，在对所述实时音频数据进行编码的同时，还会保存采集到的实时音频数据，将其作为非实时音频数据放入内存，当接收到接收端用于指示传输网络异常时间段内的非实时音频编码数据的信息后会将接收端所需时间段的非实时音频数据编码后发送给接收端，保证了接收端在未接收到完整清晰的实时音频编码数据后能及时获取相应的非实时音频编码数据，以补偿丢失的部分实时音频编码数据，进而获得更完整的音频数据，提升音频通信质量。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明的另一个实施例涉及一种音频处理装置，应用于接收端，下面对本实施例的音频处理装置的细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本例的必须，图6是本实施例所述的音频处理装置的示意图，包括：检测模块601，记录模块602、发送模块603、接收模块604和处理模块605。

具体而言，检测模块601，用于对网络质量进行检测。

记录模块602，用于在检测到网络异常后，记录异常发生时间，便于网络异常恢复后，能够获取指示网络处于异常时间阶段的信息。

发送模块603，用于在检测到网络异常恢复后，向发送端发送用于指示传输网络异常时间段内的非实时音频编码数据的信息，以获取网络异常时间阶段的非实时音频编码数据。

接收模块604，用于接收所述发送端发送的所述非实时音频编码数据，并且会同时接收当前的实时音频编码数据，即同时接收到两路音频数据。

处理模块605，用于对所述非实时音频编码数据进行解码播放。将接收到的实时音频编码数据和非实时音频编码数据放入待播放数据缓冲区，并对实时音频编码数据和非实时音频编码数据进行排序后进行解码播放。

不难发现，本实施例为与上述应用于接收端的方法实施例对应的装置实施例，本实施例可以与上述方法实施例互相配合实施。上述实施例中提到的相关技术细节和技术效果在本实施例中依然有效，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在上述实施例中。

本发明的另一个实施例涉及一种音频处理装置，应用于发送端，下面对本实施例的音频处理装置的细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本例的必须，图7是本实施例所述的音频处理装置的示意图，包括：采集模块701，编码模块702，发送模块703。

具体而言，采集模块701，用于采集实时音频数据。

编码模块702，用于对所述实时音频数据和所述非实时音频数据进行编码，得到实时音频编码数据和非实时音频编码数据。

发送模块703，用于将所述实时音频编码数据和所述非实时音频编码数据发送给接收端。

在一个例子中，发送模块703用于在接收到所述接收端发送的用于指示传输网络异常时间段内的非实时音频编码数据的信息，对所述非实时音频数据进行编码后，将所述非实时音频编码数据发送给接收端。

不难发现，本实施例为与上述应用于发送端的方法实施例对应的装置实施例，本实施例可以与上述方法实施例互相配合实施。上述实施例中提到的相关技术细节和技术效果在本实施例中依然有效，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在上述实施例中。

值得一提的是，本发明上述两个实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，上述两个实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明上述两个实施方式中不存在其它的单元。

本发明另一个实施例涉及一种终端，如图8所示，包括：至少一个处理器801；以及，与所述至少一个处理器801通信连接的存储器802；其中，所述存储器802存储有可被所述至少一个处理器801执行的指令，所述指令被所述至少一个处理器801执行，以使所述至少一个处理器801能够执行上述各实施例中的音频处理方法。

其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。

处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

本发明另一个实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (11)

1.一种音频处理方法，其特征在于，应用于接收端，包括：

对网络质量进行检测；

若检测到网络质量异常，则记录异常发生时间；

若检测到网络质量恢复正常，则向发送端发送用于指示传输网络异常时间段内的非实时音频编码数据的信息；

接收所述发送端发送的所述非实时音频编码数据；

对所述非实时音频编码数据进行解码播放。

2.根据权利要求1所述的音频处理方法，其特征在于，所述向发送端发送用于指示传输网络异常时间段内的非实时音频编码数据的信息之后，还包括：

接收发送端发送的实时音频编码数据；

在所述接收发送端发送的所述实时音频编码数据和所述非实时音频编码数据后，还包括：

将所述非实时音频编码数据放入创建的待播放音频数据缓冲区；

当接收到所述实时音频编码数据时，若待播放音频数据缓冲区有待播放的音频编码数据，则将实时音频编码数据放入待播放音频数据缓冲区。

3.根据权利要求2所述的音频处理方法，其特征在于，所述对所述非实时音频编码数据进行解码播放，包括：

对所述待播放音频数据缓冲区内的所述实时音频编码数据和所述非实时音频编码数据进行解码处理，得到实时音频数据和非实时音频数据；

对所述实时音频数据和所述非实时音频数据按时序进行加倍速播放。

4.根据权利要求3所述的音频处理方法，其特征在于，所述对所述实时音频数据和所述非实时音频数据进行加倍速播放之前，还包括：

提取所述实时音频数据和所述非实时音频数据中的有效音频数据；

所述对所述实时音频数据和所述非实时音频数据进行加倍速播放，包括：

对提取的所述有效音频数据进行加倍速播放。

5.根据权利要求4所述的音频处理方法，其特征在于，所述提取所述实时音频数据和所述非实时音频数据中的有效音频数据，包括：

检测所述实时音频数据和所述非实时音频数据中的噪声数据；

剔除所述实时音频数据和所述非实时音频数据中的噪声数据。

6.根据权利要求1所述的音频处理方法，其特征在于，所述若检测到网络异常，包括：

禁止对在网络异常状态下发送端发送的实时音频编码数据进行解码播放。

7.一种音频处理方法，其特征在于，应用于发送端，包括：

采集实时音频数据；

对所述实时音频数据进行编码，并将所述实时音频编码数据发送给接收端；

若接收到所述接收端发送的用于指示传输网络异常时间段内的非实时音频编码数据的信息，则对所述非实时音频数据进行编码，并将所述非实时音频编码数据发送给接收端。

8.一种音频处理装置，其特征在于，应用于接收端，包括：

检测模块，用于对网络质量进行检测；

记录模块，用于在检测到网络质量异常后，记录异常发生时间；

发送模块，用于在检测到网络质量恢复正常后，向发送端发送用于指示传输网络异常时间段内的非实时音频编码数据的信息；

接收模块，用于接收所述发送端发送的所述非实时音频编码数据；

处理模块，用于对所述非实时音频编码数据进行解码播放。

9.一种音频处理装置，其特征在于，应用于发送端，包括：

采集模块，用于采集实时音频数据；

编码模块，用于对所述实时音频数据进行编码，并将所述实时音频编码数据发送给接收端；

发送模块，用于在接收到所述接收端发送的用于指示传输网络异常时间段内的非实时音频编码数据的信息，对所述非实时音频数据进行编码后，将所述非实时音频编码数据发送给接收端。

10.一种终端，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至6中任一项所述的音频处理方法，或者，能够执行如权利要求7所述的音频处理方法。

11.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的音频处理方法，或者，实现权利要求7所述的音频处理方法。

Images