CN105657459A - 一种音视频数据处理方法和装置 - Google Patents

Abstract

本发明公开了一种音视频数据处理方法和装置，该方法包括：计算音视频数据采样时间点，其中，设定相邻的两个音视频数据采样时间点分别为第一时刻T1和第二时刻T2；计算第一时刻T1和第二时刻T2之间的时间间隔ΔT；根据所述时间间隔ΔT的大小确定延时时长Δt；判断所述第一时刻T1延时Δt对应的时刻是否大于等于第二时刻T2，如果是，控制本地服务器的CPU采集音视频数据，如果否，让出CPU以使CPU在非音视频数据采样时间点能够处理除采集音视频数据以外的其它操作。该方法和装置通过系统程序控制CPU采集音视频数据，采集过程不会出现延时，达到音视频同步，而且该方法和装置能够减少CPU空置时间，提高CPU工作性能。

Description

一种音视频数据处理方法和装置

技术领域

本发明涉及网络直播技术领域，尤其涉及一种音视频数据处理方法和装置。

背景技术

网络直播应用范围越来越广，对其播放的质量要求也越来越高，尤其是网络直播授课，播放质量直接影响着教学效果，因而对其要求也更加突出。

目前，网络直播质量不好，主要表现在图像和声音不同步、时断时续直播很卡或是信息丢失严重等。造成这些现象的主要因素之一为音视频数据采集延时。

发明内容

发明人研究发现，现有技术中，造成音视频数据采集延时的原因之一是采用硬件定时器采集音视频数据。硬件定时器本身存在延时问题，具体为定时器每隔一定时间间隔计时一次，每次计时都会有极微小的嘀嗒延时，随着计时次数的增加，延时就会叠加的越来越多，最终导致实际采集时间与理论采集时间存在延时。

有鉴于此，本发明提供了一种音视频数据处理方法和装置，以解决音视频数据采集延时的问题。

为了解决上述技术问题，本发明采用了如下技术方案：

一种音视频数据处理方法，所述方法包括：

计算音视频数据采样时间点，其中，设定相邻的两个音视频数据采样时间点分别为第一时刻T1和第二时刻T2；

计算第一时刻T1和第二时刻T2之间的时间间隔ΔT；

根据所述时间间隔ΔT的大小确定延时时长Δt；

判断所述第一时刻T1延时Δt对应的时刻是否大于等于第二时刻T2，如果是，控制本地服务器的CPU采集音视频数据，如果否，让出CPU以使CPU在非音视频数据采样时间点能够处理除采集音视频数据以外的其它操作。

可选地，所述判断所述第一时刻T1延时Δt对应的时刻是否大于等于第二时刻T2，还包括：

如果否，将所述第一时刻T1更新为第一时刻T1延时Δt对应的时刻，返回执行所述计算第一时刻T1和第二时刻T2之间的时间间隔ΔT的步骤。

可选地，所述控制本地服务器的CPU采集音视频数据后，还包括：

将所述第一时刻T1更新为第一时刻T1延时Δt对应的时刻，返回执行所述计算第一时刻T1和第二时刻T2之间的时间间隔ΔT的步骤。

可选地，所述根据所述时间间隔ΔT的大小确定延时时长Δt，具体包括：

当ΔT小于第一预设时长时，将ΔT确定为延时时长Δt；

当ΔT大于等于第一预设时长且小于第二预设时长时，将第一预设时长确定为延时时长Δt；其中，第二预设时长为所述第一预设时长的n倍；n≥2，且n为正整数；

当ΔT大于等于第二预设时长时，将ΔT/n确定为延时时长Δt。

可选地，所述n＝4。

可选地，所述计算第一时刻T1和第二时刻T2之间的时间间隔ΔT中，所述第一时刻T1和第二时刻T2的精度达到百万分之一单位以上。

可选地，当所述第一时刻T1延时Δt对应的时刻与第二时刻T2之间的偏差小于相邻两个音视频数据采样时间点之间的时间差时，所述控制本地服务器的CPU采集音视频数据之后，还包括：

将采集到的音视频数据的时间戳标记为第二时刻T2。

可选地，当所述第一时刻T1延时Δt对应的时刻与第二时刻T2之间的偏差大于等于相邻两个音视频数据采样时间点之间的时间差时，所述控制本地服务器的CPU采集音视频数据之后，还包括：

将采集到的音视频数据补充到所述第二时刻T2至所述第一时刻T1延时Δt对应的时刻之间的采样时间点上，并将补充后的音视频数据的时间戳标记为对应的采样时间点。

可选地，所述控制本地服务器的CPU采集音视频数据之后，还包括：

对采集到的音视频数据进行编码；

将编码后的音视频数据合成在一起，并将合成后的音视频数据发送至当前正在使用的流媒体服务器。

可选地，所述方法应用于网络音视频直播系统中，所述网络音视频直播系统包括备用流媒体服务器，设定待发送完合成后的音视频数据后，等待接收流媒体服务器反馈的发送成功信息的时间段为预设时间段；所述预设时间段包括多个子时间段；

所述将合成后的音视频数据发送至当前正在使用的流媒体服务器，具体包括：

自发送完合成后的音视频数据后延时一个子时间段，判断是否接收到本地服务器反馈的发送失败信息，如果是，将当前正在使用的流媒体服务器切换至所述备用流媒体服务器；如果否，继续延时一个子时间段，返回执行所述判断是否接收到本地服务器反馈的发送失败信息的步骤，直至达到预设时间段。

可选地，所述方法还包括：

待达到预设时间段后，如果未接收到流媒体服务器反馈的发送成功信息，将当前正在使用的流媒体服务器切换至所述备用流媒体服务器。

可选地，所述自发送完合成后的音视频数据后延时一个子时间段后，还包括：判断是否接收到上层发出的指令，如果是，响应上层发出的指令。

可选地，所述继续延时一个子时间段后，还包括：执行所述判断是否接收到上层发出的指令的步骤。

一种音视频数据处理装置，所述装置包括：

第一计算单元，用于计算音视频数据采样时间点，其中，设定相邻的两个音视频数据采样时间点分别为第一时刻T1和第二时刻T2；

第二计算单元，用于计算第一时刻T1和第二时刻T2之间的时间间隔ΔT；

确定单元，用于根据所述时间间隔ΔT的大小确定延时时长Δt；

判断单元，用于判断所述第一时刻T1延时Δt对应的时刻是否大于等于第二时刻T2；

控制单元，用于当所述判断单元的判断结果为是时，控制本地服务器的CPU采集音视频数据；

让出CPU单元，用于当所述判断单元的判断结果为否时，让出CPU以使CPU在非音视频数据采样时间点能够处理除采集音视频数据以外的其它操作。

可选地，所述装置还包括：

更新单元，用于在所述判断单元的判断结果为否时和/或在所述控制单元控制本地服务器的CPU采集音视频数据后，将所述第一时刻T1更新为第一时刻T1延时Δt对应的时刻，并触发所述第二计算单元计算第一时刻T1和第二时刻T2之间的时间间隔ΔT。

可选地，所述确定单元具体包括：

当ΔT小于第一预设时长时，将ΔT确定为延时时长Δt的子单元；

当ΔT大于等于第一预设时长且小于第二预设时长时，将第一预设时长确定为延时时长Δt的子单元；其中，第二预设时长为所述第一预设时长的n倍；n≥2，且n为正整数；

当ΔT大于等于第二预设时长时，将ΔT/n确定为延时时长Δt的子单元。

可选地，所述装置还包括：

时间戳标记单元，用于当所述第一时刻T1延时Δt对应的时刻与第二时刻T2之间的偏差小于相邻两个音视频数据采样时间点之间的时间差时，将采集到的音视频数据的时间戳标记为第二时刻T2。

可选地，所述装置还包括：

数据补充单元，用于当所述第一时刻T1延时Δt对应的时刻与第二时刻T2之间的偏差大于等于相邻两个音视频数据采样时间点之间的时间差时，将采集到的音视频数据补充到所述第二时刻T2至所述第一时刻T1延时Δt对应的时刻之间的采样时间点上，并将补充后的音视频数据的时间戳标记为对应的采样时间点。

可选地，所述装置还包括：

编码单元，用于对采集到的音视频数据进行编码；

合成发送单元，用于将编码后的音视频数据合成在一起，并将合成后的音视频数据发送至当前正在使用的流媒体服务器。

可选地，所述装置应用于网络音视频直播系统中，所述网络音视频直播系统包括备用流媒体服务器，设定待发送完合成后的音视频数据后，等待接收流媒体服务器反馈的发送成功信息的时间段为预设时间段；所述预设时间段包括多个子时间段；

所述合成发送单元包括：

第一延时子单元，用于自发送完合成后的音视频数据后延时一个子时间段；

第一判断子单元，用于判断是否接收到本地服务器反馈的发送失败信息；

第一切换流媒体服务器子单元，用于当所述第一判断子单元的判断结果为是时，将当前正在使用的流媒体服务器切换至所述备用流媒体服务器；

第二延时子单元，用于当所述第一判断子单元的判断结果为否时，继续延时一个子时间段，并触发所述第一判断子单元执行判断是否接收到本地服务器反馈的发送失败信息的步骤，直至达到预设时间段；

第二切换流媒体服务器子单元，用于待达到预设时间段后，如果未接收到流媒体服务器反馈的发送成功信息，将当前正在使用的流媒体服务器切换至所述备用流媒体服务器。

可选地，所述合成发送单元还包括：

第二判断子单元，用于自发送完合成后的音视频数据后延时一个子时间段后，判断是否接收到上层发出的指令，如果是，响应上层发出的指令。

相较于现有技术，本发明具有以下有益效果：

本发明提供的音视频数据处理方法采用系统程序计算音视频数据采样时间点，并在当前时刻为采样时间点时，通过系统程序控制本地服务器的CPU即中央处理器采集音视频数据，由于系统程序为预先设定的程序，其计算得到的各个采样时间点非常准确，不会存在延时现象，而且由于CPU的响应速率很快，所以，CPU在系统程序的控制下，在采样时间点时能够及时地采集音视频数据，如此，就解决了现有技术中采用硬件定时器采集音视频数据出现的延时问题。

而且，在本发明提供的音视频数据处理方法中，若当前时刻不是采样时间点的话，则让出CPU以使CPU在非音视频数据采样时间点时能够处理除采集音视频数据以外的其它操作。这种让出CPU的模式，能够减少CPU的等待空置时间，降低CPU占用率，从而提高了系统性能，提高了CPU的工作性能。

附图说明

为了清楚地理解本发明的具体实施方式，下面将描述本发明具体实施方式时用到的附图做一简要说明。显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的音视频数据处理方法流程示意图；

图2是本发明实施例提供的音视频数据采样时间点的时间轴示意图；

图3是本发明实施例二提供的音视频数据处理方法流程示意图；

图4是本发明实施例二提供的将合成后的音视频数据发送至当前正在使用的流媒体服务器的具体实现方式的流程示意图；

图5是本发明实施例三提供的音视频数据处理装置结构示意图；

图6是本发明实施例四提供的音视频数据处理装置结构示意图；

图7是本发明实施例四提供的合成发送单元的结构示意图。

具体实施方式

为使本发明的发明目的、技术方案和技术效果更加清楚、完整，下面结合附图对本发明的具体实施方式进行详细说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

图1是本发明实施例一提供的音视频数据处理方法的流程示意图。如图1所示，该方法包括以下步骤：

S101、计算音视频数据采样时间点，设定相邻的两个音视频数据采样时间点分别为第一时刻T1和第二时刻T2：

一般情况下，每隔大约23ms就采集一次音频数据，每隔大约83ms就采集一次视频数据。根据相邻音频数据采样时间点间隔即可获知音频数据采样时间点，同理，根据相邻两个视频数据采样时间点间隔即可获知视频数据采样时间点。

图2中，A和B分别为音频数据采样时间点和视频数据采样时间点的时间轴。需要说明的是，在本发明实施例中，将音频数据采样时间点和视频数据采样时间点放置在同一时间轴上，其对应的音视频数据采样时间点时间轴如C所示。在本发明实施例中，相邻两个音视频数据采样时间点为如C所示的时间轴上的相邻两个采样时间点。该相邻两个采样时间点中，其中一个有可能是音频数据采样时间点，另外一个可能是视频数据采样时间点，该相邻两个采样时间点不一定均为音频数据采样时间点或视频数据采样时间点。而且，每相邻两个采样时间点之间的时间差不一定相同。也就是说，在C所示的音视频数据采样时间点时间轴上，相邻两个音视频数据采样时间点之间的时间间隔有可能不同。

在本发明实施例中，设定相邻的两个音视频数据采样时间点分别为第一时刻T1和第二时刻T2，并且第一时刻T1在第二时刻T2之前。

需要说明的是，在本发明实施例中，计算得到的音视频数据采样时间点的单位可以为毫秒，由于该音视频数据采样时间点是通过系统程序计算得到的，所以，该音视频数据采样时间点可以达到很高的精度。作为示例，该音视频数据采样时间点的精度可以达到百万分之一毫秒以上，即0.000001毫秒以上。具体地说，该音视频数据采样时间点的精度能够使得延时不累积，能够达到2小时内直播无延时，30天内的延时误差不超过1ms。当然，本发明计算得到的音视频数据采集时间可以根据需要保留不同的精度。

其中，相邻两个音频数据采样时间点的时间间隔的计算过程如下：

对于音频数据来说，每秒采样为44100次，每次采样为1024帧，相邻两次音频数据采样时间点的时间间隔为：1000ms/(44100/1024)＝23.219955ms≈23ms,即每隔大约23ms就采集一次音频数据。

相邻两个视频数据采样时间点的时间间隔的计算过程如下：

对于视频数据来说，每秒采样为12帧，相邻两次视频数据采样时间点的时间间隔为：1000ms/12＝83.3333333ms≈83ms，即每隔大约83ms就采集一次视频数据。

S102、计算第一时刻T1和第二时刻T2之间的时间间隔ΔT：

具体地说，时间间隔ΔT为第二时刻T2与第一时刻T1的时间差的绝对值，用公式表示为：ΔT＝|T2-T1|。

需要说明的是，为了提高计算得到的时间间隔ΔT的准确度，在计算第一时刻T1和第二时刻T2之间的时间间隔ΔT时，可选地，第一时刻T1和第二时刻T2的精度可以达到百万分之一单位以上，当第一时刻T1和第二时刻T2的单位为毫秒时，在该步骤中，第一时刻T1和第二时间T2的精度达到百万分之一毫秒以上。由此得到的时间间隔ΔT的精度也能达到百万分之一毫秒以上。

S103、根据所述时间间隔ΔT的大小确定延时时长Δt：

作为本发明的一个可选实施例，所述根据时间间隔ΔT的大小确定延时时长Δt具体包括：

当ΔT小于第一预设时长时，将ΔT确定为延时时长Δt；

当ΔT大于等于第一预设时长且小于第二预设时长时，将第一预设时长确定为延时时长Δt；其中，第二预设时长为所述第一预设时长的n倍；n≥2，且n为正整数；

当ΔT大于等于第二预设时长时，将ΔT/n确定为延时时长Δt。

在本发明实施例中，第一预设时长和第二预设时长均为经验值。作为本发明的一个可选实施例，第一预设时长可以为8ms，n可以等于4。如此，第二预设时长为32ms。

S104、判断所述第一时刻T1延时Δt对应的时刻是否大于等于第二时刻T2，如果是，执行步骤S105，如果否，执行步骤S106和/或S107：

需要说明的是，在本技术领域，为了方便控制，采样时间点一般为整毫秒，例如为23毫秒、46毫秒、83毫秒等等。因此，为了简化计算，在该步骤中，即在判断第一时刻T1延时Δt对应的时刻是否大于等于第二时刻T2的过程中，第一时刻T1为步骤S101计算得到的音视频数据采样时间点第一时刻T1向下取整得到的时刻；第二时刻T2为步骤S101计算得到的音视频数据采样时间点第二时刻T2向下取整得到的时刻。举例说明：当步骤S101计算得到的第一时刻T1为2.223334毫秒时，则步骤S104中所述的第一时刻T1为2毫秒，当步骤S101计算得到的第二时刻T2为5.833333毫秒时，则步骤S104中所述的第二时刻T2为5毫秒。

S105、控制本地服务器的CPU采集音视频数据：

当第一时刻T1延时Δt对应的时刻等于第二时刻T2时，说明当前时刻即为音视频数据采样时间点，所以，此时执行本步骤S105，即控制本地服务器的CPU采集音视频数据。需要说明的是，若第二时刻T2为音频数据采样时间点，则控制本地服务器的CPU采集音频数据，若第二时刻T2为视频数据采样时间点，则控制本地服务器的CPU采集视频数据。

另外，当第一时刻T1延时Δt对应的时刻大于第二时刻T2时，则说明当前时刻已经超过了采样时间点第二时刻T2，此时仍需控制本地服务器的CPU采集音视频数据。

S106、让出CPU以使CPU在非音视频数据采样时间点能够处理除采集音视频数据以外的其它操作：

这种让出CPU的模式，能够使得CPU在音视频数据采样时间点采集音视频数据，而在非音视频数据采样时间点，不妨碍CPU处理其它操作，如此，能够减少CPU的等待空置时间，降低CPU占用率，从而提高了系统性能，提高了CPU的工作性能。

S107、将所述第一时刻T1更新为第一时刻T1延时Δt对应的时刻，返回执行步骤S102：

需要说明的是，在本发明实施例中，为了能够循环采集音视频数据，在执行完控制本地服务器的CPU采集音视频数据之后，即在执行完步骤S105之后，还可以执行步骤S107，如此即可实现对音视频数据的循环采集。

通过步骤S107对第一时刻T1的更新，以及每更新一次第一时刻T1，就循环执行一次步骤S102至步骤S107，如此可以使得第一时刻T1和第二时刻T2无限接近，尽量避免错过音视频数据采样时间点。

另外，为了给采集到的音视频数据标记上相应时间戳，上述所述的方法，在步骤S105之后，还可以包括：

S108、判断第一时刻T1延时Δt对应的时刻与第二时刻T2之间的偏差是否小于相邻两个音视频数据采样时间点之间的时间差，如果是，执行步骤S109，如果否，执行步骤S110：

举例说明：当第一时刻T1为第10ms，第二时刻T2为第20ms，且第一时刻T1延时Δt对应的时刻为第20ms时，由于在步骤S101中设定，相邻两个音视频数据采样时间点分别为第一时刻T1和第二时刻T2。所以，在该示例中，本步骤所述的相邻两个音视频数据采样时间点之间的时间差为10ms，第一时刻T1延时Δt对应的时刻与第二时刻T2之间的偏差为0ms，由于0小于10，所以，在该示例中，第一时刻T1延时Δt对应的时刻与第二时刻T2之间的偏差小于相邻两个音视频数据采样时间点之间的时间差，并且，第一时刻T1延时Δt对应的时刻即为第二时刻T2。在这种情况下，步骤S105采集到的音视频数据的时间戳为第二时刻T2，因此，执行步骤S109。

另外，在该示例中，当第一时刻T1延时Δt对应的时刻与第二时刻T2之间的偏差大于0且小于相邻两个音视频数据采样时间点之间的时间差10毫秒时，说明：第一时刻T1延时Δt对应的时刻即当前时刻已经超过第二时刻T2，但是还没有达到与第二时刻T2相邻的下一个采样点，由于在较短时间内，音视频数据的变化很小，此时，仍可以将步骤S105采集到的音视频数据看作是采样时间点第二时刻T2对应的音视频数据，所以，可以执行步骤S109。

然而，当第一时刻T1延时Δt对应的时刻与第二时刻T2之间的偏差大于相邻两个音视频数据采样时间点之间的时间差时，说明在第二时刻T2与第一时刻T1延时Δt对应的时刻之间存在有采样时间点，而在这些采样时间点上没有相应的采集音视频数据，所以，需要补充这些采样时间点上的音视频数据。因此，此时执行步骤S110。

S109、将采集到的音视频数据的时间戳标记为第二时刻T2：

需要说明的是，在本发明实施例中，将在第一时刻T1延时Δt对应的时刻即在时刻(T1+Δt)采集到的音视频数据的时间戳标记为第二时刻T2，相当于，将在时刻(T1+Δt)采集到的音视频数据作为第二时刻T2的音视频数据。

S110、将采集到的音视频数据补充到所述第二时刻T2至所述第一时刻T1延时Δt对应的时刻之间的采样时间点上，并将补充后的音视频数据的时间戳标记为对应的采样时间点：

举例说明：当第一时刻T1为第10毫秒，第二时刻T2为第20毫秒，而第一时刻T1延时Δt对应的时刻为第51毫秒，在该示例中，相邻两个音视频数据采样时间点之间的时间差为10毫秒，则在第30毫秒、第40毫秒和第50毫秒均为音视频数据采样时间点。理论上说，系统程序在第30毫秒、第40毫秒和第50毫秒均需要采集音视频数据。而由于第一时刻T1延时Δt对应的时刻为第51毫秒，所以，系统程序已经错过了第20毫秒、第30毫秒、第40毫秒和第50毫秒的音视频数据采集。因此，需要将在第51毫秒(即第一时刻T1延时Δt对应的时刻)采集到的音视频数据补充到第20毫秒、第30毫秒、第40毫秒和第50毫秒上，并将在第51毫秒采集到的音视频数据作为第20毫秒、第30毫秒、第40毫秒和第50毫秒采集到的音视频数据。如此，可以避免漏采集数据。而且由于采样时间点之间的时间间隔较短，相邻多个采样时间点上的音视频数据变化不大，所以，如此处理，不会影响音视频的播放效果。

此外，为了进一步解决音视频数据不同步的问题，作为本发明的一个可选实施例，还可以将标记有时间戳的音频数据和视频数据存储在同一个采样队列中，如此可以很容易地实现音频数据和视频数据在时间上的同步。

以上为本发明实施例一提供的音视频数据处理方法的具体实施方式，在该具体实施方式中，采用系统程序计算音视频数据采样时间点，并在当前时刻为采样时间点时，通过系统程序控制本地服务器的CPU即中央处理器采集音视频数据，由于系统程序为预先设定的程序，其计算得到的各个采样时间点非常准确，不会存在延时现象，而且由于CPU的响应速率很快，所以，CPU在系统程序的控制下，在采样时间点时能够及时地采集音视频数据，如此，就解决了现有技术中采用硬件定时器采集音视频数据出现的延时问题。

而且，在本发明提供的音视频数据处理方法中，若当前时刻不是采样时间点的话，则让出CPU以使CPU在非音视频数据采样时间点时能够处理除采集音视频数据以外的其它操作。这种让出CPU的模式，能够减少CPU的等待空置时间，降低CPU占用率，从而提高了系统性能，提高了CPU的工作性能。

另外，本发明实施例会对第一时刻T1进行更新，并且每更新一次，就判断控制CPU采集一次音视频数据，如此多次循环，可以在相邻的两个采样点之间执行多次判断控制CPU采集音视频数据的过程，如此循环控制CPU采集时间，能够尽量避免错过音视频数据采样时间点，避免出现漏采数据的现象。

需要说明的是，上述实施例一提供的音视频数据处理方法主要针对音视频数据采集过程中存在的延时问题提出的方案。

然而，在网络音视频直播系统中，为了实现音视频数据的直播，除了需要对音视频数据进行采集外，后续还需要对音视频数据进行编码、合成发送操作，如此，才能实现音视频数据的直播，故，为了实现网络音视频数据的直播，本发明还提供了实施例二。

实施例二

需要说明的是，实施例二提供的音视频数据处理方法是在实施例一提供的音视频数据处理方法的基础上进行改进得到的。实施例二与实施例一有诸多相似之处，为了简要起见，在此仅对其不同之处进行说明，其相似之处，请参见实施例一的相关描述。

图3是本发明实施例二提供的音视频数据处理方法流程示意图。如图3所示，该处理方法包括以下步骤：

S301、通过本地服务器的CPU采集音视频数据：

需要说明的是，步骤S301通过本地服务器的CPU采集音视频数据的具体实现方式可以通过实施例一提供的音视频数据处理方法实现。

S302、对采集到的音视频数据进行编码：

本步骤可以采用本领域惯用的技术手段对采集到的音视频数据进行编码。

S303、将编码后的音视频数据合成在一起，并将合成后的音视频数据发送至当前正在使用的流媒体服务器：

需要说明的是，本步骤可以采用本领域惯用的技术将编码后的音视频数据合成在一起，并将合成后的音视频数据发送至当前正在使用的流媒体服务器。

另外，作为本发明的一具体实施例，为了解决网络堵塞引起的音视频数据直播不流畅的问题，还可以采用以下具体实施方式将合成后的音视频数据发送至当前正在使用的流媒体服务器。具体实现方式如图4所示。

需要说明的是，图4所示的将合成后的音视频数据发送至当前正在使用的流媒体服务器的方法得以实现的前提条件是：网络音视频直播系统包括备用流媒体服务器，该备用流媒体服务器可以为一个，也可以为多个。并且设定待发送完合成后的音视频数据后，等待接收流媒体服务器反馈的发送成功信息的时间段为预设时间段；所述预设时间段包括多个子时间段。

如图4所示，本发明实施例提供的将合成后的音视频数据发送至当前正在使用的流媒体服务器的方法包括以下步骤：

S401、自发送完合成后的音视频数据后延时一个子时间段：

S402、判断是否接收到本地服务器反馈的发送失败信息，如果是，执行步骤S403，如果否，执行步骤S404：

S403、将当前正在使用的流媒体服务器切换至备用流媒体服务器：

S404、继续延时一个子时间段：

S405、判断当前时刻是否达到预设时间段，如果是，执行步骤S406，如果否，返回执行步骤S402：

S406、若仍未接收到流媒体服务器反馈的发送成功信息，将当前正在使用的流媒体服务器切换至备用流媒体服务器：

作为本发明的一具体实施例，在步骤S401之后，还可以包括步骤S407。

S407、判断是否接收到上层发出的指令，如果是，执行步骤S408：

S408、响应上层发出的指令。

进一步地，在步骤S404之后，还可以执行步骤S407。

图4所示的将合成后的音视频数据发送至当前正在使用的流媒体服务器的具体实施方式中，将等待接收流媒体服务器反馈的发送成功信息的时间段划分为多个子时间段，在一个子时间段内，本地服务器CPU能够判断是否接收到本地服务器反馈的发送失败信息，并根据判断结果决定继续等待还是切换流媒体服务器，如此，音视频数据发送模块不会在每次发送完音视频数据后一直等到预设时间段，而在网络发生堵塞时，会在预设时间段之前就可获知音视频数据发送成功与否的信息，进而通过切换流媒体服务器的方式继续进行网络直播。因而，该具体实施方式可以在网络发生堵塞时提高网络直播质量。

另外，图4所示的将合成后的音视频数据发送至当前正在使用的流媒体服务器的具体实施方式中，在一个时间段内就会判断是否接收到上层发出的指令，并作出响应。如此，可以提高响应上层的效率。

需要说明的是，由于步骤S301的音视频数据采集通过实施例一提供的音视频数据方法实现。而在实施例一提供的音视频数据方法中，只有在音视频数据采样时间点才会占用本地服务器的CPU，利用其采集音视频数据，而在非音视频数据采样时间点，能够让出CPU，使CPU在非音视频数据采样时间点能够处理除采集音视频数据以外的其它操作。所以，图4所示的各个步骤可以在非音视频数据采样时间点，利用本地服务器的CPU来执行。如此，在不需要增加新的线程的情况下，图4所示的具体实施方式即可解决由于网络堵塞导致的网络音视频播放质量下降的问题和实现提高响应上层效率的目的。

以上为本发明实施例二提供的音视频数据处理方法的具体实施方式。

基于上述实施例一提供的音视频数据处理方法，本发明实施例还提供了音视频数据处理装置。具体参见实施例三。

实施例三

图5是本发明实施例提供的音视频数据处理装置结构示意图。如图5所示，该装置包括：

第一计算单元501，用于计算音视频数据采样时间点，其中，设定相邻的两个音视频数据采样时间点分别为第一时刻T1和第二时刻T2；

第二计算单元502，用于计算第一时刻T1和第二时刻T2之间的时间间隔ΔT；

确定单元503，用于根据所述时间间隔ΔT的大小确定延时时长Δt；

判断单元504，用于判断所述第一时刻T1延时Δt对应的时刻是否大于等于第二时刻T2；

控制单元505，用于当所述判断单元的判断结果为是时，控制本地服务器的CPU采集音视频数据；

让出CPU单元506，用于当所述判断单元的判断结果为否时，让出CPU以使CPU在非音视频数据采样时间点能够处理除采集音视频数据以外的其它操作。

为了能够实现对音视频数据的循环多次采集，上述所述的装置还可以包括：

更新单元507，用于在所述判断单元的判断结果为否时和/或在所述控制单元控制本地服务器的CPU采集音视频数据后，将所述第一时刻T1更新为第一时刻T1延时Δt对应的时刻，并触发所述第二计算单元计算第一时刻T1和第二时刻T2之间的时间间隔ΔT。

此外，为了为采集到的音视频数据标记上采样时间点，上述所述的装置还可以包括：

时间戳标记单元508，用于当所述第一时刻T1延时Δt对应的时刻与第二时刻T2之间的偏差小于相邻两个音视频数据采样时间点之间的时间差时，将采集到的音视频数据的时间戳标记为第二时刻T2。

此外，为了能够补充某一个或多个遗漏的采样时间点上的音视频数据，上述所述的装置还可以包括：

数据补充单元509，用于当所述第一时刻T1延时Δt对应的时刻与第二时刻T2之间的偏差大于等于相邻两个音视频数据采样时间点之间的时间差时，将采集到的音视频数据补充到所述第二时刻T2至所述第一时刻T1延时Δt对应的时刻之间的采样时间点上，并将补充后的音视频数据的时间戳标记为对应的采样时间点。

作为本发明的一个具体实施例，上述所述的确定单元503可以具体包括以下子单元：

当ΔT小于第一预设时长时，将ΔT确定为延时时长Δt的子单元；

当ΔT大于等于第一预设时长且小于第二预设时长时，将第一预设时长确定为延时时长Δt的子单元；其中，第二预设时长为所述第一预设时长的n倍；n≥2，且n为正整数；

当ΔT大于等于第二预设时长时，将ΔT/n确定为延时时长Δt的子单元。

需要说明的是，实施例三提供的音视频数据处理装置主要用于音视频数据的采集。

基于上述实施例二提供的音视频数据处理方法，本发明实施例还提供了另外一种音视频数据处理装置的具体实施方式，具体参见实施例四。

实施例四

图6是本发明实施例四提供的音视频数据处理装置结构示意图。如图6所示，该处理装置包括以下单元：

采集单元61，用于采集音视频数据；在本发明实施例中，采集单元61与实施例三提供的音视频数据处理装置的结构相同。

编码单元62，用于对采集到的音视频数据进行编码；

合成发送单元63，用于将编码后的音视频数据合成在一起，并将合成后的音视频数据发送至当前正在使用的流媒体服务器。

需要说明的是，图6所示的音视频数据处理装置可以应用于网络音视频直播系统中。当网络音视频直播系统包括备用流媒体服务器时，并且设定待发送完合成后的音视频数据后，等待接收流媒体服务器反馈的发送成功信息的时间段为预设时间段；所述预设时间段包括多个子时间段，作为本发明的一个具体实施例，合成发送单元63的具体结构可以如图7所示。其包括：

第一延时子单元631，用于自发送完合成后的音视频数据后延时一个子时间段；

第一判断子单元632，用于判断是否接收到本地服务器反馈的发送失败信息；

第一切换流媒体服务器子单元633，用于当所述第一判断子单元的判断结果为是时，将当前正在使用的流媒体服务器切换至所述备用流媒体服务器；

第二延时子单元634，用于当所述第一判断子单元的判断结果为否时，继续延时一个子时间段，并触发所述第一判断子单元执行判断是否接收到本地服务器反馈的发送失败信息的步骤，直至达到预设时间段；

第二切换流媒体服务器子单元635，用于待达到预设时间段后，如果未接收到流媒体服务器反馈的发送成功信息，将当前正在使用的流媒体服务器切换至所述备用流媒体服务器。

为了能够快速对上层发出的指令做出响应，上述所述合成发送单元还可以包括：

第二判断子单元636，用于自发送完合成后的音视频数据后延时一个子时间段后，判断是否接收到上层发出的指令，如果是，响应上层发出的指令。

此外，在第二延时子单元634执行完继续延时一个子时间段后，还可以触发所述第二判断子单元636执行判断是否接收到上层发出的指令的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (21)

1.一种音视频数据处理方法，其特征在于，所述方法包括：

计算音视频数据采样时间点，其中，设定相邻的两个音视频数据采样时间点分别为第一时刻T1和第二时刻T2；

计算第一时刻T1和第二时刻T2之间的时间间隔ΔT；

根据所述时间间隔ΔT的大小确定延时时长Δt；

判断所述第一时刻T1延时Δt对应的时刻是否大于等于第二时刻T2，如果是，控制本地服务器的CPU采集音视频数据，如果否，让出CPU以使CPU在非音视频数据采样时间点能够处理除采集音视频数据以外的其它操作。

2.根据权利要求1所述的方法，其特征在于，所述判断所述第一时刻T1延时Δt对应的时刻是否大于等于第二时刻T2，还包括：

如果否，将所述第一时刻T1更新为第一时刻T1延时Δt对应的时刻，返回执行所述计算第一时刻T1和第二时刻T2之间的时间间隔ΔT的步骤。

3.根据权利要求1所述的方法，其特征在于，所述控制本地服务器的CPU采集音视频数据后，还包括：

将所述第一时刻T1更新为第一时刻T1延时Δt对应的时刻，返回执行所述计算第一时刻T1和第二时刻T2之间的时间间隔ΔT的步骤。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述时间间隔ΔT的大小确定延时时长Δt，具体包括：

当ΔT小于第一预设时长时，将ΔT确定为延时时长Δt；

当ΔT大于等于第一预设时长且小于第二预设时长时，将第一预设时长确定为延时时长Δt；其中，第二预设时长为所述第一预设时长的n倍；n≥2，且n为正整数；

当ΔT大于等于第二预设时长时，将ΔT/n确定为延时时长Δt。

5.根据权利要求4所述的方法，其特征在于，所述n＝4。

6.根据权利要求1所述的方法，其特征在于，所述计算第一时刻T1和第二时刻T2之间的时间间隔ΔT中，所述第一时刻T1和第二时刻T2的精度达到百万分之一单位以上。

7.根据权利要求1-3任一项所述的方法，其特征在于，当所述第一时刻T1延时Δt对应的时刻与第二时刻T2之间的偏差小于相邻两个音视频数据采样时间点之间的时间差时，所述控制本地服务器的CPU采集音视频数据之后，还包括：

将采集到的音视频数据的时间戳标记为第二时刻T2。

8.根据权利要求1-3任一项所述的方法，其特征在于，当所述第一时刻T1延时Δt对应的时刻与第二时刻T2之间的偏差大于等于相邻两个音视频数据采样时间点之间的时间差时，所述控制本地服务器的CPU采集音视频数据之后，还包括：

将采集到的音视频数据补充到所述第二时刻T2至所述第一时刻T1延时Δt对应的时刻之间的采样时间点上，并将补充后的音视频数据的时间戳标记为对应的采样时间点。

9.根据权利要求1-3任一项所述的方法，其特征在于，所述控制本地服务器的CPU采集音视频数据之后，还包括：

对采集到的音视频数据进行编码；

将编码后的音视频数据合成在一起，并将合成后的音视频数据发送至当前正在使用的流媒体服务器。

10.根据权利要求9所述的方法，其特征在于，所述方法应用于网络音视频直播系统中，所述网络音视频直播系统包括备用流媒体服务器，设定待发送完合成后的音视频数据后，等待接收流媒体服务器反馈的发送成功信息的时间段为预设时间段；所述预设时间段包括多个子时间段；

所述将合成后的音视频数据发送至当前正在使用的流媒体服务器，具体包括：

自发送完合成后的音视频数据后延时一个子时间段，判断是否接收到本地服务器反馈的发送失败信息，如果是，将当前正在使用的流媒体服务器切换至所述备用流媒体服务器；如果否，继续延时一个子时间段，返回执行所述判断是否接收到本地服务器反馈的发送失败信息的步骤，直至达到预设时间段。

11.根据权利要求10所述的方法，其特征在于，所述方法还包括：

待达到预设时间段后，如果未接收到流媒体服务器反馈的发送成功信息，将当前正在使用的流媒体服务器切换至所述备用流媒体服务器。

12.根据权利要求10所述的方法，其特征在于，所述自发送完合成后的音视频数据后延时一个子时间段后，还包括：判断是否接收到上层发出的指令，如果是，响应上层发出的指令。

13.根据权利要求12所述的方法，其特征在于，所述继续延时一个子时间段后，还包括：执行所述判断是否接收到上层发出的指令的步骤。

14.一种音视频数据处理装置，其特征在于，所述装置包括：

第一计算单元，用于计算音视频数据采样时间点，其中，设定相邻的两个音视频数据采样时间点分别为第一时刻T1和第二时刻T2；

第二计算单元，用于计算第一时刻T1和第二时刻T2之间的时间间隔ΔT；

确定单元，用于根据所述时间间隔ΔT的大小确定延时时长Δt；

判断单元，用于判断所述第一时刻T1延时Δt对应的时刻是否大于等于第二时刻T2；

控制单元，用于当所述判断单元的判断结果为是时，控制本地服务器的CPU采集音视频数据；

让出CPU单元，用于当所述判断单元的判断结果为否时，让出CPU以使CPU在非音视频数据采样时间点能够处理除采集音视频数据以外的其它操作。

15.根据权利要求14所述的装置，其特征在于，所述装置还包括：

更新单元，用于在所述判断单元的判断结果为否时和/或在所述控制单元控制本地服务器的CPU采集音视频数据后，将所述第一时刻T1更新为第一时刻T1延时Δt对应的时刻，并触发所述第二计算单元计算第一时刻T1和第二时刻T2之间的时间间隔ΔT。

16.根据权利要求14或15所述的装置，其特征在于，所述确定单元具体包括：

当ΔT小于第一预设时长时，将ΔT确定为延时时长Δt的子单元；

当ΔT大于等于第一预设时长且小于第二预设时长时，将第一预设时长确定为延时时长Δt的子单元；其中，第二预设时长为所述第一预设时长的n倍；n≥2，且n为正整数；

当ΔT大于等于第二预设时长时，将ΔT/n确定为延时时长Δt的子单元。

17.根据权利要求14或15所述的装置，其特征在于，所述装置还包括：

时间戳标记单元，用于当所述第一时刻T1延时Δt对应的时刻与第二时刻T2之间的偏差小于相邻两个音视频数据采样时间点之间的时间差时，将采集到的音视频数据的时间戳标记为第二时刻T2。

18.根据权利要求14或15所述的装置，其特征在于，所述装置还包括：

数据补充单元，用于当所述第一时刻T1延时Δt对应的时刻与第二时刻T2之间的偏差大于等于相邻两个音视频数据采样时间点之间的时间差时，将采集到的音视频数据补充到所述第二时刻T2至所述第一时刻T1延时Δt对应的时刻之间的采样时间点上，并将补充后的音视频数据的时间戳标记为对应的采样时间点。

19.根据权利要求14或15任一项所述的装置，其特征在于，所述装置还包括：

编码单元，用于对采集到的音视频数据进行编码；

合成发送单元，用于将编码后的音视频数据合成在一起，并将合成后的音视频数据发送至当前正在使用的流媒体服务器。

20.根据权利要求19所述的装置，其特征在于，所述装置应用于网络音视频直播系统中，所述网络音视频直播系统包括备用流媒体服务器，设定待发送完合成后的音视频数据后，等待接收流媒体服务器反馈的发送成功信息的时间段为预设时间段；所述预设时间段包括多个子时间段；

所述合成发送单元包括：

第一延时子单元，用于自发送完合成后的音视频数据后延时一个子时间段；

第一判断子单元，用于判断是否接收到本地服务器反馈的发送失败信息；

第一切换流媒体服务器子单元，用于当所述第一判断子单元的判断结果为是时，将当前正在使用的流媒体服务器切换至所述备用流媒体服务器；

第二延时子单元，用于当所述第一判断子单元的判断结果为否时，继续延时一个子时间段，并触发所述第一判断子单元执行判断是否接收到本地服务器反馈的发送失败信息的步骤，直至达到预设时间段；

第二切换流媒体服务器子单元，用于待达到预设时间段后，如果未接收到流媒体服务器反馈的发送成功信息，将当前正在使用的流媒体服务器切换至所述备用流媒体服务器。

21.根据权利要求20所述的装置，其特征在于，所述合成发送单元还包括：

第二判断子单元，用于自发送完合成后的音视频数据后延时一个子时间段后，判断是否接收到上层发出的指令，如果是，响应上层发出的指令。