CN116233472B - 一种音频视频同步的方法和云端处理系统 - Google Patents

Abstract

本发明公开一种音频视频同步的方法和云端处理系统，方法包括：待播放的视频文件通过云端的第一传输通道向播放端传输，待播放的音频文件通过云端的第二传输通道向播放端传输；播放端预测由于视频文件和音频文件的传输不畅导致的异常播放时段，并获取异常播放时段原本对应的应播放的视频片段和音频片段；根据异常播放时段，计算按照当前播放速率的正常播放时段；根据正常播放时段和异常播放时段，调整播放端的播放速率，以为未来的异常播放时段预留等待时长。本发明提出的技术方案旨在解决现有技术中的音频和视频由于网络延迟而频繁缓冲或频繁不能同步的现象所导致的降低用户体验的弊端。

Description

一种音频视频同步的方法和云端处理系统

技术领域

本发明涉及数据传输技术领域，具体涉及一种音频视频同步的方法和一种云端处理系统。

背景技术

现有技术中，播放影音文件的时候，往往需要在播放端播放视频文件和音频文件。视频和音频从数据传输至播放端，到通过播放端播放出来时，一般分别要分别经历编码、传输和解码过程。为了保证在播放端实现音频和视频的同步，往往是利用外部时钟作为基准来校正音频和视频的播放节奏，以达到人的感知上认为播放的视频和音频达到同步的效果。

但是，在向播放端传输视频文件和音频文件的过程中，还会存在网络拥塞等网络延迟的问题，导致视频文件或者音频文件不能及时传输到播放端，或者两者中的一者传输到播放端且完成处理等待播放之前，需要等待另一者完成传输和处理。这样就会导致两者中的一者到了计划要播放的时间点，两者中的另一者还没有达到等待播放的状态，这种音频和视频由于网络延迟而频繁缓冲或不能同步的现象，导致影音播放效果不佳，降低了用户的体验感。

发明内容

本发明的主要目的是提供一种音频视频同步的方法和一种云端处理系统，旨在解决现有技术中的音频和视频由于网络延迟而频繁缓冲或不能同步的现象降低用户体验的弊端。

为实现上述目的，本发明提出的一种音频视频同步的方法包括如下步骤：

待播放的视频文件通过云端的第一传输通道向播放端传输，待播放的音频文件通过云端的第二传输通道向播放端传输；

播放端根据视频文件的接收和播放，并根据音频文件的接收和播放，预测由于视频文件和音频文件的传输不畅导致的异常播放时段，并获取异常播放时段原本对应的应播放的视频片段和音频片段；

根据异常播放时段，计算按照当前播放速率的正常播放时段；

根据正常播放时段和异常播放时段，调整播放端的播放速率，以为未来的异常播放时段预留等待时长。

优选地，所述根据正常播放时段和异常播放时段，调整播放端的播放速率，以为未来的异常播放时段预留等待时长的步骤，包括：

计算异常播放时段原本对应的应播放的视频片段和音频片段传输至播放端的等待时长；

计算延长正常播放时段以等待异常播放时段结束，所需要设置的校正播放速率；

若校正播放速率不低于设置的播放速率下限，则将播放端的播放速率调整为校正播放速率，以为未来的异常播放时段预留等待时长。

优选地，所述方法，还包括：

将视频采集终端采集的视频文件，和音频采集终端采集的音频文件，分别按照采集时间采用同步的时间戳进行标记；

在对视频文件和音频文件进行编码时，将时间戳分为若干依次连续且等长的时间片段；

将视频文件处理成对应每一时间片段的多个视频压缩包，将音频文件处理成对应每一时间片段的多个音频压缩包；

将对应于同一时间片段的视频压缩包和音频压缩包采用同一特征码进行标记，以使同一特征码关联到时间片段的起止时间，其中，特征码用于标记同一时间片段对应的视频压缩包和音频压缩包的对应关系，同一特征码对应的视频压缩包和音频压缩包属于同一影音片段。

优选地，所述待播放的视频文件通过云端的第一传输通道向播放端传输，待播放的音频文件通过云端的第二传输通道向播放端传输的步骤，包括：

将对应每一时间片段的各个视频压缩包通过第一传输通道分别向播放端传输；

将对应每一时间片段的各个音频压缩包通过第二传输通道分别向播放端传输。

优选地，所述播放端根据视频文件的接收和播放，并根据音频文件的接收和播放，预测由于视频文件和音频文件的传输不畅导致的异常播放时段，并获取异常播放时段原本对应的应播放的视频片段和音频片段的步骤，包括：

云端按照预设周期获取播放端的当前播放速率，根据初设播放速率和当前播放速率的比值，确定未播放的每一影音片段的调整播放时长；

获取第一传输通道和第二传输通道的传输速率和等待队列，以预测播放端对每一视频压缩包和每一音频压缩包分别对应的预测接收时间；其中，第一传输通道的等待队列中通过视频压缩包对应的特征码排序，第二传输通道的等待队列中通过音频压缩包对应的特征码排序，播放端成功接收的视频压缩包的特征码和音频压缩包的特征码从对应的等待队列中移除；

根据每一视频压缩包的预测接收时间、每一音频压缩包的预测接收时间、每一视频压缩包的设定解码时长、每一音频压缩包的设定解码时长、播放端正在播放的影音片段的结束时间、未播放的每一影音片段的调整播放时长，以及每一影音片段的前一影音片段的预测播放时段，预测每一影音片段的预测播放时段；

获取相邻影音片段的预测播放时段中是否存在未衔接时段；

若存在，将未衔接时段作为异常播放时段，获取异常播放时段与调整播放时长的比值，以确定播放异常的影音片段对应的异常片段数量，并根据异常片段数量将位于未衔接时段后的相等数量的预测播放时段对应的影音片段，作为异常播放时段原本对应的应播放的视频压缩包和音频压缩包。

优选地，所述根据异常播放时段，计算按照当前播放速率的正常播放时段的步骤，包括：

根据每一影音片段的预测播放时段的集合，确定正常播放时段。

优选地，所述根据正常播放时段和异常播放时段，调整播放端的播放速率，以为未来的异常播放时段预留等待时长的步骤，还包括：

获取正常播放时段对应的第一总时长，并获取所有异常播放时段对应的第二总时长；

根据第一总时长与第二总时长，调整播放端的播放速率，以为未来的异常播放时段预留等待时长。

优选地，调整播放端的播放速率具体参照如下方式：

；

其中，为第i个周期内的当前播放速率，i≥1；/>，/>为正常播放时段对应的第一总时长，/>为所有异常播放时段对应的第二总时长，/>为第i个周期内的调整后的播放速率，/>；/>为播放速率下限，/>为播放端的初设播放速率；

；

为第f个预测播放时段对应的时长，/>，/>为预测播放时段的数量；

；

为第g个异常播放时段，/>，G为异常播放时段的数量。

优选地，所述方法，还包括：

云端建立第一控制表，并将每一特征码和每一特征码对应的时间片段记录于所述第一控制表；其中，第一控制表中的各特征码按照各个影音片段的时间片段先后顺序依次排列；

云端将第一控制表和调整播放时长发送至播放端；

播放端建立第二控制表；

播放端根据播放起点时间和每一特征码对应的影音片段的调整播放时长，确定每一特征码对应的影音片段的计划播放时段；

播放端根据每一特征码对应的影音片段的计划播放时段、每一视频压缩包的设定解码时长和每一音频压缩包的设定解码时长，得到每一特征码对应的影音片段的最迟接收时间；其中，最迟接收时间指的是在满足正常播放的情况下，播放端接收到同一特征码对应的视频压缩包和音频压缩包的最迟时间；

播放端根据每一特征码、每一特征码对应的时间片段、每一特征码对应的影音片段的计划播放时段、每一特征码对应的影音片段的最迟接收时间，建立第二控制表，以通过第二控制表从播放端接收的角度侦测异常播放时段。

此外，为实现上述目的，本发明还提出一种云端处理系统，用于执行所述的方法；所述系统包括云端，所述云端分别与视频采集终端、音频采集终端和播放端通信连接。

本发明的技术方案中，播放端侦测视频文件和音频文件的播放进度，并侦测自身对视频文件和音频文件的接收情况，因此，在第一传输通道或第二传输通道存在网络拥塞等网络延迟的问题时，播放端能识别到这种传输的延迟，然后根据传输情况和播放情况，预测由于视频文件和音频文件的传输不畅导致的异常播放时段，根据异常播放时段确定按照当前播放速率的正常播放时段，根据正常播放时段和异常播放时段，来调整播放端的播放速率，以为未来的异常播放时段预留等待时长。从而，本发明由于均匀地调整了当前的播放速率，延长了正常播放时段对应的影音片段的播放时间，为视频文件或音频文件的后续传输预留了更多的等待时间。在异常播放时段相比正常播放时段比值较小的时候，这种播放速率的适当降低用户难以觉察，从而，通过预测异常播放时段来调整当前播放端的播放速率，有利于降低播放端的播放频繁卡滞或影音不同步现象，有利于避免现有技术中这种视频和音频由于网络延迟而频繁缓冲或不能同步的现象造成的降低用户的体验感的弊端。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明音频视频同步的方法一实施例的流程图；

图2为本发明一实施例中云端处理系统的框架图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

请参阅图1至图2，在本发明的音频视频同步的方法的第一实施例中，包括如下步骤：

步骤S10，待播放的视频文件通过云端的第一传输通道向播放端传输，待播放的音频文件通过云端的第二传输通道向播放端传输；

步骤S20，播放端根据视频文件的接收和播放，并根据音频文件的接收和播放，预测由于视频文件和音频文件的传输不畅导致的异常播放时段，并获取异常播放时段原本对应的应播放的视频片段和音频片段，其中，异常播放时段为视频文件和音频文件中的至少一者传输延迟导致的播放缓冲，或者为视频文件和音频文件中的至少一者传输延迟导致的视频音频不同步的一段连续时长；

步骤S30，根据异常播放时段，计算按照当前播放速率的正常播放时段；

步骤S40，根据正常播放时段和异常播放时段，调整播放端的播放速率，以为未来的异常播放时段预留等待时长。

本发明的技术方案中，播放端侦测视频文件和音频文件的播放进度，并侦测自身对视频文件和音频文件的接收情况，因此，在第一传输通道或第二传输通道存在网络拥塞等网络延迟的问题时，播放端能识别到这种传输的延迟，然后根据传输情况和播放情况，预测由于视频文件和音频文件的传输不畅导致的异常播放时段，根据异常播放时段确定按照当前播放速率的正常播放时段，根据正常播放时段和异常播放时段，来调整播放端的播放速率，以为未来的异常播放时段预留等待时长。从而，本发明由于均匀地调整了当前的播放速率，延长了正常播放时段对应的影音片段的播放时间，为视频文件或音频文件的后续传输预留了更多的等待时间。在异常播放时段相比正常播放时段比值较小的时候，这种播放速率的适当降低用户难以觉察，从而，通过预测异常播放时段来调整当前播放端的播放速率，有利于降低播放端的播放频繁卡滞或影音不同步现象，有利于避免现有技术中这种视频和音频由于网络延迟而频繁缓冲或不能同步的现象造成的降低用户的体验感的弊端。

本发明可以应用于直播场景或录播场景。

在直播场景下，视频文件从视频采集终端通过第三传输通道实时采集并传输至云端，云端根据播放端发送的请求资源指令，再将视频文件通过第一传输通道传输至播放端；同样的，音频文件从音频采集终端通过第四传输通道实时采集并传输至云端，云端根据播放端发送的请求资源指令，再将音频文件通过第二传输通道传输至播放端。

因此，当本发明应用于直播场景时，视频文件传送至播放端的进度，同时受到第三传输通道和第一传输通道的影响；音频文件传送至播放端的进度，同时受到第四传输通道和第二传输通道的影响。而通过播放端侦测视频文件的接收进度和音频文件的接收进度，则可以根据视频文件的接收进度，反映第四传输通道和第二传输通道的总传输效率，并可以根据音频文件的接收进度，反映第三传输通道和第一传输通道的总传输效率。

当同时存在请求资源的多个播放端时，由于每个播放端的网络传输情况不同，因此，每个播放端接收视频文件或音频文件的情况也并不完全同步，这样就会出现某些播放端播放出来的视频和音频不对应、不同步的情况。进一步的，如果视频文件与音频文件都传输不畅，则会导致频繁出现播放的卡滞。

本发明中，预测是否存在异常播放时段的步骤可以由具体的播放端执行。播放端从数据接收的角度侦测到可能发生播放异常的情况，具体的，播放端侦测视频文件的接收速率和音频文件的接收速率中的一者是否小于设定速率且持续设定时间，若是，则由播放端触发计算指令，以使播放端的计算模块接收到计算指令后，计算异常播放时段。反之，播放端侦测视频文件的接收速率和音频文件的接收速率都达到设定速率时，则不触发计算指令，直接按照播放端的播放起点时间和当前播放速率预测每个影音片段的播放时段。此情况同时适用于影音文件的直播或者是录播。

以上是从播放端的数据接收的角度来侦测可能发生播放异常的情况。此外，由于数据开始发送至数据成功接收中间存在传输时间差，为了使播放端能更及时的觉察数据传输不畅这种异常，本发明还可以从数据发送的角度侦测传输不畅，以在侦测到数据传输不畅时，及时向播放端发出告警，以使播放端能更早地调整当前播放速率，预留更多的等待时长，从而降低影音片段传输不同步和播放卡滞的异常。例如，由于云端同时与视频文件采集终端、音频文件采集终端和播放端信号连接，因此，云端可以同时侦测第一传输通道、第二传输通道、第三传输通道和第四传输通道的传输速率，当其中一传输通道的传输速率小于设定速率且持续设定时间时，云端向对应的播放端发送告警信号，且告警信号包含当前各传输通道的传输速率，播放端接收到告警信号后，将告警信号转发至播放端的计算模块，计算模块根据当前各传输通道的传输速率确定异常播放时段。

基于本发明的第一实施例，本发明的第二实施例中，所述步骤S40，包括：

步骤S41，计算异常播放时段原本对应的应播放的视频片段和音频片段传输至播放端的等待时长；

步骤S42，计算延长正常播放时段以等待异常播放时段结束，所需要设置的校正播放速率；

若校正播放速率不低于设置的播放速率下限，则执行步骤S43：将播放端的播放速率调整为校正播放速率，以为未来的异常播放时段预留等待时长。从而通过步骤S43可以消除异常播放时段。

若校正播放速率低于设置的播放速率下限，则执行步骤S44：将播放端的播放速率调整为播放速率下限，以为未来的异常播放时段预留等待时长。此时，通过步骤S44并不能完全消除异常播放时段，而可以最大限度缩短异常播放时段。

设置的播放速率下限用于保证用户在播放速率降低，为传输不畅预留更多等待时长的过程中，还能保持良好的观看体验，避免影音播放慢速导致的不良体验。

具体的，步骤S41至步骤S44可以由播放端的计算模块执行。在计算得到等待时长后，原本侦测到的传输不畅情况可能会更加严重、快速消除或者达到更优越的传输速度：

从而，为了避免传输不畅更严重导致的预留等待时长不够的情况，在播放端向云端发送请求资源指令时，云端根据请求资源指令在自身与播放端之间建立第一传输通道和第二传输通道，通过第一传输通道向播放端发送用于检测视频文件传输速率的测试视频，以获取第一传输通道的测试速率；并通过第二传输通道向播放端发送用于检测音频文件传输速率的测试音频，以获取第二传输通道的测试速率。测试音频和测试视频可以来源于广告影音片段。

云端将第一传输通道的测试速率和第二传输通道的测试速率发送至播放端的计算模块，以使计算模块计算得到播放端的初设播放速率，播放端根据初设播放速率启动影音数据的播放。容易理解，当第一传输通道的测试速率和第二传输通道的测试速率均达到设定速率时，确定的初设播放速率可以为正常播放速率；当第一传输通道的测试速率和第二传输通道的测试速率其中一者未达到设定速率时，确定的初设播放速率为正常播放速率进行降速后的速率。容易理解，初设播放速率不低于设置的播放速率下限。

基于本发明的第一实施例或第二实施例，本发明的第三实施例中，所述方法，还包括：

步骤S50，将视频采集终端采集的视频文件，和音频采集终端采集的音频文件，分别按照采集时间采用同步的时间戳进行标记；

步骤S60，在对视频文件和音频文件进行编码时，将时间戳分为若干依次连续且等长的时间片段；

步骤S70，将视频文件处理成对应每一时间片段的多个视频压缩包，将音频文件处理成对应每一时间片段的多个音频压缩包；

步骤S80，将对应于同一时间片段的视频压缩包和音频压缩包采用同一特征码进行标记，以使同一特征码关联到时间片段的起止时间，其中，特征码用于标记同一时间片段对应的视频压缩包和音频压缩包的对应关系，同一特征码对应的视频压缩包和音频压缩包属于同一影音片段。

具体的，在播放端进行视频压缩包的解码时，将解码后得到的视频片段仍采用特征码进行标记；在播放端进行音频压缩包的解码时，将解码后得到的音频片段仍采用特征码进行标记。

云端获取播放端的当前播放速率，根据播放速率和初设播放速率的比值，调整每一特征码对应的影音片段的调整播放时长。例如，假设每一时间片段原始对应影音文件的时间片段的长度为10秒，而由于播放速率调整至小于初设播放速率，则每一时间片段对应影音文件的调整播放时长也会大于10秒。

基于本发明的第三实施例，本发明的第四实施例中，所述步骤S10，包括：

步骤S11，将对应每一时间片段的各个视频压缩包通过第一传输通道分别向播放端传输；

步骤S12，将对应每一时间片段的各个音频压缩包通过第二传输通道分别向播放端传输。

进一步的，当第一传输通道的测试速率和第二传输通道的测试速率其中一者未达到设定的最低传输速率时，云端向播放端建立多传输通道进行传输，以通过多通道并行的模式，提高视频文件或音频文件向播放端的传输速率。

基于本发明的第四实施例，本发明的第五实施例中，所述步骤S20，包括：

步骤S21，云端按照预设周期获取播放端的当前播放速率，根据初设播放速率和当前播放速率的比值，确定未播放的每一影音片段的调整播放时长；

步骤S22，获取第一传输通道和第二传输通道的传输速率和等待队列，以预测播放端对每一视频压缩包和每一音频压缩包分别对应的预测接收时间；其中，第一传输通道的等待队列中通过视频压缩包对应的特征码排序，第二传输通道的等待队列中通过音频压缩包对应的特征码排序，播放端成功接收的视频压缩包的特征码和音频压缩包的特征码从对应的等待队列中移除；

步骤S23，根据每一视频压缩包的预测接收时间、每一音频压缩包的预测接收时间、每一视频压缩包的设定解码时长、每一音频压缩包的设定解码时长、播放端正在播放的影音片段的结束时间、未播放的每一影音片段的调整播放时长，以及每一影音片段的前一影音片段的预测播放时段，预测每一影音片段的预测播放时段；

步骤S24，获取相邻影音片段的预测播放时段中是否存在未衔接时段；

若存在，则执行步骤S25：将未衔接时段作为异常播放时段，获取异常播放时段与调整播放时长的比值，以确定播放异常的影音片段对应的异常片段数量，并根据异常片段数量将位于未衔接时段后的相等数量的预测播放时段对应的影音片段，作为异常播放时段原本对应的应播放的视频压缩包和音频压缩包。

本实施例可以在播放端开始播放后即执行。

本实施例的执行是按照预设的周期来执行的。例如，在播放端开始播放的第一个周期开始，当前播放速率等于初设播放速率，此时，每一影音片段的调整播放时长就等于时间片段的长度。

而随着第一传输通道和第二传输通道的传输速率的变化，假如存在传输速率不通畅，则会根据正常播放时段和异常播放时段，调整播放端的播放速率。从而， 在播放速率调整后，还未播放的每一音频片段对应的调整播放时长不再等于时间片段的长度。具体计算方式为：

；

其中，为第i个周期内的当前播放速率（也就是上一周期结束时的调整播放速率，若当前周期为第1个周期，则当前播放速率为/>），/>，i≥1；/>为初设播放速率，/>为播放速率下限；/>为时间片段的长度，/>为第i个周期内调整播放速率后，未播放的每个影音片段的调整播放时长。

因此，每一影音片段的调整播放时长并不一定是相等的。例如，若从开始播放到某一周期的顺畅传输时段内，网络传输状态一直良好，则该顺畅时段对应的播放速率可以一直为初设播放速率，此时，上述初设播放速率和当前播放速率的比值为1，该顺畅传输时段内的每一影音片段的调整播放时长实际上就为时间片段的长度。

而进入某一周期后，若网络传输速率下降，且会需要降低播放速率，则该周期的下一周期后，当前播放速率等于降低后的播放速率，此时，上述初设播放速率和当前播放速率的比值大于1，则每一影音片段的调整播放时长就大于时间片段的长度。

基于本发明的第五实施例，本发明的第六实施例中，所述步骤S30包括：

步骤S31，根据每一影音片段的预测播放时段的集合，确定正常播放时段。

具体的，根据前后能够衔接的影音片段的计划播放时段，确定正常播放时段。

基于本发明的第六实施例，本发明的第七实施例中，所述步骤S40还包括：

步骤S45，获取正常播放时段对应的第一总时长，并获取所有异常播放时段对应的第二总时长；

步骤S46，根据第一总时长与第二总时长，调整播放端的播放速率，以为未来的异常播放时段预留等待时长。

调整播放端的播放速率具体参照如下方式：

；

其中，为第i个周期内的当前播放速率，i≥1；/>，/>为正常播放时段对应的第一总时长，/>为所有异常播放时段对应的第二总时长，/>为第i个周期内的调整后的播放速率，/>；/>为播放速率下限，/>为播放端的初设播放速率；

；

为第f个预测播放时段对应的时长，/>，/>为预测播放时段的数量；

；

为第g个异常播放时段，/>，G为异常播放时段的数量。

进一步的，。

基于本发明的第五实施例至第七实施例，本发明的第八实施例中，所述方法，还包括：

步骤S90，云端建立第一控制表，并将每一特征码和每一特征码对应的时间片段记录于所述第一控制表；其中，第一控制表中的各特征码按照各个影音片段的时间片段先后顺序依次排列；

步骤S100，云端将第一控制表和调整播放时长发送至播放端；

步骤S110，播放端建立第二控制表；

步骤S120，播放端根据播放起点时间和每一特征码对应的影音片段的调整播放时长，确定每一特征码对应的影音片段的计划播放时段；

步骤S130，播放端根据每一特征码对应的影音片段的计划播放时段、每一视频压缩包的设定解码时长和每一音频压缩包的设定解码时长，得到每一特征码对应的影音片段的最迟接收时间；其中，最迟接收时间指的是在满足正常播放的情况下，播放端接收到同一特征码对应的视频压缩包和音频压缩包的最迟时间；

步骤S140，播放端根据每一特征码、每一特征码对应的时间片段、每一特征码对应的影音片段的计划播放时段、每一特征码对应的影音片段的最迟接收时间，建立第二控制表，以通过第二控制表从播放端接收的角度侦测异常播放时段。

具体的，第二控制表中记录的每一特征码对应的影音片段的最迟接收时间，包括视频压缩包的最迟接收时间和音频压缩包的最迟接收时间。

进一步的，所述第二控制表还包括每一特征码对应的视频压缩包和音频压缩包分别的实际接收时间。具体的，播放端每次接收到新的视频压缩包或音频压缩包时，获取到新的视频压缩包或音频压缩包对应的特征码作为待标记特征码，并在第二控制表中记录待标记特征码对应的视频压缩包或音频压缩包的实际接收时间。

当待标记特征码对应的视频压缩包和音频压缩包的其中一者的实际接收时间晚于对应的最迟接收时间时，将该待标记特征码标记为异常特征码，并根据异常特征码对应的最迟接收时间与晚于最迟接收时间的实际接收时间的时间差，将异常特征码对应的影音片段的计划播放时段向后顺延该时间差，以得到异常播放时段。根据异常播放时段原本对应的应播放的视频片段和音频片段标记为播放异常片段。

当待标记特征码被标记的实际接收时间不超过该特征码对应的最迟接收时间时，将该特征码对应的影音片段标记为播放正常片段，此时，根据所有的播放正常片段的集合，确定正常播放时段。

从而，播放端根据第二控制表的记录，即可确定异常播放时段和正常播放时段。

本发明的第八实施例用于从播放端接收视频压缩包和音频压缩包的角度，侦测异常播放时段。而本发明的第五实施例用于从数据传输是否顺畅的角度侦测异常播放时段。容易理解，从数据传输是否顺畅的角度来侦测异常播放时段，能提前预测异常播放时段，但是，其依赖于云端与播放端的及时通信。若是通信情况良好，则第五实施例在预测异常播放时段方面会达到更优的效果，而若是通信情况不佳，则可以通过从播放端接收视频压缩包和音频压缩包的角度，侦测异常播放时段。

此外，为实现上述目的，本发明还提出一种云端处理系统，用于执行所述的方法；所述系统包括云端，所述云端分别与视频采集终端、音频采集终端和播放端通信连接。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (9)

1.一种音频视频同步的方法，其特征在于，包括如下步骤：

待播放的视频文件通过云端的第一传输通道向播放端传输，待播放的音频文件通过云端的第二传输通道向播放端传输；

播放端根据视频文件的接收和播放，并根据音频文件的接收和播放，预测由于视频文件和音频文件的传输不畅导致的异常播放时段，并获取异常播放时段原本对应的应播放的视频片段和音频片段，包括：云端按照预设周期获取播放端的当前播放速率，根据初设播放速率和当前播放速率的比值，确定未播放的每一影音片段的调整播放时长；

根据异常播放时段，计算按照当前播放速率的正常播放时段；

根据正常播放时段和异常播放时段，调整播放端的播放速率，以为未来的异常播放时段预留等待时长；

将对应于同一时间片段的视频压缩包和音频压缩包采用同一特征码进行标记，以使同一特征码关联到时间片段的起止时间，其中，特征码用于标记同一时间片段对应的视频压缩包和音频压缩包的对应关系，同一特征码对应的视频压缩包和音频压缩包属于同一影音片段；

云端建立第一控制表，并将每一特征码和每一特征码对应的时间片段记录于所述第一控制表；其中，第一控制表中的各特征码按照各个影音片段的时间片段先后顺序依次排列；

云端将第一控制表和调整播放时长发送至播放端；

播放端建立第二控制表；

播放端根据播放起点时间和每一特征码对应的影音片段的调整播放时长，确定每一特征码对应的影音片段的计划播放时段；

播放端根据每一特征码对应的影音片段的计划播放时段、每一视频压缩包的设定解码时长和每一音频压缩包的设定解码时长，得到每一特征码对应的影音片段的最迟接收时间；其中，最迟接收时间指的是在满足正常播放的情况下，播放端接收到同一特征码对应的视频压缩包和音频压缩包的最迟时间；

播放端根据每一特征码、每一特征码对应的时间片段、每一特征码对应的影音片段的计划播放时段、每一特征码对应的影音片段的最迟接收时间，建立第二控制表，以通过第二控制表从播放端接收的角度侦测异常播放时段。

2.根据权利要求1所述的音频视频同步的方法，其特征在于，所述根据正常播放时段和异常播放时段，调整播放端的播放速率，以为未来的异常播放时段预留等待时长的步骤，包括：

计算异常播放时段原本对应的应播放的视频片段和音频片段传输至播放端的等待时长；

计算延长正常播放时段以等待异常播放时段结束，所需要设置的校正播放速率；

若校正播放速率不低于设置的播放速率下限，则将播放端的播放速率调整为校正播放速率，以为未来的异常播放时段预留等待时长。

3.根据权利要求1所述的音频视频同步的方法，其特征在于，所述方法，还包括：

将视频采集终端采集的视频文件，和音频采集终端采集的音频文件，分别按照采集时间采用同步的时间戳进行标记；

在对视频文件和音频文件进行编码时，将时间戳分为若干依次连续且等长的时间片段；

将视频文件处理成对应每一时间片段的多个视频压缩包，将音频文件处理成对应每一时间片段的多个音频压缩包。

4.根据权利要求3所述的音频视频同步的方法，其特征在于，所述待播放的视频文件通过云端的第一传输通道向播放端传输，待播放的音频文件通过云端的第二传输通道向播放端传输的步骤，包括：

将对应每一时间片段的各个视频压缩包通过第一传输通道分别向播放端传输；

将对应每一时间片段的各个音频压缩包通过第二传输通道分别向播放端传输。

5.根据权利要求4所述的音频视频同步的方法，其特征在于，所述播放端根据视频文件的接收和播放，并根据音频文件的接收和播放，预测由于视频文件和音频文件的传输不畅导致的异常播放时段，并获取异常播放时段原本对应的应播放的视频片段和音频片段的步骤，包括：

获取第一传输通道和第二传输通道的传输速率和等待队列，以预测播放端对每一视频压缩包和每一音频压缩包分别对应的预测接收时间；其中，第一传输通道的等待队列中通过视频压缩包对应的特征码排序，第二传输通道的等待队列中通过音频压缩包对应的特征码排序，播放端成功接收的视频压缩包的特征码和音频压缩包的特征码从对应的等待队列中移除；

根据每一视频压缩包的预测接收时间、每一音频压缩包的预测接收时间、每一视频压缩包的设定解码时长、每一音频压缩包的设定解码时长、播放端正在播放的影音片段的结束时间、未播放的每一影音片段的调整播放时长，以及每一影音片段的前一影音片段的预测播放时段，预测每一影音片段的预测播放时段；

获取相邻影音片段的预测播放时段中是否存在未衔接时段；

若存在，将未衔接时段作为异常播放时段，获取异常播放时段与调整播放时长的比值，以确定播放异常的影音片段对应的异常片段数量，并根据异常片段数量将位于未衔接时段后的相等数量的预测播放时段对应的影音片段，作为异常播放时段原本对应的应播放的视频压缩包和音频压缩包。

6.根据权利要求5所述的音频视频同步的方法，其特征在于，所述根据异常播放时段，计算按照当前播放速率的正常播放时段的步骤，包括：

根据每一影音片段的预测播放时段的集合，确定正常播放时段。

7.根据权利要求6所述的音频视频同步的方法，其特征在于，所述根据正常播放时段和异常播放时段，调整播放端的播放速率，以为未来的异常播放时段预留等待时长的步骤，还包括：

获取正常播放时段对应的第一总时长，并获取所有异常播放时段对应的第二总时长；

根据第一总时长与第二总时长，调整播放端的播放速率，以为未来的异常播放时段预留等待时长。

8.根据权利要求7所述的音频视频同步的方法，其特征在于，调整播放端的播放速率具体参照如下方式：

；

其中，为第i个周期内的当前播放速率，i≥1；/>，/>为正常播放时段对应的第一总时长，/>为所有异常播放时段对应的第二总时长，/>为第i个周期内的调整后的播放速率，/>；/>为播放速率下限，/>为播放端的初设播放速率；

；

为第f个预测播放时段对应的时长，/>，/>为预测播放时段的数量；

；

为第g个异常播放时段，/>，G为异常播放时段的数量。

9.一种云端处理系统，其特征在于，用于执行如权利要求1至8中任一项所述的方法；所述系统包括云端，所述云端分别与视频采集终端、音频采集终端和播放端通信连接。