CN108462896A - 直播数据流处理方法、装置及电子设备 - Google Patents

Abstract

本发明实施例提供一种直播数据流处理方法、装置及电子设备，该方法包括：根据在第一时间获取到的第一待播放音频帧的时间戳以及第一时间确定参考时间差。再根据第二时间获取到的第二待播放音频帧的时间戳以及第二时间确定实际时间差。若实际时间差与参考时间差之差大于预设阈值，则根据第二待播放音频帧的时间戳确定目标音频帧，再根据目标音频帧的时间戳确定目标视频帧，使观看客户端播放由此目标音频帧与目标视频帧组成的直播数据流。通过上述描述可知，本发明的方法实际为：当直播数据流存在延迟时，通过对直播数据流中音频帧和视频帧的丢弃来达到改善直播数据流延迟的效果，使观看用户看到实时的直播数据流，提高观看用户与主播互动的及时性。

Description

直播数据流处理方法、装置及电子设备

技术领域

本发明涉及视频直播技术领域，尤其涉及一种直播数据流处理方法、装置 及电子设备。

背景技术

近年来，人们通过通信设备可以获得越来越多样化的娱乐方式，如微博、 手机游戏、网络视频直播等，其中网络视频直播由于其直观、内容丰富、受众 可划分等特点，发展地尤为迅速。

现有技术中，主播客户端会先将直播数据流发送至内容分发网络(ContentDelivery Network，简称CDN)节点，观看客户端再通过CDN节点拉取直播数 据流也即是实现了观看直播。但是，由于观看客户端与CDN节点之间的网络环 境往往不稳定，网络的不稳定会使观看用户看到存在延迟的直播数据流，从而 最终导致观看用户不能与主播进行及时互动，降低用户的使用体验。

发明内容

有鉴于此，本发明实施例提供一种直播数据流处理方法、装置及电子设备， 用以改善直播数据流的延迟问题。

本发明实施例提供一种直播数据流处理方法，包括：

根据第一时间获取到的第一待播放音频帧的时间戳以及所述第一时间确定 参考时间差；

根据第二时间获取到的第二待播放音频帧的时间戳以及所述第二时间确定 实际时间差，其中，所述第一时间早于所述第二时间且二者间隔预设时间间隔；

若所述实际时间差与所述参考时间差之差大于预设阈值，则根据所述第二 待播放音频帧的时间戳确定目标音频帧；

根据所述目标音频帧的时间戳确定目标视频帧，以使观看客户端播放由所 述目标音频帧以及所述目标视频帧组成的直播数据流。

可选地，所述若所述实际时间差与所述参考时间差之差大于预设阈值，则 根据所述第二待播放音频帧的时间戳确定目标音频帧，包括:

判断存储有待播放音频帧的音频缓存队列中是否存在待播放音频帧；

若所述实际时间差与所述参考时间差之差大于预设阈值且所述音频缓存队 列中存在待播放音频帧，则执行所述根据所述第二待播放音频帧的时间戳确定 目标音频帧的步骤；

若所述实际时间差与所述参考时间差之差大于预设阈值且所述音频缓存队 列中不存在待播放音频帧，则确定所述第二待播放音频帧为所述目标音频帧。

可选地，所述若所述实际时间差与所述参考时间差之差大于预设阈值且所 述音频缓存队列中存在待播放音频帧，则执行所述根据所述第二待播放音频帧 的时间戳确定目标音频帧的步骤，包括：

从所述音频缓存队列中筛选出时间戳大于所述第二待播放音频帧的时间戳 的音频帧；

根据所述实际时间差与所述参考时间差之差大于预设阈值的程度高低，结 合所述第二待播放音频帧的时间戳，在筛选出的音频帧中确定具有相应时间戳 的音频帧为所述目标音频帧，其中，所述目标音频帧的时间戳和所述第二待播 放音频帧的时间戳之差与所述程度高低存在对应关系。

可选地，所述根据所述目标音频帧的时间戳确定目标视频帧，包括：

从存储有待播放视频帧的视频缓存队列中筛选时间戳大于或等于所述目标 音频帧的时间戳的视频帧；

确定筛选出的视频帧中具有最小时间戳的视频帧为所述目标视频帧。

可选地，所述根据第一时间获取到的第一待播放音频帧的时间戳以及所述 第一时间确定参考时间差，包括：

对所述获取到的第一待播放音频帧的时间戳进行单位转换；

根据单位转换后的时间戳与所述第一时间确定所述参考时间差；

所述根据第二时间获取到的第二待播放音频帧的时间戳以及所述第二时间 确定实际时间差，包括：

对所述获取到的第二待播放音频帧的时间戳进行单位转换；

根据单位转换后的时间戳与所述第二时间确定所述实际时间差。

本发明实施例提供一种直播数据流处理装置，包括：

时间差确定模块，用于根据第一时间获取到的第一待播放音频帧的时间戳 以及所述第一时间确定参考时间差；以及，

根据第二时间获取到的第二待播放音频帧的时间戳以及所述第二时间确定 实际时间差，其中，所述第一时间早于所述第二时间且二者间隔预设时间间隔；

音频帧确定模块，用于若所述实际时间差与所述参考时间差之差大于预设 阈值，则根据所述第二待播放音频帧的时间戳确定目标音频帧；

视频帧确定模块，用于根据所述目标音频帧的时间戳确定目标视频帧，以 使观看客户端播放由所述目标音频帧以及所述目标视频帧组成的直播数据流。

可选地，所述音频帧确定模块包括：

判断单元，用于判断存储有待播放音频帧的音频缓存队列中是否存在待播 放音频帧；

音频帧确定单元，用于若所述实际时间差与所述参考时间差之差大于预设 阈值且所述音频缓存队列中存在待播放音频帧，则执行所述根据所述第二待播 放音频帧的时间戳确定目标音频帧的步骤；以及，

若所述实际时间差与所述参考时间差之差大于预设阈值且所述音频缓存队 列中不存在待播放音频帧，则确定所述第二待播放音频帧为所述目标音频帧。

可选地，所述音频帧确定单元具体用于：

从所述音频缓存队列中筛选出时间戳大于所述第二待播放音频帧的时间戳 的音频帧；以及，

根据所述实际时间差与所述参考时间差之差大于预设阈值的程度高低，结 合所述第二待播放音频帧的时间戳，在筛选出的音频帧中确定具有相应时间戳 的音频帧为所述目标音频帧，其中，所述目标音频帧的时间戳和所述第二待播 放音频帧的时间戳之差与所述程度高低存在对应关系。

可选地，所述时间差确定模块具体用于：

对所述获取到的第一待播放音频帧的时间戳进行单位转换，根据单位转换 后的时间戳与所述第一时间确定所述参考时间差；以及，

对所述获取到的第二待播放音频帧的时间戳进行单位转换，根据单位转换 后的时间戳与所述第二时间确定所述实际时间差。

本发明实施例提供一种电子设备，包括：存储器，以及与所述存储器连接 的处理器；

所述存储器，用于存储一条或多条计算机指令，其中，所述一条或多条计 算机指令供所述处理器调用执行；

所述处理器，用于执行所述一条或多条计算机指令以实现上述直播数据流 处理方法中的任意一种方法。

本发明实施例提供的直播数据流处理方法、装置及电子设备，观看客户端 在响应于用户触发的观看直播操作后，便会不断从CDN节点获取包含音频帧和 视频帧的直播数据流。观看客户端根据在第一时间获取到的第一待播放音频帧 的时间戳以及第一时间确定参考时间差，此参考时间差表示在观看客户端与 CDN节点之间网络正常的情况下由于数据传输而产生的时间差，且第一时间通 常是观看用户观看直播的起始时间。随着直播数据流的不断播放，出现直播数 据流延迟的可能性也不断增加，因此，在间隔预设时间间隔后，观看客户端再 根据第二时间获取到的第二待播放音频帧的时间戳以及第二时间确定实际时间 差，此实际时间差中可以同时包含数据传输产生的时间差以及直播数据流延迟 产生的时间差。当实际时间差与参考时间差之差大于预设阈值时，则表明直播 数据流已经存在延迟，此时，观看客户端可以根据第二待播放音频帧的时间戳 确定目标音频帧。继而，再根据目标音频帧的时间戳确定目标视频帧，最终， 观看客户端会播放由目标音频帧与目标视频帧组成的直播数据流。上述直播数 据流处理方法实际上为：当实际时间差与参考时间差之差大于预设阈值时也即 是存在延迟时，观看客户端不会播放第二待播放音频帧以及与第二待播放音频 帧对应的视频帧，而是跳过它们直接播放确定出的目标音频帧以及目标视频帧。 通过对音频帧和视频帧的丢弃处理可以不断弥补并最终消除直播数据流出现的 延迟。这样使得在观看客户端与CDN节点之间的网络不稳定时，观看用户也可 以观看到不存在延迟的直播数据流，从而实现与主播的实时互动。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描 述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出 创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的直播数据流处理方法实施例一的流程图；

图2为本发明实施例提供的直播数据流处理方法实施例二的流程图；

图3为本发明实施例提供的直播数据流处理装置实施例一的结构示意图；

图4为本发明实施例提供的直播数据流处理装置实施例二的结构示意图；

图5为本发明实施例提供的电子设备实施例一的结构示意图；

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明 实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然， 所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中 的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其 他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨 在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、 “所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种” 一般包含至少两种，但是不排除包含至少一种的情况。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系， 表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在 A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对 象是一种“或”的关系。

应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描 述待播放音频帧，但这些待播放音频帧不应限于这些术语。这些术语仅用来将 待播放音频帧彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一 待播放音频帧也可以被称为第二待播放音频帧，类似地，第二待播放音频帧也 可以被称为第一待播放音频帧。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时” 或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如 果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应 于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他 性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且 还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的 要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除 在包括所述要素的商品或者系统中还存在另外的相同要素。

观看用户使用观看客户端进入直播网站，观看用户可以通过观看客户端提 供的操作界面中选择某一直播间进行观看。观看客户端在响应于观看用户触发 的观看直播操作后，会持续从CDN节点获取包含音频帧和视频帧的直播数据流。

基于此，图1为本发明实施例提供的直播数据流处理方法实施例一的流程 图，本实施例提供的该直播数据流处理方法的执行主体可以为安装于终端设备 上的观看客户端，如图1所示，该方法包括如下步骤：

S101，根据第一时间获取到的第一待播放音频帧的时间戳以及第一时间确 定参考时间差。

S102，根据第二时间获取到的第二待播放音频帧的时间戳以及第二时间确 定实际时间差，其中，第一时间早于第二时间且二者间隔预设时间间隔。

观看客户端从CDN节点获取到的是同时包含有音频流和视频流的直播数据 流，其中，音频流由若干音频帧组成，视频流由若干视频帧组成。此时，可选 地，观看客户端可以通过调用相关函数的方式来将直播数据流分解成一路音频 流和一路视频流。

然后，观看客户端先对音频流进行处理。具体地，观看客户端可以在第一 时间获取到第一待播放音频帧以及此第一待播放音频帧的时间戳，其中，音频 帧的时间戳可以是在主播客户端产生直播数据流时已经为音频帧添加上的，此 时间戳用于表示此帧音频的播放时间。接着，观看客户端便可以根据第一待播 放音频的时间戳与第一时间确定出参考时间差。此参考时间差表示将第一待播 放音频帧从CDN节点传输至观看客户端的传输时间。在实际应用中，可选地， 第一时间通常是观看用户观看直播的起始时间或者是距离起始时间较近的一个 时间，例如距离起始时间1s的时间，通常情况下，观看客户端与CDN节点之 间的网络通常是处于正常状态的。

在观看客户端确定参考时间差的同时，观看客户端还可以继续从CDN节点 处获取包含音频流和视频流的直播数据流。在与第一时间间隔预设时间间隔后， 与确定参考时间差相似地，观看客户端还会根据第二时间获取到的第二待播放 音频帧的时间戳以及第二时间确定出实际时间差。实际应用中，可选地，预设 时间间隔可以是3s。随着观看用户观看直播时间的增长，观看客户端与CDN节 点之间存在网络波动的可能也随之增加。因此，观看客户端确定出的此实际时 间差中不仅包含将第二待播放音频帧从CDN节点传输到观看客户端的传输时间 还有可能包含由于网络不稳定而产生的延迟时间。

S103，若实际时间差与参考时间差之差大于预设阈值，则根据第二待播放 音频帧的时间戳确定目标音频帧。

S104，根据目标音频帧的时间戳确定目标视频帧，以使观看客户端播放由 目标音频帧以及目标视频帧组成的直播数据流。

观看客户端可以进一步地根据上述步骤确定出的参考时间差和实际时间差 计算出二者的差值，此时会出现两种情况：

一种情况，实际时间差与参考时间差之差小于预设阈值，此时，表示当前 直播数据流不存在延迟，观看用户可以通过观看客户端实时观看到主播客户端 产生的直播数据流，观看客户端不需要对音频流以及视频流进行任何处理。

另一种情况，实际时间差与参考时间差之差大于预设阈值，此时，表示直 播数据流存在延迟，此时，观看客户端需要对音频流以及视频流进行处理。一 种可选地的方式，观看客户端会将本应即将播放的第二待播放音频帧丢弃，而 将与第二待播放音频帧相邻的后一帧音频作为即将播放的目标音频帧，上述确 定出目标音频帧的过程也即是完成了对音频流的处理。在观看客户端将当前正 在播放的音频帧播放完毕后便会直接播放此目标音频帧。

在完成对音频流的处理后，观看客户端开始对视频流进行处理。具体地， 观看客户端可以根据目标音频帧的时间戳确定应该与此目标音频帧同时播放的 目标视频帧。一种可选地方式，观看客户端从获取到的各个待播放视频帧中筛 选出时间戳大于或等于目标音频帧的时间戳的视频帧，并将筛选出的视频帧中 具有最小时间戳的视频帧确定为目标视频帧。由于音频帧是经过丢弃处理的， 而目标视频帧又是根据目标音频帧确定出来的，因此，视频帧也相当于是经过 丢弃处理的。

最终，观看客户端播放在当前正在播放的音频帧和视频帧播放完毕后就会 播放由目标音频帧以及目标视频帧组成的直播数据流。

本实施例中，观看客户端根据在第一时间获取到的第一待播放音频帧的时 间戳以及第一时间确定参考时间差，此参考时间差表示在观看客户端与CDN节 点之间网络正常的情况下由于数据传输而产生的时间差，且第一时间通常是观 看用户观看直播的起始时间。随着直播数据流的不断播放，出现直播数据流延 迟的可能性也不断增加，因此，在间隔预设时间间隔后，观看客户端再根据第 二时间获取到的第二待播放音频帧的时间戳以及第二时间确定实际时间差，此 实际时间差中可以同时包含数据传输产生的时间差以及直播数据流延迟产生的 时间差。当实际时间差与参考时间差之差大于预设阈值时，则表明直播数据流 已经存在延迟，此时，观看客户端可以根据第二待播放音频帧的时间戳确定目标音频帧。继而，再根据目标音频帧的时间戳确定目标视频帧，最终，观看客 户端会播放由目标音频帧与目标视频帧组成的直播数据流。上述直播数据流处 理方法实际上为：当实际时间差与参考时间差之差大于预设阈值时也即是存在 延迟时，观看客户端不会播放第二待播放音频帧以及与第二待播放音频帧对应 的视频帧，而是跳过它们直接播放确定出的目标音频帧以及目标视频帧。通过 对音频帧和视频帧的丢弃处理可以不断弥补并最终消除直播数据流出现的延迟。 这样使得在观看客户端与CDN节点之间的网络不稳定时，观看用户也可以观看 到不存在延迟的直播数据流，从而实现与主播的实时互动。

观看客户端获取到的音频帧的时间戳、第一时间以及第二时间都是用于表 示时间的数据，并且它们可以采用相同单位或者不同单位的数值来表示。当音 频帧的时间戳、第一时间以及第二时间是具有相同单位的数据时，观看客户端 可以采用上述实施例一中描述的方式直接确定出参考时间差和实际时间差。但 在实际应用中，观看客户端获取到的时间戳、第一时间以及第二时间往往是具 有不同单位的数据。

针对此种情况，图2为本发明实施例提供的直播数据流处理方法实施例二 的流程图，如图2所示，该方法包括如下步骤：

S201，对获取到的第一待播放音频帧的时间戳进行单位转换。

S202，根据单位转换后的时间戳与第一时间确定参考时间差。

S203，对获取到的第二待播放音频帧的时间戳进行单位转换。

S204，根据单位转换后的时间戳与第二时间确定实际时间差。

当音频帧的时间戳、第一时间和第二时间三个时间参数的单位不同时，直 接做差得到的参考时间差和实际时间差是没有意义的。因此，在获取到第一待 播放音频帧的时间戳后，会对此第一待播放音频帧的时间戳进行单位转换，将 其转换成与第一时间具有相同单位的数据，再根据单位转换后的时间戳与第一 时间做差从而得到参考时间差。

与上述描述类似地，观看客户端在获取到第二待播放音频帧的时间戳后， 也会对此时间戳进行单位转换，再利用格式单位后的时间戳与第二时间做差， 从而得到实际时间差。

在此需要说明的是，单位转换后的时间戳仅是用于计算参考时间差和实际 时间差的，而后续对音频流和视频流的处理过程中使用的时间戳还是未经过单 位转换的时间戳。

S205，若实际时间差与参考时间差之差大于预设阈值，则根据第二待播放 音频帧的时间戳确定目标音频帧。

观看客户端从CDN节点获取到的待播放音频帧和待播放视频帧后，可选地， 可以分别将其缓存于音频缓存队列和视频缓存队列中。若根据前述步骤确定出 的参考时间差和实际时间差二者之间的差值大于预设阈值，则表明当前直播数 据流是存在延迟的。此时，观看客户端会先判断存储有待播放音频帧的音频缓 存队列中是否存在待播放音频帧，并根据判断的结果对音频流进行相应处理。

一种情况，若实际时间差与参考时间差之差大于预设阈值且音频缓存队列 中存在待播放音频帧，则观看客户端可以根据第二待播放音频帧的时间戳确定 目标音频帧。在当前正在播放的直播数据流播放完毕后，观看客户端则会跳过 本应播放的第二待播放音频帧，而是直接播放确定出的目标音频帧。

对于观看客户端确定目标音频帧的方式：

一种可选地方式，观看客户端可以采用实施例一中涉及的方式确定目标音 频帧，具体描述可以参见前述实施例一中的相关描述，在此不再赘述。

另一种可选地方式，观看客户端还可以采用以下方式确定目标音频帧：

第一，从音频缓存队列中筛选出时间戳大于第二待播放音频帧的时间戳的 音频帧。

第二，根据实际时间差与参考时间差之差大于预设阈值的程度高低，结合 第二待播放音频帧的时间戳，在筛选出的音频帧中确定具有相应时间戳的音频 帧为目标音频帧，其中，目标音频帧的时间戳和第二待播放音频帧的时间戳之 差与程度高低存在对应关系。

具体来说，观看客户端先根据第二待播放音频帧的时间戳从音频缓存队列 中进行筛选，以筛选出一定数目的音频帧，筛选出的音频帧的时间戳大于第二 待播放音频帧的时间戳。其中，在观看客户端不对音频流进行处理的情况下， 此筛选出的音频帧应该是在第二待播放音频帧之后播放的。

为了下述描述简洁，可以将实际时间差与参考时间差之差称为第一差值， 将第一差值和预设阈值之间的差值称为第二差值。进一步地，观看客户端可以 分别计算出第一差值和第二差值，其中，第二差值的大小用以表示第一差值大 于预设阈值的程度高低，第二差值越大则表示程度越高，也即是延迟越严重。 此时，观看客户端可以目标音频帧的时间戳和第二待播放音频帧的时间戳之差 与程度高低之间的预设关系确定出目标音频帧。

预设对应关系比如可以为：第一级别---30，第二级别---60，第三级别---90， 其中，第一级别为最低级别，第三级别为最高级别。基于此预设对应关系，下 面以具体例子说明如何确定目标音频帧：

当程度为第一级别时，观看客户端可以从筛选出的音频帧中将时间戳与待 播放第二音频帧时间戳之差为30的音频帧作为目标音频帧。在实际应用中，可 选地，两帧相邻音频的时间戳的差值可以为30。在第一等级时，观看客户端相 当于将与第二待播放音频帧相邻的后一帧音频作为目标音频帧。

当程度为第三级别时，观看客户端可以从筛选出的音频帧中将时间戳与待 播放第二音频帧时间戳之差为90的音频帧作为目标音频帧。承接上段举例，在 第三等级时，观看客户端相当于将第二待播放音频帧之后的第三帧音频作为目 标音频帧。

另一种情况，若实际时间差与参考时间差之差大于预设阈值且音频缓存队 列中不存在待播放音频帧，则确定第二待播放音频帧为目标音频帧。

此时，由于音频缓存队列中没有待播放音频帧，观看客户端获取到的第二 待播放音频帧是仅有的可以播放的音频。若观看客户端不播放此第二待播放音 频帧，则不存在其他可播放的音频帧，这时就会对用户的正常观看造成影响。 因此，在这种情况下，观看客户端会直接将此第二待播放音频帧作为目标音频 帧，观看客户端会在当前正在播放的音频帧播放完毕后播放此目标音频帧。

S206，根据目标音频帧的时间戳确定目标视频帧，以使观看客户端播放由 目标音频帧以及目标视频帧组成的直播数据流。

在观看客户端确定出目标音频帧后，观看客户端会进一步对视频流进行处 理也即是确定出目标视频帧。可选地，观看客户端可以采用以下方式确定目标 视频帧：

观看客户端首先在存储有待播放视频帧的视频缓存队列中进行筛选，从而 筛选出时间戳大于或等于目标音频帧的时间戳的视频帧。然后，再从筛选出的 视频帧中将具有最小时间戳的视频帧确定为目标视频帧。

最后，观看客户端已经同时确定出目标音频帧和目标视频帧，在当前正在 播放的直播数据流播放完毕之后，观看客户端便会播放由目标音频帧和目标视 频帧组成的直播数据流。

本实施例中，观看客户端在获取到第一待播放音频帧、第二待播放音频帧 的时间戳后会对其进行单位转换，使观看客户端可以准确确定出参考时间差与 实际时间差，从而可以进一步改善直播数据流的延迟。另外，观看客户端还会 根据直播数据流延迟的严重程度选择丢弃不同数目的音频帧以及视频帧，使观 看客户端对直播数据流的处理更加精细、更加有针对性。同时，通过对音频帧 和视频帧的丢弃处理可以不断弥补并最终消除直播数据流出现的延迟。这样使 得在观看客户端与CDN节点之间的网络不稳定时，观看用户也可以观看到不存 在延迟的直播数据流，从而实现与主播的实时互动。另外，由于上述直播数据 流处理过程中丢弃的音频帧和视频帧的数目是较小的，因此，即使对其进行丢 弃用户也不会察觉到直播内容的丢失，这样也即是实现了在保证用户观看效果 的同时改善直播数据流延迟的效果。

图3为本发明实施例提供的直播数据流处理装置实施例一的结构示意图， 如图3所示，该直播数据流处理装置包括：时间差确定模块11、音频帧确定模 块12和视频帧确定模块13。

时间差确定模块11，用于根据第一时间获取到的第一待播放音频帧的时间 戳以及第一时间确定参考时间差，以及根据第二时间获取到的第二待播放音频 帧的时间戳以及第二时间确定实际时间差，其中，第一时间早于第二时间且二 者间隔预设时间间隔。

音频帧确定模块12，用于若实际时间差与参考时间差之差大于预设阈值， 则根据第二待播放音频帧的时间戳确定目标音频帧。

视频帧确定模块13，用于根据目标音频帧的时间戳确定目标视频帧，以使 观看客户端播放由目标音频帧以及目标视频帧组成的直播数据流。

图3所示装置可以执行图1所示实施例的方法，本实施例未详细描述的部 分，可参考对图1所示实施例的相关说明。该技术方案的执行过程和技术效果 参见图1所示实施例中的描述，在此不再赘述。

图4为本发明实施例提供的直播数据流处理装置实施例二的结构示意图， 如图3所示，在图3所示实施例基础上，该直播数据流处理装置中的时间差确 定模块11具体用于：

对获取到的第一待播放音频帧的时间戳进行单位转换，根据单位转换后的 时间戳与第一时间确定参考时间差；以及，

对获取到的第二待播放音频帧的时间戳进行单位转换，根据单位转换后的 时间戳与第二时间确定实际时间差。

可选地，该直播数据流处理装置中的音频帧确定模块12包括：判断单元121 和音频帧确定单元122。

判断单元121，用于判断存储有待播放音频帧的音频缓存队列中是否存在待 播放音频帧。

音频帧确定单元122，用于若实际时间差与参考时间差之差大于预设阈值且 音频缓存队列中存在待播放音频帧，则执行根据第二待播放音频帧的时间戳确 定目标音频帧的步骤，以及，若实际时间差与参考时间差之差大于预设阈值且 音频缓存队列中不存在待播放音频帧，则确定第二待播放音频帧为目标音频帧。

可选地，该直播数据流处理装置中的音频帧确定单元122具体用于：

从音频缓存队列中筛选出时间戳大于第二待播放音频帧的时间戳的音频帧； 以及，根据实际时间差与参考时间差之差大于预设阈值的程度高低，结合第二 待播放音频帧的时间戳，在筛选出的音频帧中确定具有相应时间戳的音频帧为 目标音频帧，其中，目标音频帧的时间戳和第二待播放音频帧的时间戳之差与 程度高低存在对应关系。

可选地，该直播数据流处理装置中的视频帧确定模块13包括：筛选单元131 和视频帧确定单元132。

筛选单元131，用于从存储有待播放视频帧的视频缓存队列中筛选时间戳大 于或等于目标音频帧的时间戳的视频帧。

视频帧确定单元132，用于确定筛选出的视频帧中具有最小时间戳的视频帧 为目标视频帧。

图4所示装置可以执行图2所示实施例的方法，本实施例未详细描述的部 分，可参考对图2所示实施例的相关说明。该技术方案的执行过程和技术效果 参见图2所示实施例中的描述，在此不再赘述。

以上描述了直播数据流处理装置的内部功能和结构，在一个可能的设计中， 直播数据流处理装置的结构可实现为一电子设备，例如智能手机、平板电脑等 终端设备。图5为本发明实施例提供的电子设备实施例一的结构示意图，如图5 所示，该电子设备包括：存储器21，以及与存储器连接的处理器22，存储器21 用于存储移动终端执行上述任一实施例中提供的直播数据流处理方法的程序， 处理器22被配置为用于执行存储器21中存储的程序。

程序包括一条或多条计算机指令，其中，一条或多条计算机指令被处理器 22执行时能够实现如下步骤：

根据第一时间获取到的第一待播放音频帧的时间戳以及第一时间确定参考 时间差；

根据第二时间获取到的第二待播放音频帧的时间戳以及第二时间确定实际 时间差，其中，第一时间早于第二时间且二者间隔预设时间间隔；

若实际时间差与参考时间差之差大于预设阈值，则根据第二待播放音频帧 的时间戳确定目标音频帧；

根据目标音频帧的时间戳确定目标视频帧，以使观看客户端播放由目标音 频帧以及目标视频帧组成的直播数据流。

可选地，处理器22还用于执行前述各方法步骤中的全部或部分步骤。

其中，电子设备的结构中还可以包括通信接口23，用于电子设备与其他设 备或通信网络通信。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元 可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以 不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可 以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。 本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施 方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件 结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术 做出贡献的部分可以以产品的形式体现出来，该计算机产品可以存储在计算机 可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台 计算机装置(可以是个人计算机，服务器，或者网络装置等)执行各个实施例 或者实施例的某些部分的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限 制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员 应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其 中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的 本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种直播数据流处理方法，其特征在于，包括：

根据第一时间获取到的第一待播放音频帧的时间戳以及所述第一时间确定参考时间差；

根据第二时间获取到的第二待播放音频帧的时间戳以及所述第二时间确定实际时间差，其中，所述第一时间早于所述第二时间且二者间隔预设时间间隔；

若所述实际时间差与所述参考时间差之差大于预设阈值，则根据所述第二待播放音频帧的时间戳确定目标音频帧；

根据所述目标音频帧的时间戳确定目标视频帧，以使观看客户端播放由所述目标音频帧以及所述目标视频帧组成的直播数据流。

2.根据权利要求1所述的方法，其特征在于，所述若所述实际时间差与所述参考时间差之差大于预设阈值，则根据所述第二待播放音频帧的时间戳确定目标音频帧，包括:

判断存储有待播放音频帧的音频缓存队列中是否存在待播放音频帧；

若所述实际时间差与所述参考时间差之差大于预设阈值且所述音频缓存队列中存在待播放音频帧，则执行所述根据所述第二待播放音频帧的时间戳确定目标音频帧的步骤；

若所述实际时间差与所述参考时间差之差大于预设阈值且所述音频缓存队列中不存在待播放音频帧，则确定所述第二待播放音频帧为所述目标音频帧。

3.根据权利要求2所述的方法，其特征在于，所述若所述实际时间差与所述参考时间差之差大于预设阈值且所述音频缓存队列中存在待播放音频帧，则执行所述根据所述第二待播放音频帧的时间戳确定目标音频帧的步骤，包括：

从所述音频缓存队列中筛选出时间戳大于所述第二待播放音频帧的时间戳的音频帧；

根据所述实际时间差与所述参考时间差之差大于预设阈值的程度高低，结合所述第二待播放音频帧的时间戳，在筛选出的音频帧中确定具有相应时间戳的音频帧为所述目标音频帧，其中，所述目标音频帧的时间戳和所述第二待播放音频帧的时间戳之差与所述程度高低存在对应关系。

4.根据权利要求3所述的方法，其特征在于，所述根据所述目标音频帧的时间戳确定目标视频帧，包括：

从存储有待播放视频帧的视频缓存队列中筛选时间戳大于或等于所述目标音频帧的时间戳的视频帧；

确定筛选出的视频帧中具有最小时间戳的视频帧为所述目标视频帧。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据第一时间获取到的第一待播放音频帧的时间戳以及所述第一时间确定参考时间差，包括：

对所述获取到的第一待播放音频帧的时间戳进行单位转换；

根据单位转换后的时间戳与所述第一时间确定所述参考时间差；

所述根据第二时间获取到的第二待播放音频帧的时间戳以及所述第二时间确定实际时间差，包括：

对所述获取到的第二待播放音频帧的时间戳进行单位转换；

根据单位转换后的时间戳与所述第二时间确定所述实际时间差。

6.一种直播数据流处理装置，其特征在于，包括：

时间差确定模块，用于根据第一时间获取到的第一待播放音频帧的时间戳以及所述第一时间确定参考时间差；以及，

根据第二时间获取到的第二待播放音频帧的时间戳以及所述第二时间确定实际时间差，其中，所述第一时间早于所述第二时间且二者间隔预设时间间隔；

音频帧确定模块，用于若所述实际时间差与所述参考时间差之差大于预设阈值，则根据所述第二待播放音频帧的时间戳确定目标音频帧；

视频帧确定模块，用于根据所述目标音频帧的时间戳确定目标视频帧，以使观看客户端播放由所述目标音频帧以及所述目标视频帧组成的直播数据流。

7.根据权利要求6所述的装置，其特征在于，所述音频帧确定模块包括：

判断单元，用于判断存储有待播放音频帧的音频缓存队列中是否存在待播放音频帧；

音频帧确定单元，用于若所述实际时间差与所述参考时间差之差大于预设阈值且所述音频缓存队列中存在待播放音频帧，则执行所述根据所述第二待播放音频帧的时间戳确定目标音频帧的步骤；以及，

若所述实际时间差与所述参考时间差之差大于预设阈值且所述音频缓存队列中不存在待播放音频帧，则确定所述第二待播放音频帧为所述目标音频帧。

8.根据权利要求7所述的装置，其特征在于，所述音频帧确定单元具体用于：

从所述音频缓存队列中筛选出时间戳大于所述第二待播放音频帧的时间戳的音频帧；以及，

根据所述实际时间差与所述参考时间差之差大于预设阈值的程度高低，结合所述第二待播放音频帧的时间戳，在筛选出的音频帧中确定具有相应时间戳的音频帧为所述目标音频帧，其中，所述目标音频帧的时间戳和所述第二待播放音频帧的时间戳之差与所述程度高低存在对应关系。

9.根据权利要求6至8中任一项所述的装置，其特征在于，所述时间差确定模块具体用于：

对所述获取到的第一待播放音频帧的时间戳进行单位转换，根据单位转换后的时间戳与所述第一时间确定所述参考时间差；以及，

对所述获取到的第二待播放音频帧的时间戳进行单位转换，根据单位转换后的时间戳与所述第二时间确定所述实际时间差。

10.一种电子设备，其特征在于，包括：存储器，以及与所述存储器连接的处理器；

所述存储器，用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令供所述处理器调用执行；

所述处理器，用于执行所述一条或多条计算机指令以实现权利要求1至5中任一项所述的方法。