CN115002505A - 一种中断重连直播流的时移控制方法及装置 - Google Patents

Abstract

本发明公开了一种中断重连直播流的时移控制方法及装置，方法包括：获得第一指令；基于第一指令确定第一时间位置；确定当前视频数据包之前的所有视频数据包的总时长，其中当前视频数据包和所有视频数据包属于同一视频文件；基于第一时间位置和总时长确定当前视频数据包中的目标位置；读取目标位置的视频数据并输出。由于直播过程存在中断，直播流会被分割成几个视频列表，因此在用户拖动进度条快进位置的时间戳中实际包含了之前几个视频列表的总时长；而本申请技术方案实现过程中会确定当前播放视频列表之前的视频总时长，这样时移位置的时间戳减去之前视频的总时长后就能够得到时移后在当前视频列表的正确播放位置，实现正确的时移。

Description

一种中断重连直播流的时移控制方法及装置

技术领域

本发明涉及视频处理技术，更具体的说，是涉及一种中断重连直播流的时移控制方法及装置。

背景技术

当前移动端短视频和直播发展越来越迅速，其中通过视频、直播的方式与用户互动交互比其它方式来的更加直接、真实。由于在直播过程中因为网络原因中断或者用户中断后重连的情况很常见，因此保存直播回放是一个很普遍的需求，方便主播或者用户后续观看。

然而，在直播中断重连后，会存在直播回放的HLS/m3u8 流文件列表中，两个相邻切片之间的 TS 包计数不连续的情况。对于这种情况，HLS/m3u8 流文件列表会在与前者计数不连续的文件前加上 EXT-X-DISCONTINUITY 标签来显式地告诉播放器留意此处存在中断的直播流。但FFmpeg 的 HLS 处理模块不支持该标签，进而导致遇到计数不连续的 TS时，无意识地强制合并两个计数不连续的 TS，导致合并后时间码不正确，出现用户拖动进度条时视频播放卡住不能继续的情况。

具体的，#EXT-X-DISCONTINUITY标签后面的视频的显示时间戳和标签之前的视频是不连续的，而ffmpeg在seek时，会去将要seek的时间戳与当前视频数据包的pts（显示时间戳）区间进行对比，来查看查找的是否是当前包，但由于pts不连续的问题，会导致seek的时间戳总是大于包的pts区间，所以到会导致一直卡着，无法播放。

发明内容

有鉴于此，本发明提供如下技术方案：

一种中断重连直播流的时移控制方法，包括：

获得第一指令，所述第一指令为快进指令、快退指令或时间定位指令；

基于所述第一指令确定第一时间位置；

确定当前视频数据包之前的所有视频数据包的总时长，其中所述当前视频数据包和所述所有视频数据包属于同一视频文件；

基于所述第一时间位置和所述总时长确定所述当前视频数据包中的目标位置；

读取所述目标位置的视频数据并输出。

可选地，所述确定当前视频数据包之前的所有视频数据包的总时长，包括：

将所述当前视频数据包之前的所有视频数据包的实际时长求和得到总时长。

可选地，所述基于所述第一时间位置和所述总时长确定所述当前视频数据包中的目标位置，包括：

确定所述第一时间位置指示的时长与所述总时长的差值时长；

将所述当前视频数据包中所述差值时长对应的位置确定为目标位置。

可选地，所述基于所述第一指令确定第一时间位置，包括：

将时间定位指令指示的时间位置确定为第一时间位置；

或，

将快进指令或快退指令触发时对应的时间位置确定所述第一时间位置。

可选地，所述当前视频数据包的确定包括：将当前输出视频内容所属的视频数据包确定为当前视频数据包。

一种中断重连直播流的时移控制装置，包括：

指令获得模块，用于获得第一指令，所述第一指令为快进指令、快退指令或时间定位指令；

时间位置确定模块，用于基于所述第一指令确定第一时间位置；

总时长确定模块，用于确定当前视频数据包之前的所有视频数据包的总时长，其中所述当前视频数据包和所述所有视频数据包属于同一视频文件；

目标位置确定模块，用于基于所述第一时间位置和所述总时长确定所述当前视频数据包中的目标位置；

内容输出模块，用于读取所述目标位置的视频数据并输出。

可选地，所述总时长确定模块具体用于：将所述当前视频数据包之前的所有视频数据包的实际时长求和得到总时长。

可选地，所述目标位置确定模块包括：

差值确定模块，用于确定所述第一时间位置指示的时长与所述总时长的差值时长；

位置确定子模块，用于将所述当前视频数据包中所述差值时长对应的位置确定为目标位置。

可选地，所述时间位置确定模块具体用于：将时间定位指令指示的时间位置确定为第一时间位置；或，基于快进指令对应的快进速度或基于快退指令对应的快退速度以及当前输出视频内容的时间位置确定所述第一时间位置。

一种电子设备包括：

处理器；

存储器，用于存储所述处理器的可执行存储指令；

其中，所述可执行存储指令包括：获得第一指令，所述第一指令为快进指令、快退指令或时间定位指令；基于所述第一指令确定第一时间位置；确定当前视频数据包之前的所有视频数据包的总时长，其中所述当前视频数据包和所述所有视频数据包属于同一视频文件；基于所述第一时间位置和所述总时长确定所述当前视频数据包中的目标位置；读取所述目标位置的视频数据并输出。

经由上述的技术方案可知，与现有技术相比，本发明实施例公开了一种中断重连直播流的时移控制方法及装置，方法包括：获得第一指令，所述第一指令为快进指令、快退指令或时间定位指令；基于所述第一指令确定第一时间位置；确定当前视频数据包之前的所有视频数据包的总时长，其中所述当前视频数据包和所述所有视频数据包属于同一视频文件；基于所述第一时间位置和所述总时长确定所述当前视频数据包中的目标位置；读取所述目标位置的视频数据并输出。由于直播过程存在中断，基于hls的直播流会被分割成几个视频列表，因此在用户拖动进度条快进位置的时间戳中实际包含了之前几个视频列表的总时长；而本申请技术方案实现过程中会确定当前播放视频列表之前的视频总时长，这样时移位置的时间戳减去之前视频的总时长后就能够得到时移后在当前视频列表的正确播放位置，实现正确的时移。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种中断重连直播流的时移控制方法的流程图；

图2为本发明实施例公开的确定目标位置的流程图；

图3为本发明实施例公开的一种中断重连直播流的时移控制装置的结构示意图；

图4为本申请实施例公开的一种电子设备的结构示意图。

具体实施方式

为了引用和清楚起见，下文中使用的技术名词的说明、简写或缩写总结如下：

ffmpeg：ffmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。它提供了录制、转换以及流化音视频的完整解决方案。它包含了非常先进的音频/视频编解码库libavcodec；ffmpeg保证了高可移植性和编解码质量。

libavformat：用于各种音视频封装格式的生成和解析，包括获取解码所需信息以生成解码上下文结构和读取音视频帧等功能。

TS切片：是用于音效、图像与数据的通信协定，最早应用于DVD的实时传送节目，特点就是要求从视频流的任一片段开始都是可以独立解码的。为了网络下载方便或者刻录存储，需要对直播流进行合并/切割，大文件切割成几个小文件。

DTS／PTS：DTS（解码时间戳）和PTS（显示时间戳，视频播放的时间戳）分别是解码器进行解码和显示帧时相对于SCR（系统参考）的时间戳。SCR可以理解为解码器应该开始从磁盘读取数据时的时间。

HLS：是一个基于 HTTP 的流媒体网络传输协议。原理为将一个大的媒体文件进行分片，将该分片文件资源路径记录于 playlist 文件内，其中附带一些额外描述用于提供给客户端。客户端依据该播放列表文件即可获取对应的媒体资源，进行播放。

m3u8：m3u8 文件实质是一个播放列表（playlist），其可能是一个媒体播放列表（Media Playlist），或者是一个主列表（Master Playlist）。但无论是哪种播放列表，其内部文字使用的都是 utf-8 编码。当 m3u8 文件作为媒体播放列表（Meida Playlist）时，其内部信息记录的是一系列媒体片段资源，顺序播放该片段资源，即可完整展示多媒体资源。

EXT-X-DISCONTINUITY：直播过程中存在推流中断后重推的直播流/回放流列表中加上 EXT-X-DISCONTINUITY 标签告诉播放器TS 包计数不连续。

Seek：快进\快退，指在播放视频过程中拖动进度条进行快进或者快退。

时移：时移是直播与点播相结合而形成的一种新业务，是直播业务的补充。用户在观看直播节目时，中途可以暂停，过后可以从暂停处继续收看，以免错过某些重要情节。从技术上讲，在暂停请求时，播放服务器把节目录下来，在继续播放时，再把录下的节目采用单播形式重新播放。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请实施例可以应用于电子设备，本申请对该电子设备的产品形式不做限定，可以包括但并不局限于智能手机、平板电脑、可穿戴设备、个人计算机（personalcomputer， PC)、上网本等，可以依据应用需求选择。

图1为本发明实施例公开的一种中断重连直播流的时移控制方法的流程图。参见图1所示，中断重连直播流的时移控制方法可以包括：

步骤101：获得第一指令，所述第一指令为快进指令、快退指令或时间定位指令。

其中的快进指令或快退指令，在实际应用中的表现形式可以是用户用手指在触摸屏上，或者通过鼠标拖动进度条，使其向前或向后移动到某个位置，该位置具有时间戳，该时间戳指示的是该位置在整个视频时长中的时间位置。

其中的时间定位指令，在实际应用中的表现形式可以是用户在指示跳转至特定位置的输入框中输入要跳转到的时间位置，点击确定后生成对应的时间定位指令。例如，用户可以在输入框中输入15分钟，则视频将直接跳转至15分钟处，并从15分钟处开始播放视频内容。

步骤102：基于所述第一指令确定第一时间位置。

其中的第一时间位置，也即时间定位指令指示的时间位置，或者是快进指令或快退指令触发时对应的时间位置。由此，所述基于所述第一指令确定第一时间位置，可以包括：将时间定位指令指示的时间位置确定为第一时间位置；或，将快进指令或快退指令触发时对应的时间位置确定所述第一时间位置。

步骤103：确定当前视频数据包之前的所有视频数据包的总时长，其中所述当前视频数据包和所述所有视频数据包属于同一视频文件。

由于直播过程存在中断，基于hls的直播流会被分割成数个视频数据包，因此在用户拖动进度条快进位置的时间戳中实际包含了之前几个视频列表（对应视频数据包）的总时长，因此本步骤需要确定当前视频数据包之前的所有视频数据包的总时长，以在最后确定目标位置时间这里的总时长也考虑上，从而得到准确的目标位置。其中，所述当前视频数据包的确定可以包括：将当前输出视频内容所属的视频数据包确定为当前视频数据包，也即将所述第一指令指示的第一时间位置所在的视频数据包确定为当前数据包。

具体的，确定当前视频数据包之前的所有视频数据包的总时长，可以将所述当前视频数据包之前的所有视频数据包的实际时长求和得到总时长。视频数据包的实际时长，也即视频数据包中实际包含的视频内容的时间长度。

步骤104：基于所述第一时间位置和所述总时长确定所述当前视频数据包中的目标位置。

图2为本发明实施例公开的确定目标位置的流程图。结合图2所示，所述基于所述第一时间位置和所述总时长确定所述当前视频数据包中的目标位置，可以包括：

步骤201：确定所述第一时间位置指示的时长与所述总时长的差值时长。

步骤202：将所述当前视频数据包中所述差值时长对应的位置确定为目标位置。

前文已经介绍到相关内容，虽然在用户界面呈现的是一个完整的视频文件，但实际上，该视频文件是由多个视频数据包组成的；而用户拖动进度条快进位置的时间戳中实际包含了之前几个视频列表的总时长，因此在确定目标位置位于当前视频数据包的具体位置时，需要将第一时间位置指示的时长减去总时长，得到的差值时长对应的位置确定为目标位置。

回到图1，步骤104后，进入步骤105。

步骤105：读取所述目标位置的视频数据并输出。

本实施例所述中断重连直播流的时移控制方法，实现过程中会确定当前播放视频列表之前的视频总时长，这样时移位置的时间戳减去之前视频的总时长后就能够得到时移后在当前视频列表的正确播放位置，实现正确的时移。

在具体的实现中，可以通过在FFmpeg框架libavformat库的hls.c文件里添加一个函数，用于查找当前播放视频数据之前的视频的总时长，用于得出正确的视频播放时间戳，也即目标位置对应的时间戳。因为#EXT-X-DISCONTINUITY将视频流分割成多个不连续的视频列表，快进的时间戳是整个视频的时间戳，快进的时间戳（目标位置对应的时间戳）在当前视频列表中找不到，造成播放时在这个查询循环中出不来引起卡住。

这个总时长还需要在hls_read_packet函数（hls读取视频数据流的方法）中声明一个变量，来保存这个时长。然后在hls_read_packet函数中的这段代码（读取全部的视频列表时）中插入这个函数（用于查找当前播放视频数据之前的视频的总时长）的调用。

最后在计算快进的时间戳是否在当前视频内容的区间的代码上加上这个时长（即已经跳过的视频总时长），这样就可以得到视频快进后目标位置的正确时间戳，即相对于整个视频的当前播放位置，就可以正确的实现快进/快退时移了。

本实施例所述中断重连直播流的时移控制方法，通过修改FFmpeg中libavformat库的hls.c文件添加一个函数，用于查找当前视频数据包之前的视频的总时长，用于得出正确的快进的时间戳，然后在读取视频数据函数插入这个函数的调用，最后在计算快进的时间戳时上加上这个时长，确定正确的目标位置；该方案在直播无论是否发生直播中断的前提下，都能够将保存下来的直播数据正常播放，且支持用户进行快进时移。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

上述本发明公开的实施例中详细描述了方法，对于本发明的方法可采用多种形式的装置实现，因此本发明还公开了一种装置，下面给出具体的实施例进行详细说明。

图3为本发明实施例公开的一种中断重连直播流的时移控制装置的结构示意图。参见图3所示，中断重连直播流的时移控制装置30可以包括：

指令获得模块301，用于获得第一指令，所述第一指令为快进指令、快退指令或时间定位指令。

时间位置确定模块302，用于基于所述第一指令确定第一时间位置。

总时长确定模块303，用于确定当前视频数据包之前的所有视频数据包的总时长，其中所述当前视频数据包和所述所有视频数据包属于同一视频文件。

目标位置确定模块304，用于基于所述第一时间位置和所述总时长确定所述当前视频数据包中的目标位置。

内容输出模块305，用于读取所述目标位置的视频数据并输出。

本实施例所述中断重连直播流的时移控制装置，实现过程中会确定当前播放视频列表之前的视频总时长，这样时移位置的时间戳减去之前视频的总时长后就能够得到时移后在当前视频列表的正确播放位置，实现正确的时移。

一个实现中，所述总时长确定模块具体可用于：将所述当前视频数据包之前的所有视频数据包的实际时长求和得到总时长。

一个实现中，所述目标位置确定模块可以包括：差值确定模块，用于确定所述第一时间位置指示的时长与所述总时长的差值时长；位置确定子模块，用于将所述当前视频数据包中所述差值时长对应的位置确定为目标位置。

一个实现中，所述时间位置确定模块具体可用于：将时间定位指令指示的时间位置确定为第一时间位置；或，基于快进指令对应的快进速度或基于快退指令对应的快退速度以及当前输出视频内容的时间位置确定所述第一时间位置。

一个实现中，所述当前视频数据包的确定可以包括：将当前输出视频内容所属的视频数据包确定为当前视频数据包。

上述实施例中的所述的任意一种中断重连直播流的时移控制装置包括处理器和存储器，上述实施例中的指令获得模块、时间位置确定模块、总时长确定模块、目标位置确定模块、内容输出模块等均作为程序模块存储在存储器中，由处理器执行存储在所述存储器中的上述程序模块来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序模块。内核可以设置一个或多个，通过调整内核参数来实现回访数据的处理。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器（RAM）和/或非易失性内存等形式，如只读存储器（ROM）或闪存（flash RAM），存储器包括至少一个存储芯片。

在示例性实施例中，还提供了一种计算机可读存储介质，可直接加载到计算机的内部存储器，其中含有软件代码，该计算机程序经由计算机载入并执行后能够实现上述中断重连直播流的时移控制方法任一实施例所示步骤。

在示例性实施例中，还提供一种计算机程序产品，可直接加载到计算机的内部存储器，其中含有软件代码，该计算机程序经由计算机载入并执行后能够实现上述所述的中断重连直播流的时移控制方法任一实施例所示步骤。

进一步，本发明实施例提供了一种电子设备。图4为本申请实施例公开的一种电子设备的结构示意图。参见图4所示，电子设备40包括至少一个处理器401、以及与处理器连接的至少一个存储器402、总线203；其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，以执行上述的中断重连直播流的时移控制方法。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种中断重连直播流的时移控制方法，其特征在于，包括：

获得第一指令，所述第一指令为快进指令、快退指令或时间定位指令；

基于所述第一指令确定第一时间位置；

确定当前视频数据包之前的所有视频数据包的总时长，其中所述当前视频数据包和所述所有视频数据包属于同一视频文件；

基于所述第一时间位置和所述总时长确定所述当前视频数据包中的目标位置；

读取所述目标位置的视频数据并输出。

2.根据权利要求1所述的中断重连直播流的时移控制方法，其特征在于，所述确定当前视频数据包之前的所有视频数据包的总时长，包括：

将所述当前视频数据包之前的所有视频数据包的实际时长求和得到总时长。

3.根据权利要求1所述的中断重连直播流的时移控制方法，其特征在于，所述基于所述第一时间位置和所述总时长确定所述当前视频数据包中的目标位置，包括：

确定所述第一时间位置指示的时长与所述总时长的差值时长；

将所述当前视频数据包中所述差值时长对应的位置确定为目标位置。

4.根据权利要求1所述的中断重连直播流的时移控制方法，其特征在于，所述基于所述第一指令确定第一时间位置，包括：

将时间定位指令指示的时间位置确定为第一时间位置；

或，

将快进指令或快退指令触发时对应的时间位置确定所述第一时间位置。

5.根据权利要求1所述的中断重连直播流的时移控制方法，其特征在于，所述当前视频数据包的确定包括：将当前输出视频内容所属的视频数据包确定为当前视频数据包。

6.一种中断重连直播流的时移控制装置，其特征在于，包括：

指令获得模块，用于获得第一指令，所述第一指令为快进指令、快退指令或时间定位指令；

时间位置确定模块，用于基于所述第一指令确定第一时间位置；

总时长确定模块，用于确定当前视频数据包之前的所有视频数据包的总时长，其中所述当前视频数据包和所述所有视频数据包属于同一视频文件；

目标位置确定模块，用于基于所述第一时间位置和所述总时长确定所述当前视频数据包中的目标位置；

内容输出模块，用于读取所述目标位置的视频数据并输出。

7.根据权利要求6所述的中断重连直播流的时移控制装置，其特征在于，所述总时长确定模块具体用于：将所述当前视频数据包之前的所有视频数据包的实际时长求和得到总时长。

8.根据权利要求6所述的中断重连直播流的时移控制装置，其特征在于，所述目标位置确定模块包括：

差值确定模块，用于确定所述第一时间位置指示的时长与所述总时长的差值时长；

位置确定子模块，用于将所述当前视频数据包中所述差值时长对应的位置确定为目标位置。

9.根据权利要求6所述的中断重连直播流的时移控制装置，其特征在于，所述时间位置确定模块具体用于：将时间定位指令指示的时间位置确定为第一时间位置；或，基于快进指令对应的快进速度或基于快退指令对应的快退速度以及当前输出视频内容的时间位置确定所述第一时间位置。

10.一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储所述处理器的可执行存储指令；

其中，所述可执行存储指令包括：获得第一指令，所述第一指令为快进指令、快退指令或时间定位指令；基于所述第一指令确定第一时间位置；确定当前视频数据包之前的所有视频数据包的总时长，其中所述当前视频数据包和所述所有视频数据包属于同一视频文件；基于所述第一时间位置和所述总时长确定所述当前视频数据包中的目标位置；读取所述目标位置的视频数据并输出。

Images