CN110446113A - 回放ppt与视频流的方法 - Google Patents

Abstract

回放ppt与视频流的方法，其特征在于开播端转存：在进行直播转存时，对于实时的ppt信息以及画笔信息插入一个对应的实时的直播转存时的视频的视频流的时间戳信息，这样转存的ppt信息就保存了一个对应的视频流的时间戳信息的字段信息；回放时的播放端同步：回放视频时获取当前的ppt信息，并提取所插入的视频流的时间戳信息，提取当前回放的视频的当前视频流的时间戳信息，两者取时间差值，依据该时间差值创建ppt延迟播放任务。本发明与已有技术相比，具有能使回放ppt与视频流同步的优点。

Description

回放ppt与视频流的方法

技术领域：

本发明涉及计算机领域，特别是回放ppt与视频流技术。

背景技术：

对于三分屏的回放，往往都会带有教师的ppt副屏显示信息，这部分信息没有集成到流信息中，所以需要通过http协议来获取数据并展示。

实时播放视频流过程中，怎么达到视频流与ppt流信息的同步，播放过程中由于网络抖动产生缓冲时、用户拖动快进快退播放时以及倍速播放时与ppt流的同步问题都是需要解决的问题。

发明内容：

本发明的发明目的在于提供一种能使回放ppt与视频流同步的回放ppt与视频流的方法。

本发明是这样实现的：

开播端转存：在进行直播转存时，对于实时的ppt信息以及画笔信息，插入一个对应实时直播转存为回放视频的视频流时间戳信息，这样转存的ppt信息就保存了一个对应的视频流的时间戳信息的字段信息；

转存的视频流及ppt数据信息在进行回放的时候依据该视频流的时间戳信息的字段信息进行播放的同步，视频流的播放是基于m3u8的视频流格式，ppt信息数据是基于json格式的数据； 回放时的播放端同步：回放视频时获取当前的ppt信息，并提取所插入的视频流的时间戳信息（减去开播时间戳），提取当前回放的视频的当前视频流的时间戳信息，两者取时间差值，依据该时间差值创建ppt延迟播放任务；

当用户的前后拖动视频流时，获取视频流信息，提取当前的视频的当前视频流的时间戳信息（减去开播时间戳），同时通过二分法查找ppt数据信息所插入的视频流的时间戳离当前视频流的时间戳信息最近的ppt数据信息，获取视频流的时间戳与当前视频流的时间戳的时间差值，依据该时间差值创建延迟播放任务进行延迟播放；

对于倍速的播放方式：

直接对延迟任务的时间差值进行倍数的转换，以达到倍速同步。

本发明与已有技术相比，具有以下的优点：

1、通过延迟任务，节省了cpu的占用率； 2、有较好的视频流跟ppt数据信息的同步率；3、可以提高定位拖动过程中的寻址效率。

具体实施方式：

现结合实施例对本发明做进一步详细描述：

本发明是这样实现的：

开播端转存：在进行直播转存时，对于实时的ppt信息以及画笔信息，插入一个对应实时直播转存为回放视频的视频流时间戳信息，这样转存的ppt信息就保存了一个对应的视频流的时间戳信息的字段信息；

如：（开播以后，记住当前开播得时间，标记时间戳进行保存。当载入ppt后，每页ppt加载成功后都会记录当前时间戳信息，作为一个ppt交互事件保存；开始进行ppt交互的时候，画笔落下的点记录一个时间戳，画笔离开的时候记录一个时间戳，落下与离开成对保存。对于在5S以内的画笔信息，直接记录，并将落下的时间戳记录为画笔的时间戳，如果连续画笔超过5s，5s以后会启动一个2s的定时轮询机制，将连续画笔分成N段进行截断记录。比如一个持续10秒的画笔，画了一个“7”，5s的时候写一横,停留2s后，写完竖。那么在5s的时候传递过去一横作为一次画笔操作，此时画笔没有离开，但是依然开始一个新画笔记录，记录当前点为点触事件，2s后检测到点触离开，则发送新的画笔事件），

转存的视频流及ppt数据信息在进行回放的时候依据该视频流的时间戳信息的字段信息进行播放的同步，视频流的播放是基于m3u8的视频流格式，ppt信息数据是基于json格式的数据； 回放时的播放端同步：回放视频时获取当前的ppt信息，并提取所插入的视频流的时间戳信息（减去开播时间戳），提取当前回放的视频的当前视频流的时间戳信息，两者取时间差值，依据该时间差值创建ppt延迟播放任务；

如：（比如当视频开始播放，此时取第一个ppt信息的数据信息，拿出ppt的时间戳信息，取他与开播时间差值得到数值“2566”（单位ms），与视频开始播放的起点取差值新建一个delay任务，这个任务在2566ms后开始执行画笔，执行完成以后马上取第二个ppt信息进行同样的上述操作），当用户的前后拖动视频流时，获取视频流信息，提取当前的视频的当前视频流的时间戳信息（减去开播时间戳），同时通过二分法查找ppt数据信息所插入的视频流的时间戳离当前视频流的时间戳信息最近的ppt数据信息，获取视频流的时间戳与当前视频流的时间戳的时间差值，依据该时间差值创建延迟播放任务进行延迟播放；如：（视频播放过程中，视频被拖动到4：30的位置（转换为ms进行比对计算）操作步骤如下：

1、获取ppt列表的中间位置的索引，获取当前索引的ppt信息，并计算出他的相对时间戳信息，与当前视频播放点进行比对

2、如果所取ppt的时间戳大于当前视频时间戳，就以获取索引作为结束节点，0作为开始节点，执行步骤1

3、如果索取ppt时间戳小于当前视频时间戳，就以获取索引作为开始节点，以原结束节点作为结束节点，执行步骤1

直到找到对应的ppt信息为止），对于倍速的播放方式：

直接对延迟任务的时间差值进行倍数的转换，以达到倍速同步。

对于延迟任务

防止在延迟播放的这个时间段内由于网络抖动产生视频缓冲，由此而产生二次延迟的问题，二次延迟的误差范围在（0～500ms）（在创建延迟任务后，由于队列创建的原因，可能延迟任务会稍微大于真正的播放时间，也就是迟于回放视频的播放时间点，误差在100ms左右；播放过程中，由于网络抖动原因，视频播放可能会出现缓冲然后续播的情况，这样ppt在播放的时候可能会快于视频播放点，就会产生二次延迟，对于二次延迟有两种解决办法：

1、在缓冲结束后，取消当前延迟任务，基于当前的ppt信息创建新的延迟任务，延迟任务的时间是ppt时间相对于当前播放的时间

2、在延迟任务开始执行的时候，进行误差范围检查；检查ppt播放时间戳与当前视频时间戳相差是否在误差范围内（0~500ms），如果超出范围，再次取差值创建延迟任务

由于播放过程中对视频播放的影响因素较多，第一种方案比较单一，忽略其他情况，另外频繁的创建延迟任务也会消耗系统资源，综述选择采用第二种方案解决二次延迟的问题）。

Claims (1)

1.回放ppt与视频流的方法，其特征在于开播端转存：在进行直播转存时，对于实时的ppt信息以及画笔信息，插入一个对应实时直播转存为回放视频的视频流时间戳信息，这样转存的ppt信息就保存了一个对应的视频流的时间戳信息的字段信息；

转存的视频流及ppt数据信息在进行回放的时候依据该视频流的时间戳信息的字段信息进行播放的同步，视频流的播放是基于m3u8的视频流格式，ppt信息数据是基于json格式的数据； 回放时的播放端同步：回放视频时获取当前的ppt信息，并提取所插入的视频流的时间戳信息，提取当前回放的视频的当前视频流的时间戳信息，两者取时间差值，依据该时间差值创建ppt延迟播放任务；

当用户的前后拖动视频流时，获取视频流信息，提取当前的视频的当前视频流的时间戳信息，同时通过二分法查找ppt数据信息所插入的视频流的时间戳离当前视频流的时间戳信息最近的ppt数据信息，获取视频流的时间戳与当前视频流的时间戳的时间差值，依据该时间差值创建延迟播放任务进行延迟播放；

对于倍速的播放方式：

直接对延迟任务的时间差值进行倍数的转换，以达到倍速同步。