CN110446113A - 回放ppt与视频流的方法 - Google Patents
回放ppt与视频流的方法 Download PDFInfo
- Publication number
- CN110446113A CN110446113A CN201910667925.4A CN201910667925A CN110446113A CN 110446113 A CN110446113 A CN 110446113A CN 201910667925 A CN201910667925 A CN 201910667925A CN 110446113 A CN110446113 A CN 110446113A
- Authority
- CN
- China
- Prior art keywords
- information
- ppt
- video
- video flowing
- timestamp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4334—Recording operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
回放ppt与视频流的方法,其特征在于开播端转存:在进行直播转存时,对于实时的ppt信息以及画笔信息插入一个对应的实时的直播转存时的视频的视频流的时间戳信息,这样转存的ppt信息就保存了一个对应的视频流的时间戳信息的字段信息;回放时的播放端同步:回放视频时获取当前的ppt信息,并提取所插入的视频流的时间戳信息,提取当前回放的视频的当前视频流的时间戳信息,两者取时间差值,依据该时间差值创建ppt延迟播放任务。本发明与已有技术相比,具有能使回放ppt与视频流同步的优点。
Description
技术领域:
本发明涉及计算机领域,特别是回放ppt与视频流技术。
背景技术:
对于三分屏的回放,往往都会带有教师的ppt副屏显示信息,这部分信息没有集成到流信息中,所以需要通过http协议来获取数据并展示。
实时播放视频流过程中,怎么达到视频流与ppt流信息的同步,播放过程中由于网络抖动产生缓冲时、用户拖动快进快退播放时以及倍速播放时与ppt流的同步问题都是需要解决的问题。
发明内容:
本发明的发明目的在于提供一种能使回放ppt与视频流同步的回放ppt与视频流的方法。
本发明是这样实现的:
开播端转存:在进行直播转存时,对于实时的ppt信息以及画笔信息,插入一个对应实时直播转存为回放视频的视频流时间戳信息,这样转存的ppt信息就保存了一个对应的视频流的时间戳信息的字段信息;
转存的视频流及ppt数据信息在进行回放的时候依据该视频流的时间戳信息的字段信息进行播放的同步,视频流的播放是基于m3u8的视频流格式,ppt信息数据是基于json格式的数据; 回放时的播放端同步:回放视频时获取当前的ppt信息,并提取所插入的视频流的时间戳信息(减去开播时间戳),提取当前回放的视频的当前视频流的时间戳信息,两者取时间差值,依据该时间差值创建ppt延迟播放任务;
当用户的前后拖动视频流时,获取视频流信息,提取当前的视频的当前视频流的时间戳信息(减去开播时间戳),同时通过二分法查找ppt数据信息所插入的视频流的时间戳离当前视频流的时间戳信息最近的ppt数据信息,获取视频流的时间戳与当前视频流的时间戳的时间差值,依据该时间差值创建延迟播放任务进行延迟播放;
对于倍速的播放方式:
直接对延迟任务的时间差值进行倍数的转换,以达到倍速同步。
本发明与已有技术相比,具有以下的优点:
1、通过延迟任务,节省了cpu的占用率; 2、有较好的视频流跟ppt数据信息的同步率;3、可以提高定位拖动过程中的寻址效率。
具体实施方式:
现结合实施例对本发明做进一步详细描述:
本发明是这样实现的:
开播端转存:在进行直播转存时,对于实时的ppt信息以及画笔信息,插入一个对应实时直播转存为回放视频的视频流时间戳信息,这样转存的ppt信息就保存了一个对应的视频流的时间戳信息的字段信息;
如:(开播以后,记住当前开播得时间,标记时间戳进行保存。当载入ppt后,每页ppt加载成功后都会记录当前时间戳信息,作为一个ppt交互事件保存;开始进行ppt交互的时候,画笔落下的点记录一个时间戳,画笔离开的时候记录一个时间戳,落下与离开成对保存。对于在5S以内的画笔信息,直接记录,并将落下的时间戳记录为画笔的时间戳,如果连续画笔超过5s,5s以后会启动一个2s的定时轮询机制,将连续画笔分成N段进行截断记录。比如一个持续10秒的画笔,画了一个“7”,5s的时候写一横,停留2s后,写完竖。那么在5s的时候传递过去一横作为一次画笔操作,此时画笔没有离开,但是依然开始一个新画笔记录,记录当前点为点触事件,2s后检测到点触离开,则发送新的画笔事件),
转存的视频流及ppt数据信息在进行回放的时候依据该视频流的时间戳信息的字段信息进行播放的同步,视频流的播放是基于m3u8的视频流格式,ppt信息数据是基于json格式的数据; 回放时的播放端同步:回放视频时获取当前的ppt信息,并提取所插入的视频流的时间戳信息(减去开播时间戳),提取当前回放的视频的当前视频流的时间戳信息,两者取时间差值,依据该时间差值创建ppt延迟播放任务;
如:(比如当视频开始播放,此时取第一个ppt信息的数据信息,拿出ppt的时间戳信息,取他与开播时间差值得到数值“2566”(单位ms),与视频开始播放的起点取差值新建一个delay任务,这个任务在2566ms后开始执行画笔,执行完成以后马上取第二个ppt信息进行同样的上述操作),当用户的前后拖动视频流时,获取视频流信息,提取当前的视频的当前视频流的时间戳信息(减去开播时间戳),同时通过二分法查找ppt数据信息所插入的视频流的时间戳离当前视频流的时间戳信息最近的ppt数据信息,获取视频流的时间戳与当前视频流的时间戳的时间差值,依据该时间差值创建延迟播放任务进行延迟播放;如:(视频播放过程中,视频被拖动到4:30的位置(转换为ms进行比对计算)操作步骤如下:
1、获取ppt列表的中间位置的索引,获取当前索引的ppt信息,并计算出他的相对时间戳信息,与当前视频播放点进行比对
2、如果所取ppt的时间戳大于当前视频时间戳,就以获取索引作为结束节点,0作为开始节点,执行步骤1
3、如果索取ppt时间戳小于当前视频时间戳,就以获取索引作为开始节点,以原结束节点作为结束节点,执行步骤1
直到找到对应的ppt信息为止),对于倍速的播放方式:
直接对延迟任务的时间差值进行倍数的转换,以达到倍速同步。
对于延迟任务
防止在延迟播放的这个时间段内由于网络抖动产生视频缓冲,由此而产生二次延迟的问题,二次延迟的误差范围在(0~500ms)(在创建延迟任务后,由于队列创建的原因,可能延迟任务会稍微大于真正的播放时间,也就是迟于回放视频的播放时间点,误差在100ms左右;播放过程中,由于网络抖动原因,视频播放可能会出现缓冲然后续播的情况,这样ppt在播放的时候可能会快于视频播放点,就会产生二次延迟,对于二次延迟有两种解决办法:
1、在缓冲结束后,取消当前延迟任务,基于当前的ppt信息创建新的延迟任务,延迟任务的时间是ppt时间相对于当前播放的时间
2、在延迟任务开始执行的时候,进行误差范围检查;检查ppt播放时间戳与当前视频时间戳相差是否在误差范围内(0~500ms),如果超出范围,再次取差值创建延迟任务
由于播放过程中对视频播放的影响因素较多,第一种方案比较单一,忽略其他情况,另外频繁的创建延迟任务也会消耗系统资源,综述选择采用第二种方案解决二次延迟的问题)。
Claims (1)
1.回放ppt与视频流的方法,其特征在于开播端转存:在进行直播转存时,对于实时的ppt信息以及画笔信息,插入一个对应实时直播转存为回放视频的视频流时间戳信息,这样转存的ppt信息就保存了一个对应的视频流的时间戳信息的字段信息;
转存的视频流及ppt数据信息在进行回放的时候依据该视频流的时间戳信息的字段信息进行播放的同步,视频流的播放是基于m3u8的视频流格式,ppt信息数据是基于json格式的数据; 回放时的播放端同步:回放视频时获取当前的ppt信息,并提取所插入的视频流的时间戳信息,提取当前回放的视频的当前视频流的时间戳信息,两者取时间差值,依据该时间差值创建ppt延迟播放任务;
当用户的前后拖动视频流时,获取视频流信息,提取当前的视频的当前视频流的时间戳信息,同时通过二分法查找ppt数据信息所插入的视频流的时间戳离当前视频流的时间戳信息最近的ppt数据信息,获取视频流的时间戳与当前视频流的时间戳的时间差值,依据该时间差值创建延迟播放任务进行延迟播放;
对于倍速的播放方式:
直接对延迟任务的时间差值进行倍数的转换,以达到倍速同步。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910667925.4A CN110446113A (zh) | 2019-07-23 | 2019-07-23 | 回放ppt与视频流的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910667925.4A CN110446113A (zh) | 2019-07-23 | 2019-07-23 | 回放ppt与视频流的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110446113A true CN110446113A (zh) | 2019-11-12 |
Family
ID=68431303
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910667925.4A Pending CN110446113A (zh) | 2019-07-23 | 2019-07-23 | 回放ppt与视频流的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110446113A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111614997A (zh) * | 2020-05-11 | 2020-09-01 | 浙江大华技术股份有限公司 | 一种远端视频回放方法、装置、设备及介质 |
US20210160296A1 (en) * | 2019-11-27 | 2021-05-27 | Electronics And Telecommunications Research Institute | Method and apparatus for selecting and receiving stream in distribution network-based multimedia streaming service |
CN113507617A (zh) * | 2021-06-24 | 2021-10-15 | 广州易方信息科技股份有限公司 | 基于视频流的sei帧回放数据同步方法、系统、装置及介质 |
CN113542815A (zh) * | 2021-09-17 | 2021-10-22 | 广州易方信息科技股份有限公司 | 视频直播同步方法及系统 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1400541A (zh) * | 2002-08-20 | 2003-03-05 | 西安交通大学 | 基于ip网的多媒体实时授课系统 |
KR20030059782A (ko) * | 2003-06-24 | 2003-07-10 | (주)주앤아이시스템 | 멀티미디어 영상회의 기반 실시간 공동작업을 위한 cad문서회의 기능구현 및 그 방법 |
CN1787036A (zh) * | 2005-10-21 | 2006-06-14 | 上海复旦光华信息科技股份有限公司 | 基于网络的多种媒体实时同步教学系统 |
WO2010078657A1 (en) * | 2009-01-08 | 2010-07-15 | D-Box Technologies Inc. | Cpu platform interface method and device for synchronizing a stream of motion codes with a video stream |
CN102665141A (zh) * | 2012-05-16 | 2012-09-12 | 哈尔滨工业大学深圳研究生院 | 一种基于rtp封装的avs音视频预同步方法 |
CN103596033A (zh) * | 2013-11-11 | 2014-02-19 | 北京佳讯飞鸿电气股份有限公司 | 在多媒体系统终端回放中解决音视频不同步问题的方法 |
CN104063263A (zh) * | 2014-06-23 | 2014-09-24 | 华为技术有限公司 | 辅流处理的方法和装置 |
CN105120195A (zh) * | 2015-09-18 | 2015-12-02 | 谷鸿林 | 内容录制、再现系统和方法 |
CN105306861A (zh) * | 2015-10-15 | 2016-02-03 | 深圳市时尚德源文化传播有限公司 | 一种网络教学录播方法及系统 |
CN105405325A (zh) * | 2015-12-22 | 2016-03-16 | 深圳市时尚德源文化传播有限公司 | 一种网络教学方法及系统 |
CN105578115A (zh) * | 2015-12-22 | 2016-05-11 | 深圳市鹰硕音频科技有限公司 | 一种具有语音评估功能的网络教学方法及系统 |
CN105869091A (zh) * | 2016-05-12 | 2016-08-17 | 深圳市时尚德源文化传播有限公司 | 一种互联网教学方法及系统 |
CN106851044A (zh) * | 2016-12-13 | 2017-06-13 | 深圳英飞拓科技股份有限公司 | 一种视频同步回放方法及装置 |
CN107920280A (zh) * | 2017-03-23 | 2018-04-17 | 广州思涵信息科技有限公司 | 视频、讲义ppt和语音内容精准匹配的方法和系统 |
CN109600651A (zh) * | 2018-12-13 | 2019-04-09 | 广州易方信息科技股份有限公司 | 文档类直播交互数据和音视频数据同步方法和系统 |
-
2019
- 2019-07-23 CN CN201910667925.4A patent/CN110446113A/zh active Pending
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1400541A (zh) * | 2002-08-20 | 2003-03-05 | 西安交通大学 | 基于ip网的多媒体实时授课系统 |
KR20030059782A (ko) * | 2003-06-24 | 2003-07-10 | (주)주앤아이시스템 | 멀티미디어 영상회의 기반 실시간 공동작업을 위한 cad문서회의 기능구현 및 그 방법 |
CN1787036A (zh) * | 2005-10-21 | 2006-06-14 | 上海复旦光华信息科技股份有限公司 | 基于网络的多种媒体实时同步教学系统 |
WO2010078657A1 (en) * | 2009-01-08 | 2010-07-15 | D-Box Technologies Inc. | Cpu platform interface method and device for synchronizing a stream of motion codes with a video stream |
CN102665141A (zh) * | 2012-05-16 | 2012-09-12 | 哈尔滨工业大学深圳研究生院 | 一种基于rtp封装的avs音视频预同步方法 |
CN103596033A (zh) * | 2013-11-11 | 2014-02-19 | 北京佳讯飞鸿电气股份有限公司 | 在多媒体系统终端回放中解决音视频不同步问题的方法 |
CN104063263A (zh) * | 2014-06-23 | 2014-09-24 | 华为技术有限公司 | 辅流处理的方法和装置 |
CN105120195A (zh) * | 2015-09-18 | 2015-12-02 | 谷鸿林 | 内容录制、再现系统和方法 |
CN105306861A (zh) * | 2015-10-15 | 2016-02-03 | 深圳市时尚德源文化传播有限公司 | 一种网络教学录播方法及系统 |
CN105405325A (zh) * | 2015-12-22 | 2016-03-16 | 深圳市时尚德源文化传播有限公司 | 一种网络教学方法及系统 |
CN105578115A (zh) * | 2015-12-22 | 2016-05-11 | 深圳市鹰硕音频科技有限公司 | 一种具有语音评估功能的网络教学方法及系统 |
CN105869091A (zh) * | 2016-05-12 | 2016-08-17 | 深圳市时尚德源文化传播有限公司 | 一种互联网教学方法及系统 |
CN106851044A (zh) * | 2016-12-13 | 2017-06-13 | 深圳英飞拓科技股份有限公司 | 一种视频同步回放方法及装置 |
CN107920280A (zh) * | 2017-03-23 | 2018-04-17 | 广州思涵信息科技有限公司 | 视频、讲义ppt和语音内容精准匹配的方法和系统 |
CN109600651A (zh) * | 2018-12-13 | 2019-04-09 | 广州易方信息科技股份有限公司 | 文档类直播交互数据和音视频数据同步方法和系统 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210160296A1 (en) * | 2019-11-27 | 2021-05-27 | Electronics And Telecommunications Research Institute | Method and apparatus for selecting and receiving stream in distribution network-based multimedia streaming service |
US11509702B2 (en) * | 2019-11-27 | 2022-11-22 | Electronics And Telecommunications Research Institute | Method and apparatus for selecting and receiving stream in distribution network-based multimedia streaming service |
CN111614997A (zh) * | 2020-05-11 | 2020-09-01 | 浙江大华技术股份有限公司 | 一种远端视频回放方法、装置、设备及介质 |
CN111614997B (zh) * | 2020-05-11 | 2022-04-15 | 浙江大华技术股份有限公司 | 一种远端视频回放方法、装置、设备及介质 |
CN113507617A (zh) * | 2021-06-24 | 2021-10-15 | 广州易方信息科技股份有限公司 | 基于视频流的sei帧回放数据同步方法、系统、装置及介质 |
CN113542815A (zh) * | 2021-09-17 | 2021-10-22 | 广州易方信息科技股份有限公司 | 视频直播同步方法及系统 |
CN113542815B (zh) * | 2021-09-17 | 2022-03-08 | 广州易方信息科技股份有限公司 | 视频直播同步方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110446113A (zh) | 回放ppt与视频流的方法 | |
US11678000B2 (en) | Method and system for providing social media content synchronized to media presentation | |
CN106792073B (zh) | 跨设备的音视频数据同步播放的方法、播放设备及系统 | |
CN101635848B (zh) | 一种视频文件的编辑方法和装置 | |
CN104869467B (zh) | 媒体播放中的信息输出方法、装置和系统 | |
CN104768082B (zh) | 一种音视频播放信息处理方法及服务器 | |
CN109819345A (zh) | 直播视频的处理、时移方法、视频处理装置及云存储系统 | |
WO2020199304A1 (zh) | 一种同步播放消息流与音视频流的方法、装置和系统 | |
CN112383790B (zh) | 直播的录屏方法、装置、电子设备及存储介质 | |
CN104394380A (zh) | 视频监控管理系统以及视频监控录像的回放方法 | |
CN106371998A (zh) | 移动应用的测试系统及方法 | |
CN111512635B (zh) | 用于选择性跳过媒体内容的方法和系统 | |
JP2015515208A (ja) | 相関したメディアプレゼンテーションの同期のためのバッファ管理方法 | |
US9653117B2 (en) | Interconnected multimedia systems with synchronized playback of media streams | |
JP6384119B2 (ja) | 受信装置、および送信装置、並びにデータ処理方法 | |
CN103596033B (zh) | 在多媒体系统终端回放中解决音视频不同步问题的方法 | |
CN105472471A (zh) | 一种智能电视及其在线视频详情页的显示方法 | |
CN110392277A (zh) | 一种直播视频的内容收录方法、装置、设备及存储介质 | |
CN104618673A (zh) | 一种基于nvr的多路录像同步回放控制方法和装置 | |
CN112866755B (zh) | 一种视频播放方法、装置、电子设备及存储介质 | |
CN109151492A (zh) | 一种直播视频的快速启动方法及装置 | |
CN107820111B (zh) | 信息设备 | |
WO2012094992A1 (zh) | 一种实现数据获取的方法和系统 | |
JP2015220746A (ja) | 受信装置、およびデータ処理方法 | |
CN110602442B (zh) | 一种视频监控系统中实时码流播放控制的实现方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191112 |
|
RJ01 | Rejection of invention patent application after publication |