CN116132751A - 一种基于web窗口场景同步回放的方法及系统 - Google Patents

一种基于web窗口场景同步回放的方法及系统 Download PDF

Info

Publication number
CN116132751A
CN116132751A CN202211722603.3A CN202211722603A CN116132751A CN 116132751 A CN116132751 A CN 116132751A CN 202211722603 A CN202211722603 A CN 202211722603A CN 116132751 A CN116132751 A CN 116132751A
Authority
CN
China
Prior art keywords
video
playback
hls
time
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211722603.3A
Other languages
English (en)
Other versions
CN116132751B (zh
Inventor
李登科
管涛
王昱森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Bird Information Technology Co ltd
Original Assignee
Zhengzhou Bird Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Bird Information Technology Co ltd filed Critical Zhengzhou Bird Information Technology Co ltd
Priority to CN202211722603.3A priority Critical patent/CN116132751B/zh
Publication of CN116132751A publication Critical patent/CN116132751A/zh
Application granted granted Critical
Publication of CN116132751B publication Critical patent/CN116132751B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种基于web窗口场景同步回放的方法及系统，涉及网络视频回放技术。针对现有技术中同步工作依赖于服务器性能的问题提出本方案，方法为浏览器下载到HLS录制服务的视频后执行如下步骤进行同步回放：获取当前任务开始时间；寻找最早的回放视频；判断是否存在多个视频，若否则单独加载视频片段，若是则同步加载所有视频片段；根据视频录制的时间和视频播放的相对时间对视频的同步回放进行控制。优点在于使用HLS来代替，可以节省长连接占用对服务器性能的开销；将同步帧的处理放置在客户端进行处理，可以避免对高性能服务器的成本依赖；根据视频录制的时间和视频播放的相对时间对视频的同步回放进行控制，不会存在丢帧的问题。

Description

一种基于web窗口场景同步回放的方法及系统
技术领域
本发明涉及网络视频回放技术，尤其涉及一种基于web窗口场景同步回放的方法及系统。
背景技术
现有技术中使用webrtc作为视频传输的介质，在服务端将需要回放的视频进行分析并进行同步处理，然后将处理后的视频传输给浏览器webrtc接收端进行回放，如图1所示。其中webrtc的全称为WebReal-TimeCommunication，是一个支持网页浏览器进行实时语音对话或视频对话的技术。
基于webrtc的视频回放方案存在以下技术问题：
1、同步模块部署在服务端，多端同步回放受服务器性能的限制；
2、webrtc需要创建对等连接，也受限于服务器的性能优劣；
3、在投入市场使用时往往需要配置对等的服务器，高性能的服务器价格都贵，存在成本问题；
4、在服务端做同帧回放的处理，在实际应用中，不同视频的帧率是不相同的，如果按照最高帧率作为基准帧率在回放时进行丢帧处理是不太严谨的处理方式；
5、无法使用自定义布局对视频进行同步回放。
发明内容
本发明目的在于提供一种基于web窗口场景同步回放的方法及系统，以解决上述现有技术存在的问题。
本发明所述一种基于web窗口场景同步回放的方法是浏览器下载到HLS录制服务的视频后执行如下步骤进行同步回放：
获取当前任务开始时间；
寻找最早的回放视频；
判断是否存在多个视频，若否则单独加载视频片段，若是则同步加载所有视频片段；
根据视频录制的时间和视频播放的相对时间对视频的同步回放进行控制；
对用户提供自定义播放窗口以适应不同播放需求；
其中所述的浏览器部署在客户端；所述的HLS录制服务部署在服务器，基于HLS协议录制一个以上视频源的视频流。
每一视频片段结束后，判断该视频是否还存在连续片段，若存在则同步播放时间后继续进行回放。
若不存在连续片段则判断是否处于视频的结尾处，若未到达结尾处则暂停对应视频的回放并监听时间轴，直至出现带有对应时间戳的视频片段再进行继续回放。
所述每一视频均提前下载60M进行缓存。
所述HLS录制服务录制的视频内每个片段切片长度不超过10s。
切片结果以ts文件及对应的m3u8文件进行储存。
每一视频片段播放开始后均与当前播放的视频片段进行时间轴同步。
所述自定义播放窗口包括布局方式可编辑。
所述HLS录制服务在录制视频的时候保存一个录制场景；所述浏览器在自定义播放窗口提供该录制场景的选项。
本发明所述一种基于web窗口场景同步回放的系统以所述方法进行同步回放。
本发明所述一种基于web窗口场景同步回放的方法及系统，至少存在以下优点：
1、舍弃了webrtc作为视频传输介质，使用HLS来代替，可以节省长连接占用对服务器性能的开销；
2、将同步帧的处理放置在客户端进行处理，可以避免对高性能服务器的成本依赖；
3、根据视频录制的时间和视频播放的相对时间对视频的同步回放进行控制，不会存在丢帧的问题；
4、可以自定义回放布局，将同一时期录制的视频按需放在一起进行同步回放。
附图说明
图1是现有技术中回放系统结构示意图。
图2是本发明中所述系统的结构示意图。
图3是本发明中所述录制模块的工作流程图。
图4是本发明中所述自定义布局模块的工作流程图。
图5是本发明中所述渲染模块的工作流程图。
具体实施方式
如图2所示，本发明所述一种基于web窗口场景同步回放的系统包括部署在客户端的浏览器，以及部署在服务器的HLS录制服务。所述的HLS录制服务基于HLS协议录制一个以上视频源的视频流。
HLS全称为Http Live Streaming，HLS协议是苹果公司提出的基于Http的流媒体网络传输协议。HLS协议规定：(1)视频的封装格式是TS，一个TS文件即为一个视频切片；(2)视频的编码格式为H264，音频格式为MP3、ACC或者AC-3；(3)以m3u8文件来控制播放TS文件。
所述浏览器包括以下子模块：
1、HTTP取包模块：用于对m3u8文件进行解析，并将解析后的ts播放列表通过HTTP的方式进行下载。每个视频都会预先下载60M的资源进行缓存，待渲染模块将缓存使用即将结束的时候会再次通过HTTP下载下一批资源进行缓存。
2、解码模块：用于将HTTP取包模块中的ts视频文件进行解码。
3、自定布局模块：用于提供用户将所选择的视频进行自由布局，未被选中的视频不参与解码和渲染。
4、渲染模块：用于将解码后的图像及音频通过自定义的布局方式呈现给用户。渲染模块在播放到资源末尾处还剩10M资源时会发通知给HTTP取包模块重新获取视频资源并继续播放过程。
所述HLS录制服务包括以下子模块：
1、录制模块：用于对一个以上的视频源进行录制服务，录制的视频保存格式优选为m3u8播放列表及ts文件，并按时间顺序存放在存储模块中。
2、存储模块：用于存储录制后的视频文件。
3、资源调度模块：用于提供一个HTTP服务，为浏览器提供访问录制的资源。
所述一种基于web窗口场景同步回放的系统工作原理以及本发明所述一种基于web窗口场景同步回放的方法具体流程如图3至图5所示。
录制流程如图3所示：
选择信号源后保存为一个录制场景。
通过预约模式或立即录制模式开启录制。
录制结束后基于HLS协议执行文件生成逻辑。
生成录制文件index file(m3u8)及ts文件。
播放回放视频的流程如图4所示：
回放列表中，选择一个录制场景。
在布局列表中选择一种预设的布局方式或自定义一种布局方式。
在回放界面中点击播放按钮。
执行同步回放逻辑。
渲染模块的流程如图5所示：
根据视频源的数量创建对等的视频播放器。
获取选中录制场景下录制任务的开始时间。
根据开始时间和播放列表寻找到最早的视频片段。
加载视频片段执行视频回放。
某一段视频结束时会判断是否存在连续的播放片段，如果不存在连续的播放片段，需要再次判断视频是否到达了任务的截至时间，判断是否需要结束播放，如果存在连续的播放片段，就会直接加载下一段视频重新从同步播放时间处继续执行逻辑。
对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (10)

1.一种基于web窗口场景同步回放的方法，其特征在于，浏览器下载到HLS录制服务的视频后执行如下步骤进行同步回放：
获取当前任务开始时间；
寻找最早的回放视频；
判断是否存在多个视频，若否则单独加载视频片段，若是则同步加载所有视频片段；
根据视频录制的时间和视频播放的相对时间对视频的同步回放进行控制；
对用户提供自定义播放窗口以适应不同播放需求；
其中所述的浏览器部署在客户端；所述的HLS录制服务部署在服务器，基于HLS协议录制一个以上视频源的视频流。
2.根据权利要求1所述一种基于web窗口场景同步回放的方法，其特征在于，每一视频片段结束后，判断该视频是否还存在连续片段，若存在则同步播放时间后继续进行回放。
3.根据权利要求2所述一种基于web窗口场景同步回放的方法，其特征在于，若不存在连续片段则判断是否处于视频的结尾处，若未到达结尾处则暂停对应视频的回放并监听时间轴，直至出现带有对应时间戳的视频片段再进行继续回放。
4.根据权利要求1所述一种基于web窗口场景同步回放的方法，其特征在于，所述每一视频均提前下载60M进行缓存。
5.根据权利要求1所述一种基于web窗口场景同步回放的方法，其特征在于，所述HLS录制服务录制的视频内每个片段切片长度不超过10s。
6.根据权利要求5所述一种基于web窗口场景同步回放的方法，其特征在于，切片结果以ts文件及对应的m3u8文件进行储存。
7.根据权利要求1所述一种基于web窗口场景同步回放的方法，其特征在于，每一视频片段播放开始后均与当前播放的视频片段进行时间轴同步。
8.根据权利要求1所述一种基于web窗口场景同步回放的方法，其特征在于，所述自定义播放窗口包括布局方式可编辑。
9.根据权利要求1所述一种基于web窗口场景同步回放的方法，其特征在于，所述HLS录制服务在录制视频的时候保存一个录制场景；所述浏览器在自定义播放窗口提供该录制场景的选项。
10.一种基于web窗口场景同步回放的系统，其特征在于，以权利要求1-9任一项所述方法进行同步回放。
CN202211722603.3A 2022-12-30 2022-12-30 一种基于web窗口场景同步回放的方法及系统 Active CN116132751B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211722603.3A CN116132751B (zh) 2022-12-30 2022-12-30 一种基于web窗口场景同步回放的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211722603.3A CN116132751B (zh) 2022-12-30 2022-12-30 一种基于web窗口场景同步回放的方法及系统

Publications (2)

Publication Number Publication Date
CN116132751A true CN116132751A (zh) 2023-05-16
CN116132751B CN116132751B (zh) 2024-07-30

Family

ID=86300276

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211722603.3A Active CN116132751B (zh) 2022-12-30 2022-12-30 一种基于web窗口场景同步回放的方法及系统

Country Status (1)

Country Link
CN (1) CN116132751B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030091322A1 (en) * 2001-11-13 2003-05-15 Koninklijke Philips Electronics N.V. System for synchronizing the playback of two or more connected playback devices using closed captioning
JP2006080735A (ja) * 2004-09-08 2006-03-23 Nippon Telegr & Teleph Corp <Ntt> 複数映像同期再生方法、複数映像同期再生装置、複数映像同期再生プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN201781583U (zh) * 2010-01-22 2011-03-30 深圳市同洲电子股份有限公司 多路服务器录像回放同步控制系统
CN103686071A (zh) * 2013-10-30 2014-03-26 北京中星微电子有限公司 一种监控录像的回放方法及系统
WO2016062081A1 (zh) * 2014-10-21 2016-04-28 中兴通讯股份有限公司 实现hls频道回看业务的系统、设备和方法、存储介质
CN106685942A (zh) * 2016-12-20 2017-05-17 徐亮 视频直播回播系统以及视频直播回播方法
CN106851044A (zh) * 2016-12-13 2017-06-13 深圳英飞拓科技股份有限公司 一种视频同步回放方法及装置
CN107666613A (zh) * 2016-07-27 2018-02-06 中国电信股份有限公司 用于多点录制的时间同步方法、服务器以及系统
CN108495151A (zh) * 2018-03-22 2018-09-04 深圳牛视科技有限公司 一种m3u8格式视频直播系统和方法
CN110381350A (zh) * 2019-06-25 2019-10-25 杭州叙简科技股份有限公司 基于webrtc的多路录像回放同步系统及其处理方法
CN111800672A (zh) * 2020-06-06 2020-10-20 烽火通信科技股份有限公司 一种网络个人视频录制的方法和装置
CN112929583A (zh) * 2021-05-10 2021-06-08 北京小鸟科技股份有限公司 基于大屏窗口原始信号源同步录制、回放的方法及系统
CN113055624A (zh) * 2020-12-31 2021-06-29 创盛视联数码科技（北京）有限公司 课程回放的方法、服务器、客户端及电子设备
CN113507617A (zh) * 2021-06-24 2021-10-15 广州易方信息科技股份有限公司 基于视频流的sei帧回放数据同步方法、系统、装置及介质
US20210352336A1 (en) * 2019-04-23 2021-11-11 Huawei Technologies Co., Ltd. Media Stream Sending Method and Apparatus, and Device
CN115412754A (zh) * 2022-08-16 2022-11-29 郑州小鸟信息科技有限公司 一种基于同一时间轴多信号源场景同步录制和回放的方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030091322A1 (en) * 2001-11-13 2003-05-15 Koninklijke Philips Electronics N.V. System for synchronizing the playback of two or more connected playback devices using closed captioning
JP2006080735A (ja) * 2004-09-08 2006-03-23 Nippon Telegr & Teleph Corp <Ntt> 複数映像同期再生方法、複数映像同期再生装置、複数映像同期再生プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN201781583U (zh) * 2010-01-22 2011-03-30 深圳市同洲电子股份有限公司 多路服务器录像回放同步控制系统
CN103686071A (zh) * 2013-10-30 2014-03-26 北京中星微电子有限公司 一种监控录像的回放方法及系统
WO2016062081A1 (zh) * 2014-10-21 2016-04-28 中兴通讯股份有限公司 实现hls频道回看业务的系统、设备和方法、存储介质
CN107666613A (zh) * 2016-07-27 2018-02-06 中国电信股份有限公司 用于多点录制的时间同步方法、服务器以及系统
CN106851044A (zh) * 2016-12-13 2017-06-13 深圳英飞拓科技股份有限公司 一种视频同步回放方法及装置
CN106685942A (zh) * 2016-12-20 2017-05-17 徐亮 视频直播回播系统以及视频直播回播方法
CN108495151A (zh) * 2018-03-22 2018-09-04 深圳牛视科技有限公司 一种m3u8格式视频直播系统和方法
US20210352336A1 (en) * 2019-04-23 2021-11-11 Huawei Technologies Co., Ltd. Media Stream Sending Method and Apparatus, and Device
CN110381350A (zh) * 2019-06-25 2019-10-25 杭州叙简科技股份有限公司 基于webrtc的多路录像回放同步系统及其处理方法
CN111800672A (zh) * 2020-06-06 2020-10-20 烽火通信科技股份有限公司 一种网络个人视频录制的方法和装置
CN113055624A (zh) * 2020-12-31 2021-06-29 创盛视联数码科技（北京）有限公司 课程回放的方法、服务器、客户端及电子设备
CN112929583A (zh) * 2021-05-10 2021-06-08 北京小鸟科技股份有限公司 基于大屏窗口原始信号源同步录制、回放的方法及系统
CN113507617A (zh) * 2021-06-24 2021-10-15 广州易方信息科技股份有限公司 基于视频流的sei帧回放数据同步方法、系统、装置及介质
CN115412754A (zh) * 2022-08-16 2022-11-29 郑州小鸟信息科技有限公司 一种基于同一时间轴多信号源场景同步录制和回放的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨继伟;: "视频云源站的资源调度系统设计与实现", 软件, no. 05, 15 May 2018 (2018-05-15) *

Also Published As

Publication number Publication date
CN116132751B (zh) 2024-07-30

Similar Documents

Publication Publication Date Title
CN102055717B (zh) 快速播放的方法、终端及服务器
CN105282627B (zh) 一种获取直播视频切片的方法及服务器
JP6308442B2 (ja) ストリーミングメディアデータを取得するための方法、デバイス、およびシステム
US8516144B2 (en) Startup bitrate in adaptive bitrate streaming
CN107277081A (zh) 流媒体数据的切片下载方法和装置、流媒体系统
US10015222B2 (en) Systems and methods for selective retrieval of adaptive bitrate streaming media
EP2175577A2 (en) Apparatus and methods for broadcasting
WO2017092327A1 (zh) 一种播放方法及装置
KR20180109890A (ko) 정보 처리 장치 및 정보 처리 방법
JP2015136060A (ja) 通信装置、通信データ生成方法、および通信データ処理方法
WO2018103696A1 (zh) 媒体文件的播放方法、服务端、客户端及系统
CN113923502B (zh) 直播视频播放方法及装置
US20130232233A1 (en) Systems and methods for client-side media chunking
CN105407307A (zh) 多通道视频录像数据的处理方法、系统及装置
JP2015136059A (ja) 通信装置、通信データ生成方法、および通信データ処理方法
CN113727199A (zh) 一种hls切片快速起播方法
EP2538629A1 (en) Content delivering method
CN106303754A (zh) 一种音频数据播放方法及装置
CN116132751B (zh) 一种基于web窗口场景同步回放的方法及系统
US11895350B2 (en) Techniques for providing a content stream based on a delivered stream of content
CN114025201A (zh) 一种视频播放方法、装置、设备及存储介质
CN114760485B (zh) 视频轮播方法、系统及相关设备
CN114173145A (zh) 一种基于hls协议动态码率低延迟直播方法
CN113347462B (zh) 基于视频源信息接合实现多个视频按时间进行点播的方法
CN110636335B (zh) 一种实时视频的hls快速分享的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant