CN108600785B - 视频串流中子程序的同步方法及计算机可读存储介质 - Google Patents

视频串流中子程序的同步方法及计算机可读存储介质 Download PDF

Info

Publication number
CN108600785B
CN108600785B CN201810441972.2A CN201810441972A CN108600785B CN 108600785 B CN108600785 B CN 108600785B CN 201810441972 A CN201810441972 A CN 201810441972A CN 108600785 B CN108600785 B CN 108600785B
Authority
CN
China
Prior art keywords
plug
subprogram
subtitle
control instruction
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810441972.2A
Other languages
English (en)
Other versions
CN108600785A (zh
Inventor
徐鹏钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanwan Ltd
Original Assignee
Shanwan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanwan Ltd filed Critical Shanwan Ltd
Priority to CN201810441972.2A priority Critical patent/CN108600785B/zh
Publication of CN108600785A publication Critical patent/CN108600785A/zh
Application granted granted Critical
Publication of CN108600785B publication Critical patent/CN108600785B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种视频串流中子程序的同步方法及计算机可读存储介质，方法包括：媒体服务器获取子程序的控制指令；媒体服务器分析目标视频，得到执行所述子程序的开始时间和结束时间；媒体服务器根据所述开始时间和结束时间，将所述子程序的控制指令进行编码，得到外挂字幕，并将所述外挂字幕嵌入至所述目标视频中；媒体服务器将嵌入有外挂字幕的目标视频发送至终端；若终端从所述目标视频的外挂字幕中解码得到子程序的控制指令，则根据所述控制指令执行对应的子程序。本发明可在实现串流视频与子程序功能的同步，提高用户体验。

Description

视频串流中子程序的同步方法及计算机可读存储介质
技术领域
本发明涉及视频技术领域，尤其涉及一种视频串流中子程序的同步方法及计算机可读存储介质。
背景技术
随着交互式直播节目型态的发展，视频直播与视频串流领域有越来越多的创新，也有越来越多的观众希望在观看视频的同时，也能够与视频有更多即时而有趣的互动。视频串流提供者也希望能够在播放某一帧的视频之后能够马上进入一个特定的用户互动软件机制，例如用户投票、用户选择、动画等等。因此，直播节目需要将直播视频与直播节目应用程序其他功能进行同步，以提高用户体验。
然而，由于从视频串流源经过不同的网路连线机制，串流到不同的目标硬件装置并播放具有不同的延迟，导致直播视频在不同的播放装置之间具有不同的延迟，使得直播视频与其他经由客户端应用程序触发的节目元素(例如限时答题、限时投票、动画等等)难以通过现有时间戳的方式进行同步，因而造成使用者体验不佳。
因此，如何在视频串流路径延迟不一的情况下，让所有的目标硬件装置均能将某一帧视频的播放与节目元素的执行同步是目前不容易解决的问题。
发明内容
本发明所要解决的技术问题是：提供一种视频串流中子程序的同步方法及计算机可读存储介质，可在不同终端上实现串流视频与子程序功能的同步，提高用户体验。
为了解决上述技术问题，本发明采用的技术方案为：一种视频串流中子程序的同步方法，包括：
媒体服务器获取子程序的控制指令；
媒体服务器分析目标视频，得到执行所述子程序的开始时间和结束时间；
媒体服务器根据所述开始时间和结束时间，将所述子程序的控制指令进行编码，得到外挂字幕，并将所述外挂字幕嵌入至所述目标视频中；
媒体服务器将嵌入有外挂字幕的目标视频发送至终端；
若终端从所述目标视频的外挂字幕中解码得到子程序的控制指令，则根据所述控制指令执行对应的子程序。
本发明还涉及一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现以下步骤：
获取子程序的控制指令；
分析目标视频，得到执行所述子程序的开始时间和结束时间；
根据所述开始时间和结束时间，将所述子程序的控制指令进行编码，得到外挂字幕，并将所述外挂字幕嵌入至所述目标视频中；
将嵌入有外挂字幕的目标视频发送至终端；
若从所述目标视频的外挂字幕中解码得到子程序的控制指令，则根据所述控制指令执行对应的子程序。
本发明的有益效果在于：通过将控制指令编码至外挂字幕中，让控制指令与特定的视频帧或视频段进行同步，从而实现某一帧视频的播放与子程序的执行的同步，有效解决不同终端之间延迟不同的问题。
附图说明
图1为本发明一种视频串流中子程序的同步方法的流程图；
图2为本发明实施例一的方法流程图。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图详予说明。
本发明最关键的构思在于：利用外挂字幕作为触发子程序执行的控制指令，实现计算机程序的执行与串流视频的同步。
请参阅图1，一种视频串流中子程序的同步方法，包括：
媒体服务器获取子程序的控制指令；
媒体服务器分析目标视频，得到执行所述子程序的开始时间和结束时间；
媒体服务器根据所述开始时间和结束时间，将所述子程序的控制指令进行编码，得到外挂字幕，并将所述外挂字幕嵌入至所述目标视频中；
媒体服务器将嵌入有外挂字幕的目标视频发送至终端；
若终端从所述目标视频的外挂字幕中解码得到子程序的控制指令，则根据所述控制指令执行对应的子程序。
从上述描述可知，本发明的有益效果在于：可在不同终端上实现串流视频与子程序功能的同步，提高用户体验
进一步地，还包括：
终端播放所述目标视频时，隐藏所述外挂字幕。
由上述描述可知，由于外挂字幕中并不是存储真正的字幕，而是控制指令，通过隐藏外挂字幕，保证视频的观看体验。
进一步地，所述终端包括智能手机、电脑、机顶盒、电视、媒体播放器和游戏机。
本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现以下步骤：
获取子程序的控制指令；
分析目标视频，得到执行所述子程序的开始时间和结束时间；
根据所述开始时间和结束时间，将所述子程序的控制指令进行编码，得到外挂字幕，并将所述外挂字幕嵌入至所述目标视频中；
将嵌入有外挂字幕的目标视频发送至终端；
若从所述目标视频的外挂字幕中解码得到子程序的控制指令，则根据所述控制指令执行对应的子程序。
进一步地，还包括：
播放所述目标视频时，隐藏所述外挂字幕。
实施例一
请参照图2，本发明的实施例一为：一种视频与子程序的同步方法，可运用于视频串流或直播视频，包括如下步骤：
S1：媒体服务器获取子程序的控制指令；进一步地，可以将子程序的控制指令以同步指令串的形式传送到媒体服务器。
S2：媒体服务器分析目标视频，得到执行所述子程序的开始时间和结束时间。
S3：媒体服务器根据所述开始时间和结束时间，将所述子程序的控制指令进行编码，得到外挂字幕，并将所述外挂字幕嵌入至所述目标视频中。
S4：媒体服务器将嵌入有外挂字幕的目标视频发送至终端；进一步地，通过CDN(Content Delivery Network，内容分发网络)传送到各个不同的终端。
S5：终端播放所述目标视频，并实时解码外挂字幕。具体地，终端接收到所述目标视频时，终端上的应用程序会调用自身的或者硬件上原有的视频播放器来播放所述目标视频，并实时对目标视频当前帧对应的外挂字幕进行解码。优选地，在播放目标视频时，隐藏外挂字幕，即在视频画面上不显示外挂字幕；具体地，可在前端视频播放器中将字幕设为隐藏。
S6：判断是否从外挂字幕中解码得到子程序的控制指令，若是，则执行步骤S7。
S7：根据所述控制指令执行对应的子程序，即触发执行对应的子程序。
例如，假设想要在视频中主持人比赞手势的同时在画面上显示点赞的动画，则先分析该视频，获取主持人比赞手势时的开始时间和结束时间(开始时间和结束时间为相较于视频起始时间点的时间戳)，然后获取触发点赞动画的控制指令，对该控制指令进行编码，并根据开始时间和结束时间生成外挂字幕，接着将该外挂字幕嵌入该视频中，然后通过网络分发器传送到各个不同的终端中，终端实时接收并播放该视频，并实时对其外挂字幕进行解码，当解码到控制指令时，则触发显示点赞动画。
进一步地，外挂字幕中可存在多个子程序的控制指令。例如，一个目标装置收到了一段串流视频及其对应的外挂字幕，第一段外挂字幕数据可以触发目标装置执行第一个子程序，第二段外挂字幕数据可以触发目标装置执行第二个子程序。
优选地，所述终端可以为智能手机、平板电脑、笔记本电脑、台式电脑、机顶盒、电视、、可携式媒体播放器、游戏机或以上装置的结合。
由于视频串流路径延迟不一，因此，不同终端之间的视频是不同步的，外挂字幕也是不同步的，但是，由于外挂字幕的延迟与视频的延迟是一样的，因此，同一个终端中视频与其外挂字幕是同步的。
同时，由于视频串流是将视频一段一段地传送到终端，并对应一个播放列表，当一段字幕的开始时间对应的那一帧视频被播放了，这段字幕就会一直出现，知道这段字幕的结束时间对应的那一帧视频被播放完为止。也就是说，外挂字幕中的数据是同步在特定的视频段。
本实施例通过将控制指令编码至外挂字幕中，让控制指令与特定的视频帧或视频段进行同步，从而实现某一帧视频的播放与节目元素的执行的同步，有效解决不同终端之间延迟不同的问题。
实施例二
本实施例是对应上述实施例的一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现以下步骤：
获取子程序的控制指令；
分析目标视频，得到执行所述子程序的开始时间和结束时间；
根据所述开始时间和结束时间，将所述子程序的控制指令进行编码，得到外挂字幕，并将所述外挂字幕嵌入至所述目标视频中；
将嵌入有外挂字幕的目标视频发送至终端；
若从所述目标视频的外挂字幕中解码得到子程序的控制指令，则根据所述控制指令执行对应的子程序。
进一步地，还包括：
播放所述目标视频时，隐藏所述外挂字幕。
综上所述，本发明提供的一种视频串流中子程序的同步方法及计算机可读存储介质，通过将控制指令编码至外挂字幕中，让控制指令与特定的视频帧或视频段进行同步，从而实现某一帧视频的播放与子程序的执行的同步，有效解决不同终端之间延迟不同的问题。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种视频串流中子程序的同步方法，其特征在于，包括：
媒体服务器获取子程序的控制指令；
媒体服务器分析目标视频，得到执行所述子程序的开始时间和结束时间；
媒体服务器根据所述开始时间和结束时间，将所述子程序的控制指令进行编码，得到外挂字幕，并将所述外挂字幕嵌入至所述目标视频中；
媒体服务器将嵌入有外挂字幕的目标视频发送至终端；
若终端从所述目标视频的外挂字幕中实时解码得到子程序的控制指令，则根据所述控制指令执行对应的子程序。
2.根据权利要求1所述的视频串流中子程序的同步方法，其特征在于，还包括：
终端播放所述目标视频时，隐藏所述外挂字幕。
3.根据权利要求1所述的视频串流中子程序的同步方法，其特征在于，所述终端包括智能手机、电脑、机顶盒、电视、媒体播放器和游戏机。
4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现以下步骤：
获取子程序的控制指令；
分析目标视频，得到执行所述子程序的开始时间和结束时间；
根据所述开始时间和结束时间，将所述子程序的控制指令进行编码，得到外挂字幕，并将所述外挂字幕嵌入至所述目标视频中；
将嵌入有外挂字幕的目标视频发送至终端；
若从所述目标视频的外挂字幕中实时解码得到子程序的控制指令，则根据所述控制指令执行对应的子程序。
5.根据权利要求4所述的计算机可读存储介质，其特征在于，还包括：
播放所述目标视频时，隐藏所述外挂字幕。
CN201810441972.2A 2018-05-10 2018-05-10 视频串流中子程序的同步方法及计算机可读存储介质 Expired - Fee Related CN108600785B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810441972.2A CN108600785B (zh) 2018-05-10 2018-05-10 视频串流中子程序的同步方法及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810441972.2A CN108600785B (zh) 2018-05-10 2018-05-10 视频串流中子程序的同步方法及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108600785A CN108600785A (zh) 2018-09-28
CN108600785B true CN108600785B (zh) 2021-05-04

Family

ID=63636456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810441972.2A Expired - Fee Related CN108600785B (zh) 2018-05-10 2018-05-10 视频串流中子程序的同步方法及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN108600785B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11426633B2 (en) 2019-02-12 2022-08-30 Ifit Inc. Controlling an exercise machine using a video workout program
CN111669605B (zh) * 2019-03-06 2021-10-26 腾讯科技（深圳）有限公司 多媒体数据与其关联互动数据的同步方法和装置
CN113382291A (zh) * 2020-03-09 2021-09-10 海信视像科技股份有限公司 一种显示设备及流媒体播放方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833490A (zh) * 2011-06-15 2012-12-19 新诺亚舟科技（深圳）有限公司 一种互动视频的编辑播放方法、系统及电子学习设备
CN103220490A (zh) * 2013-03-15 2013-07-24 广东欧珀移动通信有限公司 一种在视频通信中实现特效的方法及视频用户端
CN103220474A (zh) * 2013-03-22 2013-07-24 深圳市九洲电器有限公司 一种字幕显示方法及系统
CN104169898A (zh) * 2011-12-28 2014-11-26 英特尔公司 用于使用JavaScript和HTML5在设备之间流式传输元数据的方法和设备
CN105210376A (zh) * 2013-03-14 2015-12-30 谷歌公司 使用音频流识别与当前播放的电视节目相关联的元数据
CN105721923A (zh) * 2016-03-21 2016-06-29 北京正奇联讯科技有限公司 电视节目播出终端及播出中的互动信息处理方法和系统
CN106303659A (zh) * 2016-08-22 2017-01-04 暴风集团股份有限公司 在播放器中加载图文字幕的方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8782722B1 (en) * 2013-04-05 2014-07-15 Wowza Media Systems, LLC Decoding of closed captions at a media server
CN104780339A (zh) * 2015-04-16 2015-07-15 美国掌赢信息科技有限公司 一种即时视频中的表情特效动画加载方法和电子设备
CN105049910B (zh) * 2015-07-06 2018-10-26 天脉聚源（北京）教育科技有限公司 一种视频处理方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102833490A (zh) * 2011-06-15 2012-12-19 新诺亚舟科技（深圳）有限公司 一种互动视频的编辑播放方法、系统及电子学习设备
CN104169898A (zh) * 2011-12-28 2014-11-26 英特尔公司 用于使用JavaScript和HTML5在设备之间流式传输元数据的方法和设备
CN105210376A (zh) * 2013-03-14 2015-12-30 谷歌公司 使用音频流识别与当前播放的电视节目相关联的元数据
CN103220490A (zh) * 2013-03-15 2013-07-24 广东欧珀移动通信有限公司 一种在视频通信中实现特效的方法及视频用户端
CN103220474A (zh) * 2013-03-22 2013-07-24 深圳市九洲电器有限公司 一种字幕显示方法及系统
CN105721923A (zh) * 2016-03-21 2016-06-29 北京正奇联讯科技有限公司 电视节目播出终端及播出中的互动信息处理方法和系统
CN106303659A (zh) * 2016-08-22 2017-01-04 暴风集团股份有限公司 在播放器中加载图文字幕的方法及系统

Also Published As

Publication number Publication date
CN108600785A (zh) 2018-09-28

Similar Documents

Publication Publication Date Title
US10306293B2 (en) Systems and methods of server based interactive content injection
US8583555B1 (en) Synchronizing multiple playback device timing utilizing DRM encoding
US8893169B2 (en) Systems and methods for selectively obscuring portions of media content using a widget
US9634880B2 (en) Method for displaying user interface and display device thereof
CN111064973A (zh) 一种基于ipv9的直播系统
CN111064972A (zh) 一种基于ipv9的视频直播控制方法
CN108600785B (zh) 视频串流中子程序的同步方法及计算机可读存储介质
Pfeiffer et al. The definitive guide to HTML5 video
CN108574877B (zh) 直播方法、主播端、观众端、设备、系统及存储介质
US20140064711A1 (en) Systems, Methods, and Media for Presenting Media Content Using Cached Assets
JP2013192062A (ja) 映像配信システム、映像配信装置、映像配信方法およびプログラム
KR20180083132A (ko) 전자 장치 및 그 동작방법
US20120307145A1 (en) Simultaneously presenting an enhanced and primary stream associated with a digital television broadcast
WO2023151332A1 (zh) 一种多媒体流处理方法、装置、设备、计算机可读存储介质及计算机程序产品
US9009760B2 (en) Provisioning interactive video content from a video on-demand (VOD) server
US20140143799A1 (en) Substituting alternative media for presentation during variable speed operation
US9716919B2 (en) Queue to display additional information for entities in captions
WO2022155107A1 (en) Synchronizing secondary audiovisual content based on frame transitions in streaming content
CN112492324A (zh) 数据处理方法及系统
KR101919014B1 (ko) 전자 장치 및 그 동작방법
CN110832871A (zh) 实况广播
US11005908B1 (en) Supporting high efficiency video coding with HTTP live streaming
CN111095943A (zh) 电视节目和额外多媒体内容的组合广播方法
US11856242B1 (en) Synchronization of content during live video stream
KR102336805B1 (ko) 컨텐츠를 표시하는 도중 채널을 전환하는 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210504