CN110933449A - 一种外部数据与视频画面的同步方法、系统及装置 - Google Patents

一种外部数据与视频画面的同步方法、系统及装置 Download PDF

Info

Publication number
CN110933449A
CN110933449A CN201911328538.4A CN201911328538A CN110933449A CN 110933449 A CN110933449 A CN 110933449A CN 201911328538 A CN201911328538 A CN 201911328538A CN 110933449 A CN110933449 A CN 110933449A
Authority
CN
China
Prior art keywords
video stream
processed
video
target
external data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911328538.4A
Other languages
English (en)
Other versions
CN110933449B (zh
Inventor
孙鹏飞
张涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN201911328538.4A priority Critical patent/CN110933449B/zh
Publication of CN110933449A publication Critical patent/CN110933449A/zh
Application granted granted Critical
Publication of CN110933449B publication Critical patent/CN110933449B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2181—Source of audio or video content, e.g. local disk arrays comprising remotely distributed storage units, e.g. when movies are replicated over a plurality of video servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明实施例提供了一种外部数据与视频画面的同步方法、系统及装置，所述方法应用于服务节点，包括：对待处理视频流进行转码处理，并按照预设识别方式对待处理视频流进行识别；当获取到识别得到的外部数据的点位信息时，确定点位信息所标识的第一时间戳以及转码处理的当前视频帧的第二时间戳，第一时间戳以及第二时间戳均以待处理视频流的时间戳为起点；计算第一时间戳与第二时间戳的差值信息；将对应于当前视频帧的差值信息，封装至待处理视频流中，得到目标视频流；发送目标视频流至目标地址，以使目标地址对应的播放端基于差值信息同步播放所述目标视频流及对应的外部数据。可以实现精确同步外部数据与视频画面。

Description

一种外部数据与视频画面的同步方法、系统及装置
技术领域
本发明涉及视频处理技术领域，特别是涉及一种外部数据与视频画面的同步方法、系统及装置。
背景技术
在直播、点播等媒体业务场景中，经常需要将视频中某个画面和特定内容关联起来，例如，信息流广告、体育直播的精彩瞬间、电视剧及电影的关键剧情提示等，其中，该特定内容称为外部数据。在这类业务场景中，目前的做法是事先根据视频内容定制外部数据，这样播放端在播放视频过程中，播放至对应的时间进度时将外部数据进行展示即可。直播类业务由于其实时性、不可预测性等特点无法事先确定外部数据的触发时机，经常需要第三方AI(Artificial Intelligence，人工智能)识别服务等实时确定外部数据的触发时机，此时精确同步外部数据和媒体画面便尤为重要。
现有的同步方式主要是通过系统参考时钟及任务触发时间跨度进行同步，具体来说，云服务集群中的服务节点获取视频流后进行转码等处理，第三方AI识别服务拉取视频流后进行识别，确定外部数据对应的时间点，并反馈给服务节点。由于服务节点与第三方AI识别服务获取视频流的时间点可能不同，并且二者系统参考时钟可能也会存在误差，因此会导致确定的外部数据对应的时间点精度低的问题，可以达到秒级误差，外部数据与视频画面的同步性较差。
发明内容
本发明实施例的目的在于提供一种外部数据与视频画面的同步方法、系统及装置，以实现精确同步外部数据与视频画面。具体技术方案如下：
第一方面，本发明实施例提供了一种外部数据与视频画面的同步方法，应用于服务节点，所述方法包括：
获取待处理视频流，对所述待处理视频流进行转码处理，并按照预设识别方式对所述待处理视频流进行识别；
当获取到识别得到的外部数据的点位信息时，确定所述点位信息所标识的第一时间戳以及转码处理的当前视频帧的第二时间戳，其中，所述第一时间戳以及所述第二时间戳均以所述待处理视频流的时间戳的计算标准为起点；
计算所述第一时间戳与所述第二时间戳的差值信息；
将对应于所述当前视频帧的所述差值信息，封装至所述待处理视频流中，得到目标视频流；
发送所述目标视频流至目标地址，以使所述目标地址对应的播放端基于所述差值信息同步播放所述目标视频流及对应的外部数据。
可选的，所述将对应于所述当前视频帧的所述差值信息，封装至所述待处理视频流中的步骤，包括：
生成视频识别消息，并将所述差值信息写入所述视频识别消息中的预设字段，其中，所述视频识别消息用于记录对所述待处理视频流进行识别得到的结果；
按照预设视频封装协议，将写入后的所述视频识别消息封装为信息包；
标记所述信息包的时间戳为所述第二时间戳，并封装至所述待处理视频流中。
可选的，所述获取待处理视频流，对所述待处理视频流进行转码处理，并按照预设识别方式对所述待处理视频流进行识别的步骤，包括：
创建转码服务实例及媒体分析服务实例；
通过所述转码服务实例获取待处理视频流，并对所述待处理视频流进行转码处理，同时监听所述媒体分析服务实例反馈的点位信息；
通过所述媒体分析服务实例获取待处理视频流，按照预设识别方式对所述待处理视频流进行识别，并向所述媒体分析服务实例反馈识别得到的点位信息。
可选的，所述通过所述转码服务实例获取待处理视频流的步骤，包括：
通过所述转码服务实例获取CDN网络节点缓存的视频流，作为所述转码服务实例的待处理视频流；
所述通过所述媒体分析服务实例获取待处理视频流的步骤，包括：
通过所述媒体分析服务实例获取CDN网络节点中最新的视频流，作为所述媒体分析服务实例的待处理视频流。
可选的，所述按照预设识别方式对所述待处理视频流进行识别的步骤，包括：
按照预设识别方式对所述待处理视频流进行实时识别；
所述对所述待处理视频流进行转码处理的步骤，包括：
缓存所述待处理视频流，并从缓存中获取所述待处理视频流进行转码处理。
可选的，所述目标地址为多个；
所述当获取到识别得到的外部数据的点位信息时，确定所述点位信息所标识的第一时间戳以及转码处理的当前视频帧的第二时间戳的步骤，包括：
当获取到识别得到的外部数据的点位信息时，确定所述点位信息所标识的第一时间戳以及转码处理的针对每个所述目标地址对应的当前视频帧的第二时间戳；
所述将对应于所述当前视频帧的所述差值信息，封装至所述待处理视频流中，得到目标视频流的步骤，包括：
分别将每个所述目标地址对应的差值信息，对应于对所述当前视频帧，封装至所述待处理视频流中，得到每个所述目标地址对应的目标视频流。
第二方面，本发明实施例提供了一种外部数据与视频画面的同步方法，应用于播放端，所述方法包括：
获取目标视频流，其中，所述目标视频流为服务节点通过上述第一方面任一所述的方法对待处理视频流进行处理得到的；
对所述目标视频流进行解码处理，得到视频帧以及差值信息；
基于所述差值信息以及其对应的目标视频帧的第二时间戳，确定所述差值信息对应的第一时间戳；
在播放所述目标视频流过程中，在所述第一时间戳对应的时间点显示所述差值信息对应的外部数据。
第三方面，本发明实施例提供了一种外部数据与视频画面的同步系统，所述系统包括：管理服务器及多个服务节点，其中：
所述管理服务器，用于在获取视频处理请求时，从多个服务节点中选择目标服务节点，并发送处理指令至所述目标服务节点；
所述目标服务节点，用于在接收到所述处理指令时，获取待处理视频流，对所述待处理视频流进行转码处理，并按照预设识别方式对所述待处理视频流进行识别；当获取到识别得到的外部数据的点位信息时，确定所述点位信息所标识的第一时间戳以及转码处理的当前视频帧的第二时间戳；计算所述第一时间戳与所述第二时间戳的差值信息；将对应于所述当前视频帧的所述差值信息，封装至所述待处理视频流中，得到目标视频流；发送所述目标视频流至目标地址，其中，所述第一时间戳以及所述第二时间戳均以所述待处理视频流的时间戳的计算标准为起点。
可选的，所述系统还包括播放端；
所述播放端，用于获取所述目标视频流；对所述目标视频流进行解码处理，得到视频帧以及差值信息；基于所述差值信息以及其对应的目标视频帧的第二时间戳，确定所述差值信息对应的第一时间戳；在播放所述目标视频流过程中，在所述第一时间戳对应的时间点，显示所述差值信息对应的外部数据。
可选的，所述系统还包括存储服务器；所述视频处理请求携带视频标识及视频参数；
所述管理服务器，还用于将所述视频标识及所述视频参数发送至所述存储服务器；
所述存储服务器，用于接收并存储所述视频标识及所述视频参数。
第四方面，本发明实施例提供了一种服务节点，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的方法步骤。
第五方面，本发明实施例提供了一种播放端，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述第二方面所述的方法步骤。
第六方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求上述任一所述的外部数据与视频画面的同步方法步骤。
第七方面，本发明实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的外部数据与视频画面的同步方法。
本发明实施例提供的方案中，服务节点可以获取待处理视频流，对待处理视频流进行转码处理，并按照预设识别方式对待处理视频流进行识别，当获取到识别得到的外部数据的点位信息时，确定点位信息所标识的第一时间戳以及转码处理的当前视频帧的第二时间戳，计算第一时间戳与第二时间戳的差值信息，将对应于当前视频帧的差值信息封装至待处理视频流中，得到目标视频流，发送目标视频流至目标地址，以使目标地址对应的播放端基于差值信息同步播放目标视频流及对应的外部数据。
由于第一时间戳以及第二时间戳均以待处理视频流的时间戳为起点，因此差值信息不存在误差，并且差值信息对应于对当前视频帧封装至待处理视频流，进行视频流带内传输，在传输至播放端过程中，也不会因视频流切片或修改时间戳等造成误差，因此可以实现精确同步外部数据与视频画面。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例提供的网络直播的网络架构的一种示意图；
图2为本发明实施例所提供的一种外部数据与视频画面的同步方法的流程图；
图3为图2所示实施例中步骤S204的一种具体流程图；
图4为图2所示实施例中步骤S201的一种具体流程图；
图5为本发明实施例所提供的另一种外部数据与视频画面的同步方法的流程图；
图6为本发明实施例所提供的外部数据及视频画面的同步过程的一种示意图；
图7为本发明实施例所提供的一种外部数据与视频画面的同步系统的结构示意图；
图8为本发明实施例所提供的另一种外部数据与视频画面的同步系统的结构示意图；
图9为本发明实施例所提供的外部数据与视频画面的同步过程的另一种示意图；
图10为本发明实施例所提供的一种外部数据与视频画面的同步装置的结构示意图；
图11为本发明实施例所提供的另一种外部数据与视频画面的同步装置的结构示意图；
图12为本发明实施例所提供的一种服务节点的结构示意图；
图13为本发明实施例所提供的一种播放端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
为了实现精确同步外部数据与视频画面，本发明实施例提供了一种外部数据与视频画面的同步方法、系统、装置、服务节点、播放端、计算机可读存储介质以及计算机程序产品。
下面首先对本发明实施例所提供的一种外部数据与视频画面的同步方法所应用的网络架构进行介绍，以方便对本发明施例所提供的外部数据与视频画面的同步方法的理解。
如图1所示为本发明实施例所提供的一种外部数据与视频画面的同步方法可以应用的网络架构的一种示意图，其中，包括管理服务器110、多个服务节点120、直播端130、CDN(Content Delivery Network，内容分发网络)分发节点140及播放端150。
其中，管理服务器110用于对通过网络接口获取的直播端130发送的网络请求进行解析，同时可以调度管理分布式的多个服务节点120来处理视频流。多个服务节点120可以统一对外提供服务，以达到在完成视频转码处理任务的同时进行负载均衡的目的。这些服务节点分布式部署且支持自动呼叫，可以被管理服务器110搜索并加入到节点集群统一调度管理，服务节点120可以通过创建工作实例来执行视频流的具体处理任务。外部数据与视频画面的同步即在服务节点120中完成。
服务节点120获取直播端130采集的视频流，并进行转码处理，进而将处理后的视频流推送至CDN分发节点140，进而，CDN分发节点140根据直播端130的观众信息，将处理后的视频流分发至观看直播的用户信息所对应的播放端150，播放端150对视频流进行解码、渲染等处理，以播放视频并展示对应的外部数据，这样观看直播的用户便可以看到直播内容及对应的外部数据。
本发明实施例所提供的第一种外部数据与视频画面的同步方法可以应用于上述多个服务节点中的一个，如图2所示，所述方法包括：
S201，获取待处理视频流，对所述待处理视频流进行转码处理，并按照预设识别方式对所述待处理视频流进行识别；
S202，当获取到识别得到的外部数据的点位信息时，确定所述点位信息所标识的第一时间戳以及转码处理的当前视频帧的第二时间戳；
其中，所述第一时间戳以及所述第二时间戳均以所述待处理视频流的时间戳为起点。
S203，计算所述第一时间戳与所述第二时间戳的差值信息；
S204，将对应于所述当前视频帧的所述差值信息，封装至所述待处理视频流中，得到目标视频流；
S205，发送所述目标视频流至目标地址，以使所述目标地址对应的播放端基于所述差值信息同步播放所述目标视频流及对应的外部数据。
可见，本发明实施例提供的方案中，服务节点可以获取待处理视频流，对待处理视频流进行转码处理，并按照预设识别方式对待处理视频流进行识别，当获取到识别得到的外部数据的点位信息时，确定点位信息所标识的第一时间戳以及转码处理的当前视频帧的第二时间戳，计算第一时间戳与第二时间戳的差值信息，将对应于当前视频帧的差值信息，封装至待处理视频流中，得到目标视频流，发送目标视频流至目标地址，以使目标地址对应的播放端基于差值信息同步播放目标视频流及对应的外部数据。由于第一时间戳以及第二时间戳均以待处理视频流的时间戳为起点，因此差值信息不存在误差，并且差值信息对应于当前视频帧，封装至待处理视频流，进行视频流带内传输，在传输至播放端过程中，也不会因视频流切片或修改时间戳等造成误差，因此可以实现精确同步外部数据与视频画面。
在上述步骤S201中，服务节点获取待处理视频流后，可以对待处理视频流进行转码处理，同时按照预设识别方式对待处理视频流进行识别，以确定其对应于外部数据的时间点，也就是点位信息，以及能够标识外部数据的具体种类的信息等。其中，外部数据为预先设定的与待处理视频流的视频内容相关，且不存在于待处理视频流中的数据，例如，可以为信息流广告、体育直播的精彩瞬间、电视剧及电影的关键剧情提示、弹幕、动画、贴图等。
上述转码处理可以包括读取、解复用、转码、应用指定音视频滤镜特效、输出为指定格式的视频流等处理，具体可以采用视频处理领域任意相关处理方式，在此不做具体限定及说明。
上述预设识别方式可以为通过AI进行识别、通过第三方提供的识别服务鞥，这都是合理的，只要可以确定外部数据的点位信息，以及外部数据的具体类型即可。例如，服务节点按照预设识别方式对待处理视频流进行识别，确定在时间戳为A的时间点，视频内容为主播笑了，那么服务节点可以确定点位信息为时间戳A，还可以获得标识外部数据种类的信息，其中，外部数据的种类可以为弹幕、动画、贴图等，在此不做具体限定。
服务节点可以通过不同的实例进程同时对待处理视频流进行转码处理以及识别处理，两种处理的进度一般是不同的，所以在上述步骤S202中，为了确定外部数据对应的具体时间点，当获取到识别得到的外部数据的点位信息时，服务节点可以确定该点位信息所标识的第一时间戳以及转码处理的当前视频帧的第二时间戳。其中，转码处理的当前视频帧可以为当前正在进行转码处理的视频帧，也可以是后续将要进行转码处理的视频帧，这都是合理的。
点位信息所标识的第一时间戳也就是待处理视频流中需要同步显示外部数据的视频帧所对应的时间戳。其中，第一时间戳以及第二时间戳均以待处理视频流的时间戳为起点。也就是说，第一时间戳以及第二时间戳与服务节点的系统时间以及获取待处理视频流的时机无关，均是相对于待处理视频流的时间戳的。这样，可以保证第一时间戳以及第二时间戳的起点是相同的，不会出现误差。
例如，待处理视频流的时间戳为00000，服务节点对待处理视频流进行识别，确定其在以待处理视频流的时间戳为起点的时间戳10010对应的时间点对应有外部数据，也就是说待处理视频流中对应时间戳为10010的视频帧需要同步显示外部数据，那么时间戳10010即为第一时间戳。服务节点当前正在进行转码处理的当前视频帧a以待处理视频流的时间戳为起点的时间戳为10000，那么时间戳10000即为第二时间戳。
获得上述第一时间戳及第二时间戳后，在上述步骤S203中，服务节点可以计算第一时间戳与第二时间戳的差值信息，其中，该差值信息具体可以数字等能够标识第一时间戳与第二时间戳的差值的信息。
该差值信息即表示了当前视频帧的时间点与外部数据对应的时间点之间的时差。假设用offset表示该差值，那么offset＝pts1-pts2，其中，pts1为第一时间戳，pts2为第二时间戳。那么如果offset＞0，可以确定外部数据对应的视频帧在当前视频帧后；如果offset＝0，可以确定外部数据对应的视频帧就是当前视频帧；如果offset＜0，可以确定外部数据对应的视频帧在当前视频帧之前。
计算得到上述差值信息后，服务器可以将该差值信息对应于对当前视频帧，封装至所述待处理视频流中。对当前视频帧进行转码处理会得到对应的目标视频帧，服务器节点可以将该差值信息对应于该目标视频帧，封装至待处理视频流中，进而得到目标视频流，也就是执行上述步骤S204。由于该差值信息是相对于当前视频帧的时间戳的，所以为了保证外部数据与视频画面的同步性，该差值信息需要对应于对当前视频帧转码处理得到的目标视频帧封装至待处理视频流中。
在一种实施方式中，服务节点可以该差值信息打上目标视频帧的时间戳，用于标识该差值信息是相对于目标视频帧的时间戳的差值。
将该差值信息封装至待处理视频流中得到目标视频流，也就是将该差值信息作为目标视频流的一部分，进行视频带内传输，这样在传输过程中，该差值信息持续与目标视频帧一起传输，不会因视频流切片或者修改时间戳等因素造成时间上的误差。
接下来，获取目标视频流后，服务器节点便可以执行上述步骤S205，即发送目标视频流至目标地址，其中，该目标地址即为需要接收该目标视频流的网络地址。在一种实施方式中，上述直播端发送的网络请求可以包括目标地址，管理服务器对网络请求进行解析便可以确定目标地址，并通知服务节点。
目标地址可以为播放端的网络地址，也可以为网络中服务节点的下一级网络节点的网络地址等，这都是合理的。最终，目标视频流将会被传输至播放端，那么播放端便可以基于上述差值信息同步播放目标视频流及对应的外部数据。
具体来说，播放端获取目标视频流后可以对目标视频流进行解码处理，便可以得到目标视频流包括的视频帧以及差值信息，进而，播放端基于该差值信息以及其对应的目标视频帧的第二时间戳，便可以确定差值信息对应的第一时间戳，该第一时间戳对应的时间点即为外部数据对应的时间点。这样，在播放目标视频流过程中，播放至该时间点时，播放端便可以显示该差值信息对应的外部数据。
由于播放端需要获知外部数据的具体类型才能显示对应的外部数据，所以服务节点将差值信息封装至待处理视频流中时，可以将该差值信息对应的具体类型一同封装至待处理视频流中。
而播放端可以保存外部数据的具体素材以及外部数据的具体类型与素材的对应关系，这样，便可以确定所要显示具体外部数据。例如，播放端解析目标视频流得到视频帧m对应的差值信息为10秒，外部数据的具体类型为剧情提示信息，那么播放端便可以在播放视频帧m之后的10秒展示预先存储的剧情提示信息n。
在一种情况下，如果offset＜0，说明外部数据对应的视频帧在当前视频帧之前，而由于直播具有实时性，此时播放端解析得到该差值信息时，其对应的视频帧已经播放完毕，在一种实施方式中，可以忽略该差值信息，不显示任何外部数据。在另一种实施方式中，播放端可以预设默认外部数据，当offset＜0时，便显示该默认外部数据，这都是合理的。
作为本发明实施例的一种实施方式，如图3所示，上述将所述差值信息对应于对所述当前视频帧转码处理得到的目标视频帧，封装至所述待处理视频流中的步骤，可以包括：
S301，生成视频识别消息，并将所述差值信息写入所述视频识别消息中的预设字段；
服务节点对对待处理视频流进行识别会得到外部数据的点位信息、具体类型等信息，为了记录这些信息，可以生成视频识别消息，也就是说，视频识别消息为用于记录对待处理视频流进行识别得到的结果。
视频识别消息的预设字段用于记录上述差值信息，所以服务节点可以将差值信息写入视频识别消息中的预设字段，以记录该差值信息。例如，视频识别消息的预设字段可以为“*”，当计算得到第一时间戳与第二时间戳的差值信息时，用offset替换“*”。
S302，按照预设视频封装协议，将写入后的所述视频识别消息封装为信息包；
接下来，服务节点可以按照预设视频封装协议，将写入后的视频识别消息封装为信息包。其中，预设视频封装协议可以为H264、H265等，在此不做具体限定。可以根据待处理视频流的处理规则等确定。在一种实施方式中，可以将视频识别消息封装为SEI信息包。
S303，标记所述信息包的时间戳为所述第二时间戳，并封装至所述待处理视频流中。
为了标识差值信息与目标视频帧的关系，可以标记上述信息包的时间戳为上述目标视频帧的第二时间戳，然后将标记后的信息包封装至待处理视频流中，便可以将该信息包在目标视频流带内进行传输。
可见，在本实施例中，服务节点可以生成视频识别消息，并将差值信息写入视频识别消息中的预设字段，按照预设视频封装协议，将写入后的视频识别消息封装为信息包，进而标记信息包的时间戳为第二时间戳，并封装至待处理视频流中，这样便可以将差值信息封装至目标视频流中进行带被传输。
作为本发明实施例的一种实施方式，如图4所示，上述获取待处理视频流，对所述待处理视频流进行转码处理，并按照预设识别方式对所述待处理视频流进行识别的步骤，可以包括：
S401，创建转码服务实例及媒体分析服务实例；
为了同时对待处理视频流进行转码处理及识别处理，服务节点可以创建转码服务实例及媒体分析服务实例，分别用于对待处理视频流进行转码处理及识别处理。
在一种实施方式中，服务节点接收到管理服务器发送的处理指令时，便可以创建相关联的转码服务实例及媒体分析服务实例。
S402，通过所述转码服务实例获取待处理视频流，并对所述待处理视频流进行转码处理，同时监听所述媒体分析服务实例反馈的点位信息；
进而，便可以通过转码服务实例获取待处理视频流，并对待处理视频流进行转码处理，同时转码服务实例可以监听媒体分析服务实例反馈的点位信息。
S403，通过所述媒体分析服务实例获取待处理视频流，按照预设识别方式对所述待处理视频流进行识别，并向所述媒体分析服务实例反馈识别得到的点位信息。
同时，媒体分析服务实例也可以获取待处理视频流，开始按照预设识别方式对待处理视频流进行识别，并在得到点位信息时向媒体分析服务实例反馈识别得到的点位信息。
在一种实施方式中，如果需要第三方服务对待处理视频流进行识别，第三方服务可以通过nobuff模式拉取待处理视频流，得到点位信息后反馈至媒体分析服务实例，这样可以利用CDN的缓存避免增加直播流的延迟。
可见，在本实施例中，服务节点可以创建转码服务实例及媒体分析服务实例，进而通过转码服务实例获取待处理视频流，并对待处理视频流进行转码处理，同时监听媒体分析服务实例反馈的点位信息，通过媒体分析服务实例获取待处理视频流，按照预设识别方式对待处理视频流进行识别，并向媒体分析服务实例反馈识别得到的点位信息，这样，可以通过相互关联的两个服务实例对待处理视频流进行转码处理以及识别处理，可以快速准确地对待处理视频流进行处理。
作为本发明实施例的一种实施方式，为了进一步提高外部数据与视频画面的同步性，避免由于拉取待处理视频流的差异导致的误差，上述通过所述转码服务实例获取待处理视频流的步骤，可以包括：
通过所述转码服务实例获取CDN网络节点缓存的视频流，作为所述转码服务实例的待处理视频流。
其中，直播端采集的视频流后会推送给CDN网络节点，CDN网络节点变可以缓存获取视频流，在接收到拉流请求时会发送至相应的节点。转码服务实例在需要对待处理视频流进行转码处理时，便可以拉取CDN网络节点缓存的视频流，作为转码服务实例所要处理的待处理视频流。
相应的，上述通过所述媒体分析服务实例获取待处理视频流的步骤，可以包括：
通过所述媒体分析服务实例获取CDN网络节点中最新的视频流，作为所述媒体分析服务实例的待处理视频流。
其中，最新的视频流即为直播端最新采集并推送至CDN网络节点的视频流，而非已缓存的视频流，这样，媒体分析服务实例拉取的视频流可以快于转码服务实例拉取的视频流，这样便不会出现转码处理的视频画面快于外部数据识别的视频画面的情况。
在一种实施方式中，媒体分析服务实例向CDN网路节点请求视频流时可以携带预设参数，例如可以为nocache参数，如果CDN网路节点获取到请求携带该预设参数，则不发送已缓存的源流，而直接发送最新的视频流。
可见，在本实施例中，转码服务实例可以获取CDN网络节点缓存的视频流，作为转码服务实例的待处理视频流，而媒体分析服务实例则获取CDN网络节点中最新的视频流，作为媒体分析服务实例的待处理视频流，这样可以保证转码服务实例不会拉取到比媒体分析服务实例更加新的视频数据，进一步提高外部数据与视频画面的同步性。
作为本发明实施例的一种实施方式，上述按照预设识别方式对所述待处理视频流进行识别的步骤，可以包括：
按照预设识别方式对所述待处理视频流进行实时识别。
为了保证媒体分析服务实例有足够的时间对外部数据的点位信息进行识别，媒体分析服务实例可以采用nobuff模式处理待处理视频流，也就是说，媒体分析服务实例拉取待处理视频流后，不进行缓存，而是直接进行按照预设识别方式对待处理视频流进行识别。即，媒体分析服务实例拉取待处理视频流的同时，实时对拉取到的待处理视频流进行识别处理，不在本地缓存待处理视频流。
相应的，上述对所述待处理视频流进行转码处理的步骤，可以包括：
缓存所述待处理视频流，并从缓存中获取所述待处理视频流进行转码处理。
转码服务实例拉取待处理视频流后，则可以缓存待处理视频流，进而从缓存中获取待处理视频流进行转码处理，这样，可以进一步保证不会出现转码处理的视频画面快于外部数据识别的视频画面的情况。
可见，在本实施例中，媒体分析服务实例拉取待处理视频流后，不进行缓存，而是直接进行按照预设识别方式对待处理视频流进行识别，而转码服务实例拉取待处理视频流后，可以缓存待处理视频流，从缓存中获取待处理视频流进行转码处理，这样，可以进一步保证不会出现转码处理的视频画面快于外部数据识别的视频画面的情况，进一步提高外部数据与视频画面的同步性。
作为本发明实施例的一种实施方式，上述目标地址可以为多个。例如，在直播场景下，观众往往有多个，那么便存在多个播放端，其对应的目标地址便为多个。
在这种情况下，上述当获取到识别得到的外部数据的点位信息时，确定所述点位信息所标识的第一时间戳以及转码处理的当前视频帧的第二时间戳的步骤，可以包括：
当获取到识别得到的外部数据的点位信息时，确定所述点位信息所标识的第一时间戳以及转码处理的针对每个所述目标地址对应的当前视频帧的第二时间戳。
由于对应于不同目标地址，服务节点需要对应于每个目标地址对待处理视频流进行转码处理，进而得到每个目标地址对应的目标视频流，由于输出目标视频流的时机可以存在差别，为了保证外部数据与视频画面的同步性，当获取到识别得到的外部数据的点位信息时，服务节点可以对应于每个目标地址，确定该点位信息所标识的第一时间戳以及当前正在转码处理的针对该目标地址的当前视频帧的第二时间戳。
媒体分析服务实例对待处理视频流进行识别处理时，可能会存在多个点位信息，转码服务实例可以将点位信息按照时间顺序存入处理队列中，以便按照时间顺序进行处理。
相应的，上述将所述差值信息对应于对所述当前视频帧，封装至所述待处理视频流中，得到目标视频流的步骤，可以包括：
分别将每个所述目标地址对应的差值信息，对应于对所述当前视频帧，封装至所述待处理视频流中，得到每个所述目标地址对应的目标视频流。
转码服务实例每当获取到媒体分析服务实例反馈的一个点位信息时，均计算该点位信息所标识的第一时间戳与每个目标地址对应的当前视频帧的第二时间戳的差值信息，然后将该差值信息对应于对当前视频帧转码处理得到的目标视频帧，封装至待处理视频流中，得到该目标地址对应的目标视频流。进而，服务节点可以将各个目标视频流发送至对应的目标地址。
例如，目标地址为5个，当转码服务实例获取媒体分析服务实例反馈的一个点位信息时，确定该点位信息所标识的第一时间戳pts1，转码服务实例分别针对该5个目标地址对待处理视频流进行转码处理，当前视频帧的第二时间戳分别为pts2-1、pts2-2、pts2-3、pts2-4及pts2-5，那么服务节点此时可以分别计算pts1与pts2-1、pts2-2、pts2-3、pts2-4及pts2-5的差值信息，得到每个目标地址对应的差值信息，进而，将每个目标地址对应的差值信息，对应于对该目标地址对应的当前视频帧转码处理得到的目标视频帧，封装至待处理视频流中，得到每个目标地址对应的目标视频流。
可见，在本实施例中，在目标地址为多个时，当获取到识别得到的外部数据的点位信息时，服务节点可以确定点位信息所标识的第一时间戳以及转码处理的针对每个目标地址对应的当前视频帧的第二时间戳，进而，分别将每个目标地址对应的差值信息对应于对当前视频帧，封装至待处理视频流中，得到每个目标地址对应的目标视频流，这样，可以保证在目标地址为多个时，每个目标地址接收到的目标视频流中的差值信息均是准确的，可以保证各个播放端所播放的外部数据与视频画面的同步性。
本发明实施例所提供的外部数据与视频画面的同步方法中，各服务实例可以采用单线程缓存机制，可以减小多线程模型开销，提升开发效率、降低开发难度和风险。同时用于运行上述外部数据与视频画面的同步方法的应用程序可以采用插件式部署策略，对现有视频云编码系统侵入小、耦合性低、升级部署方便、稳定性更强。另外，各服务实例采用异步检测及添加机制，可以降低长时间直播情况下，由于视频流识别处理产生的累积时间戳误差和网络抖动带来的延迟问题，保障外部数据和视频画面的精确同步。
相应于上述第一种外部数据与视频画面的同步方法，本发明实施例还提供了另一种外部数据与视频画面的同步方法。下面对本发明实施例所提供的第二种外部数据与视频画面的同步方法进行介绍。
如图5所示，一种外部数据与视频画面的同步方法，应用于播放端，所述方法包括：
S501，获取目标视频流；
其中，所述目标视频流为服务节点采用上述任一实施例所述的第一种外部数据与视频画面的同步方法对待处理视频流进行处理得到的。
S502，对所述目标视频流进行解码处理，得到视频帧以及差值信息；
S503，基于所述差值信息以及其对应的目标视频帧的第二时间戳，确定所述差值信息对应的第一时间戳；
S504，在播放所述目标视频流过程中，在所述第一时间戳对应的时间点显示所述差值信息对应的外部数据。
可见，本发明实施例提供的方案中，播放端可以获取目标视频流，对目标视频流进行解码处理，得到视频帧以及差值信息，基于差值信息以及其对应的目标视频帧的第二时间戳，确定差值信息对应的第一时间戳，进而在播放目标视频流过程中，在第一时间戳对应的时间点显示差值信息对应的外部数据，由于目标视频流为服务节点采用上述任一实施例所述的第一种外部数据与视频画面的同步方法对待处理视频流进行处理得到的，所以其包括的差值信息准确，播放端可以获得准确的第一时间戳对应的时间点，进而可以保证同步显示外部数据及视频画面。
由于上述步骤S501-步骤S504的具体实施方式已在上述第一种外部数据与视频画面的同步方法实施例中进行过说明，所以在此不再赘述。
下面结合图6说明本发明实施例提供的同步外部数据及视频画面的过程，如图6所示，服务节点的媒体分析服务实例以及转码服务实例获取上游源流，也就是待处理视频流，媒体分析服务实例进行识别处理，也就是媒体分析，确定外部数据的点位信息，并发送至转码服务实例。转码服务实例进行转码流程，接收到点位信息后，确定点位信息对应的时间戳为PTS10010，当前视频帧的时间戳为PTS10000，进而在处理后的下游码流中封装SEI信息包，其中，SEI信息包的内容包括差值信息：offset：+10。播放端获取目标视频流后进行解码时可以确定目标时间点为目标视频帧对应的时间点+10，也就是说当播放端播放目标视频帧时，目标时间点为当前时间点+10，进而，播放端可以进行业务处理，也就是将外部数据与视频画面的同步展示。
相应于上述外部数据与视频画面的同步方法，本发明实施例还提供了一种外部数据与视频画面的同步系统。下面对本发明实施例所提供的一种外部数据与视频画面的同步系统进行介绍。
如图7所示，一种外部数据与视频画面的同步系统，所述系统包括：管理服务器710及多个服务节点720，其中：
所述管理服务器710，用于在获取视频处理请求时，从多个服务节点中选择目标服务节点，并发送处理指令至所述目标服务节点；
所述目标服务节点720，用于在接收到所述处理指令时，获取待处理视频流，对所述待处理视频流进行转码处理，并按照预设识别方式对所述待处理视频流进行识别；当获取到识别得到的外部数据的点位信息时，确定所述点位信息所标识的第一时间戳以及转码处理的当前视频帧的第二时间戳；计算所述第一时间戳与所述第二时间戳的差值信息；将所述差值信息对应于对所述当前视频帧，封装至所述待处理视频流中，得到目标视频流；发送所述目标视频流至目标地址。
其中，所述第一时间戳以及所述第二时间戳均以所述待处理视频流的时间戳为起点。
可见，本发明实施例提供的方案中，外部数据与视频画面的同步系统包括管理服务器及多个服务节点，其中，管理服务器用于在获取视频处理请求时，从多个服务节点中选择目标服务节点，并发送处理指令至目标服务节点。目标服务节点用于在接收到处理指令时，获取待处理视频流，对待处理视频流进行转码处理，并按照预设识别方式对待处理视频流进行识别，当获取到识别得到的外部数据的点位信息时，确定点位信息所标识的第一时间戳以及转码处理的当前视频帧的第二时间戳，计算第一时间戳与第二时间戳的差值信息，将对应于当前视频帧的差值信息封装至待处理视频流中，得到目标视频流，发送目标视频流至目标地址。由于第一时间戳以及第二时间戳均以待处理视频流的时间戳为起点，因此差值信息不存在误差，并且差值信息对应于当前视频帧转码，封装至待处理视频流，进行视频流带内传输，在传输至目标地址对应的播放端过程中，也不会因视频流切片或修改时间戳等造成误差，因此可以实现精确同步外部数据与视频画面。
对于需要同步展示外部数据及视频画面的网络直播场景来说，当需要对视频流进行处理时，用户可以通过直播端发送网络请求至管理服务器，例如，用户想要进行直播，那么便可以发送直播请求至管理服务器。管理服务器接收到该网络请求后可以对其进行解析，进而根据当前多个服务节点的负载情况等选择一个服务节点来处理该网络请求。进而，管理服务器可以控制该服务节点对该用户端的视频流进行处理。
在一种实施方式中，管理服务器可以发送处理指令至该服务节点，那么服务节点接收到该处理指令后，便可以获取待处理视频流，其中，待处理视频流即为上述用户端采集的视频流。
为了方便服务节点获取待处理视频流，管理服务器发送的处理指令可以携带用户标识、视频流标识等能够唯一标识待处理视频流的信息，这样，服务节点便可以准确地获取待处理视频流。
由于一般会存在多个用户需要进行直播等，所以网络请求一般为多个，所以管理服务器在获取视频处理请求时，可以将网络请求放入消息队列中，该消息队列可以为符合先进先出规则的队列，以便可以按照获取时间从早到晚的顺序处理网络请求。
作为本发明实施例的一种实施方式，上述目标服务节点，具体可以用于将所述差值信息写入视频识别消息中的预设字段；按照预设视频封装协议，将写入后的所述视频识别消息封装为信息包；标记所述信息包的时间戳为所述第二时间戳，并封装至所述待处理视频流中。
其中，所述视频识别消息用于记录对所述待处理视频流进行识别得到的结果。
作为本发明实施例的一种实施方式，上述目标服务节点，具体可以用于创建转码服务实例及媒体分析服务实例；通过所述转码服务实例获取待处理视频流，并对所述待处理视频流进行转码处理，同时监听所述媒体分析服务实例反馈的点位信息；通过所述媒体分析服务实例获取待处理视频流，按照预设识别方式对所述待处理视频流进行识别，并向所述媒体分析服务实例反馈识别得到的点位信息。
作为本发明实施例的一种实施方式，上述目标服务节点，具体可以用于通过所述转码服务实例获取获取CDN网络节点缓存的视频流，作为所述转码服务实例的待处理视频流；通过所述媒体分析服务实例获取CDN网络节点中最新的视频流，作为所述媒体分析服务实例的待处理视频流。
作为本发明实施例的一种实施方式，上述目标服务节点，具体可以用于通过所述转码服务实例获取CDN网络节点缓存的视频流，作为所述转码服务实例的待处理视频流，缓存所述待处理视频流，并从缓存中获取所述待处理视频流进行转码处理；通过所述媒体分析服务实例获取CDN网络节点中最新的视频流，作为所述媒体分析服务实例的待处理视频流，按照预设识别方式对所述待处理视频流进行实时识别。
作为本发明实施例的一种实施方式，上述目标地址可以为多个；
上述目标服务器节点，具体可以用于当获取到识别得到的外部数据的点位信息时，确定所述点位信息所标识的第一时间戳以及转码处理的针对每个所述目标地址对应的当前视频帧的第二时间戳；分别将每个所述目标地址对应的差值，对应于对所述当前视频帧，封装至所述待处理视频流中，得到每个所述目标地址对应的目标视频流。
作为本发明实施例的一种实施方式，上述系统还可以包括播放端；
所述播放端，可以用于获取所述目标视频流；对所述目标视频流进行解码处理，得到视频帧以及差值信息；基于所述差值信息以及其对应的目标视频帧的第二时间戳，确定所述差值信息对应的第一时间戳；在播放所述目标视频流过程中，在所述第一时间戳对应的时间点显示所述差值信息对应的外部数据。
作为本发明实施例的一种实施方式，如图8所示，上述系统还包括存储服务器730；上述视频处理请求可以携带视频标识及视频参数；
所述管理服务器710，还可以用于将所述视频标识及所述视频参数发送至所述存储服务器；
所述存储服务器730，可以用于接收并存储所述视频标识及所述视频参数。
由于进行直播的用户可能很多，所以为了标识不同的用户对应的直播间，上述视频处理请求可以携带视频标识及视频参数，其中，视频标识可以为直播间ID(Identitydocument，身份标识)等，视频参数可以包括视频流地址、输出地址、直播ID号、直播类型等相关的参数。
为了记录这些与待处理视频流的相关信息，便与后续查询及管理，管理服务器710可以将视频标识及视频参数发送至存储服务器730，进而，存储服务器730便可以接收并存储视频标识及视频参数。
存储服务器730还可以提供数据库更新、工具链升级等服务，可以采用主备设计，以避免单点故障造成的数据丢失等问题。
下面结合图9所示的外部数据与视频画面的同步过程的示意图对本发明实施例所提供的外部数据与视频画面的同步方法的过程进行说明。如图9所示，后台控制系统(管理服务器)获取网络请求后，可以通过命令解析模块对网络请求的进行参数解析，然后通过数据存储模块对解析结果进行存储，进而通过调度分发模块，从服务节点(实例化节点)中确定一个目标服务节点，并发送处理指令至目标服务节点，同时可以将网络请求的相关信息存储至数据库。
目标服务节点可以创建转码频道实例(转码服务实例)及媒体分析服务实例，媒体分析服务实例可以与媒体识别系统可以进行http(HyperText Transfer Protocol，超文本传输协议)交互。媒体识别系统可以为第三方AI识别系统，其可以通过媒体数据解析模块对待处理视频流进行识别，获得外部数据的点位信息，并通过点位信息封装模块将点位信息进行封装，进而反馈至媒体分析服务实例。
转码频道实例可以获取各转码频道(转码频道一、转码频道二、转码频道三…)的媒体输入，也就是待处理视频流，进而通过媒体处理系统进行读取、解复用、解码、编码、复用、应用指定音视频滤镜特效、输出为指定格式的视频流等处理，得到对应于各转码频道的多路输出流(目标视频流)。
转码频道实例的信息封装系统可以通过SEI接收模块获取媒体分析服务实例反馈的点位信息，确定点位信息对应的第一时间戳，并计算其与转码处理的当前视频帧的第二时间戳的差值信息，进而通过SEI封装模块对差值信息进行封装得到SEI信息包，并通过定制信息处理引擎将SEI信息包打上第二时间戳后，压入输出流(AV包)中。其中，信息封装系统与媒体处理系统可以通过ZMQ交互通信。
接下来，转码频道实例便可以进行媒体输出，将多路输出流发送至CDN网络节点进行CDN分发调度，进而发送至各播放端。各播放端接收到目标视频流后，便可以进行解码处理得到差值信息，进而确定外部数据对应的时间点，并在该时间点同步展示外部数据和视频画面。
相应于上述第一种外部数据与视频画面的同步方法，本发明实施例还提供了一种外部数据与视频画面的同步装置。下面对本发明实施例所提供的第一种外部数据与视频画面的同步装置进行介绍。
如图10所示，一种外部数据与视频画面的同步装置，应用于服务节点，所述装置包括：
视频流获取模块1010，用于获取待处理视频流，对所述待处理视频流进行转码处理，并按照预设识别方式对所述待处理视频流进行识别；
时间戳确定模块1020，用于当获取到识别得到的外部数据的点位信息时，确定所述点位信息所标识的第一时间戳以及转码处理的当前视频帧的第二时间戳；
其中，所述第一时间戳以及所述第二时间戳均以所述待处理视频流的时间戳为起点。
差值信息确定模块1030，用于计算所述第一时间戳与所述第二时间戳的差值信息；
差值信息封装模块1040，用于将对应于所述当前视频帧的所述差值信息，封装至所述待处理视频流中，得到目标视频流；
视频流发送模块1050，用于发送所述目标视频流至目标地址，以使所述目标地址对应的播放端基于所述差值信息同步播放所述目标视频流及对应的外部数据。
可见，本发明实施例提供的方案中，服务节点可以获取待处理视频流，对待处理视频流进行转码处理，并按照预设识别方式对待处理视频流进行识别，当获取到识别得到的外部数据的点位信息时，确定点位信息所标识的第一时间戳以及转码处理的当前视频帧的第二时间戳，计算第一时间戳与第二时间戳的差值信息，将对应于当前视频帧的差值信息，封装至待处理视频流中，得到目标视频流，发送目标视频流至目标地址，以使目标地址对应的播放端基于差值信息同步播放目标视频流及对应的外部数据。由于第一时间戳以及第二时间戳均以待处理视频流的时间戳为起点，因此差值信息不存在误差，并且差值信息对应于对当前视频帧，封装至待处理视频流，进行视频流带内传输，在传输至播放端过程中，也不会因视频流切片或修改时间戳等造成误差，因此可以实现精确同步外部数据与视频画面。
作为本发明实施例的一种实施方式，上述差值信息封装模块1040可以包括：
消息生成子模块，用于生成视频识别消息，并将所述差值信息写入所述视频识别消息中的预设字段；
其中，所述视频识别消息用于记录对所述待处理视频流识别得到的结果。
信息包封装子模块，用于按照预设视频封装协议，将写入后的所述视频识别消息封装为信息包；
时间戳标记子模块，用于标记所述信息包的时间戳为所述第二时间戳，并封装至所述待处理视频流中。
作为本发明实施例的一种实施方式，上述视频流获取模块1010可以包括：
服务实例创建子模块，用于创建转码服务实例及媒体分析服务实例；
转码子模块，用于通过所述转码服务实例获取待处理视频流，并对所述待处理视频流进行转码处理，同时监听所述媒体分析服务实例反馈的点位信息；
识别子模块，用于通过所述媒体分析服务实例获取待处理视频流，按照预设识别方式对所述待处理视频流进行识别，并向所述媒体分析服务实例反馈识别得到的点位信息。
作为本发明实施例的一种实施方式，上述转码子模块包括：
第一源流获取单元，用于通过所述转码服务实例获取CDN网络节点缓存的视频流，作为所述转码服务实例的待处理视频流；
所述识别子模块包括：
第二源流获取单元，用于通过所述媒体分析服务实例获取CDN网络节点中最新的视频流，作为所述媒体分析服务实例的待处理视频流。
作为本发明实施例的一种实施方式，上述识别子模块包括：
识别单元，用于按照预设识别方式对所述待处理视频流进行实时识别；
所述转码子模块包括：
转码单元，用于缓存所述待处理视频流，并从缓存中获取所述待处理视频流进行转码处理。
作为本发明实施例的一种实施方式，上述目标地址可以为多个；
上述时间戳确定模块1020包括：
时间戳确定子模块，用于当获取到识别得到的外部数据的点位信息时，确定所述点位信息所标识的第一时间戳以及转码处理的针对每个所述目标地址对应的当前视频帧的第二时间戳；
上述差值信息封装模块1040可以包括：
差值信息封装子模块，用于分别将每个所述目标地址对应的差值信息，对应于对所述当前视频帧，封装至所述待处理视频流中，得到每个所述目标地址对应的目标视频流。
相应于上述第二种外部数据与视频画面的同步方法，本发明实施例还提供了一种外部数据与视频画面的同步装置。下面对本发明实施例所提供的第二种外部数据与视频画面的同步装置进行介绍。
如图11所示，一种外部数据与视频画面的同步装置，应用于播放端，所述装置包括：
视频流接收模块1110，由于获取目标视频流；
其中，所述目标视频流为服务节点采用上述任一实施例所述的第一种外部数据与视频画面的同步方法对待处理视频流进行处理得到的。
差值信息解析模块1120，用于对所述目标视频流进行解码处理，得到视频帧以及差值信息；
时间点确定模块1130，用于基于所述差值信息以及其对应的目标视频帧的第二时间戳，确定所述差值信息对应的第一时间戳；
外部数据展示模块1140，用于在播放所述目标视频流过程中，在所述第一时间戳对应的时间点显示所述差值信息对应的外部数据。
可见，本发明实施例提供的方案中，播放端可以获取目标视频流，对目标视频流进行解码处理，得到视频帧以及差值信息，基于差值信息以及其对应的目标视频帧的第二时间戳，确定差值信息对应的第一时间戳，进而在播放目标视频流过程中，在第一时间戳对应的时间点显示差值信息对应的外部数据，由于目标视频流为服务节点采用上述任一实施例所述的第一种外部数据与视频画面的同步方法对待处理视频流进行处理得到的，所以其包括的差值信息准确，播放端可以获得准确的目标时间点，进而可以保证同步显示外部数据及视频画面。
本发明实施例还提供了一种服务节点，如图12所示，包括处理器1201、通信接口1202、存储器1203和通信总线1204，其中，处理器1201，通信接口1202，存储器1203通过通信总线1204完成相互间的通信，
存储器1203，用于存放计算机程序；
处理器1201，用于执行存储器1203上所存放的程序时，实现上述任一实施例所述的第一种外部数据与视频画面的同步方法步骤。
可见，本发明实施例提供的方案中，服务节点可以获取待处理视频流，对待处理视频流进行转码处理，并按照预设识别方式对待处理视频流进行识别，当获取到识别得到的外部数据的点位信息时，确定点位信息所标识的第一时间戳以及转码处理的当前视频帧的第二时间戳，计算第一时间戳与第二时间戳的差值信息，将对应于当前视频帧的差值信息，封装至待处理视频流中，得到目标视频流，发送目标视频流至目标地址，以使目标地址对应的播放端基于差值信息同步播放目标视频流及对应的外部数据。由于第一时间戳以及第二时间戳均以待处理视频流的时间戳为起点，因此差值信息不存在误差，并且差值信息对应于对当前视频帧封装至待处理视频流，进行视频流带内传输，在传输至播放端过程中，也不会因视频流切片或修改时间戳等造成误差，因此可以实现精确同步外部数据与视频画面。
上述服务节点提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述服务节点与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种播放端，如图13所示，包括处理器1301、通信接口1302、存储器1303和通信总线1304，其中，处理器1301，通信接口1302，存储器1303通过通信总线1304完成相互间的通信，
存储器1303，用于存放计算机程序；
处理器1301，用于执行存储器1303上所存放的程序时，实现上述任一实施例所述的第二种外部数据与视频画面的同步方法步骤。
可见，本发明实施例提供的方案中，播放端可以获取目标视频流，对目标视频流进行解码处理，得到视频帧以及差值信息，基于差值信息以及其对应的目标视频帧的第二时间戳，确定差值信息对应的第一时间戳，进而在播放目标视频流过程中，在第一时间戳对应的时间点显示差值信息对应的外部数据，由于目标视频流为服务节点采用上述任一实施例所述的第一种外部数据与视频画面的同步方法对待处理视频流进行处理得到的，所以其包括的差值信息准确，播放端可以获得准确的目标时间点，进而可以保证同步显示外部数据及视频画面。
上述播放端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述播放端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的外部数据与视频画面的同步方法方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的外部数据与视频画面的同步方法方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统、装置、服务节点、播放端、计算机可读存储介质以及包含指令的计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (13)

1.一种外部数据与视频画面的同步方法，其特征在于，应用于服务节点，所述方法包括：
获取待处理视频流，对所述待处理视频流进行转码处理，并按照预设识别方式对所述待处理视频流进行识别；
当获取到识别得到的外部数据的点位信息时，确定所述点位信息所标识的第一时间戳以及转码处理的当前视频帧的第二时间戳，其中，所述第一时间戳以及所述第二时间戳均以所述待处理视频流的时间戳为起点；
计算所述第一时间戳与所述第二时间戳的差值信息；
将对应于所述当前视频帧的所述差值信息，封装至所述待处理视频流中，得到目标视频流；
发送所述目标视频流至目标地址，以使所述目标地址对应的播放端基于所述差值信息同步播放所述目标视频流及对应的外部数据。
2.如权利要求1所述的方法，其特征在于，所述将对应于所述当前视频帧的所述差值信息，封装至所述待处理视频流中的步骤，包括：
生成视频识别消息，并将所述差值信息写入所述视频识别消息中的预设字段，其中，所述视频识别消息用于记录对所述待处理视频流进行识别得到的结果；
按照预设视频封装协议，将写入后的所述视频识别消息封装为信息包；
标记所述信息包的时间戳为所述第二时间戳，并封装至所述待处理视频流中。
3.如权利要求1所述的方法，其特征在于，所述获取待处理视频流，对所述待处理视频流进行转码处理，并按照预设识别方式对所述待处理视频流进行识别的步骤，包括：
创建转码服务实例及媒体分析服务实例；
通过所述转码服务实例获取待处理视频流，并对所述待处理视频流进行转码处理，同时监听所述媒体分析服务实例反馈的点位信息；
通过所述媒体分析服务实例获取待处理视频流，按照预设识别方式对所述待处理视频流进行识别，并向所述媒体分析服务实例反馈识别得到的点位信息。
4.如权利要求3所述的方法，其特征在于，所述通过所述转码服务实例获取待处理视频流的步骤，包括：
通过所述转码服务实例获取CDN网络节点缓存的视频流，作为所述转码服务实例的待处理视频流；
所述通过所述媒体分析服务实例获取待处理视频流的步骤，包括：
通过所述媒体分析服务实例获取CDN网络节点中最新的视频流，作为所述媒体分析服务实例的待处理视频流。
5.如权利要求4所述的方法，其特征在于，所述按照预设识别方式对所述待处理视频流进行识别的步骤，包括：
按照预设识别方式对所述待处理视频流进行实时识别；
所述对所述待处理视频流进行转码处理的步骤，包括：
缓存所述待处理视频流，并从缓存中获取所述待处理视频流进行转码处理。
6.如权利要求1-5任一项所述的方法，其特征在于，所述目标地址为多个；
所述当获取到识别得到的外部数据的点位信息时，确定所述点位信息所标识的第一时间戳以及转码处理的当前视频帧的第二时间戳的步骤，包括：
当获取到识别得到的外部数据的点位信息时，确定所述点位信息所标识的第一时间戳以及转码处理的针对每个所述目标地址对应的当前视频帧的第二时间戳；
所述将对应于所述当前视频帧的所述差值信息，封装至所述待处理视频流中，得到目标视频流的步骤，包括：
分别将每个所述目标地址对应的差值信息，对应于对所述当前视频帧，封装至所述待处理视频流中，得到每个所述目标地址对应的目标视频流。
7.一种外部数据与视频画面的同步方法，其特征在于，应用于播放端，所述方法包括：
获取目标视频流，其中，所述目标视频流为服务节点通过权利要求1-6任一所述的方法对待处理视频流进行处理得到的；
对所述目标视频流进行解码处理，得到视频帧以及差值信息；
基于所述差值信息以及其对应的目标视频帧的第二时间戳，确定所述差值信息对应的第一时间戳；
在播放所述目标视频流过程中，在所述第一时间戳对应的时间点，显示所述差值信息对应的外部数据。
8.一种外部数据与视频画面的同步系统，其特征在于，所述系统包括：管理服务器及多个服务节点，其中：
所述管理服务器，用于在获取视频处理请求时，从多个服务节点中选择目标服务节点，并发送处理指令至所述目标服务节点；
所述目标服务节点，用于在接收到所述处理指令时，获取待处理视频流，对所述待处理视频流进行转码处理，并按照预设识别方式对所述待处理视频流进行识别；当获取到识别得到的外部数据的点位信息时，确定所述点位信息所标识的第一时间戳以及转码处理的当前视频帧的第二时间戳；计算所述第一时间戳与所述第二时间戳的差值信息；将对应于所述当前视频帧的所述差值信息，封装至所述待处理视频流中，得到目标视频流；发送所述目标视频流至目标地址，其中，所述第一时间戳以及所述第二时间戳均以所述待处理视频流的时间戳为起点。
9.如权利要求8所述的系统，其特征在于，所述系统还包括播放端；
所述播放端，用于获取所述目标视频流；对所述目标视频流进行解码处理，得到视频帧以及差值信息；基于所述差值信息以及其对应的目标视频帧的第二时间戳，确定所述差值信息对应的第一时间戳；在播放所述目标视频流过程中，在所述第一时间戳对应的时间点，显示所述差值信息对应的外部数据。
10.如权利要求8或9项所述的系统，其特征在于，所述系统还包括存储服务器；所述视频处理请求携带视频标识及视频参数；
所述管理服务器，还用于将所述视频标识及所述视频参数发送至所述存储服务器；
所述存储服务器，用于接收并存储所述视频标识及所述视频参数。
11.一种服务节点，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-6任一所述的方法步骤。
12.一种播放端，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求7所述的方法步骤。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
CN201911328538.4A 2019-12-20 2019-12-20 一种外部数据与视频画面的同步方法、系统及装置 Active CN110933449B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911328538.4A CN110933449B (zh) 2019-12-20 2019-12-20 一种外部数据与视频画面的同步方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911328538.4A CN110933449B (zh) 2019-12-20 2019-12-20 一种外部数据与视频画面的同步方法、系统及装置

Publications (2)

Publication Number Publication Date
CN110933449A true CN110933449A (zh) 2020-03-27
CN110933449B CN110933449B (zh) 2021-10-22

Family

ID=69863483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911328538.4A Active CN110933449B (zh) 2019-12-20 2019-12-20 一种外部数据与视频画面的同步方法、系统及装置

Country Status (1)

Country Link
CN (1) CN110933449B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111432248A (zh) * 2020-03-30 2020-07-17 北京百度网讯科技有限公司 直播视频流的质量监控方法和装置
CN111601136A (zh) * 2020-05-11 2020-08-28 腾讯科技（深圳）有限公司 一种视频数据处理方法、装置、计算机设备及存储介质
CN111957039A (zh) * 2020-09-04 2020-11-20 Oppo（重庆）智能科技有限公司 一种游戏特效实现方法、装置及计算机可读存储介质
CN114143486A (zh) * 2021-09-16 2022-03-04 浙江大华技术股份有限公司 视频流同步方法、装置、计算机设备和存储介质
CN114302169A (zh) * 2021-12-24 2022-04-08 威创集团股份有限公司 一种画面同步录制方法、装置、系统及计算机存储介质
CN114554250A (zh) * 2022-01-17 2022-05-27 北京理工大学重庆创新中心 一种无人机或无人车的视频和位置同步方法
CN114760485A (zh) * 2021-01-08 2022-07-15 武汉斗鱼网络科技有限公司 视频轮播方法、系统及相关设备
WO2023010402A1 (zh) * 2021-08-05 2023-02-09 深圳Tcl新技术有限公司 一种媒体文件播放方法、装置、计算机设备及存储介质
CN115767130A (zh) * 2022-09-27 2023-03-07 北京奇艺世纪科技有限公司 一种视频数据处理方法、装置、设备以及存储介质
CN115866162A (zh) * 2021-09-26 2023-03-28 中移雄安信息通信科技有限公司 视频流生成方法、装置、电子设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101984672A (zh) * 2010-11-03 2011-03-09 深圳芯邦科技股份有限公司 多线程的音视频同步控制方法及装置
CN103780977A (zh) * 2014-02-26 2014-05-07 厦门雅迅网络股份有限公司 一种基于帧定位技术的流媒体播放方法
CN103874989A (zh) * 2011-11-07 2014-06-18 史克威尔·艾尼克斯控股公司 渲染服务器、中央服务器、编码设备、控制方法、编码方法、程序以及记录媒体
US20170223304A1 (en) * 2010-12-15 2017-08-03 Microsoft Technology Licensing, Llc Enhanced content consumption
US20170318347A1 (en) * 2012-03-26 2017-11-02 Customplay Llc Identification Of A Musical Item Depicted Within A Video
CN107465952A (zh) * 2017-09-12 2017-12-12 中广热点云科技有限公司 一种广播内容与补充信息同步播放的方法和系统
CN108063970A (zh) * 2017-11-22 2018-05-22 北京奇艺世纪科技有限公司 一种处理直播流的方法和装置
CN108234997A (zh) * 2017-12-12 2018-06-29 北京百度网讯科技有限公司 直播视频的时延测量方法、设备、系统及计算机可读介质
CN109547831A (zh) * 2018-11-19 2019-03-29 网宿科技股份有限公司 一种白板与视频同步的方法、装置、计算设备及存储介质
CN109640022A (zh) * 2019-01-18 2019-04-16 歌尔科技有限公司 视频录制方法、装置、网络摄像器及存储介质
CN109714622A (zh) * 2018-11-15 2019-05-03 北京奇艺世纪科技有限公司 一种视频数据处理方法、装置及电子设备
CN109819300A (zh) * 2019-01-03 2019-05-28 北京潘达互娱科技有限公司 一种消息内容展示方法、发送方法、装置、终端和系统
CN110166788A (zh) * 2018-08-02 2019-08-23 腾讯科技（深圳）有限公司 信息同步播放方法、装置及存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101984672A (zh) * 2010-11-03 2011-03-09 深圳芯邦科技股份有限公司 多线程的音视频同步控制方法及装置
US20170223304A1 (en) * 2010-12-15 2017-08-03 Microsoft Technology Licensing, Llc Enhanced content consumption
CN103874989A (zh) * 2011-11-07 2014-06-18 史克威尔·艾尼克斯控股公司 渲染服务器、中央服务器、编码设备、控制方法、编码方法、程序以及记录媒体
US20170318347A1 (en) * 2012-03-26 2017-11-02 Customplay Llc Identification Of A Musical Item Depicted Within A Video
CN103780977A (zh) * 2014-02-26 2014-05-07 厦门雅迅网络股份有限公司 一种基于帧定位技术的流媒体播放方法
CN107465952A (zh) * 2017-09-12 2017-12-12 中广热点云科技有限公司 一种广播内容与补充信息同步播放的方法和系统
CN108063970A (zh) * 2017-11-22 2018-05-22 北京奇艺世纪科技有限公司 一种处理直播流的方法和装置
CN108234997A (zh) * 2017-12-12 2018-06-29 北京百度网讯科技有限公司 直播视频的时延测量方法、设备、系统及计算机可读介质
CN110166788A (zh) * 2018-08-02 2019-08-23 腾讯科技（深圳）有限公司 信息同步播放方法、装置及存储介质
CN109714622A (zh) * 2018-11-15 2019-05-03 北京奇艺世纪科技有限公司 一种视频数据处理方法、装置及电子设备
CN109547831A (zh) * 2018-11-19 2019-03-29 网宿科技股份有限公司 一种白板与视频同步的方法、装置、计算设备及存储介质
CN109819300A (zh) * 2019-01-03 2019-05-28 北京潘达互娱科技有限公司 一种消息内容展示方法、发送方法、装置、终端和系统
CN109640022A (zh) * 2019-01-18 2019-04-16 歌尔科技有限公司 视频录制方法、装置、网络摄像器及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
贺国庆: "基于RxJava技术的视频直播软件的设计与实现", 《中国优秀硕士学位论文全文数据库》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111432248A (zh) * 2020-03-30 2020-07-17 北京百度网讯科技有限公司 直播视频流的质量监控方法和装置
CN111601136A (zh) * 2020-05-11 2020-08-28 腾讯科技（深圳）有限公司 一种视频数据处理方法、装置、计算机设备及存储介质
CN111601136B (zh) * 2020-05-11 2021-03-26 腾讯科技（深圳）有限公司 一种视频数据处理方法、装置、计算机设备及存储介质
CN111957039A (zh) * 2020-09-04 2020-11-20 Oppo（重庆）智能科技有限公司 一种游戏特效实现方法、装置及计算机可读存储介质
CN114760485B (zh) * 2021-01-08 2023-09-26 深圳市酷看文化传播有限公司 视频轮播方法、系统及相关设备
CN114760485A (zh) * 2021-01-08 2022-07-15 武汉斗鱼网络科技有限公司 视频轮播方法、系统及相关设备
WO2023010402A1 (zh) * 2021-08-05 2023-02-09 深圳Tcl新技术有限公司 一种媒体文件播放方法、装置、计算机设备及存储介质
CN114143486A (zh) * 2021-09-16 2022-03-04 浙江大华技术股份有限公司 视频流同步方法、装置、计算机设备和存储介质
CN115866162A (zh) * 2021-09-26 2023-03-28 中移雄安信息通信科技有限公司 视频流生成方法、装置、电子设备及存储介质
CN114302169B (zh) * 2021-12-24 2023-03-07 威创集团股份有限公司 一种画面同步录制方法、装置、系统及计算机存储介质
CN114302169A (zh) * 2021-12-24 2022-04-08 威创集团股份有限公司 一种画面同步录制方法、装置、系统及计算机存储介质
CN114554250A (zh) * 2022-01-17 2022-05-27 北京理工大学重庆创新中心 一种无人机或无人车的视频和位置同步方法
CN114554250B (zh) * 2022-01-17 2023-06-27 北京理工大学重庆创新中心 一种无人机或无人车的视频和位置同步方法
CN115767130A (zh) * 2022-09-27 2023-03-07 北京奇艺世纪科技有限公司 一种视频数据处理方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
CN110933449B (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN110933449B (zh) 一种外部数据与视频画面的同步方法、系统及装置
US10820065B2 (en) Service signaling recovery for multimedia content using embedded watermarks
CN108988971B (zh) 发送与接收多媒体服务的方法和装置
US10863247B2 (en) Receiving device and data processing method
US9628531B2 (en) Systems and methods for controlling client behavior in adaptive streaming
CN111010614A (zh) 一种显示直播字幕的方法、装置、服务器及介质
US10715571B2 (en) Self-adaptive streaming medium processing method and apparatus
KR101939296B1 (ko) 양방향 서비스를 처리하는 장치 및 방법
EP2398239B1 (en) Frame accurate content insertion system
JP2018530257A (ja) メディアコンテンツタグデータの同期化
KR20150048669A (ko) 양방향 서비스를 처리하는 장치 및 방법
US11778012B2 (en) Adaptive bitrate streaming of live content
CN111031385B (zh) 视频播放的方法及装置
US10469919B2 (en) Broadcast signal transmission apparatus, broadcast signal reception apparatus, broadcast signal transmission method, and broadcast signal reception method
US10057624B2 (en) Synchronization of content rendering
US9489421B2 (en) Transmission apparatus, information processing method, program, reception apparatus, and application-coordinated system
CN114245153A (zh) 切片方法、装置、设备及可读存储介质
CN110072123B (zh) 一种视频的恢复播放方法、视频播放终端及服务器
US11336957B2 (en) Reception apparatus, transmission apparatus, and data processing method
CN107534792B (zh) 接收设备、发送设备以及数据处理方法
van Deventer et al. Media synchronisation for television services through HbbTV
US11695972B2 (en) Use of in-band data to correct schedule drift
JP2022183550A (ja) 受信装置、クライアント端末装置、およびプログラム
JP2017220713A (ja) ユニキャスト配信装置、再生同期システム、ユニキャスト配信方法、およびユニキャスト配信プログラム
JP2017034591A (ja) メタデータ配信システム、メタデータ配信方法及びメタデータ配信プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant