CN115767131A - 云导播方法、装置、设备以及计算机存储介质 - Google Patents
云导播方法、装置、设备以及计算机存储介质 Download PDFInfo
- Publication number
- CN115767131A CN115767131A CN202211372580.8A CN202211372580A CN115767131A CN 115767131 A CN115767131 A CN 115767131A CN 202211372580 A CN202211372580 A CN 202211372580A CN 115767131 A CN115767131 A CN 115767131A
- Authority
- CN
- China
- Prior art keywords
- monitoring window
- picture
- video stream
- main
- window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000012544 monitoring process Methods 0.000 claims abstract description 269
- 230000001360 synchronised effect Effects 0.000 claims abstract description 59
- 238000012545 processing Methods 0.000 claims description 39
- 238000004891 communication Methods 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 14
- 238000009877 rendering Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明实施例涉及云导播技术领域,公开了一种云导播方法,该方法包括:对输出至预监窗口的第一视频流进行解析,得到同步标记信息;所述同步标记信息为预先添加的用于表征所述预监窗口与主监窗口的画面是否一致的标识信息;当所述同步标记信息表征所述预监窗口与主监窗口的画面一致时,根据所述第一视频流对输出至所述主监窗口的目标视频流进行更新。通过上述方式,本发明实施例提高了云导播中主监和预监的画面帧的同步的准确率。
Description
技术领域
本发明实施例涉及云导播技术领域,具体涉及一种云导播方法、装置、设备以及计算机存储介质。
背景技术
现有的云导播一般采用预监主监流完全独立方案,即当某一路视频被输出到预监,云导播服务对该路视频处理后输出为预监流;云导播管理页面,预监窗口拉取预监流进行播放;当在云导播管理页面发起预监输出到主监的请求后,云导播服务再次打开当前预监正在处理的视频流,打开后进行与预监相同的处理,最终输出为主监流,最后云导播管理页面上的主监窗口拉取前述主监流进行播放。
发明人在实施本发明实施例的过程中发现:目前的云导播方法存在预监和主监的画面帧不同步的问题,从而导致云导播体验不佳。
发明内容
鉴于上述问题,本发明实施例提供了一种云导播方法,用于解决现有技术中存在的预监和主监的画面帧不同步,从而导致云导播体验不佳问题。
根据本发明实施例的一个方面,提供了一种云导播方法,所述方法包括:
对输出至预监窗口的第一视频流进行解析,得到同步标记信息;所述同步标记信息为预先添加的用于表征所述预监窗口与主监窗口的画面是否一致的标识信息;
当所述同步标记信息表征所述预监窗口与主监窗口的画面一致时,根据所述第一视频流对输出至所述主监窗口的目标视频流进行更新。
在一种可选的方式中,所述方法还包括:
获取用户发送的画面处理请求;
根据所述画面处理请求确定所述同步标记信息;
将所述同步标记信息添加至推送至所述预监窗口的原始视频流中,得到所述第一视频流。
在一种可选的方式中,所述方法还包括:
根据所述画面处理请求确定所述预监窗口与主监窗口的画面是否一致;
若一致,将所述同步标记信息设置为第一标记;所述第一标记用于表征所述预监窗口与主监窗口的画面相同;
若不一致,将所述同步标记信息设置为第二标记;所述第二标记用于表征所述预监窗口与主监窗口的画面不相同。
在一种可选的方式中,所述画面处理请求包括画面切换请求;所述画面切换请求用于请求将预监画面切换至主监画面;所述方法还包括:
当接收到所述画面切换请求时,确定所述预监窗口与主监窗口的画面一致。
在一种可选的方式中,所述画面处理请求还包括画面编辑请求;所述画面编辑请求用于对所述预监画面进行编辑处理;所述方法还包括:
当接收到所述画面编辑请求时,根据所述画面编辑请求对所述预监画面进行处理,得到处理后画面;
确定所述处理后画面与所述主监窗口的当前显示画面是否相同;
若不相同,确定所述预监窗口与主监窗口的画面不一致。
在一种可选的方式中,所述方法还包括:
当确定所述同步标记信息为所述第一标记时,对所述第一视频流进行拷贝处理,得到第二视频流;
将所述目标视频流更新为所述第二视频流。
在一种可选的方式中,所述方法还包括:
当确定所述同步标记信息为所述第二标记时,不对所述目标视频流进行更新。
根据本发明实施例的另一方面,提供了一种云导播装置,包括:
解析模块,用于对输出至预监窗口的第一视频流进行解析,得到同步标记信息;所述同步标记信息为预先添加的用于表征所述预监窗口与主监窗口的画面是否一致的标识信息;
更新模块,用于当所述同步标记信息表征所述预监窗口与主监窗口的画面一致时,根据所述第一视频流对输出至所述主监窗口的目标视频流进行更新。
根据本发明实施例的另一方面,提供了一种云导播设备,包括:
处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如前述任意一项所述的云导播方法实施例的操作。
根据本发明实施例的又一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使云导播设备执行前述任意一项所述的云导播方法实施例的操作。
本发明实施例通过对输出至预监窗口的第一视频流进行解析,得到同步标记信息;所述同步标记信息为预先添加的用于表征所述预监窗口与主监窗口的画面是否一致的标识信息;当所述同步标记信息表征所述预监窗口与主监窗口的画面一致时,根据所述第一视频流对输出至所述主监窗口的目标视频流进行更新,本发明实施例中将主监与预监合并为一个输入流,并且进一步在一个输入流中复合两路视频及两路音频分别作为主监和预监的输入,从而通过在接收到预监窗口输入的第一视频流时,根据第一视频流中所预先添加的同步信号标识通知进行内部流的切换及拷贝,实现了完全的端到端的预监和主监画面帧同步,并且由于对于同一个输入源只解码一次,降低了系统消耗。
上述说明仅是本发明实施例技术方案的概述,为了能够更清楚了解本发明实施例的技术手段,而可依照说明书的内容予以实施,并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
附图仅用于示出实施方式,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的云导播方法的流程示意图;
图2示出了本发明另一实施例提供的云导播方法的流程示意图;
图3示出了本发明另一实施例提供的云导播方法的流程示意图;
图4示出了本发明另一实施例提供的云导播方法的流程示意图;
图5示出了本发明另一实施例提供的云导播方法的流程示意图;
图6示出了本发明另一实施例提供的云导播方法的流程示意图;
图7示出了本发明另一实施例提供的云导播方法的流程示意图;
图8示出了本发明另一实施例提供的云导播方法的流程示意图;
图9示出了本发明另一实施例提供的云导播方法的流程示意图;
图10示出了本发明另一实施例提供的云导播方法的流程示意图;
图11示出了本发明实施例提供的云导播装置的结构示意图;
图12示出了本发明实施例提供的云导播设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。
在进行本发明实施例的说明之前,先对相关名词、现有的云导播中的主监与预监的数据处理方式以及其存在的问题进行说明。
预监:预览正在制作的画面,其中,正在进行制作可以包括添加文字,贴纸等。如果制作满意用户可以发送画面推送请求,将预监画面推送到主监进行直播,如果制作不满意,可以继续制作(重新编辑文字,贴纸等,然后重新推到预监),直到满意后再推送到主监。
主监:监看正在播出的画面。
现有的云导播一般采用预监主监流完全独立方案,一般包括如下过程:
步骤A:当某一路视频被推送到预监,云导播服务打开此路视频,并开始转码及特效处理,最终输出为预监流。
步骤B:云导播管理页面上的预监窗口拉取步骤A中的预监流进行播放。
步骤C:当用户在云导播管理页面发起预监推送到主监的请求后,云导播服务再次打开当前预监正在处理的视频流,打开后进行同样的和预监一样的转码及特效处理,最终输出为主监流;其中,当预监和主监的画面一致的时候,采用的转码策略(或者说视频处理效果)是一样的,但是还是需要不同的编码器。当预监和主监的画面不一致的时候,采用的转码策略是不一样的,需要不同的编码器。
步骤D:云导播管理页面,主监窗口拉取前述步骤C中的主监流进行播放。
现有技术中至少存在如下问题:
1.由于预监流和主监流要分别打开输入源,因此在读取输入源的流时可能造成不同步;并对同一路输入源进行了两次解码造成了资源浪费。
2.同时预监流和主监流对输入源分别进行转码特效处理,由于工作在不同编码器,因此输出的转码后画面可能不同步。
3.由于云导播管理页面预监主监采用两个播放器分别播放两路流,由于播放器缓存等,可能造成输出画面不同步。
综上,现有技术存在主监和预监的画面不同步的问题。
图1示出了本发明实施例提供的云导播方法的流程图,该方法由计算机处理设备执行。该计算机处理设备可以包括手机、笔记本电脑等。如图1所示,该方法包括以下步骤:
步骤10:对输出至预监窗口的第一视频流进行解析,得到同步标记信息;所述同步标记信息为预先添加的用于表征所述预监窗口与主监窗口的画面是否一致的标识信息。
在本发明的一个实施例中,预监窗口和主监窗口是显示的云导播管理页面上的,云导播管理页面用于接收云导播平台发送的数据流并展示给用户,以使得用户在云导播管理页面上对数据流进行云导播操作。云导播管理页面和云导播平台属于本发明实施例的云导播系统中的部分,本发明实施例的云导播系统中包含收流、转码、云导播管理页面等多个模块。
本发明实施例中的云导播的整个业务流程可以至少包括如下:在云导播管理页面配置相关的输入源推流URL(uniform resource locator,统一资源定位符),然后利用摄像机等设备向该输入源推流URL推流。从而使得云导播服务里的收流服务会收到推流,当云导播管理页面根据用户的云导播操作将该输入源导切到预监后,云导播服务里的解码服务会对该输入源进行解码,然后再根据当前云导播管理页面对这个流进行特效处理的请求(如添加文字、图片等),对解码后的流添加特效处理请求对应的特效,然后将特效后的流重新编码输出推流到到收流服务,收流服务收到的数据流就是云导播管理页面的输入流,然后云导播管理页面就可以拉取该输入流进行播放了。
本发明实施例中将主监与预监合并为一个输入流,并且进一步在一个输入流中复合两路视频及两路音频分别作为主监和预监的输入,从而通过在接收到预监窗口输入的第一视频流时,根据第一视频流中所预先添加的同步信号标识通知进行内部流的切换及拷贝,实现完全的端到端的预监和主监画面帧同步,具体地可以根据用户的云导播需求确定主监窗口和预监窗口是否一致,从而对应设置第一视频流中的同步标识信息。
其中,在根据用户的云导播需求确定同步标识信息时,主监的画面切换只取决于云导播台“将预监推送到主监”的指令,当发起这个指令时,预监和当前主监正在播放的画面是一样的,则实际主监的画面不会切换。当发起这个指令时,预监和当前主监正在播放的画面是不一样的,则实际主监的画面将切换成和预监一样的。
在本发明的一个实施例中,在步骤10之前还包括:
步骤101:获取用户发送的画面处理请求。
在本发明的一个实施例中,画面处理请求可以是用户发送至云导播管理页面的,用于对主监窗口和/或预监窗口上的画面进行处理,处理可以包括画面切换、对画面进行编辑等。举例说明,画面处理请求可以用于请求当前窗口上的展示画面从画面A切换至画面B,或者原始画面为A,然后对A画面上添加特效,例如文字图片等。
步骤102:根据所述画面处理请求确定所述同步标记信息。
在本发明的一个实施例中,由于主监画面与预监画面采用同一输入流,因此在用户所需要展示的主监画面与当前所展示的预监画面相同时,可以直接将预监画面进行拷贝后推送到主监画面,由此实现主监画面和预监画面的同步,而画面处理请求可以表征用户的云导播需求,即其是否需要主监画面上即展示当前的预监画面,因此可以根据云导播管理页面上接收到的用户的画面处理请求对同步标识信息进行对应的设置,由此根据同步标识信息可以实现在用户需要主监和预监画面相同时,根据预监画面的第一视频流进行拷贝,得到需推送至主监画面的目标视频流,而此时由于目标视频流是直接由第一视频流拷贝得到的,因此主监画面与预监画面是同步的。
具体地,同步标识信息可以是SEI即补充增强信息(Supplemental EnhancementInformation),通过在第一视频流中预先增加表征是否预监窗口与主监窗口的画面是否一致的SEI,实现在主监窗口进行拉取时,可以解析得到SEI从而在该SEI表征预监窗口与主监窗口的画面一致时,直接将预监窗口当前正在使用的视频流复制到主监窗口对应的输入通道即可,由此保证主监和预监的同步。
因此,在本发明的一个实施例中,步骤102还包括:
步骤1021:根据所述画面处理请求确定所述预监窗口与主监窗口的画面是否一致。
在本发明的一个实施例中,可以将使用云导播服务的用户定义为导演,即用户为在云导播管理页面进行导切的主体,导演则只对云导播业务负责,即导演只需要关心什么时候切哪个画面,而并不需要了解服务的背后实现逻辑。因此,云导播服务在收到云导播的管理页面上的导演所发送的导切指令后,会判断当前的预监和主监的画面是否一致,从而根据两者画面是否一致,确定是否需要将当前预监画面对应的视频流进行原样拷贝后推送到主监窗口,以使得主监和预监画面同步。
因此,可以根据画面处理请求对云导播管理页面上对应的画面进行处理,判断处理后的当前展示的预监和主监的画面是否一致。
在本发明的一个实施例中,所述画面处理请求包括画面切换请求;所述画面切换请求用于请求将预监画面切换至主监画面;
步骤1021还包括:
步骤103:当接收到所述画面切换请求时,确定所述预监窗口与主监窗口的画面一致。
在本发明的一个实施例中,用户可以根据自己的云导播需求,对预监窗口的画面进行编辑,并且将预监画面推送至主监窗口,如用户在对预监画面编辑完成后,对预监画面感到满意,于是发送画面处理请求,将当前编辑完成的预监画面推送至主监画面,因此,在接收到画面切换请求时,即可以确定用户所需求看到的是主监画面与预监画面相同,因此在接收到用于将预监画面推送至主监窗口的请求时,确定预监窗口和主监窗口画面一致。
在本发明的一个实施例中,所述画面处理请求还包括画面编辑请求;所述画面编辑请求用于对所述预监画面进行编辑处理;
步骤103之后还包括:
步骤1041:当接收到所述画面编辑请求时,根据所述画面编辑请求对所述预监画面进行处理,得到处理后画面。
在本发明的一个实施例中,如前所述,用户可以先在预监窗口上对预监画面进行一或多次画面处理,如添加文件、图标等特效处理,或者将预监窗口的输入源进行切换,如将预监窗口的输入源从之前的数据流1切换为数据流2。因此处理后画面可以是在数据流1的基础上添加特效后的画面,或者将由数据流1替换为数据流2后的画面。
步骤1042:确定所述处理后画面与所述主监窗口的当前显示画面是否相同。
在本发明的一个实施例中,将处理后画面与主监窗口的当前显示画面进行比较,确定两者是否相同,从而判断此时的主监窗口能够直接将预监窗口的输入源进行拷贝使用。
步骤1043:若不相同,确定所述预监窗口与主监窗口的画面不一致。
在本发明的一个实施例中,当当前的主监画面和处理后的预监画面不相同时,则说明预监的画面不应该在主监中播放,即用户所需求的主监画面和预监画面不相同。
步骤1022:若一致,将所述同步标记信息设置为第一标记;所述第一标记用于表征所述预监窗口与主监窗口的画面相同。
在本发明的一个实施例中,同步标记信息可以是SEI信息,具体是可以是一个预设的字段,如operationType(操作类型),第一标记可以是将operationType设置为1。
步骤1023:若不一致,将所述同步标记信息设置为第二标记;所述第二标记用于表征所述预监窗口与主监窗口的画面不相同。
在本发明的一个实施例中,对应于第一标记的设置,第二标记可以是将operationType设置为与第一标记1不同的值,如0或2。
步骤103:将所述同步标记信息添加至推送至所述预监窗口的原始视频流中,得到所述第一视频流。
在本发明的一个实施例中,为了避免现有技术中主监窗口和预监窗口分别打开输入源所导致的在读取时可能导致不同步的情况,本发明实施例采用将主监窗口和预监窗口共享一个输入源,为了实现共享,并且考虑到一般是先对预监画面进行展示和处理,再将预监画面推送到主监窗口,可以通过在预监窗口添加同步标记信息到预监窗口所使用的原始视频流中,从而得到当前共享推送至主监窗口的第一视频流,根据该同步标记信息确定主监窗口的画面是否与预监窗口一致,并在一致的情况下,对第一视频流进行拷贝,得到主监窗口的目标视频流。
需要说明的是,在本发明的再一个实施例中,当主监窗口未开启时,云导播管理页面在检测到用户发起导切的请求并转发至云导播服务,云导播服务收到请求后会判断当前主监未开启,因此不会在第一视频流中添加同步标识信息。
步骤20:当所述同步标记信息表征所述预监窗口与主监窗口的画面一致时,根据所述第一视频流对输出至所述主监窗口的目标视频流进行更新。
在本发明的一个实施例中,当同步标记信息表征预监窗口与主监窗口的画面一致,则可以直接将第一视频流复制到主监窗口的推送通道上,即保证目标视频流和第一视频流的完全相同,由此实现主监窗口和预监窗口的同步。
因此,在本发明的一个实施例中,步骤20还包括:
步骤201:当确定所述同步标记信息为所述第一标记时,对所述第一视频流进行拷贝处理,得到第二视频流。
在本发明的一个实施例中,通过直接拷贝第一视频流,无需对输入源进行二次解码,在保证了主监窗口上的画面与其所来源的预监窗口是时间轴同步的。
步骤202:将所述目标视频流更新为所述第二视频流。
在本发明的一个实施例中,将由第一视频流拷贝得到的第二视频流作为目标视频流推送至主监窗口,从而使得主监窗口和预监窗口使用同一个输入源,其主监和预监画面实现同步。
在本发明的一个实施例中,步骤20还包括:
步骤203:当确定所述同步标记信息为所述第二标记时,不对所述目标视频流进行更新。
在本发明的一个实施例中,当同步标记信息为表征主监画面与预监画面不一致的第二标识时,则说明主监画面与预监画面并不同,因此并不存在同步需求,因此,不需要对目标视频流进行更新。
在本发明的再一个实施例中,云导播过程还可以包括至少如下:
步骤1:假设输入源1被推送到预监,则云导播服务对输入源1开始进行解码;得到解码后的输入源1的视频及音频。
步骤2:此时判断主监未开启,则直接对输入源1的视频进行相关特效及转码处理,然后将转码后的视频输出到输出流中的视频流1;将输入源1的音频流转码后输出到输出流的音频流1。其中,如图2所示,输出流中包含两路音频(音频流1,音频流2),两路视频(视频流1,视频流2);此时音频流2,视频流2里无数据(因为此时的主监并未开启)。云导播管理页面拉取此输出流进行解码播放,由于主监未开启,因此直接解码视频流1在预监窗口渲染,解码音频流1进行播放,不存在预监主监帧同步问题。
其中,输出两路流中的两路音频,分别对应的是预监和主监的音频,两路视频,分别对应的是预监和主监的视频。但是在当前情况下,由于主监未开启,所以音频流2,视频流2无数据。实际上输出流中,2路音频和2路视频足够覆盖全部场景需求,因为可以在主监和预监各自画面切换时完成复制或者是选择不同流的逻辑,而不需要更多路。
需要说明的是,无论输入源有多少路,所有的当前需要处理的输入源(如使用输入源1和输入源2做成一个左右布局的画面,实际服务会将这两路流先合成一路流)会在云导播服务中先混合成一路,然后按照后续逻辑进行处理。
步骤3:当在云导播管理页面发送命令将预监推送到主监,则如图3所示,在输出流的video1中插入一个SEI,SEI为用户自定义类型,SEI内携带operationType属性,其值为1,代表此时预监和主监使用同一路视频流。
步骤4:云导播平台拉取输出流持续解码,在解码video1时遇到SEI,发现其operationType=1,则如图4所示,将把video1的视频拷贝一份给主监渲染,同时把audio1的音频拷贝一份给主监播放;此时由于音频及视频主监是从预监拷贝来的,所以主监和预监是完全同步的。
步骤5:此时假设输入源2被推送到预监,则云导播服务先在输出流的video2中插入SEI,其operationType=2,代表预监和主监使用不同的视频流;同时如图5所示,开始对输入源2开始进行转码;同时已经在转码的输入源1继续转码;同时新输出的video1,audio1,video2,audio2在PTS上是对齐的。
步骤6:如图6所示,云导播平台拉取输出流并持续解码,在解码video2时遇到SEI,发现其operationType=2,则把video2的视频输出给预监渲染,同时把audio2的音频给预监播放;此时把video1的视频输出继续给主监渲染,同时把audio1的音频继续给主监播放。而由于此时主监和预监是不同的流,因此不存在主监与预监的帧同步问题。
步骤7:如果此时将预监推送到主监,则如图7所示,在输出流的video2中插入一个SEI,SEI为用户自定义类型,里面有operationType属性,其值为1,代表此时预监和主监使用同一路视频流;同时新输出的video1,audio1,video2,audio2在PTS上是对齐的。
步骤8:云导播平台拉取输出流持续解码,如图8所示,在解码video2时遇到SEI,发现其operationType=1,则此时把video2的视频拷贝一份给主监渲染,同时把audio2的音频拷贝一份给主监播放;此时由于音频及视频主监是从预监拷贝来的,所以主监和预监是完全同步的。
步骤9:如果此时重新将输入源1推送到预监,如图8所示,则云导播服务先在输出流的video1中插入SEI,其operationType=2,代表预监和主监使用不同的视频流;同时已经在转码的输入源2继续转码;同时已经在转码的输入源1继续转码;同时新输出的video1,audio1,video2,audio2在PTS上是对齐的。
即在本发明实施例中,operationType的取值规则为:如果预监和主监即将要播放的画面使用不同的视频流(或不一样的视频处理效果,例如布局合流),则operationType=2;如果预监和主监将要播放的画面使用相同的视频流(或一样的视频处理效果,例如布局合流),则operationType=1。
步骤10:云导播平台拉取输出流持续解码,如图10所示,在解码video1时遇到SEI,发现其operationType=2,此时把video1的视频输出给预监渲染,同时把audio1的音频给预监播放;此时把video2的视频输出继续给主监渲染,同时把audio2的音频继续给主监播放;由于此时主监和预监是不同的流,因此不存在帧同步问题。
步骤11:这时如果切换其他输入源,或者多个输入源合流布局等,则操作过程及原理和上述步骤1-10一致;至此一个完整的云导播流程中,所有环节预监和主监都保持了帧同步,克服了现有技术中预监主监无法完全帧同步的问题。
其中,在基于多路流的实现主监与预监的同步的过程可以如下:
多输入源合流时,如将签署输入源1和输入源2进行左右一个画面的布局(如输入源1在左,输入源2在右)推到预监,则会对输入源1和输入源2同时进行解码,解码得到的画面再进行混合,得到左右布局的画面,然后将这个画面放入output的video1中,解码得到的两路的音频进行混音,混合后放入output的audio1中。
假设现在主监未开启,然后现在点击推送到主监,则video1中插入operationType=1;
云导播平台拉取输出流持续解码,在解码video1时遇到SEI,发现其operationType=1,则此时把video1的视频拷贝一份给主监渲染,同时把audio1的音频拷贝一份给主监播放。
然后假设现在将预监的布局进行更换,换为(输入源2在左,输入源1在右)并推到预监,这时预监和主监即将展示的画面就不一致了,这时原来的(输入源1在左,输入源2在右)的流继续不变,还是在主监播放,云导播会新对输入源1和输入源2进行布局,形成(输入源2在左,输入源1在右)的画面,然后先插入operationType=2到video2,然后再将这个画面插入video2,混音后的音频插入audio2。
在本发明实施例中,通过将预监和主监的流合并为一个,并利用相关的通知机制,进行内部流的切换和复制技术保证了预监和主监的帧同步,具体地,本发明实施例采用预监流和主监流共享同一个输入源方法,消除了读取输入源不同步;而且输入源只解码一次,减少了资源浪费;云导播管理页面预监和主监拉取同一个流,再进行拷贝渲染,消除了播放侧画面的不同步,最终实现完全的端到端的预监和主监画面帧同步。
本发明实施例通过对输出至预监窗口的第一视频流进行解析,得到同步标记信息;所述同步标记信息为预先添加的用于表征所述预监窗口与主监窗口的画面是否一致的标识信息;当所述同步标记信息表征所述预监窗口与主监窗口的画面一致时,根据所述第一视频流对输出至所述主监窗口的目标视频流进行更新,本发明实施例中将主监与预监合并为一个输入流,并且进一步在一个输入流中复合两路视频及两路音频分别作为主监和预监的输入,从而通过在接收到预监窗口输入的第一视频流时,根据第一视频流中所预先添加的同步信号标识通知进行内部流的切换及拷贝,实现了完全的端到端的预监和主监画面帧同步,并且由于对于同一个输入源只解码一次,降低了系统消耗。
图11示出了本发明实施例提供的云导播装置的结构示意图。如图11所示,该装置30包括:解析模块301和更新模块302。
其中,解析模块301,用于对输出至预监窗口的第一视频流进行解析,得到同步标记信息;所述同步标记信息为预先添加的用于表征所述预监窗口与主监窗口的画面是否一致的标识信息;
更新模块302,用于当所述同步标记信息表征所述预监窗口与主监窗口的画面一致时,根据所述第一视频流对输出至所述主监窗口的目标视频流进行更新。
本发明实施例提供的云导播装置通过对输出至预监窗口的第一视频流进行解析,得到同步标记信息;所述同步标记信息为预先添加的用于表征所述预监窗口与主监窗口的画面是否一致的标识信息;当所述同步标记信息表征所述预监窗口与主监窗口的画面一致时,根据所述第一视频流对输出至所述主监窗口的目标视频流进行更新,本发明实施例中将主监与预监合并为一个输入流,并且进一步在一个输入流中复合两路视频及两路音频分别作为主监和预监的输入,从而通过在接收到预监窗口输入的第一视频流时,根据第一视频流中所预先添加的同步信号标识通知进行内部流的切换及拷贝,实现了完全的端到端的预监和主监画面帧同步,并且由于对于同一个输入源只解码一次,降低了系统消耗。
图12示出了本发明实施例提供的云导播设备的结构示意图,本发明具体实施例并不对云导播设备的具体实现做限定。
如图12所示,该云导播设备可以包括:处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。
其中:处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。通信接口404,用于与其它设备比如客户端或其它服务器等的网元通信。处理器402,用于执行程序410,具体可以执行上述用于云导播方法实施例中的相关步骤。
具体地,程序410可以包括程序代码,该程序代码包括计算机可执行指令。
处理器402可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。云导播设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器406,用于存放程序410。存储器406可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序410具体可以被处理器402调用使云导播设备执行以下操作:
对输出至预监窗口的第一视频流进行解析,得到同步标记信息;所述同步标记信息为预先添加的用于表征所述预监窗口与主监窗口的画面是否一致的标识信息;
当所述同步标记信息表征所述预监窗口与主监窗口的画面一致时,根据所述第一视频流对输出至所述主监窗口的目标视频流进行更新。
本发明实施例提供的云导播设备通过对输出至预监窗口的第一视频流进行解析,得到同步标记信息;所述同步标记信息为预先添加的用于表征所述预监窗口与主监窗口的画面是否一致的标识信息;当所述同步标记信息表征所述预监窗口与主监窗口的画面一致时,根据所述第一视频流对输出至所述主监窗口的目标视频流进行更新,本发明实施例中将主监与预监合并为一个输入流,并且进一步在一个输入流中复合两路视频及两路音频分别作为主监和预监的输入,从而通过在接收到预监窗口输入的第一视频流时,根据第一视频流中所预先添加的同步信号标识通知进行内部流的切换及拷贝,实现了完全的端到端的预监和主监画面帧同步,并且由于对于同一个输入源只解码一次,降低了系统消耗。
本发明实施例提供了一种计算机可读存储介质,所述存储介质存储有至少一可执行指令,该可执行指令在云导播设备上运行时,使得所述云导播设备执行上述任意方法实施例中的云导播方法。
可执行指令具体可以用于使得云导播设备执行以下操作:
对输出至预监窗口的第一视频流进行解析,得到同步标记信息;所述同步标记信息为预先添加的用于表征所述预监窗口与主监窗口的画面是否一致的标识信息;
当所述同步标记信息表征所述预监窗口与主监窗口的画面一致时,根据所述第一视频流对输出至所述主监窗口的目标视频流进行更新。
本发明实施例提供的计算机存储介质所存储的可执行指令通过对输出至预监窗口的第一视频流进行解析,得到同步标记信息;所述同步标记信息为预先添加的用于表征所述预监窗口与主监窗口的画面是否一致的标识信息;当所述同步标记信息表征所述预监窗口与主监窗口的画面一致时,根据所述第一视频流对输出至所述主监窗口的目标视频流进行更新,本发明实施例中将主监与预监合并为一个输入流,并且进一步在一个输入流中复合两路视频及两路音频分别作为主监和预监的输入,从而通过在接收到预监窗口输入的第一视频流时,根据第一视频流中所预先添加的同步信号标识通知进行内部流的切换及拷贝,实现了完全的端到端的预监和主监画面帧同步,并且由于对于同一个输入源只解码一次,降低了系统消耗。
本发明实施例提供一种云导播装置,用于执行上述云导播方法。
本发明实施例提供了一种计算机程序,所述计算机程序可被处理器调用使云导播设备执行上述任意方法实施例中的云导播方法。
本发明实施例提供了一种计算机程序产品,计算机程序产品包括存储在计算机可读存储介质上的计算机程序,计算机程序包括程序指令,当程序指令在计算机上运行时,使得所述计算机执行上述任意方法实施例中的云导播方法。
在此提供的算法或显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明实施例也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。
本领域技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤,除有特殊说明外,不应理解为对执行顺序的限定。
Claims (10)
1.一种云导播方法,其特征在于,所述方法包括:
对输出至预监窗口的第一视频流进行解析,得到同步标记信息;所述同步标记信息为预先添加的用于表征所述预监窗口与主监窗口的画面是否一致的标识信息;
当所述同步标记信息表征所述预监窗口与主监窗口的画面一致时,根据所述第一视频流对输出至所述主监窗口的目标视频流进行更新。
2.根据权利要求1所述的方法,其特征在于,在所述对输出至预监窗口的第一视频流进行解析,得到同步标记信息之前,进一步包括:
获取用户发送的画面处理请求;
根据所述画面处理请求确定所述同步标记信息;
将所述同步标记信息添加至推送至所述预监窗口的原始视频流中,得到所述第一视频流。
3.根据权利要求2所述的方法,其特征在于,所述根据所述画面处理请求确定所述同步标记信息,进一步包括:
根据所述画面处理请求确定所述预监窗口与主监窗口的画面是否一致;
若一致,将所述同步标记信息设置为第一标记;所述第一标记用于表征所述预监窗口与主监窗口的画面相同;
若不一致,将所述同步标记信息设置为第二标记;所述第二标记用于表征所述预监窗口与主监窗口的画面不相同。
4.根据权利要求3所述的方法,其特征在于,所述画面处理请求包括画面切换请求;所述画面切换请求用于请求将预监画面切换至主监画面;所述根据所述画面处理请求确定所述预监窗口与主监窗口的画面是否一致,包括:
当接收到所述画面切换请求时,确定所述预监窗口与主监窗口的画面一致。
5.根据权利要求4所述的方法,其特征在于,所述画面处理请求还包括画面编辑请求;所述画面编辑请求用于对所述预监画面进行编辑处理;在所述当接收到所述画面切换请求时,确定所述预监窗口与主监窗口的画面一致之后,包括:
当接收到所述画面编辑请求时,根据所述画面编辑请求对所述预监画面进行处理,得到处理后画面;
确定所述处理后画面与所述主监窗口的当前显示画面是否相同;
若不相同,确定所述预监窗口与主监窗口的画面不一致。
6.根据权利要求3所述的方法,其特征在于,所述当所述同步标记信息表征所述预监窗口与主监窗口的画面一致时,根据所述第一视频流对输出至所述主监窗口的目标视频流进行更新,包括:
当确定所述同步标记信息为所述第一标记时,对所述第一视频流进行拷贝处理,得到第二视频流;
将所述目标视频流更新为所述第二视频流。
7.根据权利要求3所述的方法,其特征在于,在所述对输出至预监窗口的第一视频流进行解析,得到同步标记信息之后,还包括:
当确定所述同步标记信息为所述第二标记时,不对所述目标视频流进行更新。
8.一种云导播装置,其特征在于,所述装置包括:
解析模块,用于对输出至预监窗口的第一视频流进行解析,得到同步标记信息;所述同步标记信息为预先添加的用于表征所述预监窗口与主监窗口的画面是否一致的标识信息;
更新模块,用于当所述同步标记信息表征所述预监窗口与主监窗口的画面一致时,根据所述第一视频流对输出至所述主监窗口的目标视频流进行更新。
9.一种云导播设备,其特征在于,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-7任意一项所述的云导播方法的操作。
10.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一可执行指令,所述可执行指令在云导播设备上运行时,使得云导播设备执行如权利要求1-7任意一项所述的云导播方法的操作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211372580.8A CN115767131A (zh) | 2022-11-03 | 2022-11-03 | 云导播方法、装置、设备以及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211372580.8A CN115767131A (zh) | 2022-11-03 | 2022-11-03 | 云导播方法、装置、设备以及计算机存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115767131A true CN115767131A (zh) | 2023-03-07 |
Family
ID=85356085
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211372580.8A Pending CN115767131A (zh) | 2022-11-03 | 2022-11-03 | 云导播方法、装置、设备以及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115767131A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116582696A (zh) * | 2023-07-14 | 2023-08-11 | 北京医百科技有限公司 | 切换节目场景到预设监视窗口的方法和系统 |
CN116916051A (zh) * | 2023-06-09 | 2023-10-20 | 北京医百科技有限公司 | 在云导播台客户端中更新布局场景的方法和装置 |
-
2022
- 2022-11-03 CN CN202211372580.8A patent/CN115767131A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116916051A (zh) * | 2023-06-09 | 2023-10-20 | 北京医百科技有限公司 | 在云导播台客户端中更新布局场景的方法和装置 |
CN116916051B (zh) * | 2023-06-09 | 2024-04-16 | 北京医百科技有限公司 | 在云导播台客户端中更新布局场景的方法和装置 |
CN116582696A (zh) * | 2023-07-14 | 2023-08-11 | 北京医百科技有限公司 | 切换节目场景到预设监视窗口的方法和系统 |
CN116582696B (zh) * | 2023-07-14 | 2023-09-26 | 北京医百科技有限公司 | 切换节目场景到预设监视窗口的方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10348794B2 (en) | Media production system with score-based display feature | |
WO2019205872A1 (zh) | 视频流处理方法、装置、计算机设备及存储介质 | |
CN115767131A (zh) | 云导播方法、装置、设备以及计算机存储介质 | |
RU2580022C2 (ru) | Визуализация текста на естественном языке | |
CN113099258B (zh) | 云导播系统及直播处理方法、装置、计算机可读存储介质 | |
CN110149518B (zh) | 媒体数据的处理方法、系统、装置、设备以及存储介质 | |
WO2020155964A1 (zh) | 音视频的切换方法、装置、计算机设备及可读存储介质 | |
US9584761B2 (en) | Videoconference terminal, secondary-stream data accessing method, and computer storage medium | |
KR20190137924A (ko) | 디지털 비디오 컨텐츠 수정 | |
CN113038220A (zh) | 导播方法、导播系统、导播装置及计算机可读存储介质 | |
JP2001024610A (ja) | 自動番組制作装置および自動番組制作プログラムを記録した記録媒体 | |
KR101915792B1 (ko) | 얼굴인식을 이용한 광고 삽입 시스템 및 방법 | |
CN112153472A (zh) | 一种画面特效的生成方法及装置、存储介质及电子设备 | |
US20220116677A1 (en) | Method, system, and computer readable recording medium for implementing seamless switching mode between channels in multi-stream live transmission environment | |
WO2022080670A1 (ko) | 컨텐츠 제공 방법 및 장치와, 컨텐츠 재생 방법 | |
Black et al. | A compendium of robust data structures | |
JPWO2014136291A1 (ja) | 動画データ編集装置、動画データ編集方法、再生装置、再生方法及びプログラム | |
CN117336563B (zh) | 外挂字幕显示方法、装置、设备、介质及程序产品 | |
US20230224557A1 (en) | Auxiliary mpds for mpeg dash to support prerolls, midrolls and endrolls with stacking properties | |
CN116886941B (zh) | 在云导播台中切换字幕内容的方法和装置 | |
EP4344230A1 (en) | Video generation method, apparatus, and device, storage medium, and program product | |
US11973820B2 (en) | Method and apparatus for mpeg dash to support preroll and midroll content during media playback | |
US11799943B2 (en) | Method and apparatus for supporting preroll and midroll during media streaming and playback | |
US20230315265A1 (en) | Multi-resource editing system and multi-resource editing method | |
CN115329122A (zh) | 音频信息处理方法、音频信息呈现方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |