CN114205612A - 基于云计算的超高清视频处理方法及相关设备 - Google Patents
基于云计算的超高清视频处理方法及相关设备 Download PDFInfo
- Publication number
- CN114205612A CN114205612A CN202111675049.3A CN202111675049A CN114205612A CN 114205612 A CN114205612 A CN 114205612A CN 202111675049 A CN202111675049 A CN 202111675049A CN 114205612 A CN114205612 A CN 114205612A
- Authority
- CN
- China
- Prior art keywords
- file
- video material
- video
- rendering
- material file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
Abstract
本发明公开了一种基于云计算的超高清视频处理方法及相关设备,在对视频进行处理的过程中,将视频素材上传至云端服务器进行转码,获得视频素材对应的转码文件,将转码文件下发至本地客户端进行剪辑,获得剪辑文件,并将剪辑文件对应的渲染工程文件上传至云端服务器,在云端服务器中已存储的各个视频素材文件中确定相匹配的各个目标视频素材文件,以确定相应的渲染任务,通过分片的方式,对各个分段任务分别进行渲染后进行拼合,获得超高清成品视频。本发明提供的方法中,视频剪辑在本地完成,渲染过程在云端,剪辑和渲染互不干扰,渲染通过切分后分段渲染并充分利用云端强大的堆叠式算力,进而提升了视频剪辑及渲染的效率。
Description
技术领域
本发明涉及云计算技术领域,特别涉及一种基于云计算的超高清视频处理方法及相关设备。
背景技术
随着视频内容的丰富,需要对视频进行一定程度的处理。现有很多剪辑软件通过对加入的图片、背景音乐、特效、场景等素材与视频进行重混合,对视频源进行切割、合并,通过二次编码,生成具有不同表现力的新视频。同时,为了提升对视频的处理效率,视频制作公司推出了大量云剪系统,通过云端模式对视频进行处理。
目前,已推出的各个云剪系统主要服务于简单的应用场景,对于一些超高清视频的处理,受外界因素的影响,无法与线下处理相比较。因此,现有对超高清视频的云处理过程中,对超高清视频的剪辑以及视频后期渲染均存在效率低的问题。
发明内容
鉴于上述问题,本发明提供一种克服上述问题或者至少部分地解决上述问题的一种基于云计算的超高清视频处理方法及相关设备,技术方案如下所述:
一种基于云计算的超高清视频处理方法,包括:
响应于已接收到的视频处理指令,按预设的抓取路径,抓取多个视频素材文件;
将各个所述视频素材文件上传至已建立的云端服务器中进行存储,并在所述云端服务器中对各个所述视频素材文件进行转码,获得每个所述视频素材文件对应的转码文件;
将各个所述转码文件下发至本地客户端,在所述本地客户端中依据各个所述转码文件进行视频剪辑,以生成剪辑文件;
确定所述剪辑文件对应的渲染工程文件,将所述渲染工程文件上传至所述云端服务器;
在所述云端服务器上已存储的各个所述视频素材文件中,确定与所述渲染工程文件相匹配的各个目标视频素材文件,并确定各个所述目标视频素材文件对应的渲染任务;
对所述渲染任务进行切片,获得多个分段任务,并将每个所述分段任务分配到渲染执行器集群中当前处于空闲态的各个渲染执行器上进行渲染;
当各个所述分段任务均渲染完成后,对经过渲染的各个所述分段任务进行拼合,获得拼合后的成品视频。
上述的方法,可选的,所述将各个所述视频素材文件上传至已建立的云端服务器中进行存储,包括:
确定每个所述视频素材文件的上传线程;
应用所述上传线程对该视频素材文件进行上传,并在上传过程中应用消息摘要算法MD5对该视频素材文件进行验证,以确保该视频素材文件在上传过程中不被篡改;
将已上传至所述云端服务器中的每个所述视频素材文件存储至预设的目标存储区域中。
上述的方法,可选的,所述在所述云端服务器中对各个所述视频素材文件进行转码,包括:
判断每个所述视频素材文件的文件参数是否与所述视频处理指令中的剪辑工程参数一致;
将文件参数与所述剪辑工程参数一致的视频素材文件确定为第一视频素材文件;
将文件参数与所述剪辑工程参数不一致的视频素材文件确定为第二视频素材文件;
对每个所述第二视频素材文件进行参数调整,以将每个所述第二视频素材文件的文件参数调整为与所述剪辑工程参数一致;
将各个所述第一视频素材文件以及经过参数调整的各个所述第二视频素材文件上传至已定义的转码模板中进行转码。
上述的方法,可选的,所述文件参数包括:分辨率和帧率;
所述对每个所述第二视频素材文件进行参数调整,包括:
通过插帧的方式,对所述第二视频素材文件进行补帧,以调整所述第二视频素材文件的帧率;
通过超分处理的方式,对所述第二视频素材文件的分辨率进行超分处理。
上述的方法,可选的,所述确定各个所述目标视频素材文件对应的渲染任务,包括:
确定每个所述目标视频素材文件所在视频轨道的轨道层级;
按轨道层级由高到低的顺序,逐一对各个所述目标视频素材文件进行轨道下压,将当前轨道层级对应的视频轨道上的各个目标视频素材文件下压至当前轨道层级的下一轨道层级所对应的视频轨道上,以将当前轨道层级对应的视频轨道上的各个目标视频素材文件对应的内容和时间码替换至所述下一轨道层级所对应的视频轨道上的相应位置上,直至各个轨道层级对应的视频轨道上的各个目标视频素材文件下压至同一视频轨道,完成轨道层级的简化以及各个所述目标视频素材文件的重链,获得各个所述目标视频素材文件对应的渲染任务。
上述的方法,可选的,还包括:
通过预设的内嵌式窗口,对所述云端服务器中已存储的各个视频素材文件进行预览。
上述的方法,可选的,还包括:
对所述内嵌式窗口中当前预览的各个视频素材文件以拖拽的方式进行使用。
一种基于云计算的超高清视频处理装置,包括:
抓取单元,用于响应于已接收到的视频处理指令,按预设的抓取路径,抓取多个视频素材文件;
转码单元,用于将各个所述视频素材文件上传至已建立的云端服务器中进行存储,并在所述云端服务器中对各个所述视频素材文件进行转码,获得每个所述视频素材文件对应的转码文件;
剪辑单元,用于将各个所述转码文件下发至本地客户端,在所述本地客户端中依据各个所述转码文件进行视频剪辑,以生成剪辑文件;
第一确定单元,用于确定所述剪辑文件对应的渲染工程文件,将所述渲染工程文件上传至所述云端服务器;
第二确定单元,用于在所述云端服务器上已存储的各个所述视频素材文件中,确定与所述渲染工程文件相匹配的各个目标视频素材文件,并确定各个所述目标视频素材文件对应的渲染任务;
渲染单元,用于对所述渲染任务进行切片,获得多个分段任务,并将每个所述分段任务分配到渲染执行器集群中当前处于空闲态的各个渲染执行器上进行渲染;
拼合单元,用于当各个所述分段任务均渲染完成后,对经过渲染的各个所述分段任务进行拼合,获得拼合后的成品视频。
一种存储介质,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行上述的基于云计算的超高清视频处理方法。
一种电子设备,包括至少一个处理器、以及与处理器连接的至少一个存储器、总线;其中,处理器、存储器通过总线完成相互间的通信;处理器用于调用存储器中的程序指令,以执行上述的基于云计算的超高清视频处理方法。
与现有技术相比,本发明具有以下优点:一种基于云计算的超高清视频处理方法,包括:响应于已接收到的视频处理指令,按预设的抓取路径,抓取多个视频素材文件;将各个所述视频素材文件上传至已建立的云端服务器中进行存储,并在所述云端服务器中对各个所述视频素材文件进行转码,获得每个所述视频素材文件对应的转码文件;将各个所述转码文件下发至本地客户端,在所述本地客户端中依据各个所述转码文件进行视频剪辑,以生成剪辑文件;确定所述剪辑文件对应的渲染工程文件,将所述渲染工程文件上传至所述云端服务器;在所述云端服务器上已存储的各个所述视频素材文件中,确定与所述渲染工程文件相匹配的各个目标视频素材文件,并确定各个所述目标视频素材文件对应的渲染任务;对所述渲染任务进行切片,获得多个分段任务,并将每个所述分段任务分配到渲染执行器集群中当前处于空闲态的各个渲染执行器上进行渲染;当各个所述分段任务均渲染完成后,对经过渲染的各个所述分段任务进行拼合,获得拼合后的成品视频。
本发明实施例提供的方法中,视频剪辑与后台渲染合成采用分布式的处理方案,视频剪辑过程在本地客户端完成,视频渲染合成在云端服务器,云端渲染合成采用自动分片与负载均衡方式分配集群中的主机并行完成文件渲染导出,极大提升了渲染的效率及视频剪辑效率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本发明实施例提供的一种基于云计算的超高清视频处理方法的方法流程图;
图2为本发明实施例提供的一种基于云计算的超高清视频处理方法的又一方法流程图;
图3为本发明实施例提供的一种基于云计算的超高清视频处理装置的结构示意图;
图4为本发明实施例提供的一种电子设备的结构图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
参考图1示出了,本发明实施例提供的一种基于云计算的超高清视频处理方法的方法流程图,图1示出的方法执行过程为本发明实施例提供的基于云计算的超高清视频处理方法的一种可行性实现方案,该方法可以应用在各种云剪辑系统中,其执行主体可以为云端服务器,也可以为第三方应用软件的处理器,以下以云剪系统的应用软件中的处理器为执行主体对该方案进行描述,所述方法具体包括:
S101:响应于已接收到的视频处理指令,按预设的抓取路径,抓取多个视频素材文件;
本发明实施例提供的方法中,在需要对视频进行处理时,可以向处理器发送视频处理指令,所述视频处理指令中包含视频剪辑工程中预先设置的多个剪辑工程参数。所述视频优选超高清视频,可以为4K视频或者8K视频。
本发明实施例提供的方法中,响应视频处理指令,按预设的抓取路径,抓取多个视频素材文件,各个视频素材文件可以存放在不同的服务器中,分别对应设置有抓取路径,即在实际操作中,响应所述视频处理指令,可以同时根据多个抓取路径,抓取多个视频素材文件。
S102:将各个所述视频素材文件上传至已建立的云端服务器中进行存储,并在所述云端服务器中对各个所述视频素材文件进行转码,获得每个所述视频素材文件对应的转码文件,并保持原始的文件目录结构;
本发明实施例提供的方法中,将抓取的各个视频素材文件上传至云端服务器中,存储在云端服务器中的预定位置,并对每个视频素材文件进行转码,由于抓取获得的各个视频素材文件形式可能各样,因此需要对各个视频素材文件进行统一帧率及分辨率,将各个视频素材文件转码为统一的编码文件,并保持各个视频素材文件之间原始的文件目录结构。
S103:将各个所述转码文件下发至本地客户端,在所述本地客户端中依据各个所述转码文件进行视频剪辑,以生成剪辑文件;
本发明实施例提供的方法中,将各个转码文件下发至本地客户端,在本地客户端中进行视频剪辑,进而生成需要的剪辑文件。
S104:确定所述剪辑文件对应的渲染工程文件,将所述渲染工程文件上传至所述云端服务器;
本发明实施例提供的方法中,渲染工程文件中包括了所述剪辑文件中需要渲染的文件名称、存储位置及相关内容,将所述渲染工程文件上传至所述云端服务器,在云端服务器中进行渲染过程。
S105:在所述云端服务器上已存储的各个所述视频素材文件中,确定与所述渲染工程文件相匹配的各个目标视频素材文件,并确定各个所述目标视频素材文件对应的渲染任务;
S106:对所述渲染任务进行切片,获得多个分段任务,并将每个所述分段任务分配到渲染执行器集群中当前处于空闲态的各个渲染执行器上进行渲染;
本发明实施例提供的方法中,为了提升渲染效率,对渲染任务进行切片,获得多个分段任务,将分段任务分配到空闲的渲染执行器中进行渲染。
S107:当各个所述分段任务均渲染完成后,对经过渲染的各个所述分段任务进行拼合,获得拼合后的成品视频。
本发明实施例提供的方法中,对经过渲染的各个分段任务进行拼合,获得拼合后的成品视频。本发明实施例中,针对不同清晰度的视频所执行操作原理相同。本方案中优选对高清及超高清视频进行处理。
本发明实施例提供的方法中,视频剪辑与后台渲染合成采用分布式的处理方案,视频剪辑过程在本地客户端完成,视频渲染合成在云端服务器,云端渲染合成采用自动分片与负载均衡方式分配集群中的主机并行完成文件渲染导出,极大提升了渲染的效率及视频剪辑效率。
本发明实施例提供的方法中,在实际的操作过程中,主流剪辑应用软件可以发送渲染任务到云端服务器,在视频素材文件上载过程中,目录配置同步、数据校验、多线程自动抓取素材数据传输上云,素材上传后统一管理。
判断各个视频素材文件的分辨率与帧率是否与当前剪辑工程的设置一致,若不一致则根据后台配置参数决定是否启动画面超分及补帧处理,并保证处理后的视频素材文件片段总时长不变,处理完成后的文件路径信息重链回原剪辑工程。
本发明实施例提供的方法中,将转码以后的文件给本地进行剪辑,生成剪辑文件对应的渲染工程文件,到云端服务器,云端服务器从原素材在云上存储的路径中智能匹配到渲染工程中需要用到的源素材,自动完成素材重链,并将自动渲染任务切片,将分解后的片段分配到集群中空闲的渲染执行器上,待分片全部渲染完成后,执行快速拼合指令,将分段素材无损缝合成一个完整的4k成品视频。
参考图2,示出了本发明实施例提供的方法中,所述将各个所述视频素材文件上传至已建立的云端服务器中进行存储的过程,包括:
S201:确定每个所述视频素材文件的上传线程;
S202:应用所述上传线程对该视频素材文件进行上传,并在上传过程中应用消息摘要算法MD5对该视频素材文件进行验证,以确保该视频素材文件在上传过程中不被篡改;
S203:将已上传至所述云端服务器中的每个所述视频素材文件存储至预设的目标存储区域中。
本发明实施例提供的方法中,采用多线程上传的方式,对于每个视频素材文件,确定该视频素材文件对应的上传线程对其进行上传,并在上传过程中,采用MD5算法,确保上传的每个视频素材文件不被篡改,并将每个视频素材文件上传至云端服务器的预定区域中。
本发明实施例提供的方法中,所述在所述云端服务器中对各个所述视频素材文件进行转码,包括:
判断每个所述视频素材文件的文件参数是否与所述视频处理指令中的剪辑工程参数一致;
将文件参数与所述剪辑工程参数一致的视频素材文件确定为第一视频素材文件;
将文件参数与所述剪辑工程参数不一致的视频素材文件确定为第二视频素材文件;
对每个所述第二视频素材文件进行参数调整,以将每个所述第二视频素材文件的文件参数调整为与所述剪辑工程参数一致;
将各个所述第一视频素材文件以及经过参数调整的各个所述第二视频素材文件上传至已定义的转码模板中进行转码。
本发明实施例提供的方法中,在视频剪辑过程中,需要统一各个视频素材文件的文件参数,在执行开始前,设定了剪辑工程参数,所述剪辑工程参数规定了剪辑过程中需要执行的视频素材文件的参数,所述剪辑工程参数中包括多个参数,设定了标准的分辨率以及标准的帧率。
需要转码的各个视频素材文件中的各个文件参数包括分辨率和帧率等,当视频素材文件中对应的分辨率和帧率均与剪辑工程参数中的对应的参数一致,则按配置参数决定是否对该视频素材文件进行转码。
当所述视频素材文件对应的分辨率或者帧率与所述剪辑工程参数中的对应的参数不一致时,则不允许该视频素材文件进行转码。
本发明实施例提供的方法中,所述文件参数包括:分辨率和帧率;
所述对每个所述第二视频素材文件进行参数调整,包括:
通过插帧的方式,对所述第二视频素材文件进行补帧,以调整所述第二视频素材文件的帧率;
通过超分处理的方式,对所述第二视频素材文件的分辨率进行超分处理。
所述剪辑工程参数中设置有标准帧率及标准分辨率,当视频素材文件的帧率与标准帧率不一致,或者视频素材文件的分辨率与标准分辨率不一致,则将该视频素材文件确定为第二视频素材文件。
若所述第二视频素材文件的帧率与标准帧率不一致,则对该第二视频素材文件进行补帧,调整帧率。
若第二视频素材文件的分辨率与标准分辨率不一致,则对第二视频素材文件进行超分处理。
本发明实施例提供的方法中,所述确定各个所述目标视频素材文件对应的渲染任务,包括:
确定每个所述目标视频素材文件所在视频轨道的轨道层级;
按轨道层级由高到低的顺序,逐一对各个所述目标视频素材文件进行轨道下压,将当前轨道层级对应的视频轨道上的各个目标视频素材文件下压至当前轨道层级的下一轨道层级所对应的视频轨道上,以将当前轨道层级对应的视频轨道上的各个目标视频素材文件对应的内容和时间码替换至所述下一轨道层级所对应的视频轨道上的相应位置上,直至各个轨道层级对应的视频轨道上的各个目标视频素材文件下压至同一视频轨道,完成轨道层级的简化以及各个所述目标视频素材文件的重链,获得各个所述目标视频素材文件对应的渲染任务。
本发明实施例提供的方法中,将每个轨道层级对应的视频轨道上的各个目标视频素材文件对应的内容和时间码,替换至该轨道层级的下一轨道层级所对应的视频轨道上的相应位置上,由最高级轨道层级对应的视频轨道开始,将最高级轨道层级对应的视频轨道上的各个目标视频素材文件对应的内容和时间码,替换至所述最高级轨道层级的下一轨道层级所对应的视频轨道的相应位置上,然后再由最高级轨道层级的下一轨道层级对应的视频轨道开始,进行视频轨道上各个目标视频素材文件的下压替换,直至将各个轨道层级对应的视频轨道上的各个目标视频素材文件下压至同一视频轨道。
本发明实施例提供的方法中,通过轨道下压的方式,将当前各个目标视频素材文件所在轨道进行下压合并,形成单轨道,进而可以在综艺制作场景中应用剪辑决策表EDL或可扩展标记语言XML的交互方式,提升了渲染效率。
本发明实施例提供的方法中,还包括:
通过预设的内嵌式窗口,对所述云端服务器中已存储的各个视频素材文件进行预览。
本发明实施例提供的方法中,还包括:
对所述内嵌式窗口中当前预览的各个视频素材文件以拖拽的方式进行使用。
本发明实施例提供的基于云计算的超高清视频处理方法,在实际应用过程中,利用云端超强的计算能力,进行分片分布式渲染,加速了4K/8K超高清视频内容的生产效率。同时,与现有的云剪系统,如媒资系统等实现了互联互通,打通了云上线下通路,实现了云上资源的本地快速访问及调用,实现了4K/8K超高清视频的远程制作。
本发明实施例提供的方法中,打破了传统云剪应用面狭窄的僵局,实现“重”生产上云,本地仍使用原有的高清内容生产工作流程及后期制作软件完成高清内容输出,云端利用云计算技术同步高速产出4K/8K超高清内容,一次剪辑满足多种呈现的需要。
通过应用程序编程接口API进行开发,实现市场主流剪辑应用软件一键发送渲染输出任务至云端服务器,在云端服务器进行后台分布式集群化切片合成处理,达到渲染速度远超实时的目标。
本发明实施例提供的方法,在云端实现一种类型的存储同时服务于所有云端业务系统,实现媒体融合背景下的业务系统互联互通,减少数据中间转储流程。
本发明实施例提供的方法,设计了完善的云端数字影像工程师DIT生产管理流程,全流程自动化处理,并可由用户自定义处理步骤。涉及各类型媒体资料全面管理、编辑和系统本身使用管理的完整解决方案。其中包括素材上载过程中目录配置同步、数据校验、多线程自动抓取素材数据传输上云、素材上传后的统一管理、素材自动转码、转码过程中的格式及通道保持与匹配、代理码率文件自动回写本地,高清剪辑/调色工程智能上变换,素材智能分析分类处理、编辑,并涉及数据制作完成后的自动归档处理和系统使用用户管理问题。
本发明实施例提供的方法,对高清/4K/8K不同分辨率素材混剪工程的自动超分处理,25P/50P等不同帧率素材混剪的智能补帧处理。
本发明实施例提供的方法,剪辑轨道智能合并为单轨,使多轨剪辑与调色的工程级交互成为可能,避免多次生成。
本发明实施例提供的方法,云上代理码率文件无需完整下载,及可在本地联网的剪辑/调色机器上的剪辑/调色工具中实现素材窗口浏览,并支持一键式拖拽上轨道使用,并支持基于用户权限的云上素材管理,素材近场同城极速上云。
应用本发明实施例提供的方法,媒体单位能以最低的投入,平滑地完成高清向4K/8K超高清内容生产过渡,此方法也适用虚拟现实技术VR等沉浸式内容的高效产出,更能帮扶各类中小制作单位无需投入巨额成本也可拥有4K/8K/VR内容制作的能力,彻底突破超高清项目难落地的瓶颈。
本发明实施例提供的方法,实现了分辨率和频率的匹配,将各类特效FX做智能缩放,包含运动轨迹。对剪辑工程中的不符合超高清要求的素材进行智能变换,通过超分/运功补帧技术,使动感的画面能更加流畅,低清晰度画面不会因强行放大画幅而变得更加模糊。
云上的视频文件处理流程可自定义,自行设置本地素材的抓取路径,上传的目的位置,并可按自定义模板完成指定格式的代理格式文件转换,转码后的文件支持自动回写本地。如果抓取目录有新增文件或文件改动,会自动发起同步工作,保证文件的一致性。
通过内嵌式的窗口,实现本地剪辑/调色应用对云上素材的直接访问,而无需等待素材完整下载才可使用,大大提供生产效率。
综合考虑云上各业务存储使用场景,采用云媒资使用的对象存储作为云上制作的存储池,可以保证互通性,同时兼具成本优势,还可满足高并发高宽带访问需求。但对象存储无法在WIN/MAC下直接实现文件级访问,需采用文件访问指令语译方式来实现存储在WIN/MAC两个平台下的系统级文件操作指令。
剪辑与后台渲染合成采用分布式的处理方案,剪辑在本地,渲染合成在云端,云端渲染合成采用自动分片与负载均衡方式分配集群中的主机并行完成文件渲染导出,极大提升了渲染的效率。
本发明实施例提供的基于云计算的超高清视频处理方法,在实际应用过程中,可以对应相应的实现系统,该系统中可以包括:智能上变换系统、轨道压缩处理与交互管理系统、自动流程管理系统、云上素材本地调用系统、云对象存储语译挂载系统和后台分布式集群分片渲染合成系统,其中:
智能上变换系统,用于智能匹配分辨率及帧率,提取视频片段中的METADATA(元数据)信息,判断片段的分辨率与帧率是否与当前4K/8K剪辑工程的设置一致,若不一致则启动画面超分及补帧处理,并保证处理后的片段总时长不变,处理完成后的文件路径信息重链回原剪辑工程。轨道压缩处理与交互管理系统,用于在粗剪完成后,在导出EDL/XML前,先智能分析轨道的层级,将最高一层轨道的素材片段下压,高层的素材片段名内容和时间码替换下一层对应位置的内容,并逐级下压至最终成为一条单轨道后再执行导出EDL/XML操作,形成一张仅包含单轨信息的剪辑决策表。
自动流程管理系统,用于在自动流程管理系统中配置本要上传文件的抓取路径及云上目标路径,实现文件的极速多线程上传,上传过程验证MD5,保证素材传输过程中文件不被篡改。并可实现边上传边按定义好的模板进行文件转代理码率的工作。转码完成的文件自动回写到本地,用于代理剪辑。转码过程可实现分布式切片处理,且转码过程保持音频通道不变,且Alpha通道(阿尔法通道)可携带。
云上素材本地调用系统,用于实现云上素材管理窗口在本地剪辑/调色工具中的内嵌使用,可实现视音频、图片等素材的在线预览,预览过程中可支持拍键盘空格键的方式进行继续/暂停播放操作。内嵌窗口预览的云上素材可直接通过拖拽的方式放置非编/调色软件中直接进行使用,不再受软件不互通的限制,提升制作效率。
云对象存储语译挂载系统,用于实现OBS对象存储协议挂载:利用开源框架Dokan(WIN平台)/FUSE(MAC平台)实现操作系统文件接口的用户态调用,回调对象存储接口,并针对媒资场景优化数据读写性能。使得原生的媒资应用软件可以无缝操作云存储资源,达到基于一套存储进行媒体转码、非编、合成、调色,互联网分发;业务上根据业务诉求弹性使用云端计算、存储资源,实现效率和成本双收。
后台分布式集群分片渲染合成系统,用于基于剪辑应用的SDK接口进行二次开发,在剪辑应用工具菜单中集成一键将渲染合成任务发送至云端转码/合成集群按钮,任务发送后,渲染工程文件同步云端,云端从源素材在云上存储的路径中智能匹配到渲染工程中需要用到的源素材,自动完成素材重链,并自动将渲染任务切片,将分解后的片段分配到集群中空闲的渲染执行器上,待分片全部渲染完成后,执行快速拼合指令。
本发明实施例还提供了与一种基于云计算的超高清视频处理方法对应的一种基于云计算的超高清视频处理装置,用于实现所述基于云计算的超高清视频处理方法在实际中的应用,所述一种基于云计算的超高清视频处理方法的结构图如图3所示,具体包括:
抓取单元301,用于响应于已接收到的视频处理指令,按预设的抓取路径,抓取多个视频素材文件;
转码单元302,用于将各个所述视频素材文件上传至已建立的云端服务器中进行存储,并在所述云端服务器中对各个所述视频素材文件进行转码,获得每个所述视频素材文件对应的转码文件,并保持原始的文件目录结构;
剪辑单元303,用于将各个所述转码文件下发至本地客户端,在所述本地客户端中依据各个所述转码文件进行视频剪辑,以生成剪辑文件;
第一确定单元304,用于确定所述剪辑文件对应的渲染工程文件,将所述渲染工程文件上传至所述云端服务器;
第二确定单元305,用于在所述云端服务器上已存储的各个所述视频素材文件中,确定与所述渲染工程文件相匹配的各个目标视频素材文件,并确定各个所述目标视频素材文件对应的渲染任务;
渲染单元306,用于对所述渲染任务进行切片,获得多个分段任务,并将每个所述分段任务分配到渲染执行器集群中当前处于空闲态的各个渲染执行器上进行渲染;
拼合单元307,用于当各个所述分段任务均渲染完成后,对经过渲染的各个所述分段任务进行拼合,获得拼合后的成品视频。
本发明实施例提供的装置中,视频剪辑与后台渲染合成采用分布式的处理方案,视频剪辑过程在本地客户端完成,视频渲染合成在云端服务器,云端渲染合成采用自动分片与负载均衡方式分配集群中的主机并行完成文件渲染导出,极大提升了渲染的效率及视频剪辑效率。
本发明实施例提供的基于云计算的超高清视频处理装置包括处理器和存储器,上述各个单元均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来动态执行超高清视频的处理过程,提升更新效率。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现所述基于云计算的超高清视频处理方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行所述基于云计算的超高清视频处理方法。
如图4所示,本发明实施例提供了一种电子设备,所述电子设备40包括至少一个处理器401、以及与处理器401连接的至少一个存储器402、总线403;其中,处理器401、存储器402通过总线403完成相互间的通信;处理器401用于调用存储器402中的程序指令,以执行上述的基于云计算的超高清视频处理方法。本文中的设备可以是服务器、PC、PAD、手机等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序,包括:
一种基于云计算的超高清视频处理方法,包括:
响应于已接收到的视频处理指令,按预设的抓取路径,抓取多个视频素材文件;
将各个所述视频素材文件上传至已建立的云端服务器中进行存储,并在所述云端服务器中对各个所述视频素材文件进行转码,获得每个所述视频素材文件对应的转码文件;
将各个所述转码文件下发至本地客户端,在所述本地客户端中依据各个所述转码文件进行视频剪辑,以生成剪辑文件;
确定所述剪辑文件对应的渲染工程文件,将所述渲染工程文件上传至所述云端服务器;
在所述云端服务器上已存储的各个所述视频素材文件中,确定与所述渲染工程文件相匹配的各个目标视频素材文件,并确定各个所述目标视频素材文件对应的渲染任务;
对所述渲染任务进行切片,获得多个分段任务,并将每个所述分段任务分配到渲染执行器集群中当前处于空闲态的各个渲染执行器上进行渲染;
当各个所述分段任务均渲染完成后,对经过渲染的各个所述分段任务进行拼合,获得拼合后的成品视频。
上述的方法,可选的,所述将各个所述视频素材文件上传至已建立的云端服务器中进行存储,包括:
确定每个所述视频素材文件的上传线程;
应用所述上传线程对该视频素材文件进行上传,并在上传过程中应用消息摘要算法MD5对该视频素材文件进行验证,以确保该视频素材文件在上传过程中不被篡改;
将已上传至所述云端服务器中的每个所述视频素材文件存储至预设的目标存储区域中。
上述的方法,可选的,所述在所述云端服务器中对各个所述视频素材文件进行转码,包括:
判断每个所述视频素材文件的文件参数是否与所述视频处理指令中的剪辑工程参数一致;
将文件参数与所述剪辑工程参数一致的视频素材文件确定为第一视频素材文件;
将文件参数与所述剪辑工程参数不一致的视频素材文件确定为第二视频素材文件;
对每个所述第二视频素材文件进行参数调整,以将每个所述第二视频素材文件的文件参数调整为与所述剪辑工程参数一致;
将各个所述第一视频素材文件以及经过参数调整的各个所述第二视频素材文件上传至已定义的转码模板中进行转码。
上述的方法,可选的,所述文件参数包括:分辨率和帧率;
所述对每个所述第二视频素材文件进行参数调整,包括:
通过插帧的方式,对所述第二视频素材文件进行补帧,以调整所述第二视频素材文件的帧率;
通过超分处理的方式,对所述第二视频素材文件的分辨率进行超分处理。
上述的方法,可选的,所述确定各个所述目标视频素材文件对应的渲染任务,包括:
确定每个所述目标视频素材文件所在视频轨道的轨道层级;
按轨道层级由高到低的顺序,逐一对各个所述目标视频素材文件进行轨道下压,将当前轨道层级对应的视频轨道上的各个目标视频素材文件下压至当前轨道层级的下一轨道层级所对应的视频轨道上,以将当前轨道层级对应的视频轨道上的各个目标视频素材文件对应的内容和时间码替换至所述下一轨道层级所对应的视频轨道上的相应位置上,直至各个轨道层级对应的视频轨道上的各个目标视频素材文件下压至同一视频轨道,完成轨道层级的简化以及各个所述目标视频素材文件的重链,获得各个所述目标视频素材文件对应的渲染任务。
上述的方法,可选的,还包括:
通过预设的内嵌式窗口,对所述云端服务器中已存储的各个视频素材文件进行预览。
上述的方法,可选的,还包括:
对所述内嵌式窗口中当前预览的各个视频素材文件以拖拽的方式进行使用。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
在一个典型的配置中,设备包括一个或多个处理器(CPU)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种基于云计算的超高清视频处理方法,其特征在于,包括:
响应于已接收到的视频处理指令,按预设的抓取路径,抓取多个视频素材文件;
将各个所述视频素材文件上传至已建立的云端服务器中进行存储,并在所述云端服务器中对各个所述视频素材文件进行转码,获得每个所述视频素材文件对应的转码文件;
将各个所述转码文件下发至本地客户端,在所述本地客户端中依据各个所述转码文件进行视频剪辑,以生成剪辑文件;
确定所述剪辑文件对应的渲染工程文件,将所述渲染工程文件上传至所述云端服务器;
在所述云端服务器上已存储的各个所述视频素材文件中,确定与所述渲染工程文件相匹配的各个目标视频素材文件,并确定各个所述目标视频素材文件对应的渲染任务;
对所述渲染任务进行切片,获得多个分段任务,并将每个所述分段任务分配到渲染执行器集群中当前处于空闲态的各个渲染执行器上进行渲染;
当各个所述分段任务均渲染完成后,对经过渲染的各个所述分段任务进行拼合,获得拼合后的成品视频。
2.根据权利要求1所述的方法,其特征在于,所述将各个所述视频素材文件上传至已建立的云端服务器中进行存储,包括:
确定每个所述视频素材文件的上传线程;
应用所述上传线程对该视频素材文件进行上传,并在上传过程中应用消息摘要算法MD5对该视频素材文件进行验证,以确保该视频素材文件在上传过程中不被篡改;
将已上传至所述云端服务器中的每个所述视频素材文件存储至预设的目标存储区域中。
3.根据权利要求1所述的方法,其特征在于,所述在所述云端服务器中对各个所述视频素材文件进行转码,包括:
判断每个所述视频素材文件的文件参数是否与所述视频处理指令中的剪辑工程参数一致;
将文件参数与所述剪辑工程参数一致的视频素材文件确定为第一视频素材文件;
将文件参数与所述剪辑工程参数不一致的视频素材文件确定为第二视频素材文件;
对每个所述第二视频素材文件进行参数调整,以将每个所述第二视频素材文件的文件参数调整为与所述剪辑工程参数一致;
将各个所述第一视频素材文件以及经过参数调整的各个所述第二视频素材文件上传至已定义的转码模板中进行转码。
4.根据权利要求3所述的方法,其特征在于,所述文件参数包括:分辨率和帧率;
所述对每个所述第二视频素材文件进行参数调整,包括:
通过插帧的方式,对所述第二视频素材文件进行补帧,以调整所述第二视频素材文件的帧率;
通过超分处理的方式,对所述第二视频素材文件的分辨率进行超分处理。
5.根据权利要求1所述的方法,其特征在于,所述确定各个所述目标视频素材文件对应的渲染任务,包括:
确定每个所述目标视频素材文件所在视频轨道的轨道层级;
按轨道层级由高到低的顺序,逐一对各个所述目标视频素材文件进行轨道下压,将当前轨道层级对应的视频轨道上的各个目标视频素材文件下压至当前轨道层级的下一轨道层级所对应的视频轨道上,以将当前轨道层级对应的视频轨道上的各个目标视频素材文件对应的内容和时间码替换至所述下一轨道层级所对应的视频轨道上的相应位置上,直至各个轨道层级对应的视频轨道上的各个目标视频素材文件下压至同一视频轨道,完成轨道层级的简化以及各个所述目标视频素材文件的重链,获得各个所述目标视频素材文件对应的渲染任务。
6.根据权利要求1所述的方法,其特征在于,还包括:
通过预设的内嵌式窗口,对所述云端服务器中已存储的各个视频素材文件进行预览。
7.根据权利要求6所述的方法,其特征在于,还包括:
对所述内嵌式窗口中当前预览的各个视频素材文件以拖拽的方式进行使用。
8.一种基于云计算的超高清视频处理装置,其特征在于,包括:
抓取单元,用于响应于已接收到的视频处理指令,按预设的抓取路径,抓取多个视频素材文件;
转码单元,用于将各个所述视频素材文件上传至已建立的云端服务器中进行存储,并在所述云端服务器中对各个所述视频素材文件进行转码,获得每个所述视频素材文件对应的转码文件;
剪辑单元,用于将各个所述转码文件下发至本地客户端,在所述本地客户端中依据各个所述转码文件进行视频剪辑,以生成剪辑文件;
第一确定单元,用于确定所述剪辑文件对应的渲染工程文件,将所述渲染工程文件上传至所述云端服务器;
第二确定单元,用于在所述云端服务器上已存储的各个所述视频素材文件中,确定与所述渲染工程文件相匹配的各个目标视频素材文件,并确定各个所述目标视频素材文件对应的渲染任务;
渲染单元,用于对所述渲染任务进行切片,获得多个分段任务,并将每个所述分段任务分配到渲染执行器集群中当前处于空闲态的各个渲染执行器上进行渲染;
拼合单元,用于当各个所述分段任务均渲染完成后,对经过渲染的各个所述分段任务进行拼合,获得拼合后的成品视频。
9.一种存储介质,其特征在于,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行如权利要求1~7任意一项所述的基于云计算的超高清视频处理方法。
10.一种电子设备,其特征在于,包括至少一个处理器、以及与处理器连接的至少一个存储器、总线;其中,处理器、存储器通过总线完成相互间的通信;处理器用于调用存储器中的程序指令,以执行如权利要求1~7任意一项所述的基于云计算的超高清视频处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111675049.3A CN114205612A (zh) | 2021-12-31 | 2021-12-31 | 基于云计算的超高清视频处理方法及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111675049.3A CN114205612A (zh) | 2021-12-31 | 2021-12-31 | 基于云计算的超高清视频处理方法及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114205612A true CN114205612A (zh) | 2022-03-18 |
Family
ID=80657858
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111675049.3A Pending CN114205612A (zh) | 2021-12-31 | 2021-12-31 | 基于云计算的超高清视频处理方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114205612A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114827722A (zh) * | 2022-04-12 | 2022-07-29 | 咪咕文化科技有限公司 | 视频预览方法、装置、设备及存储介质 |
CN116389831A (zh) * | 2023-06-06 | 2023-07-04 | 湖南马栏山视频先进技术研究院有限公司 | 一种基于云原生的离线渲染系统及方法 |
-
2021
- 2021-12-31 CN CN202111675049.3A patent/CN114205612A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114827722A (zh) * | 2022-04-12 | 2022-07-29 | 咪咕文化科技有限公司 | 视频预览方法、装置、设备及存储介质 |
CN116389831A (zh) * | 2023-06-06 | 2023-07-04 | 湖南马栏山视频先进技术研究院有限公司 | 一种基于云原生的离线渲染系统及方法 |
CN116389831B (zh) * | 2023-06-06 | 2023-08-15 | 湖南马栏山视频先进技术研究院有限公司 | 一种基于云原生的离线渲染系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108989885B (zh) | 视频文件转码系统、分割方法、转码方法及装置 | |
JP5112287B2 (ja) | ネットワーク上でデジタルメディアの分散編集及び記憶を提供するための方法及びシステム | |
US10291673B2 (en) | Transcoding method and system, and distributed file apparatus | |
CN114205612A (zh) | 基于云计算的超高清视频处理方法及相关设备 | |
US7970260B2 (en) | Digital media asset management system and method for supporting multiple users | |
US20210358524A1 (en) | Method and device of editing a video | |
US20070127667A1 (en) | Method and apparatus for providing remote workflow management | |
US20070106681A1 (en) | Method and system for providing a personal video recorder utilizing network-based digital media content | |
US8606084B2 (en) | Method and system for providing a personal video recorder utilizing network-based digital media content | |
US20070107012A1 (en) | Method and apparatus for providing on-demand resource allocation | |
CN105376502A (zh) | 一种全媒体在线编辑工具 | |
CN102447842B (zh) | 一种支持外部介质挑选草编上载的快速剪辑方法及系统 | |
US20210264686A1 (en) | Method implemented by computer for the creation of contents comprising synthesis images | |
CN112653584A (zh) | 一种基于组件能力的5g消息编排方法及编排工具箱 | |
US10715836B2 (en) | Method and apparatus for delocalized management of video data | |
US20230031033A1 (en) | Virtual file system for dynamically providing media content | |
US20110080941A1 (en) | Information processing apparatus and method | |
KR20150086749A (ko) | 클라우드 기반 미디어 제작 장치 및 방법 | |
Tallamy | Proxy Workflows for a Secure Remote Editing Future | |
CN111093095A (zh) | 基于spark平台的视频转码方法及系统 | |
US20180316926A1 (en) | Transcoding streamed film | |
CN115802052A (zh) | 一种媒资云转码方法和系统 | |
Xin et al. | Live Signal Recording and Segmenting Solution Based on Cloud Architecture | |
Ening et al. | Editing in the Cloud | |
CN115022677A (zh) | 视频播放方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |