CN114025200A - 一种基于云技术的超高清后期制作解决方法 - Google Patents

一种基于云技术的超高清后期制作解决方法 Download PDF

Info

Publication number
CN114025200A
CN114025200A CN202111079653.XA CN202111079653A CN114025200A CN 114025200 A CN114025200 A CN 114025200A CN 202111079653 A CN202111079653 A CN 202111079653A CN 114025200 A CN114025200 A CN 114025200A
Authority
CN
China
Prior art keywords
video
high definition
source code
ultra high
ultra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111079653.XA
Other languages
English (en)
Other versions
CN114025200B (zh
Inventor
周立宏
肖卫华
汪应球
赵超
洪金宝
颜敏杰
郭臻
黄艳妮
李雅琳
邹荣跃
杨娟
刘晓夏
杜维
张曙
鲁一丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Radio Film And Television Group Co ltd
Original Assignee
Hunan Radio Film And Television Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Radio Film And Television Group Co ltd filed Critical Hunan Radio Film And Television Group Co ltd
Priority to CN202111079653.XA priority Critical patent/CN114025200B/zh
Publication of CN114025200A publication Critical patent/CN114025200A/zh
Application granted granted Critical
Publication of CN114025200B publication Critical patent/CN114025200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了一种基于云技术的超高清后期制作解决方法，包括步骤：将拍摄好的源码素材传输到云端进行保存；对源码素材进行转码，形成代理码流下载到本地；对代理码流视频进行剪辑并进行记录，剪辑完成后将剪辑操作上传到云端对源码素材视频进行剪辑；判断剪辑后的源码素材视频是否为超高清视频决定是否进行视频超分处理；打包合成后下载到本地进行调色，包装然后送审，未通过则返回步骤S3直至送审通过。本方法可实现较高轨道数的超高清剪辑，原始超高清后期制作流程一般在轨道数达到8轨时就会出现卡顿情况导致无法继续进行正常剪辑，使用新型超高清后期制作流程，普通的高清剪辑工作站即可完成无轨道数限制的超大规模制作。

Description

一种基于云技术的超高清后期制作解决方法
技术领域
本发明涉及云技术的技术领域，尤其涉及一种基于云技术的超高清后期制作解决方法，以及一种超高清电视节目后期制作生产流程。
背景技术
随着我国经济不断发展，信息技术不断更新，继数字化与高清化后，超高清视频成为新一轮重大信息技术的变革。广播电视从高清过渡到超高清技术时代，在分辨率、色域、量化深度、帧率、动态范围五个维度，全面提升了画面品质；4K超高清像素数量是高清的4倍，水平方向清晰度达到2000电视线，数据传输量是高清的8倍，色域范围从BT.709到BT.2020，扩大1.8倍，结合10倍的亮度提升(以1000尼特计算)，扩大了视频图像展现的色彩空间。10bit量化深度使得图像明暗层次扩大了3倍，画面清晰逼真，鲜活艳丽。因此超高清电视为使用者提供了十分优质感官冲击，是今后的主要发展形势，我国超高清电视尚处于起步阶段，超高清电视是对电视系统和工作流程的再造，是一项复杂的系统工程。
高清编辑系统经过多年的发展，相关硬件成本下降，使得整套编辑系统成本可控；而超高清节目画幅比高清有大幅度的提升，对于工作站软、硬件性能、存储性能及容量提出了更高的要求，导致整体设备成本大幅度提升。目前超高清后期制作系统大部分由最顶配的高成本主机和存储、最高的网络带宽组成，剪辑的最大轨道数也被限制在10层视频以下，如果超过10层视频，主机就会变的非常卡顿以至于无法正常剪辑。而现有的电视综艺节目，动则几十上百个机位的拍摄，后期制作剪辑轨道数也对应达到几十甚至上百轨，在这种情况下用传统的制作方法根本无法保证节目的正常剪辑。
各家电视台及媒体行业相继开始对超高清节目后期制作生产流程进行研究，目前各大电视台或者媒体行业，普遍使用的是一种传统的超高清后期节目制作方法，直接采用顶级工作站配置加顶级存储性能，做单机超高清后期制作或小型后期制作岛来直接剪辑4K节目，这样对非编工作站配置、存储性能和网络带宽要求都极高，导致系统搭建的成本也极高。
综上，目前现有的超高清节目制作方法存在如下问题：1.现有普遍使用流程中，需要大容量大带宽的存储才能保证现有超高清节目使用，同时在整理素材时，需要占用多台工作站专门进行初期的素材转码，还需人工对应新建数量庞大且复杂的素材文件夹，要消耗大量的人力物力财力和时间；2.如进行超高清节目后期制作，需要在现有的高清节目后期制作系统基础上，全面升级所有工作站，网络和存储，相当于重新搭建新的一套纯超高清的节目制作系统；3.超高清节目制作完成后，剪辑工作站上成片合成打包的时间相当于高清节目的5倍。
因此本发明基于云技术资源提出一种超高清后期制作方法，通过对计算、存储资源灵活调度，集中管理，按需使用，结合自研智能软件做到超高清后期制作的高效自动化，并根据所提出的超高清后期制作方法，将所提出方法应用在超高清电视节目后期制作生产流程产品中，所提出的新型超高清节目制作流程将云技术与超高清后期制作相结合，利用云计算资源的高灵活低成本的优点，结合云端自研的智能集群转码、智能批量修改工程设置、智能链接素材、后台智能合成等技术，打造出了一种不影响现有线下节目剪辑习惯的，效率高成本低的新型超高清节目制作流程，适用于各类大型棚内综艺、真人秀等节目。
发明内容
本发明目的在于解决超高清节目生产中，利用智能技术，减少不必要的人工成本，弹性调度计算存储资源，提高素材整理效率；减少超高清节目制作所需要的硬件成本，最大程度利用现有硬件设备，保证最优剪辑效率和剪辑习惯；缩短超高清节目从拍摄到成片的制作周期，提供更高效的生产。
实现上述目的，本发明提供的一种基于云技术的超高清后期制作解决方法，包括以下步骤：
S1：将拍摄好的源码素材传输到云端进行保存；
S2：云端对上传的源码素材进行转码，形成代理码流，并将代理码流下载到本地；
S3：本地对代理码流视频进行剪辑，并对剪辑操作进行记录，剪辑完成后将剪辑操作上传到云端，云端根据剪辑操作对源码素材视频进行剪辑；
S4：判断剪辑后的源码素材视频是否为超高清视频，否，则云端对剪辑好的源码素材视频进行视频超分处理得到超高清视频；
S5：将超分处理过后的视频序列打包合成后下载到本地进行调色，包装然后送审，审片未通过则返回步骤S3直至送审通过。
作为本发明的进一步改进方法：
进一步地；步骤S1中将拍摄好的源码素材进行压缩并上传到云端进行解压得到视频源码素材，包括以下步骤：
1)拍摄源码素材，其中源码素材包括源码素材视频和源码素材图片；
2)在本地为源码素材创建文件夹，并将源码素材保存在所创建的文件夹中，
3)并对文件夹中的源码素材视频进行视频压缩处理，并将压缩好的视频文件通过SSH方式传输到云端。
进一步地；步骤S2利用二维小波变换对视频进行转码，形成代理码流并将代理码流下载到本地，包括：
1)将源码素材视频中的每一视频帧预处理为N×N像素大小的视频图像，并对处理好的视频图像进行灰度化处理，按像素点的位置将编码单元中每个像素点的灰度值填写到灰度矩阵Qa中，其中Qa表示源码素材视频中第a帧视频图像；
2)重复步骤1)，直到所有视频帧均可用灰度矩阵表示；
3)计算不同灰度矩阵Qa的二维小波变换系数f(u，v)：
Figure BDA0003263513080000021
Figure BDA0003263513080000022
其中：
u＝0，1，2，…，N-1，v＝0，1，2，…，N-1，u和v均为离散频率变量；
Qa(i，j)表示灰度矩阵Qa中第i行第j列的灰度值；
f(u，v)表示灰度矩阵Qa中Qa(u，v)像素的灰度值的频率系数；将f(u，v)组合为灰度矩阵Qa的二维小波变换系数矩阵：
Figure BDA0003263513080000023
4)对于二维小波变换系数矩阵，若u＞m并且v＞m，则将二维小波变换系数矩阵对应位置的系数值置为0，从而过滤掉视频帧图像中的高频分量，其中m为预设的频率阈值参数，得到高频信息过滤二维小波系数变换矩阵
Figure BDA0003263513080000024
所构建的代理码流集合为：
Figure BDA0003263513080000025
其中：
Figure BDA0003263513080000026
表示源码素材视频的第i帧视频帧图像转化得到的代理码流，n表示源码素材视频的帧数；
利用下载工具将代理码流集合下载到本地。
进一步地；步骤S3中在本地对代理码流视频进行剪辑，并提取剪辑动作数据包以及字幕数据包，将剪辑动作数据包以及字幕数据包上传到云端，云端根据所接收的剪辑动作数据包对所存储的源码素材进行对应操作，包括：
本地利用剪辑软件对下载的代理码流视频中的每一帧视频图像进行剪辑处理，保存剪辑后的剪辑动作{Qi，Ai}，其中Qi表示代理码流视频中的第i个视频帧，Ai表示关于该视频帧下的所有剪辑动作集合，将剪辑软件所保存的剪辑动作记录到剪辑动作数据包；并在本地提取工程中视频的字幕信息和超高清参数，将视频的字幕信息打包为字幕数据包，将超高清参数，包括4K/8K视频的帧率、分辨率、色域、HDR以及高动态范围参数，打包成系统配置包；
将剪辑动作数据包、字幕数据包以及系统配置包上传到云端，云端按照所接收的剪辑动作数据包对所存储的源码素材视频进行剪辑，代理码流视频中的视频帧与源码素材中的视频帧一一对应，按照视频操作集合Ai对源码素材视频中的对应视频帧进行视频剪辑操作。
进一步地；步骤S4中判断剪辑后的源码素材视频是否为超高清视频，包括：
云端计算剪辑后的源码素材视频中水平方向每行像素数是否达到或接近3840个，若达到或接近3840个，则认为剪辑后的源码素材视频为超高清视频；
若未达到或未接近3840个，则认为剪辑后的源码素材视频为非超高清视频，则根据设置的超高清视频参数对剪辑后的源码素材视频进行超分处理。
进一步地；步骤S4中云端对剪辑后非超高清视频的源码素材视频进行超分处理，包括以下步骤：
1)将非超高清视频
Figure BDA0003263513080000031
作为输入，其中
Figure BDA0003263513080000032
表示视频中的视频帧图像像素矩阵，k表示视频帧在视频中所处的时刻；
2)利用浅层特征提取模块提取非超高清视频IL的浅层特征，所述浅层特征提取模块由两个卷积核大小为3×3且滑动步长为3的卷积层组成，则浅层特征提取模块提取非超高清视频IL浅层特征的公式为：
Figure BDA0003263513080000033
其中：
Figure BDA0003263513080000034
为输入的视频帧图像像素矩阵；
C0(·)为浅层特征提取模块对每帧视频帧图像进行特征提取，即用卷积核对视频帧图像像素矩阵进行滑动卷积；
Figure BDA0003263513080000035
表示视频帧图像像素矩阵
Figure BDA0003263513080000036
的浅层特征；
Figure BDA0003263513080000037
表示非超高清视频的浅层特征；
3)利用层次化特征提取模块提取非超高清视频浅层特征的多尺度特征：
F1＝M1(F0)
F2＝M2(F1)
F3＝M3(F2)
其中：
Figure BDA0003263513080000038
表示非超高清视频的浅层特征；
Mi表示提取
Figure BDA0003263513080000039
层次特征的网络模块，i＝1，2，3，x表示非超高清原始视频的分辨率；其中每个网络模块Mi均包含一个步长为2的卷积核，利用步长为2的卷积核用来对输入特征进行1/2的下采样；
F1，F2，F3分别为分辨率为
Figure BDA00032635130800000310
的非超高清视频多尺度特征：
Figure BDA00032635130800000311
Figure BDA00032635130800000312
Figure BDA0003263513080000041
Figure BDA0003263513080000042
表示非超高清视频中时刻为k的视频帧的
Figure BDA0003263513080000043
分辨率尺度特征；
Figure BDA0003263513080000044
表示非超高清视频中时刻为k的视频帧的
Figure BDA0003263513080000045
分辨率尺度特征；
Figure BDA0003263513080000046
表示非超高清视频中时刻为k的视频帧的
Figure BDA0003263513080000047
分辨率尺度特征；
4)将多尺度特征以及浅层特征级联后，作为非超高清视频的层次化特征G：
G＝F1+F2+F3+F0
G＝{G0,G1,…,Gk,…}
其中：
Gk表示非超高清视频中时刻为k的视频帧层次化特征；
6)利用亚像素卷积层将层次化特征{G0,G1,…,Gk,…}中的每个像素特征分割为r个更小的像素特征，并将分割后更小的层次化特征反卷积为超高清视频帧图像，则将低分辨率的非超高清视频帧图像处理为r倍的超高清视频帧图像，并将所有超高清视频帧图像组合为超高清源码素材视频，其中生成的超高清视频的分辨率取决于设置的系统配置包中的超高清参数。
进一步地；步骤S3中云端对超分后的视频帧进行直接链接，包括：
将超高清视频存储路径更改为云端的源码素材视频存放目录，利用OPENCV将超分后的视频帧进行链接，得到超高清视频并存储到超高清视频存储路径。
进一步地；步骤S4中将超高清视频导入视频剪辑工程，包括：
将超分辨率视频作为素材，并将素材导入云端的视频剪辑工程；
检查视频剪辑工程上导入的素材是否正确，导入的素材包括视频内容、字幕、图片、动画特技；
检查素材正确后，将导入素材拖拽至任务面板，根据所设置的超高清参数进行每个片段的画幅调整，适配4K/8K视频，同时选择视频输出格式以及模板；
确定后点击发送，则将该视频剪辑工程任务打包处理，并任意发送给空闲的转码服务器，转码服务器对视频剪辑工程上的任务进行任务处理以及合成打包，得到合成的超高清源码视频。
进一步地；步骤S5中将超分处理过后的视频合成打包后下载到本地进行调色，包装然后送审，审片未通过则返回S3步骤直至送审通过，包括：
转码服务器直接将合成的超高清源码视频发送到云端固定目录，利用云端上下载工具进行下载，本地对下载的超高清源码素材视频进行调色、包装处理，并将处理后的超高清视频送审，若审片未通过则返回S3步骤，并将修改意见给到本地代理剪辑，直至送审通过；若审片通过则可正式播出。
相对于现有技术，本发明提出一种基于云技术的超高清后期制作解决方法，该技术具有以下优势：
首先，本方案通过引入云端转码的方式对原始视频进行转码传输，缩减了本地站点成本，如果使用原始超高清后期制作流程，需要用到大量高配剪辑站点和转码站点，成本高昂且无法负担较多轨道数的剪辑。使用新型超高清后期制作流程，采用轻量化的轻终端模式将资源进行集中化管理，根据不同的需求调度不同的资源，如集群转码资源，后台合成资源，不仅高效，而且相较于传统模式具有更加低成本的特点，本地不需要升级原本使用站点配置，成本大约缩减了10倍左右；同时缩减了本地存储成本，如果使用原始超高清后期制作流程，需要将源码素材全部存储至本地，而使用新型超高清后期制作流程，源码素材将全部上传至云端的低成本存储，总体存储成本将大大降低。
最后本方案还提出一种新型4K后期制作方法，该方法解决超高清节目生产中，利用智能技术，大量减少了人工成本，弹性调度计算存储资源，提高素材整理效率，减少超高清节目制作所需要的的硬件成本，最大程度利用现有硬件设备，保证最优剪辑效率和剪辑习惯，该流程利用智能化和云化工具，大大节省了素材整理人员的时间，可根据需求后台弹性伸缩转码资源，该方法跟传统视频制作相比大幅提高了的生产力，以往素材的在不同节目制作系统间交互，总是上载下载，不仅效率低而且不安全，也不便于素材的管理；现提供直接云端剪辑方案，所有素材全部放到云端，本地只有显示器键盘鼠标，节省了硬件成本，在实际使用中和测试中，由于受云端资源配置影响、本地网络影响，最多能够剪辑10层高清素材，2-3层超高清素材，如果通过专线网络或者改善云端资源配置，成本不会比本地硬件配置低，同时云端直接剪辑可能会出现不可控问题，如剪辑中出现的卡顿等问题无法及时判断，也无法及时确定是素材问题、网络问题还是软件等问题。同时本方法可实现较高轨道数的超高清剪辑，原始超高清后期制作流程一般在轨道数达到8轨时就会出现卡顿情况导致无法继续进行正常剪辑，使用新型超高清后期制作流程，普通的高清剪辑工作站即可完成无轨道数限制的超大规模制作。
附图说明
图1为本发明一实施例提供的一种基于云技术的超高清后期制作解决方法的流程示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1：
本实施例提供的一种基于云技术的超高清后期制作解决方法，包括以下步骤：
S1：将拍摄好的源码素材传输到云端进行保存。在设备和场地等硬件条件允许的情况，拍摄好的源码素材通过专线直接传输到云端进行保存。
作为非限制可实施的，所述S1步骤中将拍摄好的源码素材进行压缩并上传到云端进行解压得到视频源码素材，本实施例提供一种源码素材传输到云端进行保存的方法，包括以下步骤：
拍摄源码素材视频，其中源码素材包括源码素材视频和源码素材图片；
在本地为源码素材视频创建文件夹，并将源码素材视频保存在所创建的文件夹中；
并对文件夹中的源码素材视频进行视频压缩处理，并将压缩好的视频文件通过SSH方式传输到云端。
S2：云端对上传的源码素材进行转码，形成代理码流，并将代理码流下载到本地。
所述S2步骤利用二维小波变换对视频进行转码，形成代理码流并将代理码流下载到本地，包括：
1)将视频源码素材中的每一视频帧预处理为N×N像素大小的视频图像，并对处理好的视频图像进行灰度化处理，按像素点的位置将编码单元中每个像素点的灰度值填写到灰度矩阵Qa中，其中Qa表示源码素材视频中第a帧视频图像；
2)重复步骤1)，直到所有视频帧均可用灰度矩阵表示；
3)计算不同灰度矩阵Qa的二维小波变换系数f(u,v)：
Figure BDA0003263513080000051
Figure BDA0003263513080000052
其中：
u＝0,1,2,…,N-1，v＝0,1,2,…,N-1，u和v均为离散频率变量；
Qa(i,j)表示灰度矩阵Qa中第i行第j列的灰度值；
f(u，v)表示灰度矩阵Qa中Qa(u，v)像素的灰度值的频率系数；将f(u，v)组合为灰度矩阵Qa的二维小波变换系数矩阵：
Figure BDA0003263513080000061
4)对于二维小波变换系数矩阵，若u＞m并且v＞m，则将二维小波变换系数矩阵对应位置的系数值置为0，从而过滤掉视频帧图像中的高频分量，其中m为预设的频率阈值参数，得到高频信息过滤二维小波系数变换矩阵
Figure BDA0003263513080000062
所构建的代理码流集合为：
Figure BDA0003263513080000063
其中：
Figure BDA0003263513080000064
表示源码素材视频的第i帧视频帧图像转化得到的代理码流，n表示源码素材视频的帧数；
利用下载工具将代理码流集合下载到本地。
S3：本地对代理码流视频进行剪辑，并对剪辑操作进行记录，剪辑完成后将剪辑操作上传到云端，云端根据剪辑操作自动对源码素材视频进行剪辑。
所述S3步骤中在本地对代理码流视频进行剪辑，并提取剪辑动作数据包以及字幕数据包，将剪辑动作数据包以及字幕数据包上传到云端，云端根据所接收的剪辑动作数据包对所存储的源码素材进行对应操作，包括：
本地利用剪辑软件对下载的代理码流视频中的每一帧视频图像进行剪辑处理，保存剪辑后的剪辑动作{Qi，Ai}，其中Qi表示代理码流视频中的第i个视频帧，Ai表示关于该视频帧下的所有剪辑动作集合，将剪辑软件所保存的剪辑动作记录到剪辑动作数据包；并在本地提取工程中视频的字幕信息和超高清参数，将视频的字幕信息打包为字幕数据包，将超高清参数，包括4K/8K视频的帧率、分辨率、色域、HDR以及高动态范围参数，打包成系统配置包；
将剪辑动作数据包、字幕数据包以及系统配置包上传到云端，云端按照所接收的剪辑动作数据包对所存储的源码素材视频进行剪辑，代理码流视频中的视频帧与源码素材中的视频帧一一对应，按照视频操作集合Ai对源码素材视频中的对应视频帧进行视频剪辑操作。
所述判断剪辑后的源码素材视频是否为超高清视频，包括：
云端计算剪辑后的源码素材视频中水平方向每行像素数是否达到或接近3840个，若达到或接近3840个，则认为剪辑后的源码素材视频为超高清视频；
若未达到或未接近3840个，则认为剪辑后的源码素材视频为非超高清视频，则根据设置的超高清视频参数对剪辑后的源码素材视频进行超分处理。
S4：云端对剪辑好的源码素材视频进行视频超分处理。
所述S4步骤中云端对剪辑后非超高清视频的源码素材视频进行超分处理，得到超高清视频，包括：
云端对剪辑后非超高清视频的源码素材视频进行超分处理，所述超分处理流程为：
1)将非超高清视频
Figure BDA0003263513080000065
作为输入，其中
Figure BDA0003263513080000066
表示视频中的视频帧图像像素矩阵，k表示视频帧在视频中所处的时刻；
2)利用浅层特征提取模块提取非超高清视频IL的浅层特征，所述浅层特征提取模块由两个卷积核大小为3×3且滑动步长为3的卷积层组成，则浅层特征提取模块提取非超高清视频IL浅层特征的公式为：
Figure BDA0003263513080000067
其中：
Figure BDA0003263513080000068
为输入的视频帧图像像素矩阵；
C0(·)为浅层特征提取模块对每帧视频帧图像进行特征提取，即用卷积核对视频帧图像像素矩阵进行滑动卷积；
Figure BDA0003263513080000071
表示视频帧图像像素矩阵
Figure BDA0003263513080000072
的浅层特征；
Figure BDA0003263513080000073
表示非超高清视频的浅层特征；
3)利用层次化特征提取模块提取非超高清视频浅层特征的多尺度特征：
F1＝M1(F0)
F2＝M2(F1)
F3＝M3(F2)
其中：
Figure BDA0003263513080000074
表示非超高清视频的浅层特征；
Mi表示提取
Figure BDA0003263513080000075
层次特征的网络模块，i＝1，2，3，x表示非超高清原始视频的分辨率；其中每个网络模块Mi均包含一个步长为2的卷积核，利用步长为2的卷积核用来对输入特征进行1/2的下采样；
F1，F2，F3分别为分辨率为
Figure BDA0003263513080000076
的非超高清视频多尺度特征：
Figure BDA0003263513080000077
Figure BDA0003263513080000078
Figure BDA0003263513080000079
Figure BDA00032635130800000710
表示非超高清视频中时刻为k的视频帧的
Figure BDA00032635130800000711
分辨率尺度特征；
Figure BDA00032635130800000712
表示非超高清视频中时刻为k的视频帧的
Figure BDA00032635130800000713
分辨率尺度特征；
Figure BDA00032635130800000714
表示非超高清视频中时刻为k的视频帧的
Figure BDA00032635130800000715
分辨率尺度特征；
4)将多尺度特征以及浅层特征级联后，作为非超高清视频的层次化特征G：
G＝F1+F2+F3+F0
G＝{G0，G1，…，Gk，…}
其中：
Gk表示非超高清视频中时刻为k的视频帧层次化特征；
5)利用亚像素卷积层将层次化特征{G0，G1，…，Gk，…}中的每个像素特征分割为r个更小的像素特征，并将分割后更小的层次化特征反卷积为超高清视频帧图像，则将低分辨率的非超高清视频帧图像处理为r倍的超高清视频帧图像，并将所有超高清视频帧图像组合为超高清源码素材视频，其中生成的超高清视频的分辨率取决于设置的系统配置包中的超高清参数。
S5：将超分处理过后的视频合成打包后下载到本地进行调色，包装然后送审，审片未通过则返回S3步骤直至送审通过，包括：
转码服务器直接将合成的超高清源码视频发送到云端固定目录，利用云端上下载工具进行下载，本地对下载的超高清源码素材视频进行调色、包装处理，并将处理后的超高清视频送审，若审片未通过则返回S3步骤，并将修改意见给到本地代理剪辑，直至送审通过；若审片通过则可正式播出。
实施例2：
本实施例与实施例1基本相同，区别在于：
S4：云端对剪辑好的源码素材视频进行视频超分处理。
所述S4步骤中将超分变率视频导入视频剪辑工程，包括：
将超分辨率视频作为素材，并将素材导入云端的视频剪辑工程；
检查工程上导入的素材是否正确，导入的素材包括视频内容、字幕、图片、动画特技；
检查素材正确后，将导入素材拖拽至任务面板，根据所设置的超高清参数进行每个片段的画幅调整，适配4K/8K视频，同时选择视频输出格式以及模板；
确定后点击发送，则将该工程任务打包处理，并任意发送给空闲的转码服务器，转码服务器对工程上的任务进行任务处理以及合成打包，得到合成的超高清源码视频。
所述S5步骤中将超分处理过后的视频合成打包后下载到本地进行调色，包装然后送审，审片未通过则返回S3步骤直至送审通过，包括：
转码服务器直接将合成的超高清源码视频发送到云端固定目录，云端上下载工具检测到固定目录的文件发生变化后，实时下载到本地对应目录中，本地接收超高清源码视频的地址为S1步骤中的源码素材视频文件夹；本地对接收的超高清源码素材视频进行调色、包装处理，并将处理后的超高清视频送审，若审片未通过则返回S3步骤，并将修改意见给到本地代理剪辑，直至送审通过；若审片通过则可正式播出。
实施例3：本实施例与实施例1基本相同，区别在于：所述S4步骤中字幕需要单独进行超分处理，即字幕未与非超高清视频未一起超分，或者剪辑后源码视频素材为超高清视频，需要对字幕进行单独超分，本实施例提供一种视频编码字幕超分方法，包括：
1)将视频编码字幕输入到特征提取网络中，特征提取网络利用一个卷积核大小为3×3的卷积层提取视频编码字幕的低层特征Hin：
Figure BDA0003263513080000081
其中：
Fin为输入的视频编码字幕；
f为ReLU激活函数；
Figure BDA0003263513080000082
为卷积运算符；
w1，b1分别为卷积权值和偏置值；
2)使用两个卷积核大小为3×3的卷积层提取低层特征：
Figure BDA0003263513080000083
Figure BDA0003263513080000084
其中
C1为低层特征Hin经过3×3卷积层的提取特征；
C2为C1经过3×3卷积层的提取特征；
w2，w3，b2，b3分别为卷积权值和偏置值；
利用分离操作将C2分为两部分，一部分为通道分离操作分离出的通道特征Ff，另一部分为剩余特征Fr：
Ff，Fr＝S(C2)
其中：
S(·)表示通道分离操作；
3)剩余特征Fr经过三个空洞率分别为a1、a2、a3的扩大感受野的3×3空洞卷积层，提取到剩余特征的细节特征Fc；其中空洞率的取值取决于所设置的超高清视频参数，若需要将高清视频转换为4K视频，则a1，a2，a3分别为1，2，3；
4)将视频编码字幕不同层次的特征进行特征融合，并利用卷积块注意力机制提取融合特征的高频特征信息FB：
Fcon＝Cc(Hin，Ff，Fc)
FB＝Ce(Fcon)
其中：
Fcon表示融合后的特征；
Ce(·)表示利用1×1卷积层对融合特征进行高频特征信息提取；
5)利用卷积操作将高频特征信息降至与低频特征信息同一维度：
Figure BDA0003263513080000085
Gw＝T(Fin)+T(FD)
其中：
w4，b4分别为卷积权值和偏置值；
FD表示降维后的高频特征信息，FD的维度与视频编码字幕Fin的维度相同；
T(·)表示对特征信息进行上采样操作；
Gw为重建后的视频字幕。
将超分处理后的字幕导入云端的视频剪辑工程，云端的视频剪辑工程用超分处理后的字幕代替原视频字幕，得到合并后的超高清视频。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种基于云技术的超高清后期制作解决方法，其特征在于，所述方法包括以下步骤：
S1：将拍摄好的源码素材传输到云端进行保存；
S2：云端对上传的源码素材进行转码，形成代理码流，并将代理码流下载到本地；
S3：本地对代理码流视频进行剪辑，并对剪辑操作进行记录，剪辑完成后将剪辑操作上传到云端，云端根据剪辑操作对源码素材视频进行剪辑；
S4：判断剪辑后的源码素材视频是否为超高清视频，否，则云端对剪辑好的源码素材视频进行视频超分处理得到超高清视频；
S5：将超分处理过后的视频序列打包合成后下载到本地进行调色，包装然后送审，审片未通过则返回步骤S3直至送审通过。
2.如权利要求1所述的基于云技术的超高清后期制作解决方法，其特征在于，所述S1步骤中将拍摄的源码素材进行压缩并上传到云端进行保存，包括以下步骤：
1)拍摄源码素材，其中源码素材包括源码素材视频和源码素材图片；
2)在本地为源码素材创建文件夹，并将源码素材保存在所创建的文件夹中；
3)对文件夹中的源码素材视频进行视频压缩处理，并将压缩好的视频文件通过SSH方式传输到云端。
3.如权利要求2所述的基于云技术的超高清后期制作解决方法，其特征在于，所述S2步骤利用二维小波变换对源码素材视频进行转码，形成代理码流并将代理码流下载到本地，包括：
1)将源码素材视频中的每一视频帧预处理为N×N像素大小的视频图像，并对处理好的视频图像进行灰度化处理，按像素点的位置将编码单元中每个像素点的灰度值填写到灰度矩阵Qa中，其中Qa表示源码素材视频中第a帧视频图像；
2)重复步骤1)，直到所有视频帧均用灰度矩阵表示；
3)计算不同灰度矩阵Qa的二维小波变换系数f(u,v)：
Figure FDA0003263513070000011
Figure FDA0003263513070000012
其中：
u＝0,1,2,…,N-1，v＝0,1,2,…,N-1，u和v均为离散频率变量；
Qa(i,j)表示灰度矩阵Qa中第i行第j列的灰度值；
f(u,v)表示灰度矩阵Qa中Qa(u,v)像素的灰度值的频率系数；将f(u,v)组合为灰度矩阵Qa的二维小波变换系数矩阵：
Figure FDA0003263513070000013
4)对于二维小波变换系数矩阵，若u>m并且v>m，则将二维小波变换系数矩阵对应位置的系数值置为0，从而过滤掉视频帧图像中的高频分量，其中m为预设的频率阈值参数，得到高频信息过滤二维小波系数变换矩阵
Figure FDA0003263513070000014
所构建的代理码流集合为：
Figure FDA0003263513070000015
其中：
Figure FDA0003263513070000016
表示源码素材视频的第i帧视频帧图像转化得到的代理码流，n表示源码素材视频的帧数；
利用下载工具将代理码流集合下载到本地。
4.如权利要求1所述的基于云技术的超高清后期制作解决方法，其特征在于，所述S3步骤中在本地对代理码流视频进行剪辑，并提取剪辑动作数据包以及字幕数据包，将剪辑动作数据包以及字幕数据包上传到云端，云端根据所接收的剪辑动作数据包对所存储的源码素材进行对应操作，包括：
通过对下载的代理码流视频中的每一帧视频图像进行剪辑处理，保存剪辑后的剪辑动作{Qi，Ai}，其中Qi表示代理码流视频中的第i个视频帧，Ai表示关于该视频帧下的所有剪辑动作集合，将剪辑软件所保存的剪辑动作记录到剪辑动作数据包；并在本地提取工程中视频的字幕信息和超高清参数，将视频的字幕信息打包为字幕数据包，将超高清参数，包括4K/8K视频的帧率、分辨率、色域、HDR以及高动态范围参数，打包成系统配置包；
将剪辑动作数据包、字幕数据包以及系统配置包上传到云端，云端按照所接收的剪辑动作数据包对所存储的源码素材视频进行剪辑，代理码流视频中的视频帧与源码素材中的视频帧一一对应，按照视频操作集合Ai对源码素材视频中的对应视频帧进行视频剪辑操作。
5.如权利要求4所述的基于云技术的超高清后期制作解决方法，其特征在于，所述S4步骤中判断剪辑后的源码素材视频是否为超高清视频，包括：
云端计算剪辑后的源码素材视频中水平方向每行像素数是否达到3840个，若达到3840个，则认为剪辑后的源码素材视频为超高清视频；
若未达到3840个，则认为剪辑后的源码素材视频为非超高清视频，则根据设置的超高清视频参数对剪辑后的源码素材视频进行超分处理。
6.如权利要求5所述的基于云技术的超高清后期制作解决方法，其特征在于，所述S4步骤中云端对剪辑后非超高清视频的源码素材视频进行超分处理，得到超高清视频，包括以下步骤：
1)将非超高清视频
Figure FDA0003263513070000021
作为输入，其中
Figure FDA0003263513070000022
表示视频中的视频帧图像像素矩阵，k表示视频帧在视频中所处的时刻；
2)利用浅层特征提取模块提取非超高清视频IL的浅层特征，所述浅层特征提取模块由两个卷积核大小为3×3且滑动步长为3的卷积层组成，则浅层特征提取模块提取非超高清视频IL浅层特征的公式为：
Figure FDA0003263513070000023
其中：
Figure FDA0003263513070000024
为输入的视频帧图像像素矩阵；
C0(·)为浅层特征提取模块对每帧视频帧图像进行特征提取，即用卷积核对视频帧图像像素矩阵进行滑动卷积；
Figure FDA0003263513070000025
表示视频帧图像像素矩阵
Figure FDA0003263513070000026
的浅层特征；
Figure FDA0003263513070000027
表示非超高清视频的浅层特征；
3)利用层次化特征提取模块提取非超高清视频浅层特征的多尺度特征：
F1＝M1(F0)
F2＝M2(F1)
F3＝M3(F2)
其中：
Figure FDA0003263513070000028
表示非超高清视频的浅层特征；
Mi表示提取
Figure FDA0003263513070000029
层次特征的网络模块，i＝1,2,3，x表示非超高清原始视频的分辨率；其中每个网络模块Mi均包含一个步长为2的卷积核，利用步长为2的卷积核用来对输入特征进行1/2的下采样；
F1,F2,F3分别为分辨率为
Figure FDA00032635130700000210
的非超高清视频多尺度特征：
Figure FDA00032635130700000211
Figure FDA00032635130700000212
Figure FDA0003263513070000031
Figure FDA0003263513070000032
表示非超高清视频中时刻为k的视频帧的
Figure FDA0003263513070000033
分辨率尺度特征；
Figure FDA0003263513070000034
表示非超高清视频中时刻为k的视频帧的
Figure FDA0003263513070000035
分辨率尺度特征；
Figure FDA0003263513070000036
表示非超高清视频中时刻为k的视频帧的
Figure FDA0003263513070000037
分辨率尺度特征；
4)将多尺度特征以及浅层特征级联后，作为非超高清视频的层次化特征G：
G＝F1+F2+F3+F0
G＝{G0,G1,…,Gk,…}
其中：
Gk表示非超高清视频中时刻为k的视频帧层次化特征；
5)利用亚像素卷积层将层次化特征{G0,G1,…,Gk,…}中的每个像素特征分割为r个更小的像素特征，并将分割后更小的层次化特征反卷积为超高清视频帧图像，则将低分辨率的非超高清视频帧图像处理为r倍的超高清视频帧图像，并将所有超高清视频帧图像组合为超高清源码素材视频，其中生成的超高清视频的分辨率取决于设置的系统配置包中的超高清参数。
7.如权利要求6所述的基于云技术的超高清后期制作解决方法，其特征在于，所述S3步骤中云端对超分后的视频帧进行直接链接，包括：
将超高清视频存储路径更改为云端的源码素材视频存放目录，利用OPENCV将超分后的视频帧进行链接，得到超高清视频并存储到超高清视频存储路径。
8.如权利要求4所述的基于云技术的超高清后期制作解决方法，其特征在于，所述S4步骤中将超高清视频导入视频剪辑工程，包括：
将超分辨率视频作为素材，并将素材导入云端的视频剪辑工程；
检查视频剪辑工程上导入的素材是否正确，导入的素材包括视频内容、字幕、图片、动画特技；
检查素材正确后，将导入素材拖拽至任务面板，根据所设置的超高清参数进行每个片段的画幅调整，适配4K/8K视频，同时选择视频输出格式以及模板；
确定后点击发送，则将该工程任务打包处理，并随机发送给空闲的转码服务器，转码服务器对视频剪辑工程上的任务进行任务处理以及合成打包，得到合成的超高清源码视频。
9.如权利要求1所述的基于云技术的超高清后期制作解决方法，其特征在于，所述S5步骤中超高清视频合成打包后下载到本地进行调色，包装然后送审，审片未通过则返回S3步骤直至送审通过，包括：
转码服务器直接将合成的超高清源码视频发送到云端固定目录，利用云端上下载工具进行下载，本地对下载的超高清源码素材视频进行调色、包装处理，并将处理后的超高清视频送审，若审片未通过则返回S3步骤，并将修改意见给到本地代理剪辑，直至送审通过；若审片通过则可正式播出。
CN202111079653.XA 2021-09-15 2021-09-15 一种基于云技术的超高清后期制作解决方法 Active CN114025200B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111079653.XA CN114025200B (zh) 2021-09-15 2021-09-15 一种基于云技术的超高清后期制作解决方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111079653.XA CN114025200B (zh) 2021-09-15 2021-09-15 一种基于云技术的超高清后期制作解决方法

Publications (2)

Publication Number Publication Date
CN114025200A true CN114025200A (zh) 2022-02-08
CN114025200B CN114025200B (zh) 2022-09-16

Family

ID=80054114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111079653.XA Active CN114025200B (zh) 2021-09-15 2021-09-15 一种基于云技术的超高清后期制作解决方法

Country Status (1)

Country Link
CN (1) CN114025200B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2104105A1 (en) * 2008-03-20 2009-09-23 British Telecommunications Public Limited Company Digital audio and video clip encoding
CN102752538A (zh) * 2011-11-30 2012-10-24 新奥特（北京）视频技术有限公司 一种代理码流素材的生成的方法
CN106027944A (zh) * 2013-05-15 2016-10-12 蔡留凤 超高清数字电视接收机的工作方法
CN110324658A (zh) * 2018-03-28 2019-10-11 优酷网络技术（北京）有限公司 视频处理方法及装置
CN111161150A (zh) * 2019-12-30 2020-05-15 北京工业大学 一种基于多尺度注意级联网络的图像超分辨率重建方法
CN111918128A (zh) * 2020-07-23 2020-11-10 上海网达软件股份有限公司 一种云剪辑方法、装置、设备及存储介质
CN112330543A (zh) * 2020-12-01 2021-02-05 上海网达软件股份有限公司 一种基于自监督学习的视频超分辨方法及系统
CN112700392A (zh) * 2020-12-01 2021-04-23 华南理工大学 一种视频超分辨率处理方法、设备及存储介质
WO2021098030A1 (zh) * 2019-11-22 2021-05-27 网宿科技股份有限公司 一种视频编码的方法和装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2104105A1 (en) * 2008-03-20 2009-09-23 British Telecommunications Public Limited Company Digital audio and video clip encoding
CN102752538A (zh) * 2011-11-30 2012-10-24 新奥特（北京）视频技术有限公司 一种代理码流素材的生成的方法
CN106027944A (zh) * 2013-05-15 2016-10-12 蔡留凤 超高清数字电视接收机的工作方法
CN106060647A (zh) * 2013-05-15 2016-10-26 蔡留凤 采用字幕处理模块的超高清数字电视接收机的工作方法
CN110324658A (zh) * 2018-03-28 2019-10-11 优酷网络技术（北京）有限公司 视频处理方法及装置
WO2021098030A1 (zh) * 2019-11-22 2021-05-27 网宿科技股份有限公司 一种视频编码的方法和装置
CN111161150A (zh) * 2019-12-30 2020-05-15 北京工业大学 一种基于多尺度注意级联网络的图像超分辨率重建方法
CN111918128A (zh) * 2020-07-23 2020-11-10 上海网达软件股份有限公司 一种云剪辑方法、装置、设备及存储介质
CN112330543A (zh) * 2020-12-01 2021-02-05 上海网达软件股份有限公司 一种基于自监督学习的视频超分辨方法及系统
CN112700392A (zh) * 2020-12-01 2021-04-23 华南理工大学 一种视频超分辨率处理方法、设备及存储介质

Also Published As

Publication number Publication date
CN114025200B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
US11234006B2 (en) Training end-to-end video processes
US10523955B2 (en) Enhancement of visual data
EP1851683B1 (en) Digital intermediate (di) processing and distribution with scalable compression in the post-production of motion pictures
CN105516736A (zh) 视频文件处理方法和装置
CN107295084A (zh) 一种基于云端的视频编辑系统及方法
JP2023546392A (ja) マルチレイヤ信号符号化の分散解析
CN1875635A (zh) 用于视频转码的变换域子采样
US7724964B2 (en) Digital intermediate (DI) processing and distribution with scalable compression in the post-production of motion pictures
CN114025200B (zh) 一种基于云技术的超高清后期制作解决方法
CN110557651B (zh) 一种基于大数据分布式存储技术的超高清动态图像展示方法
JP4215269B2 (ja) 領域ベースのスケーラブルな画像コーディング
CN104333765A (zh) 一种视频直播流的处理方法及处理装置
KR20210120358A (ko) 시각적 저손실 영상 압축 시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant