CN113271467B - 一种支持高效编辑的超高清视频分层编解码方法 - Google Patents

Abstract

本发明公开了一种支持高效编辑的超高清视频分层编解码方法，包括步骤：S11，对原始码率视频进行图像缩放可逆变换分离出细节分量；S12，对A分量进行编码生成基本层码流；S13，对S12中生成的基本层码流进行解码，然后逐帧逐像素点与编码前的A分量做减法得到A分量残差数据；S14，对S13中的A分量残差数据与S11分解出的细节分量均先进行量化处理，然后进行熵编码；S15，将S12生成的基本层码流和S14拼接成的增强层码流封装成mov格式文件等；S16，解码，该步骤中包括基本层码流解码过程和源画幅视频解码过程等。本发明面向超高清视频，解决普通编解码方法下的原始码率编辑和代理码率编辑带来的性能不足等问题。

Description

一种支持高效编辑的超高清视频分层编解码方法

技术领域

本发明涉及超高清编辑技术领域，更为具体的，涉及一种支持高效编辑的超高清视频分层编解码方法。

背景技术

超高清视频代表性幅面一般是4k或8k，以8K为例，一秒种广电级8K@50p基带数据超过6GB。编辑侧会涉及对视频的存储、编解码、传输等工作，因此无论是物理主机还是云虚拟主机，对该数据量的素材进行编辑制作都是一项巨大的挑战，在通用的编解码方法下目前有两种主流编辑方式。

1、原始码率编辑

高性能主机可以勉强实现原始码率编辑（不涉及压缩编码但涉及视频封装），但受限于目前的设备硬件性能，直接编辑原始码率，主机会非常吃力。对于多轨超高清视频实时编辑的支持不够理想，如对于需要多轨8k的场合，只能通过反复生成等待来完成，效率十分低下。

2、代理码率编辑

代理码率需要在编辑侧先解码整个视频文件，然后转码生成低码率视频版本文件用于编辑，编辑侧编解码性能和存储开销大，且造成了一定的延迟。

发明内容

本发明的目的在于克服现有技术的不足，提供一种支持高效编辑的超高清视频分层编解码方法，面向超高清视频（8K、16K等），将编辑和播出画幅在源视频编码侧进行了预先处理，并在封装时进行了区分，在保留了高画质的同时编辑侧可直接提取基本层码流进行高效编辑，解决普通编解码方法下的原始码率编辑和代理码率编辑带来的性能不足问题等。

本发明的目的是通过以下方案实现的：

一种支持高效编辑的超高清视频分层编解码方法，包括步骤：

S11，对原始码率视频进行图像缩放可逆变换分离出A分量、H分量、V分量和D分量；A分量表示第一近似值分量，H分量表示第一水平细节分量，V分量表示第一垂直细节分量，D分量表示第一对角细节分量；

S12，对A分量进行编码，生成基本层码流；

S13，对步骤S12中生成的基本层码流进行解码，然后逐帧逐像素点与编码前的A分量做减法得到A分量残差数据；

S14，对步骤S13中的A分量残差数据与步骤S11分解出的A分量、H分量、V分量和D分量均先进行量化处理，然后进行熵编码；其中，细节分量均量化后直接进行熵编码，A分量残差数据先进行图像缩放可逆变换生成对应的A' 分量、H'分量、V' 分量、D'分量并再次量化后进行熵编码，将熵编码后的A分量残差数据和熵编码后的细节分量拼接成增强层码流；A'分量表示第二近似值分量，H'分量表示第二水平细节分量，V'分量表示第二垂直细节分量，D'分量表示第二对角细节分量；

S15，将步骤S12生成的基本层码流和步骤S14拼接成的增强层码流封装成mov格式文件，在mov文件中存储媒体数据的位置处设定：基本层chunk、音频chunk、增强层chunk，基本层chunk和增强层chunk分别对应步骤S12中的基本层码流、步骤S14中的增强层码流；

S16，解码，该步骤中包括基本层码流解码过程和源画幅视频解码过程；

对基本层码流解码过程包括步骤：编辑服务器绕过解码服务器直接从存储的mov格式文件中跳过增强层chunk提取基本层chunk和音频chunk，对其解码得到基础幅面视频素材进行超高清编辑，用于解码、编辑、播放的最小视频粒度为一个基本层chunk；

对源画幅视频解码过程包括：解封mov文件得到基本层码流和增强层码流，对基本层码流解码获得A分量，对增强层码流解熵编码得到A分量残差对应的A' 分量、H'分量、V'分量、D'分量和源画幅视频的H分量、V分量和D分量。

进一步地，在步骤S11中，包括如下步骤：若A分量幅面大于设定的编辑幅面，则继续对A分量进行图像缩放可逆变换，直到A分量幅面大小等于设定的编辑幅面，则结束图像缩放可逆变换；其余H分量、V分量和D分量则都作为细节分量；第n次图像缩放可逆变换得到的细节分量为第n层细节分量，n为大于等于1的整数，对所有层数的细节分量进行按序排列。

进一步地，在步骤S15中，包括如下步骤：将视音频数据以N秒为间隔进行切分，N为大于等于1的整数，以选定帧率M的视频为基准，每个视频内chunk包含M×N个帧sample；将每个细节分量装入对应类型的chunk中，然后以基本层chunk、音频chunk、增强层chunk为顺序周期进行编排，组成chunk交错的mov格式文件的Data部分，该Data部分即为mov文件中存储媒体数据的位置。

进一步地，在步骤S16中，对增强层码流解熵编码得到A分量残差对应的A' 分量、H'分量、V' 分量、D'分量和源画幅视频的H分量、V分量和D分量包括如下步骤：先对A分量残差进行图像缩放可逆变换的逆变换，然后将A分量与对A分量残差进行图像缩放可逆变换的逆变换后的数据，进行逐帧逐像素点加法运算得到重构的A分量，然后将重构的A分量与剩余的细节分量进行图像缩放可逆变换的逆变换，得到原始幅面大小的视频输出，用于解码、编辑、播放的最小视频粒度为一个基本层chunk加增强层chunk，即预定的N秒视频帧。

进一步地，H分量、V分量和D分量内部按层数由高到低、层内H-V-D的顺序进行排列。在该实施方式中，因为数据流的实际存放形式是线性bit流而不是一个二维的数据流，因此需要设置增强层码流的数据线性存放顺序，如3层的增强层码流的数据线性存放顺序为：H3-V3-D3-H2-V2-D2-H1-V1-D1。

进一步地，所述选定帧率M为50。

本发明的有益效果包括：

（1）本发明方法面向超高清视频（8K、16K等），将编辑和播出画幅在源视频编码侧进行了预先处理，并在封装时进行了区分，在保留了高画质的同时编辑侧可直接提取基本层码流进行高效编辑，解决普通编解码方法下的原始码率编辑和代理码率编辑带来的性能不足问题等。

（2）本发明方法使用图像缩放可逆变换获取A分量，用于视频编辑，A分量编码后的结果在封装时装入独立的基本层chunk中，将编辑侧的解码过程在编码端进行了优化，无需解码整个视频文件，编辑侧提取出基本层码流即可进行编辑工作，达到加速编辑侧的解码过程、减少解码性能开销的效果；对比现有的代理码率编辑方法，简化了编辑侧的操作，编辑侧无需生成低码率文件，可避免多次的编解码操作，并节省存储空间，且使得对应系统过程较为简洁，额外的技术运维难度较小。

（3）本发明方法采用图像缩放可逆变换获取H、V、D这3个分量，同时以A分量为基础生成A分量残差，对这4个分量进行轻量压缩级的熵编码得到增强层码流，较大程度保留了原始素材的数据，可用于解码过程中还原出与原始素材画质相当的视频输出，即保证了编辑端的性能，亦保留了视频的高画质，从而能保证编辑侧的视频质量，对比现有的原码率编辑方法，无需进行降速处理，通过增强层码流保留高画质的同时，直接解码出基本层码流进行编辑的方式也保证了超高清编辑的实时性能。

（4）本发明方法采用简洁的mov格式封装视频，生成chunk交错的视音频轨道数据，将基本层码流的数据访问粒度从单帧调整为单chunk（多个视频帧），使编辑软件读取基本层数据时能较大概率跳过增强层数据，达到节约视频带宽的目的；对比现有技术，本发明方法生成基本层、增强层chunk交错的轨道数据，取代单帧（一个sample）交错的编排方式，能防止因编辑软件单次读取数据量大于基本层单帧数据量而读取到下一个增强层帧的情况，从而达到节约视频读取带宽的效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的编码流程示意图；

图2为本发明实施例的图像缩放可逆变换的示意图；

图3为本发明实施例的增强层码流生成流程的示意图；

图4为本发明实施例的封装基本层码流和增强层码流成mov格式文件的示意图；

图5为本发明实施例的chunk交错的视音频轨道数据生成方法及优势说明的示意图；

图6为本发明实施例的基本层码流解码流程和源画幅视频解码流程的示意图。

track表示一个视频或者音频序列。video sample即为一帧或者一组连续视频帧，audio sample即为一段连续的音频。sample table指明sample时序和物理布局的表。chunk为一个track的几个sample组成的单元。在mp4文件中，媒体内容在moov的box中，一个moov包含多个track，每个track就是一个随时间变化的媒体序列，track里的每个时间单位是一个sample，sample按照时间顺序排列，一帧音频可以分解成多个音频sample，所以音频一般用sample作为单位，而不用帧。

具体实施方式

本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。

如图1~图6所示，一种支持高效编辑的超高清视频分层编解码方法，其中编码主要流程描述如下：

1.如图1~图2所示，对原始码率视频进行图像缩放可逆变换（如2-D小波变换等）分离出A分量、H分量、V分量和D分量这四个分量，A分量表示近似值分量，H分量表示水平细节分量，V分量表示垂直细节分量，D分量表示对角细节分量；其中A分量相当于是原始视频的下采样，能用于该画幅标准下的视频编辑。此外，若A分量幅面仍大于设定的编辑幅面，则继续对A分量进行图像缩放可逆变换，直到最新的A分量幅面大小满足编辑幅面要求，其余分量都作为细节分量进行处理，第n次图像缩放可逆变换得到的细节分量为n层细节分量（n大于等于1的整数），细节分量内部按层数由高到低、层内H-V-D的顺序进行排列，方便后续逆变换操作，例如，以层数为2的细节分量为例，排列顺序可为H₂-V₂-D₂-H₁-V₁-D₁。

2.对A分量进行编码，编码方式可自定义，如XAVC、ProRes、DNxHD等广电制作级编码方式，生成基本层码流；

3. 对流程2中编码后的A分量进行解码，然后逐帧逐像素点与编码前的A分量做减法得到A分量残差数据；

4. 如图3所示，对A分量残差与流程1中分解出的细节分量均先进行量化处理，然后进行熵编码（如流程编码、哈夫曼编码、算术编码等）。其中量化后的细节分量直接进行熵编码，A分量残差先进行流程1中采用的图像缩放可逆变换，生成新的四个分量后再进行熵编码，将熵编码后的A分量残差和熵编码后的细节分量拼接成最终的增强层码流；

5. 如图4~图5所示，将基本层码流和增强层码流封装成mov格式文件，在mov文件的Movie data atom中（mov文件中存储媒体数据的部分）设定3种chunk：基本层chunk、音频chunk、增强层chunk，基本层chunk和增强层chunk分别对应流程2中的基本层码流、流程4中的增强层码流。视音频数据（视频数据包含基本层数据和增强层数据）以N s为间隔进行切分（N为大于等于1的整数），以帧率50的视频为基准，每个视频内chunk包含50×N个sample（帧）。每个细节分量装入对应类型的chunk中，然后以基本层chunk、音频chunk、增强层chunk为顺序周期进行编排，组成chunk交错的Data部分，避免单帧编排方式造成的带宽浪费。

解码主要流程描述如下：

如图6所示，该流程中包括基本层码流解码流程和源画幅视频解码流程。

1.基本层码流解码过程：编辑服务器可绕过解码服务器直接从存储的mov文件中跳过增强层chunk提取基本层chunk和音频chunk，对其解码得到基础幅面视频素材进行超高清编辑，可用于解码、编辑、播放的最小视频粒度为一个基本层chunk，即预定的N s视频帧。

2.源画幅视频解码过程：解封mov文件得到基本层码流和增强层码流，对基本层码流解码获得A分量，对增强层码流解码（解熵编码）得到A分量残差（四个分量）和细节分量这两种分量。先将A分量与A分量残差（这里先对A分量残差进行图像缩放可逆变换的逆变换，对应编码流程4中的操作）进行逐帧逐像素点加法运算得到重构A分量，然后将重构A分量与剩余的细节分量进行图像缩放可逆变换的逆变换，得到原始幅面大小的视频输出。可用于解码、编辑、播放的最小视频粒度为一个基本层chunk加增强层chunk，即预定的N s视频帧。

本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。

上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。

除以上实例以外，本领域技术人员根据上述公开内容获得启示或利用相关领域的知识或技术进行改动获得其他实施例，各个实施例的特征可以互换或替换，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

本发明功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，在一台计算机设备（可以是个人计算机，服务器，或者网络设备等）以及相应的软件中执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、或者光盘等各种可以存储程序代码的介质，进行测试或者实际的数据在程序实现中存在于只读存储器（Random Access Memory，RAM）、随机存取存储器（Random Access Memory，RAM）等。

Claims (5)

1.一种支持高效编辑的超高清视频分层编解码方法，其特征在于，包括步骤：

S11，对原始码率视频进行图像缩放可逆变换分离出A分量、H分量、V分量和D分量；A分量表示第一近似值分量，H分量表示第一水平细节分量，V分量表示第一垂直细节分量，D分量表示第一对角细节分量；在步骤S11中，包括如下步骤：若A分量幅面大于设定的编辑幅面，则继续对A分量进行图像缩放可逆变换，直到A分量幅面大小等于设定的编辑幅面，则结束图像缩放可逆变换；其余H分量、V分量和D分量则都作为细节分量；第n次图像缩放可逆变换得到的细节分量为第n层细节分量，n为大于等于1的整数，对所有层数的细节分量进行按序排列；

S12，对A分量进行编码，生成基本层码流；

S13，对步骤S12中生成的基本层码流进行解码，然后逐帧逐像素点与编码前的A分量做减法得到A分量残差数据；

S14，对步骤S13中的A分量残差数据与步骤S11分解出的A分量、H分量、V分量和D分量均先进行量化处理，然后进行熵编码；其中，细节分量均量化后直接进行熵编码，A分量残差数据先进行图像缩放可逆变换生成对应的A' 分量、H'分量、V' 分量、D'分量并再次量化后进行熵编码，将熵编码后的A分量残差数据和熵编码后的细节分量拼接成增强层码流，该熵编码后的细节分量为H分量、V分量和D分量；A'分量表示第二近似值分量，H'分量表示第二水平细节分量，V'分量表示第二垂直细节分量，D'分量表示第二对角细节分量；

S15，将步骤S12生成的基本层码流和步骤S14拼接成的增强层码流封装成mov格式文件，在mov文件中存储媒体数据的位置处设定：基本层chunk、音频chunk、增强层chunk，基本层chunk和增强层chunk分别对应步骤S12中的基本层码流、步骤S14中的增强层码流；

S16，解码，该步骤中包括基本层码流解码过程和源画幅视频解码过程；

对基本层码流解码过程包括步骤：编辑服务器绕过解码服务器直接从存储的mov格式文件中跳过增强层chunk提取基本层chunk和音频chunk，对其解码得到基础幅面视频素材进行超高清编辑，用于解码、编辑、播放的最小视频粒度为一个基本层chunk；

对源画幅视频解码过程包括：解封mov文件得到基本层码流和增强层码流，对基本层码流解码获得A分量，对增强层码流解熵编码得到A分量残差对应的A' 分量、H'分量、V' 分量、D'分量和源画幅视频的H分量、V分量和D分量。

2.根据权利要求1所述的一种支持高效编辑的超高清视频分层编解码方法，其特征在于，在步骤S15中，包括如下步骤：将视音频数据以N秒为间隔进行切分，N为大于等于1的整数，以选定帧率M的视频为基准，每个视频内chunk包含M×N个帧sample；将每个细节分量装入对应类型的chunk中，然后以基本层chunk、音频chunk、增强层chunk为顺序周期进行编排，组成chunk交错的mov格式文件的Data部分，该Data部分即为mov文件中存储媒体数据的位置。

3.根据权利要求1所述的一种支持高效编辑的超高清视频分层编解码方法，其特征在于，在步骤S16中，对增强层码流解熵编码得到A分量残差对应的A' 分量、H'分量、V' 分量、D'分量和源画幅视频的H分量、V分量和D分量包括如下步骤：先对A分量残差进行图像缩放可逆变换的逆变换，然后将A分量与对A分量残差进行图像缩放可逆变换的逆变换后的数据，进行逐帧逐像素点加法运算得到重构的A分量，然后将重构的A分量与剩余的细节分量进行图像缩放可逆变换的逆变换，得到原始幅面大小的视频输出，用于解码、编辑、播放的最小视频粒度为一个基本层chunk加增强层chunk，即预定的N秒视频帧。

4.根据权利要求2所述的一种支持高效编辑的超高清视频分层编解码方法，其特征在于，H分量、V分量和D分量内部按层数由高到低、层内H-V-D的顺序进行排列。

5.根据权利要求2所述的一种支持高效编辑的超高清视频分层编解码方法，其特征在于，所述选定帧率M为50。

Images