CN108924550A - 一种多路同分辨率视频转码方法 - Google Patents

Abstract

本发明属于计算机技术领域，具体为一种多路同分辨率视频转码方法。本发明利用单源多目标转码场景中视频编码计算的相似性，在保证视频图像质量的前提下，复用相同的计算，以提高转码的效率；本发明复用相同计算的视频编码流程包括：非第一路视频的编码都跳过搜索阶段，直接复用第一路编码的搜索结果，即最优预测模式和运动向量来合成预测宏块，然后与当前宏块相减求得残差；无论是帧间预测还是帧内预测，搜索结果复用都只需要拷贝一次数据，并求一次残差。采用H.264编码进行验证，结果表明在不同的分辨率下，根据两种视频客观质量评估标准SSIM和PSNR，分别在1%和3%之内。可见本发明编码视频的质量和独立编码视频的质量接近。

Description

一种多路同分辨率视频转码方法

技术领域

本发明属于计算机技术领域，具体涉及一种多路同分辨率视频转码方法，在保证视频质量的前提下充分复用相同的计算，提高转码的效率。

背景技术

随着互联网和多媒体信息处理技术的飞速发展，互联网每天传输大量的数字视频。根据CISCO于2017年发布的网络数据流量报告，2016年网络总流量为1.15ZB（1ZB=1024³TB），视频流量的比例为72%；预估计到2021年，总流量将达到3.33ZB，视频流量的比例更是达到82%。

数字视频的普及丰富了人们的生活，人们可以使用手机、电脑等设备在线观看视频。例如，视频要在不同屏幕大小的设备上播放，需要按照相应的比例缩放；在网络宽带较差的环境下播放，需要降低码率；在特殊播放器上播放，需要转换编码格式，如H.264、MPEG-4等。

为了让用户在不同环境下观看视频，在网络传给用户前需要考虑分辨率、码率、编码格式等问题。视频转码时，往往需要按照不同的分辨率、码率、编码格式，转成多个目标视频文件。以Netflix为例，一个视频需按照不同的参数转码成120个目标视频文件，然后传输给用户。视频的编解码需要大量的计算，给视频服务商带来巨大的挑战，加速视频转码十分有必要。

转码技术可以提高视频在不同场景下的兼容性，按照不同的参数，同一个视频可以转成多种格式的目标视频。视频服务商通常需要将某高清视频按不同转码参数（分辨率、码率、编码格式）转成多路目标视频，称为单源多目标的转码场景。

转码的计算开销较大，单源多目标的转码场景下多路共享解码能够有效降低计算开销。但编码部分是转码主要的耗时部分，计算最优预测模式和运动向量是编码的主要开销，约为60%~80%。本发明发现，两路编码的视频如果分辨率和编码格式相同，而码率不同，编码预测阶段生成最优预测模式和运动向量的过程大致相同。因此，即使共享了解码，但多路编码仍然存在计算冗余，存在进一步的优化空间。

本发明设计了一种多路同分辨率视频转码的高效系统，在保证视频质量的前提下充分复用相同的计算，提高转码的效率。

发明内容

本发明的目的在于提供一种转码效率高的多路同分辨率视频转码方法。

本发明提出的多路同分辨率视频转码方法，是利用单源多目标转码场景中视频编码计算的相似性，在保证视频图像质量的前提下，复用相同的计算，提高转码的效率。

对于特定的编码标准而言，编码算法是确定的，其预测阶段可以分成两部分，包括搜索和求残差，如图1所示。搜索过程从不同的预测模式和运动向量中选择最优，保证生成的残差最小，从而使压缩效率最高；其中，求残差过程则是在最优的预测模式和运动向量下，生成预测宏块，并与当前宏块相减，得到最小残差。

一、编码复用

在多路转码场景下，多路共享解码能够有效降低计算开销。在编码过程中，预测是用已编码宏块表示当前编码区域的过程，可以分为帧内预测和帧间预测。帧内预测如图2中（a）部分所示，z表示正编码的宏块，x和y表示已经编码并重建的宏块，通过将x和y在多种预测模式合成，可以得到多个合成宏块，其中与z最相近的为预测宏块，相应的预测模式为最优预测模式。帧间预测如图2中（b）部分所示，设m为当前编码的宏块，通过在参考帧内进行多种搜索算法的尝试，可以找出与m最相近的宏块n，m与n之间的位移偏量为运动向量。

预测过程，首先得到最优的预测模式和运动向量，在确定这些后，将重建宏块按最优预测模式合成可以得到预测宏块，预测宏块与当前宏块相减从而获取残差。所以预测的输入为当前编码宏块、已编码的重建宏块；输出为最优预测模式、运动向量，以及残差，如图3所示。

如果两路编码视频的分辨率相同，用于编码的原始图像完全相同。因此，当前编码宏块也相同。对于预测的另外一个输入——已编码的重建宏块，需经过反量化、反变换等解码过程才能生成重建宏块。如果目标码率不相同，那么量化步长也不同，数据有损程度不同，因此，重建宏块并不相同。

但这并不影响预测模式和运动向量的生成。虽然重建宏块不同，但是重建宏块表示的内容并没有变化。也就是说，画面与画面之间的关联性并不会因为量化的损耗而改变，因此最优的预测模式与运动向量并不会发生太多变化。因此，只需要在某一路的预测结果中记录这两个值，并复用给第二路，就可以省去第二路预测过程中的搜索开销。

由于多路的重建数据存在差异，预测宏块并不完全相同，残差也不相同。即使在分辨率相同的情况下，这导致变换、量化和熵编码阶段需要多路独立完成，不能共享。

对于多路编码而言，如果两路分辨率以及编码格式相同，而码率不同的话，那么编码预测阶段生成最优预测模式和运动向量的过程大致相同。

二、多路复用

视频压缩本来就是一个有损的变换，如果精确性损失导致的视频质量下降在主观上可以忽略不计，就是一个可以接受的方案。针对单源同分辨率多目标的编码场景，本发明设计了新的视频编码流程。

如图4所示，非第一路视频的编码都跳过搜索阶段，直接复用第一路编码的搜索结果，即最优预测模式和运动向量来合成预测宏块，然后与当前宏块相减求得残差。无论是帧间预测还是帧内预测，搜索结果复用都只需要拷贝一次数据，并求一次残差。

图5给出了两路编码的流程，宏块经过第一路的预测、变换、量化等阶段生成压缩宏块、重建宏块等数据后，会立刻按照第二路的编码参数进行编码，所有输出路完成编码后，才会进行下一个宏块的编码任务。每一路的编码仍然需要维护私有的编码器，因为编码器中包含预测、变换、量化等阶段的私有数据，这些数据是编码上下文的一部分。此外，宏块编码之前，需要执行初始化的相关逻辑，如码率控制等。第一路编码完后，会切换成第二路的编码上下文，第二路进入预测后，会把第一路编码上下文中的预测模式与运动向量拷贝给第二路编码上下文，然后继续执行求残差、量化等编码过程。

本发明基于H.264编码进行了验证，结果表明在不同的分辨率下，采用两种视频客观质量评估标准SSIM和PSNR，分别在1%和3%之内。因此，本发明编码视频的质量和独立编码视频的质量接近。在这里，PSNR（Peak Signal to Noise Ratio，峰值降噪比）模型，通过计算图像、视频的均方误差得到质量结果，该标准被广泛采用，但是与客观评估的结果相差较大；SSIM（Structural Similarity Index，结构相似性）模型，采用全参考标准，较PSNR更接近真实的客观评估结果。

附图说明

图1为预测分解后宏块编码流程图。

图2为帧内预测、帧间预测示意图。

图3为预测输入输出示意图。

图4为搜索结果复用下编码示意图。

图5为结果复用下两路编码示意图。

图6为x264函数调用框架。

图7为多路执行同步栅栏。

图8为函数内多路重复执行。

图9为x264_t结构体示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚，以下结合附图及实施例，详细说明本发明的优选实施方式。需要说明的是，本说明书所使用的术语或词语不能限定解释为通常的含义或辞典中的含义，而应当立足于为了以最佳方式说明其发明人可以对术语的概念进行适当定义的原则解释为符合本发明技术思想的含义和概念。随之，本说明书所记载的实施例和附图中表示的结构只是本发明最佳实施例之一，并不能完全代表本发明的技术思想，因此应该理解到对于本发明而言可能会存在能够进行替换的各种等同物和变形例。

H.264是主流的视频编码标准，而x264又是当前H.264标准下最好的开源视频编码器，性能超过了很多商用编码器，是该标准下使用最广泛的软编码器。我们基于开源的H.264的编解码实现x264来介绍多路输出转码优化的实现。

1. x264的结构

x264编码函数调用关系如图6所示。encode调用x264_encode_open打开编解码上下文，然后调用x264_encode_headers写入输出头文件，接着调用x264_encoder_encode进行编码，最后关闭编码器。x264_encoder_encode首先调用x264_reference_update对参考帧处理，然后调用x264_ratecontrol_start进行码率控制，x264_slice_write中包含一个循环，对片中的宏块依次编码，最后调用x264_encoder_frame_end封装数据流。

宏块预测结果复用也在该循环体中实现。x264_slice_write中的x264_macroblock_analyse执行的是预测分析，所以对于多路预测数据复用而言，只有第一路需要执行该函数，第二路在该函数执行后复用相关数据即可。

多路进入循环对宏块编码之前，需要初始化。也就是说，进入循环体之前，每一路都要执行encode至x264_fdec_filter_row的函数调用。本文在x264_macroblock_analyse前设置栅栏，多路编码前在该栅栏进行一次同步，如图7所示。然而，由于从x264_encoder_encode至x264_slice_write经历了多级函数调用，如果在图7中①执行完，初始化好第一路的x264_t（包含编码使用的所有数据，可认为是编码上下文）后，再切换成第二路的x264_t，并回退到x264_encoder_encode执行第二路，那么第一路的函数上下文将会丢失。

为了解决该问题，我们在将重复执行的定为函数内部，这样就能解决函数多级调用带来调用上下文丢失的问题，如图8所示。本文在x264_encoder_encode至x264_slice_header_write的调用路径上的每个函数中都插入了图8中所示的重复执行跳转代码。在函数内部，需要在每个返回或退出分支前插入该跳转代码。该跳转代码的功能就是遍历多路输出，切换x264_t，然后跳转至函数入口，这样就可保证多路的x264得到正确的初始化。

2. 编码复用的实现

x264_t内部的结构较为复杂，但是用途分类较为清晰，结构体大致结构如图9所示。例如，param指的是编码相关的参数，out包含了H.264的nal层封装数据，frames包含图像帧数据，mb包括宏块编码的相关数据，其又由重构宏块pic，预测辅助信息cache等结构体组成，x264_ratecontrol_t包含码率控制信息。最后，x264_t包含了一些编码调用的函数指针。

根据以上对x264_t结构体的分析可知，x264_t中的子结构mb定义了宏块编码的全部数据，因此，预测结果也存储在mb结构体中。所以，要想基于x264实现预测的数据流复用，就要从mb中分离出相应的预测结果，包括最优预测模式、运动向量等相关数据。

分离最优预测模式、运动向量等数据有两种方法，分别是直接法和间接法。为了方便描述，用两路的情况举例说明。直接法就是从mb中定位相应的数据结构，然后将第一路的相关数据拷贝给第二路，直接分离的数据见表1所示；间接法就是将第一路的mb完整拷贝给第二路，这样的话，第二路mb中其他的私有的数据会被覆盖，因此，在拷贝mb之前，需要将第二路mb中私有的一些变量备份好，然后在拷贝完mb之后进行还原即可，需要备份的数据见表2所示。

表1

表2

。

Claims (3)

1.一种多路同分辨率视频转码方法，其特征在于，利用单源多目标转码场景中视频编码计算的相似性，在保证视频图像质量的前提下，复用相同的计算，以提高转码的效率；

对于特定的编码标准而言，编码算法是确定的，其预测阶段包括搜索和求残差；搜索过程是从不同的预测模式和运动向量中选择最优，保证生成的残差最小，从而使压缩效率最高；其中，求残差过程是在最优的预测模式和运动向量下，生成预测宏块，并与当前宏块相减，得到最小残差；

在编码过程中，预测是用已编码宏块表示当前编码区域的过程，分为帧内预测和帧间预测；对于帧内预测，设z表示正编码的宏块，x和y表示已经编码并重建的宏块，通过将x和y在多种预测模式合成，得到多个合成宏块，其中与z最相近的为预测宏块，相应的预测模式为最优预测模式；对于帧间预测，设m为当前编码的宏块，通过在参考帧内进行多种搜索算法的尝试，找出与m最相近的宏块n，m与n之间的位移偏量为运动向量；

通过预测，首先得到最优的预测模式和运动向量，在确定这些后，将重建宏块按最优预测模式合成得到预测宏块，预测宏块与当前宏块相减，获取残差；所以预测的输入为当前编码宏块、已编码的重建宏块；输出为最优预测模式、运动向量，以及残差。

2.根据权利要求1所述的多路同分辨率视频转码方法，其特征在于，所述复用相同的计算的视频编码流程如下：

非第一路视频的编码都跳过搜索阶段，直接复用第一路编码的搜索结果，即最优预测模式和运动向量来合成预测宏块，然后与当前宏块相减求得残差；无论是帧间预测还是帧内预测，搜索结果复用都只需要拷贝一次数据，并求一次残差。

3.根据权利要求2所述的多路同分辨率视频转码方法，其特征在于，两路编码的流程为：宏块经过第一路的预测、变换、量化等阶段生成压缩宏块、重建宏块数据后，立刻按照第二路的编码参数进行编码，所有输出路完成编码后，才进行下一个宏块的编码任务；每一路的编码仍然需要维护私有的编码器，因为编码器中包含预测、变换、量化等阶段的私有数据，这些数据是编码上下文的一部分；此外，宏块编码之前，需要执行初始化的相关逻辑；第一路编码完后，切换成第二路的编码上下文，第二路进入预测后，把第一路编码上下文中的预测模式与运动向量拷贝给第二路编码上下文，然后继续执行求残差、量化等编码过程。