CN104038764A - 一种h.264到h.265的视频转码方法及转码器 - Google Patents

Abstract

本发明提出一种H.264到H.265的视频转码方法，包括H.264解码过程和H.265编码过程，所述H.264解码过程，是将符合H.264标准的码流完全解码到像素域，解码中提取出所有I帧中每个宏块的编码宏块类型、编码块模式、残差和所有P帧中每个宏块的编码宏块类型、运动矢量、参考帧及残差；所述H.265编码过程，是根据H.264解码结果进行H.265编码，得到H.265视频，包括根据CTU设置和帧类型进行相应处理，恰当地减少搜索分支，减少编码复杂度。因此，本发明能在保证视频质量下降较少、码率增加不多的情况下，有效减少视频转码时间，有助于H.265标准的推广及节省网络带宽。

Description

一种H.264到H.265的视频转码方法及转码器

技术领域

本发明属于图像压缩技术和计算机技术两大领域，具体涉及一种H.264到H.265快速转码的技术方案。

背景技术

当前我互联网事业进入飞速发展期，多媒体技术在人们工作、学习、娱乐中的地位显得越发重要。而作为多媒体技术中最重要，最具表现力的视频编码技术也随着时代迅猛发展。从1990年提出的H.261到上一代的视频编码标准H.264，几十年间视频编码技术在不断的更新与进步。如今ITU-T VCEG又发布了新一代视频编码标准H.265(也称为HEVC)，较之前的编码标准，H.265采用了更先进的编码技术，提高了编码效率。

目前，得到最广泛采用的视频压缩技术中的一种称为H.264的标准。H.264是一种基于块匹配的混合编码的压缩方案。编码器将帧分为多个正方形小块，称为宏块，每个宏块包含16×16大小的像素。为了图像数据进行压缩，编码器对每个宏块进行预测、变换、编码以减小数据量。其中预测包括帧内预测与帧间预测。帧内预测利用了图片在空间上的相关性，主要是利用了当前宏块左侧与上侧的宏块的像素值来对当前宏块进行预测。帧间预测则利用了图像在时间上的相关性，找出相邻几帧中与当前宏块相似的区域来对本帧进行预测。然后用原始图像减去预测图象形成残差，编码器只需对残差及预测信息(帧内预测的预测模式、帧间预测的运动矢量和参考帧等)进行变换、量化、编码即可完成压缩。

近来，ISO/IEC运动图像专家组和ITU-T视频编码专家组(VCEG)联合推出了新一代视频编码标准H.265/HEVC。与早期视频编码标准类似，H.265/HEVC沿袭了传统的混合编码框架。编码思路基本不变，编码器主要由帧内预测(intra prediction)、帧间预测(inter prediction)、转换(transform)、量化(quantization)、去区块滤波器(deblocking filter)、熵编码(entropy coding)等组成。但H.265\HEVC采用了更灵活的编码树结构代替H.264中的宏块进行划分，其支持的大小也从16×16像素扩展到64×64像素。H.265\HEVC采用了先进的预测方法对图片进行预测，帧内预测方向从原有的8个方向增加到33个，帧间增加了Merge模式，提高了图像压缩率。据统计，H.265/HEVC在主观质量不变的基础上，码率降低一半以上，具有巨大的发展潜力。但H.265/HEVC的高压缩是以提高了编码复杂度为代价的，其编码复杂度为之前H.264的3到4倍，编码速度成为了当前亟待解决的关键问题。

进过多年的推广，H.264已广泛用于数字视频分发、存储和播放的应用中，由于新的视频编码标准H.265的推出，为了节省网络带宽降低视频比特率，提高视频服务质量，因此提供用于对使用新标准的设备和使用现有标准的设备进行接口的相关措施是很有必要的，并且此类接口能将H.265视频标准逐步引入到现有的视频系统中。

目前，视频转码按照结构主要分为两大类：像素域转码和变换域转码。像素域转码是指对输入视频完全解码得到像素域图像序列，在像素域进行再编码，像素域转码实现灵活，并且输出图像质量较高，但转码复杂度高。变换域转码则不需要完全解码出像素域图像，而是在变换域直接对压缩域系数进行变换，重新封装得到转码视频，减少了重新编码的计算量。但H.264编码标准和H.265编码标准中基本编码单元差别较大，变换尺寸也存在差异，因此在变换域直接把H.264编码的视频转换成H.265是比较困难的。

由于H.264编码标准和H.265编码标准之间存在着较大的差异，因此目前将H.264视频信号转码成H.265格式的主要方法是，在H.264解码器中将H.264视频完全解码为YUV格式，随后再利用H.265编码器中对解码的YUV信号进行重新编码。不过，这种方法有一个非常重要的缺点，即它需要相当多的计算资源，且时间消耗过大，特别对于H.265这种高复杂度的编码而言，实时转码在普通计算机上尤为困难。通常，视频信号的独立解码和编码还可能会导致视频质量的下降，因为重新编码期间做出的决定并没有考虑原始编码的参数。

因此，目前的H.264到H.265转码器转码效率不高，消耗资源大，且设备昂贵，往往不能满足于实际的工程需求。研究一种快速的转码方案可以说是非常有意义的。

发明内容

本发明的目的是针对现有技术缺陷，提出一种高效低耗的H.264到H.265转码方案。

本发明提供一种H.264到H.265的视频转码方法，包括H.264解码过程和H.265编码过程，

所述H.264解码过程，是将符合H.264标准的码流完全解码到像素域，解码中提取出所有I帧中每个宏块的编码宏块类型、编码块模式、残差和所有P帧中每个宏块的编码宏块类型、运动矢量、参考帧及残差；

所述H.265编码过程，是根据H.264解码结果进行H.265编码，得到H.265视频，包括根据CTU设置和帧类型进行以下相应处理，

处理A.当H.265中设置的CTU大小为16×16且帧类型为I帧时，进行帧内处理如下，若H.264中宏块为I16x16类型，则H.265中CTU不继续划分，且预测模式及预测方向与H.264中保持一致；

若H.264中宏块为I8x8类型，则H.265中CTU划分一次，分为4个CU，CTU中4个CU的预测模式及预测方向分别与H.264中4个子宏块一致；

若H.264中宏块为I4x4类型，则利用H.265标准的原有搜索过程进行处理；

处理B.当H.265中设置的CTU大小为16×16且帧类型为P帧时，进行帧内处理如下，若H.264中宏块为P16x16类型，则H.265中CTU不划分，并搜索相应大小模式及Merge模式，并取率失真代价较小的作为最终模式，

若H.264中宏块为P8x8类型、P16x8类型或P8x16类型，则H.265中CTU按同样方式划分，并对每个CU搜索相应大小模式及Merge模式，并取率失真代价较小的作为最终模式；

若H.264宏块为Pskip模式，则H.265中CTU直接使用Merge模式；

如果选择相应大小模式，运动矢量和参考帧与H.264中保持一致；否则，利用H.265标准中Merge模式相应原有算法算得运动信息；

处理C.当H.265中设置的CTU大小为32×32且帧类型为I帧时，进行帧内处理如下，若残差值大于或等于相应预设阈值，则直接进行一次CTU划分，成为4个16×16大小的CU，并分别执行处理A；

若残差值小于相应预设阈值，则搜索32×32及16×16模式，选取率失真代价较小的作为最终模式；

处理D.当H.265中设置的CTU大小为32×32且帧类型为P帧时，进行帧内处理如下，若残差值小于相应预设阈值且CTU对应的H.264中4个宏块的运动矢量之间的距离小于相应预设阈值，则CTU搜索2N×2N模式与Merge模式，并取率失真代价较小的作为最终模式，其中2N×2N模式的运动矢量为4个宏块的运动矢量的平均值；

若不满足上述条件，则CTU继续划分，得到4个16×16大小的CU，其后搜索方式与P帧CTU16×16情况相同，即分别执行处理B；

其中，所述CTU为编码树单元，所述CU为编码单元。

本发明能够实现在现有转码器的基础上降低的转码复杂度、成本以及改善的转码性能的目的。对于大多数视频编码标准，编码通常比解码更加复杂且资源消耗更多。预测模式的确定及帧间运动估计过程一般来说是视频编码的最复杂且资源消耗最大，且必不可少的处理之一，因此通过在转码器中简化预测模式的确定及运动估计过程，将非常有利于改善转码速度。根据这一思路，本发明对转码的上述关键部分进行适当地改善与简化。例如，H.265编码运动估计部分可以通过根据H.264编码信息中的运动估计数据产生H.265运动估计数据，而使运动估计部分得到明显的简化，尽管这些标准包括的运动估计选项不尽相同。再如，对于H.264确定的各种帧内帧间预测模式可以用于减少搜索H.265的模式搜索过程。因此，本发明将H.264解码器中的预测信息提取并保存，与解码图像一起送入编码器，并将提取的预测信息应用于H.265编码器，影响编码器的模式判决与运动矢量搜索过程，减少编码器的搜索分支，提供一种在保证视频质量下降较少、码率增加不多的情况下，能够有效减少视频转码时间的H.264到H.265的快速转码方法，达到加速转码的目的，有助于H.265标准的推广及节省网络带宽。

附图说明

图1是本发明实施例中转码器的总体框图。

图2是本发明实施例中转码器的总体流程图。

图3是本发明实施例中I帧转码流程图。

图4是本发明实施例中P帧转码流程图。

具体实施方式

本发明的技术方案具体包含两部分，即H.264的解码部分和H.265的编码部分，首先将H.264编码的视频完全解码到像素域，在此解码过程中，提取出视频的所有I帧中的每个宏块的编码宏块类型、编码块模式、残差和所有P帧编码宏块类型、运动矢量、参考帧及残差，并保存；然后把解码部分得到的像素域的视频用H.265编码标准进行重新编码，在H.264编码部分，对图像宏块进行编码模式选择时，根据保存信息选择适当编码模式作为H.265CTU的最佳编码模式。具体方法可采用软件技术实现自动运行过程。以下结合附图和实施例详细说明本发明技术方案。

参见图2，本发明实施例提供的转码方法具体实现如下：

1.H.264解码过程

对符合H.264标准的码流进行解码时，可在熵解码后，提取帧信息，包括帧类型和POC(图像序列号)，在各个宏块的解码过程中，提取宏块编码模式，若为帧内宏块，则提取预测模式，若为帧间宏块，则提取预测模式、运动矢量及参考帧信息。最终解码出像素域图像。

提取的帧信息、编码宏块类型、运动估计数据中，帧信息包含了帧类型(包括I帧、P帧、B帧，本方法针对于只含I帧与P帧的H.264视频进行处理)，编码宏块类型包含了宏块大小(是否划分子宏块，及子宏块大小)、帧内预测模式、帧间预测模式，运动估计数据包含了帧间预测矢量及参考帧信息。

这样将H.264编码的视频作为原始视频。对H.264格式视频按照对H.264标准进行解码到像素域，得到像素域的视频，可得到YUV格式的图像；在原始视频的解码过程中，提取出视频的所有I帧中的每个宏块的编码宏块类型、编码块模式、残差和所有P帧中的每个宏块的编码宏块类型、运动矢量、参考帧及残差，并保存。其中帧信息、编码宏块类型、编码块模式、运动估计数据(包含运动矢量及参考帧)遵循H.264视频编码标准。

2.H.265的编码过程

根据保存的信息，用H.265编码标准对像素域的视频进行重新编码，得到H.265编码的视频；在H.265编码过程中，根据解码宏块类型及残差自适应选择删减模式或直接做类型映射。

本发明提供一种具体方案，能将从H.264视频信号中提取的帧信息、编码宏块类型、运动估计数据及残差等信息，用于产生H.265帧信息、编码块类型及运动估计数据，其中H.265编码块类型、估计数据应遵循H.265视频编码格式；基于产生的类型及编码信息进行H.265编码，得到H.265视频。

该方案包含了根据H.264编码I帧信息与P帧信息的到H.265标准模式搜索范围的确定，及当H.265选取适当模式作为最终编码模式时，帧内预测与运动估计数据的重复利用：

由I帧确定的搜索范围如下：

H.265将CTU大小设为16×16或32×32，CTU大小是编码器最大编码块的大小，具体实施时本领域技术人员可预先设置，

若CTU为16×16大小，则对转码视频进行模式对应，

若H.264编码宏块类型信息为帧内16×16无子宏块划分，则H.265中CTU不继续划分，且预测类型及预测方向与H.264中保持一致；

若H.264编码宏块类型信息为帧内16×16子宏块划分为8×8小块，则H.265中CTU划分一次，CTU中4个CU的预测模式及预测方向分别与H.264中4个子宏块一致；

若H.264编码宏块类型信息为帧内16×16子宏块划分为4×4小块，按H.265标准的原有搜索过程遍历所有模式及划分。

若CTU被设置为32×32大小，则首先根据H.264残差值进行判断，

若残差值大于等于相应预设阈值，则直接进行一次CTU划分，成为4个16×16大小的CU，其后搜索方式与I帧CTU16×16情况相同；

若残差值小于相应预设阈值，则搜索32×32及16×16模式(即CU为32×32和16×16的所有预测模式，包括CU大小为32x32的所有预测模式及CU分割为大小为16x16CU的所有预测模式)，其中16×16模式与CTU16×16情况相同，选取率失真代价较小的作为最终模式。

具体实施时，本领域技术人员可自行预先设置相应阈值。

由P帧确定的搜索范围如下：

H.265将CTU大小设为16×16或32×32，CTU大小是编码器最大编码块的大小，具体实施时本领域技术人员可预先设置，

若CTU为16×16大小，则对转码视频进行模式对应。

若H.264中宏块采用Pskip模式，H.265中CTU将直接使用Merge模式；

若H.264中宏块采用P16×16模式，H.265中CTU将搜索2N×2N(该划分下H.264对应的H.265模式，即相应大小模式)与Merge模式，并取率失真代价较小的作为最终模式，其中2N×2N模式的运动矢量与参考帧与H.264中保持一致；

若H.264中宏块继续划分(即P16×8、P8×16或P8×8)，则H.265中CTU按同样方式划分，搜索该划分下H.264对应的H.265模式(即相应大小模式，分别对应2N×N模式、N×2N模式、2N×2N模式)与Merge模式，并取率失真代价较小的作为最终模式，其中H.264对应的H.265模式的运动矢量与参考帧与H.264中保持一致。

若CTU设置为32×32，则根据H.264残差值进行判断，

若残差值小于相应预设阈值且CTU对应得H.2644个宏块的运动矢量之间的距离小于相应预设阈值，则CTU搜索2N×2N模式与Merge模式，并取率失真代价较小的作为最终模式，其中2N×2N模式的运动矢量为4个宏块的运动矢量的平均值；

若不满足上述条件，则CTU继续划分，其后搜索方式与P帧CTU16×16情况相同。

具体实施时，本领域技术人员可自行预先设置残差值、距离的相应阈值。

为便于实施参考起见，提供实施例的实现过程具体说明如下：

首先，根据H.264解码器中提取的帧信息，对H.265编码器进行帧类型对应。若H.264解码器中提取的帧信息为I帧，则H.265相应地编码I帧；若H.264解码器中提取的帧信息为P帧，则H.265相应地编码P帧。并设置H.265中的POC值等于原始图像的POC。

然后，根据CTU(编码树单元)大小进行处理，若CTU设置为16×16,执行处理A(I帧)或处理B(P帧)；若CTU设置为32×32，执行处理C(I帧)或处理D(P帧)。

处理A，16×16帧内处理：

参见图3，对于编码器I帧中16×16CTU，根据H.264信息中的宏块类型，选取CTU是否继续划分，具体地，

若H.264中宏块为I16x16类型，则CTU不划分。

若H.264中宏块为I8x8类型，则CTU划分一次，分为4个CU(编码单元)。

若H.264中宏块为I4x4类型，则利用编码器原有算法搜索划分大小。

对I帧的CU进行预测模式对应，对应关系如下表所示。执行完成I帧CTU编码。

H.264预测模式	H.265预测模式
		DC	DC
0	26
		1	10
3	34
		4	18
5	22
		6	14
7	30
		8	6

处理B，16×16帧间处理：

参见图4，对于编码器P帧中16×16CTU，根据H.264信息中的宏块类型，选取CTU是否继续划分，并确定搜索分支。

若H.264中宏块为P16x16类型，则CTU不划分,并搜索2Nx2N及Merge模式。

若H.264中宏块为P8x8类型，则CTU划分一次，分为4个CU，并对每个CU搜索2Nx2N及Merge模式。

若H.264中宏块为P16x8类型，则对CTU不划分，搜索2NxN、Merge两种模式。

若H.264中宏块为P8x16类型，则对CTU不划分，搜索Nx2N、Merge两种模式。

若H.264宏块为Pskip模式，则直接使用Merge模式。

最后在搜索的几种模式中选取代价函数最小的编码模式作为该CU的最佳编码模式。

若P帧中CTU选取的模式与原有的模式对应(即CTU选取的模式为非Merge模式且大小与H.264相同)，则直接使用从H.264中提取的运动矢量与参考帧作为本块的运动信息。否则，采用的是Merge模式，用H.265标准中Merge模式相应原有算法算得运动信息。执行完成P帧CTU编码。

处理C，32×32帧内处理：

参见图3，对于编码器I帧中32×32CTU，则根据H.264残差值进行判断，

若残差值大于或等于相应预设阈值，则直接进行一次CTU划分，成为4个16×16大小的CU，其后搜索方式与I帧CTU16×16情况相同，即分别执行处理A，但执行对象为划分的各CU；

若残差值小于相应预设阈值，则搜索CU大小为32x32的所有预测模式及CU分割为大小为16x16CU的所有预测模式，选取率失真代价较小的作为最终模式。

完成I帧CTU编码。

处理D，32×32帧间处理：

参见图4，对于编码器P帧中32×32CTU,则根据H.264残差值进行判断，

若残差值小于相应预设阈值且CTU对应的H.264中4个宏块的运动矢量之间的距离小于相应预设阈值，则CTU搜索2N×2N模式与Merge模式，并取率失真代价较小的作为最终模式，其中2N×2N模式的运动矢量为4个宏块的运动矢量的平均值；

若不满足上述条件，则CTU继续划分，得到4个16×16大小的CU，其后搜索方式与P帧CTU16×16情况相同，即分别执行处理B，但执行对象为划分的各CU。

参见图1，可将解码过程和编码过程分别实现为解码器和编码器，将H.264解码器提取出来的帧信息、宏块信息和解码图像一并送入H.265编码器进行编码。本发明主要改进在于提高了CTU划分、帧内预测、运动补偿及运动估计部分的判决速度，与原有的变换量化、反变换量化、环路滤波、DPB及熵编码模块一并组成整个转码系统。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (1)

1.一种H.264到H.265的视频转码方法，其特征在于：包括H.264解码过程和H.265编码过程，所述H.264解码过程，是将符合H.264标准的码流完全解码到像素域，解码中提取出所有I帧中每个宏块的编码宏块类型、编码块模式、残差和所有P帧中每个宏块的编码宏块类型、运动矢量、参考帧及残差；

所述H.265编码过程，是根据H.264解码结果进行H.265编码，得到H.265视频，包括根据CTU设置和帧类型进行以下相应处理，

处理A.当H.265中设置的CTU大小为16×16且帧类型为I帧时，进行帧内处理如下，若H.264中宏块为I16x16类型，则H.265中CTU不继续划分，且预测模式及预测方向与H.264中保持一致；

若H.264中宏块为I8x8类型，则H.265中CTU划分一次，分为4个CU，CTU中4个CU的预测模式及预测方向分别与H.264中4个子宏块一致；

若H.264中宏块为I4x4类型，则利用H.265标准的原有搜索过程进行处理；

处理B.当H.265中设置的CTU大小为16×16且帧类型为P帧时，进行帧内处理如下，若H.264中宏块为P16x16类型，则H.265中CTU不划分，并搜索相应大小模式及Merge模式，并取率失真代价较小的作为最终模式，

若H.264中宏块为P8x8类型、P16x8类型或P8x16类型，则H.265中CTU按同样方式划分，并对每个CU搜索相应大小模式及Merge模式，并取率失真代价较小的作为最终模式；

若H.264宏块为Pskip模式，则H.265中CTU直接使用Merge模式；

如果选择相应大小模式，运动矢量和参考帧与H.264中保持一致；否则，利用H.265标准中Merge模式相应原有算法算得运动信息；

处理C.当H.265中设置的CTU大小为32×32且帧类型为I帧时，进行帧内处理如下，若残差值大于或等于相应预设阈值，则直接进行一次CTU划分，成为4个16×16大小的CU，并分别执行处理A；

若残差值小于相应预设阈值，则搜索32×32及16×16模式，选取率失真代价较小的作为最终模式；

处理D.当H.265中设置的CTU大小为32×32且帧类型为P帧时，进行帧内处理如下，若残差值小于相应预设阈值且CTU对应的H.264中4个宏块的运动矢量之间的距离小于相应预设阈值，则CTU搜索2N×2N模式与Merge模式，并取率失真代价较小的作为最终模式，其中2N×2N模式的运动矢量为4个宏块的运动矢量的平均值；

若不满足上述条件，则CTU继续划分，得到4个16×16大小的CU，其后搜索方式与P帧CTU16×16情况相同，即分别执行处理B；

其中，所述CTU为编码树单元，所述CU为编码单元。