CN114422797A - 一种基于时间依赖率失真优化的h.264到h.265转码方法 - Google Patents

Abstract

本发明涉及一种基于时间依赖率失真优化的H.264到H.265转码方法，属于通信技术领域。转码方案主要分解码器H.264和重编码器H.265两个部分。解码器部分包括、熵解码、反量化、反变换。重编码部分包含信息提取模块、帧内预测、帧间预测、变换、量化、熵编码部分。重编码器信息提取模块利用了解码器得到的运动矢量信息，来加速重编码。为了提升编码质量，重编码器部分加入了时间依赖率失真优化算法，并对时间依赖率失真优化算法的时域失真传播链路做了针对性改进。所提方案在不明显降低编码质量的同时极大地提升率编码速度。

Description

一种基于时间依赖率失真优化的H.264到H.265转码方法

技术领域

本发明属于通信技术领域，涉及一种基于时间依赖率失真优化的H.264到H.265转码方法。

背景技术

众所周知，未经编码的原始视频信息，体积十分巨大，十分不利于存储和传输。视频编码旨在去图像帧之间的空间和时间冗余，在几乎不降低图像质量的同时，降低编码码率，从而实现视频的几到几百倍压缩。编码决策包括编码模式、运动矢量、量化参数、变化系数等。对于包含编码单元的视频序列，率失真优化问题可以表示为如下

R_i是编码单元i的比特率，D_i是编码单元i的失真，R_t代表总比特数，假设O是代表n个编码单元编码决策的有限集，其中(o₁，o₂，o₃，...，o_n)∈0，o_i代表第i个编码单元的编码决策。在视频编码中，编码单元之间大量使用了帧内预测或者帧间预测，因此编码单元i的率失代价不仅仅与当前编码单元的编码决策o_i有关，还与之前的编码决策o₁，o₂，o₃，...，o_n有关。一般采用拉格朗日乘子法将有约束问题转化为无约束优化形式

其中λ_g为拉格朗日乘子，通过R-D模型获取。

率失真优化问题十分复杂，为了易于编码实现，现有的视频编码器H.264/AVC、H.265/HEVC引入了独立性假设，即忽略编码单元的编码决策之间的依赖性，独立最小化每个编码单元的率失真代价函数J＝D_i(o_i)+λ·R_i(o_i)，用局部最优去近似全局最优。但易于编码实现的同时，也会降低编码器效率。

为了提升H.264/AVC编码器编码效率，考虑了不同编码单元编码决策之间的依赖性，有学者提出一种信源失真传播模型。在其启发下，又有学者，针对HEVC的分层编码结构，又进一步提出时间依赖率失真优化算法。该算法与HEVC编码器相比，在低延迟层次编码结构下，取得2.5％左右的编码增益。

在视频通信领域中，由于传输网络，终端设备的性能不同等原因，需要不同码率、编码标准、帧率、空间分辨率等码流间的互相转换，这是就要用到视频转码。转码器分为像素域转码器和变换域转码器两种。像素域转码器的常见实现形式是级联型。

级联型转码器实现简单，视频质量也不会降低，但是需要先解码后编码，因此时间复杂度很大，会造成延迟。时域转码器，需要先经过H.264解码器，然后再使用H.265重新编码。众所周知，因为编码需要进行率失真优化代价计算和最优编码模式选择的过程，所以编码的复杂度要远远高于解码的复杂度。重新编码过程是转码的主要耗时部分，耗时大概是解码的几十倍，H.264的码流传入转码器时首先通过H.264解码器解码，H.264解码器输出是像素域的，然后再传入H.265码器进行重编码，H.265编码器的输出就是H.265码流。由于H.264编码协议和H.265之间存在很多相似性，可以利用H.264解码端的先验信息(包括，运动向量，残差，分块信息等)，来加速H.265重编码的过程，从而降低整体转码复杂度。

发明内容

有鉴于此，本发明的目的在于提供一种基于时间依赖率失真优化的H.264到H.265转码方法。

为达到上述目的，本发明提供如下技术方案：

一种基于时间依赖率失真优化的H.264到H.265转码方法，该方法包括解码和重编码；

解码包括熵解码、反量化和反变换；

重编码包括信息提取、帧内预测、帧间预测、变换、量化、熵编码和转码；

所述信息提取利用解码器得到的运动矢量信息，来加速重编码。

可选的，所述转码具体如下：

S1：H.264码流经过熵解码、反量化和反变换，获得重建图像，并将重建图像作为H.265编码器的输入；记录下H.264P帧的块的坐标、宏块划分方式和运动向量；

S2：通过运动向量合成和运动搜索相结合的方式构建时域失真传播链路，递推获取时域传播链上所有的期望失真，并根据期望失真计算树形编码单元CTU的聚合失真传播因子w_ctu；

S3：更新H.265的参考软件HM的拉格朗日乘子λ_HM为：

其中λ_g为全局拉格朗日乘子，w_ctu为聚合失真传播因子；

S4：提取H.265N×N子块在H.264中相同坐标N×N子块的运动信息，其中N为块尺寸；

S5：如果同位区域也是N×N的子块且只有一个运动向量，则提取该子块的运动向量mv并记为

如果同位区域由4个N/2×N/2的子块组成，则计算子块的S(θ)和L，其中S(θ)是指该区域内运动向量角度的方差，L是该区域内运动向量模值的偏差；

如果的S(θ)和L均小于设定的阈值，则计算H.264的4个子块的运动向量的均伯

H.265标记该N×N子块，运动估计时该块直接使用

做运动估计；

如果没有合并到

则后续的运动估计仍然通过运动搜索；

S6：N值变为N/₂，重复S3～S4，直到编码单元CU递归划分结束；

S7：根据率失真优化准则递归划分编码单元CU，到得出最优编码结构为止，最优编码结构为最终的递归划分结果；其中率失真优化准则指

其中D_i是第i个编码单元的编码失真，R_i是第i个编码单元的编码码率。

可选的，所述时域失真传播链路构建步骤如下：

(1)将图像帧划分成大小为16x16的不重叠块，以HEVC中关键帧的基本处理块U_i为例说明；

(2)提取U_i在AVC相同位置的块内所有的运动向量，并计算这些向量的

向量角度偏差，和向量模值偏差；如果小于阈值，向量均值

作为该块的运动向量，通过该运动向量找到U_i+1，如果大于阈值则做原帧运动搜索找到U_i+1；

(3)找U_i+1最近的不重叠块记作

当U_i+1不跨多个非重叠块时，

就是U_i+1；提取AVC中与

相同位置的宏块内所有的运动向量，并计算向量均值

向量角度偏差，和向量模值偏差；如果小于设定的阈值，

作为

的运动向量，如果大于阈值则通过原帧运动搜索找到

的运动向量；将

的运动向量赋给U_i+1，U_i+1通过该运动向量找到U′_i+2，U_i在f_i+2运动搜索的到U″_i+2，U′_i+2和U″_i+2的最大重合是U_i+2；

(4)同(3)的方法，依次类推找到下一受影响单元U_i+3；

(5)依次类推，建立整个受U_i影响的时域传播链路U_i→U_i+1→U_i+2→…→U_i+N。

发明的有益效果在于：

本发明设计了转码方法，利用解码器的运动信息合并出运动向量加速重编码器的编码过程。为了提升转码器的编码质量，在转码器的重编码器中加入了时间依赖率失真优化算法。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为本发明总体框图；

图2为时间依赖率失真优化算法时域失真传播链路构建原理图；

图3为改进的时域传播链路原理图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

请参阅图1，为一种基于时间依赖率失真优化的H.264到H.265转码方法。

H.264/AVC宏块尺寸为16×16，HEVC中CU最大尺寸为64×64。因此可以考虑将AVC中尺寸为N/2×N/2的块与H.265/HEVC中N×N块之间的映射关系。如果AVC中4个N/2×N/2的块的运动趋势比较一致，在HEVC中更可能编码为一个N/2×N的块。就可以利用N/2×N/2的块的运动向量来推导出N×N块的运动向量，从而避免了耗时的运动搜索过程，这是转码器的设计依据。将4个N/2×N/2的块的运动向量均值

定义如下：

其中(x_i，y_i)为运动向量在x轴和y轴的坐标分量。

考虑将4个向量与均值向量角度的偏离程度和模值的偏离程度来定义运动向量的一致性。运动向量角度与运动向量均值角度的偏离程度定义为：

模值的偏离程度定义为：

s(θ)和L的值越小，表示这个N×N区域的运动向量越一致。当s(θ)、L均小于设定的阈值，将H.264的4个N/2×N/2的块，合并成HEVC一个N×N的块，HEVC对这个N×N的块做运动估计时，不再通过运动搜索得到运动向量，而是将H.264的4个N/2×N/2的块的向量均值，作为HEVC这个N×N的块的运动向量。其中阈值的设定是经验值。

时间依赖率失真优化算法首先建立时域失真传播链路，根据该时域失真传播链路，识别出所有受到当前编码单元影响的一系列待编码单元。根据该失真传播链路，理论推导出当前编码单元的编码失真与受当前编码单元影响的未编码单元的期望失真之和。再由该失真和计算出当前编码单元的聚合失真传播因子w_ctu。然后通过w_ctu调节CTU级别的全局拉格朗日乘子就可以实现时间依赖率失真优化，提升编码效率。

算法步骤描述如下：

S1：H.264码流经过熵解码、反量化和反变换，获得重建图像，并将重建图像作为H.265编码器的输入；记录下H.264P帧的块的坐标、宏块划分方式和运动向量；

S2：构建时域失真传播链路，递推获取时域传播链上所有的期望失真，并根据期望失真计算树形编码单元CTU(coding tree unit)的聚合失真传播因子w_ctu.时域失真传播链路构建方式如下，构建图详见图3。

a..将图像帧划分成大小为16x16的不重叠块，以HEVC中关键帧的基本处理块U_i为例说明。

b.提取U_i在AVC相同位置的块内所有的运动向量，并计算这些向量的

向量角度偏差，和向量模值偏差。如果小于阈值，向量均值

作为该块的运动向量，通过该运动向量找到U_i+1，如果大于阈值则做原帧运动搜索找到U_i+1。

c.找U_i+1最近的不重叠块记作

(U_i+1不跨多个非重叠块时，

就是U_i+1)，提取AVC中与

相同位置的宏块内所有的运动向量，并计算向量均值

向量角度偏差，和向量模值偏差。如果小于设定的阈值，

作为

的运动向量，如果大于阈值则通过原帧运动搜索找到

的运动向量。将

的运动向量赋给U_i+1，U_i+1通过该运动向量找到U′_i+2。U_i在f_i+2运动搜索的到U″_i+2，U′_i+2和U″_i+2的最大重合是U_i+2。

d.同c的方法，依次类推可以找到下一受影响单元U_i+3。

e.依次类推，建立整个受U_i影响的时域传播链路U_i→U_i+1→U_i+2→…→U_i+N。

S3：并更新H.265的参考软件HM的拉格朗日乘子λ_HM为：

其中λ_g为全局拉格朗日乘子，w_ctu为聚合失真传播因子。

S4：提取H.265N×N子块在H.264中相同坐标N×N子块的运动信息，其中N为块尺寸。

S5：如果同位区域也是N×N的子块且只有一个运动向量，则提取该子块的运动向量mv并记为

如果同位区域由4个N/2×N/2的子块组成，则计算子块的S(θ)和L，其中S(θ)是指该区域内运动向量角度的方差，L是该区域内运动向量模值的偏差。

如果的S(θ)和L均小于设定的阈值，则计算H.264的4个子块的运动向量的均伯

H.265标记该N×N子块，运动估计时该块直接使用

做运动估计；

如果没有合并到

则后续的运动估计仍然通过运动搜索；

S6：N值变为N/2，重复S3～S4，直到编码单元CU(coding unit)递归划分结束；

S7：根据率失真优化准则递归划分编码单元CU，到得出最优编码结构为止，最优编码结构即最终的递归划分结果。其中率失真优化准则指

其中D_i是第i个编码单元的编码失真，R_i是第i个编码单元的编码码率。

转码器由H.264参考软件JM19和HEVC参考软件HM13级联而成，试验条件按照国际编码标准JCT-VC提议的通用测试条件，重编码器配置为低延层次编码P.其中I帧使用22、27、32、37四个QP值，P帧QP偏移值为3，2，3，1，GOP长度设置为4。

使用BDBR和BDPSNR评估转码器评估。BDBR可以反应在重建质量相同时码率的使用情况。BDBR为负代表码率减少，BDBR为正代表码率增加。所提算法复杂度评估使用编码时间降低百分比来衡量：

时间依赖率失真优化时域传播链路的构建方式如图2所示。

时间依赖率失真优化算法的时域传播链路的构建是通过对原始帧(originalframes)进行前向运动搜索来构建。关键帧f_i中块U_i，为例说明：U_i在f_i+1做原始帧运动搜索的到U_i+1。U_i在f_i+2施加直接影响和间接影响两种。直接影响即以U_i为模板在f_i+2做原始帧运动搜索得到U′_i+2.间接影响即U_i影响U_i+1，U_i+1在f_i+2做原帧运动搜索是U″_i+2。U′_i+2和U″_i+2最大的重合块就是U_i影响到的块U_i+2，依次类推构建这个时域传播链路。

由于本文引入了转码，有了先验信息，可以对时间依赖率失真优化技术的时域失真传播链路做出针对性改进，具体如图3所示。

1)将图像帧划分成大小为16x16的不重叠块，以HEVC中关键帧的基本处理块U_i为例说明。

2)提取U_i在AVC相同位置的块内所有的运动向量，并计算这些向量的

向量角度偏差，和向量模值偏差。如果小于阈值，向量均值

作为该块的运动向量，通过该运动向量找到U_i+1，如果大于阈值则做原帧运动搜索找到U_i+1。

3)找U_i+1最近的不重叠块记作

(U_i+1不跨多个非重叠块时，

就是U_i+1)，提取AVC中与

相同位置的宏块内所有的运动向量，并计算向量均值

向量角度偏差，和向量模值偏差。如果小于设定的阈值，

作为

的运动向量，如果大于阈值则通过原帧运动搜索找到

的运动向量。将

的运动向量赋给U_i+1，U_i+1通过该运动向量找到U′_i+2。U_i在f_i+2运动搜索的到U″_i+2，U′_i+2和U″_i+2的最大重合是U_i+2。

4)同3)的方法，依次类推可以找到下一受影响单元U_i+3。

5)依次类推，建立整个受U_i影响的时域传播链路U_i→U_i+1→U_i+2→…→U_i+N。

与文中的时域链路不同的是：在寻找下一直接受当前影响直接影响不重叠块的时候，采取向量合并和原帧运动搜索相结合的方式，极大的减少了原帧运动搜索次数，节省了编码时间。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种基于时间依赖率失真优化的H.264到H.265转码方法，其特征在于：该方法包括解码和重编码；

解码包括熵解码、反量化和反变换；

重编码包括信息提取、帧内预测、帧间预测、变换、量化、熵编码和转码；

所述信息提取利用解码器得到的运动矢量信息，来加速重编码。

2.根据权利要求1所述的一种基于时间依赖率失真优化的H.264到H.265转码方法，其特征在于：所述转码具体如下：

S1：H.264码流经过熵解码、反量化和反变换，获得重建图像，并将重建图像作为H.265编码器的输入；记录下H.264P帧的块的坐标、宏块划分方式和运动向量；

S2：通过运动向量合成和运动搜索相结合的方式构建时域失真传播链路，递推获取时域传播链上所有的期望失真，并根据期望失真计算树形编码单元CTU的聚合失真传播因子w_ctu；

S3：更新H.265的参考软件HM的拉格朗日乘子λ_HM为：

其中λ_g为全局拉格朗日乘子，w_ctu为聚合失真传播因子；

S4：提取H.265N×N子块在H.264中相同坐标N×N子块的运动信息，其中N为块尺寸；

S5：如果同位区域也是N×N的子块且只有一个运动向量，则提取该子块的运动向量mv并记为

如果同位区域由4个N/2×N/2的子块组成，则计算子块的S(θ)和L，其中S(θ)是指该区域内运动向量角度的方差，L是该区域内运动向量模值的偏差；

如果的S(θ)和L均小于设定的阈值，则计算H.264的4个子块的运动向量的均值

H.265标记该N×N子块，运动估计时该块直接使用

做运动估计；

如果没有合并到

则后续的运动估计仍然通过运动搜索；

S6：N值变为N/2，重复S3～S4，直到编码单元CU递归划分结束；

S7：根据率失真优化准则递归划分编码单元CU，到得出最优编码结构为止，最优编码结构为最终的递归划分结果；其中率失真优化准则指

其中D_i是第i个编码单元的编码失真，R_i是第i个编码单元的编码码率。

3.根据权利要求2所述的一种基于时间依赖率失真优化的H.264到H.265转码方法，其特征在于：所述时域失真传播链路构建步骤如下：

(1)将图像帧划分成大小为16x16的不重叠块，以HEVC中关键帧的基本处理块U_i为例说明；

(2)提取U_i在AVC相同位置的块内所有的运动向量，并计算这些向量的

向量角度偏差，和向量模值偏差；如果小于阈值，向量均值

作为该块的运动向量，通过该运动向量找到U_i+1，如果大于阈值则做原帧运动搜索找到U_i+1；

(3)找U_i+1最近的不重叠块记作

当U_i+1不跨多个非重叠块时，

就是U_i+1；提取AVC中与

相同位置的宏块内所有的运动向量，并计算向量均值

向量角度偏差，和向量模值偏差；如果小于设定的阈值，

作为

的运动向量，如果大于阈值则通过原帧运动搜索找到

的运动向量；将

的运动向量赋给U_i+1，U_i+1通过该运动向量找到U′_i+2，U_i在f_i+2运动搜索的到U″_i+2，U′_i+2和U″_i+2的最大重合是U_i+2；

(4)同(3)的方法，依次类推找到下一受影响单元U_i+3；

(5)依次类推，建立整个受U_i影响的时域传播链路U_i→U_i+1→U_i+2→…→U_i+N。

Images