CN103491334A - 一种基于区域特征分析的由h264到hevc的视频转码方法 - Google Patents

Abstract

本发明公开了一种基于区域特征分析的由H264到HEVC的视频转码方法，包括以下步骤：对原始H.264视频流进行解码，提取出当前解码帧的宏块编码比特数、宏块编码模式以及运动矢量场；将HEVC编码树单元覆盖的区域对应至当前解码帧的各个宏块，计算每个区域的编码复杂度，并确定每个HEVC编码树单元的搜索深度范围；针对每个编码树单元，按照对应的搜索深度范围逐级进行运动估计，若预测单元的模式为Inter模式时，进行区域特征分析，得到分割模式；将每个预测单元按照保留的各种分割模式进行运动搜索，选择率失真最小的分割模式和运动矢量进行HEVC重编码。本发明在保持几乎相同率失真前提下，转码速度获得了大幅提高。

Description

一种基于区域特征分析的由H264到HEVC的视频转码方法

技术领域

本发明涉及视频转码领域，具体来说是一种基于区域特征分析的由H264到HEVC的视频转码方法。 

背景技术

随着不同网络类型、接收终端和内容表现形式的多样化，不同系统和网络之间的交互变得越来越重要，但由于用户的视频接收设备具有多样性，在屏幕大小计算，存储设备容量和功耗要求等方面差异巨大，再加上不同种类的网络特性各异，用户所拥有的传输带宽各不相同，对视频的时间空间分辨率要求也都不尽相同，致使同一视频片源需要在广播电视网，电信网和通信网中同时或协同播出，在不同的网络设备之间无缝切换。以上需求均迫使视频码流能够动态调整，从而支持不同网络，满足各种用户的要求。网关、多点控制单元和服务器等设备担负起为内容提供商和用户之间提供无缝交互的重要任务，而视频转码技术使这些设备高效完成这一任务成为可能。 

H.264作为目前应用最为广泛的视频编码标准，在提高编码效率和灵活性方面取得了巨大成功，它使数字视频有效地应用在各种各样的网络类型和工程领域，然而，多样化的服务、高清视频的普及、以及超高清格式（4K×2K或8K×4K分辨率）的出现对于比H.264编码效率更高的下一代视频编码标准提出了强烈的需求。 

在这样的背景下，MPEG和VCEG组织于2010年成立了视频编码联合协作小组(JCT-VC)，经过多年的努力研发出了H.264标准的继承者，新一代视频编码标准HEVC，成为数字视频压缩技术史上新的里程碑。 

现有技术的完善与新技术的不断推出，极大地推动了数字视频技术的实用化和产业化。然而HEVC为了提高编码效率，引入了一系列相当耗时 的编码算法，给实时视频转码应用带来了新的挑战。 

针对H.264到HEVC转码复杂度高的问题，一些新的快速转码方法被提出，Shen等人提出了一种利用多核处理器实现波前并行处理和SIMD加速的超快速H.264/AVC到HEVC转码器；Shanableh等人提出了第一种基于内容的机器学习方法预测HEVC编码单元深度的快速H.264到HEVC转码方法；而Peixoto等人则提出了一种基于新的矩阵度量H.264运动矢量相似性的复杂度可分级的H.264到HEVC视频转码方法。 

这些方法都大幅度降低了转码过程的计算复杂度，但是，H.264到HEVC的转码过程还需要进一步以更少的质量损失达到更高的速度提升。 

发明内容

本发明提供了一种基于区域特征分析的由H.264到HEVC的视频转码方法，相比现有的标准转码算法和参考转码算法，在保持相同的率失真的前提下，转码速度获得了大幅提高。 

一种基于区域特征分析的由H.264到HEVC的视频转码方法，包括以下步骤： 

(1)输入原始H.264视频流，并对该视频流进行解码，在解码过程中，提取出当前解码帧的宏块编码比特数、DCT块熵编码系数以及运动矢量场； 

(2)将HEVC编码树单元覆盖的区域对应至当前解码帧的各个宏块，计算每个区域的编码复杂度，并依据编码复杂度确定每个HEVC编码树单元的搜索深度范围； 

(3)针对每个编码树单元，按照对应的搜索深度范围逐级进行运动估计，若预测单元的模式为Inter模式时，进行步骤3-1： 

若预测单元的模式为Skip模式或者Intra模式时，利用现有技术进行HEVC重编码。 

3-1、利用步骤(1)中得到的H.264码流中当前预测单元的DCT块，计算相应DCT块的能量En_4×4(i,j)，公式如下： 

En_4×4(i,j)＝|DC(i,j)|+|AC₀₁(i,j)|+|AC₁₀(i,j)|+|AC₁₁(i,j)| 

其中，DC，AC₀₁，AC₁₀和AC₁₁为每个DCT块的左上角熵编码系数； 

(i，j)为DCT块在当前解码帧中的坐标； 

3-2、利用下式对步骤（1）中得到的运动矢量进行滤波： 

其中，FMV(i,j)为滤波后的运动矢量； 

MV(i,j)为步骤（1）中得到的运动矢量； 

Th_MV为设定的阈值； 

3-3、对步骤3-2得到的滤波后的运动矢量进行聚类，具体步骤如下： 

在预测单元所对应的编码区域中设定两个基准种子块，各DCT块按照与两个基准种子块的参照距离D_mn的大小划分至对应基准种子块的分割区域中，D_mn的计算公式如下： 

$d_{\mathrm{MV}}=\sqrt{{({\mathrm{MVx}}_m-{\mathrm{MVx}}_n)}^2+{({\mathrm{MVy}}_m-{\mathrm{MVy}}_n)}^2}$

$d_{\mathrm{mn}}=\sqrt{{(x_m-x_n)}^2+{(y_m-y_n)}^2}$

$S=\sqrt{\mathrm{WH}}$

$D_{\mathrm{mn}}=d_{\mathrm{MV}}+\frac{C}{S}{d}_{\mathrm{mn}}$

其中，m为任意一个DCT块，n为一个基准种子块； 

(MVx_m,MVy_m)为运动矢量场FMV(i,j)中DCT块m的运动矢量大小； 

(MVx_n,MVy_n)为运动矢量场FMV(i,j)中基准种子块n的运动矢量大小； 

(x_m,y_m)为块m的坐标； 

(x_n,y_n)为块n的坐标； 

S为每个运动矢量聚类的大小； 

W是与基准种子块n相对应的矩形邻近待聚类区域的宽度； 

H是与基准种子块n相对应的矩形邻近待聚类区域的高度； 

C为常数；用来控制运动矢量聚集度的参数，也是用来权衡运动矢量 大小相似度和空间相似度的权重。 

3-4、依据步骤3-3中的聚类结果，根据分界线的走向进行如下设定： 

a、若分界线为斜率为1的直线，且聚类得到的两类的运动矢量相等，则当前预测单元作为最大分割深度，不再继续分割，当前预测单元的分割模式为2N×2N；2N×N；N×2N； 

b、若分界线倾向于竖直，则当前预测单元继续分割，当前预测单元的分割模式为2N×2N；N×2N；nL×2N；nR×2N； 

c、若分界线倾向于水平，则当前预测单元继续分割，当前预测单元的分割模式为2N×2N；2N×N；2N×nU；2N×nD； 

(4)将每个预测单元按照保留的各种分割模式进行运动搜索，选择率失真最小的分割模式，以及该分割模式相应的运动矢量进行HEVC重编码。 

作为优选，所述步骤(2)中计算每个区域的编码复杂度，计算规则如下： 

$\mathrm{Region}\left(k\right)=\left\{\begin{array}{cc}\mathrm{LOW},& \mathrm{if}{\mathrm{CTUBits}}_{\mathrm{avg}}\left(k\right)<(1-\mathrm{\&alpha;})\&times;{\mathrm{FrameBits}}_{\mathrm{avg}}\\ \mathrm{HIGH},& \mathrm{if}{\mathrm{CTUBits}}_{\mathrm{avg}}\left(k\right)>(1+\mathrm{\&alpha;})\&times;{\mathrm{FrameBits}}_{\mathrm{avg}}\\ \mathrm{MEDIUM},& \mathrm{others}\end{array}\right.$

其中，Region(k)为编码复杂度； 

k为区域的编号； 

CTUBits_avg(k)为每个编码树单元的平均宏块编码比特数； 

FrameBits_avg为当前解码帧的平均宏块编码比特数； 

(1-α)×FrameBits_avg和(1+α)×FrameBits_avg为分割阈值；α为常数；α用于权衡编码视频质量和编码时间的参数。 

HIGH、MEDIUM、LOW分别代表编码复杂度高、中、低三个类型。 

编码树单元是指HEVC编码的基本结构，编码树单元上的每个节点按照区域位置可以对应至当前解码帧中的若干宏块，实际进行转码操作时，每个编码树单元的节点对应一个预测单元，编码树单元和预测单元都可以对应至当前解码帧中的编码区域，编码树单元的编码复杂度计算方法，同样适用于预测单元的编码复杂度。 

作为优选，所述步骤(2)中依据编码复杂度确定每个HEVC编码树单元的搜索深度范围，确定规则如下： 

$\mathrm{DepthRange}\left(k\right)=\left\{\begin{array}{cc}\left[\mathrm{0,2}\right],& \mathrm{if\; Region}\left(k\right)=\mathrm{LOW}\\ \left[\mathrm{1,3}\right],& \mathrm{if\; Region}\left(k\right)=\mathrm{HIGH}\\ \left[\mathrm{0,3}\right],& \mathrm{if\; Region}\left(k\right)=\mathrm{MEDIUM}\end{array}\right.$

其中，DepthRange(k)代表第k个编码树单元的搜索深度范围，DepthRange(k)可取值为0、1、2和3，0对应的预测单元的大小为64×64；1对应的预测单元的大小为32×32；2对应的预测单元的大小为16×16；3对应的预测单元的大小为8×8。 

例如，[0,2]意味着进行运动搜索时，依次搜索64×64、32×32和16×16。 

作为优选，所述步骤3-2中阈值Th_MV的计算公式如下： 

Th_MV＝-0.0087×QP²-0.0058×QP+15.06 

其中，QP为量化系数。 

作为优选，所述步骤3-3中，两个基准种子块的中心在预测单元中所处的位置为： 

第一基准种子块位于距离预测单元左上顶点四分之一宽度和四分之一高度的位置； 

第二基准种子块位于距离预测单元右下顶点四分之一宽度和四分之一高度的位置。 

作为优选，所述步骤(4)中将每个预测单元按照保留的各种分割模式进行运动搜索时，利用步骤(1)中获得的H.264码流中的运动矢量确定HEVC的搜索起点，确定规则如下： 

对于分割模式为2N×2N： 

${\mathrm{MVP}}_{\mathrm{PU}\left(i\right)}=\left\{\begin{array}{c}{\mathrm{MV}}_{\mathrm{cluster}}\left[0\right],{\mathrm{Size}}_{\mathrm{cluster}}\left[0\right]>{\mathrm{Size}}_{\mathrm{cluster}}\left[1\right],\\ {\mathrm{MV}}_{\mathrm{cluster}}\left[1\right],\mathrm{otherwise}\end{array}\right.$

对于分割模式为2N×N和N×2N： 

${\mathrm{MVP}}_{\mathrm{PU}\left(i\right)}=\left\{\begin{array}{c}{\mathrm{MV}}_{\mathrm{cluster}}\left[0\right],{\mathrm{Size}}_{\mathrm{cluster}}\left[0\right]>4\&times;{\mathrm{Size}}_{\mathrm{cluster}}\left[1\right],\\ {\mathrm{MV}}_{\mathrm{cluster}}\left[1\right],{\mathrm{Size}}_{\mathrm{cluster}}\left[1\right]>4\&times;{\mathrm{Size}}_{\mathrm{cluster}}\left[0\right],\\ {\mathrm{MV}}_{\mathrm{cluster}}\left[i\right],\mathrm{otherwise}\end{array}\right.$

对于分割模式为nL×2N，nR×2N，2N×nU和2N×nD： 

MVP_PU(i)＝MV_cluster[i] 

式中，MVP_PU(i)为每种预测单元分割模式中，第i部分对应的重新确定的运动矢量； 

MV_cluster[i]代表聚类得到的第i类的运动矢量； 

Size_cluster[i]代表聚类得到的第i类的区域大小。 

作为优选，所述步骤(4)中将每个预测单元按照保留的各种分割模式进行运动搜索时，利用步骤(1)中获得的H.264码流中的运动矢量确定HEVC的搜索范围，搜索范围SR_PU如下： 

SR_PU＝max{SR_O/8,max{MV_maxx,MV_maxy}} 

式中，MV_maxx为预测单元对应编码区域的H.264运动矢量x方向的最大值； 

MV_maxy为预测单元对应编码区域的H.264运动矢量y方向的最大值； 

SR_O是预先设定的原始搜索范围。 

本发明基于区域特征分析的由H.264到HEVC的视频转码方法，相比现有的标准转码算法和参考转码算法，在保持相同的率失真的前提下，转码速度获得了大幅提高。 

附图说明

图1为本发明基于区域特征分析的由H.264到HEVC的视频转码方法的流程图； 

图2为本发明的BasketballDrive序列在不同QP（量化系数）配置下的编码复杂度区域分割结果；其中(a)为原始帧，(b)的量化系数为22，(c)的量化系数为27，(d)的量化系数为37； 

图3为本发明基于区域特征分析的由H.264到HEVC的视频转码方法的滤波示意图，其中（e）为正向滤波，（f）为反向滤波； 

图4为本发明基于区域特征分析的由H.264到HEVC的视频转码方法的聚类示意图； 

图5为本发明基于区域特征分析的由H.264到HEVC的视频转码方法得到的聚类结果； 

图6为本发明的针对四种不同分辨率的典型序列（(g)Kimono1(1920×1080)，(h)FourPeople(1280×720)，(i)RaceHorses(832×480)，(j)BlowingBubbles(416×240)）的率失真表现对比，图中Proposed为本发明提出的方法，Anchor为现有标准转码方法（JM+HM）。 

具体实施方式

下面结合附图，对本发明基于区域特征分析的由H.264到HEVC的视频转码方法做详细描述。 

如图1所示，一种基于区域特征分析的由H.264到HEVC的视频转码方法，包括以下步骤： 

(1)输入原始H.264视频流，并对该视频流进行解码，在解码过程中，提取出当前解码帧的宏块编码比特数、DCT块熵编码系数以及运动矢量场； 

就解码过程本身而言，可以采用现有技术，本发明由于在后续过程中的计算需要，在此强调了宏块编码比特数、DCT块熵编码系数以及运动矢量场这三类信息的获取。 

(2)将HEVC编码树单元覆盖的区域对应至当前解码帧的各个宏块，计算每个区域的编码复杂度，并依据编码复杂度确定每个HEVC编码树单元的搜索深度范围； 

其中计算每个HEVC编码数单元覆盖的计算每个区域的编码复杂度，计算规则如下： 

$\mathrm{Region}\left(k\right)=\left\{\begin{array}{cc}\mathrm{LOW},& \mathrm{if}{\mathrm{CTUBits}}_{\mathrm{avg}}\left(k\right)<(1-\mathrm{\&alpha;})\&times;{\mathrm{FrameBits}}_{\mathrm{avg}}\\ \mathrm{HIGH},& \mathrm{if}{\mathrm{CTUBits}}_{\mathrm{avg}}\left(k\right)>(1+\mathrm{\&alpha;})\&times;{\mathrm{FrameBits}}_{\mathrm{avg}}\\ \mathrm{MEDIUM},& \mathrm{others}\end{array}\right.$

其中，Region(k)为编码复杂度； 

k为区域的编号； 

CTUBits_avg(k)为每个编码树单元的平均宏块编码比特数，计算公式为： ${\mathrm{CTUBits}}_{\mathrm{avg}}\left(k\right)=\frac{1}{N_{\mathrm{CTU}\left(k\right)}}\underset{{i\&Element;R}_{\mathrm{CTU}\left(k\right)}}{\mathrm{\&Sigma;}}{\mathrm{MBBits}}_i$ ，式中MBBits_i为每个编码树单元的宏块编码比特数之和；N_CTU(k)为每个编码树单元的宏块个数； 

FrameBits_avg为当前解码帧的平均宏块编码比特数；计算公式为  $\mathrm{Frame}{\mathrm{Bits}}_{\mathrm{avg}}=\frac{1}{N_{\mathrm{frame}}}\underset{{i\&Element;R}_{\mathrm{frame}}}{\mathrm{\&Sigma;}}{\mathrm{MBBits}}_i,$ 式中，MBBits_i为当前解码帧的宏块编码比特数之和；N_frame为当前解码帧的宏块个数； 

(1-α)×FrameBits_avg和(1+α)×FrameBits_avg为分割阈值；α取值0.1。 

HIGH、MEDIUM、LOW分别代表编码复杂度高、中、低三个类型。 

依据编码复杂度确定每个HEVC编码树单元的搜索深度范围，确定规则如下： 

$\mathrm{DepthRange}\left(k\right)=\left\{\begin{array}{cc}\left[\mathrm{0,2}\right],& \mathrm{if\; Region}\left(k\right)=\mathrm{LOW}\\ \left[\mathrm{1,3}\right],& \mathrm{if\; Region}\left(k\right)=\mathrm{HIGH}\\ \left[\mathrm{0,3}\right],& \mathrm{if\; Region}\left(k\right)=\mathrm{MEDIUM}\end{array}\right.$

其中，DepthRange(k)代表第k个编码树单元的搜索深度范围，DepthRange(k)可取值为0、1、2和3，0对应的预测单元的大小为64×64（像素）；1对应的预测单元的大小为32×32；2对应的预测单元的大小为16×16；3对应的预测单元的大小为8×8。 

例如，[1,3]意味着在后续进行运动搜索时，依次搜索32×32、16×16和8×8这三种大小的编码树单元。 

(3)针对每个编码树单元，按照对应的搜索深度范围逐级进行运动估计，若预测单元的模式为Inter模式时，进行步骤3-1： 

若预测单元的模式为其他模式（Skip模式或者Intra模式），则依据现有 技术进行转码，本发明方法中没有优化的转码过程都采用现有技术进行操作。 

3-1、由于原始的H.264码流中的运动矢量场存在噪声，因此首先对运动矢量场进行去噪滤波，如图3所示，进行正反两个方向的去噪滤波。 

为了定义平滑区域，利用步骤(1)中得到的H.264码流中当前预测单元的DCT块（大小为4*4，步骤(1)得到的离散余弦变换块），计算相应DCT块的能量En_4×4(i,j)，公式如下： 

En_4×4(i,j)＝|DC(i,j)|+|AC₀₁(i,j)|+|AC₁₀(i,j)|+|AC₁₁(i,j)| 

其中，DC，AC₀₁，AC₁₀和AC₁₁为每个DCT块的左上角熵编码系数； 

(i，j)为DCT块在当前解码帧中的坐标； 

3-2、利用下式对步骤(1)中得到的运动矢量进行滤波： 

其中，FMV(i,j)为滤波后的运动矢量； 

MV(i,j)为步骤(1)中得到的运动矢量； 

Th_MV为设定的阈值，通过大量实验序列参数拟合得到阈值Th_MV的计算公式如下： 

Th_MV＝-0.0087×QP²-0.0058×QP+15.06 

其中，QP为量化系数，按需要进行设定。 

3-3、对步骤3-2得到的滤波后的运动矢量进行聚类，将所有DCT块划分为两类（参见文献Achanta R,Shaji A,Smith K,Lucchi A,Fua P and Süsstrunk S,“SLIC Superpixels Compared to State-of-the-Art Superpixel Methods,”IEEE Trans.on Pattern Analysis and Machine Intelligence.34(11),2274-2281(2012)中的超像素分割思想，对运动矢量场FMV(i,j)进行聚类分析），具体步骤如下： 

在预测单元所对应的编码区域中设定两个基准种子块，各DCT块按照与两个基准种子块的参照距离D_mn的大小划分至对应基准种子块的分割区 域中，预测单元中针对每个基准种子块，在基准种子块的周边设定邻近待聚类区域，只有处在邻近待聚类区域中的DCT块才进行与该基准种子块之间参照距离的计算，D_mn的计算公式如下： 

$d_{\mathrm{MV}}=\sqrt{{({\mathrm{MVx}}_m-{\mathrm{MVx}}_n)}^2+{({\mathrm{MVy}}_m-{\mathrm{MVy}}_n)}^2}$

$d_{\mathrm{mn}}=\sqrt{{(x_m-x_n)}^2+{(y_m-y_n)}^2}$

$S=\sqrt{\mathrm{WH}}$

$D_{\mathrm{mn}}=d_{\mathrm{MV}}+\frac{C}{S}{d}_{\mathrm{mn}}$

其中，m为任意一个DCT块，n为一个基准种子块； 

(MVx_m,MVy_m)为运动矢量场FMV(i,j)中DCT块m的运动矢量大小； 

(MVx_n,MVy_n)为运动矢量场FMV(i,j)中基准种子块n的运动矢量大小； 

(x_m,y_m)为块m的坐标； 

(x_n,y_n)为块n的坐标； 

S为每个运动矢量聚类的大小； 

W是与基准种子块n相对应的矩形邻近待聚类区域的宽度； 

H是与基准种子块n相对应的矩形邻近待聚类区域的高度； 

C为常数；C取值10。 

如图4所示，在预测单元中选取基准种子块1（坐标3/4W，1/4H）和基准种子块2（坐标1/4W，3/4H），基准种子块1的矩形邻近待聚类区域为高H1和宽W1所围成的区域，只有在高H1和宽W1区域内的DCT块计算与基准种子块1的D_mn；同理，基准种子块2的矩形邻近待聚类区域为高H2和宽W2所围成的区域，只有在高H2和宽W2区域内的DCT块计算与基准种子块2的D_mn。 

3-4、依据步骤3-3中的聚类结果，根据分界线的走向进行如下设定： 

a、若分界线为斜率为1的直线，且聚类得到的两类的运动矢量相等，则当前预测单元作为最大分割深度，不再继续分割，当前预测单元的分割模式为2N×2N；2N×N；N×2N； 

b、若分界线倾向于竖直，则当前预测单元继续分割，当前预测单元 的分割模式为2N×2N；N×2N；nL×2N；nR×2N； 

c、若分界线倾向于水平，则当前预测单元继续分割，当前预测单元的分割模式为2N×2N；2N×N；2N×nU；2N×nD； 

聚类结果如图5所示。 

（4）将每个预测单元按照保留的各种分割模式进行运动搜索，选择率失真最小的分割模式，以及该分割模式相应的运动矢量进行HEVC重编码。 

进行运动搜索时，针对每个预测单元，按照不同分割模式，利用步骤(1)中获得的H.264码流中的运动矢量确定HEVC的搜索起点和搜索范围，搜索起点的确定规则如下： 

对于分割模式为2N×2N： 

${\mathrm{MVP}}_{\mathrm{PU}\left(i\right)}=\left\{\begin{array}{c}{\mathrm{MV}}_{\mathrm{cluster}}\left[0\right],{\mathrm{Size}}_{\mathrm{cluster}}\left[0\right]>{\mathrm{Size}}_{\mathrm{cluster}}\left[1\right],\\ {\mathrm{MV}}_{\mathrm{cluster}}\left[1\right],\mathrm{otherwise}\end{array}\right.$

对于分割模式为2N×N和N×2N： 

${\mathrm{MVP}}_{\mathrm{PU}\left(i\right)}=\left\{\begin{array}{c}{\mathrm{MV}}_{\mathrm{cluster}}\left[0\right],{\mathrm{Size}}_{\mathrm{cluster}}\left[0\right]>4\&times;{\mathrm{Size}}_{\mathrm{cluster}}\left[1\right],\\ {\mathrm{MV}}_{\mathrm{cluster}}\left[1\right],{\mathrm{Size}}_{\mathrm{cluster}}\left[1\right]>4\&times;{\mathrm{Size}}_{\mathrm{cluster}}\left[0\right],\\ {\mathrm{MV}}_{\mathrm{cluster}}\left[i\right],\mathrm{otherwise}\end{array}\right.$

对于分割模式为nL×2N，nR×2N，2N×nU和2N×nD： 

MVP_PU(i)＝MV_cluster[i] 

式中，MVP_PU(i)为每种预测单元分割模式中，第i部分对应的重新确定的运动矢量； 

MV_cluster[i]代表聚类得到的第i类的运动矢量； 

Size_cluster[i]代表聚类得到的第i类的区域大小； 

聚类得到的第i类即对应分割模式中的第i部分。 

搜索范围SR_PU如下： 

SR_PU＝max{SR_O/8,max{MV_maxx,MV_maxy}} 

式中，MV_maxx为预测单元对应编码区域的H.264运动矢量x方向的最大值； 

MV_maxy为预测单元对应编码区域的H.264运动矢量y方向的最大值； 

SR_O是预先设定的原始搜索范围。 

将聚类得到的两类的中心点运动矢量作为MVP的候选，相应的缩小搜索范围，能够大大减少搜索所要消耗的时间。 

表1 

由表1可见，本发明方法中的码率变化BD-rate（Bjontegaard Distortion-rate的缩写，参见文献Bjontegaard G,“Improvements of the BD-PSNR model”,Doc.VCEG-AI11,35th VCEG Meeting,Berlin,Germany,Jul.2008）均较小。 

本发明的BasketballDrive序列在不同量化系数的配置下的编码复杂度 区域分割结果如图2所示，如图6所示，本发明方法应用在各种序列中均能够达到较低的率失真。 

Claims (7)

1.一种基于区域特征分析的由H264到HEVC的视频转码方法，其特征在于，包括以下步骤：

(1)输入原始H.264视频流，并对该视频流进行解码，在解码过程中，提取出当前解码帧的宏块编码比特数、DCT块熵编码系数以及运动矢量场；

(2)将HEVC编码树单元覆盖的区域对应至当前解码帧的各个宏块，计算每个区域的编码复杂度，并依据编码复杂度确定每个HEVC编码树单元的搜索深度范围；

(3)针对每个编码树单元，按照对应的搜索深度范围逐级进行运动估计，若预测单元的模式为Inter模式时，进行步骤3-1：

3-1、利用步骤(1)中得到的H.264码流中当前预测单元的DCT块，计算相应DCT块的能量En_4×4(i,j)，公式如下：

En_4×4(i,j)＝|DC(i,j)|+|AC₀₁(i,j)|+|AC₁₀(i,j)|+|AC₁₁(i,j)|

其中，DC，AC₀₁，AC₁₀和AC₁₁为每个DCT块的左上角熵编码系数；

(i，j)为DCT块在当前解码帧中的坐标；

3-2、利用下式对步骤(1)中得到的运动矢量进行滤波：

其中，FMV(i,j)为滤波后的运动矢量；

MV(i,j)为步骤（1）中得到的运动矢量；

Th_MV为设定的阈值；

3-3、对步骤3-2得到的滤波后的运动矢量进行聚类，具体步骤如下：

在预测单元所对应的编码区域中设定两个基准种子块，各DCT块按照与两个基准种子块的参照距离D_mn的大小划分至对应基准种子块的分割区域中，D_mn的计算公式如下：

$d_{\mathrm{MV}}=\sqrt{{({\mathrm{MVx}}_m-{\mathrm{MVx}}_n)}^2+{({\mathrm{MVy}}_m-{\mathrm{MVy}}_n)}^2}$

$d_{\mathrm{mn}}=\sqrt{{(x_m-x_n)}^2+{(y_m-y_n)}^2}$

$S=\sqrt{\mathrm{WH}}$

$D_{\mathrm{mn}}=d_{\mathrm{MV}}+\frac{C}{S}{d}_{\mathrm{mn}}$

其中，m为任意一个DCT块，n为一个基准种子块；

(MVx_m,MVy_m)为运动矢量场FMV(i,j)中DCT块m的运动矢量大小；

(MVx_n,MVy_n)为运动矢量场FMV(i,j)中基准种子块n的运动矢量大小；

(x_m,y_m)为块m的坐标；

(x_n,y_n)为块n的坐标；

S为每个运动矢量聚类的大小；

W是与基准种子块n相对应的矩形邻近待聚类区域的宽度；

H是与基准种子块n相对应的矩形邻近待聚类区域的高度；

C为常数；

3-4、依据步骤3-3中的聚类结果，根据分界线的走向进行如下设定：

a、若分界线为斜率为1的直线，且聚类得到的两类的运动矢量相等，则当前预测单元作为最大分割深度，不再继续分割，当前预测单元的分割模式为2N×2N；2N×N；N×2N；

b、若分界线倾向于竖直，则当前预测单元继续分割，当前预测单元的分割模式为2N×2N；N×2N；nL×2N；nR×2N；

c、若分界线倾向于水平，则当前预测单元继续分割，当前预测单元的分割模式为2N×2N；2N×N；2N×nU；2N×nD；

(4)将每个预测单元按照保留的各种分割模式进行运动搜索，选择率失真最小的分割模式，以及该分割模式相应的运动矢量进行HEVC重编码。

2.如权利要求1所述的基于区域特征分析的由H264到HEVC的视频转码方法，其特征在于，所述步骤(2)中计算每个区域的编码复杂度，计算规则如下：

$\mathrm{Region}\left(k\right)=\left\{\begin{array}{cc}\mathrm{LOW},& \mathrm{if}{\mathrm{CTUBits}}_{\mathrm{avg}}\left(k\right)<(1-\mathrm{\&alpha;})\&times;{\mathrm{FrameBits}}_{\mathrm{avg}}\\ \mathrm{HIGH},& \mathrm{if}{\mathrm{CTUBits}}_{\mathrm{avg}}\left(k\right)>(1+\mathrm{\&alpha;})\&times;{\mathrm{FrameBits}}_{\mathrm{avg}}\\ \mathrm{MEDIUM},& \mathrm{others}\end{array}\right.$

其中，Region(k)为编码复杂度；

k为区域的编号；

CTUBits_avg(k)为每个编码树单元的平均宏块编码比特数；

FrameBits_avg为当前解码帧的平均宏块编码比特数；

(1-α)×FrameBits_avg和(1+α)×FrameBits_avg为分割阈值；α为常数；

HIGH、MEDIUM、LOW分别代表编码复杂度高、中、低三个类型。

3.如权利要求2所述的基于区域特征分析的由H264到HEVC的视频转码方法，其特征在于，所述步骤(2)中依据编码复杂度确定每个HEVC编码树单元的搜索深度范围，确定规则如下：

$\mathrm{DepthRange}\left(k\right)=\left\{\begin{array}{cc}\left[\mathrm{0,2}\right],& \mathrm{if\; Region}\left(k\right)=\mathrm{LOW}\\ \left[\mathrm{1,3}\right],& \mathrm{if\; Region}\left(k\right)=\mathrm{HIGH}\\ \left[\mathrm{0,3}\right],& \mathrm{if\; Region}\left(k\right)=\mathrm{MEDIUM}\end{array}\right.$

其中，DepthRange(k)代表第k个编码树单元的搜索深度范围，DepthRange(k)可取值为0、1、2和3，0对应的预测单元的大小为64×64；1对应的预测单元的大小为32×32；2对应的预测单元的大小为16×16；3对应的预测单元的大小为8×8。

4.如权利要求3所述的基于区域特征分析的由H264到HEVC的视频转码方法，其特征在于，所述步骤3-2中阈值Th_MV的计算公式如下：

Th_MV＝-0.0087×QP²-0.0058×QP+15.06

其中，QP为量化系数。

5.如权利要求4所述的基于区域特征分析的由H264到HEVC的视频转码方法，其特征在于，所述步骤3-3中，两个基准种子块的中心在预测单元中所处的位置为：

第一基准种子块位于距离预测单元左上顶点四分之一宽度和四分之一高度的位置；

第二基准种子块位于距离预测单元右下顶点四分之一宽度和四分之一高度的位置。

6.如权利要求5所述的基于区域特征分析的由H264到HEVC的视频转码方法，其特征在于，所述步骤(4)中将每个预测单元按照保留的各种分割模式进行运动搜索时，利用步骤(1)中获得的H.264码流中的运动矢量确定HEVC的搜索起点，确定规则如下：

对于分割模式为2N×2N：

${\mathrm{MVP}}_{\mathrm{PU}\left(i\right)}=\left\{\begin{array}{c}{\mathrm{MV}}_{\mathrm{cluster}}\left[0\right],{\mathrm{Size}}_{\mathrm{cluster}}\left[0\right]>{\mathrm{Size}}_{\mathrm{cluster}}\left[1\right],\\ {\mathrm{MV}}_{\mathrm{cluster}}\left[1\right],\mathrm{otherwise}\end{array}\right.$

对于分割模式为2N×N和N×2N：

${\mathrm{MVP}}_{\mathrm{PU}\left(i\right)}=\left\{\begin{array}{c}{\mathrm{MV}}_{\mathrm{cluster}}\left[0\right],{\mathrm{Size}}_{\mathrm{cluster}}\left[0\right]>4\&times;{\mathrm{Size}}_{\mathrm{cluster}}\left[1\right],\\ {\mathrm{MV}}_{\mathrm{cluster}}\left[1\right],{\mathrm{Size}}_{\mathrm{cluster}}\left[1\right]>4\&times;{\mathrm{Size}}_{\mathrm{cluster}}\left[0\right],\\ {\mathrm{MV}}_{\mathrm{cluster}}\left[i\right],\mathrm{otherwise}\end{array}\right.$

对于分割模式为nL×2N，nR×2N，2N×nU和2N×nD：

MVP_PU(i)＝MV_cluster[i]

式中，MVP_PU(i)为每种预测单元分割模式中，第i部分对应的重新确定的运动矢量；

MV_cluster[i]代表聚类得到的第i类的运动矢量；

Size_cluster[i]代表聚类得到的第i类的区域大小。

7.如权利要求1～6任一所述的基于区域特征分析的由H.264到HEVC的视频转码方法，其特征在于，所述步骤(4)中将每个预测单元按照保留的各种分割模式进行运动搜索时，利用步骤(1)中获得的H.264码流中的运动矢量确定HEVC的搜索范围，搜索范围SR_PU如下：

SR_PU＝max{SR_O/8,max{MV_maxx,MV_maxy}}

式中，MV_maxx为预测单元对应编码区域的H.264运动矢量x方向的最大值；

MV_maxy为预测单元对应编码区域的H.264运动矢量y方向的最大值；

SR_O是预先设定的原始搜索范围。

Images