CN104202605B - 一种通过降低分辨率预测高清图像编码单元cu的划分方式的方法及其实现装置 - Google Patents

Abstract

本发明涉及一种通过降低分辨率预测高清图像编码单元CU的划分方式的方法，具体步骤包括：(1)输入一帧高清图像；(2)对步骤(1)所述的高清图像通过超分辨率方法进行分解，得到低分辨率图像；(3)确定步骤(2)所述的低分辨率图像编码单元CU的划分方式；(4)根据步骤(3)得到的低分辨率图像编码单元CU的划分方式，预测步骤(1)所述的高清图像编码单元CU的划分方式。本发明在确定高清图像编码单元CU划分方式时，通过降低高清图像的分辨率，计算低分辨率图像的分块情况，对预测高清图像编码单元CU划分方式，实现快速帧间预测的目的，减少了计算量，提高了编码速率。

Description

一种通过降低分辨率预测高清图像编码单元CU的划分方式的 方法及其实现装置

技术领域

本发明涉及一种通过降低分辨率预测高清图像编码单元CU的划分方式的方法及其实现装置，属于视频转码领域。

背景技术

近年来，由于技术的发展和人们对于生活品质需求的提高，原本的视频分辨率已经无法满足人们感官上的需要，高清的视频乃至超高清的视频应运而生，并不断的发展和壮大。随着高清视频的发展和广泛应用，随之带来的是巨大的数据量和巨大的存储和传输压力。而旧的视频编码标准H.264已经无法很好地解决高清视频的发展所带来的一系列问题，旧标准的编码效率以及压缩性能已经开始制约高清视频的发展。因此，为了满足新的视频应用对编解码标准的要求，视频编码联合协同小组(JCT-VC)目前制定出了新的视频编码标准HEVC，以提高压缩性能和编码效率。

相对于旧的H.264编解码标准，HEVC引入了许多新的更为有效的方法。在帧间预测方面，相对于H.264编码标准中的宏块MB，HEVC的不同点是引入了自适应四叉树结构的编码树单元CTU作为预测、变换、量化、熵编码的基本单元。一个编码树单元包括一个亮度编码树块CTB和两个色度编码树块，编码树单元CTU的四叉树句法制定了它所属的亮度编码块和色度编码块CB的尺寸和位置，通常一个亮度编码块和两个色度编码块及其相关的句法组成一个编码单元CU。编码单元CU的最大尺寸为其所属的亮度编码树块CTB的尺寸。编码单元CU的尺寸或包含的像素数可以设置为64×64、32×32、16×16和8×8。一般来说，编码单元CU尺寸越大，压缩性能越好。每一个编码单元CU包含着与之相关联的预测单元PU和变换单元TU。对于预测单元PU，可以分为2N×2N、2N×N、N×2N的对称分割模式以及2N×nU、2N×nD、nL×2N、nR×2N的非对称分割模式。与H.264中固定宏块MB大小的编码单元相比，HEVC对编码图像的划分更为灵活。然而，在提高视频编码性能的同时，也增加了编码过程的复杂性。并且由于高清视频的分辨率较高，像素点较多。在计算的时候复杂性就增加，导致耗时与耗能的增加。

为了获得更灵活和高质量的编码性能，HEVC标准中引入了编码单元CU、预测单元PU和变换单元TU。首先针对视频中的一帧对其进行编码单元CU的划分，将一帧图像划分为若干个不同尺寸的编码单元CU，针对于一个编码单元CU，根据一定的准则，将编码单元CU划分为两个预测单元PU。针对不同的情况，划分得到的预测单元PU的尺寸是不同的。

通常情况下，对编码单元CU划分方式的确定，即在HEVC中编码单元CU的划分方式是根据率失真优化模型来判决，首先设定CU初始分块为64×64，分别计算此分块尺寸下的率失真代价J_{CU_0}，以及构成此分块的4个32×32尺寸的编码块的率失真代价之和J_{CU_1}，将J_{CU_0}与J_{CU_1}进行比较，若后者的值小于前者，则此64×64编码块分裂为4个32×32编码块，之后将32×32尺寸的编码块作为当前块，继续重复上述过程，直到当前分块的率失真代价的值J_{CU_0}小于其分裂后的四个分块的率失真代价之和J_{CU_1}，或者当前分块尺寸已经达到8×8，此时得到的分块方式就是编码单元CU的最终划分方式。

因此，HEVC中的编码单元CU划分方法需要进行大量的运算，通过迭代进行循环寻找最佳的划分方式，由于高清视频的分辨率较大，每帧图像所包含的像素点的数量也较大，因此，HEVC中复杂的迭代计算方法会带来巨大的计算量，消耗较长的时间。

发明内容

针对现有技术的不足，本发明公开了一种通过降低分辨率预测高清图像编码单元CU的划分方式的方法；

本发明还公开了一种实现上述方法的装置；

本发明在确定高清图像编码单元CU划分方式时，通过降低高清图像的分辨率，计算低分辨率图像的分块情况，对预测高清图像编码单元CU划分方式，实现快速帧间预测的目的，减少了计算量，提高了编码速率。

本发明的技术方案为：

一种通过降低分辨率预测高清图像编码单元CU的划分方式的方法，具体步骤包括：

(1)输入一帧高清图像；

(2)对步骤(1)所述的高清图像通过超分辨率方法进行分解，得到低分辨率图像；

(3)确定步骤(2)所述的低分辨率图像编码单元CU的划分方式；

(4)根据步骤(3)得到的低分辨率图像编码单元CU的划分方式，预测步骤(1)所述的高清图像编码单元CU的划分方式。

根据本发明优选的，所述的步骤(2)的具体步骤包括：

通过式Ⅰ实现对步骤(1)所述的高清图像通过超分辨率方法进行分解，进而得到低分辨率图像；

式Ⅰ中，将高清图像按照t×s分成像素块，每个像素块包括4×4个像素点，其中，k代表像素块的横坐标，k为整数，且0≤k≤t-1；k1代表像素块的纵坐标，k1为整数，且0≤k1≤s-1；i代表分解后低分辨率像素点的横坐标；j代表分解后低分辨率像素点的纵坐标；G(i，j)表示位于坐标(i,j)处的低分辨率像素点的像素值；n代表分解成的低分辨率图像序号；n为整数，且1≤n≤16。

对高清图像G以16倍分辨率进行分解，分解成16幅低分辨率图像，即G₁—G₁₆，所述的16幅低分辨率图像的分辨率为所述的高清图像G的并且能基本保证目标的形状特征；对于HEVC编码中编码单元CU的尺寸分为64×64，32×32，16×16，8×8，采用16倍分辨率分解后的低分辨率图像和高清图像对应。

根据本发明优选的，步骤(3)所述的确定低分辨率图像编码单元CU的划分方式，选取G₁—G₁₆的任一图像Gn,确定Gn编码单元CU的划分方式，具体步骤包括：

a、设定Gn编码单元CU分块尺寸为16×16；

b、计算步骤a所述的Gn编码单元CU分块的率失真代价J_{CU_0}，计算构成所述的Gn编码单元CU分块尺寸的4个8×8的编码块的率失真代价之和J_{CU_1}；

c、如果J_{CU_0}大于J_{CU_1}，则进行步骤d；如果J_{CU_0}小于等于J_{CU_1}，则确定Gn编码单元CU的分块尺寸为16×16；

d、设定Gn编码单元CU分块尺寸为8×8；

e、计算步骤d所述的Gn编码单元CU分块尺寸的率失真代价J_{CU_0}，计算构成所述的Gn编码单元CU分块尺寸的4个4×4的编码块的率失真代价之和J_{CU_1}；

f、如果J_{CU_0}大于J_{CU_1}，则进行步骤g；如果J_{CU_0}小于等于J_{CU_1}，则确定Gn编码单元CU的分块尺寸为8×8；

g、确定Gn编码单元CU分块尺寸为4×4。

由于16幅低分辨率图像之间的差别并不是很大，因此，选择G1—G₁₆的任一图像Gn确定其编码单元CU单元的划分方式。

根据本发明优选的，所述步骤(4)中预测步骤(1)所述的高清图像编码单元CU的划分方式，具体步骤包括：

h、当Gn编码单元CU分块尺寸为16×16时，则所述的高清图像编码单元CU的初始分裂深度为0，即所述的高清图像编码单元CU初始尺寸为64×64；进入步骤i；

当Gn编码单元CU分块尺寸为8×8时，则所述的高清图像编码单元CU的初始分裂深度为1，即所述的高清图像编码单元CU初始尺寸为32×32；进入步骤j；

当Gn编码单元CU分块尺寸为4×4时，则所述的高清图像编码单元CU的初始分裂深度为2，即所述的高清图像编码单元CU初始尺寸为16×16；进入步骤k；

i、计算所述的高清图像编码单元CU分块的率失真代价J_{CU_0}，计算构成所述的高清图像编码单元CU分块尺寸的4个32×32的编码块的率失真代价之和J_{CU_1}；如果J_{CU_0}大于J_{CU_1}，所述的高清图像编码单元CU分块尺寸为32×32，即所述的高清图像编码单元CU分裂深度为1；否则，所述的高清图像编码单元CU分块尺寸为64×64，即所述的高清图像编码单元CU分裂深度为0；

j、计算所述的高清图像编码单元CU分块的率失真代价J_{CU_0}，计算构成所述的高清图像编码单元CU分块尺寸的4个16×16的编码块的率失真代价之和J_{CU_1}；如果J_{CU_0}大于J_{CU_1}，所述的高清图像编码单元CU分块尺寸为16×16，即所述的高清图像编码单元CU分裂深度为2；否则，所述的高清图像编码单元CU分块尺寸为32×32，即所述的高清图像编码单元CU分裂深度为1；

k、计算所述的高清图像编码单元CU分块的率失真代价J_{CU_0}，计算构成所述的高清图像编码单元CU分块尺寸的4个8×8的编码块的率失真代价之和J_{CU_1}；如果J_{CU_0}大于J_{CU_1}，所述的高清图像编码单元CU分块尺寸为8×8，即所述的高清图像编码单元CU分裂深度为3；否则，所述的高清图像编码单元CU分块尺寸为16×16，即所述的高清图像编码单元CU分裂深度为2。

通过确定低分辨率图像编码单元CU的划分方式，对高清图像编码单元CU划分方式的确定进行优化，减少了计算量；超分辨率分解所得到的低分辨率图像反映了高清图像的一些特征，用此方法进行预测，在编码效果上的差别不大，但是本发明却大大减少计算量和复杂度，有很好的应用意义。

一种实现上述方法的装置，包括高清图像输入模块、超分辨率分解模块、低分辨率图像CU划分模块、高分辨率CU划分模块和HEVC帧间预测模块，所述的高清图像输入模块连接所述的超分辨率分解模块、所述的HEVC帧间预测模块，所述的超分辨率分解模块连接所述的低分辨率图像CU划分模块，所述的低分辨率图像CU划分模块连接所述的高分辨率CU划分模块，所述的高分辨率CU划分模块连接所述的HEVC帧间预测模块。

根据本发明优选的，所述的高清图像输入模块，用于将高清视频中的高清图像按帧读入，并将读入的高清图像输入进后续的编码模块；所述的超分辨率分解模块，用于将高清图像分解成低分辨率图像；所述的低分辨率图像CU划分模块，用于确定超分辨率分解模块得到的低分辨率图像编码单元CU的划分方式；所述的高分辨率图像CU划分模块，利用低分辨率图像CU划分模块得到的低分辨率图像编码单元CU的划分方式的信息，预测高清图像编码单元CU的划分方式；所述的HEVC帧间预测模块，利用高分辨率CU划分模块得到的高清图像编码单元CU的划分方式的信息，对HEVC帧间预测进行优化。

本发明的有益效果为：

本发明在确定高清图像编码单元CU划分方式时，通过降低高清图像的分辨率，计算低分辨率图像的分块情况，对预测高清图像编码单元CU划分方式，实现快速帧间预测的目的，减少了计算量，提高了编码速率。

附图说明

图1为本发明实现通过降低分辨率预测高清图像编码单元CU的划分方式的装置示意图。

具体实施方式

下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。

实施例1

一种通过降低分辨率预测高清图像编码单元CU的划分方式的方法，具体步骤包括：

(1)输入一帧高清图像；

(2)对步骤(1)所述的高清图像通过超分辨率方法进行分解，得到低分辨率图像；

(3)确定步骤(2)所述的低分辨率图像编码单元CU的划分方式；

(4)根据步骤(3)得到的低分辨率图像编码单元CU的划分方式，预测步骤(1)所述的高清图像编码单元CU的划分方式。

实施例2

一种通过降低分辨率预测高清图像编码单元CU的划分方式的方法，具体步骤包括：

(1)输入一帧高清图像；

(2)对步骤(1)所述的高清图像通过超分辨率方法进行分解，得到低分辨率图像；

(3)确定步骤(2)所述的低分辨率图像编码单元CU的划分方式；

(4)根据步骤(3)得到的低分辨率图像编码单元CU的划分方式，预测步骤(1)所述的高清图像编码单元CU的划分方式。

所述的步骤(2)的具体步骤包括：

通过式Ⅰ实现对步骤(1)所述的高清图像通过超分辨率方法进行分解，进而得到低分辨率图像；

式Ⅰ中，将高清图像按照t×s分成像素块，每个像素块包括4×4个像素点，其中，k代表像素块的横坐标，k为整数，且0≤k≤t-1；k1代表像素块的纵坐标，k1为整数，且0≤k1≤s-1；i代表分解后低分辨率像素点的横坐标；j代表分解后低分辨率像素点的纵坐标；G(i，j)表示位于坐标(i,j)处的低分辨率像素点的像素值；n代表分解成的低分辨率图像序号；n为整数，且1≤n≤16。

对高清图像G以16倍分辨率进行分解，分解成16幅低分辨率图像，即G₁—G₁₆，所述的16幅低分辨率图像的分辨率为所述的高清图像G的并且能基本保证目标的形状特征；对于HEVC编码中编码单元CU的尺寸分为64×64，32×32，16×16，8×8，采用16倍分辨率分解后的低分辨率图像和高清图像对应。

步骤(3)所述的确定低分辨率图像编码单元CU的划分方式，选取G₁,确定G₁编码单元CU的划分方式，具体步骤包括：

a、设定G₁编码单元CU分块尺寸为16×16；

b、计算步骤a所述的G₁编码单元CU分块的率失真代价J_{CU_0}，计算构成所述的G₁编码单元CU分块尺寸的4个8×8的编码块的率失真代价之和J_{CU_1}；

c、如果J_{CU_0}大于J_{CU_1}，则进行步骤d；如果J_{CU_0}小于等于J_{CU_1}，则确定G₁编码单元CU的分块尺寸为16×16；

d、设定G₁编码单元CU分块尺寸为8×8；

e、计算步骤d所述的G₁编码单元CU分块尺寸的率失真代价J_{CU_0}，计算构成所述的G₁编码单元CU分块尺寸的4个4×4的编码块的率失真代价之和J_{CU_1}；

f、如果J_{CU_0}大于J_{CU_1}，则进行步骤g；如果J_{CU_0}小于等于J_{CU_1}，则确定G₁编码单元CU的分块尺寸为8×8；

g、确定G₁编码单元CU分块尺寸为4×4。

由于16幅低分辨率图像之间的差别并不是很大，因此，选择G₁确定其编码单元CU单元的划分方式。

所述步骤(4)中预测步骤(1)所述的高清图像编码单元CU的划分方式，具体步骤包括：

h、当G₁编码单元CU分块尺寸为16×16时，则所述的高清图像编码单元CU的初始分裂深度为0，即所述的高清图像编码单元CU初始尺寸为64×64；进入步骤i；

当G₁编码单元CU分块尺寸为8×8时，则所述的高清图像编码单元CU的初始分裂深度为1，即所述的高清图像编码单元CU初始尺寸为32×32；进入步骤j；

当G₁编码单元CU分块尺寸为4×4时，则所述的高清图像编码单元CU的初始分裂深度为2，即所述的高清图像编码单元CU初始尺寸为16×16；进入步骤k；

i、计算所述的高清图像编码单元CU分块的率失真代价J_{CU_0}，计算构成所述的高清图像编码单元CU分块尺寸的4个32×32的编码块的率失真代价之和J_{CU_1}；如果J_{CU_0}大于J_{CU_1}，所述的高清图像编码单元CU分块尺寸为32×32，即所述的高清图像编码单元CU分裂深度为1；否则，所述的高清图像编码单元CU分块尺寸为64×64，即所述的高清图像编码单元CU分裂深度为0；

j、计算所述的高清图像编码单元CU分块的率失真代价J_{CU_0}，计算构成所述的高清图像编码单元CU分块尺寸的4个16×16的编码块的率失真代价之和J_{CU_1}；如果J_{CU_0}大于J_{CU_1}，所述的高清图像编码单元CU分块尺寸为16×16，即所述的高清图像编码单元CU分裂深度为2；否则，所述的高清图像编码单元CU分块尺寸为32×32，即所述的高清图像编码单元CU分裂深度为1；

k、计算所述的高清图像编码单元CU分块的率失真代价J_{CU_0}，计算构成所述的高清图像编码单元CU分块尺寸的4个8×8的编码块的率失真代价之和J_{CU_1}；如果J_{CU_0}大于J_{CU_1}，所述的高清图像编码单元CU分块尺寸为8×8，即所述的高清图像编码单元CU分裂深度为3；否则，所述的高清图像编码单元CU分块尺寸为16×16，即所述的高清图像编码单元CU分裂深度为2。

通过确定低分辨率图像编码单元CU的划分方式，对高清图像编码单元CU划分方式的确定进行优化，减少了计算量；超分辨率分解所得到的低分辨率图像反映了高清图像的一些特征，用此方法进行预测，在编码效果上的差别不大，但是本发明却大大减少计算量和复杂度，有很好的应用意义。

实施例3

一种实现上述方法的装置，包括高清图像输入模块、超分辨率分解模块、低分辨率图像CU划分模块、高分辨率CU划分模块和HEVC帧间预测模块，所述的高清图像输入模块连接所述的超分辨率分解模块、所述的HEVC帧间预测模块，所述的超分辨率分解模块连接所述的低分辨率图像CU划分模块，所述的低分辨率图像CU划分模块连接所述的高分辨率CU划分模块，所述的高分辨率CU划分模块连接所述的HEVC帧间预测模块。

所述的高清图像输入模块，用于将高清视频中的高清图像按帧读入，并将读入的高清图像输入进后续的编码模块；所述的超分辨率分解模块，用于将高清图像分解成低分辨率图像；所述的低分辨率图像CU划分模块，用于确定超分辨率分解模块得到的低分辨率图像编码单元CU的划分方式；所述的高分辨率图像CU划分模块，利用低分辨率图像CU划分模块得到的低分辨率图像编码单元CU的划分方式的信息，预测高清图像编码单元CU的划分方式；所述的HEVC帧间预测模块，利用高分辨率CU划分模块得到的高清图像编码单元CU的划分方式的信息，对HEVC帧间预测进行优化。

Claims (3)

1.一种通过降低分辨率预测高清图像编码单元CU的划分方式的方法，其特征在于，具体步骤包括：

(1)输入一帧高清图像；

(2)对步骤(1)所述的高清图像通过超分辨率方法进行分解，得到低分辨率图像；包括步骤如下：通过式Ⅰ实现对步骤(1)所述的高清图像通过超分辨率方法进行分解，进而得到低分辨率图像；

式Ⅰ中，将高清图像按照t×s分成像素块，每个像素块包括4×4个像素点，其中，k代表像素块的横坐标，k为整数，且0≤k≤t-1；k1代表像素块的纵坐标，k1为整数，且0≤k1≤s-1；i代表分解后低分辨率像素点的横坐标；j代表分解后低分辨率像素点的纵坐标；G(i，j)表示位于坐标(i,j)处的低分辨率像素点的像素值；n代表分解成的低分辨率图像序号；n为整数，且1≤n≤16；

(3)确定步骤(2)所述的低分辨率图像编码单元CU的划分方式；选取G₁—G₁₆的任一图像Gn,确定Gn编码单元CU的划分方式，具体步骤包括：

a、设定Gn编码单元CU分块尺寸为16×16；

b、计算步骤a所述的Gn编码单元CU分块的率失真代价J_{CU_0}，计算构成所述的Gn编码单元CU分块尺寸的4个8×8的编码块的率失真代价之和J_{CU_1}；

c、如果J_{CU_0}大于J_{CU_1}，则进行步骤d；如果J_{CU_0}小于等于J_{CU_1}，则确定Gn编码单元CU的分块尺寸为16×16；

d、设定Gn编码单元CU分块尺寸为8×8；

e、计算步骤d所述的Gn编码单元CU分块尺寸的率失真代价J_{CU_0}，计算构成所述的Gn编码单元CU分块尺寸的4个4×4的编码块的率失真代价之和J_{CU_1}；

f、如果J_{CU_0}大于J_{CU_1}，则进行步骤g；如果J_{CU_0}小于等于J_{CU_1}，则确定Gn编码单元CU的分块尺寸为8×8；

g、确定Gn编码单元CU分块尺寸为4×4；

(4)根据步骤(3)得到的低分辨率图像编码单元CU的划分方式，预测步骤(1)所述的高清图像编码单元CU的划分方式；具体步骤包括：

h、当Gn编码单元CU分块尺寸为16×16时，则所述的高清图像编码单元CU的初始分裂深度为0，即所述的高清图像编码单元CU初始尺寸为64×64；进入步骤i；

当Gn编码单元CU分块尺寸为8×8时，则所述的高清图像编码单元CU的初始分裂深度为1，即所述的高清图像编码单元CU初始尺寸为32×32；进入步骤j；

当Gn编码单元CU分块尺寸为4×4时，则所述的高清图像编码单元CU的初始分裂深度为2，即所述的高清图像编码单元CU初始尺寸为16×16；进入步骤k；

i、计算所述的高清图像编码单元CU分块的率失真代价J_{CU_0}，计算构成所述的高清图像编码单元CU分块尺寸的4个32×32的编码块的率失真代价之和J_{CU_1}；如果J_{CU_0}大于J_{CU_1}，所述的高清图像编码单元CU分块尺寸为32×32，即所述的高清图像编码单元CU分裂深度为1；否则，所述的高清图像编码单元CU分块尺寸为64×64，即所述的高清图像编码单元CU分裂深度为0；

j、计算所述的高清图像编码单元CU分块的率失真代价J_{CU_0}，计算构成所述的高清图像编码单元CU分块尺寸的4个16×16的编码块的率失真代价之和J_{CU_1}；如果J_{CU_0}大于J_{CU_1}，所述的高清图像编码单元CU分块尺寸为16×16，即所述的高清图像编码单元CU分裂深度为2；否则，所述的高清图像编码单元CU分块尺寸为32×32，即所述的高清图像编码单元CU分裂深度为1；

k、计算所述的高清图像编码单元CU分块的率失真代价J_{CU_0}，计算构成所述的高清图像编码单元CU分块尺寸的4个8×8的编码块的率失真代价之和J_{CU_1}；如果J_{CU_0}大于J_{CU_1}，所述的高清图像编码单元CU分块尺寸为8×8，即所述的高清图像编码单元CU分裂深度为3；否则，所述的高清图像编码单元CU分块尺寸为16×16，即所述的高清图像编码单元CU分裂深度为2。

2.一种实现权利要求1所述的一种通过降低分辨率预测高清图像编码单元CU的划分方式的方法的装置，其特征在于，包括高清图像输入模块、超分辨率分解模块、低分辨率图像CU划分模块、高分辨率CU划分模块和HEVC帧间预测模块，所述的高清图像输入模块连接所述的超分辨率分解模块、所述的HEVC帧间预测模块，所述的超分辨率分解模块连接所述的低 分辨率图像CU划分模块，所述的低分辨率图像CU划分模块连接所述的高分辨率CU划分模块，所述的高分辨率CU划分模块连接所述的HEVC帧间预测模块。

3.根据权利要求2所述的装置，其特征在于，所述的高清图像输入模块，用于将高清视频中的高清图像按帧读入，并将读入的高清图像输入进后续的编码模块；所述的超分辨率分解模块，用于将高清图像分解成低分辨率图像；所述的低分辨率图像CU划分模块，用于确定超分辨率分解模块得到的低分辨率图像编码单元CU的划分方式；所述的高分辨率图像CU划分模块，利用低分辨率图像CU划分模块得到的低分辨率图像编码单元CU的划分方式的信息，预测高清图像编码单元CU的划分方式；所述的HEVC帧间预测模块，利用高分辨率CU划分模块得到的高清图像编码单元CU的划分方式的信息，对HEVC帧间预测进行优化。