CN104601993A - 一种视频编码方法及装置 - Google Patents

Abstract

一种视频编码方法及装置，该方法包括：对最高分辨率级别视频图像进行下采样，生成D个不同分辨率级别的视频图像；对最低分辨率级别的视频图像进行帧内编码预测模式筛选，获得最低分辨率级别的最优帧内预测模式；对非最低分辨率级别的视频图像，以分辨率级别由低到高的顺序：将分辨率级别L_d+1的视频图像的最优帧内编码预测模式纳入分辨率级别L_d的视频图像的帧内编码预测模式筛选集合中，进行帧内编码预测模式筛选，获得分辨率级别L_d的视频图像的最优帧内预测模式；使用最高分辨率级别的最优帧内编码预测模式对最高分辨率级别的视频图像进行预测和视频编码。与现有的HEVC视频编码方法相比，本发明可以将视频编码速度提高2～4倍。

Description

一种视频编码方法及装置

技术领域

本申请涉及视频编码领域，尤其涉及一种视频编码方法及装置。

背景技术

近年来，随着互联网和硬件设备的发展，视频的制作成本愈来愈低，对视频的分享和访问需求日益增强。视频的分辨率愈来愈大，高清视频(分辨率为1920×1080，记作1080p)甚至超高清视频(分辨率为3840×2160，记作4K)被越来越多地制作、传播和播放。然而，无论是MPEG-2(Moving PictureExperts Group 2，运动图像专家组系列标准2)或是H.264/AVC(AdvancedVideo Coding，高级视频编码)都不是为这种高分辨率视频所设计的，这对视频压缩技术提出了新的要求及挑战。

2013年，由ITU-T(International Telecommunication UnionTelecommunication Standardization Sector，国际电信联合会电信标准化分会)VCEG(Video Coding Experts Group，视频编码专家组)和ISO(International Organization for Standardization，国际标准化组织)MPEG(Moving Picture Experts Group，运动图像专家组)联合成立的视频编码联合协作团队(Joint Collaborative Team on Video Coding，JCT-VC)研究制定了新一代视频编码标准，即高效视频编码(HEVC)标准。与H.264/AVC相比，在相同的画质下，采用HEVC标准可以节省一半上的码率。

图1是现有技术中的HEVC编码框架示意图。

下文中将参考图1对HEVC中与本发明内容较为相关的部分进行简要描述。

1、块划分

HEVC依然采用了基于块的变换量化混合编码框架，每帧图像划分成若干个编码树单元(Coding Tree Unit，CTU)。上述编码树单元是由编码树块(Coding Tree Block，CTB)及其相应的语法元素构成。CTB类似于H.264/AVC中宏块(MacroBlock，MB)的概念，是HEVC中的最大编码块，其大小可以在配置文件中设定，范围从16×16到128×128。现有的HM(HEVC Test Model，HEVC测试模型)参考软件中通用测试条件下将CTB的大小设为64×64。

HEVC中可以将CTU按照四叉树的划分方式划分成若干个编码单元(Coding Unit，CU)，如图2所示。CU包含相应图像区域内的亮度块和对应的两个色度块，是HEVC对图像内一块区域进行编码的基础单元。最小编码单元是HEVC中图像可以划分成的最小编码块，默认大小为8×8。

2、预测

HEVC采用帧内和帧间两种预测方式。进行预测的基本单元称为预测单元(Prediction Unit，PU)。PU包含与预测相关的全部信息，如运动矢量等。

如图3所示，HEVC帧间预测的PU划分模式共有8种，包括：PART_2N×2N、PART_N×N、PART_2N×N、PART_N×2N，以及四种非对称运动分割(Asymmetric Motion Partition，AMP)模式：PART_2N×nU，PART_2N×nD，PART_nL×2N，PART_nR×2N。帧内预测的PU划分模式只有PART_2N×2N和PART_N×N两种，且只有当CU大小大于最小CU大小时，才允许使用PART_N×N划分模式。因此，一个CU可以包含一个或多个PU；例如，划分模式为PART_2N×2N时一个CU包含一个PU，划分模式为PART_N×N时一个CU包含四个PU。

如图4所示，HEVC采用了多方向帧内预测，方向数高达35个。包含Intra Planar模式(记作：模式0)、Intra DC模式(记作：模式1)以及33种方向性预测模式(记作：模式2～模式34)：Intra_Angular[i]，i＝2，…，34，这使得HEVC的帧内预测更加精细，预测值更加准确。

帧内亮度预测采用最可能模式(MostProbable Mode，MPM)进行编码。

MPM包含三个选项，前两个选项根据当前PU块的上邻PU块和左邻PU块设定。如果上邻PU块和左邻PU块与当前PU块属于同一个CTB，且为帧内预测模式，则选定上邻PU块和左邻PU块的帧内预测模式作为当前PU块的MPM候选模式，否则判定相邻块不可用，选择Intra DC模式为MPM候选模式。

如果前两个MPM候选模式不相同，则按照Intra DC(模式1)，Intra Planar(模式0)和Intra垂直预测模式(即模式2～模式34中的垂直方向预测模式)的顺序选择一个与前两个MPM候选模式不重复的模式作为第三个MPM候选模式；

如果前两个MPM候选模式相同并且是Intra DC(模式1)或Intra Planar(模式0)，则按照Intra DC，Intra Planar和Intra垂直预测模式的顺序选择两个不重复的模式作为MPM候选模式；

如果前两个MPM候选模式相同并且是方向性预测模式，则选择离对应方向最近的两个预测模式作为第二和第三个MPM候选模式。

如果当前PU块的预测模式和MPM候选模式之一相同，则只需编码该候选模式在MPM中的索引值即可；否则，使用5比特定长编码对当前PU块的帧内预测模式进行编码。

色度块的帧内预测有五种模式，即Intra Planar、Intra DC、垂直预测、水平预测，或者是与亮度预测相同的模式。

表1：HEVC的编码速度

HEVC的性能提升是以增加复杂度为代价的。如表1所示，在现阶段，编码分辨率为4K的视频序列的一帧就需要40秒的时间，也就是说对一个1小时，25FPS(Frames Per Second，每秒传输帧数)的视频进行编码至少需要1000小时，即使采用目前优化比较完善的x265至少也需要100～200小时。如此高的计算复杂度很难在实际转码系统中得到广泛应用，需要进一步优化和改进。

发明内容

本申请所要解决的技术问题是，克服现有技术的不足，提供一种可以提高HEVC视频编码速度的视频编码方法及装置。

为了解决上述问题，本申请提供一种视频编码方法，该方法包括：

对待编码的最高分辨率级别视频图像进行下采样，生成D个不同分辨率级别的视频图像，D为大于等于1的整数；

对最低分辨率级别的视频图像进行帧内编码预测模式筛选，获得最低分辨率级别的最优帧内预测模式；

对非最低分辨率级别的视频图像，以分辨率级别由低到高的顺序，依次进行如下处理：将分辨率级别L_d+1的视频图像的最优帧内编码预测模式纳入分辨率级别L_d的视频图像的帧内编码预测模式筛选集合中，进行帧内编码预测模式筛选，获得分辨率级别L_d的视频图像的最优帧内预测模式，其中，L_d对应的分辨率高于L_d+1对应的分辨率，d为大于等于0且小于D的整数；

使用最高分辨率级别的最优帧内编码预测模式对所述最高分辨率级别的视频图像进行预测和视频编码。

此外，如果L_d+1级的最优帧内编码预测模式为方向性预测模式；则：将方向性预测模式中与所述L_d+1级的最优帧内编码预测模式相邻的至少1个帧内编码预测模式纳入L_d级的帧内编码预测模式筛选集合中。

此外，如果L_d+1级的最优帧内编码预测模式为方向性预测模式；则：将非方向性预测模式Intra Planar模式和/或Intra DC模式也纳入L_d级的帧内编码预测模式筛选集合中。

此外，如果L_d+1级的最优帧内预测模式为非方向性预测模式Intra Planar模式和Intra DC模式中的一个；则：

将另一个非方向性预测模式也纳入L_d级的帧内编码预测模式筛选集合中。

此外，所述下采样的下采样比值为Ds，在L_i级进行所述帧内编码预测模式筛选时，最大CU值maxCU_i和最小CU值minCU_i采用如下方式配置：

$\max {\mathrm{CU}}_i=\left\{\begin{array}{cc}\max {\mathrm{CU}}_0/2^i& \mathrm{Ds}=2\\ 8& \mathrm{Ds}\≠2\end{array}\right.;$

$\min {\mathrm{CU}}_i=\left\{\begin{array}{cc}\min {\mathrm{CU}}_0/2^i& \mathrm{Ds}=2\\ 8& \mathrm{Ds}\≠2\end{array}\right.;$

其中，maxCU₀和minCU₀分别是根据HEVC规范为L₀级视频图像所配置的最大CU和最小CU值；0<i≤D。

本发明还提供一种视频编码方法，该方法包括：

对待编码的最高分辨率级别视频图像进行下采样，生成D个不同分辨率级别的视频图像，D为大于等于1的整数；

对最低分辨率级别的视频图像进行帧间预测，获得最低分辨率级别的最优运动矢量；

对非最低分辨率级别的视频图像，以分辨率级别由低到高的顺序，依次进行如下处理：根据分辨率级别L_d+1的视频图像的最优运动矢量MV_d+1设置分辨率级别L_d的视频图像的起始搜索原点O_d；以所述O_d为起始搜索原点进行帧间预测，得到分辨率级别L_d的视频图像的最优运动矢量；其中，L_d对应的分辨率高于L_d+1对应的分辨率，d为大于等于0且小于D的整数；

使用最高分辨率级别的最优运动矢量对最高分辨率级别的视频图像进行预测和视频编码；

其中：MV_d+1＝(x_d+1,y_d+1)；

O_d＝(x_tl+Ds×x_d+1,y_tl+Ds×y_d+1)；

O_tl＝(x_tl,y_tl)为L_d级中当前PU块的左上角点坐标；

Ds为进行所述下采样的下采样比值。

此外，在不超过区域S_d1的搜索范围内进行非最低分辨率级别的所述帧间预测；

其中：区域S_d1为以所述O_tl为中心，边长为R_d的正方形区域；R_d＝R₀/(Ds)^d；R₀为根据HEVC规范为最高分辨率级别视频图像所配置的搜索范围的边长值。

此外，将区域S_d1与区域S_d2重合的部分作为在非最低分辨率级别进行所述帧间预测的搜索范围；

其中：区域S_d2为以所述O_d为中心，边长为R_sub的正方形区域；R_sub为大于等于1且小于等于R_d的整数。

本发明还提供一种视频编码装置，所述装置包含：下采样单元和预测单元；其中：

所述下采样单元用于对待编码的最高分辨率级别视频图像进行下采样，生成D个不同分辨率级别的视频图像，D为大于等于1的整数；

所述预测单元用于对最低分辨率级别的视频图像进行帧内编码预测模式筛选，获得最低分辨率级别的最优帧内预测模式；

所述预测单元还用于对非最低分辨率级别的视频图像，以分辨率级别由低到高的顺序，依次进行如下处理：将分辨率级别L_d+1的视频图像的最优帧内编码预测模式纳入分辨率级别L_d的视频图像的帧内编码预测模式筛选集合中，进行帧内编码预测模式筛选，获得分辨率级别L_d的视频图像的最优帧内预测模式，其中，L_d对应的分辨率高于L_d+1对应的分辨率，d为大于等于0且小于D的整数；

所述预测单元还用于使用最高分辨率级别的最优帧内编码预测模式对所述最高分辨率级别的视频图像进行预测和视频编码。

此外，如果L_d+1级的最优帧内编码预测模式为方向性预测模式；则：所述预测单元将方向性预测模式中与所述L_d+1级的最优帧内编码预测模式相邻的至少1个帧内编码预测模式纳入L_d级的帧内编码预测模式筛选集合中。

此外，如果L_d+1级的最优帧内编码预测模式为方向性预测模式；则：所述预测单元将非方向性预测模式Intra Planar模式和/或Intra DC模式也纳入L_d级的帧内编码预测模式筛选集合中。

此外，如果L_d+1级的最优帧内预测模式为非方向性预测模式Intra Planar模式和Intra DC模式中的一个；则：

所述预测单元将另一个非方向性预测模式也纳入L_d级的帧内编码预测模式筛选集合中。

本发明还提供一种视频编码装置，所述装置包含：下采样单元和预测单元；其中：

所述下采样单元用于对待编码的最高分辨率级别视频图像进行下采样，生成D个不同分辨率级别的视频图像，D为大于等于1的整数；

所述预测单元用于对最低分辨率级别的视频图像进行帧间预测，获得最低分辨率级别的最优运动矢量；

所述预测单元还用于对非最低分辨率级别的视频图像，以分辨率级别由低到高的顺序，依次进行如下处理：根据分辨率级别L_d+1的视频图像的最优运动矢量MV_d+1设置分辨率级别L_d的视频图像的起始搜索原点O_d；以所述O_d为起始搜索原点进行帧间预测，得到分辨率级别L_d的视频图像的最优运动矢量；其中，L_d对应的分辨率高于L_d+1对应的分辨率，d为大于等于0且小于D的整数；

所述预测单元还用于使用最高分辨率级别的最优运动矢量对最高分辨率级别的视频图像进行预测和视频编码；

其中：MV_d+1＝(x_d+1,y_d+1)；

O_d＝(x_tl+Ds×x_d+1,y_tl+Ds×y_d+1)；

O_tl＝(x_tl,y_tl)为L_d级中当前PU块的左上角点坐标；

Ds为进行所述下采样的下采样比值。

此外，所述预测单元在不超过区域S_d1的搜索范围内进行非最低分辨率级别的所述帧间预测；

其中：区域S_d1为以所述O_tl为中心，边长为R_d的正方形区域；R_d＝R₀/(Ds)^d；R₀为根据HEVC规范为最高分辨率级别视频图像所配置的搜索范围的边长值。

此外，所述预测单元将区域S_d1与区域S_d2重合的部分作为在非最低分辨率级别进行所述帧间预测的搜索范围；

其中：区域S_d2为以所述O_d为中心，边长为R_sub的正方形区域；R_sub为大于等于1且小于等于R_d的整数。

本发明还提供一种视频编码方法，该方法包括：

对待编码的最高分辨率级别视频图像进行CU的划分；

按照帧内预测的PU划分方式将当前CU划分为多个PU，对各PU进行帧内预测，得到各PU的最优帧内编码预测模式，并计算各PU的最优帧内编码预测模式所对应的编码代价值，将当前CU的各PU的最优帧内编码预测模式所对应的编码代价值之和作为当前CU的帧内预测编码代价值；

按照帧间预测的PU划分方式将当前CU划分为多个PU，对各PU进行帧间预测，得到各PU的最优运动矢量，并计算各PU的最优运动矢量所对应的编码代价值，将当前CU的各PU的最优运动矢量所对应的编码代价值之和作为当前CU的帧间预测编码代价值；

将当前CU的帧内预测编码代价值和帧间预测编码代价值中最小的值所对应的方式对当前CU进行编码；

其中：采用本发明的层级帧内编码预测方法对当前CU的各PU进行帧内预测，和/或

采用本发明的层级帧间编码预测方法对当前CU的各PU进行帧间预测。

综上所述，本发明的视频编码方法及装置，通过对视频图像进行下采样，在低分辨率级获得最优的帧内预测和/或帧间预测结果后，在较高分辨率级中通过缩小和修正预测和搜索的范围的方式应用低分辨率级所获得的最优帧内预测和/或帧间预测结果，减少了视频编码的运算量，降低了视频编码的运算复杂度，并提高了预测和搜索的精度。实验证明，与现有的HEVC视频编码方法相比，采用本发明的方法可以将视频编码速度提高2～4倍。

附图说明

图1是现有技术中的HEVC编码框架示意图；

图2是现有技术中HEVC的CTU四叉树划分方式示意图；

图3是现有技术中HEVC的PU划分模式示意图；

图4是现有技术中HEVC的帧内预测模式示意图；

图5是现有技术中HEVC的运动信息的空域候选位置示意图；

图6是本发明视频编码方法第一实施例的流程图；

图7为本发明实施例对视频图像进行每2个像素采样1个像素的下采样的示意图；

图8为本发明实施例在进行帧间预测(运动估计)时所使用的搜索范围的示意图；

图9是本发明视频编码方法第二实施例的流程图；

图10是本发明实施例视频编码装置结构示意图。

具体实施方式

本发明主要包含两个方面内容：层级帧内编码和层级帧间编码。

上述层级帧内编码是指：对视频图像进行下采样，根据原始视频图像生成1个或多个不同分辨率级别的视频图像，对最低分辨率级别的视频图像进行帧内编码预测模式筛选，获得最低分辨率级别的最优帧内预测模式；对于中间分辨率级别的视频图像和原始视频图像(即最高分辨率级别的视频图像)，将低一级别的视频图像的最优帧内预测模式纳入本分辨率级别的帧内编码预测模式筛选集合中，进行中间分辨率级别和原始视频图像的帧内编码预测模式筛选，获得本分辨率级别的最优帧内预测模式；使用最高分辨率级别的最优帧内预测模式对原始视频图像进行视频编码。

上述层级帧间编码是指：对视频图像进行下采样，根据原始视频图像生成1个或多个不同分辨率级别的视频图像，对最低分辨率级别的视频图像进行帧间预测，获得最低分辨率级别的最优运动矢量；对于中间分辨率级别的视频图像和原始视频图像(即最高分辨率级别的视频图像)，根据低一级别的视频图像的最优运动矢量对本分辨率级别的起始搜索原点和搜索范围等运动估计参数进行设置，并进行中间分辨率级别和原始视频图像的运动估计，获得本分辨率级别的最优运动矢量；使用最高分辨率级别的最优运动矢量对原始视频图像进行视频编码。

图6是本发明视频编码方法第一实施例的流程图；如图6所示，该方法包括：

步骤601：对待编码的原始视频图像序列进行预分析，根据待编码原始视频图像的分辨率确定该视频需要的分级深度D(D≥1；优选地，1≤D≤3)；

本实施例中，采用如下方式设定D值：

如果待编码原始视频图像的分辨率为720p或以上，则可以令D＝3，即生成待编码原始视频图像的3个分辨率级别的视频图像，分别记作：L₁、L₂、L₃级视频图像；待编码原始视频图像记作：L₀级视频图像。

如果待编码原始视频图像的分辨率为720p以下，则可以令D＝2，即生成待编码原始视频图像的2个分辨率级别的视频图像，分别记作：L₁、L₂级视频图像；待编码原始视频图像记作：L₀级视频图像。

以分辨率为4096×2304的4K视频图像，采用每2个像素采样1个像素为例，L₀级视频图像即为原始分辨率级，也就是最高分辨率级视频图像，其分辨率为4096×2304；L₁级视频图像为在L₀级视频图像的基础上进行下采样所生成的中间分辨率级视频图像，其分辨率为2048×1152；L₂级视频图像为在L₁级视频图像的基础上进行下采样所生成的中间分辨率级视频图像，其分辨率为1024×576；L₃级视频图像为在L₂级视频图像的基础上进行下采样所生成的最低分辨率级视频图像，其分辨率为512×288。

步骤602：对原始视频图像(L₀级视频图像)序列进行下采样，生成各分辨率级的视频图像：L₁，…，L_D；

对视频序列下采样有个两个子步骤：下采样与扩边。

本步骤中，可以采用不同的下采样比值(即源分辨率与目标分辨率的比值)进行下采样。下采样比值为Ds:1时，表示每Ds个像素采样1个像素，Ds为大于1的整数。本实施例中令Ds＝2。

图7为对视频图像进行每2个像素采样1个像素的下采样的示意图。采用如图7所示的下采样方式，可以更多地保护视频图像原有的纹理细节，以保证下采样视频图像更接近于源视频图像的纹理特征。

下采样图像扩边：由于在后续的视频图像编码过程中可能会使用运动估计等技术，而这些技术在运行过程中往往会越过视频图像边界，所以需要对视频的下采样图像进行扩边，其原理与现有技术中的HEVC扩边方式相同，本文不再赘述。

步骤603：对最低分辨率级(L_D级)视频图像进行帧内预测和/或帧间预测；

对L_D级视频图像进行帧内预测和帧间预测时，最大CU值maxCU_D和最小CU值minCU_D采用如下方式配置：

maxCU_D＝maxCU₀/2^D；

minCU_D＝minCU₀/2^D；

其中，maxCU₀为视频编码装置根据HEVC规范所配置的最大CU大小的值，即原始视频图像(L₀级视频图像)所配置的最大CU大小的值；

minCU₀为视频编码装置根据HEVC规范所配置的最小CU大小的值，即原始视频图像(L₀级视频图像)所配置的最小CU大小的值。

在最低分辨率级(L_D级)进行帧内预测和帧间预测时，将根据maxCU_D和minCU_D的值按照HEVC规范进行编码块的递归划分。

在本发明的其它实施例中，在L_D级进行帧内预测和帧间预测时，可以将maxCU_d和minCU_d的值统一设置为8。

对于帧内预测，采用HEVC规范所规定的PART_2N×2N和PART_N×N两种进行PU的划分，且只有当CU大小大于最小CU大小时，才允许使用PART_N×N划分模式。

HEVC帧间预测采用了两个新技术，分别是高级运动矢量预测(AdvancedMotion Vector Prediction，AMVP)和合并模式(Merge Mode)。

上述AMVP技术，即在帧间预测中，为提高编码效率而对运动矢量(Motion Vector，MV)进行预测编码。HEVC在编解码端按照同样的方式构造一个AMVP候选集，候选集中包含当前MV的预测值，这样编码端只需要传输被选中的MV预测值在AMVP候选集中的索引值即可。

合并模式则是指当前块的运动信息可以从其时域或空域相邻块得到，而不用单独进行编码。和AMVP一样，编解码端按照同样的方式构造一个候选集，编码端只需要传输被选中候选在候选集中的索引值。候选集的最大候选个数C在slice(片)头中设置。首先是空域候选，如图5所示，HEVC按照{a₁，b₁，b₀，a₀，b₂}的顺序，依次检查相应候选块的可用性：如果某个候选块是帧内编码，或与当前块不属于同一个slice或tile(并行块)，则视为不可用。其次是时域候选，HEVC首先检查参考图像中与当前PU对应的PU的右下邻位置是否可用，如果可用，则选其作为时域候选；否则，选用中心位置作为时域候选。如果空域和时域候选的个数已经超过候选最大数C，则只取前C－1个空域候选和1个时域候选。如果候选总个数小于C，则需要生成额外的候选者直到数目等于C。

对于帧间预测，采用HEVC规范所规定的8种模式进行PU的划分，包括：PART_2N×2N、PART_N×N、PART_2N×N、PART_N×2N，以及4种非对称运动分割(Asymmetric Motion Partition，AMP)模式。

下面将分别对在最低分辨率级(L_D级)进行帧内预测和帧间预测的具体方式进行描述。

步骤603A：对L_D级视频图像进行帧内预测的具体方式：

在最低分辨率级(L_D级)进行帧内预测时，按照HEVC规范从35个预测模式(模式0，模式1，以及模式2～模式34)中筛选出PU块的最优预测模式Mode_D。

步骤603B：对L_D级视频图像进行帧间预测的具体方式：

在最低分辨率级(L_D级)进行帧间预测时，运动估计所使用的起始搜索原点按照HEVC规范中的方法设置。

在最低分辨率级(L_D级)进行帧间预测时，运动估计的搜索范围SearchRange_D是边长为R_D的正方形区域，R_D＝R₀/2^D；

其中：R₀为视频编码装置根据HEVC规范为L₀级视频图像(即原始视频图像)所配置的搜索范围SearchRange₀的边长。

在最低分辨率级(L_D级)进行帧间预测时，使用上述参数按照HEVC规范进行运动估计以获得PU块的最优运动矢量MV_D。

步骤604：在最低分辨率级(L_D级)之上的各分辨率级(中间分辨率级和最高分辨率级，以下统一称为L_d级，0≤d<D)，以分辨率级由低到高的顺序依次在各分辨率级，以低一级的预测结果为参考，进行本分辨率级的帧内预测和/或帧间预测；

可选地，在本步骤中，还可以对本分辨率级的帧内预测和/或帧间预测结果进行验证，并根据验证结果确定最终的帧内预测和/或帧间预测结果。

在L_d(0≤d<D)级进行帧内预测和帧间预测时，最大CU值maxCU_d和最小CU值minCU_d采用如下方式配置：

maxCU_d＝maxCU₀/2^d；

minCU_d＝minCU₀/2^d；

其中，maxCU₀为视频编码装置根据HEVC规范所配置的最大CU大小的值，即原始视频图像(L₀级视频图像)所配置的最大CU大小的值；

minCU₀为视频编码装置根据HEVC规范所配置的最小CU大小的值，即原始视频图像(L₀级视频图像)所配置的最小CU大小的值。

在本发明的其它实施例中，在L_d(d>0)级进行帧内预测和帧间预测时，可以将maxCU_d和minCU_d的值统一设置为8。

在L_d级进行帧内预测和帧间预测时，将根据maxCU_d和minCU_d的值按照HEVC规范进行编码块的递归划分。

对于帧内预测，采用HEVC规范所规定的PART_2N×2N和PART_N×N两种进行PU的划分，且只有当CU大小大于最小CU大小时，才允许使用PART_N×N划分模式。

对于帧间预测，采用HEVC规范所规定的8种模式进行PU的划分，包括：PART_2N×2N、PART_N×N、PART_2N×N、PART_N×2N，以及4种非对称运动分割(Asymmetric Motion Partition，AMP)模式。

下面将分别对本步骤中的帧内预测和帧间预测进行描述。

步骤604A：在L_d级采用如下方式进行帧内预测，以获得L_d级的帧内编码预测模式筛选集合，并从该筛选集合中筛选出本分辨率级的最优帧内预测模式Mode_d：

将L_d+1级生成的最优预测模式Mode_d+1纳入L_d级的帧内编码预测模式筛选集合中，进行帧内编码预测模式筛选，获得L_d级的最优帧内预测模式Mode_d。

在本步骤中，为了获得更佳的帧内预测结果，可以将模式序号与Mode_d+1相邻的帧内预测模式一并纳入L_d级的帧内编码预测模式筛选集合：

如果Mode_d+1为方向性预测模式(模式2～模式34)中的一个，则将模式序号与其相邻的方向性预测模式一并纳入L_d级的帧内编码预测模式筛选集合；例如：假设Mode_d+1所对应的预测模式序号为2，则将3一并纳入L_d级的帧内编码预测模式筛选集合；假设Mode_d+1所对应的预测模式序号为10，则将9、11一并纳入L_d级的帧内编码预测模式筛选集合；此外，还可以将非方向性预测模式(模式0和/或模式1)一并纳入L_d级的帧内编码预测模式筛选集合，以便增加预测的准确性。

如果Mode_d+1为非方向性预测模式(模式0和模式1)中的一个，则将模式0和模式1纳入L_d级的帧内编码预测模式筛选集合。

在本发明的其它实施例中，如果Mode_d+1为方向性预测模式(模式2～模式34)中的一个，还可以将Mode_d+1+i以及Mode_d+1－j所对应的帧内预测模式也纳入所述帧内编码预测模式筛选集合中；

其中：i＝0,…,I；j＝0,…,J；I≥0，J≥0，且I和J不同时为0。

步骤604B：在L_d级采用如下方式进行帧间预测：

根据L_d+1级的最优运动矢量MV_d+1设置在L_d级进行运动估计的起始搜索原点和搜索范围，进行L_d级视频图像的运动估计，得到L_d级的最优运动矢量MV_d。

设：L_d+1级的最优运动矢量MV_d+1＝(x_d+1,y_d+1)；L_d级中当前PU块的左上角点坐标为：O_tl＝(x_tl,y_tl)；

则在L_d级中将参考帧的起始搜索原点设置为：O_d＝(x_tl+2×x_d+1,y_tl+2×y_d+1)。

在本步骤中，可以采用两种方式设置在L_d级进行运动估计的搜索范围SearchRange_d：

方式一：将搜索范围SearchRange_d设置为以O_tl为中心，边长为R_d的正方形区域；R_d＝R₀/2^d；

其中：R₀为视频编码装置根据HEVC规范为L₀级视频图像(即原始视频图像)所配置的搜索范围SearchRange₀的边长。

方式二：设S_d1为以O_tl为中心，边长为R_d的正方形区域；S_d2为以O_d为中心，边长为R_sub的正方形区域；则将搜索范围SearchRange_d设置为S_d1和S_d2的重合区域，如图8中粗线所围成的区域所示；

其中：R_d＝R₀/2^d；R₀为视频编码装置根据HEVC规范为L₀级视频图像(即原始视频图像)所配置的搜索范围SearchRange₀的边长；1≤R_sub≤R_d。

步骤604C：随机选取一个预测模式Mode_r(Mode_r≠Mode_d)，计算Mode_r和Mode_d的率失真代价J_r和J_d；如果J_r<J_d，则在L_d级重新按照HEVC规范中的方法进行帧内预测，或者将Mode_r最终确定为L_d级的最优帧内预测模式；否则，将Mode_d最终确定为L_d级的最优帧内预测模式；

本步骤为可选步骤。

步骤604D：随机选取一个运动矢量MV_r(MV_r≠MV_d)，计算MV_r和MV_d的SAD(Sum of Absolute Difference，绝对误差和)值：SAD_r和SAD_d；如果SAD_r<SAD_d，即随机选取的运动矢量MV_r更优，则在L_d级重新按照HEVC规范中的方法进行帧间预测，或者将MV_r最终确定为L_d级的最优运动矢量；否则，将MV_d最终确定为L_d级的最优运动矢量；

本步骤为可选步骤。

步骤605：对最高分辨率级(L₀级)的视频图像(即原始视频图像)，按照当前的最优帧内预测和/或帧间预测结果进行后续的视频编码处理，即进行变换、量化和熵编码等处理。

图9是本发明的视频编码方法第二实施例的流程图；该方法包括：

步骤901：对待编码的最高分辨率级别视频图像进行CU的划分；

步骤902：对各CU执行如下处理：按照帧内预测的PU划分方式将当前CU划分为多个PU，对各PU进行帧内预测，得到各PU的最优帧内编码预测模式，并计算各PU的最优帧内编码预测模式所对应的编码代价值(例如，率失真代价值)，将当前CU的各PU的最优帧内编码预测模式所对应的编码代价值之和作为当前CU的帧内预测编码代价值；

本步骤中，可以采用图6所示的层级帧内编码方法对当前CU的各PU进行帧内预测，也可以采用现有技术中的其它帧内编码方法对当前CU的各PU进行帧内预测。

步骤903：对各CU执行如下处理：按照帧间预测的PU划分方式将当前CU划分为多个PU，对各PU进行帧间预测，得到各PU的最优运动矢量，并计算各PU的最优运动矢量所对应的编码代价值，将当前CU的各PU的最优运动矢量所对应的编码代价值之和作为当前CU的帧间预测编码代价值；

本步骤中，可以采用图6所示的层级帧间编码方法对当前CU的各PU进行帧间预测，也可以采用现有技术中的其它帧间编码方法对当前CU的各PU进行帧间预测。

步骤904：将当前CU的帧内预测编码代价值和帧间预测编码代价值中最小的值所对应的方式对当前CU进行编码。

图10是本发明的视频编码装置结构示意图；如图10所示，该装置包含：下采样单元，预测单元；其中：

下采样单元用于对待编码的最高分辨率级别视频图像进行下采样，生成D个不同分辨率级别的视频图像，D为大于等于1的整数；

进行帧内预测时：预测单元用于对最低分辨率级别的视频图像进行帧内编码预测模式筛选，获得最低分辨率级别的最优帧内预测模式；预测单元还用于对非最低分辨率级别的视频图像，以分辨率级别由低到高的顺序，依次进行如下处理：将分辨率级别L_d+1的视频图像的最优帧内编码预测模式纳入分辨率级别L_d的视频图像的帧内编码预测模式筛选集合中，进行帧内编码预测模式筛选，获得分辨率级别L_d的视频图像的最优帧内预测模式，其中，L_d对应的分辨率高于L_d+1对应的分辨率，d为大于等于0且小于D的整数；预测单元还用于使用最高分辨率级别的最优帧内编码预测模式对所述最高分辨率级别的视频图像进行预测和视频编码；

进行帧间预测时：预测单元用于对最低分辨率级别的视频图像进行帧间预测，获得最低分辨率级别的最优运动矢量；预测单元还用于对对非最低分辨率级别的视频图像，以分辨率级别由低到高的顺序，依次进行如下处理：根据分辨率级别L_d+1的视频图像的最优运动矢量MV_d+1设置分辨率级别L_d的视频图像的起始搜索原点O_d；以所述O_d为起始搜索原点进行帧间预测，得到分辨率级别L_d的视频图像的最优运动矢量；其中，L_d对应的分辨率高于L_d+1对应的分辨率，d为大于等于0且小于D的整数；预测单元还用于使用最高分辨率级别的最优运动矢量对最高分辨率级别的视频图像进行预测和视频编码；

其中：MV_d+1＝(x_d+1,y_d+1)；

O_d＝(x_tl+Ds×x_d+1,y_tl+Ds×y_d+1)；

O_tl＝(x_tl,y_tl)为L_d级中当前PU块的左上角点坐标；

Ds为进行所述下采样的下采样比值。

根据本发明的基本原理，本发明的上述实施例还可以有多种变换及扩展方式，例如：

以上实施例仅对Ds＝2(即每2个像素采样1个像素)的下采样方式所对应的层级帧内编码和层级帧间编码使用的参数进行了描述，以下将给出当Ds≥2时，对L_d(0<d≤D)级视频图像进行帧内预测和帧间预测时使用的各参数：

最大CU值maxCU_d和最小minCU_d：(0<d≤D)

在步骤603和步骤604中maxCU_d和最小minCU_d的相应公式变为：

$\max {\mathrm{CU}}_d=\left\{\begin{array}{cc}\max {\mathrm{CU}}_0/2^d& \mathrm{Ds}=2\\ 8& \mathrm{Ds}\&NotEqual;2\end{array}\right.;$

$\min {\mathrm{CU}}_d=\left\{\begin{array}{cc}\min {\mathrm{CU}}_0/2^d& \mathrm{Ds}=2\\ 8& \mathrm{Ds}\&NotEqual;2\end{array}\right..$

以上公式表明，当Ds≠2时，需要将maxCU_d和minCU_d的值统一设置成8，即在除了L₀级(即原始视频图像级)以外，在其它各分辨率级L_d级(d>0)，将CU的大小值统一设置为8×8，以便于各分辨率级别中CU/PU的对应。

最低分辨率级(L_D级)搜索范围SearchRange_D的边长R_D：

R_D＝R₀/(Ds)^D。

非最低分辨率级(L_d级，0≤d<D)起始搜索原点O_d：

O_d＝(x_tl+Ds×x_d+1,y_tl+Ds×y_d+1)；

其中：(x_tl,y_tl)为L_d级中当前PU块左上角的坐标值；(x_d+1,y_d+1)为L_d+1级的最优运动矢量MV_d+1。

非最低分辨率级(L_d级，0≤d<D)搜索范围SearchRange_d：

方式一：将搜索范围SearchRange_d设置为以O_tl为中心，边长为R_d的正方形区域；R_d＝R₀/(Ds)^d；

其中：O_tl为L_d级中当前PU块的左上角点坐标：(x_tl,y_tl)；

R₀为视频编码装置根据HEVC规范为L₀级视频图像(即原始视频图像)所配置的搜索范围SearchRange₀的边长。

方式二：设S_d1为以O_tl为中心，边长为R_d的正方形区域；S_d2为以起始搜索原点O_d为中心，边长为R_sub的正方形区域；则将搜索范围SearchRange_d设置为S_d1和S_d2的重合区域；

其中：R_d＝R₀/(Ds)^d；R₀为视频编码装置根据HEVC规范为L₀级视频图像(即原始视频图像)所配置的搜索范围SearchRange₀的边长；1≤R_sub≤R_d。

本发明提供的另一视频编码装置，包括：

CU划分模块，用于对待编码的最高分辨率级别视频图像进行CU的划分；

帧内代价计算模块，用于对各CU执行如下处理：按照帧内预测的PU划分方式将当前CU划分为多个PU，对各PU进行帧内预测，得到各PU的最优帧内编码预测模式，并计算各PU的最优帧内编码预测模式所对应的编码代价值(例如，率失真代价值)，将当前CU的各PU的最优帧内编码预测模式所对应的编码代价值之和作为当前CU的帧内预测编码代价值；

在进行帧内预测时，可以采用图6所示的层级帧内编码方法对当前CU的各PU进行帧内预测，也可以采用现有技术中的其它帧内编码方法对当前CU的各PU进行帧内预测。

帧间代价计算模块，用于对各CU执行如下处理：按照帧间预测的PU划分方式将当前CU划分为多个PU，对各PU进行帧间预测，得到各PU的最优运动矢量，并计算各PU的最优运动矢量所对应的编码代价值，将当前CU的各PU的最优运动矢量所对应的编码代价值之和作为当前CU的帧间预测编码代价值；

在进行帧间预测时，可以采用图6所示的层级帧间编码方法对当前CU的各PU进行帧间预测，也可以采用现有技术中的其它帧间编码方法对当前CU的各PU进行帧间预测。

编码模块，用于将当前CU的帧内预测编码代价值和帧间预测编码代价值中最小的值所对应的方式对当前CU进行编码。

综上所述，本发明的视频编码方法及装置，通过对视频图像进行下采样，在低分辨率级获得最优的帧内预测和/或帧间预测结果后，在较高分辨率级中通过缩小和修正预测和搜索的范围的方式应用低分辨率级所获得的最优帧内预测和/或帧间预测结果，减少了视频编码的运算量，降低了视频编码的运算复杂度，并提高了预测和搜索的精度。实验证明，与现有的HEVC视频编码方法相比，采用本发明的方法可以将视频编码速度提高2～4倍。

Claims (16)

1.一种视频编码方法，其特征在于，该方法包括：

对待编码的最高分辨率级别视频图像进行下采样，生成D个不同分辨率级别的视频图像，D为大于等于1的整数；

对最低分辨率级别的视频图像进行帧内编码预测模式筛选，获得最低分辨率级别的最优帧内预测模式；

对非最低分辨率级别的视频图像，以分辨率级别由低到高的顺序，依次进行如下处理：将分辨率级别L_d+1的视频图像的最优帧内编码预测模式纳入分辨率级别L_d的视频图像的帧内编码预测模式筛选集合中，进行帧内编码预测模式筛选，获得分辨率级别L_d的视频图像的最优帧内预测模式，其中，L_d对应的分辨率高于L_d+1对应的分辨率，d为大于等于0且小于D的整数；

使用最高分辨率级别的最优帧内编码预测模式对所述最高分辨率级别的视频图像进行预测和视频编码。

2.根据权利要求1所述的方法，其特征在于，

如果L_d+1级的最优帧内编码预测模式为方向性预测模式；则：将方向性预测模式中与所述L_d+1级的最优帧内编码预测模式相邻的至少1个帧内编码预测模式纳入L_d级的帧内编码预测模式筛选集合中。

3.根据权利要求2所述的方法，其特征在于，

如果L_d+1级的最优帧内编码预测模式为方向性预测模式；则：将非方向性预测模式Intra Planar模式和/或Intra DC模式也纳入L_d级的帧内编码预测模式筛选集合中。

4.根据权利要求1所述的方法，其特征在于，

如果L_d+1级的最优帧内预测模式为非方向性预测模式Intra Planar模式和Intra DC模式中的一个；则：

将另一个非方向性预测模式也纳入L_d级的帧内编码预测模式筛选集合中。

5.根据权利要求1所述的方法，其特征在于，

所述下采样的下采样比值为Ds，在L_i级进行所述帧内编码预测模式筛选时，最大CU值maxCU_i和最小CU值minCU_i采用如下方式配置：

$\max {\mathrm{CU}}_i=\left\{\begin{array}{cc}\max {\mathrm{CU}}_0/2^i& \mathrm{Ds}=2\\ 8& \mathrm{Ds}\&NotEqual;2\end{array}\right.;$

$\min {\mathrm{CU}}_i=\left\{\begin{array}{cc}\min {\mathrm{CU}}_0/2^i& \mathrm{Ds}=2\\ 8& \mathrm{Ds}\&NotEqual;2\end{array}\right.;$

其中，maxCU₀和minCU₀分别是根据HEVC规范为L₀级视频图像所配置的最大CU和最小CU值；0<i≤D。

6.一种视频编码方法，其特征在于，该方法包括：

对待编码的最高分辨率级别视频图像进行下采样，生成D个不同分辨率级别的视频图像，D为大于等于1的整数；

对最低分辨率级别的视频图像进行帧间预测，获得最低分辨率级别的最优运动矢量；

对非最低分辨率级别的视频图像，以分辨率级别由低到高的顺序，依次进行如下处理：根据分辨率级别L_d+1的视频图像的最优运动矢量MV_d+1设置分辨率级别L_d的视频图像的起始搜索原点O_d；以所述O_d为起始搜索原点进行帧间预测，得到分辨率级别L_d的视频图像的最优运动矢量；其中，L_d对应的分辨率高于L_d+1对应的分辨率，d为大于等于0且小于D的整数；

使用最高分辨率级别的最优运动矢量对最高分辨率级别的视频图像进行预测和视频编码；

其中：MV_d+1＝(x_d+1,y_d+1)；

O_d＝(x_tl+Ds×x_d+1,y_tl+Ds×y_d+1)；

O_tl＝(x_tl,y_tl)为L_d级中当前PU块的左上角点坐标；

Ds为进行所述下采样的下采样比值。

7.根据权利要求6所述的方法，其特征在于，

在不超过区域S_d1的搜索范围内进行非最低分辨率级别的所述帧间预测；

其中：区域S_d1为以所述O_tl为中心，边长为R_d的正方形区域；R_d＝R₀/(Ds)^d；R₀为根据HEVC规范为最高分辨率级别视频图像所配置的搜索范围的边长值。

8.根据权利要求7所述的方法，其特征在于，

将区域S_d1与区域S_d2重合的部分作为在非最低分辨率级别进行所述帧间预测的搜索范围；

其中：区域S_d2为以所述O_d为中心，边长为R_sub的正方形区域；R_sub为大于等于1且小于等于R_d的整数。

9.一种视频编码装置，其特征在于，所述装置包含：下采样单元和预测单元；其中：

所述下采样单元用于对待编码的最高分辨率级别视频图像进行下采样，生成D个不同分辨率级别的视频图像，D为大于等于1的整数；

所述预测单元用于对最低分辨率级别的视频图像进行帧内编码预测模式筛选，获得最低分辨率级别的最优帧内预测模式；

所述预测单元还用于对非最低分辨率级别的视频图像，以分辨率级别由低到高的顺序，依次进行如下处理：将分辨率级别L_d+1的视频图像的最优帧内编码预测模式纳入分辨率级别L_d的视频图像的帧内编码预测模式筛选集合中，进行帧内编码预测模式筛选，获得分辨率级别L_d的视频图像的最优帧内预测模式，其中，L_d对应的分辨率高于L_d+1对应的分辨率，d为大于等于0且小于D的整数；

所述预测单元还用于使用最高分辨率级别的最优帧内编码预测模式对所述最高分辨率级别的视频图像进行预测和视频编码。

10.根据权利要求9所述的装置，其特征在于，

如果L_d+1级的最优帧内编码预测模式为方向性预测模式；则：所述预测单元将方向性预测模式中与所述L_d+1级的最优帧内编码预测模式相邻的至少1个帧内编码预测模式纳入L_d级的帧内编码预测模式筛选集合中。

11.根据权利要求10所述的装置，其特征在于，

如果L_d+1级的最优帧内编码预测模式为方向性预测模式；则：所述预测单元将非方向性预测模式Intra Planar模式和/或Intra DC模式也纳入L_d级的帧内编码预测模式筛选集合中。

12.根据权利要求9所述的装置，其特征在于，

如果L_d+1级的最优帧内预测模式为非方向性预测模式Intra Planar模式和Intra DC模式中的一个；则：

所述预测单元将另一个非方向性预测模式也纳入L_d级的帧内编码预测模式筛选集合中。

13.一种视频编码装置，其特征在于，所述装置包含：下采样单元和预测单元；其中：

所述下采样单元用于对待编码的最高分辨率级别视频图像进行下采样，生成D个不同分辨率级别的视频图像，D为大于等于1的整数；

所述预测单元用于对最低分辨率级别的视频图像进行帧间预测，获得最低分辨率级别的最优运动矢量；

所述预测单元还用于对非最低分辨率级别的视频图像，以分辨率级别由低到高的顺序，依次进行如下处理：根据分辨率级别L_d+1的视频图像的最优运动矢量MV_d+1设置分辨率级别L_d的视频图像的起始搜索原点O_d；以所述O_d为起始搜索原点进行帧间预测，得到分辨率级别L_d的视频图像的最优运动矢量；其中，L_d对应的分辨率高于L_d+1对应的分辨率，d为大于等于0且小于D的整数；

所述预测单元还用于使用最高分辨率级别的最优运动矢量对最高分辨率级别的视频图像进行预测和视频编码；

其中：MV_d+1＝(x_d+1,y_d+1)；

O_d＝(x_tl+Ds×x_d+1,y_tl+Ds×y_d+1)；

O_tl＝(x_tl,y_tl)为L_d级中当前PU块的左上角点坐标；

Ds为进行所述下采样的下采样比值。

14.根据权利要求13所述的装置，其特征在于，

所述预测单元在不超过区域S_d1的搜索范围内进行非最低分辨率级别的所述帧间预测；

其中：区域S_d1为以所述O_tl为中心，边长为R_d的正方形区域；R_d＝R₀/(Ds)^d；R₀为根据HEVC规范为最高分辨率级别视频图像所配置的搜索范围的边长值。

15.根据权利要求14所述的装置，其特征在于，

所述预测单元将区域S_d1与区域S_d2重合的部分作为在非最低分辨率级别进行所述帧间预测的搜索范围；

其中：区域S_d2为以所述O_d为中心，边长为R_sub的正方形区域；R_sub为大于等于1且小于等于R_d的整数。

16.一种视频编码方法，其特征在于，该方法包括：

对待编码的最高分辨率级别视频图像进行CU的划分；

按照帧内预测的PU划分方式将当前CU划分为多个PU，对各PU进行帧内预测，得到各PU的最优帧内编码预测模式，并计算各PU的最优帧内编码预测模式所对应的编码代价值，将当前CU的各PU的最优帧内编码预测模式所对应的编码代价值之和作为当前CU的帧内预测编码代价值；

按照帧间预测的PU划分方式将当前CU划分为多个PU，对各PU进行帧间预测，得到各PU的最优运动矢量，并计算各PU的最优运动矢量所对应的编码代价值，将当前CU的各PU的最优运动矢量所对应的编码代价值之和作为当前CU的帧间预测编码代价值；

将当前CU的帧内预测编码代价值和帧间预测编码代价值中最小的值所对应的方式对当前CU进行编码；

其中：采用如权利要求1至5中任一权利要求所述的方法对当前CU的各PU进行帧内预测，和/或

采用如权利要求6至8中任一权利要求所述的方法对当前CU的各PU进行帧间预测。