CN102196257A

CN102196257A - 一种宏块编码模式预先判定方法及装置

Info

Publication number: CN102196257A
Application number: CN2010101226115A
Authority: CN
Inventors: 姜东�; 魏旭; 梁利平
Original assignee: Institute of Microelectronics of CAS
Current assignee: Ruili Flat Core Microelectronics Guangzhou Co Ltd
Priority date: 2010-03-11
Filing date: 2010-03-11
Publication date: 2011-09-21
Anticipated expiration: 2030-03-11
Also published as: CN102196257B

Abstract

本发明公开了一种宏块编码模式预先判定方法及装置，其方法包括以下步骤：计算视频图象中每个宏块内每个象素的亮度值F(x_i，y_i)；根据F(x_i，y_i)计算每个宏块的水平方向方差Variance_hor、垂直方向方差Variance_ver；根据每个宏块的Variance_hor、Variance_ver并参考对角线方向上的方差Variance_diag以及判定规则预先判定该宏块适合的编码模式。与此对应地，其装置包括亮度值计算模块、方差计算模块和判定模块。本发明在对视频进行编码模式搜索前通过计算方差的方法对搜索的模式种类进行预先判定，将出现概率非常小的编码模式预先排除，缩小了模式搜索范围，避免了计算量的浪费，极大地降低了计算复杂度，进而提高了移动多媒体处理终端的工作性能。

Description

一种宏块编码模式预先判定方法及装置

技术领域

本发明涉及图象处理领域，具体而言，本发明涉及一种宏块编码模式预先判定方法及装置。

背景技术

随着通信和多媒体技术的迅速发展，人们对视频图象的处理和传输也提出了更高的要求。H.264/AVC标准是由ISO/IEC(InternationalOrganization for Standardization，国际标准化组织/International EngineeringConsortium，国际电子技术委员会)的MPEG(Moving Pictures ExpertsGroup，动态图象专家组)和ITU-T(International TelegraphUnion-Telecommunication Standardization Sector，国际电信联盟远程通信标准化组)联合成立的JVT(Joint Video Team，联合视频专家组)制定的新一代数字视频压缩标准。H.264/AVC标准中采用很多新的技术，包括可变宏块大小分割、多参考帧、1/4象素精度运动估计、帧内预测、环形滤波等，大大提高了编码性能。

由于视频帧之间存在时域相关性，大量的编码块通过帧间运动估计后可以搜索到匹配程度很高的参考块，使得残差块为零或者近似为零，此时只要在码流中记录MV(Motion Vector，运动向量)和编码模式信息即可，不需要记录残差信息。因此，为了提高编码性能，H.264/AVC标准预测帧编码中采用Skip模式来对上述模块进行编码。宏块编码满足Skip模式的条件为：(1)编码块尺寸为Inter 16×16；(2)运动向量为MVP(MotionVector Prediction，预测运动向量)；(3)残差数据经过变换、量化后的系数全为零或者近似全为零。因此，H.264/AVC标准中预测帧编码模式通常可以包含有Inter 16×16、Inter 16×8、Inter 8×16、Inter 8×8、Inter 8×4、Inter 4×8、Inter 4×4、Skip等多种模式。

目前，在对视频图象进行编码之前，需要对编码模式进行依次搜索，以选择最优模式。具体而言，在H.264/AVC标准下的参考软件JM中首先将图象划分成大小为16×16的宏块，然后再对于同一宏块采用不同的模式进行预编码，计算各种模式下的待编码宏块和预测宏块之间的SAD(Sumof Absolute Difference，绝对误差和)和MV，对SAD和MV等信息进行熵编码得到各种模式的R-D(Rate-Distortion，率失真)开销，最后选取R-D开销最小的编码模式作为该宏块的最终编码模式。也就是说，需要依次对各种编码模式进行遍历搜索后才能从中选取最优的编码模式。由于对每种模式进行一次搜索都需要耗费相当大的计算量，因此模式选择过程所耗费的计算量非常大，计算复杂度非常高。

但是，从大量的实验结果统计来看，视频序列中平均有超过40％的宏块最终选择Skip编码模式，某些运动不大、纹理简单的序列如Mother、Container等选择Skip模式和Inter 16×16模式的比例甚至可以高达80％。因此，在每个宏块编码前都对各种编码模式进行依次搜索必然会极大地浪费计算资源，尤其对于功耗和计算能力都十分有限的移动终端而言，这种资源的浪费将极大地影响移动多媒体处理终端的正常工作性能。

发明内容

针对现有技术的不足，本发明的目的是提供一种计算复杂度低的宏块编码模式预先判定方法和装置。

为了达到上述目的，本发明一方面提出了一种宏块编码模式预先判定方法，包括以下步骤：计算视频图象中每个宏块内每个象素的亮度值F(x_i，y_i)；根据F(x_i，y_i)计算每个宏块的水平方向方差Variance_hor、垂直方向方差Variance_ver；根据每个宏块的Variance_hor、Variance_ver以及判定规则预先判定该宏块适合的编码模式。

本发明另一方面还提出了一种宏块编码模式预先判定装置，包括象素亮度值计算模块、方差计算模块和判定模块，其中，亮度值计算模块用于计算视频图象中每个宏块内每个象素的亮度值F(x_i，y_i)；方差计算模块用于根据F(x_i，y_i)计算每个宏块的水平方向方差Variance_hor、垂直方向方差Variance_ver；判定模块用于根据每个宏块的Variance_hor、Variance_ver以及判定规则预先判定该宏块适合的编码模式。

本发明的有益效果是，在对图象进行编码模式搜索前通过计算方差的方法对搜索的模式种类进行预先判定，将出现概率非常小的编码模式预先排除，缩小了模式搜索范围，避免了计算量的浪费，极大地降低了计算复杂度，提高了编码效率，进而可以提高移动多媒体处理终端的工作性能。

本发明提出的上述方案，对现有系统的改动很小，不会影响系统的兼容性，而且实现简单、高效。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明的宏块编码模式预先判定方法的流程图；

图2为本发明的宏块编码模式预先判定方法判定宏块编码模式的原理图；以及

图3为本发明的宏块编码模式预先判定装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

为了实现本发明之目的，本发明公开了一种宏块编码模式预先判定方法及装置，采用一种基于方差的快速预判算法，即通过方差预判宏块纹理的复杂度，从而决定哪些编码模式可以不用进行搜索，减少了对编码模式进行搜索的次数，因此极大地减少了计算量，提高了编码效率。

图1示出的是根据本发明的宏块编码模式预先判定方法的流程图，该宏块编码模式预先判定方法包括以下步骤：

S101：计算视频图象中每个宏块内每个象素的亮度值F(x_i，y_i)。通过对每个视频图象进行采样得到若干个象素点，并通过量化处理得到每个象素的亮度值F(x_i，y_i)。

S102：根据F(x_i，y_i)计算每个宏块的水平方向方差Variance_hor和垂直方向方差Variance_ver。

首先求出宏块内一行象素的均值，再求出每个象素与均值的差值，这些差值的平方和就是该行象素的方差，每个宏块内所有行的方差相加得到该宏块的水平方向方差Variance_hor，计算公式为：

Variance_hor = \frac{1}{256} Σ_{j = 0}^{16} Σ_{i = 0}^{16} {[F (x_{i}, y_{j}) - \frac{1}{16} Σ_{i = 0}^{16} F (x_{i}, y_{j})]}^{2} - - - (1)

同样的方法可以计算出垂直方向方差Variance_ver，计算公式为：

Variance_ver = \frac{1}{256} Σ_{i = 0}^{16} Σ_{j = 0}^{16} {[F (x_{i}, y_{j}) - \frac{1}{16} Σ_{j = 0}^{16} F (x_{i}, y_{j})]}^{2} - - - (2)

水平方向方差Variance_hor和垂直方向方差Variance_ver可以在一定程度上反映出图象主要的纹理走向和复杂程度。

S103：根据每个宏块的Variance_hor、Variance_ver以及判定规则预先判定该宏块适合的编码模式。

图2示出的是本发明的宏块编码模式预先判定方法判定宏块编码模式的原理图。在步骤S103中，如果不进行预先判定，宏块编码模式的搜索种类通常可以包括Inter 16×16模式、Inter 16×8模式、Inter 8×16模式、Inter 8×8模式、Inter 8×4模式、Inter 4×8模式、Inter 4×4模式以及Skip模式等八种类型。

本发明的判定规则可以预定为：如果每个宏块的Variance_hor与Variance_ver之和小于等于预设的第一阈值threshold1，表明该宏块的纹理比较简单，则该宏块适合的编码模式判定为Inter 16×16模式或Skip模式，省略其他模式的搜索以降低计算复杂度，由于被省略的模式出现的概率非常小，不对其进行搜索也不会对编码结果造成损失。第一阈值threshold1可以是依据大量实验结果的统计值而得出的一个经验值，在本发明的一个实施例中可以设定为60。

判定规则还可以进一步地预定为：当每个宏块的Variance_hor与Variance_ver之和大于预设的第一阈值threshold1时，比较Variance_hor和Variance_ver的大小以初步判断纹理的走向而判定适合该宏块的编码模式。如果Variance_hor大于Variance_ver，表明水平方向的图象变化比较明显，从该宏块可选的编码模式中舍去Inter 16×8模式、Inter 8×4模式、Inter 4×8模式和Inter 4×4模式，即编码模式判定为Inter 16×16模式、Inter 8×16模式、Inter 8×8模式或Skip模式，如果Variance_hor小于Variance_ver，表明垂直方向的图象变化比较明显，从该宏块可选的编码模式中舍去Inter 8×16模式、Inter 8×4模式、Inter 4×8模式和Inter 4×4模式，即编码模式判定为Inter 16×16模式、Inter 16×8模式、Inter 8×8模式或Skip模式。

步骤S 103的判定过程也可以表示为如下公式：

为了进一步提高判别准确度，还可以在步骤S102中根据F(x_i，y_i)计算每个宏块的对角线方向方差Variance_diag，然后在步骤S103中，根据每个宏块的Variance_hor、Variance_ver和Variance_diag以及预定的判定规则一同判定该宏块适合的编码模式。

在步骤S103中，如果不进行预先判定搜索种类，宏块编码模式的搜索种类通常可以预设为Inter 16×16模式、Inter 16×8模式、Inter 8×16模式、Inter 8×8模式、Inter 8×4模式、Inter 4×8模式、Inter 4×4模式以及Skip模式等八种类型。

计算出每个宏块的Variance_hor、Variance_ver和Variance_diag之后，本发明的判定规则也可以预定为：如果每个宏块的Variance_hor、Variance_ver与Variance_diag之和小于等于预设的第二阈值threshold2，该宏块适合的编码模式判定为Inter 16×16模式或Skip模式，省略其他模式的搜索以降低计算复杂度，否则，比较Variance_hor和Variance_ver的大小以初步判断纹理走向而判定该宏块适合的编码模式。第二阈值threshold2可以根据经验值进行设定，比如在本发明的一个实施例中可以将其设为100。

判定规则还可以进一步预定为：在每个宏块的Variance_hor、Variance_ver、Variance_diag之和大于预设的第二阈值threshold2时，如果Variance_hor大于Variance_ver，该宏块适合的编码模式判定为Inter 16×16模式、Inter 8×16模式、Inter 8×8模式或Skip模式，如果Variance_hor小于Variance_ver，该宏块适合的编码模式判定为Inter 16×16模式、Inter 16×8模式、Inter 8×8模式或Skip模式。

判定规则也可以预定为：如果每个宏块的Variance_hor、Variance_ver、Variance_diag之和大于预设的第二阈值threshold2且Variance_diag大于预设的第三阈值threshold3，该宏块适合的编码模式判定为Inter 16×16模式、Inter16×8模式、Inter 8×16模式、Inter 8×8模式、Inter 8×4模式、Inter 4×8模式、Inter 4×4模式或Skip模式。第三阈值threshold3同样可以根据经验值进行设定。

步骤S103中对每个宏块适合的编码模式进行了预分类，将一些出现概率很小的编码模式预先舍去，只保留出现概率相对较大的编码模式，这样在搜索该宏块的最优编码模式时，需要搜索的模式种类就会比较少，从而降低了计算量，提高了编码效率。

图3示出的是根据本发明的宏块编码模式预先判定装置。宏块编码模式预先判定装置100包括亮度值计算模块110、方差计算模块120和判定模块130。其中，亮度值计算模块110用于计算视频图象中每个宏块内每个象素的亮度值F(x_i，y_i)；方差计算模块120用于根据F(x_i，y_i)计算每个宏块的水平方向方差Variance_hor和垂直方向方差Variance_ver，可以采用公式(1)和(2)进行计算，水平方向方差Variance_hor和垂直方向方差Variance_ver可以反映出图象在水平方向和垂直方向上主要的纹理走向和复杂程度；判定模块130用于根据每个宏块的Variance_hor、Variance_ver以及判定规则判定该宏块适合的编码模式。

需要进行搜索的宏块编码模式通常包括Inter 16×16模式、Inter 16×8模式、Inter 8×16模式、Inter 8×8模式、Inter 8×4模式、Inter 4×8模式、Inter4×4模式以及Skip模式等八种模式。判定模块130按照如公式(3)所示的判定规则进行预先判定，如果Variance_hor与Variance_ver之和小于等于预设的第一阈值threshold1，表明该宏块的纹理比较简单，则该宏块适合的编码模式判定为Inter 16×16模式或Skip模式，省略其他模式的搜索以降低计算复杂度。第一阈值threshold1可以是依据大量实验结果的统计值而得出的一个经验值，在本发明的一个实施例中可以设定为60。

当每个宏块的Variance_hor与Variance_ver之和大于预设的第一阈值threshold1时，比较Variance_hor和Variance_ver的大小以初步判断纹理的走向而判定该宏块适合的编码模式。如果Variance_hor大于Variance_ver，判定模块130从该宏块可选的编码模式中舍去Inter 16×8模式、Inter 8×4模式、Inter4×8模式和Inter 4×4模式，即编码模式判定为Inter 16×16模式、Inter 8×16模式、Inter 8×8模式或Skip模式，如果Variance_hor小于Variance_ver，判定模块130从该宏块可选的编码模式中舍去Inter 8×16模式、Inter 8×4模式、Inter 4×8模式和Inter 4×4模式，即编码模式判定为Inter 16×16模式、Inter16×8模式、Inter 8×8模式或Skip模式。

为了进一步提高判别准确度，还可以在方差计算模块120中根据F(x_i，y_i)计算每个宏块的对角线方向方差Variance_diag，然后在判定模块130中，根据每个宏块的Variance_hor、Variance_ver和Variance_diag以及判定规则一同判定该宏块适合的编码模式。

宏块编码模式的搜索种类通常包括Inter 16×16模式、Inter 16×8模式、Inter 8×16模式、Inter 8×8模式、Inter 8×4模式、Inter 4×8模式、Inter 4×4模式以及Skip模式等八种类型。判定模块130根据预定的判定规则进行判定时，如果Variance_hor、Variance_ver与Variance_diag之和小于等于预设的第二阈值threshold2，该宏块适合的编码模式判定为Inter 16×16模式或Skip模式，省略其他模式的搜索以降低计算复杂度，否则，比较Variance_hor和Variance_ver的大小以初步判断纹理走向而判定宏块编码模式的搜索种类。

计算出每个宏块的Variance_hor、Variance_ver和Variance_diag之后，判定规则可以进一步地预定为：当每个宏块的Variance_hor与Variance_ver之和大于预设的第一阈值threshold1时，比较Variance_hor和Variance_ver的大小以初步判断纹理的走向而判定该宏块适合的编码模式。如果Variance_hor大于Variance_ver，判定模块130从该宏块可选的编码模式中舍去Inter 16×8模式、Inter 8×4模式、Inter 4×8模式和Inter 4×4模式，即编码模式判定为Inter16×16模式、Inter 8×16模式、Inter 8×8模式或Skip模式，如果Variance_hor小于Variance_ver，判定模块130从该宏块可选的编码模式中舍去Inter 8×16模式、Inter 8×4模式、Inter 4×8模式和Inter 4×4模式，即编码模式判定为Inter 16×16模式、Inter 16×8模式、Inter 8×8模式或Skip模式。

当然，本发明也可以采用另一种判定规则如下：如果每个宏块的Variance_hor、Variance_ver、Variance_diag之和大于预设的第二阈值threshold2且Variance_diag大于预设的第三阈值threshold3，判定模块130将该宏块适合的编码模式判定为Inter 16×16模式、Inter 16×8模式、Inter 8×16模式、Inter8×8模式、Inter 8×4模式、Inter 4×8模式、Inter 4×4模式或Skip模式。第三阈值threshold3可以参考多个对角线方向方差Variance_diag的统计值进行设定。

本领域普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种宏块编码模式预先判定方法，其特征在于，包括以下步骤：

计算视频图象中每个宏块内每个象素的亮度值F(x_i，y_i)；

根据所述F(x_i，y_i)计算每个宏块的水平方向方差Variance_hor、垂直方向方差Variance_ver；

根据每个宏块的所述Variance_hor、Variance_ver以及判定规则预先判定该宏块适合的编码模式。

2.根据权利要求1所述的宏块编码模式预先判定方法，其特征在于，所述判定规则包括：

如果每个宏块的所述Variance_hor、Variance_ver之和小于等于预设的第一阈值threshold1，该宏块适合的编码模式判定为Inter 16×16模式或Skip模式。

3.根据权利要求2所述的宏块编码模式预先判定方法，其特征在于，所述判定规则还包括：

在每个宏块的所述Variance_hor、Variance_ver之和大于预设的第一阈值threshold1时，如果所述Variance_hor大于所述Variance_ver，该宏块适合的编码模式判定为Inter 16×16模式、Inter 8×16模式、Inter 8×8模式或Skip模式，如果所述Variance_hor小于所述Variance_ver，该宏块适合的编码模式判定为Inter 16×16模式、Inter 16×8模式、Inter 8×8模式或Skip模式。

4.根据权利要求1所述的宏块编码模式预先判定方法，其特征在于，还包括：

根据所述F(x_i，y_i)计算每个宏块的对角线方向方差Variance_diag；

根据每个宏块的所述Variance_hor、Variance_ver、Variance_diag以及判定规则预先判定该宏块适合的编码模式，

其中，所述判定规则包括：

如果每个宏块的所述Variance_hor、Variance_ver、Variance_diag之和小于等于预设的第二阈值threshold2，该宏块适合的编码模式判定为Inter 16×16模式或Skip模式。

5.根据权利要求4所述的宏块编码模式预先判定方法，其特征在于，所述判定规则还包括：

在每个宏块的所述Variance_hor、Variance_ver、Variance_diag之和大于预设的第二阈值threshold2时，如果所述Variance_hor大于所述Variance_ver，该宏块适合的编码模式判定为Inter 16×16模式、Inter 8×16模式、Inter 8×8模式或Skip模式，如果所述Variance_hor小于所述Variance_ver，该宏块适合的编码模式判定为Inter 16×16模式、Inter 16×8模式、Inter 8×8模式或Skip模式；或者

如果每个宏块的所述Variance_hor、Variance_ver、Variance_diag之和大于预设的第二阈值threshold2且所述Variance_diag大于预设的第三阈值threshold3，该宏块适合的编码模式判定为Inter 16×16模式、Inter 16×8模式、Inter 8×16模式、Inter 8×8模式、Inter 8×4模式、Inter 4×8模式、Inter 4×4模式或Skip模式。

6.一种宏块编码模式预先判定装置，其特征在于，包括亮度值计算模块、方差计算模块和判定模块，

所述亮度值计算模块，用于计算视频图象中每个宏块内每个象素的亮度值F(x_i，y_i)；

所述方差计算模块，用于根据所述F(x_i，y_i)计算每个宏块的水平方向方差Variance_hor、垂直方向方差Variance_ver；

所述判定模块，用于根据每个宏块的所述Variance_hor、Variance_ver以及判定规则预先判定该宏块适合的编码模式。

7.根据权利要求6所述的宏块编码模式预先判定装置，其特征在于，所述判定规则包括：

如果每个宏块的所述Variance_hor、Variance_ver之和小于等于预设的第一阈值threshold1，所述判定模块将该宏块适合的编码模式判定为Inter 16×16模式或Skip模式。

8.根据权利要求7所述的宏块编码模式预先判定装置，其特征在于，所述判定规则还包括：

在每个宏块的所述Variance_hor、Variance_ver之和大于预设的第一阈值threshold1时，如果所述Variance_hor大于所述Variance_ver，所述判定模块将该宏块适合的编码模式判定为Inter 16×16模式、Inter 8×16模式、Inter 8×8模式或Skip模式，如果所述Variance_hor小于所述Variance_ver，所述判定模块将该宏块适合的编码模式判定为Inter 16×16模式、Inter 16×8模式、Inter8×8模式或Skip模式。

9.根据权利要求6所述的宏块编码模式预先判定装置，其特征在于，还包括：

所述方差计算模块根据所述F(x_i，y_i)计算每个宏块的对角线方向方差Variance_diag；

所述判定模块根据每个宏块的所述Variance_hor、Variance_ver、Variance_diag以及判定规则预先判定该宏块适合的编码模式，

其中，所述判定规则包括：

如果每个宏块的所述Variance_hor、Variance_ver、Variance_diag之和小于等于预设的第二阈值threshold2，所述判定模块将该宏块适合的编码模式判定为Inter 16×16模式或Skip模式。

10.根据权利要求9所述的宏块编码模式预先判定装置，其特征在于，所述判定规则还包括：

在每个宏块的所述Variance_hor、Variance_ver、Variance_diag之和大于预设的第二阈值threshold2时，如果所述Variance_hor大于所述Variance_ver，所述判定模块将该宏块适合的编码模式判定为Inter 16×16模式、Inter 8×16模式、Inter 8×8模式或Skip模式，如果所述Variance_hor小于所述Variance_ver，所述判定模块将该宏块适合的编码模式判定为Inter 16×16模式、Inter 16×8模式、Inter 8×8模式或Skip模式；或者

如果每个宏块的所述Variance_hor、Variance_ver、Variance_diag之和大于预设的第二阈值threshold2且所述Variance_diag大于预设的第三阈值threshold3，所述判定模块将该宏块适合的编码模式判定为Inter 16×16模式、Inter 16×8模式、Inter 8×16模式、Inter 8×8模式、Inter 8×4模式、Inter 4×8模式、Inter 4×4模式或Skip模式。