CN102665077A

CN102665077A - 一种基于宏块分类的快速高效编转码方法

Info

Publication number: CN102665077A
Application number: CN2012101357820A
Authority: CN
Inventors: 黄铁军; 耿铭超; 张贤国; 田永鸿; 高文
Original assignee: Peking University
Current assignee: Peking University
Priority date: 2012-05-03
Filing date: 2012-05-03
Publication date: 2012-09-12

Abstract

本发明公开了一种基于宏块分类的编转码方法，它基于背景建模技术，将当前图像内具有不同特性的图像块进行划分，形成不同类别的图像块，随后对不同类别的图像块采用不同的编码或转码过程。在编码应用中，可以有条件选择性的或者强制性的对不同类别的图像块进行编码优化；在转码应用中，利用解码得到的信息，完成参考帧选择，运动搜索过程中的搜索范围自适应缩减、候选模式的优化精简、量化参数调整和编码模式选择算法。与传统编码或转码方法相比，这种方法可以极大幅度的缩减编码或转码复杂度，并且保持显著的压缩效率。

Description

一种基于宏块分类的快速高效编转码方法

技术领域

本发明涉及数字视频编解码技术领域，一种基于宏块分类的快速高效编转码方法。

背景技术

视频编转码技术是数字视频处理的关键技术，针对未压缩或已压缩视频文件，通过高性能、快速的编转码算法，可以将较大的视频文件压缩为占用空间更小的二进制文件。视频编转码技术在实际中都有着广泛的应用。例如视频会议，视频录制，数字视频在复杂带宽下传输，各种终端设备上自适应播放视频以及不同视频格式之间相互转换等。众多实际应用更加凸显了视频编转码技术的重要性，同时视频的应用要求编转码技术的快速、实时、多路超实时编转码。因而，快速高效的视频编转码技术成为越来越急需的实用技术。

一般的视频编转码算法通过快速模式决策、快速运动搜索算法对未压缩视频文件进行快速编码，或者通过利用现有已压缩的视频文件中编码信息，来大幅减少再次转压缩的复杂度。当前主流的快速编转码技术包含帧间、帧内的快速模式决策，运动搜索简化等。然而视频背景内容中包含有利于提高编转码效率的信息，一般的编转码算法没有充分的利用视频背景内容信息。

最近发展的视频编转码技术证明，基于视频内容的背景建模编转码技术，相比不利用视频背景信息的一般的编转码算法，可以实现较大的性能增益。针对视频背景特性，基于解码重建图像进行训练得到背景图像用于预测编码（黄铁军，张贤国，梁路宏，黄倩，高文.一种基于背景建模的静态摄像机视频压缩方法与系统.专利申请号201010034117.3）,该方法可以获得较高的性能提升，相比一般的编转码方式可以节省一半以上的码率。

虽然基于视频内容的背景建模编转码技术可以获得较高的性能提升，但是编转码的复杂度并没有降低，而且视频的背景信息也未被用于降低编转码复杂度。所以将视频的背景内容应用于提升编转码速度成为研究的热点。

发明内容

本发明解决的技术问题在于如何缩减编码或转码复杂度，并且保持显著的压缩效率。

为了解决以上问题，本发明提出了一种基于宏块分类的快速高效编转码方法，该方法利用视频图像块不同的特征信息，将图像内所有图像块进行分类，对不同类别的图像块使用不同的优化加速策略。

本发明提出的快速高效编转码方法，其主要步骤包括：

a)视频信息获取步骤：如果输入为原始数据，则直接进行数字化采样得到原始数据；如果输入为已压缩视频，则应首先对压缩视频解码获取视频信息，包括每个图像块的解码结果和编码工具使用情况信息；

b)背景图像获取步骤：编码时利用解码图像、输入原始图像或者重建图像进行训练，得到背景图像，或由外部输入已有的背景图像；

c)背景图像选择性的编入位流步骤：根据背景图像的获取方法来选择是否将背景图像编入位流；

d)编转码优化步骤：对图像块进行分类，并将分类信息用于编码或转码优化中，解码得到的工具使用情况信息会被重用于再编码过程。

进一步，作为一种优选方案，在视频信息获取步骤中,如果输入为已压缩视频，提取的编码工具使用情况信息包括：参考帧索引号、尺寸模式，变换方法，预测方式，量化参数，环路滤波方式，熵编码方法，位宽度信息，位宽度扩展情况，深度信息和运动向量信息。

进一步，作为一种优选方案，背景图像获取步骤中所使用的背景图像获取方法包含：

a)如果输入为未压缩视频，则利用输入原始图像进行背景建模，或

b)如果输入为已压缩视频，则利用解码图像进行背景建模，或

c)利用重建图像进行背景建模，或

d)由外部直接输入已有的背景图像。

进一步，作为一种优选方案，背景图像选择性的编入位流步骤中，使用了输入原始图像、解码图像训练或者外部输入得到的背景图像需要被编入位流，仅由重建图像训练得到的背景图像不会编入位流。

进一步，作为一种优选方案，所述编转码优化步骤包括以下步骤：

a)类别划分步骤：利用背景图像，将当前图像内的所有图像块进行分类，划分为不同特性的图像块类别，

b)基于分类的编转码优化步骤：将分类信息应用于编码或转码优化中，对不同类别的图像块或区域采用不同的编码或转码优化过程。

进一步，作为一种优选方案，编转码优化步骤中在对图像块进行分类时，采用至少一种如下的分类策略：

a)按照图像块的前背景属性进行划分，划分成前景、背景或者前背景边缘块，或

b)按照图像块的运动属性进行划分，划分成大幅运动图像块，静止图像块或小幅运动图像块，或

c)按照图像块的内容进行划分：划分为若干类别的感兴趣块和若干类别的非感兴趣块，相同类别的感兴趣块组成一种类别的感兴趣区域，相同类别的非感兴趣块组成一种类别的非感兴趣区域。

进一步，作为一种优选方案，编转码优化步骤所包含的类别划分步骤中，在按照前背景属性进行划分时，通过当前图像和背景图像进行残差计算，通过残差与阈值的判别将当前图像内所有图像块分类为背景图像块、前景图像块和前景边缘图像块。

进一步，作为一种优选方案，编转码优化步骤所包含的类别划分步骤中，在按照运动属性进行划分时，使用当前图像在背景图像或已编码的图像中进行全局运动搜索，通过对运动信息的判别将当前图像内所有图像块分类为大幅运动图像块，静止图像块或小幅运动图像块。

进一步，作为一种优选方案，编转码优化步骤所包含的类别划分步骤中的按照前背景属性进行划分时，残差判别的方法包含：

a)使用整个图像块的残差矩阵进行判别，计算整个图像块的残差矩阵与阈值进行判断当前图像块的类别，或

b)将整个图像块的残差矩阵划分为多个小子块，先进行小子块与阈值的判断，然后再利用判别为前景的小子块个数，进一步将当前图像块进行分类，或

c)对残差矩阵进行变换计算，将残差映射到变换域，由残差变换矩阵与阈值的判别结果决定当前图像块的类别。

进一步，作为一种优选方案，编转码优化步骤所包含的类别划分步骤中的图像区域的分类结果被编入码流。分类结果包括如下至少一种：背景、前景属性；感兴趣区域、非感兴趣区域属性；运动特性属性。

进一步，作为一种优选方案，编转码优化步骤所包含的基于分类的编转码优化步骤至少包含一种以下方法：

a)参考帧的选取；

b)运动搜索范围的自适应缩减；

c)候选模式的优化；

d)量化参数的调整；

e)编码方式的选择。

进一步，作为一种优选方案，编转码优化步骤所包含的基于分类的编转码优化步骤中的参考帧的选取至少包含一种以下方法：

a)对于背景图像块或非感兴趣区域，使用较少的参考帧，

b)对于包含前景的图像块或感兴趣区域，使用灵活的参考帧选取方式。此外在转码应用中，解码获取的参考帧索引信息所对应的参考帧也被选取。

进一步，作为一种优选方案，编转码优化步骤所包含的基于分类的编转码优化步骤中的运动搜索范围的自适应缩减方法至少包含一种以下方法：

a)在编码应用中，背景图像块或非感兴趣区域，运动搜索限制在小范围内；包含前景的图像块或感兴趣区域搜索范围有条件选择性的缩减或强制性的限制在某一范围内；

b)在转码应用中，背景图像块或非感兴趣区域的运动搜索限制在小范围内；而包含前景的图像块或感兴趣区域，运动搜索时对于每个解码图像块内的每个子块模式，计算其运动向量和当前编码预测向量之间在横轴和纵轴的最大差值，并根据得到的最大差值自适应的缩减当前模式的运动搜索范围。

进一步，作为一种优选方案，编转码优化步骤所包含的基于分类的编转码优化步骤中的候选模式的优化步骤至少包含一种如下方法：

a)对背景图像块、静态图像块或非感兴趣区域，候选模式只包含整个图像块尺寸和较大尺寸的块模式，其它小尺寸的块模式不使用；

b)对前景图像块、大幅运动图像块或感兴趣区域，在编码应用中，有条件选择性的选择或强制性的选择候选模式；在转码应用中候选模式只包含，模式尺寸大于或等于解码时获取的最小的块模式，小于最小尺寸的块模式将被排除在候选模式之外；

c)对前景边缘图像块、小幅运动图像块或一般感兴趣区域，在编码应用中，有条件选择性的选择或强制性的选择候选模式；在转码应用中候选模式包含，模式尺寸大于或等于解码时获取的最小的块模式，并且要根据解码的模式添加其它的候选模式。

进一步，作为一种优选方案，编码码优化步骤所包含的基于分类的编转码优化步骤中的量化参数调整方法至少包含一种如下方法：

a)对背景图像块、静态图像块或非感兴趣区域，使用较大量化参数，

b)对前景图像块、大幅运动图像块或感兴趣区域，在编码应用中，有条件选择性的选择或强制性的选择量化参数；在转码应用中根据解码的量化参数自适应的调整量化参数，

c)对前景边缘图像块、小幅运动图像块或一般感兴趣区域，在编码应用中，有条件选择性的选择或强制性的选择量化参数；在转码应用中根据解码的量化参数自适应的调整量化参数。

进一步，作为一种优选方案，编转码优化步骤所包含的基于分类的编转码优化步骤中的编码方法的选择过程中至少包含一种如下方法：

a)对背景图像块、静态图像块或非感兴趣区域，选择使用基于长期背景帧的背景预测编码方法以及近期参考图像进行帧间预测编码，

b)对前景图像块、大幅运动图像块或感兴趣区域，使用近期参考图像进行帧间预测编码，

c)对前景边缘图像块、小幅运动图像块或一般感兴趣区域，使用近期参考图像进行帧间预测编码和基于背景帧的可选差分预测编码方法。

进一步，作为一种优选方案，对编码或转码所生成位流在解码端的解码过程中包括以下步骤：

a)解码输入图像：解码位流直接得到与背景无关的解码图像；

b)选择性的获取分类信息：如果解码过程与快速转码信息相关，则需要获取与编转码端相对应的用于快速高效转码的信息；否则，不需要解码这些信息；

c)获取背景图像：解码端获取背景图像；

d)生成所有解码图像：根据已经获得的解码图像和背景图像以及快速高效转码信息生成所有解码图像。

进一步，作为一种优选方案，对编转码所生成位流在解码端的解码过程中，在解码端背景图像获取的方式至少包含一种以下方法：

a)从编转码后的位流中直接解码背景图像的位流获得，或

b)在解码端解码过程中，由所有解码图像或一部分解码图像进行训练得到，或

c)由已经生成好的背景图像作为外部数据直接输入解码器。

进一步，作为一种优选方案，对编转码所生成位流在解码端的解码过程中，在解码端解码已编入码流的用于快速高效转码的信息，包括图像块的前背景属性信息、运动属性信息或者感兴趣区域属性信息。

进一步，作为一种优选方案，对编转码所生成位流在解码端的解码过程中，在解码端获取的分类信息包含一种以下方法：

a)按照图像块的前背景属性划分的前景、背景或者前背景边缘块分类信息，或

b)按照图像块的运动属性划分的大幅运动图像块，静止图像块或小幅运动图像块分类信息，或

c)按照图像块的内容划分的若干类别的感兴趣块和若干类别的非感兴趣块分类信息。

进一步，作为一种优选方案，对编转码所生成位流在解码端的解码过程中，在解码端获取分类信息的方式包括：

a)解码位流中的标志位得到分类信息；

b)由重建图像或者图像块的编码信息在解码端计算分类信息。

相对现有技术而言，本发明具有以下有益效果：第一，视频序列中的背景内容信息被应用在编码或转码加速过程中。第二，通过利用背景图像或设置不同感兴趣程度的图像区域，将图像区域进行分类，对不同类别的图像块给予不同的编转码过程，可以最大程度的削减编转码复杂度。第三，背景预测技术带来的编转码高性能得以保持。

附图说明

当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：

图1是本发明提出的编码或转码应用算法框架图；

图2是本发明提出的编转码方法的实施步骤流程图；

图3是本发明提出的编转码优化步骤实施流程图；

图4是本发明提出的分类编转码优化实施步骤流程图；

图5是本发明提出的参考帧精简算法框架图；

图6是本发明提出的自适应缩减运动搜索范围算法框架图；

图7是本发明提出的候选模式优化算法框架图；

图8是本发明提出的量化参数调整的算法框架图。

具体实施方式

以下参照图1-8对本发明的实施例进行说明。

为使上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明提出了一种基于宏块分类的快速高效编转码方法，算法框架如图1所示，它通过背景建模技术或者外部输入获取背景图像，并利用背景图像，将当前图像块划分为不同运动特性的图像块类别；或者根据感兴趣的不同程度，将当前图像划分为不同类别的图像区域。对不同类别的图像或图像区域使用不同的编转码优化加速过程，

以此实现在保持高性能的基础上，最大程度削减复杂度。

参照图2，图2是本发明提出的一种基于宏块分类的快速高效编转码方法实施步骤流程图，如图所示编转码步骤包括：

视频信息获取步骤S1：如果是未压缩视频，接受输入原始图像；如果是已压缩视频，则接受解码提取得到的每个块信息和编码工具信息，传输给编转码优化步骤S4。如果是已压缩视频，视频信息获取步骤S1对当前解码图像中所有块的解码信息进行提取，取得每个块范围内用到的所有参考帧信息、每个子块的运动向量信息和解码的最小尺寸的块模式。

背景图像获取步骤S2：从输入视频源文件或者解码过程得到当前图像的数据，并将训练生成的背景图像传输给背景图像选择性的编入位流步骤S3和编转码优化步骤S4。背景图像获取步骤S2，如果是未压缩视频，使用输入图像；如果是已压缩视频则使用解码过程中解码图像；也可以使用重建图像进行背景建模，背景图像可以周期性的更新，以此保持最新的背景信息。背景图像获取的方法可以包含但不限于：(1)如果是未压缩视频利用输入图像进行背景建模，可以使用一部分最近的输入图像进行建模，也可以使用全部的输入图像进行建模，建模的算法可以是均值法、中值法和混合高斯模型。(2)如果是已压缩视频利用输入位流的解码图像进行背景建模，可以使用一部分最近的解码图像进行建模，也可以使用全部的解码图像进行建模，建模的算法可以是均值法、中值法和混合高斯模型。(3)利用重建图像进行背景建模，可以使用一部分重建图像或者全部重建图像进行背景建模，建模的算法可以是均值法、中值法和混合高斯模型算法。(4)周期性的从外部输入已有的背景图像。

背景图像选择性的编入位流步骤S3：接受背景图像获取步骤S2传输的背景图像。获取的背景图像会根据获取的方式选择性的编入位流：由输入图像、解码图像训练或者外部输入时可以将背景图像编入位流，由重建图像训练得到背景图像时可以不编入位流。

如图3所示，编转码优化步骤S4：接受背景图像获取步骤S2传输的背景图像，此外如果是已压缩视频还接受由视频信息获取步骤S1传输的视频信息。编转码优化步骤S4主要通过两个步骤来实现：类别划分步骤S41和基于分类的编转码优化步骤S42。

类别划分步骤S41，接受当前图像和背景图像的数据，向基于分类的编转码优化步骤S42传输图像块或区域的分类信息。类别划分步骤S41可以划分图像块的方法包含但不限于：（1）根据图像的前背景属性来划分当前图像内的所有图像块。（2）依据图像的运动属性来划分当前图像内的所有图像块。（3）根据视频内容将所有图像块划分为不同感兴趣区域的图像块类别。

类别划分步骤S41依据前背景属性将当前图像中的所有图像块进行分类时，通过判别将图像块划分为背景图像块、前景图像块和前景边缘图像块。图像块划分的方法可以包含但不限于：(1)通过当前图像与背景图像对应位置图像块的残差值和阈值进行判断的方式，直接计算残差的绝对值、方差和均方差与阈值进行判定，依据整个图像块残差矩阵的计算结果来判断当前图像块的类别。(2)当前图像与背景图像对应位置图像块的残差矩阵划分为多个小子块，并对子块进行判断，以子块的判别结果来最终决策当前图像块类别的方式。对子块的判别方法可以是计算残差的绝对值、方差和均方差与阈值进行判断。(3)当前图像与背景图像对应位置图像块的残差矩阵在变换域进行判断的方式，将残差通过变换映射到变换域，在变换域利用变换后残差矩阵的特征，或者变换后残差矩阵内4×4的零块的个数进行当前图像块的类别判定。最终当前图像的所有图像块被划分为多个类别，包含但不限于：背景图像块、前景图像块和前景边缘图像块。经类别划分步骤S41后，图像块的分类信息、属性可以被编入码流。

如图4所示，基于分类的编转码优化步骤S42接受类别划分步骤S41传输的图像块或区域分类信息，此外如果是已压缩视频还接受由视频信息获取步骤S1传输的解码信息。基于分类的编转码优化步骤S42对不同类别的图像块或区域，使用不同程度的编码或转码优化过程，以此在编码或转码性能损失微弱的情况下，最大程度的减少编码或转码复杂度。基于分类的编转码优化过程包含但不限于：(1)参考帧选取步骤S421，(2)运动搜索范围自适应缩减步骤S422,（3）候选模式优化步骤S423，（4）量化参数的调整步骤S424和（5）编码方式的选择S425。

参考帧选取步骤S421（算法框架如图5所示）接受类别划分步骤S41传输的图像块或区域分类信息，此外如果是已压缩视频还接受由视频信息获取步骤S1传输的参考帧索引号信息，并最终输出优化选取的参考帧。参考帧选取步骤S421中背景图像块或区域只使用最近的一帧参考帧和背景图像作为参考帧，而包含前景的图像块或区域采用灵活的参考帧精简。如果是未压缩视频，可以强制性的选取最近的两帧参考帧和背景图像将被作为参考帧，其它帧可以有条件选择性的补充。如果是已压缩视频对前景和前景边缘图像块或区域，最近的两帧参考帧和背景图像将被作为参考帧，同时解码得到的参考帧索引对应的参考帧也是候选的参考帧。最终对不同类别的图像块或区域选取不同的参考帧（如表1所示），可以保证性能损失微弱的条件下，减少运动搜索时的复杂度。

表1不同图像块或区域类别精简后的候选参考帧

运动搜索范围自适应缩减步骤S422（算法框架如图6所示）接受类别划分步骤S41传输的图像块或区域分类信息,此外如果是已压缩视频还接受由视频信息获取步骤S1传输的运动向量信息，并最终输出自适应缩减后的运动搜索范围。运动搜索范围自适应缩减步骤S422中不同运动特性类别的图像块或区域将使用不同的方法进行自适应缩减，缩减的方法包含但不限于：(1)对于基本维持不动的背景图像块或区域，其运动搜索范围可以限制在较小的范围内。(2)如果是未压缩视频，前景边缘和前景图像块或区域，其运动搜索范围可以各自强制性的设置限制范围，也可以有条件的选择限制范围。(3)如果是已压缩视频，前景边缘和前景图像块或区域其范围可以根据解码运动向量（MV_dec）的大小，自适应的缩减搜索范围。对于一个解码的宏块，得到的一个或多个MV_dec，和当前模式编码时的预测运动向量（PMV）分别计算差值（PMVD）大小，如公式1所示：

PMVD_i(X,Y)＝(PMV_i(X)-MV_dec(X),PMV_i(Y)-MV_dec(Y)) 公式1

然后计算所有PMVD在横和纵轴方向的最大距离PMVD_max（X）

和PMVD_max(Y)，如公式2和3所示：

PMVD_max(X)=MAX(PMVD₀(X),PMVD₁(X)，....) 公式2

PMVD_max(Y)=MAX(PMVD₀(Y),PMVD₁(Y),....) 公式3

得到的最大距离PMVD_max（X）和PMVD_max(Y)各自再加上一个浮动的距离d1和d2作为最终缩减后的运动搜索范围，浮动的距离为整数值。前景边缘图像块或区域浮动距离为d1，前景图像块或区域浮动距离为d1+d2，d1和d2的值均设置为2。

上述的转码应用中最大距离加浮动距离的计算过程如下所示：

候选模式优化步骤S423（算法框架如图7所示）接受类别划分步骤S41传输的图像块分类信息，此外如果是已压缩视频还接受由视频信息获取步骤S1传输的解码模式信息，并最终输出精简后不同类别的图像块或区域的候选模式。候选模式优化步骤S423中背景图像块或区域的候选模式会大幅缩减，去掉不必要的小模式，只保留大尺寸的SKIP和16×16块模式。如果是未压缩视频，前景和前景边缘图像块或区域可以强制性的选择候选模式，也可以有条件选择性的设置候选模式，优化后的不同类别图像块或区域的候选模式如表2所示。如果是已压缩视频，前景和前景边缘图像块或区域需要根据解码模式来判断需要精简优化掉的模式，小于解码模式的最小尺寸的编码模式被禁止。对前景边缘图像块或区域，由于前景边缘的原因，所以8×4和4×8模式在前景边缘图像块或区域中被一直使用。优化后的不同类别图像块或区域的候选模式如表3所示：

表2编码应用中不同类别的图像块或区域优化后的候选模式

表3转码应用中不同类别的图像块或区域优化后的候选模式

对编或转码加速的过程，不同类别的图像块或不同感兴趣程度的图像区域将使用不同的优化加速策略，本发明包含且不限于上述的参考帧选取、运动搜索范围缩减和候选模式优化过程。

量化参数的调整步骤S424（算法框架如图8所示）接受类别划分步骤S41传输的图像块分类信息，此外如果是已压缩视频还接受由视频信息获取步骤S1传输的解码模式信息，并最终输出调整后图像块的量化参数。如果是未压缩视频，可以强制性的或者有条件选择的调整量化参数；如果是已压缩视频，可以根据当前图像块解码的量化参数和设定的量化参数，自适应的决定当前图像块的量化参数。

编码方式的选择步骤S425接受类别划分步骤S41传输的图像块分类信息，此外如果是已压缩视频还接受由视频信息获取步骤S1传输的解码模式信息，决定图像块的编码方式。编码方式包括至少以下一种：（1）对背景图像块、静态图像块或非感兴趣区域，可以选择使用基于长期背景帧的背景预测编码方法以及近期参考图像进行帧间预测编码。长期背景帧是缓存中长期存储的作为每个图像进行参考的背景图像。（2）对前景图像块、大幅运动图像块或感兴趣区域，可以使用近期参考图像进行帧间预测编码。（3）对前景边缘图像块、小幅运动图像块或一般感兴趣区域，可以使用近期参考图像进行帧间预测编码和基于背景帧的可选差分预测编码方法。可选差分编码方法见参考文献（高文，张贤国，梁路宏，黄铁军.基于背景建模和可选差分模式的视频编/解码方法及系统201010203823.6中所述）。

上述基于宏块分类的快速高性能编转码方法，包含但不限于现有的视频编码标准如MPEG-1/2/4、H.263、H.264/AVC、VC1、AVS、JPEG、JPEG2000、MJPEG。

在具体实施过程中，对于编转码后位流对应的解码过程，需要获取背景图像进行解码。背景图像的获取包含但不限于：（1）从编码或转码后的位流中直接解码背景图像位流获得。（2）在解码端的解码过程中由所有解码图像或一部分解码图像进行训练得到，训练的方法可以是均值法、中值法和混合高斯模型算法。（3）由已经生成好的背景图像作为外部数据直接输入解码器。

本发明编码或转码生成的位流在解码过程中，可以提取前背景属性，或者感兴趣与非感兴趣区域属性。

本发明编码或转码生成的位流按照如MPEG-1/2/4、H.263、H.264/AVC、VC1、AVS、JPEG、JPEG2000、MJPEG视频标准进行解码，解码过程符合对应的视频标准。

下面举一个实例来说明本发明一种基于宏块分类的快速高效编转码方法可能的一种实现方式。

设定输入数据为由YUV4:2:0格式编码的位流，在转码应用中使用解码图像进行背景建模，所用的背景建模方法为均值法。建模过程中使用的训练集为120帧，每900帧训练一个背景，将背景编入位流，背景编码QP为0，得到的背景图像在H.264标准下用作长期参考帧。当前图像中的图像块进行分类时，使用基于图像块内子块判别的结果来决策该图像块的类别。在转码优化的过程中，关闭了量化参数的调整。针对上述实现，进行了如下性能测试：在4个标清（720×576）或CIF（352×288）的位流上，与传统的H.264级联转码方式相比，本发明的方法实现了平均96%以上的转码时间节省，同时达到了1dB以上的性能增益，与添加背景建模但无快速算法的转码器相比，也达到了96%以上的时间节省，而性能损失约为0.1dB。详细的测试结果如下表6中所示：

表6快速算法相比传统算法的性能和时间测试结果

如上所述，对本发明的实施例进行了详细地说明，但是只要实质上没有脱离本发明的发明点及效果可以有很多的变形，这对本领域的技术人员来说是显而易见的。因此，这样的变形例也全部包含在本发明的保护范围之内。

Claims

1.一种基于宏块分类的快速高效编转码方法，其特征在于，利用视频图像块不同的特征信息，将图像内所有图像块进行分类，对不同类别的图像块使用不同的优化加速策略。

2.如权利要求1所述的一种基于宏块分类的快速高效编转码方法，其特征在于，进一步包括以下步骤：

视频信息获取步骤：如果输入为原始数据，则直接进行数字化采样得到原始数据；如果输入为已压缩视频，则首先对压缩视频解码获取视频信息，包括每个图像块的解码结果和编码工具使用情况信息；

背景图像获取步骤：编码时利用解码图像、输入原始图像或者重建图像进行训练，得到背景图像，或由外部输入已有的背景图像；背景图像选择性的编入位流步骤：根据背景图像的获取方法来选择是否将背景图像编入位流；

编转码优化步骤：对图像块进行分类，并将分类信息用于编码或转码优化中，解码得到的工具使用情况信息会被重用于再编码过程。

3.如权利要求2所述的一种基于宏块分类的快速高效编转码方法，其特征还在于，所述视频信息获取步骤中,如果输入为已压缩视频，提取的编码工具使用情况信息包括：参考帧索引号和/或尺寸模式和/或变换方法和/或预测方式和/或量化参数和/或环路滤波方式和/或熵编码方法和/或位宽度信息和/或位宽度扩展情况和/或深度信息和/或运动向量信息。

4.如权利要求2所述的一种基于宏块分类的快速高效编转码方法，其特征还在于，所述背景图像获取步骤中所使用的背景图像获取方法包含：

如果输入为未压缩视频，则利用输入原始图像进行背景建模，或如果输入为已压缩视频，则利用解码图像进行背景建模，或利用重建图像进行背景建模，或

由外部直接输入已有的背景图像。

5.如权利要求2所述的一种基于宏块分类的快速高效编转码方法，其特征还在于，所述背景图像选择性的编入位流步骤中，使用了输入原始图像、解码图像训练或者外部输入得到的背景图像需要被编入位流，仅由重建图像训练得到的背景图像不会编入位流。

6.如权利要求2所述的一种基于宏块分类的快速高效编转码方法，其特征还在于，所述编转码优化步骤包括以下步骤：

类别划分步骤：利用背景图像，将当前图像内的所有图像块进行分类，划分为不同特性的图像块类别；

基于分类的编转码优化步骤：将分类信息应用于编码或转码优化中，对不同类别的图像块或区域采用不同的编码或转码优化过程。

7.如权利要求6所述的一种基于宏块分类的快速高效编转码方法，其特征还在于，所述编转码优化步骤中在对图像块进行分类时，采用至少一种如下的分类策略：

按照图像块的前背景属性进行划分，划分成前景、背景或者前背景边缘块，或

按照图像块的运动属性进行划分，划分成大幅运动图像块，静止图像块或小幅运动图像块，或

按照图像块的内容进行划分：划分为若干类别的感兴趣块和若干类别的非感兴趣块，相同类别的感兴趣块组成一种类别的感兴趣区域，相同类别的非感兴趣块组成一种类别的非感兴趣区域。

8.如权利要求7所述的一种基于宏块分类的快速高效编转码方法，其特征还在于，所述编转码优化步骤所包含的类别划分步骤中，在按照前背景属性进行划分时，通过当前图像和背景图像进行残差计算，通过残差与阈值的判别将当前图像内所有图像块分类为背景图像块、前景图像块和前景边缘图像块。

9.如权利要求7所述的一种基于宏块分类的快速高效编转码方法，其特征还在于，所述编转码优化步骤所包含的类别划分步骤中，在按照运动属性进行划分时，使用当前图像在背景图像或已编码的图像中进行全局运动搜索，通过对运动信息的判别将当前图像内所有图像块分类为大幅运动图像块，静止图像块或小幅运动图像块。

10.如权利要求8所述的一种基于宏块分类的快速高效编转码方法，其特征还在于，所述编转码优化步骤所包含的类别划分步骤中的按照前背景属性进行划分时，残差判别的方法包含：

使用整个图像块的残差矩阵进行判别，计算整个图像块的残差矩阵与阈值进行判断当前图像块的类别，或

将整个图像块的残差矩阵划分为多个小子块，先进行小子块与阈值的判断，然后再利用判别为前景的小子块个数，进一步将当前图像块进行分类，或

对残差矩阵进行变换计算，将残差映射到变换域，由残差变换矩阵与阈值的判别结果决定当前图像块的类别。

11.如权利要求6所述的一种基于宏块分类的快速高效编转码方法，其特征还在于，所述编转码优化步骤所包含的类别划分步骤中的图像区域的分类结果被编入码流,；分类结果包括如下至少一种：

背景、前景属性；感兴趣区域、非感兴趣区域属性；运动特性属性。

12.如权利要求6所述的一种基于宏块分类的快速高效编转码方法，其特征还在于，所述编转码优化步骤所包含的基于分类的编转码优化步骤至少包含一种以下方法：

a)参考帧的选取；

b)运动搜索范围的自适应缩减；

c)候选模式的优化；

d)量化参数的调整；

e)编码方式的选择。

13.如权利要求12所述的一种基于宏块分类的快速高效编转码方法，其特征还在于，所述编转码优化步骤所包含的基于分类的编转码优化步骤中的参考帧的选取至少包含一种以下方法：

对于背景图像块或非感兴趣区域，使用较少的参考帧，对于包含前景的图像块或感兴趣区域，使用灵活的参考帧选取方式。此外在转码应用中，解码获取的参考帧索引信息所对应的参考帧也被选取。

14.如权利要求12所述一种基于宏块分类的快速高效编转码方法，其特征还在于，所述编转码优化步骤所包含的基于分类的编转码优化步骤中的运动搜索范围的自适应缩减方法至少包含一种以下方法：

在编码应用中，背景图像块或非感兴趣区域，运动搜索限制在小范围内；包含前景的图像块或感兴趣区域搜索范围有条件选择性的缩减或强制性的限制在某一范围内；

在转码应用中，背景图像块或非感兴趣区域的运动搜索限制在小范围内；而包含前景的图像块或感兴趣区域，运动搜索时对于每个解码图像块内的每个子块模式，计算其运动向量和当前编码预测向量之间在横轴和纵轴的最大差值，并根据得到的最大差值自适应的缩减当前模式的运动搜索范围。

15.如权利要求12所述的一种基于宏块分类的快速高效编转码方法，其特征还在于，所述编转码优化步骤所包含的基于分类的编转码优化步骤中的候选模式的优化步骤至少包含一种如下方法：

对背景图像块、静态图像块或非感兴趣区域，候选模式只包含整个图像块尺寸和较大尺寸的块模式，其它小尺寸的块模式不使用；

对前景图像块、大幅运动图像块或感兴趣区域，在编码应用中，有条件选择性的选择或强制性的选择候选模式；在转码应用中候选模式只包含，模式尺寸大于或等于解码时获取的最小的块模式，小于最小尺寸的块模式将被排除在候选模式之外；

对前景边缘图像块、小幅运动图像块或一般感兴趣区域，在编码应用中，有条件选择性的选择或强制性的选择候选模式；在转码应用中候选模式包含，模式尺寸大于或等于解码时获取的最小的块模式，并且要根据解码的模式添加其它的候选模式。

16.如权利要求12所述的一种基于宏块分类的快速高效编转码方法，其特征还在于，所述编码码优化步骤所包含的基于分类的编转码优化步骤中的量化参数调整方法至少包含一种如下方法：

对背景图像块、静态图像块或非感兴趣区域，使用较大量化参数；

对前景图像块、大幅运动图像块或感兴趣区域，在编码应用中，有条件选择性的选择或强制性的选择量化参数；在转码应用中根据解码的量化参数自适应的调整量化参数；

对前景边缘图像块、小幅运动图像块或一般感兴趣区域，在编码应用中，有条件选择性的选择或强制性的选择量化参数；在转码应用中根据解码的量化参数自适应的调整量化参数。

17.如权利要求12所述的一种基于宏块分类的快速高效编转码方法，其特征还在于，所述编转码优化步骤所包含的基于分类的编转码优化步骤中的编码方法的选择过程中至少包含一种如下方法：

对背景图像块、静态图像块或非感兴趣区域，选择使用基于长期背景帧的背景预测编码方法以及近期参考图像进行帧间预测编码；

对前景图像块、大幅运动图像块或感兴趣区域，使用近期参考图像进行帧间预测编码；

对前景边缘图像块、小幅运动图像块或一般感兴趣区域，使用近期参考图像进行帧间预测编码和基于背景帧的可选差分预测编码方法。

18.如权利要求2所述的一种基于宏块分类的快速高效编转码方法，其特征还在于，所述对编码或转码所生成位流在解码端的解码过程中包括以下步骤：

解码输入图像：解码位流直接得到与背景无关的解码图像；选择性的获取分类信息：如果解码过程与快速转码信息相关，则需要获取与编转码端相对应的用于快速高效转码的信息；否则，不需要解码这些信息；

获取背景图像：解码端获取背景图像；

生成所有解码图像：根据已经获得的解码图像和背景图像以及快速高效转码信息生成所有解码图像。

19.如权利要求18所述的一种基于宏块分类的快速高效编转码方法，其特征还在于对编转码所生成位流在解码端的解码过程中，在解码端背景图像获取的方式至少包含一种以下方法：

从编转码后的位流中直接解码背景图像的位流获得，或在解码端解码过程中，由所有解码图像或一部分解码图像进行训练得到，或

由已经生成好的背景图像作为外部数据直接输入解码器。

20.如权利要求18所述的一种基于宏块分类的快速高效编转码方法，其特征还在于，所述对编转码所生成位流在解码端的解码过程中，在解码端解码已编入码流的用于快速高效转码的信息，包括图像块的前背景属性信息、运动属性信息或者感兴趣区域属性信息。

21.如权利要求18所述的一种基于宏块分类的快速高效编转码方法，其特征还在于，所述对编转码所生成位流在解码端的解码过程中，在解码端获取的分类信息包含一种以下方法：

按照图像块的前背景属性划分的前景、背景或者前背景边缘块分类信息，或

按照图像块的运动属性划分的大幅运动图像块，静止图像块或小幅运动图像块分类信息，或

按照图像块的内容划分的若干类别的感兴趣块和若干类别的非感兴趣块分类信息。

22.如权利要求18所述的一种基于宏块分类的快速高效编转码方法，其特征还在于，所述对编转码所生成位流在解码端的解码过程中，在解码端获取分类信息的方式包括：

解码位流中的标志位得到分类信息；

由重建图像或者图像块的编码信息在解码端计算分类信息。