CN101494785A - 一种h.264感兴趣区域编码的方法 - Google Patents

Abstract

本发明涉及一种H.264感兴趣区域编码的方法，尤其是一种通过码率控制实现感兴趣区域编码的方法，包括图像组级、图像级和基本单元级三个层次的编码方法。本发明的优点是：通过码率控制算法来做感兴趣区域的编码不需要在码流中添加额外的信息，对感兴趣区域的数目、形状等没有限制，不增加编码算法的复杂度，是一种比较灵活的感兴趣区域编码方法，它可以应用在H.264的各个Profile中，在对整体压缩比要求高的领域，如视频监控等有重要的应用价值；实验表明，该方法是一种有效的H.264感兴趣区域编码的方法，适用于恒定码率控制算法和可变码率控制算法。

Description

一种H.264感兴趣区域编码的方法

技术领域

本发明涉及一种H.264感兴趣区域编码的方法，尤其是一种通过码率控制实现感兴趣区域编码的方法。

背景技术

感兴趣区域(ROI)编码可以在有效地保留用户感兴趣区域数据的基础之上尽可能得压缩背景区域的数据，它作为JPEG2000的一个特性越来越收到了人们的重视。H.264是国际电信联盟(ITU：InternationalTelecommunication Union)推出的最新视频编码标准，它集成了以往视频编码器的很多优点，如I帧宏块的多模式选择、1/4象素的运动矢量、多参考帧、采用了De-blocking技术等，这些特性使得H.264的编码效率有了很高的提升。在所有的码率上，H.264比H.263节省50％的比特率，尤其在极低码率下H.264的优点更加明显，但是这也带来了计算复杂度的提高。随着处理器能力的提高，H.264得到越来越广泛的应用。然而，在视频监控领域监控设备整天处于工作状态，记录的视频数据量仍然很大，这就需要极高的压缩比，有时候压缩比要能够达到350倍以上。这就需要使用H.264与感兴趣区域压缩相结合的办法来编码视频监控中感兴趣的区域，如人脸、车牌等，同时尽可能的压缩背景图像。

JPEG2000中采用小波变换的方法压缩图像，由于小波变化具有时频分析的二重性，用它来实现感兴趣编码非常方便。H.264采用了类似于MPEG2、MPEG4的离散余弦变换(DCT：Discrete Cosine Transform)的方法，它不具有空间域的特性，因此在H.264中并没有提感兴趣区域编码的概念。根据H.264编码的特性，一些学者提出了使用灵活的宏块排序(FMO)来实现H.264感兴趣区域编码的方法。

感兴趣区域编码就是要求能够对某些特定的区域做特别的处理，尽可能的保留该区域的数据。为此，可以通过H.264宏块模式选择时的帧内无损编码模式(I_PCM)和灵活的宏块排序两种方法处理。I_PCM模式可以对图像中的某些宏块不压缩直接传输，这种模式是无损的，但是并不能够降低数据，可适用于车牌等小区域的图像。灵活的宏块排序最初是用来做容错用的，它将图像区域分成不同的切片，使得切片内的宏块相关性降低，这样如果图像的某些组数据丢失，就可以通过其它的切片做一定程度的恢复。灵活的宏块排序的另一个用途就是用作感兴趣区域编码，它对这些切片做不同的处理，尽量保留感兴趣区域的信息。灵活的宏块排序总共提高了七种类型，其中类型2将图像区域用矩形划分成不同的块，一般用它来做感兴趣区域编码。由于H.264的一帧图像最多有8个图像切片，因此使用该方法最能能够编码7个感兴趣区域，而且它需要在图像参数中加入灵活的宏块排序FMO的数据集，需要额外的比特开销，只能够在H.264的基本版本中使用。

H.264和其它编解码器一样，分为不同的版本(Profile)和等级(Level)，H.264中的Profile用于限制Decoder(解码器)必须支持的算法，而Level用于限制比特流的具体参数，共有7个Profile，16级Level。不同的Profile支持的算法集是不同的。

发明内容

本发明针对帧内无损编码模式(I_PCM)和FMO用于感兴趣区域编码的缺点，提供一种使用码率控制实现H.264感兴趣区域编码的方法，该方法在编码时将码率按照一定的比例分成两个部分，一部分为感兴趣区域的码率，一部分为其余部分的码率，然后在码率控制中根据要求给相应的宏块分配比特数。

按照本发明提供的技术方案，一种H.264感兴趣区域编码的方法，包括图像组级、图像级和基本单元级三个层次的编码方法。

所述图像组级的编码方法是，根据带宽的要求计算出每一个图像组需要分配的比特数。

所述图像级的编码方法包括如下步骤，

(1)首先，根据图像组级的码率控制算法算出本帧图像所需要的码流。

(2)根据预先设定的感兴趣区域与普通区域带宽的比例计算出感兴趣区域的码率和普通区域的码率。

(3)根据某一个基本单元处于感兴趣区域还是普通区域进行相应的编码方法。

所述基本单元级的编码方法包括如下步骤，

(1)首先决定该基本单元的宏块是否在感兴趣区域内，然后进入相应的宏块级码率控制，感兴趣区域的宏块采用感兴趣区域的码率控制控制，背景区域进入背景区域的码率控制，两者的码率控制相互独立。

(2)经过码率控制后的量化步长最后统一传送给编码器。

本发明的优点是：通过码率控制算法来做感兴趣区域的编码不需要在码流中添加额外的信息，对感兴趣区域的数目、形状等没有限制，不增加编码算法的复杂度，是一种比较灵活的感兴趣区域编码方法，它可以应用在H.264的各个Profile中，在对整体压缩比要求高的领域，如视频监控等有重要的应用价值；实验表明，该方法是一种有效的H.264感兴趣区域编码的方法，适用于恒定码率控制算法和可变码率控制算法。

附图说明

图1为感兴趣区域压缩的流程图。

具体实施方式

下面结合附图和实施例对本实用新型作进一步说明。

如图1所示，对于每一帧图像，我们根据指定的ROI区域计算该图像上感兴趣区域和背景区域的大小比例，按照码率控制中设定的ROI区域与背景区域码率分配的比例来分配该图像中感兴趣区域的比特数、宏块数和背景区域的比特数、宏块数。在基本单元级，码率控制算法首先决定该基本单元的宏块是否在感兴趣区域内，然后进入相应的宏块级码率控制，感兴趣区域的宏块采用感兴趣区域的码率控制控制，背景区域进入背景区域的码率控制，两者的码率控制相互独立。经过码率控制后的量化步长最后统一传送给编码器。为了避免感兴趣区域与背景区域的边界处码率变化过大，需要对量化步长做一定的限制，防止量化步长出界。感兴趣区域的码率控制算法和背景区域的码率控制算法可以采用相同的码率控制算法，也可以采用不同的码率控制算法，它们的初始状态已经在图像级的码率控制中分配了，可以应用与恒定码率控制和可变码率控制算法。

本发明包括图像组级、图像级和基本单元级三个层次的编码方法。

图像组级的编码方法是，根据带宽的要求计算出每一个图像组需要分配的比特数。

图像级的编码方法包括如下步骤，

(1)首先，根据图像组级的码率控制算法算出本帧图像所需要的码流。

(2)根据预先设定的感兴趣区域与普通区域带宽的比例计算出感兴趣区域的码率和普通区域的码率。

(3)根据某一个基本单元处于感兴趣区域还是普通区域进行相应的编码方法。它们可以是不同的码率控制算法也可以是相同的码率控制算法。

所述基本单元级的编码方法包括如下步骤，

(1)首先决定该基本单元的宏块是否在感兴趣区域内，然后进入相应的宏块级码率控制，感兴趣区域的宏块采用感兴趣区域的码率控制控制，背景区域进入背景区域的码率控制，两者的码率控制相互独立。

(2)经过码率控制后的量化步长最后统一传送给编码器。

为了避免感兴趣区域与背景区域的边界处码率变化过大，需要对量化步长做一定的限制。

感兴趣区域的码率控制算法和背景区域的码率控制算法可以采用相同的码率控制算法，也可以采用不同的码率控制算法，它们的初始状态已经在图像级的码率控制中分配了，可以应用与恒定码率控制和可变码率控制算法。

码率控制算法可以在图像组级、图像级和基本单元级三个层次进行，如果基本单元的宏块数为1就是一个宏块。H.264的码率控制算法在这三个层次分别做了码率控制。对于感兴趣区域的编码，我们在一个图像上进行的。因此，使用码率控制的方法来做感兴趣编码需要在图像级和基本单元级分别做处理。

在图像级，码率控制算法首先统一给该图像分配一定的比特数目，然后根据指定的ROI区域计算该图像上感兴趣区域和背景区域的大小比例，按照码率控制中设定的ROI区域与背景区域码率分配的比例来分配该图像中感兴趣区域的比特数、宏块数和背景区域的比特数、宏块数。图像级将比特分别分给了ROI区域和背景区域，每一个部分就可以单独的控制相应区域的比特分配，在一帧图像编码结束后再做相应的总结。计算感兴趣区域的比特数和背景区域的比特数的公式如下：

$\left\{\begin{array}{c}\mathrm{fbitroi}=\frac{\mathrm{fbits}*\mathrm{roibitratio}*\mathrm{roiregionratio}}{1+(\mathrm{roibitratio}-1)*\mathrm{roiregionratio}}\\ \mathrm{fbitbg}=\mathrm{fbits}-\mathrm{fbitroi}\end{array}\right.---\left(1\right)$

其中fbitroi、fbitbg分别表示感兴趣区域的比特数和背景区域的比特数，fbits表示码率控制算法分配给当前帧的比特数，roibitratio表示感兴趣区域对背景区域码率分配的权重比例，可以作为参数调整，roibitratio越大表示对感兴趣区域分配的比特数越多，roiregionratio表示感兴趣区域这整幅图片上的比例，由感兴趣区域面积大小来决定。

在基本单元级，码率控制算法首先决定该基本单元的宏块是否在感兴趣区域内，然后进入相应的宏块级码率控制，感兴趣区域的宏块采用感兴趣区域的码率控制控制，背景区域进入背景区域的码率控制，两者的码率控制相互独立。经过码率控制后的量化步长最后统一传送给编码器。为了避免感兴趣区域与背景区域的边界处码率变化过大，需要对量化步长做如下限制：

QP_l，i(j)＝max(QP_l-1，i(j)-3，min(QP_l，i(j)，QP_l-1，i(j)+3))(2)

其中QP_l，i(j)表示第i个GOP中第j帧的第1个宏块的量化步长。感兴趣区域的码率控制算法和背景区域的码率控制算法可以采用相同的码率控制算法，也可以采用不同的码率控制算法，它们的初始状态已经在图像级的码率控制中分配了，可以应用与恒定码率控制和可变码率控制算法。

通过码率控制算法来做感兴趣区域的编码不需要在码流中添加额外的信息，对感兴趣区域的数目没有限制，不增加算法的复杂度，能够有效的保存感兴趣区域，是一种比较灵活的感兴趣区域编码方法，它可以应用在H.264的各个Profile中。该方法在不提高H.264视频编码复杂度的情况下可以编码视频中的感兴趣区域，适用于H.264的各种版本，在对整体压缩比要求高的领域，如视频监控等有重要的应用价值。

Claims (1)

1、一种H.264感兴趣区域编码的方法，包括图像组级、图像级和基本单元级三个层次的编码方法，其特征是：

所述图像组级的编码方法是，根据带宽的要求计算出每一个图像组需要分配的比特数；

所述图像级的编码方法包括如下步骤，

(1)首先，根据图像组级的码率控制算法算出本帧图像所需要的码流；

(2)根据预先设定的感兴趣区域与普通区域带宽的比例计算出感兴趣区域的码率和普通区域的码率；

(3)根据某一个基本单元处于感兴趣区域还是普通区域进行相应的编码方法；

所述基本单元级的编码方法包括如下步骤，

(1)首先决定该基本单元的宏块是否在感兴趣区域内，然后进入相应的宏块级码率控制，感兴趣区域的宏块采用感兴趣区域的码率控制控制，背景区域进入背景区域的码率控制，两者的码率控制相互独立；

(2)经过码率控制后的量化步长最后统一传送给编码器。

Images