CN102129698A

CN102129698A - 一种基于感兴趣区域的图像编码方法

Info

Publication number: CN102129698A
Application number: CN 201110055940
Authority: CN
Inventors: 田昕; 黄臣; 田金文
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2011-03-08
Filing date: 2011-03-08
Publication date: 2011-07-20

Abstract

本发明公开了一种基于感兴趣区域的图像编码方法，包括提取图像的感兴趣区域和根据所述ROI模板的步骤。具体为：（1.1）对图像进行小波变换，产生相应的多尺度结构；（1.2）获取所述多尺度结构下的特征图；（1.3）对特征图中的特征进行融合处理，得到最终显著性映射图；（1.4）对显著性映射图进行处理，产生最终的感兴趣区域模板；（2.1）根据小波变换后的系数分布，对ROI模板进行处理，生成原始图像小波变换后的掩模；（2.2）由Rice编码实现对原始图像的轮廓编码；（2.3）根据掩模对感兴趣区域的码块进行编码。本发明增加了编码效率，可以灵活地选择ROI区域，调整ROI以及BG区域的相对质量。

Description

一种基于感兴趣区域的图像编码方法

技术领域

本发明属于遥感图像数据压缩领域，特别涉及一种感兴趣区域图像编码方法。

背景技术

随着我国航天事业的发展，卫星遥感图像数据量急剧增长，这给遥感图像的存储及传输均带来了极大的挑战。为了解决高保真数据编码与有限带宽之间的矛盾，基于感兴趣区域(ROI)的图像编码技术成为可行的解决办法。

近年来，图像编码技术取得了很大的发展，涌现出了一大批优秀的图像编码方法，如JPEG、EZW、JPEG2000等。在JPEG2000中，提出了两种标准的ROI方法，一种是基于偏移的一般方法，另一种是最大位移法(Maxshift)，它们均是通过按照比例缩小背景系数(BG)而实现的。基于JPEG2000的位平面偏移方法是目前ROI实现的主流。但是，位平面的偏移必然导致编码位平面的增加，从而带来编码效率的降低；其次，JPEG2000方法在带来极佳的编码效率同时，也导致了庞大的计算量和很高的方法复杂度，难以实时实现。空间数据系统咨询委员会(CCSDS组织)在2007年发布了面向空间应用的专用图像编码算法(CCSDS算法)。该算法编码性能较佳，编码过程较为简单。因此，在目前航天数据传输系统中得到广泛应用。但是，CCSDS算法并无合适的感兴趣区域编码方法。

在视觉显著性的数学模型方面，Koch等人通过多尺度下初级视觉特征的提取，局部对比度分析及其融合，最终生成显著图^[13]。但是，在该模型中，提取了颜色，亮度，方向3种基于视觉特征并采用了Gaussian滤波器以及Gabor滤波器。在卫星应用中，一般处理灰度图像，没有颜色特征，并且由于Gaussian以及Gabor滤波器需要庞大的计算量，不利于在相关设

备上进行硬件实现

发明内容

为了解决卫星应用中高保真遥感图像传输与有限带宽之间的矛盾，本发明提出了一种感兴趣区域的图像编码方法，基于CCSDS算法和视觉显著性，解决现有感兴趣区域图像编码算法计算量大、复杂度高、不易于实时实现的缺点。感兴趣区域信息可通过视觉显著性提取算法自动获取；较少的模板信息传递提高了编码效率；CCSDS算法的编码框架简化了算法的计算复杂度。因此，本发明算法能较好地适用于卫星应用场合，从而为未来卫星应用搭载高分辨率的成像载荷提供较好的技术支撑。

本发明的一种感兴趣区域图像编码方法，由基于视觉显著性的图像感兴趣区域自动提取技术和基于局部码块优先的ROI编码方法两部分组成，具体步骤为：

(1)基于视觉显著性自动提取图像的感兴趣区域

第一，对图像进行小波变换，产生相应的多尺度结构；

第二，获取所述多尺度结构下的特征图；

首先，选取归一化的LL子带作为亮度特征在低尺度下的图像，再选取其余高频子带作为方向信息，然后，对亮度特征进行局部中心矩变换，得到纹理信息，以此作为方向信息的补充。

即得到多尺度结构下的特征图。

第三，对上述特征图中的相同以及不同特征进行融合，得到最终显著性映射图。

相同的特征之间，不同的特征之间，相同和不相同的特征之间，这三者都要融合。

第四，对融合后的显著性映射图进行处理，产生最终的ROI模板

去除WTA网络，在最终显著性映射图的基础上通过阈值分割、形态学“腐蚀-膨胀”处理、孔洞填充以及小区域去除等一系列后处理操作来产生最终的ROI模板。

(2)根据所述ROI模板，对图像进行ROI编码：

第一，根据小波变换后的系数分布，对所述ROI模板进行处理，生成原始图像小波变换后的掩模；

第二，由Rice编码实现对原始图像的轮廓编码。

通过对所有DC系数，也就是LL子带的所有系数进行阈值截断并进行差分RICE编码，从而在解码端可以得到LL子带的MSB(最高有效位)，并利用LL子带阈值截断后的系数对图像进行重建，得到原始图像的轮廓以及框架；

第三，根据所述掩模优先对感兴趣区域的码块进行编码。

对ROI区域的细节进行编码传输，在轮廓图上填充ROI区域的细节；

在完成ROI编码的基础上，如果还有剩余的码率，则可以继续对背景区域进行编码，提升背景区域质量，或者对ROI区域剩余位平面进行编码，以进一步提升ROI区域的精度。

在图像感兴趣区域提取技术上，采用通过计算机自动识别并标定感兴趣区域，无需用户自己在图像中标定。通过对人类视觉系统的研究和模拟，机器自动自动找到感兴趣的目标。

利用小波变换来产生相应的多尺度结构，不使用Gaussian以及Gabor滤波器。在原有Koch提出的模型中，使用Gaussian和Gabor滤波器产生了9个尺度的特征金字塔，然而，相应滤波算法计算复杂度高，如此多的尺度分解过于细化，最低尺度往往只有几个像素。以一幅512×512大小的图像为例，其最低尺度的大小仅为2×2，对于实际计算来说已经没有多大的意义。考虑到如此，在设计相关ROI提取算法时，结合已有的压缩编码算法，并考虑到小波变换的尺度分解效应，本发明使用3级小波变换来产生相应的尺度结构。

由于一般的遥感图像没有颜色特征，因此，对于特征的选取需要另行考虑。首先，依然选取亮度特征作为主要特征，在这里，由于已有图像为灰度图像，因此，亮度I＝f(x，y)，其中，f(x，y)为原始图像。如上所述，通过对原有图像进行3级小波分解，建立了原始图像在小波滤波器下的尺度结构。通过小波分析的知识知道，对图像进行小波变换后，其LL子带为原始图像在低尺度下的近似，而其余高频子带分别代表了原始图像在水平、垂直以及对角线方向的方向信息。因此，本发明选取其归一化的LL子带作为亮度特征在低尺度下的图像，选取其余高频子带作为方向信息。然后，对亮度特征进行局部中心矩变换，得到三种类型的纹理信息，M^0，1，M^1，0，M^1，1，以此作为方向信息的补充

在小波变换后，背景轮廓的Rice编码由于是针对整个图像进行的，因此不需要ROI模板信息，此时利用上面改进后的算法可以同步进行ROI掩模的快速计算，并指导接下来的ROI编码工作，大大提高了系统的工作效率。

对图像的轮廓编码是由Rice编码来实现的。通过对所有DC系数，也就是LL子带的所有系数进行阈值截断并进行差分RICE编码，从而在解码端可以得到LL子带的MSB，并利用这个LL子带的近似值对图像进行重建，得到原图的轮廓以及框架。此轮廓框架是原图像的一个模糊表示，丢失了细节信息，但给出了图像的整体信息。

ROI编码主要是通过优先对感兴趣区域的码块进行编码来实现的。同时，可以通过调整ROI区域内的DC系数以及AC系数的细化编码程度来控制前景-背景相对质量。ROI细化编码程度越高，ROI重建质量也越高，相对的，其占用的码流资源也越多，背景质量也就会相对下降。一般来说，ROI编码时应既保证ROI区域的质量，又要避免其过多的编码冗余，进而过于损害背景质量。

本发明提出的方法具有如下的优点：

(1)本发明的方法没有位平面的提升，因此避免了冗余位平面的增加，从而增加了编码效率；

(2)本发明的方法的流程非常简单，算法的计算复杂度较低；

(3)由于保证了基本的背景质量，因此不会出现背景信息完全丢失的情况，并且可以灵活地调整ROI以及BG区域的相对质量，从而获得良好的视觉效果。

(4)可对任意形状的ROI进行编码，对于不同ROI，可以选择不同编码精度。

附图说明

图1是感兴趣编码系统框图

图2是小波变换后的编码块结构及系数组成示意图

图3是感兴趣区域编码方案框图

图4是感兴趣区域编码过程示意图

图5是掩模选取及编码示意图

图6是测试遥感图像

图7是视觉显著性图

图8是自动提取的ROI二值模板

图9(a)是本发明算法的ROI编码16倍压缩结果

图9(b)是本发明算法的ROI编码32倍压缩结果

具体实施方式

为了更加清楚明白的阐述本发明的目的、技术方案和优点，下面结合附图及具体实施例对本发明再作进一步详细的说明。

图1是基于感兴趣区域自动提取的遥感图像编码系统框图。以图6所示的两张遥感图像为例。

首先，对遥感图像数据进行三级小波变换，采用树状结构构成组成如图2所示的编码块结构，此编码块为编码时的基本单位。这种编码块结构由一个低频子带系数以及相应的零树结构上的63个高频子带系数构成，由于小波变换的金字塔模型，一个编码块实际上对应的是图像中的一个8×8的块，因此，每个编码块实际上具有极大的空间局限性。

然后选定感兴趣区域ROI：选取亮度特征作为主要特征，由于已有图像为灰度图像，因此，亮度I＝f(x，y)，其中，f(x，y)为原始图像。如上所述，通过对原有图像进行3级小波分解，建立了原始图像在小波滤波器下的尺度结构。对图像进行小波变换后，其LL子带为原始图像在低尺度下的近似，而其余高频子带分别代表了原始图像在水平、垂直以及对角线方向的方向信息。因此，选取其归一化的LL子带作为亮度特征在低尺度下的图像，选取其余高频子带作为方向信息。然后，对亮度特征进行局部中心矩变换，得到三种类型的纹理信息，M^0，1，M^1，0，M^1，1，以此作为方向信息的补充。

通过上述特征的提取，我们得到了不同尺度下的特征图，其中，亮度4幅，方向9幅，纹理12幅。对于相同以及不同特征的融合，仍然采用原算法的“中心周边”算子和相应融合操作。但是，由于此时尺度数已经大大减少，相关尺度运算中关于“中心”和“周边”尺度的定义已经不再适合，因此重新定义Θ运算，其中中心尺度c，c∈{0，1，2}，周边尺度s＝c+δ，s∈{1，2，3}，参数δ∈{1，2，3}。最后，去除WTA网络，在最终显著性映射图的基础上通过阈值分割、形态学“腐蚀-膨胀”处理、孔洞填充以及小区域去除等一系列后处理操作来产生最终的ROI模板，如图7和图8所示。

按图3和图4所示的方案步骤，产生了ROI模板之后，需要分别对掩模、轮廓、前景和背景进行编码。

(1)掩模选取以及编码方法

通过前面的ROI提取算法，根据小波变换后的系数分布生成如图5所示的掩模。图中所示的黑色区域表示ROI区域，相应的，对应区域的小波系数为ROI系数。

在CCSDS编码标准中所述的位平面编码算法中，采用基于空间方向树的编码块结构。因此，处于LL子带的掩模实际表示了所有处于ROI区域的编码块。基于此，LL子带的掩模为实际有效的掩模，需要对其进行编码并传输到解码端，以便解码端进行同步的解码。

由上述可知，需要进行编码的掩模大小为1/64图像大小，编码时ROI区域用1表示，非ROI区域用0表示。对于8位的灰度图像，采用此种简单编码方式下掩模编码的编码量为整个图像数据量的1/512，如编码区域为规则区域，所需的编码量甚至可以忽略不计。此外，还可进一步通过游程编码降低掩模编码的数据量，提高编码效率。

(2)轮廓编码

在JPEG2000的最大偏移法和一般偏移算法中，当压缩码率低于一定程度时，都会出现一种情况，那就是整个重建图像只有前景(ROI)信息，而没有背景(BG)信息。背景信息完全丢失的情况是不希望看到的，因为这会导致整体信息的丢失。在这种情况下，ROI压缩已经失去意义，因为完全可以只对ROI区域进行无损或近无损压缩，并在传输中只传输这部分信息，从而得到更好的局部压缩效果。

在本方法中，首先将对图像的轮廓进行编码，从而在解码端可以对图像进行一种框架性的重建。通过本步骤的编码，可以保证用户得到图像的整体信息，在此基础上，后续的编码再提供ROI与BG区域的细节。这种先考虑整体，再按优先级分别补充区域细节的编码方式跟人的视觉感知过程是一致的，因此可以获得相当良好的主观视觉质量。

在本方法中，对图像的轮廓编码是由Rice编码来实现的。通过对所有DC系数，也就是LL子带的所有系数进行阈值截断并进行差分RICE编码，从而在解码端可以得到LL子带的MSB，并利用这个LL子带的近似值对图像进行重建，得到原图的轮廓以及框架。此轮廓框架是原图像的一个模糊表示，丢失了细节信息，但给出了图像的整体信息。其中，阈值截断的阈值选取原则如下：

●如果DC系数动态范围比较小，则不进行阈值截断；

●如果DC系数动态范围和高频系数(AC系数)的动态范围的一半相差不大，则仅编码最高三位；

●如果DC系数动态范围比AC系数的一半大比较多，则需编码最高十

位。

(3)ROI精度保证编码

在轮廓编码的基础上，接下来对ROI区域的细节进行编码传输，在轮廓图上填充ROI区域的细节。在整个算法中，ROI编码主要是通过优先对感兴趣区域的码块进行编码来实现的。同时，可以通过调整ROI区域内的DC系数以及AC系数的细化编码程度来控制前景-背景相对质量。ROI细化编码程度越高，ROI重建质量也越高，相对的，其占用的码流资源也越多，背景质量也就会相对下降。一般来说，ROI编码时应既保证ROI区域的质量，又要避免其过多的编码冗余，进而过于损害背景质量。

(4)BG编码以及ROI精度提升编码

在完成ROI编码的基础上，如果还有剩余的码率，则可以继续对BG区域进行编码，提升BG区域质量，或者对ROI区域剩余位平面进行编码，以进一步提升ROI区域的精度。

最终的编码结果如图9所示。

Claims

1.一种基于感兴趣区域的图像编码方法，具体包括如下步骤：

（1）提取图像的感兴趣区域（ROI）

（1.1）对图像进行小波变换，产生相应的多尺度结构；

（1.2）获取所述多尺度结构下的特征图，具体为：

首先，选取归一化的LL子带作为亮度特征在低尺度下的图像，再选取其余高频子带作为方向信息，最后对亮度特征进行局部中心矩变换，得到纹理信息，即得到所述多尺度结构下的特征图；

（1.3）对上述特征图中的特征进行融合处理，得到最终显著性映射图；

（1.4）对融合后的所述显著性映射图进行处理，产生最终的感兴趣区域模板即ROI模板；

（2）根据所述ROI模板，对图像进行编码

（2.1）根据小波变换后的系数分布，对所述ROI模板进行处理，生成原始图像小波变换后的掩模；

（2.2）由Rice编码实现对原始图像的轮廓编码；

通过对所有DC系数，也就是LL子带的所有系数进行阈值截断并进行差分RICE编码，从而在解码端可以得到LL子带的MSB，并利用LL子带阈值截断后的系数对图像进行重建，得到原始图像的轮廓以及框架；

（2.3）根据所述掩模对感兴趣区域的码块进行编码

对感兴趣区域的细节进行编码传输，在轮廓图上填充感兴趣区域的细节；

通过上述步骤即可完成图像编码。

2.根据权利要求1所述的方法，其特征在于，所述步骤（1.4）的处理过程具体为：首先去除WTA网络，再在所述显著性映射图的基础上通过阈值分割、形态学“腐蚀-膨胀”处理、孔洞填充以及小区域去除，即可产生最终的ROI模板。

3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括继续对BG区域进行编码的步骤，以提升BG区域质量。

4.根据权利要求1-3之一所述的方法，其特征在于，所述方法还包括继续对感兴趣区域（ROI）剩余位平面进行编码，以进一步提升感兴趣区域的精度。