CN104581157A - 基于预截断的jpeg2000感兴趣区域编码方法 - Google Patents

Abstract

本发明提出一种基于预截断的JPEG2000感兴趣区域编码方法，其位于JPEG2000系统中小波变换和位平面编码之间，适用于给定码率或背景不重要的应用场合。发明通过适当降低背景系数精度使感兴趣区域分配到更多码流，在感兴趣区域编码质量、系统计算量等方面表现优异，其具体流程为：1、在具体应用场合下，建立码率查找表；2、在具体应用场合下，建立面积查找表；3、分别用码率和感兴趣区域面积来索引码率和面积查找表，并计算两查找表输出之和；4、根据原图像中感兴趣区域位置，计算各小波子带中感兴趣区域边界；5、预截断背景系数。

Description

基于预截断的JPEG2000感兴趣区域编码方法

技术领域

本发明涉及一种用于联合图像专家组(JPEG2000)的感兴趣区域编码方法，特别涉及编码码率给定或者背景不重要的场合下感兴趣区域编码问题。

背景技术

目前国际最新的JPEG2000标准具备帧内编码、压缩效果好、支持感兴趣区域(Region of Interest,ROI)编码和渐进式传输等品质，因而在高端数字图像应用中得到了推广。在不含ROI编码的JPEG2000系统中，首先采用离散小波(DWT)处理原始图像，之后采用位平面编码(Bit-plane Coding，BPC)和算术编码(Arithmetic Coding，AC)得到各码块的码流，最后优化截断码流，并组织输出。

ROI编码将图像的部分区域以更高的质量编码，在码率受限或者背景不重要的应用中，重要的信息被优先地保留下来。ROI编码两个典型应用如下：(1)遥感图像编码。遥感图像中多包含低价值甚至无价值的信息，此类信息在编码时占据较多码流，关键信息失真较大，此时应用ROI编码可减少甚至舍弃背景区域生成的码流；(2)带宽有限的通信环境，如卫星通信、视频传输中每帧图像在给定码率下编码等。此类应用中，ROI编码可使感兴趣区域分配到更多带宽，更多有用信息被保留。

当前ROI编码的主流算法是基于小波系数提升，即小波子带中ROI系数的位平面上移，使其在BPC和AC时被优先编码，进而在优化截断时被优先保留。此时，ROI编码模块位于DWT和BPC之间。JPEG2000协议中采纳的最大移位法(Maxshift)和一般移位法(Scaling Based Method，SBM)均属此类，并在此基础上衍生出多种优化算法，如部分移位法(Partial Significant BitplanesShift,PSBS)等。然而，此类算法由于使系数位平面数增加，极大地增加了JPEG2000系统的计算量，尤其是对于JPEG2000硬件系统，后续BPC、AC和优化截断等模块均需作出适应性改变，不利于系统的维护。其他ROI编码方法，如隐式加权法等，增加的系统计算量较少，然而无法获得可媲美系数移位法的ROI编码质量。总之，当前的ROI编码技术无法均衡ROI编码质量和系统计算量。

发明内容

本发明提出一种具有高ROI编码质量和极低系统计算量的基于预截断的JPEG2000感兴趣区域编码方法。

本发明的基于预截断的JPEG2000感兴趣区域编码方法，包括以下步骤：

a)在具体应用场合下，建立码率查找表；

b)在具体应用场合下，建立面积查找表；

c)所述步骤a)和b)得到的查找表，分别用码率和ROI面积索引，输出分别设为S_rate和S_area，并计算两查找表输出之和，设为S_bg；

d)根据指定的原图像中感兴趣区域位置，计算各小波子带中感兴趣区域的边界。多层小波变换时，当前子带ROI边界由原图像或其上一层LL子带中ROI边界计算获得；

e)根据所述步骤d)计算的各子带ROI边界，判断当前子带系数是否为ROI系数；是则不作任何处理，否则仅保留此系数S_bg个最高位平面，其余位平面置零。

本发明方法的优选方案中，步骤a)的具体流程为：

首先，采集具体应用场景中N(N≥10)幅图像，并在每幅图像中指定ROI。ROI面积为图像面积的30％，不限制形状。

然后，建立待测试的码率表。如码率以步长0.025bpp(bit per pixel)从0.025bpp增大到1bpp，以步长0.25bpp从1bpp增大到4bpp。

再次，对码率表中每个码率，计算S_bg从2增大到S(量化后系数位平面数)时，N幅图像中ROI的PSNR平均值，并选取S_bg的最优值，计为S_rate，使其获得的ROI的PSNR值高于但尽可能接近此码率下ROI的PSNR阈值。

最后，简化码率表。由于邻近码率极有可能获得相同的S_rate，所以码率表可以简化以提高索引效率。

本发明方法的优选方案中，步骤b)的具体流程为：

首先，建立待测试的面积表。如ROI面积以增幅5％，从5％增大到75％。

然后，对面积表中每个ROI面积，选定S_bg初值为码率查找表中0.5bpp对应的S_bg值，计为S_bg0。当ROI面积低于30％时，S_bg从S_bg0递减到2，当ROI面积高于30％时，S_bg从S_bg0递增到S。对上述范围中每个S_bg值，计算N幅图像中ROI的PSNR平均值。再选取S_bg的最优值，使其获得的ROI的PSNR值高于但尽可能接近此码率下ROI的PSNR阈值。最后，用S_bg减去S_bg0，计为S_area，作为此面积对应的输出。

最后，简化面积表。由于邻近面积极有可能获得相同的S_area，所以面积表可以简化以提高索引效率。

本发明方法的优选方案中，步骤c)的具体流程为：

分别用当前码率和ROI面积索引码率查找表和面积查找表，设输出分别为S_rate和S_area，最终根据公式(2)获得S_bg值。

$S_{\mathrm{bg}}=\left\{\begin{array}{ccc}2& ,& S_{\mathrm{rate}}+S_{\mathrm{area}}\&le;2\\ S_{\mathrm{rate}}+S_{\mathrm{area}}& ,& 2<S_{\mathrm{rate}}+S_{\mathrm{area}}<S\\ S& ,& S_{\mathrm{rate}}+S_{\mathrm{area}}\&GreaterEqual;S\end{array}\right.---\left(2\right)$

本发明方法的优选方案中，步骤d)的具体流程为：

子带ROI边界由图像或者上层LL子带中ROI边界计算得到。一维小波变换是二维小波变换的基础，一维序列小波变换ROI边界计算如公式(3)(4)所示。

其中，l和r分别为原一维序列ROI的左边界和右边界，l_sub为L、H子带的左边界，r_L、r_H分别为L、H子带的右边界。扩展到二维小波变换，矩形左上(右下)顶点坐标决定其左、上(右、下)边界，对应一维序列的左(右)边界。

本发明与现有技术相比，具有如下优点：

1、本发明的基于预截断的ROI编码方法，其具有极高的ROI编码质量。本发明方法中，ROI系数始终被优化截断，保证了码流在各码块ROI之间合理分配，进而获得高质量的ROI编码。当前主流的ROI编码算法，如PSBS，其各码块中ROI系数均保留同样数目的位平面，而非优化截断，因而其ROI编码质量低于本发明。

2、当前主流的ROI编码算法，如Maxshift、PSBS等，均由于位平面数的增加而极大增加了系统计算量，对于已有的JPEG2000硬件系统，更是需要对多个模块进行较大规模的适应性调整。本发明由于不增加系数位平面数，JPEG2000系统其他模块无需作任何改动，即没有增加其他模块的计算量，因而极易嵌入已有JPEG2000软硬件系统。

3、当前主流的ROI编码算法，如Maxshift、PSBS等，均存在极低码率下背景完全丢失的问题，造成极差的视觉效果。本发明由于保留了背景数个最高位平面，且在优化截断时背景码流不会完全舍弃，因而解码图像中背景不会完全丢失，保证了在低码率下解码图像具有可接受的背景质量。

采用基于预截断的JPEG2000感兴趣区域编码方法，可在相同码率下，在无需改变JPEG2000其他模块的同时提供更高的图像细节，可在极低代价下提升已有JPEG2000软硬件系统，具有广泛的应用前景。

附图说明

图1为预截断方法编码流程。

图2为码率查找表建立流程。

图3为面积查找表建立流程。

图4为各子带矩形ROI边界生成流程。

图5为预截断方法效果图。

具体实施方式

为了使本技术领域的人员更好地理解本发明，下面结合实施例和说明书附图来对本发明中的技术方案进行清楚、完整的描述说明，应理解这些实施例仅用于说明本发明技术方案的具体实施方式，而不用于限制本发明的范围。在阅读了本发明之后，本领域技术人员对本发明的各种等同形式的修改和替换均落于本申请权利要求所限定的保护范围。

实施例：

将预截断方法嵌入已有JPEG2000系统(图像大小为512×512，码块大小为32×32，3层9/7小波变换，量化后系数位平面数S为11)，并应用于采集图像中低频信息为主的场景(楼道监控)。预截断方法编码流程如图1所示。为精确控制不同码率和ROI面积时背景保留的位平面数，使ROI获得高质量的同时背景能保持一定的辨识度，需在系统应用之前，为此场景定制码率查找表和面积查找表。则系统首次运行之前需进行两项工作：

a)建立码率查找表。流程如图2所示，图2为通用性流程，当前场景下N取10。其具体步骤为：

首先，在此场景中采集10幅图像，并在每幅图像中指定ROI。ROI面积为图像面积的30％，形状为矩形，位置位于图像中间区域。

然后，建立待测试的码率表。此场景中码率表为码率以步长0.025bpp从0.025bpp增大到1bpp，以步长0.25bpp从1bpp增大到4bpp。

再次，对码率表中每个码率，计算S_bg从2增大到11时，10幅图像中ROI的PSNR平均值，并选取S_bg的最优值，计为S_rate，使其获得的ROI的PSNR值高于但尽可能接近此码率下的阈值。对于当前场景(采集图像中低频信息为主)，典型的PSNR阈值为：码率低于0.05bpp时为20dB；码率从0.05bpp至0.55bpp，每增加0.1bpp，PSNR阈值增加3dB；码率从0.55bpp至1.05bpp，每增加0.1pp，PSNR阈值增加2dB；码率从1.05bpp至2.05bpp，每增加0.5bpp，PSNR阈值增加1dB。

最后，简化码率表。由于邻近码率极有可能获得相同的S_rate，所以码率表可以简化以提高索引效率。最终的码率查找表包含的码率值较少，此应用场景下的码率查找表如表1所示。

表1 简化后码率查找表

b)建立面积查找表。流程如图3所示，其具体步骤为：

首先，建立待测试的面积表，ROI面积以增幅5％，从5％增大到75％。

然后，对面积表中每个ROI面积，选定S_bg初值(计为S_bg0)为码率查找表中0.5bpp对应的S_bg值。当前应用场景下S_bg0为4。当ROI面积低于30％时，S_bg从S_bg0递减到2，当ROI面积高于30％时，S_bg从S_bg0递增到S。对上述范围中每个S_bg值，计算N幅图像中ROI的PSNR平均值。再选取S_bg的最优值，使其获得的ROI的PSNR值高于但尽可能接近此码率下的阈值。最后，用S_bg减去S_bg0，计为S_area，作为此面积对应的输出。

最后，简化面积表。由于邻近面积极有可能获得相同的S_area，所以面积表可以简化以提高索引效率。最终的面积查找表包含的值较少，此应用场景下的面积查找表如表2所示。

表2 简化后面积查找表

面积(％)	(0,25]	(25,50]	(50,100]
				Sarea	1	0	-1

系统实际运行时进行了如下操作：

c)分别用当前码率和ROI面积索引码率查找表和面积查找表。ROI面积为ROI像素数占图像总像素数的比例，设原图像中矩形ROI的左上和右下顶点坐标分别为(x₀，y₀)和(x₁,y₁)，则ROI面积通过公式(1)计算。设两查找表输出分别为S_rate和S_area，

再根据公式(2)计算S_bg值。

其中，M和N分别为图像的高和宽，A为ROI面积。当前场景下，M和N均为512。

$S_{\mathrm{bg}}=\left\{\begin{array}{ccc}2& ,& S_{\mathrm{rate}}+S_{\mathrm{area}}\&le;2\\ S_{\mathrm{rate}}+S_{\mathrm{area}}& ,& 2<S_{\mathrm{rate}}+S_{\mathrm{area}}<S---\\ S& ,& S_{\mathrm{rate}}+S_{\mathrm{area}}\&GreaterEqual;S\end{array}\left(2\right)\right.$

当前场景下，S为11。

d)当前场景使用矩形ROI，JPEG2000系统获取原图像中ROI顶点坐标，计算各小波子带中感兴趣区域的边界，流程如图4所示。图4所示为通用性的流程，针对当前场景，图4中LEVEL为3。子带ROI边界由图像或者上层LL子带中ROI边界计算得到。一维小波变换是二维小波变换的基础，一维序列小波变换ROI边界计算如公式(3)(4)所示。

其中，l和r分别为原一维序列ROI的左边界和右边界，l_sub为L、H子带的左边界，r_L、r_H分别为L、H子带的右边界。扩展到二维小波变换，矩形左上(右下)顶点坐标决定其左、上(右、下)边界，对应一维序列的左(右)边界。

e)ROI模块读入当前子带系数，设其坐标为(x,y)，根据公式(5)判断其是否为ROI系数。

其中，up、down等值与子带及其所在小波变换层数有关，如对第一层HL子带，up、down、left、right分别为图4中lev为0时所得的up、down_L、left、right_H。

flag为1时此系数为ROI系数，此时不作任何处理；flag为0时系数为背景系数。此时仅保留其S_bg个最高位平面，其余位平面置零。预截断方法处理过程如公式(6)所示，处理后的效果如图5所示。

Claims (7)

1.一种基于预截断的JPEG2000感兴趣区域ROI编码方法，其特征在于，该方法包括以下步骤：

a)在具体应用场合下，建立码率查找表；

b)在具体应用场合下，建立面积查找表；

c)所述步骤a)和b)得到的查找表，分别用码率和ROI面积索引，并计算两查找表输出之和，设为S_bg；

d)根据指定的原图像中感兴趣区域位置，计算各小波子带中感兴趣区域边界；

e)根据所述步骤d)计算的各子带ROI边界，判断当前子带系数是否为ROI系数；是，则不作任何处理；否则仅保留此系数S_bg个最高位平面，其余位平面置零。

2.根据权利要求1所述的一种基于预截断的JPEG2000感兴趣区域ROI编码方法，其特征在于，所述步骤a)的具体流程为：

首先，采集具体应用场景中N幅图像，并在每幅图像中指定ROI；其中，N≥10，ROI面积为图像面积的30％，不限制形状；

然后，建立待测试的码率表；

再次，对码率表中每个码率，计算S_bg从2增大到S时，N幅图像ROI的峰值信噪比PSNR平均值，并选取S_bg的最优值，计为S_rate，使其获得的ROI的PSNR值高于但尽可能接近此码率下ROI的PSNR阈值，其中，S为量化后系数位平面数；

最后，简化码率表；由于邻近码率极有可能获得相同的S_rate，所以码率表可以简化以提高索引效率。

3.根据权利要求1所述的一种基于预截断的JPEG2000感兴趣区域ROI编码方法，其特征在于，所述步骤b)的具体流程为：

首先，建立待测试的面积表；

然后，对面积表中每个ROI面积，选定S_bg初值为码率表中0.5bpp对应的S_bg值，计为S_bg0，当ROI面积低于30％时，S_bg从S_bg0递减到2，当ROI面积高于30％时，S_bg从S_bg0递增到S，对上述范围中每个S_bg值，计算N幅图像ROI的PSNR平均值；再选取S_bg的最优值，使其获得的ROI的PSNR值高于但尽可能接近此码率下ROI的PSNR阈值；最后，用此S_bg最优值减去S_bg0，计为S_area，作为此面积对应的查找表输出；

最后，简化面积表；由于邻近面积极有可能获得相同的S_area，所以面积表可以简化以提高索引效率。

4.根据权利要求1所述的一种基于预截断的JPEG2000感兴趣区域ROI编码方法，其特征在于，所述步骤c)中，分别用当前码率和ROI面积索引码率查找表和面积查找表，输出分别为S_rate和S_area，最终由公式(2)获得S_bg：

$S_{\mathrm{bg}}=\left\{\begin{array}{cc}2,& S_{\mathrm{rate}}+S_{\mathrm{area}}\&le;2\\ S_{\mathrm{rate}}+S_{\mathrm{area}},& 2<S_{\mathrm{rate}}+S_{\mathrm{area}}<S\\ S,& S_{\mathrm{rate}}+S_{\mathrm{area}}\&GreaterEqual;S\end{array}\right.---\left(2\right)$

5.根据权利要求1所述的一种基于预截断的JPEG2000感兴趣区域ROI编码方法，其特征在于，所述步骤d)中，子带ROI边界由原图像或者上一层LL子带中ROI边界计算得到；一维小波变换是二维小波变换的基础，一维序列小波变换ROI边界计算如公式(3)(4)所示：

其中，l和r分别为原一维序列ROI的左边界和右边界，l_sub为L、H子带的左边界，r_L、r_H分别为L、H子带的右边界；扩展到二维小波变换，矩形左上顶点坐标决定其左边界和上边界，对应一维序列的左边界；矩形右下顶点坐标决定其右边界和下边界，对应一维序列的右边界。

6.根据权利要求2所述的一种基于预截断的JPEG2000感兴趣区域ROI编码方法，其特征在于，所述建立待测试的码率表中，优选地，码率以步长0.025bpp从0.025bpp增大到1bpp，以步长0.25bpp从1bpp增大到4bpp。

7.根据权利要求3所述的一种基于预截断的JPEG2000感兴趣区域ROI编码方法，其特征在于，所述建立待测试的面积表中，优选地，ROI面积以增幅5％，从5％增大到75％。3 -->