CN109615670A - 一种基于压缩域内容感知的多算子图像重定向方法 - Google Patents
一种基于压缩域内容感知的多算子图像重定向方法 Download PDFInfo
- Publication number
- CN109615670A CN109615670A CN201811477990.2A CN201811477990A CN109615670A CN 109615670 A CN109615670 A CN 109615670A CN 201811477990 A CN201811477990 A CN 201811477990A CN 109615670 A CN109615670 A CN 109615670A
- Authority
- CN
- China
- Prior art keywords
- image
- block
- dct
- linear slit
- domain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 116
- 230000006835 compression Effects 0.000 title claims abstract description 19
- 238000007906 compression Methods 0.000 title claims abstract description 19
- 230000008447 perception Effects 0.000 title claims abstract description 17
- 230000009466 transformation Effects 0.000 claims description 64
- 239000011159 matrix material Substances 0.000 claims description 42
- 239000013598 vector Substances 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 28
- 230000001186 cumulative effect Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000013139 quantization Methods 0.000 claims description 7
- 244000174681 Michelia champaca Species 0.000 claims description 5
- 230000003252 repetitive effect Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 75
- 230000001609 comparable effect Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 239000004615 ingredient Substances 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000002924 energy minimization method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000010415 tropism Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于压缩域内容感知的多算子图像重定向方法。目前，网络上存储和传输的图像，绝大部分采用JPEG标准进行压缩。若采用基于像素域的图像重定向算法，需要将图像的压缩码流完全解码至像素域，进行重定向后，再对图像进行编码。这大大增加了实际应用中的复杂度，会占用较多终端资源，消耗较多时间，难以在实时的场合中应用。为了降低多算子图像重定向在实际应用中的时间复杂度，本发明提出了一种在DCT域中进行图像重定向的多算子方法。该方法仅需要将图像码流部分解码至DCT域，利用图像的DCT域的数据进行图像重定向；并且可以有效的保持图像显著区域的完整性和宽高比，达到与保持重要内容区域宽高比的多算子图像重定向方法相当的效果。
Description
技术领域
本发明属于图像处理技术领域，更具体地，涉及一种基于压缩域内容感知的多算子图像重定向方法。
背景技术
目前的基于内容感知的图像重定向算法，绝大多数是在像素域内进行的，如弯曲算法，线剪裁及其改进算法，以及多算子算法。这些算法虽然有很好的重定向效果，但是在实际应用中需要将传输和存储的压缩码流完全解码至像素域后再进行重定向，然后再进行完全编码，这大大增加了实际应用中的计算时间和计算资源消耗。目前，仅有少量的基于DCT(离散余弦变换，DCT for Discrete Cosine Transform)域的图像重定向研究工作。2009年，Choi等人提出了一种利用DCT系数矩阵进行图像重定向的方法。该算法以缩小图像宽度为例，首先利用图像8×8块的DCT系数计算出将原8×8块分别缩小为8×8、8×6、8×4、8×2、8×1时的图像缩放变形系数，利用图像梯度信息计算出图像块缩小后与相邻块的形状变形系数，然后依据得出的变形系数，求得变形系数最小的缩小尺寸，然后对每个8×8块进行缩小即可得到重定向图像。然而，这种算法只是利用DCT系数进行计算图像缩放变形系数，并不是完全基于DCT域的，仍然需要像素域的数据。2010年Ramana Murthy等人提出了基于DCT域的弯曲算法。该算法将原始图像分为若干条，计算DCT域内的图像梯度，将梯度作为能量值计算每条图像的缩小权重，然后依据权重对图像条进行缩小。这种算法仅仅利用图像的梯度信息进行缩小，不能很好的检测视觉显著对象，并且由于弯曲算法视觉显著区域每条图像的缩小比例不一致，不能很好的保护视觉显著对象。2011年，Kim等人提出了一种基于DCT域的图像和视频重定向算法。该算法集合图像梯度和显著度来定义像素点能量，然后通过将图像中能量相近的点划分为一个整体，将图像分为若干条，通过定义衡量条变形的参数对每个图像条进行不同程度的缩小，使得整幅图像变形最小。这种算法同样会造成视觉显著对象的挤压变形。2012年，Fang等人将基于压缩域的视觉显著性检测算法用于图像的自适应缩放中。该算法将JPEG码流部分解码后，在压缩域的基础上提取视觉显著性特征，最后结合线裁剪实现图像缩放。2014年，Ke Li等以DCT域图像梯度的计算为基础，结合基于像素域的线剪裁算法，提出了基于DCT域的线剪裁算法。但是这种算法仅仅以图像的梯度所谓考虑因素，不能很好的保护图像的视觉显著区域，同时以DCT块为单位的线缝，容易产生锯齿效应。综上所述，这些算法只是对图像中视觉显著区域进行粗略的检测，删除线太多时，线往往会穿过图像的重要区域，明显降低图像质量。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于压缩域内容感知的多算子图像重定向方法，能够在减少计算成本的情况下，达到与保持重要内容区域宽高比的多算子图像重定向方法相当的效果。
为实现上述目的，本发明提供了一种基于压缩域内容感知的多算子图像重定向方法，包括：
步骤1：对图像的压缩码流进行部分解码后，得到该图像对应的DCT系数矩阵；
步骤2：以大小为m×m的DCT图像块为单元，利用所述DCT系数矩阵对图像进行视觉显著度检测，获得图像的视觉显著度图，所述m为预设值；
步骤3：根据DCT域图像视觉显著度图，利用反向线剪裁的方法，对图像进行非重定向方向上的拉伸，且当要复制的线缝穿过图像视觉显著区域时停止拉伸；
步骤4：对拉伸后的图像进行DCT域的相似性变换，直至图像非重定向方向的尺寸与原图像尺寸最接近为止；
步骤5：利用基于GVF的线剪裁和反向线剪裁对图像重定向方向和非重定向方向进行尺寸的调整，以达到目标尺寸；
步骤6：将重定向后的DCT系数矩阵经过部分编码后，获得重定向后图像的压缩码流。
本发明的一个实施例中，所述步骤1具体为：
对图像的压缩码流利用熵解码器进行熵解码，然后利用逆量化器进行逆量化，获得图像对应的DCT系数矩阵。
本发明的一个实施例中，所述步骤2具体包括：
(2.1)将DCT系数矩阵中每个m×m块的AC系数求和作为纹理特征，将采用颜色双对抗系统得到的红绿对抗和黄蓝对抗分量为两种颜色特征；
(2.2)分别计算每个块与其他所有块之间的颜色、亮度以及纹理差异；
(2.3)选择基于DCT块之间的位置坐标欧氏距离来定义块差异的权重系数，再结合亮度、颜色和纹理特征差异矩阵，得到特征显著图。
本发明的一个实施例中，所述步骤(2.1)具体为：
将所有AC系数求和作为纹理特征T，T＝{tLF,tMF,tHF}，其中，tLF、tMF和tHF分别表示低频、中频和高频各个部分的所有点的AC系数的总和；
由r、g、b产生四个新的颜色分量：新的红色分量R、新的绿色分量G、新的蓝色分量B和新的黄色分量Y，R＝r-(g+b)/2，G＝g-(r+b)/2，B＝b-(r+g)/2，Y＝(r+g)/2-|r-b|/2-b；根据所求得的新红绿蓝颜色分量，采用颜色双对抗系统得到的红绿对抗和黄蓝对抗分量即为所求的两种颜色特征：Crg＝R-G，Cby＝B-Y。
本发明的一个实施例中，所述步骤3具体为包括：
(3.1)以每个m×m内的所有点的显著度值的平均作为其显著度值；
(3.2)动态规划得出以m×m块为单位的能量最小的线缝，所述能量是指每个m×m块的显著度值；
(3.3)计算所得到的线缝的累加能量S(seam)，所述S(seam)代表得到的能量值最小的线缝的累加能量；
(3.4)对计算出来的线缝能累加量值进行条件判断，判断过程如下式
其中，T0为所选择的阈值，若该线缝的累加显著度小于阈值，则复制该线缝，更新所复制的线缝与新增线缝的能量，并且重复3.2到3.4的步骤，若该线缝的累加显著度大于阈值，则跳出本步骤。
本发明的一个实施例中，所述步骤(3.2)包括：
计算图像中每个m×m块对应的前向累积能量值图M：M(u,v)＝SB(u,v)+min(M(u-1,v-1)，M(u,v-1)，M(u+1,v-1))；其中，M(u,v)代表该块的前向累积能量；
从前向累积能量图M最后一列中找出最小能量值的位置点(u,v)，并以此点为入口，每次取左一列中相邻的三点中累积能量最小的那个点作为该条线裁剪路线在该列的点，即：seam(v-1)＝min{(u-1,v-1)，(u,v-1)，(u+1,v-1)}，其中，seam(v-1)代表裁剪线第(v-1)列所选取的点；
重复往左搜索至第一列得到能量最小的裁剪线。
本发明的一个实施例中，所述步骤4中进行DCT域的相似性变换具体包括：
令缩放比例中的分子为相似性变换系数z，则相似性变换系数可以通过下式计算：假设此时拉伸后图像尺寸为a×b，目标图像尺寸为c×d，则相似性变换系数z为：
根据计算到的相似性变换系数z来进行块的相似性变换：删除第z列右边的列，并删除第z列下边的行。
本发明的一个实施例中，所述步骤5具体包括：
经过相似性变换后生成新的图像，在新的图像中将每个a×a的DCT块作为一个单位，原图像a×a块的显著度平均值为新图像点的显著度值，然后计算产生新图像的梯度矢量流(Gradient Vector Flow,GVF)向量，并依据GVF向量的方向，产生一系列的线缝，其中所述a×a为相似性变换后的块大小；
遍历整幅图像后，得到若干条裁剪线，挑选能量最小的一条进行删除或复制，累加每一条裁剪线所包含的像素点的显著度大小，删除或复制最小的一条，在重定向和非重定向方向上分别经过若干次重复操作，得到最终的目标图像。
本发明的一个实施例中，产生线缝的过程为：
(u,v)为新图像中块的坐标，设当前块(u,v)存在一个方向向量GVFn，而像素点(u+1,v-1)、(u+1,v)、(u+1,v+1)所代表的向量分别为 (0,1)、则根据其与单位向量GVFn的欧式距离，得到最接近的一个，即可以选择seam在(v+1)行的位置，重复迭代，可以根据每一个像素点的GVFn向量，得到线缝在下一行的位置，从而得到可能的线缝。
本发明的一个实施例中，所述步骤6具体为：
将得到的a×aDCT块补0成为m×m的块，然后再做m×m的DCT逆变换，再之后截取每个m×m块中左上角的a×a块作为最终的图像块；或者，
利用如下公式直接对变换后的DCT系数矩阵做DCT反变换，得到以a×a块为单位的原图像：
其中，x,y＝0,1,…a-1；
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有如下有益效果：
本发明方法将压缩码流部分解码至DCT域，得到图像的DCT系数矩阵，依据图像的DCT系数矩阵计算得到图像的显著度图。然后进行非重定向方向的拉伸，通过拉伸非视觉显著对象，来降低视觉显著对象在图像中所占的比例，从而避免在重定向过程中，产生视觉显著对象的变形；
本发明提采用基于DCT域的图像相似性变换新方法，传统的相似性变换方法，直接删除8行或8列的倍数行或倍数列，会造成明显的锯齿效应。为了避免上述问题，本发明方法不是简单的以DCT块为处理单位，直接删除块来进行相似性变换，而是通过对每个DCT块进行相似性变换来达到均匀缩小图像的目的。DCT系数块内的每一个值都包含了原8×8图像所有点的信息，在均匀缩小DCT系数矩阵的时，可以保证图像信息的完整性，同时规避了DCT域内只能以块为单位缩小图像所产生的锯齿效应；
本发明方法利用DCT域基于梯度矢量流的线剪裁以及反向线剪裁来调整图像的尺寸，以达到目标尺寸；
本发明所提出的基于DCT域的图像重定向方法，则只需将压缩码流在解码时经过熵编码器与逆量化器，得到图像的DCT系数矩阵即可进行图像的重定向，同样的重定向完成后，也只需将图像经过量化器与编码器即可得到可以在互联网上传输和存储的压缩码流。这大大降低了实际应用中的时间复杂度与资源占用；
本发明方法仅需要将图像码流部分解码至DCT域，利用图像的DCT域的数据进行图像重定向；并且可以有效的保持图像显著区域的完整性和宽高比，达到与保持重要内容区域宽高比的多算子图像重定向方法相当的效果。
附图说明
图1是本发明实施例中JPEG标准压缩完全编解码流程图，其中图1(a)为JPEG标准压缩方式完全编码过程，图1(b)为JPEG标准压缩方式完全解码过程；
图2是本发明实施例中基于DCT域的相似性变换示例图，其中图2(a)的相似性变换系数为7，其中图2(b)的相似性变换系数为6，其中图2(c)的相似性变换系数为5；
图3是本发明实施例中基于DCT域GVF线剪裁示意图；
图4是本发明实施例中在新图像中利用GVFn向量产生线缝的过程示意图；
图5是本发明实施例中解码流程示意图；
图6是本发明实施例中不同图像重定向结果比较示意图；其中图6(a)为原始图像，图6(b)为DCT域SC，图6(c)为SC[15]，图6(d)为GVF(sa)，图6(e)为GVF，图6(f)为本发明方法；
图7是本另一发明实施例中不同图像重定向结果比较示意图；其中图7(a)为原始图像，图7(b)为DCT域SC，图7(c)为SC[15]，图7(d)为GVF(sa)，图7(e)为GVF，图7(f)为本发明方法；
图8是本发明实施例中本发明方法与保持重要内容区域宽高比的多算子图像重定向方法的比较示意图；其中图8(a)为原始图像，图8(b)为MO，图8(c)为保持高宽比方法，图8(d)为本发明方法；
图9是本发明另一实施例中本发明方法与保持重要内容区域宽高比的多算子图像重定向方法的比较示意图，其中图9(a)为原始图像，图9(b)为MO，图9(c)为保持高宽比方法，图9(d)为本发明方法。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
为了解决上述问题，本发明提出了一种基于DCT域的多算子图像重定向方法。利用该方法，
需要说明的是，本发明实施例中的图像块以8×8为例，当然也可以是其他值m×m，m可以根据实际情况选取。
1、算法框架
本发明方法主要思想是利用压缩码流部分解码后得到的DCT系数矩阵进行图像重定向，在重定向过程中尽可能的保持视觉显著对象的完整性和宽高比。本发明以缩小原始图像的宽度或高度为例，设图像缩小方向为重定向方向，那么另一方向为非重定向方向。例如要缩小宽度，则水平方向为重定向方向，垂直方向为非重定向方向。算法具体步骤如下：
步骤1：对图像的压缩码流进行部分解码(熵解码和反量化)后，得到该图像对应的DCT系数矩阵。
步骤2：以大小为8×8的DCT图像块为单元，对图像进行视觉显著度检测，获得图像的显著度图。
步骤3：根据DCT域图像视觉显著度图，利用反向线剪裁的方法，对图像进行的非重定向方向上的拉伸。且当要复制的线缝穿过图像视觉显著区域时，停止拉伸。
步骤4：对拉伸后的图像进行DCT域的相似性变换，直至图像非重定向方向的尺寸与原图像尺寸最接近为止。
步骤5：利用基于GVF的线剪裁和反向线剪裁对图像重定向方向和非重定向方向进行尺寸的调整，以达到目标尺寸。
步骤6：将重定向后的DCT系数矩阵经过部分编码(重量化和熵编码)后，获得重定向后图像的压缩码流。
若要将重定向后的压缩码流在显示器上显示，则需要将重定向后的DCT系数矩阵解码至像素域，需要利用DCT变换算法对DCT系数矩阵进行变换。但是由于重定向过程中，改变了DCT块的大小，所以需要对解码变换方式进行研究。
1.1图像码流的部分编解码
首先需要对图像的压缩码流进行部分解码，部分解码是相对于完全解码而言的。将压缩码流解码至像素域的过程称为完全解码。JPEG码流完全编解码过程如附图1所示：编码过程包括将输入源图像进行分块，然后进行DCT变换，再通过量化器进行量化，然后通过熵编码器进行熵编码，最后再压缩码流；解码过程则包括将压缩码流利用熵解码器进行熵解码，然后利用逆量化器进行逆量化，再进行DCT逆变换，最后再对分块图像进行重构得到完整图像。
若采用基于像素域的图像重定向算法，则需要经过上述步骤，首先将压缩码流完全解码至像素域，重定向完成后，在将图像完全编码至压缩域。
而部分解码则是：对图像的压缩码流利用熵解码器进行熵解码，然后利用逆量化器进行逆量化，获得图像对应的DCT系数。
为了减少实际应用中的时间消耗及内存占用，本发明所提出的基于DCT域的图像重定向方法，则只需将压缩码流在解码时经过熵编码器与逆量化器，得到图像的DCT系数矩阵即可进行图像的重定向，同样的重定向完成后，也只需将图像经过量化器与编码器即可得到可以在互联网上传输和存储的压缩码流。这大大降低了实际应用中的时间复杂度与资源占用。
1.2基于DCT域的显著度检测
图像中的点与其周围区域的差异度可以凸显图像的显著度，DCT域中的图像显著度是可以用每个DCT块与周围块之间的差异度来表示。每个块的显著度决定于该块与其他所有块之间的特征差异以及这些块差异的权重系数。
1)特征值计算
DCT系数矩阵中每个8×8块均是由交流(Alternating Current，AC)系数和直流(Direct Current，DC)系数组成。首先利用文献(Zhong Y,Jain A.Object localizationusing color,texture and shape[C].Proceedings of Energy Minimization Methodsin Computer Vision and Pattern Recognition,1997,pp.277-294)的算法，利用YCrCb颜色空间中Y分量的AC系数提取每个8×8块的纹理特征。AC系数分为低频(LF，LowFrequency)成分、中频(MF，Middle Frequency)成分和高频(HF，High Frequency)成分。将所有AC系数求和作为纹理特征T。
T＝{tLF,tMF,tHF} (1)
其中，tLF、tMF和tHF分别表示低频、中频和高频各个部分的所有点的AC系数的总和。
利用文献(Itti L,Baldi P.Bayesian surprise attracts human attention[J].Vision Research,2009,49(10):1295–1306)的算法，依据DC系数计算图像的亮度和颜色特征。假设DC系数的红色、绿色、蓝色三个颜色分量分别为r、g、b，则亮度特征的计算可利用式(2)进行计算：
I＝(r+g+b)/3 (2)
由于人眼属于颜色双对抗系统(double opponent system)，若中心是红色而周围是绿色的，那么红色就会被抑制。相似地，若中心是蓝色，周围是黄色，则蓝色会被抑制。由r、g、b产生四个新的颜色分量：新的红色分量R、新的绿色分量G、新的蓝色分量B和新的黄色分量Y，计算公式如式(3)～(6)所示：
R＝r-(g+b)/2 (3)
G＝g-(r+b)/2 (4)
B＝b-(r+g)/2 (5)
Y＝(r+g)/2-|r-b|/2-b (6)
根据所求得的新红绿蓝颜色分量，采用颜色双对抗系统得到的红绿对抗和黄蓝对抗分量即为所求的两种颜色特征：
Crg＝R-G (7)
Cby＝B-Y (8)
2)特征差异计算
然后分别计算每个块与其他所有块之间的颜色、亮度以及纹理差异。其中，颜色和亮度特征可以直接取两个块对应的颜色或者亮度特征值，求差值即为两个块之间的特征差异。假设块i与块j的第k个特征的差异矩阵为Dijk，则计算公式如式(9)所示：
其中，ψk∈{I,Crg,Cby}分别表示亮度特征I和颜色特征Crg、Cby的对应特征值，Dk(k＝1,2,3)分别为亮度特征I和颜色特征Crg、Cby的特征差异矩阵。
而由于纹理特征的每一个DCT块的特征都是一组向量值，不能直接相减取差异值，而范数是可以度量向量之间的距离即差异度。因此，本发明采用2范数获取块与块之间的纹理特征差异。假设块i与块j的纹理特征差异矩阵为则：
其中，tj∈Tj,ti∈Ti，Ti和Tj分别为块i和块j的纹理特征矩阵T。
3)显著度图计算
首先利用文献Fang Y,Chen Z,Lin W,et al.Saliency-based imageretargeting in the compressed domain[C].Proceedings of the ACM InternationalConference on Multimedia,2011,pp.1049-1052的算法，选择基于DCT块之间的位置坐标欧氏距离的高斯算法来定义块差异的权重系数，再结合亮度、颜色和纹理特征差异矩阵，得到四个特征的显著图Sk(k＝1,2,3,4)。具体操作如下：
①计算欧氏距离。块i与块j之间的位置坐标欧氏距离dij：
②计算权重系数。块i与块j之间基于欧氏距离的权重系数ωij：
其中，σ是高斯概率分布模型的标准差，在本发明中，设置σ＝20。
③计算特征显著图。块i的第k个特征显著值
其中，k∈{I,Crg,Cby,T}；为各个特征的DCT块i与块j之间的特征差异。
根据以上公式可获得亮度、颜色和纹理特征的显著图Sk(k＝1,2,3,4)。
④使用以归一化为基础的融合规则结合这四个特征显著图得到JPEG图像基于压缩域的最终的显著图S：
S＝∑γN(Sk)+β∏N(Sk) (14)
其中，N是归一化操作；γ和β分别是公式中的对应部分的权重系数，在本发明中设置γ＝β＝0.2。
1.3 DCT域的反向线剪裁
本发明以缩小图像宽度为例，为了使图像在重定向后重要内容不发生变形，需要首先对图像的高度进行适当的拉伸。其目的在于：降低图像中重要内容所占的比例，以便图像宽度缩小后仍可以保持重要内容的宽高比，有利于减少其变形的可能性。
DCT系数矩阵以8×8块为单位。故而本发明方法在DCT系数矩阵中，基于上一步中得到的显著度图，寻找由DCT块组成的线缝，计算寻找到的线缝中所有点的累加显著度值。并与设定好的阈值相比较，若小于阈值，则复制线缝并更新所复制线缝的能量值，也就是显著度值，继续寻找下一条线缝；若大于阈值，则跳出此步骤。本发明方法基于DCT域进行重定向，反向线剪裁也应基于DCT系数矩阵，以DCT系数块为单位进行裁剪。具体操作步骤如下：
1.3.1计算每个8×8块的显著度值。以每个8×8块内的所有点的显著度值的平均作为其显著度值；
SB(u,v)＝∑i,j∈[1,8]S(i,j) (15)
其中，SB(u,v)表示坐标为(u,v)的块的显著度值，S(i,j)代表8×8块内坐标为(i,j)的点的显著度值。
1.3.2动态规划得出以8×8块为单位的能量最小的线缝，这里的能量是指每个8×8块的显著度值；首先计算图像中每个8×8块对应的前向累积能量值图：
M(u,v)＝SB(u,v)+min(M(u-1,v-1)，M(u,v-1)，M(u+1,v-1)) (16)
其中，M(u,v)代表该块的前向累积能量。从前向累积能量图M最后一列中找出最小能量值的位置点(u,v)，并以此点为入口，每次取左一列中相邻的三点中累积能量最小的那个点作为该条线裁剪路线在该列的点，即：
seam(v-1)＝min{(u-1,v-1)，(u,v-1)，(u+1,v-1)} (17)
其中，seam(v-1)代表裁剪线第(v-1)列所选取的点。重复往左搜索至第一列即可得到能量最小的裁剪线。
1.3.3计算所得到的线缝的累加能量；
其中，S(seam)代表得到的能量值最小的线缝的累加能量，seam(v)代表该线缝在第v列的块的能量值，cols代表该图像的列数。
1.3.4对计算出来的线缝能量值进行条件判断，判断过程如式19所示
其中，T0为所选择的阈值。若该线缝的累加显著度小于阈值，则复制该线缝，更新所复制的线缝与新增线缝的能量(显著度变为2倍)，并且重复1.3.2到1.3.4的步骤，若该线缝的累加显著度大于阈值，则跳出本步骤。
阈值的选定：本次选取阈值的目的是一个条件判断的值，判断所选定的线缝是否仍然需要复制。当所选定的线缝能量较大，即显著度累加值较大，则说明该线缝穿过重要区域的块较多，则复制该线缝会对重要区域的内容产生较大的变形。基于这个目的，本次阈值采用图像平均显著度的0.1倍。
S＝0.1×Save (20)
其中，Save表示图像所有块的平均显著度。
1.4 DCT域图像的相似性变换
拉伸后的图像高度发生了变化，而本发明方法的目的仅仅是做宽度上的缩小，所以需要将图像变换至与原图像等高，同时不改变图像视觉显著区域的宽高比。所以本发明方法采用图像相似性变换的算法来进行高度与宽度的缩小，也就是对图像进行横向纵向相同比例的均匀缩放。
然而，由于在DCT域，数据都是以8×8的块为单位存储以及计算的，若利用基于像素域的相似性变换算法，则需要均匀间隔的删除8×8的块，容易造成图像内较明显的锯齿效应。考虑到8×8块的DCT系数，最外围存储的是图像的高频信息，也就是细节信息，并且值大多接近0，删除后只会造成部分细节信息的丢失，并且可以依靠删除后的部分信息完整的还原出原图像的8×8块，所以基于文献(Fang Y,Chen Z,Lin W,et al.Saliencydetection in the compressed domain for adaptive image retargeting[J].IEEETransactions on Image Processing,2012,21(9):3888-3901)中提到得DCT块降尺寸，本发明提出了一种基于DCT域的图像相似性变换算法，通过删除每个DCT块最外围数据的算法进行DCT块的相似性变换，从而可以做到对整个图像的相似性变换。
由于DCT系数矩阵是以8×8的块为单位的，不能通过对块的整体删除来进行相似性变换，那么可以对每个块进行相似性变换来实现图像的相似性变换。而对每个块进行缩放，就决定了其缩放比例只能为1/8的整数倍7/8，6/8，5/8等。所以，要依据拉伸后的图像尺寸和图像的目标尺寸计算图像的缩放比例。令缩放比例中的分子为相似性变换系数z，则相似性变换系数可以通过下式计算：
假设此时拉伸后图像尺寸为a×b，目标图像尺寸为c×d，则相似性变换系数z为：
而后根据计算到的相似性变换系数来进行块的相似性变换。如图2所示，假设下图中图像是由若干个8×8块组成的图像，以相似性变换系数为7，即各维度缩为原尺寸的7/8为例，将每个8×8块，删除最右侧一列及最下方一行，成为7×7的块，则DCT系数矩阵变为与原矩阵相似，大小为原矩阵7/8的新的DCT系数矩阵。对于不同的似性变换系数z，删除原则可总结为：删除第z列右边的列，并删除第z列下边的行。其中z需要小于m(本发明实施例中z<8)。
1.5 DCT域的GVF线剪裁
图像经过相似性变换后，尺寸仍与目标尺寸有所偏差，可能大于目标尺寸，也可能小于目标尺寸，所以最后一步采用基于GVF的SC和反向SC做最后的调整。值得注意的是，如1.3节所述，由于基于DCT域的相似性变换是以对每个8×8的DCT块做相似性变换得到的，假设相似性变换后的块大小为a×a，那么本发明所述的基于GVF的线剪裁则应以a×a的DCT块为单位进行。
文献(Avidan and A.Shamir.Seam carving for content-aware imageresizing[J].ACM Transactions Graph.,2007,26(3):1-10)中基于像素域的GVF线剪裁，是将每个像素点作为一个单位，计算GVF向量并依据GVF向量的方向产生一系列的线缝。而基于DCT域的GVF线剪裁，则是将每个a×a的DCT块作为一个单位，生成新的图像，原图像a×a块的显著度平均值为新图像点的显著度值。然后计算产生新图像的GVF向量，并依据GVF向量的方向，产生一系列的线缝。
基于DCT域的GVF线剪裁流程图3所示：
经过图像转换，在新的图像中，将每一个a×a的DCT块作为一个点，则可以计算新图像的GVF向量，对新图像的显著度图进行边缘检测，然后利用文献(S.Avidan andA.Shamir.Seam carving for content-aware image resizing[J].ACM TransactionsGraph.,2007,26(3):1-10)中的算法，获得新图像的GVF向量图。产生线缝的过程如图4所示：
(u,v)为新图像中块的坐标。设当前块(u,v)存在一个方向向量GVFn，如图虚线向量，而像素点(u+1,v-1)、(u+1,v)、(u+1,v+1)所代表的向量分别为(0,1)、如图4实线向量所示，则根据其与单位向量GVFn的欧式距离，可以得到最接近的一个，即可以选择seam在(v+1)行的位置，图4中最接近的是向量所以选择点(u+1,v+1)。重复迭代，可以根据每一个像素点的GVFn向量，得到线缝在下一行的位置，从而得到可能的线缝。
需要注意的是，由于基于DCT域的相似性变换只能局限于变为原图像的7/8、6/8、5/8等1/8的整数倍，故而相似性变换后的图像在主要重定向方向和次要重定向方向上的尺寸均不能与目标尺寸相匹配，并且可能小于目标尺寸。因此在这一步骤中，本发明方法不仅要对图像重定向方向采用GVF线剪裁进行重定向，而且要对非重定向方向采用GVF线剪裁进行重定向。当相似性变换后的图像尺寸大于目标尺寸时，采用GVF线剪裁缩小图像尺寸，当相似性变换后的图像尺寸小于目标尺寸时，采用GVF反向线剪裁增加图像尺寸。直至图像尺寸与目标尺寸最接近。
遍历整幅图像后，可以得到若干条裁剪线，要挑选能量最小，也就是显著度最小的一条进行删除或复制。累加每一条裁剪线所包含的像素点的显著度大小，删除或复制最小的一条，在重定向和非重定向方向上分别经过若干次重复操作，就可以得到最终的目标图像。采用显著度作为能量，可以更加有效的保护视觉显著性区域。
1.6重定向图像的解码
在本发明提出的重定向中，进行了DCT域图像的相似性变换，即将8×8的块变成了a×a的块，因而在媒体的终端需要显示重定向后的图像时，不能直接对其进行8×8DCT逆变换。
JPEG图像解码器解码器需要稍作修改，主要有两种做法。第一种具体过程如图5所示。将得到的a×aDCT块补0成为8×8的块，然后再做8×8DCT逆变换，再之后截取每个8×8块中左上角的a×a块作为最终的图像块。由于DCT系数矩阵中每个8×8块的边缘存储的是高频信息，也就是图像的细节信息，其值大小接近于0，删除后，图像原8×8块的全部信息大部分都可以保留，所以通过补0的方式仍然可以还原出原图像。截取左上角的a×a块则是为了得到与DCT系数矩阵大小相同的图像。
第二种方式是自定义解码规则。由于DCT系数矩阵是原图像利用8×8的分块的DCT变换规则计算得到的，所以在逆变换过程中，虽然是处理a×a的DCT块，但是仍然要利用8×8块的逆变换规则。利用该规则直接对变换后的DCT系数矩阵做DCT反变换，得到以a×a块为单位的原图像。具体计算过程如下：
其中，x,y＝0,1,…a-1；
2实验结果及分析
为了验证本发明方法的性能，本发明方法将与以下的相关算法进行比较：基于DCT域的线剪裁(文献(Li K,Yan B,Liu L,and Sun K.efficient DCT-based imageretargeting in compressed domain[C].Proceedings of IEEE InternationalConference on Multimedia,2014,3(1):1-6))，基于像素域的线剪裁(S.Avidan andA.Shamir.Seam carving for content-aware image resizing[J].ACM TransactionsGraph.,2007,26(3):1-10)，改进的基于GVF的线剪裁(文献S.Battiato,G.M.Farinella,G.Puglisi,and D.Ravì.Saliency-based selection of Gradient Vector Flow pathsfor content aware image resizing[J].IEEE Transactions Image Process,2014,23(5):2081-2095.)(两种)。本发明采用的实验原始图像均来自(S.Goferman,L.Z.Manor,andA.Tal.Context-aware saliency detection[J].IEEE Transactions on patternanalysis and machine intelligence,2012,34(10):1915-1926.)中所使用的图像库，该图像库包含了1000张包含了不同的场景和重要内容的图像。所有的实验均采用了相同的硬件和软件环境：CPU为G2010@2.8GHz，运行内存为4GB，采用MATLAB2012b软件。
2.1主观性能比较与分析
图6为将原始图像宽度缩小为原图像70％的实验结果，分别将本发明方法与DCT域的SC算法(Li K,Yan B,Liu L,and Sun K.efficient DCT-based image retargeting incompressed domain[C].Proceedings of IEEE International Conference onMultimedia,2014,3(1):1-6)，基于像素域的SC算法(S.Avidan and A.Shamir.Seamcarving for content-aware image resizing[J].ACM Transactions Graph.,2007,26(3):1-10)，基于GVF的SC算法(添加和不添加显著度)(S.Battiato,G.M.Farinella,G.Puglisi,and D.Ravì.Saliency-based selection of Gradient Vector Flow pathsfor content aware image resizing[J].IEEE Transactions Image Process,2014,23(5):2081-2095)进行比较。本发明选取不同类型的图像进行实验，如风景，人物，物体等。由对比图可以清楚的看到，本发明方法在主观质量上，优于其他算法，能够很好的保持视觉显著区域的完整性和宽高比。
在图6(b)和6(c)第一幅图中，可以看到杯子发生了明显的信息丢失和变形，并且图6(b)出现了明显的锯齿效应；在图6(b)和6(c)第二幅图中，可以看到人物的面部被扭曲和挤压，同样的，图6(b)也出现了锯齿效应；图6(b)和6(c)第三幅图中蝴蝶的左右两侧翅膀分别发生了挤压变形；图6(b)第四幅图中，轮胎的左侧反生了信息的丢失，致使轮胎轮廓不连续，6(c)第四幅图中轮胎的形状同样发生了挤压；图6(b)第五幅图中窗户的右下角信息丢失，影响窗户的整体视觉，6(c)第五幅图中则丢失了窗户的窗页。这是由于图6(b)与图6(c)分别采用DCT域的SC算法与基于像素域的SC算法进行图像重定向，这两种算法知识简单的利用图像的梯度信息决定DCT块或像素点的重要程度，所以不能很好的检测并保护视觉显著区域。同时基于DCT域的SC算法是删除由8×8的块组成的线缝，若多条线缝集中在一起则会造成重定向图像产生锯齿效应。
在图6(d)和6(e)中，同样发生了视觉显著区域的变形，如杯子、人物面部的扭曲，蝴蝶、轮胎的挤压，以及窗页的缩小。这是由于该算法过度依赖于图像所检测出来的边缘及其对应的梯度矢量流，当图像的细节信息较多时，所检测的边缘会相应变多，在重要内容得不到有力保护时，GVF有可能进入重要内容区域中，从而造成重要信息的误删而出现变形。
而在采用本发明方法进行重定向的结果图6(f)中，可以看到不论是人物、风景、还是物体，都能很完整的保存。图中，可以看到完整的杯子以及杯子上方的花样、完整的任务面部、对称的蝴蝶翅膀、同比例的轮胎、以及完整的窗户和窗页。这是由于，首先，本发明方法在进行图像重定向方向的缩小之前，对图像的非重定向进行拉伸，来降低图像视觉显著区域所占的比例。这种拉伸采用基于图像显著度的反向SC算法，避免所复制的线缝穿过视觉显著区域。然后本发明方法中的相似性变换是对图像的每个8×8块进行相似性变换从而达到对图像进行相似性变换的目的，因而再缩小过程中减少了块的大小，避免产生锯齿效应。
本发明方法的主要目的是解决图像视觉显著区域尺寸大于目标尺寸的情况下，图像的重定向问题，为了更清楚的看到本发明方法的实验效果，本发明进一步的将图像宽度缩小为原图像的50％进行实验。本发明中比较了不同类型图像宽度缩小50％的重定向效果，实验结果如图7所示。
由图7中实验结果可以看到，本发明方法对于图像视觉显著区域尺寸大于图像重定向目标尺寸的情况，具有良好的重定向效果，基本可以良好的保持图像视觉显著区域的宽高比和完整性。如图7(f)第一幅图中人物没有发生变形；图7(f)第二幅图中黄色的花和红色的花均得到的很好的保留；图7(f)第三幅图中的花没有发生缩小及变形；图7(f)第四及第五幅图中的人物也都完整的保留。实验结果同时也说明在缩小宽度50％的实验中，本算法主观质量明显优于其他算法。
为了进一步验证本发明基于DCT域的多算子图像重定向方法的主观结果，图8与图9中分别比较了将原始图像宽度缩小为原图像宽度30％与50％，采用本发明方法、多算子算法、保持重要内容区域宽高比的多算子图像重定向方法(CN201710549826.7)实验结果。
由图8以及图9可以看出，本发明基于DCT域的多算子图像重定向方法的重定向结果基本可以与保持重要内容区域宽高比的多算子图像重定向方法结果相当，甚至部分情况下优于保持重要内容区域宽高比的多算子图像重定向方法；本发明方法结果优于文献(S.Luo,J.Zhang,Q.Zhang,and X.Yuan.Multi-operator image retargeting withautomatic integration of direct and indirect seam carving[J].Image and VisionComputing,2012,30(9):655-667)中的像素域多算子算法。综上所述，本发明方法有比较好的主观性能。
2.2客观性能比较与分析
本发明中，利用文献(R.Achanta,S.Hemami,F.Estrada,and S.Süsstrunk.Frequency-tuned salient region detection[C].Proceedings of IEEEInternet Conference on Computer Vision&Pattern Recognition(CVPR),2009,pp.1597–1604)提出的评估指标进一步验证了本发明单向图像重定向多算子算法的客观性能。这种评估指标通过结合图像的几何畸变和信息丢失来计算缩放图像的质量。具体来说，信息丢失值的大小代表重定向过程中视觉显著内容丢失的比例。几何畸变值的大小代表了重定向过程中显著对象的变形大小。该评估指标的值范围为[0，1]，值越大说明重定向质量越好。
表1是不同算法的重定向图像质量指数比较。分别将本发明方法与DCT域SC算法，像素域SC算法，以及基于GVF的SC算法(添加和不添加显著度)进行比较。由表1中结果可知，本发明方法质量指数均大于DCT域的SC算法，并且当缩放比例越大时，本发明方法质量指数的优势越明显。这是由于DCT域SC算法仅仅考虑图像梯度信息，使得裁减线穿过视觉显著区域，不能很好的保护视觉显著对象。本发明方法质量指数也大于像素域的SC算法，以及像素域基于GVF的不添加显著度的SC算法。这是由于本发明方法考虑了图像的视觉显著度特征，更好的保留图像视觉显著部分，减少了信息丢失，故而可以获得较好的质量指数。但是本发明方法质量指数略小于像素域基于GVF的添加显著度的SC算法，这是由于本发明方法基于DCT块做剪裁，造成了锯齿效应，增加了图像几何畸变，造成质量指数的降低。
表1不同图像质量指数比较
Table 1Comparison results of quality index.
2.3时间复杂度比较与分析
本发明方法主要的目的是为了减少多算子重定向算法在实际应用中的时间消耗，故而在此，比较了本发明方法与上述其他算法的时间复杂度。主要从两个方面进行比较，首先是重定向过程中的时间消耗，另一个是压缩码流完全编解码与不完全编解码的时间消耗。
2.3.1重定向过程的时间消耗比较
上述实验中，重定向过程的时间消耗如表2所示。由表2可以看出，DCT域的多算子图像重定向算法时间复杂度远远低于基于像素域的多算子图像重定向算法，同时，也低于像素域内基础的SC算法。这是由于DCT域的多算子图像重定向算法基于8×8的块，减少了SC算法和基于GVF的SC算法中计算线缝过程的运算量。所以，本发明方法与像素域内缩放效果相当的多算子图像重定向算法相比较，在时间消耗上，本算法耗时很少；与像素域内其他基本的图像重定向算法相比，在重定向质量和时间复杂度上，本发明方法均优于基于像素域的重定向算法。与基于DCT域的SC算法相比，本发明方法虽然时间复杂度略高于基于DCT域的SC算法，但其重定向质量远远高于基于DCT域的SC算法。
表2不同图像时间消耗(s)比较
Table 2Comparison results of running time(s).
2.3.2图像编解码过程中的时间消耗比较
本发明方法是完全在DCT域内进行的，所以不需要将压缩码流完全解码至像素域来进行重定向，同样的，重定向后的图像也不需要完全编码就可以变换成压缩码流。节省了图像进行DCT变换和IDCT变换的时间。在实际应用中，当图像较多甚至是进行视频重定向时，这将大大减少处理时间。
综上所述，虽然本发明方法在重定向过程中相比简单的线剪裁来说，增加了时间的消耗，但是在图像编解码过程中，则大大减少了时间的消耗。同时，本发明方法重定向性能明显的优于基于DCT域的其他图像重定向算法，甚至优于基于像素域的图像重定向算法。所以，本发明方法有很强的实际应用可行性。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于压缩域内容感知的多算子图像重定向方法，其特征在于，包括：
步骤1：对图像的压缩码流进行部分解码后，得到该图像对应的DCT系数矩阵；
步骤2：以大小为m×m的DCT图像块为单元，利用所述DCT系数矩阵对图像进行视觉显著度检测，获得图像的视觉显著度图，所述m为预设值；
步骤3：根据DCT域图像视觉显著度图，利用反向线剪裁的方法，对图像进行非重定向方向上的拉伸，且当要复制的线缝穿过图像视觉显著区域时停止拉伸；
步骤4：对拉伸后的图像进行DCT域的相似性变换，直至图像非重定向方向的尺寸与原图像尺寸最接近为止；
步骤5：利用基于GVF的线剪裁和反向线剪裁对图像重定向方向和非重定向方向进行尺寸的调整，以达到目标尺寸；
步骤6：将重定向后的DCT系数矩阵经过部分编码后，获得重定向后图像的压缩码流。
2.如权利要求1所述的基于压缩域内容感知的多算子图像重定向方法，其特征在于，所述步骤1具体为：
对图像的压缩码流利用熵解码器进行熵解码，然后利用逆量化器进行逆量化，获得图像对应的DCT系数矩阵。
3.如权利要求1或2所述的基于压缩域内容感知的多算子图像重定向方法，其特征在于，所述步骤2具体包括：
(2.1)将DCT系数矩阵中每个m×m块的AC系数求和作为纹理特征，将采用颜色双对抗系统得到的红绿对抗和黄蓝对抗分量为两种颜色特征；
(2.2)分别计算每个块与其他所有块之间的颜色、亮度以及纹理差异；
(2.3)选择基于DCT块之间的位置坐标欧氏距离来定义块差异的权重系数，再结合亮度、颜色和纹理特征差异矩阵，得到特征显著图。
4.如权利要求3所述的基于压缩域内容感知的多算子图像重定向方法，其特征在于，所述步骤(2.1)具体为：
将所有AC系数求和作为纹理特征T，T＝{tLF,tMF,tHF}，其中，tLF、tMF和tHF分别表示低频、中频和高频各个部分的所有点的AC系数的总和；
由r、g、b产生四个新的颜色分量：新的红色分量R、新的绿色分量G、新的蓝色分量B和新的黄色分量Y，R＝r-(g+b)/2，G＝g-(r+b)/2，B＝b-(r+g)/2，Y＝(r+g)/2-|r-b|/2-b；根据所求得的新红绿蓝颜色分量，采用颜色双对抗系统得到的红绿对抗和黄蓝对抗分量即为所求的两种颜色特征：Crg＝R-G，Cby＝B-Y。
5.如权利要求1或2所述的基于压缩域内容感知的多算子图像重定向方法，其特征在于，所述步骤3具体为包括：
(3.1)以每个m×m块内的所有点的显著度值的平均作为其显著度值；
(3.2)动态规划得出以m×m块为单位的能量最小的线缝，所述能量是指每个m×m块的显著度值；
(3.3)计算所得到的线缝的累加能量S(seam)，所述S(seam)代表得到的能量值最小的线缝的累加能量；
(3.4)对计算出来的线缝能累加量值进行条件判断，判断过程如下式
其中，T0为所选择的阈值，若该线缝的累加显著度小于阈值，则复制该线缝，更新所复制的线缝与新增线缝的能量，并且重复3.2到3.4的步骤，若该线缝的累加显著度大于阈值，则跳出本步骤。
6.如权利要求5所述的基于压缩域内容感知的多算子图像重定向方法，其特征在于，所述步骤(3.2)包括：
计算图像中每个m×m块对应的前向累积能量值图M：M(u,v)＝SB(u,v)+min(M(u-1,v-1)，M(u,v-1)，M(u+1,v-1))；其中，M(u,v)代表该块的前向累积能量；
从前向累积能量图M最后一列中找出最小能量值的位置点(u,v)，并以此点为入口，每次取左一列中相邻的三点中累积能量最小的那个点作为该条线裁剪路线在该列的点，即：seam(v-1)＝min{(u-1,v-1)，(u,v-1)，(u+1,v-1)}，其中，seam(v-1)代表裁剪线第(v-1)列所选取的点；
重复往左搜索至第一列得到能量最小的裁剪线。
7.如权利要求1或2所述的基于压缩域内容感知的多算子图像重定向方法，其特征在于，所述步骤4中进行DCT域的相似性变换具体包括：
令缩放比例中的分子为相似性变换系数z，则相似性变换系数可以通过下式计算：假设此时拉伸后图像尺寸为a×b，目标图像尺寸为c×d，则相似性变换系数z为：
根据计算到的相似性变换系数z来进行块的相似性变换：删除第z列右边的列，并删除第z列下边的行。
8.如权利要求1或2所述的基于压缩域内容感知的多算子图像重定向方法，其特征在于，所述步骤5具体包括：
经过相似性变换后生成新的图像，在新的图像中将每个a×a的DCT块作为一个单位，原图像a×a块的显著度平均值为新图像点的显著度值，然后计算产生新图像的GVF向量，并依据GVF向量的方向，产生一系列的线缝，其中所述a×a为相似性变换后的块大小；
遍历整幅图像后，得到若干条裁剪线，挑选能量最小的一条进行删除或复制，累加每一条裁剪线所包含的像素点的显著度大小，删除或复制最小的一条，在重定向和非重定向方向上分别经过若干次重复操作，得到最终的目标图像。
9.如权利要求8所述的基于压缩域内容感知的多算子图像重定向方法，其特征在于，产生线缝的过程为：
(u,v)为新图像中块的坐标，设当前块(u,v)存在一个方向向量GVFn，而像素点(u+1,v-1)、(u+1,v)、(u+1,v+1)所代表的向量分别为 则根据其与单位向量GVFn的欧式距离，得到最接近的一个，即可以选择seam在(v+1)行的位置，重复迭代，可以根据每一个像素点的GVFn向量，得到线缝在下一行的位置，从而得到可能的线缝。
10.如权利要求8所述的基于压缩域内容感知的多算子图像重定向方法，其特征在于，所述步骤6具体为：
将得到的a×aDCT块补0成为m×m的块，然后再做m×m的DCT逆变换，再之后截取每个m×m块中左上角的a×a块作为最终的图像块；或者，
利用如下公式直接对变换后的DCT系数矩阵做DCT反变换，得到以a×a块为单位的原图像：
其中，x,y＝0,1,…a-1；
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811477990.2A CN109615670A (zh) | 2018-12-05 | 2018-12-05 | 一种基于压缩域内容感知的多算子图像重定向方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811477990.2A CN109615670A (zh) | 2018-12-05 | 2018-12-05 | 一种基于压缩域内容感知的多算子图像重定向方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109615670A true CN109615670A (zh) | 2019-04-12 |
Family
ID=66006025
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811477990.2A Pending CN109615670A (zh) | 2018-12-05 | 2018-12-05 | 一种基于压缩域内容感知的多算子图像重定向方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109615670A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991476A (zh) * | 2021-02-18 | 2021-06-18 | 中国科学院自动化研究所 | 基于深度压缩域特征的场景分类方法、系统及设备 |
| CN115222721A (zh) * | 2022-08-02 | 2022-10-21 | 广西壮族自治区地图院 | 一种地理信息目标显著性检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040001636A1 (en) * | 2002-06-27 | 2004-01-01 | Sean Miceli | Method and apparatus for displaying arbitrarily magnified high resolution images using compressed domain processing |
| CN104835114A (zh) * | 2015-05-06 | 2015-08-12 | 山东大学 | 一种图像自适应显示方法 |
| CN107330885A (zh) * | 2017-07-07 | 2017-11-07 | 广西大学 | 一种保持重要内容区域宽高比的多算子图像重定向方法 |
-
2018
- 2018-12-05 CN CN201811477990.2A patent/CN109615670A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040001636A1 (en) * | 2002-06-27 | 2004-01-01 | Sean Miceli | Method and apparatus for displaying arbitrarily magnified high resolution images using compressed domain processing |
| CN104835114A (zh) * | 2015-05-06 | 2015-08-12 | 山东大学 | 一种图像自适应显示方法 |
| CN107330885A (zh) * | 2017-07-07 | 2017-11-07 | 广西大学 | 一种保持重要内容区域宽高比的多算子图像重定向方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张倩: "基于内容感知的多算子图像重定向研究", 《万方数据知识服务平台》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991476A (zh) * | 2021-02-18 | 2021-06-18 | 中国科学院自动化研究所 | 基于深度压缩域特征的场景分类方法、系统及设备 |
| CN112991476B (zh) * | 2021-02-18 | 2021-09-28 | 中国科学院自动化研究所 | 基于深度压缩域特征的场景分类方法、系统及设备 |
| CN115222721A (zh) * | 2022-08-02 | 2022-10-21 | 广西壮族自治区地图院 | 一种地理信息目标显著性检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xie et al. | Joint super resolution and denoising from a single depth image | |
| Wang et al. | A highly efficient system for automatic face region detection in MPEG video | |
| Qiu | Color image indexing using BTC | |
| CN109257604A (zh) | 一种基于tmc3点云编码器的颜色属性编码方法 | |
| US9196021B2 (en) | Video enhancement using related content | |
| US7653238B2 (en) | Image filtering based on comparison of pixel groups | |
| US9349072B2 (en) | Local feature based image compression | |
| WO1999023600A1 (en) | Video signal face region detection | |
| Diana Andrushia et al. | Saliency-based image compression using Walsh–Hadamard transform (WHT) | |
| Roy et al. | Fractal image compression using upper bound on scaling parameter | |
| CN107392244B (zh) | 基于深度神经网络与级联回归的图像美感增强方法 | |
| CN109615670A (zh) | 一种基于压缩域内容感知的多算子图像重定向方法 | |
| US20100259683A1 (en) | Method, Apparatus, and Computer Program Product for Vector Video Retargeting | |
| CN112561976A (zh) | 一种图像主颜色特征提取方法、图像检索方法、存储介质及设备 | |
| Tliba et al. | PCQA-Graphpoint: efficient deep-based graph metric For point cloud quality assessment | |
| US7356182B1 (en) | Method and apparatus for measuring image complexity | |
| US20150269456A1 (en) | Methods and systems for determining a perceptual similarity between images | |
| Zheng et al. | A novel gray image representation using overlapping rectangular NAM and extended shading approach | |
| EP1466299A1 (en) | Processing boundary information of a graphical object | |
| Wei | Image segmentation based on situational DCT descriptors | |
| Abiko et al. | Image segmentation based graph-cut approach to fast color image coding via graph fourier transform | |
| US9311342B1 (en) | Tree based image storage system | |
| Arezoomand et al. | Perceptually Optimized Loss Function for Image Super-Resolution | |
| Tliba et al. | Efficient Deep-Based Graph Metric for Point Cloud Quality Assessment | |
| US7876832B2 (en) | Method for the characterization of a digital image and the applications thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190412 |
|
| WD01 | Invention patent application deemed withdrawn after publication |