CN103955887A - 基于内容的快速细缝裁剪与非均匀映射相结合的图像自适应方法 - Google Patents

Abstract

基于内容的快速细缝裁剪与非均匀映射相结合的图像自适应方法涉及图像处理领域。它融合了细缝裁剪方法和非均匀映射方法的优点，而且解决了二者结合时的速度和效果不佳的问题。首先采取基于条带和相邻度的快速细缝裁剪方法，同时采用一种快速地质量评价方法，监测重要信息变形，当变形超过设定指标时，终止细缝裁剪方法，切换为非均匀映射方法，不仅能够快速实现图像的自适应，同时能够更好的保持图像的语义内容。本发明从图像是否产生变形失真，是否丢失重要信息作为评判标准，有效的保护了重要区域信息，使重要区域等比例缩放不变形，对非重要区域进行压缩保证了全局信息。

Description

基于内容的快速细缝裁剪与非均匀映射相结合的图像自适应方法

技术领域

本发明涉及图像处理技术领域中基于内容的图像自适应技术，具体涉及一种快速细缝裁剪与非均匀映射相结合的图像自适应方法的研究及实现。 

背景技术

随着移动多媒体技术的迅速发展，如移动电话和高清电视的不断换代更新，不同类型不同尺寸的显示终端不断涌现以适应各种不用的用户需求。为了保证不同设备的用户都能够舒适地观看同样的图像内容，这就要求图像重定位系统，使图像内容能够自适应于不同尺寸、不同比例的用户终端，研究保持图像主要内容的自适应技术具有重要的应用意义。 

传统的图像自适应方法主要分为3种，第一种方法是均匀缩放Scaling技术，它将原始图像通过插值或下采样得到目标尺寸的图像，然而当需要改变图像宽高比来进行均匀缩放时，它往往会造成图像主要内容的拉伸变形。第二种方法是简单的裁切Cropping技术，它通过裁掉图像边缘内容来得到目标尺寸，这会带来较多内容信息的丢失。第三种方法是“信箱”letterboxing技术，选择图像宽度或高度的最小缩放比例作为整体缩放比例来对原始图像进行等比缩放，它的问题在于经常会在设备上下或左右两边产生黑色边框，不能充分的利用移动设备有限的屏幕资源。 

基于内容感知的图像自适应技术就是用来解决如何将图像更好的显示在多样化的数字设备上的问题。由于传统的图像自适应方法都没有考虑图像的内容，为了使用户能够在终端设备上更舒适地观看图像，基于内容感知的图像自适应技术需要根据图像内容的重要程度对其进行处理，来自适应于不同网络类型、不同尺寸、不同比例的终端显示设备。基于内容感知的图像自适应方法可分为三种：一类是以细缝裁剪（Seam Carving）为代表的离散方法，另一类是以非均匀映射（Warping）为代表的连续方法，还有一种就是多种操作相结合的方法。基于内容感知的自适应技术最大的优点就是通处理图像中不引人注意的像素内容来改变图像的尺寸，最大限度的保护重要区域不发生形变，同时尽 可能的保留原始图像的全局信息。 

基于细缝裁剪的离散方法主要思想是对图像进行像素级的离散操作，在保留重要区域的同时不断的删除或复制不重要的像素细缝来改变图像的尺寸。它通过自动寻找图像中的水平或垂直方向单调、连通的最低能量线，从而去除/增加最低能量线来压缩/放大图像，这一方法的特点是能够最大限度的保持图像中的重要区域，去除最低能量区域。但此类算法普遍存在时间计算复杂度比较高的问题。 

基于非均匀映射的连续方法主要思想是建立源图像到目标图像的最优映射，映射过程中加入一些约束条件来保护图像内容。首先根据图像内容自动确定各像素点的重要性，然后根据像素的重要性对图像进行非均匀缩放，重要区域基本上采取相似变换，而不重要区域则采取非线性变换，使得图像重要区域形变和缩放比例较小，而将形变扩散在非重要区域。但由于连续的方法的实质相当于对图像进行重采样，这样的操作势必会导致结果图像出现模糊的效果。 

考虑到不同方法固有的互补的特性，一些研究者提出将几种方法相结合来对图像进行自适应处理，简称混合方法。该问题的关键是如何确定各种操作方法的量及其操作顺序。然而在确定了多操作方法的数量及顺序后，它的难点在于如何设计出一种有效的评价度量机制来衡量目标结果图像与源图像的相似度。这种评价准则实际上也是不同混合方法的主要差别之所在。因为该类算法综合了多种方法的优点，但同时它也引入各种方法的缺点，那么如何最优结合各种方法即决定最佳的操作顺序以及操作量，需要一种有效的质量评价方法去计算源图像与目标图像的相似度来决定不同缩放方法之间的切换点。然而大多 多操作方法的时间复杂度较高，那么如何去加快多操作方法的处理速度也是需要认真考虑的问题。 

发明内容

本发明提供一种基于内容感知的快速图像自适应技术，使固定尺寸的图像能够快速自适应地显示在不同类型的终端设备上，同时能够尽可能的保持原始图像中重要内容，保持关键对象无畸变，保持图像中的重要结构即空间位置关系相对不变，以保证最佳图像视觉效果。 

本发明发明一种快速地图像自适应方法，它融合了细缝裁剪方法和非均匀映射方法的优点，而且解决了二者结合时的速度和效果不佳的问题。首先采取基于条带和相邻度的快速细缝裁剪方法，同时采用一种快速地质量评价方法，监测重要信息变形，当变形超过设定指标时，终止细缝裁剪方法，切换为非均匀映射方法，不仅能够快速实现图像的自适应，同时能够更好的保持图像的语义内容。 

基于内容的快速细缝裁剪与非均匀映射相结合的图像自适应方法，其特征在于： 

1）输入一幅大小为W*H的原始图像，并设定其目标尺寸为W*H_T； 

2）提取参考图像的重要信息，并用阈值将重要区域像素置为0，非重要区域像素置为1； 

3)用基于条带和相邻度的快速细缝裁剪方法对显著性图进行裁剪，首先将 原始图像分成N条等间距水平条带，然后在各个条带内进行基于相邻度的快速细缝裁剪方法；具体包括： 

a.将原始图像分成N条等间距水平条带； 

b.根据原图对应的显著性图计算每一个条带的重要性S_i； 

c.根据每个条带的重要性值S_i以及目标图像的高度H_T去计算每个条带的目标高度h_i’；原始图像中每个条带宽度均为h=H/N，则各条带对应的目标宽度h_i'={h₁',h₂'...h_N'}^T,i=1,2,...N可以通过求解最优化问题来获得，该最优化为题中，公式(2)为其目标函数，定义了目标条带的形变量，公式(3)为其约束条件： 

$F\left({h_i}^{\′}\right)=\min \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{S}_i{\left|\right|h-{h_i}^{\′}\left|\right|}^2---\left(1\right)$

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{h_i}^{\′}=H_T---\left(2\right)$

式中，S_i代表原始图像中第i个条带对应的重要性值，h和h_i’分别代表第i个水平条带的原始高度和目标高度；(2)式中H_T为图像的目标高度度，N代表条带总数量； 

d.根据每个条带的原始高度h和目标高度h_i’，能够确定每个条带需要去除的细缝数量Num_i=h_i’-h；然后在每个条带中根据相邻度和累加能量搜索要处理的细缝；通过删除或复制这些细缝来得到目标尺寸图像，在每个条带搜索细缝的具体步骤如下： 

①计算像素之间的最优匹配关系： 

采用Huang提出的快速细缝裁剪方法通过在相邻行或列之间最大化像素间匹配边缘的权重和来建立原始图像中像素间的最优 匹配关系；在每两列间进行迭代计算来确定列间像素的最优匹配关系，进而去得到整个条带的最优匹配关系矩阵AR_W×h； 

②根据来像素最优匹配关系计算细缝之间的邻域关系： 

对于一个高度为h的水平条带，需要搜索h条细缝；定义细缝在第k列第m行的像素元素用其细缝标号E^k(m)标记，E^k(m)表示该像素属于第E^k(m)条细缝；另外，定义累积邻域关系矩阵AN_h×h，这个矩阵根据每一列两条细缝元素在重要区域是否相邻进行累积更新；重要区域则通过图像的显著图取平均值作为阈值进行二值化得到； 

③计算细缝之间的相邻度： 

相邻度用来表示两个细缝之间相邻的概率，它将用于去除某条细缝后，对其相邻的细缝进行能量加权； 

④综合细缝的累积能量及其相邻度搜索要处理的细缝： 

A.根据最小能量原则去除累积能量最小的细缝m； 

B.然后对剩下的细缝使用公式(3)来对其累积能量进行更新， 

AE(n)=AE(n)+AE(n)*w(n),n=1,2,...h      (3) 

式(8)中，AE(n)代表第n条细缝的累积能量，w(n)根据相邻度计算得来，具体定义为： 

w(n)=C*Neighborability(m,n),n=1,2...h    (4) 

式(4)中，C是一个常量，用来调节相邻度对细缝分布的影响程度，C=1；Neighborability(m,n)表示第n条细缝与第m条细缝的相邻度； 

4)测量重要区域的能量损失和判断细缝裁剪何时终止；这里用CAID的评价方法来测量全部重要区域的能量损失和判断细缝裁剪何时终止，具体包括两步： 

a.首先进行结构相似度SSIM的测量,SSIM只适用于局部相似度的统计；假设f和g是两个非负的子图像信号,其中f是原图像，g是裁剪后的图像，根据已有知识可知 

定义两个图像f和g的相似度差值为Dis(f,g)=1.0□s(f,g)，Dis值越小图像越相似；由Dis判断图像的相似度； 

$s(f,g)=\frac{{\mathrm{\σ}}_{\mathrm{fg}}+1}{{\mathrm{\σ}}_f{\mathrm{\σ}}_g+1}---\left(5\right)$

${\mathrm{\σ}}_f={\left(\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(f_i-{\mathrm{\μ}}_f)}^2\right)}^{\frac{1}{2}},{\mathrm{\σ}}_g={\left(\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(g_i-{\mathrm{\μ}}_g)}^2\right)}^{\frac{1}{2}}---\left(6\right)$

${\mathrm{\σ}}_{\mathrm{fg}}=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(f_i-{\mathrm{\μ}}_f)(g_i-{\mathrm{\μ}}_g)---\left(7\right)$

其中图像f的标准差为σ_f，图像g标准差为σ_g，N是像素点的个数,f_i和g_i分别是第i个像素点对应的灰度值；σ_fg为图像f和g的协方差；μ_f和μ_g分别原图像，裁剪后的图像的均值； 

b.其次，把一幅图像的重要区域分成若干9*9的子图像，根据重要度图选出重要子图，统计Dis的值；若选取的重要子图像过小，细缝裁剪的数目过多，将使重要子图像的变化比较大；若选取的重要子图像过大，则对于重要区域的边缘可能会覆盖较多的非重要区域；假定得到的重要子图像的个数是N_sub，每个重要子图像用其 中心点表示I_{sub_n}=(x_n,y_n),n=1,2,...,N_sub,，假定原图像是f(x,y)，裁剪后的图像是g(u,v)，对于原图像的重要子图像，设定了每一个9*9的重要子图像中心点，细缝裁剪后，在图像g(u,v)中找到对应的重要子图像的中心点，然后通过中心点重新确定新的9*9的重要子图像；假设裁剪的细缝是垂直方向的，如果细缝不穿过中心点，直接移除细缝，否则要对重要子图像的中心点进行更新；第i个重要子图像的中心点是p(x_i,y_i),它左右的邻近像素点分别是p(x_i,y_i-1)和p(x_i,y_i+1)，左右两侧最邻近的像素点的中心分别是p(x_i,y_{i_lef}t)和p(x_i,y_{i_right})，有三种情况： 

（一）如果p(x_i,y_i)的邻近的左侧和右侧的像素是某重要子图像的中心点，第i个重要子图像中心点p(x_i,y_i)所在的细缝被移除，则将Dis置为1.0； 

（二）如果p(x_i,y_i)的邻近的左侧或右侧像素是重要子图像的中心，则邻近像素的右侧或左侧被置为第i个重要子图像的中心； 

（三）如果p(x_i,y_i)左侧和右侧的像素都不是重要子图像的中心，则其左侧和右侧最近的像素点到左侧中心点和右侧中心点的距离分别为Dis_Ave_{i_lef}t和Dis_Ave_{i_right}，将Dis_Ave_{i_lef}t和Dis_Ave_{i_right}进行比较，如果Dis_Ave_{i_lef}t大，则左侧的像素点为第i个重要子图像的中心点，如果Dis_Ave_{i_lef}t=Dis_Ave_{i_right}则任选其一，否则右侧的像素点为第i个重要子图像的中心点； 

对裁剪后的图像计算出中心点后，以中心点重新组成若干9*9的重要子图像，计算出所有的重要子图像的Dis值；水平方向的细缝裁剪采 取一样的方法，上下侧代表的是垂直方向的左右侧；提出了内容相关的图像距离CAID的定义: 

$\mathrm{CAID}=\frac{1}{N_{\mathrm{sub}}}\underset{n=1}{\overset{N_{\mathrm{sub}}}{\mathrm{\Σ}}}{\mathrm{Dis}}_{\mathrm{sub}\_n}---\left(8\right)$

然后进行判定细缝裁剪何时终止，的训练阈值是a，如果CAID>训练阈值a，a=0.2，则细缝裁剪终止,否则继续进行细缝裁剪； 

5）对加权细缝裁剪后的图像进行非均匀映射，将图像重要区域进行等比例缩放保证重要图像信息不变形，对非重要区域进行尺寸缩放，使图像缩放至目标尺寸； 

6)将大小为目标尺寸的图像输出。 

本发明的优点和优势在于： 

1）细缝裁剪与非均匀映射结合，既达到缩放的目的，又保护了重要信息。 

2）在细缝裁剪和非均匀结合的过程中引入基于条带和相邻度的快速细缝裁剪方法，大大解决了两者结合的速度问题。 

3）引入了内容相关的图像距离的评价方法（CAID）,并在此基础上优化了评价方法，将评价子图改为只评价重要子图。有效提高了运行速率，将原始细缝裁剪和非均匀映射结合的运行时间提高了10倍左右，同时也提高了结果图像的质量（见附图）。 

附图说明：

图1是本实例要处理的大小为1024*813的原始图像。 

图2是原始图像对应的显著性图(Saliency)。 

图3是前向能量细缝裁剪方法的结果图像。 

图4是Huang的快速细缝裁剪方法的结果图像。 

图5是基于条带分割和相邻度约束的细缝裁剪方法的结果图像。 

图6是本方法的结果图像。 

具体实施方式

为了实现上述问题，本发明提供了一种基于内容的快速细缝裁剪与非均匀映射相结合的图像自适应方法。不失一般性，以改变图像高度为例（改变图像宽度的方法与其类似），该方法具体包括： 

1)输入一幅大小为W*H的原始图像，并设定其目标尺寸为W*H_T； 

2)提取参考图像的重要信息，并用阈值将重要区域像素置为0，非重要区域像素置为1。 

3)用基于条带和相邻度的快速细缝裁剪方法对显著性图(Saliency)进行裁剪，首先将原始图像分成N条等间距水平条带，然后在各个条带内进行基于相邻度的快速细缝裁剪方法。具体包括： 

e.将原始图像分成N条等间距水平条带(Strips)； 

f.根据原图对应的显著性图(Saliency)计算每一个条带的重要性S_i； 

g.根据每个条带的重要性值S_i以及目标图像的高度H_T去计算每个条带的目标高度h_i’。原始图像中每个条带宽度均为h=H/N，则各条带对应的目标宽度h_i'={h₁',h₂'...h_N'}^T,i=1,2,...N可以通过求解最优化问题来获得，该最优化为题中，公式(2)为其目标函数，定义了目标 条带的形变量，公式(3)为其约束条件： 

$F\left({h_i}^{\′}\right)=\min \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{S}_i{\left|\right|h-{h_i}^{\′}\left|\right|}^2---\left(1\right)$

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{h_i}^{\′}=H_T---\left(2\right)$

式中，S_i代表原始图像中第i个条带对应的重要性值，h和h_i’分别代表第i个水平条带的原始高度和目标高度。(2)式中H_T为图像的目标高度度，N代表条带总数量。 

h.根据每个条带的原始高度h和目标高度h_i’，能够确定每个条带需要去除的细缝数量Num_i=h_i’-h。然后在每个条带中根据相邻度和累加能量搜索要处理的细缝。通过删除或复制这些细缝来得到目标尺寸图像，在每个条带搜索细缝的具体步骤如下： 

⑤计算像素之间的最优匹配关系： 

采用Huang提出的快速细缝裁剪方法通过在相邻行或列之间最大化像素间匹配边缘的权重和来建立原始图像中像素间的最优匹配关系。在每两列间进行迭代计算来确定列间像素的最优匹配关系，进而去得到整个条带(Strip)的最优匹配关系矩阵AR_W×h。 

⑥根据来像素最优匹配关系计算细缝(seams)之间的邻域关系： 

对于一个高度为h的水平条带，本发明需要搜索h条细缝。本发明定义细缝在第k列第m行的像素元素用其细缝标号E^k(m)标记，E^k(m)表示该像素属于第E^k(m)条细缝。另外，本发明定义累积邻域关系矩阵AN_h×h，这个矩阵根据每一列两条细缝元素在重要区域是否相邻进行累积更新。重要区域则通过图像的显著 图(saliency map)取平均值作为阈值进行二值化得到。 

⑦计算细缝之间的相邻度（Neighborability）： 

相邻度用来表示两个细缝之间相邻的概率，它将用于去除某条细缝后，对其相邻的细缝进行能量加权。 

⑧综合细缝的累积能量及其相邻度搜索要处理的细缝： 

C.根据最小能量原则去除累积能量最小的细缝m。 

D.然后对剩下的细缝使用公式(3)来对其累积能量进行更新， 

AE(n)=AE(n)+AE(n)*w(n),n=1,2,...h   (3) 

式(8)中，AE(n)代表第n条细缝的累积能量，w(n)根据相邻度计算得来，具体定义为： 

w(n)=C*Neighborability(m,n),n=1,2...h   (4) 

式(4)中，C是一个常量，用来调节相邻度对细缝分布的影响程度（本发明取C=1）。Neighborability(m,n)表示第n条细缝与第m条细缝的相邻度。 

4)测量重要区域的能量损失和判断细缝裁剪何时终止。这里本发明用CAID的评价方法来测量全部重要区域的能量损失和判断细缝裁剪何时终止，具体包括两步： 

c.首先进行结构相似度SSIM的测量,SSIM只适用于局部相似度的统计。假设f和g是两个非负的子图像信号,其中f是原图像，g是裁剪后的图像，根据已有知识可知 

本发明定义两个图像f和g的相似度差值为Dis(f,g)=1.0□ s(f,g)，Dis值越小图像越相似。由Dis判断图像的相似度。 

$s(f,g)=\frac{{\mathrm{\σ}}_{\mathrm{fg}}+1}{{\mathrm{\σ}}_f{\mathrm{\σ}}_g+1}---\left(5\right)$

${\mathrm{\σ}}_f={\left(\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(f_i-{\mathrm{\μ}}_f)}^2\right)}^{\frac{1}{2}},{\mathrm{\σ}}_g={\left(\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(g_i-{\mathrm{\μ}}_g)}^2\right)}^{\frac{1}{2}}---\left(6\right)$

${\mathrm{\σ}}_{\mathrm{fg}}=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(f_i-{\mathrm{\μ}}_f)(g_i-{\mathrm{\μ}}_g)---\left(7\right)$

其中图像f的标准差为σ_f，图像g标准差为σ_g，N是像素点的个数,f_i和g_i分别是第i个像素点对应的灰度值；σ_fg为图像f和g的协方差。μ_f和μ_g分别原图像，裁剪后的图像的均值。 

d.其次，把一幅图像的重要区域分成若干9*9的子图像，根据重要度图选出重要子图，统计Dis的值。若选取的重要子图像过小，细缝裁剪的数目过多，将使重要子图像的变化比较大；若选取的重要子图像过大，则对于重要区域的边缘可能会覆盖较多的非重要区域。本发明假定得到的重要子图像的个数是N_sub，每个重要子图像用其中心点表示I_{sub_n}=(x_n,y_n),n=1,2,...,N_sub,，本发明假定原图像是f(x,y)，裁剪后的图像是g(u,v)，对于原图像的重要子图像，本发明设定了每一个9*9的重要子图像中心点，细缝裁剪后，本发明在图像g(u,v)中找到对应的重要子图像的中心点，然后通过中心点重新确定新的9*9的重要子图像。假设裁剪的细缝是垂直方向的，如果细缝不穿过中心点，本发明直接移除细缝，否则要对重要子图像的中心点进行更新。第i个重要子图像的中心点是p(x_i,y_i),它左右的邻近像素点分别是p(x_i,y_i-1)和p(x_i,y_i+1)， 左右两侧最邻近的像素点的中心分别是p(x_i,y_{i_lef}t)和p(x_i,y_{i_right})，有三种情况： 

（一）如果p(x_i,y_i)的邻近的左侧和右侧的像素是某重要子图像的中心点，第i个重要子图像中心点p(x_i,y_i)所在的细缝被移除，则将Dis置为1.0； 

（二）如果p(x_i,y_i)的邻近的左侧（右侧）像素是重要子图像的中心，则邻近像素的右侧（左侧）被置为第i个重要子图像的中心； 

（三）如果p(x_i,y_i)左侧和右侧的像素都不是重要子图像的中心，则其左侧和右侧最近的像素点到左侧中心点和右侧中心点的距离分别为Dis_Ave_{i_lef}t和Dis_Ave_{i_right}，将Dis_Ave_{i_lef}t和Dis_Ave_{i_right}进行比较，如果Dis_Ave_{i_lef}t大，则左侧的像素点为第i个重要子图像的中心点，如果Dis_Ave_{i_lef}t=Dis_Ave_{i_right}则任选其一，否则右侧的像素点为第i个重要子图像的中心点。 

对裁剪后的图像计算出中心点后，本发明以中心点重新组成若干9*9的重要子图像，计算出所有的重要子图像的Dis值。本发明水平方向的细缝裁剪采取一样的方法，上下侧代表的是垂直方向的左右侧。本发明提出了内容相关的图像距离(CAID)的定义: 

$\mathrm{CAID}=\frac{1}{N_{\mathrm{sub}}}\underset{n=1}{\overset{N_{\mathrm{sub}}}{\mathrm{\Σ}}}{\mathrm{Dis}}_{\mathrm{sub}\_n}---\left(8\right)$

然后进行判定细缝裁剪何时终止，本发明的训练阈值是a，如果CAID>训练阈值a（通过大量的实验，本发明选取a=0.2），则细缝裁剪终止, 否则继续进行细缝裁剪。 

5）对加权细缝裁剪后的图像进行非均匀映射，将图像重要区域进行等比例缩放保证重要图像信息不变形，对非重要区域进行尺寸缩放，使图像缩放至目标尺寸。 

6)将大小为目标尺寸的图像输出。 

对用本发明方法输出的图像与用其他方法输出的图像进行用户调研。本发明邀请了30位师生参加，对参加者展示了70幅原始图像和包括本发明的方法在内的4种不同方法输出的图像结果，其中这些方法包括向能量细缝裁剪方法、Huang的快速细缝裁剪方法、基于条带分割和相邻度约束的细缝裁剪方法，其中这些结果的序列是随机的。本发明从图像是否产生变形失真，是否丢失重要信息作为评判标准，让参加者选出与原始图像比较最相似和最不相似的图像，很多人认为本发明的方法有效的保护了重要区域信息，使重要区域等比例缩放不变形，对非重要区域进行压缩保证了全局信息。具体比较本发明给出了两组图来观察，如附图所示。 

Claims (1)

1.基于内容的快速细缝裁剪与非均匀映射相结合的图像自适应方法，其特征在于：

1）输入一幅大小为W*H的原始图像，并设定其目标尺寸为W*H_T；

2）提取参考图像的重要信息，并用阈值将重要区域像素置为0，非重要区域像素置为1；

3)用基于条带和相邻度的快速细缝裁剪方法对显著性图进行裁剪，首先将原始图像分成N条等间距水平条带，然后在各个条带内进行基于相邻度的快速细缝裁剪方法；具体包括：

a.将原始图像分成N条等间距水平条带；

b.根据原图对应的显著性图计算每一个条带的重要性S_i；

c.根据每个条带的重要性值S_i以及目标图像的高度H_T去计算每个条带的目标高度h_i’；原始图像中每个条带宽度均为h=H/N，则各条带对应的目标宽度h_i'={h₁',h₂'...h_N'}^T,i=1,2,...N可以通过求解最优化问题来获得，该最优化为题中，公式(2)为其目标函数，定义了目标条带的形变量，公式(3)为其约束条件：

$F\left({h_i}^{\′}\right)=\min \underset{i=1}{\overset{N}{\mathrm{\Σ}}}{S}_i{\left|\right|h-{h_i}^{\′}\left|\right|}^2---\left(1\right)$

$\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{h_i}^{\′}=H_T---\left(2\right)$

式中，S_i代表原始图像中第i个条带对应的重要性值，h和h_i’分别代表第i个水平条带的原始高度和目标高度；(2)式中H_T为图像的目标高度度，N代表条带总数量；

d.根据每个条带的原始高度h和目标高度h_i’，能够确定每个条带需要去除的细缝数量Num_i=h_i’-h；然后在每个条带中根据相邻度和累加能量搜索要处理的细缝；通过删除或复制这些细缝来得到目标尺寸图像，在每个条带搜索细缝的具体步骤如下：

①计算像素之间的最优匹配关系：

采用Huang提出的快速细缝裁剪方法通过在相邻行或列之间最大化像素间匹配边缘的权重和来建立原始图像中像素间的最优匹配关系；在每两列间进行迭代计算来确定列间像素的最优匹配关系，进而去得到整个条带的最优匹配关系矩阵AR_W×h；

②根据来像素最优匹配关系计算细缝之间的邻域关系：

对于一个高度为h的水平条带，需要搜索h条细缝；定义细缝在第k列第m行的像素元素用其细缝标号E^k(m)标记，E^k(m)表示该像素属于第E^k(m)条细缝；另外，定义累积邻域关系矩阵AN_h×h，这个矩阵根据每一列两条细缝元素在重要区域是否相邻进行累积更新；重要区域则通过图像的显著图取平均值作为阈值进行二值化得到；

③计算细缝之间的相邻度：

相邻度用来表示两个细缝之间相邻的概率，它将用于去除某条细缝后，对其相邻的细缝进行能量加权；

④综合细缝的累积能量及其相邻度搜索要处理的细缝：

A.根据最小能量原则去除累积能量最小的细缝m；

B.然后对剩下的细缝使用公式(3)来对其累积能量进行更新，

AE(n)=AE(n)+AE(n)*w(n),n=1,2,...h     (3)

式(8)中，AE(n)代表第n条细缝的累积能量，w(n)根据

相邻度计算得来，具体定义为：

w(n)=C*Neighborability(m,n),n=1,2...h     (4)

式(4)中，C是一个常量，用来调节相邻度对细缝分布的影响程度，C=1；Neighborability(m,n)表示第n条细缝与第m条细缝的相邻度；

4)测量重要区域的能量损失和判断细缝裁剪何时终止；这里用CAID的评价方法来测量全部重要区域的能量损失和判断细缝裁剪何时终止，具体包括两步：

a.首先进行结构相似度SSIM的测量,SSIM只适用于局部相似度的统计；假设f和g是两个非负的子图像信号,其中f是原图像，g是裁剪后的图像，根据已有知识可知

定义两个图像f和g的相似度差值为Dis(f,g)=1.0□s(f,g)，Dis值越小图像越相似；由Dis判断图像的相似度；

$s(f,g)=\frac{{\mathrm{\σ}}_{\mathrm{fg}}+1}{{\mathrm{\σ}}_f{\mathrm{\σ}}_g+1}---\left(5\right)$

${\mathrm{\σ}}_f={\left(\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(f_i-{\mathrm{\μ}}_f)}^2\right)}^{\frac{1}{2}},{\mathrm{\σ}}_g={\left(\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{(g_i-{\mathrm{\μ}}_g)}^2\right)}^{\frac{1}{2}}---\left(6\right)$

${\mathrm{\σ}}_{\mathrm{fg}}=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}(f_i-{\mathrm{\μ}}_f)(g_i-{\mathrm{\μ}}_g)---\left(7\right)$

其中图像f的标准差为σ_f，图像g标准差为σ_g，N是像素点的个数,f_i和g_i分别是第i个像素点对应的灰度值；σ_fg为图像f和g的协方差；μ_f和μ_g分别原图像，裁剪后的图像的均值；

b.其次，把一幅图像的重要区域分成若干9*9的子图像，根据重要度图选出重要子图，统计Dis的值；若选取的重要子图像过小，细缝裁剪的数目过多，将使重要子图像的变化比较大；若选取的重要子图像过大，则对于重要区域的边缘可能会覆盖较多的非重要区域；假定得到的重要子图像的个数是N_sub，每个重要子图像用其中心点表示I_{sub_n}=(x_n,y_n),n=1,2,...,N_sub,，假定原图像是f(x,y)，裁剪后的图像是g(u,v)，对于原图像的重要子图像，设定了每一个9*9的重要子图像中心点，细缝裁剪后，在图像g(u,v)中找到对应的重要子图像的中心点，然后通过中心点重新确定新的9*9的重要子图像；假设裁剪的细缝是垂直方向的，如果细缝不穿过中心点，直接移除细缝，否则要对重要子图像的中心点进行更新；第i个重要子图像的中心点是p(x_i,y_i),它左右的邻近像素点分别是p(x_i,y_i-1)和p(x_i,y_i+1)，左右两侧最邻近的像素点的中心分别是p(x_i,y_{i_lef}t)和p(x_i,y_{i_right})，有三种情况：

（一）如果p(x_i,y_i)的邻近的左侧和右侧的像素是某重要子图像的中心点，第i个重要子图像中心点p(x_i,y_i)所在的细缝被移除，则将Dis置为1.0；

（二）如果p(x_i,y_i)的邻近的左侧或右侧像素是重要子图像的中心，则邻近像素的右侧或左侧被置为第i个重要子图像的中心；

（三）如果p(x_i,y_i)左侧和右侧的像素都不是重要子图像的中心，则其左侧和右侧最近的像素点到左侧中心点和右侧中心点的距离分别为Dis_Ave_{i_lef}t和Dis_Ave_{i_right}，将Dis_Ave_{i_lef}t和Dis_Ave_{i_right}进行比较，如果Dis_Ave_{i_lef}t大，则左侧的像素点为第i个重要子图像的中心点，如果Dis_Ave_{i_lef}t=Dis_Ave_{i_right}则任选其一，否则右侧的像素点为第i个重要子图像的中心点；对裁剪后的图像计算出中心点后，以中心点重新组成若干9*9的重要子图像，计算出所有的重要子图像的Dis值；水平方向的细缝裁剪采取一样的方法，上下侧代表的是垂直方向的左右侧；提出了内容相关的图像距离CAID的定义:

$\mathrm{CAID}=\frac{1}{N_{\mathrm{sub}}}\underset{n=1}{\overset{N_{\mathrm{sub}}}{\mathrm{\Σ}}}{\mathrm{Dis}}_{\mathrm{sub}\_n}---\left(8\right)$

然后进行判定细缝裁剪何时终止，的训练阈值是a，如果CAID>训练阈值a，a=0.2，则细缝裁剪终止,否则继续进行细缝裁剪；

5）对加权细缝裁剪后的图像进行非均匀映射，将图像重要区域进行等比例缩放保证重要图像信息不变形，对非重要区域进行尺寸缩放，使图像缩放至目标尺寸；

6)将大小为目标尺寸的图像输出。