CN102254300B - 一种基于内容的图像自适应缩放方法 - Google Patents

Abstract

一种基于内容的图像自适应缩放方法属于图像处理领域。本发明通过将现有的细缝裁减进行加权并和网格映射结合在一起。本方法首先采用细缝裁减的方法对图像进行裁减，当细缝落入重要区域，对其邻近细缝的能量进行加权，以减少重要区域的细缝裁减，增加非重要区域的细缝裁减；对于细缝裁减后的图像进行网格映射，使图像达到目标尺寸。本发明不仅缩放了非重要区域的图像信息，并且有效的保持了缩放后重要图像信息的比例和细节，实现了图像内容自适应的最优化。

Description

一种基于内容的图像自适应缩放方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于内容的图像自适应缩放方法的研究及实现。具体是一种细缝裁减和网格映射最优化结合进行内容自适应的方法。

背景技术

随着移动多媒体技术的迅速发展，如移动电话和高清电视的不断换代更新，不同类型不同尺寸的显示终端不断涌现以适应各种不用的用户需求。为了保证不同设备的用户都能够舒适地观看同样的图像内容，这就要求图像重定位系统，使图像内容能够自适应于不同尺寸、不同比例的用户终端，研究保持图像主要内容的自适应技术具有重要的应用意义。

现在已经提出了很多的内容自适应方法主要有基于细缝裁减（seamcarving）的方法，基于网格的重定位（mesh-based retargeting）的方法和二者混合（hybrid approaches）的方法。

基于细缝裁减方法特点是能够最大限度的保持图像中的重要区域，去除最低能量区域。但是当图像中的不重要信息全部去除后，继续采用细缝裁减方法势必会带来重要信息的损失和对象变形，从而导致图像视觉质量快速下降。

基于网格的重定位的方法首先由用户设定一些需要保持形状的感兴趣的重要区域，在进行图像缩放时，感兴趣区基本上采取相似变换，而其它区域则采取非线性变换，这种方法的代价是其它非重要的背景区域发生大的变形来保护重要区域。但这种方法只能压缩而不是去除非重要区域，当图像/视频中有大量非重要区域时，处理效果不理想。

现有的二者混合的方法有两种：细缝裁减的方法和尺度缩放的方法的结合，先进行细缝裁减，然后用尺度缩放至目标尺寸，这样容易造成信息区域的丢失；细缝裁减的方法和网格映射的方法结合，每抽取一条细缝后，计算当前图像的变形，通过尽量缩减非重要区域来保持重要区域信息。

发明内容

本发明是针对连续的细缝裁减导致的信息丢失等问题，提出了一种适应于不同尺寸用户终端的图像自适应技术，尽可能的保持图像中的重要内容，压缩非重要内容，以保证最佳的视觉效果。

由于目前图像自适应技术方法对内容相似度的识别有各自的优缺点和局限性，本发明提供了一种新的方法，将加权的细缝裁剪方法和网格映射方法进行最优化结合。本方法首先提出了一种改善的细缝裁减方法，在对参考图像进行裁减的过程中对能量函数进行加权，当抽取的细缝落入重要区域时，将相邻像素能量增值，这样就降低了相邻像素被抽取的可能性，从而减少了信息的损失；其次通过网格映射将参考图像进行缩放，以到达最佳的视觉效果。

发明的方法具体包括如下步骤：

1）输入大小为M*N的参考图像，并设定输出图像的目标尺寸为M′*N′。

2）用显著度图提取参考图像的重要信息，并用阈值将重要区域像素置为0，非重要区域像素置为1。

进一步地，所述步骤2）具体包括：

2.1）将参考图像转化为灰度图像；

2.2）计算阈值r₀，r₀为各像素点的灰度值g(x,y)之和的平均值。

2.3）用显著度图提取图像中的重要像素信息，并用如下阈值法得到二值图像函数b(x,y)， $b(x,y)=\left\{\begin{array}{cc}1& g(x,y)<r_0\\ 0& g(x,y)\&GreaterEqual;r_0\end{array}\right.,$ 其中值为0的像素为重要像素，并得到每一个像素点的坐标值。

3）用改进的细缝裁减方法对灰度图像进行裁减，首先尽量多地对非重要信息部分进行细缝裁减，如果细缝穿过重要区域，需对细缝的邻近的像素值进行加权，从而使穿过重要区域的细缝的数量减少，来有效地保持重要区域的形状，具体包括：

3.1）细缝裁减的初始化。

先计算参考图像中每个像素的灰度值，作为初始灰度值；然后从第二行像素开始计算每一个像素的灰度加权函数；其灰度加权函数是这个像素与其紧邻的左上方、上方、右上方的三个像素分别加权，取其最小值；在第二行像素的第一个像素由于没有左上方的像素，第二行像素的第一个像素加权后的灰度值为第二行像素的第一个像素分别与其正上方、右上方像素加权，加权和较小的那个像素为此像素点的灰度值；在第二行像素的最后一个像素由于没有右上方的像素，加权后的灰度值为第二行像素的最后一个像素与其正上方以及左上方像素二者之中较小的那个像素灰度值之和；第二行像素的其余像素加权后的灰度值为该像素与其右上方、正上方以及左上方像素三者之中较小的那个像素灰度值加权之和；依次类推得到第三行的像素的灰度加权函数，然后再得到第四行的像素的灰度加权函数，直到整个图像计算完毕得到最终的图像所有的累积后的前向能量累积矩阵；每一行得到的最小的灰度加权值是上面一行邻近的最小的加权值和本像素点的像素值加权得到的。计算完毕后，从最后一行开始向上一行遍历邻近的最小的灰度权值，然后这些最小的灰度权值所经过的像素点的连线即为要裁减的细缝；

假设一副图像I(x,y)，对其进行垂直细缝裁减，可得到三种不同的像素值：

在对以(x,y)为中心的图像左上方部分、上方，右上方部分裁减时的累积矩阵函数分别为：

$\left\{\begin{array}{c}{C}_{\mathrm{Left}}(x,y)=|w(x,y+1)I(x,y+1)-w(x,y-1)I(x,y-1)|+|w(x-1,y)I(x-1,y)-w(x,y-1)I(x,y-1)|\\ C_{\mathrm{up}}(x,y)=|w(x,y+1)I(x,y+1)-w(x,y-1)I(x,y-1)|\\ C_{\mathrm{Right}}(x,y)=|w(x,y+1)I(x,y+1)-w(x,y-1)I(x,y-1)|+|w(x-1,y)I(x-1,y)-w(x,y+1)I(x,y+1)|)\end{array}\right.$

前向累积能量矩阵函数通过以下公式循环迭代得到：

$M(x,y)=\min \left\{\begin{array}{c}M(x-1,y-1)+C_{\mathrm{left}}(x,y)\\ M(x-1,y)+C_{\mathrm{up}}(x,y)\\ M(x-1,y+1)+C_{\mathrm{right}}(x,y)\end{array}\right.$

其中w(x,y)是一像素点的灰度加权函数；w(x-1,y-1)、w(x-1,y)、w(x-1,y+1)分别是是此像素点的左上方，上方，右上方的像素点的灰度加权函数；w(x,y-1)、w(x,y+1)分别是此像素点的左侧和右侧的像素点的灰度加权函数；

M(x-1,y-1)、M(x-1,y)、M(x-1,y+1)分别是对以(x,y)为中心的图像左上方部分、上方，右上方部分裁减时的前向累积矩阵函数；M(x，y)是对三种不同的细缝裁减所比较得到的最终的前向累积矩阵，即三种细缝裁减比较所得的前向能量的最小值。

我们计算出M(x，y)后进行细缝裁减，所裁减的细缝是前向能量累积矩阵M(x，y)所通过的低能量线对应位置的像素点。具体可参考后面的具体实施方案。

3.2）去除一条细缝，更新加权函数。如果细缝落入图像的重要信息区域，邻近的像素点应当被相应的改变。如果一条细缝落入一副图像的重要信息区域，邻近的像素点应该对其进行能量加权，这样防止出现相邻的两条细缝（相邻的两条细缝容易使重要区域发生大的扭曲或信息损失）。

假设是沿垂直方向进行细缝裁减，裁减掉一条细缝后，我们沿x₀所对应的细缝对垂直方向坐标y进行遍历，即对坐标(x₀,y)进行遍历，根据二值图像的坐标矩阵判断细缝是否落入重要区域，其中y是细缝对应的垂直方向的所有的坐标值，x₀是对应y的横坐标。(x₀,y)的邻近像素点的集合是C={(x₀+p，y)，p=±1，±2，…±Bandwidth}，其中Bandwidth是要加权的带宽的一半，为了取得较好的加权效果，我们取Bandwidth为6-8之间的整数值，对像素点(x₀+p,y)进行加权后的加权函数是 $w(x_0+p,y)=w(x_0+p,y)+(1.0-\frac{p}{\mathrm{Bandwidth}})w(x_0,y),$ 这样越靠近(x₀,y)能量加权越大，邻近的像素值能量增加，邻近的前向能量累积矩阵函数M(x,y)变大，这样有效的防止了在过重要区域的细缝的邻近处再次进行细缝裁减，从而减少了裁减细缝的数目，保证重要区域不失真。

3.3)测量重要区域的能量损失和判断细缝裁减何时终止。这里我们用ca_ssim的评价方法来测量全部重要区域的能量损失和判断细缝裁减何时终止，具体包括两步：

首先进行结构相似度ssim的测量，ssim只适用于局部相似度的统计。假设f和g是两个非负的子图像信号，其中f是原图像，g是裁减后的图像，根据已有知识可知

f的均值和标准差分别为 $u_f=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{f}_i,$ ${\mathrm{\&sigma;}}_f={\left(\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{(f_i-u_f)}^2\right)}^{\frac{1}{2}};$

g的均值和标准差分别为 $u_g=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{g}_i,$ ${\mathrm{\&sigma;}}_g={\left(\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{(g_i-u_g)}^2\right)}^{\frac{1}{2}},$ 其中N是像素点的个数，f_i和g_i分别是第i个像素点对应的灰度值；

f和g的协方差为

由这些参数及已有的知识我们可以知道这两幅图的

亮度比较函数是 $l(f,g)=\frac{2u_f{u}_g+1}{u_f^2+u_g^2+1},$

对比度比较函数是 $c(f,g)=\frac{2{\mathrm{\&sigma;}}_f{\mathrm{\&sigma;}}_g+1}{{\mathrm{\&sigma;}}_f^2+{\mathrm{\&sigma;}}_g^2+1},$

结构比较函数是 $s(f,g)=\frac{{\mathrm{\&sigma;}}_{\mathrm{fg}}+1}{{\mathrm{\&sigma;}}_f{\mathrm{\&sigma;}}_g+1},$

由以上得结构相似度ssim=l(f,g)·c(f,g)·s(f,g)，结构相似度的值越大，f和g越相似。我们定义两个图像f和g的相似度为sim(f,g)＝|1.0-s(f,g)|，sim值越小图像越相似。由sim判断图像的相似度。

其次，把一副图像的重要区域分成若干9*9的子图像，统计sim的值。若选取的子图像过小，细缝裁减的数目过多，将使子图像的变化比较大；若选取的子图像过大，则对于重要区域的边缘可能会覆盖较多的非重要区域。我们假定得到的子图像的个数是Num_{sub_image}，每个子图像用其中心点表示image_{sub_n}=(x_n,y_n),n=1,2,…Num_{sub_image}，我们假定原图像是f(x,y)，裁减后的图像是g(u,v)，对于原图像的子图像ori_image_{sub_n}，我们设定了每一个9*9的子图像中心点，细缝裁减后，我们在图像g(u,v)中找到对应的子图像cur_image_{sub_n}的中心点，然后通过中心点重新确定新的9*9的子图像。假设裁减的细缝是垂直方向的，如果细缝不穿过中心点，我们直接移除细缝，否则要对子图像的中心点进行更新。第i个子图像的中心点是p(x_i,y_i)，它左右的邻近像素点分别是p(x_{i_left},y_{i_left})和p(x_{i_right},y_{i_right})，左右两侧最邻近的像素点的中心分别是p(x_{i_left_cent},y_{i_left_cent})和p(x_{i_right_cent},y_{i_right_cent})，主要有三种情况，（一）如果p(x_i,y_i)的邻近的左侧和右侧的像素是某子图像的中心点，第i个子图像中心点所在的细缝被移除，则将sim置为1.0；（二）如果p(x_i,y_i)的邻近的左侧（右侧）像素是子图像的中心，则邻近像素的右侧（左侧）被置为第i个子图像的中心；（三）如果左侧和右侧的像素都不是重要子图像的中心，则其左侧和右侧最近的像素点到左侧中心点和右侧中心点的距离分别为Dis_Ave_{i_left}和Dis_Ave_{i_right}，其中Dis_Ave_{i_left}为左侧最近的像素点到左侧最邻近的中心点的距离和右侧最近的像素点到左侧最邻近的中心点的距离之和，Dis_Ave_{i_right}为左侧最近的像素点到右侧最邻近的中心点的距离和右侧最近的像素点到右侧最邻近的中心点的距离之和，将Dis_Ave_{i_left}和Dis_Ave_{i_right}进行比较，如果Dis_Ave_{i_left}大，则左侧的像素点为第i个子图像的中心点，如果二者相同则任选其一，否则右侧的像素点为第i个子图像的中心点。具体可参考后面的具体实施方式。对裁减后的图像计算出中心点后，我们以中心点重新组成若干9*9的子图像，计算出所有的子图像的sim值。我们水平方向的细缝裁减采取一样的方法，上下侧代表的是垂直方向的左右侧。我们提出内容识别相似度（ca_ssim）的定义： $\mathrm{ca}\_\mathrm{ssim}=\underset{n=1}{\overset{{\mathrm{Num}}_{\mathrm{sub}\_\mathrm{image}}}{\mathrm{\&Sigma;}}}{\mathrm{sim}}_{\mathrm{sub}\_n},$ 然后再根据ca_ssim′=ca_ssim/Num_sub-image进行判定细缝裁减何时终止，我们的训练阈值是a，如果ca_ssim′大于训练阈值a，则细缝裁减终止，否则继续进行细缝裁减。

4）对加权细缝裁减后的图像进行网格映射，将图像重要区域进行等比例缩放保证重要图像信息不变形，对非重要区域进行尺寸缩放，使图像缩放至目标尺寸。

5)将大小为目标尺寸的图像输出。

6）对用我们方法输出的图像与用其他方法输出的图像进行用户研究。

我们邀请了40位师生参加，对参加者展示了原始图像和包括我们的方法在内的10种不同方法输出的图像结果，其中这些结果的序列是随机的。我们从图像是否产生变形失真，是否丢失重要信息作为评判标准，让参加者选出与原始图像比较最相似和最不相似的图像，很多人认为我们的方法有效的保护了重要区域信息，使重要区域等比例缩放不变形，对非重要区域进行压缩保证了全局信息。具体比较我们给出了两组图来观察，如图7所示。

本发明的优点和优势在于：

1）在进行细缝裁减过程中引入加权函数，并不断更新，从而有效的减少重要图像的损失。

2）细缝裁减与网格映射结合，既达到缩放的目的，又保护了重要图像的信息。

3）引入了内容识别结构相似度的评价方法（ca_ssim），有效的控制细缝裁减终止时间和网格映射的开始时间。

附图说明：

图1本发明流程图。

图2是本发明进行重要区域判别的示意图。

图3是细缝裁减过程的前向累积矩阵所表示的能量示意图。

图4是一个4*4的图像细缝裁减过程的前向累积矩阵所表示的能量示意图。

图5对过重要区域的细缝邻近区域的加权示意图。

图6（一）如果邻近的左侧和右侧的像素是某子图像的中心点，裁减后的子图像中重新查找中心的情况。

（二）如果的邻近的左侧像素是子图像的中心点，裁减后的子图像中重新查找中心的情况。

（三）如果左侧和右侧的像素都不是重要像素点的中心，裁减后的子图像中重新查找中心的情况。

图7本发明与现有技术效果对比图。

具体实施方式

在具体实施方式中结合附图，将描述一个完整的细缝裁减和网格映射相结合的对图像内容识别相似度的评价方法。

技术方案流程如说明书附图1所示，本实施例是针对原始图像为683*1024像素的BMP位图进行的。

1）读入大小为683*1024的原始图像作为参考图像，说明书附图1，其宽为683像素，高为1024像素。并设定输出图像的目标尺寸，其大小为683*768像素。

2）用显著度图提取参考图像的重要信息，并用阈值将重要区域像素置为0，非重要区域像素置为1。

进一步地，所述步骤2）具体包括：

2.1)将参考图像转化为灰度图像

2.2)计算阈值r₀，r₀为各像素点的灰度值g(x,y)之和的平均值。

2.3)用显著度图提取图像中的重要像素信息，并用如下阈值法得到二值图像函数b(x,y)， $b(x,y)=\left\{\begin{array}{cc}1& g(x,y)<r_0\\ 0& g(x,y)\&GreaterEqual;r_0\end{array}\right.,$ 其中值为0的像素为重要像素，其结果如图2所示，并得到每一个像素点的坐标值。

3)用改进的细缝裁减方法对灰度图像进行裁减，首先尽量多地对非重要信息部分进行细缝裁减，如果细缝穿过重要区域，需对细缝的邻近的像素值进行加权，从而使穿过重要区域的细缝的数量减少，来有效的保持重要区域的形状，具体包括：

3.1)细缝裁减的初始化。假设一副图像I(x,y)，对其进行垂直细缝裁减，可得到三种不同的像素值：

在对以(x,y)为中心的图像左侧部分、上侧，右侧部分裁减时的累积矩阵函数分别为：

$\left\{\begin{array}{c}{C}_{\mathrm{Left}}(x,y)=|w(x,y+1)I(x,y+1)-w(x,y-1)I(x,y-1)|+|w(x-1,y)I(x-1,y)-w(x,y-1)I(x,y-1)|\\ C_{\mathrm{up}}(x,y)=|w(x,y+1)I(x,y+1)-w(x,y-1)I(x,y-1)|\\ C_{\mathrm{Right}}(x,y)=|w(x,y+1)I(x,y+1)-w(x,y-1)I(x,y-1)|+|w(x-1,y)I(x-1,y)-w(x,y+1)I(x,y+1)|)\end{array}\right.$

前向累积能量矩阵函数通过以下公式循环迭代得到：

$M(x,y)=\min \left\{\begin{array}{c}M(x-1,y-1)+C_{\mathrm{left}}(x,y)\\ M(x-1,y)+C_{\mathrm{up}}(x,y)\\ M(x-1,y+1)+C_{\mathrm{right}}(x,y)\end{array}\right.$

其中w(x,y)是一像素点的灰度加权函数；w(x-1,y-1)、w(x-1,y)、w(x-1,y+1)分别是是此像素点左上方，上方，右上方的像素点的灰度加权函数；w(x,y-1)、w(x,y+1)分别是此像素点的左侧和右侧的像素点的灰度加权函数；

M(x-1,y-1)、M(x-1,y)、M(x-1,y+1)分别是对以(x,y)为中心的图像左侧部分、上侧，右侧部分裁减时的前向累积矩阵函数；M(x，y)是对三种不同的细缝裁减所比较得到的最终的前向累积矩阵，即三种细缝裁减比较所得的前向能量的最小值。

我们计算出M(x，y)后进行细缝裁减，所裁减的细缝是前向能量累积矩阵M(x,y)所通过的低能量线对应位置的像素点。其初始化的不同的裁减方式如图3所示。我们举例说明，如图4所示我们给定了一个4*4的图像，给定了每一个像素点的灰度值，我们从第2行分别对第一行相邻的像素点进行灰度加权，得出能量加权最小值。如与4相邻的是5和8，显然4与5的灰度加权值小，则将4的值标记为加权和9；2和5、8、12比得到新的最小的灰度加权值7，将2处的值改记为7；3改为6；9改为12；以下各行依次类推得到最后的灰度加权值最小的，其最小权值所经过的像素点的连线即为要裁减的细缝。具体如图4所示，最后一幅图的折线所过区域即为我们要裁减掉的细缝。

3.2)去除一条细缝，更新加权函数。如果细缝落入图像的重要信息区域，邻近的像素点应当被相应的改变。如果一条细缝落入一副图像的重要信息区域，邻近的像素点应该对其进行能量加权，这样防止出现相邻的两条细缝（相邻的两条细缝容易使重要区域发生大的扭曲或信息损失）。

假设是沿垂直方向进行细缝裁减，裁减掉一条细缝后，我们沿x₀所对应的细缝对垂直方向坐标y进行遍历，即对坐标(x₀,y)进行遍历，根据二值图像的坐标矩阵判断细缝是否落入重要区域，其中y是细缝对应的垂直方向的所有的坐标值，x₀是对应y的横坐标。(x₀,y)的邻近像素点的集合是C={(x₀+p,y),p=±1,±2…±Bandwidth}，其中Bandwidth是要加权的带宽的一半，为了取得较好的加权效果，我们取Bandwidth为6-8之间的整数值，对像素点(x₀+p,y)进行加权后的加权函数是 $w(x_0+p,y)=w(x_0+p,y)+(1.0-\frac{p}{\mathrm{Bandwidth}})w(x_0,y),$ 这样越靠近(x₀,y)（能量加权越大，邻近的像素值能量增加，邻近的前向能量累积矩阵函数M(x,y)变大，这样有效的防止了在过重要区域的细缝的邻近处再次进行细缝裁减，从而减少了裁减细缝的数目，保证重要区域不失真。其能量加权示意图如图5所示。

3.3)测量重要区域的能量损失和判断细缝裁减何时终止。这里我们用ca_ssim的评价方法来测量全部重要区域的能量损失和判断细缝裁减何时终止，具体包括：

首先进行结构相似度ssim的测量，ssim只适用于局部相似度的统计。假设f和g是两个非负的图像信号，根据已有知识可知f的均值和标准差分别为 $u_f=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{f}_i,$ ${\mathrm{\&sigma;}}_f={\left(\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{(f_i-u_f)}^2\right)}^{\frac{1}{2}};$ g的均值和标准差分别为 $u_g=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{g}_i,$ ${\mathrm{\&sigma;}}_g={\left(\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{(g_i-u_g)}^2\right)}^{\frac{1}{2}},$ 其中N是子图像的个数，f_i和g_i分别是每个子图像的像素值；

f和g的协方差为

由这些参数及已有的知识我们可以知道这两幅图的

亮度比较函数是 $l(f,g)=\frac{2u_f{u}_g+1}{u_f^2+u_g^2+1},$

对比度比较函数是 $c(f,g)=\frac{2{\mathrm{\&sigma;}}_f{\mathrm{\&sigma;}}_g+1}{{\mathrm{\&sigma;}}_f^2+{\mathrm{\&sigma;}}_g^2+1},$

结构比较函数是 $s(f,g)=\frac{{\mathrm{\&sigma;}}_{\mathrm{fg}}+1}{{\mathrm{\&sigma;}}_f{\mathrm{\&sigma;}}_g+1},$

由以上得结构相似度ssim=l(f,g)·c(f,g)·s(f,g)，结构相似度的值越大，f和g越相似。我们定义两个图像f和g的相似度为sim(f,g)=|1.0-s(f,g)|，sim值越小图像越相似。由sim判断图像的相似度。

其次，把一副图像的重要区域分成若干9*9的子图像，统计sim的值。若选取的子图像过小，细缝裁减的数目过多，将使子图像的变化比较大；若选取的子图像过大，则对于重要区域的边缘可能会覆盖较多的非重要区域。我们假定得到的子图像的个数是Num_{sub_image}，每个子图像用其中心点表示image_{sub_n}=(x_n,y_n),n=1,2,…Num_{sub_image}，我们假定原图像是f(x,y)，裁减后的图像是g(u,v)，对于原图像的子图像ori_image_{sub_n}，我们设定了每一个9*9的子图像中心点，细缝裁减后，我们在图像g(u,v)中找到对应的子图像cur_image_{sub_n}的中心点。假设裁减的细缝是垂直方向的，如果细缝不穿过中心点，我们直接移除细缝，否则要对子图像的中心点进行更新。第i个子图像的中心点是p(x_i,y_i)，它左右的邻近像素点分别是p(x_{i_left},y_{i_left})和p(x_{i_right}，y_{i_right})，左右两侧最邻近的像素点的中心分别是p(x_{i_left_cent},y_{i_left_cent})和p(x_{i_right_cent},y_{i_right_cent})，主要有三种情况，（一）如果p(x_i,y_i)的邻近的左侧和右侧的像素是某子图像的中心点，第i个子图像中心点所在的细缝被移除，则将sim置为1.0；（二）如果p(x_i,y_i)的邻近的左侧（右侧）像素是子图像的中心，则邻近像素的右侧（左侧）被置为第i个子图像的中心；（三）如果左侧和右侧的像素都不是重要子图像的中心，则其左侧和右侧最近的像素点到左侧中心点和右侧中心点的距离分别为Dis_Ave_{i_left}和Dis_Ave_{i_right}，其中Dis_Ave_{i_left}为左侧最近的像素点到左侧最邻近的中心点的距离和右侧最近的像素点到左侧最邻近的中心点的距离之和，Dis_Ave_{i_right}为左侧最近的像素点到右侧最邻近的中心点的距离和右侧最近的像素点到右侧最邻近的中心点的距离之和，将Dis_Ave_{i_left}和Dis_Ave_{i_right}进行比较，如果Dis_Ave_{i_left}大，则左侧的像素点为第i个子图像的中心点，如果二者相同则任选其一，否则右侧的像素点为第i个子图像的中心点。为方便理解，我们假设有若干3*3的子图像，我们给出了3*3的子图像重新选取中心点的示意图，如图6所示，灰色区域代表原图像f(x,y)的中心点，实直线代表已裁减掉的细缝，虚直线代表要裁减的细缝，图6（三）中的曲虚线和曲直线分别代表了Dis_Ave_{i_left}和Dis_Ave_{i_right}的值，斜线组成的格子区域代表在裁减掉虚线后找到的新中心点。图6（一）（二）（三）分别说明了在裁减后的子图像中重新查找中心的三种情况。对裁减后的图像计算出中心点后，我们以中心点重新组成若干9*9的子图像，计算出所有的子图像的sim值。水平方向的细缝裁减采取一样的方法，上下侧代表的是垂直方向的左右侧。我们提出内容识别相似度（ca_ssim）的定义：

然后再根据ca_ssim′=ca_ssim/Num_sub-image进行判定细缝裁减何时终止，我们的训练阈值是0.2，如果ca_ssim′>0.2，则细缝裁减终止，否则继续进行细缝裁减。

4）对加权细缝裁减后的图像进行网格映射，将图像重要区域进行等比例缩放保证重要图像信息不变形，对非重要区域进行缩放，使图像缩放至目标尺寸。

5)将大小为目标尺寸的图像输出。

6）对用我们方法输出的图像与用其他方法输出的图像进行用户研究。

我们邀请了40位师生参加，对参加者展示了原始图像和包括我们的方法在内的10种不同方法输出的的图像结果，其中这些方法包括Cropping windows（cr）、Energy-based deformation（Lg）、Multi-operator（Multiop）、Seam-Carving(Sc)、Simple scaling operator（Scl）、Shift-maps（Sm）、Scale-and-Stretch（Sns）、Streaming Video（Sv）、Non-homogeneouswarping(warp)，结果的序列是随机的。我们从图像是否产生变形失真，是否丢失重要信息作为评判标准，让参加者选出与原始图像比较最相似和最不相似的图像，很多人认为我们的方法有效的保护了重要区域信息，使重要区域等比例缩放不变形，对非重要区域进行压缩保证了全局信息。具体比较我们给出了两组图来观察，如图7所示，我们的图像没有信息损失，而且很好的保持了人和影子的形状。

Claims (1)

1.一种基于内容的图像自适应缩放方法，其特征在于步骤如下：

1）输入参考图像，并设定输出图像的目标尺寸；

2）用显著度图提取参考图像的重要信息，并用阈值将重要区域像素置为0，非重要区域像素置为1；

其中，所述步骤2）具体包括：

2.1）将参考图像转化为灰度图像；

2.2）计算阈值r₀，r₀为各像素点的灰度值g(x,y)之和的平均值；

2.3）用显著度图提取图像中的重要像素信息，并用如下阈值法得到二值图像函数b(x,y), $b(x.,y)=\left\{\begin{array}{cc}1& g(x,y)<r_0\\ 0& g(x,y)\&GreaterEqual;r_0\end{array}\right.,$ 其中值为0的像素为重要像素,并得到每一个像素点的坐标值；

3）用改进的细缝裁减方法对灰度图像进行裁减，首先尽量多地对非重要信息部分进行细缝裁减，如果细缝穿过重要区域，需对细缝的邻近的像素值进行加权，从而使穿过重要区域的细缝的数量减少，来有效地保持重要区域的形状，具体包括：

3.1）细缝裁减的初始化：

先计算参考图像中每个像素的灰度值，作为初始灰度值；然后从第二行像素开始计算每一个像素的灰度加权函数；其灰度加权函数是这个像素与其紧邻的左上方、上方、右上方的三个像素分别加权，取其最小值；在第二行像素的第一个像素由于没有左上方的像素，第二行像素的第一个像素加权后的灰度值为第二行像素的第一个像素分别与其正上方、右上方像素加权，加权和较小的那个像素为此像素点的灰度值；在第二行像素的最后一个像素由于没有右上方的像素，加权后的灰度值为第二行像素的最后一个像素与其正上方以及左上方像素二者之中较小的那个像素灰度值之和；第二行像素的其余像素加权后的灰度值为该像素与其右上方、正上方以及左上方像素三者之中较小的那个像素灰度值加权之和；依次类推得到第三行的像素的灰度加权函数，然后再得到第四行的像素的灰度加权函数，直到整个图像计算完毕得到最终的图像所有的累积后的前向能量累积矩阵；每一行得到的最小的灰度加权值是上面一行邻近的最小的加权值和本像素点的像素值加权得到的；计算完毕后，从最后一行开始向上一行遍历邻近的最小的灰度权值，然后这些最小的灰度权值所经过的像素点的连线即为要裁减的细缝；

3.2）去除一条细缝，更新加权函数；如果一条细缝落入一副图像的重要信息区域，应该对其邻近的像素点进行能量加权；

假设是沿垂直方向进行细缝裁减，裁减掉一条细缝后，沿x₀所对应的细缝对垂直方向坐标y进行遍历，即对坐标(x₀，y)进行遍历，根据二值图像的坐标矩阵判断细缝是否落入重要区域，其中y是细缝对应的垂直方向的所有的坐标值，x₀是对应y的横坐标；(x₀,y)的邻近像素点的集合是C={(x₀+p,y),p=±1,±2…±Bandwidth}，其中Bandwidth是要加权的带宽的一半，为了取得较好的加权效果，取Bandwidth为6-8之间的整数值，对像素点(x₀+p,y)进行加权后的加权函数是 $w(x_0+p,y)=w(x_0+p,y)+(1.0-\frac{p}{\mathrm{Bandwidth}})w(x_0,y);$

3.3）测量重要区域的能量损失和判断细缝裁减何时终止；

用ca_ssim的评价方法来测量全部重要区域的能量损失和判断细缝裁减何时终止，具体包括：

首先进行结构相似度ssim的测量，ssim只适用于局部相似度的统计；假设f和g是两个非负的图像信号，

f的均值和标准差分别为 $u_f=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{f}_i,$ ${\mathrm{\&sigma;}}_f={\left(\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{(f_i-u_f)}^2\right)}^{\frac{1}{2}};$

g的均值和标准差分别为 $u_g=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{g}_i,$ ${\mathrm{\&sigma;}}_g={\left(\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{(g_i-u_g)}^2\right)}^{\frac{1}{2}},$ 其中N是子图像的个数,f_i和g_i分别是每个子图像的像素值；

f和g的协方差为 ${\mathrm{\&sigma;}}_{\mathrm{fg}}=\frac{1}{N-1}\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}(f_i-u_f)(g_i-u_g);$

由这些参数可知这两幅图的亮度比较函数是

对比度比较函数是 $c(f,g)=\frac{2{\mathrm{\&sigma;}}_f{\mathrm{\&sigma;}}_g+1}{{\mathrm{\&sigma;}}_f^2+{\mathrm{\&sigma;}}_g^2+1},$

结构比较函数是 $s(f,g)=\frac{{\mathrm{\&sigma;}}_{\mathrm{fg}}+1}{{\mathrm{\&sigma;}}_f{\mathrm{\&sigma;}}_g+1},$

由以上得结构相似度ssim=l(f,g)·c(f,g)·s(f,g)，结构相似度的值越大，f和g越相似；定义两个图像f和g的相似度为sim(f,g)=|1.0-s(f,g)|，sim值越小图像越相似；由sim判断图像的相似度；

其次，把一副图像的重要区域分成许多9*9的子图像，假定得到的子图像的个数是Num_{sub_image}，每个子图像用其中心点表示image_{sub_n}=(x_n,y_n),n=1,2,…Num_sub+image，假定原图像是f(x,y)，裁减后的图像是g(u,v),对于原图像的子图像ori_image_{sub_n}，我们设定了每一个9*9的子图像中心点，细缝裁减后，我们在图像g(u,v)中找到对应的子图像cur_image_{sub_n}的中心点；如果细缝不穿过中心点，直接移除细缝，否则要对子图像的中心点进行更新；

假设裁减的细缝是垂直方向的，第i个子图像的中心点是p(x_i,y_i)，它左右的邻近像素点分别是p(x_{i_left},y_{i_left})和p(x_{i_right}，y_{i_right})，左右两侧最邻近的像素点的中心分别是p(x_{i_left_cent},y_{i_left_cent})和p(x_{i_right_cent},y_{i_right_cent})，有三种情况，（一）如果p(x_i,y_i)的邻近的左侧和右侧的像素是某些子图像的中心，第i个子图像被移除，并将sim置为1.0；（二）如果左侧的邻近像素是子图像的中心，则邻近像素的右侧被置为第i个子图像的中心；如果右侧的邻近像素是子图像的中心，则邻近像素的左侧被置为第i个子图像的中心；（三）如果左侧和右侧的像素都不是子图像的中心，则其左侧和右侧最近的像素点到左侧中心点和右侧中心点的距离分别为Dis_Ave_{i_left}和Dis_Ave_{i_right}，其中Dis_Ave_{i_left}为左侧最近的像素点到左侧最邻近的中心点的距离和右侧最近的像素点到左侧最邻近的中心点的距离之和，Dis_Ave_{i_right}为左侧最近的像素点到右侧最邻近的中心点的距离和右侧最近的像素点到右侧最邻近的中心点的距离之和，将Dis_Ave_{i_left}和Dis_Ave_{i_right}进行比较，如果Dis_Ave_{i_left}大，则左侧的像素点为第i个子图像的中心点，否则右侧的像素点为第i个子图像的中心点；水平方向的细缝裁减采取一样的方法，上下侧代表的是垂直方向的左右侧；

对裁减后的图像计算出中心点后，以更新中心点后重新组成若干9*9的子图像，得出所有的子图像的sim值，提出内容识别相似度ca_ssim的定义: $\mathrm{ca}\_\mathrm{ssim}=\underset{n=1}{\overset{{\mathrm{Num}}_{\mathrm{sub}\_\mathrm{image}}}{\mathrm{\&Sigma;}}}{\mathrm{sim}}_{\mathrm{sub}\_n},$ 然后再根据ca_ssim′＝ca_ssim/Num_sub-image进行判定细缝裁减何时终止，设训练阈值是a，如果ca_ssim′>训练阈值a,其中a为0.2，则细缝裁减终止,否则重复步骤3）继续进行细缝裁减；

4）对加权细缝裁减后的图像进行网格映射，将图像重要区域进行等比例缩放保证重要图像信息不变形，对非重要区域进行尺寸缩放，使图像缩放至目标尺寸；

5)将大小为目标尺寸的图像输出。

Images