CN105427242A - 基于内容感知的交互式网格约束变形图像自适应缩放方法 - Google Patents

Abstract

本发明公开了一种基于内容感知的交互式网格约束变形图像自适应缩放方法，首先将源图像进行预处理，得到能量图、显著图、特征点分布图及平滑滤波图；然后根据能量图、显著图及目标显示大小，利用能量最小化求出图像长宽的最佳变化值，进而计算出特征点的新位置，对源图像进行分段仿射变换的网格变形得到中间图；接着对中间图进行纹理区域的合成替换；最后使用双线性插值得到结果输出图像。本发明避免在常规方法对图像进行较大范围变化时，效果与计算时间难以控制问题，同时对显著区域的显示有着更好的保护，而且对图像中承载较大形变的纹理区域进行合成替换，避免了视觉上明显的变形失真，有着良好的缩放显示效果。

Description

基于内容感知的交互式网格约束变形图像自适应缩放方法

技术领域

本发明涉及图像、多媒体信号处理领域，尤其涉及一种基于内容感知的交互式网格约束变形图像自适应缩放方法。

背景技术

随着电子科技的发展，信息的采集、显示也基本数字化了，图像、视频的采集与显示给我们的生活带来了很多便利，由于显示设备的显示大小与显示比例的不同，对于同一采样数据的显示，需要进行处理后才能在显示设备上完美显示。例如电视的传播信号为4:3，电影的画幅是20:9，而手机的显示比例为16:9。所以在这些设备上显示这些内容时，传统的等比缩放往往不能充分利用屏幕的显示面积，如果直接拉伸又会造成显示内容的失真变形。为了使图像在不同的显示设备中，充分利用显示面积，同时不造成明显的失真,这一问题被称为2维图像重构，重构方法可以分为离散和连续两类，下面以图6-a为例说明：

第一类离散处理方法如图6-b所示，将图像划分为不同的处理单元，对具备不同特征的处理单元进行删除或者复制的操作使得满足最终的显示大小。这里面包括裁剪、细缝裁剪、移位映射、块匹配等。这些方法采用的不同的离散实体，如细缝裁剪中是单个像素，移位映射是不规则的块区域。通过增加或者删除部分实体，并最终获得指定大小的图像。生成图6-b的移位映射可以看做图像为了将源图像的宽度变小，通过去除图像中网的部分，在通过图割算法解决拼接产生的接缝，最终的处理结果自然，主体清晰。该类方法的特点是结果不可控，处理结果过于依赖图像本身的内容分布，针对某些背景简单的图像，通过直接去除或者增加背景区域就可以取得较好的结果。然而对于复杂背景，往往很难运算得出符合显示效果的图像，如果将图6-b的宽度在缩减一半，背景部分的信息就很难做出调整来适应主体的两只鸟这部分。算法实用性一般，运算时间不稳定。离散方法本质上相当于图像重组，该类方法易于设计交互来控制最终的编辑结果，如块匹配算法中利用一个新的随机最近邻域搜索算法，找到每个块对应于图像中最相似的部分，通过交互工具，对图像进行指定尺寸合成，合成结果连续。

第二类连续的方法采用的连续或者分段连续的映射函数，将目标图像中的像素所处的位置对应到源图像中某个位置，常见的有鱼眼变形和卷曲，鱼眼变形可以看做是一种连续映射函数，而卷曲的实现看以看做是不同区域采用不同的映射函数，也就是分段连续。以后不断发展的基于图像内容的卷曲的方法通常采用矩形网格，或者三角形网格。上述方法大体可以分为三个步骤，首先选取特征点，然后根据特征点所具备的特征及目标显示大小计算出特征定的新位置，最后对对应网格区域分别进行仿射变化。该方法简单快速，处理复杂度与处理结果不变。图6-c就是采用卷曲方法的处理结果。图像中除了鸟部分的区域都进行较大范围的形变以适应目标显示大小，连续的方法对图像中的线条的连续性保护较好，不过对于图像中出现在不同网格中的同一线条，可能会因为出现在不同区域而造成失真不连续，因此很多算法的网格选取都尽可能的选取图像的边缘。

不过对于处理边缘较少的图像，卷曲的方法不仅计算速度快而且取得的效果好。这类方法试图将尺寸变化带来的几何变化尽可能的传递给非显著区域，使得显著区域的形变不明显。这类方法可以通过控制各个区域的形变参数来控制最终的显示结果，不过对于边缘信息较多的图像会产生较为明显的不连续。

由于图像的内容不同，针对某些特定的情况，单一离散或者连续方法就可以取得良好的结果，因此通过对这两类方法进行适当的结合，就可以处理更大宽容度内的图像重构问题。

发明内容

本发明所要解决的技术问题是针对背景技术中所涉及到的缺陷，提供一种基于内容感知的交互式网格约束变形图像自适应缩放方法，更好的满足用户浏览体验以及图像的理解。

本发明为解决上述技术问题采用以下技术方案：

基于内容感知的交互式网格约束变形图像自适应缩放方法，具体包括以下步骤：

步骤1)，确定图像的视觉显著区域，得到视觉显著图；

步骤2)，确定输入图像的能量分布图；

步骤3)，确定输入图像的纹理区域分布；

步骤4)，确定输入图像的特征点分布图；

步骤5)，确定中间图像的大小；

步骤6)，计算特征点分布图中每个特征点的位置变化值，进而求出每个特征点的新位置；

步骤7)，根据输入图像的特征点分布图对输入图像进行三角剖分，并根据步骤6)求出的每个特征点的新位置，通过反射变换求出与输出图像纵横比相同的中间图像；

步骤8)，根据输入图像的纹理区域分布对步骤7)中生成的中间图像中对应的纹理部分进行纹理合成替换，生成经过纹理处理过的中间图像；

步骤9)，对经过纹理处理过的中间图像采用双线性插值变换，缩放至符合目标输出大小的图像。

作为本发明基于内容感知的交互式网格约束变形图像自适应缩放方法进一步的优化方案，所述步骤1)的详细步骤如下：

基于输入图像所具备的低级特征，通过计算具有相似低级特征的像素区域与图像全局特征的对比确定显著区域像素的分布，为弥补视觉显著模型的输出结果不理想，加入交互画刷增加或者减少视觉显著区域；所述低级特征包括梯度和亮度特征值。

作为本发明基于内容感知的交互式网格约束变形图像自适应缩放方法进一步的优化方案，所述步骤2)的详细步骤如下：

计算输入图像中每个像素点四个方向的梯度值的和，加上视觉显著图获得输入图像的能量分布图。

作为本发明基于内容感知的交互式网格约束变形图像自适应缩放方法进一步的优化方案，所述步骤3)的详细步骤如下：

通过对输入图像进行平滑滤波，滤除纹理区域的细节信息，从而使具有相似纹理区域的像素具有相近的颜色特征，将平滑滤波处理过的图像中具有相似颜色特征的像素联通，且大于图像显示面积的四分之一的区域标记为图像的纹理区域。

作为本发明基于内容感知的交互式网格约束变形图像自适应缩放方法进一步的优化方案，所述步骤4)的详细步骤如下：

对输入图像进行超像素分割，对超像素分割图中在视觉显著区域的像素区域进行遍历，检测遍历处像素点与遍历处8邻域像素的距离值的数量，如果求出的距离值数量大于等于3，就认为该点为特征点，标记该特征点的种类为1；边缘辅助点的选取依据每条边上包括每条边的顶点在内，一共8个点，这些边缘特征点的种类值标记为0，得到种类值为1的视觉显著区域的特征点及种类值为0的边缘辅助点的特征点分布图。

作为本发明基于内容感知的交互式网格约束变形图像自适应缩放方法进一步的优化方案，所述步骤5)的中间图像大小计算的详细步骤如下：

步骤5.1)，以视觉显著图为基础，建立以显著区域的质心为原点、通过原点且平行于长和宽方向射线为坐标X轴Y轴的坐标系；

步骤5.2)，根据以下能量变化函数计算能量分布图在步骤5.1)中所建坐标系中四个象限的能量值，进而得到中间图像四个顶点的新坐标值。

E(z1,z2,z3,z4)＝α*E(z1,z2)+β*E(z3,z4)

其中，E1、E2、E3、E4分别为四个象限的能量值，A1、A2、A3、A4分别为输入图像的四个顶点坐标，B1、B2、B3、B4分别为中间图像的四个顶点坐标，C1、C2、C3、C4分别为视觉显著图的四个顶点坐标，n、m、r分别为输入图像的长、高、纵横比，N、M、R分别为目标显示大小的长、高、纵横比，z1、z2、z3、z4分别为坐标点的变化量；

E(z1,z2,)＝m*[z1²*(E1+E4)+z2²*(E2+E3)+z1*z2*(E1+E2+E3+E4)]

E(z3,z4,)＝n*[z3²*(E1+E2)+z4²*(E3+E4)+z3*z4*(E1+E2+E3+E4)]

E(z1,z2)、E(z3,z4)分别是在x轴和y轴方向的能量变化值，E(z1,z2,z3,z4)是其能量变化总和，α和β为常数，[z1z2z3z4]的取值需要满足下式：

$R=\frac{N}{M}=\frac{X1-X3}{Y1-Y3}=\frac{n+z1-z2}{m+z3-z4}.$

作为本发明基于内容感知的交互式网格约束变形图像自适应缩放方法进一步的优化方案，所述步骤6)中特征点前后位置的对应关系为：

X＝x+Δx，Y＝y+Δy其中：Δx＝a*x，Δy＝b*y

其中，(x,y)为特征点的原坐标，(X,Y)为特征点的新位置，a、b分别为特征点在X、Y轴方向的形变系数，若该特征点的种类值为1，b＝a；若该特征点的种类值为0， $a=\frac{z1}{x1},b=\frac{z3}{y1}.$

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明以图像中的显著区域为指导，在确定了最终的显示大小后，通过对图像进行纵横比的优化后，在通过传统的缩放算法得到最终的显示图，可以使得图像能够在内容发生最小损失或者失真，同时提高良好的观赏体验。

附图说明

图1为本发明方法的基本实现框图；

图2-a为本发明中特征点的8邻域说明图；

图2-b为本发明中实例输入图；

图2-c为图2-b计算出的显著图；

图2-d为图2-b计算出的特征点三角剖分图；

图3-a为以图2-c建立的坐标系图；

图3-b为图2-b的能量混合图；

图3-c为图2-b能量图；

图3-d为特征点变化计算示意图；

图4为计算中间图像的参数选择流程图；

图5-a为实例直接缩放结果图；

图5-b为本发明处理实例图2-b未进行纹理替换的结果图；

图5-c为本发明处理实例图2-b采用纹理替换的结果图；

图6-a为方法比较说明原图；

图6-b为采用离散方法的结果图；

图6-c为采用连续方法的结果图；

图7-a为常规缩放方法下对图2-b在不同输出结果下的显示结果；

图7-b为细缝裁剪方法下对图2-b在不同输出结果下的显示结果；

图7-c为网格变形方法下对图2-b在不同输出结果下的显示结果；

图7-d为本发明方法下对图2-b在不同输出结果下的显示结果。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明首先通过对图像的预处理获得图像的能量图、显著图、平滑图和超像素分割图计算出显著区域及图像边缘包络的特征点；然后根据目标显示分辨率计算长和宽如何变化使得能量变化函数的取值最小，根据求出的长宽变化量计算图像中特征点的新位置；计算出特征点的新位置之后，根据特征点的前后位置对源图像进行分段仿射变换的网格变形得到中间图像，该中间图像的纵横比与目标显示纵横比相同；通过对图像的平滑图分析提取出纹理区域，对生成中间图像的相同区域进行纹理合成替换；最后对替换过纹理部分的中间图像进行双线性插值的等比变化，生成目标显示大小，该方法可以对保证图像中的显著区域不发生形变，同时避免对纹理区域的过度形变造成的失真，更好地满足用户的浏览体验。下面将结合附图对本发明作进一步地详细描述。

本发明提供的是一种自适应图像缩放算法，流程如图1所示，步骤如下：

步骤1.输入图像图2-b的视觉显著区域的确定：首先基于输入图像所具备的低级特征，包括梯度、亮度特征值，通过计算具有相似低级特征的像素区域与图像全局特征的对比，确定显著区域像素的分布，为弥补视觉显著模型的输出结果不理想，加入交互画刷增加或者减少视觉显著区域，得到视觉显著图2-c；

步骤2.输入图像的能量分布图的确定：在视觉显著图图2-c的基础上，叠加上通过计算出输入图像中每个像素点四个方向的梯度能量值图3-c，组成输入图像的能量分布图3-b；

步骤3.输入图像的纹理区域分布的确定：通过对输入图像进行平滑滤波，滤除纹理区域的细节信息，从而使具有相似纹理区域的像素具有相近的颜色特征，将平滑处理过的图像中具有相似颜色特征的像素联通，且大于图像显示面积的四分之一的区域标记为图像的纹理区域，如果没有符合检测标准的区域就不标记；

步骤4.输入图像的特征点分布图的确定：对输入图像进行超像素分割，对超像素分割图中在显著区域的像素区域进行遍历，检测遍历处像素点与遍历处8邻域，图2-a所示像素的距离值的种类数量，如果求出的距离值种类数量大于等于3，就认为该点为特征点，标记该特征点的种类为1。边缘辅助点的选取依据每条边上包括每条边的顶点在内，一共8个点，这些边缘特征点的种类值标记为0，这样就得到种类值为1的视觉显著区域的特征点及种类值为0的边缘辅助点的分布图2-d；

步骤5.计算所设能量变化函数值最小时的输入图像长宽变化值，具体实施如下：

步骤5-1.以步骤1中得出的视觉显著图2-c为基础，建立以显著区域的质心为原点，通过原点且平行于长和宽方向射线为坐标X轴Y轴图3-a；

步骤5-2.计算以步骤2中得出的能量分布图在步骤5-1中所建坐标系中，四个象限的能量值依次为E1、E2、E3、E4，如图3-a所示，设四个顶点坐标依次为A1、A2、A3、A4，假设中间图像的四个顶点坐标为B1、B2、B3、B4。图上显著区域范围的坐标依次为C1、C2、C3、C4。源图像的长、高、纵横比依次为n、m、r。目标显示大小的长、高、纵横比依次为N、M、R。置坐标点的变化量为z1，z2，z3，z4。得到如下关系：

$\left[\begin{array}{cc}X1& Y1\\ X2& Y2\\ X3& Y3\\ X4& Y4\end{array}\right]=\left[\begin{array}{cc}x1+z1& y1+z3\\ x2+z2& y2+z4\\ x3+z2& y3+z3\\ x4+z1& y4+z4\end{array}\right]---\left(1\right)$

能量变化函数为：

E(z1,z2,)＝m*[z1²*(E1+E4)+z2²*(E2+E3)+z1*z2*(E1+E2+E3+E4)](2)

E(z3,z4,)＝n*[z3²*(E1+E2)+z4²*(E3+E4)+z3*z4*(E1+E2+E3+E4)](3)

E(z1,z2,z3,z4)＝α*E(z1,z2)+β*E(z3,z4)(4)

E(z1,z2)、E(z3,z4)分别是在x轴和y轴方向的能量变化值，E(z1,z2,z3,z4)就是这两个方向能量变化总和，α和β为常数，其中[z1z2z3z4]的取值需要满足式(5)要求：

$R=\frac{N}{M}=\frac{X1-X3}{Y1-Y3}=\frac{n+z1-z2}{m+z3-z4}---\left(5\right)$

根据图4流程图，依据输入图像大小与目标显示大小的关系，对所求参数的范围及参数设置，通过最优化算法求解在式(4)去最小值的取值z1，z2，z3，z4，这样就可以得到四个边缘点的新坐标值。

步骤6.利用步骤5中求出的原图中四个顶底的变化值，计算出步骤4中的特征点分布图中每个特征点的位置变化值，如图3-d设某个特征点的坐标(x,y)，它的新位置(X,Y)，那么可以得到如下关系：

X＝x+Δx(6)

Y＝y+Δy(7)

Δx＝a*x(8)

Δy＝b*y(9)

具体求解过程如下：

步骤6-1.依据特征点所属种类值，设置位移变化系数a、b，如果该特征点的种类值为1，即该特征点为显著区域特征点：b＝a；如果该特征点的种类值为0，即该特征点为辅助边缘特征点：

步骤6-2.按照步骤6-1中设置的参数，求出式(6)、式(7)中的X、Y值；

步骤7.根据步骤4得到的特征点分布图对输入图像进行三角剖分与步骤6求出的每个特征点的新位置，根据步骤5中输入图像长宽最佳变化值，通过反射变换求出中间图像，如图5-b；

步骤8.根据步骤3中计算出的输入图像纹理区域对步骤7中生成的中间图像中对应的纹理部分进行纹理合成替换，如果不存在步骤3中计算出的纹理区域，这步不执行，生成进过纹理处理过的中间图像，为了说明这个步骤，设置目标显示大小为600*300，源图像的大小为400*300，步骤S2算出的中间图像大小为447*224。图5-a为直接缩放的结果，图5-b为步骤6计算出的中间图像，图5-c为替换具有大范围纹理区域的叶子区域图；

步骤9.对步骤8中生成的纹理处理过的中间图像采用双线性插值变换，缩放至符合目标输出大小的图像。

为了进一步说明本发明方法在处理图像自适应的优异性，我们对一幅400*300的图像分别进行如下几种情况的缩放，依次为600*300、300*300、500*400、300*200。结果如图7所示，其中图7-a的结果是目前常规方法的显示效果，图7-b采用细缝裁剪方法的显示结果，图7-c采用的坐标网格变形方法的结果，图7-d是采用本发明的输出显示结果。

结果表明，本发明的处理结果对图像在各种显示比例下的能量变化最小，同时主体与背景的配合最为协调。

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.基于内容感知的交互式网格约束变形图像自适应缩放方法，其特征在于，具体包括以下步骤：

步骤1)，确定图像的视觉显著区域，得到视觉显著图；

步骤2)，确定输入图像的能量分布图；

步骤3)，确定输入图像的纹理区域分布；

步骤4)，确定输入图像的特征点分布图；

步骤5)，确定中间图像的大小；

步骤6)，计算特征点分布图中每个特征点的位置变化值，进而求出每个特征点的新位置；

步骤7)，根据输入图像的特征点分布图对输入图像进行三角剖分，并根据步骤6)求出的每个特征点的新位置，通过反射变换求出与输出图像纵横比相同的中间图像；

步骤8)，根据输入图像的纹理区域分布对步骤7)中生成的中间图像中对应的纹理部分进行纹理合成替换，生成经过纹理处理过的中间图像；

步骤9)，对经过纹理处理过的中间图像采用双线性插值变换，缩放至符合目标输出大小的图像。

2.根据权利要求1所述的基于内容感知的交互式网格约束变形图像自适应缩放方法，其特征在于，所述步骤1)的详细步骤如下：

基于输入图像所具备的低级特征，通过计算具有相似低级特征的像素区域与图像全局特征的对比确定显著区域像素的分布，为弥补视觉显著模型的输出结果不理想，加入交互画刷增加或者减少视觉显著区域；所述低级特征包括梯度和亮度特征值。

3.根据权利要求1所述的基于内容感知的交互式网格约束变形图像自适应缩放方法，其特征在于，所述步骤2)的详细步骤如下：

计算输入图像中每个像素点四个方向的梯度值的和，加上视觉显著图获得输入图像的能量分布图。

4.根据权利要求1所述的基于内容感知的交互式网格约束变形图像自适应缩放方法，其特征在于，所述步骤3)的详细步骤如下：

通过对输入图像进行平滑滤波，滤除纹理区域的细节信息，从而使具有相似纹理区域的像素具有相近的颜色特征，将平滑滤波处理过的图像中具有相似颜色特征的像素联通，且大于图像显示面积的四分之一的区域标记为图像的纹理区域。

5.根据权利要求1所述的基于内容感知的交互式网格约束变形图像自适应缩放方法，其特征在于，所述步骤4)的详细步骤如下：

对输入图像进行超像素分割，对超像素分割图中在视觉显著区域的像素区域进行遍历，检测遍历处像素点与遍历处8邻域像素的距离值的数量，如果求出的距离值数量大于等于3，就认为该点为特征点，标记该特征点的种类为1；边缘辅助点的选取依据每条边上包括每条边的顶点在内，一共8个点，这些边缘特征点的种类值标记为0，得到种类值为1的视觉显著区域的特征点及种类值为0的边缘辅助点的特征点分布图。

6.根据权利要求5所述的基于内容感知的交互式网格约束变形图像自适应缩放方法，其特征在于，所述步骤5)的中间图像大小计算的详细步骤如下：

步骤5.1)，以视觉显著图为基础，建立以显著区域的质心为原点、通过原点且平行于长和宽方向射线为坐标X轴Y轴的坐标系；

步骤5.2)，根据以下能量变化函数计算能量分布图在步骤5.1)中所建坐标系中四个象限的能量值，进而得到中间图像四个顶点的新坐标值。

E(z1,z2,z3,z4)＝α*E(z1,z2)+β*E(z3,z4)

其中，E1、E2、E3、E4分别为四个象限的能量值，A1、A2、A3、A4分别为输入图像的四个顶点坐标，B1、B2、B3、B4分别为中间图像的四个顶点坐标，C1、C2、C3、C4分别为视觉显著图的四个顶点坐标，n、m、r分别为输入图像的长、高、纵横比，N、M、R分别为目标显示大小的长、高、纵横比，z1、z2、z3、z4分别为坐标点的变化量；

E(z1,z2,)＝m*[z1²*(E1+E4)+z2²*(E2+E3)+z1*z2*(E1+E2+E3+E4)]

E(z3,z4,)＝n*[z3²*(E1+E2)+z4²*(E3+E4)+z3*z4*(E1+E2+E3+E4)]

E(z1,z2)、E(z3,z4)分别是在x轴和y轴方向的能量变化值，E(z1,z2,z3,z4)是其能量变化总和，α和β为常数，[z1z2z3z4]的取值需要满足下式：

$R=\frac{N}{M}=\frac{X1-X3}{Y1-Y3}=\frac{n+z1-z2}{m+z3-z4}.$

7.根据权利要求6所述的基于内容感知的交互式网格约束变形图像自适应缩放方法，其特征在于，所述步骤6)中特征点前后位置的对应关系为：

X＝x+Δx，Y＝y+Δy其中：Δx＝a*x，Δy＝b*y

其中，(x,y)为特征点的原坐标，(X,Y)为特征点的新位置，a、b分别为特征点在X、Y轴方向的形变系数，若该特征点的种类值为1，b＝a；若该特征点的种类值为0， $a=\frac{z1}{x1},$ $b=\frac{z3}{y1}.$