CN104915921A

CN104915921A - 基于三角网格变形的内容保持的几何边界图像映射方法

Info

Publication number: CN104915921A
Application number: CN201510271550.1A
Authority: CN
Inventors: 吴庆标; 金勇�
Original assignee: Zhejiang University ZJU
Current assignee: Zhejiang University ZJU
Priority date: 2015-05-25
Filing date: 2015-05-25
Publication date: 2015-09-16

Abstract

本发明公开了一种基于三角网格变形的内容保持的几何边界图像映射方法，它包括如下步骤：1)给定源图像，计算捕捉图像重要内容的三角网格；2)设计内容保持的网格变形能量函数，并设计约束条件；3)将图像映射问题转化为在相关约束条件下求解网格变形能量函数以获得映射后的图像。采用本发明的方法，能够很好地保持图像的重要内容，变形后的目标图像比较自然，且鲁棒性好。

Description

基于三角网格变形的内容保持的几何边界图像映射方法

技术领域

本发明涉及一种基于三角网格变形的内容保持的几何边界图像映射方法。

背景技术

图像编辑一直是图像处理中的基本问题。将图像映射到任意几何边界上去是一种基本的图像编辑问题，任意几何边界的图像映射广泛应用于艺术设计系统中，同时是三维造型系统中复杂边界纹理映射的有效工具。

内容保持的图像编辑问题的关键在于操纵图像以达到编辑目的的同时，同时尽可能地保持住图像中的特征物，作为补偿，允许其他图像区域发生更多的变形或扭曲。

散乱点插值方法(Scattered Data Interpolation)一直是过去图像编辑问题的热门方法。此类方法通过选取若干锚点，以及设定控制顶点的目标坐标来操纵图像变形，目标图像由选取的全局函数插值得到。Ruprecht等^[1]使用径向基函数以及局部有界的径向基函数作为插值函数；Arad等^[2]使用高次基函数作为插值函数。由于散乱点插值方法多使用基于像素点的显式计算方法，所以运行效率较高，但是应用局限于图像局部变形操作，且此类方法并不考虑特征物的保护。

Seam Carving方法由Avidan等^[3]于2007年提出，Seam为一条从图像边界一端到另一端的当前显著度最低的八联通折线，通过迭代地去除Seam，以达到将图像调整到目标尺寸并且保护图像特征物的目的。Rubinstein等^[4]随后使用前向能量改进了Seam的选取方法，使得目标图像在调整尺寸后有更好的连续性。Rubinstein等^[5]进而提出同时使用不同的尺寸调整方法处理图像适应问题，以减少原始图像与目标图像的差异性。Seam Carving方法适用于特征物不突出或多个特征物的图像，其结果非常依赖于Seam选取的可靠性，容易丢失特征物。

网格变形方法(Mesh Deformation)使用四边形网格或三角网格表述图片，在图像编辑中被广泛采用。Lee等^[6]尝试采用双变量三次样条以控制网格变形得到C²连续的图像变形结果；Beier等^[7]允许用户使用直线交互变形目标；Igarashi等^[8]提出使用三角网格表述图像的特征物，在变形过程中代表特征物的三角形尽可能的只允许发生刚性变换；类似地，Schaefer等^[9]采用移动最小二乘法来控制表述图像的正方形网格的变形。Karni等^[10]定义变形能量以控制图像变形和图像适应，使用局部/全局的方法求解能量极小问题。Gal等^[11]提出一种保持特征物的图像任意几何边界适应方法。Jin等[12]提出了以非均匀缩放控制三角形网格变形处理图像适应问题，并且解决了目标图像重叠的问题。使用网格来操纵图像变形和图像适应，有着高效，易于操作的优点，然而现有方法很少考虑网格变形的连续性，会产生一些目标图像的明显不连续的人工痕迹。并且相当部分的网格变形方法存在着鲁棒性的问题。

现有的图像编辑方法都不适用于内容保持的几何边界图像映射问题，而普通的几何边界图像映射方法通常又不能够很好地保持图像的重要内容，所以需要有效的内容保持的几何边界图像映射方法。

参考文献

[1]Ruprecht D，Müller H.Image warping with scattered data interpolation.IEEE Computer Graphicsand Applications，1995，15(2)：37-43.

[2]Arad N，Reisfeld D.Image warping using few anchor points and radial functions.ComputerGraphics Forum，1995，14(1)：35-46.

[3]Avidan S，Shamir A.Seam carving for content-aware image resizing.ACM Trans.On Graphics(Proc.SIGGRAPH)，2007，26(3)：267-276.

[4]Rubinstein M，Shamir A，Avidan S.Improved seam carving for video retargeting.ACM Trans.On Graphics(Proc.SIGGRAPH)，2008，27(3)：1-9.

[5]Rubinstein M，Shamir A，Avidan S.Multioperator media retargeting.ACM Trans.On Graphics(Proc.SIGGRAPH)，2009，28(3)：No.23.

[6]Lee SY，Chwa KY，Shin SY.Image metamorphosis using snakes and free-form deformations.In：Mair SG，Cook R，eds.Proceedings of ACM SIGGRAPH.Los Angeles：ACM Press，1995.439-448.

[7]Beier T，Neely S，Feature based image metamorphosis.In：Thomas JJ，ed.Proceedings ofACM SIGGRAPH.Chicago：ACM Press，1992.35-42.

[8]Igarashi T，Moscovich T，Hughes JF.As-rigid-as-possible shape manipulation.ACM Trans.OnGraphics(Proc SIGGRAPH)，2005，24(3)：1134-1141.

[9]Schaefer S，McPhail T，Warren J.Image Deformation Using Moving Least Squares.ACM Trans.On Graphics(Proc SIGGRAPH)，2006，25(3)：533-540.

[10]Karni Z，Freedman D，Gotsman C.Energy-based image deformation.Computer Graphics Forum(Proc.Symp.Geometry Processing)，2009，28(5)：1257-1268.

[11]Gal R，Sorkine O，Cohen-Or D.Feature-aware texturing.In：Heidrich W，Akenine-Moller T，eds.Proc.of Eurographics Symposium on Rendering.Nicosia：Eurographics Association，2006.297-303.

[12]Jin Y，Liu LG，Wu QB.Nonhomogeneous Scaling Optimization for Realtime Image Resizing.The Visual Computer(Proc.of CGI)，2010，26(6-8)：769-778.

发明内容

本发明提出一种基于三角网格变形的内容保持的几何边界图像映射方法。本发明根据图像特征计算代表图像的自适应三角网格，采用与三角形仿射变换有关的能量函数控制网格变形，代表特征物的三角网格在网格变形过程中只允许发生刚性变换。而相邻网格在变形过程中发生的仿射变换应尽可能地相似。该能量优化问题的全局最优解可以通过迭代求解多个稀疏线性方程组得到。

本发明的具体步骤为：

1)给定源图像计算捕捉图像重要内容的三角网格

2)设计内容保持的网格变形能量函数E，并设计边界约束条件和刚性约束条件；

3)将图像映射问题转化为在相关约束条件下求解网格变形能量函数以获得映射后的图像，使用全局/局部的迭代方法求解该能量函数的最小值。

主要有以下优点：本发明考虑了三角网格变形的连续性，故变形后的目标图像比较自然；自适应网格使用加密的网格捕捉特征物，使用稀疏的网格表示图像的非重要区域，由此特征物的变形有较大的自由度同时方法的效率也得以保证；由于本发明方法只涉及稀疏方程组的求解，所以鲁棒性好。

附图说明

图1为本发明简化方法实施例的流程图；

图2为本发明可以放大或缩小重要物体的例子；

图3为本发明与标准映射方法的比较例子。

具体实施方式

下面，结合附图和实施例来对本发明的具体实施方式做详细说明。

1.问题描述

给定源图像见图1(a)，其长方形边界为图像特征物可以由用户交互选择或自动生成，特征物集合记为特征物体记为几何边界图像映射的目标可以表述为将图像映射到目标几何边界为源图像构造对应的三角网格我们通过计算与同拓扑而不同坐标的目标网格来达到将图像映射到目标几何边界的目的，目标图像容易通过目标网格得到。由此将几何边界图像映射的问题转换为操纵原网格变形到目标网格的问题。直观上，在网格变形过程中，代表特征物的三角形应该只允许发生刚性变换，而作为补偿，其他代表图像非重要区域的三角形允许发生相对较大的扭曲。

2.根据图像特征构造三角形网格

图像的特征物可以由用户提供特征面罩(Feature Mask)得到，也可以由图像的显著图(Saliency Map)计算得到。特征面罩，为用户使用选择工具选取特征物体得到，如套锁或磁性套锁，图像的每个像素点由此获得一个数值σ，σ＝1表示像素点在特征物区域，σ＝0表示像素点在非特征物区域。显著图通常用来检测图像的显著区域，在此，图像特征物通常在图像的重要区域位置，所以可以使用显著图来代替特征面罩以得到特征物信息。稍区别于特征面罩，显著图分配给每个像素点一个的数值σ∈[0,1]，数值越高显著度越高。至此特征面罩或显著图总是给每个像素点分配一个特征数值σ∈[0,1]，数值越高说明该像素越可能代表图像的特征物。

自适应的三角网格希望在图像的特征物处采用加密的网格，而同时在图像非重要区域使用稀疏的网格。设定密网格边长间距为l_min，稀网格边长间距为l_max，以σl_min+(1-σ)l_max为采集半径在图像上采集作为三角网格的控制顶点；在得到网格顶点后，使用约束Delaunay三角化构造得到三角网格见图1(b)。对于三角网格以表示所有属于网格的三角形的集合，以v表示所有属于网格的网格顶点的集合，表示三角网格的边界。

每个三角形t的特征数值σ_t为该三角形所包含的所有像素特征数值的算术平均值，若σ_t超过设定的极限(0.6-0.8)，则将三角形标记为特征三角形，见图1(b)中的深色三角形，记所有特征三角形的集合为将相邻的特征三角形归并起来去除三角形数量较少的归并集合，便可以得到特征物集合，每个特征物由若干个特征三角形所表示，特征物集合可以表示为源网格的所有顶点坐标p记为欲计算的目标网格顶点q未知记为其中右上标^x/y表示x/y坐标，^T为向量转置符号。

3.网格变形能量

本发明实施例使用的能量函数形式为：

其中S_t为原始网格三角形t_p的面积，||·||_F为Frobenius范数；J_t(q)为三角形变换到实际发生的仿射变换中代表旋转和缩放的部分，为一个2×2的Jacobian矩阵，同时J_t(q)可以表示为目标三角形t_q中顶点坐标的线性组合。

A_{t} = [\begin{matrix} a_{t} & b_{t} \\ c_{t} & d_{t} \end{matrix}]

为三角形t_p变形到t_q期望发生的仿射变换矩阵，A_s为三角形t相邻三角形s相对应的仿射变换矩阵，λ和μ是调整两项能量项的系数，在本方法中一般取λ＝0.5，μ＝5。在实际网格变形过程中，代表特征物的三角形的期望变换矩阵A_t只允许是刚性变换。

虽然矩阵范数的选择有很多，但是采用Frobenius范数得到的能量函数(1)为完全平方项形式，有利于能量函数的极小值求解；同时Frobenius范数确保对应的两个矩阵近乎相等。网格变形能量(1)的最小化的使得为各个三角形发生的实际变换J_t(q)尽可能接近期望变换A_t，以此实现对应的编辑目的；同时相邻三角形的期望变换矩阵A_t应该尽可能地接近。由此得到的网格变换比较连续，得到的目标图像会更加自然。

根据Pinkall等[17]的结果，网格变形能量E的前半部分可以写为显式形式：

其中是三角形t中与边相对的角(上标均对2取余)。

观察(1)、(2)式，网格变形能量E是关于目标网格坐标顶点和三角形期望变换矩阵的二次型函数。网格变形问题可以由在相关的约束条件下求解能量极小问题得到：

(q,A)＝argmin_(q,A)E(q,A) (3)

虽然我们同时求解q和A，但最终只对网格顶点坐标q感兴趣，A只是作为辅助变量。

4.边界约束和刚性约束

边界顶点坐标约束：图像对应的网格边界的坐标应该是目标几何边界的离散。所以，网格变形过程中网格边界点的目标坐标已知，所以，边界顶点坐标约束可以表示为：

边界三角形约束：因为网格边界点的目标已知，由此边界三角形的期望变换矩阵A_t中的两个变量可以计算出来。假设三角形其边界网格边为两顶点目标网格坐标已知。

若该边界三角形属于图像左右边界则其期望变换矩阵A_t中的变量b_t,d_t可以确定为：

若该边界三角形属于图像上下边界则其期望变换矩阵A_t中的变量a_t,c_t可以确定为：

刚性约束：在网格变形过程中，为了保持特征物不变形，代表特征物的特征三角形应该尽可能只发生刚性变换，即尽可能只发生旋转。故刚性约束可以写为：

其中

[\begin{matrix} u_{t} & v_{t} \\ - v_{t} & u_{t} \end{matrix}]

无法确定，但要求是正交阵；为重要物体放缩因子。

5.能量求解

由此，几何边界的图像映射问题转化为了在顶点约束(4)，三角形期望变换约束(5)、(6)、(7)下求解能量极小问题(3)。

由于刚性约束(7)并非确定的线性约束，使能量极小问题(3)无法通过求解一个线性方程组得到。为此，采用局部/全局方法以迭代求解该能量极小问题。在计算初始目标网格坐标后，迭代方法分为局部和全局两部分，局部步骤计算特征三角形的最优朝向，全局步骤计算所有网格顶点的目标坐标。以下为局部/全局方法的具体步骤：

1)初始化：去掉刚性约束(7)，在顶点约束(4)，三角形期望变换约束(5)、(6)下求解能量极小问题(3)，只需求解一个稀疏方程组，即可得到所有目标网格顶点的初始坐标。

2)局部步骤：为获取各个特征三角形的应该发生的旋转，根据前一步迭代的目标网格顶点的坐标q，容易计算其实际Jacobian矩阵J_t(q)，由Procrustes分析J_t(q)的旋转分量可以由的SVD分解得到，利用SVD分解，J_t(q)可以写为：其中U_t和V_t为正交阵，Σ_t为对角阵。J_t(q)的旋转分量为为了防止发生翻转，还需确保分解后的行列式为正。实际上，在SVD分解中，可以由交叉协方差矩阵

N_{t} (q) = Σ_{i = 0}^{2} \cot θ_{t}^{i} (q_{t}^{i} - q_{t}^{i + 1}) {(p_{t}^{i} - p_{t}^{i + 1})}^{T}

来代替J_t(q)以计算其旋转分量。

3)全局步骤：由局部步骤中得到旋转矩阵可以计算出特征三角形的期望变换矩阵：

以此代替刚性约束(7)求解能量极小问题(3)，只需求解一个稀疏线性方程组即可得到新的目标网格顶点的坐标q，以此作为下一步迭代的初值。迭代若干步后便可得到最终目标网格坐标。

图1(c)为求解出的目标网格，目标图像由目标网格和原始图像图像进行纹理映射便可求解得到见图1(d)。在实际应用中，我们可以改变重要物体放缩因子β_O的值以放大或缩小图像中的重要物体，见图(2)。图2(a)为源图像，图2(b)为β_O＝0.5的目标图像，图2(c)为β_O＝1.0的目标图像,图2(d)为β_O＝1.5的目标图像。

内容保持的几何边界图像映射和标准映射的比较可见图(3)。图3(a)为源图像，图3(b)为标准映射的目标图像，图3(c)为本发明方法的目标图像。可以发现在标准映射中发生扭曲的跳水运动员和狮子在本发明实施例中得到了很好的保持。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims

1.一种基于三角网格变形的内容保持的几何边界图像映射方法，其特征在于包括如下步骤：

1)给定源图像计算捕捉图像重要内容的三角网格

3)将图像映射问题转化为在相关约束条件下求解网格变形能量函数以获得映射后的图像。

2.如权利要求1所述的方法，其特征在于：步骤1)中，捕捉图像重要内容的三角网格由自适应地在图像中撒点，然后由Delaunay三角化生成。

3.如权利要求1或2所述的方法，其特征在于：步骤2)中，网格变形能量为：

边界约束条件为：

和

刚性约束条件为：

4.如权利要求1或2或3所述的方法，其特征在于：步骤3)中，求解能量函数的方法为全局/局部的迭代方法。