CN104851133B - 一种图像自适应网格生成变分方法 - Google Patents

Abstract

一种图像自适应网格生成变分方法，涉及图像逼近和分片多项式逼近。S1、输入图像，设定相关参数；S2、产生初始的三角网格剖分；S3、根据能量函数及相应的梯度和Hessian矩阵信息计算三角网格顶点的新位置，并将各顶点移动到新位置上；S4、更新顶点移动后的三角网格的连接关系；S5、循环执行步骤S3至S4若干次，直到迭代次数达到J，即在图像区域内产生一个剖分结构非常接近原图像的三角网格；输出最优的三角网格和相应的逼近多项式集合。采用分片多项式拟合方法并结合牛顿迭代优化方法，使三角剖分自适应地沿图像特征线分布，利用多项式逼近获得在三角剖分上逼近原图像良好的视觉和数值效果，可用于图像逼近、图像矢量化等。

Description

一种图像自适应网格生成变分方法

技术领域

本发明涉及图像逼近和分片多项式逼近，尤其是涉及基于三角网格的、利用分片多项式逼近产生图像自适应剖分的一种图像自适应网格生成变分方法。

背景技术

利用三角网格逼近一幅图像主要是在该三角网格的每个三角面上构造出一个逼近函数，使得该三角网格能够获得的逼近质量尽量高[1,2]。

三角网格是与图像数据息息相关的，许多方法采用将三角网格简化的策略来生成最终的网格结果，即初始的三角网格包含了图像的所有像素点，根据逼近误差极小化确定相应的连接关系，依次从当前网格中删除逼近误差最小的顶点，直到逼近误差达到设定值或网格顶点个数减小到设定值[3,4]。

但受到删除顶点和翻转三角边的准则的不同，这种方法产生的结果之间差异较大，顶点的位置相对固定，无法获得更好的逼近结果。另一类方法是向初始的粗糙网格内不断在误差较大的面上依据加点准则插入顶点，并结合翻边准则更新连接关系，直到顶点个数达到指定值[5]。这种方法只是不断地细分网格，仍然存在较大的优化空间。第三类方法则同时加入了顶点的优化过程，在一定程度上顶点位置更加灵活[6]。本发明所述的方法属于最后一类。

参考文献

[1]Dyn N.and Levin D.,Rippa S.Data dependent triangulations forpiecewise linear interpolation[J].IMA Journal of Numerical Analysis.1990,10(1):137-154。

[2]Lehner B.,Umlauf G.,Hamann B.Survey of Techniques for Data-dependent Triangulations Approximating Color Images[J].GI Lecture Notes inInformatics.2008,S-7:178-187。

[3]Su D.,Willis P.Image interpolation by pixel-level data-dependenttriangulation[J].Computer Graphics Forum.2004,23(2):189-201。

[4]N.Dyn,M.S.Floater,A.Iske.Adaptive thinning for bivariate scattereddata[J].Journal of Computational and Applied Mathematics.2002,145:505-517。

[5]Li P.,Adams Michael D.A tuned mesh-generation strategy for imagerepresentation based on data-dependent triangulation[J].IEEE Transactions onImage Processing.2013,22(5):2004-2018。

[6]Kreylos O.,Hamann B.On simulated annealing and the construction oflinear spline approximations for scattered data[J].IEEE Transactions onVisualization and Computer Graphics.2001,7(1):17-31。

发明内容

本发明的目的在于提供在初始三角网格剖分上可以自动地根据图像的特征线产生最优的剖分结果，即该三角剖分能够沿着图像的特征线分布，使得该三角网格逼近该图像时所产生的逼近误差最小的一种图像自适应网格生成变分方法。

本发明包括以下步骤：

S1、输入图像，设定相关参数；

S2、产生初始的三角网格剖分；

S3、根据能量函数及相应的梯度和Hessian矩阵信息计算三角网格顶点的新位置，并将各顶点移动到新位置上；

S4、更新顶点移动后的三角网格的连接关系；

S5、循环执行步骤S3至S4若干次，直到迭代次数达到J，即在图像区域内产生一个剖分结构非常接近原图像的三角网格；输出最优的三角网格和相应的逼近多项式集合。

在步骤S1中，所述图像包括但不限于灰度或彩色；所述相关参数包括但不限于逼近多项式的阶次、三角网格顶点个数N和牛顿迭代的优化次数J。

在步骤S2中，所述产生初始的三角网格剖分的具体方法可为：

S21、在图像区域的四个角点各生成一个顶点，并将它们连接形成一个三角网格，这四个顶点是固定的边界点，在后续优化过程中不参与任何操作；

S22、在当前三角网格上找到一个逼近误差最大的三角面，在该三角形区域上产生一个随机顶点，并插入到当前三角网格；

S23、重复执行S22，直到顶点个数达到设定值。

在步骤S3中，所述根据能量函数及相应的梯度和Hessian矩阵信息计算三角网格顶点的新位置，并将各顶点移动到新位置上的具体方法可为：

S31、对于当前三角网格上的除四个角点外的每个顶点，根据提出的能量函数，及关于顶点的梯度和Hessian矩阵公式，计算除四个角点外的每个顶点相应的梯度分量和Hessian矩阵；

S32、将梯度和Hessian矩阵信息代入牛顿迭代法的公式中，计算除四个角点外的每个顶点的新位置；

S33、步骤S32中的步长值根据下述方法求解得到，即初值为1，不断减小该值，直到某个步长值使得逼近误差减小；为了避免三角网格产生退化，还需考虑顶点移动当前步长值是否会越过它的一邻域范围，若是，则继续减小步长值；

S34、将三角网格上的每个顶点移动到计算得到的相应新位置上。

在步骤S4中，所述更新顶点移动后的三角网格的连接关系的具体方法可为：

S41、对于当前三角网格上的一条内部边，计算与它相邻的两个三角面相应的逼近误差E1、E2；

S42、假设将该边翻转，与之相邻的两个三角面的顶点组合产生变化，计算相应的新的逼近误差E3、E4；

S43、如果E1+E2>E3+E4，则翻转该边；

S44、对当前三角网格的所有内部边执行步骤S41～S43过程，已翻转或者无需翻转或者几何上不能翻转的边称为该边的最优状态；

需要注意的是，翻转一条边可能会导致与该边相邻的四条边不是最优状态，需要对它们重新计算并决定是否需要翻转。

本发明能够在一幅图像上产生一个分布结构非常接近该图像特征线的三角网格。

三角网格的顶点更新不可避免地会出现内部顶点向边界移动，这些顶点的最终归宿是在边界边上，相对来说，它们已经是边界点，所以当一个内部顶点移动到离边界很近的一定范围的位置时，应当将其直接移动到边界上，并设置为边界点，具体操作是，将该点移动到与其相邻的边界面的那条边界边上，然后删除该边界面。这种边界点的后续优化只在边界上移动。

为了使得最终结果尽量好，对整个优化过程进行改进，采用一种逐步优化的策略。具体来说，有：

A1、设定一个参数值n，表示n次加点后三角网格顶点个数达到指定数量N；

A2、初始时，根据贪婪策略产生顶点个数为N/n的三角网格；

A3、对当前网格进行若干次的牛顿迭代优化；

A4、若当前网格顶点个数达到N，则优化过程结束；否则，在当前三角网格上找到逼近误差最大的前N/n个三角面，在这些面上各插入一个顶点，可以随机插入或取三角形的重心插入，此时三角网格增加了N/n个顶点；

A5、重复执行n～1次A3～A4过程；

A6、输出最优的三角网格和相应的逼近多项式集合。

一般来说，为了使得最后的结果较好，一般设置最后一次加完点后优化的次数为前几次加完点后优化次数的2倍。

由此可见，本发明实质上是一个分片多项式逼近方法。主要理论阐述如下：

1、本发明采用分片多项式的方法来逼近一个给定的函数，该函数的定义域被分割成若干个不相交的子区域，在每个子区域上我们构造出一个多项式，用该多项式在该子区域上逼近给定的原函数，多项式阶次可任意指定。

2、关于如何划分给定函数的定义域成若干个子区域，本发明采用简单的几何结构，即三角网格；需要注意的是，为了使得三角网格能够完全覆盖原函数的定义域，我们需要在定义域的特征点上设置三角网格的固定顶点，在后续优化过程中不能移动。例如，当函数定义域为长方形时，在该长方形的四个角点上需要分别设置一个顶点。

3、本发明根据上两条理论，提出一个能量函数。由于我们用三角网格划分原函数的定义域，并在每个小三角形中构建相应的逼近多项式，自然地，在每个小三角形中，多项式与原函数之间一定存在误差，称为逼近误差；一个小三角形中的逼近误差可以用积分计算得出，本发明采用多项式与原函数的差值的平方来表示积分中的被积函数，积分区域即该三角形区域；据此，三角网格对应的总误差为每个小三角形上的误差累加和，我们将其称为能量函数。

4、由于三角网格主要由顶点的位置和顶点之间的连接关系决定，在T3中，能量函数是以三角网格为变量，为了简化计算，将连接关系从能量函数分离出来，令能量函数只与顶点的位置相关，因此利用三角网格逼近原函数的问题包含两步：即优化能量函数(顶点位置的更新)和优化连接关系；由于我们的目标是使得三角网格对应的逼近误差最小，因此，减小逼近误差是连接关系更新的主要原则。

5、本发明采用了牛顿迭代法来优化三角网格的顶点位置。根据能量函数的特点推导出了能量函数关于各个顶点的梯度和Hessian矩阵公式，它们用于牛顿迭代法中顶点新位置的计算；牛顿迭代法中的步长设置如下，初值为1，不断减小它直到顶点的移动能够减小逼近误差且不会造成三角网格产生退化。

6、本发明主要通过翻转边来更新三角网格的连接关系，除了以使逼近误差减小为原则，还需考虑翻转边是否造成三角网格退化。

7、本发明整体的优化过程包括顶点的更新和连接关系的更新，两者不断交替执行，直到达到指定次数。

8、图像可看做是离散的函数，上述理论可直接应用在灰度图像的逼近问题上，同时可以推广到多重函数的逼近问题，如逼近彩色图像；只需适当修改能量函数，详细表述如下：将彩色图像的各个颜色通道看做单独的函数，对每个通道函数分别构造一个逼近多项式，在三角网格的各个小三角形区域上，逼近误差由各个通道的逼近误差累加起来。实际上，只有能量函数的积分部分的被积函数发生改变，它对梯度和Hessian矩阵公式的推导几乎没有影响，因此上述理论同样适用于彩色图像。

本发明采用分片多项式拟合方法并结合牛顿迭代优化方法，使得三角剖分自适应地沿图像特征线分布，利用多项式逼近获得了在三角剖分上逼近原图像良好的视觉和数值效果，可用于图像逼近、图像矢量化等领域。另外，本发明针对彩色图像对上述方法进行扩展，适当修改能量函数及相应的梯度和Hessian矩阵公式，其余过程类似。

本发明采用贪婪插入的策略生成初始网格，即最开始只在图像的四个角上分别设置一个顶点，将这四个顶点连接起来形成初始三角网格；然后在当前三角网格中误差最大的面上加入一个顶点，并更新三角网格。生成初始网格后，可选择是否Delaunay三角化。

本发明根据相关的判断准则，即使逼近误差(能量函数值)减小和三角网格不产生退化情况，通过翻转操作更新三角网格的内部边。

本发明与现有技术相比，具有如下优点：

1、本发明基于分片多项式逼近方法，其中多项式可以是任意阶次的，相比于大多数的线性逼近方法，本发明随着阶次的增大能够产生更好的逼近效果。

2、本发明采用简单的三角网格结构来划分图像区域，因此定义能量函数不仅简单高效，对后续梯度和Hessian矩阵的推导也较为有利。一些通过聚合颜色相似的像素来构造不同的像素簇，从而达到划分的目的的技术，它们产生的划分结构比较复杂，能量函数的定义无法通过简单的变量表达。因此本发明相对于这些技术，能够采用高效的牛顿迭代法对几何结构进行有效的优化。

3、通过使用计算几何以及计算机图形学的方法使得本发明的算法对图像逼近问题具有很好的鲁棒性，能够自适应地生成与图像特征保持一致的三角网格。

附图说明

图1为本发明中一种改进的图像自适应网格生成变分方法工作流程图。

图2为实施例采用的图像原图，其分辨率为1024×768。

图3为本发明输入图像后产生的顶点个数较少的初始网格示意图及其拟合图像。

图4为本发明经过若干次牛顿迭代优化后的示意图及其拟合图像。

图5为本发明在图4中三角网格误差最大的若干个面上各加入一个顶点后的示意图及其拟合图像。

图6为本发明最终优化后的三角网格示意图及其拟合图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例

在对本实施例进行详细描述之前，需要指出的是，本实施例所演示的一种图像自适应网格生成变分方法，是一种自动方式，用户仅需手动设置少量的算法参数即可。关于部分参数的设置，为了获取尽量好的结果，我们建议三角网格总的顶点个数不少于100，总的牛顿迭代次数不少于5次；若采用改进的优化过程，建议加点次数不少于2次，加完点后牛顿迭代的次数不少于3次。另外，本发明对分辨率高的图像具有更好的逼近效果，因此建议图像分辨率不低于128×128；

参见图1，本发明提供了一种图像自适应网格生成变分方法，包括以下步骤：

S1、输入图像、设定算法参数

输入一幅原图像(参见图2)，设定参数如下：逼近多项式的阶次＝1；三角网格总顶点个数＝500；加点次数＝5，即每次加入100个顶点；每次加点后牛顿优化的次数为3次，最后一次加完点后优化次数为6次。

S2、产生初始三角网格

根据S1中的参数，在图像区域内需要产生100个顶点的初始三角网格，其中包括图像区域的四个角点。该步骤具体通过以下步骤实现：

S21、在图像区域的四个角点处各生成一个顶点，并将它们连接形成一个三角网格。

S22、在当前三角网格上找到一个逼近误差最大的三角面，在该三角形区域上产生一个随机顶点，并插入到当前三角网格。

S23、重复执行S22，直到顶点个数达到100。

初始网格结果参见图3。

S3、顶点的更新

根据牛顿迭代公式和提出的能量函数及相关的梯度、Hessian矩阵公式，计算三角网格中除四个角点外其他顶点的新位置并移动。该步骤具体通过以下步骤实现：

S31、对于当前三角网格上的除四个角点外的每个顶点，根据提出的能量函数，及关于顶点的梯度和Hessian矩阵公式，计算除四个角点外的每个顶点相应的梯度分量和Hessian矩阵。

S32、将梯度和Hessian矩阵信息代入牛顿迭代法的公式中，计算除四个角点外的每个顶点的新位置。

S33、步骤S32中的步长值根据下述方法求解得到，即初值为1，不断减小该值，直到某个步长值使得逼近误差减小。为了避免三角网格产生退化，还需考虑顶点移动当前步长值是否会越过它的一邻域范围，若是，则继续减小步长值。若某个内部顶点的新位置离边界很近，则将其设置为边界点。

S34、将三角网格上的除四个角点外的每个顶点移动到计算得到的相应新位置上。

S4、连接关系的更新

在当前三角网格中对每一条内部边判断是否需要翻转。该步骤具体通过以下步骤实现：

S41、对于当前三角网格上的一条内部边，计算与它相邻的两个三角面相应的逼近误差E1、E2。

S42、假设将该边翻转，与之相邻的两个三角面的顶点组合产生变化，计算相应的新的逼近误差E3、E4。

S43、若E1+E2>E3+E4，则翻转该边。

S44、对当前三角网格的所有内部边执行步骤S41～S43过程，已翻转或者无需翻转或者几何上不能翻转的边称为该边的最优状态。需要注意的是，翻转一条边可能会导致与该边相邻的四条边不是最优状态，需要对它们重新计算并决定是否需要翻转。

S5、重复执行步骤S3～S4，直到迭代次数达到3次(当前三角网格顶点个数少于500，参考图4)或6次(当前三角网格顶点个数为500，结果参考图6)。

S6、若当前三角网格顶点个数少于500，则向其中误差最大的100个三角面上各插入一个顶点，新顶点的位置取三角形的重心，加点后的三角网格参考图5。然后重复步骤S3～S5。

Claims (7)

1.一种图像自适应网格生成变分方法，其特征在于包括以下步骤：

S1、输入图像，设定相关参数；

S2、产生初始的三角网格剖分；

S3、根据能量函数及相应的梯度和Hessian矩阵信息计算三角网格顶点的新位置，并将各顶点移动到新位置上；

所述根据能量函数及相应的梯度和Hessian矩阵信息计算三角网格顶点的新位置，并将各顶点移动到新位置上的具体方法为：

S31、对于当前三角网格上的除四个角点外的每个顶点，根据提出的能量函数，及关于顶点的梯度和Hessian矩阵公式，计算除四个角点外的每个顶点相应的梯度分量和Hessian矩阵；

S32、将梯度和Hessian矩阵信息代入牛顿迭代法的公式中，计算除四个角点外的每个顶点的新位置；

S33、步骤S32中的步长值根据下述方法求解得到，即初值为1，不断减小该值，直到某个步长值使得逼近误差减小；为了避免三角网格产生退化，还需考虑顶点移动当前步长值是否会越过它的一邻域范围，若是，则继续减小步长值；

S34、将三角网格上的每个顶点移动到计算得到的相应新位置上；

S4、更新顶点移动后的三角网格的连接关系；

S5、循环执行步骤S3至S4若干次，直到迭代次数达到J，即在图像区域内产生一个剖分结构非常接近原图像的三角网格；输出最优的三角网格和相应的逼近多项式集合。

2.如权利要求1所述一种图像自适应网格生成变分方法，其特征在于在步骤S1中，所述图像包括灰度或彩色。

3.如权利要求1所述一种图像自适应网格生成变分方法，其特征在于在步骤S1中，所述相关参数包括逼近多项式的阶次、三角网格顶点个数N和牛顿迭代的优化次数J。

4.如权利要求1所述一种图像自适应网格生成变分方法，其特征在于在步骤S2中，所述产生初始的三角网格剖分的具体方法为：

S21、在图像区域的四个角点各生成一个顶点，并将它们连接形成一个三角网格，这四个顶点是固定的边界点，在后续优化过程中不参与任何操作；

S22、在当前三角网格上找到一个逼近误差最大的三角面，在该三角形区域上产生一个随机顶点，并插入到当前三角网格；

S23、重复执行S22，直到顶点个数达到设定值。

5.如权利要求1所述一种图像自适应网格生成变分方法，其特征在于在步骤S4中，所述更新顶点移动后的三角网格的连接关系的具体方法为：

S41、对于当前三角网格上的一条内部边，计算与它相邻的两个三角面相应的逼近误差E1、E2；

S42、假设将该边翻转，与之相邻的两个三角面的顶点组合产生变化，计算相应的新的逼近误差E3、E4；

S43、如果E1+E2>E3+E4，则翻转该边；

S44、对当前三角网格的所有内部边执行步骤S41～S43过程，已翻转或者无需翻转或者几何上不能翻转的边称为该边的最优状态。

6.一种图像自适应网格生成变分方法，其特征在于包括以下步骤：

A1、设定一个参数值n，表示n次加点后三角网格顶点个数达到指定数量N；

A2、初始时，根据贪婪策略产生顶点个数为N/n的三角网格；

A3、对当前网格进行若干次的牛顿迭代优化；

A4、若当前网格顶点个数达到N，则优化过程结束；否则，在当前三角网格上找到逼近误差最大的前N/n个三角面，在这些面上各插入一个顶点，是随机插入或取三角形的重心插入，此时三角网格增加了N/n个顶点；

A5、重复执行n-1次步骤A3～A4过程；

A6、输出最优的三角网格和相应的逼近多项式集合。

7.如权利要求6所述一种图像自适应网格生成变分方法，其特征在于最后一次加点后优化的次数为前几次加完点后优化次数的2倍。