CN103325130A - 基于t样条的几何迭代图像拟合方法 - Google Patents

Abstract

本发明公开了一种基于T样条的几何迭代图像拟合方法，给定分辨率为

的图像M，以图像每个像素点处的(R,G,B)值作为数据点，并选取双三次B样条曲面作为初始曲面对所述的图像M进行拟合；根据迭代方程对所述的初始曲面进行几何迭代，生成第k次T样条曲面T^(k)(u,v)；每次迭代后做如下判断，根据当前T样条曲面T^(k)(u,v)与数据点I_wh之间的误差向量

得到总体拟合误差ε_k，并将总体拟合误差ε_k与前一T样条曲面T^(k-1)(u,v)对应的总体拟合误差ε_k-1进行比较，当二者的差值趋于零时，迭代终止；此时，若拟合误差不满足精度要求，则插入节点，调整网格，继续进行几何迭代；若拟合误差满足精度要求，则生成了所要的T样条拟合曲面，算法结束。

Description

基于T样条的几何迭代图像拟合方法

技术领域

本发明涉及一般的数据拟合技术，尤其涉及基于T样条的几何迭代图像拟合方法。

背景技术

给定一幅图像，对它用参数样条曲面进行拟合，得到压缩的样条曲面表示。要求按照这个表示方法能够在一定误差范围内恢复原始的图像，并且能够计算非整数点位置的像素值。这个问题在图像放缩、图像变换、图像滤波以及图像压缩等方面用途广泛，十分重要。许多学者深入研究了这一问题，提出了许多方法，这些方法大致可以分为以下几类：

基于分段插值的方法。这类方法包括分段线性插值以及分段三次插值等类型，可以参考文献[Maeland88]E.Maeland.On the comparison ofinterpolation methods.Medical Imaging,IEEE Transactions on,Vol.(7),No.(3),1988,213-217,以及文献[T.Blu04]T.Blu,P.Thevenaz.and M.Unser.Linearinterpolation revitalized.Image Processing,IEEE Transactions on,Vol.(13),No.(5),2004,710-719等等。这类方法具有简单的计算方法与快速的计算速度，使之成为图像处理中最流行的工具之一。但是这类方法仅仅考虑了点周围有限空间内的影响，而且采用的图像拟合问题的模型过于简单，不能够准确的反映出图像的特征。

基于Delaunay三角剖分的方法。这类方法首先对原始图像进行特征边提取，然后对提取出来的特征边进行采样，计算一个带约束的Delaunay三角剖分作为图像的表示。文献[Lecot06]Lecot,G.and Levy,B.ARDECO:Automatic Region Detection and Conversion.In17th Euro graphicsSymposium on Rendering-EGSR’06,349–360中提到的ArDeco方法把图像分割成为一组三角化的质心Voronoi图去逼近图像。文献[Demaret06]Demaret,L.,Dyn,N.,and Iske,A.Image compression by linear splines overadaptive triangulations.Signal Process.Vol.(86)No.(7),2006,1604–1616,中采用自适应的线性样条去逼近图像，能够很好的自适应的保留图像特征，并且线性样条保证了与原始图像的颜色域上的平均平方距离最小。虽然这些方法都很有效，但是他们通常都会为了表达颜色变化的细节而生成大量的三角形。

基于高阶参数化曲面的方法。这类方法首先把一整个图像分割成几个物体。文献[Price06]Price,B.,and Barrett,W.Object-based vectorization forinteractive image editing.The Visual Computer.Vol.(9),No.(22),2006,661–670的方法通过正规化的三次Bézier曲面拟合每一个物体，然后通过误差驱动的细分方法递归地进行图像分割。然而，这种方法在接近颜色变化剧烈的地方将会生成大量的小四边形。文献[Sun07]Sun,J.,Liang,L.,Wen,F.,and Shum,H.Image vectorization using optimized gradient meshes.ACMTransactions on Graphics(TOG),Vol.(26),No.(3),中提到的优化的梯度网格方法，首先对每一个分割出来的物体通过一张Ferguson曲面进行拟合。虽然通过这种方法产生的梯度网格有时候能够产生更少的四边形以及拥有正规化的优点，但是，这个方法包含了非常耗时的非线性优化和手动网格初始化。

发明内容

本发明的目的在于针对现有技术的不足，提出基于T样条的几何迭代图像拟合方法。本方法发现并利用了T样条曲面几何迭代的性质，生成了等价于最小二乘拟合曲面的结果；发明了拟合曲面上误差向量在控制点上的聚合方法，保证了几何迭代的收敛性；利用图像拟合中误差较大的点分布通常比较集中的特性，发明了采用误差较大区域网格中心点进行节点插入的网格调整策略；根据基于点的样条曲面的特性，发明了高效的T样条曲面图像的计算方法。

一种基于T样条的几何迭代图像拟合方法，包括以下几个步骤：

1）给定图像M，其分辨率为以图像在像素点(w,h)处的颜色RGB值(R_wh,G_wh,B_wh)作为数据点I_wh，即I_wh＝(R_wh,G_wh,B_wh)，并选取双三次B样条曲面作为初始曲面对所述的图像M进行拟合；

2）根据迭代方程（a）、（b）、（c）对所述的初始曲面进行几何迭代，生成第k次T样条曲面T^(k)(u,v)；

$T^{(k+1)}(u,v)=T^{\left(k\right)}(u,v)+{\mathrm{\Σ}}_i{\mathrm{\Δ}}_i^{\left(k\right)}{B}_i(u,v)$      （a）

$T^{\left(k\right)}(u,v)={\mathrm{\Σ}}_i{T}_i^k{B}_i(u,v)$      （b）

${\mathrm{\Δ}}_i^{\left(k\right)}=\frac{{\mathrm{\Σ}}_{(w,h)\∈I_{\mathrm{wh}}}{B}_i(w,h){\mathrm{\δ}}_{w,h}^{\left(k\right)}}{{\mathrm{\Σ}}_{(w,h)\∈I_{\mathrm{wh}}}{B}_i(w,h)}$      （c）

式中：k为迭代次数，

为第k次T样条曲面上的控制点，i为控制点的序数，B_i(u，，v)为对应的基函数，u,v为T样条曲面T^(k)(u,v)的参数，

为T样条曲面T^(k)(u,v)与数据点I_wh之间的误差向量，B_i(w,h)表示基函数在参数(w,h)处的值。

每次迭代后做如下判断，根据当前T样条曲面T^(k)(u,v)与数据点I_wh之间的误差向量得到总体拟合误差ε_k

并将总体拟合误差ε_k与前一T样条曲面T^(k-1)(u,v)对应的总体拟合误差ε_k-1进行比较，当二者的差值趋于零时，迭代终止。

在步骤2）中，所述T样条曲面T^(k)(u,v)与数据点I_wh之间的误差向量 ${\mathrm{\δ}}_{w,h}^{\left(k\right)}=I_{\mathrm{wh}}-T^{\left(k\right)}(w,h).$

在步骤1）中给定目标拟合精度ε₀，针对步骤2）中迭代终止得到T样条曲面T^(k)(u,v)，若总体拟合误差ε_k不满足目标拟合精度ε₀时，在拟合误差较大区域的网格中心点处插入节点形成新的控制点，再次重复步骤2）进行图像拟合迭代，直至生成的T样条曲面所对应的总体拟合误差满足所述的目标拟合精度ε₀。

步骤2）中迭代终止后，所述的图像M被分割成多个子区域，选取所有子区域中拟合误差较大的若干子区域，在拟合误差较大的各子区域中寻找拟合误差最大的数据点，所述数据点的参数值为(a,b)，以参数值(a,b)作为新节点插入T样条曲面，该新节点基函数的节点向量是[w₀,w₁,w₂,w₃,w₄]和[h₀,h₁,h₂,h₃,h₄]，其中a＝w₂，b＝h₂，则插入节点的坐标为((w₁+w₃)/2,(h₁+h₃)/2)。所述的拟合误差较大的若干子区域为所有子区域中拥有拟合误差的前10%的子区域。

在第k次几何迭代过程终止以后，整个图像将会被更加均匀的细分成为km₀×kn₀个子区域,其中k＝0,1,2…,选取所有子区域中拥有最大拟合误差的前10%的区域，即((k-1)m₀×(k-1)n₀)/10个子区域。

本发明采用的技术方案：

1）利用了T样条曲面的几何迭代性质：这是T样条曲面的内在本质，对控制点不断根据差异向量进行调整，最终能够收敛于最小二乘拟合结果；

2）设计了曲面上误差向量的聚合方法：几何迭代中控制点需要根据差异向量进行调整，生成更优的曲面，将每一个像素点的误差向量按照控制点对应的基函数在此处的值作为权值进行归一化聚合；

3)提出了网格调整策略：为了避免控制点之间过于接近，采用了对于误差较大区域在网格中心点进行节点插入的网格调整策略；

4)提出了T样条曲面图像的计算方法：利用基于点的样条曲面的独有特性，计算每一个控制点对影响区域内所有参数点的贡献，将结果累加在每一个参数点上，得到拟合的图像曲面；

我们证明了对于T样条曲面来说，采用我们设计的误差向量的聚合方法进行几何迭代拟合，最终的结果能够收敛于最小二乘拟合结果。

采用我们的网格调整策略，能够进一步的对拟合误差较大的区域进行细分，继续减小拟合的误差。可以知道，最终生成的网格不同部分的疏密直接反映了原始图像变化的剧烈程度，也就是说自适应的提取到了图像的特征。

T样条曲面图像的计算，对于每一个控制点，计算对于影响区域内所有参数点的贡献，将结果累加在每一个参数点上，能够得到拟合的图像曲面。随着控制点的插入，每个控制点的影响区域将会被分摊，导致整体的计算规模维持不变，从而使得计算规模相对于控制点的数目增加而维持不变。

本发明与背景技术相比较，其优点在于：

本方法利用了T样条曲面的几何迭代性质，它的极限等价于最小二乘拟合结果，但避免了求解线性方程组的过程，同时减少了其他种类样条曲面为了维护网格结构而添加的大量无关控制点，能够大大节约计算资源。对于控制点的调整向量的生成，本方法综合考虑误差大小和控制点的相关性两个方面的因素，达到了很好的收敛效果。在计算T样条曲面图像的时候，我们计算对控制点影响区域内所有参数点的贡献，将结果累加在每一个参数点上，得到拟合的图像曲面。随着控制点的插入，每个控制点的影响区域将会被分摊，导致整体的计算规模维持不变，使得计算规模相对于控制点的数目增加而维持不变。

附图说明

图1是本发明方法的流程图；

图2是几个基本概念的示意图。

具体实施方式

本发明提出一种基于T样条的几何迭代图像拟合方法。它包括图像拟合和网格调整两个过程：设给定一幅图像M，一个目标拟合精度ε₀，本方法根据图像M拟合出一张T样条曲面，使得拟合误差小于给定的目标拟合精度ε₀。图1是本方法的流程图。其中，图像的几何迭代拟合过程首先构造一张初始曲面，将拟合误差与前一误差比较，判断是否达到了误差稳定状态（第一次拟合视为不稳定）；如果没有达到稳定状态,则根据差异向量调整控制点，生成新的曲面；这个过程迭代进行，直到拟合误差达到稳定状态。图像迭代过程结束后，检验拟合误差是否满足了预设的目标拟合精度ε₀，如果没有满足，则插入新的节点，进行网格调整，然后再次进行图像拟合；如果拟合误差满足要求，就生成了所求的样条曲面。为了方便叙述，首先介绍几个概念。

1）基本概念

如图2所示，T样条控制网格（T网格）的顶点P是T网格的控制点，如图2a所示，P₈点与P₁₆点是T样条网格特有的T节点。点A代表参数域上的某个参数值为(w,h)的参数点，如图2a所示，P₀～P₁₈都是对参数点(w,h)有影响的控制点。

如图2b所示，对于某一个控制点P₈来说，他的两个方向上的节点向量分别定义在[w₀,w₁,w₂,w₃,w₄]与[h₀,h₁,h₂,h₃,h₄]上，图中阴影区域C表明了该控制点的影响区域，也就是它对应的基函数不为零的区域。

2）参数化与初始样条曲面的构造

对于给定的图像M，分辨率为

基于T样条的几何迭代拟合算法选取颜色为(r,g,b)的像素点(w,h)作为数据点，即：

I_wh＝(r_wh,g_wh,b_wh),w＝0,1,…,

h＝0,1,…ψ-1

被作为数据点。这些点的参数值选择为它们在原始图像M上对应的像素坐标(w,h)。此外，由于原始图像M的分辨率为

因此T样条曲面的参数域为

初始曲面的选择对最终生成的T网格有一些影响。

在本方法中，选取双三次B样条曲面作为初始曲面，共有个均匀分布的控制点，其中

表示大于或等于

的最小整数。虽然初始控制点是均匀选取的，但是随着节点插入的网格调整策略，T网格将会逐渐的自动提取出图像的特征，B样条曲面变成了T样条曲面。

3）几何迭代拟合

从初始曲面开始，假设已经进行了k次迭代，生成了第k次T样条曲面 $T^{\left(k\right)}(u,v)={\mathrm{\Σ}}_i{T}_i^{\left(k\right)}{B}_i(u,v),$ 其中，

为控制点，B_i(u,v)为基函数。下面，我们以从第k次T样条曲面生成第(k+1)次T样条曲面为例，说明几何迭代拟合的迭代步骤。

首先，计算当前T样条曲面T^(k)(u,v)与数据点之间的误差向量，也就是所有数据点与拟合曲面上对应点之间的差异向量

${\mathrm{\δ}}_{w,h}^{\left(k\right)}=I_{\mathrm{wh}}-T^{\left(k\right)}(w,h)$

并由此得到一个总体拟合误差ε_k，

本方法将每一个数据点的差异向量按照控制点（T样条曲面上的控制点）对应的基函数B_i(u,v)在此处的值B_i(w,h)作为权值进行归一化聚合，作为几何迭代方法中控制点的调整向量

${\mathrm{\Δ}}_i^{\left(k\right)}=\frac{{\mathrm{\Σ}}_{(w,h)\∈I_{\mathrm{wh}}}{B}_i(w,h){\mathrm{\δ}}_{w,h}^{\left(k\right)}}{{\mathrm{\Σ}}_{(w,h)\∈I_{\mathrm{wh}}}{B}_i(w,h)}$

将加到当前控制点上后，生成了下一次(k+1)次的T样条曲面T^(k+1)(u,v)，计算此时的总体拟合误差ε_k并与前一次拟合误差进行比较，这个过程迭代进行，当两次误差之间的差值趋于零时，则说明几何迭代拟合的过程接近了收敛极限，迭代终止。

可以证明，T样条曲面的几何迭代拟合过程，最终收敛于最小二乘法的拟合结果。

4）节点插入与网格调整

在整个几何迭代过程达到稳定停止之后，如果当前T样条曲面的拟合误差ε_k没有达到预设的精度要求ε₀时，我们需要在当前网格中插入一些节点来提高整个网格的自由度，进一步减小拟合误差。

将当前的T样条曲面记为T(u,v)，节点插入很自然的选择就是在具有最大拟合误差的像素点处插入节点。然而，很多情况下，误差最大的点彼此之间会非常靠近，这就导致了节点插入后，节点线之间非常接近，这会产生一些视觉上不光滑现象，因此本方法采用了对误差较大区域的网格中心点进行节点插入的网格调整策略。

首先，把整个图像M均匀的分割成为m₀×n₀个子区域.本方法中,初始选取

作为分割区域。在第k次几何迭代过程终止以后，整个图像将会被更加均匀的细分成为km₀×kn₀个子区域,其中k＝0,1,2…,选取所有子区域中拥有最大拟合误差的前10%的区域，即：((k-1)m₀×(k-1)n₀)/10个子区域。然后，对于每一个选择好的子区域，首先寻找拟合误差最大的数据点，设它的参数值为(w,h).如果它插入后对应的基函数的节点向量是[w₀,w₁,w₂,w₃,w₄]和[h₀,h₁,h₂,h₃,h₄]，其中w＝w₂,h＝h₂，那么，我们就在((w₁+w₃)/2,(h₁+h₃)/2)处插入节点。

5)样条曲面的计算

几何迭代拟合的每个步骤中，每个像素点(w,h)上的颜色值都需要计算。当像素点的个数十分巨大时，这个计算过程需要耗费巨大的计算资源。因此，T样条的计算策略将会对整个算法的效率产生巨大的影响。

T样条是基于点的样条，每个T样条节点对应着一个基函数。每一次几何迭代拟合的过程，基函数都是不变的，只有T网格的顶点发生了变化。T网格的顶点数目和基函数的数目要远远小于像素点的数目。我们的计算策略基于下面T节点的数据结构，每个T节点对应着一个基函数，

struct{int u[1:5];

int v[1:5];

double p[1:3];

vector u_cache;

vector v_cache}T_node;

这里u和v分别代表了沿着u方向和v方向上的节点向量，P是对应着T节点的网格顶点的三个坐标，两个数组u_cache和v_cache存储预先计算好的基函数。

假设对应着当前T节点的基函数是B_k(u,v),它是两个三次B样条基函数的乘积，B_k(u,v)＝N_k(u)N_k(v)，其中N_k(u)和N_k(v)定义在节点向量[w₀,w₁,w₂,w₃,w₄]和[h₀,h₁,h₂,h₃,h₄]上面。根据B样条基函数的局部性质，B_k(u,v)＝N_k(u)N_k(v)只在区域(w₀,w₄)×(h₀,h₄)上非零。那么我们把N_k(w),w＝w₀+1,w₀+2,…,w₄-1存储在数组u_cache中，同时把N_k(h),h＝h₀+1,h₀+2,…,h₄-1存储在数组v_cache中。

为了计算颜色值，首先准备一个大小是

的全零数组

然后，遍历所有的T节点，对于每一个T节点，将顶点坐标p[1:3],在u_cache中的N_k(w)以及在v_cache中的N_k(h)乘在一起，并将计算结果累加到刚才准备好的数组V[w,h,1:3]中去。最后，数组

中储存了每一个像素点(w,h)上的颜色值。

T节点在每一次几何迭代拟合之前构造，在迭代拟合的步骤中，只有T网格的顶点p[1:3]会发生改变，而其它的部分将会保持不变。值得注意的是当T网格顶点数目增加时，每一个基函数的非零区域将会减少。因此，这个T样条曲面图像计算方法会使得几何迭代拟合的速度是恒定的,与T网格的顶点数目无关。

Claims (6)

1.一种基于T样条的几何迭代图像拟合方法，其特征在于，包括以下几个步骤：

1）给定图像M，其分辨率为

以图像在像素点(w,h)处的颜色RGB值(R_wh,G_wh,B_wh)作为数据点I_wh，即I_wh＝(R_wh,G_wh,B_wh)，并选取双三次B样条曲面作为初始曲面对所述的图像M进行拟合；

2）根据迭代方程（a）、（b）、（c）对所述的初始曲面进行几何迭代，生成第k次T样条曲面T^(k)(u,v)；

$T^{(k+1)}(u,v)=T^{\left(k\right)}(u,v)+{\mathrm{\Σ}}_i{\mathrm{\Δ}}_i^{\left(k\right)}{B}_i(u,v)$      （a）

$T^{\left(k\right)}(u,v)={\mathrm{\Σ}}_i{T}_i^k{B}_i(u,v)$      （b）

${\mathrm{\Δ}}_i^{\left(k\right)}=\frac{{\mathrm{\Σ}}_{(w,h)\∈I_{\mathrm{wh}}}{B}_i(w,h){\mathrm{\δ}}_{w,h}^{\left(k\right)}}{{\mathrm{\Σ}}_{(w,h)\∈I_{\mathrm{wh}}}{B}_i(w,h)}$      （c）

式中：k为迭代次数，

为第k次T样条曲面上的控制点，i为控制点的序数，B_i(u,v)为

对应的基函数，u,v为T样条曲面T^(k)(u,v)的参数，为T样条曲面T^(k)(u,v)与数据点I_wh之间的误差向量，B_i(w,h)表示基函数在参数(w,h)处的值；

每次迭代后做如下判断，根据当前T样条曲面T^(k)(u,v)与数据点I_wh之间的误差向量得到总体拟合误差ε_k

并将总体拟合误差ε_k与前一T样条曲面T^(k-1)(u,v)对应的总体拟合误差ε_k-1进行比较，当二者的差值趋于零时，迭代终止。

2.如权利要求1所述的基于T样条的几何迭代图像拟合方法，其特征在于，在所述的步骤2）中，当两次迭代的总体拟合误差ε_k与ε_k-1的差值小于10时，迭代终止。

3.如权利要求2所述的基于T样条的几何迭代图像拟合方法，其特征在于，在步骤2）中，所述T样条曲面T^(k)(u,v)与数据点I_wh之间的误差向量 ${\mathrm{\δ}}_{w,h}^{\left(k\right)}=I_{\mathrm{wh}}-T^{\left(k\right)}(w,h).$

4.如权利要求1所述的基于T样条的几何迭代图像拟合方法，其特征在于，在步骤1）中给定目标拟合精度ε₀，针对步骤2）中迭代终止得到T样条曲面T^(k)(u,v)，若总体拟合误差ε_k不满足目标拟合精度ε₀时，在拟合误差较大区域的网格中心点处插入节点形成新的控制点，再次重复步骤2）进行图像拟合迭代，直至生成的T样条曲面所对应的总体拟合误差满足所述的目标拟合精度ε₀。

5.如权利要求4所述的基于T样条的几何迭代图像拟合方法，其特征在于，步骤2）中迭代终止后，所述的图像M被分割成多个子区域，选取所有子区域中拟合误差较大的若干子区域，在拟合误差较大的各子区域中寻找拟合误差最大的数据点，所述数据点的参数值为(a,b)，以参数值(a,b)作为新节点插入T样条曲面，该新节点基函数的节点向量是[w₀,w₁,w₂,w₃,w₄]和[h₀,h₁,h₂,h₃,h₄]，其中a＝w₂，b＝h₂，则插入节点的坐标为((w₁+w₃)/2,(h₁+h₃)/2)。

6.如权利要求5所述的基于T样条的几何迭代图像拟合方法，其特征在于，所述的拟合误差较大的若干子区域为所有子区域中拥有拟合误差的前10%的子区域。

Images