CN101877148A - 基于全局结构的三维网格模型修复方法 - Google Patents

Abstract

基于全局结构的三维网格模型修复方法，分为4个阶段：第1阶段，检测三维网格模型的空洞；第2阶段，将所述三维网格模型通过使用改进的双边滤波算法分解为基模型和高频信息；第3阶段，基于第2阶段分解后得到的基模型，使用平滑的三维模型修复方法修复基模型；第4阶段，基于第2阶段分解后得到的高频信息，修复空洞中的几何结构细节；该阶段分为7个步骤：(1)由用户通过图形界面交互操作的方式添加结构曲线；(2)基于(1)中的结构曲线检测兴趣区域；(3)由用户通过图形界面交互操作方式指定控制区域，并将该区域参数化到二维平面；(4)基于第2阶段分解后得到的高频信息在(3)中参数化得到的二维平面中生成几何细节图像；(5)修复由(4)得到的几何细节图像；(6)将由(5)修复后的几何细节图像映射回所述三维网格模型实现最终三维模型修复。本发明可以修复具有明显全局结构细节信息的三维网格模型，修复后的三维网格模型拥有更加丰富的几何结构细节。

Description

基于全局结构的三维网格模型修复方法

技术领域

本发明属于计算机图形学领域，涉及一种三维网格模型的修复方法，尤其能够修复具有明显全局结构信息的三维网格模型。

背景技术

在目前存在许多三维网格模型修复方法，一类常见的网格模型修复方法是在缺失几何信息的空洞区域内填补适当的网格作为补丁，并保证填补的补丁满足空洞的边界条件。另一类方法是基于体的修复方法，它能取得和直接填补空洞方法类似的修复效果。这种修复方法将填补空洞的过程视为表面重建的过程。还有一类方法是基于模板的修复方法。缺损面积较大或拓扑结构缺失的模型一般难以使用前述方法修复，针对这类模型，基于模板的修复方法先由用户指定或自动从模型库中检索出一个与待修复模型拓扑结构一致且几何形状相似的完整模型作为模板，然后根据模板来修复缺损的模型。

当空洞周围的网格具有较丰富的几何细节时，以上方法都不能充分利用已知区域的几何信息，这样，用它们修复的空洞都会由于过于平滑而难以取得满意的视觉效果。这是因为以上方法都无法保证能够准确的将已知区域的结构信息复制到空洞区域内。针对这一问题，有人提出了一种通过用户交互的方式将重要的结构信息从已知区域传播到未知区域，并完成图像修复的方法：首先由用户添加一些从已知区域过渡到未知区域的曲线，用来提示重要的全局结构信息应该如何被修复；然后在这些曲线的指导下用基于像素的方法先修复未知区域内的结构信息；最后用纹理复制的方法修复空洞内的剩余区域。

发明内容

本发明要解决的技术问题：提出了一种基于全局结构的f网格模型修复方法，使用该方法可以修复空洞区域缺失的全局结构信息。

本发明采用的技术方案：基于全局结构的三维网格模型修复方法，分为4个阶段：

第1阶段，检测三维网格模型的空洞；

第2阶段，将所述三维网格模型通过使用改进的双边滤波算法分解为基模型和高频信息；

第3阶段，基于第2阶段分解后得到的基模型，使用平滑的三维模型修复方法修复基模型；

第4阶段，基于第2阶段分解后得到的高频信息，修复空洞中的几何结构细节，该阶段分为6个步骤：

(1)由用户通过图形界面交互操作的方式添加结构曲线；

(2)基于(1)中的结构曲线检测兴趣区域；

(3)由用户通过图形界面交互操作方式指定控制区域，并将该控制区域参数化到二维平面；

(4)基于第2阶段分解后得到的高频信息在(3)中经参数化得到的二维平面中生成几何细节图像；

(5)修复由(4)得到的几何细节图像；

(6)将由(5)修复后的几何细节图像映射回所述三维网格模型实现最终三维模型修复。

所述第2阶段改进的双边滤波算法为：将双边滤波器与Laplace算子相结合，定义了一个新的二阶Laplace双边滤波算子，并利用所述新的二阶Laplace双边滤波算子迭代的对网格进行光顺。首先估算出基模型B中各顶点的法向，然后对所述三维网格模型M做光顺处理得到基模型B，这一过程中所述三维网格模型M中的顶点只会沿估算出来的基模型B中对应顶点的法向方向运动，最后计算出所述三维网格模型M中每个顶点相对于基模型B中对应顶点的位移，并将其作为该顶点的几何细节信息，即高频信息Δ，这样，就达到将所述三维网格模型M分解为基模型B和高频信息Δ的目标。

所述第4阶段的步骤(2)，基于(1)中的结构曲线检测兴趣区域的方法为：先找出一个包含了最多结构特征的初始顶点集V0并计算其统计特征

然后将初始顶点集的n环邻域内的顶点以环为单位逐次加入初始集，并计算出新构成的顶点集合V_i的统计特征

如果

与

的统计特征的差异

超过了预定义的阈值，那么，可以认为新加入的顶点不在属于结构兴趣区域检测，否则，将这些顶点加入兴趣区域检测。使用每一顶点在法向方向的偏移量δ作为该顶点及其邻域的几何特征描述。定义顶点集合V的统计特征S_V为：

同时定义两个顶点集统计特征

和之间的差异为：

一般的，统计特征的差异阀值取0.15。

所述第4阶段的步骤(4)，基于第2阶段分解后得到的高频信息在(3)中参数化得到的二维平面中生成几何细节图像的方法为：首先，采用参数化的方法将三维网格的顶点映射到一个二维域上，然后根据网格顶点的几何细节信息重采样生成一幅灰度图像，所生成灰度图像中每个像素的灰度值是由此像素所属三角形三个顶点的几何细节信息插值得到的，这幅图像就是几何细节图像。几何细节图像相当于网格模型的高频几何细节信息在二维域的一种等价表示。

所述第4阶段的步骤(5)，修复由(4)得到的几何细节图像的方法为：在兴趣区域内，沿着结构曲线将已知区域内的梯度信息复制到空洞区域内，然后修复非兴趣区域，最终恢复出空洞区域内所有像素的梯度值。最后根据边界处的像素信息和空洞内的梯度信息，得到最终修复后的几何细节图像，使得修复后的几何细节图像的梯度信息与空洞内的梯度信息最接近。

本发明与现有技术相比的优点在于：

(1)本发明中的改进的双边滤波算法，可以保证模型上的每个顶点只沿法向方向移动到基模型的对应顶点上。这样，就可以将顶点在法向方向的偏移量作为表示顶点几何细节的高频信息。

(2)本发明将表示几何结构细节的高频信息生成为几何细节图像，采用修复该几何细节图像再投影回原三维网格模型的方法，减少了修复网格模型的复杂度，提高了计算效率。

(3)本发明可以修复具有全局几何结构细节信息的三维网格模型空洞，并使修复后的模型显示明显的几何结构细节，在几何结构细节效果方面优于现有的其他三维网格修复方法。

附图说明

图1为本发明基于全局结构的三维网格模型修复方法流程图。

具体实施方式

如图1所示，本发明的具体步骤如下(虚线框内步骤为已有技术)：

1.将三维网格模型通过使用改进的双边滤波算法分解为基模型和高频信息。

将双边滤波器与Laplace算子相结合，定义了一个新的二阶Laplace双边滤波算子，并利用该算子迭代的对网格进行光顺。首先估算出基模型B中各顶点的法向，然后对三维网格模型M做光顺处理得到基模型B，这一过程中三维网格模型M中的顶点只会沿估算出来的基模型B中对应顶点的法向方向运动，最后计算出三维网格模型M中每个顶点相对于基模型B中对应顶点的位移，并将其作为该顶点的几何细节信息，即高频信息Δ。这样，就达到将原模型M分解为基模型B和高频信息Δ的目标。

本发明利用顶点邻域内各定点的预测值的加权平均值来估算该顶点新的空间位置。本方法将空间距离定义为||q-p||，将信号强度差异定义为||∏_q(p)-p||。考虑到网格对曲面采样的非均一化，本方法将顶点q的Voronoi区域面积作为面积权值A_q，另外，考虑到各顶点间法向的差异，将两个顶点的法向间的内积做为法向差异权值D_q＝n_q·n_p。由此，顶点p的扩散后的估值为：

其中，空间临近因子W_c为含参数σ_c的Gauss滤波器：

信号强度相似因子W_s为含参数σ_s的Gauss滤波器：

N(p)为顶点p的邻域点，定义N(p)为点集{q_i}，并满足W_c(||q_i-p||)＞0且

。为获得更好的曲面滤波效果，本文定义顶点p的一阶拉普拉斯双边滤波算子为：

相应的二阶拉普拉斯双边滤波算子为：

利用该算子对p进行滤波扩散，使

来表达滤波的效果。本方法对三维网格模型M迭代n次(一般的n＝5)上述操作，不断改变顶点的空间位置，最终达到理想的结果。

为了更好的获取基模型法向的预测值，本发明利用非鲁棒的简单高斯滤波对原模型顶点的法向进行扩散。利用公式：

对网格模型的顶点法向量进行迭代扩散，将最后一次迭代结果作为基模型顶点的法向的预测值。

2.检测兴趣区域。

检测兴趣区域的方法为：先找出一个包含了最多结构特征的初始顶点集V₀并计算其统计特征

然后将初始顶点集的n环邻域内的顶点以环为单位逐次加入初始集，并计算出新构成的顶点集合V_i的统计特征

如果

与

的统计特征的差异

超过了预定义的阈值，那么，可以认为新加入的顶点不在属于结构兴趣区域检测，否则，将这些顶点加入兴趣区域检测。使用每一顶点在法向方向的偏移量δ作为该顶点及其邻域的几何特征描述。定义顶点集合V的统计特征S_V为：

同时定义两个顶点集统计特征

和

之间的差异为：

一般的，统计特征的差异阀值取0.15。

检测兴趣区域算法的主要步骤如下：

算法：兴趣区域检测算法

Input：全局结构曲线c

Output：c经过的兴趣区域

1找出c经过的已知区域的所有三角面片；

2将属于这些三角面片的顶点加入集合V₀；

3计算V₀的统计特征

4Ret←V₀；

5while true do

6找出Ret的一环邻域N(Ret)；

7Cur←Ret+N(Ret)；

8计算Cur的统计特征S_cur；

9if

10退出循环；

11else

12Ret←Ret+N(Ret)；

13end

14end

15return Ret；

3.生成几何细节图像。

生成几何细节图像的方法为：首先，采用参数化的方法将三维网格的顶点映射到一个二维域上，然后根据网格顶点的几何细节信息重采样生成一幅灰度图像，所生成灰度图像中每个像素的灰度值是由此像素所属三角形三个顶点的几何细节信息插值得到的，这幅图像就是几何细节图像。几何细节图像相当于网格模型的高频几何细节信息在二维域的一种等价表示。

在生成几何细节图像时，参数化方法是及其重要的。将三维网格影射到二维参数域的过程中，所采用的参数化方法应该保证扭曲变形最小化。本文采取均值坐标参数化方法，该方法避免了能量系数出现负值的情况，可生成准共形影射，有效的减小扭曲变形。为了进一步减小参数化过程造成的参数域的面积扭曲，本文方法允许用户在网格模型上选取一块包含空洞及兴趣区域的准矩形区域，然后将选取的区域的边界以逆时针方向弦长参数化到二维的矩形区域内，对内部顶点计算权值，由此得到一个大型稀疏的最小二乘线性系统，本方法用Cholesky分解对该系统进行求解。

完成参数化后，将网格顶点的参数值做为二维坐标值，将顶点高频细节信息做为灰度值，并对该二维参数域进行重采样，便可生成几何细节图像。这里需要考虑的是是几何细节图像的分辨率问题。如果分辨率过低，那么三维模型的高曲率特征可能会由于低采样而丢失；如果分辩率过高，会给后续的计算带来高昂的计算代价。在二维参数域中，设矩形区域的长和宽分别为length和width，那么先求出参数域中的网格顶点间所有边的平均边长size，并用step＝α×size作为采样步长，则几何细节图像的分辨率为m×n，其中m＝length/step，n＝width/step。这里的α为用户指定的常数，通常，α＝0.3时，生成的GDI即可达到采样质量的要求，又可满足计算速度的要求。在生成GDI的过程中，用户输入的结构曲线C和对应的兴趣区域集合R也同时被映射到几何细节图像GDI的像素上，构成了几何细节图像上的结构曲线和兴趣区域，这些信息在修复几何细节图像时会被用到。

4.修复几何细节图像。

修复几何细节图像的方法为：在兴趣区域内，沿着结构曲线将已知区域内的梯度信息复制到空洞区域内，然后修复非兴趣区域，最终恢复出空洞区域内所有像素的梯度值。最后根据边界处的像素信息和空洞内的梯度信息，得到最终修复后的几何细节图像，使得修复后的几何细节图像的梯度信息与空洞内的梯度信息最接近。整个算法的流程如下：

(1)初始化几何细节图像中所有像素的各个属性以及预计算。

其中像素p的置信度信息初始化为：

$\mathrm{confidence}\left(p\right)=\left\{\begin{array}{cc}0& \∀p\∈{\mathrm{\Ω}}_l,\\ 1& \∀p\∈I/{\mathrm{\Ω}}_l.\end{array}\right.$

像素p的所属曲线信息初始化为：

像素p的所属兴趣区域信息初始化为：

计算每个像素的梯度信息和所有像素的距离长信息。其中计算梯度信息的方法是前向差分法：即

$\left\{\begin{array}{c}{G}_x\left(p(x,y)\right)=\mathrm{gray}\left(p(x+1,y)\right)-\mathrm{gray}\left(p(x,y)\right)\\ G_y\left(p(x,y)\right)=\mathrm{gray}\left(p(x,y+1)\right)-\mathrm{gray}\left(p(x,y)\right).\end{array}\right.$

像素的距离场定义为：

其中，L¹表示1阶的Minkowski距离，易知，通过广度优先搜索算法可以计算出像素p的距离场信息。

(2)优先级的判定和更新。

本发明采用基于样例像素块的方法，首先根据已知区域的兴趣区域修复未知区域的兴趣区域中的像素块，然后修复空洞内剩余区域的像素块。在修复过程中，像素块修复的顺序非常重要，会直接影响最终的修复效果。本方法采用贪心算法，优先级高的目标像素块最先被修复，目标像素块Ψ_t的优先级定义为：其中

当Ψ_t被修复时，Ψ_t内所有未知像素的梯度信息被源像素块中对应像素的梯度值更新，未知像素的置信度信息confidence(p)也被更新：

其中||Ψ_t||为Ψ_t中像素的个数。同时，Ψ_t被修复后，空洞的边界也会发生变化，因此需要根据新的边界产生新的目标像素块和更新相关的已有目标像素块，这些像素块的优先级也需要被更新。

(3)相似像素块的判定。

依据像素块的优先级，可以从目标像素块集合T中选出优先级最高的像素块Ψ_t，Ψ_t为最先被修复的像素块。为此需要从源像素块集合S中，寻找像素块Ψ_s，使得Ψ_s与Ψ_t最相似。利用两个像素块之间灰度值和梯度值的差异来度量它们的相似程度。定义像素块Ψ_s和Ψ_t之间的距离为：d(Ψ_s，Ψ_t)＝d_gray(Ψ_s，Ψ_t)+d_grad(Ψ_s，Ψ_t)。

其中

$d_{\mathrm{gray}}({\mathrm{\Ψ}}_s,{\mathrm{\Ψ}}_t)=\underset{p_s\∈{\mathrm{\Ψ}}_s,p_t\∈{\mathrm{\Ψ}}_t}{\mathrm{\Σ}}\left|\right|\mathrm{gray}\left(p_s\right)-\mathrm{gray}\left(p_t\right)\left|\right|d_{\mathrm{grad}}({\mathrm{\Ψ}}_s,{\mathrm{\Ψ}}_t)=\underset{p_s\∈{\mathrm{\Ψ}}_s,p_t\∈{\mathrm{\Ψ}}_t}{\mathrm{\Σ}}\left|\right|G\left(p_s\right)-G\left(p_t\right)\left|\right|.$

依据像素块间的距离d(Ψ_s，Ψ_t)，可以找到与Ψ_t最相似的像素块Ψ_s，使得： ${\mathrm{\Ψ}}_s=\underset{{\mathrm{\Ψ}}_i\∈S}{\arg \min }d({\mathrm{\Ψ}}_i,{\mathrm{\Ψ}}_i).$

(4)修改梯度场。

本发明根据与Ψ_t最相似的像素块Ψ_s的梯度信息来修复Ψ_t中未知像素的梯度值。对于不属于任何兴趣区域(ROI)或只属于一个ROI区域的目标像素块Ψ_t，只需在Ψ_s中找出那些与Ψ_t未知像素相对应的源像素，并将它们的梯度值直接复制过来即可。在处理相交的兴趣区域时，考虑到这些区域的几何特征只与在此相交的结构曲线经过的已知区域相关，本文不采用BP或其变种算法求解全局最优解，而是通过融合的方法构造出这些区域中未知像素合适的梯度值。

若Ψ_t属于多个兴趣区域(ROI)，即位于多个ROI相交的区域时，定义每个ROI区域的宽度为该ROI区域内像素的最大1阶Minkowski距离。设Ψ_t属于对应的ROI宽度为

根据像素块间相似性的判定，从

中选出的与Ψ_t最相思的像素块集为

像素p_t∈Ψ_t的最相思的像素集为

相应的距离场中的距离为本发明利用下式来修复Ψ_t中未知像素的梯度值：

(5)根据梯度信息恢复图像。

根据修改的梯度信息来恢复图像信息，就是设法找到图像I⁰，使其梯度和修改的梯度G⁰最接近，即最小化引入Laplacian算子Δ和散度算子div，求解Poisson方程ΔI⁰＝div(G⁰)。由于几何细节图像I上的边界

的灰度值是已知的，将其作为Dirichlet边界条件，并对上述Poisson方程求解即可恢复出图像I⁰。

Claims (5)

1.基于全局结构的三维网格模型修复方法，其特征在于：所述的修复方法分为4个阶段，具体如下：

第1阶段，检测三维网格模型的空洞；

第2阶段，将所述三维网格模型通过使用改进的双边滤波算法分解为基模型和高频信息；

第3阶段，基于第2阶段分解后得到的基模型，使用平滑的三维模型修复方法修复所述基模型；

第4阶段，基于第2阶段分解后得到的高频信息，修复空洞中的几何结构细节，该阶段分为6个步骤：

(1)由用户通过图形界面交互操作的方式添加结构曲线；

(2)基于(1)中的结构曲线检测兴趣区域；

(3)由用户通过图形界面交互操作方式指定控制区域，并将所述控制区域参数化到二维平面；

(4)基于第2阶段分解后得到的高频信息在(3)中经参数化得到的二维平面中生成几何细节图像；

(5)修复由(4)得到的几何细节图像；

(6)将由(5)修复后的几何细节图像映射回所述三维网格模型实现最终三维模型修复。

2.根据权利要求1所述基于全局结构的三维网格模型修复方法，其特征在于：所述第2阶段改进的双边滤波算法为：将双边滤波器与Laplace算子相结合，定义了一个新的二阶Laplace双边滤波算子，并利用所述新的二阶Laplace双边滤波算子迭代的对网格进行光顺；首先估算出基模型B中各顶点的法向，然后对所述三维网格模型M做光顺处理得到基模型B，这一过程中所述三维网格模型M中的顶点只会沿估算出来的基模型B中对应顶点的法向方向运动，最后计算出所述三维网格模型M中每个顶点相对于基模型B中对应顶点的位移，并将其作为该顶点的几何细节信息，即高频信息Δ，这样，就达到将所述三维网格模型M分解为基模型B和高频信息Δ的目标。

3.根据权利要求1所述基于全局结构的三维网格模型修复方法，其特征在于：所述第4阶段的步骤(2)，基于(1)中的结构曲线检测兴趣区域的方法为：先找出一个包含了最多结构特征的初始顶点集V₀并计算其统计特征然后将初始顶点集的n环邻域内的顶点以环为单位逐次加入初始集，并计算出新构成的顶点集合V_i的统计特征

如果

与

的统计特征的差异

超过了预定义的阈值，那么，可以认为新加入的顶点不在属于结构兴趣区域检测，否则，将这些顶点加入兴趣区域检测；使用每一顶点在法向方向的偏移量δ作为该顶点及其邻域的几何特征描述。定义顶点集合V的统计特征S_V为：

同时定义两个顶点集统计特征

和

之间的差异为：

4.根据权利要求1所述基于全局结构的三维网格模型修复方法，其特征在于：所述第4阶段的步骤(4)，基于第2阶段分解后得到的高频信息在(3)中参数化得到的二维平面中生成几何细节图像的方法为：首先，采用参数化的方法将三维网格的顶点映射到一个二维域上，然后根据网格顶点的几何细节信息重采样生成一幅灰度图像，所生成灰度图像中每个像素的灰度值是由此像素所属三角形三个顶点的几何细节信息插值得到的，这幅图像就是几何细节图像；几何细节图像相当于网格模型的高频几何细节信息在二维域的一种等价表示。

5.根据权利要求1所述基于全局结构的三维网格模型修复方法，其特征在于：所述第4阶段的步骤(5)，修复由(4)得到的几何细节图像的方法为：在兴趣区域内，沿着结构曲线将已知区域内的梯度信息复制到空洞区域内，然后修复非兴趣区域，最终恢复出空洞区域内所有像素的梯度值；最后根据边界处的像素信息和空洞内的梯度信息，得到最终修复后的几何细节图像，使得修复后的几何细节图像的梯度信息与空洞内的梯度信息最接近。

Images