CN106204473B - 基于Laplacian优化的非完备模型局部变形的恢复方法 - Google Patents
基于Laplacian优化的非完备模型局部变形的恢复方法 Download PDFInfo
- Publication number
- CN106204473B CN106204473B CN201610514529.4A CN201610514529A CN106204473B CN 106204473 B CN106204473 B CN 106204473B CN 201610514529 A CN201610514529 A CN 201610514529A CN 106204473 B CN106204473 B CN 106204473B
- Authority
- CN
- China
- Prior art keywords
- defect
- face
- texture
- patient
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000005457 optimization Methods 0.000 title claims abstract description 12
- 230000007547 defect Effects 0.000 claims abstract description 106
- 230000007704 transition Effects 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 22
- 239000004576 sand Substances 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000002980 postoperative effect Effects 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 3
- 239000000470 constituent Substances 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 claims description 3
- 210000001061 forehead Anatomy 0.000 claims description 3
- 239000004615 ingredient Substances 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 3
- 238000006243 chemical reaction Methods 0.000 claims 1
- 238000009472 formulation Methods 0.000 claims 1
- 239000000203 mixture Substances 0.000 claims 1
- 210000004872 soft tissue Anatomy 0.000 abstract description 3
- 239000000463 material Substances 0.000 abstract description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 210000000214 mouth Anatomy 0.000 description 5
- 230000002950 deficient Effects 0.000 description 4
- 230000008439 repair process Effects 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
一种基于Laplacian优化的非完备模型局部变形的恢复方法，属于计算机视觉数据处理领域，包括以下步骤：1)缺损颜面测量；2)3D几何模型重建；3)从病人缺陷脸部图像中获取结构与纹理：基于患者颜面缺损区三维数据求取单个缺陷区域修复体结构参数信息和纹理参数信息；4)制定一个合理的缺陷模型：求取多个缺陷区域修复体的结构参数和纹理参数信息来实现局部区域的变形恢复；5)在目标颜面上拼接修改后的缺陷部位：基于Laplacian优化算法变形恢复数据与周围数据实现几何及纹理光顺过渡；6)颌面假体制造。本发明解决了脸部软组织的偏移问题，对于医用方面的赝复体的制备有广泛的应用价值；在计算机上修正变形，大大增加了赝复体的准确性，节省了人力物力。
Description
技术领域
本发明涉及一种非完备模型局部变形恢复方法，特别涉及基于Laplacian优化的非完备模型局部变形的恢复方法，属于计算机视觉数据处理领域。
背景技术
在实际医学临床设计中，如果颌面摘除手术与颌面赝复手术的时间相隔较长，受缺损部位收缩的牵引，口腔部软组织往往会出现明显的偏移现象，需要研究扭曲变形颌面缺损的几何建模赝复策略。现在的设想是先将口腔部的局部变形先纠正过来，然后再进行赝复体建模。
孙进等在“非完备几何特征测量数据建模及其在颜面缺损修复中的应用研究”(博士学位论文，上海交通大学，2012)为了纠正嘴部区域的局部变形，提出了带有旋转不变量的拉普拉斯算法，解决传统拉普拉斯算法不能很好地处理旋转问题。其主要思想是为编辑区域的每个顶点p估计一个合适的仿射变换矩阵T，然后比较TiΓi(经过仿射变换的原始网格)和L(pi)(变形得到的网格M'的拉普拉斯坐标)来解决旋转问题。通过试验，可以发现该中纠正变形的方法是能够得到所期望的效果。
张云龙，王进等人在“产品廓形曲线的几何特征语义描述与风格解析技术”(计算机辅助设计与图形学学报,2013,25(11))一文中提出一种吻合闭合轮廓线的三维网格曲面变形方法，该方法在用户交互编辑轮廓线后，基于重心坐标多次迭代变形得到初步网格结果，将该结果与原始网格进行对比，然后自动计算网格变形区域(ROI)；对各ROI分别应用Laplacian变形方法，以轮廓线上的顶点作为边界约束以保证变形网格吻合轮廓线，以初步网格结果的部分网格点坐标作为附加约束以克服网格变形的明显凹陷情况；将变形前和变形后网格模型的微分属性之差最小作为目标函数，求解稀疏线性方程组来实现网格变形。
Benz等人和Hartmann等人分别在2005年和2007年提出了一种利用迭代最近点优化(iterative closest point简称ICP)的方法(“Optical 3D-metrologyfor medicalapplications”(Biomedizinische,Technik.Proceedings of the jointly heldCongresses ICMPand BMT,Berlin,2005)、“Reliabilityof a method for computingfacial symmetry plane anddegree of asymmetry based on 3D-data.Journal ofOrofacial Orthopedics,2007”)，首先，使用三个手动选择点，当获得模型的中间面部平面时，可以通过对称面一侧完好区的信息得到需要镜像的数据，接着用ICP算法将镜像数据跟人脸信息进行记录，中间的面部平面被定义为点集的最佳拟合平面，平分原始点跟镜像点之间的距离。
Xin Li等人2011年在“Symmetry and template guided completion of damagedskulls”(Computers&Graphics,2011,35(4))一文中通过3D计算机图像的方法来恢复缺损的头颅数据，开发了一种基于对称性和模板匹配的新型集成框架，这种框架可靠的应用在完成其他的对称性数据比如：人体骨骼、结构等等。
发明内容
本发明的目的是在于提供一种基于Laplacian优化的非完备模型局部变形的恢复方法，针对非完备模型局部变形区域，通过基于Laplacian优化算法调整其结构参数和纹理参数来实现局部区域的变形恢复，并能与周围数据实现几何及纹理光顺过渡。
本发明的目的是通过以下技术方案实现的，基于Laplacian优化的非完备模型局部变形的恢复方法，包括以下步骤:
1)缺损颜面测量；
2)3D几何模型重建；
3)从病人缺陷脸部图像中获取结构与纹理基于患者颜面缺损区三维数据求取单个缺陷区域修复体结构参数信息和纹理参数信息；
4)制定一个合理的缺陷模型：求取多个缺陷区域修复体的结构参数信息和纹理参数信息来实现局部区域的变形恢复；
5)在目标颜面上拼接修改后的缺陷部位：基于Laplacian优化算法对步骤4)变形恢复后的数据进行处理，实现与周围数据实现几何及纹理光顺过渡；
6)颌面假体制造。
优选的，所述的步骤3中的从病人缺陷脸部图像中获取结构与纹理包括如下过程：
(1).采用降维技术PCA即主成分分析方法来从病人脸部图像中获取和
在重建过程中，通过一个患者颜面的特征向量捕捉病人脸部的缺陷，定义这个特征向量为本征缺陷，并用它们来建立和
(2).求取患者颜面的第i个缺损区域在手术前后的变形结构参数信息平均值和纹理参数信息平均值
其中sij表示患者颜面在重建第j个时刻的第i个缺损区结构参数信息，tij表示患者颜面在重建第j个时刻的第i个缺损区结构参数信息。j的取值范围为0,1,2,…,p；j＝0代表手术前的无变形状态；当j＝1,2,…p代表手术后的有变形状态，且数值越大意味变形程度越大。
(3).求取结构本征缺陷uik与纹理本征缺陷vik
σkj为自定义权重，k＝1,2,…p代表手术后的有变形状态，且数值越大意味变形程度越大；因此，第i个结构与纹理缺陷为：
其中-1≤λ≤1，λ为修改变形程度的一个变量；当k＝1时，(ui1,vi1)指的是第一本征缺陷即有最大的本征值；因此改变不同的参数来控制结构与纹理要素。
优选的，所述的步骤4)中的求取多个缺陷区域修复体的结构参数信息和纹理参数信息来实现局部区域的变形恢复包括如下过程：
(1).用F表示颜面三维数据，F由两个成分组成：
(a)结构成分
s＝(x1,y1,z1,x2,y2,z2,......,xn,yn,zn)∈R3n
式中：x,y,z代表了颜面三维顶点的几何坐标；R3n表示为3n长度的向量空间；
(b)纹理成分
t＝(r1,g1,b1,r2,g2,b2,......,rn,gn,bn)∈R3n
式中：r,g,b代表了脸的颜面三维顶点的颜色成分；R3n表示为3n长度的向量空间；
(2).使用以下函数使已知的F转换为仿真具体方法如下:
式中：i为缺陷区域位置参数，λ为缺陷程度的参数；
(3).进一步制定缺陷的模型，具体过程如下：为了将脸上缺陷的局部特征纳入计算，定义10个感兴趣的区域ROI，前额，左眼，右眼，鼻子，左部脸颊，右部脸颊，嘴，下巴，左部脖颈，右部脖颈；定义一个集合来表示前面的一个或者多个ROI区域组合；；F为患者颜面缺损区三维网格模型,v为颜面三维数据F中的三维点。
为了模拟其受多个缺陷的影响程度，那么缺陷修复修复体的结构参数信息和纹理参数信息将是按照步骤4操作后的累加。为了模拟其受第i个缺陷区域的影响程度，那么缺陷的模型可以进一步制定如下：
式中：v为颜面三维数据F中的三维点。
(4).进一步定义和为拼接函数fs和ft的结果：
式中：和分别为病人缺陷脸部图像的结构与纹理，模型的功能是将已知的缺陷拼接到目标面上相应的ROI上。
优选的，所述的步骤5)中的基于Laplacian优化算法变形恢复数据与周围数据实现几何及纹理光顺过渡包括如下过程：
因为定义了所有的缺陷模型参数，给出适当的拼接函数fs和ft，我们调整参数i和λ来模拟缺陷模型的位置以及严重程度；
拼接函数fs和ft要满足两个条件：1)模拟的ROI平滑的连接它的边界；2)模拟的ROI需要从已知的缺陷中捕捉关键的特征；用已知缺陷模型的梯度和来引导向量域，然后用泊松图像编辑，最后在目标颜面的ROI上模拟结构与纹理要素；
(1).对于第i个缺陷区域，用来表示集合的区域边界，用和表示已知脸F的结构与纹理函数，αs和αt为函数fs和ft的向量域来表示缺陷的关键特征；
(2).求解最小化问题，具体过程如下：在考虑结构与纹理因素的时候，用求解最小化问题使函数fs来满足之前的两个条件：
用求解最小化问题使函数ft来满足之前的两个条件：
式中：代表了梯度算子；αs和αt是用来引导结构拼接函数fs和纹理拼接函数ft来显示缺陷的关键特征的矢量场；和分别是结构拼接函数fs和纹理拼接函数ft的梯度算子；一个集合表示一个或者多个ROI区域组合，为集合的区域边界；
(3).梯度算子通过解决下面狄利克雷边界条件的泊松等式获得：
式中：Δ代表了拉普拉斯算子，div(·)代表了离散，梯度算子与拉普拉斯算子的转换关系为
(4).为了将最小化应用到实际中去，将问题离散化：Ω为患者脸部图像三角网络顶点的集合，(a,b)为顶点对，定义权重矩阵来表示两个顶点之间的连接关系，具体过程如下：
(5).计算拉普拉斯算子，具体过程如下：用τa＝∑bWa,b为连接权向量，计算连接顶点a的边界数量，然后用下面的矩阵计算拉普拉斯算子：
La,b＝Γ-Wa,b，其中Γ＝diag(τ1,...,τn)
(6).用已知缺陷的梯度和来引导向量域αs和αt，那么泊松等式(10)可以写成
(7).公式(13)展开成拉普拉斯线性方程:
式中：m为区域中顶点的数量；顶点对(a,b)属于区域的二维投影点集合；为集合的区域边界；fs|v＝b与分别表示结构拼接函数fs和修复体结构参数在v＝b的结构信息；ft|v＝b与分别表示纹理拼接函数ft和修复体纹理参数在v＝b的纹理信息；La,b为将拉普拉斯算子L带入一个顶点对(a,b)后的具体化；v表示为颜面三维数据F中的三维点，当表示顶点为b，则v＝b。这个线性方程可以用迭代算法解出。
与现有方法相比，本发明具有以下有益效果：解决了脸部软组织的偏移问题，对于医用方面的赝复体的制备有广泛的应用价值，与此同时，在计算机上修正变形，大大增加了赝复体的准确性，节省了人力物力。
附图说明
图1为本发明基于Laplacian优化的非完备模型局部变形的恢复方法流程图。
具体实施方式
本发明基于Laplacian优化的非完备模型局部变形的恢复方法，包括以下步骤:
1)缺损颜面测量；
2)3D几何模型重建；
3)从病人缺陷脸部图像中获取结构与纹理基于患者颜面缺损区三维数据求取单个缺陷区域修复体结构参数信息和纹理参数信息；
4)制定一个合理的缺陷模型：求取多个缺陷区域修复体的结构参数信息和纹理参数信息来实现局部区域的变形恢复；
5)在目标颜面上拼接修改后的缺陷部位：基于Laplacian优化算法对步骤4)变形恢复后的数据进行处理，实现与周围数据实现几何及纹理光顺过渡；
6)颌面假体制造。
从病人缺陷脸部图像中获取结构与纹理
1.采用降维技术PCA(主成分分析方法)来从病人脸部图像中获取和具体方法如下：在重建过程中，通过一个患者颜面的特征向量可以捕捉病人脸部的缺陷，定义这个特征向量为本征缺陷，并用它们来建立和
2.求取患者颜面的第i个缺损区域在手术前后的变形结构参数信息平均值和纹理参数信息平均值
其中sij表示患者颜面在重建第j个时刻的第i个缺损区结构参数信息，tij表示患者颜面在重建第j个时刻的第i个缺损区结构参数信息。j的取值范围为0,1,2,…,p；j＝0代表手术前的无变形状态；当j＝1,2,…p代表手术后的有变形状态，且数值越大意味变形程度越大。
3.计算结构本征缺陷uik与纹理本征缺陷vik
σkj为自定义权重，k＝1,2,…p代表手术后的有变形状态，且数值越大意味变形程度越大；因此，第i个结构与纹理缺陷为：
其中-1≤λ≤1，λ为修改变形程度的一个变量，当k＝1时，(ui1,vi1)指的是指的是本征缺陷即有最大的本征值。因此可以改变不同的参数来控制结构与纹理要素。
制定一个合理的缺陷模型：
1.用F表示颜面三维数据，F由两个成分组成：
(a)结构成分
s＝(x1,y1,z1,x2,y2,z2,......,xn,yn,zn)∈R3n (4)
式中：x,y,z代表了颜面三维顶点的几何坐标；R3n表示为3n长度的向量空间。
(b)纹理成分
t＝(r1,g1,b1,r2,g2,b2,......,rn,gn,bn)∈R3n (5)
式中：r,g,b代表了脸的颜面三维顶点的颜色成分，R3n表示为3n长度的向量空间。
2.使用以下函数使已知的F转换为仿真具体方法如下:
式中：i为缺陷区域位置参数，λ为缺陷程度的参数。
3.进一步制定缺陷的模型，具体过程如下：为了将脸上缺陷的局部特征纳入计算，定义10个感兴趣的区域(ROI)，前额，左眼，右眼，鼻子，左部脸颊，右部脸颊，嘴，下巴，左部脖颈，右部脖颈。定义一个集合来表示前面的一个或者多个ROI区域组合；F为患者颜面缺损区三维网格模型,v为颜面三维数据F中的三维点。
为了模拟其受多个缺陷的影响程度，那么缺陷修复修复体的结构参数信息和纹理参数信息将是按照步骤4操作后的累加。
为了模拟其受第i个缺陷区域的影响程度，那么缺陷的模型可以进一步制定如下：
式中：v为颜面三维数据F中的三维点。
4.进一步定义和为拼接函数fs和ft的结果：
式中：和分别为病人缺陷脸部图像的结构与纹理，模型的功能是将已知的缺陷拼接到目标面上相应的ROI上。
在目标颜面上拼接修改后的缺陷部位
因为定义了所有的缺陷模型参数，给出适当的拼接函数fs和ft，我们可以调整参数i和λ来模拟缺陷模型的位置以及严重程度。拼接函数fs和ft要满足两个条件：1)模拟的ROI平滑的连接它的边界2)模拟的ROI需要从已知的缺陷中捕捉关键的特征。为解决以上问题，我们用已知缺陷模型的梯度(和)来引导向量域，然后用泊松图像编辑，最后在目标颜面的ROI上模拟结构与纹理要素。
1.对于第i个缺陷区域，用来表示集合的区域边界，用和表示已知脸F的结构与纹理函数，αs和αt为函数fs和ft的向量域来表示缺陷的关键特征。
(2).结构拼接函数fs和纹理拼接函数ft分别要保证缺陷修复体与周边数据能够几何光顺和纹理光顺过渡，即要能满足以下条件：求解最小化问题，具体过程如下：在考虑结构与纹理因素因素的时候，用求解最小化问题使函数fs来满足之前的两个条件：
用求解最小化问题使函数ft来满足之前的两个条件：
式中：代表了梯度算子；αs和αt是用来引导结构拼接函数fs和纹理拼接函数ft来显示缺陷的关键特征的矢量场；和分别是结构拼接函数fs和纹理拼接函数ft的梯度算子；一个集合表示一个或者多个ROI区域组合，为集合的区域边界；
3.梯度算子可以通过解决下面狄利克雷边界条件的泊松等式获得：
式中：Δ代表了拉普拉斯算子，div(·)代表了离散，梯度算子与拉普拉斯算子的转换关系为
4.为了将最小化应用到实际中去，可以将问题离散化：Ω为患者脸部图像三角网络顶点的集合，(a,b)为顶点对，定义权重矩阵来表示两个顶点之间的连接关系。具体过程如下：
5.计算拉普拉斯算子。具体过程如下：用τa＝∑bWa,b为连接权向量，可以计算连接顶点a的边界数量，然后用下面的矩阵计算拉普拉斯算子：
La,b＝Γ-Wa,b，其中Γ＝diag(τ1,...,τn) (13)
6.用已知缺陷的梯度(和)来引导向量域(αs和αt)，那么泊松等式(9)可以写成
7.公式(14)可以展开成拉普拉斯线性方程:
式中：m为区域中顶点的数量；顶点对(a,b)属于区域的二维投影点集合；为集合的区域边界；fs|v＝b与分别表示结构拼接函数fs和修复体结构参数在v＝b的结构信息；ft|v＝b与分别表示纹理拼接函数ft和修复体纹理参数在v＝b的纹理信息；La,b为将拉普拉斯算子L带入一个顶点对(a,b)后的具体化；v表示为颜面三维数据F中的三维点，当表示顶点为b，则v＝b。这个线性方程可以用迭代算法解出。
Claims (4)
1.基于Laplacian优化的非完备模型局部变形的恢复方法，其特征在于，所述恢复方法包括下述步骤:
1)缺损颜面测量；
2)3D几何模型重建；
3)从病人缺陷脸部图像中获取结构与纹理基于患者颜面缺损区三维数据求取单个缺陷区域修复体结构参数信息和纹理参数信息；
4)制定一个合理的缺陷模型：求取多个缺陷区域修复体的结构参数信息和纹理参数信息来实现局部区域的变形恢复；
5)在目标颜面上拼接修改后的缺陷部位：基于Laplacian优化算法对步骤4)变形恢复后的数据进行处理，实现与周围数据几何及纹理光顺过渡；
6)颌面假体制造。
2.根据权利要求1所述的非完备模型局部变形的恢复方法，其特征是，所述的步骤3)中的从病人缺陷脸部图像中获取结构与纹理包括如下过程：
(1).采用降维技术PCA即主成分分析方法来从病人脸部图像中获取和
在重建过程中，通过一个患者颜面的特征向量捕捉病人脸部的缺陷，定义这个特征向量为本征缺陷，并用它来建立和
(2).计算同一病人的第i个结构缺陷类型与纹理缺陷类型在每个时刻平均值与
采用sij表示患者的脸部要素在重建过程中的第j个时刻的第i个结构缺陷类型，变量j范围为0,1,2,…,p；j＝0代表手术前的无变形状态；当j＝1,2,…p代表手术后的有变形状态，且数值越大意味变形程度越大；计算同一病人的第i个结构缺陷类型在每个时刻平均值
采用tij表示患者的脸部要素在重建过程中的第j个时刻的第i个纹理缺陷类型，变量j范围为0,1,2,…,p；j＝0代表手术前的无变形状态；当j＝1,2,…p代表手术后的有变形状态，且数值越大意味变形程度越大；计算同一病人的第i个纹理缺陷类型在每个时刻平均值
(3).计算结构本征缺陷uik与纹理本征缺陷vik
公式(1)中，k＝1,2,…p代表手术后的有变形状态，且数值越大意味变形程度越大；σkj为自定义权重，因此，第i个结构与纹理缺陷为：
其中-1≤λ≤1,λ为修改变形程度的一个变量，当k＝1时，(ui1,vi1)指的是本征缺陷即有最大的本征值；因此改变不同的参数来控制结构与纹理要素。
3.根据权利要求1所述的非完备模型局部变形的恢复方法，其特征是所述的步骤4)中的制定一个合理的缺陷模型包括如下过程：
(1).用F表示颜面三维数据，F由两个成分组成：
(a)结构成分
s＝(x1,y1,z1,x2,y2,z2,......,xn,yn,zn)∈R3n (3)
式中：x,y,z代表了颜面三维顶点的几何坐标；R3n表示为3n长度的向量空间；
(b)纹理成分
t＝(r1,g1,b1,r2,g2,b2,......,rn,gn,bn)∈R3n (4)
式中：r,g,b代表了脸的颜面三维顶点的颜色成分；R3n表示为3n长度的向量空间；
(2).使用以下函数使已知的F转换为仿真具体方法如下:
式中：i为缺陷区域位置参数，λ为缺陷程度的参数；
(3).进一步制定缺陷的模型，具体过程如下：为了将脸上缺陷的局部特征纳入计算，定义10个感兴趣的区域ROI，前额，左眼，右眼，鼻子，左部脸颊，右部脸颊，嘴，下巴，左部脖颈，右部脖颈；定义一个集合来表示前面的一个或者多个ROI；为了模拟其受第i个缺陷区域的影响程度，那么缺陷的模型可以进一步制定如下：
式中：v为颜面三维数据F中的三维点；
(4).进一步定义和为拼接函数fs和ft的结果：
式中：和分别为病人缺陷脸部图像的结构与纹理，模型的功能是将已知的缺陷拼接到目标颜面上相应的ROI上。
4.根据权利要求3所述的非完备模型局部变形的恢复方法，其特征是，所述的步骤5)中的在目标颜面上拼接修改后的缺陷部位包括如下过程：
因为定义了所有的缺陷模型参数，给出适当的拼接函数fs和ft，调整参数i和λ来模拟缺陷模型的位置以及严重程度；
拼接函数fs和ft要满足两个条件：1)模拟的ROI平滑的连接它的边界；2)模拟的ROI需要从已知的缺陷中捕捉关键的特征；用已知缺陷模型的梯度和来引导向量域，然后用泊松图像编辑，最后在目标颜面的ROI上模拟结构与纹理要素；
(1).对于第i个缺陷区域，用来表示集合的区域边界，用fs *和ft *表示已知脸F的结构与纹理函数，αs和αt为函数fs和ft的向量域来表示缺陷的关键特征；
(2).求解最小化问题，具体过程如下：在考虑结构与纹理因素的时候，用求解最小化问题使函数fs来满足之前的两个条件：
用求解最小化问题使函数ft来满足之前的两个条件：
式中：代表了梯度算子；αs和αt是用来引导结构拼接函数fs和纹理拼接函数ft来显示缺陷的关键特征的矢量场；和分别是结构拼接函数fs和纹理拼接函数ft的梯度算子；一个集合表示一个或者多个ROI区域组合，为集合的区域边界；
(3).梯度算子通过解决下面狄利克雷边界条件的泊松等式获得：
式中：Δ代表了拉普拉斯算子，div(·)代表了离散，梯度算子与拉普拉斯算子的转换关系为
(4).为了将最小化应用到实际中去，将问题离散化：Ω为患者脸部图像三角网络顶点的集合，(a,b)为顶点对，定义权重矩阵来表示两个顶点之间的连接关系，具体过程如下：
(5).计算拉普拉斯算子，具体过程如下：用τa＝∑bWa,b为连接权向量，计算连接顶点a的边界数量，然后用下面的矩阵计算拉普拉斯算子：
La,b＝Γ-Wa,b，其中Γ＝diag(τ1,...,τn)，n为三维颜面顶点的最大数； (12)
(6).用已知缺陷的梯度和来引导向量域αs和αt，那么泊松等式(10)可以写成
(7).公式(13)展开成以下线性方程:
式中：m为中顶点的数量，顶点对(a,b)属于区域的二维投影点集合；为集合的区域边界；fs|v＝b与分别表示结构拼接函数fs和修复体结构参数在v＝b的结构信息；ft|v＝b与分别表示纹理拼接函数ft和修复体纹理参数在v＝b的纹理信息；La,b为将拉普拉斯算子L带入一个顶点对(a,b)后的具体化；v表示为颜面三维数据F中的三维点，当表示顶点为b，则v＝b；这个线性方程用迭代算法解出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610514529.4A CN106204473B (zh) | 2016-06-30 | 2016-06-30 | 基于Laplacian优化的非完备模型局部变形的恢复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610514529.4A CN106204473B (zh) | 2016-06-30 | 2016-06-30 | 基于Laplacian优化的非完备模型局部变形的恢复方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106204473A CN106204473A (zh) | 2016-12-07 |
| CN106204473B true CN106204473B (zh) | 2019-07-16 |
Family
ID=57462997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610514529.4A Active CN106204473B (zh) | 2016-06-30 | 2016-06-30 | 基于Laplacian优化的非完备模型局部变形的恢复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106204473B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107845128B (zh) * | 2017-11-03 | 2021-09-03 | 安康学院 | 一种多尺度细节融合的多曝光高动态图像重建方法 |
| CN113066016B (zh) * | 2021-02-18 | 2022-08-05 | 北京大学 | 一种基于图信号处理的三维动态点云修复方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101071514A (zh) * | 2006-05-12 | 2007-11-14 | 中国科学院自动化研究所 | 一种直接传递三维模型姿态的方法 |
| US20080043021A1 (en) * | 2006-08-15 | 2008-02-21 | Microsoft Corporation | Three Dimensional Polygon Mesh Deformation Using Subspace Energy Projection |
| CN102663392A (zh) * | 2012-02-29 | 2012-09-12 | 浙江大学 | 一种基于拉普拉斯算子的图像特征提取方法 |
-
2016
- 2016-06-30 CN CN201610514529.4A patent/CN106204473B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101071514A (zh) * | 2006-05-12 | 2007-11-14 | 中国科学院自动化研究所 | 一种直接传递三维模型姿态的方法 |
| US20080043021A1 (en) * | 2006-08-15 | 2008-02-21 | Microsoft Corporation | Three Dimensional Polygon Mesh Deformation Using Subspace Energy Projection |
| CN102663392A (zh) * | 2012-02-29 | 2012-09-12 | 浙江大学 | 一种基于拉普拉斯算子的图像特征提取方法 |
Non-Patent Citations (2)
| Title |
|---|
| Modeling and Deformation of Arms and Legs Based on Ellipsoidal Sweeping;Dae-Eun Hyun et al;《Proceedings of the 11th Pacific Conference on Computer Graphics and Applications（PG"03）》;20031008;第1-9页 * |
| 基于区域边界的图像变形算法;偶春生 等;《系统仿真学报》;20030731;第15卷(第7期);第976-979页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106204473A (zh) | 2016-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3649505B1 (de) | Verfahren, vorrichtung und computerprogramm zum virtuellen anpassen einer brillenfassung | |
| EP3631570B1 (de) | Verfahren, vorrichtung und computerprogramm zum virtuellen anpassen einer brillenfassung | |
| CN104978764B (zh) | 三维人脸网格模型处理方法和设备 | |
| EP3425447B1 (de) | Verfahren, vorrichtung und computerprogramm zum virtuellen anpassen einer brillenfassung | |
| CN111028343B (zh) | 三维人脸模型的生成方法、装置、设备及介质 | |
| CN105118023B (zh) | 基于人脸特征点的实时视频人脸卡通化生成方法 | |
| CN104809638A (zh) | 一种基于移动终端的眼镜虚拟试戴方法和系统 | |
| CN111950430B (zh) | 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统 | |
| CN109584153A (zh) | 修饰眼部的方法、装置和系统 | |
| CN106204473B (zh) | 基于Laplacian优化的非完备模型局部变形的恢复方法 | |
| CN109801225A (zh) | 基于多任务全卷积神经网络的人脸网纹污迹去除方法 | |
| Bao et al. | High-quality face capture using anatomical muscles | |
| JP4128680B2 (ja) | 化粧アドバイスシステム | |
| CN104123562A (zh) | 一种基于双目视觉的人体面部表情识别方法及其装置 | |
| CN109919018A (zh) | 基于参考图像的图像眼睛自动打开方法及装置 | |
| CN113705466B (zh) | 用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法 | |
| CN108304811B (zh) | 基于rgbd信息的三维人脸颜值评分方法、装置及系统 | |
| CN109859306A (zh) | 一种基于机器学习的从照片中提取人体模型的方法 | |
| JP5095182B2 (ja) | 顔分類装置、顔分類プログラム、及び該プログラムが記録された記録媒体 | |
| CN115619747B (zh) | 幼儿眼底视网膜全景影像图谱生成和随访数据对齐方法 | |
| Fang et al. | A modeling method for the human body model with facial morphology | |
| CN106485667B (zh) | 一种颅面复原方法 | |
| Wu et al. | Learning to rank the severity of unrepaired cleft lip nasal deformity on 3d mesh data | |
| Marras et al. | Virtual dental patient: a system for virtual teeth drilling | |
| CN110473160A (zh) | 一种基于ssgan的古代残损纺织物图像修复方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |