CN106504317B - 一种三维模型的外观纹理提取方法及装置 - Google Patents

Abstract

本发明了一种三维模型的外观纹理提取方法及装置，涉及三维模型技术领域。方法包括：获取预先设置的初始代理模型，并获取用户输入的三维输入图像；根据三维输入图像和初始代理模型，对初始代理模型进行配准拟合，形成拟合后代理模型；根据拟合后代理模型，对三维输入图像进行本征图像分解，生成三维输入图像的本征图像分解后几何形状和三维输入图像的反照率信息，并确定三维输入图像的二级几何纹理和材质纹理。该二级几何纹理和材质纹理即为待提取的外观纹理，避免了当前现有技术难以快捷有效地进行三维模型的外观纹理提取的问题。

Description

一种三维模型的外观纹理提取方法及装置

技术领域

本发明涉及三维模型技术领域，尤其涉及一种三维模型的外观纹理提取方法及装置。

背景技术

目前，三维模型的外观纹理信息(几何纹理与材质纹理)是其视觉真实性的重要因素。今天的高端电脑游戏和电影特效对带有逼真外观的高精度三维模型提出了很大需求。然而，制作这样的三维模型即使对于经验丰富的专业建模师来说也十分费时费力。为了制作一个具有丰富外观纹理的高精度三维模型，建模师往往需要通过一些图片作为创意来源或参考。而如今数字图像的极大应用与易获得性也使得计算机艺术家能够轻松构建他们的图像素材库作为创意来源与参考。

当前的三维模型的外观纹理处理方法众多，而目前的基于单幅图像的三维建模或纹理建模方法，主要存在以下一些问题，第一：目前的技术主要关注于图像中物体的形态建模并不涉及细节外观纹理的建模，而往往这一部分决定了一个三维模型的真实性并且也是最耗费建模师精力的部分。第二：目前对于从图像中进行纹理建模的技术还局限于对图片本身的编辑修改或是对于图像中物体形状有较大限制，应用十分有限。第三：目前的技术都还没有涉及到几何纹理与材质纹理的耦合相关提取。可见，如何快捷有效地进行三维模型的外观纹理提取称为了一个亟待解决的问题。

发明内容

本发明的实施例提供一种三维模型的外观纹理提取方法及装置，以解决当前现有技术难以快捷有效地进行三维模型的外观纹理提取的问题。

为达到上述目的，本发明采用如下技术方案：

一种三维模型的外观纹理提取方法，包括：

获取预先设置的初始代理模型，并获取用户输入的三维输入图像；

根据所述三维输入图像和初始代理模型，对所述初始代理模型进行配准拟合，形成拟合后代理模型；

根据拟合后代理模型，对所述三维输入图像进行本征图像分解，生成三维输入图像的本征图像分解后几何形状和三维输入图像的反照率信息，并确定三维输入图像的二级几何纹理和材质纹理。

具体的，根据权利要求1所述的三维模型的外观纹理提取方法，根据所述三维输入图像和初始代理模型，对所述初始代理模型进行配准拟合，形成拟合后代理模型，包括：

确定三维输入图像的显著性轮廓图，生成显著性势能场；

根据所述显著性势能场，通过隐马尔科夫过程优化显著性势能场与所述初始代理模型投影的对应点；

根据所述显著性势能场与所述初始代理模型投影的对应点进行刚性配准优化相机位置；

根据优化后的相机位置更新初始代理模型投影的对应点，并且进行非刚性变形配准形成拟合后代理模型。

具体的，确定三维输入图像的显著性轮廓图，生成显著性势能场，包括：

根据边缘检测算法确定三维输入图像的显著性轮廓；

生成显著性轮廓图对应的显著性势能场；所述显著性势能场表示为：其中，p_i与p_j为显著性轮廓图中的任意两个像素i和j的位置；J为所有被检测为边缘线的像素的集合；w为控制像素i，j之间的距离和显著性强度的影响权重；s_j为像素j所处位置的显著性强度。

具体的，根据所述显著性势能场，通过隐马尔科夫过程优化显著性势能场与所述初始代理模型投影的对应点，包括：

根据公式：

确定显著性轮廓图中的像素点位置p_j与初始代理模型点位置v_i的状态发射概率P(v_i|p_j)与状态转移概率P(p_j|p_j-1)的一组最大乘积；其中，0≤i≤n，0≤j≤m；其中，S(v_i,p_j)为显著性轮廓图中的像素点与初始代理模型点的匹配分数；s_j为像素j所处位置的显著性强度；a、b为预设参数，分别为0.7与0.5；t_i、t_j分别为像素i与像素j两点边的方向向量；d_i＝||v_i-v_i-1||、d_j＝||p_i-p_i-1||；σ为正态分布标准差；

将状态发射概率P(v_i|p_j)与状态转移概率P(p_j|p_j-1)的一组最大乘积对应的显著性轮廓图中的像素点位置与初始代理模型点位置作为一组最优对应点。

具体的，根据所述显著性势能场与所述初始代理模型投影的对应点进行刚性配准优化相机位置，包括：

求取一刚性变换T使得数据驱动项data的值最小；其中，T＝min_TE_d(T(P))；数据驱动项data表示为其中，I为初始代理模型中可见特征线的采样点集合；v_i为初始代理模型的某一采样点；F(v_i)表示初始代理模型的采样点v_i在显著性势能场中的值；M(v_i)表示通过隐马尔科夫过程优化后显著性势能场与所述初始代理模型投影的对应点位置；

将数据驱动项data的值最小时对应的代理模型作为刚性配准后的代理模型。

具体的，根据优化后的相机位置更新初始代理模型投影的对应点，并且进行非刚性变形配准形成拟合后代理模型，包括：

根据刚性配准后的代理模型更新初始代理模型投影的对应点，并且根据非刚性变形配准函数进行非刚性变形配准；

所述非刚性变形配准函数为：其中，E_s(P)为形状约束函数；E_p(P)为局部平面性约束函数。

具体的，根据拟合后代理模型，对所述三维输入图像进行本征图像分解，生成三维输入图像的本征图像分解后几何形状和三维输入图像的反照率信息，包括：

根据公式：

R＝I-S(Z,L)

通过三维输入图像I确定最优三维输入图像的反照率信息R、最优明暗阴影图像S、最优光照信息L以及最优几何形状Z；

其中，g(R)为反照率损失函数，N(i)为一个以像素i为中心的5×5窗口；ci与cj是像素i与j的色度值，Ri与Rj是像素i与j的反照率值，权重函数

f(Z)为几何形状损失函数，其中G(Z_i,r)为像素位置i经过半径r的高斯平滑后的深度值，Z_i(P_align)表示拟合后代理模型在像素位置i处的深度值；

h(L)为光照损失函数，其中μ_L与∑_L为多元高斯分布对应的均值向量与方差矩阵，λ_L为权重系数。

具体的，确定三维输入图像的二级几何纹理和材质纹理，包括：

根据第一级精确形状与第二级精确形状的差，确定二级几何纹理；所述第一级精确形状通过三维输入图像的本征图像分解后几何形状的法向图引导变形得到；所述第二级精确形状通过第一级精确形状加上与三维输入图像的本征图像分解后几何形状之间沿法线方向的偏移量得到；

根据三维输入图像的反照率信息转化到拟合后代理模型的参数网格，形成材质纹理。

一种三维模型的外观纹理提取装置，包括：

图像获取单元，用于获取预先设置的初始代理模型，并获取用户输入的三维输入图像；

配准拟合单元，用于根据所述三维输入图像和初始代理模型，对所述初始代理模型进行配准拟合，形成拟合后代理模型；

本征图像分解单元，用于根据拟合后代理模型，对所述三维输入图像进行本征图像分解，生成三维输入图像的本征图像分解后几何形状和三维输入图像的反照率信息；

外观纹理提取单元，用于确定三维输入图像的二级几何纹理和材质纹理。

具体的，所述配准拟合单元，包括：

显著性势能场生成模块，用于确定三维输入图像的显著性轮廓图，生成显著性势能场；

对应点优化模块，用于根据所述显著性势能场，通过隐马尔科夫过程优化显著性势能场与所述初始代理模型投影的对应点；

刚性配准模块，用于根据所述显著性势能场与所述初始代理模型投影的对应点进行刚性配准优化相机位置；

非刚性配准模块，用于根据优化后的相机位置更新初始代理模型投影的对应点，并且进行非刚性变形配准形成拟合后代理模型。

此外，所述显著性势能场生成模块，具体用于：

根据边缘检测算法确定三维输入图像的显著性轮廓；

生成显著性轮廓图对应的显著性势能场；所述显著性势能场表示为：其中，p_i与p_j为显著性轮廓图中的任意两个像素i和j的位置；J为所有被检测为边缘线的像素的集合；w为控制像素i，j之间的距离和显著性强度的影响权重；s_j为像素j所处位置的显著性强度。

此外，所述对应点优化模块，具体用于：

根据公式：

确定显著性轮廓图中的像素点位置p_j与初始代理模型点位置v_i的状态发射概率P(v_i|p_j)与状态转移概率P(p_j|p_j-1)的一组最大乘积；其中，0≤i≤n，0≤j≤m；其中，S(v_i,p_j)为显著性轮廓图中的像素点与初始代理模型点的匹配分数；s_j为像素j所处位置的显著性强度；a、b为预设参数，分别为0.7与0.5；t_i、t_j分别为像素i与像素j两点边的方向向量；d_i＝||v_i-v_i-1||、d_j＝||p_i-p_i-1||；σ为正态分布标准差；

将状态发射概率P(v_i|p_j)与状态转移概率P(p_j|p_j-1)的一组最大乘积对应的显著性轮廓图中的像素点位置与初始代理模型点位置作为一组最优对应点。

此外，所述刚性配准模块，具体用于：

求取一刚性变换T使得数据驱动项data的值最小；其中，T＝min_T E_d(T(P))；数据驱动项data表示为其中，I为初始代理模型中可见特征线的采样点集合；v_i为初始代理模型的某一采样点；F(v_i)表示初始代理模型的采样点v_i在显著性势能场中的值；M(v_i)表示通过隐马尔科夫过程优化后显著性势能场与所述初始代理模型投影的对应点位置；

将数据驱动项data的值最小时对应的代理模型作为刚性配准后的代理模型。

此外，所述非刚性配准模块，具体用于：

根据刚性配准后的代理模型更新初始代理模型投影的对应点，并且根据非刚性变形配准函数进行非刚性变形配准；

所述非刚性变形配准函数为：其中，E_s(P)为形状约束函数；E_p(P)为局部平面性约束函数。

此外，所述本征图像分解单元，具体用于：

根据公式：

R＝I-S(Z,L)

通过三维输入图像I确定最优三维输入图像的反照率信息R、最优明暗阴影图像S、最优光照信息L以及最优几何形状Z；

其中，g(R)为反照率损失函数，N(i)为一个以像素i为中心的5×5窗口；ci与cj是像素i与j的色度值，Ri与Rj是像素i与j的反照率值，权重函数

f(Z)为几何形状损失函数，其中G(Z_i,r)为像素位置i经过半径r的高斯平滑后的深度值，Z_i(P_align)表示拟合后代理模型在像素位置i处的深度值；

h(L)为光照损失函数，其中μ_L与∑_L为多元高斯分布对应的均值向量与方差矩阵，λ_L为权重系数。

此外，所述外观纹理提取单元，具体用于：

根据第一级精确形状与第二级精确形状的差，确定二级几何纹理；所述第一级精确形状通过三维输入图像的本征图像分解后几何形状的法向图引导变形得到；所述第二级精确形状通过第一级精确形状加上与三维输入图像的本征图像分解后几何形状之间沿法线方向的偏移量得到；

根据三维输入图像的反照率信息转化到拟合后代理模型的参数网格，形成材质纹理。

本发明实施例提供的一种三维模型的外观纹理提取方法及装置，能够根据三维输入图像和初始代理模型，对初始代理模型进行配准拟合，形成拟合后代理模型；之后，根据拟合后代理模型，对三维输入图像进行本征图像分解，生成三维输入图像的本征图像分解后几何形状和三维输入图像的反照率信息，进而确定三维输入图像的二级几何纹理和材质纹理。该二级几何纹理和材质纹理即为待提取的外观纹理。可见，本发明能够自动分析变形拟合，并提取外观纹理，简化了人工制作高精度三维模型的过程，避免了当前现有技术难以快捷有效地进行三维模型的外观纹理提取的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种三维模型的外观纹理提取方法的流程图一；

图2为本发明实施例提供的一种三维模型的外观纹理提取方法的流程图二；

图3为本发明实施例中的初始代理模型、三维输入图像、显著性轮廓图、显著性势能场的示意图；

图4为本发明实施例中的隐马尔科夫优化前后的最优匹配点示意图；

图5为本发明实施例中的初始代理模型、三维输入图像、进行刚性配准后的图像、进行非刚性配准后的图像以及最终形成的拟合后代理模型的示意图；

图6为本发明实施例中未使用配准代理模型作为几何先验信息进行分解得到的深度图、未使用配准代理模型作为几何先验信息进行分解得到的反照率图、使用了配准代理模型作为几何先验信息进行分解得到的深度图、使用了配准代理模型作为几何先验信息进行分解得到的反照率图；

图7为本发明实施例中的代理模型参数网格和第一级几何纹理的示意图；

图8为本发明实施例中的细分后代理模型参数网格和第二级几何纹理的示意图；

图9为本发明实施例中的材质纹理示意图；

图10为本发明实施例中的几组外观纹理模型样例示意图；

图11为本发明实施例中在新的模型上应用外观模型的示意图一；

图12为本发明实施例中在新的模型上应用外观模型的示意图二；

图13为本发明实施例提供的一种三维模型的外观纹理提取装置的结构示意图一；

图14为本发明实施例提供的一种三维模型的外观纹理提取装置的结构示意图二。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供一种三维模型的外观纹理提取方法，包括：

步骤101、获取预先设置的初始代理模型，并获取用户输入的三维输入图像。

步骤102、根据所述三维输入图像和初始代理模型，对所述初始代理模型进行配准拟合，形成拟合后代理模型。

步骤103、根据拟合后代理模型，对所述三维输入图像进行本征图像分解，生成三维输入图像的本征图像分解后几何形状和三维输入图像的反照率信息，并确定三维输入图像的二级几何纹理和材质纹理。

本发明实施例提供的一种三维模型的外观纹理提取方法，能够根据三维输入图像和初始代理模型，对初始代理模型进行配准拟合，形成拟合后代理模型；之后，根据拟合后代理模型，对三维输入图像进行本征图像分解，生成三维输入图像的本征图像分解后几何形状和三维输入图像的反照率信息，进而确定三维输入图像的二级几何纹理和材质纹理。该二级几何纹理和材质纹理即为待提取的外观纹理。可见，本发明能够自动分析变形拟合，并提取外观纹理，简化了人工制作高精度三维模型的过程，避免了当前现有技术难以快捷有效地进行三维模型的外观纹理提取的问题。

为了使本领域的技术人员更好的了解本发明，下面结合附图以及具体实例来对本发明实施例提供的一种三维模型的外观纹理提取方法进行具体阐述。如图2所示，本发明实施例提供的一种三维模型的外观纹理提取方法，包括：

步骤201、获取预先设置的初始代理模型，并获取用户输入的三维输入图像。

步骤202、确定三维输入图像的显著性轮廓图，生成显著性势能场。

具体的，此处步骤202中的确定三维输入图像的显著性轮廓图，生成显著性势能场，可以通过如下方式实现：

根据边缘检测算法确定三维输入图像的显著性轮廓。此处三维输入图像的每个像素值表示该像素属于一条边缘线的显著性强度，范围在[0，1]。由于三维输入图像中提取的边缘线往往破碎，不连续且包含很多噪声，直接利用其来进行配准并不合适，因此此处需要定义了一个势能场使得代理模型上的特征线能够配准到图像中显著性较高的边缘线上。该势能场的特点如下：1)在离边缘线越近的地方势能越小；2)在离边缘显著性高的地方势能越小。

此处，生成显著性轮廓图对应的显著性势能场；所述显著性势能场表示为：其中，p_i与p_j为显著性轮廓图中的任意两个像素i和j的位置；J为所有被检测为边缘线的像素的集合；w为控制像素i，j之间的距离和显著性强度的影响权重，一般为0.1；s_j为像素j所处位置的显著性强度。

具体的，如图3所示，其中，图3中的(a)为预先设置的代理模型；图3的(b)显示的是三维输入图像；而图3中的(c)为显著性轮廓图；图3中的(d)为显著性势能场。

步骤203、根据所述显著性势能场，通过隐马尔科夫过程优化显著性势能场与所述初始代理模型投影的对应点。

显著性势能场使得代理模型到三维输入图像的配准对不同的模型初始位置较为鲁棒，但由于显著性势能场扩散性明显并不能很好地实现边缘到边缘的精确配准。为了解决这个问题，此处在显著性势能场之外需要增加精确的对应点来辅助配准过程。为了使对应点在图像中的边缘线与代理模型的特征线上的分布尽量均匀，同时仍保持对应点的显著性和距离因素的综合考虑，可以通过隐马尔科夫过程来自动计算最佳的对应关系。假设已知当前状态下最优对应关系，为了找到下一个最佳对应点，需要考虑的是下一组对应点之间是否是最佳匹配，即他们之间的状态发射概率与状态转移概率乘积最大。

具体的，此处步骤203中的根据所述显著性势能场，通过隐马尔科夫过程优化显著性势能场与所述初始代理模型投影的对应点，可以通过如下方式实现：

根据公式：

确定显著性轮廓图中的像素点位置p_j与初始代理模型点位置v_i的状态发射概率P(v_i|p_j)与状态转移概率P(p_j|p_j-1)的一组最大乘积；其中，0≤i≤n，0≤j≤m；其中，S(v_i,p_j)为显著性轮廓图中的像素点与初始代理模型点的匹配分数；s_j为像素j所处位置的显著性强度；a、b为预设参数，分别为0.7与0.5；t_i、t_j分别为像素i与像素j两点边的方向向量；d_i＝||v_i-v_i-1||、d_j＝||p_i-p_i-1||；σ为正态分布标准差。

将状态发射概率P(v_i|p_j)与状态转移概率P(p_j|p_j-1)的一组最大乘积对应的显著性轮廓图中的像素点位置与初始代理模型点位置作为一组最优对应点。这样，最大化状态转移概率保证了当前搜索到的新一组匹配点与上一组匹配点在距离和方向上尽量连续。

例如，如图4所示的隐马尔科夫优化前后的最优匹配点，图4的左侧为优化前，右侧为优化后，线条31表示渐变为图像边缘点显著性，线条32表示代理模型特征线，线条33表示一组最佳匹配点。

步骤204、根据所述显著性势能场与所述初始代理模型投影的对应点进行刚性配准优化相机位置。

具体的，此处步骤204中的根据所述显著性势能场与所述初始代理模型投影的对应点进行刚性配准优化相机位置，可以通过如下方式实现：

利用得到的显著性势能场和优化后的对应点来评估代理模型特征线在图像上的投影与图像的边缘线是否对齐，称之为data项(数据驱动项)。

求取一刚性变换T使得数据驱动项data的值最小；其中，T＝min_T E_d(T(P))；数据驱动项data表示为其中，I为初始代理模型中可见特征线的采样点集合；v_i为初始代理模型的某一采样点；F(v_i)表示初始代理模型的采样点v_i在显著性势能场中的值；M(v_i)表示通过隐马尔科夫过程优化后显著性势能场与所述初始代理模型投影的对应点位置。此处需要优化的变量为6维(旋转3维，平移3维)。

data项计算了代理模型上采样点在显著性势能场中的积分以及每一个采样点与其在图像对应点之间的欧式距离之差。由上述data项的表达式可看出代理模型的配准同样是一个优化问题。因此，需要求出代理模型的最佳位置与形状使得data项达到最小值。此时代理模型将成为图像中目标物体形状的良好近似。

将数据驱动项data的值最小时对应的代理模型作为刚性配准后的代理模型。

步骤205、根据优化后的相机位置更新初始代理模型投影的对应点，并且进行非刚性变形配准形成拟合后代理模型。

具体的，此处步骤205中的根据优化后的相机位置更新初始代理模型投影的对应点，并且进行非刚性变形配准形成拟合后代理模型，可以通过如下方式实现：

由于刚性变换并不对代理模型进行变形，因此此时代理模型仍然与图像中的目标物体有较大不同。在求得代理模型的最佳姿态，即刚性配准后，同样利用data项的引导来进行非刚性配准，此时优化的变量成为代理模型的每一个顶点位置，为了让代理模型不发生过度扭曲，此时在优化中除了data项之外还需要额外的形状约束。

此处，根据刚性配准后的代理模型更新初始代理模型投影的对应点，并且根据非刚性变形配准函数进行非刚性变形配准。

所述非刚性变形配准函数为：其中，E_s(P)为形状约束函数；E_p(P)为局部平面性约束函数，E_s(P)与E_p(P)都是为了防止在非刚性配准中代理模型发生过于剧烈的变化。

值得说明的是，上述步骤203中对应点根据当前代理模型的形状求出，而在步骤204与步骤205中，进行配准时代理模型的形状和位置都会发生变化，因此实际运行中步骤203，与步骤204结合步骤205，需要反复迭代运行，直到代理模型足够近似图像中的目标物体。

此处，如图5所示，图5中的(a)、(b)、(c)、(d)、(e)分别为初始代理模型、三维输入图像、进行刚性配准后的图像、进行非刚性配准后的图像以及最终形成的拟合后代理模型。

当然，该拟合后代理模型还可以通过其他方式获得，例如通过实体三维扫描设备，人工制作等方式获得。

步骤206、根据拟合后代理模型，对所述三维输入图像进行本征图像分解，生成三维输入图像的本征图像分解后几何形状和三维输入图像的反照率信息。

在步骤206中，利用代理模型提供的几何信息可降低在分解时的歧义性从而能够提取出图像中目标物体的外观纹理。此处改进了目前最优的分解算法SIRFS使得其能够利用代理模型提供的先验信息。

此处步骤206可以根据如下方式实现：

根据公式：

R＝I-S(Z,L)

通过三维输入图像I确定最优三维输入图像的反照率信息R、最优明暗阴影图像S、最优光照信息L以及最优几何形状Z。

其中，g(R)为反照率损失函数，除去SIRFS本身使用的稀疏性与绝对强度先验外，本发明中另外使用了Retinex先验，该先验假设在每一个局部区域，具有相似色度值得像素应当具有相似的反照率，该N(i)为一个以像素i为中心的5×5窗口；ci与cj是像素i与j的色度值，Ri与Rj是像素i与j的反照率值，权重函数因此当色度值愈接近，权重愈高。

f(Z)为几何形状损失函数，几何先验假设利用了配准后的代理模型提供的对图像物体近似拟合的几何信息，其中G(Z_i,r)为像素位置i经过半径r的高斯平滑后的深度值，Z_i(P_align)表示拟合后代理模型在像素位置i处的深度值。该几何形状损失函数使用的L2范数保证了在进行本征图像分解时几何变化在每一处都较均匀分布。

h(L)为光照损失函数，其中μ_L与∑_L为多元高斯分布对应的均值向量与方差矩阵，λ_L为权重系数。

如图6所示，在图6中，(a)、(b)、(c)、(d)部分分别为未使用配准代理模型作为几何先验信息进行分解得到的深度图、未使用配准代理模型作为几何先验信息进行分解得到的反照率图、使用了配准代理模型作为几何先验信息进行分解得到的深度图、使用了配准代理模型作为几何先验信息进行分解得到的反照率图。

步骤207、根据第一级精确形状与第二级精确形状的差，确定二级几何纹理；所述第一级精确形状通过三维输入图像的本征图像分解后几何形状的法向图引导变形得到；所述第二级精确形状通过第一级精确形状加上与三维输入图像的本征图像分解后几何形状之间沿法线方向的偏移量得到。

通过拟合后代理模型，本证图像分解提供了图像中目标物体的精确几何形状Z与反照率图像R，如图6(c)、(d)两幅图所示。本发明在步骤207和步骤208中需要将几何信息与颜色信息从图像空间生成至三维代理模型的参数网格空间(或者生成至三角网格空间)。由此，得到的非参数化外观纹理模型才可作为材质库元素为其他新模型所用。本发明的外观纹理模型由两部分组成(1)二级几何纹理，该纹理作为拟合后代理模型与本征图像分解得到的精确几何形状之差，编码了图像中目标物体的几何纹理信息，即如果在代理模型上应用该几何纹理可以得到精确几何形状；(2)材质纹理，由本征图像分解得到的反照率图像生成。由于得到的精确几何形状与反照率图来自于原始图像的一组分解，因此几何纹理与材质纹理互相关联。这也符合自然情况，一个自然物体表面的细节几何形状(例如风化，腐蚀)往往与该物体表面颜色有相关性(如金属腐蚀后的锈迹颜色)。

对于二级几何纹理的生成，几何纹理编码了从配准后的代理模型P_align到本征图像分解得到的精确几何形状Z之间的差别，即D(P_align)＝Z，运算符D表示二级几何纹理运算符D＝D_f°D_m，D_m为第一级几何纹理，D_f为第二级几何纹理。D_m(P_align)可得到第一级精确模型，D_f(D_m(P_align))可得到第二级精确模型(Z)。将几何纹理分为两个层级有以下几点优点：

①从代理模型到精确几何形状之间的差别有时候十分显著，一级几何纹理不能很好的描述过于丰富的几何变化。

②将几何纹理分为两个层级能够大大增加在新模型上应用该纹理时产生的组合几何纹理模式。

③当输入一个新的模型来应用几何纹理时，第一级几何纹理能够让模型增加一定的几何细节从而为应用第二级几何纹理提供更准确的引导。

非参数化纹理存储在代理模型的参数化网格上，参数化网格由用户初始输入的代理模型携带。第一级几何纹理存储的是第一级精确模型D_m(P_align)与P_align之间的几何变化，第一级精确模型则通过由最终精确模型Z的法向图作为引导对配准后的代理模型进行变形得到。第一级几何纹理由代理模型顶点上的偏移向量表示，如图7所示，图7左侧为代理模型参数网格，右侧为第一级几何纹理，颜色表示偏移向量方向，深浅表示偏移向量长度。第二级几何纹理存储的是第一级精确模型D_m(P_align)与第二级精确模型，即最终精确模型Z之间的几何变化，由于第二级几何纹理表达更细微的几何变化，因此参数网格也需要相应进行细分以达到更高分辨率。第二级几何纹理通过计算第一级精确模型沿法线方向与第二级精确模型Z之间的位移差表示，由于该位移差总是沿法线方向，因此于第一级几何纹理相比只需存储偏移距离而不必存储偏移方向，如图8所示，左侧为细分后代理模型参数网格，右侧为第二级几何纹理，深浅表示偏移长度。

步骤208、根据三维输入图像的反照率信息转化到拟合后代理模型的参数网格，形成材质纹理。

对于材质纹理的生成，则较为直接，材质纹理即图像空间下的反照率图转化到代理模型的参数网格纹理，由于代理模型已经与三维输入图像配准，因此对应关系已知，则可以直接获得，如图9所示为材质纹理示意图。由此，得到了代理模型所对应的图像目标物体包含的外观纹理模型，由两级几何纹理与一级材质纹理组成。该外观纹理可用于任何用户新输入的三维模型，即在一个新的三维模型上增加外观纹理使其在细节上与图像中的目标物体有相似外观。

为了体现本发明实施例的效果，如图10所示，展示了利用本发明生成的几组外观纹理模型样例，可以看到对于图片中的目标物体形状并没有严格限制。同时，随着样例数目的增多，生成的外观纹理模型可以组成一个材质库，方便建模师等计算机美术人员使用。

例如，如图11所示，在新的模型上应用外观模型。例如，在机器人R2D2和唐朝马的简模上使用来自消防栓的外观纹理。又例如，如图12所示，在鸭子容器的简模上使用来自木头软椅的外观纹理。可以看到，本发明实施例中提取的外观纹理模型能够轻松将原始图像中目标物体的细节外观特征复现在新输入的其他简单模型上，增加丰富的几何和材质纹理，这一工作如果由建模师手工完成需要消耗大量时间精力。另外从图12第一排示例也可看出，该方法能够对图像中的目标物体进行三维重建，恢复出物体上的几何形状与材质颜色，得到的三维模型渲染图(第一排最右侧图像)与原始图像中的目标物体非常接近。

本发明实施例的三维模型的外观纹理提取方法的应用场景有很多，例如集成到谷歌的sketchup软件中，作为物体表面细节三维重建的辅助工具，简化计算机美术工程师的工作量。或者，集成到有机建模软件pixologic的zbrush上作为纹理库，方便计算机美术工程师在自由创作模型上使用感兴趣的外观纹理，增加模型的自然感与逼真度。

本发明实施例提供的一种三维模型的外观纹理提取方法，能够根据三维输入图像和初始代理模型，对初始代理模型进行配准拟合，形成拟合后代理模型；之后，根据拟合后代理模型，对三维输入图像进行本征图像分解，生成三维输入图像的本征图像分解后几何形状和三维输入图像的反照率信息，进而确定三维输入图像的二级几何纹理和材质纹理。该二级几何纹理和材质纹理即为待提取的外观纹理。可见，本发明能够自动分析变形拟合，并提取外观纹理，简化了人工制作高精度三维模型的过程，避免了当前现有技术难以快捷有效地进行三维模型的外观纹理提取的问题。

对应于图1和图2所示的方法实施例，如图13所示，本发明实施例提供一种三维模型的外观纹理提取装置，包括：

图像获取单元401，用于获取预先设置的初始代理模型，并获取用户输入的三维输入图像。

配准拟合单元402，用于根据所述三维输入图像和初始代理模型，对所述初始代理模型进行配准拟合，形成拟合后代理模型。

本征图像分解单元403，用于根据拟合后代理模型，对所述三维输入图像进行本征图像分解，生成三维输入图像的本征图像分解后几何形状和三维输入图像的反照率信息。

外观纹理提取单元404，用于确定三维输入图像的二级几何纹理和材质纹理。

具体的，如图14所示，所述配准拟合单元402，包括：

显著性势能场生成模块421，可以确定三维输入图像的显著性轮廓图，生成显著性势能场。

对应点优化模块422，可以根据所述显著性势能场，通过隐马尔科夫过程优化显著性势能场与所述初始代理模型投影的对应点。

刚性配准模块423，可以根据所述显著性势能场与所述初始代理模型投影的对应点进行刚性配准优化相机位置。

非刚性配准模块424，可以根据优化后的相机位置更新初始代理模型投影的对应点，并且进行非刚性变形配准形成拟合后代理模型。

此外，所述显著性势能场生成模块421，具体用于：

根据边缘检测算法确定三维输入图像的显著性轮廓。

生成显著性轮廓图对应的显著性势能场；所述显著性势能场表示为：其中，p_i与p_j为显著性轮廓图中的任意两个像素i和j的位置；J为所有被检测为边缘线的像素的集合；w为控制像素i，j之间的距离和显著性强度的影响权重；s_j为像素j所处位置的显著性强度。

此外，所述对应点优化模块422，具体用于：

根据公式：

确定显著性轮廓图中的像素点位置p_j与初始代理模型点位置v_i的状态发射概率P(v_i|p_j)与状态转移概率P(p_j|p_j-1)的一组最大乘积；其中，0≤i≤n，0≤j≤m；其中，S(v_i,p_j)为显著性轮廓图中的像素点与初始代理模型点的匹配分数；s_j为像素j所处位置的显著性强度；a、b为预设参数，分别为0.7与0.5；t_i、t_j分别为像素i与像素j两点边的方向向量；d_i＝||v_i-v_i-1||、d_j＝||p_i-p_i-1||；σ为正态分布标准差。

将状态发射概率P(v_i|p_j)与状态转移概率P(p_j|p_j-1)的一组最大乘积对应的显著性轮廓图中的像素点位置与初始代理模型点位置作为一组最优对应点。

此外，所述刚性配准模块423，具体用于：

求取一刚性变换T使得数据驱动项data的值最小；其中，T＝min_TE_d(T(P))；数据驱动项data表示为其中，I为初始代理模型中可见特征线的采样点集合；v_i为初始代理模型的某一采样点；F(v_i)表示初始代理模型的采样点v_i在显著性势能场中的值；M(v_i)表示通过隐马尔科夫过程优化后显著性势能场与所述初始代理模型投影的对应点位置。

将数据驱动项data的值最小时对应的代理模型作为刚性配准后的代理模型。

此外，所述非刚性配准模块424，具体用于：

根据刚性配准后的代理模型更新初始代理模型投影的对应点，并且根据非刚性变形配准函数进行非刚性变形配准。

所述非刚性变形配准函数为：其中，E_s(P)为形状约束函数；E_p(P)为局部平面性约束函数。

此外，所述本征图像分解单元403，具体用于：

根据公式：

R＝I-S(Z,L)

通过三维输入图像I确定最优三维输入图像的反照率信息R、最优明暗阴影图像S、最优光照信息L以及最优几何形状Z；

其中，g(R)为反照率损失函数，N(i)为一个以像素i为中心的5×5窗口；ci与cj是像素i与j的色度值，Ri与Rj是像素i与j的反照率值，权重函数

f(Z)为几何形状损失函数，其中G(Z_i,r)为像素位置i经过半径r的高斯平滑后的深度值，Z_i(P_align)表示拟合后代理模型在像素位置i处的深度值；

h(L)为光照损失函数，其中μ_L与∑_L为多元高斯分布对应的均值向量与方差矩阵，λ_L为权重系数。

此外，所述外观纹理提取单元404，具体用于：

根据第一级精确形状与第二级精确形状的差，确定二级几何纹理；所述第一级精确形状通过三维输入图像的本征图像分解后几何形状的法向图引导变形得到；所述第二级精确形状通过第一级精确形状加上与三维输入图像的本征图像分解后几何形状之间沿法线方向的偏移量得到。

根据三维输入图像的反照率信息转化到拟合后代理模型的参数网格，形成材质纹理。

需要说明的是，本发明实施例提供的一种三维模型的外观纹理提取装置的具体实现方式可以参见上述的方法实施例，此处不再赘述。

本发明实施例提供的一种三维模型的外观纹理提取装置，能够根据三维输入图像和初始代理模型，对初始代理模型进行配准拟合，形成拟合后代理模型；之后，根据拟合后代理模型，对三维输入图像进行本征图像分解，生成三维输入图像的本征图像分解后几何形状和三维输入图像的反照率信息，进而确定三维输入图像的二级几何纹理和材质纹理。该二级几何纹理和材质纹理即为待提取的外观纹理。可见，本发明能够自动分析变形拟合，并提取外观纹理，简化了人工制作高精度三维模型的过程，避免了当前现有技术难以快捷有效地进行三维模型的外观纹理提取的问题。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种三维模型的外观纹理提取方法，其特征在于，包括：

获取预先设置的初始代理模型，并获取用户输入的三维输入图像；

根据所述三维输入图像和初始代理模型，对所述初始代理模型进行配准拟合，形成拟合后代理模型；

根据拟合后代理模型，对所述三维输入图像进行本征图像分解，生成三维输入图像的本征图像分解后几何形状和三维输入图像的反照率信息，并确定三维输入图像的二级几何纹理和材质纹理；

其中，根据所述三维输入图像和初始代理模型，对所述初始代理模型进行配准拟合，形成拟合后代理模型，包括：确定三维输入图像的显著性轮廓图，生成显著性势能场；根据所述显著性势能场，通过隐马尔科夫过程优化显著性势能场与所述初始代理模型投影的对应点；根据所述显著性势能场与所述初始代理模型投影的对应点进行刚性配准优化相机位置；根据优化后的相机位置更新初始代理模型投影的对应点，并且进行非刚性变形配准形成拟合后代理模型。

2.根据权利要求1所述的三维模型的外观纹理提取方法，其特征在于，确定三维输入图像的显著性轮廓图，生成显著性势能场，包括：

根据边缘检测算法确定三维输入图像的显著性轮廓；

生成显著性轮廓图对应的显著性势能场；所述显著性势能场表示为：其中，p_i与p_j为显著性轮廓图中的任意两个像素i和j的位置；J为所有被检测为边缘线的像素的集合；w为控制像素i，j之间的距离和显著性强度的影响权重；s_j为像素j所处位置的显著性强度。

3.根据权利要求2所述的三维模型的外观纹理提取方法，其特征在于，根据所述显著性势能场，通过隐马尔科夫过程优化显著性势能场与所述初始代理模型投影的对应点，包括：

根据公式：

确定显著性轮廓图中的像素点位置p_j与初始代理模型点位置v_i的状态发射概率P(v_i|p_j)与状态转移概率P(p_j|p_j-1)的一组最大乘积；其中，0≤i≤n，0≤j≤m；其中，S(v_i,p_j)为显著性轮廓图中的像素点与初始代理模型点的匹配分数；s_j为像素j所处位置的显著性强度；a、b为预设参数，分别为0.7与0.5；t_i、t_j分别为像素i与像素j两点边的方向向量；d_i＝||v_i-v_i-1||、d_j＝||p_i-p_i-1||；σ为正态分布标准差；

将状态发射概率P(v_i|p_j)与状态转移概率P(p_j|p_j-1)的一组最大乘积对应的显著性轮廓图中的像素点位置与初始代理模型点位置作为一组最优对应点。

4.根据权利要求3所述的三维模型的外观纹理提取方法，其特征在于，根据所述显著性势能场与所述初始代理模型投影的对应点进行刚性配准优化相机位置，包括：

求取一刚性变换T使得数据驱动项data的值最小；其中，T＝min_T E_d(T(P))；数据驱动项data表示为其中，I为初始代理模型中可见特征线的采样点集合；v_i为初始代理模型的某一采样点；F(v_i)表示初始代理模型的采样点v_i在显著性势能场中的值；M(v_i)表示通过隐马尔科夫过程优化后显著性势能场与所述初始代理模型投影的对应点位置；

将数据驱动项data的值最小时对应的代理模型作为刚性配准后的代理模型。

5.根据权利要求4所述的三维模型的外观纹理提取方法，其特征在于，根据优化后的相机位置更新初始代理模型投影的对应点，并且进行非刚性变形配准形成拟合后代理模型，包括：

根据刚性配准后的代理模型更新初始代理模型投影的对应点，并且根据非刚性变形配准函数进行非刚性变形配准；

所述非刚性变形配准函数为：其中，E_s(P)为形状约束函数；E_p(P)为局部平面性约束函数。

6.根据权利要求5所述的三维模型的外观纹理提取方法，其特征在于，根据拟合后代理模型，对所述三维输入图像进行本征图像分解，生成三维输入图像的本征图像分解后几何形状和三维输入图像的反照率信息，包括：

根据公式：

R＝I-S(Z,L)

通过三维输入图像I确定最优三维输入图像的反照率信息R、最优明暗阴影图像S、最优光照信息L以及最优几何形状Z；

其中，g(R)为反照率损失函数，N(i)为一个以像素i为中心的5×5窗口；ci与cj是像素i与j的色度值，Ri与Rj是像素i与j的反照率值，权重函数

f(Z)为几何形状损失函数，其中G(Z_i,r)为像素位置i经过半径r的高斯平滑后的深度值，Z_i(P_align)表示拟合后代理模型在像素位置i处的深度值；

h(L)为光照损失函数，其中μ_L与∑_L为多元高斯分布对应的均值向量与方差矩阵，λ_L为权重系数。

7.根据权利要求6所述的三维模型的外观纹理提取方法，其特征在于，确定三维输入图像的二级几何纹理和材质纹理，包括：

根据第一级精确形状与第二级精确形状的差，确定二级几何纹理；所述第一级精确形状通过三维输入图像的本征图像分解后几何形状的法向图引导变形得到；所述第二级精确形状通过第一级精确形状加上与三维输入图像的本征图像分解后几何形状之间沿法线方向的偏移量得到；

根据三维输入图像的反照率信息转化到拟合后代理模型的参数网格，形成材质纹理。

8.一种三维模型的外观纹理提取装置，其特征在于，包括：

图像获取单元，用于获取预先设置的初始代理模型，并获取用户输入的三维输入图像；

配准拟合单元，用于根据所述三维输入图像和初始代理模型，对所述初始代理模型进行配准拟合，形成拟合后代理模型；

本征图像分解单元，用于根据拟合后代理模型，对所述三维输入图像进行本征图像分解，生成三维输入图像的本征图像分解后几何形状和三维输入图像的反照率信息；

外观纹理提取单元，用于确定三维输入图像的二级几何纹理和材质纹理；

其中，所述配准拟合单元，包括：显著性势能场生成模块，用于确定三维输入图像的显著性轮廓图，生成显著性势能场；对应点优化模块，用于根据所述显著性势能场，通过隐马尔科夫过程优化显著性势能场与所述初始代理模型投影的对应点；刚性配准模块，用于根据所述显著性势能场与所述初始代理模型投影的对应点进行刚性配准优化相机位置；非刚性配准模块，用于根据优化后的相机位置更新初始代理模型投影的对应点，并且进行非刚性变形配准形成拟合后代理模型。

9.根据权利要求8所述的三维模型的外观纹理提取装置，其特征在于，所述显著性势能场生成模块，具体用于：

根据边缘检测算法确定三维输入图像的显著性轮廓；

生成显著性轮廓图对应的显著性势能场；所述显著性势能场表示为：其中，p_i与p_j为显著性轮廓图中的任意两个像素i和j的位置；J为所有被检测为边缘线的像素的集合；w为控制像素i，j之间的距离和显著性强度的影响权重；s_j为像素j所处位置的显著性强度。

10.根据权利要求9所述的三维模型的外观纹理提取装置，其特征在于，所述对应点优化模块，具体用于：

根据公式：

确定显著性轮廓图中的像素点位置p_j与初始代理模型点位置v_i的状态发射概率P(v_i|p_j)与状态转移概率P(p_j|p_j-1)的一组最大乘积；其中，0≤i≤n，0≤j≤m；其中，S(v_i,p_j)为显著性轮廓图中的像素点与初始代理模型点的匹配分数；s_j为像素j所处位置的显著性强度；a、b为预设参数，分别为0.7与0.5；t_i、t_j分别为像素i与像素j两点边的方向向量；d_i＝||v_i-v_i-1||、d_j＝||p_i-p_i-1||；σ为正态分布标准差；

将状态发射概率P(v_i|p_j)与状态转移概率P(p_j|p_j-1)的一组最大乘积对应的显著性轮廓图中的像素点位置与初始代理模型点位置作为一组最优对应点。

11.根据权利要求10所述的三维模型的外观纹理提取装置，其特征在于，所述刚性配准模块，具体用于：

求取一刚性变换T使得数据驱动项data的值最小；其中，T＝min_T E_d(T(P))；数据驱动项data表示为其中，I为初始代理模型中可见特征线的采样点集合；v_i为初始代理模型的某一采样点；F(v_i)表示初始代理模型的采样点v_i在显著性势能场中的值；M(v_i)表示通过隐马尔科夫过程优化后显著性势能场与所述初始代理模型投影的对应点位置；

将数据驱动项data的值最小时对应的代理模型作为刚性配准后的代理模型。

12.根据权利要求11所述的三维模型的外观纹理提取装置，其特征在于，所述非刚性配准模块，具体用于：

根据刚性配准后的代理模型更新初始代理模型投影的对应点，并且根据非刚性变形配准函数进行非刚性变形配准；

所述非刚性变形配准函数为：其中，E_s(P)为形状约束函数；E_p(P)为局部平面性约束函数。

13.根据权利要求12所述的三维模型的外观纹理提取装置，其特征在于，所述本征图像分解单元，具体用于：

根据公式：

R＝I-S(Z,L)

通过三维输入图像I确定最优三维输入图像的反照率信息R、最优明暗阴影图像S、最优光照信息L以及最优几何形状Z；

其中，g(R)为反照率损失函数，N(i)为一个以像素i为中心的5×5窗口；ci与cj是像素i与j的色度值，Ri与Rj是像素i与j的反照率值，权重函数

f(Z)为几何形状损失函数，其中G(Z_i,r)为像素位置i经过半径r的高斯平滑后的深度值，Z_i(P_align)表示拟合后代理模型在像素位置i处的深度值；

h(L)为光照损失函数，其中μ_L与∑_L为多元高斯分布对应的均值向量与方差矩阵，λ_L为权重系数。

14.根据权利要求13所述的三维模型的外观纹理提取装置，其特征在于，所述外观纹理提取单元，具体用于：

根据第一级精确形状与第二级精确形状的差，确定二级几何纹理；所述第一级精确形状通过三维输入图像的本征图像分解后几何形状的法向图引导变形得到；所述第二级精确形状通过第一级精确形状加上与三维输入图像的本征图像分解后几何形状之间沿法线方向的偏移量得到；

根据三维输入图像的反照率信息转化到拟合后代理模型的参数网格，形成材质纹理。