CN105574922A - 一种鲁棒的三维模型高质量纹理映射方法 - Google Patents

Abstract

本发明公开了一种鲁棒的三维模型高质量纹理映射方法。首先将输入的网格模型离散为像素粒度的点云，其次建立颜色一致性目标能量，根据这个目标能量优化输入的摄像机外参并且对颜色图像进行形变调整，之后建立最优化拼接目标能量获得每个面片最优的纹理图像映射关系。相比现有的方法，本发明针对配准误差很大并且带高光的输入数据有着明显的优势。

Description

一种鲁棒的三维模型高质量纹理映射方法

技术领域

本发明涉及一种三维模型高质量纹理映射方法，尤其涉及一种鲁棒的三维模型高质量纹理映射方法。

背景技术

纹理映射是建立三维物体表面和二维图像空间像素坐标对应关系的过程。在三维图形学中，纹理映射允许加载用户采集真实的自然场景照片来做为二维纹理数据，这对于表达具有真实感的三维物体模型具有非常重要的意义。在真实感纹理贴图问题中一个关键的问题是如何处理输入数据的配准误差，配准误差主要来源于模型与真实物体的几何误差，摄像机参数的误差，以及相机针孔模型简化引入的误差。输入数据的配准误差对最终结果有着直接的影响。

视频的每帧图像仅仅能捕获到场景的一个局部区域，因此需要结合视频的多帧图像来创建三维模型的完整纹理贴图。王立峰等人的方法(L.Wang,S.B.Kang,R.Szeliski,H.-Y.Shum:Optimaltexturemapreconstructionfrommultipleviews.InCVPR,2001.)和Baumberg的方法(A.Baumberg:Blendingimagesfortexturing3Dmodels.InBMVC,2002:404–413.)用加权混合的方式结合多帧纹理图像，为每帧图像求解合适的权重以获得最佳的混合效果。然而，如果纹理图像之间存在偏移或者颜色差异，加权混合会产生明显的走样。Niem和Broszio的方法(W.Niem,andH.Broszio:Mappingtexturefrommultiplecameraviewsonto3D-objectmodelsforcomputeranimation.InproceedingsoftheInternationalWorkshoponStereoscopicandThreeDimensionalImaging,1995:99-105.)为每个面片选择其可见的某帧纹理图像进行映射，并用贪心的方式调整每个面片使得相邻的面片尽可能来自同一幅纹理图像，该方法的结果很难完全保证相邻面片的纹理一致性。Lempitsky和Ivanov(V.Lempitsky,andD.Ivanov:Seamlessmosaicingofimage-basedtexturemaps.InCVPR,2007:1–6.)提出将三维模型的多视图纹理映射视为一个图像拼接问题：整体模型的纹理映射即为每个面片选择合适的纹理图像，并且保持相邻面片纹理接缝颜色的一致性。该问题可转换为一个马可夫随机场问题进行求解。Gal等人(R.Gal,Y.Wexler,E.Ofek,H.Hoppe,andD.Cohen-Or:Seamlessmontagefortexturingmodels.ComputerGraphicsForum,2010,29(2):479-486.)对于Lempitsky和Ivanov提出中的方法做了改进，对于面片在每个帧纹理图像上的映射考虑了局部位移，从而能够处理摄像机参数和三维模型存在的配准误差问题，但是求解空间扩大会影响该方法的运行效率。Gal等人以及Lempitsky和Ivanov提出的方法计算时间和空间复杂度均很高，因此仅能够处理形状简单的小规模模型。

除了文献(R.Gal,Y.Wexler,E.Ofek,H.Hoppe,andD.Cohen-Or:Seamlessmontagefortexturingmodels.ComputerGraphicsForum,2010,29(2):479-486.)之外，近年来还有一些纹理映射方法也能够较好地处理配准误差问题，从而实现高质量的真实感纹理贴图效果。例如，Eisemann等人(M.Eisemann,B.DeDecker,M.Magnor,P.Bekaert,E.deAguiar,N.Ahmed,C.Theobalt,andA.Sellent:Floatingtextures.ComputerGraphicsForum,2008,27(2):409–418.)利用多帧纹理图像之间的光流来实现图像对齐以解决配准误差问题，其运行效率依赖于GPU的加速，并且最后效果极大的依赖光流的结果，但是光流的结果往往都是不鲁棒的。Goldluecke等人(B.Goldluecke,M.Aubry,K.Kolev,andD.Cremers:ASuper-resolutionframeworkforhigh-accuracymultiviewreconstruction.InternationalJournalofComputerVision,2014,106(2):127-191.)则提出了超分辨率的纹理映射方法。超分辨率方法并不能处理输入数据配准误差较大，并且带有高光的情况。

还有一些结合用户交互的方法(V.Kraevoy.,A.Sheffer,andC.Gotsman:Matchmaker:constructingconstrainedtexturemaps.ACMTransactionsonGraphics,2003,22(3):326–333.，K.Zhou,X.Wang,Y.Tong,M.Desbrun,B.Guo,andH.-Y.Shum:TextureMontage.ACMTransactionsonGraphics,2005,24(3):1148–1155.，Y.Tzur,andA.Tal:Flexistickers:Photogrammetrictexturemappingusingcasualimages.ACMTransactionsonGraphics,2009,28(3).)，提供了半自动的工具允许用户在模型面片和图像区域之间指定匹配点，从而将纹理图像贴至三维模型表面上。与这些交互工具不同，我们的方法能够全自动地为三维模型的面片选取合适的纹理贴图区域，无需繁琐的用户交互。

发明内容

本发明的目的在于针对现有技术的不足，提供一种鲁棒的三维模型高质量纹理映射方法，该方法能够处理大配准误差以及高光情况的高质量纹理映射。

它的步骤如下：

1.将网格模型按照像素粒度离散化为点云，方便后续能量方程的建立。

2.按照颜色一致性能量方程进行交替优化，输出优化后的摄像机参数以及彩色图像。

3.求解最优化拼接问题。

本发明的有益效果是：

1.一种高效的处理输入数据配准误差的方法，在配准误差比较大并且存在高光区域的数据集上能够得到很好的结果。

2相比现有的最优化拼接算法而言，纹理信息丰富程度的以及颜色差异的衡量更加合理。利用投影区域的梯度信息总和既能衡量成像区域大小，又能衡量图像模糊程度，同时又考虑到面片的拉伸程度，防止剧烈的畸变情况。按照像素粒度考虑共边附近两条边上的像素差异相比其他只考虑共边像素差异的方法更加的鲁邦。

具体实施方式

本发明设计一种鲁棒的三维模型高质量纹理映射方法，该方法较之于现有的三维场景纹理映射方法进行了如下改进：1)将模型按照像素粒度离散化为点云，基于点云建立颜色一致性能量，在优化能量的过程中矫正数据配准误差；2)合理设置。

本发明的实施步骤如下:

1.模型离散化，模型离散化是将网格模型按照像素粒度(一个像素距离在三维中的跨度)离散化为点云数据方便后续处理。主要包括以下两个步骤：

1.1首先计算细分粒度L，令f_x，f_y分别为相机x，y方向的焦距，则第i帧图像的像素粒度其中为第i帧图像中离成像平面最近的深度，而最终模型细分粒度为其中n为总的帧数，α为一大于0的常量。

1.2其次我们按照如下规则进行细分，每个面片以内心为中心，按照L向内部等比例缩放，原面片和所有子面片的边都按照L进行采样得到新的顶点,所有采样得到的顶点,原面片顶点以及子面片的顶点构成最终的点云。

2.输入数据矫正，输入数据矫正是指修正摄像机的外参以及对彩色图像进行网格形变，使得模型颜色更加一致，主要通过优化以下目标能量来(颜色一致性能量)实现：

E(C,T,F)＝E_c(C,T,F)+λE_r(F)(8)

其中输入图像序列为{I_i}以及对应的在该帧能够看到的三维顶点集合为{P_i}(即通过深度测试的点，在本方法中将深度测试的阈值设置为其中γ为大于0的常量)，由于每次矫正摄像机参数的过程中，{P_i}其实是在变化的，但是在本方法中为了保证运算的高效，{P_i}是不会变化的，因此还必须要求，三维顶点不能在深度剧烈变化的位置，令p投影到图像I_i平面上像素坐标为x_p，利用模型和摄像机参数反投影得到的深度图则p必须满足其中ε为大于等于1的常量。表示每个顶点颜色的集合，C(p)代表三维点p的颜色(本发明只使用灰度颜色)，T＝{T_i}为每一帧摄像机外参的集合，F＝{F_i}，F_i代表第i帧的网格形变函数，本发明通过网格状控制点V_i＝{v_i,l}来决定F_i：

其中θ_l(u)为双线性插值的系数，f_i,l代表二维上的偏移量，F_i＝{f_i,l}。g(p,T_i)代表刚体变换，为p的齐次坐标表达，T_i为4×4的矩阵，但是迭代优化的过程中，对其进行线性近似，

u(g_x,g_y,g_z,g_w)代表投影变换，其中c_x,c_y是相机主焦点在图像空间的偏移量，其中Γ_i(u_x,u_y)表示二维点在图像上的颜色，λ代表正则系数，w_i(p)∈[0,1]表示在第i帧下由于是高光点而引入的权重，上述问题为一个非线性最小二乘问题，可以采用多种方法进行优化，而w_i(p)也会在每次迭代之后重新计算。其中w_i(p)按照如下步骤进行计算：

1)为每一帧图像I_i计算邻域图像集合其中Num(·)表示计算集合中元素的个数，为大于0的整数。

2)令C_i(p)＝Γ_i(F_i(u(g(p,T_i))))，按照如下公式计算w_i(p):

其中ρ(·)可以是各类M‐estimators中的权重函数，本方法中采用的是Huber权重函数。

为了求解上述方程，本方法采用一种交替优化的策略：

1)按照确定每一个顶点的颜色，其中n为总的帧数。

2)确定C(p)可以对每一帧能量分别进行优化单帧的优化可以用多种方法，如高斯‐牛顿，LM算法，DogLeg算法等等，本方法采用最高斯牛顿算法，并且交替优化多次得到最后调整后结果。

3.纹理最优拼接，对于模型上的每个面片，从输入图像序列中寻找一张最优的彩色图像，最优化拼接结果即为所有面片对应的最优纹理帧标记集合，此问题可以转换成能量最小化过程，其中能量方程的值由纹理信息的丰富程度和来自不同帧纹理之间的颜色一致性确定：

其中l＝{l_i}代表帧标签集合，D(i,l_i)衡量第i个面片在第l_i帧图像上纹理信息的丰富程度，N_i表示第i个面片在模型上相邻的面片的集合，S(i,j,l_i,l_j)衡量不同纹理图像的相邻面片之间的纹理缝隙颜色一致性,采用GraphCut或者BeliefPropagation算法求解上述能量方程。D(i,l_i)和S(i,j,l_i,l_j)设置如下：

其中l＝{l_i}代表帧标签集合，D(i,l_i)衡量第i个面片在第l_i帧图像上纹理信息的丰富程度，N_i表示第i个面片在模型上相邻的面片的集合，S(i,j,l_i,l_j)衡量不同纹理图像的相邻面片之间的纹理缝隙颜色一致性,采用GraphCut或者BeliefPropagation算法求解上述能量方程。D(i,l_i)和S(i,j,l_i,l_j)设置如下：

3.2来自不同纹理图像的相邻面片之间的纹理缝隙颜色一致性通过计算相邻面片共边附近区域颜色的差异得到。令模型上相邻的两个面片T_l与T_r，公共边为BC，并且分别投影到图I_l和I_r，颜色一致性通过对BC_l和BC_r进行采样并且分别投影到两张纹理图像上计算颜色差异得到，BC_l为在三维空间上处于T_l平面内与BC平行，并且与BC的距离为T_l投影到I_l的像素粒度的直线与T_l相交的线段，BC_r也同理。形式化表述如下，令为第i个三角面片投影到l_i求得的像素粒度，e_i,j表示三角面片i,j的共边，表示处于i个面片内部，与e_i,j平行并且距离e_i,j为的边，则

实施例

针对带高光的家具弯椅子的输入图像序列(5184×3456)以及对应的三维模型，使用本专利的方法能够很好的对输入配准误差进行矫正，并且判断高光区域，最后得到一个完整的纹理贴图。

实施步骤如下：

1.模型离散化，模型离散化是将网格模型按照像素粒度(一个像素距离在三维中的跨度)离散化为点云数据方便后续处理。主要包括以下两个步骤：

1.1首先计算细分粒度L，令f_x，f_y分别为相机x，y方向的焦距，则第i帧图像的像素粒度其中为第i帧图像中离成像平面最近的深度，而最终模型细分粒度为其中n为总的帧数，α为一大于0的常量，在本例设置为3.6。

1.2其次我们按照如下规则进行细分，以三角网格为例(多边形网格也可以采用类似方法)，每个三角面片以内心为中心，按照L向内部等比例缩放(即相邻两个子三角形之间平行边的垂直距离为L)，原三角形和子三角形的边都按照L进行细分。

2.输入数据矫正，输入数据矫正是指修正摄像机的外参以及对彩色图像进行网格形变，使得模型颜色更加一致，主要通过优化以下目标能量来(颜色一致性能量)实现：

E(C,T,F)＝E_c(C,T,F)+λE_r(F)(15)

其中输入图像序列为{I_i}以及对应的在该帧能够看到的三维顶点集合为{P_i}(即通过深度测试的点，在本方法中将深度测试的阈值设置为由于每次矫正摄像机参数的过程中，{P_i}其实是在变化的，但是在本方法中为了保证运算的高效，{P_i}是不会变化的，因此还必须要求，三维顶点不能在深度剧烈变化的位置，令p投影到图像I_i平面上像素坐标为x_p，利用模型和摄像机参数反投影得到的深度图则p必须满足表示每个顶点颜色的集合，C(p)代表三维点p的颜色(本发明只使用灰度颜色)，T＝{T_i}为每一帧摄像机外参的集合，F＝{F_i}，F_i代表第i帧的网格形变函数，本例中设置32×16数量的控制点，本发明通过网格状控制点V_i＝{v_i,l}来决定F_i：

其中θ_l(u)为双线性插值的系数，f_i,l代表二维上的偏移量，F_i＝{f_i,l}。g(p,T_i)代表刚体变换，为p的齐次坐标表达，T_i为4×4的矩阵，但是迭代优化的过程中，对其进行线性近似，

u(g_x,g_y,g_z,g_w)代表投影变换，其中c_x,c_y是相机主焦点在图像空间的偏移量，其中Γ_i(u_x,u_y)表示二维点在图像上的颜色，λ代表正则系数，w_i(p)∈[0,1]表示在第i帧下由于是高光点而引入的权重，上述问题为一个非线性最小二乘问题，可以采用多种方法进行优化，而w_i(p)也会在每次迭代之后重新计算。其中w_i(p)按照如下步骤进行计算：

1)为每一帧图像I_i计算邻域图像集合其中Num(·)表示计算集合中元素的个数，在本例中将设置为Num(P_i)/2。

2)令C_i(p)＝Γ_i(F_i(u(g(p,T_i))))，按照如下公式计算w_i(p):

其中ρ(·)可以是各类M‐estimators中的权重函数，本方法中采用的是Huber权重函数。

为了求解上述方程，本方法采用一种交替优化的策略：

3)按照确定每一个顶点的颜色，其中n为总的帧数。

4)确定C(p)可以对每一帧能量分别进行优化单帧的优化可以用多种方法，如高斯‐牛顿，LM算法，DogLeg算法等等，本方法采用最高斯牛顿算法，并且交替优化200次得到最后调整后结果。

3.纹理最优拼接，对于模型上的每个面片，从输入图像序列中寻找一张最优的彩色图像，最优化拼接结果即为所有面片对应的最优纹理帧标记集合，此问题可以转换成能量最小化过程，其中能量方程的值由纹理信息的丰富程度和来自不同帧纹理之间的颜色一致性确定：

其中l＝{l_i}代表帧标签集合，D(i,l_i)衡量第i个面片在第l_i帧图像上纹理信息的丰富程度，N_i表示第i个面片在模型上相邻的面片的集合，S(i,j,l_i,l_j)衡量不同纹理图像的相邻面片之间的纹理缝隙颜色一致性。D(i,l_i)和S(i,j,l_i,l_j)设置如下：

3.2来自不同纹理图像的相邻面片之间的纹理缝隙颜色一致性通过计算相邻面片共边附近区域颜色的差异得到。令模型上相邻的两个面片T_l与T_r，公共边为BC，并且分别投影到图I_l和I_r，颜色一致性通过对BC_l和BC_r进行采样并且分别投影到两张纹理图像上计算颜色差异得到，BC_l为在三维空间上处于T_l平面内与BC平行，并且与BC的距离为T_l投影到I_l的像素粒度的直线与T_l相交的线段，BC_r也同理。形式化表述如下，令为第i个三角面片投影到l_i求得的像素粒度，e_i,j表示三角面片i,j的共边，表示处于i个面片内部，与e_i,j平行并且距离e_i,j为的边，则

Claims (7)

1.一种鲁棒的三维模型高质量纹理映射方法，其特征在于包括如下步骤：

1)将网格模型按照像素粒度离散化为点云；

2)建立并交替优化颜色一致性能量方程，实现输入数据矫正，输出优化后的摄像机参数以及彩色图像；

3)求解最优化拼接问题。

2.如权利要求1所述方法，其特征在于所述的步骤1)包括以下两个步骤：

1.1)计算细分粒度L

令f_x，f_y分别为相机x，y方向的焦距，则第i帧图像的像素粒度其中为第i帧图像中离成像平面最近的深度，而最终模型细分粒度其中n为总的帧数，α为一大于0的常量；

1.2)按照如下规则对网格模型进行离散，每个面片以内心为中心，按照L向内部等比例缩放，原面片和所有子面片的边都按照L进行采样得到新的顶点,所有采样得到的顶点、原面片顶点以及子面片的顶点构成最终的点云。

3.如权利要求1所述方法，其特征在于所述的步骤2)具体为：

输入数据矫正是指修正摄像机的外参以及对彩色图像进行网格形变，使得模型颜色更加一致，通过优化以下颜色一致性能量实现：

E(C,T,F)＝E_c(C,T,F)+λE_r(F)(1)

$E_r\left(F\right)=\underset{i}{\Σ}\underset{l}{\Σ}{f}_{i,l}^T{f}_{i,l}---\left(2\right)$

$E_c(C,T,F)=\underset{i}{\Σ}\underset{p\∈P_i}{\Σ}\left|\right|w_i\left(p\right)\left(C\right(p)-{\mathrm{\Γ}}_i(F_i\left(u\left(g\left(p,T_i\right)\right)\right)\left)\right)|{|}^2---\left(3\right)$

其中输入图像序列为{I_i}，对应的在该帧能够看到的三维顶点集合为{P_i}，C表示每个顶点颜色的集合，C(p)代表三维点p的灰度颜色，T＝{T_i}为每一帧摄像机外参的集合，F＝{F_i}，F_i代表第i帧的网格形变函数，通过网格状控制点V_i＝{v_i,l}来决定F_i：

$F_i\left(u\right)=\left\{\begin{array}{cc}u+\underset{l}{\Σ}{\mathrm{\θ}}_l\left(u\right)f_{i,l},& u\∉V_i\\ u+f_{i,l},& u\∈V_i\end{array}\right.---\left(4\right)$

其中θ_l(u)为双线性插值的系数，f_i,l代表二维上的偏移量，F_i＝{f_i,l}，g(p,T_i)代表刚体变换， 为p的齐次坐标表达，T_i为4×4的矩阵，迭代优化的过程中，对其进行线性近似，

$T_i\≈\left(\begin{array}{cccc}1& -{\mathrm{\γ}}_i& {\mathrm{\β}}_i& a_i\\ {\mathrm{\γ}}_i& 1& -{\mathrm{\α}}_i& b_i\\ -{\mathrm{\β}}_i& {\mathrm{\α}}_i& 1& c_i\\ 0& 0& 0& 1\end{array}\right)T_i^k$

u(g_x,g_y,g_z,g_w)代表投影变换， $u(g_x,g_y,g_z,g_w)={(\frac{g_x{f}_x}{g_z}+c_x,\frac{g_y{f}_y}{g_z}+c_y)}^T,$ 其中c_x,c_y是相机主焦点在图像空间的偏移量，其中Γ_i(u_x,u_y)表示二维点在图像上的颜色，λ代表正则系数，w_i(p)∈[0,1]表示在第i帧下由于是高光点而引入的权重，上述问题为一个非线性最小二乘问题，采用迭代交替优化的策略求解：

在一次迭代过程中,首先按照确定每一个顶点的颜色，其中n为总的帧数,其次对每一帧能量 $E_i=\underset{p\∈P_i}{\Σ}\left|\right|w_i\left(p\right)\left(C\right(p)-{\mathrm{\Γ}}_i(F_i\left(u\left(g\left(p,T_i\right)\right)\right)\left)\right)|{|}^2$ 分别进行优化,w_i(p)也会在每次迭代之后重新计算。

4.如权利要求3所述方法，其特征在于所述的w_i(p)按照如下步骤进行计算：

S01:为每一帧图像I_i计算邻域图像集合其中Num(·)表示计算集合中元素的个数；

S02:令C_i(p)＝Γ_i(F_i(u(g(p,T_i))))，按照如下公式计算w_i(p):

${\tilde{N}}_i=\{I_j,j\&Element;N_i,\mathrm{\&rho;}\left(\right|C_i\left(p\right)-C_j\left(p\right)\left|\right)<1.0\}---\left(5\right)$

$w_i\left(p\right)=\left\{\begin{array}{cc}\frac{\underset{j\&Element;{\tilde{N}}_i}{\&Sigma;}\mathrm{\&rho;}\left(|C_i\left(p\right)-C_j\left(p\right)|\right)}{Nums\left({\tilde{N}}_i\right)}& Nums\left({\tilde{N}}_i\right)\&NotEqual;0\\ 0& Nums\left({\tilde{N}}_i\right)=0\end{array}\right.---\left(6\right)$

其中ρ(·)是M‐estimators中的权重函数。

5.如权利要求1所述方法，其特征在于所述的步骤3)为：最优化拼接问题是对模型上的每个面片，从输入图像序列中寻找一张最优的彩色图像，最优化拼接结果即为所有面片对应的最优纹理帧标记集合，此问题可以转换成能量最小化过程，其中能量方程的值由纹理信息的丰富程度和来自不同帧纹理之间的颜色一致性确定：

$E\left(l\right)=\underset{i}{\&Sigma;}D(i,l_i)+\mathrm{\&beta;}\underset{i}{\&Sigma;}\underset{j\&Element;N_i}{\&Sigma;}S(i,j,l_i,l_j)---\left(7\right)$

其中l＝{l_i}代表帧标签集合，D(i,l_i)衡量第i个面片在第l_i帧图像上纹理信息的丰富程度，N_i表示第i个面片在模型上相邻的面片的集合，S(i,j,l_i,l_j)衡量不同纹理图像的相邻面片之间的纹理缝隙颜色一致性，β为一大于等于0的常量,

采用GraphCut或者BeliefPropagation算法求解。

6.如权利要求5所述方法，其特征在于所述的纹理信息的丰富程度从以下规则:

若面片在此帧不可见，则D(i,l_i)＝+∞,否则 按照以下两个标准进行衡量：①投影到的图像空间中梯度信息丰富程度：对区域内部梯度值进行累加②投影之后面片要尽可能使保持相似变换，模型中的三角面片能用一个仿射变换变成和图像上的三角区域在形状上对应起来，该仿射矩阵的两个奇异值的比例可以衡量其拉伸程度，其中，若面片中有一个顶点σ为一实数,则τ为一大于1.0的实数，否者τ＝1.0。

7.如权利要求5所述方法，其特征在于所述的不同纹理图像的相邻面片之间的纹理缝隙颜色一致性通过计算相邻面片共边附近区域颜色的差异得到，

令模型上相邻的两个面片T_l与T_r，公共边为BC，并且分别投影到图I_l和I_r，颜色一致性通过对BC_l和BC_r进行采样并且分别投影到两张纹理图像上计算颜色差异得到，BC_l为在三维空间上处于T_l平面内与BC平行，并且与BC的距离为T_l投影到I_l的像素粒度的直线与T_l相交的线段，BC_r也同理。