CN105550992A - 一种三维全脸照相机中高保真全脸纹理融合方法 - Google Patents

Abstract

本发明公开了一种三维全脸照相机中高保真全脸纹理融合方法，包括如下步骤：对多个三维纹理摄像机外参数进行标定，根据标定参数将三维模型表面上的一个三角面片投影到不同视角拍摄的纹理图像上；将纹理图像上投影到的三角面片剪切出，计算每个纹理图像上的所述三角面片的融合权重；把所有所述三角面片经仿射变换成和最大融合权重对应的三角面片相同的形状；进行纹理三角形融合；将融合后的纹理三角形贴到对应的三维模型三角面片上。

Description

一种三维全脸照相机中高保真全脸纹理融合方法

技术领域

本发明涉及三维测量领域，特别多个3D相机在不同视角拍摄的纹理进行高保真纹理融合的三维全脸照相机中高保真全脸纹理融合方法。

背景技术

真实感三维模型不仅能够精确地表达目标物体的几何形状和拓扑结构，而且还能同时表达物体本身的真实表象，在文化遗产保护、建筑、影视艺术以及逆向工程等领域具有重要的研究意义和应用价值。

仅仅通过几何形状(缺少表面颜色、材质等属性)并不能反映物体的真实表象，为了得到真实感的三维模型，还需进行纹理图像的获取与融合。在深度图像采集系统中加入纹理采集相机，把纹理相机作为系统的组件，在采集前对纹理相机进行标定，从而获得深度图像与纹理图像的精确对应关系。此外，由于光照变化、物体的非完全漫反射、几何重建的误差，以及匹配的精度限制等因素，在物体表面会有明显的“痕迹”出现，为此，必须进行纹理融合，以消除非自然的痕迹，得到真实感三维模型。

目前已发展了多种纹理融合的方法，Rocchini等(“Multipletexturestitchingandblendingon3Dobject[C]”ProceedingsofEurographicsReaderingWorkshop)用绑定纹理图和几何模型的方法进行纹理融合，投影三维点到目标纹理图以确定有效纹理图，并选取最佳纹理(与几何投影倾斜小)作为目标三维点的纹理；然后通过区域生长，迭代寻找邻近的三维点，使目标纹理尽可能来自同一区域，以保证区域纹理的连续性；再对区域边界进行平滑处理(线性插值)，实现目标的平滑。该方法确保了区域内部纹理的一致连续性，但简单地对区域间的边界进行线性处理，不能很好地实现纹理色彩差异大或重叠区域面积小的平滑过渡。

Beauchesne等(“Automaticrelightingofoverlappingtexturesof3Dmodel[C]”)利用外推法进行纹理融合，对全局进行重新着色，生成结果比简单均值融合结果更真实，但是其无法保证纹理色彩是全局最优。

LempitskyV等(“Seamlessmosaicingofimagebasedtexturemaps[C]”)则用镶嵌方法进行纹理融合，利用图像分割的方法把物体表面分为不同的区域,然后再通过消除边缘的纹理接缝，实现模型表面色彩的平滑。具有复杂拓扑空间几何形体的纹理融合一般很难得到其参数化，并且受深度图像匹配精度以及重建几何模型误差等外在因素的限制，通常在纹理模型表面仍有少量的细缝存在。

综上所述，现有的纹理融合方法无法重构出具有高保真的真实感的三维模型。

发明内容

本发明的目的在于克服现有技术中所存在的上述不足，提供一种三维全脸照相机中高保真全脸纹理融合方法，旨在对高分辨率纹理相机不同视角拍摄的纹理图像进行几乎无痕迹的融合，重构出具有高保真的真实感的三维模型。

为了实现上述发明目的，本发明采用的技术方案是：

一种三维全脸照相机中高保真全脸纹理融合方法，包括如下步骤：

一、对多个三维纹理摄像机外参数进行标定，根据标定参数将三维模型表面上的一个三角面片投影到不同视角拍摄的纹理图像上；外参数包括一个3*3的旋转矩阵和一个1*3平移向量，平移向量中的三个向量成员分别表征空间中x方向、y方向、z方向的平移；标定参数除外参数外，还包括摄像机的内参数，内参数包括水平焦距、垂直焦距、相机相面中心(主点)、径向畸变、切向畸变等。

二、将纹理图像上投影到的三角面片剪切出，计算每个纹理图像上的所述三角面片的融合权重；

三、把所有所述三角面片经仿射变换成和最大融合权重对应的三角面片相同的形状；

四、进行纹理三角形融合；

五、将融合后的纹理三角形贴到对应的三维模型三角面片上。

该方法具体为：

步骤一：利用平面标定法对多个三维纹理摄像机外参数进行标定；

步骤二：使用步骤一得到的标定参数将三维模型上的每个三角面片Tri_i(i＝1,2,3,...N)(N为三维模型上三角面片的个数)投影到多个三维纹理摄像机拍摄的纹理图image_j(j＝1,2,3,...,M)(M为纹理相机的个数，当投影有遮挡时则不投影)上，得到纹理三角面片TexTri_ij(i＝1,2,...,N；j＝1,2,...,M)。

步骤三：计算每个纹理三角面片TexTri_ij(i＝1,2,...,N；j＝1,2,...,M)的融合权重W_ij(i＝1,2,...,N；j＝1,2,...,M)

$\left\{\begin{array}{cc}{w}_{ij}={\[(90-{\mathrm{\γ}}_{ij})/90\]}^4& (0\≤{\mathrm{\γ}}_{ij}\≤90)\\ w_{ij}=0& ({\mathrm{\γ}}_{ij}>90)\end{array}\right.$

$W_{ij}=\frac{w_{ij}}{w_{i1}+w_{i2}+...+w_{iM}}---\left(1\right)$

其中γ_ij为三角面片Tri_ij的质心到纹理相机cam_j的光心坐标组成的向量与三角面片Tri_ij的法线的夹角。

步骤四：在W_ij(j＝1,2,...,M)中找出融合权重最大值W_ik(k∈[1,M])对应的纹理三角面片TexTri_ik，令TexTri_ik为TexTri_i，将其它纹理三角面片TexTri_ij(j＝1,2,...,M)通过仿射变换成与TexTri_i相同形状的三角面片在纹理三角面片TexTri_i内任意坐标(x,y)上取一个像素u_k，因为的形状与TexTri_i的形状相同，在内相同像素坐标(x,y)位置上取一个像素u_k可以通过下面公式重新计算赋值，

$u_k=\underset{j=1}{\overset{M}{\Σ}}{W}_{ij}{\hat{u}}_j,(j=1,2,\mathrm{...},M)---\left(2\right)$

同理，TexTri_k内其它像素都可以按照以上方法重新计算融合后的值，记录纹理三角面片TexTri_i与三维模型三角面片Tri_i的一一对应关系。

步骤五：采用步骤一至四找出三维模型上所有三角面片Tri_i(i＝1,2,3,...N)对应的纹理三角面片TexTri_i。在三维模型显示时，将纹理三角面片TexTri_i一一剪切贴到对应的三维模型三角面片Tri_i上。

与现有技术相比，本发明的有益效果：

本发明主要用于三维照相高保真纹理生成的应用场合，利用本发明提出的利用三维空间信息获取复合权重的方法及多个纹理三角面片融合的方法，可以实时的得到高保真的纹理图像。且本发明有以下优点：

(1)计算速度快。计算步骤主要包括三角面片法线计算、图像仿射变换与图像加权复合，这三种计算时间复杂度均较小，假如有m个三角面片，n个需要计算的像素，三角面片法线计算时间复杂度小于等于10*m，图像仿射变换计算时间复杂度小于等于6*n，图像加权复合计算时间复杂度小于等于3*n。电脑使用酷睿i5CPU(不使用GPU计算，仅用CPU计算)，融合前纹理图像为3张2000万像素图像，纹理融合计算时间小于等于200毫秒。

(2)可以对高分辨率纹理相机不同视角拍摄的纹理图像进行融合，融合后三维模型即使放大10倍的情况下人眼仍然看不到融合痕迹，三维模型即使在放大10倍时也具有清晰细腻的纹理细节。

附图说明：

图1是本发明实施例中的流程示意图。

具体实施方式

下面结合具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。

本发明提出一种实现真实感三维模型的纹理融合方法，将纹理相机作为系统组件，获取物体不同拍摄视角的纹理图像，再结合标定方法确定每幅纹理图像与三维模型的映射关系；然后定义不同视场的纹理函数，估计空间三角形在不同视场纹理图像的复合权重，以平滑物体表面的色彩，重构具有高保真的三维模型纹理。

本发明的目的是将三维模型每个三角面片投影到不同视角拍摄的纹理图像上，在每个纹理图上得到对应的纹理三角面片，将每个纹理三角面片裁剪出，经几何变换到相同的形状，使用空间信息确定每个纹理三角面片的复合权值，使用该权值对每个纹理三角面片做纹理融合，对融合后的三角面片经几何变换后贴回各自对应的纹理图三角面片上，记录复合权值最大的那个纹理三角面片和三维模型的三角面片的对应关系。以此方法获取三维模型对应的所有纹理三角面片，将纹理三角面片经变换后贴到对应的三维模型三角面片上，可以在三维模型上呈现高保真的纹理。

具体的，结合一个具体实施例说明本发明方法步骤。

步骤一：利用平面标定法(MinhVo等,Advancedgeometriccameracalibrationformachinevision)对多个三维纹理摄像机内外参数进行标定。

步骤二：然后使用标定参数将三维模型上的每个三角面片Tri_i(i＝1,2,3,...N)(N为三维模型上参与投影的三角面片的个数,N个三角面片覆盖三维模型的法线为正的整个表面)投影到多个三维纹理摄像机拍摄的纹理图image_j(j＝1,2,3,...,M)(M为纹理相机的个数，当某个三角面片投影到某张纹理图上有遮挡时，该次投影视为无效投影，无效投影不参与后面纹理融合计算)上，得到纹理三角面片TexTri_ij(i＝1,2,...,N；j＝1,2,...,M)。

步骤三：计算每个纹理三角面片TexTri_ij(i＝1,2,...,N；j＝1,2,...,M)的融合权重W_ij(i＝1,2,...,N；j＝1,2,...,M)

$\left\{\begin{array}{cc}{w}_{ij}={\[(90-{\mathrm{\γ}}_{ij})/90\]}^4& (0\≤{\mathrm{\γ}}_{ij}\≤90)\\ w_{ij}=0& ({\mathrm{\γ}}_{ij}>90)\\ w_{ij}=0& \left(invalidprojection\right)\end{array}\right.$

$W_{ij}=\frac{w_{ij}}{w_{i1}+w_{i2}+...+w_{iM}}---\left(1\right)$

其中γ_ij为三角面片Tri_ij的质心到纹理相机cam_j的光心坐标组成的向量与三角面片Tri_ij的法线的夹角；invalidprojection表示无效投影情况，如上文提到的有遮挡的情况。

步骤四：在W_ij(j＝1,2,...,M)中找出融合权重最大值W_ik(k∈[1,M])对应的纹理三角面片TexTri_ik，令TexTri_ik为TexTri_i，将其它纹理三角面片TexTri_ij(j＝1,2,...,M)通过仿射变换成与TexTri_i相同形状的三角面片在纹理三角面片TexTri_i内任意坐标(x,y)上取一个像素u_k，因为的形状与TexTri_i的形状相同，在内相同像素坐标(x,y)位置上取一个像素u_k可以通过下面公式重新计算赋值，

$u_k=\underset{j=1}{\overset{M}{\Σ}}{W}_{ij}{\hat{u}}_j,(j=1,2,\mathrm{...},M)---\left(2\right)$

同理，TexTri_k内其它像素都可以按照以上方法重新计算融合后的值，记录纹理三角面片TexTri_i与三维模型三角面片Tri_i的一一对应关系。

步骤五：通过以上过程可以找出三维模型上所有三角面片Tri_i(i＝1,2,3,...N)对应的纹理三角面片TexTri_i。在三维模型显示时，将纹理三角面片TexTri_i一一剪切贴到对应的三维模型三角面片Tri_i上，经试验证明三维模型可呈现高保真的纹理。从理论上进行分析，该方法之所以可以呈现高保真纹理，主要有2个原因：

(1)使用三角面片法线与光轴的夹角生成该三角面片融合权重，也就是使用光照变化生成融合权重，该方法可以消除重叠区域拼接痕迹。

(2)三角面片纹理贴图相对于点对点颜色赋值纹理可以呈现更为逼真的纹理，特别是三维模型放大时，前者纹理比后者纹理更为清晰，因为当纹理图像较大时，纹理图上每个三角面片内可能有几十甚至几百个像素，而该三角片只有3个顶点，三角面片纹理贴图是把三角片内的所有纹理像素赋值到三维模型上去，点对点颜色赋值纹理仅把三角面片的顶点颜色赋值到三维模型上去。

上面结合附图对本发明的具体实施方式进行了详细说明，但本发明并不限制于上述实施方式，在不脱离本申请的权利要求的精神和范围情况下，本领域的技术人员可以作出各种修改或改型。

Claims (7)

1.一种三维全脸照相机中高保真全脸纹理融合方法，其特征在于，包括如下步骤：

步骤一：对多个三维纹理摄像机外参数进行标定，根据标定参数将三维模型表面上的一个三角面片投影到不同视角拍摄的纹理图像上；

步骤二：将纹理图像上投影到的三角面片剪切出，计算每个纹理图像上的所述三角面片的融合权重；

步骤三：把所有所述三角面片经仿射变换成和最大融合权重对应的三角面片相同的形状；

步骤四：进行纹理三角形融合；

步骤五：将融合后的纹理三角形贴到对应的三维模型三角面片上。

2.根据权利要求1所述的三维全脸照相机中高保真全脸纹理融合方法，其特征在于，步骤一中，利用平面标定法对多个三维纹理摄像机外参数进行标定。

3.根据权利要求1所述的三维全脸照相机中高保真全脸纹理融合方法，其特征在于，步骤二中：使用步骤一得到的标定参数将三维模型上的每个三角面片Tri_i投影到多个三维纹理摄像机拍摄的纹理图image_j上，得到纹理三角面片TexTri_ij；1≤i≤N；1≤j≤M，N为三维模型上三角面片的个数，M为纹理相机的个数，M、N均为1以上自然数。

4.根据权利要求3所述的三维全脸照相机中高保真全脸纹理融合方法，其特征在于，步骤二中，将三角面片Tri_i投影到纹理图image_j上时，如遇到遮挡则不投影。

5.根据权利要求3或4所述的三维全脸照相机中高保真全脸纹理融合方法，其特征在于，步骤三中：计算每个纹理三角面片TexTri_ij的融合权重W_ij，公式如下：

$\left\{\begin{array}{cc}{w}_{ij}={\[(90-{\mathrm{\γ}}_{ij})/90\]}^4& (0\≤{\mathrm{\γ}}_{ij}\≤90)\\ w_{ij}=0& ({\mathrm{\γ}}_{ij}>90)\end{array}\right.$

$W_{ij}=\frac{w_{ij}}{w_{i1}+w_{i2}+...+w_{iM}};$

其中γ_ij为三角面片Tri_ij的质心到纹理相机cam_j的光心坐标组成的向量与三角面片Tri_ij的法线的夹角。

6.根据权利要求5所述的三维全脸照相机中高保真全脸纹理融合方法，其特征在于，步骤四中：在W_ij中找出融合权重最大值W_ik对应的纹理三角面片TexTri_ik，令TexTri_ik为TexTri_i，1≤k≤M；将其它纹理三角面片TexTri_ij通过仿射变换成与TexTri_i相同形状的三角面片在纹理三角面片TexTri_i内任意坐标(x,y)上取一个像素u_k，因为的形状与TexTri_i的形状相同，在内相同像素坐标(x,y)位置上取一个像素u_k通过下面公式重新计算赋值：

TexTri_k内所有像素均采用如上方法重新计算融合后的值，记录纹理三角面片TexTri_i与三维模型三角面片Tri_i的一一对应关系。

7.根据权利要求6所述的三维全脸照相机中高保真全脸纹理融合方法，其特征在于，步骤五中：采用步骤一至四找出三维模型上所有三角面片Tri_i对应的纹理三角面片TexTri_i；在三维模型显示时，将纹理三角面片TexTri_i一一剪切贴到对应的三维模型三角面片Tri_i上。