CN105550992B - 一种三维全脸照相机中高保真全脸纹理融合方法 - Google Patents

一种三维全脸照相机中高保真全脸纹理融合方法 Download PDF

Info

Publication number
CN105550992B
CN105550992B CN201511025408.5A CN201511025408A CN105550992B CN 105550992 B CN105550992 B CN 105550992B CN 201511025408 A CN201511025408 A CN 201511025408A CN 105550992 B CN105550992 B CN 105550992B
Authority
CN
China
Prior art keywords
texture
tri patch
tri
textri
threedimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201511025408.5A
Other languages
English (en)
Other versions
CN105550992A (zh
Inventor
潘雷雷
荆海龙
范文文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Chuanda Zhisheng Software Co Ltd
Original Assignee
Sichuan Chuanda Zhisheng Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Chuanda Zhisheng Software Co Ltd filed Critical Sichuan Chuanda Zhisheng Software Co Ltd
Priority to CN201511025408.5A priority Critical patent/CN105550992B/zh
Publication of CN105550992A publication Critical patent/CN105550992A/zh
Application granted granted Critical
Publication of CN105550992B publication Critical patent/CN105550992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction

Abstract

本发明公开了一种三维全脸照相机中高保真全脸纹理融合方法，包括如下步骤：对多个三维纹理摄像机外参数进行标定，根据标定参数将三维模型表面上的一个三角面片投影到不同视角拍摄的纹理图像上；将纹理图像上投影到的三角面片剪切出，计算每个纹理图像上的所述三角面片的融合权重；把所有所述三角面片经仿射变换成和最大融合权重对应的三角面片相同的形状；进行纹理三角形融合；将融合后的纹理三角形贴到对应的三维模型三角面片上。

Description

一种三维全脸照相机中高保真全脸纹理融合方法
技术领域
本发明涉及三维测量领域，特别多个3D相机在不同视角拍摄的纹理进行高保真纹理融合的三维全脸照相机中高保真全脸纹理融合方法。
背景技术
真实感三维模型不仅能够精确地表达目标物体的几何形状和拓扑结构，而且还能同时表达物体本身的真实表象，在文化遗产保护、建筑、影视艺术以及逆向工程等领域具有重要的研究意义和应用价值。
仅仅通过几何形状(缺少表面颜色、材质等属性)并不能反映物体的真实表象，为了得到真实感的三维模型，还需进行纹理图像的获取与融合。在深度图像采集系统中加入纹理采集相机，把纹理相机作为系统的组件，在采集前对纹理相机进行标定，从而获得深度图像与纹理图像的精确对应关系。此外，由于光照变化、物体的非完全漫反射、几何重建的误差，以及匹配的精度限制等因素，在物体表面会有明显的“痕迹”出现，为此，必须进行纹理融合，以消除非自然的痕迹，得到真实感三维模型。
目前已发展了多种纹理融合的方法，Rocchini等(“Multiple texture stitchingand blending on 3D object[C]”Proceedings of Eurographics Readering Workshop)用绑定纹理图和几何模型的方法进行纹理融合，投影三维点到目标纹理图以确定有效纹理图，并选取最佳纹理(与几何投影倾斜小)作为目标三维点的纹理；然后通过区域生长，迭代寻找邻近的三维点，使目标纹理尽可能来自同一区域，以保证区域纹理的连续性；再对区域边界进行平滑处理(线性插值)，实现目标的平滑。该方法确保了区域内部纹理的一致连续性，但简单地对区域间的边界进行线性处理，不能很好地实现纹理色彩差异大或重叠区域面积小的平滑过渡。
Beauchesne等(“Automatic relighting of overlapping textures of 3Dmodel[C]”)利用外推法进行纹理融合，对全局进行重新着色，生成结果比简单均值融合结果更真实，但是其无法保证纹理色彩是全局最优。
Lempitsky V等(“Seamless mosaicing of image based texture maps[C]”)则用镶嵌方法进行纹理融合，利用图像分割的方法把物体表面分为不同的区域,然后再通过消除边缘的纹理接缝，实现模型表面色彩的平滑。具有复杂拓扑空间几何形体的纹理融合一般很难得到其参数化，并且受深度图像匹配精度以及重建几何模型误差等外在因素的限制，通常在纹理模型表面仍有少量的细缝存在。
综上所述，现有的纹理融合方法无法重构出具有高保真的真实感的三维模型。
发明内容
本发明的目的在于克服现有技术中所存在的上述不足，提供一种三维全脸照相机中高保真全脸纹理融合方法，旨在对高分辨率纹理相机不同视角拍摄的纹理图像进行几乎无痕迹的融合，重构出具有高保真的真实感的三维模型。
为了实现上述发明目的，本发明采用的技术方案是：
一种三维全脸照相机中高保真全脸纹理融合方法，包括如下步骤：
一、对多个三维纹理摄像机外参数进行标定，根据标定参数将三维模型表面上的一个三角面片投影到不同视角拍摄的纹理图像上；外参数包括一个3*3的旋转矩阵和一个1*3平移向量，平移向量中的三个向量成员分别表征空间中x方向、y方向、z方向的平移；标定参数除外参数外，还包括摄像机的内参数，内参数包括水平焦距、垂直焦距、相机相面中心(主点)、径向畸变、切向畸变等。
二、将纹理图像上投影到的三角面片剪切出，计算每个纹理图像上的所述三角面片的融合权重；
三、把所有所述三角面片经仿射变换成和最大融合权重对应的三角面片相同的形状；
四、进行纹理三角形融合；
五、将融合后的纹理三角形贴到对应的三维模型三角面片上。
该方法具体为：
步骤一：利用平面标定法对多个三维纹理摄像机外参数进行标定；
步骤二：使用步骤一得到的标定参数将三维模型上的每个三角面片Trii(i＝1,2,3,...N)(N为三维模型上三角面片的个数)投影到多个三维纹理摄像机拍摄的纹理图imagej(j＝1,2,3,...,M)(M为纹理相机的个数，当投影有遮挡时则不投影)上，得到纹理三角面片TexTriij(i＝1,2,...,N；j＝1,2,...,M)。
步骤三：计算每个纹理三角面片TexTriij(i＝1,2,...,N；j＝1,2,...,M)的融合权重Wij(i＝1,2,...,N；j＝1,2,...,M)
其中γij为三角面片Triij的质心到纹理相机camj的光心坐标组成的向量与三角面片Triij的法线的夹角。
步骤四：在Wij(j＝1,2,...,M)中找出融合权重最大值Wik(k∈[1,M])对应的纹理三角面片TexTriik，令TexTriik为TexTrii，将其它纹理三角面片TexTriij(j＝1,2,...,M)通过仿射变换成与TexTrii相同形状的三角面片在纹理三角面片TexTrii内任意坐标(x,y)上取一个像素uk，因为的形状与TexTrii的形状相同，在内相同像素坐标(x,y)位置上取一个像素uk可以通过下面公式重新计算赋值，
同理，TexTrik内其它像素都可以按照以上方法重新计算融合后的值，记录纹理三角面片TexTrii与三维模型三角面片Trii的一一对应关系。
步骤五：采用步骤一至四找出三维模型上所有三角面片Trii(i＝1,2,3,...N)对应的纹理三角面片TexTrii。在三维模型显示时，将纹理三角面片TexTrii一一剪切贴到对应的三维模型三角面片Trii上。
与现有技术相比，本发明的有益效果：
本发明主要用于三维照相高保真纹理生成的应用场合，利用本发明提出的利用三维空间信息获取复合权重的方法及多个纹理三角面片融合的方法，可以实时的得到高保真的纹理图像。且本发明有以下优点：
(1)计算速度快。计算步骤主要包括三角面片法线计算、图像仿射变换与图像加权复合，这三种计算时间复杂度均较小，假如有m个三角面片，n个需要计算的像素，三角面片法线计算时间复杂度小于等于10*m，图像仿射变换计算时间复杂度小于等于6*n，图像加权复合计算时间复杂度小于等于3*n。电脑使用酷睿i5CPU(不使用GPU计算，仅用CPU计算)，融合前纹理图像为3张2000万像素图像，纹理融合计算时间小于等于200毫秒。
(2)可以对高分辨率纹理相机不同视角拍摄的纹理图像进行融合，融合后三维模型即使放大10倍的情况下人眼仍然看不到融合痕迹，三维模型即使在放大10倍时也具有清晰细腻的纹理细节。
附图说明：
图1是本发明实施例中的流程示意图。
具体实施方式
下面结合具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
本发明提出一种实现真实感三维模型的纹理融合方法，将纹理相机作为系统组件，获取物体不同拍摄视角的纹理图像，再结合标定方法确定每幅纹理图像与三维模型的映射关系；然后定义不同视场的纹理函数，估计空间三角形在不同视场纹理图像的复合权重，以平滑物体表面的色彩，重构具有高保真的三维模型纹理。
本发明的目的是将三维模型每个三角面片投影到不同视角拍摄的纹理图像上，在每个纹理图上得到对应的纹理三角面片，将每个纹理三角面片裁剪出，经几何变换到相同的形状，使用空间信息确定每个纹理三角面片的复合权值，使用该权值对每个纹理三角面片做纹理融合，对融合后的三角面片经几何变换后贴回各自对应的纹理图三角面片上，记录复合权值最大的那个纹理三角面片和三维模型的三角面片的对应关系。以此方法获取三维模型对应的所有纹理三角面片，将纹理三角面片经变换后贴到对应的三维模型三角面片上，可以在三维模型上呈现高保真的纹理。
具体的，结合一个具体实施例说明本发明方法步骤。
步骤一：利用平面标定法(Minh Vo等,Advanced geometric camera calibrationfor machine vision)对多个三维纹理摄像机内外参数进行标定。
步骤二：然后使用标定参数将三维模型上的每个三角面片Trii(i＝1,2,3,...N)(N为三维模型上参与投影的三角面片的个数,N个三角面片覆盖三维模型的法线为正的整个表面)投影到多个三维纹理摄像机拍摄的纹理图imagej(j＝1,2,3,...,M)(M为纹理相机的个数，当某个三角面片投影到某张纹理图上有遮挡时，该次投影视为无效投影，无效投影不参与后面纹理融合计算)上，得到纹理三角面片TexTriij(i＝1,2,...,N；j＝1,2,...,M)。
步骤三：计算每个纹理三角面片TexTriij(i＝1,2,...,N；j＝1,2,...,M)的融合权重Wij(i＝1,2,...,N；j＝1,2,...,M)
其中γij为三角面片Triij的质心到纹理相机camj的光心坐标组成的向量与三角面片Triij的法线的夹角；invalid projection表示无效投影情况，如上文提到的有遮挡的情况。
步骤四：在Wij(j＝1,2,...,M)中找出融合权重最大值Wik(k∈[1,M])对应的纹理三角面片TexTriik，令TexTriik为TexTrii，将其它纹理三角面片TexTriij(j＝1,2,...,M)通过仿射变换成与TexTrii相同形状的三角面片在纹理三角面片TexTrii内任意坐标(x,y)上取一个像素uk，因为的形状与TexTrii的形状相同，在内相同像素坐标(x,y)位置上取一个像素uk可以通过下面公式重新计算赋值，
同理，TexTrik内其它像素都可以按照以上方法重新计算融合后的值，记录纹理三角面片TexTrii与三维模型三角面片Trii的一一对应关系。
步骤五：通过以上过程可以找出三维模型上所有三角面片Trii(i＝1,2,3,...N)对应的纹理三角面片TexTrii。在三维模型显示时，将纹理三角面片TexTrii一一剪切贴到对应的三维模型三角面片Trii上，经试验证明三维模型可呈现高保真的纹理。从理论上进行分析，该方法之所以可以呈现高保真纹理，主要有2个原因：
(1)使用三角面片法线与光轴的夹角生成该三角面片融合权重，也就是使用光照变化生成融合权重，该方法可以消除重叠区域拼接痕迹。
(2)三角面片纹理贴图相对于点对点颜色赋值纹理可以呈现更为逼真的纹理，特别是三维模型放大时，前者纹理比后者纹理更为清晰，因为当纹理图像较大时，纹理图上每个三角面片内可能有几十甚至几百个像素，而该三角片只有3个顶点，三角面片纹理贴图是把三角片内的所有纹理像素赋值到三维模型上去，点对点颜色赋值纹理仅把三角面片的顶点颜色赋值到三维模型上去。
上面结合附图对本发明的具体实施方式进行了详细说明，但本发明并不限制于上述实施方式，在不脱离本申请的权利要求的精神和范围情况下，本领域的技术人员可以作出各种修改或改型。

Claims (4)

1.一种三维全脸照相机中高保真全脸纹理融合方法，其特征在于，包括如下步骤：
步骤一：对多个三维纹理摄像机外参数进行标定，根据标定参数将三维模型表面上的一个三角面片投影到不同视角拍摄的纹理图像上；
步骤二：将纹理图像上投影到的三角面片剪切出，计算每个纹理图像上的所述三角面片的融合权重；
步骤三：把所有所述三角面片经仿射变换成和最大融合权重对应的三角面片相同的形状；
步骤四：进行纹理三角形融合；
步骤五：将融合后的纹理三角形贴到对应的三维模型三角面片上；
步骤二中：使用步骤一得到的标定参数将三维模型上的每个三角面片Trii投影到多个三维纹理摄像机拍摄的纹理图imagej上，得到纹理三角面片TexTriij；1≤i≤N；1≤j≤M，N为三维模型上三角面片的个数，M为纹理相机的个数，M、N均为1以上自然数；
计算每个纹理三角面片TexTriij的融合权重Wij，公式如下：
其中γij为三角面片Trii的质心到纹理相机camj的光心坐标组成的向量与三角面片Triij的法线的夹角；
步骤四中：在Wij中找出融合权重最大值Wik对应的纹理三角面片TexTriik，令TexTriik为TexTrii，1≤k≤M；将其它纹理三角面片TexTriij通过仿射变换成与TexTrii相同形状的三角面片在纹理三角面片TexTrii内任意坐标(x,y)上取一个像素uk，因为的形状与TexTrii的形状相同，在TexTriij内相同像素坐标(x,y)位置上取一个像素uk通过下面公式重新计算赋值：
TexTrik内所有像素均采用如上方法重新计算融合后的值，记录纹理三角面片TexTrii与三维模型三角面片Trii的一一对应关系。
2.根据权利要求1所述的三维全脸照相机中高保真全脸纹理融合方法，其特征在于，步骤一中，利用平面标定法对多个三维纹理摄像机外参数进行标定。
3.根据权利要求1所述的三维全脸照相机中高保真全脸纹理融合方法，其特征在于，步骤二中，将三角面片Trii投影到纹理图imagej上时，如遇到遮挡则不投影。
4.根据权利要求1所述的三维全脸照相机中高保真全脸纹理融合方法，其特征在于，步骤五中：采用步骤一至四找出三维模型上所有三角面片Trii对应的纹理三角面片TexTrii；在三维模型显示时，将纹理三角面片TexTrii一一剪切贴到对应的三维模型三角面片Trii上。
CN201511025408.5A 2015-12-30 2015-12-30 一种三维全脸照相机中高保真全脸纹理融合方法 Active CN105550992B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511025408.5A CN105550992B (zh) 2015-12-30 2015-12-30 一种三维全脸照相机中高保真全脸纹理融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511025408.5A CN105550992B (zh) 2015-12-30 2015-12-30 一种三维全脸照相机中高保真全脸纹理融合方法

Publications (2)

Publication Number Publication Date
CN105550992A CN105550992A (zh) 2016-05-04
CN105550992B true CN105550992B (zh) 2018-08-17

Family

ID=55830168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511025408.5A Active CN105550992B (zh) 2015-12-30 2015-12-30 一种三维全脸照相机中高保真全脸纹理融合方法

Country Status (1)

Country Link
CN (1) CN105550992B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107705250A (zh) * 2017-09-05 2018-02-16 云南电网有限责任公司昆明供电局 一种基于SoC FPGA嵌入式系统的图像拼接方法及系统
CN107945267B (zh) * 2017-12-13 2021-02-26 四川川大智胜软件股份有限公司 一种用于人脸三维模型纹理融合的方法和设备
CN111369659B (zh) * 2018-12-26 2023-05-02 杭州海康威视数字技术股份有限公司 一种基于三维模型的纹理映射方法、装置及设备
CN111192223B (zh) * 2020-01-07 2022-09-30 腾讯科技（深圳）有限公司 人脸纹理图像的处理方法、装置、设备及存储介质
CN112184875A (zh) * 2020-08-26 2021-01-05 广州梦域数码技术有限公司 基于赋值照片权重的连续三维材质生成方法、设备及介质
CN113012271B (zh) * 2021-03-23 2022-05-24 华南理工大学 一种基于uv贴图的手指三维模型纹理映射方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102945565A (zh) * 2012-10-18 2013-02-27 深圳大学 一种物体的三维真实感重建方法、系统及电子设备
CN104574501A (zh) * 2014-12-19 2015-04-29 浙江大学 一种针对复杂三维场景的高质量纹理映射方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102945565A (zh) * 2012-10-18 2013-02-27 深圳大学 一种物体的三维真实感重建方法、系统及电子设备
CN104574501A (zh) * 2014-12-19 2015-04-29 浙江大学 一种针对复杂三维场景的高质量纹理映射方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Multiple textures stitching and blending on 3D objects;C.Rocchini et al.;《Proceedings of Eurographics Readering Workshop》;19990131;第1-14页 *

Also Published As

Publication number Publication date
CN105550992A (zh) 2016-05-04

Similar Documents

Publication Publication Date Title
CN105550992B (zh) 一种三维全脸照相机中高保真全脸纹理融合方法
Schöps et al. 3D modeling on the go: Interactive 3D reconstruction of large-scale scenes on mobile devices
CN107945267B (zh) 一种用于人脸三维模型纹理融合的方法和设备
Delaunoy et al. Photometric bundle adjustment for dense multi-view 3d modeling
Kolev et al. Turning mobile phones into 3D scanners
EP2930689B1 (en) Method for rendering
CN104680582B (zh) 一种面向对象定制的三维人体模型创建方法
JP4245963B2 (ja) 較正物体を用いて複数のカメラを較正するための方法およびシステム
Higo et al. A hand-held photometric stereo camera for 3-d modeling
US20180240280A1 (en) Method and system for generating an image file of a 3d garment model on a 3d body model
CN108288292A (zh) 一种三维重建方法、装置及设备
US20120081357A1 (en) System and method for interactive painting of 2d images for iterative 3d modeling
Ackermann et al. Geometric Point Light Source Calibration.
Alexiadis et al. Real-time, realistic full-body 3D reconstruction and texture mapping from multiple Kinects
JP2013178656A (ja) 画像処理装置、画像処理方法および画像処理用のプログラム
Boom et al. Point Light Source Estimation based on Scenes Recorded by a RGB-D camera.
CN108629828B (zh) 三维大场景的移动过程中的场景渲染过渡方法
CN106204701A (zh) 一种基于光探针插值动态计算间接反射高光的渲染方法
De Paolis et al. Photogrammetric 3D reconstruction of small objects for a real-time fruition
CN107705335A (zh) 标定非共视域线扫激光测距仪和测量相机方位的方法
CN109272572A (zh) 一种基于双Kinect相机的建模方法及装置
Zhu et al. Spatially-varying outdoor lighting estimation from intrinsics
Alexiadis et al. Fast and smooth 3d reconstruction using multiple rgb-depth sensors
Lhuillier Toward flexible 3d modeling using a catadioptric camera
Slabaugh et al. Multi-resolution space carving using level set methods

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant