CN113781621A

CN113781621A - 三维重建处理的方法、装置、设备及存储介质

Info

Publication number: CN113781621A
Application number: CN202011224300.XA
Authority: CN
Inventors: 郭复胜; 刘享军; 杜峰; 严庆安
Original assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Wodong Tianjun Information Technology Co Ltd
Current assignee: Beijing Jingdong Century Trading Co Ltd; Beijing Wodong Tianjun Information Technology Co Ltd
Priority date: 2020-11-05
Filing date: 2020-11-05
Publication date: 2021-12-10

Abstract

本发明实施例提供一种三维重建处理的方法、装置、设备及存储介质。本发明实施例的方法，通过预先设置基于数据项和平滑项的能量函数，从三维模型中每个三角面片对应的候选图像中，选择每个三角面片对应的目标图像，使得基于数据项和平滑项的能量函数的取值最小，这样来选择出各三角面片对应的最优的纹理图像；然后基于各三角面片对应的目标图像进行纹理映射，能够为模型制作无缝、无明显错位、整体自然完整的三维重建纹理结果，提高三维模型的纹理映射的效果，改善三维模型的视觉效果。

Description

三维重建处理的方法、装置、设备及存储介质

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种三维重建处理的方法、装置、设备及存储介质。

背景技术

目前，三维重建方法是基于多视角下的图像序列进行点云提取，随后通过刚性和非刚性的配准以及表面重建后得到三维模型，然后通过纹理映射技术对模型表面的细节特征进行恢复。纹理映射的核心目标是确定重建模型与多视角下图像序列的纹理对应关系，进而实现纹理坐标的映射与纹理贴图的生成。

颜色是衡量物体真实感的重要因素，所以纹理映射在重建真实物体的三维模型中起着至关重要的作用。物体的视觉逼真呈现必须由高保真纹理映射来支撑。重建模型纹理化的常用方法是基于图像的纹理映射，即从物体的二维图像构造三维物体的纹理。然而，重建高质量的纹理贴图存在许多挑战。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：三维重建过程中，由于重建模型不精确、存在误差，相机姿态估计不准确，此外拍摄的相机也有不可预知的光学失真和不同视角图片颜色存在差异。由此在进行纹理映射时来自不同图像的纹理会产生明显的拼接痕迹，特别是高频区域、由于几何偏差，会形成明显的纹理接缝错位的现象，严重影响到重建模型的视觉效果。

发明内容

本发明实施例提供一种三维重建处理的方法、装置、设备及存储介质，用以解决三维重建的模型存在明显纹理接缝错误等现象导致视觉效果差的问题。

一方面，本发明实施例提供一种三维重建处理的方法，包括：

确定三维模型中每个三角面片对应的候选图像；

确定所述每个三角面片对应的目标图像，使得基于数据项和平滑项的能量函数的取值最小；

根据所述目标图像对对应的三角面片进行纹理映射。

另一方面，本发明实施例提供一种三维重建处理的装置，包括：

图像对应模块，用于确定三维模型中每个三角面片对应的候选图像；

选择优化模块，用于确定所述每个三角面片对应的目标图像，使得基于数据项和平滑项的能量函数的取值最小；

纹理映射模块，用于根据所述目标图像对对应的三角面片进行纹理映射。

另一方面，本发明实施例提供一种三维重建处理设备，包括：

处理器，存储器，以及存储在所述存储器上并可在所述处理器上运行的计算机程序；

其中，所述处理器运行所述计算机程序时实现上述所述的三维重建处理的方法。

另一方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的三维重建处理的方法。

本发明实施例提供的三维重建处理的方法、装置、设备及存储介质，通过预先设置基于数据项和平滑项的能量函数，从三维模型中每个三角面片对应的候选图像中，选择每个三角面片对应的目标图像，使得基于数据项和平滑项的能量函数的取值最小，这样来选择出各三角面片对应的最优的纹理图像；然后基于各三角面片对应的目标图像进行纹理映射，能够为模型制作无缝、无明显错位、整体自然完整的三维重建纹理结果，提高三维模型的纹理映射的效果，改善三维模型的视觉效果。

附图说明

图1为本发明实施例一提供的三维重建处理的方法流程图；

图2为本发明实施例二提供的三维重建处理的方法流程图；

图3为本发明实施例二提供的基于MRF的三角面片对应图像的选择优化流程的示意图；

图4为本发明实施例三提供的三维重建处理的装置的结构示意图；

图5为本发明实施例四提供的三维重建处理的装置的结构示意图；

图6为本发明实施例五提供的三维重建处理设备的结构示意图。

通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

首先对本发明实施例所涉及的名词进行解释：

三角网格：三角网格是多边形网格的一种，是计算机图形学中用于为各种不规则物体建立模型的一种数据结构。

纹理映射：又称纹理贴图，是将纹理空间中的纹理像素映射到屏幕空间中的像素的过程。

马尔可夫随机场(Markov Random Field，简写MRF)：是一个可以由无向图表示的概率分布模型。图中每个结点表示一个或者一组变量，结点之间的边表示两个变量之间的依赖关系。

置信度传播(Belief Propagation，简写BP)：利用结点与结点之间相互传递信息而更新当前整个MRF的标记状态，是基于MRF的一种近似计算算法。该算法是一种迭代的方法，可以解决概率图模型概率推断问题，而且所有信息的传播可以并行实现。

此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。

本发明实施例具体应用于基于采集多视图的2D图像进行三维重建，以获取相应的三维模型的过程。三维重建过程中，在表面重建完成之后，需要根据采集的图像进行纹理映射。但是，由于重建模型不精确、存在误差，相机姿态估计不准确，拍摄的相机也有不可预知的光学失真和不同视角图片颜色存在差异等因素的影响，在进行纹理映射时来自不同图像的纹理会产生明显的拼接痕迹，特别是高频区域、由于几何偏差，会形成明显的纹理接缝错位的现象，严重影响到重建模型的视觉效果。

目前，一种解决方案是使用不同输入图像的混合颜色方法来获得纹理，但是这种方法对于相机姿态的噪声和不准确的数据，混合结果会产生模糊和重影伪像，简单地混合色彩并不能稳健而有效地生成高真实感的纹理。另一种解决方案是针对大规模场景数据集的纹理映射框架，产生的高质量的纹理可以应用于大型场景，使用了全局光照调整和泊松编辑，以减少缝隙的可见性，在大场景中缝隙细节不会特别明显。但是针对大规模场景数据集的纹理映射框架对于小物体特别当输入数据有噪声时，这种方法很容易导致纹理表面模糊和重影。另一种解决方案是基于颜色一致性全局优化的方法来矫正多视角对齐错误，这种方法用于将视图中的彩色图像纹理化到相应的物体网格，通过优化相机姿态并对输入图像局部变形得到网格上每个顶点对应图像颜色的一致性。但是这种方法需要高分辨率几何信息，也无法处理拍摄图像局部模糊的问题。另一种解决方案是通过将不同视角图片分片合成新视角图片来生成高质量的纹理贴图，可以修正大误差。但是将不同视角图片分片合成新视角图片的做法可能会失去一些纹理的语义信息，并且计算非常耗时。

本发明实施例提供的三维重建处理的方法，旨在解决现有技术的如上技术问题。

下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

实施例一

图1为本发明实施例一提供的三维重建处理的方法流程图。本实施例中的方法应用于三维重建处理设备，该设备可以用于进行三维重建的设备，可以是智能手机、平板、AR设备等移动终端，也可以是三维重建处理服务器等，在其他实施例中，该方法还可应用于其他设备，本实施例以三维重建处理设备为例进行示意性说明。如图1所示，该方法具体步骤如下：

步骤S101、确定三维模型中每个三角面片对应的候选图像。

在三维重建的过程中，在获取三维点云、网格表面重建之后，需要利用图像对重建后的三维模型(也称为网格、网格模型、或三维网格)进行纹理映射。

本实施例中，在进行纹理映射之前，为了改善纹理映射的效果，需要先选取三维模型中每个三角面片(也称为三角网格)对应的最优图像纹理面片。

该步骤中，首先确定每个三角面片对应的候选图像。三角面片对应的候选图像是指采集的2D图像中三角面片可见的图像，三角面片在其对应候选图像上具有投影区域。

步骤S102、确定每个三角面片对应的目标图像，使得基于数据项和平滑项的能量函数的取值最小。

在确定每个三角面片对应的候选图像之后，基于预先设置好的能量函数，确定一组目标图像，该组目标图像包括每个三角面片对应的一个目标图像。最终确定的每个三角面片对应的目标图像能够使得能量函数的取值最小。

其中，能量函数可以是预先设置好的基于数据项和平滑项的能量函数。具体包括数据项的能量函数和平滑项的能量函数。

数据项的能量函数用于约束基于避免选择纹理不清晰的图像作为三角面片的目标图像，例如，运动模糊、光照太强或者太暗造成的纹理不清晰的图像。这样使得基于最终选择的各个三角面片对应的目标图像进行纹理映射的效果更好。

平滑项的能量函数用于保证相邻三角面片尽可能选择同一幅图像或者纹理差异尽量接近的不同图像作为目标图像。

步骤S103、根据目标图像对对应的三角面片进行纹理映射。

在确定每个三角面片对应的目标图像之后，根据目标图像对对应的三角面片进行纹理映射，从而可以完成三维模型的纹理映射。

本发明实施例通过预先设置基于数据项和平滑项的能量函数，从三维模型中每个三角面片对应的候选图像中，选择每个三角面片对应的目标图像，使得基于数据项和平滑项的能量函数的取值最小，这样来选择出各三角面片对应的最优的纹理图像；然后基于各三角面片对应的目标图像进行纹理映射，能够为模型制作无缝、无明显错位、整体自然完整的三维重建纹理结果，提高三维模型的纹理映射的效果，改善三维模型的视觉效果。

实施例二

图2为本发明实施例二提供的三维重建处理的方法流程图。在上述实施例一的基础上，本实施例中，数据项包括以下至少一项：三角面片在对应图像上的投影区域的梯度信息，三角面片的法向量与三角面片的中心到对应图像光心的光线的夹角；平滑项用于度量相邻三角面片的纹理的连续性和差异。进一步地，平滑项包括：相邻的两个三角面片的公共边上的离散三维点在两个三角面片对应图像上的投影像素点的灰度差值。

如图2所示，该方法具体步骤如下：

步骤S201、根据三维模型，图像，以及图像采集装置对应内外方位元素，确定三维模型中每个三角面片对应的图像。

在完整三维重建系统的流程中，首先获取三维点云；根据三维点云进行网格表面重建，得到三维模型。在网格表面重建后，需要利用图像对重建后的三维模型，进行纹理映射。纹理映射具体就是建立纹理空间中的图像纹理像素和物理空间中的顶点的一一对应关系。

其中，三角面片对应的候选图像是指采集的2D图像中三角面片可见的图像，三角面片在其对应候选图像上具有投影区域。

本实施例中，通过步骤S201-S202，根据网格表面重建后的三维模型，采集的图像，以及图像采集装置(例如相机等)对应内外方位元素，确定三维模型中每个三角面片对应的候选图像。

该步骤中，首先根据三维模型，图像，以及图像采集装置对应内外方位元素，确定三维模型中每个三角面片对应的图像，可以得到三角面片与图像的对应关系。

步骤S202、判断每个三角面片对应的图像与三维模型的相交可见性，确定每个三角面片对应的候选图像，其中任一三角面片对应的候选图像是该三角面片可见的图像。

在确定每个三角面片对应的图像之后，从三角面片对应的图像中确定三角面片可见的图像，作为三角面片对应的候选图像。

示例性地，通过网格中心与图像光心连线，判断图像与三维模型的相交可见性，来确定网格的图像可见性列表。网格的图像可见性列表中包括每个三角面片的可见图像列表，包括三角面片对应的候选图像的标识信息(例如序号、编码等)。

每一个三角面片对应多个候选图像，问题的关键是从哪一幅候选图像中提取其纹理是“最好的”，这里的“最好的”需要一个准则，这里定义这个准则为每个局部三角纹理面片要纹理清晰、尽可能正对被选择的图像，而且模型整体上的纹理尽量一致均匀，另外拼接线尽量绕开纹理丰富的“高频”区域，这样可以减少由于错位带来的纹理效果不佳问题。

本实施例中，在确定三角面片对应的候选图像之后，通过步骤S203-S204，利用马尔可夫随机场MRF进行候选图像的选择优化。

完整的基于MRF的三角面片对应图像的选择优化流程如图3所示，首先要定义MRF问题，并建立能量函数。利用MRF进行候选图像的选择优化，首先需要将需要解决的问题转化为一个图优化问题，建立图的顶点和边，以及label集(也可以称为标签集)，然后依据预先设定的优化准则，设置能量函数。然后分别确定能量函数中的数据项和平滑项，并确定能量函数中的权系数，建立图优化模型。最后选取合适的方法求解图优化模型，以确定三角面片对应的目标图像，也即是三角面片对应的最优纹理图像。

步骤S203、基于马尔可夫随机场MRF，构建基于数据项和平滑项的能量函数。

本实施例中，数据项包括以下至少一项：三角面片在对应图像上的投影区域的梯度信息，三角面片的法向量与三角面片的中心到对应图像光心的光线的夹角；平滑项用于度量相邻三角面片的纹理的连续性和差异。

进一步地，平滑项包括：相邻的两个三角面片的公共边上的离散三维点在两个三角面片对应图像上的投影像素点的灰度差值。

示例性地，可以把三角面片对应的图像的选择问题转化为概率图模型优化问题。首先给出三角面片的定义：对三角网格模型M＝{VV，FF}，其中集合VV＝{vv₁，vv₂……，vv_n}，vv_i∈R³代表三角面片模型顶点集合，集合FF＝{ff₁，ff₂……，ff_m}代表三角面片模型面片集合，其中任一面片(也即三角面片)ff都是由三个顶点组成，可以表示为ff＝(vv_i，vv_j，vv_k)，定义边ee_ij为顶点vv_i和vv_j的连接的边，其中，vv_i，vv_j，vv_k表示VV中任意三个顶点。

定义图G，每一个三角面片ff看做图G的一个顶点v，每两个具有公共边ee_ij的相邻三角面片vv_i和vv_j对应图G的顶点v_i和v_j之间建立一条边，从而构造出图G(V，E)，其中V为顶点集，E为边集。每个顶点v_i对应一个包含多个待选元素的label集。

示例性地，可以选择每个三角面片对应的候选图像中的k个元素，作为其对应顶点的label集。可选地，可以按照三角面片在候选图像中的投影区域的梯度值由大到小的顺序，将三角面片的候选图像排序，选择前k个候选图像，构成该三角面片的label集。若三角面片的候选图像少于k，则用-1补齐。其中，k为正整数，可以根据实际应用场景进行设置和调整，本实施例此处不做具体限定。

建立如下公式一所示的能量函数，然后通过最小化该能量值来确定每个顶点最佳的label。

E＝∑_i∈VE_data(l_i)+λ∑_(i，j)∈EE_smooth(l_i，l_j) 公式一

其中，l_i是三角面片v_i对应的任一候选图像。l_i是三角面片v_i对应的候选图像的集合，也即label集。E_data(l_i)表示数据项的能量函数。E_smooth(l_i，l_j)表示平滑项的能量函数。λ是权参数，可以根据实际应用场景和经验值进行设置和调整。

进一步地，确定数据项的能量函数时，数据项考虑的是局部三角面片，每个三角面片选择纹理图像时，理论上应综合考虑图像上对应纹理区域的清晰程度、图像光心到三角面片的光线与三角面片法线的夹角、物体相对相机的深度、是否在图像边缘、是否在深度图不连续的边缘。本实施例中为了简化，尽可能选取1-2个合适的度量函数，可以综合选择三角面片法线与图像光心到三角面片的光线的夹角，三角面片对应投影区域的梯度信息作为数据项。其中，图像光心到三角面片的光线与三角面片法线的夹角可以很好的约束被选到的图像是正视三角面片。根据三角面片在图像对应投影区域的梯度，可以很容易检测出包括运动模糊、光照太强或者太暗造成的纹理不清晰，从而尽量避免选择这样的图像。

其中，数据项的能量函数E_data(l_i)可以设置为以下公式二：

其中，

是三角面片v_i在对应候选图像l_i上的投影区域，

是在该区域

的梯度信息。

是三角面片v_i中心到图像l_i光心的光线与三角面片v_i的法向量的夹角。α，β是权参数，可以根据实际应用场景和经验值进行设置和调整。

进一步地，平滑项是用来度量以公共边e_ij相邻的两个三角面片v_i和v_j的面片纹理的连续性和差异的，为了保证面片选择的连续性，不同三角面片对应的目标图像应该尽可能的选择同一幅图像，同时为了绕开明显的丰富纹理，尽可能衡量不同视角间的平滑度，优化最终的拼接缝隙。

本实施例中，平滑项的能量函数E_smooth(l_i，l_j)可以设置为如下公式三：

其中，e_ij表示三角面片v_i和v_j的公共边，也即边e_ij＝v_i∩v_j，

和

分别表示e_ij上的离散化的三维点在三角面片v_i对应图像l_i和三角面片v_j对应图像l_j上的投影点的灰度值。

这里将e_ij离散化为多个三维点，并分别将离散化的三维点投影到三角面片v_i和v_j对应图像上，计算两个投影点的像素，两个投影点的像素灰度差，作为平滑项。平滑项保证了相邻三角面片尽可能选择同一幅图像上的纹理，或者纹理差异尽量接近的不同图像。

步骤S204、利用图优化方法，确定每个三角面片对应的目标图像，使得基于数据项和平滑项的能量函数取值最小。

在基于马尔可夫随机场MRF，定义图优化模型，构建基于数据项和平滑项的能量函数之后，选择合适的权重参数α，β，λ，并利用图优化方法对能量函数最小值进行求解，得到各三角面片对应的优化label，也即得到各三角面片对应的目标图像。

可选地，该步骤中可以采用的图优化方法可以是BP、TRW(Tree-Reweightedmessage passing，树重加权的消息传递)等，或者还可以采用其他图优化方法，本实施例此处不做具体限定。

步骤S205、根据目标图像对对应的三角面片进行纹理映射。

在选择确定每个三角面片对应的目标图像之后，根据目标图像对对应的三角面片进行纹理映射。

步骤S206、对纹理映射后三维模型的纹理进行纹理优化。

在纹理映射完成之后，可以对纹理映射后三维模型的纹理进行纹理优化，以进一步改善三维模型的视觉效果。

可选地，可以通过局部一致性优化将相邻两个三角面片之间的接缝处进行过渡优化，以进一步减少拼接痕迹，提高三维模型的整体视觉效果。

可选地，可以通过全局的过渡优化将相邻三角面片的整体颜色进行优化，以减少不同三角面片纹理的颜色差异，提高三维模型的整体视觉效果。

本实施例的另一实施方式中，三角面片的最佳图像纹理选择的方法，可以不采用基于MRF的框架，沿用基于数据项和平滑项的优化思路可以设计其它优化框架。例如，也可以利用直接排序的思路进行优化求解。

本实施例中，基于马尔可夫随机场MRF，构建的基于数据项和平滑项的能量函数，数据项的选择利用三角面片法线与图像光心到三角面片的光线的夹角，三角面片区域的梯度信息。三角面片法线与图像光心到三角面片的光线的夹角信息可以很好的约束被选到的映射图像是正视三角网格；而选择三角面片的投影区域的梯度计算，可以很容易检测出包括运动模糊、光照太强或者太暗造成的纹理不清晰，从而尽量避免选择这样的图像。平滑项的选择利用了相邻三角面片公共边的离散三维点在不同图像上的投影像素的灰度差，保证了相邻三角面片尽可能选择同一幅图像上的纹理，或者纹理差异尽量接近的不同图像的纹理。通过预先设置基于数据项和平滑项的能量函数，从三维模型中每个三角面片对应的候选图像中，选择每个三角面片对应的目标图像，使得基于数据项和平滑项的能量函数的取值最小，这样来选择出各三角面片对应的最优的纹理图像；然后基于各三角面片对应的目标图像进行纹理映射，能够为模型制作无缝、无明显错位、整体自然完整的三维重建纹理结果，提高三维模型的纹理映射的效果，改善三维模型的视觉效果。

实施例三

图4为本发明实施例三提供的三维重建处理的装置的结构示意图。本发明实施例提供的三维重建处理的装置可以执行三维重建处理的方法实施例提供的处理流程。如图4所示，该装置30包括：图像对应模块301，选择优化模块302和纹理映射模块303。

具体地，图像对应模块301，用于确定三维模型中每个三角面片对应的候选图像。

选择优化模块302，用于确定每个三角面片对应的目标图像，使得基于数据项和平滑项的能量函数的取值最小。

纹理映射模块303，用于根据目标图像对对应的三角面片进行纹理映射。

本发明实施例提供的装置可以具体用于执行上述实施例一所提供的方法实施例，具体功能此处不再赘述。

实施例四

图5为本发明实施例四提供的三维重建处理的装置的结构示意图。在上述实施例三的基础上，本实施例中，数据项包括以下至少一项：三角面片在对应图像上的投影区域的梯度信息，三角面片的法向量与三角面片的中心到对应图像光心的光线的夹角。

平滑项用于度量相邻三角面片的纹理的连续性和差异。

在一种可选地实施方式中，平滑项包括：

相邻的两个三角面片的公共边上的离散三维点在两个三角面片对应图像上的投影像素点的灰度差值。

在一种可选地实施方式中，选择优化模块还用于：

基于马尔可夫随机场MRF，构建基于数据项和平滑项的能量函数；利用图优化方法，确定每个三角面片对应的目标图像，使得基于数据项和平滑项的能量函数取值最小。

在一种可选地实施方式中，图像对应模块还用于：

根据三维模型，图像，以及图像采集装置对应内外方位元素，确定三维模型中每个三角面片对应的图像；判断每个三角面片对应的图像与三维模型的相交可见性，确定每个三角面片对应的候选图像，其中任一三角面片对应的候选图像是该三角面片可见的图像。

在一种可选地实施方式中，如图5所示，该装置30还包括：网格表面重建模块304，用于：获取三维点云；根据三维点云进行网格表面重建，得到三维模型。

在一种可选地实施方式中，纹理映射模块还用于：对纹理映射后三维模型的纹理进行纹理优化。

本发明实施例提供的装置可以具体用于执行上述实施例二所提供的方法实施例，具体功能此处不再赘述。

实施例五

图6为本发明实施例五提供的三维重建处理设备的结构示意图。如图6所示，该设备100包括：处理器1001，存储器1002，以及存储在存储器1002上并可在处理器1001上运行的计算机程序。

其中，处理器1001运行计算机程序时实现上述任一方法实施例提供的三维重建处理的方法。

另外，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现上述任一方法实施例提供的三维重建处理的方法。

本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求书指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求书来限制。

Claims

1.一种三维重建处理的方法，其特征在于，包括：

确定三维模型中每个三角面片对应的候选图像；

根据所述目标图像对对应的三角面片进行纹理映射。

2.根据权利要求1所述的方法，其特征在于，所述数据项包括以下至少一项：三角面片在对应图像上的投影区域的梯度信息，三角面片的法向量与三角面片的中心到对应图像光心的光线的夹角；

所述平滑项用于度量相邻三角面片的纹理的连续性和差异。

3.根据权利要求2所述的方法，其特征在于，所述平滑项包括：

相邻的两个三角面片的公共边上的离散三维点在所述两个三角面片对应图像上的投影像素点的灰度差值。

4.根据权利要求1所述的方法，其特征在于，所述确定所述每个三角面片对应的目标图像，使得基于数据项和平滑项的能量函数的取值最小，包括：

基于马尔可夫随机场MRF，构建基于数据项和平滑项的能量函数；

利用图优化方法，确定所述每个三角面片对应的目标图像，使得基于数据项和平滑项的能量函数取值最小。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述确定三维模型中每个三角面片对应的候选图像，包括：

根据三维模型，图像，以及图像采集装置对应内外方位元素，确定所述三维模型中每个三角面片对应的图像；

判断所述每个三角面片对应的图像与所述三维模型的相交可见性，确定所述每个三角面片对应的候选图像，其中任一三角面片对应的候选图像是该三角面片可见的图像。

6.根据权利要求1至4中任一项所述的方法，其特征在于，所述确定三维模型中每个三角面片对应的候选图像之前，还包括：

获取三维点云；

根据所述三维点云进行网格表面重建，得到所述三维模型。

7.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据所述目标图像对对应的三角面片进行纹理映射之后，还包括：

对纹理映射后所述三维模型的纹理进行纹理优化。

8.一种三维重建处理的方法，其特征在于，应用于进行三维重建的三维重建处理设备，所述方法包括：

确定三维模型中每个三角面片对应的候选图像；

根据所述目标图像对对应的三角面片进行纹理映射。

9.一种三维重建处理的装置，其特征在于，包括：

10.一种三维重建处理设备，其特征在于，包括：

其中，所述处理器运行所述计算机程序时实现如权利要求1至7中任一项所述的方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。