CN114882162A - 纹理图像的贴图方法、装置、电子设备和可读存储介质 - Google Patents

Abstract

本申请公开了一种纹理图像的贴图方法、纹理图像的贴图装置、电子设备和可读存储介质，属于图像数据处理技术领域。本申请提供的纹理图像的贴图方法包括：获取多个纹理图像；确定第一面片和第二面片的第一语义，第二面片在三维模型中与第一面片相邻；根据第一面片和多个纹理图像的深度信息，以及第一面片和第二面片的第一语义，从多个纹理图像中确定目标纹理图像；使用目标纹理图像对第一面片进行贴图处理。

Description

纹理图像的贴图方法、装置、电子设备和可读存储介质

技术领域

本申请属于图像数据处理技术领域，具体涉及一种纹理图像的贴图方法、纹理图像的贴图装置、电子设备和可读存储介质。

背景技术

现有技术中，通过场景的三维模型够查看场景的内部环境，纹理贴图是场景的三维模型中最直观的展现方法，然而因为贴图位姿不准、标定存在误差等问题，获取高质量的纹理贴图存在一定的困难。

发明内容

本申请实施例的目的是提供一种纹理图像的贴图方法、纹理图像的贴图装置、电子设备和可读存储介质，实现了利用深度信息来判断纹理贴图的准确性，利用语义信息保证纹理贴图选择的平滑性，从而有效的保证纹理贴图选择的有效性和完整性。

第一方面，本申请实施例提供了一种纹理图像的贴图方法，纹理图像的贴图方法包括：获取多个纹理图像；确定第一面片和第二面片的第一语义，第二面片在三维模型中与第一面片相邻；根据第一面片和多个纹理图像的深度信息，以及第一面片和第二面片的第一语义，从多个纹理图像中确定目标纹理图像；使用目标纹理图像对第一面片进行贴图处理。

第二方面，本申请实施例提供了一种纹理图像的贴图装置，纹理图像的贴图装置包括：获取单元，用于获取多个纹理图像；处理单元，用于确定第一面片和第二面片的第一语义，第二面片在三维模型中与第一面片相邻；处理单元，还用于根据第一面片和多个纹理图像的深度信息，以及第一面片和第二面片的第一语义，从多个纹理图像中确定目标纹理图像；处理单元，还用于使用目标纹理图像对第一面片进行贴图处理。

第三方面，本申请实施例提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面的纹理图像的贴图方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，该可读存储介质上存储程序或指令，该程序或指令被处理器执行时实现如第一方面的纹理图像的贴图方法的步骤。

第五方面，本申请实施例提供了一种芯片，该芯片包括处理器和通信接口，该通信接口和该处理器耦合，该处理器用于运行程序或指令，实现如第一方面的纹理图像的贴图方法的步骤。

第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面的纹理图像的贴图方法。

本申请中，在对目标场景进行三维模型的纹理贴图过程中，在多个纹理图像中，通过三维模型中面片的语义和纹理图像的深度信息，确定目标纹理图像，使用目标纹理图像在三维模型中进行贴图处理。通过本申请提供的纹理图像的贴图方法实现了利用面片和纹理图像的深度信息来判断纹理图像位姿的准确性，利用面片的语义信息保证纹理图像纹理贴图选择的平滑性，从而保证纹理图像纹理贴图的有效性和完整性，提升目标场景的三维模型的展示效果。

附图说明

图1示出了本申请实施例提供的纹理图像的贴图方法的流程示意图之一；

图2示出了本申请实施例提供的纹理图像的贴图方法的流程示意图之二；

图3示出了本申请实施例提供的纹理图像的贴图方法的流程示意图之三；

图4示出了本申请实施例提供的纹理图像的贴图方法的流程示意图之四；

图5示出了本申请实施例提供的纹理图像的贴图装置的结构框图；

图6示出了本申请实施例提供的电子设备的结构框图；

图7示出了本申请实施例提供的纹理图像的贴图方法的流程示意图之五；

图8示出了本申请实施例的一种电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

为了便于理解，下面对本申请涉及的部分技术术语进行简要介绍：

三维模型：三维模型是物体的多边形表示，通常用计算机或者其它视频设备进行显示。显示的物体可以是现实世界的实体，也可以是虚构的物体。任何物理自然界存在的东西都可以用三维模型表示。本申请实施例中，物体的三维模型用于指示目标场景(如：房屋)的三维结构和尺寸信息。三维模型的数据存储形式有多种，例如以三维点云、网格或体元等形式表示，具体此处不做限定。

面片：面片是指三维网格模型中最小的平面构成单元。通常在渲染中，需要将空间中的模型划分成无数个微小的平面。这些平面又被称为面片，它们可以是任意多边形，常用的是三角形和四边形。这些面片各条边的交点则是各个面片的顶点。面片可以是根据模型的材质或颜色等信息随机划分的。

下面结合附图1至图8，通过具体的实施例及其应用场景对本申请实施例提供的纹理图像的贴图方法、纹理图像的贴图装置、电子设备和可读存储介质进行详细地说明。

在本申请实施例提供了一种纹理图像的贴图方法，图1示出了本申请实施例提供的纹理图像的贴图方法的流程示意图之一，如图1所示，纹理图像的贴图方法包括：

步骤102：获取多个纹理图像。

需要说明的是，上述多张纹理图像可以为深度相机在目标场景内采集的多张纹理图像。

进一步地，纹理图像可以对三维模型中需要纹理映射的面片进行贴图。

示例性地，目标场景可以为房屋，使用相机在房屋内部进行图像采集，获取到多张房屋内部的纹理图像，这些纹理图像可以对房屋的三维模型的进行贴图。

步骤104：确定第一面片和第二面片的第一语义；

其中，第一面片和第二面片为三维模型中的面片，第二面片与第一面片相邻。

具体地，面片为三维模型的平面构成单元，三维模型内部包括多个面片。上述第一面片和第二面片可以为三维模型中的面片，第一面片与第二面片具有相邻的位置关系，第一面片可以为目标面片，第二面片可以为与目标面片相邻的面片，第一语义可以为三维模型中面片的三维语义。

示例性地，在房屋的三维模型中，确认所有面片的三维语义，可以把三维语义为“桌子”的面片设为第一面片，把与第一面片相邻面片设为第二面皮，第二面片的三维语义也可以是“桌子”。

步骤106：根据第一面片和多个纹理图像的深度信息，以及第一面片和第二面片的第一语义，从多个纹理图像中确定目标纹理图像。

具体地，上述深度信息可以包括三维模型中的第一面片映射到纹理图像上的距离信息，以及多个纹理图像中的任一个纹理图像对应的深度图的深度值。

进一步地，根据第一面片映射到纹理图像的深度信息和纹理图像对应的深度图的深度值，结合上述示例中第一面片对应的“桌子”语义，在多个纹理图像中选择出目标纹理图像。将目标纹理图像作为贴图。

步骤108：使用目标纹理图像对第一面片进行贴图处理。

本申请实施例中，先获取多个纹理图像，并确定三维模型中第一面片和与之相邻的第二面片的第一语义。通过获取到的多个纹理图像，根据第一面片与多个纹理图像的深度信息和第一面片和第二面片的第一语义，从多个纹理图像中选择出与第一面片对应的目标纹理图像，再使用目标纹理图像对第一面片进行贴图处理，进而完成三维模型的纹理贴图过程。

具体来说，在对目标场景进行三维模型的纹理贴图过程中，通过获取设备相机拍摄的多个纹理图像，再选择出三维模型中多个面片中的目标面片(第一面片)，确定第一面片的三维语义，与第一面片相邻的面片也要确定三维语义。确定第一面片映射到每个纹理图像的深度信息，以及纹理图像对应的深度图的深度信息(深度值)，根据第一面片和与之相邻的第二面片的三维语义与上述深度信息，在多个纹理图像中选择出目标纹理图像，针对第一面片使用目标纹理图像进行贴图处理。

本申请实施例提供的纹理图像的贴图方法通过三维模型中目标面片的三维语义和深度信息，在多个纹理图像中确定目标纹理图像，再使用目标纹理图像对目标面片进行贴图处理。有效保证了纹理图像选择的有效性和完整性，提升目标场景的三维模型的展示效果。

在本申请的一些实施例中，图2示出了本申请实施例提供的纹理图像的贴图方法的流程示意图之二，如图2所示，上述纹理图像的贴图方法具体包括：

步骤202：获取多个纹理图像。

步骤204：确定多个纹理图像中的任一图像的第二语义；

具体地，上述第二语义可以为纹理图像的二维语义。

具体地，获取到目标场景的多张纹理图像，对上述纹理图像进行图像识别处理可以得到每个纹理图像的第二语义，即得到每个纹理图像的二位语义。一般情况下，目标场景的纹理图像的二维语义可以包括：“桌”、“椅”、“床”、“墙”等。

步骤206：将第一面片的中心投影至多个纹理图像中任一个纹理图像，获得第一面片的全部第二语义。

具体地，在目标场景的三维模型中，将第一面片的中心映射到每一个纹理图像上，获得第一面片的全部二维语义，第一面片的二维语义也即其投影所在的纹理图像的二维语义。

进一步地，上述全部二维语义可以为第一面片投影至多个纹理图像得到的二维语义的集合。

需要说明的是，第一面片投影至多个纹理图像可以得到多个第二语义，通常来说，多个第二语义中每一个第二语义的出现频率并不相同，可以根据每一个第二语义的出现频率，确认第一面片的第二语义。此外，相邻两个面片的第二语义相同的概率较高，所以需要约束第一面片和与之相邻的第二面片的第二语义最大可能地保持一致。

步骤208：根据第一面片的全部第二语义，以及第二面片的全部第二语义，确定第一面片和第二面片的第一语义。

具体地，在确定第一面片和第二面片的二维语义之后，可以利用马尔科夫随机场确定第一面片和第二面片的第一语义(三维语义)。

步骤210：根据第一面片和多个纹理图像的深度信息，以及第一面片和第二面片的第一语义，从多个纹理图像中确定目标纹理图像。

步骤212：使用目标纹理图像对第一面片进行贴图处理。

本申请实施例中，先确定每个纹理图像的第二语义，将三维模型中的第一面片的中心投影至每一个纹理图像上，获得第一面片的全部第二语义(二维语义)。将第二面片的中心投影至每一个纹理图像上，获得第二面片的全部第二语义。根据第一面片的全部第二语义以及第二面片的全部第二语义，分别确定第一面片和第二面片的第一语义(三维语义)。

本申请实施例提供的纹理图像的贴图方法通过三维模型中面片的多个二维语义，确定面片的三维语义，再通过面片的三维语义，提高识别面片语义的准确性。

在本申请的一些实施例中，上述步骤206具体包括：

步骤206a：将第一面片的全部第二语义中任一语义的出现频率作为数据项，以及将第一面片第二面片的第二语义是否一致作为平滑项；

步骤206b：通过马尔可夫随机场确定第一面片和第二面片的第一语义。

本申请实施例中，马尔可夫随机场需要设定数据项和平滑项，具体地，将第一面片的第二语义中任一个语义的出现频率设置为数据项，根据第一面片和第二面片的第二语义是否一致设置为平滑项。

进一步地，把数据项和平滑项作为马尔可夫随机场的输入项，通过马尔可夫随机场确定第一面片和第二面片的第一语义。

具体地，上述数据项的计算公式为：

其中，F_i为第一面片，l_k为第一面片的任一个二维语义，

为l_k的出现频率。

上述平滑项的计算公式为：

其中，F_i为第一面片，F_j为第二面片，l_k为第一面片的任一个二维语义，l_p为第二面片的任一个二维语义，若第一面片和第二面片的语义相同，平滑项设为1，反之，平滑项设为0。

马尔可夫随机场的计算公式为：

根据数据项和平滑项，计算出第一面片和第二面片的三维语义E(l)。

本申请实施例提供的纹理图像的贴图方法通过将第一面片的第二语义中任一个语义的出现频率设置为数据项，根据第一面片和第二面片的第二语义是否一致设置为平滑相，按照马尔可夫随机场计算出第一面片的三维语义，提高了将面片的二维语义转换为三维语义的准确性和便捷性。

在本申请的一些实施例中，图3示出了本申请实施例提供的纹理图像的贴图方法的流程示意图之三，如图3所示，上述纹理图像的贴图方法具体包括：

步骤302：获取多个纹理图像；

步骤304：确定多个纹理图像中的任一图像的第二语义；

步骤306：将第一面片的中心投影至多个纹理图像中任一个纹理图像，获得第一面片的全部第二语义；

步骤308：根据第一面片的全部第二语义，以及第二面片的第二语义，确定第一片面和第二面片的第一语义；

步骤310：将多个纹理图像中的一个纹理图像对应的深度图的深度参数作为第一深度参数，将第一面片投影在多个纹理图像中任一个纹理图像上的深度参数作为第二深度参数；

步骤312：根据第一深度参数、第二深度参数，以及第一面片和第二面片的第一语义，从多个纹理图像中确定目标纹理图像；

步骤314：使用目标纹理图像对第一片面进行贴图处理。

本申请实施例中，确定目标纹理图像的过程需要分别设定第一深度参数和第二深度参数，具体地，将多个纹理图像中的一个纹理图像对应的深度图的深度值作为第一深度参数，将第一面片投影在多个纹理图像中任一个纹理图像上的深度参数设为第二深度参数。

进一步地，根据第一深度参数、第二深度参数，以及第一面片和第二面片的第一语义，在多个纹理图像中选择出目标纹理图像，目标纹理图像为对应第一面片显示效果最好的纹理图像。

具体地，上述纹理图像对应的深度图可以根据摄像装置和三维模型生成获取，多个纹理图像中的任一个纹理图像可以都具有对应的深度图，将纹理图像的深度图的深度参数作为第一设为第一深度参数。

具体地，确定第一面片投影到纹理图像上的深度参数，设为第二深度参数。

可以理解，在对三维模型进行纹理贴图时，通常有大量的纹理图像可供选择，为了获得更为清晰和真实的贴图效果，通常会为第一面片选择具有正视的视角角度和准确位姿的纹理图像作为目标纹理图像进行贴图。因此，第一面片投影到纹理图像的深度参数，可以作为进行衡量纹理图像位姿准确性的一个度量。

需要说明的是，纹理贴图的位姿准确性是优化纹理贴图的一方面因素，纹理图像过度的平滑性是优化纹理贴图的另一方面因素。因此，在选择目标纹理贴图时，需要参考第一面片和相邻的第二面片的语义，保证获得最优的目标纹理图像。

本申请实施例提供的纹理图像的贴图方法通过参考第一面片和相邻的第二面片的三维语义，以及第一深度参数和第二深度参数，在多个纹理图像中选择出目标纹理图像，保证纹理贴图的准确性和平滑性。

在本申请的一些实施例中，上述纹理图像的贴图方法中的第一深度参数包括：多个纹理图像中的一个纹理图像对应的深度图的第一深度值；第二深度参数包括：第一面片投影至任一个纹理图像上的投影面积和第二深度值。上述步骤312具体包括：

步骤312a：将投影面积，以及第一深度值与第二深度值的差值的联合项作为数据项，将第一面片和第二面片的第一语义是否一致作为平滑项；

步骤312b：通过马尔可夫随机场从多个纹理图像中确定目标纹理图像。

在上述实施例中，在选择目标纹理贴图时，需要参考第一面片和相邻的第二面片的语义，保证获得最优的目标纹理图像。因此，需要第一面片和相邻的第二面片尽可能地具有相同的语义，当上述两者的语义相同时，能够保证纹理贴图过度的平滑性。因此，将第一面片和第二面片的语义一致性作为衡量纹理图像平滑性的度量。

进一步地，上述第一面片投影到纹理图像的面积越大，可以认为摄像装置的拍摄角度越合适。与此同时，再结合纹理图像本身的深度值(第一深度值)和第一面片投影到纹理图像的深度(第二深度值)之间侧差值，作为衡量纹理图像位姿准确的度量，进一步优化纹理图像的位姿准确性。

本申请实施例中，可以通过马尔可夫随机场确定多个纹理图像中的目标纹理图像，马尔可夫随机场需要设定数据项和平滑项。

具体地，将上述投影面积，以及第一深度值与第二深度值的差值的联合项设置为数据项，将第一面片第二面片的第二语义是否一致设置为平滑项。将数据项和平滑项作为输入项，通过马尔可夫随机场从多个纹理图像中计算出目标纹理图像。

在一种可能的实施方式中，把从多个纹理图像计算出目标纹理图像的过程，看作马尔可夫随机场计算过程处理。马尔可夫随机场计算需要设定数据项和平滑项，数据项的计算公式为：

Data(F,v)＝S/|dt-d|；

其中，F为第一面片，v为被选择的纹理图像，S为第一面片投影到纹理图像上的面积，dt为第一面片投影到纹理图像上的第二深度值，d为纹理图像对应的深度图中的第一深度值。

平滑项的计算公式为：

其中，l_k为第一面片的第一语义(三维语义)，l_p为第二面片的第一语义，若第一面片和第二面片的语义相同，平滑项设为1，反之，平滑项设为0。

马尔可夫随机场的计算式为：

其中，F_i为第一面片，F_j为第二面片，根据数据项和平滑项，在多个纹理图像计算出目标纹理图像E(v)。

本申请实施例提供的纹理图像的贴图方法通过分别设置数据项和平滑项，按照马尔可夫随机场计算出纹理图像中的目标纹理图像，保证在多个纹理图像中确定目标纹理图像的准确性。

在本申请的一些实施例中，图4示出了本申请实施例提供的纹理图像的贴图方法的流程示意图之四，如图4所示，纹理图像的贴图方法包括：

步骤402：获取多个纹理图像；

步骤404：确定第一面片和第二面片的第一语义；

步骤406：根据第一面片和多个纹理图像的深度信息，以及第一面片和第二面片的第一语义，从多个纹理图像中确定目标纹理图像；

步骤408：使用目标纹理图像对第一片面进行贴图处理；

步骤410：确定三维模型中的不可见区域的边界所对应的第三面片，将第四面片的纹理颜色填充至第三面片，第四面片为与第三面片相邻的并位于不可见区域边界外的面片；

具体地，三维模型中的不可见区域为三维模型内部纹理信息缺失的区域。上述第三面片为三维模型中纹理缺失区域的边界对应的面片。第四面片为与第三面片相邻的面片，且第四面片对应的三维模型区域处于不可见区域的界外。

步骤412：迭代地填充不可见区域的边界对应的面片，直至不可见区域被全部填充。

在上述实施例中，确定三维模型中不可见区域边界对应的第三面片，并确定第三面片相邻的第四面片，第四面片位于不可见区域边的界外，将第四面片的纹理颜色填充至第三面片，并由外向内依次对不可见区域的边界对应的面片进行纹理颜色填充，直至不可见区域被全部填充。

具体地，可以通过遍历算法，确定三维模型中所有纹理缺失的空洞区域，该空洞指没有纹理的面片形成的连通域，该空洞区域即为上述不可见区域。

具体地，对于每一个空洞区域中的面片(第三面片)，采用有具有纹理的面片(第四面片)的颜色，由外到内，一圈一圈向内部扩散。

示例性地，可以为每个第四面片和第三面片都生成纹理patch(图像块)，将与第三面片相邻并对应的第四面片的pacth赋予第三面片的patch。

进一步地，在上述步骤412之后，本申请提供的纹理图像的贴图方法还可以包括：

步骤414：对填充的全部第三面片进行颜色平衡处理。

可以理解，由于拍摄装置拍摄的曝光、白平衡的差异，不同纹理图像之间的颜色存在差异。为了平衡纹理patch之间的色差，可以对填充的颜色进行平滑处理，以平衡空洞填补的patch和摄像装置拍摄得到的patch之间的色差。

进一步地，在上述步骤414之后，本申请提供的纹理图像的贴图方法还可以包括：

步骤416：对全部第三面片进行分类，将同一类的第三面片合成虚拟视角，并将该同一类的第三面片投影到虚拟视角，得到第一纹理图像；

步骤418：将第一纹理图像合成第一纹理patch，对第一纹理patch进行平衡处理。

具体地，在经过颜色平衡处理后，上述不可见区域内可能仍然存在差异。为此，可以根据第三面片的法向量进行分类，将属于同一类的面片合成为一个虚拟视角，再将属于该类的所有面片投影到该虚拟视角，以得到一个新的纹理图像(第一纹理图像)。

进一步地，对上述第一纹理图像合成新的纹理patch，然后再对该纹理patch进行平滑处理，以使得空洞填补更为自然。

本申请提供的实施例中，目标场景的三维模型中，会存在纹理缺失的区域，纹理缺失的区域可能对应多个面片，从纹理缺失的区域的边界向内部方向依次把颜色缺失的面片设置为待填充面片(第三面片)，根据待填充面片相邻且纹理颜色完整的面片(第四面片)的颜色，对待填充面片进行颜色填充，直至所有待填充面片的纹理颜色都被全部填充。完成全部填充后，可以对填充的面片之间进行颜色平滑处理，以保证颜色显示效果。

本申请实施例提供的纹理图像的贴图方法根据三维模型中的不可见区域界外的面片，对不可见区域内部的面片进行纹理颜色填充，保证了三维模型的纹理颜色的完整性。

在本申请的一些实施例中，本申请提供的纹理图像的贴图方法，在步骤412或者步骤418之后，或者在步骤108之前或者之后，该纹理图像的贴图方法还包括：

步骤420：调整三维模型中多个目标纹理图像之间的色差。

在一种可能的实施方式中，在对三维模型进行纹理贴图之后，三维模型中已经映射好的多个目标纹理图像会存在色差，为了获得更好的视觉效果，需要调整目标纹理图像之间的色差。

在上述实施例中，设置一个面片的顶点的色差为g_v，假设该面片位于两幅纹理贴图的拼缝出，则将该顶点拆分为两个顶点V_left和V_right，上述两个顶在两个纹理图像中的颜色为f_vleft和f_vrihgt。因此，需要优化两个顶点加上色差的之差，相邻顶点的色差g_v要尽可能的一致，通过优化下面的能量方程，进行颜色平衡。

用于调整色差的函数为：

本申请实施例提供的纹理图像的贴图方法通过调整三维模型中多个目标纹理图像之间的色差，平衡纹理贴图的颜色，提升三维模型的显示效果。

在本申请的一些实施例中提供了一种纹理图像的贴图装置，图5示出了本申请实施例提供的纹理图像的贴图装置的结构框图，如图5所示，纹理图像的贴图装置500包括：

获取单元502，用于获取多个纹理图像；

处理单元504，用于确定第一面片和第二面片的第一语义，第二面片在三维模型中与第一面片相邻；

处理单元504，还用于根据第一面片和多个纹理图像的深度信息，以及第一面片和第二面片的第一语义，从多个纹理图像中确定目标纹理图像；

处理单元504，还用于使用目标纹理图像对第一面片进行贴图处理。

本申请实施例中，获取单元502先获取多个纹理图像，处理单元504再确定三维模型中第一面片和与之相邻的第二面片的第一语义；处理单元504针对获取到的多个纹理图像，根据第一面片与多个纹理图像的深度信息和第一面片和第二面片的第一语义，选择出目标纹理图像；处理单元504使用目标纹理图像对第一面片进行贴图处理。

本申请实施例提供的纹理图像的贴图装置，在对目标场景进行三维模型的纹理贴图过程中，在多个纹理图像中，贴图装置通过三维模型中面片的语义和纹理图像的深度信息，确定目标纹理图像，使用目标纹理图像在三维模型中进行贴图处理。如此，实现了利用面片和纹理图像的深度信息来判断纹理图像位姿的准确性，利用面片的语义信息保证纹理图像纹理贴图选择的平滑性，从而保证纹理图像纹理贴图的有效性和完整性，提升目标场景的三维模型的展示效果。

在本申请的一些实施例中，处理单元504还用于确定多个纹理图像中的任一图像的第二语义；将第一面片的中心投影至多个纹理图像中任一个纹理图像，获得第一面片的全部第二语义；根据第一面片的全部第二语义，以及第二面片的第二语义，确定第一面片和第二面片的第一语义。

本申请实施例提供的纹理图像的贴图装置通过处理单元根据三维模型中面片的多个二维语义，确定面片的三维语义，并根据面片的三维语义进行语义分割，提高语义分割的准确性。

在本申请的一些实施例中，处理单元504还用于将第一面片的全部第二语义中任一语义的出现频率作为数据项，以及将第一面片第二面片的第二语义是否一致作为平滑项，通过马尔可夫随机场确定第一面片和第二面片的第一语义。

本申请实施例提供的纹理图像的贴图装置通过处理单元分别设置数据项和平滑项，按照马尔可夫随机场计算出目标面片的三维语义，实现了根据三维语义对三维模型中面片进行语义分割。

在本申请的一些实施例中，处理单元504还用于将多个纹理图像中的一个纹理图像对应的深度图的深度参数作为第一深度参数，将第一面片投影在多个纹理图像中任一个纹理图像上的深度参数作为第二深度参数；处理单元504，还用于根据第一深度参数、第二深度参数，以及第一面片和第二面片的第一语义，从多个纹理图像中确定目标纹理图像。

本申请实施例提供的纹理图像的贴图装置通过处理单元根据目标面片和相邻面片的三维语义以及第一深度参数和第二深度参数，在多个纹理图像中选择出目标纹理图像，选择出目标纹理图像进行贴图，保证纹理贴图的准确性。

在本申请的一些实施例中，第一深度参数包括：多个纹理图像中的一个纹理图像对应的深度图的第一深度值；第二深度参数包括：第一面片投影至任一个纹理图像上的投影面积和第二深度值；处理单元504还用于将投影面积，以及第一深度值与第二深度值的差值的联合项作为数据项，将第一面片和第二面片的第一语义是否一致作为平滑项，通过马尔可夫随机场从多个纹理图像中确定目标纹理图像。

本申请实施例提供的纹理图像的贴图装置通过处理单元分别设置数据项和平滑项，按照马尔可夫随机场计算出纹理图像中的目标纹理图像。保证目标纹理图像的准确性。

在本申请的一些实施例中，处理单元504还用于确定三维模型中的不可见区域的边界所对应的第三面片，将第四面片的纹理颜色填充至第三面片，第四面片为与第三面片相邻的并位于不可见区域边界外的面片；处理单元504还用于代地填充不可见区域的边界对应的面片，直至不可见区域被全部填充；

本申请实施例提供的纹理图像的贴图装置通过处理单元根据三维模型中的不可见区域界外的面片，对不可见区域内部的面片进行纹理颜色填充，保证了三维模型的纹理颜色的完整性。

在本申请的一些实施例中，处理单元504还用于调整三维模型中多个目标纹理图像之间的色差。

本申请实施例提供的纹理图像的贴图装置通过处理单元调整三维模型中多个目标纹理图像之间的色差，平衡纹理贴图的颜色，提升三维模型的显示效果。

本申请实施例中的纹理图像的贴图装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的纹理图像的贴图装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的纹理图像的贴图装置能够实现上述方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，本申请实施例还提供一种电子设备，图6示出了根据本申请实施例的电子设备的结构框图，如图6所示，电子设备600包括处理器602和存储器604，存储器604上存储有可在处理器602上运行的程序或指令，该程序或指令被处理器602执行时实现上述方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

进一步示例性地，如图7所示，上述处理器602在执行纹理图像的贴图方法的步骤，还可以通过下述过程实现：

本申请实施例中，根据三维模型中的RGB Depth图，确定三维模型中面片的多个二维语义，再根据面片的多个二维语义，进一步确定面片的三维语义。结合RGB Depth图中的深度信息和面片的三维语义，在多张视图中选择出效果比较好的目标纹理视图。根据目标视图和其他视图的纹理颜色对三维模型中的空洞区域进行颜色填充，并对填充的颜色进行平衡处理，使颜色更加自然。然后，再把目标视图贴图到三维模型中，保证三维模型的完整性。

需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。

图8为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备800包括但不限于：射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809以及处理器810等部件。

本领域技术人员可以理解，电子设备800还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器810逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图8中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器810，用于获取多个纹理图像；确定第一面片和第二面片的第一语义，第二面片在三维模型中与第一面片相邻；根据第一面片和多个纹理图像的深度信息，以及第一面片和第二面片的第一语义，从多个纹理图像中确定目标纹理图像；使用目标纹理图像对第一面片进行贴图处理。

本申请实施例提供的电子设备，在对目标场景进行三维模型的纹理贴图过程中，在多个纹理图像中，贴图装置通过三维模型中面片的语义和纹理图像的深度信息，确定目标纹理图像，使用目标纹理图像在三维模型中进行贴图处理。如此，实现了利用面片和纹理图像的深度信息来判断纹理图像位姿的准确性，利用面片的语义信息保证纹理图像纹理贴图选择的平滑性，从而保证纹理图像纹理贴图的有效性和完整性，提升目标场景的三维模型的展示效果。

进一步地，处理器810还用于确定多个纹理图像中的任一图像的第二语义；将第一面片的中心投影至多个纹理图像中任一个纹理图像，获得第一面片的全部第二语义；根据第一面片的全部第二语义，以及第二面片的第二语义，确定第一面片和第二面片的第一语义。

本申请实施例提供的电子设备通过三维模型中面片的多个二维语义，确定面片的三维语义。根据面片的三维语义进行语义分割，提高语义分割的准确性。

进一步地，处理器810还用于将第一面片的全部第二语义中任一语义的出现频率作为数据项，以及将第一面片第二面片的第二语义是否一致作为平滑项，通过马尔可夫随机场确定第一面片和第二面片的第一语义。

本申请实施例提供的电子设备通过分别设置数据项和平滑项，按照马尔可夫随机场计算出目标面片的三维语义。实现了根据三维语义对三维模型中面片进行语义分割。

进一步地，处理器810还用于将多个纹理图像中的一个纹理图像对应的深度图的深度参数作为第一深度参数，将第一面片投影在多个纹理图像中任一个纹理图像上的深度参数作为第二深度参数；根据第一深度参数、第二深度参数，以及第一面片和第二面片的第一语义，从多个纹理图像中确定目标纹理图像。

本申请实施例提供的电子设备通过目标面片和相邻面片的三维语义以及第一深度参数和第二深度参数，在多个纹理图像中选择出目标纹理图像。选择出目标纹理图像进行贴图，保证纹理贴图的准确性。

进一步地，第一深度参数包括：多个纹理图像中的一个纹理图像对应的深度图的第一深度值；第二深度参数包括：第一面片投影至任一个纹理图像上的投影面积和第二深度值；处理器810还用于将投影面积，以及第一深度值与第二深度值的差值的联合项作为数据项，将第一面片和第二面片的第一语义是否一致作为平滑项，通过马尔可夫随机场从多个纹理图像中确定目标纹理图像。

本申请实施例提供的电子设备通过分别设置数据项和平滑项，按照马尔可夫随机场计算出纹理图像中的目标纹理图像。保证目标纹理图像的准确性。

进一步地，处理器810还用于确定三维模型中的不可见区域的边界所对应的第三面片，将第四面片的纹理颜色填充至第三面片，第四面片为与第三面片相邻的并位于不可见区域边界外的面片；迭代地填充不可见区域的边界对应的面片，直至不可见区域被全部填充。

本申请实施例提供的电子设备根据三维模型中的不可见区域界外的面片，对不可见区域内部的面片进行纹理颜色填充，保证了三维模型的纹理颜色的完整性。

进一步地，处理器810还用于调整三维模型中多个目标纹理图像之间的色差。

本申请实施例提供的电子设备调整三维模型中多个目标纹理图像之间的色差，平衡纹理贴图的颜色，提升三维模型的显示效果。

应理解的是，本申请实施例中，输入单元804可以包括图形处理器(GraphicsProcessing Unit，GPU)8041和麦克风8042，图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元806可包括显示面板8061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板8061。用户输入单元807包括触控面板8071以及其他输入设备8072中的至少一种。触控面板8071，也称为触摸屏。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器809可用于存储软件程序以及各种数据。存储器809可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器809可以包括易失性存储器或非易失性存储器，或者，存储器809可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器809包括但不限于这些和任意其它适合类型的存储器。

处理器810可包括一个或多个处理单元；可选的，处理器810集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器810中。

本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述纹理图像的贴图方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述纹理图像的贴图方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述纹理图像的贴图方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种纹理图像的贴图方法，其特征在于，所述纹理图像的贴图方法包括：

获取多个纹理图像；

确定第一面片和第二面片的第一语义，所述第一面片和第二面片为三维模型中的面片，所述第二面片与所述第一面片相邻；

根据所述第一面片和所述多个纹理图像的深度信息，以及所述第一面片和所述第二面片的第一语义，从所述多个纹理图像中确定目标纹理图像；

使用所述目标纹理图像对所述第一面片进行贴图处理。

2.根据权利要求1所述纹理图像的贴图方法，其特征在于，所述确定所述第一面片和第二面片的第一语义，具体包括：

确定所述多个纹理图像中的任一图像的第二语义；

将所述第一面片的中心投影至所述多个纹理图像中任一个纹理图像，获得所述第一面片的全部第二语义；

根据所述第一面片的全部第二语义，以及所述第二面片的全部第二语义，确定所述第一面片和所述第二面片的所述第一语义。

3.根据权利要求2所述纹理图像的贴图方法，其特征在于，所述根据所述第一面片的全部第二语义，以及所述第二面片的第二语义，确定所述第一面片和所述第二面片的所述第一语义，具体包括：

将所述第一面片的全部第二语义中任一语义的出现频率作为数据项，以及将所述第一面片所述第二面片的第二语义是否一致作为平滑项，通过马尔可夫随机场确定所述第一面片和所述第二面片的第一语义。

4.根据权利要求1至3中任一项所述纹理图像的贴图方法，其特征在于，根据所述第一面片和所述多个纹理图像的深度信息，以及所述第一面片和所述第二面片的第一语义，从所述多个纹理图像中确定目标纹理图像，具体包括：

将所述多个纹理图像中的一个纹理图像对应的深度图的深度参数作为第一深度参数，将所述第一面片投影在所述多个纹理图像中任一个纹理图像上的深度参数作为第二深度参数；

根据所述第一深度参数、所述第二深度参数，以及所述第一面片和所述第二面片的第一语义，从所述多个纹理图像中确定目标纹理图像。

5.根据权利要求4所述纹理图像的贴图方法，其特征在于，

所述第一深度参数包括：所述多个纹理图像中的一个纹理图像对应的深度图的第一深度值；

所述第二深度参数包括：所述第一面片投影所述至任一个纹理图像上的投影面积和第二深度值；

所述根据所述第一深度参数、所述第二深度参数，以及所述第一面片和所述第二面片的第一语义，从所述多个纹理图像中确定目标纹理图像，具体包括：

将所述投影面积，以及所述第一深度值与所述第二深度值的差值的联合项作为数据项，将所述第一面片和所述第二面片的第一语义是否一致作为平滑项，通过马尔可夫随机场从所述多个纹理图像中确定所述目标纹理图像。

6.根据权利要求1至5中任一项所述纹理图像的贴图方法，其特征在于，所述贴图方法还包括：

确定所述三维模型中的不可见区域的边界所对应的第三面片，将第四面片的纹理颜色填充至所述第三面片，所述第四面片为与所述第三面片相邻的并位于所述不可见区域的边界外的面片；

迭代地填充所述不可见区域的边界对应的面片，直至所述不可见区域被全部填充。

7.根据权利要求1至5中任一项所述纹理图像的贴图方法，其特征在于，所述贴图方法还包括：

调整所述三维模型中所述多个目标纹理图像之间的色差。

8.一种纹理图像的贴图装置，其特征在于，所述纹理图像的贴图装置包括：

获取单元，用于获取多个纹理图像；

处理单元，用于确定第一面片和第二面片的第一语义，所述第一面片和所述第二面片为三维模型中的面片，所述第二面片与所述第一面片相邻；

所述处理单元，还用于根据所述第一面片和所述多个纹理图像的深度信息，以及所述第一面片和所述第二面片的第一语义，从所述多个纹理图像中确定目标纹理图像；

所述处理单元，还用于使用所述目标纹理图像对所述第一面片进行贴图处理。

9.一种电子设备，其特征在于，包括：

存储器，其上存储有程序或指令；

处理器，用于执行所述程序或指令时实现如权利要求1至7中任一项所述的纹理图像的贴图方法的步骤。

10.一种可读存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时实现如权利要求1至7中任一项所述的纹理图像的贴图方法的步骤。

Images