CN117218266A - 3d白模的纹理贴图生成方法、装置、设备及介质 - Google Patents

Abstract

本申请提供一种3D白模的纹理贴图生成方法、装置、设备及介质，该方法通过多个虚拟相机中的第i个虚拟相机对目标3D模型进行拍摄，获取目标图像以及目标图像对应的第一mask图，将目标3D模型对应的3D白模的描述信息、第i个虚拟相机的位姿、目标图像以及第一mask图，输入图像生成模型，获取图像生成模型输出的第i个虚拟相机对应的2D纹理贴图；将第i个虚拟相机对应的2D纹理贴图映射回目标3D模型，获取第i个虚拟相机对应的3D模型；若第i个虚拟相机对应的3D模型不存在未贴图区域，则将第i个虚拟相机对应的3D模型的3D纹理贴图，确定为3D白模的3D纹理贴图，提高了3D纹理贴图的真实度和美观性。

Description

3D白模的纹理贴图生成方法、装置、设备及介质

技术领域

本申请涉及计算机技术，尤其涉及一种3D白模的纹理贴图生成方法、装置、设备及介质。

背景技术

随着娱乐产业的不断发展，电影、电视剧、动漫、游戏等娱乐活动占据人们越来越多的休闲时间，与其相关的三维(3-Dimension，3D)内容以及3D资产的需求也日渐增多。其中，3D模型的3D纹理贴图是3D资产中非常重要的部分。

目前，制作3D模型的3D纹理贴图主要是生成3D模型的多视角的2D纹理贴图，之后将多视角的2D纹理贴图进行融合，从而生成3D模型的3D纹理贴图。

然而，现有技术中3D纹理贴图的真实度和美观性较差。

发明内容

本申请提供一种3D白模的纹理贴图生成方法、装置、设备及介质，用以解决现有技术中3D纹理贴图的真实度和美观性较差的问题。

第一方面，本申请提供一种3D白模的纹理贴图生成方法，包括：

通过多个虚拟相机中的第i个虚拟相机对目标3D模型进行拍摄，获取目标图像以及所述目标图像对应的第一mask图，所述目标3D模型为第i-1个虚拟相机对应的3D模型，所述目标3D模型在所述第i个虚拟相机的目标拍摄范围内存在已贴图区域，所述目标图像用于表示所述目标3D模型在所述目标拍摄范围内的未贴图位置与所述第i个虚拟相机之间的距离以及已贴图位置的纹理，所述第一mask图用于表示所述目标图像中的所述目标3D模型的未贴图区域，所述i为大于或等于2的正整数；

将所述目标3D模型对应的3D白模的描述信息、所述第i个虚拟相机的位姿、所述目标图像以及所述第一mask图，输入图像生成模型，获取所述图像生成模型输出的所述第i个虚拟相机对应的2D纹理贴图；

将所述第i个虚拟相机对应的2D纹理贴图映射回所述目标3D模型，获取所述第i个虚拟相机对应的3D模型；

若所述第i个虚拟相机对应的3D模型不存在未贴图区域，则将所述第i个虚拟相机对应的3D模型的3D纹理贴图，确定为所述3D白模的3D纹理贴图。

在一种可能的实现方式中，所述将所述第i个虚拟相机对应的2D纹理贴图映射回所述目标3D模型，获取所述第i个虚拟相机对应的3D模型，包括：

根据所述第一mask图，确定所述第i个虚拟相机对应的2D纹理贴图的目标区域，所述目标区域为所述2D纹理贴图中所述目标3D模型的未贴图区域；

将所述2D纹理贴图中处于所述目标区域内的纹理，映射回所述目标3D模型，获取所述第i个虚拟相机对应的3D模型。

在一种可能的实现方式中，所述将所述2D纹理贴图中处于所述目标区域内的纹理，映射回所述目标3D模型，获取所述第i个虚拟相机对应的3D模型，包括：

针对所述2D纹理贴图的所述目标区域中的每一像素点，确定所述像素点在所述目标3D模型中对应的目标位置；

将所述2D纹理贴图中所述像素点对应的纹理，映射回所述目标3D模型中的所述目标位置，获取所述第i个虚拟相机对应的3D模型。

在一种可能的实现方式中，在所述通过多个虚拟相机中的第i个虚拟相机对目标3D模型进行拍摄，获取目标图像以及所述目标图像对应的第一mask图之前，所述方法还包括：

通过所述多个虚拟相机中的第1个虚拟相机对所述3D白模进行拍摄，获取深度图以及所述深度图对应的第二mask图，所述第二mask图用于指示所述深度图中对应的3D白模未贴图；

将所述3D白模的描述信息、所述第1个虚拟相机的位姿、所述深度图以及所述第二mask图，输入所述图像生成模型，获取所述图像生成模型输出的所述第1个虚拟相机对应的2D纹理贴图；

将所述第1个虚拟相机对应的2D纹理贴图映射回所述3D白模，获取所述第1个虚拟相机对应的3D模型。

在一种可能的实现方式中，所述第1个虚拟相机为预先设定的，或，从所述多个虚拟相机中随机选取的。

在一种可能的实现方式中，所述3D白模的描述信息包括所述3D白模的物体名称。

在一种可能的实现方式中，所述3D白模的描述信息还包括材质信息和/或颜色信息。

第二方面，本申请提供一种3D白模的纹理贴图生成装置，包括：

拍摄模块，用于通过多个虚拟相机中的第i个虚拟相机对目标3D模型进行拍摄，获取目标图像以及所述目标图像对应的第一mask图，所述目标3D模型为第i-1个虚拟相机对应的3D模型，所述目标3D模型在所述第i个虚拟相机的目标拍摄范围内存在已贴图区域，所述目标图像用于表示所述目标3D模型在所述目标拍摄范围内的未贴图位置与所述第i个虚拟相机之间的距离以及已贴图位置的纹理，所述第一mask图用于表示所述目标图像中的所述目标3D模型的未贴图区域，所述i为大于或等于2的正整数；

输入模块，用于将所述目标3D模型对应的3D白模的描述信息、所述第i个虚拟相机的位姿、所述目标图像以及所述第一mask图，输入图像生成模型，获取所述图像生成模型输出的所述第i个虚拟相机对应的2D纹理贴图；

映射模块，用于将所述第i个虚拟相机对应的2D纹理贴图映射回所述目标3D模型，获取所述第i个虚拟相机对应的3D模型；

确定模块，用于若所述第i个虚拟相机对应的3D模型不存在未贴图区域，则将所述第i个虚拟相机对应的3D模型的3D纹理贴图，确定为所述3D白模的3D纹理贴图。

在一种可能的实现方式中，所述映射模块，具体用于：

根据所述第一mask图，确定所述第i个虚拟相机对应的2D纹理贴图的目标区域，所述目标区域为所述2D纹理贴图中所述目标3D模型的未贴图区域；

将所述2D纹理贴图中处于所述目标区域内的纹理，映射回所述目标3D模型，获取所述第i个虚拟相机对应的3D模型。

在一种可能的实现方式中，所述映射模块，具体用于：

针对所述2D纹理贴图的所述目标区域中的每一像素点，确定所述像素点在所述目标3D模型中对应的目标位置；

将所述2D纹理贴图中所述像素点对应的纹理，映射回所述目标3D模型中的所述目标位置，获取所述第i个虚拟相机对应的3D模型。

在一种可能的实现方式中，在所述通过多个虚拟相机中的第i个虚拟相机对目标3D模型进行拍摄，获取目标图像以及所述目标图像对应的第一mask图之前，所述拍摄模块还用于通过所述多个虚拟相机中的第1个虚拟相机对所述3D白模进行拍摄，获取深度图以及所述深度图对应的第二mask图，所述第二mask图用于指示所述深度图中对应的3D白模未贴图；

所述输入模块，还用于将所述3D白模的描述信息、所述第1个虚拟相机的位姿、所述深度图以及所述第二mask图，输入所述图像生成模型，获取所述图像生成模型输出的所述第1个虚拟相机对应的2D纹理贴图；

所述映射模块，还用于将所述第1个虚拟相机对应的2D纹理贴图映射回所述3D白模，获取所述第1个虚拟相机对应的3D模型。

在一种可能的实现方式中，所述第1个虚拟相机为预先设定的，或，从所述多个虚拟相机中随机选取的。

在一种可能的实现方式中，所述3D白模的描述信息包括所述3D白模的物体名称。

在一种可能的实现方式中，所述3D白模的描述信息还包括材质信息和/或颜色信息。

第三方面，本申请提供一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述电子设备执行如第一方面及各可能实现方式所述的方法。

第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面及各可能实现方式所述的方法。

本申请提供的3D白模的纹理贴图生成方法、装置、设备及介质，该方法通过多个虚拟相机中的第i个虚拟相机对目标3D模型进行拍摄，获取目标图像以及目标图像对应的第一mask图，将目标3D模型对应的3D白模的描述信息、第i个虚拟相机的位姿、目标图像以及第一mask图，输入图像生成模型，获取图像生成模型输出的第i个虚拟相机对应的2D纹理贴图。之后，将第i个虚拟相机对应的2D纹理贴图映射回目标3D模型，获取第i个虚拟相机对应的3D模型。若第i个虚拟相机对应的3D模型不存在未贴图区域，则将第i个虚拟相机对应的3D模型的3D纹理贴图，确定为3D白模的3D纹理贴图。其中，目标3D模型为第i-1个虚拟相机对应的3D模型，目标3D模型在第i个虚拟相机的目标拍摄范围内存在已贴图区域，目标图像用于表示目标3D模型在目标拍摄范围内的未贴图位置与第i个虚拟相机之间的距离以及已贴图位置的纹理，第一mask图用于表示目标图像中的目标3D模型的未贴图区域，i为大于或等于2的正整数。技术方案巧妙地将3D问题转化为2D问题，通过获取3D白模的多视角下的目标图像替代现有技术中的深度图，以使后续图像生成模型可以基于目标图像中已有的纹理补充生成新的纹理，从而保证新纹理和旧纹理之间没有接缝，有效的提高了3D纹理贴图的真实度和美观性。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1为本申请实施例提供的3D白模的纹理贴图生成方法的场景示意图；

图2为本申请实施例提供的3D白模的纹理贴图生成方法实施例一的流程示意图；

图3为本申请实施例提供的3D白模的纹理贴图生成方法实施例二的流程示意图；

图4为本申请实施例提供的2D纹理贴图和3D纹理贴图的示意图；

图5为本申请实施例提供的3D白模的纹理贴图生成装置的结构示意图；

图6为本申请实施例提供的一种电子设备的结构示意图。

通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户属性信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

为了清楚地描述本申请实施例的技术方案，首先对本申请涉及的名词进行解释说明。

3D白模：指3D模型制作中的基础模型，是没有材质、纹理或细节的简化模型，用于展示物体的基本结构和比例。

多视角：指从不同的角度或视点观察或呈现物体或场景。

纹理贴图：一种用于给物体表面添加细节和纹理的图像，主要包含了物体表面的颜色信息。

文生图：一种通过计算机生成图像的技术，以文本为输入，生成符合文本语义的二维图像内容。

深度图：一种二维图像，记录了场景中每个像素点与相机的距离信息，用于实现景深效果、遮挡关系和三维重构等计算机视觉和图形学应用。

深度学习文本到图像生成模型(Stable Diffusion，SD)：主要用于根据文本的描述产生详细图像，它也可以应用于其他任务，如内补绘制、外补绘制，以及在提示词指导下产生图生图的翻译。

接下来，对本申请涉及的应用场景进行解释说明。

随着3D技术的不断发展，越来越多的互联网应用以3D的方式呈现给用户，包括网络视讯、电子阅读、网络游戏、虚拟社区、电子商务以及远程教育等等。甚至对于旅游业来说，景点、雕塑以及古董等也就可以通过3D的方式呈现给用户。与2D模型相比，3D模型能够为用户带来更真实、更沉浸、更震撼的体验。

其中，纹理是决定3D模型真实度的一个重要因素。目前，制作3D模型的3D纹理贴图主要是通过模型师手动绘制实现。然而，以游戏场景为例，常规的3D道具模型通常需要一位模型师花费1至2天的时间进行制作，其中一半甚至一半以上的制作时间用于制作3D道具模型的3D纹理贴图。能够明显的看出，人工制作3D纹理贴图的过程需要耗费大量的时间，导致制作效率较低。

为了解决上述技术问题，现有技术还提出了一种制作3D纹理贴图的方法，主要是先生成3D模型的多视角的2D纹理贴图，然后再将多视角的2D纹理贴图依次映射回3D白模中，从而生成3D模型的3D纹理贴图。

然而，由于2D纹理贴图的重叠区域的纹理存在差异，因此在将相邻视角的2D纹理贴图映射回3D白模时两个2D纹理贴图之间存在接缝，导致生成的3D纹理贴图失真且不连续，真实度和美观性较差。

基于上述技术问题，本申请的技术构思如下：现有技术中2D纹理贴图的重叠区域的纹理存在差异的原因，主要是在生成不同视角的2D纹理贴图时，都是采集该视角下的3D白模的深度图，从而基于该视角下的深度图和与纹理相关的描述信息独立生成该视角下的2D纹理贴图，没有考虑3D模型的整体一致性。若在生成2D纹理贴图时，以贴有之前视角对应的2D纹理贴图的3D模型为目标，采集该视角下的该3D模型的目标图像，其中目标图像包括该视角下3D模型的贴图部分和深度区域。这样，在基于目标图像生成该视角下的2D纹理贴图时，可以参考目标图像的贴图部分生成深度区域对应的纹理，能够有效保证2D纹理贴图的重合区域的纹理一致性，有效地解决了现有技术中存在的接缝问题，提高了3D纹理贴图的真实度和美观性。

示例性的，本申请实施例提供的3D白模的纹理贴图生成方法可以应用于图1所示的场景示意图中。图1为本申请实施例提供的3D白模的纹理贴图生成方法的场景示意图。如图1所示，该场景中包括3D白模以及均匀围绕在3D白模周围的多个虚拟相机(例如图1中的虚拟相机1至虚拟相机16)，不同虚拟相机用于在不同视角下采集3D模型的目标图像以及目标图像对应的mask图。该3D模型可以为3D白模，也可以为贴有部分纹理贴图的3D白模。该目标图像包括贴图部分和深度区域(若采集的是3D白模的目标图像，则该目标图像只有深度区域)，贴图区域用于说明该视角下3D模型中已贴图部分的纹理，深度区域用于说明该视角下3D模型中未贴图部分与该虚拟相机的距离。目标图像对应的mask图用于说明目标图像中的深度区域。

在本实施例中，3D白模的几何中心设置在3D坐标系原点，虚拟相机共分为三组，分别为地平面组、上视角组和下视角组。接下来分别对三组虚拟相机的位置进行展开说明。

地平面组(虚拟相机1至虚拟相机8)

在面向3D白模正面的方向设置虚拟相机1，以3D坐标系原点为圆心沿顺时针方向移动45度后设置虚拟相机2，再移动45度后虚拟相机3，依次类推直到设置好虚拟相机8。其中，虚拟相机1至虚拟相机8距离3D坐标系原点的距离均为3r，r为3D白模外接球形的半径。

上视角组(虚拟相机9至虚拟相机12)

计算虚拟相机1在地面高度为3r的平面上的投影点，在该投影点设置虚拟相机9；计算虚拟相机3在地面高度为3r的平面上的投影点，在该投影点设置虚拟相机10；计算虚拟相机5在地面高度为3r的平面上的投影点，在该投影点设置虚拟相机11；计算虚拟相机7在地面高度为3r的平面上的投影点，在该投影点设置虚拟相机12。

下视角组(虚拟相机13至虚拟相机16)

与上视角组类似，计算虚拟相机1在地下高度为3r的平面上的投影点，在该投影点设置虚拟相机13；计算虚拟相机3在地下高度为3r的平面上的投影点，在该投影点设置虚拟相机14；计算虚拟相机5在地下高度为3r的平面上的投影点，在该投影点设置虚拟相机15；计算虚拟相机7在地下高度为3r的平面上的投影点，在该投影点设置虚拟相机16。

应理解，上述虚拟相机1至虚拟相机16的相机方向均面向3D坐标系原点，且虚拟相机1至虚拟相机16的总拍摄范围能够覆盖整个3D白模。

在上述场景中，通过起始虚拟相机对3D白模进行拍摄，根据拍摄得到的深度图以及该深度图对应的mask图，生成对应的2D纹理贴图，并将该2D纹理贴图映射回3D白模，从而获取起始虚拟相机对应的3D模型。之后，按照一定拍摄顺序，依次使用虚拟相机拍摄上一虚拟相机对应的3D模型，根据拍摄得到的目标图像以及该目标图像对应的mask图，生成对应的2D纹理贴图，并将该2D纹理贴图映射回3D白模，从而获取该虚拟相机对应的3D模型，直到获取拍摄顺序中最后一个虚拟相机对应的3D模型，或者，当前的3D模型没有未贴图区域，从而将最后获取的3D模型的3D纹理贴图，确定为3D白模的3D纹理贴图。

其中，起始虚拟相机可以为预先设定的虚拟相机，例如可以预先设定虚拟相机1为起始虚拟相机，还可以是从多个虚拟相机中随机选取的虚拟相机，可以根据实际情况进行确定，对此不进行具体限制。

应理解，本申请不对该场景下虚拟相机的数量和位置进行限定进行限制，图1所示的虚拟相机的数量和位置仅作为一种示例，在实际应用中可以根据实际情况进行确定。

下面，通过具体实施例对本申请的技术方案进行详细说明。

需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

图2为本申请实施例提供的3D白模的纹理贴图生成方法实施例一的流程示意图。如图2所示，该3D白模的纹理贴图生成方法可以包括如下步骤：

S21、通过多个虚拟相机中的第i个虚拟相机对目标3D模型进行拍摄，获取目标图像以及目标图像对应的第一mask图。

本申请实施例的执行主体为电子设备，该电子设备可以为终端设备，例如，手机、平板电脑、笔记本电脑等，还可以为服务器。在实际应用中，电子设备具体为终端设备还是服务器可以根据实际情况进行确定，本申请实施例对此不进行具体限制。

在本步骤中，上述多个虚拟相机围绕在3D白模周围，每个虚拟相机的相机方向均面向3D白模的几何中心，且所有虚拟相机的总拍摄范围能够覆盖整个3D白模。在生成3D白模的3D纹理贴图时，需要基于当前虚拟相机对上一虚拟相机对应的3D模型进行拍摄，以使根据拍摄得到的目标图像以及该目标图像对应的第一mask图生成对应的2D纹理贴图。

其中，目标3D模型为第i-1个虚拟相机对应的3D模型，该目标3D模型在第i个虚拟相机的目标拍摄范围内存在已贴图区域，i为大于或等于2的正整数。

应理解，目标3D模型在第i个虚拟相机的目标拍摄范围内存在的已贴图区域，即为第i个虚拟相机和第i-1个虚拟相机重合的拍摄范围。

在本实施例中，生成不同虚拟相机的2D纹理贴图的顺序可以是预先设定的，还可以是在处理过程中确定的。

在一种可能的实现方式中，参照图1所示实施例，在地平面组中，确定虚拟相机1为第1个虚拟相机，之后沿顺时针方向查找并确定下一相邻的虚拟相机为下一虚拟相机(即将虚拟相机2确定为第2个虚拟相机)，直到查找并确定出第8个虚拟相机。之后，在上视角组中，将虚拟相机9作为虚拟相机8的下一虚拟相机(即第9个虚拟相机)，沿顺时针方向查找并确定下一相邻的虚拟相机为下一虚拟相机，直到查找并确定出虚拟相机12(即第12个虚拟相机)。最后，在下视角组中，将虚拟相机13作为虚拟相机12的下一虚拟相机(即第13个虚拟相机)，沿顺时针方向查找并确定下一相邻的虚拟相机为下一虚拟相机，直到查找并确定出虚拟相机16(即第16个虚拟相机)。

即，在上述实现方式中，该顺序即为虚拟相机1→虚拟相机2→虚拟相机3→虚拟相机4→虚拟相机5→虚拟相机6→虚拟相机7→虚拟相机8→虚拟相机9→虚拟相机10→虚拟相机11→虚拟相机12→虚拟相机13→虚拟相机14→虚拟相机15→虚拟相机16。

在另一种可能的实现方式中，可以从所有虚拟相机中确定出第1个虚拟相机，该第1个虚拟相机可以是预先设定的，也可以是随机选取的。进一步的，在生成第1个虚拟相机对应的3D模型后，确定第1个虚拟相机对应的3D模型在剩下的哪个虚拟相机的拍摄范围内存在已贴图区域，则将该虚拟相机确定为下一虚拟相机(第2个虚拟相机)。相应的，在生成第2个虚拟相机对应的3D模型后，确定第2个虚拟相机对应的3D模型在剩下的哪个虚拟相机的拍摄范围内存在已贴图区域，则将该虚拟相机确定为下一虚拟相机(第3个虚拟相机)，依次类推。

应理解，若第1个虚拟相机对应的3D模型在剩下的多个虚拟相机的拍摄范围内存在已贴图区域，可以将该剩下的多个虚拟相机中的任一个确定为下一虚拟相机(即第2个虚拟相机)，还可以将该剩下的多个虚拟相机中存在已贴图区域面积最大的虚拟相机确定为下一虚拟相机(即第2个虚拟相机)。

通过上述方式确定的顺序，能够保证从第2个虚拟相机起，每个虚拟相机对应的目标图像中均存在贴图区域，以使后续基于该贴图区域的旧纹理生成新纹理，避免了盲目确定生成2D纹理贴图的顺序导致的接缝问题。

其中，目标图像用于表示目标3D模型在目标拍摄范围内的未贴图位置与第i个虚拟相机之间的距离以及已贴图位置的纹理。也就是说，目标图像包括深度区域以及贴图区域，深度区域中像素点的像素值用于表示该像素与该像素在目标3D模型中对应位置之间的距离，贴图区域中像素点的像素值用于该像素在目标3D模型中对应位置的纹理。

其中，第一mask图用于表示目标图像中的目标3D模型的未贴图区域。也就是说，第一mask图用于表示目标图像中哪个区域为深度区域，哪个区域为贴图区域。

示例性的，目标图像中的目标3D模型的未贴图区域在第一mask图中对应的像素值相同，目标图像中的目标3D模型的已贴图区域在第一mask图中对应的像素值相同，且未贴图区域对应的像素值和未贴图区域对应的像素值不相同。

S22、将目标3D模型对应的3D白模的描述信息、第i个虚拟相机的位姿、目标图像以及第一mask图，输入图像生成模型，获取图像生成模型输出的第i个虚拟相机对应的2D纹理贴图。

在本步骤中，3D白模的描述信息与3D白模的纹理相关，例如，3D白模的描述信息包括3D白模的物体名称，还包括材质信息和/或颜色信息。图像生成模型为具有文生图能力的模型，用于根据3D白模的描述信息、第i个虚拟相机的位姿、目标图像以及第一mask图生成第i个虚拟相机对应的2D纹理贴图。图像生成模型在获取3D白模的描述信息、第i个虚拟相机的位姿、目标图像以及第一mask图之后，根据第一mask图确定目标图像的深度区域和贴图区域，基于第i个虚拟相机的位姿、3D白模的描述信息以及目标图像的贴图区域，结合目标图像的贴图区域所示纹理，补充生成深度区域对应的纹理，能够保证新生成的纹理与目标3D模型中已存在的纹理保持一致，从而输出第i个虚拟相机对应的2D纹理贴图。

可选的，该图像生成模型可以是现有存在的模型，也可以是经过预先训练得到的模型。示例性的，该图像生成模型可以为SD，还可以为经过预先训练的生成对抗结构(Generative Adversarial Networks，GAN)，还可以为其他具有文生图能力的模型，对此不进行具体限制。

与其他模型相比，SD能够生成真实性更强的2D纹理贴图，且不需要进行预先训练。

S23、将第i个虚拟相机对应的2D纹理贴图映射回目标3D模型，获取第i个虚拟相机对应的3D模型。

在本步骤中，在生成第i个虚拟相机对应的2D纹理贴图后，需要将第i个虚拟相机对应的2D纹理贴图融合至目标3D模型中，以实现将第1个虚拟相机对应的2D纹理贴图至第i个虚拟相机对应的2D纹理贴图进行依次融合的目的。

在一种可能的实现方式中，确定该2D纹理贴图中每一像素点在目标3D模型中对应的位置，将该像素点对应的纹理映射回该目标3D模型中对应的位置，从而获取第i个虚拟相机对应的3D模型。

应理解，确定2D纹理贴图中每一像素点在目标3D模型中对应的位置，可以通过现有存在的方式实现，对此不进行具体限制。

在另一种可能的实现方式中，S23还可以通过以下步骤(231)至步骤(232)实现：

步骤(231)、根据第一mask图，确定第i个虚拟相机对应的2D纹理贴图的目标区域。

其中，目标区域为2D纹理贴图中目标3D模型的未贴图区域。

步骤(232)、将2D纹理贴图中处于目标区域内的纹理，映射回目标3D模型，获取第i个虚拟相机对应的3D模型。

在步骤(232)中，针对2D纹理贴图的目标区域中的每一像素点，确定像素点在目标3D模型中对应的目标位置。之后，将2D纹理贴图中像素点对应的纹理，映射回目标3D模型中的目标位置，从而获取第i个虚拟相机对应的3D模型。

在该方式中，只需要更新目标3D模型在第i个虚拟相机的目标拍摄范围内的未贴图区域即可，无需更新已贴图区域，有效的提高了映射处理的效率。

S24、若第i个虚拟相机对应的3D模型不存在未贴图区域，则将第i个虚拟相机对应的3D模型的3D纹理贴图，确定为3D白模的3D纹理贴图。

在本实施例中，在获取第i个虚拟相机对应的3D模型后，需要判断该第i个虚拟相机对应的3D模型是否还需要继续贴图。若还需要继续贴图，则再次执行S21至S23，生成第i+1个虚拟相机对应的3D模型；若不需要继续贴图，则将第i个虚拟相机对应的3D模型的3D纹理贴图，确定为3D白模的3D纹理贴图。

其中，判断第i个虚拟相机对应的3D模型是否还需要继续贴图，可以通过判断第i个虚拟相机对应的3D模型是否存在未贴图区域实现，即若第i个虚拟相机对应的3D模型不存在未贴图区域，则确定第i个虚拟相机对应的3D模型不需要继续贴图，反之则确定第i个虚拟相机对应的3D模型需要继续贴图。还可以通过判断第i个虚拟相机是否为最后一个虚拟相机实现，即若第i个虚拟相机为最后一个虚拟相机，则确定第i个虚拟相机对应的3D模型不需要继续贴图，反之则确定第i个虚拟相机对应的3D模型需要继续贴图。

本申请实施例提供的3D白模的纹理贴图生成方法，通过多个虚拟相机中的第i个虚拟相机对目标3D模型进行拍摄，获取目标图像以及目标图像对应的第一mask图，将目标3D模型对应的3D白模的描述信息、第i个虚拟相机的位姿、目标图像以及第一mask图，输入图像生成模型，获取图像生成模型输出的第i个虚拟相机对应的2D纹理贴图。之后，将第i个虚拟相机对应的2D纹理贴图映射回目标3D模型，获取第i个虚拟相机对应的3D模型。若第i个虚拟相机对应的3D模型不存在未贴图区域，则将第i个虚拟相机对应的3D模型的3D纹理贴图，确定为3D白模的3D纹理贴图。其中，目标3D模型为第i-1个虚拟相机对应的3D模型，目标3D模型在第i个虚拟相机的目标拍摄范围内存在已贴图区域，目标图像用于表示目标3D模型在目标拍摄范围内的未贴图位置与第i个虚拟相机之间的距离以及已贴图位置的纹理，第一mask图用于表示目标图像中的目标3D模型的未贴图区域，i为大于或等于2的正整数。本技术方案巧妙地将3D问题转化为2D问题，通过获取3D白模的多视角下的目标图像替代现有技术中的深度图，以使后续图像生成模型可以基于目标图像中已有的纹理补充生成新的纹理，从而保证新纹理和旧纹理之间没有接缝，有效的提高了3D纹理贴图的真实度和美观性。

应理解，上述实施例为从第2个虚拟相机起至最后一个虚拟相机止，生成每个虚拟相机对应的2D纹理贴图，并将该2D纹理贴图映射回上一虚拟相机对应的3D模型，从而生成该虚拟相机对应的3D模型的过程。接下来，对生成第1个模型对应的2D纹理贴图，并将该2D纹理贴图映射回3D白模，从而获取第1个模型对应的3D模型的过程进行解释说明。

图3为本申请实施例提供的3D白模的纹理贴图生成方法实施例二的流程示意图。如图3所示，在通过多个虚拟相机中的第i个虚拟相机对目标3D模型进行拍摄，获取目标图像以及目标图像对应的第一mask图之前，该3D白模的纹理贴图生成方法还可以包括如下步骤：

S31、通过多个虚拟相机中的第1个虚拟相机对3D白模进行拍摄，获取深度图以及深度图对应的第二mask图。

在本步骤中，第1个虚拟相机为预先设定的，或，从多个虚拟相机中随机选取的，第二mask图用于指示深度图中对应的3D白模未贴图。

示例性的，参照图1所示场景，第1个虚拟相机可以为虚拟相机1。

应理解，深度图中各像素点的像素值用于指示该像素点与该像素点在3D白模中对应的位置之间的距离。

S32、将3D白模的描述信息、第1个虚拟相机的位姿、深度图以及第二mask图，输入图像生成模型，获取图像生成模型输出的第1个虚拟相机对应的2D纹理贴图。

应理解，本步骤的实现方式和原理可以参照S22中所示的内容，此处不在赘述。

S33、将第1个虚拟相机对应的2D纹理贴图映射回3D白模，获取第1个虚拟相机对应的3D模型。

在本步骤中，确定第1个虚拟相机对应的2D纹理贴图中每一像素点在3D白模中对应的位置，之后将该像素点对应的纹理映射回该3D白模中对应的位置，从而获取1个虚拟相机对应的3D模型。

在本实施例中，通过第1个虚拟相机对3D白模进行拍摄，获取深度图以及深度图对应的第二mask图，并将3D白模的描述信息、第1个虚拟相机的位姿、深度图以及第二mask图，输入图像生成模型，获取图像生成模型输出的第1个虚拟相机对应的2D纹理贴图，以使后续将第1个虚拟相机对应的2D纹理贴图映射回3D白模，获取第1个虚拟相机对应的3D模型，以使后续在第1个虚拟相机对应的3D模型的基础上，继续融合其他虚拟相机对应的2D纹理贴图。

基于上述任一实施例所示的3D白模的纹理贴图生成方法，接下来通过一个具体的示例对其进行解释说明。

在该实例中，该3D白模的纹理贴图生成方法可以通过以下步骤实现：

步骤1、将3D白模的几何中心点移动至3D坐标系原点，并围绕3D白模设置16个虚拟。

应理解，设置后的虚拟相机的位置可以参照图1所示场景，此处不再赘述。

步骤2、使用第1个虚拟相机为3D白模拍摄深度图以及该深度图对应的mask图。

其中，该深度图中的像素值为该处物体(3D白模)表面与第1个虚拟相机之间的距离。

步骤3、使用深度图、深度图对应的mask图、3D白模的描述信息以及第1个虚拟相机的位姿作为图像生成模型的输入，获取图像生成模型输出的第1个虚拟相机对应的2D纹理贴图。

步骤4、将第1个虚拟相机对应的2D纹理贴图映射回3D白模，获取第1个虚拟相机对应的3D模型。

步骤5、使用第i个虚拟相机为目标3D模型拍摄目标图像以及该目标图像对应的mask图。

其中，该目标图像为部分深度部分贴图的图像，目标3D模型为第i-1个虚拟相机对应的3D模型，i为大于或等于2的正整数。

步骤6、使用目标图像、目标图像对应的mask图、3D白模的描述信息以及第i个虚拟相机的位姿作为图像生成模型的输入，获取图像生成模型输出的第i个虚拟相机对应的2D纹理贴图。

步骤7、将第i个虚拟相机对应的2D纹理贴图映射回3D白模，获取第i个虚拟相机对应的3D模型。

步骤8、在i等于16时，将第16个虚拟相机对应的3D模型的3D纹理贴图，确定为3D白模的3D纹理贴图。

示例性的，图4为本申请实施例提供的2D纹理贴图和3D纹理贴图的示意图。如图4所示，该3D纹理贴图为在图1所示场景的基础上生成的3D纹理贴图，2D纹理贴图1、2D纹理贴图2、2D纹理贴图3、2D纹理贴图4分别为不同视角下的虚拟相机对应的2D纹理贴图。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图5为本申请实施例提供的3D白模的纹理贴图生成装置的结构示意图。如图5所示，该3D白模的纹理贴图生成装置50包括：

拍摄模块51，用于通过多个虚拟相机中的第i个虚拟相机对目标3D模型进行拍摄，获取目标图像以及目标图像对应的第一mask图，目标3D模型为第i-1个虚拟相机对应的3D模型，目标3D模型在第i个虚拟相机的目标拍摄范围内存在已贴图区域，目标图像用于表示目标3D模型在目标拍摄范围内的未贴图位置与第i个虚拟相机之间的距离以及已贴图位置的纹理，第一mask图用于表示目标图像中的目标3D模型的未贴图区域，i为大于或等于2的正整数。

输入模块52，用于将目标3D模型对应的3D白模的描述信息、第i个虚拟相机的位姿、目标图像以及第一mask图，输入图像生成模型，获取图像生成模型输出的第i个虚拟相机对应的2D纹理贴图。

映射模块53，用于将第i个虚拟相机对应的2D纹理贴图映射回目标3D模型，获取第i个虚拟相机对应的3D模型。

确定模块54，用于若第i个虚拟相机对应的3D模型不存在未贴图区域，则将第i个虚拟相机对应的3D模型的3D纹理贴图，确定为3D白模的3D纹理贴图。

在一种可能的实现方式中，映射模块53，具体用于：

根据第一mask图，确定第i个虚拟相机对应的2D纹理贴图的目标区域，目标区域为2D纹理贴图中目标3D模型的未贴图区域。

将2D纹理贴图中处于目标区域内的纹理，映射回目标3D模型，获取第i个虚拟相机对应的3D模型。

在一种可能的实现方式中，映射模块53，具体用于：

针对2D纹理贴图的目标区域中的每一像素点，确定像素点在目标3D模型中对应的目标位置。

将2D纹理贴图中像素点对应的纹理，映射回目标3D模型中的目标位置，获取第i个虚拟相机对应的3D模型。

在一种可能的实现方式中，在通过多个虚拟相机中的第i个虚拟相机对目标3D模型进行拍摄，获取目标图像以及目标图像对应的第一mask图之前，拍摄模块51还用于通过多个虚拟相机中的第1个虚拟相机对3D白模进行拍摄，获取深度图以及深度图对应的第二mask图，第二mask图用于指示深度图中对应的3D白模未贴图。

输入模块52，还用于将3D白模的描述信息、第1个虚拟相机的位姿、深度图以及第二mask图，输入图像生成模型，获取图像生成模型输出的第1个虚拟相机对应的2D纹理贴图。

映射模块53，还用于将第1个虚拟相机对应的2D纹理贴图映射回3D白模，获取第1个虚拟相机对应的3D模型。

在一种可能的实现方式中，第1个虚拟相机为预先设定的，或，从多个虚拟相机中随机选取的。

在一种可能的实现方式中，3D白模的描述信息包括3D白模的物体名称。

在一种可能的实现方式中，3D白模的描述信息还包括材质信息和/或颜色信息。

图6为本申请实施例提供的一种电子设备的结构示意图。如图6所示，本实施例的电子设备可以包括：

至少一个处理器61；以及

与所述至少一个处理器通信连接的存储器62；

其中，所述存储器62存储有可被所述至少一个处理器61执行的指令，所述指令被所述至少一个处理器61执行，以使所述电子设备执行如上述任一实施例所述的方法。

可选地，存储器62既可以是独立的，也可以跟处理器61集成在一起。

本实施例提供的电子设备的实现原理和技术效果可以参见前述各实施例，此处不再赘述。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现前述任一实施例所述的方法。

本申请实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现前述任一实施例所述的方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例所述方法的部分步骤。

应理解，上述处理器可以是处理单元(Central Processing Unit，简称CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种3D白模的纹理贴图生成方法，其特征在于，包括：

通过多个虚拟相机中的第i个虚拟相机对目标3D模型进行拍摄，获取目标图像以及所述目标图像对应的第一mask图，所述目标3D模型为第i-1个虚拟相机对应的3D模型，所述目标3D模型在所述第i个虚拟相机的目标拍摄范围内存在已贴图区域，所述目标图像用于表示所述目标3D模型在所述目标拍摄范围内的未贴图位置与所述第i个虚拟相机之间的距离以及已贴图位置的纹理，所述第一mask图用于表示所述目标图像中的所述目标3D模型的未贴图区域，所述i为大于或等于2的正整数；

将所述目标3D模型对应的3D白模的描述信息、所述第i个虚拟相机的位姿、所述目标图像以及所述第一mask图，输入图像生成模型，获取所述图像生成模型输出的所述第i个虚拟相机对应的2D纹理贴图；

将所述第i个虚拟相机对应的2D纹理贴图映射回所述目标3D模型，获取所述第i个虚拟相机对应的3D模型；

若所述第i个虚拟相机对应的3D模型不存在未贴图区域，则将所述第i个虚拟相机对应的3D模型的3D纹理贴图，确定为所述3D白模的3D纹理贴图。

2.根据权利要求1所述的方法，其特征在于，所述将所述第i个虚拟相机对应的2D纹理贴图映射回所述目标3D模型，获取所述第i个虚拟相机对应的3D模型，包括：

根据所述第一mask图，确定所述第i个虚拟相机对应的2D纹理贴图的目标区域，所述目标区域为所述2D纹理贴图中所述目标3D模型的未贴图区域；

将所述2D纹理贴图中处于所述目标区域内的纹理，映射回所述目标3D模型，获取所述第i个虚拟相机对应的3D模型。

3.根据权利要求2所述的方法，其特征在于，所述将所述2D纹理贴图中处于所述目标区域内的纹理，映射回所述目标3D模型，获取所述第i个虚拟相机对应的3D模型，包括：

针对所述2D纹理贴图的所述目标区域中的每一像素点，确定所述像素点在所述目标3D模型中对应的目标位置；

将所述2D纹理贴图中所述像素点对应的纹理，映射回所述目标3D模型中的所述目标位置，获取所述第i个虚拟相机对应的3D模型。

4.根据权利要求1至3任一项所述的方法，其特征在于，在所述通过多个虚拟相机中的第i个虚拟相机对目标3D模型进行拍摄，获取目标图像以及所述目标图像对应的第一mask图之前，所述方法还包括：

通过所述多个虚拟相机中的第1个虚拟相机对所述3D白模进行拍摄，获取深度图以及所述深度图对应的第二mask图，所述第二mask图用于指示所述深度图中对应的3D白模未贴图；

将所述3D白模的描述信息、所述第1个虚拟相机的位姿、所述深度图以及所述第二mask图，输入所述图像生成模型，获取所述图像生成模型输出的所述第1个虚拟相机对应的2D纹理贴图；

将所述第1个虚拟相机对应的2D纹理贴图映射回所述3D白模，获取所述第1个虚拟相机对应的3D模型。

5.根据权利要求4所述的方法，其特征在于，所述第1个虚拟相机为预先设定的，或，从所述多个虚拟相机中随机选取的。

6.根据权利要求1至3任一项所述的方法，其特征在于，所述3D白模的描述信息包括所述3D白模的物体名称。

7.根据权利要求6所述的方法，其特征在于，所述3D白模的描述信息还包括材质信息和/或颜色信息。

8.一种3D白模的纹理贴图生成装置，其特征在于，包括：

拍摄模块，用于通过多个虚拟相机中的第i个虚拟相机对目标3D模型进行拍摄，获取目标图像以及所述目标图像对应的第一mask图，所述目标3D模型为第i-1个虚拟相机对应的3D模型，所述目标3D模型在所述第i个虚拟相机的目标拍摄范围内存在已贴图区域，所述目标图像用于表示所述目标3D模型在所述目标拍摄范围内的未贴图位置与所述第i个虚拟相机之间的距离以及已贴图位置的纹理，所述第一mask图用于表示所述目标图像中的所述目标3D模型的未贴图区域，所述i为大于或等于2的正整数；

输入模块，用于将所述目标3D模型对应的3D白模的描述信息、所述第i个虚拟相机的位姿、所述目标图像以及所述第一mask图，输入图像生成模型，获取所述图像生成模型输出的所述第i个虚拟相机对应的2D纹理贴图；

映射模块，用于将所述第i个虚拟相机对应的2D纹理贴图映射回所述目标3D模型，获取所述第i个虚拟相机对应的3D模型；

确定模块，用于若所述第i个虚拟相机对应的3D模型不存在未贴图区域，则将所述第i个虚拟相机对应的3D模型的3D纹理贴图，确定为所述3D白模的3D纹理贴图。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述电子设备执行权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-7任一项所述的方法。