CN116385705B - 用于对三维数据进行纹理融合的方法、设备和存储介质 - Google Patents

Abstract

本申请公开了一种用于对三维数据进行纹理融合的方法、设备和存储介质。所述方法包括：采集原始三维数据在多个角度下的三维信息和对应的纹理信息；将所述原始三维数据参数化至平面域并且获得参数化信息；基于每个所述角度下的三维信息、对应的所述纹理信息和所述参数化信息，将所述原始三维数据在所述多个角度下的纹理信息平摊至所述平面域内；以及在所述平面域内对所述多个角度下的纹理信息进行纹理融合，以实现对三维数据进行纹理融合。利用本申请的方案，可以获得完整、均匀的纹理贴图数据，避免纹理贴图不均、纹理模糊和纹理分片过多而导致纹理数据过大的问题。

Description

用于对三维数据进行纹理融合的方法、设备和存储介质

技术领域

本申请一般涉及图像处理技术领域。更具体地，本申请涉及一种用于对三维数据进行纹理融合的方法、设备和计算机可读存储介质。

背景技术

三维数字化可以记录真实世界中实体（例如文物）的原始三维数据的三维信息、纹理信息、表面光照特性等，从而可以实现三维展示，虚拟现实等需求。

现有的三维数字化一般步骤主要包括：三维点云采集与重构、纹理采集与融合、压缩存储、计算机渲染等基本步骤。其中，经由前述三维曲面重构后，生成多个顶点连接而成的三角网格。接着，对三角网格上的三角形进行分片，以对每个三角形分片进行纹理贴图，进而将分片纹理进行融合，最终生成一张纹理贴图数据。然而，由于光照、拍摄、距离等条件的不同，现有的纹理分片无法保持纹理的均匀性、并且会造成纹理模糊。此外，通过分片方式会造成纹理分片过多，从而导致纹理数据过大。

有鉴于此，亟需提供一种用于对三维数据进行纹理融合的方案，以便获得完整、均匀的纹理贴图数据，避免纹理贴图不均、纹理模糊和纹理分片过多而导致纹理数据过大的问题。

发明内容

为了至少解决如上所提到的一个或多个技术问题，本申请在多个方面中提出了用于对三维数据进行纹理融合方案。

在第一方面中，本申请提供一种用于对三维数据进行纹理融合的方法，包括：采集原始三维数据在多个角度下的三维信息和对应的纹理信息；将所述原始三维数据参数化至平面域并且获得参数化信息；基于每个所述角度下的三维信息、对应的所述纹理信息和所述参数化信息，将所述原始三维数据在所述多个角度下的纹理信息平摊至所述平面域内；以及在所述平面域内对所述多个角度下的纹理信息进行纹理融合，以实现对三维数据进行纹理融合。

在一个实施例中，其中基于每个所述角度下的三维信息、对应的所述纹理信息和所述参数化信息，将所述原始三维数据在所述多个角度下的纹理信息平摊至所述平面域内包括：基于每个所述角度下的三维信息和所述参数化信息确定所述原始三维数据各角度参数化至所述平面域内对应的参数点；以及将所述参数点在所述原始三维数据上对应的纹理信息复制到所述参数点处，以将所述原始三维数据在所述多个角度下的纹理信息平摊至所述平面域内。

在另一个实施例中，其中在所述平面域内对所述多个角度下的纹理信息进行纹理融合，以实现对三维数据进行纹理融合包括：从所述多个角度下的纹理信息中选择一个角度的纹理信息作为参考信息；将其余角度下的纹理信息均与所述参考信息进行配准，以获得目标配准函数；以及根据所述目标配准函数在所述平面域内对所述多个角度下的纹理信息进行纹理融合，以实现对三维数据进行纹理融合。

在又一个实施例中，其中将其余角度下的纹理信息均与所述参考信息进行配准，以获得目标配准函数包括：将其余角度下的纹理信息均与所述参考信息进行初始配准，获得初始配准函数；根据所述初始配准函数计算初始贝尔特拉米系数；以及基于所述初始贝尔特拉米系数和所述初始配准函数获得所述目标配准函数。

在又一个实施例中，其中基于所述初始贝尔特拉米系数和所述初始配准函数获得所述目标配准函数包括：对所述初始贝尔特拉米系数进行修正，以使得所述目标配准函数满足微分同胚；根据修正后的贝尔特拉米系数重构所述初始配准函数；以及基于重构后的配准函数和所述初始配准函数确定所述目标配准函数。

在又一个实施例中，其中基于重构后的配准函数和所述初始配准函数确定所述目标配准函数包括：响应于所述重构后的配准函数与所述初始配准函数之间差值绝对值的最大值满足预设阈值，将所述重构后的配准函数作为所述目标配准函数。

在又一个实施例中，所述方法还包括：对所述重构后的配准函数进行滤波，以获得滤波后的配准函数；计算所述滤波后的配准函数与所述初始配准函数之间差值绝对值的最大值；以及响应于所述滤波后的配准函数与所述初始配准函数之间差值绝对值的最大值满足预设阈值，将所述滤波后的配准函数作为所述目标配准函数。

在又一个实施例中，所述方法还包括：响应于进行纹理融合后的三维数据存在外层边界，对进行纹理融合后的三维数据执行填充操作，以获得最终纹理融合后的三维数据。

在第二方面中，本申请提供一种用于对三维数据进行纹理融合的设备，包括：处理器；以及存储器，其存储有用于对三维数据进行纹理融合的程序指令，当所述程序指令由所述处理器执行时，使得所述设备实现前述第一方面中的多个实施例。

在第三方面中，本申请提供一种计算机可读存储介质，其上存储有用于对三维数据进行纹理融合的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现前述第一方面中的多个实施例。

通过如上所提供的用于对三维数据进行纹理融合的方案，本申请实施例通过将原始三维数据参数化至平面域，并将原始三维数据在多个角度下的纹理信息平摊至平面域内，以在平面域内对多个角度下的纹理信息进行纹理融合。基于此，本申请实施例通过将原始三维数据在多个角度下的纹理信息平摊至一个平面域内形成单片纹理，在该单片纹理上进行纹理融合，而无需进行纹理分片，避免了纹理贴图不均、纹理模糊和纹理分片过多而导致纹理数据过大的问题。进一步地，本申请实施例通过构建满足微分同胚的目标配准函数，根据目标配准函数在平面域内对多个角度下的纹理信息进行纹理融合，消除了纹理融合过程中的模糊和重影等异常现象。此外，本申请实施例还通过填充操作消除纹理融合后的三维数据存在外层边界，从而极大地提高了纹理融合的质量。

附图说明

通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：

图1是示出现有的三维数字化操作的示例性流程框图；

图2是示出现有的对三维数据进行纹理融合的融合结果的示例性示意图；

图3是示出根据本申请实施例的用于对三维数据进行纹理融合的方法的示例性流程框图；

图4是示出根据本申请实施例的采集原始三维数据的示例性示意图；

图5是示出根据本申请实施例的将原始三维数据参数化至平面域的示例性示意图；

图6是示出根据本申请实施例的多个角度下的纹理信息平摊至该平面域内的示例性示意图；

图7是示出根据本申请实施例的计算初始Beltrami系数的示例性示意图；

图8是示出根据本申请实施例的获得目标配准函数的整体的示例性流程框图；

图9是示出根据本申请实施例的存在外层边界和消除外层边界的示例性示意图；

图10是示出根据本申请实施例的最终纹理融合后的三维数据的示例性示意图；以及

图11是示出根据本申请实施例的用于对三维数据进行纹理融合的设备的示例性结构框图。

具体实施方式

下面将结合附图对本申请实施例中的技术方案进行清楚和完整地描述。应当理解的是本说明书所描述的实施例仅是本申请为了便于对方案的清晰理解和符合法律的要求而提供的部分实施例，而并非可以实现本申请的所有实施例。基于本说明书公开的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1是示出现有的三维数字化操作的示例性流程框图。如图1中所示，现有的三维数字化操作包括步骤101、步骤102、步骤103以及步骤104示出的三维点云采集和彩色纹理图片采集、三维曲面重构、纹理融合以及后期的压缩、存储和渲染等操作，从而生成纹理贴图数据。其中，经由前述三维曲面重构后，生成多个顶点连接而成的三角网格。接着，对三角网格上的三角形进行分片，以对每个三角形分片进行纹理贴图，进而将分片纹理进行融合，最终生成一张纹理贴图数据。然而，如上述背景技术的内容可知，由于光照、拍摄、距离等条件的不同，现有的纹理分片无法保持纹理的均匀性、并且会造成纹理模糊。此外，通过分片方式会造成纹理分片过多，从而导致纹理数据过大，例如图2所示。

图2是示出现有的对三维数据进行纹理融合的融合结果的示例性示意图。如图2中的（a）图、（b）图、（c）图依次示出经由现有的对三维数据进行纹理融合获得的纹理贴图不均匀、纹理模糊、纹理分片过多（如图2的（c）图中示例性示出的多个小三角形）的示意图。此外，纹理分片过多会导致纹理数据过大，通常纹理数据大小超过100Mb。基于此，本申请实施例提供一种用于对三维数据进行纹理融合的方案，通过将各个角度下的纹理信息平摊至一个平面域内形成单片纹理，在该单片纹理上进行纹理融合，而无需进行纹理分片，避免了纹理贴图不均、纹理模糊和纹理分片过多而导致纹理数据过大的问题。

下面将结合图3-图11详细描述本申请的用于对三维数据进行纹理融合的多个实施例。

图3是示出根据本申请实施例的用于对三维数据进行纹理融合的方法300的示例性流程框图。如图3中所示，在步骤301处，采集原始三维数据在多个角度下的三维信息和对应的纹理信息。在一个实施例中，该原始三维数据为真实世界中采集的实体（例如文物）的三维数据。在实现场景中，可以从不同角度（例如图4所示的三个角度）采集原始三维数据的三维信息和对应的纹理信息。其中，前述三维信息包含原始三维数据中各个顶点的位置信息（或者坐标信息），前述纹理信息包含原始三维数据中各个顶点处的颜色信息。

基于前述采集的原始三维数据，在步骤302处，将原始三维数据参数化至平面域并且获得参数化信息。可以理解，参数化是指将原始三维数据映射至二维平面内，参数化信息至少包含原始三维数据中各个顶点映射至平面域内对应的位置信息（或者坐标信息）以及原始三维数据的各个顶点与平面域内的点之间的映射关系。在一个实现场景中，可以通过例如保面积参数化或者保角参数化将原始三维数据参数化至平面域并且获得参数化信息。

接着，在步骤303处，基于每个角度下的三维信息、对应的纹理信息和参数化信息，将原始三维数据在多个角度下的纹理信息平摊至平面域内。在一个实施例中，首先基于每个角度下的三维信息和参数化信息确定原始三维数据各角度参数化至平面域内对应的参数点，接着将参数点在原始三维数据上对应的纹理信息复制到参数点处，以将原始三维数据在多个角度下的纹理信息平摊至平面域内。也就是说，根据各个角度下原始三维数据上的顶点的三维信息和映射至平面域内的参数信息，可以确定各个角度下原始三维数据上的顶点映射至平面域内的像点（也即前述所称的参数点）。由于各个角度下原始三维数据上的顶点处的纹理信息与其映射至平面域内对应的像点的纹理信息一致，由此通过将各个角度下原始三维数据上的顶点处的纹理信息复制至平面域内对应的像点处，可以将原始三维数据在多个角度下的纹理信息平摊至平面域内。

在将原始三维数据在多个角度下的纹理信息平摊至平面域内后，在步骤304处，在平面域内对多个角度下的纹理信息进行纹理融合，以实现对三维数据进行纹理融合。在一个实现场景中，可以先对平摊至平面域内的多个角度下的纹理信息进行质量判断，以根据质量判断结果在平面域内对多个角度下的纹理信息进行纹理融合。具体地，可以通过判断平面域内的多个角度下公共区域的纹理信息的结构相似性，以对平摊至平面域内的多个角度下的纹理信息进行质量判断。在一些实施例中，判断平面域内的多个角度下公共区域的纹理信息的结构相似性可以包括但不仅限于判断平面域内的多个角度下公共区域的纹理信息的亮度是否一致和/或位置是否出现偏差。

更为具体地，当平面域内的多个角度下公共区域的纹理信息的位置出现偏差，而亮度一致时（即质量好），可以直接利用图像融合方法（例如平均值、熵值、标准偏差或者平均梯度等）将多个角度下的纹理信息进行纹理融合。当平面域内的多个角度下公共区域的纹理信息的位置出现偏差、亮度不一致时（即质量差），利用本申请实施例的方案在平面域内对多个角度下的纹理信息进行纹理融合，以实现对三维数据进行纹理融合。

在一个实施例中，首先从多个角度下的纹理信息中选择一个角度的纹理信息作为参考信息，将其余角度下的纹理信息均与参考信息进行配准，以获得目标配准函数，进而根据目标配准函数在平面域内对多个角度下的纹理信息进行纹理融合，以实现对三维数据进行纹理融合。需要理解的是，将其余角度下的纹理信息均与参考信息进行配准是指将其余角度下的纹理信息与参考信息在相同位置处存在偏差的位置进行对齐，而获得的目标配准函数包含相应的对齐规则（或者对齐操作）。优先地，可以选择平摊至平面域内的第一个角度下的纹理信息作为参考信息，即选择平面域内第一层的纹理信息作为参考信息。根据选定的参考信息，将其余角度下的纹理信息均与参考信息进行配准来确定目标配准函数。

在一个实施例中，将其余角度下的纹理信息均与参考信息进行初始配准，获得初始配准函数，以根据初始配准函数计算初始贝尔特拉米系数，进而基于初始贝尔特拉米系数和初始配准函数获得目标配准函数。在一个实现场景中，可以通过将其余角度下的纹理信息均与参考信息进行单位变换，以进行初始配准获得初始配准函数。作为示例，假设将参考信息记为，将其余角度下的纹理信息记为/>，初始匹配记为/>，可以获得初始配准函数=/>，其中/>表示参考信息的梯度。进一步地，可以根据初始配准函数计算初始贝尔特拉米（“Beltrami”）系数。在实现场景中，首先基于初始配准函数更新配准函数。在一个示例性场景中，可以通过以下公式来更新配准函数/>：

（1）

其中，表示权重，/>表示参考信息，/>表示其余角度下的纹理信息，/>表示常系数。在该场景下，通过将初始配准函数/>代入上述公式（1）中，可以获得更新后的配准函数，例如记为/>。接着，基于更新后的配准函数计算初始Beltrami系数。在一个实现场景中，可以通过对配准函数进行线性插值，以基于插值后的配准函数计算初始Beltrami系数。具体地，前述初始Beltrami系数/>可以表示成如下式子：

（2）

其中，，/>,/>且/>，/>、/>、/>表示参考信息中的三角形顶点的坐标信息，/>、/>、/>表示其他角度下三角形顶点的坐标信息，、/>、/>表示三角形的重心坐标（“barycentric”）系数，其通过三角形面积（“Area”）的比值表示。以barycentric系数/>为例，/>，/>表示重心。类似地，可以获得/>和/>。由此，前述/>已知，通过将/>代入上述公式（2），可以获得初始Beltrami系数。

进一步地，根据初始Beltrami系数和初始配准函数获得目标配准函数。在一个实施例中，首先对初始贝尔特拉米系数进行修正，以使得目标配准函数满足微分同胚，接着根据修正后的贝尔特拉米系数重构初始配准函数，进而基于重构后的配准函数和初始配准函数确定目标配准函数。可以理解，微分同胚是指目标配准函数满足一一映射（即同时满足单射和满射），并且目标配准函数是连续的、无穷可微的。在一个实现场景中，具体可以基于以下式子来对初始Beltrami系数进行修正，从而使得目标配准函数满足微分同胚：

（3）

其中表示修正后的Beltrami系数，/>表示修正前的Beltrami系数（例如初始Beltrami系数/>）。根据修正后的Beltrami系数，可以重构初始配准函数。在一个示例性场景中，假设修正后的Beltrami系数/>，基于上述公式（1）可以获得如下公式：

（4）

通过对该公式（4）进行整理，可以获得：

其中，，/>，/>，，将前述参数代入公式（5）和公式（6）中可以获得/>，由此可以重构初始配准函数，并获得重构后的配准函数/>。接着，基于重构后的配准函数和初始配准函数确定目标配准函数。

在一个实施例中，响应于重构后的配准函数与初始配准函数之间差值绝对值的最大值满足预设阈值，将重构后的配准函数作为目标配准函数。具体地，当重构后的配准函数与初始配准函数之间差值绝对值的最大值小于预设阈值时，将重构后的配准函数作为目标配准函数。作为示例，假设将初始配准函数记为，重构后的配准函数记为/>，预设阈值记为/>，重构后的配准函数/>与初始配准函数/>之间差值绝对值的最大值记为/>，则。当/>＜/>时，将重构后的配准函数/>作为目标配准函数。反之，当/>≥/>时，利用重构后的配准函数/>更新配准函数（即利用重构后的配准函数/>作为下一次迭代的初始配准函数），重复前述操作，包括基于更新后的配准函数计算Beltrami系数，修正Beltrami系数，重构配准函数，计算当前配准函数与前一个（或者上一次迭代的）配准函数之间差值绝对值的最大值/>，直至/>＜/>时停止，获得目标配准函数。

在一些实施例中，还可以通过对重构后的配准函数进行滤波，以获得滤波后的配准函数，计算滤波后的配准函数与初始配准函数之间差值绝对值的最大值，并且响应于滤波后的配准函数与初始配准函数之间差值绝对值的最大值满足预设阈值，将滤波后的配准函数作为目标配准函数。与上述未进行滤波类似，假设将初始配准函数记为，重构后的配准函数记为/>，滤波后的配准函数记为/>，预设阈值记为/>，滤波后的配准函数/>与初始配准函数/>之间差值绝对值的最大值记为/>，则/>。当/>＜/>时，将滤波后的配准函数作为目标配准函数。反之，当/>≥/>时，利用滤波后的配准函数/>更新配准函数（即利用滤波后的配准函数/>作为下一次迭代的初始配准函数），重复前述操作，包括基于更新后的配准函数计算Beltrami系数，修正Beltrami系数，重构配准函数、滤波，计算当前配准函数与前一个配准函数之间差值绝对值的最大值/>，直至/>＜/>时停止，获得目标配准函数。

在一个实现场景中，可以通过拉普拉斯对重构后的配准函数进行滤波，具体通过如下式子表示：

（7）

其中，表示滤波后的配准函数，/>表示重构后的配准函数，/>表示常系数。在一些实施例中，可以采用例如广义交叉验证取最优的/>，。即，通过将数据均匀分成5组，，其中/>是/>-组的位置。接着，保留第k组，利用其余组的数据计算的滤波函数Fk并对第k组进行滤波，最终求该滤波结果与数据的误差，以获得最优的/>。将该最优的/>代入上述公式（7）中可以获得滤波后的配准函数，通过前述操作可以获得目标配准函数。在获得目标配准函数后，基于该目标配准函数将其余角度下的纹理信息与参考信息进行对齐，以实现对三维数据进行纹理融合。

结合上述描述可知，本申请实施例通过将原始三维数据参数化至平面域，并将原始三维数据在多个角度下的纹理信息平摊至一个平面域内形成单片纹理，从而在该单片纹理上进行纹理融合。相较于现有的纹理融合方法，本申请实施例无需进行纹理分片，避免了纹理贴图不均、纹理模糊和纹理分片过多而导致纹理数据过大的问题。进一步地，本申请实施例通过构建满足微分同胚的目标配准函数，根据目标配准函数在平面域内对多个角度下的纹理信息进行纹理融合，以消除纹理融合过程中的模糊和重影等异常现象，提高了纹理融合的质量。

图4是示出根据本申请实施例的采集原始三维数据的示例性示意图。如图4中示例性示出从三个角度采集原始三维数据，其中（a）图示出从正面采集的原始三维数据，（b）图和（c）图是分别对应从左侧、右侧采集的原始三维数据。通过从多个角度采集原始三维数据，可以获得原始三维数据在多个角度下的三维信息和对应的纹理信息。根据前文可知，三维信息包含原始三维数据中各个顶点的位置信息（或者坐标信息），前述纹理信息包含原始三维数据中各个顶点处的颜色信息。

图5是示出根据本申请实施例的将原始三维数据参数化至平面域的示例性示意图。如图5中的（a）图所示为真实世界中采集的实体的原始三维数据，在对该原始三维数据进行参数化时，首先通过利用例如图割算法将其切割为单连通开曲面，接着利用例如保面积参数化或者保角参数化将原始三维数据参数化（映射）至平面域，例如图5中的（b）图所示。进一步地，根据各个角度下原始三维数据上的顶点的三维信息和映射至平面域内的参数信息，可以确定各个角度下原始三维数据上的顶点映射至平面域内的像点（或者说参数点），将各个角度下原始三维数据上的顶点处的纹理信息复制至平面域内对应的像点处，可以将原始三维数据在多个角度下的纹理信息平摊至该平面域内，例如图6所示。

图6是示出根据本申请实施例的多个角度下的纹理信息平摊至该平面域内的示例性示意图。如图6中所示从角度1至角度N的纹理信息平摊至平面域内的示意图。需要理解的是，图6是为了便于理解而将每个角度的纹理信息平摊至平面域内的效果进行分层示出，每一层对应每个角度的纹理信息平摊至平面域内的效果。在将原始三维数据在多个角度下的纹理信息平摊至平面域内后，在平面域内对多个角度下的纹理信息进行纹理融合，以实现对三维数据进行纹理融合。

如前所述，在进行纹理融合前，可以先对平摊至平面域内的多个角度下的纹理信息进行质量判断，例如当平面域内的多个角度下公共区域的纹理信息的位置出现偏差，而亮度一致时（即质量好），可以直接利用例如平均值、熵值、标准偏差或者平均梯度等图像融合方法将多个角度下的纹理信息进行纹理融合。当平面域内的多个角度下公共区域的纹理信息的位置出现偏差、亮度不一致时（即质量差），可以通过本申请实施例的构建满足微分同胚的目标配准函数，根据目标配准函数在平面域内对多个角度下的纹理信息进行纹理融合。

具体来说，首先从多个角度下的纹理信息中选择一个角度的纹理信息作为参考信息。优先地，可以选择平摊至平面域内的第一个角度下的纹理信息作为参考信息（例如上述图6所示出的角度1的纹理信息）。接着，将其余角度下的纹理信息均与参考信息进行配准，以获得目标配准函数。在一个实施例中，将其余角度下的纹理信息均与参考信息进行初始配准，获得初始配准函数。根据前述初始配准函数可以计算初始Beltrami系数，其包括通过基于上述公式（1）更新配准函数，基于更新后的配准函数计算初始Beltrami系数。在一个实现场景中，可以通过对配准函数进行线性插值，以基于插值后的配准函数计算初始Beltrami系数。

图7是示出根据本申请实施例的计算初始Beltrami系数的示例性示意图。如图7中的（a）图所示，假设为参考信息，/>为其余角度下对应的纹理信息，/>为配准函数，u，v分别为三角形的重心，则可以由/>，/>,且/>，/>，和/>获得/>，将代入上述公式（2），可以获得初始Beltrami系数。类似地，可以获得每个三角形的初始Beltrami系数，例如图7中的（b）图所示的任意/>，通过前述操作，可以获得对应的初始Beltrami系数。进一步地，根据初始Beltrami系数和初始配准函数获得目标配准函数。

图8是示出根据本申请实施例的获得目标配准函数的整体的示例性流程框图。如图8中所示，在步骤801处，将其余角度下的纹理信息均与参考信息进行初始配准，获得初始配准函数。在一个实现场景中，可以通过将其余角度下的纹理信息均与参考信息进行单位变换，以进行初始配准获得初始配准函数。例如将初始匹配记为，可以获得初始配准函数=/>，其中/>表示参考信息，/>表示其余角度下的纹理信息，/>表示参考信息的梯度。接着，在步骤802处，忽略微分同胚条件，更新配准函数/>。在一个实施例中，可以基于上述公式（1）获得更新后的配准函数。

基于获得的更新后的配准函数，在步骤803处，计算初始Beltrami系数/>。具体地，可以通过线性插值以及结合上述公式（2）计算初始Beltrami系数，并且在步骤804处，基于上述公式（3）对初始Beltrami系数进行修正，以获得修正后的Beltrami系数/>。进一步地，在步骤805处，根据修正后的Beltrami系数，可以重构配准函数/>。具体地，可以根据上述公式（4）至公式（6）获得重构后的配准函数/>。当重构后的配准函数/>与初始配准函数/>之间差值绝对值的最大值记为/>（/>）小于预设阈值/>时，将重构后的配准函数/>作为目标配准函数。反之，返回前述步骤802，重复执行前述操作直至/>＜/>时停止。

在一些实施例中，可以通过例如拉普拉斯对重构后的配准函数进行滤波，以使配准函数更光滑，即在步骤806处，对重构后的配准函数/>进行滤波，获得滤波后的配准函数/>。在一个实施场景中，可以基于上述公式（7）对重构后的配准函数/>进行滤波，其中还可以通过例如广义交叉验证对公式（7）/>求取最优值。接着，在步骤807处，计算滤波后的配准函数与初始配准函数/>之间差值绝对值的最大值/>，进而在步骤808处，判断/>小于预设阈值/>是否成立。当/>时，在步骤809处，返回滤波后的配准函数/>，将其作为目标配准函数。当/>≥/>时，返回前述步骤802，重复执行前述操作直至/>＜/>时停止。

如前所述，在获得目标配准函数后，基于该目标配准函数将其余角度下的纹理信息与参考信息进行对齐，以实现对三维数据进行纹理融合。在一些实施例中，经纹理融合后的三维数据中可能存在外层边界的情形（例如图9的（a）图中的模为0.8环带所示），从而影响纹理融合质量。基于此，本申请实施例还包括响应于进行纹理融合后的三维数据存在外层边界，对进行纹理融合后的三维数据执行填充操作，以获得最终纹理融合后的三维数据。

在一个实施例中，首先切割一个边界的带状区域，将前述平面域视为复平面，并在该平面域中取一个环带，该环带的模可以大于存在的外层边界而小于等于预定模值。作为示例，当外层边界的模为0.8，预定模值为1.0时，前述环带可以位于之间。接着，将分割出的带状区域利用/>函数将环带映射到平面域外的新环带上，从而消除外层边界。其中，前述新环带的纹理信息与消除外层边界前的纹理信息相同。

图9是示出根据本申请实施例的存在外层边界和消除外层边界的示例性示意图。如图9的（a）图中的模为0.8环带所示为纹理融合后的三维数据中可能存在外层边界的情形。基于前文可知，首先切割一个边界的带状区域，将前述平面域视为复平面，并在该平面域中取一个环带，例如图9的（a）图中的模为1.0的环带。接着，分割出的带状区域利用/>函数将该模为1.0的环带映射到平面域外的新环带上，例如图9的（b）图中的模为1.25的环带，最终以该新环带所示的区域形成纹理数据。由此，消除外层边界，提升纹理融合的质量。

图10是示出根据本申请实施例的最终纹理融合后的三维数据的示例性示意图。如图10中所示为基于本申请实施例对文物的三维数据进行纹理融合的效果图。由图可知，利用本申请实施例的方案能够获得纹理均匀、完整且较为清晰的纹理融合后的三维数据，并且本申请实施例基于单片纹理进行融合，减少了纹理分片过多带来的数据过大的问题。

图11是示出根据本申请实施例的用于对三维数据进行纹理融合的设备1100的示例性结构框图。可以理解的是，实现本申请方案的设备可以是单一的设备（例如计算设备）或包括各种外围设备的多功能设备。

如图11中所示，本申请的设备可以包括中央处理器或中央处理单元（“CPU”）1111，其可以是通用CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步，设备1100还可以包括大容量存储器1112和只读存储器（“ROM”）1113，其中大容量存储器1112可以配置用于存储各类数据，包括原始三维数据在多个角度下的三维信息和对应的纹理信息、参数化信息、算法数据、中间结果和运行设备1100所需要的各种程序。ROM 1113可以配置成存储对于设备1100的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据和指令。

可选地，设备1100还可以包括其他的硬件平台或组件，例如示出的张量处理单元（“TPU”）1114、图形处理单元（“GPU”）1115、现场可编程门阵列（“FPGA”）1116和机器学习单元（“MLU”）1117。可以理解的是，尽管在设备1100中示出了多种硬件平台或组件，但这里仅仅是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。例如，设备1100可以仅包括CPU、相关存储设备和接口设备来实现本申请的用于对三维数据进行纹理融合的方法。

在一些实施例中，为了便于数据与外部网络的传递和交互，本申请的设备1100还包括通信接口1118，从而可以通过该通信接口1118连接到局域网/无线局域网（“LAN/WLAN”）1105，进而可以通过该LAN/WLAN连接到本地服务器1106或连接到因特网（“Internet”）1107。替代地或附加地，本申请的设备1100还可以通过通信接口1118基于无线通信技术直接连接到因特网或蜂窝网络，例如基于第3代（“3G”）、第4代（“4G”）或第5代（“5G”）的无线通信技术。在一些应用场景中，本申请的设备1100还可以根据需要访问外部网络的服务器1108和数据库1109，以便获得各种已知的算法、数据和模块，并且可以远程地存储各种数据，例如用于呈现例如原始三维数据在多个角度下的三维信息和对应的纹理信息、参数化信息等的各类数据或指令。

设备1100的外围设备可以包括显示装置1102、输入装置1103和数据传输接口1104。在一个实施例中，显示装置1102可以例如包括一个或多个扬声器和/或一个或多个视觉显示器，其配置用于对本申请的对三维数据进行纹理融合进行语音提示和/或图像视频显示。输入装置1103可以包括例如键盘、鼠标、麦克风、姿势捕捉相机等其他输入按钮或控件，其配置用于接收音频数据的输入和/或用户指令。数据传输接口1104可以包括例如串行接口、并行接口或通用串行总线接口（“USB”）、小型计算机系统接口（“SCSI”）、串行ATA、火线（“FireWire”）、PCI Express和高清多媒体接口（“HDMI”）等，其配置用于与其他设备或系统的数据传输和交互。根据本申请的方案，该数据传输接口1104可以接收例如相机采集原始三维数据在多个角度下的三维信息和对应的纹理信息，并且向设备1100传送包括采集原始三维数据在多个角度下的三维信息和对应的纹理信息或各种其他类型的数据或结果。

本申请的设备1100的上述CPU 1111、大容量存储器1112、ROM 1113、TPU 1114、GPU1115、FPGA 1116、MLU 1117和通信接口1118可以通过总线1119相互连接，并且通过该总线与外围设备实现数据交互。在一个实施例中，通过该总线1119，CPU 1111可以控制设备1100中的其他硬件组件及其外围设备。

以上结合图11描述了可以用于执行本申请的用于对三维数据进行纹理融合的设备。需要理解的是这里的设备结构或架构仅仅是示例性的，本申请的实现方式和实现实体并不受其限制，而是可以在不偏离本申请的精神下做出改变。

根据上述结合附图的描述，本领域技术人员也可以理解本申请的实施例还可以通过软件程序来实现。由此本申请还提供了一种计算机可读存储介质。该计算机可读存储介质可以用于实现本申请结合附图3所描述的用于对三维数据进行纹理融合的方法。

应当注意，尽管在附图中以特定顺序描述了本申请方法的操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

应当理解，本申请的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本申请。如在本申请说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本申请说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

虽然本申请的实施方式如上，但所述内容只是为便于理解本申请而采用的实施例，并非用以限定本申请的范围和应用场景。任何本申请所述技术领域内的技术人员，在不脱离本申请所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本申请的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (8)

1.一种用于对三维数据进行纹理融合的方法，其特征在于，包括：

采集原始三维数据在多个角度下的三维信息和对应的纹理信息；

将所述原始三维数据参数化至平面域并且获得参数化信息；

基于每个所述角度下的三维信息、对应的所述纹理信息和所述参数化信息，将所述原始三维数据在所述多个角度下的纹理信息平摊至所述平面域内；以及

在所述平面域内对所述多个角度下的纹理信息进行纹理融合，以实现对三维数据进行纹理融合，

其中，在所述平面域内对所述多个角度下的纹理信息进行纹理融合，以实现对三维数据进行纹理融合包括：

从所述多个角度下的纹理信息中选择一个角度的纹理信息作为参考信息；

将其余角度下的纹理信息均与所述参考信息进行初始配准，获得初始配准函数；

根据所述初始配准函数计算初始贝尔特拉米系数；

基于所述初始贝尔特拉米系数和所述初始配准函数获得目标配准函数；以及

根据所述目标配准函数在所述平面域内对所述多个角度下的纹理信息进行纹理融合，以实现对三维数据进行纹理融合。

2. 根据权利要求1所述的方法，其特征在于，基于每个所述角度下的三维信息、对应的所述纹理信息和所述参数化信息，将所述原始三维数据在所述多个角度下的纹理信息平摊至所述平面域内包括：

基于每个所述角度下的三维信息和所述参数化信息确定所述原始三维数据各角度参数化至所述平面域内对应的参数点；以及

将所述参数点在所述原始三维数据上对应的纹理信息复制到所述参数点处，以将所述原始三维数据在所述多个角度下的纹理信息平摊至所述平面域内。

3.根据权利要求1所述的方法，其特征在于，基于所述初始贝尔特拉米系数和所述初始配准函数获得所述目标配准函数包括：

对所述初始贝尔特拉米系数进行修正，以使得所述目标配准函数满足微分同胚；

根据修正后的贝尔特拉米系数重构所述初始配准函数；以及

基于重构后的配准函数和所述初始配准函数确定所述目标配准函数。

4.根据权利要求3所述的方法，其特征在于，基于重构后的配准函数和所述初始配准函数确定所述目标配准函数包括：

响应于所述重构后的配准函数与所述初始配准函数之间差值绝对值的最大值满足预设阈值，将所述重构后的配准函数作为所述目标配准函数。

5.根据权利要求3或4所述的方法，其特征在于，还包括：

对所述重构后的配准函数进行滤波，以获得滤波后的配准函数；

计算所述滤波后的配准函数与所述初始配准函数之间差值绝对值的最大值；以及

响应于所述滤波后的配准函数与所述初始配准函数之间差值绝对值的最大值满足预设阈值，将所述滤波后的配准函数作为所述目标配准函数。

6.根据权利要求1所述的方法，其特征在于，还包括：

响应于进行纹理融合后的三维数据存在外层边界，对进行纹理融合后的三维数据执行填充操作，以获得最终纹理融合后的三维数据。

7. 一种用于对三维数据进行纹理融合的设备，其特征在于，包括：

处理器；以及

存储器，其存储有用于对三维数据进行纹理融合的程序指令，当所述程序指令由所述处理器执行时，使得所述设备实现根据权利要求1-6任意一项所述的方法。

8.一种计算机可读存储介质，其特征在于，其上存储有用于对三维数据进行纹理融合的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，实现根据权利要求1-6任意一项所述的方法。