CN116740250A

CN116740250A - 一种带高光处理的纹理映射方法

Info

Publication number: CN116740250A
Application number: CN202310689408.3A
Authority: CN
Inventors: 石敏; 王炳祺; 朱登明
Original assignee: North China Electric Power University
Current assignee: North China Electric Power University
Priority date: 2023-06-12
Filing date: 2023-06-12
Publication date: 2023-09-12

Abstract

本发明公开了一种带高光处理的纹理映射方法，该方法包括如下步骤：步骤1：输入网格与图像序列，对输入图像进行筛选，提取出一个子序列作为映射候选图；步骤2：为每个模型面选择合适的纹理图，避免模糊和重影；步骤3：对映射使用的相机位姿进行调整；步骤4：对高光纹理区域进行处理，改善其影响；步骤5：调整纹理图颜色，获取到最终的带纹理模型。

Description

一种带高光处理的纹理映射方法

技术领域

本发明涉及三维重建领域，具体来说是一种带高光处理的纹理映射方法。

背景技术

近年来，随着消费级3D相机在市场上的普及，很容易获取到三维数据，通过一些成熟的框架，可以获得高质量的三维模型。然而，大多数这类方法主要关注提高模型精度而非纹理质量。因此，通过这些方法获得的三维模型通常是白色、没有纹理的模型，或者是简单地进行顶点着色获取一个模糊的纹理。为了提高顶点着色模型的纹理表现，必须增加模型密度，这将增加着色处理的时间消耗和存储模型的内存消耗。因此，需要实现一种方法，在低密度网格模型中恢复更高质量的纹理。

大多数深度传感器可以同时捕捉彩色图像和深度图，而相机标定可以在模型生成的过程中完成.理论上，经过标定的相机参数可以将彩色信息投射到模型上，从而得到清晰的纹理。然而，由于模型不精确、相机校准误差和相机曝光变化等因素，直接投影可能会在模型上产生明显的纹理模糊与纹理接缝。此外，在重建光滑物体时，收集到的彩色图像通常包含明显的高光。如果直接投影到模型上，可能会导致色彩信息丢失，对纹理质量产生负面影响.

目前，大多数高光处理的研究都集中在单张图像上，而高光区域大多集中在图像颜色变化较小的区域，分离并删除镜面反射从而消除高光的影响。然而，在纹理映射的应用场景中，高光很可能出现在复杂的纹理区域中，难以基于单张图像的信息恢复颜色，导致模型纹理中仍存在高光问题。

发明内容

本发明人针对上述问题，发明了一种带高光处理的纹理映射方法，该方法包括如下步骤：

步骤1：输入网格与图像序列，对输入图像进行筛选，提取出一个子序列作为映射候选图；

步骤2：为每个模型面选择合适的纹理图，避免模糊和重影；

步骤3：对映射使用的相机位姿进行调整；

步骤4：对高光纹理区域进行处理，改善其影响；

步骤5：调整纹理图颜色，获取到最终的带纹理模型。

进一步的，步骤1中，从输入的图像序列中每隔固定的距离选择一张图片，从而保证能够覆盖整个模型；

步骤2为每个模型面选择适当的纹理图像。通过将每个候选图像视为一个标签，并评估其映射到面后获得的纹理质量，从而将纹理选择问题转化为一个多标签MRF问题，可以通过求解来达到所需的结果。

进一步，步骤2包括：

步骤2-1：使用一个能量函数来量化最优标签状态,该函数考虑两个因素:对应于视图中的三角形区域的纹理区域的质量，以及三角形面和其相邻三角面之间是否存在明显的纹理间隙，即这两个三角面在间隙区域的颜色是否相似。以上的标签选择问题转化为求解一个马尔可夫随机场(MRF):

数据项E_data用于衡量将图像用作f_i的纹理图所需的代价，这与I_Li的视角中心到f_i的空间距离以及f_i的面法线和/>的视角方向之间的角度有关:

步骤2-2：通过图割算法可以快速高效地解决多标签问题。在纹理图像选择完成后，模型上的每个面选择了一个最佳的彩色图像作为纹理图像。为了便于后续的校正过程，需要对所有面进行聚类：如果相邻的面对应同一张纹理图，则将其进行聚类，处理全部面之后，整个模型将被分割出多个纹理簇。

步骤3中，对于需要对齐的两个相邻纹理簇将使用投影矩阵投影到其相应的纹理图像上，得到纹理域，然后使用投影矩阵将投影到与对应的纹理图像上，得到纹理域。如果和之间的差距非常小，就可以认为这两个纹理块对齐得很好，反之亦然.

进一步，步骤3-1设置了色度一致性约束，以确保纹理簇与其相邻的纹理簇对齐:

其中，charts表示模型M₀中的全部纹理簇，adj_i表示纹理簇C_i的相邻纹理簇，v_k是C_i中的顶点，N是总顶点数。

步骤3-2，使用高斯-牛顿方法来优化上述能量函数，优化完成后，可以得到相对正确的相机姿态，从而使相邻的纹理簇能够更好地对齐。

进一步，步骤4中，每个面已都有相对优秀的纹理图像，但其中可能会包含高光，需要筛选出需要处理的高光区域。

步骤4包括：

步骤4-1，对于由其他位置的相机获取的纹理图像，如果f_i在I_j中可见，并且T_i和T_j之间存在较大差异，则两个图像的镜面反射色度比例也会明显不同。如果P_i是高光纹理域，则P_j的高光效果将显著弱于P_i，以更好地反映模型的原始纹理。

步骤4-2，基于步骤4-1通过将面已选纹理图亮度与其他位置的纹理图进行亮度对比，从而筛选出亮度明显高于其他位置的面纹理，从而确定高光纹理区域

步骤4-3，纹理簇投影到其他纹理图像上，得到相应的亮度，而后评估其亮度值，选择亮度最低的对应的纹理图像作为新的纹理。

进一步，步骤5中，对已经完成高光处理的纹理进行全局颜色调整并使用泊松编辑对相邻纹理块进行梯度融合。

步骤5包括：

步骤5-1：为每个顶点计算一个额外的颜色调整值g_v，以提升其在两个纹理图中映射颜色的一致性:

公式第一项确保在接缝处的颜色尽可能一致，第二项用于保证同一纹理簇中相邻顶点间的调整值差异最小化，从而使颜色过度更加平滑。

步骤5-2：对于接缝处构建拉普拉斯方程实现接缝过度。

本发明的有益效果：鉴于现有技术中存在的不足，本申请实现了一种具有高光处理的纹理映射方法，可以有效改善因高光而丢失的纹理信息，通过每个模型表面选择最佳的纹理图，纠正相机姿态以消除明显的几何错误，使用反射定律检测并去除高光纹理，最后进行颜色一致性调整以增强模型的纹理。本申请的方法对三维模型纹理映射具有如下有益效果：

有效得解决了因多图混合造成的纹理模糊问题，并消除了纹理接缝，改善了因图像高光造成的纹理信息丢失问题，只需要较低的模型密度即可获得理想的纹理表现；

附图说明

图1为纹理映射输入及流程效果图。

图2为纹理选择结果图。

图3为多视角成像原理图。

图4为高光区域选择图。

图5为泊松编辑实例图。

具体实施方式

为了使本发明的目的、技术方案、设计方法及优点更加清楚明了，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例一

如图1所示，发明了一种带高光处理的纹理映射方法包括下述步骤：

步骤2：为每个模型面选择合适的纹理图，避免模糊和重影；

步骤3：对映射使用的相机位姿进行调整；

步骤4：对高光纹理区域进行处理，改善其影响；

步骤5：调整纹理图颜色，获取到最终的带纹理模型。

在一个实施例中，上述步骤1所述筛选子序列的方法：按照递归方式选取一系列图像作为候选纹理图像:

I_i＝{I_i∈φ_KF:∠(R_k,R_i)＞30°||Dist(t_k,t_i)＞max(Dist(t_s,t_e))/5}

其中，φ_KF表示已选择的帧序列，k表示当前序列中最后一帧的索引，i为新一帧的索引，∠(R_k,R_i)表示两旋转矩阵之间的角度，Dist(t_k,t_i)表示两个平移向量间的距离，max(Dist(t_s,t_e))表示初始序列中的最大距离。

在一个实施例中，上述步骤2：为每个模型面选择合适的纹理图，避免模糊和重影，如图2所示，具体包括：

使用一个能量函数来量化最优标签状态,该函数考虑两个因素:对应于视图中的三角形区域的纹理区域的质量，以及三角形面和其相邻三角面之间是否存在明显的纹理间隙，即这两个三角面在间隙区域的颜色是否相似。以上的标签选择问题转化为求解一个马尔可夫随机场(MRF):

步骤22：数据项E_data用于衡量将图像I_Li用作f_i的纹理图所需的代价，这与I_Li的视角中心到f_i的空间距离以及f_i的面法线和I_Li的视角方向之间的角度有关:

其中表示/>的视角中心到f_i的空间距离，/>表示f_i的法线与/>的视角方向的夹角.

步骤23：平滑项E_smooth用于确保每个面选择的纹理与周围相邻面的纹理在边界处的颜色尽可能连续:

其中e_ij是两个相邻且纹理图像不同的面对应的公共边，v_x是e_ij上的采样点.

步骤24：通过图割算法可以快速高效地解决多标签问题。在纹理图像选择完成后，模型上的每个面选择了一个最佳的彩色图像作为纹理图像。为了便于后续的校正过程，需要对所有面进行聚类：如果相邻的面对应同一张纹理图，则将其进行聚类，处理全部面之后，整个模型将被分割出多个纹理簇。

在一个实施例中，上述步骤3：对于需要对齐的两个相邻纹理簇将使用投影矩阵投影到其相应的纹理图像上，得到纹理域，然后使用投影矩阵将投影到与对应的纹理图像上，得到纹理域。如果和之间的差距非常小，就可以认为这两个纹理块对齐得很好，反之亦然.

步骤31设置了色度一致性约束，以确保纹理簇与其相邻的纹理簇对齐:

步骤32，使用高斯-牛顿方法来优化上述能量函数，优化完成后，可以得到相对正确的相机姿态，从而使相邻的纹理簇能够更好地对齐。

在一个实施例中，上述步骤4：每个面已都有相对优秀的纹理图像，但其中可能会包含高光，需要筛选出需要处理的高光区域。

步骤41，对于由其他位置的相机获取的纹理图像，如果f_i在I_j中可见，并且T_i和T_j之间存在较大差异，则两个图像的镜面反射色度比例也会明显不同。如果P_i是高光纹理域，则P_j的高光效果将显著弱于P_i，以更好地反映模型的原始纹理。

步骤42，如图4基于步骤41通过将面已选纹理图亮度与其他位置的纹理图进行亮度对比，从而筛选出亮度明显高于其他位置的面纹理，从而确定高光纹理区域。

步骤43，纹理簇投影到其他纹理图像上，得到相应的亮度，而后评估其亮度值，选择亮度最低的对应的纹理图像作为新的纹理。

在一个实施例中，上述步骤5：调整纹理图颜色，获取到最终的带纹理模型。

步骤5-2，如图5：对于接缝处使用泊松重建的方法，构建拉普拉斯方程实现接缝过度。

本发明公开的一种具有高光处理的纹理映射方法，可以有效改善因高光而丢失的纹理信息。方法为每个模型表面选择最佳的纹理图，纠正相机姿态以消除明显的几何错误，使用反射定律检测并去除高光纹理，最后进行颜色一致性调整以增强模型的纹理。在高光环境中具有明显的优势，可以很好地保留模型纹理

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种带高光处理的纹理映射方法，该方法包括如下步骤：

步骤2：为每个模型面选择合适的纹理图，避免模糊和重影；

步骤3：对映射使用的相机位姿进行调整；

步骤4：对高光纹理区域进行处理，改善其影响；

步骤5：调整纹理图颜色，获取到最终的带纹理模型。

2.根据权利要求1所述的一种带高光处理的纹理映射方法，其特征在于，所述步骤1，具体包括：

从输入的图像序列中每隔固定的距离选择一张图片，从而保证能够覆盖整个模型。

3.根据权利要求1所述的一种带高光处理的纹理映射方法，其特征在于，所述步骤2具体包括：

为每个模型面选择适当的纹理图像。通过将每个候选图像视为一个标签，并评估其映射到面后获得的纹理质量，从而将纹理选择问题转化为一个多标签MRF问题，可以通过求解来达到所需的结果。

数据项E_data用于衡量将图像用作f_i的纹理图所需的代价，这与/>的视角中心到f_i的空间距离以及f_i的面法线和/>的视角方向之间的角度有关:

4.根据权利要求1所述的一种带高光处理的纹理映射方法，其特征在于，所述步骤3具体包括：

对于需要对齐的两个相邻纹理簇将使用投影矩阵投影到其相应的纹理图像上，得到纹理域，然后使用投影矩阵将投影到与对应的纹理图像上，得到纹理域。如果和之间的差距非常小，就可以认为这两个纹理块对齐得很好，反之亦然.

步骤3-1，设置色度一致性约束，以确保纹理簇与其相邻的纹理簇对齐:

5.根据权利要求1所述的一种带高光处理的纹理映射方法，其特征在于，所述步骤4具体包括：

每个面已都有相对优秀的纹理图像，但其中可能会包含高光，需要筛选出需要处理的高光区域。

6.根据权利要求1所述的一种带高光处理的纹理映射方法，其特征在于，所述步骤5具体包括：

对已经完成高光处理的纹理进行全局颜色调整并使用泊松编辑对相邻纹理块进行梯度融合。