CN109118578A - 一种层次化的多视图三维重建纹理映射方法 - Google Patents

Abstract

本发明公开了一种层次化的多视图三维重建纹理映射方法，包括：(1)对于不同视图下获取的图像序列，以正面角度为基准，根据视图角度利用色彩迁移算法统一色差；(2)对统一色差后的图像序列进行相机位姿修正，构造一个投影变换相关的相机位姿的最小二乘求解问题，迭代求解最优相机位姿，得到相机位姿修正后的图像序列；(3)以步骤(2)计算得到的相机位姿修正后的图像序列作为参数，基于图像相似性原理，生成目标图像序列；(4)通过构造Markov随机场对三维模型上的三角面片的纹理进行优化合成，完成纹理映射。本发明提供的多视图三维重建纹理映射方法能有效改善多视图三维重建纹理映射的误差问题，具有准确度好，真实感强、纹理质量高的优点。

Description

一种层次化的多视图三维重建纹理映射方法

技术领域

本发明涉及计算机图形学中多视图的三维重建领域，特别涉及一种层次化的多视图三维重建纹理映射方法。

背景技术

所谓纹理映射就是将纹理图像的像素映射到屏幕空间像素的过程，在图形学的实际应用中，就是对三维模型表面的颜色、材质等细节进行真实的模拟。利用纹理映射技术一方面能突出三维模型的表面细节，提高绘制的真实感，另一方面可以简化三维建模的过程。

近年来，利用计算机技术对人体建模是三维重建的一个重要课题，在服装定制、虚拟现实、游戏娱乐、影视制作等领域中具有重要的应用价值，因而受到了研究者们的广泛关注。同时，随着计算机视觉、图形学的迅速发展、三维扫描设备的高效研发和数码摄影技术的不断提高，三维人体重建技术的精度也越来越高，其中纹理映射的准确性和真实感的需求也进一步提升。

目前，主流的三维人体建模方法是基于多视角下的图像序列进行点云提取，随后通过刚性和非刚性的配准以及表面重建后得到三维模型，然后通过纹理映射技术对模型表面的细节特征进行恢复。纹理映射的核心目标是确定重建模型与多视角下图像序列的纹理对应关系，进而实现纹理坐标的映射与纹理贴图的生成。

但是，在实际的人体建模过程中，总会有一些因素限制着纹理映射的准确性，主要存在以下问题：

1、由于相机方位、曝光条件等因素的不同，多视角下的图像序列会存在一定的色彩差异，这会导致在实际的纹理映射后，模型的表面纹理会出现一定程度的色彩分块现象；

2、三维重建过程中，每个视角对应一个相机位姿，由于几何数据的误差以及相机自带的光学畸变等原因，在实际进行图像与模型的对应时，相机位姿会存在一定的误差，这将导致纹理映射时出现局部纹理错位的问题；

3、无论三维重建的算法多么高效准确，实际恢复出来的点云数据在经过配准和表面重建后，其空间位置都会存在微小的偏差，如果直接进行纹理映射的话，在有误差的局部区域会出现模糊、扭曲的现象。

4、在纹理生成的过程中，由于多视图之间存在偏差，因此纹理边界的融合和过渡会存在错位、缝隙等问题，导致最终的结果不尽如人意。

因此，如何克服上述问题，得到更高的准确性和真实感的纹理映射的是亟待解决的问题。

发明内容

本发明的目的在于提供一种层次化的多视图三维重建纹理映射方法，本发明提供的多视图三维重建纹理映射方法能够生成高质量的纹理映射结果，具有很强的准确性和真实感。

本发明采用的技术方案为：

一种层次化的多视图三维重建纹理映射方法，包括：

(1)对于不同视图下获取的图像序列，以正面角度为基准，根据视图角度利用色彩迁移算法统一色差；

(2)对统一色差后的图像序列进行相机位姿修正，通过构造一个投影变换相关的相机位姿的最小二乘求解问题，迭代求解最优相机位姿，得到相机位姿修正后的图像序列；

(3)以步骤(2)计算得到的相机位姿修正后的图像序列作为参数，基于图像相似性原理，将相机位姿修正后的图像序列{S_i}迭代合成对应视图下的目标图像序列{T_i}；

(4)通过构造Markov随机场对三维模型上的三角面片的纹理进行优化合成，完成纹理映射。

在步骤(1)中，所述色彩迁移算法加入视图角度作为平衡色彩的参数，其能量函数为：

p_i＝w_iT(p_base)

其中，p_i表示在视图i的图像上的像素值，w_i表示视图i与模型中心点的角度的余弦值，p_base表示正面基准图像的像素值，T()函数表示基于lαβ和RGB色彩空间的传统色彩迁移变换。

在步骤(2)中，对于相机位姿的修正，构造如下能量函数：

其中，r_i,p表示残差项：

r_i,p＝C(p)-F_i(u(g(p,T_i)))

F_i(u(g(p,T_i)))表示经过一次空间旋转平移变换g、一次投影变换u和一次像素空间的颜色查找F得到的像素值，C(p)表示点p的颜色值。

在求解能量函数时，利用SLAM求解非线性最小二乘问题的高斯牛顿法，去线性化能量函数中的增量函数：

其中，θ_i表示参数化的增量，k是指迭代次数。

由于每个视角都对应一个相机位姿，通过迭代计算相机位姿，对相机位姿进行修正，优化重建过程中带来的相机误差。

其中，相机位姿修正的图像序列根据能量函数的最小化求解，通过迭代的方式计算能量函数中的增量函数，逼近最优解。

具体的，采用SLAM求解非线性最小二乘问题的高斯牛顿法，去线性化能量函数中的增量函数T_i，Δx是高斯牛顿法里线性系统的解，表示为：

其中，r＝r(x)是残差向量，J_r＝J_r(x)表示r的雅可比矩阵；

在求解过程中，我们构造Sobel算子的x、y方向的二维向量，结合内部的雅可比矩阵，利用稀疏矩阵Cholesky分解法计算线性系统的Δx。

在步骤(3)中，所述图像相似性原理包括E₁相似性：

E₁相似性：

E₁(i,x_i)是指在特定的视角i下，对目标图像T_i进行优化求解的能量函数，其中，s_u和s_v表示与目标图像上的像素x_i有相对位置重叠的原始图像上的图块，y_u和y_v则表示在局部区域内和x_i具有相同位置的像素点，L、U和V代表相似性局部区域的选取个数，在这里，L＝U＝V；

对E₁(i,x_i)迭代计算生成目标图像：

在步骤(3)中，所述图像相似性原理还包括E₂一致性，

E₂一致性：

x_i表示目标图像i上的所有像素集合，参数w_j＝cosθ，θ表示模型与相机视角方向的夹角，x_i→j表示目标图像i对应三维点在图像j上投影的像素值，T_j(x_i→j)表示目标图像在x_i→j处的像素值，N表示目标图像i在各个视图出现的次数；

最小化E₂，将各个视图下的纹理图像一致融合，得到一致融合后的目标图像：

在步骤(4)中，构造Markov随机场的能量函数：

其中，E_data项表示对三角面片-视图选择的量化数值，E_smooth项表示对纹理缝隙的量化数值，F_i,F_j表示几何上的三角面片，l_i,l_j表示所选择的对应视图。

通过图像分割算法和α扩张算法对Markov随机场的能量函数最小化，使三维模型上的每个三角面片匹配到全局最佳的视图l，得到纹理优化合成后的目标图像序列，完成纹理映射。

与现有技术相比，本发明的有益效果体现在以下方面：

(1)本发明通过采用加入视图角度参数作为平衡色彩的色彩迁移算法，有效改善了多视图下由于外部环境和相机属性原因造成的色彩差异，为后续进行的一系列优化处理奠定了基础；

(2)本发明通过层次的优化处理，从色彩差异、相机位姿、图像细节以及纹理合成四个方面，层层递进，不断优化结果，最终得到高质量的纹理映射结果，具有很强的准确性和真实感。

附图说明

图1为本发明提供的层次化的多视图三维重建纹理映射方法的流程示意图；

图2为本发明提供的层次化的多视图三维重建纹理映射方法的应用示意图；

图3为对图像序列进行色彩迁移的示意图；

图4为色彩迁移算法统一色差后图像序列的效果对比图；

图5为使用本发明提供的层次化的多视图三维重建纹理映射方法得到的三维模型的整体和局部效果图。

具体实施方式

下面将结合具体实施方式和附图对本发明进行说明。

如图1和图2所示，本发明提供的层次化的多视图三维重建纹理映射方法包括以下步骤：

步骤(1)，对于不同视图下获取的图像序列，以正面角度为基准，采用加入视图角度参数作为平衡色彩的色彩迁移算法来统一图像序列的色彩差异。

具体实现时，如图3所示，通过如下步骤完成色彩迁移：

a.计算原始图像S和目标图像T在lαβ色彩空间各个通道的均值和方差

b.将原始图像三个通道的每个像素点减去各自通道的均值，如下所示

c.将原始图像的像素点的三个通道颜色值，根据其与标准图像标准差的比例进行变换，如下所示

d.将变换后的原始图像的三个通道的像素点加上目标图像对应的均值，如下所示：

e.以正面角度视图为基准，计算时，采用如下公式：

p_i＝w_iT(p_base)

其中，p_i表示在视图i的图像上的像素值，w_i表示视图i与模型中心点的角度θ的余弦值，w_i＝cosθ，T(p_base)表示经过以正面角度视图为目标图像的传统色彩迁移处理后的图像的像素值。

通过以上操作，完成了对多视角图像序列的色差统一，通过图4的结果对比可以看出优化效果，(a)和(b)分别表示色差统一前和色差统一后的图像序列。

步骤(2)，对统一色差后的图像序列进行相机位姿修正，通过构造一个投影变换相关的非线性最小二乘求解问题，迭代求解最优相机位姿，得到相机位姿修正后的图像序列。

对于相机位姿的修正，构造如下能量函数：

其中，r_i,p表示残差项：

r_i,p＝C(p)-F_i(u(g(p,T_i)))

F_i(u(g(p,T_i)))表示经过一次空间旋转平移变换g、一次投影变换u和一次像素空间的颜色查找F得到的像素值。

由于每个视角都对应一个相机位姿，通过迭代计算相机位姿，对相机位姿进行修正，优化重建过程中带来的相机误差。

其中，相机位姿修正的图像序列根据能量函数的最小化求解，通过迭代的方式计算能量函数中的增量函数，逼近最优解。

在求解非线性最小二乘问题时，利用SLAM求解非线性问题的高斯牛顿法，线性化相机位姿的增量函数：

其中，θ_i表示参数化的增量，k是指迭代次数。

具体的，在求解过程中，我们构造Sobel算子的x、y方向的二维向量，结合内部的雅可比矩阵，利用稀疏矩阵Cholesky分解法计算线性系统的Δx。

其中，Δx是高斯牛顿法里线性系统的解，表示为

这里r＝r(x)是残差向量，J_r＝J_r(x)表示r的雅可比矩阵。

具体实现时，首先令向量x表示需要求解的参数C和T，其初始值为x⁰＝[C⁰,T⁰]，对每张图像i，表示其对应的相机位姿，对每个点p，C⁰(p)表示所有与p相关的图像上投影颜色值的均值。通过迭代求解上述线性系统，使得能量函数收敛得到最终的T_i，以优化重建过程中带来的相机误差。

步骤(3)，以步骤(2)计算得到的相机位姿修正的图像序列作为参数，基于图像相似性原理，将修正后的图像序列{S_i}迭代合成对应视图下的目标图像序列{T_i}。

在此定义如下数据项。

E₁相似性：

这里的E₁(i,x_i)是指在特定的视角i下，对目标图像T_i进行优化求解的能量函数，其中，s_u和s_v表示与目标图像上的像素x_i有相对位置重叠的原始图像上的图块，y_u和y_v则表示在局部区域内和x_i具有相同位置的像素点，L、U和V代表相似性局部区域的选取个数。

具体实现时，我们设定L＝U＝V＝5*5＝25，即局部区域为5*5的正方形网格，同时我们令α＝2，来保证目标图像尽可能相似。

E₂一致性：

这里x_i表示目标图像i上的所有像素集合，参数w_j＝cosθ，θ表示模型与相机视角方向的夹角，x_i→j表示图像i对应三维点在图像j上投影的像素值，T_j(x_i→j)表示目标图像在x_i→j处的像素值。

最终我们生成目标图像可由最小化E₁得到：

而最终的纹理图像需要各个视图下目标图像的一致融合，最小化E₂可得：

具体实现时，将会对同一视角下的图像分别进行目标图像和纹理图像的合成，并以前一次的结果作为初始值进行迭代，达到小于阈值误差的要求后优化完成。

步骤(4)，经过上述步骤，再对三维模型上的三角面片的进行纹理合成处理，采取Markov随机场的能量函数：

在这里，E_data项表示对面片-视图选择的量化数值，E_smooth项表示对纹理缝隙的量化数值，F_i,F_j表示几何上的面片，l_i,l_j表示所选择的对应视图，通过最小化公式，可以使得模型上的每个面片都能匹配到全局最佳的视图l，具体求解是通过图像分割算法和α扩张算法实现，进而完成最终的纹理映射。

经过上述层次化的优化过程，纹理效果如图5中的实例所示，模型的局部细节和整体效果良好，真实感强，具有很高的价值。

以上所述仅为本发明的优选实施方式，本发明的保护范围并不仅限于上述实施方式，凡是属于本发明原理的技术方案均属于本发明的保护范围。对于本领域的技术人员而言，在不脱离本发明的原理的前提下进行的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种层次化的多视图三维重建纹理映射方法，包括：

(1)对于不同视图下获取的图像序列，以正面角度为基准，根据视图角度利用色彩迁移算法统一色差；

(2)对统一色差后的图像序列进行相机位姿修正，通过构造一个投影变换相关的相机位姿的最小二乘求解问题，迭代求解最优相机位姿，得到相机位姿修正后的图像序列；

(3)以步骤(2)计算得到的相机位姿修正后的图像序列作为参数，基于图像相似性原理，将相机位姿修正后的图像序列{S_i}迭代合成对应视图下的目标图像序列{T_i}；

(4)通过构造Markov随机场对三维模型上的三角面片的纹理进行优化合成，完成纹理映射。

2.根据权利要求1所述的层次化的多视图三维重建纹理映射方法，其特征在于，在步骤(1)中，所述的色彩迁移算法加入视图角度作为平衡色彩的参数，其能量函数为：

p_i＝w_iT(p_base)

其中，p_i表示在视图i的图像上的像素值，w_i表示视图i与模型中心点的角度的余弦值，p_base表示正面基准图像的像素值，T()函数表示基于lαβ和RGB色彩空间的传统色彩迁移变换。

3.根据权利要求1所述的层次化的多视图三维重建纹理映射方法，其特征在于，在步骤(2)中，对于相机位姿修正，构造如下能量函数：

其中，r_i,p表示残差项：

r_i,p＝C(p)-F_i(u(g(p,T_i)))

F_i(u(g(p,T_i)))表示经过一次空间旋转平移变换g、一次投影变换u和一次像素空间的颜色查找得到的像素值，C(p)表示点p的颜色值。

4.根据权利要求3所述的层次化的多视图三维重建纹理映射方法，其特征在于，在求解能量函数时，利用SLAM求解非线性最小二乘问题的高斯牛顿法，去线性化能量函数中的增量函数：

其中，θ_i表示参数化的增量，k是指迭代次数。

5.根据权利要求1所述的层次化的多视图三维重建纹理映射方法，其特征在于，在步骤(3)中，所述的图像相似性原理包括E₁相似性：

E₁相似性：

E₁(i,x_i)是指在特定的视角i下，对目标图像T_i进行优化求解的能量函数，其中，s_u和s_v表示与目标图像上的像素x_i有相对位置重叠的原始图像上的图块，y_u和y_v则表示在局部区域内和x_i具有相同位置的像素点，L、U和V代表相似性局部区域的选取个数，在这里，L＝U＝V；

对E₁(i,x_i)迭代计算生成目标图像：

6.根据权利要求5所述的层次化的多视图三维重建纹理映射方法，其特征在于，在步骤(3)中，所述的图像相似性原理还包括E₂一致性，

E₂一致性：

x_i表示目标图像i上的所有像素集合，参数w_j＝cosθ，θ表示模型与相机视角方向的夹角，x_i→j表示目标图像i对应三维点在图像j上投影的像素值，T_j(x_i→j)表示目标图像在x_i→j处的像素值，N表示目标图像i在各个视图出现的次数；

最小化E₂，将各个视图下的纹理图像一致融合，得到一致融合后的目标图像：

7.根据权利要求1所述的层次化的多视图三维重建纹理映射方法，其特征在于，在步骤(4)中，构造Markov随机场的能量函数：

其中，E_data项表示对三角面片-视图选择的量化数值，E_smooth项表示对纹理缝隙的量化数值，F_i,F_j表示几何上的三角面片，l_i,l_j表示所选择的对应视图。

8.根据权利要求7所述的层次化的多视图三维重建纹理映射方法，其特征在于，通过图像分割算法和α扩张算法对Markov随机场的能量函数最小化，使三维模型上的每个三角面片匹配到全局最佳的视图l，得到纹理优化合成后的目标图像序列，完成纹理映射。