CN116977595A - 一种基于法线优化的文物三维重建方法 - Google Patents

Abstract

本发明一种基于法线优化的文物三维重建方法，本分割方法包括以下步骤：S1、采集在三个方向的二元梯度照明的图像，获得文物多视角图像；S2、根据梯度照明图像计算文物表面法线；S3、使用文物多视角图像重建文物三维纹理模型；其中步骤S2包括a1、反射分离，a2、计算混合法线，a3、计算镜面反射法线；步骤S3包括b1、稀疏点云重建，b2、密集点云重建，b3、法线深度优化，b4、网格重建和b5、纹理映射。本发明解决少量视角深度估计中存在孔洞和离群点导致网格重建表现能力不足的问题，提出先使用基于弱支持表面网格重建方法，获得初步的网格模型，该网格模型孔洞已经补全并且离群点的问题得到解决，然后使用泊松重建的方法获得平滑的网格模型。

Description

一种基于法线优化的文物三维重建方法

技术领域

本发明涉及计算机图像处理技术领域，具体为一种基于法线优化的文物三维重建方法。

背景技术

多视图三维重建假设物体是产生均匀漫反射的朗伯体，表面点在多视角图像中呈现光度一致性。但可移动文物中有极大部分为非朗伯体，甚至部分文物表面呈现镜面反射特性；此外，由于外部环境干扰，很难做到完全均匀的光照环境。因此，在多视角立体重建中，深度图中存在错误的估计值和高频噪声。在没有其他信息辅助的情况下，算法难以识别和处理这些噪声，导致表面重建不够平滑，观感较差。

发明内容

本发明的目的在于提供一种基于法线优化的文物三维重建方法，以解决上述背景技术中提出的问题。

一种基于法线优化的文物三维重建方法，本分割方法包括以下步骤：

S1、采集在三个方向的二元梯度照明的图像，获得文物多视角图像；

S2、根据梯度照明图像计算文物表面法线；

S3、使用文物多视角图像重建文物三维纹理模型；

其中步骤S2包括a1、反射分离，a2、计算混合法线，a3、计算镜面反射法线；

步骤S3包括b1、稀疏点云重建，b2、密集点云重建，b3、法线深度优化，b4、网格重建和b5、纹理映射。

作为本发明的进一步改进，所述步骤S1具体为在球形照明框架中采集在三个方向上分别产生方向上的二元梯度照明，当产生X照明模式时，所有x坐标大于0的光源均被点亮，x坐标不大于0的光源处于关闭状态，Y和Z的照明模式与X照明模式相同，一共需要采集6幅图像，然后按照文物摄影测量采集方法对文物进行数字化图像采集，获得文物多视角图像。

作为本发明的进一步改进，所述步骤a1、反射分离具体为在表面存在光照的区域由于光源直射存在镜面反射，而暗部接收到的是漫反射光，呈现纯漫反射特性，物体表面的镜面反射部分由于混入了光源的颜色(白色)明度更高，将图像从RGB空间转化为HSV空间，则在梯度照明和其互补梯度照明图像中，饱和度更低的部分即可认为存在镜面反射：

ρ_s＝V_g-C_g/S_C

其中，V_g为HSV空间下梯度照明图像的明度，C_g是色度，S_C为互补梯度图像的饱和度，将梯度图像从sRGB颜色空间中转换为suv空间，使RGB空间下的白色分量和suv空间中的s分量对齐，色度保留在u,v分量中，进行漫反射的分离。

作为本发明的进一步改进，所述步骤a2、计算混合法线具体为在特定方向二元梯度照明下，法线分量和亮度成正比，通过获取到三个方向的梯度照明图像即可通过归一化计算法线，在梯度照明下，只有一半的光源处于照明状态，为了弥补曝光不足，获取反方向的梯度照明，获取到更加稳定的法线估计结果：

作为本发明的进一步改进，所述a3、计算镜面反射法线具体为镜面反射向量可以为：

其中，α＝ρ_d/(ρ_d+ρ_s)以相机光心为中心，在已知相机传感器尺寸大小和分辨率的情况下，可以获得每个像素的观察向量

其中，x,y分别是像素坐标，cx,cy是相机中心，s_x,s_y是相机传感器尺寸，W,H,f分别是相机分辨率和焦距，最终镜面反射法线计算为：

作为本发明的进一步改进，所述步骤b1、稀疏点云重建具体为完成此阶段计算任务的是运动结构恢复算法，输入是文物多视角图像数据集，输出是图像的内外参数和场景的三维点，采用COLMAP运动结构算法计算，经过特征提取和匹配生成场景图和匹配矩阵后，进行增量式重建。

作为本发明的进一步改进，所述步骤b2、密集点云重建具体为通过多视图立体(Multi View Stereo)的方式估计文物的密集点云，多视图立体以场景中多视角图像集和对应的相机参数作为输出，为场景估计稠密精细的三维点云，在视图选择策略上，仍然采用了全局式的视图选择策略，为了保证深度估计精度不受损失，采用了多尺度几何一致性引导的策略进行深度估计任务，先将图像降采样，对降采样之后的图像运用基于PatchMatch的MVS算法获取到原始深度估计值，然后将粗粒度的深度图上采样，将深度逐步传播，利用几何一致性确保深度传播准确，像素的深度描述为d_i(p)，相机参数为P_i＝[M_i|p_i]，将深度图重投影到三维空间中点X_i(p)为：

X_i(p)＝M_i ^-1·(d_i(p)·p-p_i)

在第i个假设参考图像I_ref与源图像I_j之间的重投影误差为：

△e_i,j＝min(||P_refX_j(P_j·X_ref(p))-p||,δ)

其中δ是截断阈值，用于增强重投影误差对遮挡的影响，几何一致性代价为：

作为本发明的进一步改进，所述步骤b3、法线深度优化具体为使用镜面反射下的法线图对相同视角下的深度图进行优化，降低深度图中的高频噪声，对于深度图D(x,y)，相机焦距为f_x,f_y则其在三维空间的表面点为：

现有梯度图像求解的法线N(x,y)，若该像素深度值正确，则该点的法线与切线应该垂直，在相机坐标系内，深度图D沿着x,y方向上的切线为：

对于整幅深度图而言，切线和法线垂直可以构建线性方程：

上式中的线性方程组是一个稀疏矩阵，可使用线性优化求解，使用一个参数λ平衡深度和法线的约束，当λ较大的时候，深度将接近原始估计，当λ较小的时候，结果更接近于表面法线。

作为本发明的进一步改进，所述步骤b4、网格重建具体为使用的点云由深度图投影融合而得，且相机位姿已在稀疏点云重建阶段获得，利用图像和位姿信息获得点云中点的可见性，结合可见性，对点云中稀疏和孔洞的部分可以进行有效的估计，弱支持表面网格重建算法先采用Delaunay网格划分先对点云进行曲面重建，得到初始网格模型，其次，为了对点云稀少部分进行网格重建，通过每个点的可见性计算各单元的权重S-T，使用GraphCut方法寻找权重最小的面片，获得孔洞补全的网格模型；

由于点云中存在稀疏部分，通过上述方法获得的网格模型中存在大块的三角面片，网格模型表面本身不够细致，泊松重建使用曲面点拟合的方法可以产生平滑且精细的模型，受益于三角剖分方法对弱支撑表面的重建，对三角剖分的网格进行采样，获得稠密点云，并估计点云法线，最后应用泊松重建，完成曲面重建。

作为本发明的进一步改进，所述步骤b5、纹理映射具体为采用基于马尔可夫随机场优化的纹理贴图算法，该算法包含两步：

首先通过构造马尔可夫随机场将视图选择问题转换为标签优化问题，为模型的每个三角面片选择最佳视图；

其次，通过全局纹理接缝颜色校正和基于泊松融合的局部纹理接缝颜色校正消除纹理块之间的颜色差异，最终，输出带有纹理贴图的文物三维模型。

与现有技术相比，本发明的有益效果是：

本发明利用球形照明框架产生二元球面梯度照明，求解文物表面法线，利用法线优化深度图，降低深度图中存在的高频噪声，其次，为解决文物中低纹理区域深度估计的问题，使用多尺度几何一致性约束的多视图立体，保证在少量视角下能够使用尽可能多的特征进行深度估计，为解决少量视角深度估计中存在孔洞和离群点导致网格重建表现能力不足的问题，提出先使用基于弱支持表面网格重建方法，获得初步的网格模型，该网格模型孔洞已经补全并且离群点的问题得到解决，然后使用泊松重建的方法获得平滑的网格模型。

附图说明

图1为本发明方法流程图；

图2为法线重建效果图和纹理模型重建效果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-2，本发明提供如下技术方案：一种基于法线优化的文物三维重建方法，本分割方法包括以下步骤：

S1、采集在三个方向的二元梯度照明的图像，获得文物多视角图像；

S2、根据梯度照明图像计算文物表面法线；

S3、使用文物多视角图像重建文物三维纹理模型；

其中步骤S2包括a1、反射分离，a2、计算混合法线，a3、计算镜面反射法线；

步骤S3包括b1、稀疏点云重建，b2、密集点云重建，b3、法线深度优化，b4、网格重建和b5、纹理映射。

通过采集二元梯度照明图像和文物的多视角图像，计算文物表面法线和深度图，使用法线优化深度图，得到文物原真三维模型。

具体的，本实施例基于法线优化的文物三维重建方法包括以下步骤：

在球形照明框架中采集在三个方向上分别产生方向上的二元梯度照明，当产生X照明模式时，所有x坐标大于0的光源均被点亮，x坐标不大于0的光源处于关闭状态，Y和Z的照明模式与X照明模式相同，一共需要采集6幅图像，然后按照文物摄影测量采集方法对文物进行数字化图像采集，获得文物多视角图像；

使用Dcraw处理RAW格式梯度图像，参数为-4，线性化图像；

在表面存在光照的区域由于光源直射存在镜面反射，而暗部接收到的是漫反射光，呈现纯漫反射特性，物体表面的镜面反射部分由于混入了光源的颜色(白色)明度更高，将图像从RGB空间转化为HSV空间，则在梯度照明和其互补梯度照明图像中，饱和度更低的部分即可认为存在镜面反射：

ρ_s＝V_g-C_g/S_C

其中，V_g为HSV空间下梯度照明图像的明度，C_g是色度，S_C为互补梯度图像的饱和度，将梯度图像从sRGB颜色空间中转换为suv空间，使RGB空间下的白色分量和suv空间中的s分量对齐，色度保留在u,v分量中，进行漫反射的分离；

在特定方向二元梯度照明下，法线分量和亮度成正比，通过获取到三个方向的梯度照明图像即可通过归一化计算法线，在梯度照明下，只有一半的光源处于照明状态，为了弥补曝光不足，获取反方向的梯度照明，获取到更加稳定的法线估计结果：

镜面反射向量可以为：

其中，α＝ρ_d/(ρ_d+ρ_s)以相机光心为中心，在已知相机传感器尺寸大小和分辨率的情况下，可以获得每个像素的观察向量

其中，x,y分别是像素坐标，cx,cy是相机中心，s_x,s_y是相机传感器尺寸，W,H,f分别是相机分辨率和焦距，最终镜面反射法线计算为：

完成此阶段计算任务的是运动结构恢复算法，输入是文物多视角图像数据集，输出是图像的内外参数和场景的三维点，采用COLMAP运动结构算法计算，经过特征提取和匹配生成场景图和匹配矩阵后，进行增量式重建；

通过多视图立体(Multi View Stereo)的方式估计文物的密集点云，多视图立体以场景中多视角图像集和对应的相机参数作为输出，为场景估计稠密精细的三维点云，在视图选择策略上，仍然采用了全局式的视图选择策略，为了保证深度估计精度不受损失，采用了多尺度几何一致性引导的策略进行深度估计任务，先将图像降采样，对降采样之后的图像运用基于PatchMatch的MVS算法获取到原始深度估计值，然后将粗粒度的深度图上采样，将深度逐步传播，利用几何一致性确保深度传播准确，像素的深度描述为d_i(p)，相机参数为P_i＝[M_i|p_i]，将深度图重投影到三维空间中点X_i(p)为：

X_i(p)＝M_i ^-1·(d_i(p)·p-p_i)

在第i个假设参考图像I_ref与源图像I_j之间的重投影误差为：

△e_i,j＝min(||P_refX_j(P_j·X_ref(p))-p||,δ)

其中δ是截断阈值，用于增强重投影误差对遮挡的影响，几何一致性代价为：

使用镜面反射下的法线图对相同视角下的深度图进行优化，降低深度图中的高频噪声，对于深度图D(x,y)，相机焦距为f_x,f_y则其在三维空间的表面点为：

现有梯度图像求解的法线N(x,y)，若该像素深度值正确，则该点的法线与切线应该垂直，在相机坐标系内，深度图D沿着x,y方向上的切线为：

对于整幅深度图而言，切线和法线垂直可以构建线性方程：

上式中的线性方程组是一个稀疏矩阵，可使用线性优化求解，使用一个参数λ平衡深度和法线的约束，当λ较大的时候，深度将接近原始估计，当λ较小的时候，结果更接近于表面法线；

使用的点云由深度图投影融合而得，且相机位姿已在稀疏点云重建阶段获得，利用图像和位姿信息获得点云中点的可见性，结合可见性，对点云中稀疏和孔洞的部分可以进行有效的估计，弱支持表面网格重建算法先采用Delaunay网格划分先对点云进行曲面重建，得到初始网格模型，其次，为了对点云稀少部分进行网格重建，通过每个点的可见性计算各单元的权重S-T，使用Graph Cut方法寻找权重最小的面片，获得孔洞补全的网格模型；

由于点云中存在稀疏部分，通过上述方法获得的网格模型中存在大块的三角面片，网格模型表面本身不够细致，泊松重建使用曲面点拟合的方法可以产生平滑且精细的模型，受益于三角剖分方法对弱支撑表面的重建，对三角剖分的网格进行采样，获得稠密点云，并估计点云法线，最后应用泊松重建，完成曲面重建；

采用基于马尔可夫随机场优化的纹理贴图算法，该算法包含两步：

首先通过构造马尔可夫随机场将视图选择问题转换为标签优化问题，为模型的每个三角面片选择最佳视图；

其次，通过全局纹理接缝颜色校正和基于泊松融合的局部纹理接缝颜色校正消除纹理块之间的颜色差异，最终，输出带有纹理贴图的文物三维模型。

如图2所示，为法线重建效果图和纹理模型重建效果图。从图中可见：根据梯度照明图像重建文物表面法线，使用法线对深度信息优化后，所重建的网格模型能较好恢复文物表面的起伏情况。

本发明采集文物多视角图像和梯度图像，使用梯度图像进行图像反射分离和表面法线计算，得到漫反射和镜面反射条件下文物表面法线，其次，使用运动结构恢复算法计算文物多视角图像内外参数和文物三维点，利用多尺度一致性引导的多视角立体算法计算图像的深度信息，使用法线图优化深度图，降低深度图中的高频噪声的影响，使用弱支持表面重建算法获得基础表面重建结果，优化密集点云中孔洞或稀疏部分，然后对表面进行均匀的点云采样，并使用泊松重建获得细节和平滑度兼具的网格模型，最后利用纹理映射算法完成纹理贴图工作。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (10)

1.一种基于法线优化的文物三维重建方法，其特征在于：本分割方法包括以下步骤：

S1、采集在三个方向的二元梯度照明的图像，获得文物多视角图像；

S2、根据梯度照明图像计算文物表面法线；

S3、使用文物多视角图像重建文物三维纹理模型；

其中步骤S2包括a1、反射分离，a2、计算混合法线，a3、计算镜面反射法线；

步骤S3包括b1、稀疏点云重建，b2、密集点云重建，b3、法线深度优化，b4、网格重建和b5、纹理映射。

2.根据权利要求1所述的一种基于法线优化的文物三维重建方法，其特征在于：所述步骤S1具体为在球形照明框架中采集在三个方向上分别产生方向上的二元梯度照明，当产生X照明模式时，所有x坐标大于0的光源均被点亮，x坐标不大于0的光源处于关闭状态，Y和Z的照明模式与X照明模式相同，一共需要采集6幅图像，然后按照文物摄影测量采集方法对文物进行数字化图像采集，获得文物多视角图像。

3.根据权利要求1所述的一种基于法线优化的文物三维重建方法，其特征在于：所述步骤a1、反射分离具体为在表面存在光照的区域由于光源直射存在镜面反射，而暗部接收到的是漫反射光，呈现纯漫反射特性，物体表面的镜面反射部分由于混入了光源的颜色(白色)明度更高，将图像从RGB空间转化为HSV空间，则在梯度照明和其互补梯度照明图像中，饱和度更低的部分即可认为存在镜面反射：

ρ_s＝V_g-C_g/S_C

其中，V_g为HSV空间下梯度照明图像的明度，C_g是色度，S_C为互补梯度图像的饱和度，将梯度图像从sRGB颜色空间中转换为suv空间，使RGB空间下的白色分量和suv空间中的s分量对齐，色度保留在u,v分量中，进行漫反射的分离。

4.根据权利要求1所述的一种基于法线优化的文物三维重建方法，其特征在于：所述步骤a2、计算混合法线具体为在特定方向二元梯度照明下，法线分量和亮度成正比，通过获取到三个方向的梯度照明图像即可通过归一化计算法线，在梯度照明下，只有一半的光源处于照明状态，为了弥补曝光不足，获取反方向的梯度照明，获取到更加稳定的法线估计结果：

5.根据权利要求1所述的一种基于法线优化的文物三维重建方法，其特征在于：所述a3、计算镜面反射法线具体为镜面反射向量可以为：

其中，α＝ρ_d/(ρ_d+ρ_s)以相机光心为中心，在已知相机传感器尺寸大小和分辨率的情况下，可以获得每个像素的观察向量

其中，x,y分别是像素坐标，cx,cy是相机中心，s_x,s_y是相机传感器尺寸，W,H,f分别是相机分辨率和焦距，最终镜面反射法线计算为：

6.根据权利要求1所述的一种基于法线优化的文物三维重建方法，其特征在于：所述步骤b1、稀疏点云重建具体为完成此阶段计算任务的是运动结构恢复算法，输入是文物多视角图像数据集，输出是图像的内外参数和场景的三维点，采用COLMAP运动结构算法计算，经过特征提取和匹配生成场景图和匹配矩阵后，进行增量式重建。

7.根据权利要求1所述的一种基于法线优化的文物三维重建方法，其特征在于：所述步骤b2、密集点云重建具体为通过多视图立体(Multi View Stereo)的方式估计文物的密集点云，多视图立体以场景中多视角图像集和对应的相机参数作为输出，为场景估计稠密精细的三维点云，在视图选择策略上，仍然采用了全局式的视图选择策略，为了保证深度估计精度不受损失，采用了多尺度几何一致性引导的策略进行深度估计任务，先将图像降采样，对降采样之后的图像运用基于PatchMatch的MVS算法获取到原始深度估计值，然后将粗粒度的深度图上采样，将深度逐步传播，利用几何一致性确保深度传播准确，像素的深度描述为d_i(p)，相机参数为P_i＝[M_i|p_i]，将深度图重投影到三维空间中点X_i(p)为：

X_i(p)＝M_i ^-1·(d_i(p)·p-p_i)

在第i个假设参考图像I_ref与源图像I_j之间的重投影误差为：

△e_i,j＝min(||P_refX_j(P_j·X_ref(p))-p||,δ)

其中δ是截断阈值，用于增强重投影误差对遮挡的影响，几何一致性代价为：

8.根据权利要求1所述的一种基于法线优化的文物三维重建方法，其特征在于：所述步骤b3、法线深度优化具体为使用镜面反射下的法线图对相同视角下的深度图进行优化，降低深度图中的高频噪声，对于深度图D(x,y)，相机焦距为f_x,f_y则其在三维空间的表面点为：

现有梯度图像求解的法线N(x,y)，若该像素深度值正确，则该点的法线与切线应该垂直，在相机坐标系内，深度图D沿着x,y方向上的切线为：

对于整幅深度图而言，切线和法线垂直可以构建线性方程：

上式中的线性方程组是一个稀疏矩阵，可使用线性优化求解，使用一个参数λ平衡深度和法线的约束，当λ较大的时候，深度将接近原始估计，当λ较小的时候，结果更接近于表面法线。

9.根据权利要求1所述的一种基于法线优化的文物三维重建方法，其特征在于：所述步骤b4、网格重建具体为使用的点云由深度图投影融合而得，且相机位姿已在稀疏点云重建阶段获得，利用图像和位姿信息获得点云中点的可见性，结合可见性，对点云中稀疏和孔洞的部分可以进行有效的估计，弱支持表面网格重建算法先采用Delaunay网格划分先对点云进行曲面重建，得到初始网格模型，其次，为了对点云稀少部分进行网格重建，通过每个点的可见性计算各单元的权重S-T，使用Graph Cut方法寻找权重最小的面片，获得孔洞补全的网格模型；

由于点云中存在稀疏部分，通过上述方法获得的网格模型中存在大块的三角面片，网格模型表面本身不够细致，泊松重建使用曲面点拟合的方法可以产生平滑且精细的模型，受益于三角剖分方法对弱支撑表面的重建，对三角剖分的网格进行采样，获得稠密点云，并估计点云法线，最后应用泊松重建，完成曲面重建。

10.根据权利要求1所述的一种基于法线优化的文物三维重建方法，其特征在于：所述步骤b5、纹理映射具体为采用基于马尔可夫随机场优化的纹理贴图算法，该算法包含两步：

首先通过构造马尔可夫随机场将视图选择问题转换为标签优化问题，为模型的每个三角面片选择最佳视图；

其次，通过全局纹理接缝颜色校正和基于泊松融合的局部纹理接缝颜色校正消除纹理块之间的颜色差异，最终，输出带有纹理贴图的文物三维模型。