CN111899345A - 一种基于2d视觉图像的三维重建方法 - Google Patents

Abstract

本发明公开了一种基于2D视觉图像的三维重建方法，包括：利用相机采集序列图像；对任一图像进行特征点提取，并求得任一图像对应的描述子；根据图像的描述子之间的汉明距离并确定匹配对；根据图像的匹配对上的特征点求得图像帧的旋转R和平移t；根据相邻帧的图像的旋转R和平移t，求得匹配对的重投影误差，并优化旋转R和平移t；将优化后的旋转R和平移t作为输入，并提取图像帧边缘点并最优化光度误差，从而匹配边缘点；对匹配上的边缘点进行三角测量从而得到稠密三维点云，以实现三维重建。通过上述方案，本发明具有逻辑简单、重建可靠、适应能力强等优点，在图像处理技术领域具有很高的实用价值和推广价值。

Description

一种基于2D视觉图像的三维重建方法

技术领域

本发明涉及图像处理技术领域，尤其是一种基于2D视觉图像的三维重建方法。

背景技术

三维重建是计算机视觉领域的核心研究内容之一，输入为视觉图像或激光点云等传感器信息，其通过获取这些连续图像或激光点云的潜在信息，根据算法模型，最终输出目标区域的三维地图和传感器行径轨迹。

目前，现有技术中已经存在很多有效的三维重建算法，但大部分是通过激光雷达和深度相机获取的，但由于传感器体积和成本的限制，很多情况下只能使用普通的2D相机获取图像信息，而现有的基于2D视觉图像的三维重建算法得到的点云地图都过于稀疏或适应性不强导致地图不连续。因此，如何将使用 2D视觉图像生成稠密的三维地图且对环境的适应性较强仍是一大研究挑战，其研究成果也具有很高的应用价值。

现有技术中也有三维重建相关算法，如专利申请号为“201711283596.0”、名称为“一种面向深度相机的高精度三维重建方法和系统”的中国发明专利，其根据深度相机从不同角度获取真实场景的多对图像，每对图像包括彩色图像和深度图像；根据特征点检测算法获取各彩色图像上的二维特征点和特征描述子，计算任意两个彩色图像分别对应的特征描述子之间的置信度，获取特征匹配关系；根据各特征匹配关系及对应的深度图像，获取对应的三维图像，将二维特征点反投影到相机坐标系下，获取三维图像上的三维点；根据二维特征点和三维点计算摄像机的绝对姿态；根据摄像机的绝对姿态，将三维点映射到所述相机坐标系下，获取场景的初始三维模型。其输入为深度相机，其缺陷是输入必须使用深度相机，若使用普通2D视觉图像则无法完成三维重建。而深度相机成本较普通2D相机贵很多，且对室外场景适应性不强。

另外，如专利申请号“201910267055.1”、名称为“一种基于点线特征快速融合的重建方法”的中国发明专利，其包含以下步骤。视频预处理，将视频截取为图像并进行焦距提取，下采样等预处理，以降低重建复杂度；点特征匹配，采用尺度不变特征变换进行点特征的提取和匹配；线特征由粗到细快速匹配，使用线段分割检测器特征进行线特征的提取和描述，通过对线段描述子进行暴力匹配、运动估计、汉明距离阈值判断和长度筛选四个步骤，获得图像线段特征匹配对；点线特征融合，将最终的线段特征匹配对转换为像素点，并与已经存在的点特征像素坐标位置进行分析，删除重复点后融合线段像素点与点特征；计算相机外姿和三维点云，使用最终图像点线特征匹配对，计算本质矩阵，求解相机外姿，三角化求解三维点云，并利用光束平差法优化结果。其使用的仍然是特征点法为主，产生的是稀疏重建，其缺陷在于只能得到稀疏的点云，特征点和线段的特征的个数较少，重建不准确。

不仅如此，如专利申请号“201910799527.8”、名称为“基于室内移动目标背景修复的三维重建方法”的中国发明专利，其具体步骤为：(1)获取待重建室内场景的RGB图像序列和深度图像序列；(2)获取每幅RGB图像的目标区域；(3)对RGB图像序列中相邻帧进行特征匹配；(4)计算拍摄相邻帧时深度相机位姿变换的旋转矩阵和平移向量；(5)确定每幅RGB图像中的移动目标所在区域；(6)对每幅RGB图像的移动目标区域中的移动目标所遮挡的静态背景进行修复；(7)获取三维重建结果。其主要针对的是移动背景的修复；其缺陷在于基于现有的三维重建方法上对于动态的物体进行修复，而不是一个可靠的三维重建方法，文中采用的仍是现有的只能得到稀疏点云的特征点法。

因此，急需要提出一种逻辑简单、重建可靠的基于2D视觉图像的三维重建方法。

发明内容

针对上述问题，本发明的目的在于提供一种基于2D视觉图像的三维重建方法，本发明采用的技术方案如下：

一种基于2D视觉图像的三维重建方法，包括以下步骤：

利用相机采集序列图像；

对任一图像进行特征点提取，并求得任一图像对应的描述子；

根据图像的描述子之间的汉明距离并确定匹配对；

根据图像的匹配对上的特征点求得图像帧的旋转R和平移t；

根据相邻帧的图像的旋转R和平移t，求得匹配对的重投影误差，并优化旋转R和平移t；

将优化后的旋转R和平移t作为输入，并提取图像帧边缘点并最优化光度误差，从而匹配边缘点；

对匹配上的边缘点进行三角测量从而得到稠密三维点云，以实现三维重建。

优选地，所述利用相机采集序列图像，采用数个相机并以不低于30帧/秒的速度对目标区域进行图像采集。

进一步地，所述基于2D视觉图像的三维重建方法，还包括配置惯性测量单元或GPS模块获取相机拍摄的图像的位置。

进一步地，所述对任一图像进行特征点提取，并求得任一图像对应的描述子，其表达式为：

其中，p(x)和p(y)为分别点x和点y的像素值，n表示特征点对数，f(m)表示描述子。

进一步地，所述根据图像的匹配对上的特征点求得图像帧的旋转R和平移t，其表达式为：

其中，E表示本质矩阵，F表示基础矩阵，K表示相机内参矩阵，x₁和x₂是特征点的归一化坐标，p₁和p₂是特征点的像素坐标。

进一步地，所述得匹配对的重投影误差e_ij，其表达式为：

其中，p_i表示第i点的像素值，p_j表示第j点的像素值，R_i表示第i点的旋转，t_i表示第i点的平移。

进一步地，所述提取图像帧边缘点并最优化光度误差，其表达式为：

其中，E_pj表示需要求解的最小化能量方程，ω_p表示权重函数，c表示常数，其取1.2，

表示点p的梯度，N_P表示边缘点周围的8个点，(I_j[p_j])表示点p的在图像I中的像素值，a和b分别表示需要求解的两个变量，其为物体本身的光度值，t'表示图像的曝光时间，|| ||_γ为Huber惩罚函数。

与现有技术相比，本发明具有以下有益效果：

(1)本发明是根据基于特征点的VSLAM方法，其可以得到相对精确的相机运动轨迹，从而得到两帧之间的转移矩阵，再提取图像的边缘点，根据像素值进行优化求解，对匹配上的边缘点进行三角测量从而得到三维坐标，形成稠密点云图；

(2)本发明通过先使用特征点得到精确稳定轨迹，再通过具有创新的边缘点匹配过程得到稠密的点云；

(3)本发明通过使用边缘点即梯度较大的点来进行点跟踪和最终的地图点云生成，将更多的点添加到优化方程中而不是只使用传统的少数特征点，使最后生成的点云地图更加地稠密；针对使用边缘点算法的不稳定性，首先使用更精确的特征点算法进行轨迹跟踪，再将得到的精确轨迹作为输入，作为边缘点算法的优化初始值进行优化，保证整体算法的场景适应性；

综上所述，本发明具有逻辑简单、重建可靠、适应能力强等优点，在图像处理技术领域具有很高的实用价值和推广价值。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需使用的附图作简单介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对保护范围的限定，对于本领域技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的逻辑流程图。

图2为本发明的三维重建效果图和实景图。

具体实施方式

为使本申请的目的、技术方案和优点更为清楚，下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例

如图1至图2所示，本实施例提供了一种基于2D视觉图像的三维重建方法，其包括以下步骤：

第一步，使用相机以不低于30帧/秒的速度对目标区域进行图像采集，相机可以是单个或多个，也可以配备IMU或小型GPS获取数据做融合；

第二步，使用常用的特征点法对连续图像进行轨迹推导，首先对图像进行特征点提取，本发明对图像进行ORB特征点提取，并计算具有包含方向信息的 BRIEF描述子：选取特征点周围16*16大小的像素块，随机选择n对像素点根据式1计算出一个值，并根据式2得到最终的描述子f(m)，其中p(x)和p(y)为分别点x和点y的像素值；

第三步，对前后两帧图像中的特征点进行匹配，计算汉明距离，若汉明距离小于阈值50，则认为特征点匹配上；

第四步，根据式3对前后帧图像的多个匹配点进行Ransac基础矩阵F或本质矩阵E求解，从而还原成两帧之间的相对运动即旋转R和平移t。其中K是相机内参矩阵，x₁和x₂是特征点的归一化坐标，p₁和p₂是特征点的像素坐标；

第五步，两帧之间得到R,t后，每一对匹配上的点都存在一个重投影误差 e_ij。而对所有的重投影求和后进行非线性优化，则可以得到更精确的R，t，如式4所示；

第六步，将以上得到连续R,t记录下来可以得到整个相机运动过程的精确轨迹，后续作为输入以便优化得到更多的稠密点云；

第七步，提取两帧之间的边缘点，即梯度较大的点作为备选点，根据步骤 1-6得到的R，t，对两帧之间的匹配点进行配对，配对优化关系不再是上述的特征点配对的像素点位置，而是像素点的像素值，如式5所示。其中E_pj就是需要求解的最小化能量方程，ω_p为一个权重函数，如式6所示，c为一个常数，本发明里取1.2，

为点p的梯度。N_P表示边缘点周围的8个点，增强稳定性，(I_j[p_j])代表点p的在图像I中的像素值，a和b分别是需要求解的两个变量，代表了物体本身的光度值，t'代表图像的曝光时间，|| ||_γ是Huber惩罚函数；

第八步，对于每一个步骤7中匹配上的边缘点，和两帧图像的R,t都可以使用三角测量的方法得到三维点的坐标，从而生成稠密点云。

上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而作出的变化，均应属于本发明的保护范围之内。

Claims (7)

1.一种基于2D视觉图像的三维重建方法，其特征在于，包括以下步骤：

利用相机采集序列图像；

对任一图像进行特征点提取，并求得任一图像对应的描述子；

根据图像的描述子之间的汉明距离并确定匹配对；

根据图像的匹配对上的特征点求得图像帧的旋转R和平移t；

根据相邻帧的图像的旋转R和平移t，求得匹配对的重投影误差，并优化旋转R和平移t；

将优化后的旋转R和平移t作为输入，并提取图像帧边缘点并最优化光度误差，从而匹配边缘点；

对匹配上的边缘点进行三角测量从而得到稠密三维点云，以实现三维重建。

2.根据权利要求1所述的一种基于2D视觉图像的三维重建方法，其特征在于，所述利用相机采集序列图像，采用数个相机并以不低于30帧/秒的速度对目标区域进行图像采集。

3.根据权利要求2所述的一种基于2D视觉图像的三维重建方法，其特征在于，还包括配置惯性测量单元或GPS模块获取相机拍摄的图像的位置。

4.根据权利要求1所述的一种基于2D视觉图像的三维重建方法，其特征在于，所述对任一图像进行特征点提取，并求得任一图像对应的描述子，其表达式为：

其中，p(x)和p(y)为分别点x和点y的像素值，n表示特征点对数，f(m)表示描述子。

5.根据权利要求1所述的一种基于2D视觉图像的三维重建方法，其特征在于，所述根据图像的匹配对上的特征点求得图像帧的旋转R和平移t，其表达式为：

其中，E表示本质矩阵，F表示基础矩阵，K表示相机内参矩阵，x₁和x₂是特征点的归一化坐标，p₁和p₂是特征点的像素坐标。

6.根据权利要求1所述的一种基于2D视觉图像的三维重建方法，其特征在于，所述得匹配对的重投影误差e_ij，其表达式为：

其中，p_i表示第i点的像素值，p_j表示第j点的像素值，R_i表示第i点的旋转，t_i表示第i点的平移。

7.根据权利要求1所述的一种基于2D视觉图像的三维重建方法，其特征在于，所述提取图像帧边缘点并最优化光度误差，其表达式为：

其中，E_pj表示需要求解的最小化能量方程，ω_p表示权重函数，c表示常数，其取1.2，

表示点p的梯度，N_P表示边缘点周围的8个点，(I_j[p_j])表示点p的在图像I中的像素值，a和b分别表示需要求解的两个变量，其为物体本身的光度值，t'表示图像的曝光时间，|| ||_γ为Huber惩罚函数。

Images