CN114022542A - 一种基于三维重建的3d数据库制作方法 - Google Patents

Abstract

本发明涉及一种基于三维重建的3D数据库制作方法，包括获取目标物体不同角度的图像，建立边界框模型和物体等比例模型；对图像进行三维重建，获取图像的点云、相机外参和相机内参；将边界框模型和物体等比例模型导入图像的点云中，改变边界框模型的参数使其正好包含目标物体的点云，读取此时边界框模型八个顶点的三维坐标，作为初始三维坐标；改变物体等比例模型的大小和位姿，使其与目标物体的点云重合，读取此时物体等比例模型的表面坐标；根据相机模型函数，得到像素坐标，并生成mask图；将初始三维坐标、mask图和像素坐标与目标物体信息录入数据库中。与现有技术相比，本发明具有灵活性更强、精度高等优点。

Description

一种基于三维重建的3D数据库制作方法

技术领域

本发明涉及计算机视觉领域，尤其是涉及一种基于三维重建的3D数据库制作方法。

背景技术

随着工业的发展，视觉系统在工业生产环境中起到了关键的作用，生产环境下往往需要机器人或机械臂自动完成目标零件的识别与准确定位并进行抓取、零件焊接、喷漆等操作。近年来基于视觉的位姿估计也日益兴起，尤其是基于深度学习的位姿估计方法，相较于传统方法在精度和速度方面都表现的更加优异。这类技术往往需要基于大量的数据进行，主要包括图像及每张图像对应的目标物体的像素坐标，与传统的2D标注不同，针对位姿估计的目标数据标注指的是包围物体的立方体框的顶点在图像中的坐标，即至少八个空间点的坐标。

在实际工业检测领域，制作大量的高质量训练数据耗费时间，且成本高昂，尤其是通过人工测量的方法计算得到物体的真实位姿，该方法往往配合传感器使用，需要较大的人力和物力，且得到的位姿与真实位姿存在一定的差异。利用3D软件渲染目标物体来得到其对应的位姿等真值，该方法得到的位姿较为精确，但虚拟场景下的物体与真实场景的物体存在差异，难以模仿真实的应用场景。

此外，目前现有的公开数据库如Rigid Pose数据库针对物体十分有限，无法完全提供真实场景下的任意目标物体信息，难以满足工业生产的需求。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于三维重建的3D数据库制作方法。

本发明的目的可以通过以下技术方案来实现：

一种基于三维重建的3D数据库制作方法，包括以下步骤：

S1、使用相机获取目标物体不同角度的视频，并按帧提取图像，根据目标物体实际大小建立边界框模型和物体等比例模型；

S2、对图像进行三维重建，获取图像的点云、相机外参和相机内参；

S3、将S1中得到的边界框模型和物体等比例模型导入图像的点云中，改变边界框模型的参数使其正好包含目标物体的点云，读取此时边界框模型八个顶点的三维坐标，作为初始三维坐标；

S4、改变物体等比例模型的大小和位姿，使其与目标物体的点云重合，读取此时物体等比例模型的表面坐标；

S5、根据相机模型函数，结合初始三维坐标、模型表面坐标、相机外参和相机内参，得到像素坐标并生成mask图；

S6、将初始三维坐标、mask图、物体像素坐标和目标物体的类型录入数据库中。

进一步地，所述图像的点云的获取步骤包括：获取稀疏点云，并根据稀疏点云获取稠密点云作为图像的点云。

进一步地，所述稀疏点云获取步骤如下：

A1、提取所有图像的特征点坐标，匹配所有图像之间的特征点，并使用随机抽样一致性法去除错误的匹配对；

A2、使用约束矩阵，获取相机基线最大的匹配的特征点，作为最大像对；

A3、根据最大像对的坐标，使用随机抽样一致性八点法计算本征矩阵；

A4、分解所述本征矩阵得到相机位姿；

A5、根据特征点坐标和相机位姿，计算得到三维点坐标，将三维点坐标和相机位姿代入误差投影方程，使用光束法平差法对三维点坐标和相机位姿进行优化，将优化后的三维点坐标组合得到稀疏点云，将优化后的相机位姿设为相机外参。

进一步地，步骤A2中的约束矩阵使用表达式如下：

其中，F表示约束矩阵，x',y',z'和x,y,z表示两帧图像的特征点坐标。

进一步地，所述稠密点云获取步骤如下：

利用多视角立体视觉生产系统，输入稀疏点云中得到的相机外参和整体图像，获取稠密点云。

进一步地，特征点的类别包括FAST角点、SIFT角点、ORB角点和Harris角点。

进一步地，误差投影方程表达式如下：

式中，g(C,X)表示最小化重投影方程，其参数表示所有待优化的三维点坐标X和所有相机位姿C，n表示共选取了几帧的图像，m表示稀疏点云中三维点的数量，q_ij表示第j个三维点在第i帧图像中对应的特征点的像素坐标，P(C_i,X_j)表示第j个三维点X_j结合第i个相机位姿C_i在第i帧图像的投影坐标，其中当X_j在第i帧图像有投影时ω_ij＝1，否则ω_ij＝0。

进一步地，使用ICP匹配算法改变物体等比例模型的位姿。

进一步地，所述相机为单目相机。

进一步地，所述相机模型函数表达式如下：

式中，K表示相机内参，R、T表示相机外参，Z_c表示K(RP_W+T)在z方向的坐标，P_W表示表面坐标或边界框顶点坐标；

当Pw表示边界框顶点坐标时，计算得到的u，v表示物体像素坐标；

当Pw表示表面坐标时，计算得到的u，v表示物体mask图的所有坐标。

与现有技术相比，本发明具有以下优点：

1、本发明通过对真实场景中的物体进行图像提取、建立模型以及三维重建，通过各级函数计算获取像素坐标等数据库相关信息，该方可对任何物体进行数据库建立，适用范围广，精确度高。

2、本发明在点云建立时先根据图像特征建立稀疏点云后建立稠密点云，进一步确保了图像信息提取的精确度。

附图说明

图1为本发明的流程示意图。

图2为本发明获取的目标图像示意图。

图3为本发明创建的边框模型示意图。

图4为本发明创建的物体等比例模型示意图。

图5a为本发明某一帧图像提取特征点的示意图

图5b为本发明另一帧图像提取特征点的示意图。

图6为本发明特征点匹配示意图。

图7为本发明使用随机抽样一致性方法后的匹配示意图。

图8为本发明的稀疏点云示意图。

图9为本发明的稠密点云示意图。

图10为边框模型包括目标物体点云示意图。

图11为物体等比例模型与目标物体点云重合示意图。

图12为本发明像素坐标标注示意图。

图13为本发明生成的mask图示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本实施例提供了一种基于三维重建的3D数据库制作方法，流程如图1所示，具体包括以下步骤：

步骤S1、使用相机作为视觉传感器，拍摄带有目标物体的视频，相机可选用单目相机、双目相机或深度相机，因为在本发明所使用的三维重建步骤中，仅需要输入无序的图片且无需提前提供相机的外参和内参，因此在选取图片时优选单目相机，操作简便且处理速度较快。拍摄视频后对视频的图像进行提取，可通过单帧拍摄的方式获取或者通过按帧截取视频流的方式得到。尽量使得每两帧图像之间有大于30％的重叠区域，图像的旋转角度在30度至45度之间，且物体的每一个点至少能被三帧的图像观测到，采集到的图像如图1所示。

除此之外，还需对目标物体进行模型准备，根据目标物体的实际参数，使用使用3D软件制作合适的镂空长方体模型作为边界框，制作等比例模型用于生成mask图。边界框模型和物体等比例模型分别如图3和图4所示。

步骤S2、对图像进行三维重建，在计算机视觉中，三维重建是指基于对环境或者物体的一系列不同视角的照片，通过特定流程的处理，获得环境或者物体的三维模型。三维重建的具体步骤可如下所示：

首先，提取图像的特征点，特征提取的目的是为了以少量信息描述一张图像，后续能够尽可能准确、稳定地估计出相机的运动，提取的特征点的类别可以是FAST，SIFT，ORB，Harris角点等，第1帧的特征提取结果和第2帧的特征提取结果如图5a和图5b所示。

然后对所有图像提取的特征点进行匹配，匹配关系图如图6所示，特征匹配是根据特征点的相似度，查找两张图片的特征点的对应关系，匹配后，需要通过随机抽样一致性法去除错误的匹配对，去除后的匹配关系图如图7所示。

获得初始的匹配关系后，需要添加几何约束矩阵，该几何约束完全依赖于场景中的客观事实。可以通过基本矩阵F将匹配好的两帧图像之间的像素坐标(x,y),(x’,y’)进行关联，符合条件的匹配对像素坐标需要满足以下公式：

约束后，获取相机基线最大的匹配的特征点，作为最大像对，并根据最大像对的像素坐标，使用随机抽样一致性八点法计算本征矩阵。

得到本征矩阵后，分解得到相机位姿R、T，其中R代表旋转信息，T代表位移。

对图像进行畸变校正，根据校正后的特征点坐标和相机位姿，计算得到三维点坐标，将三维点坐标和相机位姿代入误差投影方程，误差投影的目标优化方程表达式如下：

式中，g(C,X)为最小化重投影方程，其参数为所有待优化的三维点X和所有相机位姿C，n表示共选取了几帧的图像，m表示稀疏点云中三维点的数量，q_ij表示第j个三维点在第i帧图像中对应的特征点的像素坐标，P(C_i,X_j)表示第j个三维点X_j结合第i个相机位姿C_i在第i帧图像的投影坐标，其中当X_j在第i帧有投影时ω_ij＝1，否则ω_ij＝0。使用光束法平差法对三维点坐标和相机位姿进行优化，将优化后的三维点坐标组合得到稀疏点云，优化后的相机位姿R和T即为相机外参，如图8所示，其中顶部的三角形状为相机外参的示意图。

获取稀疏点云后，利用多视角立体视觉生产系统，输入稀疏点云中得到的相机外参和整体图像，获取稠密点云作为图像的点云，如图9所示。

步骤S3、将步骤S1中得到的边界框模型和物体等比例模型转化为STL格式，使用cloudcompare等点云辅助工具导入到点云中。调节边界框模型的大小和位姿，使其刚好包含目标物体，如图10所示，并读取此时的边界框八个定点坐标，作为目标物体的初始三维坐标。

步骤S4、改变物体等比例模型的大小，使其和目标物体的点云大小一致，并通过ICP匹配算法改变物体等比例模型的位姿，使其与目标物体点云重合，调整后的模型如图11所示。STL格式的模型表示的表面是由封闭且相连的若干三角形组成，读取所有三角形的顶点坐标作为表面坐标，所有三角形内部的点的集合代表目标物体的表面。

步骤S5、根据相机模型函数，表达式如下：

式中，K表示相机内参，R、T表示相机外参，P_W可表示初始三维坐标或表面坐标，Z_c表示K(RP_W+T)的z方向的坐标计算；当P_W表示为初始三维坐标时，得到的u，v表示物体像素坐标，物体像素坐标的标注结果如图12所示。

当P_W表示表面坐标时，得到的u，v表示物体mask图的坐标。分别调整物体mask图坐标的像素以及图像中剩余坐标的像素，从而生成mask图，如图13所示。

步骤S6、将初始三维坐标、mask图、物体像素坐标和目标物体的类型录入数据库中。至此完成数据库的制作。

本实施例通过对真实场景中的物体进行图像提取、建立模型以及三维重建，通过各级函数计算获取像素坐标等数据库相关信息，该方可对任何物体进行数据库建立，适用范围广，精确度高。

本实施例又提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中提到的基于三维重建的3D数据库制作方法，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于三维重建的3D数据库制作方法，其特征在于，包括以下步骤：

S1、使用相机获取目标物体不同角度的视频，并按帧提取图像，根据目标物体实际大小建立边界框模型和物体等比例模型；

S2、对图像进行三维重建，获取图像的点云、相机外参和相机内参；

S3、将S1中得到的边界框模型和物体等比例模型导入图像的点云中，改变边界框模型的参数使其正好包含目标物体的点云，读取此时边界框模型八个顶点的三维坐标，作为初始三维坐标；

S4、改变物体等比例模型的大小和位姿，使其与目标物体的点云重合，读取此时物体等比例模型的表面坐标；

S5、根据相机模型函数，结合初始三维坐标、模型表面坐标、相机外参和相机内参，得到像素坐标并生成mask图；

S6、将初始三维坐标、mask图、物体像素坐标和目标物体的类型录入数据库中。

2.根据权利要求1所述的一种基于三维重建的3D数据库制作方法，其特征在于，所述图像的点云的获取步骤包括：获取稀疏点云，并根据稀疏点云获取稠密点云作为图像的点云。

3.根据权利要求2所述的一种基于三维重建的3D数据库制作方法，其特征在于，所述稀疏点云获取步骤如下：

A1、提取所有图像的特征点坐标，匹配所有图像之间的特征点，并使用随机抽样一致性法去除错误的匹配对；

A2、使用约束矩阵，获取相机基线最大的匹配的特征点，作为最大像对；

A3、根据最大像对的坐标，使用随机抽样一致性八点法计算本征矩阵；

A4、分解所述本征矩阵得到相机位姿；

A5、根据特征点坐标和相机位姿，计算得到三维点坐标，将三维点坐标和相机位姿代入误差投影方程，使用光束法平差法对三维点坐标和相机位姿进行优化，将优化后的三维点坐标组合得到稀疏点云，将优化后的相机位姿设为相机外参。

4.根据权利要求3所述的一种基于三维重建的3D数据库制作方法，其特征在于，步骤A2中的约束矩阵使用表达式如下：

其中，F表示约束矩阵，x',y',z'和x,y,z表示两帧图像的特征点坐标。

5.根据权利要求2所述的一种基于三维重建的3D数据库制作方法，其特征在于，所述稠密点云获取步骤如下：

利用多视角立体视觉生产系统，输入稀疏点云中得到的相机外参和整体图像，获取稠密点云。

6.根据权利要求2所述的一种基于三维重建的3D数据库制作方法，其特征在于，特征点的类别包括FAST角点、SIFT角点、ORB角点和Harris角点。

7.根据权利要求2所述的一种基于三维重建的3D数据库制作方法，其特征在于，误差投影方程表达式如下：

式中，g(C,X)表示最小化重投影方程，其参数表示所有待优化的三维点坐标X和所有相机位姿C，n表示共选取了几帧的图像，m表示稀疏点云中三维点的数量，q_ij表示第j个三维点在第i帧图像中对应的特征点的像素坐标，P(C_i,X_j)表示第j个三维点X_j结合第i个相机位姿C_i在第i帧图像的投影坐标，其中当X_j在第i帧图像有投影时ω_ij＝1，否则ω_ij＝0。

8.根据权利要求1所述的一种基于三维重建的3D数据库制作方法，其特征在于，使用ICP匹配算法改变物体等比例模型的位姿。

9.根据权利要求1所述的一种基于三维重建的3D数据库制作方法，其特征在于，所述相机为单目相机。

10.根据权利要求1所述的一种基于三维重建的3D数据库制作方法，其特征在于，所述相机模型函数表达式如下：

式中，K表示相机内参，R、T表示相机外参，Z_c表示K(RP_w+T)在z方向的坐标，P_W表示表面坐标或边界框顶点坐标；

当Pw表示边界框顶点坐标时，计算得到的u，v表示物体像素坐标；

当Pw表示表面坐标时，计算得到的u，v表示物体mask图的所有坐标。

Images