CN113223163A - 点云地图构建方法及装置、设备、存储介质 - Google Patents
点云地图构建方法及装置、设备、存储介质 Download PDFInfo
- Publication number
- CN113223163A CN113223163A CN202110470497.3A CN202110470497A CN113223163A CN 113223163 A CN113223163 A CN 113223163A CN 202110470497 A CN202110470497 A CN 202110470497A CN 113223163 A CN113223163 A CN 113223163A
- Authority
- CN
- China
- Prior art keywords
- calibration plate
- camera
- camera pose
- plate image
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 75
- 238000011084 recovery Methods 0.000 claims abstract description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 17
- 239000011159 matrix material Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例公开了点云地图构建及装置、设备、存储介质；其中，所述方法包括：利用标定板中的标定码在物理空间的实际尺寸和样本图像序列中的至少3帧标定板图像，进行相机内参标定，得到相机内参；根据所述相机内参和所述标定板图像，确定所述标定板图像的第一相机位姿；利用所述样本图像序列进行地图重建，得到无尺度的点云地图和每一所述样本图像的第二相机位姿；根据每一所述标定板图像对应的第一相机位姿和第二相机位姿，对所述无尺度的点云地图进行尺度恢复，得到有尺度的点云地图。
Description
技术领域
本申请实施例涉及计算机视觉技术，涉及但不限于点云地图构建方法及装置、设备、存储介质。
背景技术
同步定位与地图构建(Simultaneous Localization And Mapping，SLAM)，是指搭载特定传感器的主体，在没有环境先验知识的情况下，在运动过程中建立环境的模型，同时估计自己的运动。如果这里的传感器主要为相机，那么称为“视觉SLAM”。视觉SLAM在移动机器人、无人飞行器、自主驾驶、虚拟现实以及增强现实等领域有着广泛的应用。因此，获得更为接近真实尺度的点云地图在这些领域具有重要价值。
发明内容
有鉴于此，本申请实施例提供的点云地图构建方法及装置、设备、存储介质，能够获得更为接近真实尺度的点云地图。本申请实施例提供的点云地图构建方法及装置、设备、存储介质是这样实现的：
本申请实施例提供的点云地图构建方法，包括：利用标定板中的标定码在物理空间的实际尺寸和样本图像序列中的至少3帧标定板图像，进行相机内参标定，得到相机内参；根据所述相机内参和所述标定板图像，确定所述标定板图像的第一相机位姿；利用所述样本图像序列进行地图重建，得到无尺度的点云地图和每一所述样本图像的第二相机位姿；根据每一所述标定板图像对应的第一相机位姿和第二相机位姿，对所述无尺度的点云地图进行尺度恢复，得到有尺度的点云地图；
如此，由于基于相机内参和所述标定板图像能够得到更为接近真实尺度的第一相机位姿，进而能够获得更为接近真实尺度的点云地图，即有尺度的点云地图。
本申请实施例提供的点云地图构建装置，包括：相机标定模块，用于利用标定板中的标定码在物理空间的实际尺寸和样本图像序列中的至少3帧标定板图像，进行相机内参标定，得到相机内参；确定模块，用于根据所述相机内参和所述标定板图像，确定所述标定板图像的第一相机位姿；地图重建模块，用于利用所述样本图像序列进行地图重建，得到无尺度的点云地图和每一所述样本图像的第二相机位姿；尺度恢复模块，用于根据每一所述标定板图像对应的第一相机位姿和第二相机位姿，对所述无尺度的点云地图进行尺度恢复，得到有尺度的点云地图。
本申请实施例提供的电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例所述的方法。
本申请实施例提供的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例提供的所述的方法。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1为本申请实施例提供的点云地图构建方法的实现流程示意图；
图2A为本申请实施例图像采集场景示意图；
图2B为本申请实施例所述至少3帧标定板图像的示意图；
图3为本申请实施例提供的另一点云地图构建方法的实现流程示意图；
图4为本申请实施例提供的又一点云地图构建方法的实现流程示意图；
图5为本申请实施例提供的再一点云地图构建方法的实现流程示意图；
图6为本申请实施例点云地图构建装置的结构示意图；
图7为本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
需要指出，本申请实施例所涉及的术语“第一\第二\第三”用以区别类似或不同的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
为了便于对本申请实施例的技术方案的理解，首先给出以下相关术语的基本概念：
点云地图：就是由一组离散的采样点表示的地图，在该地图中至少包括采样点在物理空间的三维坐标，还可以带有采样点的图像特征，比如红(Reed，R)、绿(Green，G)、蓝(Blue，B)信息，和/或特征描述子等。更为接近真实尺度的点云地图，能够更好地满足定位需求、导航与避障需求、以及可视化和交互需求等。
尺度：是指单目SLAM估计的相机轨迹和点云地图与真实的轨迹和地图相差一个因子，也就是所谓的尺度(Scale)。由于单目SLAM无法仅凭图像确定这个尺度，所以又称为尺度不确定性(Scale Ambiguity)。
相机位姿：是指相机在采集图像时在特定坐标系中的坐标和旋转角度，电子设备可以根据相机坐标系相对特定坐标系(如世界坐标系或自定义坐标系等)的旋转矩阵R确定相机的姿态(即旋转角度)，根据相机坐标系相对特定坐标系的平移矩阵T，确定相机在特定坐标系中的坐标。
相机内参：指相机的焦距、畸变参数和中心点等这几个内容。相机内参是矫正图像畸变的关键，内参标定精度越高，图像畸变矫正效果越好。
基于此，本申请实施例提供一种点云地图构建方法，该方法应用于电子设备，该电子设备在实施的过程中可以为各种类型的具有信息处理能力的设备，例如所述电子设备可以包括手机、平板电脑、个人计算机、笔记本电脑、服务器、集群服务器、移动机器人、无人飞行器或车载设备等。该方法所实现的功能可以通过电子设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该电子设备至少包括处理器和存储介质。
图1为本申请实施例提供的点云地图构建方法的实现流程示意图，如图1所示，该方法可以包括以下步骤101至步骤104：
步骤101，利用标定板中的标定码在物理空间的实际尺寸和样本图像序列中的至少3帧标定板图像，进行相机内参标定，得到相机内参。
标定码的形状可以是多种多样的具有一定规则的几何图形。例如，标定码为长方形、正方形或三角形等规则的多边形。相应地，标定板由不同颜色的标定码间隔组成。在一些实施例中，所述标定码为指定样式的棋盘格标定码，即标定板由黑色标定码和白色标定码间隔组成；如此，使得相机内参标定变得简单易处理，从而降低算法的时间复杂度，进而提高点云地图的构建速度。
在一些实施例中，所述至少3帧标定板图像是由相机沿垂直于地面的波浪形轨迹在不同位置采集得到的，所述波浪形轨迹的整体呈圆弧形；如此，相机采集的所述至少3帧标定板图像是在上、下、左、右方向上采集的标定板图像，也即这些图像是相机在不同位置、不同角度以及不同姿态下拍摄得到的；如此，能够提高相机内参的普适性，也就是说，无论相机在何种角度、何种姿态以及任意位置时采集的图像，对于该图像的准确校正，相机内参均适用。
举例来说，如图2A所示，工程人员可以先制定标定码：例如使用A4或A3纸张，打印指定样式的棋盘格标定码，由于不能确保打印出的实际尺寸，需要用尺子量出棋盘格的边长，单位为m，然后作为参数后续提交至电子设备，例如提交给用于离线构建点云地图的服务器。然后，工程人员将具有棋盘格的A4纸张或A3纸张201(即所述标定板的一种示例)固定在相机能够在预定采集轨迹上良好观测到的位置上；所谓良好观测，是指无论相机在任何位置、任何姿态和任何角度均能够观测到标定板的完整内容。基于此，前期准备工作完成，如图2A所示，相机202沿圆弧-波浪形轨迹在上、下、左、右方向上观测标定板201，从而得到所述至少3帧标定板图像；并将这些图像进行打包，连同棋盘格的实际尺寸(如边长)提交给服务器，以便后续重建出有尺度的点云地图。
在本申请实施例中，对于用于相机内参标定的图像的数量不做限定，可以是3帧，也可以是4帧、5帧、······、或者20帧，甚至更多帧。理论上来讲，3帧标定板图像即可标定出准确的相机内参。但是在实际应用中，使用超过20帧的标定板图像，能够标定出更高精度的相机内参。
例如，假设采集的标定板图像为22帧，如图2B所示，标定板图像1至标定板图像22分别是相机在不同位置、不同角度拍摄的；基于采集的这些图像，可以得到更高精度的相机内参。
步骤102，根据所述相机内参和所述标定板图像，确定所述标定板图像的第一相机位姿。
每一所述标定板图像的第一相机位姿的确定方法相同。实现步骤102的方法是多种多样的。在一些实施例中，电子设备可以通过如下实施例的步骤302至步骤304实现步骤102。在另一些实施例中，电子设备可以通过如下实施例的步骤402至步骤406实现步骤102。具体参见如下实施例，这里不再赘述。
步骤103，利用所述样本图像序列进行地图重建，得到无尺度的点云地图和每一所述样本图像的第二相机位姿。
在一些实施例中，电子设备可以利用运动中恢复结构(Structure frommotion，SFM)算法对所述样本图像序列进行处理，从而得到无尺度的点云地图和每一所述样本的第二相机位姿(包括标定板图像的第二相机位姿)。其中，SFM算法包括以下内容：对一定数量的图像进行两两匹配，使用欧氏距离判断的方法建立图像特征点之间的匹配关系；对匹配对进行剔除，剔除方法采用RANSAC八点法计算基础矩阵，不满足基础矩阵的匹配对就选择剔除掉；匹配关系建立后，生成追踪列表，追踪列表是指同名点的图像名集合；剔除追踪列表中的无效匹配；寻找初始化像对，目的是找到相机基线最大的像对，采用RANSAC算法四点法计算单应矩阵，满足单应矩阵的匹配点称为内点，不满足单应矩阵的匹配点称为外点。找到内点占比最小的像对。寻找初始化像对的相对旋转和平移，方法为通过RANSAC八点法计算本质矩阵，通过对本质矩阵进行奇异值分解(Singular Value Decomposition，SVD)得到像对之间的相对旋转和平移，从而得到该像对的图像的第二相机位姿；通过三角化计算得到初始化像对中的特征点的三维坐标；对其他图像反复执行上述步骤，就可以得到所有图像的相对旋转和平移，即每一图像的第二相机位姿，以及特征点的三维坐标，从而得到无尺度的点云地图。
步骤104，根据每一所述标定板图像对应的第一相机位姿和第二相机位姿，对所述无尺度的点云地图进行尺度恢复，得到有尺度的点云地图。
在一些实施例中，电子设备可以通过如下实施例的步骤306和步骤307实现步骤104，具体参见如下实施例，这里不再赘述。
在本申请实施例中，利用标定板中的标定码在物理空间的实际尺寸和样本图像序列中的至少3帧标定板图像，对相机内参标定，得到相机内参；利用相机内参和所述标定板图像，确定所述标定板图像的第一相机位姿；利用所述样本图像序列进行地图重建，得到无尺度的点云地图和每一所述样本图像的第二相机位姿；根据每一所述标定板图像对应的第一相机位姿和第二相机位姿，对所述无尺度的点云地图进行尺度恢复，得到有尺度的点云地图；如此，由于基于相机内参和所述标定板图像，能够得到更为接近真实尺度的第一相机位姿，进而能够获得更为接近真实尺度的点云地图，即有尺度的点云地图。
本申请实施例再提供一种点云地图构建方法，图3为本申请实施例点云地图构建方法的实现流程示意图，如图3所示，该方法可以包括以下步骤301至步骤307：
步骤301，利用标定板中的标定码在物理空间的实际尺寸和样本图像序列中的至少3帧标定板图像，进行相机内参标定，得到相机内参。
在一些实施例中，标定板中还可以包括标识信息，该信息用于唯一标识该标定板；如此，众包用户根据建图位置在线申请，便于后端进行地图融合。后端可以根据该标识信息判断地图场景，从而进行地图融合。
步骤302，识别所述标定板图像中的标定码的特征点。
在一些实施例中，电子设备可以通过预设的角点检测算法检测图像中的标定码的角点，将所述角点作为标定码的特征点。预设的角点检测算法可以是多种多样的算法。例如，该算法为尺度不变特征变换(Scale-invariant feature transform，SIFT)算法、Harris算法或FAST算法等。
可以理解地，角点通常被定义为两条边的交点，更严格地说，角点的局部邻域应该具有两个不同区域的不同方向的边界。
步骤303，获取每一所述特征点在所述物理空间中的空间坐标；
步骤304，根据每一所述特征点在所述标定板图像中的像素坐标、每一所述特征点的空间坐标和所述相机内参，确定所述标定板图像的第一相机位姿。
在一些实施例中，利用特定的PnP(Perspective-n-Point)算法，对每一所述特征点在所述标定板图像中的像素坐标、每一所述特征点的空间坐标和所述相机内参进行处理，得到所述标定板图像的第五相机位姿；对每一所述标定板图像的第五相机位姿进行全局光束平差法(Bundle Adjustment，BA)优化，得到每一所述标定板图像的第一相机位姿；如此，能够进一步地使得到的第一相机位姿更接近真实尺度下的相机位姿，从而进一步提高有尺度的点云地图的准确性。
可以理解地，PnP算法是求解三维(3Dimensional，3D)点到二维(2Dimensional，2D)点对运动的方法，它描述了当已知n个物理空间(即3D空间)中的点的空间坐标及其投影位置时，如何估计相机的位姿。PnP问题有很多种求解方法，例如，用3对点估计相机位姿的P3P算法、直接线性变换(DLT)算法、EPnP(Efficient PnP)算法或UPnP算法等。
步骤305，利用所述样本图像序列进行地图重建，得到无尺度的点云地图和每一所述样本图像的第二相机位姿；
步骤306，根据每一所述标定板图像对应的第一相机位姿和第二相机位姿，确定尺度系数，所述尺度系数表征所述第一相机位姿与所述第二相机位姿之间的转换关系。
在一些实施例中，电子设备可以利用每一图像的采集时间戳，将第一相机位姿和第二相机位姿对齐，也就是将接近真实尺度的相机的采集轨迹和无尺度的相机的采集轨迹对齐；对齐之后，将这些对齐的第一相机位姿和第二相机位姿作为特定函数的观测量，寻找所述特定函数的参数的最优估计值；以及将所述最优估计值作为所述尺度系数；其中，所述尺度系数表征所述第一相机位姿与所述第二相机位姿之间的转换关系；如此，由于将最优估计值作为尺度系数，因此能够得到更为准确的尺度系数，从而得到更为接近真实尺度的点云地图，即有尺度的点云地图。
进一步地，在一些实施例中，电子设备可以利用最小二乘法，求解所述尺度系数。
步骤307，利用所述尺度系数，对所述无尺度的点云地图中采样点的坐标进行尺度恢复，得到有尺度的点云地图。
可以理解地，尺度是指单目SLAM估计的相机轨迹与真实的相机轨迹相差一个因子，单目SLAM估计的点云地图和实际地图相差一个因子。因此，在一些实施例中，电子设备可以将所述尺度系数与无尺度的点云地图中采样点的坐标相乘，从而得到有尺度的点云地图。
地图重建需要大量的图像，一般会使用关键帧的策略，每隔1m或者一个特定的帧数，提取一帧图像作为关键帧，关键帧序列进入后续的建图流程。后续建图中，均可使用该尺度系数对后续得到的采样点的坐标信息进行尺度恢复。
本申请实施例再提供一种点云地图构建方法，图4为本申请实施例点云地图构建方法的实现流程示意图，如图4所示，该方法可以包括以下步骤401至步骤410：
步骤401，利用标定板中的标定码在物理空间的实际尺寸和样本图像序列中的至少3帧标定板图像，进行相机内参标定，得到相机内参；
步骤402，识别所述标定板图像中的标定码的特征点；
步骤403，获取每一所述特征点在所述物理空间中的空间坐标；
步骤404，根据每一所述特征点在所述标定板图像中的像素坐标、每一所述特征点的空间坐标和所述相机内参，确定所述标定板图像的第三相机位姿；
在一些实施例中，利用特定的PnP算法，对每一所述特征点在所述标定板图像中的像素坐标、每一所述特征点的空间坐标和所述相机内参进行处理，得到所述标定板图像的第五相机位姿；对每一所述标定板图像的第五相机位姿进行全局BA优化，得到每一所述标定板图像的第三相机位姿。
可以理解地，视觉观测伴随着观测误差，通过光束平差法等全局优化手段，可以消除误差，得到更准确的真实相机轨迹或者更接近真实尺度的相机轨迹，从而使得最终获得的有尺度的点云地图也更接近真实尺度。
步骤405，获取在相机采集所述标定板图像时惯性测量单元(InertialMeasurement Unit，IMU)输出的第四相机位姿；
步骤406，将所述标定板图像的第三相机位姿和对应的第四相机位姿进行联合计算，得到所述第一相机位姿。
可以理解地，结合IMU可以输出更接近真实尺度的相机位置，但是仍需要先验(特定尺寸的标定码或其他观测手段)进行校正，才能够得到误差较小的第一相机位姿。
在一些实施例中，电子设备可以利用视觉惯性里程计(Visual-InertialOdometry，VIO)对所述标定板图像的第三相机位姿和对应的第四相机位姿进行联合计算，从而得到该图像的第一相机位姿；如此，能够进一步地提高第一相机位姿的准确度，进而提高有尺度的点云地图的准确度，更好地解决无尺度的点云地图的尺度不确定性问题。
步骤407，利用所述样本图像序列进行地图重建，得到无尺度的点云地图和每一所述样本图像的第二相机位姿；
步骤408，根据所述标定板图像的采集时间戳，将所述第一相机位姿与所述第二相机位姿对齐；
步骤409，将每一所述标定板图像的对齐后的第一相机位姿和第二相机位姿作为特定函数的观测量，寻找所述特定函数的参数的最优估计值；以及将所述最优估计值作为所述尺度系数；其中，所述尺度系数表征所述第一相机位姿与所述第二相机位姿之间的转换关系。
如此，由于将最优估计值作为尺度系数，因此能够得到更为准确的尺度系数，从而得到更为接近真实尺度的点云地图，即有尺度的点云地图。进一步地，在一些实施例中，电子设备可以利用最小二乘法、SVD算法或者迭代最近点(Iterative Closest Point，ICP)匹配算法等，求解所述尺度系数。
步骤410，利用所述尺度系数，对所述无尺度的点云地图中采样点的坐标进行尺度恢复，得到有尺度的点云地图。
下面将说明本申请实施例在一个实际的应用场景中的示例性应用。如图5所示，点云地图构建方法可以包括以下步骤501至步骤508：
步骤501，识别样本图像序列(包括所述至少3帧标定板图像)中的棋盘格，提取棋盘格的内角点(特征点的一种示例)；
步骤502，利用内角点在标定板图像中的像素坐标和棋盘格在物理空间的实际尺寸，标定相机内参；
步骤503，根据相机内参、内角点的在标定板图像中的像素坐标和所述内角点的空间坐标，通过PnP算法，求解得到该标定板图像的第五相机位姿；
步骤504，将每一标定板图像的第五相机位姿加入至观测序列，进行全局BA重投影位姿优化，从而得到真实尺度下的相机轨迹；
步骤505，提取样本图像序列中图像的特征点和所述特征点的特征描述子；
步骤506，根据每一样本图像的特征点和其特征描述子，进行SFM重建，得到无尺度的相机轨迹和无尺度的稀疏地图；
步骤507，根据真实尺度下的相机轨迹和无尺度的相机轨迹，通过最小二乘法，求解尺度系数；
步骤508，利用尺度系数，对无尺度的稀疏地图进行尺度恢复，得到有真实尺度的稀疏地图。
在本申请实施例中，(1)由于不需要提前获取相机内参，标定码可以在相机拍摄时进行内参标定，因此设备适配性强；(2)标定码的制作和携带以及部署都十分方便，因此用于有真实尺度的稀疏地图的部署方便；(3)基于以上较强设备适配性及部署的便利性，较为适合作为众包式建图方案。
在本申请实施例中，使用标定码作为标定物，不仅能获取到相机的内参，还可以恢复出视觉稀疏地图的尺度；对标定码内角点的观测进行全局BA优化，可以准确恢复出相机的真实轨迹，从而恢复出视觉稀疏地图的尺度系数。
在一些实施例中，可以改造标定码，使之包含ID信息，如此众包用户根据建图位置在线申请，便于后端进行地图融合；
在一些实施例中，若电子设备携带IMU，可引导其使用标定码进行IMU与相机的联合标定，组成VIO系统。
基于前述的实施例，本申请实施例提供一种点云地图构建装置，该装置包括所包括的各模块、以及各模块所包括的各单元，可以通过处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
图6为本申请实施例点云地图构建装置的结构示意图，如图6所示，所述装置60包括相机标定模块601、确定模块602、地图重建模块603和尺度恢复模块604，其中：
相机标定模块601，用于利用标定板中的标定码在物理空间的实际尺寸和样本图像序列中的至少3帧标定板图像，进行相机内参标定，得到相机内参；
确定模块602，用于根据所述相机内参和所述标定板图像，确定所述标定板图像的第一相机位姿；
地图重建模块603，用于利用所述样本图像序列进行地图重建，得到无尺度的点云地图和每一所述样本图像的第二相机位姿；
尺度恢复模块604，用于根据每一所述标定板图像对应的第一相机位姿和第二相机位姿，对所述无尺度的点云地图进行尺度恢复，得到有尺度的点云地图。
在一些实施例中，尺度恢复模块604，用于：根据每一所述标定板图像对应的第一相机位姿和第二相机位姿，确定尺度系数，所述尺度系数表征所述第一相机位姿与所述第二相机位姿之间的转换关系；利用所述尺度系数，对所述无尺度的点云地图中采样点的坐标进行尺度恢复，得到有尺度的点云地图。
在一些实施例中，尺度恢复模块604，用于：根据所述标定板图像的采集时间戳，将所述第一相机位姿与所述第二相机位姿对齐；将每一所述标定板图像的对齐后的第一相机位姿和第二相机位姿作为特定函数的观测量，寻找所述特定函数的参数的最优估计值；以及将所述最优估计值作为所述尺度系数。
在一些实施例中，所述标定码为指定样式的棋盘格标定码；所述至少3帧标定板图像是由相机沿垂直于地面的波浪形轨迹在不同位置采集得到的，所述波浪形轨迹的整体呈圆弧形。
在一些实施例中，确定模块602，用于：识别所述标定板图像中的标定码的特征点；获取每一所述特征点在所述物理空间中的空间坐标；根据每一所述特征点在所述标定板图像中的像素坐标、每一所述特征点的空间坐标和所述相机内参，确定所述标定板图像的第一相机位姿。
在一些实施例中，确定模块602，用于：识别所述标定板图像中的标定码的特征点；获取每一所述特征点在所述物理空间中的空间坐标；根据每一所述特征点在所述标定板图像中的像素坐标、每一所述特征点的空间坐标和所述相机内参，确定所述标定板图像的第三相机位姿；获取在相机采集所述标定板图像时IMU输出的第四相机位姿；将所述标定板图像的第三相机位姿和对应的第四相机位姿进行联合计算，得到所述第一相机位姿。
在一些实施例中，确定模块602，用于：利用特定的PnP算法，对每一所述特征点在所述标定板图像中的像素坐标、每一所述特征点的空间坐标和所述相机内参进行处理，得到所述标定板图像的第五相机位姿；对每一所述标定板图像的第五相机位姿进行全局BA优化，得到每一所述标定板图像的相机位姿。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，本申请实施例中图6所示的点云地图构建装置对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。也可以采用软件和硬件结合的形式实现。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件和软件结合。
本申请实施例提供一种电子设备，图7为本申请实施例的电子设备的硬件实体示意图，如图7所示，所述电子设备70包括存储器701和处理器702，所述存储器701存储有可在处理器702上运行的计算机程序，所述处理器702执行所述程序时实现上述实施例中提供的方法中的步骤。
需要说明的是，存储器701配置为存储由处理器702可执行的指令和应用，还可以缓存在处理器702以及电子设备70中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(RandomAccess Memory，RAM)实现。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中提供的方法中的步骤。
本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法实施例提供的方法中的步骤。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质、存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”或“一些实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”或“在一些实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如对象A和/或对象B，可以表示：单独存在对象A，同时存在对象A和对象B，单独存在对象B这三种情况。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者设备中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个模块或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或模块的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的模块可以是、或也可以不是物理上分开的，作为模块显示的部件可以是、或也可以不是物理模块；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部模块来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能模块可以全部集成在一个处理单元中，也可以是各模块分别单独作为一个单元，也可以两个或两个以上模块集成在一个单元中；上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得电子设备执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种点云地图构建方法，其特征在于，所述方法包括：
利用标定板中的标定码在物理空间的实际尺寸和样本图像序列中的至少3帧标定板图像，进行相机内参标定，得到相机内参；
根据所述相机内参和所述标定板图像，确定所述标定板图像的第一相机位姿；
利用所述样本图像序列进行地图重建，得到无尺度的点云地图和每一所述样本图像的第二相机位姿；
根据每一所述标定板图像对应的第一相机位姿和第二相机位姿，对所述无尺度的点云地图进行尺度恢复，得到有尺度的点云地图。
2.根据权利要求1所述的方法，其特征在于，所述根据每一所述标定板图像对应的第一相机位姿和第二相机位姿，对所述无尺度的点云地图进行尺度恢复，得到有尺度的点云地图，包括：
根据每一所述标定板图像对应的第一相机位姿和第二相机位姿，确定尺度系数，所述尺度系数表征所述第一相机位姿与所述第二相机位姿之间的转换关系；
利用所述尺度系数，对所述无尺度的点云地图中采样点的坐标进行尺度恢复，得到有尺度的点云地图。
3.根据权利要求2所述的方法，其特征在于，所述根据每一所述标定板图像对应的第一相机位姿和第二相机位姿，确定尺度系数，包括：
根据所述标定板图像的采集时间戳，将所述第一相机位姿与所述第二相机位姿对齐；
将每一所述标定板图像的对齐后的第一相机位姿和第二相机位姿作为特定函数的观测量，寻找所述特定函数的参数的最优估计值；以及
将所述最优估计值作为所述尺度系数。
4.根据权利要求1所述的方法，其特征在于，所述标定码为指定样式的棋盘格标定码；所述至少3帧标定板图像是由相机沿垂直于地面的波浪形轨迹在不同位置采集得到的，所述波浪形轨迹的整体呈圆弧形。
5.根据权利要求1所述的方法，其特征在于，所述根据所述相机内参和所述标定板图像，确定所述标定板图像的第一相机位姿，包括：
识别所述标定板图像中的标定码的特征点；
获取每一所述特征点在所述物理空间中的空间坐标；
根据每一所述特征点在所述标定板图像中的像素坐标、每一所述特征点的空间坐标和所述相机内参，确定所述标定板图像的第一相机位姿。
6.根据权利要求1所述的方法，其特征在于，所述根据所述相机内参和所述标定板图像，确定所述标定板图像的第一相机位姿，包括：
识别所述标定板图像中的标定码的特征点；
获取每一所述特征点在所述物理空间中的空间坐标；
根据每一所述特征点在所述标定板图像中的像素坐标、每一所述特征点的空间坐标和所述相机内参，确定所述标定板图像的第三相机位姿；
获取在相机采集所述标定板图像时惯性测量单元IMU输出的第四相机位姿；
将所述标定板图像的第三相机位姿和对应的第四相机位姿进行联合计算，得到所述第一相机位姿。
7.根据权利要求5或6所述的方法，其特征在于，根据每一所述特征点在所述标定板图像中的像素坐标、每一所述特征点的空间坐标和所述相机内参，确定所述标定板图像的相机位姿，包括：
利用特定的PnP算法，对每一所述特征点在所述标定板图像中的像素坐标、每一所述特征点的空间坐标和所述相机内参进行处理，得到所述标定板图像的第五相机位姿；
对每一所述标定板图像的第五相机位姿进行全局光束平差法BA优化，得到每一所述标定板图像的相机位姿。
8.一种点云地图构建装置，其特征在于，包括：
相机标定模块，用于利用标定板中的标定码在物理空间的实际尺寸和样本图像序列中的至少3帧标定板图像，进行相机内参标定，得到相机内参；
确定模块，用于根据所述相机内参和所述标定板图像，确定所述标定板图像的第一相机位姿；
地图重建模块，用于利用所述样本图像序列进行地图重建，得到无尺度的点云地图和每一所述样本图像的第二相机位姿；
尺度恢复模块，用于根据每一所述标定板图像对应的第一相机位姿和第二相机位姿，对所述无尺度的点云地图进行尺度恢复，得到有尺度的点云地图。
9.一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110470497.3A CN113223163A (zh) | 2021-04-28 | 2021-04-28 | 点云地图构建方法及装置、设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110470497.3A CN113223163A (zh) | 2021-04-28 | 2021-04-28 | 点云地图构建方法及装置、设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113223163A true CN113223163A (zh) | 2021-08-06 |
Family
ID=77089870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110470497.3A Pending CN113223163A (zh) | 2021-04-28 | 2021-04-28 | 点云地图构建方法及装置、设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113223163A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114049454A (zh) * | 2022-01-12 | 2022-02-15 | 成都理工大学 | 一种基于混合聚类解译岩体结构面产状的方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110044374A (zh) * | 2018-01-17 | 2019-07-23 | 南京火眼猴信息科技有限公司 | 一种基于图像特征的单目视觉测量里程的方法及里程计 |
| CN111145339A (zh) * | 2019-12-25 | 2020-05-12 | Oppo广东移动通信有限公司 | 图像处理方法及装置、设备、存储介质 |
| CN111145238A (zh) * | 2019-12-12 | 2020-05-12 | 中国科学院深圳先进技术研究院 | 单目内窥镜图像的三维重建方法、装置及终端设备 |
| CN111882657A (zh) * | 2020-06-29 | 2020-11-03 | 杭州易现先进科技有限公司 | 三维重建的尺度恢复方法、装置、系统和计算机设备 |
| CN111882655A (zh) * | 2020-06-19 | 2020-11-03 | 杭州易现先进科技有限公司 | 三维重建的方法、装置、系统、计算机设备和存储介质 |
| CN112348868A (zh) * | 2020-11-06 | 2021-02-09 | 养哇(南京)科技有限公司 | 一种通过检测和标定恢复单目slam尺度的方法及系统 |
-
2021
- 2021-04-28 CN CN202110470497.3A patent/CN113223163A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110044374A (zh) * | 2018-01-17 | 2019-07-23 | 南京火眼猴信息科技有限公司 | 一种基于图像特征的单目视觉测量里程的方法及里程计 |
| CN111145238A (zh) * | 2019-12-12 | 2020-05-12 | 中国科学院深圳先进技术研究院 | 单目内窥镜图像的三维重建方法、装置及终端设备 |
| CN111145339A (zh) * | 2019-12-25 | 2020-05-12 | Oppo广东移动通信有限公司 | 图像处理方法及装置、设备、存储介质 |
| CN111882655A (zh) * | 2020-06-19 | 2020-11-03 | 杭州易现先进科技有限公司 | 三维重建的方法、装置、系统、计算机设备和存储介质 |
| CN111882657A (zh) * | 2020-06-29 | 2020-11-03 | 杭州易现先进科技有限公司 | 三维重建的尺度恢复方法、装置、系统和计算机设备 |
| CN112348868A (zh) * | 2020-11-06 | 2021-02-09 | 养哇(南京)科技有限公司 | 一种通过检测和标定恢复单目slam尺度的方法及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114049454A (zh) * | 2022-01-12 | 2022-02-15 | 成都理工大学 | 一种基于混合聚类解译岩体结构面产状的方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112894832B (zh) | 三维建模方法、装置、电子设备和存储介质 | |
| Ishikawa et al. | Lidar and camera calibration using motions estimated by sensor fusion odometry | |
| KR101666959B1 (ko) | 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법 | |
| CN105469405B (zh) | 基于视觉测程的同时定位与地图构建方法 | |
| Heng et al. | Camodocal: Automatic intrinsic and extrinsic calibration of a rig with multiple generic cameras and odometry | |
| US11120560B2 (en) | System and method for real-time location tracking of a drone | |
| CN104596502B (zh) | 一种基于cad模型与单目视觉的物体位姿测量方法 | |
| Li et al. | A 4-point algorithm for relative pose estimation of a calibrated camera with a known relative rotation angle | |
| Bazin et al. | Motion estimation by decoupling rotation and translation in catadioptric vision | |
| CN108665499B (zh) | 一种基于视差法的近距飞机位姿测量方法 | |
| CN109727278B (zh) | 一种机载LiDAR点云数据与航空影像的自动配准方法 | |
| CN102589530B (zh) | 基于二维相机和三维相机融合的非合作目标位姿测量方法 | |
| WO2021004416A1 (zh) | 一种基于视觉信标建立信标地图的方法、装置 | |
| WO2020063878A1 (zh) | 一种处理数据的方法和装置 | |
| CN110889873A (zh) | 一种目标定位方法、装置、电子设备及存储介质 | |
| Irschara et al. | Efficient structure from motion with weak position and orientation priors | |
| CN102072706A (zh) | 一种多相机定位与跟踪方法及系统 | |
| CN111415375B (zh) | 一种基于多鱼眼摄像机和双针孔投影模型的slam方法 | |
| CN111862180A (zh) | 一种相机组位姿获取方法、装置、存储介质及电子设备 | |
| KR102309608B1 (ko) | 라이다(Lidar)와 스테레오-카메라(Stereo-Camera) 간의 좌표계 정합 방법 | |
| CN111123242A (zh) | 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质 | |
| CN110874854A (zh) | 一种基于小基线条件下的大畸变广角相机双目摄影测量方法 | |
| CN112229323A (zh) | 基于手机单目视觉的棋盘格合作目标的六自由度测量方法及其应用 | |
| CN113450334B (zh) | 一种水上目标检测方法、电子设备及存储介质 | |
| Xinmei et al. | Passive measurement method of tree height and crown diameter using a smartphone |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |