CN108510530B - 一种三维点云匹配方法及其系统 - Google Patents

一种三维点云匹配方法及其系统 Download PDF

Info

Publication number
CN108510530B
CN108510530B CN201710116527.4A CN201710116527A CN108510530B CN 108510530 B CN108510530 B CN 108510530B CN 201710116527 A CN201710116527 A CN 201710116527A CN 108510530 B CN108510530 B CN 108510530B
Authority
CN
China
Prior art keywords
feature points
matching
matched
color image
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710116527.4A
Other languages
English (en)
Other versions
CN108510530A (zh
Inventor
谷湘煜
李星明
王利
李国胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Launch Digital Technology Co Ltd
Original Assignee
Shenzhen Launch Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Launch Digital Technology Co Ltd filed Critical Shenzhen Launch Digital Technology Co Ltd
Priority to CN201710116527.4A priority Critical patent/CN108510530B/zh
Publication of CN108510530A publication Critical patent/CN108510530A/zh
Application granted granted Critical
Publication of CN108510530B publication Critical patent/CN108510530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明适用于图像处理技术领域，提供了一种三维点云匹配方法及其系统。所述方法包括：检测两帧彩色图像的特征点，并对其进行配对；将色彩相机和深度相机进行立体标定，得到标定参数；根据标定参数对彩色图像和所述深度数据对应的灰度图像进行配准，得到校正映射关系；根据所述校正映射关系，确定匹配的彩色图像特征点的真实深度数据后，计算并匹配彩色图像特征点的三维点云坐标。上述方法对两幅彩色图像特征点进行匹配时，加入新的误匹配过滤过程，提高匹配正确性；在获取特征点对应的真实浮点型深度数据时，设计一种新颖的基于立体校正的方案，简化映射过程，并保证精度不损失，实现三维点云的高精确匹配。

Description

一种三维点云匹配方法及其系统
技术领域
本发明实施例属于图像处理技术领域，尤其涉及一种三维点云匹配方法及其系统。
背景技术
随着机器人应用的快速发展和人类生产生活中的迫切需求，SLAM(SimultaneousLocalization and Mapping，同时定位与建图)在机器视觉等领域已成为研究热点。SLAM是指通过移动机器人对一个未知环境建立地图，同时用该地图确定机器人的位姿或运动轨迹。视觉SLAM，采用相机作为传感器，具有价格低廉、信息丰富、建图直观等优点，已成为SLAM研究的重要分支。深度传感器被应用于SLAM领域之后，越来越多的开发者将目标转移到RGB-D视觉SLAM领域中，而三维点云匹配的正确性直接影响RGB-D视觉SLAM的精度。然而，目前RGB-D视觉SLAM，在特征点匹配时，容易出现匹配错误，并且现有的彩色图像像素和深度数据的配准的方法复杂，容易造成配准误差，匹配错误和配准误差，均会影响三维点云匹配的精度。因此，针对现有技术的不足，需要提出一种新的三维点云匹配方法。
发明内容
本发明实施例提供了一种三维点云匹配方法，旨在解决现有的方法中，三维点云匹配过程中特征点的匹配误差大，彩色图像和深度数据的配准方法复杂，不能保证最终三维点云高精度匹配的问题。
本发明实施例第一方面，提供了一种三维点云匹配方法，所述方法包括：
检测所捕获的两帧彩色图像的特征点，将所述特征点进行配对，得到匹配的彩色图像特征点；
将用于捕获所述彩色图像的色彩相机和用于捕获所述彩色图像的深度数据的深度相机进行立体标定，得到标定参数；
根据所述标定参数对所述彩色图像和所述深度数据对应的灰度图像进行配准，得到校正映射关系；
根据所述校正映射关系，确定匹配的彩色图像特征点的真实深度数据，根据所述真实深度数据确定并匹配所述匹配的彩色图像特征点的三维点云坐标。
本发明实施例的第二方面，提供一种三维点云匹配系统，所述系统包括：
特征点匹配单元，用于检测所捕获的两帧彩色图像的特征点，将所述特征点进行配对，得到匹配的彩色图像特征点；
标定参数确定单元，用于将捕获所述彩色图像的色彩相机和捕获所述彩色图像的深度数据的深度相机进行立体标定，得到标定参数；
校正映射关系确定单元，用于根据所述标定参数对所述彩色图像和所述深度数据对应的灰度图像进行配准，得到校正映射关系；
三维点云匹配单元，用于根据所述校正映射关系，确定匹配的彩色图像特征点的真实深度数据，根据所述真实深度数据确定并匹配所述匹配的彩色图像特征点的三维点云坐标。
在本发明实施例中，通过检测两帧彩色图像的特征点，并将特征点进行匹配，得到匹配的彩色图像特征点；利用对色彩相机和深度相机进行立体标定的标定参数，以及对彩色图像和灰度图像进行配准所得的校正映射关系，计算出所述特征点的真实深度数据，进而计算特征点的三维点云坐标，即可使两帧彩色图像特征点的三维点云得以匹配。在本实施例对两帧彩色图像特征点进行匹配时，加入新的误匹配过滤过程，提高匹配正确性；在获取特征点对应的真实浮点型深度数据时，将深度相机和色彩相机进行立体标定，设计一种新颖的基于立体校正的方案，简化映射过程，并保证精度不损失；最后，计算两帧彩色图像特征点的三维点云，实现三维点云的高精确匹配。
附图说明
图1是本发明第一实施例提供的一种三维点云匹配方法的流程图；
图2是本发明第一实施例提供的彩色图像特征点的匹配结果示意图；
图3是本发明第一实施例提供的灰度图像和彩色图像配准示意图；
图4是本发明第一实施例提供的彩色图像三维点云匹配结果验证图；
图5是本发明第二实施例提供的一种三维点云匹配系统的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例中，在两帧彩色图像上分别检测特征点并将其进行配对，得到正确匹配的特征点；将深度相机和色彩相机进行立体标定，得到标定参数；将浮点型深度数据对应的灰度图像和彩色图像作为立体图像，利用所述标定参数使深度数据和彩色图像得以配准，得到校正映射关系；根据所述校正映射关系，找到特征点对应的真实深度数据，计算特征点的三维点云坐标，即可使两幅彩色图像特征点的三维点云得以匹配。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
图1示出了本发明第一实施例提供的一种三维点云匹配方法的流程图，详述如下：
步骤S11，检测所捕获的两帧彩色图像的特征点，将所述特征点进行配对，得到匹配的彩色图像特征点；
彩色图像特征点的三维点云匹配是连续帧机器人运动估计和闭环检测的必要步骤，三维点云匹配的正确性直接影响RGB-D视觉SLAM的精度。在匹配彩色图像的特征点的三维点云之前，首先需要检测出连续两帧彩色图像上的特征点，然后将两帧图像上特征点进行匹配，过滤除去错误配对特征点后，保留匹配的彩色图像特征点。
优选地，所述检测所捕获的两帧彩色图像的特征点，将所述特征点进行配对，得到匹配的彩色图像特征点，具体包括：
检测所捕获的两帧彩色图像的特征点，计算所述特征点的描述子；
根据所述描述子对所述两帧彩色图像的特征点进行配对；
过滤配对后的特征点，得到匹配的彩色图像特征点。
具体地，对两帧彩色图像构建高斯金字塔，在每一层金字塔图像上，利用OrientedFAST and Rotated BRIEF，ORB方法检测特征点，并挑选出Harris响应值最大的N个特征点，去除边缘响应，实现尺度不变性；利用灰度质心法确定所检测到的N个特征点方向，采用ORB中提供的计算特征点描述子的方法计算所述特征点的描述子，同时加入旋转不变性。ORB方法对特征点进行检测及计算特征点描述子时，具有速度快、抗噪能力强、特征点的描述子简单且空间消耗低、具有尺度不变性和旋转不变性等优点。
对两帧彩色图像上挑选出的响应值最大的N个特征点，根据其描述子进行配对，配对后过滤掉错误匹配的特征点，保留正确匹配的特征点。
优选地，所述过滤配对后的特征点，得到匹配的彩色图像特征点具体包括：
双向遍历所述特征点的描述子，确定描述子之间的汉明距离；
将单向确定的最近汉明距离与次近汉明距离作商，并将所得商值与比率阈值比较，根据比较结果得到候选的匹配的特征点；
统计所述候选的匹配的特征点的斜率以及出现次数最多的斜率，比较所述候选的匹配的特征点的斜率以及出现次数最多的斜率，根据比较结果过滤所述候选的匹配的特征点；
计算过滤后的所述候选的匹配的特征点的坐标差，将过滤后的所述候选的匹配的特征点的坐标差和坐标差中值的偏移量与指定的偏移量阈值比较，根据比较结果确定匹配的彩色图像特征点。
优选地，所述将单向确定的最近汉明距离与次近汉明距离作商，并将所得商值与比率阈值比较，根据比较结果得到候选的匹配的特征点，具体包括：
将第一帧彩色图像上每个特征点的描述子遍历第二帧图像的特征点的描述子得到的最近汉明距离和次近汉明距离的商值与比率阈值比较，若小于或等于所述比率阈值，判定所述最近汉明距离对应的特征点为第一候选匹配特征点；
将第二帧彩色图像上每个特征点的描述子遍历第一帧图像的特征点的描述子得到的最近汉明距离和次近汉明距离的商值与比率阈值比较，若小于或等于所述比率阈值，判定所述最近汉明距离对应的特征点为第二候选匹配特征点；
当所述第一候选匹配特征点与所述第二候选匹配特征点相同时，判定所述第一候选匹配特征点或所述第二候选匹配特征点为候选的匹配的特征点。
具体地，在将两帧彩色图像上的特征点根据其描述子进行配对后，对配对结果进行过滤，以除去错误的匹配。在过滤时首先采用双向遍历过滤的方法；具体包括：对于第一幅图像的每个特征点描述子，遍历第二幅图像的特征点描述子，计算描述子之间的汉明距离，当满足式(1)的条件时，将汉明距离最近的两个特征点认定为一个候选匹配：
Figure BDA0001234687660000051
其中，T为距离比率阈值，利用比率阈值过滤可去除大部分误匹配。
例如：将第一帧彩色图像上的特征点A1与第二帧彩色图像的特征点B1…Bn进行匹配，得到配对后的特征点(A1，B1)…(A1，Bn),计算上述配对后特征点的汉明距离，dist(A1，B1)…dist(A1，Bn)，假设得到最近汉明距离为dist(A1，B1)，次近汉明距离为dist(A1，Bm)，调用公式(1)，将二者做商后与距离阈值T比较，当所得商值小于或等于T时，认定特征点(A1，B1)为第一候选匹配。
将第二帧彩色图像上的特征点B1与第一帧彩色图像的特征点A1…An进行匹配得到配对后的特征点(B1，A1)…(B1，An),计算上述配对后特征点的汉明距离，dist(B1，A1)…dist(B1，An)，假设对于特征点B1得到最近汉明距离为dist(B1，A1)，次近汉明距离为dist(B1，Aj)，调用公式(1)，将二者做商后与距离阈值T比较，当所得商值小于或等于T时，认定特征点(B1，A1)为第二候选匹配。
当上述第一候选匹配和第二候选匹配对应的特征点相同时，判定上述特征点配对后为候选的匹配的特征点。
同理，对两帧彩色图像上其余特征点进行上述操作，选出所有候选的匹配的特征点。
将所述候选的匹配的特征点进行再次过滤：统计所有候选的匹配的特征点的斜率，对于某一候选的匹配的特征点当其斜率与出现次数最多的斜率相差±1°时，保留匹配；计算过滤后的所有候选的匹配的特征点的x坐标差xoffset和y坐标差yoffset，分别对x坐标差xoffset和y坐标差yoffset进行排序，取坐标差中值，计算过滤后的候选的匹配的特征点的坐标差与所述坐标差中值之间的偏移量，设置偏移量阈值Tx和Ty，判定满足条件(2)的特征点为匹配的彩色图像特征点。
Figure BDA0001234687660000061
基于所有特征点配对中小部分是误匹配的原则，斜率过滤和坐标差过滤，可最大程度地除去误匹配的特征点，从而保留正确匹配的特征点。
两帧彩色图像特征点的匹配结果如图2所示，其中，“+”为检测出的特征点，直线连接为最终的正确匹配。
步骤S12，将用于捕获所述彩色图像的色彩相机和用于捕获所述彩色图像的深度数据的深度相机进行立体标定，得到标定参数；
该步骤中，将深度相机和色彩相机看作双目视觉中的左相机和右相机，以左相机坐标系作为世界坐标系；利用图像坐标系和相机坐标系、相机坐标系和世界坐标系的关系，采用张正友标定法解算出两个传感器的内参、畸变参数和传感器之间的相对位姿。相机坐标系和世界坐标系之间的关系如式(3)所示，图像坐标系和相机坐标系之间的关系如式(4)所示：
Figure BDA0001234687660000071
其中，Xw、Yw、Zw为世界坐标系下的三维坐标，R为3×3的单位正交旋转矩阵，T为3×1的平移向量，R、T称为相机外参。
Figure BDA0001234687660000072
其中，u、v为图像坐标系下的二维像素坐标，Xc、Yc、Zc为相机坐标系下的三维坐标，fx、fy、cx、cy为相机内参。
步骤S13，根据所述标定参数对所述彩色图像和所述深度数据对应的灰度图像进行配准，得到校正映射关系；所述深度数据为浮点型深度数据矩阵；
优选地，所述根据所述标定参数对所述彩色图像和所述深度数据对应的灰度图像进行配准，得到校正映射关系，具体包括：
将所述浮点型深度数据矩阵转换为灰度图像，对所述灰度图像和所述彩色图像进行畸变消除；
将所述灰度图像的平面成像原点坐标调节至和所述彩色图像的平面成像原点坐标一致，得到校正映射关系。
该步骤中，先将深度相机捕获的浮点型深度数据矩阵转换为灰度图像，将所述灰度图像和色彩相机捕获的彩色图像作为立体图像，根据上述立体标定得到的相机参数，可进行立体校正，具体如下：对灰度图像和彩色图像进行畸变消除；采用Bouguet极线校正法，使校正后的深度相机和色彩相机光轴平行，图像平面位于同一虚拟平面上，且同行对准、所有极线平行，即世界坐标系下同一点投影到两个相机图像平面上时，像点应位于图像坐标系上的同一行；利用光圈中心对齐，使左右相机图像平面成像原点坐标一致，得到最终的校正映射关系。
如图3所示，图3(a)为原始深度灰度图像，图3(b)为原始彩色图像，图3(c)配准后将颜色绘制到深度灰度图像上后所得图像，图3(d)配准后将深度灰度绘制到彩色图像上后所得图像；并且(a)和(b)为同一时刻捕获的灰度图像和彩色图像，但此时同一位置的彩色像素点对应的深度并不是其真实深度。经过立体校正后，将配准后的彩色图像像素值绘制到坐标对应的深度灰度图像上，或者将配准后的深度灰度绘制到坐标对应的彩色图像上，如(c)和(d)所示，均可看出，深度灰度图像和彩色图像中的相同场景已重合。即，通过立体校正得到的校正映射关系，深度灰度图像对应的浮点型深度数据矩阵和彩色图像已转换到相同的坐标系下，深度数据矩阵和彩色图像得以配准，完成了同一时刻的彩色图像像素坐标与深度数据矩阵中的深度的一一对应。
步骤S14，根据所述校正映射关系，确定匹配的彩色图像特征点的真实深度数据，根据所述真实深度数据确定并匹配所述匹配的彩色图像特征点的三维点云坐标。
该步骤中，根据彩色图像上特征点的坐标(u,v)、立体校正映射后的相机内参fx、fy、cx、cy，利用校正映射关系得到的特征点对应的真实浮点型深度数据dep(u,v)，以及公式(5)可计算得到校正映射后的相机坐标系下的三维点云。根据计算所得的匹配的彩色图像的特征点对应的真实三维点云，即可使两帧图像中相同场景对应的特征点的三维点云得以匹配。
Figure BDA0001234687660000081
其中，s为Z方向的缩放因子。
为了验证特征点的三维点云匹配的正确性，利用匹配后的特征点三维点云，拼接图2所示的两幅图像的场景点云，如图4所示，左右方框分别为第一幅彩色图像和第二幅彩色图像对应的场景三维点云，椭圆框为匹配的特征点所在区域。彩色图像中相同的场景，其三维点云完全重合。
本发明第一实施例中，通过获取连续两帧彩色图像的特征点，将所述特征点进行配对，并对所述配对结果进行过滤筛选，得到匹配的彩色图像的特征点；然后根据对深度相机和色彩相机进行立体标定得到的标定参数，以及对彩色图像和灰度图像进行配准后得到的校正映射关系，计算出所述特征点的三维点云坐标，根据对彩色图像匹配的结果匹配所述特征点的三维点云。采用上述方法进行三维点云匹配时，对特征点配对的过滤采用双向过滤、斜率过滤、坐标差过滤相结合的方案，保证了特征点匹配的正确性；在对彩色图像像素和深度数据的配准时，对深度相机和色彩相机进行立体标定，并将灰度图像和彩色图像作为立体图像进行配准，简化了彩色图像像素和深度数据的配准过程，减少配准过程误差，提高了两帧彩色图像特征点的三维点云匹配的精度。
应理解，在本发明实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
实施例二：
图5示出了本发明第二实施例提供的一种三维点云匹配系统的结构图，该三维点云匹配系统可应用于各种终端中，为了便于说明，仅示出了与本发明实施例相关的部分。该三维点云匹配系统包括：特征点匹配单元51，标定参数确定单元52，校正映射关系确定单元53，三维点云匹配单元54，其中：
特征点匹配单元51，用于检测所捕获的两帧彩色图像的特征点，将所述特征点进行配对，得到匹配的彩色图像特征点；
优选地，所述特征点匹配单元51，具体包括：
描述子确定模块，用于检测所捕获的两帧彩色图像的特征点，计算所述特征点的描述子；
配对模块，用于根据所述描述子对所述两帧彩色图像的特征点进行配对；
过滤模块，用于过滤配对后的特征点，得到匹配的彩色图像特征点。
具体地，对两帧彩色图像构建高斯金字塔，在每一层金字塔图像上，利用OrientedFAST and Rotated BRIEF，ORB方法检测特征点，并挑选出Harris响应值最大的N个特征点，去除边缘响应，实现尺度不变性；利用灰度质心法确定所检测到的N个特征点方向，采用ORB中提供的计算特征点描述子的方法计算所述特征点的描述子，同时加入旋转不变性。ORB方法对特征点进行检测及计算特征点描述子时，具有速度快、抗噪能力强、特征点的描述子简单且空间消耗低、具有尺度不变性和旋转不变性等优点。
对两帧彩色图像上挑选出的响应值最大的N个特征点，根据其描述子进行配对，配对后过滤掉错误匹配的特征点，保留正确匹配的特征点。
优选地，所述过滤模块具体包括：
汉明距离确定模块，用于双向遍历所述特征点的描述子，确定描述子之间的汉明距离；
候选匹配确定模块，用于将单向确定的最近汉明距离与次近汉明距离作商，并将所得商值与比率阈值比较，根据比较结果得到候选的匹配的特征点；
斜率过滤模块，用于统计所述候选的匹配的特征点的斜率以及出现次数最多的斜率，比较所述候选的匹配的特征点的斜率以及出现次数最多的斜率，根据比较结果过滤所述候选的匹配的特征点；
坐标差过滤模块，用于计算过滤后的所述候选的匹配的特征点的坐标差，将过滤后的所述候选的匹配的特征点的坐标差和坐标差中值的偏移量与指定的偏移量阈值比较，根据比较结果确定匹配的彩色图像特征点。
优选地，所述候选匹配确定模块，具体包括：
第一遍历单元，用于将第一帧彩色图像上每个特征点的描述子遍历第二帧图像的特征点的描述子得到的最近汉明距离和次近汉明距离的商值与比率阈值比较，若小于或等于所述比率阈值，判定所述最近汉明距离对应的特征点为第一候选匹配特征点；
第二遍历单元，用于将第二帧彩色图像上每个特征点的描述子遍历第一帧图像的特征点的描述子得到的最近汉明距离和次近汉明距离的商值与比率阈值比较，若小于或等于所述比率阈值，判定所述最近汉明距离对应的特征点为第二候选匹配特征点；
候选特征点匹配单元，用于当所述第一候选匹配特征点与所述第二候选匹配特征点相同时，判定所述第一候选匹配特征点或所述第二候选匹配特征点为候选的匹配的特征点。
具体地，在将两帧彩色图像上的特征点根据其描述子进行配对后，对配对结果进行过滤，以除去错误的匹配。在过滤时首先采用双向遍历过滤的方法；具体包括：对于第一幅图像的每个特征点描述子，遍历第二幅图像的特征点描述子，计算描述子之间的汉明距离，当满足条件：
Figure BDA0001234687660000111
时，将汉明距离dist最近的两个特征点认定为一个候选匹配：其中，T为距离比率阈值，利用比率阈值过滤可去除大部分误匹配。对于第二幅图像的每个特征点描述子，进行类似的操作。当双向遍历过滤后的候选匹配特征点相同时，判定上述特征点配对后为候选的匹配的特征点。
将所述候选的匹配的特征点进行再次过滤：统计所有候选的匹配的特征点的斜率，对于某一候选的匹配的特征点当其斜率与出现次数最多的斜率相差±1°时，保留匹配；计算过滤后的所有候选的匹配的特征点的x坐标差xoffset和y坐标差yoffset，分别对x坐标差xoffset和y坐标差yoffset进行排序，取坐标差中值，计算过滤后的候选的匹配的特征点的坐标差与所述坐标差中值之间的偏移量，设置偏移量阈值Tx和Ty，判定满足条件：
Figure BDA0001234687660000112
的特征点为匹配的彩色图像特征点。
基于所有特征点配对中小部分是误匹配的原则，斜率过滤和坐标差过滤，可最大程度地除去误匹配的特征点，从而保留正确匹配的特征点。
标定参数确定单元52，用于将捕获所述彩色图像的色彩相机和捕获所述彩色图像的深度数据的深度相机进行立体标定，得到标定参数；
将深度相机和色彩相机看作双目视觉中的左相机和右相机，以左相机坐标系作为世界坐标系；利用图像坐标系和相机坐标系、相机坐标系和世界坐标系的关系，采用张正友标定法解算出两个传感器的内参、畸变参数和传感器之间的相对位姿。相机坐标系和世界坐标系之间的关系如式(6)所示，图像坐标系和相机坐标系之间的关系如式(7)所示：
Figure BDA0001234687660000121
其中，Xw、Yw、Zw为世界坐标系下的三维坐标，R为3×3的单位正交旋转矩阵，T为3×1的平移向量，R、T称为相机外参。
Figure BDA0001234687660000122
其中，u、v为图像坐标系下的二维像素坐标，Xc、Yc、Zc为相机坐标系下的三维坐标，fx、fy、cx、cy为相机内参。
校正映射关系确定单元53，用于根据所述标定参数对所述彩色图像和所述深度数据对应的灰度图像进行配准，得到校正映射关系；
优选地，所述校正映射关系确定单元53，具体包括：
图像畸变消除模块，用于将所述浮点型深度数据矩阵转换为灰度图像，对所述灰度图像和所述彩色图像进行畸变消除；
坐标转换模块，用于将所述灰度图像的平面成像原点坐标转换至和所述彩色图像的平面成像原点坐标一致，得到校正映射关系。
先将深度相机捕获的浮点型深度数据矩阵转换为灰度图像，将所述灰度图像和色彩相机捕获的彩色图像作为立体图像，根据上述立体标定得到的相机参数，可进行立体校正，具体如下：对灰度图像和彩色图像进行畸变消除；采用Bouguet极线校正法，使校正后的深度相机和色彩相机光轴平行，图像平面位于同一虚拟平面上，且同行对准、所有极线平行，即世界坐标系下同一点投影到两个相机图像平面上时，像点应位于图像坐标系上的同一行；利用光圈中心对齐，使左右相机图像平面成像原点坐标一致，得到最终的校正映射关系。
三维点云匹配单元54，用于根据所述校正映射关系，确定匹配的彩色图像特征点的真实深度数据，根据所述真实深度数据确定并匹配所述匹配的彩色图像特征点的三维点云坐标。
根据彩色图像上特征点的坐标(u,v)、立体校正映射后的相机内参fx、fy、cx、cy，利用校正映射关系得到的特征点对应的真实浮点型深度数据dep(u,v)，以及公式(8)可计算得到校正映射后的相机坐标系下的三维点云。根据计算所得的匹配的彩色图像的特征点对应的真实三维点云，即可使两帧图像中相同场景对应的特征点的三维点云得以匹配。
Figure BDA0001234687660000131
其中，s为Z方向的缩放因子。
本发明第二实施例中，由特征点匹配单元51，检测两帧彩色图像的特征点，将检测到的特征点配对，得到正确匹配的彩色图像的特征点；将色彩相机和深度相机看做立体相机，由标定参数确定单元52对其进行标定，得到标定参数；将彩色图像的深度数据对应的灰度图像和彩色图像作为立体图像，由校正映射关系确定单元53根据标定参数确定单元52得到的标定参数对所述图像进行配准，得到校正映射关系；由所述校正映射关系计算得到灰度图像特征点对应的真实深度数据，进而确定出特征点的三维点云坐标，并将其匹配。在本实施例对两帧彩色图像特征点进行匹配时，加入新的误匹配过滤过程，提高匹配正确性；在获取特征点对应的真实浮点型深度数据时，将深度相机和色彩相机进行立体标定，设计一种新颖的基于立体校正的方案，简化映射过程，并保证精度不损失；最后，计算两帧彩色图像特征点的三维点云，实现三维点云的高精确匹配。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (6)

1.一种三维点云匹配方法，其特征在于，所述方法包括：
检测所捕获的两帧彩色图像的特征点，将所述特征点进行配对，得到匹配的彩色图像特征点，所述检测所捕获的两帧彩色图像的特征点，将所述特征点进行配对，得到匹配的彩色图像特征点包括：检测所捕获的两帧彩色图像的特征点，计算所述特征点的描述子，根据所述描述子对所述两帧彩色图像的特征点进行配对，过滤配对后的特征点，得到匹配的彩色图像特征点，所述过滤配对后的特征点，得到匹配的彩色图像特征点包括：双向遍历所述特征点的描述子，确定描述子之间的汉明距离，将单向确定的最近汉明距离与次近汉明距离作商，并将所得商值与比率阈值比较，根据比较结果得到候选的匹配的特征点，统计所述候选的匹配的特征点的斜率以及出现次数最多的斜率，比较所述候选的匹配的特征点的斜率以及出现次数最多的斜率，根据比较结果过滤所述候选的匹配的特征点，计算过滤后的所述候选的匹配的特征点的坐标差，将过滤后的所述候选的匹配的特征点的坐标差和坐标差中值的偏移量与指定的偏移量阈值比较，根据比较结果确定匹配的彩色图像特征点；
将用于捕获所述彩色图像的色彩相机和用于捕获所述彩色图像的深度数据的深度相机进行立体标定，得到标定参数；
根据所述标定参数对所述彩色图像和所述深度数据对应的灰度图像进行配准，得到校正映射关系；
根据所述校正映射关系，确定匹配的彩色图像特征点的真实深度数据，根据所述真实深度数据确定并匹配所述匹配的彩色图像特征点的三维点云坐标。
2.根据权利要求1所述的方法，其特征在于，所述深度数据为浮点型深度数据矩阵，此时，所述根据所述标定参数对所述彩色图像和所述深度数据对应的灰度图像进行配准，得到校正映射关系，具体包括：
将所述浮点型深度数据矩阵转换为灰度图像，对所述灰度图像和所述彩色图像进行畸变消除；
将所述灰度图像的平面成像原点坐标转换至和所述彩色图像的平面成像原点坐标一致，得到校正映射关系。
3.根据权利要求1所述的方法，其特征在于，所述将单向确定的最近汉明距离与次近汉明距离作商，并将所得商值与比率阈值比较，根据比较结果得到候选的匹配的特征点，具体包括：
将第一帧彩色图像上每个特征点的描述子遍历第二帧图像的特征点的描述子得到的最近汉明距离和次近汉明距离的商值与比率阈值比较，若小于或等于所述比率阈值，判定所述最近汉明距离对应的特征点为第一候选匹配特征点；
将第二帧彩色图像上每个特征点的描述子遍历第一帧图像的特征点的描述子得到的最近汉明距离和次近汉明距离的商值与比率阈值比较，若小于或等于所述比率阈值，判定所述最近汉明距离对应的特征点为第二候选匹配特征点；
当所述第一候选匹配特征点与所述第二候选匹配特征点相同时，判定所述第一候选匹配特征点或所述第二候选匹配特征点为候选的匹配的特征点。
4.一种三维点云匹配系统，其特征在于，所述系统包括：
特征点匹配单元，用于检测所捕获的两帧彩色图像的特征点，将所述特征点进行配对，得到匹配的彩色图像特征点，所述特征点匹配单元具体包括：描述子确定模块、配对模块以及过滤模块，其中，描述子确定模块，用于检测所捕获的两帧彩色图像的特征点，计算所述特征点的描述子，配对模块，用于根据所述描述子对所述两帧彩色图像的特征点进行配对，过滤模块，用于过滤配对后的特征点，得到匹配的彩色图像特征点，所述过滤模块具体包括：汉明距离确定模块、候选匹配确定模块、斜率过滤模块以及坐标差过滤模块，其中，汉明距离确定模块，用于双向遍历所述特征点的描述子，确定描述子之间的汉明距离，候选匹配确定模块，用于将单向确定的最近汉明距离与次近汉明距离作商，并将所得商值与比率阈值比较，根据比较结果得到候选的匹配的特征点，斜率过滤模块，用于统计所述候选的匹配的特征点的斜率以及出现次数最多的斜率，比较所述候选的匹配的特征点的斜率以及出现次数最多的斜率，根据比较结果过滤所述候选的匹配的特征点，坐标差过滤模块，用于计算过滤后的所述候选的匹配的特征点的坐标差，将过滤后的所述候选的匹配的特征点的坐标差和坐标差中值的偏移量与指定的偏移量阈值比较，根据比较结果确定匹配的彩色图像特征点；
标定参数确定单元，用于将捕获所述彩色图像的色彩相机和捕获所述彩色图像的深度数据的深度相机进行立体标定，得到标定参数；
校正映射关系确定单元，用于根据所述标定参数对所述彩色图像和所述深度数据对应的灰度图像进行配准，得到校正映射关系；
三维点云匹配单元，用于根据所述校正映射关系，确定匹配的彩色图像特征点的真实深度数据，根据所述真实深度数据确定并匹配所述匹配的彩色图像特征点的三维点云坐标。
5.根据权利要求4所述的系统，其特征在于，所述深度数据为浮点型深度数据矩阵，相应地，所述校正映射关系确定单元具体包括：
图像畸变消除模块，用于将所述浮点型深度数据矩阵转换为灰度图像，对所述灰度图像和所述彩色图像进行畸变消除；
坐标转换模块，用于将所述灰度图像的平面成像原点坐标转换至和所述彩色图像的平面成像原点坐标一致，得到校正映射关系。
6.根据权利要求4所述的系统，其特征在于，所述候选匹配确定模块具体包括：
第一遍历单元，用于将第一帧彩色图像上每个特征点的描述子遍历第二帧图像的特征点的描述子得到的最近汉明距离和次近汉明距离的商值与比率阈值比较，若小于或等于所述比率阈值，判定所述最近汉明距离对应的特征点为第一候选匹配特征点；
第二遍历单元，用于将第二帧彩色图像上每个特征点的描述子遍历第一帧图像的特征点的描述子得到的最近汉明距离和次近汉明距离的商值与比率阈值比较，若小于或等于所述比率阈值，判定所述最近汉明距离对应的特征点为第二候选匹配特征点；
候选特征点匹配单元，用于当所述第一候选匹配特征点与所述第二候选匹配特征点相同时，判定所述第一候选匹配特征点或所述第二候选匹配特征点为候选的匹配的特征点。
CN201710116527.4A 2017-02-28 2017-02-28 一种三维点云匹配方法及其系统 Active CN108510530B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710116527.4A CN108510530B (zh) 2017-02-28 2017-02-28 一种三维点云匹配方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710116527.4A CN108510530B (zh) 2017-02-28 2017-02-28 一种三维点云匹配方法及其系统

Publications (2)

Publication Number Publication Date
CN108510530A CN108510530A (zh) 2018-09-07
CN108510530B true CN108510530B (zh) 2021-03-05

Family

ID=63373725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710116527.4A Active CN108510530B (zh) 2017-02-28 2017-02-28 一种三维点云匹配方法及其系统

Country Status (1)

Country Link
CN (1) CN108510530B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108829116B (zh) * 2018-10-09 2019-01-01 上海岚豹智能科技有限公司 基于单目摄像头的避障方法及设备
CN111047678B (zh) * 2018-10-12 2024-01-23 杭州海康威视数字技术股份有限公司 一种三维人脸采集装置和方法
CN111326099B (zh) * 2018-12-14 2021-10-01 西安诺瓦星云科技股份有限公司 显示校正方法、装置及系统、存储介质以及显示系统
CN109700465A (zh) * 2019-01-07 2019-05-03 广东体达康医疗科技有限公司 一种移动式三维伤口扫描设备及其工作流程
CN110136211A (zh) * 2019-04-18 2019-08-16 中国地质大学（武汉） 一种基于主动双目视觉技术的工件定位方法及系统
CN110390719B (zh) * 2019-05-07 2023-02-24 香港光云科技有限公司 基于飞行时间点云重建设备
CN110120013B (zh) * 2019-05-15 2023-10-20 深圳市凌云视迅科技有限责任公司 一种点云拼接方法及装置
CN112116549A (zh) * 2019-06-03 2020-12-22 北京京东叁佰陆拾度电子商务有限公司 用于评估点云地图精度的方法和装置
CN110209997A (zh) * 2019-06-10 2019-09-06 成都理工大学 基于三维特征点的深度相机自动标定算法
CN110335315B (zh) * 2019-06-27 2021-11-02 Oppo广东移动通信有限公司 一种图像处理方法及装置、计算机可读存储介质
CN110342252B (zh) * 2019-07-01 2024-06-04 河南启迪睿视智能科技有限公司 一种物品自动抓取方法及自动抓取装置
CN110458897B (zh) * 2019-08-13 2020-12-01 北京积加科技有限公司 多摄像头自动标定方法及系统、监控方法及系统
CN110427917B (zh) * 2019-08-14 2022-03-22 北京百度网讯科技有限公司 用于检测关键点的方法和装置
CN112446836B (zh) * 2019-09-05 2023-11-03 浙江舜宇智能光学技术有限公司 用于tof深度相机的数据处理方法及其系统
CN110942501B (zh) * 2019-11-27 2020-12-22 深圳追一科技有限公司 虚拟形象切换方法、装置、电子设备及存储介质
CN111524174B (zh) * 2020-04-16 2023-08-29 上海航天控制技术研究所 一种动平台动目标双目视觉三维构建方法
CN114723788A (zh) * 2021-01-04 2022-07-08 北京小米移动软件有限公司 图像配准方法、装置、终端及存储介质
CN112924955B (zh) * 2021-01-29 2022-12-16 同济大学 一种路侧激光雷达点云坐标动态修正方法
CN113340266A (zh) * 2021-06-02 2021-09-03 江苏豪杰测绘科技有限公司 一种室内空间测绘系统及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609941A (zh) * 2012-01-31 2012-07-25 北京航空航天大学 基于ToF深度相机的三维注册方法
CN104167003B (zh) * 2014-08-29 2017-01-18 福州大学 一种遥感影像的快速配准方法
CN105894574B (zh) * 2016-03-30 2018-09-25 清华大学深圳研究生院 一种双目三维重建方法
CN105913489B (zh) * 2016-04-19 2019-04-23 东北大学 一种利用平面特征的室内三维场景重构方法
CN106127739B (zh) * 2016-06-16 2021-04-27 华东交通大学 一种结合单目视觉的rgb-d slam方法

Also Published As

Publication number Publication date
CN108510530A (zh) 2018-09-07

Similar Documents

Publication Publication Date Title
CN108510530B (zh) 一种三维点云匹配方法及其系统
CN110322500B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN108805934B (zh) 一种车载摄像机的外部参数标定方法及装置
US10339390B2 (en) Methods and apparatus for an imaging system
CN112734852B (zh) 一种机器人建图方法、装置及计算设备
US10529076B2 (en) Image processing apparatus and image processing method
CN111210477B (zh) 一种运动目标的定位方法及系统
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN110992263B (zh) 一种图像拼接方法及系统
CN110349212B (zh) 即时定位与地图构建的优化方法及装置、介质和电子设备
CN106183995B (zh) 一种基于立体视觉的可视倒车方法
CN106996748A (zh) 一种基于双目视觉的轮径测量方法
CN107729893A (zh) 一种合模机的视觉定位方法、系统和存储介质
CN110910456B (zh) 基于Harris角点互信息匹配的立体相机动态标定方法
CN105118086A (zh) 3d-aoi设备中的3d点云数据配准方法及系统
CN114029946A (zh) 一种基于3d光栅引导机器人定位抓取的方法、装置及设备
CN113012197A (zh) 一种适用于动态交通场景的双目视觉里程计定位方法
CN112132874A (zh) 无标定板异源图像配准方法、装置、电子设备及存储介质
Ding et al. A robust detection method of control points for calibration and measurement with defocused images
CN107957246A (zh) 基于双目视觉的传送带上物体几何尺寸测量方法
CN111998862A (zh) 一种基于bnn的稠密双目slam方法
CN112348869A (zh) 通过检测和标定恢复单目slam尺度的方法
Horanyi et al. Generalized pose estimation from line correspondences with known vertical direction
CN103185546A (zh) 宽度量测方法及系统
CN117870659A (zh) 基于点线特征的视觉惯性组合导航算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: B501, Building F2, TCL Science Park, No. 1001, Zhongshanyuan Road, Shuguang Community, Xili Street, Nanshan District, Shenzhen City, Guangdong Province, 518000

Patentee after: LAUNCH DIGITAL TECHNOLOGY Co.,Ltd.

Country or region after: China

Address before: 518000 Third Floor, Fengyun Building, Galaxy, No. 5 Xinxi Road, North District, Nanshan High-tech Park, Shenzhen City, Guangdong Province

Patentee before: LAUNCH DIGITAL TECHNOLOGY Co.,Ltd.

Country or region before: China

CP03 Change of name, title or address