CN109272537B - 一种基于结构光的全景点云配准方法 - Google Patents

一种基于结构光的全景点云配准方法 Download PDF

Info

Publication number
CN109272537B
CN109272537B CN201810936055.1A CN201810936055A CN109272537B CN 109272537 B CN109272537 B CN 109272537B CN 201810936055 A CN201810936055 A CN 201810936055A CN 109272537 B CN109272537 B CN 109272537B
Authority
CN
China
Prior art keywords
point cloud
point
registered
registration
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810936055.1A
Other languages
English (en)
Other versions
CN109272537A (zh
Inventor
徐静
陈恳
包佳立
万安
吴丹
张继文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201810936055.1A priority Critical patent/CN109272537B/zh
Publication of CN109272537A publication Critical patent/CN109272537A/zh
Application granted granted Critical
Publication of CN109272537B publication Critical patent/CN109272537B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Abstract

本发明涉及一种基于结构光的全景点云配准方法，属于机器人视觉领域。该方法首先采用结构光的方法获取待测目标的N个目标点云和N个待配准点云；对N个待配准点云以及N个目标点云进行降采样，把每个点云空间中分割成M个体素，并将每个点云空间中位于同一个体素中的点取均值输出；获取每个待配准点云对应的二维坐标变换矩阵并扩展为对应的三维坐标变换矩阵；利用迭代最邻近点ICP算法将三维坐标变换矩阵作为初值，进行点云进行精配准，并对精配准后的全景点云进行点云融合，得到完整的全景点云，配准完毕。本发明利用基于深度的变权重粗配准方法，可快速完成目标点云与待测点云的粗配准，随后使用ICP算法实现高精度的点云精配准。

Description

一种基于结构光的全景点云配准方法
技术领域
本发明涉及一种基于结构光的全景点云配准方法，属于机器人视觉领域。
背景技术
视觉测量时，为了得到完整的场景点云地图，需要从不同位置或视角进行多次测量，而每次测量结果都是在不同坐标系中的，因此应将每次测量的点云进行坐标系转换，并保证不同位置测量的点云中相同点变换到同一位置，这一过程即为点云配准。对于静态场景的点云地图重建，可以认为点云之间的坐标变换是刚体变换。点云配准，一般可分为粗配准和精配准两个过程。粗配准用于给定精配准优化的初始值。对于使用了IMU(InertialMeasurement Unit，惯性测量单元)或旋转工作台等运动估计功能的点云重建设备，相当于已知了点云之间运动，所以容易进行点云的粗配准；否则，需要找到点云之间的匹配关系才能计算两个点云之间的转换矩阵。
粗配准可以利用二维图像特征点，如Lin等人用图像SURF(Speeded Up RobustFeatures，加速稳健特征算法)特征进行配准，也可以从点云中提取三维特征点用于配准，如FPFH(Fast Point Feature Histograms，快速的点特征直方图)特征、局部三维特征点等；Yang等人于2016年提出一种基于语义特征的配准方法，该方法首先对点云按水平间隔分层并对层内点云分割成块，然后提取各块各点云中的柱状物、交点等并连接成竖直线，最后求这些竖直线和地面的交点并构造成三角形并利用这些三角形进行匹配，从而达到配准的目的；这种方法主要利用了传感器的位姿受限(只能在水平面上移动和沿重力方向旋转)的特性，适用于利用TLS(Terrestrial Laser Scanning，地面激光扫描)这种大尺度室外场景，并且在点云分割时需要建立点云网格这会增大计算量，比较耗时。
最经典和最常用的点云精配准方法是1992年Besl等人提出的ICP(IterativeClosest Point，迭代最邻近点)算法，其基本思想是迭代地计算待配准点集(折线、曲线、曲面等的采样点)中每个点距离固定参考点集中的最近点，并将其作为匹配点从而计算，ICP算法可用于折线点、曲线点、曲面点、稠密点云和三角面片等之间的配准，具有无须点集之间的匹配关系、各点集中点数量可以不同和计算速度较快等优点，因此被广泛应用于点云配准中。但正如文中作者所提出的，ICP算法也有如下缺点；要求待配准的点云之间应有较大的重叠区域；容易得到局部最优值，对初始值要求高等。为此，很多基于测量场景和传感器类型的变体ICP算法被提出：如使用点云法向量的ICP方法(点到平面的配准)、通用ICP方法(平面到平面的配准)等。
点云配准方法是构建完整三维点云地图的基础，也是许多后续工作(如点云网格化、点云识别等)的基础，其计算精度也决定了最终形成的点云地图的精度。基于ICP等方法的配准过程已基本成熟，而为ICP提供初值的粗配准方法仍是三维测量领域的一个研究热点。但现有的基于二维图像特征或者三维点云特征的粗配准方法，难于适用于平面多、特征点少的环境进行地图重建。因此有必要提出一种针对性的三维全景点云配准方法。
结构光测量是一种非接触式测量方式，因其设备组成简单、测量分辨率高、精度高等优势而广泛应用于工业测量、生物医学以及零部件逆向工程等领域。结构光三维测量系统是由图像投影单元、图像采集单元以及计算机组成的。计算机生成的包含特定编码信息的投影图案称为结构光。利用结构光测量的原理是，首先图像投影单元将结构光团投射到待测目标表面，图像采集单元拍摄在待测目标表面变形的结构光图像后传递给计算机进行解码，获得待测目标表面各点在投影仪图像坐标系上相应的相位信息，结合该点在图像坐标系坐标，利用三角测量法计算出待测目标表面各点三维坐标，完成测量。
发明内容
本发明的目的在于克服已有技术的不足之处，提出一种基于结构光的全景点云配准方法。该方法利用基于深度的变权重粗配准方法，快速完成目标点云与待测点云的粗配准，随后使用ICP算法完成高精度的点云精配准。
本发明提出一种基于结构光的全景点云配准方法，其特征在于，包括以下步骤：
(1)选定一个待测目标，选取相机和投影仪，采用结构光的方法获取待测目标对应的N个目标点云和N个待配准点云；
(2)使用体素网络法对N个目标点云和N个待配准点云进行降采样，把每个点云空间分割成M个体素，并将每个点云空间中位于同一个体素中的点取均值输出；
(3)获取每个待配准点云对应的二维坐标变换矩阵；具体方法如下：
把降采样后的第i个待配准点云
Figure GDA0002968944310000021
与降采样后的第i个目标点云
Figure GDA0002968944310000022
都投影到相机坐标系ocxcyc，计算
Figure GDA0002968944310000023
中各点到相机光心ocxcyczc原点距离并进行归一化得到
Figure GDA0002968944310000024
中每个点对应的距离权值；
对于
Figure GDA0002968944310000025
中第j个点，该点到相机光心ocxcyczc原点距离的计算表达式如下：
Figure GDA0002968944310000031
其中，
Figure GDA0002968944310000032
代表第i个待配准点云空间中第j个点的X坐标，
Figure GDA0002968944310000033
代表第i个待配准点云空间中第j个点的Y坐标；
归一化后，得到第i个待配准点云空间中第j个点对应的距离权值，表达式如下：
Figure GDA0002968944310000034
其中，Ni为
Figure GDA0002968944310000035
中点的个数；
利用每个点对应的距离权值
Figure GDA0002968944310000036
计算
Figure GDA0002968944310000037
对应的二维坐标变换矩阵，表达式如下：
Figure GDA0002968944310000038
其中,
Figure GDA0002968944310000039
代表第i个目标点云空间中第j个点的X坐标，
Figure GDA00029689443100000310
代表第i个目标点云空间中第j个点的Y坐标；
(4)将步骤(3)得到的每个待配准点云对应的二维坐标变换矩阵扩展为对应的三维坐标变换矩阵，粗配准完毕；
对于第i个待配准点云
Figure GDA00029689443100000311
其对应的三维坐标变换矩阵
Figure GDA00029689443100000312
表达式如下：
Figure GDA00029689443100000313
其中，hm,n表示
Figure GDA00029689443100000314
中第m行，第n列元素；
(5)设定ICP算法的收敛条件，将每个待配准点云对应的三维坐标变换矩阵
Figure GDA00029689443100000315
作为初值，利用ICP算法进行点云精配准，并对精配准后的全景点云进行点云融合，得到完整的全景点云，配准完毕。
本发明的的特点及有益效果在于：
本发明能快速完成三维点云的粗配准，且适用于平面多、特征点少的环境，并通过精配准完成高精度三维全景点云的配准。本发明基于二维图像特征完成三维点云粗配准，使用基于深度的变权重粗配准方法，解决了由于测量表面深度增加导致点云测量质量变差和误差增大的问题，另一方面利用结构光主动测量的特点，解决了环境中平面多、特征点少的问题。该方法可以应用于所有点云的配准方法中，对平面多、特征点少的环境也有效，粗配准速度快，精配准精度高的特点，具有很好的应用前景。
具体实施方式
本发明提出一种基于结构光的全景点云配准方法，下面结合具体实施例对本发明进一步详细说明如下。
本发明提出一种基于结构光的全景点云配准方法，包括以下步骤：
(1)选定一个待测目标，选取双目相机或相机(型号不限，本实施例中选取大恒HV1351UM)和投影仪(型号不限，本实施例中选取LG HS300G)，采用结构光的方法获取待测目标对应的N个目标点云和N个待配准点云；
本发明中，待测目标可为任意物体(本实施例的待测目标为一个6m*5m的房间模型)，N个点云要求能够覆盖整个待测目标，且待配准点云与目标点云之间至少有一半点的交集，本实施例中选取N＝19。实际上在全景点云配准的过程中是以使用结构光方法首先任意测得第一个点云A作为第一个目标点云，然后任意测得第二个点云B(此时点云B称为第一个待配准点云)去与A配准，然后再测第三个点云C作为第二个的待配准点云去与之前的融合点云AB配准(此时的融合点云AB为第二个目标点云)，接下来再测第四个点云D作为第三个待配准点云去与第三个目标点云ABC配准；如此类推，直至得到N个目标点云和N个待配准点云。
(2)使用体素网络法对N个目标点云和N个待配准点云进行降采样，把每个点云空间分割成M个(M根据体素尺寸决定)正方体块(体素)，并将每个点云空间中位于同一个体素中的点取均值输出。
(3)获取每个待配准点云对应的二维坐标变换矩阵；具体方法如下：
把降采样后的第i个待配准点云
Figure GDA0002968944310000041
与降采样后的第i个目标点云
Figure GDA0002968944310000042
都投影到相机坐标系ocxcyc，即只留下每个点的x,y坐标，去掉z坐标值，计算
Figure GDA0002968944310000043
中各点到全景相机光心ocxcyczc原点距离并并进行归一化得到每个点对应的距离权值；
对于
Figure GDA0002968944310000044
中第j个点，该点到全景相机光心ocxcyczc原点距离的计算表达式如下：
Figure GDA0002968944310000045
其中，
Figure GDA0002968944310000051
代表第i个待配准点云空间中第j个点的X坐标，
Figure GDA0002968944310000052
代表第i个待配准点云空间中第j个点的Y坐标；
归一化后，得到第i个待配准点云空间中第j个点对应的距离权值，表达式如下：
Figure GDA0002968944310000053
其中，Ni为
Figure GDA0002968944310000054
中点的个数；
利用每个点对应的距离权值
Figure GDA0002968944310000055
计算
Figure GDA0002968944310000056
对应的二维坐标变换矩阵，表达式如下：
Figure GDA0002968944310000057
其中,
Figure GDA0002968944310000058
代表第i个目标点云空间中第j个点的X坐标，
Figure GDA0002968944310000059
代表第i个目标点云空间中第j个点的Y坐标；
(4)将步骤(3)得到的每个待配准点云对应的二维坐标变换矩阵扩展为对应的三维坐标变换矩阵，粗配准完毕；
对于第i个待配准点云
Figure GDA00029689443100000510
其对应的三维坐标变换矩阵
Figure GDA00029689443100000511
表达式如下：
Figure GDA00029689443100000512
其中，hm,n表示
Figure GDA00029689443100000513
中第m行，第n列元素。
(5)设定ICP算法的收敛条件，该阈值选择不应超过点云内点间距的数量级，一般选为1e-5，利用已有的ICP算法将每个待配准点云对应的三维坐标变换矩阵
Figure GDA00029689443100000514
作为初值，进行点云精配准，并对精配准后的全景点云进行点云融合，得到完整的全景点云；配准完毕。
本发明将得到的三维坐标变换矩阵作用到待配准点云上(即，三维坐标变换矩阵×点坐标)即能够得到待配准点云在目标点云上的坐标值，从而将目标点云与待配准点云变换到同一坐标系下。

Claims (1)

1.一种基于结构光的全景点云配准方法，其特征在于，包括以下步骤：
(1)选定一个待测目标，选取相机和投影仪，采用结构光的方法获取待测目标对应的N个目标点云和N个待配准点云；
(2)使用体素网络法对N个目标点云和N个待配准点云进行降采样，把每个点云空间分割成M个体素，并将每个点云空间中位于同一个体素中的点取均值输出；
(3)获取每个待配准点云对应的二维坐标变换矩阵；具体方法如下：
把降采样后的第i个待配准点云
Figure FDA0002968944300000011
与降采样后的第i个目标点云
Figure FDA0002968944300000012
都投影到相机坐标系ocxcyc，计算
Figure FDA0002968944300000013
中各点到相机光心ocxcyczc原点距离并进行归一化得到
Figure FDA0002968944300000014
中每个点对应的距离权值；
对于
Figure FDA0002968944300000015
中第j个点，该点到相机光心ocxcyczc原点距离的计算表达式如下：
Figure FDA0002968944300000016
其中，
Figure FDA0002968944300000017
代表第i个待配准点云空间中第j个点的X坐标，
Figure FDA0002968944300000018
代表第i个待配准点云空间中第j个点的Y坐标；
归一化后，得到第i个待配准点云空间中第j个点对应的距离权值，表达式如下：
Figure FDA0002968944300000019
其中，Ni为
Figure FDA00029689443000000110
中点的个数；
利用每个点对应的距离权值
Figure FDA00029689443000000111
计算
Figure FDA00029689443000000112
对应的二维坐标变换矩阵，表达式如下：
Figure FDA00029689443000000113
其中,
Figure FDA00029689443000000114
代表第i个目标点云空间中第j个点的X坐标，
Figure FDA00029689443000000115
代表第i个目标点云空间中第j个点的Y坐标；
(4)将步骤(3)得到的每个待配准点云对应的二维坐标变换矩阵扩展为对应的三维坐标变换矩阵，粗配准完毕；
对于第i个待配准点云
Figure FDA00029689443000000116
其对应的三维坐标变换矩阵
Figure FDA00029689443000000117
表达式如下：
Figure FDA0002968944300000021
其中，hm,n表示
Figure FDA0002968944300000022
中第m行，第n列元素；
(5)设定ICP算法的收敛条件，将每个待配准点云对应的三维坐标变换矩阵
Figure FDA0002968944300000023
作为初值，利用ICP算法进行点云精配准，并对精配准后的全景点云进行点云融合，得到完整的全景点云，配准完毕。
CN201810936055.1A 2018-08-16 2018-08-16 一种基于结构光的全景点云配准方法 Active CN109272537B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810936055.1A CN109272537B (zh) 2018-08-16 2018-08-16 一种基于结构光的全景点云配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810936055.1A CN109272537B (zh) 2018-08-16 2018-08-16 一种基于结构光的全景点云配准方法

Publications (2)

Publication Number Publication Date
CN109272537A CN109272537A (zh) 2019-01-25
CN109272537B true CN109272537B (zh) 2021-08-13

Family

ID=65153932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810936055.1A Active CN109272537B (zh) 2018-08-16 2018-08-16 一种基于结构光的全景点云配准方法

Country Status (1)

Country Link
CN (1) CN109272537B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110044358B (zh) * 2019-04-29 2020-10-02 清华大学 基于现场场线特征的移动机器人定位方法
CN110443836B (zh) * 2019-06-24 2022-03-18 中国人民解放军战略支援部队信息工程大学 一种基于平面特征的点云数据自动配准方法及装置
CN110322492B (zh) * 2019-07-03 2022-06-07 西北工业大学 一种基于全局优化的空间三维点云配准方法
CN111275747B (zh) * 2019-11-18 2023-05-23 中国商用飞机有限责任公司 一种虚拟装配方法、装置、设备和介质
CN111462197B (zh) * 2020-03-06 2023-05-26 深圳大学 外观模型获取方法、装置、计算机设备和存储介质
CN111915661B (zh) * 2020-07-24 2023-08-08 广州大学 基于ransac算法的点云配准方法、系统及计算机可读存储介质
CN113793370B (zh) * 2021-01-13 2024-04-19 北京京东叁佰陆拾度电子商务有限公司 三维点云配准方法、装置、电子设备及可读介质
CN113223145B (zh) * 2021-04-19 2023-11-24 中国科学院国家空间科学中心 用于行星表面探测的亚像素测量多源数据融合方法及系统
CN113483664B (zh) * 2021-07-20 2022-10-21 科派股份有限公司 一种基于线结构光视觉的屏风板自动上料系统及方法
CN113793369B (zh) * 2021-09-30 2024-03-15 太原理工大学 一种复杂自由曲面迭代双向法线投影配准方法
CN116523973A (zh) * 2023-01-10 2023-08-01 北京长木谷医疗科技股份有限公司 骨骼配准方法及装置
CN116486012B (zh) * 2023-04-27 2024-01-23 中国民用航空总局第二研究所 一种航空器三维模型构建方法、存储介质及电子设备
CN116883471B (zh) * 2023-08-04 2024-03-15 天津大学 面向胸腹部经皮穿刺的线结构光无接触点云配准方法
CN117765048A (zh) * 2024-02-22 2024-03-26 吉林大学 一种基于跨模态融合的水下目标三维配准方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485690A (zh) * 2015-08-25 2017-03-08 南京理工大学 基于点特征的点云数据与光学影像的自动配准融合方法
CN106584090A (zh) * 2016-12-26 2017-04-26 清华大学 基于结构光三维测量系统的工件装配方法
JP2018028899A (ja) * 2016-08-19 2018-02-22 三菱電機株式会社 画像レジストレーションの方法及びシステム
CN107886528A (zh) * 2017-11-30 2018-04-06 南京理工大学 基于点云的配电线路作业场景三维重建方法
US9972067B2 (en) * 2016-10-11 2018-05-15 The Boeing Company System and method for upsampling of sparse point cloud for 3D registration

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485690A (zh) * 2015-08-25 2017-03-08 南京理工大学 基于点特征的点云数据与光学影像的自动配准融合方法
JP2018028899A (ja) * 2016-08-19 2018-02-22 三菱電機株式会社 画像レジストレーションの方法及びシステム
US9972067B2 (en) * 2016-10-11 2018-05-15 The Boeing Company System and method for upsampling of sparse point cloud for 3D registration
CN106584090A (zh) * 2016-12-26 2017-04-26 清华大学 基于结构光三维测量系统的工件装配方法
CN107886528A (zh) * 2017-11-30 2018-04-06 南京理工大学 基于点云的配电线路作业场景三维重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Fine registration of 3D point clouds with iterative closest point using an RGB-D camera;Jun Xie等;《2013 IEEE International Symposium on Circuits and Systems (ISCAS)》;20130801;2904-2907 *
改进的基于FPFH特征配准点云的方法;马大贺等;《计算机与现代化》;20171130(第11期);46-50 *

Also Published As

Publication number Publication date
CN109272537A (zh) 2019-01-25

Similar Documents

Publication Publication Date Title
CN109272537B (zh) 一种基于结构光的全景点云配准方法
CN107945220B (zh) 一种基于双目视觉的重建方法
CN103247075B (zh) 基于变分机制的室内环境三维重建方法
CN106803267B (zh) 基于Kinect的室内场景三维重建方法
CN106826833B (zh) 基于3d立体感知技术的自主导航机器人系统
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN107767456A (zh) 一种基于rgb‑d相机的物体三维重建方法
CN104574432B (zh) 一种自动多视角人脸自拍图像的三维人脸重建方法及系统
CN112001926B (zh) 基于多维语义映射rgbd多相机标定方法、系统及应用
CN108225319B (zh) 基于目标特征的单目视觉快速相对位姿估计系统及方法
CN109887030A (zh) 基于cad稀疏模板的无纹理金属零件图像位姿检测方法
CN104463969B (zh) 一种对航空倾斜拍摄的地理照片的模型的建立方法
CN113470090A (zh) 基于sift-shot特征的多固态激光雷达外参标定方法
CN109272574A (zh) 基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法
CN113192200B (zh) 一种基于空三并行计算算法的城市实景三维模型的构建方法
CN110044374A (zh) 一种基于图像特征的单目视觉测量里程的方法及里程计
CN104715504A (zh) 一种鲁棒的大场景稠密三维重建方法
Qian et al. Robust visual-lidar simultaneous localization and mapping system for UAV
CN116129037B (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
Meng et al. Defocused calibration for large field-of-view binocular cameras
CN116563377A (zh) 一种基于半球投影模型的火星岩石测量方法
CN107784666B (zh) 基于立体影像的地形地物三维变化检测和更新方法
Nakagawa et al. Topological 3D modeling using indoor mobile LiDAR data
CN114119891A (zh) 一种机器人单目半稠密地图三维重建方法和重建系统
CN108151712B (zh) 一种人体三维建模及测量方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant