CN117372489A - 一种用于双线结构光三维测量的点云配准方法及系统 - Google Patents
一种用于双线结构光三维测量的点云配准方法及系统 Download PDFInfo
- Publication number
- CN117372489A CN117372489A CN202311670134.XA CN202311670134A CN117372489A CN 117372489 A CN117372489 A CN 117372489A CN 202311670134 A CN202311670134 A CN 202311670134A CN 117372489 A CN117372489 A CN 117372489A
- Authority
- CN
- China
- Prior art keywords
- point
- points
- sampling
- characteristic
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000005259 measurement Methods 0.000 title claims abstract description 37
- 238000005070 sampling Methods 0.000 claims abstract description 101
- 239000011159 matrix material Substances 0.000 claims abstract description 38
- 239000013598 vector Substances 0.000 claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims abstract description 6
- 230000008859 change Effects 0.000 claims description 15
- 230000003044 adaptive effect Effects 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 11
- 230000003247 decreasing effect Effects 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 7
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种用于双线结构光三维测量的点云配准方法及系统,该方法包括以下步骤:获取待测工件两个角度的三维点云P和Q;分别对三维点云P和Q进行自适应栅格采样处理,得到降采样后的三维点云P和Q,并通过求解采样点加权协方差矩阵并设定自适应阈值提取特征点;使用特征描述子记录特征点的特征,找到特征相似的特征点点对,对降采样后的三维点云P和Q进行粗配准;计算特征点点对的法向量夹角,根据夹角分布概率定义熵函数并设定熵阈值剔除误匹配点;利用剔除误匹配点的特征点点对进行精配准,得到待测工件的配准点云。本发明基于自适应栅格采样进行点云精简处理和设立熵函数来剔除误匹配点,使得整个配准过程计算速度更快,匹配更准确。
Description
技术领域
本发明属于三维测量技术领域,具体涉及一种用于双线结构光三维测量的点云配准方法及系统。
背景技术
在三维测量中,由于被测物体被遮挡、扫描盲区等问题,不能得到完整的物体点云,为了获得被测物体的三维模型,必须将不同视角的点云集合进行匹配,并计算它们之间的最优刚性变换,最后将所有点云统一到全局坐标系下,形成完整点云,这就是点云配准。
目前,点云配准的方法有很多,但是并没有存在十分完美的方法,对于扫描出来的点云一般点数很多,计算工作量非常大,会降低工作效率,对于点云的特征点提取并进行特征匹配可能会出现很多的误匹配点,这些误匹配点的存在会大大降低匹配的性能,导致计算时间长并且匹配不准确等。
发明内容
本发明的目的在于,提供一种用于双线结构光三维测量的点云配准方法及系统,解决点云点数多导致计算工作量大时间长以及误匹配点导致匹配不准确的问题。
本发明解决其技术问题所采用的技术方案如下:
第一方面,本发明提供一种用于双线结构光三维测量的点云配准方法,包括以下步骤:
获取待测工件两个角度的三维点云P和Q;
分别对三维点云P和Q进行自适应栅格采样处理,得到降采样后的三维点云P和Q,并通过求解采样点加权协方差矩阵并设定自适应阈值提取特征点;
利用特征描述子记录特征点的特征,以找到对应的特征点点对,对降采样后的三维点云P和Q进行粗配准;
计算特征点点对的法向量夹角,根据夹角分布概率定义熵函数并设定熵阈值剔除误匹配点;
利用剔除误匹配点的特征点点对进行精配准,得到待测工件的配准点云。
进一步的,利用双线结构光三维测量装置获取待测工件两个角度的三维点云P和Q,具体包括:
双线结构光三维测量装置包括三坐标轴移动平台、垂直于三坐标轴移动平台的双远心相机以及与相机方向成两个相同角度的左右线激光器;
标定相机和线激光器,将待测工件置于三坐标轴移动平台上,线激光器发射激光投射在待测工件表面,通过相机捕捉物体表面反射的光线,再根据光线的形变来计算物体表面各点的位置信息,通过不断改变光源的位置或角度,获取待测工件两个角度的三维点云P和Q。
进一步的,自适应栅格采样处理包括:
构建多尺度的体素网格,覆盖整个三维点云,根据点云密度确定采样步长和范围;假设一个三维点云中某个点P的局部邻域为N(P),邻域内包含个点,则点P的自适应采样步长Step(p)为:
=K/>
其中,P(p)表示P的局部密度,K是控制采样点密集程度的参数;此公式意味着点P的局部密度较大时,采样步长较大,采样点少,点P的局部密度较小时,采样步长较小,采样点多,从而实现自适应采样;
对于每个采样网格,选取靠近中心点的一个点作为采样点,从而得到三维点云P和Q经自适应栅格采样处理后的采样点云。
进一步的,通过求解采样点加权协方差矩阵并设定自适应阈值提取特征点包括:
设采样点的局部邻域采样点为/>,/>,则采样点/>邻域的加权协方差矩阵/>为:
其中,为局部邻域采样点的个数,/>为第/>个邻域采样点;/>=/>;/>为距离权重函数,是一个递减函数,r为邻域半径,/>为距离函数;
根据加权协方差矩阵求得其所有特征值:,m为特征值总数;设,则最小的特征值/>对应的特征向量为采样点/>处的法向量,采样点/>处曲率为:
根据该公式计算所有采样点的曲率并按照曲率大小排序,得到一个曲率序列:.../>,/>表示采样点的总数;
对于每个采样点,选择其k个最近邻点,定义邻域为/>,计算采样点/>的曲率与最近邻点的曲率之差的平均值,则采样点/>的曲率变化率定义为:
其中,k是邻域大小,表示采样点/>的邻域点的曲率;
将所有采样点的曲率变化率再按从小到大顺序排序,即得到一个阈值序列.../>,然后对于每个采样点判断其曲率变化率是否超过自适应阈值/>,即:
当>/>时,认定该采样点为特征点。
进一步的,其中,自适应阈值定义为:
其中,是松紧系数,/>表示邻域内点j的曲率变化率。
进一步的,利用特征描述子记录特征点的特征,使用采样一致性方法找到对应的特征点点对,对降采样后的三维点云P和Q进行粗配准,具体包括:
构建三维点云P和Q的特征点局部坐标系,设定一个邻域半径r使用最近邻搜索方法找到邻域内的所有点并分别计算特征点与所有邻域点间的特征,再分别以特征点邻域内的所有点为中心设定相同的半径搜索到每个邻域点的邻域点,并结合距离权重计算每个邻域点的特征,最后将特征点的特征与邻域点的特征进行相加得到最终的该特征点的直方图,得到其统计特征,公式如下:
+/>
其中,SPFH是每个点的3元组特征,分别是α、φ、θ;
假设源点云中有一特征点为,其邻域点为/>,将两点相连有一条线,其中/>的法向量为/>,/>的法向量为/>,若将这两点相连的线作为X轴,其Y轴计算方法为:v=(/>-/>)×u,其Z轴计算方式为:w=u×v,根据该局部坐标系计算/>与/>的三元组特征,如下:
=/>
=/>
其中,是根据特征点/>与其邻域点/>之间的距离设置的距离权重,/>=/>,|/>-/>|<r,r为邻域半径,k为邻域点个数;/>是l 2范数;
基于特征描述子的特征使用采样一致性方法进行三维点云P和Q的特征点粗配准,步骤如下:
(1)设置采样最小距离d_min;
(2)在三维点云P的特征点中选取s个特征点,所选取的特征点之间的最小距离应满足大于d_min;
(3)对所选取的每一个特征点,在三维点云Q的特征点中通过最近邻搜索寻找一组统计特征相似的点,并从这些相似点中任选一个作为对应点;
(4)根据两个点云数据集的对应关系计算刚体变换矩阵,并通过计算度量错误来评价转换矩阵的质量,公式如下:
E()=/>
其中,为预先给定的值,/>为变换后第i组对应点之间的距离差,返回最小误差E()对应的变换矩阵(R,t),重复步骤(2)~(4)直到达到最佳度量错误结果。
进一步的,计算特征点点对的法向量夹角,根据夹角分布概率定义熵函数并设定熵阈值剔除误匹配点包括:
计算特征点点对的法向量夹角,并分为若干个区间;统计每个区间内的夹角数目,并计算每个区间内所有夹角的概率密度:
其中,是第/>个区间内夹角/>的概率密度,使用概率密度/>计算每个区间的熵,定义熵函数为:
=/>
其中,为区间内角度数量;
根据计算得到的每个区间的熵并比较大小,熵越小则表示该区间匹配可靠性高,根据算出来的每个区间的熵值,计算一个平均值设为熵阈值,熵阈值选取依次递减,直到达到要求停止递减,确定最佳熵阈值,把大于该熵阈值的区间点都剔除。
进一步的,熵阈值设置方法如下:
(1)根据计算得到的每个区间的熵值,得到一个熵值数组M={.../>},其中/>是区间数量;
(2)计算熵值数组的平均值m1;
(3)设定一个熵阈值T=m1,计算大于熵阈值T的区间数量并剔除:,其中[x]为示性函数,表示当x成立时取值为1,否则为0;h从1至/>;
(4)如果k1<1或不再变化则停止递减,T即为最佳熵阈值,其中/>是预设阈值;
(5)否则,将阈值T递减一个步长。
进一步的,利用剔除误匹配点的特征点点对进行精配准包括:
(1)将粗配准后的两片三维点云和Q,作为精配准的初始点集;
(2)对源点云中的每一点/>,在目标点云Q中寻找距离最近的对应点/>作为该点在源点云中的对应点,组成初始对应点对,计算其质心:
_c=/>
Q_c=
其中,n是点的数量,_c是三维点云/>的质心,Q_c是三维点云Q的质心,/>是第j个点坐标;
对于每个点和/>去中心化,得到去中心化后的点:
_prime_j=/>-/>_c
Q_prime_j=-Q_c
(3)构建点到点度量距离的误差函数:
其中,k为最邻近点个数,为目标点云Q中与/>对应的点,/>为源点云中第j个点,通过计算旋转矩阵R和平移矩阵t使得误差函数最小;
(4)对使用上一步求得的旋转矩阵R和平移矩阵t进行旋转和平移,得到新的对应点集/>'={/>'=R/>+t,/>∈P};
(5)计算'与对应点集/>的均方根误差/>:
(6)设定一个阈值μ,当d<μ则迭代结束,此时求解得到的R和t共同组成最终刚性三维变换矩阵,完成点云精配准,否则继续回到第(2)步,直到满足收敛条件为止。
第二方面,本发明提供一种用于实现上述中任意一项所述的用于双线结构光三维测量的点云配准方法的用于双线结构光三维测量的点云配准系统,包括:
点云获取模块,用于获取待测工件两个角度的三维点云P和Q;
特征点提取模块,用于分别对三维点云P和Q进行自适应栅格采样处理,得到降采样后的三维点云P和Q,并通过求解采样点加权协方差矩阵并设定自适应阈值提取特征点;
粗配准模块,用于利用特征描述子记录特征点的特征,以找到对应的特征点点对,对降采样后的三维点云P和Q进行粗配准;
误匹配点剔除模块,用于计算特征点点对的法向量夹角,根据夹角分布概率定义熵函数并设定熵阈值剔除误匹配点;
精配准模块,用于利用剔除误匹配点的特征点点对进行精配准,得到待测工件的配准点云。
本发明与现有技术相比,具有以下优点及有益效果:
(1)本发明利用双结构光的优势和可移动三坐标轴平台进行结合,采集待测工件的三维数据,点云数据可以精简滤波、实体化等,但是针对一些复杂工件扫描还是存在视野盲区,需要利用配准的方法进行三维重建还原物体的三维数据,进而得到准确的目标数据,本发明测量效率高,抗干扰能力强,测量精度高。
(2)本发明基于自适应栅格采样进行点云精简处理和设立熵函数来剔除误匹配点,使得整个配准过程计算速度更快,匹配更准确。
(3)本发明对工件进行扫描采集数据,计算机程序运行流畅稳定,适应性强,对点云进行自适应栅格采样处理后精简点云,对计算机配置要求不高,鲁棒性好,优化了人力物力资源。
附图说明
图1为用于双线结构光三维测量的点云配准方法流程图;
图2为双线结构光三维测量装置示意图;
图3为自适应采样前点云P示意图;
图4为自适应采样前点云Q示意图。
图中:1-相机,2-线激光器,3-平台。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明针对目前各种工件三维测量的问题,利用线激光器、双远心相机、计算机设计一种检测装置:把相机和线激光发射器安装在设计的采集装置支架上,相机垂直向下安装,左右线激光发射器与相机方向成、/>角度安装,并相应调整相机、线激光发射器,在计算机上能清晰看到图像,且激光线在相机视野中心。根据实际情况控制Z轴的运动,从而时刻都能得到清晰、明亮的激光线。线激光器发射激光投射在工件表面,通过相机捕捉物体表面反射的光线,再根据光线的形变来计算物体表面各点的位置信息,通过不断改变光源的位置或角度,可以获取更全面的点云数据,对获得的点云数据进行处理并把结果传输到计算机应用程序,对所得数据进行采集与储存,在终端显示结果。
实施例1
本发明的用于双线结构光三维测量的点云配准方法,如图1所示,包括以下步骤:
S1:标定相机和激光,以物体平台保持相对静止,控制Z轴和X轴来扫描两个角度待测工件的三维点云数据P和Q,如图3和图4所示。
在一些实施例中,步骤S1具体方法如下:
S11:搭建如上所述的双结构光三维测量装置,如图2所示;
S12:标定相机1和线激光器2后,实验室人员操作软件把待测物体平台3归位,然后通过程序控制X和Z运动轴,使待测物体处于相机正中心,设置好采集数据的步长以及速度,调整相机参数后进行数据采集,采集过程中只移动Y轴,线激光器发射激光投射在工件表面,通过相机捕捉物体表面反射的光线,再根据光线的形变来计算物体表面各点的位置信息,通过不断改变光源的位置或角度,获取点云数据,扫出的点云由结构光转换而成,并有序排列。
S2:对点云进行自适应栅格采样处理,使用加权协方差矩阵来计算采样点局部区域内表面变化信息找到特征点,计算特征点特征,并计算邻域内其他点特征,通过特征加权融合得到最终统计特征,计算每个特征点的法向量以及法向量夹角,并进行点云粗配准。
在一些实施例中,S2具体方法如下:
S21:构建多尺度的体素网格,覆盖整个点云,根据点云密度确定采样步长和范围,假设一个点云中某个点P的局部邻域为N(P),邻域内包含个点,则P的自适应采样步长Step(p)为:
=K/>
其中,P(p)表示P的局部密度,K是控制采样点密集程度,本实施例取值为0.8。此公式意味着P的局部密度较大时,采样步长较大,采样点少,P的密度越小采样步长较小,采样点多,从而实现自适应采样。
S22:对于每个采样格,选取其中心点作为采样点,公式如下:
其中,表示邻域中包含点的数量,q表示邻域中的每个点的坐标。
经自适应栅格采样处理后,点云P和Q的点数明显减少。
S23:使用加权协方差矩阵来计算点云局部区域内表面变化信息找到特征点,计算每个特征点的法向量,并计算特征点特征以及邻域内其他点特征,通过特征加权得到最终统计特征步骤如下:
假设采样点中任意一点,其局部邻域点为/> ,/>,则点/>邻域的加权协方差矩阵为:
其中,=/>,/>为距离权重函数,这是一个递减函数,r为邻域半径,用这个权重函数来改善估计的法向量或曲率在尖锐特征处的不明显。
加权协方差矩阵的大小为n×3,3表示XYZ三个维度。
根据加权协方差矩阵求得其所有特征值例如,/>,/>,设/>,则/>对应的特征向量为/>处的法向量/>,/>处曲率为:
根据该公式计算所有点的曲率并按照曲率大小排序,得到一个曲率序列:.../>,这里n表示采样点构成的点云中点的总数,对于每个点/>,选择其k个最近邻点,定义邻域为/>,计算与这些点的曲率之差的平均值,那么/>的曲率变化率可定义为:
其中,k是邻域大小,本实施例取值为10,表示点/>的邻域点的曲率。
将所有点的曲率变化率再按从小到大顺序排序,即得到一个阈值序列.../>,然后,对于每个点判断其变化率是否超过了自适应阈值,即:
其中,自适应阈值可以定义为:
其中,是一个松紧系数,本实施例取值为0.2,/>表示邻域内点j的曲率变化量。
该公式对于局部尖锐特征选取较大阈值,对于变化较小的选取较小的阈值,主要利用局部邻域的平均变化情况来判断该点是否为特征点,当>/>时,认定该点为特征点。
S24:构建点云P和Q的特征点局部坐标系,设定一个邻域半径r使用最近邻搜索方法找到邻域内的所有点并分别计算特征点与所有邻域点间的特征,再分别以特征点邻域内的所有点为中心设定相同的半径搜索到每个邻域点的邻域点,并计算他们的特征设置了一个距离权重,最后将这两组数据进行相加得到最终的特征点的直方图,得到统计特征,公式如下:
+/>
其中,SPFH是每个点的3元组特征数据,分别是α、φ、θ,假设这里源点云中有一特征点为,其邻域点为/>,把这两点相连有一条虚线,其中/>的法向量为/>,/>的法向量为/>,那么把这两点相连的线看为X轴的话,其Y轴计算方法为:v=(/>-/>)×u,其Z轴计算方式为:w=u×v,根据该局部坐标系就能计算/>与/>的三元组特征,如下:
=/>
=/>
其中,是根据特征点/>与其邻域点/>之间的距离设置的权重,/>=/>,|/>-|<r,r为邻域半径,k为邻域点个数。
S25:基于描述子的特征使用采样一致性算法进行点云P和Q粗配准的步骤如下:
(1)设置采样最小距离d_min,根据多次实验结果取0.15效果最好。
(2)在点云P中选取s个特征点,为了保证采样点具有不同的特征,它们之间的最小距离应满足大于d_min。
(3)对每一个特征点,在点云Q中通过最近邻搜索寻找一组最终特征相似的点,并从这些相似点中任选一个作为对应点。
(4)根据两个点云数据集的对应关系计算刚体变换矩阵,并通过计算度量错误来评价转换矩阵的质量,公式如下:
E()=/>
其中,为预先给定的值0.2,/>为变换后第i组对应点之间的距离差,返回最小误差E(/>)对应的变换(R,t),重复(2)~(4)步骤直到达到最佳度量错误结果。
S3:根据夹角分布概率定义熵函数来评估夹角分布的均匀性以此来剔除误匹配点,再使用迭代最近点方法进行精配准来获得更完美的点云数据。
在一些实施例中,S3具体方法如下:
S31:重复S23中求解每个采样点的协方差矩阵进行特征值分解得到每个特征点的法向量,并计算每个特征点对的法向量夹角,这里假设有特征点A和B,对应的法向量为N_A和N_B,首先计算两个法向量内积:
N_B=/>
接下来分别计算两个向量的模:
||||=/>,||/>||=/>
则法向量夹角计算可以使用反余弦函数进行计算,公式如下:
这里计算出来是弧度表示形式,再通过将弧度/>乘以/>可以转换为角度值。
S32:将步骤S31得到的夹角数据分为若干个区间,例如(0,30/>),(30/>,60/>),(60/>,90/>)等,并统计每个区间内的夹角数目,并计算每个区间内所有夹角的概率密度:
其中,是第i个区间内夹角j的概率密度,使用概率密度/>计算每个区间的熵,定义熵函数为:
=/>
其中,m为区间内角度数量,根据计算得到的每个区间的熵并比较大小,熵越小则表示该区间匹配可靠性高,根据算出来的每个区间的熵值,计算一个平均值设为阈值,阈值选取依次递减,直到效果最好停止递减,确定最佳阈值,把大于该阈值的区间点都剔除,方法如下:
(1)根据计算得到的每个区间的熵值,得到一个熵值数组M={.../>},其中n是区间数量;
(2)计算熵值数组的平均值;
(3)设定一个阈值T=m,计算大于阈值T的区间数量并剔除:,其中[x]为示性函数,表示当x成立时取值为1,否则为0;
(4)如果k<或不再变化则停止递减,T即为最佳阈值,其中/>是预设阈值,/>取0.1,表示找到大于平均值的区间数量小于总区间的10%;
(5)否则,将阈值T递减一个步长,/>取值为0.5。
重复(3)~(5),直到k<或不再变化循环结束,得到最佳阈值并剔除了大于阈值的区间。
S33:经过剔除了误匹配点之后为了进一步减小误差,使用迭代最近点方法进行精配准来获得更完美的点云数据具体步骤如下:
(1)将初始配准后的两片点云和Q,作为精配准的初始点集;
(2)对源点云中的每一点/>,在目标点云Q中寻找距离最近的对应点/>作为该点在源点云中的对应点,组成初始对应点对,计算其质心:
_c=/>
Q_c=
其中n是点的数量,然后去中心化:
_prime_j=/>-/>_c
Q_prime_j=-/>_c
(3)构建点到点度量距离的误差函数:
其中k为最邻近点个数,为目标点云Q中与/>对应的点,/>为源点云中第j个点,通过计算R和t使得误差函数最小
(4)对使用上一步求得的旋转矩阵R和平移矩阵t进行旋转和平移,得到新的对应点集/>'={/>'=R/>+t,/>∈P}。
(5)计算'与对应点集/>的均方根误差:
(6)设定一个阈值μ=0.001,当d<μ则迭代结束,此时求解得到的R和t共同组成最终刚性三维变换矩阵,完成点云精配准,否则继续回到第(2)步,直到满足收敛条件为止。
实施例2
本发明还提供一种用于实现上述中任意一项所述的用于双线结构光三维测量的点云配准方法的用于双线结构光三维测量的点云配准系统,包括:
点云获取模块,用于获取待测工件两个角度的三维点云P和Q;
特征点提取模块,用于分别对三维点云P和Q进行自适应栅格采样处理,得到降采样后的三维点云P和Q,并通过求解采样点加权协方差矩阵并设定自适应阈值提取特征点;
粗配准模块,用于利用特征描述子记录特征点的特征,以找到对应的特征点点对,对降采样后的三维点云P和Q进行粗配准;
误匹配点剔除模块,用于计算特征点点对的法向量夹角,根据夹角分布概率定义熵函数并设定熵阈值剔除误匹配点;
精配准模块,用于利用剔除误匹配点的特征点点对进行精配准,得到待测工件的配准点云。
综上所述,本发明公开了一种用于双线结构光三维测量的点云配准方法及系统,其测量装置包括垂直于运动平台的双远心镜头、相机、与相机成两个角度和/>的左右激光器、三坐标轴移动平台等。该方法包括:首先,标定激光和相机,使用仪器获取待扫描物件两个角度的点云,对三维点云进行自适应栅格采样处理;对处理完的点云通过求解加权协方差矩阵并设定一个自适应阈值来提取点云中的特征点,使用特征描述子记录特征点的特征,并计算每个特征点的法向量以及特征点对的法向量夹角,通过夹角分布概率定义一个熵函数来剔除误匹配点对;利用得到的点特征进行点云的粗配准,再基于最小二乘迭代最近点的方法对点云进行二次配准。本发明测量效果好,计算速度快,可以解决扫描盲区问题。
需要说明的是,上述实施例中各步骤的先后并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
需要指出,根据实施的需要,可将本申请中描述的各个步骤/部件拆分为更多步骤/部件,也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件,以实现本发明的目的。
本领域的技术人员容易理解,以上仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种用于双线结构光三维测量的点云配准方法,其特征在于,包括以下步骤:
获取待测工件两个角度的三维点云P和Q;
分别对三维点云P和Q进行自适应栅格采样处理,得到降采样后的三维点云P和Q,并通过求解采样点加权协方差矩阵并设定自适应阈值提取特征点;
利用特征描述子记录特征点的特征,以找到对应的特征点点对,对降采样后的三维点云P和Q进行粗配准;
计算特征点点对的法向量夹角,根据夹角分布概率定义熵函数并设定熵阈值剔除误匹配点;
利用剔除误匹配点的特征点点对进行精配准,得到待测工件的配准点云。
2.根据权利要求1所述的用于双线结构光三维测量的点云配准方法,其特征在于,利用双线结构光三维测量装置获取待测工件两个角度的三维点云P和Q,具体包括:
双线结构光三维测量装置包括三坐标轴移动平台、垂直于三坐标轴移动平台的双远心相机以及与相机方向成两个相同角度的左右线激光器;
标定相机和线激光器,将待测工件置于三坐标轴移动平台上,线激光器发射激光投射在待测工件表面,通过相机捕捉物体表面反射的光线,再根据光线的形变来计算物体表面各点的位置信息,通过不断改变光源的位置或角度,获取待测工件两个角度的三维点云P和Q。
3.根据权利要求1所述的用于双线结构光三维测量的点云配准方法,其特征在于,自适应栅格采样处理包括:
构建多尺度的体素网格,覆盖整个三维点云,根据点云密度确定采样步长和范围;假设一个三维点云中某个点P的局部邻域为N(P),邻域内包含个点,则点P的自适应采样步长Step(p)为:
=K/>
其中,P(p)表示P的局部密度,K是控制采样点密集程度的参数;此公式意味着点P的局部密度较大时,采样步长较大,采样点少,点P的局部密度较小时,采样步长较小,采样点多,从而实现自适应采样;
对于每个采样网格,选取靠近中心点的一个点作为采样点,从而得到三维点云P和Q经自适应栅格采样处理后的采样点云。
4.根据权利要求1所述的用于双线结构光三维测量的点云配准方法,其特征在于,通过求解采样点加权协方差矩阵并设定自适应阈值提取特征点包括:
设采样点的局部邻域采样点为/>,/>,则采样点/>邻域的加权协方差矩阵/>为:
其中,为局部邻域采样点的个数,/>为第/>个邻域采样点;/>=/>;/>为距离权重函数,是一个递减函数,r为邻域半径,/>为距离函数;
根据加权协方差矩阵求得其所有特征值:,m为特征值总数;设,则最小的特征值/>对应的特征向量为采样点/>处的法向量,采样点/>处曲率为:
根据该公式计算所有采样点的曲率并按照曲率大小排序,得到一个曲率序列:.../>,/>表示采样点的总数;
对于每个采样点,选择其k个最近邻点,定义邻域为/>,计算采样点/>的曲率与最近邻点的曲率之差的平均值,则采样点/>的曲率变化率定义为:
其中,k是邻域大小,表示采样点/>的邻域点的曲率;
将所有采样点的曲率变化率再按从小到大顺序排序,即得到一个阈值序列.../>,然后对于每个采样点判断其曲率变化率是否超过自适应阈值/>,即:
当>/>时,认定该采样点为特征点。
5.根据权利要求4所述的用于双线结构光三维测量的点云配准方法,其特征在于,其中,自适应阈值定义为:
其中,是松紧系数,/>表示邻域内点j的曲率变化率。
6.根据权利要求1所述的用于双线结构光三维测量的点云配准方法,其特征在于,利用特征描述子记录特征点的特征,使用采样一致性方法找到对应的特征点点对,对降采样后的三维点云P和Q进行粗配准,具体包括:
构建三维点云P和Q的特征点局部坐标系,设定一个邻域半径r使用最近邻搜索方法找到邻域内的所有点并分别计算特征点与所有邻域点间的特征,再分别以特征点邻域内的所有点为中心设定相同的半径搜索到每个邻域点的邻域点,并结合距离权重计算每个邻域点的特征,最后将特征点的特征与邻域点的特征进行相加得到最终的该特征点的直方图,得到其统计特征,公式如下:
+/>
其中,SPFH是每个点的3元组特征,分别是α、φ、θ;
假设源点云中有一特征点为,其邻域点为/>,将两点相连有一条线,其中/>的法向量为/>,/>的法向量为/>,若将这两点相连的线作为X轴,其Y轴计算方法为:v=(/>-/>)×u,其Z轴计算方式为:w=u×v,根据该局部坐标系计算/>与/>的三元组特征,如下:
=/>
=/>
其中,是根据特征点/>与其邻域点/>之间的距离设置的距离权重,/>=/>,|/>-|<r,r为邻域半径,k为邻域点个数;/>是l 2范数;
基于特征描述子的特征使用采样一致性方法进行三维点云P和Q的特征点粗配准,步骤如下:
(1)设置采样最小距离d_min;
(2)在三维点云P的特征点中选取s个特征点,所选取的特征点之间的最小距离应满足大于d_min;
(3)对所选取的每一个特征点,在三维点云Q的特征点中通过最近邻搜索寻找一组统计特征相似的点,并从这些相似点中任选一个作为对应点;
(4)根据两个点云数据集的对应关系计算刚体变换矩阵,并通过计算度量错误来评价转换矩阵的质量,公式如下:
E()=/>
其中,为预先给定的值,/>为变换后第i组对应点之间的距离差,返回最小误差E(/>)对应的变换矩阵(R,t),重复步骤(2)~(4)直到达到最佳度量错误结果。
7.根据权利要求4所述的用于双线结构光三维测量的点云配准方法,其特征在于,计算特征点点对的法向量夹角,根据夹角分布概率定义熵函数并设定熵阈值剔除误匹配点包括:
计算特征点点对的法向量夹角,并分为若干个区间;统计每个区间内的夹角数目,并计算每个区间内所有夹角的概率密度:
其中,是第/>个区间内夹角/>的概率密度,使用概率密度/>计算每个区间的熵,定义熵函数为:
=/>
其中,为区间内角度数量;
根据计算得到的每个区间的熵并比较大小,熵越小则表示该区间匹配可靠性高,根据算出来的每个区间的熵值,计算一个平均值设为熵阈值,熵阈值选取依次递减,直到达到要求停止递减,确定最佳熵阈值,把大于该熵阈值的区间点都剔除。
8.根据权利要求7所述的用于双线结构光三维测量的点云配准方法,其特征在于,熵阈值设置方法如下:
(1)根据计算得到的每个区间的熵值,得到一个熵值数组M={.../>},其中/>是区间数量;
(2)计算熵值数组的平均值m1;
(3)设定一个熵阈值T=m1,计算大于熵阈值T的区间数量并剔除:,其中[x]为示性函数,表示当x成立时取值为1,否则为0;h从1至/>;
(4)如果k1<1或不再变化则停止递减,T即为最佳熵阈值,其中/>是预设阈值;
(5)否则,将阈值T递减一个步长。
9.根据权利要求1所述的用于双线结构光三维测量的点云配准方法,其特征在于,利用剔除误匹配点的特征点点对进行精配准包括:
(1)将粗配准后的两片三维点云和Q,作为精配准的初始点集;
(2)对源点云中的每一点/>,在目标点云Q中寻找距离最近的对应点/>作为该点在源点云中的对应点,组成初始对应点对,计算其质心:
_c=/>
Q_c=
其中,n是点的数量,_c是三维点云/>的质心,Q_c是三维点云Q的质心,/>是第j个点坐标;
对于每个点和/>去中心化,得到去中心化后的点:
_prime_j=/>-/>_c
Q_prime_j=-Q_c
(3)构建点到点度量距离的误差函数:
其中,k为最邻近点个数,为目标点云Q中与/>对应的点,/>为源点云中第j个点,通过计算旋转矩阵R和平移矩阵t使得误差函数最小;
(4)对使用上一步求得的旋转矩阵R和平移矩阵t进行旋转和平移,得到新的对应点集'={/>'=R/>+t,/>∈P};
(5)计算'与对应点集/>的均方根误差/>:
(6)设定一个阈值μ,当d<μ则迭代结束,此时求解得到的R和t共同组成最终刚性三维变换矩阵,完成点云精配准,否则继续回到第(2)步,直到满足收敛条件为止。
10.一种用于实现权利要求1至9中任意一项所述的用于双线结构光三维测量的点云配准方法的用于双线结构光三维测量的点云配准系统,其特征在于,包括:
点云获取模块,用于获取待测工件两个角度的三维点云P和Q;
特征点提取模块,用于分别对三维点云P和Q进行自适应栅格采样处理,得到降采样后的三维点云P和Q,并通过求解采样点加权协方差矩阵并设定自适应阈值提取特征点;
粗配准模块,用于利用特征描述子记录特征点的特征,以找到对应的特征点点对,对降采样后的三维点云P和Q进行粗配准;
误匹配点剔除模块,用于计算特征点点对的法向量夹角,根据夹角分布概率定义熵函数并设定熵阈值剔除误匹配点;
精配准模块,用于利用剔除误匹配点的特征点点对进行精配准,得到待测工件的配准点云。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311670134.XA CN117372489B (zh) | 2023-12-07 | 2023-12-07 | 一种用于双线结构光三维测量的点云配准方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311670134.XA CN117372489B (zh) | 2023-12-07 | 2023-12-07 | 一种用于双线结构光三维测量的点云配准方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117372489A true CN117372489A (zh) | 2024-01-09 |
CN117372489B CN117372489B (zh) | 2024-03-12 |
Family
ID=89404478
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311670134.XA Active CN117372489B (zh) | 2023-12-07 | 2023-12-07 | 一种用于双线结构光三维测量的点云配准方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117372489B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117788538A (zh) * | 2024-02-27 | 2024-03-29 | 南京信息工程大学 | 点云区间配对体积方差一致性的配准方法、装置和系统 |
CN117788538B (zh) * | 2024-02-27 | 2024-05-10 | 南京信息工程大学 | 点云区间配对体积方差一致性的配准方法、装置和系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105741345A (zh) * | 2014-12-10 | 2016-07-06 | 富泰华工业(深圳)有限公司 | 点云法向量调整方法及系统 |
EP1780678B1 (en) * | 2005-10-31 | 2018-09-05 | Leica Geosystems AG | Determining appearance of points in point cloud based on normal vectors of points |
CN109919984A (zh) * | 2019-04-15 | 2019-06-21 | 武汉惟景三维科技有限公司 | 一种基于局部特征描述子的点云自动配准方法 |
CN115131208A (zh) * | 2022-06-27 | 2022-09-30 | 上海第二工业大学 | 一种结构光3d扫描测量方法及系统 |
CN116758126A (zh) * | 2023-06-28 | 2023-09-15 | 南通大学 | 一种基于相似三角形的误匹配剔除的快速点云配准方法 |
-
2023
- 2023-12-07 CN CN202311670134.XA patent/CN117372489B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1780678B1 (en) * | 2005-10-31 | 2018-09-05 | Leica Geosystems AG | Determining appearance of points in point cloud based on normal vectors of points |
CN105741345A (zh) * | 2014-12-10 | 2016-07-06 | 富泰华工业(深圳)有限公司 | 点云法向量调整方法及系统 |
CN109919984A (zh) * | 2019-04-15 | 2019-06-21 | 武汉惟景三维科技有限公司 | 一种基于局部特征描述子的点云自动配准方法 |
CN115131208A (zh) * | 2022-06-27 | 2022-09-30 | 上海第二工业大学 | 一种结构光3d扫描测量方法及系统 |
CN116758126A (zh) * | 2023-06-28 | 2023-09-15 | 南通大学 | 一种基于相似三角形的误匹配剔除的快速点云配准方法 |
Non-Patent Citations (2)
Title |
---|
SHUSONG HUANG ETC: ""Building Damage Detection Method Based on Normal Vector Computation of Airborne Point Cloud Data"", 《2021 INTERNATIONAL CONFERENCE OF OPTICAL IMAGING AND MEASUREMENT (ICOIM)》 * |
张彬;熊传兵;: "基于体素下采样和关键点提取的点云自动配准", 激光与光电子学进展, vol. 57, no. 4 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117788538A (zh) * | 2024-02-27 | 2024-03-29 | 南京信息工程大学 | 点云区间配对体积方差一致性的配准方法、装置和系统 |
CN117788538B (zh) * | 2024-02-27 | 2024-05-10 | 南京信息工程大学 | 点云区间配对体积方差一致性的配准方法、装置和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117372489B (zh) | 2024-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113436260B (zh) | 基于多传感器紧耦合的移动机器人位姿估计方法和系统 | |
US5471541A (en) | System for determining the pose of an object which utilizes range profiles and synethic profiles derived from a model | |
CN107063228B (zh) | 基于双目视觉的目标姿态解算方法 | |
CN109272523B (zh) | 基于改进cvfh和crh特征的随机堆放活塞位姿估计方法 | |
JP5671281B2 (ja) | 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム | |
CN110230998B (zh) | 基于线激光和双目相机的快速精密三维测量方法和装置 | |
CN108986070B (zh) | 一种基于高速视频测量的岩石裂缝扩展实验监测方法 | |
CN110672020A (zh) | 一种基于单目视觉的立木高度测量方法 | |
CN113324478A (zh) | 一种线结构光的中心提取方法及锻件三维测量方法 | |
CN113470090A (zh) | 基于sift-shot特征的多固态激光雷达外参标定方法 | |
CN111402330A (zh) | 一种基于平面靶标的激光线关键点提取方法 | |
CN115685160A (zh) | 基于标靶的激光雷达与相机标定方法、系统、电子设备 | |
CN110517323A (zh) | 基于机械手单相机多目视觉的三维定位系统及方法 | |
CN117372489B (zh) | 一种用于双线结构光三维测量的点云配准方法及系统 | |
CN113791400B (zh) | 一种基于激光雷达的楼梯参数自主检测方法 | |
CN113932712A (zh) | 一种基于深度相机和关键点的瓜果类蔬菜尺寸测量方法 | |
CN114626112A (zh) | 一种基于边界检验的未知物体表面测量视点规划方法 | |
CN116579955B (zh) | 一种新能源电芯焊缝反光点去噪和点云补全方法及系统 | |
CN113838051B (zh) | 一种基于三维点云的机器人闭环检测方法 | |
CN112083434B (zh) | 一种基于激光的机器人检测方法以及装置 | |
CN117347312B (zh) | 基于多光谱结构光的柑橘连续检测方法和设备 | |
CN113096094B (zh) | 三维物体表面缺陷检测方法 | |
CN111452036B (zh) | 一种基于线激光双目立体视觉的工件抓取方法 | |
CN112950689B (zh) | 一种基于信息熵的三维表征方法 | |
Wang et al. | High-precision binocular optical tracking method based on transformation constraints |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |