CN109242774A - 一种基于多维空间不变特征的平板类零件点云拼接方法 - Google Patents
一种基于多维空间不变特征的平板类零件点云拼接方法 Download PDFInfo
- Publication number
- CN109242774A CN109242774A CN201810993803.XA CN201810993803A CN109242774A CN 109242774 A CN109242774 A CN 109242774A CN 201810993803 A CN201810993803 A CN 201810993803A CN 109242774 A CN109242774 A CN 109242774A
- Authority
- CN
- China
- Prior art keywords
- point
- point cloud
- cloud
- matrix
- initial point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 239000011159 matrix material Substances 0.000 claims abstract description 75
- 238000005070 sampling Methods 0.000 claims abstract description 53
- 238000013519 translation Methods 0.000 claims abstract description 13
- 230000009466 transformation Effects 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 42
- 230000004927 fusion Effects 0.000 claims description 25
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 3
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 239000000155 melt Substances 0.000 claims 1
- 238000005304 joining Methods 0.000 description 8
- 238000004080 punching Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多维空间不变特征的平板类零件点云拼接方法。利用最邻近点迭代算法计算点云旋转矩阵,计算多组取样半径,针对不同的取样半径,利用点云纹理和点云密度特征,计算各点在不同尺度下的协方差矩阵,构建协方差描述符;定义两协方差描述符间的多尺度流式距离;根据流式距离确定两点云中的匹配点对并粗配准,获得平移矩阵;再进行最邻近点迭代算法获得旋转矩阵;获得最终变换矩阵,完成拼接。本发明通过对点云中各点定义协方差描述符,利用某点处具有空间不变特性的密度特征和纹理特征,实现平板类零件点云的自动拼接,适合于带有孔特征的板状零件点云的拼接。
Description
技术领域
本发明涉及三维点云数据后处理领域,主要涉及一种基于多维空间不变特征的平板类零件点云拼接方法。
背景技术
在工业生产中,作为覆盖件、底板或基体类零件的平板类零件具有广泛应用。为保证生产质量,需要对这类平板类零件的成形质量进行检测。近年来,作为一种测量精度较高的非接触式点云获取方法,结构光三维测量技术发展迅速,越来越多的企业开始采用这种技术对成形零件的结构尺寸进行三维重构,以检测零件成形是否满足设计要求。受大型平板类零件的尺寸限制,结构光三维测量设备往往只能从某一单一视角进行测量。由于从单一视角获得的点云仅能体现被测物体的部分特征,为获得被测物体的完整点云,需要将多幅单视角点云进行拼接。
现有的点云拼接方法主要包括两类,一类是需要人工辅助的拼接方法,另一类是无辅助的自动拼接方法。由于大型平板类冲压零件的几何特征较少,采用无辅助的自动拼接方法难以实现正确拼接,因此,在生产实践中,为获取这类大型平板类冲压零件的点云,多采用人工辅助法对多幅点云进行拼接。王曼等通过在待测物体表面设置人工标记点,辅助实现点云的拼接。达飞鹏等提出为保证拼接的精度,标记点的形状应尽量接近等边三角形,标记点的尺寸应足够大,且标记点应在待测物体表面各种高度不同的区域尽可能多的分布。龙玺等利用运动定位装置确定多视角点云间的平移矩阵和旋转矩阵。罗先波等人将人工标记点设计成外方内圆、外黑内白的形式,便于特征点集的获取。由此可见,人工辅助法在多幅点云的拼接中主要存在以下问题:第一,人工标记点的辅助拼接方法,对标记点形状、尺寸、位置的设置具有较高要求,且破坏待测物体表面的完整性;第二,采用定位装置确定多视角点云间位置变换矩阵的方法,拼接结果受到定位装置精度的影响,且设备体积较大,操作灵活性差。
为避免上述有辅助拼接方法中存在的问题,无辅助的自动拼接方法受到广泛关注。现有的无辅助拼接方法主要包括两类,一类是Besl等人提出的最邻近点迭代算法,另一类是基于点云表面特征的拼接方法。在结构上,大型平板类冲压零件整体上大多表现为少纹理且曲率变化不明显的平面,因此,最邻近点迭代算法在原理上无法实现这类冲压类零件点云的正确拼接,需要利用大型平板类冲压零件的纹理特征进行配准。现有的基于点云表面特征的配准方法中,Cirujeda等人利用颜色和纹理信息进行拼接;朱延娟等人基于点云曲率信息对点云特征进行拼接;陆军等人利用点云的多尺度法向特征进行拼接。但是,上述拼接方法存在所利用的点云表面信息较少或信息不易获取的问题,且稳定性较差,难以对少特征的大型平板类零件进行拼接。
发明内容
针对上述问题,本发明提出了一种基于多维空间不变特性的平板类零件点云拼接方法,通过对点云中各点定义协方差描述符,利用某点处具有空间不变特性的密度特征和纹理特征,实现平板类零件点云的自动拼接,特别适合于带有孔特征的板状零件点云的拼接。
如图1所示,本发明所采用的技术方案是:
步骤1:针对相机分别从两个不同视角获得平板类零件的两个待拼接点云,利用最邻近点迭代算法计算两个待拼接点云之间的点云旋转矩阵R1,并利用点云旋转矩阵将其中一个待拼接点云进行空间变换,利用空间变换后的第一个待拼接点云和未空间变换后的第二个待拼接点云一起为后续拼接提供初值,从而获得两个初始点云,其中一个初始点云为经空间变换后的那个待拼接点云,另一个初始点云为未经空间变换后的另一个待拼接点云;
步骤1中计算出旋转矩阵R1后,该步骤能防止后续特征点自动搜索时所获得的特征点过少而无法实现正确拼接,大大减少实现后续点云的拼接所需匹配点对的对数。
步骤2:根据切比雪夫不等式,在保证取样有效性的前提下,以点云中的每一点作为基准点进行遍历,采用以下方式处理:首先计算基准点处的最小取样半径值,并以此为基准确定取样半径系列;然后针对取样半径系列的不同取样半径值,计算基准点邻域内密度信息和纹理信息的平均值,构造基准点的特征融合向量,获得变尺度条件下的一组协方差矩阵,最后构建基准点的协方差描述符作为点云中基准点特征度量;
所述最小取样半径值是指在基准点的邻域内对点云的局部特征进行估计,为保证估计准确性不低于一定把握,该球形区域内所含点云点的数目(不包括区域边界上的点)存在一个最小值,当满足该最小值时,该球形区域的半径即为最小取样半径。
所述保证估计准确性的一定把握,通过取样半径值的尺度进行度量,对于点云中的不同基准点,由于各基准点处点云的局部密度不同,在相同的尺度下,取样半径值可能不同,但取样半径值所应的邻域内,均包含相同数目的点,即相同尺度的取样半径值对估计的准确性也具有相同程度的把握。
所述基准点的邻域是指以基准点为中心、以固定尺度的取样半径值为半径而唯一确定的一个不包含边界的球形区域,作为基准点的邻域。
步骤3:定义分别位于两初始点云的两点间的多尺度流式距离,描述分别位于不同两个初始点云中的两点间的相似程度;
步骤4:根据所有分别位于两初始点云的两点间的多尺度流式距离,构造多尺度流式距离矩阵,确定两初始点云中的匹配点对,计算两待拼接点云间的平移矩阵和旋转矩阵,并以此将两初始点云进行粗配准;
所述配准,即将待拼接点云进行拼接的过程;所述粗配准,表示该次拼接过程实施后,还需要经过后续进一步拼接,进一步完善拼接效果。
步骤5:在粗配准之后,再次应用最邻近点迭代算法采用和步骤1的相同方式获得更精确的旋转矩阵R3,利用步骤4获得的平移矩阵T2并结合更精确的旋转矩阵R3获得最终变换矩阵,利用最终变换矩阵对两初始点云的其中之一进行变换后拼接。
所述步骤2中,针对基准点采用以下步骤处理:
步骤2.1:根据切比雪夫不等式,确定点云中基准点邻域内所包含的点的最小数目nmin;
式中,σ2为随机变量的方差,点云中的所有点构成随机变量的样本空间;对于点云中的任一点,随机变量均有唯一的取值,该特征可以通过该点处的密度特征或曲率特征进行定义。ε为所允许的随机变量取样值偏离样本中心的程度,取ε=0.1;P为置信度,取P=0.95;
步骤2.2:根据取样点最小数目nmin和点云分布密度确定基准点p处的最小取样半径值R0(p),最小取样半径值使得基准点邻域内所包含点的数目等于步骤2.1所获得的点的最小数目;
步骤2.3:将步骤2.2中获得的最小取样半径值,分别乘以不同的放大系数,一个放大系数代表一个尺度,不同的放大系数代表了不同的尺度,获得不同尺度的取样半径值,进而组成取样半径系列,基准点p处的取样半径系列表示为R(p)={R(p,i)|R(p,i)=(R0(p))(i-1)/5,i=1,2,…},具体实施可为{R0(p),1.1R0(p),1.3R0(p),1.5R0(p),1.7R0(p),2R0(p)},其中,i表示取样半径值的第i个尺度,R0(p)表示基准点p处的最小取样半径值,R(p,i)表示基准点p处的第i个尺度的取样半径值;
步骤2.4:在基准点处,对于取样半径系列中的多个取样半径值,逐一计算基准点处不同尺度的具有空间不变特性的特征融合向量;
所述的特征融合向量由两个距离特征元素和三个纹理特征元素的共计五个元素组成;所述距离特征元素包括:基准点邻域内各点与基准点距离的均值,作为距离大小特征;基准点邻域内各点与基准点距离的标准差,作为距离离散特征;所述纹理特征元素包括通过计算三个空间偏角各自在基准点邻域内所有点处的均值而得到的三个曲率特征,三个空间偏角为通过基准点邻域内各点处的法向量相对于基准点处法向量的三个空间偏角,三个空间偏角具体为;第一个空间偏角为基准点邻域内的点和基准点之间的连线与基准点的法向量之间的较小空间夹角,第二个空间偏角为基准点邻域内的点和基准点之间的连线与基准点邻域内的点的法向量之间的较小空间夹角,第三个空间偏角为基准点邻域内的点的法向量与基准点的法向量之间的较小空间夹角;
对于取样半径值R(p,i),计算基准点p处的特征融合向量为f(p,R(p,i))=[d(p,i),σ(p,i),α(p,i),β(p,i),γ(p,i)]T,其中,d(p,i)和σ(p,i)元素分别为距离特征元素的距离大小特征、距离离散特征,α(p,i),β(p,i),γ(p,i)元素分别为纹理特征元素的第一个到第三个空间偏角对应的曲率特征;d(p,i)为以基准点p为中心,取样半径为R(p,i)的邻域内各点与p点间距离的均值;σ(p,i)为以基准点p为中心,取样半径为R(p,i)的邻域内各点与p点间距离的标准差;α(p,i)、β(p,i)、γ(p,i)三者共同表征点云在以基准点p为中心,取样半径值为R(p,i)的邻域内的局部平均曲率。其中,d(p,i)为基准点p取样半径值为R(p,i)的邻域内的距离大小特征,σ(p,i)为基准点p取样半径值为R(p,i)的邻域内的距离离散特征,α(p,i)、β(p,i)、γ(p,i)分别为基准点p取样半径值为R(p,i)的邻域内的第一曲率特征,第二曲率特征和第三曲率特征。
不妨设以基准点p为中心,取样半径值R(p,i)的范围内共有n(p,R(p,i))个点,并记点pj(j=1,2,…,n(p,R(p,i)))为位于基准点p处取样半径值为R(p,i)的邻域内的任一点,则对满足|pj-p|<R(p,i)点任一点pj,有:
式中,α(pj)表示点pj处的第一个空间偏角,β(pj)表示点pj处的第二个空间偏角,γ(pj)表示点pj处的第三个空间偏角;
上式中,三个空间偏角的定义如图2所示。对于某点邻域内的任一点,均可获得上述三个空间偏角,计算各空间角在邻域内各点处的均值,即可得到3个纹理特征元素。
本发明特征融合向量具有空间不变特性,是指由于特征融合向量中各元素均描述两点间某一特性的相对值,因此在点云整体进行平移或旋转时,特征融合向量各元素不发生变化,特征融合向量也不发生变化。即所述特征融合向量中的各元素的值均不受点云平移、旋转的影响,具有很好的点云拼接结果的鲁棒性。
步骤2.5:根据步骤2.4所获得的基准点p处不同取样半径值所对应的多个特征融合向量,计算特征融合向量中各元素在不同取样半径值下的均值,并将各元素的均值按照特征融合向量中元素对应顺序组成基准点处特征融合向量均值;具体计算以基准点p为中心,以取样半径值R(p,i)所构成的邻域内任一点pj处的特征融合向量f(pj,R(pj,i)),基准点p处特征融合向量的均值μ(p,R(p,i))为:
步骤2.6:对于基准点处每一取样半径值,根据步骤2.4中获得的不同尺度下的特征融合向量和步骤2.5中所获得的特征融合向量均值,构造基准点处该取样半径值所对应的协方差矩阵;具体计算基准点p处以取样半径值R(p,i)获得的协方差矩阵C(p,R(p,i))为:
C(p,R(p,i))=(f(p,R(p,i))-μ(p,R(p,i)))(f(p,R(p,i))-μ(p,R(p,i)))T
步骤2.7:对于所有不同尺度的取样半径值R(p,i),重复步骤2.1~步骤2.6,共可得到多个不同的协方差矩阵,共同组成变尺度协方差矩阵,作为基准点处的协方差描述符;
具体实施中可得到多个特征融合协方差矩阵,共同组成变尺度协方差矩阵CV,基准点p的协方差描述符表示为:
CV(p)={C(p,R(p,i)),i=1,2,…}
步骤2.8:对于点云中的所有点,重复步骤2.1~2.7,计算点云中各个点处的协方差描述符。
具体对于点p所在点云中任一点pk,重复步骤2.1~2.7,计算点pk处的协方差描述符CV(pk),k=1,2,…,N,N为点p所在点云中所有点的数目。
所述步骤3,具体包括以下步骤:
步骤3.1:对于分别位于两初始点云中的两个点p1、p2,计算两个点在相同尺度的取样半径值R(p1,i)和R(p2,i)条件下的协方差矩阵之间的单尺度流式距离δ(C(p1,R(p1,i)),C(p2,R(p2,i))),具体表示为:
上式中,λt(C(p1,R(p1,i)),C(p2,R(p2,i)))分别表示点p1、p2对应的协方差矩阵C(p1,R(p1,i))与C(p1,R(p1,i))的第t个特征值,t=1,2,…,l,l为所有特征值的总数目;
步骤3.2:对于多个不同尺度的取样半径值,重复步骤3.1获得不同尺度下的多个单尺度流式距离,再构造分别位于两初始点云中的两个点之间的多尺度流式距离:
式中,CV(p1)表示基准点p1的协方差描述符,CV(p2)表示基准点p2的协方差描述符,i表示取样半径值的序数。
所述步骤4,具体包括以下步骤:
步骤4.1:对于第一初始点云和第二初始点云,对于第一初始点云中的每一点作为参考点,计算第一初始点云中所有点与参考点间的多尺度流式距离,对第一初始点云中所有点进行遍历,从而得到第一初始点云与第二初始点云之间的多尺度流式距离矩阵:
上式中,表示第一初始点云中的第i个点,表示第一初始点云中的第j个点,M1为第一初始点云中所有点的数目,M2为第二初始点云中所有点的数目;
所述多尺度流式距离矩阵中各元素所在行、列的位置,与分别位于第一初始点云和第二初始点云中两个点所构成的初始点对相对应。
具体地,将第一初始点云和第二初始点云中所有点无重复地进行编号,位于多尺度流式距离矩阵第i行、第j列的元素对应于第一初始点云中的第i个点和第二初始点云中的第j个点所构成的点对,且元素的值即为其所对应的点对中两点间的多尺度流式距离;
步骤4.2:对步骤4.1中所获得的多尺度流式距离矩阵δ中的各元素,进行自动阈值分割,采用大津法确定二值化阈值,若多尺度流式距离矩阵中元素小于二值化阈值,即δij<t或δji<t,δij表示多尺度流式距离矩阵δ中第i行、第j列的元素,δji表示多尺度流式距离矩阵δ中第j行、第i列的元素,则认为该元素所对应的点对为一个匹配点对;
所有匹配点对的集合构成两待拼接点云间的匹配点对集合M,表示为:
上式中,S1为由第一初始点云中所有点构成的点集,S2为由第二初始点云中所有点构成的点集;
根据多尺度流式距离矩阵所获得的所有匹配点对确定第二初始点云相对于第一初始点云的平移矩阵和旋转矩阵,具体是根据匹配点对集合M采用四元数法求解获得第二初始点云相对于第一初始点云的旋转矩阵R2和平移矩阵T2,对两待拼接点云进行粗配准。
所述步骤1中,待拼接点云采用以下光栅投影系统获得,所述光栅投影系统包括投影仪、计算机、相机和平台,平板类零件置于平台上,投影仪连接计算机,投影仪和相机分别置于平板类零件上方的两侧,投影仪的镜头和相机的镜头均朝向平板类零件;投影仪产生相移光栅图样作为光栅光源投影到平板类零件和平台上,相机采集相移光栅图样投影到平板类零件和平台后的图像作为光栅投影图像,通过光栅投影图像的图像处理获得平板类零件的待拼接点云。
所述的平板类零件为带有孔特征的板状零件。
本发明的有益效果是:
本发明利用点云表面的密度特征,对点云分布的稀疏性进行度量,并利用不同尺度的取样半径值,实现点云表面孔洞特征的有效识别。为避免仅利用密度特征无法实现对相同大小孔洞附近的点的区分,结合纹理特征对点的分布位置做进一步确定,提高对平板类零件特征的辨识度。
本发明利用某点取样半径内的综合特征对该点进行特征定义,有效避免点云特征的对称性对配准的干扰;并可实现取样半径随点云大小和点云稀疏程度的自适应调整,使不同点间的特征定义具有可比性,正确表达了点云的纹理特征。
本发明利用ICP算法计算旋转矩阵,减少基于点云特征拼接所需的最少特征点数目,使少特征的平板类零件点云的拼接成为了可能,避免了本发明获取的平板类零件点云的特征点过少。
本发明所利用的点云表面的纹理特征和密度特征具有空间不变特性,即用于识别点云中特征点的多维特征向量不随点云空间位置的变化而变化,使配准的实现不依赖于两待拼接点云的初始位置,提高点云拼接的稳定性。
附图说明
图1是本发明所述拼接过程实现的流程图;
图2是第一曲率特征、第二曲率特征、第三曲率特征定义的示意图;
图3是仅利用最邻近点迭代算法,对两幅板状点云进行拼接的结果;
图4是将本发明应用于两幅板状点云的拼接中,所获得的匹配点对及其对应关系;
图5是将利用本发明所述方法的拼接结果,图5(a)和图5(b)分别从两个不同观测角度对拼接后的点云进行观测。
具体实施方式
下面结合图和实例对本发明进行进一步描述。
对于两幅带有孔特征的板状机械零件的待拼接点云,按照本发明发明内容的完整方法实施的实施例采用如下步骤进行拼接:
步骤1:利用最邻近点迭代算法计算点云旋转矩阵,并利用该旋转矩阵将待拼接点云进行空间位置变换,利用变换后的点云为后续拼接提供初值。从而获得两个初始点云,其中一个初始点云为经空间变换后的那个待拼接点云,另一个初始点云为未经空间变换后的另一个待拼接点云。
步骤1所获得旋转矩阵R1为:
步骤2:根据切比雪夫不等式,在保证取样有效性的前提下,计算某点处的最小取样半径值,并以此为基准,确定多组不同尺度的取样半径值及由其构成的取样半径系列。然后,计算两幅初始点云的法向量信息。其次,针对多组不同尺度的取样半径值,计算各点邻域内密度信息和曲率信息的平均值,构造各点处具有空间不变特性的特征融合向量,并得到各种不同取样半径值条件下的一组协方差矩阵,并根据其得到各点的协方差描述符,将其作为点云中各点特征的度量。
步骤3:计算两协方差描述符间的流式距离,描述分别位于两个初始点云中两点间的相似程度。
步骤4:首先,根据多尺度流式距离矩阵,确定两初始点云中的匹配点对,匹配点对间的对应关系如图4所示。在图4中,横跨两幅点云的一条线段的两个端点,对应一对无序的匹配点对。可以看出,应用本发明所述的拼接方法,共获得3对匹配点对,且匹配点对均分布于孔特征的附近,说明本发明所述拼接方法可以对板状点云中的孔特征实现正确识别,并有效地实现带孔特征板状点云特征点的自动获取。
然后,根据如图4所示的3对匹配点对,采用四元数法求解两初始点云间的旋转矩阵R2和平移矩阵T2,完成两初始点云的粗配准。其中,平移矩阵T2为:
T2=[1.5152,-0.040365,-0.020707]T
步骤5:利用粗配准结果,为最邻近点迭代算法提供初值,并利用最邻近点迭代算法,获得点云更精确的旋转矩阵。步骤5所获得旋转矩阵R3为:
步骤6:利用步骤4所获得平移矩阵T2,以及步骤5所获得的旋转矩阵R3,共同构成最终的点云变换矩阵,完成拼接,两初始点云的最终拼接结果如图5所示,图5(a)和图5(b)分别从两个不同观测角度对初始点云进行观测。由图3中的拼接结果可知,仅利用最邻近点迭代算法无法为初始点云获得正确的平移矩阵;但是,对比图3和图5可知,图3中两初始点云中孔特征未对齐,而图5中两初始点云的孔特征对齐,因此,本发明所述方法可实现点云的正确拼接。
为进一步说明本发明所提出的配准算法的有效性,对于相同的待配准点云,从配准时间和配准误差两个角度,将本发明所提出的配准方法,与最邻近点迭代算法和基于点云特征的拼接算法的实验数据进行对比,如表1所示。
表1本发明与其他配准算法的实验数据对比
由表1可知,对于该实施例中的两幅平板类零件点云,仅采用最邻近点迭代算法的配准时间虽然较快,但配准误差很大,且结合图3可知,仅采用最邻近点迭代算法无法得到正确的拼接结果。与现有采用基于点云曲率特征的拼接算法相比,本发明所提出的配准算法的配准误差较小,即具有较好的配准精度,虽然配准时间略有增加,但增加幅度在能够容忍的范围内。
Claims (6)
1.一种基于多维空间不变特征的平板类零件点云拼接方法,其特征在于,包括如下步骤:
步骤1:针对相机分别从两个不同视角获得平板类零件的两个待拼接点云,利用最邻近点迭代算法计算两个待拼接点云之间的点云旋转矩阵R1,并利用点云旋转矩阵将其中一个待拼接点云进行空间变换,从而获得两个初始点云;
步骤2:根据切比雪夫不等式,以点云中的每一点作为基准点进行遍历,采用以下方式处理:首先计算基准点处的最小取样半径值,并以此为基准确定取样半径系列;然后针对取样半径系列的不同取样半径值,计算基准点邻域内密度信息和纹理信息的平均值,构造基准点的特征融合向量,获得变尺度条件下的一组协方差矩阵,最后构建基准点的协方差描述符作为点云中基准点特征度量;
步骤3:定义分别位于两初始点云的两点间的多尺度流式距离,描述分别位于不同两个初始点云中的两点间的相似程度;
步骤4:根据所有分别位于两初始点云的两点间的多尺度流式距离,构造多尺度流式距离矩阵,确定两初始点云中的匹配点对,计算两待拼接点云间的平移矩阵和旋转矩阵,并以此将两初始点云进行粗配准;
步骤5:在粗配准之后,再次应用最邻近点迭代算法采用和步骤1的相同方式获得更精确的旋转矩阵R3,利用步骤4获得的平移矩阵T2并结合更精确的旋转矩阵R3获得最终变换矩阵,利用最终变换矩阵对两初始点云的其中之一进行变换后拼接。
2.根据权利要求1所述的一种基于多维空间不变特征的平板类零件点云拼接方法,其特征在于:所述步骤2中,针对基准点采用以下步骤处理:
步骤2.1:根据切比雪夫不等式,确定点云中基准点邻域内所包含的点的最小数目nmin;
式中,σ2为随机变量的方差,点云中的所有点构成随机变量的样本空间;ε为所允许的随机变量取样值偏离样本中心的程度,取ε=0.1;P为置信度,取P=0.95;
步骤2.2:根据取样点最小数目nmin和点云分布密度确定基准点p处的最小取样半径值R0(p),最小取样半径值使得基准点邻域内所包含点的数目等于步骤2.1所获得的点的最小数目;
步骤2.3:将步骤2.2中获得的最小取样半径值,分别乘以不同的放大系数,获得不同尺度的取样半径值,进而组成取样半径系列,基准点p处的取样半径系列表示为R(p)={R(p,i)|R(p,i)=(R0(p))(i-1)/5,i=1,2,…},其中,i表示取样半径值的第i个尺度,R0(p)表示基准点p处的最小取样半径值,R(p,i)表示基准点p处的第i个尺度的取样半径值;
步骤2.4:在基准点处,对于取样半径系列中的多个取样半径值,逐一计算基准点处不同尺度的的特征融合向量;
所述的特征融合向量由两个距离特征元素和三个纹理特征元素的共计五个元素组成;所述距离特征元素包括:基准点邻域内各点与基准点距离的均值,作为距离大小特征;基准点邻域内各点与基准点距离的标准差,作为距离离散特征;所述纹理特征元素包括通过计算三个空间偏角各自在基准点邻域内所有点处的均值而得到的三个曲率特征,三个空间偏角为通过基准点邻域内各点处的法向量相对于基准点处法向量的三个空间偏角,三个空间偏角具体为;第一个空间偏角为基准点邻域内的点和基准点之间的连线与基准点的法向量之间的较小空间夹角,第二个空间偏角为基准点邻域内的点和基准点之间的连线与基准点邻域内的点的法向量之间的较小空间夹角,第三个空间偏角为基准点邻域内的点的法向量与基准点的法向量之间的较小空间夹角;
对于取样半径值R(p,i),计算基准点p处的特征融合向量为f(p,R(p,i))=[d(p,i),σ(p,i),α(p,i),β(p,i),γ(p,i)]T,其中,d(p,i)和σ(p,i)元素分别为距离特征元素的距离大小特征、距离离散特征,α(p,i),β(p,i),γ(p,i)元素分别为纹理特征元素的第一个到第三个空间偏角对应的曲率特征;
步骤2.5:根据步骤2.4所获得的基准点p处不同取样半径值所对应的多个特征融合向量,计算特征融合向量中各元素在不同取样半径值下的均值,并将各元素的均值按照特征融合向量中元素对应顺序组成基准点处特征融合向量均值;具体计算以基准点p为中心,以取样半径值R(p,i)所构成的邻域内任一点pj处的特征融合向量f(pj,R(pj,i)),基准点p处特征融合向量的均值μ(p,R(p,i))为:
步骤2.6:对于基准点处每一取样半径值,根据步骤2.4中获得的不同尺度下的特征融合向量和步骤2.5中所获得的特征融合向量均值,构造基准点处该取样半径值所对应的协方差矩阵;
步骤2.7:对于所有不同尺度的取样半径值R(p,i),重复步骤2.1~步骤2.6,共可得到多个不同的协方差矩阵,共同组成变尺度协方差矩阵,作为基准点处的协方差描述符;
步骤2.8:对于点云中的所有点,重复步骤2.1~2.7,计算点云中各个点处的协方差描述符。
3.根据权利要求1所述的一种基于多维空间不变特征的平板类零件点云拼接方法,其特征在于:所述步骤3,具体包括以下步骤:
步骤3.1:对于分别位于两初始点云中的两个点p1、p2,计算两个点在相同尺度的取样半径值R(p1,i)和R(p2,i)条件下的协方差矩阵之间的单尺度流式距离δ(C(p1,R(p1,i)),C(p2,R(p2,i))),具体表示为:
上式中,λt(C(p1,R(p1,i)),C(p2,R(p2,i)))分别表示点p1、p2对应的协方差矩阵C(p1,R(p1,i))与C(p1,R(p1,i))的第t个特征值,t=1,2,…,l,l为所有特征值的总数目;
步骤3.2:对于多个不同尺度的取样半径值,重复步骤3.1获得不同尺度下的多个单尺度流式距离,再构造分别位于两初始点云中的两个点之间的多尺度流式距离:
式中,CV(p1)表示基准点p1的协方差描述符,CV(p2)表示基准点p2的协方差描述符,i表示取样半径值的序数。
4.根据权利要求1所述的一种基于多维空间不变特征的平板类零件点云拼接方法,其特征在于:所述步骤4,具体包括以下步骤:
步骤4.1:对于第一初始点云和第二初始点云,对于第一初始点云中的每一点作为参考点,计算第一初始点云中所有点与参考点间的多尺度流式距离,对第一初始点云中所有点进行遍历,从而得到第一初始点云与第二初始点云之间的多尺度流式距离矩阵:
上式中,表示第一初始点云中的第i个点,表示第一初始点云中的第j个点,M1为第一初始点云中所有点的数目,M2为第二初始点云中所有点的数目;
具体是将第一初始点云和第二初始点云中所有点无重复地进行编号,位于多尺度流式距离矩阵第i行、第j列的元素对应于第一初始点云中的第i个点和第二初始点云中的第j个点所构成的点对,且元素的值即为其所对应的点对中两点间的多尺度流式距离;
步骤4.2:对步骤4.1中所获得的多尺度流式距离矩阵δ中的各元素,进行自动阈值分割,采用大津法确定二值化阈值,若多尺度流式距离矩阵中元素小于二值化阈值,即δij<t或δji<t,δij表示多尺度流式距离矩阵δ中第i行、第j列的元素,δji表示多尺度流式距离矩阵δ中第j行、第i列的元素,则认为该元素所对应的点对为一个匹配点对;
所有匹配点对的集合构成两待拼接点云间的匹配点对集合M,表示为:
上式中,S1为由第一初始点云中所有点构成的点集,S2为由第二初始点云中所有点构成的点集;
根据匹配点对集合M采用四元数法求解获得第二初始点云相对于第一初始点云的旋转矩阵R2和平移矩阵T2,对两待拼接点云进行粗配准。
5.根据权利要求1所述的一种基于多维空间不变特征的平板类零件点云拼接方法,其特征在于:所述步骤1中,待拼接点云采用以下光栅投影系统获得,所述光栅投影系统包括投影仪、计算机、相机和平台,平板类零件置于平台上,投影仪连接计算机,投影仪和相机分别置于平板类零件上方的两侧,投影仪的镜头和相机的镜头均朝向平板类零件;投影仪产生相移光栅图样作为光栅光源投影到平板类零件和平台上,相机采集相移光栅图样投影到平板类零件和平台后的图像作为光栅投影图像,通过光栅投影图像的图像处理获得平板类零件的待拼接点云。
6.根据权利要求1所述的一种基于多维空间不变特征的平板类零件点云拼接方法,其特征在于:所述的平板类零件为带有孔特征的板状零件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810993803.XA CN109242774B (zh) | 2018-08-29 | 2018-08-29 | 一种基于多维空间不变特征的平板类零件点云拼接方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810993803.XA CN109242774B (zh) | 2018-08-29 | 2018-08-29 | 一种基于多维空间不变特征的平板类零件点云拼接方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109242774A true CN109242774A (zh) | 2019-01-18 |
CN109242774B CN109242774B (zh) | 2022-04-19 |
Family
ID=65069127
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810993803.XA Active CN109242774B (zh) | 2018-08-29 | 2018-08-29 | 一种基于多维空间不变特征的平板类零件点云拼接方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109242774B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110415361A (zh) * | 2019-07-26 | 2019-11-05 | 北京罗森博特科技有限公司 | 断裂物体拼接方法及装置 |
CN112085822A (zh) * | 2020-08-28 | 2020-12-15 | 西北大学 | 一种点云模型描述符构建方法及点云模型匹配方法 |
CN112102377A (zh) * | 2020-08-04 | 2020-12-18 | 广东工业大学 | 基于切比雪夫的icp点云全局最优配准方法及装置 |
CN112419464A (zh) * | 2020-12-02 | 2021-02-26 | 中北大学 | 一种基于点云局部凹凸性的三维碎块拼接方法 |
CN116935013A (zh) * | 2023-09-14 | 2023-10-24 | 武汉工程大学 | 基于三维重建的电路板点云大范围拼接方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012018851A1 (en) * | 2010-08-02 | 2012-02-09 | Joint Vue, LLC | Method and apparatus for three dimensional reconstruction of a joint using ultrasound |
CN105118059A (zh) * | 2015-08-19 | 2015-12-02 | 哈尔滨工程大学 | 一种多尺度坐标轴夹角特征的点云快速配准方法 |
CN106354935A (zh) * | 2016-08-30 | 2017-01-25 | 华中科技大学 | 基于核外电子概率密度分布的复杂曲面零件匹配检测方法 |
CN108133458A (zh) * | 2018-01-17 | 2018-06-08 | 视缘(上海)智能科技有限公司 | 一种基于目标物体空间点云特征的自动拼接方法 |
-
2018
- 2018-08-29 CN CN201810993803.XA patent/CN109242774B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012018851A1 (en) * | 2010-08-02 | 2012-02-09 | Joint Vue, LLC | Method and apparatus for three dimensional reconstruction of a joint using ultrasound |
CN105118059A (zh) * | 2015-08-19 | 2015-12-02 | 哈尔滨工程大学 | 一种多尺度坐标轴夹角特征的点云快速配准方法 |
CN106354935A (zh) * | 2016-08-30 | 2017-01-25 | 华中科技大学 | 基于核外电子概率密度分布的复杂曲面零件匹配检测方法 |
CN108133458A (zh) * | 2018-01-17 | 2018-06-08 | 视缘(上海)智能科技有限公司 | 一种基于目标物体空间点云特征的自动拼接方法 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110415361A (zh) * | 2019-07-26 | 2019-11-05 | 北京罗森博特科技有限公司 | 断裂物体拼接方法及装置 |
CN110415361B (zh) * | 2019-07-26 | 2020-05-15 | 北京罗森博特科技有限公司 | 断裂物体拼接方法及装置 |
CN112102377A (zh) * | 2020-08-04 | 2020-12-18 | 广东工业大学 | 基于切比雪夫的icp点云全局最优配准方法及装置 |
CN112085822A (zh) * | 2020-08-28 | 2020-12-15 | 西北大学 | 一种点云模型描述符构建方法及点云模型匹配方法 |
CN112085822B (zh) * | 2020-08-28 | 2024-04-12 | 西北大学 | 一种点云模型描述符构建方法及点云模型匹配方法 |
CN112419464A (zh) * | 2020-12-02 | 2021-02-26 | 中北大学 | 一种基于点云局部凹凸性的三维碎块拼接方法 |
CN112419464B (zh) * | 2020-12-02 | 2023-03-24 | 中北大学 | 一种基于点云局部凹凸性的三维碎块拼接方法 |
CN116935013A (zh) * | 2023-09-14 | 2023-10-24 | 武汉工程大学 | 基于三维重建的电路板点云大范围拼接方法及系统 |
CN116935013B (zh) * | 2023-09-14 | 2023-11-28 | 武汉工程大学 | 基于三维重建的电路板点云大范围拼接方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109242774B (zh) | 2022-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109242774A (zh) | 一种基于多维空间不变特征的平板类零件点云拼接方法 | |
CN105069743B (zh) | 探测器拼接实时图像配准的方法 | |
CN104331699B (zh) | 一种三维点云平面化快速搜索比对的方法 | |
CN105701827B (zh) | 可见光相机与红外相机的参数联合标定方法及装置 | |
CN110335297A (zh) | 一种基于特征提取的点云配准方法 | |
CN114936971A (zh) | 一种面向水域的无人机遥感多光谱图像拼接方法及系统 | |
CN106651942A (zh) | 基于特征点的三维旋转运动检测与旋转轴定位方法 | |
CN105654483B (zh) | 三维点云全自动配准方法 | |
CN111223133A (zh) | 一种异源图像的配准方法 | |
CN110223355B (zh) | 一种基于双重极线约束的特征标志点匹配方法 | |
CN107025449B (zh) | 一种视角不变局部区域约束的倾斜影像直线特征匹配方法 | |
CN104574347A (zh) | 基于多源遥感数据的在轨卫星图像几何定位精度评价方法 | |
CN108647580B (zh) | 基于改进sift引导isar图像特征点提取匹配方法 | |
CN106846416A (zh) | 单机分束双目被动立体视觉精确重构与细分拟合方法 | |
Zhang et al. | Cameras as rays: Pose estimation via ray diffusion | |
CN112529945B (zh) | 一种多视角三维isar散射点集配准方法 | |
CN116563096B (zh) | 用于图像配准的形变场的确定方法、装置以及电子设备 | |
CN114066954B (zh) | 一种用于多模态图像的特征提取配准方法 | |
Yao et al. | Robust Harris corner matching based on the quasi-homography transform and self-adaptive window for wide-baseline stereo images | |
CN115222819A (zh) | 一种基于机场大范围场景下多模信息参照的相机自标定和目标追踪方法 | |
CN108229560A (zh) | 基于轮廓曲线匹配算法实现数控系统工件定位匹配的方法 | |
Ventura et al. | P1ac: Revisiting absolute pose from a single affine correspondence | |
Gai et al. | A novel camera calibration method based on polar coordinate | |
CN209279912U (zh) | 一种物体三维信息采集装置 | |
Du et al. | Grid-based matching for full-field large-area deformation measurement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |