CN114648445B - 一种基于特征点提取及精配准优化的多视角高分辨率点云拼接方法 - Google Patents

一种基于特征点提取及精配准优化的多视角高分辨率点云拼接方法 Download PDF

Info

Publication number
CN114648445B
CN114648445B CN202210209531.6A CN202210209531A CN114648445B CN 114648445 B CN114648445 B CN 114648445B CN 202210209531 A CN202210209531 A CN 202210209531A CN 114648445 B CN114648445 B CN 114648445B
Authority
CN
China
Prior art keywords
point
point cloud
points
resolution
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210209531.6A
Other languages
English (en)
Other versions
CN114648445A (zh
Inventor
殷春
冯怡婷
张枭
陈凯
朱丹丹
王文
苟轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202210209531.6A priority Critical patent/CN114648445B/zh
Publication of CN114648445A publication Critical patent/CN114648445A/zh
Application granted granted Critical
Publication of CN114648445B publication Critical patent/CN114648445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于特征点提取及精配准优化的多视角高分辨率点云拼接方法。首先计算双邻域尺度下点的凹凸特性、内在形状特征以及法向量变化特性来优化提取子区域高分辨点云特征点并构建对应的低维特征描述子提高匹配速度；然后根据优化特征点进行粗配准得到初始对齐变换矩阵；最后通过优化的ICP精配准算法来提取正确对应点拟合误差函数提高配准精度，得到精配准旋转矩阵与平移向量，并采用全局ICP算法进行优化，然后根据优化后的旋转矩阵和平移向量进行拼接得到航空航天器件的多视角高分辨率点云。本发明利用高分辨率点云高密集，高细节的优点，同时考虑相邻子区域高分辨率点云公共区域中的正确对应点来改进精配准算法，并应用全局ICP算法减小累积误差的影响，实现全局优化。

Description

一种基于特征点提取及精配准优化的多视角高分辨率点云拼 接方法
技术领域
本发明属于三维形貌测量技术领域，更为具体地讲，涉及一种基于特征点提取及精配准优化的多视角高分辨率点云拼接方法
背景技术
近年来，随着航空航天工业的发展，航空航天器对其零部件的精度要求越来越高。为了能够验证实际生产的零部件与标准数模的偏差是否在精度要求范围内，需要对零部件实物进行三维形貌的扫描测量，构建其三维点云数据模型(简称点云)。
基于编码结构光的高分辨率双目模块能够以非接触式检测构建零部件的高分辨率点云。高分辨率双目模块重建的高分辨率点云相对于低分辨率点云具有高精度、高细节的特性，能够更真实地还原零部件的三维形貌信息，更大程度满足生产的零部件与标准数模的精度偏差测量需求。
对零部件进行三维形貌测量时，许多因素决定了无法通过单个测量设备一次完成整个零部件的数据采集，尤其是采集具有复杂形面的零部件时存在投影盲点或视觉死区，采集大尺寸航空航天的零部件时受采集范围限制，也需要进行多次、分块地多视角数据采集。分块的数据采集则需要对分块的点云进行拼接来获取零部件完整的三维形貌点云数据。因此，为完成整个零部件的数据采集，常把零部件表面分成多个局部相互重叠的子区域，然后通过点云拼接的方式来构建零部件完整三维形貌数据模型即零部件完整点云。
获取航空航天零部件的完整三维形貌数据模型的前提是零部件的各个子区域高分辨率点云能够精确拼接对齐。为此，高分辨率点云的两两拼接过程分为以初始对齐为目的的粗配准阶段以及以精细对齐为目的的精配准阶段。点云的粗配准主要是采用基于特征点的配准，基于特征点配准的基础是特征点的提取。高分辨率点云相对低分辨率点云在同样尺寸区域中点更多更密集，细节更丰富。所以对于目标实物的同一个区域，高分辨率点云能够表现出比低分辨率点云更多的细节特征。
以往的特征点提取(检测)算法考虑的是某一方面的特性，如ISS特征点考虑的是点所在局部邻域表现的内在形状，忽略了其局部曲面弧度变化；基于法向量的特征点检测算法考虑的是点邻域邻近点法向量的变化趋势，忽略了邻近点间的几何信息；基于凸特性的特征点检测算法考虑的是点局部曲面整体是否呈现凸状特征，忽略了邻近点内在形状特征等。高分辨率点云的细节表现能力强、密度高，若检测特征点时只考虑某一方面的特性，在航空航天零部件高分辨率点云中提取其子区域特征点时会损失高分辨率点云自带的高细节特征优势。
同时，高分辨率点云的精配准是高分辨率点云拼接过程中的关键。在对零部件的多个子区域点云进行两两拼接时，精配准算法通常以迭代的方式使一对已初始对齐的三维点云逐渐逼近，让二者间的距离误差达到最小，进而解算出对应的最佳变换关系。精配准算法中应用最为广泛的ICP算法或改进的ICP算法：PointToPlane ICP算法等在两两拼接中，每一次迭代寻找对应点时遍历源点云与目标点云的所有数据点来搜索对应点拟合误差函数；而Tr ICP通过对应点误差距离排序后保留一定比例的对应点来尽可能提取公共区域的对应点拟合误差函数提升拼接精度；HMRF ICP则通过对应点误差距离建立隐马尔科夫随机场概率模型，使用EM算法来推断公共区域的对应点拟合误差函数等。Tr ICP与HMRF ICP基于对对应点误差距离的操作能够剔除非公共区域的异常对应点，但其均只考虑对应点的误差距离，然而实际上在高分辨率点云初始对齐时，由于仍存在少许错位，公共区域中对应点误差距离小的不一定就是正确的对应点，如何提取高分辨率点云相邻子区域公共区域中的正确对应点进而提升精配准精度成为亟需解决的问题。
发明内容
本发明的目的在于克服现有技术的不足，为了更加精确地拼接航空航天零部件多个子区域的高分辨率点云，提供一种基于特征点提取及精配准优化的多视角高分辨率点云拼接方法，不仅能够利用高分率点云的高细节特性优势来提取特征点进行粗配准，同时还可以通过提取正确对应点来拟合误差函数提高精配准的精度。
为实现上述发明目的，本发明基于特征点提取及精配准优化的多视角高分辨率点云拼接方法，其特征在于，包括：
(1)、提取子区域高分辨率点云特征点
1.1)、基于编码结构光高分辨率双目模块对航空航天零部件进行多视角三维扫描，得到K个依次包含重叠区域的子区域高分辨率点云P1,P2,...,PK；
对每个子区域高分辨率点云进行凹凸面特征判断：
当为凹面特征时，对该子区域高分辨率点云的每一个待检测点pi计算其凹特性：
对于邻域尺度r1，获取待检测点pi在邻域尺度r1下的邻近点集合
Figure SMS_1
其中，
Figure SMS_2
表示第j个邻近点，k1表示邻近点数量，计算邻近点重心
Figure SMS_3
得到内积
Figure SMS_4
Figure SMS_5
构建待检测点pi与邻近点集合
Figure SMS_6
的加权协方差矩阵
Figure SMS_7
并进行特征值分解得到降序排序的特征值
Figure SMS_8
令：
Figure SMS_9
计算待检测点pi的法向量ni与
Figure SMS_10
中各个邻近点的法向量
Figure SMS_11
的内积，统计内积小于阈值τ的数量k；
若
Figure SMS_12
保留待检测点pi为候选特征点
Figure SMS_13
并计算其与重心点的重心距离
Figure SMS_14
否则，抛弃该待检测点pi；
同理，对于邻域尺度r2，可以得到该邻域尺度的候选特征点
Figure SMS_15
及其与重心点的重心距离
Figure SMS_16
否则，抛弃该待检测点pi；
当为凸面特征时，对该子区域高分辨率点云的每一个待检测点pi计算其凸特性：
对于邻域尺度r1，获取待检测点pi在邻域尺度r1下的邻近点集合
Figure SMS_17
其中，
Figure SMS_18
表示第j个邻近点，k1表示邻近点数量，计算邻近点重心
Figure SMS_19
得到内积
Figure SMS_20
Figure SMS_21
构建待检测点pi与邻近点集合
Figure SMS_22
的加权协方差矩阵
Figure SMS_23
并进行特征值分解得到降序排序的特征值
Figure SMS_24
令：
Figure SMS_25
计算待检测点pi的法向量ni与
Figure SMS_26
中各个邻近点的法向量
Figure SMS_27
的内积，统计内积小于阈值τ的数量k；
若
Figure SMS_28
保留待检测点pi为候选特征点
Figure SMS_29
并计算其与重心点的重心距离
Figure SMS_30
否则，抛弃该待检测点pi；
同理，对于邻域尺度r2，可以得到该邻域尺度的候选特征点
Figure SMS_31
及其与重心点的重心距离
Figure SMS_32
否则，抛弃该待检测点pi；
这样得到双邻域尺度r1和r2下的高分辨率点云的候选特征点集合
Figure SMS_33
及对应的重心距离集合
Figure SMS_34
候选特征点集合
Figure SMS_35
以及对应的重心距离集合
Figure SMS_36
对重心距离集合
Figure SMS_37
进行降序排序，分别保留双邻域尺度前m大的重心距离对应的候选特征点，并取交集得到视觉高分辨率点云的特征点集合
Figure SMS_38
其中，
Figure SMS_39
表示第i个特征点，v表示特征点数量；
(2)、对每个子区域高分辨率点云获取的特征点集合
Figure SMS_40
构建特征点对应的低维特征描述子
对每一个特征点
Figure SMS_41
执行以下步骤：
2.1)、计算邻域尺度r1下的特征描述值：
对特征点
Figure SMS_42
与邻域尺度r1下的邻近点集合
Figure SMS_43
的加权协方差矩阵
Figure SMS_44
进行特征值分解得到降序排序的特征值
Figure SMS_45
计算离散程度差：
Figure SMS_46
Figure SMS_47
Figure SMS_48
计算特征点
Figure SMS_49
与邻近点集合
Figure SMS_50
的加权曲率均值：
Figure SMS_51
其中，cj表示邻近点
Figure SMS_52
的曲率，加权函数
Figure SMS_53
计算表征邻域尺度r1下的法向量夹角变化值：
Figure SMS_54
其中，
Figure SMS_55
为特征点
Figure SMS_56
与邻近点
Figure SMS_57
的法向量夹角；
2.2)、按照步骤2.1)的方法，计算得到邻域尺度r2下的特征描述值：
Figure SMS_58
Figure SMS_59
2.3)、首先构建特征点
Figure SMS_60
的低维特征描述子
Figure SMS_61
Figure SMS_62
然后对低维特征描述子的各个维度数据进行归一化处理，这样得到子区域高分辨率点云的特征点集合
Figure SMS_63
对应的归一化后的低维特征描述子集合
Figure SMS_64
(3)、粗配准初始对齐相邻视角高分辨率点云
对包含重叠区域的高分辨率点云P1、P2，经过步骤(1)、(2)得到其对应特征点及描述子集合分别为
Figure SMS_65
将高分辨率点云P1作为目标点云，高分辨率点云P2作为源点云，设置循环次数α；
每次循环从源点云特征点及描述子集合
Figure SMS_66
中随机选择三个间距大于最小距离阈值的特征点，基于对应的低维特征描述子间的相似性度量找到目标点云中对应的三个特征点，得到匹配的三对特征点，通过三对特征点计算此次循环得到的旋转矩阵R和平移向量T；
对源点云特征点
Figure SMS_67
做刚性变换{R,T}得到特征点
Figure SMS_68
获取源点云特征点
Figure SMS_69
在目标点云的对应特征点
Figure SMS_70
计算特征点
Figure SMS_71
与特征点
Figure SMS_72
构成点对的Huber损失误差hi，统计Huber损失误差hi,i＝1,2,…u小于阈值的点对个数count；
当达到循环次数α时，将个数count最大的一次循环对应的旋转矩阵R和平移向量T作为粗配准得到的初始对齐的旋转矩阵R0和平移向量T0；
(4)、优化ICP算法精配准高分辨率点云
4.1)、设置迭代次数t＝0，设置迭代终止阈值o，均方根误差变化初始值q；
4.2)、高分辨率点云P2基于旋转矩阵Rt和平移向量Tt做刚性变换，得到对齐的高分辨率点云P1与高分辨率点云P2，高分辨率点云P1的点集为
Figure SMS_73
高分辨率点云P2的点集为
Figure SMS_74
基于最小欧式距离在点集
Figure SMS_75
中找到与点集
Figure SMS_76
对应的点集
Figure SMS_77
得到候选对应点对
Figure SMS_78
4.3)、设置阈值ωd，ωn，ωσ，剔除错误对应点对：
计算每一对候选对应点对
Figure SMS_79
的距离ed_x，法向量内积en_x及曲率误差eσ_x：
Figure SMS_80
其中，
Figure SMS_81
为点
Figure SMS_82
的法向量，
Figure SMS_83
为点
Figure SMS_84
的曲率，
Figure SMS_85
为点
Figure SMS_86
的曲率；
当(ed_x＜ωd)∧(en_x＞ωn)∧(eσ_x＜ωσ)时，保留此候选对应点对，否则剔除，得到剔除错误对应点对后的候选对应点对集合，记为
Figure SMS_87
C为候选对应点对数量；
4.4)、基于候选对应点对集合
Figure SMS_88
得到第t次迭代的旋转矩阵Rt+1和平移向量Tt+1，得到均方根误差：
Figure SMS_89
当q＝|et+1-et|＜o时，即迭代达到终止条件，则取最后一次迭代得到的旋转矩阵Rt+1和平移向量Tt+1作为高分辨率点云P2与高分辨率点云P1的精配准旋转矩阵R21和平移向量t21，否则，t＝t+1，返回步骤4.2)；
(5)、按顺序依次两两配准余下高分辨率点云
对余下高分辨率点云P3,...,PK按两两相邻组合(P3P2),(P4P3),...,(PKPK-1)进行两两拼接：按照高分辨率点云P2、P1执行步骤(3)-(4)，得到旋转矩阵R32,R43,...,RKK-1和平移向量t32,t43,...,tKK-1；
采用全局ICP算法对旋转矩阵R32,R43,...,RKK-1和平移向量t32,t43,...,tKK-1进行优化；
(6)、子区域高分辨率点云进行拼接
根据优化后的旋转矩阵R32,R43,...,RKK-1和平移向量t32,t43,...,tKK-1构建所有子区域高分辨率点云到以第一视角点云P1所在坐标系为基准坐标系的刚性变换矩阵T′1,T′2,T′3,...,T′K，其中：
T′1为4×4单位矩阵：
Figure SMS_90
Figure SMS_91
依此类推
Figure SMS_92
依据刚性变换矩阵T′1,T′2,T′3,...,T′K将高分辨率点云P1,P2,...,PK坐标系转换到基准坐标系下，实现多视角高分辨率点云P1,P2,...,PK的两两拼接，得到航空航天零部件大范围高分辨率点云。
本发明的发明目的是这样实现的：
本发明针对航空航天零部件和实时性检测需求，提出一种基于特征点提取及精配准优化的多视角高分辨率点云拼接方法。首先基于编码结构光高分辨率双目模块采集得到航空航天器件多个含(重叠)公共区域的子区域高分辨率点云，然后计算双邻域尺度下点的凹凸特性、内在形状特征以及法向量变化特性来优化提取子区域高分辨点云特征点并构建对应的低维特征描述子提高匹配速度，并有效利用高分辨率点云的高密度，高细节特征优势；然后对含公共区域的子区域高分辨率点云P2与P1(源点云和目标点云)得到的优化特征点进行粗配准得到初始对齐变换矩阵R0与t0；最后通过优化的ICP精配准算法来提取初始对齐的高分辨率点云P2与P1公共区域的正确对应点拟合误差函数提高配准精度，得到精配准旋转矩阵R21与平移向量t21实现高分辨率点云P2与P1的精配准。采用同样的方法，得到子区域高分辨率点云的两两之间的精配准旋转矩阵与平移向量，并采用全局ICP算法进行优化，然后根据优化后的旋转矩阵R32,R43,...,RKK-1和平移向量t32,t43,...,tKK-1进行拼接得到航空航天器件的多视角高分辨率点云，完成航空航天器件的三维形貌测量。
本发明针对得到的航空航天器件各个子区域的高分辨率点云，利用高分辨率点云高密集，高细节的优点，在双邻域尺度下集成多种特性优化提取高分辨率点云特征点，基于优化特征点进行粗配准初始对齐点云，同时考虑相邻子区域高分辨率点云公共区域中的正确对应点来改进精配准算法，并应用全局ICP算法减小累积误差的影响，实现全局优化。
附图说明
图1是本发明基于特征点提取及精配准优化的多视角高分辨率点云拼接方法一种具体实施方式的流程图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
在本实施例中，如图1所示，本发明基于特征点提取及精配准优化的多视角高分辨率点云拼接方法包括以下步骤：
步骤S1：提取子区域高分辨率点云特征点
步骤S1.1：基于编码结构光高分辨率双目模块对航空航天零部件进行多视角三维扫描，得到K个依次包含重叠区域的子区域高分辨率点云P1,P2,...,PK。
对每个子区域高分辨率点云进行凹凸面特征判断：
当为凹面特征时，对该子区域高分辨率点云的每一个待检测点pi计算其凹特性：
对于邻域尺度r1，获取待检测点pi在邻域尺度r1下的邻近点集合
Figure SMS_93
其中，
Figure SMS_94
表示第j个邻近点，k1表示邻近点数量，计算邻近点重心
Figure SMS_95
得到内积
Figure SMS_96
Figure SMS_97
其中，邻近点重心
Figure SMS_98
为：
Figure SMS_99
其中，
Figure SMS_100
表征向量
Figure SMS_101
与待检测点pi的法向量ni的内积，若
Figure SMS_102
大于等于0，则待检测点pi在其邻近点局部平面为凹点。
构建待检测点pi与邻近点集合
Figure SMS_103
的加权协方差矩阵
Figure SMS_104
并进行特征值分解得到降序排序的特征值
Figure SMS_105
以及对应特征向量
Figure SMS_106
令：
Figure SMS_107
其中，特征值
Figure SMS_109
表示邻近点坐标转换后在对应特征向量
Figure SMS_111
方向轴上的方差，
Figure SMS_113
表征
Figure SMS_110
轴与
Figure SMS_112
轴邻近点分布密集度比值，
Figure SMS_114
表征
Figure SMS_115
轴与
Figure SMS_108
轴邻近点分布密集度比值；
其中，加权协方差矩阵
Figure SMS_116
为：
Figure SMS_117
wij表示权值，为待检测点pi与邻近点
Figure SMS_118
的距离。
计算待检测点pi的法向量ni与
Figure SMS_119
中各个邻近点的法向量
Figure SMS_120
的内积，统计内积小于阈值τ的数量k。
若
Figure SMS_121
则说明待检测点pi在此邻域尺度下具备凹特性、邻近点在各特征轴的分布各异性以及局部曲面起伏变化大的特性，保留待检测点pi为候选特征点
Figure SMS_122
并计算其与重心点的重心距离
Figure SMS_123
否则，抛弃该待检测点pi。
同理，对于邻域尺度r2，可以得到该邻域尺度的候选特征点
Figure SMS_124
及其与重心点的重心距离
Figure SMS_125
否则，抛弃该待检测点pi；
当为凸面特征时，对该子区域高分辨率点云的每一个待检测点pi计算其凸特性：
对于邻域尺度r1，获取待检测点pi在邻域尺度r1下的邻近点集合
Figure SMS_126
其中，
Figure SMS_127
表示第j个邻近点，k1表示邻近点数量，计算邻近点重心
Figure SMS_128
得到内积
Figure SMS_129
Figure SMS_130
其中，
Figure SMS_131
表征向量
Figure SMS_132
与待检测点pi的法向量ni的内积，若
Figure SMS_133
小于0，则待检测点pi在其邻近点局部平面为凸点。
构建待检测点pi与邻近点集合
Figure SMS_134
的加权协方差矩阵
Figure SMS_135
并进行特征值分解得到降序排序的特征值
Figure SMS_136
以及对应特征向量
Figure SMS_137
令：
Figure SMS_138
计算待检测点pi的法向量ni与
Figure SMS_139
中各个邻近点的法向量
Figure SMS_140
的内积，统计内积小于阈值τ的数量k；
若
Figure SMS_141
则说明待检测点pi在此邻域尺度下具备凸特性、邻近点在各特征轴的分布各异性以及局部曲面起伏变化大的特性，保留待检测点pi为候选特征点
Figure SMS_142
并计算其与重心点的重心距离
Figure SMS_143
否则，抛弃该待检测点pi。
同理，对于邻域尺度r2，可以得到该邻域尺度的候选特征点
Figure SMS_144
及其与重心点的重心距离
Figure SMS_145
否则，抛弃该待检测点pi。
这样得到双邻域尺度r1和r2下的高分辨率点云的候选特征点集合
Figure SMS_146
及对应的重心距离集合
Figure SMS_147
候选特征点集合
Figure SMS_148
以及对应的重心距离集合
Figure SMS_149
为了减少噪声影响，保证特征点的稳定性，对重心距离集合
Figure SMS_150
进行降序排序，分别保留双邻域尺度前m大的重心距离对应的候选特征点，并取交集得到视觉高分辨率点云的特征点集合
Figure SMS_151
其中，
Figure SMS_152
表示第i个特征点，v表示特征点数量。
步骤S2：对每个子区域高分辨率点云获取的特征点集合
Figure SMS_153
构建特征点对应的低维特征描述子
对每一个特征点
Figure SMS_154
执行以下步骤：
步骤S2.1：计算邻域尺度r1下的特征描述值：
对特征点
Figure SMS_155
与邻域尺度r1下的邻近点集合
Figure SMS_156
的加权协方差矩阵
Figure SMS_157
进行特征值分解得到降序排序的特征值
Figure SMS_158
以及对应的特征向量
Figure SMS_159
计算离散程度差：
Figure SMS_160
Figure SMS_161
Figure SMS_162
其中，
Figure SMS_165
表征邻近点在
Figure SMS_166
轴和
Figure SMS_170
轴上的离散程度差，
Figure SMS_164
表征邻近点在
Figure SMS_167
轴和
Figure SMS_169
轴上的离散程度差，
Figure SMS_171
表征邻近点在
Figure SMS_163
轴和
Figure SMS_168
轴上的离散程度差。
计算特征点
Figure SMS_172
与邻近点集合
Figure SMS_173
的加权曲率均值：
Figure SMS_174
其中，cj表示邻近点
Figure SMS_175
的曲率，加权函数
Figure SMS_176
加权曲率均值
Figure SMS_177
表征邻域尺度r1下的局部曲面弯曲程度。
计算表征邻域尺度r1下的法向量夹角变化值：
Figure SMS_178
其中，
Figure SMS_179
为特征点
Figure SMS_180
与邻近点
Figure SMS_181
的法向量夹角。法向量夹角
Figure SMS_182
表征邻域尺度r1下的法向量夹角变化情况。
步骤S2.2：按照步骤S2.1的方法，计算得到邻域尺度r2下的特征描述值：
Figure SMS_183
Figure SMS_184
步骤S2.3：首先构建特征点
Figure SMS_185
的低维特征描述子
Figure SMS_186
Figure SMS_187
对特征集合
Figure SMS_188
均基于步骤S2.1-S2.3计算得到低维特征描述子
Figure SMS_189
后，由于
Figure SMS_190
的特征描述值之间的单位不一致，为了消除特征描述值间单位和尺度差异的影响，以对每维特征同等看待，还需要对低维特征描述子的各个维度数据进行归一化处理，这样得到子区域高分辨率点云的特征点集合
Figure SMS_191
对应的归一化后的低维特征描述子集合
Figure SMS_192
步骤S3：粗配准初始对齐相邻视角高分辨率点云
对包含重叠区域的高分辨率点云P1、P2，经过步骤S1、S2得到其对应特征点及描述子集合分别为
Figure SMS_193
将高分辨率点云P1作为目标点云，高分辨率点云P2作为源点云，设置循环次数α；
每次循环从源点云特征点及描述子集合
Figure SMS_194
中随机选择三个间距大于最小距离阈值的特征点，基于对应的低维特征描述子间的相似性度量找到目标点云中对应的三个特征点，得到匹配的三对特征点，通过三对特征点计算此次循环得到的旋转矩阵R和平移向量T；
对源点云特征点
Figure SMS_195
做刚性变换{R,T}得到特征点
Figure SMS_196
获取源点云特征点
Figure SMS_197
在目标点云的对应特征点
Figure SMS_198
计算特征点
Figure SMS_199
与特征点
Figure SMS_200
构成点对的Huber损失误差hi，统计Huber损失误差hi,i＝1,2,…u小于阈值的点对个数count；
当达到循环次数α时，将个数count最大的一次循环对应的旋转矩阵R和平移向量T作为粗配准得到的初始对齐的旋转矩阵R0和平移向量T0。
步骤S4：优化ICP算法精配准高分辨率点云
步骤S4.1：设置迭代次数t＝0，设置迭代终止阈值o，均方根误差变化初始值q；
步骤S4.2：高分辨率点云P2基于旋转矩阵Rt和平移向量Tt做刚性变换，得到对齐的高分辨率点云P1与高分辨率点云P2，高分辨率点云P1的点集为
Figure SMS_201
高分辨率点云P2的点集为
Figure SMS_202
基于最小欧式距离在点集
Figure SMS_203
中找到与点集
Figure SMS_204
对应的点集
Figure SMS_205
得到候选对应点对
Figure SMS_206
步骤S4.3：设置阈值ωd，ωn，ωσ，剔除错误对应点对：
计算每一对候选对应点对
Figure SMS_207
的距离ed_x，法向量内积en_x及曲率误差eσ_x：
Figure SMS_208
其中，
Figure SMS_209
为点
Figure SMS_210
的法向量，
Figure SMS_211
为点
Figure SMS_212
的曲率，
Figure SMS_213
为点
Figure SMS_214
的曲率；
当(ed_x＜ωd)∧(en_x＞ωn)∧(eσ_x＜ωσ)时，保留此候选对应点对，否则剔除，得到剔除错误对应点对后的候选对应点对集合，记为
Figure SMS_215
C为候选对应点对数量。
在本实施例中，还需要基于重叠参数确定公共区域对应点对：
当重叠参数γ已知时，γ∈(0,1]，则公共区域可以配对的正确对应点数量为N＝γ×A，若C＜N，则候选对应点对集合
Figure SMS_216
即为保留的最终对应点对；否则，对候选对应点对集合
Figure SMS_217
按照法向量内积en_x进行由大到小排序，保留前N项对应的对应点对作为最终的对应点对，并将候选对应点对数量C赋值为N，最终的对应点对作为候选对应点对集合
Figure SMS_218
当重叠参数γ未知时，设置预设参数β，通过最小化目标函数
Figure SMS_219
来计算得到重叠参数γ，其中：
Figure SMS_220
ed为重叠区域对应点的欧式距离；
通过搜索重叠参数γ确定目标函数
Figure SMS_221
的最小值，重叠参数γ的搜索空间设为[0.4,1.0]，目标函数
Figure SMS_222
最小值对应的重叠参数γ为确定的重叠参数γ，然后按照重叠参数γ已知的情况得到最终的对应点对作为候选对应点对集合
Figure SMS_223
步骤S4.4：基于候选对应点对集合
Figure SMS_224
得到第t次迭代的旋转矩阵Rt+1和平移向量Tt+1，得到均方根误差：
Figure SMS_225
当q＝|et+1-et|＜o时，即迭代达到终止条件，则取最后一次迭代得到的旋转矩阵Rt+1和平移向量Tt+1作为高分辨率点云P2与高分辨率点云P1的精配准旋转矩阵R21和平移向量t21，否则，t＝t+1，返回步骤S4.2。
步骤S5：按顺序依次两两配准余下高分辨率点云
对余下高分辨率点云P3,...,PK按两两相邻组合(P3P2),(P4P3),...,(PKPK-1)进行两两拼接：按照高分辨率点云P2、P1执行步骤(3)-(4)，得到旋转矩阵R32,R43,...,RKK-1和平移向量t32,t43,...,tKK-1；
采用全局ICP算法对旋转矩阵R32,R43,...,RKK-1和平移向量t32,t43,...,tKK-1进行优化。
步骤S6：子区域高分辨率点云进行拼接
根据优化后的旋转矩阵R32,R43,...,RKK-1和平移向量t32,t43,...,tKK-1构建所有子区域高分辨率点云到以第一视角点云P1所在坐标系为基准坐标系的刚性变换矩阵T′1,T′2,T′3,...,T′K，其中：
T′1为4×4单位矩阵：
Figure SMS_226
Figure SMS_227
依此类推
Figure SMS_228
依据刚性变换矩阵T′1,T′2,T′3,...,T′K将高分辨率点云P1,P2,...,PK坐标系转换到基准坐标系下，实现多视角高分辨率点云P1,P2,...,PK的两两拼接，得到航空航天零部件大范围高分辨率点云。
本发明具有以下有益效果：
1、通过集成双邻域尺度下的多种特性优化提取高分辨率点云的特征点，充分利用高分辨率点云的高细节特征优势，获取稳定且具有差异性的优化特征点，并利用优化特征点的邻近点分布信息，法向量夹角信息等构建具备描述性、紧凑性与刚体变换不变性的低维特征描述子；
2、基于优化特征点与低维特征描述子，采用SAC-IA算法进行特征点的随机采样匹配，提高含有公共区域的子区域高分辨率点云的粗配准效率。
3、优化的ICP精配准算法考虑到公共区域中的正确对应点是计算初始对齐的高分辨率点云间准确变换矩阵的关键，利用对应点的欧式距离，法向量内积以及曲率偏差信息来剔除候选对应点中的错误对应点，并通过重叠参数的计算进一步提取公共区域中的正确对应点拟合误差函数提高配准的精度。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (2)

1.一种基于特征点提取及精配准优化的多视角高分辨率点云拼接方法，其特征在于，包括：
(1)、提取子区域高分辨率点云特征点
1.1)、基于编码结构光高分辨率双目模块对航空航天零部件进行多视角三维扫描，得到K个依次包含重叠区域的子区域高分辨率点云P1,P2,...,PK；
对每个子区域高分辨率点云进行凹凸面特征判断：
当为凹面特征时，对该子区域高分辨率点云的每一个待检测点pi计算其凹特性：
对于邻域尺度r1，获取待检测点pi在邻域尺度r1下的邻近点集合
Figure QLYQS_1
其中，
Figure QLYQS_2
表示第j个邻近点，k1表示邻近点数量，计算邻近点重心
Figure QLYQS_3
得到内积
Figure QLYQS_4
Figure QLYQS_5
构建待检测点pi与邻近点集合
Figure QLYQS_6
的加权协方差矩阵
Figure QLYQS_7
并进行特征值分解得到降序排序的特征值
Figure QLYQS_8
令：
Figure QLYQS_9
计算待检测点pi的法向量ni与
Figure QLYQS_10
中各个邻近点的法向量
Figure QLYQS_11
的内积，统计内积小于阈值τ的数量k；
若
Figure QLYQS_12
保留待检测点pi为候选特征点
Figure QLYQS_13
并计算其与重心点的重心距离
Figure QLYQS_14
否则，抛弃该待检测点pi；
同理，对于邻域尺度r2，可以得到该邻域尺度的候选特征点
Figure QLYQS_15
及其与重心点的重心距离
Figure QLYQS_16
否则，抛弃该待检测点pi；
当为凸面特征时，对该子区域高分辨率点云的每一个待检测点pi计算其凸特性：
对于邻域尺度r1，获取待检测点pi在邻域尺度r1下的邻近点集合
Figure QLYQS_17
其中，
Figure QLYQS_18
表示第j个邻近点，k1表示邻近点数量，计算邻近点重心
Figure QLYQS_19
得到内积
Figure QLYQS_20
Figure QLYQS_21
构建待检测点pi与邻近点集合
Figure QLYQS_22
的加权协方差矩阵
Figure QLYQS_23
并进行特征值分解得到降序排序的特征值
Figure QLYQS_24
令：
Figure QLYQS_25
计算待检测点pi的法向量ni与
Figure QLYQS_26
中各个邻近点的法向量
Figure QLYQS_27
的内积，统计内积小于阈值τ的数量k；
若
Figure QLYQS_28
保留待检测点pi为候选特征点
Figure QLYQS_29
并计算其与重心点的重心距离
Figure QLYQS_30
否则，抛弃该待检测点pi；
同理，对于邻域尺度r2，可以得到该邻域尺度的候选特征点
Figure QLYQS_31
及其与重心点的重心距离
Figure QLYQS_32
否则，抛弃该待检测点pi；
这样得到双邻域尺度r1和r2下的高分辨率点云的候选特征点集合
Figure QLYQS_33
及对应的重心距离集合
Figure QLYQS_34
候选特征点集合
Figure QLYQS_35
以及对应的重心距离集合
Figure QLYQS_36
对重心距离集合
Figure QLYQS_37
进行降序排序，分别保留双邻域尺度前m大的重心距离对应的候选特征点，并取交集得到视觉高分辨率点云的特征点集合
Figure QLYQS_38
其中，
Figure QLYQS_39
表示第i个特征点，v表示特征点数量；
(2)、对每个子区域高分辨率点云获取的特征点集合
Figure QLYQS_40
构建特征点对应的低维特征描述子
对每一个特征点
Figure QLYQS_41
执行以下步骤：
2.1)、计算邻域尺度r1下的特征描述值：
对特征点
Figure QLYQS_42
与邻域尺度r1下的邻近点集合
Figure QLYQS_43
的加权协方差矩阵
Figure QLYQS_44
进行特征值分解得到降序排序的特征值
Figure QLYQS_45
计算离散程度差：
Figure QLYQS_46
Figure QLYQS_47
Figure QLYQS_48
计算特征点
Figure QLYQS_49
与邻近点集合
Figure QLYQS_50
的加权曲率均值：
Figure QLYQS_51
其中，cj表示邻近点
Figure QLYQS_52
的曲率，加权函数
Figure QLYQS_53
计算表征邻域尺度r1下的法向量夹角变化值：
Figure QLYQS_54
其中，
Figure QLYQS_55
为特征点
Figure QLYQS_56
与邻近点
Figure QLYQS_57
的法向量夹角；
2.2)、按照步骤2.1)的方法，计算得到邻域尺度r2下的特征描述值：
Figure QLYQS_58
Figure QLYQS_59
2.3)、首先构建特征点
Figure QLYQS_60
的低维特征描述子
Figure QLYQS_61
Figure QLYQS_62
然后对低维特征描述子的各个维度数据进行归一化处理，这样得到子区域高分辨率点云的特征点集合
Figure QLYQS_63
对应的归一化后的低维特征描述子集合
Figure QLYQS_64
(3)、粗配准初始对齐相邻视角高分辨率点云
对包含重叠区域的高分辨率点云P1、P2，经过步骤(1)、(2)得到其对应特征点及描述子集合分别为
Figure QLYQS_65
将高分辨率点云P1作为目标点云，高分辨率点云P2作为源点云，设置循环次数α；
每次循环从源点云特征点及描述子集合
Figure QLYQS_66
中随机选择三个间距大于最小距离阈值的特征点，基于对应的低维特征描述子间的相似性度量找到目标点云中对应的三个特征点，得到匹配的三对特征点，通过三对特征点计算此次循环得到的旋转矩阵R和平移向量T；
对源点云特征点
Figure QLYQS_67
做刚性变换{R,T}得到特征点
Figure QLYQS_68
获取源点云特征点
Figure QLYQS_69
在目标点云的对应特征点
Figure QLYQS_70
计算特征点
Figure QLYQS_71
与特征点
Figure QLYQS_72
构成点对的Huber损失误差hi，统计Huber损失误差hi,i＝1,2,…u小于阈值的点对个数count；
当达到循环次数α时，将个数count最大的一次循环对应的旋转矩阵R和平移向量T作为粗配准得到的初始对齐的旋转矩阵R0和平移向量T0；
(4)、优化ICP算法精配准高分辨率点云
4.1)、设置迭代次数t＝0，设置迭代终止阈值o，均方根误差变化初始值q；
4.2)、高分辨率点云P2基于旋转矩阵Rt和平移向量Tt做刚性变换，得到对齐的高分辨率点云P1与高分辨率点云P2，高分辨率点云P1的点集为
Figure QLYQS_73
高分辨率点云P2的点集为
Figure QLYQS_74
基于最小欧式距离在点集
Figure QLYQS_75
中找到与点集
Figure QLYQS_76
对应的点集
Figure QLYQS_77
得到候选对应点对
Figure QLYQS_78
4.3)、设置阈值ωd，ωn，ωσ，剔除错误对应点对：
计算每一对候选对应点对
Figure QLYQS_79
的距离ed_x，法向量内积en_x及曲率误差eσ_x：
Figure QLYQS_80
其中，
Figure QLYQS_81
为点
Figure QLYQS_82
的法向量，
Figure QLYQS_83
为点
Figure QLYQS_84
的曲率，
Figure QLYQS_85
为点p′x 1的曲率；
当(ed_x＜ωd)∧(en_x＞ωn)∧(eσ_x＜ωσ)时，保留此候选对应点对，否则剔除，得到剔除错误对应点对后的候选对应点对集合，记为
Figure QLYQS_86
C为候选对应点对数量；
4.4)、基于候选对应点对集合
Figure QLYQS_87
得到第t次迭代的旋转矩阵Rt+1和平移向量Tt+1，得到均方根误差：
Figure QLYQS_88
当q＝|et+1-et|＜o时，即迭代达到终止条件，则取最后一次迭代得到的旋转矩阵Rt+1和平移向量Tt+1作为高分辨率点云P2与高分辨率点云P1的精配准旋转矩阵R21和平移向量t21，否则，t＝t+1，返回步骤4.2)；
(5)、按顺序依次两两配准余下高分辨率点云
对余下高分辨率点云P3,...,PK按两两相邻组合(P3P2),(P4P3),...,(PKPK-1)进行两两拼接：按照高分辨率点云P2、P1执行步骤(3)-(4)，得到旋转矩阵R32,R43,...,RKK-1和平移向量t32,t43,...,tKK-1；
采用全局ICP算法对旋转矩阵R32,R43,...,RKK-1和平移向量t32,t43,...,tKK-1进行优化；
(6)、子区域高分辨率点云进行拼接
根据优化后的旋转矩阵R32,R43,...,RKK-1和平移向量t32,t43,...,tKK-1构建所有子区域高分辨率点云到以第一视角点云P1所在坐标系为基准坐标系的刚性变换矩阵T1′,T2′,T3′,...,T′K，其中：
T1′为4×4单位矩阵：
Figure QLYQS_89
Figure QLYQS_90
依此类推
Figure QLYQS_91
依据刚性变换矩阵T1′,T2′,T3′,...,T′K将高分辨率点云P1,P2,...,PK坐标系转换到基准坐标系下，实现多视角高分辨率点云P1,P2,...,PK的两两拼接，得到航空航天零部件大范围高分辨率点云。
2.根据权利要求1所述的基于特征点提取及精配准优化的多视角高分辨率点云拼接方法，其特征在于，步骤4.3)还还需要基于重叠参数确定公共区域对应点对：
当重叠参数γ已知时，γ∈(0,1]，则公共区域可以配对的正确对应点数量为N＝γ×A，若C＜N，则候选对应点对集合
Figure QLYQS_92
即为保留的最终对应点对；否则，对候选对应点对集合
Figure QLYQS_93
按照法向量内积en_x进行由大到小排序，保留前N项对应的对应点对作为最终的对应点对，并将候选对应点对数量C赋值为N，最终的对应点对作为候选对应点对集合
Figure QLYQS_94
当重叠参数γ未知时，设置预设参数β，通过最小化目标函数
Figure QLYQS_95
来计算得到重叠参数γ，其中：
Figure QLYQS_96
ed为重叠区域对应点的欧式距离；
通过搜索重叠参数γ确定目标函数
Figure QLYQS_97
的最小值，重叠参数γ的搜索空间设为[0.4,1.0]，目标函数
Figure QLYQS_98
最小值对应的重叠参数γ为确定的重叠参数γ，然后按照重叠参数γ已知的情况得到最终的对应点对作为候选对应点对集合
Figure QLYQS_99
CN202210209531.6A 2022-03-03 2022-03-03 一种基于特征点提取及精配准优化的多视角高分辨率点云拼接方法 Active CN114648445B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210209531.6A CN114648445B (zh) 2022-03-03 2022-03-03 一种基于特征点提取及精配准优化的多视角高分辨率点云拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210209531.6A CN114648445B (zh) 2022-03-03 2022-03-03 一种基于特征点提取及精配准优化的多视角高分辨率点云拼接方法

Publications (2)

Publication Number Publication Date
CN114648445A CN114648445A (zh) 2022-06-21
CN114648445B true CN114648445B (zh) 2023-05-30

Family

ID=81992668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210209531.6A Active CN114648445B (zh) 2022-03-03 2022-03-03 一种基于特征点提取及精配准优化的多视角高分辨率点云拼接方法

Country Status (1)

Country Link
CN (1) CN114648445B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152066B (zh) * 2023-02-14 2023-07-04 苏州赫芯科技有限公司 一种元件完整形貌的点云检测方法、系统、设备及介质
CN116977331B (zh) * 2023-09-22 2023-12-12 武汉展巨华科技发展有限公司 基于机器视觉的3d模型表面检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150747A (zh) * 2012-11-16 2013-06-12 佳都新太科技股份有限公司 一种基于拓扑特征的点云配准算法
CN108022262A (zh) * 2017-11-16 2018-05-11 天津大学 一种基于点的邻域重心向量特征的点云配准方法
CN110288640A (zh) * 2019-06-28 2019-09-27 电子科技大学 基于凸密度极值的点云配准方法
CN111145232A (zh) * 2019-12-17 2020-05-12 东南大学 一种基于特征信息变化度的三维点云自动配准方法
CN113610903A (zh) * 2021-06-16 2021-11-05 哈尔滨工业大学 一种基于K-means聚类中心局部曲面投影的多视角点云配准方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539070B (zh) * 2020-04-27 2022-03-08 南京航空航天大学 基于实测数据的翼身对接间隙分布控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150747A (zh) * 2012-11-16 2013-06-12 佳都新太科技股份有限公司 一种基于拓扑特征的点云配准算法
CN108022262A (zh) * 2017-11-16 2018-05-11 天津大学 一种基于点的邻域重心向量特征的点云配准方法
CN110288640A (zh) * 2019-06-28 2019-09-27 电子科技大学 基于凸密度极值的点云配准方法
CN111145232A (zh) * 2019-12-17 2020-05-12 东南大学 一种基于特征信息变化度的三维点云自动配准方法
CN113610903A (zh) * 2021-06-16 2021-11-05 哈尔滨工业大学 一种基于K-means聚类中心局部曲面投影的多视角点云配准方法

Also Published As

Publication number Publication date
CN114648445A (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
CN109887015B (zh) 一种基于局部曲面特征直方图的点云自动配准方法
Spreeuwers Fast and accurate 3D face recognition: using registration to an intrinsic coordinate system and fusion of multiple region classifiers
CN105243374B (zh) 三维人脸识别方法、系统及应用其的数据处理装置
US11113505B2 (en) Palm print image matching techniques
CN114648445B (zh) 一种基于特征点提取及精配准优化的多视角高分辨率点云拼接方法
CN101398886B (zh) 一种基于双目被动立体视觉的快速三维人脸识别方法
CN102236794B (zh) 3d场景中3d对象的识别和姿态确定
Dibeklioglu et al. 3D facial landmarking under expression, pose, and occlusion variations
CN109241901B (zh) 一种对具有孔洞的三维点云的检测与识别方法
CN114972459B (zh) 一种基于低维点云局部特征描述符的点云配准方法
CN108416342A (zh) 一种结合细节点和细线结构的指纹识别方法
CN103136525B (zh) 一种利用广义Hough变换的异型扩展目标高精度定位方法
CN113628263A (zh) 一种基于局部曲率及其近邻特征的点云配准方法
CN113160285B (zh) 一种基于局部深度图像关键性的点云匹配方法
CN108830888B (zh) 基于改进的多尺度协方差矩阵特征描述子的粗匹配方法
CN101833763B (zh) 一种水面倒影图像检测方法
Feng et al. A performance evaluation of fingerprint minutia descriptors
CN107316328A (zh) 一种基于二维激光扫描仪角点特征的闭环检测方法
Liu et al. A novel rock-mass point cloud registration method based on feature line extraction and feature point matching
JP7354468B1 (ja) 幾何学的特性に基づく軽量化された単結晶シリコン楕円パラメータの認識方法及びシステム
CN108182705A (zh) 一种基于机器视觉的三维坐标定位方法
Ouyang et al. Fingerprint pose estimation based on faster R-CNN
Cui et al. Dense registration and mosaicking of fingerprints by training an end-to-end network
CN115082716A (zh) 一种面向道路精细重建的多源点云粗匹配算法
CN105701473B (zh) 一种掌纹图像细节点特征匹配的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant