CN116401794A - 基于注意力引导的深度点云配准的叶片三维精确重建方法 - Google Patents

基于注意力引导的深度点云配准的叶片三维精确重建方法 Download PDF

Info

Publication number
CN116401794A
CN116401794A CN202310677550.6A CN202310677550A CN116401794A CN 116401794 A CN116401794 A CN 116401794A CN 202310677550 A CN202310677550 A CN 202310677550A CN 116401794 A CN116401794 A CN 116401794A
Authority
CN
China
Prior art keywords
point cloud
vector
features
feature
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310677550.6A
Other languages
English (en)
Other versions
CN116401794B (zh
Inventor
殷鸣
秦晟
谢罗峰
朱杨洋
王宗平
徐培淞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202310677550.6A priority Critical patent/CN116401794B/zh
Publication of CN116401794A publication Critical patent/CN116401794A/zh
Application granted granted Critical
Publication of CN116401794B publication Critical patent/CN116401794B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/17—Mechanical parametric or variational design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/10—Numerical modelling
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/70—Wind energy
    • Y02E10/72—Wind turbines with rotation axis in wind direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于注意力引导的深度点云配准的叶片三维精确重建方法，该方法通过特征提取主干模块将源点云X和原始目标点云Y进行下采样操作得到点集X'和Y'，同时共同学习它们的相关特征FX和FY；然后用点云之间特征信息交换的交叉注意机制和利用每个点云本身的信息的自注意机制进行特征增强，所有这些信息交互操作都加强了网络的表现；同时，一个额外的多层感知器以下采样点云X'、Y'作为输入，来预测离群参数α和退火参数β；最后，利用增强的特征FX'、FY'和学习参数α、β计算特征相似度匹配矩阵，并利用奇异值分解算法计算得到两个输入点云的刚性变换；本发明叶片轮廓的重建具有良好的精度和鲁棒性。

Description

基于注意力引导的深度点云配准的叶片三维精确重建方法
技术领域
本发明属于叶片三维重建技术领域，具体涉及一种基于注意力引导的深度点云配准的叶片三维精确重建方法。
背景技术
薄壁叶片是航空发动机的核心部件，对保证整机的可靠性和稳定性起着重要作用。为了满足空气动力学性能的要求，叶片通常被设计成复杂的扭曲的空间自由曲面，其轻微的几何变化将影响航空发动机的性能和能量转换效率。为了测量和纠正制造过程中与名义形状相比的几何偏差，高效和高精度的三维测量在叶片制造过程中起着至关重要的作用。
近年来，基于光学的叶片非接触测量方法引起了很多人的兴趣，并显示出良好的前景。叶片轮廓的三维测量设备和方法一般包括如下几个常见的步骤：系统校准以减少装配误差，多视角扫描以获得点云数据，以及三维重建以与标称轮廓进行比较。由于光学设备的扫描范围限制和叶片轮廓的特殊几何特征，通常需要扫描多个视图以获得完整的点云数据，然后对多视图的点云进行拼接配准，即计算出多视图间准确的坐标变换矩阵，通过刚性变换将多视图的点云统一到特定的坐标系中实现三维重建。为了获得多视图数据之间的刚性转换，许多解决方案通过引入外部标定物来实现的，例如，标准块、圆柱和标准球。有人提出了一个基于机器人和立体视觉的测量系统，该系统使用扫描姿态跟踪方法，将获得的局部点云准确地对齐到一个共同的参考系统下，并利用双目视觉系统和激光定位传感器来统一不同测量视场的点云的坐标系。然而，这些多视图数据的配准方法引入了额外的转移链误差，降低了灵活性，导致满足叶片高精度测量要求的稳健性下降。此外，这些方法通常有高耗时性和额外不确定性的缺点，进一步限制了其有效性。
目前还有各种没有使用任何标定或校准过程的点云配准算法，最广泛使用的是迭代最接近点（Iterative Closest Point，ICP），它依靠连续迭代最小化点对之间的距离来搜索最佳转换关系，ICP算法简单，收敛速度快，但如果初始条件不好，就容易出现次优的局部最小值。因此，提出了大量改进的ICP变体，例如Iterative Closest Points usingInvariant Features 和Globally optimal ICP。然而，因数据的点云密度是可变的，所以基于距离的ICP式变体采用一对一的硬匹配策略不能很好地适用于具有复杂几何特征的扫描数据。为了克服这个问题，基于概率的软匹配策略被提了出来，用于在点云之间建立多对多的对应关系，并通过最大似然法来估计最佳变换。其中，相干点漂移（Coherent PointDrift，CPD）是最著名的，其中一个点云被认为是高斯混合模型的中心点，另一个点云使用最大似然估计方法进行对齐配准。然而，基于概率的方法忽略了点云的几何特征相似性，并将多余的和不正确的噪声点云对应关系纳入目标函数，导致了次优解，为了克服这一局限性，点云的几何特征，如曲率、法线、空间拓扑关系等，被编码来构建点云的特征描述符，从而在配准中建立点云之间的对应关系。但是在处理大规模的点云时，上述方法的计算复杂度明显增加，会对整体配准效率产生不利影响，并可能导致错误匹配问题。此外，当点云的特征不突出微弱时，特征描述符精确性难以保证，导致算法不能总是输出令人满意的结果。
随着深度神经网络在各个领域的革命性影响，出现了许多基于深度学习的点云配准方法，Qi等人提出了PointNet和PointNet++，用于基于深度学习的三维点云分类和分割。Aoki等人提出了用于点云配准的PointNetLK，PointNetLK应用PointNet来提取点云的全局特征，并使用修改后的LK算法来规避对PointNet表示的卷积需求。基于动态图卷积神经网络(dynamic graph convolutional neural networks)和Transformer，提出了深度最接近点（Deep Closest Point, DCP）来预测点云之间的软匹配。Yew等人提出了使用可微分的Sinkhorn层和退火法的RPM-net来获得点对应的软匹配矩阵。
尽管上述基于学习的算法在某些特定条件下有很好的效果，但对于统一多视角点数据以满足薄壁和扭曲叶片轮廓的高精度测量要求来说，大多数算法都是无效的。首先，由于激光扫描传感器的空间采样差异，不同视角下同一部位的点云密度是不一致的。因此，不同视点之间没有严格的一对一的对应关系。第二，要准确地配准不同视点中被噪声污染的叶片点云是一个巨大的挑战，当输入的扫描数据具有模糊的几何结构时，这无疑降低了叶片轮廓的配准效果。第三，追求效率的叶片数据采集过程可能导致相邻视点之间的重叠较少且不充分，这使得叶片表面的点云配准成为一个局部到局部的配准问题。
发明内容
本发明的目的在提供一种基于注意力引导的深度点云配准的叶片三维精确重建方法，该方法通过提取点云的特征，增强特征，计算对应关系，使用奇异值分解算法获得输入点云之间的关系，实现了叶片表面的精确3D重建方法。
为实现上述目的，本发明采用如下技术方案：
一种基于注意力引导的深度点云配准的叶片三维精确重建方法，包括如下步骤：
（1）从两个不同测量视场获取源点云X和目标点云Y，对源点云X和目标点云Y进行 下采样操作获得关键源点云
Figure SMS_1
和关键目标点云
Figure SMS_2
，同时对源点云X和目标点云Y编码提取 特征FX和FY；
（2）采用交叉注意力机制促进源点云和目标点云特征之间的信息交互，
Figure SMS_3
作为 传播层第l层的源点云X的特征，输出特征
Figure SMS_4
为：
Figure SMS_5
，
同理，
Figure SMS_6
；
式中，
Figure SMS_8
、
Figure SMS_16
为传播层第l+1层的源点云X、目标点云Y的特征，
Figure SMS_17
、
Figure SMS_9
为传播层第l层的源点云X、目标点云Y的特征，
Figure SMS_11
和
Figure SMS_13
为具有可学习参数的非线性函 数，
Figure SMS_15
为Concat拼接函数，
Figure SMS_7
为在元素/通道维度上汇聚点云特征的最大池化操作，
Figure SMS_12
为将向量vector沿着元素/通道维度方向扩展
Figure SMS_18
次，vector为
Figure SMS_19
或
Figure SMS_10
，
Figure SMS_14
为点云中点的个数，P为源点云X或目标点云Y；
（3）特征FX和FY通过自注意力机制以增加模型的表达能力，并将每个点云的更多的 全局上下文信息聚合到学习特征中以获取增强特征
Figure SMS_20
和
Figure SMS_21
，增强特征
Figure SMS_22
计算过程如下：
首先，查询向量
Figure SMS_23
用于根据键向量
Figure SMS_24
在同一点云中搜索其他点的特征值向量
Figure SMS_25
，
Figure SMS_26
，
Figure SMS_27
，
Figure SMS_28
，
式中，
Figure SMS_29
分别为查询向量
Figure SMS_33
、键向量
Figure SMS_38
、特征值向量
Figure SMS_31
的可学习加权矩 阵，点特征
Figure SMS_34
和点特征
Figure SMS_35
分别表示
Figure SMS_36
的第i个点的特征元素和第j个点的特征元素，查询 向量
Figure SMS_30
是点特征
Figure SMS_37
加权后的线性映射，键向量
Figure SMS_39
、特征值
Figure SMS_40
是点特征
Figure SMS_32
加权后的线性映 射；
然后，计算点特征
Figure SMS_42
特征的加权平均值：
Figure SMS_44
；其中
Figure SMS_46
，为注意力权重；
Figure SMS_43
为归一化指数函数，作为激活层用于激活权重，
Figure SMS_45
为查询向量
Figure SMS_47
的转置，d为特征值向量
Figure SMS_48
的维度，
Figure SMS_41
为特征值向量；
最后，聚合了点云自身所有信息的点特征
Figure SMS_49
可以更新为
Figure SMS_50
，MLP为一个三层的全连接网络，
Figure SMS_51
为查询向量，
Figure SMS_52
为点特征
Figure SMS_53
的加权平均值；
增强特征
Figure SMS_54
与
Figure SMS_55
的计算过程相同；
（4）经过交叉注意力机制和自注意力机制获得增强特征
Figure SMS_56
和
Figure SMS_57
、以及根据步骤 （1）中下采样获得关键源点云
Figure SMS_58
和关键目标点云
Figure SMS_59
采用Sinkhorn算法并结合双重随机约 束算法、退火算法得到特征相似度匹配矩阵，
Figure SMS_60
式中，
Figure SMS_61
为离群参数，
Figure SMS_64
为退火参数，MLP为一个三层的全连接网络，
Figure SMS_66
为Concat拼接函数，
Figure SMS_63
为关键源点云，
Figure SMS_65
为关键目标点云，
Figure SMS_67
为特征相似度匹配矩 阵，e为指数函数，
Figure SMS_68
为一对点
Figure SMS_62
的特征距离；
如果任何一对点
Figure SMS_77
的特征距离
Figure SMS_73
小于
Figure SMS_74
，将其视为一个内点， 离群参数
Figure SMS_79
控制特征相似度匹配矩阵
Figure SMS_81
中点对
Figure SMS_84
之间的对应关系，防止出现异 常点；多层感知器以两个下采样点云
Figure SMS_86
、
Figure SMS_75
作为输入，并在整个网络学习特征的同时，预测 当前迭代的参数
Figure SMS_80
和
Figure SMS_69
；通过
Figure SMS_71
得到X的理想匹配点云，为了获得刚性变换，将进行 刚性变换后的原点云X中的每个点与目标点云Y中的每个点之间的平均距离最小化，即
Figure SMS_78
，
Figure SMS_82
为最小值函数，R为旋转矩阵，T为平移向量，
Figure SMS_83
为点云P中点的个数，
Figure SMS_85
为源点云X中的元素，
Figure SMS_70
为X的理想匹配点云
Figure SMS_76
中的元素；对应估 计模块通过对源点云X和理想匹配点云
Figure SMS_72
进行奇异值分解解决平均距离最小化这个问题， 求得预测的刚体变换
Figure SMS_87
；
（5）采用损失计算源点云X经由真实变换
Figure SMS_88
后的点云与经由预测变换
Figure SMS_89
后的点云之间的偏差；
损失计算
Figure SMS_90
；
在特征匹配矩阵上使用了额外的损失
Figure SMS_91
；
其中N、M分别为输入点云X、Y的点数，将两个损失的加权和作为总损失：
Figure SMS_92
，其中
Figure SMS_93
来平衡
Figure SMS_94
和
Figure SMS_95
，计算每次迭代的损失，直到最终验证集上的损失不再大幅 下降时获得最优刚体变换
Figure SMS_96
；最后利用该网络求得叶片多个视图间的刚体变换实现叶 片型面的三维重建。
本发明通过特征提取主干模块将源点云X和原始目标点云Y进行下采样操作得到点集X'和Y'，同时共同学习它们的相关特征FX和FY；然后用点云之间特征信息交换的交叉注意机制和利用每个点云本身的信息的自注意机制进行特征增强，所有这些信息交互操作都加强了网络的表现；同时，一个额外的多层感知器（MLP）以下采样点云X'、Y'作为输入，来预测离群参数α和退火参数β；最后，利用增强的特征FX'、FY'和学习参数α、β计算特征相似度匹配矩阵，并利用奇异值分解算法计算得到两个输入点云的刚性变换；本发明还通过实验结果表明本发明叶片轮廓的重建具有良好的精度和鲁棒性。
附图说明
图1为本发明的点云配准流程示意图。
图2为叶片的横截面的精配准过程示意图。
图3为基于测量系统记录的参数的粗略配准示意图。
图4为本发明配准结果示意图。
图5为三种被测叶片目标截面与三坐标测量机测量结果的偏差示意图。
具体实施方式
如图1所示，本实施例提供的一种基于注意力引导的深度点云配准的叶片三维精确重建方法包括如下步骤：
（1）通过线激光扫描传感器从两个不同测量视场获取两组点云X和Y，并将点云X定 义为源点云
Figure SMS_97
，点云Y定义为目标点云
Figure SMS_98
，N 和M是点云中的点数且N≠M。
采用特征提取主干对源点云X和目标点云Y进行下采样操作获得关键源点云
Figure SMS_99
和 关键目标点云
Figure SMS_100
，然后使用两个输入点云的几何和上下文信息进行编码提取特征FX和FY。
（2）通过交叉注意力机制模块促进源点云和目标点云特征之间的信息交互，具体 地，
Figure SMS_101
作为传播层第l层的源点云X的特征，输出
Figure SMS_102
为：
Figure SMS_103
，
同理
Figure SMS_104
；
式中，
Figure SMS_106
、
Figure SMS_110
为传播层第l+1层的源点云X、目标点云Y的特征，
Figure SMS_112
、
Figure SMS_108
为传播层第l层的源点云X、目标点云Y的特征，
Figure SMS_111
和
Figure SMS_114
为具有可学习参数的非线性函 数，
Figure SMS_115
为Concat拼接函数，用来将两个或多个数组结合起来，
Figure SMS_105
为在元素/通道维 度上汇聚点云特征的最大池化操作，
Figure SMS_107
为将向量vector沿着元素/通道维度 方向扩展
Figure SMS_113
次，vector为
Figure SMS_116
或
Figure SMS_109
，
Figure SMS_117
为点云中点的个数，P 为源点云X或目标点云Y。
（3）在点云之间进行信息交互后，特征FX和FY将通过自注意力机制模块以增加模型 的表达能力，并将更多的全局上下文信息组合到每个点云的学习特征中，本实施例采用四 头自注意力机制，下面以特征
Figure SMS_118
的计算为例，特征
Figure SMS_119
计算原理过程一致。
查询向量
Figure SMS_120
用于根据键向量
Figure SMS_121
在同一点云中搜索其他点的特征值向量
Figure SMS_122
，
Figure SMS_123
，
Figure SMS_124
，
Figure SMS_125
，
式中，
Figure SMS_127
分别为查询向量
Figure SMS_132
、键向量
Figure SMS_137
、特征值向量
Figure SMS_128
的可学习加权矩 阵，点特征
Figure SMS_130
和点特征
Figure SMS_134
分别表示
Figure SMS_136
的第i个点的特征元素和第j个点的特征元素，查询 向量
Figure SMS_126
是点特征
Figure SMS_131
加权后的线性映射，键向量
Figure SMS_133
、特征值
Figure SMS_135
是点特征
Figure SMS_129
加权后的线性映 射；
然后计算点特征
Figure SMS_138
特征的加权平均值：
Figure SMS_141
；其中
Figure SMS_143
，为注意力权重；
Figure SMS_140
为归一化指数函数，作为激活层用于激活权重，
Figure SMS_142
为查询向量
Figure SMS_144
的转置，d为特征值向量
Figure SMS_145
的维度，能使得网络反向反馈时梯度更加稳定，
Figure SMS_139
为特征值向 量；
上下文特征
Figure SMS_146
是由表达式更新：
Figure SMS_147
，其中， MLP为一个3层的全连接网络，
Figure SMS_148
为查询向量，
Figure SMS_149
为加权平均值，从整体而言，自注意力机制 模块为了使得点云更好地关注自身特征，查询矩阵Q、键矩阵K和值矩阵V都源于相同的点 云，换言之对于源点云X的
Figure SMS_150
，目标点云Y亦然。
（4）源点云X和目标点云Y之间的相同区域的重叠点在不同的测量视场下并不完全相同；源点云X中的一个点可能在目标点云Y中有多个相似的对应点，本实施例引入了一种基于概率的软匹配策略来获得点云对应关系。
经过交叉注意力机制模块和自注意力机制模块后的特征
Figure SMS_151
和
Figure SMS_152
是由源点云间 和目标点云之间以及自身的几何属性和上下文进行编码得到的；根据步骤（1）中经过下采 样获得关键源点云
Figure SMS_153
和关键目标点云
Figure SMS_154
、以及被增强的特征
Figure SMS_155
和
Figure SMS_156
，采用Sinkhorn算法 并结合双重随机约束算法和退火算法，得到特征相似度匹配矩阵：
Figure SMS_157
，
式中，
Figure SMS_158
为离群参数，
Figure SMS_160
为退火参数，MLP为一个3层的全连接网络，
Figure SMS_162
为Concat拼接函数，用来将两个或多个数组结合起来，
Figure SMS_161
为关键源点云，
Figure SMS_163
为关键 目标点云，
Figure SMS_164
为特征相似度匹配矩阵，e为指数函数，
Figure SMS_165
为一对点
Figure SMS_159
的特征距离。
如果任何一对点
Figure SMS_166
的特征距离
Figure SMS_174
小于
Figure SMS_175
，将其视为一个内点，
Figure SMS_167
是用于控制特征相似度匹配矩阵
Figure SMS_169
中点对
Figure SMS_171
之间的对应关系，防止出现异常 点；为了根据学习到的特征智能地设置这两个参数，本实施例设计了一个多层感知器作为 参数预测网络，以防止手动设置的麻烦。多层感知器以两个下采样点云
Figure SMS_173
、
Figure SMS_168
作为输入，并 在整个网络学习特征的同时，预测当前迭代的参数
Figure SMS_170
和
Figure SMS_172
。
一旦估计了特征软匹配矩阵，最后一步就是计算两个原始点云之间的刚性变换。通 过
Figure SMS_177
得到X的理想匹配点云，为了获得刚性变换，将进行刚性变换后的原点云X中的每 个点与目标点云Y中的每个点之间的平均距离最小化，即
Figure SMS_181
，
Figure SMS_184
为最小值函数，R为旋转矩阵，T为平移向量，
Figure SMS_178
为点云P中点的个数，
Figure SMS_180
为源点云 X中的元素，
Figure SMS_182
为X的理想匹配点云
Figure SMS_183
中的元素。对应估计模块通过对源点云X和理想匹配点云
Figure SMS_176
进行奇异值分解（SVD），来解决平均距离最小化这个问题，求得预测的刚体变换
Figure SMS_179
。
（5）源点云X和目标点云Y映射到将它们相互配准的刚性转换
Figure SMS_185
，其中一组学习 参数必须在训练期间进行优化；本实施例采用直接的损失计算最小化点云X经由真实变换
Figure SMS_186
后的点云与经由预测变换
Figure SMS_187
后的点云之间的偏差；
损失计算
Figure SMS_188
；
为了鼓励内点并避免离群点，在特征匹配矩阵上使用了额外的损失
Figure SMS_189
；
其中N、M分别为输入点云X、Y的点数，将两个损失的加权和作为总损失：
Figure SMS_190
，其中
Figure SMS_191
来平衡
Figure SMS_192
和
Figure SMS_193
，计算每次迭代的损失，所有这些都对训练期间的最终损失 有相同的贡献。
本实施例采用奇异值分解对源点云X和理想匹配点云
Figure SMS_194
进行奇异值分解获得优 化后的刚体转换；最后利用该网络求得叶片多个视图间的刚体变换实现叶片型面的三维重 建。
为了验证本实施例的算法（AGDnet）的有效性和准确性，将与六种具有代表性的点云配准算法进行了比较，包括两种传统算法ICP和CPD，以及四种基于深度学习的算法DCP、RPM-net、PREDATOR和CSPN。
本实施例选择三种典型叶片作为实验对象，分别记为叶片-1、叶片-2和叶片-3，并且获取了两种数据类型，分别为从数值模型中获得的标记数据，以及使用四轴测量系统从实体模型中获得的测量数据。在试验中，从数值模型中提取目标横截面的相邻关键区域来制作标记数据集进行配准以实现叶片轮廓三维重建。将标记数据分为训练集、验证集和测试集。最后，为了评估叶片重建的几何精度，我们利用CMM的测量结果作为参考来获得相对偏差，这是因为CMM是叶片制造过程中广泛使用的高精度接触测量方法。为了符合CMM的测量标准，我们提取相同的特定目标截面进行比较，并计算出相对偏差。
获取标记数据：首先，目标横截面的关键区域从其数值模型中截断DZ=0.6mm，横截面间距为dz=0.12mm。然后，以两个角度在上述关键区域的轮廓上沿水平方向以0.02mm的间隔取点以生成相邻视场。接下来，根据实际重叠情况在每个截面中随机截取64个连续点，将三个关键区域中的18个截面的连续点的总和作为源点云X。在源点云X的每个横截面附近偏离±6个点以获得目标点云Y。结果，源点云X包含64×18个点，而目标点云Y包含70×18个点，对目标点云Y进行任意轴的旋转角度[-3,3]和平移[-0.2mm,0.2mm]的随机变换。重复上述操作得到72000个样本，其中48000个样本作为训练集，12000个样本作为验证集，其余作为测试集。
获取测量数据：首先使用校准的四轴测量系统从不同视场获取同一叶片的整个轮廓数据作为原始视点。然后，使用四轴测量系统记录的参数对获取的原始数据进行粗配准。通过激光扫描获得的点云往往呈现出高密度的特性，需要在后续操作中进行下采样以提高计算效率。因此，将通过上述方法提取目标横截面的相邻关键区域作为新的配准视场数据。最后，区域的相邻重叠被截取为源点云X和目标点云Y。将这些算法在新视场上计算的刚性变换应用到原始视场上，以实现叶片轮廓的完整3D重建。
在标记数据上的方法对比：使用标记数据的测试集进行实验，并引入均方误差(MSE)、均方根误差(RMSE)和平均绝对误差(MAE)来比较预测变换与真实变换之间的差异，实验结果如表1所示；
表1 在标记数据上的方法对比实验结果
Figure SMS_195
由表1可知，本实施例具有较小的MSE、RMSE和MAE值，验证了本实施例的有效性，并 显示了本实施例优于其他方法的性能；需要注意的是所有基于深度学习的算法均使用初始 学习率为0.001的ADAM优化器进行训练，并且所有算法均在配备Intel(R) Gold 6154 CPU、 Nvidia GTX 2080Ti GPU和64G内存的台式计算机上运行。根据经验，本实施例的总损失里 的权重
Figure SMS_196
。
对标记数据进行消融实验，以验证本实施例AGDnet的每个部分的必要性，如表2所示，消融实验包括两个关键组成部分，即包含交叉注意机制模块和自注意机制模块，用“√”表示在实验过程中使用了该模块；
表2 在标记数据上消融实验结果
Figure SMS_197
由表2可知，模型1表现出最低的配准性能，表明缺少信息交互模块会产生不利影响，当仅单独使用交叉注意力机制模块（模型2）或自注意力机制模块（模型3）时也表现出次优的配准性能。模型4表现出最优的配准性能，表示出本实施例的每个步骤的有效性。
为了证明本实施例的可靠性，重建了三种不同类型的叶片，根据叶片轮廓的测量标准，重建叶片的叶盆和叶背区域的数据完整性。以叶片1的目标横截面为例来描述精配准过程，它也与三维配准过程类似。如图2所示，四轴系统测量了三个视场，涵盖了整个截面轮廓，由于叶片扫描角度的不同，同一部位的点密度是可变的，图3是根据四轴系统记录的参数进行粗配准的结果，由于四轴系统的运动误差，重叠区域的配准可能不完美；图4采用本实施例的方法进行的精确配准。
此外，由于叶片的整个轮廓是通过测量特定的目标截面来保证的，因此基于所有七种算法的重建结果，提取目标截面轮廓并与CMM测量结果进行比较以进行精度评估，然后以图形的方式进行比较。展示叶片目标截面处的偏差结果，如图5所示，本实施例的偏差小于所有其他算法的偏差。 这意味着在执行叶片轮廓配准时，本实施例的准确性和鲁棒性是优越的。
除了以偏差图的形式呈现结果之外，为了全面和定量地评估本实施例的性能，本实施例引入了四个评估参数，包括偏差均值、标准差、偏差范围和均方根值；
表3 评估参数的评估结果
Figure SMS_198
由表3可知，ICP表现良好，因为通过对整个轮廓数据的粗略配准获得了有利的初始姿势。实际上，基于“一对一”的硬匹配搜索策略的ICP可能会陷入局部最小值。对于基于概率的CPD算法，“多对多”点云对应策略可能会在目标函数中引入冗余和不正确的对应关系，从而在一定程度上影响整体配准精度。至于DCP和RPM，尽管是基于特征的算法，但它们忽略了源点云和目标点云之间的差异。此外，还应该注意的是，由于叶片测量数据中点密度不均匀所引起的限制，PREDATOR可能会表现出降低的功效。虽然CSPN已应用于2D点云配准，但结果表明，在3D重建过程中，它的性能对于小扭曲的叶片来说很好，但对于大扭曲的复杂叶片来说是不够的。根据结果，本实施例在所有目标横截面上实现了最低的均值、标准差和均方根值，这表明其卓越的性能和鲁棒性优于其他方法。换句话说，本实施例与CMM测量结果非常吻合，本实施例具有高测量精度的结论。
叶片的三维重建涉及在通过扫描不同视点获得的点云之间找到最佳变换参数，以重建完整模型，本实施例提出了AGDnet来减轻已开发的四轴测量系统中几何误差和运动稳定性的影响；首先，利用特征提取主干模块来降低点云的密度并提取相关特征；随后，交叉注意力模块促进了从源点云和目标点云中提取的特征之间的信息交互；其次，使用自注意力机制模块将全局上下文信息集成到每个点云自身的学习特征中；从对标记数据和实际测量数据的评估中证明了本实施例的有效性和准确性。
以上所述仅是本发明优选的实施方式，但本发明的保护范围并不局限于此，任何基于本发明所提供的技术方案和发明构思进行的改造和替换都应涵盖在本发明的保护范围内。

Claims (1)

1.一种基于注意力引导的深度点云配准的叶片三维精确重建方法，其特征在于，包括如下步骤：
（1）从两个不同测量视场获取源点云X和目标点云Y，对源点云X和目标点云Y进行下采样操作获得关键源点云
Figure QLYQS_1
和关键目标点云/>
Figure QLYQS_2
，同时对源点云X和目标点云Y编码提取特征FX和FY；
（2）采用交叉注意力机制促进源点云和目标点云特征之间的信息交互，
Figure QLYQS_3
作为传播层第l层的源点云X的特征，特征/>
Figure QLYQS_4
为：
Figure QLYQS_5
，
同理，
Figure QLYQS_6
；
式中，
Figure QLYQS_7
、/>
Figure QLYQS_10
为传播层第l+1层的源点云X、目标点云Y的特征，/>
Figure QLYQS_13
、/>
Figure QLYQS_11
为传播层第l层的源点云X、目标点云Y的特征，/>
Figure QLYQS_15
和/>
Figure QLYQS_17
为具有可学习参数的非线性函数，/>
Figure QLYQS_19
为Concat拼接函数，/>
Figure QLYQS_8
为在元素/通道维度上汇聚点云特征的最大池化操作，/>
Figure QLYQS_12
为将向量vector沿着元素/通道维度方向扩展/>
Figure QLYQS_14
次，vector为/>
Figure QLYQS_16
或/>
Figure QLYQS_9
，
Figure QLYQS_18
为点云中点的个数，P为源点云X或目标点云Y；
（3）特征FX和FY通过自注意力机制以增加模型的表达能力，并将每个点云的更多的全局上下文信息聚合到学习特征中以获取增强特征
Figure QLYQS_20
和/>
Figure QLYQS_21
，增强特征/>
Figure QLYQS_22
计算过程如下：
首先，查询向量
Figure QLYQS_23
用于根据键向量/>
Figure QLYQS_24
在同一点云中搜索其他点的特征值向量/>
Figure QLYQS_25
，
Figure QLYQS_26
，
Figure QLYQS_27
，
Figure QLYQS_28
，
式中，
Figure QLYQS_29
分别为查询向量/>
Figure QLYQS_38
、键向量/>
Figure QLYQS_40
、特征值向量/>
Figure QLYQS_30
的可学习加权矩阵，点特征/>
Figure QLYQS_32
和点特征/>
Figure QLYQS_34
分别表示/>
Figure QLYQS_36
的第i个点的特征元素和第j个点的特征元素，查询向量
Figure QLYQS_31
是点特征/>
Figure QLYQS_33
加权后的线性映射，键向量/>
Figure QLYQS_37
、特征值/>
Figure QLYQS_39
是点特征/>
Figure QLYQS_35
加权后的线性映射；
然后，计算点特征
Figure QLYQS_42
特征的加权平均值：/>
Figure QLYQS_44
；其中/>
Figure QLYQS_46
，为注意力权重；/>
Figure QLYQS_41
为归一化指数函数，作为激活层的激活权重，/>
Figure QLYQS_45
为查询向量/>
Figure QLYQS_47
的转置，d为特征值向量/>
Figure QLYQS_48
的维度，/>
Figure QLYQS_43
为特征值向量；
最后，聚合了点云自身所有信息的点特征
Figure QLYQS_49
可以更新为
Figure QLYQS_50
，MLP为一个三层的全连接网络，/>
Figure QLYQS_51
为查询向量，/>
Figure QLYQS_52
为点特征/>
Figure QLYQS_53
的加权平均值；
增强特征
Figure QLYQS_54
与/>
Figure QLYQS_55
的计算过程相同；
（4）经过交叉注意力机制和自注意力机制获得增强特征
Figure QLYQS_56
和/>
Figure QLYQS_57
、以及根据步骤（1）中下采样获得关键源点云/>
Figure QLYQS_58
和关键目标点云/>
Figure QLYQS_59
采用Sinkhorn算法并结合双重随机约束算法、退火算法得到特征相似度匹配矩阵，
Figure QLYQS_60
，
式中，
Figure QLYQS_61
为离群参数，/>
Figure QLYQS_63
为退火参数，MLP为一个三层的全连接网络，/>
Figure QLYQS_66
为Concat拼接函数，/>
Figure QLYQS_62
为关键源点云，/>
Figure QLYQS_64
为关键目标点云，/>
Figure QLYQS_67
为特征相似度匹配矩阵，e为指数函数，/>
Figure QLYQS_68
为一对点/>
Figure QLYQS_65
的特征距离；
如果任何一对点
Figure QLYQS_80
的特征距离/>
Figure QLYQS_69
小于/>
Figure QLYQS_76
，将其视为一个内点，离群参数/>
Figure QLYQS_82
控制特征相似度匹配矩阵/>
Figure QLYQS_83
中点对/>
Figure QLYQS_85
之间的对应关系，防止出现异常点；多层感知器以两个下采样点云/>
Figure QLYQS_86
、/>
Figure QLYQS_84
作为输入，并在整个网络学习特征的同时，预测当前迭代的参数/>
Figure QLYQS_87
和/>
Figure QLYQS_72
；通过/>
Figure QLYQS_79
得到X的理想匹配点云，为了获得刚性变换，将进行刚性变换后的原点云X中的每个点与目标点云Y中的每个点之间的平均距离最小化，即
Figure QLYQS_71
，/>
Figure QLYQS_74
为最小值函数，R为旋转矩阵，T为平移向量，
Figure QLYQS_75
为点云P中点的个数，/>
Figure QLYQS_78
为源点云X中的元素，/>
Figure QLYQS_70
为X的理想匹配点云/>
Figure QLYQS_73
中的元素；对应估计模块通过对源点云X和理想匹配点云/>
Figure QLYQS_77
进行奇异值分解解决平均距离最小化这个问题，求得预测的刚体变换/>
Figure QLYQS_81
；
（5）采用损失计算源点云X经由真实变换
Figure QLYQS_88
后的点云与经由预测变换/>
Figure QLYQS_89
后的点云之间的偏差；
损失计算
Figure QLYQS_90
；
在特征匹配矩阵上使用了额外的损失
Figure QLYQS_91
；
其中N、M分别为输入点云X、Y的点数，将两个损失的加权和作为总损失：
Figure QLYQS_92
，其中/>
Figure QLYQS_93
来平衡/>
Figure QLYQS_94
和/>
Figure QLYQS_95
，计算每次迭代的损失，直到最终验证集上的损失不再大幅下降时获得最优刚体变换/>
Figure QLYQS_96
；最后利用该网络求得叶片多个视图间的刚体变换实现叶片型面的三维重建。
CN202310677550.6A 2023-06-09 2023-06-09 基于注意力引导的深度点云配准的叶片三维精确重建方法 Active CN116401794B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310677550.6A CN116401794B (zh) 2023-06-09 2023-06-09 基于注意力引导的深度点云配准的叶片三维精确重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310677550.6A CN116401794B (zh) 2023-06-09 2023-06-09 基于注意力引导的深度点云配准的叶片三维精确重建方法

Publications (2)

Publication Number Publication Date
CN116401794A true CN116401794A (zh) 2023-07-07
CN116401794B CN116401794B (zh) 2023-08-15

Family

ID=87020237

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310677550.6A Active CN116401794B (zh) 2023-06-09 2023-06-09 基于注意力引导的深度点云配准的叶片三维精确重建方法

Country Status (1)

Country Link
CN (1) CN116401794B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580069A (zh) * 2023-07-12 2023-08-11 四川大学 一种由粗到精的叶片型面多视场数据配准方法
CN117062002A (zh) * 2023-08-01 2023-11-14 哈尔滨工程大学 一种基于轻量级transformer的5g nr室内定位方法及系统
CN117952966A (zh) * 2024-03-26 2024-04-30 华南理工大学 基于Sinkhorn算法的多模态融合生存预测方法
CN118447205A (zh) * 2024-07-08 2024-08-06 四川大学 基于深度学习的航发叶片多视场点云型线数据拼合方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332175A (zh) * 2021-12-16 2022-04-12 广东工业大学 一种基于注意力机制的低重叠3d动态点云配准方法和系统
CN115272433A (zh) * 2022-09-23 2022-11-01 武汉图科智能科技有限公司 用于无人机自动避障的轻量点云配准方法及系统
CN115496859A (zh) * 2022-09-30 2022-12-20 燕山大学 基于散乱点云交叉注意学习的三维场景运动趋势估计方法
CN115578408A (zh) * 2022-07-28 2023-01-06 四川大学 点云配准的叶片轮廓光学检测方法、系统、设备及终端
CN115859521A (zh) * 2022-12-14 2023-03-28 上海交通大学 基于神经网络的铣削加工误差重建方法及系统
CN115908514A (zh) * 2022-10-18 2023-04-04 西安电子科技大学 一种基于全局特征与局部特征融合的点云配准方法
CN115908112A (zh) * 2022-11-14 2023-04-04 中山大学 一种面向低重叠率的点云配准方法
CN115994977A (zh) * 2022-12-16 2023-04-21 大连东软信息学院 一种基于混合注意力机制的双向金字塔结构的三维点云补全方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114332175A (zh) * 2021-12-16 2022-04-12 广东工业大学 一种基于注意力机制的低重叠3d动态点云配准方法和系统
CN115578408A (zh) * 2022-07-28 2023-01-06 四川大学 点云配准的叶片轮廓光学检测方法、系统、设备及终端
CN115272433A (zh) * 2022-09-23 2022-11-01 武汉图科智能科技有限公司 用于无人机自动避障的轻量点云配准方法及系统
CN115496859A (zh) * 2022-09-30 2022-12-20 燕山大学 基于散乱点云交叉注意学习的三维场景运动趋势估计方法
CN115908514A (zh) * 2022-10-18 2023-04-04 西安电子科技大学 一种基于全局特征与局部特征融合的点云配准方法
CN115908112A (zh) * 2022-11-14 2023-04-04 中山大学 一种面向低重叠率的点云配准方法
CN115859521A (zh) * 2022-12-14 2023-03-28 上海交通大学 基于神经网络的铣削加工误差重建方法及系统
CN115994977A (zh) * 2022-12-16 2023-04-21 大连东软信息学院 一种基于混合注意力机制的双向金字塔结构的三维点云补全方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HUANSHU WEI 等: "End-to-End 3D Point Cloud Learning for Registration Task Using Virtual Correspondences", 2020 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS, pages 2678 - 2683 *
LUOFENG XIE 等: "Self-feature-based point cloud registration method with a novel convolutional Siamese point net for optical measurement of blade profile", MECHANICAL SYSTEMS AND SIGNAL PROCESSING, vol. 178, pages 109243 *
YU-XIN ZHANG 等: "Point Cloud Registration Using Multiattention Mechanism and Deep Hybrid Features", IEEE INTELLIGENT SYSTEMS, pages 58 - 68 *
海琳琦 等: "基于动态图注意力机制的秦俑点云鲁棒配准", 光学精密工程, vol. 30, no. 24, pages 3210 - 3224 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116580069A (zh) * 2023-07-12 2023-08-11 四川大学 一种由粗到精的叶片型面多视场数据配准方法
CN116580069B (zh) * 2023-07-12 2023-09-19 四川大学 一种由粗到精的叶片型面多视场数据配准方法
CN117062002A (zh) * 2023-08-01 2023-11-14 哈尔滨工程大学 一种基于轻量级transformer的5g nr室内定位方法及系统
CN117062002B (zh) * 2023-08-01 2024-04-30 哈尔滨工程大学 一种基于轻量级transformer的5g nr室内定位方法及系统
CN117952966A (zh) * 2024-03-26 2024-04-30 华南理工大学 基于Sinkhorn算法的多模态融合生存预测方法
CN118447205A (zh) * 2024-07-08 2024-08-06 四川大学 基于深度学习的航发叶片多视场点云型线数据拼合方法
CN118447205B (zh) * 2024-07-08 2024-09-24 四川大学 基于深度学习的航发叶片多视场点云型线数据拼合方法

Also Published As

Publication number Publication date
CN116401794B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
CN116401794B (zh) 基于注意力引导的深度点云配准的叶片三维精确重建方法
Xie et al. Self-feature-based point cloud registration method with a novel convolutional Siamese point net for optical measurement of blade profile
Poursaeed et al. Deep fundamental matrix estimation without correspondences
CN115578408A (zh) 点云配准的叶片轮廓光学检测方法、系统、设备及终端
CN105654483A (zh) 三维点云全自动配准方法
Yin et al. Deep feature interaction network for point cloud registration, with applications to optical measurement of blade profiles
CN106991705B (zh) 一种基于p3p算法的位置参数估计方法
Chen et al. A correntropy-based affine iterative closest point algorithm for robust point set registration
Wang et al. Multi-features guidance network for partial-to-partial point cloud registration
CN113160287A (zh) 一种基于特征融合的复杂构件点云拼接方法及系统
CN116228825B (zh) 一种基于显著锚点几何嵌入的点云配准方法
CN117292064A (zh) 一种基于结构光扫描数据的三维物体建模方法及系统
CN115797414A (zh) 一种考虑测头半径的复杂曲面测量点云数据配准方法
CN115631341A (zh) 一种基于多尺度特征投票的点云配准方法及系统
CN117078753A (zh) 基于相机的渐进式特征分布采样6d位姿估计方法及系统
CN117876447B (zh) 一种基于微表面融合与对齐的三维点云配准方法
Qin et al. Optical measurement and 3D reconstruction of blade profiles with attention-guided deep point cloud registration network
CN109389626A (zh) 一种基于采样球扩散的复杂异形曲面点云配准方法
Wang et al. Probabilistic boundary-guided point cloud primitive segmentation network
CN115861563B (zh) 一种图拓扑刚性点云配准的三维重建方法
CN109887012B (zh) 一种结合自适应搜索点集的点云配准方法
Ye et al. A Method of Binocular Laser 3-D Scanning Imaging for Reflective Workpieces
Slimani et al. Rocnet: 3d robust registration of point-clouds using deep learning
CN115496859A (zh) 基于散乱点云交叉注意学习的三维场景运动趋势估计方法
Xie et al. S2H-GNN: Learning Soft to Hard Feature Matching with Sparsified Graph Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant