CN117788537B - 一种基于Pointnet的飞机蒙皮点云配准方法 - Google Patents
一种基于Pointnet的飞机蒙皮点云配准方法 Download PDFInfo
- Publication number
- CN117788537B CN117788537B CN202410211213.2A CN202410211213A CN117788537B CN 117788537 B CN117788537 B CN 117788537B CN 202410211213 A CN202410211213 A CN 202410211213A CN 117788537 B CN117788537 B CN 117788537B
- Authority
- CN
- China
- Prior art keywords
- point
- point cloud
- key
- points
- registered
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 239000011159 matrix material Substances 0.000 claims abstract description 34
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 230000009466 transformation Effects 0.000 claims abstract description 16
- 239000013598 vector Substances 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 8
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 11
- 238000005516 engineering process Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000036548 skin texture Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于Pointnet的飞机蒙皮点云配准方法，包括：从飞机蒙皮表面信息获取一组源点云和一组待配准点云，并分别对两组点云涉及的关键部位进行分割，获取源点云关键部分点云和待配准关键部分点云；对具有不同结构、色彩信息和纹理信息的源点云关键部分点云和待配准关键部分点云分别进行特征提取，提取出源点云关键点和待配准关键点；利用点云的配准算法对提取的两组关键点进行粗配准和精配准，本发明在Pointnet和关键点提取的基础上，计算两组关键点之间的刚性变换矩阵，对源点云进行再配准，可以大大减少配准时的点云数量提高运算效率，又可以保留点云中的关键点信息维持精确性，解决了传统的ICP配准方式会存在计算速率慢、抗干扰能力差的问题。
Description
技术领域
本发明涉及飞机蒙皮配准技术邻域，尤其涉及一种基于Pointnet的飞机蒙皮点云配准方法。
背景技术
飞机蒙皮是飞行器制造过程中的关键步骤之一，它涉及将飞机的骨架结构覆盖和连接成一个连续的外壳。这一过程旨在提供飞机所需的气动外形，以及保护内部系统和乘员免受外部环境的影响。利用自动化柔性检测装置对飞机蒙皮表面进行缺陷检测，通过高精度的传感器和智能算法，实现对飞机表面的快速、准确检测，检测出表面缺陷如裂纹、腐蚀等，确保飞机的结构完整性和飞行安全，同时降低了维护成本和提高了操作效率。
三维扫描技术，一般可分为接触式和非接触式两种，是用于对物体表面的三维信息获取的技术，以双目立体视觉系统为例，它是利用两个相机对同一物体进行摄影，利用图像处理的特征提取算法对图像中的关键点进行检测，并对两张照片中的特征点进行匹配，最后由相机坐标系和世界坐标系的位置关系利用三角测量原理计算特征点的深度信息最终以获取三维信息。
飞机蒙皮的点云配准技术，在飞机蒙皮检测过程中，用于将两组不同角度扫描的同一部件点云合并，飞机蒙皮点云的配准技术对飞机的维护和修复，三维重建和建模，飞机蒙皮变形分析，安全评估等都起着关键作用：1.在飞机维护和修复过程中，需要获取不同时间点的飞机表面点云数据，将它们配准在一起。这有助于识别并分析不同时间点的表面变化、损伤或腐蚀，从而支持飞机的及时维护和修复工作。2.点云配准可用于生成飞机的三维模型。将不同视角或时间点的点云数据配准在一起，可以创建高精度的三维飞机模型，用于设计改进、仿真和模拟飞行等应用。3.飞机在飞行和操作过程中可能会经历各种力和温度变化，导致结构变形。点云配准可用于监测和分析飞机的偏移、变形和应力情况，以确保结构的安全性和性能稳定。4.点云配准可用于质量控制和验证飞机制造过程。将设计模型与实际制造的飞机进行配准比较，可以检测制造缺陷、偏差和误差，确保飞机的制造质量达到标准。5.飞机蒙皮点云配准有助于进行安全评估。它可以用于检测和分析飞机表面的缺陷、损伤或疲劳裂纹，从而预防潜在的安全风险并采取必要的维护措施。
关键点提取技术，关键点的筛选是降低配准点数量提升配准效率的关键。配准虽是求取两组点云的旋转变换矩阵的过程，但由于配准过程的点云数量众多，还存在一定的噪声干扰，传统的ICP配准方式会存在计算速率慢、抗干扰能力差的问题，因此，关键点提取技术也是点云配准的关键技术，对包含不同纹理信息和结构的蒙皮点云进行关键点提取，需要考虑结构、色彩、纹理等因素，以提取点云中不同于局部特征，且多次提取具有稳定性和重复性的点，为后续的配准过程减少计算量。因此，飞机蒙皮点云配准的过程仍是一个值得研究的过程。
发明内容
针对现有技术的不足，本发明提供了一种基于Pointnet的飞机蒙皮点云配准方法，解决了传统的ICP配准方式会存在计算速率慢、抗干扰能力差的问题，该方法通过深度学习算法对飞机蒙皮表面的分割数据集进行学习，利用该模型对采集到的飞机蒙皮关键部位进行分割提取，然后对该部分点云进行关键点提取，采用综合性强的关键点采样方式提取关键部分关键点，利用点云配准算法，在Pointnet和关键点提取的基础上，对两组关键部分关键点进行配准获取转换矩阵，对原始点云再配准。这种方式可以大大减少配准时的点云数量提高运算效率，又可以保留点云中的关键点信息维持精确性。
为解决上述技术问题，本发明提供了如下技术方案：一种基于Pointnet的飞机蒙皮点云配准方法，包括以下步骤：
S1、从飞机蒙皮表面信息获取一组源点云和一组待配准点云，并分别对两组点云涉及的关键部位进行分割，获取源点云关键部分点云和待配准关键部分点云；
S2、对具有不同结构、色彩信息和纹理信息的源点云关键部分点云和待配准关键部分点云分别进行特征提取，提取出源点云关键点和待配准关键点；
S3、利用点云的配准算法对提取的两组关键点进行粗配准和精配准，计算两组关键点之间的刚性变换矩阵S，利用S对源点云进行再配准。
进一步地，在步骤S1中，具体过程包括以下步骤：
S11、对飞机蒙皮表面信息从两处不同角度进行三维扫描获取一组源点云和一组待配准点云，对源点云和待配准点云具有不同特征的关键部分点云进行采集得到相应的两组点云数据，对相应的两组点云数据进行分割标定，制作相应的两组训练数据集；
S12、将两组相应的训练数据集分别输入Pointnet分割模型进行训练，对模型和相应的迭代参数进行保存，通过该模型进行分割，将标定的关键部分点云根据其得分情况分离，从而获取源点云关键部分点云和待配准关键部分点云。
进一步地，在步骤S12中，具体过程包括以下步骤：
S121、将源点云和待配准点云的训练数据集分别利用多层感知机mlp进行特征张量的升维处理，该多层感知机的结构包括一个卷积层Conv，一个归一化层Bn和一个非线性激活层Relu，Conv用于升维，Bn用于将数值归一化，同时可以加速模型的收敛，Relu减少了参数之间的依存关系；
S122、在得到最终相应的全局特征后，将每层的张量进行拼接使输入张量同时具备了全局信息和局部信息，通过多层感知机mlp进行降维，通过Log-softmax线性化处理得到的n*12的张量，包含n个点且每个点对应的12种不同部件的置信度结果，输出得分。
进一步地，在步骤S2中，具体过程包括以下步骤：
S21、利用点云的法向量和RGB色彩信息，法向量采用曲率法线估计方法，其表达公式如下：
；
从点云中随机选取一点记为P，其中c表示该点P的协方差矩阵, k表示从该点的邻域中找到k个点，Pi表示邻域中的第i个点，表示k近邻法筛选的k个点坐标值求平均后的中心点坐标；
S22、利用特征值分解求出特征值λ1，λ2，λ3和特征向量e1，e2，e3，选取特征值最小的特征向量并规范化处理作为P的法向量；
S23、对RGB色彩数值归一化处理即除以255将数值范围限制在0与1之间；
S24、然后利用法向量和RGB色彩信息提取关键点，具体公式如下：
；
；
其中δ表示点P的关键点置信系数，m表示该点邻域中的m个点，Nx，Ny，Nz表示该点P的法向量信息，，/>，/>表示该点的m个邻域点中第i个邻域点Pi 的法向量信息，R，G，B表示该点P处的色彩信息，/>，/>，/>表示该点的m个邻域点中第i个邻域点Pi的色彩信息；/>表示确认为关键点的置信系数的下限值，这里选择平均值：
；
其中n表示所有点的个数，，/>，/>表示n个点中第j个点的法向量信息，/>，/>，/>则为第j个点的色彩信息；
S25、通过法向量和RGB色彩信息对关键点进行筛选，分别获取源点云关键点和待配准关键点。
进一步地，在步骤S2中，针对不包含色彩变化的所述源点云关键部分点云和待配准关键部分点云还可以添加点密度提取方式，在球域的范围内对点的数量进行计数，大于一定数量则该点视为处于纹理信息丰富处的关键点，其具体公式如下：
；
；
其中，表示点密度提取方式下点P的关键点置信系数，/>表示确认为关键点的置信系数下限值，/>表示该点所在球域中点的个数，/>表示所有数目中的最大值，如果没有出现色彩信息可将RGB色彩的部分进行省略；其中，/>表示如下：
。
进一步地，在步骤S21中获取所述法向量信息时，邻近点的获取方式采用k近邻法寻找最邻近的k个点，在步骤S24中对关键点进行筛选则是采用球查询的方式，在规定半径范围内寻找m个邻近点，如果数量不够则对最近点进行复制以满足需要。
进一步地，在步骤S3中，所述利用点云的配准算法对提取的两组关键点进行粗配准，具体包括：先对提取的两组关键点随机各采样三个点，对这三个点的要求距离适当，利用FPFH作为描述子利用KD树加速搜索最邻近点，当找到相应点后利用两组点的协方差矩阵进行SVD分解，获取旋转矩阵R和平移矩阵T，在这个基础上设置相应的迭代次数，从而获取粗配准变换矩阵。
进一步地，在步骤S3中，所述精配准具体包括：利用KD树加速搜索最邻近点，它通过迭代逐步调整源点云关键点的位置，使其与目标待配准关键点对齐，在每次迭代中，通过匹配距离阈值筛选出对应的点对，计算其刚性变换矩阵S，利用S调整源点云的位置。
借由上述技术方案，本发明提供了一种基于Pointnet的飞机蒙皮点云配准方法，至少具备以下有益效果：
本发明针对飞机蒙皮不同部位的点云数据进行配准的预处理，该方法通过深度学习算法对飞机蒙皮表面的分割数据集进行学习，利用该模型对采集到的飞机蒙皮关键部位进行分割提取，然后对该部分点云进行关键点提取，采用综合性强的特征点采样方式提取关键点，保存了点云数据中的关键点信息，降低了点云配准的计算数据量，在Pointnet和关键点提取的基础上，利用点云配准算法，对两组关键部分关键点进行配准获取转换矩阵，对原始点云再配准，这种方式可以大大减少配准时的点云数量，不仅提升了配准过程转换矩阵的计算速率，运算速度快，又可以保留点云中的关键点信息维持精确性，配准精度高，解决了传统的ICP配准方式会存在计算速率慢、抗干扰能力差的问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明提供的一种基于Pointnet的飞机蒙皮点云配准方法流程图；
图2为本发明原始飞机蒙皮示意图；
图3为本发明通过立体视觉系统采样获取的飞机蒙皮点云示意图；
图4为本发明飞机蒙皮源点云和待配准点云示意图；
图5为本发明利用Pointnet算法进行分割获取的关键部分点云示意图；
图6为本发明对两组分割完成的点云分别提取源点云关键部分点云和待配准关键部分点云的示意图；
图7为本发明为关键点提取后的点云示意图；
图8为本发明粗配准示意图；
图9为本发明精配准示意图；
图10为本发明源点云的配准示意图；
图11为本发明Pointnet分割模型结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图 和具体实施方式对本发明作进一步详细的说明。借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
本邻域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
请参照图1-图11，示出了本实施例的一种具体实施方式，本实施例先利用三维扫描仪对飞机蒙皮点云如图2所示进行采样处理，这里使用立体视觉系统采样，采集到的点云如图3所示，对训练数据集在Python环境中利用Pointnet分割模型如图11所示，进行GPU加速训练保存训练完成的模型权重文件，从不同角度获取一组源点云和一组待配准点云如图4所示，将点云利用Pointnet算法进行分割获取关键部分点云如图5所示，对两组分割完成的点云分别提取源点云关键部分点云和待配准关键部分点云如图6所示，利用关键点提取，提取出源点云关键点和待配准关键点如图7所示，并完成粗配准如图8所示，精配准如图9所示，最终利用刚性变换矩阵S实现对源点云的配准如图10所示；上述附图均采用法向量信息和点密度信息的方式提取，图2的点云是从MATLAB环境下打开的三维扫描点云信息，后续的点云方便对比用CloudCompare软件打开，对源点云和待配准的目标点云用不同色彩标出；通过深度学习算法对飞机蒙皮表面的分割数据集进行学习，利用该模型对采集到的飞机蒙皮关键部位进行分割提取，然后对该部分点云进行关键点提取，采用综合性强的关键点采样方式提取关键点，利用点云配准算法，在Pointnet和关键点提取的基础上，对两组关键点进行配准获取刚性变换矩阵S，利用S对对源点云再配准。这种方式可以大大减少配准时的点云数量提高运算效率，又可以保留点云中的关键点信息维持精确性。
请参照图1，本实施例提出了一种基于Pointnet的飞机蒙皮点云配准方法，该方法包括以下步骤：
S1、从飞机蒙皮表面信息获取一组源点云和一组待配准点云，并分别对两组点云涉及的关键部位进行分割，获取源点云关键部分点云和待配准关键部分点云；
作为步骤S1的优选实施方式，具体过程包括以下步骤：
S11、对飞机蒙皮表面信息从两处不同角度进行三维扫描获取一组源点云和一组待配准点云，对源点云和待配准点云具有不同特征的关键部分点云进行采集得到相应的两组点云数据，对相应的两组点云数据进行分割标定，制作相应的两组训练数据集；
S12、将两组相应的训练数据集分别输入Pointnet分割模型进行训练，对模型和相应的迭代参数进行保存，通过该模型进行分割，将标定的关键部分点云根据其得分情况分离，这里的关键部位是在飞机蒙皮上挑选出的具有不同于其他地方蒙皮纹理或结构特征的部位，在Pointnet算法学习特征的过程中可以避免学习到相同的特征。此外这部分点云数据纹理信息丰富，一定程度上该部分点云的特征可以代替整体点云的特征。在关键点提取的过程中也更倾向于提取该部分的关键点，从而获取源点云关键部分点云和待配准关键部分点云。
在步骤S12中，具体过程包括以下步骤：
S121、将源点云和待配准点云的训练数据集分别利用多层感知机mlp进行特征张量的升维处理，目的是避免在最大池化过程中丢失太多点云的特征信息，该多层感知机的结构包括一个卷积层Conv，一个归一化层Bn和一个非线性激活层Relu，Conv用于升维，Bn用于将数值归一化，同时可以加速模型的收敛，Relu减少了参数之间的依存关系；
S122、在得到最终相应的全局特征后，将每层的张量进行拼接使输入张量同时具备了全局信息和局部信息，通过多层感知机mlp进行降维，通过Log-softmax线性化处理得到的n*12的张量，包含n个点且每个点对应的12种不同部件的置信度结果，输出得分, 将标定的关键部分点云根据其得分情况分离，分别获取源点云关键部分点云和待配准关键部分点云；这就是Pointnet的具体分割过程，利用该模型不断地迭代权重参数更换参数值优化模型可以获得很好的分割效果。
S2、对具有不同结构、色彩信息和纹理信息的源点云关键部分点云和待配准关键部分点云分别进行特征提取，提取出具有稳定性，重复性且局部信息丰富的源点云关键点和待配准关键点；关键点提取技术也是点云配准的关键技术，对包含不同纹理信息和结构的蒙皮点云进行关键点提取，需要考虑结构、色彩、纹理等因素，以提取点云中不同于局部特征，且多次提取具有稳定性和重复性的点，为后续的配准过程减少计算量
作为步骤S2的优选实施方式，所述步骤二的特征提取，针对飞机蒙皮表面具有的不同结构信息和纹理信息的提取，具体过程包括以下步骤：
S21、利用点云的法向量和RGB色彩信息，法向量采用曲率法线估计方法，其表达公式如下：
；
从点云中随机选取一点记为P，其中c表示该点P的协方差矩阵, k表示从该点的邻域中找到k个点，Pi表示邻域中的第i个点，表示k近邻法筛选的k个点坐标值求平均后的中心点坐标；
更为具体的是，在步骤S21中获取所述法向量信息时，邻近点的获取方式采用k近邻法寻找最邻近的k个点；
S22、利用特征值分解求出特征值λ1，λ2，λ3和特征向量e1，e2，e3，选取特征值最小的特征向量并规范化处理作为P的法向量；
S23、对RGB色彩数值归一化处理即除以255将数值范围限制在0与1之间；
S24、然后利用法向量和RGB色彩信息提取关键点，具体公式如下：
；
；
其中δ表示点P的关键点置信系数，m表示该点邻域中的m个点，Nx，Ny，Nz表示该点P的法向量信息，，/>，/>表示该点的m个邻域点中第i个邻域点Pi 的法向量信息，R，G，B表示该点P处的色彩信息，/>，/>，/>表示该点的m个邻域点中第i个邻域点Pi的色彩信息；/>表示确认为关键点的置信系数的下限值，这里选择平均值：
；
其中n表示所有点的个数，，/>，/>表示n个点中第j个点的法向量信息，/>，/>，/>则为第j个点的色彩信息；
更为具体的是，在步骤S24中对关键点进行筛选则是采用球查询的方式，在规定半径范围内寻找m个邻近点，如果数量不够则对最近点进行复制以满足需要。
S25、通过法向量和RGB色彩信息对关键点进行筛选，分别获取源点云关键点和待配准关键点。该方式的特别之处在于可以将飞机蒙皮上纹理信息丰富和结构特征明显的点提取出来，针对纹理信息和结构特征不明显的部分可以在三维扫描之前利用投影的方式添加色彩信息。
在步骤S2中，针对不包含色彩变化的所述源点云关键部分点云和待配准关键部分点云还可以添加点密度提取方式，对点云密度不均匀的点集如立体视觉系统采集点云时使用SURF或SIFT算法提取的点云，这部分点云的特征是由于相关图像处理时的特征提取算法在关键点检测边缘检测过程中提取到关键点的位置引起的变化。纹理越丰富点数越多，对于这种点云密度不均匀的点集利用基于点密度的提取方式具有较好的效果。
这种关键点提取方式是在球域的范围内对点的数量进行计数，大于一定数量则该点视为处于纹理信息丰富处的关键点，其具体公式如下：
；
；
其中，表示点密度提取方式下点P的关键点置信系数，/>表示确认为关键点的置信系数下限值，/>表示该点所在球域中点的个数，/>表示所有数目中的最大值，如果没有出现色彩信息可将RGB色彩的部分进行省略；其中，/>表示如下：
。
S3、利用点云的配准算法对提取的两组关键点进行粗配准和精配准，计算两组关键点之间的刚性变换矩阵S，利用S对源点云进行再配准。
作为步骤S3的优选实施方式，在步骤S3中，所述利用点云的配准算法对提取的两组关键点进行粗配准，具体包括：对提取后的两组点云数据关键点利用RANSAC算法进行粗配准计算，计算出大致的旋转变换矩阵，先对提取的两组关键点随机各采样三个点，对这三个点的要求距离适当，利用FPFH作为描述子利用KD树加速搜索最邻近点，当找到相应点后利用两组点的协方差矩阵进行SVD分解，获取旋转矩阵R和平移矩阵T，在这个基础上设置相应的迭代次数，从而获取粗配准变换矩阵。
更为具体的是，所述精配准具体包括：再对计算后的配准点云利用ICP算法进行精配准计算，利用KD树加速搜索最邻近点，它通过迭代逐步调整源点云关键点的位置，使其与目标待配准关键点对齐，在每次迭代中，通过匹配距离阈值筛选出对应的点对，计算其刚性变换矩阵S（旋转矩阵和平移向量），利用S调整源点云的位置。
SVD分解计算刚性变换矩阵具体公式如下：；
其中U为左奇异向量包含源点云之间的相关性信息，V为右奇异向量包含待配准点云之间的相关性信息二者是正交矩阵，Σ为对角矩阵反映了两点云之间的尺度差异。
协方差矩阵A具体计算如下：
；
；
设源点云和待配准点云点数为N，其中i和j分别代表源点云和待配准点云的坐标维度， k代表坐标数取值从1到N，E1…Ek表示源点云坐标，表示源点云中心点坐标，F1…Fk表示待配准点云坐标，/>表示待配准点云中心点坐标。
旋转矩阵R和平移矩阵T的计算如下：
；
；
最终得到刚性变换矩阵S：
；
与传统的ICP配准方法相比，本发明针对飞机蒙皮不同部位的点云数据进行配准的预处理，该方法通过深度学习算法对飞机蒙皮表面的分割数据集进行学习，利用该模型对采集到的飞机蒙皮关键部位进行分割提取，然后对该部分点云进行关键点提取，采用综合性强的特征点采样方式提取关键点，保存了点云数据中的关键点信息，降低了点云配准的计算数据量，在Pointnet和关键点提取的基础上，利用点云配准算法，对两组关键部分关键点进行配准获取转换矩阵，对原始点云再配准，这种方式可以大大减少配准时的点云数量，不仅提升了配准过程转换矩阵的计算速率，运算速度快，又可以保留点云中的关键点信息维持精确性，配准精度高，解决了传统的ICP配准方式会存在计算速率慢、抗干扰能力差的问题。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本邻域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。
以上实施方式对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本邻域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (7)
1.一种基于Pointnet的飞机蒙皮点云配准方法，其特征在于，包括以下步骤：
S1、从飞机蒙皮表面信息获取一组源点云和一组待配准点云，并分别对两组点云涉及的关键部位进行分割，获取源点云关键部分点云和待配准关键部分点云；
S2、对具有不同结构、色彩信息和纹理信息的源点云关键部分点云和待配准关键部分点云分别进行特征提取，提取出源点云关键点和待配准关键点；
具体过程包括以下步骤：
S21、利用点云的法向量和RGB色彩信息，法向量采用曲率法线估计方法，其表达公式如下：
；
从点云中随机选取一点记为P，其中c表示该点P的协方差矩阵，k表示从该点的邻域中找到k个点，Pi表示邻域中的第i个点，表示k近邻法筛选的k个点坐标值求平均后的中心点坐标；
S22、利用特征值分解求出特征值λ1，λ2，λ3和特征向量e1，e2，e3，选取特征值最小的特征向量并规范化处理作为P的法向量；
S23、对RGB色彩数值归一化处理即除以255将数值范围限制在0与1之间；
S24、然后利用法向量和RGB色彩信息提取关键点，具体公式如下：
；
；
其中δ表示点P的关键点置信系数，m表示该点邻域中的m个点，Nx，Ny，Nz表示该点P的法向量信息，，/>，/>表示该点的m个邻域点中第i个邻域点Pi 的法向量信息，R，G，B表示该点P处的色彩信息，/>，/>，/>表示该点的m个邻域点中第i个邻域点Pi的色彩信息；表示确认为关键点的置信系数的下限值，这里选择平均值：
；
其中n表示所有点的个数，，/>，/>表示n个点中第j个点的法向量信息，/>，/>，则为第j个点的色彩信息；
S25、通过法向量和RGB色彩信息对关键点进行筛选，分别获取源点云关键点和待配准关键点；
S3、利用点云的配准算法对提取的两组关键点进行粗配准和精配准，计算两组关键点之间的刚性变换矩阵S，利用S对源点云进行再配准。
2.根据权利要求1所述的一种基于Pointnet的飞机蒙皮点云配准方法，其特征在于：在步骤S1中，具体过程包括以下步骤：
S11、对飞机蒙皮表面信息从两处不同角度进行三维扫描获取一组源点云和一组待配准点云，对源点云和待配准点云具有不同特征的关键部分点云进行采集得到相应的两组点云数据，对相应的两组点云数据进行分割标定，制作相应的两组训练数据集；
S12、将两组相应的训练数据集分别输入Pointnet分割模型进行训练，对模型和相应的迭代参数进行保存，通过该模型进行分割，将标定的关键部分点云根据其得分情况分离，从而获取源点云关键部分点云和待配准关键部分点云。
3.根据权利要求2所述的一种基于Pointnet的飞机蒙皮点云配准方法，其特征在于：在步骤S12中，具体过程包括以下步骤：
S121、将源点云和待配准点云的训练数据集分别利用多层感知机mlp进行特征张量的升维处理，该多层感知机的结构包括一个卷积层Conv，一个归一化层Bn和一个非线性激活层Relu，Conv用于升维，Bn用于将数值归一化，同时可以加速模型的收敛，Relu减少了参数之间的依存关系；
S122、在得到最终相应的全局特征后，将每层的张量进行拼接使输入张量同时具备了全局信息和局部信息，通过多层感知机mlp进行降维，通过Log-softmax线性化处理得到的n*12的张量，包含n个点且每个点对应的12种不同部件的置信度结果，输出得分。
4.根据权利要求1所述的一种基于Pointnet的飞机蒙皮点云配准方法，其特征在于：在步骤S2中，针对不包含色彩变化的所述源点云关键部分点云和待配准关键部分点云还可以添加点密度提取方式，在球域的范围内对点的数量进行计数，大于一定数量则该点视为处于纹理信息丰富处的关键点，其具体公式如下：
；
；
其中，表示点密度提取方式下点P的关键点置信系数，/>表示确认为关键点的置信系数下限值，/>表示该点所在球域中点的个数/>表示所有数目中的最大值，如果没有出现色彩信息可将RGB色彩的部分进行省略；其中，/>表示如下：
。
5.根据权利要求1所述的一种基于Pointnet的飞机蒙皮点云配准方法，其特征在于：在步骤S21中获取所述法向量信息时，邻近点的获取方式采用k近邻法寻找最邻近的k个点，在步骤S24中对关键点进行筛选则是采用球查询的方式，在规定半径范围内寻找m个邻近点，如果数量不够则对最近点进行复制以满足需要。
6.根据权利要求1所述的一种基于Pointnet的飞机蒙皮点云配准方法，其特征在于：在步骤S3中，所述利用点云的配准算法对提取的两组关键点进行粗配准，具体包括：先对提取的两组关键点随机各采样三个点，对这三个点的要求距离适当，利用FPFH作为描述子利用KD树加速搜索最邻近点，当找到相应点后利用两组点的协方差矩阵进行SVD分解，获取旋转矩阵R和平移矩阵T，在这个基础上设置相应的迭代次数，从而获取粗配准变换矩阵。
7.根据权利要求1所述的一种基于Pointnet的飞机蒙皮点云配准方法，其特征在于：在步骤S3中，所述精配准具体包括：利用KD树加速搜索最邻近点，它通过迭代逐步调整源点云关键点的位置，使其与目标待配准关键点对齐，在每次迭代中，通过匹配距离阈值筛选出对应的点对，计算其刚性变换矩阵S，利用S调整源点云的位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410211213.2A CN117788537B (zh) | 2024-02-27 | 2024-02-27 | 一种基于Pointnet的飞机蒙皮点云配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410211213.2A CN117788537B (zh) | 2024-02-27 | 2024-02-27 | 一种基于Pointnet的飞机蒙皮点云配准方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117788537A CN117788537A (zh) | 2024-03-29 |
| CN117788537B true CN117788537B (zh) | 2024-04-26 |
Family
ID=90402174
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410211213.2A Active CN117788537B (zh) | 2024-02-27 | 2024-02-27 | 一种基于Pointnet的飞机蒙皮点云配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117788537B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109767463A (zh) * | 2019-01-09 | 2019-05-17 | 重庆理工大学 | 一种三维点云自动配准方法 |
| CN112802070A (zh) * | 2021-01-06 | 2021-05-14 | 南京航空航天大学 | 一种基于多描述子投票的飞机蒙皮局部点云定位方法 |
| CN116503452A (zh) * | 2023-04-28 | 2023-07-28 | 南通大学 | 一种基于sift特征提取的点云配准方法 |
| CN116541638A (zh) * | 2023-06-30 | 2023-08-04 | 南京航空航天大学 | 一种基于张量投票的飞机蒙皮修配加工路径计算方法 |
| CN116664889A (zh) * | 2023-04-28 | 2023-08-29 | 沈阳航空航天大学 | 飞机口盖类蒙皮修配余量确定方法 |
| CN116758126A (zh) * | 2023-06-28 | 2023-09-15 | 南通大学 | 一种基于相似三角形的误匹配剔除的快速点云配准方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3457357B1 (en) * | 2017-09-13 | 2021-07-07 | Tata Consultancy Services Limited | Methods and systems for surface fitting based change detection in 3d point-cloud |
-
2024
- 2024-02-27 CN CN202410211213.2A patent/CN117788537B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109767463A (zh) * | 2019-01-09 | 2019-05-17 | 重庆理工大学 | 一种三维点云自动配准方法 |
| CN112802070A (zh) * | 2021-01-06 | 2021-05-14 | 南京航空航天大学 | 一种基于多描述子投票的飞机蒙皮局部点云定位方法 |
| CN116503452A (zh) * | 2023-04-28 | 2023-07-28 | 南通大学 | 一种基于sift特征提取的点云配准方法 |
| CN116664889A (zh) * | 2023-04-28 | 2023-08-29 | 沈阳航空航天大学 | 飞机口盖类蒙皮修配余量确定方法 |
| CN116758126A (zh) * | 2023-06-28 | 2023-09-15 | 南通大学 | 一种基于相似三角形的误匹配剔除的快速点云配准方法 |
| CN116541638A (zh) * | 2023-06-30 | 2023-08-04 | 南京航空航天大学 | 一种基于张量投票的飞机蒙皮修配加工路径计算方法 |
Non-Patent Citations (3)
| Title |
|---|
| 一种利用关键点提取的改进ICP三维彩色点云场景配准方法;杨永涛;黄国言;吴培良;;小型微型计算机系统;20170915(第09期);全文 * |
| 基于关键点特征匹配的点云配准方法;陆军;邵红旭;王伟;范哲君;夏桂华;;北京理工大学学报;20200415(第04期);全文 * |
| 子图匹配和强化学习增强的三维点云配准;张义等;《计算机辅助设计与图形学学报》;20240124;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117788537A (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109887015B (zh) | 一种基于局部曲面特征直方图的点云自动配准方法 | |
| CN108376408A (zh) | 一种基于曲率特征的三维点云数据快速加权配准方法 | |
| CN109003275B (zh) | 焊缝缺陷图像的分割方法 | |
| CN109458994B (zh) | 一种空间非合作目标激光点云icp位姿匹配正确性判别方法及系统 | |
| CN106023257A (zh) | 一种基于旋翼无人机平台的目标跟踪方法 | |
| CN110211129B (zh) | 基于区域分割的低覆盖点云配准算法 | |
| CN111145228A (zh) | 基于局部轮廓点与形状特征融合的异源图像配准方法 | |
| CN106709943B (zh) | 一种基于最优传输的点云配准方法 | |
| CN110443881B (zh) | 桥面形态变化识别桥梁结构损伤的cnn-grnn方法 | |
| CN112288758B (zh) | 一种电力设备红外与可见光图像配准方法 | |
| CN109241901A (zh) | 一种对具有孔洞的三维点云的检测与识别方法 | |
| CN114119922A (zh) | 基于点云三维重构的复杂轮廓缺陷校验方法 | |
| CN111126494A (zh) | 基于各向异性卷积的图像分类方法及系统 | |
| CN110766657A (zh) | 一种激光干扰图像质量评价方法 | |
| CN110942077B (zh) | 基于权重局部变化度和l1中值优化的特征线提取方法 | |
| CN111815681A (zh) | 基于深度学习和判别式模型训练的目标跟踪方法及存储器 | |
| CN115439839A (zh) | 基于点云数据的多类型结构面分层识别方法 | |
| CN112364881A (zh) | 一种进阶采样一致性图像匹配算法 | |
| CN117788537B (zh) | 一种基于Pointnet的飞机蒙皮点云配准方法 | |
| CN116051808A (zh) | 一种基于YOLOv5的轻量化零件识别定位方法 | |
| CN115049842B (zh) | 一种飞机蒙皮图像损伤检测与2d-3d定位方法 | |
| CN116542912A (zh) | 一种多目标视觉跟踪的柔性体桥梁振动检测模型、应用 | |
| Chen et al. | An application of improved RANSAC algorithm in visual positioning | |
| CN113177969B (zh) | 一种基于运动方向变化的候选种子的点云单目标跟踪方法 | |
| CN113316080B (zh) | 基于Wi-Fi与图像融合指纹的室内定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |