CN115049842A - 一种飞机蒙皮图像损伤检测与2d-3d定位方法 - Google Patents

一种飞机蒙皮图像损伤检测与2d-3d定位方法 Download PDF

Info

Publication number
CN115049842A
CN115049842A CN202210677801.6A CN202210677801A CN115049842A CN 115049842 A CN115049842 A CN 115049842A CN 202210677801 A CN202210677801 A CN 202210677801A CN 115049842 A CN115049842 A CN 115049842A
Authority
CN
China
Prior art keywords
image
damage
point cloud
feature
aircraft skin
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210677801.6A
Other languages
English (en)
Other versions
CN115049842B (zh
Inventor
魏明强
马梦姣
魏泽勇
汪俊
燕雪峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Research Institute Of Nanjing University Of Aeronautics And Astronautics
Original Assignee
Shenzhen Research Institute Of Nanjing University Of Aeronautics And Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Research Institute Of Nanjing University Of Aeronautics And Astronautics filed Critical Shenzhen Research Institute Of Nanjing University Of Aeronautics And Astronautics
Priority to CN202210677801.6A priority Critical patent/CN115049842B/zh
Publication of CN115049842A publication Critical patent/CN115049842A/zh
Application granted granted Critical
Publication of CN115049842B publication Critical patent/CN115049842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种飞机蒙皮图像损伤检测与2D‑3D定位方法，包括以下步骤：（1）采集飞机外表面图像，对样本数据进行预处理，构建数据样本集；（2）基于Transformer的蒙皮图像损伤检测；（3）基于Triplet网络的损伤图像和点云关键点描述子联合学习；（4）损伤图像和点云关键点对应权重系数评价与2D‑3D定位。本发明改进Transformer中的自注意力机制，进行图像损伤检测；设计Triplet网络将损伤图像和点云映射到同一特征空间中，联合学习损伤图像和点云关键点描述子，进行2D‑3D定位。

Description

一种飞机蒙皮图像损伤检测与2D-3D定位方法
技术领域
本发明涉及飞机损伤检测技术领域，特别涉及一种飞机蒙皮图像损伤检测与2D-3D定位 方法。
背景技术
撞击损伤、裂纹损伤、腐蚀损伤这三大类蒙皮损伤会使大型飞机蒙皮结构强度严重下降， 在高空高速飞行过程中极易致使蒙皮撕裂，影响飞行安全。因此，蒙皮损伤检测是大型飞机 维护中的重要环节。大型飞机外形蒙皮损伤数据较少，目标语义信息不丰富，即存在对比度 低、边缘模糊及尺寸较小损伤目标，易受正常零部件、喷漆图案干扰。如何改进Transformer 中的自注意力机制，使卷积网络充分学习损伤数据集中的特征信息，降低误检和漏检概率是 关键。另外，以往的技术只检出损伤却无法进行定位，如何实现损伤区域到点云的自动定位 功能，弥补以往相关技术的缺陷，为大型飞机外形蒙皮损伤检测提供定位依据是本发明的突 破技术。
针对大型飞机外形蒙皮损伤数据较少，目标语义信息不丰富，即存在大量对比度低、边 缘模糊及尺寸较小损伤目标，导致误检和漏检情况严重的问题，本项目将改进Transformer 中的自注意力机制，通过不同的特征交互模块，采取结合全局位置信息和多尺度上下文信息 的特征交互方式，使卷积网络充分学习损伤数据集中的特征信息，更好地适应大型飞机外形 损伤检测任务。另外，以往的方法只检出损伤却无法进行定位，无法按照飞机结构维修手册 要求判定损伤程度，本发明将提出基于关键点特征对应机制的损伤图像和点云数据关键点联 合学习网络，实现损伤区域到点云的自动定位功能，弥补以往相关技术的缺陷，为大型飞机 外形蒙皮损伤检测提供定位依据。
发明内容
本发明针对现有技术中的不足，提供一种飞机蒙皮图像损伤检测与2D-3D定位方法；以 对飞机蒙皮损伤进行检测，降低误检和漏检概率；同时，还为大型飞机外形蒙皮损伤检测提 供定位，以及时确定损伤位置。
为实现上述目的，本发明采用以下技术方案：
一种飞机蒙皮图像损伤检测与2D-3D定位方法，包括以下步骤：
S1：采集飞机外表面图像得到样本数据，通过预处理构建数据样本集；
S2：基于Transformer对数据样本集进行蒙皮图像损伤检测；
S3：采集飞机的损伤图像和点云数据，基于Triplet网络对损伤图像和点云关键点描述 子联合学习，确定损伤图像所匹配的点云关键点；
S4：确定损伤图像以及所匹配的点云关键点的权重，完成飞机蒙皮损伤的2D-3D定位。
为优化上述技术方案，采取的具体措施还包括：
进一步地，步骤S1的具体内容为：
S1.1：利用成像设备对飞机蒙皮图像进行采集，得到样本数据；
S1.2：对样本数据进行筛选、裁剪、统一尺寸、目标标注和数据增广的预处理得到数据 集；
S1.3：根据步骤S1.2的数据集，构建用于实验的数据样本集：图像标注数据集。
进一步地，步骤S2的具体内容为：
S2.1：输入图像标注数据集，经过编码结构得到多个不同尺度的特征图；
S2.2：将各个特征图输入到Transformer模块中，按照不同的特征交互模块设置，进而 Transformer模块将输入的特征图分为查询图Q、键值图K、值图V三个部分；
S2.3：在Transformer模块中，获取查询图Q中的每个像素qi、键值图K中的每个像素kj， 并计算每个像素qi与每个像素kj之间的相关性；即qi∈Q与kj∈K之间的相关性 si，j＝Fsim(qi，kj)；
S2.4：使用归一化函数，得到相关性si，j＝Fsim(qi，kj)所对应的权重wi，j＝Fnorm(si，j)；
S2.5：对值图V中的每个像素vj依据wi，j进行加权操作，得到各个特征图融合结果
Figure BDA0003696915860000021
以通过该融合结果判断检测蒙皮图像的损伤状况。
进一步地，步骤S3的具体内容为：
S3.1：采集飞机损伤图像和点云数据；使用2D尺度不变特征变换算子SIFT和3D内部 形态描述子ISS分别对损伤图像和点云提取一组关键点，形成关键局部块；
S3.2：将关键局部块表示为三元组
Figure BDA0003696915860000022
即损伤图像的锚点图像块
Figure BDA0003696915860000023
以及点云局 部块xM的正例
Figure BDA0003696915860000024
和负例
Figure BDA0003696915860000025
作为Triplet网络输入；
S3.3：Triplet网络的一个分支学习损伤图像的特征点描述子
Figure BDA0003696915860000026
即，将图 像小块xI映射到描述符p，其中该特征描述子为2D；
S3.4：Triplet网络的另外两个分支采用同样权重，学习点云的特征点描述子F(xM；θM)：xM→q；即，将点云局部块xM映射到描述符q；其中，对于点云局部块xM的正 例
Figure BDA0003696915860000031
有
Figure BDA0003696915860000032
对于点云局部块xM的负例
Figure BDA0003696915860000033
有
Figure BDA0003696915860000034
且均为3D的特征描述子；
S3.5：定义锚点
Figure BDA0003696915860000035
和正例
Figure BDA0003696915860000036
匹配对之间的相似距离dpos，以及锚点
Figure BDA0003696915860000037
和负例
Figure BDA0003696915860000038
非匹配对 之间的相似距离dneg；
S3.6：根据相似距离dpos和相似距离dneg计算特征向量之间的欧式距离d，并根据欧式距 离d计算每对2D-3D特征描述子之间的相关性度量矩阵，按照相关性度量对每个关键点的特 征点进行排序；
S3.7：选取前k个点云关键点作为匹配对。
进一步地，步骤S3.5中的具体内容为：
定义锚点
Figure BDA0003696915860000039
和正例
Figure BDA00036969158600000310
匹配对之间的相似距离dpos：
Figure BDA00036969158600000311
定义锚点
Figure BDA00036969158600000312
和负例
Figure BDA00036969158600000313
非匹配对之间的相似距离dneg：
Figure BDA00036969158600000314
并对相似距离dpos和相似距离dneg使用加权soft margin损失函数。
进一步地，步骤S3.6中“根据相似距离dpos和相似距离dneg计算特征向量之间的欧式距 离d”的具体计算公式为：
d＝dpos-dneg。
进一步地，S4.1：使用残差网络对损伤图像和点云关键点匹配对的匹配程度赋予评价权 重；S4.2：估计相机位姿投影矩阵，并根据S4.1中损伤图像与点云关键点匹配对的评价权重， 完成飞机蒙皮损伤的2D-3D的定位。
本发明的有益效果是：
本发明提出了基于Transformer与Triplet网络的大型飞机蒙皮图像损伤检测与2D-3D定 位技术，优点在于通过改进Transformer中的自注意力机制，通过不同的特征交互模块，结合 全局位置信息和多尺度上下文信息进行特征交互，进行图像损伤检测；同时设计Triplet网络 将损伤图像和点云映射到同一特征空间中，联合学习损伤图像和点云关键点描述子，进行 2D-3D定位。
通过本申请的方式以对飞机蒙皮损伤进行检测，降低误检和漏检概率；同时，还为大型 飞机外形蒙皮损伤检测提供定位，以及时确定损伤位置。
附图说明
图1是本发明整体方案的结构流程示意图。
图2是本发明基于Transformer的飞机蒙皮图像损伤检测网络结构示意图。
图3是本发明基于Triplet网络的损伤图像和点云关键点描述子联合学习网络结构示意 图。
具体实施方式
本申请的主要技术方案如下：
一种飞机蒙皮图像损伤检测与2D-3D定位方法(基于Transformer与Triplet网络的大型飞 机蒙皮图像损伤检测与2D-3D定位方法)，其特征在于，包括以下步骤：
(1)采集飞机外表面图像，对样本数据进行预处理，构建数据样本集；
(2)基于Transformer的蒙皮图像损伤检测；
(3)基于Triplet网络的损伤图像和点云关键点描述子联合学习；
(4)损伤图像和点云关键点对应权重系数评价与2D-3D定位。
进一步，步骤(1)采集飞机外表面图像，对样本数据进行预处理，构建数据样本集包括：
(1.1)利用多种成像设备对大型飞机蒙皮图像进行采集，例如，采用无人机装配高清相 机进行采集；
(1.2)对采集到的样本数据进行图像筛选、裁剪、统一尺寸、目标标注和数据增广等一 系列预处理操作，为样本制作标签得到所需的数据集；
(1.3)根据(1.2)的数据集，构建用于实验的图像标注数据集。
进一步，步骤(2)基于Transformer的蒙皮图像损伤检测包括：
(2.1)输入带有标注的图像数据集，经过编码结构得到多个不同尺度的特征图；
(2.2)将(2.1)中的特征图输入到Transformer模块，按照不同的交互模块设置，Transformer模块将输入特征图分为查询图Q、键值图K、值图V三个部分；
(2.3)在Transformer模块中，计算出查询图Q与键值图K中每个像素，即qi∈Q与kj∈K 之间的相关性si，j＝Fsim(qi，kj)；
(2.4)使用归一化函数，得到对应的权重wi，j＝Fnorm(si，j)；
(2.5)对值图V中的每个像素vj依据wi，j进行加权操作，得到特征图融合结果
Figure BDA0003696915860000051
(特征图融合指的是融合多个不同尺度的特征图，增加更多空间与尺度上 的全局信息，特征图融合结果中包含丰富的上下文信息，目的是帮助模型学习到更加准确的 损伤特征。得到特征融合图后，通过全连接层回归分割结果，对分割结果中的损伤情况进行 分类，实现撞击损伤、裂纹损伤、腐蚀损伤3类蒙皮表面损伤的检测)。
进一步，步骤(3)基于Triplet网络的损伤图像和点云关键点描述子联合学习包括：
(3.1)使用2D尺度不变特征变换算子SIFT(Scale-invariant FeatureTransform)和3D 内部形态描述子ISS(Intrinsic Shape Signatures)分别对损伤图像和点云提取一组关键点；
(3.2)将(3.1)中的关键局部块作为Triplet网络输入(表示为三元组
Figure BDA0003696915860000052
也 就是损伤图像的锚点图像块
Figure BDA0003696915860000053
以及点云局部块的正例
Figure BDA0003696915860000054
和负例
Figure BDA0003696915860000055
一起被送到网络中)；
(3.3)Triplet网络的一个分支学习损伤图像特征点描述子
Figure BDA0003696915860000056
将图像小 块xI映射到描述符p。图像描述符函数
Figure BDA0003696915860000057
设计为VGG卷积网络后接完全连接层，提取 图像小块关键点描述子；
(3.4)Triplet网络的另外两个分支共享权重，学习点云特征点描述子F(xM；θM)：xM→q， 将点云局部小块xM映射到其描述符q(θI和θM是网络权重)。点云特征点描述子函数F(xM；θM) 设计为PointNet网络来提取点云局部小块描述子；
(3.5)对锚点
Figure BDA0003696915860000058
和正例
Figure BDA0003696915860000059
匹配对之间的相似距离，和锚点
Figure BDA00036969158600000510
和负例
Figure BDA00036969158600000511
非匹配对之间的 相似距离使用加权soft margin损失函数；
(3.6)根据特征向量之间的欧氏距离，计算每对2D-3D特征描述子之间的相关性度量矩 阵，按照相关性度量对每个图像关键点的特征点进行排序；
(3.7)选取前k个最近的点云关键点作为匹配对。
进一步，步骤(4)损伤图像和点云关键点对应权重系数评价与2D-3D定位包括：
(4.1)使用残差神经网络对损伤图像和点云关键点匹配对的匹配程度赋予评价权重；
(4.2)估计相机位姿投影矩阵，完成大型飞机蒙皮损伤2D-3D定位。
结合附图，对整体技术方案作进一步补充说明：
结合图1，本发明提及基于Transformer与Triplet网络的大型飞机蒙皮图像损伤检测与 2D-3D定位方法，包括以下步骤：
第一、采集飞机外表面图像，对样本数据进行预处理，构建数据样本集；
依据无损检测原则，利用多种成像设备对大型飞机蒙皮图像进行采集(例如，采用无人 机装配高清相机进行采集)，获取包含无损伤的大型飞机蒙皮图像和包含有多种损伤类型的大 型飞机蒙皮图像。首先，对采集到的样本数据进行图像筛选、裁剪、统一尺寸、目标标注和 数据增广等一系列预处理操作，为样本制作标签得到所需的数据集。然后，构建用于实验的 图像标注数据集。
第二、基于Transformer的蒙皮图像损伤检测，在结合丰富的全局场景信息的基础上， 将高维的抽象特征与低维蒙皮损伤的细节信息进行加权融合。
改进Transformer中的自注意力机制，设计“自融合”、“高层-低层融合”和“低层-高层 融合”三种不同的特征交互模块，采取结合全局位置信息和多种尺度上下文信息的特征交互 方式，使卷积神经网络充分学习图像块数据集中的特征信息，如图2所示，在一个网络中同 时实现2类蒙皮表面损伤的检测；(其中，特征交互指的是，在结合丰富的全局场景信息的基 础上，将高维的抽象特征与低维蒙皮损伤的细节信息进行加权融合。低层特征指的是细节更 多，语义性低的特征尺度。高层特征指的是语义信息更强，细节感知更少的特征尺度。“自融 合”指的是，基于经典的同级特征图内的非局部non-local交互，输出与输入具有相同的尺度。 “高层-低层融合”是以自上而下的方式，输出与下层特征图具有相同的比例。直观地说，将 上层特征图的"概念"与下层特征图的"像素"接地。“低层-高层融合”是以自下而上的方式， 输出与上层特征图具有相同的比例。直观地说，将上层"概念"与下层"像素"的视觉属性进 行渲染)。
具体地，改进Transformer注意力机制，用于设计图像损伤检测网络：输入图像经过编码 结构得到多个不同尺度的特征图，输入到Transformer模块，增加更多空间与尺度上的全局信 息，提高相关特征的使用效率。按照不同的交互模块设置，Transformer模块将输入特征图分 为查询图Q、键值图K、值图V三个部分。首先，计算出查询图与键值图中每个像素，即qi∈Q 与kj∈K之间的相关性si，j＝Fsim(qi，kj)；然后，使用归一化函数得到对应的权重 wi，j＝Fnorm(si，j)；最后，对值图V中的每个像素vj依据wi，j进行加权操作，得到特征图融合结 果
Figure BDA0003696915860000061
Figure BDA0003696915860000062
中包含丰富的上下文信息，可以帮助模型学习到更加准确的损伤特 征。
第三、基于Triplet网络的损伤图像和点云关键点描述子联合学习，使用深度网络将损伤 图像和点云映射到同一特征空间中，联合学习图像和点云关键点描述子。
具体步骤是：首先使用2D尺度不变特征变换算子SIFT(Scale-invariant FeatureTransform) 和3D内部形态描述子ISS(Intrinsic Shape Signatures)分别对损伤图像和点云提取一组关键 点；然后使用Triplet网络联合学习损伤图像和点云关键点描述子，使用的网络结构如图3所 示。具体地，分别提取损伤图像和点云关键点位置局部块作为网络输入(表示为三元组
Figure RE-GDA0003796888750000071
也就是锚点图像块
Figure RE-GDA00037968887500000713
以及点云局部块的正例
Figure RE-GDA0003796888750000072
和负例
Figure RE-GDA0003796888750000073
一起被送到网络中)。
如图3所示，Triplet网络由三个分支组成，其中一个分支学习损伤图像特征点描述子
Figure BDA0003696915860000075
将图像小块xI映射到描述符p；另外两个分支共享权重，学习点云特征点 描述子F(xM；θM)：xM→Q，将点云局部小块xM映射到其描述符q(θI和θM是网络权重)。通 过损失函数实现联合学习损伤图像和点云特征点之间的相似性，最后利用随机梯度下降法优 化网络参数。图像描述符函数
Figure BDA0003696915860000076
设计为VGG卷积网络后接完全连接层，以提取图像小 块关键点描述子。全局平均池化层应用于卷积的特征图上。在网络末端连接两个完全连接层 输出期望的描述子维度。点云特征点描述子函数F(xM；θM)可以设计为PointNet网络来提取 点云局部小块描述子。
定义锚点
Figure BDA0003696915860000077
和正例
Figure BDA0003696915860000078
匹配对之间的相似距离为
Figure BDA0003696915860000079
锚点
Figure BDA00036969158600000710
和负例
Figure BDA00036969158600000711
非匹配对之间的相似距离为
Figure BDA00036969158600000712
为加快深度网络收敛 速度，使用加权soft margin损失函数：
Figure BDA00036969158600000713
根据特征向量之间的欧氏距离，计算每对2D-3D特征描述子之间的相关性度量矩阵，并 按照相关性度量对每个图像关键点的特征点进行排序，选取前k个最近的点云关键点作为匹配 对。
第四、损伤图像和点云关键点对应权重系数评价。
使用残差神经网络对匹配程度赋予评价权重，并同时估计相机位姿投影矩阵，完成大型 飞机蒙皮损伤2D-3D定位。
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于 本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术 人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (7)

1.一种飞机蒙皮图像损伤检测与2D-3D定位方法，其特征在于，包括以下步骤：
S1：采集飞机外表面图像得到样本数据，通过预处理构建数据样本集；
S2：基于Transformer对数据样本集进行蒙皮图像损伤检测；
S3：采集飞机的损伤图像和点云数据，基于Triplet网络对损伤图像和点云关键点描述子联合学习，确定损伤图像所匹配的点云关键点；
S4：确定损伤图像以及所匹配的点云关键点的权重，完成飞机蒙皮损伤的2D-3D定位。
2.根据权利要求1所述的一种飞机蒙皮图像损伤检测与2D-3D定位方法，其特征在于，步骤S1的具体内容为：
S1.1：利用成像设备对飞机蒙皮图像进行采集，得到样本数据；
S1.2：对样本数据进行筛选、裁剪、统一尺寸、目标标注和数据增广的预处理得到数据集；
S1.3：根据步骤S1.2的数据集，构建用于实验的数据样本集：图像标注数据集。
3.根据权利要求2所述的一种飞机蒙皮图像损伤检测与2D-3D定位方法，其特征在于，步骤S2的具体内容为：
S2.1：输入图像标注数据集，经过编码结构得到多个不同尺度的特征图；
S2.2：将各个特征图输入到Transformer模块中，按照不同的特征交互模块设置，进而Transformer模块将输入的特征图分为查询图Q、键值图K、值图V三个部分；
S2.3：在Transformer模块中，获取查询图Q中的每个像素qi、键值图K中的每个像素kj，并计算每个像素qi与每个像素kj之间的相关性；即qi∈Q与kj∈K之间的相关性si，j＝Fsim(qi，kj)；
S2.4：使用归一化函数，得到相关性si，j＝Fsim(qi，kj)所对应的权重wi，j＝Fnorm(si，j)；
S2.5：对值图V中的每个像素vj依据wi，j进行加权操作，得到各个特征图融合结果
Figure FDA0003696915850000011
以通过该融合结果判断检测蒙皮图像的损伤状况。
4.根据权利要求1所述的一种飞机蒙皮图像损伤检测与2D-3D定位方法，其特征在于，步骤S3的具体内容为：
S3.1：采集飞机损伤图像和点云数据；使用2D尺度不变特征变换算子SIFT和3D内部形态描述子ISS分别对损伤图像和点云提取一组关键点，形成关键局部块；
S3.2：将关键局部块表示为三元组
Figure FDA0003696915850000012
即损伤图像的锚点图像块
Figure FDA0003696915850000013
以及点云局部块xM的正例
Figure FDA0003696915850000021
和负例
Figure FDA0003696915850000022
作为Triplet网络输入；
S3.3：Triplet网络的一个分支学习损伤图像的特征点描述子
Figure FDA0003696915850000023
即，将图像小块xI映射到描述符p，其中该特征描述子为2D；
S3.4：Triplet网络的另外两个分支采用同样权重，学习点云的特征点描述子F(xM；θM)：xM→q；即，将点云局部块xM映射到描述符q；其中，对于点云局部块xM的正例
Figure FDA0003696915850000024
有
Figure FDA0003696915850000025
对于点云局部块xM的负例
Figure FDA0003696915850000026
有
Figure FDA0003696915850000027
且均为3D的特征描述子；
S3.5：定义锚点
Figure FDA0003696915850000028
和正例
Figure FDA0003696915850000029
匹配对之间的相似距离dpos，以及锚点
Figure FDA00036969158500000210
和负例
Figure FDA00036969158500000211
非匹配对之间的相似距离dneg；
S3.6：根据相似距离dpos和相似距离dneg计算特征向量之间的欧式距离d，并根据欧式距离d计算每对2D-3D特征描述子之间的相关性度量矩阵，按照相关性度量对每个关键点的特征点进行排序；
S3.7：选取前k个点云关键点作为匹配对。
5.根据权利要求4所述的一种飞机蒙皮图像损伤检测与2D-3D定位方法，其特征在于，步骤S3.5中的具体内容为：
定义锚点
Figure FDA00036969158500000212
和正例
Figure FDA00036969158500000213
匹配对之间的相似距离dpos：
Figure FDA00036969158500000214
定义锚点
Figure FDA00036969158500000215
和负例
Figure FDA00036969158500000216
非匹配对之间的相似距离dneg：
Figure FDA00036969158500000217
并对相似距离dpos和相似距离dneg使用加权soft margin损失函数。
6.根据权利要求5所述的一种飞机蒙皮图像损伤检测与2D-3D定位方法，其特征在于，步骤S3.6中“根据相似距离dpos和相似距离dneg计算特征向量之间的欧式距离d”的具体计算公式为：
d＝dpos-dneg。
7.根据权利要求4所述的一种飞机蒙皮图像损伤检测与2D-3D定位方法，其特征在于，
S4.1：使用残差网络对损伤图像和点云关键点匹配对的匹配程度赋予评价权重；
S4.2：估计相机位姿投影矩阵，并根据S4.1中损伤图像与点云关键点匹配对的评价权重，完成飞机蒙皮损伤的2D-3D的定位。
CN202210677801.6A 2022-06-16 2022-06-16 一种飞机蒙皮图像损伤检测与2d-3d定位方法 Active CN115049842B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210677801.6A CN115049842B (zh) 2022-06-16 2022-06-16 一种飞机蒙皮图像损伤检测与2d-3d定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210677801.6A CN115049842B (zh) 2022-06-16 2022-06-16 一种飞机蒙皮图像损伤检测与2d-3d定位方法

Publications (2)

Publication Number Publication Date
CN115049842A true CN115049842A (zh) 2022-09-13
CN115049842B CN115049842B (zh) 2023-11-17

Family

ID=83161853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210677801.6A Active CN115049842B (zh) 2022-06-16 2022-06-16 一种飞机蒙皮图像损伤检测与2d-3d定位方法

Country Status (1)

Country Link
CN (1) CN115049842B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116129228A (zh) * 2023-04-19 2023-05-16 中国科学技术大学 图像匹配模型的训练方法、图像匹配方法及其装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150128300A (ko) * 2014-05-09 2015-11-18 한국건설기술연구원 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법
CN105092591A (zh) * 2015-08-27 2015-11-25 任红霞 一种基于图像处理的工件缺陷定位方法
CN109523501A (zh) * 2018-04-28 2019-03-26 江苏理工学院 一种基于降维和点云数据匹配的电池外观缺陷检测方法
CN209912664U (zh) * 2019-06-12 2020-01-07 江西冠一通用飞机有限公司 一种组装式通用飞机用变压器安装架
CN111080627A (zh) * 2019-12-20 2020-04-28 南京航空航天大学 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法
CN112614105A (zh) * 2020-12-23 2021-04-06 东华大学 一种基于深度网络的3d点云焊点缺陷检测方法
CN113674236A (zh) * 2021-08-16 2021-11-19 南京航空航天大学 一种基于特征学习的飞机表面多圆孔检测方法
US20210374928A1 (en) * 2020-05-26 2021-12-02 Fujitsu Limited Defect detection method and apparatus
CN113744186A (zh) * 2021-07-26 2021-12-03 南开大学 一种融合投影点集分割网络对工件表面缺陷检测的方法
CN114359245A (zh) * 2022-01-10 2022-04-15 上海交通大学宁波人工智能研究院 一种工业场景下产品表面缺陷检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150128300A (ko) * 2014-05-09 2015-11-18 한국건설기술연구원 카메라와 레이저 스캔을 이용한 3차원 모델 생성 및 결함 분석 방법
CN105092591A (zh) * 2015-08-27 2015-11-25 任红霞 一种基于图像处理的工件缺陷定位方法
CN109523501A (zh) * 2018-04-28 2019-03-26 江苏理工学院 一种基于降维和点云数据匹配的电池外观缺陷检测方法
CN209912664U (zh) * 2019-06-12 2020-01-07 江西冠一通用飞机有限公司 一种组装式通用飞机用变压器安装架
CN111080627A (zh) * 2019-12-20 2020-04-28 南京航空航天大学 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法
US20210374928A1 (en) * 2020-05-26 2021-12-02 Fujitsu Limited Defect detection method and apparatus
CN112614105A (zh) * 2020-12-23 2021-04-06 东华大学 一种基于深度网络的3d点云焊点缺陷检测方法
CN113744186A (zh) * 2021-07-26 2021-12-03 南开大学 一种融合投影点集分割网络对工件表面缺陷检测的方法
CN113674236A (zh) * 2021-08-16 2021-11-19 南京航空航天大学 一种基于特征学习的飞机表面多圆孔检测方法
CN114359245A (zh) * 2022-01-10 2022-04-15 上海交通大学宁波人工智能研究院 一种工业场景下产品表面缺陷检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
冀寒松: "再制造零件的自适应三维测量及损伤提取方法研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》, pages 55 - 57 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116129228A (zh) * 2023-04-19 2023-05-16 中国科学技术大学 图像匹配模型的训练方法、图像匹配方法及其装置

Also Published As

Publication number Publication date
CN115049842B (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
CN111429514B (zh) 一种融合多帧时序点云的激光雷达3d实时目标检测方法
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
CN108389251B (zh) 基于融合多视角特征的投影全卷积网络三维模型分割方法
CN111899172A (zh) 一种面向遥感应用场景的车辆目标检测方法
CN110245678B (zh) 一种基于异构孪生区域选取网络的图像匹配方法
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
CN109559320A (zh) 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及系统
CN111091105A (zh) 基于新的边框回归损失函数的遥感图像目标检测方法
CN109740665A (zh) 基于专家知识约束的遮挡图像船只目标检测方法及系统
CN108230330B (zh) 一种快速的高速公路路面分割和摄像机定位的方法
CN116385958A (zh) 一种用于电网巡检和监控的边缘智能检测方法
CN113159043A (zh) 基于语义信息的特征点匹配方法及系统
CN109325407B (zh) 基于f-ssd网络滤波的光学遥感视频目标检测方法
Rubio et al. Efficient monocular pose estimation for complex 3D models
CN117372898A (zh) 一种基于改进yolov8的无人机航拍图像目标检测方法
CN114612802A (zh) 基于mbcnn的舰船目标细粒度分类系统及方法
CN117011380A (zh) 一种目标物体的6d位姿估计方法
CN114358133B (zh) 一种基于语义辅助双目视觉slam检测回环帧的方法
CN115049833A (zh) 一种基于局部特征增强和相似性度量的点云部件分割方法
CN115049842A (zh) 一种飞机蒙皮图像损伤检测与2d-3d定位方法
CN115049945A (zh) 一种基于无人机图像的小麦倒伏面积提取方法和装置
CN112069997B (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置
CN117351078A (zh) 基于形状先验的目标尺寸与6d姿态估计方法
CN112418262A (zh) 车辆再识别的方法、客户端及系统
CN117036484A (zh) 一种基于几何和语义的视觉定位与建图方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant