CN117541584A - 一种掩码旋转叠加的全机试验裂纹特征增强与标识方法 - Google Patents

一种掩码旋转叠加的全机试验裂纹特征增强与标识方法 Download PDF

Info

Publication number
CN117541584A
CN117541584A CN202410028588.5A CN202410028588A CN117541584A CN 117541584 A CN117541584 A CN 117541584A CN 202410028588 A CN202410028588 A CN 202410028588A CN 117541584 A CN117541584 A CN 117541584A
Authority
CN
China
Prior art keywords
crack
image
data
identified
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410028588.5A
Other languages
English (en)
Other versions
CN117541584B (zh
Inventor
贾文博
刘小川
樊俊铃
杨鹏飞
张伟
焦婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AVIC Aircraft Strength Research Institute
Original Assignee
AVIC Aircraft Strength Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AVIC Aircraft Strength Research Institute filed Critical AVIC Aircraft Strength Research Institute
Priority to CN202410028588.5A priority Critical patent/CN117541584B/zh
Publication of CN117541584A publication Critical patent/CN117541584A/zh
Application granted granted Critical
Publication of CN117541584B publication Critical patent/CN117541584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种掩码旋转叠加的全机试验裂纹特征增强与标识方法，涉及全机疲劳试验裂纹检测领域。该方法包括：对原始裂纹图像进行图像裁剪、图像裂纹掩码标记、图像筛选和图像裂纹特征增强，获取原始裂纹图像特征增强数据；构建裂纹智能检测网络模型，利用原始裂纹图像特征增强数据对裂纹智能检测网络模型进行训练验证；对待标识裂纹图像进行图像裁剪、图像填充、图像旋转剪裁和图像旋转拼接，获取待标识裂纹图像特征增强数据，根据待标识裂纹图像特征增强数据和训练验证后的裂纹智能检测网络模型，得到裂纹标识结果。本发明能实现全机疲劳试验不同场景下的裂纹图像标识需求，在保证裂纹图像标识效率的同时，极大提升裂纹图像标识的准确性。

Description

一种掩码旋转叠加的全机试验裂纹特征增强与标识方法
技术领域
本发明涉及全机疲劳试验裂纹检测领域，具体涉及一种掩码旋转叠加的全机试验裂纹特征增强与标识方法。
背景技术
近年来，深度学习技术在计算机视觉领域发展迅速，随着图形处理设备性能提升，目前在各个行业广泛应用。在飞机结构无损检测领域，飞机结构损伤的周期性检测一直是强度试验与外场运营维护的重点，其中壁板、蒙皮、机翼和操纵面等结构在飞行过程中承受复杂的交变载荷和外物冲击，极易出现裂纹、断钉、掉钉等损伤，容易引发各类安全事故。
在全机试验中，裂纹是出现概率最大、检出要求最高的损伤类型，疲劳试验过程中裂纹随交变载荷的施加不断展开与闭合，在停机状态下裂纹几乎无法靠目视检出。在损伤出现早期，裂纹尺寸较小，裂纹特征相对不明显，与背景对比度较低。常规视觉检测方法难以准确标识出裂纹，而且裂纹与划痕图像特征差异较小，在实际检测中误判较高，难以直接用于全机试验过程中。因此，在全机疲劳试验裂纹检测领域需要更加准确和可靠的裂纹图像特征增强与标识方法。
发明内容
针对现有技术中的上述不足，本发明提供了一种掩码旋转叠加的全机试验裂纹特征增强与标识方法，能满足全机试验不同场景的检测需求，在保证检测效率的同时极大地提升准确性。
一种掩码旋转叠加的全机试验裂纹特征增强与标识方法，包括以下步骤：
S1、获取原始裂纹图像，并对原始裂纹图像进行图像裁剪、图像裂纹掩码标记、图像筛选和图像裂纹特征增强，以获取原始裂纹图像特征增强数据；
S2、构建裂纹智能检测网络模型，并利用步骤S1中的原始裂纹图像特征增强数据对裂纹智能检测网络模型进行训练验证；
S3、获取待标识裂纹图像，对待标识裂纹图像进行图像裁剪、图像填充、图像旋转剪裁和图像旋转拼接，获取待标识裂纹图像特征增强数据，并根据待标识裂纹图像特征增强数据和步骤S2中训练验证后的裂纹智能检测网络模型，得到裂纹标识结果。
进一步地，步骤S1包括以下分步骤：
S11、获取原始裂纹图像，并对原始裂纹图像进行图像裁剪以获取原始裂纹正方形图像；
S12、确定第一等分数值，利用第一等分数值对分步骤S11中的原始裂纹正方形图像进行等分以获取原始裂纹等分数据，并对原始裂纹等分数据进行图像裂纹掩码标记和图像筛选以获取原始裂纹等分标记数据；
S13、根据分步骤S12中的原始裂纹等分数据，确定含裂纹掩码区域的裂纹等分数据中心点坐标；
S14、根据分步骤S12中的原始裂纹等分标记数据和分步骤S13中含裂纹掩码区域的裂纹等分数据中心点坐标，对原始裂纹图像进行图像裂纹特征增强处理，以获取原始裂纹图像特征增强数据。
进一步地，在步骤S12中，对原始裂纹等分数据进行图像裂纹掩码标记和图像筛选以获取原始裂纹等分标记数据，包括以下步骤：
A1、根据被检验裂纹尺寸大小确定裂纹面积阈值；
A2、对原始裂纹等分数据进行图像裂纹掩码标记，以获取原始裂纹掩码标记等分数据；
A3、根据原始裂纹等分数据确定等分区域面积，并根据原始裂纹掩码标记等分数据确定掩码标记等分区域面积；
A4、判断步骤A3中掩码标记等分区域面积与等分区域面积之比是否大于步骤A1中的裂纹面积阈值；若是则保留等分区域面积对应的原始裂纹等分数据，否则剔除等分区域面积对应的原始裂纹等分数据，以获取原始裂纹等分标记数据。
进一步地，步骤S13包括以下分步骤：
S131、根据分步骤S12中的原始裂纹等分数据，确定含裂纹掩码区域的裂纹等分数据中心点横轴坐标，表示为：
其中：为含裂纹掩码区域的裂纹等分数据中心点横轴坐标，/>为含裂纹掩码区域的列索引序号，/>为原始裂纹等分数据中图像的宽，/>为第一等分数值；
S132、根据分步骤S12中的原始裂纹等分数据，确定含裂纹掩码区域的裂纹等分数据中心点纵轴坐标，表示为：
其中：为含裂纹掩码区域的裂纹等分数据中心点纵轴坐标，/>为含裂纹掩码区域的行索引序号；
S133、根据分步骤S131中的含裂纹掩码区域的裂纹等分数据中心点横轴坐标和分步骤S132中含裂纹掩码区域的裂纹等分数据中心点纵轴坐标，确定含裂纹掩码区域的裂纹等分数据中心点坐标。
进一步地，步骤S14包括以下分步骤：
S141、确定能被360整除的旋转角，将分步骤S12中的原始裂纹等分标记数据中的裂纹掩码以分步骤S13中含裂纹掩码区域的裂纹等分数据中心点坐标为旋转中心，且以能被360整除的旋转角为间隔进行旋转，以获取裂纹特征增强区域；
S142、将分步骤S141中裂纹特征增强区域替换原始裂纹等分标记数据中的对应区域，并将裂纹特征增强区域标注为目标检测特征，以获取原始裂纹图像特征增强数据。
进一步地，在步骤S2中，裂纹智能检测网络模型包括依次连接的Backbone模块、FPN模块和YoloHead模块；
Backbone模块用于对输入的裂纹图像进行特征提取以获取裂纹图像的特征层，并将裂纹图像的特征层传输至FPN模块；
FPN模块用于接收裂纹图像的特征层，根据裂纹图像的特征层获取裂纹图像的融合特征信息，并将裂纹图像的融合特征信息传输至YoloHead模块；
YoloHead模块用于接收裂纹图像的融合特征信息，根据裂纹图像的融合特征信息输出裂纹标识结果。
进一步地，裂纹图像的特征层包括裂纹图像的低层特征、中层特征和高层特征。
进一步地，FPN模块根据裂纹图像的特征层获取裂纹图像的融合特征信息，具体为：利用特征金字塔结构SPPCSPC对裂纹图像的高层特征进行加强特征提取，利用特征金字塔结构ASPP对裂纹图像的低层特征进行加强特征提取，在SPPCSPC结构和ASPP结构前、上采样结构后分别添加注意力机制，并采用自上而下与自下而上的特征融合方式对加强特征提取的特征层进行融合以获取裂纹图像的融合特征信息。
进一步地，步骤S3包括以下分步骤：
S31、获取待标识裂纹图像，并对待标识裂纹图像进行图像裁剪以获取待标识裂纹正方形图像；
S32、确定第二等分数值，利用第二等分数值对分步骤S31中的待标识裂纹正方形图像进行等分以获取待标识裂纹等分数据，并对待标识裂纹等分数据进行图像填充，获取待标识裂纹等分填充数据；
S33、根据分步骤S32中的待标识裂纹等分填充数据，确定待标识裂纹中心点坐标，待标识裂纹中心点的横坐标和纵坐标，表示为：
其中：px为待标识裂纹中心点的横坐标，py为待标识裂纹中心点纵坐标，为待标识裂纹正方形图像的宽，m为第二等分数值；
S34、确定起始坐标点，并根据起始坐标点/>和分步骤S33中的待标识裂纹中心点坐标/>确定旋转起始边；
S35、确定与步骤S141中一致的旋转角，对待标识裂纹等分填充数据以分步骤S34中的旋转起始边为起始位置，并以与步骤S141中一致的旋转角为间隔进行图像旋转剪裁，获取待标识裂纹旋转剪裁数据；
S36、将分步骤S35中的各个待标识裂纹旋转剪裁数据以分步骤S33中的待标识裂纹中心点坐标为旋转中心，分步骤S35中的与步骤S141中一致的旋转角为间隔进行图像旋转拼接，获取待标识裂纹图像特征增强初始数据；
S37、根据分步骤S35中的待标识裂纹旋转剪裁数据的大小，对分步骤S36中的待标识裂纹图像特征增强初始数据进行裁剪以确保其尺寸相同，获取待标识裂纹图像特征增强数据；
S38、将待标识裂纹图像特征增强数据输入至裂纹智能检测网络模型，得到裂纹标识结果。
进一步地，在分步骤S32中，对待标识裂纹等分数据进行图像填充，具体为：以待标识裂纹等分图像的坐标为坐标中心，沿横纵坐标轴四个方向分别增加设定填充行像素值，将设定填充行的像素值填充为0；设定填充行的行数表示为：
其中：为设定填充行的行数，/>为向上取整符号。
本发明的有益效果为：
（1）本发明通过对裂纹图像区域掩码的旋转与叠加，实现了裂纹图像特征增强，相对于原始裂纹，其图像特征及尺寸均得到了较大提升，而且相较于划痕等其它图像特征差异较大，网络模型检测结果更加准确；
（2）本发明在裂纹智能检测网络模型中，通过利用SPPCSPC结构对裂纹图像的高层特征进行加强特征提取，利用ASPP结构对裂纹图像的低层特征进行加强特征提取，在SPPCSPC结构和ASPP结构前、上采样结构后分别添加注意力机制，并采用自上而下与自下而上的特征融合方式对加强特征提取的特征层进行融合以获取裂纹图像的融合特征信息，能够有效提升裂纹智能检测网络模型的泛化能力；
（3）本发明在对待标识裂纹图像进行裂纹特征增强的过程中，通过对待标识裂纹图像进行不同尺度大小的裁剪，能实现不同尺度的裂纹标识需求，在提升裂纹标识效率的同时保证裂纹标识结果的准确性。
附图说明
图1为一种掩码旋转叠加的全机试验裂纹特征增强与标识方法流程示意图；
图2为裂纹智能检测网络模型结构示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，一种掩码旋转叠加的全机试验裂纹特征增强与标识方法，包括步骤S1-S3，具体如下：
S1、获取原始裂纹图像，并对原始裂纹图像进行图像裁剪、图像裂纹掩码标记、图像筛选和图像裂纹特征增强，以获取原始裂纹图像特征增强数据。
步骤S1包括以下分步骤：
S11、获取原始裂纹图像，并对原始裂纹图像进行图像裁剪以获取原始裂纹正方形图像。
具体地，本发明采集飞机的微小裂纹结构图像，将采集到的飞机的微小裂纹结构图像以设定比例划分为原始裂纹图像和待标识裂纹图像，以获取原始裂纹图像。本发明中的设定比例为3:1或4:1。
S12、确定第一等分数值，利用第一等分数值对分步骤S11中的原始裂纹正方形图像进行等分以获取原始裂纹等分数据，并对原始裂纹等分数据进行图像裂纹掩码标记和图像筛选以获取原始裂纹等分标记数据。
具体地，本发明根据分步骤S11中的原始裂纹正方形图像确定第一等分数值，确定的第一等分数值大小能使得等分后的原始裂纹正方形图像的像素大小为512*512。
本发明对原始裂纹等分数据进行图像裂纹掩码标记和图像筛选以获取原始裂纹等分标记数据，包括以下步骤：
A1、根据被检验裂纹尺寸大小确定裂纹面积阈值。
A2、对原始裂纹等分数据进行图像裂纹掩码标记，以获取原始裂纹掩码标记等分数据。
A3、根据原始裂纹等分数据确定等分区域面积，并根据原始裂纹掩码标记等分数据确定掩码标记等分区域面积。
A4、判断A3中掩码标记等分区域面积与等分区域面积之比是否大于A1中的裂纹面积阈值；若是则保留等分区域面积对应的原始裂纹等分数据，否则剔除等分区域面积对应的原始裂纹等分数据，以获取原始裂纹等分标记数据。
具体地，本发明通过确定裂纹面积阈值剔除极其微小的掩码标记等分区域面积。
S13、根据分步骤S12中的原始裂纹等分数据，确定含裂纹掩码区域的裂纹等分数据中心点坐标。
步骤S13包括以下分步骤：
S131、根据分步骤S12中的原始裂纹等分数据，确定含裂纹掩码区域的裂纹等分数据中心点横轴坐标，表示为：
其中：为含裂纹掩码区域的裂纹等分数据中心点横轴坐标，/>为含裂纹掩码区域的列索引序号，/>为原始裂纹等分数据中图像的宽，/>为第一等分数值。
S132、根据分步骤S12中的原始裂纹等分数据，确定含裂纹掩码区域的裂纹等分数据中心点纵轴坐标，表示为：
其中：为含裂纹掩码区域的裂纹等分数据中心点纵轴坐标，/>为含裂纹掩码区域的行索引序号。
S133、根据分步骤S131中的含裂纹掩码区域的裂纹等分数据中心点横轴坐标和分步骤S132中含裂纹掩码区域的裂纹等分数据中心点纵轴坐标，确定含裂纹掩码区域的裂纹等分数据中心点坐标。
S14、根据分步骤S12中的原始裂纹等分标记数据和分步骤S13中含裂纹掩码区域的裂纹等分数据中心点坐标，对原始裂纹图像进行图像裂纹特征增强处理，以获取原始裂纹图像特征增强数据。
步骤S14包括以下分步骤：
S141、确定能被360整除的旋转角，将分步骤S12中的原始裂纹等分标记数据中的裂纹掩码以分步骤S13中含裂纹掩码区域的裂纹等分数据中心点坐标为旋转中心，且以能被360整除的旋转角为间隔进行旋转，以获取裂纹特征增强区域。
S142、将分步骤S141中裂纹特征增强区域替换原始裂纹等分标记数据中的对应区域，并将裂纹特征增强区域标注为目标检测特征，以获取原始裂纹图像特征增强数据。
S2、构建裂纹智能检测网络模型，并利用步骤S1中的原始裂纹图像特征增强数据对裂纹智能检测网络模型进行训练验证。
在本发明的一个可选实施例中，本发明通过构建裂纹智能检测网络模型，并将原始裂纹图像特征增强数据输入至智能检测网络模型，利用损失函数对裂纹智能检测网络模型进行训练验证。损失函数由目标置信度损失、分类损失和坐标损失三部分组成，其中目标置信度损失和分类损失采用二元交叉熵损失，坐标损失采用CIOU损失。
如图2所示，裂纹智能检测网络模型包括依次连接的Backbone模块、FPN模块和YoloHead模块。
Backbone模块用于对输入的裂纹图像进行特征提取以获取裂纹图像的特征层，并将裂纹图像的特征层传输至FPN模块。
裂纹图像的特征层包括裂纹图像的低层特征、中层特征和高层特征。
具体地，Backbone模块首先将输入图像经过4个卷积+标准化+激活模块（Cov2D+BN+SILU），之后利用多个扩展高效层聚合结构（ELAN_Block）和下采样结构（MP_Block）进行特征提取。扩展高效层聚合结构通过堆叠（Concat）不同数量的卷积+标准化+激活模块（Cov2D+BN+SILU），建立更加密集的残差模块与更深的网络结构。下采样结构由两个分支组成，一个分支由一个最大池化（MaxPool）和一个卷积+标准化+激活模块组成，一个分支由两个卷积+标准化+激活模块组成，两分支堆叠（Concat）后得到下采样特征层，MP_Block结构用来对输入特征层进行压缩。Backbone模块利用扩展高效层聚合结构和下采样结构提取裂纹图像的低层特征、中层特征和高层特征，并将裂纹图像的低层特征、中层特征和高层特征传输至FPN模块。
FPN模块用于接收裂纹图像Backbone模块提取的特征层，将裂纹图像的特征层进行进一步的特征融合，之后将裂纹图像的融合特征信息传输至YoloHead模块。
FPN模块根据裂纹图像的特征层获取裂纹图像的融合特征信息，具体为：利用特征金字塔结构SPPCSPC对裂纹图像的高层特征进行加强特征提取，利用特征金字塔结构ASPP对裂纹图像的低层特征进行加强特征提取。在SPPCSPC结构和ASPP结构前、上采样结构（UpSampling2D）后分别添加注意力机制模块（CA），并采用自上而下与自下而上的特征融合方式对加强特征提取的特征层进行融合以获取裂纹图像的融合特征信息。
FPN模块中的Concat为特征堆叠结构，用于融合特征层。
YoloHead模块用于接收裂纹图像的融合特征信息，根据裂纹图像的融合特征信息输出裂纹标识结果。
具体的，YoloHead模块与YOLOV7结构相同，在该模块之前添加重参数化结构（RepConv），使其在训练阶段使用多分支的卷积层，然后在标识阶段将分支的参数重参数化到主分支上，从而减少计算量和内存消耗。
S3、获取待标识裂纹图像，对待标识裂纹图像进行图像裁剪、图像填充、图像旋转剪裁和图像旋转拼接，获取待标识裂纹图像特征增强数据，并根据待标识裂纹图像特征增强数据和步骤S2中训练验证后的裂纹智能检测网络模型，得到裂纹标识结果。
步骤S3包括以下分步骤：
S31、获取待标识裂纹图像，并对待标识裂纹图像进行图像裁剪以获取待标识裂纹正方形图像。
具体地，本发明采集飞机的微小裂纹结构图像，将采集到的飞机的微小裂纹结构图像以设定比例划分为原始裂纹图像和待标识裂纹图像，以获取待标识裂纹图像。
S32、确定第二等分数值，利用第二等分数值对分步骤S31中的待标识裂纹正方形图像进行等分以获取待标识裂纹等分数据，并对待标识裂纹等分数据进行图像填充，获取待标识裂纹等分填充数据。
具体地，本发明根据分步骤S31中的待标识裂纹正方形图像确定第二等分数值，确定的第二等分数值大小能使得等分后的待标识裂纹正方形图像的像素大小为512*512。
本发明对待标识裂纹等分数据进行图像填充，具体为：以待标识裂纹等分图像的坐标为坐标中心，沿横纵坐标轴四个方向分别增加设定填充行的像素值，将设定填充行的像素值填充为0；设定填充行的行数表示为：
其中：为设定填充行的行数，/>为向上取整符号，m为第二等分数值，为待标识裂纹正方形图像的宽。
S33、根据分步骤S32中的待标识裂纹等分填充数据，确定待标识裂纹中心点坐标，待标识裂纹中心点的横坐标和纵坐标，表示为：
其中：px为待标识裂纹中心点的横坐标，py为待标识裂纹中心点纵坐标，为待标识裂纹正方形图像的宽，m为第二等分数值。
S34、确定起始坐标点，并根据起始坐标点/>和分步骤S33中的待标识裂纹中心点坐标/>确定旋转起始边。
S35、确定与步骤S141中一致的旋转角，对待标识裂纹等分填充数据以分步骤S34中的旋转起始边为起始位置，并以与步骤S141中一致的旋转角为间隔进行图像旋转剪裁，获取待标识裂纹旋转剪裁数据。
S36、将分步骤S35中的各个待标识裂纹旋转剪裁数据以分步骤S33中的待标识裂纹中心点坐标为旋转中心，分步骤S35中的与步骤S141中一致的旋转角为间隔进行图像旋转拼接，获取待标识裂纹图像特征增强初始数据。
S37、根据分步骤S35中的待标识裂纹旋转剪裁数据的大小，对分步骤S36中的待标识裂纹图像特征增强初始数据进行裁剪以确保其尺寸相同，获取待标识裂纹图像特征增强数据。
具体地，本发明将超出待标识裂纹旋转剪裁数据中图像区域的部分进行裁剪剔除，保持待标识裂纹图像特征增强数据中图像大小与待标识裂纹旋转剪裁数据中图像大小相同。由于待标识裂纹旋转剪裁数据已经进行了图像填充，因此待标识裂纹图像特征增强初始数据中图像所剔除的区域均为无效区域。
S38、将待标识裂纹图像特征增强数据输入至裂纹智能检测网络模型，得到裂纹标识结果。
本发明将所有待标识裂纹图像特征增强数据输入至裂纹智能检测网络模型，得到所有待标识裂纹图像特征增强数据的标识结果，所有待标识裂纹图像特征增强数据的标识结果组成待标识裂纹图像的标识结果，即得到裂纹标识结果。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (9)

1.一种掩码旋转叠加的全机试验裂纹特征增强与标识方法，其特征在于，包括以下步骤：
S1、获取原始裂纹图像，并对原始裂纹图像进行图像裁剪、图像裂纹掩码标记、图像筛选和图像裂纹特征增强，以获取原始裂纹图像特征增强数据；
步骤S1包括以下分步骤：
S11、获取原始裂纹图像，并对原始裂纹图像进行图像裁剪以获取原始裂纹正方形图像；
S12、确定第一等分数值，利用第一等分数值对分步骤S11中的原始裂纹正方形图像进行等分以获取原始裂纹等分数据，并对原始裂纹等分数据进行图像裂纹掩码标记和图像筛选以获取原始裂纹等分标记数据；
S13、根据分步骤S12中的原始裂纹等分数据，确定含裂纹掩码区域的裂纹等分数据中心点坐标；
S14、根据分步骤S12中的原始裂纹等分标记数据和分步骤S13中含裂纹掩码区域的裂纹等分数据中心点坐标，对原始裂纹图像进行图像裂纹特征增强处理，以获取原始裂纹图像特征增强数据；
S2、构建裂纹智能检测网络模型，并利用步骤S1中的原始裂纹图像特征增强数据对裂纹智能检测网络模型进行训练验证；
S3、获取待标识裂纹图像，对待标识裂纹图像进行图像裁剪、图像填充、图像旋转剪裁和图像旋转拼接，获取待标识裂纹图像特征增强数据，并根据待标识裂纹图像特征增强数据和步骤S2中训练验证后的裂纹智能检测网络模型，得到裂纹标识结果。
2.根据权利要求1所述的一种掩码旋转叠加的全机试验裂纹特征增强与标识方法，其特征在于，在步骤S12中，对原始裂纹等分数据进行图像裂纹掩码标记和图像筛选以获取原始裂纹等分标记数据，包括以下步骤：
A1、根据被检验裂纹尺寸大小确定裂纹面积阈值；
A2、对原始裂纹等分数据进行图像裂纹掩码标记，以获取原始裂纹掩码标记等分数据；
A3、根据原始裂纹等分数据确定等分区域面积，并根据原始裂纹掩码标记等分数据确定掩码标记等分区域面积；
A4、判断步骤A3中掩码标记等分区域面积与等分区域面积之比是否大于步骤A1中的裂纹面积阈值；若是则保留等分区域面积对应的原始裂纹等分数据，否则剔除等分区域面积对应的原始裂纹等分数据，以获取原始裂纹等分标记数据。
3.根据权利要求1所述的一种掩码旋转叠加的全机试验裂纹特征增强与标识方法，其特征在于，步骤S13包括以下分步骤：
S131、根据分步骤S12中的原始裂纹等分数据，确定含裂纹掩码区域的裂纹等分数据中心点横轴坐标，表示为：
其中：为含裂纹掩码区域的裂纹等分数据中心点横轴坐标，/>为含裂纹掩码区域的列索引序号，/>为原始裂纹等分数据中图像的宽，/>为第一等分数值；
S132、根据分步骤S12中的原始裂纹等分数据，确定含裂纹掩码区域的裂纹等分数据中心点纵轴坐标，表示为：
其中：为含裂纹掩码区域的裂纹等分数据中心点纵轴坐标，/>为含裂纹掩码区域的行索引序号；
S133、根据分步骤S131中的含裂纹掩码区域的裂纹等分数据中心点横轴坐标和分步骤S132中含裂纹掩码区域的裂纹等分数据中心点纵轴坐标，确定含裂纹掩码区域的裂纹等分数据中心点坐标。
4.根据权利要求1所述的一种掩码旋转叠加的全机试验裂纹特征增强与标识方法，其特征在于，步骤S14包括以下分步骤：
S141、确定能被360整除的旋转角，将分步骤S12中的原始裂纹等分标记数据中的裂纹掩码以分步骤S13中含裂纹掩码区域的裂纹等分数据中心点坐标为旋转中心，且以能被360整除的旋转角为间隔进行旋转，以获取裂纹特征增强区域；
S142、将分步骤S141中裂纹特征增强区域替换原始裂纹等分标记数据中的对应区域，并将裂纹特征增强区域标注为目标检测特征，以获取原始裂纹图像特征增强数据。
5.根据权利要求1所述的一种掩码旋转叠加的全机试验裂纹特征增强与标识方法，其特征在于，在步骤S2中，裂纹智能检测网络模型包括依次连接的Backbone模块、FPN模块和YoloHead模块；
Backbone模块用于对输入的裂纹图像进行特征提取以获取裂纹图像的特征层，并将裂纹图像的特征层传输至FPN模块；
FPN模块用于接收裂纹图像的特征层，根据裂纹图像的特征层获取裂纹图像的融合特征信息，并将裂纹图像的融合特征信息传输至YoloHead模块；
YoloHead模块用于接收裂纹图像的融合特征信息，根据裂纹图像的融合特征信息输出裂纹标识结果。
6.根据权利要求5所述的一种掩码旋转叠加的全机试验裂纹特征增强与标识方法，其特征在于，裂纹图像的特征层包括裂纹图像的低层特征、中层特征和高层特征。
7.根据权利要求6所述的一种掩码旋转叠加的全机试验裂纹特征增强与标识方法，其特征在于，FPN模块根据裂纹图像的特征层获取裂纹图像的融合特征信息，具体为：利用特征金字塔结构SPPCSPC对裂纹图像的高层特征进行加强特征提取，利用特征金字塔结构ASPP对裂纹图像的低层特征进行加强特征提取，在SPPCSPC结构和ASPP结构前、上采样结构后分别添加注意力机制，并采用自上而下与自下而上的特征融合方式对加强特征提取的特征层进行融合以获取裂纹图像的融合特征信息。
8.根据权利要求4所述的一种掩码旋转叠加的全机试验裂纹特征增强与标识方法，其特征在于，步骤S3包括以下分步骤：
S31、获取待标识裂纹图像，并对待标识裂纹图像进行图像裁剪以获取待标识裂纹正方形图像；
S32、确定第二等分数值，利用第二等分数值对分步骤S31中的待标识裂纹正方形图像进行等分以获取待标识裂纹等分数据，并对待标识裂纹等分数据进行图像填充，获取待标识裂纹等分填充数据；
S33、根据分步骤S32中的待标识裂纹等分填充数据，确定待标识裂纹中心点坐标，待标识裂纹中心点的横坐标和纵坐标，表示为：
其中：px为待标识裂纹中心点的横坐标，py为待标识裂纹中心点纵坐标，为待标识裂纹正方形图像的宽，m为第二等分数值；
S34、确定起始坐标点，并根据起始坐标点/>和分步骤S33中的待标识裂纹中心点坐标/>确定旋转起始边；
S35、确定与步骤S141中一致的旋转角，对待标识裂纹等分填充数据以分步骤S34中的旋转起始边为起始位置，并以与步骤S141中一致的旋转角为间隔进行图像旋转剪裁，获取待标识裂纹旋转剪裁数据；
S36、将分步骤S35中的各个待标识裂纹旋转剪裁数据以分步骤S33中的待标识裂纹中心点坐标为旋转中心，分步骤S35中的与步骤S141中一致的旋转角为间隔进行图像旋转拼接，获取待标识裂纹图像特征增强初始数据；
S37、根据分步骤S35中的待标识裂纹旋转剪裁数据的大小，对分步骤S36中的待标识裂纹图像特征增强初始数据进行裁剪以确保其尺寸相同，获取待标识裂纹图像特征增强数据；
S38、将待标识裂纹图像特征增强数据输入至裂纹智能检测网络模型，得到裂纹标识结果。
9.根据权利要求8所述的一种掩码旋转叠加的全机试验裂纹特征增强与标识方法，其特征在于，在分步骤S32中，对待标识裂纹等分数据进行图像填充，具体为：以待标识裂纹等分图像的坐标为坐标中心，沿横纵坐标轴四个方向分别增加设定填充行像素值，将设定填充行的像素值填充为0；设定填充行的行数表示为：
其中：为设定填充行的行数，/>为向上取整符号。
CN202410028588.5A 2024-01-09 2024-01-09 一种掩码旋转叠加的全机试验裂纹特征增强与标识方法 Active CN117541584B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410028588.5A CN117541584B (zh) 2024-01-09 2024-01-09 一种掩码旋转叠加的全机试验裂纹特征增强与标识方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410028588.5A CN117541584B (zh) 2024-01-09 2024-01-09 一种掩码旋转叠加的全机试验裂纹特征增强与标识方法

Publications (2)

Publication Number Publication Date
CN117541584A true CN117541584A (zh) 2024-02-09
CN117541584B CN117541584B (zh) 2024-04-02

Family

ID=89786541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410028588.5A Active CN117541584B (zh) 2024-01-09 2024-01-09 一种掩码旋转叠加的全机试验裂纹特征增强与标识方法

Country Status (1)

Country Link
CN (1) CN117541584B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110060251A (zh) * 2019-04-26 2019-07-26 福州大学 一种基于U-Net的建筑物表面裂纹检测方法
US20200364849A1 (en) * 2018-01-03 2020-11-19 Southeast University Method and device for automatically drawing structural cracks and precisely measuring widths thereof
CN114119480A (zh) * 2021-10-26 2022-03-01 北京临近空间飞行器系统工程研究所 一种基于深度学习的裂纹缺陷检测系统
CN114120058A (zh) * 2021-11-19 2022-03-01 广东电网有限责任公司 一种绝缘子外套裂纹识别方法、装置及存储介质
CN115205264A (zh) * 2022-07-21 2022-10-18 南京工程学院 一种基于改进YOLOv4的高分辨率遥感船舶检测方法
CN116245872A (zh) * 2023-03-30 2023-06-09 中国飞机强度研究所 一种基于卷积神经网络的飞机结构裂纹检测方法
WO2023124442A1 (zh) * 2021-12-29 2023-07-06 京东方科技集团股份有限公司 积水深度检测方法及装置
CN116824347A (zh) * 2023-06-01 2023-09-29 中国电建集团西北勘测设计研究院有限公司 一种基于深度学习的道路裂纹检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200364849A1 (en) * 2018-01-03 2020-11-19 Southeast University Method and device for automatically drawing structural cracks and precisely measuring widths thereof
CN110060251A (zh) * 2019-04-26 2019-07-26 福州大学 一种基于U-Net的建筑物表面裂纹检测方法
CN114119480A (zh) * 2021-10-26 2022-03-01 北京临近空间飞行器系统工程研究所 一种基于深度学习的裂纹缺陷检测系统
CN114120058A (zh) * 2021-11-19 2022-03-01 广东电网有限责任公司 一种绝缘子外套裂纹识别方法、装置及存储介质
WO2023124442A1 (zh) * 2021-12-29 2023-07-06 京东方科技集团股份有限公司 积水深度检测方法及装置
CN115205264A (zh) * 2022-07-21 2022-10-18 南京工程学院 一种基于改进YOLOv4的高分辨率遥感船舶检测方法
CN116245872A (zh) * 2023-03-30 2023-06-09 中国飞机强度研究所 一种基于卷积神经网络的飞机结构裂纹检测方法
CN116824347A (zh) * 2023-06-01 2023-09-29 中国电建集团西北勘测设计研究院有限公司 一种基于深度学习的道路裂纹检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王森;伍星;张印辉;陈庆;: "基于深度学习的全卷积网络图像裂纹检测", 计算机辅助设计与图形学学报, no. 05, 15 May 2018 (2018-05-15) *

Also Published As

Publication number Publication date
CN117541584B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
JP7113657B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN113569667B (zh) 基于轻量级神经网络模型的内河船舶目标识别方法及系统
CN111415329B (zh) 一种基于深度学习的工件表面缺陷检测方法
Li et al. Sewer pipe defect detection via deep learning with local and global feature fusion
CN108960135B (zh) 基于高分辨遥感图像的密集舰船目标精确检测方法
CN112308826B (zh) 一种基于卷积神经网络的桥梁结构表面缺陷检测方法
CN106934795A (zh) 一种混凝土桥梁裂缝的自动检测方法和预测方法
CN113435424B (zh) 一种保密介质销毁颗粒度的识别方法和系统
CN115063725B (zh) 基于多尺度自适应ssd算法的飞机蒙皮缺陷识别系统
CN113139528B (zh) 基于Faster_RCNN的无人机热红外图像堤坝险情检测方法
CN111626249B (zh) 题目图像中几何图形的识别方法、装置和计算机存储介质
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN111598854A (zh) 基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法
CN112560584A (zh) 一种人脸检测方法及装置、存储介质、终端
CN114724246A (zh) 危险行为识别方法及装置
CN113158954B (zh) 交通非现场的基于ai技术的斑马线区域自动检测方法
CN118212523A (zh) 基于深度融合优化特征增强网络的sar图像船舰检测方法
CN117541584B (zh) 一种掩码旋转叠加的全机试验裂纹特征增强与标识方法
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
CN111179278B (zh) 一种图像检测的方法、装置、设备和存储介质
CN117456356A (zh) 一种基于深度学习的城市内涝视频识别预警方法
CN117058459A (zh) 基于yolov7算法的路面病害快速检测方法及系统
CN116486228A (zh) 一种基于改进yolov5模型的纸质药盒钢印字符识别方法
CN115578362A (zh) 电极涂层的缺陷检测方法、装置、电子设备及介质
CN114037840A (zh) 一种基于多特征融合的输电线路视物提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant