CN114627086B - 一种基于特征金字塔网络的起重机表面损伤检测方法 - Google Patents

一种基于特征金字塔网络的起重机表面损伤检测方法 Download PDF

Info

Publication number
CN114627086B
CN114627086B CN202210267024.8A CN202210267024A CN114627086B CN 114627086 B CN114627086 B CN 114627086B CN 202210267024 A CN202210267024 A CN 202210267024A CN 114627086 B CN114627086 B CN 114627086B
Authority
CN
China
Prior art keywords
damage
surface damage
crane
picture
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210267024.8A
Other languages
English (en)
Other versions
CN114627086A (zh
Inventor
张燕超
王�华
李向东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Special Equipment Safety Supervision Inspection Institute of Jiangsu Province
Original Assignee
Special Equipment Safety Supervision Inspection Institute of Jiangsu Province
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Special Equipment Safety Supervision Inspection Institute of Jiangsu Province filed Critical Special Equipment Safety Supervision Inspection Institute of Jiangsu Province
Priority to CN202210267024.8A priority Critical patent/CN114627086B/zh
Publication of CN114627086A publication Critical patent/CN114627086A/zh
Application granted granted Critical
Publication of CN114627086B publication Critical patent/CN114627086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于改进特征金字塔网络的起重机表面损伤检测方法，包括对数据库中起重机表面损伤图片进行预处理与标注，得到训练样本；提取输入图片的抽象特征；进行上下文多尺度特征提取与编码；进行特征融合与上采样得到输出特征图；计算输出特征图中的每个像素的损伤置信度；计算损失函数，更新ResNest编码器网络的参数；输入待检测起重机表面损伤图片，得到每个像素的损伤置信度，结合预设阈值得到最终的表面损伤检测结果。本发明可实时快速地对起重机表面损伤图片进行像素级分割，有效解决起重机表面损伤检测中效率低等问题，节省人力成本并排除人为主观因素的干扰，具有准确率高，实用性强等优点。

Description

一种基于特征金字塔网络的起重机表面损伤检测方法
技术领域
本发明属于工程机械损伤检测技术领域，具体涉及一种基于改进特征金字塔网络的起重机表面损伤检测方法。
背景技术
起重机械作为我国国民经济建设中的重要基础设施，在重大工程建设和重大战略规划的落实上均发挥了重要的支撑作用。同时，由于起重机械广泛分布在各种工业生产场所，长期处于高强度、重载荷的运行状态，工作环境复杂多变，导致安全事故频发，给人民群众的生命财产安全构成极大威胁。
起重机的损伤检测是特种设备的监管的一项重要工作，其中主要的损伤主要包含磨损、腐蚀、断裂、裂纹等几类，真实场景下拍摄的起重机损伤图如图2所示。而目前对起重机的损伤检测的很大一部分工作仍由人工完成。这种方式需要耗费大量的人力资源，主观性较大，且成本昂贵，误检率高，生产效率低下。
随着计算机视觉技术的不断发展，通过图像处理技术对金属表面图像进行分析，判断待检测的金属表面是否存在缺陷，并对存在缺陷的金属进行分析处理，进行归类分级，提高了金属缺陷检测的生产效率和质量，取得了不错的效果。已经被广泛应用于工业产品质量检测。起重机表面损伤也可以看作是一种金属表面缺陷，因此，当前飞速发展的金属表面缺陷检测技术也可以自然地应用到起重机损伤检测。
发明内容
本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于改进特征金字塔网络的起重机表面损伤检测方法，通过提出改进金属表面缺陷检测模型来实现对起重机损伤的检测，可实时快速地对起重机表面损伤图像进行像素级分割，有效解决起重机表面损伤检测中效率低等问题。
为实现上述技术目的，本发明采取的技术方案为：
一种基于改进特征金字塔网络的起重机表面损伤检测方法，包括：
S1、对数据库中起重机表面损伤图片进行预处理与标注，得到训练样本，执行S2-S6进行网络训练；
S2、使用ResNest编码器网络提取输入图片的抽象特征；
S3、在提取出的抽象特征基础上进行上下文多尺度特征提取与编码；
S4、根据输入图片的尺寸要求对编码后的特征进行融合与上采样，得到相应大小的输出特征图；
S5、计算输出特征图中的每个像素的损伤置信度；
S6、根据损伤置信度与标注的损失图片计算损失函数，更新ResNest编码器网络的参数；
S7、输入待检测起重机表面损伤图片，通过S2-S5得到每个像素的损伤置信度，结合预设阈值得到最终的表面损伤检测结果。
为优化上述技术方案，采取的具体措施还包括：
上述的步骤S1包括：
S101、对起重机表面损伤图像进行直方图均衡化处理；
S102、对直方图均衡化处理后的起重机表面损伤图像进行标注，得到标注的损失图像；
S103、对直方图均衡化处理后的起重机表面损伤图像以及对应的标注图像进行水平翻转、垂直翻转、随机偏移、随机旋转、亮度调整、对比度调整、添加噪声操作，增加训练样本。
上述的步骤S2为：对于输入图片，采用ResNest编码器网络提取损伤的高维特征。
上述的步骤S3包括：
S301、在提取出的抽象特征基础上采用密集空洞卷积模块提取输入图片的不同尺寸特征，得到多尺度特征；
S302、采用残差多池化模块对多尺度特征进行全局上下文编码。
上述的步骤S4包括：
S401、使用FPN网络，将编码的各特征逐步融合；
S402、将融合后特征进行上采样，其中，上采样的大小为输入图片大小，通道数为损伤类别数。
上述的步骤S5包括：根据特征图，使用sigmoid函数得到每个像素为损伤的置信度，即损伤置信度，损伤置信度计算公式如下：
sigmoid函数将实数映射到(0,1)区间。
上述的步骤S6包括：
S601、使用Dice损失函数计算输出特征图与标注的损失图像的真值差；
Dice损失函数公式如下：
其中，|X∩Y|代表输出特征图和标注的损失图像的真值交集，X和Y分别代表输出特征图和标注的损失图像的损伤置信度，|X|和|Y|分别代表输出特征图和标注的损失图像中损伤置信度>0.5的元素的个数；
S602、利用反向传播更新ResNest编码器网络的参数；
S603、重复步骤S2-S602，直至S601得到的差值收敛且小于预设阈值，完成网络训练。
上述的步骤S7包括：
S701：输入待检测起重机表面损伤图片，经过步骤S2-S5，得到损伤置信度；
S703：根据预设阈值，逐个像素点判断是否为损伤区域，得到最终的表面损伤检测结果。
本发明具有以下有益效果：
本发明可实时快速地通过现场拍摄的照片检测出起重机表面损伤，节省人力成本并排除人为主观因素的干扰，具有效率高，准确率高，实用性强等优点；
同时，本发明也可推广应用于其他领域的损伤检测，适用性强。
附图说明
图1为为本发明检测方法流程框图；
图2为真实场景下拍摄的起重机损伤图。
具体实施方式
以下结合附图对本发明的实施例作进一步详细描述。
结合图1，本发明提出一种基于改进特征金字塔的起重机表面损伤检测方法，包括如下步骤：
S1、对数据库中起重机表面损伤图片进行预处理与标注，得到训练样本，执行S2-S6进行网络训练；
对于训练数据的预处理可以有效的提升网络模型训练时的收敛速度。使用数据增广的方法对训练图片进行增广，可以增加多样性，模拟真实环境中的各种复杂情形，提升损伤预测的鲁棒性。
首先对起重机表面损伤图片进行统一的直方图均衡化处理与标注，然后对起重机表面损伤图片以及对应的标注图片进行水平翻转、垂直翻转、随机偏移、随机旋转、亮度调整、对比度调整、添加噪声等操作，增加训练样本。
具体的，步骤S1包括：
S101、对起重机表面损伤图像进行直方图均衡化处理；
S102、对直方图均衡化处理后的起重机表面损伤图像进行标注，得到标注的损失图像；
S103、对直方图均衡化处理后的起重机表面损伤图像以及对应的标注图像进行水平翻转、垂直翻转、随机偏移、随机旋转、亮度调整、对比度调整、添加噪声等操作，增加训练样本。
S2、使用ResNest编码器网络提取输入图片的抽象特征；
对于输入图片，采用ResNest编码器网络提取损伤的高维特征。
特殊的结构设计使得ResNest能够高效地提取图片的特征，为后续模块进一步处理提供了丰富的特征信息。
具体实施时，训练网络时，输入图片是指训练样本中图片，实际检测时，输入图片是指待检测起重机表面损伤图片。
S3、在提取出的抽象特征基础上进行上下文多尺度特征提取与编码；
在提取出的抽象特征基础上，引入上下文提取器增大感受野，得到更丰富高级语义特征。
使用上下文提取器丰富语义特征主要包含以下步骤：
(1)密集空洞卷积模块(DAC)级联了多尺度的空洞卷积，能够提取具有各种尺寸的对象的特征，以解决起重机表面损伤检测中图片中损伤尺寸差异较大的问题。因此采用DAC提取目标对象的不同尺寸特征图。
(2)采用残差多池化模块(RMP)对多尺度特征进行全局上下文编码。
S4、根据输入图片的尺寸要求对编码后的特征进行融合与上采样，得到相应大小的输出特征图；
使用FPN网络，先将编码的各层特征逐步融合。
随后进行上采样，其中大小为输入图片大小，通道数为损伤类别数。
改进体现在整体网络上，例如前面增加的上下文多尺度特征编码模块。
S5、计算输出特征图中的每个像素的损伤置信度；
根据输出特征图，使用sigmoid函数得到每个像素为损伤的置信度。公式如下：
sigmoid函数将实数映射到(0,1)区间。
S6、根据损伤置信度与标注的损失图片计算损失函数，更新ResNest编码器网络的参数；
使用Dice损失函数计算检测结果与标注损失图片真值之间的差值。公式如下：
其中，|X∩Y|代表输出特征图和标注的损失图像的真值交集，X和Y分别代表输出特征图和标注的损失图像的损伤置信度，|X|和|Y|分别代表输出特征图和标注的损失图像中损伤置信度>0.5的元素的个数；
S602、利用反向传播更新ResNest编码器网络的参数；
S603、重复步骤S2-S602，直至S601得到的损失函数收敛且小于预设阈值，完成网络训练。
S7、输入待检测起重机表面损伤图片，通过S2-S5得到每个像素的损伤置信度，结合预设阈值得到最终的表面损伤检测结果。
S701：输入待检测起重机表面损伤图片，经过步骤S2-S5，得到损伤置信度；
S703：根据预设阈值，逐个像素点判断是否为损伤区域，得到最终的表面损伤检测结果。
综上所述，本发明(1)获取数据库中起重机表面图片数据，对其进行预处理；(2)使用ResNest编码器网络提取出表面图片的高维抽象特征；(3)通过一个上下文特征提取器，生成语义丰富的高维特征图；(4)使用解码器网络，将高维特征恢复为低维语义表征，同时图片被恢复为原始尺寸；(5)对恢复后的特征图的每个像素输出一个置信度；(6)采用交叉熵损失函数，计算输出结果与标注损伤的差值，对网络进行参数更新；(7)对于待检测的表面损伤图片，输入网络后即可得到像素级的损伤检测结果。本发明可实时快速地对起重机表面损伤图片进行像素级分割，有效解决起重机表面损伤检测中效率低等问题，节省人力成本并排除人为主观因素的干扰，具有准确率高，实用性强等优点。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (7)

1.一种基于特征金字塔网络的起重机表面损伤检测方法，其特征在于，包括：
S1、对数据库中起重机表面损伤图片进行预处理与标注，得到训练样本，执行S2- S6进行网络训练；
S2、使用ResNest编码器网络提取输入图片的抽象特征；
S3、在提取出的抽象特征基础上进行上下文多尺度特征提取与编码，包括：
S301、在提取出的抽象特征基础上采用密集空洞卷积模块提取输入图片的不同尺寸特征，得到多尺度特征；
S302、采用残差多池化模块对多尺度特征进行全局上下文编码；
S4、根据输入图片的尺寸要求，使用特征金字塔网络对编码后的特征进行融合与上采样，得到相应大小的输出特征图；
S5、计算输出特征图中的每个像素的损伤置信度；
S6、根据损伤置信度与标注的损失图片计算损失函数，更新ResNest编码器网络的参数；
S7、输入待检测起重机表面损伤图片，通过S2-S5得到每个像素的损伤置信度，结合预设阈值得到最终的表面损伤检测结果。
2.根据权利要求1所述的一种基于特征金字塔的起重机表面损伤检测方法，其特征在于，步骤S1包括：
S101、对起重机表面损伤图像进行直方图均衡化处理；
S102、对直方图均衡化处理后的起重机表面损伤图像进行标注，得到标注的损失图像；
S103、对直方图均衡化处理后的起重机表面损伤图像以及对应的标注图像进行水平翻转、垂直翻转、随机偏移、随机旋转、亮度调整、对比度调整、添加噪声操作，增加训练样本。
3.根据权利要求1所述的一种基于特征金字塔的起重机表面损伤检测方法，其特征在于，步骤S2为：对于输入图片，采用ResNest编码器网络提取损伤的高维特征。
4.根据权利要求1所述的一种基于特征金字塔的起重机表面损伤检测方法，其特征在于，步骤S4包括：
S401、使用特征金字塔网络，将编码的各特征逐步融合；
S402、将融合后特征进行上采样，其中，上采样的大小为输入图片大小，通道数为损伤类别数。
5.根据权利要求1所述的一种基于特征金字塔的起重机表面损伤检测方法，其特征在于，步骤S5包括：根据特征图，使用sigmoid函数得到每个像素为损伤的置信度，即损伤置信度，损伤置信度计算公式如下：
；
sigmoid函数将实数映射到（0,1）区间。
6.根据权利要求5所述的一种基于特征金字塔的起重机表面损伤检测方法，其特征在于，步骤S6包括：
S601、使用Dice损失函数计算输出特征图与标注的损失图像的真值差；
Dice损失函数公式如下：
其中，|X∩Y|代表输出特征图和标注的损失图像的真值交集，X和Y分别代表输出特征图和标注的损失图像的损伤置信度，|X|和|Y|分别代表输出特征图和标注的损失图像中损伤置信度>0.5的元素的个数；
S602、利用反向传播更新ResNest编码器网络的参数；
S603、重复步骤S2-S602，直至S601得到的差值收敛且小于预设阈值，完成网络训练。
7.根据权利要求6所述的一种基于特征金字塔的起重机表面损伤检测方法，其特征在于，步骤S7包括：
S701：输入待检测起重机表面损伤图片，经过步骤S2-S5，得到损伤置信度；
S703：根据预设阈值，逐个像素点判断是否为损伤区域，得到最终的表面损伤检测结果。
CN202210267024.8A 2022-03-18 2022-03-18 一种基于特征金字塔网络的起重机表面损伤检测方法 Active CN114627086B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210267024.8A CN114627086B (zh) 2022-03-18 2022-03-18 一种基于特征金字塔网络的起重机表面损伤检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210267024.8A CN114627086B (zh) 2022-03-18 2022-03-18 一种基于特征金字塔网络的起重机表面损伤检测方法

Publications (2)

Publication Number Publication Date
CN114627086A CN114627086A (zh) 2022-06-14
CN114627086B true CN114627086B (zh) 2023-04-28

Family

ID=81902721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210267024.8A Active CN114627086B (zh) 2022-03-18 2022-03-18 一种基于特征金字塔网络的起重机表面损伤检测方法

Country Status (1)

Country Link
CN (1) CN114627086B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059698A (zh) * 2019-04-30 2019-07-26 福州大学 用于街景理解的基于边缘稠密重建的语义分割方法及系统
CN112614112A (zh) * 2020-12-24 2021-04-06 苏州大学 Mcsli图像中条纹损伤的分割方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112037205A (zh) * 2020-09-01 2020-12-04 湖北微特传感物联研究院有限公司 一种基于深度学习的起重机裂纹检测方法
CN112017189B (zh) * 2020-10-26 2021-02-02 腾讯科技（深圳）有限公司 图像分割方法、装置、计算机设备和存储介质
CN112132844A (zh) * 2020-11-12 2020-12-25 福建帝视信息科技有限公司 基于轻量级的递归式非局部自注意力的图像分割方法
CN112711985B (zh) * 2020-12-09 2023-04-18 山东师范大学 基于改进solo网络的果实识别方法、装置及机器人
CN112653899B (zh) * 2020-12-18 2022-07-12 北京工业大学 一种基于联合注意力ResNeSt的复杂场景下网络直播视频特征提取方法
CN112837466B (zh) * 2020-12-18 2023-04-07 北京百度网讯科技有限公司 票据识别方法、装置、设备以及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059698A (zh) * 2019-04-30 2019-07-26 福州大学 用于街景理解的基于边缘稠密重建的语义分割方法及系统
CN112614112A (zh) * 2020-12-24 2021-04-06 苏州大学 Mcsli图像中条纹损伤的分割方法

Also Published As

Publication number Publication date
CN114627086A (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
Jiang et al. A deep learning approach for fast detection and classification of concrete damage
CN113436169B (zh) 一种基于半监督语义分割的工业设备表面裂纹检测方法及系统
CN112232349A (zh) 模型训练方法、图像分割方法及装置
CN112949783B (zh) 一种基于改进U-Net神经网络的道路裂缝检测方法
CN111611861B (zh) 一种基于多尺度特征关联的图像变化检测方法
CN111768388A (zh) 一种基于正样本参考的产品表面缺陷检测方法及系统
CN114743119B (zh) 基于无人机的高铁接触网吊弦螺母缺陷检测方法
CN114627383B (zh) 一种基于度量学习的小样本缺陷检测方法
CN114782391A (zh) 少样本工业图像缺陷检测模型构建方法、系统及装置
CN111507971A (zh) 一种隧道表面缺陷检测方法
CN114677601A (zh) 一种基于无人机巡检的结合深度学习的大坝裂缝检测方法
Li et al. A deep learning-based fine crack segmentation network on full-scale steel bridge images with complicated backgrounds
CN115937626B (zh) 基于实例分割的半虚拟数据集自动生成方法
CN115147418B (zh) 缺陷检测模型的压缩训练方法和装置
CN113379737A (zh) 基于图像处理及深度学习的管道缺陷智能检测方法及应用
CN116309292A (zh) 一种基于视觉转换层与实例分割的焊缝缺陷智能识别方法
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN115272826A (zh) 一种基于卷积神经网络的图像识别方法、装置及系统
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
CN114627086B (zh) 一种基于特征金字塔网络的起重机表面损伤检测方法
CN111429437B (zh) 面向目标检测的图像无参考清晰度质量检测方法
CN116486231A (zh) 一种基于改进YOLOv5的混凝土裂缝检测方法
CN113870236B (zh) 一种基于深度学习算法的复合材料缺陷无损探伤方法
CN115731177A (zh) 引入注意力机制和ConvNext网络的YOLO v5钢铁表面损伤的检测方法
Wang et al. Rust defect detection and segmentation method for tower crane

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant