CN115170579A - 一种金属锈蚀图像分割方法和装置 - Google Patents

一种金属锈蚀图像分割方法和装置 Download PDF

Info

Publication number
CN115170579A
CN115170579A CN202211098621.9A CN202211098621A CN115170579A CN 115170579 A CN115170579 A CN 115170579A CN 202211098621 A CN202211098621 A CN 202211098621A CN 115170579 A CN115170579 A CN 115170579A
Authority
CN
China
Prior art keywords
network
layer
convolution
metal corrosion
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211098621.9A
Other languages
English (en)
Other versions
CN115170579B (zh
Inventor
郑涛
宋伟
朱天成
朱世强
陈贤雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202211098621.9A priority Critical patent/CN115170579B/zh
Publication of CN115170579A publication Critical patent/CN115170579A/zh
Application granted granted Critical
Publication of CN115170579B publication Critical patent/CN115170579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像识别技术领域，涉及一种金属锈蚀图像分割方法和装置，该方法包括：建立金属锈蚀图像数据集，将金属锈蚀图像数据集分为训练集和测试集；构建基于U‑net网络和混合注意力机制的深度学习分割网络模型；将训练集输入所述深度学习分割模型中进行训练，得到训练好的模型；将测试集输入所述训练好的模型中进行测试，得到金属锈蚀图像的分割结果；将得到的金属锈蚀图像的分割结果与测试集对应的标签图像中的锈蚀位置进行对比，计算评价指标，对测试结果进行评价。本发明的方法，在原始U‑net网络的基础上，添加混合注意力机制，分别从通道域和空间域两个方面对锈蚀所在区域的权重进行提升，提高了金属锈蚀图像的分割精度、准确度。

Description

一种金属锈蚀图像分割方法和装置
技术领域
本发明属于图像识别技术领域，涉及一种金属锈蚀图像分割方法和装置。
背景技术
金属腐蚀是指在周围介质的化学或电化学作用下，并且经常是在和物理、机械或生物学因素的共同作用下金属产生的破坏性侵蚀，腐蚀危害遍及日常生活和几乎所有的行业，如冶金、化工、能源、矿山、交通、机械、航空航天、信息、农业、食品、医药、海洋开发、基础设施等。据统计，全世界每年因金属腐蚀造成的直接经济损失约 7000亿至10000 亿美元。其中，英国近年来因腐蚀造成的损失平均达100亿英镑，占 GDP 的3.5%; 德国的损失约为450亿德国马克，占 GDP的3.0%; 美国年腐蚀损失达3000多亿美元，占 GDP 的4.2%；我国每年因为腐蚀所造成的经济损失，占GDP的5%左右。
锈蚀是最常见的腐蚀形态，金属锈蚀是指金属的表面被腐蚀后，生成了肉眼可见的腐蚀生成物，如金属的氧化物、氢氧化物。在工程上，锈蚀不仅会影响美观，而且会直接引起金属构件断面面积减少、截面应力提高，由此导致构件承载能力、刚度和稳定性下降。金属锈蚀不仅会缩短金属构件的使用寿命，甚至会造成严重的灾难性事故。莱芜钢铁股份有限公司特钢厂由于锈蚀问题导致炼钢主厂房倒塌；俄罗斯丘索沃伊市的游泳馆由于锈蚀引起钢结构顶棚倒塌；意大利热那亚市莫兰迪桥由于锈蚀导致承载能力降低以至于突然垮塌；我国台湾南方澳跨港大桥由于钢拱梁钢缆发生锈蚀断裂，桥梁发生破坏；我国广州海印桥在使用6.5年后、济南黄河公路大桥使用13年后，均因拉索锈蚀严重，不得不全部更换。
定期对金属构件进行锈蚀检查，及早发现金属锈蚀，并根据锈蚀情况采取相应的措施和对策，可以降低安全隐患，避免不必要的经济损失。金属构件产生锈蚀后，其表面呈现出凹凸不平、锈皮泛起等特征形貌，这些特征是进行锈蚀等级评测的重要数据来源。目前工程界对于金属构件的锈蚀检测主要依赖人工目测，该方法虽然简单，但是存在检测工作量大、评判主观性强、工作危险性高等缺点，同时人工目测很难将锈蚀程度、锈蚀面积进行定量描述，检测结果的准确性难以保证。这为金属锈蚀部分的正确检测提出了重大挑战。
随着机器视觉和图像处理技术的快速发展，图像作为一种记录和描述信息的载体在金属锈蚀检测领域展现出强大的应用潜力。锈蚀区域检测可以理解为图像前景分割问题，通过图像采集设备获取金属表面的锈蚀图像，建立像素分类准则，利用图像处理算法提取锈蚀区域特征，进而实现对金属构件锈蚀等级的定量评测。传统的锈蚀检测方法多是利用锈蚀区域与背景之间存在的颜色差异、纹理差异或其他物理特征建立分割准测。郭建斌等通过对水工结构钢锈蚀图像进行灰度及二值化处理，并对其分布状况进行定量描述；卢树杰等研究了锈蚀区域HSV空间的颜色特征，并结合单目视差原理实现了对钢结构表面锈蚀区域的分割。Chen等研究了14个不同的颜色空间，通过确定最佳的颜色区间来实现锈蚀区域的检测。Shen等提出了一种基于颜色特征和纹理特征的锈蚀识别方法，在不均匀光照和噪声条件下也有较好的表现。Liao等通过在RGB和HIS颜色空间下研究锈蚀部分和其它部分的颜色特征差异，实现锈蚀分割。但是当图像表面不平整，或者锈蚀部分较大时，分割效果不佳。针对低饱和工件的锈蚀分割问题，Li等选择HSV颜色空间中的S通道进行锈蚀分割，数据集的最终准确率为96.29%。Hoang等利用灰度共生矩阵来表征金属表面的纹理信息，实现锈蚀区域的分割。
近年来, 随着计算机视觉和深度学习等领域不断取得突破,卷积神经网络（CNN）在目标检测领域表现出了优异的性能，因而广泛应用于人脸识别、智能交通、病虫害检测、工业检测等领域。其中基于深度学习的工业缺陷检测方法可以降低传统人工检测的成本,提升检测的准确性与效率。普渡大学的Qian Cheng研究了U-Net、DeepLab V3+、PSPNet和RefineNet四种语义分割模型，证明U-Net在实时处理图像方面表现最好。Ma等人对现有的CNN架构进行微调，并与滑动窗口技术结合，实现了对船舶钢结构腐蚀部分的检测。Huang等利用U-Net对钢桥的涂层锈蚀进行检测，由于只使用30张图像进行训练，模型的识别准确率略有不足。Papamarkou等训练了ResNet，可以实现对核燃料干式储罐中腐蚀部分的实时检测，缺点是无法对锈蚀部分进行量化。Yan等改进了SSD算法，采用ResNet网络代替了VGG网络，并且增加了自注意力机制，能够有效识别出变电站设备中的锈蚀部分。
尽管传统的修锈蚀分割算法取得了不错的效果，但是算法的鲁棒性、泛化性较差，在实际工程应用时，受光照、噪声、遮挡物等影响，往往存在严重的锈蚀特征误判的情形，表现不佳。基于深度学习的金属锈蚀图像割模型针对典型的金属构件锈蚀缺陷取得了一定的分割效果，但对于锈蚀程度较轻、金属构件局部小区域的锈蚀特征或是在锈蚀颜色与背景相近的情况下，并不能取得较好的分割效果。
总的来说，目前存在许多方法用于锈蚀区域分割，但是仍存在以下问题：（1）锈蚀多样性：不同环境下的锈蚀所呈现的颜色、纹理、形状都不尽相同，这增加了分割难度，对算法的泛化性提出了挑战。（2）部分场景下的锈蚀与背景颜色差异不大，往往难以识别。
基于深度学习语义分割的锈蚀区域检测方法，本质是一个像素级别的辨识问题，基本原理如下：首先将锈蚀图像输入到全卷积神经网络，进行前向传播，输出与原图尺寸一致的概率图；再将其与手工标注的二值化标签图像进行比对，分别对每一个像素进行损失值计算，并据此进行反向传播，指导网络更新权重，如此迭代更新，直到网络模型学习到最优权重参数。训练好的模型能够区分图像上的锈蚀像素或非锈蚀像素，对锈蚀像素和非锈蚀像素分别涂上不同颜色，即可得到精准的锈蚀区域分割图。
2015年Ronneberger等人提出了具有对称编码器-解码器结构的U-Net，首先应用于医学图像领域。随着相关学者对U-Net模型进行改进，许多基于U-Net的改进模型被提出，这些模型不仅在医学图像分割领域取得了较好的效果，而且在工业缺陷检测领域也表现出优异的性能。
U-Net网络是基于FCN优化改进得到的一种轻量级全卷积神经网络，具备训练样本少、分割精度高等优点。其网络结构主要包括编码器和解码器两部分，分别对应于图像的下采样操作和上采样操作。编码器由４个相同的编码块组成，每组编码块包含２个卷积核为3*3的卷积层和1个2*2的最大池化层（下采样），激活函数采用relu。每经过一次下采样操作，都会使特征图的尺寸减半，通道数翻倍。解码器由４个相同的解码块组成，每组解码块包含２个卷积核为3*3的卷积层和１个2*2的反卷积层（上采样），将反卷积之后的结果与来自对应下采样的特征图进行拼接，之后采用２次3*3卷积进行卷积运算，激活函数同样采用 relu。每经过一次上采样操作，都会使特征图的尺寸翻倍，通道数减半。在上采样的最后一层中，采用１个卷积核为1*1的卷积层将特征向量映射到网络的输出层。
注意力机制是机器学习中的一种数据处理方法，广泛应用在自然语言处理、图像识别及语音识别等各种不同类型的机器学习任务中。注意力机制本质上与人类对外界事物的观察机制相似。通常来说，人们在观察外界事物的时候，会选择性地忽略掉不感兴趣的部分，而将关注点集中在感兴趣的位置，从而提高信息的处理效率与准确率。这种机制能够使得有限的注意力资源得到合理、充分的使用。近几年来，深度学习与视觉注意力机制结合的研究工作，大多数是集中于使用掩码来形成注意力机制。掩码的原理在于通过另一层新的权重，将图片数据中关键的特征标识出来，通过学习训练，让深度神经网络学到每一张新图片中需要关注的区域，也就形成了注意力。 计算机视觉中的注意力机制的基本思想是让模型学会专注，把注意力集中在重要的信息上而忽视不重要的信息，简单来说，就是利用相关特征图学习权重分布，再用学出来的权重施加在原特征图之上最后进行加权求和。
U-Net网络中嵌入注意力机制能够对锈蚀图像语义分割进行有效监督，使网络模型聚焦于学习图像中的锈蚀语义特征，忽视其他无关特征，从而优化网络的图像分割效果，增强U-Net网络的鲁棒性和泛化能力。
发明内容
为了解决现有技术中存在的上述技术问题，本发明提出了一种金属锈蚀图像分割方法和装置，原始U-net网络的基础上，添加混合注意力机制，分别从通道域和空间域两个方面对锈蚀所在区域的权重进行提升，提高了金属锈蚀图像的分割精度、准确度，为识别分割金属锈蚀提供了一种有效方案，其具体技术方案如下：
一种金属锈蚀图像分割方法，包括以下步骤：
步骤一，获取金属锈蚀的真实图像，建立金属锈蚀图像数据集，将金属锈蚀图像数据集分为训练集和测试集；
步骤二，构建基于U-net网络和混合注意力机制的深度学习分割网络模型；
步骤三，将训练集输入所述构建的基于U-net网络和混合注意力机制的深度学习分割模型中进行训练，得到训练好的模型；
步骤四，将测试集输入所述训练好的模型中进行测试，得到金属锈蚀图像的分割结果；
步骤五，将得到的金属锈蚀图像的分割结果与测试集对应的标签图像中的锈蚀位置进行对比，计算评价指标，对测试结果进行评价。
进一步的，所述步骤一，具体包括以下子步骤：
步骤101：从互联网上搜集以及实地拍摄获取金属锈蚀的真实图像，将采集到的原始锈蚀图像裁切至统一尺寸；
步骤102：对统一尺寸后的图像进行标注，得到与之对应的标签图像；
步骤103：利用旋转、镜像、添加噪声、随即遮挡的数据增强方法对原始图像数据进行扩充，得到金属锈蚀图像数据集并分为训练集和测试集。
进一步的，所述步骤二中的深度学习分割网络模型，基于U-net网络，包括编码器部分和解码器部分，采用混合注意力机制，对输入的真实图像的进行特征提取。
进一步的，所述编码器部分由5层网络构成，具体的：在第1层网络，对输入图片进行两次卷积操作，卷积后引入混合注意力机制，然后将输出结果与第1层网络的输入相加输出特征图再进行最大池化，池化后使用舍弃概率为0.05的随机失活进入第2层网络；在第2层网络，使用两次卷积操作，卷积后引入混合注意力机制，然后将输出结果与第2层网络的输入相加输出特征图进行最大池化，池化后使用舍弃概率为0.1的随机失活进入第3层网络；在第3层网络，使用两次卷积操作，卷积后引入混合注意力机制，然后将输出结果与第3层网络的输入相加输出特征图进行最大池化，池化后使用舍弃概率为0.1的随机失活进入第4层网络；在第4层网络，使用两次卷积操作，卷积后引入混合注意力机制，然后将输出结果与第4层网络的输入相加输出特征图进行最大池化，池化后使用舍弃概率为0.1的随机失活进入第5层网络；在第5层网络，使用两次卷积操作。
进一步的，所述解码器部分由4层网络构成，具体的：第5层网络的输出作为第6层网络的输入，输入第6层网络后对其进行转置卷积操作，转置卷积输出的特征图与在第4层网络中未经过最大池化的特征图进行拼接，然后使用舍弃概率为0.1的随机失活，进行两次卷积操作，卷积后引入混合注意力机制，将输出结果与第6层网络的输入相加进入第7层网络，在第7层网络进行转置卷积操作，将转置卷积输出的特征图与在第3层中未经过最大池化的特征图进行拼接，然后使用舍弃概率为0.1的随机失活，再使用两次卷积操作，卷积后引入混合注意力机制，然后将输出结果与第7层网络的输入相加进入第8层网络；在第8层网络进行转置卷积操作，将转置卷积输出的特征图与在第2层中未经过最大池化的特征图进行拼接，然后使用舍弃概率为0.1的随机失活，再使用两次卷积操作，卷积后引入混合注意力机制，然后将输出结果与第8层网络的输入相加进入第9层网络；在第9层网络进行转置卷积操作，将输出的特征图与在第1层中未经过最大池化的特征图进行拼接，然后使用舍弃概率为0.1的随机失活，再使用两次卷积操作，卷积后引入混合注意力机制，然后将输出结果与第9层网络的输入相加，使用一次卷积操作，输出特征结果。
进一步的，所述第1层网络至第8层网络采用的过滤器的个数分别为16、32、64、128、256、128、64、32，第9层网络采用的过滤器的个数为16和1；所述第1层网络至第8层网络采用的激活函数为relu，第9层网络采用的激活函数为relu和sigmoid。
进一步的，所述混合注意力机制具体包括通道注意力模块和空间注意力模块，所述通道注意力模块对输入的特征图分别在通道方向进行最大池化和平均池化，进行空间特征信息的学习，得到不同空间的特征图，然后经过一个共享网络后，将两个特征图相加得到通道特征权重，最后将其与输入的原始特征图相乘，得到在通道方向上权重分配后的通道特征图，表达式如下：
Figure 100002_DEST_PATH_IMAGE002
Figure 100002_DEST_PATH_IMAGE004
Figure 100002_DEST_PATH_IMAGE006
Figure 100002_DEST_PATH_IMAGE008
Figure 100002_DEST_PATH_IMAGE010
Figure 100002_DEST_PATH_IMAGE012
，
其中，
Figure 100002_DEST_PATH_IMAGE014
表示输入特征图，
Figure 100002_DEST_PATH_IMAGE016
表示最大池化操作，
Figure 100002_DEST_PATH_IMAGE018
表示平均池化操作，
Figure 100002_DEST_PATH_IMAGE020
表示最大池化特征，
Figure 100002_DEST_PATH_IMAGE022
表示平均池化特征，
Figure 100002_DEST_PATH_IMAGE024
表示最大池化特征经过共享网络MLP后的特征，
Figure 100002_DEST_PATH_IMAGE026
表示平均池化特征经过共享网络MLP后的特征，
Figure 100002_DEST_PATH_IMAGE028
表示通道特征权重。
进一步的，所述空间注意力模块将输入特征图分别在空间方向上进行最大池化和平均池化，得到平均池化特征图和最大池化特征图，然后通过1*1卷积将通道数变为1，得到空间特征权重，最后将其与通道特征图相乘，得到更新的特征图，表达式如下：
Figure 100002_DEST_PATH_IMAGE002A
Figure 100002_DEST_PATH_IMAGE004A
Figure 100002_DEST_PATH_IMAGE030
Figure 553723DEST_PATH_IMAGE012
。
一种金属锈蚀图像分割装置，包括一个或多个处理器，用于实现所述的一种金属锈蚀图像分割方法。
一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现所述的一种金属锈蚀图像分割方法。
本发明有益的技术效果在于：
1.本发明改进的U-net网络结构中编码器部分和解码器部分引入了混合注意力机制，可以通过学习并筛选图像通道域和空间域中锈蚀部分的重要特征，抑制无用的特征信息，从而提高算法对锈蚀的分割效果。
2.本发明的锈蚀分割方法利用建立的锈蚀数据集进行训练，然后利用训练好的网络对待处理锈蚀图像进行分割，为锈蚀分割提供了一种有效的方法，此外，在训练过程中，采用数据增强方法增加了样本数量，增强了网络的泛化性。
附图说明
图1为本发明的一种金属锈蚀图像分割方法的具体流程示意图；
图2为本发明的一种金属锈蚀图像分割方法的整体流程框示意图；
图3为本发明的一种金属锈蚀图像分割方法中的网络结构图；
图4为本发明使用的混合注意力机制的模块结构示意图；
图5为本发明使用的通道注意力模块的结构图；
图6为本发明使用的空间注意力模块的结构图；
图7是采用本发明的网络模型与其他方法对金属锈蚀图像进行分割的效果对比图；
图8是本发明实施例的一种金属锈蚀图像分割装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图和实施例，对本发明作进一步详细说明。
如图1和图2所示，本发明的一种金属锈蚀图像分割方法，基于U-net网络和混合注意力机制，具体包括以下步骤：
步骤一，获取金属锈蚀的真实图像，建立金属锈蚀图像数据集，将金属锈蚀图像数据集分为训练集和测试集，具体包括以下子步骤：
步骤101：从互联网上搜集以及实地拍摄获取金属锈蚀的真实图像，将采集到的原始锈蚀图像裁切至统一尺寸；
步骤102：对统一尺寸后的图像进行标注，得到与之对应的标签图像；
步骤103：利用旋转、镜像、添加噪声、随即遮挡等数据增强方法对原始图像数据进行扩充，得到金属锈蚀图像数据集并分为训练集和测试集。
步骤二，构建基于U-net网络和混合注意力机制的深度学习分割网络模型。
具体的，如图3所示，所述深度学习分割网络模型的网络结构包括编码器部分和解码器部分。
所述编码器部分：在第1层网络，对输入图片进行两次卷积核为3*3，步长为1的卷积操作，卷积后引入混合注意力机制，然后将输出结果与第1层网络的输入相加输出特征图再进行卷积核为2*2的最大池化，池化后使用舍弃概率为0.05的随机失活进入第2层网络；在第2层网络，使用两次卷积核为3*3，步长为1的卷积操作，卷积后引入混合注意力机制，然后将输出结果与第2层网络的输入相加输出特征图进行卷积核为2*2的最大池化，池化后使用舍弃概率为0.1的随机失活进入第3层网络；在第3层网络，使用两次卷积核为3*3，步长为1的卷积操作，卷积后引入混合注意力机制，然后将输出结果与第3层网络的输入相加输出特征图进行卷积核为2*2的最大池化，池化后使用舍弃概率为0.1的随机失活进入第4层网络；在第4层网络，使用两次卷积核为3*3，步长为1的卷积操作，卷积后引入混合注意力机制，然后将输出结果与第4层网络的输入相加输出特征图进行卷积核为2*2的最大池化，池化后使用舍弃概率为0.1的随机失活进入第5层网络；在第5层网络，使用两次卷积核为3*3，步长为1的卷积操作。
所述解码器部分：第5层网络的输出作为第6层网络的输入，输入第6层网络后对其使用卷积核为3*3，步长为2的转置卷积，转置卷积输出的特征图与在第4层网络中未经过最大池化的特征图进行拼接，然后使用舍弃概率为0.1的随机失活，进行两次卷积核为3*3，步长为1的卷积操作，卷积后引入混合注意力机制，将输出结果与第6层网络的输入相加进入第7层网络，在第7层网络使用卷积核为3*3，步长为2的转置卷积，将输出的特征图与在第3层中未经过最大池化的特征图进行拼接，然后使用舍弃概率为0.1的随机失活，再使用两次卷积核为3*3，步长为1的卷积操作，卷积后引入混合注意力机制，然后将输出结果与第7层网络的输入相加进入第8层网络；在第8层网络使用卷积核为3*3，步长为2的转置卷积，将输出的特征图与在第2层中未经过最大池化的特征图进行拼接，然后使用舍弃概率为0.1的随机失活，再使用两次卷积核为3*3，步长为1的卷积操作，卷积后引入混合注意力机制，然后将输出结果与第8层网络的输入相加进入第9层网络；在第9层网络使用卷积核为3*3，步长为2的转置卷积，将输出的特征图与在第1层中未经过最大池化的特征图进行拼接，然后使用舍弃概率为0.1的随机失活，再使用两次卷积核为3*3，步长为1的卷积操作，卷积后引入混合注意力机制，然后将输出结果与第9层网络的输入相加，使用一次卷积核为1*1的卷积操作，模型输出结果。
其中，所述第1层网络至第8层网络采用的过滤器的个数分别为16、32、64、128、256、128、64、32，第9层网络采用的过滤器的个数为16和1；
所述第1层网络至第8层网络采用的激活函数为relu，第9层网络采用的激活函数为relu和sigmoid。
所述混合注意力机制CBAM（Convolutional block attention module），如图4所示，具体包括通道注意力模块和空间注意力模块；
其中，通道注意力模块如图5所示：对输入的特征图分别在通道方向进行最大池化和平均池化，进行空间特征信息的学习，得到不同空间的特征图，然后经过一个小型的共享网络后，将两个特征图相加得到通道特征权重，最后将其与输入的原始特征图相乘，得到在通道方向上权重分配后的通道特征图，表达式如下：
Figure DEST_PATH_IMAGE002AA
Figure DEST_PATH_IMAGE004AA
Figure DEST_PATH_IMAGE006A
Figure DEST_PATH_IMAGE008A
Figure DEST_PATH_IMAGE010A
Figure 749824DEST_PATH_IMAGE012
，
其中，
Figure 60720DEST_PATH_IMAGE014
表示输入特征图，
Figure 3399DEST_PATH_IMAGE016
表示最大池化操作，
Figure 348930DEST_PATH_IMAGE018
表示平均池化操作，
Figure 702551DEST_PATH_IMAGE020
表示最大池化特征，
Figure 500742DEST_PATH_IMAGE022
表示平均池化特征，
Figure 981534DEST_PATH_IMAGE024
表示最大池化特征经过共享网络MLP后的特征，
Figure 384833DEST_PATH_IMAGE026
表示平均池化特征经过共享网络MLP后的特征，
Figure 909355DEST_PATH_IMAGE028
表示通道特征权重。
所述空间注意力模块如图6所示：将输入特征图分别在空间方向上进行最大池化和平均池化，得到平均池化特征图和最大池化特征图，然后通过1*1卷积将通道数变为1，得到空间特征权重，最后将其与通道特征图相乘，得到更新的特征图，表达式如下：
Figure DEST_PATH_IMAGE002AAA
Figure DEST_PATH_IMAGE004AAA
Figure DEST_PATH_IMAGE030A
Figure 601368DEST_PATH_IMAGE012
。
金属锈蚀具有颜色多样、形状不规则等特点，为了提高模型的分割性能，本发明在原始U-net网络的基础上，添加混合注意力机制，分别从通道域和空间域两个方面对锈蚀所在区域的权重进行提升，提高了金属锈蚀图像的分割精度、准确度。
步骤三，将训练集输入所述构建的基于U-net网络和混合注意力机制的深度学习分割模型中进行训练，得到训练好的模型。
步骤四，将测试集输入所述训练好的模型中进行测试，得到金属锈蚀图像的分割结果。
步骤五，将得到的金属锈蚀图像的分割结果与测试集对应的标签图像中的锈蚀位置进行对比，计算评价指标，对测试结果进行评价。
所述评价指标，具体包括：
以下指标用于评估金属锈蚀分割模型的性能：Accuracy、Recall、Precision、F1、mIoU；TP为预测正例正确，FP为预测正例错误，TN为预测负例正确，FN为预测负例错误，这些评价函数的定义如下：
Figure DEST_PATH_IMAGE032
Figure DEST_PATH_IMAGE034
Figure DEST_PATH_IMAGE036
Figure DEST_PATH_IMAGE038
Figure DEST_PATH_IMAGE040
为了验证本发明提出的一种基于U-net和混合注意力机制的金属锈蚀图像分割方法的有效性，从互联网上搜集以及实地拍摄金属锈蚀图像，建立数据集，并用该数据集对网络进行训练、测试。
具体实施例如下：
1.实验条件：
本实验在如表1所示的环境下进行。
表1 实验环境配置
名称 型号
操作系统 Windows11
开发语言 Python3.9
深度学习框架 Tensorflow2.5
CPU AMD Ryzen 7 5800H with Radeon Graphics
GPU NVIDIA GeForce RTX 3070
CUDA版本 11.4
2.模型训练：
训练时选择Adam算法作为优化器，初始的学习率设置为0.001，batchsize设置为16，epochs设置为200。采用学习率动态调整策略：如果验证集的损失在连续20个epoch中没有下降，则模型地学习率减少一半；如果验证集的损失在连续100个epoch中没有下降，则模型将自动停止训练，防止过拟合。
3.损失函数：
Tversky loss是Dice loss的一般表达式，Tversky loss在假阳性、假阴性区域增加了权重因子，公式如下所示：
Figure DEST_PATH_IMAGE042
这里A表示预测值而B表示真实值。当
Figure DEST_PATH_IMAGE044
和
Figure DEST_PATH_IMAGE046
均为0.5的时候，这个公式就是Dice系数，当
Figure 509019DEST_PATH_IMAGE044
和
Figure 563562DEST_PATH_IMAGE046
均为1的时候，这个公式就是Jaccard系数；其中代表FP（假阳性），代表FN(假阴性)，通过调整和这两个超参数可以控制这两者之间的权衡。
4.实验内容：
表2 不同语义分割模型的性能对比
Accuracy Precision Recall F1 MIoU
U-Net 87.14 79.74 94.76 83.12 76.15
Fcn-8s 84.70 73.55 95.67 79.75 71.40
Attention U-Net 90.80 82.52 94.98 85.83 79.43
U-Net++ 87.07 78.51 89.98 80.92 72.07
SE-UNet 93.07 83.33 96.75 87.74 81.81
Res-UNet 89.02 80.07 90.56 82.93 74.89
PSPNet 89.56 79.97 95.50 84.23 77.40
Ours 95.95 90.07 93.91 91.41 86.11
上表2显示，通过与经典的语义分割网络如FCN、PSPNet、U-Net以及其变种网络进行对比，本发明提出的改进网络模型在Accuracy、Precision、F1、mIoU指标上表现最好，相比于基准网络U-Net，本发明提出的网络模型在F1和mIoU指标上分别提高了10.72%和8.61%。如图7所示为上表2中网络模型对金属锈蚀的分割结果比较，其中(a)表示输入图像，(b)表示标签，(c)表示U-Net 的分割结果，(d)表示Fcn-8s 的分割结果，(e)表示AttentionU-Net的分割结果，(f)表示U-Net++的分割结果，(g)表示SE-UNet的分割结果，(h)表示Res-UNet的分割结果，(i)表示PSPNet的分割结果，(j)表示本发明提出的网络模型的分割结果。
本发明提出的一种基于U-net和混合注意力机制的金属锈蚀图像分割方法，通过数据增强的方法，增加了样本数量，避免模型出现过拟合，在编码器部分和解码器部分引入混合注意力机制，可以从通道域和空间域两个方面对锈蚀所在区域的权重进行提升，抑制无用的特征信息，提高了金属锈蚀图像的分割精度、准确度。
与前述一种金属锈蚀图像分割方法的实施例相对应，本发明还提供了一种金属锈蚀图像分割装置的实施例。
参见图8，本发明实施例提供的一种金属锈蚀图像分割装置，包括一个或多个处理器，用于实现上述实施例中的一种金属锈蚀图像分割方法。
本发明一种金属锈蚀图像分割装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图8所示，为本发明一种金属锈蚀图像分割装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图8所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种金属锈蚀图像分割方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述，仅为本发明的优选实施案例，并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明，对于熟悉本领域的人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行同等替换。凡在本发明精神和原则之内所做修改、同等替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种金属锈蚀图像分割方法，其特征在于，包括以下步骤：
步骤一，获取金属锈蚀的真实图像，建立金属锈蚀图像数据集，将金属锈蚀图像数据集分为训练集和测试集；
步骤二，构建基于U-net网络和混合注意力机制的深度学习分割网络模型；
步骤三，将训练集输入所述构建的基于U-net网络和混合注意力机制的深度学习分割模型中进行训练，得到训练好的模型；
步骤四，将测试集输入所述训练好的模型中进行测试，得到金属锈蚀图像的分割结果；
步骤五，将得到的金属锈蚀图像的分割结果与测试集对应的标签图像中的锈蚀位置进行对比，计算评价指标，对测试结果进行评价。
2.如权利要求1所述的一种金属锈蚀图像分割方法，其特征在于，所述步骤一，具体包括以下子步骤：
步骤101：从互联网上搜集以及实地拍摄获取金属锈蚀的真实图像，将采集到的原始锈蚀图像裁切至统一尺寸；
步骤102：对统一尺寸后的图像进行标注，得到与之对应的标签图像；
步骤103：利用旋转、镜像、添加噪声、随即遮挡的数据增强方法对原始图像数据进行扩充，得到金属锈蚀图像数据集并分为训练集和测试集。
3.如权利要求1所述的一种金属锈蚀图像分割方法，其特征在于，所述步骤二中的深度学习分割网络模型，基于U-net网络，包括编码器部分和解码器部分，采用混合注意力机制，对输入的真实图像的进行特征提取。
4.如权利要求3所述的一种金属锈蚀图像分割方法，其特征在于，所述编码器部分由5层网络构成，具体的：在第1层网络，对输入图片进行两次卷积操作，卷积后引入混合注意力机制，然后将输出结果与第1层网络的输入相加输出特征图再进行最大池化，池化后使用舍弃概率为0.05的随机失活进入第2层网络；在第2层网络，使用两次卷积操作，卷积后引入混合注意力机制，然后将输出结果与第2层网络的输入相加输出特征图进行最大池化，池化后使用舍弃概率为0.1的随机失活进入第3层网络；在第3层网络，使用两次卷积操作，卷积后引入混合注意力机制，然后将输出结果与第3层网络的输入相加输出特征图进行最大池化，池化后使用舍弃概率为0.1的随机失活进入第4层网络；在第4层网络，使用两次卷积操作，卷积后引入混合注意力机制，然后将输出结果与第4层网络的输入相加输出特征图进行最大池化，池化后使用舍弃概率为0.1的随机失活进入第5层网络；在第5层网络，使用两次卷积操作。
5.如权利要求4所述的一种金属锈蚀图像分割方法，其特征在于，所述解码器部分由4层网络构成，具体的：第5层网络的输出作为第6层网络的输入，输入第6层网络后对其进行转置卷积操作，转置卷积输出的特征图与在第4层网络中未经过最大池化的特征图进行拼接，然后使用舍弃概率为0.1的随机失活，进行两次卷积操作，卷积后引入混合注意力机制，将输出结果与第6层网络的输入相加进入第7层网络，在第7层网络进行转置卷积操作，将转置卷积输出的特征图与在第3层中未经过最大池化的特征图进行拼接，然后使用舍弃概率为0.1的随机失活，再使用两次卷积操作，卷积后引入混合注意力机制，然后将输出结果与第7层网络的输入相加进入第8层网络；在第8层网络进行转置卷积操作，将转置卷积输出的特征图与在第2层中未经过最大池化的特征图进行拼接，然后使用舍弃概率为0.1的随机失活，再使用两次卷积操作，卷积后引入混合注意力机制，然后将输出结果与第8层网络的输入相加进入第9层网络；在第9层网络进行转置卷积操作，将输出的特征图与在第1层中未经过最大池化的特征图进行拼接，然后使用舍弃概率为0.1的随机失活，再使用两次卷积操作，卷积后引入混合注意力机制，然后将输出结果与第9层网络的输入相加，使用一次卷积操作，输出特征结果。
6.如权利要求5所述的一种金属锈蚀图像分割方法，其特征在于，所述第1层网络至第8层网络采用的过滤器的个数分别为16、32、64、128、256、128、64、32，第9层网络采用的过滤器的个数为16和1；所述第1层网络至第8层网络采用的激活函数为relu，第9层网络采用的激活函数为relu和sigmoid。
7.如权利要求5所述的一种金属锈蚀图像分割方法，其特征在于，所述混合注意力机制具体包括通道注意力模块和空间注意力模块，所述通道注意力模块对输入的特征图分别在通道方向进行最大池化和平均池化，进行空间特征信息的学习，得到不同空间的特征图，然后经过一个共享网络后，将两个特征图相加得到通道特征权重，最后将其与输入的原始特征图相乘，得到在通道方向上权重分配后的通道特征图，表达式如下：
Figure DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE004
Figure DEST_PATH_IMAGE006
Figure DEST_PATH_IMAGE008
Figure DEST_PATH_IMAGE010
Figure DEST_PATH_IMAGE012
，
其中，
Figure DEST_PATH_IMAGE014
表示输入特征图，
Figure DEST_PATH_IMAGE016
表示最大池化操作，
Figure DEST_PATH_IMAGE018
表示平均池化操作，
Figure DEST_PATH_IMAGE020
表示最大池化特征，
Figure DEST_PATH_IMAGE022
表示平均池化特征，
Figure DEST_PATH_IMAGE024
表示最大池化特征经过共享网络MLP后的特征，
Figure DEST_PATH_IMAGE026
表示平均池化特征经过共享网络MLP后的特征，
Figure DEST_PATH_IMAGE028
表示通道特征权重。
8.如权利要求7所述的一种金属锈蚀图像分割方法，其特征在于，所述空间注意力模块将输入特征图分别在空间方向上进行最大池化和平均池化，得到平均池化特征图和最大池化特征图，然后通过1*1卷积将通道数变为1，得到空间特征权重，最后将其与通道特征图相乘，得到更新的特征图，表达式如下：
Figure DEST_PATH_IMAGE002A
Figure DEST_PATH_IMAGE004A
Figure DEST_PATH_IMAGE030
Figure 594618DEST_PATH_IMAGE012
。
9.一种金属锈蚀图像分割装置，其特征在于，包括一个或多个处理器，用于实现权利要求1-8中任一项所述的一种金属锈蚀图像分割方法。
10.一种计算机可读存储介质，其特征在于，其上存储有程序，该程序被处理器执行时，实现权利要求1-8中任一项所述的一种金属锈蚀图像分割方法。
CN202211098621.9A 2022-09-09 2022-09-09 一种金属锈蚀图像分割方法和装置 Active CN115170579B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211098621.9A CN115170579B (zh) 2022-09-09 2022-09-09 一种金属锈蚀图像分割方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211098621.9A CN115170579B (zh) 2022-09-09 2022-09-09 一种金属锈蚀图像分割方法和装置

Publications (2)

Publication Number Publication Date
CN115170579A true CN115170579A (zh) 2022-10-11
CN115170579B CN115170579B (zh) 2023-05-12

Family

ID=83482366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211098621.9A Active CN115170579B (zh) 2022-09-09 2022-09-09 一种金属锈蚀图像分割方法和装置

Country Status (1)

Country Link
CN (1) CN115170579B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115966029A (zh) * 2023-03-09 2023-04-14 珠海金智维信息科技有限公司 一种基于注意力机制的离线签名认证方法及系统
CN116109518A (zh) * 2023-03-30 2023-05-12 之江实验室 一种金属锈蚀图像的数据增强、分割方法及装置
CN116228797A (zh) * 2023-05-09 2023-06-06 中国石油大学(华东) 基于注意力和U-Net的页岩扫描电镜图像分割方法
CN116630323A (zh) * 2023-07-25 2023-08-22 山东建筑大学 一种稠密金属腐蚀深度自动计算方法、系统、介质和设备
CN117067226A (zh) * 2023-08-17 2023-11-17 兰州交通大学 钢桥锈蚀检测机器人及锈蚀检测方法
CN117455743A (zh) * 2023-12-18 2024-01-26 国家海洋局南海规划与环境研究院 基于深度学习的疏浚泥资源化利用评价方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862093A (zh) * 2020-08-06 2020-10-30 华中科技大学 一种基于图像识别的腐蚀等级信息处理方法及系统
CN112651978A (zh) * 2020-12-16 2021-04-13 广州医软智能科技有限公司 舌下微循环图像分割方法和装置、电子设备、存储介质
CN112927240A (zh) * 2021-03-08 2021-06-08 重庆邮电大学 一种基于改进的AU-Net网络的CT图像分割方法
CN113658142A (zh) * 2021-08-19 2021-11-16 江苏金马扬名信息技术股份有限公司 一种基于改进U-Net神经网络的髋关节股骨近端分割方法
CN113763327A (zh) * 2021-08-10 2021-12-07 上海电力大学 一种基于CBAM-Res_Unet的电厂管道高压蒸汽泄露检测方法
CN114066866A (zh) * 2021-11-23 2022-02-18 湖南科技大学 一种基于深度学习的医学图像自动分割方法
US20220092742A1 (en) * 2019-10-23 2022-03-24 University Of Shanghai For Science And Technology Learning Method of Generative Adversarial Network with Multiple Generators for Image Denoising
CN114359292A (zh) * 2021-12-10 2022-04-15 南昌大学 一种基于多尺度和注意力的医学图像分割方法
CN114897789A (zh) * 2022-04-14 2022-08-12 安徽工业大学 一种基于图像分割的烧结矿粒度检测方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220092742A1 (en) * 2019-10-23 2022-03-24 University Of Shanghai For Science And Technology Learning Method of Generative Adversarial Network with Multiple Generators for Image Denoising
CN111862093A (zh) * 2020-08-06 2020-10-30 华中科技大学 一种基于图像识别的腐蚀等级信息处理方法及系统
CN112651978A (zh) * 2020-12-16 2021-04-13 广州医软智能科技有限公司 舌下微循环图像分割方法和装置、电子设备、存储介质
CN112927240A (zh) * 2021-03-08 2021-06-08 重庆邮电大学 一种基于改进的AU-Net网络的CT图像分割方法
CN113763327A (zh) * 2021-08-10 2021-12-07 上海电力大学 一种基于CBAM-Res_Unet的电厂管道高压蒸汽泄露检测方法
CN113658142A (zh) * 2021-08-19 2021-11-16 江苏金马扬名信息技术股份有限公司 一种基于改进U-Net神经网络的髋关节股骨近端分割方法
CN114066866A (zh) * 2021-11-23 2022-02-18 湖南科技大学 一种基于深度学习的医学图像自动分割方法
CN114359292A (zh) * 2021-12-10 2022-04-15 南昌大学 一种基于多尺度和注意力的医学图像分割方法
CN114897789A (zh) * 2022-04-14 2022-08-12 安徽工业大学 一种基于图像分割的烧结矿粒度检测方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LUMINZI HONG等: "Qau-Net：Quartet Attention U-Net for Liver and Liver-Tumor Segmentation" *
周涛 等: "用于肺部肿瘤图像分割的跨模态多编码混合注意力U-Net" *
陈林: "基于全卷积神经网络的眼底图像视网膜血管分割的研究", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》 *
陈法法 等: ""融合双注意力机制和U-Net网络的锈蚀图像分割", 《西安交通大学学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115966029A (zh) * 2023-03-09 2023-04-14 珠海金智维信息科技有限公司 一种基于注意力机制的离线签名认证方法及系统
CN115966029B (zh) * 2023-03-09 2023-11-07 珠海金智维信息科技有限公司 一种基于注意力机制的离线签名认证方法及系统
CN116109518A (zh) * 2023-03-30 2023-05-12 之江实验室 一种金属锈蚀图像的数据增强、分割方法及装置
CN116228797A (zh) * 2023-05-09 2023-06-06 中国石油大学(华东) 基于注意力和U-Net的页岩扫描电镜图像分割方法
CN116228797B (zh) * 2023-05-09 2023-08-15 中国石油大学(华东) 基于注意力和U-Net的页岩扫描电镜图像分割方法
CN116630323A (zh) * 2023-07-25 2023-08-22 山东建筑大学 一种稠密金属腐蚀深度自动计算方法、系统、介质和设备
CN116630323B (zh) * 2023-07-25 2023-09-22 山东建筑大学 一种稠密金属腐蚀深度自动计算方法、系统、介质和设备
CN117067226A (zh) * 2023-08-17 2023-11-17 兰州交通大学 钢桥锈蚀检测机器人及锈蚀检测方法
CN117455743A (zh) * 2023-12-18 2024-01-26 国家海洋局南海规划与环境研究院 基于深度学习的疏浚泥资源化利用评价方法及系统
CN117455743B (zh) * 2023-12-18 2024-04-09 国家海洋局南海规划与环境研究院 基于深度学习的疏浚泥资源化利用评价方法及系统

Also Published As

Publication number Publication date
CN115170579B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN115170579B (zh) 一种金属锈蚀图像分割方法和装置
Chu et al. Tiny‐Crack‐Net: A multiscale feature fusion network with attention mechanisms for segmentation of tiny cracks
Guo et al. Damage detection in a novel deep-learning framework: a robust method for feature extraction
Gao et al. Cas-VSwin transformer: A variant swin transformer for surface-defect detection
Panella et al. Semantic segmentation of cracks: Data challenges and architecture
CN115482491A (zh) 一种基于transformer的桥梁缺陷识别方法与系统
CN114511515B (zh) 一种基于BoltCorrDetNet网络的螺栓腐蚀检测系统和检测方法
Giorgiani do Nascimento et al. Satellite image classification and segmentation with transfer learning
Yang et al. Automatic identification of harmful algae based on multiple convolutional neural networks and transfer learning
Duy et al. Deep learning in semantic segmentation of rust in images
Zhao et al. Research on video classification method of key pollution sources based on deep learning
Zhang et al. Attention mechanism and texture contextual information for steel plate defects detection
Ahuja et al. Optimized deep learning framework for detecting pitting corrosion based on image segmentation
Choi Deep learning implemented structural defect detection on digital images
Qin et al. Improved YOLOv7 model for underwater sonar image object detection
Wang et al. Sonar Objective Detection Based on Dilated Separable Densely Connected CNNs and Quantum‐Behaved PSO Algorithm
Wu et al. Corrosion detection method of transmission line components in mining area based on multiscale enhanced fusion
Jain et al. Flynet–neural network model for automatic building detection from satellite images
Jang Cascaded Deep Learning Network for Postearthquake Bridge Serviceability Assessment
Bianchi COCO-bridge: Common objects in context dataset and benchmark for structural detail detection of bridges
Yustiana et al. THE CONCEPTUAL MODEL OF NATIONAL RESILIENCE ASSESSMENT DUE TO THE IMPACT OF COASTAL RECLAMATION WITH SYSTEM DYNAMIC METHODS
Soares et al. An Autonomous Inspection Method for Pitting Detection Using Deep Learning
Liu et al. Research on the detection technique of situation elements in obscure overlapping scenes
OZDEN AI ethical consideration and cybersecurity
Kaizer et al. A Machine Vision Case Study of U-Net Networks for Superficial Corrosion and Dirt Image Segmentation on Industrial Coated Steel Structures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant