CN113989271A - 基于双注意力机制和U-net网络的漆面图像分割系统及方法 - Google Patents

基于双注意力机制和U-net网络的漆面图像分割系统及方法 Download PDF

Info

Publication number
CN113989271A
CN113989271A CN202111413562.5A CN202111413562A CN113989271A CN 113989271 A CN113989271 A CN 113989271A CN 202111413562 A CN202111413562 A CN 202111413562A CN 113989271 A CN113989271 A CN 113989271A
Authority
CN
China
Prior art keywords
image
feature
net network
paint
net
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111413562.5A
Other languages
English (en)
Inventor
常红杰
高键
齐亮
丁明解
张永韡
宋英磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University of Science and Technology
Original Assignee
Jiangsu University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University of Science and Technology filed Critical Jiangsu University of Science and Technology
Priority to CN202111413562.5A priority Critical patent/CN113989271A/zh
Publication of CN113989271A publication Critical patent/CN113989271A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双注意力机制和U‑net网络的漆面图像分割系统及方法，包括：对搜集到的漆面图像进行预处理得到训练集；将训练集作为改进后的U‑net网络的输入数据进行训练；将待分割的漆面图像输入到训练好的U‑net分割模型中，得到分割结果。本发明使用Efficientnet‑B0编码器提取原始漆面图像特征、使用引入调制系数的FocalLoss损失函数以及在特征融合阶段嵌入串行双通道CBAM模块的方法对U‑net网络进行改进，利用Efficientnet系列网络的优势，减少了模型的训练参数，提高了分割模型的实时性；利用双注意力机制的优势，加强了网络对漆面区域的注意力权重，提高了网络的准确性和精度，解决了单一U‑net网络在进行漆面分割时出现的特征提取不准确、误分割、分割精度低、实时性差等问题。

Description

基于双注意力机制和U-net网络的漆面图像分割系统及方法
技术领域
本发明属于钢板漆面图像处理技术领域，涉及基于双注意力机制和U-net网络的漆面图像分割系统及方法。
背景技术
在工业领域，为了保护金属或者其他基体材料，一般会对表面进行涂漆以达到防锈防氧化防腐蚀等作用。当油漆层出现部分脱落或者其他原因需要对表面重新涂漆时，需要完全清洗原有的漆层。传统的油漆清洗手段有很多，主要以人工结合机械打磨、化学清洗等手段为主，这些传统的油漆清洗手段不仅能耗高、污染大、易损伤金属材料，往往还对工作人员造成一定的身体危害。解决这些问题的理想办法就是采用视觉自动引导车搭载激光除漆代替传统的油漆清洗手段。
漆面图像的分割精度是视觉自动除漆小车工作效率和效果的前提和保证。在实际应用中，漆面图像和背景(金属材料、地面等)的对比度不高，图像采集过程中的噪声，环境中的光影变化等都会对漆面图像的分割精度造成影响。虽然目前的深度学习和神经网络算法已经很成熟，很多神经网络模型能够解决图像识别、图像分割的问题，且性能均不错，但应用在漆面图像分割领域的方法很少，此外没有公开的漆面数据集，都加大了漆面图像分割的难度。
U-net神经网络模型，常应用于医学图像分割领域，得益于其轻量化的结构，出色的分割性能，以及对输入图片的强包容性。这些特征均与漆面图像较符合，但是直接将U-net模型应用在漆面图像分割领域，会存在误分割、分割精度低、实时性差等缺点。
与本发明最相似的技术方案是专利号为CN112396571A公开的一种基于注意力机制的EfficientNet敏感图像检测方法及系统。CN112396571A公开的技术方案是直接采用EfficientNet网络结构并嵌入注意力机制进行应用，而直接将原生的U-net神经网络直接用在漆面图像分割上，存在分割准确率低、分割精度低、分割时间久的等缺陷。存在这些问题的主要原因是漆面信息的特征信息较多，而U-net为了网络的轻量化舍去了全连接层，以及U-net原有的编码器对特征提取不够详尽，原生的U-net损失函数采用了常用的交叉熵损失函数，对特征区域的关注程度不够。以上U-net的特点造成漆面特征信息提取不够完整。
发明内容
发明目的：针对上述现有技术的问题，本发明目的在于通过使用Efficientnet-B0编码器提取原始漆面图像特征、使用引入调制系数的FocalLoss损失函数以及在特征融合阶段嵌入串行双通道CBAM模块的方法，来提高漆面图像的分割精度、准确性和实时性。
技术方案：为实现上述发明目的，本发明具体采用了如下技术方案：
本发明提供了一种基于双注意力机制和U-net网络的漆面图像分割系统，包括：预处理模块，用以将搜集到的原始漆面图像进行预处理得到图像训练集；U-net网络改进模块，用以通过使用Efficientnet-B0编码器提取原始漆面图像特征、使用引入调制系数的FocalLoss损失函数以及在特征融合阶段嵌入串行双通道CBAM模块的方法对U-net网络进行改进，得到改进后的U-net网络；U-net分割模型训练模块，用以将图像训练集作为改进后的U-net网络的输入数据进行训练得到训练好的U-net分割模型；图像分割模块，用以将待分割的漆面图像作为测试数据输入至训练好的U-net分割模型中得到分割后的结果。
进一步的，在预处理模块中，预处理的具体方法为：根据原始漆面图像的长度和宽度，将原始漆面图像以及该原始漆面图像对应的标签图像扩充为正方形图像；具体为：当原始漆面图像的长度与宽度不同时，通过添加灰边使得原始漆面图像的宽度和长度相同，从而获得边缘填充后的漆面图像和与其对应的标签图像；对边缘填充后的漆面图像进行高斯滤波降噪处理，得到降噪后的漆面图像；将降噪后的漆面图像与边缘填充后的标签图像做数据增强；具体为：将降噪后的漆面图像与缘填充后的标签图像对应并组成数据集N1，将N1中的漆面图像和标签图像经水平翻转获得数据集N2，经角度值分别为90°、180°和270°的三次旋转获得数据集N3、N4和N5，最后将N1、N2、N3、N4和N5共同组成的数据集作为图像训练集。
进一步的，在U-net网络改进模块中：
使用Efficientnet-B0编码器提取原始漆面图像特征来改进U-net网络的具体方法为：
EfficientNet-B0编码器包含16个移动倒置瓶颈模块，分别提取第5个以及第7个MBConv块处理之后的特征图，其中第5个MBConv块提取到的特征图经过空间注意力模块，输入到上采样部分进行特征融合，第7个MBConv块提取到的特征图用于下采样，进行更深层次的特征提取；每个移动倒置瓶颈模块包括：四个1×1的卷积层、一个3×3的深度可分离卷积以及一次特征融合操作，在3×3深度可分离卷积结构前利用1×1卷积升维，在3×3深度可分离卷积结构后增加了一个关于通道的注意力机制，最后利用1×1卷积降维后增加一个残差边，每个卷积层后面均添加了批量归一化层和Swish激活层；
在特征融合阶段嵌入串行双通道CBAM模块改进U-net网络的具体方法为：
在特征融合环节加入一个空间注意力模块，用以提高改进后的U-net网络对漆面区域的权重，同时降低非漆面区域的权重；在原始U-net网络的特征加强部分中的卷积层输出后面嵌入一个通道注意力模块，用以减少特征融合之后冗余的通道数。
进一步的，将第5个MBConv块提取到的特征图作为改进后的U-net网络的特征融合特征图，第7个MBConv块提取到的特征图作为改进后的U-net网络下采样特征图；
在空间注意力模块中，对来自EfficientNet-B0编码器第5个MBConv块提取到特征图F在通道维度上分别执行平均池化与最大池化的操作，生成2个单通道的特征图：平均值特征图
Figure BDA0003374420350000031
和最大值特征图
Figure BDA0003374420350000032
将平均值特征图
Figure BDA0003374420350000033
和最大值特征图
Figure BDA0003374420350000034
分别经过一次卷积操作后进行通道堆叠生成一个权重图R，然后通过权重图R对特征图F进行加权，生成特征图Q；将特征图Q与改进后的U-net的特征加强部分中的卷积层的输出特征图O进行拼接，得到初步特征融合之后的特征图P，在特征图P中，与漆面相关的区域被赋予了更高的权重，其余区域则降低了权重，空间注意力模块的计算为
Figure BDA0003374420350000035
Figure BDA0003374420350000036
Figure BDA0003374420350000037
其中，Ms(F)是空间注意力模块的输出特征图信息，
Figure BDA0003374420350000038
表示卷积操作，r表示ReLu激活函数；
在通道注意力模块中，对特征图P进行一次平均池化与一次最大池化操作，然后进行通道拼接，生成一个1×1×C的全局特征M，其中C代表通道的数量；使用大小为k的一维卷积对全局特征M进行卷积，生成一个注意力权重图N，一维卷积的卷积核大小k的计算式为
Figure BDA0003374420350000041
其中，C是通道数，|Aodd表示与A相邻最近的奇数；
将注意力权重图N与特征图P进行逐通道维度相乘，得到带有权重注意力的输出特征图G，通道注意力模块的计算为
Figure BDA0003374420350000042
Figure BDA0003374420350000043
Figure BDA0003374420350000044
Figure BDA0003374420350000045
G＝r[N+P]
其中，
Figure BDA0003374420350000046
表示卷积操作，r表示ReLu激活函数。
进一步的，在U-net分割模型训练模块中，具体训练过程如下：使用Efficientnet-B0网络中训练好的权重文件对Efficientnet-B0网络进行参数初始化；以自适应矩阵估计作为优化器、FocalLoss作为损失函数，对改进后的U-net网络的训练参数进行设置：初始学习率为0.001，求一阶矩估计时的指数衰减率β1＝0.9，求二阶矩估计时的指数衰减率为β1＝0.999，训练轮数为100，每轮训练样本数为8；将预处理得到的图像训练集重新随机排列，然后输入至改进后的U-net网络中进行训练，直至得到训练好的U-net分割模型。
另外，本发明提供了一种基于双注意力机制和U-net网络的漆面图像分割方法，包括：步骤1，将搜集到的原始漆面图像进行预处理得到图像训练集；步骤2，通过使用Efficientnet-B0编码器提取原始漆面图像特征、使用引入调制系数的FocalLoss损失函数以及在特征融合阶段嵌入串行双通道CBAM模块的方法对U-net网络进行改进，得到改进后的U-net网络；步骤3，将图像训练集作为改进后的U-net网络的输入数据进行训练得到训练好的U-net分割模型；步骤4，将待分割的漆面图像作为测试数据输入至训练好的U-net分割模型中得到分割后的结果。
进一步的，在步骤1中，预处理的具体方法为：根据原始漆面图像的长度和宽度，将原始漆面图像以及该图像对应的标签图像扩充为正方形图像；具体为：当原始漆面图像的长度与宽度不同时，通过添加灰边使得原始漆面图像的宽度和长度相同，从而获得边缘填充后的漆面图像和与其对应的标签图像；对边缘填充后的漆面图像进行高斯滤波降噪处理，得到降噪后的漆面图像；将降噪后的漆面图像与边缘填充后的标签图像做数据增强；具体为：将降噪后的漆面图像与缘填充后的标签图像对应并组成数据集N1，将N1中的漆面图像和标签图像经水平翻转获得数据集N2，经角度值分别为90°、180°和270°的三次旋转获得数据集N3、N4和N5，最后将N1、N2、N3、N4和N5共同组成的数据集作为图像训练集。
进一步的，在步骤2中：
使用Efficientnet-B0编码器提取原始漆面图像特征来改进U-net网络的具体方法为：
EfficientNet-B0编码器包含16个移动倒置瓶颈模块，分别提取第5个以及第7个MBConv块处理之后的特征图，其中第5个MBConv块提取到的特征图经过空间注意力模块，输入到上采样部分进行特征融合，第7个MBConv块提取到的特征图用于下采样，进行更深层次的特征提取；每个移动倒置瓶颈模块包括：四个1×1的卷积层、一个3×3的深度可分离卷积以及一次特征融合操作，在3×3深度可分离卷积结构前利用1×1卷积升维，在3×3深度可分离卷积结构后增加了一个关于通道的注意力机制，最后利用1×1卷积降维后增加一个残差边，每个卷积层后面均添加了批量归一化层和Swish激活层；
在特征融合阶段嵌入串行双通道CBAM模块改进U-net网络的具体方法为：
在特征融合环节加入一个空间注意力模块，用以提高改进后的U-net网络对漆面区域的权重，同时降低非漆面区域的权重；在原始U-net网络的特征加强部分中的卷积层输出后面嵌入一个通道注意力模块，用以减少特征融合之后冗余的通道数。
进一步的，将第5个MBConv块提取到的特征图作为改进后的U-net网络的特征融合特征图，第7个MBConv块提取到的特征图作为改进后的U-net网络下采样特征图；
在空间注意力模块中，对来自EfficientNet-B0编码器第5个MBConv块提取到特征图F在通道维度上分别执行平均池化与最大池化的操作，生成2个单通道的特征图：平均值特征图
Figure BDA0003374420350000061
和最大值特征图
Figure BDA0003374420350000062
将平均值特征图
Figure BDA0003374420350000063
和最大值特征图
Figure BDA0003374420350000064
分别经过一次卷积操作后进行通道堆叠生成一个权重图R，然后通过权重图R对特征图F进行加权，生成特征图Q；将特征图Q与改进后的U-net的特征加强部分中的卷积层的输出特征图O进行拼接，得到初步特征融合之后的特征图P，在特征图P中，与漆面相关的区域被赋予了更高的权重，其余区域则降低了权重，空间注意力模块的计算为
Figure BDA0003374420350000065
Figure BDA0003374420350000066
Figure BDA0003374420350000067
其中，Ms(F)是空间注意力模块的输出特征图信息，
Figure BDA0003374420350000068
表示卷积操作，r表示ReLu激活函数；
在通道注意力模块中，对特征图P进行一次平均池化与一次最大池化操作，然后进行通道拼接，生成一个1×1×C的全局特征M，其中C代表通道的数量；使用大小为k的一维卷积对全局特征M进行卷积，生成一个注意力权重图N，一维卷积的卷积核大小k的计算式为
Figure BDA0003374420350000069
其中，C是通道数，|A|odd表示与A相邻最近的奇数；
将注意力权重图N与特征图P进行逐通道维度相乘，得到带有权重注意力的输出特征图G，通道注意力模块的计算为
Figure BDA00033744203500000610
Figure BDA00033744203500000611
Figure BDA00033744203500000612
Figure BDA00033744203500000613
G＝r[N+P]
其中，
Figure BDA00033744203500000614
表示卷积操作，r表示ReLu激活函数。
进一步的，在步骤3中，具体训练过程如下：使用Efficientnet-B0网络中训练好的权重文件对Efficientnet-B0网络进行参数初始化；以自适应矩阵估计作为优化器、FocalLoss作为损失函数，对改进后的U-net网络的训练参数进行设置：初始学习率为0.001，求一阶矩估计时的指数衰减率β1＝0.9，求二阶矩估计时的指数衰减率为β1＝0.999，训练轮数为100，每轮训练样本数为8；将预处理得到的图像训练集重新随机排列，然后输入至改进后的U-net网络中进行训练，直至得到训练好的U-net分割模型。
有益效果：根据本发明提供的基于双注意力机制和U-net网络的漆面图像分割系统及方法，与现有的分割方法相比，本发明通过使用Efficientnet-B0编码器提取原始漆面图像特征、使用引入调制系数的FocalLoss损失函数以及在特征融合阶段嵌入串行双通道CBAM模块的方法对U-net网络进行改进，利用Efficientnet系列网络的优势，减少了模型的训练参数，提高了分割模型的实时性；利用串行双通道注意力机制的优势，加强了网络对漆面区域的注意力权重，提高了网络的准确性和精度，解决了单一U-net网络在进行漆面分割时出现的特征提取不准确、误分割、分割精度低、实时性差等问题。实验结果表明，本发明提出的方法，相比于传统的U-net网络，很好地兼顾了分割精度和实时性的要求。
附图说明
图1是本发明的流程图。
图2是预处理之后的图像训练集。
图3是Efficientnet-B0编码器结构图。
图4是串行双通道注意力机制结构图。
图5是U-net分割模型结构图。
图6是不同网络模型分割后的图像。
具体实施方式
以下结合实施例及附图对本发明的具体实施方式作具体阐述。
实施例一
本实施例公开一种基于双注意力机制和U-net网络的漆面图像分割系统，如图1所示。基于双注意力机制和U-net网络的漆面图像分割系统，包括：预处理模块，用以将搜集到的原始漆面图像进行预处理得到图像训练集；U-net网络改进模块，用以通过使用Efficientnet-B0编码器提取原始漆面图像特征、使用引入调制系数的FocalLoss损失函数以及在特征融合阶段嵌入串行双通道CBAM模块的方法对U-net网络进行改进，得到改进后的U-net网络；U-net分割模型训练模块，用以将图像训练集作为改进后的U-net网络的输入数据进行训练得到训练好的U-net分割模型；图像分割模块，用以将待分割的漆面图像作为测试数据输入至训练好的U-net分割模型中得到分割后的结果。
进一步的，在预处理模块中，预处理的具体方法为：根据原始漆面图像的长度和宽度，将原始漆面图像以及该原始漆面图像对应的标签图像扩充为正方形图像；具体为：当原始漆面图像的长度与宽度不同时，通过添加灰边使得原始漆面图像的宽度和长度相同，从而获得边缘填充后的漆面图像和与其对应的标签图像；对边缘填充后的漆面图像进行高斯滤波降噪处理，得到降噪后的漆面图像，其中高斯核为标准差为1，大小为3×3的高斯模板矩阵；将降噪后的漆面图像与边缘填充后的标签图像做数据增强；具体为：将降噪后的漆面图像与缘填充后的标签图像对应并组成数据集N1，将N1中的漆面图像和标签图像经水平翻转获得数据集N2，经角度值分别为90°、180°和270°的三次旋转获得数据集N3、N4和N5，最后将N1、N2、N3、N4和N5共同组成的数据集作为图像训练集，该图像训练集如图2所示。
进一步的，在U-net网络改进模块中：
图3是Efficientnet-B0编码器结构图，如图3所示，使用Efficientnet-B0编码器提取原始漆面图像特征来改进U-net网络的具体方法为：
EfficientNet-B0编码器包含16个移动倒置瓶颈模块，分别提取第5个以及第7个MBConv块处理之后的特征图，其中第5个MBConv块提取到的特征图经过空间注意力模块，输入到上采样部分进行特征融合，第7个MBConv块提取到的特征图用于下采样，进行更深层次的特征提取；每个移动倒置瓶颈模块包括：四个1×1的卷积层、一个3×3的深度可分离卷积以及一次特征融合操作，在3×3深度可分离卷积结构前利用1×1卷积升维，在3×3深度可分离卷积结构后增加了一个关于通道的注意力机制，最后利用1×1卷积降维后增加一个残差边，每个卷积层后面均添加了批量归一化层和Swish激活层；
使用引入调制系数的FocalLoss损失函数改进U-net网络的具体方法为：
交叉熵损失函数为
Figure BDA0003374420350000081
其中，p表示y＝1的概率，-log(p)是y＝1时的损失值；
令
Figure BDA0003374420350000091
则交叉熵损失函数公式简化为CE(p,y)＝CE(pt)＝-log(pt)；
为了使交叉熵损失函数能够控制容易分类和难分类样本的权重，引入调制系数(1-pt)γ,γ≥0，得到FocalLoss损失函数为
Focal Loss＝-(1-pt)γlog(pt)
图4是串行双通道注意力机制结构图，如图4所示，在特征融合阶段嵌入串行双通道CBAM模块改进U-net网络的具体方法为：
在特征融合环节加入一个空间注意力模块，用以提高改进后的U-net网络对漆面区域的权重，同时降低非漆面区域的权重；在原始U-net网络的特征加强部分中的卷积层输出后面嵌入一个通道注意力模块，用以减少特征融合之后冗余的通道数，提高改进后的U-net网络的训练效率和实时性。
进一步的，将第5个MBConv块提取到的特征图作为改进后的U-net网络的特征融合特征图，第7个MBConv块提取到的特征图作为改进后的U-net网络下采样特征图；具体过程如下：
对特征图尺寸×特征图尺寸×通道数为38×38×48的特征图进行1×1的卷积，升高维度为38×38×128的特征图；对特征图尺寸×特征图尺寸×通道数为19×19×136的特征图，首先进行1×1的卷积降低维度为19×19×28的特征图，然后进行上采样到38×38×128的特征图；对上述两个38×38×128的特征图进行级联和归一化得到融合后的38×38×384的特征图，将38×38×384的特征图作为改进后的U-net网络的特征融合特征图；对19×19×136的特征图进行1×1的卷积，升高维度为19×19×384的特征图，将19×19×384的特征图作为改进后的U-net网络的下采样特征图；
在空间注意力模块中，对来自EfficientNet-B0编码器第5个MBConv块提取到特征图F在通道维度上分别执行平均池化与最大池化的操作，生成2个单通道的特征图：平均值特征图
Figure BDA0003374420350000092
和最大值特征图
Figure BDA0003374420350000093
将平均值特征图
Figure BDA0003374420350000094
和最大值特征图
Figure BDA0003374420350000095
分别经过一次卷积操作后进行通道堆叠生成一个权重图R，然后通过权重图R对特征图F进行加权，生成特征图Q；将特征图Q与改进后的U-net的特征加强部分中的卷积层的输出特征图O进行拼接，得到初步特征融合之后的特征图P，在特征图P中，与漆面相关的区域被赋予了更高的权重，其余区域则降低了权重，空间注意力模块的计算为
Figure BDA0003374420350000101
Figure BDA0003374420350000102
Figure BDA0003374420350000103
其中，Ms(F)是空间注意力模块的输出特征图信息，
Figure BDA0003374420350000104
表示卷积操作，r表示ReLu激活函数；
在通道注意力模块中，对特征图P进行一次平均池化与一次最大池化操作，然后进行通道拼接，生成一个1×1×C的全局特征M，其中C代表通道的数量；使用大小为k的一维卷积对全局特征M进行卷积，生成一个注意力权重图N，一维卷积的卷积核大小k的计算式为
Figure BDA0003374420350000105
其中，C是通道数，|A|odd表示与A相邻最近的奇数；
将注意力权重图N与特征图P进行逐通道维度相乘，得到带有权重注意力的输出特征图G，该输出特征图G中具有更清晰的漆面语义信息和更少的冗余通道数以及更大的感受野，通道注意力模块的计算为
Figure BDA0003374420350000106
Figure BDA0003374420350000107
Figure BDA0003374420350000108
Figure BDA0003374420350000109
G＝r[N+P]
其中，
Figure BDA00033744203500001010
表示卷积操作，r表示ReLu激活函数。
进一步的，在U-net分割模型训练模块中，具体训练过程如下：使用Efficientnet-B0网络中训练好的权重文件对Efficientnet-B0网络进行参数初始化；以自适应矩阵估计作为优化器、FocalLoss作为损失函数，对改进后的U-net网络的训练参数进行设置：初始学习率为0.001，求一阶矩估计时的指数衰减率β1＝0.9，求二阶矩估计时的指数衰减率为β1＝0.999，训练轮数为100，每轮训练样本数为8；将预处理得到的图像训练集重新随机排列，然后输入至改进后的U-net网络中进行训练，直至得到训练好的U-net分割模型，如图5所示。
最后，将训练好的U-net分割模型作为预测模型进行漆面图像分割，输出结果的大小为520×520，与标签大小一致；因此使用FocalLoss作为损失函数在训练100轮之后，损失值稳定且达到最小，测试的训练模型可以进行分割。
图6是不同网络模型分割后的图像，如图6所示，改进后的U-net模型有效的解决了传统U-net模型的误分割、分割精度低等问题，本发明的有效性和实时性等其他性能通过以下实验来验证：
1.实验条件
本实验在如表1所示的环境中进行。
表1实验环境设置
项目 型号
操作系统 Windows 10
开发语言 Python 3.7
深度学习框架 Pytorch 1.8
CPU Intel Xeon Sliver 4110@2.10GHz
GPU NVIDIA GeForce RTX 2080Ti
2.实验内容
分别利用U-net模型、Res-Unet模型、DeepLabV3、DeepLabV3+模型以及本文改进的U-net模型对同一验证数据进行分割，将处理后的漆面图像输入到训练好的分割模型中，图像尺寸为520×520×3，实验结果如表2所示。
表2不同模型的分割精度和性能
Figure BDA0003374420350000111
Figure BDA0003374420350000121
由表2可以看出，本发明改进后的算法在精度方面，可以达到98％、90.1％，与传统的U-net模型及Res-Unet模型相比，有着明显优势，与最先进的DeepLabV3及DeepLabV3+模型相比，几乎不相上下；另外，在模型性能方面，尤其是分割时间方面，本发明改进的算法只有0.1039s，相比于DeepLabV3及DeepLabV3+模型，有着大幅度的提升。
实施例二
本实施例提供一种基于双注意力机制和U-net网络的漆面图像分割方法，如图1所示。基于双注意力机制和U-net网络的漆面图像分割方法，包括：步骤1，将搜集到的原始漆面图像进行预处理得到图像训练集；步骤2，通过使用Efficientnet-B0编码器提取原始漆面图像特征、使用引入调制系数的FocalLoss损失函数以及在特征融合阶段嵌入串行双通道CBAM模块的方法对U-net网络进行改进，得到改进后的U-net网络；步骤3，将图像训练集作为改进后的U-net网络的输入数据进行训练得到训练好的U-net分割模型；步骤4，将待分割的漆面图像作为测试数据输入至训练好的U-net分割模型中得到分割后的结果。
进一步的，在步骤1中，预处理的具体方法为：根据原始漆面图像的长度和宽度，将原始漆面图像以及该图像对应的标签图像扩充为正方形图像；具体为：当原始漆面图像的长度与宽度不同时，通过添加灰边使得原始漆面图像的宽度和长度相同，从而获得边缘填充后的漆面图像和与其对应的标签图像；对边缘填充后的漆面图像进行高斯滤波降噪处理，得到降噪后的漆面图像，其中高斯核为标准差为1，大小为3×3的高斯模板矩阵；将降噪后的漆面图像与边缘填充后的标签图像做数据增强；具体为：将降噪后的漆面图像与缘填充后的标签图像对应并组成数据集N1，将N1中的漆面图像和标签图像经水平翻转获得数据集N2，经角度值分别为90°、180°和270°的三次旋转获得数据集N3、N4和N5，最后将N1、N2、N3、N4和N5共同组成的数据集作为图像训练集，该图像训练集如图2所示。
进一步的，在步骤2中：
图3是Efficientnet-B0编码器结构图，如图3所示，使用Efficientnet-B0编码器提取原始漆面图像特征来改进U-net网络的具体方法为：
EfficientNet-B0编码器包含16个移动倒置瓶颈模块，分别提取第5个以及第7个MBConv块处理之后的特征图，其中第5个MBConv块提取到的特征图经过空间注意力模块，输入到上采样部分进行特征融合，第7个MBConv块提取到的特征图用于下采样，进行更深层次的特征提取；每个移动倒置瓶颈模块包括：四个1×1的卷积层、一个3×3的深度可分离卷积以及一次特征融合操作，在3×3深度可分离卷积结构前利用1×1卷积升维，在3×3深度可分离卷积结构后增加了一个关于通道的注意力机制，最后利用1×1卷积降维后增加一个残差边，每个卷积层后面均添加了批量归一化层和Swish激活层；
使用引入调制系数的FocalLoss损失函数改进U-net网络的具体方法为：
交叉熵损失函数为
Figure BDA0003374420350000131
其中，p表示y＝1的概率，-log(p)是y＝1时的损失值；
令
Figure BDA0003374420350000132
则交叉熵损失函数公式简化为CE(p,y)＝CE(pt)＝-log(pt)；
为了使交叉熵损失函数能够控制容易分类和难分类样本的权重，引入调制系数(1-pt)γ,γ≥0，得到FocalLoss损失函数为
Focal Loss＝-(1-pt)γlog(pt)
图4是串行双通道注意力机制结构图，如图4所示，在特征融合阶段嵌入串行双通道CBAM模块改进U-net网络的具体方法为：
在特征融合环节加入一个空间注意力模块，用以提高改进后的U-net网络对漆面区域的权重，同时降低非漆面区域的权重；在原始U-net网络的特征加强部分中的卷积层输出后面嵌入一个通道注意力模块，用以减少特征融合之后冗余的通道数，提高改进后的U-net网络的训练效率和实时性。
进一步的，将第5个MBConv块提取到的特征图作为改进后的U-net网络的特征融合特征图，第7个MBConv块提取到的特征图作为改进后的U-net网络下采样特征图；具体过程如下：
对特征图尺寸×特征图尺寸×通道数为38×38×48的特征图进行1×1的卷积，升高维度为38×38×128的特征图；对特征图尺寸×特征图尺寸×通道数为19×19×136的特征图，首先进行1×1的卷积降低维度为19×19×28的特征图，然后进行上采样到38×38×128的特征图；对上述两个38×38×128的特征图进行级联和归一化得到融合后的38×38×384的特征图，将38×38×384的特征图作为改进后的U-net网络的特征融合特征图；对19×19×136的特征图进行1×1的卷积，升高维度为19×19×384的特征图，将19×19×384的特征图作为改进后的U-net网络的下采样特征图；
在空间注意力模块中，对来自EfficientNet-B0编码器第5个MBConv块提取到特征图F在通道维度上分别执行平均池化与最大池化的操作，生成2个单通道的特征图：平均值特征图
Figure BDA0003374420350000141
和最大值特征图
Figure BDA0003374420350000142
将平均值特征图
Figure BDA0003374420350000143
和最大值特征图
Figure BDA0003374420350000144
分别经过一次卷积操作后进行通道堆叠生成一个权重图R，然后通过权重图R对特征图F进行加权，生成特征图Q；将特征图Q与改进后的U-net的特征加强部分中的卷积层的输出特征图O进行拼接，得到初步特征融合之后的特征图P，在特征图P中，与漆面相关的区域被赋予了更高的权重，其余区域则降低了权重，空间注意力模块的计算为
Figure BDA0003374420350000145
Figure BDA0003374420350000146
Figure BDA0003374420350000147
其中，Ms(F)是空间注意力模块的输出特征图信息，
Figure BDA0003374420350000148
表示卷积操作，r表示ReLu激活函数；
在通道注意力模块中，对特征图P进行一次平均池化与一次最大池化操作，然后进行通道拼接，生成一个1×1×C的全局特征M，其中C代表通道的数量；使用大小为k的一维卷积对全局特征M进行卷积，生成一个注意力权重图N，一维卷积的卷积核大小k的计算式为
Figure BDA0003374420350000149
其中，C是通道数，|A|odd表示与A相邻最近的奇数；
将注意力权重图N与特征图P进行逐通道维度相乘，得到带有权重注意力的输出特征图G，该输出特征图G中具有更清晰的漆面语义信息和更少的冗余通道数以及更大的感受野，通道注意力模块的计算为
Figure BDA0003374420350000151
Figure BDA0003374420350000152
Figure BDA0003374420350000153
Figure BDA0003374420350000154
G＝r[N+P]
其中，
Figure BDA0003374420350000155
表示卷积操作，r表示ReLu激活函数。
进一步的，在步骤3中，具体训练过程如下：使用Efficientnet-B0网络中训练好的权重文件对Efficientnet-B0网络进行参数初始化；以自适应矩阵估计作为优化器、FocalLoss作为损失函数，对改进后的U-net网络的训练参数进行设置：初始学习率为0.001，求一阶矩估计时的指数衰减率β1＝0.9，求二阶矩估计时的指数衰减率为β1＝0.999，训练轮数为100，每轮训练样本数为8；将预处理得到的图像训练集重新随机排列，然后输入至改进后的U-net网络中进行训练，直至得到训练好的U-net分割模型，如图5所示。
最后，将训练好的U-net分割模型作为预测模型进行漆面图像分割，输出结果的大小为520×520，与标签大小一致；因此使用FocalLoss作为损失函数在训练100轮之后，损失值稳定且达到最小，测试的训练模型可以进行分割。
图6是不同网络模型分割后的图像，如图6所示，改进后的U-net模型有效的解决了传统U-net模型的误分割、分割精度低等问题，本发明的有效性和实时性等其他性能通过以下实验来验证：
1.实验条件
本实验在如表1所示的环境中进行。
表1实验环境设置
Figure BDA0003374420350000156
Figure BDA0003374420350000161
2.实验内容
分别利用U-net模型、Res-Unet模型、DeepLabV3、DeepLabV3+模型以及本文改进的U-net模型对同一验证数据进行分割，将处理后的漆面图像输入到训练好的分割模型中，图像尺寸为520×520×3，实验结果如表2所示。
表2不同模型的分割精度和性能
模型 mPA PA 分割时间/s 训练时间/h
改进后U-net 98.0 90.1 0.1039 1.5
Unet 95.9 87.6 0.0895 1.3
Res-Unet 96.8 87.9 0.1084 1.45
DeepLabV3 97.9 89.5 1.2895 6.3
DeepLabV3+ 98.2 90.8 1.0568 6.5
由表2可以看出，本发明改进后的算法在精度方面，可以达到98％、90.1％，与传统的U-net模型及Res-Unet模型相比，有着明显优势，与最先进的DeepLabV3及DeepLabV3+模型相比，几乎不相上下；另外，在模型性能方面，尤其是分割时间方面，本发明改进的算法只有0.1039s，相比于DeepLabV3及DeepLabV3+模型，有着大幅度的提升。
本发明具体实现该技术方案的方法和途径很多，以上仅是本发明的优选实施方式。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (10)

1.一种基于双注意力机制和U-net网络的漆面图像分割系统，其特征在于，包括：
预处理模块，用以将搜集到的原始漆面图像进行预处理得到图像训练集；
U-net网络改进模块，用以通过使用Efficientnet-B0编码器提取所述原始漆面图像特征、使用引入调制系数的FocalLoss损失函数以及在特征融合阶段嵌入串行双通道CBAM模块的方法对U-net网络进行改进，得到改进后的U-net网络；
U-net分割模型训练模块，用以将所述图像训练集作为所述改进后的U-net网络的输入数据进行训练得到训练好的U-net分割模型；
图像分割模块，用以将待分割的漆面图像作为测试数据输入至所述训练好的U-net分割模型中得到分割后的结果。
2.根据权利要求1所述的基于双注意力机制和U-net网络的漆面图像分割系统，其特征在于：在所述预处理模块中，所述预处理的具体方法为：
根据所述原始漆面图像的长度和宽度，将所述原始漆面图像以及该原始漆面图像对应的标签图像扩充为正方形图像；具体为：当所述原始漆面图像的长度与宽度不同时，通过添加灰边使得所述原始漆面图像的宽度和长度相同，从而获得边缘填充后的漆面图像和与其对应的标签图像；
对所述边缘填充后的漆面图像进行高斯滤波降噪处理，得到降噪后的漆面图像；
将所述降噪后的漆面图像与边缘填充后的标签图像做数据增强；具体为：将所述降噪后的漆面图像与缘填充后的标签图像对应并组成数据集N1，将N1中的漆面图像和标签图像经水平翻转获得数据集N2，经角度值分别为90°、180°和270°的三次旋转获得数据集N3、N4和N5，最后将N1、N2、N3、N4和N5共同组成的数据集作为所述图像训练集。
3.根据权利要求2所述的基于双注意力机制和U-net网络的漆面图像分割系统，其特征在于：在所述U-net网络改进模块中：
使用Efficientnet-B0编码器提取所述原始漆面图像特征来改进U-net网络的具体方法为：
EfficientNet-B0编码器包含16个移动倒置瓶颈模块，分别提取第5个以及第7个MBConv块处理之后的特征图，其中第5个MBConv块提取到的特征图经过空间注意力模块，输入到上采样部分进行特征融合，第7个MBConv块提取到的特征图用于下采样，进行更深层次的特征提取；
每个移动倒置瓶颈模块包括：四个1×1的卷积层、一个3×3的深度可分离卷积以及一次特征融合操作，在3×3深度可分离卷积结构前利用1×1卷积升维，在3×3深度可分离卷积结构后增加了一个关于通道的注意力机制，最后利用1×1卷积降维后增加一个残差边，每个卷积层后面均添加了批量归一化层和Swish激活层；
在特征融合阶段嵌入串行双通道CBAM模块改进U-net网络的具体方法为：
在特征融合环节加入一个空间注意力模块，用以提高改进后的U-net网络对漆面区域的权重，同时降低非漆面区域的权重；
在原始U-net网络的特征加强部分中的卷积层输出后面嵌入一个通道注意力模块，用以减少特征融合之后冗余的通道数。
4.根据权利要求3所述的基于双注意力机制和U-net网络的漆面图像分割系统，其特征在于：
将第5个MBConv块提取到的特征图作为改进后的U-net网络的特征融合特征图，第7个MBConv块提取到的特征图作为改进后的U-net网络下采样特征图；
在空间注意力模块中，对来自EfficientNet-B0编码器第5个MBConv块提取到特征图F在通道维度上分别执行平均池化与最大池化的操作，生成2个单通道的特征图：平均值特征图
Figure FDA0003374420340000021
和最大值特征图
Figure FDA0003374420340000022
将平均值特征图
Figure FDA0003374420340000023
和最大值特征图
Figure FDA0003374420340000024
分别经过一次卷积操作后进行通道堆叠生成一个权重图R，然后通过权重图R对特征图F进行加权，生成特征图Q；
将特征图Q与改进后的U-net的特征加强部分中的卷积层的输出特征图O进行拼接，得到初步特征融合之后的特征图P，在特征图P中，与漆面相关的区域被赋予了更高的权重，其余区域则降低了权重，空间注意力模块的计算为
Figure FDA0003374420340000025
Figure FDA0003374420340000026
Figure FDA0003374420340000027
其中，Ms(F)是空间注意力模块的输出特征图信息，
Figure FDA0003374420340000028
表示卷积操作，r表示ReLu激活函数；
在通道注意力模块中，对特征图P进行一次平均池化与一次最大池化操作，然后进行通道拼接，生成一个1×1×C的全局特征M，其中C代表通道的数量；
使用大小为k的一维卷积对全局特征M进行卷积，生成一个注意力权重图N，一维卷积的卷积核大小k的计算式为
Figure FDA0003374420340000031
其中，C是通道数，|A|odd表示与A相邻最近的奇数；
将注意力权重图N与特征图P进行逐通道维度相乘，得到带有权重注意力的输出特征图G，通道注意力模块的计算为
Figure FDA0003374420340000032
Figure FDA0003374420340000033
Figure FDA0003374420340000034
Figure FDA0003374420340000035
G＝r[N+P]
其中，
Figure FDA0003374420340000036
表示卷积操作，r表示ReLu激活函数。
5.根据权利要求4所述的基于双注意力机制和U-net网络的漆面图像分割系统，其特征在于：在U-net分割模型训练模块中，具体训练过程如下：
使用Efficientnet-B0网络中训练好的权重文件对Efficientnet-B0网络进行参数初始化；
以自适应矩阵估计作为优化器、FocalLoss作为损失函数，对所述改进后的U-net网络的训练参数进行设置：初始学习率为0.001，求一阶矩估计时的指数衰减率β1＝0.9，求二阶矩估计时的指数衰减率为β1＝0.999，训练轮数为100，每轮训练样本数为8；
将预处理得到的图像训练集重新随机排列，然后输入至所述改进后的U-net网络中进行训练，直至得到训练好的U-net分割模型。
6.一种基于双注意力机制和U-net网络的漆面图像分割方法，包括：
步骤1，将搜集到的原始漆面图像进行预处理得到图像训练集；
步骤2，通过使用Efficientnet-B0编码器提取所述原始漆面图像特征、使用引入调制系数的FocalLoss损失函数以及在特征融合阶段嵌入串行双通道CBAM模块的方法对U-net网络进行改进，得到改进后的U-net网络；
步骤3，将所述图像训练集作为所述改进后的U-net网络的输入数据进行训练得到训练好的U-net分割模型；
步骤4，将待分割的漆面图像作为测试数据输入至所述训练好的U-net分割模型中得到分割后的结果。
7.根据权利要求6所述的基于双注意力机制和U-net网络的漆面图像分割方法，其特征在于：在步骤1中，所述预处理的具体方法为：
根据所述原始漆面图像的长度和宽度，将所述原始漆面图像以及该图像对应的标签图像扩充为正方形图像；具体为：当所述原始漆面图像的长度与宽度不同时，通过添加灰边使得所述原始漆面图像的宽度和长度相同，从而获得边缘填充后的漆面图像和与其对应的标签图像；
对所述边缘填充后的漆面图像进行高斯滤波降噪处理，得到降噪后的漆面图像；
将所述降噪后的漆面图像与边缘填充后的标签图像做数据增强；具体为：将所述降噪后的漆面图像与缘填充后的标签图像对应并组成数据集N1，将N1中的漆面图像和标签图像经水平翻转获得数据集N2，经角度值分别为90°、180°和270°的三次旋转获得数据集N3、N4和N5，最后将N1、N2、N3、N4和N5共同组成的数据集作为所述图像训练集。
8.根据权利要求7所述的基于双注意力机制和U-net网络的漆面图像分割方法，其特征在于：在步骤2中：
使用Efficientnet-B0编码器提取所述原始漆面图像特征来改进U-net网络的具体方法为：
EfficientNet-B0编码器包含16个移动倒置瓶颈模块，分别提取第5个以及第7个MBConv块处理之后的特征图，其中第5个MBConv块提取到的特征图经过空间注意力模块，输入到上采样部分进行特征融合，第7个MBConv块提取到的特征图用于下采样，进行更深层次的特征提取；
每个移动倒置瓶颈模块包括：四个1×1的卷积层、一个3×3的深度可分离卷积以及一次特征融合操作，在3×3深度可分离卷积结构前利用1×1卷积升维，在3×3深度可分离卷积结构后增加了一个关于通道的注意力机制，最后利用1×1卷积降维后增加一个残差边，每个卷积层后面均添加了批量归一化层和Swish激活层；
在特征融合阶段嵌入串行双通道CBAM模块改进U-net网络的具体方法为：
在特征融合环节加入一个空间注意力模块，用以提高改进后的U-net网络对漆面区域的权重，同时降低非漆面区域的权重；
在原始U-net网络的特征加强部分中的卷积层输出后面嵌入一个通道注意力模块，用以减少特征融合之后冗余的通道数。
9.根据权利要求8所述的基于双注意力机制和U-net网络的漆面图像分割方法，其特征在于：
将第5个MBConv块提取到的特征图作为改进后的U-net网络的特征融合特征图，第7个MBConv块提取到的特征图作为改进后的U-net网络下采样特征图；
在空间注意力模块中，对来自EfficientNet-B0编码器第5个MBConv块提取到特征图F在通道维度上分别执行平均池化与最大池化的操作，生成2个单通道的特征图：平均值特征图
Figure FDA0003374420340000051
和最大值特征图
Figure FDA0003374420340000052
将平均值特征图
Figure FDA0003374420340000053
和最大值特征图
Figure FDA0003374420340000054
分别经过一次卷积操作后进行通道堆叠生成一个权重图R，然后通过权重图R对特征图F进行加权，生成特征图Q；
将特征图Q与改进后的U-net的特征加强部分中的卷积层的输出特征图O进行拼接，得到初步特征融合之后的特征图P，在特征图P中，与漆面相关的区域被赋予了更高的权重，其余区域则降低了权重，空间注意力模块的计算为
Figure FDA0003374420340000055
Figure FDA0003374420340000056
Figure FDA0003374420340000057
其中，Ms(F)是空间注意力模块的输出特征图信息，
Figure FDA0003374420340000058
表示卷积操作，r表示ReLu激活函数；
在通道注意力模块中，对特征图P进行一次平均池化与一次最大池化操作，然后进行通道拼接，生成一个1×1×C的全局特征M，其中C代表通道的数量；
使用大小为k的一维卷积对全局特征M进行卷积，生成一个注意力权重图N，一维卷积的卷积核大小k的计算式为
Figure FDA0003374420340000061
其中，C是通道数，|A|odd表示与A相邻最近的奇数；
将注意力权重图N与特征图P进行逐通道维度相乘，得到带有权重注意力的输出特征图G，通道注意力模块的计算为
Figure FDA0003374420340000062
Figure FDA0003374420340000063
Figure FDA0003374420340000064
Figure FDA0003374420340000065
G＝r[N+P]
其中，
Figure FDA0003374420340000066
表示卷积操作，r表示ReLu激活函数。
10.根据权利要求9所述的基于双注意力机制和U-net网络的漆面图像分割方法，其特征在于：在步骤3中，具体训练过程如下：
使用Efficientnet-B0网络中训练好的权重文件对Efficientnet-B0网络进行参数初始化；
以自适应矩阵估计作为优化器、FocalLoss作为损失函数，对所述改进后的U-net网络的训练参数进行设置：初始学习率为0.001，求一阶矩估计时的指数衰减率β1＝0.9，求二阶矩估计时的指数衰减率为β1＝0.999，训练轮数为100，每轮训练样本数为8；
将预处理得到的图像训练集重新随机排列，然后输入至所述改进后的U-net网络中进行训练，直至得到训练好的U-net分割模型。
CN202111413562.5A 2021-11-25 2021-11-25 基于双注意力机制和U-net网络的漆面图像分割系统及方法 Pending CN113989271A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111413562.5A CN113989271A (zh) 2021-11-25 2021-11-25 基于双注意力机制和U-net网络的漆面图像分割系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111413562.5A CN113989271A (zh) 2021-11-25 2021-11-25 基于双注意力机制和U-net网络的漆面图像分割系统及方法

Publications (1)

Publication Number Publication Date
CN113989271A true CN113989271A (zh) 2022-01-28

Family

ID=79731893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111413562.5A Pending CN113989271A (zh) 2021-11-25 2021-11-25 基于双注意力机制和U-net网络的漆面图像分割系统及方法

Country Status (1)

Country Link
CN (1) CN113989271A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114596502A (zh) * 2022-03-03 2022-06-07 合肥工业大学 基于边缘增强的高分辨率遥感影像的耕地信息提取方法
CN114612477A (zh) * 2022-03-03 2022-06-10 成都信息工程大学 一种轻量化图像分割方法、系统、介质、终端及应用
CN114740007A (zh) * 2022-03-23 2022-07-12 成都飞机工业（集团）有限责任公司 一种非接触式表面缺陷检测装置及使用方法
CN114742917A (zh) * 2022-04-25 2022-07-12 桂林电子科技大学 一种基于卷积神经网络的ct图像分割方法
CN116228797A (zh) * 2023-05-09 2023-06-06 中国石油大学(华东) 基于注意力和U-Net的页岩扫描电镜图像分割方法
CN116269198A (zh) * 2023-05-11 2023-06-23 深圳市眼科医院(深圳市眼病防治研究所) 基于卷积神经网络的眼球旋转角测量方法及装置
CN116797614A (zh) * 2023-03-23 2023-09-22 天津大学 基于CBAUnet的双注意力快速舌轮廓提取方法及系统
CN116958556A (zh) * 2023-08-01 2023-10-27 东莞理工学院 用于椎体和椎间盘分割的双通道互补脊柱图像分割方法
CN117437519A (zh) * 2023-11-06 2024-01-23 北京市智慧水务发展研究院 一种无水尺水位识别方法及装置
CN114612477B (zh) * 2022-03-03 2024-07-05 成都信息工程大学 一种轻量化图像分割方法、系统、介质、终端及应用

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114596502A (zh) * 2022-03-03 2022-06-07 合肥工业大学 基于边缘增强的高分辨率遥感影像的耕地信息提取方法
CN114612477A (zh) * 2022-03-03 2022-06-10 成都信息工程大学 一种轻量化图像分割方法、系统、介质、终端及应用
CN114596502B (zh) * 2022-03-03 2023-04-07 合肥工业大学 基于边缘增强的高分辨率遥感影像的耕地信息提取方法
CN114612477B (zh) * 2022-03-03 2024-07-05 成都信息工程大学 一种轻量化图像分割方法、系统、介质、终端及应用
CN114740007A (zh) * 2022-03-23 2022-07-12 成都飞机工业（集团）有限责任公司 一种非接触式表面缺陷检测装置及使用方法
CN114740007B (zh) * 2022-03-23 2024-06-11 成都飞机工业（集团）有限责任公司 一种非接触式表面缺陷检测装置及使用方法
CN114742917A (zh) * 2022-04-25 2022-07-12 桂林电子科技大学 一种基于卷积神经网络的ct图像分割方法
CN114742917B (zh) * 2022-04-25 2024-04-26 桂林电子科技大学 一种基于卷积神经网络的ct图像分割方法
CN116797614A (zh) * 2023-03-23 2023-09-22 天津大学 基于CBAUnet的双注意力快速舌轮廓提取方法及系统
CN116797614B (zh) * 2023-03-23 2024-02-06 天津大学 基于CBAUnet的双注意力快速舌轮廓提取方法及系统
CN116228797B (zh) * 2023-05-09 2023-08-15 中国石油大学(华东) 基于注意力和U-Net的页岩扫描电镜图像分割方法
CN116228797A (zh) * 2023-05-09 2023-06-06 中国石油大学(华东) 基于注意力和U-Net的页岩扫描电镜图像分割方法
CN116269198B (zh) * 2023-05-11 2023-11-14 深圳市眼科医院(深圳市眼病防治研究所) 基于卷积神经网络的眼球旋转角测量方法及装置
CN116269198A (zh) * 2023-05-11 2023-06-23 深圳市眼科医院(深圳市眼病防治研究所) 基于卷积神经网络的眼球旋转角测量方法及装置
CN116958556A (zh) * 2023-08-01 2023-10-27 东莞理工学院 用于椎体和椎间盘分割的双通道互补脊柱图像分割方法
CN116958556B (zh) * 2023-08-01 2024-03-19 东莞理工学院 用于椎体和椎间盘分割的双通道互补脊柱图像分割方法
CN117437519A (zh) * 2023-11-06 2024-01-23 北京市智慧水务发展研究院 一种无水尺水位识别方法及装置
CN117437519B (zh) * 2023-11-06 2024-04-12 北京市智慧水务发展研究院 一种无水尺水位识别方法及装置

Similar Documents

Publication Publication Date Title
CN113989271A (zh) 基于双注意力机制和U-net网络的漆面图像分割系统及方法
CN109035149B (zh) 一种基于深度学习的车牌图像去运动模糊方法
CN109035163B (zh) 一种基于深度学习的自适应图像去噪方法
CN105825484A (zh) 一种基于深度学习的深度图像去噪及增强方法
CN108520212A (zh) 基于改进的卷积神经网络的交通标志检测方法
CN111027443B (zh) 一种基于多任务深度学习的票据文本检测方法
CN104156730B (zh) 一种基于骨架的抗噪声汉字特征提取方法
CN107292852A (zh) 一种基于低秩理论的图像去噪算法
CN111524117A (zh) 一种基于特征金字塔网络的隧道表面缺陷检测方法
CN103208097A (zh) 图像多方向形态结构分组的主分量分析协同滤波方法
CN103810522B (zh) 一种玉米果穗籽粒计数方法和装置
CN112233129A (zh) 基于深度学习的并行多尺度注意力机制语义分割方法及装置
CN104239872A (zh) 异态汉字识别方法
BJ et al. Ancient horoscopic palm leaf binarization using A deep binarization model-RESNET
CN111445511B (zh) 一种图像中圆的检测方法
CN103455985B (zh) 基于Hessian结构分析的道路裂缝增强方法
CN116071338A (zh) 一种基于yolox的钢板表面缺陷检测方法、装置及设备
CN117593323B (zh) 一种基于非局部特征的图像分割方法、系统、介质和设备
CN102542539B (zh) 一种基于功率谱分析的强适用性图像增强方法
CN114663665A (zh) 基于梯度的对抗样本生成方法与系统
CN112800851B (zh) 基于全卷积神经元网络的水体轮廓自动提取方法及系统
CN116934762B (zh) 锂电池极片表面缺陷的检测系统及方法
CN102903087B (zh) 基于gpu编程的sar图像去噪方法
CN112102236A (zh) 一种基于深度两阶段的多晶隐裂检测方法
CN104102911A (zh) 一种基于aoi的子弹表观缺陷检测系统的图像处理算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination