CN114037674A - 一种基于语义上下文的工业缺陷图像分割检测方法及装置 - Google Patents

一种基于语义上下文的工业缺陷图像分割检测方法及装置 Download PDF

Info

Publication number
CN114037674A
CN114037674A CN202111300575.1A CN202111300575A CN114037674A CN 114037674 A CN114037674 A CN 114037674A CN 202111300575 A CN202111300575 A CN 202111300575A CN 114037674 A CN114037674 A CN 114037674A
Authority
CN
China
Prior art keywords
context
image
segmentation
semantic
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111300575.1A
Other languages
English (en)
Other versions
CN114037674B (zh
Inventor
孙美君
李鹏飞
王征
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202111300575.1A priority Critical patent/CN114037674B/zh
Publication of CN114037674A publication Critical patent/CN114037674A/zh
Application granted granted Critical
Publication of CN114037674B publication Critical patent/CN114037674B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明公开了一种基于语义上下文的工业缺陷图像分割检测方法及装置，方法包括：针对语义分割的“类间混淆”现象，使用基础网络得到一个粗分割结果，利用粗分割结果构建上下文特征向量集合，聚合场景中所有目标类别的特征；利用上下文特征向量集合自适应增强粗分割图中待分类目标类别的特征，为易混淆的像素点补充上下文语义信息，得到综合考虑上下文依赖后细化的分割结果；结合粗分割结果和细化后的分割结果对图像中的像素点做出分类，并在焊缝缺陷数据集上进行语义分割评估，并对焊缝缺陷进行智能检测。装置包括：处理器和存储器，本发明实现了对焊缝缺陷像素级别的检测。

Description

一种基于语义上下文的工业缺陷图像分割检测方法及装置
技术领域
本发明涉及图像分割领域，尤其涉及一种基于语义上下文的工业缺陷图像分割检测方法及装置，通过设计神经网络学习的上下文依赖关系、构建上下文特征集合以及参数调整，实现了对工业图像的像素级缺陷检测。
背景技术
语义分割是计算机视觉和数字图像处理的一个热门方向，广泛应用于自动驾驶汽车、虚拟现实、人机交互和医疗影像分析等诸多领域。计算机视觉可以减少人力成本的消耗，对于提高工业自动化水平具有重要的现实意义。近年来随着深度学习的普及，语义分割算法得到了较为快速的发展，到目前为止，高性能的语义分割算法都基于深度学习。经典的关于语义分割的工作主要有：
基于候选区域的语义分割模型：Girshick等人提出了Region-basedConvolutional Neural Network(R-CNN，基于候选区域的卷积神经网络)模型，首先使用selective search(选择性搜索)算法提取2000个候选框，然后通过卷积网络对候选框进行串行的特征提取，再根据提取的特征使用SVM(支持向量机)对候选框进行分类预测，最后使用回归方法对区域框进行修正。虽然这种方法在准确率上得到提升，但是R-CNN效率较低。2015年，Ross 等人提出了Fast R-CNN，直接使用一个神经网络对整个图像进行特征提取，省去了串行提取特征的时间。2016年提出的Faster R-CNN将selective search算法替换成为RPN(区域生成网络)，使用RPN网络进行region(候选区域)的选取。
基于注意力机制的语义分割模型：Yu等人于2018年提出FPN(判别特征网络)，引入通道注意力机制，利用高级阶段的语义一致性信息指导并有针对性地选择底级阶段更具区分力的空间特征信息。2019年，Fu等人提出DANet(双路注意力网络)，将自注意力机制应用到图像分割中。DANet使用位置注意力模块聚合每个像素点的位置特征，使用通道注意力模块选择性的加强相互依赖的通道权重，并将两个模块的输出结果相融合得到最终输出，在场景图像中对目标物体实现了更精确的像素级预测。
基于编码器-解码器结构的语义分割模型：FCN(全卷积神经网络)打破了之前需要一个窗口来将语义分割任务转变为图片分类任务的观念，使用编码器提取图像特征，使用解码器对提取的特征进行上采样，恢复原图大小。UNet(U形网络)是在医学影像分割中最常用的模型，网络的每个卷积层得到的特征图都会concatenate(拼接)到对应的上采样层，从而实现对每层特征图都有效使用到后续计算中。2015年的ICLR上提出DeepLab V1结合了深度卷积神经网络(DCNNs)和概率图模型(DenseCRFs)的方法。不仅考虑DCNN 的输出，而且考虑该像素点周围像素点的值。但是，DCNNs由于重复的池化和下采样降低了分辨率，造成细节信息的损失，不利于图像中小目标的检测。DeepLab v2采用的空洞卷积算法扩展感受野，基于空洞卷积，设计了ASPP(空洞空间金字塔池化)模块。deeplab v3改进了ASPP模块，引入了全局池化分支能够聚集到全局的上下文信息。但deeplab v3 需要8倍和16倍上采样feature map(特征图)，引入了较多与特征无关的信息。 Badrinarayanan等人提出SegNet(分割网络)，是典型的编码-解码结构，编码层使用VGG (用于大尺度图像识别的深度卷积网络)的前13层，解码层由一系列的卷积层和上采样层组成，最后将特征图连接到分类器预测输入图像的像素级标签值上。SegNet在进行最大池化操作时使用索引来保存特征的位置信息，上采样期间直接将特征值填充到最大池化操作前的位置，省去了上采样的学习，进一步保留了特征信息。与FCN相比，SegNet减少了池化操作带来的特征丢失，提高了训练效率。
然而在实际工业应用中，上述方法取得的效果并不令人满意。由于工业缺陷的尺寸较小、颜色偏暗，与背景特征的相似度高，利用传统的图像分割方法在分类时只考虑物体类别本身的特征，不考虑与周围类别的上下文依赖关系，算法很容易将背景与缺陷目标无关的区域错误分类成缺陷目标。
因此，提出有效的工业缺陷图像分割算法，对于提升工业缺陷的检测准确率、保障工业产品安全以及提升工业化水平具有重要意义。
近年来，随着深度学习的复兴，语义分割领域迅速发展，特别是卷积神经网络的出现，极大地提高了语义分割算法的性能，逐像素的分类方式可以获取更准确的图片信息。但现有的语义分割方法并未有效地关注到像素间的语义上下文依赖关系，外观相似但类别不同的物体对网络分割会造成混淆，仅依靠形状、纹理等外观信息独立地对目标进行分类，忽略了上下文类别依赖关系，在分割时将会造成“类间混淆”现象，影响网络的分割性能。
在现实生活场景中，每个类别的物体并不是孤立存在的，通常与某些类别的对象同时出现，与周围的环境、场景存在着密切联系。例如，在焊缝图像中，焊接缺陷通常存在于焊缝区域内，焊缝区域外部会存在少数非缺陷的背景杂质。而由于焊接图像颜色偏暗、对比图低、背景嘈杂，神经网络如果只根据形状、颜色等外观信息对物体进行分类，忽略了目标周围的上下文信息和依赖关系，会错误地将焊缝区域外的非缺陷物体分类为缺陷，造成类间混淆现象。此外，传统的人工手动检测方式的质量和效率受检测人员的专业水平和工作状态影响很大，长时间地进行探伤工作会造成用眼疲劳，增加了误判和漏判的概率，影响工业探伤的质量。
发明内容
本发明针对现有的图像分割上下文信息不足、上下文依赖关系不明确以及传统人工手动检测缺陷的质量和效率低的问题，提供了一种基于语义上下文的工业缺陷图像分割检测方法及装置，实现了对焊缝缺陷像素级别的自动检测，详见下文描述：
第一方面，一种基于语义上下文的工业缺陷图像分割检测方法，所述方法包括：
针对语义分割的“类间混淆”现象，使用基础网络得到一个粗分割结果，利用粗分割结果构建上下文特征向量集合，聚合场景中所有目标类别的特征；
利用上下文特征向量集合自适应增强粗分割图中待分类目标类别的特征，为易混淆的像素点补充上下文语义信息，得到综合考虑上下文依赖后细化的分割结果；
结合粗分割结果和细化后的分割结果对图像中的像素点做出分类，并在焊缝缺陷数据集上进行语义分割评估。
在一种实施方式中，所述针对语义分割的“类间混淆”现象，使用基础网络得到一个粗分割结果，利用粗分割结果构建上下文特征向量集合，聚合场景中所有目标类别的特征具体为：
通过构建上下文特征聚合模块获得上下文信息，在上下文注意力机制作用下，利用上下文特征向量集合自适应增强粗分割图的特征；
为特征不明显的像素点补充上下文语义信息，将改进后的特征和初始特征进行融合，增强对图像的理解。
在另一种实施方式中，所述上下文特征聚合模块为基础网络提取的初始特征设计了一个并行分支；
在上分支中，使用尺寸为3*3的卷积核对Feature进行处理，并使用1*1的卷积核进行降维，得到粗略的分割结果；
在下分支中使用1*1的卷积和对特征图进行降维，通过重塑粗分割结果并与转置后的 Feature进行矩阵相乘操作，构建上下文特征向量集合；
所述上下文特征聚合模块获得局部上下文特征信息及远距离的上下文特征。
优选地，所述方法在3*3的卷积核和1*1的卷积核后使用批处理归一化和Relu激活函数。
其中，所述利用上下文特征向量集合自适应增强粗分割图中待分类目标类别的特征，为易混淆的像素点补充上下文语义信息，得到综合考虑上下文依赖后细化的分割结果具体为：
通过构建上下文注意力模块将转置后的上下文特征向量和重塑后的粗分割结果进行矩阵相乘，通过构建反馈网络，自适应地增强粗分割结果中待分类目标的特征，加强类内一致性；
使用粗分割结果参与上下文注意力特征的计算，通过将粗分割图进行增强重新校准特征信息，得到更加细化的分割结果。
所述方法还包括：自动检测缺陷以及手动绘制缺陷框，
使用可缩放矢量图形显示焊缝图像，调用上下文关系网络对图像进行自动检测，对检测的结果进行后处理，利用多边形标签绘制缺陷框；
对误检的多边形缺陷框，将其删除，对于漏检的焊缝缺陷，手动绘制多边形缺陷框。
第二方面，一种基于语义上下文的工业缺陷图像分割检测装置，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面中的任一项所述的方法步骤。
所述处理器还用于进行自动检测缺陷以及手动绘制缺陷框。
所述自动检测缺陷为：使用可缩放矢量图形显示焊缝图像，调用上下文关系网络对图像进行自动检测对检测的结果进行后处理，创建轮廓列表，将所有分割区域轮廓点的坐标信息提取出来保存到轮廓列表内；
所述手动绘制缺陷框为：利用多边形标签绘制缺陷框，对于误检的多边形缺陷框，选中并删除；对于漏检的焊缝缺陷，用户手动绘制多边形缺陷框。
在一种实施方式中，所述处理器还用于进行影像上传和查看影像图界面，
影像上传时，使用数据转换库进行加速，点击待上传列表中的图像后，将在新建的页面中显示该图像，方便用户核验；
查看影像图界面时，可对影像图的属性进行核验，若属性值错误，可在编辑框中输入正确的属性值，并保存到数据库中。
第三方面，一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第一方面中的中的任一项所述的方法步骤。
本发明提供的技术方案的有益效果是：
1、本发明设计了上下文特征聚合模块，使用基础网络得到粗分割结果，利用粗分割结果和降维后的高级语义特征构建上下文特征向量集合，聚合场景中所有目标类别的特征；
2、本发明设计了类别上下文注意力模块，利用上下文特征向量自适应增强粗分割图中待分类目标类别的特征，为易混淆的像素点补充高级语义信息，利用上下文依赖关系重构图像特征，增强了图像的特征表达能力；
3、本发明还设计了可用于焊缝缺陷智能检测的处理器，通过AI(人工智能)检测缺陷和用户手动绘制缺陷框结合的方式实现了焊缝缺陷像素级的自动检测，解决了传统人工手动检测缺陷方式质量和效率低的问题，提高了工厂实际生产环境中的工作效率。
附图说明
图1为一种基于语义上下文的工业缺陷图像分割检测方法的总体框图；
图2为上下文特征聚合模块CFB(Contex Feature Block)的示意图；
图3为上下文注意力模块CAB(Context Attention Block)的示意图；
图4为一种基于语义上下文的工业缺陷图像分割检测方法的流程图；
图5为未标记焊缝缺陷图像的示意图；
图6为已标记焊缝缺陷图像的示意图；
其中，白色的像素点表示缺陷，黑色的像素点表示背景信息。
图7为一种基于语义上下文的工业缺陷图像分割检测装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
实施例1
一种基于语义上下文的工业缺陷图像分割检测方法，参见图1-图4，该方法包括以下步骤：
101：针对语义分割的“类间混淆”现象，设计了上下文关系网络(ContextRelation Network，CRNet)；使用基础网络得到一个粗分割结果，利用粗分割结果构建上下文特征向量集合，聚合场景中所有目标类别的特征；
其中，粗分割结果是由基础网络生成的初步分割结果。上下文特征向量集合中包含了不同类别的特征信息。
102：设计上下文注意力，利用上下文特征向量集合自适应增强粗分割图中待分类目标类别的特征，为易混淆的像素点补充上下文语义信息，得到综合考虑上下文依赖后细化的分割结果；
103：最后，结合粗分割结果和细化后的分割结果对图像中的像素点做出分类，将所提出的CRNet方法在焊缝缺陷数据集上进行了语义分割评估，综合实验结果表明，该方法在焊缝缺陷分割任务中取得了较好的效果。
综上所述，本发明实施例通过上述步骤101-步骤103实现了对焊缝缺陷像素级别的检测，利用上下文依赖关系重构图像特征，增强了图像的特征表达能力。
实施例2
下面结合图1-图4对实施例1中的方案进行进一步地介绍，详见下文描述：
本发明实施例描述了一个基于语义上下文的图像分割网络模型(CRNet)，提出的模型总体架构如图1所示，基础网络Backbone部分我们采用已开源的残差网络ResNet，通过Backbone初步提取图像特征，采用跳跃连接的方式捕获更多局部特征，保留更多的空间特征信息。通过构建上下文特征聚合模块(CFB)，获得明确的、重要的上下文信息。在上下文注意力机制作用下，利用上下文特征自适应增强粗分割图的特征，为特征不明显的像素点补充上下文语义信息，加强上下文关系依赖，从而使网络减少对于外观相似类别不同像素点的错误分类，增强模型的特征表示能力和分割结果。最后，将改进后的特征和初始特征进行融合，增强对图像的理解。
其中，上下文特征聚合模块(CFB)如图2所示。由于在现实场景中，类别的物体具有高度依赖性，通过捕获这种上下文依赖关系，可以提高网络对目标特征的表达能力。在上下文特征聚合中，为基础网络Backbone提取的初始特征Feature设计了一个并行分支。在上分支中，使用尺寸为3*3的卷积核对Feature进行处理，并使用1*1的卷积核进行降维，得到粗略的分割结果。为了提升模型的泛化能力，防止出现过拟合现象，本方法在 3*3Conv和1*1Conv后使用批处理归一化(Batch Normalization，BN)和Relu激活函数。
为了降低网络的参数量，本方法在下分支中使用1*1的卷积和对特征图进行降维。通过重塑粗分割结果并与转置后的Feature进行矩阵相乘操作，构建上下文特征向量集合。上下文特征集合包含场景中所有类别像素特征的聚合。与其他通过增加感受野来获得上下文信息的方式不同，本方法提取的是明确区分类别的上下文信息。上下文特征聚合模块不仅可以获得局部上下文特征信息，而且也捕获了远距离的上下文特征。
其中，上下文注意力模块(CAB)如图3所示，在该上下文注意力模块中，本方法将转置后的上下文特征向量和重塑后的粗分割结果进行矩阵相乘，通过构建反馈网络，使网络不断学习到每个像素点关联性强的类别，从而自适应地增强粗分割结果中待分类目标的特征，加强了类内一致性。
和其他的自注意力方法不同，本方法使用粗分割结果来参与上下文注意力特征的计算，通过将粗分割图进行增强重新校准特征信息，可以得到更加细化的分割结果。从而使网络在分类时不仅考虑目标本身的外观特征，同时考虑目标周围的上下文信息，加强了目标类别的类内一致性。减少了由于只考虑外观特征造成的类间模型不清晰问题。
针对“传统人工手动检测缺陷方式质量和效率低的问题”，还设计了焊缝缺陷智能检测方法，包括：自动检测缺陷以及手动绘制缺陷框。
使用可缩放矢量图形SVG(Scalable Vector Graphics)显示焊缝图像，调用上下文关系网络对图像进行自动检测，对算法检测的结果进行后处理，利用polygon(多边形)标签灵活绘制缺陷框，从而准确、详细地展示出缺陷分割结果。对于算法误检的多边形缺陷框，可将其选中并删除。对于漏检的焊缝缺陷，可手动绘制多边形缺陷框，从而使检测结果更加完善。
实施例3
下面结合具体的算例、图5和图6对实施例1和2中的方案进行进一步地介绍，详见下文描述：
本实验使用NVIDIA GTX 1080Ti GPU，模型代码基于Python和Pytorch框架搭建。另外本模型使用SGD优化器，初始学习率为0.001，权重衰减为0.0001，动量设置为0.9，批处理大小设置为2张图片，迭代次数为3000轮。为了避免训练过程出现过拟合现象，我们使用了随机水平和垂直翻转数据增强策略。
数据集：焊缝图片数量300张。未标记焊缝缺陷的图像和已标记焊缝缺陷的图像如图 5和图6所示。
评价指标采用平均交叉比(Mean Intersection over Union，MIoU)和精确度P(precision) 评估本发明实施例的性能。MIoU是语义分割领域常用的算法评估标准，主要计算两个集合的交际与并集之比。
计算方式如下：
Figure RE-GDA0003404230150000081
式中，k表示类别，Pii表示实际为i预测为i，Pij表示实际i预测为j，Pji表示实际为j预测为i。MioU越大，模型效果越好。
精确度P(precision)则表示标记正确的像素占所有像素的比例，即：
Figure RE-GDA0003404230150000082
式中，i表示预测正确的像素数量，s为总像素数量。
实验性能比较
表1 6种方法的对比实验结果
Method mIoU(平均交叉比) P(精确度)
FCN 68.37 75.53
DeeplabV1 74.28 80.31
ENet 73.71 79.83
SegNet 76.30 82.84
DeeplabV3 80.14 86.57
Our CRNet 81.65 89.34
从表1可以得出以下结论：
在相同的实验设置下，与其他网络相比，CRNet在平均交叉比和精确度方面都超过了其他网络，获得了比较好的性能，进一步证明了本发明实施例提出的CRNet模型能通过端到端的方式充分学习图像的上下文特征信息并提升分类的准确性。
为了使网络在分类时考虑目标周围的上下文信息，本发明实施例设计了上下文特征聚合，利用粗分割结果构建上下文特征向量集合，聚合了场景中所有目标类别的特征。同时，设计了上下文注意力自适应地增强了粗分割图中待分类目标类别的特征，通过为易混淆类别的像素点补充上下文语义信息，得到了更加细化的分割结果，提高了图像分割的精度。综合实验结果表明，本发明实施例提出的CRNet方法在焊缝缺陷分割任务中取得了较好的效果。
实施例4
一种基于语义上下文的工业缺陷图像分割检测装置，参见图7，该装置包括：处理器和存储器，存储器中存储有程序指令，处理器调用存储器中存储的程序指令以使装置执行实施例1中的以下方法步骤：
针对语义分割的“类间混淆”现象，使用基础网络得到一个粗分割结果，利用粗分割结果构建上下文特征向量集合，聚合场景中所有目标类别的特征；
利用上下文特征向量集合自适应增强粗分割图中待分类目标类别的特征，为易混淆的像素点补充上下文语义信息，得到综合考虑上下文依赖后细化的分割结果；
结合粗分割结果和细化后的分割结果对图像中的像素点做出分类，并在焊缝缺陷数据集上进行语义分割评估。
在一种实施方式中，针对语义分割的“类间混淆”现象，使用基础网络得到一个粗分割结果，利用粗分割结果构建上下文特征向量集合，聚合场景中所有目标类别的特征具体为：
通过构建上下文特征聚合模块获得上下文信息，在上下文注意力机制作用下，利用上下文特征向量集合自适应增强粗分割图的特征；
为特征不明显的像素点补充上下文语义信息，将改进后的特征和初始特征进行融合，增强对图像的理解。
在另一种实施方式中，上下文特征聚合模块为基础网络提取的初始特征设计了一个并行分支；
在上分支中，使用尺寸为3*3的卷积核对Feature进行处理，并使用1*1的卷积核进行降维，得到粗略的分割结果；
在下分支中使用1*1的卷积和对特征图进行降维，通过重塑粗分割结果并与转置后的 Feature进行矩阵相乘操作，构建上下文特征向量集合；
上下文特征聚合模块获得局部上下文特征信息及远距离的上下文特征。
优选地，该方法在3*3的卷积核和1*1的卷积核后使用批处理归一化和Relu激活函数。
其中，所述利用上下文特征向量集合自适应增强粗分割图中待分类目标类别的特征，为易混淆的像素点补充上下文语义信息，得到综合考虑上下文依赖后细化的分割结果具体为：
通过构建上下文注意力模块将转置后的上下文特征向量和重塑后的粗分割结果进行矩阵相乘，通过构建反馈网络，自适应地增强粗分割结果中待分类目标的特征，加强类内一致性；
使用粗分割结果参与上下文注意力特征的计算，通过将粗分割图进行增强重新校准特征信息，得到更加细化的分割结果。
本发明实施例还设计了焊缝缺陷智能检测，该处理器还用于进行自动检测缺陷以及手动绘制缺陷框。
在智能检测中，使用可缩放矢量图形SVG(Scalable Vector Graphics)显示焊缝图像。可调用上下文关系网络对图像进行自动检测对算法检测的结果进行后处理，创建轮廓列表 (列表内包含多组数据，每组数据包括像素点横坐标和纵坐标)，将所有分割区域轮廓点的坐标信息提取出来保存到轮廓列表内。利用polygon(多边形)标签灵活绘制缺陷框，从而准确、详细地展示出缺陷分割结果。对于误检的多边形缺陷框，可将其选中并删除。对于漏检的焊缝缺陷，用户可手动绘制多边形缺陷框，从而使检测结果更加完善。
进一步地，该处理器还支持影像上传、快速批量导入以及预览核验。在数据上传时，通过使用GDAL(Geospatial Data Abstraction Library)数据转换库进行加速，对于tiff(标签图像文件格式)等复杂格式的图像也可在5秒内上传50张。点击待上传列表中的图像后，将在新建的页面中显示该图像，方便用户核验，通过点击上传列表中右侧的图标，可将该图片从上传列表中移除。
在查看影像图界面中，用户可对影像图的属性进行核验。若属性值错误，用户可在编辑框中输入正确的属性值，点击修改影像图信息按钮进行保存，同时将最新的影像属性更新到数据库中。删除影像图有两种方式，分别为单张删除和批量删除。
这里需要指出的是，以上实施例中的装置描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
上述的处理器1和存储器2的执行主体可以是计算机、单片机、微控制器等具有计算功能的器件，具体实现时，本发明实施例对执行主体不做限制，根据实际应用中的需要进行选择。
存储器2和处理器1之间通过总线3传输数据信号，本发明实施例对此不做赘述。
实施例5
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，存储介质包括存储的程序，在程序运行时控制存储介质所在的设备执行上述实施例中的方法步骤。
该计算机可读存储介质包括但不限于快闪存储器、硬盘、固态硬盘等。
这里需要指出的是，以上实施例中的可读存储介质描述是与实施例中的方法描述相对应的，本发明实施例在此不做赘述。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例的流程或功能。
计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者通过计算机可读存储介质进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质或者半导体介质等。
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于语义上下文的工业缺陷图像分割检测方法，其特征在于，所述方法包括：
针对语义分割的“类间混淆”现象，使用基础网络得到一个粗分割结果，利用粗分割结果构建上下文特征向量集合，聚合场景中所有目标类别的特征；
利用上下文特征向量集合自适应增强粗分割图中待分类目标类别的特征，为易混淆的像素点补充上下文语义信息，得到综合考虑上下文依赖后细化的分割结果；
结合粗分割结果和细化后的分割结果对图像中的像素点做出分类，并在焊缝缺陷数据集上进行语义分割评估。
2.根据权利要求1所述的一种基于语义上下文的工业缺陷图像分割检测方法，其特征在于，所述针对语义分割的“类间混淆”现象，使用基础网络得到一个粗分割结果，利用粗分割结果构建上下文特征向量集合，聚合场景中所有目标类别的特征具体为：
通过构建上下文特征聚合模块获得上下文信息，在上下文注意力机制作用下，利用上下文特征向量集合自适应增强粗分割图的特征；
为特征不明显的像素点补充上下文语义信息，将改进后的特征和初始特征进行融合，增强对图像的理解。
3.根据权利要求2所述的一种基于语义上下文的工业缺陷图像分割检测方法，其特征在于，所述上下文特征聚合模块为基础网络提取的初始特征设计了一个并行分支；
在上分支中，使用尺寸为3*3的卷积核对Feature进行处理，并使用1*1的卷积核进行降维，得到粗略的分割结果；
在下分支中使用1*1的卷积和对特征图进行降维，通过重塑粗分割结果并与转置后的Feature进行矩阵相乘操作，构建上下文特征向量集合；
所述上下文特征聚合模块获得局部上下文特征信息及远距离的上下文特征。
4.根据权利要求3所述的一种基于语义上下文的工业缺陷图像分割检测方法，其特征在于，所述方法在3*3的卷积核和1*1的卷积核后使用批处理归一化和Relu激活函数。
5.根据权利要求3所述的一种基于语义上下文的工业缺陷图像分割检测方法，其特征在于，所述利用上下文特征向量集合自适应增强粗分割图中待分类目标类别的特征，为易混淆的像素点补充上下文语义信息，得到综合考虑上下文依赖后细化的分割结果具体为：
通过构建上下文注意力模块将转置后的上下文特征向量和重塑后的粗分割结果进行矩阵相乘，通过构建反馈网络，自适应地增强粗分割结果中待分类目标的特征，加强类内一致性；
使用粗分割结果参与上下文注意力特征的计算，通过将粗分割图进行增强重新校准特征信息，得到更加细化的分割结果。
6.根据权利要求1所述的一种基于语义上下文的工业缺陷图像分割检测方法，其特征在于，所述方法还包括：自动检测缺陷以及手动绘制缺陷框，
使用可缩放矢量图形显示焊缝图像，调用上下文关系网络对图像进行自动检测，对检测的结果进行后处理，利用多边形标签绘制缺陷框；
对误检的多边形缺陷框，将其删除，对于漏检的焊缝缺陷，手动绘制多边形缺陷框。
7.一种基于语义上下文的工业缺陷图像分割检测装置，其特征在于，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行权利要求1-6中的任一项所述的方法步骤。
8.根据权利要求7所述的一种基于语义上下文的工业缺陷图像分割检测装置，其特征在于，所述处理器还用于进行自动检测缺陷以及手动绘制缺陷框，
所述自动检测缺陷为：使用可缩放矢量图形显示焊缝图像，调用上下文关系网络对图像进行自动检测对检测的结果进行后处理，创建轮廓列表，将所有分割区域轮廓点的坐标信息提取出来保存到轮廓列表内；
所述手动绘制缺陷框为：利用多边形标签绘制缺陷框，对于误检的多边形缺陷框，选中并删除；对于漏检的焊缝缺陷，用户手动绘制多边形缺陷框。
9.根据权利要求7所述的一种基于语义上下文的工业缺陷图像分割检测装置，其特征在于，所述处理器还用于进行影像上传和查看影像图界面，
影像上传时，使用数据转换库进行加速，点击待上传列表中的图像后，将在新建的页面中显示该图像，方便用户核验；
查看影像图界面时，可对影像图的属性进行核验，若属性值错误，可在编辑框中输入正确的属性值，并保存到数据库中。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行权利要求1-6中的任一项所述的方法步骤。
CN202111300575.1A 2021-11-04 2021-11-04 一种基于语义上下文的工业缺陷图像分割检测方法及装置 Active CN114037674B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111300575.1A CN114037674B (zh) 2021-11-04 2021-11-04 一种基于语义上下文的工业缺陷图像分割检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111300575.1A CN114037674B (zh) 2021-11-04 2021-11-04 一种基于语义上下文的工业缺陷图像分割检测方法及装置

Publications (2)

Publication Number Publication Date
CN114037674A true CN114037674A (zh) 2022-02-11
CN114037674B CN114037674B (zh) 2024-04-26

Family

ID=80142764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111300575.1A Active CN114037674B (zh) 2021-11-04 2021-11-04 一种基于语义上下文的工业缺陷图像分割检测方法及装置

Country Status (1)

Country Link
CN (1) CN114037674B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743045A (zh) * 2022-03-31 2022-07-12 电子科技大学 一种基于双分支区域建议网络的小样本目标检测方法
CN115393725A (zh) * 2022-10-26 2022-11-25 西南科技大学 一种特征增强和语义分割的桥梁裂缝识别方法
CN116703928A (zh) * 2023-08-08 2023-09-05 宁德市天铭新能源汽车配件有限公司 一种基于机器学习的汽车零部件生产检测方法及系统
CN117152052A (zh) * 2023-06-01 2023-12-01 中南大学 一种面向工业图像质量的智能反馈控制方法与系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160350930A1 (en) * 2015-05-28 2016-12-01 Adobe Systems Incorporated Joint Depth Estimation and Semantic Segmentation from a Single Image
CN111275688A (zh) * 2020-01-19 2020-06-12 合肥工业大学 基于注意力机制的上下文特征融合筛选的小目标检测方法
CN111563508A (zh) * 2020-04-20 2020-08-21 华南理工大学 一种基于空间信息融合的语义分割方法
CN111932501A (zh) * 2020-07-13 2020-11-13 太仓中科信息技术研究院 一种基于语义分割的密封圈表面缺陷检测方法
CN112508032A (zh) * 2021-01-29 2021-03-16 成都东方天呈智能科技有限公司 一种联合物体上下文信息的人脸图像分割方法及分割网络
US20210089807A1 (en) * 2019-09-25 2021-03-25 Samsung Electronics Co., Ltd. System and method for boundary aware semantic segmentation
CN112906706A (zh) * 2021-03-31 2021-06-04 西南科技大学 一种改进的基于编解码器的图像语义分割方法
CN113129288A (zh) * 2021-04-22 2021-07-16 安徽大学 一种基于深度学习图像语义分割的药片表面缺陷检测方法及其自动化处理装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160350930A1 (en) * 2015-05-28 2016-12-01 Adobe Systems Incorporated Joint Depth Estimation and Semantic Segmentation from a Single Image
US20210089807A1 (en) * 2019-09-25 2021-03-25 Samsung Electronics Co., Ltd. System and method for boundary aware semantic segmentation
CN111275688A (zh) * 2020-01-19 2020-06-12 合肥工业大学 基于注意力机制的上下文特征融合筛选的小目标检测方法
CN111563508A (zh) * 2020-04-20 2020-08-21 华南理工大学 一种基于空间信息融合的语义分割方法
CN111932501A (zh) * 2020-07-13 2020-11-13 太仓中科信息技术研究院 一种基于语义分割的密封圈表面缺陷检测方法
CN112508032A (zh) * 2021-01-29 2021-03-16 成都东方天呈智能科技有限公司 一种联合物体上下文信息的人脸图像分割方法及分割网络
CN112906706A (zh) * 2021-03-31 2021-06-04 西南科技大学 一种改进的基于编解码器的图像语义分割方法
CN113129288A (zh) * 2021-04-22 2021-07-16 安徽大学 一种基于深度学习图像语义分割的药片表面缺陷检测方法及其自动化处理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
青晨;禹晶;肖创柏;段娟;: "深度卷积神经网络图像语义分割研究进展", 中国图象图形学报, no. 06, 16 June 2020 (2020-06-16) *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114743045A (zh) * 2022-03-31 2022-07-12 电子科技大学 一种基于双分支区域建议网络的小样本目标检测方法
CN114743045B (zh) * 2022-03-31 2023-09-26 电子科技大学 一种基于双分支区域建议网络的小样本目标检测方法
CN115393725A (zh) * 2022-10-26 2022-11-25 西南科技大学 一种特征增强和语义分割的桥梁裂缝识别方法
CN115393725B (zh) * 2022-10-26 2023-03-07 西南科技大学 一种特征增强和语义分割的桥梁裂缝识别方法
CN117152052A (zh) * 2023-06-01 2023-12-01 中南大学 一种面向工业图像质量的智能反馈控制方法与系统
CN117152052B (zh) * 2023-06-01 2024-02-20 中南大学 一种面向工业图像质量的智能反馈控制方法与系统
CN116703928A (zh) * 2023-08-08 2023-09-05 宁德市天铭新能源汽车配件有限公司 一种基于机器学习的汽车零部件生产检测方法及系统
CN116703928B (zh) * 2023-08-08 2023-10-27 宁德市天铭新能源汽车配件有限公司 一种基于机器学习的汽车零部件生产检测方法及系统

Also Published As

Publication number Publication date
CN114037674B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN109859190B (zh) 一种基于深度学习的目标区域检测方法
CN111259905B (zh) 一种基于下采样的特征融合遥感图像语义分割方法
CN114037674B (zh) 一种基于语义上下文的工业缺陷图像分割检测方法及装置
CN111080628B (zh) 图像篡改检测方法、装置、计算机设备和存储介质
CN110428428B (zh) 一种图像语义分割方法、电子设备和可读存储介质
CN108830285B (zh) 一种基于Faster-RCNN的加强学习的目标检测方法
CN110414344B (zh) 一种基于视频的人物分类方法、智能终端及存储介质
CN111046821B (zh) 一种视频行为识别方法、系统及电子设备
CN111626994B (zh) 基于改进U-Net神经网络的设备故障缺陷诊断方法
CN108133235B (zh) 一种基于神经网络多尺度特征图的行人检测方法
CN112699937A (zh) 基于特征引导网络的图像分类与分割的装置、方法、设备及介质
CN111738344A (zh) 一种基于多尺度融合的快速目标检测方法
CN110705412A (zh) 一种基于运动历史图像的视频目标检测方法
CN114724155A (zh) 基于深度卷积神经网络的场景文本检测方法、系统及设备
CN113343974A (zh) 考虑模态间语义距离度量的多模态融合分类优化方法
CN112070174A (zh) 一种基于深度学习的自然场景下文本检测方法
CN113034506A (zh) 遥感图像语义分割方法、装置、计算机设备和存储介质
CN116152226A (zh) 基于可融合的特征金字塔的换向器内侧图像缺陷检测方法
CN111882000A (zh) 一种应用于小样本细粒度学习的网络结构及方法
CN111612803B (zh) 一种基于图像清晰度的车辆图像语义分割方法
CN113762396A (zh) 一种二维图像语义分割方法
CN116206248B (zh) 一种基于机器学习引导深度学习的目标检测方法
WO2023207535A1 (zh) 一种伪标签框生成方法、装置及电子设备
CN111738237A (zh) 一种基于异构卷积的多核迭代rpn的目标检测方法
CN116630369A (zh) 基于时空记忆网络的无人机目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant