CN115661123A - 基于弱监督目标检测的工业品表面缺陷位置检测方法 - Google Patents

基于弱监督目标检测的工业品表面缺陷位置检测方法 Download PDF

Info

Publication number
CN115661123A
CN115661123A CN202211425972.6A CN202211425972A CN115661123A CN 115661123 A CN115661123 A CN 115661123A CN 202211425972 A CN202211425972 A CN 202211425972A CN 115661123 A CN115661123 A CN 115661123A
Authority
CN
China
Prior art keywords
surface defect
industrial product
classification model
classifiers
basic classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211425972.6A
Other languages
English (en)
Other versions
CN115661123B (zh
Inventor
董航程
刘国栋
刘炳国
黄颖妍
蒋宇浩
叶东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202211425972.6A priority Critical patent/CN115661123B/zh
Publication of CN115661123A publication Critical patent/CN115661123A/zh
Application granted granted Critical
Publication of CN115661123B publication Critical patent/CN115661123B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

基于弱监督目标检测的工业品表面缺陷位置检测方法，解决了如何利用有限数据、简易标注的样本实现高精度表面缺陷检测的问题，属于表面缺陷检测领域。本发明包括：获取工业品表面缺陷的基础分类模型，作为主干模型f0分类器；在基础分类模型的N个卷积块后各增加一路分支，构成N个分类器；冻结主干模型f0分类器的参数，利用工业品表面缺陷数据集依次训练N个分类器，确定N个分支的权重；检测时，将待检测的工业品表面图像输入到基础分类模型中，获得的N+1个分类器的弱监督定位结果，合并后获得结果S；对结果S进行阈值分割处理，利用二值化阈值，生成缺陷的位置掩膜，完成表面缺陷检测。

Description

基于弱监督目标检测的工业品表面缺陷位置检测方法
技术领域
本发明涉及一种基于深度学习的工业品表面缺陷位置检测方法，属于表面缺陷检测领域。
背景技术
工业生产流程中，表面缺陷检测技术对产品的品控至关重要，而依靠人工的质量检查费时费力。为了提升生产的自动化水平，往往采用机器视觉方法来进行检测。但是传统机器视觉方法难以适应复杂的生产环境，鲁棒性差，需要针对不同的问题设计不同的针对方案。随着人工智能技术的发展，深度学习技术逐渐被应用于表面缺陷检测领域，展现出更强的性能。
深度学习技术以卷积神经网络、注意力机制、transformer等高性能深度学习框架作为基础，在计算机视觉、自然语言处理乃至材料学生物学等领域都取得了巨大的进展，显示了人工智能技术的优越性。
然而实际工业生产环境中，现有的深度学习算法要想实际应用还面临着如下挑战：(1)收集数据费时费力。深度学习技术往往需要收集大量的样本，这对于工业检测场景的早期快速部署是一项挑战；(2)标注、清洗数据困难。对收集到的原始数据，仍然需要专业人员甚至相关领域专家来进行样本标注。且任务越复杂(如分割、检测)需要的标注程度越高，这无疑需要高额的时间与人力成本。
因此，如何面对有限的数据、简易的标注(如图像级别的标注)等复杂场景下的挑战，是实现表面缺陷检测自动化、智能化的关键。
发明内容
针对如何利用有限数据、简易标注的样本实现高精度表面缺陷检测的问题，本发明提供一种基于弱监督目标检测的工业品表面缺陷位置检测方法。
本发明的一种基于弱监督目标检测的工业品表面缺陷位置检测方法，包括：
步骤1、建立工业品表面缺陷数据集，获取工业品表面缺陷的基础分类模型，将基础分类模型作为主干模型f0分类器；
然后在基础分类模型的N个卷积块后各增加一路分支，构成N个分类器，每路分支为一个全连接层；
冻结主干模型f0分类器的参数，利用工业品表面缺陷数据集依次训练N个分类器，确定N个分支的权重；
步骤2、检测时，将待检测的工业品表面图像输入到基础分类模型中，计算步骤1获得的N+1个分类器的弱监督定位结果，并将N+1个分类器的弱监督定位结果进行合并，获得结果S；
步骤3、对结果S进行阈值分割处理，利用二值化阈值，生成缺陷的位置掩膜，完成表面缺陷检测。
作为优选，步骤2中，采用CAM方法依次计算N+1个分类器的弱监督定位结果，获得N+1个分类器的显著度图S(k)：
Figure BDA0003942230780000021
其中，k＝1,2,…,N+1，
Figure BDA0003942230780000022
是第k个分类器的底层特征图的第i个通道，
Figure BDA0003942230780000023
则是第k个分类器的第i个全平均池化层与第c类输出层相连接的权重。
作为优选，步骤2中，采用插值φk使得所有显著度图与输入到分类器的数据保持相同的分辨率，最终合并所有显著度图，获得结果S：
S＝∑kφk(Sk)。
本发明的有益效果，本发明相较于传统的CAM等弱监督目标检测方法，可以产生更高精度的语义分割结果。本发明减少了数据的标记难度，只需要提供图像级别的标签(类别标签)，就可以完成对缺陷位置的检测。
附图说明
图1为本发明的原理示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
本实施方式基于弱监督目标检测的工业品表面缺陷位置检测方法，该方法通过训练一组分类模型，只需要图像级的标签，就能实现对表面缺陷的像素级分割。具体来说，本实施方式由分类模型与弱监督定位算法两个部分组成。分类模型部分包括基础分类模型。基础分类模型也可以根据任务难度选择不同容量的模型，如VGG16、ResNet50等。除此之外，为了获得更高精度的语义分割性能，本实施方式分类模型在基础分类模型的基础上，在每个卷积块后增加一个分支，每个分支由一个全局平均池化和输出层组成的全连接层构成(即softmax分类器)，如图1所示。设额外连接的分支数为N，则总共需要训练N+1次，即第一次正常训练，然后冻结基础分类模型的参数，单独训练每一个额外分支。检测时，将待检测的工业品表面图像输入到基础分类模型中，N+1个分类器的弱监督定位结果，并将N+1个分类器的弱监督定位结果进行合并，获得结果S；对结果S进行阈值分割处理，利用二值化阈值，生成缺陷的位置掩膜，完成表面缺陷检测。
不同于以往的弱监督方案，本方法发现，高层特征图中的语义依然具有较强的判别性，且具有更多的语义信息，因此会获得更高精度的缺陷检测效果。
本实施方式中基础分类模型采用常规的训练方法，如迁移学习策略、数据增强方法等；
迁移学习策略为：将现有工业品表面缺陷分类模型的参数迁移到所述基础分类模型中。
数据增强方法：获取工业品表面缺陷数据，并进行图像增强(如随机翻转，随机裁剪等)，建立工业品表面缺陷数据集；利用工业品表面缺陷数据集对基础分类模型进行训练，确定基础分类模型的权重。
以训练ResNet50模型为例，简记为f，将基于imagenet预训练的ResNet50模型的参数迁移到待训练的基础分类模型中，然后在数据增强后的缺陷数据上进行微调训练可以获得主干模型f0分类器。如图1所示，然后取N＝3，ResNet50共包含4个由卷积块组成的stage，因此可以设计3个额外分支，分别位于stage1，stage2，stage3处。最后冻结主干网络，依次训练这三个分支，最终将获得f0,f1,f2,f3四个分类器。
本实施方式中，弱监督定位算法则采用CAM(类激活图)方法，采用CAM方法依次计算N+1个分类器的弱监督定位结果，获得N+1个分类器的显著度图s(k)：
Figure BDA0003942230780000031
其中，如图1所示，全连接层包括全平均池化层和输出层；k＝1,2,…,N+1，
Figure BDA0003942230780000032
是第k个分类器的底层特征图的第i个通道，
Figure BDA0003942230780000041
则是第k个分类器的第i个全平均池化层与第c类输出层相连接的权重。
将所有定位结果合并，由于不同分类器的底层特征图大小一般不一致，因此采用插值方法φk(如双线性插值)使得所有显著度图与输入数据保持相同的分辨率，最终合并所有显著度图：
Figure BDA0003942230780000042
与经典CAM方法不同的是，由于分类器额外训练了N个分支，则对于这N个额外的分类器，可以额外生成N个显著度图(即CAM)，最终的定位结果，由合并这N+1张显著度图获得。
缺陷定位后，对弱监督定位的结果S进行阈值分割后处理，可以选择若干张工业品表面缺陷数据集样本，选择多个二值化阈值，如δ＝0.1,0.3,0.5,0.8，然后进行人眼评判合适的值，或者选择使工业品表面缺陷数据集语义分割指标(F1 score、mIoU等)最高的二值化阈值，确定为最终的二值化阈值，生成缺陷的位置掩膜。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

Claims (10)

1.基于弱监督目标检测的工业品表面缺陷位置检测方法，其特征在于，所述方法包括：
步骤1、建立工业品表面缺陷数据集，获取工业品表面缺陷的基础分类模型，将基础分类模型作为主干模型f0分类器；
然后在基础分类模型的N个卷积块后各增加一路分支，构成N个分类器，每路分支为一个全连接层；
冻结主干模型f0分类器的参数，利用工业品表面缺陷数据集依次训练N个分类器，确定N个分支的权重；
步骤2、检测时，将待检测的工业品表面图像输入到基础分类模型中，计算步骤1获得的N+1个分类器的弱监督定位结果，并将N+1个分类器的弱监督定位结果进行合并，获得结果S；
步骤3、对结果S进行阈值分割处理，利用二值化阈值，生成缺陷的位置掩膜，完成表面缺陷检测。
2.根据权利要求1所述的工业品表面缺陷位置检测方法，其特征在于，步骤1中，获取工业品表面缺陷的基础分类模型的方法包括：在基础分类模型训练前，将现有工业品表面缺陷分类模型的参数迁移到所述基础分类模型中。
3.根据权利要求1所述的工业品表面缺陷位置检测方法，其特征在于，现有工业品表面缺陷分类模型为VGG16或ResNet50。
4.根据权利要求1所述的工业品表面缺陷位置检测方法，其特征在于，步骤1中，获取工业品表面缺陷的基础分类模型的方法包括：
获取工业品表面缺陷数据，并进行数据增强，建立工业品表面缺陷数据集；
利用工业品表面缺陷数据集对基础分类模型进行训练，确定基础分类模型的权重。
5.根据权利要求1所述的工业品表面缺陷位置检测方法，其特征在于，步骤2中，采用CAM方法依次计算N+1个分类器的弱监督定位结果，获得N+1个分类器的显著度图S(k)：
Figure FDA0003942230770000011
其中，k＝1,2,…,N+1，
Figure FDA0003942230770000012
是第k个分类器的底层特征图的第i个通道，
Figure FDA0003942230770000013
则是第k个分类器的第i个全平均池化层与第c类输出层相连接的权重。
6.根据权利要求5所述的工业品表面缺陷位置检测方法，其特征在于，步骤2中，采用插值φk使得所有显著度图与输入到分类器的数据保持相同的分辨率，最终合并所有显著度图：
S＝∑kφk(sk)。
7.根据权利要求1所述的工业品表面缺陷位置检测方法，其特征在于，步骤3中，在工业品表面缺陷数据集选取若干张样本，选择多个二值化阈值，然后进行人眼评判，确定个合适的值作为检测时的二值化阈值。
8.根据权利要求1所述的工业品表面缺陷位置检测方法，其特征在于，步骤3中，选择使工业品表面缺陷数据集语义分割指标最高的二值化阈值，确定为检测时的二值化阈值。
9.一种计算机可读的存储设备，所述存储设备存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1至7任一所述的工业品表面缺陷位置检测方法。
10.一种抑制类场风扰的无人机控制装置，包括存储设备、处理器以及存储在所述存储设备中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序实现如权利要求1至7任一所述的工业品表面缺陷位置检测方法。
CN202211425972.6A 2022-11-14 2022-11-14 基于弱监督目标检测的工业品表面缺陷位置检测方法 Active CN115661123B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211425972.6A CN115661123B (zh) 2022-11-14 2022-11-14 基于弱监督目标检测的工业品表面缺陷位置检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211425972.6A CN115661123B (zh) 2022-11-14 2022-11-14 基于弱监督目标检测的工业品表面缺陷位置检测方法

Publications (2)

Publication Number Publication Date
CN115661123A true CN115661123A (zh) 2023-01-31
CN115661123B CN115661123B (zh) 2023-06-23

Family

ID=85021848

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211425972.6A Active CN115661123B (zh) 2022-11-14 2022-11-14 基于弱监督目标检测的工业品表面缺陷位置检测方法

Country Status (1)

Country Link
CN (1) CN115661123B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721071A (zh) * 2023-06-05 2023-09-08 南京邮电大学 一种基于弱监督的工业产品表面缺陷检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210004945A1 (en) * 2019-07-05 2021-01-07 International Business Machines Corporation Image defect identification
CN112465909A (zh) * 2020-12-07 2021-03-09 南开大学 基于卷积神经网络的类激活映射目标定位方法及系统
CN115205275A (zh) * 2022-07-27 2022-10-18 哈尔滨工业大学 基于深度学习算法的表面缺陷检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210004945A1 (en) * 2019-07-05 2021-01-07 International Business Machines Corporation Image defect identification
CN112465909A (zh) * 2020-12-07 2021-03-09 南开大学 基于卷积神经网络的类激活映射目标定位方法及系统
CN115205275A (zh) * 2022-07-27 2022-10-18 哈尔滨工业大学 基于深度学习算法的表面缺陷检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721071A (zh) * 2023-06-05 2023-09-08 南京邮电大学 一种基于弱监督的工业产品表面缺陷检测方法及装置

Also Published As

Publication number Publication date
CN115661123B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN107609525B (zh) 基于剪枝策略构建卷积神经网络的遥感图像目标检测方法
CN109543606B (zh) 一种加入注意力机制的人脸识别方法
CN108615010B (zh) 基于平行卷积神经网络特征图融合的人脸表情识别方法
CN110414368B (zh) 一种基于知识蒸馏的无监督行人重识别方法
CN106778835B (zh) 融合场景信息和深度特征的遥感图像机场目标识别方法
CN106127173B (zh) 一种基于深度学习的人体属性识别方法
CN109598287B (zh) 基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法
CN105844669B (zh) 一种基于局部哈希特征的视频目标实时跟踪方法
CN105893968B (zh) 基于深度学习的文本无关的端到端的笔迹识别方法
CN112184752A (zh) 一种基于金字塔卷积的视频目标跟踪方法
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN107437100A (zh) 一种基于跨模态关联学习的图像位置预测方法
CN109214353B (zh) 一种基于剪枝模型的人脸图像快速检测训练方法和装置
CN106778852A (zh) 一种修正误判的图像内容识别方法
CN108021947A (zh) 一种基于视觉的分层极限学习机目标识别方法
CN108595558B (zh) 一种数据均衡策略和多特征融合的图像标注方法
CN112766170B (zh) 基于簇类无人机图像的自适应分割检测方法及装置
CN105046197A (zh) 基于聚类的多模板行人检测方法
CN112528845B (zh) 一种基于深度学习的物理电路图识别方法及其应用
CN108052959A (zh) 一种提高深度学习图片识别算法鲁棒性的方法
John et al. A comparative study of various object detection algorithms and performance analysis
CN111339935A (zh) 一种基于可解释cnn图像分类模型的光学遥感图片分类方法
CN113269224A (zh) 一种场景图像分类方法、系统及存储介质
CN117011883A (zh) 一种基于金字塔卷积和Transformer双分支的行人重识别方法
CN108021920A (zh) 一种图像对象协同发现的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant