CN113160200A - 一种基于多任务孪生网络的工业图像缺陷检测方法及系统 - Google Patents

一种基于多任务孪生网络的工业图像缺陷检测方法及系统 Download PDF

Info

Publication number
CN113160200A
CN113160200A CN202110481724.2A CN202110481724A CN113160200A CN 113160200 A CN113160200 A CN 113160200A CN 202110481724 A CN202110481724 A CN 202110481724A CN 113160200 A CN113160200 A CN 113160200A
Authority
CN
China
Prior art keywords
network
image
fpn
feature
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110481724.2A
Other languages
English (en)
Other versions
CN113160200B (zh
Inventor
张逸为
余燕清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Matrixtime Robotics Shanghai Co ltd
Original Assignee
Matrixtime Robotics Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matrixtime Robotics Shanghai Co ltd filed Critical Matrixtime Robotics Shanghai Co ltd
Priority to CN202110481724.2A priority Critical patent/CN113160200B/zh
Publication of CN113160200A publication Critical patent/CN113160200A/zh
Application granted granted Critical
Publication of CN113160200B publication Critical patent/CN113160200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及到图像处理技术领域，具体公开了一种基于多任务孪生网络的工业图像缺陷检测方法。所述方法将待检测图像与对应模板图像共同作为网络输入，计算出二者差异的相关特征，并运用分割网络结构进行多任务辅助训练，使得骨干网络能够明确地在FPN特征提取的过程中有效区分背景信息，随后使用FPN特征进行检测网络的训练，完成缺陷的二分类检测任务。本发明采用孪生网络结构为模型的泛化能力提供了有效保障，多任务分割网络辅助检测网络训练使得网络训练更加容易，性能更好，为二分类检测任务提供了支撑。

Description

一种基于多任务孪生网络的工业图像缺陷检测方法及系统
技术领域
本发明涉及图像检测技术领域，特别涉及一种基于多任务孪生网络的工业图像缺陷检测方法及系统。
背景技术
随着计算机视觉技术的快速发展与人工智能技术的广泛应用，机器视觉技术越来越多地应用于工业场景，在生产的各个环节中均有广泛的运用。而缺陷检测计算机视觉在工业领域近年来需求剧增的场景之一，该任务主要体现在计算机视觉可以快速、自动地通过图像传感器采集到的数据对产品外观图像进行检测，返回产品是否存在缺陷以及缺陷相关信息。缺陷检测过程中，产品二分类的准确率指标至关重要，直接影响检测结果的漏检与过检率。因此二分类准确率高的工业产品数据缺陷识别检测方案在产品缺陷检测领域具有很高的实用价值。
现有的机器视觉工业图像数据二分类缺陷检测方案已经可以满足很多场景，甚至很多情况下多分类准确率已经高到可以实用，但现有的目前还存在以下缺陷：
第一，现有的图像缺陷检测方案大多采用待测图像作为输入，此类方案难以保证检测方案的数据迁移能力。这个问题表现在当模型使用现有数据集进行训练后，由于模型泛化能力不足，面对需要检测新类型图像数据的场景时会产生异常，导致缺陷被误检或漏检，这是由于单一使用待测图像作为输入的模型无法将图像背景与前景进行明确区分所导致的。而共同运用待检测图像与对应模板图像信息的孪生网络可以很大程度上缓解单一输入模型的泛化性不足的问题。
第二，目前存在的利用孪生网络进行缺陷检测的技术没有从网络特征层面深入挖掘模型的潜能，在模型训练过程中孪生网络的前、背景差异的先验信息没有加以充分利用，在模型泛化能力这一指标上还有提升的空间。
因此，有必要基于孪生网络提出一种新的工业图像缺陷检测方法，将待检测产品与对应模板图像共同作为网络输入，在模型训练过程中充分运用孪生网络的前、背景差异的的先验信息，以提升模型的泛化能力及网络训练的性能，为二分类检测任务提供更好的支撑。
发明内容
本发明的目的在于提供一种基于多任务孪生网络的工业图像缺陷检测方法及系统，已解决上述现有技术中模型泛化性不足、孪生网络缺陷检测技术深入不够的缺陷。
鉴于此，本发明具体方案如下：
一种基于多任务孪生网络的工业图像缺陷检测方法，其特征在于，包括如下步骤：
S1.获取待检测图像与对应的模板图像，并对图像数据进行预处理；
S2.将待检测图像与模板图像输入孪生网络结构，完成图像数据处理，并将输入的图像数据表示成多尺度特征；
S3.将图像数据表示特征送入FPN模块生成FPN特征；
S4.将FPN特征送入检测网络，训练二分类缺陷工业图像陷检测网络；
S5.使用训练后的检测网络对测试图像进行检测，得到图像的缺陷检测结果。
进一步地，本发明所述工业图像缺陷检测方法中，构建分割网络结构对得到的FPN特征进行监督，将图像数据识别为前景与背景，对缺陷信息分割标注，再训练检测网络。
进一步地，本发明所述工业图像缺陷检测方法中，所述步骤S5为：
S51.裁剪训练过程中的网络，略去分割网络监督部分，保留剩余框架，生成网络模型；
S52.加载训练好模型的权重；
S53.加载待检测的图像与对应的模板图像；
S54.将图像输入网络得到缺陷二分类检测结果。
进一步地，本发明所述工业图像缺陷检测方法中：
所述步骤S2为：
S21.拆分骨干网络D2层特征之前的浅层网络结构为孪生网络结构，该孪生网络接受两组相同尺寸的图像输入，共享参数，并在输出D2特征之后进行特征相减，得到两组输入的数据表示差异特征，随后提取深层的骨干网络不再使用孪生结构，恢复正常的特征提取的运行方式；
S22.使用S21中设计的孪生网络结构提取差异信息特征，从骨干网络深层特征提取层中提出D4、D8、D16、D32的特征。
所述步骤S3为：
S31.将D32特征经过1×1卷积转换成固定通道数量Cnum的特征FPN_D32；
S32.将FPN_D32最近邻上采样得到的特征与D16经过1×1卷积转换成固定通道数量Cnum的特征求和得到FPN_D16；
S33.将FPN_D16最近邻上采样得到的特征与D8经过1×1卷积转换成固定通道数量Cnum的特征求和得到FPN_D8；
S34.将FPN_D8最近邻上采样得到的特征与D4经过1×1卷积转换成固定通道数量Cnum的特征求和得到FPN_D4；
S35.将FPN_D32特征经过步长为2的最大值池化操作得到FPN_D64特征。
所述监督调整FPN特征过程为：
S100.将FPN_D4-FPN_D64五组FPN特征使用2层卷积压缩通道数为1，使用sigmoid函数激活：
Figure BDA0003049504860000041
S200.将待检测图像的分割标注分别变换到原图D4-D64五种尺寸，生成五组bool矩阵作为标签，训练分割网络，训练的目标为：将缺陷部分预测为1，背景预测为0；损失函数使用二分类交叉熵BCE：
Figure BDA0003049504860000042
所述步骤S4为：
S41.在FPN_D4–FPN_D64特征上训练检测网络，使得网络在多个尺度的特征上提取出缺陷部分的检测框，使用缺陷的检测框标注信息对网络进行监督训练；
S42.训练时五组分割网络的损失权重为Ws1-Ws5，检测网络的损失权重为Wd，整个网络的训练损失函数为：
Figure BDA0003049504860000043
其中：Lsi与Ld为分割与检测网络的损失函数。
进一步地，本发明所述工业图像缺陷检测方法中，所述步骤S1中所述预处理过程为将图像处理至统一尺寸，将对比度归一化，矫正仿射变换参数。
本发明另一个目的在于，提出一种基于多任务孪生网络的工业图像缺陷检测系统，输入数据是由待检测图像与模板图像输入组成，所述检测系统包括：
骨干网络模块，用于利用孪生网络的完成图像数据处理，将图像数据表示成多尺度特征；
FPN特征提取模块，用于基于多尺度特征提取FPN特征；
检测网络模块，用于以FPN特征为输入，训练二分类缺陷工业图像陷检测网络。
进一步地，所述工业图像缺陷检测系统还包括分割网络监督模块，用于对得到的FPN特征进行监督，将图像数据识别为前景与背景，对缺陷信息分割标注，再训练检测网络。
相对于现有技术，本发明的有益效果为：
1.本发明提出部分拆分骨干网络提取孪生输入图像基础特征，并重点分析差异特征的二分类缺陷检测框架。该检测框架能更有效地利用输入待检测图像与模板图像的信息，针对性地分析缺陷产生的区域，可以有效地使网络重点关注缺陷部分，提高了模型对新数据的泛化能力；
2.本发明使用分割网络结构监督检测网络所使用特征的模型训练方案，由于我们可以充分利用输入孪生图像之间的差异先验知识，确定缺陷部分应该是被“点亮”的区域，可以在各个尺度上对FPN特征进行网络中间结果的监督调整，有利于网络对缺陷区域的关注能力，提升了模型二分类检测能力；
3.本发明提出的方法适用于各种骨干网络、监督网络、检测网络结构，面对不同的数据形式和算力要求等实际情况，可以灵活调整。
4.本发明提出的框架训练出的模型具备更好的检测性能。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明工业图像缺陷检测方法设计概要流程图。
图2为本发明工业图像缺陷检测方法步骤细节流程图。
图3位本发明采用分割网络监督模块对FPN特征缺陷信息分割标注的流程图。
具体实施方式
为了使本发明的目的、技术方案和有益技术效果更加清晰明白，以下结合附图和具体实施方式，对本发明进行进一步详细说明。应当理解的是，本说明书中描述的具体实施方式仅仅是为了解释本发明，并不是为了限定本发明。
如图2-3所示，本发明提供一种基于多任务孪生网络的工业图像缺陷检测系统，输入数据是由待检测图像与模板图像输入组成，所述检测系统包括：
骨干网络模块，用于利用孪生网络的完成图像数据处理，将图像数据表示成多尺度特征；
FPN特征提取模块，用于基于多尺度特征提取FPN特征；
分割网络监督模块，用于对得到的FPN特征进行监督，将图像数据识别为前景与背景，对缺陷信息分割标注，再训练检测网络；
检测网络模块，用于以FPN特征为输入，训练二分类缺陷工业图像陷检测网络。
如图1-2所示，基于多任务孪生网络的工业图像缺陷检测方法，包括如下步骤：
1.获取待检测图像与对应的模板图像，将图像处理至统一尺寸，将对比度归一化，矫正仿射变换参数；
2.孪生网络差异信息的数据表示特征提取，具体包括以下步骤：
1)拆分骨干网络D2层特征之前的浅层网络结构为孪生网络结构，该孪生网络接受2组相同尺寸的图像输入，共享参数，并在输出D2特征之后进行特征相减，得到两组输入的数据表示差异特征，随后提取深层的骨干网络不再使用孪生结构，恢复正常的特征提取的运行方式；
2)使用步骤1)中设计的孪生网络结构提取差异信息特征，主要从骨干网络深层特征提取层中提出D4、D8、D16、D32的特征，该骨干网络可以使用现有各种特征提取结构；
3.进行FPN特征提取，具体包括以下步骤：
1)将D32特征经过1×1卷积转换成固定通道数量Cnum的特征FPN_D32；
2)将FPN_D32最近邻上采样得到的特征与D16经过1×1卷积转换成固定通道数量Cnum的特征求和得到FPN_D16；
3)将FPN_D16最近邻上采样得到的特征与D8经过1×1卷积转换成固定通道数量Cnum的特征求和得到FPN_D8；
4)将FPN_D8最近邻上采样得到的特征与D4经过1×1卷积转换成固定通道数量Cnum的特征求和得到FPN_D4；
5)将FPN_D32特征经过步长为2的最大值池化操作得到FPN_D64特征。
4.使用分割网络结构监督调整FPN特征，具体包括以下步骤：
1)将FPN特征FPN_D4-FPN_D64五组特征使用2层卷积压缩通道数为1，使用sigmoid函数激活，具体公式：
Figure BDA0003049504860000071
2)将待检测图像的分割标注分别变换到原图D4-D64五种尺寸，生成五组bool矩阵作为标签，训练分割网络，训练的目标为：将缺陷部分预测为1，背景预测为0；
损失函数使用二分类交叉熵：
Figure BDA0003049504860000081
5.使用FPN特征训练检测网络，具体包括以下步骤：
1)在FPN_D4–FPN_D64特征上训练检测网络，使得网络在多个尺度的特征上提取出缺陷部分的检测框，使用缺陷的检测框标注信息对网络进行监督训练；
2)训练时五组分割网络的损失权重为Ws1-Ws5，检测网络的损失权重为Wd，整个网络的训练损失函数为：
Figure BDA0003049504860000082
其中Lsi与Ld为分割与检测网络的损失函数；
该检测网络可以但不限于现有的检测网络结构，其核心在于在调整过后的FPN特征上进行检测网络的训练这一流程。
6.使用训练好的检测网络进行缺陷检测，具体包括以下步骤：
1)裁剪训练过程中的网络，略去分割网络监督部分，保留剩余框架，生成网络模型；
2)加载训练好模型的权重；
3)加载待检测的图像与对应的模板图像；
4)将图像输入网络得到缺陷二分类检测结果。
以下是以工业半导体器件检测图像为例结合具体的网络结构的具体实施例：
步骤1，获取工业半导体器件的待检测图像与对应的模板图像，并对图像数据进行处理，截取模板图像的过程中需要根据差异梯度进行位置校准，使得模板与待检测图像的偏差在0.5像素以内；
步骤2，构建孪生网络结构，以Resnet50骨干网络为例，将Layer1层之前的特征拆分为孪生网络结构，二者接受不同的输入，共享相同的参数，输出两组同尺寸的特征，随后将两组特征相减，继续余下深层Resnet50网络特征提取流程；完成网络构建后将数据输入网络，得到Resnet50的D4(通道数256)，D8(通道数512)，D16(通道数1024)和D32(通道数2048)特征；
步骤3，将D4，D8，D16和D32特征送入FPN模块，取FPN通道数Cnum为256，计算得到FPN_D4-FPN_D64五组特征，通道数均为256；
步骤4，使用分割网络结构辅助训练，调整FPN特征提取。对五组FPN特征分别使用两层步长为1的1×1卷积，将特征数降至1；将分割网络标注转换为区分前景、背景的bool型矩阵，将该矩阵变换到D4-D64五个尺度上，作为五组FPN特征变换的目标矩阵，用于监督训练的真实标签；
在训练过程中，五组输出特征均采用平均BCE损失函数，损失权重均取0.1：
Figure BDA0003049504860000091
步骤5，将FPN_D4-FPN_D64五组特征送入到检测网络中用于检测网络训练使用，此处以FPN fasterrcnn网络为例，网络在各个尺度的特征上提取检测框并预测得分，使用缺陷标注信息进行监督学习，损失函数包括类别BCE损失Lcls与检测框回归L1损失Lbox，总损失权重为0.5。
因此训练过程中的损失函数为：
Figure BDA0003049504860000101
步骤6，使用训练好的网络对测试图像进行检测，此时构建测试网络需要删除分割网络模块，仅保留FPN特征向检测网络传输的网络结构；加载训练好的模型权重，并向网络送入待检测的孪生图像对，得到缺陷二分类检测结果。
在实施例中我们使用现有的数据分成了四组迁移数据测试的测试集，本发明与基线实验的结果(AP)如表1所示：
表1：发明与基线对比测试实验的结果(AP)
Figure BDA0003049504860000102
从表1的结果中可以观察到，本发明提出的缺陷检测框架在各个数据集上的数据迁移性能均优于基线算法，说明本发明提出的方法具有更强的数据迁移能力。
本发明并不仅仅限于说明书和实施方式中所描述，因此对于熟悉领域的人员而言可容易地实现另外的优点和修改，故在不背离权利要求及等同范围所限定的一般概念的精神和范围的情况下，本发明并不限于特定的细节、代表性的设备和这里示出与描述的图示示例。

Claims (10)

1.一种基于多任务孪生网络的工业图像缺陷检测方法，其特征在于，包括如下步骤：
S1.获取待检测图像与对应的模板图像，并对图像数据进行预处理；
S2.将待检测图像与模板图像输入孪生网络结构，完成图像数据处理，并将输入的图像数据表示成多尺度特征；
S3.将图像数据表示特征送入FPN模块生成FPN特征；
S4.将FPN特征送入检测网络，训练二分类缺陷工业图像陷检测网络；
S5.使用训练后的检测网络对测试图像进行检测，得到图像的缺陷检测结果。
2.根据权利要求1所述的工业图像缺陷检测方法，其特征在于，构建分割网络结构对得到的FPN特征进行监督，将图像数据识别为前景与背景，对缺陷信息分割标注，再训练检测网络。
3.根据权利要求2所述的的工业图像缺陷检测方法，其特征在于，所述步骤S5为：
S51.裁剪训练过程中的网络，略去分割网络监督部分，保留剩余框架，生成网络模型；
S52.加载训练好模型的权重；
S53.加载待检测的图像与对应的模板图像；
S54.将图像输入网络得到缺陷二分类检测结果。
4.根据权利要求2所述的工业图像缺陷检测方法，其特征在于，所述步骤S2为：
S21.拆分骨干网络D2层特征之前的浅层网络结构为孪生网络结构，该孪生网络接受两组相同尺寸的图像输入，共享参数，并在输出D2特征之后进行特征相减，得到两组输入的数据表示差异特征，随后提取深层的骨干网络不再使用孪生结构，恢复正常的特征提取的运行方式；
S22.使用S21中设计的孪生网络结构提取差异信息特征，从骨干网络深层特征提取层中提出D4、D8、D16、D32的特征。
5.根据权利要求4所述的工业图像缺陷检测方法，其特征在于，所述步骤S3为：
S31.将D32特征经过1×1卷积转换成固定通道数量Cnum的特征FPN_D32；
S32.将FPN_D32最近邻上采样得到的特征与D16经过1×1卷积转换成固定通道数量Cnum的特征求和得到FPN_D16；
S33.将FPN_D16最近邻上采样得到的特征与D8经过1×1卷积转换成固定通道数量Cnum的特征求和得到FPN_D8；
S34.将FPN_D8最近邻上采样得到的特征与D4经过1×1卷积转换成固定通道数量Cnum的特征求和得到FPN_D4；
S35.将FPN_D32特征经过步长为2的最大值池化操作得到FPN_D64特征。
6.根据权利要求5所述的工业图像缺陷检测方法，其特征在于，所述监督调整FPN特征的过程为：
S100.将FPN_D4-FPN_D64五组FPN特征使用2层卷积压缩通道数为1，使用sigmoid函数激活：
Figure FDA0003049504850000021
S200.将待检测图像的分割标注分别变换到原图D4-D64五种尺寸，生成五组bool矩阵作为标签，训练分割网络，训练的目标为：将缺陷部分预测为1，背景预测为0；损失函数使用二分类交叉熵BCE：
Figure FDA0003049504850000031
7.根据权利要求6所述的工业图像缺陷检测方法，其特征在于，所述步骤S4为：
S41.在FPN_D4–FPN_D64特征上训练检测网络，使得网络在多个尺度的特征上提取出缺陷部分的检测框，使用缺陷的检测框标注信息对网络进行监督训练；
S42.训练时五组分割网络的损失权重为Ws1-Ws5，检测网络的损失权重为Wd，整个网络的训练损失函数为：
Figure FDA0003049504850000032
其中：Lsi与Ld为分割与检测网络的损失函数。
8.根据权利要求1所述的工业图像缺陷检测方法，其特征在于，所述步骤S1中所述预处理过程为将图像处理至统一尺寸，将对比度归一化，矫正仿射变换参数。
9.一种基于多任务孪生网络的工业图像缺陷检测系统，其特征在于，输入数据是由待检测图像与模板图像输入组成，所述检测系统包括：
骨干网络模块，用于利用孪生网络的完成图像数据处理，将图像数据表示成多尺度特征；
FPN特征提取模块，用于基于多尺度特征提取FPN特征；
检测网络模块，用于以FPN特征为输入，训练二分类缺陷工业图像陷检测网络。
10.根据权利要求9所述的工业图像缺陷检测系统，其特征在于，还包括分割网络监督模块，用于对得到的FPN特征进行监督，将图像数据识别为前景与背景，对缺陷信息分割标注，再训练检测网络。
CN202110481724.2A 2021-04-30 2021-04-30 一种基于多任务孪生网络的工业图像缺陷检测方法及系统 Active CN113160200B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110481724.2A CN113160200B (zh) 2021-04-30 2021-04-30 一种基于多任务孪生网络的工业图像缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110481724.2A CN113160200B (zh) 2021-04-30 2021-04-30 一种基于多任务孪生网络的工业图像缺陷检测方法及系统

Publications (2)

Publication Number Publication Date
CN113160200A true CN113160200A (zh) 2021-07-23
CN113160200B CN113160200B (zh) 2024-04-12

Family

ID=76873061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110481724.2A Active CN113160200B (zh) 2021-04-30 2021-04-30 一种基于多任务孪生网络的工业图像缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN113160200B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592832A (zh) * 2021-08-05 2021-11-02 深圳职业技术学院 一种工业品缺陷检测方法和装置
CN115546211A (zh) * 2022-11-29 2022-12-30 福建帝视智能科技有限公司 一种焊点缺陷分类方法、终端及计算机存储介质
CN116703905A (zh) * 2023-08-04 2023-09-05 聚时科技(深圳)有限公司 空料检测方法、装置、电子设备和计算机可读存储介质
CN117074419A (zh) * 2023-08-25 2023-11-17 江苏广兴丰茂科技有限公司 一种发动机齿圈型钢的缺陷检测方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101863196B1 (ko) * 2017-07-24 2018-06-01 한국생산기술연구원 딥러닝 기반 표면 결함 검출장치 및 방법
US20180268257A1 (en) * 2017-03-20 2018-09-20 Rolls-Royce Plc Surface defect detection
CN109711474A (zh) * 2018-12-24 2019-05-03 中山大学 一种基于深度学习的铝材表面缺陷检测算法
CN110222792A (zh) * 2019-06-20 2019-09-10 杭州电子科技大学 一种基于孪生网络的标签缺陷检测算法
CN111709920A (zh) * 2020-06-01 2020-09-25 深圳市深视创新科技有限公司 模板缺陷检测方法
CN112348787A (zh) * 2020-11-03 2021-02-09 中科创达软件股份有限公司 物体缺陷检测模型的训练方法、物体缺陷检测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180268257A1 (en) * 2017-03-20 2018-09-20 Rolls-Royce Plc Surface defect detection
KR101863196B1 (ko) * 2017-07-24 2018-06-01 한국생산기술연구원 딥러닝 기반 표면 결함 검출장치 및 방법
CN109711474A (zh) * 2018-12-24 2019-05-03 中山大学 一种基于深度学习的铝材表面缺陷检测算法
CN110222792A (zh) * 2019-06-20 2019-09-10 杭州电子科技大学 一种基于孪生网络的标签缺陷检测算法
CN111709920A (zh) * 2020-06-01 2020-09-25 深圳市深视创新科技有限公司 模板缺陷检测方法
CN112348787A (zh) * 2020-11-03 2021-02-09 中科创达软件股份有限公司 物体缺陷检测模型的训练方法、物体缺陷检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WANGZHE DU: "Approaches for improvement of the X-ray image defect detection of automobile casting aluminum parts based on deep learning", 《NDT & E INTERNATIONAL》, vol. 107, 31 October 2019 (2019-10-31), pages 1 - 12 *
王韵涛: "基于多重孪生网络的表面缺陷识别方法", 《计算机应用》, vol. 40, 31 December 2020 (2020-12-31), pages 225 - 229 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592832A (zh) * 2021-08-05 2021-11-02 深圳职业技术学院 一种工业品缺陷检测方法和装置
CN115546211A (zh) * 2022-11-29 2022-12-30 福建帝视智能科技有限公司 一种焊点缺陷分类方法、终端及计算机存储介质
CN115546211B (zh) * 2022-11-29 2023-04-11 福建帝视智能科技有限公司 一种焊点缺陷分类方法、终端及计算机存储介质
CN116703905A (zh) * 2023-08-04 2023-09-05 聚时科技(深圳)有限公司 空料检测方法、装置、电子设备和计算机可读存储介质
CN116703905B (zh) * 2023-08-04 2023-11-24 聚时科技(深圳)有限公司 空料检测方法、装置、电子设备和计算机可读存储介质
CN117074419A (zh) * 2023-08-25 2023-11-17 江苏广兴丰茂科技有限公司 一种发动机齿圈型钢的缺陷检测方法及系统
CN117074419B (zh) * 2023-08-25 2024-04-09 江苏广兴丰茂科技有限公司 一种发动机齿圈型钢的缺陷检测方法及系统

Also Published As

Publication number Publication date
CN113160200B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
CN113160200A (zh) 一种基于多任务孪生网络的工业图像缺陷检测方法及系统
Wang et al. Integrated model of BP neural network and CNN algorithm for automatic wear debris classification
CN111784633B (zh) 一种面向电力巡检视频的绝缘子缺损自动检测算法
CN106845434B (zh) 一种基于支持向量机的图像型机房漏水监测方法
JP2022027473A5 (zh)
CN116342894B (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN116910752B (zh) 一种基于大数据的恶意代码检测方法
CN115861210B (zh) 一种基于孪生网络的变电站设备异常检测方法和系统
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
CN110533083B (zh) 基于SVM的Adaboost模型的铸件缺陷识别方法
CN114842524A (zh) 一种基于不规则显著性像素簇的人脸鉴伪方法
CN111291712B (zh) 基于插值的cn和胶囊网络的森林火灾识别方法及装置
CN112257730A (zh) 植物害虫图像识别方法、装置、设备及存储介质
Sema et al. Automatic Detection and Classification of Mango Disease Using Convolutional Neural Network and Histogram Oriented Gradients
CN114581722A (zh) 一种基于孪生残差网络的二阶段多分类工业图像缺陷检测方法
CN116051539A (zh) 一种变电设备发热故障的诊断方法
CN115661042A (zh) 一种基于注意力机制指导的分层分类缺陷检测方法
CN115131355A (zh) 利用电子设备数据检测防水布异常的智能方法
Dijaya et al. Corn Plant Disease Identification Using SURF-based Bag of Visual Words Feature
Chakroun et al. Hierarchical convolutional neural networks for leaf disease detection
Ahmed et al. A CNN-based novel approach for the detection of compound Bangla handwritten characters
Maheshwari et al. Gender Classification using SVM With Flask
Powar et al. Retinal disease identification by segmentation techniques in diabetic retinopathy
Busto et al. Glass Surface Defect Grading using Machine Learning Methods
Yaswanth et al. Classification of Medicinal Leaves using SVM

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant