CN114742799B - 基于自监督异构网络的工业场景未知类型缺陷分割方法 - Google Patents
基于自监督异构网络的工业场景未知类型缺陷分割方法 Download PDFInfo
- Publication number
- CN114742799B CN114742799B CN202210401019.1A CN202210401019A CN114742799B CN 114742799 B CN114742799 B CN 114742799B CN 202210401019 A CN202210401019 A CN 202210401019A CN 114742799 B CN114742799 B CN 114742799B
- Authority
- CN
- China
- Prior art keywords
- heterogeneous
- feature
- network
- abnormal
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000007547 defect Effects 0.000 title claims abstract description 15
- 230000002159 abnormal effect Effects 0.000 claims abstract description 91
- 238000012549 training Methods 0.000 claims abstract description 21
- 230000004927 fusion Effects 0.000 claims abstract description 16
- 238000012360 testing method Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims description 42
- 238000009499 grossing Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 230000003213 activating effect Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000005489 elastic deformation Effects 0.000 claims description 3
- 238000005065 mining Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 16
- 238000001514 detection method Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000000452 restraining effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于自监督异构网络的工业场景未知类型缺陷分割方法：准备大型预训练网络并固定参数，作为教师网络；构建异构学生网络，由异构特征编码模块、特征融合模块和分割模块组成；训练异构学生网络，将合成异常图像输入至教师和异构学生网络中，一方面，约束学生网络在合成图像的正常区域提取的多尺度特征与教师网络相应尺度特征相似，另一方面，约束分割模块产生的分割概率图准确回归合成的异常区域；测试阶段通过教师和异构学生网络提取的相应尺度的特征图的差异和分割概率图得到异常得分图，设置合适的阈值二值化得到异常分割图。本发明通过对特征编码模块的相关设计和自监督的引入，实现了对图像异常区域的精确分割。
Description
技术领域
本发明属于计算机视觉技术领域，更具体地，涉及一种基于自监督异构网络的工业场景未知类型缺陷分割方法。
背景技术
异常检测，旨在构建模型使其能够根据预先定义的正常模式检测待检样本中的视觉异常。这一技术已在许多实际的应用领域引起了广泛关注，例如工业制造、医学影像、视频监控等。然而，异常检测任务还存在着巨大挑战，如异常样本难以获取，异常区域可视性低，异常模式具有未知性等，因此该任务通常要求模型能在基于正常样本学习的情况下，对待检样本中的潜在异常进行识别和分割。
现有的主流方法包括基于图像重建的方法、基于特征比较的方法和自监督方法。基于图像重建的方法假设在正常样本上训练的模型仅能重建出正常样本，推理阶段根据重建样本和待检样本的重建误差进行异常分割。基于特征比较的方法根据教师网络和学生网络提取的特征的差异分割异常，两者在正常区域编码的特征趋于一致，而在异常区域将有明显区别。虽然近年来无监督方法已取得了长足进步，但其会对异常区域边缘周围像素产生漏检和误检，导致模型分割性能不佳。自监督方法基于正常样本生成异常数据，并自动产生监督标签，然后通过对比学习或有监督的思想训练得到分割模型，自监督方法不仅省去了人工标注的成本，还展现出了优异的分割潜力。
通过对现有方法的分割结果的深入观察，提出影响分割精度的关键因素是异常边缘周围像素的不确定度(Uncertainty AroundBoundary,UAB)。UAB表示模型对于异常边缘周围像素的预测会展现出较大的不确定度，导致异常边缘周围像素经常会被误检或漏检，这种现象严重影响了分割精度，但是在现有方法中很少被讨论。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于自监督异构网络的工业场景未知类型缺陷分割方法，其目的在于对异常区域进行精细化分割，提升现有方法的分割精度。为实现上述目的，本发明提供如下技术方案：
一种基于自监督异构网络的工业场景未知类型缺陷分割方法，包括以下步骤：
步骤S1，准备一个在ImageNet预训练完成的大型预训练网络作为教师网络(1)，在后续步骤中教师网络(1)的参数都被固定；
步骤S2，构建异构学生网络(2)。异构学生网络(2)由异构特征编码模块、特征融合模块和分割模块组成。其中异构特征编码模块由三个独立的特征提取器组成，用于提取图像的三种不同尺度的特征，三个特征提取器分别命名为底层特征提取学生网络，中层特征提取学生网络和高层特征提取学生网络。特征融合模块用于将异构特征编码模块产生的三种不同尺度特征进行融合，然后将融合后的特征输入分割模块中，分割模块输出分割概率图。
步骤S3，训练异构学生网络(2)。首先合成一些异常区域粘贴到训练集中的正常图像上，得到合成图像(3)。然后，将其同时输入到教师网络(1)和异构学生网络(2)中，一方面，约束异构学生网络(2)在合成图像(3)的正常区域提取的多尺度特征与教师网络(1)的相应尺度特征相似；另一方面，约束由分割模块产生的分割概率图可以准确回归合成的异常区域，使其对异常区域边缘敏感。
步骤S4，测试阶段。将含有异常区域的测试图像(6)同时输入教师网络(1)和异构学生网络(2)中。一方面，通过异常得分函数(7)计算两者提取的相应尺度的特征图在特征空间的距离，得到异常差异图；另一方面，通过分割模块预测得到分割概率图。通过融合异常差异图和分割概率图得到最终的异常得分图，最后通过设置合适的阈值对异常得分图进行二值化，得到异常分割图。
优选地，异构学生网络(2)的异构特征编码模块中的特征提取器可以采用任意现有的通用特征提取模型。本发明中的三个特征提取器都去除了现有通用特征提取模型中的池化等下采样操作，并对特征提取模型中卷积层的步长进行设计，以降低特征提取学生网络的感受野，保证底层、中层及高层特征提取学生网络输出特征图尺寸均为输入图像的1/2，通道数分别为C1,C2,C3，其中C1,C2,C3分别为预设值。去除通用特征提取模型中的下采样操作，降低特征提取学生网络的感受野，限制输出特征图分辨率的动机是抑制UAB现象，分析如下：
UAB代表着模型对异常区域边缘周围的像素的预测具有较大的不确定性，而造成UAB的关键原因在于卷积神经网络的感受野。卷积神经网络提取的特征图中的每一个特征向量都代表着对原始图像中某一块区域的感知，若特征向量编码的区域中同时包含了正常像素和异常像素，将会导致在通过特征图计算异常差异图进行异常分割时，模型对该区域产生较大的不确定度，因此区域内的像素容易被漏检或误检。网络的感受野越大，同时编码正常像素和异常像素的特征向量越多，UAB现象越明显。
优选地，异构学生网络(2)的特征融合模块用于平滑和融合异构特征编码模块提取的特征，具体包括：
步骤S2-1，使用1×1卷积对高层特征提取学生网络输出的1/2分辨率的特征图进行平滑其中C为预设值。
步骤S2-2，使用1×1卷积对中层特征提取学生网络输出的1/2分辨率的特征图进行平滑并将它与步骤S2-1得到的特征图逐像素相加。
步骤S2-3，使用1×1卷积对底层特征提取学生网络输出的1/2分辨率的特征图进行平滑并将它与步骤S2-2得到的特征图逐像素相加。
步骤S2-4，将步骤S2-1，步骤S2-2，步骤S2-3得到的特征图在通道维度上进行堆叠R(C+C+C)→R3C。
优选地，异构学生网络(2)的分割模块用于预测得到分割概率图，具体包括：
步骤S2-5，使用卷积核为3×3，步长为1的卷积层将步骤S2-4得到的融合特征进行降维并使用BatchNorm层进行归一化，ReLu进行激活，得到分辨率为原图大小1/2，通道数为C4的特征。
步骤S2-6，使用卷积核为2×2，步长为2的反卷积层将步骤S2-5得到的特征图进行上采样，并使用BatchNorm层进行归一化，ReLu进行激活，得到分辨率为原图大小，通道数为C4的特征。
步骤S2-7，使用1×1卷积对步骤S2-6得到的特征进行逐像素的预测并使用Sigmoid函数激活，得到预测的分割概率图。
优选地，在异构学生网络(2)的训练阶段，输入的训练图像是合成的异常图像(3)，合成数据的步骤可分为三步。首先，生成两种类型的基本异常模式，一种是随机生成的形状，如线条、矩形等，另一种是从正常图像中随机裁剪的补丁。然后，使用了两种操作来增加异常的多样性：1)使用弹性形变对基本异常进行形状变换，增加异常的形状多样性，2)通过颜色转换调整异常的亮度、对比度、饱和度和清晰度，增加异常的颜色多样性。最后，将这些异常粘贴到正常图像上，为了避免边界信息泄露，还采用了高斯模糊来平滑合成异常的边界。
优选地，在异构学生网络(2)的训练阶段，为了约束异构特征编码模块提取的不同尺度的特征与教师网络(1)相应尺度的特征在正常区域保持一致，优化的目标函数(4)为：
其中分别表示高层、中层和底层特征提取学生网络提取的合成的异常图像在正常区域的特征，/>表示教师网络(1)的相应尺度特征，up表示上采样操作，L1表示所比较的两个特征图之间的平均绝对误差，SSIM表示所比较的两个特征图之间的结构相似性，SSIM取值越趋近于1表示两个特征图之间越相似。
优选地，在异构学生网络(2)的训练阶段，为了使分割模块网络可准确的分割出异常区域，本发明使用交叉熵损失约束分割概率图和像素级异常标签之间的距离，同时，由于正常像素远多于异常像素，为了克服两者数量的不均衡问题，本发明使用了难样本挖掘策略。因此，本发明中交叉熵损失(5)定义为：
其中S为从分割概率图中采样的子集，采样的正常像素数量与异常像素数量的比例为3:1，xi为分割概率图在位置索引i处预测的异常概率值，yi为对应的异常标签，本发明中将异常像素的标签设置为1。
优选地，在测试阶段，通过得分函数(7)计算教师网络(1)提取的不同尺度特征图与异构学生网络(2)特征编码模块提取的相应尺度的特征图之间的距离，得到异常差异图。得分函数(7)为：
其中Ml,Mm,Mh分别表示底层、中层及高层的师生网络的异常差异图，C表示特征图的通道数，分别表示教师网络(1)和异构学生网络(2)提取的底层、中层及高层特征图的绝对距离，SSIM表示结构相似性。对于正常像素，得分函数(7)将计算出较小的异常得分，反之对于异常像素，异常得分将较大。
优选地，在测试阶段，本发明将异常差异图和分割概率图相加得到最终的异常得分图。其中分割概率图与原始图像尺寸一致，异常差异图分辨率为原始图像尺寸的1/2，因此需要对各层级的异常差异图进行上采样操作。此外，为了得到二值分割结果，还需要对异常得分图设置合适的阈值进行二值化。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有如下有益效果：
(1)本发明提出了一种新颖的异构学生网络，异构学生网络由异构特征编码模块、特征融合模块和分割模块组成。其中异构特征编码模块中包含了三个不同的特征提取学生网络，这三个特征提取学生网络均以现有的通用特征提取模型为基准，通过去除通用特征提取模型的池化等下采样操作，降低了特征提取学生网络的感受野，限制了输出特征图分辨率。这种设计可从三个角度提升模型的分割精度。第一，相比现有方法，对于单独的每个特征提取学生网络而言，降低其感受野有助于抑制UAB现象；第二，不同层级的特征提取学生网络对于不同模式的异常的检出各有优势，高层的网络对于分割结构性较强的图像中存在的异常十分有效，低层的网络则更加适用于分割纹理类图像中的潜在异常，多尺度的设计提升了模型的泛化性。第三，对于异构特征编码模块整体而言，由于感受野越大UAB现象将越明显，此时低层的网络可对高层网络形成抑制作用，增加高层网络编码区域中正常区域的置信度，从而抑制UAB问题。
(2)本发明还引入了自监督学习进一步缓解UAB。通过合成的异常数据显式的约束学生网络，使其对异常边缘敏感。同时，为了防止以往数据合成方法可能造成的边缘泄露问题，也为了保证合成异常数据的多样性，本发明还对异常数据合成方式进行了相关设计。
附图说明
图1是本发明提供的基于自监督异构学生网络进行异常分割的整体流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供了一种基于自监督异构网络的工业场景未知类型缺陷分割方法，如图1所示，包括以下步骤：
步骤S1，准备一个在ImageNet预训练完成的大型预训练网络作为教师网络(1)，在后续步骤中教师网络(1)的参数都被固定；
步骤S2，构建异构学生网络(2)。异构学生网络(2)由异构特征编码模块、特征融合模块和分割模块组成。其中异构特征编码模块由三个独立的特征提取器组成，用于提取图像的三种不同尺度的特征，三个特征提取器分别命名为底层特征提取学生网络，中层特征提取学生网络和高层特征提取学生网络。特征融合模块用于将异构特征编码模块产生的三种不同尺度特征进行融合，然后将融合后的特征输入分割模块中，分割模块输出分割概率图。
步骤S3，训练异构学生网络(2)。首先合成一些异常区域粘贴到训练集中的正常图像上，得到合成图像(3)。然后，将其同时输入到教师网络(1)和异构学生网络(2)中，一方面，约束异构学生网络(2)在合成图像(3)的正常区域提取的多尺度特征与教师网络(1)的相应尺度特征相似；另一方面，约束由分割模块产生的分割概率图可以准确回归合成的异常区域，使其对异常区域边缘敏感。
步骤S4，测试阶段。将含有异常区域的测试图像(6)同时输入教师网络(1)和异构学生网络(2)中。一方面，通过异常得分函数(7)计算两者提取的相应尺度的特征图在特征空间的距离，得到异常差异图；另一方面，通过分割模块预测得到分割概率图。通过融合异常差异图和分割概率图得到最终的异常得分图，最后通过设置合适的阈值对异常得分图进行二值化，得到异常分割图。
主要有三个实现部分：1)异构学生网络；2)合成数据；3)目标函数和打分函数。接下来对本发明中步骤进行详细说明。
1.异构学生网络
本发明实施例中异构学生网络(2)由异构特征编码模块、特征融合模块和分割模块组成。其中异构特征编码模块由三个不同的特征提取学生网络组成，其中底层特征提取学生网络以ResNet50的结构为基准，去除其中的池化操作，并只保留ResNet50中第一层(Stage1)的下采样操作，将ResNet50中其余步长为2的卷积层的步长都调整为1以避免下采样，然后截断到ResNet50的的第二层(Stage2)，输出特征图的尺寸为输入图像的1/2，通道数为256。
类似的，中层和高层特征提取学生网络同样以ResNet50的结构为基准，去除其中的池化操作，并只保留ResNet50中第一层(Stage1)的下采样操作，将ResNet50中其余步长为2的卷积层的步长都调整为1以避免下采样，然后分别截断到ResNet50的的第三层(Stage3)和第四层(Stage4)。中层和高层特征提取学生网络输出特征图的尺寸均为输入图像的1/2，通道数分别为512和1024。
异构学生网络(2)的特征融合模块用于平滑和融合学生网络提取的特征，做法如下，本发明实施例将C设置为256：
步骤S2-1，使用1×1卷积对高层特征提取学生网络输出的1/2分辨率的特征图进行平滑R1024→RC。
步骤S2-2，使用1×1卷积对中层特征提取学生网络输出的1/2分辨率的特征图进行平滑R512→RC，并将它与步骤S2-1得到的特征图逐像素相加。
步骤S2-3，使用1×1卷积对底层特征提取学生网络输出的1/2分辨率的特征图进行平滑R256→RC，并将它与步骤S2-2得到的特征图逐像素相加。
步骤S2-4，将步骤S2-1，步骤S2-2，步骤S2-3得到的特征图在通道维度上进行堆叠R(C+C+C)→R3C。
异构学生网络(2)的分割模块用于预测得到分割概率图，具体包括，本发明实施例中将C4设置为64：
步骤S2-5，使用卷积核为3×3，步长为1的卷积层将步骤S2-4得到的融合特征进行降维并使用BatchNorm层进行归一化，ReLu进行激活，得到分辨率为原图大小1/2，通道数为C4的特征。
步骤S2-6，使用卷积核为2×2，步长为2的反卷积层将步骤S2-5得到的特征图进行上采样，并使用BatchNorm层进行归一化，ReLu进行激活，得到分辨率为原图大小，通道数为C4的特征。
步骤S2-7，使用1×1卷积对步骤S2-6得到的特征进行逐像素的预测并使用Sigmoid函数激活，得到预测的分割概率图。
2.合成数据
本发明实施例合成数据的步骤分为三步。首先，生成两种类型的基本异常模式，一种是随机生成的形状，如线条、矩形等，另一种是从正常图像中随机裁剪的补丁。然后，使用了两种操作来增加异常的多样性：1)使用弹性形变对基本异常进行形状变换，增加异常的形状多样性，2)通过颜色转换调整异常的亮度、对比度、饱和度和清晰度，增加异常的颜色多样性。最后，将这些异常粘贴到正常图像上，为了避免边界信息泄露，还采用了高斯模糊来平滑合成异常的边界。
3.目标函数和打分函数
本发明实施例在异构学生网络(2)的训练阶段，一方面，约束异构学生网络(2)在合成图像(3)的正常区域提取的多尺度特征与教师网络(1)的相应尺度特征相似；另一方面，约束由分割模块产生的分割概率图可以准确回归合成的异常区域，使其对异常区域边缘敏感。
为了约束异构特征编码模块提取的不同尺度的特征与教师网络(1)相应尺度的特征在正常区域保持一致，优化的目标函数(4)为：
其中分别表示高层、中层和底层特征提取学生网络提取的合成的异常图像在正常区域的特征，/>表示教师网络(1)的相应尺度特征，up表示上采样操作，L1表示所比较的两个特征图之间的平均绝对误差，SSIM表示所比较的两个特征图之间的结构相似性，SSIM取值越趋近于1表示两个特征图之间越相似。
为了使分割模块产生的分割概率图可以准确回归合成的异常区域，本发明使用交叉熵损失约束分割概率图和像素级异常标签之间的距离，同时，由于正常像素远多于异常像素，为了克服两者数量的不均衡问题，本发明使用了难样本挖掘策略。因此，本发明中交叉熵损失(5)定义为：
其中S为从分割概率图中采样的子集，采样的正常像素数量与异常像素数量的比例为3:1，xi为分割概率图在位置索引i处预测的异常概率值，yi为对应的异常标签，本发明中将异常像素的标签设置为1。
本发明实施例在异构学生网络(2)的测试阶段，通过异常差异图和分割概率图相加得到最终的异常得分图。其中通过得分函数(7)计算教师网络(1)提取的不同尺度特征图与异构学生网络(2)特征编码模块提取的相应尺度的特征图之间的距离，得到异常差异图。得分函数(7)为：
其中Ml,Mm,Mh分别表示底层、中层及高层的师生网络的异常差异图，C表示特征图的通道数，分别表示教师网络(1)和异构学生网络(2)提取的底层、中层及高层特征图的绝对距离，SSIM表示结构相似性。对于正常像素，得分函数(7)将计算出较小的异常得分，反之对于异常像素，异常得分将较大。
分割概率图由分割模块输出得到，其尺寸与原始图像尺寸一致，而异常差异图分辨率为原始图像尺寸的1/2，因此需要对各层级的异常差异图进行上采样操作。此外，为了得到二值分割结果，还需要对异常得分图设置合适的阈值进行二值化。
本发明提出了一种基于自监督异构网络的工业场景未知类型缺陷分割方法。通过教师网络和异构学生网络中的特征编码模块提取的特征计算得到异常差异图，通过分割模块产生分割概率图，然后融合这两个结果得到最终的异常得分图。为了抑制UAB现象和提升模型的泛化性，本发明对异构特征编码模块的结构进行了针对性设计，可大幅提升模型的分割性能。同时本发明还引入了自监督的思想，通过合成的异常数据显式的约束学生网络，使其产生的分割概率图对异常边缘敏感，从而进一步抑制了UAB现象。本发明通过对异构特征编码模块的相关设计和自监督的引入，实现了对图像中异常区域的精确分割。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于自监督异构网络的工业场景未知类型缺陷分割方法，其特征在于，包括以下步骤：
步骤S1，准备一个在ImageNet预训练完成的大型预训练网络作为教师网络，在后续步骤中教师网络的参数都被固定；
步骤S2，构建异构学生网络，异构学生网络由异构特征编码模块、特征融合模块和分割模块组成，其中异构特征编码模块由三个独立的特征提取器组成，用于提取图像的三种不同尺度的特征，三个特征提取器分别命名为底层特征提取学生网络，中层特征提取学生网络和高层特征提取学生网络，特征融合模块用于将异构特征编码模块产生的三种不同尺度特征进行融合，然后将融合后的特征输入分割模块中，分割模块输出分割概率图；异构学生网络的特征融合模块用于平滑和融合异构特征编码模块提取的特征，具体包括：步骤S2-1，使用1×1卷积对高层特征提取学生网络输出的1/2分辨率的特征图进行平滑其中C为预设值；步骤S2-2，使用1×1卷积对中层特征提取学生网络输出的1/2分辨率的特征图进行平滑/>并将它与步骤S2-1得到的特征图逐像素相加；步骤S2-3，使用1×1卷积对底层特征提取学生网络输出的1/2分辨率的特征图进行平滑/>并将它与步骤S2-2得到的特征图逐像素相加；步骤S2-4，将步骤S2-1，步骤S2-2，步骤S2-3得到的特征图在通道维度上进行堆叠R(C+C+C)→R3C；
步骤S3，训练异构学生网络，首先合成一些异常区域粘贴到训练集中的正常图像上，得到合成图像，然后将其同时输入到教师网络和异构学生网络中，一方面，约束异构学生网络在合成图像的正常区域提取的多尺度特征与教师网络的相应尺度特征相似；在异构学生网络的训练阶段，为了约束异构特征编码模块提取的不同尺度的特征与教师网络相应尺度的特征在正常区域保持一致，优化的目标函数为：
其中分别表示高层、中层和底层特征提取学生网络提取的合成的异常图像在正常区域的特征，/>表示教师网络的相应尺度特征，up表示上采样操作，L1表示所比较的两个特征图之间的平均绝对误差，SSIM表示所比较的两个特征图之间的结构相似性，SSIM取值越趋近于1表示两个特征图之间越相似；另一方面，约束由分割模块产生的分割概率图可以准确回归合成的异常区域，使其对异常区域边缘敏感；
步骤S4，测试阶段，将含有异常区域的测试图像同时输入教师网络和异构学生网络中，一方面，通过异常得分函数计算两者提取的相应尺度的特征图在特征空间的距离，得到异常差异图；另一方面，通过分割模块预测得到分割概率图，通过融合异常差异图和分割概率图得到最终的异常得分图，最后通过设置合适的阈值对异常得分图进行二值化，得到异常分割图。
2.如权利要求1所述的基于自监督异构网络的工业场景未知类型缺陷分割方法，其特征在于，异构学生网络的异构特征编码模块中的特征提取器为：在现有通用特征提取模型中的池化下采样操作，并对特征提取模型中卷积层的步长进行设计，以降低特征提取学生网络的感受野，保证底层、中层及高层特征提取学生网络输出特征图尺寸均为输入图像的1/2。
3.如权利要求1或2所述的基于自监督异构网络的工业场景未知类型缺陷分割方法，其特征在于，异构学生网络的分割模块用于预测得到分割概率图，具体包括：
步骤S2-5，使用卷积核为3×3，步长为1的卷积层将步骤S2-4得到的融合特征进行降维并使用BatchNorm层进行归一化，ReLu进行激活，得到分辨率为原图大小1/2，通道数为C4的特征；
步骤S2-6，使用卷积核为2×2，步长为2的反卷积层将步骤S2-5得到的特征图进行上采样，并使用BatchNorm层进行归一化，ReLu进行激活，得到分辨率为原图大小，通道数为C4的特征；
步骤S2-7，使用1×1卷积对步骤S2-6得到的特征进行逐像素的预测并使用Sigmoid函数激活，得到预测的分割概率图。
4.如权利要求1或2所述的基于自监督异构网络的工业场景未知类型缺陷分割方法，其特征在于，在异构学生网络的训练阶段，输入的训练图像是合成的异常图像，合成数据的步骤可分为三步，首先生成两种类型的基本异常模式，一种是随机生成的形状，另一种是从正常图像中随机裁剪的补丁，并使用两种操作来增加异常的多样性：1)使用弹性形变对基本异常进行形状变换，增加异常的形状多样性，2)通过颜色转换调整异常的亮度、对比度、饱和度和清晰度，增加异常的颜色多样性，最后，将这些异常粘贴到正常图像上。
5.如权利要求1或2所述的基于自监督异构网络的工业场景未知类型缺陷分割方法，其特征在于，在异构学生网络的训练阶段，使用交叉熵损失约束分割概率图和像素级异常标签之间的距离，并使用难样本挖掘策略，交叉熵损失定义为：
其中S为从分割概率图中采样的子集，采样的正常像素数量与异常像素数量的比例为3:1，xi为分割概率图在位置索引i处预测的异常概率值，yi为对应的异常标签，异常像素的标签设置为1。
6.如权利要求1或2所述的基于自监督异构网络的工业场景未知类型缺陷分割方法，其特征在于，在测试阶段，通过得分函数计算教师网络提取的不同尺度特征图与异构学生网络特征编码模块提取的相应尺度的特征图之间的距离，得到异常差异图，得分函数为：
其中Ml,Mm,Mh分别表示底层、中层及高层的师生网络的异常差异图，C表示特征图的通道数，分别表示教师网络和异构学生网络提取的底层、中层及高层特征图的绝对距离，SSIM表示结构相似性，对于正常像素，得分函数将计算出较小的异常得分，反之对于异常像素，异常得分将较大。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210401019.1A CN114742799B (zh) | 2022-04-18 | 2022-04-18 | 基于自监督异构网络的工业场景未知类型缺陷分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210401019.1A CN114742799B (zh) | 2022-04-18 | 2022-04-18 | 基于自监督异构网络的工业场景未知类型缺陷分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114742799A CN114742799A (zh) | 2022-07-12 |
| CN114742799B true CN114742799B (zh) | 2024-04-26 |
Family
ID=82282242
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210401019.1A Active CN114742799B (zh) | 2022-04-18 | 2022-04-18 | 基于自监督异构网络的工业场景未知类型缺陷分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114742799B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115631127B (zh) * | 2022-08-15 | 2023-09-19 | 无锡东如科技有限公司 | 一种工业缺陷检测的图像分割方法 |
| CN115100491B (zh) | 2022-08-25 | 2022-11-18 | 山东省凯麟环保设备股份有限公司 | 一种面向复杂自动驾驶场景的异常鲁棒分割方法与系统 |
| CN115841610A (zh) * | 2022-11-29 | 2023-03-24 | 复旦大学 | 一种原型残差异常检测和定位方法 |
| CN115937555A (zh) * | 2023-03-09 | 2023-04-07 | 厦门微亚智能科技有限公司 | 一种基于标准化流模型的工业缺陷检测算法 |
| CN116630286B (zh) * | 2023-05-31 | 2024-02-13 | 博衍科技(珠海)有限公司 | 一种图像异常检测与定位的方法、装置、设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111062951A (zh) * | 2019-12-11 | 2020-04-24 | 华中科技大学 | 一种基于语义分割类内特征差异性的知识蒸馏方法 |
| CN112613303A (zh) * | 2021-01-07 | 2021-04-06 | 福州大学 | 一种基于知识蒸馏的跨模态图像美学质量评价方法 |
| CN112991330A (zh) * | 2021-04-19 | 2021-06-18 | 征图新视(江苏)科技股份有限公司 | 基于知识蒸馏的正样本工业缺陷检测方法 |
| CN113536922A (zh) * | 2021-06-11 | 2021-10-22 | 北京理工大学 | 一种加权融合多种图像任务的视频行为识别方法 |
| CN113962928A (zh) * | 2021-09-03 | 2022-01-21 | 宁波海棠信息技术有限公司 | 一种基于多尺度特征蒸馏的缺陷检测方法、装置及介质 |
| WO2022041307A1 (zh) * | 2020-08-31 | 2022-03-03 | 温州医科大学 | 一种构建半监督图像分割框架的方法及系统 |
| CN114170599A (zh) * | 2021-12-14 | 2022-03-11 | 华中科技大学 | 一种基于蒸馏比较的异常物体分割方法 |
| CN114240892A (zh) * | 2021-12-17 | 2022-03-25 | 华中科技大学 | 一种基于知识蒸馏的无监督工业图像异常检测方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12056880B2 (en) * | 2020-08-03 | 2024-08-06 | Korea Advanced Institute Of Science And Technology | Method of classifying lesion of chest x-ray radiograph based on data normalization and local patch and apparatus thereof |
-
2022
- 2022-04-18 CN CN202210401019.1A patent/CN114742799B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111062951A (zh) * | 2019-12-11 | 2020-04-24 | 华中科技大学 | 一种基于语义分割类内特征差异性的知识蒸馏方法 |
| WO2022041307A1 (zh) * | 2020-08-31 | 2022-03-03 | 温州医科大学 | 一种构建半监督图像分割框架的方法及系统 |
| CN112613303A (zh) * | 2021-01-07 | 2021-04-06 | 福州大学 | 一种基于知识蒸馏的跨模态图像美学质量评价方法 |
| CN112991330A (zh) * | 2021-04-19 | 2021-06-18 | 征图新视(江苏)科技股份有限公司 | 基于知识蒸馏的正样本工业缺陷检测方法 |
| CN113536922A (zh) * | 2021-06-11 | 2021-10-22 | 北京理工大学 | 一种加权融合多种图像任务的视频行为识别方法 |
| CN113962928A (zh) * | 2021-09-03 | 2022-01-21 | 宁波海棠信息技术有限公司 | 一种基于多尺度特征蒸馏的缺陷检测方法、装置及介质 |
| CN114170599A (zh) * | 2021-12-14 | 2022-03-11 | 华中科技大学 | 一种基于蒸馏比较的异常物体分割方法 |
| CN114240892A (zh) * | 2021-12-17 | 2022-03-25 | 华中科技大学 | 一种基于知识蒸馏的无监督工业图像异常检测方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| 基于类别相关的领域自适应交通图像语义分割方法;贾颖霞;郎丛妍;冯松鹤;;计算机研究与发展;20200414(04);全文 * |
| 基于自监督异构学生网络的异常分割算法研究;蔡雨萱;《中国优秀硕士学位论文全文数据库》;20220501;全文 * |
| 深度卷积神经网络图像语义分割研究进展;青晨;禹晶;肖创柏;段娟;;中国图象图形学报;20200616(06);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114742799A (zh) | 2022-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114742799B (zh) | 基于自监督异构网络的工业场景未知类型缺陷分割方法 | |
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| CN110097568B (zh) | 一种基于时空双分支网络的视频对象检测与分割方法 | |
| CN108830285B (zh) | 一种基于Faster-RCNN的加强学习的目标检测方法 | |
| CN111681273B (zh) | 图像分割方法、装置、电子设备及可读存储介质 | |
| Jiao et al. | Local stereo matching with improved matching cost and disparity refinement | |
| CN106897681B (zh) | 一种遥感图像对比分析方法及系统 | |
| CN112561910A (zh) | 一种基于多尺度特征融合的工业表面缺陷检测方法 | |
| CN109840483B (zh) | 一种滑坡裂缝检测与识别的方法及装置 | |
| CN114627052A (zh) | 一种基于深度学习的红外图像漏气漏液检测方法及系统 | |
| CN112465759A (zh) | 一种基于卷积神经网络的航空发动机叶片缺陷检测方法 | |
| CN109993052B (zh) | 一种复杂场景下尺度自适应的目标跟踪方法和系统 | |
| CN111666842A (zh) | 一种基于双流空洞卷积神经元网络的阴影检测方法 | |
| CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
| CN116645592B (zh) | 一种基于图像处理的裂缝检测方法和存储介质 | |
| CN115439442A (zh) | 基于共性和差异的工业品表面缺陷检测与定位方法及系统 | |
| CN111738054A (zh) | 一种基于时空自编码器网络和时空cnn的行为异常检测方法 | |
| Chu et al. | Fine‐grained crack segmentation for high‐resolution images via a multiscale cascaded network | |
| CN114943888B (zh) | 基于多尺度信息融合的海面小目标检测方法 | |
| Ren et al. | A lightweight object detection network in low-light conditions based on depthwise separable pyramid network and attention mechanism on embedded platforms | |
| Shit et al. | An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection | |
| CN117994573A (zh) | 一种基于超像素和可形变卷积的红外弱小目标检测方法 | |
| CN113936034A (zh) | 一种结合帧间光流的表观运动联合弱小运动目标检测方法 | |
| CN116485802A (zh) | 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质 | |
| CN113947567A (zh) | 基于多任务学习的缺陷检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |