CN115330688A - 一种考虑标签不确定性的图像异常检测方法 - Google Patents
一种考虑标签不确定性的图像异常检测方法 Download PDFInfo
- Publication number
- CN115330688A CN115330688A CN202210834357.4A CN202210834357A CN115330688A CN 115330688 A CN115330688 A CN 115330688A CN 202210834357 A CN202210834357 A CN 202210834357A CN 115330688 A CN115330688 A CN 115330688A
- Authority
- CN
- China
- Prior art keywords
- apprentice
- expert
- features
- mask
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 49
- 230000002159 abnormal effect Effects 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims description 25
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 abstract description 16
- 230000008569 process Effects 0.000 abstract description 7
- 238000012360 testing method Methods 0.000 abstract description 3
- 238000002372 labelling Methods 0.000 description 9
- 238000007689 inspection Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像异常检测相关技术领域,其公开了一种考虑标签不确定性的图像异常检测方法,该方法包含专家网络与学徒网络,分为训练与测试两个阶段。训练阶段,根据训练图像掩膜生成空间不确定性掩膜。后将训练图像输入专家网络和学徒网络提取得到专家特征和学徒特征,并根据训练图像掩膜、空间不确定性掩膜将所有特征分为混淆特征、正常特征、异常特征,在优化过程中增大正常特征相似度、减小异常特征相似度,对混淆特征不进行显式优化以避免优化方向歧义问题。在测试阶段,使用专家网络、学徒网络对测试图像提取特征,计算学徒网络与专家网络的相似度,取负后即为异常区域。本方法考虑了工业产品图像中的标签不确定性,提升了图像异常检测能力。
Description
技术领域
本发明属于图像异常检测相关技术领域,更具体地,涉及一种考虑标签不确定性的图像异常检测方法。
背景技术
近年来工业制造只能化成为发展趋势,智能化的重要组成之一为工业质检智能化。实际工业生产过程中,由于各种不可知的状况如机器故障、工人误操作等情况,工业产品可能会出现质量问题,如表面质量缺陷,又称表面质量异常。现有技术常用人工视检,不同工人的检测能力存在差异,导致产品良品率难以保证。基于机器视觉的自动化工业质检技术有望大幅提高工业质检的智能化程度。
现有的智能化机器视觉质检算法通常为基于深度学习的图像异常检测算法,该类算法需要大量的像素级别标记数据。然而,对图像的像素级标注成本较高,且不同工人标注时的标准不一,导致标注得到的标签存在不确定性。具体而言,工业图像的标签不确定性表现为以下方面:不同工人对图像中的缺陷位置判断存在差异,导致标注过程中存在欠标注、精细标注、过标注三种情况,如图1所示,即使标注十分精细,标注的边界区域也容易带来歧义。因此,考虑标签不确定性有望提升现有图像异常检测的性能。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种考虑标签不确定性的图像异常检测方法,通过剔除混淆特征,进而对混淆特征不进行显式优化避免优化方向歧义,优化过程中增大正常特征相似度,减小异常特征相似度,提升了图像异常检测能力。
为实现上述目的,按照本发明的一个方面,提供了一种考虑标签不确定性的图像异常检测方法,所述方法包括:S1:根据训练图像数据集中的训练图像得出训练图像掩膜,将所述训练图像掩膜进行膨胀后与训练图像掩膜逐像素相减后获得空间不确定性掩膜;S2:获取训练完成的特征提取深度神经网络,即专家网络,以及未训练的特征提取深度神经网络,即学徒网络;S3:将所述训练图像分别输入专家网络和学徒网络得到专家特征和学徒特征;S4:依据所述训练图像掩膜和空间不确定性掩膜各个像素位置处的像素值,将所述专家特征与学徒特征进一步分为专家混淆特征、专家正常特征、专家异常特征、学徒混淆特征、学徒正常特征和学徒异常特征;S5:对专家正常特征和学徒正常特征之间的余弦相似度以及专家异常特征和学徒异常特征之间的余弦相似度进行约束,得到约束结果,基于所述约束结果进行反向传播以优化所述学徒网络的参数;S6:将待测试图像同时输入所述专家网络和参数优化后的学徒网络获得专家提取特征和学徒提取特征,计算所述专家提取特征和学徒提取特征的相似度值,根据所述相似度值获得待测图像的异常区域。
优选地,步骤S4具体为:将空间不确定性掩膜中为1的像素坐标对应的专家特征和学徒特征判别为专家混淆特征和学徒混淆特征;将空间不确定性掩膜中为0且训练图像掩膜中为0的像素坐标对应的专家特征和学徒特征判别为专家正常特征和学徒正常特征;将空间不确定性掩膜中为0且训练图像掩膜中为1的像素坐标对应的专家特征和学徒特征判别为专家异常特征和学徒异常特征。
优选地,步骤S5中对专家正常特征和学徒正常特征之间的余弦相似度以及专家异常特征和学徒异常特征之间的余弦相似度进行约束的约束函数L为:
优选地,步骤S1具体包括:构建形态操作核1w×w,其中w为预设参数;使用所述形态操作核1w×w对训练图像掩膜M进行膨胀操作;将膨胀后的掩膜与原始训练图像掩膜M进行逐像素相减得到所述空间不确定性掩膜Mu,具体公式如下:
优选地,步骤S6中采用如下公式计算所述专家提取特征和学徒提取特征的相似度值A:
其中,i和j为对应像素位置处的像素坐标,Fε为专家提取特征,Fξ为学徒提取特征。
优选地,步骤S6中当所述相似度值为负值时则对应区域为异常区域。
优选地,步骤S4中还进一步包括剔除所述专家混淆特征和学徒混淆特征。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,本发明提供的一种考虑标签不确定性的图像异常检测方法具有如下有益效果:
1.本申请通过构建空间不确定性掩膜,进而可以剔除混淆特征,进而对混淆特征不进行显式优化避免了优化方向歧义,进而避免了标签不确定性,使得构建的网络训练过程中提高了正常特征的相似性,降低了异常特征的相似性,使得图像检测更加精准。
2.通过构建约束函数,使得学徒网络和专家网络的正常特征相似度增加,异常特征相似度减小,因此学徒网络和专家网络的输出特征的相似度可有效表征图像像素级别的异常程度。
附图说明
图1是现有技术中的常规标注示意图;
图2是标签导致的特征混淆示意图;
图3是本申请考虑标签不确定性的图像异常检测方法的步骤图;
图4是本申请考虑标签不确定性的图像异常检测方法的流程图;
图5是空间不确定性掩膜生成示意图;
图6是考虑标签不确定性前后的优化结果示意图;
图7是本申请考虑标签不确定性的图像异常检测方法的测试阶段示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在进行训练图像检测时由于标签不确定性,专家网络提取的正常数据特征和异常数据特征可能存在较大的相似性,如标注区域边界周围既有正常特征又有异常特征,如图2所示,称其为混淆特征。在传统知识蒸馏方案中,学徒网络期望输出与专家网络相似度高的正常特征,相似度低的异常特征,而混淆特征的存在导致学徒网络的优化方向出现歧义。为了避免混淆特征导致的优化歧义,本申请在优化学徒网络时考虑标签不确定性。具体而言,本申请首先根据训练图像掩膜生成空间不确定性掩膜。而后,将训练图像分别输入到专家网络与学徒网络,得到专家特征与学徒特征。进一步地,采用训练图像掩膜、空间不确定性掩膜对所得特征进行分类,得到专家网络与学徒网络中的混淆特征、正常特征、异常特征。对混淆特征的优化会导致优化方向出现歧义,因此,本申请仅优化正常特征、异常特征。具体而言,通过优化学徒网络参数,使学徒网络、专家网络的正常特征相似度增大,异常特征相似度减小。至此,学徒网络与专家网络之间输出特征的相似度可有效表征图像像素的正常程度。如图3和图4所示,具体方法如下步骤S1~S6。
S1:根据训练图像数据集中的训练图像得出训练图像掩膜,将所述训练图像掩膜进行膨胀后与训练图像掩膜逐像素相减后获得空间不确定性掩膜。
如图5所示,可以采用Photoshop等修图软件获得训练图像的训练图像掩膜M,将该训练图像掩膜进行膨胀处理,将膨胀处理后的掩膜与训练图像掩膜逐像素相减获得空间不确定性掩膜Mu。具体的步骤如下:
S11:构建形态操作核1w×w,其中w为预设参数;w越大,生成的空间不确定性掩膜越大,即归属为混淆特征的特征越多。
S12:使用所述形态操作核1w×w对训练图像掩膜M进行膨胀操作;
S13:将膨胀后的掩膜与原始训练图像掩膜M进行逐像素相减得到所述空间不确定性掩膜Mu,得到的空间不确定性掩膜实质为标签边界部分的拓展部分,具体公式如下:
S2:获取训练完成的特征提取深度神经网络,即专家网络ε,以及未训练的特征提取深度神经网络,即学徒网络ξ。
其中专家网络ε为训练好的特征提取深度神经网络,现有技术的具有强判断力的特征提取网络均可以,例如基于深度卷积网络架构的ResNet、VggNet、HRNet网络等。学徒网络ξ可以与专家网络ε的架构相同也可以不同,所不同的是学徒网络未经训练。
S3:将所述训练图像分别输入专家网络和学徒网络得到专家特征和学徒特征。
将训练图像I输入专家网络ε和学徒网络ξ分别得到专家特征Fε和学徒特征Fξ。
Fε=ε(I)
Fξ=ξ(I)
若直接采用该专家特征Fε和学徒特征Fξ对学徒网络进行优化训练,则由于混淆特征的存在会导致优化方向的歧义,因此需要将混淆特征进行去除。
S4:依据所述训练图像掩膜和空间不确定性掩膜各个像素位置处的像素值,将所述专家特征与学徒特征进一步分为专家混淆特征、专家正常特征、专家异常特征、学徒混淆特征、学徒正常特征和学徒异常特征。基于训练图像掩膜和空间不确定性掩膜对专家特征和学徒特征进行分组,具体为:
S5:对专家正常特征和学徒正常特征之间的余弦相似度以及专家异常特征和学徒异常特征之间的余弦相似度进行约束,如图6所示,得到约束结果,基于所述约束结果进行反向传播以优化所述学徒网络的参数。
步骤S5中对专家正常特征和学徒正常特征之间的余弦相似度以及专家异常特征和学徒异常特征之间的余弦相似度进行约束的约束函数L为:
得到约束结果后,进行梯度反向传播,对学徒网络的参数进行更新,即可使学徒网络输出与专家网络高相似度的正常特征、低相似度的异常特征。由于未对混淆特征进行显式优化,混淆特征导致的优化方向歧义问题得到避免。另外,对正常特征、异常特征的优化本质上可隐式地优化混淆特征的相似度,从而达到整体更优的效果。
S6:将待测试图像同时输入所述专家网络和参数优化后的学徒网络获得专家提取特征和学徒提取特征,计算所述专家提取特征和学徒提取特征的相似度值,根据所述相似度值获得待测图像的异常区域。
如图7所示,将待测试图像同时输入所述专家网络ε和参数优化后的学徒网络ξ获得专家提取特征Fε和学徒提取特征Fξ。
采用如下公式计算所述专家提取特征和学徒提取特征的相似度值A:
其中,i和j为对应像素位置处的像素坐标,Fε为专家提取特征,Fξ为学徒提取特征。当所述相似度值为负值时则对应区域为异常区域。
考虑标签的空间不确定性后,可避免优化过程中混淆特征导致的优化方向歧义问题,从而进一步提高工业质检自动化检测性能。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种考虑标签不确定性的图像异常检测方法,其特征在于,所述方法包括:
S1:根据训练图像数据集中的训练图像得出训练图像掩膜,将所述训练图像掩膜进行膨胀后与训练图像掩膜逐像素相减后获得空间不确定性掩膜;
S2:获取训练完成的特征提取深度神经网络,即专家网络,以及未训练的特征提取深度神经网络,即学徒网络;
S3:将所述训练图像分别输入专家网络和学徒网络得到专家特征和学徒特征;
S4:依据所述训练图像掩膜和空间不确定性掩膜各个像素位置处的像素值,将所述专家特征与学徒特征进一步分为专家混淆特征、专家正常特征、专家异常特征、学徒混淆特征、学徒正常特征和学徒异常特征;
S5:对专家正常特征和学徒正常特征之间的余弦相似度以及专家异常特征和学徒异常特征之间的余弦相似度进行约束,得到约束结果,基于所述约束结果进行反向传播以优化所述学徒网络的参数;
S6:将待测试图像同时输入所述专家网络和参数优化后的学徒网络获得专家提取特征和学徒提取特征,计算所述专家提取特征和学徒提取特征的相似度值,根据所述相似度值获得待测图像的异常区域。
2.根据权利要求1所述的方法,其特征在于,步骤S4具体为:
将空间不确定性掩膜中为1的像素坐标对应的专家特征和学徒特征判别为专家混淆特征和学徒混淆特征;
将空间不确定性掩膜中为0且训练图像掩膜中为0的像素坐标对应的专家特征和学徒特征判别为专家正常特征和学徒正常特征;
将空间不确定性掩膜中为0且训练图像掩膜中为1的像素坐标对应的专家特征和学徒特征判别为专家异常特征和学徒异常特征。
6.根据权利要求1或5所述的方法,其特征在于,步骤S6中当所述相似度值为负值时则对应区域为异常区域。
7.根据权利要求1所述的方法,其特征在于,步骤S4中还进一步包括剔除所述专家混淆特征和学徒混淆特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210834357.4A CN115330688A (zh) | 2022-07-14 | 2022-07-14 | 一种考虑标签不确定性的图像异常检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210834357.4A CN115330688A (zh) | 2022-07-14 | 2022-07-14 | 一种考虑标签不确定性的图像异常检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115330688A true CN115330688A (zh) | 2022-11-11 |
Family
ID=83916869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210834357.4A Pending CN115330688A (zh) | 2022-07-14 | 2022-07-14 | 一种考虑标签不确定性的图像异常检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115330688A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117455909A (zh) * | 2023-12-22 | 2024-01-26 | 广东马氏水产有限公司 | 一种鱼类进出自动化线鱼体鱼病检测方法 |
-
2022
- 2022-07-14 CN CN202210834357.4A patent/CN115330688A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117455909A (zh) * | 2023-12-22 | 2024-01-26 | 广东马氏水产有限公司 | 一种鱼类进出自动化线鱼体鱼病检测方法 |
CN117455909B (zh) * | 2023-12-22 | 2024-03-29 | 广东马氏水产有限公司 | 一种鱼类进出自动化线鱼体鱼病检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022170706A1 (zh) | 用于模具监视的缺陷检测方法、装置、设备及介质 | |
KR20190063839A (ko) | 제조 공정에서 딥러닝을 활용한 머신 비전 기반 품질검사 방법 및 시스템 | |
KR20200039049A (ko) | 외관불량 검사방법 및 외관불량 검사 시스템 | |
CN110378313A (zh) | 细胞团识别方法、装置及电子设备 | |
CN112906794A (zh) | 一种目标检测方法、装置、存储介质及终端 | |
KR102297232B1 (ko) | 형태학적 영상처리를 활용한 이상 탐지 방법 | |
CN112508923B (zh) | 弱小目标检测方法 | |
CN114266894A (zh) | 一种图像分割方法、装置、电子设备及存储介质 | |
CN115330688A (zh) | 一种考虑标签不确定性的图像异常检测方法 | |
CN117635585A (zh) | 一种基于教师-学生网络的纹理表面缺陷检测方法 | |
CN113888462A (zh) | 一种裂纹识别方法、系统、可读介质及存储介质 | |
US11120541B2 (en) | Determination device and determining method thereof | |
CN117456272A (zh) | 一种基于对比学习的自监督异常检测方法 | |
CN117132503A (zh) | 一种图像局部高亮区域修复方法、系统、设备及存储介质 | |
CN114596242A (zh) | 缺陷检测方法、装置、电子设备及计算机可读存储介质 | |
US8045807B2 (en) | Pattern edge detecting method and pattern evaluating method | |
CN116523871A (zh) | 一种加工件缺陷检测方法、装置、电子设备及存储介质 | |
CN111667419A (zh) | 一种基于Vibe算法的移动目标鬼影消除方法及系统 | |
CN116433978A (zh) | 一种高质量瑕疵图像自动生成与自动标注方法及装置 | |
CN114119472A (zh) | 缺陷分类方法和装置、设备及存储介质 | |
CN113962936A (zh) | 一种图片清理方法、系统及智能设备 | |
CN113505784A (zh) | 甲片自动标注解析方法及装置、电子设备及存储介质 | |
JP2022087930A (ja) | 被検査画像の検査を実行する方法、情報処理装置、及び、コンピュータープログラム | |
EP2573694A1 (en) | Conversion method and system | |
CN117726627B (zh) | 芯片表面缺陷检测方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |