CN116486178A - 一种缺陷检测方法、装置、电子设备及存储介质 - Google Patents
一种缺陷检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116486178A CN116486178A CN202310549486.3A CN202310549486A CN116486178A CN 116486178 A CN116486178 A CN 116486178A CN 202310549486 A CN202310549486 A CN 202310549486A CN 116486178 A CN116486178 A CN 116486178A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- model
- determining
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000007547 defect Effects 0.000 title claims abstract description 146
- 238000001514 detection method Methods 0.000 title claims abstract description 103
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000013145 classification model Methods 0.000 claims abstract description 41
- 238000005259 measurement Methods 0.000 claims abstract description 40
- 238000013507 mapping Methods 0.000 claims abstract description 38
- 239000013598 vector Substances 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims description 191
- 230000002159 abnormal effect Effects 0.000 claims description 80
- 238000004590 computer program Methods 0.000 claims description 14
- 238000013519 translation Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 abstract description 19
- 238000000605 extraction Methods 0.000 abstract description 16
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 238000002156 mixing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000009776 industrial production Methods 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请的一些实施例提供一种缺陷检测方法、装置、电子设备及存储介质,该方法包括:获取待检测图像;将待检测图像输入预先训练好的距离度量模型中,得到与待检测图像对应的特征向量;根据特征向量和预先建立的分类模型,确定待检测图像中的每一个像素点到中心点的距离图;根据待检测图像中的每一个像素点到中心点的距离图和检测半径,确定待检测图像上的缺陷区域,通过对不同缺陷属性特征分别进行样本映射学习,拆分并简化特征提取流程来提升特征分布的紧凑性,并通过分类模型确定检测半径,对待检测图像上的每一个像素点进行判断,从而识别出缺陷区域,提高检测的准确度。
Description
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种缺陷检测方法、装置、电子设备及存储介质。
背景技术
缺陷检测是工业生产流程中的一个重要环节,现有技术中采用各种方法来进行缺陷检测。
采用监督学习的神经网络来实现缺陷检测,需要获取大量经过人工标注的缺陷样本来训练模型,在缺陷样本获取的过程中,由于缺陷产品的出现概率一般较低,收集缺陷样本比较困难,且收集与标注足够数量的样本时间成本较高,这样,训练模型就会受到样本的影响,无法准确的对缺陷进行检测。如何能够快速准确的对缺陷进行检测,是目前急需解决的技术问题。
发明内容
本申请的一些实施例的目的在于提供一种缺陷检测方法、装置、存储介质及电子设备,通过获取待检测图像;将待检测图像输入预先训练好的距离度量模型中,得到与待检测图像对应的特征向量,预先训练好的距离度量模型是根据不同缺陷的属性特征,对初始训练模型训练得到的;根据特征向量和预先建立的分类模型,确定待检测图像中的每一个像素点到中心点的距离图;根据待检测图像中的每一个像素点到中心点的距离图和检测半径,确定待检测图像上的缺陷区域,其中,检测半径和中心点是通过对分类模型进行训练得到的,通过对不同缺陷属性特征分别进行样本映射学习,拆分并简化特征提取流程来提升特征分布的紧凑性,并通过分类模型确定检测半径,对待检测图像上的每一个像素点进行判断,从而识别出缺陷区域,提高检测的准确度。
第一方面,本申请的一些实施例提供了一种缺陷检测方法,包括:
获取待检测图像;
将所述待检测图像输入预先训练好的距离度量模型中,得到与所述待检测图像对应的不同缺陷的特征向量,所述预先训练好的距离度量模型是根据不同缺陷的属性特征,对初始训练模型训练得到的;
根据所述特征向量和预先建立的分类模型,确定所述待检测图像中的每一个像素点到中心点的距离图;
根据所述待检测图像中的每一个像素点到中心点的距离图和检测半径,确定所述待检测图像上的缺陷区域,其中,所述检测半径和所述中心点是通过对所述分类模型进行训练得到的。
本申请的一些实施例通过对不同缺陷属性特征分别进行样本映射学习,拆分并简化特征提取流程来提升特征分布的紧凑性,并通过分类模型确定检测半径,提高检测的准确度。
在一些实施例,所述距离度量模型通过如下方式获得:
获取训练样本集,其中,所述训练样本集包括正常样本图像和辅助样本图像;
根据所述正常样本图像和所述辅助样本图像,确定异常样本集;
根据所述异常样本集和所述正常样本图像构成的正常样本集,在不同缺陷的属性特征对应的映射层上,对所述初始训练模型进行训练;
在正常特征间余弦距离和异常样本特征间余弦距离大于第一预设值的情况下,将训练完成的模型确定为所述距离度量模型。
本申请的一些实施例通过建立距离度量模型,获取多属性分离的缺陷特征提取网络,目的在于改善传统距离度量方法中特征提取方式单一和信息混杂问题,提升缺陷区域的定位精度。
在一些实施例,所述不同缺陷的属性特征至少包括亮度特征、色调特征、纹理特征和上下文特征,其中,所述纹理特征至少包括纹理结构、粗糙度或方向中的一种或多种,所述上下文特征至少包括平移或错位。
本申请的一些实施例通过设置亮度特征、色调特征、纹理特征和上下文特征等多缺陷属性特征,改善传统距离度量方法中特征提取方式单一和信息混杂问题。
在一些实施例,所述根据所述异常样本集和所述正常样本集,在不同缺陷的属性特征对应的映射层上,对所述初始训练模型进行训练,包括:
分别获取亮度特征信息、色调特征信息、纹理特征信息和上下文特征信息;
基于与所述亮度特征信息对应的亮度权重、与所述色调特征信息对应的色调权重、与所述纹理特征信息对应的纹理权重和与所述上下文特征信息对应的上下文权重,在各自对应的映射层上,分别采用对应的所述异常样本集和所述正常样本集就,对所述初始训练模型进行训练,得到与所述亮度特征信息对应亮度训练信息,与所述色调特征信息对应的色调训练信息,与所述纹理特征信息对应的纹理训练信息,以及与上下文特征信息对应的上下文训练信息;
根据所述亮度训练信息、所述色调训练信息、所述纹理训练信息和所述上下文训练信息,确定多属性混合特征。
本申请的一些实施例,从多角度针对性地提取图像的某类特征,从更细的粒度进行特征映射训练,而不用同时考虑将各种类型的异常目标映射到远离正常样本的区域,以降低特征分析难度的方式提升缺陷的定位灵敏度。
在一些实施例,所述根据所述亮度训练信息、所述色调训练信息、所述纹理训练信息和所述上下文训练信息,确定多属性混合特征,包括:
将所述亮度训练信息、所述色调训练信息、所述纹理训练信息和所述上下文训练信息依次进行拼接,得到所述多属性混合特征。
本申请的一些实施例,从多角度针对性地提取图像的某类特征,从更细的粒度进行特征映射训练,而不用同时考虑将各种类型的异常目标映射到远离正常样本的区域,以降低特征分析难度的方式提升缺陷的定位灵敏度。
在一些实施例,所述根据所述正常样本集和所述辅助样本集,确定异常样本集,包括:
在所述正常样本集的正常样本图像上,确定第一区域;
将所述辅助样本集中辅助样本图像替换所述第一区域内的图像,得到所述异常样本图像;
将多个所述异常样本图像确定为所述异常样本集。
本申请的一些实施例,利用多样化且策略已知的人造异常样本这一特点,在样本合成过程中自动判断缺陷的哪个属性发生了变更。
在一些实施例,所述初始训练模型包括ResNet18模型。
在一些实施例,所述方法还包括:
分别对所述正常样本图像的特征向量和所述异常样本集中的异常样本图像的特征向量进行翻转处理,得到分类结果;
采用快速梯度符号方法,对所述分类结果中的各个图像特征进行线性干扰,生成对抗样本。
本申请的一些实施例通过对抗样本并引入额外的训练过程,弥补因容易区分的人造异常样本导致的特征分布约束减弱问题。
在一些实施例,所述根据所述异常样本集和所述正常样本图像构成的正常样本集,在不同缺陷的属性特征对应的映射层上,对所述初始训练模型进行训练,包括:
根据所述对抗样本和所述多属性混合特征,在不同缺陷的属性特征对应的映射层上,对所述初始训练模型进行训练。
本申请的一些实施例通过对抗样本并引入额外的训练过程,弥补因容易区分的人造异常样本导致的特征分布约束减弱问题。
在一些实施例,所述分类模型通过如下方式获得:
在训练所述距离度量模型收敛的情况下,采用所述对抗样本对SVDD模型进行参数更新,得到球面半径和中心点;
在所述对抗样本和所述正常样本的相似度大于第二预设值时,根据所述球面半径和所述中心点确定所述分类模型,并将所述球面半径确定为所述检测半径。
本申请的一些实施例为了克服人造异常样本的质量不佳而导致正常样本的分布松散,利用SVDD构建的超球分类面,保证大部分图像特征都落在超球面内部且人造异常样本落在外部的约束下,寻找最小的球面半径以及对应的中心点。
在一些实施例,所述根据所述待检测图像中的每一个像素点到中心点的距离图和检测半径,确定所述待检测图像上的缺陷区域,包括:
若所述待检测图像中的像素点到中心点的距离大于所述检测半径,确定所述像素点位于缺陷区域;
若所述待检测图像中的像素点到中心点的距离小于且等于所述检测半径,确定所述像素点位于正常区域。
本申请的一些实施例通过采用检测半径进行判断,避免出现正常样本分布和构建的超球面较为松散而导致出现漏检风险的问题。
第二方面,本申请的一些实施例提供了一种缺陷检测装置,包括:
获取模块,用于获取待检测图像;
第一确定模块,用于将所述待检测图像输入预先训练好的距离度量模型中,得到与所述待检测图像对应的不同缺陷的特征向量,所述预先训练好的距离度量模型是根据不同缺陷的属性特征,对初始训练模型训练得到的;
第二确定模块,用于根据所述特征向量和预先建立的分类模型,确定所述待检测图像中的每一个像素点到中心点的距离图;
判断模块,用于根据所述待检测图像中的每一个像素点到中心点的距离图和检测半径,确定所述待检测图像上的缺陷区域,其中,所述检测半径和所述中心点是通过对所述分类模型进行训练得到的。
可选地,所述装置还包括模型建立模块,所述模型建立模块用于:
获取训练样本集,其中,所述训练样本集包括正常样本图像和辅助样本图像;
根据所述正常样本图像和所述辅助样本图像,确定异常样本集;
根据所述异常样本集和所述正常样本图像构成的正常样本集,在不同缺陷的属性特征对应的映射层上,对所述初始训练模型进行训练;
在正常特征间余弦距离和异常样本特征间余弦距离大于第一预设值的情况下,将训练完成的模型确定为所述距离度量模型。
可选地,所述不同缺陷的属性特征至少包括亮度特征、色调特征、纹理特征和上下文特征,其中,所述纹理特征至少包括纹理结构、粗糙度或方向中的一种或多种,所述上下文特征至少包括平移或错位。
可选地,所述模型建立模块用于:
分别获取亮度特征信息、色调特征信息、纹理特征信息和上下文特征信息;
基于与所述亮度特征信息对应的亮度权重、与所述色调特征信息对应的色调权重、与所述纹理特征信息对应的纹理权重和与所述上下文特征信息对应的上下文权重,在各自对应的映射层上,分别采用对应的所述异常样本集和所述正常样本集就,对所述初始训练模型进行训练,得到与所述亮度特征信息对应亮度训练信息,与所述色调特征信息对应的色调训练信息,与所述纹理特征信息对应的纹理训练信息,以及与上下文特征信息对应的上下文训练信息;
根据所述亮度训练信息、所述色调训练信息、所述纹理训练信息和所述上下文训练信息,确定多属性混合特征。
可选地,所述模型建立模块用于:
将所述亮度训练信息、所述色调训练信息、所述纹理训练信息和所述上下文训练信息依次进行拼接,得到所述多属性混合特征。
可选地,所述模型建立模块用于:
在所述正常样本集的正常样本图像上,确定第一区域;
将所述辅助样本集中辅助样本图像替换所述第一区域内的图像,得到所述异常样本图像;
将多个所述异常样本图像确定为所述异常样本集。
可选地,所述初始训练模型包括ResNet18模型。
可选地,所述模型建立模块用于:
分别对所述正常样本图像的特征向量和所述异常样本集中的异常样本图像的特征向量进行翻转处理,得到分类结果;
采用快速梯度符号方法,对所述分类结果中的各个图像特征进行线性干扰,生成对抗样本。
可选地,所述模型建立模块用于:
根据所述对抗样本和所述多属性混合特征,在不同缺陷的属性特征对应的映射层上,对所述初始训练模型进行训练。
可选地,所述模型建立模块用于:
在训练所述距离度量模型收敛的情况下,采用所述对抗样本对SVDD模型进行参数更新,得到球面半径和中心点;
在所述对抗样本和所述正常样本的相似度大于第二预设值时,根据所述球面半径和所述中心点确定所述分类模型,并将所述球面半径确定为所述检测半径。
可选地,所述判断模块,用于:
若所述待检测图像中的像素点到中心点的距离大于所述检测半径,确定所述像素点位于缺陷区域;
若所述待检测图像中的像素点到中心点的距离小于且等于所述检测半径,确定所述像素点位于正常区域。
第三方面,本申请的一些实施例提供一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中,所述处理器执行所述程序时可实现如第一方面任一实施例所述的缺陷检测方法。
第四方面,本申请的一些实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时可实现如第一方面任一实施例所述的缺陷检测方法。
第五方面,本申请的一些实施例提供一种计算机程序产品,所述的计算机程序产品包括计算机程序,其中,所述的计算机程序被处理器执行时可实现如第一方面任一实施例所述的缺陷检测方法。
附图说明
为了更清楚地说明本申请的一些实施例的技术方案,下面将对本申请的一些实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为现有技术中的基于距离度量的无监督模型示意图;
图2为本申请实施例提供的一种缺陷检测方法的流程示意图;
图3为本申请实施例提供的多属性分离的特征提取网络示意图;
图4为本申请实施例提供的单类分类模型示意图;
图5为本申请实施例提供的结合对抗样本挖掘的单类样本分类模型示意图;
图6为本申请实施例提供的一种缺陷检测装置的结构示意图;
图7为本申请实施例提供的一种电子设备示意图。
具体实施方式
下面将结合本申请的一些实施例中的附图,对本申请的一些实施例中的技术方案进行描述。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
缺陷检测是工业生产流程中的一个重要环节,有许多方法通过基于深度学习的视觉模型来实现缺陷检测,其中大部分工作都属于监督学习的范畴,即需要大量经过人工标注的缺陷样本来训练模型。不过,缺陷样本的收集在许多工业场景中会面临如下问题:1)样本收集困难,缺陷产品的出现概率一般较低,收集与标注足够数量的样本时间成本较高;2)对于同一条生产线,其产品的型号可能会出现较为频繁的变动,导致监督学习模型难以快速适应新的检测任务;3)模型对于测试阶段新出现的缺陷类型往往难以准确检测。
基于上述的有监督检测模型的性能会受到训练集样本数量和样本形态的限制,采用无监督模型来克服上述缺陷,采用无监督模型进行缺陷区域的定位,如图1所示,首先在特征空间中人为指定了一个点作为特征中心,然后以正常样本到该点的距离之和作为损失函数的主体来进行特征提取网络的训练。训练后的网络能够将原始空间中的正常样本都映射到特征空间中某一中心点附近,而缺陷样本其对应的特征就可能会远离该中心点,因此根据距离就能实现缺陷检测;
采用有监督学习的模型由于样本获取的问题,存在缺陷区域漏检的风险,而采用无监督学习的模型,由于模型学习能力较强,就存在着将缺陷区域一起重构出来的风险,此时在后续的重构差异对比过程中会导致缺陷区域的重构差异不足而出现漏检,
鉴于此,本申请的一些实施例提供了一种缺陷检测方法,该方法通过获取待检测图像;将待检测图像输入预先训练好的距离度量模型中,得到与待检测图像对应的特征向量,预先训练好的距离度量模型是根据不同缺陷的属性特征,对初始训练模型训练得到的;根据特征向量和预先建立的分类模型,确定待检测图像中的每一个像素点到中心点的距离图;根据待检测图像中的每一个像素点到中心点的距离图和检测半径,确定待检测图像上的缺陷区域,其中,检测半径和中心点是通过对分类模型进行训练得到的,通过对不同缺陷属性特征分别进行样本映射学习,拆分并简化特征提取流程来提升特征分布的紧凑性,并通过分类模型确定检测半径,对待检测图像上的每一个像素点进行判断,从而识别出缺陷区域,提高检测的准确度。
如图2所示,本申请的实施例提供了一种缺陷检测方法,该方法包括:
S201、获取待检测图像;
具体地,终端设备获取待检测图像,该待检测图像可以是工业生产中的任意产品的图像,例如可以为手机屏幕玻璃、电池、汽车外壳等。
S202、将待检测图像输入预先训练好的距离度量模型中,得到与待检测图像对应的特征向量,预先训练好的距离度量模型是根据不同缺陷的属性特征,对初始训练模型训练得到的;
具体地,终端设备上预先训练距离度量模型,即在初始训练模型的基础上,增加了额外的网络结构,即增加不同缺陷的属性特征,通过不同缺陷的属性特征对待检测图像进行针对性的特征提取,通过对初始训练模型的训练,得到距离度量模型,终端设备将待检测图像输入到预先训练好的距离度量模型中,得到与待检测图像对应的特征向量。
S203、根据特征向量和预先建立的分类模型,确定待检测图像中的每一个像素点到中心点的距离图;
具体地,终端设备为了对获取到的特征向量进行分类,建立分类模型,将该特征向量输入到分类模型中,得到待检测图像中的每一个像素点到中心点的距离图。
S204、根据待检测图像中的每一个像素点到中心点的距离图和检测半径,确定待检测图像上的缺陷区域,其中,检测半径和中心点是通过对分类模型进行训练得到的。
具体地,终端设备在建立好的分类模型,确定检测半径和中心点,并根据得到的距离中的每一个像素点到中心点的距离与检测半径进行比较,根据比较的结果来判断待检测图像上的缺陷区域,示例性地,
若待检测图像中的像素点到中心点的距离大于检测半径,确定像素点位于缺陷区域;
若待检测图像中的像素点到中心点的距离小于且等于检测半径,确定像素点位于正常区域。
本申请又一实施例对上述实施例提供的缺陷检测方法做进一步补充说明。
可选地,距离度量模型通过如下方式获得:
步骤A1,获取训练样本集,其中,训练样本集包括正常样本图像和辅助样本图像;
终端设备收集大量无缺陷的正常样本作为数据集,用来训练后续的距离度量模型,收集大量与正常样本无关的图像作为辅助样本图像集,辅助样本图像集中的辅助图像和无缺陷样本的形态不一样即可,可以是随机纹理、自然图像、人造纹理图像等,只要和正常样本图像能区分开即可。
步骤A2,根据正常样本图像和辅助样本图像,确定异常样本集;
具体包括:
步骤A21、在正常样本集的正常样本图像上,确定第一区域;
步骤A22、将辅助样本集中辅助样本图像替换第一区域内的图像,得到异常样本图像;
步骤A23、将多个异常样本图像确定为异常样本集。
在每张正常样本图像上都选择随机一块区域即第一区域,并将第一区域内的图像替换成任意的采样于辅助样本图像集的辅助样本图像,合成一张人造异常样本,即异常样本图像。
步骤A3,根据异常样本集和正常样本图像构成的正常样本集,在不同缺陷的属性特征对应的映射层上,对初始训练模型进行训练;
其中,初始训练模型包括ResNet18模型。
不同缺陷的属性特征至少包括亮度特征、色调特征、纹理特征和上下文特征,其中,纹理特征至少包括纹理结构、粗糙度或方向中的一种或多种,上下文特征至少包括平移或错位。
具体包括:
步骤A31、分别获取亮度特征信息、色调特征信息、纹理特征信息和上下文特征信息;
步骤A32、基于与亮度特征信息对应的亮度权重、与色调特征信息对应的色调权重、与纹理特征信息对应的纹理权重和与上下文特征信息对应的上下文权重,在各自对应的映射层上,分别采用对应的异常样本集和正常样本集就,对初始训练模型进行训练,得到与亮度特征信息对应亮度训练信息,与色调特征信息对应的色调训练信息,与纹理特征信息对应的纹理训练信息,以及与上下文特征信息对应的上下文训练信息;
步骤A33、根据亮度训练信息、色调训练信息、纹理训练信息和上下文训练信息,确定多属性混合特征。
也就是说,将亮度训练信息、色调训练信息、纹理训练信息和上下文训练信息依次进行拼接,得到多属性混合特征。
如图3所示,为本申请实施例提供的多属性分离的特征提取网络示意图,本申请实施例构建了一种多属性分离的缺陷特征提取网络f,即上述的距离度量模型,旨在改善传统距离度量方法中特征提取方式单一和信息混杂问题,提升缺陷区域的定位精度其具体结构设计,在特征编码器的基础上,本申请实施例根据先验知识从多个角度针对性地提取特征,因为缺陷一般会在这四种属性上存在差异,但之前的特征提取过程各种属性的提取过程是混杂的缺乏针对性,分开的话更容易训练而且精度更高,而且还可以根据不同缺陷类型,来判断待检测图像上存在的缺陷的类型。本申请实施例根据常见缺陷目标存在异常的属性类型,提供了亮度、色调、纹理、上下文四个属性特征映射层,其中,纹理属性异常则代指纹理结构、粗糙度、方向等方面的异常目标,而上下文异常,则代指本身形态正常但结合空间上下文信息会发现的异常目标,如平移、错位等类型的缺陷。
终端设备训练的距离度量模型的输出量为一个特征向量,该距离度量模型可用于提取图像上的特征向量。
步骤A4,在正常特征间余弦距离和异常样本特征间余弦距离大于第一预设值的情况下,将训练完成的模型确定为距离度量模型。
本申请实施例中采用预训练模型(ResNet18)即初始训练模型的部分浅层网络作为特征编码器,而四个属性特征映射层的权重训练,则利用多样化且策略已知的人造异常样本这一特点,自动根据样本合成过程中是否涉及对应属性的变更,为每个映射层分别分配对应的正常样本和异常样本。在本申请实施例中的4个缺陷的属性特征,是4个不同的独立分支,各个分支具有各自对应的权重,但是是同时训练的,随后在每一个映射层中,以减少正常特征间余弦距离并最大化与异常样本特征间余弦距离为目标进行模型训练,迫使模型构建尽可能紧凑的数据分布,最后将不同属性的特征归一化后,在通道维度拼接得到最终的特征图。
本申请实施例通过建立四个独立分支,使距离度量模型从多角度针对性地提取图像的某类特征,从更细的粒度进行特征映射训练,而不用同时考虑将各种类型的异常目标映射到远离正常样本的区域,以降低特征分析难度的方式提升缺陷的定位灵敏度。
在上述实施例的基础上,可选地,该方法还包括:
分别对正常样本图像的特征向量和异常样本集中的异常样本图像的特征向量进行翻转处理,得到分类结果;
采用快速梯度符号方法,对分类结果中的各个图像特征进行线性干扰,生成对抗样本。
进一步地,根据异常样本集和正常样本图像构成的正常样本集,在不同缺陷的属性特征对应的映射层上,对初始训练模型进行训练,包括:
根据对抗样本和多属性混合特征,在不同缺陷的属性特征对应的映射层上,对初始训练模型进行训练。
在上述实施例的基础上,分类模型通过如下方式获得:
在训练距离度量模型收敛的情况下,采用对抗样本对SVDD模型进行参数更新,得到球面半径和中心点;
在对抗样本和正常样本的相似度大于第二预设值时,根据球面半径和中心点确定分类模型,并将球面半径确定为检测半径。
图4为本申请实施例提供的单类分类模型示意图,本申请实施例采用支持向量数据描述(Support VeCtor Data DesCription,SVDD)来建模正常样本特征的分布,即在保证大部分图像特征Zn都落在超球面内部且Za落在外部的约束下,寻找最小的球面半径R以及对应的中心点C。
一般来说,异常特征Za的分布会直接影响距离度量模型f的训练效果,若异常图像的特征都属于容易区分的简单样本,模型受到的特征分布约束会被减弱,使得正常样本分布和构建的超球面较为松散而导致出现漏检风险,对于这一问题,本申请实施例提供了一种结合在线对抗样本生成的单类样本分类模型,该模型主要在于利用已构建的SVDD模型来自主挖掘难分类的对抗样本Zhard并引入额外的训练过程,弥补因容易区分的人造异常样本导致的特征分布约束减弱问题。
如图5所示,在距离度量模型f的训练末期,由于人造异常样本的质量不佳而导致正常样本的分布松散,本申请实施例利用SVDD构建的超球分类面,通过翻转正常特征和异常特征的期望分类结果,并结合快速梯度符号方法对各图像特征进行线性扰动,自适应生成在目前状态下不易分类的一系列对抗样本特征Zhard,并同样作为负样本加入到距离度量模型f的训练过程中。
由于新生成的特征Zhard更贴近目前构建的超球分类面,同样也更接近现阶段的正常特征分布区域,这会迫使距离度量模型f将正常样本映射到更为紧凑的特征空间中来更好地区分Zhard以及Zn,更紧凑的特征分布对应着更小的超球面半径,有助于提升模型的检测精度,并且新增的Zhard也一定程度上提升了负样本的多样性,进一步改善距离度量模型f的泛化能力。训练阶段每当模型损失函数基本收敛时就会触发上述优化过程,生成新的SVDD分类模型和对应的Zhard,来逐步优化距离度量模型f聚合正常样本特征的能力,提升区域检测精度。而为了避免因迭代次数过多,生成的对抗样本与正常样本过于相似导致严重的过拟合问题,上述优化过程会在训练流程的末期迭代一定次数后停止。
本申请实施例对缺陷进行检测的过程可用如下公式表示:
M=Dist(f(x),c)
其中,f代表特征提取网络即距离度量模型,其目标是在特征空间中聚合正常样本特征并保持对异常样本的区分能力,而C代表一个参考的特征中心点或者某正常样本特征,Dist(a,b)代表任意一种特征距离计算过程,而M则代表计算得到的距离图,对应着输入图像中每一个像素点的特征到中心点C的距离。
本申请实施例通对不同缺陷属性特征分别进行样本映射学习,拆分并简化特征提取流程来提升特征分布的紧凑性,在训练阶段根据构建的分类模型,进行对抗性扰动在线生成新的难分类样本,进一步强化距离度量模型对正常样本的分布约束,改善模型的定位精度。
需要说明的是,本实施例中各可实施的方式可以单独实施,也可以在不冲突的情况下以任意组合方式结合实施本申请不做限定。
本申请另一实施例提供一种缺陷检测装置,用于执行上述实施例提供的缺陷检测方法。
如图6所示,为本申请实施例提供的缺陷检测装置的结构示意图。该缺陷检测装置包括获取模块601、第一确定模块602、第二确定模块603和判断模块604,其中:
获取模块601用于获取待检测图像;
第一确定模块602用于将待检测图像输入预先训练好的距离度量模型中,得到与待检测图像对应的特征向量,预先训练好的距离度量模型是根据不同缺陷的属性特征,对初始训练模型训练得到的;
第二确定模块603用于根据特征向量和预先建立的分类模型,确定待检测图像中的每一个像素点到中心点的距离图;
判断模块604用于根据待检测图像中的每一个像素点到中心点的距离图和检测半径,确定待检测图像上的缺陷区域,其中,检测半径和中心点是通过对分类模型进行训练得到的。
关于本实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
根据本实施例提供的缺陷检测装置,通过获取待检测图像;将待检测图像输入预先训练好的距离度量模型中,得到与待检测图像对应的特征向量,预先训练好的距离度量模型是根据不同缺陷的属性特征,对初始训练模型训练得到的;根据特征向量和预先建立的分类模型,确定待检测图像中的每一个像素点到中心点的距离图;根据待检测图像中的每一个像素点到中心点的距离图和检测半径,确定待检测图像上的缺陷区域,其中,检测半径和中心点是通过对分类模型进行训练得到的,通过对不同缺陷属性特征分别进行样本映射学习,拆分并简化特征提取流程来提升特征分布的紧凑性,并通过分类模型确定检测半径,对待检测图像上的每一个像素点进行判断,从而识别出缺陷区域,提高检测的准确度。
本申请又一实施例对上述实施例提供的缺陷检测装置做进一步补充说明。
可选地,该装置还包括模型建立模块,模型建立模块用于:
获取训练样本集,其中,训练样本集包括正常样本图像和辅助样本图像;
根据正常样本图像和辅助样本图像,确定异常样本集;
根据异常样本集和正常样本图像构成的正常样本集,在不同缺陷的属性特征对应的映射层上,对初始训练模型进行训练;
在正常特征间余弦距离和异常样本特征间余弦距离大于第一预设值的情况下,将训练完成的模型确定为距离度量模型。
可选地,不同缺陷的属性特征至少包括亮度特征、色调特征、纹理特征和上下文特征,其中,纹理特征至少包括纹理结构、粗糙度或方向中的一种或多种,上下文特征至少包括平移或错位。
可选地,模型建立模块用于:
分别获取亮度特征信息、色调特征信息、纹理特征信息和上下文特征信息;
基于与亮度特征信息对应的亮度权重、与色调特征信息对应的色调权重、与纹理特征信息对应的纹理权重和与上下文特征信息对应的上下文权重,在各自对应的映射层上,分别采用对应的异常样本集和正常样本集就,对初始训练模型进行训练,得到与亮度特征信息对应亮度训练信息,与色调特征信息对应的色调训练信息,与纹理特征信息对应的纹理训练信息,以及与上下文特征信息对应的上下文训练信息;
根据亮度训练信息、色调训练信息、纹理训练信息和上下文训练信息,确定多属性混合特征。
可选地,模型建立模块用于:
将亮度训练信息、色调训练信息、纹理训练信息和上下文训练信息依次进行拼接,得到多属性混合特征。
可选地,模型建立模块用于:
在正常样本集的正常样本图像上,确定第一区域;
将辅助样本集中辅助样本图像替换第一区域内的图像,得到异常样本图像;
将多个异常样本图像确定为异常样本集。
可选地,初始训练模型包括ResNet18模型。
可选地,模型建立模块用于:
分别对正常样本图像的特征向量和异常样本集中的异常样本图像的特征向量进行翻转处理,得到分类结果;
采用快速梯度符号方法,对分类结果中的各个图像特征进行线性干扰,生成对抗样本。
可选地,模型建立模块用于:
根据对抗样本和多属性混合特征,在不同缺陷的属性特征对应的映射层上,对初始训练模型进行训练。
可选地,模型建立模块用于:
在训练距离度量模型收敛的情况下,采用对抗样本对SVDD模型进行参数更新,得到球面半径和中心点;
在对抗样本和正常样本的相似度大于第二预设值时,根据球面半径和中心点确定分类模型,并将球面半径确定为检测半径。
可选地,判断模块,用于:
若待检测图像中的像素点到中心点的距离大于检测半径,确定像素点位于缺陷区域;
若待检测图像中的像素点到中心点的距离小于且等于检测半径,确定像素点位于正常区域。
关于本实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
需要说明的是,本实施例中各可实施的方式可以单独实施,也可以在不冲突的情况下以任意组合方式结合实施本申请不做限定。
本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,程序被处理器执行时可实现如上述实施例提供的缺陷检测方法中的任意实施例所对应方法的操作。
本申请实施例还提供了一种计算机程序产品,的计算机程序产品包括计算机程序,其中,的计算机程序被处理器执行时可实现如上述实施例提供的缺陷检测方法中的任意实施例所对应方法的操作。
如图7所示,本申请的一些实施例提供一种电子设备700,该电子设备700包括:存储器710、处理器720以及存储在存储器710上并可在处理器720上运行的计算机程序,其中,处理器720通过总线730从存储器710读取程序并执行程序时可实现如上述缺陷检测方法包括的任意实施例的方法。
处理器720可以处理数字信号,可以包括各种计算结构。例如复杂指令集计算机结构、结构精简指令集计算机结构或者一种实行多种指令集组合的结构。在一些示例中,处理器720可以是微处理器。
存储器710可以用于存储由处理器720执行的指令或指令执行过程中相关的数据。这些指令和/或数据可以包括代码,用于实现本申请实施例描述的一个或多个模块的一些功能或者全部功能。本公开实施例的处理器720可以用于执行存储器710中的指令以实现上述所示的方法。存储器710包括动态随机存取存储器、静态随机存取存储器、闪存、光存储器或其它本领域技术人员所熟知的存储器。
以上仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (20)
1.一种缺陷检测方法,其特征在于,所述方法包括:
获取待检测图像;
将所述待检测图像输入预先训练好的距离度量模型中,得到与所述待检测图像对应的不同缺陷的特征向量,所述预先训练好的距离度量模型是根据不同缺陷的属性特征,对初始训练模型训练得到的;
根据所述特征向量和预先建立的分类模型,确定所述待检测图像中的每一个像素点到中心点的距离图;
根据所述待检测图像中的每一个像素点到中心点的距离图和检测半径,确定所述待检测图像上的缺陷区域,其中,所述检测半径和所述中心点是通过对所述分类模型进行训练得到的。
2.根据权利要求1所述的缺陷检测方法,其特征在于,所述距离度量模型通过如下方式获得:
获取训练样本集,其中,所述训练样本集包括正常样本图像和辅助样本图像;
根据所述正常样本图像和所述辅助样本图像,确定异常样本集;
根据所述异常样本集和所述正常样本图像构成的正常样本集,在不同缺陷的属性特征对应的映射层上,对所述初始训练模型进行训练;
在正常特征间余弦距离和异常样本特征间余弦距离大于第一预设值的情况下,将训练完成的模型确定为所述距离度量模型。
3.根据权利要求2所述的缺陷检测方法,其特征在于,所述不同缺陷的属性特征至少包括亮度特征、色调特征、纹理特征和上下文特征,其中,所述纹理特征至少包括纹理结构、粗糙度或方向中的一种或多种,所述上下文特征至少包括平移或错位。
4.根据权利要求3所述的缺陷检测方法,其特征在于,所述根据所述异常样本集和所述正常样本集,在不同缺陷的属性特征对应的映射层上,对所述初始训练模型进行训练,包括:
分别获取亮度特征信息、色调特征信息、纹理特征信息和上下文特征信息;
基于与所述亮度特征信息对应的亮度权重、与所述色调特征信息对应的色调权重、与所述纹理特征信息对应的纹理权重和与所述上下文特征信息对应的上下文权重,在各自对应的映射层上,分别采用对应的所述异常样本集和所述正常样本集就,对所述初始训练模型进行训练,得到与所述亮度特征信息对应亮度训练信息,与所述色调特征信息对应的色调训练信息,与所述纹理特征信息对应的纹理训练信息,以及与上下文特征信息对应的上下文训练信息;
根据所述亮度训练信息、所述色调训练信息、所述纹理训练信息和所述上下文训练信息,确定多属性混合特征。
5.根据权利要求4所述的缺陷检测方法,其特征在于,所述根据所述亮度训练信息、所述色调训练信息、所述纹理训练信息和所述上下文训练信息,确定多属性混合特征,包括:
将所述亮度训练信息、所述色调训练信息、所述纹理训练信息和所述上下文训练信息依次进行拼接,得到所述多属性混合特征。
6.根据权利要求2所述的缺陷检测方法,其特征在于,所述根据所述正常样本集和所述辅助样本集,确定异常样本集,包括:
在所述正常样本集的正常样本图像上,确定第一区域;
将所述辅助样本集中辅助样本图像替换所述第一区域内的图像,得到所述异常样本图像;
将多个所述异常样本图像确定为所述异常样本集。
7.根据权利要求2所述的缺陷检测方法,其特征在于,所述初始训练模型包括ResNet18模型。
8.根据权利要求5所述的缺陷检测方法,其特征在于,所述方法还包括:
分别对所述正常样本图像的特征向量和所述异常样本集中的异常样本图像的特征向量进行翻转处理,得到分类结果;
采用快速梯度符号方法,对所述分类结果中的各个图像特征进行线性干扰,生成对抗样本。
9.根据权利要求8所述的缺陷检测方法,其特征在于,所述根据所述异常样本集和所述正常样本图像构成的正常样本集,在不同缺陷的属性特征对应的映射层上,对所述初始训练模型进行训练,包括:
根据所述对抗样本和所述多属性混合特征,在不同缺陷的属性特征对应的映射层上,对所述初始训练模型进行训练。
10.根据权利要求9所述的缺陷检测方法,其特征在于,所述分类模型通过如下方式获得:
在训练所述距离度量模型收敛的情况下,采用所述对抗样本对SVDD模型进行参数更新,得到球面半径和中心点;
在所述对抗样本和所述正常样本的相似度大于第二预设值时,根据所述球面半径和所述中心点确定所述分类模型,并将所述球面半径确定为所述检测半径。
11.根据权利要求1所述的缺陷检测方法,其特征在于,所述根据所述待检测图像中的每一个像素点到中心点的距离图和检测半径,确定所述待检测图像上的缺陷区域,包括:
若所述待检测图像中的像素点到中心点的距离大于所述检测半径,确定所述像素点位于缺陷区域;
若所述待检测图像中的像素点到中心点的距离小于且等于所述检测半径,确定所述像素点位于正常区域。
12.一种缺陷检测装置,其特征在于,所述装置包括:
获取模块,用于获取待检测图像;
第一确定模块,用于将所述待检测图像输入预先训练好的距离度量模型中,得到与所述待检测图像对应的不同缺陷的特征向量,所述预先训练好的距离度量模型是根据不同缺陷的属性特征,对初始训练模型训练得到的;
第二确定模块,用于根据所述特征向量和预先建立的分类模型,确定所述待检测图像中的每一个像素点到中心点的距离图;
判断模块,用于根据所述待检测图像中的每一个像素点到中心点的距离图和检测半径,确定所述待检测图像上的缺陷区域,其中,所述检测半径和所述中心点是通过对所述分类模型进行训练得到的。
13.根据权利要求12所述的缺陷检测装置,其特征在于,所述装置还包括模型建立模块,所述模型建立模块用于:
获取训练样本集,其中,所述训练样本集包括正常样本图像和辅助样本图像;
根据所述正常样本图像和所述辅助样本图像,确定异常样本集;
根据所述异常样本集和所述正常样本图像构成的正常样本集,在不同缺陷的属性特征对应的映射层上,对所述初始训练模型进行训练;
在正常特征间余弦距离和异常样本特征间余弦距离大于第一预设值的情况下,将训练完成的模型确定为所述距离度量模型。
14.根据权利要求13所述的缺陷检测装置,其特征在于,所述不同缺陷的属性特征至少包括亮度特征、色调特征、纹理特征和上下文特征,其中,所述纹理特征至少包括纹理结构、粗糙度或方向中的一种或多种,所述上下文特征至少包括平移或错位。
15.根据权利要求14所述的缺陷检测装置,其特征在于,所述模型建立模块用于:
分别获取亮度特征信息、色调特征信息、纹理特征信息和上下文特征信息;
基于与所述亮度特征信息对应的亮度权重、与所述色调特征信息对应的色调权重、与所述纹理特征信息对应的纹理权重和与所述上下文特征信息对应的上下文权重,在各自对应的映射层上,分别采用对应的所述异常样本集和所述正常样本集就,对所述初始训练模型进行训练,得到与所述亮度特征信息对应亮度训练信息,与所述色调特征信息对应的色调训练信息,与所述纹理特征信息对应的纹理训练信息,以及与上下文特征信息对应的上下文训练信息;
根据所述亮度训练信息、所述色调训练信息、所述纹理训练信息和所述上下文训练信息,确定多属性混合特征。
16.根据权利要求15所述的缺陷检测装置,其特征在于,所述模型建立模块用于:
将所述亮度训练信息、所述色调训练信息、所述纹理训练信息和所述上下文训练信息依次进行拼接,得到所述多属性混合特征。
17.根据权利要求13所述的缺陷检测装置,其特征在于,所述模型建立模块用于:
在所述正常样本集的正常样本图像上,确定第一区域;
将所述辅助样本集中辅助样本图像替换所述第一区域内的图像,得到所述异常样本图像;
将多个所述异常样本图像确定为所述异常样本集。
18.根据权利要求12所述的缺陷检测装置,其特征在于,所述判断模块,用于:
若所述待检测图像中的像素点到中心点的距离大于所述检测半径,确定所述像素点位于缺陷区域;
若所述待检测图像中的像素点到中心点的距离小于且等于所述检测半径,确定所述像素点位于正常区域。
19.一种电子设备,其特征在于,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中,所述处理器执行所述程序时可实现权利要求1-11中任意一项权利要求所述的缺陷检测方法。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述程序被处理器执行时可实现权利要求1-11中任意一项权利要求所述的缺陷检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310549486.3A CN116486178B (zh) | 2023-05-16 | 2023-05-16 | 一种缺陷检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310549486.3A CN116486178B (zh) | 2023-05-16 | 2023-05-16 | 一种缺陷检测方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116486178A true CN116486178A (zh) | 2023-07-25 |
CN116486178B CN116486178B (zh) | 2024-01-19 |
Family
ID=87221436
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310549486.3A Active CN116486178B (zh) | 2023-05-16 | 2023-05-16 | 一种缺陷检测方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116486178B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180211373A1 (en) * | 2017-01-20 | 2018-07-26 | Aquifi, Inc. | Systems and methods for defect detection |
CN109598698A (zh) * | 2017-09-28 | 2019-04-09 | 应用材料以色列公司 | 用于对多个项进行分类的系统、方法和计算机程序产品 |
US20190108396A1 (en) * | 2017-10-11 | 2019-04-11 | Aquifi, Inc. | Systems and methods for object identification |
CN112037215A (zh) * | 2020-09-09 | 2020-12-04 | 华北电力大学(保定) | 一种基于零样本学习的绝缘子缺陷检测方法及系统 |
KR102363737B1 (ko) * | 2021-06-01 | 2022-02-15 | 아주대학교산학협력단 | 이상 탐지 장치 및 방법 |
CN114549390A (zh) * | 2020-11-25 | 2022-05-27 | 鸿富锦精密电子(成都)有限公司 | 电路板检测方法、电子装置及存储介质 |
-
2023
- 2023-05-16 CN CN202310549486.3A patent/CN116486178B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180211373A1 (en) * | 2017-01-20 | 2018-07-26 | Aquifi, Inc. | Systems and methods for defect detection |
CN109598698A (zh) * | 2017-09-28 | 2019-04-09 | 应用材料以色列公司 | 用于对多个项进行分类的系统、方法和计算机程序产品 |
US20190108396A1 (en) * | 2017-10-11 | 2019-04-11 | Aquifi, Inc. | Systems and methods for object identification |
CN112037215A (zh) * | 2020-09-09 | 2020-12-04 | 华北电力大学(保定) | 一种基于零样本学习的绝缘子缺陷检测方法及系统 |
WO2022052181A1 (zh) * | 2020-09-09 | 2022-03-17 | 华北电力大学(保定) | 一种基于零样本学习的绝缘子缺陷检测方法及系统 |
CN114549390A (zh) * | 2020-11-25 | 2022-05-27 | 鸿富锦精密电子(成都)有限公司 | 电路板检测方法、电子装置及存储介质 |
KR102363737B1 (ko) * | 2021-06-01 | 2022-02-15 | 아주대학교산학협력단 | 이상 탐지 장치 및 방법 |
Non-Patent Citations (1)
Title |
---|
YONGHENG LIU 等: "Unsupervised image anomaly detection and localization in industry based on self-updated memory and center clustering", 《IEEE TRANSACTIONS ON INTRUMENTATION AND MEASUREMENT》 * |
Also Published As
Publication number | Publication date |
---|---|
CN116486178B (zh) | 2024-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200387785A1 (en) | Power equipment fault detecting and positioning method of artificial intelligence inference fusion | |
CN113591948B (zh) | 一种缺陷模式识别方法、装置、电子设备和存储介质 | |
CN114022904B (zh) | 一种基于两阶段的噪声鲁棒行人重识别方法 | |
CN117152484B (zh) | 基于改进的YOLOv5s的小目标布匹瑕疵检测方法 | |
US12094098B2 (en) | Defect management apparatus, method and non-transitory computer readable medium | |
CN117516937A (zh) | 基于多模态特征融合增强的滚动轴承未知故障检测方法 | |
CN116051479A (zh) | 融合跨域迁移和异常检测的纺织品缺陷识别方法 | |
CN115496892A (zh) | 工业缺陷检测方法、装置及电子设备、存储介质 | |
CN109410241A (zh) | 图像区域生长算法的蜕变测试方法 | |
CN113628252A (zh) | 一种基于热成像视频的泄漏气体云团检测方法 | |
CN109447968A (zh) | 图像区域生长算法的蜕变测试系统 | |
CN116167336B (zh) | 基于云计算的传感器数据加工方法、云服务器及介质 | |
CN116486178B (zh) | 一种缺陷检测方法、装置、电子设备及存储介质 | |
CN113128518A (zh) | 基于孪生卷积网络和特征混合的sift误匹配检测方法 | |
CN115620083B (zh) | 模型训练方法、人脸图像质量评价方法、设备及介质 | |
CN116702005A (zh) | 一种基于神经网络的数据异常诊断方法和电子设备 | |
CN115937195A (zh) | 表面缺陷检测方法、装置和计算机设备 | |
CN115908295A (zh) | 一种基于深度学习的电网绝缘子缺陷检测方法及系统 | |
CN114663751A (zh) | 一种基于增量学习技术的输电线路缺陷识别方法和系统 | |
CN111275135B (zh) | 一种故障诊断方法、装置、设备、介质 | |
CN113763305A (zh) | 标定物品缺陷的方法、装置及电子设备 | |
CN112418131A (zh) | 一种基于半锚式检测器的目标检测方法 | |
CN115185814B (zh) | 一种基于二维程序频谱的多缺陷定位方法、系统及设备 | |
WO2023166773A1 (ja) | 画像分析システム、画像分析方法、及びプログラム | |
US20240233349A9 (en) | Integrated model generation method, image inspection system, image inspection model generation device, image inspection model generation program, and image inspection device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |