CN116958153A - 一种基于切片匹配的无监督缺陷检测方法、系统及介质 - Google Patents

一种基于切片匹配的无监督缺陷检测方法、系统及介质 Download PDF

Info

Publication number
CN116958153A
CN116958153A CN202311222299.0A CN202311222299A CN116958153A CN 116958153 A CN116958153 A CN 116958153A CN 202311222299 A CN202311222299 A CN 202311222299A CN 116958153 A CN116958153 A CN 116958153A
Authority
CN
China
Prior art keywords
feature
slice
detected
image
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311222299.0A
Other languages
English (en)
Other versions
CN116958153B (zh
Inventor
张振
程克林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Hexin Technology Co ltd
Original Assignee
Suzhou Hexin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Hexin Technology Co ltd filed Critical Suzhou Hexin Technology Co ltd
Priority to CN202311222299.0A priority Critical patent/CN116958153B/zh
Publication of CN116958153A publication Critical patent/CN116958153A/zh
Application granted granted Critical
Publication of CN116958153B publication Critical patent/CN116958153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00Energy generation through renewable energy sources
    • Y02E10/50Photovoltaic [PV] energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于切片匹配的无监督缺陷检测方法、系统及介质,所述方法包括以下步骤:配置特征提取器,采集无缺陷光伏图像,基于特征提取器和无缺陷光伏图像创建切片特征存储库;确认待检测图像,基于特征提取器获取待检测图像的待测切片特征;在切片特征存储库中筛选待测切片特征的正常相似特征,基于待测切片特征和正常相似特征判断待测切片特征的异常情况;根据异常情况判断待检测图像的缺陷情况;本发明能够在仅有正常光伏图像样本的情况下对缺陷光伏样本的缺陷进行精准检测以及定位,解决工业检测中的标注困难及缺陷样本数量较少的问题,相对平衡了成本与性能之间的矛盾,实现降本增效,提升了鲁棒性和适用性。

Description

一种基于切片匹配的无监督缺陷检测方法、系统及介质
技术领域
本发明涉及工业机器视觉检测技术领域,具体的,本发明应用于光伏产品缺陷检测领域,特别是涉及一种基于切片匹配的无监督缺陷检测方法、系统及介质。
背景技术
目前,基于深度学习的检测模型都依赖于大规模可靠标注数据的训练,这种依赖性导致基于深度学习的检测模型存在如下多方面的问题:
第一方面,由于目前工业生产线对于良品率的严格控制,缺陷样品的产出率控制在一个非常低的水平;但这对于检测模型而言,是相对不利的,由于缺陷样品产出较少,使用于模型训练的缺陷样本难以获取,检测模型的训练时正常样本与缺陷样本的数量存在极端不平衡,最终导致检测网络监督训练的失败,影响了检测网络的鲁棒性和精准性。
第二方面,基于监督训练的缺陷检测模型对标注样本的精准性要求较高,而实际情况中,人工标注的方式会因标注人员的专业水平限制以及缺陷本身的多样性导致标注质量并不理想,从而导致检测模型的训练质量有所欠缺,使模型出现偏差,若要获取准确标注样本,则又需要付出更大的预算成本。
综上所述,缺陷数据获取的困难性和缺陷标注的成本问题与最终检测模型的检测精度之间形成了一对矛盾体,现有的检测方案及模型,无法对此进行有效的平衡;最终,为了提高深度学习检测模型的落地性和适用性,降本增效是固然需要面临的难题。
发明内容
本发明的目的在于,针对现有技术中的上述问题,提供一种基于切片匹配的无监督缺陷检测方法、系统及介质,进而解决现有技术中光伏产品缺陷检测时无法平衡成本与检测性能的问题。
为解决上述技术问题,本发明的具体技术方案如下:
一方面,本发明提供一种基于切片匹配的无监督缺陷检测方法,包括以下步骤:
切片特征获取步骤:
配置特征提取器,采集无缺陷光伏图像,基于所述特征提取器和所述无缺陷光伏图像创建切片特征存储库;
待测切片获取步骤:
确认待检测图像,基于所述切片特征获取步骤和所述特征提取器获取所述待检测图像的待测切片特征;
切片特征匹配步骤:
设置特征相似阈值,在所述切片特征存储库中筛选所述待测切片特征的正常相似特征,基于所述特征相似阈值以及所述待测切片特征与所述正常相似特征间的特征差距判断所述待测切片特征的异常情况,根据所述异常情况判断所述待检测图像的缺陷情况。
作为一种改进的方案,所述基于所述特征提取器和所述无缺陷光伏图像创建切片特征存储库,包括:
采用所述特征提取器提取所述无缺陷光伏图像的多层深度特征图;将所述多层深度特征图中的若干个中间层深度特征图进行融合,得到融合特征图;对所述融合特征图进行切片处理,得到若干切片特征,整合若干所述切片特征作为初始库;对所述初始库进行基于高斯分布的减负处理,得到所述切片特征存储库。
作为一种改进的方案,所述切片处理,包括:
设置切片大小和若干特征位置;以所述融合特征图的若干所述特征位置为中心,分别按照所述切片大小在所述融合特征图上扩展若干矩形切片;对每个所述矩形切片分别进行特征向量聚合处理,得到若干聚合切片;设定若干所述聚合切片分别为若干所述切片特征。
作为一种改进的方案,所述基于高斯分布的减负处理,包括:
拟合对于所述初始库中所有所述切片特征的多元高斯分布;设置采样点数量;按照所述采样点数量从所述多元高斯分布中采样若干特征点;整合若干所述特征点所分别对应的若干所述切片特征作为所述切片特征存储库。
作为一种改进的方案,所述基于所述切片特征获取步骤和所述特征提取器获取所述待检测图像的待测切片特征,包括:
采用所述特征提取器提取所述待检测图像的多层深度特征图;将所述待检测图像的多层深度特征图中的若干个中间层深度特征图进行融合,得到所述待检测图像的融合特征图;对所述待检测图像的融合特征图进行切片处理,得到若干所述待测切片特征。
作为一种改进的方案,所述在所述切片特征存储库中筛选所述待测切片特征的正常相似特征,包括:
将所述切片特征存储库中与所述待测切片特征间相似度最高的所述切片特征作为所述正常相似特征。
作为一种改进的方案,所述基于所述特征相似阈值以及所述待测切片特征与所述正常相似特征间的特征差距判断所述待测切片特征的异常情况,包括:
将所述待测切片特征与对应的所述正常相似特征间组成相似特征对;
筛选所述相似特征对中特征差距最大的一对作为待比较特征对;
计算所述待比较特征对中的待测切片特征与正常相似特征的相似度,定义该相似度为最低相似度;
比对所述最低相似度与所述特征相似阈值;
若所述最低相似度大于所述特征相似阈值,则设定所述待测切片特征非异常;若所述最低相似度低于所述特征相似阈值,则设定所述待测切片特征异常。
作为一种改进的方案,所述根据所述异常情况判断所述待检测图像的缺陷情况,包括:
响应于所述异常情况为存在任一异常的所待测切片特征,判断所述待检测图像存在缺陷;在基于所述待测切片特征重构所述待检测图像时,基于存在异常的所待测切片特征对所述待检测图像的缺陷进行定位;
响应于所述异常情况为所述待检测图像的每个所待测切片特征均非异常,判断所述待检测图像不存在缺陷。
另一方面,本发明还提供一种基于切片匹配的无监督缺陷检测系统,包括:
切片特征获取模块、待测切片获取模块和切片特征匹配模块;
所述切片特征获取模块,用于配置特征提取器,所述切片特征获取模块采集无缺陷光伏图像,所述切片特征获取模块基于所述特征提取器和所述无缺陷光伏图像创建切片特征存储库;
所述待测切片获取模块,用于确认待检测图像,所述切片特征获取模块基于所述切片特征获取步骤和所述特征提取器获取所述待检测图像的待测切片特征;
所述切片特征匹配模块,用于设置特征相似阈值,并在所述切片特征存储库中筛选所述待测切片特征的正常相似特征,所述切片特征匹配模块基于所述特征相似阈值以及所述待测切片特征与所述正常相似特征间的特征差距判断所述待测切片特征的异常情况,所述切片特征匹配模块根据所述异常情况判断所述待检测图像的缺陷情况。
另一方面,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现所述基于切片匹配的无监督缺陷检测方法的步骤。
本发明技术方案的有益效果是:
本发明所述的基于切片匹配的无监督缺陷检测方法,可以在仅有正常光伏图像样本的情况下对缺陷光伏样本的缺陷进行精准检测以及定位,解决工业检测中的标注困难及缺陷样本数量较少的问题,相对平衡了成本与性能之间的矛盾,实现了一定的降本增效,采用无监督学习的方法在保证检测性能的情况下,降低了使用成本,提升了鲁棒性和适用性,具有较高的应用价值。
本发明所述的基于切片匹配的无监督缺陷检测系统,可以通过切片特征获取模块、待测切片获取模块和切片特征匹配模块的相互配合,进而实现在仅有正常光伏图像样本的情况下对缺陷光伏样本的缺陷进行精准检测以及定位,解决工业检测中的标注困难及缺陷样本数量较少的问题,相对平衡了成本与性能之间的矛盾,实现了一定的降本增效,采用无监督学习的方法在保证检测性能的情况下,降低了使用成本,提升了鲁棒性和适用性,具有较高的应用价值。
本发明所述的计算机可读存储介质,可以实现引导切片特征获取模块、待测切片获取模块和切片特征匹配模块进行配合,进而实现本发明所述的基于切片匹配的无监督缺陷检测方法,且本发明所述的计算机可读存储介质还有效提高所述基于切片匹配的无监督缺陷检测方法的可操作性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例1所述基于切片匹配的无监督缺陷检测方法的流程示意图;
图2是本发明实施例1所述基于切片匹配的无监督缺陷检测方法的逻辑流程示意图;
图3是本发明实施例2所述基于切片匹配的无监督缺陷检测系统的架构示意图;
图4是本发明实施例4所述计算机设备的结构示意图;
附图中的标记说明如下:
1501、处理器;1502、通信接口;1503、存储器;1504、通信总线。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
在本发明的描述中,需要说明的是,本发明所描述的实施例是本发明一部分实施例,而不是全部的实施例;基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本文的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例1
本实施例提供一种基于切片匹配的无监督缺陷检测方法,如图1和图2所示,包括以下步骤:
S1、建立用于切片特征匹配的基础数据库,即特征存储库;
S2、对于需要检测的光伏图像,采用与第一步相同的逻辑获取其切片特征;
S3、根据特征存储库中保存的正常切片特征与前述获取到的切片特征进行比对,根据其间相似度,判断获取到的切片特征是否异常,根据切片的异常情况来判断该光伏图像是否存在缺陷;
需要说明的是:本方法针对的光伏产品为太阳能电池用网纱,太阳能电池用网纱由超细的微米金属丝线纵横交错编织或者以特定图形交织形成的多孔状平面薄膜,具有高韧性和拉伸强度,密集的多孔结构可以透过或过滤极细微的物质,使得透过的物质均匀分散;太阳能电池用网纱的精密性要求极高,故需要在生产作业中,对其成品进行缺陷检测,以保证产品质量;
具体的,以上步骤中,在构建特征存储库时,采用特征提取、特征融合、特征切片、拟合高斯分布、高斯分布采样等技术;在进行光伏图像切片时,采用相同逻辑的特征提取、特征融合、特征切片方案;在进行异常判断时,预先设置相关阈值,根据阈值与相似度之间的对比完成判断过程;对于以上步骤,具体的操作流程如下:
S100、为了构建特征存储库,首先使用特征提取器提取无缺陷光伏图像的多层深度特征图,并融合中间层几层的深度特征图作为后续使用的深度特征图;基于若干无缺陷光伏图像分别对应的融合后深度特征图组建训练集;后续对训练集中每个无缺陷光伏图像经过特征提取器后融合的深度特征图进行切片处理,并将每个切片特征均作为一个独立的特征加入到对应的存储库中,最终得到前述的特征存储库,完成其构建;之后,为了降低特征存储库所需的内存消耗及后续的特征匹配计算复杂度,会对特征存储库中的切片特征进行基于高斯分布处理的特征替换,进而降低资源占用;
作为一种较佳的实施方式,前述的特征提取器,使用在大规模图像数据集ImageNet上预训练的提取器;具体的,该提取器为ResNet50网络;本方法中,侧重基于切片特征匹配的无监督学习策略,不对此特征提取网络进行具体限定,其可根据实际需求情况进行适应性调整;需要注意的是,由于本步骤中需要进行中间层特征的融合,而不同的特征提取器中间层的数量和位置可能存在差异,所以对于不同的提取器需要做出对应调整;以本方法中的ResNet50网络举例,其包含4个模块层,那么本方法中选用其第2个模块层和第3个模块层的输出特征作为中间层特征进行融合;
作为一种较佳的实施方式,无缺陷光伏图像通过数据采集得到,由于现代工业生产线基本能够保证大多数生产的光伏产品是不包含异常的,所以在进行采集时,只针对正常光伏样品图像进行采集,这样会降低本方法的操作难度,提升其普适性;
作为一种较佳的实施方式,在将采集的光伏图像输入至特征提取器前,需要将整体的光伏图像切分为多个均匀的矩形切片,在特征提取器中进行训练时,将每个图像切片视为独立的样本,在训练后,将切片重新拼接回原始图像;在切分过程中,如果图像的宽度或高度无法整除切片尺寸时,采用在对应宽度或高度上进行空白填充的方式来弥补图像尺寸,以达到整除效果,从而适应图像切片大小;在本实施方式中,采用填充值为0的黑色像素以适应通常情况下的背景颜色;具体的,进行上述操作的原因是由于成品光伏板的尺寸通常较大,那么采用高精度摄像设备采集到的光伏产品图像的分辨率也是较高的,若将高分辨率的光伏图像直接输入至特征提取器中,将消耗较大的计算资源,主流的特征提取网络通常无法适配,这将产生较高的计算成本;再者,由于光伏产品通常由多个小光伏块组成,而且每个小光伏块表现为相同的模式,因此采用上述均匀切分的方式,基本不会影响训练效果;
作为一种较佳的实施方式,定义本方法的特征提取器为;对应的,/>则表示为第/>张图像/>的第/>个模块层的输出特征图;其中,/>和/>分别为输出特征图的高和宽,/>为深度;对于特征图上的某个位置/>,该位置对应的特征向量即可表示为或/>
作为一种较佳的实施方式,特征提取器中,每个模块层所输出的特征图分辨率是不同的,为了融合多个中间模块层所输出的特征图,需要采用最邻近差值方法将低分辨率的特征图插值到与高分辨率的特征图相同的尺度;之后对多个相同尺度的特征图进行融合,对融合后的深度特征图进行后续的切片处理;
作为一种较佳的实施方式,对融合特征图的切片处理步骤如下:
首先,为了增加感受野的大小以增强对空间偏倚的鲁棒性,设置合适的切片大小尤为重要;设置合适的切片大小/>后,以融合特征图/>上的每个位置/>为中心扩展出一个长宽均为/>的局部特征矩形切片/>,具体原理公式如下:
之后,得到若干个局部特征矩形切片,使用/>将每个局部特征矩形切片上所有位置的特征向量进行融合,具体原理公式如下:
在本实施方式中,可以为任意特征聚合函数,在本方法中采用自适应平均池化操作,具体的:对于融合特征图上每个位置/>所对应的局部特征矩形切片/>,采用自适应平均池化操作将局部特征矩形切片上每个位置/>的特征向量在/>对应的维度上相加后做平均;最后,每个融合特征图的局部特征矩形切片/>被压缩为一个/>维的聚合特征向量;那么最终对于每个融合特征图/>,将其切片特征集合定义为/>;那么,对于所有用于训练的正常光伏图像样本的集合/>,其特征存储库/>可表示为:
得到以上的特征存储库后,还需要进行相应的高斯分布处理,以降低M中存储空间的占用;在实际情况中,如正常样本集合/>较大,则存储库/>所占用的存储空间将增大,这会导致后续切片特征的匹配时间变长,降低了本方法的时效性;故为了在保证M中切片特征总体分布尽可能不变的情况下减少存储库中的切片特征总数量,本方法中采用一个多元高斯分布来拟合M中所有的切片特征,得到一个均值为/>,方差为/>的多元高斯分布/>;之后,从这个多元高斯分布中随机采样一定数量的点,具体为:/>;将采样的点所代表的特征替代M中原有的特征,以减少存储空间的占用;在本实施方式中,采样点的数量可根据实际情况设置,作为一种举例:采样点数量可为M中切片特征数量的1%或10%;以上采样操作具有两面性,其不仅会影响本方法的检测成本,还会影响检测性能,此采样数量通常需要在成本与性能之间进行权衡,采样点数量越多则会达到更高的检测性能,但与此同时也会产生更高的检测成本;
S200、完成特征存储库的构建后,确认需要进行检测的光伏图像(以下简称为“待测图像”),之后使用与步骤S100相同的特征提取器、特征融合策略、特征切片策略按照对应的配合逻辑对待测图像进行处理,得到待测图像的切片特征(以下简称为“待测切片”)。
S300、得到待测切片后,在M中将所有的正常样本切片特征与其分别比对,基于切片特征间的相似度计算,最终筛选与每个待测切片最相似的正常切片特征;每个待测切片与其对应的最相似的正常切片特征构成若干个相似特征对;预设特征相似阈值,根据特征相似阈值以及若干个相似特征对中特征差距最大的一对特征间的相似度,来判断待测图像是否存在缺陷;在上述过程中,会为每个待测切片计算出对应的异常分数,当多个待测切片重组为原始图像时,即可根据每个部分的异常分数对图像中具体的缺陷位置进行粗定位;
作为一种较佳的实施方式,在进行具体判断时,首先在若干个相似特征对中,找到特征差距最大的一对,即两特征间相似度最低的一对(特征差距越大,代表相似度越低,特征差距越小,代表相似度越高);计算该相似度最低的相似特征对间的相似度,定义计算出的相似度为最低相似度;将预先设定的特征相似阈值与前述计算出的最低相似度进行对比;当最低相似度超过该特征相似阈值时,判断待测切片正常;当最低相似度未超过该特征相似阈值时,判断待测切片正常;对于一个待测图像中,只要计算出存在一个异常的待测切片时,判断该待测图像中存在缺陷,对应的产品为携带缺陷的样品;
作为一种较佳的实施方式,本方法中,采用前述特征对的方式,能够对若干待测切片进行高效率的异常分析;能够想到的是,特征对本就由一个待测切片特征和其最相似的正常特征组成,那么当所有特征对中,特征相差最大的特征对间的相似度都大于某个预设的阈值时,所有的特征对间相似度都必然大于该阈值,所有的特征对都是正常的;当所有特征对中,特征相差最大的特征对间的相似度低于某一预设的阈值时,该特征对是携带异常的特征对;
作为一种较佳的实施方式,定义待测图像为;定义待测图像的待测切片合集为/>;定义/>中任意待测切片为/>;定义M中与待测切片最相似的正常切片特征为/>(该特征为正常特征);在本实施方式中,每个/>和其对应的/>构成了相似特征对/>—/>;在若干相似特征对中,筛选两者间特征差距最大的特征对,得到/>—/>;其两者之间的特征差距定义为s;
作为一种较佳的实施方式,对于,其数学表达为:/>
作为一种较佳的实施方式,对于,其数学表达为:
作为一种较佳的实施方式,对于s,其数学表达为:
作为一种较佳的实施方式,如果中,对应/>的特征相似对的s是大于特征相似阈值的,那么/>中其他特征相似对间的特征差距s也均应大于特征相似阈值,那么说明/>中均为正常切片,不携带异常;
作为一种较佳的实施方式,而中,对应/>的特征相似对的s是小于特征相似阈值的,那么该/>相似对中的特征切片/>必为携带异常的切片,此情况下,即使其它/>—/>的相似度也低于特征阈值,这也并不影响原始图像是否存在缺陷的判断,最终判断整个待测图像是存在异常,即携带缺陷的;
作为一种较佳的实施方式,在进行原始图像重构时,根据每个切片的原始空间位置重建出原始图像;以本方法为例,ResNet50卷积神经网络在应用时,本方法会将使用的第二层和第三层特征在长宽上压缩为原图尺寸的1/8和1/16;那么原始特征图上的切片大小相对于原始图像对应位置的图像切片大小也会被压缩为1/8和1/16;在基于切片进行重构时,可根据这些特征图上的异常分数使用双线性插值操作将异常分数插值到原始图像尺度;
作为一种较佳的实施方式,将异常分数s插值后,会使重构的原始图像中每个特征切片的对应位置都被赋予一个异常分数;根据若干异常分数,即可以对待测图像的缺陷部分形成一个粗定位;比如,预先设定一个异常阈值,判断低于此阈值的部分被判定为待测图像中携带缺陷的区域,判断高于此阈值的部分将被判定为待测图像中不携带缺陷的区域。
实施例2
本实施例基于与实施例1中所述的一种基于切片匹配的无监督缺陷检测方法相同的发明构思,提供一种基于切片匹配的无监督缺陷检测系统,如图3所示,包括:切片特征获取模块、待测切片获取模块和切片特征匹配模块;
所述切片特征获取模块,用于配置特征提取器,所述切片特征获取模块采集无缺陷光伏图像,所述切片特征获取模块基于所述特征提取器和所述无缺陷光伏图像创建切片特征存储库;
作为本发明的一种实施方式,所述切片特征获取模块,包括:第一特征提取单元、第一特征融合单元、第一特征切片单元和高斯分布处理单元;
所述第一特征提取单元,用于采用所述特征提取器提取所述无缺陷光伏图像的多层深度特征图;
所述第一特征融合单元,用于将所述多层深度特征图中的若干个中间层深度特征图进行融合,得到融合特征图;
所述第一特征切片单元,用于对所述融合特征图进行切片处理,得到若干切片特征,所述第一特征切片单元整合若干所述切片特征作为初始库;
所述高斯分布处理单元,用于对所述初始库进行基于高斯分布的减负处理,得到所述切片特征存储库。
作为本发明的一种实施方式,所述第一特征切片单元,包括:参数设置子单元、扩展处理子单元和聚合处理子单元;
所述参数设置子单元,用于设置切片大小和若干特征位置;
所述扩展处理子单元,用于以所述融合特征图的若干所述特征位置为中心,分别按照所述切片大小在所述融合特征图上扩展若干矩形切片;
所述聚合处理子单元,用于对每个所述矩形切片分别进行特征向量聚合处理,得到若干聚合切片;所述聚合处理子单元设定若干所述聚合切片分别为若干所述切片特征。
作为本发明的一种实施方式,所述高斯分布处理单元,包括:拟合处理子单元、数量设置子单元和采样处理子单元;
所述拟合处理子单元,用于拟合对于所述初始库中所有所述切片特征的多元高斯分布;
所述数量设置子单元,用于设置采样点数量;
所述采样处理子单元,用于按照所述采样点数量从所述多元高斯分布中采样若干特征点;所述采样处理子单元整合若干所述特征点所分别对应的若干所述切片特征作为所述切片特征存储库。
所述待测切片获取模块,用于确认待检测图像,所述切片特征获取模块基于所述切片特征获取步骤和所述特征提取器获取所述待检测图像的待测切片特征;
作为本发明的一种实施方式,所述待测切片获取模块,包括:第二特征提取单元、第二特征融合单元和第二特征切片单元;
所述第二特征提取单元,用于采用所述特征提取器提取所述待检测图像的多层深度特征图;
所述第二特征融合单元,用于将所述待检测图像的多层深度特征图中的若干个中间层深度特征图进行融合,得到所述待检测图像的融合特征图;
所述第二特征切片单元,用于对所述待检测图像的融合特征图进行切片处理,得到若干所述待测切片特征。
所述切片特征匹配模块,用于设置特征相似阈值,并在所述切片特征存储库中筛选所述待测切片特征的正常相似特征,所述切片特征匹配模块基于所述特征相似阈值以及所述待测切片特征与所述正常相似特征间的特征差距判断所述待测切片特征的异常情况,所述切片特征匹配模块根据所述异常情况判断所述待检测图像的缺陷情况;
作为本发明的一种实施方式,所述切片特征匹配模块,包括:特征筛选单元、异常判断单元、缺陷判断单元和缺陷定位单元;
所述特征筛选单元,用于将所述切片特征存储库中与所述待测切片特征间相似度最高的所述切片特征作为所述正常相似特征;
所述异常判断单元,用于设置特征相似阈值,并将所述待测切片特征与对应的所述正常相似特征间组成相似特征对;所述异常判断单元筛选所述相似特征对中特征差距最大的一对作为待比较特征对;所述异常判断单元计算所述待比较特征对中的待测切片特征与正常相似特征的相似度,定义该相似度为最低相似度;所述异常判断单元比对所述最低相似度与所述特征相似阈值;若所述最低相似度大于所述特征相似阈值,则所述异常判断单元设定所述待测切片特征非异常;若所述最低相似度低于所述特征相似阈值,则所述异常判断单元设定所述待测切片特征异常;
所述缺陷判断单元,用于响应于所述异常情况为存在任一异常的所待测切片特征,判断所述待检测图像存在缺陷;所述缺陷定位单元,用于在基于所述待测切片特征重构所述待检测图像时,基于存在异常的所待测切片特征对所述待检测图像的缺陷进行定位;
所述缺陷判断单元,还用于响应于所述异常情况为所述待检测图像的每个所待测切片特征均非异常,判断所述待检测图像不存在缺陷。
实施例3
本实施例提供一种计算机可读存储介质,包括:
所述存储介质用于储存将上述实施例1所述的基于切片匹配的无监督缺陷检测方法实现所用的计算机软件指令,其包含用于执行上述为所述基于切片匹配的无监督缺陷检测方法所设置的程序;具体的,该可执行程序可以内置在实施例2所述的基于切片匹配的无监督缺陷检测系统中,这样,基于切片匹配的无监督缺陷检测系统就可以通过执行内置的可执行程序实现所述实施例1所述的基于切片匹配的无监督缺陷检测方法。
此外,本实施例具有的计算机可读存储介质可以采用一个或多个可读存储介质的任意组合,其中,可读存储介质包括电、光、电磁、红外线或半导体的系统、装置或器件,或者以上任意组合。
实施例4
本实施例提供一种电子设备,如图4所示,电子设备可以包括:处理器1501、通信接口1502、存储器1503和通信总线1504,其中,处理器1501,通信接口1502,存储器1503通过通信总线1504完成相互间的通信。
存储器1503,用于存放计算机程序;
处理器1501,用于执行存储器1503上所存放的计算机程序时,实现上述实施例1中所述基于切片匹配的无监督缺陷检测方法的步骤。
作为本发明的一种实施方式,上述终端提到的通信总线可以是外设部件互连标准(Peripheral Component Interconnect,简称PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图4中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
作为本发明的一种实施方式,通信接口用于上述终端与其他设备之间的通信。
作为本发明的一种实施方式,存储器可以包括随机存取存储器(Random AccessMemory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
作为本发明的一种实施方式,上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
区别于现有技术,采用本申请一种基于切片匹配的无监督缺陷检测方法、系统及介质,可以在仅有正常光伏图像样本的情况下对缺陷光伏样本的缺陷进行精准检测以及定位,解决工业检测中的标注困难及缺陷样本数量较少的问题,相对平衡了成本与性能之间的矛盾,实现了一定的降本增效,采用无监督学习的方法在保证检测性能的情况下,降低了使用成本,提升了鲁棒性和适用性,具有较高的应用价值。
应理解,在本文的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本文实施例的实施过程构成任何限定。
还应理解,在本文实施例中,术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系。例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本文的范围。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本文所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本文实施例方案的目的。
另外,在本文各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本文的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本文各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于切片匹配的无监督缺陷检测方法,其特征在于,包括以下步骤:
切片特征获取步骤:
配置特征提取器,采集无缺陷光伏图像,基于所述特征提取器和所述无缺陷光伏图像创建切片特征存储库;
待测切片获取步骤:
确认待检测图像,基于所述切片特征获取步骤和所述特征提取器获取所述待检测图像的待测切片特征;
切片特征匹配步骤:
设置特征相似阈值,在所述切片特征存储库中筛选所述待测切片特征的正常相似特征,基于所述特征相似阈值以及所述待测切片特征与所述正常相似特征间的特征差距判断所述待测切片特征的异常情况,根据所述异常情况判断所述待检测图像的缺陷情况。
2.根据权利要求1所述的一种基于切片匹配的无监督缺陷检测方法,其特征在于:
所述基于所述特征提取器和所述无缺陷光伏图像创建切片特征存储库,包括:
采用所述特征提取器提取所述无缺陷光伏图像的多层深度特征图;
将所述多层深度特征图中的若干个中间层深度特征图进行融合,得到融合特征图;
对所述融合特征图进行切片处理,得到若干切片特征,整合若干所述切片特征作为初始库;
对所述初始库进行基于高斯分布的减负处理,得到所述切片特征存储库。
3.根据权利要求2所述的一种基于切片匹配的无监督缺陷检测方法,其特征在于:
所述切片处理,包括:
设置切片大小和若干特征位置;
以所述融合特征图的若干所述特征位置为中心,分别按照所述切片大小在所述融合特征图上扩展若干矩形切片;
对每个所述矩形切片分别进行特征向量聚合处理,得到若干聚合切片;
设定若干所述聚合切片分别为若干所述切片特征。
4.根据权利要求3所述的一种基于切片匹配的无监督缺陷检测方法,其特征在于:
所述基于高斯分布的减负处理,包括:
拟合对于所述初始库中所有所述切片特征的多元高斯分布;
设置采样点数量;按照所述采样点数量从所述多元高斯分布中采样若干特征点;
整合若干所述特征点所分别对应的若干所述切片特征作为所述切片特征存储库。
5.根据权利要求2所述的一种基于切片匹配的无监督缺陷检测方法,其特征在于:
所述基于所述切片特征获取步骤和所述特征提取器获取所述待检测图像的待测切片特征,包括:
采用所述特征提取器提取所述待检测图像的多层深度特征图;
将所述待检测图像的多层深度特征图中的若干个中间层深度特征图进行融合,得到所述待检测图像的融合特征图;
对所述待检测图像的融合特征图进行切片处理,得到若干所述待测切片特征。
6.根据权利要求2所述的一种基于切片匹配的无监督缺陷检测方法,其特征在于:
所述在所述切片特征存储库中筛选所述待测切片特征的正常相似特征,包括:
将所述切片特征存储库中与所述待测切片特征间相似度最高的所述切片特征作为所述正常相似特征。
7.根据权利要求2所述的一种基于切片匹配的无监督缺陷检测方法,其特征在于:
所述基于所述特征相似阈值以及所述待测切片特征与所述正常相似特征间的特征差距判断所述待测切片特征的异常情况,包括:
将所述待测切片特征与对应的所述正常相似特征间组成相似特征对;
筛选所述相似特征对中特征差距最大的一对作为待比较特征对;
计算所述待比较特征对中的待测切片特征与正常相似特征的相似度,定义该相似度为最低相似度;
比对所述最低相似度与所述特征相似阈值;
若所述最低相似度大于所述特征相似阈值,则设定所述待测切片特征非异常;若所述最低相似度低于所述特征相似阈值,则设定所述待测切片特征异常。
8.根据权利要求2所述的一种基于切片匹配的无监督缺陷检测方法,其特征在于:
所述根据所述异常情况判断所述待检测图像的缺陷情况,包括:
响应于所述异常情况为存在任一异常的所待测切片特征,判断所述待检测图像存在缺陷;在基于所述待测切片特征重构所述待检测图像时,基于存在异常的所待测切片特征对所述待检测图像的缺陷进行定位;
响应于所述异常情况为所述待检测图像的每个所待测切片特征均非异常,判断所述待检测图像不存在缺陷。
9.一种基于切片匹配的无监督缺陷检测系统,其特征在于,包括:切片特征获取模块、待测切片获取模块和切片特征匹配模块;
所述切片特征获取模块,用于配置特征提取器,所述切片特征获取模块采集无缺陷光伏图像,所述切片特征获取模块基于所述特征提取器和所述无缺陷光伏图像创建切片特征存储库;
所述待测切片获取模块,用于确认待检测图像,所述切片特征获取模块基于所述切片特征获取步骤和所述特征提取器获取所述待检测图像的待测切片特征;
所述切片特征匹配模块,用于设置特征相似阈值,并在所述切片特征存储库中筛选所述待测切片特征的正常相似特征,所述切片特征匹配模块基于所述特征相似阈值以及所述待测切片特征与所述正常相似特征间的特征差距判断所述待测切片特征的异常情况,所述切片特征匹配模块根据所述异常情况判断所述待检测图像的缺陷情况。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1~7中任一项所述基于切片匹配的无监督缺陷检测方法的步骤。
CN202311222299.0A 2023-09-21 2023-09-21 一种基于切片匹配的无监督缺陷检测方法、系统及介质 Active CN116958153B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311222299.0A CN116958153B (zh) 2023-09-21 2023-09-21 一种基于切片匹配的无监督缺陷检测方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311222299.0A CN116958153B (zh) 2023-09-21 2023-09-21 一种基于切片匹配的无监督缺陷检测方法、系统及介质

Publications (2)

Publication Number Publication Date
CN116958153A true CN116958153A (zh) 2023-10-27
CN116958153B CN116958153B (zh) 2023-11-28

Family

ID=88449722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311222299.0A Active CN116958153B (zh) 2023-09-21 2023-09-21 一种基于切片匹配的无监督缺陷检测方法、系统及介质

Country Status (1)

Country Link
CN (1) CN116958153B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862838A (zh) * 2022-06-02 2022-08-05 深圳市华汉伟业科技有限公司 基于无监督学习的缺陷检测方法及设备
CN115423787A (zh) * 2022-09-16 2022-12-02 广东峰华卓立科技股份有限公司 一种3d打印分层图片的缺陷检测方法及系统
CN115619787A (zh) * 2022-12-19 2023-01-17 苏州赫芯科技有限公司 一种uv胶缺陷检测方法、系统、设备及介质
CN115861190A (zh) * 2022-11-16 2023-03-28 浙江省白马湖实验室有限公司 一种基于对比学习的光伏组件无监督缺陷检测方法
CN115937175A (zh) * 2022-12-26 2023-04-07 成都数之联科技股份有限公司 一种电路板表面缺陷检测方法、系统、设备及存储介质
CN116385380A (zh) * 2023-03-21 2023-07-04 成都数之联科技股份有限公司 基于深度特征的缺陷检测方法、系统、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862838A (zh) * 2022-06-02 2022-08-05 深圳市华汉伟业科技有限公司 基于无监督学习的缺陷检测方法及设备
CN115423787A (zh) * 2022-09-16 2022-12-02 广东峰华卓立科技股份有限公司 一种3d打印分层图片的缺陷检测方法及系统
CN115861190A (zh) * 2022-11-16 2023-03-28 浙江省白马湖实验室有限公司 一种基于对比学习的光伏组件无监督缺陷检测方法
CN115619787A (zh) * 2022-12-19 2023-01-17 苏州赫芯科技有限公司 一种uv胶缺陷检测方法、系统、设备及介质
CN115937175A (zh) * 2022-12-26 2023-04-07 成都数之联科技股份有限公司 一种电路板表面缺陷检测方法、系统、设备及存储介质
CN116385380A (zh) * 2023-03-21 2023-07-04 成都数之联科技股份有限公司 基于深度特征的缺陷检测方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN116958153B (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
CN113269237B (zh) 基于注意力机制的装配体变化检测方法、设备和介质
CN111383209B (zh) 一种基于全卷积自编码器网络的无监督瑕疵检测方法
CN113554649B (zh) 一种缺陷检测方法、装置、计算机设备及存储介质
CN111652818B (zh) 一种基于金字塔的图像滤波方法、装置及存储介质
CN106327426A (zh) 图像去重方法及系统
CN109030499B (zh) 一种适用于目标缺陷连续在线检测防止缺陷数目重复计数的装置及方法
CN117576100B (zh) 一种fpc连接器表面缺陷分级检测评价方法
CN116152261B (zh) 一种印刷制品质量的视觉检测系统
CN113469951A (zh) 一种基于级联区域卷积神经网络的轮毂缺陷检测方法
CN115065708A (zh) 基于机器视觉检测的工业物联网及控制方法
Wen et al. Hybrid BM3D and PDE filtering for non-parametric single image denoising
CN112766123A (zh) 一种基于纵横交叉注意力网络的人群计数方法及系统
CN115060725A (zh) 一种双圆盘外观检测方法及装置
CN116958153B (zh) 一种基于切片匹配的无监督缺陷检测方法、系统及介质
CN117406027A (zh) 一种配电网故障测距方法及其系统
CN115953427A (zh) 一种小样本训练的动态目标实时跟踪方法及装置
CN115619796A (zh) 获取光伏组件模板的方法及装置、非易失性存储介质
CN109949245B (zh) 十字激光检测定位方法、装置、存储介质及计算机设备
CN110111286B (zh) 图像优化方式的确定方法和装置
CN109753979B (zh) 基于图像特征的故障检测方法及装置
CN111047550A (zh) 一种基于机器视觉的产品异常检测方法、装置及设备
CN117541832B (zh) 异常检测方法、系统、电子设备及存储介质
CN117115172B (zh) 一种基于机器视觉的阿胶品质检测方法及系统
CN113222864B (zh) 基于限幅滤波的图像边缘去噪方法及装置、设备
CN116295855B (zh) 基于无线通信网络的故障定位及诊断系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant