CN115564724A - 基于多类别分解编辑的纹理表面缺陷检测模型的构建方法 - Google Patents
基于多类别分解编辑的纹理表面缺陷检测模型的构建方法 Download PDFInfo
- Publication number
- CN115564724A CN115564724A CN202211193529.0A CN202211193529A CN115564724A CN 115564724 A CN115564724 A CN 115564724A CN 202211193529 A CN202211193529 A CN 202211193529A CN 115564724 A CN115564724 A CN 115564724A
- Authority
- CN
- China
- Prior art keywords
- image
- editing
- feature
- defect
- defect detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明属于图像处理领域,并公开了一种基于多类别分解编辑的纹理表面缺陷检测模型的构建方法。首先,通过随机组合生成基础变换图像与随机高斯掩膜图像,融合得到混合缺陷图像;其次,将混合缺陷图像的特征分解到不同基础变换上,得到的各个基础异常分数图通过融合获得融合异常分数图,从而定位缺陷特征;最后,通过加权抑制缺陷部分特征成为空洞区域,再利用其邻域信息对空洞进行编辑补全得到编辑特征,从而实现抑制缺陷并重构图像背景,以此提升缺陷检测精度。检测时,将输入图像与重构纹理背景图像间的残差图与融合异常分数图进行融合,即可检出缺陷。如此,本发明在无缺陷样本情况下,对不同纹理表面上的各类缺陷有较高的检测精度。
Description
技术领域
本发明属于图像处理领域,更具体地,涉及一种基于多类别分解编辑的纹理表面缺陷检测模型的构建方法。
背景技术
工业场景中,由于材料种类多样、制造过程复杂繁琐,各种类型的纹理缺陷在许多工业产品中普遍存在,例如纺织物、皮革、纳米材料和新型显示器件(TFT-LCD、OLED)等。此类缺陷被定义为局部亮度不均或纹理结构损坏,对用户体验与产品质量有重大影响,为了提高生产质量,纹理缺陷的检测已成为工业制造过程中不可或缺的一部分。
纹理表面缺陷检测方法中,相较于耗时耗力的传统人工观察检测方法,具有非接触、高速、精度高等优点的自动光学检测(AOI)被广泛用于纹理表面缺陷检测中。在自动光学检测系统的各个步骤中,缺陷检测算法为系统的关键与核心,直接决定了检测系统的性能。由于纹理背景复杂非规则、缺陷形状大小多变等特性,同时工业场景下缺陷样本通常十分稀少且难以收集标注,给缺陷检测算法带来了极大的挑战。
近年来,随着深度学习在机器视觉领域的快速发展,越来越多的基于深度学习的纹理缺陷检测方法被应用于工业场景。根据训练数据是否包含标注的缺陷样本,这些方法可以分为监督和无监督方法。监督方法的检测效果往往受限于训练的缺陷样本,难以适用于工业场景;无监督方法不需要缺陷样本训练,成为主要采用的方法。由于无监督方法中没有对缺陷信息进行描述,实际使用的效果难以提升,目前主要通过人工制作缺陷的方式补充缺陷信息,但人工缺陷与实际缺陷间往往存在一定的差异,导致检测效果往往欠佳。因此,如何克服制作缺陷与真实缺陷间的差异,并提出一种基于无监督学习的纹理表面缺陷检测算法是提升检测精度与工业产品质量的关键。
发明内容
针对现有技术的不足或改进需求,本发明提供了一种基于多类别分解编辑的纹理表面缺陷检测模型的构建方法,其目的在于通过制作多种基础类型的混合缺陷用于训练,并对混合缺陷进行基础类型分解,使模型学习到纹理缺陷通用的分解表达方式而不拘泥于制作的缺陷,从而克服制作缺陷与真实缺陷间的差异,可有效提升缺陷检测精度。
为实现上述目的,第一方面,本发明提供了一种基于多类别分解编辑的纹理表面缺陷检测模型的构建方法,包括:
搭建纹理表面缺陷检测模型;其中,所述纹理表面缺陷检测模型包括:
随机组合生成模块,用于生成不同形状大小的高斯缺陷掩膜Imask;从训练集中随机选取一张正常图像作为参考图像If;构造随机编码c,c中每个元素表示一种图像变换种类的权重,利用所述每个元素生成对应的图像变换参数,作为图像变换函数的参数;利用所述图像变换函数对所述参考图像If进行变换操作,得到变换图像It;由Imask控制区域,将It和正常图像In融合得到缺陷图像Ia;
多类别特征库模块,用于提取缺陷图像Ia的特征Za;构建K个缺陷特征库Lk,k=1,...,K,K为图像变化种类的个数,每一个缺陷特征库中均包含M个长度与特征Za通道数Cl相同的特征向量条目且各缺陷特征库中的所有特征向量条目与其他库中所有特征向量条目正交;计算特征Za中每个特征向量za与第k个特征库中的每个特征条目lk,m的相似度,取最大相似度记为dk;基于K个特征库对应的最大相似度,得到异常分数d=[d1,...,dK];由特征Za中所有特征向量组合得到异常分数图Wl和Hl为特征Za的宽度和高度;将k维异常分数图进行融合,得到融合异常分数图
进一步地,所述利用所述每个元素生成对应的图像变换参数,包括:所述图像变换参数包括基础值和变化程度,所述变化程度由随机编码c中对应元素表示的图像变换种类的权重控制。
进一步地,所述提取缺陷图像Ia的特征Za,包括:
通过编码器提取缺陷图像Ia的特征Za;所述编码器包括3个卷积层和2个残差块;每个卷积层的卷积核均为3x3,步长分别为1、2、2,每层的滤波核数量分别为16、32、64;每个残差块包含两个卷积核为3x3、步长为1、滤波核数量为64的卷积层,残差块前后通过残差跳层连接。
进一步地,所述计算特征Za中每个特征向量za与第k个特征库中的每个特征条目lk,m的相似度,包括:
特征Za中每个特征向量za与第k个特征库中的每个特征条目lk,m之间的距离dk,m由以下余弦相似度度量:
其中,lk,m T表示lk,m的转置,||·||2表示L2范数。
进一步地,所述采用多尺度特征编辑方法对Zw进行编辑补全使其成为正常特征Ze,包括:
采用多个不同核大小的卷积层对Zw进行补全,得到正常编辑特征Ze:
Ze=fc(Zw;θc)
通过解码器对Ze进行解码,得到重构图像所述解码器包括2个残差块和3个转置卷积层;每个残差块包含两个卷积核为3x3、步长为1、滤波核数量为64的卷积层,残差块前后通过残差跳层连接;每个转置卷积层的卷积核均为3x3,步长分别为2、2、1,每层的滤波核数量分别为32、16、1。
第二方面,本发明提供了一种基于多类别分解编辑的纹理表面缺陷检测方法,包括:
将待检测图像Id输入到第一方面所述的基于多类别分解编辑的纹理表面缺陷检测模型的构建方法所构建的纹理表面缺陷检测模型中,得到异常分数图Sd以及重构图像将异常分数图Sd进行上采样得到Is,再将待检测图像Id和重构图像的残差图像与Is进行融合得到检测结果Ir。
进一步地,所述检测结果Ir为:
其中,0≤λf≤1为残差图像的权重参数,|·|表示绝对值操作。
第三方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如第一方面所述的基于多类别分解编辑的纹理表面缺陷检测模型的构建方法和/或,如第二方面所述的基于多类别分解编辑的纹理表面缺陷检测方法。
总体而言,通过本发明所构思的以上算法与现有算法相比,能够取得下列有益效果:
1、本发明通过采用随机组合生成模块来生成基础变换图像与随机高斯掩膜图像,融合得到混合缺陷图像,通过不同类别的组合模拟复杂缺陷,提高算法对各类缺陷的适用性;
2、本发明通过采用多类别特征库模块将混合缺陷分解到基础图像变换上,使模型学习如何将缺陷中的各个分量分解并得到一种通用的分解表达,从而削弱克服制作缺陷与真实缺陷间的差异,提高对真实缺陷的检测精度;
3、本发明通过采用多尺度卷积编辑模块对分解过程确定的异常缺陷进行抑制,并利用不同大小的背景邻域特征对抑制特征进行编辑替换,实现对异常特征的抑制,防止重构图像中缺陷的重构,从而提升背景重构精度,提升缺陷的检出率。
附图说明
图1是按照本发明实现算法的网络框架示意图;
图2是按照本发明实现的纹理缺陷检测效果示意图;其中,第一行和第三行为待检测图像,第二行和第四行为对应的检测结果;
图3是按照本发明实现的喷墨打印缺陷检测效果示意图;其中,第一行为待检测图像,第二行为对应的检测结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1
如图1所示,本发明提出了一种基于多类别分解编辑的纹理表面缺陷检测模型的构建方法,该纹理表面缺陷检测模型包括随机组合生成模块、多类别特征库模块及多尺度卷积编辑模块。以下对各模块进行详细说明。
(1)随机组合生成模块
随机组合生成模块基于真实缺陷可由纹理背景经过基础图像变换得到的假设,通过多种基本图像变换的混合,合成人工缺陷图像Ia(Ia∈RW×H×1,W和H分别表示输入图像的宽和高),为模型训练提供缺陷图像。其生成流程包括两个主要部分:随机生成缺陷掩膜和缺陷内容生成融合。
(1-1)随机生成缺陷掩膜
所述随机生成缺陷掩膜过程用于生成不同形状大小的高斯缺陷掩膜,对二维高斯函数的各项参数进行随机采样:
其中,Mi∈RW×H,x=1,...,W,y=1,...,H为坐标,Ai、θi、 为各个高斯函数的参数,分别为幅值、角度、横向方差、纵向方差、中心横、纵坐标,i=1,...,Na,Na表示高斯函数数量,即为单张图像中缺陷区域个数。在本发明中,W=H=256,其他参数设置为在以下范围内随机选取:0.3≤Ai≤1,-90°≤θi≤90°, 1≤Na≤3。生成随机形状大小的高斯权重图Mi(x,y)后,对各Mi(x,y)进行阈值截断,得到高斯缺陷区域
其中,Imask∈RW×H×1,由一个或多个高斯缺陷区域综合得到,因此Imask能够模拟不限于单个高斯的不同形状。
需要说明的是,生成不同形状大小的高斯缺陷掩膜Imask有多种实现方式,并不局限于以上介绍的具体实现方式。
(1-2)缺陷内容生成融合
所述缺陷内容生成融合过程用于进行多种基础图像变换组合生成缺陷内容,从训练集中随机选取一张无缺陷图像作为参考图像If,然后对If进行多种基础图像变换组合,例如,包括亮、暗、放大、缩小及旋转共5种,随机编码c与此对应,包含5个元素:c=[c1,...,c5],每个元素控制对应基础图像变换,对于不同图像背景模式,采用的基础图像变换类型和数量可对应调整,不局限与所述5种变换。在本发明中,ci在[0,1]中随机选取。
确定随机编码c之后,If将依次进行不同程度的各个基础图像变换,从而生成缺陷内容。以上述5种图像变换方式为例,变换过程受灰度因子λg、大小因子λs与旋转因子λr控制,分别由以下公式计算:
其中,各个α,β和ε均为基础图像变换的参数:α表示变换的最小程度,即基础值;β表示变换程度的区间,ciβ表示变化程度;ε表示防止模式单一固化的随机扰动值;上标b、d、e、n、r分别表示亮、暗、放大、缩小及旋转。在本发明中分别设置为:αb=αe=1.1,αd=αn=0.9,αr=10°;βb=βd=βe=βn=0.5,βr=50°;0≤εb,εd,εe,εn≤0.1,0≤εr≤10°。通过对参考图像If进行灰度、大小和旋转的组合图像变换,得到变换图像It:
It=T(If;λg,λs,λr)
其中,If,It∈RW×H×1,T(·)表示组合图像变换函数。最后,由Imask控制区域,将It和正常无缺陷图像In融合得到缺陷图像Ia:
Ia(x,y)=It(x,y)·Imask(x,y)+In(x,y)·(1-Imask(x,y))
其中,Ia∈RW×H×1为与In对应的缺陷图像,用于网络训练阶段。
(2)多类别特征库模块
所述多类别特征库模块基于实际缺陷能够被分解到若干种基础图像变换上的假设,将生成的混合缺陷图像Ia进行基础图像变换分解,进而输出融合异常分数图Sa,对Ia中缺陷位置进行分割。在分解处理之前,通过编码器将Ia编码为隐空间特征Za:
Za=fe(Ia;θe)
Ia编码为隐空间特征Za后,通过所述多类别特征库模块包含的K个缺陷特征库Lk,k=1,...,K进行分解。其中,每一个特征库分别对应于所使用的基础图像变换种类,均为大小相同的矩阵,即M为每一个特征库的容量,在本发明中设置为50。因此,每个特征库中均包含M个长度与隐空间特征通道数相同的特征向量条目
对于Za中的每一个特征向量za,其与各个特征库中的每个特征条目lk,m之间的距离dk,m由以下余弦相似度度量:
其中,||·||2表示欧几里得范数,即L2范数。对于单个特征库Lk,za与该库内的所有特征条目之间余弦相似度的最大值作为za与该库的相似度dk:
由于特征库对应各个基础图像变换,因此特征向量za被分解到了各个基础图像变换上,d=[d1,...,dK]对应各个基础变换的异常分数。将隐空间特征Za中的所有特征向量进行以上处理计算,得到基础变换异常分数图其中对应于每个基础图像变换。表示全部的分数图,同时也是Za在各基础图像变换上的分解结果。
为保证Za正确地分解到各个图像变换上,隐空间中的各个基础图像变换之间需存在明显的差异,各特征库之间的余弦相似度需要接近于-1。在本专利中,Lk与Za均被归一化到[0,1]内。因此约束各Lk间的余弦相似度接近于0,本发明采用一种正交损失强制各缺陷特征库中的所有特征条目与其他库中所有条目正交:
其中,C表示组合数,P∈R1×M为一个元素均为1的辅助行向量。
通过约束缺陷特征库正交,各分数图能够独立计算,保证Za分解结果能够表示在各独立正交维度上的分数。为将表示的各独立正交维度与混合缺陷图像Ia的各个组成成分对应,本发明采用一种L2损失作为分解损失约束分解的正确性:
Sa=fl(Za;θl)
其中,fl(·)和θl分别表示所述多类别特征库模块的函数及参数。
(3)多尺度卷积编辑模块
所述多尺度卷积编辑模块将隐空间中的异常缺陷特征编辑成正常纹理特征,对输入图像中的异常信息进行抑制,防止缺陷的重构,从而提升背景重构的准确度。
首先利用Sa定位Za中的缺陷特征,将Za和反相的Sa进行逐像素相乘,得到加权特征Zw:
Zw(xl,yl,zl)=Za(xl,yl,zl)(1-Sa(xl,yl))
其中,由Sa定位的缺陷区域特征被削弱至接近0,在加权特征Zw中形成一些空洞,之后采用特征编辑方法对Zw进行编辑补全使其成为正常特征。具体为采用数量为Nc的多个不同核大小的卷积层进行补全,得到正常编辑特征Ze:
Ze=fc(Zw;θc)
所述基于多类别分解编辑的纹理表面缺陷检测算法的网络模型通过一种重构流程进行训练:
其中,λ1,λ2,λ3为权重,分别设置为1000,1,10。
实施例2
模型优化完成后,即可用于纹理缺陷检测。此时输入一张真实缺陷图像Id∈RW×H,Id将通过模型重构成无缺陷背景图像同时所述多类别特征库模块输出融合异常分数图Sd。然后将Sd进行上采样到图像大小,得到Is∈RW×H,将输入缺陷图像Id和重构图像的残差图与Is进行融合得到检测结果Ir:
其中,Ir∈RW×H,0≤λf≤1为残差图像的权重参数,并在本专利中设置为0.7,|·|表示绝对值操作。然后对融合检测结果Ir进行后处理,主要包含中值滤波、阈值分割和形态学闭操作,从而转化为二值图像,即为输入缺陷图像Id最终的检测结果。纹理缺陷检测效果和喷墨打印缺陷检测效果如图2和图3所示。
实施例3
一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如实施例1所述的基于多类别分解编辑的纹理表面缺陷检测模型的构建方法和/或,如实施例2所述的基于多类别分解编辑的纹理表面缺陷检测方法。
相关技术手段同实施例1和实施例2,这里不做赘述。
综上所述,本发明所提出的基于多类别分解编辑的纹理表面缺陷检测算法,采用随机组合生成模块,通过基础图像变换的随机组合来制作混合缺陷,在训练阶段加入缺陷信息;采用多类别特征库模块,将组合缺陷信息分解到基础缺陷类别并判断异常,使模型学习到通用的分解表达方式,以此削弱制作缺陷与真实缺陷间的差异,并输出异常分数图的缺陷分割结果,提升缺陷检出率;通过多尺度卷积编辑模块,将异常特征通过卷积操作转换为正常背景特征,抑制缺陷重构而提高背景重构效果,从而进一步提升缺陷检测精度。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于多类别分解编辑的纹理表面缺陷检测模型的构建方法,其特征在于,包括:
搭建纹理表面缺陷检测模型;其中,所述纹理表面缺陷检测模型包括:
随机组合生成模块,用于生成不同形状大小的高斯缺陷掩膜Imask;从训练集中随机选取一张正常图像作为参考图像If;构造随机编码c,c中每个元素表示一种图像变换种类的权重,利用所述每个元素生成对应的图像变换参数,作为图像变换函数的参数;利用所述图像变换函数对所述参考图像If进行变换操作,得到变换图像It;由Imask控制区域,将It和正常图像In融合得到缺陷图像Ia;
多类别特征库模块,用于提取缺陷图像Ia的特征Za;构建K个缺陷特征库Lk,k=1,...,K,K为图像变化种类的个数,每一个缺陷特征库中均包含M个长度与特征Za通道数Cl相同的特征向量条目且各缺陷特征库中的所有特征向量条目与其他库中所有特征向量条目正交;计算特征Za中每个特征向量za与第k个特征库中的每个特征条目lk,m的相似度,取最大相似度记为dk;基于K个特征库对应的最大相似度,得到异常分数d=[d1,...,dK];由特征Za中所有特征向量组合得到异常分数图Wl和Hl为特征Za的宽度和高度;将k维异常分数图进行融合,得到融合异常分数图
2.根据权利要求1所述的基于多类别分解编辑的纹理表面缺陷检测模型的构建方法,其特征在于,所述利用所述每个元素生成对应的图像变换参数,包括:所述图像变换参数包括基础值和变化程度,所述变化程度由随机编码c中对应元素表示的图像变换种类的权重控制。
3.根据权利要求1所述的基于多类别分解编辑的纹理表面缺陷检测模型的构建方法,其特征在于,所述提取缺陷图像Ia的特征Za,包括:
通过编码器提取缺陷图像Ia的特征Za;所述编码器包括3个卷积层和2个残差块;每个卷积层的卷积核均为3x3,步长分别为1、2、2,每层的滤波核数量分别为16、32、64;每个残差块包含两个卷积核为3x3、步长为1、滤波核数量为64的卷积层,残差块前后通过残差跳层连接。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如权利要求1至6任一项所述的基于多类别分解编辑的纹理表面缺陷检测模型的构建方法和/或,如权利要求7或8所述的基于多类别分解编辑的纹理表面缺陷检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211193529.0A CN115564724A (zh) | 2022-09-28 | 2022-09-28 | 基于多类别分解编辑的纹理表面缺陷检测模型的构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211193529.0A CN115564724A (zh) | 2022-09-28 | 2022-09-28 | 基于多类别分解编辑的纹理表面缺陷检测模型的构建方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115564724A true CN115564724A (zh) | 2023-01-03 |
Family
ID=84743320
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211193529.0A Pending CN115564724A (zh) | 2022-09-28 | 2022-09-28 | 基于多类别分解编辑的纹理表面缺陷检测模型的构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115564724A (zh) |
-
2022
- 2022-09-28 CN CN202211193529.0A patent/CN115564724A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20050093875A1 (en) | Synthesis of progressively-variant textures and application to arbitrary surfaces | |
CN112329588B (zh) | 一种基于Faster R-CNN的管道故障检测方法 | |
CN111340122A (zh) | 一种多模态特征融合的文本引导图像修复方法 | |
CN112070727B (zh) | 一种基于机器学习的金属表面缺陷检测方法 | |
CN112233129B (zh) | 基于深度学习的并行多尺度注意力机制语义分割方法及装置 | |
CN116645369B (zh) | 基于孪生自编码器和双向信息深度监督的异常检测方法 | |
Rios et al. | Feature visualization for 3D point cloud autoencoders | |
CN112801914A (zh) | 一种基于纹理结构感知的二段式图像修复方法 | |
CN112884669A (zh) | 基于多尺度内容注意力机制的图像修复方法、存储介质和终端 | |
Xu et al. | Generative image completion with image-to-image translation | |
Hu et al. | Controlling material appearance by examples | |
CN114820541A (zh) | 基于重构网络的缺陷检测方法 | |
Shit et al. | An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection | |
Gaber et al. | The Role of Artificial Intelligence and Machine Learning in preserving Cultural Heritage and Art Works via Virtual Restoration | |
CN112733861A (zh) | 基于u型残差网络的文本擦除和抠字方法 | |
CN112802048A (zh) | 具有不对称结构的图层生成对抗网络生成方法及装置 | |
CN114972611B (zh) | 一种基于引导匹配损失的深度纹理合成方法及相关设备 | |
Huang et al. | Learning to restore ssTEM images from deformation and corruption | |
CN115564724A (zh) | 基于多类别分解编辑的纹理表面缺陷检测模型的构建方法 | |
CN116228623A (zh) | 一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法、设备和储存介质 | |
CN114862803A (zh) | 一种基于快速傅里叶卷积的工业图像异常检测方法 | |
CN111429436A (zh) | 一种基于多尺度注意力和标签损失的本质图像分析方法 | |
CN113034420A (zh) | 一种频率空间域特征的工业产品表面缺陷分割方法及系统 | |
CN113033656B (zh) | 一种基于生成对抗网络的交互式孔探数据扩展方法 | |
Cho et al. | Synthesizing industrial defect images under data imbalance |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |