CN115564724A - 基于多类别分解编辑的纹理表面缺陷检测模型的构建方法 - Google Patents

基于多类别分解编辑的纹理表面缺陷检测模型的构建方法 Download PDF

Info

Publication number
CN115564724A
CN115564724A CN202211193529.0A CN202211193529A CN115564724A CN 115564724 A CN115564724 A CN 115564724A CN 202211193529 A CN202211193529 A CN 202211193529A CN 115564724 A CN115564724 A CN 115564724A
Authority
CN
China
Prior art keywords
image
editing
feature
defect
defect detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211193529.0A
Other languages
English (en)
Inventor
尹周平
杨华
李俊逸
侯岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202211193529.0A priority Critical patent/CN115564724A/zh
Publication of CN115564724A publication Critical patent/CN115564724A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明属于图像处理领域,并公开了一种基于多类别分解编辑的纹理表面缺陷检测模型的构建方法。首先,通过随机组合生成基础变换图像与随机高斯掩膜图像,融合得到混合缺陷图像;其次,将混合缺陷图像的特征分解到不同基础变换上,得到的各个基础异常分数图通过融合获得融合异常分数图,从而定位缺陷特征;最后,通过加权抑制缺陷部分特征成为空洞区域,再利用其邻域信息对空洞进行编辑补全得到编辑特征,从而实现抑制缺陷并重构图像背景,以此提升缺陷检测精度。检测时,将输入图像与重构纹理背景图像间的残差图与融合异常分数图进行融合,即可检出缺陷。如此,本发明在无缺陷样本情况下,对不同纹理表面上的各类缺陷有较高的检测精度。

Description

基于多类别分解编辑的纹理表面缺陷检测模型的构建方法
技术领域
本发明属于图像处理领域,更具体地,涉及一种基于多类别分解编辑的纹理表面缺陷检测模型的构建方法。
背景技术
工业场景中,由于材料种类多样、制造过程复杂繁琐,各种类型的纹理缺陷在许多工业产品中普遍存在,例如纺织物、皮革、纳米材料和新型显示器件(TFT-LCD、OLED)等。此类缺陷被定义为局部亮度不均或纹理结构损坏,对用户体验与产品质量有重大影响,为了提高生产质量,纹理缺陷的检测已成为工业制造过程中不可或缺的一部分。
纹理表面缺陷检测方法中,相较于耗时耗力的传统人工观察检测方法,具有非接触、高速、精度高等优点的自动光学检测(AOI)被广泛用于纹理表面缺陷检测中。在自动光学检测系统的各个步骤中,缺陷检测算法为系统的关键与核心,直接决定了检测系统的性能。由于纹理背景复杂非规则、缺陷形状大小多变等特性,同时工业场景下缺陷样本通常十分稀少且难以收集标注,给缺陷检测算法带来了极大的挑战。
近年来,随着深度学习在机器视觉领域的快速发展,越来越多的基于深度学习的纹理缺陷检测方法被应用于工业场景。根据训练数据是否包含标注的缺陷样本,这些方法可以分为监督和无监督方法。监督方法的检测效果往往受限于训练的缺陷样本,难以适用于工业场景;无监督方法不需要缺陷样本训练,成为主要采用的方法。由于无监督方法中没有对缺陷信息进行描述,实际使用的效果难以提升,目前主要通过人工制作缺陷的方式补充缺陷信息,但人工缺陷与实际缺陷间往往存在一定的差异,导致检测效果往往欠佳。因此,如何克服制作缺陷与真实缺陷间的差异,并提出一种基于无监督学习的纹理表面缺陷检测算法是提升检测精度与工业产品质量的关键。
发明内容
针对现有技术的不足或改进需求,本发明提供了一种基于多类别分解编辑的纹理表面缺陷检测模型的构建方法,其目的在于通过制作多种基础类型的混合缺陷用于训练,并对混合缺陷进行基础类型分解,使模型学习到纹理缺陷通用的分解表达方式而不拘泥于制作的缺陷,从而克服制作缺陷与真实缺陷间的差异,可有效提升缺陷检测精度。
为实现上述目的,第一方面,本发明提供了一种基于多类别分解编辑的纹理表面缺陷检测模型的构建方法,包括:
搭建纹理表面缺陷检测模型;其中,所述纹理表面缺陷检测模型包括:
随机组合生成模块,用于生成不同形状大小的高斯缺陷掩膜Imask;从训练集中随机选取一张正常图像作为参考图像If;构造随机编码c,c中每个元素表示一种图像变换种类的权重,利用所述每个元素生成对应的图像变换参数,作为图像变换函数的参数;利用所述图像变换函数对所述参考图像If进行变换操作,得到变换图像It;由Imask控制区域,将It和正常图像In融合得到缺陷图像Ia
多类别特征库模块,用于提取缺陷图像Ia的特征Za;构建K个缺陷特征库Lk,k=1,...,K,K为图像变化种类的个数,每一个缺陷特征库中均包含M个长度与特征Za通道数Cl相同的特征向量条目
Figure BDA0003869916380000021
且各缺陷特征库中的所有特征向量条目与其他库中所有特征向量条目正交;计算特征Za中每个特征向量za与第k个特征库中的每个特征条目lk,m的相似度,取最大相似度记为dk;基于K个特征库对应的最大相似度,得到异常分数d=[d1,...,dK];由特征Za中所有特征向量组合得到异常分数图
Figure BDA0003869916380000031
Wl和Hl为特征Za的宽度和高度;将k维异常分数图
Figure BDA0003869916380000032
进行融合,得到融合异常分数图
Figure BDA0003869916380000033
多尺度卷积编辑模块,用于将特征Za和反相的Sa进行逐像素相乘,抑制缺陷区域特征,得到加权特征Zw;采用多尺度特征编辑方法对Zw进行编辑补全使其成为正常特征Ze;对Ze进行解码,得到重构图像
Figure BDA0003869916380000034
以最小化In
Figure BDA0003869916380000035
的差异、以及最小化St与分解标签Ct的差异为目标,对所述纹理表面缺陷检测模型进行训练;其中,所述分解标签Ct为随机编码c与高斯缺陷掩膜Imask按像素相乘后降采样的结果。
进一步地,所述利用所述每个元素生成对应的图像变换参数,包括:所述图像变换参数包括基础值和变化程度,所述变化程度由随机编码c中对应元素表示的图像变换种类的权重控制。
进一步地,所述提取缺陷图像Ia的特征Za,包括:
通过编码器提取缺陷图像Ia的特征Za;所述编码器包括3个卷积层和2个残差块;每个卷积层的卷积核均为3x3,步长分别为1、2、2,每层的滤波核数量分别为16、32、64;每个残差块包含两个卷积核为3x3、步长为1、滤波核数量为64的卷积层,残差块前后通过残差跳层连接。
进一步地,所述计算特征Za中每个特征向量za与第k个特征库中的每个特征条目lk,m的相似度,包括:
特征Za中每个特征向量za与第k个特征库中的每个特征条目lk,m之间的距离dk,m由以下余弦相似度度量:
Figure BDA0003869916380000036
其中,lk,m T表示lk,m的转置,||·||2表示L2范数。
进一步地,所述采用多尺度特征编辑方法对Zw进行编辑补全使其成为正常特征Ze,包括:
采用多个不同核大小的卷积层对Zw进行补全,得到正常编辑特征Ze
Ze=fc(Zw;θc)
其中,
Figure BDA0003869916380000041
fc(·)与θc分别表示多尺度卷积层的函数及其参数。
进一步地,所述对Ze进行解码,得到重构图像
Figure BDA0003869916380000042
包括:
通过解码器对Ze进行解码,得到重构图像
Figure BDA0003869916380000043
所述解码器包括2个残差块和3个转置卷积层;每个残差块包含两个卷积核为3x3、步长为1、滤波核数量为64的卷积层,残差块前后通过残差跳层连接;每个转置卷积层的卷积核均为3x3,步长分别为2、2、1,每层的滤波核数量分别为32、16、1。
第二方面,本发明提供了一种基于多类别分解编辑的纹理表面缺陷检测方法,包括:
将待检测图像Id输入到第一方面所述的基于多类别分解编辑的纹理表面缺陷检测模型的构建方法所构建的纹理表面缺陷检测模型中,得到异常分数图Sd以及重构图像
Figure BDA0003869916380000044
将异常分数图Sd进行上采样得到Is,再将待检测图像Id和重构图像
Figure BDA0003869916380000045
的残差图像与Is进行融合得到检测结果Ir
进一步地,所述检测结果Ir为:
Figure BDA0003869916380000046
其中,0≤λf≤1为残差图像的权重参数,|·|表示绝对值操作。
第三方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如第一方面所述的基于多类别分解编辑的纹理表面缺陷检测模型的构建方法和/或,如第二方面所述的基于多类别分解编辑的纹理表面缺陷检测方法。
总体而言,通过本发明所构思的以上算法与现有算法相比,能够取得下列有益效果:
1、本发明通过采用随机组合生成模块来生成基础变换图像与随机高斯掩膜图像,融合得到混合缺陷图像,通过不同类别的组合模拟复杂缺陷,提高算法对各类缺陷的适用性;
2、本发明通过采用多类别特征库模块将混合缺陷分解到基础图像变换上,使模型学习如何将缺陷中的各个分量分解并得到一种通用的分解表达,从而削弱克服制作缺陷与真实缺陷间的差异,提高对真实缺陷的检测精度;
3、本发明通过采用多尺度卷积编辑模块对分解过程确定的异常缺陷进行抑制,并利用不同大小的背景邻域特征对抑制特征进行编辑替换,实现对异常特征的抑制,防止重构图像中缺陷的重构,从而提升背景重构精度,提升缺陷的检出率。
附图说明
图1是按照本发明实现算法的网络框架示意图;
图2是按照本发明实现的纹理缺陷检测效果示意图;其中,第一行和第三行为待检测图像,第二行和第四行为对应的检测结果;
图3是按照本发明实现的喷墨打印缺陷检测效果示意图;其中,第一行为待检测图像,第二行为对应的检测结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1
如图1所示,本发明提出了一种基于多类别分解编辑的纹理表面缺陷检测模型的构建方法,该纹理表面缺陷检测模型包括随机组合生成模块、多类别特征库模块及多尺度卷积编辑模块。以下对各模块进行详细说明。
(1)随机组合生成模块
随机组合生成模块基于真实缺陷可由纹理背景经过基础图像变换得到的假设,通过多种基本图像变换的混合,合成人工缺陷图像Ia(Ia∈RW×H×1,W和H分别表示输入图像的宽和高),为模型训练提供缺陷图像。其生成流程包括两个主要部分:随机生成缺陷掩膜和缺陷内容生成融合。
(1-1)随机生成缺陷掩膜
所述随机生成缺陷掩膜过程用于生成不同形状大小的高斯缺陷掩膜,对二维高斯函数的各项参数进行随机采样:
Figure BDA0003869916380000061
Figure BDA0003869916380000062
Figure BDA0003869916380000063
Figure BDA0003869916380000064
其中,Mi∈RW×H,x=1,...,W,y=1,...,H为坐标,Ai、θi
Figure BDA0003869916380000065
Figure BDA0003869916380000066
为各个高斯函数的参数,分别为幅值、角度、横向方差、纵向方差、中心横、纵坐标,i=1,...,Na,Na表示高斯函数数量,即为单张图像中缺陷区域个数。
Figure BDA0003869916380000067
在本发明中,W=H=256,其他参数设置为在以下范围内随机选取:0.3≤Ai≤1,-90°≤θi≤90°,
Figure BDA0003869916380000068
Figure BDA0003869916380000069
1≤Na≤3。生成随机形状大小的高斯权重图Mi(x,y)后,对各Mi(x,y)进行阈值截断,得到高斯缺陷区域
Figure BDA0003869916380000071
Figure BDA0003869916380000072
其中,
Figure BDA0003869916380000073
max(·)表示取最大值操作,Tm为截断阈值,本发明设为0.5。高斯缺陷掩膜Imask能够通过组合各个高斯缺陷区域
Figure BDA0003869916380000074
得到:
Figure BDA0003869916380000075
其中,Imask∈RW×H×1,由一个或多个高斯缺陷区域综合得到,因此Imask能够模拟不限于单个高斯的不同形状。
需要说明的是,生成不同形状大小的高斯缺陷掩膜Imask有多种实现方式,并不局限于以上介绍的具体实现方式。
(1-2)缺陷内容生成融合
所述缺陷内容生成融合过程用于进行多种基础图像变换组合生成缺陷内容,从训练集中随机选取一张无缺陷图像作为参考图像If,然后对If进行多种基础图像变换组合,例如,包括亮、暗、放大、缩小及旋转共5种,随机编码c与此对应,包含5个元素:c=[c1,...,c5],每个元素控制对应基础图像变换,对于不同图像背景模式,采用的基础图像变换类型和数量可对应调整,不局限与所述5种变换。在本发明中,ci在[0,1]中随机选取。
确定随机编码c之后,If将依次进行不同程度的各个基础图像变换,从而生成缺陷内容。以上述5种图像变换方式为例,变换过程受灰度因子λg、大小因子λs与旋转因子λr控制,分别由以下公式计算:
Figure BDA0003869916380000076
Figure BDA0003869916380000081
Figure BDA0003869916380000082
其中,各个α,β和ε均为基础图像变换的参数:α表示变换的最小程度,即基础值;β表示变换程度的区间,ciβ表示变化程度;ε表示防止模式单一固化的随机扰动值;上标b、d、e、n、r分别表示亮、暗、放大、缩小及旋转。在本发明中分别设置为:αb=αe=1.1,αd=αn=0.9,αr=10°;βb=βd=βe=βn=0.5,βr=50°;0≤εbden≤0.1,0≤εr≤10°。通过对参考图像If进行灰度、大小和旋转的组合图像变换,得到变换图像It
It=T(If;λgsr)
其中,If,It∈RW×H×1,T(·)表示组合图像变换函数。最后,由Imask控制区域,将It和正常无缺陷图像In融合得到缺陷图像Ia
Ia(x,y)=It(x,y)·Imask(x,y)+In(x,y)·(1-Imask(x,y))
其中,Ia∈RW×H×1为与In对应的缺陷图像,用于网络训练阶段。
(2)多类别特征库模块
所述多类别特征库模块基于实际缺陷能够被分解到若干种基础图像变换上的假设,将生成的混合缺陷图像Ia进行基础图像变换分解,进而输出融合异常分数图Sa,对Ia中缺陷位置进行分割。在分解处理之前,通过编码器将Ia编码为隐空间特征Za
Za=fe(Ia;θe)
其中,
Figure BDA0003869916380000083
Wl,Hl和Cl为隐空间特征宽度、高度和通道数,在本发明中分别设为64,64和16,而fe(·)与θe则分别表示编码器的函数及其参数。
Ia编码为隐空间特征Za后,通过所述多类别特征库模块包含的K个缺陷特征库Lk,k=1,...,K进行分解。其中,每一个特征库分别对应于所使用的基础图像变换种类,均为大小相同的矩阵,即
Figure BDA0003869916380000091
M为每一个特征库的容量,在本发明中设置为50。因此,每个特征库中均包含M个长度与隐空间特征通道数相同的特征向量条目
Figure BDA0003869916380000092
对于Za中的每一个特征向量za,其与各个特征库中的每个特征条目lk,m之间的距离dk,m由以下余弦相似度度量:
Figure BDA0003869916380000093
其中,||·||2表示欧几里得范数,即L2范数。对于单个特征库Lk,za与该库内的所有特征条目之间余弦相似度的最大值作为za与该库的相似度dk
Figure BDA0003869916380000094
由于特征库对应各个基础图像变换,因此特征向量za被分解到了各个基础图像变换上,d=[d1,...,dK]对应各个基础变换的异常分数。将隐空间特征Za中的所有特征向量进行以上处理计算,得到基础变换异常分数图
Figure BDA0003869916380000095
其中
Figure BDA0003869916380000096
对应于每个基础图像变换。
Figure BDA0003869916380000097
表示全部的分数图,同时也是Za在各基础图像变换上的分解结果。
为保证Za正确地分解到各个图像变换上,隐空间中的各个基础图像变换之间需存在明显的差异,各特征库之间的余弦相似度需要接近于-1。在本专利中,Lk与Za均被归一化到[0,1]内。因此约束各Lk间的余弦相似度接近于0,本发明采用一种正交损失强制各缺陷特征库中的所有特征条目与其他库中所有条目正交:
Figure BDA0003869916380000101
其中,C表示组合数,P∈R1×M为一个元素均为1的辅助行向量。
通过约束缺陷特征库正交,各分数图
Figure BDA0003869916380000102
能够独立计算,保证Za分解结果能够表示在各独立正交维度上的分数。为将
Figure BDA0003869916380000103
表示的各独立正交维度与混合缺陷图像Ia的各个组成成分对应,本发明采用一种L2损失作为分解损失约束分解的正确性:
Figure BDA0003869916380000104
其中,
Figure BDA0003869916380000105
表示计算期望,
Figure BDA0003869916380000106
为分解标签,其获取首先通过随机编码c与高斯缺陷掩膜Imask按像素相乘:
Figure BDA0003869916380000107
通过将
Figure BDA0003869916380000108
从W×H×K降采样到Wl×Hl×K,即得到分解标签Ct。将各个基础图像变换的异常分数图
Figure BDA0003869916380000109
进行融合,得到融合异常分数图Sa
Figure BDA00038699163800001010
其中,
Figure BDA00038699163800001011
St的每个通道代表组成Ia的基础图像变换的异常分数图,通过对其进行融合,Sa表示Ia的融合异常分数图及缺陷区域。将整个分解过程用以下公式进行表达:
Sa=fl(Za;θl)
其中,fl(·)和θl分别表示所述多类别特征库模块的函数及参数。
(3)多尺度卷积编辑模块
所述多尺度卷积编辑模块将隐空间中的异常缺陷特征编辑成正常纹理特征,对输入图像中的异常信息进行抑制,防止缺陷的重构,从而提升背景重构的准确度。
首先利用Sa定位Za中的缺陷特征,将Za和反相的Sa进行逐像素相乘,得到加权特征Zw
Zw(xl,yl,zl)=Za(xl,yl,zl)(1-Sa(xl,yl))
其中,
Figure BDA0003869916380000111
由Sa定位的缺陷区域特征被削弱至接近0,在加权特征Zw中形成一些空洞,之后采用特征编辑方法对Zw进行编辑补全使其成为正常特征。具体为采用数量为Nc的多个不同核大小的卷积层进行补全,得到正常编辑特征Ze
Ze=fc(Zw;θc)
其中,
Figure BDA0003869916380000112
fc(·)与θc分别表示多尺度卷积层的函数与其参数。在本发明中,Nc设置为3,核大小分别设置为13×13,9×9,5×5。
通过不同核大小的多个卷积层操作,将Zw中的空洞补全为正常背景特征得到正常特征Ze,从而避免缺陷图案在最终的重构结果中出现。对Ze进行解码,得到重构图像
Figure BDA0003869916380000113
Figure BDA0003869916380000114
其中,
Figure BDA0003869916380000115
fd和θd分别表示解码器的函数与其参数。最后采用L2重构损失约束整个重构过程:
Figure BDA0003869916380000116
所述基于多类别分解编辑的纹理表面缺陷检测算法的网络模型通过一种重构流程进行训练:
Figure BDA0003869916380000121
其中,λ123为权重,分别设置为1000,1,10。
实施例2
模型优化完成后,即可用于纹理缺陷检测。此时输入一张真实缺陷图像Id∈RW×H,Id将通过模型重构成无缺陷背景图像
Figure BDA0003869916380000122
同时所述多类别特征库模块输出融合异常分数图Sd。然后将Sd进行上采样到图像大小,得到Is∈RW×H,将输入缺陷图像Id和重构图像
Figure BDA0003869916380000123
的残差图与Is进行融合得到检测结果Ir
Figure BDA0003869916380000124
其中,Ir∈RW×H,0≤λf≤1为残差图像的权重参数,并在本专利中设置为0.7,|·|表示绝对值操作。然后对融合检测结果Ir进行后处理,主要包含中值滤波、阈值分割和形态学闭操作,从而转化为二值图像,即为输入缺陷图像Id最终的检测结果。纹理缺陷检测效果和喷墨打印缺陷检测效果如图2和图3所示。
实施例3
一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如实施例1所述的基于多类别分解编辑的纹理表面缺陷检测模型的构建方法和/或,如实施例2所述的基于多类别分解编辑的纹理表面缺陷检测方法。
相关技术手段同实施例1和实施例2,这里不做赘述。
综上所述,本发明所提出的基于多类别分解编辑的纹理表面缺陷检测算法,采用随机组合生成模块,通过基础图像变换的随机组合来制作混合缺陷,在训练阶段加入缺陷信息;采用多类别特征库模块,将组合缺陷信息分解到基础缺陷类别并判断异常,使模型学习到通用的分解表达方式,以此削弱制作缺陷与真实缺陷间的差异,并输出异常分数图的缺陷分割结果,提升缺陷检出率;通过多尺度卷积编辑模块,将异常特征通过卷积操作转换为正常背景特征,抑制缺陷重构而提高背景重构效果,从而进一步提升缺陷检测精度。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于多类别分解编辑的纹理表面缺陷检测模型的构建方法,其特征在于,包括:
搭建纹理表面缺陷检测模型;其中,所述纹理表面缺陷检测模型包括:
随机组合生成模块,用于生成不同形状大小的高斯缺陷掩膜Imask;从训练集中随机选取一张正常图像作为参考图像If;构造随机编码c,c中每个元素表示一种图像变换种类的权重,利用所述每个元素生成对应的图像变换参数,作为图像变换函数的参数;利用所述图像变换函数对所述参考图像If进行变换操作,得到变换图像It;由Imask控制区域,将It和正常图像In融合得到缺陷图像Ia
多类别特征库模块,用于提取缺陷图像Ia的特征Za;构建K个缺陷特征库Lk,k=1,...,K,K为图像变化种类的个数,每一个缺陷特征库中均包含M个长度与特征Za通道数Cl相同的特征向量条目
Figure FDA0003869916370000011
且各缺陷特征库中的所有特征向量条目与其他库中所有特征向量条目正交;计算特征Za中每个特征向量za与第k个特征库中的每个特征条目lk,m的相似度,取最大相似度记为dk;基于K个特征库对应的最大相似度,得到异常分数d=[d1,...,dK];由特征Za中所有特征向量组合得到异常分数图
Figure FDA0003869916370000012
Wl和Hl为特征Za的宽度和高度;将k维异常分数图
Figure FDA0003869916370000013
进行融合,得到融合异常分数图
Figure FDA0003869916370000014
多尺度卷积编辑模块,用于将特征Za和反相的Sa进行逐像素相乘,抑制缺陷区域特征,得到加权特征Zw;采用多尺度特征编辑方法对Zw进行编辑补全使其成为正常特征Ze;对Ze进行解码,得到重构图像
Figure FDA0003869916370000015
以最小化In
Figure FDA0003869916370000016
的差异、以及最小化St与分解标签Ct的差异为目标,对所述纹理表面缺陷检测模型进行训练;其中,所述分解标签Ct为随机编码c与高斯缺陷掩膜Imask按像素相乘后降采样的结果。
2.根据权利要求1所述的基于多类别分解编辑的纹理表面缺陷检测模型的构建方法,其特征在于,所述利用所述每个元素生成对应的图像变换参数,包括:所述图像变换参数包括基础值和变化程度,所述变化程度由随机编码c中对应元素表示的图像变换种类的权重控制。
3.根据权利要求1所述的基于多类别分解编辑的纹理表面缺陷检测模型的构建方法,其特征在于,所述提取缺陷图像Ia的特征Za,包括:
通过编码器提取缺陷图像Ia的特征Za;所述编码器包括3个卷积层和2个残差块;每个卷积层的卷积核均为3x3,步长分别为1、2、2,每层的滤波核数量分别为16、32、64;每个残差块包含两个卷积核为3x3、步长为1、滤波核数量为64的卷积层,残差块前后通过残差跳层连接。
4.根据权利要求1所述的基于多类别分解编辑的纹理表面缺陷检测模型的构建方法,其特征在于,所述计算特征Za中每个特征向量za与第k个特征库中的每个特征条目lk,m的相似度,包括:
特征Za中每个特征向量za与第k个特征库中的每个特征条目lk,m之间的距离dk,m由以下余弦相似度度量:
Figure FDA0003869916370000021
其中,lk,m T表示lk,m的转置,||·||2表示L2范数。
5.根据权利要求1所述的基于多类别分解编辑的纹理表面缺陷检测模型的构建方法,其特征在于,所述采用多尺度特征编辑方法对Zw进行编辑补全使其成为正常特征Ze,包括:
采用多个不同核大小的卷积层对Zw进行补全,得到正常编辑特征Ze
Ze=fc(Zw;θc)
其中,
Figure FDA0003869916370000031
fc(·)与θc分别表示多尺度卷积层的函数及其参数。
6.根据权利要求1所述的基于多类别分解编辑的纹理表面缺陷检测模型的构建方法,其特征在于,所述对Ze进行解码,得到重构图像
Figure FDA0003869916370000032
包括:
通过解码器对Ze进行解码,得到重构图像
Figure FDA0003869916370000033
所述解码器包括2个残差块和3个转置卷积层;每个残差块包含两个卷积核为3x3、步长为1、滤波核数量为64的卷积层,残差块前后通过残差跳层连接;每个转置卷积层的卷积核均为3x3,步长分别为2、2、1,每层的滤波核数量分别为32、16、1。
7.一种基于多类别分解编辑的纹理表面缺陷检测方法,其特征在于,包括:
将待检测图像Id输入到采用权利要求1至6任一项所述的基于多类别分解编辑的纹理表面缺陷检测模型的构建方法所构建的纹理表面缺陷检测模型中,得到异常分数图Sd以及重构图像
Figure FDA0003869916370000034
将异常分数图Sd进行上采样得到Is,再将待检测图像Id和重构图像
Figure FDA0003869916370000035
的残差图像与Is进行融合得到检测结果Ir
8.根据权利要求7所述的基于多类别分解编辑的纹理表面缺陷检测方法,其特征在于,所述检测结果Ir为:
Figure FDA0003869916370000036
其中,0≤λf≤1为残差图像的权重参数,|·|表示绝对值操作。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序被处理器运行时控制所述存储介质所在设备执行如权利要求1至6任一项所述的基于多类别分解编辑的纹理表面缺陷检测模型的构建方法和/或,如权利要求7或8所述的基于多类别分解编辑的纹理表面缺陷检测方法。
CN202211193529.0A 2022-09-28 2022-09-28 基于多类别分解编辑的纹理表面缺陷检测模型的构建方法 Pending CN115564724A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211193529.0A CN115564724A (zh) 2022-09-28 2022-09-28 基于多类别分解编辑的纹理表面缺陷检测模型的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211193529.0A CN115564724A (zh) 2022-09-28 2022-09-28 基于多类别分解编辑的纹理表面缺陷检测模型的构建方法

Publications (1)

Publication Number Publication Date
CN115564724A true CN115564724A (zh) 2023-01-03

Family

ID=84743320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211193529.0A Pending CN115564724A (zh) 2022-09-28 2022-09-28 基于多类别分解编辑的纹理表面缺陷检测模型的构建方法

Country Status (1)

Country Link
CN (1) CN115564724A (zh)

Similar Documents

Publication Publication Date Title
US20050093875A1 (en) Synthesis of progressively-variant textures and application to arbitrary surfaces
CN112329588B (zh) 一种基于Faster R-CNN的管道故障检测方法
CN111340122A (zh) 一种多模态特征融合的文本引导图像修复方法
CN112070727B (zh) 一种基于机器学习的金属表面缺陷检测方法
CN112233129B (zh) 基于深度学习的并行多尺度注意力机制语义分割方法及装置
CN116645369B (zh) 基于孪生自编码器和双向信息深度监督的异常检测方法
Rios et al. Feature visualization for 3D point cloud autoencoders
CN112801914A (zh) 一种基于纹理结构感知的二段式图像修复方法
CN112884669A (zh) 基于多尺度内容注意力机制的图像修复方法、存储介质和终端
Xu et al. Generative image completion with image-to-image translation
Hu et al. Controlling material appearance by examples
CN114820541A (zh) 基于重构网络的缺陷检测方法
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
Gaber et al. The Role of Artificial Intelligence and Machine Learning in preserving Cultural Heritage and Art Works via Virtual Restoration
CN112733861A (zh) 基于u型残差网络的文本擦除和抠字方法
CN112802048A (zh) 具有不对称结构的图层生成对抗网络生成方法及装置
CN114972611B (zh) 一种基于引导匹配损失的深度纹理合成方法及相关设备
Huang et al. Learning to restore ssTEM images from deformation and corruption
CN115564724A (zh) 基于多类别分解编辑的纹理表面缺陷检测模型的构建方法
CN116228623A (zh) 一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法、设备和储存介质
CN114862803A (zh) 一种基于快速傅里叶卷积的工业图像异常检测方法
CN111429436A (zh) 一种基于多尺度注意力和标签损失的本质图像分析方法
CN113034420A (zh) 一种频率空间域特征的工业产品表面缺陷分割方法及系统
CN113033656B (zh) 一种基于生成对抗网络的交互式孔探数据扩展方法
Cho et al. Synthesizing industrial defect images under data imbalance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination