CN114820521B - 一种显示屏复杂画面的缺陷检测方法 - Google Patents
一种显示屏复杂画面的缺陷检测方法 Download PDFInfo
- Publication number
- CN114820521B CN114820521B CN202210451745.4A CN202210451745A CN114820521B CN 114820521 B CN114820521 B CN 114820521B CN 202210451745 A CN202210451745 A CN 202210451745A CN 114820521 B CN114820521 B CN 114820521B
- Authority
- CN
- China
- Prior art keywords
- channel
- twin
- feature
- defect
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 120
- 238000001514 detection method Methods 0.000 title claims abstract description 57
- 230000004927 fusion Effects 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000004088 simulation Methods 0.000 claims abstract description 18
- 239000013598 vector Substances 0.000 claims description 29
- 230000002159 abnormal effect Effects 0.000 claims description 26
- 230000011218 segmentation Effects 0.000 claims description 22
- 239000011800 void material Substances 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 239000002131 composite material Substances 0.000 claims description 6
- 230000002950 deficient Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000009827 uniform distribution Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 239000003086 colorant Substances 0.000 claims 1
- 238000013507 mapping Methods 0.000 claims 1
- 230000000877 morphologic effect Effects 0.000 abstract description 4
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种显示屏复杂画面的缺陷检测方法，具体基于规则进行大量模拟数据生成来驱动孪生深度卷积网络模型，将缺陷建模为与正常检测画面的区别而不对缺陷形态进行直接建模，通过孪生特征的多级融合与三维注意力解码，从而得到了一个能检测与正常画面不同区域的网络模型，用于未知形态的复杂显示屏缺陷像素级检测。本发明的方法解决了显示屏复杂画面的缺陷细粒度检测问题，且不需要实际缺陷样本及标注，具有未知形态缺陷检测的泛化性。
Description
技术领域
本发明属于图像处理技术，具体涉及机器视觉领域的显示屏显示缺陷、材料表面缺陷检测。
背景技术
材料表面缺陷是指以脏污、斑点、划痕、断裂等形式存在的材料问题，并广泛存在于纺织品、钢铁、PCB板及LCD(Liquid Crystal Display)显示屏等工业品。材料表面缺陷检测是工业生产中的重要流程，若检测失败，将导致经济损失甚至材料安全问题。其中，LCD缺陷检测常利用精心设计的特定画面来进行缺陷检测，包括RGB纯色画面、黑白画面、灰阶过渡画面、人脸画面等等。人脸画面是一种包含了文字、RGB色块、灰阶过渡、人脸的复合检测画面，利用该类画面可以暴露异常显示屏点、线、不规则等多种缺陷。
目前主流的表面缺陷机器视觉检测算法有三大类：一大类属于图片级检测，即只判断图片是否包含异常，但不给出具体的缺陷像素位置，在显示屏缺陷检测的应用场景中显然不适用。第二类则是语义分割算法，该类算法被广泛应用于遥感图像地物分类、自然图像场景理解等诸多像素级分类领域，也可用于缺陷检测，但需要通过大量样本来学习分割目标的形态特征。第三类则是基于流模型样本分布建模的异常检测算法，通过学习大量正常样本的数据分布并映射为已知分布，当输入异常样本时由于与原分布偏差较大而被检出，但该类方法只能给出缺陷的模糊位置。
综上，目前主流机器视觉缺陷检测方法在显示屏缺陷检测应用场景中存在四方面问题，包括：1)基于图片级检测与异常检测的算法难以给出精确的缺陷像素级位置；2)异常显示屏样品数量少、涉及商业保密造成的缺陷样本难以获取，使多数基于大量数据驱动的机器视觉模型失效；3)缺陷本身形态不固定、分布不规则导致的缺陷特征难以用语义分割一类的算法进行外观建模；4)复杂的显示屏生产环节导致了缺陷的不可控性，因此已收集的缺陷样本难以应对未知形态缺陷检测的问题。
发明内容
为解决现有技术存在的上述问题，本发明提出了一种显示屏复杂画面的缺陷检测方法。
本发明的具体技术方案为：一种显示屏复杂画面的缺陷检测方法，包括以下步骤：
S1、对多类显示屏复杂画面进行2类缺陷图像及对应标注图的模拟生成，其中，线缺陷采用要素集排列组合及区域随机排布方式，异常点缺陷采用多阈值分割及点集随机聚类方式，得到模拟缺陷训练数据集；
S2、每次训练中，并行的将模拟缺陷与对应正常检测图像输入多级孪生卷积网络，得到多尺度孪生特征图，按对应尺度在通道维度进行拼接，得到多尺度孪生特征对；
S3、下一级尺度孪生特征对上采样后，与上一级尺度的孪生特征对拼接，经过多级非线性点卷积层对通道特征进行重加权；将重加权后的通道特征经过一组空洞率为0/1/2的3×3空洞卷积以在不同局部空间范围进行特征融合，得到孪生多尺度融合特征；
S4、对孪生多尺度融合特征，分别从水平、垂直与通道三个方向生成加权向量，并将加权向量经过多级全连接与Relu激活层，得到最终的三维加权向量；此三个加权向量分别与孪生多尺度融合特征的三个维度重加权，然后将重加权特征图经过1×1卷积层降维为二通道，经过Softmax进行归一化为二通道概率图，得到表示缺陷与正常区域的二值图；
S5、计算输出二通道概率图与模拟标注图的交叉熵损失，并利用梯度反向传播最小化该损失，修正孪生卷积网络参数；
S6、以步骤S2-S5的方式遍历模拟数据集中所有样本，得到可用于未知形态复杂显示屏的缺陷检测模型。
S7、输入待检显示屏缺陷图像及对应正常检测图像，实现孪生对比的未知形态复杂显示屏缺陷检测，输出代表缺陷与正常区域的二值预测图。
进一步的，步骤S1具体基于10类复合检测画面模拟生成线和异常点缺陷及相应的模拟标注二值图，二值图上1和0分别代表缺陷及正常区域，包括以下子步骤：
S11：线缺陷通过要素集随机组合及区域随机排布方式生成，其要素集包括线的宽度(3-30个像素间隔为3，共10种)、颜色(黑/白/红/黄/蓝，共5种)、透明度(0％-50％间隔10％，共5种)、数量(1-5根线)，当生成K条线时将画面划分为K部分，每根线在区域内进行随机位置排布。
S12：异常点缺陷采用多阈值分割及点集随机聚类方式生成，以间隔为5设定50-200共30个灰度级分割阈值，然后对正常检测画面以随机选取的某个阈值进行二值化分割，得到二值分割图；取二值分割图的边缘点集，利用K均值随机聚类将边缘点集划分为10个子点集，每个子点集随机赋予某种RGB颜色，得到最终的异常缺陷颜色及位置点集。
S13、将生成的线与异常点缺陷，进行高斯模糊后，叠加到被施加偏差干扰的正常检测画面，其中，偏差干扰包括亮度、对比度、饱和度各10％以内，RGB三通道色偏20个灰度级以内，ISO颜色噪声0.01-0.03，强度噪声0.1-0.3，所有偏差数值选取满足均匀分布；
进一步的，在步骤S2中：所使用的孪生多级网络可为任意的深度卷积神经网络并选取中间3级作为输出(输出层级尺度以0.5倍逐级下降)，在使用时并行地接收两张图像输入，进行一次代价函数计算及网络参数更新。
每次训练时，将缺陷图像(Not good,NG图)与对应的正常检测图像(OK图)并行输入到多级孪生卷积网络，得到多尺度孪生特征图NG1/NG2/NG3以及OK1/OK2/OK3，并将对应尺度的孪生特征图并按通道维度进行拼接，即
Fi＝concat(NGi,OKi),i＝1,2,3
其中，concat表示按通道维度拼接，Hi、Wi与Ci分别为第i层特征图的宽、高和通道数量；Hi＝2Hi+1,Wi＝2Wi+1，即前一级特征图的尺寸是下一级的两倍，拼接后得到孪生特征对Fi(i＝1,2,3)。
进一步的，步骤S3中下一级尺度特征Fi+1对上采样后，与上一级尺度的特征Fi拼接，得到拼接后的孪生特征对Fi,i+1，即
Fi,i+1＝concat(Fi,UP2×(Fi+1)),i＝1,2
其中，UP2×表示2倍上采样，拼接后的孪生特征分别经过K级1×1卷积Conv1×1与Relu激活函数，得到通道维度的重加权特征Midi；
将重加权特征经过一组空洞率为0/1/2的3×3空洞卷积，以在不同空间范围进行特征融合，然后经过一次1×1卷积得到最终的多尺度融合特征Li，即
其中，dConv3×3(·,n)表示以空洞率为n的空洞卷积，
表示空洞率为0、1、2的三组空洞卷积操作，并将三组卷积的结果按通道维度进行拼接，Li表示第i层的多尺度融合特征；
进一步的，步骤S4具体采用三维注意力方法从水平、垂直与通道三个方向生成加权向量。
更进一步的，步骤S4对第一级多尺度融合特征L1∈RH×W×C进行三维注意力卷积解码，RH×W×C表示实数域内形状为H×W×C的特征张量，W、H、C分别为水平、垂直及通道方向的形状参数，具体操作为：首先使用最大池化、平均池化操作分别对L1的水平、垂直及通道方向生成特征向量描述，即
Pool(·,d)＝Concat(average(·,d),max(·,d))
FW＝Pool(L1,horizontal)∈RW×1
FH＝Pool(L1,vertical)∈RH×1
FC＝Pool(L1,channel)∈RC×1
其中，RW×1表示实数域内形状为W×1的向量，RH×1表示实数域内形状为H×1的向量，RC×1表示实数域内形状为C×1的向量，average表示取特征图的平均值，max表示取特征图最大值，d表示对三维特征取最大值和平均值的方向；取平均值和最大值的结果进行通道拼接，即混合池化Pool(·,d)操作；分别对第一层级孪生特征对L1使用Pool(L1,horizontal)、Pool(L1,vertical)和Pool(L1,channel)的水平/垂直/通道方向池化得到三个方向的特征描述向量FW、FH、FC，再分别经过两次全连接及Relu激活后，FC直接对输入特征进行通道加权，FW、FH分别复制H和W次到原特征图尺寸后再与原特征图相乘，即
θ(·)＝Relu(Conv1×1(·))2
WC＝θ(FC)∈R1×1×C
WH＝[θ(FH),θ(FH),...,θ(FH)]W×H∈RH×W×1
其中，θ(·)表示两个1×1卷积及Relu激活层串联，WC、WH、WW分别为通道、垂直、水平三个方向的注意力加权向量，RH×W×1表示实数域中高为H，宽为W，通道数为1的张量，RH×W×2则为相应的2通道张量。
表示矩阵按元素相乘，最终输出为一个宽与高为H×W的二通道特征图Fout，将该特征图进一步使用softmax函数将每个点映射到0-1区间内，得到二通道概率图P，即，
其中，k的取值为0或1，Fout(i,j,k)二通道特征图上第k个通道的i行j列，为标量，但可能超出0-1范围。P(i,j,k)表示二通道概率图第k个通道的i行j列，同样为标量，取值范围在0-1之间。在模型训练完毕使用时，需要进一步转化二通道概率图为二值图，当第一通道大于第二通道，表示属于正常区域概率更大，反之表示为缺陷区域概率更大，按此规则比较每个点的概率大小，输出二值图，即
进一步的，步骤S5中采用交叉熵损失函数作为代价函数的计算方法为：
loss(i,j)＝-gt(i,j)logP(i,j,0)-(1-gt(i,j))logP(i,j,1)
其中，logP(i,j,0)为二通道概率图的第一个通道，表示第i行j列为缺陷的概率，取值范围在0-1之间的连续数值，logP(i,j,1)为第二通道，表示第i行j列为正常的概率，gt(i,j)为模拟标注图上的第i行j列，取值为1表示有缺陷，否则为正常区域。
本发明的有益效果：本发明的缺陷检测方法基于规则进行大量模拟数据生成来驱动孪生深度卷积网络模型，将缺陷建模为与正常检测画面的区别而不对缺陷形态进行直接建模，通过孪生特征的多级融合与三维注意力解码，从而得到了一个能检测与正常画面不同区域的网络模型，可用于未知形态的复杂显示屏缺陷像素级检测。
附图说明
图1为本发明实施例的一种显示屏复杂画面的缺陷检测方法流程示意图。
图2为本发明实施例的显示屏缺陷图像及标注数据示意图；
图3为本发明实施例的算法架构、融合模块、解码模块示意图。
具体实施方式
下面结合附图对本发明的实施例做进一步的说明。
本发明实施例提供的一种显示屏复杂画面的缺陷检测方法具体实现方式如下：1)基于规则进行显示屏缺陷训练样本模拟生成，分别采用要素集排列组合及区域随机排布方式生成线缺陷，采用多阈值分割及点集随机聚类方式生成异常点缺陷，得到线、点缺陷图像数据以及标注图；2)以并行方式将模拟缺陷图像和对应正常显示图像输入共享网络参数的多级孪生卷积网络处理得到多级孪生特征图；3)利用通道加权及局部空洞卷积进行通道维度的尺度特征图拼接与融合，获得多尺度孪生特征融合图；4)使用三维注意力解码输出二通道概率图，计算二通道概率图与其标注图的交叉熵损失，并利用梯度反向传播进行损失最小化的孪生检测网络训练。5)输入待检显示屏缺陷图像及对应正常检测图像，实现孪生对比的未知形态复杂显示屏缺陷检测。流程图如图1所示，包括以下步骤：
S1、对多类显示屏复杂画面进行2类缺陷图像及对应标注图的模拟生成，其中，线缺陷采用要素集排列组合及区域随机排布方式，异常点缺陷采用多阈值分割及点集随机聚类方式，得到模拟缺陷训练数据集；
S2、每次训练中，将模拟缺陷与对应正常检测图像并行输入多级孪生卷积网络，得到多尺度孪生特征图，按对应尺度在通道维度进行拼接，得到多尺度孪生特征对；
S3、下一级尺度孪生特征对上采样后，与上一级尺度的孪生特征对拼接，经过多级非线性点卷积层(即1×1卷积层与Relu激活函数)生成对通道特征进行重加权；接着将重加权后的通道特征经过一组空洞率为0/1/2的3×3空洞卷积以在不同局部空间范围进行特征融合，得到孪生多尺度融合特征；
S4、对孪生多尺度融合特征，采用三维注意力模块分别从水平、垂直与通道三个方向生成加权向量，并将加权向量经过多级全连接与Relu激活层，得到最终的三维加权向量；此三个加权向量分别与孪生多尺度融合特征的三个维度重加权，然后将重加权特征图经过1×1卷积层降维为二通道，经过Softmax进行归一化为二通道概率图，逐点取概率大者为1，概率小者为0，得到表示缺陷与正常区域的二值图。
S5、计算输出二通道概率图与模拟标注图的交叉熵损失，并利用梯度反向传播最小化该损失，修正孪生卷积网络参数。
S6、以步骤S2-S5的方式遍历模拟数据集中所有样本，最终得到可用于未知形态复杂显示屏的缺陷检测模型。
S7、输入待检显示屏缺陷图像及对应正常检测图像，实现孪生对比的未知形态复杂显示屏缺陷检测，输出代表缺陷与正常区域的二值预测图。
需要说明的是，步骤S6可以根据实际情况选择遍历的轮次，一般进行5-10轮遍历。
本实施例中，步骤S1具体基于10类复合检测画面模拟生成线和异常点缺陷及相应的模拟标注二值图，二值图上1和0分别代表缺陷及正常区域，包括以下子步骤：
S11：线缺陷通过要素集随机组合及区域随机排布方式生成。其要素集包括线的宽度(3-30个像素间隔为3，共10种)、颜色(黑/白/红/黄/蓝，共5种)、透明度(0％-50％间隔10％，共5种)、数量(1-5根线)等属性要素，当生成K条线时将画面划分为K部分，每根线在区域内进行随机位置排布。
S12：异常点缺陷采用多阈值分割及点集随机聚类方式生成。以间隔为5设定50-200共30个灰度级分割阈值，然后对正常检测画面以随机选取的某个阈值进行二值化分割，得到二值分割图；取二值分割图的边缘点集(实际生产中异常点缺陷容易在分割边缘出现)，利用K均值随机聚类为将边缘点集划分为10个子点集，每个子点集随机赋予某种RGB颜色，得到最终的异常缺陷颜色及位置点集。
需要说明的是：这里的10类复合检测画面可以为灰阶过渡区域、色度图、RGB纯色块、文字及人脸区域都发生变化的十类(或十张不同的)复合检测画面(附图2中给出了两个示例)。
本实施例中，为了模拟真实的显示屏异常点形态，每个异常点实际上是两个中空圆环的嵌套，在512×512的图像中，外环直径取5-10个像素，内环为外环直径的0.5倍，内外环同色。
S13、按上述规则生成的线与异常点缺陷，进行高斯模糊后，叠加到被施加偏差干扰的正常检测画面，其中偏差干扰包括亮度、对比度、饱和度各10％以内，RGB三通道色偏20个灰度级以内，ISO颜色噪声0.01-0.03，强度噪声0.1-0.3，所有偏差数值选取满足均匀分布。
本实施例中，10张检测画面均生成线、异常点、混合缺陷样本各300张，共计10*300*3＝9000张模拟复杂缺陷样本。(见图2样例)
在步骤S2中(见图3(a)结构图)：所使用的孪生多级网络可为任意的深度卷积神经网络并选取中间3级作为输出，在使用时并行地接收两张图像输入，进行一次代价函数计算及网络参数更新(原网络中每输入一张图像进行一次更新)。
本实施例中，选用了ResNet-50并选择第3、4、5个stage进行输出，即第22、40及49小层的输出。
每次训练时，并行得将缺陷图像(Not good,NG图)与对应的正常检测图像(OK图)输入到多级孪生卷积网络，得到多尺度孪生特征图NG1/NG2/NG3以及OK1/OK2/OK3，并将对应尺度的孪生特征图并按通道维度进行拼接，即
Fi＝concat(NGi,OKi),i＝1,2,3
其中，concat表示按通道维度拼接，Hi、Wi与Ci分别为第i层特征图的宽、高和通道数量；Hi＝2Hi+1,Wi＝2Wi+1，即前一级特征图的尺寸是下一级的两倍，拼接后得到孪生特征对Fi(i＝1,2,3)。
如图3(b)模块结构图，本实施例中，步骤S3中下一级尺度特征对上采样后，与上一级尺度的特征拼接，即
Fi,i+1＝concat(Fi,UP2×(Fi+1))
其中，UP2×表示2倍上采样，拼接后的孪生特征经过K级1×1卷积Conv1×1与Relu激活函数，得到通道维度的重加权特征Midi，本实施例中，取K＝3。
将重加权特征经过一组空洞率为0/1/2的3×3空洞卷积，以在不同空间范围进行特征融合，然后经过一次1×1卷积得到最终的多尺度融合特征Li，即
其中，dConv3×3(·,n)表示以空洞率为n的空洞卷积，
表示空洞率为0、1、2的三组空洞卷积操作，并将三组卷积的结果按通道维度进行拼接，Li表示第i层的多尺度融合特征；
本实施例中，步骤S4对第一级多尺度融合特征L1∈RH×W×C进行三维注意力卷积解码，该解码过程可见图3(c)。具体操作为：首先使用最大池化、平均池化操作分别对L1的水平、垂直及通道方向生成特征向量描述，即
Pool(·,d)＝Concat(average(·,d),max(·,d))
FW＝Pool(L1,horizontal)∈RW×1
FH＝Pool(L1,vertical)∈RH×1
FC＝Pool(L1,channel)∈RC×1
其中，RW×1表示实数域内形状为W×1的向量，RH×1表示实数域内形状为H×1的向量，RC×1表示实数域内形状为C×1的向量，average表示取特征图的平均值，max表示取特征图最大值，d表示对三维特征取最大值和平均值的方向；取平均值和最大值的结果进行通道拼接，即混合池化Pool(·,d)操作；分别对第一层级孪生特征对L1使用Pool(L1,horizontal)，Pool(L1,vertical)和Pool(L1,channel)的水平/垂直/通道方向池化得到三个方向的特征描述向量FW、FH、FC，再分别经过两次全连接及Relu激活后，FC直接对输入特征进行通道加权，FW、FH分别复制H和W次到原特征图尺寸后再与原特征图相乘，即
θ(·)＝Relu(Conv1×1(·))2
WC＝θ(FC)∈R1×1×C
WH＝[θ(FH),θ(FH),...,θ(FH)]W×H∈RH×W×1
其中，Relu(Conv1×1(·))2表示两个1×1卷积及Relu激活层串联，
表示矩阵按元素相乘，最终输出为一个宽与高为H×W的二通道特征图Fout，而该特征图进一步使用softmax函数将每个点映射到0-1区间内，表示概率值，即
其中，k的取值为0或1，Fout(i,j,k)二通道特征图上第k个通道的i行j列，为标量，但可能超出0-1范围。P(i,j,k)表示二通道概率图第k个通道的i行j列，同样为标量，取值范围在0-1之间。在模型训练完毕使用时，需要进一步转化二通道概率图为二值图，当第一通道大于第二通道，表示属于正常区域概率更大，反之表示为缺陷区域概率更大，按此规则比较每个点的概率大小，输出二值图，即
本实施例中，步骤S5中采用交叉熵损失函数作为代价函数的计算方法为：
loss(i,j)＝-gt(i,j)logP(i,j,0)-(1-gt(i,j))logP(i,j,1)
其中，其中，logP(i,j,0)为二通道概率图的第一个通道，表示第i行j列为缺陷的概率，取值范围在0-1之间的连续数值，logP(i,j,1)为第二通道，表示第i行j列为正常的概率，gt(i,j)为模拟标注图上的第i行j列，取值为1表示有缺陷，否则为正常区域。
本发明提供的缺陷检测方法能够克服工业显示屏中缺陷样品难以收集、类型不全、涉及商业保密等难题，并能有效训练深度卷积网络模型；无需对形态、分布不确定的复杂缺陷直接建模，在面对复杂缺陷时，通过缺陷与正常检测画面的比较，可以获取已知缺陷和未知形态缺陷的精确位置；由于在模拟数据生成过程可引入亮度、对比度、饱和度、ISO噪声等人为干扰，并使用深度孪生卷积网络对这些干扰进行学习，从而提升了在多种显示条件下缺陷检测的可靠性。本发明的方法解决了显示屏复杂画面的缺陷细粒度检测问题，且不需要实际缺陷样本及标注，具有未知形态缺陷检测的泛化性。
Claims (6)
1.一种显示屏复杂画面的缺陷检测方法，包括以下步骤：
S1、对多类显示屏复杂画面进行2类缺陷图像及对应标注图的模拟生成，其中，线缺陷采用要素集排列组合及区域随机排布方式，异常点缺陷采用多阈值分割及点集随机聚类方式，得到模拟缺陷训练数据集；
S2、每次训练中，将模拟缺陷与对应正常检测图像并行输入多级孪生卷积网络，得到多尺度孪生特征图，按对应尺度在通道维度进行拼接，得到多尺度孪生特征对；
所使用的孪生多级网络为任意的深度卷积神经网络并选取中间3级作为输出，在使用时并行地接收两张图像输入，进行一次代价函数计算及网络参数更新；
每次训练时，将缺陷图像(Not good,NG图)与对应的正常检测图像(OK图)并行输入到多级孪生卷积网络，得到多尺度孪生特征图NG1/NG2/NG3以及OK1/OK2/OK3，并将对应尺度的孪生特征图按通道维度进行拼接，即
Fi＝concat(NGi,OKi),i＝1,2,3
其中，concat表示按通道维度拼接，Hi、Wi与Ci分别为第i层特征图的宽、高和通道数量；Hi＝2Hi+1,Wi＝2Wi+1，即前一级特征图的尺寸是下一级的两倍，拼接后得到孪生特征对Fi(i＝1,2,3)；
S3、下一级尺度孪生特征对上采样后，与上一级尺度的孪生特征对拼接，经过多级非线性点卷积层对通道特征进行重加权；将重加权后的通道特征经过一组空洞率为0/1/2的3×3空洞卷积以在不同局部空间范围进行特征融合，得到孪生多尺度融合特征；
S4、对孪生多尺度融合特征，分别从水平、垂直与通道三个方向生成加权向量，并将加权向量经过多级全连接与Relu激活层，得到最终的三维加权向量；此三个加权向量分别与孪生多尺度融合特征的三个维度重加权，然后将重加权特征图经过1×1卷积层降维为二通道，经过Softmax进行归一化为二通道概率图，得到表示缺陷与正常区域的二值图；
S5、计算输出二通道概率图与模拟标注图的交叉熵损失，并利用梯度反向传播最小化该损失，修正孪生卷积网络参数；
S6、以步骤S2-S5的方式遍历模拟数据集中所有样本，得到可用于未知形态复杂显示屏的缺陷检测模型；
S7、输入待检显示屏缺陷图像及对应正常检测图像，实现孪生对比的未知形态复杂显示屏缺陷检测，输出代表缺陷与正常区域的二值预测图。
2.根据权利要求1所述的一种显示屏复杂画面的缺陷检测方法，其特征在于，步骤S1具体基于10类复合检测画面模拟生成线和异常点缺陷及相应的模拟标注二值图，二值图上1和0分别代表缺陷及正常区域，包括以下子步骤：
S11：线缺陷通过要素集随机组合及区域随机排布方式生成，其要素集包括线的宽度、颜色、透明度、数量，当生成K条线时将画面划分为K部分，每根线在区域内进行随机位置排布，其中，所述线的宽度为：3-30个像素间隔为3，共10种；所述颜色为黑/白/红/黄/蓝，共5种；所述透明度为：0％-50％间隔10％，共5种；所述数量为1-5根线；
S12：异常点缺陷采用多阈值分割及点集随机聚类方式生成，以间隔为5设定50-200共30个灰度级分割阈值，然后对正常检测画面以随机选取的某个阈值进行二值化分割，得到二值分割图；取二值分割图的边缘点集，利用K均值随机聚类将边缘点集划分为10个子点集，每个子点集随机赋予某种RGB颜色，得到最终的异常缺陷颜色及位置点集；
S13、将生成的线与异常点缺陷，进行高斯模糊后，叠加到被施加偏差干扰的正常检测画面，其中，偏差干扰包括亮度、对比度、饱和度各10％以内，RGB三通道色偏20个灰度级以内，ISO颜色噪声0.01-0.03，强度噪声0.1-0.3，所有偏差数值选取满足均匀分布。
3.根据权利要求2所述的一种显示屏复杂画面的缺陷检测方法，其特征在于，步骤S3中下一级尺度特征Fi+1对上采样后，与上一级尺度的特征Fi拼接，得到拼接后的孪生特征对Fi,i+1，即
Fi,i+1＝concat(Fi,UP2×(Fi+1)),i＝1,2
其中，UP2×表示2倍上采样，拼接后的孪生特征分别经过K级1×1卷积Conv1×1与Relu激活函数，得到通道维度的重加权特征Midi；
将重加权特征经过一组空洞率为0/1/2的3×3空洞卷积，以在不同空间范围进行特征融合，然后经过一次1×1卷积得到最终的多尺度融合特征Li，即
其中，dConv3×3(·,n)表示以空洞率为n的空洞卷积，
表示空洞率为0、1、2的三组空洞卷积操作，并将三组卷积的结果按通道维度进行拼接，Li表示第i层的多尺度融合特征。
4.根据权利要求3所述的一种显示屏复杂画面的缺陷检测方法，其特征在于，步骤S4具体采用三维注意力方法从水平、垂直与通道三个方向生成加权向量。
5.根据权利要求4所述的一种显示屏复杂画面的缺陷检测方法，其特征在于，步骤S4对第一级多尺度融合特征L1∈RH×W×C进行三维注意力卷积解码，RH×W×C表示实数域内形状为H×W×C的特征张量，W、H、C分别为水平、垂直及通道方向的形状参数，具体操作为：首先使用最大池化、平均池化操作分别对L1的水平、垂直及通道方向生成特征向量描述，即
Pool(·,d)＝Concat(average(·,d),max(·,d))
FW＝Pool(L1,horizontal)∈RW×1
FH＝Pool(L1,vertical)∈RH×1
FC＝Pool(L1,channel)∈RC×1
其中，RW×1表示实数域内形状为W×1的向量，RH×1表示实数域内形状为H×1的向量，RC×1表示实数域内形状为C×1的向量，average表示取特征图的平均值，max表示取特征图最大值，d表示对三维特征取最大值和平均值的方向；取平均值和最大值的结果进行通道拼接，即混合池化Pool(·,d)操作；分别对第一级多尺度融合特征L1使用Pool(L1,horizontal)，Pool(L1,vertical)和Pool(L1,channel)的水平/垂直/通道方向池化得到三个方向的特征描述向量FW、FH、FC，再分别经过两次全连接及Relu激活后，FC直接对输入特征进行通道加权，FW、FH分别复制H和W次到原特征图尺寸后再与原特征图相乘，即
θ(·)＝Relu(Conv1×1(·))2
WC＝θ(FC)∈R1×1×C
WH＝[θ(FH),θ(FH),...,θ(FH)]W×H∈RH×W×1
其中，θ(·)表示两个1×1卷积及Relu激活层串联，WC、WH、WW分别为通道、垂直、水平三个方向的注意力加权向量，RH×W×1表示实数域中高为H，宽为W，通道数为1的张量，RH×W×2则为相应的2通道张量，
表示矩阵按元素相乘，输出为一个宽与高为H×W的二通道特征图Fout，将该特征图进一步使用softmax函数将每个点映射到0-1区间内，得到二通道概率图P，即
其中，k的取值为0或1，Fout(i,j,k)二通道特征图上第k个通道的i行j列，P(i,j,k)表示二通道概率图第k个通道的i行j列；当第一通道大于第二通道，表示属于正常区域概率更大，反之表示为缺陷区域概率更大，按此规则比较每个点的概率大小，输出二值图，即
6.根据权利要求5所述的一种显示屏复杂画面的缺陷检测方法，其特征在于，步骤S5中采用交叉熵损失函数作为代价函数的计算方法为：
loss(i,j)＝-gt(i,j)logP(i,j,0)-(1-gt(i,j))logP(i,j,1)
其中，logP(i,j,0)为二通道概率图的第一个通道，表示第i行j列为缺陷的概率，取值范围在0-1之间的连续数值，logP(i,j,1)为第二通道，表示第i行j列为正常的概率，gt(i,j)为模拟标注图上的第i行j列，取值为1表示有缺陷，否则为正常区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210451745.4A CN114820521B (zh) | 2022-04-27 | 2022-04-27 | 一种显示屏复杂画面的缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210451745.4A CN114820521B (zh) | 2022-04-27 | 2022-04-27 | 一种显示屏复杂画面的缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114820521A CN114820521A (zh) | 2022-07-29 |
| CN114820521B true CN114820521B (zh) | 2023-04-07 |
Family
ID=82509674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210451745.4A Active CN114820521B (zh) | 2022-04-27 | 2022-04-27 | 一种显示屏复杂画面的缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114820521B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117274263B (zh) * | 2023-11-22 | 2024-01-26 | 泸州通源电子科技有限公司 | 一种显示器瘢痕缺陷检测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110599455A (zh) * | 2019-08-13 | 2019-12-20 | 武汉精立电子技术有限公司 | 显示屏缺陷检测网络模型、方法、装置、电子设备及存储介质 |
| CN112561904A (zh) * | 2020-12-24 | 2021-03-26 | 凌云光技术股份有限公司 | 一种降低显示屏外观aoi缺陷误检率的方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11927965B2 (en) * | 2016-02-29 | 2024-03-12 | AI Incorporated | Obstacle recognition method for autonomous robots |
| CN111179253B (zh) * | 2019-12-30 | 2023-11-24 | 歌尔股份有限公司 | 一种产品缺陷检测方法、装置与系统 |
| CN112381784B (zh) * | 2020-11-12 | 2024-06-25 | 国网浙江省电力有限公司信息通信分公司 | 一种基于多光谱图像的设备检测系统 |
| CN113160192B (zh) * | 2021-04-28 | 2022-09-16 | 北京科技大学 | 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置 |
-
2022
- 2022-04-27 CN CN202210451745.4A patent/CN114820521B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110599455A (zh) * | 2019-08-13 | 2019-12-20 | 武汉精立电子技术有限公司 | 显示屏缺陷检测网络模型、方法、装置、电子设备及存储介质 |
| CN112561904A (zh) * | 2020-12-24 | 2021-03-26 | 凌云光技术股份有限公司 | 一种降低显示屏外观aoi缺陷误检率的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114820521A (zh) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10896524B2 (en) | Method and system for color representation generation | |
| Marcos et al. | Classification of coral reef images from underwater video using neural networks | |
| CN111080511A (zh) | 一种端到端的高分辨率多特征提取的人脸交换方法 | |
| CN113011567B (zh) | 一种卷积神经网络模型的训练方法及装置 | |
| CN111242026B (zh) | 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法 | |
| CN114820521B (zh) | 一种显示屏复杂画面的缺陷检测方法 | |
| CN111882489A (zh) | 用于水下图像同时增强的超分辨率图形恢复方法 | |
| CN114742799B (zh) | 基于自监督异构网络的工业场景未知类型缺陷分割方法 | |
| CN110866879A (zh) | 一种基于多密度雨纹感知的图像去雨方法 | |
| CN111444924A (zh) | 一种病虫害检测及灾害等级分析方法及系统 | |
| CN112215859B (zh) | 一种基于深度学习和邻接约束的纹理边界检测方法 | |
| CN111652864A (zh) | 一种基于条件式生成对抗网络的铸件缺陷图像生成方法 | |
| CN116453104B (zh) | 液位识别方法、装置、电子设备及计算机可读存储介质 | |
| CN109902751B (zh) | 融合卷积神经网络和半字模板匹配的表盘数字字符识别法 | |
| CN114663392A (zh) | 一种基于知识蒸馏的工业图像缺陷检测方法 | |
| CN116030361A (zh) | 一种基于cim-t架构的高分辨率影像变化检测方法 | |
| CN116994044A (zh) | 一种基于掩码多模态生成对抗网络的图像异常检测模型的构建方法 | |
| Chang et al. | A Novel Multicategory Defect Detection Method Based on the Convolutional Neural Network Method for TFT‐LCD Panels | |
| CN114677722A (zh) | 一种融合多尺度特征的多监督人脸活体检测方法 | |
| JP7481956B2 (ja) | 推論装置、方法、プログラムおよび学習装置 | |
| CN111401209B (zh) | 一种基于深度学习的动作识别方法 | |
| CN113066074A (zh) | 一种基于双目视差偏移融合的视觉显著性预测方法 | |
| CN111563462A (zh) | 图像元素的检测方法及装置 | |
| CN112767331A (zh) | 基于零样本学习的图像异常检测方法 | |
| CN115546141A (zh) | 一种基于多维度度量的小样本Mini LED缺陷检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |