CN117078608B - 一种基于双掩码引导的高反光皮革表面缺陷检测方法 - Google Patents
一种基于双掩码引导的高反光皮革表面缺陷检测方法 Download PDFInfo
- Publication number
- CN117078608B CN117078608B CN202310979581.7A CN202310979581A CN117078608B CN 117078608 B CN117078608 B CN 117078608B CN 202310979581 A CN202310979581 A CN 202310979581A CN 117078608 B CN117078608 B CN 117078608B
- Authority
- CN
- China
- Prior art keywords
- highlight
- image
- mask
- defect
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 194
- 238000001514 detection method Methods 0.000 title claims abstract description 135
- 239000010985 leather Substances 0.000 title claims abstract description 76
- 238000002310 reflectometry Methods 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims description 57
- 230000006870 function Effects 0.000 claims description 32
- 239000013598 vector Substances 0.000 claims description 31
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 11
- 238000001491 hyper Rayleigh scattering spectroscopy Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 10
- 238000005286 illumination Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000002950 deficient Effects 0.000 claims description 2
- 230000006835 compression Effects 0.000 claims 1
- 238000007906 compression Methods 0.000 claims 1
- 238000007670 refining Methods 0.000 abstract description 2
- 230000004807 localization Effects 0.000 abstract 1
- 239000000047 product Substances 0.000 description 17
- 238000004519 manufacturing process Methods 0.000 description 8
- 238000004088 simulation Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000010287 polarization Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种基于双掩码引导的高反光皮革表面缺陷检测方法，主要解决当前高反光皮革制品的检测饱受高光干扰检测难度大的问题。包括：搭建一个双掩码指导的集联镜面高光检测与去除的缺陷检测模型，模型由多个大窗口注意力模块和MLP组成的高光去除网络、高光检测网络和缺陷检测网络组成，高光检测网络和缺陷检测网络分别生成高光掩码和缺陷掩码。在高光去除网络中使用高光掩码和缺陷掩码得到的修正后的高光掩码引导模型对输入的高反光皮革图像进行高光去除，得到粗糙漫反射图像，并再次使用修正后的高光掩码对粗糙漫反射图像进行细化，得到只包含高亮缺陷的漫反射图像。最后，对漫反射图像使用YOLOv5进行缺陷定位。
Description
技术领域
本发明属于图像处理技术领域，并且更具体地，涉及一种基于双掩码引导的高反光皮革表面缺陷检测方法，可用于工业视觉检测中对带有高亮瑕疵点的皮革缺陷进行准确识别与精准定位分割。
背景技术
在工业生产中，为了确保产品能够符合标准并且没有生产缺陷，通常需要对生产线上的产品进行检查，然而，由于产品数量通常非常大，仅仅依靠人工检查是不切实际的。
随着现代工业的发展，缺陷检测已经成为了生产过程中不可或缺的一环，而机器视觉技术的发展为缺陷检测提供了一种新的解决方案。即在生产线上安装摄像头和光源，并利用机器视觉技术对生产线上的产品进行图像分析，自动检测出产品表面的缺陷，从而提高生产效率和产品质量。
皮革行业是我国轻工业中的重要行业，皮革制品是一种高档的消费品，消费者通常会根据皮革的外观和品质来选择购买。但是，如果产品表面存在瑕疵，不仅会影响产品的美观度，而且还可能会影响产品的质量和使用寿命。由于镜面高光的出现，反光产品表面缺陷检测是一项具有挑战性的任务。例如，在反光皮革制品生产线上，加工操作不当或原料成分不佳可导致皮革制品表面形成各种类型、颜色、形状的缺陷，可严重损害最终产品的用户体验和使用寿命。因此，及时准确地检测反光皮革表面的缺陷，对于提高皮革制品质量具有重要意义。目前，大多数反光皮革制品生产线仍依赖于劳动密集型的人工检测，检测效率低，误报率高。为克服人工检测的局限性，工业视觉检测方法在检测各种反光产品方面逐渐成为趋势。
针对高反光物体的机器视觉检测技术取得了很多进展，包括光学硬件设计和检测算法的改进。在光学硬件设计方面，许多方法被提出，例如改变光照条件、引入偏振光、高动态范围成像等。其中，使用多个不同角度的光源收集反光物体图像，融合各类光照条件下的图像特征，并使用深度学习模型进行缺陷检测的方法已被证明是一种有效的解决方案。偏振光源是一种通过控制光源的偏振角度来实现的解决方案，能够减少反光度，并提高对物体表面的反射光的检测灵敏度。偏振光源通常采用斜照或侧照的方式，通过控制光源的偏振角度和方向，使得光线只照射到物体表面的一部分，并且只检测特定偏振方向的光线，从而达到减少反光度的目的。
传统的高光检测技术总是倾向于简化镜面高光的性质，比如假设光的颜色是白色的或者最亮的像素就是高光。因此，传统的镜面高光检测算法大多是基于阈值的策略，这些方法虽然简单快速，但需要许多先验知识，无法适应现实世界。现有的基于深度学习的高光去除方法已经取得了很大的进展，但仍然存在一些问题，其中一个主要的问题就是将高反光物体的高亮区域和高光区域混淆，将高亮缺陷区域误认为是高光区域，并将高亮缺陷区域错误地去除，影响缺陷检测的精度。
发明内容
为了克服上述现有技术的不足，本发明提出了一种基于双掩码引导的高反光皮革表面缺陷检测方法。此方法采用双掩码来指导深度学习模型进行高反光皮革表面缺陷检测，可以在保留高亮缺陷的同时去除镜面高光图像中的表面背景高光，随后使用流行的检测网络YOLOv5进行缺陷检测。具体来说，双掩码指导的集联镜面高光检测与去除的缺陷检测模型由多个大窗口注意力模块和MLP组成。首先，在高光检测和缺陷检测网络，分别生成高光掩码和缺陷掩码，随后，使用缺陷掩码对高光掩码进行修正，获得不含高亮缺陷的修正后的高光掩码。然后，在高光去除网络中利用修正后的高光掩码图像来引导模型对输入的高反光皮革图像进行高光去除，得到粗糙漫反射图像，并再次使用高光掩码对粗糙漫反射图像进行细化，得到只包含高亮缺陷的漫反射图像，最后将该漫反射图像输入到YOLOv5中进行缺陷检测，以实现更准确的缺陷检测和定位。
本发明的技术方案包括如下：一种基于双掩码引导的高反光皮革表面缺陷检测方法包括如下步骤：
步骤(1)，获取高光皮革漫反射图像数据集；
步骤(2)，搭建一个基于大窗口注意力模块的全连接图像变换网络，所述全连接图像变换网络由多个大窗口注意力模块和MLP组成，其中大窗口注意力模块包括大窗口卷积层和注意力机制；
步骤(3)，使用基于大窗口注意力模块的全连接变换网络构建高光去除网络、高光检测网络、缺陷检测网络；
步骤(4)，搭建一个双掩码指导的集联镜面高光检测与去除的缺陷检测模型，所述模型由高光去除网络，高光检测网络、缺陷检测网络组成；
步骤(5)，对高光皮革漫反射图像数据集中的图像进行预处理，然后利用处理后的图像数据集对双掩码指导的集联镜面高光检测与去除的缺陷检测模型进行训练，具体包括如下子步骤：
(5a)对高光皮革漫反射图像数据集中的高反光皮革图像进行预处理；
(5b)使用高光检测网络，缺陷检测网络和高光去除网络检测高反光皮革图像，分别生成高光掩码，缺陷掩码和粗糙漫反射图像；
其中，高光掩码包含皮革镜面高光和高亮缺陷，随后，使用缺陷掩码对高光掩码进行修正，即使用高光掩码减去缺陷掩码，得到修正后的高光掩码只含有镜面高光，在高光去除网络中利用修正后的高光掩码图像来引导模型对输入的高反光皮革图像进行高光去除，得到粗糙漫反射图像，并再次使用高光掩码对粗糙漫反射图像进行细化，得到只包含高亮缺陷的漫反射图像；
(5c)分别训练高光去除网络，高光检测网络、缺陷检测网络这三个分支网络，计算模型的损失函数，利用反向传播算法计算损失函数关于模型参数的梯度，并使用优化算法更新模型参数，重复以上步骤，直到完成所有的训练轮次；
步骤(6)，使用定位算法对双掩码指导的集联镜面高光检测与去除的缺陷检测模型输出的仅保留高亮缺陷的漫反射图像实现更精确的缺陷定位。
进一步的，步骤(1)的具体实现方式如下；
首先，收集多光照图像：固定光源的亮度，以捕获工业环境所需的高光图像(k)作为测试集，然后，改变光源的亮度来捕获低光图像(a)；
其次，获得高光-漫反射图像：选择传统的高光去除算法对低光条件下的图像(a)进行高光去除，得到图像(a)对应的漫反射图像(b)和镜面高光图像(c)；
然后，提高图像亮度：使用Photoshop软件来批量增加低光图像(a)和低光-漫反射图像(b)的亮度和饱和度，直到亮度和饱和度与采集的高光图像相同，最终获得与图像(k)亮度和饱和度相似的图像(e)和高光-漫反射图像(f)；
构建多个掩码和漫反射图像：对镜面高光图像(c)进行二值化操作，获得高光掩码图像(d)，即整体掩码，对图像中的高亮缺陷进行像素级标注，得到一个高亮缺陷掩码(h)，然后用整体掩码(d)减去高亮缺陷掩码(h)得到修正后的高光掩码图像(i)；通过将高亮缺陷掩码图像(h)和图像(g)逐像素相乘，将相乘得到的结果与高光-漫反射图像(f)相加得到缺陷-漫反射图像(j)，其中，(g)＝(f)+(c)；最终，由图像(g)、(j)、(i)、(h)组成SHLS数据集。
进一步的，步骤(2)中大窗口注意力模块的处理过程如下；
首先，将输入序列分割成多个局部区域，并通过大窗口卷积层对每个局部区域进行特征提取，这样，每个局部区域都被转换为一个特征向量；然后，将每个局部区域的特征向量作为键K和值(V)，而查询Q则是整个输入序列的特征向量；通过计算查询向量和键向量之间的相似度，得到注意力权重，这个注意力权重可以看作是一个加权系数，用于对每个局部区域的特征进行加权平均；这样，每个局部区域都得到一个上下文向量，它是对不同局部区域的特征进行加权平均后得到的全局特征表示，这些上下文向量被拼接在一起，形成最终的输出序列。
进一步的，步骤(3)中所述高光去除网络，高光检测网络和缺陷检测网络的结构基本相同，均包括Swin Transformer结构，多层感知机MLP block，大窗口注意力模块Lawinblock，残差结构和卷积层，三个网络只有最后的卷积层中参数不同，具体处理过程如下：
首先，将Swin Transformer骨干网络提取的特征输入到三组多层感知机MLPblock和大窗口注意力Lawin block，将MLP block和大窗口注意力Lawin block结合起来使用，能够提高特征表示的能力，并更好地捕捉到不同尺度的特征；其中，使用MLP block从骨干网络的输出特征中学习空间位置信息，而使用Lawin block来扩展滤波器的感受野并学习更多的语义信息；
然后，使用残差结构通过将输出的不同尺度的特征与初始输入相结合来学习完全分辨率的特征，用于聚焦于小尺寸的高光和缺陷区域；
最后，通过不同的输出卷积out1 Conv或者out2 Conv获得相应的掩码或漫反射图像，out1 Conv输出的是三通道的rgb图像，out2 Conv输出的是单通道的掩码图像；
其中高光去除网络通过输出卷积out1 Conv得到粗糙漫反射图像，高光检测网络通过输出卷积out2 Conv得到高光掩码，缺陷检测网络通过输出卷积out2 Conv得到缺陷掩码；out1 Conv含有三个Conv(3×3)卷积块，即独立的三个3×3卷积块，每个卷积块的输入和输出都是独立的；out2 Conv为一个含有Conv(3×3)→Conv(3×3)→Conv(3×3)卷积块，表示一个由三个连续的3×3卷积组成的块。
进一步的，步骤(5a)的具体实现方式如下；
首先，从图像数据集中随机选择一个批次的图像，并将图像切分为多个大小为H×W×C的图像块，然后，将每个图像块展平成一个向量，将多个图像块的向量按照一定的顺序连接在一起，形成一个序列，这个序列可以看作一系列展平的高反光皮革图像块，其维度为N×(P2*C)，其中N表示序列中图像块的数量，每个图像块的维度则是(P2*C)；
其次，对图像块进行嵌入，对每个(P2*C)的图像块进行线性变换，将维度从(P2*C)压缩为D，将其输入到三个分支中进行处理，其中P是图像块的大小，C是通道数量，D是处理后的序列中每个向量的维度。
进一步的，步骤(5b)中，根据高光掩码和高亮缺陷掩码，给定一个高反光皮革图像x，可以采用广义的镜面高光图像成像模型来描述，如下所示：
M(x)＝max[0,(M1-M2)]
根据经典的双色反射模型，广义的镜面高光图像成像模型表示将一张图像I表示为漫反射成分R和镜面高光成分S，高光区域二进制掩码M的线性融合；M1代表高光掩码，M2代表高亮缺陷掩码，表示逐像素点相乘，在双掩码指导的集联镜面高光检测与去除的缺陷检测模型中，通过使用掩码M1和M2作为高光位置的先验知识，生成粗糙漫反射图像，随后通过一个特征聚合模块将两个区域检测网络的输出M1和M2与粗糙漫反射图像组合，最终输出去除高光且保留高亮缺陷信息的漫反射图像。
进一步的，步骤(5c)中损失函数包括由四个部分组成：镜面高光检测损失，高亮缺陷检测损失，图像像素损失，图像风格损失；
(1)镜面高光区域检测损失：对于镜面高光区域检测任务，使用交叉熵损失函数来衡量生成掩码和真实掩码之间的差异，其中，LBCE-S为用于检测镜面高光区域的损失函数，LBCE-D为用于检测高亮缺陷区域，在训练中同时使用这两个损失函数，帮助网络更好的学习到镜面高光区域和高亮缺陷区域的特征，LBCE-S和LBCE-D表示为：
其中i表示每个像素的索引，和/>分别是高光掩码M1和缺陷掩码M2的元素，M′i和/>是像素属于镜面高光区域和高亮缺陷区域的预测概率，最终的高亮区域检测网络的总体损失表示为LBCE：
LBCE＝LBCE-S+LBCE-D
(2)镜面高光去除损失：为了确保模型输出的缺陷漫反射图像质量更好，采用风格损失函数Lstyle和像素损失Lpixel来衡量生成图像和真实图像之间的差异，Lstyle用来减少模型输出的漫反射图像D′和真实图像D之间的像素强度和纹理差异，Lpixel用来对像素和特征空间添加限制，即模型输出图像D′和真实图像D在像素空间和特征空间具有相似的统计特性，其公式如下：
Lstyle＝σ||ψ(D′)-ψ(D)||1
其中σ,α,β是常数，ψ(·)是Gram矩阵，用于计算特征映射间相关性，和/>分别表示图像在水平方向和垂直方向上的梯度；
综上所述，模型总损失函数定义如下：
其中ω1ω2ω3是损失函数中三个部分的权重系数，用于平衡三个部分的作用。
进一步的，步骤(6)中的定位算法为YOLOv5算法。
与现有技术相比，本发明的有益效果是：
本发明针对当前高光去除算法在高反光皮革缺陷检测中将高反光物体的高亮缺陷区域和高光区域混淆，把高亮缺陷区域误认为高光区域的问题。提出了一种基于双掩码引导的高反光皮革表面缺陷检测方法，基于生成的两个掩码，该方法能够在去除反光的同时保留高亮缺陷信息。通过使用BCE Loss、Image Style Loss和Gradient Loss等损失函数将高光检测与去除网络组合训练，相比于单独高光掩码指导的高光去除网络，本发明方法能够更好地区分高亮缺陷与高光背景，从而有效提高缺陷检测的效率。
附图说明
图1为本发明的整体技术流程图。
图2为本发明实施例中高光皮革漫反射图像数据集(SHLS)制作过程框架图。
图3为本发明实施例中大窗口注意力模块的基本结构。
图4为本发明实施例中基于双掩码指导的集联镜面高光检测与去除的缺陷检测模型框架图。
图5为基于不同掩码指导的高光去除网络示意图。
具体实施方式
为了更好地理解本发明的技术方案，下面结合附图对本发明具体实施方式进一步说明。
参照图1所示，本发明实施例提供的一种基于双掩码引导的高反光皮革表面缺陷检测方法，总体实现流程如下：
(1)设计一种由图像增强和高亮缺陷组成的高光-漫反射图像数据生成方法，生成高光皮革漫反射图像数据集(SHLS)；
参照图2，所述步骤(1)具体实施如下：
首先，收集多光照图像。固定光源的亮度，以捕获工业环境所需的一些高光图像(k)，然后，改变光源的亮度来获得低光照条件下的图像(a)。
其次，获得高光-漫反射图像。由于低光照条件下图像(a)的高光饱和度较低，所以选择双色反射模型对低光条件下的图像(a)进行高光去除，经典的双色反射模型将一张图像表示为漫反射成分即镜面高光消除结果和镜面高光成分的线性融合，即得到图像(a)对应的漫反射图像(b)和镜面高光图像(c)。双色反射模型将一张图像I表示为漫反射成分D(即镜面高光消除结果)和镜面高光成分S的线性融合，I＝D+S，这里采用双色反射模型对图像a处理得到漫反射成分图像(b)和镜面高光成分图像(c)。
然后，提高图像亮度。由于实际工业环境中高光图像(k)具有高亮度和强饱和度的特点，则使用Photoshop软件来批量增加低光图像(a)和漫反射图像图像(b)的亮度和饱和度，直到它们的亮度和饱和度与采集的高光图像相似，最终获得图像(a)对应的图像(e)和漫反射图像(b)对应的高光-漫反射图像(f)。
构建多个掩码和漫反射图像。对镜面高光图像(c)进行二值化操作，获得高光掩码图像(d)，由于传统双色反射模型不能区分高亮缺陷部分和高光，因此得到的高光掩码图像(d)同时包含高光掩码和高亮缺陷掩码，对图像中的高亮缺陷进行像素级标注，得到一个高亮缺陷掩码图像(h)，然后，用高光掩码图像(d)减去高亮掩码图像(h)得到修正后的高光掩码图像(i)，其中，修正后的高光掩码图像(i)只含有高光掩码，不含高亮缺陷掩码。最后，通过将高亮缺陷掩码图像(h)和图像(g)逐像素相乘，将相乘得到的结果与高光-漫反射图像(f)相加得到缺陷-漫反射图像(j)，其中，(g)＝(f)+(c)。最终，由图2中的图像(g)、(j)、(i)、(h)组成SHLS数据集。
(2)搭建一个基于大窗口注意力模块的全连接图像变换网络(也称为语义分割网络)，所述全连接图像变换网络由多个大窗口注意力模块和MLP组成；
所述步骤(2)具体实施如下：
参照图3所示，大窗口注意力模块的核心结构由两部分组成，即大窗口卷积层和注意力机制。大窗口卷积层相对于现有的普通卷积层具有更大的感受野、较少的卷积核数量和更大的卷积核尺寸等特点，这使得大窗口卷积层能够更好的捕获输入序列的局部特征。注意力机制则不仅能够自适应地对不同位置的特征进行加权处理，还可以增强模型对于重要特征的关注程度，提高模型的泛化能力。大窗口注意力模块通过大窗口卷积层提取输入序列的局部特征，再通过注意力机制对不同位置的特征进行加权处理，从而捕捉更大范围的特征，提高模型的感知和理解能力。
具体来说，大窗口注意力机制是大窗口注意力模块的一个组成部分，即注意力机制部分，在大窗口注意力机制中，首先，将输入序列分割成多个局部区域，并通过大窗口卷积层对每个局部区域进行特征提取，这样，每个局部区域都被转换为一个特征向量。然后，将每个局部区域的特征向量作为键(K)和值(V)，而查询(Q)则是整个输入序列的特征向量。通过计算查询向量和键向量之间的相似度，得到注意力权重。这个注意力权重可以看作是一个加权系数，用于对每个局部区域的特征进行加权平均。这样，每个局部区域都得到一个了一个上下文向量，它是对不同局部区域的特征进行加权平均后得到的全局特征表示，这些上下文向量被拼接在一起，形成最终的输出序列；
大窗口注意力模块的作用是扩大每个查询块的感受野。通过使用更大的上下文块获取更多的环境信息，并将其用于计算每个查询块的特征。在语义分割任务中，需要对图像中的每个像素进行分类，通常会将输入图像分成若干个上下文块，每个上下文块包含待处理像素周围一定范围内的像素信息，这些上下文块可以看作是特征提取的基本单位，帮助模型更好地理解图像中的局部结构和上下文信息。在将这些上下文块送入模型处理后得到一个输出张量。首先，将查询块和上下文块分别表示为和/>其中，R是上下文块与查询块的比值，C是通道数，H是Q的高度，W是Q的宽度。为了降低计算量并平衡查询块和大尺寸上下文块的维度，对上下文块进行池化处理，获得/>然后对L进行调整形状并转置得到/>其中，N＝H×W，受到MLP-Mixer的启发，随后将/>经过多个token-mixing MLP挖掘其空间信息以学习到丰富的空间特征表示/>表示为：
其中MLP＝{MLP1,MLP2,...,MLPh}，对Ls经过调整形状后得到对于有丰富空间语义信息的特征Lp和原始查询块，计算两者的多头注意力，计算方式如下：
MHA＝concat[A1；A2；...；Ah]Wmsha
其中Wq,Wk和Wv为学习的线性映射，A是代表注意力矩阵，表示输入序列中每个位置与其他位置之间的注意力权重，MHA代表多头自注意力机制，Qh代表查询矩阵，用于计算注意力矩阵A的一部分，代表上下文矩阵，h表示多头注意力机制中头部的数量，即将输入特征映射到多个子空间中，每一个子空间中都有一个头部，用于学习不同的特征表示，Dh代表每个注意力头部输出的特征向量的维度，/>是用于将多个头部的注意力向量加权聚合成一个输出向量的参数矩阵；
其中，MLP层由多个全连接层组成，用于非线性变换和特征提取，该层的输入为大窗口注意力模块的输出。
(3)使用基于大窗口注意力模块的全连接图像变换网络构建高光去除网络、高光检测网络、缺陷检测网络；
所述步骤(3)具体实施如下：
其中，使用基于大窗口注意力模块的全连接图像变换网络构建了高光去除网络、高光检测网络和缺陷检测网络，参照图4，它们内部结构都包含Transformer Stage、MLPblock和Lawin block模块等。尽管内部结构相似，但它们可以根据不同的需求进行差异化设计以实现不同的功能。高光去除网络、高光检测网络和缺陷检测网络都使用了大窗口注意力模块来提高模型的特征提取能力，以更好地处理高反光皮革的高光区域和缺陷区域。其中，高光检测网络和缺陷检测网络都使用相同的输入，即高反光皮革图像。
(4)搭建一个双掩码指导的集联镜面高光检测与去除的缺陷检测模型，所述模型由高光去除网络，高光检测网络、缺陷检测网络组成；
所述步骤(4)具体实施如下：
如图4所示，一个双掩码指导的集联镜面高光检测与去除的缺陷检测模型，由高光去除网络，高光检测网络、缺陷检测网络组成。
具体地，参照图4中的三个网络分支所示，设计了一个双掩码指导的集联镜面高光检测与去除的缺陷检测模型，用于集联高光检测和去除；模型的输入为一张高反光皮革图像(g)，该模型以Swin Transformer为骨干网络，表示为Transformer Stage，模型包括三个网络分支，每个网络分支都由基于大窗口注意力模块的全连接图像变换网络组成，即多个多层感知机MLP block和大窗口注意力模块Lawin block。即步骤(3)中所述高光去除网络，高光检测网络和缺陷检测网络的结构基本相同，均包括Swin Transformer结构，多层感知机MLP block，大窗口注意力模块Lawin block，残差结构和卷积层，三个网络只有最后的卷积层中参数不同，具体处理过程如下：
首先，将Swin Transformer骨干网络提取的特征输入到三组多层感知机MLPblock和大窗口注意力Lawin block，将MLP block和大窗口注意力Lawin block结合起来使用，能够提高特征表示的能力，并更好地捕捉到不同尺度的特征；其中，使用MLP block从骨干网络的输出特征中学习空间位置信息，而使用Lawin block来扩展滤波器的感受野并学习更多的语义信息；
然后，使用残差结构通过将输出的不同尺度的特征与初始输入相结合来学习完全分辨率的特征，用于聚焦于小尺寸的高光和缺陷区域；
最后，通过不同的输出卷积层out1 Conv或者out2 Conv获得相应的掩码或漫反射图像，out1 Conv输出的是三通道的rgb图像，out2 Conv输出的是单通道的掩码图像；
其中高光去除网络通过输出卷积层out1 Conv得到粗糙漫反射图像，高光检测网络通过输出卷积层out2 Conv得到高光掩码，缺陷检测网络通过输出卷积层out2 Conv得到缺陷掩码；out1.Conv含有三个Conv(3×3)卷积块，即独立的三个3×3卷积层，每个卷积层的输入和输出都是独立的，第一个卷积块，输入特征为前边高光去除网络提取的镜面高光特征(去除高光网络内部会把高光皮革分成两个部分特征即高光特征和漫反射特征)，第二个卷积块输入特征为修正后的高光掩码，第三个卷积块的输入特征为高光去除网络提取的漫反射特征，然后将三个卷积核的输出进行拼接融合；out2 Conv为一个含有Conv(3×3)→Conv(3×3)→Conv(3×3)卷积块，表示一个由三个连续的3×3卷积层组成的块。
(5)对高光皮革漫反射图像数据集中的图像进行预处理，然后利用处理后的图像集对双掩码指导的集联镜面高光检测与去除的缺陷检测模型进行训练，具体包括以下子步骤：
(5a)对高光皮革漫反射图像数据集中的图像进行预处理，具体实现方式如下：
首先，从训练集中随机选择一个批次的图像，并将图像切分为多个大小为H×W×C的图像块，然后，将每个图像块展平成一个向量，将多个图像块的向量按照一定的顺序连接在一起，形成一个序列，这个序列可以看作一系列展平的高反光皮革图像块，其维度为N×(P2*C)，其中N表示序列中图像块的数量，每个图像块的维度则是(P2*C)；
其次，对图像块进行嵌入，对每个(P2*C)的图像块进行线性变换，将维度从(P2*C)压缩为K。其中P是图像块的大小，C是通道数量，K是处理后的序列中每个向量的维度；
(5b)使用高光检测网络，缺陷检测网络和高光去除网络检测高反光皮革图像，分别生成高光掩码，缺陷掩码和粗糙漫反射图像；
使用高光检测网络来检测输入模型中的高反光皮革图像中的高光区域，并生成高光掩码。使用缺陷检测网络来检测输入模型中的高反光皮革图像中的缺陷区域，并生成缺陷掩码，随后，在双掩码指导的集联镜面高光检测与去除的缺陷检测模型中使用缺陷掩码对高光掩码进行修正，得到修正后的高光掩码，在高光去除网络中利用修正后的高光掩码图像来引导模型输入的高反光皮革图像进行高光去除，得到粗糙漫反射图像，并再次使用高光掩模对粗糙图像进行细化，得到只包含高亮缺陷的漫反射图像。
其中，所述步骤(5b)的具体实施如下：
首先，使用高光检测网络对高反光皮革图像进行处理，其主要作用是检测高反光皮革图像中的高光区域，并生成一个针对高光区域的二值掩码，即高光掩码图像。这个步骤的目的是标记高光区域，便于后续的处理；
其次，使用缺陷检测网络对高反光皮革图像进行处理，主要是用于检测高反光皮革图像中的高亮缺陷区域，并生成一个针对高亮缺陷区域的二值掩码，即缺陷掩码图像。这个步骤的目的是标记高亮缺陷区域，便于后续的处理；
然后，使用缺陷掩码对高光掩码进行修正，即使用高光掩码图像减去缺陷掩码图像生成修正后的高光掩码图像。这个步骤的目的是去除高光掩码中可能包含的高亮缺陷区域，使得高光掩码只标记高光区域；
最后，在高光去除网络中利用修正后的高光掩码图像来引导模型输入的高反光皮革图像进行高光去除，得到粗糙漫反射图像，即去除了高光区域的图像。整个过程的目的是将高反光皮革图像转化为粗糙漫反射图像，并再次用高光掩模对粗糙图像进行细化，以提高高光去除的精度，得到只包含高亮缺陷的漫反射图像；
在双掩码指导的集联镜面高光检测与去除的缺陷检测模型中，旨在通过学习镜面高光表面到漫反射表面的转换映射关系完成去高光的目的。已有方法经典的双色反射模型将一张图像I表示为漫反射成分R(即镜面高光消除结果)和镜面高光成分S的线性融合，其中这两个成分可以通过以下方式获得：
(1)漫反射成分(Diffuse Component)R：漫反射成分代表了光线在物体表面上发生漫反射后的部分。漫反射成分主要受到物体表面的粗糙度和物体的颜色属性的影响。在双色反射模型中，漫反射成分可以通过利用图像的颜色信息，结合物体表面法线和光照信息，进行计算或估计得到。
(2)镜面高光成分(Specular Component)S：镜面高光成分代表了光线在物体表面上发生镜面反射后的部分。镜面高光成分主要负责产生高亮区域和反射物体的镜面效果。在双色反射模型中，镜面高光成分可以通过分析图像中的高亮区域或反射物体的特征来提取或估计得到。
受此启发，根据高光掩码和高亮缺陷掩码，给定一个高反光皮革图像x，可以采用广义的镜面高光图像成像模型来描述，如下所示：
M(x)＝max[0,(M1-M2)]
广义的镜面高光图像成像模型表示将一张图像I表示为漫反射成分R(即镜面高光消除结果)和镜面高光成分S，高光区域二进制掩码M的线性融合。M1代表高光掩码，M2代表高亮缺陷掩码，表示逐像素点相乘，在双掩码指导的集联镜面高光检测与去除的缺陷检测模型中，通过使用掩码M1和M2作为高光位置的先验知识，生成粗糙漫反射图像，随后通过一个特征聚合模块将两个区域检测网络的输出M1和M2与粗糙漫反射图像组合，最终输出去除高光且保留高亮缺陷信息的漫反射图像。参照图5所示，从左到右依次为(a)无掩码指导高光去除网络，(b)基于单掩码指导的高光去除网络和本发明(c)基于双掩码来指导深度学习模型进行高反光皮革表面缺陷检测示意图。
(5c)分别训练三个分支网络，计算模型的损失函数，利用反向传播算法计算损失函数关于模型参数的梯度，并使用优化算法更新模型参数，重复以上步骤，直到完成所有的训练轮次；
步骤(5c)中的双掩码指导的集联镜面高光检测与去除的缺陷检测模型的损失函数如下：
为了联合训练网络，将上述三个分支网络融合到一个双掩码指导的集联镜面高光检测与去除模型中，该模型的训练通过一个高效的损失函数来监督，该损失函数包括由四个部分组成：镜面高光检测损失，高亮缺陷检测损失，图像像素损失，图像风格损失；
(1)镜面高光区域检测损失。对于镜面高光区域检测任务，使用交叉熵损失函数来衡量生成掩码和真实掩码之间的差异，其中，LBCE-S为用于检测镜面高光区域的损失函数，LBCE-D为用于检测高亮缺陷区域，在训练中同时使用这两个损失函数，帮助网络更好的学习到镜面高光区域和高亮缺陷区域的特征，LBCE-S和LBCE-D表示为：
其中i表示每个像素的索引，和/>分别是高光掩码M1和缺陷掩码M2的元素，/>和/>分别为像素属于镜面高光区域和高亮缺陷区域的预测概率，最终的高亮区域检测网络的总体损失表示为LBCE：
LBCE＝LBCE-S+LBCE-D
(2)镜面高光去除损失。为了确保模型输出的缺陷漫反射图像质量更好，采用图像风格转移领域常用的风格损失函数Lstyle和像素损失Lpixel来衡量生成图像和真实图像之间的差异，Lstyle用来减少模型输出的漫反射图像D′和真实图像D之间的像素强度和纹理差异，Lpixel用来对像素和特征空间添加限制，即模型输出图像D′和真实图像D在像素空间和特征空间具有相似的统计特性，其公式如下：
Lstyle＝σ||ψ(D′)-ψ(D)||1
其中σ,α,β是常数，ψ(·)是Gram矩阵，用于计算特征映射间相关性，和/>分别表示图像在水平方向和垂直方向上的梯度，综上所述，模型总损失函数定义如下：
其中ω1ω2ω3是损失函数中三个部分的权重系数，用于平衡三个部分的作用。基于训练过程和实验结果得出其中ω1和ω2都被赋予了相等的权重1.0，而ω2的权重为0.08。
步骤(6)，使用YOLOv5算法对双掩码指导的集联镜面高光检测与去除的缺陷检测模型输出的仅保留高亮缺陷的漫反射图像实现更精确的缺陷定位；
为了实现对高反光性皮革材料更准确的缺陷检测，将双掩码指导的集联镜面高光检测与去除的缺陷检测模型输出的仅保留高亮缺陷的漫反射图像作为YOLOv5的输入，将这些图像作为训练数据，使用YOLOv5模型来检测漫反射背景和缺陷明显的前景，以实现更准确的缺陷检测。
接下来通过具体的仿真实验对发明效果进行阐述：
本次仿真实验具体硬件设备为：计算机内存为32GB，处理器型号为i7-12700，显卡为RTX3080Ti，显存为12GB；
本次仿真实验具体软件环境为：Ubuntu16.04操作系统，Pytorch1.10.0框架，Python3.7；
实验使用自制的高光皮革漫反射图像数据集(SHLS)和公共数据集SHIQ验证本专利提出的基于大窗口注意力模块的高亮区域检测网络和基于双掩码指导的集联镜面高光检测与去除模型。SHLS数据集是通过对反光性皮革表面图像进行高光-漫反射图像数据生成方法而得到的，其中每一张图都有对应的真实检测和消除结果。SHIQ数据集是一个包含16K个镜面高光四元组的数据集，其中一个四元组数据包含一张输入图片、一张镜面高光消除图片、一张镜面高光检测图片以及一张镜面高光强度图片，其中12k用于训练，4k用于测试。SHLS图像数据集共有5个图像类别组成，包括522张清晰的反光性皮革表面图像组成，其中400张图片用于训练，剩下的122张用于测试。
仿真实验1，首先，分析了大窗口注意力模块的深度和宽度对模型的影响，其中深度和宽度分别由窗口下采样比例R和注意力的头数H控制。通过训练了不同窗口下采样比率和注意力头数的模型。测试结果在表1和表2中展示，其中，MIOU(H)是高亮区域的检测结果，MIOU(D)是缺陷区域的检测结果，Acc表示准确率，使用SSIM结构相似性指标为两个数据集去高光生成图像的质量结果。
表1MIOU(H)和MIOU(D)分别代表粗略高光区域和高亮缺陷区域的检测结果
表2模型的宽度随着多头注意力中头数的增加而变化
如表1所示，网络中只有3个比率的大窗口注意力机制，这是计算资源和计算能力的权衡结果。通过对公开数据集SHIQ和SHLS数据集的实验进行了验证，随着网络深度的增长，最大下采样比率逐渐增加，在SHIQ数据集中，Acc呈上升趋势，而在SHLS中，MIOU(H)和MIOU(D)均呈上升趋势，这种趋势主要归因于随着网络深度和下采样比率的增加，网络的非线性和感受野得到了改善，从而产生了更多的多尺度上下文信息。此外，还采用了多头策略来恢复丢失的空间依赖信息，表3显示增加MHA头数显著提高了模型的各种参数，证明了该策略的有效性。
仿真实验2，针对去高光后的图像，我们使用YOLOv5网络对其进行缺陷检测，并直接使用目标识别通用的精确率P，召回率R，精确率和召回率的调和平均数F1来用于评估检测效果。PSNR是峰值信噪比，为用于评估图像质量的指标，MSE为均方误差，测试结果在表3中展示。
表3不同去高光模型的高光去除效果以及利用YOLOv5进行缺陷检测结果。
如表2中给出实验结果所示，传统的去高光算法难以处理高亮度场景下的高光去除，使高光去除结果差，导致PSNR(峰值信噪比)和SSIM结果较低。深度学习方法虽然提高了高光去除的效果，但是无法准确区分高亮区域和缺陷区域。虽然深度学习方法比传统方法的图像生成效果SSIM和PSNR高，但是在缺陷检测方面的P,R和F1值反而降低，这是因为去高光的同时将缺陷也一并去除了。参考表3，本专利提出的高光去除方法生成的图像明显能够更好地表现出缺陷的特征，因此具有更高的PSNR和SSIM和更低的MSE，通过双掩码对粗糙图像进行合理的优化，对生成图像进行缺陷检测显示出的更高的P,R和F1证明了我们的方法通过区别高亮区域和缺陷区域，可以更好的在去除高光的同时保留缺陷信息。
综合以上实验结果，本发明提出的方法可以帮助模型更有效地去除高光，同时能够保留高亮缺陷信息，从而提高了缺陷检测的准确性和鲁棒性。特别地，在高反光皮革上的实验中，本发明提供的方法展现出了更好的缺陷检测效果。这表明，本发明提供的方法具有较高的实用性和应用前景，可以有效地应用于皮革等高反光材料的缺陷检测中。
Claims (8)
1.一种基于双掩码引导的高反光皮革表面缺陷检测方法，其特征在于，包括如下步骤：
步骤（1），获取高光皮革漫反射图像数据集；
步骤（2），搭建一个基于大窗口注意力模块的全连接图像变换网络，所述全连接图像变换网络由多个大窗口注意力模块和MLP组成，其中大窗口注意力模块包括大窗口卷积层和注意力机制；
步骤（3），使用基于大窗口注意力模块的全连接图像变换网络构建高光去除网络、高光检测网络、缺陷检测网络；
步骤（4），搭建一个双掩码指导的集联镜面高光检测与去除的缺陷检测模型，所述模型由高光去除网络，高光检测网络、缺陷检测网络组成；
步骤(5)，对高光皮革漫反射图像数据集中的图像进行预处理，然后利用处理后的图像数据集对双掩码指导的集联镜面高光检测与去除的缺陷检测模型进行训练，具体包括如下子步骤：
（5a）对高光皮革漫反射图像数据集中的高反光皮革图像进行预处理；
（5b）使用高光检测网络，缺陷检测网络和高光去除网络检测高反光皮革图像，分别生成高光掩码，缺陷掩码和粗糙漫反射图像；
其中，高光掩码包含皮革镜面高光和高亮缺陷，随后，使用缺陷掩码对高光掩码进行修正，即使用高光掩码减去缺陷掩码，得到修正后的高光掩码只含有镜面高光，在高光去除网络中利用修正后的高光掩码图像来引导模型对输入的高反光皮革图像进行高光去除，得到粗糙漫反射图像，并再次使用高光掩码对粗糙漫反射图像进行细化，得到只包含高亮缺陷的漫反射图像；
（5c）分别训练高光去除网络，高光检测网络、缺陷检测网络这三个分支网络，计算模型的损失函数，利用反向传播算法计算损失函数关于模型参数的梯度，并使用优化算法更新模型参数，重复以上步骤，直到完成所有的训练轮次；
步骤(6)，使用定位算法对双掩码指导的集联镜面高光检测与去除的缺陷检测模型输出的仅保留高亮缺陷的漫反射图像实现更精确的缺陷定位。
2.如权利要求1所述的一种基于双掩码引导的高反光皮革表面缺陷检测方法，其特征在于：步骤（1）的具体实现方式如下；
首先，收集多光照图像：固定光源的亮度，以捕获工业环境所需的高光图像(k)作为测试集，然后，改变光源的亮度来捕获低光图像(a)；
其次，获得高光-漫反射图像：选择传统的高光去除算法对低光条件下的图像(a)进行高光去除，得到图像(a)对应的漫反射图像(b)和镜面高光图像(c)；
然后，提高图像亮度：使用Photoshop软件来批量增加低光图像(a)和低光-漫反射图像(b)的亮度和饱和度，直到亮度和饱和度与采集的高光图像相同，最终获得与图像(k)亮度和饱和度相似的图像(e)和高光-漫反射图像(f)；
构建多个掩码和漫反射图像：对低光条件下的高光图像(c)进行二值化操作，获得整体高光掩码(d)，即整体掩码，对图像中的高亮缺陷进行像素级标注，得到一个高亮缺陷掩码(h)，然后将整体掩码(d)减去高亮缺陷掩码(h)得到修正后的高光掩码(i)；通过将高亮缺陷掩码图像(h)和图像(g)逐像素相乘，将相乘得到的结果与高光-漫反射图像(f)相加得到缺陷-漫反射图像(j)，其中，(g)=(f)+(c)；最终，由图像(g)、(j)、(i)、(h)组成SHLS数据集。
3.如权利要求1所述的一种基于双掩码引导的高反光皮革表面缺陷检测方法，其特征在于：步骤（2）中大窗口注意力模块的处理过程如下；
首先，将输入序列分割成多个局部区域，并通过大窗口卷积层对每个局部区域进行特征提取，这样，每个局部区域都被转换为一个特征向量；然后，将每个局部区域的特征向量作为键K和值V，而查询Q则是整个输入序列的特征向量；通过计算查询向量和键向量之间的相似度，得到注意力权重，这个注意力权重是一个加权系数，用于对每个局部区域的特征进行加权平均；这样，每个局部区域都得到一个上下文向量，它是对不同局部区域的特征进行加权平均后得到的全局特征表示，这些上下文向量被拼接在一起，形成最终的输出序列。
4.如权利要求1所述的一种基于双掩码引导的高反光皮革表面缺陷检测方法，其特征在于：步骤（3）中所述高光去除网络，高光检测网络和缺陷检测网络的结构基本相同，均包括Swin Transformer结构，多层感知机MLP block，大窗口注意力模块Lawin block，残差结构和卷积层，三个网络只有最后的卷积层中参数不同，具体处理过程如下：
首先，将Swin Transformer骨干网络提取的特征输入到三组多层感知机MLP block和大窗口注意力Lawin block，将MLP block和大窗口注意力Lawin block结合起来使用，能够提高特征表示的能力，并更好地捕捉到不同尺度的特征；其中，使用MLP block从骨干网络的输出特征中学习空间位置信息，而使用Lawin block来扩展滤波器的感受野并学习更多的语义信息；
然后，使用残差结构通过将输出的不同尺度的特征与初始输入相结合来学习完全分辨率的特征，用于聚焦于小尺寸的高光和缺陷区域；
最后，通过不同的输出卷积out1 Conv或者out2 Conv获得相应的掩码或漫反射图像，out1 Conv输出的是三通道的rgb图像，out2 Conv输出的是单通道的掩码图像；
其中高光去除网络通过输出卷积out1 Conv得到粗糙漫反射图像，高光检测网络通过输出卷积out2 Conv得到高光掩码，缺陷检测网络通过输出卷积out2 Conv得到缺陷掩码；其中，out1 Conv含有三个Conv(3×3)卷积块，即独立的三个 3×3 卷积块，每个卷积块的输入和输出都是独立的；out2 Conv为一个含有Conv(3×3)→Conv(3×3)→Conv(3×3)卷积块，表示一个由三个连续的3×3卷积组成的块。
5.如权利要求1所述的一种基于双掩码引导的高反光皮革表面缺陷检测方法，其特征在于：步骤（5a）的具体实现方式如下；
首先，从图像数据集中随机选择一个批次的图像，并将图像切分为多个大小为的图像块，然后，将每个图像块展平成一个向量，将多个图像块的向量按照一定的顺序连接在一起，形成一个序列，这个序列看作一系列展平的高反光皮革图像块，其维度为/>，其中/>表示序列中图像块的数量，每个图像块的维度则是/>；
其次，对图像块进行嵌入，对每个的图像块进行线性变换，将维度从/>压缩为K，将其输入到三个分支中进行处理，其中P是图像块的大小，C是通道数量，K是处理后的序列中每个向量的维度。
6.如权利要求1所述的一种基于双掩码引导的高反光皮革表面缺陷检测方法，其特征在于：步骤（5b）中，根据高光掩码和高亮缺陷掩码，给定一个高反光皮革图像，采用广义的镜面高光图像成像模型来描述，如下所示：
；
；
根据经典的双色反射模型，广义的镜面高光图像成像模型表示将一张图像I表示为漫反射成分R和镜面高光成分S，高光区域二进制掩码的线性融合；/>代表高光掩码，/>代表高亮缺陷掩码，/>表示逐像素点相乘，在双掩码指导的集联镜面高光检测与去除的缺陷检测模型中，通过使用掩码/>和/>作为高光位置的先验知识，生成粗糙漫反射图像，随后通过一个特征聚合模块将两个区域检测网络的输出/>和/>与粗糙漫反射图像组合，最终输出去除高光且保留高亮缺陷信息的漫反射图像。
7.如权利要求1所述的一种基于双掩码引导的高反光皮革表面缺陷检测方法，其特征在于：步骤（5c）中损失函数包括由四个部分组成：镜面高光检测损失，高亮缺陷检测损失，图像像素损失，图像风格损失；
（1）镜面高光区域检测损失：对于镜面高光区域检测任务，使用交叉熵损失函数来衡量生成掩码和真实掩码之间的差异，其中，为用于检测镜面高光区域的损失函数，/>为用于检测高亮缺陷区域，在训练中同时使用这两个损失函数，帮助网络更好的学习到镜面高光区域和高亮缺陷区域的特征，/>和/>表示为：
；
；
其中i表示每个像素的索引，和/>分别是高光掩码/>和缺陷掩码/>的元素，/>和是像素属于镜面高光区域和高亮缺陷区域的预测概率，最终的高亮区域检测网络的总体损失表示为/>：
；
（2）镜面高光去除损失：为了确保模型输出的缺陷漫反射图像质量更好，采用风格损失函数和像素损失/>来衡量生成图像和真实图像之间的差异，/>用来减少模型输出的漫反射图像/>和真实图像/>之间的像素强度和纹理差异，/>用来对像素和特征空间添加限制，即模型输出图像/>和真实图像/>在像素空间和特征空间具有相似的统计特性，其公式如下：
；
；
其中σ, α ,β是常数，是Gram矩阵，用于计算特征映射间相关性，/>和/>分别表示图像在水平方向和垂直方向上的梯度；
综上所述，模型总损失函数定义如下：
；
其中 是损失函数中三个部分的权重系数，用于平衡三个部分的作用。
8.如权利要求1所述的一种基于双掩码引导的高反光皮革表面缺陷检测方法，其特征在于：步骤（6）中的定位算法为YOLOv5算法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310979581.7A CN117078608B (zh) | 2023-08-06 | 2023-08-06 | 一种基于双掩码引导的高反光皮革表面缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310979581.7A CN117078608B (zh) | 2023-08-06 | 2023-08-06 | 一种基于双掩码引导的高反光皮革表面缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117078608A CN117078608A (zh) | 2023-11-17 |
| CN117078608B true CN117078608B (zh) | 2024-01-26 |
Family
ID=88718663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310979581.7A Active CN117078608B (zh) | 2023-08-06 | 2023-08-06 | 一种基于双掩码引导的高反光皮革表面缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117078608B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108520274A (zh) * | 2018-03-27 | 2018-09-11 | 天津大学 | 基于图像处理及神经网络分类的高反光表面缺陷检测方法 |
| CN112508800A (zh) * | 2020-10-20 | 2021-03-16 | 杭州电子科技大学 | 一种基于注意力机制的单张灰度图像的金属零件表面高光去除方法 |
| CN115482220A (zh) * | 2022-09-21 | 2022-12-16 | 淮阴工学院 | 基于改进Faster RCNN的高反光金属表面缺陷检测方法 |
| CN115880223A (zh) * | 2022-11-10 | 2023-03-31 | 淮阴工学院 | 一种基于改进yolox的高反光金属表面缺陷检测方法 |
| WO2023070911A1 (zh) * | 2021-10-27 | 2023-05-04 | 西安工程大学 | 一种基于自注意力的彩色纹理织物缺陷区域的检测方法 |
| WO2023109221A1 (zh) * | 2021-12-14 | 2023-06-22 | 北京地平线信息技术有限公司 | 确定单应性矩阵的方法、装置、介质、设备和程序产品 |
-
2023
- 2023-08-06 CN CN202310979581.7A patent/CN117078608B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108520274A (zh) * | 2018-03-27 | 2018-09-11 | 天津大学 | 基于图像处理及神经网络分类的高反光表面缺陷检测方法 |
| CN112508800A (zh) * | 2020-10-20 | 2021-03-16 | 杭州电子科技大学 | 一种基于注意力机制的单张灰度图像的金属零件表面高光去除方法 |
| WO2023070911A1 (zh) * | 2021-10-27 | 2023-05-04 | 西安工程大学 | 一种基于自注意力的彩色纹理织物缺陷区域的检测方法 |
| WO2023109221A1 (zh) * | 2021-12-14 | 2023-06-22 | 北京地平线信息技术有限公司 | 确定单应性矩阵的方法、装置、介质、设备和程序产品 |
| CN115482220A (zh) * | 2022-09-21 | 2022-12-16 | 淮阴工学院 | 基于改进Faster RCNN的高反光金属表面缺陷检测方法 |
| CN115880223A (zh) * | 2022-11-10 | 2023-03-31 | 淮阴工学院 | 一种基于改进yolox的高反光金属表面缺陷检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| New Framework for Highlights Removal Based on CycleGAN;Li Li et al.;《2022 34th Chinese Control and Decision Conference (CCDC)》;全文 * |
| Surface Defect Detection of Highly Reflective Leather Based on Dual-Mask-Guided Deep-Learning Model;Shaojiang Yuan et al.;《IEEE Transactions on Instrumentation and Measurement 》;第8卷;全文 * |
| 基于Mask R-CNN的铸件X射线DR图像缺陷检测研究;蔡彪;沈宽;付金磊;张理泽;;仪器仪表学报(03);全文 * |
| 基于多视角序列图像的高光去除CycleGAN网络;郭圣逸 等;《郑州大学学报(理学版)》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117078608A (zh) | 2023-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111223088B (zh) | 一种基于深层卷积神经网络的铸件表面缺陷识别方法 | |
| CN109829914B (zh) | 检测产品缺陷的方法和装置 | |
| CN103424409B (zh) | 一种基于dsp的视觉检测系统 | |
| WO2022236876A1 (zh) | 一种玻璃纸缺陷识别方法、系统、装置及存储介质 | |
| CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
| CN111611874B (zh) | 基于ResNet和Canny的人脸口罩佩戴检测方法 | |
| CN112132196B (zh) | 一种结合深度学习和图像处理的烟盒缺陷识别方法 | |
| CN114897816A (zh) | 基于改进掩膜的Mask R-CNN矿物颗粒识别以及粒度检测方法 | |
| Fan et al. | Application of YOLOv5 neural network based on improved attention mechanism in recognition of Thangka image defects | |
| CN117557565B (zh) | 一种锂电池极片的检测方法及其装置 | |
| CN109064444B (zh) | 基于显著性分析的轨道板病害检测方法 | |
| CN117910073A (zh) | 基于3d打印技术的工艺品包装设计优化系统及方法 | |
| CN109815957A (zh) | 一种基于彩色图像在复杂背景下的文字识别方法 | |
| CN117451716A (zh) | 一种工业产品表面缺陷检测方法 | |
| CN117409244A (zh) | 一种SCKConv多尺度特征融合增强的低照度小目标检测方法 | |
| CN107273793A (zh) | 一种用于人脸识别的特征提取方法 | |
| CN117078608B (zh) | 一种基于双掩码引导的高反光皮革表面缺陷检测方法 | |
| CN116051808A (zh) | 一种基于YOLOv5的轻量化零件识别定位方法 | |
| CN116912670A (zh) | 基于改进yolo模型的深海鱼类识别方法 | |
| CN114565563A (zh) | 基于人工智能的彩钢板表面异常检测方法 | |
| CN113205136A (zh) | 一种用于电源适配器外观缺陷的实时高精度检测方法 | |
| Sun et al. | Intelligent Site Detection Based on Improved YOLO Algorithm | |
| CN112381747A (zh) | 基于轮廓特征点的太赫兹与可见光图像配准方法及装置 | |
| CN114757892B (zh) | 基于人工智能的透视材料缺陷检测方法与系统 | |
| CN117726627B (zh) | 芯片表面缺陷检测方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |