CN117593304A - 基于交叉局部全局特征的半监督工业品表面缺陷检测方法 - Google Patents

基于交叉局部全局特征的半监督工业品表面缺陷检测方法 Download PDF

Info

Publication number
CN117593304A
CN117593304A CN202410077115.4A CN202410077115A CN117593304A CN 117593304 A CN117593304 A CN 117593304A CN 202410077115 A CN202410077115 A CN 202410077115A CN 117593304 A CN117593304 A CN 117593304A
Authority
CN
China
Prior art keywords
representing
features
feature
information
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410077115.4A
Other languages
English (en)
Other versions
CN117593304B (zh
Inventor
李刚
李敏
周鸣乐
李旺
韩德隆
冯正乾
苏占智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Shanke Digital Economy Research Institute Co ltd
Original Assignee
Shandong Shanke Digital Economy Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Shanke Digital Economy Research Institute Co ltd filed Critical Shandong Shanke Digital Economy Research Institute Co ltd
Priority to CN202410077115.4A priority Critical patent/CN117593304B/zh
Publication of CN117593304A publication Critical patent/CN117593304A/zh
Application granted granted Critical
Publication of CN117593304B publication Critical patent/CN117593304B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及工业计算机视觉领域，提出了一种基于交叉局部全局特征的半监督工业品表面缺陷检测方法，包括：（1）收集工业品检测面的图像；（2）选择部分获取的检测面图像进行人工数据标注，将图像和标签文件进行数据预处理和划分；（3）搭建交叉局部全局双连接并行网络，提取工业品表面缺陷的局部细粒度信息和全局语义信息；（4）搭建跨层闭环聚合网络，实现多层次的特征循环聚合；（5）从聚合网络中的三层特征中识别出最终的缺陷种类及位置；（6）对整个模型进行半监督训练，加速模型的收敛速度；（7）选取参数权重最优的模型用于工业品表面的缺陷检测。本发明可实现高精度和实时性的缺陷检测。

Description

基于交叉局部全局特征的半监督工业品表面缺陷检测方法
技术领域
本发明涉及一种用于对工业产品（如玻璃瓶）表面的复杂缺陷进行检测的方法，属于工业计算机视觉（表面缺陷检测）技术领域。
背景技术
在智能制造和智能工厂的环境中，对于工业生产线上工业制品质量的严格控制变得尤为重要，产品的表面缺陷会导致产品的性能和寿命降低，增加生产的成本，甚至会危害消费者的安全。因此，精准检测出玻璃瓶等工业制品表面缺陷具有重要意义。同时，人工智能和计算机视觉的在工业领域的快速拓展，为智能化的高精度表面缺陷检测任务提供了技术和理论支撑。
目前，以Haar-like小波特征和Canny边缘检测为代表的传统缺陷检测算法存在检测过程复杂耗时、对复杂特征的描述能力有限等问题，过低的准确率和效率无法满足复杂工业场景的检测的要求。随着卷积神经网络的崛起，基于全卷积神经网络的有监督方法在工业缺陷检测领域得到了广泛的认可和应用。相较于传统方法，既提升了检测的准确率又保证了模型检测的实时性。但是，针对玻璃瓶缺陷尺度变化大、缺陷目标微小等难题，这些方法过分关注图像的局部特征，容易忽略全局的语义信息，导致模型检测性能变差，泛化能力弱。同时，有监督模型在训练过程中需要大量的有标签数据，然而在实际工业领域应用中，无标签数据更易于获取。
因此，对大量无标签数据进行人工的处理或收集大量有标签的数据成本较高。上述难题均严重制约了对复杂工业缺陷的精准识别。
中国专利文献CN112750113A公开一种《基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置》，应用于采用CCD摄像机获取图像数据的缺陷检测；所述方法包括：利用人工智能的自学习能力，建立检测目标的检测图像特征与检测目标的质量分类之间的对应关系；其中，所述质量分类包括无缺陷、有裂痕、有污染和有异物；获取当前检测目标的原始图像，并确定所述原始图像中的检测区域；依据所述检测区域和所述原始图像生成对应于所述当前检测目标的当前检测图像；通过所述对应关系，确定与所述当前图像特征对应的当前质量分类。通过提取出检测区域，删除图像中的无关区域，将只含有检测区域的图像输入到人工神经网络中进行缺陷检测，减少计算机的计算负担的同时加快检测速度。
CN111077162A提供了一种玻璃瓶缺陷检测系统，所述检查装置中设置有承载单元、缺陷检测单元、判断单元、信息处理单元、调节支撑单元以及控制单元，该缺陷检测装置根据光学以及摄像分析结合，设置了传感器单元以及控制单元，能有效提高玻璃瓶缺陷检测工作的便捷性以及缺陷检测的准确度，进而提高玻璃品产品的良品率，且设置判断单元以及信息处理单元，能有效分析出玻璃瓶的缺陷类型。
上述玻璃瓶缺陷检测技术只是在一定程度上提高了检测效率，但是没有考虑玻璃瓶中尺度变化剧烈、背景复杂缺陷的问题，不能实现对玻璃瓶中尺度变化剧烈、背景复杂的缺陷精准检测，制约了对复杂工业缺陷的精准识别。
发明内容
针对现有工业品表面缺陷检测技术存在的上述问题，本发明提供一种基于交叉局部全局特征的半监督工业品表面缺陷检测方法，在精心设计的半监督训练策略的加持下，使用少量标注样本和大量无标注样本即可实现对工业品背景复杂缺陷的精准检测。
本发明基于交叉局部全局特征的半监督工业品表面缺陷检测方法，包括如下步骤：
（1）收集工业品检测面的图像；
（2）选择部分收集的检测面图像进行人工数据标注，将图像和标签文件进行数据预处理和划分；
（3）搭建交叉局部全局双连接并行网络，提取工业品表面缺陷的局部细粒度信息和全局语义信息；
（4）搭建跨层闭环聚合网络，实现多层次的特征循环聚合，以同时考虑深浅层的语义和细粒度纹理信息；
（5）搭建工业品缺陷检测器，从聚合网络中的三层特征中识别出最终的缺陷种类及位置；
（6）对整个模型进行半监督训练，使用动态优化回归损失函数，精准确定回归框顶点坐标的最佳分布，加速模型的收敛速度；
（7）模型训练完成后，选取参数权重最优的模型用于工业品表面的缺陷检测。
所述步骤（1）中收集工业品检测面图像的过程是通过相机拍摄检测面，获得检测面图像，对获得的检测面图像按步骤（2）至步骤（7）进行处理。
所述步骤（2）的具体实现过程如下所述：
将实时收集的部分工业品缺陷图像进行人工标注，分为有标签数据和无标签数据/>，有标签数据/>包括N个目标框/>，包含了N个类别标注/>，另一部分无标签数据/>送入到/>函数进行细粒度显著性处理，得到/>；将数据集经过数据增强处理（裁剪、随机掩码等，得到数据图像/>、/>和/>；
，
其中，表示图像不同尺度的索引；/>表示融合不同尺度图像时的尺度权重；/>表示计算图像横向和纵向上的梯度；/>是图像中的每个像素；/>表示图像的对比度计算结果；/>是下采样操作；/>是接近于0的整数；/>是距离中心的偏移；/>是高斯分布的标准差。
所述步骤（3）中搭建交叉局部全局双连接并行网络的过程是：
搭建从浅层局部特征粗提取到全局语义精细化的双连接并行网络；其中，一支通过对原始图像的浅层粗粒度信息提取，另一支则是将放大采样后的高分辨率图像进行全局语义精细化的细粒度信息提取；同时，每一层级的并行提取都要经过差异化特征重塑机制RFR将来自两个并行分支的特征进行差异化处理。
所述浅层局部特征粗提取包含两个残差结构，顺序链接了双重交互卷积注意力和对称残差结构/>来关注细微缺陷的细粒度特征，如以下公式所示：
)
其中，代表上一层的特征；
所述双重交互卷积注意力，包括多通道的分组多头注意力操作和3×3普通卷积操作两个前置分支，随后又对空间位置信息和通道纹理信息进行交互聚合；输入特征，其中通道分支/>先经过分组卷积，使用定义的可学习超参数/>将特征通道划分成/>组通道，其中/>作为/>中的多头数，随着网络的训练学习不同通道下的局部感受野来调整通道的分组；然后,逐通道组的经过自适应池化层聚合特征映射的空间信息，将其分别送入到全连接层MLP对特征图的空间维度进行压缩并相加；最后经过Sigmoid得到注意力得分后与原特征相乘得到每个通道组需要关注的细粒度信息；此时再通过逐点卷积将每个通道组进行深度融合得到/>，/>经过卷积分支后对整体感受野内的特征进行合得到，将/>送入空间位置编码路径SP，得到/>；将/>送入通道信息编码路径CP，得到/>；然后将得到/>和/>分别于/>和/>进行二次加权交互融合；通过这种交互策略，局部特征粗提取同时捕获通道细粒度信息和空间位置信息，并实现不同维度之间的块内特征聚合；公式如下：
，
，
，
，
，
，
其中，代表/>操作；/>代表不同的分组个数；/>代表特征总通道数；/>代表元素相乘；/>代表元素相加；/>表示卷积操作；/>表示Sigmoid激活函数；/>表示自适应平均池化操作；/>代表逐通道卷积融合操作；/>表示全连接层。
所述对称残差结构是通过一种对称分布的残差结构，对双重交互的通道和空间信息进行增强:
，
其中，表示GELU激活函数，/>代表3×3的轻量化卷积，/>表示1×1的卷积。
所述全局语义精细化通过幽灵线性映射的方式设计幽灵多头自注意力模块来捕获缺陷语义信息弱的全局语义信息；为了缓解自注意力专注于捕获全局特征的局限性，同时将特征送入一个卷积分支，将部分局部性通过全连接层MLP进行特征内聚然后引入到全局中。
所述差异化特征重塑机制RFR，致力于衡量两个并行路径特征的差异，同时使用重塑函数将显著差异特征重塑化；具体来说，通过将局部特征粗提取分支和全局语义精细化分支的特征分布近似为两个服从概率分布的样本集合P和Q，通过使用高斯函数/>将样本集合输入空间映射到一个多维特征空间中，然后通过求解多维空间中特征向量与特征向量之间在每一个维度上的均值；考虑到/>是多维的，无法直接计算，因此将两个期望值的距离差值先进行平方处理，然后将平方后的三项进行求和；均值的大小能够无限估计两个特征分布的期望值，通过期望值度量两个分布在特征空间中的差异程度，以此来刻画两个不同分支在整个特征空间的相似度；然后将相似度值使用二次分配函数/>进行权重的调整，得到两个不同的归一化权重值/>和/>；将两个权重值重新分配给两个原始特征分布，弱化背景特征信息所占比重，以此突出了差异特征；公式如下：
，
，
，
，
其中，P和Q分别代表来自两个分支不同的特征信息近似为的特征样本集合；是以e为低的指数函数；/>代表核函数的局部作用范围；/>表高斯核函数；/>表示可学习的参数；/>和/>分别代表两个不同特征的在空间分布中的不同特征信息；/>代表特征对位相加；/>代表特征相乘。
所述步骤（4）的实现过程如下所述：
跨层闭环聚合网络包含U型结构和跨层融合结构CLF；U型结构首先将多尺度特征层F5，F4，F3，F2依次分别经过过度模块进行采样细化恢复；/>包含两部分，当/>时，/>是将F5，F4和F3均经过上采样两倍和C3特征提取模块，同时，/>细化恢复后的特征也会传递给/>层，以弥补特征在逐步细化过程中丢失的细粒度信息，当/>时，/>是将层的特征再浅及深的经过下采样层和C3特征提取模块来二次细化提取特征；
；
通过CLF将跨层特征和/>进行渐进式交互融合，/>表示CLF的个数，然后将每两层浅层和深层特征融合后的结果反馈给/>深层特征，同时传递给下一层的CLF, 形成了闭环的有效融合；CLF首先将高层特征/>经过卷积激活层激活深层特征中的语义信息，然后经过池化层过滤背景语义，最后对特征使用全连接层操作对高层特征/>先后进行缩放和还原以提取深层的语义信息；将提取到的语义信息经过激活函数激活得到重要性得分后与底层特征/>相乘来起到缓解两者语义信息的作用（利用它们之间的相互依赖关系，网络可以专注于分析微小缺陷的语义），与此同时，将/>继续送入卷积激活层激活浅层细粒度特征，然后分别经过平均池化和最大池化层进行不同程度的细粒度信息聚合；将聚合后的操作再经过激活函数得到重要性得分与高层特征/>相乘得到带有底层纹理信息关注度的高层语义特征/>，充分将细粒度信息与深层特征融合。最终将/>和/>拼接融合作为CLF的输出；如下公式所示：
，
，
，
，
其中表示ReLu激活函数，/>表示自适应平均池化操作,,/>表示元素相乘，/>和/>分别表示对/>和的缩放还原操作，其中/>。
所述步骤（5）的具体实现过程如下所述：
工业品缺陷检测器的目的是将跨层闭环聚合网络中的三层特征图送入到两个并行的分支中，其中空间分支是通过级联的两个全连接层，区分完整缺陷和部分缺陷，最终完成缺陷的分类；同时，通道分支级联了3×3的空洞卷积和1×1的普通卷积，帮助模型能够准确的关注到背景噪声复杂的缺陷；具体操作公式如下：
，
，
其中表示逐点卷积，/>指深度卷积。
所述步骤（6）的具体实现过程如下所述：
半监督训练是将标签数据依次输入到S模型（学生模型）中的交叉局部全局双连接并行网络中训练，实现对部分标签图像中缺陷特征的充分提取，保证S模型能够对缺陷特征保持敏感；同时将部分的无标签数据/>输入到网络中训练；
训练过程中使用动态优化回归损失函数作为回归损失，/>作为分类损失，作为置信度损失，总损失函数公式如下：
，
，
其中,是模型的预测概率，/>∈[0,1]是平衡因子，/>、/>、/>是三个可学习的参数；
，
，
其中和/>分别表示真实框和预测框的坐标分布；/>表示两个矩形的最小外接对角线长度；/>为平衡因子，是用来权衡长宽比例造成的损失和IoU部分的造成的损失；/>、/>、/>、/>分别是真实框和预测框的高和宽；/>表示两框之间的距离差；
使用四个顶点之间的距离描述预测框和真实框之间的差异，根据提供更准的梯度信息继续指导模型继续向这部分距离比loss减少的方向来收敛，考虑两框的四对顶点之间的耦合关系和动态最短距离，引入形变向量，将两框近似为两个矩形；然后通过将/>最小化，将预测框回归到真实框的过程类比成将一个矩形映射到另一个矩形过程的建模过程；
，
，
，
为了在动态调整四个点的最佳分布时保证预测框的映射一致性，为设置了约束条件，即当调整某个顶点分布的时候，要使得临近点之间的位移相近，保证/>的整体变化尽可能小；定义最小化/>，同时约束临近点之间的/>应该相似，通过求解最小值优化问题，得到最优的形变向量，从而将预测框映射到真实框上；
，
其中，用于平衡L2范数和相邻点之间形变向量的相似度约束；/>表示第/>个点在两个矩形之间的位移；
为了求解的优化问题，通过引入拉格朗日乘子/>和/>，将带有约束的形变向量优化问题转化为一个不带约束的优化问题，即：
，
通过求解函数的一阶导数和二阶导数来获得最优解：
一阶导数条件：
，
，
，
，
二阶导数条件：
，
，
因此，根据一阶条件和二阶条件，得到每个和/>的最优解，即：
，
。
所述步骤（7）的具体过程是，模型训练300轮后，通过测试集评估表现最优的模型并保留其相应的权重文件，确保准确无误的把缺陷识别出来。
一种计算机可读存储介质，该可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现以上所述的工业品表面缺陷检测方法的步骤。
本发明在智能制造和智能工厂的背景下，通过精心设计的半监督训练策略，使用少量标注样本和大量无标注样本，实现用少量标注数据训练模型的基础上对工业品中尺度变化剧烈、背景复杂的缺陷的精准检测，致力于减少安全隐患的发生，还能降低生产成本，提高生产效率。
附图说明
图1是本发明缺陷检测方法的流程图。
图2是本发明中模型整体框架示意图。
图3是本发明中局部特征粗提取的示意图。
图4是本发明中差异化特征重塑机制RFR的示意图。
图5是本发明中跨层闭环聚合网络的示意图。
图6是本发明中玻璃瓶缺陷并行检测器的示意图。
图7是玻璃瓶缺陷检测的图片；其中（a）为油污+划痕，（b）为油污+黑点，（c）为萃纹，（d）为萃纹+气泡。
具体实施方式
本发明可对包括玻璃瓶表面缺陷检测、钢铁表面缺陷检测、PCB板表面缺陷检测、钢轨表面缺陷检测、汽车零部件表面缺陷检测等在内的工业产品表面缺陷进行检测。
以玻璃瓶为例，结合附图对本发明进行详细说明，可实现对玻璃瓶中尺度变化剧烈、背景复杂的缺陷精准检测。
如图1所示，本发明基于交叉局部全局特征的半监督缺陷检测方法，包括如下步骤：
（1）收集玻璃瓶所需检测面的图像；
（2）选择部分图像进行人工标注，将图像和标签文件送入数据处理池模块进行数据预处理和划分；
（3）搭建交叉局部全局双连接并行网络，提取玻璃瓶缺陷的局部细粒度信息和全局语义信息；
（4）搭建跨层闭环聚合网络，实现多层次的特征循环聚合，以同时考虑深浅层的语义和细粒度纹理信息；
（5）搭建玻璃瓶缺陷检测器，从聚合网络中的三层特征中识别出最终的缺陷种类及位置；
（6）利用数据处理池中的数据对整个模型进行半监督训练，使用设计的动态优化回归损失函数，精准确定回归框顶点坐标的最佳分布，加速模型的收敛速度；
（7）模型训练完成后，选取参数权重最优的模型用于玻璃瓶表面的缺陷检测。
以下对各个步骤的具体实现过程详细说明。
一.收集玻璃瓶图像
通过四个CCD线阵相机分别拍摄由条形光源照射的玻璃瓶的四个侧面（正前方、正后方、正左方、正右方），获得玻璃瓶四个侧面图像。通过两个应力相机分别拍摄玻璃瓶的瓶口及瓶底，获得玻璃瓶的瓶口图像及瓶底图像。
通过函数动态调整对不同高度和直径玻璃瓶拍摄时的视场角；
，
其中,是瓶子的直径，FOV是相机的视场角,/>是相机拍摄两张图像之间的时间。
对获得的玻璃瓶四个侧面图像、玻璃瓶的瓶口图像、玻璃瓶的瓶底图像分别按以下各个步骤（步骤二至七）的过程进行处理。
二.选择部分图像进行人工标注，将图像和标签文件进行数据预处理和划分
在工业生产线中实时收集的部分玻璃瓶缺陷图像进行人工标注；其中，有标签数据，包括N个目标框/>，包含了N个类别标注。另一部分无标签数据/>，节省了很大的标注成本；其次，考虑到S模型的权重更新是由标签数据主导的，而T模型（教师模型）只接触带无标签数据（参见图2），因此，将无标签数据/>送入到/>函数进行细粒度显著性处理，得到/>；将数据集经过裁剪、随机掩码等数据增强处理，得到数据图像/>、/>和/>。/>函数公式为：
其中，表示图像不同尺度的索引；/>表示融合不同尺度图像时的尺度权重；/>表示计算图像横向和纵向上的梯度；/>是图像中的每个像素；/>表示图像的对比度计算结果；/>是下采样操作；/>是接近于0的整数；/>是距离中心的偏移；/>是高斯分布的标准差。
三.搭建交叉局部全局双连接并行网络，致力于全面提取玻璃瓶缺陷的局部细粒度信息和全局语义信息
搭建从浅层局部特征粗提取到全局语义精细化的双连接并行网络；其中，一支通过对原始图像的浅层粗粒度信息提取，另一支则是将放大采样后的高分辨率图像进行全局语义精细化的细粒度信息提取。主要用于细化玻璃瓶中微小缺陷的分布情况，为最后的融合检测网络提供更好的前景和背景细节信息。同时，每一层级的并行提取都要经过差异化特征重塑机制RFR将来自两个并行分支的特征进行差异化处理。
如图3所示，局部特征粗提取包含两个残差结构，顺序链接了双重交互卷积注意力和对称残差结构/>来关注细微缺陷的细粒度特征，如公式所示：
)
其中，代表上一层的特征。
如图3所示，双重交互卷积注意力包括多通道的分组多头注意力操作和3×3普通卷积操作两个前置分支，随后又对空间位置信息和通道纹理信息进行了交互聚合。输入特征/>，其中通道分支/>先经过分组卷积，使用定义的可学习超参数/>将特征通道划分成/>组通道。其中/>作为/>中的多头数，可以随着网络的训练学习不同通道下的局部感受野来调整通道的分组。然后,逐通道组的经过自适应池化层聚合特征映射的空间信息，将其分别送入到MLP层对特征图的空间维度进行压缩并相加。最后经过Sigmoid得到注意力得分后与原特征相乘得到每个通道组需要关注的细粒度信息。此时再通过逐点卷积将每个通道组进行深度融合得到/>。/>经过卷积分支后对整体感受野内的特征进行合得到/>。由于通道分支只着重关注了在通道上的感兴趣特征，会丢忽略部分空间位置信息。因此，将/>送入空间位置编码路径SP，得到/>。将/>送入通道信息编码路径CP，得到/>。然后将得到/>和/>分别于/>和/>进行二次加权交互融合。通过这种交互策略，局部特征粗提取可同时捕获通道细粒度信息和空间位置信息，并实现不同维度之间的块内特征聚合，丰富每个特征图的通道和空间表达，提升对缺陷细粒度信息的表征能力，所述公式如下：
其中，代表/>操作；/>代表不同的分组个数；/>代表特征总通道数；/>代表元素相乘；/>代表元素相加；/>表示卷积操作；/>表示Sigmoid激活函数；/>表示自适应平均池化操作；/>代表逐通道卷积融合操作；/>表示全连接层。
如图3，对称残差结构则是通过一种对称分布的残差结构，对双重交互的通道和空间信息进行增强:
其中，表示GELU激活函数，/>代表3×3的轻量化卷积，/>表示1×1的卷积。
如图4所示，差异化特征重塑机制RFR致力于衡量两个并行路径特征的差异，同时使用重塑函数将显著差异特征重塑化。这样可以弱化背景特征的属性，从而强化突出异类的缺陷特征。具体来说，通过将局部特征粗提取分支和全局语义精细化分支的特征分布近似为两个服从概率分布的样本集合P和Q。通过使用高斯函数/>将样本集合输入空间映射到一个多维特征空间中，然后通过求解多维空间中特征向量与特征向量之间在每一个维度上的均值。考虑到/>是多维的，无法直接计算，因此将两个期望值的距离差值先进行平方处理，然后将平方后的三项进行求和。均值的大小可以无限估计两个特征分布的期望值，通过期望值度量两个分布在特征空间中的差异程度。以此来刻画两个不同分支在整个特征空间的相似度。然后将相似度值使用二次分配函数/>进行权重的调整，得到两个不同的归一化权重值/>、/>。将两个权重值重新分配给两个原始特征分布，弱化背景特征信息所占比重，以此突出了差异特征。公式如下：/>
其中，P和Q分别代表来自两个分支不同的特征信息近似为的特征样本集合；是以e为低的指数函数；/>代表核函数的局部作用范围；/>表高斯核函数；/>表示可学习的参数；/>和/>分别代表两个不同特征的在空间分布中的不同特征信息；/>代表特征对位相加；/>代表特征相乘。
全局语义精细化通过幽灵线性映射的方式，设计幽灵多头自注意力模块来充分捕获缺陷语义信息弱的全局语义信息。为了缓解自注意力专注于捕获全局特征的局限性，同时将特征送入一个卷积分支，将部分局部性通过MLP进行特征内聚然后引入到全局中。
四．搭建跨层闭环聚合网络，实现多层次的特征循环聚合，以同时考虑深浅层的语义和细粒度纹理信息
参见图2，跨层闭环聚合网络包含U型结构和跨层融合结构CLF；U型结构首先将多尺度特征层F5，F4，F3，F2依次分别经过过度模块进行采样细化恢复；/>包含两部分，当时，/>是将F5，F4和F3均经过上采样两倍和C3特征提取模块，同时，/>细化恢复后的特征也会传递给/>层，以弥补特征在逐步细化过程中丢失的细粒度信息，当/>时，/>是将/>层的特征再浅及深的经过下采样层和C3特征提取模块来二次细化提取特征。
。
由于玻璃瓶缺陷过于微小，因此通过CLF将和/>等跨层特征进行渐进式交互融合，/>表示CLF的个数，参见图6。然后将每两层浅层和深层特征融合后的结果反馈给深层特征，同时也会传递给下一层的CLF, 形成了闭环的有效融合。具体来说，CLF首先将高层特征/>经过卷积激活层激活深层特征中的语义信息，然后经过池化层过滤背景语义，最后对特征使用全连接层操作对高层特征/>先后进行缩放和还原以提取深层的语义信息。将提取到的语义信息经过激活函数激活得到重要性得分后与底层特征/>相乘来起到缓解两者语义信息的作用。利用它们之间的相互依赖关系，网络可以专注于分析微小缺陷的语义。与此同时，将/>（带有底层纹理信息关注度的高层语义特征）继续送入卷积激活层激活浅层细粒度特征，然后分别经过平均池化和最大池化层进行不同程度的细粒度信息聚合。将聚合后的操作再经过激活函数得到重要性得分与高层特征/>相乘得到/>，充分将细粒度信息与深层特征融合。最终将/>和/>拼接融合作为CLF的输出。如下公式所示：
其中表示ReLu激活函数，/>表示自适应平均池化操作,,/>表示元素相乘，/>和/>分别表示对/>和的缩放还原操作，其中/>。
五．搭建玻璃瓶缺陷检测器，从聚合网络中的三层特征中识别出最终的缺陷种类及位置。
参见图6，玻璃瓶缺陷检测器将跨层闭环聚合网络中的三层特征图送入到两个并行的分支中，其中空间分支是通过级联的两个全连接层，能够对空间信息更加敏感，可以比较好的区分完整缺陷和部分缺陷，最终完成缺陷的分类。同时，通道分支级联了3×3的空洞卷积和1×1的普通卷积，用来更好的帮助模型能够准确的关注到背景噪声复杂的缺陷，对于缺陷的边界纹理具有更好的识别效果。具体操作公式如下：
，
，
其中，表示逐点卷积，/>指深度卷积。
六．对整个模型进行半监督训练，使用动态优化回归损失函数精准确定回归框顶点坐标的最佳分布，加速模型的收敛速度
参见图2，半监督训练策略将标签数据依次输入到S模型中的交叉局部全局双连接并行网络中训练，实现对部分标签图像中缺陷特征的充分提取，保证S模型能够对缺陷特征保持敏感。同时将部分的无标签数据/>同时输入到网络中训练。这样可以从大量未标记数据中获取关于常见模式和变化的信息，从而更好地适应不同情况下的缺陷检测。
训练过程中使用所设计的动态优化回归损失函数作为回归损失，/>作为分类损失，/>作为置信度损失，总损失函数公式如下：/>
，
，
其中,是模型的预测概率，/>∈[0,1]是平衡因子，/>、/>、/>是三个可学习的参数；
其中和/>分别表示真实框和预测框的坐标分布。/>表示两个矩形的最小外接对角线长度；/>为平衡因子，是用来权衡长宽比例造成的损失和IoU部分的造成的损失。/>、/>、/>、/>分别是真实框和预测框的高和宽；/>表示两框之间的距离差。
具体来说，使用四个顶点之间的距离能够更加准确地描述预测框和真实框之间的差异，可以根据提供更准的梯度信息继续指导模型继续向这部分距离比loss减少的方向来收敛。充分考虑两框的四对顶点之间的耦合关系和动态最短距离，引入形变向量，将两框近似为两个矩形。然后通过将/>最小化，将预测框回归到真实框的过程类比成将一个矩形映射到另一个矩形过程的建模过程。
同时，考虑到在动态调整四个点的最佳分布时，要保证预测框的映射一致性。为设置了约束条件，即当调整某个顶点分布的时候，要使得临近点之间的位移相近，保证/>的整体变化尽可能小。定义最小化/>，同时约束临近点之间的/>应该相似，通过求解最小值优化问题，就可以得到最优的形变向量，从而将预测框映射到真实框上。
其中，用于平衡L2范数和相邻点之间形变向量的相似度约束；/>表示第/>个点在两个矩形之间的位移。
为了求解的优化问题，通过引入拉格朗日乘子/>和/>，将带有约束的形变向量优化问题转化为一个不带约束的优化问题，即：/>
具体来说，本发明通过求解函数的一阶导数和二阶导数来获得最优解：
一阶导数条件：
二阶导数条件：
因此，根据一阶条件和二阶条件，得到每个和/>的最优解，即：
七．模型训练完成后，选取参数权重最优的模型用于玻璃瓶表面的缺陷检测
模型训练300轮后，通过测试集评估表现最优的模型并保留其相应的权重文件，确保在实际工业生产线的应用中可以准确无误的把缺陷识别出来。
本发明的上述方法可通过处理器实现，处理器中设置有可读存储介质（存储器），可读存储介质用于存储能够在处理器上运行的计算机程序，计算机程序被所述处理器执行时实现上述工业品表面缺陷检测方法的步骤。
图7给出了检测的各种玻璃瓶缺陷的图片，包括（a）油污和划痕、(b)油污和黑点、(c)萃纹、(d)萃纹和气泡。本发明的方法可对图7中所给出的各种缺陷进行精确检测。

Claims (9)

1.一种基于交叉局部全局特征的半监督工业品表面缺陷检测方法，其特征在于，包括如下步骤：
（1）收集工业品检测面的图像；
（2）选择部分收集的检测面图像进行人工数据标注，将图像和标签文件进行数据预处理和划分；
（3）搭建交叉局部全局双连接并行网络，提取工业品表面缺陷的局部细粒度信息和全局语义信息；
（4）搭建跨层闭环聚合网络，实现多层次的特征循环聚合，以同时考虑深浅层的语义和细粒度纹理信息；
（5）搭建工业品缺陷检测器，从聚合网络中的三层特征中识别出最终的缺陷种类及位置；
（6）对整个模型进行半监督训练，使用动态优化回归损失函数，精准确定回归框顶点坐标的最佳分布，加速模型的收敛速度；
（7）模型训练完成后，选取参数权重最优的模型用于工业品表面的缺陷检测。
2.根据权利要求1所述的基于交叉局部全局特征的半监督工业品表面缺陷检测方法，其特征在于，所述步骤（2）的具体实现过程如下所述：
将实时收集的部分工业品缺陷图像进行人工标注，分为有标签数据和无标签数据/>，有标签数据/>包括N个目标框/>，包含N个类别标注，另一部分无标签数据/>送入到/>函数进行细粒度显著性处理，得到/>；将数据集经过数据增强处理，得到数据图像/>、/>和/>；
，
其中，表示图像不同尺度的索引；/>表示融合不同尺度图像时的尺度权重；/>表示计算图像横向和纵向上的梯度；/>是图像中的每个像素；/>表示图像的对比度计算结果；/>是下采样操作；/>是接近于0的整数；/>是距离中心的偏移； />是高斯分布的标准差。
3.根据权利要求1所述的基于交叉局部全局特征的半监督工业品表面缺陷检测方法，其特征在于，所述步骤（3）中搭建交叉局部全局双连接并行网络的过程是：
搭建从浅层局部特征粗提取到全局语义精细化的双连接并行网络；其中，一支通过对原始图像的浅层粗粒度信息提取，另一支则是将放大采样后的高分辨率图像进行全局语义精细化的细粒度信息提取；同时，每一层级的并行提取都要经过差异化特征重塑机制RFR将来自两个并行分支的特征进行差异化处理；
所述浅层局部特征粗提取包含两个残差结构，顺序链接了双重交互卷积注意力和对称残差结构/>来关注细微缺陷的细粒度特征，如以下公式所示：
)
其中，代表上一层的特征；
所述全局语义精细化通过幽灵线性映射的方式设计幽灵多头自注意力模块来捕获缺陷语义信息弱的全局语义信息；为了缓解自注意力专注于捕获全局特征的局限性，同时将特征送入一个卷积分支，将部分局部性通过全连接层MLP进行特征内聚然后引入到全局中；
所述差异化特征重塑机制RFR，致力于衡量两个并行路径特征的差异，同时使用重塑函数将显著差异特征重塑化；具体来说，通过将局部特征粗提取分支和全局语义精细化分支的特征分布近似为两个服从概率分布的样本集合P和Q，通过使用高斯函数/>将样本集合输入空间映射到一个多维特征空间中，然后通过求解多维空间中特征向量与特征向量之间在每一个维度上的均值；考虑到/>是多维的，无法直接计算，因此将两个期望值的距离差值先进行平方处理，然后将平方后的三项进行求和；均值的大小能够无限估计两个特征分布的期望值，通过期望值度量两个分布在特征空间中的差异程度，以此来刻画两个不同分支在整个特征空间的相似度；然后将相似度值使用二次分配函数/>进行权重的调整，得到两个不同的归一化权重值/>和/>；将两个权重值重新分配给两个原始特征分布，弱化背景特征信息所占比重，以此突出了差异特征；公式如下：
，
，
，
，
其中，P和Q分别代表来自两个分支不同的特征信息近似为的特征样本集合；是以e为低的指数函数；/>代表核函数的局部作用范围；/>表高斯核函数；/>表示可学习的参数；/>和/>分别代表两个不同特征的在空间分布中的不同特征信息；/>代表特征对位相加；/>代表特征相乘。
4.根据权利要求3所述的基于交叉局部全局特征的半监督工业品表面缺陷检测方法，其特征在于，所述双重交互卷积注意力，包括多通道的分组多头注意力操作和3×3普通卷积操作两个前置分支，随后对空间位置信息和通道纹理信息进行交互聚合；输入特征，其中通道分支/>先经过分组卷积，使用定义的可学习超参数/>将特征通道划分成/>组通道，其中/>作为/>中的多头数，随着网络的训练学习不同通道下的局部感受野来调整通道的分组；然后,逐通道组的经过自适应池化层聚合特征映射的空间信息，将其分别送入到全连接层MLP对特征图的空间维度进行压缩并相加；最后经过Sigmoid得到注意力得分后与原特征相乘得到每个通道组需要关注的细粒度信息；此时再通过逐点卷积将每个通道组进行深度融合得到/>，/>经过卷积分支后对整体感受野内的特征进行合得到，将/>送入空间位置编码路径SP，得到/>；将/>送入通道信息编码路径CP，得到/>；然后将得到/>和/>分别于/>和/>进行二次加权交互融合；通过这种交互策略，局部特征粗提取同时捕获通道细粒度信息和空间位置信息，并实现不同维度之间的块内特征聚合；公式如下：
，
，
，
，
，
，
其中，代表/>操作；/>代表不同的分组个数；/>代表特征总通道数；/>代表元素相乘；/>代表元素相加；/>表示卷积操作；/>表示Sigmoid激活函数；/>表示自适应平均池化操作；/>代表逐通道卷积融合操作；/>表示全连接层。
5.根据权利要求3所述的基于交叉局部全局特征的半监督工业品表面缺陷检测方法，其特征在于，所述对称残差结构是通过一种对称分布的残差结构，对双重交互的通道和空间信息进行增强:
，
其中，表示GELU激活函数，/>代表3×3的轻量化卷积，/>表示1×1的卷积。
6.根据权利要求1所述的基于交叉局部全局特征的半监督工业品表面缺陷检测方法，其特征在于，所述步骤（4）的实现过程如下所述：
跨层闭环聚合网络包含U型结构和跨层融合结构CLF；U型结构首先将多尺度特征层F5，F4，F3，F2依次分别经过过度模块进行采样细化恢复；/>包含两部分，当/>时，/>是将F5，F4和F3均经过上采样两倍和C3特征提取模块，同时，/>细化恢复后的特征也会传递给/>层，以弥补特征在逐步细化过程中丢失的细粒度信息，当/>时，/>是将/>层的特征再浅及深的经过下采样层和C3特征提取模块来二次细化提取特征；
；
通过CLF将跨层特征和/>进行渐进式交互融合，/>表示CLF的个数，然后将每两层浅层和深层特征融合后的结果反馈给/>深层特征，同时传递给下一层的CLF, 形成了闭环的有效融合；CLF首先将高层特征/>经过卷积激活层激活深层特征中的语义信息，然后经过池化层过滤背景语义，最后对特征使用全连接层操作对高层特征/>先后进行缩放和还原以提取深层的语义信息；将提取到的语义信息经过激活函数激活得到重要性得分后与底层特征/>相乘来起到缓解两者语义信息的作用，与此同时，将/>继续送入卷积激活层激活浅层细粒度特征，然后分别经过平均池化和最大池化层进行不同程度的细粒度信息聚合；将聚合后的操作再经过激活函数得到重要性得分与高层特征/>相乘得到带有底层纹理信息关注度的高层语义特征/>，充分将细粒度信息与深层特征融合；最终将/>和拼接融合作为CLF的输出；如下公式所示：
，
，
，
，
其中表示ReLu激活函数，/>表示自适应平均池化操作, />,表示元素相乘，/>和/>分别表示对/>和/>的缩放还原操作，其中。
7.根据权利要求1所述的基于交叉局部全局特征的半监督工业品表面缺陷检测方法，其特征在于，所述步骤（5）的具体实现过程如下所述：
工业品缺陷检测器的目的是将跨层闭环聚合网络中的三层特征图送入到两个并行的分支中，其中空间分支是通过级联的两个全连接层，区分完整缺陷和部分缺陷，最终完成缺陷的分类；同时，通道分支级联了3×3的空洞卷积和1×1的普通卷积，帮助模型能够准确的关注到背景噪声复杂的缺陷；具体操作公式如下：
，
，
其中表示逐点卷积，/>指深度卷积。
8.根据权利要求1所述的基于交叉局部全局特征的半监督工业品表面缺陷检测方法，其特征在于，所述步骤（6）的具体实现过程如下所述：
半监督训练是将标签数据依次输入到S模型中的交叉局部全局双连接并行网络中训练，实现对部分标签图像中缺陷特征的充分提取，保证S模型能够对缺陷特征保持敏感；同时将部分的无标签数据/>输入到网络中训练；
训练过程中使用动态优化回归损失函数作为回归损失，/>作为分类损失，/>作为置信度损失，总损失函数公式如下：
，
，
其中,是模型的预测概率，/>∈[0,1]是平衡因子，/>、/>、/>是三个可学习的参数；
，
，
其中和/>分别表示真实框和预测框的坐标分布；/>表示两个矩形的最小外接对角线长度；/>为平衡因子，是用来权衡长宽比例造成的损失和IoU部分的造成的损失；、/>、/>、/>分别是真实框和预测框的高和宽；/>表示两框之间的距离差；
使用四个顶点之间的距离描述预测框和真实框之间的差异，根据提供更准的梯度信息继续指导模型继续向这部分距离比loss减少的方向来收敛，考虑两框的四对顶点之间的耦合关系和动态最短距离，引入形变向量，将两框近似为两个矩形；然后通过将/>最小化，将预测框回归到真实框的过程类比成将一个矩形映射到另一个矩形过程的建模过程；
，
，
，
为了在动态调整四个点的最佳分布时保证预测框的映射一致性，为设置了约束条件，即当调整某个顶点分布的时候，要使得临近点之间的位移相近，保证/>的整体变化尽可能小；定义最小化/>，同时约束临近点之间的/>应该相似，通过求解最小值优化问题，得到最优的形变向量，从而将预测框映射到真实框上；
，
其中，用于平衡L2范数和相邻点之间形变向量的相似度约束；/>表示第/>个点在两个矩形之间的位移；
为了求解的优化问题，通过引入拉格朗日乘子/>和/>，将带有约束的形变向量优化问题转化为一个不带约束的优化问题，即：
，
通过求解函数的一阶导数和二阶导数来获得最优解：
一阶导数条件：
，
，
，
，
二阶导数条件：
，
，
因此，根据一阶条件和二阶条件，得到每个和/>的最优解，即：
，
。
9.根据权利要求1所述的基于交叉局部全局特征的半监督工业品表面缺陷检测方法，其特征在于，所述步骤（7）的具体过程是，模型训练300轮后，通过测试集评估表现最优的模型并保留其相应的权重文件，确保准确无误的把缺陷识别出来。
CN202410077115.4A 2024-01-19 2024-01-19 基于交叉局部全局特征的半监督工业品表面缺陷检测方法 Active CN117593304B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410077115.4A CN117593304B (zh) 2024-01-19 2024-01-19 基于交叉局部全局特征的半监督工业品表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410077115.4A CN117593304B (zh) 2024-01-19 2024-01-19 基于交叉局部全局特征的半监督工业品表面缺陷检测方法

Publications (2)

Publication Number Publication Date
CN117593304A true CN117593304A (zh) 2024-02-23
CN117593304B CN117593304B (zh) 2024-04-26

Family

ID=89922349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410077115.4A Active CN117593304B (zh) 2024-01-19 2024-01-19 基于交叉局部全局特征的半监督工业品表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN117593304B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117853492A (zh) * 2024-03-08 2024-04-09 厦门微亚智能科技股份有限公司 一种基于融合模型的智能化工业缺陷检测方法及系统
CN117876799A (zh) * 2024-03-11 2024-04-12 暨南大学 一种物流供应链品控缺陷检测方法及系统
CN117952983A (zh) * 2024-03-27 2024-04-30 中电科大数据研究院有限公司 一种基于人工智能的智能制造生产过程监控方法和系统
CN118052817A (zh) * 2024-04-15 2024-05-17 宁波福至新材料有限公司 引线框架表面缺陷检测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465790A (zh) * 2020-12-03 2021-03-09 天津大学 基于多尺度卷积和三线性全局注意力的表面缺陷检测方法
CN113674159A (zh) * 2020-05-15 2021-11-19 北京三星通信技术研究有限公司 图像处理方法、装置、电子设备及可读存储介质
CN114972250A (zh) * 2022-05-25 2022-08-30 汉斯夫(杭州)医学科技有限公司 一种牙科图像分割方法
US20230196732A1 (en) * 2021-12-20 2023-06-22 Kla Corporation Machine learning using a global texture characteristic for semiconductor-based applications
CN116563423A (zh) * 2023-03-30 2023-08-08 中山大学 一种细粒度语义操控的场景渲染方法和装置
CN116580014A (zh) * 2023-05-19 2023-08-11 华中科技大学 一种工业缺陷检测方法及系统
CN116883650A (zh) * 2023-06-02 2023-10-13 长春理工大学 一种基于注意力和局部拼接的图像级弱监督语义分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674159A (zh) * 2020-05-15 2021-11-19 北京三星通信技术研究有限公司 图像处理方法、装置、电子设备及可读存储介质
CN112465790A (zh) * 2020-12-03 2021-03-09 天津大学 基于多尺度卷积和三线性全局注意力的表面缺陷检测方法
US20230196732A1 (en) * 2021-12-20 2023-06-22 Kla Corporation Machine learning using a global texture characteristic for semiconductor-based applications
CN114972250A (zh) * 2022-05-25 2022-08-30 汉斯夫(杭州)医学科技有限公司 一种牙科图像分割方法
CN116563423A (zh) * 2023-03-30 2023-08-08 中山大学 一种细粒度语义操控的场景渲染方法和装置
CN116580014A (zh) * 2023-05-19 2023-08-11 华中科技大学 一种工业缺陷检测方法及系统
CN116883650A (zh) * 2023-06-02 2023-10-13 长春理工大学 一种基于注意力和局部拼接的图像级弱监督语义分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WANYING SONG: "GLF-Net: A Semantic Segmentation Model Fusing Global and Local Features for High-Resolution Remote Sensing Images", 《REMOTE SENSING》, 22 September 2023 (2023-09-22) *
詹涛: "-基于深度学习的多时相遥感影像变化检测研究", 《中国优秀硕士学位论文全文数据库》, 15 July 2020 (2020-07-15) *
赵文瀚: "基于生成对抗学习的医学影像合成研究", 《中国优秀硕士学位论文全文数据库》, 15 February 2023 (2023-02-15) *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117853492A (zh) * 2024-03-08 2024-04-09 厦门微亚智能科技股份有限公司 一种基于融合模型的智能化工业缺陷检测方法及系统
CN117876799A (zh) * 2024-03-11 2024-04-12 暨南大学 一种物流供应链品控缺陷检测方法及系统
CN117876799B (zh) * 2024-03-11 2024-05-28 暨南大学 一种物流供应链品控缺陷检测方法及系统
CN117952983A (zh) * 2024-03-27 2024-04-30 中电科大数据研究院有限公司 一种基于人工智能的智能制造生产过程监控方法和系统
CN118052817A (zh) * 2024-04-15 2024-05-17 宁波福至新材料有限公司 引线框架表面缺陷检测方法及系统

Also Published As

Publication number Publication date
CN117593304B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN117593304B (zh) 基于交叉局部全局特征的半监督工业品表面缺陷检测方法
CN106408015A (zh) 基于卷积神经网络的岔路口识别及深度估计方法
CN114399672A (zh) 一种基于深度学习的铁路货车闸瓦故障检测方法
CN113435319B (zh) 一种联合多目标跟踪和行人角度识别的分类方法
CN114972316A (zh) 基于改进YOLOv5的电池壳端面缺陷实时检测方法
CN115984537A (zh) 图像处理方法、装置及相关设备
Zhang et al. A deep extractor for visual rail surface inspection
CN114549414A (zh) 一种针对轨道数据的异常变化检测方法及系统
CN117456480B (zh) 一种基于多源信息融合的轻量化车辆再辨识方法
CN114170422A (zh) 一种煤矿井下图像语义分割方法
CN111612803A (zh) 一种基于图像清晰度的车辆图像语义分割方法
CN116912670A (zh) 基于改进yolo模型的深海鱼类识别方法
CN113744205B (zh) 一种端到端的道路裂缝检测系统
CN114757941A (zh) 变电站设备缺陷的识别方法、装置、电子设备及存储介质
CN113888604A (zh) 一种基于深度光流的目标跟踪方法
CN114140524A (zh) 一种多尺度特征融合的闭环检测系统及方法
Zhang et al. Research on brake pad surface defects detection based on deep learning
Huanga et al. PCB assembly component recognition based on semantic segmentation and attention mechanism
CN115272814B (zh) 一种远距离空间自适应多尺度的小目标检测方法
CN117576095B (zh) 一种多尺度学习任务的金属表面缺陷检测和分类方法
CN115272992B (zh) 一种车辆姿态估计方法
CN112446870B (zh) 管道损伤检测方法、装置、设备及存储介质
CN115713493A (zh) 基于梯度纹理显著性的多任务水下图像的质量评价方法
CN116311363A (zh) 基于动态网络特征融合和YOLOv5的RGB-红外多源图像目标检测方法
CN118154862A (zh) 一种基于混合注意力机制的飞机舱门分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant