CN117437181A - 小目标缺陷检测模型的训练方法、装置、设备及存储介质 - Google Patents

小目标缺陷检测模型的训练方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117437181A
CN117437181A CN202311253168.9A CN202311253168A CN117437181A CN 117437181 A CN117437181 A CN 117437181A CN 202311253168 A CN202311253168 A CN 202311253168A CN 117437181 A CN117437181 A CN 117437181A
Authority
CN
China
Prior art keywords
detected
detection image
image
detection
small target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311253168.9A
Other languages
English (en)
Inventor
蔡传宝
陈高
王斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Forbetter New Material Solutions Co ltd
Shenzhen Everwin Precision Technology Co Ltd
Original Assignee
Forbetter New Material Solutions Co ltd
Shenzhen Everwin Precision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Forbetter New Material Solutions Co ltd, Shenzhen Everwin Precision Technology Co Ltd filed Critical Forbetter New Material Solutions Co ltd
Priority to CN202311253168.9A priority Critical patent/CN117437181A/zh
Publication of CN117437181A publication Critical patent/CN117437181A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于工业缺陷检测领域，公开了一种小目标缺陷检测模型的训练方法、装置、设备及存储介质，获取待测物品的检测图像，以及待测物品的检测图像对应的标注框信息；基于Mosaic‑9数据增强算法对待测物品的检测图像进行数据增强处理，得到待测物品的第二检测图像；将待测物品的第二检测图像输入至初始小目标缺陷检测模型中，得到待测物品的检测图像对应的预测框信息；根据待测物品的检测图像对应的预测框信息和标注框信息，计算待测物品的检测图像的目标损失函数；基于目标损失函数对初始小目标缺陷检测模型进行更新，得到训练后的小目标缺陷检测模型，可以更加精确的捕捉到待测物品的语义信息，提高了小目标缺陷检测模型检测的准确率。

Description

小目标缺陷检测模型的训练方法、装置、设备及存储介质
技术领域
本发明属于工业缺陷检测技术领域，具体涉及一种小目标缺陷检测模型的训练方法、装置、设备及存储介质。
背景技术
传统的工业缺陷检测关于人力的培养成本、使用成本都较高，而基于深度学习的图像检测技术可代替人力进行工业缺陷检测，既节约成本将人力从单调枯燥的重复性工作中解放出来，又创新技术响应了国家推进科技企业建设的号召，同时还有利于质检标准的量化与提高，面向市场有更大的竞争优势。
然而，在实际生产的过程中，针对铝型材料的产品，如铝材笔记本外壳通常具有较小的缺陷，这些小目标缺陷即使在工业场景高精度相机下，也只有微小的变化，难以识别。小目标缺陷在检测图像中没有明显的纹理或形状，使得特征提取变得十分困难，影响了缺陷检测模型对小目标缺陷的学习和识别，从而导致小目标缺陷检测模型的检测效果不佳，因此，如何提高小目标缺陷检测模型检测的准确率，是一个亟待解决的问题。
发明内容
鉴于上述技术问题，本发明提供了一种小目标缺陷检测模型的训练方法、装置、设备及存储介质，用以解决上述技术问题。
第一方面，本发明提供了一种小目标缺陷检测模型的训练方法，包括：
获取待测物品的检测图像，以及所述待测物品的检测图像对应的标注框信息；
基于Mosaic-9数据增强算法对所述待测物品的检测图像进行数据增强处理，得到待测物品的第二检测图像；
将所述待测物品的第二检测图像输入至初始小目标缺陷检测模型中，得到所述待测物品的检测图像对应的预测框信息；
根据所述待测物品的检测图像对应的预测框信息和标注框信息，计算所述待测物品的检测图像的目标损失函数；
基于所述目标损失函数对所述初始小目标缺陷检测模型进行更新，得到训练后的小目标缺陷检测模型。
优选的，所述将所述待测物品的第二检测图像输入至初始小目标缺陷检测模型中，得到所述待测物品的检测图像对应的预测框信息，包括：
将所述待测物品的第二检测图像输入至主干网络中，提取所述待测物品的第二检测图像的特征信息；
将所述待测物品的第二检测图像的特征信息输入至头部网络中，融合多尺度的待测物品的第二检测图像的特征信息；
将融合后的待测物品的第二检测图像的特征信息输入至检测网络，得到所述待测物品的检测图像对应的预测框信息。
优选的，所述将所述待测物品的第二检测图像输入至主干网络中，提取所述待测物品的第二检测图像的特征信息，包括：
对所述待测物品的第二检测图像进行下采样操作，得到待测物品的第二检测图像的第一特征图；
对所述待测物品的第二检测图像的第一特征图进行卷积操作，得到所述待测物品的第二检测图像的第二特征图；
对所述待测物品的第二检测图像的第二特征图进行语义捕捉操作，得到待测物品的第二检测图像的第三特征图；
对所述待测物品的第二检测图像的第三特征图进行特征编码操作，得到所述待测物品的第二检测图像的特征信息。
优选的，所述对所述待测物品的第二检测图像的第二特征图进行语义捕捉操作，得到待测物品的第二检测图像的第三特征图，包括：
对所述待测物品的第二检测图像的第二特征图进行逐点卷积操作，捕捉所述待测物品的第二检测图像的第二特征图的全局语义信息；
对捕捉全局语义信息后的待测物品的第二检测图像的第二特征图进行通道分割操作，并在各道通分支引入自注意力机制进行加权调节操作，捕捉所述待测物品的第二检测图像的第二特征图的局部语义信息，得到所述待测物品的第二检测图像的第三特征图。
优选的，所述将所述待测物品的第二检测图像的特征信息输入至头部网络中，融合多尺度的待测物品的第二检测图像的特征信息，包括：
将所述待测物品的第二检测图像的特征信息输入至特征金字塔模块，对特征金字塔模块的高层特征信息进行上采样操作，并将上采样后的高层特征信息与特征金字塔模块的低层特征信息进行融合，得到待测物品的第二检测图像对应的预测特征图；
将所述待测物品的第二检测图像的预测特征图输入至路径聚合模块，定位所述待测物品的第二检测图像对应的预测特征图。
优选的，基于Mosaic-9数据增强算法对所述待测物品的检测图像进行数据增强处理，得到待测物品的第二检测图像，包括：
随机选取9张待测物品的检测图像；
将所述9张待测物品的检测图像进行翻转、缩放和色域变换处理；
将翻转、缩放和色域变换处理后的9张待测物品的检测图像按照预设的位置坐标进行拼接处理，得到1张所述待测物品的第二检测图像。
优选的，所述根据所述待测物品的检测图像对应的预测框信息和标注框信息，计算所述待测物品的检测图像的目标损失函数，包括：
根据所述待测物品的检测图像对应的预测框信息和标注框信息，计算所述待测物品的检测图像的分类损失函数、边界框损失函数以及置信度损失函数，所述边界框损失函数Lα-DIoU的公式为：
其中，IoU表示所述待测物品的检测图像对应的预测框信息和标注框信息的交并比值，b表示所述待测物品的检测图像对应的预测框的中心点，bgt表示所述待测物品的检测图像对应的标注框的中心点，ρ表示b与bgt之间的欧式距离，α表示权重因子，c表示所述待测物品的检测图像对应的预测框和标注框的最小外接矩形的对角线长度。
第二方面，本发明还提供了一种小目标缺陷检测模型的训练装置，包括：
获取模块，用于获取待测物品的检测图像，以及所述待测物品的检测图像对应的标注框信息；
处理模块，用于基于Mosaic-9数据增强算法对所述待测物品的检测图像进行数据增强处理，得到待测物品的第二检测图像；
预测模块，用于将所述待测物品的第二检测图像输入至初始小目标缺陷检测模型中，得到所述待测物品的检测图像对应的预测框信息；
计算模块，用于根据所述待测物品的检测图像对应的预测框信息和标注框信息，计算所述待测物品的检测图像的目标损失函数；
更新模块，用于基于所述目标损失函数对所述初始小目标缺陷检测模型进行更新，得到训练后的小目标缺陷检测模型。
第三方面，本发明还提供了一种计算机设备，包括存储器和处理器，其中：
所述存储器用于存储计算机程序；
所述处理器用于读取所述存储器中的计算机程序，并执行如上述第一方面任一项所述的小目标缺陷检测模型的训练方法的步骤。
第四方面，本发明还提供了一种计算机设备，包括存储器和处理器，其中：
所述存储器用于存储计算机程序；
所述处理器用于读取所述存储器中的计算机程序，并执行如上述第一方面任一项所述的小目标缺陷检测模型的训练方法的步骤。
与现有技术相比，本发明提供的一种小目标缺陷检测模型的训练方法、装置、设备及存储介质，基于Mosaic-9数据增强算法对所述待测物品的检测图像进行数据增强处理，并通过对待测物品的检测图像进行道通分割处理，更加精确的捕捉到待测物品的检测图像的全局语义信息和局部语义信息，大幅度提高了小目标缺陷检测模型检测的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一部分实施例，而不是全部的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，根据这些附图获得的其他的附图，都属于本发明保护的范围。
图1为本发明实施例提供的一种小目标缺陷检测模型的训练方法的流程示意图；
图2为本发明实施例提供的一种基于小目标缺陷检测模型得到预测框信息的流程示意图；
图3为本发明实施例提供的一种基于卷积注意力模块进行语义捕捉操作的框图；
图4为本发明实施例提供的一种卷积归一化模块进行特征提取的框图；
图5为本发明实施例提供的一种初始注意力机制模块进行加权处理的框图；
图6为本发明实施例提供的一种混合器模块捕捉高频信息和低频信息的框图；
图7为本发明实施例提供的一种Mosaic-9数据增强处理的流程示意图；
图8为本发明实施例提供的一种待测物品的检测图像进行工业缺陷检测的结果示意图；
图9为本发明实施例所提供的一种小目标缺陷检测模型的训练装置的结构示意图；
图10为本发明实施例提供的一种计算机设备的结构示意图；
图11为本发明实施例的一种计算机可读存储介质结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了使本发明内容的叙述更加详尽与完备，下文针对本发明的实施方式与具体实施例提出了说明性的描述；但这并非实施或运用本发明具体实施例的唯一形式。实施方式中涵盖了多个具体实施例的特征以及用以建构与操作这些具体实施例的方法步骤与其顺序。然而，亦可利用其它具体实施例来达成相同或均等的功能与步骤顺序。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
在本发明实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本发明实施例的描述中，“多个”是指两个或多于两个，其它量词与之类似应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
请参照图1，为本发明实施例提供的一种小目标缺陷检测模型的训练方法的流程示意图，该小目标缺陷检测模型的训练方法可以由软件和/或硬件装置执行。示例的，请参见图1所示，该小目标缺陷检测模型的训练方法可以包括：
S101、获取待测物品的检测图像，以及所述待测物品的检测图像对应的标注框信息。
具体的，所述待测物品的检测图像对应的标注框信息为所述待测物品的检测图像对应的标签信息，获取待测物品的检测图像，以及所述待测物品的检测图像对应的标注框信息的方式，可以通过自动光学检测仪(Auto Optical Inspection，AOI)设备拍摄采集待测物品的检测图像，也可以是接收其他电子设备发送的待测物品的检测图像，也可以从本地存储中查找待测物品的检测图像，也可以从第三方数据库中获取待测物品的检测图像，具体可以根据实际需要进行设置，在此，本申请实施例只是以这四种方式获取待测物品的检测图像为例进行说明，但并不代表本申请实施例仅局限于此。
S102、基于Mosaic-9数据增强算法对所述待测物品的检测图像进行数据增强处理，得到待测物品的第二检测图像。
具体的，所述待测物品的检测图像输入到初始小目标缺陷检测模型之前，可以先对待测物品的检测图像进行数据增强处理，本发明实施例中，可以基于Mosaic-9数据增强算法对所述待测物品的检测图像进行数据增强处理，对所述待测物品的检测图像进行翻转、缩放和色域变换处理，可以丰富待测物品的检测图像的样本数据集、并且将9张待测物品的检测图像拼接为1张待测物品的第二检测图像，大幅度的提高缺陷检测模型的训练速度。
需要说明的是，本发明实施例中，对所述待测物品的检测图像进行Mosaic-9数据增强处理之后，可以将数据增强处理后的待测物品的检测图像进行直方图均衡化处理，以增强所述待测物品的检测图像的对比度。
S103、将所述待测物品的第二检测图像输入至初始小目标缺陷检测模型中，得到所述待测物品的检测图像对应的预测框信息。
上述步骤S102中对待测物品的检测图像进行数据增强处理之后，就可以构建初始小目标缺陷检测模型，具体的，本发明实施例中，将所述待测物品的第二检测图像输入至初始小目标缺陷检测模型中，初始小目标缺陷检测模型学习所述待测物品的第二检测图像中的特征信息，对所述待测物品的第二检测图像进行工业缺陷检测，得到所述待测物品的检测图像对应的预测框信息，需要说明的是，可以使用k-means++算法更新锚框，提升检测速度、减少漏检，并且使用单阶段深度学习模型检测进行训练，通过特征提取器将待测物品的第二检测图像逐渐下采样，生成多尺度的特征图。这些特征图具有不同的分辨率，能够捕捉不同尺度的上下文信息和目标特征。所述待测物品的检测图像对应的预测框信息可以为小目标缺陷在检测图像中的位置，也可以为小目标缺陷的宽和高。
S104、根据所述待测物品的检测图像对应的预测框信息和标注框信息，计算所述待测物品的检测图像的目标损失函数。
具体的，上述步骤S103中得到所述待测物品的检测图像对应的预测框信息之后，与步骤S101中获取的待测物品的检测图像对应的标注框信息进行比较，计算所述待测物品的检测图像的目标损失函数。需要说明的是，本发明实施例中，所述目标损失函数为分类损失函数、边界框损失函数以及置信度损失函数的综合指标。
S105、基于所述目标损失函数对所述初始小目标缺陷检测模型进行更新，得到训练后的小目标缺陷检测模型。
具体的，本发明实施例中，通过反向传播算法，根据目标损失函数的梯度信息来更新模型的权重，进一步优化小目标检测模型的性能，提高检测的准确率，当小目标检测模型的迭代过程中目标损失值不再下降，权重趋于稳定时，停止更新，从而得到训练好的小目标缺陷检测模型。
作为一种实施方式，所述将所述待测物品的第二检测图像输入至初始小目标缺陷检测模型中，得到所述待测物品的检测图像对应的预测框信息，请参照图2，为本发明实施例提供的一种基于小目标缺陷检测模型得到预测框信息的流程示意图，可以包括以下步骤：
S201、将所述待测物品的第二检测图像输入至主干网络中，提取所述待测物品的第二检测图像的特征信息。
具体的，本发明实施例中，所述主干网络包括聚焦模块(Focus Module)、卷积模块(Convolutional Module，Conv)、卷积注意力模块(Convolutional iFormer Module,C3IF)以及空间金字塔池化模块(Spatial Pyramid Pooling Module),这些模块协同工作逐层提取所述待测物品的第二检测图像的特征信息，对所述待测物品的第二检测图像进行逐层提取，可以使待测物品的第二检测图像的特征提取更加精确。
S202、将所述待测物品的第二检测图像的特征信息输入至头部网络中，融合多尺度的待测物品的第二检测图像的特征信息。
具体的，本发明实施例中，所述头部网络包括特征金字塔模块(Feature PyramidNetworks，FPN)和路径聚合模块(Path Aggregation Network，PAN)，所述待测物品的第二检测图像的尺寸不同，特征提取所采用的卷积核的大小也不相同，而采用FPN网络对所述检测图像的特征信息进行上采样，并将上采用后的特征信息进行融合，再采用PAN网络自底向上传递强定位特征，强化了小目标缺陷检测模型在多个尺度上的定位能力，从而提高了小目标缺陷检测模型的准确性。
S203、将融合后的待测物品的第二检测图像的特征信息输入至检测网络，得到所述待测物品的检测图像对应的预测框信息。
具体的，本发明实施例中，所述检测网络由分类损失函数、边界框损失函数以及置信度损失函数构成，将融合后的检测图像的特征信息输入至检测网络中，可以检测网络中前一层网络的输出转换为所述待测物品的第二检测图像中缺陷的目标框的位置和类别的概率，也可以检测出所述待测物品的第二检测图像中缺陷的左上角坐标和高宽。
作为一种实施方式，所述将所述待测物品的第二检测图像输入至主干网络中，提取所述待测物品的第二检测图像的特征信息，具体包括：
首先将所述待测物品的第二检测图像输入至Focus模块进行下采样操作，得到待测物品的第二检测图像的第一特征图；其次，将所述待测物品的第二检测图像的第一特征图输入至Convs模块进行卷积操作，得到所述待测物品的第二检测图像的第二特征图；再次，将所述待测物品的第二检测图像的第二特征图输入至C3IF模块进行语义捕捉操作，得到待测物品的第二检测图像的第三特征图；最后，将所述待测物品的第二检测图像的第三特征图输入至SPP模块进行特征编码操作，得到所述待测物品的第二检测图像的特征信息。
作为一种实施方式，所述对所述待测物品的第二检测图像的第二特征图进行语义捕捉操作，得到待测物品的第二检测图像的第三特征图，请参照图3，为本发明实施例提供的一种基于卷积注意力模块进行语义捕捉操作的框图，具体可以包括：
将所述待测物品的第二检测图像的第二特征图输入至逐点卷积模块进行逐点卷积操作，捕捉所述待测物品的第二检测图像的第二特征图的全局语义信息。将捕捉全局语义信息后的待测物品的第二检测图像的第二特征图输入至注意力模块进行通道分割处理，并在各道通分支引入自注意力机制进行加权调节操作，捕捉所述待测物品的第二检测图像的第二特征图的局部语义信息，得到所述待测物品的第二检测图像的第三特征图。
需要说明的是，卷积注意力模块是基于卷积归一化模块和初始注意力模块形成的残差结构。本发明实施例所采用的卷积归一化模块，可参考图4，图4为本发明实施例提供的一种卷积归一化模块进行特征提取的框图，所述卷积归一化模块包括逐点卷积层、第一归一化层和激活层，具体的，将所述待测物品的第二检测图像的第二特征图输入到逐点卷积层进行卷积提取操作，将卷积提取后的特征信息输入到归一化层进行特征归一化操作，将归一化后的特征信息输入到激活层进行非线性变换操作，本发明实施例中，可以采用SiLu函数作为激活函数，最后输出所述待测物品的第二检测图像的第二特征图进行卷积归一化的结果。
本发明实施例中所采用的初始注意力机制模块，可参考图5，图5为本发明实施例提供的一种初始注意力机制模块进行加权处理的框图，传统的注意力模块主要是使用注意力机制进行全局语义特征提取，这种方式使得模型学习高频率特征方面的能力相对较弱，而小目标缺陷往往具有较高频率的纹理特征，如细微的边缘和纹理变化，因此，如果只是进行全局语义特征提取会导致小目标缺陷检测模型无法有效地捕获这些高频特征和无法提供足够的定位信息，从而导致模型检测能力不佳和检测框位置不够精确，而本发明说使用的初始注意力机制模块将混合器引入初始注意力机制模块中，可以更加精确的捕获到检测图像的高频信息和低频信息。
具体的，可参考图5，将卷积归一化处理后的待测物品的第二检测图像的第二特征图输入到第二归一化层对每张检测图像进行归一化处理，再将每张图片都归一化后的特征信息输入到混合器中提取高频信息和低频信息，将混合器提取后的特征信息与卷积归一化处理后的待测物品的第二检测图像的第二特征图的特征信息进行第一加权处理，将加权后的特征信息输入到第三归一化层进行归一化处理，再将结果输入到前馈神经网络中进行降维处理，将降维处理后的特征信息与加权后的特征信息进行第二加权处理，最后将第二加权处理后的第二检测图像的第二特征图输出。
本发明实施例中，将每张图片都归一化后的特征信息输入到混合器中提取高频信息和低频信息，可参考图6，图6为本发明实施例提供的一种混合器模块捕捉高频信息和低频信息的框图，混合器模块采用通道分割机制，具体的，在不同的分支中同时进行卷积/池化以及自注意力操作，能够在同时捕获局部细节和全局上下文信息，减少特征之间的冗余信息，提高特征的表达能力，更好地捕捉小小目标缺陷的细微差异，提高小目标缺陷检测的准确性。
作为一种实施方式，所述将所述待测物品的第二检测图像的特征信息输入至头部网络中，融合多尺度的待测物品的第二检测图像的特征信息，可以包括以下步骤：
将所述待测物品的第二检测图像的特征信息输入至特征金字塔模块，对特征金字塔模块的高层特征信息进行上采样操作，并将上采样后的高层特征信息与特征金字塔模块的低层特征信息进行融合，得到待测物品的第二检测图像对应的预测特征图；将所述待测物品的第二检测图像的预测特征图输入至路径聚合模块，定位所述待测物品的第二检测图像对应的预测特征图。
作为一种实施方式，所述基于Mosaic-9数据增强算法对所述待测物品的检测图像进行数据增强处理，得到待测物品的第二检测图像，请参照图7，为本发明实施例提供的一种Mosaic-9数据增强处理的流程示意图，可以包括以下步骤：
S301、随机选取9张待测物品的检测图像。
具体的，本发明实施例中，采用的Mosaic-9数据增强算法可以随机选取9张待测物品的检测图像进行拼接，得到1张新的待测物品的检测图像，将1新的待测物品的检测图像输入至模型中进行训练，相当于同时输入9张待测物品的检测图像，不仅丰富了检测图像的背景信息，还可以同时提取9张待测物品的检测图像的特征信息，大幅度的提高了模型的运行效率。
S302、将所述9张待测物品的检测图像进行翻转、缩放和色域变换处理。
具体的，本发明实施例中，可以对所述9张待测物品的检测图像进行左右翻转，也可以对所述9张待测物品的检测图像进行大小缩放，也可以对所述9张待测物品的检测图像的明亮度、饱和度进行调整。
S303、将翻转、缩放和色域变换处理后的9张待测物品的检测图像按照预设的位置坐标进行拼接处理，得到1张所述待测物品的第二检测图像。
具体的，将所述9张待测物品的检测图像进行翻转、缩放和色域变换处理之后，分别将第9张待测物品的检测图像摆放在左上角、左下角、右上角和右下角，再利用矩阵论的方法截取第9张待测物品的检测图像的固定区域，并将9张待测物品的检测图像拼接为1张所述待测物品的第二检测图像。
作为一种实施方式，所述根据所述待测物品的检测图像对应的预测框信息和标注框信息，计算所述待测物品的检测图像的目标损失函数，包括：
根据所述待测物品的检测图像对应的预测框信息和标注框信息，计算所述待测物品的检测图像的分类损失函数、边界框损失函数以及置信度损失函数，所述边界框损失函数Lα-DIoU的公式为：
其中，IoU表示所述待测物品的检测图像对应的预测框信息和标注框信息的交并比值，b表示所述待测物品的检测图像对应的预测框的中心点，bgt表示所述待测物品的检测图像对应的标注框的中心点，ρ表示b与bgt之间的欧式距离，α表示权重因子，c表示所述待测物品的检测图像对应的预测框和标注框的最小外接矩形的对角线长度。
为了验证本发明实施例提供的技术方案的有效性，可以对待测物品进行小目标缺陷检测实验测试，在车间拍摄了待测物品各角度、各工位的缺陷图片，并通过labelimg工具进行标注。首先，将模型生成的权重部署到车间目标检测设备中。其次，使用不良品输入到设备中不断进行检测，测试模型训练权重是否有效，若有效，则用于小目标工业缺陷检测中，若无效，则继续优化模型权重，再次，使用小目标缺陷检测模型通过测试好的权重进行缺陷检测，最后，对检测的所有缺陷进行后处理，对不良品的工业缺陷进行人工复判。
其中，样本1为只使用了C3IF模型训练小目标工业缺陷检测模型的检测结果，样本2在样本1的基础上，使用Masaic-9对待测物品的检测图像进行数据增强处理后进行检测的结果，样本3为在样本2的基础上，再使用边界框损失函数优化模型的检测结果。本发明实施例实验中，待测物品的检测图像进行工业缺陷检测结果请参考图8，为本发明实施例提供的一种待测物品的检测图像进行工业缺陷检测的结果示意图，样本1的检测结果如图8(a)所示，样本2的检测结果如图8(b)所示，样本3的检测结果如图8(c)所示，从图8中可以看出，图8(a)中检测出铝材笔记本电脑的小目标缺陷，而图8(b)中检测出铝材笔记本电脑的更小目标缺陷，而图8(c)中检测出相比于图8(b)更多的待测物品的铝材笔记本电脑的小目标缺陷，因此，本发明所提出的小目标工业缺陷检测模型的训练方法应用于工业缺陷检测中可以精确的检测出待测物品的小目标缺陷。
请参考表1，为本发明实施例中3类样本的各项检测指标表。
表1
模型未优化 模型优化后
产品检出数(率) 43/68(63.24％) 59/68(86.76％)
产品误检数(率) 26/2750(0.94％) 38/2750(1.38％)
从上述表1可以看出，模型未优化时：投入有缺陷的产品68片，检出43片，缺陷检出率63.24％；投入没有缺陷的产品2750片，误检26片，误检率为0.94％。
模型损失后：投入有缺陷的产品68片，检出59片，检出率为86.76％；投入没有缺陷的产品2750片，误检38片，误检率1.38％。由实验结果可得到，所提出的模型针对笔记本铝材小目标缺陷样本有效，在误检率和检出率上都有良好的表现。
需要说明的是，本发明实施例中，小目标工业缺陷检测模型进行训练时，将初始学习率设置为0.01，epochs设置为1000，可以选用SGD优化器对深度学习模型进行优化。所有实验在服务器上使用4个GPU(NVIDIA GeForce RTX 3090 Ti)进行实验，同时安装有Pytorch框架、OpenCV库及运行所需的其他依赖环境。
本发明提供的一种小目标缺陷检测模型的训练方法，所述方法包括：获取待测物品的检测图像，以及所述待测物品的检测图像对应的标注框信息；基于Mosaic-9数据增强算法对所述待测物品的检测图像进行数据增强处理，得到待测物品的第二检测图像；将所述待测物品的第二检测图像输入至初始小目标缺陷检测模型中，得到所述待测物品的检测图像对应的预测框信息；根据所述待测物品的检测图像对应的预测框信息和标注框信息，计算所述待测物品的检测图像的目标损失函数；基于所述目标损失函数对所述初始小目标缺陷检测模型进行更新，得到训练后的小目标缺陷检测模型。本发明所提出的小目标缺陷检测模型的训练方法，基于Mosaic-9数据增强算法对所述待测物品的检测图像进行数据增强处理，并通过对待测物品的检测图像进行道通分割处理，更加精确的捕捉到待测物品的检测图像的全局语义信息和局部语义信息，大幅度提高了小目标缺陷检测模型检测的准确率。
另一方面，本发明还提供了一种小目标缺陷检测模型的训练装置，请参考图9，为本发明实施例所提供的一种小目标缺陷检测模型的训练装置的结构示意图，所述装置包括：
获取模块91，用于获取待测物品的检测图像，以及所述待测物品的检测图像对应的标注框信息；处理模块92，用于基于Mosaic-9数据增强算法对所述待测物品的检测图像进行数据增强处理，得到待测物品的第二检测图像；预测模块93，用于将所述待测物品的第二检测图像输入至初始小目标缺陷检测模型中，得到所述待测物品的检测图像对应的预测框信息；计算模块94，用于根据所述待测物品的检测图像对应的预测框信息和标注框信息，计算所述待测物品的检测图像的目标损失函数；更新模块95，用于基于所述目标损失函数对所述初始小目标缺陷检测模型进行更新，得到训练后的小目标缺陷检测模型。
本发明实施例提供的小目标缺陷检测模型的训练装置90，可以执行上述任一实施例中小目标缺陷检测模型的训练方法的技术方案，其实现原理以及有益效果与小目标缺陷检测模型的训练方法的实现原理及有益效果类似，可参见小目标缺陷检测模型的训练方法的实现原理及有益效果，此处不再进行赘述。
请参照图10，为本发明实施例提供的一种计算机设备的结构示意图，包括存储器101和处理器102，其中：所述存储器101用于存储计算机程序；所述处理器102用于读取所述存储器中的计算机程序，并执行上述所述的一种小目标缺陷检测模型的训练方法。
其中，处理器102还可以称为CPU(Central Processing Unit，中央处理单元)。处理器102可能是一种集成电路芯片，具有信号的处理能力。处理器102还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
请参照图11，为本发明实施例的一种计算机可读存储介质结构示意图。本发明实施例的存储介质110存储有能够实现上述所述的一种小目标缺陷检测模型的训练方法的程序指令111，其中，该程序指令111可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围。
以上，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种小目标缺陷检测模型的训练方法，其特征在于，包括：
获取待测物品的检测图像，以及所述待测物品的检测图像对应的标注框信息；
基于Mosaic-9数据增强算法对所述待测物品的检测图像进行数据增强处理，得到待测物品的第二检测图像；
将所述待测物品的第二检测图像输入至初始小目标缺陷检测模型中，得到所述待测物品的检测图像对应的预测框信息；
根据所述待测物品的检测图像对应的预测框信息和标注框信息，计算所述待测物品的检测图像的目标损失函数；
基于所述目标损失函数对所述初始小目标缺陷检测模型进行更新，得到训练后的小目标缺陷检测模型。
2.根据权利要求1所述的小目标缺陷检测模型的训练方法，其特征在于，所述将所述待测物品的第二检测图像输入至初始小目标缺陷检测模型中，得到所述待测物品的检测图像对应的预测框信息，包括：
将所述待测物品的第二检测图像输入至主干网络中，提取所述待测物品的第二检测图像的特征信息；
将所述待测物品的第二检测图像的特征信息输入至头部网络中，融合多尺度的待测物品的第二检测图像的特征信息；
将融合后的待测物品的第二检测图像的特征信息输入至检测网络，得到所述待测物品的检测图像对应的预测框信息。
3.根据权利要求2所述的小目标缺陷检测模型的训练方法，其特征在于，所述将所述待测物品的第二检测图像输入至主干网络中，提取所述待测物品的第二检测图像的特征信息，包括：
对所述待测物品的第二检测图像进行下采样操作，得到待测物品的第二检测图像的第一特征图；
对所述待测物品的第二检测图像的第一特征图进行卷积操作，得到所述待测物品的第二检测图像的第二特征图；
对所述待测物品的第二检测图像的第二特征图进行语义捕捉操作，得到待测物品的第二检测图像的第三特征图；
对所述待测物品的第二检测图像的第三特征图进行特征编码操作，得到所述待测物品的第二检测图像的特征信息。
4.根据权利要求3所述的小目标缺陷检测模型的训练方法，其特征在于，所述对所述待测物品的第二检测图像的第二特征图进行语义捕捉操作，得到待测物品的第二检测图像的第三特征图，包括：
对所述待测物品的第二检测图像的第二特征图进行逐点卷积操作，捕捉所述待测物品的第二检测图像的第二特征图的全局语义信息；
对捕捉全局语义信息后的待测物品的第二检测图像的第二特征图进行通道分割操作，并在各道通分支引入自注意力机制进行加权调节操作，捕捉所述待测物品的第二检测图像的第二特征图的局部语义信息，得到所述待测物品的第二检测图像的第三特征图。
5.根据权利要求2所述的小目标缺陷检测模型的训练方法，其特征在于，所述将所述待测物品的第二检测图像的特征信息输入至头部网络中，融合多尺度的待测物品的第二检测图像的特征信息，包括：
将所述待测物品的第二检测图像的特征信息输入至特征金字塔模块，对特征金字塔模块的高层特征信息进行上采样操作，并将上采样后的高层特征信息与特征金字塔模块的低层特征信息进行融合，得到待测物品的第二检测图像对应的预测特征图；
将所述待测物品的第二检测图像的预测特征图输入至路径聚合模块，定位所述待测物品的第二检测图像对应的预测特征图。
6.根据权利要求1所述的小目标缺陷检测模型的训练方法，其特征在于，基于Mosaic-9数据增强算法对所述待测物品的检测图像进行数据增强处理，得到待测物品的第二检测图像，包括：
随机选取9张待测物品的检测图像；
将所述9张待测物品的检测图像进行翻转、缩放和色域变换处理；
将翻转、缩放和色域变换处理后的9张待测物品的检测图像按照预设的位置坐标进行拼接处理，得到1张所述待测物品的第二检测图像。
7.根据权利要求1所述的小目标缺陷检测模型的训练方法，其特征在于，所述根据所述待测物品的检测图像对应的预测框信息和标注框信息，计算所述待测物品的检测图像的目标损失函数，包括：
根据所述待测物品的检测图像对应的预测框信息和标注框信息，计算所述待测物品的检测图像的分类损失函数、边界框损失函数以及置信度损失函数，所述
其中，IoU表示所述待测物品的检测图像对应的预测框信息和标注框信息的交并比值，b表示所述待测物品的检测图像对应的预测框的中心点，bgt表示所述待测物品的检测图像对应的标注框的中心点，ρ表示b与bgt之间的欧式距离，α表示权重因子，c表示所述待测物品的检测图像对应的预测框和标注框的最小外接矩形的对角线长度。
8.一种小目标缺陷检测模型的训练装置，其特征在于，包括：
获取模块，用于获取待测物品的检测图像，以及所述待测物品的检测图像对应的标注框信息；
处理模块，用于基于Mosaic-9数据增强算法对所述待测物品的检测图像进行数据增强处理，得到待测物品的第二检测图像；
预测模块，用于将所述待测物品的第二检测图像输入至初始小目标缺陷检测模型中，得到所述待测物品的检测图像对应的预测框信息；
计算模块，用于根据所述待测物品的检测图像对应的预测框信息和标注框信息，计算所述待测物品的检测图像的目标损失函数；
更新模块，用于基于所述目标损失函数对所述初始小目标缺陷检测模型进行更新，得到训练后的小目标缺陷检测模型。
9.一种计算机设备，其特征在于，包括存储器和处理器，其中：
所述存储器用于存储计算机程序；
所述处理器用于读取所述存储器中的计算机程序，并执行如权利要求1至7任一项所述的小目标缺陷检测模型的训练方法的步骤。
10.一种计算机可读存储介质，其特征在于，其上存储有可读的计算机程序，该程序被处理器执行时实现如权利要求1至7任一项所述的小目标缺陷检测模型的训练方法的步骤。
CN202311253168.9A 2023-09-26 2023-09-26 小目标缺陷检测模型的训练方法、装置、设备及存储介质 Pending CN117437181A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311253168.9A CN117437181A (zh) 2023-09-26 2023-09-26 小目标缺陷检测模型的训练方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311253168.9A CN117437181A (zh) 2023-09-26 2023-09-26 小目标缺陷检测模型的训练方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117437181A true CN117437181A (zh) 2024-01-23

Family

ID=89557401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311253168.9A Pending CN117437181A (zh) 2023-09-26 2023-09-26 小目标缺陷检测模型的训练方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117437181A (zh)

Similar Documents

Publication Publication Date Title
CN110533084B (zh) 一种基于自注意力机制的多尺度目标检测方法
Jiang et al. HDCB-Net: A neural network with the hybrid dilated convolution for pixel-level crack detection on concrete bridges
JP2024509411A (ja) 欠陥検出方法、装置及びシステム
CN111681273B (zh) 图像分割方法、装置、电子设备及可读存储介质
CN111932511B (zh) 一种基于深度学习的电子元器件质量检测方法与系统
CN110751195B (zh) 一种基于改进YOLOv3的细粒度图像分类方法
CN111738344A (zh) 一种基于多尺度融合的快速目标检测方法
CN112819748B (zh) 一种带钢表面缺陷识别模型的训练方法及装置
CN113239807B (zh) 训练票据识别模型和票据识别的方法和装置
CN113628179B (zh) 一种pcb表面缺陷实时检测方法、装置及可读介质
CN113012153A (zh) 一种铝型材瑕疵检测方法
CN114529462A (zh) 一种基于改进YOLO V3-Tiny的毫米波图像目标检测方法及系统
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
Xiao et al. Defect detection and classification of galvanized stamping parts based on fully convolution neural network
CN112686896B (zh) 基于分割网络的频域空间结合的玻璃缺陷检测方法
CN109726754A (zh) 一种lcd屏缺陷识别方法及装置
CN117593264A (zh) 一种改进的联合YOLOv5和知识蒸馏的汽车发动机缸孔内壁检测方法
Ibrahem et al. Weakly supervised traffic sign detection in real time using single CNN architecture for multiple purposes
CN116824122A (zh) 基于深度学习的led芯片定位方法及led芯片定位装置
CN110889418A (zh) 一种气体轮廓识别方法
CN116205881A (zh) 一种基于轻量级语义分割的数码喷印图像缺陷检测方法
CN115063473A (zh) 物体高度的检测方法、装置、计算机设备、存储介质
CN117437181A (zh) 小目标缺陷检测模型的训练方法、装置、设备及存储介质
CN115424293A (zh) 活体检测方法、活体检测模型的训练方法及装置
CN114998216A (zh) 透明件表面缺陷快速检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination