CN115205626A - 一种应用于涂层缺陷检测领域的数据增强方法 - Google Patents

一种应用于涂层缺陷检测领域的数据增强方法 Download PDF

Info

Publication number
CN115205626A
CN115205626A CN202210729377.5A CN202210729377A CN115205626A CN 115205626 A CN115205626 A CN 115205626A CN 202210729377 A CN202210729377 A CN 202210729377A CN 115205626 A CN115205626 A CN 115205626A
Authority
CN
China
Prior art keywords
picture
random
pictures
enhanced
coating defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210729377.5A
Other languages
English (en)
Inventor
訾斌
唐锴
周斌
钱森
徐锋
李元
赵嘉浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202210729377.5A priority Critical patent/CN115205626A/zh
Publication of CN115205626A publication Critical patent/CN115205626A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种应用于涂层缺陷检测领域的数据增强方法及系统，主要针对样本数据量少，各类别比例分布不均衡，含大量小样本且密集聚集的涂层缺陷数据集，包括：1.根据原始数据集制作特征图数据库；2.基于原图各类别先验准确率和数量，从特征图数据库中随机抽取对应特征图并自适应加权映射到原图中；3.以一定的概率与另外多张原图进行变换组合拼接成新的图片。本发明生成的新图与原图相关性小，可根据不同复杂应用环境，动态调整超参和函数，丰富样本特征和数量，避免传统数据增强可能带来的过拟合问题。通过消融实验表明，经该数据增强训练后的模型具有更好的识别准确率和泛化性，且该方法无需人工二次标注。

Description

一种应用于涂层缺陷检测领域的数据增强方法
技术领域
本发明涉及神经网络模型图像数据增强方法领域，具体是一种应用于涂层缺陷检测领域的数据增强方法。
背景技术
在产品生产过程中，喷涂往往是产品加工的最后一道工序。喷涂主要有三个方面的作用：1.可以保护物体不被空气、水等各种介质侵蚀，起到延长使用寿命的作用；2.物体表面喷涂特殊材料，可以进行伪装、防火、防水、防污；3.增强物体表面的光泽和色彩性提升美感，起到装饰的作用。然而在实际的喷涂过程中，由于油漆质量、喷涂工艺和车间环境等因素影响，工件在喷涂过程和喷涂后，表面涂层可能会产生缺陷，这些缺陷可能会对工件的外观、使用寿命和安全性产生重要影响，因此对产品涂层缺陷进行检测是十分有必要的。
目前大多企业仍采用人工或传统机器视觉等方法进行涂层缺陷检测。人工检测方式效率低、准确率不高、易受人工经验和主观因素影响，而传统机器视觉需要手工设计特征，虽然在一定程度上有效过滤了背景噪声，但算法泛化性差，在复杂工业环境中表现不佳。基于深度学习的缺陷检测算法利用庞大的训练数据，通过卷积、权值共享及池化等操作，自动提取目标丰富的特征，使算法更具泛化性和表达能力，已在不同领域应用中证明其能够处理更为复杂的分类问题。
对于基于深度学习的涂层缺陷检测算法来说，数据集的好坏对模型的泛化性和识别准确率起到了至关重要的作用。但实际中，普遍存在缺陷样本数据量不足或质量不高，需要基于一定的方法对样本做数据增强，来提升样本整体质量。
目前涂层缺陷数据集存在如下特点：1.真实缺陷样本数据量少，且难采集；2.暴露在自然环境中易反光，背景复杂多变；3.不同样本之间形态差异较大，且样本数量严重不均衡；4.存在大量小目标，且密集聚集。这些特点阻碍了模型识别准确率的提高，而现有的一些数据增强方法并不适用或只解决了部分问题。
如公开号为CN113793279A，名称为“一种面向交通标志目标检测领域的数据增强方法”，该方法将小样本裁剪后直接嵌入到被匹配的图像中，并未考虑嵌入后导致被匹配图像中原有正样本被部分遮挡，使部分特征丢失和标注框位置偏移等现象，且该方法并没有一套对裁剪图片类别、数量和嵌入位置进行判别和挑选的原则，可能会出现类不均衡和增强后的图片不符合实际等情况。
公开号为CN111583183A，名称为“一种用于PCB板图像缺陷检测的数据增强方法和系统”，该方法为扩充小样本数量仅对原图做随机裁剪和缩放操作，其生成的新图与原图相关较大，对模型检测效果提升很小，且易受外部环境的影响。
公开号为CN112270653A，名称为“一种针对图像样本不均衡的数据增强方法”，该方法仅解决部分样本不均衡的问题，但对于大多数缺陷检测数据集存在的含大量小目标，且密集聚集情况并未解决。
因此在涂层缺陷检测领域，需要一种新的数据增强方法及系统来统一解决现有数据增强方法的不足，提升涂层缺陷数据集的整体质量，从而进一步提高模型检测的准确率和泛化性。
发明内容
本发明的目的是提供一种应用于涂层缺陷检测领域的数据增强方法，以解决现有技术数据增强方法的不足，提高涂层缺陷检测算法的准确率和鲁棒性。
为了达到上述目的，本发明所采用的技术方案为：
一种应用于涂层缺陷检测领域的数据增强方法，包括以下步骤：
步骤1、获取多张图片，每张图片至少显示一种类别的涂层缺陷，对每张图片分别按各自对应的至少一种涂层缺陷类别人工标出相应标签；
步骤2、将步骤1分别标注有标签的多张图片中的部分图片划分作为预训练集，其余图片划分作为测试集，并将预训练集和测试集中的图片分别进行数据处理，转化为深度学习网络模型训练所需的数据格式；
步骤3、采用步骤2得到的预训练集的图片数据对深度学习网络模型进行预训练，并用步骤2得到的测试集的图片数据对深度学习网络模型进行测试，根据测试结果得到深度学习网络模型对各种涂层缺陷类别的先验识别准确率；
步骤4、从预训练集的每张图片中分别确定对应包含的涂层缺陷部分的位置，并分离出所有的涂层缺陷部分作为特征图片，根据特征图片对应的涂层缺陷的类别，建立涂层缺陷特征图数据库，所述涂层缺陷特征图数据库包含预训练集每张图片对应的特征图片按涂层缺陷的类别归类各张图片的特征图片；
步骤5、从预训练集中随机选取一张图片作为待增强原图，对待增强原图进行第一随机变换得到变换后的图片，并根据第一随机变换过程中使用的矩阵变换和图像处理技术得到第一随机变换后图片的标注标签。通过第一随机变换以减小最终增强后的图片与原图的相关性；
步骤6、基于待增强原图包含的涂层缺陷类别、待增强原图包含的涂层缺陷类别在深度学习网络模型中的先验识别准确率、以及待增强原图包含的各涂层缺陷类别数量，按以下公式从所述涂层缺陷特征图片数据库中随机选取待增强原图中包含的各类别的待映射特征图片的数量，公式如下：
Figure BDA0003712396330000031
其中，pi为待增强原图包含的涂层缺陷类别在深度学习网络模型中对应的先验识别准确率，i＝1、2、3、4……n，n为待增强原图包含的涂层缺陷类别的总数，m为待增强原图包含的特征图片的总数，v为超参系数可动态调控随机选取的某特定类别的数量，以缓解类不均衡问题；
然后，分别对随机选取的各个特征图片进行第二随机变换，得到变换后的特征图片。通过第二随机变换以减小最终增强后的图片与原图的相关性；
步骤7、将经过第二随机变换后的特征图片，通过自适应加权映射到经过第一随机变换后的图片中，更新经过第一随机变换后的待增强原图的对应标注标签，并对映射后的原图和对应标注标签进行第三随机变换得到变换后的图片，并根据第三随机变换过程中使用的矩阵变换和图像处理技术得到第三随机变换后图片的标注标签。通过第三随机变换减小最终增强后的图片与原图的相关性；
步骤8、在1～9中随机生成一个随机数，若生成的随机数在7～9中，则从所述预训练集中随机选取多张不同的图片和对应标注标签，将选取的多张图片与经过第三随机变换后的图片进行拼接得到最终数据增强后的图片，并根据拼接过程中使用的矩阵变换和图像处理技术得到最终数据增强后图片的标注标签，将最终数据增强后的图片和对应标注标签添加到新的训练集，用于后续对深度学习网络模型进行训练。否则将经过第三随机变换后的图片和对应标签做为最终数据增强后的图片和对应标注标签，添加到新的训练集，用于后续对深度学习网络模型进行训练。
进一步的步骤2中，按6:4的比例划分预训练集、测试集。
进一步的，步骤2、3、6中所述的深度学习网络模型为YOLOv5模型。
进一步的步骤4中，从预训练集的每张图片中分别确定包含的涂层缺陷部分在图片中的坐标，并统计每张图片包含的涂层缺陷的类别，然后根据坐标从图片中裁剪出所有的涂层缺陷部分作为特征图片，接着基于类别归类各个图片的涂层缺陷，由此得到涂层缺陷特征图数据库。
进一步的步骤5中，所述第一随机变换包括随机缩放图片大小、随机镜像、随机中心点移动和随机旋转操作。
进一步的步骤6中，首先对待增强原图中的背景环境和特征图片进行统计分析，通过待增强原图背景中存在的涂层缺陷类别过滤掉在随机选取特征图时，一些不符合该待增强原图场景的特征图片，使数据增强符合实际情况；然后，再根据公式从所述涂层缺陷特征图片数据库中随机选取多张特征图片。
进一步的步骤6中，第二随机变换包括随机缩放图片大小、随机镜像和随机旋转操作。
进一步的，步骤7中所述自适应加权映射过程如下：
(7.1)、设待增强原图的宽和高为w1和h1,特征图片的宽和高为f_w和f_h；
(7.2)、计算f_w/2、f_h/2，若满足f_w/2≥w1-f_w/2或f_h/2≥h1-f_h/2，则判别为该特征图片不适合待增强原图，将该特征图片丢弃；
(7.3)、计算f_w/2、f_h/2，若不满足f_w/2≥w1-f_w/2或f_h/2≥h1-f_h/2，则在经第一随机变换后图片中随机选择特征图片的中心点Fea_c＝[random(f_w/2,w1-f_w/2)，random(f_h/2,h1-f_h/2)]，得到特征图片在经第一随机变换后图片中的先验标注框box＝[xmin,ymin,xmax,ymax]；
然后，计算先验标注框box与经第一随机变换后图片中的标注框的交集区域坐标inter_box和交集面积，当交集面积与先验标注框box面积的比值或者交集面积与经第一随机变换后图片中的标注框面积的比值大于初始设定阈值conf，则判别该特征图片在经第一随机变换后图片中的位置不合适，重复本步骤(7.3)，否则进行下一步；
(7.4)、为防止特征图片映射到经第一随机变换后图片造成经第一随机变换后图片的部分特征丢失和标注框位置偏移现象，计算步骤(7.3)中得到的先验标注框box与经第一随机变换后图片中每一个标注框的交集区域的面积；
若交集区域的面积大于0，则根据交集区域坐标inter_box裁剪出待经第一随机变换后图片中的交集图片inter_img1，并随后将特征图片映射到经第一随机变换后图片中，得到映射后的待增强原图img1；
然后再次根据交集区域坐标inter_box裁剪出img1中的图片inter_img2，由下式得到交集区域的加权融合图片fuse_img：
fuse_img＝inter_img1×0.5+inter_img2×0.5
将加权融合图片fuse_img根据交集区域坐标inter_box映射到img1中，并把先验标注框box添加到经第一随机变换后的标签中。
进一步的步骤(7.3)中，若重复过程超过1000次时，交集面积与box面积的比值或者交集面积与对应经第一随机变换后图片标注框面积的比值仍然大于初始设定阈值conf，则判别为该特征图片不适合经第一随机变换后图片，将该特征图片丢弃，并重复步骤(7.2)、(7.3)。
进一步的步骤7中，第三随机变换包括随机亮度、随机高斯模糊和随机噪声操作。
进一步的，步骤(8)中，若发生概率拼接，则首先构造空白图片，空白图片的大小为深度学习网络模型输入图片大小的2倍，然后在空白图片中随机选择拼接点坐标将空白图片分割为4块，调整待拼接图片大小并随机映射到4块空白图片上，最后对映射后的图片进行缩放和偏移，并调整标注标签信息，得到拼接后的图片和对应的标签。
本发明方法可应用于不同复杂背景下的涂层缺陷检测任务，且无需人工二次标注，易于插入到训练代码中，实现在线数据增强。与现有技术相比，本发明的优点为：
(1)经本发明数据增强后的图片与原图比较相关性小；
(2)本发明设计了一种特征图数据库的制作和特征图抽取的方法，根据不同的背景环境，动态调整各超参和函数，来丰富特征数量，避免了传统数据增强后的过拟合问题；
(3)相较于其它数据增强方法中的裁剪粘贴特征图，本发明通过自适应特征图筛选、设定阈值conf和交集区域图片加权映射方法，解决了现有数据增强方法中存在的部分特征丢失和原有标注框位置偏移等现象，达到了较好的特征融合效果；
(4)数据增强后的图片无需人工二次标注，易于插入到训练代码中进行在线数据增强。
附图说明
图1是本发明实施例方法流程图。
图2是本发明实施例涂层缺陷数据集制作过程。
图3是本发明实施例自适应加权融合后的效果示意图。
图4是本发明实施例待增强原图进行数据增强前后的效果示意图。
图5是本发明实施例在涂层缺陷数据集上的消融实验结果图。
图6是本发明实施例在VOC数据集上的消融实验结果图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
如图1所示，本实施例方法包括以下步骤：
步骤1、如图2所示，为提高原始数据集样本数量，首先对涂层缺陷产生的成因进行分析，根据涂层缺陷的成因人工制作涂层缺陷样本。
然后，使用2000万像素的工业相机(采用较大像素相机，防止一些微小的缺陷在后续检测时特征丢失)，在不同的背景环境和光照下对涂层缺陷样本进行图片采集，由此得到多张图片，每张图片显示对应涂层缺陷样本包含的至少一种类别的涂层缺陷，图片格式为.jpg格式，并通过labelImg软件进行标注，以对每个图片分别按各自对应的涂层缺陷类别标出相应标签，该标签反映涂层缺陷信息。
步骤2、按6:4的比例将步骤1的多张图片中划分作为预训练集、测试集，预训练集会进行后续的数据增强，而测试集会用来对训练后的深度学习网络模型进行测试评估，并将预训练集和测试集中的图片分别进行数据处理，转化为深度学习网络模型训练所需的数据格式。
步骤3、采用步骤2得到的预训练集的图片数据对深度学习网络模型进行预训练，并用步骤2得到的测试集的图片数据对深度学习网络模型进行测试，根据测试结果得到深度学习网络模型对各种涂层缺陷类别在0.5mAP指标下的先验识别准确率。
本实施例中，以YOLOv5模型做为深度学习网络训练模型。
由于数据量较少的涂层缺陷类别其识别准确率并不一定较低，深度学习网络模型对样本识别准确率的高低与样本的数量、特征复杂性、背景环境等因素相关，而在数据增强时单一考虑平衡各类别数量的方法是不够的。因此，本实施例相较于其它数据增强为平衡各类别数量而直接扩充数据量较少类别的方法，将各涂层缺陷类别的先验识别准确率作为后续样本扩充的原则之一。
步骤4、统计分析预训练集中的涂层缺陷类别和各涂层缺陷类别的数量，根据各涂层缺陷类别建立以各涂层缺陷类别命名的文件夹。
根据预训练集各个图片的标注标签中的涂层缺陷类别、涂层缺陷部分在相应图片中的坐标信息(包括归一化后的标注框中心点x坐标，归一化后的标注框中心点y坐标，归一化后的标注框宽度，归一化后的标注框高度)，对各个图片进行裁剪以分离出涂层缺陷部分作为对应图片的特征图片，并将特征图片保存到对应的涂层缺陷类别文件夹中，由此建立涂层缺陷特征图数据库。因此，该涂层缺陷特征图数据库包含预训练集每张图片对应的特征图片，并按涂层缺陷的类别归类各张图片的特征图片。
步骤5、从预训练集中随机选取一张图片作为待增强原图，对待增强原图进行第一随机变换得到变换后的图片并根据第一随机变换过程中使用的矩阵变换和图像处理技术得到第一随机变换后图片的标注标签。通过第一随机变换减小最终增强后的图片与原图的相关性。具体过程如下：
从预训练集中随机抽取一张待增强原图img0和对应的标注标签labels，待增强原图img0为OpenCV读取图片后的数组，labels＝[m,5]，其中m为正样本标注框总数，数字5是指涂层缺陷类别、标注框中心点x坐标、标注框中心点y坐标、标注框宽度、标注框高度共5个属性。
使用第一随机变换得到新的图片img0和labels，其中第一随机变换包括随机缩放图片大小、随机镜像、随机中心点移动和随机旋转操作，具体的，第一随机变换超参数(包括随机缩放图片大小比例、随机翻转方式、随机中心点移动的范围和随机旋转的角度)取值范围如表1所示：
表1第一随机变换超参数取值范围表
变换函数 使用概率 超参具体取值范围
随机缩放图片大小 1 0.6～1.2
随机翻转 1 随机水平和竖直翻转
随机中心点移动 1 (-400，400)
随机旋转 1 (90°,180°,270°)
第一随机变换中的超参数和各变换函数可动态调整，以满足不同背景环境下的数据增强需求。
步骤6、为解决预训练集中各类别数据量少，比例分布不均衡以及含大量小目标且密集聚集的现状，本实施例综合考虑各类别先验识别准确率、数量和形态大小，基于待增强原图包含的涂层缺陷类别、待增强原图包含的涂层缺陷类别在深度学习网络模型中的识别准确率、以及待增强原图包含的各涂层缺陷类别数量，从所述涂层缺陷特征图片数据库中，随机选取待增强原图中包含的各类别的多张特征图片，以模拟真实场景中的样本分布情况，进而解决了现有数据增强方法的不足的问题。具体过程如下
(6.1)对待增强原图img0中的背景环境和特征图片对应的涂层缺陷类别、特征图片的数量进行统计分析，通过待增强原图img0中存在的涂层缺陷类别来过滤一些特定环境中不应存在的特征(如在房屋客厅的场景中，不应该出现现实生活中的飞机和火车)，从而确定需对待增强原图img0进行数据增强的目标样本类别，使数据增强符合实际情况。
(6.2)设待增强原图img0中存在的涂层缺陷类别为c＝[c1,c2,…,cn]，各涂层缺陷类别在步骤3中深度学习网络模型预训练的先验识别准确率为
Figure BDA0003712396330000081
则根据如下公式确定从所述涂层缺陷特征图片数据库中，随机选取待增强原图中包含的各类别的特征图片的数量：
Figure BDA0003712396330000082
其中，pi为待增强原图包含的涂层缺陷类别在深度学习网络模型中对应的先验识别准确率，i＝1、2、3、4……n，n为待增强原图包含的涂层缺陷类别的总数，m为待增强原图包含的涂层缺陷类别的总数，v为超参系数可动态调控随机选取的某特定类别的数量，以缓解类不均衡问题。
(6.3)使用OpenCV读取每张特征图片，并建立特征图片列表数组FeaImgs,对FeaImgs中的各特征图片数组进行第二随机变换，得到变换后的图片。
第二随机变换包括随机缩放图片大小、随机翻转和随机旋转操作，具体的，第二随机变换超参数(包括随机缩放图片大小比例、随机翻转方式和随机旋转的角度)取值范围如表2所示：
表2第二随机变换超参数取值范围表
变换函数 使用概率 超参具体取值范围
随机缩放图片大小 1 0.6～1.2
随机翻转 1 随机水平和竖直翻转
随机旋转 1 (90°,180°,270°)
第二随机变换中的超参和各变换函数可针对不同特征图片的特性和需求动态调整，以满足不同背景环境下的数据增强需求。
步骤7、将经过第二随机变换后的特征图片，通过自适应加权映射到经过第一随机变换后的图片中，更新经过第一随机变换后的待增强原图的对应标注标签，并对映射后的图片进行第三随机变换得到变换后的图片，并根据第三随机变换过程中使用的矩阵变换和图像处理技术得到第三随机变换后图片的标注标签。
本实施例中，为了更好的将特征图片与待增强原图img0映射融合，解决现有技术方法存在的部分特征丢失和标注框位置偏移问题，本实施例采用一种自适应加权映射融合策略，具体过程如下：
(7.1)、设待增强原图img0的宽和高为w1和h1,从FeaImgs中抽取一张待映射的特征图片FeaImg，特征图片FeaImg的宽和高为f_w和f_h；
(7.2)、计算f_w/2、f_h/2，若满足f_w/2≥w1-f_w/2或f_h/2≥h1-f_h/2，则判别为该特征图片不适合待增强原图，将该特征图片丢弃；
(7.3)、计算f_w/2、f_h/2，若不满足f_w/2≥w1-f_w/2或f_h/2≥h1-f_h/2，则在经第一随机变换后图片中随机选择特征图片FeaImg的中心点Fea_c＝[random(f_w/2,w1-f_w/2)，random(f_h/2,h1-f_h/2)]，得到特征图片FeaImg在经第一随机变换后图片中的先验标注框box＝[xmin,ymin,xmax,ymax]；
然后，逐个计算先验标注框box与经第一随机变换后图片中每一个标注框的交集区域坐标inter_box(inter_box＝[in_xmin,in_ymin,in_xmax,in_ymax])和交集面积，当交集面积与先验标注框box面积的比值或者交集面积与经第一随机变换后图片中的标注框面积的比值大于初始设定阈值conf(一般设为0.35，可根据实际情况调参)，则判别该特征图片FeaImg在经第一随机变换后图片中的位置不合适，重复本步骤(7.3)，否则进行下一步；
(7.4)、为防止特征图片FeaImg映射到经第一随机变换后图片中造成经第一随机变换后图片中的部分特征丢失和标注框位置偏移现象，计算步骤(7.3)中得到的先验标注框box与经第一随机变换后图片中每一个标注框的交集区域的面积；
若交集区域的面积大于0，则根据交集区域坐标inter_box裁剪出经第一随机变换后图片中的交集图片inter_img1＝img0[in_ymin:in_ymax,in_xmin:in_xmax]，并将特征图片FeaImg映射到经第一随机变换后图片中得到映射后的待增强原图img1＝img0[ymin:ymax,xmin:xmax]；
然后再次根据交集区域坐标inter_box裁剪出映射后的待增强原图img1中的图片inter_img2＝img1[in_ymin:in_ymax,in_xmin:in_xmax]，由下式得到交集区域的加权融合图片fuse_img：
fuse_img＝inter_img1×0.5+inter_img2×0.5
将加权融合图片fuse_img根据交集区域坐标inter_box映射到img1中，并把先验标注框box添加到经第一随机变换后图片的对应标注标签labels中。
与一般融合方法相比，本发明的自适应加权映射融合效果如图3所示。从图3可以看出，一般映射方法直接将特征图片映射到原图中，当特征图片与待映射原图中的标注框有交集时，特征图片可能会覆盖待映射原图中的部分特征，造成部分特征丢失和标注框位置偏移等现象，进而影响模型的识别和定位效果。而经本发明所提出的交集区域加权映射方法能够很好的解决这些问题。
最后，对映射后的待增强原图img1进行第三随机变换，第三随机变换变换包括随机亮度、随机高斯模糊和随机噪声操作，具体的，第三随机变换超参(包括随机亮度范围、随机高斯模糊滤波器大小和随机噪声的比例)取值范围如表3所示：
表3第三随机变换超参数取值范围表
Figure BDA0003712396330000101
Figure BDA0003712396330000111
步骤8、经第三随机变换后的图片img1有1/3的概率会与其它从预训练集中随机抽取的多张图片进行拼接，具体操作包括在1～9中随机生成一个随机数，若生成的随机数在7～9中，则从所述预训练集中随机选取多张不同的图片和对应标注标签，将选取的多张图片与经过第三随机变换后的图片进行拼接得到最终数据增强后的图片，并根据拼接过程中的使用的矩阵变换和图像处理技术得到最终数据增强后图片的标注标签，将最终数据增强后的图片和对应标注标签添加到新的训练集，用于后续对深度学习网络模型进行训练。否则将经过第三随机变换后的图片和对应标签做为最终数据增强后的图片和对应标签，添加到新的训练集，用于后续对深度学习网络模型进行训练。
经本发明最终数据增强后的图片与数据增强前的图片的对比效果如图4所示。从图4可以看出与现有的数据增强技术相比，经本发明数据增强后的图片与原图相关性小，且样本数量和形态大小更加丰富，避免了传统数据增强后的过拟合问题，也可通过调节数据增强过程中的超惨变量来解决数据集类不均衡问题。
本发明方法验证：
为了验证本发明方法的有效性，对采集到的1300张涂层缺陷图片，约14900个缺陷目标，通过6:4划分为预训练集780张，验证集520张。然后对预训练集通过本发明方法进行数据增强，扩充到1400张，以YOLOv5模型为基线进行消融实验，实验结果如图5所示。从图5可以看出，以YOLOv5模型为基线进行模型训练和测试，经本发明方法与传统数据增强方法以及现有流行的其它数据增强方法相比，其对涂层缺陷检测的识别准确率更高，达到了95.6％。且为了验证本发明方法的通用性，在公开数据集VOC上进行了对比实验，实验结果如图6所示，结果表明本发明方法对其它检测任务同样有效，因此进一步证明了本发明方法的有效性。
本发明使用Python编程语言和OpenCV(OpenCV是一个开源发行的跨平台计算机视觉和机器学习软件库)来对算法的过程进行实现，并对本发明算法的程序进行了封装，易于插入到训练代码。
综上所述，本发明提出了一种应用于涂层缺陷检测领域的数据增强方法及系统，通过特征图数据库的制作，特征图抽取策略和自适应加权映射策略等方法，使新生成的图片与原图相关性小，提高了现有涂层缺陷数据集的整体质量，也解决了其它数据增强方法在特征融合过程中存在的部分特征丢失和原有标注框偏移的问题。最后基于YOLOv5算法，对经本发明数据增强后的涂层缺陷数据集和VOC数据集进行消融实验，结果表明经本发明后的数据增强方法提高了涂层缺陷检测模型的准确率和泛化性，且本发明方法对其它数据集同样有效。
本发明所述的实施例仅仅是对本发明的优选实施方式进行的描述，并非对本发明构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域中工程技术人员对本发明的技术方案作出的各种变型和改进，均应落入本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。

Claims (11)

1.一种应用于涂层缺陷检测领域的数据增强方法，其特征在于，包括以下步骤：
步骤1、获取多张图片，每张图片至少显示一种类别的涂层缺陷，对每张图片分别按各自对应的至少一种涂层缺陷类别人工标出相应标签；
步骤2、将步骤1分别标注有标签的多张图片中的部分图片划分作为预训练集，其余图片划分作为测试集，并将预训练集和测试集中的图片分别进行数据处理，转化为深度学习网络模型训练所需的数据格式；
步骤3、采用步骤2得到的预训练集的图片数据对深度学习网络模型进行预训练，并用步骤2得到的测试集的图片数据对深度学习网络模型进行测试，根据测试结果得到深度学习网络模型对各种涂层缺陷类别的先验识别准确率；
步骤4、从预训练集的每张图片中分别确定对应包含的涂层缺陷部分的位置，并分离出所有的涂层缺陷部分作为特征图片，根据特征图片对应的涂层缺陷的类别，建立涂层缺陷特征图数据库，所述涂层缺陷特征图数据库包含预训练集每张图片对应的特征图片，并按涂层缺陷的类别归类各个图片的特征图片；
步骤5、从预训练集中随机选取一张图片作为待增强原图，对待增强原图进行第一随机变换，得到变换后的图片，并根据第一随机变换过程中使用的矩阵变换和图像处理技术得到第一随机变换后图片的标注标签，通过第一随机变换减小最终增强后的图片与原图的相关性；
步骤6、基于待增强原图包含的涂层缺陷类别、待增强原图包含的涂层缺陷类别在深度学习网络模型中的先验识别准确率、以及待增强原图包含的各涂层缺陷类别数量，按以下公式从所述涂层缺陷特征图片数据库中随机选取待增强原图中包含的各类别的待映射特征图片的数量，公式如下：
Figure FDA0003712396320000011
其中，pi为待增强原图包含的涂层缺陷类别在深度学习网络模型中对应的先验识别准确率，i＝1、2、3、4……n，n为待增强原图包含的涂层缺陷类别的总数，m为待增强原图包含的涂层缺陷类别的总数，v为超参系数可动态调控随机选取的某特定类别的数量，以缓解类不均衡问题；
然后，分别对随机选取的各个特征图片进行第二随机变换，得到变换后的特征图片，通过第二随机变换减小最终增强后的图片与原图的相关性；
步骤7、将经过第二随机变换后的特征图片，通过自适应加权映射到经过第一随机变换后的图片中，更新经过第一随机变换后的待增强原图的对应标注标签，并对映射后的原图和对应标注标签进行第三随机变换得到变换后的图片，并根据第三随机变换过程中使用的矩阵变换和图像处理技术得到第三随机变换后图片的标注标签。通过第三随机变换减小最终增强后的图片与原图的相关性；
步骤8、在1～9中随机生成一个随机数，若生成的随机数在7～9中，则从所述预训练集中随机选取多张不同的图片和对应标注标签，将选取的多张图片与经过第三随机变换后的图片进行拼接得到最终数据增强后的图片，并根据拼接过程中使用的矩阵变换和图像处理技术得到最终数据增强后图片的标注标签，将最终数据增强后的图片和对应标注标签添加到新的训练集，用于后续对深度学习网络模型进行训练，否则将经过第三随机变换后的图片和对应标签作为最终数据增强后的图片和对应标注标签，添加到新的训练集，用于后续对深度学习网络模型进行训练。
2.根据权利要求1所述的一种应用于涂层缺陷检测领域的数据增强方法，其特征在于，步骤2中，按6:4的比例划分预训练集、测试集。
3.根据权利要求1所述的一种应用于涂层缺陷检测领域的数据增强方法，其特征在于，步骤2、3、6中所述的深度学习网络模型为YOLOv5模型。
4.根据权利要求1所述的一种应用于涂层缺陷检测领域的数据增强方法，其特征在于，步骤4中，从预训练集的每张图片中分别确定包含的涂层缺陷部分在图片中的坐标，并统计每张图片包含的涂层缺陷的类别，然后根据坐标从图片中裁剪出所有的涂层缺陷部分作为特征图片，接着基于类别归类各个图片的涂层缺陷，由此得到涂层缺陷特征图数据库。
5.根据权利要求1所述的一种应用于涂层缺陷检测领域的数据增强方法，其特征在于，步骤5中，所述第一随机变换包括随机缩放图片大小、随机镜像、随机中心点移动和随机旋转操作。
6.根据权利要求1所述的一种应用于涂层缺陷检测领域的数据增强方法，其特征在于，步骤6中，首先对待增强原图中的背景环境和特征图片进行统计分析，通过待增强原图背景中存在的涂层缺陷类别过滤掉在随机选取特征图时，一些不符合该待增强原图场景的特征图片，使数据增强符合实际情况；然后，再根据公式从所述涂层缺陷特征图片数据库中随机选取各对应类别的多张特征图片。
7.根据权利要求1所述的一种应用于涂层缺陷检测领域的数据增强方法，其特征在于，步骤6中，第二随机变换包括随机缩放图片大小、随机翻转和随机旋转操作。
8.根据权利要求1所述的一种应用于涂层缺陷检测领域的数据增强方法，其特征在于，步骤7中所述自适应加权映射过程如下：
(7.1)、设待增强原图的宽和高为w1和h1,特征图片的宽和高为f_w和f_h；
(7.2)、计算f_w/2、f_h/2，若满足f_w/2≥w1-f_w/2或f_h/2≥h1-f_h/2，则判别为该特征图片不适合待增强原图，将该特征图片丢弃；
(7.3)、计算f_w/2、f_h/2，若不满足f_w/2≥w1-f_w/2或f_h/2≥h1-f_h/2，则在经第一随机变换后图片中随机选择特征图片的中心点Fea_c＝[random(f_w/2,w1-f_w/2)，random(f_h/2,h1-f_h/2)]，得到特征图片在经第一随机变换后图片中的先验标注框box＝[xmin,ymin,xmax,ymax]；
然后，计算先验标注框box与经第一随机变换后图片中的标注框的交集区域坐标inter_box和交集面积，当交集面积与先验标注框box面积的比值或者交集面积与经第一随机变换后图片中的标注框面积的比值大于初始设定阈值conf，则判别该特征图片在经第一随机变换后图片中的位置不合适，重复本步骤(7.3)，否则进行下一步；
(7.4)、为防止特征图片映射到经第一随机变换后图片造成经第一随机变换后图片中的部分特征丢失和标注框位置偏移现象，计算步骤(7.3)中得到的先验标注框box与经第一随机变换后图片中每一个标注框的交集区域的面积；
若交集区域的面积大于0，则根据交集区域坐标inter_box裁剪出经第一随机变换后图片中的交集图片inter_img1，并随后将特征图片映射到经第一随机变换后图片中，得到映射后的待增强原图img1；
然后再次根据交集区域坐标inter_box裁剪出img1中的图片inter_img2，由下式得到交集区域的加权融合图片fuse_img：
fuse_img＝inter_img1×0.5+inter_img2×0.5
将加权融合图片fuse_img根据交集区域坐标inter_box映射到img1中，并把先验标注框box添加到经第一随机变换后图片的标签中。
9.根据权利要求1所述的一种应用于涂层缺陷检测领域的数据增强方法，其特征在于，步骤(7.3)中，若重复过程超过1000次时，交集面积与box面积的比值或者交集面积与经第一随机变换后图片对应标注框面积的比值仍然大于初始设定阈值conf，则判别为该特征图片不适合经第一随机变换后图片，将该特征图片丢弃，并重复步骤(7.2)、(7.3)。
10.根据权利要求1所述的一种应用于涂层缺陷检测领域的数据增强方法，其特征在于，步骤7中，第三随机变换包括随机亮度、随机高斯模糊和随机噪声操作。
11.根据权利要求1所述的一种应用于涂层缺陷检测领域的数据增强方法，其特征在于，步骤(8)中，若发生概率拼接，则首先构造空白图片，空白图片的大小为深度学习网络模型输入图片大小的2倍，然后在空白图片中随机选择拼接点坐标将空白图片分割为4块，调整待拼接图片大小并随机映射到4块空白图片上，最后对映射后的图片进行缩放和偏移，并调整标注标签信息，得到拼接后的图片和对应的标注标签。
CN202210729377.5A 2022-06-24 2022-06-24 一种应用于涂层缺陷检测领域的数据增强方法 Pending CN115205626A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210729377.5A CN115205626A (zh) 2022-06-24 2022-06-24 一种应用于涂层缺陷检测领域的数据增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210729377.5A CN115205626A (zh) 2022-06-24 2022-06-24 一种应用于涂层缺陷检测领域的数据增强方法

Publications (1)

Publication Number Publication Date
CN115205626A true CN115205626A (zh) 2022-10-18

Family

ID=83577403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210729377.5A Pending CN115205626A (zh) 2022-06-24 2022-06-24 一种应用于涂层缺陷检测领域的数据增强方法

Country Status (1)

Country Link
CN (1) CN115205626A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452581A (zh) * 2023-06-13 2023-07-18 常州满旺半导体科技有限公司 一种基于机器视觉的电压源状态智能检测系统及方法
CN117809138A (zh) * 2024-02-23 2024-04-02 中国电子科技集团公司第二十九研究所 一种多余物检测图像数据集增强方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452581A (zh) * 2023-06-13 2023-07-18 常州满旺半导体科技有限公司 一种基于机器视觉的电压源状态智能检测系统及方法
CN116452581B (zh) * 2023-06-13 2023-08-25 常州满旺半导体科技有限公司 一种基于机器视觉的电压源状态智能检测系统及方法
CN117809138A (zh) * 2024-02-23 2024-04-02 中国电子科技集团公司第二十九研究所 一种多余物检测图像数据集增强方法及系统
CN117809138B (zh) * 2024-02-23 2024-05-14 中国电子科技集团公司第二十九研究所 一种多余物检测图像数据集增强方法及系统

Similar Documents

Publication Publication Date Title
CN115205626A (zh) 一种应用于涂层缺陷检测领域的数据增强方法
CN111310862A (zh) 复杂环境下基于图像增强的深度神经网络车牌定位方法
CN111402224B (zh) 一种用于电力设备的目标识别方法
CN112232263B (zh) 一种基于深度学习的番茄识别方法
CN111027538A (zh) 一种基于实例分割模型的集装箱检测方法
CN113392930B (zh) 基于多层次分治网络的交通标志目标检测方法
CN111258433A (zh) 基于虚拟场景的教学互动系统
CN113256623B (zh) 一种基于改进mask rcnn的fpc缺陷检测方法
CN115908774B (zh) 一种基于机器视觉的变形物资的品质检测方法和装置
CN110689000A (zh) 一种基于生成复杂环境下车牌样本的车辆车牌识别方法
CN114140665A (zh) 一种基于改进YOLOv5的密集小目标检测方法
CN110598698A (zh) 基于自适应区域建议网络的自然场景文本检测方法和系统
CN116052222A (zh) 自然采集牛脸图像的牛脸识别方法
CN113591850A (zh) 基于计算机视觉鲁棒性目标检测的两阶段商标检测法
CN111582344A (zh) 一种加油站卸油口盖状态识别方法
CN109615610B (zh) 一种基于YOLO v2-tiny的医用创可贴瑕疵检测方法
CN110956184A (zh) 一种基于hsi-lbp特征的抽象图方向确定方法
CN117576559A (zh) 一种基于无人机正射影像的城市绿化树种识别方法及系统
CN112364687A (zh) 一种基于改进的Faster R-CNN加油站静电标志识别方法及系统
CN114724157A (zh) 一种基于改进深度学习ocr的工业文本检测识别方法
CN115358981A (zh) 胶水缺陷的确定方法、装置、设备及存储介质
CN114677672A (zh) 一种基于深度学习神经网络的成熟蓝莓果实识别方法
TWI789267B (zh) 使用二維影像自動產生訓練三維點雲學習網路所需之真實資料的方法
CN113793279B (zh) 一种面向交通标志目标检测领域的数据增强方法
CN112115949B (zh) 一种烟草证件以及订单的光学文字识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination