CN114882216A - 一种基于深度学习的服装钉扣质量检测方法、系统及介质 - Google Patents

一种基于深度学习的服装钉扣质量检测方法、系统及介质 Download PDF

Info

Publication number
CN114882216A
CN114882216A CN202210402240.9A CN202210402240A CN114882216A CN 114882216 A CN114882216 A CN 114882216A CN 202210402240 A CN202210402240 A CN 202210402240A CN 114882216 A CN114882216 A CN 114882216A
Authority
CN
China
Prior art keywords
network
button
image
trained
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210402240.9A
Other languages
English (en)
Other versions
CN114882216B (zh
Inventor
陈育奇
高红霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202210402240.9A priority Critical patent/CN114882216B/zh
Publication of CN114882216A publication Critical patent/CN114882216A/zh
Application granted granted Critical
Publication of CN114882216B publication Critical patent/CN114882216B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的服装钉扣质量检测方法、系统及介质，其中方法包括：搭建机器视觉硬件平台，采集布料图像；根据布料图像进行图像分割，获得纽扣图像；将纽扣图像输入训练好的目标检测模型进行识别，输出识别结果，识别结果包括钉反扣、少线次品、误钉袖扣、误钉领扣、线路不良或正常；其中，所述目标检测模型采用基于改进的生成对抗网络获得的训练集进行训练，提高目标检测模型的泛化能力。本发明采用改进的生成对抗网络获取的训练集，只需少量图片数据做模型训练，即可实现高泛化能力的机器视觉检测方案，解决制衣行业在钉纽工序质量检测长期未解决的效率问题和准确率问题。本发明可广泛应用于钉扣检测领域。

Description

一种基于深度学习的服装钉扣质量检测方法、系统及介质
技术领域
本发明涉及钉扣检测领域，尤其涉及一种基于深度学习的服装钉扣质量检测方法、系统及介质。
背景技术
关于钉扣工序质量的检测问题，目前服装厂基本采用人工检查的模式，由生产线上的员工对这一工序的质量做检查，检查成本高。目前也有利用机器视觉对成衣纽扣质量进行检测的技术方案，这种主要集中在钉钮本身的质量检测，比如纽扣是否有色差，纽扣是否破损有瑕疵等等。尚缺少对钉反扣、少线次品、误钉袖扣、误钉领扣、线路不良这类常见的质量问题进行检查的方案。
术语解释：
DCGAN：深度卷积生成对抗网络。
Faster-RCNN：Faster-Region Convolutional Neural Networks。
发明内容
为至少一定程度上解决现有技术中存在的技术问题之一，本发明的目的在于提供一种基于深度学习的服装钉扣质量检测方法、系统及介质。
本发明所采用的技术方案是：
一种基于深度学习的服装钉扣质量检测方法，包括以下步骤：
搭建机器视觉硬件平台，采集布料图像；
根据布料图像进行图像分割，获得纽扣图像；
将纽扣图像输入训练好的目标检测模型进行识别，输出识别结果，识别结果包括钉反扣、少线次品、误钉袖扣、误钉领扣、线路不良或正常；
其中，所述目标检测模型采用基于改进的生成对抗网络获得的训练集进行训练，提高目标检测模型的泛化能力。
进一步地，所述生成对抗网络采用DCGAN网络，改进方式包括：
在DCGAN网络的G_loss的训练过程增加一个训练次数系数
Figure BDA0003600700360000011
在DCGAN网络的D_loss的训练过程中增加一个训练次数系数
Figure BDA0003600700360000012
进行约束；
当DCGAN网络的判别器D训练进度较快导致D_loss较低时，增加DCGAN网络的生成器G的训练次数；当DCGAN网络的生成器G的训练进度较快导致G_loss较小时，增加DCGAN网络的判别器的训练次数。
进一步地，所述DCGAN网络的判别器D损失函数如下：
Figure BDA0003600700360000021
式中，
Figure BDA0003600700360000022
表示判别器D将假图像的判别为真的概率，
Figure BDA0003600700360000023
表示判别器D对真图像判别为假的概率。
进一步地，所述服装钉扣质量检测方法还包括构建目标检测模型的步骤：
所述目标检测模型采用Faster-RCNN网络进行构建；
其中，采用ResNet 50网络替代VGG16网络，由于ResNet50网络使用了残差单元，使得网络在层数较深的情况下依然可以将误差进行传递，提高特征提取能力；
关于候选区域提取网络的优化，由于检测的形状是圆形的纽扣，候选框采用1:1的长宽比例，每个像素只需要3个候选框。
进一步地，在目标检测模型训练过程中，采用两次迁移学习：
第一次迁移为：将训练好ResNet 50网络送入Faster-RCNN网络中，做为预训练好的主干网络；预训练好的ResNet 50网络能使得主干网络在一开始就获得较强的特征提取能力，在接下来的训练中，通过输入纽扣图像训练集对Faster-RCNN的主干网络、RPN网络以及分类器进行训练；
第二次迁移为：以第一次迁移训练好的主干网络为基础，当新品种的纽扣出现时，只需要少量样本数据，对样本数据进行数据增强后，送入第一次迁移训练好的主干网络，并训练RPN网络和分类网络。
进一步地，所述机器视觉硬件平台包括图像获取机构、自动送料机构和报警机构；
其中，自动送料机构用于负责将面料下压夹住，并根据设定好的距离送到钉纽机处进行钉纽，钉纽结束后送到图像获取机构进行检测。
本发明所采用的另一技术方案是：
一种基于深度学习的服装钉扣质量检测系统，包括：
平台搭建模块，用于搭建机器视觉硬件平台，采集布料图像；
图像采集模块，用于根据布料图像进行图像分割，获得纽扣图像；
质量识别模块，用于将纽扣图像输入训练好的目标检测模型进行识别，输出识别结果，识别结果包括钉反扣、少线次品、误钉袖扣、误钉领扣、线路不良或正常；
其中，所述目标检测模型采用基于改进的生成对抗网络获得的训练集进行训练，提供目标检测模型的泛化能力。
本发明所采用的另一技术方案是：
一种基于深度学习的服装钉扣质量检测系统，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
本发明所采用的另一技术方案是：
一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行如上所述方法。
本发明的有益效果是：本发明采用改进的生成对抗网络获取的训练集，只需少量图片数据做模型训练，即可实现高泛化能力的机器视觉检测方案，解决制衣行业在钉纽工序质量检测长期未解决的效率问题和准确率问题。
附图说明
为了更清楚地说明本发明实施例或者现有技术中的技术方案，下面对本发明实施例或者现有技术中的相关技术方案附图作以下介绍，应当理解的是，下面介绍中的附图仅仅为了方便清晰表述本发明的技术方案中的部分实施例，对于本领域的技术人员而言，在无需付出创造性劳动的前提下，还可以根据这些附图获取到其他附图。
图1是本发明实施例中一种基于深度学习的服装钉扣质量检测方法的步骤流程图；
图2是本发明实施例中目标检测模型需要识别分类的六种结果示意图；
图3是本发明实施例中改进后的DCGAN网络的结构图；
图4是本发明实施例中Faster-RCNN网络的基本结构图；
图5是本发明实施例中残差单元的基本结构图；
图6是本发明实施例中RPN网络的提取示意图；
图7是本发明实施例中两次迁移学习的示意图；
图8是本发明实施例中视觉检测模块的示意图；
图9是本发明实施例中运动机构的示意图；
图10是本发明实施例中自动送料机构的示意图；
图11是本发明实施例中电气结构的示意图；
图12是本发明实施例中纽扣图像的示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
如图2所示，现有常见的纽扣质量问题主要有五种，分别是：钉反扣，少线次品，误钉袖扣，误钉领扣，线路不良。由于这些有质量问题的样本比较少，因此需要一种只需少量样本便可以进行快速训练的方案。
如图1所示，本实施例提供一种基于深度学习的服装钉扣质量检测方法，包括以下步骤：
S1、搭建机器视觉硬件平台，采集布料图像。
根据生产现场图像采集要求搭建机器视觉硬件平台。根据使用要求设计包括工业相机，镜头，光源等设备在内的纽扣图像获取装置。在原有自动钉纽机上设计三轴联动的机械结构框架用于嵌套纽扣图像获取装置。软件部分包括搭建与硬件装置配套的图像采集系统并设置好图像采集参数。
S2、根据布料图像进行图像分割，获得纽扣图像。
研究纽扣图像预处理与图像分割方法。主要难点在于如何将纽扣像素集区域从带纹理背景的布料上分割出来，使得深度学习的能够重点聚焦于纽扣区域。为了解决这个问题，本实施例基于区域生长法算法，将纽扣从其实际缝纫的面料背景下提取出来，从而获得到需要的特征图像。
S3、将纽扣图像输入训练好的目标检测模型进行识别，输出识别结果，识别结果包括钉反扣、少线次品、误钉袖扣、误钉领扣、线路不良或正常。其中，所述目标检测模型采用基于改进的生成对抗网络获得的训练集进行训练，提高目标检测模型的泛化能力。
基于生成对抗网络的图像数据增强。实际生产过程中，由于现场生产条件的限制，很难获得足够多的基础数据用于后面的深度学习。本实施例先通过传统的图像增强方法将原始集扩充成新的数据集。运用基于改进的生成对抗网络(GAN)技术对图像进行扩充模型训练。将数据集从原先的百张规模的图像数据集扩充到万张规模的数据集，提高后续目标检测模型的泛化能力。
(1)基于生成对抗网络的数据增强算法
其中，本实施例提出一种基于DCGAN网络进行改进以增加生成对抗网络的稳定性和训练效率。具体实现方式如下：
现有的DCGAN采用卷积代替了之前的池化层，有效地稳定了训练。由于网络参数减少了，这使得网络速度得到较大的提高。判别器D是一个包括四个卷积层和一个一维的卷积核的二分类模型，用于判别输入图像到底是真实图像还是生成图像。为了后面生成器G的反卷积相匹配，卷积层中的卷积核采用步长为2的卷积方式对图像的特征进行提取。DCGAN的给除了Discriminator的输入层以外的网络层增加了批归一化的处理，即BatchNormalization层，使得这些网络层的输出被规范成均值为0，方差为1的标准正态分布，并使用LeakyReLU作为激活函数防止梯度稀疏。DCGAN的判别器损失函数为下列公式：
Figure BDA0003600700360000051
DCGAN网络的Generator则采用4个卷积层进行反卷积，每一层都增加了BatchNormalization层做归一化处理。除了输出层外统一采用ReLu激活函数。输出层输使用Tanh激活函数代替Sigmoid激活函数。
DCGAN网络虽然在原始的GAN上进行了改进，提高了训练效率和准确性。但是DCGAN依然存在容易模式崩溃，梯度消失，训练不稳定等问题。其实这种现象跟本身GAN的结构有关。原始GAN中生成器的公式见下式：
Figure BDA0003600700360000052
由公式(1)可知虽然GAN通过生成器和判别器不断的训练，循环互相博弈，使得生成器G生成的图片趋近于真实图片。但是过程中也产生很多问题，例如：
1)在训练过程中，生成器和判别器进行梯度调整参数是互相独立的。当生成器G的性能远远强于判别器D时，判别器D将无法进行有效的梯度下降，反之亦然。
2)生成器G生成的图片，判别器D只能判断其是真是假，是一个二分类问题。但是缺乏有效指标来量化，假的图片和真的图片到底差异有多大。这个量化指标如果可以获得，那么也是可以用于指导接下来的训练。
3)当输入图片数量过少或者图片缺乏多样性时，通过GAN训练出来的图片非常容易陷入模式崩溃。即生成的图片也是缺乏多样性。
梯度消失问题。判别器D在判别输入图像数据时会收到两组样本，分别是生成的模拟样本分布Pg与原始样本分布Pr。当Pg和Pr之间没有任何交集时，无法形成有效的反馈用于调整梯度。因此整个模型无法得到预先设想的训练结果。
原始DCGAN的缺陷问题在于其通过其判别器D的损失函数只包括两项。其中
Figure BDA0003600700360000061
的目的是对生成器G的生成图像别为假，
Figure BDA0003600700360000062
项的目的则是要对原始图像判别为真。从而进行模型参数调整。当喂入DCGAN的生成图像和原始图像分布没有交集时，则生成器G和判别器D可能会朝着两个毫不相干的方向去训练，进而无法达到既定效果。另外由于生成器G和判别器D在训练过程中没有相关联的约束。因此其模型训练速度的差异可能过大，导致生产器G的训练进度远远大于判别器D，或者判别器D的训练进度远远大于生产器G。两个模型的差距一旦拉大则大概率生成的图片与原始图片没有特征相关，最终导致模型训练失败。
基于上述DCGAN存在的问题，本实施例针对DCGAN的关键缺陷进行改进。考虑到DCGAN的D_loss损失函数和G_loss损失函数能很好的体现原始图像与生成图像的差异。因此本项目并没有选择直接在损失函数上增加额外的关联项。而是选择在G_loss的训练过程增加一个训练次数系数
Figure BDA0003600700360000063
在D_loss的训练过程中增加一个训练次数系数
Figure BDA0003600700360000064
进行约束。当判别器D训练进度较快导致D_loss较低时，增加生成器的训练次数。当生成器G的训练进度较快导致G_loss较小时则增大判别器的训练次数。改进后的DCGAN结构如图3所示。输出层的激活函数方面由于生成对抗网络本身是一个二分类问题，因此生成器G的输出层采用Tanh函数而判别器的输出则用Sigmoid函数。
(2)目标检测模型的设计
原始版本的Faster-RCNN包含四部分，基本结构如图4所示。第一部分是特征提取网络,采用VGG-16卷积网络提取图像特征(feature maps)。将VGG网络的最后一层输出作第二部分RPN网络的输入。第二部分为RPN网络(Region Proposal Network)，其作用是利用anchor机制生成候选框，并根据原始图像的标志框初步判断候选框内是否含有目标。若含有目标则求出候选款的粗略位置。第三部分为RoI池化层这部分与RPN层同步进行。通过映射的方式得到RPN选出的候选框内的实际特征图。第四部分为分类网络。判断候选框内是否有目标物体。若判断结果为有则获取精确候选框的区域大小及位置信息。
Faster-RCNN虽然已经有较大的准确率和训练速度的改进，但仍然存在以下问题：
1)RPN生成是包含背景的类似目标的区域，而不是分割后的目标实例，在处理带复杂背景纹理或者有形状的目标时效果不好。
2)特征图上采用anchor机制设置候选框的尺度，不适用物体大小差异大的目标检测。
3)Faster-RCNN的候选区域网络相对于单阶段目标检测算法而言依然是属于额外耗时的部分，需要不断优化减少耗时。
4)采用VGG-16网络的最后一层卷积层所输出特征做预测，经过RoI Pooling层后导致网络降低准确性。
本实施例的场景是生产线上对纽扣进行质量检测。在应用Faster-RCNN模型时针对该模型存在的问题进行改善。问题点1中关于背景纹理的干扰在本文上面章节已经进行了区域生长法图像分割，将图像中的纽扣区域单独从布料背景纹理中分割出来。提前在基础图像数据方面对改善该问题。问题点2中关于不适应大小物体方面本文在硬件设计章节针对图像获取平台做设计，将相机和纽扣的相对位置做了固定。同时由于本身纽扣直径的大小变化不大，主要集中在10mm-20mm之间。对于anchor机制存在的问题在本项目中表现并不明显。因此对于Faster-RCNN的优化主要聚焦于提高特征提取网络和RPN网络效率和准确率。
本实施例对原始Faster-RCNN的优化主要体现在以下两方面：
特征提取网络优化：本项目使用ResNet50网络替代VGG16网络，由于其使用了残差单元，使得网络在层数很深的情况下依然可以将误差进行传递。改善了深度卷积网络在做多层数训练时容易出现梯度消失的情况。
残差单元的基本结构，如图5所示。在前向传播的过程中加入恒等映射，利用短路的方式，将输入x映射到输出并且叠加上原本的卷积层的输出F(x)得到F(x)+x。在反向传播过程中，短接支路能更好增加网络的敏感性，使得梯度能更好往前传递。
关于候选区域提取网络(RPN)的优化：RPN网络这是承接特征提取网络conv_5的输出特征图。利用anchor机制在输出特征图上面产生9个候选框。原始版本的RPN在图像中针对每个像素的候选框提取，设置3个尺寸的像素范围。每个尺寸范围又设计3个长宽比例分别是1:1,1:2,2:1。3个像素范围结合3种长宽比例，一共可以得到9个候选区域。接着再将每个候选区域进行分类，判断前景概率还是后景概率，得到2个概率得分。同时做回归处理得到4个偏移量。如图6所示，该架构是一个固定的架构。在本实施例中由于检测的形状是圆形的纽扣，因此理论上只需要方形的候选框就可以满足要求。因此候选框采用1:1一种长宽比例，每个像素只需要3个候选框，该优化理论可以减少66％的运算量。
评价标准方面本实施例使用目前应用较为广泛的评价标准来定量评估网络性能，即召回率(Recall)，准确率(Precision)，Precision-Recall曲线(Average Precision,AP)，平均准确率(mean Average Precision，mAP)和F1 Score。另外由于本实施例是一个实际工程应用的问题，希望同等检测精度下模型训练速度越快越好。因此增加一个耗时(Elapsed Time，ET)的评价指标作为评价模型的训练速度。
(3)本实施例在设计时候应用了两次迁移学习
如图7所示，第一次迁移是用ImageNet训练好ResNet 50网络送入Faster-RCNN做为预训练好的主干网络，如图5-8所示。预训练好的ResNet 50网络能使得主干网络在一开始就获得较强的特征提取能力。在接下来的训练中通过输入纽扣图像数据集Button_A_data_A一起对Faster-RCNN的主干网络，RPN网络，分类器做训练。使得网络模型对纽扣这类图像数据具备更专注的特征提取和目标检测能力。
第二次迁移以第一次迁移训练好的模型主干网络为基础，当新品种的纽扣出现时，只需要少量样本数据，经过数据增强送入第一次训练好的主干网络并训练其RPN网络和分类网络，便可以得到较好的检测效果。
(4)关于机器视觉硬件平台的设计
目前制衣行业对于钉扣工序所用的生产设备多为钉扣机。近几年随着振盘技术在制衣行业的普及，很多钉扣机已经装上了自动送料的振盘以提高效率。目前市场主流的中高端缝纫品牌日本JUKI，旗下的新款钉扣机LK-1903B，带可选装模块BR35可提高50-70％生产效率。本实施例以LK-1903B-BR35视觉检测模块为基础进行机构设计加装送料检测模块，三维设计图如图8所示。
LK-1903B-BR35视觉检测模块主要有图像获取机构，自动送料机构，报警机构三大部分,最后由以FX 5U PLC为核心的电控系统进行控制。
图像获取过程中，光源调整的时候需要注重效率。为了应对多种场景，实现已经生产过的款式能一键调整，未生产过的款式能快捷调整。因此需要设计在XYZ三个空间位置运动机构，在X和Y方向设计步进电机，丝杆滑块平台，将不同生产订单下的相机光源位置存储到数据库里，通过触摸屏，PLC组成的电控系统进行控制，实现一键设置。由于经过实际试验确认YZ方向对于相机光源的调试要求交高，在X方向，调试频率和难度较低。同时FX 5U PLC自带4轴脉冲输出，每一路布进电机控制都需要占用1轴脉冲输出，其他机构也会用到脉冲输出。因此在综合成本和性能需求之后对于YZ两个轴的位移设计目标为自动调整，对于X轴方向的位移使用手动调整。目前国内很多成熟且性价比高的单轴平台。本实施例选用怡合达生产的YABS13-5-200-BC-P-20-N-C-3单轴运动机构作为Y轴，YABS13-5-100-BC-P-20-N-C-3作为Z轴，YABS13系列EJR11-250和EJR11-300分别作为相机和低角度光源的X轴，设计图如图9所示。
自动送料机构主要是为了实现两个功能一个是装夹面料，一个是定长定速送面料可控。该机构负责将面料下压夹住并根据设定好的距离送到钉纽机处进行钉纽，钉纽结束后送到图像获取机构进行检测。由于移动机构相对于上面的图像获取机构来说需要承担更大的动载荷，和横向力矩，且对于运动进度要求更高。自动送料机构承载的构建达到10kg，运动时达到4m/s，重心距离为0.2m。在生产过程中产生的横向力矩接近80N.m。按承受理论力矩1.5倍进行选型，选用怡合达的中高端运动模块YTB14-32-800-L-P-100-C-3。该模块在做高速运动时载荷接近该模块横向容许力矩为124N.m，重复定位精度能达到±0.04mm，满足使用需求。装夹部分选用双杆气杆WGN71-10-30-0，10mm缸径，在制衣厂常态气压0.45Mpa下能产生约70N压力在待夹面料上，保证面料能夹紧并准确传送，自动送料机构设计图如图10所示。
整套设备包括原始缝纫机，图像获取机构，自动送料机构，报警机构，以及负责图像处理，模式识别的上位计算机。采用基于三菱FX 5U PLC为核心控制器的电控系统。该型号PLC与上一代三菱PLC相比，具有速度快，可SD扩展，内置RS-485通讯和以太网通讯，内置4轴脉冲输出端口等优势。对于本课题的电控需求，单个FX 5U在不增加外置扩展模块的情况下既可以满足设计要求。PLC和上位计算机通过以太网进行通讯，PLC和原先的缝纫机通过缝纫机内置的触发继电器S1,S2进行信号联动。电控设计图如图11所示。
在计算机视觉里，图像的生成与采集指的是对于自然界中的物体，通过某些成像设备，将物体表面的反射光或者通过物体透射的光转成电压，便可以在成像平面生成图像。经过采样和量化后，图像表示为离散的像素矩阵。根据量化层次的不同，每个像素点的取值也表示为不同范围的离散值。根据前面的硬件选型，加上XYZ三轴平台设置了课题研究的图像获取硬件平台。本课题用于图像处理的软件是matlab 2015a。最终图像获取结果如图12所示。
本实施例还提供一种基于深度学习的服装钉扣质量检测系统，包括：
平台搭建模块，用于搭建机器视觉硬件平台，采集布料图像；
图像采集模块，用于根据布料图像进行图像分割，获得纽扣图像；
质量识别模块，用于将纽扣图像输入训练好的目标检测模型进行识别，输出识别结果，识别结果包括钉反扣、少线次品、误钉袖扣、误钉领扣、线路不良或正常；
其中，所述目标检测模型采用基于改进的生成对抗网络获得的训练集进行训练，提供目标检测模型的泛化能力。
本实施例的一种基于深度学习的服装钉扣质量检测系统，可执行本发明方法实施例所提供的一种基于深度学习的服装钉扣质量检测方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本实施例还提供一种基于深度学习的服装钉扣质量检测系统，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现图1所示方法。
本实施例的一种基于深度学习的服装钉扣质量检测系统，可执行本发明方法实施例所提供的一种基于深度学习的服装钉扣质量检测方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本申请实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
本实施例还提供了一种存储介质，存储有可执行本发明方法实施例所提供的一种基于深度学习的服装钉扣质量检测方法的指令或程序，当运行该指令或程序时，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施方式，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于上述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (9)

1.一种基于深度学习的服装钉扣质量检测方法，其特征在于，包括以下步骤：
搭建机器视觉硬件平台，采集布料图像；
根据布料图像进行图像分割，获得纽扣图像；
将纽扣图像输入训练好的目标检测模型进行识别，输出识别结果，识别结果包括钉反扣、少线次品、误钉袖扣、误钉领扣、线路不良或正常；
其中，所述目标检测模型采用基于改进的生成对抗网络获得的训练集进行训练，提高目标检测模型的泛化能力。
2.根据权利要求1所述的一种基于深度学习的服装钉扣质量检测方法，其特征在于，所述生成对抗网络采用DCGAN网络，改进方式包括：
在DCGAN网络的G_loss的训练过程增加一个训练次数系数
Figure FDA0003600700350000011
在DCGAN网络的D_loss的训练过程中增加一个训练次数系数
Figure FDA0003600700350000012
进行约束；
当DCGAN网络的判别器D训练进度较快导致D_loss较低时，增加DCGAN网络的生成器G的训练次数；当DCGAN网络的生成器G的训练进度较快导致G_loss较小时，增加DCGAN网络的判别器的训练次数。
3.根据权利要求2所述的一种基于深度学习的服装钉扣质量检测方法，其特征在于，所述DCGAN网络的判别器D损失函数如下：
Figure FDA0003600700350000013
式中，
Figure FDA0003600700350000014
表示判别器D将假图像的判别为真的概率，
Figure FDA0003600700350000015
表示判别器D对真图像判别为假的概率。
4.根据权利要求1所述的一种基于深度学习的服装钉扣质量检测方法，其特征在于，所述服装钉扣质量检测方法还包括构建目标检测模型的步骤：
所述目标检测模型采用Faster-RCNN网络进行构建；
其中，采用ResNet 50网络替代VGG16网络，由于ResNet50网络使用了残差单元，使得网络在层数较深的情况下依然可以将误差进行传递，提高特征提取能力；
关于候选区域提取网络的优化，由于检测的形状是圆形的纽扣，候选框采用1:1的长宽比例，每个像素只需要3个候选框。
5.根据权利要求4所述的一种基于深度学习的服装钉扣质量检测方法，其特征在于，在目标检测模型训练过程中，采用两次迁移学习：
第一次迁移为：将训练好ResNet 50网络送入Faster-RCNN网络中，做为预训练好的主干网络；预训练好的ResNet 50网络能使得主干网络在一开始就获得较强的特征提取能力，在接下来的训练中，通过输入纽扣图像训练集对Faster-RCNN的主干网络、RPN网络以及分类器进行训练；
第二次迁移为：以第一次迁移训练好的主干网络为基础，当新品种的纽扣出现时，只需要少量样本数据，对样本数据进行数据增强后，送入第一次迁移训练好的主干网络，并训练RPN网络和分类网络。
6.根据权利要求1所述的一种基于深度学习的服装钉扣质量检测方法，其特征在于，所述机器视觉硬件平台包括图像获取机构、自动送料机构和报警机构；
其中，自动送料机构用于负责将面料下压夹住，并根据设定好的距离送到钉纽机处进行钉纽，钉纽结束后送到图像获取机构进行检测。
7.一种基于深度学习的服装钉扣质量检测系统，其特征在于，包括：
平台搭建模块，用于搭建机器视觉硬件平台，采集布料图像；
图像采集模块，用于根据布料图像进行图像分割，获得纽扣图像；
质量识别模块，用于将纽扣图像输入训练好的目标检测模型进行识别，输出识别结果，识别结果包括钉反扣、少线次品、误钉袖扣、误钉领扣、线路不良或正常；
其中，所述目标检测模型采用基于改进的生成对抗网络获得的训练集进行训练，提供目标检测模型的泛化能力。
8.一种基于深度学习的服装钉扣质量检测系统，其特征在于，包括：
至少一个处理器；
至少一个存储器，用于存储至少一个程序；
当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现权利要求1-6任一项所述方法。
9.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于执行如权利要求1-6任一项所述方法。
CN202210402240.9A 2022-04-18 2022-04-18 一种基于深度学习的服装钉扣质量检测方法、系统及介质 Active CN114882216B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210402240.9A CN114882216B (zh) 2022-04-18 2022-04-18 一种基于深度学习的服装钉扣质量检测方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210402240.9A CN114882216B (zh) 2022-04-18 2022-04-18 一种基于深度学习的服装钉扣质量检测方法、系统及介质

Publications (2)

Publication Number Publication Date
CN114882216A true CN114882216A (zh) 2022-08-09
CN114882216B CN114882216B (zh) 2024-04-30

Family

ID=82670610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210402240.9A Active CN114882216B (zh) 2022-04-18 2022-04-18 一种基于深度学习的服装钉扣质量检测方法、系统及介质

Country Status (1)

Country Link
CN (1) CN114882216B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758527A (zh) * 2023-08-16 2023-09-15 山东巨野盛鑫电器材料有限公司 一种低膨胀系数聚酰亚胺绝缘膜的质量识别系统
CN117893531A (zh) * 2024-03-14 2024-04-16 凯森蒙集团有限公司 一种服装加工过程中服装质量智能检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767427A (zh) * 2018-12-25 2019-05-17 北京交通大学 列车轨道扣件缺陷的检测方法
WO2020164270A1 (zh) * 2019-02-15 2020-08-20 平安科技（深圳）有限公司 基于深度学习的行人检测方法、系统、装置及存储介质
CN111737743A (zh) * 2020-06-22 2020-10-02 安徽工业大学 一种深度学习差分隐私保护方法
CN114049305A (zh) * 2021-10-15 2022-02-15 三峡大学 基于改进ALI和Faster-RCNN的配电线路销钉缺陷检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767427A (zh) * 2018-12-25 2019-05-17 北京交通大学 列车轨道扣件缺陷的检测方法
WO2020164270A1 (zh) * 2019-02-15 2020-08-20 平安科技（深圳）有限公司 基于深度学习的行人检测方法、系统、装置及存储介质
CN111737743A (zh) * 2020-06-22 2020-10-02 安徽工业大学 一种深度学习差分隐私保护方法
CN114049305A (zh) * 2021-10-15 2022-02-15 三峡大学 基于改进ALI和Faster-RCNN的配电线路销钉缺陷检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张磊;姜军生;李昕昱;宋健;解福祥;: "基于快速卷积神经网络的果园果实检测试验研究", 中国农机化学报, no. 10, 15 October 2020 (2020-10-15) *
王德兴;秦恩倩;袁红春;: "基于DCGAN数据增强的水产动物分类方法", 渔业现代化, no. 06, 15 December 2019 (2019-12-15) *
邢沥媛;张荣龙;傅菊芬;: "生态服装工厂评价指标体系研究", 现代丝绸科学与技术, no. 04, 28 August 2018 (2018-08-28) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116758527A (zh) * 2023-08-16 2023-09-15 山东巨野盛鑫电器材料有限公司 一种低膨胀系数聚酰亚胺绝缘膜的质量识别系统
CN116758527B (zh) * 2023-08-16 2023-11-10 山东巨野盛鑫电器材料有限公司 一种低膨胀系数聚酰亚胺绝缘膜的质量识别系统
CN117893531A (zh) * 2024-03-14 2024-04-16 凯森蒙集团有限公司 一种服装加工过程中服装质量智能检测方法

Also Published As

Publication number Publication date
CN114882216B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
Yang et al. Real-time face detection based on YOLO
CN114882216A (zh) 一种基于深度学习的服装钉扣质量检测方法、系统及介质
Rios-Cabrera et al. Discriminatively trained templates for 3d object detection: A real time scalable approach
Georgakis et al. End-to-end learning of keypoint detector and descriptor for pose invariant 3D matching
CN104156726B (zh) 一种基于几何形状特征的工件识别方法及装置
CN103959307B (zh) 从灰度图像中检测和描述特征的方法
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
CN107230203B (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN111462120B (zh) 一种基于语义分割模型缺陷检测方法、装置、介质及设备
CN105740910A (zh) 一种车辆物件检测方法及装置
CN105957082A (zh) 一种基于面阵相机的印刷质量在线监测方法
CN106054627B (zh) 基于手势识别的控制方法、装置及空调
CN112070727B (zh) 一种基于机器学习的金属表面缺陷检测方法
Zhou et al. Exploring faster RCNN for fabric defect detection
CN110889838A (zh) 一种织物疵点检测方法及装置
CN111507357B (zh) 一种缺陷检测语义分割模型建模方法、装置、介质及设备
CN111738994B (zh) 一种轻量级的pcb缺陷检测方法
CN112102224A (zh) 一种基于深度卷积神经网络的布匹疵点识别方法
CN111784644A (zh) 基于深度学习的印花瑕疵检测方法及系统
CN114004814A (zh) 一种基于深度学习和灰度三阶矩分析的煤矸石识别方法及系统
JP2009163682A (ja) 画像識別装置及びプログラム
CN109782688B (zh) 一种织物自动分割成像方法及装置
CN114972216A (zh) 一种纹理表面缺陷检测模型的构建方法及其应用
CN115471542A (zh) 一种基于YOLO v5的包装物双目识别定位方法
CN113333329A (zh) 一种基于深度学习的烟支缺陷检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant