CN116029979A - 一种基于改进Yolov4的布料瑕疵视觉检测方法 - Google Patents

Abstract

本发明涉及视觉检测技术领域，具体涉及一种基于改进Yolov4的布料瑕疵视觉检测方法。该方法包括收集若干不同类型布料的带瑕疵图像样本的数据构建窗帘瑕疵数据集；对数据集根据类别进行标注，并对数据集中不平衡的类别扩展数据集处理；将处理后的数据集输入构建好的网络进行训练，训练完成后保存训练模型，并部署在硬件设备中。本发明基于yolov4框架，模型框架小，对部署硬件配置低，且具有较好的实时性。针对模型训练问题，采用带反馈机制的图像增强方法，能有效提高小目标检测准确率。

Description

一种基于改进Yolov4的布料瑕疵视觉检测方法

技术领域

本发明涉及视觉检测技术领域，尤其涉及一种基于改进Yolov4的布料瑕疵视觉检测方法。

背景技术

在工业生产过程中由于人工操作失误或机器故障等，工业产品表面会出现各种瑕疵，表面瑕疵不仅会影响产品的性能，产品的美观度也会下降。因此，为了及时发现并有效控制产品质量，在生产过程中必须及时对瑕疵进行检测。窗帘面料瑕疵检测是窗帘质量检测的重要指标，按照瑕疵类型与程度的不同会对窗帘价格造成一定影响。目前市场上有关窗帘面料瑕疵检测大多由传统的人工检测方式完成，主要通过工作人员观察窗帘的瑕疵类型，并对瑕疵面料进行人工标记，受环境与认为因素干扰极大，检测效率低下。

随着工业自动化水平不断提升，自动化检测系统逐渐取代人工检测，现阶段，窗帘面料瑕疵的自动检测所采用的技术，可以分为：

(1)基于传统特征匹配的方法检测瑕疵：对图像进行灰度化后利用各种图像处理的方法提取特征，在输入图像后对图像进行特征提取，然后匹配特征确定所出现的瑕疵类型。

(2)基于深度学习的方法：对大量瑕疵样本进行学习后，建立检测模型，通过输入图像得出输出瑕疵类型，实现端到端的检测方法。

在应用过程中普遍存在以下缺点：

(1)基于传统特征匹配的方法通常应用于对于单色布料的瑕疵检测，且对于检测结果不具有自适应性，需要人工确定参数指标，准确率通常不高；

(2)基于深度学习的方法检测需要权衡检测精度与检测速度，对小目标检测准确率低，且对于硬件设备配置要求高。

因此，随着与日俱增的面料类型与颜色，向现有的织物瑕疵自动检测技术提出了挑战，传统的纺织品自动检测设备主要采用特征匹配的算法，瑕疵检效果已远远不能满足当前市场对织物瑕疵检测的需求，如在检测多色面料时，因颜色特征不完全导致效果大打折扣；检测具有花纹、图案特征的织物方面，易发生误判现象；对环境要求严格，外界条件改变极易对小目标瑕疵的检测效率产生强烈影响，且只能检测特定类别的瑕疵，检测效果低下，严重时导致整个检测装置直接失效。

发明内容

有鉴于此，为解决现有瑕疵检测的精度不高，无法适用多种类型布料检测，并且对于小目标检测往往效果不佳的问题，本发明提供了一种基于改进Yolov4的布料瑕疵视觉检测方法，采用实时性高的yolov4框架，结合注意力机制模块提高检测精度，并在训练模型时采用带反馈机制的图像增强方法训练模型，使得模型对于小目标的检测具有更高的检测率，解决了传统检测算法容易受环境光照与不同面料纹理、花型等因素引起的误检、漏检问题。

为实现上述目的，本发明提供了如下的技术方案：

第一方面，在本发明提供的一个实施方案中，提供了一种基于改进Yolov4的布料瑕疵视觉检测方法，包括以下步骤：

收集若干不同类型布料的带瑕疵图像样本的数据构建窗帘瑕疵数据集；

对数据集根据类别进行标注，并对数据集中不平衡的类别扩展数据集处理；

将处理后的数据集输入构建好的网络进行训练，训练完成后保存训练模型，并部署在硬件设备中。

作为本发明的进一步方案，还包括：根据带瑕疵图像样本的瑕疵样本特征，将瑕疵图像分为并丝、线结、勾丝、档次在内的13类瑕疵类别，使用labelimg标注工具为图像数据制作txt格式的标签。

作为本发明的进一步方案，对数据集中不平衡的类别扩展数据集处理，包括：统计数据集中各个瑕疵类别个数，对于不平衡的瑕疵类别复制瑕疵目标框，进行反转、改变亮度操作后复制到其他位置，扩展数据集。

作为本发明的进一步方案，将处理后的数据集输入构建好的网络进行训练之前，还包括构建网络模型，并将扩展好的数据集输入网络模型进行训练。

作为本发明的进一步方案，将扩展好的数据集输入网络模型进行训练，包括：

在训练时添加带反馈的数据增强模块；

对Yolov4模型采用CSPdarknet53作为特征提取骨干网络，包含23个CSP模块，每个CSP模块包含一个残差组件加深网络。

作为本发明的进一步方案，在训练时添加带反馈的数据增强模块，采集带反馈的数据增强方法增强全局类别数据，包括以下步骤：

采用原始数据集中的所有样本训练网络模型，经过第一次迭代后，统计小目标检测的损失函数loss值，当小目标loss与总体loss的比值

小于t时，则在下一次迭代中对数据集采用Mosaic方法拼接后训练，否则继续采用原图像训练模型。

作为本发明的进一步方案，所述小目标检测的判断依据为：待检测目标的尺寸划分，以数据集中与该目标对应标注的真实框大小为判定依据，通过真实框面积来反映目标物尺寸的大小，当真实框面积a₀<A_s＝1024时，则将该目标物划分为小目标，否则归为非小目标类；

其中，小目标的loss值

为总体loss L^t的正样本数据中面积小于A_s的loss之和，当满足小目标与总体loss的比值

时，在下一次将数据集输入模型前采用Mosaic算法对标记为小目标的数据集进行数据增强，采用Mosaic算法进行数据增强数据集后直接输入网络训练模型，A_s代表将真实框内目标划分为小目标的真实框面积阈值。

作为本发明的进一步方案，对Yolov4模型采用CSPdarknet53作为特征提取骨干网络为：基于Yolov4目标检测模型的基础上，在每个CSP模块的残差组件进行加法操作前添加GC block模块，轻量级融合全局上下文特征。

作为本发明的进一步方案，对Yolov4模型采用CSPdarknet53作为特征提取骨干网络，包括以下步骤：

对残差组件中激活函数Mish的最终输出采用Conv(1×1)卷积核降维处理，经softmax激活函数映射到(0,1)区间内后，与原输入做点积，获取全局上下文特征，再经过Conv卷积层、LayerNorm层、ReLU激活函数层与二次Conv层处理，将各通道间依赖关系以权重形式输出，最后与原输入相加将上下文特征融合到每个位置上。

作为本发明的进一步方案，所述softmax激活函数与Conv(1×1)卷积核共同作用，提取特征并加深网络输出的非线性关系，softmax激活函数的输出为：

其中，S_i代表softmax的第i个输出值，z_i代表网络中第i个神经元的输出，K指softmax激活层的前一层神经网络的神经元总数。

作为本发明的进一步方案，训练完成后保存训练模型，并部署在硬件设备中，还包括将模型保存，并对模型利用TensorRT加速优化。

第三方面，在本发明提供的又一个实施方案中，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器加载并执行所述计算机程序时实现基于改进Yolov4的布料瑕疵视觉检测方法的步骤。

第四方面，在本发明提供的再一个实施方案中，提供了一种存储介质，存储有计算机程序，所述计算机程序被处理器加载并执行时实现所述基于改进Yolov4的布料瑕疵视觉检测方法的步骤。

本发明提供的技术方案，具有如下有益效果：

本发明提供的基于改进Yolov4的布料瑕疵视觉检测方法，采用实时性高的yolov4框架，结合注意力机制模块提高检测精度，并在训练模型时采用带反馈机制的图像增强方法训练模型，使得模型对于小目标的检测具有更高的检测率，解决了传统检测算法容易受环境光照与不同面料纹理、花型等因素引起的误检、漏检问题，能够适用于多种窗帘面料，包括纯色、多色、简单纹理、复杂花纹类型等。在输送面料的过程中，视觉检测算法对即时拍摄的图像数据进行分析，快速识别瑕疵类型并准确定位瑕疵区域，对于持续出现的新瑕疵，可通过对反馈的新瑕疵图像数据集进行深度自学习，持续提升瑕疵的识别精度和识别率。

本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例。

在附图中：

图1为本发明一个实施例的一种基于改进Yolov4的布料瑕疵视觉检测方法的实现流程框图。

图2为本发明实施例的一种基于改进Yolov4的布料瑕疵视觉检测方法中数据增强模块原理流程图。

图3为本发明另一个实施例的一种基于改进Yolov4的布料瑕疵视觉检测方法中改进的CSP模块残差组件原理图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

下面将结合本发明示例性实施例中的附图，对本发明示例性实施例中的技术方案进行清楚、完整地描述，显然，所描述的示例性实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于与日俱增的面料类型与颜色，向现有的织物瑕疵自动检测技术提出了挑战，传统的纺织品自动检测设备主要采用特征匹配的算法，瑕疵检效果已远远不能满足当前市场对织物瑕疵检测的需求，如在检测多色面料时，因颜色特征不完全导致效果大打折扣；检测具有花纹、图案特征的织物方面，易发生误判现象；对环境要求严格，外界条件改变极易对小目标瑕疵的检测效率产生强烈影响，且只能检测特定类别的瑕疵，检测效果低下，严重时导致整个检测装置直接失效。

解决现有瑕疵检测的精度不高，无法适用多种类型布料检测，并且对于小目标检测往往效果不佳的问题，本发明提供的基于改进Yolov4的布料瑕疵视觉检测方法，基于yolov4框架，模型框架小，对部署硬件配置低，且具有较好的实时性。针对模型训练问题，采用带反馈机制的图像增强方法，能有效提高小目标检测准确率。

具体地，下面结合附图，对本申请实施例作进一步阐述。

参见图1所示，本发明的一个实施例提供一种基于改进Yolov4的布料瑕疵视觉检测方法，该基于改进Yolov4的布料瑕疵视觉检测方法具体包括如下步骤：

S10、收集若干不同类型布料的带瑕疵图像样本的数据构建窗帘瑕疵数据集；

S20、对数据集根据类别进行标注，并对数据集中不平衡的类别扩展数据集处理；

S30、将处理后的数据集输入构建好的网络进行训练，训练完成后保存训练模型，并部署在硬件设备中。

在本实施例中，根据带瑕疵图像样本的瑕疵样本特征，将瑕疵图像分为并丝、线结、勾丝、档次在内的13类瑕疵类别，使用labelimg标注工具为图像数据制作txt格式的标签。

其中，对数据集中不平衡的类别扩展数据集处理，包括：统计数据集中各个瑕疵类别个数，对于不平衡的瑕疵类别复制瑕疵目标框，进行反转、改变亮度操作后复制到其他位置，扩展数据集，示例性的，不平衡的瑕疵类别可以为污渍、线结等瑕疵类别与勾丝、中继等瑕疵类别，污渍、线结等瑕疵数据与勾丝、中继等瑕疵数据相较其数量级相差5倍甚至50倍，瑕疵数据分布极不平衡。

本发明提出的一种基于改进Yolov4的布料瑕疵视觉检测方法，采用实时性高的yolov4框架，结合注意力机制模块提高检测精度，并在训练模型时采用带反馈机制的图像增强方法训练模型，使得模型对于小目标的检测具有更高的检测率，解决了传统检测算法容易受环境光照与不同面料纹理、花型等因素引起的误检、漏检问题，能够适用于多种窗帘面料，包括纯色、多色、简单纹理、复杂花纹类型等。在输送面料的过程中，视觉检测算法对即时拍摄的图像数据进行分析，快速识别瑕疵类型并准确定位瑕疵区域，对于持续出现的新瑕疵，可通过对反馈的新瑕疵图像数据集进行深度自学习，持续提升瑕疵的识别精度和识别率。

本发明的基于改进Yolov4的布料瑕疵视觉检测方法中，包括带反馈的数据增强模块和在主干网络中添加注意力机制模块两部分，其中，针对小目标检测精度不高的问题，提出带反馈的数据增强模块，在训练模型时对训练样本中的小目标进行判断并计算小目标的loss值，选择是否对图像进行增强。利用带反馈的数据增强模块，在训练中只需添加较少的计算量，并且不影响模型推理时间，有效提高模型对于小目标的识别性能。

而且，采用一种轻量级的注意力机模块GC(global context)Block，全面提取网络中全局信息，融合多层特征，使得网络具有更高的识别精度。

本发明的基于改进Yolov4的布料瑕疵视觉检测方法应用于窗帘面料检测领域，采用带反馈的数据增强模块提高小目标的检测性能，并在特征提取主干网络中添加注意力机制GC Block模块改进Yolov4算法，解决了传统瑕疵检测方法对应用环境要求高、不能广泛适用于多种面料与瑕疵的问题，具体实施流程图如图1所示。首先收集足够多的数据构建窗帘瑕疵数据集，将瑕疵图像分为并丝、线结、勾丝、档次等13类瑕疵类别，对数据集根据类别进行标注，并对数据集中不平衡的类别扩展数据集处理，保证各类别的样本数目平衡，然后输入构建好的网络进行训练，训练完成后保存训练模型，并部署在硬件设备中。

具体步骤包含：

步骤1：收集5000张不同类型布料的带瑕疵图像样本，构建瑕疵图像数据集；

步骤2：根据瑕疵样本特征，将数据集分为并丝、线结、勾丝、档次等13类瑕疵类别，使用labelimg标注工具为图像数据制作txt格式的标签；

步骤3：统计数据集中各个瑕疵类别个数，对于不平衡的瑕疵类别复制瑕疵目标框，进行反转、改变亮度等操作后复制到其他位置，扩展数据集，避免出现长尾效应影响模型检测精度；

步骤4：构建网络模型，并将扩展好的数据集输入网络进行训练；

步骤5：在经过1000个iteration后训练完成，将模型保存，并对模型利用TensorRT加速优化，TensorRT为英伟达公司开发的高性能的深度学习推理优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理，在不牺牲检测精度的情况下，提高模型推理速度。

其中，在将处理后的数据集输入构建好的网络进行训练之前，还包括构建网络模型，并将扩展好的数据集输入网络模型进行训练。将扩展好的数据集输入网络模型进行训练，包括：

在训练时添加带反馈的数据增强模块；

对Yolov4模型采用CSPdarknet53作为特征提取骨干网络，包含23个CSP模块，每个CSP模块包含一个残差组件加深网络。

其中，在训练时添加带反馈的数据增强模块，本发明实施例还提出一种带反馈的数据增强方法，在开始训练窗帘面料瑕疵检测模型前，优先采用该数据增强算法对训练数据集进行预处理，能够提高数据集的利用效率与小目标检测精度，其中，小目标检测时，由于较深的神经网络模型容易丢失小目标信息，因此当图像中某些物体被判定为小目标且由这些小目标造成的损失在总损失中占比过小，对模型回归无法产生较大的影响时，利用Mosaic数据增强算法增大小目标在整体数据集中所占比例进而扩大其对模型回归的影响以提高小目标的检测精度。

在本实施例中，在训练时添加带反馈的数据增强模块，采集带反馈的数据增强方法增强全局类别数据，包括以下步骤：

采用原始数据集中的所有样本训练网络模型，经过第一次迭代后，统计小目标检测的损失函数loss值，当小目标loss与总体loss的比值

小于t时，则在下一次迭代中对数据集采用Mosaic方法拼接后训练，否则继续采用原图像训练模型。

其中，小目标loss函数与总体loss函数均为CIOU_Loss，其公式为：

式中，v代表预测框与真实框之间长宽比的相似性，w^gt代表真实框的宽度，h^gt代表真实框的高度，w代表预测框的宽度，h代表预测框的高度，IOU代表预测框与真实框的交并比，α代表权重参数，b代表预测框，b^gt代表真实框，ρ(b,b^gt)代表预测框与真实框中心点坐标的欧氏距离，c代表预测框与真实框两者最大外接矩形的对角线长度。

在训练时添加数据增强模块，可以在不影响推理时间的基础上，提高训练精度，yolov4在训练过程中采用Mosaic数据增强算法，在数据集中随机选取4张输入的图像数据，并分别对4张图像进行翻转、缩放、色域变化等图像变换处理后，拼接成一幅新的大小不变的图像，每一幅均保留其对应的框，作为网络的训练数据，极大丰富了检测物体的背景。但这种方式增强了全局类别数据，不能针对某些特定目标物进行选择增强，且随机性较大，难以控制。

为解决上述问题，本发明提出了一种带反馈的数据增强方法，具体设计思路如下：首先，采用原始数据集中的所有样本训练网络模型，经过第一次迭代后，统计小目标检测的损失函数loss值，当小目标loss与总体loss的比值

小于t时，则在下一次迭代中对数据集采用Mosaic方法拼接后训练，否则继续采用原图像训练模型。

所述小目标检测的判断依据为：待检测目标的尺寸划分，主要以数据集中与该目标对应标注的真实框大小为判定依据，通过真实框面积来反映目标物尺寸的大小，当真实框面积a₀<A_s＝1024时，A_s代表将真实框内目标划分为小目标的真实框面积阈值。则将该目标物划分为小目标，否则归为非小目标类。其中，小目标的loss值

为总体loss L^t的正样本数据(正样本数据即瑕疵类别标签内部的图像区域)中面积小于A_s的loss之和，当满足小目标与总体loss的比值

时，在下一次将数据集输入模型前采用Mosaic算法对标记为小目标的数据集进行数据增强，采用Mosaic算法进行数据增强数据集后直接输入网络训练模型，具体原理流程如图2所示。

实验表明，本发明提出的一种带反馈的数据增强方法可提高数据集的利用率，采用该方法增强后的数据集作为训练数据集，被训练模型的目标检测精度有所提高。

在本发明的实施例中，对CSPdarknet53骨干网络改进，由于传统的Yolov4模型采用CSPdarknet53作为特征提取骨干网络，包含23个CSP(Cross Stage Partial)模块，每个CSP模块包含一个残差组件加深网络，避免因网络深度增加而出现梯度消失与爆炸问题。

本实施例中，基于Yolov4目标检测模型的基础之上，在每个CSP模块的残差组件进行加法操作前添加GC(global context)block模块，其中，图3处小的虚线框为在每个CSP模块的残差组件进行加法操作前添加的GC(global context)block模块，该模块将全局上下文信息融合到通道中以加强对全局信息的提取来达到提高模型性能的目的，轻量级融合全局上下文特征，有助于卷积对于全局信息的获取。具体改进思路为：对残差组件中激活函数Mish的最终输出采用Conv(1×1)卷积核降维处理，经softmax激活函数映射到(0,1)区间内后，与原输入(GC Block模块的输入)做点积，获取全局上下文特征，再经过Conv卷积层、LayerNorm层、ReLU激活函数层与二次Conv层处理，将各通道间依赖关系以权重形式输出，最后与原输入相加将上下文特征融合到每个位置上。

改进的CSP模块残差组件如图3所示，所述Conv(1×1)是大小为1×1的卷积核，在卷积操作中跨度为1的情况下生成的图像大小没有任何变化，在卷积核数量小于数据维度时可用于降低维度，减少通道数与计算复杂度，或结合激活函数在不改变图像尺寸的情况下引入非线性特征，增强神经网络的表达能力。

所述BN(Batch Normalization)层，即批量归一化层，主要用于输入数据的批量归一化，通过计算输入样本的均值μ_X、方差

对样本数据进行归一化处理，并引入两个可学习参数尺度因子和偏移因子，在训练过程中对数据进行尺度变换与偏移处理，获得新的特征分布。所述Mish激活函数用于增加网络的非线性特性，Mish函数的无上界特征避免了导致网络训练速度急剧下降的梯度饱和，非单调性质有助于保护小的负值，从而稳定网络梯度，具有的无穷阶连续性与光滑性提高的网络的泛化能力。所述softmax激活函数与Conv(1×1)卷积核共同作用，提取特征的同时加深网络输出的非线性关系，定义如下：

其中，S_i代表softmax的第i个输出值，z_i代表网络中第i个神经元的输出，K指softmax激活层的前一层神经网络的神经元总数。所述ReLU(Rectified Linear Unit)层是线性整流函数，结合Conv(1×1)卷积提取各通道间依赖关系，LayerNorm是LN(LayerNormalization)层，主要针对深度网络某一层所有神经元的输入进行归一化操作，用于降低优化难度，且作为正则提高了泛化性。

在一些实施例中，假设该残差组件当前输入为

其中。Xi指第i条数据。经过核为1×1的卷积处理降低数据维度，节省计算量，然后进入BN层批量归一化处理，由Mish函数激活后，再经过一次卷积核为3的卷积Conv、BN层和Mish激活函数提取特征信息

采用核为1×1的卷积W_k和softmax激活函数处理，并与X^*做点积操作，以卷积权值的方式聚合所有位置的特征来获取全局上下文特征；再经过Conv卷积层、LN层、ReLU激活函数层与二次Conv层处理，获取各数据通道间的依赖关系，最后与X融合将全局上下文特征聚合到每个位置的特征上。最终输出Z表示为：

其中W_k、W_v1、W_v2分别为GC block中第1，2，3个卷积层操作，

为输入X经过两次Conv、BN、Mish后的输出特征，

为第j个输出特征，N_p为特征图大小。

如表1所示为使用相同瑕疵检测测试集中测试不同方法的每秒处理帧数FPS和精度AP，各方法都在相同配置下进行测试(RTX2080Ti)，结果表明在训练过程中添加带反馈的数据增强模块能不影响推理速度的前提下提高检测精度，且在骨干网络中加入GC block也能有效提高准确率，利用TensorRT加速后能大大提高模型推理速度。将优化后的模型部署在上位机软件中，可实现对面料瑕疵的实时检测。

表1各方法FPS和AP对比

方法	FPS	AP
			yolov4	34.5	86.8
Yolov4+带反馈的数据增强模块	34.5	88.3
			Yolov4+带反馈的数据增强模块+GC block	28.6	91.5
改进后网络使用TensorRT加速	76.9	91.5

本发明实施例采用yolov4作为基本模型框架，为了解决小目标检测精度的问题，在训练过程中添加带反馈的数据增强模块，专门针对小目标进行数据增强，有效提高模型对小目标的识别性能。并对模型的骨干网络CSPdarknet53添加一种轻量级注意力机制模块GC Block,融合多层特征，使网络具有更高的识别精度。

本发明主要应用于窗帘面料的瑕疵检测，根据面料瑕疵特征的共性，可将本发明推广至不同类型织物的瑕疵检测，适用于企业的不同检测环境、产品与需求。

应该理解的是，上述虽然是按照某一顺序描述的，但是这些步骤并不是必然按照上述顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，本实施例的一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一些实施例中，在本发明的实施例中还提供了一种计算机设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述的基于改进Yolov4的布料瑕疵视觉检测方法，该处理器执行指令时实现上述各方法实施例中的步骤。

在本发明的一个实施例中还提供了一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述基于改进Yolov4的布料瑕疵视觉检测方法的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。

综上所述，本发明提供的基于改进Yolov4的布料瑕疵视觉检测方法，采用实时性高的yolov4框架，结合注意力机制模块提高检测精度，并在训练模型时采用带反馈机制的图像增强方法训练模型，使得模型对于小目标的检测具有更高的检测率，解决了传统检测算法容易受环境光照与不同面料纹理、花型等因素引起的误检、漏检问题，能够适用于多种窗帘面料，包括纯色、多色、简单纹理、复杂花纹类型等。在输送面料的过程中，视觉检测算法对即时拍摄的图像数据进行分析，快速识别瑕疵类型并准确定位瑕疵区域，对于持续出现的新瑕疵，可通过对反馈的新瑕疵图像数据集进行深度自学习，持续提升瑕疵的识别精度和识别率。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于改进Yolov4的布料瑕疵视觉检测方法，其特征在于，所述基于改进Yolov4的布料瑕疵视觉检测方法包括以下步骤：

收集若干不同类型布料的带瑕疵图像样本的数据构建窗帘瑕疵数据集；

对数据集根据类别进行标注，并对数据集中不平衡的类别扩展数据集处理；

将处理后的数据集输入构建好的网络进行训练，训练完成后保存训练模型，并部署在硬件设备中。

2.如权利要求1所述的基于改进Yolov4的布料瑕疵视觉检测方法，其特征在于，还包括：根据带瑕疵图像样本的瑕疵样本特征，将瑕疵图像分为并丝、线结、勾丝、档次在内的13类瑕疵类别，使用labelimg标注工具为图像数据制作txt格式的标签。

3.如权利要求2所述的基于改进Yolov4的布料瑕疵视觉检测方法，其特征在于，对数据集中不平衡的类别扩展数据集处理，包括：统计数据集中各个瑕疵类别个数，对于不平衡的瑕疵类别复制瑕疵目标框，进行反转、改变亮度操作后复制到其他位置，扩展数据集。

4.如权利要求1所述的基于改进Yolov4的布料瑕疵视觉检测方法，其特征在于，将处理后的数据集输入构建好的网络进行训练之前，还包括构建网络模型，并将扩展好的数据集输入网络模型进行训练。

5.如权利要求4所述的基于改进Yolov4的布料瑕疵视觉检测方法，其特征在于，将扩展好的数据集输入网络模型进行训练，包括：

在训练时添加带反馈的数据增强模块；

对Yolov4模型采用CSPdarknet53作为特征提取骨干网络，包含23个CSP模块，每个CSP模块包含一个残差组件加深网络。

6.如权利要求5所述的基于改进Yolov4的布料瑕疵视觉检测方法，其特征在于，在训练时添加带反馈的数据增强模块，采集带反馈的数据增强方法增强全局类别数据，包括以下步骤：

采用原始数据集中的所有样本训练网络模型，经过第一次迭代后，统计小目标检测的损失函数loss值，当小目标loss与总体loss的比值

小于t时，则在下一次迭代中对数据集采用Mosaic方法拼接后训练，否则继续采用原图像训练模型。

7.如权利要求6所述的基于改进Yolov4的布料瑕疵视觉检测方法，其特征在于，所述小目标检测的判断依据为：待检测目标的尺寸划分，以数据集中与该目标对应标注的真实框大小为判定依据，通过真实框面积来反映目标物尺寸的大小，当真实框面积a₀＜A_s＝1024时，则将该目标物划分为小目标，否则归为非小目标类；

其中，小目标的loss值

为总体lossL^t的正样本数据中面积小于A_s的loss之和，当满足小目标与总体loss的比值

时，在下一次将数据集输入模型前采用Mosaic算法对标记为小目标的数据集进行数据增强，采用Mosaic算法进行数据增强数据集后直接输入网络训练模型，A_s代表将真实框内目标划分为小目标的真实框面积阈值。

8.如权利要求5所述的基于改进Yolov4的布料瑕疵视觉检测方法，其特征在于，对Yolov4模型采用CSPdarknet53作为特征提取骨干网络为：基于Yolov4目标检测模型的基础上，在每个CSP模块的残差组件进行加法操作前添加GC block模块，轻量级融合全局上下文特征。

9.如权利要求8所述的基于改进Yolov4的布料瑕疵视觉检测方法，其特征在于，对Yolov4模型采用CSPdarknet53作为特征提取骨干网络，包括以下步骤：

对残差组件中激活函数Mish的最终输出采用Conv(1x1)卷积核降维处理，经softmax激活函数映射到(0,1)区间内后，与原输入做点积，获取全局上下文特征，再经过Conv卷积层、LayerNorm层、ReLU激活函数层与二次Conv层处理，将各通道间依赖关系以权重形式输出，最后与原输入相加将上下文特征融合到每个位置上。

10.如权利要求9所述的基于改进Yolov4的布料瑕疵视觉检测方法，其特征在于，所述softmax激活函数与Conv(1x1)卷积核共同作用，提取特征并加深网络输出的非线性关系，softmax激活函数的输出为：

其中，S_i代表softmax的第i个输出值，z_i代表网络中第i个神经元的输出，K指softmax激活层的前一层神经网络的神经元总数。

Images