CN115731220A - 坯布缺陷定位与分类方法、系统、设备及存储介质 - Google Patents

Abstract

本发明涉及一种坯布缺陷定位与分类方法、系统、设备及存储介质，其技术方案要点是：获取坯布图像并进行预处理得到处理图像；将所述处理图像输入全卷积神经网络得到置信度预测图；根据预设的置信度阈值对所述置信度预测图进行二值化处理得到二值图以区分缺陷区域和正常区域；对所述二值图中的缺陷区域进行膨胀得到至少一目标连通域；根据各个所述目标连通域对二值图进行裁剪得到对应的目标缺陷图；将各个所述目标缺陷图输入基于特征金字塔增强网络和双注意力机制的分类模型得到对应的缺陷概率；本申请具有能将坯布上的各个缺陷提取出来，从而更便于对形态不明显的缺陷进行识别，提高了对形态不明显的缺陷的识别准确率的效果。

Description

坯布缺陷定位与分类方法、系统、设备及存储介质

技术领域

本发明涉及缺陷检测技术领域，更具体地说，它涉及一种坯布缺陷定位与分类方法、系统、设备及存储介质。

背景技术

坯布是指供印染加工用的本色棉布。坯布在生产过程中难免会出现污渍、断纬等缺陷，因此，在生产过程中需要对坯布的缺陷进行检测。

目前工业界，识别缺陷的主流方法有传统视觉检测方法和基于深度神经网络的目标检测或语义/实例分割方法，但是，由于坯布的面积较大，在出现坯布缺陷较小，坯布缺陷与坯布的对比度区分不明显或缺陷关键形态集中在某个非常小的区域等情况下，通过现有的传统视觉检测方法和基于深度神经网络的目标检测或语义/实例分割方法都难以准确识别出上述缺陷。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种坯布缺陷定位与分类方法、系统、设备及存储介质，具有能将坯布上的各个缺陷提取出来，从而更便于对形态不明显的缺陷进行识别，提高了对形态不明显的缺陷的识别准确率的功能优点。

本发明的上述技术目的是通过以下技术方案得以实现的：

一种坯布缺陷定位与分类方法，包括：

获取坯布图像并进行预处理得到处理图像；

将所述处理图像输入全卷积神经网络得到处理图像中所有像素点的置信度形成置信度预测图；

根据预设的置信度阈值对所述置信度预测图进行二值化处理得到二值图以区分缺陷区域和正常区域；

对所述二值图中的缺陷区域进行膨胀得到至少一目标连通域；

根据各个所述目标连通域对二值图进行裁剪得到对应的目标缺陷图；

将各个所述目标缺陷图输入基于特征金字塔增强网络和双注意力机制的分类模型得到对应的缺陷概率。

可选的，所述全卷积神经网络的训练方法包括：

获取训练样本集，所述训练样本集中的样本为坯布缺陷图像；

对所述训练样本集的样本中的缺陷进行像素级标记得到真实标记图像；

利用训练样本集训练全卷积神经网络，将所述全卷积神经网络的输出结果与真实标记图像进行对比，得到训练误差；

通过所述输出结果和在线难例挖掘对训练样本集中的样本进行负采样得到更新后的训练样本集，将所述训练误差在全卷积神经网络进行反向传播，更新全卷积神经网络的参数，经过多次迭代训练后得到训练好的全卷积神经网络。

可选的，所述通过所述输出结果和在线难例挖掘对训练样本集中的样本进行负采样得到更新后的训练样本集，包括：

根据所述输出结果的大小对训练样本集中各个样本的所有像素点进行排序得到对应的像素点序列；

根据所述输出结果从大到小的顺序从各个像素点序列中抽取对应的前景像素点，直至各个样本中前景像素点和背景像素点的比值为1:3，得到更新后的训练样本集，其中，所述背景像素点为像素点序列中未被抽取的像素点。

可选的，所述全卷积神经网络的最后一层的激活函数采用s i gmo i d函数；所述置信度预测图中的各个像素点的数值为该像素点的置信度，所述置信度的取值为0-1之间；所述根据预设的置信度阈值对所述置信度预测图进行二值化处理得到二值图以区分缺陷区域和正常区域，包括：

将大于等于所述置信度阈值的像素点置为1，作为缺陷像素点，所有的缺陷像素点形成缺陷区域；

将小于所述置信度阈值的像素点置为0，作为正常像素点，所有的正常像素点形成正常区域。

可选的，所述对所述二值图中的缺陷区域进行膨胀得到至少一目标连通域，包括：

利用第一矩形结构元素在水平方向对缺陷区域进行膨胀得到至少一连通域；

利用第二矩形结构元素在竖直方向对所述连通域进行膨胀得到至少一目标连通域。

可选的，所述根据各个所述目标连通域对二值图进行裁剪得到对应的目标缺陷图，包括：

根据各个所述目标连通域计算得到对应的最小外接矩形；

根据各个所述最小外接矩形对二值图进行裁剪得到对应的目标缺陷图。

可选的，所述分类模型包括：ResNet-18网络模块、特征金字塔增强模块、双注意力机制模块和概率计算模块；所述双注意力机制模块包括：通道注意力单元和空间注意力单元；所述将各个所述目标缺陷图输入基于特征金字塔增强网络和双注意力机制的分类模型得到对应的缺陷类别，包括：

将所述目标缺陷图输入ResNet-18网络模块得到四个不同步长的第一特征图，作为第一特征金字塔；

将所述第一特征金字塔输入特征金字塔增强模块，所述特征金字塔增强模块用于对第一特征金字塔进行迭代增强得到增强后的第二特征金字塔；

将所述第二特征金字塔进行上采样和级联得到第二特征图；

将所述第二特征图输入通道注意力单元，所述通道注意力单元用于缩小第二特征图的尺寸得到第三特征图，通过s i gmo i d函数计算第三特征图上各个像素点的权重系数得到第一权重特征图，将所述第一权重特征图与第二特征图相乘得到第四特征图；

将所述第四特征图输入空间注意力单元，所述空间注意力单元用于对第四特征图进行降维和缩小尺寸操作得到第五特征图，通过s i gmo i d函数计算第五特征图上各个像素点的权重系数得到第二权重特征图，将所述第二权重特征图与第四特征图相乘得到目标特征图；

将所述目标特征图输入概率计算模块，所述概率计算模块用于通过全连接层将所述目标特征图进行整合得到各个缺陷类别的分数，通过softmax层将各个缺陷类别的分数转换为对应的缺陷概率。

一种坯布缺陷定位与分类系统，包括：

获取处理模块，用于获取坯布图像并进行预处理得到处理图像；

置信度预测模块，用于将所述处理图像输入全卷积神经网络得到处理图像中所有像素点的置信度形成置信度预测图；

二值化模块，用于根据预设的置信度阈值对所述置信度预测图进行二值化处理得到二值图以区分缺陷区域和正常区域；

膨胀模块，用于对所述二值图中的缺陷区域进行膨胀得到至少一目标连通域；

裁剪模块，用于根据各个所述目标连通域对二值图进行裁剪得到对应的目标缺陷图；

分类模块，用于将各个所述目标缺陷图输入基于特征金字塔增强网络和双注意力机制的分类模型得到对应的缺陷概率。

一种计算机设备,包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。

综上所述，本发明具有以下有益效果：能防止同一个缺陷区域断裂成多个分散区域，能将坯布图像中的目标缺陷图裁剪出来，实现了将大图裁剪成小图，便于将坯布上的各个缺陷提取出来，防止将大图直接输入给分类模型时而忽略形态不明显的缺陷，从而更便于分类模型注意到坯布的缺陷，以及对坯布的缺陷类别进行识别，特征金字塔增强网络能够在提取缺陷的语义信息的同时减少缺陷的图像位置信息造成的影响，双注意力机制能够将更多的注意力放在缺陷区域，从而提取到更有效的空间信息和语义信息，提高了对形态不明显的缺陷的识别准确率。

附图说明

图1是本发明提供的坯布缺陷定位与分类方法的流程示意图；

图2是本发明中特征金字塔增强模块的结构原理图；

图3是本发明中双注意力机制模块的结构原理图；

图4是本发明提供的坯布缺陷定位与分类的结构框图；

图5是本发明实施例中计算机设备的内部结构图。

图中："+"代表逐元素相加,"2×"代表线性上采样,"DWConv"代表深度卷积,"Conv"代表常规卷积，"BN"代表批量归一化，"ReLU"代表线性整流函数。

具体实施方式

为使本发明的目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。

下面结合附图和实施例，对本发明进行详细描述。

本发明提供了一种坯布缺陷定位与分类方法,如图1所示，包括：

步骤100、获取坯布图像并进行预处理得到处理图像；

步骤200、将所述处理图像输入全卷积神经网络得到处理图像中所有像素点的置信度形成置信度预测图；

步骤300、根据预设的置信度阈值对所述置信度预测图进行二值化处理得到二值图以区分缺陷区域和正常区域；

步骤400、对所述二值图中的缺陷区域进行膨胀得到至少一目标连通域；

步骤500、根据各个所述连通域对二值图进行裁剪得到对应的目标缺陷图；

步骤600、将各个所述目标缺陷图输入基于特征金字塔增强网络和双注意力机制的分类模型得到对应的缺陷概率。

在实际应用中，对坯布图像进行归一化处理得到图像像素矩阵，也就是得到处理图像，全卷积神经网络为预先训练好的U-Net卷积神经网络，将处理图像输入训练好的U-Net卷积神经网络，训练好的U-Net卷积神经网络输出各个像素点的置信度，得到处理图像的置信度预测图，通过预设的置信度阈值对置信度预测图进行二值化处理得到二值图，所述置信度阈值与缺陷的召回率或精确率相关，如在召回率或精确率提高的情况下，则将置信度阈值相应地提高，以使U-Net卷积神经网络的输出结果达到召回率或精确率的要求，通过对二值图中的缺陷区域进行膨胀得到至少一目标连通域，防止同一个缺陷区域断裂成多个分散区域，将目标连通域裁剪出来得到目标缺陷图，实现了将大图裁剪成小图，便于将坯布上的各个缺陷提取出来，并将提取出来的目标缺陷图输送给分类模型，防止将大图直接输入给分类模型时而忽略形态不明显的缺陷，如缺陷与背景的对比度差异不明显、缺陷的关键形态集中在某个小区域等，从而更便于分类模型注意到坯布的缺陷，以及对坯布的缺陷类别进行识别，基于特征金字塔增强网络和双注意力机制的分类模型，特征金字塔增强网络能够在提取缺陷的语义信息的同时减少缺陷的图像位置信息造成的影响，双注意力机制能够将更多的注意力放在缺陷区域，从而提取到更有效的空间信息和语义信息，提高了对形态不明显的缺陷的识别准确率。

进一步地，所述全卷积神经网络的训练方法包括：

获取训练样本集，所述训练样本集中的样本为坯布缺陷图像；

对所述训练样本集的样本中的缺陷进行像素级标记得到真实标记图像；

利用训练样本集训练全卷积神经网络，将所述全卷积神经网络的输出结果与真实标记图像进行对比，得到训练误差；

通过所述输出结果和在线难例挖掘对训练样本集中的样本进行负采样得到更新后的训练样本集，将所述训练误差在全卷积神经网络进行反向传播，更新全卷积神经网络的参数，经过多次迭代训练后得到训练好的全卷积神经网络。

在实际应用中，所述训练样本集中包括大量各种坯布缺陷图像，利用训练样本集训练U-Net卷积神经网络得到输出结果，得到的真实标记图像便于与每次的输出结果进行比对，从而得到训练误差，将训练误差在U-Net卷积神经网络上进行反向传播，以对U-Net卷积神经网络的参数进行调整，另外，由于坯布的缺陷在坯布上占据的面积通常都较小，从而使得正常坯布的像素点数量通常大于缺陷坯布的像素点数量的十倍以上，利用输出结果和在线难例挖掘对正常坯布像素点过多的样本进行负采样以对训练样本集进行更新，大大缓解了样本不平衡的问题。

进一步地，所述通过所述输出结果和在线难例挖掘对训练样本集中的样本进行负采样得到更新后的训练样本集，包括：

根据所述输出结果的大小对训练样本集中各个样本的所有像素点进行排序得到对应的像素点序列；

根据所述输出结果从大到小的顺序从各个像素点序列中抽取对应的前景像素点，直至各个样本中前景像素点和背景像素点的比值为1:3，得到更新后的训练样本集，其中，所述背景像素点为像素点序列中未被抽取的像素点。

在实际应用中，由于是对图像进行像素级标记，全卷积神经网络的输出结果也是针对像素级的，也就是得到各个像素点的置信度，在一样本中，根据置信度的大小对该样本中的所有像素点进行排序得到该样本的像素点序列，训练样本集中的其余样本也是采用同样的方法得到对应的像素点序列，在每次迭代训练后，都能根据每次迭代训练后的输出结果对样本进行更新，提高对全卷积神经网络的训练效果，根据置信度从大到小的顺序从各个像素点序列中抽取对应的前景像素点，使得各个样本中的前景像素点与背景像素点的比值为1:3，抽取出的前景像素点中包含有较难与缺陷部分区分的正常部分，从而实现了对难例的挑选，将各个样本中的所有前景像素点作为新的样本，大大减少了对易于分辨的背景像素点的重复训练，加强了对难以区分的正常像素点的训练，平衡了对缺陷像素点和正常像素点的数量。

进一步地，所述全卷积神经网络的最后一层的激活函数采用s i gmo i d函数；所述置信度的取值为0-1之间；所述根据预设的置信度阈值对所述置信度预测图进行二值化处理得到二值图以区分缺陷区域和正常区域，包括：

将大于等于所述置信度阈值的像素点置为1，作为缺陷像素点，所有的缺陷像素点形成缺陷区域；

将小于所述置信度阈值的像素点置为0，作为正常像素点，所有的正常像素点形成正常区域。

在实际应用中，全卷积神经网络的最后一层也就是U-Net卷积神经网络的最后一层，U-Net卷积神经网络的最后一层为卷积层，在本申请中该卷积层的激活函数采用s igmo i d函数，s i gmo i d函数的表达式为

输入值x为U-Net卷积神经网络的最后一层的输出值，s i gmo i d函数的输出值的范围为0-1之间，不包括0和1，使得全卷积神经网络的输出结果在0-1之间，也就是使得置信度的取值在0-1之间，便于后续根据预设的置信度阈值对图像进行二值化处理，另外，在对U-Net卷积神经网络进行迭代训练的过程中，能够采用d i ce l oss作为损失函数，d i ce l oss的函数表达式为

输入值X表示s igmoi d函数的输出值，输入值Y表示区域标签值，所述区域标签值是指对对所述训练样本集的样本中的缺陷进行像素级标记的值，缺陷像素点标记为1，正常像素点标记为0，X和Y均为二维矩阵，|X|和|Y|分表表示X和Y的元素的个数，d表示训练误差，也能缓解样本不平衡的问题。

进一步地，所述对所述二值图中的缺陷区域进行膨胀得到至少一目标连通域，包括：

利用第一矩形结构元素在水平方向对缺陷区域进行膨胀得到至少一连通域；

利用第二矩形结构元素在竖直方向对所述连通域进行膨胀得到至少一目标连通域。

具体地，在本申请中缺陷区域的像素点赋值为1，正常区域的像素点赋值为0，第一矩形结构元素为水平状态的矩形框，第一矩形结构元素的水平轴的取值可为5，竖直轴的取值可为1，第二矩形结构元素为竖直状态的矩形框，第一矩形结构元素的水平轴的取值可为1，竖直轴的取值可为5，在其他实施例中第一矩形结构元素与第二矩形结构元素的水平轴和竖直轴的取值能根据实际情况进行调整，通过第一矩形结构元素在二值图上滑动，与二值图进行与运算，扩大了1的区域，也就是使得二值图的缺陷区域在水平方向上膨胀，使得二值图上的缺陷区域在水平方向连通形成至少一连通域，通过第二矩形结构元素在二值图上滑动，与进行过水平膨胀后的二值图进行与运算，扩大了1的区域，也就是使得水平连通域在竖直方向上膨胀，使得水平膨胀后的二值图上的连通域在竖直方向连通形成至少一目标连通域，从而实现了对二值图上的缺陷区域在水平方向和竖直方向上的膨胀，防止了属于同一缺陷的缺陷区域零散，在实际应用中，还能够对所述二值图进行多次迭代膨胀，膨胀迭代轮数可为6、8、10等，具体的膨胀迭代轮数能够根据实际情况确定。

进一步地，所述根据各个所述目标连通域对二值图进行裁剪得到对应的目标缺陷图，包括：

根据各个所述目标连通域计算得到对应的最小外接矩形；

根据各个所述最小外接矩形对二值图进行裁剪得到对应的目标缺陷图。

在实际应用中，最小外接矩形为最小面积外接矩形，能够通过格雷厄姆法求解目标连通域的凸壳，利用旋转的方式求取最小面积外接矩形，具体地，是在每次旋转后，确定旋转后的主轴进而得到每次旋转后的外接矩形，比较所有旋转后的外接矩形的面积，选取出面积最小的外接矩形作为目标连通域的最小外接矩形，从最小外接矩形中的四个角中任选一角作为裁剪起点，将最小外接矩形的长度和宽度分别作为裁剪长度和裁剪宽度，从而对二值图进行裁剪，得到各个目标连通域的目标缺陷图，也就是实现了对缺陷小图的裁剪。

进一步地，所述分类模型包括：ResNet-18网络模块、特征金字塔增强模块、双注意力机制模块和概率计算模块；所述双注意力机制模块包括：通道注意力单元和空间注意力单元；所述将各个所述目标缺陷图输入基于特征金字塔增强网络和双注意力机制的分类模型得到对应的缺陷类别，包括：

将所述目标缺陷图输入ResNet-18网络模块得到四个不同步长的第一特征图，作为第一特征金字塔；

将所述第一特征金字塔输入特征金字塔增强模块，所述特征金字塔增强模块用于对第一特征金字塔进行迭代增强得到增强后的第二特征金字塔；

将所述第二特征金字塔进行上采样和级联得到第二特征图；

将所述第二特征图输入通道注意力单元，所述通道注意力单元用于缩小第二特征图的尺寸得到第三特征图，通过s i gmo i d函数计算第三特征图上各个像素点的权重系数得到第一权重特征图，将所述第一权重特征图与第二特征图相乘得到第四特征图；

将所述第四特征图输入空间注意力单元，所述空间注意力单元用于对第四特征图进行降维和缩小尺寸操作得到第五特征图，通过s i gmo i d函数计算第五特征图上各个像素点的权重系数得到第二权重特征图，将所述第二权重特征图与第四特征图相乘得到目标特征图；

将所述目标特征图输入概率计算模块，所述概率计算模块用于通过全连接层将所述目标特征图进行整合得到各个缺陷类别的分数，通过softmax层将各个缺陷类别的分数转换为对应的缺陷概率。

在实际应用中，所述分类模型为预先训练好的，通过预先获取大量各类缺陷的缺陷样本形成缺陷样本集，对缺陷样本集中的样本的缺陷类别进行标记得到缺陷标记图像，利用缺陷样本集对神经网络进行训练得到缺陷输出结果，将缺陷输出结果与缺陷标记图像进行比对，得到缺陷误差，将所述缺陷误差在神经网络进行反向传播，更新神经网络的参数，经过多次迭代训练后得到训练好的神经网络，也就是得到训练好的分类模型，然后将目标缺陷图输入给分类模型，分类模型中的ResNet-18网络模块接收目标缺陷图，ResNet-18网络模块包括17个卷积层和一个全连接层，通过ResNet-18网络模块的主干网络的conv2，conv3，conv4和conv5阶段生成4个特征图，并对该4个特征图分别进行1×1卷积得到四个通道数为128的特征图，将四个通道数为128的特征图分别作为四个不同步长的第一特征图输出，四个所述第一特征图的步长分别为32、16、8、4个像素，如图2所示，四个所述第一特征图形成第一特征金字塔，并将第一特征金字塔输入给特征金字塔增强模块，特征金字塔增强模块包括up-sca l e增强单元和down-sca l e增强单元，up-sca l e增强单元对步长为32、16、8、4个像素的四个第一特征图进行迭代增强，得到增强后的第一特征金字塔，增强后的第一特征金字塔作为down-sca l e增强单元的输入，down-sca l e增强单元用于增强后的第一特征金字塔进行迭代增强，增强的步长从4到32，up-sca l e增强单元和down-sca le增强单元的增强方法均为对一特征图进行线性上采样，对线性上采样后的特征图和另一特征图进行逐元素相加，将逐元素相加后的特征图进行卷积和批量归一化，另外，能够设置多个特征金字塔增强模块，多个特征金字塔增强模块依次连接，第一个特征金字塔增强模块的输入为第一特征金字塔，其余特征金字塔增强模块的输入为前一个特征金字塔增强模块的输出，然后将各个特征金字塔增强模块的输出进行融合得到融合特征金字塔，以此将不同尺度的特征图进行充分融合，从而减少了缺陷的位置信息的影响，更利于对缺陷的语义信息的提取，将融合特征金字塔进行上采样和级联得到第二特征图；如图3所示，将第二特征图输送给通道注意力单元后，通道注意力单元对第二特征图分别进行全局平均池化和全局最大池化得到两个第一子特征图，从而实现对第二特征图的矩阵尺寸的缩小，将两个第一子特征图分别送入两层的全连接神经网络得到两个第二子特征图，将两个第二子特征图相加得到第三特征图，将第三特征图输入s i gmo i d函数得到各个像素点的权重系数，其权重系数取值在0-1之间，第一权重特征图与第二特征图相乘得到第四特征图，并将第四特征图输入给空间注意力单元，空间注意力单元对第四特征图分别进行一个通道维度的最大池化和平均池化得到两个第三子特征图，减少了第四特征图的通道数以及缩小了第四特征图的尺寸，将两个第三子特征图拼接成第五特征图，将第五特征图输入s i gmo i d函数得到各个像素点的权重系数，其权重系数取值在0-1之间，第二权重特征图与第四特征图相乘得到目标特征图，减少了缺陷在目标缺陷图中位置的不同以及缺陷在目标缺陷图中角度的不同对特征提取的影响，从而提高了对目标缺陷图中的特征提取的准确率。

本发明的坯布缺陷定位与分类方法，能防止同一个缺陷区域断裂成多个分散区域，将目标连通域裁剪出来得到目标缺陷图，实现了将大图裁剪成小图，便于将坯布上的各个缺陷提取出来，并将提取出来的目标缺陷图输送给分类模型，防止将大图直接输入给分类模型时而忽略形态不明显的缺陷，从而更便于分类模型注意到坯布的缺陷，以及对坯布的缺陷类别进行识别，特征金字塔增强网络能够在提取缺陷的语义信息的同时减少缺陷的图像位置信息造成的影响，双注意力机制能够将更多的注意力放在缺陷区域，从而提取到更有效的空间信息和语义信息，提高了对形态不明显的缺陷的识别准确率。

如图4所示，本发明还提供了一种坯布缺陷定位与分类系统，包括：

获取处理模块10，用于获取坯布图像并进行预处理得到处理图像；

置信度预测模块20，用于将所述处理图像输入全卷积神经网络得到处理图像中所有像素点的置信度形成置信度预测图；

二值化模块30，用于根据预设的置信度阈值对所述置信度预测图进行二值化处理得到二值图以区分缺陷区域和正常区域；

膨胀模块40，用于对所述二值图中的缺陷区域进行膨胀得到至少一目标连通域；

裁剪模块50，用于根据各个所述目标连通域对二值图进行裁剪得到对应的目标缺陷图；

分类模块60，用于将各个所述目标缺陷图输入基于特征金字塔增强网络和双注意力机制的分类模型得到对应的缺陷概率。

关于坯布缺陷定位与分类系统的具体限定可以参见上文中对于坯布缺陷定位与分类方法的限定，在此不再赘述。上述织厂前道工序监测准备系统的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种织厂前道工序监测准备方法。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备,包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行计算机程序时实现以下步骤：

获取坯布图像并进行预处理得到处理图像；

将所述处理图像输入全卷积神经网络得到处理图像中所有像素点的置信度形成置信度预测图；

根据预设的置信度阈值对所述置信度预测图进行二值化处理得到二值图以区分缺陷区域和正常区域；

对所述二值图中的缺陷区域进行膨胀得到至少一目标连通域；

根据各个所述目标连通域对二值图进行裁剪得到对应的目标缺陷图；

将各个所述目标缺陷图输入基于特征金字塔增强网络和双注意力机制的分类模型得到对应的缺陷概率。

在一个实施例中，所述全卷积神经网络的训练方法包括：

获取训练样本集，所述训练样本集中的样本为坯布缺陷图像；

对所述训练样本集的样本中的缺陷进行像素级标记得到真实标记图像；

利用训练样本集训练全卷积神经网络，将所述全卷积神经网络的输出结果与真实标记图像进行对比，得到训练误差；

通过所述输出结果和在线难例挖掘对训练样本集中的样本进行负采样得到更新后的训练样本集，将所述训练误差在全卷积神经网络进行反向传播，更新全卷积神经网络的参数，经过多次迭代训练后得到训练好的全卷积神经网络。

在一个实施例中，所述通过所述输出结果和在线难例挖掘对训练样本集中的样本进行负采样得到更新后的训练样本集，包括：

根据所述输出结果的大小对训练样本集中各个样本的所有像素点进行排序得到对应的像素点序列；

根据所述输出结果从大到小的顺序从各个像素点序列中抽取对应的前景像素点，直至各个样本中前景像素点和背景像素点的比值为1:3，得到更新后的训练样本集，其中，所述背景像素点为像素点序列中未被抽取的像素点。

在一个实施例中，所述全卷积神经网络的最后一层的激活函数采用s i gmo i d函数；所述置信度的取值为0-1之间；所述根据预设的置信度阈值对所述置信度预测图进行二值化处理得到二值图以区分缺陷区域和正常区域，包括：

将大于等于所述置信度阈值的像素点置为1，作为缺陷像素点，所有的缺陷像素点形成缺陷区域；

将小于所述置信度阈值的像素点置为0，作为正常像素点，所有的正常像素点形成正常区域。

在一个实施例中，所述对所述二值图中的缺陷区域进行膨胀得到至少一目标连通域，包括：

利用第一矩形结构元素在水平方向对缺陷区域进行膨胀得到至少一连通域；

利用第二矩形结构元素在竖直方向对所述连通域进行膨胀得到至少一目标连通域。

在一个实施例中，所述根据各个所述目标连通域对二值图进行裁剪得到对应的目标缺陷图，包括：

根据各个所述目标连通域计算得到对应的最小外接矩形；

根据各个所述最小外接矩形对二值图进行裁剪得到对应的目标缺陷图。

在一个实施例中，所述分类模型包括：ResNet-18网络模块、特征金字塔增强模块、双注意力机制模块和概率计算模块；所述双注意力机制模块包括：通道注意力单元和空间注意力单元；所述将各个所述目标缺陷图输入基于特征金字塔增强网络和双注意力机制的分类模型得到对应的缺陷类别，包括：

将所述目标缺陷图输入ResNet-18网络模块得到四个不同步长的第一特征图，作为第一特征金字塔；

将所述第一特征金字塔输入特征金字塔增强模块，所述特征金字塔增强模块用于对第一特征金字塔进行迭代增强得到增强后的第二特征金字塔；

将所述第二特征金字塔进行上采样和级联得到第二特征图；

将所述第二特征图输入通道注意力单元，所述通道注意力单元用于缩小第二特征图的尺寸得到第三特征图，通过s i gmo i d函数计算第三特征图上各个像素点的权重系数得到第一权重特征图，将所述第一权重特征图与第二特征图相乘得到第四特征图；

将所述第四特征图输入空间注意力单元，所述空间注意力单元用于对第四特征图进行降维和缩小尺寸操作得到第五特征图，通过s i gmo i d函数计算第五特征图上各个像素点的权重系数得到第二权重特征图，将所述第二权重特征图与第四特征图相乘得到目标特征图；

将所述目标特征图输入概率计算模块，所述概率计算模块用于通过全连接层将所述目标特征图进行整合得到各个缺陷类别的分数，通过softmax层将各个缺陷类别的分数转换为对应的缺陷概率。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取坯布图像并进行预处理得到处理图像；

将所述处理图像输入全卷积神经网络得到处理图像中所有像素点的置信度形成置信度预测图；

根据预设的置信度阈值对所述置信度预测图进行二值化处理得到二值图以区分缺陷区域和正常区域；

对所述二值图中的缺陷区域进行膨胀得到至少一目标连通域；

根据各个所述目标连通域对二值图进行裁剪得到对应的目标缺陷图；

将各个所述目标缺陷图输入基于特征金字塔增强网络和双注意力机制的分类模型得到对应的缺陷概率。

在一个实施例中，所述全卷积神经网络的训练方法包括：

获取训练样本集，所述训练样本集中的样本为坯布缺陷图像；

对所述训练样本集的样本中的缺陷进行像素级标记得到真实标记图像；

利用训练样本集训练全卷积神经网络，将所述全卷积神经网络的输出结果与真实标记图像进行对比，得到训练误差；

通过所述输出结果和在线难例挖掘对训练样本集中的样本进行负采样得到更新后的训练样本集，将所述训练误差在全卷积神经网络进行反向传播，更新全卷积神经网络的参数，经过多次迭代训练后得到训练好的全卷积神经网络。

在一个实施例中，所述通过所述输出结果和在线难例挖掘对训练样本集中的样本进行负采样得到更新后的训练样本集，包括：

根据所述输出结果的大小对训练样本集中各个样本的所有像素点进行排序得到对应的像素点序列；

根据所述输出结果从大到小的顺序从各个像素点序列中抽取对应的前景像素点，直至各个样本中前景像素点和背景像素点的比值为1:3，得到更新后的训练样本集，其中，所述背景像素点为像素点序列中未被抽取的像素点。

在一个实施例中，所述全卷积神经网络的最后一层的激活函数采用s i gmo i d函数；所述置信度的取值为0-1之间；所述根据预设的置信度阈值对所述置信度预测图进行二值化处理得到二值图以区分缺陷区域和正常区域，包括：

将大于等于所述置信度阈值的像素点置为1，作为缺陷像素点，所有的缺陷像素点形成缺陷区域；

将小于所述置信度阈值的像素点置为0，作为正常像素点，所有的正常像素点形成正常区域。

在一个实施例中，所述对所述二值图中的缺陷区域进行膨胀得到至少一目标连通域，包括：

利用第一矩形结构元素在水平方向对缺陷区域进行膨胀得到至少一连通域；

利用第二矩形结构元素在竖直方向对所述连通域进行膨胀得到至少一目标连通域。

在一个实施例中，所述根据各个所述目标连通域对二值图进行裁剪得到对应的目标缺陷图，包括：

根据各个所述目标连通域计算得到对应的最小外接矩形；

根据各个所述最小外接矩形对二值图进行裁剪得到对应的目标缺陷图。

在一个实施例中，所述分类模型包括：ResNet-18网络模块、特征金字塔增强模块、双注意力机制模块和概率计算模块；所述双注意力机制模块包括：通道注意力单元和空间注意力单元；所述将各个所述目标缺陷图输入基于特征金字塔增强网络和双注意力机制的分类模型得到对应的缺陷类别，包括：

将所述目标缺陷图输入ResNet-18网络模块得到四个不同步长的第一特征图，作为第一特征金字塔；

将所述第一特征金字塔输入特征金字塔增强模块，所述特征金字塔增强模块用于对第一特征金字塔进行迭代增强得到增强后的第二特征金字塔；

将所述第二特征金字塔进行上采样和级联得到第二特征图；

将所述第二特征图输入通道注意力单元，所述通道注意力单元用于缩小第二特征图的尺寸得到第三特征图，通过s i gmo i d函数计算第三特征图上各个像素点的权重系数得到第一权重特征图，将所述第一权重特征图与第二特征图相乘得到第四特征图；

将所述第四特征图输入空间注意力单元，所述空间注意力单元用于对第四特征图进行降维和缩小尺寸操作得到第五特征图，通过s i gmo i d函数计算第五特征图上各个像素点的权重系数得到第二权重特征图，将所述第二权重特征图与第四特征图相乘得到目标特征图；

将所述目标特征图输入概率计算模块，所述概率计算模块用于通过全连接层将所述目标特征图进行整合得到各个缺陷类别的分数，通过softmax层将各个缺陷类别的分数转换为对应的缺陷概率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synch l i nk)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

Claims (10)

1.一种坯布缺陷定位与分类方法，其特征在于，包括：

获取坯布图像并进行预处理得到处理图像；

将所述处理图像输入全卷积神经网络得到处理图像中所有像素点的置信度形成置信度预测图；

根据预设的置信度阈值对所述置信度预测图进行二值化处理得到二值图以区分缺陷区域和正常区域；

对所述二值图中的缺陷区域进行膨胀得到至少一目标连通域；

根据各个所述目标连通域对二值图进行裁剪得到对应的目标缺陷图；

将各个所述目标缺陷图输入基于特征金字塔增强网络和双注意力机制的分类模型得到对应的缺陷概率。

2.根据权利要求1所述的坯布缺陷定位与分类方法，其特征在于，所述全卷积神经网络的训练方法包括：

获取训练样本集，所述训练样本集中的样本为坯布缺陷图像；

对所述训练样本集的样本中的缺陷进行像素级标记得到真实标记图像；

利用训练样本集训练全卷积神经网络，将所述全卷积神经网络的输出结果与真实标记图像进行对比，得到训练误差；

通过所述输出结果和在线难例挖掘对训练样本集中的样本进行负采样得到更新后的训练样本集，将所述训练误差在全卷积神经网络进行反向传播，更新全卷积神经网络的参数，经过多次迭代训练后得到训练好的全卷积神经网络。

3.根据权利要求2所述的坯布缺陷定位与分类方法，其特征在于，所述通过所述输出结果和在线难例挖掘对训练样本集中的样本进行负采样得到更新后的训练样本集，包括：

根据所述输出结果的大小对训练样本集中各个样本的所有像素点进行排序得到对应的像素点序列；

根据所述输出结果从大到小的顺序从各个像素点序列中抽取对应的前景像素点，直至各个样本中前景像素点和背景像素点的比值为1:3，得到更新后的训练样本集，其中，所述背景像素点为像素点序列中未被抽取的像素点。

4.根据权利要求1所述的坯布缺陷定位与分类方法，其特征在于，所述全卷积神经网络的最后一层的激活函数采用sigmoid函数；所述置信度的取值为0-1之间；所述根据预设的置信度阈值对所述置信度预测图进行二值化处理得到二值图以区分缺陷区域和正常区域，包括：

将大于等于所述置信度阈值的像素点置为1，作为缺陷像素点，所有的缺陷像素点形成缺陷区域；

将小于所述置信度阈值的像素点置为0，作为正常像素点，所有的正常像素点形成正常区域。

5.根据权利要求1所述的坯布缺陷定位与分类方法，其特征在于，所述对所述二值图中的缺陷区域进行膨胀得到至少一目标连通域，包括：

利用第一矩形结构元素在水平方向对缺陷区域进行膨胀得到至少一连通域；

利用第二矩形结构元素在竖直方向对所述连通域进行膨胀得到至少一目标连通域。

6.根据权利要求1所述的坯布缺陷定位与分类方法，其特征在于，所述根据各个所述目标连通域对二值图进行裁剪得到对应的目标缺陷图，包括：

根据各个所述目标连通域计算得到对应的最小外接矩形；

根据各个所述最小外接矩形对二值图进行裁剪得到对应的目标缺陷图。

7.根据权利要求1所述的坯布缺陷定位与分类方法，其特征在于，所述分类模型包括：ResNet-18网络模块、特征金字塔增强模块、双注意力机制模块和概率计算模块；所述双注意力机制模块包括：通道注意力单元和空间注意力单元；所述将各个所述目标缺陷图输入基于特征金字塔增强网络和双注意力机制的分类模型得到对应的缺陷类别，包括：

将所述目标缺陷图输入ResNet-18网络模块得到四个不同步长的第一特征图，作为第一特征金字塔；

将所述第一特征金字塔输入特征金字塔增强模块，所述特征金字塔增强模块用于对第一特征金字塔进行迭代增强得到增强后的第二特征金字塔；

将所述第二特征金字塔进行上采样和级联得到第二特征图；

将所述第二特征图输入通道注意力单元，所述通道注意力单元用于缩小第二特征图的尺寸得到第三特征图，通过sigmoid函数计算第三特征图上各个像素点的权重系数得到第一权重特征图，将所述第一权重特征图与第二特征图相乘得到第四特征图；

将所述第四特征图输入空间注意力单元，所述空间注意力单元用于对第四特征图进行降维和缩小尺寸操作得到第五特征图，通过sigmoid函数计算第五特征图上各个像素点的权重系数得到第二权重特征图，将所述第二权重特征图与第四特征图相乘得到目标特征图；

将所述目标特征图输入概率计算模块，所述概率计算模块用于通过全连接层将所述目标特征图进行整合得到各个缺陷类别的分数，通过softmax层将各个缺陷类别的分数转换为对应的缺陷概率。

8.一种坯布缺陷定位与分类系统，其特征在于，包括：

获取处理模块，用于获取坯布图像并进行预处理得到处理图像；

置信度预测模块，用于将所述处理图像输入全卷积神经网络得到处理图像中所有像素点的置信度形成置信度预测图；

二值化模块，用于根据预设的置信度阈值对所述置信度预测图进行二值化处理得到二值图以区分缺陷区域和正常区域；

膨胀模块，用于对所述二值图中的缺陷区域进行膨胀得到至少一目标连通域；

裁剪模块，用于根据各个所述目标连通域对二值图进行裁剪得到对应的目标缺陷图；

分类模块，用于将各个所述目标缺陷图输入基于特征金字塔增强网络和双注意力机制的分类模型得到对应的缺陷概率。

9.一种计算机设备,包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images