CN112525931A - 一种基于人工智能技术的鞋服断针检测装置及其方法 - Google Patents

Abstract

本发明专利涉及鞋服制造技术领域，尤其为一种基于人工智能技术的鞋服断针检测装置及其方法，包括支撑座、云端服务器和云端数据库，所述支撑座的顶部固定安装有输送架，所述输送架的内部转动连接有输送带，所述输送架顶部的两侧之间栓接有支撑架；本发明专利采用基于深度学习的目标检测技术，在采集鞋服断针的X光图像数据的同时使用深度学习算法迅速有效地筛选出含有异物金属的鞋服，能够实现毫米级异物检测（人眼分辨困难），即使背景复杂，仍然有着可靠的精度，准确检出复杂的异物形态，并且可以应用于多种版型的检测对象，有效降低了异物检测机的使用成本，提高了对残留在鞋服鞋类中断针的检测效率。

Description

一种基于人工智能技术的鞋服断针检测装置及其方法

技术领域

本发明专利涉及鞋服制造技术领域，具体为一种基于人工智能技术的鞋服断针检测装置及其方法。

背景技术

随着鞋服类加工行业的技术复杂度不断提高，各种鞋服内残留断针的风险也会增大，对鞋服进行金属异物的检测也因此必不可少。现有的鞋服类检测的相关产品和研究都较少，并且目前断针检测方法还是存在很多缺陷，比如：通过人工检测必然存在较强的主观性，生产规模小，人力及物资耗费大；使用电磁感应的方式检测断无法感应微小断针，容易漏检；采用传统图像处理方法进行模板匹配会存在局限性，技术困难大，且准确度得不到提高等，为此提出一种基于人工智能技术的鞋服断针检测装置及其方法，来解决此问题。

发明专利内容

本发明专利的目的在于提供一种基于人工智能技术的鞋服断针检测装置及其方法，解决了目前断针检测方法还是存在很多缺陷，比如：通过人工检测必然存在较强的主观性，生产规模小，人力及物资耗费大；使用电磁感应的方式检测断无法感应微小断针，容易漏检；采用传统图像处理方法进行模板匹配会存在局限性，技术困难大，且准确度得不到提高等的问题。

为实现上述目的，本发明专利提供如下技术方案：一种基于人工智能技术的鞋服断针检测装置，包括支撑座、云端服务器和云端数据库，所述支撑座的顶部固定安装有输送架，所述输送架的内部转动连接有输送带，所述输送架顶部的两侧之间栓接有支撑架，所述支撑架内部的顶端固定安装有X光机，所述X光机的输出端连接有线缆，所述线缆远离X光机的一端连接有一体机柜，云端服务器和云端数据库均与一体机柜连接，所述一体机柜包括主控电脑、神经网络模块、识别模块和无线模块。

优选的，主控电脑与神经网络模块双向电性连接，主控电脑与识别模块双向电性连接，主控电脑与无线模块双向电性连接。

优选的，所述支撑架呈U型结构，所述支撑架底部的两侧均栓接有安装板，所述安装板与输送架栓接。

优选的，所述支撑架右侧的孔洞卡接有密封套，所述线缆贯穿密封套的孔洞。

优选的，所述支撑架的前侧和后侧均栓接有挡板，所述挡板的底部位于支撑架的中端。

优选的，所述一体机柜的输入端通过线缆与X光机的输出端电性连接，所述一体机柜的连接端通过无线模块分别与云端服务器和云端数据库的连接端双向电性连接。

一种基于人工智能技术的鞋服断针检测方法，包括以下步骤：

步骤A：采集鞋服的X光图像数据，建立图像数据集；

步骤B：构建金属异物识别网络Super-FODNet；

步骤C：使用步骤A的数据集对Super-FODNet进行训练；

步骤D：对鞋服断针的X光图像进行检测识别，并改进模型。

一种基于人工智能技术的鞋服断针检测方法，具体包括以下步骤：

步骤1：鞋服图像数据集的准备：为了得到完备的鞋服图像数据集数据，收集鞋服的带异物金属和不带金属异物的x光图片多达几万张，并对数据做了预处理工作，使用大量人力对图像进行标注工作，对鞋服的种类，鞋子的鞋型、款式等图像进行详尽的筛分，整理出不同特征的图像进行剪裁，对神经网络进行修改以适应图像的变化和对异物金属检测正确率进行改进；

步骤2：构建金属异物识别网络Super-FODNet的结构：Super-FODNet是在FasterR-CNN的基础上提出的一种用于鞋服断针检测的网络，Super-FODNet算法的网络结构主要包括共享卷积神经网络、RPN、ROI Pooling、全连接网络、结果整合层；待检测图像首先通过深度神经网络来生成图像特征，这些特征既被候选的RPN使用，又被后续的检测过程使用，即实现了两个不同目的的特征共享，这也就是图中被称为共享神经网络的原因；Faster R-CNN提出了一种加速区域建议计算的方法，即建立RPN网络，RPN是Faster R-CNN中的核心部分，其输入数据是来自共享卷积网络的输出，维度是1*512*38*50，即一张图片，512个特征图（feature map），每个feature map的尺寸是38*50，用一个滑动窗口（3*3的卷积核）在一个卷积特征图上进行滑动，这个卷积特征图是由共享卷积网络得到，滑动操作可以获得一个512维的向量，将这个向量送入到两个平行的全连接层，即分类层（cls layer）和位置回归层（reg layer），用来得到分类信息和位置信息，每个滑动窗口的中心会对应k个锚点（anchor），每个anchor都会对应不同种的尺寸和长宽比，RPN使用3种尺寸{128*128，256*256，512*512}和3种长宽比{1：1， 1：2， 2：1}，所以每个滑动窗口就有3*3=9个anchor，相应的，在每个滑动窗口的位置同时预测9个区域建议，所以位置回归层有4*9个输出，代表9个区域建议框的位置坐标；分类层有2*9个输出，代表对每个建议框是否是目标的概率，待检测图像没有固定的尺寸要求，网络结构中的ROI Pooling层，用来将输入图像的尺寸转换为固定尺寸，以满足后续全连接网络层的要求；

步骤3：使用步骤A的数据集对Super-FODNet进行训练：训练时，采用交替训练的方法，训练RPN-->Super-FODNet-->RPN-->Super-FODNet，即先训练RPN，然后使用RPN产生的目标建议框去训练Super-FODNet，Super-FODNet网络被调整之后，再被用来初始化RPN，整个过程交替进行，允许两个网络间共享卷积层；

步骤4：对鞋服断针的X光图像进行检测识别，并改进模型：针对X光鞋服图像中的异物金属信息与鞋型金属饰品背景信息之间差异性较小的特点，以及断针大小长短不同的特殊性，对单一的分类检测模型与分割模型中的特征提取网络分别进行了改进，使用深度残差网络提取裂缝更深层次的特征，加强网络对于断针等异物金属特征的学习，以达到更佳的识别效果，在对样本数据进行训练的同时，需要对模型中的超参数进行调整优化，以适应X光图像数据的识别要求，提高金属异物的识别精度。

与现有技术相比，本发明专利的有益效果如下：

本发明专利采用基于深度学习的目标检测技术，在采集鞋服断针的X光图像数据的同时使用深度学习算法迅速有效地筛选出含有异物金属的鞋服，能够实现毫米级异物检测（人眼分辨困难），即使背景复杂，仍然有着可靠的精度，准确检出复杂的异物形态，并且可以应用于多种版型的检测对象，有效降低了异物检测机的使用成本，提高了对残留在鞋服鞋类中断针的检测效率。

附图说明

图1为本发明专利结构正视示意图；

图2为本发明专利一体机柜原理图；

图3为本发明专利结构系统原理图；

图4为本发明专利Super-FODNet算法的网络结构图；

图5为本发明专利RPN结构模型图。

图中：1、支撑座；2、输送架；3、输送带；4、支撑架；5、X光机；6、线缆；7、一体机柜；8、安装板；9、密封套；10、挡板。

具体实施方式

下面将结合本发明专利实施例中的附图，对本发明专利实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明专利一部分实施例，而不是全部的实施例。基于本发明专利中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明专利保护的范围。

请参阅图1-5，一种基于人工智能技术的鞋服断针检测装置，包括支撑座1、云端服务器和云端数据库，支撑座1的顶部固定安装有输送架2，输送架2的内部转动连接有输送带3，输送架2顶部的两侧之间栓接有支撑架4，支撑架4内部的顶端固定安装有X光机5，X光机5的输出端连接有线缆6，线缆6远离X光机5的一端连接有一体机柜7，云端服务器和云端数据库均与一体机柜7连接，一体机柜7包括主控电脑、神经网络模块、识别模块和无线模块，采用基于深度学习的目标检测技术，在采集鞋服断针的X光图像数据的同时使用深度学习算法迅速有效地筛选出含有异物金属的鞋服，能够实现毫米级异物检测（人眼分辨困难），即使背景复杂，仍然有着可靠的精度，准确检出复杂的异物形态，并且可以应用于多种版型的检测对象，有效降低了异物检测机的使用成本，提高了对残留在鞋服鞋类中断针的检测效率。

本实施例中，主控电脑与神经网络模块双向电性连接，主控电脑与识别模块双向电性连接，主控电脑与无线模块双向电性连接，可以有效进行检测。

本实施例中，支撑架4呈U型结构，支撑架4底部的两侧均栓接有安装板8，安装板8与输送架2栓接，安装板8可以用于支撑架4的安装固定。

本实施例中，支撑架4右侧的孔洞卡接有密封套9，线缆6贯穿密封套9的孔洞，密封套9可以进行密封。

本实施例中，支撑架4的前侧和后侧均栓接有挡板10，挡板10的底部位于支撑架4的中端，挡板10可以阻挡光线外泄。

本实施例中，一体机柜7的输入端通过线缆6与X光机5的输出端电性连接，一体机柜7的连接端通过无线模块分别与云端服务器和云端数据库的连接端双向电性连接，确保检测的效果。

一种基于人工智能技术的鞋服断针检测方法，包括以下步骤：

步骤A：采集鞋服的X光图像数据，建立图像数据集；

步骤B：构建金属异物识别网络Super-FODNet；

步骤C：使用步骤A的数据集对Super-FODNet进行训练；

步骤D：对鞋服断针的X光图像进行检测识别，并改进模型。

具体包括以下步骤：

步骤1：鞋服图像数据集的准备：为了得到完备的鞋服图像数据集数据，收集鞋服的带异物金属和不带金属异物的x光图片多达几万张，并对数据做了预处理工作，使用大量人力对图像进行标注工作，对鞋服的种类，鞋子的鞋型、款式等图像进行详尽的筛分，整理出不同特征的图像进行剪裁，对神经网络进行修改以适应图像的变化和对异物金属检测正确率进行改进；

步骤2：构建金属异物识别网络Super-FODNet的结构：Super-FODNet是在FasterR-CNN的基础上提出的一种用于鞋服断针检测的网络，Super-FODNet算法的网络结构主要包括共享卷积神经网络、RPN、ROI Pooling、全连接网络、结果整合层；待检测图像首先通过深度神经网络来生成图像特征，这些特征既被候选的RPN使用，又被后续的检测过程使用，即实现了两个不同目的的特征共享，这也就是图中被称为共享神经网络的原因；Faster R-CNN提出了一种加速区域建议计算的方法，即建立RPN网络，RPN是Faster R-CNN中的核心部分，其输入数据是来自共享卷积网络的输出，维度是1*512*38*50，即一张图片，512个特征图（feature map），每个feature map的尺寸是38*50，用一个滑动窗口（3*3的卷积核）在一个卷积特征图上进行滑动，这个卷积特征图是由共享卷积网络得到，滑动操作可以获得一个512维的向量，将这个向量送入到两个平行的全连接层，即分类层（cls layer）和位置回归层（reg layer），用来得到分类信息和位置信息，每个滑动窗口的中心会对应k个锚点（anchor），每个anchor都会对应不同种的尺寸和长宽比，RPN使用3种尺寸{128*128，256*256，512*512}和3种长宽比{1：1， 1：2， 2：1}，所以每个滑动窗口就有3*3=9个anchor，相应的，在每个滑动窗口的位置同时预测9个区域建议，所以位置回归层有4*9个输出，代表9个区域建议框的位置坐标；分类层有2*9个输出，代表对每个建议框是否是目标的概率，待检测图像没有固定的尺寸要求，网络结构中的ROI Pooling层，用来将输入图像的尺寸转换为固定尺寸，以满足后续全连接网络层的要求；

步骤3：使用步骤A的数据集对Super-FODNet进行训练：训练时，采用交替训练的方法，训练RPN-->Super-FODNet-->RPN-->Super-FODNet，即先训练RPN，然后使用RPN产生的目标建议框去训练Super-FODNet，Super-FODNet网络被调整之后，再被用来初始化RPN，整个过程交替进行，允许两个网络间共享卷积层；

步骤4：对鞋服断针的X光图像进行检测识别，并改进模型：针对X光鞋服图像中的异物金属信息与鞋型金属饰品背景信息之间差异性较小的特点，以及断针大小长短不同的特殊性，对单一的分类检测模型与分割模型中的特征提取网络分别进行了改进，使用深度残差网络提取裂缝更深层次的特征，加强网络对于断针等异物金属特征的学习，以达到更佳的识别效果，在对样本数据进行训练的同时，需要对模型中的超参数进行调整优化，以适应X光图像数据的识别要求，提高金属异物的识别精度。

尽管已经示出和描述了本发明专利的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明专利的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明专利的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于人工智能技术的鞋服断针检测装置，包括支撑座（1）、云端服务器和云端数据库，其特征在于：所述支撑座（1）的顶部固定安装有输送架（2），所述输送架（2）的内部转动连接有输送带（3），所述输送架（2）顶部的两侧之间栓接有支撑架（4），所述支撑架（4）内部的顶端固定安装有X光机（5），所述X光机（5）的输出端连接有线缆（6），所述线缆（6）远离X光机（5）的一端连接有一体机柜（7），云端服务器和云端数据库均与一体机柜（7）连接，所述一体机柜（7）包括主控电脑、神经网络模块、识别模块和无线模块。

2.根据权利要求1所述的一种基于人工智能技术的鞋服断针检测装置，其特征在于：主控电脑与神经网络模块双向电性连接，主控电脑与识别模块双向电性连接，主控电脑与无线模块双向电性连接。

3.根据权利要求1所述的一种基于人工智能技术的鞋服断针检测装置，其特征在于：所述支撑架（4）呈U型结构，所述支撑架（4）底部的两侧均栓接有安装板（8），所述安装板（8）与输送架（2）栓接。

4.根据权利要求1所述的一种基于人工智能技术的鞋服断针检测装置，其特征在于：所述支撑架（4）右侧的孔洞卡接有密封套（9），所述线缆（6）贯穿密封套（9）的孔洞。

5.根据权利要求1所述的一种基于人工智能技术的鞋服断针检测装置，其特征在于：所述支撑架（4）的前侧和后侧均栓接有挡板（10），所述挡板（10）的底部位于支撑架（4）的中端。

6.根据权利要求1所述的一种基于人工智能技术的鞋服断针检测装置，其特征在于：所述一体机柜（7）的输入端通过线缆（6）与X光机（5）的输出端电性连接，所述一体机柜（7）的连接端通过无线模块分别与云端服务器和云端数据库的连接端双向电性连接。

7.一种基于人工智能技术的鞋服断针检测方法，其特征在于：包括以下步骤：

步骤A：采集鞋服的X光图像数据，建立图像数据集；

步骤B：构建金属异物识别网络Super-FODNet；

步骤C：使用步骤A的数据集对Super-FODNet进行训练；

步骤D：对鞋服断针的X光图像进行检测识别，并改进模型。

8.根据权利要求7所述的一种基于人工智能技术的鞋服断针检测方法，其特征在于：具体包括以下步骤：

步骤1：鞋服图像数据集的准备：为了得到完备的鞋服图像数据集数据，收集鞋服的带异物金属和不带金属异物的x光图片多达几万张，并对数据做了预处理工作，使用大量人力对图像进行标注工作，对鞋服的种类，鞋子的鞋型、款式等图像进行详尽的筛分，整理出不同特征的图像进行剪裁，对神经网络进行修改以适应图像的变化和对异物金属检测正确率进行改进；

步骤2：构建金属异物识别网络Super-FODNet的结构：Super-FODNet是在Faster R-CNN的基础上提出的一种用于鞋服断针检测的网络，Super-FODNet算法的网络结构主要包括共享卷积神经网络、RPN、ROI Pooling、全连接网络、结果整合层；待检测图像首先通过深度神经网络来生成图像特征，这些特征既被候选的RPN使用，又被后续的检测过程使用，即实现了两个不同目的的特征共享，这也就是图中被称为共享神经网络的原因；Faster R-CNN提出了一种加速区域建议计算的方法，即建立RPN网络，RPN是Faster R-CNN中的核心部分，其输入数据是来自共享卷积网络的输出，维度是1*512*38*50，即一张图片，512个特征图（feature map），每个feature map的尺寸是38*50，用一个滑动窗口（3*3的卷积核）在一个卷积特征图上进行滑动，这个卷积特征图是由共享卷积网络得到，滑动操作可以获得一个512维的向量，将这个向量送入到两个平行的全连接层，即分类层（cls layer）和位置回归层（reg layer），用来得到分类信息和位置信息，每个滑动窗口的中心会对应k个锚点（anchor），每个anchor都会对应不同种的尺寸和长宽比，RPN使用3种尺寸{128*128，256*256，512*512}和3种长宽比{1：1， 1：2， 2：1}，所以每个滑动窗口就有3*3=9个anchor，相应的，在每个滑动窗口的位置同时预测9个区域建议，所以位置回归层有4*9个输出，代表9个区域建议框的位置坐标；分类层有2*9个输出，代表对每个建议框是否是目标的概率，待检测图像没有固定的尺寸要求，网络结构中的ROI Pooling层，用来将输入图像的尺寸转换为固定尺寸，以满足后续全连接网络层的要求；

步骤3：使用步骤A的数据集对Super-FODNet进行训练：训练时，采用交替训练的方法，训练RPN-->Super-FODNet-->RPN-->Super-FODNet，即先训练RPN，然后使用RPN产生的目标建议框去训练Super-FODNet，Super-FODNet网络被调整之后，再被用来初始化RPN，整个过程交替进行，允许两个网络间共享卷积层；

步骤4：对鞋服断针的X光图像进行检测识别，并改进模型：针对X光鞋服图像中的异物金属信息与鞋型金属饰品背景信息之间差异性较小的特点，以及断针大小长短不同的特殊性，对单一的分类检测模型与分割模型中的特征提取网络分别进行了改进，使用深度残差网络提取裂缝更深层次的特征，加强网络对于断针等异物金属特征的学习，以达到更佳的识别效果，在对样本数据进行训练的同时，需要对模型中的超参数进行调整优化，以适应X光图像数据的识别要求，提高金属异物的识别精度。

Images