CN112730437A - 基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法、装置、存储介质及设备 - Google Patents

基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法、装置、存储介质及设备 Download PDF

Info

Publication number
CN112730437A
CN112730437A CN202011579632.XA CN202011579632A CN112730437A CN 112730437 A CN112730437 A CN 112730437A CN 202011579632 A CN202011579632 A CN 202011579632A CN 112730437 A CN112730437 A CN 112730437A
Authority
CN
China
Prior art keywords
surface defect
spinneret plate
spinneret
neural network
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011579632.XA
Other languages
English (en)
Other versions
CN112730437B (zh
Inventor
张君扬
沈波
李鑫
赵伟荣
张强
王颖
李秀宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Textile Academy Tianjin Technology Development Co ltd
China Textile Academy
Original Assignee
China Textile Academy Tianjin Technology Development Co ltd
China Textile Academy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Textile Academy Tianjin Technology Development Co ltd, China Textile Academy filed Critical China Textile Academy Tianjin Technology Development Co ltd
Priority to CN202011579632.XA priority Critical patent/CN112730437B/zh
Publication of CN112730437A publication Critical patent/CN112730437A/zh
Application granted granted Critical
Publication of CN112730437B publication Critical patent/CN112730437B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Abstract

本发明提供了一种基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法、装置、存储介质及设备，属于图像识别技术领域。该检测方法包括以下步骤：获取待检测喷丝板表面图像；待检测喷丝板表面图像经过基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置的运算后，得到待检测喷丝板表面缺陷特征。该检测装置包括：图像获取装置，用于获取待检测喷丝板表面图像；喷丝板表面缺陷检测装置，用于针对待检测喷丝板表面图像进行基于深度可分离卷积神经网络运算后，得到待检测喷丝板表面缺陷特征。该存储介质和设备能够实现该检测方法的步骤。

Description

基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法、 装置、存储介质及设备
技术领域
本发明涉及图像识别技术领域，特别是涉及一种基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法、装置、存储介质及设备。
背景技术
我国是化纤生产大国，规模占全球70％以上，能够生产几乎所有的化纤品种，随着化纤行业竞争日趋激烈，生产高品质的纤维成为各大化纤企业关注的焦点，对生产过程中的各个环节进行严格的质量监控也成为必然要求。喷丝板是化纤纺丝生产过程中的关键部件，喷丝孔的缺蚀、堵塞及周围结焦物将直接影响纺丝过程的流畅度，进而影响纺丝的质量，因此需要检测喷丝板表面的缺陷情况以便及时进行处理。目前市面上虽然存在有关喷丝板的检测装置，该装置通过高倍显微镜放大图像后进行检测，但仍需要依靠熟练的操作工参与，人为进行缺陷判断。这种人工检测的方法成本高、耗时费力、受人的主观因素影响较大，容易造成漏检。
发明内容
有鉴于此，本发明提供了一种基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法、装置、存储介质及设备，其能够准确检测出喷丝板表面的缺陷情况，从而代替人工检测，实现喷丝板表面缺陷的智能化检测，从而更加适于实用。
为了达到上述第一个目的，本发明提供的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法的技术方案如下：
本发明提供的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法包括以下步骤：
获取待检测喷丝板表面图像；
所述待检测喷丝板表面图像经过基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置的运算后，得到所述待检测喷丝板表面缺陷特征；
其中，基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置的构建方法包括以下步骤：
获取已知表面缺陷特征的喷丝板表面图像库；
针对所述已知表面缺陷特征的喷丝板表面图像库中的图像，分别进行特征融合，得到融合后的多级特征金字塔；
根据所述融合后的多级特征金字塔，在MXNet上，以MobileNet作为基础特征提取器，进行深度可分离卷积，并结合所述已知的表面缺陷特征，进行基于计算机视觉的学习和训练，得到基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置，其中，所述基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置能够反应所述多级特征金字塔与所述已知的喷丝板表面缺陷之间的关联关系。
本发明提供的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法还可采用以下技术措施进一步实现。
作为优选，所述表面缺陷特征包括选定缺陷框的大小、位置坐标和缺陷类别。
作为优选，所述待检测喷丝板表面图像、已知表面缺陷特征的喷丝板表面图像库中的图像获取方式相同。
作为优选，所述待检测喷丝板表面图像经过基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置的运算后，得到所述待检测喷丝板表面缺陷特征的步骤具体包括以下步骤：
针对所述待检测喷丝板表面图像进行特征融合，得到融合后的多级金字塔；
根据所述融合后的多级特征金字塔，在MXNet上，以MobileNet作为基础特征提取器，进行深度可分离卷积；
查询与所述深度可分离卷积结果对应的缺陷特征数据；
以与所述深度可分离卷积结果对应的缺陷特征数据对应程度最高的缺陷特征，作为所述待检测喷丝板表面缺陷特征。
作为优选，所述针对所述已知表面缺陷特征的喷丝板表面图像库中的图像，分别进行特征融合，得到融合后的多级特征金字塔的步骤具体包括以下步骤：
以所述喷丝板表面图像作为底层特征层；
针对底层特征层进行第1次上采样，得到多个第1次上采样的特征层；
针对所述第1次上采样的特征层进行第2次上采样，得到多个第2次上采样的特征层；
针对所述第2次上采样的特征层进行第3次上采样，得到多个第3次上采样的特征层；
重复上述步骤；
直至针对第n-1次上采样的特征层进行第n次上采样，得到多个第n次上采样的特征层；
将每次上采样所得的面积大小相同的特征层进行融合，得到对应层级；
以所述对应层级的面积由小到大叠加，得到所述融合后的多级特征金字塔。
作为优选，根据所述融合后的多级特征金字塔，以MobileNet作为基础特征提取器，进行深度可分离卷积，并结合所述已知的表面缺陷特征，进行基于计算机视觉的学习和训练，得到基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置的步骤中，还包括对所述基于计算机视觉的学习和训练网络模型进行超参数调优的步骤。
作为优选，对所述基于计算机视觉的学习和训练网络模型进行超参数调优的步骤使用Leaky Relu和小批量梯度下降算法分别作为激活函数和优化策略实现。
作为优选，所述对所述基于计算机视觉的学习和训练网络模型进行超参数调优的步骤使用Leaky Relu和小批量梯度下降算法分别作为激活函数和优化策略实现过程中的具体参数包括：
模型迭代次数为60000次，初始学习率为0.01，在迭代次数达到5000次时学习率更新为0.001，之后每迭代10000次学习率变为上一轮学习率的0.75倍，批样本数量为16，动量参数为0.9，权重衰减系数为0.0005，IOU阈值为0.8。
作为优选，所述喷丝板表面图像是应用显微镜以及与所述显微镜配合使用的光源获取的。
作为优选，所述已知表面缺陷特征的喷丝板表面图像库中的图像中涉及的喷丝板表面缺陷是采用LabelImg软件进行人工标注得到的。
为了达到上述第二个目的，本发明提供的基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置的技术方案如下：
本发明提供的基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置，其特征在于，包括：
图像获取装置，用于获取待检测喷丝板表面图像；
喷丝板表面缺陷检测装置，用于针对所述待检测喷丝板表面图像进行基于深度可分离卷积神经网络运算后，得到所述待检测喷丝板表面缺陷特征；
其中，基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置的构建方法包括以下步骤：
获取已知表面缺陷特征的喷丝板表面图像库；
针对所述已知表面缺陷特征的喷丝板表面图像库中的图像，分别进行特征融合，得到融合后的多级特征金字塔；
根据所述融合后的多级特征金字塔，在MXNet上，以MobileNet作为基础特征提取器，进行深度可分离卷积，并结合所述已知的表面缺陷特征，进行基于计算机视觉的学习和训练，得到基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置，其中，所述基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置能够反应所述多级特征金字塔与所述已知的喷丝板表面缺陷之间的关联关系。
为了达到上述第三个目的，本发明提供的存储介质的技术方案如下：
本发明提供的存储介质上存储有基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法的控制程序，所述基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法的控制程序在被处理器执行时，实现本发明提供的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法的步骤。
为了达到上述第四个目的，本发明提供的设备的技术方案如下：
本发明提供的设备包括：
图像获取装置，用于获取待检测喷丝板表面图像；
处理器；
存储器，所述存储器上存储有基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法的控制程序，所述基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法的控制程序在被所述处理器执行时，实现本发明提供的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法的步骤。
本发明的有益效果是：
(1)本发明提供的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法，对在化纤工厂现场采集的喷丝板表面缺陷图像进行数据清洗，得到充足且均衡的样本数据，有效地避免了模型训练过程中可能出现的过拟合问题。
(2)本发明提供的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法，构建基于深度卷积神经网络的喷丝板表面缺陷检测网络模型，增强了对特征的提取和表达能力，能够准确地检测出缺陷类型，同时网络模型轻量化，提高了检测速度。
(3)本发明提供的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法，将优化的网络模型嵌入到检测软件中，并与检测硬件相结合，构成一个完整的检测平台，能够应用于化纤生产现场，准确检测出喷丝板表面的缺陷情况，满足工厂对喷丝板表面缺陷检测的要求。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本发明实施例提供的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法的步骤流程图；
图2为本发明实施例硬件运行环境的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法的运行设备结构示意图；
图3为本发明实施例提供的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法所用数据集的原始图像；
图4为本发明实施例提供的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法所用数据集的人工标注图像；
图5为本发明实施例提供的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法所提出的特征融合模型；
图6为本发明实施例提供的基于深度卷积神经网络的喷丝板表面缺陷检测方法中的人机交互界面及部分检测结果图。
具体实施方式
有鉴于此，本发明提供了一种通信方法及通信终端，其通过对呼入号码和呼出号码进行比对，能够使得当呼入号码和呼出号码相同时，有条件或者无条件接通，从而更加适于实用。
为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的一种通信方法及通信终端，其具体实施方式、结构、特征及其功效，详细说明如后。在下述说明中，不同的“一实施例”或“实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，具体的理解为：可以同时包含有A与B，可以单独存在A，也可以单独存在B，能够具备上述三种任一种情况。
基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法实施例
参见附图1，本发明实施例提供的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法包括以下步骤：
获取待检测喷丝板表面图像。具体而言，本实施例中，利用高倍显微镜以及配套的光源，在工业现场采集质量清晰的喷丝板表面图像，图像大小为512×512像素，原始图像如图3所示；对预处理后的图像使用LabelImg软件人工标注喷丝板表面的缺陷区域，生成xml文件，文件中包含矩形框的大小、坐标位置以及缺陷类别等信息，标注框的比例约为1:1，标注的喷丝孔缺陷图像如图4所示。
待检测喷丝板表面图像经过基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置的运算后，得到待检测喷丝板表面缺陷特征；
其中，基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置的构建方法包括以下步骤：
获取已知表面缺陷特征的喷丝板表面图像库；
针对已知表面缺陷特征的喷丝板表面图像库中的图像，分别进行特征融合，得到融合后的多级特征金字塔；
根据融合后的多级特征金字塔，在MXNet上，以MobileNet作为基础特征提取器，进行深度可分离卷积，并结合已知的表面缺陷特征，进行基于计算机视觉的学习和训练，得到基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置，其中，基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置能够反应多级特征金字塔与已知的喷丝板表面缺陷之间的关联关系。具体而言，本实施例中，在MXNet上构建改进的SSD喷丝板表面缺陷检测模型，在网络模型中，前端网络采用轻量级框架MobileNet取代VGGNet作为基础特征提取器，MobileNet中的深度可分离卷积，相比传统的CNN卷积，可以减少数据计算量，提高检测速度；深度可分离卷积的数据计算量O1如式(1)所示，传统CNN卷积的数据计算量O2如式(2)所示，二者数据计算量之比如式(3)所示。
O1＝K*D*W*H+F*F*D*W*H (1)
O2＝K*F*F*D*W*H (2)
Figure BDA0002864067470000091
式中，K为当前层卷积核的个数，D为图像通道数，W和H分别为输入图像的宽和高，F为卷积核大小。若卷积核的大小F＝5，利用深度可分离卷积的计算量约为传统CNN卷积的计算量的1/25。
本发明实施例提供的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法的有益效果是：
(1)本发明提供的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法，对在化纤工厂现场采集的喷丝板表面缺陷图像进行数据清洗，得到充足且均衡的样本数据，有效地避免了模型训练过程中可能出现的过拟合问题。
(2)本发明提供的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法，构建基于深度卷积神经网络的喷丝板表面缺陷检测网络模型，增强了对特征的提取和表达能力，能够准确地检测出缺陷类型，同时网络模型轻量化，提高了检测速度。
(3)本发明提供的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法，将优化的网络模型嵌入到检测软件中，并与检测硬件相结合，构成一个完整的检测平台，能够应用于化纤生产现场，准确检测出喷丝板表面的缺陷情况，满足工厂对喷丝板表面缺陷检测的要求。
其中，表面缺陷特征包括选定缺陷框的大小、位置坐标和缺陷类别。
其中，待检测喷丝板表面图像、已知表面缺陷特征的喷丝板表面图像库中的图像获取方式相同。
其中，待检测喷丝板表面图像经过基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置的运算后，得到待检测喷丝板表面缺陷特征的步骤具体包括以下步骤：
针对待检测喷丝板表面图像进行特征融合，得到融合后的多级金字塔；
根据融合后的多级特征金字塔，在MXNet上，以MobileNet作为基础特征提取器，进行深度可分离卷积；
查询与深度可分离卷积结果对应的缺陷特征数据；
以与深度可分离卷积结果对应的缺陷特征数据对应程度最高的缺陷特征，作为待检测喷丝板表面缺陷特征。
其中，针对已知表面缺陷特征的喷丝板表面图像库中的图像，分别进行特征融合，得到融合后的多级特征金字塔的步骤具体包括以下步骤：
以喷丝板表面图像作为底层特征层；
针对底层特征层进行第1次上采样，得到多个第1次上采样的特征层；
针对第1次上采样的特征层进行第2次上采样，得到多个第2次上采样的特征层；
针对第2次上采样的特征层进行第3次上采样，得到多个第3次上采样的特征层；
重复上述步骤；
直至针对第n-1次上采样的特征层进行第n次上采样，得到多个第n次上采样的特征层；
将每次上采样所得的面积大小相同的特征层进行融合，得到对应层级；
以对应层级的面积由小到大叠加，得到融合后的多级特征金字塔。
参见附图5，本实施例中，共执行3次上采样，其中，底层特征层1进行第1次上采样后，得到2个第1次上采样的特征层5和2；针对第1次上采样的特征层进行第2次上采样，得到2个第2次上采样的特征层6和3；针对第2次上菜样的特征层进行第3次上采样，得到2个第3次上采样的特征层7和4。将特征层5与2融合，得到第1融合层8；将特征层6与3融合，得到第2融合层9；将特征层7与4融合，得到第3融合层10。然后，按照自上至下的顺序以面积由小到大依次叠加底层特征层1、第1融合层8、第2融合层9和第3融合层10，得到融合后的特征金字塔。
其中，根据融合后的多级特征金字塔，以MobileNet作为基础特征提取器，进行深度可分离卷积，并结合已知的表面缺陷特征，进行基于计算机视觉的学习和训练，得到基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置的步骤中，还包括对基于计算机视觉的学习和训练网络模型进行超参数调优的步骤。
其中，对基于计算机视觉的学习和训练网络模型进行超参数调优的步骤使用Leaky Relu和小批量梯度下降算法分别作为激活函数和优化策略实现。
其中，对基于计算机视觉的学习和训练网络模型进行超参数调优的步骤使用Leaky Relu和小批量梯度下降算法分别作为激活函数和优化策略实现过程中的具体参数包括：
模型迭代次数为60000次，初始学习率为0.01，在迭代次数达到5000次时学习率更新为0.001，之后每迭代10000次学习率变为上一轮学习率的0.75倍，批样本数量为16，动量参数为0.9，权重衰减系数为0.0005，IOU阈值为0.8。
其中，喷丝板表面图像是应用显微镜以及与显微镜配合使用的光源获取的。
其中，已知表面缺陷特征的喷丝板表面图像库中的图像中涉及的喷丝板表面缺陷是采用LabelImg软件进行人工标注得到的。
本发明提供的基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置，其特征在于，包括：
图像获取装置，用于获取待检测喷丝板表面图像；
喷丝板表面缺陷检测装置，用于针对待检测喷丝板表面图像进行基于深度可分离卷积神经网络运算后，得到待检测喷丝板表面缺陷特征；
其中，基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置的构建方法包括以下步骤：
获取已知表面缺陷特征的喷丝板表面图像库；
针对已知表面缺陷特征的喷丝板表面图像库中的图像，分别进行特征融合，得到融合后的多级特征金字塔；
根据融合后的多级特征金字塔，在MXNet上，以MobileNet作为基础特征提取器，进行深度可分离卷积，并结合已知的表面缺陷特征，进行基于计算机视觉的学习和训练，得到基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置，其中，基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置能够反应多级特征金字塔与已知的喷丝板表面缺陷之间的关联关系。
本发明提供的存储介质上存储有基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法的控制程序，基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法的控制程序在被处理器执行时，实现本发明提供的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法的步骤。
本发明提供的设备包括：
图像获取装置，用于获取待检测喷丝板表面图像；
处理器；
存储器，存储器上存储有基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法的控制程序，基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法的控制程序在被处理器执行时，实现本发明提供的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法的步骤。本实施例中，将本发明实施例提供的基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置嵌入到检测软件中，并与检测硬件相结合，连接图像采集模块、运动控制模块和工业计算机，构成一个完整的基于深度可分离卷积神经网络的喷丝板表面缺陷检测设备。输入待检测的喷丝板表面图像，该基于深度可分离卷积神经网络的喷丝板表面缺陷检测设备能够实时检测喷丝板表面的缺陷情况，输出检测结果。设计的人机交互界面及检测结果如图6所示，点击同步检测和报表统计按钮，检测数据和统计结果将实时显示在软件界面上。
其中，参照图2，图2为本发明实施例方案涉及的硬件运行环境的基于深度可分离卷积神经网络的喷丝板表面缺陷的检测设备结构示意图。
如图2所示，该基于深度可分离卷积神经网络的喷丝板表面缺陷的检测设备可以包括：处理器1001，例如中央处理器Central Processing Unit，CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏Display、输入单元比如键盘Keyboard，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口如无线保真WIreless-FIdelity，WI-FI接口。存储器1005可以是高速的随机存取存储器Random Access Memory，RAM存储器，也可以是稳定的非易失性存储器Non-Volatile Memory，NVM，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图2中示出的结构并不构成对基于深度可分离卷积神经网络的喷丝板表面缺陷的检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图2所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法的控制程序。
在图2所示的基于深度可分离卷积神经网络的喷丝板表面缺陷的检测设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明基于深度可分离卷积神经网络的喷丝板表面缺陷的检测设备中的处理器1001、存储器1005可以设置在基于深度可分离卷积神经网络的喷丝板表面缺陷的检测设备中，基于深度可分离卷积神经网络的喷丝板表面缺陷的检测设备通过处理器1001调用存储器1005中存储的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法的控制程序，并执行本发明实施例提供的基于深度可分离卷积神经网络的喷丝板表面缺陷的检测方法。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法，其特征在于，包括以下步骤：
获取待检测喷丝板表面图像；
所述待检测喷丝板表面图像经过基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置的运算后，得到所述待检测喷丝板表面缺陷特征；
其中，基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置的构建方法包括以下步骤：
获取已知表面缺陷特征的喷丝板表面图像库；
针对所述已知表面缺陷特征的喷丝板表面图像库中的图像，分别进行特征融合，得到融合后的多级特征金字塔；
根据所述融合后的多级特征金字塔，在MXNet上，以MobileNet作为基础特征提取器，进行深度可分离卷积，并结合所述已知的表面缺陷特征，进行基于计算机视觉的学习和训练，得到基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置，其中，所述基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置能够反应所述多级特征金字塔与所述已知的喷丝板表面缺陷之间的关联关系。
2.根据权利要求1所述的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法，其特征在于，
所述表面缺陷特征包括选定缺陷框的大小、位置坐标和缺陷类别。
3.根据权利要求1所述的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法，其特征在于，
所述待检测喷丝板表面图像、已知表面缺陷特征的喷丝板表面图像库中的图像获取方式相同。
4.根据权利要求1所述的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法，其特征在于，所述待检测喷丝板表面图像经过基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置的运算后，得到所述待检测喷丝板表面缺陷特征的步骤具体包括以下步骤：
针对所述待检测喷丝板表面图像进行特征融合，得到融合后的多级金字塔；
根据所述融合后的多级特征金字塔，在MXNet上，以MobileNet作为基础特征提取器，进行深度可分离卷积；
查询与所述深度可分离卷积结果对应的缺陷特征数据；
以与所述深度可分离卷积结果对应的缺陷特征数据对应程度最高的缺陷特征，作为所述待检测喷丝板表面缺陷特征。
5.根据权利要求1或4所述的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法，其特征在于，所述针对所述已知表面缺陷特征的喷丝板表面图像库中的图像，分别进行特征融合，得到融合后的多级特征金字塔的步骤具体包括以下步骤：
以所述喷丝板表面图像作为底层特征层；
针对底层特征层进行第1次上采样，得到多个第1次上采样的特征层；
针对所述第1次上采样的特征层进行第2次上采样，得到多个第2次上采样的特征层；
针对所述第2次上采样的特征层进行第3次上采样，得到多个第3次上采样的特征层；
重复上述步骤；
直至针对第n-1次上采样的特征层进行第n次上采样，得到多个第n次上采样的特征层；
将每次上采样所得的面积大小相同的特征层进行融合，得到对应层级；
以所述对应层级的面积由小到大叠加，得到所述融合后的多级特征金字塔。
6.根据权利要求1所述的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法，其特征在于，根据所述融合后的多级特征金字塔，以MobileNet作为基础特征提取器，进行深度可分离卷积，并结合所述已知的表面缺陷特征，进行基于计算机视觉的学习和训练，得到基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置的步骤中，还包括对所述基于计算机视觉的学习和训练网络模型进行超参数调优的步骤。
7.根据权利要求6所述的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法，其特征在于，对所述基于计算机视觉的学习和训练网络模型进行超参数调优的步骤使用Leaky Relu和小批量梯度下降算法分别作为激活函数和优化策略实现；
作为优选，所述对所述基于计算机视觉的学习和训练网络模型进行超参数调优的步骤使用Leaky Relu和小批量梯度下降算法分别作为激活函数和优化策略实现过程中的具体参数包括：
模型迭代次数为60000次，初始学习率为0.01，在迭代次数达到5000次时学习率更新为0.001，之后每迭代10000次学习率变为上一轮学习率的0.75倍，批样本数量为16，动量参数为0.9，权重衰减系数为0.0005，IOU阈值为0.8；
作为优选，所述喷丝板表面图像是应用显微镜以及与所述显微镜配合使用的光源获取的；
作为优选，所述已知表面缺陷特征的喷丝板表面图像库中的图像中涉及的喷丝板表面缺陷是采用LabelImg软件进行人工标注得到的。
8.一种基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置，其特征在于，包括：
图像获取装置，用于获取待检测喷丝板表面图像；
喷丝板表面缺陷检测装置，用于针对所述待检测喷丝板表面图像进行基于深度可分离卷积神经网络运算后，得到所述待检测喷丝板表面缺陷特征；
其中，基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置的构建方法包括以下步骤：
获取已知表面缺陷特征的喷丝板表面图像库；
针对所述已知表面缺陷特征的喷丝板表面图像库中的图像，分别进行特征融合，得到融合后的多级特征金字塔；
根据所述融合后的多级特征金字塔，在MXNet上，以MobileNet作为基础特征提取器，进行深度可分离卷积，并结合所述已知的表面缺陷特征，进行基于计算机视觉的学习和训练，得到基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置，其中，所述基于深度可分离卷积神经网络的喷丝板表面缺陷检测装置能够反应所述多级特征金字塔与所述已知的喷丝板表面缺陷之间的关联关系。
9.一种存储介质，其特征在于，所述存储介质上存储有基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法的控制程序，所述基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法的控制程序在被处理器执行时，实现权利要求1-7中任一所述的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法的步骤。
10.一种设备，其特征在于，包括：
图像获取装置，用于获取待检测喷丝板表面图像；
处理器；
存储器，所述存储器上存储有基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法的控制程序，所述基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法的控制程序在被所述处理器执行时，实现权利要求1-7中任一所述的基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法的步骤。
CN202011579632.XA 2020-12-28 2020-12-28 基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法、装置、存储介质及设备 Active CN112730437B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011579632.XA CN112730437B (zh) 2020-12-28 2020-12-28 基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法、装置、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011579632.XA CN112730437B (zh) 2020-12-28 2020-12-28 基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法、装置、存储介质及设备

Publications (2)

Publication Number Publication Date
CN112730437A true CN112730437A (zh) 2021-04-30
CN112730437B CN112730437B (zh) 2023-01-10

Family

ID=75607282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011579632.XA Active CN112730437B (zh) 2020-12-28 2020-12-28 基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法、装置、存储介质及设备

Country Status (1)

Country Link
CN (1) CN112730437B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274965A (zh) * 2023-11-21 2023-12-22 浙江恒逸石化有限公司 图像识别模型的训练方法、喷丝板检测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102141374A (zh) * 2010-12-23 2011-08-03 苏州天准精密技术有限公司 一种影像式喷丝板自动检测仪
US20190197679A1 (en) * 2017-12-25 2019-06-27 Utechzone Co., Ltd. Automated optical inspection method using deep learning and apparatus, computer program for performing the method, computer-readable storage medium storing the computer program,and deep learning system thereof
CN110412049A (zh) * 2019-09-05 2019-11-05 河南奇测电子科技有限公司 一种基于机器视觉的化纤喷丝头孔孔状精密检测装置
CN111402203A (zh) * 2020-02-24 2020-07-10 杭州电子科技大学 一种基于卷积神经网络的织物表面缺陷检测方法
CN111879972A (zh) * 2020-08-19 2020-11-03 青岛理工大学 基于ssd网络模型的工件表面缺陷检测方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102141374A (zh) * 2010-12-23 2011-08-03 苏州天准精密技术有限公司 一种影像式喷丝板自动检测仪
US20190197679A1 (en) * 2017-12-25 2019-06-27 Utechzone Co., Ltd. Automated optical inspection method using deep learning and apparatus, computer program for performing the method, computer-readable storage medium storing the computer program,and deep learning system thereof
CN110412049A (zh) * 2019-09-05 2019-11-05 河南奇测电子科技有限公司 一种基于机器视觉的化纤喷丝头孔孔状精密检测装置
CN111402203A (zh) * 2020-02-24 2020-07-10 杭州电子科技大学 一种基于卷积神经网络的织物表面缺陷检测方法
CN111879972A (zh) * 2020-08-19 2020-11-03 青岛理工大学 基于ssd网络模型的工件表面缺陷检测方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YITING LI ET AL.: "Research on a Surface Defect Detection Algorithm Based on MobileNet-SSD", 《APPL. SCI.》 *
张君扬等: "应用激光三角测量法的化纤丝饼毛羽检测", 《西安工程大学学报》 *
李兰等: "基于改进SSD模型的工件表面缺陷识别算法", 《计算机工程与科学》 *
牛群遥等: "基于多聚焦图像融合的小孔内表面缺陷检测", 《计算机应用》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274965A (zh) * 2023-11-21 2023-12-22 浙江恒逸石化有限公司 图像识别模型的训练方法、喷丝板检测方法及装置
CN117274965B (zh) * 2023-11-21 2024-03-05 浙江恒逸石化有限公司 图像识别模型的训练方法、喷丝板检测方法及装置

Also Published As

Publication number Publication date
CN112730437B (zh) 2023-01-10

Similar Documents

Publication Publication Date Title
CN111553929B (zh) 基于融合网络的手机屏幕缺陷分割方法、装置及设备
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN110009622B (zh) 一种显示面板外观缺陷检测网络及其缺陷检测方法
CN111738344A (zh) 一种基于多尺度融合的快速目标检测方法
CN111369555A (zh) 一种基于深度学习的视频质量诊断方法
JP2022520511A (ja) ビデオ分析方法及びそれに関連するモデル訓練方法、機器、装置
CN116402769A (zh) 一种兼顾大小目标的高精度纺织品瑕疵智能检测方法
CN113780423A (zh) 一种基于多尺度融合的单阶段目标检测神经网络及工业品表面缺陷检测模型
CN116385430A (zh) 一种机器视觉瑕疵检测方法、装置、介质及设备
CN112730437B (zh) 基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法、装置、存储介质及设备
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
CN114677377A (zh) 显示屏缺陷检测方法、训练方法、装置、设备及介质
CN113439227A (zh) 放大图像的捕获和存储
CN108428234B (zh) 基于图像分割结果评价的交互式分割性能优化方法
CN114037684A (zh) 一种基于yolov5和注意力机制模型的疵点检测方法
CN116152722B (zh) 基于残差注意力块和自选择学习结合的视频异常检测方法
CN117237279A (zh) 一种非均匀失真全景图像盲质量评价方法及系统
CN116740460A (zh) 一种基于卷积神经网络的pcb缺陷检测系统及检测方法
CN116977256A (zh) 缺陷检测模型的训练方法、装置、设备及存储介质
CN109978832A (zh) 一种基于边缘重建的双绞线绞距检测方法
CN115409822A (zh) 基于自监督缺陷检测算法的工业零件表面异常检测方法
CN115331081A (zh) 图像目标检测方法与装置
CN111402223B (zh) 一种利用变电站视频图像的变电站缺陷问题检测方法
CN114245232A (zh) 一种视频摘要生成方法、装置、存储介质及电子设备
CN112816408B (zh) 一种光学镜片的瑕疵检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant