CN111462051B - 一种基于深度神经网络的布匹疵点检测方法和系统 - Google Patents

一种基于深度神经网络的布匹疵点检测方法和系统 Download PDF

Info

Publication number
CN111462051B
CN111462051B CN202010179203.7A CN202010179203A CN111462051B CN 111462051 B CN111462051 B CN 111462051B CN 202010179203 A CN202010179203 A CN 202010179203A CN 111462051 B CN111462051 B CN 111462051B
Authority
CN
China
Prior art keywords
cloth
detection
defect
network
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010179203.7A
Other languages
English (en)
Other versions
CN111462051A (zh
Inventor
孙志刚
刘文龙
张凯
肖力
王卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202010179203.7A priority Critical patent/CN111462051B/zh
Publication of CN111462051A publication Critical patent/CN111462051A/zh
Application granted granted Critical
Publication of CN111462051B publication Critical patent/CN111462051B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30124Fabrics; Textile; Paper

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度神经网络的布匹疵点检测方法和系统,属于模式识别技术领域。包括:使用疵点布匹图像训练集训练深度神经网络模型,标签为疵点类型和真实框位置信息,深度神经网络模型由主干网络和检测网络构成,主干网络用于从疵点布匹图像中提取三个尺度不同特征图;检测网络包括:三个结构相同的检测子网络和检测结果融合模块,每个检测子网络用于从特征图中检测出疵点类型和预测框位置信息,由三个密集连接块组成,密集块之间的特征通道连接加强特征传递,检测结果融合模块用于对预测结果非极大值抑制,得到最终预测框和疵点类型,将待测布匹输入训练好的深度神经网络模型,得到检测结果,从而更快更准确检测布匹中疵点的类型和位置。

Description

一种基于深度神经网络的布匹疵点检测方法和系统
技术领域
本发明属于机器视觉与模式识别技术领域,更具体地,涉及一种基于深度神经网络的布匹疵点检测方法和系统。
背景技术
我国布匹产量大、厂家众多,但多数厂家的产品属于中低端产品,其中80%的厂家生产中低档纺织品,只生产低质量低价格纺织品的企业有4%,而高质量纺织品的生产厂家只有10%左右。要想提高布匹的质量,就必须对布匹上的疵点进行检测。
由于布匹疵点形状各异,特征比较复杂,所以传统的布匹检测方法精度一直不高,并且传统的布匹疵点检测方法受外界环境影响比较大,稳定性不好,不具备通用性。专利CN108520114A“一种纺织布疵点检测模型及其训练方法和应用”,公开了基于深度学习框架YOL0v2构建纺织布疵点检测模型,它通过多层卷积操作对图像特征进行提取和融合,并且使用了固定框、维度聚类、直接坐标预测、多尺度训练、批归一化进行网络优化。西安工程大学的刘娆在论文“卷积神经网络在纺织品缺陷检测中的应用研究”中提出YOLOV3缺陷检测模型,基础网络采用Darknet-53,分类器使用多个logistic分类器代替使用Softmax对每个框进行分类,同时增加了多尺度预测。
但是,YOLOV2对于小目标的检测能力比较弱,而布匹中具有不同大小的疵点,导致对于一些小的疵点YOLOV2检测精度不理想,准确率较低。YOLOV3检测网络过于复杂,参数较多,导致检测实时性差的技术问题。
发明内容
针对现有技术纺织布疵点检测方法存在准确率低、实时性差和不具有通用性的技术问题,本发明提供了一种基于深度神经网络的布匹疵点检测方法,其目的在于通过本发明设计的深度神经网络模型,更快更准确检测布匹中疵点的类型和位置。
为实现上述目的,按照本发明的第一方面,提供了一种基于深度神经网络的布匹疵点检测方法,该方法包括以下步骤:
S1.使用疵点布匹图像训练集训练深度神经网络模型,训练样本的标签为疵点类型和真实框位置信息,所述深度神经网络模型由主干网络和检测网络构成,所述主干网络用于从疵点布匹图像中提取三个尺度不同的特征图;所述检测网络包括:三个结构相同的检测子网络和一个检测结果融合模块,第i个检测子网络用于从第i个尺度的特征图中检测出疵点类型和预测框的位置信息,每个检测子网络由三个密集连接块组成,通过密集块之间的特征通道连接加强特征传递,所述检测结果融合模块用于根据预测框和真实框的交并比和中心距,对三个预测结果进行非极大值抑制,得到最终的预测框和对应疵点类型,i=1,2,3;
S2.将待测布匹输入训练好的深度神经网络模型,得到布匹疵点检测结果。
优选地,每个密集连接块由三路输出组成,第一路为1个第一Convolutional结构,第二路为2个第一Convolutional结构级联,第三路为3个第一Convolutional结构级联,在经过三路Convolutional结构之前,使用1个第二Convolutional结构进行特征通道压缩,形成Bottleneck结构。
优选地,Convolutional结构由卷积层、批归一化层、激活层组成,将卷积层与批归一化层合并。
优选地,非极大值抑制的衡量指标如下:
Figure BDA0002411666520000031
其中,iou表示真实框与预测框之间的交并比,xp、yp表示预测框中心的横坐标和纵坐标,xt、yt表示真实框中心的横坐标和纵坐标,C表示能够同时覆盖预测框和真实框的最小矩形的对角线距离,β是一个缩放因子。
优选地,训练时的损失函数如下:
LOSS=LOSS+LOSS+LOSS
LOSS=-α1(1-pt)2ln p
Figure BDA0002411666520000032
Figure BDA0002411666520000033
其中,LOSS、LOSS、LOSS分别为目标置信度损失、目标定位损失、目标分类损失,α1表示平衡因子,可人为调节,正样本时pt=p,负样本时pt=1-p,p表示网络的输出经过sigmoid激活函数之后的值,iou表示真实框与预测框之间的交并比,xp、yp表示预测框中心的横坐标和纵坐标,xt、yt表示真实框中心的横坐标和纵坐标,C表示能够同时覆盖预测框和真实框的最小矩形的对角线距离,
Figure BDA0002411666520000034
表示平衡比例,v表示预测框与真实框的长宽比,ojk表示第j个目标框是否属于第k类,属于为1,不属于为0,c表示网络输出经过sigmoid激活函数之后的值。
优选地,
Figure BDA0002411666520000035
wgt表示真实框的宽,hgt表示真实的高,w表示预测框的宽,h表示预测框的高。
优选地,疵点布匹图像训练集采用以下至少一种增强方式:恒等变换、X方向剪切、Y方向剪切、X方向平移、Y方向平移、旋转、对比度拉伸规范化、一定几率像素取反、直方图均衡化、曝晒、减少颜色通道位数、图像彩色化、随机亮度增强、图像锐化,每次随机从所有增强方式中选出K个算法组成一串操作进行图像增强,控制失真强度为M,通过调节参数K和M,控制数据增强效果。
为实现上述目的,按照本发明的第二方面,提供了一种基于深度神经网络的布匹疵点检测系统,该系统包括:
训练模块,用于使用疵点布匹图像训练集训练深度神经网络模型,训练样本的标签为疵点类型和真实框位置信息,所述深度神经网络模型由主干网络和检测网络构成,所述主干网络用于从疵点布匹图像中提取三个尺度不同的特征图;所述检测网络包括:三个结构相同的检测子网络和一个检测结果融合模块,第i个检测子网络用于从第i个尺度的特征图中检测出疵点类型和预测框的位置信息,每个检测子网络由三个密集连接块组成,通过密集块之间的特征通道连接加强特征传递,所述检测结果融合模块用于根据预测框和真实框的交并比和中心距,对三个的预测结果进行非极大值抑制,得到最终的预测框和对应疵点类型,i=1,2,3;
检测模块,用于将待测布匹输入训练好的深度神经网络模型,得到布匹疵点检测结果。
总体而言,通过本发明所构思的以上技术方案,能够取得以下有益效果:
(1)本发明中深度神经网络采用了三层特征金字塔进行多尺度检测,金字塔中大的特征图具有更高的位置信息,小的特征图具有更好的语义信息,从而使得该网络对于不同尺度的疵点检测的精度更高;不同特征金字塔之间的检测使用非极大值抑制,和传统的非极大值抑制直接采用iou作为衡量标准不同,本发明在iou的基础上还考虑了不同预测框之间的中心距离,中心距越小,说明检测框与真实框离得越近,拟合效果好,具有很好的效果;并且使用三路不同感受野进行学习,既能学习丰富的高级语义信息,同时也能保证对于细节信息的学习,更好地保证对于尺寸较小疵点的检测,能够很好的适应不同尺寸的布匹疵点检测,对尺寸较小的疵点也具有很好的检测效果,有很好的鲁棒性与通用性。
(2)本发明中检测网络采用了密集连接结构,一方面该结构可以减轻梯度消失,另一方面通过密集块之间的特征通道连接可以加强特征传递,提取到更好的特征表示;在密集连接结构中使用较宰的卷积核,从而大大减少参数数量,加快推理速度;每个密集连接结构中使用多路连接,每一路学习不同的感受野,可以更好地提取不同尺寸疵点的特征表示。
(3)本发明设计的深度神经网络在损失函数上分为三个部分:目标置信度损失、目标定位损失和目标分类损失。在目标置信度损失上使用了facal loss克服正负样本不均衡,进行难例挖掘;在目标定位损失上同时考虑iou、预测框与真实框之间的中心距以及长宽比例,长宽比越接近1,说明两个框大小接近,拟合效果越好;因为只有正样本才进行目标分类损失,所以目标分类不存在正负样本不均衡的情况,直接使用传统的交叉熵损失,本发明对损失的定义更符合检测效果的衡量标准,可以提高检测效果。
(4)本发明将神经网络中的卷积层与批归一化层进行合并计算,由于设计的网络中所有的卷积层都使用了批归一化层,并且批归一化层和卷积层都是处于相邻的位置,所以可以合并两者的计算,也就是将两层合并成一层,根据各层的计算公式,可以得到合并之后的计算公式,合并之后可以减少网络层的数量,从而加快网络的前向运算速度,提高疵点的检测速度。
(5)本发明在深度神经网络训练时使用了多种方式进行样本增强,减小在样本数量不足的情况下过拟合的发生,提高网络的泛化能力。
附图说明
图1是本发明实施例提供的一种基于深度神经网络的布匹疵点检测方法具体实施流程图;
图2是本发明实施例提供的布匹疵点检测的深度神经网络结构示意图;
图3是本发明实施例提供的深度神经网络中残差块结构示意图;
图4是本发明实施例提供的深度神经网络中Convolutional结构示意图;
图5是本发明实施例提供的深度神经网络的检测网络中Dense set结构示意图;
图6(a)是本发明实施例提供的布匹疵点检测模型对断经的检测效果图;
图6(b)是本发明实施例提供的布匹疵点检测模型对断纬的检测效果图;
图6(c)是本发明实施例提供的布匹疵点检测模型对破洞的检测效果图;
图6(d)是本发明实施例提供的布匹疵点检测模型对异物的检测效果图;
图6(e)是本发明实施例提供的布匹疵点检测模型对油污的检测效果图;
图6(f)是本发明实施例提供的布匹疵点检测模型对折痕的检测效果图;
图6(g)是本发明实施例提供的布匹疵点检测模型对色纱的检测效果图;
图6(h)是本发明实施例提供的布匹疵点检测模型对结点的检测效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示,一种基于深度神经网络的布匹疵点检测方法,包括:
(1)建立布匹疵点检测的深度神经网络算法模型;
(2)将建立好的神经网络模型在COCO数据集上进行预训练,使用预训练好的权重初始化网络;
(3)建立疵点布匹图像样本库,按照训练样本、训练标签、测试样本、测试标签进行分类;
(4)将疵点布匹图像使用RandAugment算法进行增强,输入到初始化完成的神经网络中进行Fine-turning(微调),训练得到最终的网络模型;
(5)使用最终的网络模型进行布匹疵点的实时检测。
布匹疵点检测方法的具体实现方式包括:
(1)设计布匹疵点检测的神经网络模型,为了方便描述,这里取名defect-model,图2即为defect-model的网络结构。该网络结构主要由两部分组成:主干网络与检测网络。主干网络为Darknet53结构,该网络包含五组残差网络,第一组残差网络包括一个残差块,每个残差块由一个1*1的Convolutional与3*3的Convolutional形成如图3所示的结构。每个Convolutional由一个卷积层,一个批归一化层、一个激活层级联形成如图4所示的结构。第一组残差网络最终输出通道数为64,输出特征图大小为208*208。第二组残差网络包括两个残差块,残差块结构与第一组相同,最终输出通道数为128,输出特征图大小为104*104。第一组残差网络与第二组残差网络之间经过一个大小为3*3,stride为2的Convolutional进行下采样,通道数由64增加到128。第三组残差网络包括八个残差块,残差块结构与第一组相同,最终输出通道数为256,输出特征图大小为52*52。第二组残差网络与第三组残差网络之间经过一个大小为3*3,stride为2的Convolutional进行下采样,通道数由128增加到256。第四组残差网络包括八个残差块,残差块结构与第一组相同,最终输出通道数为512,输出特征图大小为26*26。第三组残差网络与第四组残差网络之间经过一个大小为3*3,stride为2的Convolutional进行下采样,通道数由256增加到512。第五组残差网络包括四个残差块,残差块结构与第一组相同,最终输出通道数为1024,输出特征图大小为13*13。第四组残差网络与第五组残差网络之间经过一个大小为3*3,stride为2的Convolutional进行下采样,通道数由512增加到1024。检测网络有三个,形成三层特征金字塔,进行三个不同尺度的预测:13*13、26*26、52*52。每个检测网络的主体是一个Dense set结构,该结构如图5所示。图5左边是一个由三个Dense block组成的密集连接结构,每个Dense block的输入与输出用弧线连接,这里的连接表示将通道进行连接,增加特征通道数。每个Dense block是一个三路输出结构,如图5右边所示,第一路输出为一个3*3的Convolutional,第二路输出为两个3*3的Convolutional级联,第三路输出为三个3*3的Convolutional级联,这样形成三种不同大小的感受野,学习不同感受野上的特征表示。每次进入一路输入之前使用一个1*1*128的Convolutional进行通道压缩,形成bottleneck结构。最后将三路输出进行Concatenate,实现通道连接,增加特征通道数,这样每一个Dense block输出一个36通道的特征表示。考虑到defect-model每一个卷积层后面都有批归一化层,所以在defect-model进行前向运算时,合并卷积层与批归一化层,加快运算速度,具体合并后的卷积层计算公式:Outputi=W'i*Input+β′i,其中,Outputi表示合并后输出的第i个通道,W′i表示合并后第i个卷积核,Input为输入,β′i为合并后第i个通道的偏置;
Figure BDA0002411666520000081
其中,ε是一个偏移,防止分母为0,本发明实例中,ε取值0.000001,γi表示合并前BN层第i个通道的缩放因子,Wi表示合并前第i个卷积核,δ2表示批输入方差;
Figure BDA0002411666520000091
其中,ε是一个偏移,防止分母为0,本发明实例中,ε取值0.000001,βi表示合并前BN层第i个通道的偏置,γi表示合并前BN层第i个通道的缩放因子,μ表示批输入均值,δ2表示批输入方差。defect-model在前向运算进行布匹疵点检测时,三个检测模块的预测结果采用非极大值抑制,非极大值抑制的衡量指标:
Figure BDA0002411666520000092
其中,iou表示真实框与预测框之间的交并比,xp、yp表示预测框中心的横坐标和纵坐标,xt、yt表示真实框中心的横坐标和纵坐标,C表示能够同时覆盖预测框和真实框的最小矩形的对角线距离,β是一个缩放因子,可以人为调节,本发明实例中,β取值0.6。
defect-model在训练时根据损失函数进行反向梯度下降来更新参数,损失函数包括三个部分:目标置信度损失、目标定位损失和目标分类损失。目标置信度损失采用facal loss克服一阶段检测网络背景与前景比例失衡的问题,大量简单背景样本使得模型倾向于背景学习,这里使用facal loss降低对简单样本学习,加强难例学习,具体的目标置信度损失表示:LOSS=-α1(1-pt)2ln p,其中,α1表示平衡因子,可人为调节,正样本时pt=p,负样本时pt=1-p,p表示网络的输出经过sigmoid激活函数之后的值。只有正样本时才会加入目标定位损失与目标分类损失计算,目标定位损失函数为
Figure BDA0002411666520000093
其中,iou表示真实框与预测框之间的交并比,xp、yp表示预测框中心的横坐标和纵坐标,xt、yt表示真实框中心的横坐标和纵坐标,C表示能够同时覆盖预测框和真实框的最小矩形的对角线距离,
Figure BDA0002411666520000094
表示平衡比例,v表示预测框与真实框的长宽比。目标分类损失直接使用交叉熵:
Figure BDA0002411666520000095
ojk表示第j个目标框是否属于第k类,属于为1,不属于为0,c表示网络输出经过sigmoid激活函数之后的值。
(2)将建立好的深度神经网络模型defect-model在COCO数据集上进行预训练,所述的defect-model的预训练方法为:
下载COCO数据集,COCO数据集总共包括25G左右的图片和1.5G左右的annotation,annotation的格式为json格式,存储了所有图片中的目标类别(总共80类),目标boundingbox的精确坐标以及目标的分割轮廓信息等。由于本次做的是检测任务,所以只用得到目标类别与bounding box的坐标信息。使用Darknet神经网络框架,按照Darknet的格式制作样本,首先从COCO数据集中的annotation中提取出Darknet需要的图像中目标的boundingbox信息,提取后生成一系列txt文件,存放在labels文件夹中,每个文件对应一张样本图像,txt文件中每一行代表一个目标信息,包括五个数据,第一个是类别信息,另外四个是坐标信息。将所有图像拷贝到一个JPEGImages文件夹下,然后将生成的labels文件夹移动到和JPEGImages同一级的目录下;然后得到训练图像集,验证图像集以及测试图像集。创建coco.data文件,指定训练图像索引文件地址,创建coco.names文件,里面是COCO数据集的所有分类。然后就可以创建脚本进行训练。在模型训练过程中,如果loss在很小范围内波动,可视为loss收敛,应及时停止训练。得到训练好的defect-model预训练模型。
(3)建立疵点布匹图像样本库,按照训练样本、训练标签、测试样本、测试标签进行分类;使用工业相机采集疵点布匹图像,总共分为断经、断纬、破洞、折痕、油污、异物、色纱、结点八类,使用LabelImage进行人工标注,然后将标注好的XML标签转化为darknet标签格式,也就是上一个步骤中的txt文件格式。最后分为训练集与验证集,训练集中包含断经样本1000张,断纬样本1000张,破洞样本1000张,折痕样本1000张,油污样本1000张,异物样本1000张,色纱样本1000张,结点样本1000张。验证集中包含断经样本200张,断纬样本200张,破洞样本200张,折痕样本200张,油污样本200张,异物样本200张,色纱样本200张,结点样本200张。和上一个步骤一样放在相应位置,得到训练图像集,验证图像集以及测试图像集的路径索引集train.txt,val.txt。创建defect.data文件,指定训练图像索引文件地址,创建defect.names文件,里面是疵点布匹数据集的所有分类。采用k-means++方法对疵点布匹图像训练集的boundingboxes进行聚类,选取anchor boxes尺度。
(4)使用步骤(2)中的预训练模型对defect-model进行初始化,将疵点布匹图像使用RandAugment算法进行增强,输入到初始化完成的神经网络中进行Fine-turning,训练得到最终的网络模型;每次在恒等变换,X方向剪切、Y方向剪切、X方向平移、Y方向平移、旋转、对比度拉伸规范化、一定几率像素取反、直方图均衡化、曝晒、减少颜色通道位数、图像彩色化、随机亮度增强、图像锐化这14种数据增强算法中随机选择一个,共选择n次作为一串增强操作作用于输入图像,增强操作的全局失真强度为m,本发明实例中,n取值为14,m取值为10。将增强后的图片送到布匹疵点检测模型defect-model中进行训练。此步骤中的学习率设置比步骤(2)中小,本发明实例中,初始学习率设置为0.001,batch设置为64,训练过程中的监控方式和步骤(2)相同。本发明实例中,迭代到8000次时将学习率降低为0.0001继续训练。迭代10000次后Loss降到0.06以下,并且收敛,结束训练,此时得到的模型为最终的布匹疵点检测模型。
(5)实时采集布匹疵点图像,用步骤(4)中得到的最终的布匹疵点检测模型进行检测,得到最终的检测结果,图6(a)、图6(b)、图6(c)、图6(d)、图6(e)、图6(f)、图6(g)、图6(h)分别对应疵点类型为断经、断纬、破洞、异物、油污、折痕、色纱、结点的检测结果。
在实践应用中,本方法可以快速准确地进行布匹疵点检测,相对于以往方法可以更好地平衡检测的实时性与精度,对不同尺寸大小的疵点都有很好的检测效果,对于布匹疵点种类多,特征复杂等特点具有更好地鲁棒性。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于深度神经网络的布匹疵点检测方法,其特征在于,该方法包括以下步骤:
S1.使用疵点布匹图像训练集训练深度神经网络模型,训练样本的标签为疵点类型和真实框位置信息,所述深度神经网络模型由主干网络和检测网络构成,所述主干网络用于从疵点布匹图像中提取三个尺度不同的特征图;每个检测子网络的主体是一个Dense set结构;所述检测网络包括:三个结构相同的检测子网络和一个检测结果融合模块,第i个检测子网络用于从第i个尺度的特征图中检测出疵点类型和预测框的位置信息,每个检测子网络由三个密集连接块组成,通过密集块之间的特征通道连接加强特征传递,所述检测结果融合模块用于根据预测框和真实框的交并比和中心距,对三个预测结果进行非极大值抑制,得到最终的预测框和对应疵点类型,i=1,2,3;
S2.将待测布匹输入训练好的深度神经网络模型,得到布匹疵点检测结果;
每个密集连接块由三路输出组成,第一路为1个第一Convolutional结构,第二路为2个第一Convolutional结构级联,第三路为3个第一Convolutional结构级联,在经过三路Convolutional结构之前,使用1个第二Convolutional结构进行特征通道压缩,形成Bottleneck结构。
2.如权利要求1所述的布匹疵点检测方法,其特征在于,Convolutional结构由卷积层、批归一化层和激活层组成,将卷积层与批归一化层合并。
3.如权利要求2所述的布匹疵点检测方法,其特征在于,非极大值抑制的衡量指标如下:
Figure FDA0003768480660000021
其中,iou表示真实框与预测框之间的交并比,xp、yp表示预测框中心的横坐标和纵坐标,xt、yt表示真实框中心的横坐标和纵坐标,C表示能够同时覆盖预测框和真实框的最小矩形的对角线距离,β表示缩放因子。
4.如权利要求1至3任一项所述的布匹疵点检测方法,其特征在于,训练时的损失函数如下:
LOSS=LOSS+LOSS+LOSS
LOSS=-α1(1-pt)2ln p
Figure FDA0003768480660000022
Figure FDA0003768480660000023
其中,LOSS、LOSS、LOSS分别为目标置信度损失、目标定位损失和目标分类损失,α1表示平衡因子,正样本时pt=p,负样本时pt=1-p,p表示网络输出经过sigmoid激活函数之后的值,iou表示真实框与预测框之间的交并比,xp、yp表示预测框中心的横坐标和纵坐标,xt、yt表示真实框中心的横坐标和纵坐标,C表示能够同时覆盖预测框和真实框的最小矩形的对角线距离,
Figure FDA0003768480660000024
表示平衡比例,v表示预测框与真实框的长宽比,ojk表示第j个目标框是否属于第k类,属于为1,不属于为0,c表示网络输出经过sigmoid激活函数之后的值。
5.如权利要求4所述的布匹疵点检测方法,其特征在于,
Figure FDA0003768480660000031
其中,wgt表示真实框的宽,hgt表示真实框的高,w表示预测框的宽,h表示预测框的高。
6.如权利要求1所述的布匹疵点检测方法,其特征在于,疵点布匹图像训练集采用以下至少一种增强方式:恒等变换、X方向剪切、Y方向剪切、X方向平移、Y方向平移、旋转、对比度拉伸规范化、一定几率像素取反、直方图均衡化、曝晒、减少颜色通道位数、图像彩色化、随机亮度增强和图像锐化,每次随机从所有增强方式中选出K个算法组成一串操作进行图像增强,控制失真强度为M,通过调节参数K和M,控制数据增强效果。
7.一种基于深度神经网络的布匹疵点检测系统,其特征在于,该系统包括:
训练模块,用于使用疵点布匹图像训练集训练深度神经网络模型,训练样本的标签为疵点类型和真实框位置信息,所述深度神经网络模型由主干网络和检测网络构成,所述主干网络用于从疵点布匹图像中提取三个尺度不同的特征图;所述检测网络包括:三个结构相同的检测子网络和一个检测结果融合模块,第i个检测子网络用于从第i个尺度的特征图中检测出疵点类型和预测框的位置信息,每个检测子网络的主体是一个Dense set结构;每个检测子网络由三个密集连接块组成,通过密集块之间的特征通道连接加强特征传递,所述检测结果融合模块用于根据预测框和真实框的交并比和中心距,对三个的预测结果进行非极大值抑制,得到最终的预测框和对应疵点类型,i=1,2,3;
检测模块,用于将待测布匹输入训练好的深度神经网络模型,得到布匹疵点检测结果;
每个密集连接块由三路输出组成,第一路为1个第一Convolutional结构,第二路为2个第一Convolutional结构级联,第三路为3个第一Convolutional结构级联,在经过三路Convolutional结构之前,使用1个第二Convolutional结构进行特征通道压缩,形成Bottleneck结构。
CN202010179203.7A 2020-03-14 2020-03-14 一种基于深度神经网络的布匹疵点检测方法和系统 Active CN111462051B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010179203.7A CN111462051B (zh) 2020-03-14 2020-03-14 一种基于深度神经网络的布匹疵点检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010179203.7A CN111462051B (zh) 2020-03-14 2020-03-14 一种基于深度神经网络的布匹疵点检测方法和系统

Publications (2)

Publication Number Publication Date
CN111462051A CN111462051A (zh) 2020-07-28
CN111462051B true CN111462051B (zh) 2022-09-27

Family

ID=71684293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010179203.7A Active CN111462051B (zh) 2020-03-14 2020-03-14 一种基于深度神经网络的布匹疵点检测方法和系统

Country Status (1)

Country Link
CN (1) CN111462051B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882545B (zh) * 2020-07-30 2023-07-25 中原工学院 基于双向信息传递及特征融合的织物疵点检测方法
CN112270722B (zh) * 2020-10-26 2024-05-17 西安工程大学 一种基于深度神经网络的数码印花织物缺陷检测方法
CN112613387A (zh) * 2020-12-18 2021-04-06 五邑大学 一种基于YOLOv3的交通标志检测方法
CN112906549B (zh) * 2021-02-07 2022-10-25 同济大学 一种基于时空胶囊网络的视频行为检测方法
CN114170226B (zh) * 2022-01-24 2022-08-19 谱为科技(常州)有限公司 基于图像增强和卷积神经网络的布草检测方法、装置
CN114677337B (zh) * 2022-03-11 2022-10-04 常州市新创智能科技有限公司 一种碳纤维布面的油污检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685152A (zh) * 2018-12-29 2019-04-26 北京化工大学 一种基于dc-spp-yolo的图像目标检测方法
CN110321923A (zh) * 2019-05-10 2019-10-11 上海大学 不同尺度感受野特征层融合的目标检测方法、系统及介质
CN110490874A (zh) * 2019-09-04 2019-11-22 河海大学常州校区 基于yolo神经网络的纺织布匹表面瑕疵检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102631031B1 (ko) * 2018-07-27 2024-01-29 삼성전자주식회사 반도체 장치의 불량 검출 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685152A (zh) * 2018-12-29 2019-04-26 北京化工大学 一种基于dc-spp-yolo的图像目标检测方法
CN110321923A (zh) * 2019-05-10 2019-10-11 上海大学 不同尺度感受野特征层融合的目标检测方法、系统及介质
CN110490874A (zh) * 2019-09-04 2019-11-22 河海大学常州校区 基于yolo神经网络的纺织布匹表面瑕疵检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Distance-IoU Loss: Faster and Better Learning for Bounding Box Regression;Zhaohui Zheng等,;《arXiv》;20191119;第1-8页 *
卷积神经网络在纺织品缺陷检测中的应用研究;刘娆;《中国优秀硕士学位论文全文数据库(电子期刊)工程科技Ⅰ辑》;20200229;第2020年卷(第2期);第B024-71页 *

Also Published As

Publication number Publication date
CN111462051A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN111462051B (zh) 一种基于深度神经网络的布匹疵点检测方法和系统
CN112380952B (zh) 基于人工智能的电力设备红外图像实时检测及识别方法
CN108520114B (zh) 一种纺织布疵点检测模型及其训练方法和应用
CN107169956B (zh) 基于卷积神经网络的色织物疵点检测方法
CN107341499B (zh) 一种基于无监督分割和elm的织物缺陷检测和分类方法
CN105512640B (zh) 一种基于视频序列的人流量统计方法
CN111444939B (zh) 电力领域开放场景下基于弱监督协同学习的小尺度设备部件检测方法
CN109285139A (zh) 一种基于深度学习的x射线成像焊缝检测方法
CN109509187A (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN115496752A (zh) 一种基于一阶段目标检测算法的钢材表面缺陷检测方法
CN113920107A (zh) 一种基于改进yolov5算法的绝缘子破损检测方法
CN109447082B (zh) 一种场景运动目标分割方法、系统、存储介质及设备
CN115661090A (zh) 纺织面料的智能化加工工艺及其系统
CN112365497A (zh) 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统
Shuai et al. Object detection system based on SSD algorithm
CN112102224A (zh) 一种基于深度卷积神经网络的布匹疵点识别方法
CN116342894B (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN110020669A (zh) 一种车牌分类方法、系统、终端设备及计算机程序
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
CN112613428A (zh) 基于平衡损失的Resnet-3D卷积牛视频目标检测方法
CN115100497A (zh) 基于机器人的通道异常物体巡检方法、装置、设备及介质
WO2020119624A1 (zh) 一种基于深度学习的类别敏感型边缘检测方法
CN111160100A (zh) 一种基于样本生成的轻量级深度模型航拍车辆检测方法
CN114549489A (zh) 一种面向雕花口红质检的实例分割缺陷检测方法
CN114078106A (zh) 基于改进Faster R-CNN的疵点检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant