CN109613006A - 一种基于端到端神经网络的织物疵点检测方法 - Google Patents

一种基于端到端神经网络的织物疵点检测方法 Download PDF

Info

Publication number
CN109613006A
CN109613006A CN201811575580.1A CN201811575580A CN109613006A CN 109613006 A CN109613006 A CN 109613006A CN 201811575580 A CN201811575580 A CN 201811575580A CN 109613006 A CN109613006 A CN 109613006A
Authority
CN
China
Prior art keywords
layer
frame
neural network
fabric
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811575580.1A
Other languages
English (en)
Inventor
刘洲峰
李春雷
丁淑敏
刘闪亮
董燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongyuan University of Technology
Original Assignee
Zhongyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongyuan University of Technology filed Critical Zhongyuan University of Technology
Priority to CN201811575580.1A priority Critical patent/CN109613006A/zh
Publication of CN109613006A publication Critical patent/CN109613006A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8874—Taking dimensions of defect into account
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于端到端神经网络的织物疵点检测方法，其步骤如下：设定SSD神经网络模型的初始参数，将织物疵点数据库中的织物疵点图像输入设定的SSD神经网络模型进行训练，得到深度学习的织物检测模型；将待检测的织物图像输入到步骤一训练好的织物检测模型，对织物图像进行特征提取，选取出多个可能是疵点目标的候选框；基于设定好的判别阈值对步骤二中的候选框进行判别得到最终的疵点目标，利用疵点目标所在候选框的交并比阈值选择疵点目标框，存储疵点的位置坐标信息并输出疵点目标框。本发明对平纹织物和模式织物均具有很好的自适应性及检测性能，扩大了使用范围；检测速率快，有效解决人工检测速度慢的问题；模型易训练，操作简单。

Description

一种基于端到端神经网络的织物疵点检测方法
技术领域
本发明涉及纺织品图像处理中织物疵点检测的技术领域，尤其涉及一种基于端到端神经网络的织物疵点检测方法，对织物疵点图像的疵点进行检测和定位。
背景技术
我国是纺织品大国，纺织产业在社会经济中占有重要地位，其中织物质量是关键问题，织物疵点检测更是纺织品质量控制的重要环节。目前，绝大部分的工业生产线仍在使用人工进行疵点检测，传统的人工检查结果受人类的主观影响大，而且速度慢、效率低，使得检测的准确性和实时性难以保证。随着机器视觉的不断进步与发展，图像处理技术与深度学习算法也逐渐被应用到纺织品行业中来，这些技术的发展与应用使得自动化织物疵点检测得以实现，因此，相较于传统人工检测疵点的方法，其达到了速度快，效率高的目的。
目前，已有的传统的织物疵点检测方法按照采用技术的不同，可以分为三大类：一是统计分析方法通过比对图像块之间的统计特征进行疵点检测，然而现有特征方法很难有效描述复杂多样的织物纹理，检测效果不理想；二是频域分析方法，如傅里叶变换、小波变换、Gabor滤波器等，该类方法性能依赖于滤波器组的选择，且计算复杂度相对较高；三是模型方法，如高斯-马尔科夫随机场(GMRF)等，计算量大，实现比较复杂。
当今，随着科学技术的不断发展，深度神经网络算法在目标检测领域的应用有了很大的发展与提高，对于图像目标检测，深度神经网络算法需要大量的图片作为模型训练支撑。而织物疵点检测也属于目标检测的范畴，而且织物图像易于拍摄，为深度神经网络模型的训练提供了训练图像的支撑，有望将深度神经网络应用在织物疵点检测的工业现场。原有的SSD网络模型对织物疵点检测效果并不理想。
发明内容
针对现有的织物疵点检测方法对织物疵点检测效果差，计算量大的技术问题，本发明提出一种基于端到端神经网络的织物疵点检测方法，对已有的SSD深度神经网络进行改进进行织物疵点检测，能够自动识别疵点，并对识别出的疵点标记确定疵点位置信息，适用于多维和纹理复杂的织物图像。
为了达到上述目的，本发明的技术方案是这样实现的：一种基于端到端神经网络的织物疵点检测方法，其步骤如下：
步骤一：设定SSD神经网络模型的初始参数，将织物疵点数据库中的织物疵点图像输入设定的SSD神经网络模型进行训练，得到深度学习的织物检测模型；
步骤二：将待检测的织物图像输入到步骤一训练好的织物检测模型，对织物图像进行特征提取，选取出多个可能是疵点目标的候选框；
步骤三：基于设定好的判别阈值对步骤二中的候选框进行判别得到最终的疵点目标，利用疵点目标所在候选框的交并比阈值选择疵点目标框，存储疵点的位置坐标信息并输出疵点目标框。
所述SSD神经网络模型是基于前馈卷积网络VGG-16的网络结构，VGG-16网络结构生成固定大小的候选框集，并在候选框框中显示对象类实例，接着采用非最大的抑制方法来产生最终的检测结果，并显示目标类、对应目标概率及目标框；SSD神经网络模型的初始参数包括网络层数、各层神经元的权值及偏置值；SSD神经网络模型的最初学习率为0.001、最小学习率为0.00001、最小损失值为0.5，最大训练迭代步数为20000。
所述SSD神经网络模型训练的方法为：1)将输入的织物疵点图像预处理分割成300pixel×300pixel的图像块后，再输入SSD神经网络；2)SSD神经网络对输入的图像块进行处理，输出损失值Loss的计算公式为：
其中，L(x,c,l,g)是根据输入图像中标记的真值框与预测的目标位置的置信度损失和位置信息损失计算得到的损失值，N是真值框匹配的候选框个数；x为第i个默认框和第j个真值框的匹配概率值，xij＝{1,0}；c是判断为目标的概率值；l为预测所得目标框的位置信息；g为真值框的位置信息，即x轴和y轴上最大值和最小值四个数据；α为权衡置信损失和位置损失的参数；Lloc为位置信息损失，根据预测框和真值框信息，采用的是SmoothL1Loss；Lconf为置信度损失，其计算公式为：
这里
根据损失值修改各层神经元的权值；重复步骤1)-2)，直至损失值在设定阈值范围内或达到最大训练迭代步数，停止训练。
所述SSD神经网络模型选取的织物疵点图像的第三层、第四层、第七层、第八层、第九层和第十层的特征图，第三层、第四层、第七层、第八层、第九层和第十层的特征图的大小逐渐减少；利用卷积特征的第三层特征图对织物疵点进行预处理。
所述候选框的坐标与特征图上原始图像坐标的映射关系为：
其中，(cx,cy)是候选框在特征图上的中心坐标；wb,hb分别是候选框的宽度和长度；wf,hf是对应特征图的宽度和长度；wi,hi是原始输入图像的宽度和高度；(xmin,xmax,ymin,ymax)是第k层特征图内大小为wk,hk、以为中心坐标的候选框映射到原始图像的四个坐标信息，其中，|fk|是第k个特征图的尺寸大小，p,q∈{0,1,2,…,|fk|-1}，并截取默认框的坐标使其在[0,1]内。
在不同特征层上，添加的每个特征层都使用一组卷积核生成一组固定的预测框，每层都会产生多个候选框；对每一层特征层，通过卷积核可得到疵点目标对应真值框的概率及坐标偏移量，坐标偏移量根据卷积方法中感受野的计算方式得到；每层特征层都会产生候选框，每个候选框相对于这一层的特征图，其位置是特定的；在特征图的每个像素点处，分别对应k个候选框，对于给定位置的k个候选框，计算它对应真值框的分数和相对于真值框形状的4个位置偏移量，对m×n的特征图会有(cl+4)kmn个参数输出，cl为目标的类别总数。
将步骤二得到的所有候选框送入非最大值抑制网络中，通过非最大值抑制方法和边界框回归获得真实目标的位置，边界框回归是根据卷积核的大小及池化层的大小和步数反向计算得到的：
对于每个特征点处的k个候选框，首先对候选框与真值框进行比对，当交并比大于0.5时保留此候选框并向后传递，否则舍弃；当所有候选框与所有真值框的交并比都低于0.5时，选择交并比最大的一个候选框进行传输；在选择候选框之后，通过损失函数的损失值调整学习率及各特征层之间的权值。
所述步骤三中根据设定的概率阈值得到最终的疵点目标；多个预测目标框的重叠部为交并比，根据设定的交并比阈值，将最终的疵点目标位置保存在SSD神经网络模型中并将检测到的目标用矩形框标识及显示。
所述织物疵点数据库是从德国模式织物图像数据库中随机挑选包括破洞、断经、错纬和断纬的常见疵点图像，对织物疵点数据库进行数据增强的方法为：对其中的图像进行分别进行90度、180度和270度转置操作，使织物疵点数据库扩充为原来的4倍；接着对数据库锐化处理，再次扩展2倍，最终将织物疵点数据库扩展为原来的8倍。
与现有技术相比，本发明的有益效果：
1、对平纹织物和模式织物均具有很好的自适应性及检测性能，扩大了使用范围；
2、检测速率快，有效解决人工速度慢的问题；
3、模型易训练，操作简单。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程图。
图2为已有的SSD网络模型的框架。
图3为本发明改进后的SSD网络模型架构。
图4为本发明实施的过程图，其中，(a)为输入的原始图像，(b)为分割后的图片，(c)为现有模型的检测效果图，(d)为本发明的检测效果图。
图5为已有的SSD网络模型对20个织物图像检测得到的实验结果图。
图6为本发明改进前后模型的损失值对比图，其中，(a)为已有SSD网络模型的损失值曲线图，(b)为本发明改进后的SSD网络模型的损失值曲线图。
图7为本发明改进前后疵点检测结果图，其中，(a)为从上到下的4幅输入疵点图像，(b)为已有SSD网络模型对输入疵点图像的检测结果图，(c)为本发明改进后的SSD网络模型对输入疵点图像的的检测结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，一种基于端到端神经网络的织物疵点检测方法，含有疵点的织物图像输入改进后的SSD网络架构训练得到改进后的SSD神经网络模型。SSD神经网络模型基于一个前馈卷积网络VGG-16网络结构，该网络生成一个固定大小的候选框集，并在这些框中显示对象类实例，然后采用非最大的抑制步骤来产生最终的检测结果，并显示目标类、对应概率及目标框。具体地，其步骤如下：
步骤一：设定SSD神经网络模型的初始参数，将织物疵点数据库中的织物疵点图像输入设定的SSD神经网络模型进行训练，得到深度学习的织物检测模型。
经典的SSD(Single Shot MultiBox Detector)是自然场景图像目标检测网络，其中在自然场景图VOC207数据集中的检测精度达到77.2％，检测速度达到58帧/秒。本发明的SSD神经网络模型是基于前馈卷积网络VGG-16的网络结构，VGG-16网络结构生成固定大小的候选框集，并在候选框框中显示对象类实例，然后采用非最大的抑制方法来产生最终的检测结果，并显示目标类、对应目标概率及目标框；SSD神经网络模型的初始参数包括网络层数、各层神经元的权值及偏置值；SSD神经网络模型的最初学习率为0.001、最小学习率为0.00001、最小损失值为0.5，最大训练迭代步数为20000。
所述SSD神经网络模型训练的方法为：1)将输入的织物疵点图像预处理分割成300pixel×300pixel的图像块后，再输入图3所示的SSD神经网络；2)SSD神经网络对输入的图像块进行处理，对图像块进行特征提取及候选框预测，通过Lconf(x,c)计算真值框与预测框的损失值，根据损失值修改各层神经元的权值；重复步骤1)-2)，直至损失值在设定阈值范围内或达到最大训练迭代步数，停止训练。最终得到适合训练数据库类型织物图像的深度学习疵点检测模型；基于训练好的织物检测模型，对测试织物疵点图像进行特征提取出11层不同层次的特征图，不同层包含的图像的不同信息，越浅层的特征图包含图像的越细节处的语义信息，越深层的特征图包含的图像的整体特征信息。
由深度卷积的原理可知，将一幅织物的图片输入到一个卷积神经网络，在此网络结构中，经历了多个卷积层和池化层，可以得到在不同的卷积层，会输出不同大小的特征图(这是由于池化层的存在，它会将图片的尺寸变小)。而且不同的特征图中含有不同的特征，而不同的特征对目标检测起到不同的作用。总的来说，浅层卷积层特征对边缘更加敏感，其包含图像中的细节信息；而深层卷积层的特征图对由浅层特征构成的复杂特征更加敏感，其包含图像中更多的的语义信息。对于检测任务而言，一幅图像中的目标有复杂的和简单的，对于简单的目标块利用浅层网络的特征图可以将其检测出来，对于复杂的目标块利用深层网络的特征图可以将其检测出来。因此，如果同时在不同的特征图上面进行目标检测，将会获得更好的检测效果。
在训练时，每层产生的多个候选框并不会全部传送到下面的网络结构中，对于每个特征点处的k个候选框，首先对候选框与真值框进行比对，当交并比大于0.5时保留此候选框并向后传递，否则舍弃；当所有候选框与所有真值框的交并比都低于0.5时，选择交并比最大的一个候选框进行传输；在选择候选框之后，通过损失函数的损失值调整学习率及各特征层之间的权值，损失函数为：
其中，L(x,c,l,g)是根据输入图像中标记的目标位置(真值框)与预测的目标位置的置信度损失和位置信息损失计算得到的损失值，N是真值框匹配的候选框个数；x为第i个默认框和第j个真值框的匹配概率值，xij＝{1,0}；c是判断为目标的概率值；l为预测所得目标框的位置信息；g为真值框的位置信息，真值框是在原图上手动标记的目标位置信息，即x轴和y轴上最大值和最小值四个数据；α为权衡置信损失和位置损失的参数；Lloc为位置信息损失，根据预测框和真值框信息，这里采用的是Smooth L1Loss；Lconf为置信度损失，其计算公式为：
且
当计算的损失值未达到设定阈值或者未达到设定迭代的最大次数时，织物检测模型往复训练，直到损失值达到两个阈值中的一个时，停止训练，保存织物检测模型。
所述织物疵点数据库是从香港大学模式织物图像数据库中随机挑选包括破洞、断经、错纬和断纬的常见疵点图像，对织物疵点数据库进行数据增强的方法为：对其中的图像进行分别进行90度、180度和270度转置操作，使织物疵点数据库扩充为原来的4倍；接着对数据库锐化处理，再次扩展2倍，最终将织物疵点数据库扩展为原来的8倍。
步骤二：将待检测的织物图像输入到步骤一训练好的织物检测模型，对织物图像进行特征提取，选取出多个可能是疵点目标的候选框。
待检测织物图像输入到织物检测模型，输入的织物图像经过织物检测模型选出可能是目标的候选框，所述候选框的坐标与特征图上原始图像坐标的映射关系为：
其中，(cx,cy)是候选框在特征图上的中心坐标；wb,hb是候选框的宽度和长度；wf,hf是对应特征图的宽度和长度；wi,hi是原始输入图像的宽度和高度；(xmin,xmax,ymin,ymax)是第k层特征图内大小为wk,hk、以为中心坐标的候选框映射到原始图像的四个坐标信息，其中，|fk|是第k个特征图的尺寸大小，p,q∈{0,1,2,…,|fk|-1},并截取默认框的坐标使其在[0,1]内。
为了检测的多尺度目标，SSD神经网络模型选取的织物疵点图像的第三层、第四层、第七层、第八层、第九层和第十层的特征图，第三层、第四层、第七层、第八层、第九层和第十层的特征图的大小逐渐减少；利用卷积特征的第三层特征图对织物疵点进行预处理。织物检测模型去掉了SSD神经网络中第11层的特征图。针对织物疵点目标一般比较小的情况，本发明在原有模型的基础上提出新的网络模型，采用更浅层的卷积网络特征，第三层的卷积特征图，以适应小目标的检测。将织物训练数据图输入改卷积神经网络，便可得到疵点的织物检测模型。改进前后的SSD神经网络如图2和图3所示。这些大小不同的特征图，其目的是为了能够准确的检测到不同尺度的物体，因为低层的特征图感受野比较小，高层的感受野比较大，在不同的特征图进行卷积，可以达到检测多尺度目标的目的。这些特征层的大小逐渐减小，并允许检测器在多个尺度上的检测。
在不同特征层上，添加的每个特征层都使用一组卷积核生成一组固定的预测框，每层都会产生多个候选框；对每一层特征层，通过3×3的卷积核可得到疵点目标对应真值框的分数和坐标偏移量，真值框是在原图上手动标记的目标位置信息，即x轴和y轴上最大值和最小值四个数据，坐标偏移量根据卷积方法中感受野的计算方式得到；每层特征层都会产生候选框，每个候选框相对于这一层的特征图，其位置是特定的；在特征图的每个像素点处，分别对应k个候选框，对于给定位置的k个候选框，计算它对应真值框的分数和相对于真值框形状的4个位置偏移量，对m×n的特征图会有(cl+4)kmn个参数输出，cl为目标的类别总数，在本发明中，cl为1，k的取值为6。
将步骤二得到的所有候选框送入非最大值抑制网络中，通过非最大值抑制方法和边界框回归获得真实目标的位置，边界框回归是根据卷积核的大小及池化层的大小和步数反向计算得到的。
对于不同尺度的特征图上使用不同的默认框。本发明选取的特征图包括75x75x256、38x38x512、19x19x1024、10x10x512、5x5x256、3x3x256，每层特征图中的像素点对应的的候选框为6，在75x75的这个平面上的每一特征点上面获得6个框，那么总共可以获得75x75x6＝33750个；同理，将第四层、第七层、第八层、第九层、第十层的候选框数量都设置为6，那么可以获得的候选框分别为8664、2166、600、150、54，即总共可以获得45384个候选框，然后将这些候选框送入非最大值抑制网络中，获得最终的检测结果。
步骤三：基于设定好的判别阈值对步骤二中的候选框进行判别得到最终的疵点目标，利用疵点目标所在候选框的交并比阈值选择疵点目标框，存储疵点的位置坐标信息并输出疵点目标框。
所述步骤三中根据设定的概率阈值判定最终的疵点目标，交并比的值为多个预测目标框的重叠率，本发明中交并比的值人为设定为0.01，根据交并比阈值，当交并比值大于0.01时，选择概率高的预测目标框，从而获得最终的预测目标框，当交并比小于0.01时，保留多个预测目标框，并将最终的疵点目标位置保存在SSD神经网络模型中并将检测到的目标用矩形框标识及显示。
从德国模式织物图像数据库中随机挑选几类常见的疵点图像(包括破洞、断经、错纬、断纬等)，图片大小均为756pixel×512pixel，本发明的处理结果如图4-7所示，由图4-7可知，本发明可以准确的检测疵点位置。
本发明主要包括改进SSD网络模型，采用织物疵点数据库训练改进后的SSD网络模型；基于训练好的织物检测模型，对测试织物疵点图像进行检测，从而得到候选区域；然后基于设定好的判别阈值及交并比阈值，对候选域目标进一步判别，最终判定是否为疵点区域；最后存储疵点的位置坐标信息及输出疵点目标框。本发明通过改进已有的SSD网络模型，可以从包含织物疵点图像更细节的浅层特征图选取候选框，提高了现有检测方法的自适应性及检测精度。本发明对平纹织物和模式织物均具有很好的自适应性及检测性能，扩大了使用范围；检测速率快，有效解决人工速度慢的问题；模型易训练，操作简单。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于端到端神经网络的织物疵点检测方法，其特征在于，其步骤如下：
步骤一：设定SSD神经网络模型的初始参数，将织物疵点数据库中的织物疵点图像输入设定的SSD神经网络模型进行训练，得到深度学习的织物检测模型；
步骤二：将待检测的织物图像输入到步骤一训练好的织物检测模型，对织物图像进行特征提取，选取出多个可能是疵点目标的候选框；
步骤三：基于设定好的判别阈值对步骤二中的候选框进行判别得到最终的疵点目标，利用疵点目标所在候选框的交并比阈值选择疵点目标框，存储疵点的位置坐标信息并输出疵点目标框。
2.根据权利要求1所述的基于端到端神经网络的织物疵点检测方法，其特征在于，所述SSD神经网络模型是基于前馈卷积网络VGG-16的网络结构，VGG-16网络结构生成固定大小的候选框集，并在候选框框中显示对象类实例，接着采用非最大的抑制方法来产生最终的检测结果，并显示目标类、对应目标概率及目标框；SSD神经网络模型的初始参数包括网络层数、各层神经元的权值及偏置值；SSD神经网络模型的最初学习率为0.001、最小学习率为0.00001、最小损失值为0.5，最大训练迭代步数为20000。
3.根据权利要求1或2所述的基于端到端神经网络的织物疵点检测方法，其特征在于，所述SSD神经网络模型训练的方法为：1)将输入的织物疵点图像预处理分割成300pixel×300pixel的图像块后，再输入SSD神经网络；2)SSD神经网络对输入的图像块进行处理，输出损失值Loss的计算公式为：
其中，L(x,c,l,g)是根据输入图像中标记的真值框与预测的目标位置的置信度损失和位置信息损失计算得到的损失值，N是真值框匹配的候选框个数；x为第i个默认框和第j个真值框的匹配概率值，xij＝{1,0}；c是判断为目标的概率值；l为预测所得目标框的位置信息；g为真值框的位置信息，即x轴和y轴上最大值和最小值四个数据；α为权衡置信损失和位置损失的参数；Lloc为位置信息损失，根据预测框和真值框信息，采用的是Smooth L1 Loss；Lconf为置信度损失，其计算公式为：
这里
根据损失值修改各层神经元的权值；重复步骤1)-2)，直至损失值在设定阈值范围内或达到最大训练迭代步数，停止训练。
4.根据权利要求3所述的基于端到端神经网络的织物疵点检测方法，其特征在于，所述SSD神经网络模型选取的织物疵点图像的第三层、第四层、第七层、第八层、第九层和第十层的特征图，第三层、第四层、第七层、第八层、第九层和第十层的特征图的大小逐渐减少；利用卷积特征的第三层特征图对织物疵点进行预处理。
5.根据权利要求1所述的基于端到端神经网络的织物疵点检测方法，其特征在于，所述候选框的坐标与特征图上原始图像坐标的映射关系为：
其中，(cx,cy)是候选框在特征图上的中心坐标；wb,hb分别是候选框的宽度和长度；wf,hf是对应特征图的宽度和长度；wi,hi是原始输入图像的宽度和高度；(xmin,xmax,ymin,ymax)是第k层特征图内大小为wk,hk、以为中心坐标的候选框映射到原始图像的四个坐标信息，其中，|fk|是第k个特征图的尺寸大小，p,q∈{0,1,2,…,|fk|-1}，并截取默认框的坐标使其在[0,1]内。
6.根据权利要求1或4所述的基于端到端神经网络的织物疵点检测方法，其特征在于，在不同特征层上，添加的每个特征层都使用一组卷积核生成一组固定的预测框，每层都会产生多个候选框；对每一层特征层，通过卷积核可得到疵点目标对应真值框的概率及坐标偏移量，坐标偏移量根据卷积方法中感受野的计算方式得到；每层特征层都会产生候选框，每个候选框相对于这一层的特征图，其位置是特定的；在特征图的每个像素点处，分别对应k个候选框，对于给定位置的k个候选框，计算它对应真值框的分数和相对于真值框形状的4个位置偏移量，对m×n的特征图会有(cl+4)kmn个参数输出，cl为目标的类别总数。
7.根据权利要求6所述的基于端到端神经网络的织物疵点检测方法，其特征在于，将步骤二得到的所有候选框送入非最大值抑制网络中，通过非最大值抑制方法和边界框回归获得真实目标的位置，边界框回归是根据卷积核的大小及池化层的大小和步数反向计算得到的：
对于每个特征点处的k个候选框，首先对候选框与真值框进行比对，当交并比大于0.5时保留此候选框并向后传递，否则舍弃；当所有候选框与所有真值框的交并比都低于0.5时，选择交并比最大的一个候选框进行传输；在选择候选框之后，通过损失函数的损失值调整学习率及各特征层之间的权值。
8.根据权利要求1所述的基于端到端神经网络的织物疵点检测方法，其特征在于，所述步骤三中根据设定的概率阈值得到最终的疵点目标；多个预测目标框的重叠部为交并比，根据设定的交并比阈值，将最终的疵点目标位置保存在SSD神经网络模型中并将检测到的目标用矩形框标识及显示。
9.根据权利要求1所述的基于端到端神经网络的织物疵点检测方法，其特征在于，所述织物疵点数据库是从德国模式织物图像数据库中随机挑选包括破洞、断经、错纬和断纬的常见疵点图像，对织物疵点数据库进行数据增强的方法为：对其中的图像进行分别进行90度、180度和270度转置操作，使织物疵点数据库扩充为原来的4倍；接着对数据库锐化处理，再次扩展2倍，最终将织物疵点数据库扩展为原来的8倍。
CN201811575580.1A 2018-12-22 2018-12-22 一种基于端到端神经网络的织物疵点检测方法 Pending CN109613006A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811575580.1A CN109613006A (zh) 2018-12-22 2018-12-22 一种基于端到端神经网络的织物疵点检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811575580.1A CN109613006A (zh) 2018-12-22 2018-12-22 一种基于端到端神经网络的织物疵点检测方法

Publications (1)

Publication Number Publication Date
CN109613006A true CN109613006A (zh) 2019-04-12

Family

ID=66010405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811575580.1A Pending CN109613006A (zh) 2018-12-22 2018-12-22 一种基于端到端神经网络的织物疵点检测方法

Country Status (1)

Country Link
CN (1) CN109613006A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110136126A (zh) * 2019-05-17 2019-08-16 东南大学 基于全卷积神经网络的织物纹理瑕疵检测方法
CN110288563A (zh) * 2019-05-22 2019-09-27 苏州万卓纺织有限公司 一种基于深度学习的织物疵点检测方法
CN110348390A (zh) * 2019-07-12 2019-10-18 创新奇智(重庆)科技有限公司 一种火焰检测模型的训练方法、计算机可读介质及系统
CN110349146A (zh) * 2019-07-11 2019-10-18 中原工学院 基于轻量级卷积神经网络的织物缺陷识别系统的搭建方法
CN110705583A (zh) * 2019-08-15 2020-01-17 平安科技（深圳）有限公司 细胞检测模型训练方法、装置、计算机设备及存储介质
CN110826476A (zh) * 2019-11-02 2020-02-21 国网浙江省电力有限公司杭州供电公司 识别目标物体的图像检测方法、装置、电子设备和存储介质
CN110866907A (zh) * 2019-11-12 2020-03-06 中原工学院 基于注意力机制的全卷积网络织物疵点检测方法
CN110930387A (zh) * 2019-11-21 2020-03-27 中原工学院 基于深度可分离卷积神经网络的织物疵点检测方法
CN111242070A (zh) * 2020-01-19 2020-06-05 上海眼控科技股份有限公司 目标物体检测方法、计算机设备和存储介质
CN111402226A (zh) * 2020-03-13 2020-07-10 浙江工业大学 一种基于级联卷积神经网络的表面疵点检测方法
CN111611947A (zh) * 2020-05-25 2020-09-01 济南博观智能科技有限公司 一种车牌检测方法、装置、设备及介质
CN111915549A (zh) * 2019-05-09 2020-11-10 富泰华工业（深圳）有限公司 瑕疵检测方法、电子装置及计算机可读存储介质
CN112014407A (zh) * 2020-09-03 2020-12-01 浙江长芯光电科技有限公司 一种集成电路晶圆表面缺陷检测的方法
CN112036541A (zh) * 2020-10-16 2020-12-04 西安工程大学 一种基于遗传算法优化神经网络的织物疵点检测方法
CN112712119A (zh) * 2020-12-30 2021-04-27 杭州海康威视数字技术股份有限公司 确定目标检测模型的检测准确率的方法和装置
CN112818964A (zh) * 2021-03-31 2021-05-18 中国民航大学 基于FoveaBox无锚神经网络的无人机检测方法
CN113780270A (zh) * 2021-03-23 2021-12-10 京东鲲鹏(江苏)科技有限公司 目标检测方法和装置
CN113989542A (zh) * 2021-09-27 2022-01-28 浙江大学绍兴微电子研究中心 一种基于多分辨率特征融合的纹理图像疵点分类系统及方法
CN114519699A (zh) * 2022-01-24 2022-05-20 北京航空航天大学 一种布料破洞的检测方法、装置及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169956A (zh) * 2017-04-28 2017-09-15 西安工程大学 基于卷积神经网络的色织物疵点检测方法
CN107256541A (zh) * 2017-06-15 2017-10-17 北京航空航天大学 一种基于卷积神经网络的多光谱遥感图像去雾方法
CN107480772A (zh) * 2017-08-08 2017-12-15 浙江大学 一种基于深度学习的车牌超分辨率处理方法及系统
CN107870172A (zh) * 2017-07-06 2018-04-03 黎明职业大学 一种基于图像处理的布匹疵点检测方法
CN108257158A (zh) * 2018-03-27 2018-07-06 福州大学 一种基于循环神经网络的目标预测与跟踪方法
CN108389180A (zh) * 2018-01-19 2018-08-10 浙江工业大学 一种基于深度学习的织物疵点检测方法
CN108460328A (zh) * 2018-01-15 2018-08-28 浙江工业大学 一种基于多任务卷积神经网络的套牌车检测方法
CN108460764A (zh) * 2018-03-31 2018-08-28 华南理工大学 基于自动上下文和数据增强的超声图像智能分割方法
CN108491757A (zh) * 2018-02-05 2018-09-04 西安电子科技大学 基于多尺度特征学习的光学遥感图像目标检测方法
CN108960198A (zh) * 2018-07-28 2018-12-07 天津大学 一种基于残差ssd模型的交通标志检测与识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169956A (zh) * 2017-04-28 2017-09-15 西安工程大学 基于卷积神经网络的色织物疵点检测方法
CN107256541A (zh) * 2017-06-15 2017-10-17 北京航空航天大学 一种基于卷积神经网络的多光谱遥感图像去雾方法
CN107870172A (zh) * 2017-07-06 2018-04-03 黎明职业大学 一种基于图像处理的布匹疵点检测方法
CN107480772A (zh) * 2017-08-08 2017-12-15 浙江大学 一种基于深度学习的车牌超分辨率处理方法及系统
CN108460328A (zh) * 2018-01-15 2018-08-28 浙江工业大学 一种基于多任务卷积神经网络的套牌车检测方法
CN108389180A (zh) * 2018-01-19 2018-08-10 浙江工业大学 一种基于深度学习的织物疵点检测方法
CN108491757A (zh) * 2018-02-05 2018-09-04 西安电子科技大学 基于多尺度特征学习的光学遥感图像目标检测方法
CN108257158A (zh) * 2018-03-27 2018-07-06 福州大学 一种基于循环神经网络的目标预测与跟踪方法
CN108460764A (zh) * 2018-03-31 2018-08-28 华南理工大学 基于自动上下文和数据增强的超声图像智能分割方法
CN108960198A (zh) * 2018-07-28 2018-12-07 天津大学 一种基于残差ssd模型的交通标志检测与识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHOUFENG LIU.ET: "Fabric Defects Detection based on SSD", 《PROCEEDINGS OF THE 2ND INTERNATIONAL CONFERENCE ON GRAPHICS AND SIGNAL PROCESSING-ICGSP》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111915549A (zh) * 2019-05-09 2020-11-10 富泰华工业（深圳）有限公司 瑕疵检测方法、电子装置及计算机可读存储介质
CN110136126A (zh) * 2019-05-17 2019-08-16 东南大学 基于全卷积神经网络的织物纹理瑕疵检测方法
CN110288563A (zh) * 2019-05-22 2019-09-27 苏州万卓纺织有限公司 一种基于深度学习的织物疵点检测方法
CN110349146A (zh) * 2019-07-11 2019-10-18 中原工学院 基于轻量级卷积神经网络的织物缺陷识别系统的搭建方法
CN110349146B (zh) * 2019-07-11 2020-06-02 中原工学院 基于轻量级卷积神经网络的织物缺陷识别系统的搭建方法
CN110348390A (zh) * 2019-07-12 2019-10-18 创新奇智(重庆)科技有限公司 一种火焰检测模型的训练方法、计算机可读介质及系统
CN110348390B (zh) * 2019-07-12 2023-05-16 创新奇智(重庆)科技有限公司 一种火焰检测模型的训练方法、计算机可读介质及系统
CN110705583A (zh) * 2019-08-15 2020-01-17 平安科技（深圳）有限公司 细胞检测模型训练方法、装置、计算机设备及存储介质
CN110705583B (zh) * 2019-08-15 2024-03-15 平安科技（深圳）有限公司 细胞检测模型训练方法、装置、计算机设备及存储介质
CN110826476A (zh) * 2019-11-02 2020-02-21 国网浙江省电力有限公司杭州供电公司 识别目标物体的图像检测方法、装置、电子设备和存储介质
CN110866907A (zh) * 2019-11-12 2020-03-06 中原工学院 基于注意力机制的全卷积网络织物疵点检测方法
CN110930387A (zh) * 2019-11-21 2020-03-27 中原工学院 基于深度可分离卷积神经网络的织物疵点检测方法
CN111242070A (zh) * 2020-01-19 2020-06-05 上海眼控科技股份有限公司 目标物体检测方法、计算机设备和存储介质
CN111402226A (zh) * 2020-03-13 2020-07-10 浙江工业大学 一种基于级联卷积神经网络的表面疵点检测方法
CN111611947A (zh) * 2020-05-25 2020-09-01 济南博观智能科技有限公司 一种车牌检测方法、装置、设备及介质
CN111611947B (zh) * 2020-05-25 2024-04-09 济南博观智能科技有限公司 一种车牌检测方法、装置、设备及介质
CN112014407A (zh) * 2020-09-03 2020-12-01 浙江长芯光电科技有限公司 一种集成电路晶圆表面缺陷检测的方法
CN112036541A (zh) * 2020-10-16 2020-12-04 西安工程大学 一种基于遗传算法优化神经网络的织物疵点检测方法
CN112036541B (zh) * 2020-10-16 2023-11-17 西安工程大学 一种基于遗传算法优化神经网络的织物疵点检测方法
CN112712119B (zh) * 2020-12-30 2023-10-24 杭州海康威视数字技术股份有限公司 确定目标检测模型的检测准确率的方法和装置
CN112712119A (zh) * 2020-12-30 2021-04-27 杭州海康威视数字技术股份有限公司 确定目标检测模型的检测准确率的方法和装置
CN113780270A (zh) * 2021-03-23 2021-12-10 京东鲲鹏(江苏)科技有限公司 目标检测方法和装置
CN113780270B (zh) * 2021-03-23 2024-06-21 京东鲲鹏(江苏)科技有限公司 目标检测方法和装置
CN112818964A (zh) * 2021-03-31 2021-05-18 中国民航大学 基于FoveaBox无锚神经网络的无人机检测方法
CN113989542A (zh) * 2021-09-27 2022-01-28 浙江大学绍兴微电子研究中心 一种基于多分辨率特征融合的纹理图像疵点分类系统及方法
CN114519699A (zh) * 2022-01-24 2022-05-20 北京航空航天大学 一种布料破洞的检测方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN109613006A (zh) 一种基于端到端神经网络的织物疵点检测方法
CN109147254B (zh) 一种基于卷积神经网络的视频野外火灾烟雾实时检测方法
CN108010067B (zh) 一种基于组合判断策略的视觉目标跟踪方法
CN108319972B (zh) 一种针对图像语义分割的端到端差异网络学习方法
CN109711474A (zh) 一种基于深度学习的铝材表面缺陷检测算法
CN111368769B (zh) 基于改进锚点框生成模型的船舶多目标检测方法
CN110119728A (zh) 基于多尺度融合语义分割网络的遥感图像云检测方法
CN108009509A (zh) 车辆目标检测方法
CN107833220A (zh) 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN109829893A (zh) 一种基于注意力机制的缺陷目标检测方法
CN109583425A (zh) 一种基于深度学习的遥感图像船只集成识别方法
CN109063594A (zh) 基于YOLOv2的遥感图像快速目标检测方法
CN110363201A (zh) 基于协同学习的弱监督语义分割方法及系统
CN109800628A (zh) 一种加强ssd小目标行人检测性能的网络结构及检测方法
CN109635875A (zh) 一种基于深度学习的端到端网口检测方法
CN109934200A (zh) 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统
CN109740665A (zh) 基于专家知识约束的遮挡图像船只目标检测方法及系统
CN108830285A (zh) 一种基于Faster-RCNN的加强学习的目标检测方法
CN106649487A (zh) 基于兴趣目标的图像检索方法
CN109671102A (zh) 一种基于深度特征融合卷积神经网络的综合式目标跟踪方法
CN108304820A (zh) 一种人脸检测方法、装置及终端设备
CN109558815A (zh) 一种实时多人脸的检测及跟踪方法
CN110135522A (zh) 一种检测与标注遥感图像小目标一体化的智能方法
CN109522855A (zh) 结合ResNet和SENet的低分辨率行人检测方法、系统及存储介质
CN106780504B (zh) 一种基于距离保持水平集的牛肉图像中背长肌自动分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190412

RJ01 Rejection of invention patent application after publication