CN111047655A - 基于卷积神经网络的高清摄像机布料疵点检测方法 - Google Patents

基于卷积神经网络的高清摄像机布料疵点检测方法 Download PDF

Info

Publication number
CN111047655A
CN111047655A CN202010026201.4A CN202010026201A CN111047655A CN 111047655 A CN111047655 A CN 111047655A CN 202010026201 A CN202010026201 A CN 202010026201A CN 111047655 A CN111047655 A CN 111047655A
Authority
CN
China
Prior art keywords
cloth
image
defect
network
definition camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010026201.4A
Other languages
English (en)
Other versions
CN111047655B (zh
Inventor
徐斌
曾祥永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Interjoy Technology Ltd
Original Assignee
Beijing Interjoy Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Interjoy Technology Ltd filed Critical Beijing Interjoy Technology Ltd
Priority to CN202010026201.4A priority Critical patent/CN111047655B/zh
Publication of CN111047655A publication Critical patent/CN111047655A/zh
Application granted granted Critical
Publication of CN111047655B publication Critical patent/CN111047655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/93—Detection standards; Calibrating baseline adjustment, drift correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8874—Taking dimensions of defect into account
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及一种基于卷积神经网络的高清摄像机检测布料疵点的方法。该方法首先通过高清摄像机拍摄待检测布料，并对拍摄环境进行补光，保证采集图像包含清晰纹理、颜色等信息；然后判定布料是否处于待检测状态，若布料位置信息准确，自动拍摄并将图片送入设计的神经网络，经过深度学习算法提取特征，检测并标记布料疵点位置。该装置包括：高清摄像机、补光灯、底座、硬件运算平台。该方法对不同类型、不同大小的疵点都有理想的检测结果,可在提高疵点检测速度、检测精度的同时，兼顾实用性。

Description

基于卷积神经网络的高清摄像机布料疵点检测方法
背景技术
本发明涉及布料疵点检测领域，尤其涉及基于深度学习算法的一种基于卷积神经网络的高清摄像机检测布料疵点的方法。
技术领域
随着计算机的软硬件性能的不断提高，计算机视觉技术也得到了明显提升且开始广泛应用于各个行业。物体的图像检测是计算机视觉技术的一项重要分支，自动化、智能化、高效化的物体图像检测成为产品生产中愈发重要的技术需求。其中自动化的布料疵点检测就需要物体图像检测技术。搭建切实可靠的物体图像检测环境，设计高效准确的检测算法已经成为不可或缺的环节。
目前国内布料疵点的检测多数依靠传统的人工检测方式，该方式存在诸多问题，包括：1)误检率、漏检率较高；2)长时间工作导致视觉疲劳，影响员工视力，且无法保证后续工作的准确性、高效性；3)检测结果带有较强主观性，无法统一检测标准。
疵点检测作为布料质量评估的重点，其核心在于布料疵点的特征提取算法，主要分为：(1)基于模型的方法，该方法通过随机过程建模检测布料疵点，虽然对布料纹理有比较不错的描述能力，但计算量较大，且对细微疵点识别率极低；(2)基于空间域的统计方法，该方法极易受噪声影响，对细微疵点存在严重漏检现象；(3)基于频域的方法，此方法可从整体到局部确定疵点位置，但对复杂纹理布料检测率很低。这类检测算法主要是对灰度图像进行处理，而对彩色布料和细微疵点存在严重漏检现象，目前绝大多数布料检测算法仅针对于特定少量疵点进行测试，对算法的实用性、可行性缺少数据验证。
由于现有的布料检测系统功能单一，真正应用实际生产的并不多，目前已出现的自动化验布装置有：以色列埃尔博特(EVS)公司推出的I-TEX系列布料自动检测系统，瑞士乌斯特(Uster)公司推出的Uster Visotex系统，以及德国Opdix光电子技术公司开发的布料检测系统；以上系统对硬件投资过大，价格过于昂贵，国内尚无类似产品销售。综上所述，现有布料检测装置存在成本较高，效率、准确率较低,对细微疵点检测难等问题。
中国专利CN201710107169.0公开了一种多层次模型布匹疵点检测方法和系统，在布匹图像的疵点检测的过程中使用了3个模型：预分类模型、卷积神经网络模型FabricNet和终分类模型。采集布匹图像，对其分割得到ROI图像，计算ROI图像的GLCM的特征值组成特征向量V1；将V1输入Model1判断ROI图像是否为疵点图像，若为疵点图像则将疵点图像输入FabricNet，得到纹理特征向量V2；若不是疵点图像则得到了ROI图像的判别结果；将V2输入Model2，得出疵点图像的疵点分类判别结果；最终得到布匹图像的疵点检测结果。
发明内容
本发明型的目的是提供一种基于卷积神经网络的高清摄像机布料疵点检测方法，用以克服或者缓解现有技术中上述缺陷。该方法首先通过高清摄像机拍摄待检测布料，并对拍摄环境进行补光，保证采集图像包含清晰纹理、颜色等信息；然后判定布料是否处于待检测状态，若布料位置信息准确，自动拍摄并将图片送入设计的神经网络，经过深度学习算法提取特征，检测并标记布料疵点位置。该方法对不同类型、不同大小的疵点都有理想的检测结果,可在提高疵点检测速度、检测精度的同时，兼顾实用性。
本发明提供一种基于卷积神经网络的高清摄像机布料疵点检测方法是通过高清摄像机拍摄待检测布料，并对拍摄环境进行补光，保证采集图像包含清晰纹理、颜色等信息；然后判定布料是否处于待检测状态，若布料位置信息准确，自动拍摄并将图片送入设计的神经网络，经过深度学习算法提取特征，检测并标记布料疵点位置。
具体包括的步骤：
1)采集布料疵点数据集，并建立一千万以上数量级的训练卷积网络的数据；
步骤1.1：建立疵点数据集
以布料生产线上的多种颜色(包括藏蓝色、金灰色、暗红色、粉红色等)多纹理布料为采集对象，疵点包括不同颜色(黑色、粉色、红色、紫色、棕色等)、形状(包括脏污、刮纱、织稀、跳花等)、大小(疵点直径大小最小涉及以毫米为单位)；与正常无疵点图像建立数据集。采集正样本(无疵点布料图像)500万数据集，负样本(各类型、颜色疵点布料图像)500万数据集；由于疵点形态大小各异新增200万困难样本，并通过裁剪、模糊变换等扩充数据集。
步骤1.2：疵点选择
首先将采集的数据集切分为待训练的像素块，像素块大小范围为(64*64-512*512)不等，优选128*128像素块；
本发明将采集的数据集切分为128*128像素的bmp、jpg格式，并送入训练网络；
2)：通过对比实验设置最佳卷积网络模型
步骤2.1设计网络结构：
本发明设计一种包含7个卷积层、6个激活函数层，1个softmax层的卷积网络结构，其中前6个卷积层每层接一个激励函数，卷积层之间采用反向传播梯度下降算法进行权值更新，最后一层与改进的NMS算法通过交叉熵损失函数连接。此网络模型通过加深特征提取深度取代池化层；通过卷积方式直接进行特征映射替代全连接层。
本发明所述网络结构无全连接层，可对疵点图像进行缩放且缩放后不影响检测结果。
步骤2.2：训练网络模型
高清摄像机采集的数据集可清晰拍摄布料纹理细节；卷积网络根据布料纹理学习，构建图像样本集，并采用RGB均值法确定包含图像边缘信息的数据集(该类数据影响疵点判定，筛选出该类数据集并做单独训练)。
通过对比试验，确定卷积网络结构后，利用反向传播算法确定卷积权值，利用权值共享减少网络参数；
3)：通过大量的数据集，不断训练卷积网络模型，增强鲁棒性；并改进判别算法；
步骤3.1改进的NMS(non maximum suppression)算法
该方法采用多框合并的计算方式过滤疵点，减少误检。由于细微疵点直径较小，检测框检测结果具有很大的误检率，传统NMS算法无法进行高效的判定，本发明提出一种改进的NMS算法，过滤误检(其中黄色为卷积网络检测的误检框，红色为改进的NMS最终判定的误检框)；
4)：结合工厂实地检测环境，搭建高清相机装置。
步骤4.1搭建高清相机装置
由于在工厂实地生产过程中，环境因素影响较大，为满足各种环境，空间的影响，本发明不限定单一的装置模型，可根据工厂环境和布料状态搭建合适的装置；
步骤4.2装置，包括：高清摄像机、补光灯、底座、硬件运算平台；
步骤4.3搭建装置原则
搭建过程中必须保证：每个高清摄像机前置镜头前需连接补光灯装置，这是保证获取清晰纹理信息的前提；根据布料状态定制合适底座(如：检测内衣底座为凹状平台)，并确定摄像头离待检测布料距离；根据工厂布料检测质量的高低设定摄像头装置的位置和个数(如：为高质量检测内衣正面和反面各角度疵点，可设置六个摄像头如图4所示)；根据工厂环境选择合适的硬件运算平台GPU、CPU、计算棒等。
所述高清摄像机是分辨率不低于1280*720像素的高性能摄像机，可拍摄布料细节纹理；所述摄像机安置于布料上方和下放，采集布料正面反面信息，保证布料在采集过程中不受拍摄角度、光照环境、光线等因素影响，根据不同情况可选择不同数量的摄像机；优选6000*4000像素的高性能摄像机；
所述补光灯可使得机器在较暗环境中正常工作，检测不同的布料使用不同的补光策略；
所述底座可用来固定目标布料，检测不同的布料形状，选择不同的固定底座。
所述硬件运算平台基于GPU、CPU、计算棒等，检测速度快，适用于实际生产需求。
本发明提供的上述基于卷积神经网络的高清摄像机布料疵点检测方法的检测装置包括：
图像采集模块部分和图像处理模块部分；
图像采集模块部分包括：高清摄像机装置、底座、支架，用于提取待测布料信息，高清摄像机，用于获取高清图像；补光灯，对目标进行补光，保证拍摄环境光线充足，拍摄数据清晰；底座，用于放置目标布料。
图像处理模块部分包括：硬件运算平台和设计网络模型模块儿，硬件运算平台为CPU、GPU、运算棒，实现深度学习算法的芯片；设计网络模型模块儿为训练网络模型。
本发明提供的一种基于卷积神经网络的高清摄像机布料疵点检测方法，其过程包括如下：
由所述装置拍摄图片，送入神经网络，使用深度学习算法计算疵点颜色、纹理与正常区域之间的特征差异，输出识别结果，并将识别结果通过UI界面(User Interface，用户界面)等显示(其显示结果如图5-图7所示)。
本发明所述卷积网络通过对3层，5层，6层，7层，8层，9层等层数的卷积网络检测精度，检测速度做对比，最后选择可兼顾检测速度与检测精度的7层卷积神经网络，该网络包含7层卷积，可充分降低卷积参数提高检测准确率。
本发明可检测以毫米为单位的细微疵点，并且检测速度可达0.6316ms每张。
本发明具有以下特点：
1)可在提高疵点检测速度、检测精度的同时，兼顾实用性，对不同类型、不同大小的疵点都有较理想的检测结果。
2)由高清摄像机获取图片后送入神经网络，采用基于深度学习算法识别疵点颜色、纹理信息，具有高准确率特点。
3)采用卷积神经网络，权值共享、减少计算量，提高计算速度。
4)本发明所述卷积网络通过实验测试获得，包含多层卷积，充分降低卷积参数提高检测准确率。
5)采集获取大量原始目标图像数据集，以保证卷积过程具有充分的训练效果，减小过拟合，从而增强鲁棒性。
6)检测疵点包括不同颜色(黑色、粉色、红色、紫色、棕色、青色、白色、藏蓝色包括但不限于以上颜色)、形状(包括脏污、刮纱、织稀、跳花等)、大小(疵点直径大小精确至毫米)；
7)所述布料包括但不限于服装布料内衣内部、内衣外部、内衣肩带等各种布料。
8)所述装置可实现工业生产质检中，对布料质量要求较高的细微疵点检测要求。所述装置可应用于对布料要求更高的生产企业。
9)所述装置可根据布料检测要求和布料疵点分布范围设定高清摄像机的个数和摄像机拍摄角度。
10)所述网络为无全连接层的7层网络模型，网络层数较少，参数量较低，网络检测速度快且易于拓展，所述网络模型可精确检测以毫米为单位的细微疵点；
总之，本发明提供的了一种基于卷积神经网络的高清摄像机布料疵点检测方法及装置，当高清摄像机拍摄到目标布料时，通过深度学习算法对目标进行检测，具有速度快、准确率高，可信度高、可长时间高效工作等特点。且适用性较强，基本实现工业生产中，对布料质量要求较高的细微疵点检测要求。
附图说明
图1为单个摄像机装置整体效果。
图2为卷积神经网络布料疵点检测算法流程图。
图3为网络结构图(可根据实际需求进行适当改进)。
图4为多摄像机装置整体效果。
图5为脏污检测结果图。
图6为刮纱检测结果图。
图7为细微疵点检测结果图。
图8为检测装置的运行框图。
具体实施方式
下面结合本发明的具体实施例内容，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明型一部分实施例，而不是全部的实施例。基于本发明型的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明型的保护范围。
特别说明，实施例中所涉及的设备(硬件部分，图像采集模块部分，图像处理模块部分)、材料等，如无特殊说明，均可从商业途径得到。未注明具体条件的实验方法，通常按照常规条件以及手册中所述的条件，或按照制造厂商所建议的条件。
实施例1：
如图1所示，本发明的实施例提供一种基于卷积神经网络的高清摄像机布料疵点检测方法及装置可采集目标图像，并对布料疵点进行检测并将结果显示于UI界面；装置包括：
1)高清摄像机，用于获取高清图像；
2)补光灯，对目标进行补光，保证拍摄环境光线充足，拍摄数据清晰；
3)底座，用于放置目标布料。
如图8所示为检测装置连接和具体流程图，包括图像采集模块部分和图像处理模块部分，图像采集模块部分包括高清相机装置、底座、支架，用于提取待测布料信息，所述高清相机装置可保证采集的图像清晰、完整。相机将采集的布料图片送入图像处理模块儿，图像处理模块部分包括硬件运算平台和设计网络模型，硬件运算平台可以为CPU、GPU、运算棒等可实现深度学习算法的芯片，所述网络设计模块部分为所述训练网络模型，具体训练步骤如图2所示。
如图2所示，为卷积神经网络布料疵点检测网络设计流程图，显示布料检测过程中算法的设计过程；首先对采集的数据集进行预处理，保证网络具有充分的学习数据，再进行裁剪和扩充标记等；同时根据纹理信息构建图像样本集、RGB均值确定图像边缘信息；再将处理后的图像送入设计的7层卷积神经网络，通过反向传播算法确定卷积网络权值(即网络具有了判断缺陷的能力)，最后为提高检测精度，减少误检提出改进的NMS算法，将最终检测疵点标注，并显示为红框。
如图3所示，为网络结构图，总共包含7个卷积层，前四层卷积网络步长为2，为保证布料数据完整性，通道数由32随卷积层数逐层成倍增加；第五、六层卷积网络步长为1，通道数分别为256、512；第7层网络步长为1并输出两个高维特征。将裁剪的128*128检测图像送入网络后，通过7层网络判定该图片是否存在疵点。
如图4所示，显示多个相机共同拍摄布料模型图，包括：1)多个高清摄像机(可根据检测质量确定摄像头个数)，用于获取高清图像，安置于布料上方和下放，采集布料正面反面信息，保证布料在采集过程中不受拍摄角度、光照环境、光线等因素影响；2)布料位置，放置于底座内；3)底座，用于放置目标布料，可清晰拍摄布料正反面。
所述高清摄像机，根据不同环境、不同目标，选择不同的补光策略、旋转角度、高度，保证检测图像的准确性、多样性可追溯性。
所述拍摄背景选择纯色且干净背景，以防止背景缺陷对待测布料的干扰，而出现误检情况。所述纯色背景可根据待检测布料颜色和拍摄环境决定，通常设定与待测布料颜色对应的对比色背景，如：若待测布料为黑色或深色布料可选取白色或浅色背景；若待测布料为白色或浅色布料可选取深色背景。
所述检测图像需要保证目标区域纹理清晰、光线明亮，可识别毫米级特征差异。
本发明具体实施过程为：采集正样本(无疵点布料图像)500万数据集，负样本(各类型、颜色疵点布料图像)500万数据集；由于疵点形态大小各异新增200万困难样本，训练设定的卷积网络模型，训练集稍大可在不印象检测速度的情况下提高检测精度。本发明采用无全连接层的7层卷积网络，可高效检测细微疵点图像，并且采用图像分块儿算法，提高检测速度。将训练好的卷积模型融入摄像头检测装置，当代疵点布料通过摄像头位置，摄像头自动采集并将采集的高清图片送入卷积网络，精确判定疵点位置。针对各疵点布料，平均检测精度可达96％，检测速度可达可达0.6316ms每张，具体检测图像如图5、图6、图7所示。
实施例2：
所述的图像检测识别，通过高清摄像机获取数据，送入图3网络结构，包括以下具体计算步骤：
1)把拍摄图像送入网络，进行卷积计算，卷积方式如下：
Figure BDA0002362554440000071
Figure BDA0002362554440000081
Figure BDA0002362554440000082
Figure BDA0002362554440000083
Figure BDA0002362554440000084
W2＝(W1-F+2P)S+1
H2＝(H1-F+2P)S+1 (6)
FeatureMapi+1＝FeatureMapi*filter (7)
根据公式(6)，可以根据步长计算下一特征图尺寸，F表示卷积核filter尺寸，P表示对特征图边缘扩充的数量，S表示filter移动的步长。W1,H1和W2,H2分别表示计算前后的特征图FeatureMap宽高。
xi,j表示图像的第i行第j列元素；对filter的每个权重进行编号，用wm,n表示第m行第n列权重，用wb表示filter的偏置项。卷积步长stride＝1时，得到FeatureMap2公式(4)特征，卷积步长stride＝2时，得到FeatureMap3公式(5)特征。
Figure BDA0002362554440000085
f表示激励函数，增加深层神经网络的非线性。
根据公式(7)、(8)计算前向传播特征，拿到图像高维特征，经过softmax对其概率进行计算：
Figure BDA0002362554440000086
根据公式(9)，使得p(i)在[0,1]，如果p(0)>p(1),该区域有疵点；
2)，目标图像中，根据网络结构，制定步长，遍历整张图片，对每一个疵点区域进行NMS处理后在界面显示，改进的NMS方法如下：
Figure BDA0002362554440000091
Figure BDA0002362554440000092
num是经过IOU(Intersection-over-Union,IOU，交并比)计算之后，该区域所有框的数量，MaxProbability是该集合框最大概率；
根据公式(10)、(11)多框合并，过滤误检，提高准确率。
实施例3：
本发明具体实施方式为：通过实地调研，以某布料生产企业实地采集数据集，选取经过样本扩充的1200万张图像中1100万张图像作为学习集L0，其中，正负样本各占550万张，正、负样本分别包括藏蓝色、金灰色、暗红色、粉红色、暗紫色布料图片各110万张，各颜色布料纹理样式各异，且分布均匀；负样本各颜色内又包括脏污、刮纱、织稀、跳花、破洞各22万张。学习集数据L0按照19:1分为训练集L01和测试集L02；将L01输入搭建的卷积神经网络模型进行训练，利用反向传播算法调整参数；紧接着采用改进的NMS算法，多框合并，过滤误检。若测试正确率达不到要求则继续训练。
最终测试得到针对脏污图像、刮纱图像、织稀图像、跳花图像、破洞图像，检测精度分别为99.8％、99.2％、99.6％、99.6％、99.8％，检测速度可达可达0.6316ms每张的网络模型。
为提高图片像素，本发明优选6000*4000高清相机，并采用外置补光灯对布料样本进行采集。训练过程中，相比传统的NMS算法运用交并比(IOU)进行多框合并，保留最优框；若存在单个置信度较高的误检框，传统的NMS算法无法准确判定。针对这一问题，本发明提出一种改进的NMS算法，采用多框合并方式过滤疵点，减少误检，具体方式如实施例2所述。
本发明研究可适用于各类生产线的检测算法，为使卷积神经网络脱离GPU显存限制，并能够在普通设备上高速运行，提出一种特征图分割算法：将原始图像分为多块，并行运算，通过对比试验结果表明，该方法可使每张图像检测时间缩小60ms及以上。本发明采用6000*4000高清相机以步长为16，像素为128*128的滑动窗口遍历分块后的图像，再送入网络。具体公式如下：
W＝(6000+p*s-1)+112 (12)
Y＝(4000+p*s)+112 (13)
其中，p为图像分块数量，s为滑动窗口步长，W、Y分别为分块后的长和宽。实际生产线中根据GPU显存大小确定分块数量，可在满足设备硬件要求的情况下，将检测速度提至最优。
本发明提供一种获取图像的硬件设施和图像检测算法，可以在不同环境下获取目标图像，并利用深度学习算法，通过卷积运算，提取图像高维特征，学习出有疵点布料与正常布料之间的特征差异，以此为据，对图像进行检测，检测结果具有较高可信度。
本发明是基于深度学习算法，具有速度快、准确率高、价格便宜、可持续工作等优点，适用于各种生产线检测，替代人工，降低生产成本，提高生产效率。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (9)

1.一种基于卷积神经网络的高清摄像机布料疵点检测方法，其特征在于：通过高清摄像机拍摄待检测布料，并对拍摄环境进行补光，保证采集图像包含清晰纹理、颜色信息；然后判定布料是否处于待检测状态，若布料位置信息准确，自动拍摄并将图片送入设计的神经网络，经过深度学习算法提取特征，检测并标记布料疵点位置，输出识别结果，并将识别结果通过UI界面；具体包括的步骤：
1)采集布料疵点数据集，并建立以一千万以上数量级的训练卷积网络的数据集；
(1)采集、建立疵点数据集
以布料生产线上的多种颜色包括藏蓝色、金灰色、暗红色、粉红色多纹理布料为采集对象，
a、布料疵点图像数据集，作为负样本包括类型：
疵点颜色：黑色、粉色、红色、紫色、棕色；
疵点形状：脏污、刮纱、织稀、跳花；
疵点大小：直径大小精确至以毫米为单位；
b、与上述对应类型的无疵点图像建立数据集，作为正样本；
所述无疵点布料图像正样本数据集为500万；
所述布料疵点图像数据集负样本500万；
所述布料疵点图像数据集困难样本200万：由于疵点形态大小各异新增困难样本；
(2)疵点选择
首先将采集的数据集切分为待训练的像素块，像素块大小范围为64*64-512*512不等；优选128*128像素块；
将采集的数据集切分为128*128像素的bmp、jpg格式，并送入训练网络；
2)：通过对比实验设置最佳卷积网络模型
(1)卷积网络结构包括：
多个卷积层、激活函数层，其后接损失函数层；优选：7个卷积层、6个激活函数层，1个softmax层的卷积网络结构，其中前6个卷积层每层接一个激励函数，卷积层之间采用反向传播梯度下降算法进行权值更新，最后一层与改进的NMS算法通过交叉熵损失函数连接；此网络模型通过加深特征提取深度取代池化层；通过卷积方式直接进行特征映射替代全连接层；该所述网络结构无全连接层，可对疵点图像进行缩放且缩放后不影响检测结果；
(2)训练网络模型
由高清摄像机拍摄布料纹理细节采集的数据集，卷积网络根据布料纹理学习，构建图像样本集，并采用RGB均值法确定包含图像边缘信息的数据集，该类数据影响疵点判定，筛选出该类数据集并做单独训练；
通过对比试验，确定卷积网络结构后，利用反向传播算法确定卷积权值，利用权值共享减少网络参数；
3)：将上述大量的原始目标图像数据集，不断训练卷积网络模型，增强鲁棒性；并使用改进NMS算法判别，采用多框合并的计算方式过滤疵点，减少误检，即过滤误检，其中黄色为卷积网络检测的误检框，红色为改进的NMS最终判定的误检框；
4)：搭建高清摄像机装置
按照布料生产线布料的实际环境，空间状态搭建所需要的高清相机装置，高清摄像机装置包括：高清摄像机、补光灯装置、底座、硬件运算平台；
(1)每个高清摄像机前置镜头前连接补光灯装置，摄像头与检测布料距离匹配，以便保证获取清晰纹理信息；底座用来固定目标布料，根据布料空间状态确定相对应的空间状态的底座形状，包括平面、立体及不规则形状；
(2)高清摄像机的安装空间位置和个数与布料疵点所需检测对应匹配，包括：布料正面和布料反面以及其它角度；
(3)硬件运算平台包括GPU、CPU或计算棒，进行计算。
2.根据权利要求1所述的检测方法，其特征在于所述的网络结构，包含7个卷积层，前四层卷积网络步长为2，为保证布料数据完整性，通道数由32随卷积层数逐层成倍增加；第五、六层卷积网络步长为1，通道数分别为256、512；第7层网络步长为1并输出两个高维特征；将裁剪的128*128检测图像送入网络后，通过7层网络判定该图片是否存在疵点。
3.根据权利要求1所述的检测方法，其特征在于所述的网络结构中进行卷积计算包括如下步骤：
Figure FDA0002362554430000031
Figure FDA0002362554430000032
Figure FDA0002362554430000033
Figure FDA0002362554430000034
Figure FDA0002362554430000035
W2＝(W1-F+2P)S+1
H2＝(H1-F+2P)S+1 (6)
FeatureMapi+1＝FeatureMapi*filter (7)
根据公式(6)，可根据步长计算下一特征图尺寸，F表示卷积核filter尺寸，P表示对特征图边缘扩充的数量，S表示filter移动的步长；W1,H1和W2,H2分别表示计算前后的特征图FeatureMap宽高；
xi,j表示图像的第i行第j列元素；对filter的每个权重进行编号，用wm,n表示第m行第n列权重，用wb表示filter的偏置项；卷积步长stride＝1时，得到FeatureMap2公式(4)特征，卷积步长stride＝2时，得到FeatureMap3公式(5)特征；
Figure FDA0002362554430000036
f表示激励函数，增加深层神经网络的非线性；
根据公式(7)、(8)计算前向传播特征，拿到图像高维特征，经过softmax对其概率进行计算：
Figure FDA0002362554430000041
根据公式(9)，p(i)为i点的概率值，使得p(i)在[0,1]，如果p(0)>p(1),该区域有疵点；
目标图像中，根据网络结构，制定步长，遍历整张图片，对每一个疵点区域进行NMS处理后在界面显示，改进NMS计算为如下步骤：
Figure FDA0002362554430000042
Figure FDA0002362554430000043
num是经过IOU计算之后，该区域所有框的数量，MaxProbability是该集合框最大概率；
根据公式(10)、(11)多框合并，过滤误检，提高准确率。
4.根据权利要求1所述的检测方法，其特征在于所述的高清摄像机的分辨率为不低于1280*720像素的高性能摄像机。
5.根据权利要求1所述的检测方法，其特征在于所述的高清摄像机拍摄背景选择无色或浅色，即浅绿色、浅蓝色、浅灰色，且干净背景；优选白色且干净背景，以防止背景缺陷对待测布料进行干扰，出现误检情况。
6.根据权利要求1所述的检测方法，其特征在于所述摄像机安置于布料上方和下方，采集布料正面、反面信息，保证布料在采集过程中不受拍摄角度、光照环境、光线因素影响。
7.根据权利要求1所述的检测方法，其特征在于所述的布料包括服装布料内衣内部、内衣外部、内衣肩带各种布料。
8.一种基于卷积神经网络的高清摄像机布料疵点检测方法使用的检测装置，其特征在于包括：
图像采集模块部分和图像处理模块部分；
所述的图像采集模块部分包括：高清摄像机装置、底座、支架，用于提取待测布料信息，高清摄像机，用于获取高清图像；补光灯，对目标进行补光，保证拍摄环境光线充足，拍摄数据清晰；底座，用于放置目标布料；
所述的图像处理模块部分包括：硬件运算平台和设计网络模型，硬件运算平台为CPU、GPU、运算棒等；网络模型为通过采集的数据集训练获取的卷积神经网络。
9.根据权利要求8所述的检测装置，其特征在于所述的高清摄像机为6000*4000像素的摄像机。
CN202010026201.4A 2020-01-10 2020-01-10 基于卷积神经网络的高清摄像机布料疵点检测方法 Active CN111047655B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010026201.4A CN111047655B (zh) 2020-01-10 2020-01-10 基于卷积神经网络的高清摄像机布料疵点检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010026201.4A CN111047655B (zh) 2020-01-10 2020-01-10 基于卷积神经网络的高清摄像机布料疵点检测方法

Publications (2)

Publication Number Publication Date
CN111047655A true CN111047655A (zh) 2020-04-21
CN111047655B CN111047655B (zh) 2024-05-14

Family

ID=70244294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010026201.4A Active CN111047655B (zh) 2020-01-10 2020-01-10 基于卷积神经网络的高清摄像机布料疵点检测方法

Country Status (1)

Country Link
CN (1) CN111047655B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598872A (zh) * 2020-05-15 2020-08-28 山东万腾智能科技有限公司 一种绝缘子裂纹检测方法及系统
CN111986161A (zh) * 2020-07-27 2020-11-24 山东万腾电子科技有限公司 一种零部件缺失检测方法及系统
CN112529093A (zh) * 2020-12-21 2021-03-19 上海英十信息科技有限公司 基于预检测权值的样本维度加权的模具清洗效果检验方法
CN113487166A (zh) * 2021-06-30 2021-10-08 桐乡市五疆科技发展有限公司 一种基于卷积神经网络的化纤飘丝质量检测方法及系统
CN114055605A (zh) * 2020-08-04 2022-02-18 张睿 一种智能化陶瓷布料系统
CN114170226A (zh) * 2022-01-24 2022-03-11 谱为科技(常州)有限公司 基于图像增强和卷积神经网络的布草检测方法、装置
CN114539586A (zh) * 2022-04-27 2022-05-27 河南银金达新材料股份有限公司 一种聚合物膜的表面处理生产工艺
CN115901789A (zh) * 2022-12-28 2023-04-04 东华大学 基于机器视觉的布匹瑕疵检测系统
EP4160524A1 (en) 2021-10-01 2023-04-05 AQC Industry Method for detecting at least one defect on a support, device and computer program associated

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845556A (zh) * 2017-02-09 2017-06-13 东华大学 一种基于卷积神经网络的织物疵点检测方法
CN108345832A (zh) * 2017-12-28 2018-07-31 新智数字科技有限公司 一种人脸检测的方法、装置及设备
CN108460403A (zh) * 2018-01-23 2018-08-28 上海交通大学 一种图像中多尺度特征融合的目标检测方法与系统
WO2018165753A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
CN109145854A (zh) * 2018-08-31 2019-01-04 东南大学 一种基于级联卷积神经网络结构的人脸检测方法
CN109948570A (zh) * 2019-03-26 2019-06-28 大连大学 一种用于动态环境下的无人机实时检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845556A (zh) * 2017-02-09 2017-06-13 东华大学 一种基于卷积神经网络的织物疵点检测方法
WO2018165753A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
CN108345832A (zh) * 2017-12-28 2018-07-31 新智数字科技有限公司 一种人脸检测的方法、装置及设备
CN108460403A (zh) * 2018-01-23 2018-08-28 上海交通大学 一种图像中多尺度特征融合的目标检测方法与系统
CN109145854A (zh) * 2018-08-31 2019-01-04 东南大学 一种基于级联卷积神经网络结构的人脸检测方法
CN109948570A (zh) * 2019-03-26 2019-06-28 大连大学 一种用于动态环境下的无人机实时检测方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598872A (zh) * 2020-05-15 2020-08-28 山东万腾智能科技有限公司 一种绝缘子裂纹检测方法及系统
CN111986161A (zh) * 2020-07-27 2020-11-24 山东万腾电子科技有限公司 一种零部件缺失检测方法及系统
CN114055605A (zh) * 2020-08-04 2022-02-18 张睿 一种智能化陶瓷布料系统
CN112529093A (zh) * 2020-12-21 2021-03-19 上海英十信息科技有限公司 基于预检测权值的样本维度加权的模具清洗效果检验方法
CN113487166A (zh) * 2021-06-30 2021-10-08 桐乡市五疆科技发展有限公司 一种基于卷积神经网络的化纤飘丝质量检测方法及系统
EP4160524A1 (en) 2021-10-01 2023-04-05 AQC Industry Method for detecting at least one defect on a support, device and computer program associated
WO2023052537A1 (en) 2021-10-01 2023-04-06 Aqc Industry Method for detecting at least one defect on a support, device and computer program associated
CN114170226A (zh) * 2022-01-24 2022-03-11 谱为科技(常州)有限公司 基于图像增强和卷积神经网络的布草检测方法、装置
CN114170226B (zh) * 2022-01-24 2022-08-19 谱为科技(常州)有限公司 基于图像增强和卷积神经网络的布草检测方法、装置
CN114539586A (zh) * 2022-04-27 2022-05-27 河南银金达新材料股份有限公司 一种聚合物膜的表面处理生产工艺
CN114539586B (zh) * 2022-04-27 2022-07-19 河南银金达新材料股份有限公司 一种聚合物膜的表面处理生产和检测工艺
CN115901789A (zh) * 2022-12-28 2023-04-04 东华大学 基于机器视觉的布匹瑕疵检测系统

Also Published As

Publication number Publication date
CN111047655B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
CN111047655B (zh) 基于卷积神经网络的高清摄像机布料疵点检测方法
Çelik et al. Development of a machine vision system: real-time fabric defect detection and classification with neural networks
TWI603074B (zh) 光學薄膜缺陷辨識方法及其系統
CN104749184B (zh) 自动光学检测方法和系统
CN111402226A (zh) 一种基于级联卷积神经网络的表面疵点检测方法
CN111223093A (zh) 一种aoi缺陷检测方法
CN107966454A (zh) 一种基于fpga的端塞缺陷检测装置及检测方法
CN112053317A (zh) 一种基于级联神经网络的工件表面缺陷检测方法
CN102221559A (zh) 基于机器视觉的织物疵点在线自动检测方法及其装置
CN109307675A (zh) 一种产品外观检测方法和系统
CN108765402A (zh) 无纺布缺陷检测与分类方法
CN112233067A (zh) 一种热轧钢卷端面质量检测方法及系统
CN109886960A (zh) 基于机器视觉的玻璃边缘缺陷检测的方法
CN106096603A (zh) 一种融合多特征的动态火焰检测方法及装置
CN108564577A (zh) 基于卷积神经网络的太阳能电池片断栅缺陷检测方法
CN105223208B (zh) 一种电路板检测模板及其制作方法、电路板检测方法
KR101813223B1 (ko) 영상 표면의 결함을 검출 및 분류하는 방법 및 장치
CN112150460A (zh) 检测方法、检测系统、设备和介质
CN112819844B (zh) 一种图像边缘检测方法及装置
CN112750113B (zh) 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置
CN106872488A (zh) 一种快速大面积透明基片双表面缺陷视觉检测方法及装置
CN114119591A (zh) 一种显示屏画面质量检测方法
CN113034488A (zh) 一种喷墨印刷品的视觉检测方法
CN110781913A (zh) 一种拉链布带缺陷检测方法
CN112991271A (zh) 基于改进yolov3的铝型材表面缺陷视觉检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant