CN114235810A - 一种基于面阵工业相机的布匹瑕疵自动检测方法 - Google Patents

一种基于面阵工业相机的布匹瑕疵自动检测方法 Download PDF

Info

Publication number
CN114235810A
CN114235810A CN202111309276.4A CN202111309276A CN114235810A CN 114235810 A CN114235810 A CN 114235810A CN 202111309276 A CN202111309276 A CN 202111309276A CN 114235810 A CN114235810 A CN 114235810A
Authority
CN
China
Prior art keywords
cloth
image
defects
defect
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111309276.4A
Other languages
English (en)
Inventor
陈轶
王茂森
张文
牛少彰
林伟
崔浩亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast Digital Economic Development Research Institute
Original Assignee
Southeast Digital Economic Development Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast Digital Economic Development Research Institute filed Critical Southeast Digital Economic Development Research Institute
Priority to CN202111309276.4A priority Critical patent/CN114235810A/zh
Publication of CN114235810A publication Critical patent/CN114235810A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

一种基于高频面阵工业相机的布匹瑕疵检测方法，包括以下步骤：采集图像；分割图像，将采集到的图像分割成416*416大小的子图；图像预处理；检测布匹瑕疵目标；检测布匹瑕疵间相似度；设定虚拟线计算布匹瑕疵数量。本发明采用面阵工业相机作为验布机布匹瑕疵图像采集传感器，利用布匹瑕疵间相似度检测避免面阵工业相机在拍摄布匹运动时因为前后帧图像存在区域重叠而导致的瑕疵点存在的重复计数问题，将布匹瑕疵目标检测模型输出的结果图像中标记为瑕疵的区域输入孪生神经网络进行训练和推理，提升了布匹瑕疵间相似度检测的鲁棒性。

Description

一种基于面阵工业相机的布匹瑕疵自动检测方法
技术领域
本发明涉及布匹检测技术领域，尤其涉及一种基于面阵工业相机的布匹瑕疵自动检测方法。
背景技术
无论在布匹生产厂商还是服装类加工厂商，布匹瑕疵检测都是必不可少的环节之一。目前，布匹瑕疵检测通常由人眼检查完成。人眼检查的准确率依赖于检验员的经验和责任心。此外，布匹瑕疵检测任务对于检验员而言是一项枯燥繁重的体力劳动，不仅没有较高的准确率，同时也会对检验员的视力造成损伤，不利于可持续进行。所以，利用机器视觉检测方案替代人眼检测已经成为了必然趋势。
虽然已经有一些基于视觉的布匹瑕疵方法，如申请号为：201710267670.3的中国专利公开的“一种基于机器学习的布匹缺陷检测方法及装置”、申请号为：201710182718.0的中国专利公开的“基于神经网络深度学习的布匹缺陷检测方法”，但是这些方法大多采用线阵工业相机作为布匹图像采集传感器。线阵工业相机由于其特性适合拍摄规律性运动的物体。线阵工业相机对于被拍摄物体与其相对位置和距离非常敏感。在与传统验布机设备结合时，线阵工业相机会因验布机设备运行时产生的抖动降低图像采集的质量，并且这种抖动在传统验布机中是极为常见的。此外，线阵工业相机价格较高且在同等分辨率参数情况下线阵工业相机价格高于面阵工业相机。
发明内容
针对现有技术中的上述不足，本发明的目的旨在提供一种基于高频面阵工业相机的布匹瑕疵检测方法，能够将基于人眼和线扫工业相机的布匹瑕疵检测方案替换为成本较低的面阵工业相机布匹瑕疵检测方案，并结合机器视觉实现自动检测。
为了达到上述发明目的，本发明采用的具体方案为：
一种基于面阵工业相机的布匹瑕疵自动检测方法，包括以下步骤：
步骤1：采集图像；
步骤2：分割图像，将采集到的图像分割成416*416大小的子图；
步骤3：图像预处理；
步骤4：检测布匹瑕疵目标；
步骤5：检测布匹瑕疵间相似度；
步骤6：设定虚拟线计算布匹瑕疵数量。
进一步，所述图像预处理分为图像去噪和图像增强，所述图像去噪采用高斯滤波器去除图像噪声点，所述图像增强采用Retinex算法均衡图像亮度。
进一步，所述检测布匹瑕疵目标分为离线布匹瑕疵目标检测学习阶段和在线布匹瑕疵检测推理阶段，所述离线布匹瑕疵目标检测学习阶段将面阵工业相机拍摄拍摄的有瑕疵点布匹图像按照目标检测VOC数据格式进行瑕疵点标注，将标注数据以训练集形式输入到目标检测模型，以反向传播算法进行模型参数训练；所述在线布匹瑕疵检测推理阶段将图像预处理后的输出作为输入信号，使用目标检测网络对其进行瑕疵检测，通过设定的阈值输出瑕疵点的类型、尺寸信息，以及相对于图中的位置信息。
进一步，所述离线布匹瑕疵目标检测学习阶段中的目标检测模型包括YOLO v4、SSD或 Faster RCNN。
进一步，所述检测布匹瑕疵间相似度包括离线布匹瑕疵间相似度学习阶段和在线布匹瑕疵间相似度检测推理阶段，所述离线布匹瑕疵间相似度学习阶段采用基于孪生神经网络的深度学习算法对对布匹瑕疵间相似度进行预测。
进一步，所述离线布匹瑕疵间相似度学习阶段具体包括两个步骤，具体为将离线布匹瑕疵目标检测学习阶段采集得到的布匹瑕疵数据集根据VOC数据格式中标注的位置信息和类别信息进行裁剪保存，以同一布匹瑕疵在不同时间段采集的图像认定为同一类的方式对裁剪后的图像进行分类整理；然后利用主干网络为VGG16的孪生神经网络模型对该数据集进行分类训练，采用反向传播算法进行模型参数训练。
进一步，所述在线布匹瑕疵间相似度检测推理阶段具体包括三个步骤，具体为根据在线布匹瑕疵检测推理阶段中布匹瑕疵检测模型输出结果中的位置信息对布匹图像进行瑕疵点裁剪，裁剪子图保存到内存中，记为img1；然后将下一帧采集到的布匹图像输入在线布匹瑕疵检测推理阶段中布匹瑕疵检测模型，根据检测结果对瑕疵点进行裁剪，裁剪子图保存到内存中，记为img2；最后将img1和img2输入训练完成的孪生神经网络中进行相似度检测，如果相似度值大于设定阈值，则表示img1和img2为相邻时间段的同一瑕疵。
进一步，所述设定虚拟线计算布匹瑕疵数量的具体方法包括，首先在拍摄布匹图像区域下半部分设定横向虚拟线；然后在检测布匹瑕疵间相似度步骤中检测出的同一布匹瑕疵点经过虚拟线，则将该瑕疵数量加1，并记录该瑕疵的类型、尺寸信息以及图像信息。
本发明的有益效果为：
(1)采用面阵工业相机替代性价比低、对抖动敏感的线阵工业相机；
(2)利用前后帧瑕疵间相似度检测避免了面阵工业相机在拍摄布匹运动时因为前后帧图像存在区域重叠而导致的瑕疵点存在的重复计数问题；
(3)同一布匹瑕疵点会出现在布匹图像中不同的相对位置，提升瑕疵点检测出的概率。
附图说明
图1是本发明的流程图。
具体实施方式
以下通过具体实施例进一步描述本发明，但本发明不仅仅限于以下实施例。在本发明的范围内或者在不脱离本发明的内容、精神和范围内，对本发明进行的变更、组合或替换，对于本领域的技术人员来说是显而易见的，且包含在本发明的范围之内。
实施例1
一种基于面阵工业相机的布匹瑕疵自动检测方法，其特征在于：
步骤1：图像采集；
步骤2：图像分割，为了适应后续算法，将采集到的图像分割成416*416大小的子图；
步骤3：图像预处理；
步骤4：布匹瑕疵目标检测；所述步骤4具体如下：
步骤41：离线布匹瑕疵目标检测学习阶段，将面阵工业相机拍摄拍摄的有瑕疵点布匹图像按照目标检测VOC数据格式进行瑕疵点标注，将标注数据以训练集形式输入到目标检测模型，如YOLO v4、SSD、Faster RCNN等，以反向传播算法进行模型参数训练；
步骤42：在线布匹瑕疵检测推理阶段，将步骤3的输出作为输入信号，使用目标检测网络对其进行瑕疵检测，通过设定的阈值输出瑕疵点的类型、尺寸信息，以及相对于图中的位置信息；
步骤5：布匹瑕疵间相似度检测；所述步骤5具体如下：
步骤51：离线布匹瑕疵间相似度学习阶段，采用基于孪生神经网络的深度学习算法对对布匹瑕疵间相似度进行预测，具体包括2步骤：
步骤511：将步骤41采集得到的布匹瑕疵数据集根据VOC格式中标注的位置信息和类别信息进行裁剪保存，以同一布匹瑕疵在不同时间段采集的图像认定为同一类的方式对裁剪后的图像进行分类整理；
步骤512：利用主干网络为VGG16的孪生神经网络模型对该数据集进行分类训练，采用反向传播算法进行模型参数训练；
步骤52：在线布匹瑕疵间相似度检测推理阶段，具体步骤包括3步骤：
步骤521：根据步骤42中布匹瑕疵检测模型输出结果中的位置信息对布匹图像进行瑕疵点裁剪，裁剪子图保存到内存中，记为img1；
步骤522：将下一帧采集到的布匹图像输入步骤42中布匹瑕疵检测模型，根据检测结果对瑕疵点进行裁剪，裁剪子图保存到内存中，记为img2；
步骤523：将img1和img2输入训练完成的孪生神经网络中进行相似度检测，如果相似度值大于设定阈值，则表示img1和img2为相邻时间段的同一瑕疵；
步骤6：设定虚拟线计算布匹瑕疵数量；所述步骤6具体如下：
步骤61：在拍摄布匹图像区域下半部分设定横向虚拟线；
步骤62：如果步骤5中的检测出的同一布匹瑕疵点经过虚拟线，则将该瑕疵数量加1，并记录该瑕疵的类型、尺寸信息以及图像信息。
本发明采用面阵工业相机作为验布机布匹瑕疵图像采集传感器，利用布匹瑕疵间相似度检测避免面阵工业相机在拍摄布匹运动时因为前后帧图像存在区域重叠而导致的瑕疵点存在的重复计数问题，将布匹瑕疵目标检测模型输出的结果图像中标记为瑕疵的区域输入孪生神经网络进行训练和推理，提升了布匹瑕疵间相似度检测的鲁棒性。
以上所述仅为本发明专利的较佳实施例而已，并不用以限制本发明专利，凡在本发明专利的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明专利的保护范围之内。

Claims (8)

1.一种基于面阵工业相机的布匹瑕疵自动检测方法，其特征在于，包括以下步骤：
步骤1：采集图像；
步骤2：分割图像，将采集到的图像分割成416*416大小的子图；
步骤3：图像预处理；
步骤4：检测布匹瑕疵目标；
步骤5：检测布匹瑕疵间相似度；
步骤6：设定虚拟线计算布匹瑕疵数量。
2.根据权利要求1所述的一种基于面阵工业相机的布匹瑕疵自动检测方法，其特征在于：所述图像预处理分为图像去噪和图像增强，所述图像去噪采用高斯滤波器去除图像噪声点，所述图像增强采用Retinex算法均衡图像亮度。
3.根据权利要求1所述的一种基于面阵工业相机的布匹瑕疵自动检测方法，其特征在于：所述检测布匹瑕疵目标分为离线布匹瑕疵目标检测学习阶段和在线布匹瑕疵检测推理阶段，所述离线布匹瑕疵目标检测学习阶段将面阵工业相机拍摄拍摄的有瑕疵点布匹图像按照目标检测VOC数据格式进行瑕疵点标注，将标注数据以训练集形式输入到目标检测模型，以反向传播算法进行模型参数训练；所述在线布匹瑕疵检测推理阶段将图像预处理后的输出作为输入信号，使用目标检测网络对其进行瑕疵检测，通过设定的阈值输出瑕疵点的类型、尺寸信息，以及相对于图中的位置信息。
4.根据权利要求3所述的一种基于面阵工业相机的布匹瑕疵自动检测方法，其特征在于：所述离线布匹瑕疵目标检测学习阶段中的目标检测模型包括YOLO v4、SSD或FasterRCNN。
5.根据权利要求1所述的一种基于面阵工业相机的布匹瑕疵自动检测方法，其特征在于：所述检测布匹瑕疵间相似度包括离线布匹瑕疵间相似度学习阶段和在线布匹瑕疵间相似度检测推理阶段，所述离线布匹瑕疵间相似度学习阶段采用基于孪生神经网络的深度学习算法对对布匹瑕疵间相似度进行预测。
6.根据权利要求5所述的一种基于面阵工业相机的布匹瑕疵自动检测方法，其特征在于：所述离线布匹瑕疵间相似度学习阶段具体包括两个步骤，具体为将离线布匹瑕疵目标检测学习阶段采集得到的布匹瑕疵数据集根据VOC数据格式中标注的位置信息和类别信息进行裁剪保存，以同一布匹瑕疵在不同时间段采集的图像认定为同一类的方式对裁剪后的图像进行分类整理；然后利用主干网络为VGG16的孪生神经网络模型对该数据集进行分类训练，采用反向传播算法进行模型参数训练。
7.根据权利要求5所述的一种基于面阵工业相机的布匹瑕疵自动检测方法，其特征在于：所述在线布匹瑕疵间相似度检测推理阶段具体包括三个步骤，具体为根据在线布匹瑕疵检测推理阶段中布匹瑕疵检测模型输出结果中的位置信息对布匹图像进行瑕疵点裁剪，裁剪子图保存到内存中，记为img1；然后将下一帧采集到的布匹图像输入在线布匹瑕疵检测推理阶段中布匹瑕疵检测模型，根据检测结果对瑕疵点进行裁剪，裁剪子图保存到内存中，记为img2；最后将img1和img2输入训练完成的孪生神经网络中进行相似度检测，如果相似度值大于设定阈值，则表示img1和img2为相邻时间段的同一瑕疵。
8.根据权利要求1所述的一种基于面阵工业相机的布匹瑕疵自动检测方法，其特征在于：所述设定虚拟线计算布匹瑕疵数量的具体方法包括，首先在拍摄布匹图像区域下半部分设定横向虚拟线；然后在检测布匹瑕疵间相似度步骤中检测出的同一布匹瑕疵点经过虚拟线，则将该瑕疵数量加1，并记录该瑕疵的类型、尺寸信息以及图像信息。
CN202111309276.4A 2021-11-06 2021-11-06 一种基于面阵工业相机的布匹瑕疵自动检测方法 Pending CN114235810A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111309276.4A CN114235810A (zh) 2021-11-06 2021-11-06 一种基于面阵工业相机的布匹瑕疵自动检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111309276.4A CN114235810A (zh) 2021-11-06 2021-11-06 一种基于面阵工业相机的布匹瑕疵自动检测方法

Publications (1)

Publication Number Publication Date
CN114235810A true CN114235810A (zh) 2022-03-25

Family

ID=80748606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111309276.4A Pending CN114235810A (zh) 2021-11-06 2021-11-06 一种基于面阵工业相机的布匹瑕疵自动检测方法

Country Status (1)

Country Link
CN (1) CN114235810A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114863424A (zh) * 2022-05-07 2022-08-05 天津优海云图科技有限公司 一种用于方便面瑕疵检测的分类数据集构建方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114863424A (zh) * 2022-05-07 2022-08-05 天津优海云图科技有限公司 一种用于方便面瑕疵检测的分类数据集构建方法

Similar Documents

Publication Publication Date Title
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN111862064B (zh) 一种基于深度学习的银质丝材表面瑕疵识别方法
CN109886298B (zh) 一种基于卷积神经网络的焊缝质量检测方法
CN111080622B (zh) 神经网络训练方法、工件表面缺陷分类与检测方法及装置
CN109598287B (zh) 基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法
CN109550712A (zh) 一种化纤丝尾丝外观缺陷检测系统及方法
WO2022236876A1 (zh) 一种玻璃纸缺陷识别方法、系统、装置及存储介质
CN101739570B (zh) 棉花异性纤维在线分类方法和系统
CN105891233A (zh) 基于机器视觉的镜片表面缺陷智能检测系统及其实现方法
CN107084991A (zh) 基于机器视觉的石英棒气泡检测及品质分级方法
CN106290392A (zh) 一种小微轴承表面凹痕缺陷在线检测方法及其系统
CN111582294A (zh) 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用
CN111242899B (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
CN102175692A (zh) 织物坯布疵点快速检测系统及方法
CN111415339B (zh) 一种复杂纹理工业产品图像缺陷检测方法
CN114998314B (zh) 一种基于计算机视觉的pcb电路板缺陷检测方法
CN113177924A (zh) 一种工业流水线产品瑕疵检测方法
CN114972342B (zh) 一种变速箱齿轮表面缺陷检测方法
CN111415330A (zh) 基于深度学习的铜箔外观缺陷检测方法
CN110458809B (zh) 一种基于亚像素边缘检测的纱线条干均匀度检测方法
CN116434206A (zh) 一种基于机器视觉技术的棉花质量性状检测方法
CN113780484B (zh) 工业产品缺陷检测方法和装置
CN114235810A (zh) 一种基于面阵工业相机的布匹瑕疵自动检测方法
CN111784645A (zh) 一种充填管道裂纹检测方法
CN111563869B (zh) 用于摄像模组质检的污点测试方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination