CN110827277A - 一种基于yolo3网络的布匹瑕疵检测方法 - Google Patents

一种基于yolo3网络的布匹瑕疵检测方法 Download PDF

Info

Publication number
CN110827277A
CN110827277A CN201911173450.XA CN201911173450A CN110827277A CN 110827277 A CN110827277 A CN 110827277A CN 201911173450 A CN201911173450 A CN 201911173450A CN 110827277 A CN110827277 A CN 110827277A
Authority
CN
China
Prior art keywords
cloth
loss function
method based
detection method
yolo3
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911173450.XA
Other languages
English (en)
Inventor
汝佩哲
李锐
于治楼
金长新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Inspur Artificial Intelligence Research Institute Co Ltd
Original Assignee
Shandong Inspur Artificial Intelligence Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Inspur Artificial Intelligence Research Institute Co Ltd filed Critical Shandong Inspur Artificial Intelligence Research Institute Co Ltd
Priority to CN201911173450.XA priority Critical patent/CN110827277A/zh
Publication of CN110827277A publication Critical patent/CN110827277A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30124—Fabrics; Textile; Paper

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明特别涉及一种基于yolo3网络的布匹瑕疵检测方法。该基于yolo3网络的布匹瑕疵检测方法，利用python语言实现，以yolo3网络为框架，利用回归损失函数和分类损失函数，对已标注的布匹样本进行训练，得到训练好的模型，通过训练好的模型检测布匹是否包含疵点，以及疵点的具体位置和类别。该基于yolo3网络的布匹瑕疵检测方法，利用yolo3网络架构进行缺陷检测，模型泛化能力强，可迁移性强，不仅革新了质检流程，能够自动完成质检任务，而且使用Focal Loss作为分类损失函数，解决了检测中正负样本比例严重失衡的问题，提高了检测精度。

Description

一种基于yolo3网络的布匹瑕疵检测方法
技术领域
本发明涉及深度学习技术领域，特别涉及一种基于yolo3网络的布匹瑕疵检测方法。
背景技术
在布匹的实际生产过程中，由于各方面影响，会产生污渍、破洞、毛粒等各种瑕疵，为保证产品质量，需要对布匹进行瑕疵检测。布匹疵点检验是纺织行业生产和质量管理的重要环节，但是由于布匹疵点种类繁多、形态变化多样、观察识别难道大，导致布匹疵点智能检测是困扰行业多年的技术瓶颈。
传统的人工检测的方法易受主观因素影响，缺乏一致性；并且检测人员在强光下长时间工作对视力影响极大。
近年来，随着人工智能技术突飞猛进，尤其是深度学习的技术已经成功的应用到很多领域中，例如图像识别、语音识别、NLP和目标检测等领域中，在工业质检场景中也取得了不错的成果。纺织行业迫切希望借助最先进的技术，实现布匹疵点智能检测。
针对以上情况，本发明提出了一种基于yolo3网络的布匹瑕疵检测方法。
发明内容
本发明为了弥补现有技术的缺陷，提供了一种简单高效的基于yolo3网络的布匹瑕疵检测方法。
本发明是通过如下技术方案实现的：
一种基于yolo3网络的布匹瑕疵检测方法，其特征在于：利用python语言实现，以yolo3网络为框架，利用回归损失函数和分类损失函数，对已标注的布匹样本进行训练，得到训练好的模型，通过训练好的模型检测布匹是否包含疵点，以及疵点的具体位置和类别。
该基于yolo3网络的布匹瑕疵检测方法，包括以下步骤：
第一步，准备布匹图像数据，对布匹图像数据中瑕疵位置以及瑕疵种类进行人工标注；
第二步，利用python中opencv包对标注后的图像数据进行图像增光；
第三步，将增光后图像数据转为Pascal VOC数据集格式，并通过yolo3网络进行目标检测训练；
第四步，保存训练好的模型，并利用保存的模型对新的布匹图像数据进行预测，判断是否有瑕疵，并标定相应类别即可。
所述第一步中，使用labelImg工具对布匹图像数据进行人工标注，包括布匹缺陷类型C，以及缺陷位置坐标P＝(x1，y1，x2，y2)，其中(x1，y1)，(x2，y2)分别代表图像左上角与右下角坐标。
所述第二步中，对标注后的布匹图像进行增光处理，包括进行水平与垂直翻转、模糊处理、亮度变换和扩充图像训练数据，同时注意增广后图像缺陷坐标转换。
所述第三步中，将进行增光处理后得到的的布匹图像数据集拆分为训练集和验证集，以80％数据作为训练集进行训练，剩下20％数据作为验证集进行验证。
所述第三步中，使用Smooth L1 Loss函数作为回归损失函数，使用Focal Loss函数作为分类损失函数，对模型进行训练。
所述第三步中，对缺陷位置坐标P采用Smooth L1 Loss函数作为回归损失函数，所述Smooth L1 Loss函数公式如下：
Figure BDA0002289355640000021
其中，δ＝3，x＝P-P*；P(x1，y1，x2，y2)为缺陷位置实际坐标，P*(x1 *，y1 *，x2 *，y2 *)为缺陷位置预测坐标，对P和P*四个坐标点分别作差得到四个x，四个x分别求出其smooth L1损失，最后加和即可得到上述公式中的ΣsmoothL1(x)。
所述第三步中，对缺陷类型C采用Focal Loss函数作为分类损失函数，所述FocalLoss函数公式如下：
Figure BDA0002289355640000022
FL(pt)＝-(1-pt)γlog(pt)
Figure BDA0002289355640000023
其中，p表示预测(predict)结果，y表示真实参考标准(ground truth label)。
本发明的有益效果是：该基于yolo3网络的布匹瑕疵检测方法，利用yolo3网络架构进行缺陷检测，模型泛化能力强，可迁移性强，不仅革新了质检流程，能够自动完成质检任务，而且使用Focal Loss作为分类损失函数，解决了检测中正负样本比例严重失衡的问题，提高了检测精度。
附图说明
附图1为本发明基于yolo3网络的布匹瑕疵检测方法示意图。
具体实施方式
为了使本技术领域的人员更好的理解本发明中的技术方案，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚，完整的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
yolo(You Only Look Once:Unified，Real-Time Object Detection)，是基于单个神经网络的目标检测系统，是一个可以一次性预测多个Box位置和类别的卷积神经网络，能够实现端到端的目标检测和识别，其最大的优势就是速度快。事实上，目标检测的本质就是回归，因此一个实现回归功能的CNN并不需要复杂的设计过程。yolo没有选择滑动窗口(silding window)或提取proposal的方式训练网络，而是直接选用整图训练模型。这种处理方式可以更好的区分目标和背景区域，相比之下，采用proposal训练方式的Fast-R-CNN常常把背景区域误检为特定目标。
python语言是一种计算机程序设计语言，具体的说，是一种完全面向对象的动态类型语言。函数、模块、数字、字符串都是它的对象，并且完全支持继承、重载、派生、多继承，有益于增强源代码的复用性。Python支持重载运算符和动态类型。
作为一种解释型脚本语言，python语言可以应用于Web与Internet开发、科学计算和统计、教育、桌面界面开发、软件开发以及后端开发等多个领域。
该基于yolo3网络的布匹瑕疵检测方法，利用python语言实现，以yolo3网络为框架，利用回归损失函数和分类损失函数，对已标注的布匹样本进行训练，得到训练好的模型，通过训练好的模型检测布匹是否包含疵点，以及疵点的具体位置和类别。
该基于yolo3网络的布匹瑕疵检测方法，包括以下步骤：
第一步，准备布匹图像数据，对布匹图像数据中瑕疵位置以及瑕疵种类进行人工标注；
第二步，利用python中opencv包对标注后的图像数据进行图像增光；
其中，opencv是一个计算机视觉和机器学习的开源库。拥有2500+个优化算法，是一套非常全面的既经典又最先进的计算机视觉和机器学习算法的集合。
第三步，将增光后图像数据转为Pascal VOC数据集格式，并通过yolo3网络进行目标检测训练；
第四步，保存训练好的模型，并利用保存的模型对新的布匹图像数据进行预测，判断是否有瑕疵，并标定相应类别即可。
所述第一步中，使用labelImg(图像标注工具)工具对布匹图像数据进行人工标注，包括布匹缺陷类型C，以及缺陷位置坐标P＝(x1，y1，x2，y2)，其中(x1，y1)，(x2，y2)分别代表图像左上角与右下角坐标。
所述第二步中，对标注后的布匹图像进行增光处理，包括进行水平与垂直翻转、模糊处理、亮度变换和扩充图像训练数据，同时注意增广后图像缺陷坐标转换。
所述第三步中，将进行增光处理后得到的的布匹图像数据集拆分为训练集和验证集，以80％数据作为训练集进行训练，剩下20％数据作为验证集进行验证。
所述第三步中，使用Smooth L1 Loss函数作为回归损失函数，使用Focal Loss函数作为分类损失函数，对模型进行训练。
所述第三步中，对缺陷位置坐标P采用Smooth L1 Loss函数作为回归损失函数，所述Smooth L1 Loss函数公式如下：
Figure BDA0002289355640000041
其中，δ＝3，x＝P-P*；P(x1，y1，x2，y2)为缺陷位置实际坐标，P*(x1 *，y1 *，x2 *，y2 *)为缺陷位置预测坐标，对P和P*四个坐标点分别作差得到四个x，四个x分别求出其smooth L1损失，最后加和即可得到上述公式中的ΣsmoothL1(x)。
所述第三步中，对缺陷类型C采用Focal Loss函数作为分类损失函数，所述FocalLoss函数公式如下：
Figure BDA0002289355640000051
FL(pt)＝-(1-pt)γlog(pt)
Figure BDA0002289355640000052
其中，p表示预测(predict)结果，y表示真实参考标准(ground truth label)。
以上对本发明实例中的一种基于yolo3网络的布匹瑕疵检测方法进行了详细的介绍。本部分采用具体实例对发明的原理及实施方式进行了阐述，以上实例仅用于帮助理解本发明的核心思想，在不脱离本发明原理的情况下，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

Claims (8)

1.一种基于yolo3网络的布匹瑕疵检测方法，其特征在于：利用python语言实现，以yolo3网络为框架，利用回归损失函数和分类损失函数，对已标注的布匹样本进行训练，得到训练好的模型，通过训练好的模型检测布匹是否包含疵点，以及疵点的具体位置和类别。
2.根据权利要求1所述的基于yolo3网络的布匹瑕疵检测方法，其特征在于，包括以下步骤：
第一步，准备布匹图像数据，对布匹图像数据中瑕疵位置以及瑕疵种类进行人工标注；
第二步，利用python中opencv包对标注后的图像数据进行图像增光；
第三步，将增光后图像数据转为Pascal VOC数据集格式，并通过yolo3网络进行目标检测训练；
第四步，保存训练好的模型，并利用保存的模型对新的布匹图像数据进行预测，判断是否有瑕疵，并标定相应类别即可。
3.根据权利要求2所述的基于yolo3网络的布匹瑕疵检测方法，其特征在于：所述第一步中，使用labelImg工具对布匹图像数据进行人工标注，包括布匹缺陷类型C，以及缺陷位置坐标P＝(x1，y1，x2，y2)，其中(x1，y1)，(x2，y2)分别代表图像左上角与右下角坐标。
4.根据权利要求2所述的基于yolo3网络的布匹瑕疵检测方法，其特征在于：所述第二步中，对标注后的布匹图像进行增光处理，包括进行水平与垂直翻转、模糊处理、亮度变换和扩充图像训练数据，同时注意增广后图像缺陷坐标转换。
5.根据权利要求2所述的基于yolo3网络的布匹瑕疵检测方法，其特征在于：所述第三步中，将进行增光处理后得到的的布匹图像数据集拆分为训练集和验证集，以80％数据作为训练集进行训练，剩下20％数据作为验证集进行验证。
6.根据权利要求2或5所述的基于yolo3网络的布匹瑕疵检测方法，其特征在于：所述第三步中，使用Smooth L1 Loss函数作为回归损失函数，使用Focal Loss函数作为分类损失函数，对模型进行训练。
7.根据权利要求5所述的基于yolo3网络的布匹瑕疵检测方法，其特征在于：所述第三步中，对缺陷位置坐标P采用Smooth L1 Loss函数作为回归损失函数，所述Smooth L1 Loss函数公式如下：
Figure FDA0002289355630000021
其中，δ＝3，x＝P-P*；P(x1，y1，x2，y2)为缺陷位置实际坐标，P*(x1 *，y1 *，x2 *，y2 *)为缺陷位置预测坐标，对P和P*四个坐标点分别作差得到四个x，四个x分别求出其smooth L1损失，最后加和即可得到上述公式中的ΣsmoothL1(x)。
8.根据权利要求5所述的基于yolo3网络的布匹瑕疵检测方法，其特征在于：所述第三步中，对缺陷类型C采用Focal Loss函数作为分类损失函数，所述Focal Loss函数公式如下：
Figure FDA0002289355630000022
FL(pt)＝-(1-pt)γlog(pt)
Figure FDA0002289355630000023
其中，p表示预测结果，y表示真实参考标准。
CN201911173450.XA 2019-11-26 2019-11-26 一种基于yolo3网络的布匹瑕疵检测方法 Pending CN110827277A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911173450.XA CN110827277A (zh) 2019-11-26 2019-11-26 一种基于yolo3网络的布匹瑕疵检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911173450.XA CN110827277A (zh) 2019-11-26 2019-11-26 一种基于yolo3网络的布匹瑕疵检测方法

Publications (1)

Publication Number Publication Date
CN110827277A true CN110827277A (zh) 2020-02-21

Family

ID=69559340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911173450.XA Pending CN110827277A (zh) 2019-11-26 2019-11-26 一种基于yolo3网络的布匹瑕疵检测方法

Country Status (1)

Country Link
CN (1) CN110827277A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488842A (zh) * 2020-04-16 2020-08-04 济南浪潮高新科技投资发展有限公司 一种基于CenterNet的监控视频口罩检测方法
CN111929327A (zh) * 2020-09-09 2020-11-13 深兰人工智能芯片研究院（江苏）有限公司 布匹缺陷检测方法和装置
CN113935995A (zh) * 2021-12-16 2022-01-14 成都数之联科技有限公司 一种图像处理方法、装置、电子设备及计算机可读存储介质
CN114240822A (zh) * 2021-12-28 2022-03-25 中山小池科技有限公司 基于YOLOv3及多尺度特征融合的棉布瑕疵检测方法
CN114596314A (zh) * 2022-05-09 2022-06-07 合肥联亚制衣有限公司 一种布匹瑕疵的检测模型的训练方法、装置、设备及介质
CN115901789A (zh) * 2022-12-28 2023-04-04 东华大学 基于机器视觉的布匹瑕疵检测系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020054694A1 (en) * 1999-03-26 2002-05-09 George J. Vachtsevanos Method and apparatus for analyzing an image to direct and identify patterns
CN109711262A (zh) * 2018-11-28 2019-05-03 大连理工大学 一种基于深度卷积神经网络的智能挖掘机行人检测方法
CN110136126A (zh) * 2019-05-17 2019-08-16 东南大学 基于全卷积神经网络的织物纹理瑕疵检测方法
CN110175988A (zh) * 2019-04-25 2019-08-27 南京邮电大学 基于深度学习的布匹缺陷检测方法
CN110232406A (zh) * 2019-05-28 2019-09-13 厦门大学 一种基于统计学习的液晶面板cf图片识别方法
CN110390691A (zh) * 2019-06-12 2019-10-29 合肥合工安驰智能科技有限公司 一种基于深度学习的矿石尺度测量方法及应用系统
CN110490874A (zh) * 2019-09-04 2019-11-22 河海大学常州校区 基于yolo神经网络的纺织布匹表面瑕疵检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020054694A1 (en) * 1999-03-26 2002-05-09 George J. Vachtsevanos Method and apparatus for analyzing an image to direct and identify patterns
CN109711262A (zh) * 2018-11-28 2019-05-03 大连理工大学 一种基于深度卷积神经网络的智能挖掘机行人检测方法
CN110175988A (zh) * 2019-04-25 2019-08-27 南京邮电大学 基于深度学习的布匹缺陷检测方法
CN110136126A (zh) * 2019-05-17 2019-08-16 东南大学 基于全卷积神经网络的织物纹理瑕疵检测方法
CN110232406A (zh) * 2019-05-28 2019-09-13 厦门大学 一种基于统计学习的液晶面板cf图片识别方法
CN110390691A (zh) * 2019-06-12 2019-10-29 合肥合工安驰智能科技有限公司 一种基于深度学习的矿石尺度测量方法及应用系统
CN110490874A (zh) * 2019-09-04 2019-11-22 河海大学常州校区 基于yolo神经网络的纺织布匹表面瑕疵检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIANGYUNLI 等: "Real-time Detection of Steel Strip Surface Defects Based on Improved YOLO Detection Network", 《IFAC-PAPERSONLINE》 *
TIANQI ZHANG等: "A feature enriching object detection framework with weak segmentation loss", 《NEUROCOMPUTING》 *
刘闪亮: "基于卷积神经网络的织物图像缺陷检测定位算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488842A (zh) * 2020-04-16 2020-08-04 济南浪潮高新科技投资发展有限公司 一种基于CenterNet的监控视频口罩检测方法
CN111929327A (zh) * 2020-09-09 2020-11-13 深兰人工智能芯片研究院（江苏）有限公司 布匹缺陷检测方法和装置
CN113935995A (zh) * 2021-12-16 2022-01-14 成都数之联科技有限公司 一种图像处理方法、装置、电子设备及计算机可读存储介质
CN113935995B (zh) * 2021-12-16 2022-07-19 成都数之联科技股份有限公司 一种图像处理方法、装置、电子设备及计算机可读存储介质
CN114240822A (zh) * 2021-12-28 2022-03-25 中山小池科技有限公司 基于YOLOv3及多尺度特征融合的棉布瑕疵检测方法
CN114596314A (zh) * 2022-05-09 2022-06-07 合肥联亚制衣有限公司 一种布匹瑕疵的检测模型的训练方法、装置、设备及介质
CN115901789A (zh) * 2022-12-28 2023-04-04 东华大学 基于机器视觉的布匹瑕疵检测系统

Similar Documents

Publication Publication Date Title
CN110827277A (zh) 一种基于yolo3网络的布匹瑕疵检测方法
Zhu et al. Modified densenet for automatic fabric defect detection with edge computing for minimizing latency
CN106934800B (zh) 一种基于yolo9000网络的金属板带表面缺陷检测方法及装置
CN107832780B (zh) 基于人工智能木板分选低置信度样本处理方法及系统
CN111415343B (zh) 一种基于人工智能的片式多层陶瓷电容六面外观检测方法
CN110726735A (zh) 一种基于深度学习的全自动电路板缺陷检测系统及方法
CN110633738B (zh) 一种用于工业零件图像的快速分类方法
Adem et al. Defect detection of seals in multilayer aseptic packages using deep learning
CN112132796A (zh) 以反馈数据自主学习提升检测精度的视觉检测方法和系统
CN115661160B (zh) 一种面板缺陷检测方法及系统及装置及介质
CN114359199A (zh) 一种基于深度学习的鱼类计数方法、装置、设备和介质
CN115319338A (zh) 基于深度学习的螺纹钢焊牌机器人3d视觉计数和定位方法
CN113205163B (zh) 数据标注方法及装置
Zhou et al. A small sample nonstandard gear surface defect detection method
CN110940672A (zh) 智能光学检测样品特征与瑕疵ai模型自动产生方法及装置
CN117035669A (zh) 基于人工智能的企业安全生产管理方法及系统
CN113469938A (zh) 基于嵌入式前端处理服务器的管廊视频分析方法及系统
CN110263630A (zh) 一种基于Inception模型的卷积神经网络的铝材瑕疵识别设备
CN113610831B (zh) 基于计算机图像技术和迁移学习的木材缺陷检测方法
Wagner et al. IndustrialEdgeML-End-to-end edge-based computer vision systemfor Industry 5.0
Liu et al. Defect Detection of Micro-Precision Glass Insulated Terminals.
CN114387564A (zh) 一种基于YOLOv5的磕头机停抽检测方法
CN114120057A (zh) 一种基于PaddleDetection的混淆矩阵生成方法
CN112184665A (zh) 一种应用于纸塑行业的人工智能缺陷侦测系统
US20230410287A1 (en) Machine Learning Fault Detection in Manufacturing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200221