CN109003271A - 一种基于深度学习yolo算法的线束连接器排线质量检测方法 - Google Patents

一种基于深度学习yolo算法的线束连接器排线质量检测方法 Download PDF

Info

Publication number
CN109003271A
CN109003271A CN201810822680.3A CN201810822680A CN109003271A CN 109003271 A CN109003271 A CN 109003271A CN 201810822680 A CN201810822680 A CN 201810822680A CN 109003271 A CN109003271 A CN 109003271A
Authority
CN
China
Prior art keywords
wiring harness
harness connector
deep learning
product
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810822680.3A
Other languages
English (en)
Inventor
李海庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Zhuoshu Intelligent Manufacturing Co ltd
Original Assignee
Jiangsu Zhuoshu Intelligent Manufacturing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Zhuoshu Intelligent Manufacturing Co ltd filed Critical Jiangsu Zhuoshu Intelligent Manufacturing Co ltd
Priority to CN201810822680.3A priority Critical patent/CN109003271A/zh
Publication of CN109003271A publication Critical patent/CN109003271A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习YOLO算法的线束连接器排线质量检测方法，包括如下步骤：1）获取产品样本；2）样本缺陷标记；3）模型训练及模型输出：用深度学习YOLO算法对所标记的样本图片进行迭代训练，样本图片通过训练迭代学习输出深度学习模型；4）产品图像输入；5）图像预处理；6）产品缺陷检测；7）控制机构分类。通过上述方式，本发明采用深度学习YOLO算法，检测准确度高，检测效率快，在GPU为TITAN X的设备上检测速度可达到45FPS，在产品传输过程中不需要停顿即可实现对其缺陷的检测，本发明具有检测精度高、速度快、适用性强等突出优点。

Description

一种基于深度学习YOLO算法的线束连接器排线质量检测方法
技术领域
本发明涉及线束连接器智能化检测技术领域，特别是涉及一种基于深度学习YOLO算法的线束连接器排线质量检测方法。
背景技术
目前的线束连接器生产线仍存在很大不足，其中排线质量检测阶段大部分依靠人工检测，工作人员要检查线材芯线有没有损坏，还需要检查线材有没有插入到正确对应的夹具Pin槽内，工作效率很低。即使有少量利用图像处理做检测的自动化设备，也是依靠传统算法，检测准确度低，效率低，不能完全依靠自动化设备的识别，需要人工辅助，而且根据产品的型号不同，要修改特征提取、图像分割等算法，极其复杂，消耗大量的人力物力。
随着人工智能的大面积普及，深度学习算法的日趋完善，计算机设备计算能力不断提高，深度学习技术在目标检测方面大有代替传统技术之势。如今目标检测的深度学习算法有很多，而其中用于工业检测的几乎只有Faster RCNN算法，其检测的准确度和效率相比传统技术有很大提升，但其针对小目标的检测准确度不是很稳定，虽然速度有所提升，但并不能达到实时检测，对硬件设备的要求也很苛刻。
发明内容
本发明主要解决的技术问题是提供一种基于深度学习YOLO算法的线束连接器排线质量检测方法，能够提高线束连接器排线质量检测的准确度和效率。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于深度学习YOLO算法的线束连接器排线质量检测方法，包括如下步骤：
1）获取产品样本：获取若干线束连接器的样本图片；
2）样本缺陷标记：给所获得的样本图片上标签，标记样本图片上的缺陷区域，形成完整的数据集；
3）模型训练及模型输出：用深度学习YOLO算法对所标记的样本图片进行迭代训练，样本图片通过训练迭代学习输出深度学习模型；
4）产品图像输入：传送带将待检线束连接器移送到线束连接器定位机构旁的光电对射传感器后，传感器触发线束连接器定位机构上的气缸将待检线束连接器定位在传送带上的中心线位置上；传感器触发CCD摄像机及光源进行图像采集，并通过图像采集卡把摄像机拍到的视频信号转存到工业计算机上，从而获得线束连接器的图像；
5）图像预处理：针对获取的线束连接器图像，选取环形目标区域，对目标区域进行高斯滤波图像预处理，消除部分存在的图像噪声；
6）产品缺陷检测：将图像预处理后得到的图像输入到已经训练好的深度学习模型，即能够迅速检测到不合格产品，并标出缺陷具体位置和对应缺陷类型；
7）控制机构分类：按照检测图像的结果进行下一步分类，如果系统检测为合格产品，传送带将合格的待检线束连接器产品移送到合格产品区中；若产品不合格，传送带将该不合格线束连接器产品移送到不合格产品区。
在本发明一个较佳实施例中，所述步骤1）中，获取每种型号的线束连接器的缺陷样本图片各100~300张。
在本发明一个较佳实施例中，所述步骤3）中，所述迭代训练中迭代次数为60000~100000次。
本发明的有益效果是：
1）采用本发明的检测方法，检测的准确度将会大大提高，检测的精度可以超过人工的检测精度，不需要人工辅助，可以实现完全的自动化；
2）采用深度学习YOLO算法，检测准确度大大提高，检测效率也是极快，在GPU为TITAN X的设备上检测速度可达到45FPS，在产品传输过程中不需要停顿即可实现对其缺陷的检测；
3）不需要依靠特征提取、图形分割等极其复杂的算法，只需要提供产品缺陷对应的样本图片，可以适用不同的产品及不同缺陷，不需要因产品型号不同而修改算法；
综上，本发明检测方法，具有检测精度高、速度快、适用性强等突出优点。
具体实施方式
下面对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
本发明实施例包括：
一种基于深度学习YOLO算法的线束连接器排线检测方法，包括如下步骤：
1）获取产品样本：获取若干线束连接器排线的样本图片；其中获取每种型号的线束连接器的排线缺陷样本图片各100~300张；
2）样本缺陷标记：给所获得的样本图片上标签，标记样本图片上的缺陷区域，形成完整的数据集；优选使用LabelImg工具进行缺陷区域标记，可以效率提高标记效率；
3）模型训练及模型输出：用深度学习YOLO算法对所标记的样本图片进行迭代训练，迭代次数为60000~100000次，样本图片通过训练迭代学习输出深度学习模型；
4）产品图像输入：传送带将待检线束连接器移送到线束连接器定位机构旁的光电对射传感器后，传感器触发线束连接器定位机构上的气缸将待检线束连接器定位在传送带上的中心线位置上；传感器触发CCD摄像机及光源进行图像采集，并通过图像采集卡把摄像机拍到的视频信号转存到工业计算机上，从而获得线束连接器的图像；
5）图像预处理：针对获取的线束连接器图像，选取环形目标区域，对目标区域进行高斯滤波图像预处理，消除部分存在的图像噪声；
6）产品缺陷检测：将图像预处理后得到的图像输入到已经训练好的深度学习模型，即能够迅速检测到不合格产品，并标出缺陷具体位置和对应缺陷类型；
7）控制机构分类：按照检测图像的结果进行下一步分类，如果系统检测为合格产品，传送带将合格的待检线束连接器产品移送到合格产品区中；若产品不合格，传送带将该不合格线束连接器产品移送到不合格产品区。
本发明揭示了一种基于深度学习YOLO算法的线束连接器排线检测方法，无需人为干预，可以自动实现缺陷类型及相应指标的快速、准确测量，解决线束连接器排线质量检测中的实际问题。采用深度学习YOLO算法，不需要一系列特征提取，图像分割等复杂的算法操作，只需要100张以上样本图像，在其上标记缺陷，然后进行迭代训练，该技术相比传统算法检测准确率大大提高，检测效率也是极快，在GPU为TITAN X的设备上检测速度可达到45FPS，在产品传输过程中不需要停顿即可实现对其缺陷的检测。因此本发明具有检测精度高、速度快、适用性强等突出优点。
在本发明的描述中，需要说明的是，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (3)

1.一种基于深度学习YOLO算法的线束连接器排线质量检测方法，其特征在于，包括如下步骤：
1）获取产品样本：获取若干线束连接器的样本图片；
2）样本缺陷标记：给所获得的样本图片上标签，标记样本图片上的缺陷区域，形成完整的数据集；
3）模型训练及模型输出：用深度学习YOLO算法对所标记的样本图片进行迭代训练，样本图片通过训练迭代学习输出深度学习模型；
4）产品图像输入：传送带将待检线束连接器移送到线束连接器定位机构旁的光电对射传感器后，传感器触发线束连接器定位机构上的气缸将待检线束连接器定位在传送带上的中心线位置上；传感器触发CCD摄像机及光源进行图像采集，并通过图像采集卡把摄像机拍到的视频信号转存到工业计算机上，从而获得线束连接器的图像；
5）图像预处理：针对获取的线束连接器图像，选取环形目标区域，对目标区域进行高斯滤波图像预处理，消除部分存在的图像噪声；
6）产品缺陷检测：将图像预处理后得到的图像输入到已经训练好的深度学习模型，即能够迅速检测到不合格产品，并标出缺陷具体位置和对应缺陷类型；
7）控制机构分类：按照检测图像的结果进行下一步分类，如果系统检测为合格产品，传送带将合格的待检线束连接器产品移送到合格产品区中；若产品不合格，传送带将该不合格线束连接器产品移送到不合格产品区。
2.根据权利要求1所述的基于深度学习YOLO算法的线束连接器排线质量检测方法，其特征在于，所述步骤1）中，获取每种型号的线束连接器排线的缺陷样本图片各100~300张，即每种型号的线束连接器排线芯线损坏和线材插错夹具Pin槽样本图片各100~300张。
3.根据权利要求1所述的基于深度学习YOLO算法的线束连接器排线检测方法，其特征在于，所述步骤3）中，所述迭代训练中迭代次数为60000~100000次。
CN201810822680.3A 2018-07-25 2018-07-25 一种基于深度学习yolo算法的线束连接器排线质量检测方法 Pending CN109003271A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810822680.3A CN109003271A (zh) 2018-07-25 2018-07-25 一种基于深度学习yolo算法的线束连接器排线质量检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810822680.3A CN109003271A (zh) 2018-07-25 2018-07-25 一种基于深度学习yolo算法的线束连接器排线质量检测方法

Publications (1)

Publication Number Publication Date
CN109003271A true CN109003271A (zh) 2018-12-14

Family

ID=64597285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810822680.3A Pending CN109003271A (zh) 2018-07-25 2018-07-25 一种基于深度学习yolo算法的线束连接器排线质量检测方法

Country Status (1)

Country Link
CN (1) CN109003271A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109900706A (zh) * 2019-03-20 2019-06-18 易思维（杭州）科技有限公司 一种基于深度学习的焊缝及焊缝缺陷检测方法
CN109977948A (zh) * 2019-03-20 2019-07-05 哈尔滨工业大学 一种基于卷积神经网络的搅拌摩擦焊缝缺陷识别方法
CN110598761A (zh) * 2019-08-26 2019-12-20 深圳大学 一种点胶检测方法、装置及计算机可读存储介质
CN111179223A (zh) * 2019-12-12 2020-05-19 天津大学 基于深度学习的工业自动化缺陷检测方法
CN111476789A (zh) * 2020-05-09 2020-07-31 重庆金龙科技有限公司 一种带有学习功能的线束检测装置
CN113298760A (zh) * 2021-05-07 2021-08-24 厦门宏泰智能制造有限公司 一种基于深度学习的质量检测方法、装置和系统
JP2021156644A (ja) * 2020-03-25 2021-10-07 三菱電機株式会社 コネクタ検査装置、コネクタ検査方法、及びプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850858A (zh) * 2015-05-15 2015-08-19 华中科技大学 一种注塑制品缺陷检测识别方法
CN105654121A (zh) * 2016-04-11 2016-06-08 李云栋 一种基于深度学习的复杂提花织物缺陷检测方法
CN107389701A (zh) * 2017-08-22 2017-11-24 西北工业大学 一种基于图像的pcb表观缺陷自动检测系统及方法
CN107492098A (zh) * 2017-08-17 2017-12-19 广东工业大学 一种基于pca和cnn的高温锻件表面缺陷在位检测方法
CN107561738A (zh) * 2017-08-30 2018-01-09 湖南理工学院 基于fcn的tft‑lcd表面缺陷快速检测方法
CN107966447A (zh) * 2017-11-14 2018-04-27 浙江大学 一种基于卷积神经网络的工件表面缺陷检测方法
CN108242054A (zh) * 2018-01-09 2018-07-03 北京百度网讯科技有限公司 一种钢板缺陷检测方法、装置、设备和服务器
CN108257114A (zh) * 2017-12-29 2018-07-06 天津市万贸科技有限公司 一种基于深度学习的输电设备缺陷自动识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850858A (zh) * 2015-05-15 2015-08-19 华中科技大学 一种注塑制品缺陷检测识别方法
CN105654121A (zh) * 2016-04-11 2016-06-08 李云栋 一种基于深度学习的复杂提花织物缺陷检测方法
CN107492098A (zh) * 2017-08-17 2017-12-19 广东工业大学 一种基于pca和cnn的高温锻件表面缺陷在位检测方法
CN107389701A (zh) * 2017-08-22 2017-11-24 西北工业大学 一种基于图像的pcb表观缺陷自动检测系统及方法
CN107561738A (zh) * 2017-08-30 2018-01-09 湖南理工学院 基于fcn的tft‑lcd表面缺陷快速检测方法
CN107966447A (zh) * 2017-11-14 2018-04-27 浙江大学 一种基于卷积神经网络的工件表面缺陷检测方法
CN108257114A (zh) * 2017-12-29 2018-07-06 天津市万贸科技有限公司 一种基于深度学习的输电设备缺陷自动识别方法
CN108242054A (zh) * 2018-01-09 2018-07-03 北京百度网讯科技有限公司 一种钢板缺陷检测方法、装置、设备和服务器

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109900706A (zh) * 2019-03-20 2019-06-18 易思维（杭州）科技有限公司 一种基于深度学习的焊缝及焊缝缺陷检测方法
CN109977948A (zh) * 2019-03-20 2019-07-05 哈尔滨工业大学 一种基于卷积神经网络的搅拌摩擦焊缝缺陷识别方法
CN110598761A (zh) * 2019-08-26 2019-12-20 深圳大学 一种点胶检测方法、装置及计算机可读存储介质
CN111179223A (zh) * 2019-12-12 2020-05-19 天津大学 基于深度学习的工业自动化缺陷检测方法
CN111179223B (zh) * 2019-12-12 2023-05-09 天津大学 基于深度学习的工业自动化缺陷检测方法
JP2021156644A (ja) * 2020-03-25 2021-10-07 三菱電機株式会社 コネクタ検査装置、コネクタ検査方法、及びプログラム
CN111476789A (zh) * 2020-05-09 2020-07-31 重庆金龙科技有限公司 一种带有学习功能的线束检测装置
CN113298760A (zh) * 2021-05-07 2021-08-24 厦门宏泰智能制造有限公司 一种基于深度学习的质量检测方法、装置和系统

Similar Documents

Publication Publication Date Title
CN109003271A (zh) 一种基于深度学习yolo算法的线束连接器排线质量检测方法
CN105817430B (zh) 基于机器视觉的产品检测方法
CN109879005A (zh) 皮带撕裂检测装置及方法
CN108686978B (zh) 基于arm的水果类别和色泽的分拣方法及系统
CN109308447A (zh) 在电力远程监控中自动提取设备运行参数和运行状态的方法
CN104118609B (zh) 贴标质量检测方法和装置
CN108764134A (zh) 一种适用于巡检机器人的多类型仪表自动定位与识别方法
CN110991360B (zh) 一种基于视觉算法的机器人巡检点位智能配置方法
CN103729631A (zh) 一种基于视觉的连接器表面特征自动识别方法
WO2017107533A1 (zh) 一种电子元件样本标注方法及装置
CN104535589A (zh) 一种低压电流互感器在线检测方法和装置
CN103076342A (zh) 一种基于LabVIEW的PCB板插件在线检测系统及其检测方法
CN113657339A (zh) 一种基于机器视觉的仪表指针计数读取方法及介质
CN105023018A (zh) 一种喷码检测方法及系统
CN114441452B (zh) 一种光纤尾纤检测方法
CN114359552A (zh) 一种基于巡检机器人的仪表图像识别方法
CN114863311A (zh) 一种变电站机器人巡检目标自动跟踪方法及系统
CN109345519A (zh) 基于深度学习yolo算法的线束连接器加工型号检测方法
CN112967224A (zh) 一种基于人工智能的电子电路板检测系统、方法及介质
CN105548210A (zh) 基于机器视觉的美标电源延长线的检测方法
CN116385353A (zh) 一种摄像头模组异常检测方法
Zhang et al. Partial application of defect detection in industry
Shen et al. Design and implementation of PCB detection and classification system based on machine vision
CN110335272A (zh) 一种基于机器视觉的金属器件智能质检设备控制系统、方法及电子设备
Dahal Design of object identification system based on machine vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181214