CN115019031A - 基于深度学习的锯链缺陷检测系统 - Google Patents

基于深度学习的锯链缺陷检测系统 Download PDF

Info

Publication number
CN115019031A
CN115019031A CN202210590179.5A CN202210590179A CN115019031A CN 115019031 A CN115019031 A CN 115019031A CN 202210590179 A CN202210590179 A CN 202210590179A CN 115019031 A CN115019031 A CN 115019031A
Authority
CN
China
Prior art keywords
saw chain
control system
computer control
light
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210590179.5A
Other languages
English (en)
Inventor
赵春峰
袁辉
刘苏
魏贤良
张福豹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shuoyushuo Jiangsu Intelligent Technology Co ltd
Original Assignee
Shuoyushuo Jiangsu Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shuoyushuo Jiangsu Intelligent Technology Co ltd filed Critical Shuoyushuo Jiangsu Intelligent Technology Co ltd
Priority to CN202210590179.5A priority Critical patent/CN115019031A/zh
Publication of CN115019031A publication Critical patent/CN115019031A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J29/00—Details of, or accessories for, typewriters or selective printing mechanisms not otherwise provided for
    • B41J29/38—Drives, motors, controls or automatic cut-off devices for the entire printing mechanism
    • B41J29/393—Devices for controlling or analysing the entire machine ; Controlling or analysing mechanical parameters involving printing of test patterns
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J3/00—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed
    • B41J3/407—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed for marking on special material
    • B41J3/4073—Printing on three-dimensional objects not being in sheet or web form, e.g. spherical or cubic objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J3/00—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed
    • B41J3/407—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed for marking on special material
    • B41J3/413—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed for marking on special material for metal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B41—PRINTING; LINING MACHINES; TYPEWRITERS; STAMPS
    • B41J—TYPEWRITERS; SELECTIVE PRINTING MECHANISMS, i.e. MECHANISMS PRINTING OTHERWISE THAN FROM A FORME; CORRECTION OF TYPOGRAPHICAL ERRORS
    • B41J3/00—Typewriters or selective printing or marking mechanisms characterised by the purpose for which they are constructed
    • B41J3/44—Typewriters or selective printing mechanisms having dual functions or combined with, or coupled to, apparatus performing other functions
    • B41J3/445—Printers integrated in other types of apparatus, e.g. printers integrated in cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Manufacturing & Machinery (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了锯链生产技术领域的基于深度学习的锯链缺陷检测系统，包括：下位机控制系统、上位机控制系统和图像采集系统，所述下位机控制系统与上位机控制系统电性连接，所述下位机控制系统与图像采集系统电性连接，本发明通过通过硬件检测平台完成对锯链图像的采集，设计上位机及下位机控制系统，通过上下位机系统的通信和联调完成对锯链缺陷的自动化检测，采用YOLOv3目标检测算法，并通过K‑means算法重新聚类先验框尺寸信息，提高先验框与缺陷目标的匹配度。

Description

基于深度学习的锯链缺陷检测系统
技术领域
本发明涉及锯链生产技术领域，具体为基于深度学习的锯链缺陷检测系统。
背景技术
锯链做为机械传动的基础件具有具有传递率大的优点，是电锯的主要零部件，用于林业木料的采集。锯链在生产过程中，优于生产工艺的限制，不可避免地会产生刀片破损、连接片跳片、传动片倒装等类型的缺陷，如未及时清理锯链存在的缺陷会导致在电锯使用过程中出现人员安全事故，威胁操作人员的生命；
目前，工厂内对锯链缺陷的检测主要是通过人工肉眼来观察，具有检测效率低、漏检率高、工作强度大的问题，且易受工人主观情绪的影响，极易发生缺陷漏检、误检的现状。
发明内容
本发明的目的在于提供基于深度学习的锯链缺陷检测系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：基于深度学习的锯链缺陷检测系统，包括：下位机控制系统、上位机控制系统和图像采集系统；
所述下位机控制系统与上位机控制系统电性连接，所述下位机控制系统与图像采集系统电性连接。
作为优选，所述下位机控制系统包括PLC控制器、电机与工作台，所述PLC控制器安装在工作台内腔右侧，且电机安装在工作台顶部的右侧壁，且电机输出轴上安装有电机转轴，所述电机转轴外壁套设有同步带。
作为优选，所述图像采集系统上CCD相机、上同轴光、上碗光、下CCD相机、下同轴光、下碗光、三色灯、计算机与喷码器，所述工作台顶部壁与内腔顶部均安装有安装杆，且上侧安装杆外壁由上到下依次安装有上CCD相机、上同轴光与上碗光，且下侧安装杆外壁由下到上依次安装有下CCD相机、下同轴光与下碗光，所述三色灯安装在工作台顶部的右侧壁上，所述计算机与喷码器均安装在工作台顶部的左侧壁上。
作为优选，所述上位机控制系统包括数据发送单元和图像处理单元。
与现有技术相比，本发明的有益效果是：本发明通过通过硬件检测平台完成对锯链图像的采集，设计上位机及下位机控制系统，通过上下位机系统的通信和联调完成对锯链缺陷的自动化检测，采用YOLOv3目标检测算法，并通过K-means算法重新聚类先验框尺寸信息，提高先验框与缺陷目标的匹配度。
附图说明
图1为本发明系统组成示意图；
图2为本发明硬件结构示意图；
图3为本发明缺陷检测系统检测流程示意图。
图中：1、计算机；2、喷码器；3、上CCD相机；4、上同轴光；5、上碗光；6、三色灯；7、电机转轴；8、同步带；9、下碗光；10、下同轴光；11、下CCD相机；12、PLC控制器。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种技术方案：基于深度学习的锯链缺陷检测系统，请参阅图1，包括：下位机控制系统、上位机控制系统和图像采集系统；
下位机控制系统与上位机控制系统电性连接，下位机控制系统与图像采集系统电性连接，图像采集系统由CCD面阵相机、光源等组成，用于进行锯链图像采集；上位机控制系统的设计主要是和下位机进行数据通信，当软件检测到缺陷后向下位机发送数据信息，同时在软件界面显示缺陷图像的位置和类别；
请参阅图1和图2，下位机控制系统包括PLC控制器12、电机与工作台，PLC控制器12安装在工作台内腔右侧，且电机安装在工作台顶部的右侧壁，且电机输出轴上安装有电机转轴7，电机转轴7外壁套设有同步带8；
图像采集系统上CCD相机3、上同轴光4、上碗光5、下CCD相机11、下同轴光10、下碗光9、三色灯6、计算机1与喷码器2，工作台顶部壁与内腔顶部均安装有安装杆，且上侧安装杆外壁由上到下依次安装有上CCD相机3、上同轴光4与上碗光5，且下侧安装杆外壁由下到上依次安装有下CCD相机11、下同轴光10与下碗光9，三色灯6安装在工作台顶部的右侧壁上，计算机1与喷码器2均安装在工作台顶部的左侧壁上，上位机控制系统包括数据发送单元和图像处理单元；
图像采集装置分为两个工位(分别是上下两侧相机，上CCD相机3与下CCD相机11)，分别采集锯链正面和背面的图像，整个系统的运行采用带传动的方式进行，由PLC控制电机的转速，同步带8缠绕在电机转轴7，带同步带8移动，锯链在同步带的带动下进入相机位置，为保证所采集图像清晰，需要两个条件，条件一：上下工位采用同轴光+碗光的组合光源形式，确保锯链图像在光源下显得足够清晰，条件二：若锯链一直移动会导致相机采集图片由于运动的原因出现图像模糊的情况，因此，需要对PLC进行程序编写，锯链以0.6m/s的速度在检测平台上移动，当运动一定距离后，停止0.2s，相机在0.2秒的时间内延时50毫秒进行拍照，确保采集图像时锯链是完全静止的状态；
相机采用硬触发的方式进行图像采集，每当锯链停止时，PLC控制器12会向相机发送触发信号，将采集图像放入软件后台进行缺陷检测，软件中有已经训练好的YOLOv3目标检测模型，采用堆栈的方式，将采集到的每张图像以先进先出的原则送入模型进行预测，当算法识别到锯链缺陷后，一方面在软件界面输出锯链缺陷的类别和位置，另一方面采用snap-7通信协议向PLC发送NG的数据命令，当PLC控制器12接收到NG信息后，输出电平信号触发电磁阀动作，喷码器2一端与气泵、电磁阀连接，当电磁阀动作后，喷码器2会将颜料喷到缺陷位置，便于工人检出缺陷锯链；
锯链缺陷检测是基于深度学习的目标检测算法，当前主流的目标检测算法分为两类，一类是以R-CNN、Fast R-CNN、Faster R-CNN为代表的两阶段目标检测算法，另一类是以YOLO、SSD为代表的一阶段目标检测算法，两阶段目标检测算法在区域候选网络的基础上分别进行类别预测与目标定位，具有较高的检测精度，但检测速度较慢，一阶段目标检测算法舍弃区域候选网络直接进行类别预测与目标定位，具有较快的检测速度，但在检测精度上低于两阶段目标检测算法；
本系统采用YOLOv3目标检测算法，该算法采用Darknet-53作为特征提取的主干网络，不同于其他卷积神经网络，Darknet-53舍去了池化操作，多采用1*1和3*3大小的卷积核，通过调整卷积核移动步长的方式进行特征提取，该网络引入残差网络的思想，将两个卷积层与一个快捷链路组成一个残差组件，避免网络层数过深导致特征提取性能下降，提高特征提取效率；
YOLOv3输出三个输出特征图层，用于预测大、中、小尺寸的目标物，特征图层之间分别以上采样的方式进行拼接，将浅层特征与深层特征进一步融合，相对YOLO前两个版本的算法提升了算法对缺陷的识别精度，原始YOLOv3每个特征图层上的尺寸是通过K-means聚类算法在VOC数据集上获得，由于锯链缺陷没有公开的数据集，需要对锯链进行图像采集，通过深度学习工具对缺陷进行标注，使用K-means算法聚类锯链数据集缺陷信息，得到9类不同大小的先验框尺寸信息，分别用于不同特征图层目标的预测；
软件界面具有运动控制功能、数据通信功能、缺陷检测功能，在进行缺陷检测时，将相机采集到的图像实时显示在软件界面，当软件后台检测出缺陷后，由算法输出锯链缺陷的类别和位置，在软件界面显示出标注后的锯链缺陷，便于人工分拣；
系统工作流程图如图3所示，其工作流程为：
(1)采用CCD工业相机进行图像采集，通过图像增强的方式构建锯链缺陷数据集；
(2)同步带每个运动间隔都由PLC发出信号，触发相机拍照；
(3)在软件界面采用堆栈的方式，检测相机采集的每张图片；
(4)YOLOv3算法采用K-means算法对锯链数据重新聚类后，提高了预测框与锯链缺陷的匹配度，将训练好的权重文件放入软件用于缺陷检测；
(5)当软件检测到缺陷后，向PLC发送NG信息，PLC接收到NG信息后向电磁阀发送触发信号，控制喷码器喷码；
(6)软件界面采用多线程的方式将相机拍摄的图片与缺陷图片实时显示，便于工人看到锯链缺陷的形状；
(7)喷码采用延时喷码的方式，通过计算锯链移动速度与缺陷位置的关系，控制喷码器的动作时间，使之准确喷码在缺陷位置；
(8)通过软件对锯链图片的检测和下位机控制系统对缺陷的标识，是工人很容易分拣出缺陷锯链，提高缺陷检测效率；
通过对锯链缺陷的分析，细致比较人工检测与机器检测优缺点的基础上，提出了一种基于深度学习的锯链缺陷检测系统的设计方案，通过设计机械结构搭建锯链缺陷图像采集平台，使用CCD相机对锯链进行图像采集，建立数据集，采用YOLOv3目标检测算法对锯链图像进行缺陷检测，通过PLC来控制系统的运行以及检出缺陷时对缺陷进行标记，便于人工检出缺陷锯链。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.基于深度学习的锯链缺陷检测系统，其特征在于：包括：下位机控制系统、上位机控制系统和图像采集系统；
所述下位机控制系统与上位机控制系统电性连接，所述下位机控制系统与图像采集系统电性连接。
2.根据权利要求1所述的基于深度学习的锯链缺陷检测系统，其特征在于：所述下位机控制系统包括PLC控制器(12)、电机与工作台，所述PLC控制器(12)安装在工作台内腔右侧，且电机安装在工作台顶部的右侧壁，且电机输出轴上安装有电机转轴(7)，所述电机转轴(7)外壁套设有同步带(8)。
3.根据权利要求2所述的基于深度学习的锯链缺陷检测系统，其特征在于：所述图像采集系统上CCD相机(3)、上同轴光(4)、上碗光(5)、下CCD相机(11)、下同轴光(10)、下碗光(9)、三色灯(6)、计算机(1)与喷码器(2)，所述工作台顶部壁与内腔顶部均安装有安装杆，且上侧安装杆外壁由上到下依次安装有上CCD相机(3)、上同轴光(4)与上碗光(5)，且下侧安装杆外壁由下到上依次安装有下CCD相机(11)、下同轴光(10)与下碗光(9)，所述三色灯(6)安装在工作台顶部的右侧壁上，所述计算机(1)与喷码器(2)均安装在工作台顶部的左侧壁上。
4.根据权利要求1所述的基于深度学习的锯链缺陷检测系统，其特征在于：所述上位机控制系统包括数据发送单元和图像处理单元。
CN202210590179.5A 2022-05-26 2022-05-26 基于深度学习的锯链缺陷检测系统 Withdrawn CN115019031A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210590179.5A CN115019031A (zh) 2022-05-26 2022-05-26 基于深度学习的锯链缺陷检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210590179.5A CN115019031A (zh) 2022-05-26 2022-05-26 基于深度学习的锯链缺陷检测系统

Publications (1)

Publication Number Publication Date
CN115019031A true CN115019031A (zh) 2022-09-06

Family

ID=83071459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210590179.5A Withdrawn CN115019031A (zh) 2022-05-26 2022-05-26 基于深度学习的锯链缺陷检测系统

Country Status (1)

Country Link
CN (1) CN115019031A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115456999A (zh) * 2022-09-16 2022-12-09 南通大学 一种基于机器视觉的锯链表面缺陷自动化检测系统及缺陷检测方法
CN116429782A (zh) * 2023-03-29 2023-07-14 南通大学 一种基于残差网络和知识编码的锯链缺陷检测方法
CN116500228A (zh) * 2023-03-24 2023-07-28 硕与硕(江苏)智能科技有限公司 锯链在线自动缺陷检测的防掉落系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115456999A (zh) * 2022-09-16 2022-12-09 南通大学 一种基于机器视觉的锯链表面缺陷自动化检测系统及缺陷检测方法
CN115456999B (zh) * 2022-09-16 2023-08-15 南通大学 一种基于机器视觉的锯链表面缺陷自动化检测系统及缺陷检测方法
CN116500228A (zh) * 2023-03-24 2023-07-28 硕与硕(江苏)智能科技有限公司 锯链在线自动缺陷检测的防掉落系统
CN116500228B (zh) * 2023-03-24 2023-12-15 硕与硕(江苏)智能科技有限公司 锯链在线自动缺陷检测的防掉落系统
CN116429782A (zh) * 2023-03-29 2023-07-14 南通大学 一种基于残差网络和知识编码的锯链缺陷检测方法
CN116429782B (zh) * 2023-03-29 2024-01-09 南通大学 一种基于残差网络和知识编码的锯链缺陷检测方法

Similar Documents

Publication Publication Date Title
CN115019031A (zh) 基于深度学习的锯链缺陷检测系统
CN109332928B (zh) 基于深度学习在线检测的路灯灯杆自动焊接系统及焊接方法
CN104764750B (zh) 基于机器视觉的电梯平衡补偿链质量自动检测装置和方法
CN205650478U (zh) 交换机外观检测设备及系统
CN110781896B (zh) 一种轨道垃圾识别方法、清洁方法、系统、资源配置方法
CN108982514A (zh) 一种铸件表面缺陷仿生视觉检测系统
CN105651782A (zh) 一种发动机缸盖表面缺陷机器视觉自动检测设备
CN103785622B (zh) 基于机器视觉的零件分拣装置的零件分拣方法
CN115456999B (zh) 一种基于机器视觉的锯链表面缺陷自动化检测系统及缺陷检测方法
CN108380509A (zh) 基于机器视觉的led灯盘分拣与检测系统
CN206935825U (zh) 一种玻璃容器制造颈部裂纹缺陷视觉检测系统
CN112016409A (zh) 一种基于深度学习的工步规范视觉识别判定方法及系统
CN112005719A (zh) 一种茶叶嫩芽识别与采摘方法
CN112718552A (zh) 一种用于led电路板质量缺陷自动检验装置及其工作方法
CN109060833A (zh) 一种全自动检测链轮型号及缺陷的照相装置
CN103949410A (zh) 一种槟榔籽自动分选设备
CN114942221A (zh) 一种电路板自动视觉检测装置、系统及检测方法
CN117152093B (zh) 基于数据融合和深度学习的轮胎缺陷检测系统及方法
CN113277146A (zh) 一种包装机的多工位质量监控方法
CN109127444A (zh) 一种到港行李在装卸区的移动式标签识别装置及控制方法
CN109622404A (zh) 一种基于机器视觉的微工件自动分拣系统及方法
CN112720518A (zh) 风电机组叶片检修机器人
CN112024426A (zh) 多工位视觉识别系统
CN115608643A (zh) 工业互联网的工业检测方法及系统
CN208654058U (zh) 一种全自动检测链轮型号及缺陷的照相装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220906

WW01 Invention patent application withdrawn after publication