CN109671064A - 一种工业零部件表面裂纹的多目标检测方法 - Google Patents

一种工业零部件表面裂纹的多目标检测方法 Download PDF

Info

Publication number
CN109671064A
CN109671064A CN201811528884.2A CN201811528884A CN109671064A CN 109671064 A CN109671064 A CN 109671064A CN 201811528884 A CN201811528884 A CN 201811528884A CN 109671064 A CN109671064 A CN 109671064A
Authority
CN
China
Prior art keywords
image
crackle
detection
network model
obtains
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811528884.2A
Other languages
English (en)
Inventor
薛林
陈相吉
崔允浩
黑俊铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201811528884.2A priority Critical patent/CN109671064A/zh
Publication of CN109671064A publication Critical patent/CN109671064A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种工业零部件表面裂纹的多目标检测方法，识别出图像中的裂纹，并获取裂纹的位置和尺寸信息，用以代替人工检测裂纹的工作。本发明可以利用目标检测和图像处理技术解决工业零部件表面裂纹的多目标检测的问题，一定程度代替人工检测。另外本发明可以通过增大训练集数据量，强化网络的识别能力，增强方法的适用性。

Description

一种工业零部件表面裂纹的多目标检测方法
技术领域
本发明基于深度学习，结合机器视觉的图像处理技术，是一种工业零部件表面裂纹的多目标检测方法。
背景技术
现实生产中，工业零部件表面可能会出现裂纹，裂纹区域处可能会因应力集中发生断裂造成严重的安全事故。所以及时地对零件表面裂纹进行检测，筛选出不合格的零件是质量检测不可或缺的一个环节。
长期以来，国内外大多是采用人工检测的方法来检测零部件的裂纹情况，这种检测办法有很多的弊端，存在精度不高、受主观影响大等问题，并不利于对零部件裂纹的识别，无法从根本上提高工作效率。
由于具有准确度高，对表面无损伤等优点，机器视觉检测受到了国内外同行的广泛关注。同时人工神经网络，是20世纪80年代以来人工智能领域兴起的研究热点，近十多年来其研究工作不断深入，已经取得了很大的进展，在图像和视觉方面，人们提出了很多种基于卷积神经网络的目标检测算法用于识别与检测，成功地解决了许多过去计算机难以解决的实际问题，表现出了良好的智能特性。
为了解决人工检测的问题，本发明从深度学习与机器视觉技术入手，基于YOLOv3算法，建立算法网络模型和裂纹图像样本库，根据样本库中的训练集对网络模型进行训练。结合机械视觉中的图像处理技术对算法网络检测得到的图像进行进一步的处理，得到裂纹的最小外接矩形，以一种直观的形式表现出更为精确的位置信息和尺寸信息。在一定程度上代替了人工检测的工作，实现了工业零部件表面裂纹的多目标检测。
发明内容
本发明的主要目的是提供一种工业零部件表面裂纹的多目标检测方法，识别出图像中的裂纹，并获取裂纹的位置和尺寸信息，用以代替人工检测裂纹的工作。
一种工业零部件表面裂纹的多目标检测方法，步骤如下：
(1)收集整理裂纹的图像数据，对图像中的裂纹进行人工标注，建立样本库，将样本库分为训练集、验证集和测试集；
(2)根据YOLOv3算法建立深度目标检测神经网络模型，使用样本库中训练集对所建立的YOLOv3深度目标检测神经网络模型进行训练；
(3)通过验证集对YOLOv3深度目标检测神经网络模型的检测效果进行验证，不断调试得到YOLOv3深度目标检测神经网络模型的连接权重与偏置参数；
(4)利用步骤(3)得到的YOLOv3深度目标检测神经网络模型，对测试集中的图像I进行检测，识别出多个裂纹并获取其位置信息，同时生成裂纹的外接水平矩形框，得到矩形的左上角点坐标(Xmin,Ymin)和右下角点坐标(Xmax,Ymax)；
(5)对步骤(4)中识别得到的矩形框，根据左上角点和右下角点进行裁剪操作，得到一个新的以检测得到的裂纹为主体的小尺寸图像In，n表示裂纹的序号；
(6)将步骤(5)裁剪的图像In转为灰度图，再对其进行高斯模糊的处理，得到图像I′n；
(7)采用Otsu法对图像I′n进行二值化处理，再对其处理结果进行黑白像素转换，即将灰度值为255的像素变为灰度值为0，灰度值为0的像素变为灰度值为255，得到图像I″n；
(8)根据图像I″n找到裂纹的轮廓点集，再由轮廓点集得到裂纹的最小外接矩形，同时输出最小外接矩形的信息，矩形中心(Xc,Yc)，矩形的宽高(W,H)，旋转角度θ；
(9)根据得到步骤(8)的结果，在原图I中画出裂纹的最小外接矩形，由于经过了图像的变换，所以矩形中心点的坐标为：
X＝Xc+Xmin
Y＝Yc+Ymin。
本发明的有益效果：本发明可以利用目标检测和图像处理技术解决工业零部件表面裂纹的多目标检测的问题，一定程度代替人工检测。另外本发明可以通过增大训练集数据量，强化网络的识别能力，增强方法的适用性。
附图说明
图1为原始的待检测图像。
图2为通过训练好的网络检测得到的多裂纹识别图像。
图3为根据检测得到矩形框裁剪得到的裂纹局部图像。
图4为经过灰度化和高斯模糊得到的裂纹局部图像
图5为二值化和黑白转换的裂纹局部图像。
图6为以图5为基础裂纹的轮廓点集图像。
图7为裂纹的最小矩形框图像。
图8为处理整合后的最终检测结果图像。
具体实施方式
为了使本发明的目的、技术方案及优点描述得更加清楚，下面将以一张裂纹图片为例，结合本发明中的附图，对本发明中的技术方案进行完整的描述。
先使用样本库中的训练集图像对深度目标检测神经网络进行训练，并通过验证集对模型的过拟合程度进行验证，不断调试得到网络模型的连接权重与偏置参数，得到训练好的网络模型。再由网络模型对原始图像I进行检测，得到图像I′，如图2所示，包含图中检测到所有裂纹的位置信息，即水平矩形框的左上角点坐标(Xmin,Ymin)和右下角点坐标(Xmax,Ymax)。
根据图像I′中的矩形框区域进行裁剪，得到一个新的以检测得到的裂纹为主体的小尺寸图像In(n为裂纹序号)，如图3。再将裁剪得到的图像In转化为灰度图，并通过高斯模糊的处理得到I′n，如图4所示。采用大津法对图像I′n进行二值化处理，并将黑白像素转换，即将灰度值为255的像素变为灰度值为0，灰度值为0的像素变为灰度值为255，得到图像I″n，如图5所示。
找到二值化的图像I″n的边缘轮廓，如图6所示，并根据此边缘绘制出其最小外接矩形，如图7所示，同时输出最小外接矩形的信息(矩形中心(Xc,Yc)，矩形的宽高(W,H)，旋转角度θ)，由于经过了图像的变换，所以根据偏移公式，将各个裂纹的最小外接矩形整合到原始图像中得到最终结果，如图8所示，偏移公式如下：
X＝Xc+Xmin
Y＝Yc+Ymin。

Claims (1)

1.一种工业零部件表面裂纹的多目标检测方法，其特征在于，步骤如下：
(1)收集整理裂纹的图像数据，对图像中的裂纹进行人工标注，建立样本库，将样本库分为训练集、验证集和测试集；
(2)根据YOLOv3算法建立深度目标检测神经网络模型，使用样本库中训练集对所建立的YOLOv3深度目标检测神经网络模型进行训练；
(3)通过验证集对YOLOv3深度目标检测神经网络模型的检测效果进行验证，不断调试得到YOLOv3深度目标检测神经网络模型的连接权重与偏置参数；
(4)利用步骤(3)得到的YOLOv3深度目标检测神经网络模型，对测试集中的图像I进行检测，识别出多个裂纹并获取其位置信息，同时生成裂纹的外接水平矩形框，得到矩形的左上角点坐标(Xmin,Ymin)和右下角点坐标(Xmax,Ymax)；
(5)对步骤(4)中识别得到的矩形框，根据左上角点和右下角点进行裁剪操作，得到一个新的以检测得到的裂纹为主体的小尺寸图像In，n表示裂纹的序号；
(6)将步骤(5)裁剪的图像In转为灰度图，再对其进行高斯模糊的处理，得到图像I′n；
(7)采用Otsu法对图像I′n进行二值化处理，再对其处理结果进行黑白像素转换，即将灰度值为255的像素变为灰度值为0，灰度值为0的像素变为灰度值为255，得到图像I″n；
(8)根据图像I″n找到裂纹的轮廓点集，再由轮廓点集得到裂纹的最小外接矩形，同时输出最小外接矩形的信息，矩形中心(Xc,Yc)，矩形的宽高(W,H)，旋转角度θ；
(9)根据得到步骤(8)的结果，在原图I中画出裂纹的最小外接矩形，由于经过了图像的变换，所以矩形中心点的坐标为：
X＝Xc+Xmin
Y＝Yc+Ymin。
CN201811528884.2A 2018-12-14 2018-12-14 一种工业零部件表面裂纹的多目标检测方法 Pending CN109671064A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811528884.2A CN109671064A (zh) 2018-12-14 2018-12-14 一种工业零部件表面裂纹的多目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811528884.2A CN109671064A (zh) 2018-12-14 2018-12-14 一种工业零部件表面裂纹的多目标检测方法

Publications (1)

Publication Number Publication Date
CN109671064A true CN109671064A (zh) 2019-04-23

Family

ID=66143858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811528884.2A Pending CN109671064A (zh) 2018-12-14 2018-12-14 一种工业零部件表面裂纹的多目标检测方法

Country Status (1)

Country Link
CN (1) CN109671064A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175658A (zh) * 2019-06-26 2019-08-27 浙江大学 一种基于YOLOv3深度学习的混凝土裂缝识别方法
CN111105398A (zh) * 2019-12-19 2020-05-05 昆明能讯科技有限责任公司 一种基于可见光图像数据的输电线路部件裂纹检测方法
CN111681240A (zh) * 2020-07-07 2020-09-18 福州大学 一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038448A (zh) * 2017-03-01 2017-08-11 中国科学院自动化研究所 目标检测模型构建方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038448A (zh) * 2017-03-01 2017-08-11 中国科学院自动化研究所 目标检测模型构建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIANGYUN LI ETAL.: "Real-time Detection of Steel Strip Surface Defects Based on Improved YOLO Detection Network", 《IFAC PAPERS ONLINE》 *
姚红兵等: "水面船只的成像处理与标定", 《激光与光电子学进展》 *
董辉等: "堆积碎石土中细小黏粒的细观孔隙特征", 《水土保持通报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110175658A (zh) * 2019-06-26 2019-08-27 浙江大学 一种基于YOLOv3深度学习的混凝土裂缝识别方法
CN111105398A (zh) * 2019-12-19 2020-05-05 昆明能讯科技有限责任公司 一种基于可见光图像数据的输电线路部件裂纹检测方法
CN111681240A (zh) * 2020-07-07 2020-09-18 福州大学 一种基于YOLO v3与注意力机制的桥梁表面裂痕检测方法

Similar Documents

Publication Publication Date Title
CN105067638B (zh) 基于机器视觉的轮胎胎膜表面字符缺陷检测方法
CN112837290B (zh) 一种基于种子填充算法的裂缝图像自动识别方法
CN108917593B (zh) 一种基于待测工件基元组态的智能测量系统及方法
CN109671064A (zh) 一种工业零部件表面裂纹的多目标检测方法
CN111179225A (zh) 一种基于灰度梯度聚类的试纸表面纹理缺陷检测方法
CN108133216B (zh) 基于机器视觉的可实现小数点读取的数码管读数识别方法
CN102974551A (zh) 一种基于机器视觉的多晶硅太阳能检测分选的方法
CN111079545A (zh) 一种基于图像修复的三维目标检测方法和系统
CN107490582A (zh) 一种流水线工件检测系统
CN109324061A (zh) 一种锂电池极片的毛刺检测装置和方法
CN110108712A (zh) 多功能视觉缺陷检测系统
CN111681222A (zh) 一种刀痕崩边自动检测判断方法及其应用的划片机
CN107133962A (zh) 一种基于边缘检测的金刚石锯片裂纹提取方法
CN106599890A (zh) 变电站巡检机器人数字式仪表识别算法
CN111257329A (zh) 一种智能手机摄像头缺陷检测方法以及检测系统
TW202201275A (zh) 手部作業動作評分裝置、方法及電腦可讀取存儲介質
CN111667475A (zh) 一种基于机器视觉的大枣分级检测方法
CN116481687A (zh) 一种基于机器视觉的成品轮胎应力应变测量设备、方法和程序产品
CN104614386A (zh) 一种镜片疵病类型的识别方法
CN113269234B (zh) 一种基于目标检测的连接件装配检测方法和系统
CN107145888A (zh) 视频字幕实时翻译方法
CN107944393B (zh) 人脸鼻尖定位方法
CN114155226A (zh) 一种微小缺陷边缘计算方法
CN109934800A (zh) 一种烟包卡纸的定位方法及系统
CN110852990B (zh) 一种基于图像处理的橡胶树斜刀痕检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190423

RJ01 Rejection of invention patent application after publication