CN112184619A - 一种基于深度学习的金属部件表面缺陷检测方法 - Google Patents
一种基于深度学习的金属部件表面缺陷检测方法 Download PDFInfo
- Publication number
- CN112184619A CN112184619A CN202010863641.5A CN202010863641A CN112184619A CN 112184619 A CN112184619 A CN 112184619A CN 202010863641 A CN202010863641 A CN 202010863641A CN 112184619 A CN112184619 A CN 112184619A
- Authority
- CN
- China
- Prior art keywords
- rpn
- image
- candidate
- video file
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 title claims abstract description 26
- 239000002184 metal Substances 0.000 title claims abstract description 23
- 238000013135 deep learning Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000009466 transformation Effects 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 230000001629 suppression Effects 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 abstract description 3
- 238000012549 training Methods 0.000 description 3
- 230000002950 deficient Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Abstract
本发明涉及一种基于深度学习的金属部件表面缺陷检测方法，其包括如下步骤：获取视频文件，对其进行截帧处理，将截取的图像进行剪切和/或旋转变换，使金属部件处于图片中心位置；特征提取；区域建议网络RPN，利用RPN网络获得图像中的位置信息与分类信息；通过 RPN 获得候选区域后，利用Fast‑RCNN进行检测。本发明利用 Resnet 网络进行特征提取，采用 RPN 方法提取缺陷的候选目标矩形区域，在候选区域基础上进行缺陷检测。该检测系统能有效克服金属表面的反射以及环境因素的影响；同时利用基于 Faster‑RCNN 框架的方法进行缺陷检测，较好地解决了金属表面缺陷检测能力弱的问题。
Description
技术领域
本发明涉及一种基于深度学习的金属部件表面缺陷检测方法。
背景技术
当前金属部件表面缺陷检测主要有两种方法，一是基于模板匹配的方法；二是利用图像特征进行识别的方法。
基于模板匹配的方法，需要将照相底片数字化 ,然后进行数字图像去噪和增强处理 ,改善图像质量。在此基础上去除背景 ,分割提取缺陷并进行二值化处理。从二值化处理后的图像提取缺陷特征值 ,用模糊神经网络模式识别方法实现计算机识别。此种方法运用对图片数据来源要求较为苛刻，需要同一金属部件的较多图片作为基础数据，识别方法缺乏通用性，计算机对图片的处理步骤较多，图片识别耗费的时间较长，该方法要求待检测图像与模板图像之间必须拥有精确的匹配度，否则容易出现误检、漏检等情况。
利用图像特征的方法，抓住图像的颜色，纹理，灰度直方图等特征，提取能够区分无缺陷图与有缺陷图的差异特征向量，然后设计分类器，经过训练、调整参数后得到最佳网络。在检测时，利用预先训练好的分类器实现对目标图像的实时特征提取，判别是否存在缺陷及是哪种缺陷。该方法虽然检测速度快，但仅适用于背景简单且缺陷特征较明显的场合，因为以上特征提取方法都不可避免地会遗漏某些细节特征。同时面临着如光照不均、缺陷与非缺陷之间对比度低、噪音与细微缺陷相似度高等问题，造成识别精度偏低。
发明内容
本发明所要解决的技术问题是提供一种基于深度学习的金属部件表面缺陷检测方法，可以有效克服金属表面的反射以及环境因素的影响。
本发明所采用的技术方案是：一种基于深度学习的金属部件表面缺陷检测方法，其包括如下步骤：
获取视频文件，对其进行截帧处理，将截取的图像进行剪切和/或旋转变换，使金属部件处于图片中心位置；
特征提取；
区域建议网络RPN，利用RPN网络获得图像中的位置信息与分类信息；
通过 RPN 获得候选区域后，利用Fast-RCNN进行检测。
进一步的，在获取视频文件时，若为在线摄像头，则获取摄像头的用户名和密码，对实时视频进行处理；若为存储好的视频文件，则获取文件路径。
进一步的，在特征提取时，利用卷积神经网络的权值共享网络结构提取图像特征；
将图像作为网络输入，使用 RoIPooling 首先将预选框边界量化为整数点坐标值；然后遍历每一个候选区域，保持浮点数边界不做量化，将候选区域分割成 n×n个单元，每个单元的边界不做量化；最后在每个单元中计算固定四个坐标位置，使用双线性内插的方法计算出这四个位置的值，然后进行最大池化操作。
进一步的，在利用RPN网络获得图像中的位置信息与分类信息时，利用RPN网络选取高质量的候选框，输入一张图像、输出若干个矩形候选区域，使用一个小滑动窗口在最后卷积得到的特征图进行滑动扫描；经过滑动卷积后，映射得到一个 D 维向量，最后将该 D维向量送入两个全连接层中，即候选框位置回归层与分类层，以获得位置信息与分类信息。
进一步的，位置回归层输出候选框的 4 个相关参数包括候选框中心坐标 x 和y、宽 w 和长h；分类层输出目标与非目标概率。
进一步的，使用非极大值抑制法对候选框进行过滤。
进一步的，利用Fast-RCNN进行检测时，RPN与Fast-RCNN 共享卷积特征，Fast-RCNN 在 RPN 提供的高质量区域建议网络的基础上进行目标识别。
本发明的积极效果为：本发明基于Faster-RCNN，利用 Resnet 网络进行特征提取，采用 RPN 方法提取缺陷的候选目标矩形区域，在候选区域基础上进行缺陷检测。该检测系统能有效克服金属表面的反射以及环境因素的影响；同时利用基于 Faster-RCNN 框架的方法进行缺陷检测，较好地解决了金属表面缺陷检测能力弱的问题。
具体实施方式
本发明提供一种基于深度学习的金属部件表面缺陷检测方法，具体步骤包括：
S01： 获取视频文件，视频的获取分为两种情况，如果是在线摄像头，则获取摄像头的用户名密码，对实时视频进行处理，如果是存储好的视频文件，则获取文件的路径。系统对获取到的视频文件进行截帧处理，以减少系统的工作压力。根据摄像头位置的不同，对截取的图像进行剪切，旋转等基本图像变换，达到金属部件处于图片中心位置的效果。
S02：特征提取。利用卷积神经网络的权值共享网络结构，提取图像特征。在图像处理时，可以直接将图像作为网络输入，使用 RoIPooling 首先将预选框边界量化为整数点坐标值；然后遍历每一个候选区域, 保持浮点数边界不做量化, 将候选区域分割成 n×n个单元, 每个单元的边界不做量化；最后在每个单元中计算固定四个坐标位置, 使用双线性内插的方法计算出这四个位置的值, 然后进行最大池化操作。
S03：区域建议网络RPN。利用RPN网络选取高质量的候选框，输入一张图像、输出一批矩形候选区域，使用一个小滑动窗口在最后卷积得到的特征图进行滑动扫描。经过滑动卷积后，映射得到一个 D 维向量，最后将该 D 维向量送入两个全连接层中，即候选框位置回归层与分类层，以获得位置信息与分类信息。其中位置回归层输出候选框的 4 个相关参数（x，y，w，h），包括候选框中心坐标 x 和 y、宽 w 和长h；分类层输出目标与非目标概率。候选框数目很大且重叠区域多，为提高检测效率，使用非极大值抑制法对候选框进行过滤。
S04：缺陷识别。通过 RPN 获得候选区域后，利用 Fast-RCNN 进 行 检 测 。 RPN与 Fast-RCNN 共 享 卷 积 特 征 ，Fast-RCNN 在 RPN 提供的高质量区域建议网络的基础上进行目标识别，目标检测速度得到了大幅提高。对候选区域进行训练，在训练时，通过一种交替运行优化方法使RPN 与 Fast-RCNN 共享卷积特征。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
Claims (7)
1.一种基于深度学习的金属部件表面缺陷检测方法，其特征在于其包括如下步骤：
获取视频文件，对其进行截帧处理，将截取的图像进行剪切和/或旋转变换，使金属部件处于图片中心位置；
特征提取；
区域建议网络RPN，利用RPN网络获得图像中的位置信息与分类信息；
通过 RPN 获得候选区域后，利用Fast-RCNN进行检测。
2.根据权利要求1所述的一种基于深度学习的金属部件表面缺陷检测方法，其特征在于在获取视频文件时，若为在线摄像头，则获取摄像头的用户名和密码，对实时视频进行处理；若为存储好的视频文件，则获取文件路径。
3.根据权利要求1所述的一种基于深度学习的金属部件表面缺陷检测方法，其特征在于在特征提取时，利用卷积神经网络的权值共享网络结构提取图像特征；
将图像作为网络输入，使用 RoIPooling 首先将预选框边界量化为整数点坐标值；然后遍历每一个候选区域，保持浮点数边界不做量化，将候选区域分割成 n×n个单元，每个单元的边界不做量化；最后在每个单元中计算固定四个坐标位置，使用双线性内插的方法计算出这四个位置的值，然后进行最大池化操作。
4.根据权利要求1所述的一种基于深度学习的金属部件表面缺陷检测方法，其特征在于在利用RPN网络获得图像中的位置信息与分类信息时，利用RPN网络选取高质量的候选框，输入一张图像、输出若干个矩形候选区域，使用一个小滑动窗口在最后卷积得到的特征图进行滑动扫描；经过滑动卷积后，映射得到一个 D 维向量，最后将该 D 维向量送入两个全连接层中，即候选框位置回归层与分类层，以获得位置信息与分类信息。
5.根据权利要求4所述的一种基于深度学习的金属部件表面缺陷检测方法，其特征在于位置回归层输出候选框的 4 个相关参数包括候选框中心坐标 x 和 y、宽 w 和长h；分类层输出目标与非目标概率。
6.根据权利要求5所述的一种基于深度学习的金属部件表面缺陷检测方法，其特征在于使用非极大值抑制法对候选框进行过滤。
7.根据权利要求1所述的一种基于深度学习的金属部件表面缺陷检测方法，其特征在于利用Fast-RCNN进行检测时，通过交替运行优化方法使RPN与Fast-RCNN 共享卷积特征，Fast-RCNN 在 RPN 提供的高质量区域建议网络的基础上进行目标识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010863641.5A CN112184619A (zh) | 2020-08-25 | 2020-08-25 | 一种基于深度学习的金属部件表面缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010863641.5A CN112184619A (zh) | 2020-08-25 | 2020-08-25 | 一种基于深度学习的金属部件表面缺陷检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112184619A true CN112184619A (zh) | 2021-01-05 |
Family
ID=73924312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010863641.5A Pending CN112184619A (zh) | 2020-08-25 | 2020-08-25 | 一种基于深度学习的金属部件表面缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112184619A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022160170A1 (zh) * | 2021-01-28 | 2022-08-04 | 东莞职业技术学院 | 一种金属表面缺陷检测方法及装置 |
| CN116228780A (zh) * | 2023-05-10 | 2023-06-06 | 江苏森标科技有限公司 | 基于计算机视觉的硅片缺陷检测方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110321933A (zh) * | 2019-06-11 | 2019-10-11 | 武汉闻道复兴智能科技有限责任公司 | 一种基于深度学习的故障识别方法和装置 |
| CN110782183A (zh) * | 2019-11-07 | 2020-02-11 | 山东浪潮人工智能研究院有限公司 | 一种基于Faster R-CNN的铝材缺陷检测方法 |
| CN111523540A (zh) * | 2020-04-17 | 2020-08-11 | 中南大学 | 基于深度学习的金属表面缺陷检测方法 |
-
2020
- 2020-08-25 CN CN202010863641.5A patent/CN112184619A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110321933A (zh) * | 2019-06-11 | 2019-10-11 | 武汉闻道复兴智能科技有限责任公司 | 一种基于深度学习的故障识别方法和装置 |
| CN110782183A (zh) * | 2019-11-07 | 2020-02-11 | 山东浪潮人工智能研究院有限公司 | 一种基于Faster R-CNN的铝材缺陷检测方法 |
| CN111523540A (zh) * | 2020-04-17 | 2020-08-11 | 中南大学 | 基于深度学习的金属表面缺陷检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 吉训生 等: ""基于优化可形变区域全卷积神经网络的人头检测方法"", 《激光与光电子学进展》 * |
| 徐秀 等: ""基于Faster R-CNN的圆柱形金属工件表面缺陷检测"", 《软件导刊》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022160170A1 (zh) * | 2021-01-28 | 2022-08-04 | 东莞职业技术学院 | 一种金属表面缺陷检测方法及装置 |
| CN116228780A (zh) * | 2023-05-10 | 2023-06-06 | 江苏森标科技有限公司 | 基于计算机视觉的硅片缺陷检测方法及系统 |
| CN116228780B (zh) * | 2023-05-10 | 2023-07-07 | 江苏森标科技有限公司 | 基于计算机视觉的硅片缺陷检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116205919B (zh) | 基于人工智能的五金零件生产质量检测方法及系统 | |
| WO2021109697A1 (zh) | 字符分割方法、装置以及计算机可读存储介质 | |
| CN112233116B (zh) | 基于邻域决策与灰度共生矩阵描述的凹凸痕视觉检测方法 | |
| CN111161222B (zh) | 一种基于视觉显著性的印刷辊筒缺陷检测方法 | |
| CN111738211B (zh) | 基于动态背景补偿与深度学习的ptz摄像机运动目标检测与识别方法 | |
| CN110648330B (zh) | 摄像头玻璃的缺陷检测方法 | |
| CN111667475B (zh) | 一种基于机器视觉的大枣分级检测方法 | |
| CN113034474A (zh) | 一种oled显示器晶圆图的测试方法 | |
| CN113177924A (zh) | 一种工业流水线产品瑕疵检测方法 | |
| CN112184619A (zh) | 一种基于深度学习的金属部件表面缺陷检测方法 | |
| CN110687122A (zh) | 一种陶瓦表面裂纹检测方法及系统 | |
| CN113393426A (zh) | 一种轧钢板表面缺陷检测方法 | |
| CN113516619A (zh) | 一种基于图像处理技术的产品表面瑕疵识别方法 | |
| Ma et al. | An automatic detection method of Mura defects for liquid crystal display | |
| CN111754525A (zh) | 一种基于非精确切分的工业字符检测流程 | |
| CN112288682A (zh) | 基于图像配准的电力设备缺陷定位方法 | |
| CN116433978A (zh) | 一种高质量瑕疵图像自动生成与自动标注方法及装置 | |
| CN114067122B (zh) | 一种两级式二值化图像处理方法 | |
| CN115008255B (zh) | 一种用于机床的刀具磨损识别方法及装置 | |
| CN115661110A (zh) | 一种透明工件识别与定位的方法 | |
| CN112651936B (zh) | 基于图像局部熵的钢板表面缺陷图像分割方法及系统 | |
| CN115601379A (zh) | 一种基于数字图像处理的表面裂纹精确检测技术 | |
| CN114354631A (zh) | 一种基于视觉的阀门毛坯表面缺陷检测方法 | |
| CN114862786A (zh) | 基于Retinex图像增强和Ostu阈值分割的隔离带检测方法及系统 | |
| CN113723314A (zh) | 一种基于YOLOv3算法的甘蔗茎节识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210105 |