CN115409817B - 一种基于yolo的轻量高效的检测网络 - Google Patents
一种基于yolo的轻量高效的检测网络 Download PDFInfo
- Publication number
- CN115409817B CN115409817B CN202211074565.5A CN202211074565A CN115409817B CN 115409817 B CN115409817 B CN 115409817B CN 202211074565 A CN202211074565 A CN 202211074565A CN 115409817 B CN115409817 B CN 115409817B
- Authority
- CN
- China
- Prior art keywords
- detection
- information
- layer
- yolo
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 85
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000000746 purification Methods 0.000 claims abstract description 3
- 238000000926 separation method Methods 0.000 claims abstract description 3
- 238000005070 sampling Methods 0.000 claims description 7
- 230000007547 defect Effects 0.000 abstract description 29
- 238000000034 method Methods 0.000 abstract description 16
- 238000012549 training Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 6
- 238000012360 testing method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种基于YOLO的轻量高效的检测网络,网络包括采用空间通道双分离的卷积操作以降低所提取特征的冗余程度的特征提取模块、基于多尺度交叉融合结合双通道净化的特征融合模块和采用多级解耦头处理分别处理分类,定位及目标信息的结果输出模块。当应用在焊缝缺陷检测时,对于多类缺陷的平均检测精度相比当下先进的Yolo‑v5模型提升了2%,模型参数量减少了30.1%。本发明通过解决工件表面检测过程中的信息存在冗余的核心检测难点,有效的保证了检测模型在工件表面检测领域的准确性,鲁棒性及普适性。
Description
技术领域
本发明属于计算机视觉技术领域,具体涉及一种基于YOLO的轻量高效的检测网络。
背景技术
在工件加工制造领域,表面存在缺陷等质量问题的工件将由于使用过程中缺陷周围的力分布不均匀,从而显著降低其使用寿命和可靠性。因此,对工件表面进行缺陷检测以实现质量筛查非常重要。伴随着卷积神经网络的兴起,基于深度学习的机器视觉技术由于其优越的直观性、实时性及智能性,为工件表面缺陷检测提供了高效低廉的解决方案。
随着深度学习检测网络的不断发展,形成了两种主流检测架构。一种是以FasterR-CNN为代表的两阶段检测架构,其重点是保证检测精度。另一种是以SSD/Yolo为代表的单级检测架构,该检测网络适用于追求检测速度的缺陷检测领域。而其中的Yolo系列网络由于可以更好地平衡检测精度和速度受到了更多的关注。
专利号201910213482.1名称为一种基于深度学习的焊缝及焊缝缺陷检测方法,公布了一种基于深度学习的焊缝及焊缝缺陷检测方法。该方法采用Yolo-v3网络实现焊缝和/或焊缝缺陷检测,该方法可实现焊缝识别定位及缺陷检测。然而该方法没有基于焊缝和/或焊缝缺陷检测环境和焊缝和/或焊缝缺陷检测要求对Yolo网路进行针对性改进,该方法的目标为通过应用目标检测技术于焊缝检测环境,提供实现焊缝和/或焊缝缺陷检测功能的可行性验证,对检测准确度与速度并无要求,无法满足工业环境下对焊缝和/或焊缝缺陷检测的高检出率和快的检出速度的要求。
专利号202110349482.1名称为公布了一种基于深度学习网络的焊缝缺陷识别定位方法、系统,公布了一种基于深度学习网络的焊缝缺陷识别定位方法、系统。该方法与系统采用Yolo-v4为基准网络进行检测识别作业,分别通过对特征提取子模块和检测头数量的改进,改善了小目标检测的效果。然而,由于检测环境的复杂性,小目标检测的置信度依然不够高,几乎均低于0.5。而低于0.5置信度的检测标签不具备足够的可信性,当应用于工业环境时,将难以提供准确的判别依据。
因此,由于工业检测环境的复杂性,干扰信息的存在将会严重影响目标检测的类别和位置判别结果,因此急需开发一种能有效去除干扰/冗余信息,提高检测准确度的快速响应的检测算法,以满足实时高效的工件表面质量检测。
发明内容
本发明目的在于提供一种基于YOLO的轻量高效的检测网络。在工件表面质量检测中,一方面,不均匀的光照条件会产生不必要的干扰信息影响检测;另一方面,表面杂质也将会影响检测目标的边缘判断。因此确保所提取信息的必要性及充分性是十分重要的。本发明提出的算法以如何有效提取必要的特征信息和摒除冗余/干扰信息为主要目标,采用机器视觉及深度学习技术实现实时工件表面质量检测,有效解决了当下工件表面缺陷检测方法检测结果可信度不高,检测速度不够快导致无法满足实时性要求等问题。
本发明解决其技术问题所采用的技术方案是:
一种基于YOLO的轻量高效的检测网络,其特征在于,网络包括特征提取模块、特征融合模块和结果输出模块;
进一步地,所述特征提取模块,以Yolo系列网络的骨干网络为基准,采用空间通道双分离的卷积操作以降低所提取特征的冗余程度,同时实现模型轻量化;
进一步地,所述特征融合模块通过吸收全部特征提取层的信息,并以多尺度高低特征交叉融合策略进行特征融合,充分保证所获取的语义信息足够丰富,在融合后还将采用双通道注意力机制进行特征净化处理,以充分滤除干扰信息;
进一步地,所述结果输出模块采用多级解耦头,用以分别处理分类,定位及目标信息,避免信息冲突。
本发明的有益效果为:
1、本发明所采用的方法以快速响应的单阶段检测网络(Yolo)为基准,可有效平衡检测准确度和实时性,保证了实时检测的工业需求。
2、本发明所提出的检测网络,以工件表面检测过程中信息存在冗余的主要检测难点为目标进行改进,而不是仅对某单一场景下的小问题进行对应改进,保证了该检测网络在不同工业环境下进行检测的鲁棒性。
3、本发明所设计的网络在检测识别过程中可以有效地提取必要信息并摒除冗余信息,提高了所检测工件表面缺陷分类,定位及目标信息的准确性,有效保证了缺陷的检出率及准确率。
综上,所提出的一种基于YOLO的轻量高效的工件表面缺陷检测网络在保证实时性的同时实现了高准确性和高鲁棒性的工件表面缺陷检测。为工件表面缺陷检测方法的升级提供了新思路。
附图说明
图1是改进的检测网络模型结构图
图2是改进的检测网络模型实现焊缝表面缺陷检测的整体流程图;
图3是不同缺陷对象基于不同检测方法的检测结果对比图;
具体实施方式
下面结合附图对本发明作进一步描述。
图1为基于当下应用最广,兼具速度和性能的Yolo-v5基准网络进行改进的检测网络框架。可以看到在特征提取模块中,我们选用了典型的空间通道可分离的卷积网络(深度可分离卷积,DWconv)对Yolo-v5骨干网络中普通卷积进行了替换,以以降低所提取特征的冗余程度,同时实现模型轻量化。而在特征融合模块中,在进行上采样过程中,首先采用多尺度上下融合的策略,即F5'层的高层语义信息分别通过2,4,8倍上采样分别输送到往上的底层信息层,F4'层的语义信息分别通过2,4倍上采样分别输送到往上的底层信息层,F3'层语义信息在融合了F5'层的信息后通过2倍上采样输送到往上的F2'层信息层,同时四个特征提取层{F2,F3,F4,F5}通过级联操作(concatenate)与对应尺度的特征融合层{F2',F3',F4',F5'}进行融合,由此实现第一步融合操作。再次之后平行双通道机制被采用用以对融合的特征进行筛选及二次融合,这部分是通过将所获得的融合信息进行通道和空间属性的分别计算,获取其在各自通道上的权重并重新分配,实现第二步融合操作,最终最大程度的保留必要信息而摒除干扰信息。而在结果输出模块,采用了双解耦头来分别处理分类和回归信息,而不是单解耦头,该解耦头对分类和回归信息进行分别计算可以有效地避免信息冲突。
如图2所示,一种基于YOLO的轻量高效的检测网络实现焊缝表面缺陷检测过程包括如下步骤:
S1:基于焊缝工业环境,获取含有焊穿(Weld_penetration)、焊瘤(Weld_beading)、聚集微孔(Microporous)、孔洞(Hole)、未焊满(Incompletely_filled_groove)、咬边(Undercut)、裂纹(Crazing)、飞溅(Splash)等8种缺陷在内的共计7580张原始图像,将其中的5685张随机打乱顺序的图片作为训练数据集,其余图像作为测试数据集,训练集与测试集的比例为3:1;
S2:对测试数据集或训练数据集中的图像进行归一化预处理,所述预处理后得到关于焊缝缺陷图像的分辨率统一为608×608的图片;
S3:采用labelImg软件对所有图片进行类别及位置标注作为标准值;
S4:基于改进的检测网络模型对S3处理后中的训练集图片进行训练,并以测试集图片进行验证,获得对应的训练权重;
S6:整合检测网络模型及面向焊缝检测对象所获得的训练权重进行实时检测功能开发,并输出检测结果;
图3为不同缺陷对象基于不同检测方法的检测结果对比图。其中(a)、(b)、(c)和(d)分别为Yolo-v5对聚集微孔(Microporous)、裂纹(Crazing)、飞溅(Splash)和咬边(Undercut)四种小尺寸目标的漏检情况。(e)、(f)、(g)和(h)分别为改进的算法对聚集微孔(Microporous)、裂纹(Crazing)、飞溅(Splash)和咬边(Undercut)四种小尺寸目标检测情况。可以看到改进的检测算法在难检测的小尺寸目标上的检出能力显著好于当下先进的Yolo-v5算法,且置信度较高(大于0.8),说明结果可靠。此外,如表1所示,我们的模型对于8种焊缝缺陷及焊缝的平均检测精度达到了95.3%,比Yolo-v5模型的检测精度提高了2%。同时,相比Yolo-v5模型,我们的检测模型参数量从46.15M减少到32.24M,降低了30.1%,这意味着我们的模型在运行过程中更稳定,对部署应用时的硬件成本要求更低。
本发明所述的一种基于YOLO的轻量高效的检测网络,一方面,以解决工件表面检测的核心且典型检测难点为目标,具备较高的鲁棒性及普适性。另一方面,通过去除冗余信息并保留必要信息,可有效保证对目标对象的检测准确度。
综上,所提出的一种基于YOLO的轻量高效的检测网络在保证实时性的同时实现了高准确率和高鲁棒性的工件表面检测。为工件表面检测方法的升级提供了新思路。上面结合附图对本发明的实例进行了描述,但本发明不局限于上述具体的实施方式,上述的具体实施方式仅是示例性的,不是局限性的,任何不超过本发明权利要求的发明创造,均在本发明的保护之内。
表1.不同检测模型的检测指标结果
Claims (1)
1.一种基于YOLO的轻量高效的检测网络,其特征在于,网络包括特征提取模块、特征融合模块和结果输出模块;
所述特征提取模块,以Yolo系列网络的骨干网络为基准,采用空间通道双分离的卷积操作以降低所提取特征的冗余程度,同时实现模型轻量化;
所述特征融合模块通过吸收全部特征提取层的信息,并以多尺度高低特征交叉融合策略进行特征融合,即F5'层的高层语义信息分别通过2,4,8倍上采样分别输送到往上的底层信息层,F4'层的语义信息分别通过2,4倍上采样分别输送到往上的底层信息层,F3'层语义信息在融合了F5'层的信息后通过2倍上采样输送到往上的F2'层信息层,同时四个特征提取层{F2,F3,F4,F5}通过级联操作(concatenate)与对应尺度的特征融合层{F2',F3',F4',F5'}进行融合,由此实现第一步融合操作,充分保证所获取的语义信息足够丰富,在融合后还将采用双通道注意力机制进行特征净化处理,以充分滤除干扰信息;
所述结果输出模块采用多级解耦头,用以分别处理分类,定位及目标信息,避免信息冲突。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211074565.5A CN115409817B (zh) | 2022-08-30 | 2022-08-30 | 一种基于yolo的轻量高效的检测网络 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211074565.5A CN115409817B (zh) | 2022-08-30 | 2022-08-30 | 一种基于yolo的轻量高效的检测网络 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115409817A CN115409817A (zh) | 2022-11-29 |
CN115409817B true CN115409817B (zh) | 2024-01-26 |
Family
ID=84164345
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211074565.5A Active CN115409817B (zh) | 2022-08-30 | 2022-08-30 | 一种基于yolo的轻量高效的检测网络 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115409817B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112686595A (zh) * | 2020-12-15 | 2021-04-20 | 上海东普信息科技有限公司 | 物流操作违规行为的检测方法、装置、设备和存储介质 |
CN113378763A (zh) * | 2021-06-25 | 2021-09-10 | 长沙理工大学 | 一种面向sar图像的目标自动检测方法及系统 |
CN113538347A (zh) * | 2021-06-29 | 2021-10-22 | 中国电子科技集团公司电子科学研究院 | 基于高效双向路径聚合注意力网络的图像检测方法及系统 |
US11205098B1 (en) * | 2021-02-23 | 2021-12-21 | Institute Of Automation, Chinese Academy Of Sciences | Single-stage small-sample-object detection method based on decoupled metric |
CN114529799A (zh) * | 2022-01-06 | 2022-05-24 | 浙江工业大学 | 一种基于改进型yolov5算法的飞机多目标跟踪方法 |
CN114782817A (zh) * | 2022-04-29 | 2022-07-22 | 中国人民解放军海军工程大学 | 一种基于改进yolo x的无人机对水柱目标检测方法 |
-
2022
- 2022-08-30 CN CN202211074565.5A patent/CN115409817B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112686595A (zh) * | 2020-12-15 | 2021-04-20 | 上海东普信息科技有限公司 | 物流操作违规行为的检测方法、装置、设备和存储介质 |
US11205098B1 (en) * | 2021-02-23 | 2021-12-21 | Institute Of Automation, Chinese Academy Of Sciences | Single-stage small-sample-object detection method based on decoupled metric |
CN113378763A (zh) * | 2021-06-25 | 2021-09-10 | 长沙理工大学 | 一种面向sar图像的目标自动检测方法及系统 |
CN113538347A (zh) * | 2021-06-29 | 2021-10-22 | 中国电子科技集团公司电子科学研究院 | 基于高效双向路径聚合注意力网络的图像检测方法及系统 |
CN114529799A (zh) * | 2022-01-06 | 2022-05-24 | 浙江工业大学 | 一种基于改进型yolov5算法的飞机多目标跟踪方法 |
CN114782817A (zh) * | 2022-04-29 | 2022-07-22 | 中国人民解放军海军工程大学 | 一种基于改进yolo x的无人机对水柱目标检测方法 |
Non-Patent Citations (4)
Title |
---|
ASFF-YOLOv5: Multielement Detection Method for Road Traffic in UAV Images Based on Multiscale Feature Fusion;Mulan Qiu等;《remote sensing》;全文 * |
YOLOX: Exceeding YOLO Series in 2021;Zheng Ge等;《arXiv》;全文 * |
基于注意力机制的双路融合手势识别算法研究;房慧娟;《中国优秀硕士学位论文全文数据库 信息科技辑》;全文 * |
强伟 ; 贺昱曜 ; 郭玉锦 ; 李宝奇 ; 何灵蛟 ; .基于改进SSD的水下目标检测算法研究.西北工业大学学报.2020,(第04期),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN115409817A (zh) | 2022-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111325713A (zh) | 基于神经网络的木材缺陷检测方法、系统及存储介质 | |
CN109727229B (zh) | 虚焊检测方法及装置 | |
CN112037219A (zh) | 一种基于两阶段卷积神经网络的金属表面缺陷检测方法 | |
WO2022033179A1 (zh) | 一种交通灯识别的方法和装置 | |
US11657599B2 (en) | Method for detecting appearance of six sides of chip multi-layer ceramic capacitor based on artificial intelligence | |
CN112150460A (zh) | 检测方法、检测系统、设备和介质 | |
CN102831378A (zh) | 人的检测和跟踪方法与系统 | |
JP2024504735A (ja) | 自動化ビジュアル検査を使用する製造品質コントロールのためのシステムおよび方法 | |
CN115409797A (zh) | 一种基于改进深度学习算法的pcb缺陷图像检测方法 | |
CN109446964A (zh) | 基于端到端单级多尺度检测器的面部检测分析方法及装置 | |
CN114387230A (zh) | 一种基于重验证检测的pcb板缺陷检测方法 | |
CN115409817B (zh) | 一种基于yolo的轻量高效的检测网络 | |
CN111160100A (zh) | 一种基于样本生成的轻量级深度模型航拍车辆检测方法 | |
CN114549414A (zh) | 一种针对轨道数据的异常变化检测方法及系统 | |
CN110837760A (zh) | 目标检测方法、用于目标检测的训练方法和装置 | |
CN114596244A (zh) | 基于视觉处理和多特征融合的红外图像识别方法及系统 | |
CN116958052A (zh) | 一种基于yolo和注意力机制的印刷电路板缺陷检测方法 | |
CN113344041B (zh) | 一种基于多模型融合卷积神经网络的pcb缺陷图像识别方法 | |
CN114897863A (zh) | 一种缺陷的检测方法、装置以及设备 | |
KR20230063742A (ko) | 계층적 cnn을 이용한 스마트 팩토리에서의 제품 불량 탐지 방법 및 이를 기록한 기록매체 | |
CN116740004B (zh) | 一种提高缺陷检测能力的多轮多模型融合检测方法 | |
CN113160217A (zh) | 一种线路异物的检测方法、装置、设备及存储介质 | |
CN113034432A (zh) | 一种产品缺陷检测方法、系统、装置及存储介质 | |
CN115641330B (zh) | 一种基于图像处理的软性线路板缺陷检测方法及系统 | |
TW202120917A (zh) | 智慧型光學檢測之樣品特徵與瑕疵自動標記方法及其裝置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |