CN115601345A - 基于机器视觉的大尺寸冲压板孔群防漏检测方法及装置 - Google Patents

基于机器视觉的大尺寸冲压板孔群防漏检测方法及装置 Download PDF

Info

Publication number
CN115601345A
CN115601345A CN202211339602.0A CN202211339602A CN115601345A CN 115601345 A CN115601345 A CN 115601345A CN 202211339602 A CN202211339602 A CN 202211339602A CN 115601345 A CN115601345 A CN 115601345A
Authority
CN
China
Prior art keywords
hole group
plate hole
size
hole
machine vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211339602.0A
Other languages
English (en)
Inventor
姜兆亮
侯瑞源
李鑫德
陈国鹏
钟宏昊
王静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202211339602.0A priority Critical patent/CN115601345A/zh
Publication of CN115601345A publication Critical patent/CN115601345A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于机器视觉的大尺寸冲压板孔群防漏检测方法及装置,涉及智能制造自动化装备领域,包括:获取不同堆叠情况下板材堆叠图片;对筛选后的图片进行标注,建立冲压板孔群检测的数据库并扩增数据库;基于扩增数据库构建基于YOLO v3网络的孔群防漏检测模型;根据实际冲压板孔群位置验证YOLO v3识别结果。本发明采用YOLOv3框架对大尺寸冲压板孔群进行识别,利用图纸对应的DXF文件定位实际冲压孔坐标与YOLOv3识别结果作对比,其识别精度与效率均可以得到保证孔群防漏检测。

Description

基于机器视觉的大尺寸冲压板孔群防漏检测方法及装置
技术领域
本发明涉及智能制造自动化装备领域,尤其涉及基于机器视觉的大尺寸冲压板孔群防漏检测方法及装置。
背景技术
孔群防漏检测的关键在于对冲压孔群的识别检测。现有对漏孔群检测的方法主要是有利用上下运动检测装置穿过冲压孔群进行孔群防漏检测,缺点是不适应于多孔、小孔径、多种类图纸加工出的大尺寸板材混合冲压的情况。也有部分配合相机检测,但也需要传感器进行辅助,很难适用于大尺寸板材的多冲压孔检测,且效率较低。
发明内容
针对现有技术存在的不足,本发明的目的是提供一种基于机器视觉的大尺寸冲压板孔群防漏检测方法及装置,采用YOLOv3框架对大尺寸冲压板孔群进行识别,利用图纸对应的DXF文件定位实际冲压孔坐标与YOLOv3识别结果作对比,其识别精度与效率均可以得到保证孔群防漏检测。
为了实现上述目的,本发明是通过如下的技术方案来实现:
第一方面,本发明的实施例提供了基于机器视觉的大尺寸冲压板孔群防漏检测方法,包括:
获取不同堆叠情况下板材堆叠图片;
对筛选后的图片进行标注,建立冲压板孔群检测的数据库并扩增数据库;
基于扩增数据库构建基于YOLO v3网络的孔群防漏检测模型;
根据实际冲压板孔群位置验证YOLO v3识别结果。
作为进一步的实现方式,将CAD中的电子图纸导出为DXF文件;将图像中识别出的冲压孔分别用矩形标注,将图像像素数换算成板的实际尺寸,对应图像DXF文件的冲压孔信息进行孔群防漏检测。
作为进一步的实现方式,使用标注工具对图像中的无遮挡圆孔、全遮挡圆孔、残缺半圆孔、长圆孔情况分别进行标注,建立冲压板孔群检测的数据库并训练检测模型,其中训练集、验证集与测试集按照设定比例随机分配。
作为进一步的实现方式,将原始图片输入到特征提取网络中进行提取,每个卷积层后接一个批量归一化层和ReLU激活函数,输出多种尺度的特征图,然后将多种特征输入FPN特征金字塔进行融合,对每一种尺度的图像进行提取并产生多尺度的特征表示;最终将特征分别输入预测网络得到无遮挡圆孔、全遮挡圆孔、残缺半圆孔、长圆孔的位置预测。
作为进一步的实现方式,在提取DXF文件中冲压孔位置后,将检测到的冲压孔中心位置像素坐标换算为DXF文件中实物尺寸的坐标,最后将标注出的冲压孔位置信息与DXF文件进行匹配对比。
作为进一步的实现方式,将YOLO v3的像素原点与DXF文件中的图像原点设置为一致;在YOLO v3识别之后,以检测到的冲压孔中心位置像素坐标换算为DXF文件中实物尺寸的坐标对比是否一致,进行孔识别。
作为进一步的实现方式,所检测冲压板孔为圆孔或长圆孔,对于长圆孔的信息主要针对两个圆的圆心X、Y、Z坐标以及圆半径信息,通过两个圆心的距离及圆半径做出等长宽矩形包围的长圆孔做后续对比检测。
第二方面,本发明的实施例还提供了基于机器视觉的大尺寸冲压板孔群防漏检测装置,包括相机,相机通过双轴运动模组安装于支架一侧,相机与工控机相连;
所述相机用于获取冲压板孔图像信息;
所述工控机包括处理器,处理器用于调用程序代码,执行权利要求1-7任一项所述的检测方法。
作为进一步的实现方式,还包括显示屏,用于显示检测结果。
作为进一步的实现方式,所述双轴运动模组由单片机控制。
本发明的有益效果如下:
(1)本发明结合深度学习进行孔群识别,可以在兼顾效率的同时有效地对冲压过后不同图纸加工出的大尺寸冲压板孔群进行防漏检测;
(2)在检测时,板材堆放在一起会出现无遮挡圆孔、全遮挡圆孔、残缺半圆孔、长圆孔的情况,本发明利用YOLOv3可识别出此类冲压板孔群,在进行训练之前将这四类情况进行分别标注提高识别准确性,最后通过图纸对应的DXF文件中冲压孔坐标与YOLOv3识别结果作对比,使得图纸冲压孔坐标与检测到的冲压孔坐标进行对比达到孔群防漏检测;对主要出现的无遮挡圆孔、全遮挡圆孔、残缺半圆孔、长圆孔的准确率高,可适用于有油污、板材生锈的情况;识别精度与效率高,检测时间小于加工时间,可以得到保证工序节拍的实时性要求。
(3)本发明利用工业相机结合深度学习将识别结果对比DXF文件中冲压孔位置,有效地对多种类图纸及不同孔径板材混合冲压的情况;能够提高工作效率。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。
图1是本发明根据一个或多个实施方式的孔群防漏检测流程示意图;
图2是本发明根据一个或多个实施方式的冲压板孔群区域识别流程示意图;
图3是本发明根据一个或多个实施方式的装置结构示意图;
图4是本发明根据一个或多个实施方式的带有工业相机的丝杠滑轨示意图。
其中,1、工业相机,2、丝杠导轨滑台,3、第一电机,4、同步带导轨滑台,5、第二电机,6、单片机,7、工控机,8、显示屏。
具体实施方式
实施例一:
本实施例提供了基于机器视觉的大尺寸冲压板孔群防漏检测方法,包括:
获取不同堆叠情况下板材堆叠图片;
对筛选后的图片进行标注,建立冲压板孔群检测的数据库并扩增数据库;
基于扩增数据库构建基于YOLO v3网络的孔群防漏检测模型;
根据实际冲压板孔群位置验证YOLO v3识别结果。
具体的,如图1所示,包括以下步骤:
步骤一:将CAD中的电子图纸导出为DXF文件。
DXF文件是一种矢量数据格式,可以解析不同的图形。本实施例针对所需要的不同尺寸的圆孔与长圆孔,例如圆的信息在DXF上显示为圆心坐标X,圆心坐标Y,圆心坐标Z以及圆半径信息。
由于长圆孔为两个相同半径的半圆弧之间用两条线段连接各自顶点,因此对于长圆孔的信息主要针对两个圆的圆心X、Y、Z坐标以及圆半径信息,通过两个圆心的距离及圆半径做出等长宽矩形包围的长圆孔做后续对比检测。
步骤二:建立冲压后板材堆叠时的数据集。
首先,调整好相机拍摄角度,开启补光灯后拍摄不同堆叠情况下板材堆叠图片。将采集到的500余张样本进行人工筛选,从中优选出450张图片使用LabelImg对图像中的无遮挡圆孔、全遮挡圆孔、残缺半圆孔、长圆孔情况分别进行标注;建立冲压板孔群检测的数据库,用于训练孔群防漏检测模型,其中训练集、验证集与测试集按8:1:1的比例随机分配。
运用镜像操作、缩放、旋转、平移、剪裁以及添加噪声等常用的数据增强技术进行数据库扩充,使冲压板孔群识别数据库扩增为880张。
当然,在其他实施例中,样本张数、筛选出的图片张数以及扩增后的图片张数可根据实际情况调整。
步骤三:构建基于YOLO v3网络的孔群防漏检测模型。
YOLO v3是对深度卷积神经网络YOLO的改进,该算法使用一个单独神经网络作用在图像上,将图像划分多个区域并且预测边界框和每个区域的概率。YOLOv3在保持速度优势的前提下,提升了预测精度,尤其是加强了对小物体的识别能力。其网络结构主要包含特征提取网络、特征金字塔FPN以及预测网络三个部分。
如图2所示,DarkNet53网络结构作为YOLOv3的骨干网络,该网络在特征提取时,引入了大量的残差结构,并且使用步长为2,卷积核大小为3×3卷积层Conv2D,输出13×13、26×26、52×52三种尺度的特征图,在保证准确率的同时极大地提升了网络的运行速度。然后三种特征被输入FPN特征金字塔进行融合,对每一种尺度的图像进行提取并产生多尺度的特征表示,有利于对不同孔径的冲压板孔群进行检测。最终将特征分别输入预测网络得到无遮挡圆孔、全遮挡圆孔、残缺半圆孔、长圆孔的位置预测。
步骤四:DXF文件中实际冲压板孔群位置验证YOLO v3识别结果。
YOLO v3识别之后会将当前图片对识别到的无遮挡圆孔、全遮挡圆孔、残缺半圆孔、长圆孔进行标注。由于YOLO v3是通过相机拍照出的照片进行识别,照片的尺寸为长度方向上所含的像素点数乘以宽的方向上所含的像素点数所得的像素数。将YOLO v3的像素原点与DXF文件中的图像原点设置为一致。在YOLO v3识别之后,以检测到的冲压孔中心位置像素坐标换算为DXF文件中实物尺寸的坐标对比是否一致,进行孔识别。
本实施例结合板材DXF文件对比YOLOv3识别出的冲压孔群区域,可快速高效的进行冲压孔群识别,有效地解决了人工检测时难以高强度工作等问题。
实施例二:
本实施例提供了基于机器视觉的大尺寸冲压板孔群防漏检测装置,如图3和图4所示,包括相机、双轴运动模组、支架、工控机7等,其中,相机采用工业相机1。
在本实施例中,双轴运动模组包括沿支架长度方向设置的水平移动模组以及与水平移动模组连接的升降运动模组,工业相机1安装于升降运动模组。水平移动模组包括同步带导轨滑台4,同步带导轨滑台4由第二电机5驱动;升降运动模组包括丝杠导轨滑台2,丝杠导轨滑台2由第一电机3驱动。
本实施例的第一电机3、第二电机5由单片机6控制。
工业相机1用于获取冲压板孔图像信息,工控机7包括存储器、处理器,存储器用于存储程序代码,处理器用于调用程序代码,执行实施例一所述的检测方法。本实施例还包括显示屏8,用于显示检测结果。
本实施例的工作原理为:
首先导入检测板的DXF文件,工控机7发送板长信息给单片机6控制同步带导轨滑台4运动,带动工业相机1拍摄,得到当前相机所在位置的图像,孔群防漏检测网络中开始检测,将图像中识别出的冲压孔分别用矩形标注出来。将图像像素数换算成板的实际尺寸,对应此张图像DXF文件部分的冲压孔信息进行孔群防漏检测。
进一步的,开始图像匹配对比,在提取DXF文件中冲压孔位置后,将检测到的冲压孔中心位置像素坐标换算为DXF文件中实物尺寸的坐标,最后将标注出的冲压孔位置信息与DXF文件进行匹配对比。将匹配对比结果显示在显示屏8上后,读取检测信息。检测完成若出现漏孔则进行报警,若检测合格由单片机6控制第二电机5运动至下一检测点。当前板检测合格后,由单片机6控制第一电机3将工业相机1向上移动,等待下一张板堆叠上之后进行检测。
冲压板孔群检测原理:将原始图片输入到特征提取网络(DarkNet53)中进行提取,每个卷积层后接一个批量归一化层和ReLU激活函数。输出13×13、26×26、52×52三种尺度的特征图,然后三种特征被输入FPN特征金字塔进行融合,对每一种尺度的图像进行提取并产生多尺度的特征表示,有利于对不同孔径的冲压孔进行检测。最终将特征分别输入预测网络得到无遮挡圆孔、全遮挡圆孔、残缺半圆孔、长圆孔的位置预测。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.基于机器视觉的大尺寸冲压板孔群防漏检测方法,其特征在于,包括:
获取不同堆叠情况下板材堆叠图片;
对筛选后的图片进行标注,建立冲压板孔群检测的数据库并扩增数据库;
基于扩增数据库构建基于YOLO v3网络的孔群防漏检测模型;
根据实际冲压板孔群位置验证YOLO v3识别结果。
2.根据权利要求1所述的基于机器视觉的大尺寸冲压板孔群防漏检测方法,其特征在于,将CAD中的电子图纸导出为DXF文件;将图像中识别出的冲压孔分别用矩形标注,将图像像素数换算成板的实际尺寸,对应图像DXF文件的冲压孔信息进行孔群防漏检测。
3.根据权利要求1或2所述的基于机器视觉的大尺寸冲压板孔群防漏检测方法,其特征在于,使用标注工具对图像中的无遮挡圆孔、全遮挡圆孔、残缺半圆孔、长圆孔情况分别进行标注,建立冲压板孔群检测的数据库并训练检测模型,其中训练集、验证集与测试集按照设定比例随机分配。
4.根据权利要求1所述的基于机器视觉的大尺寸冲压板孔群防漏检测方法,其特征在于,将原始图片输入到特征提取网络中进行提取,每个卷积层后接一个批量归一化层和ReLU激活函数,输出多种尺度的特征图,然后将多种特征输入FPN特征金字塔进行融合,对每一种尺度的图像进行提取并产生多尺度的特征表示;最终将特征分别输入预测网络得到无遮挡圆孔、全遮挡圆孔、残缺半圆孔、长圆孔的位置预测。
5.根据权利要求1所述的基于机器视觉的大尺寸冲压板孔群防漏检测方法,其特征在于,在提取DXF文件中冲压孔位置后,将检测到的冲压孔中心位置像素坐标换算为DXF文件中实物尺寸的坐标,最后将标注出的冲压孔位置信息与DXF文件进行匹配对比。
6.根据权利要求1或5所述的基于机器视觉的大尺寸冲压板孔群防漏检测方法,其特征在于,将YOLO v3的像素原点与DXF文件中的图像原点设置为一致;在YOLO v3识别之后,以检测到的冲压孔中心位置像素坐标换算为DXF文件中实物尺寸的坐标对比是否一致,进行孔识别。
7.根据权利要求1所述的基于机器视觉的大尺寸冲压板孔群防漏检测方法,其特征在于,所检测冲压板孔为圆孔或长圆孔,对于长圆孔的信息主要针对两个圆的圆心X、Y、Z坐标以及圆半径信息,通过两个圆心的距离及圆半径做出等长宽矩形包围的长圆孔做后续对比检测。
8.基于机器视觉的大尺寸冲压板孔群防漏检测装置,其特征在于,包括相机,相机通过双轴运动模组安装于支架一侧,相机与工控机相连;
所述相机用于获取冲压板孔图像信息;
所述工控机包括处理器,处理器用于调用程序代码,执行权利要求1-7任一项所述的检测方法。
9.根据权利要求8所述的基于机器视觉的大尺寸冲压板孔群防漏检测装置,其特征在于,还包括显示屏,用于显示检测结果。
10.根据权利要求8所述的基于机器视觉的大尺寸冲压板孔群防漏检测装置,其特征在于,所述双轴运动模组由单片机控制。
CN202211339602.0A 2022-10-27 2022-10-27 基于机器视觉的大尺寸冲压板孔群防漏检测方法及装置 Pending CN115601345A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211339602.0A CN115601345A (zh) 2022-10-27 2022-10-27 基于机器视觉的大尺寸冲压板孔群防漏检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211339602.0A CN115601345A (zh) 2022-10-27 2022-10-27 基于机器视觉的大尺寸冲压板孔群防漏检测方法及装置

Publications (1)

Publication Number Publication Date
CN115601345A true CN115601345A (zh) 2023-01-13

Family

ID=84850923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211339602.0A Pending CN115601345A (zh) 2022-10-27 2022-10-27 基于机器视觉的大尺寸冲压板孔群防漏检测方法及装置

Country Status (1)

Country Link
CN (1) CN115601345A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665138A (zh) * 2023-08-01 2023-08-29 临朐弘泰汽车配件有限公司 一种汽车配件冲压加工视觉检测方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665138A (zh) * 2023-08-01 2023-08-29 临朐弘泰汽车配件有限公司 一种汽车配件冲压加工视觉检测方法及系统
CN116665138B (zh) * 2023-08-01 2023-11-07 临朐弘泰汽车配件有限公司 一种汽车配件冲压加工视觉检测方法及系统

Similar Documents

Publication Publication Date Title
CN106650740B (zh) 一种车牌识别方法及终端
CN106971185B (zh) 一种基于全卷积网络的车牌定位方法及装置
CN108510476B (zh) 一种基于机器视觉的手机屏线路检测方法
CN114266773B (zh) 显示面板缺陷定位方法、装置、设备及存储介质
CN111080622A (zh) 神经网络训练方法、工件表面缺陷分类与检测方法及装置
CN111223078B (zh) 瑕疵等级判定的方法及存储介质
CN112651966A (zh) 一种基于acyolov4_csp的印刷电路板微小缺陷检测方法
CN115908420A (zh) 印刷电路板的缺陷检测方法、装置、设备及存储介质
CN112750113B (zh) 基于深度学习和直线检测的玻璃瓶缺陷检测方法及装置
CN115170550A (zh) 一种基于深度学习的电池缺陷检测方法及系统
CN115601345A (zh) 基于机器视觉的大尺寸冲压板孔群防漏检测方法及装置
CN110119742A (zh) 一种集装箱号的识别方法、装置及移动终端
CN111444916A (zh) 面向无约束条件下的车牌定位及识别方法、系统
CN112288741A (zh) 一种基于语义分割的产品表面缺陷检测方法、系统
Sun et al. Cascaded detection method for surface defects of lead frame based on high-resolution detection images
CN110967851A (zh) 一种液晶面板array图像的线路提取方法及系统
CN117635599A (zh) 缺陷检测模型训练及缺陷检测方法、装置、设备及介质
CN114596243A (zh) 缺陷检测方法、装置、设备及计算机可读存储介质
CN117001659A (zh) 一种橡胶块的自动抓取方法、装置、设备及存储介质
CN115984197A (zh) 基于标准pcb图像的缺陷检测方法及相关装置
CN106920398A (zh) 一种智能车牌识别系统
CN114241356A (zh) 木板颜色识别方法、装置、电子设备及存储介质
CN115424121B (zh) 一种基于计算机视觉的电力压板开关巡检方法
Hwang et al. Deep U-NET based heating film defect inspection system
CN118135179B (zh) 切割板件的级联识别方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination