CN113393447B - 基于深度学习的针尖正位度检测方法及系统 - Google Patents
基于深度学习的针尖正位度检测方法及系统 Download PDFInfo
- Publication number
- CN113393447B CN113393447B CN202110703512.4A CN202110703512A CN113393447B CN 113393447 B CN113393447 B CN 113393447B CN 202110703512 A CN202110703512 A CN 202110703512A CN 113393447 B CN113393447 B CN 113393447B
- Authority
- CN
- China
- Prior art keywords
- needle
- needle point
- standard
- connector
- tip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 58
- 238000013135 deep learning Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000011218 segmentation Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000001629 suppression Effects 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 6
- 238000004613 tight binding model Methods 0.000 claims description 6
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 208000034888 Needle issue Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013001 point bending Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域,公开了一种基于深度学习的针尖正位度检测方法及系统,包括:获取多个连接器样本的针尖俯视图数据,标注数据并划分数据集,统计针尖先验信息;确定针尖的标准针尖特征,构建标准的第一相对坐标系,确定针尖的中心位置与原点的相对标准距离;获取待检测连接器的针尖俯视图数据,并获取待测连接器的针尖ROI区域;提取针尖的亚像素轮廓边缘信息和针尖特征,并以上述步骤相同的方法构建第二相对坐标系,确定针尖的中心位置与原点的相对距离;将提取的针尖特征与标准针尖特征以及相对距离与对应的相对标准距离进行比较,根据比较结果判断待测连接器的正位度是否合格。本发明提高了正位度检测的准确性,适用于连接器。
Description
技术领域
本发明涉及图像处理技术领域,具体来说涉及一种基于深度学习的针尖正位度检测方法及系统。
背景技术
在工业互联网战略布局中,工业缺陷是一个非常热门的问题,尤其是工件精度检测问题,对于高精密仪器和产品,都需要毫米级精度。
在工件精度检测中,正位度检测主要是检测各种IC芯片、电子连接器等各种电子元器件的针的垂直度、水平直线度、共面度、间隙、针宽度、针长度等指标。但是,传统正位度检测都是基于模式匹配的思想,来匹配所有针尖,从而对针尖与针尖距离度量进行判断,对于连接器存在漏针,缺针,针尖弯曲,针尖有背景干扰,针尖偏移,针尖缺失或者针不发光等情况,往往难以取得效果。同时,对于平面正位度检测,由于连接器没有参考物,无法准确判断正位度情况。
发明内容
本发明旨在解决现有的针尖正位度检测存在准确度差的问题,提出一种基于深度学习的针尖正位度检测方法及系统。
本发明解决上述技术问题所采用的技术方案是:基于深度学习的针尖正位度检测方法,包括以下步骤:
步骤1、获取多个连接器样本的针尖俯视图数据,根据所述针尖俯视图数据确定出各连接器样本的针尖正位度合格情况,根据针尖正位度合格情况标注数据并划分数据集,并统计针尖正位度合格的数据集的针尖先验信息;
步骤2、根据所述针尖先验信息确定针尖的标准针尖特征,所述标准针尖特征至少包括各针尖的中心位置,依次以某一针尖的中心位置为原点构建标准的第一相对坐标系,确定其余针尖的中心位置与原点的相对标准距离;
步骤3、获取待检测连接器的针尖俯视图数据,并将其输入至预先构建的基于目标检测的深度学习网络中,根据深度学习网络的所有输出区域进行非极大值抑制,得到待测连接器的针尖ROI区域;
步骤4、根据所述针尖ROI区域提取针尖的亚像素轮廓边缘信息,根据所述亚像素轮廓边缘信息提取针尖特征,所述针尖特征至少包括各针尖的中心位置,并在所述针尖ROI区域中,以步骤2相同的方法依次以某一针尖的中心位置为原点构建第二相对坐标系,确定其余针尖的中心位置与原点的相对距离;
步骤5、将提取的针尖特征与标准针尖特征进行比较,以及在对应的第一相对坐标系和第二相对坐标系中,将相对距离与对应的相对标准距离进行比较,得到比较结果,根据比较结果判断待测连接器的正位度是否合格。
进一步地,步骤1中,根据所述针尖俯视图数据确定出各连接器样本的针尖正位度合格情况包括:
对所述针尖俯视图进行视觉图像检测,确定出各连接器样本的针尖正位度合格情况。
进一步地,步骤4中,所述提取针尖的亚像素轮廓边缘信息的方法包括:
基于图像分割算法确定初始区域,利用形态学操作算法在初始区域中提取一个大于目标边缘的分割区域,基于边缘检测算法在分割区域中提取亚像素轮廓边缘信息。
进一步地,所述图像分割算法包括阈值分割算法、直方图分割算法、动态阈值分割算法或分水岭分割算法,所述形态学操作算法包括:膨胀算法、腐蚀算法、开操作算法或闭操作算法,所述边缘检测算法包括:Sobel算法、Canny算法或Laplace算法。
进一步地,所述标准针尖特征还包括:针尖的平均面积和相邻针尖的平均相对距离,所述提取的针尖特征还包括:各针尖的针尖面积和相邻针尖的相对距离。
进一步地,步骤4中,根据所述亚像素轮廓边缘信息提取针尖面积的方法包括:
通过格林函数计算轮廓的面积,将所述轮廓的面积作为针尖面积,格林函数如下:
式中,D表示轮廓区域,L表示轮廓曲线,Q表示横坐标像素强度,P表示纵坐标像素强度,N表示像素个数;
所述针尖的中心位置与原点的相对距离计算公式如下:
式中,d表示针尖的中心位置与原点的相对距离,x表示针尖的中心位置的横坐标,y表示针尖的中心位置的纵坐标。
进一步地,所述针尖的中心位置为轮廓的中心位置,所述轮廓的中心位置根据轮廓的一阶矩和二阶矩计算得到,计算公式如下:
式中,μ表示均值,σ表示方差,P表示像素强度,N表示像素个数,i和j表示第(i,j)个像素值。
进一步地,步骤5中,所述将提取的针尖特征与标准针尖特征进行比较包括:
根据针尖的平均面积确定针尖面积的第一标准范围,依次判断各针尖的针尖面积是否在第一标准范围内,若是,则判定对应针尖的针尖面积合格,否则,判定对应针尖的针尖面积不合格;
根据相邻针尖的平均相对距离确定相邻针尖相对距离的第二标准范围,依次判断相邻针尖的相对距离是否在第二标准范围内,若是,则判定相邻针尖的相对距离合格,否则,判定相邻针尖的相对距离不合格。
进一步地,步骤5中,所述在对应的第一相对坐标系和第二相对坐标系中,将相对距离与对应的相对标准距离进行比较包括:
在各第一坐标系中,根据各针尖的中心位置与原点的标准相对距离确定各相对距离的第三标准范围,在对应的第二坐标系中,依次判断各针尖的中心位置与原点的相对距离是否在第三标准范围内,若是,则判定针尖的中心位置与原点的相对距离合格,否则,判定针尖的中心位置与原点的相对距离不合格。
进一步地,步骤5中,所述根据比较结果判断待测连接器的正位度是否合格包括:
若待测连接器的各针尖的针尖面积合格、相邻针尖的相对距离合格以及对应的第一坐标系和第二坐标系中,针尖的中心位置与原点的相对距离合格,则判定待测连接器的针尖正位度合格,否则,判定待测连接器的针尖正位度不合格。
本发明还提出一种基于深度学习的针尖正位度检测系统,包括:
数据采集标注模块,用于获取多个连接器样本的针尖俯视图数据,根据所述针尖俯视图数据确定出各连接器样本的针尖正位度合格情况,根据针尖正位度合格情况标注数据并划分数据集,并统计针尖正位度合格的数据集的针尖先验信息;
评判准则模块,用于根据所述针尖先验信息确定针尖的标准针尖特征,所述标准针尖特征至少包括各针尖的中心位置,依次以某一针尖的中心位置为原点构建标准的第一相对坐标系,确定其余针尖的中心位置与原点的相对标准距离;
目标检测模块,用于获取待检测连接器的针尖俯视图数据,并将其输入至预先构建的基于目标检测的深度学习网络中,根据深度学习网络的所有输出区域进行非极大值抑制,得到待测连接器的针尖ROI区域;
针尖特征检测模块,用于根据所述针尖ROI区域提取针尖的亚像素轮廓边缘信息,根据所述亚像素轮廓边缘信息提取针尖特征,所述针尖特征至少包括各针尖的中心位置,并在所述针尖ROI区域中,以评判准则模块中相同的方法依次以某一针尖的中心位置为原点构建第二相对坐标系,确定其余针尖的中心位置与原点的相对距离;
正位度检测模块,用于将提取的针尖特征与标准针尖特征进行比较,以及在对应的第一相对坐标系和第二相对坐标系中,将相对距离与对应的相对标准距离进行比较,得到比较结果,根据比较结果判断待测连接器的正位度是否合格。
本发明的有益效果是:本发明所述的基于深度学习的针尖正位度检测方法,基于深度学习,以数据驱动来检测正位度ROI区域,可以准确判断漏检和缺针情况;实现亚像素轮廓分割和轮廓特征提取,且精度误差小于0.01mm,并构建坐标系。利用先验信息统计聚类思想实现标准坐标系、面积和相对距离准则等制定,解决无参考物正位度检测问题。最后根据坐标系,面积和距离判断针尖是否弯曲,偏移,缺失等情况,实现连接器的正位度检测,该方法具有很好的鲁棒性和准确度。
附图说明
图1为本发明实施例所述的基于深度学习的针尖正位度检测方法的流程示意图;
图2为本发明实施例所述的基于目标检测的深度学习网络结构示意图;
图3为本发明实施例所述的基于深度学习的针尖正位度检测系统的结构示意图。
具体实施方式
下面将结合附图对本发明的实施方式进行详细描述。
本发明旨在解决现有的针尖正位度检测存在准确度差的问题,提出一种基于深度学习的针尖正位度检测方法及系统,主要方案包括:获取多个连接器样本的针尖俯视图数据,根据所述针尖俯视图数据确定出各连接器样本的针尖正位度合格情况,根据针尖正位度合格情况标注数据并划分数据集,并统计针尖正位度合格的数据集的针尖先验信息;根据所述针尖先验信息确定针尖的标准针尖特征,所述标准针尖特征至少包括各针尖的中心位置,依次以某一针尖的中心位置为原点构建标准的第一相对坐标系,确定其余针尖的中心位置与原点的相对标准距离;获取待检测连接器的针尖俯视图数据,并将其输入至预先构建的基于目标检测的深度学习网络中,根据深度学习网络的所有输出区域进行非极大值抑制,得到待测连接器的针尖ROI区域;根据所述针尖ROI区域提取针尖的亚像素轮廓边缘信息,根据所述亚像素轮廓边缘信息提取针尖特征,所述针尖特征至少包括各针尖的中心位置,并在所述针尖ROI区域中,以上述步骤相同的方法依次以某一针尖的中心位置为原点构建第二相对坐标系,确定其余针尖的中心位置与原点的相对距离;将提取的针尖特征与标准针尖特征进行比较,以及在对应的第一相对坐标系和第二相对坐标系中,将相对距离与对应的相对标准距离进行比较,得到比较结果,根据比较结果判断待测连接器的正位度是否合格。
本发明在检测之前,利用先验信息统计聚类思想实现标准第一相对坐标系、针尖面积和相邻针尖相对距离准则等制定,解决无参考物正位度检测问题。在检测时,基于深度学习,以数据驱动来检测正位度ROI区域,实现亚像素轮廓分割和轮廓特征提取,并且构建的第二相对坐标系,最后根据坐标系,针尖面积和相邻针尖距离判断针尖是否弯曲,偏移,缺失等情况,实现连接器的正位度检测,该方法具有很好的鲁棒性和准确度。
实施例
本发明实施例所述的基于深度学习的针尖正位度检测方法,如图1所示,包括以下步骤:
步骤S1、获取多个连接器样本的针尖俯视图数据,根据所述针尖俯视图数据确定出各连接器样本的针尖正位度合格情况,根据针尖正位度合格情况标注数据并划分数据集,并统计针尖正位度合格的数据集的针尖先验信息;
其中,根据所述针尖俯视图数据确定出各连接器样本的针尖正位度合格情况包括:
对所述针尖俯视图进行视觉图像检测,确定出各连接器样本的针尖正位度合格情况。
具体而言,可以通过图像视觉相机采集连接器样本的针尖俯视图,并进行视觉算法检测,进而根据得到的针尖俯视图数据进行样本分拣,构建正位度正负数据集。进一步的,本实施例还可以通过人工检测的方式划分数据集,具体包括:
根据标准的正位度凹槽模板,通过人工是否能插入情况来判断连接器的针脚正位度是否合格,构建正位度正负数据集。然后再根据每张图片上所有针尖区域,标注每一个针尖构建目标检测数据集,进而统计出针尖正位度合格的数据集的针尖先验信息。
步骤S2、根据所述针尖先验信息确定针尖的标准针尖特征,所述标准针尖特征至少包括各针尖的中心位置,依次以某一针尖的中心位置为原点构建标准的第一相对坐标系,确定其余针尖的中心位置与原点的相对标准距离;
本实施例中,为了进一步提高正位度检测的准确性,所述标准针尖特征还包括:针尖的平均面积和相邻针尖的平均相对距离,本实施例中,可以通过二次元影像测量仪通过视觉在针尖俯视图中标注针尖边缘、针尖中心位置和针尖面积,根据针尖中心位置确定出相邻针尖的相对距离,进而确定出针尖的平均面积和相邻针尖的平均相对距离。
本实施例中,第一相对坐标系的构建方法为:依次以某一针尖的中心位置为原点、水平方向为横坐标,竖直方向为纵坐标建立第一相对坐标系,例如,以左上角一个针尖的中心位置为原点构建第一相对坐标系,并在该坐标系中计算其余每个针尖中心位置与原点的相对距离,然后再以左上角第二针尖的中心位置为原点构建第一相对坐标系,并在该坐标系中计算其余每个针尖中心位置与原点的相对距离,依次推类,直到建立以每个针尖的中心位置为原点的第一相对坐标系,并计算出除原点外的其余针尖中心位置与原点之间的相对距离。
步骤S3、获取待检测连接器的针尖俯视图数据,并将其输入至预先构建的基于目标检测的深度学习网络中,根据深度学习网络的所有输出区域进行非极大值抑制,得到待测连接器的针尖ROI区域;
本实施例所述的基于目标检测的深度学习网络如图2所示,网络由YOLO系列改进,骨干网络采用MoblieNetV2,待检测的针尖俯视图数据先经过卷积层提取特征,然后再进行坐标回归和类别分类定位所有的ROI区域,由于针尖目标太小但背景统一且相对位置固定,适当缩减YOLO网络结构,减少网络参数,从而提升推理速度。
根据目标检测定位到连接器针尖ROI区域结果,然后采用非极大值抑制,得到得分最优的结果,这就是需要的针尖位置区域。同时,本实施例可以根据目标检测检测漏针和缺针的情况,若没有检测到则表明存在漏针和缺针,从而判断正位度不合格。
步骤S4、根据所述针尖ROI区域提取针尖的亚像素轮廓边缘信息,根据所述亚像素轮廓边缘信息提取针尖特征,所述针尖特征至少包括各针尖的中心位置,并在所述针尖ROI区域中,以步骤2相同的方法依次以某一针尖的中心位置为原点构建第二相对坐标系,确定其余针尖的中心位置与原点的相对距离;
在获得针尖ROI区域后,提取针尖的亚像素轮廓边缘信息,具体方法包括:基于图像分割算法确定初始区域,利用形态学操作算法在初始区域中提取一个大于目标边缘的分割区域,基于边缘检测算法在分割区域中提取亚像素轮廓边缘信息。
其中,所述图像分割算法包括阈值分割算法、直方图分割算法、动态阈值分割算法或分水岭分割算法,所述形态学操作算法包括:膨胀算法、腐蚀算法、开操作算法或闭操作算法,所述边缘检测算法包括:Sobel算法、Canny算法或Laplace算法。
根据所述亚像素轮廓边缘信息提取的针尖特征包括:针尖中心位置、针尖面积和相邻针尖的相对距离。其中,根据所述亚像素轮廓边缘信息提取针尖面积的方法包括:
通过格林函数计算轮廓的面积,将所述轮廓的面积作为针尖面积,格林函数如下:
式中,D表示轮廓区域,L表示轮廓曲线,Q表示横坐标像素强度,P表示纵坐标像素强度,N表示像素个数;
所述针尖的中心位置为轮廓的中心位置,所述轮廓的中心位置根据轮廓的一阶矩和二阶矩计算得到,计算公式如下:
式中,μ表示均值,σ表示方差,P表示像素强度,N表示像素个数,i和j表示第(i,j)个像素值。
第二相对坐标系的构建方法与第一相对坐标系的构建方法相同,也是依次以某一针尖的中心位置为原点构建,进而确定出其余针尖的中心位置与原点的相对距离;所述针尖的中心位置与原点的相对距离计算公式如下:
式中,d表示针尖的中心位置与原点的相对距离,x表示针尖的中心位置的横坐标,y表示针尖的中心位置的纵坐标。
步骤S5、将提取的针尖特征与标准针尖特征进行比较,以及在对应的第一相对坐标系和第二相对坐标系中,将相对距离与对应的相对标准距离进行比较,得到比较结果,根据比较结果判断待测连接器的正位度是否合格。
本实施例中,所述将提取的针尖特征与标准针尖特征进行比较包括:
根据针尖的平均面积确定针尖面积的第一标准范围,依次判断各针尖的针尖面积是否在第一标准范围内,若是,则判定对应针尖的针尖面积合格,否则,判定对应针尖的针尖面积不合格;
根据相邻针尖的平均相对距离确定相邻针尖相对距离的第二标准范围,依次判断相邻针尖的相对距离是否在第二标准范围内,若是,则判定相邻针尖的相对距离合格,否则,判定相邻针尖的相对距离不合格。
所述在对应的第一相对坐标系和第二相对坐标系中,将相对距离与对应的相对标准距离进行比较包括:
在各第一坐标系中,根据各针尖的中心位置与原点的标准相对距离确定各相对距离的第三标准范围,在对应的第二坐标系中,依次判断各针尖的中心位置与原点的相对距离是否在第三标准范围内,若是,则判定针尖的中心位置与原点的相对距离合格,否则,判定针尖的中心位置与原点的相对距离不合格。
所述根据比较结果判断待测连接器的正位度是否合格包括:
若待测连接器的各针尖的针尖面积合格、相邻针尖的相对距离合格以及对应的第一坐标系和第二坐标系中,针尖的中心位置与原点的相对距离合格,则判定待测连接器的针尖正位度合格,否则,判定待测连接器的针尖正位度不合格。
本领域普通技术人员可以理解,实现上述实施例方法中的全部或部分流程是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,该程序在执行时,可包括如上各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
基于上述技术方案,本实施例还提出一种基于深度学习的针尖正位度检测系统,如图3所示,包括:
数据采集标注模块,用于获取多个连接器样本的针尖俯视图数据,根据所述针尖俯视图数据确定出各连接器样本的针尖正位度合格情况,根据针尖正位度合格情况标注数据并划分数据集,并统计针尖正位度合格的数据集的针尖先验信息;
评判准则模块,用于根据所述针尖先验信息确定针尖的标准针尖特征,所述标准针尖特征至少包括各针尖的中心位置,依次以某一针尖的中心位置为原点构建标准的第一相对坐标系,确定其余针尖的中心位置与原点的相对标准距离;
目标检测模块,用于获取待检测连接器的针尖俯视图数据,并将其输入至预先构建的基于目标检测的深度学习网络中,根据深度学习网络的所有输出区域进行非极大值抑制,得到待测连接器的针尖ROI区域;
针尖特征检测模块,用于根据所述针尖ROI区域提取针尖的亚像素轮廓边缘信息,根据所述亚像素轮廓边缘信息提取针尖特征,所述针尖特征至少包括各针尖的中心位置,并在所述针尖ROI区域中,以评判准则模块中相同的方法依次以某一针尖的中心位置为原点构建第二相对坐标系,确定其余针尖的中心位置与原点的相对距离;
正位度检测模块,用于将提取的针尖特征与标准针尖特征进行比较,以及在对应的第一相对坐标系和第二相对坐标系中,将相对距离与对应的相对标准距离进行比较,得到比较结果,根据比较结果判断待测连接器的正位度是否合格。
可以理解,由于本发明实施例所述的基于深度学习的针尖正位度检测系统是用于实现实施例所述基于深度学习的针尖正位度检测方法的系统,对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的较为简单,相关之处参见方法的部分说明即可。
需要说明的是,本实施例中的各模块(或单元)是逻辑意义上的,具体实现时,多个模块(或单元)可以合并成一个模块(或单元),一个模块(或单元)也可以拆分成多个模块(或单元)。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。
Claims (11)
1.基于深度学习的针尖正位度检测方法,其特征在于,包括以下步骤:
步骤1、获取多个连接器样本的针尖俯视图数据,根据所述针尖俯视图数据确定出各连接器样本的针尖正位度合格情况,根据针尖正位度合格情况标注数据并划分数据集,并统计针尖正位度合格的数据集的针尖先验信息;
步骤2、根据所述针尖先验信息确定针尖的标准针尖特征,所述标准针尖特征至少包括各针尖的中心位置,依次以某一针尖的中心位置为原点构建标准的第一相对坐标系,确定其余针尖的中心位置与原点的相对标准距离;
步骤3、获取待检测连接器的针尖俯视图数据,并将其输入至预先构建的基于目标检测的深度学习网络中,根据深度学习网络的所有输出区域进行非极大值抑制,得到待测连接器的针尖ROI区域;
步骤4、根据所述针尖ROI区域提取针尖的亚像素轮廓边缘信息,根据所述亚像素轮廓边缘信息提取针尖特征,所述针尖特征至少包括各针尖的中心位置,并在所述针尖ROI区域中,以步骤2相同的方法依次以某一针尖的中心位置为原点构建第二相对坐标系,确定其余针尖的中心位置与原点的相对距离;
步骤5、将提取的针尖特征与标准针尖特征进行比较,以及在对应的第一相对坐标系和第二相对坐标系中,将相对距离与对应的相对标准距离进行比较,得到比较结果,根据比较结果判断待测连接器的正位度是否合格。
2.如权利要求1所述的基于深度学习的针尖正位度检测方法,其特征在于,步骤1中,根据所述针尖俯视图数据确定出各连接器样本的针尖正位度合格情况包括:
对所述针尖俯视图进行视觉图像检测,确定出各连接器样本的针尖正位度合格情况。
3.如权利要求1所述的基于深度学习的针尖正位度检测方法,其特征在于,步骤4中,所述提取针尖的亚像素轮廓边缘信息的方法包括:
基于图像分割算法确定初始区域,利用形态学操作算法在初始区域中提取一个大于目标边缘的分割区域,基于边缘检测算法在分割区域中提取亚像素轮廓边缘信息。
4.如权利要求3所述的基于深度学习的针尖正位度检测方法,其特征在于,所述图像分割算法包括阈值分割算法、直方图分割算法、动态阈值分割算法或分水岭分割算法,所述形态学操作算法包括:膨胀算法、腐蚀算法、开操作算法或闭操作算法,所述边缘检测算法包括:Sobel算法、Canny算法或Laplace算法。
5.如权利要求1所述的基于深度学习的针尖正位度检测方法,其特征在于,所述标准针尖特征还包括:针尖的平均面积和相邻针尖的平均相对距离,所述提取的针尖特征还包括:各针尖的针尖面积和相邻针尖的相对距离。
8.如权利要求5所述的基于深度学习的针尖正位度检测方法,其特征在于,步骤5中,所述将提取的针尖特征与标准针尖特征进行比较包括:
根据针尖的平均面积确定针尖面积的第一标准范围,依次判断各针尖的针尖面积是否在第一标准范围内,若是,则判定对应针尖的针尖面积合格,否则,判定对应针尖的针尖面积不合格;
根据相邻针尖的平均相对距离确定相邻针尖相对距离的第二标准范围,依次判断相邻针尖的相对距离是否在第二标准范围内,若是,则判定相邻针尖的相对距离合格,否则,判定相邻针尖的相对距离不合格。
9.如权利要求8所述的基于深度学习的针尖正位度检测方法,其特征在于,步骤5中,所述在对应的第一相对坐标系和第二相对坐标系中,将相对距离与对应的相对标准距离进行比较包括:
在各第一坐标系中,根据各针尖的中心位置与原点的标准相对距离确定各相对距离的第三标准范围,在对应的第二坐标系中,依次判断各针尖的中心位置与原点的相对距离是否在第三标准范围内,若是,则判定针尖的中心位置与原点的相对距离合格,否则,判定针尖的中心位置与原点的相对距离不合格。
10.如权利要求9所述的基于深度学习的针尖正位度检测方法,其特征在于,步骤5中,所述根据比较结果判断待测连接器的正位度是否合格包括:
若待测连接器的各针尖的针尖面积合格、相邻针尖的相对距离合格以及对应的第一坐标系和第二坐标系中,针尖的中心位置与原点的相对距离合格,则判定待测连接器的针尖正位度合格,否则,判定待测连接器的针尖正位度不合格。
11.基于深度学习的针尖正位度检测系统,其特征在于,包括:
数据采集标注模块,用于获取多个连接器样本的针尖俯视图数据,根据所述针尖俯视图数据确定出各连接器样本的针尖正位度合格情况,根据针尖正位度合格情况标注数据并划分数据集,并统计针尖正位度合格的数据集的针尖先验信息;
评判准则模块,用于根据所述针尖先验信息确定针尖的标准针尖特征,所述标准针尖特征至少包括各针尖的中心位置,依次以某一针尖的中心位置为原点构建标准的第一相对坐标系,确定其余针尖的中心位置与原点的相对标准距离;
目标检测模块,用于获取待检测连接器的针尖俯视图数据,并将其输入至预先构建的基于目标检测的深度学习网络中,根据深度学习网络的所有输出区域进行非极大值抑制,得到待测连接器的针尖ROI区域;
针尖特征检测模块,用于根据所述针尖ROI区域提取针尖的亚像素轮廓边缘信息,根据所述亚像素轮廓边缘信息提取针尖特征,所述针尖特征至少包括各针尖的中心位置,并在所述针尖ROI区域中,以评判准则模块中相同的方法依次以某一针尖的中心位置为原点构建第二相对坐标系,确定其余针尖的中心位置与原点的相对距离;
正位度检测模块,用于将提取的针尖特征与标准针尖特征进行比较,以及在对应的第一相对坐标系和第二相对坐标系中,将相对距离与对应的相对标准距离进行比较,得到比较结果,根据比较结果判断待测连接器的正位度是否合格。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110703512.4A CN113393447B (zh) | 2021-06-24 | 2021-06-24 | 基于深度学习的针尖正位度检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110703512.4A CN113393447B (zh) | 2021-06-24 | 2021-06-24 | 基于深度学习的针尖正位度检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113393447A CN113393447A (zh) | 2021-09-14 |
CN113393447B true CN113393447B (zh) | 2022-08-02 |
Family
ID=77623677
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110703512.4A Active CN113393447B (zh) | 2021-06-24 | 2021-06-24 | 基于深度学习的针尖正位度检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113393447B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114299026A (zh) * | 2021-12-29 | 2022-04-08 | 广东利元亨智能装备股份有限公司 | 检测方法、装置、电子设备及可读存储介质 |
CN114324358B (zh) * | 2021-12-30 | 2023-12-19 | 聚民生物科技有限公司 | 一种针管针尖视觉缺陷检测方法及其检测装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103577814A (zh) * | 2013-11-25 | 2014-02-12 | 中国科学院自动化研究所 | 用于运动模糊虹膜识别的加权比对方法 |
CN108269255A (zh) * | 2018-01-26 | 2018-07-10 | 上海文什数据科技有限公司 | 一种基于机器视觉的电连接器检测装置及方法 |
CN108805870A (zh) * | 2018-06-14 | 2018-11-13 | 安徽海思达机器人有限公司 | 一种带针座的接插件的检测方法 |
CN110260818A (zh) * | 2019-07-02 | 2019-09-20 | 吉林大学 | 一种基于双目视觉的电子连接器鲁棒检测方法 |
CN110793966A (zh) * | 2019-11-07 | 2020-02-14 | 哈尔滨工业大学 | 航空电连接器接触件缩针自动化检测装置及其检测方法 |
CN111815634A (zh) * | 2020-09-09 | 2020-10-23 | 苏州浪潮智能科技有限公司 | 基于机器视觉内存对位接插方法与系统、设备、存储介质 |
CN112700498A (zh) * | 2021-01-14 | 2021-04-23 | 中广核风电有限公司 | 一种基于深度学习的风力发电机叶尖定位方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11094053B2 (en) * | 2018-10-08 | 2021-08-17 | Kla Corporation | Deep learning based adaptive regions of interest for critical dimension measurements of semiconductor substrates |
-
2021
- 2021-06-24 CN CN202110703512.4A patent/CN113393447B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103577814A (zh) * | 2013-11-25 | 2014-02-12 | 中国科学院自动化研究所 | 用于运动模糊虹膜识别的加权比对方法 |
CN108269255A (zh) * | 2018-01-26 | 2018-07-10 | 上海文什数据科技有限公司 | 一种基于机器视觉的电连接器检测装置及方法 |
CN108805870A (zh) * | 2018-06-14 | 2018-11-13 | 安徽海思达机器人有限公司 | 一种带针座的接插件的检测方法 |
CN110260818A (zh) * | 2019-07-02 | 2019-09-20 | 吉林大学 | 一种基于双目视觉的电子连接器鲁棒检测方法 |
CN110793966A (zh) * | 2019-11-07 | 2020-02-14 | 哈尔滨工业大学 | 航空电连接器接触件缩针自动化检测装置及其检测方法 |
CN111815634A (zh) * | 2020-09-09 | 2020-10-23 | 苏州浪潮智能科技有限公司 | 基于机器视觉内存对位接插方法与系统、设备、存储介质 |
CN112700498A (zh) * | 2021-01-14 | 2021-04-23 | 中广核风电有限公司 | 一种基于深度学习的风力发电机叶尖定位方法及系统 |
Non-Patent Citations (8)
Title |
---|
Machine vision based online detection of PCB defect;Zhichao Liu;《Microprocessors and Microsystem》;20210101;1-9 * |
Machine Vision Inspection of Electrical Connectors Based On Improved Yolo v3;Weihao Wu;《IEEE Access》;20200907;1-13 * |
基于Halcon的电连接器壳体缺陷检测系统设置;许桢英;《制造业自动化》;20150930;第37卷(第9期);1-4 * |
基于Zernike矩的圆形插针特征点提取算法研究;李慧鹏;《半导体光电》;20190228;第40卷(第1期);1-6 * |
基于双目视觉的多型号电连接器检测技术;杜福洲;《学术论文》;20170131;1-6 * |
基于视觉技术的连接器孔位识别与定位装配;黄炜;《基于视觉技术的连接器孔位识别与定位装配》;20200228(第2期);1-4 * |
基于视觉的航天电连接器的智能识别与装配引导;汪嘉杰;《计算机集成制造系统》;20171130;第23卷(第11期);1-8 * |
基于计算机视觉的航天电连接器插针;袁鹏哲;《装配·检测》;20210430(第2期);1-6 * |
Also Published As
Publication number | Publication date |
---|---|
CN113393447A (zh) | 2021-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107609557B (zh) | 一种指针式仪表读数识别方法 | |
CN106803244B (zh) | 缺陷识别方法及系统 | |
CN107543828B (zh) | 一种工件表面缺陷检测方法及系统 | |
JP6598162B2 (ja) | 線形クラスタリングに基づくマルチタイプのbgaチップの視覚識別方法 | |
CN108510476B (zh) | 一种基于机器视觉的手机屏线路检测方法 | |
CN111179243A (zh) | 一种基于计算机视觉的小尺寸芯片裂纹检测方法及系统 | |
CN113393447B (zh) | 基于深度学习的针尖正位度检测方法及系统 | |
CN114140679A (zh) | 一种缺陷融合方法、装置、识别系统及存储介质 | |
CN113724193B (zh) | Pcba零部件尺寸及间隙高精度视觉测量方法 | |
CN110517265A (zh) | 一种产品表面缺陷的检测方法、装置及存储介质 | |
CN106815830B (zh) | 图像的缺陷检测方法 | |
CN118015004B (zh) | 一种激光切割扫描系统及方法 | |
CN104614386A (zh) | 一种镜片疵病类型的识别方法 | |
CN115690104A (zh) | 一种晶圆裂缝检测方法、装置及存储介质 | |
CN106530273B (zh) | 高精度fpc直线线路检测与缺陷定位方法 | |
CN113705564B (zh) | 一种指针式仪表识别读数方法 | |
CN112419225B (zh) | 一种基于引脚分割的sop型芯片检测方法及系统 | |
CN113192061A (zh) | Led封装外观检测图像的提取方法、装置、电子设备和存储介质 | |
CN115631199B (zh) | pin针缺陷检测方法、装置、设备及存储介质 | |
CN108898584B (zh) | 一种基于图像分析的全自动贴面电容装焊极性判别方法 | |
CN111243006A (zh) | 一种基于图像处理的液滴接触角及尺寸的测量方法 | |
CN111161264A (zh) | 一种对含有缺陷的tft电路图像的分割方法 | |
CN113284158B (zh) | 一种基于结构约束聚类的图像边缘提取方法及系统 | |
CN113191351B (zh) | 数字电表的示数识别方法及装置、模型训练方法及装置 | |
CN111462242B (zh) | 一种基于改进的可变形部件模型的矩形引脚芯片定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |