CN115082394A - 一种插件缺陷视觉检测识别方法、可读存储介质及设备 - Google Patents

一种插件缺陷视觉检测识别方法、可读存储介质及设备 Download PDF

Info

Publication number
CN115082394A
CN115082394A CN202210679128.XA CN202210679128A CN115082394A CN 115082394 A CN115082394 A CN 115082394A CN 202210679128 A CN202210679128 A CN 202210679128A CN 115082394 A CN115082394 A CN 115082394A
Authority
CN
China
Prior art keywords
image
component
plug
character
circuit board
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210679128.XA
Other languages
English (en)
Inventor
刘晓辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhijian Huitong Technology Co ltd
Original Assignee
Shenzhen Zhijian Huitong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhijian Huitong Technology Co ltd filed Critical Shenzhen Zhijian Huitong Technology Co ltd
Priority to CN202210679128.XA priority Critical patent/CN115082394A/zh
Publication of CN115082394A publication Critical patent/CN115082394A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种插件缺陷视觉检测识别方法，包括步骤：S10、获取待检测识别的成品线路板的多角度多方位的图片；S20、对所述图片进行畸变并抽取各个元器件的元器件区域图像；S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别；S40、得到插件视觉检测识别结果并进行输出。本发明通过采用卷积神经网络快速学习识别成品线路板的插件的各种缺陷，并通过大数据学习训练，可以快速识别出插件的错、漏、反、多、浮高、歪斜等缺陷，识别效率高，准确率高。

Description

一种插件缺陷视觉检测识别方法、可读存储介质及设备
本发明是申请号为202110907173.1、申请日为2021年08月09日、发明名称为“一种插件视觉检测识别方法、可读存储介质及设备”的分案申请。
技术领域
本发明涉及插件视觉检测识别技术领域，尤其涉及一种插件缺陷视觉检测识别方法、可读存储介质及设备。
背景技术
成品线路板(Printed Circuit Board+Assembly，简称PCBA)，即成品线路板为PCBA，PCBA是电子设备的关键部件之一，PCBA是指PCB空板经过SMT上件，再经过DIP插件(某些产品不需要该步骤)得到的电路板，也就是将各种电子元器件通过表面封装工艺组装在PCB板上。PCBA板上的元器件的位置正反和焊点的短路以及排针的数量情况直接影响电路板的性能和成品率。因此，PCBA在交付使用前检测产品是否合格成为一个必不可少且非常重要的环节。
当前，现有的PCBA缺陷检测识别(主要有锡膏厚度检测、SMT贴装效果检测、插件效果检测)，大都采用光学原理、逻辑型的锡膏厚度检测(Solder Paste Inspection，SPI)和逻辑型的自动光学检测(Automatic Optic Inspection，AOI)，其中，SPI原理是通过三角测量的方法把印刷在PCB板上的锡膏高度计算出来的一种SMT检测技术；AOI原理是通过RGB三色光从三种不同的角度照射到元件上再反射回来，不同的焊点形态反射不同的色光，参考位置和设定参数对反射光的颜色和亮度等数据进行矢量分析。SPI和AOI要求高精度的镜头和特殊设计的光源配合，硬件成本高昂，生产前准备时间长，存在PCBA图像比对误差，误报率高、不能有效杜绝不良品；插件工序目前外观基本依赖人工目视检查，效率低、易漏件，人工成本高，对员工熟练度有较高要求。
随着大数据时代的到来，含更多隐含层的深度卷积神经网络(Convolutionalneural networks，CNNs)具有更复杂的网络结构，与传统方法相比具有更强大的特征学习和特征表达能力。通过对不良品的学习，能够在普通光照的情况下，十分准确地识别缺陷样本，利用再学习机制，误判样本能够及时反馈给模型，不断优化识别能力。强大的计算能力，满足工业生产环境实时检测的需求，基于深度学习的检测技术检测高效、优质，可以有效保障产品质量、节省人工成本、助力生产智能化建设。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种插件缺陷视觉检测识别方法、可读存储介质及设备。
本发明解决其技术问题所采用的技术方案是：根据本发明的一方面，提供一种插件缺陷视觉检测识别方法，包括以下步骤：
S10、获取待检测识别的成品线路板的多角度多方位的图片；
S11、获取待检测识别的所述成品线路板的GERBER文件和/或BOM文件，所述GERBER文件包括元器件名称及其对应的位置信息、角度信息以及尺寸信息，所述BOM文件包括元器件名称及其对应的位置信息、以及贴装工艺，所述贴装工艺包括SMT贴片工艺和/或DIP插件工艺；所述多角度多方位的图片包括所述成品线路板的正面图像、斜面图像和/或正侧面图像；所述正面图像包括所述成品线路板的俯视图像和/或仰视图像；所述正侧面图像包括所述成品线路板的正前视图像、正后视图像、正左视图像和/或正右视图像；所述斜面图像包括所述成品线路板的任意角度任意方位的图像；
S20、对每个所述图片进行畸变并抽取各个元器件的元器件区域图像；
S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别；所述插件视觉检测识别包括所述元器件的插件浮高歪斜检测识别、以及所述元器件的插件漏件检测识别；
S40、得到所述元器件的插件检测识别结果并进行输出；
所述S20、对每个所述图片进行畸变并抽取各个元器件的元器件区域图像，包括以下步骤：
S201、分别初始化标定每个所述图片的Mark点坐标(x1,y1)、(x2,y2)、(x3,y3)，设置超参数L，所述超参数L为搜索边长，以所述超参数L为三个边长，以所述Mark点为中心点的方形区域内应用霍夫变换，检测所述方形区域内与半径阈值R差值最小的圆形，将检测到的三个所述圆形的圆点(x1',y1')、(x2',y2')、(x3',y3')作为所述图片的Mark点坐标；
S202、所述图片经仿射变换处理后得到变换图像，消除所述图片因所述成品线路板相对于拍摄镜头的偏移旋转而造成的偏差，修正不同的元器件的相对位置；所述仿射变换的计算公式为：
Figure BDA0003697625330000031
求解出π,tx,ty；其中，所述π为所述图片的图像旋转缩放变化量，(tx,ty)表示平移量；其中(x',y')表示所述图片的Mark点坐标，其中x'为Mark点在坐标x轴上的数值，其中y'为Mark点在坐标y轴上的数值；其中(x,y)表示所述图片经仿射变换处理后得到变换图像的Mark点坐标，其中x为所述图片经仿射变换处理后得到变换图像的Mark点在坐标x轴上的数值，其中y为所述图片经仿射变换处理后得到变换图像的Mark点在坐标y轴上的数值；
S203、判断所述变换图像是正面图像、斜面图像或正侧面图像，如是正面图像或正侧面图像，则执行步骤S204；如是斜面图像，则执行步骤S205；
S204、直接从所述GERBER文件获取所述元器件的中心点及其尺寸信息，并截取所述元器件对应的元器件区域图像，并执行步骤S206；
S205、根据所述GERBER文件及所述斜面图像的侧视角度进行斜面变换，并截取所述元器件对应的元器件区域图像；所述斜面变换具体包括：若所述拍摄镜头相对于垂直线Y轴的倾斜角度为δ，所述元器件的中心点及其尺寸信息的变换公式为xy＝x,yy＝y*cosδ,wy＝w*cosδ,hy＝h*cosδ，若所述拍摄镜头相对于水平线X轴的倾斜角度为α，所述元器件的中心点及其尺寸信息的变换公式为xx＝x,yx＝y,wx＝w*cosα,hx＝h*cosα；其中h,w为所述斜面图像的高和宽；xy为所述斜面图像的相对于Y轴的斜面变换后的横坐标，yy为所述斜面图像的相对于Y轴的斜面变换后的纵坐标，wy为所述斜面图像的相对于Y轴的斜面变换后的宽，hy为所述斜面图像的相对于Y轴的斜面变换后的高；xx为所述斜面图像的相对于X轴的斜面变换后的横坐标，yx为所述斜面图像的相对于X轴的斜面变换后的纵坐标，wx为所述斜面图像的相对于X轴的斜面变换后的宽，hx为所述斜面图像的相对于X轴的斜面变换后的高；
S206、对于无法从所述GERBER文件中获取所述元器件的中心点及其尺寸信息的，则获取所述元器件的初始化中人工标注的元器件区域图像；
所述S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
S301、对所述元器件的所有所述元器件区域图像进行霍夫变换，将所述元器件区域图像进行Canny边缘检测，得到边缘检测的二值图，获取轮廓直线；具体为，初始化(θ,p)空间，N(θ,p)＝0，其中，所述N(θ,p)表示在直线上的像素点的个数，对于每个所述像素点(x,y)，在参数空间中找出令x*cosθ+y*sinθ＝p的(θ,p)坐标，N(θ,p)＝N(θ,p)+1，统计所有所述N(θ,p)的大小，取出N(θ,p)>threshold的参数，其中，所述threshold为预设阈值；
S302、将所述轮廓直线进行非极大值抑制，去除距离或倾角度数相近的重合直线以及边缘噪音信息；
S303、将所述轮廓直线的直线倾角与数据库内的标准轮廓直线进行比对，计算偏离角度γ，γ＝|γ1-γ2|，所述γ1为所述轮廓直线的直线倾角，所述γ2为所述数据库中的标准图片的轮廓直线的直线倾角，如果所述γ大于阈值γ0，则转到步骤S306，否则转到步骤S304；
S304、将所述元器件区域图像与所述数据库内的标准元器件区域图像进行高斯模糊平滑去噪，通过二维高斯函数G(x,y)分配权重，对周边点加权求和并获取中心点的高斯模糊值，重复这个过程得到高斯模糊后的元器件区域图像；具体的，二维高斯函数G(x,y)的计算公式为：
Figure BDA0003697625330000051
其中σ表示标准差；
S305、计算像素级距离d；当所述像素级距离d大于阈值d0，则转到步骤S306；否则认定所述成品线路板为良品；具体的，所述像素级距离的计算公式为：
Figure BDA0003697625330000061
其中，p为所述元器件区域图像的像素灰度值，ppos为所述数据库内的标准元器件区域图像的像素灰度值；
S306、认定为插件浮高，并反馈所述插件浮高位置及浮高方位信息。
可选地，所述S302步骤具体包括：S3021、将所有的所述轮廓直线汇集成直线集合S；S3022、每次随机选择一条所述轮廓直线后将与之倾角度数相差小于阈值的从所述直线集合S中去除；S3023、最后获取所述直线集合S中的直线倾角。
可选地，所述插件漏件包括所述元器件的插件少件、插件错件和/或插件反件，所述插件少件是指所述元器件区域原本存在的元器件未能正确嵌入到正确位置，导致所述元器件目标区域为空；所述插件错件是指所述元器件区域中被嵌入了错误的其他类型的元器件；所述插件反件是指所述元器件区域的元器件的放置方式错误，所述放置方式错误包括水平翻转和/或垂直翻转；
所述S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
S311、对所述元器件区域图像进行归一化处理，计算所述元器件区域图像的方向梯度直方图特征向量f；
S312、将所述元器件区域图像的方向梯度直方图特征向量f与数据库内的标准元器件的方向梯度直方图特征向量fpos进行比较，计算方向梯度直方图特征向量之间的欧式距离e，如果所述欧式距离e大于阈值e0，则认定为所述插件少件，并反馈少件信息，否则进入步骤S313；所述欧式距离e的计算方式为：
Figure BDA0003697625330000071
S313、使用CTPN文字检测算法提取所述元器件的表面的文字区域，对提取到的所述文字区域进行光学字符识别，得到所述元器件的表面印刷的文字内容；
S314、将所述元器件的文字内容与数据库内的标准文字内容进行比对，计算二者的最小编辑距离jedit，根据所述最小编辑距离jedit和所述数据库内的标准文字内容的长度lword进行计算重叠度overlap＝jedit/lword，如果所述overlap<0.2，则所述元器件的方向正确；否则反馈方向错误信息；所述最小编辑距离为两个字符串之间，由一个转成另一个所需要的最少编辑操作次数。
可选地，所述S311、对所述元器件区域图像进行归一化处理，计算所述元器件区域图像的方向梯度直方图特征向量f，包括以下步骤：
S3111、计算所述元器件区域图像的每个像素点(s,t)的水平方向梯度幅值Cx(s,t)和竖直方向梯度幅值Cy(s,t)；
Cx(s,t)＝H(s+1,t)-H(s-1,t)；
Cy(s,t)＝H(s,t+1)-H(s,t-1)；
其中，所述H(s,t)为所述像素点(s,t)的像素值；
S3112、将所述元器件区域图像划分成预设大小的多个单元图像，并分别计算每个所述单元图像的梯度方向；
每个所述像素点(s,t)的梯度幅值C(s,t)和梯度方向β(s,t)分别为：
Figure BDA0003697625330000072
Figure BDA0003697625330000073
S3113、统计每个梯度方向出现的次数得到所述单元图像的特征向量，计算每个所述单元图像的特征向量，最后首尾拼接在一起形成所述元器件区域图像的方向梯度直方图特征向量f。
可选地，所述S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
S321、获取所述元器件区域图像的正面图像p与数据库内的标准图像ppos，使用双线性插值法缩放为统一预设固定尺寸；
所述双线性插值法的计算公式Dst(x”,y”)为：
Dst(x”,y”)＝(1-u)*(1-v)Src(s',t')+(1-u)*v*Src(s',t'+1)+u*(1-v)*Src(s'+1,t')+u*v*Src(s'+1,t'+1)；
其中，所述(x”,y”)为待插值的数据点的坐标；所述Dst表示目标图像；所述Src表示源图像；所述u,v为以浮点数表示的(s',t')的小数部分；
S322、将所述元器件区域图像切割划分为n个部分图像pi，所述数据库内的对应的标准部分图像为
Figure BDA0003697625330000081
计算每个所述部分图像的图像直方图hi及其对应的标准部分图像直方图
Figure BDA0003697625330000082
计算比较得出每个所述部分图像的图像相似度；所述部分图像的图像相似度Si的计算公式为：
Figure BDA0003697625330000083
其中，所述
Figure BDA0003697625330000084
为每个所述待测的部分图像和所述数据库内的标准部分图像的图像直方图的取值，其中，RGB图像的直方图有768个取值；
S323、对n个所述部分图像的图像相似度加权平均得到所述元器件区域图像的图像相似度S；如果所述图像相似度S小于阈值S0，则认定为所述插件少件，并反馈插件少件信息；否则进入步骤S324；
S324、使用CTPN文字检测算法提取所述元器件的表面的文字区域，对提取到的所述文字区域计算像素间的文字欧式距离k，如所述文字欧式距离k大于阈值k0，则反馈方向错误信息；所述文字欧式距离k的计算方式为：
Figure BDA0003697625330000091
其中，所述g为所述元器件的表面的文字区域图像的方向梯度直方图特征向量，所述gpos为数据库内的标准元器件的表面的文字区域图像的方向梯度直方图特征向量。
可选地，所述S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
S331、判断所述元器件区域图像的表面是否有丝印，如有，则进入步骤S332，如无，则进入步骤S337；
S332、将所述元器件区域图像转化为灰度图，使用基于Wall算法的自适应阈值算法对所述灰度图进行二值化处理得到二值化图；
S333、使用二维高斯核函数对所述二值化图进行滤波降噪处理去除所述二值化图中的噪点；二维高斯核函数F(a,b)的计算公式为：
Figure BDA0003697625330000092
其中，所述A为归一化系数，所述a,b为所述二值化图的中心的坐标值，ua为所述a的均值，σa为所述a的方差，ub为所述b的均值，σb为所述b的方差；
S334、对滤波降噪处理后的所述二值化图进行膨胀处理，用局部区域的最大值来填充整个区域，使文本区域连接成一个整体，再检测文本区域轮廓，过滤掉不符合要求的区域，保留所述文本区域；膨胀Pst(a',b')的计算公式为：
Figure BDA0003697625330000101
其中，所述a',b'为所述局部区域的中心点的坐标值，所述x”',y”'为所述局部区域的边界与所述中心点的距离；
S335、截取得到的所述文本区域，在所述二值化图的基础上对所述文本区域进行光学字符识别，得到文字内容；
S336、将所述文字内容与数据库内的标准文字内容进行比对，计算二者的最小编辑距离jedit，根据所述最小编辑距离jedit和所述数据库内的标准文字内容的长度lword进行计算重叠度overlap＝jedit/lword，如果所述overlap<0.2，则认定为所述元器件方向正确；否则反馈方向错误信息；所述最小编辑距离为两个字符串之间，由一个转成另一个所需要的最少编辑操作次数；
S337、对所述元器件区域图像进行线性归一化处理，计算所述元器件与所述数据库内的标准元器件的特征距离df，如果所述特征距离df大于阈值df0，则认定为所述元器件出现异常，并反馈错误信息；所述归一化处理的计算公式为：
Figure BDA0003697625330000102
其中，所述X为所述元器件区域图像的像素点值，所述X'为线性归一化处理后的所述元器件区域图像的像素点值；
所述特征距离df的计算公式为：
Figure BDA0003697625330000103
其中，所述h,w为所述元器件区域图像的高和宽，所述Xi为所述元器件区域图像的像素值，所述Yi为所述标准元器件区域图像的像素值。
根据本发明另一方面，还提供一种计算机可读的存储介质，所述存储介质上存储有计算机程序，所述计算机程序被执行时实现上述的插件缺陷视觉检测识别方法。
根据本发明再一方面，还提供一种插件缺陷视觉检测识别设备，包括处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述处理器执行上述的插件缺陷视觉检测识别方法。
实施本发明插件缺陷视觉检测识别方法、可读存储介质及设备的技术方案，具有如下优点或有益效果：本发明通过采用卷积神经网络快速学习识别成品线路板的插件的各种缺陷，通过大数据学习训练，可以快速识别出插件浮高、插件的错、漏、反、多、歪斜等缺陷，识别效率高，准确率高。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，附图中：
图1是本发明实施例插件缺陷视觉检测识别方法的整体流程示意图；
图2是本发明实施例插件缺陷视觉检测识别方法的步骤S20流程示意图；
图3是本发明实施例插件缺陷视觉检测识别方法的插件浮高歪斜检测识别流程示意图；
图4是本发明实施例插件缺陷视觉检测识别方法的插件漏件检测识别流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下文将要描述的各种示例性实施例将要参考相应的附图，这些附图构成了示例性实施例的一部分，其中描述了实现本发明可能采用的各种示例性实施例，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。应明白，它们仅是与如所附权利要求书中所详述的、本发明公开的一些方面相一致的装置和方法的例子，还可使用其他的实施例，或者对本文列举的实施例进行结构和功能上的修改，而不会脱离本发明的范围和实质。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“厚度”、“上下前后左右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的元器件或插件必须具有的特定的方位、以特定的方位构造和操作，因此，不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定的“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体连接；可以是机械连接，也可以是电连接或可以相互通讯连接；可以是直接相连，也可以是通过中间媒介简介相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
需要说明的是：本发明实施例中的前后、左右、上下及顶部、中部及底部仅是为了便于对实施例的描述而进行的限定，并非通常意义上前后、左右、上下及顶部、中部及底部的方位限定。具体的，前方为平行于生产检测流水线方向的成品线路板的前面，后方为平行于生产检测流水线方向的成品线路板的后面，左右方为垂直于生产检测流水线的方向，X轴方向为与生产检测流水线平行的方向，Y轴方向为与生产检测流水线垂直的方向，Z轴方向为与成品线路板垂直的方向，X轴方向、Y轴方向、Z轴方向均相互垂直，XY平面为与成品线路板平行的平面，YZ平面为与成品线路板垂直的平面。
在本发明实施例中，成品线路板分为单面板和双面板，单面板是指在PCB空板的单面经过SMT上件，再经过DIP插件形成的单面PCBA，而双面板是指在PCB空板的双面经过SMT上件，再经过DIP插件形成的双面PCBA。针对单面板的成品线路板的检测识别，只需正上方、前后左右、斜上方进行拍摄获取线路板图像即可。而对于双面板则还需要获取反面图像，可以在成品线路板下面设置拍摄装置来拍摄，也可以将成品线路板翻转通过设置在顶部的拍摄装置来拍摄。
在本发明实施例中，在PCBA加工过程中，要用到贴片元器件和插件元器件，本发明插件和元器件均为插件元器件，成品线路板要检测识别插件的缺陷具体包括：插件错件、插件少件或多件、插件反向、插件破损、插件浮高歪斜(即为插件浮高或歪斜)等缺陷，主要包括：插件错件(即为安装了错误的元器件)、插件少件或多件(即为PCBA上应该有元器件的位置而没有安装该元器件或者不应该安装的地方安装了元器件)、插件反向(即为元器件安装方向错误)、插件破损(即为元器件表面或侧面有裂痕或者破损)、插件污损(即为元器件表面有脏污遮盖字符或空白区域)、插件浮高歪斜(即为元器件底部未紧贴PCBA表面或元器件底部平面与PCBA平面明显不平行)。焊点不良包括：焊点连锡(即为两个或多个独立的焊脚之间连在一起)、空焊(即为焊点看似焊接了实际焊锡与器件插脚未紧密连接)、多锡(即为焊锡量过多，出现焊点顶部大或者包焊的现象)、少锡(即为焊点出现孔洞、焊点凹陷或焊锡与焊盘平齐没有明显的爬锡现象)、锡珠锡渣(即为PCBA空白区域出现锡渣或者锡珠)、拉尖(即为插件脚顶部或侧面出现拉丝现象)、字符或图形错误(即为元器件正面或者侧面字符或图形与标准不符)等可能存在的诸多缺陷。
具体的，不同的缺陷需要从不同角度来获取成品线路板的图像，具体包括：(1)从顶部正面拍摄成品线路板，用于采集获取成品线路板的内容包括：插件错件、插件少件或多件、插件反向、插件污损、焊点连锡、空焊、多锡、少锡、锡珠锡渣、拉尖、字符或图形错误等；(2)从正前后左右拍摄成品线路板，用于采集获取成品线路板的内容包括：插件破损、插件浮高歪斜、字符或图形错误等；(3)从斜上方拍摄成品线路板，用于采集获取成品线路板的内容包括：插件错件、插件浮高歪斜、字符或图形错误等。为此，需要设置不同的拍摄装置来获取成品线路板的上下、左右、前后全方位图像，进而可以更加全面准确的对成品线路板进行检测识别分类。
本发明插件缺陷视觉检测识别方法实施例，既可用于最终成品线路板的检测，也可用于生产过程中的质量监控；即可用于单面成品线路板，也可用于双面成品线路板等。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
如图1所示，本发明提供一种插件缺陷视觉检测识别方法实施例，包括以下步骤：
S10、获取待检测识别的成品线路板的多角度多方位的图片；
S20、对每个所述图片进行畸变并抽取各个元器件的元器件区域图像；
S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别；所述插件视觉检测识别包括所述元器件的插件浮高歪斜检测识别、以及所述元器件的插件漏件检测识别；
S40、得到所述元器件的插件检测识别结果并进行输出。
在本实施例中，所述多角度多方位的图片包括所述成品线路板的正面图像、斜面图像和/或正侧面图像；所述正面图像包括所述成品线路板的俯视图像和/或仰视图像；所述正侧面图像包括所述成品线路板的正前视图像、正后视图像、正左视图像和/或正右视图像；所述斜面图像包括成品线路板的任意角度任意方位的图像。
在本实施例中，所述S10、获取待检测识别的成品线路板的多角度多方位的图片，之后还包括步骤：
S11、获取待检测识别的所述成品线路板的GERBER文件和/或BOM文件，所述GERBER文件包括元器件名称及其对应的位置信息、角度信息以及尺寸信息，具体的，包括GERBER映射表(提供GERBER坐标到图像坐标的映射以及元器件在图像上的实际尺寸，所述BOM文件包括元器件名称及其对应的位置信息、以及贴装工艺，所述贴装工艺包括SMT贴片工艺和/或DIP插件工艺。
如图2所示，所述S20、对每个所述图片进行畸变并抽取各个元器件的元器件区域图像，包括以下步骤：
S201、分别初始化标定每个所述图片的Mark点坐标(x1,y1)、(x2,y2)、(x3,y3)，设置超参数L，所述超参数L为搜索边长(具体如50-100px等)，以所述超参数L为三个边长，以所述Mark点为中心点的方形区域内应用霍夫变换，检测所述方形区域内与半径阈值R差值最小的圆形，将检测到的三个所述圆形的圆点(x1',y1')、(x2',y2')、(x3',y3')作为所述图片的Mark点坐标；
S202、所述图片经仿射变换处理后得到变换图像，消除所述图片因所述成品线路板相对于拍摄镜头的偏移旋转而造成的偏差，修正不同的元器件的相对位置；所述仿射变换的计算公式为：
Figure BDA0003697625330000161
求解出π,tx,ty；其中，所述π反应了图像旋转缩放变化(即所述π为所述图片的图像旋转缩放变化量)，(tx,ty)表示平移量；其中(x',y')表示所述图片的Mark点坐标，其中x'为Mark点在坐标x轴上的数值，其中y'为Mark点在坐标y轴上的数值；其中(x,y)表示所述图片经仿射变换处理后得到变换图像的Mark点坐标，其中x为所述图片经仿射变换处理后得到变换图像的Mark点在坐标x轴上的数值，其中y为所述图片经仿射变换处理后得到变换图像的Mark点在坐标y轴上的数值；
S203、判断所述变换图像是正面图像、斜面图像或正侧面图像，如是正面图像或正侧面图像，则执行步骤S204；如是斜面图像，则执行步骤S205；
S204、直接从所述GERBER文件获取所述元器件的中心点及其尺寸信息(具体位置，元器件矩形区域长宽等)，并截取所述元器件对应的元器件区域图像，并执行步骤S206；
S205、根据所述GERBER文件及所述斜面图像的侧视角度进行斜面变换，并截取所述元器件对应的元器件区域图像；
所述斜面变换具体包括：若所述拍摄镜头相对于垂直线Y轴的倾斜角度为δ，所述元器件的中心点及其尺寸信息的变换公式为xy＝x,yy＝y*cosδ,wy＝w*cosδ,hy＝h*cosδ，若所述拍摄镜头相对于水平线X轴的倾斜角度为α，所述元器件的中心点及其尺寸信息的变换公式为xx＝x*cosα,yx＝y,wx＝w*cosα,hx＝h*cosα；其中h,w为所述斜面图像的高和宽；xy为所述斜面图像的相对于Y轴的斜面变换后的横坐标，yy为所述斜面图像的相对于Y轴的斜面变换后的纵坐标，wy为所述斜面图像的相对于Y轴的斜面变换后的宽，hy为所述斜面图像的相对于Y轴的斜面变换后的高；xx为所述斜面图像的相对于X轴的斜面变换后的横坐标，yx为所述斜面图像的相对于X轴的斜面变换后的纵坐标，wx为所述斜面图像的相对于X轴的斜面变换后的宽，hx为所述斜面图像的相对于X轴的斜面变换后的高。
S206、对于无法从所述GERBER文件中获取所述元器件的中心点及其尺寸信息的，则获取所述元器件的初始化中人工标注的元器件区域图像。
在本实施例中，所述插件浮高歪斜是指在所述元器件区域的所述元器件底部未紧贴PCBA表面或所述元器件底部平面与所述PCBA平面明显不平行；如图3所示，所述S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别(即插件浮高歪斜检测识别)，包括以下步骤：
S301、对所述元器件的所有所述元器件区域图像进行霍夫变换，将所述元器件区域图像进行Canny边缘检测，得到边缘检测的二值图，获取轮廓直线；具体的，初始化(θ,p)空间，N(θ,p)＝0，其中，所述N(θ,p)表示在直线上的像素点的个数，对于每个所述像素点(x,y)，在参数空间中找出令x*cosθ+y*sinθ＝p的(θ,p)坐标，N(θ,p)＝N(θ,p)+1，统计所有所述N(θ,p)的大小，取出N(θ,p)>threshold的参数，其中，所述threshold为预设阈值。
S302、将所述轮廓直线进行非极大值抑制，去除距离或倾角度数相近的重合直线以及边缘噪音信息；具体包括步骤：
S3021、将所有的所述轮廓直线汇集成直线集合S；
S3022、每次随机选择一条所述轮廓直线后将与之倾角度数相差小于阈值的从所述直线集合S中去除；
S3023、最后获取所述直线集合S中的直线倾角γ1。
S303、将所述轮廓直线的直线倾角与数据库内的标准轮廓直线进行比对，计算偏离角度γ，γ＝|γ1-γ2|，所述γ1为所述轮廓直线的直线倾角，所述γ2为所述数据库中的标准图片的轮廓直线的直线倾角，如果所述γ大于阈值γ0，则转到步骤S306，否则转到步骤S304；
S304、将所述元器件区域图像与所述数据库内的标准元器件区域图像进行高斯模糊平滑去噪，通过二维高斯函数G(x,y)分配权重，对周边点加权求和并获取中心点的高斯模糊值，重复这个过程得到高斯模糊后的元器件区域图像；具体的，二维高斯函数G(x,y)的计算公式为：
Figure BDA0003697625330000181
其中σ表示标准差。
S305、计算像素级距离d；当所述像素级距离d大于阈值d0，则转到步骤S306；否则认定所述成品线路板为良品；具体的，所述像素级距离的计算公式为：
Figure BDA0003697625330000191
其中，p为所述元器件区域图像的像素灰度值，ppos为所述数据库内的标准元器件区域图像的像素灰度值；
S306、认定为插件浮高，并反馈所述插件浮高位置及浮高方位信息。
本发明通过采用卷积神经网络快速学习识别成品线路板，通过大数据学习训练，可以快速识别出插件浮高歪斜等缺陷，识别效率高，准确率高。
在本实施例中，所述插件漏件检测识别包括所述元器件的插件少件、插件错件和/或插件反件，所述插件少件是指所述元器件区域原本存在的元器件未能正确嵌入到正确位置，导致所述元器件目标区域为空；所述插件错件是指所述元器件区域中被嵌入了错误的其他类型的元器件；所述插件反件是指所述元器件区域的元器件的放置方式错误，所述放置方式错误包括水平翻转和/或垂直翻转。
在本实施例中，S30、根据所述元器件区域图像对所述成品线路板进行漏件检测识别(插件漏件检测识别)，具体包括以下三个方案：
方案一：
如图4所示，S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
S311、对所述元器件区域图像进行归一化(contrast-normalized)处理，计算所述元器件区域图像的方向梯度直方图(Histogram of oriented gradient，HOG)特征向量f；
S312、将所述元器件区域的直方图特征向量特征f与数据库内的标准元器件的方向梯度直方图特征向量fpos进行行比较，计算方向梯度直方图特征向量之间的欧式距离e，如果e大于阈值e0，则认定为插件少件，并反馈少件信息(Element Lost)，否则进入步骤S313；所述欧式距离e的计算方式为：
Figure BDA0003697625330000201
其中，所述f为所述元器件区域图像的方向梯度直方图特征向量，所述fpos数据库内的标准元器件的方向梯度直方图特征向量；
S313、使用CTPN(Connectionist Text Proposal Network)文字检测算法提取所述元器件表面的文字区域，对提取到的文字区域进行光学字符识别，得到所述元器件表面印刷的文字内容；
S314、将所述元器件的文字内容与数据库内的标准文字内容进行比对，计算二者的最小编辑距离jedit，根据所述最小编辑距离jedit和数据库内的文字内容的长度lword进行计算重叠度overlap＝jedit/lword，如果所述overlap<0.2，则所述元器件方向正确；否则反馈方向错误信息；具体的，所述编辑距离(Minimum Edit Distance，MED)，又称Levenshtein距离，是指为两个字符串之间，由一个转成另一个所需要的最少编辑操作次数。
具体的，所述S311、对所述元器件区域图像进行归一化处理，计算所述元器件区域图像的方向梯度直方图特征向量f，包括以下步骤：
S3111、计算所述元器件区域图像的每个像素点(x,y)的水平方向梯度幅值Cx(x,y)和竖直方向梯度幅值Cy(x,y)；
Cx(x,y)＝H(x+1,y)-H(x-1,y)；
Cy(x,y)＝H(x,y+1)-H(x,y-1)；
其中，所述H(x,y)分别为所述像素点(x,y)的像素值；
S3112、将所述元器件区域图像划分成预设大小的单元图像，并分别计算每个所述单元图像的梯度方向；
具体的，所述像素点(x,y)的梯度幅值C(x,y)和梯度方向β(x,y)分别为：
Figure BDA0003697625330000211
Figure BDA0003697625330000212
S3113、统计每个梯度方向出现的次数得到所述单元图像的特征向量，计算每个所述单元图像的特征向量，最后收尾拼接在一起形成所述元器件区域图像的方向梯度直方图特征向量f。
方案二：
所述S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
S321、获取所述元器件区域图像的正面图像p，与数据库内的标准图像ppos使用双线性插值法进行缩放为统一预设固定尺寸；具体的，p是一个三维矩阵，大小为w*h*3，值为0-255，从RGB三维信息描述图像内容。
具体的，所述双线性插值法的计算公式Dst(x”,y”)为：
Dst(x”,y”)＝(1-u)*(1-v)Src(x,y)+(1-u)*v*Src(x,y+1)+u*(1-v)*Src(x+1,y)+u*v*Src(x+1,y+1)；
其中，所述(x”,y”)为待插值的数据点的坐标；Dst表示目标图像；Src表示源图像；u,v表示浮点数表示的(x,y)的小数部分；
S322、将所述元器件区域图像切割划分为n个部分图像pi，所述数据库内的对应的标准图像为
Figure BDA0003697625330000213
计算每个部分图像的图像直方图hi及其对应的标准图像直方图
Figure BDA0003697625330000214
计算比较得出每个部分图像的图像相似度；
具体的，hi是图像直方图，统计了每种颜色出现的次数，是一个向量，lhi是向量里的每个数，比如说hi＝[1,2,3],
Figure BDA0003697625330000221
那么len(hi)＝3，
Figure BDA0003697625330000222
分别为3，3，3再执行求和。
具体的，所述部分图像的图像相似度Si的计算公式为：
Figure BDA0003697625330000223
其中，
Figure BDA0003697625330000224
为每个所述待测的部分图像和所述数据库内的标准部分图像的图像直方图的取值，其中，RGB图像的直方图有768个取值(256*3)。
S323、对n个部分图像的图像相似度加权平均得到所述元器件区域图像的图像相似度S；如果S小于阈值S0，则认定为插件少件，并反馈少件信息；否则进入步骤S324；
S324、使用CTPN文字检测算法提取元器件表面的文字区域，再对提取到的文字区域计算像素间的欧式距离k，如k大于阈值k0，则反馈错误信息。
具体的，所述欧式距离k的计算方式为：
Figure BDA0003697625330000225
其中，所述f为所述元器件区域图像的方向梯度直方图特征向量，所述fpos数据库内的标准元器件的方向梯度直方图特征向量。
方案三：
S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
S331、判断所述元器件区域图像的表面是否有丝印，如有，则进入步骤S332，如无，则进入步骤S337；
S332、将所述元器件区域图像转化为灰度图，使用基于Wall算法的自适应阈值算法对所述灰度图进行二值化处理得到二值化图；
S333、使用二维高斯核函数对所述二值化图进行滤波降噪处理去除二值化图中的噪点；具体的，二维高斯核函数F(a,b)的计算公式为：
Figure BDA0003697625330000231
其中，所述A为归一化系数，所述a,b为所述二值化图的中心的坐标值，ua为所述a的均值，σa为所述a的方差，ub为所述y的均值，σb为所述b的方差。
S334、对滤波降噪处理后的所述二值化图进行膨胀处理，用局部区域的最大值来填充整个区域，使文本区域连接成一个整体，再检测文本区域轮廓，过滤掉不符合要求的区域，保留文本区域；具体的，膨胀是形态学术语，是求局部最大值的操作；具体的，膨胀Pst(a',b')的计算公式为：
Figure BDA0003697625330000232
其中，所述a',b'为所述局部区域的中心点的坐标值，所述x”',y”'为所述局部区域的边界与所述中心点的距离；
具体的，膨胀与双线性插值不一样，此处的Pst不是方法名，指的是目标图像中的像素点(a',b')。
S335、截取得到的文本区域，在二值化图的基础上对所述文本区域进行光学字符识别，得到文字内容；
S336、将所述文字内容与数据库内的标准文字内容进行比对，计算二者的最小编辑距离jedit；
具体的，根据所述最小编辑距离jedit和数据库内的标准文字内容的长度lword计算重叠度overlap＝jedit/lword，如果所述overlap<0.2，则所述元器件方向正确；否则反馈方向错误信息；所述最小编辑距离为两个字符串之间，由一个转成另一个所需要的最少编辑操作次数；
S337、对所述图像进行线性归一化处理，计算所述元器件与所述数据库内的标准元器件的特征距离df，如果所述特征距离df大于阈值df0，则认定为所述元器件出现异常，并反馈错误信息；所述归一化处理的计算公式为：
Figure BDA0003697625330000241
其中，所述X为所述元器件区域图像的像素点值，所述X'为线性归一化处理后的所述元器件区域图像的像素点值；
所述特征距离df的计算公式为：
Figure BDA0003697625330000242
其中，所述h,w为所述元器件区域图像的高和宽，所述Xi为所述元器件区域图像的像素值，所述Yi为所述标准元器件区域图像的像素值。
本发明通过采用神经网络算法快速学习识别成品线路板的元器件，通过大数据学习训练，可以快速识别出插件漏件等缺陷，识别效率高，准确率高。
实施例二：
本发明还提供一种计算机可读的存储介质，该存储介质上存储有计算机程序，所述计算机程序被执行时实现上述实施例一的插件缺陷视觉检测识别方法。
实施例三：
本发明还提供一种插件缺陷视觉检测识别设备实施例，包括处理器及存储器；其中，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使处理器执行上述实施例一的插件缺陷视觉检测识别方法。
在阅读完上文描述的内容之后，本领域的普通技术人员应当明白，本文描述的各种特征可通过方法、数据处理设备或计算机程序产品来实现。因此，这些特征可部采用硬件的方式、全部采用软件的方式或者采用硬件和软件结合的方式来表现。此外，上述特征也可采用存储在一种或多种计算机可读存储介质上的计算机程序产品的形式来表现，该计算机可读存储介质中包含计算机可读程序代码段或者指令，其存储在存储介质中。可读存储介质被配置为存储各种类型的数据以支持在装置的操作。可读存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现。如静态硬盘、随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、光存储设备、磁存储设备、快闪存储器、磁盘或光盘和/或上述设备的组合。
以上仅为本发明的较佳实施例而已，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等同替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。

Claims (8)

1.一种插件缺陷视觉检测识别方法，其特征在于，包括以下步骤：
S10、获取待检测识别的成品线路板的多角度多方位的图片；
S11、获取待检测识别的所述成品线路板的GERBER文件和/或BOM文件，所述GERBER文件包括元器件名称及其对应的位置信息、角度信息以及尺寸信息，所述BOM文件包括元器件名称及其对应的位置信息、以及贴装工艺，所述贴装工艺包括SMT贴片工艺和/或DIP插件工艺；所述多角度多方位的图片包括所述成品线路板的正面图像、斜面图像和/或正侧面图像；所述正面图像包括所述成品线路板的俯视图像和/或仰视图像；所述正侧面图像包括所述成品线路板的正前视图像、正后视图像、正左视图像和/或正右视图像；所述斜面图像包括所述成品线路板的任意角度任意方位的图像；
S20、对每个所述图片进行畸变并抽取各个元器件的元器件区域图像；
S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别；所述插件视觉检测识别包括所述元器件的插件浮高歪斜检测识别、以及所述元器件的插件漏件检测识别；
S40、得到所述元器件的插件检测识别结果并进行输出；
所述S20、对每个所述图片进行畸变并抽取各个元器件的元器件区域图像，包括以下步骤：
S201、分别初始化标定每个所述图片的Mark点坐标(x1,y1)、(x2,y2)、(x3,y3)，设置超参数L，所述超参数L为搜索边长，以所述超参数L为三个边长，以所述Mark点为中心点的方形区域内应用霍夫变换，检测所述方形区域内与半径阈值R差值最小的圆形，将检测到的三个所述圆形的圆点(x1',y1')、(x2',y2')、(x3',y3')作为所述图片的Mark点坐标；
S202、所述图片经仿射变换处理后得到变换图像，消除所述图片因所述成品线路板相对于拍摄镜头的偏移旋转而造成的偏差，修正不同的元器件的相对位置；所述仿射变换的计算公式为：
Figure FDA0003697625320000021
求解出π,tx,ty；其中，所述π为所述图片的图像旋转缩放变化量，(tx,ty)表示平移量；其中(x',y')表示所述图片的Mark点坐标，其中x'为Mark点在坐标x轴上的数值，其中y'为Mark点在坐标y轴上的数值；其中(x,y)表示所述图片经仿射变换处理后得到变换图像的Mark点坐标，其中x为所述图片经仿射变换处理后得到变换图像的Mark点在坐标x轴上的数值，其中y为所述图片经仿射变换处理后得到变换图像的Mark点在坐标y轴上的数值；
S203、判断所述变换图像是正面图像、斜面图像或正侧面图像，如是正面图像或正侧面图像，则执行步骤S204；如是斜面图像，则执行步骤S205；
S204、直接从所述GERBER文件获取所述元器件的中心点及其尺寸信息，并截取所述元器件对应的元器件区域图像，并执行步骤S206；
S205、根据所述GERBER文件及所述斜面图像的侧视角度进行斜面变换，并截取所述元器件对应的元器件区域图像；所述斜面变换具体包括：若所述拍摄镜头相对于垂直线Y轴的倾斜角度为δ，所述元器件的中心点及其尺寸信息的变换公式为xy＝x,yy＝y*cosδ,wy＝w*cosδ,hy＝h*cosδ，若所述拍摄镜头相对于水平线X轴的倾斜角度为α，所述元器件的中心点及其尺寸信息的变换公式为xx＝x,yx＝y,wx＝w*cosα,hx＝h*cosα；其中h,w为所述斜面图像的高和宽；xy为所述斜面图像的相对于Y轴的斜面变换后的横坐标，yy为所述斜面图像的相对于Y轴的斜面变换后的纵坐标，wy为所述斜面图像的相对于Y轴的斜面变换后的宽，hy为所述斜面图像的相对于Y轴的斜面变换后的高；xx为所述斜面图像的相对于X轴的斜面变换后的横坐标，yx为所述斜面图像的相对于X轴的斜面变换后的纵坐标，wx为所述斜面图像的相对于X轴的斜面变换后的宽，hx为所述斜面图像的相对于X轴的斜面变换后的高；
S206、对于无法从所述GERBER文件中获取所述元器件的中心点及其尺寸信息的，则获取所述元器件的初始化中人工标注的元器件区域图像；
所述S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
S301、对所述元器件的所有所述元器件区域图像进行霍夫变换，将所述元器件区域图像进行Canny边缘检测，得到边缘检测的二值图，获取轮廓直线；具体为，初始化(θ,p)空间，N(θ,p)＝0，其中，所述N(θ,p)表示在直线上的像素点的个数，对于每个所述像素点(x,y)，在参数空间中找出令x*cosθ+y*sinθ＝p的(θ,p)坐标，N(θ,p)＝N(θ,p)+1，统计所有所述N(θ,p)的大小，取出N(θ,p)＞threshold的参数，其中，所述threshold为预设阈值；
S302、将所述轮廓直线进行非极大值抑制，去除距离或倾角度数相近的重合直线以及边缘噪音信息；
S303、将所述轮廓直线的直线倾角与数据库内的标准轮廓直线进行比对，计算偏离角度γ，γ＝|γ1-γ2|，所述γ1为所述轮廓直线的直线倾角，所述γ2为所述数据库中的标准图片的轮廓直线的直线倾角，如果所述γ大于阈值γ0，则转到步骤S306，否则转到步骤S304；
S304、将所述元器件区域图像与所述数据库内的标准元器件区域图像进行高斯模糊平滑去噪，通过二维高斯函数G(x,y)分配权重，对周边点加权求和并获取中心点的高斯模糊值，重复这个过程得到高斯模糊后的元器件区域图像；具体的，二维高斯函数G(x,y)的计算公式为：
Figure FDA0003697625320000041
其中σ表示标准差；
S305、计算像素级距离d；当所述像素级距离d大于阈值d0，则转到步骤S306；否则认定所述成品线路板为良品；具体的，所述像素级距离的计算公式为：
Figure FDA0003697625320000042
其中，p为所述元器件区域图像的像素灰度值，ppos为所述数据库内的标准元器件区域图像的像素灰度值；
S306、认定为插件浮高，并反馈所述插件浮高位置及浮高方位信息。
2.根据权利要求1所述的一种插件缺陷视觉检测识别方法，其特征在于，所述S302步骤具体包括：
S3021、将所有的所述轮廓直线汇集成直线集合S；
S3022、每次随机选择一条所述轮廓直线后将与之倾角度数相差小于阈值的从所述直线集合S中去除；
S3023、最后获取所述直线集合S中的直线倾角。
3.根据权利要求1所述的插件缺陷视觉检测识别方法，其特征在于，所述插件漏件包括所述元器件的插件少件、插件错件和/或插件反件，所述插件少件是指所述元器件区域原本存在的元器件未能正确嵌入到正确位置，导致所述元器件目标区域为空；所述插件错件是指所述元器件区域中被嵌入了错误的其他类型的元器件；所述插件反件是指所述元器件区域的元器件的放置方式错误，所述放置方式错误包括水平翻转和/或垂直翻转；
所述S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
S311、对所述元器件区域图像进行归一化处理，计算所述元器件区域图像的方向梯度直方图特征向量f；
S312、将所述元器件区域图像的方向梯度直方图特征向量f与数据库内的标准元器件的方向梯度直方图特征向量fpos进行比较，计算方向梯度直方图特征向量之间的欧式距离e，如果所述欧式距离e大于阈值e0，则认定为所述插件少件，并反馈少件信息，否则进入步骤S313；所述欧式距离e的计算方式为：
Figure FDA0003697625320000051
S313、使用CTPN文字检测算法提取所述元器件的表面的文字区域，对提取到的所述文字区域进行光学字符识别，得到所述元器件的表面印刷的文字内容；
S314、将所述元器件的文字内容与数据库内的标准文字内容进行比对，计算二者的最小编辑距离jedit，根据所述最小编辑距离jedit和所述数据库内的标准文字内容的长度lword进行计算重叠度overlap＝jedit/lword，如果所述overlap＜0.2，则所述元器件的方向正确；否则反馈方向错误信息；所述最小编辑距离为两个字符串之间，由一个转成另一个所需要的最少编辑操作次数。
4.根据权利要求3所述的插件缺陷视觉检测识别方法，其特征在于，所述S311、对所述元器件区域图像进行归一化处理，计算所述元器件区域图像的方向梯度直方图特征向量f，包括以下步骤：
S3111、计算所述元器件区域图像的每个像素点(s,t)的水平方向梯度幅值Cx(s,t)和竖直方向梯度幅值Cy(s,t)；
Cx(s,t)＝H(s+1,t)-H(s-1,t)；
Cy(s,t)＝H(s,t+1)-H(s,t-1)；
其中，所述H(s,t)为所述像素点(s,t)的像素值；
S3112、将所述元器件区域图像划分成预设大小的多个单元图像，并分别计算每个所述单元图像的梯度方向；
每个所述像素点(s,t)的梯度幅值C(s,t)和梯度方向β(s,t)分别为：
Figure FDA0003697625320000061
Figure FDA0003697625320000062
S3113、统计每个梯度方向出现的次数得到所述单元图像的特征向量，计算每个所述单元图像的特征向量，最后首尾拼接在一起形成所述元器件区域图像的方向梯度直方图特征向量f。
5.根据权利要求4所述的插件缺陷视觉检测识别方法，其特征在于，所述S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
S321、获取所述元器件区域图像的正面图像p与数据库内的标准图像ppos，使用双线性插值法缩放为统一预设固定尺寸；
所述双线性插值法的计算公式Dst(x”,y”)为：
Dst(x″,y″)＝(1-u)*(1-v)Src(s',t')+(1-u)*v*Src(s',t'+1)+u*(1-v)*Src(s'+1,t')+u*v*Src(s'+1,t'+1)；
其中，所述(x”,y”)为待插值的数据点的坐标；所述Dst表示目标图像；所述Src表示源图像；所述u,v为以浮点数表示的(s',t')的小数部分；
S322、将所述元器件区域图像切割划分为n个部分图像pi，所述数据库内的对应的标准部分图像为
Figure FDA0003697625320000071
计算每个所述部分图像的图像直方图hi及其对应的标准部分图像直方图
Figure FDA0003697625320000072
计算比较得出每个所述部分图像的图像相似度；所述部分图像的图像相似度Si的计算公式为：
Figure FDA0003697625320000073
其中，所述
Figure FDA0003697625320000074
为每个所述待测的部分图像和所述数据库内的标准部分图像的图像直方图的取值，其中，RGB图像的直方图有768个取值；
S323、对n个所述部分图像的图像相似度加权平均得到所述元器件区域图像的图像相似度S；如果所述图像相似度S小于阈值S0，则认定为所述插件少件，并反馈插件少件信息；否则进入步骤S324；
S324、使用CTPN文字检测算法提取所述元器件的表面的文字区域，对提取到的所述文字区域计算像素间的文字欧式距离k，如所述文字欧式距离k大于阈值k0，则反馈方向错误信息；所述文字欧式距离k的计算方式为：
Figure FDA0003697625320000075
其中，所述g为所述元器件的表面的文字区域图像的方向梯度直方图特征向量，所述gpos为数据库内的标准元器件的表面的文字区域图像的方向梯度直方图特征向量。
6.根据权利要求1所述的插件缺陷视觉检测识别方法，其特征在于，所述S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
S331、判断所述元器件区域图像的表面是否有丝印，如有，则进入步骤S332，如无，则进入步骤S337；
S332、将所述元器件区域图像转化为灰度图，使用基于Wall算法的自适应阈值算法对所述灰度图进行二值化处理得到二值化图；
S333、使用二维高斯核函数对所述二值化图进行滤波降噪处理去除所述二值化图中的噪点；二维高斯核函数F(a,b)的计算公式为：
Figure FDA0003697625320000081
其中，所述A为归一化系数，所述a,b为所述二值化图的中心的坐标值，ua为所述a的均值，σa为所述a的方差，ub为所述b的均值，σb为所述b的方差；
S334、对滤波降噪处理后的所述二值化图进行膨胀处理，用局部区域的最大值来填充整个区域，使文本区域连接成一个整体，再检测文本区域轮廓，过滤掉不符合要求的区域，保留所述文本区域；膨胀Pst(a',b')的计算公式为：
Figure FDA0003697625320000082
其中，所述a',b'为所述局部区域的中心点的坐标值，所述x”',y”'为所述局部区域的边界与所述中心点的距离；
S335、截取得到的所述文本区域，在所述二值化图的基础上对所述文本区域进行光学字符识别，得到文字内容；
S336、将所述文字内容与数据库内的标准文字内容进行比对，计算二者的最小编辑距离jedit，根据所述最小编辑距离jedit和所述数据库内的标准文字内容的长度lword进行计算重叠度overlap＝jedit/lword，如果所述overlap＜0.2，则认定为所述元器件方向正确；否则反馈方向错误信息；所述最小编辑距离为两个字符串之间，由一个转成另一个所需要的最少编辑操作次数；
S337、对所述元器件区域图像进行线性归一化处理，计算所述元器件与所述数据库内的标准元器件的特征距离df，如果所述特征距离df大于阈值df0，则认定为所述元器件出现异常，并反馈错误信息；所述归一化处理的计算公式为：
Figure FDA0003697625320000091
其中，所述X为所述元器件区域图像的像素点值，所述X'为线性归一化处理后的所述元器件区域图像的像素点值；
所述特征距离df的计算公式为：
Figure FDA0003697625320000092
其中，所述h,w为所述元器件区域图像的高和宽，所述Xi为所述元器件区域图像的像素值，所述Yi为所述标准元器件区域图像的像素值。
7.一种计算机可读的存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被执行时实现权利要求1-6任一项所述的插件缺陷视觉检测识别方法。
8.一种插件缺陷视觉检测识别设备，其特征在于，包括处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述处理器执行如权利要求1-6任一项所述的插件缺陷视觉检测识别方法。
CN202210679128.XA 2021-08-09 2021-08-09 一种插件缺陷视觉检测识别方法、可读存储介质及设备 Pending CN115082394A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210679128.XA CN115082394A (zh) 2021-08-09 2021-08-09 一种插件缺陷视觉检测识别方法、可读存储介质及设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110907173.1A CN113344931B (zh) 2021-08-09 2021-08-09 一种插件视觉检测识别方法、可读存储介质及设备
CN202210679128.XA CN115082394A (zh) 2021-08-09 2021-08-09 一种插件缺陷视觉检测识别方法、可读存储介质及设备

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202110907173.1A Division CN113344931B (zh) 2021-08-09 2021-08-09 一种插件视觉检测识别方法、可读存储介质及设备

Publications (1)

Publication Number Publication Date
CN115082394A true CN115082394A (zh) 2022-09-20

Family

ID=77481116

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110907173.1A Active CN113344931B (zh) 2021-08-09 2021-08-09 一种插件视觉检测识别方法、可读存储介质及设备
CN202210679128.XA Pending CN115082394A (zh) 2021-08-09 2021-08-09 一种插件缺陷视觉检测识别方法、可读存储介质及设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110907173.1A Active CN113344931B (zh) 2021-08-09 2021-08-09 一种插件视觉检测识别方法、可读存储介质及设备

Country Status (1)

Country Link
CN (2) CN113344931B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116096066A (zh) * 2023-04-12 2023-05-09 四川易景智能终端有限公司 一种基于物联网的smt贴片质量检测系统
TWI812558B (zh) * 2022-11-23 2023-08-11 大陸商環維電子(上海)有限公司 針對微小瑕疵與錯件的影像檢測方法及其系統
CN116757973A (zh) * 2023-08-23 2023-09-15 成都数之联科技股份有限公司 一种面板产品自动修补方法、系统、设备及存储介质
CN118102699A (zh) * 2024-04-07 2024-05-28 深圳市世纪互通科技有限公司 一种元器件贴片的视觉检测方法及贴片机

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538427B (zh) * 2021-09-16 2022-01-07 深圳市信润富联数字科技有限公司 产品缺陷识别方法、装置、设备及可读存储介质
CN113838080B (zh) * 2021-09-28 2022-12-27 上海赢朔电子科技股份有限公司 一种模块化半导体表面快速寻边方法
CN114092448B (zh) * 2021-11-22 2023-12-01 浙大城市学院 一种基于深度学习的插件电解电容混合检测方法
CN114882028B (zh) * 2022-07-08 2022-10-21 深圳市瑞祥鑫五金制品有限公司 一种基于多摄像头的焊接端子检测方法、装置及系统
CN115479891A (zh) * 2022-08-12 2022-12-16 深圳市共进电子股份有限公司 基于图像识别的电路板载元器件自动检测系统和方法
CN116664529A (zh) * 2023-06-05 2023-08-29 青岛信驰电子科技有限公司 一种基于特征识别的电子元件排线校对方法
CN118151163B (zh) * 2024-05-10 2024-07-23 莱州亚通重型装备有限公司 基于雷达技术的井下煤矿钻机夹持器自动定位方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077513A (zh) * 2012-11-16 2013-05-01 北京理工大学 基于二次曲面的微纳物体图像倾斜校正方法
CN105893485A (zh) * 2016-03-29 2016-08-24 浙江大学 一种基于图书目录的专题自动生成方法
CN106290388A (zh) * 2016-08-03 2017-01-04 国网山东省电力公司电力科学研究院 一种绝缘子故障自动检测方法
CN109299295A (zh) * 2018-09-04 2019-02-01 南通科技职业学院 蓝印花布图像数据库搜索方法
CN110136699A (zh) * 2019-07-10 2019-08-16 南京硅基智能科技有限公司 一种基于文本相似度的意图识别方法
CN110349207A (zh) * 2019-07-10 2019-10-18 国网四川省电力公司电力科学研究院 一种复杂环境下的视觉定位方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020071101A (ko) * 2001-03-03 2002-09-12 (주)에스엠티코리아 피씨비 설계사양 검증시스템 및 이를 이용한 검증방법
US9087164B2 (en) * 2008-01-26 2015-07-21 National Semiconductor Corporation Visualization of tradeoffs between circuit designs
US10548231B2 (en) * 2013-11-29 2020-01-28 Botfactory Inc. Apparatus for depositing conductive and nonconductive material to form a printed circuit
WO2017001890A1 (en) * 2015-06-29 2017-01-05 Bosch Car Multimedia Portugal, S.A. Method for converting gerber data to finite element model for predicting printed circuit board warpage
CN109963455B (zh) * 2017-12-14 2020-07-21 中国科学院长春光学精密机械与物理研究所 一种印制电路板元器件的定位系统
CN108717692B (zh) * 2018-04-02 2022-04-08 浙江工业大学 一种基于ccd图像处理的裁剪物料纠偏方法
CN109064481B (zh) * 2018-07-24 2021-09-17 中山新诺科技股份有限公司 一种机器视觉定位方法
CN209117605U (zh) * 2018-10-05 2019-07-16 深圳智检慧通科技有限公司 一种双面视觉检测识别设备
CN109785324B (zh) * 2019-02-01 2020-11-27 佛山市南海区广工大数控装备协同创新研究院 一种大幅面pcb板定位方法
CN109961067B (zh) * 2019-03-19 2021-05-28 上海望友信息科技有限公司 光学基准点的选取方法、系统、计算机存储介质及设备
CN110675376A (zh) * 2019-09-20 2020-01-10 福建工程学院 一种基于模板匹配的pcb缺陷检测方法
CN111462094A (zh) * 2020-04-03 2020-07-28 联觉(深圳)科技有限公司 Pcba元器件检测方法、装置及计算机可读存储介质
CN113077453B (zh) * 2021-04-15 2022-09-13 华南理工大学 一种基于深度学习的电路板元器件缺陷检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077513A (zh) * 2012-11-16 2013-05-01 北京理工大学 基于二次曲面的微纳物体图像倾斜校正方法
CN105893485A (zh) * 2016-03-29 2016-08-24 浙江大学 一种基于图书目录的专题自动生成方法
CN106290388A (zh) * 2016-08-03 2017-01-04 国网山东省电力公司电力科学研究院 一种绝缘子故障自动检测方法
CN109299295A (zh) * 2018-09-04 2019-02-01 南通科技职业学院 蓝印花布图像数据库搜索方法
CN110136699A (zh) * 2019-07-10 2019-08-16 南京硅基智能科技有限公司 一种基于文本相似度的意图识别方法
CN110349207A (zh) * 2019-07-10 2019-10-18 国网四川省电力公司电力科学研究院 一种复杂环境下的视觉定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
鹿亚琴: "HCI-A3型PCB板缺陷检测系统设计与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》, 15 January 2020 (2020-01-15), pages 135 - 487 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI812558B (zh) * 2022-11-23 2023-08-11 大陸商環維電子(上海)有限公司 針對微小瑕疵與錯件的影像檢測方法及其系統
CN116096066A (zh) * 2023-04-12 2023-05-09 四川易景智能终端有限公司 一种基于物联网的smt贴片质量检测系统
CN116096066B (zh) * 2023-04-12 2023-06-16 四川易景智能终端有限公司 一种基于物联网的smt贴片质量检测系统
CN116757973A (zh) * 2023-08-23 2023-09-15 成都数之联科技股份有限公司 一种面板产品自动修补方法、系统、设备及存储介质
CN116757973B (zh) * 2023-08-23 2023-12-01 成都数之联科技股份有限公司 一种面板产品自动修补方法、系统、设备及存储介质
CN118102699A (zh) * 2024-04-07 2024-05-28 深圳市世纪互通科技有限公司 一种元器件贴片的视觉检测方法及贴片机

Also Published As

Publication number Publication date
CN113344931B (zh) 2022-07-19
CN113344931A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN113344931B (zh) 一种插件视觉检测识别方法、可读存储介质及设备
WO2018068415A1 (zh) 元件错件检测方法和系统
CN113344929A (zh) 一种焊点视觉检测识别方法、可读存储介质及设备
CN107705293A (zh) 一种基于ccd面阵相机视觉检测的五金零件尺寸测量方法
US11315229B2 (en) Method for training defect detector
JP2001133418A (ja) 形状特徴に基づく欠陥検出の方法及び装置
JP6317725B2 (ja) 取得された画像内のクラッタを決定するためのシステム及び方法
CN115131444A (zh) 一种基于单目视觉点胶平台的标定方法
CN112085700B (zh) X射线图像中焊缝区域的自动化提取方法、系统及介质
CN112132523A (zh) 一种货物数量确定方法、系统和装置
CN112200776A (zh) 芯片封装缺陷检测方法和检测装置
WO2023109557A1 (zh) 连接器件检测方法、电子设备及存储介质
CN111861979A (zh) 一种定位方法、设备及计算机可读存储介质
CN113298769A (zh) Fpc软排线外观缺陷检测方法、系统和介质
CN113192061B (zh) Led封装外观检测图像的提取方法、装置、电子设备和存储介质
CN114092448B (zh) 一种基于深度学习的插件电解电容混合检测方法
CN112419207A (zh) 一种图像矫正方法及装置、系统
CN116309882A (zh) 一种面向无人叉车应用的托盘检测和定位方法及系统
CN112378333A (zh) 仓储货物测量方法和装置
CN116051485A (zh) 贴片焊接质量检查方法、装置、设备及存储介质
CN107507130A (zh) 一种快速的qfn芯片引脚图像获取与放大方法
CN114757878A (zh) 焊接示教方法、装置、终端设备及计算机可读存储介质
CN117058411B (zh) 电池棱边外形瑕疵识别方法、装置、介质和设备
US11176419B1 (en) Method for labeling image
JP4814116B2 (ja) 実装基板外観検査方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination