CN113344931A - 一种插件视觉检测识别方法、可读存储介质及设备 - Google Patents

一种插件视觉检测识别方法、可读存储介质及设备 Download PDF

Info

Publication number
CN113344931A
CN113344931A CN202110907173.1A CN202110907173A CN113344931A CN 113344931 A CN113344931 A CN 113344931A CN 202110907173 A CN202110907173 A CN 202110907173A CN 113344931 A CN113344931 A CN 113344931A
Authority
CN
China
Prior art keywords
image
component
plug
circuit board
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110907173.1A
Other languages
English (en)
Other versions
CN113344931B (zh
Inventor
刘晓辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhijian Huitong Technology Co ltd
Original Assignee
Shenzhen Zhijian Huitong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhijian Huitong Technology Co ltd filed Critical Shenzhen Zhijian Huitong Technology Co ltd
Priority to CN202110907173.1A priority Critical patent/CN113344931B/zh
Priority to CN202210679128.XA priority patent/CN115082394A/zh
Publication of CN113344931A publication Critical patent/CN113344931A/zh
Application granted granted Critical
Publication of CN113344931B publication Critical patent/CN113344931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种插件视觉检测识别方法，包括步骤：S10、获取待检测识别的成品线路板的多角度多方位的图片；S20、对所述图片进行畸变并抽取各个元器件的元器件区域图像；S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别；S40、得到插件视觉检测识别结果并进行输出。本发明通过采用卷积神经网络快速学习识别成品线路板的插件的各种缺陷，并通过大数据学习训练，可以快速识别出插件的错、漏、反、多、歪斜等缺陷，识别效率高，准确率高。

Description

一种插件视觉检测识别方法、可读存储介质及设备
技术领域
本发明涉及插件视觉检测识别技术领域，尤其涉及一种插件视觉检测识别方法、可读存储介质及设备。
背景技术
成品线路板（Printed Circuit Board + Assembly，简称PCBA），即成品线路板为PCBA，PCBA是电子设备的关键部件之一，PCBA是指PCB空板经过SMT上件，再经过DIP插件（某些产品不需要该步骤）得到的电路板，也就是将各种电子元器件通过表面封装工艺组装在PCB板上。PCBA板上的元器件的位置正反和焊点的短路以及排针的数量情况直接影响电路板的性能和成品率。因此，PCBA在交付使用前检测产品是否合格成为一个必不可少且非常重要的环节。
当前，现有的PCBA缺陷检测识别（主要有锡膏厚度检测、SMT贴装效果检测、插件效果检测），大都采用光学原理、逻辑型的锡膏厚度检测（Solder Paste Inspection，SPI）和逻辑型的自动光学检测（Automatic Optic Inspection，AOI），其中，SPI原理是通过三角测量的方法把印刷在PCB板上的锡膏高度计算出来的一种SMT检测技术；AOI原理是通过RGB三色光从三种不同的角度照射到元件上再反射回来，不同的焊点形态反射不同的色光，参考位置和设定参数对反射光的颜色和亮度等数据进行矢量分析。SPI和AOI要求高精度的镜头和特殊设计的光源配合，硬件成本高昂，生产前准备时间长，存在PCBA图像比对误差，误报率高、不能有效杜绝不良品；插件工序目前外观基本依赖人工目视检查，效率低、易漏件，人工成本高，对员工熟练度有较高要求。
随着大数据时代的到来，含更多隐含层的深度卷积神经网络（Convolutionalneural networks，CNNs）具有更复杂的网络结构，与传统方法相比具有更强大的特征学习和特征表达能力。通过对不良品的学习，能够在普通光照的情况下，十分准确地识别缺陷样本，利用再学习机制，误判样本能够及时反馈给模型，不断优化识别能力。强大的计算能力，满足工业生产环境实时检测的需求，基于深度学习的检测技术检测高效、优质，可以有效保障产品质量、节省人工成本、助力生产智能化建设。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种插件视觉检测识别方法、可读存储介质及设备。
本发明解决其技术问题所采用的技术方案是：根据本发明的一方面，提供一种插件视觉检测识别方法，包括以下步骤：
S10、获取待检测识别的成品线路板的多角度多方位的图片；
S20、对每个所述图片进行畸变并抽取各个元器件的元器件区域图像；
S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别；所述插件视觉检测识别包括所述元器件的插件浮高歪斜检测识别、以及所述元器件的插件漏件检测识别；
S40、得到所述元器件的插件检测识别结果并进行输出。
优选地，所述S10、获取待检测识别的成品线路板的多角度多方位的图片，之后还包括步骤：
S11、获取待检测识别的所述成品线路板的GERBER文件和/或BOM文件，所述GERBER文件包括元器件名称及其对应的位置信息、角度信息以及尺寸信息，所述BOM文件包括元器件名称及其对应的位置信息、以及贴装工艺，所述贴装工艺包括SMT贴片工艺和/或DIP插件工艺。
优选的，所述多角度多方位的图片包括所述成品线路板的正面图像、斜面图像和/或正侧面图像；其中，所述正面图像包括所述成品线路板的俯视图像和/或仰视图像；所述正侧面图像包括所述成品线路板的正前视图像、正后视图像、正左视图像和/或正右视图像；所述斜面图像包括所述成品线路板的任意角度任意方位的图像。
优选的，所述S20、对每个所述图片进行畸变并抽取各个元器件的元器件区域图像，包括步骤：
S201、分别初始化标定每个所述图片的Mark点坐标(x1, y1)、(x2, y2)、(x3,y3)，设置超参数L，所述超参数L为搜索边长，以所述超参数L为三个边长，以所述Mark点为中心点的方形区域内应用霍夫变换，检测所述方形区域内与半径阈值R差值最小的圆形，将检测到的三个所述圆形的圆点(x1', y1')、(x2', y2')、(x3', y3')作为所述图片的Mark点坐标；
S202、所述图片经仿射变换处理后得到变换图像，消除所述图片因所述成品线路板相对于拍摄镜头的偏移旋转而造成的偏差，修正不同的元器件的相对位置；所述仿射变换的计算公式为：
Figure 854727DEST_PATH_IMAGE001
求解出π,tx,ty；其中π为所述图片的图像旋转缩放变化量，(tx,ty)表示平移量；
S203、判断所述变换图像是正面图像、斜面图像或正侧面图像，如是正面图像或正侧面图像，则执行步骤S204；如是斜面图像，则执行步骤S205；
S204、直接从所述GERBER文件获取所述元器件的中心点及其尺寸信息，并截取所述元器件对应的元器件区域图像；
S205、根据所述GERBER文件及所述斜面图像的侧视角度进行斜面变换，并截取所述元器件对应的元器件区域图像；
所述斜面变换具体包括：若所述拍摄镜头相对于垂直线Y轴的倾斜角度为δ，所述元器件的中心点及其尺寸信息的变换公式为x=x,y=y*cosδ,w=w*cosδ,h=h*cosδ，若所述拍摄镜头相对于水平线X轴的倾斜角度为α，所述元器件的中心点及其尺寸信息的变换公式为x=x*cosα,y=y,w=w*cosα,h=h*cosα；
S206、对于无法从所述GERBER文件中获取所述元器件的中心点及其尺寸信息的，则获取所述元器件的初始化中人工标注的元器件区域图像。
优选的，所述插件浮高歪斜是指在所述元器件区域的所述元器件底部未紧贴PCBA表面或元器件底部平面与PCBA平面明显不平行；所述S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
S301、对所述元器件的所有所述元器件区域图像进行霍夫变换，将所述元器件区域图像进行Canny边缘检测，得到边缘检测的二值图，获取轮廓直线；具体为：
初始化(θ,p)空间，N(θ,p)=0，其中，所述N(θ,p)表示在直线上的像素点的个数，对于每个所述像素点(x,y)，在参数空间中找出令x*cosθ+y*sinθ=p的(θ,p)坐标，N(θ,p)=N(θ,p)+1，统计所有所述N(θ,p)的大小，取出N(θ,p)>threshold的参数，其中threshold为预设阈值；
S302、将所述轮廓直线进行非极大值抑制，去除距离或倾角度数相近的重合直线以及边缘噪音信息；
S3021、将所有的所述轮廓直线汇集成直线集合S；
S3022、每次随机选择一条所述轮廓直线后将与之倾角度数相差小于阈值的从所述直线集合S中去除；
S3023、最后获取所述直线集合S中的直线倾角γ1。
S303、将所述轮廓直线的直线倾角与数据库内的标准轮廓直线进行比对，计算偏离角度γ，γ=|γ1-γ2 |，其中，γ1为所述轮廓直线的直线倾角，γ2为所述数据库中的标准图片的轮廓直线的直线倾角，如果所述γ大于阈值γ0，则转到步骤S306，否则转到步骤S304；
S304、将所述元器件区域图像与所述数据库内的标准元器件区域图像进行高斯模糊平滑去噪，通过二维高斯函数G(x,y)分配权重，对周边点加权求和并获取中心点的高斯模糊值，重复这个过程得到高斯模糊后的元器件区域图像；二维高斯函数G(x,y)的计算公式为：
Figure 139078DEST_PATH_IMAGE002
；
S305、计算像素级距离d；当所述像素级距离d大于阈值d0，则转到步骤S306；否则认定所述成品线路板为良品；
所述像素级距离d的计算公式为：
Figure 613921DEST_PATH_IMAGE003
；
S306、认定为插件浮高，并反馈所述插件浮高位置及浮高方位信息。
优选的，所述插件漏件检测识别包括所述元器件的插件少件、插件错件和/或插件反件，所述插件少件是指所述元器件区域原本存在的元器件未能正确嵌入到正确位置，导致所述元器件目标区域为空；所述插件错件是指所述元器件区域中被嵌入了错误的其他类型的元器件；所述插件反件是指所述元器件区域的元器件的放置方式错误，所述放置方式错误包括水平翻转和/或垂直翻转；
所述S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
S311、对所述元器件区域图像进行归一化处理，计算所述元器件区域图像的方向梯度直方图特征向量f；
S312、将所述元器件区域图像的方向梯度直方图特征向量f与数据库内的标准元器件的方向梯度直方图特征向量fpos进行比较，计算方向梯度直方图特征向量之间的欧式距离e，如果所述欧式距离e大于阈值e0，则认定为所述插件少件，并反馈少件信息，否则进入步骤S313；所述欧式距离e的计算方式为：
Figure 438658DEST_PATH_IMAGE004
；
其中f为所述元器件区域图像的方向梯度直方图特征向量，fpos为数据库内的标准元器件的方向梯度直方图特征向量；
S313、使用CTPN文字检测算法提取所述元器件的表面的文字区域，对提取到的所述文字区域进行光学字符识别，得到所述元器件的表面印刷的文字内容；
S314、将所述元器件的文字内容与数据库内的标准文字内容进行比对，计算二者的最小编辑距离jedit，根据所述最小编辑距离jedit和所述数据库内的标准文字内容的长度lword进行计算重叠度overlap=jedit/lword，如果所述overlap<0.2，则所述元器件的方向正确；否则反馈方向错误信息；所述编辑距离为两个字符串之间，由一个转成另一个所需要的最少编辑操作次数。
所述S311、对所述元器件区域图像进行归一化处理，计算所述元器件区域图像的方向梯度直方图特征向量f，包括以下步骤：
S3111、计算所述元器件区域图像的每个像素点(x,y)的水平方向梯度幅值Cx (x,y)和竖直方向梯度幅值Cy (x,y)；
Cx (x,y）=H(x+1,y)-H(x-1,y)；
Cy (x,y)=H(x,y+1)-H(x,y-1)；
其中Cx(x,y),Cy(x,y),H(x,y)分别为所述像素点(x,y)的水平方向梯度、竖直方向梯度及其像素值；
S3112、将所述元器件区域图像划分成预设大小的多个单元图像，并分别计算每个所述单元图像的梯度方向；
每个所述像素点(x,y)的梯度幅值C(x,y)和梯度方向β(x,y)分别为：
Figure 620241DEST_PATH_IMAGE005
S3113、统计每个所述梯度方向出现的次数得到所述单元图像的特征向量，计算每个所述单元图像的特征向量，最后首尾拼接在一起形成所述元器件区域图像的方向梯度直方图特征向量f。
所述S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
S321、获取所述元器件区域图像的正面图像p，与所述数据库内的标准图像ppos使用双线性插值法进行缩放为统一预设固定尺寸；
所述双线性插值法的计算公式Dst(x',y')为：
Dst(x',y')=(1-u)*(1-v)Src(x,y)+(1-u)*v*Src(x,y+1)+u*(1-v)*Src(x+1,y)+u*v*Src(x+1,y+1)；
其中(x',y')为待插值的数据点的坐标；Dst表示目标图像；Src表示源图像；u,v为以浮点数表示的(x,y)的小数部分；
S322、将所述元器件区域图像切割划分为n个部分图像pi，所述数据库内的对应的标准部分图像为
Figure 373695DEST_PATH_IMAGE006
，i=1,2…n，计算每个所述部分图像的图像直方图hi及其对应的标准部分图像直方图
Figure 335835DEST_PATH_IMAGE007
，计算比较得出每个所述部分图像的图像相似度；所述部分图像的图像相似度Si的计算公式为：
Figure 761000DEST_PATH_IMAGE008
；
其中，
Figure 124985DEST_PATH_IMAGE009
是待测的部分图像和所述数据库内的标准部分图像的像素直方图，
Figure 49341DEST_PATH_IMAGE010
为所述部分图像直方图的每个取值，其中，RGB图像的直方图有768个取值；
S323、对n个所述部分图像的图像相似度加权平均得到所述元器件区域图像的图像相似度S；如果所述图像相似度S小于阈值S0，则认定为所述插件少件，并反馈插件少件信息；否则进入步骤S324；
S324、使用CTPN文字检测算法提取所述元器件的表面的文字区域，对提取到的所述文字区域计算像素间的欧式距离k，如所述欧式距离k大于阈值k0，则反馈方向错误信息；所述欧式距离k的计算方式为：
Figure 498777DEST_PATH_IMAGE011
；
其中f为所述元器件区域图像的方向梯度直方图特征向量，fpos为数据库内的标准元器件的方向梯度直方图特征向量。
所述S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
S331、判断所述元器件区域图像的表面是否有丝印，如有，则进入步骤S332，如无，则进入步骤S337；
S332、将所述元器件区域图像转化为灰度图，使用基于Wall算法的自适应阈值算法对所述灰度图进行二值化处理得到二值化图；
S333、使用二维高斯核函数对所述二值化图进行滤波降噪处理去除所述二值化图中的噪点；二维高斯核函数F(x,y)的计算公式为：
Figure 134158DEST_PATH_IMAGE012
；
其中A为归一化系数，u为均值，σ为方差；
S334、对滤波降噪处理后的所述二值化图进行膨胀处理，用局部区域的最大值来填充整个区域，使文本区域连接成一个整体，再检测文本区域轮廓，过滤掉不符合要求的区域，保留所述文本区域；膨胀的计算公式为：
Figure 352650DEST_PATH_IMAGE013
；
S335、截取得到的所述文本区域，在所述二值化图的基础上对所述文本区域进行光学字符识别，得到文字内容；
S336、将所述文字内容与数据库内的标准文字内容进行比对，计算二者的最小编辑距离jedit，根据所述最小编辑距离jedit和所述数据库内的标准文字内容的长度lword进行计算重叠度overlap=jedit/lword，如果所述overlap<0.2，则认定为所述元器件方向正确；否则反馈方向错误信息；所述最小编辑距离为两个字符串之间，由一个转成另一个所需要的最少编辑操作次数；
S337、对所述图像进行线性归一化处理，计算所述元器件与所述数据库内的标准元器件的特征距离df，如果所述特征距离df大于阈值df0，则认定为所述元器件出现异常，并反馈错误信息；所述归一化处理的计算公式为：
Figure 415284DEST_PATH_IMAGE014
所述特征距离df的计算公式为：
Figure 24119DEST_PATH_IMAGE015
；
其中h,w为所述图像的高和宽，xi, yi为所述元器件与标准元器件的像素值。
根据本发明另一方面，还提供一种计算机可读的存储介质，所述存储介质上存储有计算机程序，所述计算机程序被执行时实现上述的插件视觉检测识别方法。
根据本发明再一方面，还提供一种插件视觉检测识别设备，包括处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述处理器执行上述的插件视觉检测识别方法。
实施本发明插件视觉检测识别方法、可读存储介质及设备的技术方案，具有如下优点或有益效果：本发明通过采用卷积神经网络快速学习识别成品线路板的插件的各种缺陷，通过大数据学习训练，可以快速识别出插件浮高、插件的错、漏、反、多、歪斜等缺陷，识别效率高，准确率高。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，附图中：
图1是本发明实施例插件视觉检测识别方法的整体流程示意图；
图2是本发明实施例插件视觉检测识别方法的步骤S20流程示意图；
图3是本发明实施例插件视觉检测识别方法的插件浮高歪斜检测识别流程示意图；
图4是本发明实施例插件视觉检测识别方法的插件漏件检测识别流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下文将要描述的各种示例性实施例将要参考相应的附图，这些附图构成了示例性实施例的一部分，其中描述了实现本发明可能采用的各种示例性实施例，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。应明白，它们仅是与如所附权利要求书中所详述的、本发明公开的一些方面相一致的装置和方法的例子，还可使用其他的实施例，或者对本文列举的实施例进行结构和功能上的修改，而不会脱离本发明的范围和实质。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“厚度”、“上下前后左右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的元器件或插件必须具有的特定的方位、以特定的方位构造和操作，因此，不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定的“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体连接；可以是机械连接，也可以是电连接或可以相互通讯连接；可以是直接相连，也可以是通过中间媒介简介相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
需要说明的是：本发明实施例中的前后、左右、上下及顶部、中部及底部仅是为了便于对实施例的描述而进行的限定，并非通常意义上前后、左右、上下及顶部、中部及底部的方位限定。具体的，前方为平行于生产检测流水线方向的成品线路板的前面，后方为平行于生产检测流水线方向的成品线路板的后面，左右方为垂直于生产检测流水线的方向，X轴方向为与生产检测流水线平行的方向，Y轴方向为与生产检测流水线垂直的方向，Z轴方向为与成品线路板垂直的方向，X轴方向、Y轴方向、Z轴方向均相互垂直，XY平面为与成品线路板平行的平面，YZ平面为与成品线路板垂直的平面。
在本发明实施例中，成品线路板分为单面板和双面板，单面板是指在PCB空板的单面经过SMT上件，再经过DIP插件形成的单面PCBA，而双面板是指在PCB空板的双面经过SMT上件，再经过DIP插件形成的双面PCBA。针对单面板的成品线路板的检测识别，只需正上方、前后左右、斜上方进行拍摄获取线路板图像即可。而对于双面板则还需要获取反面图像，可以在成品线路板下面设置拍摄装置来拍摄，也可以将成品线路板翻转通过设置在顶部的拍摄装置来拍摄。
在本发明实施例中，在PCBA加工过程中，要用到贴片元器件和插件元器件，本发明插件和元器件均为插件元器件，成品线路板要检测识别插件的缺陷具体包括：插件错件、插件少件或多件、插件反向、插件破损、插件浮高歪斜（即为插件浮高或歪斜）等缺陷，主要包括：插件错件（即为安装了错误的元器件）、插件少件或多件（即为PCBA上应该有元器件的位置而没有安装该元器件或者不应该安装的地方安装了元器件）、插件反向（即为元器件安装方向错误）、插件破损（即为元器件表面或侧面有裂痕或者破损）、插件污损（即为元器件表面有脏污遮盖字符或空白区域）、插件浮高歪斜（即为元器件底部未紧贴PCBA表面或元器件底部平面与PCBA平面明显不平行）。焊点不良包括：焊点连锡（即为两个或多个独立的焊脚之间连在一起）、空焊（即为焊点看似焊接了实际焊锡与器件插脚未紧密连接）、多锡（即为焊锡量过多，出现焊点顶部大或者包焊的现象）、少锡（即为焊点出现孔洞、焊点凹陷或焊锡与焊盘平齐没有明显的爬锡现象）、锡珠锡渣（即为PCBA空白区域出现锡渣或者锡珠）、拉尖（即为插件脚顶部或侧面出现拉丝现象）、字符或图形错误（即为元器件正面或者侧面字符或图形与标准不符）等可能存在的诸多缺陷。
具体的，不同的缺陷需要从不同角度来获取成品线路板的图像，具体包括：（1）从顶部正面拍摄成品线路板，用于采集获取成品线路板的内容包括：插件错件、插件少件或多件、插件反向、插件污损、焊点连锡、空焊、多锡、少锡、锡珠锡渣、拉尖、字符或图形错误等；（2）从正前后左右拍摄成品线路板，用于采集获取成品线路板的内容包括：插件破损、插件浮高歪斜、字符或图形错误等；（3）从斜上方拍摄成品线路板，用于采集获取成品线路板的内容包括：插件错件、插件浮高歪斜、字符或图形错误等。为此，需要设置不同的拍摄装置来获取成品线路板的上下、左右、前后全方位图像，进而可以更加全面准确的对成品线路板进行检测识别分类。
本发明插件视觉检测识别方法实施例，既可用于最终成品线路板的检测，也可用于生产过程中的质量监控；即可用于单面成品线路板，也可用于双面成品线路板等。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
如图1所示，本发明提供一种插件视觉检测识别方法实施例，包括以下步骤：
S10、获取待检测识别的成品线路板的多角度多方位的图片；
S20、对每个所述图片进行畸变并抽取各个元器件的元器件区域图像；
S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别；所述插件视觉检测识别包括所述元器件的插件浮高歪斜检测识别、以及所述元器件的插件漏件检测识别；
S40、得到所述元器件的插件检测识别结果并进行输出。
在本实施例中，所述多角度多方位的图片包括所述成品线路板的正面图像、斜面图像和/或正侧面图像；所述正面图像包括所述成品线路板的俯视图像和/或仰视图像；所述正侧面图像包括所述成品线路板的正前视图像、正后视图像、正左视图像和/或正右视图像；所述斜面图像包括成品线路板的任意角度任意方位的图像。
在本实施例中，所述S10、获取待检测识别的成品线路板的多角度多方位的图片，之后还包括步骤：
S11、获取待检测识别的所述成品线路板的GERBER文件和/或BOM文件，所述GERBER文件包括元器件名称及其对应的位置信息、角度信息以及尺寸信息，具体的，包括GERBER映射表（提供GERBER坐标到图像坐标的映射以及元器件在图像上的实际尺寸，所述BOM文件包括元器件名称及其对应的位置信息、以及贴装工艺，所述贴装工艺包括SMT贴片工艺和/或DIP插件工艺。
如图2所示，所述S20、对每个所述图片进行畸变并抽取各个元器件的元器件区域图像，包括以下步骤：
S201、分别初始化标定每个所述图片的Mark点坐标(x1, y1)、(x2, y2)、(x3,y3)，设置超参数L，所述超参数L为搜索边长（具体如50-100px等），以所述超参数L为三个边长，以所述Mark点为中心点的方形区域内应用霍夫变换，检测所述方形区域内与半径阈值R差值最小的圆形，将检测到的三个所述圆形的圆点(x1', y1')、(x2', y2')、(x3', y3')作为所述图片的Mark点坐标；
S202、所述图片经仿射变换处理后得到变换图像，消除所述图片因所述成品线路板相对于拍摄镜头的偏移旋转而造成的偏差，修正不同的元器件的相对位置；所述仿射变换的计算公式为：
Figure 761394DEST_PATH_IMAGE016
求解出π,tx,ty；其中，π反映了图像旋转缩放变化（即π为所述图片的图像旋转缩放变化量），(tx,ty)表示平移量；
S203、判断所述变换图像是正面图像、斜面图像或正侧面图像，如是正面图像或正侧面图像，则执行步骤S204；如是斜面图像，则执行步骤S205；
S204、直接从所述GERBER文件获取所述元器件的中心点及其尺寸信息（具体位置，元器件矩形区域长宽等），并截取所述元器件对应的元器件区域图像；
S205、根据所述GERBER文件及所述斜面图像的侧视角度进行斜面变换，并截取所述元器件对应的元器件区域图像；
所述斜面变换具体包括：若所述拍摄镜头相对于垂直线Y轴的倾斜角度为δ，所述元器件的中心点及其尺寸信息的变换公式为x=x,y=y*cosδ,w=w*cosδ,h=h*cosδ，若所述拍摄镜头相对于水平线X轴的倾斜角度为α，所述元器件的中心点及其尺寸信息的变换公式为x=x*cosα,y=y,w=w*cosα,h=h*cosα；
S206、对于无法从所述GERBER文件中获取所述元器件的中心点及其尺寸信息的，则获取所述元器件的初始化中人工标注的元器件区域图像。
在本实施例中，所述插件浮高歪斜是指在所述元器件区域的所述元器件底部未紧贴PCBA表面或所述元器件底部平面与PCBA平面明显不平行；如图3所示，所述S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别（即插件浮高歪斜检测识别），包括以下步骤：
S301、对所述元器件的所有所述元器件区域图像进行霍夫变换，将所述元器件区域图像进行Canny边缘检测，得到边缘检测的二值图，获取轮廓直线；具体的，初始化(θ,p)空间，N(θ,p)=0，其中，所述N(θ,p)表示在直线上的像素点的个数，对于每个所述像素点(x,y)，在参数空间中找出令x*cosθ+y*sinθ=p的(θ,p)坐标，N(θ,p)=N(θ,p)+1，统计所有所述N(θ,p)的大小，取出N(θ,p)>threshold的参数，其中threshold为预设阈值。
S302、将所述轮廓直线进行非极大值抑制，去除距离或倾角度数相近的重合直线以及边缘噪音信息；具体包括步骤：
S3021、将所有的所述轮廓直线汇集成直线集合S；
S3022、每次随机选择一条所述轮廓直线后将与之倾角度数相差小于阈值的从所述直线集合S中去除；
S3023、最后获取所述直线集合S中的直线倾角γ1。
S303、将所述轮廓直线的直线倾角与数据库内的标准轮廓直线进行比对，计算偏离角度γ，γ=|γ1-γ2 |，其中γ1为所述轮廓直线的直线倾角，γ2为所述数据库中的标准图片的轮廓直线的直线倾角，如果所述γ大于阈值γ0，则转到步骤S306，否则转到步骤S304；
S304、将所述元器件区域图像与所述数据库内的标准元器件区域图像进行高斯模糊平滑去噪，通过二维高斯函数G(x,y)分配权重，对周边点加权求和并获取中心点的高斯模糊值，重复这个过程得到高斯模糊后的元器件区域图像；具体的，二维高斯函数G(x,y)的计算公式为：
Figure 631129DEST_PATH_IMAGE017
。
S305、计算像素级距离d；当所述像素级距离d大于阈值d0，则转到步骤S306；否则认定所述成品线路板为良品；具体的，所述像素级距离d的计算公式为：
Figure 661402DEST_PATH_IMAGE018
。
S306、认定为插件浮高，并反馈所述插件浮高位置及浮高方位信息。
本发明通过采用卷积神经网络快速学习识别成品线路板，通过大数据学习训练，可以快速识别出插件浮高歪斜等缺陷，识别效率高，准确率高。
在本实施例中，所述插件漏件检测识别包括所述元器件的插件少件、插件错件和/或插件反件，所述插件少件是指所述元器件区域原本存在的元器件未能正确嵌入到正确位置，导致所述元器件目标区域为空；所述插件错件是指所述元器件区域中被嵌入了错误的其他类型的元器件；所述插件反件是指所述元器件区域的元器件的放置方式错误，所述放置方式错误包括水平翻转和/或垂直翻转。
在本实施例中，S30、根据所述元器件区域图像对所述成品线路板进行漏件检测识别（插件漏件检测识别），具体包括以下三个方案：
方案一：
如图4所示，S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
S311、对所述元器件区域图像进行归一化（contrast-normalized）处理，计算所述元器件区域图像的方向梯度直方图（Histogram of oriented gradient，HOG）特征向量f；
S312、将所述元器件区域的直方图特征向量特征f与数据库内的标准元器件的方向梯度直方图特征向量fpos进行行比较，计算方向梯度直方图特征向量之间的欧式距离e，如果e大于阈值e0，则认定为插件少件，并反馈少件信息(Element Lost)，否则进入步骤S313；所述欧式距离e的计算方式为：
Figure 757534DEST_PATH_IMAGE019
；
其中f为所述元器件区域图像的方向梯度直方图特征向量，fpos 为数据库内的标准元器件的方向梯度直方图特征向量；
S313、使用CTPN（Connectionist Text Proposal Network）文字检测算法提取所述元器件表面的文字区域，对提取到的文字区域进行光学字符识别，得到所述元器件表面印刷的文字内容；
S314、将所述元器件的文字内容与数据库内的标准文字内容进行比对，计算二者的最小编辑距离jedit，根据所述最小编辑距离jedit和数据库内的文字内容的长度lword进行计算重叠度overlap=jedit/lword，如果所述overlap<0.2，则所述元器件方向正确；否则反馈方向错误信息；具体的，所述编辑距离（Minimum Edit Distance，MED），又称Levenshtein距离，是指为两个字符串之间，由一个转成另一个所需要的最少编辑操作次数。
具体的，所述S311、对所述元器件区域图像进行归一化处理，计算所述元器件区域图像的方向梯度直方图特征向量f，包括以下步骤：
S3111、计算所述元器件区域图像的每个像素点(x,y)的水平方向梯度幅值Cx(x,y)和竖直方向梯度幅值Cy (x,y)；
Cx (x,y）=H(x+1,y)-H(x-1,y)；
Cy (x,y)=H(x,y+1)-H(x,y-1)；
其中Cx(x,y),Cy (x,y),H(x,y)分别为所述像素点(x,y)的水平方向梯度、竖直方向梯度以及像素值；
S3112、将所述元器件区域图像划分成预设大小的单元图像，并分别计算每个所述单元图像的梯度方向；
具体的，所述像素点(x,y)的梯度幅值C(x,y)和梯度方向β(x,y)分别为：
Figure 767341DEST_PATH_IMAGE020
S3113、统计每个梯度方向出现的次数得到所述单元图像的特征向量，计算每个所述单元图像的特征向量，最后收尾拼接在一起形成所述元器件区域图像的方向梯度直方图特征向量f。
方案二：
所述S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
S321、获取所述元器件区域图像的正面图像p，与数据库内的标准图像ppos使用双线性插值法进行缩放为统一预设固定尺寸；具体的，p是一个三维矩阵，大小为w*h*3，值为0-255，从RGB三维信息描述图像内容。
具体的，所述双线性插值法的计算公式Dst(x',y')为：
Dst(x',y')=(1-u)*(1-v)Src(x,y)+(1-u)*v*Src(x,y+1)+u*(1-v)*Src(x+1,y)+u*v*Src(x+1,y+1)；
其中(x',y')为待插值的数据点的坐标；Dst表示目标图像；Src表示源图像；u,v表示浮点数表示的(x,y)的小数部分；
S322、将所述元器件区域图像切割划分为n个部分图像pi，所述数据库内的对应的标准图像为
Figure 694846DEST_PATH_IMAGE021
，i=1,2…n计算每个部分图像的图像直方图hi及其对应的标准图像直方图
Figure 896020DEST_PATH_IMAGE022
，计算比较得出每个部分图像的图像相似度；
具体的，hi是图像直方图，统计了每种颜色出现的次数，是一个向量，lhi是向量里的每个数，比如说hi=[1,2,3],
Figure 541765DEST_PATH_IMAGE023
=[4,5,6]，那么len(hi )=3，
Figure 366981DEST_PATH_IMAGE024
分别为3，3，3再执行求和。
具体的，所述部分图像的图像相似度Si的计算公式为：
Figure 680151DEST_PATH_IMAGE025
；
其中，
Figure 255489DEST_PATH_IMAGE026
是待测图像和所述数据库内的标准图像（良品）的像素直方图，
Figure 388530DEST_PATH_IMAGE010
为图像直方图的每个取值，其中，RGB图像的直方图有768个取值（256*3）。
S323、对n个部分图像的图像相似度加权平均得到所述元器件区域图像的图像相似度S；如果S小于阈值S0，则认定为插件少件，并反馈少件信息；否则进入步骤S324；
S324、使用CTPN文字检测算法提取元器件表面的文字区域，再对提取到的文字区域计算像素间的欧式距离k，如k大于阈值k0，则反馈错误信息。
具体的，所述欧式距离k的计算方式为：
Figure 973095DEST_PATH_IMAGE027
；
其中f为所述元器件区域图像的方向梯度直方图特征向量，fpos 为数据库内的标准元器件的方向梯度直方图特征向量。
方案三：
S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
S331、判断所述元器件区域图像的表面是否有丝印，如有，则进入步骤S332，如无，则进入步骤S337；
S332、将所述元器件区域图像转化为灰度图，使用基于Wall算法的自适应阈值算法对所述灰度图进行二值化处理得到二值化图；
S333、使用二维高斯核函数对所述二值化图进行滤波降噪处理去除二值化图中的噪点；具体的，二维高斯核函数F(x,y)的计算公式为：
Figure 812875DEST_PATH_IMAGE028
；
其中A为归一化系数，u为均值，σ为方差。
S334、对滤波降噪处理后的所述二值化图进行膨胀处理，用局部区域的最大值来填充整个区域，使文本区域连接成一个整体，再检测文本区域轮廓，过滤掉不符合要求的区域，保留文本区域；具体的，膨胀是形态学术语，是求局部最大值的操作；具体的，膨胀的计算公式为：
Figure 857316DEST_PATH_IMAGE029
；
具体的，膨胀与双线性插值不一样，此处的Pst不是方法名，指的是目标图像中的像素点(x,y)。
S335、截取得到的文本区域，在二值化图的基础上对所述文本区域进行光学字符识别，得到文字内容；
S336、将所述文字内容与数据库内的标准文字内容进行比对，计算二者的最小编辑距离jedit；具体的，根据所述最小编辑距离jedit和数据库内的标准文字内容的长度lword计算重叠度overlap=jedit/lword，如果所述overlap<0.2，则所述元器件方向正确；否则反馈方向错误信息；所述最小编辑距离为两个字符串之间，由一个转成另一个所需要的最少编辑操作次数；
S337、对所述图像进行线性归一化处理，计算所述元器件与所述数据库内的标准元器件的特征距离df，如果所述特征距离df大于阈值df0，则认定为所述元器件出现异常，并反馈错误信息；所述归一化处理的计算公式为：
Figure 8812DEST_PATH_IMAGE030
所述特征距离df的计算公式为：
Figure 928226DEST_PATH_IMAGE031
；
其中h,w为所述图像的高和宽，xi, yi为所述元器件与标准元器件的像素值。
本发明通过采用神经网络算法快速学习识别成品线路板的元器件，通过大数据学习训练，可以快速识别出插件漏件等缺陷，识别效率高，准确率高。
实施例二：
本发明还提供一种计算机可读的存储介质，该存储介质上存储有计算机程序，所述计算机程序被执行时实现上述实施例一的插件视觉检测识别方法。
实施例三：
本发明还提供一种插件视觉检测识别设备实施例，包括处理器及存储器；其中，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使处理器执行上述实施例一的插件视觉检测识别方法。
在阅读完上文描述的内容之后，本领域的普通技术人员应当明白，本文描述的各种特征可通过方法、数据处理设备或计算机程序产品来实现。因此，这些特征可部采用硬件的方式、全部采用软件的方式或者采用硬件和软件结合的方式来表现。此外，上述特征也可采用存储在一种或多种计算机可读存储介质上的计算机程序产品的形式来表现，该计算机可读存储介质中包含计算机可读程序代码段或者指令，其存储在存储介质中。可读存储介质被配置为存储各种类型的数据以支持在装置的操作。可读存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现。如静态硬盘、随机存取存储器（SRAM）、电可擦除可编程只读存储器（EEPROM）、可擦除可编程只读存储器（EPROM）、可编程只读存储器（PROM）、只读存储器（ROM）、光存储设备、磁存储设备、快闪存储器、磁盘或光盘和/或上述设备的组合。
以上仅为本发明的较佳实施例而已，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等同替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。

Claims (11)

1.一种插件视觉检测识别方法，其特征在于，包括以下步骤：
S10、获取待检测识别的成品线路板的多角度多方位的图片；
S20、对每个所述图片进行畸变并抽取各个元器件的元器件区域图像；
S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别；所述插件视觉检测识别包括所述元器件的插件浮高歪斜检测识别、以及所述元器件的插件漏件检测识别；
S40、得到所述元器件的插件检测识别结果并进行输出。
2.根据权利要求1所述的插件视觉检测识别方法，其特征在于，所述S10、获取待检测识别的成品线路板的多角度多方位的图片，之后还包括步骤：
S11、获取待检测识别的所述成品线路板的GERBER文件和/或BOM文件，所述GERBER文件包括元器件名称及其对应的位置信息、角度信息以及尺寸信息，所述BOM文件包括元器件名称及其对应的位置信息、以及贴装工艺，所述贴装工艺包括SMT贴片工艺和/或DIP插件工艺。
3.根据权利要求2所述的插件视觉检测识别方法，其特征在于，所述多角度多方位的图片包括所述成品线路板的正面图像、斜面图像和/或正侧面图像；
所述正面图像包括所述成品线路板的俯视图像和/或仰视图像；所述正侧面图像包括所述成品线路板的正前视图像、正后视图像、正左视图像和/或正右视图像；所述斜面图像包括所述成品线路板的任意角度任意方位的图像。
4.根据权利要求3所述的插件视觉检测识别方法，其特征在于，所述S20、对每个所述图片进行畸变并抽取各个元器件的元器件区域图像，包括以下步骤：
S201、分别初始化标定每个所述图片的Mark点坐标(x1, y1)、(x2, y2)、(x3, y3)，设置超参数L，所述超参数L为搜索边长，以所述超参数L为三个边长，以所述Mark点为中心点的方形区域内应用霍夫变换，检测所述方形区域内与半径阈值R差值最小的圆形，将检测到的三个所述圆形的圆点(x1', y1')、(x2', y2')、(x3', y3')作为所述图片的Mark点坐标；
S202、所述图片经仿射变换处理后得到变换图像，消除所述图片因所述成品线路板相对于拍摄镜头的偏移旋转而造成的偏差，修正不同的所述元器件的相对位置；所述仿射变换的计算公式为：
Figure 422299DEST_PATH_IMAGE001
求解出π,tx,ty；其中π为所述图片的图像旋转缩放变化量，(tx,ty)表示平移量；
S203、判断所述变换图像是正面图像、斜面图像或正侧面图像，如是正面图像或正侧面图像，则执行步骤S204；如是斜面图像，则执行步骤S205；
S204、直接从所述GERBER文件获取所述元器件的中心点及其尺寸信息，并截取所述元器件对应的元器件区域图像；
S205、根据所述GERBER文件及所述斜面图像的侧视角度进行斜面变换，并截取所述元器件对应的元器件区域图像；
所述斜面变换具体包括：若所述拍摄镜头相对于垂直线Y轴的倾斜角度为δ，所述元器件的中心点及其尺寸信息的变换公式为x=x, y=y*cosδ, w=w*cosδ, h=h*cosδ，若所述拍摄镜头相对于水平线X轴的倾斜角度为α，所述元器件的中心点及其尺寸信息的变换公式为x=x, y=y*cosα, w=w*cosα, h=h*cosα；
S206、对于无法从所述GERBER文件中获取所述元器件的中心点及其尺寸信息的，则获取所述元器件的初始化中人工标注的元器件区域图像。
5.根据权利要求4所述的插件视觉检测识别方法，其特征在于，所述插件浮高歪斜是指在所述元器件区域的所述元器件底部未紧贴PCBA表面或所述元器件底部平面与PCBA平面明显不平行；
所述S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
S301、对所述元器件的所有所述元器件区域图像进行霍夫变换，将所述元器件区域图像进行Canny边缘检测，得到边缘检测的二值图，获取轮廓直线；具体为：
初始化(θ,p)空间，N(θ, p)=0，其中，所述N(θ, p)表示在直线上的像素点的个数，对于每个所述像素点(x, y)，在参数空间中找出令x*cosθ+y*cosθ=p的(θ,p)坐标，N(θ, p)=N(θ, p)+1，统计所有所述N(θ, p)的大小，取出N(θ, p)＞threshold的参数，其中threshold为预设阈值；
S302、将所述轮廓直线进行非极大值抑制，去除距离或倾角度数相近的重合直线以及边缘噪音信息；具体包括步骤：
S3021、将所有的所述轮廓直线汇集成直线集合S；
S3022、每次随机选择一条所述轮廓直线后将与之倾角度数相差小于阈值的从所述直线集合S中去除；
S3023、最后获取所述直线集合S中的直线倾角γ1；
S303、将所述轮廓直线的直线倾角γ1与数据库内的标准轮廓直线进行比对，计算偏离角度γ，γ=|γ1−γ2|，其中γ1为所述轮廓直线的直线倾角，γ2为所述数据库中的标准图片的轮廓直线的直线倾角，如果所述γ大于阈值γ0，则转到步骤S306，否则转到步骤S304；
S304、将所述元器件区域图像与所述数据库内的标准元器件区域图像进行高斯模糊平滑去噪，通过二维高斯函数G(x,y)分配权重，对周边点加权求和并获取中心点的高斯模糊值，重复这个过程得到高斯模糊后的元器件区域图像；所述二维高斯函数G(x,y)的计算公式为：
Figure 401756DEST_PATH_IMAGE002
；
S305、计算像素级距离d；当所述像素级距离d大于阈值d0，则转到步骤S306；否则认定所述成品线路板为良品；
所述像素级距离d的计算公式为：
Figure 181493DEST_PATH_IMAGE003
；
S306、认定为插件浮高，并反馈所述插件浮高位置及浮高方位信息。
6.根据权利要求4所述的插件视觉检测识别方法，其特征在于，所述插件漏件包括所述元器件的插件少件、插件错件和/或插件反件，所述插件少件是指所述元器件区域原本存在的元器件未能正确嵌入到正确位置，导致所述元器件目标区域为空；所述插件错件是指所述元器件区域中被嵌入了错误的其他类型的元器件；所述插件反件是指所述元器件区域的元器件的放置方式错误，所述放置方式错误包括水平翻转和/或垂直翻转；
所述S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
S311、对所述元器件区域图像进行归一化处理，计算所述元器件区域图像的方向梯度直方图特征向量f；
S312、将所述元器件区域图像的方向梯度直方图特征向量f与数据库内的标准元器件的方向梯度直方图特征向量fpos进行比较，计算特征方向梯度直方图向量之间的欧式距离e，如果所述欧式距离e大于阈值e0，则认定为所述插件少件，并反馈少件信息，否则进入步骤S313；所述欧式距离e的计算方式为：
Figure 888287DEST_PATH_IMAGE004
；
其中f为所述元器件区域图像的方向梯度直方图特征向量，fpos为数据库内的标准元器件的方向梯度直方图特征向量；
S313、使用CTPN文字检测算法提取所述元器件的表面的文字区域，对提取到的所述文字区域进行光学字符识别，得到所述元器件的表面印刷的文字内容；
S314、将所述元器件的文字内容与数据库内的标准文字内容进行比对，计算二者的最小编辑距离jedit，根据所述最小编辑距离jedit和所述数据库内的标准文字内容的长度lword进行计算重叠度overlap=jedit/lword，如果所述overlap<0.2，则所述元器件的方向正确；否则反馈方向错误信息；所述编辑距离为两个字符串之间，由一个转成另一个所需要的最少编辑操作次数。
7.根据权利要求6所述的插件视觉检测识别方法，其特征在于，所述S311、对所述元器件区域图像进行归一化处理，计算所述元器件区域图像的方向梯度直方图特征向量f，包括以下步骤：
S3111、计算所述元器件区域图像的每个像素点(x,y)的水平方向梯度幅值Cx (x,y)和竖直方向梯度幅值Cy (x,y)；
Cx (x,y)=H(x+1,y)-H(x-1,y)；
Cy (x,y)=H(x,y+1)-H(x,y-1)；
其中Cx(x,y),Cy(x,y),H(x,y)分别为所述像素点(x,y)的水平方向梯度、竖直方向梯度及其像素值；
S3112、将所述元器件区域图像划分成预设大小的多个单元图像，并分别计算每个所述单元图像的梯度方向；
每个所述像素点(x,y)的梯度幅值C(x,y)和梯度方向β(x,y)分别为：
Figure 764976DEST_PATH_IMAGE005
S3113、统计每个所述梯度方向出现的次数得到所述单元图像的特征向量，计算每个所述单元图像的特征向量，最后首尾拼接在一起形成所述元器件区域图像的方向梯度直方图特征向量f。
8.根据权利要求4所述的插件视觉检测识别方法，其特征在于，所述S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
S321、获取所述元器件区域图像的正面图像p，与数据库内的标准图像ppos使用双线性插值法进行缩放为统一预设固定尺寸；
所述双线性插值法的计算公式Dst(x',y')为：
Dst(x',y')=(1-u)*(1-v)Src(x,y)+(1-u)*v*Src(x,y+1)+u*(1-v)*Src(x+1,y)+u*v*Src(x+1,y+1)；
其中(x',y')为待插值的数据点的坐标；Dst表示目标图像；Src表示源图像；u,v为以浮点数表示的(x,y)的小数部分；
S322、将所述元器件区域图像切割划分为n个部分图像pi，所述数据库内的对应的标准部分图像为
Figure 321859DEST_PATH_IMAGE006
,i=1,2…n，计算每个所述部分图像的图像直方图hi及其对应的标准部分图像直方图
Figure 401942DEST_PATH_IMAGE007
，计算比较得出每个所述部分图像的图像相似度；所述部分图像的图像相似度Si的计算公式为：
Figure 600842DEST_PATH_IMAGE009
；
其中
Figure 332038DEST_PATH_IMAGE011
是待测的部分图像和所述数据库内的标准部分图像的像素直方图，
Figure 325401DEST_PATH_IMAGE012
为所述部分图像直方图的每个取值，其中，RGB图像的直方图有768个取值；
S323、对n个所述部分图像的图像相似度加权平均得到所述元器件区域图像的图像相似度S；如果所述图像相似度S小于阈值S0，则认定为所述插件少件，并反馈插件少件信息；否则进入步骤S324；
S324、使用CTPN文字检测算法提取所述元器件的表面的文字区域，对提取到的所述文字区域计算像素间的欧式距离k，如所述欧式距离k大于阈值k0，则反馈方向错误信息；所述欧式距离k的计算方式为：
Figure 202701DEST_PATH_IMAGE013
；
其中f为所述元器件区域图像的方向梯度直方图特征向量，fpos为数据库内的标准元器件的方向梯度直方图特征向量。
9.根据权利要求4所述的插件视觉检测识别方法，其特征在于，所述S30、根据所述元器件区域图像对所述成品线路板进行插件视觉检测识别，包括以下步骤：
S331、判断所述元器件区域图像的表面是否有丝印，如有，则进入步骤S332，如无，则进入步骤S337；
S332、将所述元器件区域图像转化为灰度图，使用基于Wall算法的自适应阈值算法对所述灰度图进行二值化处理得到二值化图；
S333、使用二维高斯核函数对所述二值化图进行滤波降噪处理去除所述二值化图中的噪点；二维高斯核函数F(x,y)的计算公式为：
Figure 939713DEST_PATH_IMAGE014
；
其中A为归一化系数，u为均值，σ为方差；
S334、对滤波降噪处理后的所述二值化图进行膨胀处理，用局部区域的最大值来填充整个区域，使文本区域连接成一个整体，再检测文本区域轮廓，过滤掉不符合要求的区域，保留所述文本区域；膨胀Pst(x,y)的计算公式为：
Figure 259836DEST_PATH_IMAGE015
；
S335、截取得到的所述文本区域，在所述二值化图的基础上对所述文本区域进行光学字符识别，得到文字内容；
S336、将所述文字内容与数据库内的标准文字内容进行比对，计算二者的最小编辑距离jedit，根据所述最小编辑距离jedit和所述数据库内的标准文字内容的长度lword进行计算重叠度overlap=jedit/lword，如果所述overlap<0.2，则认定为所述元器件方向正确；否则反馈方向错误信息；所述最小编辑距离为两个字符串之间，由一个转成另一个所需要的最少编辑操作次数；
S337、对所述图像进行线性归一化处理，计算所述元器件与所述数据库内的标准元器件的特征距离df，如果所述特征距离df大于阈值df0，则认定为所述元器件出现异常，并反馈错误信息；所述归一化处理的计算公式为：
Figure 689680DEST_PATH_IMAGE016
所述特征距离df的计算公式为：
Figure 744355DEST_PATH_IMAGE017
；
其中h,w为所述图像的高和宽，xi, yi为所述元器件与标准元器件的像素值。
10.一种计算机可读的存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被执行时实现权利要求1-9任一项所述的插件视觉检测识别方法。
11.一种插件视觉检测识别设备，其特征在于，包括处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述处理器执行如权利要求1-9任一项所述的插件视觉检测识别方法。
CN202110907173.1A 2021-08-09 2021-08-09 一种插件视觉检测识别方法、可读存储介质及设备 Active CN113344931B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110907173.1A CN113344931B (zh) 2021-08-09 2021-08-09 一种插件视觉检测识别方法、可读存储介质及设备
CN202210679128.XA CN115082394A (zh) 2021-08-09 2021-08-09 一种插件缺陷视觉检测识别方法、可读存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110907173.1A CN113344931B (zh) 2021-08-09 2021-08-09 一种插件视觉检测识别方法、可读存储介质及设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210679128.XA Division CN115082394A (zh) 2021-08-09 2021-08-09 一种插件缺陷视觉检测识别方法、可读存储介质及设备

Publications (2)

Publication Number Publication Date
CN113344931A true CN113344931A (zh) 2021-09-03
CN113344931B CN113344931B (zh) 2022-07-19

Family

ID=77481116

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110907173.1A Active CN113344931B (zh) 2021-08-09 2021-08-09 一种插件视觉检测识别方法、可读存储介质及设备
CN202210679128.XA Pending CN115082394A (zh) 2021-08-09 2021-08-09 一种插件缺陷视觉检测识别方法、可读存储介质及设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210679128.XA Pending CN115082394A (zh) 2021-08-09 2021-08-09 一种插件缺陷视觉检测识别方法、可读存储介质及设备

Country Status (1)

Country Link
CN (2) CN113344931B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538427A (zh) * 2021-09-16 2021-10-22 深圳市信润富联数字科技有限公司 产品缺陷识别方法、装置、设备及可读存储介质
CN113838080A (zh) * 2021-09-28 2021-12-24 上海赢朔电子科技股份有限公司 一种模块化半导体表面快速寻边方法
CN114092448A (zh) * 2021-11-22 2022-02-25 浙大城市学院 一种基于深度学习的插件电解电容混合检测方法
CN114882028A (zh) * 2022-07-08 2022-08-09 深圳市瑞祥鑫五金制品有限公司 一种基于多摄像头的焊接端子检测方法、装置及系统
CN115479891A (zh) * 2022-08-12 2022-12-16 深圳市共进电子股份有限公司 基于图像识别的电路板载元器件自动检测系统和方法
CN116664529A (zh) * 2023-06-05 2023-08-29 青岛信驰电子科技有限公司 一种基于特征识别的电子元件排线校对方法
CN118151163A (zh) * 2024-05-10 2024-06-07 莱州亚通重型装备有限公司 基于雷达技术的井下煤矿钻机夹持器自动定位方法及系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115855950A (zh) * 2022-11-23 2023-03-28 环维电子(上海)有限公司 针对微小瑕疵与错件的影像检测方法及其系统
CN116096066B (zh) * 2023-04-12 2023-06-16 四川易景智能终端有限公司 一种基于物联网的smt贴片质量检测系统
CN116757973B (zh) * 2023-08-23 2023-12-01 成都数之联科技股份有限公司 一种面板产品自动修补方法、系统、设备及存储介质
CN118102699B (zh) * 2024-04-07 2024-09-27 深圳市世纪互通科技有限公司 一种元器件贴片的视觉检测方法及贴片机

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020071101A (ko) * 2001-03-03 2002-09-12 (주)에스엠티코리아 피씨비 설계사양 검증시스템 및 이를 이용한 검증방법
US20100325599A1 (en) * 2008-01-26 2010-12-23 Perry Jeffrey R Visualization of tradeoffs between circuit designs
WO2017001890A1 (en) * 2015-06-29 2017-01-05 Bosch Car Multimedia Portugal, S.A. Method for converting gerber data to finite element model for predicting printed circuit board warpage
US20170048985A1 (en) * 2013-11-29 2017-02-16 Michael Knox Apparatus and method for the manufacturing of printed wiring boards and component attachment
CN108717692A (zh) * 2018-04-02 2018-10-30 浙江工业大学 一种基于ccd图像处理的裁剪物料纠偏方法
CN109785324A (zh) * 2019-02-01 2019-05-21 佛山市南海区广工大数控装备协同创新研究院 一种大幅面pcb板定位方法
CN109963455A (zh) * 2017-12-14 2019-07-02 中国科学院长春光学精密机械与物理研究所 一种印制电路板元器件的定位系统
CN209117605U (zh) * 2018-10-05 2019-07-16 深圳智检慧通科技有限公司 一种双面视觉检测识别设备
CN110675376A (zh) * 2019-09-20 2020-01-10 福建工程学院 一种基于模板匹配的pcb缺陷检测方法
WO2020019648A1 (zh) * 2018-07-24 2020-01-30 中山新诺科技股份有限公司 一种机器视觉定位方法
CN111462094A (zh) * 2020-04-03 2020-07-28 联觉(深圳)科技有限公司 Pcba元器件检测方法、装置及计算机可读存储介质
WO2020186851A1 (zh) * 2019-03-19 2020-09-24 上海望友信息科技有限公司 光学基准点的选取方法、系统、计算机存储介质及设备
CN113077453A (zh) * 2021-04-15 2021-07-06 华南理工大学 一种基于深度学习的电路板元器件缺陷检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077513A (zh) * 2012-11-16 2013-05-01 北京理工大学 基于二次曲面的微纳物体图像倾斜校正方法
CN105893485B (zh) * 2016-03-29 2019-02-12 浙江大学 一种基于图书目录的专题自动生成方法
CN106290388B (zh) * 2016-08-03 2018-09-28 国网山东省电力公司电力科学研究院 一种绝缘子故障自动检测方法
CN109299295B (zh) * 2018-09-04 2021-09-28 南通科技职业学院 蓝印花布图像数据库搜索方法
CN110349207B (zh) * 2019-07-10 2022-08-05 国网四川省电力公司电力科学研究院 一种复杂环境下的视觉定位方法
CN110136699A (zh) * 2019-07-10 2019-08-16 南京硅基智能科技有限公司 一种基于文本相似度的意图识别方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020071101A (ko) * 2001-03-03 2002-09-12 (주)에스엠티코리아 피씨비 설계사양 검증시스템 및 이를 이용한 검증방법
US20100325599A1 (en) * 2008-01-26 2010-12-23 Perry Jeffrey R Visualization of tradeoffs between circuit designs
US20170048985A1 (en) * 2013-11-29 2017-02-16 Michael Knox Apparatus and method for the manufacturing of printed wiring boards and component attachment
WO2017001890A1 (en) * 2015-06-29 2017-01-05 Bosch Car Multimedia Portugal, S.A. Method for converting gerber data to finite element model for predicting printed circuit board warpage
CN109963455A (zh) * 2017-12-14 2019-07-02 中国科学院长春光学精密机械与物理研究所 一种印制电路板元器件的定位系统
CN108717692A (zh) * 2018-04-02 2018-10-30 浙江工业大学 一种基于ccd图像处理的裁剪物料纠偏方法
WO2020019648A1 (zh) * 2018-07-24 2020-01-30 中山新诺科技股份有限公司 一种机器视觉定位方法
CN209117605U (zh) * 2018-10-05 2019-07-16 深圳智检慧通科技有限公司 一种双面视觉检测识别设备
CN109785324A (zh) * 2019-02-01 2019-05-21 佛山市南海区广工大数控装备协同创新研究院 一种大幅面pcb板定位方法
WO2020186851A1 (zh) * 2019-03-19 2020-09-24 上海望友信息科技有限公司 光学基准点的选取方法、系统、计算机存储介质及设备
CN110675376A (zh) * 2019-09-20 2020-01-10 福建工程学院 一种基于模板匹配的pcb缺陷检测方法
CN111462094A (zh) * 2020-04-03 2020-07-28 联觉(深圳)科技有限公司 Pcba元器件检测方法、装置及计算机可读存储介质
CN113077453A (zh) * 2021-04-15 2021-07-06 华南理工大学 一种基于深度学习的电路板元器件缺陷检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ZHENGYAN GU ETAL: "A Detection and Identification Method Based on Machine Vision for Bearing Surface Defects", 《2021 INTERNATIONAL CONFERENCE ON COMPUTER, CONTROL AND ROBOTICS (ICCCR),DOI: 10.1109/ICCCR49711.2021.9349370》 *
左宁等: "自动检测系统中图像对准方法研究", 《电子工业专用设备》 *
赵大兴 等: "基于机器视觉FPC缺陷检测对位系统研究", 《制造业自动化》 *
黄震 等: "高精度机器视觉插件系统的研究与应用", 《组合机床与自动化加工技术》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538427A (zh) * 2021-09-16 2021-10-22 深圳市信润富联数字科技有限公司 产品缺陷识别方法、装置、设备及可读存储介质
CN113538427B (zh) * 2021-09-16 2022-01-07 深圳市信润富联数字科技有限公司 产品缺陷识别方法、装置、设备及可读存储介质
CN113838080A (zh) * 2021-09-28 2021-12-24 上海赢朔电子科技股份有限公司 一种模块化半导体表面快速寻边方法
CN113838080B (zh) * 2021-09-28 2022-12-27 上海赢朔电子科技股份有限公司 一种模块化半导体表面快速寻边方法
CN114092448A (zh) * 2021-11-22 2022-02-25 浙大城市学院 一种基于深度学习的插件电解电容混合检测方法
CN114092448B (zh) * 2021-11-22 2023-12-01 浙大城市学院 一种基于深度学习的插件电解电容混合检测方法
CN114882028A (zh) * 2022-07-08 2022-08-09 深圳市瑞祥鑫五金制品有限公司 一种基于多摄像头的焊接端子检测方法、装置及系统
CN115479891A (zh) * 2022-08-12 2022-12-16 深圳市共进电子股份有限公司 基于图像识别的电路板载元器件自动检测系统和方法
CN116664529A (zh) * 2023-06-05 2023-08-29 青岛信驰电子科技有限公司 一种基于特征识别的电子元件排线校对方法
CN118151163A (zh) * 2024-05-10 2024-06-07 莱州亚通重型装备有限公司 基于雷达技术的井下煤矿钻机夹持器自动定位方法及系统

Also Published As

Publication number Publication date
CN115082394A (zh) 2022-09-20
CN113344931B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
CN113344931B (zh) 一种插件视觉检测识别方法、可读存储介质及设备
CN113344929B (zh) 一种焊点视觉检测识别方法、可读存储介质及设备
CN115131444B (zh) 一种基于单目视觉点胶平台的标定方法
CN111507976A (zh) 基于多角度成像的缺陷检测方法及系统
US20210383526A1 (en) Method for training defect detector
JP6317725B2 (ja) 取得された画像内のクラッタを決定するためのシステム及び方法
CN112200776A (zh) 芯片封装缺陷检测方法和检测装置
CN113379668B (zh) 光伏板拼接方法及装置、电子设备及存储介质
CN113780484B (zh) 工业产品缺陷检测方法和装置
WO2023109557A1 (zh) 连接器件检测方法、电子设备及存储介质
CN111861979A (zh) 一种定位方法、设备及计算机可读存储介质
CN111738247B (zh) 极性标识的识别方法、识别装置、电子设备及存储介质
CN114092448B (zh) 一种基于深度学习的插件电解电容混合检测方法
CN116309882A (zh) 一种面向无人叉车应用的托盘检测和定位方法及系统
CN112419207A (zh) 一种图像矫正方法及装置、系统
CN112378333A (zh) 仓储货物测量方法和装置
CN116051485A (zh) 贴片焊接质量检查方法、装置、设备及存储介质
CN113192061B (zh) Led封装外观检测图像的提取方法、装置、电子设备和存储介质
CN114757878A (zh) 焊接示教方法、装置、终端设备及计算机可读存储介质
CN117058411B (zh) 电池棱边外形瑕疵识别方法、装置、介质和设备
CN114267032A (zh) 一种集装箱定位识别方法、装置、设备及存储介质
US11176419B1 (en) Method for labeling image
JP2002140713A (ja) 画像処理方法およびその装置
JP4814116B2 (ja) 実装基板外観検査方法
CN117007600A (zh) 缺陷检测方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A plugin visual detection and recognition method, readable storage medium, and device

Effective date of registration: 20231206

Granted publication date: 20220719

Pledgee: Shenzhen Rural Commercial Bank Co.,Ltd. Bao'an Sub branch

Pledgor: SHENZHEN ZHIJIAN HUITONG TECHNOLOGY Co.,Ltd.

Registration number: Y2023980069582