CN113344929B - 一种焊点视觉检测识别方法、可读存储介质及设备 - Google Patents

Abstract

本发明公开了一种焊点视觉检测识别方法，包括步骤：S10、获取待检测识别的成品线路板的多角度多方位的图片；S20、对所述图片进行畸变并抽取各个元器件的元器件区域图像；S30、根据所述元器件区域图像对所述成品线路板进行焊点视觉检测识别；S40、得到焊点视觉检测识别结果并进行输出。本发明通过采用卷积神经网络快速学习识别成品线路板的焊点的各种缺陷，并通过大数据学习训练，可以快速识别出焊点的连锡、少锡、空洞、不出脚、包焊等缺陷，识别效率高，准确率高。

Description

一种焊点视觉检测识别方法、可读存储介质及设备

技术领域

本发明涉及焊点视觉检测识别技术领域，尤其涉及一种焊点视觉检测识别方法、可读存储介质及设备。

背景技术

成品线路板（Printed Circuit Board + Assembly，简称PCBA），即成品线路板为PCBA，PCBA是电子设备的关键部件之一，PCBA是指PCB空板经过SMT上件，再经过DIP插件（某些产品不需要该步骤）得到的电路板，也就是将各种电子元器件通过表面封装工艺组装在PCB板上。PCBA板上的元器件的位置正反和焊点的短路以及排针的数量情况直接影响电路板的性能和成品率。因此，PCBA在交付使用前检测产品是否合格成为一个必不可少且非常重要的环节。

当前，现有的PCBA缺陷检测识别（主要有锡膏厚度检测、SMT贴装效果检测、插件效果检测），大都采用光学原理和逻辑型的锡膏厚度检测（Solder Paste Inspection，SPI）和逻辑型的自动光学检测（Automatic Optic Inspection，AOI），其中，SPI原理是通过三角测量的方法把印刷在PCB板上的锡膏高度计算出来的一种SMT检测技术；AOI原理是通过RGB三色光从三种不同的角度照射到元件上再反射回来，不同的焊点形态反射不同的色光，参考位置和设定参数对反射光的颜色和亮度等数据进行矢量分析。SPI和AOI要求高精度的镜头和特殊设计的光源配合，硬件成本高昂，生产前准备时间长，存在PCBA图像比对误差，误报率高、不能有效杜绝不良品；插件工序目前外观基本依赖人工目视检查，效率低、易漏件，人工成本高，对员工熟练度有较高要求。

随着大数据时代的到来，含更多隐含层的深度卷积神经网络（Convolutionalneural networks，CNNs）具有更复杂的网络结构，与传统方法相比具有更强大的特征学习和特征表达能力。通过对不良品的学习，能够在普通光照的情况下，十分准确地识别缺陷样本，利用再学习机制，误判样本能够及时反馈给模型，不断优化识别能力。强大的计算能力，满足工业生产环境实时检测的需求，基于深度学习的检测技术检测高效、优质，可以有效保障产成品质量、节省人工成本、助力企业管理信息化建设。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种焊点视觉检测识别方法、可读存储介质及设备。

本发明解决其技术问题所采用的技术方案是：根据本发明的一方面，提供一种焊点视觉检测识别方法，包括步骤：

S10、获取待检测识别的成品线路板的多角度多方位的图片；

S20、对每个所述图片进行畸变并抽取各个元器件的元器件区域图像；

S30、根据所述元器件区域图像对所述成品线路板进行焊点缺陷检测识别；

S40、得到所述元器件的焊点检测识别结果并进行输出；

所述S10、获取待检测识别的成品线路板的多角度多方位的图片，之后还包括步骤：

S11、获取待检测识别的所述成品线路板的GERBER文件和/或BOM文件，所述GERBER文件包括元器件名称及其对应的位置信息、角度信息以及尺寸信息，所述BOM文件包括元器件名称及其对应的位置信息、以及贴装工艺，所述贴装工艺包括SMT贴片工艺和/或DIP插件工艺；

所述S20、对每个所述图片进行畸变并抽取各个元器件的元器件区域图像，包括步骤：

S201、分别初始化标定每个所述图片的Mark点坐标(x1, y1)、(x2, y2)、(x3,y3)，设置超参数L，所述超参数L为搜索边长，以所述超参数L为三个边长，以所述Mark点为中心点的方形区域内应用霍夫变换，检测所述方形区域内与半径阈值R差值最小的圆形，将检测到的三个圆形的圆点(x1', y1')、(x2', y2')、(x3', y3')作为所述图片的Mark点坐标；

S202、所述图片经仿射变换处理后得到变换图像，消除所述图片因所述成品线路板相对于拍摄镜头的偏移旋转而造成的偏差，修正不同元器件的相对位置；所述仿射变换的计算公式为：

求解出θ,tx,ty；其中θ为所述图片的图像旋转缩放变化量，(tx,ty)表示平移量；

S203、判断所述变换图像是正面图像、斜面图像或正侧面图像，如是正面图像或正侧面图像，则执行步骤S204；如是斜面图像，则执行步骤S205；

S204、直接从所述GERBER文件获取所述元器件的中心点及其尺寸信息，并截取所述元器件对应的元器件区域图像；

S205、根据所述GERBER文件及所述斜面图像的侧视角度进行斜面变换，并截取所述元器件对应的元器件区域图像；

所述斜面变换具体包括：若所述拍摄镜头相对于垂直线Y轴的倾斜角度为δ，所述元器件的中心点及其尺寸信息的变换公式为x=x,y=y*cosδ,w=w*cosδ,h=h*cosδ，若所述拍摄镜头相对于水平线X轴的倾斜角度为α，所述元器件中心点及其尺寸信息的变换公式为x=x*cosα,y=y,w=w*cosα,h=h*cosα；

S206、对于无法从所述GERBER文件中获取所述元器件的中心点及其尺寸信息的，获取初始化中人工标注的元器件区域图像。

优选地，所述多角度多方位的图片包括所述成品线路板的正面图像、斜面图像和正侧面图像；

所述正面图像包括所述成品线路板的俯视图像和/或仰视图像；所述正侧面图像包括所述成品线路板的正前视图像、正后视图像、正左视图像和/或正右视图像；所述斜面图像包括所述成品线路板的任意角度任意方位的图像；

所述成品线路板的焊点缺陷包括所述成品线路板的连锡、少锡、空洞、不出脚、包锡、锡珠和/或锡渣。

优选地，所述S20步骤之后，还包括步骤：S21、搭建VGG-16模型，包括以下步骤：

S211、将所述元器件区域图像作为原始数据集，通过resize为统一固定尺寸；所述元器件区域图像包括焊点良品的元器件区域图像和焊点不良品的元器件区域图像；

S212、搭建DCGAN模型，所述DCGAN模型包括判别器和生成器，所有的pooling层使用所述判别器和生成器进行替换，在所述生成器和判别器上使用批处理规范化，在所述生成器的所有层上使用ReLU激活函数，在所述生成器的输出层使用Tanh激活函数；在所述判别器的所有层上使用LeakyReLU激活函数，初始化参数，以所述焊点不良品的元器件区域图像为训练集训练所述判别器和生成器，两阶段训练，生成焊点不良品的合成数据；

S213、搭建VGG-16模型，在所述VGG-16模型的MaxPooling层后，叠加GlobalAverage Pooling层以及Dense层构成二分类卷积神经网络，所述原始数据集加上所述合成数据通过所述VGG-16模型进行训练。

优选地，所述resize的计算公式Dst(x',y')为：

Dst(x',y')=(1-u)*(1-v)Src(x,y)+(1-u)*v*Src(x,y+1)+u*(1-v)*Src(x+1,y)+u*v*Src(x+1,y+1)；

其中(x',y')为待插值的数据点的坐标；Dst表示目标图像；Src表示源图像；u,v表示以浮点数表示的(x,y)的小数部分。

优选地，所述S30、根据所述元器件区域图像对所述成品线路板进行焊点缺陷检测识别，包括以下步骤：

S31、将每个所述元器件区域图像作为一个batch传入所述VGG-16模型；

S32、判断所述元器件区域图像是否合格，如合格，则转到步骤S34；否则转到步骤S33；

S33、反馈焊点不良品信息及其对应的所述GERBER文件中的位置信息；

S34、所有的样本均判定为良品，则反馈良品信息。

优选地，所述焊点视觉检测识别方法还用于对成品线路板的锡膏厚度进行视觉检测识别。

根据本发明的另一方面，还提供一种计算机可读的存储介质，所述存储介质上存储有计算机程序，所述计算机程序被执行时实现上述的焊点视觉检测识别方法。

根据本发明的再一方面，还提供一种焊点视觉检测识别设备，包括处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述处理器执行上述的焊点视觉检测识别方法。

实施本发明焊点视觉检测识别方法及设备的技术方案，具有如下优点或有益效果：本发明通过采用卷积神经网络快速学习识别成品线路板的焊点的各种缺陷，通过大数据学习训练，可以快速识别出焊点的连锡、少锡、空洞、不出脚、包焊等缺陷，识别效率高，准确率高。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，附图中：

图1是本发明实施例焊点视觉检测识别方法的完整流程示意图；

图2是本发明实施例焊点视觉检测识别方法的步骤S20流程示意图；

图3是本发明实施例焊点视觉检测识别方法的步骤S21流程示意图；

图4是本发明实施例焊点视觉检测识别方法的S步骤30流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下文将要描述的各种示例性实施例将要参考相应的附图，这些附图构成了示例性实施例的一部分，其中描述了实现本发明可能采用的各种示例性实施例，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。应明白，它们仅是与如所附权利要求书中所详述的、本发明公开的一些方面相一致的装置和方法的例子，还可使用其他的实施例，或者对本文列举的实施例进行结构和功能上的修改，而不会脱离本发明的范围和实质。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“厚度”、“上下前后左右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的元器件或插件必须具有的特定的方位、以特定的方位构造和操作，因此，不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定的“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体连接；可以是机械连接，也可以是电连接或可以相互通讯连接；可以是直接相连，也可以是通过中间媒介简介相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

需要说明的是：本发明实施例中的前后、左右、上下及顶部、中部及底部仅是为了便于对实施例的描述而进行的限定，并非通常意义上前后、左右、上下及顶部、中部及底部的方位限定。具体的，前方为平行于生产检测流水线方向的成品线路板的前面，后方为平行于生产检测流水线方向的成品线路板的后面，左右方为垂直于生产检测流水线的方向，X轴方向为与生产检测流水线平行的方向，Y轴方向为与生产检测流水线垂直的方向，Z轴方向为与成品线路板垂直的方向，X轴方向、Y轴方向、Z轴方向均相互垂直，XY平面为与成品线路板平行的平面，YZ平面为与成品线路板垂直的平面。

在本发明实施例中，成品线路板分为单面板和双面板，单面板是指在PCB空板的单面经过SMT上件，再经过DIP插件形成的单面PCBA，而双面板是指在PCB空板的双面经过SMT上件，再经过DIP插件形成的双面PCBA。针对单面板的成品线路板的检测识别，只需正上方、前后左右、斜上方进行拍摄获取线路板图像即可。而对于双面板则还需要获取反面图像，可以在成品线路板下面设置拍摄装置来拍摄，也可以将成品线路板翻转通过设置在顶部的拍摄装置来拍摄。

在本发明实施例中，在PCBA加工过程中，要用到贴片元器件和插件元器件，本发明插件和元器件均为插件元器件，成品线路板要检测识别的缺陷具体包括：插件错件、插件少件或多件、插件反向、插件破损、插件浮高歪斜（即插件浮高或歪斜）、焊点不良等缺陷，主要包括：插件错件（即为安装了错误元器件）、插件少件或多件（即为PCBA上应该有元器件的位置而没有安装该元器件或者不应该安装的地方安装了元器件）、插件反向（即为元器件安装方向错误）、插件破损（即为元器件表面或侧面有裂痕或者破损）、插件污损（即为元器件表面有脏污遮盖字符或空白区域）、插件浮高歪斜（即为元器件底部未紧贴PCBA表面或元器件底部平面与PCBA平面明显不平行）。焊点不良包括：焊点连锡（即为两个或多个独立的焊脚之间连在一起）、空焊（即为焊点看似焊接了实际焊锡与器件插脚未紧密连接）、多锡（即为焊锡量过多，出现焊点顶部大或者包焊的现象）、少锡（即为焊点出现孔洞、焊点凹陷或焊锡与焊盘平齐没有明显的爬锡现象）、锡珠锡渣（即为PCBA空白区域出现锡渣或者锡珠）、拉尖（即为插件脚顶部或侧面出现拉丝现象）、字符或图形错误（即为元器件正面或者侧面字符或图形与标准不符）等可能存在的诸多缺陷。

具体的，不同的缺陷需要从不同角度来获取成品线路板的图像，具体包括：（1）从顶部正面拍摄成品线路板，用于采集获取成品线路板的内容包括：插件错件、插件少件或多件、插件反向、插件污损、焊点连锡、空焊、多锡、少锡、锡珠锡渣、拉尖、字符或图形错误等；（2）从正前后左右拍摄成品线路板，用于采集获取成品线路板的内容包括：插件破损、插件浮高歪斜、字符或图形错误等；（3）从斜上方拍摄成品线路板，用于采集获取成品线路板的内容包括：插件错件、插件浮高歪斜、字符或图形错误等。为此，需要设置不同的拍摄装置来获取成品线路板的上下、左右、前后全方位图像，进而可以更加全面准确的对成品线路板进行检测识别分类。

本发明焊点视觉检测识别方法实施例，既可用于最终成品线路板的检测，也可用于生产过程中的质量监控；即可用于单面成品线路板，也可用于双面成品线路板等等。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

如图1所示，本发明提供一种焊点视觉检测识别方法实施例，包括以下步骤：

S10、获取待检测识别的成品线路板的多角度多方位的图片；

S20、对每个所述图片进行畸变并抽取各个元器件的元器件区域图像；

S30、根据所述元器件区域图像对所述成品线路板进行焊点缺陷检测识别；

S40、得到所述元器件的焊点检测识别结果并进行输出。

在本实施例中，所述多角度多方位的图片包括所述成品线路板的正面图像、斜面图像和/或正侧面图像；所述正面图像包括所述成品线路板的俯视图像和/或仰视图像；所述正侧面图像包括所述成品线路板的正前视图像、正后视图像、正左视图像和/或正右视图像；所述斜面图像包括所述成品线路板的任意角度任意方位的图像。

在本实施例中，所述S10、获取待检测识别的成品线路板的多角度多方位的图片，之后还包括步骤：

S11、获取待检测识别的所述成品线路板的GERBER文件和/或BOM文件，所述GERBER文件包括元器件名称及其对应的位置信息、角度信息以及尺寸信息，所述BOM文件包括元器件名称及其对应的位置信息、以及贴装工艺，所述贴装工艺包括SMT贴片工艺和/或DIP插件工艺。

如图2所示，所述S20、对每个所述图片进行畸变并抽取各个元器件的元器件区域图像，包括以下步骤：

S201、分别初始化标定每个所述图片的Mark点坐标(x1, y1)、(x2, y2)、(x3,y3)，设置超参数L，所述超参数L为搜索边长，以所述超参数L为三个边长，以所述Mark点为中心点的方形区域内应用霍夫变换，检测所述方形区域内与半径阈值R差值最小的圆形，将检测到的三个所述圆形的圆点(x1', y1')、(x2', y2')、(x3', y3')作为所述图片的Mark点坐标；

S202、所述图片经仿射变换处理后得到变换图像，消除所述图片因所述成品线路板相对于拍摄镜头的偏移旋转而造成的偏差，修正不同的元器件的相对位置；所述仿射变换的计算公式为：

求解出θ,tx,ty；其中θ为所述图片的图像旋转缩放变化量，(tx,ty)表示平移量；

S203、判断所述变换图像是正面图像、斜面图像或正侧面图像，如是正面图像或正侧面图像，则执行步骤S204；如是斜面图像，则执行步骤S205；

S204、直接从所述GERBER文件获取所述元器件的中心点及其尺寸信息，并截取所述元器件对应的元器件区域图像；

S205、根据所述GERBER文件及所述斜面图像的侧视角度进行斜面变换，并截取所述元器件对应的元器件区域图像；

所述斜面变换具体包括：若所述拍摄镜头相对于垂直线Y轴的倾斜角度为δ，所述元器件的中心点及其尺寸信息的变换公式为x=x,y=y*cosδ,w=w*cosδ,h=h*cosδ，若所述拍摄镜头相对于水平线X轴的倾斜角度为α，所述元器件中心点及其尺寸信息的变换公式为x=x*cosα,y=y,w=w*cosα,h=h*cosα；

S206、对于无法从所述GERBER文件中获取所述元器件的中心点及其尺寸信息的，获取初始化中人工标注的元器件区域图像。

在本实施例中，所述S20步骤之后，还包括步骤：S21、搭建VGG-16模型；

如图3所示，所述S21步骤，包括以下步骤：

S211、将所述元器件区域图像作为原始数据集，通过resize为统一固定尺寸；所述元器件区域图像包括焊点良品的元器件区域图像和焊点不良品的元器件区域图像；具体的，所述resize为80-120的统一尺寸，以SGD优化算法，初始学习率为0.0005-0.002。

具体的，所述resize的计算公式Dst(x',y')为：

Dst(x',y')=(1-u)*(1-v)Src(x,y)+(1-u)*v*Src(x,y+1)+u*(1-v)*Src(x+1,y)+u*v*Src(x+1,y+1)；

其中(x',y')为待插值的数据点的坐标；Dst表示目标图像；Src表示源图像；u,v表示以浮点数表示的(x,y)的小数部分。

S212、搭建DCGAN模型，所述DCGAN模型包括判别器和生成器，所有的pooling层使用所述判别器和生成器进行替换，在所述生成器和判别器上使用批处理规范化，在所述生成器的所有层上使用ReLU激活函数，在所述生成器的输出层使用Tanh激活函数；在所述判别器的所有层上使用LeakyReLU激活函数，初始化参数，以所述焊点不良品的元器件区域图像为训练集训练所述判别器和生成器，两阶段训练，生成焊点不良品的合成数据；

S213、搭建VGG-16模型，在所述VGG-16模型的MaxPooling层后，叠加GlobalAverage Pooling层以及Dense层构成二分类卷积神经网络，所述原始数据集加上所述合成数据通过所述VGG-16模型进行训练。

在本实施例中，所述成品线路板的焊点缺陷包括所述成品线路板的连锡、少锡、空洞、不出脚、包锡、锡珠和/或锡渣。如图4所示，所述S30、根据所述元器件区域图像对所述成品线路板进行焊点缺陷检测识别，包括以下步骤：

S31、将每个所述元器件区域图像作为一个batch传入所述VGG-16模型；

S32、判断所述元器件区域图像是否合格，如合格，则转到步骤S34；否则转到步骤S33；

S33、反馈焊点不良品信息及其对应的所述GERBER文件中的位置信息；

S34、所有的样本均判定为良品，则反馈良品信息。

在本实施例中，所述焊点视觉检测识别方法还用于对成品线路板的锡膏厚度进行视觉检测识别。

本发明通过采用卷积神经网络快速学习识别成品线路板的焊点的缺陷，通过大数据学习训练，可以快速识别出的连锡、少锡、空洞、不出脚、包焊等缺陷，识别效率高，准确率高。

实施例二：

本发明还提供一种计算机可读的存储介质，该存储介质上存储有计算机程序，所述计算机程序被执行时实现上述实施例一的焊点视觉检测识别方法。

实施例三：

本发明还提供一种漏件视觉检测识别设备，包括处理器及存储器；其中，所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述处理器执行上述实施例一的焊点视觉检测识别方法。

在阅读完上文描述的内容之后，本领域的普通技术人员应当明白，本文描述的各种特征可通过方法、数据处理设备或计算机程序产品来实现。因此，这些特征可部采用硬件的方式、全部采用软件的方式或者采用硬件和软件结合的方式来表现。此外，上述特征也可采用存储在一种或多种计算机可读存储介质上的计算机程序产品的形式来表现，该计算机可读存储介质中包含计算机可读程序代码段或者指令，其存储在存储介质中。可读存储介质被配置为存储各种类型的数据以支持在装置的操作。可读存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现。如静态硬盘、随机存取存储器（SRAM）、电可擦除可编程只读存储器（EEPROM）、可擦除可编程只读存储器（EPROM）、可编程只读存储器（PROM）、只读存储器（ROM）、光存储设备、磁存储设备、快闪存储器、磁盘或光盘和/或上述设备的组合。

以上仅为本发明的较佳实施例而已，本领域技术人员知悉，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等同替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明的保护范围。

Claims (8)

1.一种焊点视觉检测识别方法，其特征在于，包括以下步骤：

S10、获取待检测识别的成品线路板的多角度多方位的图片；

S20、对每个所述图片进行畸变并抽取各个元器件的元器件区域图像；

S30、根据所述元器件区域图像对所述成品线路板进行焊点缺陷检测识别；

S40、得到所述元器件的焊点检测识别结果并进行输出；

所述S10、获取待检测识别的成品线路板的多角度多方位的图片，之后还包括步骤：

S11、获取待检测识别的所述成品线路板的GERBER文件和/或BOM文件，所述GERBER文件包括元器件名称及其对应的位置信息、角度信息以及尺寸信息，所述BOM文件包括元器件名称及其对应的位置信息、以及贴装工艺，所述贴装工艺包括SMT贴片工艺和/或DIP插件工艺；

所述S20、对每个所述图片进行畸变并抽取各个元器件的元器件区域图像，包括以下步骤：

S201、分别初始化标定每个所述图片的Mark点坐标(x1, y1)、(x2, y2)、(x3, y3)，设置超参数L，所述超参数L为搜索边长，以所述超参数L为三个边长，以所述Mark点为中心点的方形区域内应用霍夫变换，检测所述方形区域内与半径阈值R差值最小的圆形，将检测到的三个所述圆形的圆点(x1', y1')、(x2', y2')、(x3', y3')作为所述图片的Mark点坐标；

S202、所述图片经仿射变换处理后得到变换图像，消除所述图片因所述成品线路板相对于拍摄镜头的偏移旋转而造成的偏差，修正不同的元器件的相对位置；

所述仿射变换的计算公式为：

求解出θ,tx,ty；其中θ为所述图片的图像旋转缩放变化量，(tx,ty)表示平移量；

S203、判断所述变换图像是正面图像、斜面图像或正侧面图像，如是正面图像或正侧面图像，则执行步骤S204；如是斜面图像，则执行步骤S205；

S204、直接从所述GERBER文件获取所述元器件的中心点及其尺寸信息，并截取所述元器件对应的元器件区域图像；

S205、根据所述GERBER文件及所述斜面图像的侧视角度进行斜面变换，并截取所述元器件对应的元器件区域图像；

所述斜面变换具体包括：若所述拍摄镜头相对于垂直线Y轴的倾斜角度为δ，所述元器件的中心点及其尺寸信息的变换公式为x=x,y=y*cosδ,w=w*cosδ,h=h*cosδ，若所述拍摄镜头相对于水平线X轴的倾斜角度为α，所述元器件中心点及其尺寸信息的变换公式为x=x*cosα,y=y,w=w*cosα,h=h*cosα；

S206、对于无法从所述GERBER文件中获取所述元器件的中心点及其尺寸信息的，获取初始化中人工标注的元器件区域图像。

2.根据权利要求1所述的焊点视觉检测识别方法，其特征在于，所述多角度多方位的图片包括所述成品线路板的正面图像、斜面图像和/或正侧面图像；

所述正面图像包括所述成品线路板的俯视图像和/或仰视图像；所述正侧面图像包括所述成品线路板的正前视图像、正后视图像、正左视图像和/或正右视图像；所述斜面图像包括所述成品线路板的任意角度任意方位的图像。

3.根据权利要求1所述的焊点视觉检测识别方法，其特征在于，所述S20步骤之后，还包括步骤：

S21、搭建VGG-16模型，包括以下步骤：

S211、将所述元器件区域图像作为原始数据集，通过resize为统一固定尺寸；所述元器件区域图像包括焊点良品的元器件区域图像和焊点不良品的元器件区域图像；

S212、搭建DCGAN模型，所述DCGAN模型包括判别器和生成器，所有的pooling层使用所述判别器和生成器进行替换，在所述生成器和判别器上使用批处理规范化，在所述生成器的所有层上使用ReLU激活函数，在所述生成器的输出层使用Tanh激活函数；在所述判别器的所有层上使用LeakyReLU激活函数，初始化参数，以所述焊点不良品的元器件区域图像为训练集训练所述判别器和生成器，两阶段训练，生成焊点不良品的合成数据；

S213、搭建VGG-16模型，在所述VGG-16模型的MaxPooling层后，叠加Global AveragePooling层以及Dense层构成二分类卷积神经网络，所述原始数据集加上所述合成数据通过所述VGG-16模型进行训练。

4.根据权利要求3所述的焊点视觉检测识别方法，其特征在于，所述resize的计算公式Dst(x',y')为：

Dst(x',y')=(1-u)*(1-v)Src(x,y)+(1-u)*v*Src(x,y+1)+u*(1-v)*Src(x+1,y)+u*v*Src(x+1,y+1)；

其中(x',y')为待插值的数据点的坐标；Dst表示目标图像；Src表示源图像；u,v表示以浮点数表示的(x,y)的小数部分。

5.根据权利要求3所述的焊点视觉检测识别方法，其特征在于，所述成品线路板的焊点缺陷包括所述成品线路板的连锡、少锡、空洞、不出脚、包锡、锡珠和/或锡渣；所述S30、根据所述元器件区域图像对所述成品线路板进行焊点缺陷检测识别，包括以下步骤：

S31、将每个所述元器件区域图像作为一个batch传入所述VGG-16模型；

S32、判断所述元器件区域图像是否合格，如合格，则转到步骤S34；否则转到步骤S33；

S33、反馈焊点不良品信息及其对应的所述GERBER文件中的位置信息；

S34、所有的样本均判定为良品，则反馈良品信息。

6.根据权利要求1-5任一项所述的焊点视觉检测识别方法，其特征在于，所述焊点视觉检测识别方法还用于对成品线路板的锡膏厚度进行视觉检测识别。

7.一种计算机可读的存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被执行时实现权利要求1-6任一项所述的焊点视觉检测识别方法。

8.一种焊点视觉检测识别设备，其特征在于，包括处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述处理器执行如权利要求1-6任一项所述的焊点视觉检测识别方法。

Images