CN114092448A - 一种基于深度学习的插件电解电容混合检测方法 - Google Patents

Abstract

本发明涉及一种基于深度学习的插件电解电容混合检测方法，包括步骤：通过图像采集设备采集PCB电路板上插件电解电容图像；利用标注的正样本和负样本，对基于CNN的深度网络进行深度学习；采集标准PCB电路板俯视图图像，识别PCB电路板目标区域并归一化尺寸大小。本发明的有益效果是：主要检测PCB板上插件电解电容的漏件、错件和极性插反缺陷；克服插件电解电容种类多样，尺寸多样，高度差异大，人工安装位置偏移大等原因造成的检测困难；进行插件电解电容目标识别的同时，完成电容极性的分类。一方面提高了目标识别的准确率和召回率，同时为插件电解电容极性检测提供了方便。本发明的方法检测速度快，通用性强，具有很大的应用价值。

Description

一种基于深度学习的插件电解电容混合检测方法

技术领域

本发明属于机器视觉和自动光学检测领域，尤其涉及一种基于深度学习的插件电解电容元件错误检测方法。

背景技术

自主发展集成电路等高科技产业的重要意义。集成电路产业包括芯片设计。芯片生产和芯片应用。没有大规模的产品应用和生产，集成电路也无法取得真正的发展。处于产业链末端的PCB电路生产制造同样是不容忽视的一环。如何引入智能生产技术，提高PCB生产的质量和效率，是目前该行业发展的重点。

自动光学检测简称AOI(Automatic Optic Inspection)，它是一种通过工业相机自动扫描PCB采集图像，再经过图像处理和分析，检测PCB上的元器件和焊接缺陷，以供整修的检测方法。典型的PCB焊接生产过程主要包括印刷锡膏、贴片元件表明贴装、回流焊接、插件元件安装、波峰焊接这几个工序。为了保证生产质量，降低废品率，需要在各个工序环节增加检测环节。其中插件元件AOI，主要检测插件元器件少件、错件、偏移、浮高和反向等问题。目前，在PCB电路生产过程中，贴片元器件已经普遍采用了自动化安装与检测。但不规则的直插式的元器件的仍然以人工安装和测试为主。传统检测是通过人工目测完成的，费工费时，效率低下。随着电子元器件种类越来越多的，尺寸越来越小，人工检测越来越难以胜任。和传统的人工检测相比，AOI具有检测效率高、精度高、准确度高、性能稳定等优点。

PCB电路板中，电阻和电容是两种主要的元器件。电阻主要采用采用自动贴片机完成，出错概率低；大电容主要为DIP封装，主要通过人工安装，出错概率大。而且电容种类多，不统一，所以插件电解电容的AOI检测是困扰PCB生产的重要问题之一。中小规模代工厂产品种类多，物料种类多而且不统一，产线调整频繁，员工流动大，对成本特别敏感。这类企业生产的PCB板复杂度不高，元件尺寸适中，最关心的是插件元器件的检测问题，其中又以插件电解电容元件为主要检测内容，目前主要依靠人工检测。

发明内容

本发明的目的是克服现有技术中的不足，提供一种基于深度学习的插件电解电容混合检测方法。

这种基于深度学习的插件电解电容混合检测方法，包括以下步骤：

步骤1、通过图像采集设备采集PCB电路板(印刷版电路)上插件电解电容图像；通过多角度分类标注方法对采集的插件电解电容图像进行标注，识别电解电容，将插件电解电容图像分为正样本和负样本，并同时进行电解电容极性分类；将经过上述处理的图像作为基于CNN的深度网络的训练集；

步骤2、利用步骤1标注的正样本和负样本，对基于CNN的深度网络进行深度学习，训练获得多角度电容极性识别网络模型，并优化基于CNN的深度网络的训练参数，这一步通过非实时训练完成，后续不需要重复训练；基于CNN的深度网络的结构参考开源的YOLO(YouOnly Look Once)网络结构；

步骤3、采集标准PCB电路板俯视图图像，识别PCB电路板目标区域并归一化尺寸大小；

步骤3.1、PCB电路板粗略目标区域识别；

步骤3.2、识别并定位PCB电路板的四个顶点；Sobel算子提供较为精确的边缘方向信息，但边缘定位精度不够高；为了获得准确的归一化的PCB电路板图像，需要进行精确的定位和矫正；在步骤3.1获取得到的PCB电路板粗略目标区域基础上，进行PCB四个顶点的识别与定位；如图9所示；

步骤3.3、基于PCB电路板四个顶点，按照长宽比进行矩形透视变换，获得归一化的标准PCB电路板图像；

步骤4、利用步骤2训练得到的多角度电容极性识别网络模型进行插件电解电容识别，获得标准PCB电路板中所有插件电解电容的位置信息；

步骤5、采集待测试PCB电路板俯视图图像，识别PCB电路板目标区域并归一化尺寸大小；

步骤5.1、PCB电路板目标区域识别；

步骤5.2、识别并定位PCB电路板四个顶点；

步骤5.3、基于PCB电路板四个顶点，按照步骤3.3得到的归一化的标准PCB电路板图像的矩形尺寸，进行矩形透视变换，获得归一化的待测PCB电路板图像；步骤5.1至步骤5.3的算法原理和步骤3标准PCB目标区域识别和归一化原理一致，实现流程也和步骤3.1至步骤3.3一致；

步骤6、利用步骤2得到的多角度电容极性识别网络模型进行插件电解电容识别，获得待测PCB电路板中所有插件电解电容的位置信息；

步骤7、利用步骤4和步骤6获得的插件电解电容信息，进行插件电解电容错误判决；基于目标识别、多角度分类和纹理特征结合的混合判决算法，获得待测PCB电路板中所有插件电解电容的安装情况，安装情况包括正确安装、漏安装、极性装反和尺寸错误；

步骤8、记录相关插件电解电容错误信息并定位，返回执行步骤5至步骤8继续进行实时流水检测。

步骤1和步骤2采用非实时采集、标准和训练完成，可以通过标注异常测试结果，增加训练样本，直至网络模型的识别性能稳定并满足要求；

作为优选，步骤1具体包括以下步骤：

步骤1.1、通过图像采集设备拍摄复杂环境下包含多种插件电解电容俯视图样本集合；要求采集各种环境下，各种插件电解电容，各种角度和高度的样本，样本越多样，数量越多，深度学习的目标识别效果越好；

步骤1.2、利用插件电解电容封装特性和俯视图图像的纹理特性的对应关系，本发明提出多角度电容极性分类识别，因此需要对一张插件电解电容俯视图进行多角度分类样本标注：分类识别可以提高电容识别的准确率和召回率，同时有利于电容极性错误检测；将插件电解电容俯视图中亮白色区域中心作为插件电解电容中心圆，灰白色区块作为电容负极的方向，以亮白色区域中心圆的圆心为原点，建立直角坐标系，根据电容负极的区域位置分布，将标注出的插件电解电容分类为CAP_0、CAP_90、CAP_180和CAP_270；CAP_0、CAP_90、CAP_180和CAP_270分别表示标注出的插件电解电容位于直角坐标系的0°、90°、180°、270°处；

步骤1.3、电容目标正负样本的标注：反复执行步骤1.2，由人工对所有采集到的插件电解电容俯视图用矩形圈定出插件电解电容，将存在矩形圈定框的插件电解电容俯视图作为正样本，将不存在矩形圈定框的插件电解电容俯视图作为负样本；标注效果如图5所示。

作为优选，步骤2具体包括以下步骤：

步骤2.1、基于CNN的深度网络抽样时采用不同尺度和长宽比，均匀地在正样本和负样本的不同位置进行抽样；经测试，这样的设置，可以大大增加训练模型的泛化能力，提高检测方法的鲁棒性；

步骤2.2、通过在顺时针0～5°范围内随机旋转正样本，或在逆时针0～5°范围内随机旋转正样本，生成更多训练样本；增加样本空间位置多样性，防止过拟合，提高目标识别召回率；

步骤2.3、为了增加样本的色度多样性，提高目标识别的召回率，在设定范围内随机增大图片饱和度来生成更多的样本；

步骤2.4、为了增加样本的亮度多样性，提高目标识别的召回率，在设定范围内随机增大图片曝光量来生成更多的样本；

步骤2.5、增加不包含电解电容、没有标注目标的电路板训练图片作为纯负样本。

作为优选，步骤2中基于CNN的深度网络包括归一化输入网络、24个级联卷积层CR和2个全连接层FC；其中归一化输入网络样本尺寸为448x448；经过测试，这样的样本尺寸既有利于大尺寸PCB电路板中电解电容这种小目标的检测，同时有利于电容极性细节特征的识别和分类；前20个级联卷积层CR为GoogleNet结构，在GoogleNet结构基础上增加额外的4个级联卷积层CR；每个级联卷积层CR中包含了1×1、3×3两种kernel核，最后一个全连接层FC经过重塑后，得到基于CNN的深度网络的输出，最后经过多角度电容极性识别网络模型进行识别，得到最终的检测结果。

作为优选，步骤2.3中饱和度随机增大的数值范围为1～1.5倍；步骤2.3中图片曝光量随机增大的数值范围为1～1.5倍。

作为优选，步骤3.1至步骤3.3具体包括以下步骤：

步骤3.1.1、首先把PCB电路板图像转换为灰度图；

步骤3.1.2、然后利用边缘检测算法获得PCB电路板目标区域；AOI检测通常采用暗箱检测，环境相对稳定，灰度渐变噪声较小；边缘检测算法采用Soble算子，Sobel算子利用像素邻近区域的梯度值来计算1个像素的梯度，然后根据阈值来对该像素进行取舍；Sobel算子包含一组3x3的横向矩阵和一组3x3的纵向矩阵，将两组矩阵与PCB电路板灰度图作平面卷积，分别得出横向及纵向的亮度差分近似值；

上式中以A代表原始PCB电路板灰度图，Gx及Gy分别代表经横向及纵向边缘检测的图像灰度值；

PCB电路板灰度图的每一个像素的横向及纵向梯度近似值结合下式(3)计算得到像素的梯度G；

边缘检测效果如图6所示；

步骤3.1.3、对边缘检测算法的检测结果进行连通域处理，得到二值连通域图；

步骤3.1.4、从二值连通域图中提取最小外接旋转矩形区域，最小外接旋转矩形区域为PCB电路板粗略目标区域；如图7所示；

步骤3.1.5、由于相机拍摄图像畸变和噪声干扰，最小外接旋转矩形可能是倾斜的，如图7和图8所示；计算最小外接旋转矩形的中心点(x5,y5)和倾斜角度θ，然后把原图以外接旋转矩形的中心为轴心，旋转θ度，把倾斜的最小外接旋转矩形转换成水平，获得并提取PCB电路板粗略目标区域；

步骤3.2.1、分别截取PCB电路板的四个角区域图片；

步骤3.2.2、采用Harris角点检测算法在PCB电路板的各个角区域分别进行角点检测(如图10所示)：检测窗口在各个方向上移动，若检测窗口区域内的灰度没有发生变化，如图10a)所示，则认为检测窗口内不存在角点；若检测窗口仅在某一个方向移动时，若检测窗口区域内的灰度才会发生较大变化，则认为检测窗口内的图像可能是一条直线，如图10b)所示；若检测窗口区域内的灰度均发生较大的变化，则认为在检测窗口内遇到了角点，如图10c)所示；通过检测移动和灰度变化，确定最终角点位置；

在blockSize×blockSize邻域内，计算每个像素(x，y)对应的2×2梯度的协方差矩阵M(x，y)，其中blockSize表示Harris窗口大小，单位为像素；

计算图像I(x,y)在x和y两个方向的梯度I_x和I_y；

计算图像I(x,y)在x和y两个方向梯度的乘积；

I_x ²＝I_x*I_x (6)

I_y ²＝I_y*I_y (7)

I_xI_y＝I_x*I_y (8)

计算中心点为(x,y)的窗口W对应的协方差矩阵M；

其中ω(x,y)是窗口函数；最简单情形就是窗口W内的所有像素所对应的权重系数均为1，但有时候，会将ω(x,y)函数设置为以窗口W中心为原点的二元高斯函数；

当窗口W中心点是角点时，移动前与移动后，该点在灰度变化贡献最大；离窗口w中心(角点)较远的点的灰度变化几近平缓，这些点的权重系数设定为最小值，以示该点对灰度变化贡献较小，那么自然而然想到使用二元高斯函数来表示窗口函数；

计算每个像素点的Harris响应值R：

R＝det(M)-k(trace(M))² (13)

其中k是经验常数，一般取值0.04-0.06；M的对角线元素之和为M的迹，记为trace(M)：

trace(M)＝m₁₁+m₂₂+...+m_nn (14)

m₁₁、m₂₂...m_nn分别表示取自不同行不同列的n个元素；所有取自不同行不同列的n个元素的乘积之和称为M的行列式，记为det(M)；

过滤大于阈值t的R值，获得角点位置：

R＝{R:det(M)-k(trace(M))²＞t} (15)

步骤3.2.3、分别依次计算四个角区域的角点，作为PCB电路板四个顶点的精确位置；

步骤3.3.1、根据畸变PCB电路板的四个顶点P1、P2、P3和P4，计算四边边长w₁、w₂、h₁和h₂；

步骤3.3.2、计算透视矩形目标矩形宽度W'和高度H'，其中Round为取整函数；

W’＝Round((w₁+w₂)/2) (16)

H’＝Round((h₁+h₂)/2) (17)

步骤3.3.3、以顶点P1'(0,0)为原点，根据W'和H'确定透视目标矩形的另外三个顶点：顶点P2'、顶点P3'和顶点P4'；

步骤3.3.4、根据顶点(P1、P2、P3、P4)和(P1'、P2'、P3'、P4')获取透视映射矩阵

步骤3.3.5、根据透视式(18)进行透视变换；这里是二维透视变换，所以根据式(19)和式(20)计算二维变化结果；其中(x,y)为透视变换前二维坐标，z取1，(u,v,w)为中间变量，(x',y')为变化后二维坐标，获得透视校正的PCB电路板精确目标区域；

步骤3.3.6、为了实现插件电解电容的精确定位和检测，对矫正后的PCB电路板进行归一化操作，其中宽度Ws为预设归一化值，Hs根据式(21)进行计算并等比例缩放为归一化的标准PCB电路板图像(归一化PCB电路效果图如图12所示)：

作为优选，步骤4具体包括以下步骤：

步骤4.1、标准插件电解电容利用多角度电容极性识别网络模型进行目标识别，并根据置信度确定有效电容目标，其中SC_i表示识别的标准目标电容，prob表示其识别置信度，T_thresh为阈值；

SC_i＝{SC_i:SC_i.prob＞T_thresh} (22)

步骤4.2、进行标准插件电解电容目标定位，计算目标矩形区域和目标中心点；中心点取电解电容目标矩形的几何中心(SC_i.center)；

步骤4.3、标准插件电解电容极性角度分类SC_i.polarity；

步骤4.4、将识别的插件电解电容重新按照空间位置排序并定位：按照电容目标区域中心点SC_i.center从上到下，从左到右的顺序重新排序，作为待测电路板电容识别和比较的候选区域。

作为优选，步骤3和步骤4对于相同的PCB电路板只执行一次，相当于定标；如果生产产线更换为不同的PCB板，则重新执行步骤3和步骤4，重新进行定标。

作为优选，步骤6具体包括以下步骤：

步骤6.1、进行待测插件电解电容的目标识别，并根据置信度确定有效电容目标，其中DCi表示识别的待测目标电容，prob表示其识别置信度，thresh为阈值；

DC_i＝{DC_i:DC_i.prob＞thresh} (23)

步骤6.2、待测插件电解电容目标定位，计算目标矩形区域和目标中心点；中心点取电解电容目标矩形的几何中心(DC_i.center)；

步骤6.3、得到待测插件电解电容的极性角度分类DC_i.polarity。

作为优选，步骤7具体包括以下步骤：

步骤7.1、，如图13所示，标准插件电解电容目标区域内，若待测电容存在插件电解电容，如图13(a)所示，则进入步骤7.2；如果待测电容不存在插件电解电容，如图13(b)所示，判决为电容缺失，跳转执行步骤7.5；

步骤7.2、比较相同区域标准插件电解电容极性分类和待测插件电解电容极性分类；如式(24)，如果相同区域标准插件电解电容极性分类和待测插件电解电容极性分类相同，则进入步骤7.3；如果不相同，判决为电容极性错误，跳转执行步骤7.5；

SC_i.polarity＝DC_j.polarity (24)

步骤7.3、比较相同区域标准插件电解电容尺寸大小和待测插件电解电容尺寸大小，如果一致进入下一步；如果不一致判决为电容型号错误，跳转执行步骤7.5；电解电容尺寸通过检测电容图片高亮圆形区域的直径来测量：

步骤7.3.1、首先进行对目标区域进行灰度转化；

步骤7.3.2、然后对目标区域进行滤波，减小噪声干扰和高亮圆形边缘畸变；

步骤7.3.3、再采用霍夫圆检测算法进行圆形检测；

步骤7.3.4、获得最大霍夫曼圆的半径，并计算其直径；标准板电容直径为d₀，待测板电容直径为d₁，

步骤7.3.5、按照式(25)计算尺寸差异率DR，其中abs()为取绝对值运算，差异率上限阈值H_u＝1.2，下限阈值H_l＝0.8，如果H_l<DR<H_u，则判定电容安装正确；否则判决为电容安装错误；

DR＝abs(d₀-d₁)/d₀, d₀≠0 (25)

步骤7.4、对应区域电容安装正确，跳转执行步骤7.5；

步骤7.5、记录错误信息，如果所有插件电解电容检测完毕，则结束检测；否则更新标准插件电解电容区域，返回执行步骤7.1。

本发明的有益效果是：

本发明提出一种基于深度学习的插件电解电容识别算法，并进一步提出基于多角度分类和纹理特征结合的电容错误检测算法，主要检测PCB板上插件电解电容的漏件、错件和极性插反缺陷；克服插件电解电容种类多样，尺寸多样，高度差异大，人工安装位置偏移大等原因造成的检测困难。

本发明进行插件电解电容目标识别的同时，完成电容极性的分类。一方面提高了目标识别的准确率和召回率，同时为插件电解电容极性检测提供了方便。本发明的方法检测速度快，通用性强，具有很大的应用价值。

本发明利用了标准PCB图像作为参考图像，提高了本发明的适用性，只需要进行标准板采集，不需要进行专业化规则编程，操作简单，适用性更强；增加设备使用的灵活性，换线生产不要重新编程，只需要重新采集标准板或调出原来的标准板图像，特别适合换线频繁的中小型企业。

但是单纯的标准图像参考比较法识别准确率和召回率，所以本发明参考图像并不是作为像素比较使用，而是提供插件电解电容位置区域的信息。插件电解电容的识别通过基于CNN深度网络的目标识别实现，优化的CNN网络识别插件电解电容的准确率和召回率更高，而且对环境的鲁棒性更好。同时由于参考标准PCB板提供的位置信息，电容的识别和错误检测不需要进行全局搜索，减小了运算量，提高了检测速度。另外电容错误的判决也综合利用了目标识别、目标分类和纹理特征算法。兼顾准确率的同时，保证检测方法的通用性。

附图说明

图1为本发明的系统结构框图；

图2为本发明的整体流程图；

图3为本发明的基于CNN的深度网络结构图；

图4为本发明的电容多角度极性分类示意图；

图5为本发明的正样本标注示意图；

图6为本发明的边缘检测效果图；

图7为本发明的PCB电路板粗略目标区域最小外接旋转矩形效果图；

图8为本发明的外接旋转矩形示意图；

图9为本发明的顶点搜索和定位示意图；

图10为本发明的Harris角点检测示意图；

图11为本发明的归一化透视示意图；

图12为本发明的归一化PCB电路效果图；

图13为本发明的电容缺少判定示意图；

图14为本发明的三级目标识别示意图；

图15为本发明的电解电容目标识别和多角度极性分类效果图。

具体实施方式

下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出，对于本技术领域的普通人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

本申请实施例一提供了一种如图1和图2所示基于深度学习的插件电解电容混合检测方法：

步骤1、通过图像采集设备采集PCB电路板(印刷版电路)上插件电解电容图像；通过多角度分类标注方法对采集的插件电解电容图像进行标注，识别电解电容，将插件电解电容图像分为正样本和负样本，并同时进行电解电容极性分类；将经过上述处理的图像作为基于CNN的深度网络的训练集；

步骤2、利用步骤1标注的正样本和负样本，对基于CNN的深度网络进行深度学习，训练获得多角度电容极性识别网络模型，并优化基于CNN的深度网络的训练参数，这一步通过非实时训练完成，后续不需要重复训练；基于CNN的深度网络的结构参考开源的YOLO(YouOnly Look Once)网络结构(如图3所示)；

步骤3、采集标准PCB电路板俯视图图像，识别PCB电路板目标区域并归一化尺寸大小；

步骤3.1、PCB电路板粗略目标区域识别；

步骤3.2、识别并定位PCB电路板的四个顶点；Sobel算子提供较为精确的边缘方向信息，但边缘定位精度不够高；为了获得准确的归一化的PCB电路板图像，需要进行精确的定位和矫正；在步骤3.1获取得到的PCB电路板粗略目标区域基础上，进行PCB四个顶点的识别与定位；

步骤3.3、基于PCB电路板四个顶点，按照长宽比进行矩形透视变换，获得归一化的标准PCB电路板图像；如图11所示；

步骤4、利用步骤2训练得到的多角度电容极性识别网络模型进行插件电解电容识别，获得标准PCB电路板中所有插件电解电容的位置信息；

步骤5、采集待测试PCB电路板俯视图图像，识别PCB电路板目标区域并归一化尺寸大小；

步骤5.1、PCB电路板目标区域识别；

步骤5.2、识别并定位PCB电路板四个顶点；

步骤5.3、基于PCB电路板四个顶点，按照步骤3.3得到的归一化的标准PCB电路板图像的矩形尺寸，进行矩形透视变换，获得归一化的待测PCB电路板图像；步骤5.1至步骤5.3的算法原理和步骤3标准PCB目标区域识别和归一化原理一致，实现流程也和步骤3.1至步骤3.3一致；

步骤6、利用步骤2得到的多角度电容极性识别网络模型进行插件电解电容识别，获得待测PCB电路板中所有插件电解电容的位置信息；

步骤7、利用步骤4和步骤6获得的插件电解电容信息，进行插件电解电容错误判决；基于目标识别、多角度分类和纹理特征结合的混合判决算法，获得待测PCB电路板中所有插件电解电容的安装情况，安装情况包括正确安装、漏安装、极性装反和尺寸错误；

步骤8、记录相关插件电解电容错误信息并定位，返回执行步骤5至步骤8继续进行实时流水检测。

步骤1和步骤2采用非实时采集、标准和训练完成，可以通过标注异常测试结果，增加训练样本，直至网络模型的识别性能稳定并满足要求；

实施例二

在实施例一的基础上，本申请实施例二提供了实施例1中基于深度学习的插件电解电容混合检测方法的原理及在现实中的应用：

1.原理概述

目前，AOI检测方法主要有参考比较法、非参考验证法和混合法三类。参考比较法主要通过标准图像和待测图像的像素差值进行缺陷检测。这类检测对图像的定位和匹配精度要求非常高，对于尺寸较高，位置偏移大的元件误检率很高，稳定性差。非参考验证法分为形态处理法、边界处理法和特征分析法。这些方法无需对准，对光照变化，位置偏移等鲁棒性都较好。但是算法运算量大，需要元器件特征建库和设计规则编程，对操作人员有较高要求。对于插件元器件，建库困难，规则设计困难，检测效果不理想。混合算法将两种算法的优点相结合，提高检测准确率的同时，又增加检测的鲁棒性，降低操作复杂性。

2.算法流程说明

对照附件结构图和流程图，依次说明本发明的基本原理和实施方法。整体算法流程上，采用了参考图像和目标识别相结合的分级混合。

算法流程上，具体实施步骤如下：

1)非实时电容极性多角度目标分类训练，获得性能稳定的目标识别和分类权重网络。

2)在测试PCB板之前，先进行标准PCB电解电容的定标。

2.1)采用工业相机，采集标准PCB图像俯视图；

2.2)标准PCB板的识别和举行归一化。首先识别PCB目标区域，然后识别PCB板子四个顶点，再按照长宽比进行矩形透视变换，获得归一化的标准PCB图像，作为比较法的参考区域，为电容识别和检测提供统一的定位空间；

2.3)标准PCB板上的插件电解电容的识别；

2.4)获得标准PCB板上所有插件电解电容的位置和分类信息，后续检测用。

3)待测PCB图像采集和插件电解电容的识别。

3.1)采集待测PCB图像俯视图；

3.2)识别待测PCB区域，并定位PCB板的四个顶点，按照2.2)中的标准PCB板的归一化矩形尺寸，进行矩形透视变换，获得归一化的待测PCB图像。

3.3)待测PCB板上的插件电解电容的识别；

3.4)获得待测PCB板上所有插件电解电容的位置和分类信息。

4)插件电解电容混合检测方法

4.1)按照标准PCB板中所有电容位置遍历；

4.2)待测PCB对应位置如果不存在电容，判决为电容遗漏，否则进入4.3)；

4.3)比较电解电容多角度极性分类是否一致，如果不一致，判决为电容极性安装错误；否则进入4.4；

4.4)进行电容中心圆形亮区直径检测和比较，如果不一致，判决为电容尺寸错误；否则判决为电容正确安装；

4.5)错误类型和位置信息记录；

4.6)如果所有插件电解电容检测完成，进入4.7)；否则更新下一个待测电容位置，跳转到4.2)；

4.7)当前待测PCB电路板检测完成；如果结束PCB检测，进入5)，否则跳转到3)；

5)插件电解电容检测结束。

其中主要的算法原理分析如下。

3.分级的混合检测方法原理

对于采集的标准PCB图像和待测PCB图像，直接进行比较的话需要严格的定位。如果纯粹进行全局的目标搜索，运算量大。使用本发明提出了分级的识别和混合检测方法，如附件图14所示。

第一级为PCB板的识别，通过采集图像，对标准PCB目标进行的定位，并定位PCB的四个角点。然后基于四个顶点，按照长宽比进行矩形透视变换，获得归一化的标准PCB图像。待测图像按照归一化的标准PCB尺寸进行第一级定位和处理。这一分级可以减小PCB图像采集位置和角度严格限制，提高检测方法的鲁棒性。这一级分别对应附件图1和图2中的PCB图像识别和归一化处理模块。

第二级为插件电解电容目标识别，准确定位电容位置。由于插件电解电容体积大，种类丰富，安装位置偏移大。所以即使PCB电路板通过归一化处理，仍然无法保证插件电解电容元器件的严格对准。所以第二级采用基于优化的CNN深度网络的目标识别算法，实现在标准PCB和待测PCB对应位置的插件电解电容识别和定位。这一级对应于附件图1和图2中的电容识别和定位。

第三级为目标电容的混合检测。首先通过对应区域电容的存在与否，判决电容是否存在缺失；然后通过多角度电容极性分类对比，判决电容极性是否存在错误；最后通过电容顶部纹理特征，判决电容尺寸是否存在错误。这一级对应于附件图1中的插件电解电容混合检测方法。

由于PCB板上元器件数量多，布局密，还存在遮挡和丝印等干扰。和直接进行全局目标搜索相比，分级的识别和混合检测方法可以大大减少漏检或误检，同时有效提高检测速度。

4.多角度分类的电容极性识别原理

常用的插件电解电容高亮窄带对应负极，具有比较明显的纹理特征。但是人工安装具有不规范性，无法保证电容位置，角度的完全一致。如果直接通过纹理比较来确定极性错误，其误判率非常高。本发明提出一种基于多角度分类的电容极性识别方法。可以准确实现电容极性的识别。

替代不分极性统一的电容正样本标注，本发明采用如附件图4所示的多角度极性分类方法。根据电容负极角度将电容分为CAP_0、CAP_90、CAP_180和CAP_270四类。利用CNN网络进行四种角度分类训练。测试实验证明，基于多角度分类的电容，不见电容极性识别准确率高，而且电容识别的召回率也得到提高。原因是角度分类后的电容纹理和结构特征更统一，深度学习模型更准确。

在CNN网络训练设置时增加样本旋转角度，一方面是获得更多的样本数，另一方面也是保证了电容多角度的分类样本的多样性。防止深度网络过拟合，提高多角度极性目标分类的泛化能力。图15为电解电容目标识别和多角度极性分类效果图。

5.插件电解电容混合检测原理

插件错误分类有这几类：电解电容安装正确Correct、电解电容漏件错误Error0，电解电容极性相反错误Error1，电解电容尺寸错件Error2。

这三类错误的检测采用了目标识别、多角度目标分类和纹理特征相结合的混合判决方法。

标准PCB板对应区域有电容，待测板未检测到电容，则判决为漏焊Error0，采用了目标识别算法；如果标准版和待测板识别的电容极性分类不一致，则判决为极性相反错误Error1，采用了多角度目标分类算法；如果标准版和待测板识别的电容分类相同，则进一步采用纹理特征进行电容尺寸比较。

采用Hough变换理论的找圆算法，分别计算电容直径，并计算尺寸差异率DR，差异率上限阈值Hu＝1.2，下限阈值Hl＝0.8，如果Hl<DR<Hu则判定电容安装正确Correct；否则判决为电容安装错件Error2。

图2中的虚线框为标准PCB板检测流程，提供标准定标信息。

Claims (10)

1.一种基于深度学习的插件电解电容混合检测方法，其特征在于，包括以下步骤：

步骤1、通过图像采集设备采集PCB电路板上插件电解电容图像；通过多角度分类标注方法对采集的插件电解电容图像进行标注，识别电解电容，将插件电解电容图像分为正样本和负样本，并同时进行电解电容极性分类；将经过上述处理的图像作为基于CNN的深度网络的训练集；

步骤2、利用步骤1标注的正样本和负样本，对基于CNN的深度网络进行深度学习，训练获得多角度电容极性识别网络模型，并优化基于CNN的深度网络的训练参数；

步骤3、采集标准PCB电路板俯视图图像，识别PCB电路板目标区域并归一化尺寸大小；

步骤3.1、PCB电路板粗略目标区域识别；

步骤3.2、识别并定位PCB电路板的四个顶点；

步骤3.3、基于PCB电路板四个顶点，按照长宽比进行矩形透视变换，获得归一化的标准PCB电路板图像；

步骤4、利用步骤2训练得到的多角度电容极性识别网络模型进行插件电解电容识别，获得标准PCB电路板中所有插件电解电容的位置信息；

步骤5、采集待测试PCB电路板俯视图图像，识别PCB电路板目标区域并归一化尺寸大小；

步骤5.1、PCB电路板目标区域识别；

步骤5.2、识别并定位PCB电路板四个顶点；

步骤5.3、基于PCB电路板四个顶点，按照步骤3.3得到的归一化的标准PCB电路板图像的矩形尺寸，进行矩形透视变换，获得归一化的待测PCB电路板图像；

步骤6、利用步骤2得到的多角度电容极性识别网络模型进行插件电解电容识别，获得待测PCB电路板中所有插件电解电容的位置信息；

步骤7、利用步骤4和步骤6获得的插件电解电容信息，进行插件电解电容错误判决；基于目标识别、多角度分类和纹理特征结合的混合判决算法，获得待测PCB电路板中所有插件电解电容的安装情况，安装情况包括正确安装、漏安装、极性装反和尺寸错误；

步骤8、记录相关插件电解电容错误信息并定位，返回执行步骤5至步骤8继续进行实时流水检测。

2.根据权利要求1所述基于深度学习的插件电解电容混合检测方法，其特征在于，步骤1具体包括以下步骤：

步骤1.1、通过图像采集设备拍摄复杂环境下包含多种插件电解电容俯视图样本集合；

步骤1.2、对一张插件电解电容俯视图进行多角度分类样本标注：将插件电解电容俯视图中亮白色区域中心作为插件电解电容中心圆，灰白色区块作为电容负极的方向，以亮白色区域中心圆的圆心为原点，建立直角坐标系，根据电容负极的区域位置分布，将标注出的插件电解电容分类为CAP_0、CAP_90、CAP_180和CAP_270；CAP_0、CAP_90、CAP_180和CAP_270分别表示标注出的插件电解电容位于直角坐标系的0°、90°、180°、270°处；

步骤1.3、电容目标正负样本的标注：反复执行步骤1.2，由人工对所有采集到的插件电解电容俯视图用矩形圈定出插件电解电容，将存在矩形圈定框的插件电解电容俯视图作为正样本，将不存在矩形圈定框的插件电解电容俯视图作为负样本。

3.根据权利要求2所述基于深度学习的插件电解电容混合检测方法，其特征在于，步骤2具体包括以下步骤：

步骤2.1、基于CNN的深度网络抽样时采用不同尺度和长宽比，均匀地在正样本和负样本的不同位置进行抽样；

步骤2.2、通过在顺时针0～5°范围内随机旋转正样本，或在逆时针0～5°范围内随机旋转正样本，生成更多训练样本；

步骤2.3、在设定范围内随机增大图片饱和度来生成更多的样本；

步骤2.4、在设定范围内随机增大图片曝光量来生成更多的样本；

步骤2.5、增加不包含电解电容、没有标注目标的电路板训练图片作为纯负样本。

4.根据权利要求1所述基于深度学习的插件电解电容混合检测方法，其特征在于：步骤2中基于CNN的深度网络包括归一化输入网络、24个级联卷积层CR和2个全连接层FC；其中归一化输入网络样本尺寸为448x448；前20个级联卷积层CR为GoogleNet结构，在GoogleNet结构基础上增加额外的4个级联卷积层CR；每个级联卷积层CR中包含了1×1、3×3两种kernel核，最后一个全连接层FC经过重塑后，得到基于CNN的深度网络的输出，最后经过多角度电容极性识别网络模型进行识别，得到最终的检测结果。

5.根据权利要求3所述基于深度学习的插件电解电容混合检测方法，其特征在于：步骤2.3中饱和度随机增大的数值范围为1～1.5倍；步骤2.3中图片曝光量随机增大的数值范围为1～1.5倍。

6.根据权利要求3所述基于深度学习的插件电解电容混合检测方法，其特征在于，步骤3.1至步骤3.3具体包括以下步骤：

步骤3.1.1、首先把PCB电路板图像转换为灰度图；

步骤3.1.2、然后利用边缘检测算法获得PCB电路板目标区域；边缘检测算法采用Soble算子，Sobel算子利用像素邻近区域的梯度值来计算1个像素的梯度，然后根据阈值来对该像素进行取舍；Sobel算子包含一组3x3的横向矩阵和一组3x3的纵向矩阵，将两组矩阵与PCB电路板灰度图作平面卷积，分别得出横向及纵向的亮度差分近似值；

上式中以A代表原始PCB电路板灰度图，Gx及Gy分别表示经横向和纵向边缘检测的图像灰度值；

PCB电路板灰度图的每一个像素的横向及纵向梯度近似值结合下式(3)计算得到像素的梯度G；

步骤3.1.3、对边缘检测算法的检测结果进行连通域处理，得到二值连通域图；

步骤3.1.4、从二值连通域图中提取最小外接旋转矩形区域，最小外接旋转矩形区域为PCB电路板粗略目标区域；

步骤3.1.5、计算最小外接旋转矩形的中心点(x5,y5)和倾斜角度θ，然后把原图以外接旋转矩形的中心为轴心，旋转θ度，把倾斜的最小外接旋转矩形转换成水平，获得并提取PCB电路板粗略目标区域；

步骤3.2.1、分别截取PCB电路板的四个角区域图片；

步骤3.2.2、采用Harris角点检测算法在PCB电路板的各个角区域分别进行角点检测：检测窗口在各个方向上移动，若检测窗口区域内的灰度没有发生变化，则认为检测窗口内不存在角点；若检测窗口仅在某一个方向移动时，若检测窗口区域内的灰度才会发生较大变化，则认为检测窗口内的图像是一条直线；若检测窗口区域内的灰度均发生较大的变化，则认为在检测窗口内遇到了角点；通过检测移动和灰度变化，确定最终角点位置；

在blockSize×blockSize邻域内，计算每个像素(x，y)对应的2×2梯度的协方差矩阵M(x，y)，其中blockSize表示Harris窗口大小，单位为像素；

计算图像I(x,y)在x和y两个方向的梯度I_x和I_y；

计算图像I(x,y)在x和y两个方向梯度的乘积；

I_x ²＝I_x*I_x (6)

I_y ²＝I_y*I_y (7)

I_xI_y＝I_x*I_y (8)

计算中心点为(x,y)的窗口W对应的协方差矩阵M；

其中ω(x,y)是窗口函数；

当窗口W中心点是角点时，离窗口w中心较远的点的权重系数设定为最小值，使用二元高斯函数来表示窗口函数；

计算每个像素点的Harris响应值R：

R＝det(M)-k(trace(M))² (13)

其中k是经验常数，取值为0.04-0.06；M的对角线元素之和为M的迹，记为trace(M)：

trace(M)＝m₁₁+m₂₂+...+m_nn (14)

m₁₁、m₂₂...m_nn分别表示取自不同行不同列的n个元素；所有取自不同行不同列的n个元素的乘积之和称为M的行列式，记为det(M)；

过滤大于阈值t的R值，获得角点位置：

R＝{R:det(M)-k(trace(M))²＞t} (15)

步骤3.2.3、分别依次计算四个角区域的角点，作为PCB电路板四个顶点的精确位置；

步骤3.3.1、根据畸变PCB电路板的四个顶点P1、P2、P3和P4，计算四边边长w₁、w₂、h₁和h₂；

步骤3.3.2、计算透视矩形目标矩形宽度W'和高度H'，其中Round为取整函数；

W’＝Round((w₁+w₂)/2) (16)

H’＝Round((h₁+h₂)/2) (17)

步骤3.3.3、以顶点P1'(0,0)为原点，根据W'和H'确定透视目标矩形的另外三个顶点：顶点P2'、顶点P3'和顶点P4'；

步骤3.3.4、根据顶点(P1、P2、P3、P4)和(P1'、P2'、P3'、P4')获取透视映射矩阵

步骤3.3.5、根据透视式(18)进行透视变换；根据式(19)和式(20)计算二维变化结果；其中(x,y)为透视变换前二维坐标，z取1，(u,v,w)为中间变量，(x',y')为变化后二维坐标，获得透视校正的PCB电路板精确目标区域；

步骤3.3.6、对矫正后的PCB电路板进行归一化操作，其中宽度Ws为预设归一化值，Hs根据式(21)进行计算并等比例缩放为归一化的标准PCB电路板图像：

7.根据权利要求6所述基于深度学习的插件电解电容混合检测方法，其特征在于，步骤4具体包括以下步骤：

步骤4.1、标准插件电解电容利用多角度电容极性识别网络模型进行目标识别，并根据置信度确定有效电容目标，其中SC_i表示识别的标准目标电容，prob表示其识别置信度，T_thresh为阈值；

SC_i＝{SC_i:SC_i.prob＞T_thresh} (22)

步骤4.2、进行标准插件电解电容目标定位，计算目标矩形区域和目标中心点；中心点取电解电容目标矩形的几何中心(SC_i.center)；

步骤4.3、标准插件电解电容极性角度分类SC_i.polarity；

步骤4.4、将识别的插件电解电容重新按照空间位置排序并定位：按照电容目标区域中心点SC_i.center从上到下，从左到右的顺序重新排序，作为待测电路板电容识别和比较的候选区域。

8.根据权利要求1所述基于深度学习的插件电解电容混合检测方法，其特征在于：步骤3和步骤4对于相同的PCB电路板只执行一次，相当于定标；如果生产产线更换为不同的PCB板，则重新执行步骤3和步骤4，重新进行定标。

9.根据权利要求7所述基于深度学习的插件电解电容混合检测方法，其特征在于，步骤6具体包括以下步骤：

步骤6.1、进行待测插件电解电容的目标识别，并根据置信度确定有效电容目标，其中DCi表示识别的待测目标电容，prob表示其识别置信度，thresh为阈值；

DC_i＝{DC_i:DC_i.prob＞thresh} (23)

步骤6.2、待测插件电解电容目标定位，计算目标矩形区域和目标中心点；中心点取电解电容目标矩形的几何中心(DC_i.center)；

步骤6.3、得到待测插件电解电容的极性角度分类DC_i.polarity。

10.根据权利要求9所述基于深度学习的插件电解电容混合检测方法，其特征在于，步骤7具体包括以下步骤：

步骤7.1、标准插件电解电容目标区域内，若待测电容存在插件电解电容，则进入步骤7.2；如果待测电容不存在插件电解电容，判决为电容缺失，跳转执行步骤7.5；

步骤7.2、比较相同区域标准插件电解电容极性分类和待测插件电解电容极性分类；如式(24)，如果相同区域标准插件电解电容极性分类和待测插件电解电容极性分类相同，则进入步骤7.3；如果不相同，判决为电容极性错误，跳转执行步骤7.5；

SC_i.polarity＝DC_j.polarity (24)

步骤7.3、比较相同区域标准插件电解电容尺寸大小和待测插件电解电容尺寸大小，如果一致进入下一步；如果不一致判决为电容型号错误，跳转执行步骤7.5；电解电容尺寸通过检测电容图片高亮圆形区域的直径来测量：

步骤7.3.1、首先进行对目标区域进行灰度转化；

步骤7.3.2、然后对目标区域进行滤波，减小噪声干扰和高亮圆形边缘畸变；

步骤7.3.3、再采用霍夫圆检测算法进行圆形检测；

步骤7.3.4、获得最大霍夫曼圆的半径，并计算其直径；标准板电容直径为d₀，待测板电容直径为d₁，

步骤7.3.5、按照式(25)计算尺寸差异率DR，其中abs()为取绝对值运算，差异率上限阈值H_u＝1.2，下限阈值H_l＝0.8，如果H_l<DR<H_u，则判定电容安装正确；否则判决为电容安装错误；

DR＝abs(d₀-d₁)/d₀,d₀≠0 (25)

步骤7.4、对应区域电容安装正确，跳转执行步骤7.5；

步骤7.5、记录错误信息，如果所有插件电解电容检测完毕，则结束检测；否则更新标准插件电解电容区域，返回执行步骤7.1。

Images