CN115205290B - 一种pcb板生产过程在线检测方法及系统 - Google Patents

Abstract

本发明涉及图像数据处理领域，具体涉及一种PCB板生产过程在线检测方法及系统，包括：获取焊点区域的RGB图和灰度图；利用焊点区域RGB图的颜色二阶矩获取第一焊点灰度图；利用第一焊点灰度图中的像素点获取第二焊点灰度图；利用第二焊点灰度图中疑似界线像素点获取第三焊点灰度图；利用第三焊点灰度图中界线像素点与其邻域像素点确定出所有界线像素点，进而获取第三焊点灰度图中的黑色界线；利用黑色界线的每条垂线上相邻两像素点与黑色界线像素点之间的距离和灰度变化的相关性确定第三焊点灰度图中的虚焊缺陷。上述方法用于检测PCB板中的虚焊缺陷，可提高检测效率。

Description

一种PCB板生产过程在线检测方法及系统

技术领域

本发明涉及图像数据处理领域，具体一种PCB板生产过程在线检测方法及系统。

背景技术

PCB板是一种重要的电子部件。PCB板的生产工艺复杂繁多，其中包括十分重要的焊接工艺。但不论是人工焊接还是机器焊接，焊接过程中出现的焊接缺陷是非常多的，常见的虚焊是一种潜在的隐患，后期使用过程中会因为虚焊使得元器件发热很快，非常容易造成PCB板开路而无法使用。故对PCB板的虚焊检测意义重大。

目前对PCB板的虚焊检测方法主要有两种。一种是使用LED虚焊检测仪对PCB板的焊点区域进行检测：使用LED虚焊检测仪对测试工作台上的PCB板中的每个焊点区域进行信号检测，通过得到的信号判断焊点区域是否存在虚焊缺陷；另外一种是利用图像处理方法对PCB板的焊点区域进行检测：将PCB板焊点区域图像作为训练集构建神经网络模型，将待检测的PCB板焊点区域图像输入神经网络模型中，对焊点区域图像中的虚焊缺陷进行检测。

但是，现有的使用LED虚焊检测仪对PCB板的焊点区域进行检测的方法在得到每个焊点区域的信号后还是需要人工判断焊点缺陷，主观性强，效率低；现有的利用图像处理方法对PCB板的焊点区域进行检测的方法需要大量的缺陷模型和数据量，效率低。

发明内容

本发明提供一种PCB板生产过程在线检测方法及系统，以解决现有的PCB板虚焊缺陷检测方法效率低的问题。

为达到上述目的，本发明采用如下技术方案，一种PCB板生产过程在线检测方法，包括：

获取每个焊点区域的RGB图和灰度图；

利用各焊点区域RGB图中每个像素点的R、G、B三通道分量值、元器件引脚的R、G、B三通道分量值，计算得到各焊点区域RGB图的颜色二阶矩；

利用各焊点区域RGB图的颜色二阶矩获取第一焊点区域灰度图；

将第一焊点区域灰度图中灰度值最小的像素点作为初始中心点，利用初始中心点与其邻域内各像素点的灰度值差值获取第二焊点区域灰度图；

利用第二焊点区域灰度图中疑似界线像素点的位置获取第三焊点区域灰度图；

利用第三焊点区域灰度图中界线像素点与其邻域像素点的灰度值、界线像素点与其邻域像素点的位置关系，确定出第三焊点区域灰度图中的所有界线像素点；

利用第三焊点区域灰度图中的所有界线像素点获取第三焊点区域灰度图中连续的黑色界线；

过第三焊点区域灰度图中连续的黑色界线上的每个像素点做黑色界线的垂线，利用每条垂线上相邻两像素点的灰度值、相邻两像素点分别与该垂线上的界线像素点之间的距离，计算得到每条垂线上相邻两像素点与黑色界线像素点之间的距离和灰度变化的相关性；

利用每条垂线上相邻两像素点与黑色界线像素点之间的距离和灰度变化的相关性确定第三焊点区域灰度图中的虚焊缺陷。

所述一种PCB板生产过程在线检测方法，所述各焊点区域RGB图的颜色二阶矩是按照如下方式得到：

获取元器件引脚的R、G、B三通道分量值；

利用各焊点区域RGB图中每个像素点的R通道分量值、元器件引脚的R通道分量值、焊点区域RGB图的像素点数量，计算得到各焊点区域RGB图的R通道的颜色二阶矩；

利用各焊点区域RGB图中每个像素点的G通道分量值、元器件引脚的G通道分量值、焊点区域RGB图的像素点数量，计算得到各焊点区域RGB图的G通道的颜色二阶矩；

利用各焊点区域RGB图中每个像素点的B通道分量值、元器件引脚的B通道分量值、焊点区域RGB图的像素点数量，计算得到各焊点区域RGB图的B通道的颜色二阶矩；

利用各焊点区域RGB图的R、G、B通道的颜色二阶矩，计算得到各焊点区域RGB图的颜色二阶矩。

所述一种PCB板生产过程在线检测方法，所述第一焊点区域灰度图是按照如下方式获取：

设置颜色二阶矩阈值，对各焊点区域RGB图的颜色二阶矩进行判断：当焊点区域RGB图的颜色二阶矩小于颜色二阶矩阈值时，则判断该焊点区域不存在焊接缺陷；当焊点区域RGB图的颜色二阶矩大于等于颜色二阶矩阈值时，则判断该焊点区域可能存在焊接缺陷，将可能存在焊接缺陷的焊点区域灰度图作为第一焊点区域灰度图。

所述一种PCB板生产过程在线检测方法，所述第二焊点区域灰度图是按照如下方式获取：

获取第一焊点区域灰度图中灰度值最小的像素点，将该像素点作为初始中心点；

计算初始中心点与其邻域内各像素点的灰度值差值，根据灰度值差值获取邻域内与初始中心点灰度值最接近的两个像素点；

设置灰度值差值阈值，对与初始中心点灰度值最接近的两个像素点进行判断：

若两个像素点与初始中心点的灰度值差值均小于等于灰度值差值阈值时，则判断第一焊点区域灰度图中存在疑似界线像素点，且初始中心点、与初始中心点灰度值最接近的两个像素点为疑似界线像素点；

若两个像素点与初始中心点的灰度值差值均大于灰度值差值阈值时，则判断第一焊点区域灰度图中不存在疑似界线像素点；

若两个像素点中存在一个像素点与初始中心点的灰度值差值小于等于灰度值差值阈值时，则将与初始中心点的灰度值差值小于等于灰度值差值阈值的像素点作为第二中心点，对第二中心点进行如下步骤：

获取第二中心点的邻域内与第二中心点灰度值最接近的两个像素点；

对与第二中心点灰度值最接近的两个像素点进行判断：当两个像素点与第二中心点的灰度值差值均小于等于灰度值差值阈值时，则判断该第一焊点区域灰度图中存在疑似界线像素点，且第二中心点、与第二中心点灰度值最接近的两个像素点为疑似界线像素点；反之则判断第一焊点区域灰度图中不存在疑似界线像素点；

将存在疑似界线像素点的第一焊点区域灰度图作为第二焊点区域灰度图。

所述一种PCB板生产过程在线检测方法，所述第三焊点区域灰度图是按照如下方式获取：

对第二焊点区域灰度图进行如下操作：

将疑似界线像素点中的中心点之外的两个像素点分别作为第一像素点和第二像素点；

计算第一像素点和第二像素点之间的距离；

对第一像素点和第二像素点之间的距离进行判断：当第一像素点和第二像素点之间的距离大于1时，则判断第二焊点区域灰度图中存在界线像素点，且将疑似界线像素点确定为界线像素点；反之则判断第二焊点区域灰度图中不存在界线像素点；

将存在界线像素点的第二焊点区域灰度图作为第三焊点区域灰度图。

所述一种PCB板生产过程在线检测方法，所述第三焊点区域灰度图中连续的黑色界线是按照如下方式获取：

将第三焊点区域灰度图中，界线像素点中的中心点之外的任意像素点作为第三中心点；

计算第三中心点与其邻域内各像素点的灰度值差值，获取第三中心点的邻域内与第三中心点灰度值最接近的两个像素点；

对与第三中心点灰度值最接近的两个像素点进行判断：若两个像素点与第三中心点的灰度值差值均小于等于灰度值差值阈值时，则判断两个像素点是满足灰度值差值阈值的像素点；反之则判断两个像素点不是满足灰度值差值阈值的像素点；

计算满足灰度值差值阈值的两个像素点之间的距离；

对满足灰度值差值阈值的两个像素点之间的距离进行判断：若满足灰度值差值阈值的两个像素点之间的距离大于1时，则判断满足灰度值差值阈值的两个像素点为界线像素点；反之则判断满足灰度值差值阈值的两个像素点不是界线像素点；

按照得到第三中心点的邻域内的界线像素点的方法对第三焊点区域灰度图中所有界线像素点的邻域内的像素点进行迭代判断，直至所有界线像素点的邻域内的像素点均不为界线像素点时，迭代停止，确定出第三焊点区域灰度图中的所有界线像素点；

将第三焊点区域灰度图中的所有界线像素点的连线作为第三焊点区域灰度图中连续的黑色界线。

所述一种PCB板生产过程在线检测方法，所述第三焊点区域灰度图中的虚焊缺陷是按照如下方式确定：

过第三焊点区域灰度图中连续的黑色界线上的每个像素点做黑色界线的垂线，得到所有垂线；

计算每条垂线上的像素点与该垂线上的界线像素点之间的距离；

利用每条垂线上相邻两像素点的灰度值、相邻两像素点分别与该垂线上的界线像素点之间的距离，计算得到每条垂线上相邻两像素点与黑色界线像素点之间的距离和灰度变化的相关性；

对每条垂线上相邻两像素点与黑色界线像素点之间的距离和灰度变化的相关性进行判断：若所有垂线上相邻两像素点与黑色界线像素点之间的距离和灰度变化的相关性均大于0时，则确定黑色界线为虚焊缺陷；反之则确定黑色界线为划痕或裂纹。

所述一种PCB板生产过程在线检测方法，所述每个焊点区域的RGB图和灰度图是按照如下方式获取：

采集PCB板表面图像；

对PCB板表面图像进行高斯滤波降噪处理，得到去噪后的PCB板表面图像；

对去噪后的PCB板表面图像进行语义分割，获取每个焊点区域的RGB图；

对每个焊点区域的RGB图进行灰度化处理，获取每个焊点区域的灰度图。

本发明还提供一种PCB板生产过程在线检测系统，包括采集单元、处理单元、计算单元和检测单元：

所述采集单元，用于采集PCB板表面图像；

所述处理单元，用于对PCB板表面图像进行降噪处理和语义分割处理，获取每个焊点区域的RGB图和灰度图；

所述计算单元，用于计算焊点区域RGB图的颜色二阶矩，利用焊点区域RGB图的颜色二阶矩获取第一焊点区域灰度图；

所述检测单元，用于根据第一焊点区域灰度图中像素点的特征获取第二焊点区域灰度图；然后利用第二焊点区域灰度图中疑似界线像素点的位置获取第三焊点区域灰度图；进而利用第三焊点区域灰度图中界线像素点的邻域像素点的灰度值和位置，获取第三焊点区域灰度图中连续的黑色界线；最后利用黑色界线的垂线上相邻两像素点与黑色界线像素点之间的距离和灰度变化的相关性确定第三焊点区域灰度图中的虚焊缺陷。

本发明的有益效果是：本发明根据每个焊点区域图像中各像素点的像素值和灰度值获取存在界线像素点的第三焊点区域灰度图，通过层层递进的方式对焊点区域图像进行筛选，得到最有可能存在虚焊缺陷的焊点区域灰度图，进而缩小了虚焊缺陷检测的范围，提高了虚焊缺陷检测的效率。根据第三焊点区域灰度图中黑色界线的邻域像素点的分布特征，对第三焊点区域灰度图中是否存在虚焊缺陷进行判断，通过结合虚焊缺陷在图像中的分布特征对图像中的缺陷进行判断，可有效提高虚焊缺陷检测的准确度。相较于现有技术，本发明不需要大量的缺陷模型和数据量，且检测过程中无需人工参与，可有效提高PCB板中虚焊缺陷检测的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种PCB板生产过程在线检测方法流程示意图；

图2为本发明实施例提供的一种疑似界线像素点的位置示意图；

图3为本发明实施例提供的另一种疑似界线像素点的位置示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的主要目的是：通过提取图像中各焊点区域的图像特征，从而判断焊点区域是否存在焊接缺陷，以及当前的焊接缺陷是否为虚焊缺陷。

PCB板完成焊接后，对各个焊接区域的焊接质量进行检测，并检测是否存在虚焊，对于虚焊区域及时进行补焊，从而提高产品质量。

本发明的一种PCB板生产过程在线检测方法的实施例，如图1所示，包括：

S101、获取每个焊点区域的RGB图和灰度图。

在焊接结束后的生产线上方放置CCD相机，对于每一张PCB板，都进行一次图像采集，得到PCB板表面图像。

采集过程可能存在光照的干扰，以及生产线机器的噪声干扰，故对采集到的图像进行高斯滤波降噪处理，得到去噪后的图像。

对去噪后的图像进行语义分割，语义分割时的目标图像为每一个圆形焊点区域，背景图像为PCB板。将每一个焊点区域单独提取出来作为一张目标图像，得到每一个焊点区域的RGB图。

对每一个焊点区域的RGB图进行灰度化处理，得到每一个焊点区域的灰度图。

需要说明的是：虚焊是焊锡与引线之间确实存在焊接，但是焊接的并不牢固，故虚焊的常见特征就是焊锡与引线之间存在一条明显的黑色界线，这个界线就是焊接不牢固造成的，除此之外，黑色界线周围的区域也会向黑色界线区域凹陷。基于这两种特征分步确认当前缺陷是否为虚焊缺陷。

S102、利用各焊点区域RGB图中每个像素点的R、G、B三通道分量值、元器件引脚的R、G、B三通道分量值，计算得到各焊点区域RGB图的颜色二阶矩。

需要说明的是：在进行虚焊检测前，我们需要判断当前正在检测的焊点区域是否存在焊接缺陷，如果存在焊接缺陷，再具体分析是否为虚焊。基于图像特征，如果焊点区域存在虚焊或假焊，那么由于灰度的剧烈变化，焊点区域的图像看起来比较杂乱，除了元器件引脚、焊锡这两个银白色的区域外，还有一些由于焊接不良而出现的颜色异于银白色的区域。故对当前焊点区域进行灰度分析。

在焊点区域RGB图中，元器件引脚的颜色为银白色，元器件引脚的R、G、B通道分量值为（197，200，201）。图像的颜色二阶矩反映了图像中整体颜色的分布范围，图像颜色二阶矩越大，说明图像中整体颜色的分布范围更加宽泛，反之二阶矩越小，反映图像的颜色范围越窄。计算图像的颜色二阶矩为：

式中，

为当前焊点区域RGB图的颜色二阶矩。

值越大，反映当前图像的颜色分布范围越广；

越小，反映当前图像的颜色分布范围越窄。对于焊点区域，如果存在假焊或虚焊，那么颜色分布范围相较于无缺陷来说更广泛。

分别为焊点区域RGB图的R、G、B通道的颜色二阶矩。将每一个通道单独计算一次颜色分布范围，是因为对于焊点来说，颜色是由RGB三原色综合构成的，对三通道的颜色二阶矩求和取均值更能代表当前图像的颜色二阶矩。

表示以自然常数e为底的指数函数。

其中焊点区域RGB图的R、G、B通道的颜色二阶矩分别为：

式中，

为图像中第j个像素点的R通道分量值，N为图像中的像素点总数量；其余

、

分别为图像中第j个像素的G、B通道分量值，（197，200，201）分别为元器件引脚的R、G、B通道分量值。式中通过将单个像素点的各通道分量值与元器件引脚各通道分量值相减，反映了当前像素点某一通道分量值相对于元器件引脚自身颜色的偏移程度。再对所有像素点的同一个通道分量值的偏离程度求和取均值反映了图像某个单一通道的整体颜色偏离程度。

S103、利用各焊点区域RGB图的颜色二阶矩获取第一焊点区域灰度图。

设置颜色二阶矩阈值T，本实施例给出经验值T=0.5，当焊点区域RGB图的颜色二阶矩

时，认为当前图像存在虚焊或假焊的可能，因此我们需要后续进一步分析到底是假焊还是虚焊。反之当

时，认为当前焊点区域不存在虚焊或假焊的情况，不做后续分析。将可能存在焊接缺陷的焊点区域灰度图作为第一焊点区域灰度图。

需要说明的是：虚焊和假焊很难辨别，稍不留意辨别的话就很容易误判，虚焊是焊接上了，但是引线与焊锡焊接的不牢固，假焊是引线与焊锡之间未焊接。但是假焊往往是内部空洞，表面看似完全闭合，而虚焊是内部结实，表面存在一条黑色界线显示未牢固焊接，并且黑色界线周围的焊锡向界线处凹陷。基于这两个特征，我们分步验证当前缺陷是否为虚焊缺陷。

S104、将第一焊点区域灰度图中灰度值最小的像素点作为初始中心点，利用初始中心点与其邻域内各像素点的灰度值差值获取第二焊点区域灰度图。

需要说明的是：黑色界线是围绕引脚形成的，这条界线不一定完整且闭合，但是黑色界线上的像素点一定是连续的，不存在断裂的。因为焊锡和引脚都是银白色的，而出现虚焊缺陷时存在黑色的界线，故从第一焊点区域灰度图中选取灰度值最小的像素点Q，以Q为初始中心点判断当前灰度图是否存在黑色界线。

作为明显的黑色界线，则这条界线是宽度为1，连续且较长的直线。界线能够将整个焊点区域明显的划分开。首先统计Q的八邻域内各像素点的灰度值，计算Q与其八邻域内各像素点的灰度值差值：

式中，

为Q与其八邻域内第i个像素点的灰度值差值，

为Q的灰度值，

为Q的八邻域内第i个像素点的灰度值。二者相减作为当前八邻域内像素点与初始中心点的灰度值差值，反映了当前八邻域内像素点与初始中心点灰度值的相近程度。

选择出八邻域内与Q的灰度值差值较小的两个像素点，即与初始中心点灰度值最接近的两个像素点。

由于选取的像素点不一定是界线上的像素点，所以设定灰度值差值阈值t, 本实施例给出经验值t=5，对与初始中心点灰度值最接近的两个像素点进行判断：

如果选择出的两个像素点与Q的灰度值差值

时，认为Q的八邻域内存在两个像素点可能与Q构成界线，即为当前灰度图中存在疑似界线像素点。

如果选择出的两个像素点与Q的灰度值差值

时，认为Q的八邻域内不存在两个像素点可能与Q构成界线，即为当前灰度图中不存在疑似界线像素点。

如果存在一个像素点与Q的灰度值差值

时，说明Q的八邻域内存在一个像素点可能是界线上的像素点。如果这个像素点是界线上的像素点，说明Q就是界线的端点，即这条黑色界线的起始端点。

当Q的八邻域内存在一个像素点与Q的灰度值差值

时，将该八邻域内的像素点作为第二中心点，继续计算第二中心点的八邻域内是否存在满足灰度值差值阈值的两个像素点。如果不存在满足灰度值差值阈值的两个像素点，只存在一个像素点时，则认为第二中心点不可能是界线上的像素点，而Q也不可能是界线上的像素点。第二中心点和Q均被舍弃，不再考虑。

所以，当Q的八邻域内存在两个满足灰度值差值阈值的像素点或者Q的八邻域内存在一个满足阈值的像素点，且该像素点的八邻域内存在两个满足灰度值差值阈值的像素点时，认为Q可能为界线上的像素点，并且Q的八邻域内满足灰度值差值阈值的像素点也可能是界线上的像素点。

至此，对第一焊点区域灰度图中是否存在疑似界线像素点进行判断，获取存在疑似界线像素点的第一焊点区域灰度图，将存在疑似界线像素点的第一焊点区域灰度图作为第二焊点区域灰度图。

S105、利用第二焊点区域灰度图中疑似界线像素点的位置获取第三焊点区域灰度图。

对第二焊点区域灰度图中的疑似界线像素点进行判断，看其是否构成一条能将中心点的八邻域分为两部分的界线。故分析中心点之外的疑似界线像素点的坐标是否相邻。

如图2和图3所示，黑色区域代表中心点，灰色区域代表中心点之外的疑似界线像素点，白色区域代表非疑似界线像素点。如图2所示，中心点之外的两个疑似界线像素点是相邻的，无法将中心点的八邻域划分为两部分，而图3中中心点之外的两个疑似界线像素点是不相邻的，构成了一条可以将中心点的八邻域划分为两部分的明显界线。根据中心点之外的两个疑似界线像素点之间的距离判断疑似界线像素点能否构成界线。

中心点之外的两个疑似界线像素点之间的距离的计算公式为：

式中，

为中心点之外的两个疑似界线像素点之间的距离。

为中心点之外的一个疑似界线像素点的坐标，

为中心点之外的另一个疑似界线像素点的坐标。此处利用两个疑似界线像素点的坐标信息计算得到中心点之外的两个疑似界线像素点之间的距离，用于判断疑似界线像素点能否构成界线。当中心点之外的两个疑似界线像素点相邻时，

；当中心点之外的两个疑似界线像素点不相邻时，

。故通过计算中心点之外的两个疑似界线像素点之间的距离，判断疑似界线像素点能否构成界线。将

时的疑似界线像素点进行保留，认为有可能构成界线；将

时的疑似界线像素点进行去除，认为无法构成界线。

至此，对第二焊点区域灰度图中是否存在界线像素点进行判断，获取存在界线像素点的第二焊点区域灰度图，将存在界线像素点的第二焊点区域灰度图作为第三焊点区域灰度图。

S106、利用第三焊点区域灰度图中界线像素点与其邻域像素点的灰度值、界线像素点与其邻域像素点的位置关系，确定出第三焊点区域灰度图中的所有界线像素点。

我们判断了疑似界线像素点能否构成界线，并得到了界线像素点，但是虚焊缺陷的界线应当是连续且较长的。

因此将第三焊点区域灰度图中，界线像素点中的中心点之外的任意像素点分别作为第三中心点和第四中心点，分别对第三中心点和第四中心点进行如下操作：

计算中心点与其八邻域内各像素点的灰度值差值，获取中心点的八邻域内与中心点灰度值最接近的两个像素点；

对与中心点灰度值最接近的两个像素点进行判断：若两个像素点与中心点的灰度值差值均小于等于t时，则判断两个像素点是满足灰度值差值阈值的像素点；反之则判断两个像素点不是满足灰度值差值阈值的像素点；

计算满足灰度值差值阈值的两个像素点之间的距离；

对满足灰度值差值阈值的两个像素点之间的距离进行判断：若满足灰度值差值阈值的两个像素点之间的距离大于1时，则判断满足灰度值差值阈值的两个像素点为界线像素点；反之则判断满足灰度值差值阈值的两个像素点不是界线像素点；

按照得到第三和第四中心点的八邻域内的界线像素点的方法对所有界线像素点的八邻域内的像素点进行迭代判断，直至所有界线像素点的八邻域内的像素点均不为界线像素点时，迭代停止，得到所有界线像素点。

S107、利用第三焊点区域灰度图中的所有界线像素点获取第三焊点区域灰度图中连续的黑色界线。

得到所有界线像素点后，将所有的界线像素点的连线作为第三焊点区域灰度图中连续的黑色界线。

S108、过第三焊点区域灰度图中连续的黑色界线上的每个像素点做黑色界线的垂线，利用每条垂线上相邻两像素点的灰度值、相邻两像素点分别与该垂线上的界线像素点之间的距离，计算得到每条垂线上相邻两像素点与黑色界线像素点之间的距离和灰度变化的相关性。

需要说明的是：获得了缺陷区域的明显黑色界线后，不能立马判断当前缺陷为虚焊缺陷，因为可能那条界线是裂纹或划痕，而虚焊缺陷还有一个特征就是界线周围的焊锡朝着界线区域凹陷。在灰度图像上的呈现形式为：距离黑色界线越近，像素点的灰度值越趋近于黑色界线的灰度值；距离黑色界线越远，像素点的灰度值越趋近于银白色焊锡的灰度值。

对于黑色界线，过黑色界线上的每一个像素点做黑色界线过当前像素点的垂线，计算垂线上的各像素点与黑色界线上的像素点之间距离和灰度变化的相关性。假设选取黑色界线上的像素点S，过S的垂线上的像素点集合为

，m为这条垂线上的像素点数量，

为这条垂线上的第k个像素点，k的排列顺序为从界线的远处到界线的近处。计算垂线上相邻两像素点与S之间的距离和灰度变化的相关性为：

式中，

为垂线上相邻两像素点与S之间的距离和灰度变化的相关性，

、

分别为垂线上第k个像素点、第k+1个像素点的灰度值，

、

分别为垂线上第k个像素点与S之间的距离、第k+1个像素点与S之间的距离，

表示线性整流函数。通过计算我们得到的

是确定的，因为就是用距离S点较远的像素点的距离减去距离S点较近的像素点的距离，故该值一定是大于0的，但是至于灰度值的差值

是否大于0是需要验证的，如果较远像素点与较近像素点的灰度值差值

，说明是符合虚焊缺陷特征的，周围焊锡朝着界线区域凹陷，因为灰度值在变小。反之，如果

，说明当前像素点的灰度值不是递减的，周围区域并没有朝着界线区域凹陷，不符合虚焊特征。此处使用relu函数判断距离与灰度变化的正相关性，如果随着距离递减，灰度值也在递减时，

；反之如果距离与灰度变化不相关时，

。使用relu函数能够将当前特征的结果变得更加直观、简洁。如果符合虚焊缺陷的特征，

；反之如果不符合虚焊缺陷的特征，

。

其中垂线上像素点与S之间的距离的计算公式为：

式中，（

,

）和（

,

）分别为垂线上第k个像素点、第k+1个像素点的坐标，(

,

)为黑色界线上像素点S的坐标。此处利用垂线上像素点和黑色界线上像素点的坐标信息来计算两个像素点之间的距离，用来表示黑色界线邻域像素点的位置信息。

S109、利用每条垂线上相邻两像素点与黑色界线像素点之间的距离和灰度变化的相关性确定第三焊点区域灰度图中的虚焊缺陷。

依次计算每条垂线上相邻两像素点与黑色界线像素点之间的距离和灰度变化的相关性。如果所有垂线上相邻两像素点与黑色界线像素点之间的距离和灰度变化的相关性都是满足正相关时，认为当前区域确实朝着界线区域凹陷。反之认为当前区域不朝着黑色界线区域凹陷。

如果获取不到黑色界线，认为当前缺陷一定不是虚焊缺陷，如果获得了缺陷区域的黑色界线，需要进一步分析界线周围区域是否朝着界线凹陷，如果所有垂线上相邻两像素点与黑色界线像素点之间的距离和灰度变化的相关性

，说明周围区域确实朝着界限区域凹陷，此时满足了虚焊缺陷的两个特征，确定当前区域确实为虚焊缺陷，需要对其进行补焊，避免后续使用发生意外。反之说明当前黑色界线为划痕或裂纹，对其进行其他处理。

基于与上述方法相同的发明构思，本实施例还提供了一种PCB板生产过程在线检测系统，本实施例中一种PCB板生产过程在线检测系统包括采集单元、处理单元、计算单元和检测单元，所述采集单元、处理单元、计算单元和检测单元，以实现如一种PCB板生产过程在线检测方法的实施例中所描述的对采集的PCB板表面图像进行处理得到每个焊点区域的RGB图和灰度图；进一步计算焊点区域RGB图的颜色二阶矩，利用焊点区域RGB图的颜色二阶矩获取第一焊点区域灰度图；进一步根据第一焊点区域灰度图中像素点的特征获取第二焊点区域灰度图；利用第二焊点区域灰度图中疑似界线像素点的位置获取第三焊点区域灰度图，利用第三焊点区域灰度图中界线像素点的邻域像素点的灰度值和位置，获取第三焊点区域灰度图中连续的黑色界线；最后利用黑色界线的垂线上相邻两像素点与黑色界线像素点之间的距离和灰度变化的相关性确定第三焊点区域灰度图中的虚焊缺陷。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种PCB板生产过程在线检测方法，其特征在于，包括：

获取每个焊点区域的RGB图和灰度图；

利用各焊点区域RGB图中每个像素点的R、G、B三通道分量值、元器件引脚的R、G、B三通道分量值，计算得到各焊点区域RGB图的颜色二阶矩；

利用各焊点区域RGB图的颜色二阶矩获取第一焊点区域灰度图；

将第一焊点区域灰度图中灰度值最小的像素点作为初始中心点，利用初始中心点与其邻域内各像素点的灰度值差值获取第二焊点区域灰度图；

所述第二焊点区域灰度图是按照如下方式获取：

获取第一焊点区域灰度图中灰度值最小的像素点，将该像素点作为初始中心点；

计算初始中心点与其邻域内各像素点的灰度值差值，根据灰度值差值获取邻域内与初始中心点灰度值最接近的两个像素点；

设置灰度值差值阈值，对与初始中心点灰度值最接近的两个像素点进行判断：

若两个像素点与初始中心点的灰度值差值均小于等于灰度值差值阈值时，则判断第一焊点区域灰度图中存在疑似界线像素点，且初始中心点、与初始中心点灰度值最接近的两个像素点为疑似界线像素点；

若两个像素点与初始中心点的灰度值差值均大于灰度值差值阈值时，则判断第一焊点区域灰度图中不存在疑似界线像素点；

若两个像素点中存在一个像素点与初始中心点的灰度值差值小于等于灰度值差值阈值时，则将与初始中心点的灰度值差值小于等于灰度值差值阈值的像素点作为第二中心点，对第二中心点进行如下步骤：

获取第二中心点的邻域内与第二中心点灰度值最接近的两个像素点；

对与第二中心点灰度值最接近的两个像素点进行判断：当两个像素点与第二中心点的灰度值差值均小于等于灰度值差值阈值时，则判断该第一焊点区域灰度图中存在疑似界线像素点，且第二中心点、与第二中心点灰度值最接近的两个像素点为疑似界线像素点；反之则判断第一焊点区域灰度图中不存在疑似界线像素点；

将存在疑似界线像素点的第一焊点区域灰度图作为第二焊点区域灰度图；

利用第二焊点区域灰度图中疑似界线像素点的位置获取第三焊点区域灰度图；

利用第三焊点区域灰度图中界线像素点与其邻域像素点的灰度值、界线像素点与其邻域像素点的位置关系，确定出第三焊点区域灰度图中的所有界线像素点；

利用第三焊点区域灰度图中的所有界线像素点获取第三焊点区域灰度图中连续的黑色界线；

过第三焊点区域灰度图中连续的黑色界线上的每个像素点做黑色界线的垂线，利用每条垂线上相邻两像素点的灰度值、相邻两像素点分别与该垂线上的界线像素点之间的距离，计算得到每条垂线上相邻两像素点与黑色界线像素点之间的距离和灰度变化的相关性；

利用每条垂线上相邻两像素点与黑色界线像素点之间的距离和灰度变化的相关性确定第三焊点区域灰度图中的虚焊缺陷；

所述第三焊点区域灰度图中的虚焊缺陷是按照如下方式确定：

过第三焊点区域灰度图中连续的黑色界线上的每个像素点做黑色界线的垂线，得到所有垂线；

计算每条垂线上的像素点与该垂线上的界线像素点之间的距离；

利用每条垂线上相邻两像素点的灰度值、相邻两像素点分别与该垂线上的界线像素点之间的距离，计算得到每条垂线上相邻两像素点与黑色界线像素点之间的距离和灰度变化的相关性；

对每条垂线上相邻两像素点与黑色界线像素点之间的距离和灰度变化的相关性进行判断：若所有垂线上相邻两像素点与黑色界线像素点之间的距离和灰度变化的相关性均大于0时，则确定黑色界线为虚焊缺陷。

2.根据权利要求1所述的一种PCB板生产过程在线检测方法，其特征在于，所述各焊点区域RGB图的颜色二阶矩是按照如下方式得到：

获取元器件引脚的R、G、B三通道分量值；

利用各焊点区域RGB图中每个像素点的R通道分量值、元器件引脚的R通道分量值、焊点区域RGB图的像素点数量，计算得到各焊点区域RGB图的R通道的颜色二阶矩；

利用各焊点区域RGB图中每个像素点的G通道分量值、元器件引脚的G通道分量值、焊点区域RGB图的像素点数量，计算得到各焊点区域RGB图的G通道的颜色二阶矩；

利用各焊点区域RGB图中每个像素点的B通道分量值、元器件引脚的B通道分量值、焊点区域RGB图的像素点数量，计算得到各焊点区域RGB图的B通道的颜色二阶矩；

利用各焊点区域RGB图的R、G、B通道的颜色二阶矩，计算得到各焊点区域RGB图的颜色二阶矩。

3.根据权利要求1所述的一种PCB板生产过程在线检测方法，其特征在于，所述第一焊点区域灰度图是按照如下方式获取：

设置颜色二阶矩阈值，对各焊点区域RGB图的颜色二阶矩进行判断：当焊点区域RGB图的颜色二阶矩小于颜色二阶矩阈值时，则判断该焊点区域不存在焊接缺陷；当焊点区域RGB图的颜色二阶矩大于等于颜色二阶矩阈值时，则判断该焊点区域可能存在焊接缺陷，将可能存在焊接缺陷的焊点区域灰度图作为第一焊点区域灰度图。

4.根据权利要求1所述的一种PCB板生产过程在线检测方法，其特征在于，所述第三焊点区域灰度图是按照如下方式获取：

对第二焊点区域灰度图进行如下操作：

将疑似界线像素点中的中心点之外的两个像素点分别作为第一像素点和第二像素点；

计算第一像素点和第二像素点之间的距离；

对第一像素点和第二像素点之间的距离进行判断：当第一像素点和第二像素点之间的距离大于1时，则判断第二焊点区域灰度图中存在界线像素点，且将疑似界线像素点确定为界线像素点；反之则判断第二焊点区域灰度图中不存在界线像素点；

将存在界线像素点的第二焊点区域灰度图作为第三焊点区域灰度图。

5.根据权利要求1所述的一种PCB板生产过程在线检测方法，其特征在于，所述第三焊点区域灰度图中连续的黑色界线是按照如下方式获取：

将第三焊点区域灰度图中，界线像素点中的中心点之外的任意像素点作为第三中心点；

计算第三中心点与其邻域内各像素点的灰度值差值，获取第三中心点的邻域内与第三中心点灰度值最接近的两个像素点；

对与第三中心点灰度值最接近的两个像素点进行判断：若两个像素点与第三中心点的灰度值差值均小于等于灰度值差值阈值时，则判断两个像素点是满足灰度值差值阈值的像素点；反之则判断两个像素点不是满足灰度值差值阈值的像素点；

计算满足灰度值差值阈值的两个像素点之间的距离；

对满足灰度值差值阈值的两个像素点之间的距离进行判断：若满足灰度值差值阈值的两个像素点之间的距离大于1时，则判断满足灰度值差值阈值的两个像素点为界线像素点；反之则判断满足灰度值差值阈值的两个像素点不是界线像素点；

按照得到第三中心点的邻域内的界线像素点的方法对第三焊点区域灰度图中所有界线像素点的邻域内的像素点进行迭代判断，直至所有界线像素点的邻域内的像素点均不为界线像素点时，迭代停止，确定出第三焊点区域灰度图中的所有界线像素点；

将第三焊点区域灰度图中的所有界线像素点的连线作为第三焊点区域灰度图中连续的黑色界线。

6.根据权利要求1所述的一种PCB板生产过程在线检测方法，其特征在于，所述每个焊点区域的RGB图和灰度图是按照如下方式获取：

采集PCB板表面图像；

对PCB板表面图像进行高斯滤波降噪处理，得到去噪后的PCB板表面图像；

对去噪后的PCB板表面图像进行语义分割，获取每个焊点区域的RGB图；

对每个焊点区域的RGB图进行灰度化处理，获取每个焊点区域的灰度图。

7.一种PCB板生产过程在线检测系统，其特征在于，包括采集单元、处理单元、计算单元和检测单元：

所述采集单元，用于采集PCB板表面图像；

所述处理单元，用于对PCB板表面图像进行降噪处理和语义分割处理，获取每个焊点区域的RGB图和灰度图；

所述计算单元，用于计算焊点区域RGB图的颜色二阶矩，利用焊点区域RGB图的颜色二阶矩获取第一焊点区域灰度图；

所述检测单元，用于根据第一焊点区域灰度图中像素点的特征获取第二焊点区域灰度图；

所述第二焊点区域灰度图是按照如下方式获取：

获取第一焊点区域灰度图中灰度值最小的像素点，将该像素点作为初始中心点；

计算初始中心点与其邻域内各像素点的灰度值差值，根据灰度值差值获取邻域内与初始中心点灰度值最接近的两个像素点；

设置灰度值差值阈值，对与初始中心点灰度值最接近的两个像素点进行判断：

若两个像素点与初始中心点的灰度值差值均小于等于灰度值差值阈值时，则判断第一焊点区域灰度图中存在疑似界线像素点，且初始中心点、与初始中心点灰度值最接近的两个像素点为疑似界线像素点；

若两个像素点与初始中心点的灰度值差值均大于灰度值差值阈值时，则判断第一焊点区域灰度图中不存在疑似界线像素点；

若两个像素点中存在一个像素点与初始中心点的灰度值差值小于等于灰度值差值阈值时，则将与初始中心点的灰度值差值小于等于灰度值差值阈值的像素点作为第二中心点，对第二中心点进行如下步骤：

获取第二中心点的邻域内与第二中心点灰度值最接近的两个像素点；

对与第二中心点灰度值最接近的两个像素点进行判断：当两个像素点与第二中心点的灰度值差值均小于等于灰度值差值阈值时，则判断该第一焊点区域灰度图中存在疑似界线像素点，且第二中心点、与第二中心点灰度值最接近的两个像素点为疑似界线像素点；反之则判断第一焊点区域灰度图中不存在疑似界线像素点；

将存在疑似界线像素点的第一焊点区域灰度图作为第二焊点区域灰度图；

然后利用第二焊点区域灰度图中疑似界线像素点的位置获取第三焊点区域灰度图；进而利用第三焊点区域灰度图中界线像素点的邻域像素点的灰度值和位置，获取第三焊点区域灰度图中连续的黑色界线；最后利用黑色界线的垂线上相邻两像素点与黑色界线像素点之间的距离和灰度变化的相关性确定第三焊点区域灰度图中的虚焊缺陷；

所述第三焊点区域灰度图中的虚焊缺陷是按照如下方式确定：

过第三焊点区域灰度图中连续的黑色界线上的每个像素点做黑色界线的垂线，得到所有垂线；

计算每条垂线上的像素点与该垂线上的界线像素点之间的距离；

利用每条垂线上相邻两像素点的灰度值、相邻两像素点分别与该垂线上的界线像素点之间的距离，计算得到每条垂线上相邻两像素点与黑色界线像素点之间的距离和灰度变化的相关性；

对每条垂线上相邻两像素点与黑色界线像素点之间的距离和灰度变化的相关性进行判断：若所有垂线上相邻两像素点与黑色界线像素点之间的距离和灰度变化的相关性均大于0时，则确定黑色界线为虚焊缺陷。

Images