CN113870257B - 印刷电路板缺陷检测分类方法、装置及计算机储存介质 - Google Patents

Abstract

本发明提出了一种印刷电路板缺陷检测分类方法、装置及计算机储存介质，方法包括以下步骤：S1，对标准图像采用分水岭算法对彩色图像梯度进行分割成若干图像块，并记录图像块在标准图像中的坐标位置信息；S2，完成最终的彩色图像分割；S3，对分割的每个彩色图像块在标准图像上按照坐标位置信息进行填充；S4，获取待测产品的图像，适配标准模块化图像进行匹配；S5，根据匹配的待测产品图像与标准模块化图像进行对比分析，得到缺陷差别点，进而根据缺陷图像块的坐标定位信息进行分类。本发明可以自动对及其视觉获取的产品图像进行校正，并根据分割的图像块进行缺陷检测，进而可以根据图像块的位置进行对应检测，方便后期的分类、维修。

Description

印刷电路板缺陷检测分类方法、装置及计算机储存介质

技术领域

本发明属于电子产品视觉检测的技术领域，涉及一种印刷电路板缺陷检测分类方法、装置及计算机储存介质。

背景技术

印刷电路板是由多个电子元器件和多个功能模块组成固定在矩形基板上，传统的印刷电路板的质量检测主要以人工抽查为主，在各工艺环节抽样，检测工艺是否符合要求。考虑到人眼容易疲劳，经常出现误检、漏检等情况，且部分贴片元件的印刷密度较高，经常出现压线或错印的情况，仅靠肉眼难以观察，一般要在显微镜上放大观察，降低了抽检效率。

虽然目前有自动化的检测系统对印刷电路板进行缺陷检测，但是现有的检测方式中一般只对电路板是否存在缺陷进行检测分为合格品和不合格品，然而我们并不清楚智能检测的缺陷印刷电路板是哪个贴片位置存在缺陷；而且由于检测线输送线上的待测产品由于摆放不平整造成视角倾斜容易对产品的检测造成误差，这就对智能检测提出了一系列考验。因此设计一种方案可以准确对印刷电路板进行检测，并自动根据检测的缺陷区域进行分类为解决印刷电路板缺陷检测至关重要。

发明内容

本发明提出了一种印刷电路板缺陷检测分类方法，可以自动对及其视觉获取的产品图像进行校正，并根据分割的图像块进行缺陷检测，进而可以根据图像块的位置进行对应检测，方便后期的分类、维修。

本发明的技术方案是这样实现的：

一种印刷电路板缺陷检测分类方法，包括以下步骤：

S1，建立无缺陷印刷电路板标准图像，对标准图像采用分水岭算法对彩色图像梯度进行分割成若干图像块，并记录图像块在标准图像中的坐标位置信息；

S2，结合图像块的灰度信息，计算彩色图像特征，并进行高斯混合模型聚类，完成最终的彩色图像分割；

S3，对分割的每个彩色图像块在标准图像上按照坐标位置信息进行填充得到分割填充后的标准模块化图像；

S4，获取待测产品的图像，适配标准模块化图像进行匹配；

S5，根据匹配的待测产品图像与标准模块化图像进行对比分析，得到缺陷差别点，根据缺陷差别点的位置坐标确定所属的缺陷图像块，进而根据缺陷图像块的坐标定位信息进行分类。

优选地，步骤S1中图像分割方法具体为：

S1.1，把待分割图像分成R、G、B三个通道分量；

S1.2，针对每个通道分量计算梯度图，并比较最大梯度作为原始待分割彩色图像的彩色梯度；

S1.3，在待分割彩色图像的彩色梯度上进行分水岭分割。

优选地，步骤S4中适配标准模块化图像进行匹配时，包括对拍摄图像进行倾斜矫正。

优选地，倾斜矫正的步骤具体包括：

S4.1，以图像处理坐标中左上角原点（0,0），横坐标向右增加，纵坐标向下增加，待测产品的印刷电路板图像边缘轮廓处于坐标轴中；

S4.2，确定左上和右下坐标，图像轮廓中设定距离原点最近的点为图像左上点，距离原点最远的点为图像右下点；

S4.3，确定图像的倾斜方向，将图像轮廓中图像左下和右上分别定为点簇而非具体的某个点；

如果图像的“右上”点簇中的所有点的纵坐标都等于左上点的纵坐标，就说明这张图是“端正”；如果图像的“右上”点簇中的所有点的纵坐标都大于左上点的纵坐标，就说明这张图是“向右倾斜”；否则这张图就是“向左倾斜”；

S4.4，确定右上和左下坐标，

在图像为“端正”状态时，横坐标最小且纵坐标最大为左下点，横坐标最大且纵坐标最小为右上点；

在图像为“向右倾斜”状态时，对“右上”点簇中的所有点按照横坐标降序排列，横坐标最大的点就是真正的右上点，对“左下”点簇中的所有点按照横坐标升序排列，横坐标最小的点就是真正的左下点；

在图像为“向左倾斜”状态时，对“右上”点簇中的所有点按照纵坐标升序排列，纵坐标最小的点就是真正的右上点，对“左下”点簇中的所有点按照纵坐标降序排列，纵坐标最大的点就是真正的左下点；

S4.5将准确确定四角的图像通过透视变换进行校正，并适配标准模块化图像大小和方向。

优选地，所述步骤S4.1中印刷电路板图像边缘轮廓的步骤包括：

S4.1.1，对印刷电路板图像进行直线检测，检测图像中的边缘直线以及其上驳杂分布的元件直线；

S4.1.2，根据相邻的边缘相互垂直的特征，过滤掉不相互垂直的直线；

S4.1.3，提取出最靠图像边界的直线，过滤出其余直线中可能会存在与边缘直线相平行的直线形成印刷电路板矩形四边。

优选地，步骤5中待测产品图像与标准模块化图像进行对比分析时，对待测产品图像进行步骤S1~3的操作，将分割后的每个模块化图像块匹配到标准模块化图像上对应的坐标位置，计算相似度并评定缺陷与否，存在缺陷的根据标准模块化图像所属的图像块确定缺陷的位置类型；

缺陷的判定方法为：

缺陷图像由匹配后的模块化图像块和标准模块化图像进行逐像素对应作差得到，记录缺陷点的坐标信息以及缺轨迹。

优选地，还包括步骤：

S6，对每个缺陷印刷电路板的缺陷部位的图像进行记录显示：根据标准模块化图像对每个模块化图像进行编号，提取存在缺陷区域的对应的分割的模块化图像块的图像，并根据缺陷图像的坐标信息以及缺陷轨迹在对应的标准模块化图像上显示轨迹信息生成带缺陷轨迹标注的模块化图像，并对产品进行分大类、对产品中缺陷模块进行小分类。

优选地，步骤S6中，在显示面板上显示标准模块化图像、存在缺陷的模块化图像块、以及根据上述记录缺陷图像的坐标信息以及缺陷轨迹标注的对应的缺陷图像的标准模块化图像，根据上述三幅对照图像对比对照实际缺陷产品进行核验；

印刷电路板多个模块化图像块同时存在缺陷点的，在一个显示面板上形成对应的多组三幅对照图像。

一种印刷电路板缺陷检测分类装置，所述装置包括：

视觉相机，用于获取待测印刷电路板的图像；

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的印刷电路板缺陷检测程序，所述印刷电路板缺陷检测程序被所述处理器执行时实现如上述的方法的步骤。

显示面板，用于显示获取的图像以及处理器处理后的图像。

一种计算机储存介质，其上储存有计算机程序，该程序被处理器执行时实现上述的方法。

本发明的有益效果：

（1）本发明在分水岭分割后对所有彩色图像进行特征提取，所以提取的分割区域的像素灰度均值作为彩色图像块特征进行聚类是可行的。这样，就降低了可能存在于彩色图像块中的噪声以及孤立点对图像分割的影响，效果等同于每个彩色图像块中进行均值滤波，可以保护图像的边界，同时消除噪声和孤立点的影响；

（2）本发明对标准图像进行分割呈若干图像块，而由于印刷电路板一般是模块化安装，一个贴片或元器件往往具有区别于基板或相邻的其他贴片或元器件，因此获取的某个图像块是往往一个贴片或某个元器件，一旦存在缺陷并检测出来，可以很好的分类方便后期维修；而现有的图像缺陷，一般是以图像的几何方式进行简单粗暴的分割比较或者整体比较，无法识别到底是哪里出了问题，不利于分类、返修工作；

（3）通过模块化的分割，在后期进行缺陷检测之后可以根据分割的模块化图像进行逐一检测缺陷并分类。由于分割基本是按照印刷电路板的功能区域特征进行的，因此，在检测到缺陷后往往可以直截了当的根据缺陷的的位置得到哪块区域存在缺陷，根据对照图像比较可以有效的进行人工复验核查工作，以避免出现误判现象发生；

（4）由于检测线上产品的摆置、摄像的时机等原因都会对产品图像的获取造成影响，即，每个检测图像并非是都处于端正状态，存在拍摄视角存在一定的倾斜，不是拍摄的产品表面正视图。因此，为了提高检测的准确性，本发明自动对检测的产品的图像进行识别、矫正，避免因获取图像不准确造成的缺陷检测误差。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的流程示意图。

图2为本发明端正状态示意图。

图3为本发明向左倾斜状态示意图。

图4为本发明向右倾斜状态示意图。

具体实施方式

下面将结合本发明实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1，本发明提供一种印刷电路板缺陷检测分类方法，包括以下步骤：

S1，建立无缺陷印刷电路板标准图像，对标准图像采用分水岭算法对彩色图像梯度进行分割成若干图像块，并记录图像块在标准图像中的坐标位置信息；

S2，结合图像块的灰度信息，计算彩色图像特征，并进行高斯混合模型聚类，完成最终的彩色图像分割；

S3，对分割的每个彩色图像块在标准图像上按照坐标位置信息进行填充得到分割填充后的标准模块化图像；

S4，获取待测产品的图像，适配标准模块化图像进行匹配；

S5，根据匹配的待测产品图像与标准模块化图像进行对比分析，得到缺陷差别点，根据缺陷差别点的位置坐标确定所属的缺陷图像块，进而根据缺陷图像块的坐标定位信息进行分类。

步骤5中待测产品图像与标准模块化图像进行对比分析时，对待测产品图像进行步骤S1~3的操作，将分割后的每个模块化图像块匹配到标准模块化图像上的坐标位置，计算相似度并评定缺陷与否，存在缺陷的根据标准模块化图像所属的图像块确定缺陷的位置类型。

本发明对标准图像进行分割呈若干图像块，而由于印刷电路板一般是模块化安装，一个贴片或元器件往往具有区别于基板或相邻的其他元器件，因此获取的某个图像块是往往一个贴片或某个元器件，一旦存在缺陷并检测出来，可以很好的分类方便后期维修；而现有的图像缺陷，一般是以图像的几何方式进行简单粗暴的分割比较或者整体比较，无法识别到底是哪里出了问题，不利于分类、返修工作。

本实施例中，步骤S1中图像分割方法具体为：

S1.1，把待分割图像分成R、G、B三个通道分量；

S1.2，针对每个通道分量计算梯度图，并比较最大梯度作为原始待分割彩色图像的彩色梯度；

S1.3，在待分割彩色图像的彩色梯度上进行分水岭分割。

在分水岭分割后对所有彩色图像进行特征提取，所以提取的分割区域的像素灰度均值作为彩色图像块特征进行聚类是可行的。这样，就降低了可能存在于彩色图像块中的噪声以及孤立点对图像分割的影响，效果等同于每个彩色图像块中进行均值滤波，可以保护图像的边界，同时消除噪声和孤立点的影响。

如图2-4所示，本实施例步骤S4中适配标准模块化图像进行匹配时，包括对拍摄图像进行倾斜矫正，具体包括：

S4.1，以图像处理坐标中左上角原点（0,0），横坐标向右增加，纵坐标向下增加，待测产品的印刷电路板图像边缘轮廓处于坐标轴中；

S4.2，确定左上和右下坐标，图像轮廓中设定距离原点最近的点为图像左上点，距离原点最远的点为图像右下点；

S4.3，确定图像的倾斜方向，将图像轮廓中图像左下和右上分别定为点簇而非具体的某个点；

如果图像的“右上”点簇中的所有点的纵坐标都等于左上点的纵坐标，就说明这张图是“端正”；如果图像的“右上”点簇中的所有点的纵坐标都大于左上点的纵坐标，就说明这张图是“向右倾斜”；否则这张图就是“向左倾斜”；

S4.4，确定右上和左下坐标，

在图像为“端正”状态时，横坐标最小且纵坐标最大为左下点，横坐标最大且纵坐标最小为右上点；

在图像为“向右倾斜”状态时，对“右上”点簇中的所有点按照横坐标降序排列，横坐标最大的点就是真正的右上点，对“左下”点簇中的所有点按照横坐标升序排列，横坐标最小的点就是真正的左下点；

在图像为“向左倾斜”状态时，对“右上”点簇中的所有点按照纵坐标升序排列，纵坐标最小的点就是真正的右上点，对“左下”点簇中的所有点按照纵坐标降序排列，纵坐标最大的点就是真正的左下点；

S4.5将准确确定四角的图像通过透视变换进行校正并适配标准模块化图像大小和方向。

所述步骤S4.1中印刷电路板图像边缘轮廓的步骤包括：

S4.1.1，对印刷电路板图像进行直线检测，检测图像中的边缘直线以及其上驳杂分布的元件直线。此步骤，印刷电路板上驳杂分布的元件使得算法检测出了丰富的轮廓信息，对此轮廓图进行直线检测，除了PCB的边缘直线被检测出来， 算法还误检出了很多的直线；

S4.1.2，根据相邻的边缘相互垂直的特征，过滤掉不相互垂直的直线。此步骤目的就是提取边缘直线，滤出PCB板内的误检不涉及边缘的直线；

S4.1.3，提取出最靠图像边界的直线，过滤出其余直线中可能会存在与边缘直线相平行的直线形成印刷电路板矩形四边，因此最终得到印刷电路板轮廓边缘线。

由于检测线上产品的摆置、摄像的时机等原因都会对产品图像的获取造成影响，即，每个检测图像并非是都处于端正状态，存在拍摄视角存在一定的倾斜，不是拍摄的产品表面正视图。因此，为了提高检测的准确性，本发明自动对检测的产品的图像进行识别、矫正，通过轮廓的提取，图像四角的自动定位计算，避免因获取图像不准确造成的缺陷检测误差。

本实施例，步骤5中待测产品图像与标准模块化图像进行对比分析时，对待测产品图像进行步骤S1~3的操作，将分割后的每个模块化图像块匹配到标准模块化图像上对应的坐标位置，计算相似度并评定缺陷与否，存在缺陷的根据标准模块化图像所属的图像块确定缺陷的位置类型。

缺陷的判定方法为：缺陷图像由匹配后的模块化图像块和标准模块化图像进行逐像素对应作差得到，记录缺陷点的坐标信息以及缺轨迹。

本方法还包括步骤：S6，对每个缺陷印刷电路板的缺陷部位的图像进行记录显示：根据标准模块化图像对每个模块化图像进行编号，提取存在缺陷区域的对应的分割的模块化图像块的图像，并根据缺陷图像的坐标信息以及缺陷轨迹在对应的标准模块化图像上显示轨迹信息生成带缺陷轨迹标注的模块化图像，并对产品进行分大类、对产品中缺陷模块进行小分类。

在显示面板上显示标准模块化图像、存在缺陷的模块化图像块、以及根据上述记录缺陷图像的坐标信息以及缺陷轨迹标注的对应的缺陷图像的标准模块化图像，根据上述三幅对照图像对比对照实际缺陷产品进行核验，印刷电路板多个模块化图像块同时存在缺陷点的，在一个显示面板上形成对应的多组三幅对照图像。

基于上述存在缺陷的印刷电路板上，若检测出1,2,3……个印刷电路板，每个电路板存在a,b,c……个模块化图像区域，我们分别对每个模块化图像的区域编号：1a,1b,1c……；2a,2b,2c……。如此，通过检测出的缺陷区域如：2c区域，最终显示的2c区域的标准模块化图像，存在缺陷轨迹的2c区域的标准模块化图像，和2c区域模块化图像，显示面板上可以直观比较三幅图像的区别以及缺陷位置所在。

而存在跨模块化区域的缺陷时，可以分别显示如： 2c区域的标准模块化图像，存在缺陷轨迹的2c区域的标准模块化图像，和2c区域模块化图像；2d区域的标准模块化图像，存在缺陷轨迹的2d区域的标准模块化图像，和2d区域模块化图像。

因此，本发明通过模块化的分割，在后期进行缺陷检测之后可以根据分割的模块化图像进行逐一检测缺陷并分类。由于分割基本是按照印刷电路板的功能区域特征进行的，因此，在检测到缺陷后往往可以直截了当的根据缺陷的的位置得到哪块区域存在缺陷，根据对照图像比较可以有效的进行人工复验核查工作，以避免出现误判现象发生。

本发明还提供一种印刷电路板缺陷检测分类装置，所述装置包括：

视觉相机，用于获取待测印刷电路板的图像；

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的印刷电路板缺陷检测程序，所述印刷电路板缺陷检测程序被所述处理器执行时实现如上述的方法的步骤。

显示面板，用于显示获取的图像以及处理器处理后的图像。

本发明还提供一种计算机储存介质，其上储存有计算机程序，该程序被处理器执行时实现上述的方法。

本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可读储存介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种印刷电路板缺陷检测分类方法，其特征在于，包括以下步骤：

S1，建立无缺陷印刷电路板标准图像，对标准图像采用分水岭算法对彩色图像梯度进行分割成若干图像块，并记录图像块在标准图像中的坐标位置信息；

S2，结合图像块的灰度信息，计算彩色图像特征，并进行高斯混合模型聚类，完成最终的彩色图像分割；

S3，对分割的每个彩色图像块在标准图像上按照坐标位置信息进行填充得到分割填充后的标准模块化图像；

S4，获取待测产品的图像，适配标准模块化图像进行匹配：对待测产品图像进行步骤S1~S3的操作，将分割后的每个模块化图像块匹配到标准模块化图像上对应的坐标位置；

S5，根据匹配的待测产品图像与标准模块化图像进行对比分析，得到缺陷差别点，根据缺陷差别点的位置坐标确定所属的缺陷图像块，进而根据缺陷图像块的坐标定位信息进行分类；

其中，步骤S4中适配标准模块化图像进行匹配时，包括对拍摄图像进行倾斜矫正，倾斜矫正的步骤具体包括：

S4.1，以图像处理坐标中左上角原点（0,0），横坐标向右增加，纵坐标向下增加，待测产品的印刷电路板图像边缘轮廓处于坐标轴中；

S4.2，确定左上和右下坐标，图像轮廓中设定距离原点最近的点为图像左上点，距离原点最远的点为图像右下点；

S4.3，确定图像的倾斜方向，将图像轮廓中图像左下和右上分别定为点簇而非具体的某个点；

如果图像的“右上”点簇中的所有点的纵坐标都等于左上点的纵坐标，就说明这张图是“端正”；如果图像的“右上”点簇中的所有点的纵坐标都大于左上点的纵坐标，就说明这张图是“向右倾斜”；否则这张图就是“向左倾斜”；

S4.4，确定右上和左下坐标，

在图像为“端正”状态时，横坐标最小且纵坐标最大为左下点，横坐标最大且纵坐标最小为右上点；

在图像为“向右倾斜”状态时，对“右上”点簇中的所有点按照横坐标降序排列，横坐标最大的点就是真正的右上点，对“左下”点簇中的所有点按照横坐标升序排列，横坐标最小的点就是真正的左下点；

在图像为“向左倾斜”状态时，对“右上”点簇中的所有点按照纵坐标升序排列，纵坐标最小的点就是真正的右上点，对“左下”点簇中的所有点按照纵坐标降序排列，纵坐标最大的点就是真正的左下点；

S4.5将准确确定四角的图像通过透视变换进行校正，并适配标准模块化图像大小和方向。

2.如权利要求1所述的印刷电路板缺陷检测分类方法，其特征在于，步骤S1中图像分割方法具体为：

S1.1，把待分割图像分成R、G、B三个通道分量；

S1.2，针对每个通道分量计算梯度图，并比较最大梯度作为原始待分割彩色图像的彩色梯度；

S1.3，在待分割彩色图像的彩色梯度上进行分水岭分割。

3.如权利要求1所述的印刷电路板缺陷检测分类方法，其特征在于，所述步骤S4.1中印刷电路板图像边缘轮廓的步骤包括：

S4.1.1，对印刷电路板图像进行直线检测，检测图像中的边缘直线以及其上驳杂分布的元件直线；

S4.1.2，根据相邻的边缘相互垂直的特征，过滤掉不相互垂直的直线；

S4.1.3，提取出最靠图像边界的直线，过滤出其余直线中可能会存在与边缘直线相平行的直线形成印刷电路板矩形四边。

4.如权利要求1所述的印刷电路板缺陷检测分类方法，其特征在于，步骤5中待测产品图像与标准模块化图像进行对比分析时，计算相似度并评定缺陷与否，存在缺陷的根据标准模块化图像所属的图像块确定缺陷的位置类型；

缺陷的判定方法为：

缺陷图像由匹配后的模块化图像块和标准模块化图像进行逐像素对应作差得到，记录缺陷点的坐标信息以及缺轨迹。

5.如权利要求1或4所述的印刷电路板缺陷检测分类方法，其特征在于，还包括步骤：

S6，对每个缺陷印刷电路板的缺陷部位的图像进行记录显示：根据标准模块化图像对每个模块化图像进行编号，提取存在缺陷区域的对应的分割的模块化图像块的图像，并根据缺陷图像的坐标信息以及缺陷轨迹在对应的标准模块化图像上显示轨迹信息生成带缺陷轨迹标注的模块化图像，并对产品进行分大类、对产品中缺陷模块进行小分类。

6.如权利要求5所述的印刷电路板缺陷检测分类方法，其特征在于，步骤S6中，在显示面板上显示标准模块化图像、存在缺陷的模块化图像块、以及根据上述记录缺陷图像的坐标信息以及缺陷轨迹标注的对应的缺陷图像的标准模块化图像，根据上述三幅对照图像对比对照实际缺陷产品进行核验；

印刷电路板多个模块化图像块同时存在缺陷点的，在一个显示面板上形成对应的多组三幅对照图像。

7.一种印刷电路板缺陷检测分类装置，其特征在于，所述装置包括：

视觉相机，用于获取待测印刷电路板的图像；

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的印刷电路板缺陷检测程序，所述印刷电路板缺陷检测程序被所述处理器执行时实现如权利要求1至6中任一项所述的方法的步骤；

显示面板，用于显示获取的图像以及处理器处理后的图像。

8.一种计算机储存介质，其上储存有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至6中任一项所述的方法。

Images