CN113870262A - 基于图像处理的印刷电路板分类方法、装置及储存介质 - Google Patents

Abstract

本发明提出了一种基于图像处理的印刷电路板分类方法，包括以下步骤：S1，获取电路板板材表面图片；S2，对图片进行预处理；S3，将预处理后的图片输入至ResNet‑50网络模型中训练；S4，利用RPN网络获取候选框，将得到的提议和特征映射输入到Roi‑Pooling模块中获取定长特征；S5，利用两个全连接层分别进行分类和回归操作，分类操作获取缺陷的类别信息，回归操作获取缺陷的位置信息；S6，确定电路板板材的最终分类结果并显示。本发明可以将有限的计算资源分配给难以检测的部件，并增强该部件的特性；并且可以克服单一感受野的模型不能很好地检测不同尺度的目标缺陷，导致精度较低的问题。

Description

基于图像处理的印刷电路板分类方法、装置及储存介质

技术领域

本发明属于电子产品视觉检测的技术领域，更具体地说是涉及一种基于图像处理的印刷电路板分类方法、装置及储存介质。

背景技术

印刷电路板是由多个电子元器件和多个功能模块组成固定在矩形基板上，传统的印刷电路板的质量检测主要以人工抽查为主，在各工艺环节抽样，检测工艺是否符合要求。考虑到人眼容易疲劳，经常出现误检、漏检等情况，且部分贴片元件的印刷密度较高，经常出现压线或错印的情况，仅靠肉眼难以观察，一般要在显微镜上放大观察，降低了抽检效率。

随着机器学习的不断发展，具有强大特征提取能力的卷积神经网络被引入。诞生了像R-CNN、Fast R-CNN、Faster R-CNN等一阶段检测网络，以及像SSD系列和YOLO系列等这样的一阶段检测模型，两者在检测精度和速度上都有很好的提升。目前网络在训练过程中对中间层的每一个feature map都是同等对待的，使得模型很难收敛，使得模型训练异常困难。这使得一些困难样本的缺陷难以识别，而且由于印刷电路板存在复杂的表面特征以及背景特征，以及一般瑕疵都比较小且细微的很难识别，因此，当图像的前景和背景区域严重不均匀、细微时，目前方法的模型很难收敛，使得模型训练异常困难，因此存在检测误差，精度不高的问题。

发明内容

本发明提出一种基于图像处理的电路板板材表面瑕疵检测及分类方法，克服了现有技术缺陷瑕疵检测中对小目标检测精确度不高的问题，本发明基于注意力机制和多尺度最大池化对图片进行训练， 注意力机制在这种情况下是非常有效的，它可以将有限的计算资源分配给难以检测的部件，并增强该部件的特性；多尺度最大池化模块将输入特征图池化为几种不同尺度，最后合成几个不同感受野的特征图，以克服单一感受野的模型不能很好地检测不同尺度的目标缺陷，导致精度较低的问题。

本发明的技术方案是这样实现的：

一种基于图像处理的印刷电路板分类方法，包括以下步骤：

S1，获取电路板板材表面图片；

S2，对图片进行预处理；

S3，将预处理后的图片输入至ResNet-50网络模型中训练，所述ResNet-50网络模型中第二至四层的残差模块中加入注意力机制模块，第五层采用多尺度最大池化模块；

S4，利用RPN网络获取候选框，将得到的提议和特征映射输入到Roi-Pooling模块中获取定长特征；

S5，利用两个全连接层分别进行分类和回归操作，分类操作获取缺陷的类别信息，回归操作获取缺陷的位置信息；

S6，确定电路板板材的最终分类结果并显示。

优选地，步骤S2中所述预处理包括倾斜矫正、缩放、裁剪及标准化处理，所述倾斜矫正步骤具体包括：

S2.1，以图像处理坐标中左上角原点（0,0），横坐标向右增加，纵坐标向下增加，待测产品的印刷电路板图像边缘轮廓处于坐标轴中；

S2.2，确定左上和右下坐标：图像轮廓中设定距离原点最近的点为图像左上点，距离原点最远的点为图像右下点；

S2.3，确定图像的倾斜方向：将图像轮廓中图像左下和右上分别定为点簇而非具体的某个点；

假设图像的“右上”点簇中的所有点的纵坐标都等于左上点的纵坐标，则判定该图是“端正”；假设图像的“右上”点簇中的所有点的纵坐标都大于左上点的纵坐标，则判定该图是“向右倾斜”；否则，判定该图为“向左倾斜”；

S2.4，确定右上和左下坐标：

根据步骤S2.3判定图像为“端正”状态时，横坐标最小且纵坐标最大为左下点，横坐标最大且纵坐标最小为右上点；

根据步骤S2.3判定图像为“向右倾斜”状态时，对“右上”点簇中的所有点按照横坐标降序排列，横坐标最大的点判定为右上点；对“左下”点簇中的所有点按照横坐标升序排列，横坐标最小的点判定为左下点；

根据步骤S2.3判定图像为“向左倾斜”状态时，对“右上”点簇中的所有点按照纵坐标升序排列，纵坐标最小的点判定为右上点；对“左下”点簇中的所有点按照纵坐标降序排列，纵坐标最大的点判定为左下点；

S2.5将步骤S2.4中准确确定四角的图像通过透视变换进行校正，并适配标准模块化图像大小和方向。

优选地，步骤S3中所述注意力机制模块是通过全局池化操作将输入的特征图转化为一维特征向量，即对每个通道上所有位置的值进行相加求均，每个值为特征图上每个通道的权重，通过对转换后的一维特征向量进行一维卷积来实现多通道交互；一维卷积运算前后的特征向量的维数一致，然后通过sigmoid激活函数得到通道注意力权重，最后用原始特征图乘以有注意力的特征图。

优选地，步骤S3中所述多尺度最大池化模块是将输入特征图池化为四种不同尺度：15×15、9×9、5×5和1×1原始特征图，再合成四个不同感受野的特征图。

优选地，为了保持池化特征图的大小不变，使用填充方法将边界填充为零。

优选地，步骤S4中所述利用RPN网络是将多尺度最大池化模块输出的特征图通过1×1卷积一次，调整通道数得到特征图，经过 3×3 卷积后特征图分别进行 9 通道 1×1卷积和 36 通道 1×1 卷积。

优选地，在模型训练之前对锚进行编码， 9个通道的1×1卷积用于预测特征图上每个网格中是否存在缺陷目标，输出为检测目标的置信度，36个通道的1×1卷积用于预测特征图上每个网格上每个锚坐标的偏移量。

优选地，检测目标的置信度小于置信阈值时，再次执行训练步骤。

一种基于图像处理的印刷电路板分类的装置，所述装置包括：

视觉相机，用于获取待测印刷电路板的图像；

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的印刷电路板瑕疵检测分类程序，所述印刷电路板瑕疵检测分类程序被所述处理器执行时实现上述的方法的步骤。

显示面板，用于显示获取的图像以及处理器处理后的图像。

一种计算机存储介质，所述存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现上述的方法。

本发明产生的有益效果为：

（1）本发明使用Resnet50作为预训练网络，在此基础上引入注意力机制。现有各种手段网络在训练过程中对中间层的每一个feature map都是同等对待的，这使得一些困难样本的缺陷难以识别，而且，当图像的前景和背景区域严重不均匀时，模型很难收敛，使得模型训练异常困难。而注意力机制在这种情况下是非常有效的，它可以将有限的计算资源分配给难以检测的部件，并增强该部件的特性。同时，还能有效抑制背景信息对最终检测的干扰。因此，注意力机制可以增强Resnet50各阶段提取的特征图的特征，使网络集中于最终检测结果的有效区域，而忽略无效甚至不利于检测的背景区域；

（2）本发明还采用多尺度最大池化模块。针对目前的手段都是对同一个特征图进行单一尺度的maxpooling， 这种方法会导致模型的感受野过于单一， 使用单一感受野的模型不能很好地检测不同尺度的目标缺陷，导致精度较低。而本发明将输入特征图池化为几种不同尺度，为了保持池化特征图的大小不变，使用填充方法将边界填充为零， 此外，还使用了一个额外的操作来合成几个不同感受野的特征图，以降低后续 RPN 网络的计算复杂度。因此，多尺度最大池化可以逐步增强感受野，区分最重要的上下文特征，并有效提高检测精度；

（3）由于检测线上产品的摆置、摄像的时机等原因都会对产品图像的获取造成影响，即，每个检测图像并非是都处于端正状态，存在拍摄视角存在一定的倾斜，不是拍摄的产品表面正视图。因此，为了提高检测的准确性，本发明自动对检测的产品的图像进行识别、矫正，避免因获取图像不准确造成的缺陷检测误差。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明ResNet-50网络模型主要结构框架图。

图2为本发明中注意力机制模块的框架图。

图3为本发明多尺度最大池化模块的框架图。

图4为RPN网络框架图。

图5为本发明倾斜矫正时端正状态示意图。

图6为本发明倾斜矫正时向左倾斜状态示意图。

图7为本发明倾斜矫正时向右倾斜状态示意图。

具体实施方式

下面将结合本发明实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种基于图像处理的印刷电路板分类方法，包括以下步骤：

S1，获取电路板板材表面图片；

S2，对图片进行预处理；

S3，将预处理后的图片输入至ResNet-50网络模型中训练，所述ResNet-50网络模型中第二至四层的残差模块中加入注意力机制模块，第五层采用多尺度最大池化模块；

S4，利用RPN网络获取候选框，将得到的提议和特征映射输入到Roi-Pooling模块中获取定长特征；

S5，利用两个全连接层分别进行分类和回归操作，分类操作获取缺陷的类别信息，回归操作获取缺陷的位置信息；

S6，确定电路板板材的最终分类结果并显示。

其中，步骤S2中所述预处理包括倾斜矫正、缩放、裁剪及标准化处理，所述倾斜矫正步骤具体包括：

S2.1，以图像处理坐标中左上角原点（0,0），横坐标向右增加，纵坐标向下增加，待测产品的印刷电路板图像边缘轮廓处于坐标轴中；

S2.2，确定左上和右下坐标：图像轮廓中设定距离原点最近的点为图像左上点，距离原点最远的点为图像右下点；

S2.3，确定图像的倾斜方向：将图像轮廓中图像左下和右上分别定为点簇而非具体的某个点；

假设图像的“右上”点簇中的所有点的纵坐标都等于左上点的纵坐标，则判定该图是“端正”；假设图像的“右上”点簇中的所有点的纵坐标都大于左上点的纵坐标，则判定该图是“向右倾斜”；否则，判定该图为“向左倾斜”；

S2.4，确定右上和左下坐标：

根据步骤S2.3判定图像为“端正”状态时，横坐标最小且纵坐标最大为左下点，横坐标最大且纵坐标最小为右上点；

根据步骤S2.3判定图像为“向右倾斜”状态时，对“右上”点簇中的所有点按照横坐标降序排列，横坐标最大的点判定为右上点；对“左下”点簇中的所有点按照横坐标升序排列，横坐标最小的点判定为左下点；

根据步骤S2.3判定图像为“向左倾斜”状态时，对“右上”点簇中的所有点按照纵坐标升序排列，纵坐标最小的点判定为右上点；对“左下”点簇中的所有点按照纵坐标降序排列，纵坐标最大的点判定为左下点；

S2.5将步骤S2.4中准确确定四角的图像通过透视变换进行校正，并适配标准模块化图像大小和方向。

由于检测线上产品的摆置、摄像的时机等原因都会对产品图像的获取造成影响，即，每个检测图像并非是都处于端正状态，存在拍摄视角存在一定的倾斜，不是拍摄的产品表面正视图。因此，为了提高检测的准确性，本发明自动对检测的产品的图像进行识别、矫正，通过轮廓的提取，图像四角的自动定位计算，避免因获取图像不准确造成的缺陷检测误差。

如图1-2所示，注意力机制模块是通过全局池化操作将输入的特征图转化为一维特征向量，即对每个通道上所有位置的值进行相加求均，每个值为特征图上每个通道的权重，通过对转换后的一维特征向量进行一维卷积来实现多通道交互；一维卷积运算前后的特征向量的维数一致，然后通过sigmoid激活函数得到通道注意力权重，最后用原始特征图乘以有注意力的特征图。

Resnet50中的残差模块首先使用1×1卷积融合所有信道特征，然后使用3×3卷积提取空间特征，最后使用1×1卷积扩展信道数量。这种瓶颈结构可以保证模型能够学习更复杂的特征，并大大减少参数的数量。一般来说，深度网络的高层特征往往具有较强的语义信息(抽象特征)，更适合于图像分类和图像分割，但在缺陷检测中对小目标检测非常不利。相反，低水平特征更容易检测到小目标，因为它们有更详细的信息。本发明Resnet50结构中，在每个conv -block和identity-block模块中增加了注意机制模块，通过模型训练得到一个权值矩阵，并与原始特征图逐点相乘，使得模型有选择地提取更有利于缺陷检测的特征。

与全连接操作相比，可以有效减少训练参数的数量。为了避免降维带来的信息丢失，一维卷积运算前后的特征向量的维数一致，然后通过sigmoid激活函数得到通道注意力权重，最后用原始特征图 乘以有注意力的特征图。通过引入ECA模块，可以增强重要通道的特性，弱化非重要通道的特性。 在一定程度上去除了图像噪声的干扰，可以提高缺陷检测的准确率。

如图3所示，目前都是对同一个特征图进行单一尺度的maxpooling，这种方法会导致模型的感受野过于单一，使用单一感受野的模型不能很好地检测不同尺度的目标缺陷，导致精度较低。多尺度最大池化模块是将输入特征图池化为多种不同尺寸，为了保持池化特征图的大小不变，使用填充方法将边界填充为零；此外，还使用了一个额外的操作来合成四个不同感受野的特征图，以降低后续 RPN 网络的计算复杂度。

本实施例中将输入特征图池化为四种不同尺度，将特征图划分为（15×15、9×9、5×5和1×1）个不同的网格，总共有个225+81+25+1=332个空间块，通过多尺寸最大池化输出不同池化尺寸下的感受野特征图，输出为新的特征图，可以减少卷积层参数误差造成估计均值的偏移，更多的保留纹理信息。同时，对于该多尺寸池化能够将不同尺寸的特征图转换为固定维度的向量，使得神经训练网络能够接受任意尺寸的输入照片，避免由于输入图片经过裁剪等提取的特征不可靠的问题，以及后续转换尺寸带来的缺陷误差。

因此，本发明通过注意力机制模块对于小目标缺陷检测的准确性提高，准确提出缺陷特征之后，实现不同感受野的新特征图合成，减少估计均值偏移误差；利于后续RPN网络预测特征图上每个网格中缺陷，提高检测的置信度以及减少计算复杂性，相对于现有技术而言，明显提高检测缺陷的准确性。

如图4所示步骤S3中利用RPN网络是将多尺度最大池化模块输出的特征图通过1×1卷积一次，调整通道数得到特征图，经过 3×3 卷积后特征图分别进行 9 通道 1×1 卷积和 36 通道 1×1 卷积；在模型训练之前对锚进行编码， 9个通道的1×1卷积用于预测特征图上每个网格中是否存在缺陷目标，输出为检测目标的置信度，36个通道的1×1卷积用于预测特征图上每个网格上每个锚坐标的偏移量。检测目标的置信度小于置信阈值时，再次执行训练步骤。

本发明还提出一种基于图像处理的印刷电路板分类的装置，所述装置包括：

视觉相机，用于获取待测印刷电路板的图像；

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的印刷电路板瑕疵检测分类程序，所述印刷电路板瑕疵检测分类程序被所述处理器执行时实现上述的方法的步骤；

显示面板，用于显示获取的图像以及处理器处理后的图像。

本发明还提出一种计算机存储介质，所述存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现上述的方法。

本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可读储存介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像处理的印刷电路板分类方法，其特征在于，包括以下步骤：

S1，获取电路板板材表面图片；

S2，对图片进行预处理；

S3，将预处理后的图片输入至ResNet-50网络模型中训练，所述ResNet-50网络模型中第二至四层的残差模块中加入注意力机制模块，第五层采用多尺度最大池化模块；

S4，利用RPN网络获取候选框，将得到的提议和特征映射输入到Roi-Pooling模块中获取定长特征；

S5，利用两个全连接层分别进行分类和回归操作，分类操作获取缺陷的类别信息，回归操作获取缺陷的位置信息；

S6，确定电路板板材的最终分类结果并显示。

2.如权利要求1所述的基于图像处理的印刷电路板分类方法，其特征在于，步骤S2中所述预处理包括倾斜矫正、缩放、裁剪及标准化处理，所述倾斜矫正步骤具体包括：

S2.1，以图像处理坐标中左上角原点（0,0），横坐标向右增加，纵坐标向下增加，待测产品的印刷电路板图像边缘轮廓处于坐标轴中；

S2.2，确定左上和右下坐标：图像轮廓中设定距离原点最近的点为图像左上点，距离原点最远的点为图像右下点；

S2.3，确定图像的倾斜方向：将图像轮廓中图像左下和右上分别定为点簇而非具体的某个点；

假设图像的“右上”点簇中的所有点的纵坐标都等于左上点的纵坐标，则判定该图是“端正”；假设图像的“右上”点簇中的所有点的纵坐标都大于左上点的纵坐标，则判定该图是“向右倾斜”；否则，判定该图为“向左倾斜”；

S2.4，确定右上和左下坐标：

根据步骤S2.3判定图像为“端正”状态时，横坐标最小且纵坐标最大为左下点，横坐标最大且纵坐标最小为右上点；

根据步骤S2.3判定图像为“向右倾斜”状态时，对“右上”点簇中的所有点按照横坐标降序排列，横坐标最大的点判定为右上点；对“左下”点簇中的所有点按照横坐标升序排列，横坐标最小的点判定为左下点；

根据步骤S2.3判定图像为“向左倾斜”状态时，对“右上”点簇中的所有点按照纵坐标升序排列，纵坐标最小的点判定为右上点；对“左下”点簇中的所有点按照纵坐标降序排列，纵坐标最大的点判定为左下点；

S2.5将步骤S2.4中准确确定四角的图像通过透视变换进行校正，并适配标准模块化图像大小和方向。

3.如权利要求1所述的基于图像处理的印刷电路板分类方法，其特征在于，步骤S3中所述注意力机制模块是通过全局池化操作将输入的特征图转化为一维特征向量，即对每个通道上所有位置的值进行相加求均，每个值为特征图上每个通道的权重，通过对转换后的一维特征向量进行一维卷积来实现多通道交互；一维卷积运算前后的特征向量的维数一致，然后通过sigmoid激活函数得到通道注意力权重，最后用原始特征图乘以有注意力的特征图。

4.如权利要求1所述的基于图像处理的印刷电路板分类方法，其特征在于，步骤S3中所述多尺度最大池化模块是将输入特征图池化为四种不同尺度：15×15、9×9、5×5和1×1原始特征图，再合成四个不同感受野的特征图。

5.如权利要求4所述的基于图像处理的印刷电路板分类方法，其特征在于，为了保持池化特征图的大小不变，使用填充方法将边界填充为零。

6.如权利要求1所述的基于图像处理的印刷电路板分类方法，其特征在于，步骤S4中所述利用RPN网络是将多尺度最大池化模块输出的特征图通过1×1卷积一次，调整通道数得到特征图，经过 3×3 卷积后特征图分别进行 9 通道 1×1 卷积和 36 通道 1×1 卷积。

7.如权利要求6所述的基于图像处理的印刷电路板分类方法，其特征在于，在模型训练之前对锚进行编码， 9个通道的1×1卷积用于预测特征图上每个网格中是否存在缺陷目标，输出为检测目标的置信度，36个通道的1×1卷积用于预测特征图上每个网格上每个锚坐标的偏移量。

8.如权利要求7所述的基于图像处理的印刷电路板分类方法，其特征在于，检测目标的置信度小于置信阈值时，再次执行训练步骤。

9.一种基于图像处理的印刷电路板分类的装置，其特征在于，所述装置包括：

视觉相机，用于获取待测印刷电路板的图像；

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的印刷电路板瑕疵检测分类程序，所述印刷电路板瑕疵检测分类程序被所述处理器执行时实现如权利要求1至8中任一项所述的方法的步骤；

显示面板，用于显示获取的图像以及处理器处理后的图像。

10.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现如权利要求1至8任一所述的方法。

Images