CN109916921A - 电路板缺陷处理方法、装置及设备 - Google Patents

Abstract

本发明提出了一种电路板缺陷处理方法、装置及设备，其中，方法包括：获取被测电路板的拍摄图像；提取拍摄图像的多通道图像特征，并根据预设算法计算多通道图像特征之间的相关性；根据相关性计算多通道图像特征中每个通道的图像特征对应的权重值，根据权重值对多通道图像特征进行调整获取多通道调整图像特征；将多通道调整图像特征输入预设的物体检测模型，获取拍摄图像中存在的缺陷类别信息和缺陷位置信息；根据缺陷类别信息和缺陷位置信息对被测电路板进行预设的缺陷处理操作。由此，通过物体检测框架检测电路板的缺陷类别和位置，提高了电路板缺陷检测的智能化程度，提高了被测电路板缺陷检测的精度和效率。

Description

电路板缺陷处理方法、装置及设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种电路板缺陷处理方法、装置及设备。

背景技术

目前电路板制造依赖于自动化的工业生产线，由于电路板的电子元器件集成度不断增加，电路板生产工艺越来越复杂，而受制于工艺、原料、设备等因素，在电路板生成的过程中不可避免的会出现缺陷电路板，比如会出现芯片焊接少锡、芯片焊接多锡、芯片焊接连锡、安装错误芯片等缺陷。因此，需要对电路板进行缺陷检测。

相关技术中，通过人工检测方法对电路板进行缺陷检测。但是，人工检测需要工作人员用肉眼进行检查，存在检测成本高、准确性较低、效率低等缺点。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种电路板缺陷处理方法，通过物体检测框架检测电路板的缺陷类别和位置，提高了电路板缺陷检测的智能化程度，提高了被测电路板缺陷检测的精度和效率。

本发明的第二个目的在于提出一种电路板缺陷处理装置。

本发明的第三个目的在于提出一种计算机设备。

本发明的第四个目的在于提出一种计算机可读存储介质。

本发明第一方面实施例提出了一种电路板缺陷处理方法，包括：

获取被测电路板的拍摄图像；

提取所述拍摄图像的多通道图像特征，并根据预设算法计算所述多通道图像特征之间的相关性；

根据所述相关性计算所述多通道图像特征中每个通道的图像特征对应的权重值，根据所述权重值对所述多通道图像特征进行调整获取多通道调整图像特征；

将所述多通道调整图像特征输入预设的物体检测模型，获取所述拍摄图像中存在的缺陷类别信息和缺陷位置信息；

根据所述缺陷类别信息和所述缺陷位置信息对所述被测电路板进行预设的缺陷处理操作。

本发明实施例的电路板缺陷处理方法，通过获取被测电路板的拍摄图像，提取拍摄图像的多通道图像特征，并根据预设算法计算多通道图像特征之间的相关性。进而，根据相关性计算多通道图像特征中每个通道的图像特征对应的权重值，根据权重值对多通道图像特征进行调整获取多通道调整图像特征。进一步将多通道调整图像特征输入预设的物体检测模型，获取拍摄图像中存在的缺陷类别信息和缺陷位置信息，以根据缺陷类别信息和缺陷位置信息对被测电路板进行预设的缺陷处理操作。由此，通过物体检测框架检测电路板的缺陷类别和位置，提高了电路板缺陷检测的智能化程度，提高了被测电路板缺陷检测的精度和效率。并且，通过对不同通道的图像特征赋予权重值，实现了特征校准，进一步提高了缺陷检测的效果。

另外，根据本发明上述实施例的电路板缺陷处理方法还可以具有如下附加技术特征：

可选地，在所述将所述多通道调整图像特征输入预设的物体检测模型之前，还包括：获取样本图像，其中，所述样本图像存在标注区域，所述标注区域内展示的电路器件存在缺陷；根据所述标注区域内展示的电路器件的缺陷类别，对所述样本图像进行标注；采用经过标注的所述样本图像对所述物体检测模型进行训练。

可选地，所述物体检测模型包括池化层和全连接层；其中，所述池化层，用于对所述多通道调整图像特征进行降维操作；所述全连接层，用于根据所述池化层降维操作后的所述多通道调整图像特征确定所述拍摄图像中存在的缺陷类别信息和缺陷位置信息。

可选地，所述每个通道的图像特征为N维图像特征，其中，所述N为大于1的正整数，所述提取所述拍摄图像的多通道图像特征，并根据预设算法计算所述多通道图像特征之间的相关性，包括：将所述每个通道的图像特征对应的N维图像特征输入预设的挤压模型，获取与所述每个通道的图像特征对应的一维图像特征；根据预设计算模型计算与所述多通道图像特征对应的多个所述一维图像特征之间的相关值。

可选地，所述根据所述相关性计算所述多通道图像特征中每个通道的图像特征对应的权重值，根据所述权重值对所述多通道图像特征进行调整获取多通道调整图像特征，包括：根据所述相关值确定每个所述一维图像特征的权重；根据所述权重对所述每个通道的图像特征对应的N维图像特征进行加权处理，获取N维的所述多通道调整图像特征。

本发明第二方面实施例提出了一种电路板缺陷处理装置，包括：

获取模块，用于获取被测电路板的拍摄图像；

提取模块，用于提取所述拍摄图像的多通道图像特征，并根据预设算法计算所述多通道图像特征之间的相关性；

调整模块，用于根据所述相关性计算所述多通道图像特征中每个通道的图像特征对应的权重值，根据所述权重值对所述多通道图像特征进行调整获取多通道调整图像特征；

检测模块，用于将所述多通道调整图像特征输入预设的物体检测模型，获取所述拍摄图像中存在的缺陷类别信息和缺陷位置信息；

处理模块，用于根据所述缺陷类别信息和所述缺陷位置信息对所述被测电路板进行预设的缺陷处理操作。

本发明实施例的电路板缺陷处理装置，通过物体检测框架检测电路板的缺陷类别和位置，提高了电路板缺陷检测的智能化程度，提高了被测电路板缺陷检测的精度和效率。并且，通过对不同通道的图像特征赋予权重值，实现了特征校准，进一步提高了缺陷检测的效果。

另外，根据本发明上述实施例的电路板缺陷处理装置还可以具有如下附加技术特征：

可选地，所述的装置还包括：训练模块，用于获取样本图像，其中，所述样本图像存在标注区域，所述标注区域内展示的电路器件存在缺陷；根据所述标注区域内展示的电路器件的缺陷类别，对所述样本图像进行标注；采用经过标注的所述样本图像对所述物体检测模型进行训练。

可选地，所述物体检测模型包括池化层和全连接层；其中，所述池化层，用于对所述多通道调整图像特征进行降维操作；所述全连接层，用于根据所述池化层降维操作后的所述多通道调整图像特征确定所述拍摄图像中存在的缺陷类别信息和缺陷位置信息。

可选地，所述每个通道的图像特征为N维图像特征，其中，所述N为大于1的正整数，所述提取模块具体用于：将所述每个通道的图像特征对应的N维图像特征输入预设的挤压模型，获取与所述每个通道的图像特征对应的一维图像特征；根据预设计算模型计算与所述多通道图像特征对应的多个所述一维图像特征之间的相关值。

可选地，所述调整模块具体用于：根据所述相关值确定每个所述一维图像特征的权重；根据所述权重对所述每个通道的图像特征对应的N维图像特征进行加权处理，获取N维的所述多通道调整图像特征。

本发明第三方面实施例提出了一种计算机设备，包括处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如第一方面实施例所述的电路板缺陷处理方法。

本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所述的电路板缺陷处理方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1为本发明实施例所提供的一种电路板缺陷处理方法的流程示意图；

图2为本发明实施例所提供的另一种电路板缺陷处理方法的流程示意图；

图3为本发明实施例提供的一种物体检测框架的结构示意图；

图4为本发明实施例所提供的一种获取多通道调整图像特征的流程示意图；

图5为一种挤压激发模块的原理示意图；

图6为一种获取多通道调整图像特征的模型结构示意图；

图7为本发明实施例所提供的一种电路板缺陷处理装置的结构示意图；

图8为本发明实施例所提供的另一种电路板缺陷处理装置的结构示意图；

图9示出了适于用来实现本发明实施例的示例性计算机设备的框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的电路板缺陷处理方法、装置及设备。

图1为本发明实施例所提供的一种电路板缺陷处理方法的流程示意图，如图1所示，该方法包括：

步骤101，获取被测电路板的拍摄图像。

本发明实施例中，在对电路板进行缺陷检测时，可以通过相关图像采集装置采集被测电路板的拍摄图像，以根据拍摄图像对被测电路板进行缺陷检测。其中，被测电路板为需要进行缺陷检测的电路板。

可选地，在获取被测电路板的拍摄图像时，可以利用图像采集系统的高精度摄像头，通过调整摄像头的角度、光线、滤镜、倍镜、聚焦等参数，进而实时采集得到被测电路板的拍摄图像。

步骤102，提取拍摄图像的多通道图像特征，并根据预设算法计算多通道图像特征之间的相关性。

本发明实施例中，可以基于相关深度卷积网络中的卷积层对拍摄图像进行处理，提取拍摄图像的多通道图像特征。例如，输入为X，特征通道数为c1，通过卷积层进行一系列卷积变换提取到特征通道数为c2的多通道图像特征。

在本发明的一个实施例中，每个通道的图像特征为N维图像特征，其中，N为大于1的正整数。可以将每个通道的图像特征对应的N维图像特征输入预设的挤压模型，获取与每个通道的图像特征对应的一维图像特征，进而，根据预设算法计算与多通道图像特征对应的多个一维图像特征之间的相关值。

在本发明的一个实施例中，若每个通道的图像特征为一维图像特征，可以根据预设算法计算与多个一维图像特征之间的相关值。

需要说明的是，本实施例中的预设算法可以由本领域技术人员根据需要进行选择，此处不作限制。

步骤103，根据相关性计算多通道图像特征中每个通道的图像特征对应的权重值，根据权重值对多通道图像特征进行调整获取多通道调整图像特征。

本发明实施例中，每个通道的图像特征对于缺陷检测的贡献度可能不同，因此，可以基于相关性计算每个通道的图像特征对应的权重值，进而根据权重值获取多通道调整图像特征，由此，通过对不同通道的图像特征赋予权重值，实现了特征校准，更多地关注信息丰富的特征，抑制信息少的特征，提高了缺陷检测的效果。

在本发明的一个实施例中，可以根据相关值确定每个一维图像特征的权重，例如，根据相关性计算的一维图像特征的相关值越大，对应的权重值越大。进而根据权重对多个通道的原图像特征进行加权处理，获取多通道调整图像特征。其中，多通道调整图像特征根据权重进行了加权，多通道调整图像特征的维度与多通道图像特征的维度相同。

步骤104，将多通道调整图像特征输入预设的物体检测模型，获取拍摄图像中存在的缺陷类别信息和缺陷位置信息。

在本发明的一个实施例中，可以获取电路器件的样本图像，其中，样本图像包括标注区域和标注区域对应的缺陷类别。进一步，可以采用经过标注的样本图像训练预设模型的处理参数，生成物体检测模型，使物体检测模型的输入为图像特征，输出为图像中存在的缺陷类别信息和缺陷位置信息。其中，标注区域的实现形式包括但不限于矩形框、多边形框、掩膜等。

其中，物体检测模型可以基于深度神经网络结构实现，利用计算机视觉中的物体检测算法检测缺陷的类别和位置，例如可以为Faster R-CNN等。需要说明的是，由于前述步骤中已经经过卷积层提取了图像特征，因此，可以将多通道调整图像特征输入到本实施例中预设的物体检测模型中进行处理，获取拍摄图像中存在的缺陷类别信息和缺陷位置信息。可选地，本实施例中的物体检测模型包括池化层和全连接层，其中，池化层用于对多通道调整图像特征进行降维操作，全连接层用于根据池化层降维操作后的多通道调整图像特征确定拍摄图像中存在的缺陷类别信息和缺陷位置信息。

作为一种示例，拍摄图像中的电路板存在缺陷，在获取与拍摄图像对应的多通道图像特征后，将该多通道图像特征输入到物体检测模型中进行处理，可以获取拍摄图像中缺陷类别信息比如缺陷A，以及该缺陷A的位置信息比如坐标、宽、高。

需要说明的是，被测电路板在生产过程中受到工艺、设备、原料等原因的限制，可能会产生一些缺陷，因此，本发明实施例中的缺陷类别信息，用于指示电路板存在的缺陷类别，其中，缺陷类别包括但不限于线路缺陷、孔点缺陷、焊接缺陷等。

步骤105，根据缺陷类别信息和缺陷位置信息对被测电路板进行预设的缺陷处理操作。

本实施例中，在根据物体检测模型获取到待测电路板的缺陷类别信息和缺陷位置信息后，可以执行相应的缺陷处理操作，以对被测电路板的缺陷进行处理。

作为一种可能的实现方式，在根据物体检测模型获取到待测电路板的缺陷类别信息和缺陷位置信息后，可以通过对生产线进行控制，以将存在缺陷的被测电路板置于设定区域内。

例如，在根据物体检测模型获取到被测电路板的缺陷类别信息和缺陷位置信息时，可以控制机械臂从生产线中取出该电路板，还可以控制传送带将该电路板传送至设定位置，以便于分离正常电路板和异常电路板，以对存在缺陷的电路板集中处理。此处分离异常电路板的方式仅作为一种示例，具体的分离方式根据实际的生产线来确定。

在分离正常电路板和异常电路板时，可以根据电路板的缺陷类别信息，预先设定不同的区域，以将存在不同缺陷类别的电路板置于不同的区域，以便于采用不同的处理方式对存在不同缺陷类型的电路板进行处理。也可以将存在缺陷的电路板置于同一区域中进行集中处理。具体地处理方式根据实际情况而定，此处不作限定。

作为另一种可能的实现方式，在根据物体检测模型获取到待测电路板的缺陷类别信息和缺陷位置信息后，可以通过预设的提示系统，对待测电路板的缺陷类别信息和缺陷位置信息进行提示，其中，提示的形式包括但不限于语音提示、文字提示等。

本发明实施例的电路板缺陷处理方法，通过获取被测电路板的拍摄图像，提取拍摄图像的多通道图像特征，并根据预设算法计算多通道图像特征之间的相关性。进而，根据相关性计算多通道图像特征中每个通道的图像特征对应的权重值，根据权重值对多通道图像特征进行调整获取多通道调整图像特征。进一步将多通道调整图像特征输入预设的物体检测模型，获取拍摄图像中存在的缺陷类别信息和缺陷位置信息，以根据缺陷类别信息和缺陷位置信息对被测电路板进行预设的缺陷处理操作。由此，通过物体检测框架检测电路板的缺陷类别和位置，提高了电路板缺陷检测的智能化程度，提高了被测电路板缺陷检测的精度和效率。并且，通过对不同通道的图像特征赋予权重值，实现了特征校准，进一步提高了缺陷检测的效果。

基于上述实施例，进一步地，下面结合样本图像训练物体检测模型进行解释说明。

图2为本发明实施例所提供的另一种电路板缺陷处理方法的流程示意图，如图2所示，在将多通道调整图像特征输入预设的物体检测模型之前，该方法还包括：

步骤201，获取样本图像。

本实施例中，样本图像存在标注区域，标注区域内展示的电路器件存在缺陷。

可选地，样本图像可以是通过高精度摄像头对存在缺陷的样本电路板进行拍摄得到的。作为一种示例，可以对多个存在不同缺陷类型的样本电路板进行拍摄以获取多个不同的样本图像对物体检测模型进行训练，以使物体检测模型能够根据被测电路板的拍摄图像检测出缺陷类别信息和缺陷位置信息。

其中，标注区域的实现形式包括但不限于矩形框、多边形框、掩膜等。

步骤202，根据标注区域内展示的电路器件的缺陷类别，对样本图像进行标注。

作为一种示例，可以先对样本图像中存在缺陷的位置进行标注区域的标注，进而根据标注区域内展示的电路器件的缺陷类别，对样本图像进行缺陷类别的标注，比如对于电路器件的同一缺陷类型，在样本图像中进行相同的标注，对于电路器件的不同的缺陷类型，在样本图像中进行不同的标注，从而使样本图像包括标注区域和标注区域对应的缺陷类别。其中，缺陷类别包括但不限于线路缺陷、孔点缺陷、焊接缺陷等。

步骤203，采用经过标注的样本图像对物体检测模型进行训练。

作为一种示例，物体检测模型包括池化层和全连接层，可以基于有监督的训练方式根据标注的样本图像训练模型的处理参数，生成物体检测模型。比如，根据标注的样本图像提取图像特征，并根据图像特征获取多通道调整图像特征，将多通道调整图像特征输入到物体检测模型的池化层进行降维操作，进而将降维操作后的图像特征输入到全连接层，获取拍摄图像中存在的缺陷类别信息和缺陷像素位置信息。进而，将模型的输出值与标注的真实值进行比较，当模型的输出值与真实值之间的误差小于预设阈值时，停止训练。由此，可以根据训练好的物体检测模型获取拍摄图像的缺陷类别信息和缺陷位置信息。并且，通过池化操作，对图片的变形、模糊、光照变化等具有较高的鲁棒性。

进一步的，可以将训练后的物体检测模型通过小流量上线的方式，逐步取代正在线上运行的物体检测模型，从而达到物体检测模型随业务动态扩展泛化的目的。

下面结合物体检测的算法进行说明，参照图3(为了便于说明，图3中包括提取图像特征的步骤，省略了多通道调整图像特征)，图3为本发明实施例提供的一种Faster R-CNN算法的结构示意图。其中，Faster R-CNN算法是一种卷积神经网络的目标检测方法，如图3所示，Faster R-CNN算法首先利用分类模型的卷积操作，得到输入图像对应的特征图像，然后利用候选区域网络(Region Proposal Network，简称RPN)在卷积特征上的通过两层卷积(3×3和1×1卷积)，输出两个分支。其中，一个分支用于判断每个锚盒是否包含了目标物体，另一个分支输出每个锚盒对应的候选区域的4个坐标。如果输入图像的某一区域内包含有目标物体，则在卷积网络进行特征提取，然后预测其目标物体类别和边界盒子；如果不包含目标物体，则不进行分类。这样，将三个网络分支的损失结合到一起，做组合训练，从而对模型参数进行优化。

本发明实施例的电路板缺陷处理方法，通过获取样本图像，其中，样本图像存在标注区域，标注区域内展示的电路器件存在缺陷；根据标注区域内展示的电路器件的缺陷类型，对样本图像进行标注，采用经过标注的样本图像对物体检测模型进行训练。由此，通过标注的样本图像对物体检测模型的训练，能够根据物体检测模型准确的确定被测电路板的缺陷类型和位置，从而提高了电路板检测的准确度。

基于上述实施例，进一步地，下面对根据图像特征获取多通道调整图像特征进行解释说明。

图4为本发明实施例所提供的一种获取多通道调整图像特征的流程示意图，如图4所示，包括：

步骤301，将每个通道的图像特征对应的N维图像特征输入预设的挤压模型，获取与每个通道的图像特征对应的一维图像特征。

其中，每个通道的图像特征为N维图像特征，其中，N为大于1的正整数。

本实施例中，通过对图像特征的挤压和激发操作，能够充分利用图像特征在不同通道之间关系。也就是说，可以通过学习的方式获取到每个特征通道的重要程度，进而根据该重要程度提升有用的特征并抑制对当前任务用处不大的特征。

作为一种示例，根据预设的挤压模型对特征图求平均值,以将每个通道的N维图像特征转换为一维图像特征。

步骤302，根据预设计算模型计算与多通道图像特征对应的多个一维图像特征之间的相关值。

步骤303，根据相关值确定每个一维图像特征的权重。

本发明实施例中，可以通过预设计算模型建模多个一维特征之间的相关性，获取相关值，并根据相关值确定每个一维图像特征的权重。其中，预设计算模型可以根据需要进行设置，此处不作限制。

步骤304，根据权重对每个通道的图像特征对应的N维图像特征进行加权处理，获取N维的多通道调整图像特征。

本发明实施例中，每个一维图像特征对应一个特征通道，可以根据上述步骤中确定的每个一维图像特征的权重，对相应特征通道的N维图像特征进行加权处理，从而获取N维的多通道调整图像特征。其中，多通道调整图像特征的维度与挤压前的图像特征维度相同。

作为一种示例，参照图5，图5为一种SE(Squeeze-and-Excitation，挤压和激发)模块的原理示意图，对于特征通道数为c1的输入x，通过一系列卷积等变换后得到特征通道数为c2的图像特征x’。进而，对该图像特征x’进行挤压操作，根据空间维度进行特征压缩，将每个二维的特征通道转换为一个实数，该实数包含了全局信息，并且输出的维度和输入的特征通道数匹配。进一步，对上述实数进行激发操作，通过参数w为每个特征通道生成权重，其中参数w用于建模特征通道间的相关性。进一步地，上一步激发操作输出的权重可以代表特征选择后的每个特征通道的重要程度，可以通过乘法将权重逐通道加权到图像特征x’上，从而实现在通道维度上的对原图像特征的重标定。

作为一种示例，参照图6，图6为一种用于获取多通道调整图像特征的模型结构示意图，以SE模块嵌入到ResNet(残差神经网络)中的结构为例，首先对于输入x提取图像特征，进而对图像特征进行全局均值池化(global average pooling)处理，比如对于每一张特征图计算所有像素点的均值，输出一个数据值，进而根据多个数据值组成一个特征向量，从而实现图像特征的挤压。进而，通过两个全连接层(图中为FC)建模通道间的相关性，并输出与特征通道数对应的权重，比如，可以先将特征维度降低到输入的1/16，进而经过ReLu激活后再还原至原先维度，从而更好的拟合通道间相关性，并减少了参数量和计算量。进一步地，通过Sigmoid的门获取归一化的权重值，并将归一化后的权重加权至每个通道的图像特征，从而生成多通道调整图像特征。

本发明实施例的电路板缺陷处理方法，通过获取每个通道的图像特征对应的权重，并根据权重对相应的图像特征进行加权，获取多通道调整图像特征，能够充分利用图像特征在不同通道之间关系，提高了缺陷检测的效果。

为了实现上述实施例，本发明还提出一种电路板缺陷处理装置。

图7为本发明实施例所提供的一种电路板缺陷处理装置的结构示意图，如图7所示，该装置包括：获取模块100，提取模块200，调整模块300，检测模块400，处理模块500。

其中，获取模块100，用于获取被测电路板的拍摄图像。

提取模块200，用于提取拍摄图像的多通道图像特征，并根据预设算法计算多通道图像特征之间的相关性。

调整模块300，用于根据相关性计算多通道图像特征中每个通道的图像特征对应的权重值，根据权重值对多通道图像特征进行调整获取多通道调整图像特征。

检测模块400，用于将多通道调整图像特征输入预设的物体检测模型，获取拍摄图像中存在的缺陷类别信息和缺陷位置信息。

处理模块500，用于根据缺陷类别信息和缺陷位置信息对被测电路板进行预设的缺陷处理操作。

在图7的基础上，图8所示的装置还包括：训练模块600。

其中，训练模块600，用于获取样本图像，其中，样本图像存在标注区域，标注区域内展示的电路器件存在缺陷；根据标注区域内展示的电路器件的缺陷类别，对样本图像进行标注；采用经过标注的样本图像对物体检测模型进行训练。

可选地，物体检测模型包括池化层和全连接层；其中，池化层，用于对多通道调整图像特征进行降维操作；全连接层，用于根据池化层降维操作后的多通道调整图像特征确定拍摄图像中存在的缺陷类别信息和缺陷位置信息。

可选地，每个通道的图像特征为N维图像特征，其中，N为大于1的正整数，提取模块200具体用于：将每个通道的图像特征对应的N维图像特征输入预设的挤压模型，获取与每个通道的图像特征对应的一维图像特征；根据预设计算模型计算与多通道图像特征对应的多个一维图像特征之间的相关值。

可选地，调整模块300具体用于：根据相关值确定每个所述一维图像特征的权重；根据权重对所述每个通道的图像特征对应的N维图像特征进行加权处理，获取N维的多通道调整图像特征。

需要说明的是，前述实施例对电路板缺陷处理方法的解释说明同样适用与本实施例的装置，此处不再赘述。

本发明实施例的电路板缺陷处理装置，基于物体检测框架检测电路板的缺陷类别和位置，提高了电路板缺陷检测的智能化程度，提高了被测电路板缺陷检测的精度和效率。并且，通过对不同通道的图像特征赋予权重值，实现了特征校准，进一步提高了缺陷检测的效果。

为了实现上述实施例，本发明还提出一种计算机设备，包括处理器和存储器；其中，处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现如前述任一实施例所述的电路板缺陷处理方法。

为了实现上述实施例，本发明还提出一种计算机程序产品，当计算机程序产品中的指令被处理器执行时实现如前述任一实施例所述的电路板缺陷处理方法。

为了实现上述实施例，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前述任一实施例所述的电路板缺陷处理方法。

图9示出了适于用来实现本发明实施例的示例性计算机设备的框图。图9显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图9未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local AreaNetwork；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种电路板缺陷处理方法，其特征在于，包括：

获取被测电路板的拍摄图像；

提取所述拍摄图像的多通道图像特征，并根据预设算法计算所述多通道图像特征之间的相关性；

根据所述相关性计算所述多通道图像特征中每个通道的图像特征对应的权重值，根据所述权重值对所述多通道图像特征进行调整获取多通道调整图像特征；

将所述多通道调整图像特征输入预设的物体检测模型，获取所述拍摄图像中存在的缺陷类别信息和缺陷位置信息；

根据所述缺陷类别信息和所述缺陷位置信息对所述被测电路板进行预设的缺陷处理操作。

2.如权利要求1所述的方法，其特征在于，在所述将所述多通道调整图像特征输入预设的物体检测模型之前，还包括：

获取样本图像，其中，所述样本图像存在标注区域，所述标注区域内展示的电路器件存在缺陷；

根据所述标注区域内展示的电路器件的缺陷类别，对所述样本图像进行标注；

采用经过标注的所述样本图像对所述物体检测模型进行训练。

3.如权利要求1所述的方法，其特征在于，所述物体检测模型包括池化层和全连接层；

其中，所述池化层，用于对所述多通道调整图像特征进行降维操作；

所述全连接层，用于根据所述池化层降维操作后的所述多通道调整图像特征确定所述拍摄图像中存在的缺陷类别信息和缺陷位置信息。

4.如权利要求1所述的方法，其特征在于，所述每个通道的图像特征为N维图像特征，其中，所述N为大于1的正整数，所述提取所述拍摄图像的多通道图像特征，并根据预设算法计算所述多通道图像特征之间的相关性，包括：

将所述每个通道的图像特征对应的N维图像特征输入预设的挤压模型，获取与所述每个通道的图像特征对应的一维图像特征；

根据预设计算模型计算与所述多通道图像特征对应的多个所述一维图像特征之间的相关值。

5.如权利要求4所述的方法，其特征在于，所述根据所述相关性计算所述多通道图像特征中每个通道的图像特征对应的权重值，根据所述权重值对所述多通道图像特征进行调整获取多通道调整图像特征，包括：

根据所述相关值确定每个所述一维图像特征的权重；

根据所述权重对所述每个通道的图像特征对应的N维图像特征进行加权处理，获取N维的所述多通道调整图像特征。

6.一种电路板缺陷处理装置，其特征在于，包括：

获取模块，用于获取被测电路板的拍摄图像；

提取模块，用于提取所述拍摄图像的多通道图像特征，并根据预设算法计算所述多通道图像特征之间的相关性；

调整模块，用于根据所述相关性计算所述多通道图像特征中每个通道的图像特征对应的权重值，根据所述权重值对所述多通道图像特征进行调整获取多通道调整图像特征；

检测模块，用于将所述多通道调整图像特征输入预设的物体检测模型，获取所述拍摄图像中存在的缺陷类别信息和缺陷位置信息；

处理模块，用于根据所述缺陷类别信息和所述缺陷位置信息对所述被测电路板进行预设的缺陷处理操作。

7.如权利要求6所述的装置，其特征在于，还包括：

训练模块，用于获取样本图像，其中，所述样本图像存在标注区域，所述标注区域内展示的电路器件存在缺陷；

根据所述标注区域内展示的电路器件的缺陷类别，对所述样本图像进行标注；

采用经过标注的所述样本图像对所述物体检测模型进行训练。

8.如权利要求6所述的装置，其特征在于，所述物体检测模型包括池化层和全连接层；

其中，所述池化层，用于对所述多通道调整图像特征进行降维操作；

所述全连接层，用于根据所述池化层降维操作后的所述多通道调整图像特征确定所述拍摄图像中存在的缺陷类别信息和缺陷位置信息。

9.如权利要求6所述的装置，其特征在于，所述每个通道的图像特征为N维图像特征，其中，所述N为大于1的正整数，所述提取模块具体用于：

将所述每个通道的图像特征对应的N维图像特征输入预设的挤压模型，获取与所述每个通道的图像特征对应的一维图像特征；

根据预设计算模型计算与所述多通道图像特征对应的多个所述一维图像特征之间的相关值。

10.如权利要求9所述的装置，其特征在于，所述调整模块具体用于：

根据所述相关值确定每个所述一维图像特征的权重；

根据所述权重对所述每个通道的图像特征对应的N维图像特征进行加权处理，获取N维的所述多通道调整图像特征。

11.一种计算机设备，其特征在于，包括处理器和存储器；

其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-5中任一项所述的电路板缺陷处理方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的电路板缺陷处理方法。