CN109886964A - 电路板缺陷检测方法、装置及设备 - Google Patents

Abstract

本发明提出了一种电路板缺陷检测方法、装置及设备，其中，方法包括：获取被测电路板的拍摄图像；提取拍摄图像的多通道图像特征，并根据预设算法计算多通道图像特征之间的相关性；根据相关性计算多通道图像特征中每个通道的图像特征对应的权重值，根据权重值对多通道图像特征进行调整获取多通道调整图像特征；将多通道调整图像特征输入预设的图像语义识别模型，获取缺陷像素单元和与缺陷像素单元对应的缺陷类别标识；根据缺陷像素单元和与缺陷像素单元对应的缺陷类别标识对电路板进行缺陷检测。由此，通过图像语义分割的方式检测电路板各像素对应的缺陷类别，提高了电路板缺陷检测的智能化程度，提高了被测电路板缺陷检测的精度和效率。

Description

电路板缺陷检测方法、装置及设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种电路板缺陷检测方法、装置及设备。

背景技术

目前电路板制造依赖于自动化的工业生产线，由于电路板的电子元器件集成度不断增加，电路板生产工艺越来越复杂，而受制于工艺、原料、设备等因素，在电路板生成的过程中不可避免的会出现缺陷电路板，比如会出现芯片焊接少锡、芯片焊接多锡、芯片焊接连锡、安装错误芯片等缺陷。因此，需要对电路板进行缺陷检测。

相关技术中，通过人工检测方法对电路板进行缺陷检测。但是，人工检测需要工作人员用肉眼进行检查，存在检测成本高、准确性较低、效率低等缺点。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种电路板缺陷检测方法，通过图像语义分割的方式检测电路板各像素对应的缺陷类别，提高了电路板缺陷检测的智能化程度，提高了被测电路板缺陷检测的精度和效率。

本发明的第二个目的在于提出一种电路板缺陷检测装置。

本发明的第三个目的在于提出一种计算机设备。

本发明的第四个目的在于提出一种计算机可读存储介质。

本发明第一方面实施例提出了一种电路板缺陷检测方法，包括：

获取被测电路板的拍摄图像；

提取所述拍摄图像的多通道图像特征，并根据预设算法计算所述多通道图像特征之间的相关性；

根据所述相关性计算所述多通道图像特征中每个通道的图像特征对应的权重值，根据所述权重值对所述多通道图像特征进行调整获取多通道调整图像特征；

将所述多通道调整图像特征输入预设的图像语义识别模型，获取缺陷像素单元和与所述缺陷像素单元对应的缺陷类别标识；

根据所述缺陷像素单元和与所述缺陷像素单元对应的缺陷类别标识对所述电路板进行缺陷检测。

本发明实施例的电路板缺陷检测方法，通过获取被测电路板的拍摄图像，提取拍摄图像的多通道图像特征，并根据预设算法计算多通道图像特征之间的相关性。进而，根据相关性计算多通道图像特征中每个通道的图像特征对应的权重值，根据权重值对多通道图像特征进行调整获取多通道调整图像特征。进一步将多通道调整图像特征输入预设的图像语义识别模型，获取缺陷像素单元和与缺陷像素单元对应的缺陷类别标识，以根据缺陷像素单元和与缺陷像素单元对应的缺陷类别标识对电路板进行缺陷检测。由此，通过图像语义识别模型对电路板的像素进行分类，提高了电路板缺陷检测的智能化程度，提高了被测电路板缺陷检测的精度和效率。并且，通过对不同通道的图像特征赋予权重值，实现了特征校准，进一步提高了缺陷检测的效果。

另外，根据本发明上述实施例的电路板缺陷检测方法还可以具有如下附加技术特征：

可选地，在将所述多通道调整图像特征输入预设的图像语义识别模型之前，还包括：获取样本图像，其中，所述样本图像存在标注区域，所述标注区域内展示的电路器件存在缺陷；根据所述标注区域内展示的电路器件的缺陷类别，对所述样本图像进行标注；采用经过标注的所述样本图像对所述图像语义识别模型进行训练。

可选地，所述采用经过标注的所述样本图像对所述图像语义识别模型进行训练包括：获取所述图像语义识别模型输出的与所述样本图像对应的测试缺陷像素单元和与所述测试缺陷像素单元对应的测试缺陷类别标识；根据损失函数对所述标注区域、所述缺陷类别、所述测试缺陷像素单元和所述测试缺陷类别标识计算，获取所述图像语义识别模型的损失值；根据所述损失值对所述图像语义识别模型的模型参数进行调整，以使调整后的所述图像语义识别模型的损失值小于预设阈值。

可选地，所述每个通道的图像特征为N维图像特征，其中，所述N为大于1的正整数，所述提取所述拍摄图像的多通道图像特征，并根据预设算法计算所述多通道图像特征之间的相关性，包括：将所述每个通道的图像特征对应的N维图像特征输入预设的挤压模型，获取与所述每个通道的图像特征对应的一维图像特征；根据预设计算模型计算与所述多通道图像特征对应的多个所述一维图像特征之间的相关值。

可选地，所述根据所述相关性计算所述多通道图像特征中每个通道的图像特征对应的权重值，根据所述权重值对所述多通道图像特征进行调整获取多通道调整图像特征，包括：根据所述相关值确定每个所述一维图像特征的权重；根据所述权重对所述每个通道的图像特征对应的N维图像特征进行加权处理，获取N维的所述多通道调整图像特征。

本发明第二方面实施例提出了一种电路板缺陷检测装置，包括：

获取模块，用于获取被测电路板的拍摄图像；

提取模块，用于提取所述拍摄图像的多通道图像特征，并根据预设算法计算所述多通道图像特征之间的相关性；

调整模块，用于根据所述相关性计算所述多通道图像特征中每个通道的图像特征对应的权重值，根据所述权重值对所述多通道图像特征进行调整获取多通道调整图像特征；

识别模块，用于将所述多通道调整图像特征输入预设的图像语义识别模型，获取缺陷像素单元和与所述缺陷像素单元对应的缺陷类别标识；

检测模块，用于根据所述缺陷像素单元和与所述缺陷像素单元对应的缺陷类别标识对所述电路板进行缺陷检测。

本发明实施例的电路板缺陷检测装置，通过图像语义识别模型对电路板的像素进行分类，提高了电路板缺陷检测的智能化程度，提高了被测电路板缺陷检测的精度和效率。并且，通过对不同通道的图像特征赋予权重值，实现了特征校准，进一步提高了缺陷检测的效果。

另外，根据本发明上述实施例的电路板缺陷处理装置还可以具有如下附加技术特征：

可选地，所述的装置还包括：训练模块，用于获取样本图像，其中，所述样本图像存在标注区域，所述标注区域内展示的电路器件存在缺陷；根据所述标注区域内展示的电路器件的缺陷类别，对所述样本图像进行标注；采用经过标注的所述样本图像对所述图像语义识别模型进行训练。

可选地，所述训练模块具体用于：获取所述图像语义识别模型输出的与所述样本图像对应的测试缺陷像素单元和与所述测试缺陷像素单元对应的测试缺陷类别标识；根据损失函数对所述标注区域、所述缺陷类别、所述测试缺陷像素单元和所述测试缺陷类别标识计算，获取所述图像语义识别模型的损失值；根据所述损失值对所述图像语义识别模型的模型参数进行调整，以使调整后的所述图像语义识别模型的损失值小于预设阈值。

可选地，所述每个通道的图像特征为N维图像特征，其中，所述N为大于1的正整数，所述提取模块具体用于：将所述每个通道的图像特征对应的N维图像特征输入预设的挤压模型，获取与所述每个通道的图像特征对应的一维图像特征；根据预设计算模型计算与所述多通道图像特征对应的多个所述一维图像特征之间的相关值。

可选地，所述调整模块具体用于：根据所述相关值确定每个所述一维图像特征的权重；根据所述权重对所述每个通道的图像特征对应的N维图像特征进行加权处理，获取N维的所述多通道调整图像特征。

本发明第三方面实施例提出了一种计算机设备，包括处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如第一方面实施例所述的电路板缺陷检测方法。

本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所述的电路板缺陷检测方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

图1为本发明实施例所提供的一种电路板缺陷检测方法的流程示意图；

图2为本发明实施例所提供的另一种电路板缺陷检测方法的流程示意图；

图3为一种全卷积神经网络的原理示意图；

图4为本发明实施例所提供的另一种电路板缺陷检测方法的流程示意图；

图5为一种挤压激发模块的原理示意图；

图6为一种获取多通道调整图像特征的模型结构示意图；

图7为本发明实施例所提供的一种电路板缺陷检测装置的结构示意图；

图8为本发明实施例所提供的另一种电路板缺陷检测装置的结构示意图；

图9示出了适于用来实现本发明实施例的示例性计算机设备的框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的电路板缺陷检测方法、装置及设备。

图1为本发明实施例所提供的一种电路板缺陷检测方法的流程示意图，如图1所示，该方法包括：

步骤101，获取被测电路板的拍摄图像。

本发明实施例中，在对电路板进行缺陷检测时，可以通过相关图像采集装置采集被测电路板的拍摄图像，以根据拍摄图像对被测电路板进行缺陷检测。其中，被测电路板为需要进行缺陷检测的电路板。

可选地，在获取被测电路板的拍摄图像时，可以利用图像采集系统的高精度摄像头，通过调整摄像头的角度、光线、滤镜、倍镜、聚焦等参数，进而实时采集得到被测电路板的拍摄图像。

步骤102，提取拍摄图像的多通道图像特征，并根据预设算法计算多通道图像特征之间的相关性。

本发明实施例中，可以基于相关深度卷积网络中的卷积层对拍摄图像进行处理，提取拍摄图像的多通道图像特征。例如，输入为X，特征通道数为c1，通过卷积层进行一系列卷积变换提取到特征通道数为c2的多通道图像特征。

在本发明的一个实施例中，每个通道的图像特征为N维图像特征，其中，N为大于1的正整数。可以将每个通道的图像特征对应的N维图像特征输入预设的挤压模型，获取与每个通道的图像特征对应的一维图像特征，进而，根据预设算法计算与多通道图像特征对应的多个一维图像特征之间的相关值。

在本发明的一个实施例中，若每个通道的图像特征为一维图像特征，可以根据预设算法计算与多个一维图像特征之间的相关值。

需要说明的是，本实施例中的预设算法可以由本领域技术人员根据需要进行选择，此处不作限制。

步骤103，根据相关性计算多通道图像特征中每个通道的图像特征对应的权重值，根据权重值对多通道图像特征进行调整获取多通道调整图像特征。

本发明实施例中，每个通道的图像特征对于缺陷检测的贡献度可能不同，因此，可以基于相关性计算每个通道的图像特征对应的权重值，进而根据权重值获取多通道调整图像特征，由此，通过对不同通道的图像特征赋予权重值，实现了特征校准，更多地关注信息丰富的特征，抑制信息少的特征，提高了缺陷检测的效果。

在本发明的一个实施例中，可以根据相关值确定每个一维图像特征的权重，例如，根据相关性计算的一维图像特征的相关值越大，对应的权重值越大。进而根据权重对多个通道的原图像特征进行加权处理，获取多通道调整图像特征。其中，多通道调整图像特征根据权重进行了加权，多通道调整图像特征的维度与多通道图像特征的维度相同。

步骤104，将多通道调整图像特征输入预设的图像语义识别模型，获取缺陷像素单元和与缺陷像素单元对应的缺陷类别标识。

在本发明的一个实施例中，可以获取电路器件的样本图像，其中，样本图像包括标注区域和标注区域对应的缺陷类别。进一步，可以采用经过标注的样本图像训练预设模型的处理参数，生成图像语义识别模型，使图像语义识别模型的输入为图像特征，输出为图像中存在的缺陷像素单元和与缺陷像素单元对应的缺陷类别标识。

进而，将多通道调整图像特征输入预设的图像语义识别模型，利用二分插值的方式实现像素级别的预测，确定拍摄图像中各像素点对应的缺陷类别标识，从而确定拍摄图像中存在的缺陷像素单元和对应的缺陷类别标识。

作为一种示例，拍摄图像中的电路板存在缺陷，在获取与拍摄图像对应的多通道图像特征后，将该多通道图像特征输入到图像语义识别模型中进行处理，可以获取拍摄图像中的缺陷像素单元例如像素的集合1和集合2，以及该集合1对应的缺陷类别标识A，集合2对应的缺陷类别标识B。

其中，缺陷类别标识用于指示电路板存在的缺陷类别，缺陷类别包括但不限于线路缺陷、孔点缺陷、焊接缺陷等。

步骤105，根据缺陷像素单元和与缺陷像素单元对应的缺陷类别标识对电路板进行缺陷检测。

在本发明的一个实施例中，在根据图像语义识别模型获取到待测电路板的缺陷像素单元和对于的缺陷类别标识后，还可以根据缺陷像素单元的位置确定电路板的实际缺陷位置，并将实际缺陷位置和缺陷类别标识反馈给生产人员。

作为一种示例，在根据图像语义识别模型获取到待测电路板的缺陷像素单元和相应的缺陷类别标识后，可以获取缺陷像素单元的位置确定待测电路板的缺陷的实际位置，进而通过预设的提示系统，对待测电路板的缺陷类别和缺陷位置进行提示，其中，提示的形式包括但不限于语音提示、文字提示等。

本发明实施例的电路板缺陷处理方法，通过获取被测电路板的拍摄图像，提取拍摄图像的多通道图像特征，并根据预设算法计算多通道图像特征之间的相关性。进而，根据相关性计算多通道图像特征中每个通道的图像特征对应的权重值，根据权重值对多通道图像特征进行调整获取多通道调整图像特征。进一步将多通道调整图像特征输入预设的图像语义识别模型，获取缺陷像素单元和与缺陷像素单元对应的缺陷类别标识，以根据缺陷像素单元和与缺陷像素单元对应的缺陷类别标识对电路板进行缺陷检测。由此，通过图像语义识别模型对电路板的像素进行分类，提高了电路板缺陷检测的智能化程度，提高了被测电路板缺陷检测的精度和效率。并且，通过对不同通道的图像特征赋予权重值，实现了特征校准，进一步提高了缺陷检测的效果。

基于上述实施例，进一步地，下面结合样本图像训练图像语义识别模型进行解释说明。

图2为本发明实施例所提供的另一种电路板缺陷处理方法的流程示意图，如图2所示，在将多通道调整图像特征输入预设的图像语义识别模型之前，该方法还包括：

步骤201，获取样本图像。

本实施例中，样本图像存在标注区域，标注区域内展示的电路器件存在缺陷。

可选地，样本图像可以是通过高精度摄像头对存在缺陷的样本电路板进行拍摄得到的。进而，通过样本图像训练图像语义识别模型，以使图像语义识别模型能够对拍摄图像中的像素进行分类。

步骤202，根据标注区域内展示的电路器件的缺陷类别，对样本图像进行标注。

本发明实施例中，获取的样本图像中存在标注区域，并且标注区域内展示的电路器件存在有缺陷，因此，在获取到样本图像后，可以根据标注区域内展示的电路器件的缺陷类别，对样本图像进行标注。例如，可以在样本图像中标注电路板缺陷部分的像素单元，以及与像素单元对应的类别标识。

步骤203，采用经过标注的样本图像对图像语义识别模型进行训练。

在本发明的一个实施例中，可以获取图像语义识别模型输出的与样本图像对应的测试缺陷像素单元和与测试缺陷像素单元对应的测试缺陷类别标识。根据损失函数对标注区域、缺陷类别、测试缺陷像素单元和测试缺陷类别标识计算，获取图像语义识别模型的损失值。根据损失值对图像语义识别模型的模型参数进行调整，以使调整后的图像语义识别模型的损失值小于预设阈值。

作为一种示例，可以对经过标注的样本图像提取图像特征，并根据图像特征获取多通道调整图像特征，将多通道调整图像特征输入到图像语义识别模型的池化层进行降维操作，进而将降维操作后的图像特征输入到全连接层，对样本图像进行像素级别的预测，获取测试缺陷像素单元与对应的测试缺陷类别标识。

进一步地，将输出的测试缺陷像素单元与测试缺陷类别标识，与标注区域和对应的缺陷类别进行匹配，根据损失函数进行计算，获取图像语义识别模型的损失值。根据损失值通过反向传播的方式对图像语义识别模型的模型参数进行调整，并重复上述步骤，当调整后的图像语义识别模型的损失值小于预设阈值时，停止训练。

下面结合图像语义识别的实现原理进行说明。参照图3，图3为一种全卷积神经网络FCN的原理示意图。其中，FCN算法以分类模型作为基础网络，将标注的样本图像输入模型，通过基础网络的卷积操作获取图像特征。进一步的，池化层对提取到的图像特征进行降维操作，最终通过全连接层对降维后的图像特征进行处理，通过二分插值的方式获取图像中各像素点的类别，从而实现像素级别的预测。进一步地，将各像素输出的类别与标注的类别得到损失函数，将损失函数得到的误差反向传播，对模型进行训练。当误差值小于预设阈值时，停止训练。

本发明实施例的电路板缺陷处理方法，通过获取样本图像，并根据标注区域内展示的电路器件的缺陷类别，对样本图像进行标注，进而采用经过标注的样本图像对图像语义识别模型进行训练。由此，通过标注的样本图像对图像语义识别模型进行训练，能够基于语义分割对图像进行像素级别的预测，获取图像中的缺陷像素单元和对应的缺陷类别标识，从而提高了电路板检测的准确度。

基于上述实施例，进一步地，下面对根据图像特征获取多通道调整图像特征进行解释说明。

图4为本发明实施例所提供的一种获取多通道调整图像特征的流程示意图，如图4所示，包括：

步骤301，将每个通道的图像特征对应的N维图像特征输入预设的挤压模型，获取与每个通道的图像特征对应的一维图像特征。

其中，每个通道的图像特征为N维图像特征，其中，N为大于1的正整数。

本实施例中，通过对图像特征的挤压和激发操作，能够充分利用图像特征在不同通道之间关系。也就是说，可以通过学习的方式获取到每个特征通道的重要程度，进而根据该重要程度提升有用的特征并抑制对当前任务用处不大的特征。

作为一种示例，根据预设的挤压模型对特征图求平均值,以将每个通道的N维图像特征转换为一维图像特征。

步骤302，根据预设计算模型计算与多通道图像特征对应的多个一维图像特征之间的相关值。

步骤303，根据相关值确定每个一维图像特征的权重。

本发明实施例中，可以通过预设计算模型建模多个一维特征之间的相关性，获取相关值，并根据相关值确定每个一维图像特征的权重。其中，预设计算模型可以根据需要进行设置，此处不作限制。

步骤304，根据权重对每个通道的图像特征对应的N维图像特征进行加权处理，获取N维的多通道调整图像特征。

本发明实施例中，每个一维图像特征对应一个特征通道，可以根据上述步骤中确定的每个一维图像特征的权重，对相应特征通道的N维图像特征进行加权处理，从而获取N维的多通道调整图像特征。其中，多通道调整图像特征的维度与挤压前的图像特征维度相同。

作为一种示例，参照图5，图5为一种SE(Squeeze-and-Excitation，挤压和激发)模块的原理示意图，对于特征通道数为c1的输入x，通过一系列卷积等变换后得到特征通道数为c2的图像特征x’。进而，对该图像特征x’进行挤压操作，根据空间维度进行特征压缩，将每个二维的特征通道转换为一个实数，该实数包含了全局信息，并且输出的维度和输入的特征通道数匹配。进一步，对上述实数进行激发操作，通过参数w为每个特征通道生成权重，其中参数w用于建模特征通道间的相关性。进一步地，上一步激发操作输出的权重可以代表特征选择后的每个特征通道的重要程度，可以通过乘法将权重逐通道加权到图像特征x’上，从而实现在通道维度上的对原图像特征的重标定。

作为一种示例，参照图6，图6为一种用于获取多通道调整图像特征的模型结构示意图，以SE模块嵌入到ResNet(残差神经网络)中的结构为例，首先对于输入x提取图像特征，进而对图像特征进行全局均值池化(global average pooling)处理，比如对于每一张特征图计算所有像素点的均值，输出一个数据值，进而根据多个数据值组成一个特征向量，从而实现图像特征的挤压。进而，通过两个全连接层(图中为FC)建模通道间的相关性，并输出与特征通道数对应的权重，比如，可以先将特征维度降低到输入的1/16，进而经过ReLu激活后再还原至原先维度，从而更好的拟合通道间相关性，并减少了参数量和计算量。进一步地，通过Sigmoid的门获取归一化的权重值，并将归一化后的权重加权至每个通道的图像特征，从而生成多通道调整图像特征。

本发明实施例的电路板缺陷处理方法，通过获取每个通道的图像特征对应的权重，并根据权重对相应的图像特征进行加权，获取多通道调整图像特征，能够充分利用图像特征在不同通道之间关系，提高了缺陷检测的效果。

为了实现上述实施例，本发明还提出一种电路板缺陷处理装置。

图7为本发明实施例所提供的一种电路板缺陷处理装置的结构示意图，如图7所示，该装置包括：获取模块100，提取模块200，调整模块300，识别模块400，检测模块500。

其中，获取模块100，用于获取被测电路板的拍摄图像。

提取模块200，用于提取拍摄图像的多通道图像特征，并根据预设算法计算多通道图像特征之间的相关性。

调整模块300，用于根据相关性计算多通道图像特征中每个通道的图像特征对应的权重值，根据权重值对多通道图像特征进行调整获取多通道调整图像特征。

识别模块400，用于将多通道调整图像特征输入预设的图像语义识别模型，获取缺陷像素单元和与缺陷像素单元对应的缺陷类别标识。

检测模块500，用于根据缺陷像素单元和与缺陷像素单元对应的缺陷类别标识对电路板进行缺陷检测。

在图7的基础上，图8所示的装置还包括：训练模块600。

其中，训练模块600，用于获取样本图像，其中，样本图像存在标注区域，标注区域内展示的电路器件存在缺陷；根据标注区域内展示的电路器件的缺陷类别，对样本图像进行标注；采用经过标注的样本图像对所述图像语义识别模型进行训练。

可选地，训练模块600具体用于：获取图像语义识别模型输出的与样本图像对应的测试缺陷像素单元和与测试缺陷像素单元对应的测试缺陷类别标识；根据损失函数对标注区域、缺陷类别、测试缺陷像素单元和测试缺陷类别标识计算，获取图像语义识别模型的损失值；根据损失值对图像语义识别模型的模型参数进行调整，以使调整后的图像语义识别模型的损失值小于预设阈值。

可选地，每个通道的图像特征为N维图像特征，其中，N为大于1的正整数，提取模块200具体用于：将每个通道的图像特征对应的N维图像特征输入预设的挤压模型，获取与每个通道的图像特征对应的一维图像特征；根据预设计算模型计算与多通道图像特征对应的多个一维图像特征之间的相关值。

可选地，调整模块300具体用于：根据相关值确定每个所述一维图像特征的权重；根据权重对所述每个通道的图像特征对应的N维图像特征进行加权处理，获取N维的多通道调整图像特征。

需要说明的是，前述实施例对电路板缺陷处理方法的解释说明同样适用与本实施例的装置，此处不再赘述。

本发明实施例的电路板缺陷检测装置，通过图像语义识别模型对电路板的像素进行分类，提高了电路板缺陷检测的智能化程度，提高了被测电路板缺陷检测的精度和效率。并且，通过对不同通道的图像特征赋予权重值，实现了特征校准，进一步提高了缺陷检测的效果。

为了实现上述实施例，本发明还提出一种计算机设备，包括处理器和存储器；其中，处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现如前述任一实施例所述的电路板缺陷检测方法。

为了实现上述实施例，本发明还提出一种计算机程序产品，当计算机程序产品中的指令被处理器执行时实现如前述任一实施例所述的电路板缺陷检测方法。

为了实现上述实施例，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前述任一实施例所述的电路板缺陷检测方法。

图9示出了适于用来实现本发明实施例的示例性计算机设备的框图。图9显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图9未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local AreaNetwork；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。

在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种电路板缺陷检测方法，其特征在于，包括：

获取被测电路板的拍摄图像；

提取所述拍摄图像的多通道图像特征，并根据预设算法计算所述多通道图像特征之间的相关性；

根据所述相关性计算所述多通道图像特征中每个通道的图像特征对应的权重值，根据所述权重值对所述多通道图像特征进行调整获取多通道调整图像特征；

将所述多通道调整图像特征输入预设的图像语义识别模型，获取缺陷像素单元和与所述缺陷像素单元对应的缺陷类别标识；

根据所述缺陷像素单元和与所述缺陷像素单元对应的缺陷类别标识对所述电路板进行缺陷检测。

2.如权利要求1所述的方法，其特征在于，在将所述多通道调整图像特征输入预设的图像语义识别模型之前，还包括：

获取样本图像，其中，所述样本图像存在标注区域，所述标注区域内展示的电路器件存在缺陷；

根据所述标注区域内展示的电路器件的缺陷类别，对所述样本图像进行标注；

采用经过标注的所述样本图像对所述图像语义识别模型进行训练。

3.如权利要求2所述的方法，其特征在于，所述采用经过标注的所述样本图像对所述图像语义识别模型进行训练包括：

获取所述图像语义识别模型输出的与所述样本图像对应的测试缺陷像素单元和与所述测试缺陷像素单元对应的测试缺陷类别标识；

根据损失函数对所述标注区域、所述缺陷类别、所述测试缺陷像素单元和所述测试缺陷类别标识计算，获取所述图像语义识别模型的损失值；

根据所述损失值对所述图像语义识别模型的模型参数进行调整，以使调整后的所述图像语义识别模型的损失值小于预设阈值。

4.如权利要求1所述的方法，其特征在于，所述每个通道的图像特征为N维图像特征，其中，所述N为大于1的正整数，所述提取所述拍摄图像的多通道图像特征，并根据预设算法计算所述多通道图像特征之间的相关性，包括：

将所述每个通道的图像特征对应的N维图像特征输入预设的挤压模型，获取与所述每个通道的图像特征对应的一维图像特征；

根据预设计算模型计算与所述多通道图像特征对应的多个所述一维图像特征之间的相关值。

5.如权利要求4所述的方法，其特征在于，所述根据所述相关性计算所述多通道图像特征中每个通道的图像特征对应的权重值，根据所述权重值对所述多通道图像特征进行调整获取多通道调整图像特征，包括：

根据所述相关值确定每个所述一维图像特征的权重；

根据所述权重对所述每个通道的图像特征对应的N维图像特征进行加权处理，获取N维的所述多通道调整图像特征。

6.一种电路板缺陷检测装置，其特征在于，包括：

获取模块，用于获取被测电路板的拍摄图像；

提取模块，用于提取所述拍摄图像的多通道图像特征，并根据预设算法计算所述多通道图像特征之间的相关性；

调整模块，用于根据所述相关性计算所述多通道图像特征中每个通道的图像特征对应的权重值，根据所述权重值对所述多通道图像特征进行调整获取多通道调整图像特征；

识别模块，用于将所述多通道调整图像特征输入预设的图像语义识别模型，获取缺陷像素单元和与所述缺陷像素单元对应的缺陷类别标识；

检测模块，用于根据所述缺陷像素单元和与所述缺陷像素单元对应的缺陷类别标识对所述电路板进行缺陷检测。

7.如权利要求6所述的装置，其特征在于，还包括：

训练模块，用于获取样本图像，其中，所述样本图像存在标注区域，所述标注区域内展示的电路器件存在缺陷；

根据所述标注区域内展示的电路器件的缺陷类别，对所述样本图像进行标注；

采用经过标注的所述样本图像对所述图像语义识别模型进行训练。

8.如权利要求7所述的装置，其特征在于，所述训练模块具体用于：

获取所述图像语义识别模型输出的与所述样本图像对应的测试缺陷像素单元和与所述测试缺陷像素单元对应的测试缺陷类别标识；

根据损失函数对所述标注区域、所述缺陷类别、所述测试缺陷像素单元和所述测试缺陷类别标识计算，获取所述图像语义识别模型的损失值；

根据所述损失值对所述图像语义识别模型的模型参数进行调整，以使调整后的所述图像语义识别模型的损失值小于预设阈值。

9.如权利要求6所述的装置，其特征在于，所述每个通道的图像特征为N维图像特征，其中，所述N为大于1的正整数，所述提取模块具体用于：

将所述每个通道的图像特征对应的N维图像特征输入预设的挤压模型，获取与所述每个通道的图像特征对应的一维图像特征；

根据预设计算模型计算与所述多通道图像特征对应的多个所述一维图像特征之间的相关值。

10.如权利要求9所述的装置，其特征在于，所述调整模块具体用于：

根据所述相关值确定每个所述一维图像特征的权重；

根据所述权重对所述每个通道的图像特征对应的N维图像特征进行加权处理，获取N维的所述多通道调整图像特征。

11.一种计算机设备，其特征在于，包括处理器和存储器；

其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-5中任一项所述的电路板缺陷处理方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的电路板缺陷处理方法。