CN107123117B - 一种基于深度学习的ic引脚焊点质量检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于深度学习的IC引脚焊点质量检测方法，该方法包括以下步骤：确定包含待检测的IC引脚焊点的目标图片；将目标图片输入到基于深度学习预先训练的第一卷积神经网络中，进行前向传播，获得IC引脚焊点的第一合格概率；确定目标图片的关键区域；将关键区域输入到基于深度学习预先训练的第二卷积神经网络中，进行前向传播，获得IC引脚焊点的第二合格概率；根据第一合格概率和第二合格概率，确定IC引脚焊点是否合格。应用本发明实施例所提供的技术方案，将深度学习技术应用到IC引脚焊点质量检测中，提高了对IC引脚焊点质量检测的准确率。本发明还公开了一种基于深度学习的IC引脚焊点质量检测装置，具有相应技术效果。

Description

一种基于深度学习的IC引脚焊点质量检测方法及装置

技术领域

本发明涉及工业检测技术领域，特别是涉及一种基于深度学习的IC引脚焊点质量检测方法及装置。

背景技术

随着工业生产技术水平的提高和电子产业的快速发展，印刷电路板PCB上的集成电路IC元件变得越来越精细。在一整块PCB上，任何一个IC引脚焊点的缺陷都会导致整个电子设备出现异常甚至是故障。PCB上的IC引脚焊点的可靠性是电子产品实际产生过程中需关注的一个重要问题。

目前主要是通过特征提取对IC引脚焊点质量进行检测。

特征提取需要大量的专业先验知识，需要有丰富经验的专业人员进行操作，而且，因为IC引脚焊点大小较小，对IC引脚焊点进行特征提取具有较大的困难，缺乏针对性，很难提取到有效特征，容易产生错误，对IC引脚焊点的检测准确率较低。

发明内容

本发明的目的是提供一种基于深度学习的IC引脚焊点质量检测方法及装置，以提高对IC引脚焊点质量检测的准确率。

为解决上述技术问题，本发明提供如下技术方案：

一种基于深度学习的IC引脚焊点质量检测方法，包括：

确定包含待检测的IC引脚焊点的目标图片；

将所述目标图片输入到基于深度学习预先训练的第一卷积神经网络中，进行前向传播，获得所述IC引脚焊点的第一合格概率；

确定所述目标图片的关键区域；

将所述关键区域输入到基于深度学习预先训练的第二卷积神经网络中，进行前向传播，获得所述IC引脚焊点的第二合格概率；

根据所述第一合格概率和所述第二合格概率，确定所述IC引脚焊点是否合格。

在本发明的一种具体实施方式中，所述确定所述目标图片的关键区域，包括：

对所述目标图片进行切割操作，获得多个切片；

分别将每个切片输入到基于深度学习预先训练的第三卷积神经网络中，进行前向传播，获得每个切片属于关键区域的概率；

将概率最高的切片确定为所述目标图片的关键区域。

在本发明的一种具体实施方式中，所述对所述目标图片进行切割操作，获得多个切片，包括：

通过预设的滑动窗口对所述目标图片进行切割操作，获得多个切片。

在本发明的一种具体实施方式中，所述滑动窗口的宽度与所述目标图片的宽度相同。

在本发明的一种具体实施方式中，所述根据所述第一合格概率和所述第二合格概率，确定所述IC引脚焊点是否合格，包括：

根据所述第一合格概率、所述第二合格概率及以下公式确定所述IC引脚焊点的合格概率；

根据所述合格概率与预设阈值的大小关系，确定所述IC引脚焊点是否合格；

所述公式为：

out＝(1-ρ)P₁+ρP₂；

其中，P₁为第一合格概率，P₂为第二合格概率，ρ为影响因子：

σ_cnn-1为第一卷积神经网络的影响因子，σ_cnn-2为第二卷积神经网络的影响因子；

N为训练样本数量，p₁(i)为第一卷积神经网络预测训练样本i为合格样本的概率，p₂(i)为第二卷积神经网络预测训练样本i为合格样本的概率。

在本发明的一种具体实施方式中，所述第一卷积神经网络、所述第二卷积神经网络和所述第三卷积神经网络均包含三个卷积层、一个池化层和两个全连接层。

一种基于深度学习的IC引脚焊点质量检测装置，包括：

目标图片确定模块，用于确定包含待检测的IC引脚焊点的目标图片；

第一合格概率获得模块，用于将所述目标图片输入到基于深度学习预先训练的第一卷积神经网络中，进行前向传播，获得所述IC引脚焊点的第一合格概率；

关键区域确定模块，用于确定所述目标图片的关键区域；

第二合格概率获得模块，用于将所述关键区域输入到基于深度学习预先训练的第二卷积神经网络中，进行前向传播，获得所述IC引脚焊点的第二合格概率；

IC引脚焊点合格确定模块，用于根据所述第一合格概率和所述第二合格概率，确定所述IC引脚焊点是否合格。

在本发明的一种具体实施方式中，所述关键区域确定模块，包括：

切片获得子模块，用于对所述目标图片进行切割操作，获得多个切片；

概率获得子模块，用于分别将每个切片输入到基于深度学习预先训练的第三卷积神经网络中，进行前向传播，获得每个切片属于关键区域的概率；

关键区域确定子模块，用于将概率最高的切片确定为所述目标图片的关键区域。

在本发明的一种具体实施方式中，所述切片获得子模块，具体用于：

通过预设的滑动窗口对所述目标图片进行切割操作，获得多个切片。

在本发明的一种具体实施方式中，所述IC引脚焊点合格确定模块，具体用于：

根据所述第一合格概率、所述第二合格概率及以下公式确定所述IC引脚焊点的合格概率；

根据所述合格概率与预设阈值的大小关系，确定所述IC引脚焊点是否合格；

所述公式为：

out＝(1-ρ)P₁+ρP₂；

其中，P₁为第一合格概率，P₂为第二合格概率，ρ为影响因子：

σ_cnn-1为第一卷积神经网络的影响因子，σ_cnn-2为第二卷积神经网络的影响因子；

N为训练样本数量，p₁(i)为第一卷积神经网络预测训练样本i为合格样本的概率，p₂(i)为第二卷积神经网络预测训练样本i为合格样本的概率。

应用本发明实施例所提供的技术方案，确定包含待检测的IC引脚焊点的目标图片后，可以将目标图片输入到基于深度学习预先训练的第一卷积神经网络中，进行前向传播，获得IC引脚焊点的第一合格概率，确定目标图片的关键区域，将关键区域输入到基于深度学习预先训练的第二卷积神经网络中，进行前向传播，获得IC引脚焊点的第二合格概率，根据第一合格概率和第二合格概率，确定IC引脚焊点是否合格，达到对IC引脚焊点质量进行检测的目的，将深度学习技术应用到IC引脚焊点质量检测中，提高了对IC引脚焊点质量检测的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种基于深度学习的IC引脚焊点质量检测方法的实施流程图；

图2为本发明实施例中卷积神经网络的整体结构示意图；

图3为本发明实施例中级联卷积神经网络中每个卷积神经网络的结构示意图；

图4为本发明实施例中级联卷积神经网络的整体结构示意图；

图5为本发明实施例中一种基于深度学习的IC引脚焊点质量检测装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1所示，为本发明实施例所提供的一种基于深度学习的IC引脚焊点质量检测方法的实施流程图，该方法包括以下步骤：

S110：确定包含待检测的IC引脚焊点的目标图片。

本发明实施例的目的是对IC引脚焊点的质量进行检测。在实际应用中，可以预先获得印刷电路板上各个IC引脚焊点的图片，并逐一对各个IC引脚焊点质量进行检测。在要对IC引脚焊点的质量进行检测时，首先确定包含待检测的IC引脚焊点的目标图片，目标图片可以是预先获得的多个IC引脚焊点的图片中的任意一个。

S120：将目标图片输入到基于深度学习预先训练的第一卷积神经网络中，进行前向传播，获得IC引脚焊点的第一合格概率。

深度学习是机器学习研究中的热门领域，通过组合底层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，旨在寻找出数据的潜在规律。

卷积神经网络(Convolutional Neural Network，CNN)能够利用其卷积结构的特性自动地从图像中提取高层的抽象的图片特征，免去了人工提取特征的过程，操作简单且有效，在识别和检测任务上远胜过传统的特征提取的方法。

卷积神经网络是人工神经网络的一种，它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少权值的数量可以节约训练和测试的计算时间。在网络的输入是多维图像时该优点表现得更加明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积神经网络是为识别二维数据而专门设计的一个多层感知机，其网络对平移、比例变化和倾斜等具有高度不变性。

在卷积神经网络中，图像的一小部分(局部感受区域)作为层级结构的最低层的输入，信息依次传输到不同的层，每层通过一个数字滤波器去获得观测数据的最显著的特征。这种方法能够获取对平移、缩放和旋转不变的观测数据的显著特征，因为图像的局部感受区域允许神经元或者处理单元访问到最基础的特征，例如定向边缘或者角点。

卷积神经网络是一个多层的神经网络，每层由多个二维平面组成，每个平面又由多个独立的神经元组成。如图2所示，为卷积神经网络的整体结构示意图。

在图2中，C层(卷积层)为特征提取层，每个神经元的输入与前一层的局部感受区域相连，并提取该局部的特征，一旦该局部特征被提取，其与其他特征间的位置关系也随之确定下来；S层(下采样层)是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射为一个平面，称为特征图(Feature maps)，平面上所有神经元的权值相等。特征映射结构采用sigmoid等映射函数作为卷积神经网络的激活函数，使得特征映射具有位移不变性。输入图像分别通过C层、S层，到达分类器(Softmax或SVM)。

由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数，降低了网络参数选择的复杂度。卷积神经网络中的每一个特征提取层(C层)都紧跟着一个用来求局部平均与二次提取的计算层(S层)，这种特有的两次特征提取结构使网络在识别时对输入样本有较高的畸变容忍能力。

卷积神经网络可以采用有监督学习的方式进行训练，即任何一个训练样本的类别是已知的，训练样本在空间中的分布不再是依据其自然分布倾向来划分，而是根据同类样本和不同类样本中的空间关系进行划分，这需要不断调整网络模型的参数用以划分样本空间的分类边界的位置，是一个耗时且复杂的学习训练过程。

卷积神经网络在进行训练时，所有的网络权值都用一些不同的小随机数进行初始化(一般采用服从均值为0，方差为0.01的高斯分布的方法)，这些小的随机数能够保证网络不会因为权值过大而进入饱和状态，导致训练失败。卷积神经网络训练算法(即反向传播BP算法)包括以下四个主要步骤：

第一个步骤：样本集中取出样本(X,y_P)并将其输入到网络，X代表图像数组，y_P代表其类别；

第二个步骤：计算此次输入相应的实际输出O_P，这是一个前向传播的过程；

第三个步骤：用一个指定的损失函数计算出实际输出O_P与理想输出Y_P的误差；

第四个步骤：按极小化误差的方法反向传播调整网络权值。

在本发明实施例中，基于深度学习可以预先训练得到第一卷积神经网络。在本发明实施例的一种具体实施方式中，第一卷积神经网络包含三个卷积层、一个池化层和两个全连接层，如图3所示，Input为输入，Conv-1、Conv-3、Conv-4为卷积层、Pool-2为池化层，FC和Softmax为全连接层。每一个卷积层的卷积核大小可以设置为3×3。因为IC引脚焊点本身尺寸较小，如果设置过大的卷积核将会造成计算复杂度的提升，而且容易忽视掉IC引脚焊点图片中的一些复杂信息。池化层是一个下采样的过程，目的是为了简化计算和引入不变性，但同时会导致一些图片信息的丢失，所以，在本发明实施例中可只采用一个池化层。

将目标图片输入到第一卷积神经网络中，进行前向传播，可以获得IC引脚焊点的第一合格概率，如将一张完整的大小为84×16的IC引脚焊点的RGB三通道图片输入到第一卷积神经网络中，输出为该图片属于合格样本的概率。

其中，第一卷积神经网络的特征图数量如表1所示。

卷积神经网络	Conv-1	Pool-2	Conv-3	Conv-4	FC	Softmax
							第一卷积神经网络	24	24	48	72	8	2

表1

S130：确定目标图片的关键区域。

目标图片为包含待检测的IC引脚焊点的图片，目标图片的关键区域，即感兴趣区域，包含了较为重要的信息，是最有可能存在缺陷的关键部位。不同IC引脚焊点图片的关键区域的存在位置不同。通过人为或者预设的算法可以确定目标图片的关键区域。

在本发明的一种具体实施方式中，步骤S130可以包括以下步骤：

步骤一：对目标图片进行切割操作，获得多个切片；

步骤二：分别将每个切片输入到基于深度学习预先训练的第三卷积神经网络中，进行前向传播，获得每个切片属于关键区域的概率；

步骤三：将概率最高的切片确定为目标图片的关键区域。

为便于描述，将上述三个步骤结合起来进行说明。

确定包含待检测的IC引脚焊点的目标图片后，可以对目标图片进行切割操作，获得目标图片对应的多个切片。

具体的，可以通过预设的滑动窗口对目标图片进行切割操作，获得多个切片。滑动窗口的大小可以根据实际情况进行设定和调整。在本发明的一种具体实施方式中，滑动窗口的宽度可以与目标图片的宽度相同。如目标图片大小为84×16，将滑动窗口的大小设置为16×16，使滑动窗口的宽度与目标图片的宽度相同。同时，可以将滑动步幅设置为1像素。使用这样的滑动窗口对目标图片进行切割操作，可以得到目标图片对应的69(84-16+1＝69)个切片。由于目标图片的宽度与滑动窗口的宽度大小相等，因此只需要在竖直方向上进行滑窗操作，而不需要在水平方向上进行滑动，可以减少计算所需时间，提高检测效率。

另外，将滑动步幅设置为1个像素，进行了最精密的检测，保证最高的检测精度。

在本发明实施例中，基于深度学习可以预先训练得到第三卷积神经网络。在本发明实施例的一种具体实施方式中，第三卷积神经网络包含三个卷积层、一个池化层和两个全连接层，如图3所示，Input为输入，Conv-1、Conv-3、Conv-4为卷积层、Pool-2为池化层，FC和Softmax为全连接层。每一个卷积层的卷积核大小可以设置为3×3。因为IC引脚焊点本身尺寸较小，如果设置过大的卷积核将会造成计算复杂度的提升，而且容易忽视掉IC引脚焊点图片中的一些复杂信息。池化层是一个下采样的过程，目的是为了简化计算和引入不变性，但同时会导致一些图片信息的丢失，所以，在本发明实施例中可只采用一个池化层。

分别将每个切片输入到第三卷积神经网络中，进行前向传播，第三卷积神经网络可以预测出每个切片属于关键区域的概率。其中，第三卷积神经网络的特征图数量如表2所示。

卷积神经网络	Conv-1	Pool-2	Conv-3	Conv-4	FC	Softmax
							第三卷积神经网络	16	16	32	48	10	2

表2

将概率最高的切片确定为目标图片的关键区域。第三卷积神经网络本质是一个二分类器，能够将输入样本识别为关键区域和非关键区域两类。

需要说明的是，本发明实施例对步骤S120和步骤S130的执行顺序不做限制，可以按先后顺序执行，还可以同时执行。

S140：将关键区域输入到基于深度学习预先训练的第二卷积神经网络中，进行前向传播，获得IC引脚焊点的第二合格概率。

在本发明实施例中，基于深度学习可以预先训练得到第二卷积神经网络。在本发明实施例的一种具体实施方式中，第二卷积神经网络包含三个卷积层、一个池化层和两个全连接层，如图3所示，Input为输入，Conv-1、Conv-3、Conv-4为卷积层、Pool-2为池化层，FC和Softmax为全连接层。每一个卷积层的卷积核大小可以设置为3×3。因为IC引脚焊点本身尺寸较小，如果设置过大的卷积核将会造成计算复杂度的提升，而且容易忽视掉IC引脚焊点图片中的一些复杂信息。池化层是一个下采样的过程，目的是为了简化计算和引入不变性，但同时会导致一些图片信息的丢失，所以，在本发明实施例中可只采用一个池化层。

将关键区域输入到第二卷积神经网络中，进行前向传播，可以获得IC引脚焊点的第二合格概率。其中，第二卷积神经网络的特征图数量如表3所示。

卷积神经网络	Conv-1	Pool-2	Conv-3	Conv-4	FC	Softmax
							第二卷积神经网络	30	30	60	90	8	2

表3

S150：根据第一合格概率和第二合格概率，确定IC引脚焊点是否合格。

在步骤S120，获得IC引脚焊点的第一合格概率，在步骤S140，获得IC引脚焊点的第二合格概率，根据第一合格概率和第二合格概率，可以确定IC引脚焊点是否合格。具体的，可以通过第一合格概率和第二合格概率的加权和确定IC引脚焊点是否合格。

在本发明的一种具体实施方式中，步骤S150可以包括以下步骤：

第一个步骤：根据第一合格概率、第二合格概率及以下公式确定IC引脚焊点的合格概率；

第二个步骤：根据合格概率与预设阈值的大小关系，确定IC引脚焊点是否合格；

公式为：

out＝(1-ρ)P₁+ρP₂；

其中，P₁为第一合格概率，P₂为第二合格概率，ρ为影响因子：

σ_cnn-1为第一卷积神经网络的影响因子，σ_cnn-2为第二卷积神经网络的影响因子，影响因子越大表明影响力越大；

N为训练样本数量，p₁(i)为第一卷积神经网络预测训练样本i为合格样本的概率，p₂(i)为第二卷积神经网络预测训练样本i为合格样本的概率。

在本发明实施例中，将第一卷积神经网络和第二卷积神经网络结合起来进行IC引脚焊点质量的检测。第一卷积神经网络和第二卷积神经网络的输出均为该IC引脚焊点为合格样本的概率。多个卷积神经网络结合的策略充分地利用了图片中的全局信息和局部关键信息。由于第一卷积神经网络和第二卷积神经网络独自训练得到，不同卷积神经网络网络之间性能存在差异，将每个卷积神经网络赋予不同的权重，以解决差异问题。

根据第一合格概率和第二合格概率，可以确定出IC引脚焊点的合格概率，如果该合格概率大于预设阈值，则可以确定IC引脚焊点合格，如果该合格概率不大于该预设阈值，则可以确定IC引脚焊点不合格。该阈值可以根据实际情况进行设定和调整，如设置为0.5。

应用本发明实施例所提供的方法，确定包含待检测的IC引脚焊点的目标图片后，可以将目标图片输入到基于深度学习预先训练的第一卷积神经网络中，进行前向传播，获得IC引脚焊点的第一合格概率，确定目标图片的关键区域，将关键区域输入到基于深度学习预先训练的第二卷积神经网络中，进行前向传播，获得IC引脚焊点的第二合格概率，根据第一合格概率和第二合格概率，确定IC引脚焊点是否合格，达到对IC引脚焊点质量进行检测的目的，将深度学习技术应用到IC引脚焊点质量检测中，提高了对IC引脚焊点质量检测的准确率。

为便于理解，以图4所示的一种级联卷积神经网络的整体结构示意图为例，对本发明实施例进行进一步说明。

图4中，整体输入为包含待检测的IC引脚焊点的目标图片，大小为84×16，分为两路检测，其中一路为使用第一卷积神经网络CNN-1对整张图片进行检测，另外一路首先使用第三卷积神经网络CNN-3自适应地确定一个感兴趣区域(ROI)，也即关键区域，再使用第二卷积神经网络CNN-2对ROI进行检测，最后的输出结果由CNN-1和CNN-2的加权和得到，ρ为CNN-2的权重因子。OK表示合格，NG表示不合格。该级联卷积神经网络包括了三种类型的卷积神经网络(CNN-1、CNN-2和CNN-3)，每一个CNN有相同的网络结构，但是有不同的特征图数量(Feature maps)。每个卷积神经网络包含三个卷积层、一个池化层(下采样层)和两个全连接层(其中一个为用于分类的Softmax层)，其网络结构和特征图数量分别由图3和表1-表3详细列出。

本发明实施例将独立的卷积神经网络级联成一个整体架构，有利于平衡CNN-1和CNN-2之间的检测性能，产生互补的作用，同时能够将系统的漏检率降到最低。

以下对基于深度学习训练各卷积神经网络的过程进行进一步说明。本发明实施例的级联卷积神经网络架构可以使用Caffe(Convolution Architecture For FeatureExtraction)框架实现，Caffe是一个清晰、可读性高、快速的深度学习框架，适合在图像处理领域使用。

在训练时，可以使用随机梯度下降(Stochastic gradient descent，SGD)策略和后向传播(Back propagation，BP)算法更新网络每一层中的参数权值。这些权值即为网络的训练结果。在网络中，初始的学习率为0.01，在训练过程中不断下降，遵循以下公式：

LR＝lr_b×(1+γ×iter)^-power；

其中，LR为当前学习率，初始学习率lr_b为0.01，γ为0.001，power为0.75，iter为当前的迭代次数。一个不断下降的学习率可以保证网络的损失函数不断地接近最小值。动量项(momentum)设置为0.9，权重衰减项(weight decay)设置为0.005，这两个数值可以避免保证网络陷入局部最小值和过拟合。激活函数可以统一使用ReLU(Rectified LinearUnits)激活函数，加快网络的收敛速度。

所有的训练过程可以在带有NVIDIA Quadro K4200 4GB GPU的电脑上进行，以保证训练效率。但考虑到实际使用过程中，配备高计算能力的GPU的机器较为昂贵，为保证本发明实施例所提供的方法可以有效地运用在实际生产中，所有测试过程也可在CPU上进行。

本发明实施例采用深度学习领域中的卷积神经网络进行识别检测任务，与当前使用较多的人工提取特征的方法(如SVM和人工神经网络)相比鲁棒性更高，具有较大优势；与基于ViBe和基于RPCA的方法相比，本发明实施例在保证效率的前提下，更适合用于大数量的样本，因此更适合应用于实际生产中。

本发明实施例将深度学习技术应用到IC焊点质量检测工作中，旨在利用深度学习卷积神经网络的鲁棒性、高效性和准确性解决质量检测问题。与一般使用单个卷积神经网络进行识别检测的思路不同，本发明实施例提出了一个新颖的级联架构，将三个独立训练的卷积神经网络结合到一起产生互补作用，再结合自适应确定感兴趣区域和权值确定的策略，使IC焊点质量检测的准确率得到进一步提升，具有较大的应用价值和前景。

相应于上面的方法实施例，本发明实施例还提供了一种基于深度学习的IC引脚焊点质量检测装置，下文描述的一种基于深度学习的IC引脚焊点质量检测装置与上文描述的一种基于深度学习的IC引脚焊点质量检测方法可相互对应参照。

参见图5所示，该装置包括以下模块：

目标图片确定模块510，用于确定包含待检测的IC引脚焊点的目标图片；

第一合格概率获得模块520，用于将目标图片输入到基于深度学习预先训练的第一卷积神经网络中，进行前向传播，获得IC引脚焊点的第一合格概率；

关键区域确定模块530，用于确定目标图片的关键区域；

第二合格概率获得模块540，用于将关键区域输入到基于深度学习预先训练的第二卷积神经网络中，进行前向传播，获得IC引脚焊点的第二合格概率；

IC引脚焊点合格确定模块550，用于根据第一合格概率和第二合格概率，确定IC引脚焊点是否合格。

应用本发明实施例所提供的装置，确定包含待检测的IC引脚焊点的目标图片后，可以将目标图片输入到基于深度学习预先训练的第一卷积神经网络中，进行前向传播，获得IC引脚焊点的第一合格概率，确定目标图片的关键区域，将关键区域输入到基于深度学习预先训练的第二卷积神经网络中，进行前向传播，获得IC引脚焊点的第二合格概率，根据第一合格概率和第二合格概率，确定IC引脚焊点是否合格，达到对IC引脚焊点质量进行检测的目的，将深度学习技术应用到IC引脚焊点质量检测中，提高了对IC引脚焊点质量检测的准确率。

在本发明的一种具体实施方式中，关键区域确定模块530，包括：

切片获得子模块，用于对目标图片进行切割操作，获得多个切片；

概率获得子模块，用于分别将每个切片输入到基于深度学习预先训练的第三卷积神经网络中，进行前向传播，获得每个切片属于关键区域的概率；

关键区域确定子模块，用于将概率最高的切片确定为目标图片的关键区域。

在本发明的一种具体实施方式中，切片获得子模块，具体用于：

通过预设的滑动窗口对目标图片进行切割操作，获得多个切片。

在本发明的一种具体实施方式中，滑动窗口的宽度与目标图片的宽度相同。

在本发明的一种具体实施方式中，IC引脚焊点合格确定模块550，具体用于：

根据第一合格概率、第二合格概率及以下公式确定IC引脚焊点的合格概率；

根据合格概率与预设阈值的大小关系，确定IC引脚焊点是否合格；

公式为：

out＝(1-ρ)P₁+ρP₂；

其中，P₁为第一合格概率，P₂为第二合格概率，ρ为影响因子：

σ_cnn-1为第一卷积神经网络的影响因子，σ_cnn-2为第二卷积神经网络的影响因子；

N为训练样本数量，p₁(i)为第一卷积神经网络预测训练样本i为合格样本的概率，p₂(i)为第二卷积神经网络预测训练样本i为合格样本的概率。

在本发明的一种具体实施方式中，第一卷积神经网络、第二卷积神经网络和第三卷积神经网络均包含三个卷积层、一个池化层和两个全连接层。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种基于深度学习的IC引脚焊点质量检测方法，其特征在于，包括：

确定包含待检测的IC引脚焊点的目标图片；

将所述目标图片输入到基于深度学习预先训练的第一卷积神经网络中，进行前向传播，获得所述IC引脚焊点的第一合格概率；

对所述目标图片进行切割操作，获得多个切片；

分别将每个切片输入到基于深度学习预先训练的第三卷积神经网络中，进行前向传播，获得每个切片属于关键区域的概率；

将概率最高的切片确定为所述目标图片的关键区域；

将所述关键区域输入到基于深度学习预先训练的第二卷积神经网络中，进行前向传播，获得所述IC引脚焊点的第二合格概率；

根据所述第一合格概率和所述第二合格概率，确定所述IC引脚焊点是否合格。

2.根据权利要求1所述的基于深度学习的IC引脚焊点质量检测方法，其特征在于，所述对所述目标图片进行切割操作，获得多个切片，包括：

通过预设的滑动窗口对所述目标图片进行切割操作，获得多个切片。

3.根据权利要求2所述的基于深度学习的IC引脚焊点质量检测方法，其特征在于，所述滑动窗口的宽度与所述目标图片的宽度相同。

4.根据权利要求1至3任一项所述的基于深度学习的IC引脚焊点质量检测方法，其特征在于，所述根据所述第一合格概率和所述第二合格概率，确定所述IC引脚焊点是否合格，包括：

根据所述第一合格概率、所述第二合格概率及以下公式确定所述IC引脚焊点的合格概率；

根据所述合格概率与预设阈值的大小关系，确定所述IC引脚焊点是否合格；

所述公式为：

out＝(1-ρ)P₁+ρP₂；

其中，P₁为第一合格概率，P₂为第二合格概率，ρ为影响因子：

σ_cnn-1为第一卷积神经网络的影响因子，σ_cnn-2为第二卷积神经网络的影响因子；

N为训练样本数量，p₁(i)为第一卷积神经网络预测训练样本i为合格样本的概率，p₂(i)为第二卷积神经网络预测训练样本i为合格样本的概率。

5.根据权利要求1至3任一项所述的基于深度学习的IC引脚焊点质量检测方法，其特征在于，所述第一卷积神经网络、所述第二卷积神经网络和所述第三卷积神经网络均包含三个卷积层、一个池化层和两个全连接层。

6.一种基于深度学习的IC引脚焊点质量检测装置，其特征在于，包括：

目标图片确定模块，用于确定包含待检测的IC引脚焊点的目标图片；

第一合格概率获得模块，用于将所述目标图片输入到基于深度学习预先训练的第一卷积神经网络中，进行前向传播，获得所述IC引脚焊点的第一合格概率；

关键区域确定模块，用于确定所述目标图片的关键区域；

第二合格概率获得模块，用于将所述关键区域输入到基于深度学习预先训练的第二卷积神经网络中，进行前向传播，获得所述IC引脚焊点的第二合格概率；

IC引脚焊点合格确定模块，用于根据所述第一合格概率和所述第二合格概率，确定所述IC引脚焊点是否合格；

所述关键区域确定模块，包括：

切片获得子模块，用于对所述目标图片进行切割操作，获得多个切片；

概率获得子模块，用于分别将每个切片输入到基于深度学习预先训练的第三卷积神经网络中，进行前向传播，获得每个切片属于关键区域的概率；

关键区域确定子模块，用于将概率最高的切片确定为所述目标图片的关键区域。

7.根据权利要求6所述的基于深度学习的IC引脚焊点质量检测装置，其特征在于，所述切片获得子模块，具体用于：

通过预设的滑动窗口对所述目标图片进行切割操作，获得多个切片。

8.根据权利要求6至7任一项所述的基于深度学习的IC引脚焊点质量检测装置，其特征在于，所述IC引脚焊点合格确定模块，具体用于：

根据所述第一合格概率、所述第二合格概率及以下公式确定所述IC引脚焊点的合格概率；

根据所述合格概率与预设阈值的大小关系，确定所述IC引脚焊点是否合格；

所述公式为：

out＝(1-ρ)P₁+ρP₂；

其中，P₁为第一合格概率，P₂为第二合格概率，ρ为影响因子：

σ_cnn-1为第一卷积神经网络的影响因子，σ_cnn-2为第二卷积神经网络的影响因子；

N为训练样本数量，p₁(i)为第一卷积神经网络预测训练样本i为合格样本的概率，p₂(i)为第二卷积神经网络预测训练样本i为合格样本的概率。

Images