CN115330760B - 一种二极管引脚缺陷识别方法 - Google Patents

Abstract

本发明涉及数据处理技术领域，具体涉及一种二极管引脚缺陷识别方法，该方法获取包含二极管的第一区域和只包含引脚的四个第二区域；基于第一区域的第一主成分方向对第二区域进行匹配得到同一根引脚上的两个第二区域；利用设定尺寸的窗口遍历第二区域，分别计算每个窗口内的灰度方差，以获取每个第一疑似缺陷像素点的第一缺陷概率，获取每个第二区域的梯度图，根据梯度图获取每个第二疑似缺陷像素点的第二缺陷概率，结合第一缺陷概率和第二缺陷概率确认每个第二区域中的缺陷像素点；分别获取同一根引脚上的两个第二区域的连接区域，根据连接区域中的缺陷像素点数量确认缺陷区域。通过采用纹理和灰度计算，提高了二极管引脚的缺陷的检测结果。

Description

一种二极管引脚缺陷识别方法

技术领域

本发明涉及数据处理技术领域，具体涉及一种二极管引脚缺陷识别方法。

背景技术

发光二极管的久放不会影响发光，唯一受到影响的是引脚生锈问题。受成本限制，直插式发光二极管很少用铜作引脚，一般都用钢质材料镀银或镀锡来制作，钢质也即是熟铁。由于镀层较薄，保管稍有不慎很容易生锈，特别是靠近根部和横杠切口部位，严重时会变脆断掉。

现有方法对二极管上引脚上的锈斑进行检测识别是通过色调对比，如果发现引脚上有接近锈斑的色调就认为是锈斑区域，该方法对于无色透明的二极管的检测识别效果较好，但对于有色二极管，由于有色玻壳的存在，通过该方法检测识别存在较大误差。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种二极管引脚缺陷识别方法，所采用的技术方案具体如下：

采集二极管图像，对所述二极管图像进行语义分割，分别得到只包含二极管的第一区域和只包含引脚的四个第二区域；

分别获取所述第一区域的第一主成分方向，对所述第二区域进行匹配得到多个匹配对，获取每个匹配对对应两个所述第二区域的第二主成分方向，根据第一主成分方向与第二主成分方向的差值之和，将差值之和最小所对应的匹配对作为同一根引脚上的两个所述第二区域；

利用设定尺寸的窗口遍历所述第二区域，分别计算每个窗口内的灰度方差，将灰度方差作为对应窗口的中心点的值，得到灰度方差图像；对所述灰度方差图像进行阈值分割，确认第一疑似缺陷像素点，并计算每个第一疑似缺陷像素点的第一缺陷概率；利用sobel算子获取每个所述第二区域的梯度图，通过窗口获取每个窗口对应的梯度方向直方图，统计所述梯度方向直方图的方向数量，得到相邻方向的标准角度差值，根据标准角度差值计算对应窗口的方向无序性；将每个窗口的方向无序性作为对应窗口的中心像素点的方向无序性，得到每个所述第二区域的方向无序性图像，对所述方向无序性图像进行阈值分割，得到第二疑似缺陷像素点，并计算每个第二疑似缺陷像素点的第二缺陷概率；结合第一缺陷概率和第二缺陷概率确认每个所述第二区域中的缺陷像素点；

分别获取同一根引脚上的两个所述第二区域的连接区域，根据连接区域中的缺陷像素点数量确认缺陷区域。

进一步的，所述第一缺陷概率的获取方法，包括：

获取所有第一疑似缺陷像素点中的最大灰度值，将每个第一疑似缺陷像素点的灰度值与最大灰度值的比值作为对应第一疑似缺陷像素点的第一缺陷概率。

进一步的，所述相邻方向的标准角度差值的获取方法，包括：

将360度与方向数量之间的比值作为相邻方向的标准角度差值。

进一步的，所述根据标准角度差值计算对应窗口的方向无序性的方法，包括：

分别获取所述梯度方向直方图中相邻方向的角度差值，计算每个角度差值与标准角度差值的比值，得到比值序列，计算比值序列的均值；

计算所述梯度方向直方图中所有方向的矢量方向之和，将所述比值序列的均值、所述矢量方向之和的模以及方向数量之间的乘积作为对应窗口的方向无序性。

进一步的，所述第二缺陷概率的获取方法，包括：

获取所有第二疑似缺陷像素点中的最大灰度值，将每个第二疑似缺陷像素点的灰度值与最大灰度值的比值作为对应第二疑似缺陷像素点的第二缺陷概率。

进一步的，所述结合第一缺陷概率和第二缺陷概率确认每个所述第二区域中的缺陷像素点的方法，包括：

当第一疑似缺陷像素点和第二疑似缺陷像素点属于同一像素点时，获取对应第一缺陷概率与第二缺陷概率的乘积；当乘积大于乘积阈值时，确认该像素点为缺陷像素点。

本发明实施例至少具有如下有益效果：通过采用纹理和灰度计算，而不是色调的对比，结合锈斑区域的纹理特征可以对玻壳内部的锈斑缺陷也进行识别；通过对同一匹配对中的非遮罩区域和遮罩区域的连接处的锈斑进行检测识别，可以得到该玻壳内部的缺陷是否是锈斑区域，检测结果的可靠性较高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例提供的一种二极管引脚缺陷识别方法的步骤流程图；

图2为发光二极管的示意图；

图3为锈斑图像的示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种二极管引脚缺陷识别方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种二极管引脚缺陷识别方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种二极管引脚缺陷识别方法的步骤流程图，该方法包括以下步骤：

步骤S001，采集二极管图像，对二极管图像进行语义分割，分别得到只包含二极管的第一区域和只包含引脚的四个第二区域。

具体的，首先通过摄像机对二极管图像进行采集，得到二极管图像，将得到的二极管图像通过二极管语义分割网络和引脚语义分割网络分别得到只含二极管的第一图像和只含引脚的第二图像。

二极管语义分割网络的训练过程如下：

1.使用的数据集为俯视采集的二极管图像的数据集，发光二极管的样式为多种多样的。

2.需要分割的像素共分为两类，即训练集对应标签标注过程为：单通道的语义标签，对应位置像素属于背景类的标注为0，属于发光二极管的标注为1。

3.网络的任务是分类，所有使用的loss函数为交叉熵损失函数。

通过语义分割得到的0-1掩膜图像与原图像相乘，得到只含有二极管的图像，得到二极管的第一区域，去除了背景的干扰。

引脚语义分割网络的训练过程如下：

1.使用的数据集为俯视采集的二极管图像的数据集，发光二极管的样式为多种多样的。

2.需要分割的像素共分为两类，即训练集对应标签标注过程为：单通道的语义标签，对应位置像素属于背景类的标注为0，属于发光二极管的引脚的标注为1。

3.网络的任务是分类，所有使用的loss函数为交叉熵损失函数。

通过语义分割得到的0-1掩膜图像与原图像相乘，得到只含有引脚的图像，去除了背景的干扰。如图2所示，由于引脚区域被划分为了四个区域，因此通过引脚语义分割网络可以得到引脚的四个第二区域。

步骤S002，分别获取第一区域的第一主成分方向，对第二区域进行匹配得到多个匹配对，获取每个匹配对对应两个第二区域的第二主成分方向，根据第一主成分方向与第二主成分方向的差值之和，将差值之和最小所对应的匹配对作为同一根引脚上的两个第二区域。

具体的，通过PCA分别获得二极管和引脚的主成分方向，通过主成分方向的相近性获得第二区域的匹配关系：

1.通过PCA主成分分析获得第一区域的第一主成分方向，所述第一主成分方向的获取过程为：以整张图像的最小的横纵坐标位置作为原点建立坐标系；获取连通域内像素的坐标，利用PCA算法获得这些数据的主成分方向，可获得K个主成分方向，每个主成分方向都是一个2维的单位向量，每个主成分方向对应一个特征值；本发明获取特征值最大的主成分方向，将其称为连通域主方向，表示这些数据投影方差最大的方向，即这些数据的主要分布方向。

通过计算得到了第一区域的第一主成分方向，要计算得到哪两个第一区域是同一个引脚，依据同一个引脚区域的主成分方向与第一区域的第一主成分方向相近的原则进行区分，具体计算过程如下：

对得到的四个第二区域分别进行标号，标记为a、b、c、d四个区域，其中共有三种匹配方法，也即是3个匹配对：一种是[（a,b），（c,d）]；另一种是[（a,c），（b,d）]；另一种是[（a,d），（b,c）]。分别计算三种匹配方法下每个匹配对中每个第二区域的第二主成分方向，得到每个匹配对的第二主成分方向与第一区域的第一主成分方向的差值和，选择差值和最小的匹配对所对应的两个第二区域作为同一根引脚上的两个第二区域，则通过计算得到了同一根引脚上的两个第二区域。

步骤S003，利用设定尺寸的窗口遍历第二区域，分别计算每个窗口内的灰度方差，将灰度方差作为对应窗口的中心点的值，得到灰度方差图像；获取灰度方差图像中每个第一疑似缺陷像素点的第一缺陷概率；利用sobel算子获取每个第二区域的梯度图，通过窗口获取每个窗口对应的梯度方向直方图，根据梯度方向直方图的方向数量，得到每个第二区域的方向无序性图像，获取方向无序性图像中每个第二疑似缺陷像素点的第二缺陷概率；结合第一缺陷概率和第二缺陷概率确认每个第二区域中的缺陷像素点。

具体的，本发明的目的主要是对二极管引脚上的锈斑缺陷进行识别，如图2所示，对于发光二极管来说，引脚区域被划分为了不同部分，玻壳内的引脚和玻壳外的引脚，对于玻壳外的引脚来说，如果存在锈斑，容易检测识别到；对于玻壳内的引脚来说，受到玻壳表面划痕和玻壳的影响，导致难以对检测识别到的缺陷进行识别。

如图3中的锈斑图像所示，锈斑不存在固定方向的纹理，即方向较为杂乱，称之为锈斑的纹理方向无序性较大，同时锈斑区域的灰度值相差较大，称之为锈斑的灰度无序性较大。因此首先通过这两个性质对锈斑区域进行检测识别，对于玻壳外的引脚可以通过该方法检测识别得到锈斑区域，对于玻壳内的引脚也可以通过该方法检测识别得到异常区域，但受到玻壳的影响，因此不知道检测识别到的异常区域哪些是锈斑区域，哪些是玻壳表面的区域，同时，考虑到二极管的玻壳内一般是真空的，如果其内产生了锈斑缺陷中，则必然首先在引脚匹配区域的连接处产生了较为严重的锈斑，即首先通过与玻壳内引脚区域的匹配区域的边界范围的锈斑缺陷进行计算，如果该处存在锈斑缺陷且较为严重，则玻壳内部大概率存在锈斑缺陷。

通过方向无序性和灰度无序性识别得到每个第二区域的缺陷的过程如下：

首先采用5*5的窗口通过滑窗的方式计算得到每个窗口内的灰度方差，方差越大，该窗口区域内存在缺陷像素点的概率越大，将每个窗口内的灰度方差作为中心点的值，得到灰度方差图像，对灰度方差图像通过阈值分割的方法计算得到阈值k1，大于阈值k1的像素点认为可能是缺陷像素点，即第一疑似缺陷像素点，获取所有第一疑似缺陷像素点中的最大灰度值，将每个第一疑似缺陷像素点的灰度值与最大灰度值的比值作为对应第一疑似缺陷像素点的第一缺陷概率p1。

然后通过sobel算子计算得到每个引脚区域的梯度图，通过5*5的窗口得到每个窗口内的梯度方向直方图，梯度方向越杂乱，该窗口区域内存在缺陷像素点的概率越大，所述每个窗口内梯度方向无序性的计算过程如下：

梯度方向无序性一方面方向无序性较大，即有多种方向，且不同方向的差别较大，另一方面多种方向中没有哪个方向的数量较多，例如：假设一个5*5区域内有5个方向，这五个方向之间的角度差值分别为72°时，方向分布的离散性越大，同时每个方向对应5个像素点，即这些方向的矢量加和为0，该种情况下的梯度方向无序性最大，称之为理想情况。因此对于每个区域只需计算与理想情况下的差距，差距越小，该区域的梯度方向无序性越大。首先通过梯度方向直方图统计得到每个5*5区域内的方向数量n进而得到理想的相邻方向的标准角度差值v，其中，v等于360与n的比值；然后计算梯度方向直方图中每个相邻方向的角度差值与标准角度差值v的比值，得到比值序列，获取比值序列的均值，用于表示方向无序性，同时梯度方向直方图中所有方向的矢量方向之和，矢量方向之和的模越小，方向无序性越大，进而将比值序列的均值、矢量方向之和的模以及方向数量之间的乘积作为对应窗口的方向无序性。

通过计算得到了每个5*5区域内的方向无序性，将该值作为中心像素点的方向无序性，进而可以得到每个像素点的方向无序性，称之为方向无序性图像，对方向无序性图像通过阈值分割的方法计算得到阈值k2，大于阈值k2的像素点认为可能是缺陷像素点，即第二疑似缺陷像素点，获取所有第二疑似缺陷像素点中的最大灰度值，将每个第二疑似缺陷像素点的灰度值与最大灰度值的比值作为对应第二疑似缺陷像素点的第二缺陷概率p2。

当第一疑似缺陷像素点和第二疑似缺陷像素点属于同一像素点时，获取对应第一缺陷概率与第二缺陷概率的乘积；当乘积大于乘积阈值时，确认该像素点为缺陷像素点。进而得到每个第二区域中的缺陷像素点。

优选的，乘积阈值为0.6。

步骤S004，分别获取同一根引脚上的两个第二区域的连接区域，根据连接区域中的缺陷像素点数量确认缺陷区域。

具体的，通过计算局部区域的灰度无序性和方向无序性对锈斑区域进行检测，一方面可以避免由于光照原因造成的现有方法使用色调值检测存在误差较大的问题，特别是对玻壳区域的锈斑缺陷进行检测时，由于玻壳存在颜色，因此使用色调值进行锈斑缺陷的检测存在较大误差甚至是检测错误，另一方面可以对缺陷的边缘区域进行较为精细的识别，获得较为准确的缺陷边缘。

通过计算可以得到四个第二区域内的缺陷区域，玻壳内的缺陷区域不仅包含锈斑缺陷还包含玻壳表面的缺陷，根据玻壳内引脚区域的匹配区域，即对应的同一个引脚上的非玻壳区域的匹配区域的连接部分的锈斑程度作为玻壳内是否存在锈斑缺陷的判断方式，如果连接区域存在锈斑且较为严重，大概率对应的玻壳内引脚区域也存在锈斑，不然不存在。判断过程如下：

首先计算得到同一根引脚上的两个第二区域的连接区域，连接区域的获取过程如下：

同一根引脚上的两个第二区域中一个是正常，即无玻壳的引脚区域，另一个是存在玻壳的区域的引脚，根据之前的计算只是得到了同一根引脚上的两个第二区域，但不知道哪个区域是玻壳外引线区域，哪个是玻壳内引线区域，因此首先需要通过两个第二区域的形状特征的不同对两个第二区域进行区分。

首先根据同一根引脚上的两个第二区域的连通域中心点的连线确定连接区域，确定方法为：由一个中心点指向另一个中心点的过程中，该连线与两个连通域的边界相交与两点，因此首先需要对遮罩区域和非遮罩区域进行区分，然后结合交点所在直线信息得到连接区域。如图2所示，非遮罩区域为矩阵规则区域，遮罩区域不是规则的矩形区域，因此可以根据这个性质对两种区域进行区分，对同一根引脚上的两个第二区域分别进行二值化设置，将连通域内部像素点的值设置为0，将连通域边界的像素点的值设置为1，二值化后，将每个连通域转化为霍夫参数空间中，如果是规则矩形区域，得到的四个高亮点两两成对，一对高亮点是指投票值相近的点，计算是否两两成对的方法为：获得霍夫参数空间中投票值最大的四个点，计算是否有两个点的投票值相近，另外两个点的投票值也相近，即将四个点分为两组，计算怎样的分组可以使得相似度和最大，相似度和是指投票值的比值，也即小值除以大值，选择最大值，两个连通域分别可以计算得到最大值，将其中的较大值对应连通域作为规则连通域，即玻壳外引脚区域。

得到玻壳外引脚区域后，结合该点所在的直线，通过直线平移50个像素点，将平移过程中的区域作为连接区域，如果连接区域的缺陷像素点的数量比值超过70%，认为连接区域的锈斑较为严重，即对应的玻壳内的第二区域存在锈斑，即认为该玻壳内的第二区域检测识别到的缺陷为锈斑缺陷，进而根据玻壳内的第二区域中的缺陷像素点得到缺陷区域。

综上所述，本发明实施例提供了一种二极管引脚缺陷识别方法，该方法获取包含二极管的第一区域和只包含引脚的四个第二区域；基于第一区域的第一主成分方向对第二区域进行匹配得到同一根引脚上的两个第二区域；利用设定尺寸的窗口遍历第二区域，分别计算每个窗口内的灰度方差，以获取每个第一疑似缺陷像素点的第一缺陷概率，获取每个第二区域的梯度图，根据梯度图获取每个第二疑似缺陷像素点的第二缺陷概率，结合第一缺陷概率和第二缺陷概率确认每个第二区域中的缺陷像素点；分别获取同一根引脚上的两个第二区域的连接区域，根据连接区域中的缺陷像素点数量确认缺陷区域。通过采用纹理和灰度计算，提高了二极管引脚的缺陷的检测结果。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种二极管引脚缺陷识别方法，其特征在于，该方法包括以下步骤：

采集二极管图像，对所述二极管图像进行语义分割，分别得到只包含二极管的第一区域和只包含引脚的四个第二区域；

分别获取所述第一区域的第一主成分方向，对所述第二区域进行匹配得到多个匹配对，获取每个匹配对对应两个所述第二区域的第二主成分方向，根据第一主成分方向与第二主成分方向的差值之和，将差值之和最小所对应的匹配对作为同一根引脚上的两个所述第二区域；

利用设定尺寸的窗口遍历所述第二区域，分别计算每个窗口内的灰度方差，将灰度方差作为对应窗口的中心点的值，得到灰度方差图像；对所述灰度方差图像进行阈值分割，确认第一疑似缺陷像素点，并计算每个第一疑似缺陷像素点的第一缺陷概率；利用sobel算子获取每个所述第二区域的梯度图，通过窗口获取每个窗口对应的梯度方向直方图，统计所述梯度方向直方图的方向数量，得到相邻方向的标准角度差值，根据标准角度差值计算对应窗口的方向无序性；将每个窗口的方向无序性作为对应窗口的中心像素点的方向无序性，得到每个所述第二区域的方向无序性图像，对所述方向无序性图像进行阈值分割，得到第二疑似缺陷像素点，并计算每个第二疑似缺陷像素点的第二缺陷概率；结合第一缺陷概率和第二缺陷概率确认每个所述第二区域中的缺陷像素点；

分别获取同一根引脚上的两个所述第二区域的连接区域，根据连接区域中的缺陷像素点数量确认缺陷区域。

2.如权利要求1所述的一种二极管引脚缺陷识别方法，其特征在于，所述第一缺陷概率的获取方法，包括：

获取所有第一疑似缺陷像素点中的最大灰度值，将每个第一疑似缺陷像素点的灰度值与最大灰度值的比值作为对应第一疑似缺陷像素点的第一缺陷概率。

3.如权利要求1所述的一种二极管引脚缺陷识别方法，其特征在于，所述相邻方向的标准角度差值的获取方法，包括：

将360度与方向数量之间的比值作为相邻方向的标准角度差值。

4.如权利要求1所述的一种二极管引脚缺陷识别方法，其特征在于，所述根据标准角度差值计算对应窗口的方向无序性的方法，包括：

分别获取所述梯度方向直方图中相邻方向的角度差值，计算每个角度差值与标准角度差值的比值，得到比值序列，计算比值序列的均值；

计算所述梯度方向直方图中所有方向的矢量方向之和，将所述比值序列的均值、所述矢量方向之和的模以及方向数量之间的乘积作为对应窗口的方向无序性。

5.如权利要求1所述的一种二极管引脚缺陷识别方法，其特征在于，所述第二缺陷概率的获取方法，包括：

获取所有第二疑似缺陷像素点中的最大灰度值，将每个第二疑似缺陷像素点的灰度值与最大灰度值的比值作为对应第二疑似缺陷像素点的第二缺陷概率。

6.如权利要求1所述的一种二极管引脚缺陷识别方法，其特征在于，所述结合第一缺陷概率和第二缺陷概率确认每个所述第二区域中的缺陷像素点的方法，包括：

当第一疑似缺陷像素点和第二疑似缺陷像素点属于同一像素点时，获取对应第一缺陷概率与第二缺陷概率的乘积；当乘积大于乘积阈值时，确认该像素点为缺陷像素点。

Images