CN113792725B - 元器件检测装置和方法 - Google Patents

Abstract

本发明公开了一种元器件检测装置和方法，通过对元器件的图像进行采集和输入，并且对于输入图像采用特征点匹配识别目标信息得到元器件的数量和种类，通过与目标图像信息进行比较，判定待测元器件是否符合测试要求，从而自动检测待测元器件是否合格。本发明依托于数字图像处理技术实现图像检测，不需要人工参与，将传统主观目视判别变为客观图像判别，可以提高元器件检测精度，降低漏检率和人工成本，提高生产测试效率。

Description

元器件检测装置和方法

技术领域

本发明属于图像处理技术领域，是一种元器件检测装置及方法。

背景技术

在制造业加工领域，无论是在加工过程中或是最后的检测过程中都需要对于元器件数量和种类进行检测，确认最后产品生产之后没有漏料和错料的问题。对于这一步骤，部分方案是采用人眼检测的方法，但是对于元器件数量较多或元器件体积较小的情况，该方法很容易产生错漏，而且效率较低。现有其他方案采用AOI设备中的元器件检测的功能进行检测，相较于传统的人眼检测，该方法准确率有所提高，但是AOI设备造价高昂，并且在检测过程中也会需要人工进行参与，没有做到完全的自动化。因此，如何能自动、高效、准确、低成本的对于元器件数量和种类进行检测是需要解决的问题。

发明内容

本发明所解决的技术问题在于提供一种元器件数量和种类检测装置及方法，通过对元器件的图像进行采集和输入，并且对于输入图像采用图像处理和识别技术得到元器件的数量和种类，通过与目标元器件图像进行比较，判断待测元器件是否符合测试要求，从而自动区分合格品和不合格品。

技术方案：

一种元器件检测方法，它包括以下步骤：

步骤1：控制和执行模块将元器件移动至图像采集模块的工作区，图像采集模块对元器件进行图像采集；采集的待测元器件图像与预存的目标标准图像共同输入至高性能处理器进行计算；

步骤2：对输入图像进行预处理，消除无关背景信息的干扰信息，保留待测元器件的色彩和轮廓关键信息，并统一图片尺寸大小；

步骤3：图像特征点提取，在不同的图像的尺度空间上查找关键点，并计算出关键点的方向；所述关键点是通过对图像轮廓提取之后得到的边缘点和角点；关键点方向：为该关键点处的所有方向导数的最大值的方向，若最大值有多个相同值，则关键点有多个方向；

步骤4：图像特征匹配，从目标标准图像中选择特征的描述子，然后与待测元器件图像中所有的其他特征计算相似度，进行匹配，并返回最接近的匹配对；所述特征的描述子：该特征所有关键点在邻域内以选定尺度测量得出的梯度的集合；

步骤5：筛选良好匹配点；

步骤6：良好匹配点分类；

步骤7：良好匹配点按照类别进行框选，并对目标框中的元器件图像利用图像特征进行二次检测：如果检测不通过，则排除框选目标，重新执行步骤7；如果检测通过，则对目标元器件信息进行保存；

步骤8：将步骤7中所有保存的目标元器件框选信息绘制在图像采集模块所采集的图像上，并将绘制好的图像通过LED液晶显示屏实时显示；

步骤9：统计被框选的元器件种类和数量数据，并与预存的目标元器件信息进行对比：通过判断统计数据与目标元器件信息是否一致，确定元器件是否合格，并将判断结果传输给控制和执行模块；

步骤10：控制和执行模块根据步骤9中的判断结果控制下一环节执行方式：若产品合格，向下一环节进行传输；如果不合格，则将其单独检出。

步骤3中，计算图像水平x,竖直y方向的偏导数l_x和l_y，在x、y两个方向上偏导数l_x和l_y变化均较大的点为角点，仅l_x或l_y变化较大的点为边缘点。

步骤4中，以某个关键点的所在点为中心周围5*5像素的范围为邻域。

所述相似度是：将待测元器件图像和目标元器件图像的特征描述子向量化，计算二者之间的余弦距离作为相似度。

具体的，余弦距离相似度公式为：

其中，

为两个向量的夹角，n为向量

的维数，当夹角为0度，则两个向量方向相同且重合，相似度最高；根据计算的相似度结果

与设定的阈值进行比较，如大于阈值，则两者相似，否则不相似。

步骤3中，所述图像特征点提取包括：

步骤3-1：尺度空间的极值检测；

步骤3-2：删除不稳定的极值点；

步骤3-3：确定特征点的主方向；

步骤3-4：生成特征点的描述子用于特征匹配。

所述的图像特征点提取算法主要作用是在不同的图像的尺度空间上查找关键点，并计算出关键点的方向。

步骤6中，良好匹配点分类具体为：

对于每个良好点，基于邻域内的邻居点数衡量该点所在空间的密度，并由密度可达关系导出的最大密度相连的样本集合，作为最终聚类的一个簇；重复使用本步骤直到所有良好匹配点都有类别为止。

步骤7中，所述图像特征为轮廓和颜色。

本发明还公开了一种元器件检测装置，它包括：图像采集模块、主控显示模块、网络通信模块、控制和执行模块；

图像采集模块，用于采集元器件图像，并传输给主控显示模块进行后续处理；

主控显示模块，包括1个或多个高性能处理器，以及液晶显示屏，所述的高性能处理器用于运行图像处理算法，并且将算法结果通过液晶显示屏进行实时显示；

所述网络通信模块包括无线网络通信单元和蓝牙单元，可用于访问网络，将检测数据传到云端；

控制和执行模块，包括传送带和机械臂，用于元器件的传输，并根据主控显示模块的判定结果进行后续控制流程的执行，若接收到的结果合格，元器件向下一环节进行传输，如果不合格，则单独检出。

图像采集模块包括CCD高清摄像头以及配套的数据传输线缆。

本发明的有益效果

1、本发明方案采用图像处理技术进行图像检测，不需要人工参与，提高了检测效率，降低人工成本；

2、本发明对客观图像进行检测，并利用图像轮廓和颜色等图像特征进行二次检测，相较于主观人眼检测，精度较高，大幅降低目标产品的错漏检率。

附图说明

图1本发明的元器件检测装置系统框图。

图2本发明元器件检测方法框图。

具体实施方式

为了更好地理解本发明，下面结合附图和具体的实施方式对本发明进行更为详细描述。在以下描述中，当已有的现有技术的详细描述也许会淡化本发明的主题内容时，这些描述在这儿将被忽略。

如图1所示，元器件检测装置10包括图像采集模块100，主控显示模块101，控制和执行模块102，网络通信模块103。本发明选用灯板上LED灯珠检测作为本发明的一个实施例，用于阐述本发明装置的应用过程。

所述的图像采集模块100，包括CCD高清摄像头1000以及配套的数据传输线缆，用于采集LED灯珠图像，并将采集到的图像传输给主控显示模块101进行后续处理。

所述的主控显示模块101，包括1个和多个高性能处理器1011、液晶显示屏1010。在本发明的一个实施例中，主控模块101接收CCD高清摄像头1000采集到的待测元器件图像用于运行图像处理算法，并且将算法结果通过液晶显示屏1010进行实时显示。

所述网络通信模块103包括无线网络通信单元1030和蓝牙单元1031。所述的无线网络通信单元1030用于网络数据传输，并将算法生成的图像和检测结果传到数据库存储，用于产品追溯。所述的蓝牙单元1031用于主控显示模块101与控制和执行模块102之间的通信。

所述的控制和执行模块102，包括传送带和机械臂1020，用于LED灯板的传输，并根据主控显示模块101的判定结果进行后续控制流程的执行，若接收到的结果合格，LED灯板向下一环节进行传输，如果不合格，则单独检出。

所述的控制和执行模块102使用传送带和机械臂1020将元器件移动至图像采集模块100采集范围，通过图像采集模块100对元器件进行图像采集，本发明的实施例中选用的图像采集模块为CCD高清摄像头1000。所述的图像采集模块100将图像数据传输到主控显示模块101，与预存的目标标准图像共同输入高性能处理器1011中，所选用的处理器具有复杂算法模型的运算能力，通过图像处理算法进行计算。

如图2所示，所述的图像处理算法对输入图像进行预处理，删除与元器件目标关键信息相关性低的部分，并统一目标图片尺度。预处理完成后，进行图像特征点提取。本发明图像特征点提取方法包括：（1）尺度空间的极值检测；（2）删除不稳定的极值点；（3）确定特征点的主方向；（4）生成特征点的描述子用于特征匹配。所述的图像特征点提取算法主要作用是在不同的图像的尺度空间上查找关键点，并计算出关键点的方向。图像特征点提取完成后，进行图像特征匹配。本发明特征匹配方法从目标元器件图像中选择特征的描述子，然后与采集到的待测元器件图像中所有的其他特征计算某种相似度（优选的实施例中，将待测元器件图像和目标元器件图像的特征描述子向量化，计算二者之间的余弦距离作为相似度），进行匹配，并返回最接近的匹配对。

图像特征匹配后，筛选图像良好匹配点。将上述的的匹配对相互比较，如果最接近项和次接近项的比值大于一个既定的值，则保留这个最接近的项，筛选出良好匹配点。下一步对于筛选出良好匹配点进行分类。本发明良好匹配点分类方法是通过邻域内的邻居点数衡量该点所在空间的密度，并由密度可达关系导出的最大密度相连的样本集合，即为最终聚类的一个簇，在本发明的一个实例中将一个簇判定为一颗LED灯珠。继续选择没有类别的良好匹配点去寻找密度可达的样本集合，并得到另一个聚类簇，这个簇为有别于第一颗LED灯珠的另一颗LED灯珠。重复使用本步骤直到所有良好匹配点都有类别，即找到所有LED灯珠为止。

对于所述的良好匹配点按照类别进行框选，即对于找到的所有LED灯珠进行框选，并对目标框中的LED灯珠图像利用轮廓和颜色等图像特征进行二次检测。如果检测不通过，则排除框选目标，重新进行框选；如果检测通过，则对目标LED灯珠信息进行保存。所有保存的目标LED灯珠框选信息绘制在图像采集模块所采集的图像上，并将绘制好的图像通过液晶显示屏1010实时显示，便于监测算法运行状态。

统计被框选的LED灯珠种类和数量数据，并与预存的目标LED灯珠信息进行对比。通过判断统计数据与目标LED灯珠信息是否一致，确定LED灯珠是否合格，并将判断结果传输给控制和执行模块102。

控制和执行模块102根据主控显示模块101的判定结果进行后续控制流程的执行，若接收到的结果合格，LED灯板向下一环节进行传输，如果不合格，则单独检出，以便人工后续处理。

本文中所描述的具体实施例仅仅是对本发明精神做举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.一种元器件检测方法，其特征在于它包括以下步骤：

步骤1：控制和执行模块将元器件移动至图像采集模块的工作区，图像采集模块对元器件进行图像采集；采集的待测元器件图像与预存的目标标准图像共同输入至高性能处理器进行计算；

步骤2：对输入图像进行预处理，消除无关背景信息的干扰信息，保留待测元器件的色彩和轮廓关键信息，并统一图片尺寸大小；

步骤3：图像特征点提取，在不同的图像的尺度空间上查找关键点，并计算出关键点的方向；所述关键点是通过对图像轮廓提取之后得到的边缘点和角点；关键点方向：为该关键点处的所有方向导数的最大值的方向，若最大值有多个相同值，则关键点有多个方向；

步骤4：图像特征匹配，从目标标准图像中选择特征的描述子，然后与待测元器件图像中所有的其他特征计算相似度，进行匹配，并返回最接近的匹配对；所述特征的描述子：该特征所有关键点在邻域内以选定尺度测量得出的梯度的集合；

步骤5：筛选良好匹配点；

步骤6：良好匹配点分类；

步骤7：良好匹配点按照类别进行框选，并对目标框中的元器件图像利用图像特征进行二次检测：如果检测不通过，则排除框选目标，重新执行步骤7；如果检测通过，则对目标元器件信息进行保存；

步骤8：将步骤7中所有保存的目标元器件框选信息绘制在图像采集模块所采集的图像上，并将绘制好的图像通过LED液晶显示屏实时显示；

步骤9：统计被框选的元器件种类和数量数据，并与预存的目标元器件信息进行对比：通过判断统计数据与目标元器件信息是否一致，确定元器件是否合格，并将判断结果传输给控制和执行模块；

步骤10：控制和执行模块根据步骤9中的判断结果控制下一环节执行方式：若产品合格，向下一环节进行传输；如果不合格，则将其单独检出。

2.根据权利要求1所述的方法，其特征在于步骤3中，计算图像水平x,竖直y方向的偏导数l_x和l_y，在x、y两个方向上偏导数l_x和l_y变化均大于图像偏导数平均值的点为角点，仅l_x或l_y变化较大的点为边缘点。

3.根据权利要求1所述的方法，其特征在于步骤4中，以某个关键点的所在点为中心周围5*5像素的范围为邻域。

4.根据权利要求1所述的方法，其特征在于所述相似度是：将待测元器件图像和目标元器件图像的特征描述子向量化，计算二者之间的余弦距离作为相似度。

5.根据权利要求4所述的方法，其特征在于余弦距离相似度公式为：

其中，

为两个向量的夹角，n为向量

的维数，当夹角为0度，则两个向量方向相同且重合，相似度最高；根据计算的相似度结果

与设定的阈值进行比较，如大于阈值，则两者相似，否则不相似。

6.根据权利要求1所述的方法，其特征在于步骤3中，所述图像特征点提取包括：

步骤3-1：尺度空间的极值检测；

步骤3-2：删除不稳定的极值点；

步骤3-3：确定特征点的主方向；

步骤3-4：生成特征点的描述子用于特征匹配。

7.根据权利要求1所述的方法，其特征在于步骤6中，良好匹配点分类具体为：

对于每个良好点，基于邻域内的邻居点数衡量该点所在空间的密度，并由密度可达关系导出的最大密度相连的样本集合，作为最终聚类的一个簇；重复使用本步骤直到所有良好匹配点都有类别为止。

8.根据权利要求1所述的方法，其特征在于步骤7中，所述图像特征为轮廓和颜色。

9.一种元器件检测装置，其特征在于它包括：图像采集模块、主控显示模块、网络通信模块、控制和执行模块；

图像采集模块，用于采集元器件图像，并传输给主控显示模块进行后续处理；

主控显示模块，包括1个或多个高性能处理器，以及液晶显示屏，所述的高性能处理器用于运行图像处理算法，并且将算法结果通过液晶显示屏进行实时显示；

所述网络通信模块包括无线网络通信单元和蓝牙单元，可用于访问网络，将检测数据传到云端；

控制和执行模块，包括传送带和机械臂，用于元器件的传输，并根据主控显示模块的判定结果进行后续控制流程的执行，若接收到的结果合格，元器件向下一环节进行传输，如果不合格，则单独检出；

控制和执行模块进行以下步骤：

步骤1：控制和执行模块将元器件移动至图像采集模块的工作区，图像采集模块对元器件进行图像采集；采集的待测元器件图像与预存的目标标准图像共同输入至高性能处理器进行计算；

步骤2：对输入图像进行预处理，消除无关背景信息的干扰信息，保留待测元器件的色彩和轮廓关键信息，并统一图片尺寸大小；

步骤3：图像特征点提取，在不同的图像的尺度空间上查找关键点，并计算出关键点的方向；所述关键点是通过对图像轮廓提取之后得到的边缘点和角点；关键点方向：为该关键点处的所有方向导数的最大值的方向，若最大值有多个相同值，则关键点有多个方向；

步骤4：图像特征匹配，从目标标准图像中选择特征的描述子，然后与待测元器件图像中所有的其他特征计算相似度，进行匹配，并返回最接近的匹配对；所述特征的描述子：该特征所有关键点在邻域内以选定尺度测量得出的梯度的集合；

步骤5：筛选良好匹配点；

步骤6：良好匹配点分类；

步骤7：良好匹配点按照类别进行框选，并对目标框中的元器件图像利用图像特征进行二次检测：如果检测不通过，则排除框选目标，重新执行步骤7；如果检测通过，则对目标元器件信息进行保存；

步骤8：将步骤7中所有保存的目标元器件框选信息绘制在图像采集模块所采集的图像上，并将绘制好的图像通过LED液晶显示屏实时显示；

步骤9：统计被框选的元器件种类和数量数据，并与预存的目标元器件信息进行对比：通过判断统计数据与目标元器件信息是否一致，确定元器件是否合格，并将判断结果传输给控制和执行模块；

步骤10：控制和执行模块根据步骤9中的判断结果控制下一环节执行方式：若产品合格，向下一环节进行传输；如果不合格，则将其单独检出。

10.根据权利要求9所述的装置，其特征在于图像采集模块包括CCD高清摄像头以及配套的数据传输线缆。

Images