CN109087274B - 基于多维融合及语义分割的电子器件缺陷检测方法及装置 - Google Patents

Abstract

本发明公开一种基于多维融合及语义分割的电子器件缺陷检测方法及装置，所述电子器件缺陷检测方法包括：步骤a，获取所述电子元器件外观的二维图像数据及三维点云数据；步骤c，对所述二维图像数据及所述三维点云数据进行配准处理，构建多通道复合图像；步骤d，通过语义分割网络对所述多通道复合图像进行缺陷检测和分类；所述电子器件缺陷检测装置包括对应的获取单元，复合单元和语义分割单元。通过语义分割网络进行缺陷检测，能够利用大量的样本数据，通过卷积的手段从多个层次提取待测缺陷的特征，从而为缺陷的检测和分类提供丰富而可靠的依据，提升检测精度。

Description

基于多维融合及语义分割的电子器件缺陷检测方法及装置

技术领域

本发明涉及表面缺陷检测技术领域，具体涉及一种基于多维融合及语义分割的电子器件缺陷检测方法及装置。

背景技术

随着现代科学技术的发展，越来越多的领域变得更加智能化，各种新型电子设备层出不穷，因此对电子元器件的需求量不断上涨，生产商对其产品质量的检测任务也变得更加艰巨。在生产芯片、电池、电路板等电子元器件的过程中，可能会产生磕碰、划伤、脏污等缺陷，这些缺陷在性能测试中经常不会表现出异常，但在实际使用过程中，电子元器件经常面临长期高负载工作或较恶劣的工作环境，这些缺陷极有可能影响元器件性能，甚至产生安全隐患。过去的十几年中，工业生产流程有了极大的进步，但对产品外观的缺陷检测仍主要以人工检测的方式进行，这种方式不仅会因为个人主观因素而导致检测标准的不统一，还会因为长时间检测造成视觉疲劳，产生误判或漏判。

近年来，随着技术的进步与设备的更新，工业领域的自动化检测越来越受到研究者的关注。其中大多数采用了传统的图像处理技术和单一的传感器类型，有些使用了激光扫描仪获取待测锯材的三维信息并进行检测，但该方法获得的三维信息精度不高，仅适用于处理锯材等较大物体的大缺陷检测，不适用于电子元器件的检测。

鉴于上述缺陷，本发明创作者经过长时间的研究和实践终于获得了本发明。

发明内容

为解决上述技术缺陷，本发明采用的技术方案在于，首先提供一种基于多维融合及语义分割的电子器件缺陷检测方法，其包括：

步骤a，获取所述电子元器件外观的二维图像数据及三维点云数据；

步骤c，对所述二维图像数据及所述三维点云数据进行配准处理，构建多通道复合图像；

步骤d，通过语义分割网络对所述多通道复合图像进行缺陷检测和分类。

较佳的，所述语义分割网络依次包括：

至少一卷积层、一池化层、至少一功能层、一归一卷积层和一反卷积层；其中，所述归一卷积层，为滤波器数为1的所述卷积层；所述功能层包括依次连接的至少一所述卷积层和一所述池化层。

较佳的，所述功能层的数量的计算公式为：

式中，k为功能层数量，p为所述电子元器件上缺陷的最小尺度，单位为mm，[]为向下取整符号。

较佳的，所述语义分割网络的具体结构为：

第一层，卷积核大小为3、步长为1的卷积层，输出特征图数目为64；

第二层，池化核大小为2、步长为2的池化层；

第三层，卷积核大小为9、步长为1的卷积层，输出特征图数目为128；

第四层，卷积核大小为1、步长为1的卷积层，输出特征图数目为64；

第五层，池化核大小为2、步长为2的池化层；

第六层，卷积核大小为9、步长为1的卷积层，输出特征图数目为256；

第七层，卷积核大小为1、步长为1的卷积层，输出特征图数目为128；

第八层，卷积核大小为3、步长为1的卷积层，输出特征图数目为64；

第九层，卷积核大小为3、步长为1的卷积层，输出特征图数目为1；

第十层，卷积核大小为9，步长为4的反卷积层，输出特征数目为1。

较佳的，还包括步骤b，对所述二维图像数据及所述三维点云数据进行预处理和粗检，并将预处理后的所述三维点云数据转换为深度重构图。

较佳的，所述三维点云数据转换为深度重构图中，包括：

步骤b251，将所述三维点云数据的每个点映射到所述深度重构图中；

步骤b252，将所述深度重构图的灰度值进行归一化。

较佳的，所述三维点云数据的每个点映射到所述深度重构图中的映射关系满足：

其中，I_rd(X,Y)代表深度重构图中第X行、第Y列像素点的像素值，[]为向下取整符号，

M_XY是以点(X,Y)为中心，大小为3×3的矩阵，ratio为扩大比例，

表示矩阵的卷积运算。

较佳的，所述步骤c包括：

步骤c3，确定所述二维图像数据与所述深度重构图之间的比例关系；

步骤c4，建立所述二维图像数据与所述深度重构图中相同区域的匹配关系；

步骤c5，对所述深度重构图进行超分辨率处理，使之与所述二维图像数据的分辨率相同；

步骤c6，将所述二维图像数据与超分辨率处理后的所述深度重构图组合为所述多通道复合图像。

其次提供一种与所述的电子器件缺陷检测方法对应的基于多维融合及语义分割的电子器件缺陷检测装置，其包括：

获取单元，用于获取所述电子元器件外观的二维图像数据及三维点云数据；

复合单元，用于对所述二维图像数据及所述三维点云数据进行配准处理，构建多通道复合图像；

语义分割单元，用于通过语义分割网络对所述多通道复合图像进行缺陷检测和分类。

较佳的，所述复合单元包括：

比例模块，用于计算所述二维图像数据与深度重构图之间的比例关系；

匹配模块，用于建立所述二维图像数据与所述深度重构图中相同区域的匹配关系；

超分辨模块，用于对所述深度重构图进行超分辨率处理，使之与所述二维图像数据的分辨率相同；

组合模块，用于将所述二维图像数据与超分辨率处理后的所述深度重构图组合为所述多通道复合图像。

与现有技术比较本发明的有益效果在于：通过语义分割网络进行缺陷检测，能够利用大量的样本数据，通过卷积的手段从多个层次提取待测缺陷的特征，从而为缺陷的检测和分类提供丰富而可靠的依据，提升检测精度。

附图说明

为了更清楚地说明本发明各实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。

图1是本发明电子器件缺陷检测方法的流程图一；

图2是本发明电子器件缺陷检测方法的流程图二；

图3是本发明电子器件缺陷检测方法步骤b的流程图；

图4是本发明电子器件缺陷检测方法步骤b1的流程图；

图5是本发明电子器件缺陷检测方法步骤b2预处理的流程图；

图6是本发明电子器件缺陷检测方法步骤b2粗检的流程图；

图7是本发明电子器件缺陷检测方法步骤b25的流程图；

图8是本发明电子器件缺陷检测方法步骤c的流程图一；

图9是本发明电子器件缺陷检测方法步骤c的流程图二；

图10是本发明电子器件缺陷检测方法的流程图三；

图11是本发明电子器件缺陷检测方法步骤e的流程图；

图12是本发明语音分割网络的结构流程图；

图13是本发明语音分割网络的结构流程表；

图14是本发明电子器件缺陷检测装置的结构示意图一；

图15是本发明电子器件缺陷检测装置的结构示意图二；

图16是本发明电子器件缺陷检测装置粗检单元的结构示意图；

图17是本发明电子器件缺陷检测装置二维粗检模块的结构示意图；

图18是本发明电子器件缺陷检测装置三维粗检模块预处理的结构示意图；

图19是本发明电子器件缺陷检测装置三维粗检模块粗检的结构示意图；

图20是本发明电子器件缺陷检测装置转换子模块的结构示意图；

图21是本发明电子器件缺陷检测装置复合单元的结构示意图一；

图22是本发明电子器件缺陷检测装置复合单元的结构示意图二；

图23是本发明电子器件缺陷检测装置的结构示意图三；

图24是本发明电子器件缺陷检测装置确定单元的结构示意图。

具体实施方式

以下结合附图，对本发明上述的和另外的技术特征和优点作更详细的说明。

实施例1

如图1所示，其为本发明基于多维融合及语义分割的电子器件缺陷检测方法的流程图；其中，所述电子器件缺陷检测方法包括：

步骤a，获取所述电子元器件外观的二维图像数据及三维点云数据；

步骤c，对所述二维图像数据及所述三维点云数据进行配准处理，构建多通道复合图像；

步骤d，通过语义分割网络对所述多通道复合图像进行缺陷检测和分类。

这样，通过语义分割网络进行缺陷检测，能够利用大量的样本数据，通过卷积的手段从多个层次提取待测缺陷的特征，从而为缺陷的检测和分类提供丰富而可靠的依据，提升检测精度；具有较好的普适性，使得检测算法可以适用于各种类型的电子元器件；可以实现端到端的检测任务，避免传统算法中冗杂的处理和分析过程，保证检测流程的高效性；另外，通过构建多通道复合图像，可以将二维与三维图像通过语义分割网络统一进行特征提取和分析，达到多维信息融合的效果，从而可以大大增加缺陷检测的准确性。

实施例2

如上述所述的电子器件缺陷检测方法，本实施例与其不同之处在于，如图2所示，所述电子器件缺陷检测方法还包括：

步骤b，对所述二维图像数据及所述三维点云数据进行预处理和粗检；

这样，可以排除无效数据、错误数据和明显缺陷，从而减少需要通过语义分割网络检测的缺陷，减少工作量，并通过排除错误数据，进一步提高所述电子器件缺陷检测方法的准确度。

实施例3

如上述所述的电子器件缺陷检测方法，本实施例与其不同之处在于，如图3所示，所述步骤b包括：

步骤b1，对所述二维图像数据进行预处理和粗检；

步骤b2，对所述三维点云数据进行预处理和粗检；

其中，所述步骤b1和所述步骤b2并行处理；这样，可以大大增加预处理和粗检的速度，从而大大减少了所述电子器件缺陷检测方法的检测时间，使得整个检测速度可以满足工业产线需求，保证了生产效率。

其中，所述步骤b中，将预处理后的所述三维点云数据转换为深度重构图。

实施例4

如上述所述的电子器件缺陷检测方法，本实施例与其不同之处在于，如图4所示，所述步骤b1包括：

步骤b11，对二维图像中所述电子元器件的边缘部分进行提取和切割，获取需要进行检测的核心区域；

步骤b12，对其中的无效信息进行过滤；

步骤b13，对过滤后的所述二维图像进行去噪，得到所述二维图像中的疑似缺陷部分，并对所述疑似缺陷部分去除残余噪声；

步骤b14，对所述缺陷部分进行形状及尺寸分析，若满足粗检阈值条件，则判定该电子元器件不合格；否则跳转到步骤c。

这样，可以将二维图像中的无效数据、错误数据和明显缺陷进行排除，从而减少需要通过语义分割网络检测的缺陷，减少工作量，增加检测速度，并通过排除错误数据，进一步提高所述电子器件缺陷检测方法的准确度。

其中，所述步骤b11中，使用阈值分割和/或轮廓提取方法对二维图像中所述电子元器件的边缘部分进行提取和切割。

其中，所述步骤b12中，通过二值化和/或闭操作和/或边缘提取方法对无效信息进行过滤。

其中，所述步骤b13中，使用形态学方法对过滤后的所述二维图像进行去噪。

所述步骤b13中，对去噪后的所述二维图像，通过自适应滤波，得到所述二维图像中的疑似缺陷部分。

所述步骤b13中，通过腐蚀膨胀(先腐蚀后膨胀)对所述疑似缺陷部分去除残余噪声。

实施例5

如上述所述的电子器件缺陷检测方法，本实施例与其不同之处在于，如图5所示，所述步骤b2中，所述三维点云数据的预处理包括：

步骤b21，对所述三维点云数据进行平面拟合，寻找待测平面；

一般进行三维扫描或者二维图像拍照时，会将电子元器件放置在一个平面上，而对于电子元器件来讲，其本身一般也会具有一个平面；这样，扫描和拍照的数据里，一定存在一个平面(如果具有多个平面，一般是以最大的那个为准)，而对于计算机来讲，其中只有数据，无法分辨哪些数据为平面，因此进行数据拟合，将处于同一个平面上的数据最多的平面认为是待测平面，这个待测平面一般为电子元器件上多个平面中最大的平面。

步骤b22，计算所述待测平面与标准平面之间的夹角，并将所述待测平面旋转至与所述标准平面平行；

计算机内的坐标内，本身具有水平面和坐标原点，通过坐标旋转、坐标平移的方式，将待测平面与标准平面平行。

步骤b23，根据配置文件中的所述电子元器件的尺寸信息对所述三维点云数据进行切割，删除所述电子元器件以外部分的所述三维点云数据，并将保留的所述三维点云数据移至坐标原点；

计算机内的坐标内，本身具有水平面和坐标原点，通过坐标旋转、坐标平移的方式，将三维点云数据移至坐标原点。这样，可以通过坐标直接确定其与原点或者其他点的相对位置，直接确定其空间关系；便于后续的压缩等操作。

步骤b24，重复步骤b21-步骤b23以获得精确处理的所述三维点云数据；

在第一次进行平面拟合时，由于存在电子元器件以外的数据，因此其平面拟合的结果具有一定的误差，这个误差对于后续判定的准确性影响较大，因此需要重复步骤b21-步骤b23；这样，才可以使得对待测平面的判断更加准确，进一步增加缺陷检测的准确性。

一般在重复骤b21-步骤b23一次后，就可以将待测平面与实际平面的误差减小到0.1％以内，因此，重复执行步骤b21-步骤b23一次即可，这样，不进行多次重复，速度快。

这样，通过这样，可以将三维点云数据中的无效数据、错误数据进行排除，从而减少需要通过语义分割网络检测的数据，减少工作量，增加检测速度，并通过排除错误数据，获得精确的三维点云数据，进一步提高所述电子器件缺陷检测方法的准确度。

实施例6

如上述所述的电子器件缺陷检测方法，本实施例与其不同之处在于，其中，如图6所示所述步骤b2中，所述三维点云数据的粗检包括：

步骤b25，根据所述三维点云数据的坐标，将所述三维点云数据转换为深度重构图；

其中，该步骤实际为根据所述三维点云数据的坐标，经过等价变换，将所述三维点云数据压缩为二维图形，该二维图形中像素点的值即为对应三维点的深度值，该二维图形即是所述深度重构图。这样，便于与二维图像数据构建多通道复合图像。

步骤b26，对所述深度重构图中的缺陷数据进行提取，若满足粗检阈值条件，则判定该电子元器件不合格；否则跳转到步骤c。

其中，通过滤波、边缘检测、计算区域方差对深度重构图中的缺陷数据进行提取。

这样，可以将三维点云数据中的较为明显的缺陷进行排除，从而减少需要通过语义分割网络检测的缺陷，减少工作量，增加检测速度。

其中，计算区域方差的流程为：即把图像划分为多个区域，计算整体区域和子区域的像素方差，由于图像中的值指代的是深度信息，因此方差小意味着表面平整，方差大意味着表面凹凸不平，从而可以筛选出一些大缺陷。

实施例7

如上述所述的电子器件缺陷检测方法，本实施例与其不同之处在于，如图7所示，所述三维点云数据转换为深度重构图(步骤b25)的具体方法为：

步骤b251，将所述三维点云数据的每个点映射到所述深度重构图中；

首先将剩余三维点云数据中的每个点的x、y、z映射到深度重构图I_rd中，映射关系满足：

其中I_rd(X,Y)代表深度重构图中第X行、第Y列像素点的像素值，[]为向下取整符号，

M_XY是以点(X,Y)为中心，大小为3×3的矩阵，ratio为扩大比例，

表示矩阵的卷积运算，实际中，ratio值可取10-15之间。

步骤b252，将所述深度重构图的灰度值进行归一化。

其中，具体为：将深度重构图转为int8类型，计算深度重构图的灰度均值，并将其所有值平移，使均值为127，得到最终的深度重构图。

这样，可以将三维点云数据转换为二维的深度重构图，进而可以将二维的深度重构图与二维图像数据构建为多通道复合图像。

实施例8

如上述所述的电子器件缺陷检测方法，本实施例与其不同之处在于，如图8所示，所述步骤c包括：

步骤c1，确定获取所述电子元器件外观的二维图像数据及三维点云数据的二维相机和三维相机的标定参数；

步骤c2，计算所述二维相机和所述三维相机在成像过程中对所述电子元器件的缩放比例；

步骤c3，计算所述二维图像数据与所述深度重构图之间的比例关系；

步骤c4，建立所述二维图像数据与所述三维点云数据/深度重构图中相同区域的匹配关系；

步骤c5，对所述深度重构图进行图像超分辨率处理，使之与所述二维图像数据的分辨率相同；

图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。常见的有基于插值、基于重建和基于学习的方法。对于只有单幅低分辨率图像的情况，常使用基于插值的方式对图像分辨率进行提高，如最近邻插值、双线性插值、三次卷积插值法等。

步骤c6，将所述二维图像数据与超分辨率处理后的所述深度重构图组合为多通道复合图像；

其中，所述多通道复合图像的具体通道数取决于采集的二维图像和三维图像总数，这其中，一个深度重构图可以对应多个二维图像数据，也就是说，在获取数据时，三维扫描仪只需要对电子元器件扫描一次即可；二维照相机却需要对电子元器件进行多个角度的拍摄，得到多张二维图像数据，从而避免因为光照等使得二维图像数据无法准确显示电子元器件的缺陷情况。这样，在多通道复合图像中，深度重构图只有一个，二维图像数据却有多个，通道数与深度重构图及二维图像数据的总数相同。多个二维图像数据，可以提高最终的检测精度；将二维图像数据与深度重构图构建为多通道复合图像，从而可以大大增加最终的检测精度。

这样，通过配准，可以将二维图像和深度重构图中的信息进行组合，从而可以将其中的信息进行利用，来对缺陷部分进行检测分析，以提高缺陷检测的精确度。

实施例9

如上述所述的电子器件缺陷检测方法，本实施例与其不同之处在于，如图9所示，也可以通过其他方式，如图片拍照或者是二维图像数据与深度重构图之间相同清晰度情况下的大小关系等确定所述二维图像数据与所述三维点云数据/深度重构图之间的比例关系，作为步骤c3；然后直接执行步骤c4、步骤c5、步骤c6来构建多通道复合图像。这样，可以解决因部分二维相机或三维扫描仪上标定参数不全造成的问题，快速确定比例关系。

实施例10

如上述所述的电子器件缺陷检测方法，本实施例与其不同之处在于，如图10所示，所述电子器件缺陷检测方法还包括：

步骤e，根据所述语义分割网络的检测结果，确定缺陷的具体信息。

这样，通过步骤e(后处理)的操作，可以最终确定该电子元器件包含的缺陷类型和数据，进一步提高缺陷判断的精准度。

其中，所述缺陷的具体信息包括缺陷的具体位置、大小、数量及种类。

其中，所述语义分割网络的检测结果为缺陷评估图，所述缺陷评估图上的灰度值高低代表了对该位置存在缺陷可能性的评估。

实施例11

如上述所述的电子器件缺陷检测方法，本实施例与其不同之处在于，如图11所示，所述步骤e包括：

步骤e1，对所述缺陷评估图进行腐蚀膨胀以去除孤立噪声；

步骤e2，对所述缺陷评估图进行图像阈值分割，筛选评估值高于制定阈值的缺陷；

步骤e3，在筛选后的所述缺陷评估图中计算每个缺陷的面积；

步骤e4，根据相缺陷的评分标准计算该电子元器件的缺陷分数，若所述缺陷分数达到阈值，则判定该电子元器件为不合格。

这样，可以根据所述缺陷评估图对电子元器件的缺陷进行准确的判断，进一步提高了判断的准确度。

实施例12

如上述所述的电子器件缺陷检测方法，本实施例与其不同之处在于，结合图12所示(图中所示为一个深度重构图和一个二维图像数据组合的多通道复合图像条件下的示意图)，所述语义分割网络依次包括：

至少一卷积层、一池化层、至少一功能层、一归一卷积层和一反卷积层；其中，所述归一卷积层，为滤波器数为1的所述卷积层；所述功能层包括依次连接的至少一所述卷积层和一所述池化层。

卷积层，对所述多通道复合图像进行特征提取；

池化层，降低图像尺寸大小，扩大感知野，减小参数，防止过拟合；

归一卷积层，滤波器数为1的所述卷积层；

反卷积层，在所述多通道复合图像的尺度下还原特征。

这样，可以通过语义分割网络，在多个维度提取多通道复合图像的特征，从而提高判断的准确率。

电子元器件的表面缺陷面积较小、形状各异、特征模糊、种类繁多。为了避免特征的丢失和过拟合，语义分割网络使用较少层数的网络来提取特征，同时利用平均池化实现多尺度特征提取，并增加正则化层实现数据的归一化，保证了检测精度。

实施例13

如上述所述的电子器件缺陷检测方法，本实施例与其不同之处在于，所述功能层的数量的计算公式为：

式中，k为功能层数量，p为所述电子元器件上缺陷的最小尺度，单位为mm，[]为向下取整符号。

如p＝100，则p/3＝33.33，取整后为33，log₂33＝5.044394，取整后为5，最终k为4，则意味着执行4次功能层(卷积-卷积-池化流程)，即可以进行4次特征提取再池化的过程。

实施例14

如上述所述的电子器件缺陷检测方法，本实施例与其不同之处在于，结合图13所示，所述语义分割网络的具体结构为：

(1)卷积核大小为3、步长为1的卷积层，在原图尺度上提取较小的特征，输出特征图数目为64；

(2)池化核大小为2、步长为2的平均池化层，将数据尺寸减半；

(3)卷积核大小为9、步长为1的卷积层，在原图二分之一的尺度上提取特征，输出特征图数目为128；

(4)卷积核大小为1、步长为1的卷积层，将特征数量减半，输出特征图数目为64；

(5)池化核大小为2、步长为2的平均池化层，将数据尺寸减半；

(6)卷积核大小为9、步长为1的卷积层，在原图四分之一的尺度上提取特征，输出特征图数目为256；

(7)卷积核大小为1、步长为1的卷积层，将特征数量减半，输出特征图数目为128；

(8)卷积核大小为3、步长为1的卷积层，提取细节特征，输出特征图数目为64；

(9)卷积核大小为3、步长为1的卷积层，将特征数量归一，输出特征图数目为1；

(10)卷积核大小为9，步长为4的反卷积层，在原图尺度下还原特征，输出特征数目为1。

卷积层的目的，是特征提取，将多张图中提取出多个维度的特征图；

池化层的目的，是将2*2内的数据压缩为一个数据，从而减少数据总量；

卷积核为1，目的是减少输出特征图的维度；每次减半，多次减到最佳值；否则失真严重。

其中，所述图13中，Convolutiona代表卷积层，Avgpool代表池化层，Deconvolutional代表反卷积层。

上述10步的目的是在多个维度提取图像的特征，其输出是和原图大小相同的一张图片，图片上的像素亮度代表了该像素是某种缺陷的概率，及该像素越亮，代表其越可能是一个缺陷。该结果需要进一步后处理来得到精确的缺陷位置和种类。

这样，使用较少层数的网络来提取特征，同时利用平均池化实现多尺度特征提取，并增加正则化层实现数据的归一化，保证检测精度。

该网络结构(语义分割网络)在设计过程中主要针对电子元器件的缺陷，在譬如电子零部件、电池、芯片等元器件的检测上已经得到了实际验证，其他检测领域中，该网络也具有一定的通用性，在汽车的零部件检测中取得了很好的效果。

实施例15

如上述所述的基于多维融合及语义分割的电子器件缺陷检测方法，本实施例为与其对应的基于多维融合及语义分割的电子器件缺陷检测装置，结合图14所示，所述电子器件缺陷检测装置包括：

获取单元1，用于获取所述电子元器件外观的二维图像数据及三维点云数据；

复合单元3，用于对所述二维图像数据及所述三维点云数据进行配准处理，构建多通道复合图像；

语义分割单元4，用于通过语义分割网络对所述多通道复合图像进行缺陷检测和分类。

这样，通过语义分割网络进行缺陷检测，能够利用大量的样本数据，通过卷积的手段从多个层次提取待测缺陷的特征，从而为缺陷的检测和分类提供丰富而可靠的依据，提升检测精度；具有较好的普适性，使得检测算法可以适用于各种类型的电子元器件；可以实现端到端的检测任务，避免传统算法中冗杂的处理和分析过程，保证检测流程的高效性；另外，通过构建多通道复合图像，可以将二维与三维图像通过语义分割网络统一进行特征提取和分析，达到多维信息融合的效果，从而可以大大增加缺陷检测的准确性。

实施例16

如上述所述的电子器件缺陷检测装置，本实施例与其不同之处在于，结合图15所示，所述电子器件缺陷检测装置还包括：

粗检单元2，用于对所述二维图像数据及所述三维点云数据进行预处理和粗检；这样，可以排除无效数据、错误数据和明显缺陷，从而减少需要通过语义分割网络检测的缺陷，减少工作量，并通过排除错误数据，进一步提高所述电子器件缺陷检测方法的准确度。

实施例17

如上述所述的电子器件缺陷检测装置，本实施例与其不同之处在于，如图16所示，所述粗检单元2包括：

二维粗检模块21，用于对所述二维图像数据进行预处理和粗检；

三维粗检模块22，用于对所述三维点云数据进行预处理和粗检；

其中，所述二维粗检模块21和所述三维粗检模块22并行处理；这样，可以大大增加预处理和粗检的速度，从而大大减少了所述电子器件缺陷检测方法的检测时间，使得整个检测速度可以满足工业产线需求，保证了生产效率。

实施例18

如上述所述的电子器件缺陷检测装置，本实施例与其不同之处在于，如图17所示，所述二维粗检模块21包括：

提取子模块211，用于对二维图像中所述电子元器件的边缘部分进行提取和切割，获取需要进行检测的核心区域；

过滤子模块212，用于对其中的无效信息进行过滤；

去噪子模块213，用于对过滤后的所述二维图像进行去噪，得到所述二维图像中的疑似缺陷部分，并对所述疑似缺陷部分去除残余噪声；

第一判定子模块214，用于对所述缺陷部分进行形状及尺寸分析，若满足粗检阈值条件，则判定该电子元器件不合格；否则传输至复合单元3。

这样，可以将二维图像中的无效数据、错误数据和明显缺陷进行排除，从而减少需要通过语义分割网络检测的缺陷，减少工作量，增加检测速度，并通过排除错误数据，进一步提高所述电子器件缺陷检测方法的准确度。

实施例19

如上述所述的电子器件缺陷检测装置，本实施例与其不同之处在于，如图18所示，所述三维粗检模块22中，所述三维点云数据的预处理包括：

拟合子模块221，用于对所述三维点云数据进行平面拟合，寻找待测平面；

旋转子模块222，用于计算所述待测平面与标准平面之间的夹角，并将所述待测平面旋转至与所述标准平面平行；

转移子模块223，用于根据配置文件中的所述电子元器件的尺寸信息对所述三维点云数据进行切割，删除所述电子元器件以外部分的所述三维点云数据，并将保留的所述三维点云数据移至坐标原点；

重复子模块224，用于拟合子模块221-旋转子模块222-转移子模块223，以获得精确处理的所述三维点云数据；

一般在重复拟合子模块221-旋转子模块222-转移子模块223一次后，就可以将待测平面与实际平面的误差减小到0.1％以内，因此，重复一次即可，这样，不进行多次重复，速度快。

这样，通过这样，可以将三维点云数据中的无效数据、错误数据进行排除，从而减少需要通过语义分割网络检测的数据，减少工作量，增加检测速度，并通过排除错误数据，获得精确的三维点云数据，进一步提高所述电子器件缺陷检测方法的准确度。

实施例20

如上述所述的电子器件缺陷检测装置，本实施例与其不同之处在于，如图19所示，所述三维粗检模块22中，所述三维点云数据的粗检包括：

转换子模块225，用于根据所述三维点云数据的坐标，将所述三维点云数据转换为深度重构图；

第二判定子模块226，用于对所述深度重构图中的缺陷数据进行提取，若满足粗检阈值条件，则判定该电子元器件不合格；否则传输到复合单元3。

实施例21

如上述所述的电子器件缺陷检测装置，本实施例与其不同之处在于，如图20所示，所述三维点云数据转换为深度重构图的具体方法为：

映射小模块2251，用于将所述三维点云数据的每个点映射到所述深度重构图中；

归一小模块2252，用于将所述深度重构图的灰度值进行归一化。

这样，可以将三维点云数据转换为二维的深度重构图，进而可以将二维的深度重构图与二维图像数据构建为多通道复合图像。

实施例22

如上述所述的电子器件缺陷检测装置，本实施例与其不同之处在于，如图21所示，所述复合单元3包括：

标定模块31，用于确定获取所述电子元器件外观的二维图像数据及三维点云数据的二维相机和三维相机的标定参数；

计算模块32，用于计算所述二维相机和所述三维相机在成像过程中对所述电子元器件的缩放比例；

比例模块33，用于计算所述二维图像数据与深度重构图之间的比例关系；匹配模块34，用于建立所述二维图像数据与所述三维点云数据/深度重构图中相同区域的匹配关系；

超分辨模块35，用于对所述深度重构图进行超分辨率处理，使之与所述二维图像数据的分辨率相同；

组合模块36，用于将所述二维图像数据与超分辨率处理后的所述深度重构图组合为多通道复合图像；

这样，通过配准，可以将二维图像和深度重构图中的信息进行组合，从而可以将其中的信息进行利用，来对缺陷部分进行检测分析，以提高缺陷检测的精确度。

实施例23

如上述所述的电子器件缺陷检测装置，本实施例与其不同之处在于，如图22所示，也可以通过其他方式，如图片拍照或者是二维图像数据与深度重构图之间相同清晰度情况下的大小关系等确定所述二维图像数据与所述三维点云数据/深度重构图之间的比例关系，作为比例模块33；然后直接执行匹配模块34、超分辨模块35、组合模块36来构建多通道符合图像。这样，可以解决因部分二维相机或三维扫描仪上标定参数不全造成的问题，快速确定比例关系。

实施例24

如上述所述的电子器件缺陷检测装置，本实施例与其不同之处在于，如图23所示，还包括：确定单元5，用于根据所述语义分割网络的检测结果，确定缺陷的具体信息。

这样，通过确定单元5(后处理)的操作，可以最终确定该电子元器件包含的缺陷类型和数据，进一步提高缺陷判断的精准度。

实施例25

如上述所述的电子器件缺陷检测装置，本实施例与其不同之处在于，如图24所示，所述确定单元5包括：

除噪模块52，用于对所述缺陷评估图进行腐蚀膨胀以去除孤立噪声；

筛选模块52，用于对所述缺陷评估图进行图像阈值分割，筛选评估值高于制定阈值的缺陷；

面积计算模块53，用于在筛选后的所述缺陷评估图中计算每个缺陷的面积；

判断模块54，用于根据相缺陷的评分标准计算该电子元器件的缺陷分数，若所述缺陷分数达到阈值，则判定该电子元器件为不合格。

这样，可以根据所述缺陷评估图对电子元器件的缺陷进行准确的判断，进一步提高了判断的准确度。

在本发明的一些实施例中还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例的电子器件缺陷检测方法。

在本发明的一些实施例中还提出了一种计算机程序产品，当计算机程序产品中的指令由处理器执行时，执行如上述方面实施例的电子器件缺陷检测方法。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

其中，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

以上所述仅为本发明的较佳实施例，对本发明而言仅仅是说明性的，而非限制性的。本专业技术人员理解，在本发明权利要求所限定的精神和范围内可对其进行许多改变，修改，甚至等效，但都将落入本发明的保护范围内。

Claims (8)

1.基于多维融合及语义分割的电子器件缺陷检测方法，其特征在于，包括：

步骤a，获取电子元器件外观的二维图像数据及三维点云数据；

步骤c，对所述二维图像数据及所述三维点云数据进行配准处理，构建多通道复合图像；

步骤d，通过语义分割网络对所述多通道复合图像进行缺陷检测和分类；

所述语义分割网络依次包括：

至少一卷积层、一池化层、至少一功能层、一归一卷积层和一反卷积层；其中，所述归一卷积层，为滤波器数为1的所述卷积层；所述功能层包括依次连接的至少一所述卷积层和一所述池化层；

所述功能层的数量的计算公式为：

式中，k为功能层数量，p为所述电子元器件上缺陷的最小尺度，单位为mm，[]为向下取整符号。

2.如权利要求1所述的电子器件缺陷检测方法，其特征在于，所述语义分割网络的具体结构为：

第一层，卷积核大小为3、步长为1的卷积层，输出特征图数目为64；

第二层，池化核大小为2、步长为2的池化层；

第三层，卷积核大小为9、步长为1的卷积层，输出特征图数目为128；

第四层，卷积核大小为1、步长为1的卷积层，输出特征图数目为64；

第五层，池化核大小为2、步长为2的池化层；

第六层，卷积核大小为9、步长为1的卷积层，输出特征图数目为256；

第七层，卷积核大小为1、步长为1的卷积层，输出特征图数目为128；

第八层，卷积核大小为3、步长为1的卷积层，输出特征图数目为64；

第九层，卷积核大小为3、步长为1的卷积层，输出特征图数目为1；

第十层，卷积核大小为9，步长为4的反卷积层，输出特征数目为1。

3.如权利要求1所述的电子器件缺陷检测方法，其特征在于，还包括步骤b，对所述二维图像数据及所述三维点云数据进行预处理和粗检，并将预处理后的所述三维点云数据转换为深度重构图。

4.如权利要求3所述的电子器件缺陷检测方法，其特征在于，所述三维点云数据转换为深度重构图中，包括：

步骤b251，将所述三维点云数据的每个点映射到所述深度重构图中；

步骤b252，将所述深度重构图的灰度值进行归一化。

5.如权利要求4所述的电子器件缺陷检测方法，其特征在于，所述三维点云数据的每个点映射到所述深度重构图中的映射关系满足：

其中，I_rd(X,Y)代表深度重构图中第X行、第Y列像素点的像素值，[]为向下取整符号，

M_XY是以点(X,Y)为中心，大小为3×3的矩阵，Ratio为扩大比例，

表示矩阵的卷积运算。

6.如权利要求3所述的电子器件缺陷检测方法，其特征在于，所述步骤c包括：

步骤c3，确定所述二维图像数据与所述深度重构图之间的比例关系；

步骤c4，建立所述二维图像数据与所述深度重构图中相同区域的匹配关系；

步骤c5，对所述深度重构图进行超分辨率处理，使之与所述二维图像数据的分辨率相同；

步骤c6，将所述二维图像数据与超分辨率处理后的所述深度重构图组合为所述多通道复合图像。

7.一种与权利要求1-6中任一所述的电子器件缺陷检测方法对应的基于多维融合及语义分割的电子器件缺陷检测装置，其特征在于，包括：

获取单元，用于获取所述电子元器件外观的二维图像数据及三维点云数据；

复合单元，用于对所述二维图像数据及所述三维点云数据进行配准处理，构建多通道复合图像；

语义分割单元，用于通过语义分割网络对所述多通道复合图像进行缺陷检测和分类；

所述语义分割网络依次包括：

至少一卷积层、一池化层、至少一功能层、一归一卷积层和一反卷积层；其中，所述归一卷积层，为滤波器数为1的所述卷积层；所述功能层包括依次连接的至少一所述卷积层和一所述池化层；

所述功能层的数量的计算公式为：

式中，k为功能层数量，p为所述电子元器件上缺陷的最小尺度，单位为mm，[]为向下取整符号。

8.如权利要求7所述的电子器件缺陷检测装置，其特征在于，所述复合单元包括：

比例模块，用于计算所述二维图像数据与深度重构图之间的比例关系；

匹配模块，用于建立所述二维图像数据与所述深度重构图中相同区域的匹配关系；

超分辨模块，用于对所述深度重构图进行超分辨率处理，使之与所述二维图像数据的分辨率相同；

组合模块，用于将所述二维图像数据与超分辨率处理后的所述深度重构图组合为所述多通道复合图像。

Images