CN115830031A - 电路板贴片的检测方法、系统及存储介质 - Google Patents

Abstract

本发明涉及电路板贴片检测技术领域，解决了细微的焊点裂纹在检测中由于特征表达模糊而造成漏检、错检的技术问题，尤其涉及一种电路板贴片的检测方法，该方法包括以下过程：S1、获取贴片焊点位置的第一深度图像；S2、对第一深度图像预处理得到处理后的第二深度图像；S3、根据第二深度图像得到贴片焊点位置的第一平面点云数据；S4、对第一平面点云数据预处理得到处理后的第二平面点云数据。本发明能够在获取焊点位置的深度图像后，将深度图像转变为平面点云，并通过等位线进行目标点的选取以及拟合得到焊点位置中所出现的裂纹特征，能够准确检测出焊点位置中所出现的细微裂纹。

Description

电路板贴片的检测方法、系统及存储介质

技术领域

本发明涉及电路板贴片检测技术领域，尤其涉及一种电路板贴片的检测方法、系统及存储介质。

背景技术

回流焊接技术作为SMT三大主要工艺之一，其焊接品质已成为影响电子组装直通率的关键因素，尤其是在电子产品向无铅化、微小化和高密度方向发展的时代。回流焊接中常见的缺陷有竖碑、桥连、锡珠和焊球、润湿不良、芯吸、焊点裂纹、冷焊、空洞、偏移和掉件等，在以上缺陷中，对于焊点裂纹这一缺陷而言，由于其裂纹所体现的特征较小，对于视觉系统的捕捉较为困难，导致无法清晰的提取裂纹特征，从而造成对于焊点裂纹现象的检测较为困难。

因此，对于电路板贴片焊点位置的检测而言，焊点裂纹由于所表现出的特征比较细微，很多焊点位置上的细微缺陷无法被基于视觉检测技术所检测到，很容易出现缺陷漏检、错检的情况，从而严重影响贴片的焊接质量以及性能。

发明内容

针对现有技术的不足，本发明提供了一种电路板贴片的检测方法、系统及存储介质，解决了细微的焊点裂纹在检测中由于特征表达模糊而造成漏检、错检的技术问题，本发明能够在获取焊点位置的深度图像后，将深度图像转变为平面点云，并通过等位线进行目标点的选取以及拟合得到焊点位置中所出现的裂纹特征，能够准确检测出焊点位置中所出现的细微裂纹。

为解决上述技术问题，本发明提供了如下技术方案：一种电路板贴片的检测方法，该方法包括以下过程：

S1、获取贴片焊点位置的第一深度图像；

S2、对第一深度图像预处理得到处理后的第二深度图像；

S3、根据第二深度图像得到贴片焊点位置的第一平面点云数据；

S4、对第一平面点云数据预处理得到处理后的第二平面点云数据；

S5、对第二平面点云数据进行特征拟合得到若干个目标特征，目标特征即为裂纹特征；

S6、对目标特征进行标记并输出检测结果。

进一步地，在步骤S2中，对第一深度图像预处理得到处理后的第二深度图像，具体过程包括以下步骤：

S21、增强第一深度图像的分辨率得到全分辨率的第一深度图像；

S22、采用自动数据增强方法对全分辨率的第一深度图像进行数据增强得到第二深度图像。

进一步地，在步骤S21中，增强第一深度图像的分辨率，具体过程包括以下步骤：

S211、对第一深度图像下采样并编码成特征图，提取第一深度图像中的局部特征和全局特征并串联起来，得到第一深度图像的低分辨率逆映射图；

S212、对低分辨率逆映射图上采样得到全分辨率映射图；

S213、将全分辨率映射图和第一深度图像中的每个像素点做乘积得到全分辨率的第一深度图像。

进一步地，在步骤S22中，采用自动数据增强方法对全分辨率的第一深度图像进行数据增强得到第二深度图像，具体过程包括以下步骤：

S221、根据机指定概率和缩放比对全分辨率的第一深度图像进行指定倍数的放大或缩小或维持原状操作；

若随机指定概率小于0.3，且缩放比小于0.6，则对全分辨率的第一深度图像进行3-5倍的放大；

若随机指定概率大于0.3，且缩放比大于0.6，则对全分辨率的第一深度图像进行2-3倍的缩小；

若随机指定概率等于0.3，且缩放比等于0.6，则对全分辨率的第一深度图像维持原状；

S222、根据面积比参数P调整对于全分辨率的第一深度图像中的增强区域的大小。

进一步地，在步骤S3中，根据第二深度图像得到贴片焊点位置的第一平面点云数据，具体过程包括以下步骤：

S31、从第二深度图像中的若干个像素点中任意选取一个像素点I；

S32、以像素点I为原点，将若干个像素点从图像坐标系转换至世界坐标系得到第一平面点云数据。

进一步地，在步骤S4中，对第一平面点云数据预处理得到处理后的第二平面点云数据，具体过程包括以下步骤：

S41、计算第一平面点云数据中任意一点

的双边滤波权因子

得到滤波后的点

；

S42、重复步骤S41直至处理完第一平面点云数据中所有的点，得到无噪声的第二平面点云数据。

进一步地，在步骤S5中，根据第二平面点云数据进行特征拟合得到若干个目标特征，具体过程包括以下步骤：

S51、在第二平面点云数据内设置多条由若干个离散点构成的等位线，若干条等位线在第二平面点云数据内相互平行设置，且两条等位线的间距为0.08-0.1mm；

S52、从第二平面点云数据中选取与离散点相重叠的点作为目标点，与离散点相重叠的点包括完全重叠、部分重叠以及相邻；

S53、采用最小二乘法将所有的目标点进行拟合得到若干个目标特征。

进一步地，在步骤S52中，从第二平面点云数据中选取与离散点相重叠的点作为目标点，具体过程包括以下步骤：

S521、设若干离散点中任意一个离散点P的坐标为

；

S522、以离散点P为球心，设定半径为0.03mm的包围球作为搜索区域；

S523、采用蚁群算法遍历整个搜索区域得到若干个特征点O；

S524、获取特征点O的坐标

；

S525、从若干个特征点中选取目标点；

若

等于

，则特征点O与离散点P重合，特征点O为目标点；

若

小于等于0.06，则特征点O与离散点P部分重合或相邻，特征点O为目标点；

若

大于0.06，则特征点O不是目标点。

该技术方案还提供了一种用于实现上述电路板贴片的检测方法的系统，该电路板贴片的检测系统包括：

第一深度图像获取模块，所述第一深度图像获取模块用于获取贴片焊点位置的第一深度图像；

第一预处理模块，所述第一预处理模块用于对第一深度图像预处理得到处理后的第二深度图像；

第一平面点云数据转换模块，所述第一平面点云数据转换模块用于根据第二深度图像得到贴片焊点位置的第一平面点云数据；

第二预处理模块，所述第二预处理模块用于对第一平面点云数据预处理得到处理后的第二平面点云数据；

特征拟合模块，所述特征拟合模块用于对第二平面点云数据进行特征拟合得到若干个目标特征，目标特征即为裂纹特征；

检测结果输出模块，所述检测结果输出模块用于对目标特征进行标记并输出检测结果。

该技术方案还提供了一种计算机存储介质，存储有计算机程序，所述计算机程序被执行时实现电路板贴片的检测方法的步骤。

借由上述技术方案，本发明提供了一种电路板贴片的检测方法、系统及存储介质，至少具备以下有益效果：

1、本发明能够在获取焊点位置的深度图像后，将深度图像转变为平面点云，并通过等位线进行目标点的选取以及拟合得到焊点位置中所出现的裂纹特征，能够准确检测出焊点位置中所出现的细微裂纹，解决了细微的焊点裂纹在检测中由于特征表达模糊而造成漏检、错检的技术问题，提高对于焊点裂纹缺陷检测的准确率。

2、本发明能对贴片在经过回流焊后所存在的细小裂纹缺陷进行准确检测，进一步减少了焊点裂纹检测的漏检率，提高了细微缺陷检测的精准度和高效性。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明电路板贴片的检测方法的流程图；

图2为本发明在第二平面点云数据中设置等位线的示意图；

图3为本发明以离散点为原点设定搜索区域的示意图；

图4为本发明电路板贴片的检测系统的原理框图。

图中：10、第一深度图像获取模块；20、第一预处理模块；30、第一平面点云数据转换模块；40、第二预处理模块；50、特征拟合模块；60、检测结果输出模块。

实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。借此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

请参照图1-图4，示出了本实施例的一种具体实施方式，本实施例能够在获取焊点位置的深度图像后，将深度图像转变为平面点云，并通过等位线进行目标点的选取以及拟合得到焊点位置中所出现的裂纹特征，能够准确检测出焊点位置中所出现的细微裂纹，解决了细微的焊点裂纹在检测中由于特征表达模糊而造成漏检、错检的技术问题，提高对于焊点裂纹缺陷检测的准确率。

请参照图1，本实施例提出了一种电路板贴片的检测方法，该方法包括以下步骤：

S1、获取贴片焊点位置的第一深度图像，在本实施例中，采用深度相机拍摄待检测贴片在回流焊工艺之后的焊点位置，以此构成包含焊点位置的第一深度图像，对于第一深度图像应保证拍摄的清晰度，能够全面覆盖焊点区域；

S2、对第一深度图像预处理得到处理后的第二深度图像；

在步骤S2中，对第一深度图像预处理得到处理后的第二深度图像，具体过程包括以下步骤：

S21、增强第一深度图像的分辨率得到全分辨率的第一深度图像；

在步骤S21中，增强第一深度图像的分辨率，具体过程包括以下步骤：

S211、对第一深度图像下采样并编码成特征图，提取第一深度图像中的局部特征和全局特征并串联起来，得到第一深度图像的低分辨率逆映射图；

S212、对低分辨率逆映射图上采样得到全分辨率映射图；

S213、将全分辨率映射图和第一深度图像中的每个像素点做乘积得到全分辨率的第一深度图像，通过增强第一深度图像中的每一个像素点，能够降低对于特征点提取的难度，即便在焊点位置出现的细小裂纹也能够清晰的捕捉到，从而便于对焊点位置的缩放以及区域增强。

S22、采用自动数据增强方法对全分辨率的第一深度图像进行数据增强得到第二深度图像。

在步骤S22中，采用自动数据增强方法对全分辨率的第一深度图像进行数据增强得到第二深度图像，具体过程包括以下步骤：

S221、根据机指定概率和缩放比对全分辨率的第一深度图像进行指定倍数的放大或缩小或维持原状操作；

若随机指定概率小于0.3，且缩放比小于0.6，则对全分辨率的第一深度图像进行3-5倍的放大；

若随机指定概率大于0.3，且缩放比大于0.6，则对全分辨率的第一深度图像进行2-3倍的缩小；

若随机指定概率等于0.3，且缩放比等于0.6，则对全分辨率的第一深度图像维持原状；

S222、根据面积比参数P调整对于全分辨率的第一深度图像中的增强区域的大小，增强区域大小的调整能够自动放大第一深度图像中焊点位置的大小，解决第一深度图像中裂纹出现变化的问题，从而提高第一深度图像中像素点的清晰；

具体的，面积比参数P的计算公式为：

；

上式中，V表示高斯函数映射函数的积分，S表示缩放或维持原状后的第一深度图像的面积，

表示第一深度图像的高斯映射函数，H、W分别表示第一深度图像的高度和宽度。

本实施例通过对第一深度图像进行预处理，能够对待检测的焊点位置进行按倍数进行缩放，同时在缩放的过程中根据面积比参数P进行增强区域的调整，以此保证第一深度图像中焊点位置的特征不变，而且在提高分辨率的同时增强对于焊点位置全部特征的清晰度，从而提高深度图转换为平面点云数据的完整性，避免出现特征点丢失的现象。

S3、根据第二深度图像得到贴片焊点位置的第一平面点云数据；

在步骤S3中，根据第二深度图像得到贴片焊点位置的第一平面点云数据，具体过程包括以下步骤：

S31、从第二深度图像中的若干个像素点中任意选取一个像素点I；

S32、以像素点I为原点，将若干个像素点从图像坐标系转换至世界坐标系得到第一平面点云数据；

坐标系的转换公式为：

；

上式中，

表示世界坐标系下坐标，

和

为图像坐标系下的坐标，D为第二深度图像的深度值。

S4、对第一平面点云数据预处理得到处理后的第二平面点云数据；

在步骤S4中，对第一平面点云数据预处理得到处理后的第二平面点云数据，具体过程包括以下步骤：

S41、计算第一平面点云数据中任意一点

的双边滤波权因子

得到滤波后的点

；

双边滤波权因子

的计算公式如下：

其中，

为点

的邻域，

为点

邻域中任意一点，

表示过点

的法向量，

、

分别为与两点间距离和两点间法向量夹角有关的权重因子。

计算滤波后的点

，计算公式如下：

；

S42、重复步骤S41直至处理完第一平面点云数据中所有的点，得到无噪声的第二平面点云数据。

S5、对第二平面点云数据进行特征拟合得到若干个目标特征，目标特征即为裂纹特征；

请参照图2，在步骤S5中，根据第二平面点云数据进行特征拟合得到若干个目标特征，具体过程包括以下步骤：

S51、在第二平面点云数据内设置多条由若干个离散点构成的等位线，等位线在第二平面点云数据中初始以直线的形式分布，随后将每一条等位线都进行离散处理形成若干个离散点，若干条等位线在第二平面点云数据内相互平行设置，且两条等位线的间距为0.08-0.1mm；

S52、从第二平面点云数据中选取与离散点相重叠的点作为目标点，与离散点相重叠的点包括完全重叠、部分重叠以及相邻，其中相邻为位于离散点邻边的所有点，为相邻点；

请参照图3，在步骤S52中，从第二平面点云数据中选取与离散点相重叠的点作为目标点，具体过程包括以下步骤：

S521、设若干离散点中任意一个离散点P的坐标为

；

S522、以离散点P为球心，设定半径为0.03mm的包围球作为搜索区域；

S523、采用蚁群算法遍历整个搜索区域得到若干个特征点O；

S524、获取特征点O的坐标

，第二平面点云数据中的每一个点的坐标为已知，具体依据由步骤S3可知，像素点通过坐标系转换公式可得知每个点的坐标，因此特征点O的坐标

为已知，能直接获取得到；

S525、从若干个特征点中选取目标点；

若

等于

，则特征点O与离散点P重合，特征点O为目标点；

若

小于等于0.06，则特征点O与离散点P部分重合或相邻，特征点O为目标点；

若

大于0.06，则特征点O不是目标点。

如图3所示，包围球的半径为0.03mm，以离散点为球心设定一个搜索区域，即在从区域内的所有点中进行选取目标点，由此能够得到足够多的目标点，所有的目标点构成一个轨迹，之后对所有的目标点进行拟合。

S53、采用最小二乘法将所有的目标点进行拟合得到若干个目标特征。

在该步骤中，采用最小二乘法将所有的目标点进行拟合为光滑曲线，每一个单独的光滑曲线即为一个目标特征。

如图2所示，通过在第二平面点云数据中设置若干条等位线，其中每条等位线由若干个离散点构成，此时能够通过多条等位线对第二平面点云数据中的点进行全面覆盖，随后便于以离散点为原点向四周进行确定目标点，与离散点相重叠的点、部分重叠的点以及相邻的点，在确定目标点之后即可进行拟合为平滑曲线，从而便于对细微的焊点裂纹进行识别，提高了对于细纹缺陷的检测精确度。

在本实施例中，通过在第二平面点云数据中构造多个等位线，并对与每一个离散点相重合或部分重合或相邻的点进行目标点的选取，最后采用最小二乘法对所有的目标点拟合为光滑曲线作为目标特征，以此得到贴片焊点位置所存在焊点裂纹。

S6、对目标特征进行标记并输出检测结果。

在该步骤中，对于所检测得到的目标特征进行标记，此过程的理解应当认为，若待检测的贴片焊点位置存在裂纹特征，即目标特征，则对该焊点位置进行标记，随后将光滑曲线的目标特征图片进行输出，并详细记录每一个目标特征所存在的区域或位置，由于焊点裂纹可能存在，也可能在焊点位置并没有出现焊点裂纹，因此对于检测后未发现目标特征的焊点位置，则也需要进行标记，将该位置标记为OK或者其他能表示良品的形式，并且对于该位置同样附上具体区域或位置，以便于后期对于多个焊点位置的核查，避免出现重复检测的现象发生。

与上述实施例提供的电路板贴片的检测方法相对应，本实施例还提供电路板贴片的检测方法的系统，由于本实施例提供的电路板贴片的检测系统与上述实施例提供的电路板贴片的检测方法相对应，因此前述电路板贴片的检测方法的实施方式也适用于本实施例提供的电路板贴片的检测系统，在本实施例中不再详细描述。

请参阅图4，其所示为本实施例提供的电路板贴片的检测系统的结构框图，该电路板贴片的检测系统包括：

第一深度图像获取模块10，第一深度图像获取模块10用于获取贴片焊点位置的第一深度图像；

第一预处理模块20，第一预处理模块20用于对第一深度图像预处理得到处理后的第二深度图像；

第一平面点云数据转换模块30，第一平面点云数据转换模块30用于根据第二深度图像得到贴片焊点位置的第一平面点云数据；

第二预处理模块40，第二预处理模块40用于对第一平面点云数据预处理得到处理后的第二平面点云数据；

特征拟合模块50，特征拟合模块50用于对第二平面点云数据进行特征拟合得到若干个目标特征，目标特征即为裂纹特征；

检测结果输出模块60，检测结果输出模块60用于对目标特征进行标记并输出检测结果。

需要说明的是，上述实施例提供的系统，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的系统与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

与上述实施例提供的电路板贴片的检测方法相对应，本实施例还提供一种计算机存储介质，存储有计算机程序，计算机程序被执行时实现电路板贴片的检测方法的步骤。

能对贴片在经过回流焊后所存在的细小裂纹缺陷进行准确检测，进一步减少了焊点裂纹检测的漏检率，提高了细微缺陷检测的精准度和高效性。

以上实施方式对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种电路板贴片的检测方法，其特征在于，该方法包括以下过程：

S1、获取贴片焊点位置的第一深度图像；

S2、对第一深度图像预处理得到处理后的第二深度图像；

S3、根据第二深度图像得到贴片焊点位置的第一平面点云数据；

S4、对第一平面点云数据预处理得到处理后的第二平面点云数据；

S5、对第二平面点云数据进行特征拟合得到若干个目标特征，目标特征即为裂纹特征；

S6、对目标特征进行标记并输出检测结果。

2.根据权利要求1所述的电路板贴片的检测方法，其特征在于，在步骤S2中，对第一深度图像预处理得到处理后的第二深度图像，具体过程包括以下步骤：

S21、增强第一深度图像的分辨率得到全分辨率的第一深度图像；

S22、采用自动数据增强方法对全分辨率的第一深度图像进行数据增强得到第二深度图像。

3.根据权利要求2所述的电路板贴片的检测方法，其特征在于，在步骤S21中，增强第一深度图像的分辨率，具体过程包括以下步骤：

S211、对第一深度图像下采样并编码成特征图，提取第一深度图像中的局部特征和全局特征并串联起来，得到第一深度图像的低分辨率逆映射图；

S212、对低分辨率逆映射图上采样得到全分辨率映射图；

S213、将全分辨率映射图和第一深度图像中的每个像素点做乘积得到全分辨率的第一深度图像。

4.根据权利要求2所述的电路板贴片的检测方法，其特征在于，在步骤S22中，采用自动数据增强方法对全分辨率的第一深度图像进行数据增强得到第二深度图像，具体过程包括以下步骤：

S221、根据机指定概率和缩放比对全分辨率的第一深度图像进行指定倍数的放大或缩小或维持原状操作；

若随机指定概率小于0.3，且缩放比小于0.6，则对全分辨率的第一深度图像进行3-5倍的放大；

若随机指定概率大于0.3，且缩放比大于0.6，则对全分辨率的第一深度图像进行2-3倍的缩小；

若随机指定概率等于0.3，且缩放比等于0.6，则对全分辨率的第一深度图像维持原状；

S222、根据面积比参数P调整对于全分辨率的第一深度图像中的增强区域的大小。

5.根据权利要求1所述的电路板贴片的检测方法，其特征在于，在步骤S3中，根据第二深度图像得到贴片焊点位置的第一平面点云数据，具体过程包括以下步骤：

S31、从第二深度图像中的若干个像素点中任意选取一个像素点I；

S32、以像素点I为原点，将若干个像素点从图像坐标系转换至世界坐标系得到第一平面点云数据。

6.根据权利要求1所述的电路板贴片的检测方法，其特征在于，在步骤S4中，对第一平面点云数据预处理得到处理后的第二平面点云数据，具体过程包括以下步骤：

S41、计算第一平面点云数据中任意一点

的双边滤波权因子

得到滤波后的点

；

S42、重复步骤S41直至处理完第一平面点云数据中所有的点，得到无噪声的第二平面点云数据。

7.根据权利要求1所述的电路板贴片的检测方法，其特征在于，在步骤S5中，根据第二平面点云数据进行特征拟合得到若干个目标特征，具体过程包括以下步骤：

S51、在第二平面点云数据内设置多条由若干个离散点构成的等位线，若干条等位线在第二平面点云数据内相互平行设置，且两条等位线的间距为0.08-0.1mm；

S52、从第二平面点云数据中选取与离散点相重叠的点作为目标点，与离散点相重叠的点包括完全重叠、部分重叠以及相邻；

S53、采用最小二乘法将所有的目标点进行拟合得到若干个目标特征。

8.根据权利要求7所述的电路板贴片的检测方法，其特征在于，在步骤S52中，从第二平面点云数据中选取与离散点相重叠的点作为目标点，具体过程包括以下步骤：

S521、设若干离散点中任意一个离散点P的坐标为

；

S522、以离散点P为球心，设定半径为0.03mm的包围球作为搜索区域；

S523、采用蚁群算法遍历整个搜索区域得到若干个特征点O；

S524、获取特征点O的坐标

；

S525、从若干个特征点中选取目标点；

若

等于

，则特征点O与离散点P重合，特征点O为目标点；

若

小于等于0.06，则特征点O与离散点P部分重合或相邻，特征点O为目标点；

若

大于0.06，则特征点O不是目标点。

9.一种用于实现如权利要求1至8中任一项所述的电路板贴片的检测方法的系统，其特征在于，该电路板贴片的检测系统包括：

第一深度图像获取模块（10），所述第一深度图像获取模块（10）用于获取贴片焊点位置的第一深度图像；

第一预处理模块（20），所述第一预处理模块（20）用于对第一深度图像预处理得到处理后的第二深度图像；

第一平面点云数据转换模块（30），所述第一平面点云数据转换模块（30）用于根据第二深度图像得到贴片焊点位置的第一平面点云数据；

第二预处理模块（40），所述第二预处理模块（40）用于对第一平面点云数据预处理得到处理后的第二平面点云数据；

特征拟合模块（50），所述特征拟合模块（50）用于对第二平面点云数据进行特征拟合得到若干个目标特征，目标特征即为裂纹特征；

检测结果输出模块（60），所述检测结果输出模块（60）用于对目标特征进行标记并输出检测结果。

10.一种计算机存储介质，其特征在于，存储有计算机程序，所述计算机程序被执行时实现如权利要求1至8中任一项所述的电路板贴片的检测方法的步骤。

Images