CN115100166A - 焊点缺陷检测方法及装置 - Google Patents

Abstract

本公开涉及一种焊点缺陷检测方法及装置，所述方法包括：获取焊点在第一光源照射下的第一灰度图像以及在第二光源照射下的第二灰度图像；确定第一灰度图像中标记点的第一位置信息，并根据第一位置信息确定导体的第二位置信息；根据第二位置信息，以及第二灰度图像的像素点的灰度值，确定焊点的第三位置信息；根据第三位置信息及第一灰度图像的像素点的灰度值，确定缺陷检测结果。根据本公开的实施例的焊点缺陷检测方法，能够在两种高度的光源照射下拍摄两种图像，获得其灰度图像，减少能量扩散产生的光晕，并可利用较为显著的标记点来确定导体的位置，可利用两种灰度图像的特性确定焊点的缺陷，以提升检测准确性，且减少人工成本。

Description

焊点缺陷检测方法及装置

技术领域

本公开涉及计算机技术领域，尤其涉及一种焊点缺陷检测方法及装置。

背景技术

产品的表面缺陷会对产品的美观、舒适性和性能产生不利影响。因此，生产企业可对产品的表面缺陷进行检测，以便及时发现和控制。

在相关技术中，可通过机器视觉的方法来进行检测，机器视觉主要研究使用计算机来模拟人类的视觉功能。图像通过相机等获得，然后转换成数字图像信号，发送到计算机。计算机获得所需的信息，并做出正确的计算和判断。通过数字图像处理算法和识别算法，从形状和运动的角度识别客观世界中的三维场景和物体，并根据识别结果作出判断和控制。

产品缺陷检测是机器视觉检测的重要组成部分，检测的准确性将直接影响产品的最终质量。由于人工检测方法早已不能满足生产和现代工艺生产制造的需要，而机器视觉检测的使用很好地克服了这一点，表面缺陷检测系统的广泛应用促进了企业工厂产品高质量生产和制造业智能自动化的发展。

表面缺陷检测系统的应用提高了检测的准确性和效率。目前工厂用工成本逐年增高，该铜片焊点过小，焊点形状特殊，普通环境下人工目视检测困难，需借助高倍率相机，效率较慢，且对质检员经验要求较高。但由于焊点形状特殊，普通打光成像效果差，焊点周围有很多能量扩散产生的光晕，采用相关技术中的检测方式难以分割焊点，更难以识别焊点的缺陷。

发明内容

本公开提出了一种焊点缺陷检测方法及装置。

根据本公开的一方面，提供了一种焊点缺陷检测方法，包括：获取至少一个焊点在第一光源照射下的第一灰度图像，以及在第二光源照射下的第二灰度图像，其中，所述第一光源的高度高于所述第二光源的高度；确定所述第一灰度图像中标记点所在的第一位置信息，并根据所述第一位置信息确定所述至少一个焊点对应的导体在所述第一灰度图像中所在区域的第二位置信息；根据所述第二位置信息，以及所述第二灰度图像的多个像素点的灰度值，确定所述至少一个焊点在所述第二灰度图像中第三位置信息；根据所述第三位置信息，及所述第一灰度图像的多个像素点的灰度值，确定所述焊点的缺陷检测结果。

在一种可能的实现方式中，根据所述第一位置信息确定所述至少一个焊点对应的导体在所述第一灰度图像中所在区域的第二位置信息，包括：获取所述标记点与所述导体之间的相对位置关系；根据所述相对位置关系对所述第一位置信息进行仿射变换，获得所述第二位置信息。

在一种可能的实现方式中，根据所述第二位置信息，以及所述第二灰度图像的多个像素点的灰度值，确定所述至少一个焊点在所述第二灰度图像中第三位置信息，包括：根据所述第二位置信息，确定所述导体在所述第二灰度图像中所在区域的第四位置信息；根据所述第四位置信息，确定所述第二灰度图像中所述导体所在区域内的像素点的灰度值的第一均值和第一方差；根据所述第一均值和所述第一方差，在所述第二灰度图像中所述导体所在区域内，确定所述至少一个焊点的第三位置信息。

在一种可能的实现方式中，所述缺陷检测结果包括工艺类缺陷检测结果和外观类缺陷检测结果，其中，根据所述第三位置信息，及所述第一灰度图像的多个像素点的灰度值，确定所述焊点的缺陷检测结果，包括：根据所述第三位置信息，确定所述焊点的工艺类缺陷检测结果；根据所述第三位置信息，确定所述焊点在所述第一灰度图像内所在区域的第五位置信息；根据所述第五位置信息，确定所述第一灰度图像内所述焊点所在区域内的像素点的灰度值的第二均值和第二方差；根据所述第二均值和所述第二方差，确定所述焊点的外观类缺陷检测结果。

在一种可能的实现方式中，根据所述第三位置信息，确定所述焊点的工艺类缺陷检测结果，包括：根据所述第三位置信息，确定所述焊点在所述第二灰度图像中所在区域的尺寸信息；根据所述尺寸信息，确定所述焊点的工艺类缺陷检测结果。

在一种可能的实现方式中，根据所述第二均值和所述第二方差，确定所述焊点的外观类缺陷检测结果，包括：根据所述第二均值、所述第二方差和第一预设参数，在所述焊点所在区域内确定预测缺陷区域；根据所述第二均值、所述第二方差和第二预设参数，在所述预测缺陷区域内确定外观类缺陷所在区域；根据所述外观类缺陷所在区域和所述第一灰度图像内所述焊点所在区域内的像素点的灰度值，确定所述外观类缺陷检测结果。

在一种可能的实现方式中，根据所述第二均值、所述第二方差和第一预设参数，在所述焊点所在区域内确定预测缺陷区域，包括：根据所述第二均值、所述第二方差和第一预设参数，获得第一缺陷阈值；将所述焊点所在区域内，灰度值小于所述第一缺陷阈值的像素点所在的区域确定为所述预测缺陷区域。

在一种可能的实现方式中，根据所述第二均值、所述第二方差和第二预设参数，在所述预测缺陷区域内确定外观类缺陷所在区域，包括：根据所述第二均值、所述第二方差和第二预设参数，获得第二缺陷阈值；在所述预测缺陷区域内，灰度值小于所述第二缺陷阈值的像素点所在的区域确定为所述外观类缺陷所在区域。

在一种可能的实现方式中，获取至少一个焊点在第一光源照射下的第一灰度图像，以及在第二光源照射下的第二灰度图像，包括：分别获取至少一个焊点在第一光源照射下的第一图像，以及在第二光源照射下的第二图像；将所述第一图像和所述第二图像分别转换为所述第一灰度图像和所述第二灰度图像。

根据本公开的一方面，提供了一种焊点缺陷检测装置，包括：第一光源、第二光源、相机和处理器，其中，所述第一光源的高度高于所述第二光源的高度，所述相机用于在所述第一光源照射至少一个焊点时，获取所述至少一个焊点的第一灰度图像，以及，在所述第二光源照射所述至少一个焊点时，获取所述至少一个焊点的第二灰度图像；所述处理器用于：确定所述第一灰度图像中标记点所在的第一位置信息，并根据所述第一位置信息确定所述至少一个焊点对应的导体在所述第一灰度图像中所在区域的第二位置信息；根据所述第二位置信息，以及所述第二灰度图像的多个像素点的灰度值，确定所述至少一个焊点在所述第二灰度图像中第三位置信息；根据所述第三位置信息，及所述第一灰度图像的多个像素点的灰度值，确定所述焊点的缺陷检测结果。

在一种可能的实现方式中，在一种可能的实现方式中，所述相机还可与镜头构成高倍率面阵相机。

在一种可能的实现方式中，所述处理器进一步用于：根据所述第二位置信息，确定所述导体在所述第二灰度图像中所在区域的第四位置信息；根据所述第四位置信息，确定所述第二灰度图像中所述导体所在区域内的像素点的灰度值的第一均值和第一方差；根据所述第一均值和所述第一方差，在所述第二灰度图像中所述导体所在区域内，确定所述至少一个焊点的第三位置信息。

在一种可能的实现方式中，所述缺陷检测结果包括工艺类缺陷检测结果和外观类缺陷检测结果，所述处理器进一步用于：根据所述第三位置信息，确定所述焊点的工艺类缺陷检测结果；根据所述第三位置信息，确定所述焊点在所述第一灰度图像内所在区域的第五位置信息；根据所述第五位置信息，确定所述第一灰度图像内所述焊点所在区域内的像素点的灰度值的第二均值和第二方差；根据所述第二均值和所述第二方差，确定所述焊点的外观类缺陷检测结果。

在一种可能的实现方式中，所述处理器进一步用于：根据所述第三位置信息，确定所述焊点在所述第二灰度图像中所在区域的尺寸信息；根据所述尺寸信息，确定所述焊点的工艺类缺陷检测结果。

在一种可能的实现方式中，所述处理器进一步用于：根据所述第二均值、所述第二方差和第一预设参数，在所述焊点所在区域内确定预测缺陷区域；根据所述第二均值、所述第二方差和第二预设参数，在所述预测缺陷区域内确定外观类缺陷所在区域；根据所述外观类缺陷所在区域和所述第一灰度图像内所述焊点所在区域内的像素点的灰度值，确定所述外观类缺陷检测结果。

在一种可能的实现方式中，所述处理器进一步用于：根据所述第二均值、所述第二方差和第一预设参数，获得第一缺陷阈值；将所述焊点所在区域内，灰度值小于所述第一缺陷阈值的像素点所在的区域确定为所述预测缺陷区域。

在一种可能的实现方式中，所述处理器进一步用于：根据所述第二均值、所述第二方差和第二预设参数，获得第二缺陷阈值；在所述预测缺陷区域内，灰度值小于所述第二缺陷阈值的像素点所在的区域确定为所述外观类缺陷所在区域。

在一种可能的实现方式中，所述处理器进一步用于：分别获取至少一个焊点在第一光源照射下的第一图像，以及在第二光源照射下的第二图像；将所述第一图像和所述第二图像分别转换为所述第一灰度图像和所述第二灰度图像。

根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。

根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。

根据本公开的实施例的焊点缺陷检测方法，能够在两种高度的光源照射下拍摄两种图像，并获得其灰度图像，减少能量扩散产生的光晕，并可利用较为显著的标记点来确定导体的位置，并可利用两种灰度图像的特性分别在图像中确定焊点的位置以及焊点的缺陷，以提升检测准确性，并可减少人工成本。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1示出根据本公开实施例的焊点缺陷检测方法的流程图；

图2示出根据本公开实施例的焊点缺陷检测方法的应用示意图；

图3示出根据本公开实施例的焊点缺陷检测装置的示意图。

具体实施方式

以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

图1示出根据本公开实施例的焊点缺陷检测方法的流程图，如图1所示，所述方法包括：

在步骤S11中，获取至少一个焊点在第一光源照射下的第一灰度图像，以及在第二光源照射下的第二灰度图像，其中，所述第一光源的高度高于所述第二光源的高度；

在步骤S12中，确定所述第一灰度图像中标记点所在的第一位置信息，并根据所述第一位置信息确定所述至少一个焊点对应的导体在所述第一灰度图像中所在区域的第二位置信息；

在步骤S13中，根据所述第二位置信息，以及所述第二灰度图像的多个像素点的灰度值，确定所述至少一个焊点在所述第二灰度图像中第三位置信息；

在步骤S14中，根据所述第三位置信息，及所述第一灰度图像的多个像素点的灰度值，确定所述焊点的缺陷检测结果。

根据本公开的实施例的焊点缺陷检测方法，能够在两种高度的光源照射下拍摄两种图像，并获得其灰度图像，减少能量扩散产生的光晕，并可利用较为显著的标记点来确定导体的位置，并可利用两种灰度图像的特性分别在图像中确定焊点的位置以及焊点的缺陷，以提升检测准确性，并可减少人工成本。

在一种可能的实现方式中，第一光源和第二光源可以是环形的光源，产品(例如，电子板等)可放置于环形中间的孔洞的下方，从而在开启环形光源照射产品时，可减少器件之间相互遮挡造成的阴影，有利于提高获取的图像的图像质量，提升检测精度。第一光源的高度可高于第二光源，因此，第一光源的光线在产品上的照射范围更广，光线的亮度更均匀，因此，在第一光源照射下获得的图像中，各个焊点均可较为清晰地呈现，可用于检测产品上的焊点的外观类缺陷，例如，影响产品的视觉效果和舒适度等方面的缺陷，例如，虚焊、鼓包等缺陷；第二光源的高度较低，与产品的距离较近，亮度较大，因此，在第二光源的照射下获得的图像中，焊点与背景之间的对比度更大，可用于检测产品上的焊点的工艺类缺陷，例如，影响产品性能的缺陷，例如，缺焊、断裂等。

在一种可能的实现方式中，由于焊点的尺寸较小，因此可使用高倍率的面阵相机来拍摄第一图像和第二图像，该相机可位于上述环形中间的空洞的上方，以通过第一光源和第二光源的空洞，拍摄在第一光源或第二光源照射下的产品的图像，上述相机可以是RGB相机，以拍摄分辨率较高的图像，本公开对相机的类型不做限制。

在一种可能的实现方式中，在步骤S11中，可分别打开第一光源或第二光源，以分别通过相机拍摄图像，进而可获得第一光源照射下拍摄的图像对应的第一灰度图像，以及第二光源照射下拍摄的图像对应的第二灰度图像。

在一种可能的实现方式中，步骤S11可包括：分别获取至少一个焊点在第一光源照射下的第一图像，以及在第二光源照射下的第二图像；将所述第一图像和所述第二图像分别转换为所述第一灰度图像和所述第二灰度图像。

在一种可能的实现方式中，可开启第一光源照射具有焊点的产品，并关闭第二光源，以通过相机拍摄产品的焊点在第一光源照射下的第一图像。还可开启第二光源照射上述具有焊点的产品，并关闭第一光源，以通过相机拍摄产品的焊点在第二光源照射下的第二图像。第一图像和第二图像可以是RGB图像，进一步地，可将第一图像转换为第一灰度图像，并将第二图像转换为第二灰度图像，以便于后续的处理，例如，便于通过像素点的灰度值来确定缺陷的位置和类型。在另一示例中，所述相机可以是灰度相机，可以直接获取第一光源照射下的第一灰度图像和第二光源照射下的第二灰度图像，本公开对相机的类型不做限制。

在一种可能的实现方式中，在步骤S12中，可确定第一灰度图像中标记点所在的第一位置信息，并基于标记点的第一位置信息确定与焊点对应的导体所在的第二位置信息。所述标记点为所述产品上的特征明显的点，例如，产品上的某种形状的标记、孔洞等易于检测到的点，并且，标记点与各个焊点对应的导体之间的相对位置关系是已知的，可基于标记点的位置来间接确定不易检测到的导体的位置。所述导体可包括与焊点对应的焊盘，例如，铜片等，本公开对导体的类型不做限制。

在一种可能的实现方式中，步骤S12可包括：获取所述标记点与所述导体之间的相对位置关系；根据所述相对位置关系对所述第一位置信息进行仿射变换，获得所述第二位置信息。

在一种可能的实现方式中，所述导体的面积通常稍大于焊点，且导体通常平铺在产品的电子版上，在灰度图像中可能难以检测到，因此，可检测第一灰度图像中易于检测到的第一标记点的位置，并通过标记点与各个导体的相对位置关系间接确定导体的位置。在示例中，可通过多种图像检测方法来检测标记点的第一位置信息，例如，可通过深度学习神经网络的方法来检测标记点的第一位置信息，或者，可通过相关技术中的NCC模板匹配算法检测标记点的第一位置信息，本公开对第一位置信息的检测方法不做限制。

在一种可能的实现方式中，可获得标记点与导体之间的相对位置关系，例如，导体在产品(例如，电子版)上的位置是固定的，可预先确定各导体在产品上的位置，例如，确定各导体的中心的位置坐标以及导体的尺寸。类似地，标记点在产品上的位置也是固定的，可预先确定标记点在产品上的位置，例如，确定标记点的中心的位置坐标以及标记点的尺寸。从而可基于标记点和导体的位置，获得二者之间的相对位置关系。例如，标记点的坐标为(0，0)，某导体的中心位置坐标为(20，0)，则该导体在标记点右侧20mm的位置。

在一种可能的实现方式中，可在检测到标记点的第一位置信息后，根据各导体与标记点之间的相对位置关系对第一位置信息进行仿射变换，例如，可将第一位置信息(即，标记点在第一灰度图像中的坐标)乘以放射变换矩阵(根据相对位置关系获得的位置变换矩阵)，以获得导体在第一灰度图像中的第二位置信息。在示例中，第二位置信息为导体所在的区域的位置信息，通过上述仿射变换可获得导体的中心点在第一灰度图像中的坐标，进而，可根据导体的尺寸，确定导体在第一灰度图像中所在的区域的第二位置信息。

在一种可能的实现方式中，在步骤S13中，在确定出导体的第二位置信息后，可通过导体的第二位置信息确定焊点的位置。在示例中，可确定焊点在第二灰度图像中的第三位置信息，从而基于第三位置信息来确定焊点是否存在工艺类缺陷。由于在拍摄第一图像和第二图像时，仅调节了光源，没有调节相机以及产品的位置等其他信息，因此，导体在第一灰度图像和第二灰度图像中的位置是一致的，焊点在第一灰度图像和第二灰度图像中的位置也是一致的。

在一种可能的实现方式中，步骤S13可包括：根据所述第二位置信息，确定所述导体在所述第二灰度图像中所在区域的第四位置信息；根据所述第四位置信息，确定所述第二灰度图像中所述导体所在区域内的像素点的灰度值的第一均值和第一方差；根据所述第一均值和所述第一方差，在所述第二灰度图像中所述导体所在区域内，确定所述至少一个焊点的第三位置信息。

在一种可能的实现方式中，如上所述，导体在第一灰度图像中的位置与在第二灰度图像中的位置是一致的，因此，根据导体在第一灰度图像中的第二位置信息可直接确定导体在第二灰度图像中的第四位置信息。

在一种可能的实现方式中，所述第四位置信息为第二灰度图像中导体所在区域的位置信息，可基于该区域内的像素点的灰度值来确定焊点的第三位置信息。在示例中，可将该区域内的像素点的灰度值进行平均值的求解，获得第一均值，并可基于第一均值，求解该区域内灰度值的第一方差，进而可基于第一均值和第一方差来确定焊点的第三位置信息。

在一种可能的实现方式中，焊点与导体之间也存在灰度差异，可利用该灰度差异来确定焊点的位置，例如，焊点所在位置的灰度高于导体上其他位置的灰度，因此，可通过设置阈值来确定焊点的位置，例如，灰度高于设置的阈值的像素点即为焊点所在区域的像素点，反之，则为导体上其他位置的像素点，从而可确定各导体上的焊点所在位置。但是，每个导体的灰度可能存在差异，例如，某个导体所在的区域中，像素点的灰度值整体高于另一个导体所在的区域中像素点的灰度值，因此，为所有导体所在区域设置统一的阈值是不适用的，可针对每个导体所在的位置，单独设置阈值。

在一种可能的实现方式中，如上所述，可获得每个导体所在区域中，像素点的第一均值和第一方差，并基于第一均值和第一方差，确定每个导体所在的区域内的焊点所在位置。在示例中，可基于以下公式(1)分别确定每个导体所在区域的阈值：

threshSp＝Mean+0.63×Deviation (1)

其中，threshSp为各导体所在区域的阈值，Mean为各导体所在区域的像素点的平均灰度，即，第一均值，Deviation为各导体所在区域的像素点的灰度的方差，即，第一方差。可基于公式(1)分别确定每个导体所在区域的阈值，并将各导体所在区域内，灰度值大于阈值的像素点确定为焊点的像素点，从而，可确定各导体所在区域内的焊点所在的第三位置信息。

在一种可能的实现方式中，在步骤S14中，在检测到焊点的位置后，可基于焊点所在位置的像素点的灰度值来确定缺陷检测结果。如上所述，焊点的缺陷包括工艺类缺陷和外观类缺陷，因此，缺陷检测结果可包括工艺类缺陷检测结果和外观类缺陷检测结果。并且，如上所述，在第一光源照射下获得的图像可用于检测外观类缺陷，在第二光源照射下获得的图像可用于检测工艺类缺陷。因此，可基于焊点在第二灰度图像中的第三位置信息确定工艺类缺陷检测结果，并基于焊点在第一灰度图像中的位置信息确定外观类缺陷检测结果。

在一种可能的实现方式中，步骤S14可包括：根据所述第三位置信息，确定所述焊点的工艺类缺陷检测结果；根据所述第三位置信息，确定所述焊点在所述第一灰度图像内所在区域的第五位置信息；根据所述第五位置信息，确定所述第一灰度图像内所述焊点所在区域内的像素点的灰度值的第二均值和第二方差；根据所述第二均值和所述第二方差，确定所述焊点的外观类缺陷检测结果。

在一种可能的实现方式中，可根据焊点在第二灰度图像中的第三位置信息确定工艺类缺陷检测结果，例如，缺焊、断裂等缺陷。在示例中，可根据第三位置信息所表示的焊点所在区域的尺寸来确定工艺类缺陷检测结果。例如，缺焊或断裂可能是由于焊材使用量不符合要求导致的，而焊材使用量不符合要求，则焊点的尺寸也不符合要求，例如，焊点的长宽比不符合要求。

在一种可能的实现方式中，根据所述第三位置信息，确定所述焊点的工艺类缺陷检测结果，包括：根据所述第三位置信息，确定所述焊点在所述第二灰度图像中所在区域的尺寸信息；根据所述尺寸信息，确定所述焊点的工艺类缺陷检测结果。

在示例中，可根据第三位置信息，确定第二灰度图像中焊点所在的区域，进而确定焊点所在区域的尺寸信息，例如，区域的长度，宽度等。进而可根据长宽比等参数来确定尺寸信息是否符合要求，如果不符合要求，则该焊点存在工艺类缺陷，即，可将该焊点的工艺类缺陷检测结果确定为存在工艺类缺陷。反之，则可将该焊点的工艺类缺陷检测结果确定为不存在工艺类缺陷。

在一种可能的实现方式中，还可确定各焊点的外观类缺陷检测结果，如上所述，可根据焊点在第一灰度图像中的位置信息确定外观类缺陷检测结果。因此，可根据焊点在第二灰度图像中的第三位置信息，确定焊点在第一灰度图像中的第五位置信息。在示例中，焊点在第二灰度图像中的第三位置信息与焊点在第一灰度图像中的第五位置信息是一致的，因此，可基于第五位置信息直接确定所述第三位置信息。

在一种可能的实现方式中，在确定外观类缺陷检测结果时，也可使用第一灰度图像内焊点所在区域的像素点的灰度值，例如，可设定阈值，并基于焊点所在区域内像素点的灰度值与设定的阈值之间的关系来确定是否存在外观类缺陷检测结果。类似地，由于各焊点的区域内的像素点的灰度值存在差异，因此，无法设定统一的阈值来判断所有焊点的外观类缺陷检测结果，因此，可根据各焊点所在区域内的像素点的灰度值来分别设定阈值。

在一种可能的实现方式中，可分别对各焊点所在区域内像素点的灰度值求解平均值，获得第二均值，并根据第二均值，确定各像素点的灰度值的第二方差。进而可基于第二均值和第二方差来分别确定各焊点所在区域的阈值，进而基于各焊点所在区域的阈值来分别确定各焊点的外观类缺陷检测结果。

在一种可能的实现方式中，根据所述第二均值和所述第二方差，确定所述焊点的外观类缺陷检测结果，包括：根据所述第二均值、所述第二方差和第一预设参数，在所述焊点所在区域内确定预测缺陷区域；根据所述第二均值、所述第二方差和第二预设参数，在所述预测缺陷区域内确定外观类缺陷所在区域；根据所述外观类缺陷所在区域和所述第一灰度图像内所述焊点所在区域内的像素点的灰度值，确定所述外观类缺陷检测结果。

在一种可能的实现方式中，可首先确定预测缺陷区域，从而可在预测缺陷区域内查找外观类缺陷，以减小查找范围。根据所述第二均值、所述第二方差和第一预设参数，在所述焊点所在区域内确定预测缺陷区域，包括：根据所述第二均值、所述第二方差和第一预设参数，获得第一缺陷阈值；将所述焊点所在区域内，灰度值小于所述第一缺陷阈值的像素点所在的区域确定为所述预测缺陷区域。

在示例中，可根据以下公式(2)，确定第一缺陷阈值：

gray_falsewelding_3＝(MeanSp+DeviationSp)/3 (2)

其中，gray_falsewelding_3为所述第一缺陷阈值，MeanSp为焊点所在区域内的像素点的灰度的平均值，即，第二均值，DeviationSp为焊点所在区域内的像素点的灰度的方差，即，第二方差，所述第一预设参数设置为3。本公开对第一预设参数的具体取值不做限制。

在一种可能的实现方式中，可根据以上公式(2)确定各焊点所在区域的第一缺陷阈值，并确定各焊点所在区域中，是否存在预测缺陷区域，即，灰度值小于第一缺陷阈值的像素点所在的区域，如果某个焊点所在区域内，没有预测缺陷区域，则该焊点不存在外观类缺陷，可将其外观类缺陷检测结果确定为不存在外观类缺陷，反之，则可进行进一步地判断。

通过这种方式，可缩小查找外观类缺陷的范围，提升查找效率。

在一种可能的实现方式中，根据所述第二均值、所述第二方差和第二预设参数，在所述预测缺陷区域内确定外观类缺陷所在区域，包括：根据所述第二均值、所述第二方差和第二预设参数，获得第二缺陷阈值；在所述预测缺陷区域内，灰度值小于所述第二缺陷阈值的像素点所在的区域确定为所述外观类缺陷所在区域。

在一种可能的实现方式中，可在排除一部分不存在预测缺陷区域的焊点后，继续在存在预测缺陷区域的焊点中查找外观类缺陷。例如，可在预测缺陷区域内进一步查找外观类缺陷。在示例中，可根据以下公式(3)设置第二缺陷阈值，以在预测缺陷区域中进一步确定外观类缺陷所在区域。

gray_falsewelding_4＝(MeanSp+DeviationSp)/4 (3)

其中，gray_falsewelding_4为所述第二缺陷阈值，第二预设参数可设为4，本公开对第二预设参数的具体取值不做限制，只要小于第一预设参数即可，因此，第二缺陷阈值小于第一缺陷阈值，可在预测缺陷区域内进一步查找灰度值小于第二缺陷阈值的像素点所在区域，即，外观类缺陷所在区域。在另一示例中，公式(3)中的MeanSp(即，第二均值)也可替换为预测缺陷区域内的像素点的灰度值的平均值，DeviationSp(即，第二方差)可替换为预测缺陷区域内的像素点的灰度值的方差。本公开对此不做限制。

在一种可能的实现方式中，如果某个焊点的预测缺陷区域中，不存在灰度值小于第二缺陷阈值的像素点，则该预测缺陷区域则不存在外观类缺陷，如果该焊点的所有预测缺陷区域中均不存在外观类缺陷，则该焊点不存在外观类缺陷，可将该焊点的外观类缺陷检测结果确定为不存在外观类缺陷。反之，则可确定该焊点存在外观类缺陷，并可根据第二缺陷阈值对外观类缺陷进行分类。

在一种可能的实现方式中，根据外观类缺陷所在区域和第一灰度图像的焊点所在区域内的像素点的灰度值，确定外观类缺陷检测结果，即，确定外观类缺陷的具体类别，例如，该外观类缺陷是虚焊，还是鼓包。

在示例中，可统计各预测缺陷区域内的像素点的灰度值的均值和方差，可将均值低于第二缺陷阈值，且与第二缺陷阈值的差距大于或等于设定值，并且，像素点数量大于设定的数量值的外观类缺陷所在区域确定为鼓包。例如，所述设定值可设定为8，所述设定的数量值可设定为2000，本公开对设定的具体数值不做限制。

在示例中，可将预测缺陷区域内的像素点的方差大于设定的方差阈值，且像素点数量大于设定的数量值，且连通域数量小于或等于数量阈值，且密实度小于密实度阈值，且面积与焊点所在区域之间的比值小于预设占比，且长度大于焊点所在区域的长度的预设比例的预测缺陷区域，确定为虚焊。在示例中，方差阈值可设定为10，设定的数量值可设定为2000，数量阈值可设定为3，密实度阈值可设定为30％，预设占比可设定为70％，预设比例可设定为25％。本公开对设定的具体数值不做限制。

在示例中，还可设定其他条件来识别其他的外观类缺陷，也可将不满足上述条件的预测缺陷区域确定为不存在外观缺陷的区域。本公开对设定的条件不做限制。

在一种可能的实现方式中，可根据上述条件确定各焊点的预测缺陷区域的具体类别，从而确定焊点存在哪些外观类缺陷，或者不存在外观类缺陷，以获得所述外观类缺陷检测结果。

根据本公开的实施例的焊点缺陷检测方法，能够在两种高度的光源照射下拍摄两种图像，并获得其灰度图像，减少能量扩散产生的光晕，并可利用较为显著的标记点来确定导体的位置，以及焊点的位置，以提升检测准确性，并可利用第一灰度图像来确定外观类缺陷检测结果，以及利用第二灰度图像来确定工艺类缺陷检测结果。进一步地，在确定外观类缺陷检测结果时，还可设定多个阈值与多个条件，逐步查找外观类缺陷，减小查找范围，从而确定各焊点是否存在外观类缺陷以及外观类缺陷的类别，提升查找效率和查找准确性。并可减少人工成本。

图2示出根据本公开实施例的焊点缺陷检测方法的应用示意图，如图2所示，图中，面阵相机1和镜头2构成高倍率的面阵相机，并在第一光源3照射下拍摄具有焊点的产品的第一图像，以及在第二光源4照射下拍摄产品的第二图像。

在一种可能的实现方式中，可将第一图像和第二图像分别转换为第一灰度图像和第二灰度图像，并可利用第一灰度图像来确定各焊点的外观类缺陷检测结果，利用第二灰度图像来确定各焊点的工艺类缺陷检测结果。

在一种可能的实现方式中，可确定第一灰度图像中的标记点的位置，并基于导体与标记点之间的位置关系来确定各导体的位置。进而在第二灰度图像中，基于导体所在区域的像素点的灰度值的均值和方差以及公式(1)确定焊点所在的区域。

在一种可能的实现方式中，可基于第二灰度图像中焊点所在区域的长宽比来确定各焊点是否存在工艺类缺陷，以确定工艺类缺陷检测结果。进一步地，可基于第一灰度图像中焊点所在区域的像素点的灰度值的均值和方差以及公式(2)来确定预测缺陷区域，从而可在预测缺陷区域中继续查找外观类缺陷，以缩小查找范围。

在一种可能的实现方式中，可在各预测缺陷区域中查找灰度值小于公式(3)确定的阈值的像素点所在的区域，作为外观类缺陷所在的区域。进一步地，可设定多种条件来对外观类缺陷进行分类，从而确定外观类缺陷属于鼓包、缺焊或是其他类别，从而确定外观类缺陷检测结果。

可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

此外，本公开还提供了焊点缺陷检测装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种焊点缺陷检测方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。

图3示出根据本公开实施例的焊点缺陷检测装置的示意图，如图3所示，所述装置包括：第一光源3、第二光源4、相机1和处理器，其中，所述第一光源的高度高于所述第二光源的高度，所述相机用于在所述第一光源照射至少一个焊点时，获取所述至少一个焊点的第一灰度图像，以及，在所述第二光源照射所述至少一个焊点时，获取所述至少一个焊点的第二灰度图像；所述处理器用于：确定所述第一灰度图像中标记点所在的第一位置信息，并根据所述第一位置信息确定所述至少一个焊点对应的导体在所述第一灰度图像中所在区域的第二位置信息；根据所述第二位置信息，以及所述第二灰度图像的多个像素点的灰度值，确定所述至少一个焊点在所述第二灰度图像中第三位置信息；根据所述第三位置信息，及所述第一灰度图像的多个像素点的灰度值，确定所述焊点的缺陷检测结果。

在一种可能的实现方式中，所述相机1还可与镜头2构成高倍率面阵相机。

在一种可能的实现方式中，所述处理器进一步用于：根据所述第二位置信息，确定所述导体在所述第二灰度图像中所在区域的第四位置信息；根据所述第四位置信息，确定所述第二灰度图像中所述导体所在区域内的像素点的灰度值的第一均值和第一方差；根据所述第一均值和所述第一方差，在所述第二灰度图像中所述导体所在区域内，确定所述至少一个焊点的第三位置信息。

在一种可能的实现方式中，所述缺陷检测结果包括工艺类缺陷检测结果和外观类缺陷检测结果，所述处理器进一步用于：根据所述第三位置信息，确定所述焊点的工艺类缺陷检测结果；根据所述第三位置信息，确定所述焊点在所述第一灰度图像内所在区域的第五位置信息；根据所述第五位置信息，确定所述第一灰度图像内所述焊点所在区域内的像素点的灰度值的第二均值和第二方差；根据所述第二均值和所述第二方差，确定所述焊点的外观类缺陷检测结果。

在一种可能的实现方式中，所述处理器进一步用于：根据所述第三位置信息，确定所述焊点在所述第二灰度图像中所在区域的尺寸信息；根据所述尺寸信息，确定所述焊点的工艺类缺陷检测结果。

在一种可能的实现方式中，所述处理器进一步用于：根据所述第二均值、所述第二方差和第一预设参数，在所述焊点所在区域内确定预测缺陷区域；根据所述第二均值、所述第二方差和第二预设参数，在所述预测缺陷区域内确定外观类缺陷所在区域；根据所述外观类缺陷所在区域和所述第一灰度图像内所述焊点所在区域内的像素点的灰度值，确定所述外观类缺陷检测结果。

在一种可能的实现方式中，所述处理器进一步用于：根据所述第二均值、所述第二方差和第一预设参数，获得第一缺陷阈值；将所述焊点所在区域内，灰度值小于所述第一缺陷阈值的像素点所在的区域确定为所述预测缺陷区域。

在一种可能的实现方式中，所述处理器进一步用于：根据所述第二均值、所述第二方差和第二预设参数，获得第二缺陷阈值；在所述预测缺陷区域内，灰度值小于所述第二缺陷阈值的像素点所在的区域确定为所述外观类缺陷所在区域。

在一种可能的实现方式中，所述处理器进一步用于：分别获取至少一个焊点在第一光源照射下的第一图像，以及在第二光源照射下的第二图像；将所述第一图像和所述第二图像分别转换为所述第一灰度图像和所述第二灰度图像。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种焊点缺陷检测方法，其特征在于，包括：

获取至少一个焊点在第一光源照射下的第一灰度图像，以及在第二光源照射下的第二灰度图像，其中，所述第一光源的高度高于所述第二光源的高度；

确定所述第一灰度图像中标记点所在的第一位置信息，并根据所述第一位置信息确定所述至少一个焊点对应的导体在所述第一灰度图像中所在区域的第二位置信息；

根据所述第二位置信息，以及所述第二灰度图像的多个像素点的灰度值，确定所述至少一个焊点在所述第二灰度图像中第三位置信息；

根据所述第三位置信息，及所述第一灰度图像的多个像素点的灰度值，确定所述焊点的缺陷检测结果。

2.根据权利要求1所述的方法，其特征在于，根据所述第一位置信息确定所述至少一个焊点对应的导体在所述第一灰度图像中所在区域的第二位置信息，包括：

获取所述标记点与所述导体之间的相对位置关系；

根据所述相对位置关系对所述第一位置信息进行仿射变换，获得所述第二位置信息。

3.根据权利要求1所述的方法，其特征在于，根据所述第二位置信息，以及所述第二灰度图像的多个像素点的灰度值，确定所述至少一个焊点在所述第二灰度图像中第三位置信息，包括：

根据所述第二位置信息，确定所述导体在所述第二灰度图像中所在区域的第四位置信息；

根据所述第四位置信息，确定所述第二灰度图像中所述导体所在区域内的像素点的灰度值的第一均值和第一方差；

根据所述第一均值和所述第一方差，在所述第二灰度图像中所述导体所在区域内，确定所述至少一个焊点的第三位置信息。

4.根据权利要求1所述的方法，其特征在于，所述缺陷检测结果包括工艺类缺陷检测结果和外观类缺陷检测结果，

其中，根据所述第三位置信息，及所述第一灰度图像的多个像素点的灰度值，确定所述焊点的缺陷检测结果，包括：

根据所述第三位置信息，确定所述焊点的工艺类缺陷检测结果；

根据所述第三位置信息，确定所述焊点在所述第一灰度图像内所在区域的第五位置信息；

根据所述第五位置信息，确定所述第一灰度图像内所述焊点所在区域内的像素点的灰度值的第二均值和第二方差；

根据所述第二均值和所述第二方差，确定所述焊点的外观类缺陷检测结果。

5.根据权利要求4所述的方法，其特征在于，根据所述第三位置信息，确定所述焊点的工艺类缺陷检测结果，包括：

根据所述第三位置信息，确定所述焊点在所述第二灰度图像中所在区域的尺寸信息；

根据所述尺寸信息，确定所述焊点的工艺类缺陷检测结果。

6.根据权利要求4所述的方法，其特征在于，根据所述第二均值和所述第二方差，确定所述焊点的外观类缺陷检测结果，包括：

根据所述第二均值、所述第二方差和第一预设参数，在所述焊点所在区域内确定预测缺陷区域；

根据所述第二均值、所述第二方差和第二预设参数，在所述预测缺陷区域内确定外观类缺陷所在区域；

根据所述外观类缺陷所在区域和所述第一灰度图像内所述焊点所在区域内的像素点的灰度值，确定所述外观类缺陷检测结果。

7.根据权利要求6所述的方法，其特征在于，根据所述第二均值、所述第二方差和第一预设参数，在所述焊点所在区域内确定预测缺陷区域，包括：

根据所述第二均值、所述第二方差和第一预设参数，获得第一缺陷阈值；

将所述焊点所在区域内，灰度值小于所述第一缺陷阈值的像素点所在的区域确定为所述预测缺陷区域。

8.根据权利要求6所述的方法，其特征在于，根据所述第二均值、所述第二方差和第二预设参数，在所述预测缺陷区域内确定外观类缺陷所在区域，包括：

根据所述第二均值、所述第二方差和第二预设参数，获得第二缺陷阈值；

在所述预测缺陷区域内，灰度值小于所述第二缺陷阈值的像素点所在的区域确定为所述外观类缺陷所在区域。

9.根据权利要求1所述的方法，其特征在于，获取至少一个焊点在第一光源照射下的第一灰度图像，以及在第二光源照射下的第二灰度图像，包括：

分别获取至少一个焊点在第一光源照射下的第一图像，以及在第二光源照射下的第二图像；

将所述第一图像和所述第二图像分别转换为所述第一灰度图像和所述第二灰度图像。

10.一种焊点缺陷检测装置，其特征在于，包括：第一光源、第二光源、相机和处理器，

其中，所述第一光源的高度高于所述第二光源的高度，

所述相机用于在所述第一光源照射至少一个焊点时，获取所述至少一个焊点的第一灰度图像，以及，在所述第二光源照射所述至少一个焊点时，获取所述至少一个焊点的第二灰度图像；

所述处理器用于：

确定所述第一灰度图像中标记点所在的第一位置信息，并根据所述第一位置信息确定所述至少一个焊点对应的导体在所述第一灰度图像中所在区域的第二位置信息；

根据所述第二位置信息，以及所述第二灰度图像的多个像素点的灰度值，确定所述至少一个焊点在所述第二灰度图像中第三位置信息；

根据所述第三位置信息，及所述第一灰度图像的多个像素点的灰度值，确定所述焊点的缺陷检测结果。

Images