CN109727229B - 虚焊检测方法及装置 - Google Patents

Abstract

本发明实施例提供一种虚焊检测方法及装置，该方法包括：检测设备先获取待检测产品对应的待识别图像，此待识别图像中包括待检测产品经点焊工艺后的点焊区域。然后，将此待识别图像输入至第一分类模块，以使第一分类模型对图像进行分类识别，分类结果可以包括待检测产品对应的缺陷信息。若缺陷信息满足预设二次分类条件，则表明此待检测产品很可能存在虚焊，因此，检测设备会将此待识别图像输入至第二分类模块，最终根据第二分类模型输出的分类结果确定待检测产品是否存在虚焊缺陷。可见，本发明提供的虚焊检测方法包括两个部分即使用两个分类模型依次对待检测产品是否存在虚焊缺陷，从而显著提高产品检测的准确性。

Description

虚焊检测方法及装置

技术领域

本发明涉及自动检测技术领域，尤其涉及一种虚焊检测方法及装置。

背景技术

在电子器件的制造过程中，焊接是一种常见且重要的工序。由于生产环境、生产设备以及生产工艺等多方面因素的影响，在焊接过程中不可避免地会出现各种缺陷，比如引线翘起、无引线、虚焊、引线存在偏移等等。并进一步导致电子器件出现质量问题。

在实际制造中，虚焊是对电子器件性能最大的一种缺陷类型，因此，在进行焊接工艺后，如何准确地识别出电子器件的是否存在虚焊就显得尤为重要。

发明内容

有鉴于此，本发明实施例提供一种虚焊检测方法及装置，用以提高虚焊检测的准确性。

第一方面，本发明实施例提供一种虚焊检测方法，包括：

获取待检测产品对应的待识别图像，所述待识别图像中包括所述待检测产品经点焊工艺后的点焊区域；

根据第一分类模型对所述待识别图像进行分类识别，以确定所述待检测产品对应的缺陷信息；

若所述缺陷信息满足预设分类条件，则将所述待识别图像输入至第二分类模型；

根据所述第二分类模型输出的分类结果确定所述待检测产品是否存在虚焊缺陷。

第二方面，本发明实施例提供一种虚焊检测装置，包括：

获取模块，用于获取待检测产品对应的待识别图像，所述待识别图像中包括所述待检测产品经点焊工艺后的点焊区域；

分类模块，用于根据第一分类模型对所述待识别图像进行分类识别，以确定所述待检测产品对应的缺陷信息；

输入模块，用于若所述缺陷信息满足预设分类条件，则将所述待识别图像输入至第二分类模型；

缺陷确定模块，用于根据所述第二分类模型输出的分类结果确定所述待检测产品是否存在虚焊缺陷。

本发明实施例提供的虚焊检测方法，检测设备先获取待检测产品对应的待识别图像，待识别图像中包括待检测产品经过点焊工艺后形成的点焊区域。然后，将此待识别图像输入至第一分类模块，以使第一分类模型对图像进行分类识别。得到的分类结果可以包括待检测产品对应的缺陷信息，缺陷信息具体可以为待检测产品具有哪种缺陷，以及具有这种缺陷的概率值。若缺陷信息满足预设二次分类条件，则表明此待检测产品很可能存在虚焊，因此，检测设备会再将此待识别图像输入至第二分类模块，并最终根据第二分类模型输出的分类结果确定待检测产品是否存在虚焊缺陷。可见，本发明提供的虚焊检测方法包括两个部分即先使用第一分类模型确定待检测产品是否虚焊。若待检测产品对应的待识别图像对应的缺陷信息满足预设分类条件即很有可能存在虚焊，此时，再对此待检测产品进行第二次分类，以最终确定待检测产品是否存在虚焊缺陷。经过上述两个分类过程可以显著提高产品检测的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的虚焊检测方法实施例一的流程图；

图2为一种可选地第一分类模型确定方式的流程图；

图3为一种可选地确定第二分类模型使用的训练数据的方式；

图4为本发明实施例提供的虚焊检测方法实施例二的流程图；

图5为本发明实施例提供的虚焊检测装置实施例一的结构示意图；

图6为本发明实施例提供的电子设备实施例一的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述XXX，但这些XXX不应限于这些术语。这些术语仅用来将XXX彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一XXX也可以被称为第二XXX，类似地，第二XXX也可以被称为第一XXX。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

图1为本发明实施例提供的虚焊检测方法实施例一的流程图，本实施例提供的该虚焊检测方法的执行主体可以为检测设备，如图1所示，该方法包括如下步骤：

S101，获取待检测产品对应的待识别图像，待识别图像中包括待检测产品经点焊工艺后的点焊区域。

产品在生产线上进行各道工艺加工后，都会被工业相机拍摄，从而根据拍得的图像确认经过各道加工工艺后的产品是否合格。本实施例以及下述各实施例提供的场景可以是对产品进行点焊工艺后得到的待检测产品。工业相机会对此进行点焊工艺后的待检测产品进行拍摄，以得到对应于待检测产品的待识别图像。待识别图像中包括点焊区域，可选地，点焊区域具体可以包括引线、焊点和焊盘。

一个具体的点焊场景，焊接设备可以借助引线将麦克风中的发音部件即音圈点焊在焊盘上。接着，工业相机会对点焊后成为一体的音圈和焊盘进行拍摄，从而得到前述的待识别图像。

S102，根据第一分类模型对待识别图像进行分类识别，以识别待检测产品对应的缺陷信息。

检测设备可以直接接收到工业相机发送的待识别图像，之后，再将此待识别图像输入至第一分类模型中，以使此第一分类模型对待识别图像进行分类识别，重点是对待识别图像中的点焊区域进行识别，从而输出分类结果即待检测产品对应的缺陷信息。

其中，可选地，缺陷信息可以以不同形式来表现。一种可选地形式，第一分类模型可以直接输出待检测产品具有缺陷类型A。另一种可选地形式，第一分类模型可以输出待检测产品对应的至少一种缺陷类型，也即是输出待检测产品具有各种缺陷类型的概率值，比如输出的至少一种缺陷类型为：缺陷类型I：95％，缺陷类型II：87％，缺陷类型III：40％，缺陷类型IV：15％。此种形式的缺陷信息表明，待检测产品具有缺陷类型I、缺陷类型II、缺陷类型III以及缺陷类型IV的概率分别为95％、87％、40％和15％。此时，第一分类模型可以称为多分类模型。

此时，承接上述举例，对于第一种形式的缺陷信息，检测设备则可以直接将缺陷类型A确定为待检测产品具有的缺陷类型。对于第二种形式的缺陷信息，检测设备则可以将概率值最高的缺陷类型I确定为待检测产品具有的缺陷类型。

但正如背景技术中提到的，虚焊是对产品质量影响最严重的一种缺陷类型，因此，为了提高虚焊缺陷检测的准确性，检测设备还可以对缺陷信息满足预设分类条件的待检测产品进行第二次检测，以进一步确定待检测产品的是否存在虚焊。因此，步骤102之后，还会包括以下步骤。

S103，若缺陷信息满足预设分类条件，则将待识别图像输入至第二分类模型。

S104，根据第二分类模型输出的分类结果确定待检测产品是否存在虚焊缺陷。

在得到待检测产品对应的缺陷信息后，检测设备会对缺陷信息进行判断。若检测设备确定待检测产品对应的缺陷信息不满足预设分类条件，则可以直接将第一分类模块输出的分类结果作为待检测产品的缺陷类型，也即是确定待检测产品是不存在虚焊缺陷的。

若检测设备确定待检测产品对应的缺陷信息满足预设分类条件，则会将待识别图像进一步输入至第二分类模型，并根据第二分类模型输出的分类结果确定待检测产品是否存在虚焊。可选地，第二分类模块可以理解为一个虚焊复判模型。由于实际应用中虚焊具体可以表现为焊点小，因此，第二分类模型也可以称为焊点小复判模型。

需要说明的是，在上述提及的点焊场景下，待检测产品有可能出现的缺陷类型除了上述的虚焊之外，还可以包括以下多种：无缺陷、引线翘起、焊接有待检测产品的焊盘上无引线、点化、引线存在偏移(具体包括引线内偏和引线外偏)、焊接有待检测产品的焊盘上存在多余引线(具体包括单残线、多残线和残线头)、焊点存在杂质或者待检测产品的外壳存在损伤。

其中，在实际生产中，引线翘起、无引线、虚焊、点化、引线外偏、引线内偏这几种缺陷可以认为是重度缺陷。具有重度缺陷的待检测产品通常会被生产线上的机械手夹出。单残线、双残线、残线头这几种缺陷可以认为是中度缺陷，其通常会被整版排出。具有中度缺陷的待检测产品通过人为处理后，还可以重新进行点焊工艺。焊点存在杂质或者待检测产品的外壳存在损伤这几种缺陷可以认为是轻度缺陷。这些轻度缺陷通通常是点焊设备造成的，其不影响产品性能，具有这种缺陷的产品会继续保留在生产线上，以进行下一步工艺。当一定时间段内具有这种轻度缺陷的产品数量大于阈值时，工人则会对点焊设备进行重新调试。

则在上述的多种缺陷类型中，无缺陷、引线存在偏移、焊点存在杂质以及待检测产品的外壳存在损伤这几种缺陷很容易对虚焊的判定造成影响，因此，预设分类条件可以包括待检测产品具有的缺陷类型为无缺陷、引线存在偏移、焊点存在杂质、待检测产品的外壳存在损伤中的任一种。同时，为了提高虚焊的识别准确度，对于第一分类模型已经确定为虚焊的情况，检测设备也会进一步使用第二分类模型对其进行进一步判断，以防止出现误判。此时，预设分类条件还可以包括第一分类模型确定出待检测产品存在虚焊缺陷的概率值小于预设值。

也就是说，对于上述第一种形式的缺陷信息，若第一分类模型直接确定待检测产品具有无缺陷、引线存在偏移、焊点存在杂质、待检测产品的外壳存在损伤中的任一种缺陷，则此待检测产品对应的待识别图像会再输入至第二分类模型，并根据第二分类模型的分类结果最终确定待检测产品是否存在虚焊。

对于上述第二种形式的缺陷信息，若概率值最高的缺陷类型为无缺陷、引线存在偏移、焊点存在杂质、待检测产品的外壳存在损伤中的任一种或者概率值最高的缺陷为虚焊缺陷并且虚焊缺陷对应的概率值小于预设值，则此待检测产品对应的待识别图像会进一步输入至第二分类模型，根据第二分类模型的分类结果最终确定待检测产品是否存在虚焊。可选地，预设值可以设置为60％。

而在将待识别图像输入第二分类模型后，若第二分类模型的分类结果表明待检测产品存在虚焊，则检测设备最终确定此待检测产品存在虚焊。若第二分类模型的分类结果表明待检测产品不存在虚焊，则检测设备最终确定此待检测产品不存在虚焊，此待检测产品具有的缺陷类型即为第一分类模型输出的分类结果。

本实施例中，检测设备先获取待检测产品对应的待识别图像，待识别图像中包括待检测产品经过点焊工艺后形成的点焊区域。然后，将此待识别图像输入至第一分类模块，使第一分类模型对图像进行分类识别。得到的分类结果可以包括待检测产品对应的缺陷信息，缺陷信息具体可以为待检测产品具有哪种缺陷，以及具有这种缺陷的概率值。若缺陷信息满足预设二次分类条件，则表明此待检测产品很可能存在虚焊，因此，检测设备会再将此待识别图像输入至第二分类模块，并最终根据第二分类模型输出的分类结果确定待检测产品是否存在虚焊缺陷。可见，本发明提供的虚焊检测方法包括两个部分即先使用第一分类模型确定待检测产品是否虚焊。若待检测产品对应的待识别图像对应的缺陷信息满足预设分类条件即很有可能存在虚焊，此时，再对此待检测产品进行第二次分类，以最终确定待检测产品是否存在虚焊缺陷。经过上述两个分类过程可以显著提高产品检测的准确性。

对于实施例一中提及的第一分类模型，其可以采用深度学习的方式训练得到。第一分类模型的训练通常由处理设备来完成，比如计算机等。可选地，如图2所示，可以采用以下方式得到第一分类模型：

S201，获取具有各缺陷类型的已检测产品对应的已识别图像。

S202，按照预设数量对已识别图像进行分组，以得到至少一组图像。

S203，以至少一组图像为训练数据依次进行训练，获得第一分类模型。

具体来说，先获取到工业相机对具有各类型缺陷的已检测产品拍得的已识别图像，也就是说处理设备可以获取到多张已识别图像，同时也可以获知每张已识别图像对应的缺陷类型。可选地，对于已识别图像，可以根据缺陷类型，将属于同一缺陷类型的图像保存至一个文件夹内，以便后续训练过程中使用。

然后，处理设备可以按照预设数量将已识别图像进行分组，以得到至少一组图像。最终，依次以将每组图像作为输入即训练数据，并最终训练得到第一分类模型。可选地，每一组图像中可以对应于全部或者部分的缺陷类型。

对于第一分类模型的具体训练过程可以采用现有技术中的任一种，本发明并不对此进行限定。但值得说明的是，在模型训练过程中，通常会使用到用以表征分类的准确度的损失函数。而本发明实施例在训练第一分类模型时，可以使用如下的损失函数Loss：Loss＝α(1-p)^γlog(p)，以提高第一分类模型的分类准确度。其中，α为预设系数，p为待检测产品具有某一缺陷类型的概率值，log(p)为交叉熵。

对于上述对已识别图像的分组处理，这通常是为了满足处理设备的处理能力。对应处理能力足够强的处理设备，也可以不进行上述的分组处理，直接将得到的全部已识别图像一次性输入处理设备，以训练得到第一分类模型。

另外，由于在模型训练过程中通常不能直接使用图像数据，因此，可选地，在步骤S203之前还可以包括：转换每组图像中的已识别图像为二进制数据；将已识别图像对应的二进制数据与已检测产品的缺陷类型关联。

具体来说，在得到至少一组图像后，处理设备还会将每组图像中每张已识别图像转换为模型训练所支持的二进制数据，比如转换为tf-record数据文件。tf-record数据文件中的每条二进制数据对应于一个已识别图像。转换过后，再将每个已识别图像对应的二进制数据与已检测产品的缺陷类型关联。而此关联过程也可以理解成为tf-record数据文件中的每条二进制数据设置一个缺陷类型标签。最终，以tf-record数据文件中具有缺陷类型标签的二进制数据为训练数据，从而训练得到第一分类模型。

对于实施例一中提及的第二分类模型即焊点小分类模型，其训练过程可以采用深度学习的方式。但训练此第二分类模型的训练数据是经过特殊处理的。可选地，可以采用如下方式获得用于训练第二分类模型的训练数据：

在具有各个缺陷类型的已识别产品对应的已识别图像中，获取缺陷类型为虚焊以及无缺陷的已检测产品的已识别图像，此无缺陷以及虚焊分别对应着训练的正负训练数据。接着，生成对应于此已识别图像的语义分割图。其中，语义分割图就是将待识别图像进行语义分割，也即是将待识别图像中不同类别的物体用不同的颜色区分表示出来。以点焊工艺为例，语义分割图中可以使用不同的颜色来区别表示已检测产品经点焊工艺后的引线和焊点。比如用橙色表示引线，用粉色表示焊点。然后，在语义分割图中进一步确定引线对应的最小外接矩形和焊点对应的最小外接矩形。接着，根据语义分割图中引线和焊点各自对应的最小外接矩形确定已识别图像中的有效部分。最终，以此有效图像为训练数据，训练得到第二分类模型。

对于确定已识别图像中的有效部分，具体来说，一种可选方式，如图3所示，在语义分割图中，将引线对应的最小外接矩形P拟合成一条直线L1，确定此直线L1与焊点对应的最小外接矩形N下底边的交点A。以此点A作为中轴线下顶点，确定一个预设长度为L的参考线段AB，并以直线L1为对称轴，做一个矩形M，此矩形的长与参考线段AB相同并且矩形M的宽也为预设值。最终即可在已识别图像中截取出对应于矩形M的一个有效图像，并将此有效图像作为训练数据，以训练得到第二分类模型。其中，截取出的有效图像在已识别图像中的位置与矩形M在语义分割图中的位置完全一致。

根据上述的预设分类条件可知，若第一分类模型确定出待检测产品存在引线偏移时，则需要将此待检测产品对应的待识别图像输入至第二分类模型中，以进一步确定待检测产品是否存在虚焊。对于这种情况，图4为本发明实施例提供的虚焊检测方法实施例二的流程图，如图4所示，该方法包括如下步骤：

S301，获取待检测产品对应的待识别图像，待识别图像中包括待检测产品经点焊工艺后的点焊区域。

S302，根据第一分类模型对待识别图像进行分类识别，以确定待检测产品对应的缺陷信息。

上述步骤301～步骤302执行过程与前述实施例的相应步骤相似，可以参见如图1所示实施例中的相关描述，在此再不赘述。

S303，若待检测产品对应的缺陷信息为引线存在偏移，则分析待识别图像，以再次确定待检测产品是否存在引线偏移。

若第一分类设备确定待检测产品具有的缺陷类型为引线存在偏移，则在输入第二分类模型之前，检测设备还会先对此缺陷类型为引线存在偏移的待检测产品对应的待识别图像进行分析，以再次确定其是否存在引线偏移。具体来说是通过对待识别图像的分析确定待检测产品存在引线内偏或者引线外偏。

关于确定引线内偏或外偏的一种可选地方式，先生成对应于待识别图像的语义分割图。此语义分割图中会分别用不同颜色来表示不同类型的物体，以点焊场景为例，语义分割图中可以用粉色表示焊盘，用灰色表示焊点，用橙色表示引线。然后，在语义分割图中，确定引线和焊盘各自对应的最小外接矩形以及每个最小外接矩形的中心。再设置一条水平线并以此为标准，逆时针旋转此水平线，得到此水平线与引线对应的最小外接矩形最先相交的第一边，确定此水平线与第一边之间的夹角。最终，根据夹角以及引线和焊盘分别对应的最小外接矩形的中心之间的位置关系确定待检测产品是否存在引线外偏或引线内偏。

为了后续的描述简洁，在语义分割图中，将引线对应的最小外接矩形的中心所在的像素点称为第一中心像素点，将焊盘对应的最小外接矩形的中心所在的像素称为第二中心像素点，这两个像素点在语义分割图中的列数分别为x₁和x₂。

具体来说，若夹角小于预设角度且x₁＜x₂，则确定待检测产品存在引线外偏。

若夹角大于或等于预设角度且x₁≥x₂，则确定待检测产品存在引线外偏。

若夹角大于或等于预设角度且x₁＜x₂，则确定待检测产品存在引线内偏。

若夹角小于预设角度且x₁≥x₂，则确定待检测产品存在引线内偏。

其中，预设角度可以设置为45°，水平线与第一边之间的夹角范围通常为[-90°，90°]。角度小于预设角度表示焊盘左偏，角度大于或等于预设角度表示焊盘右偏。x₁＜x₂表示引线对应的最小外接矩形的中心在焊盘对应的最小外接矩形的中心的左侧，x₁≥x₂表示表示引线对应的最小外接矩形的中心在焊盘对应的最小外接矩形的中心的右侧。

为了进一步提高确定引线是否存在偏移的准确性，在上述步骤后，还可以进一步进行以下处理：确定语义分割图中引线对应的最小外接矩形的中心，再将引线对应的最小外接矩形拟合成第一直线，确定此第一直线与焊点对应的最小外接矩形下底边的交点，由引线对应的最小外接矩形的中心和此交点确定出第二直线。进一步计算焊盘对应的最小外接矩形的中心到此第二直线的距离。若距离大于或等于预设距离，则根据上述的确定结果最终得到引线存在内偏或者外偏。若距离小于预设距离，则确定待检测产品不存在引线偏移。

S304，若存在引线偏移，则将待识别图像输入至第二分类模型。

S305，根据第二分类模型输出的分类结果确定待检测产品是否存在虚焊缺陷。

S306，若不存在引线偏移，则确定待检测产品不存在虚焊。

在经过上述过程后，若检测设备确定待检测产品存在引线偏移，则将待识别图像输入至第二分类模型，以由第二分类模型确定待检测产品是否存在虚焊。具体确定过程可以参见实施例一中的相关描述，在此不再赘述。

若不存在线偏，则检测设备确定待检测产品不存在虚焊，同时确定此待检测产品无缺陷。

本实施例中，对于第一分类模型确定出存在引线偏移的待检测产品，检测设备在将其对应的待识别图像输入至第二分类模型之前，还会对此待识别图像进行分析，以进一步确认待检测产品是否真正存在引线偏移。若待分析结果显示待检测产品存在引线偏移，则又由于引线偏移和虚焊很容易出现误判，因此检测设备会再利用第二分类模型对已经确定出存在引线偏移的待检测产品做最终的判断，从而最终确定待检测产品是否存在虚焊。也就是说，对于存在引线偏移的待检测产品，其会依次经过第一分类模型，图像分析算法以及第二分类模型，最终才能确定出此待检测产品是否存在虚焊，从而可以显著提高虚焊检测的准确性。

另外，还需要说明的是，对于那些第一分类模型确定出无缺陷、焊点存在杂质或者待检测产品的外壳存在损伤的待检测产品，检测设备则可以直接进行图1实施例中所示的操作，也即是只需要将待识别图像直接输入至第二分类模型，再根据第二分类模型输出的分类结果确定待检测产品是否存在虚焊缺陷。

图5为本发明实施例提供的虚焊检测装置实施例一的结构示意图，如图5所示，该虚焊检测装置包括：获取模块11、分类模块12、输入模块13以及缺陷确定模块14。

获取模块11，用于获取待检测产品对应的待识别图像，所述待识别图像中包括所述待检测产品经点焊工艺后的点焊区域。

分类模块12，用于根据第一分类模型对所述待识别图像进行分类识别，以确定所述待检测产品对应的缺陷信息。

输入模块13，用于若所述缺陷信息满足预设分类条件，则将所述待识别图像输入至第二分类模型。

缺陷确定模块14，用于根据所述第二分类模型输出的分类结果确定所述待检测产品是否存在虚焊缺陷。

可选地，该虚焊检测装置还包括：生成模块21、有效图像确定模块22和训练模块23。

获取模块11，还用于获取缺陷类型为虚焊以及无缺陷的已检测产品对应的已识别图像。

生成模块21，用于生成对应于所述已识别图像的语义分割图，所述语义分割图中包括所述已检测产品经点焊工艺后的引线和焊点。

有效图像确定模块22，用于根据所述语义分割图中所述引线和所述焊点各自对应的最小外接矩形确定所述已识别图像中的有效部分。

训练模块23，用于以所述有效部分为训练数据，训练得到所述第二分类模型。

可选地，该虚焊检测装置中的有效图像确定模块22具体包括：

拟合单元221，用于将所述语义分割图中所述引线对应的最小外接矩形拟合成一条直线。

交点确定单元222，用于确定所述直线与所述焊点对应的最小外接矩形的下底边的交点。

线段确定单元223，用于根据所述交点以及预设长度确定一条参考线段。

矩形确定单元224，用于以所述直线为对称轴，根据所述参考线段确定目标矩形。

有效图像确定单元225，用于根据所述目标矩形，在所述已识别图像中确定与所述目标矩形对应有效部分。

可选地，该虚焊检测装置还包括：分组模块24。

获取模块11，还用于获取具有各缺陷类型的已检测产品对应的已识别图像。

分组模块24，用于按照预设数量对所述已识别图像进行分组，以得到至少一组图像。

训练模块23，还以所述至少一组图像为训练数据依次进行训练，获得所述第一分类模型。

可选地，该虚焊检测装置还包括：格式转换模块25和关联模块26。

格式转换模块25，用于转换每组图像中的已识别图像为二进制数据。

关联模块26，用于将所述已识别图像对应的二进制数据与所述已检测产品的缺陷类型关联。

训练模块23，还用于以所述至少一组图像对应的二进制数据和关联的缺陷类型为训练数据依次进行训练，获得所述第一分类模型。

可选地，所述缺陷信息包括待检测产品的缺陷类型，或者所述待检测产品具有任一种缺陷类型以及所述缺陷类型对应的概率值；

所述预设分类条件包括所述待检测产品的缺陷类型为无缺陷、引线存在偏移、焊点存在杂质、待检测产品的外壳存在损伤中的任一种，或者所述待检测产品存在虚焊缺陷的概率值小于预设值。

可选地，所述缺陷信息为待检测产品对应的缺陷信息为引线存在偏移；

该虚焊检测装置还包括：分析模块27。

分析模块27，用于分析所述待识别图像，以再次确定所述待检测产品是否存在引线偏移。

输入模块13，用于若存在引线偏移，则执行所述将所述待识别图像输入至第二分类模型的步骤。

缺陷确定模块14，用于若不存在引线偏移，则确定所述待检测产品不存在虚焊。

可选地，该虚焊检测装置中的分析模块27具体包括：

生成单元271，用于生成所述待识别图像对应的语义分割图，所述语义分割图中包括所述待检测产品经点焊工艺后的引线和焊盘。

中心确定单元272，用于在所述语义分割图中，确定所述引线和所述焊盘分别对应的最小外接矩形，以及所述最小外接矩形各自的中心。

交点确定单元273，用于确定水平线与所述引线对应的最小外接矩形的第一边之间的夹角，所述水平线逆时针旋转时与所述第一边最先相交。

缺陷确定单元274，用于根据所述夹角以及所述引线和所述焊盘分别对应的最小外接矩形的中心之间的位置关系确定所述待检测产品是否存在引线偏移。

可选地，该虚焊检测装置中的缺陷确定单元274具体用于：

若所述夹角小于预设角度且第一中心像素点在所述语义分割图中的列数小于第二中心像素点在所述语义分割图中的列数，或者所述夹角大于或等于所述预设角度且所述第一中心像素点在所述语义分割图中的列数大于或等于所述第二中心像素点在所述语义分割图中的列数，则确定所述待检测产品存在引线外偏，其中，所述引线对应的最小外接矩形的中心为所述第一中心像素点，所述焊盘对应的最小外接矩形的中心为所述第二中心像素点；

若所述夹角大于或等于所述预设角度且所述第一中心像素点在所述语义分割图中的列数小于所述第二中心像素点在所述语义分割图中的列数，或者所述夹角小于所述预设角度且所述第一中心像素点在所述语义分割图中的列数大于或等于所述第二中心像素点在所述语义分割图中的列数，则确定所述待检测产品存在引线内偏。

图5所示装置可以执行图1～图4所示实施例的方法，本实施例未详细描述的部分，可参考对图1～图4所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1～图4所示实施例中的描述，在此不再赘述。

以上描述了虚焊检测装置的内部功能和结构，在一个可能的设计中，产品虚焊装置的结构可实现为一电子设备，例如虚焊检测器。图6为本发明实施例提供的电子设备实施例一的结构示意图，如图6所示，该电子设备包括：存储器31，以及与存储器连接的处理器32，存储器31用于存储电子设备执行上述任一实施例中提供的虚焊检测方法的程序，处理器32被配置为用于执行存储器31中存储的程序。

程序包括一条或多条计算机指令，其中，一条或多条计算机指令被处理器32执行时能够实现如下步骤：

获取待检测产品对应的待识别图像，所述待识别图像中包括所述待检测产品经点焊工艺后的点焊区域；

根据第一分类模型对所述待识别图像进行分类识别，以确定所述待检测产品对应的缺陷信息；

若所述缺陷信息满足预设分类条件，则将所述待识别图像输入至第二分类模型；

根据所述第二分类模型输出的分类结果确定所述待检测产品是否存在虚焊缺陷。

可选地，处理器32还用于执行前述各方法步骤中的全部或部分步骤。

其中，电子设备的结构中还可以包括通信接口33，用于电子设备与其他设备或通信网络通信。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以产品的形式体现出来，该计算机产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)执行各个实施例或者实施例的某些部分的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种虚焊检测方法，其特征在于，包括：

获取待检测产品对应的待识别图像，所述待识别图像中包括所述待检测产品经点焊工艺后的点焊区域；

根据第一分类模型对所述待识别图像进行分类识别，以确定所述待检测产品对应的缺陷信息，所述缺陷信息包括所述待检测产品存在虚焊缺陷以及存在所述虚焊缺陷的概率值；

若所述缺陷信息满足预设分类条件，则将所述待识别图像输入至第二分类模型，所述预设分类条件包括所述待检测产品存在虚焊缺陷的概率值小于预设值或所述待检测产品存在对虚焊的判定有影响的缺陷类型；其中，若所述缺陷信息为待检测产品对应的缺陷信息为引线存在偏移，则分析所述待识别图像，以再次确定所述待检测产品是否存在引线偏移；若存在引线偏移，则将所述待识别图像输入至第二分类模型；若不存在引线偏移，则确定所述待检测产品不存在虚焊；

若所述第二分类模型的分类结果为存在虚焊，则确定所述待检测产品的缺陷类型为虚焊；若所述第二分类模型的分类结果为不存在虚焊，则确定所述待检测产品的缺陷类型为所述第一分类模型的分类结果。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取缺陷类型为虚焊以及无缺陷的已检测产品对应的已识别图像；

生成对应于所述已识别图像的语义分割图，所述语义分割图中包括所述已检测产品经点焊工艺后的引线和焊点；

根据所述语义分割图中所述引线和所述焊点各自对应的最小外接矩形确定所述已识别图像中的有效部分；

以所述有效部分为训练数据，训练得到所述第二分类模型。

3.根据权利要求2所述的方法，其特征在于，所述根据所述语义分割图中所述引线和所述焊点各自对应的最小外接矩形确定所述已识别图像中的有效部分，包括：

将所述语义分割图中所述引线对应的最小外接矩形拟合成一条直线；

确定所述直线与所述焊点对应的最小外接矩形的下底边的交点；

根据所述交点以及预设长度确定一条参考线段；

以所述直线为对称轴，根据所述参考线段确定目标矩形；

根据所述目标矩形，在所述已识别图像中确定与所述目标矩形对应有效部分。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取具有各缺陷类型的已检测产品对应的已识别图像；

按照预设数量对所述已识别图像进行分组，以得到至少一组图像；

以所述至少一组图像为训练数据依次进行训练，获得所述第一分类模型。

5.根据权利要求4所述的方法，其特征在于，所述以所述至少一组图像为训练数据依次进行训练，获得所述第一分类模型之前，所述方法还包括：

转换每组图像中的已识别图像为二进制数据；

将所述已识别图像对应的二进制数据与所述已检测产品的缺陷类型关联；

所述以所述至少一组图像为训练数据依次进行训练，获得所述第一分类模型，包括：

以所述至少一组图像对应的二进制数据和关联的缺陷类型为训练数据依次进行训练，获得所述第一分类模型。

6.根据权利要求1至5中任一种所述的方法，其特征在于，所述缺陷信息包括待检测产品的缺陷类型，或者所述待检测产品具有任一种缺陷类型以及所述缺陷类型对应的概率值；

所述对虚焊的判定有影响的缺陷类型为无缺陷、引线存在偏移、焊点存在杂质、待检测产品的外壳存在损伤中的任一种。

7.根据权利要求6所述的方法，其特征在于，所述分析所述待识别图像，以再次确定所述待检测产品是否存在引线偏移，包括：

生成所述待识别图像对应的语义分割图，所述语义分割图中包括所述待检测产品经点焊工艺后的引线和焊盘；

在所述语义分割图中，确定所述引线和所述焊盘分别对应的最小外接矩形，以及所述最小外接矩形各自的中心；

确定水平线与所述引线对应的最小外接矩形的第一边之间的夹角，所述水平线逆时针旋转时与所述第一边最先相交；

根据所述夹角以及所述引线和所述焊盘分别对应的最小外接矩形的中心之间的位置关系确定所述待检测产品是否存在引线偏移。

8.根据权利要求7所述的方法，其特征在于，所述根据所述夹角以及所述引线和所述焊盘分别对应的最小外接矩形的中心之间的位置关系确定所述待检测产品是否存在引线偏移，包括：

若所述夹角小于预设角度且第一中心像素点在所述语义分割图中的列数小于第二中心像素点在所述语义分割图中的列数，或者所述夹角大于或等于所述预设角度且所述第一中心像素点在所述语义分割图中的列数大于或等于所述第二中心像素点在所述语义分割图中的列数，则确定所述待检测产品存在引线外偏，其中，所述引线对应的最小外接矩形的中心为所述第一中心像素点，所述焊盘对应的最小外接矩形的中心为所述第二中心像素点；

若所述夹角大于或等于所述预设角度且所述第一中心像素点在所述语义分割图中的列数小于所述第二中心像素点在所述语义分割图中的列数，或者所述夹角小于所述预设角度且所述第一中心像素点在所述语义分割图中的列数大于或等于所述第二中心像素点在所述语义分割图中的列数，则确定所述待检测产品存在引线内偏。

9.一种虚焊检测装置，其特征在于，包括：

获取模块，用于获取待检测产品对应的待识别图像，所述待识别图像中包括所述待检测产品经点焊工艺后的点焊区域；

分类模块，用于根据第一分类模型对所述待识别图像进行分类识别，以确定所述待检测产品对应的缺陷信息，所述缺陷信息包括所述待检测产品存在虚焊缺陷以及存在所述虚焊缺陷的概率值；

输入模块，用于若所述缺陷信息满足预设分类条件，则将所述待识别图像输入至第二分类模型，所述预设分类条件包括所述待检测产品存在虚焊缺陷的概率值小于预设值或所述待检测产品存在对虚焊的判定有影响的缺陷类型；以及，若所述缺陷信息为待检测产品对应的缺陷信息为引线存在偏移，则分析所述待识别图像，以再次确定所述待检测产品是否存在引线偏移；若存在引线偏移，则将所述待识别图像输入至第二分类模型；若不存在引线偏移，则确定所述待检测产品不存在虚焊；

缺陷确定模块，用于若所述第二分类模型的分类结果为存在虚焊，则确定所述待检测产品的缺陷类型为虚焊；若所述第二分类模型的分类结果为不存在虚焊，则确定所述待检测产品的缺陷类型为所述第一分类模型的分类结果。