CN109741296B - 产品质量检测方法及装置 - Google Patents

Abstract

本发明实施例提供一种产品质量检测方法及装置，该方法包括：检测设备先获取待检测产品对应的待识别图像。然后，将此待识别图像输入至第一分类模块，以使第一分类模型对图像进行分类识别，得到的分类结果可以包括待检测产品对应的至少一种缺陷类型。由于不同的缺陷类型具有不同的确认处理逻辑，因此，检测设备可以根据识别出的至少一种缺陷类型对应的确认处理逻辑来确定待检测产品对应的目标缺陷类型。可见，本发明提供的产品质量检测方法是根据确定出的缺陷类型，执行与此类型对应的确认处理逻辑，从而最终确定待检测产品的目标缺陷类型。确认处理逻辑具有针对性并且整个处理过程中不存在任何人为干预。

Description

产品质量检测方法及装置

技术领域

本发明涉及自动检测技术领域，尤其涉及一种产品质量检测方法及装置。

背景技术

在电子器件的制造过程中，焊接是一种常见且重要的工序。由于生产环境、生产设备以及生产工艺等多方面因素的影响，在焊接过程中不可避免地会出现各种缺陷，并有可能会进一步导致产品质量出现问题。其中，常见的缺陷包括引线翘起、无引线、虚焊、引线存在偏移等等。

一方面，伴随着生产线上加工工艺的严格要求，对电子器件细微瑕疵的检出能力也提出了更高的要求。另一方面，在实际应用中，对于具有不同缺陷的电子产品，往往需要采用不同处理方式，比如直接丢弃或者处理后继续使用等等。因此，如何准确地识别出电子器件的缺陷类型就显得尤为重要。

发明内容

有鉴于此，本发明实施例提供一种产品质量检测方法及装置，采用量化标准进行产品质量检测，用以提高检测结果的准确性。

第一方面，本发明实施例提供一种产品质量检测方法，包括：

获取待检测产品对应的待识别图像，所述待识别图像中包括所述待检测产品经点焊工艺后的点焊区域；

根据第一分类模型对所述待识别图像进行分类识别，以识别所述待检测产品对应的至少一种缺陷类型；

根据所述至少一种缺陷类型对应的确认处理逻辑，确定所述待检测产品对应的目标缺陷类型。

第二方面，本发明实施例提供一种产品质量检测装置，包括：

获取模块，用于获取待检测产品对应的待识别图像，所述待识别图像中包括所述待检测产品经点焊工艺后的点焊区域；

分类模块，用于根据第一分类模型对所述待识别图像进行分类识别，以识别所述待检测产品对应的至少一种缺陷类型；

类型确定模块，用于根据所述至少一种缺陷类型对应的确认处理逻辑，确定所述待检测产品对应的目标缺陷类型。

本发明实施例提供的产品质量检测方法及装置，检测设备先获取待检测产品对应的待识别图像，待识别图像中包括待检测产品经过点焊工艺后形成的点焊区域。然后，将此待识别图像输入至第一分类模块，以使第一分类模型对图像进行分类识别，得到的分类结果可以包括待检测产品对应的至少一种缺陷类型，分类结果具体可以为待检测产品具有各种缺陷类型的概率值。由于不同的缺陷类型具有不同的确认处理逻辑，因此，检测设备可以根据识别出的至少一种缺陷类型对应的确认处理逻辑来确定待检测产品对应的目标缺陷类型。可见，本发明提供的产品质量检测方法是根据确定出的缺陷类型，执行与此类型对应的确认处理逻辑，从而最终确定待检测产品的目标缺陷类型。使用的确认处理逻辑具有针对性并且整个处理过程中不存在任何人为干预。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的产品质量检测方法实施例一的流程图；

图2为本发明实施例提供的一种可选地目标缺陷类型的确认处理逻辑；

图3为本发明实施例提供的另一种可选地目标缺陷类型的确认处理逻辑；

图4为本发明实施例提供的再一种可选地目标缺陷类型的确认处理逻辑；

图5为本发明实施例提供的再一种可选地目标缺陷类型的确认处理逻辑；

图6为本发明实施例提供的对应于第二分类模型的训练数据的一种可选地确定方式；

图7为本发明实施例提供的产品质量检测装置实施例一的结构示意图；

图8为本发明实施例提供的电子设备实施例一的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述XXX，但这些XXX不应限于这些术语。这些术语仅用来将XXX彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一XXX也可以被称为第二XXX，类似地，第二XXX也可以被称为第一XXX。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

图1为本发明实施例提供的产品质量检测方法实施例一的流程图，本实施例提供的该产品质量检测方法的执行主体可以为检测设备，如图1所示，该方法包括如下步骤：

S101，获取待检测产品对应的待识别图像，待识别图像中包括待检测产品经点焊工艺后的点焊区域。

产品在生产流水线上进行各道工艺加工后，都会被工业相机拍摄，从而根据拍得的图像确认经过各道加工工艺后的产品是否合格。本实施例以及下述各实施例提供的场景可以是对产品进行点焊工艺后得到的待检测产品。工业相机会对此进行点焊工艺后的待检测产品进行拍摄，以得到对应于待检测产品的待识别图像。待识别图像中包括点焊区域，可选地，点焊区域可以包括引线、焊点和焊盘。

一个具体的点焊场景，焊接设备可以借助引线将麦克风中的发音部件即音圈点焊在焊盘上。接着，工业相机会对点焊后成为一体的音圈和焊盘进行拍摄，从而得到前述的待识别图像。

S102，根据第一分类模型对待识别图像进行分类识别，以识别待检测产品对应的至少一种缺陷类型。

S103，根据至少一种缺陷类型对应的确认处理逻辑，确定待检测产品对应的目标缺陷类型。

检测设备可以直接接收到工业相机发送的待识别图像，之后，再将此待识别图像输入至第一分类模型中，以使此第一分类模型对图像进行分类识别，并输出分类结果。其中，可选地，分类模型可以输出待检测产品对应的至少一种缺陷类型，也即是输出的分类结果可以包括待检测产品具有各种缺陷类型的概率值。一种可选地分类结果形式：缺陷类型I：95％，缺陷类型II：87％，缺陷类型III：40％，缺陷类型IV：15％。此分类结果表明，待检测产品具有缺陷类型I、缺陷类型II、缺陷类型III以及缺陷类型IV的概率分别为95％、87％、40％和15％。

在得到待检测产品对应的至少一种缺陷类型后，则可以根据至少一种缺陷类型的具体内容以及对应的确认处理逻辑，进一步确定待检测产品的目标缺陷类似。为了本实施例以及下述各实施例的简洁描述，可以将待检测产品对应的至少一种缺陷类型中概率最高的缺陷类型称为第一备选缺陷类型，将待检测产品对应的至少一种缺陷类型中概率次高的缺陷类型称为第二备选缺陷类型。

基于此，可选地，一种最简单的方式，若第一备选缺陷类型为预设缺陷类型，则确定此第一备选缺陷类型为目标缺陷类型。若第一备选缺陷类型为非预设缺陷类型，则确定第二备选缺陷类型为目标缺陷类型。

在此需要说明的是，在上述提及的点焊场景下，待检测产品有可能出现的缺陷类型可以包括以下几种：无缺陷、引线翘起、焊接有待检测产品的焊盘上无引线、虚焊、点化、引线存在偏移(具体包括引线内偏和引线外偏)、焊接有待检测产品的焊盘上存在多余引线(具体包括单残线、多残线和残线头)、焊点存在杂质或者待检测产品的外壳存在损伤。

其中，在实际生产中，引线翘起、无引线、虚焊、点化、引线外偏、引线内偏这几种缺陷可以认为是重度缺陷。具有重度缺陷的待检测产品通常会被生产线上的机械手夹出，并作为不良品丢弃。单残线、双残线、残线头这几种缺陷可以认为是中度缺陷，其通常会被整版排出。具有中度缺陷的待检测产品通过人为处理后，还可以重新进行点焊工艺。焊点存在杂质或者待检测产品的外壳存在损伤这几种缺陷可以认为是轻度缺陷。这些轻度缺陷通通常是点焊设备造成的，其不影响产品性能，具有这种缺陷的产品会继续保留在生产线上，以进行下一步工艺。当一定时间段内具有这种轻度缺陷的产品数量大于阈值时，工人则会对点焊设备进行重新调试。

基于上述举例的多种缺陷类型，前述的预设缺陷类型通常可以是无缺陷或者待检测产品的焊盘上存在多余引线。

本实施例中，检测设备先获取待检测产品对应的待识别图像，待识别图像中包括待检测产品经过点焊工艺后形成的点焊区域。然后，将此待识别图像输入至第一分类模块，以使第一分类模型对图像进行分类识别，得到的分类结果中可以包括待检测产品对应的至少一种缺陷类型，分类结果具体可以为待检测产品具有各种缺陷类型的概率值。由于不同的缺陷类型具有不同的确认处理逻辑，因此，检测设备可以根据识别出的至少一种缺陷类型对应的确认处理逻辑来确定待检测产品对应的目标缺陷类型。可见，本发明提供的产品质量检测方法是根据确定出的缺陷类型，执行与此类型对应的确认处理逻辑，从而最终确定待检测产品的目标缺陷类型。确认处理逻辑具有针对性并且整个处理过程中不存在任何人为干预。

另外，对于步骤102中的第一分类模型，其可以是采用深度学习的方式训练得到的分类模型。可选地，对于训练第一分类模型所使用的训练数据，可以根据如下过程得到：先获取到工业相机对各类型缺陷的已检测产品拍得的图像即已识别图像，此时，每个已识别图像对应的缺陷类型是已知的。然后，再将这些已识别图像转换为模型训练所支持的格式，比如转换为tf-record数据文件，并且tf-record数据文件中的每条二进制数据对应于一个已识别图像。转换过后，再将每个已识别图像对应的二进制数据与已检测产品的缺陷类型关联。而此关联过程也可以理解成为tf-record数据文件中的每条二进制数据设置一个缺陷类型标签。最终，以tf-record数据文件中具有缺陷类型标签的二进制数据为训练数据，从而训练得到第一分类模型。可选地，对于得到的图像，可以根据缺陷类型，将属于同一缺陷类型的图像保存至一个文件夹内，并以文件夹为单位，对其中的图像进行格式转换。

此外，在实际应用中，第一分类模型训练的过程通常由处理设备来完成，比如计算机，而不同处理设备的处理能力也是参差不齐。因此，在对图像进行格式转换之前，还会根据设备的处理能力调整图像尺寸，以使其在保证图像信息不丢失的同时满足处理设备的处理能力。并且，对于处理能力较低的处理设备，由于其不能一次性处理大量的训练数据，因而在得到tf-record格式的文件之后，还可以按照预设数量将文件进行分组，以得到至少一组文件，并依次将每组文件作为训练数据，并最终训练得到第一分类模型。可选地，每一组文件中可以对应于全部或者部分的缺陷类型。

在此还需要说明的是，在进行第一分类模型训练的过程中，为了提高第一分类模型的分类准确度，可以使用如下的损失函数Loss：Loss＝α(1-p)^γlog(p)。其中，α为预设系数，p为待检测产品具有某一缺陷类型的概率值，log(p)为交叉熵。

上述图1所示实施例的描述中，已经提到了多种缺陷程度，以及各个缺陷程度包括的多种缺陷类型。并且第一分类模型确定出的至少一种缺陷类型中概率值最高的缺陷类型即第一备选缺陷类型也有可能是上述多种缺陷类型中的任一种。对于不同的第一备选缺陷类型，检测设备会执行不同的确认处理逻辑。下面具体说明不同的第一备选缺陷类型各自对应的确认处理逻辑。

可选地，如图2所示，一种情况可以为：

若至少一种缺陷类型中概率最高的缺陷类型即第一备选缺陷类型为第一缺陷类型，并且此第一缺陷类型对应的概率值大于或等于第一预设值，则直接确定此待检测产品的目标缺陷类型为第一缺陷类型。其中，第一缺陷类型可以为无缺陷，第一预设值通常设置为55％。

若第一备选缺陷类型为第一缺陷类型，并且第一缺陷类型对应的概率值小于第一预设值，则根据至少一种缺陷类型中概率值次高的缺陷类型即第二备选缺陷类型确定待检测产品对应的目标缺陷类型。

具体来说，若第二备选缺陷类型为第二缺陷类型，并且此第二缺陷类型对应的概率值小于第二预设值，则直接确定待检测产品对应的目标缺陷类型为第一缺陷类型。其中，第二备选缺陷类型可以为虚焊或者引线存在偏移，虚焊具体可以表现为焊点小，第二预设值通常设置为25％。第二分类模型可以理解为是用以确定待检测产品是否存在虚焊的焊点小分类模型。

若第二备选缺陷类型为第二缺陷类型，并且第二缺陷类型对应的概率值大于或等于第二预设值，则将待检测产品对应的待识别图像输入至第二分类模型，再根据第二分类模型输出的分类结果确定待检测产品对应的目标缺陷类型。

具体来说，若第二分类模型确定出待检测产品存在虚焊，则将虚焊作为待检测产品的目标缺陷类型，生产线上的机械手会将此产品夹出。若第二分类模型确定出待检测产品不存在虚焊，则将待检测产品的第一缺陷类型确定为目标缺陷类型。

上述也即为待检测产品的第一备选缺陷类型为无缺陷时，对应的确认处理逻辑。

可选地，又一种情况可以为：

若至少一种缺陷类型中概率值最高的缺陷类型即第一备选缺陷类型为第三缺陷类型，则确定待检测产品对应的目标缺陷类型为第三缺陷类型。其中，第三缺陷类型可以为引线翘起、焊接有待检测产品的焊盘上无引线和焊接有待检测产品的焊盘上存在多余引线中的任一种。由于在实际生产中，上述的几个第三类缺陷类型是比较明显的缺陷，判断错误的可能性较小，因此，对于第三缺陷类型的确认逻辑比较简单。

若确定出的目标缺陷类型为引线翘起和无引线时，生产线上的机械手会将此待检测产品夹出，进行丢弃处理。若确定出的目标缺陷类型为存在多余引线时，机械手会将此待检测产品夹出并放入到指定位置，以使工人对其进行相关处理后重新放入生产线进行后续处理。

可选地，在缺陷程度为轻度缺陷时，如图3所示，另一种情况可以为：

若至少一种缺陷类型中概率值最高的缺陷类型即第一备选缺陷类型为第四缺陷类型，并且第四缺陷类型对应的概率值大于或等于第三预设值，则直接确定待检测产品对应的目标缺陷类型为此第四缺陷类型。其中，第四缺陷类型可以为焊点存在杂质或者待检测产品的外壳存在轻微损伤中的任一种，第三预设值通常可以设置为80％。

若第一备选缺陷类型为第四缺陷类型，并且第四缺陷类型对应的概率值小于第三预设值，则根据至少一种缺陷类型中概率值次高的缺陷类型即第二备选缺陷类型确定待检测产品对应的目标缺陷类型。

若第二备选缺陷类型不为第五缺陷类型，则确定待检测产品对应的目标缺陷类型为此第二备选缺陷类型。其中，第五缺陷类型可以为无缺陷、虚焊、引线存在偏移。

若第二备选缺陷类型为第五缺陷类型，则将待检测产品对应的待识别图像输入至第二分类模型，并进一步根据第二分类模型输出的分类结果确定待检测产品对应的目标缺陷类型。

具体来说，与图2所示实施例相似的，第二分类模型同样可以是用于判断是否虚焊的焊点小分类模型。若第二分类模型确定出存在虚焊，则将虚焊作为待检测产品的目标缺陷类型，生产线上的机械手会将此产品夹出。若第二分类模型确定出不存在虚焊，则将待检测产品的第四缺陷类型确定为目标缺陷类型，此产品可以继续在生产线上流转。

上述也即为待检测产品的第一备选缺陷类型为焊点存在杂质或者待检测产品的外壳存在损伤时，对应的确认处理逻辑。

可选地，在缺陷程度为重度缺陷时，如图4所示，再一种情况可以为：

若至少一种缺陷类型中概率值最高的缺陷类型即第一备选缺陷类型为引线存在偏移，则分析待识别图像，确定待检测产品是否存在引线外偏或引线内偏。

关于确定引线内偏或外偏的一种可选地方式，在得到步骤101中的待识别图像后，会根据此图像进一步生成此待识别图像对应的语义分割图。此语义分割图中会分别用不同颜色来表示不同类型的物体。以点焊场景为例，语义分割图中会分别用不同的颜色来表示焊点、引线和焊盘，比如用粉色表示焊盘，用灰色表示焊点，用于橙色表示引线。然后，在语义分割图中，确定引线和焊盘各自对应的最小外接矩形以及最小外接矩形的中心。再一条水平线为标准，逆时针旋转此水平线，得到此水平线与引线对应的最小外接矩形最先相交的第一边，确定此水平线与第一边之间的夹角。最终，根据夹角以及引线和焊盘分别对应的最小外接矩形的中心之间的位置关系确定待检测产品是否存在引线外偏或引线内偏。

为了后续的描述简洁，在语义分割图中，将引线对应的最小外接矩形的中心称为第一中心像素点，将焊盘对应的最小外接矩形的中心称为第二中心像素点，两个像素点在语义分割图中的列数分别为x₁和x₂。

具体来说，若夹角小于预设角度且x₁＜x₂，则确定待检测产品存在引线外偏。

若夹角大于或等于预设角度且x₁≥x₂，则确定待检测产品存在引线外偏。

若夹角大于或等于预设角度且x₁＜x₂，则确定待检测产品存在引线内偏。

若夹角小于预设角度且x₁≥x₂，则确定待检测产品存在引线内偏。

其中，预设角度可以设置为45°，水平线与第一边之间的夹角范围通常为[-90°，90°]。角度小于预设角度表示焊盘左偏，角度大于或等于预设角度表示焊盘右偏。x₁＜x₂表示引线对应的最小外接矩形的中心在焊盘对应的最小外接矩形的中心的左侧，x₁≥x₂表示表示引线对应的最小外接矩形的中心在焊盘对应的最小外接矩形的中心的右侧。

通过上述过程，检测设备则可以确定出待检测产品是具有引线外偏或者引线内偏。若确定待检测产品存在引线外偏，则直接确定待检测产品对应的目标缺陷类型为引线外偏，生产线上的机械手会将此产品夹出。

若确定待检测产品存在引线内偏，则将待识别图像输入至第二分类模型即焊点小模型，再进一步根据第二分类模型输出的分类结果确定待检测产品对应的目标缺陷类型。

具体来说，若第二分类模型确定出存在虚焊，则将虚焊作为待检测产品的目标缺陷类型，并使用生产线上的机械手将此待检测产品夹出。若第二分类模型确定出不存在虚焊，则将待检测产品确定为无缺陷，继续在生产线上流转。

上述也即为待检测产品的第一备选缺陷类型为存在引线偏移时，对应的确认处理逻辑。

可选地，在缺陷程度为重度缺陷时，如图5所示，再一种情况还可以为：

若至少一种缺陷类型中概率值最高的缺陷类型即第一备选缺陷类型为第六缺陷类型，并且第六缺陷类型对应的概率值大于或等于第四预设值，则直接确定待检测产品对应的目标缺陷类型为第六缺陷类型，生产线上的机械手会将此产品夹出。其中，第六缺陷类型可为虚焊或点化，第四预设值通常设置为90％。

若第一备选缺陷类型为第六缺陷类型，并且第六缺陷类型对应的概率值小于第四预设值，则将待识别图像输入至第二分类模型，再根据第二分类模型输出的分类结果确定待检测产品对应的目标缺陷类型。其中，第二分类模型同样可以是焊点小模型。

具体来说，若第二分类模型确定出存在虚焊，则将虚焊作为待检测产品的目标缺陷类型，生产线上的机械手会将此产品夹出。若第二分类模型确定出不存在虚焊，则将待检测产品确定为无缺陷，此产品可以继续在生产线上流转。

上述也即为待检测产品的第一备选缺陷类型为虚焊或点化时，对应的确认处理逻辑。

综上所述，图2～图5所示实施例分别为待检测产品的第一备选缺陷类型为不同类型时所应执行的确认处理逻辑。

对于上述如图2～图5所示实施例，其中都提及了第二分类模型即焊点小分类模型。此模型的训练过程与第一分类模型相同，同样可以采用深度学习的方式。而此第二分类模型的训练数据，可选地，可以采用如下方式获得：

在具有各个缺陷类型的已识别产品对应的已识别图像中，获取缺陷类型为虚焊以及无缺陷的已检测产品的已识别图像，此无缺陷以及虚焊分别对应着训练的正负训练数据。接着，生成对应于此已识别图像的语义分割图，语义分割图中同样使用不同的颜色来分别表示已检测产品经点焊工艺后的引线和焊点。在语义分割图中进一步获取引线对应的最小外接矩形和焊点对应的最小外接矩形。然后，根据语义分割图中引线和焊点各自对应的最小外接矩形确定已识别图像中的有效图像。最终以此有效图像为训练数据，训练得到第二分类模型。

一种有效图像确定的可选方式，如图6所示，将引线对应的最小外接矩形P拟合成一条直线L1，确定此直线L1与焊点对应的最小外接矩形N下底边的交点A。以此点A作为对称轴下顶点，确定一个预设长度为L的线段AB，并以直线L1为对称轴，做一个矩形M，此矩形的长与线段AB相同，并且，矩形M的宽也为预设值。最终在已识别图像中截取出对应于矩形M的一个有效图像，并将此有效图像作为训练数据，以训练得到第二分类模型。此有效图像在已识别图像中的位置与矩形M在语义分割图中的位置完全一致。

图7为本发明实施例提供的产品质量检测装置实施例一的结构示意图，如图7所示，该产品质量检测装置包括：获取模块11、分类模块12和类型确定模块13。

获取模块11，用于获取待检测产品对应的待识别图像，所述待识别图像中包括所述待检测产品经点焊工艺后的点焊区域。

分类模块12，用于根据第一分类模型对所述待识别图像进行分类识别，以识别所述待检测产品对应的至少一种缺陷类型。

类型确定模块13，用于根据所述至少一种缺陷类型对应的确认处理逻辑，确定所述待检测产品对应的目标缺陷类型。

可选地，该产品质量检测装置中的类型确定模块13具体用于：

若所述至少一种缺陷类型中概率值最高的缺陷类型为第一缺陷类型，并且所述第一缺陷类型对应的概率值大于或等于第一预设值，则确定所述待检测产品对应的目标缺陷类型为所述第一缺陷类型。

可选地，该产品质量检测装置中的类型确定模块13具体用于：

若所述至少一种缺陷类型中概率值最高的缺陷类型为第一缺陷类型，并且所述第一缺陷类型对应的概率值小于第一预设值，则根据所述至少一种缺陷类型中概率值次高的缺陷类型确定所述待检测产品对应的目标缺陷类型。

可选地，该产品质量检测装置中的类型确定模块13具体用于：

若所述至少一种缺陷类型中概率值次高的缺陷类型为第二缺陷类型，并且所述第二缺陷类型对应的概率值大于或等于第二预设值，则将所述待识别图像输入至第二分类模型；以及根据所述第二分类模型输出的分类结果确定所述待检测产品对应的目标缺陷类型。

可选地，所述第一缺陷类型为无缺陷，所述第二缺陷类型为虚焊或引线存在偏移。

可选地，该产品质量检测装置中的类型确定模块13具体用于：

若所述至少一种缺陷类型中概率值最高的缺陷类型为第三缺陷类型，则确定所述待检测产品对应的目标缺陷类型为所述第三缺陷类型。

可选地，所述第三缺陷类型包括如下类型中的任一种：引线翘起、焊接有待检测产品的焊盘上无引线、焊接有待检测产品的焊盘上存在多余引线。

可选地，该产品质量检测装置中的类型确定模块13具体用于：

若所述至少一种缺陷类型中概率值最高的缺陷类型为第四缺陷类型，并且所述第四缺陷类型对应的概率值大于或等于第三预设值，则确定所述待检测产品对应的目标缺陷类型为所述第四缺陷类型。

可选地，该产品质量检测装置中的类型确定模块13具体用于：

若所述至少一种缺陷类型中概率值最高的缺陷类型为第四缺陷类型，并且所述第四缺陷类型对应的概率值小于第三预设值，则根据所述至少一种缺陷类型中概率值次高的缺陷类型确定所述待检测产品对应的目标缺陷类型。

可选地，该产品质量检测装置中的类型确定模块13具体用于：

若所述至少一种缺陷类型中概率值次高的缺陷类型为第五缺陷类型，则将所述待识别图像输入至第二分类模型；以及根据所述第二分类模型输出的分类结果确定所述待检测产品对应的目标缺陷类型。

可选地，该产品质量检测装置中的类型确定模块13具体用于：

若所述至少一种缺陷类型中概率值次高的缺陷类型不为第五缺陷类型，则确定所述待检测产品对应的目标缺陷类型为所述概率值次高的缺陷类型。

可选地，所述第四缺陷类型包括如下类型中的任一种：焊点存在杂质、待检测产品的外壳存在损伤；所述第五缺陷类型为如下类型中的任一种：无缺陷、虚焊、引线存在偏移。

可选地，该产品质量检测装置中的类型确定模块13具体用于：

若所述至少一种缺陷类型中概率值最高的缺陷类型为引线存在偏移，则分析所述待识别图像，以确定所述待检测产品是否存在引线外偏或引线内偏；

若存在引线外偏，则确定所述待检测产品对应的目标缺陷类型为引线外偏；

若存在引线内偏，则将所述待识别图像输入至第二分类模型；

根据所述第二分类模型输出的分类结果确定所述待检测产品对应的目标缺陷类型。

可选地，该产品质量检测装置中的类型确定模型包括：生成单元131、中心确定单元132、交点确定单元133和类型确定单元134。

生成单元131，用于生成所述待识别图像对应的语义分割图，所述语义分割图中包含所述待检测产品经点焊工艺后的引线和焊盘。

中心确定单元132，用于在所述语义分割图中，确定所述引线和所述焊盘分别对应的最小外接矩形，以及所述最小外接矩形各自的中心。

交点确定单元133，用于确定水平线与所述引线对应的最小外接矩形的第一边之间的夹角，所述水平线逆时针旋转时与所述第一边最先相交。

类型确定单元134，用于根据所述夹角以及所述引线和所述焊盘分别对应的最小外接矩形的中心之间的位置关系确定所述待检测产品是否存在引线外偏或引线内偏。

可选地，该产品质量检测装置中的类型确定单元134具体用于：

若所述夹角小于预设角度且第一中心像素点在所述语义分割图中的列数小于第二中心像素点在所述语义分割图中的列数，或者所述夹角大于或等于所述预设角度且所述第一中心像素点在所述语义分割图中的列数大于或等于所述第二中心像素点在所述语义分割图中的列数，则确定所述待检测产品存在引线外偏，其中，所述引线对应的最小外接矩形的中心为所述第一中心像素点，所述焊盘对应的最小外接矩形的中心为所述第二中心像素点；

若所述夹角大于或等于所述预设角度且所述第一中心像素点在所述语义分割图中的列数小于所述第二中心像素点在所述语义分割图中的列数，或者所述夹角小于所述预设角度且所述第一中心像素点在所述语义分割图中的列数大于或等于所述第二中心像素点在所述语义分割图中的列数，则确定所述待检测产品存在引线内偏。

可选地，该产品质量检测装置中的类型确定模块13具体用于：

若所述至少一种缺陷类型中概率值最高的缺陷类型为第六缺陷类型，并且所述第六缺陷类型对应的概率值大于或等于第四预设值，则确定所述待检测产品对应的目标缺陷类型为所述第六缺陷类型。

可选地，该产品质量检测装置中的类型确定模块13具体用于：

若所述至少一种缺陷类型中概率值最高的缺陷类型为第六缺陷类型，并且所述第六缺陷类型对应的概率值小于第四预设值，则将所述待识别图像输入至第二分类模型；以及根据所述第二分类模型输出的分类结果确定所述待检测产品对应的目标缺陷类型。

可选地，所述第六缺陷类型包括如下类型中的任一种：虚焊、点化。

可选地，该产品质量检测装置中还包括：生成模块21、图像确定模块22和训练模块23。

获取模块11，用于获取目标缺陷类型为虚焊以及无缺陷的已检测产品的已识别图像。

生成模块21，用于生成对应于所述已识别图像的语义分割图，所述语义分割图中包含所述已检测产品经点焊工艺后的引线和焊点。

图像确定模块22，用于根据所述语义分割图中所述引线和所述焊点各自对应的最小外接矩形确定所述已识别图像中的有效图像。

训练模块23，用于以所述有效图像为训练数据，训练得到所述第二分类模型。

图7所示装置可以执行图1～图5所示实施例的方法，本实施例未详细描述的部分，可参考对图1～图5所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1～图5所示实施例中的描述，在此不再赘述。

以上描述了产品质量检测装置的内部功能和结构，在一个可能的设计中，产品质量检测装置的结构可实现为一电子设备。图8为本发明实施例提供的电子设备实施例一的结构示意图，如图8所示，该电子设备包括：存储器31，以及与存储器连接的处理器32，存储器31用于存储电子设备执行上述任一实施例中提供的产品质量检测方法的程序，处理器32被配置为用于执行存储器31中存储的程序。

程序包括一条或多条计算机指令，其中，一条或多条计算机指令被处理器32执行时能够实现如下步骤：

获取待检测产品对应的待识别图像，所述待识别图像中包括所述待检测产品经点焊工艺后的点焊区域；

根据第一分类模型对所述待识别图像进行分类识别，以识别所述待检测产品对应的至少一种缺陷类型；

根据所述至少一种缺陷类型对应的确认处理逻辑，确定所述待检测产品对应的目标缺陷类型。

可选地，处理器32还用于执行前述各方法步骤中的全部或部分步骤。

其中，电子设备的结构中还可以包括通信接口33，用于电子设备与其他设备或通信网络通信。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以产品的形式体现出来，该计算机产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)执行各个实施例或者实施例的某些部分的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (17)

1.一种产品质量检测方法，其特征在于，包括：

获取待检测产品对应的待识别图像，所述待识别图像中包括所述待检测产品经点焊工艺后的点焊区域；

根据第一分类模型对所述待识别图像进行分类识别，以识别所述待检测产品对应的至少一种缺陷类型，所述至少一种缺陷类型归属不同缺陷程度；

根据所述至少一种缺陷类型中概率值最高的缺陷类型对应的确认处理逻辑，确定所述待检测产品对应的目标缺陷类型，所述确认处理逻辑的复杂程度与所述概率值最高的缺陷类型所属的缺陷程度具有负相关关系；

所述根据所述至少一种缺陷类型中概率值最高的缺陷类型对应的确认处理逻辑，确定所述待检测产品对应的目标缺陷类型，包括：若所述至少一种缺陷类型中概率值最高的缺陷类型为第一缺陷类型，并且所述第一缺陷类型对应的概率值小于第一预设值，则根据所述至少一种缺陷类型中概率值次高的缺陷类型确定所述待检测产品对应的目标缺陷类型；若所述至少一种缺陷类型中概率值次高的缺陷类型为第二缺陷类型，并且所述第二缺陷类型对应的概率值小于第二预设值，则确定所述待检测产品对应的目标缺陷类型为所述第一缺陷类型；若所述至少一种缺陷类型中概率值次高的缺陷类型为第二缺陷类型，并且所述第二缺陷类型对应的概率值大于或等于第二预设值，则将所述待识别图像输入至第二分类模型；根据所述第二分类模型输出的分类结果确定所述待检测产品对应的目标缺陷类型；其中，所述第一缺陷类型为无缺陷，所述第二缺陷类型为虚焊或引线存在偏移，所述第二分类模型用以确定所述待检测产品是否存在虚焊的焊点小。

2.根据权利要求1所述的方法，其特征在于，所述根据所述至少一种缺陷类型中概率值最高的缺陷类型对应的确认处理逻辑，确定所述待检测产品对应的目标缺陷类型，包括：

若所述至少一种缺陷类型中概率值最高的缺陷类型为第一缺陷类型，并且所述第一缺陷类型对应的概率值大于或等于第一预设值，则确定所述待检测产品对应的目标缺陷类型为所述第一缺陷类型。

3.根据权利要求1所述的方法，其特征在于，所述根据所述至少一种缺陷类型中概率值最高的缺陷类型对应的确认处理逻辑，确定所述待检测产品对应的目标缺陷类型，包括：

若所述至少一种缺陷类型中概率值最高的缺陷类型为第三缺陷类型，则确定所述待检测产品对应的目标缺陷类型为所述第三缺陷类型。

4.根据权利要求3所述的方法，其特征在于，所述第三缺陷类型包括如下类型中的任一种：引线翘起、焊接有待检测产品的焊盘上无引线、焊接有待检测产品的焊盘上存在多余引线。

5.根据权利要求1所述的方法，其特征在于，所述根据所述至少一种缺陷类型中概率值最高的缺陷类型对应的确认处理逻辑，确定所述待检测产品对应的目标缺陷类型，包括：

若所述至少一种缺陷类型中概率值最高的缺陷类型为第四缺陷类型，并且所述第四缺陷类型对应的概率值大于或等于第三预设值，则确定所述待检测产品对应的目标缺陷类型为所述第四缺陷类型。

6.根据权利要求1所述的方法，其特征在于，所述根据所述至少一种缺陷类型中概率值最高的缺陷类型对应的确认处理逻辑，确定所述待检测产品对应的目标缺陷类型，包括：

若所述至少一种缺陷类型中概率值最高的缺陷类型为第四缺陷类型，并且所述第四缺陷类型对应的概率值小于第三预设值，则根据所述至少一种缺陷类型中概率值次高的缺陷类型确定所述待检测产品对应的目标缺陷类型。

7.根据权利要求6所述的方法，其特征在于，所述根据所述至少一种缺陷类型中概率值次高的缺陷类型确定所述待检测产品对应的目标缺陷类型，包括：

若所述至少一种缺陷类型中概率值次高的缺陷类型为第五缺陷类型，则将所述待识别图像输入至第二分类模型；

根据所述第二分类模型输出的分类结果确定所述待检测产品对应的目标缺陷类型。

8.根据权利要求7所述的方法，其特征在于，所述根据所述至少一种缺陷类型中概率值次高的缺陷类型确定所述待检测产品对应的目标缺陷类型，包括：

若所述至少一种缺陷类型中概率值次高的缺陷类型不为第五缺陷类型，则确定所述待检测产品对应的目标缺陷类型为所述概率值次高的缺陷类型。

9.根据权利要求7所述的方法，其特征在于，所述第四缺陷类型包括如下类型中的任一种：焊点存在杂质、待检测产品的外壳存在损伤；所述第五缺陷类型为如下类型中的任一种：无缺陷、虚焊、引线存在偏移。

10.根据权利要求1所述的方法，其特征在于，所述根据所述至少一种缺陷类型中概率值最高的缺陷类型对应的确认处理逻辑，确定所述待检测产品对应的目标缺陷类型，包括：

若所述至少一种缺陷类型中概率值最高的缺陷类型为引线存在偏移，则分析所述待识别图像，以确定所述待检测产品是否存在引线外偏或引线内偏；

若存在引线外偏，则确定所述待检测产品对应的目标缺陷类型为引线外偏；

若存在引线内偏，则将所述待识别图像输入至第二分类模型；

根据所述第二分类模型输出的分类结果确定所述待检测产品对应的目标缺陷类型。

11.根据权利要求10所述的方法，其特征在于，所述分析所述待识别图像，以确定所述待检测产品是否存在引线外偏或引线内偏，包括：

生成所述待识别图像对应的语义分割图，所述语义分割图中包含所述待检测产品经点焊工艺后的引线和焊盘；

在所述语义分割图中，确定所述引线和所述焊盘分别对应的最小外接矩形，以及所述最小外接矩形各自的中心；

确定水平线与所述引线对应的最小外接矩形的第一边之间的夹角，所述水平线逆时针旋转时与所述第一边最先相交；

根据所述夹角以及所述引线和所述焊盘分别对应的最小外接矩形的中心之间的位置关系确定所述待检测产品是否存在引线外偏或引线内偏。

12.根据权利要求11所述的方法，其特征在于，所述根据所述夹角以及所述引线和所述焊盘分别对应的最小外接矩形的中心之间的位置关系确定所述待检测产品是否存在引线外偏或引线内偏，包括：

若所述夹角小于预设角度且第一中心像素点在所述语义分割图中的列数小于第二中心像素点在所述语义分割图中的列数，或者所述夹角大于或等于所述预设角度且所述第一中心像素点在所述语义分割图中的列数大于或等于所述第二中心像素点在所述语义分割图中的列数，则确定所述待检测产品存在引线外偏，其中，所述引线对应的最小外接矩形的中心为所述第一中心像素点，所述焊盘对应的最小外接矩形的中心为所述第二中心像素点；

若所述夹角大于或等于所述预设角度且所述第一中心像素点在所述语义分割图中的列数小于所述第二中心像素点在所述语义分割图中的列数，或者所述夹角小于所述预设角度且所述第一中心像素点在所述语义分割图中的列数大于或等于所述第二中心像素点在所述语义分割图中的列数，则确定所述待检测产品存在引线内偏。

13.根据权利要求1所述的方法，其特征在于，所述根据所述至少一种缺陷类型中概率值最高的缺陷类型对应的确认处理逻辑，确定所述待检测产品对应的目标缺陷类型，包括：

若所述至少一种缺陷类型中概率值最高的缺陷类型为第六缺陷类型，并且所述第六缺陷类型对应的概率值大于或等于第四预设值，则确定所述待检测产品对应的目标缺陷类型为所述第六缺陷类型。

14.根据权利要求1所述的方法，其特征在于，所述根据所述至少一种缺陷类型中概率值最高的缺陷类型对应的确认处理逻辑，确定所述待检测产品对应的目标缺陷类型，包括：

若所述至少一种缺陷类型中概率值最高的缺陷类型为第六缺陷类型，并且所述第六缺陷类型对应的概率值小于第四预设值，则将所述待识别图像输入至第二分类模型；

根据所述第二分类模型输出的分类结果确定所述待检测产品对应的目标缺陷类型。

15.根据权利要求13所述的方法，其特征在于，所述第六缺陷类型包括如下类型中的任一种：虚焊、点化。

16.根据权利要求1或7或10或14所述的方法，其特征在于，所述方法还包括：

获取目标缺陷类型为虚焊以及无缺陷的已检测产品的已识别图像；

生成对应于所述已识别图像的语义分割图，所述语义分割图中包含所述已检测产品经点焊工艺后的引线和焊点；

根据所述语义分割图中所述引线和所述焊点各自对应的最小外接矩形确定所述已识别图像中的有效图像；

以所述有效图像为训练数据，训练得到所述第二分类模型。

17.一种产品质量检测装置，其特征在于，包括：

获取模块，用于获取待检测产品对应的待识别图像，所述待识别图像中包括所述待检测产品经点焊工艺后的点焊区域；

分类模块，用于根据第一分类模型对所述待识别图像进行分类识别，以识别所述待检测产品对应的至少一种缺陷类型，所述至少一种缺陷类型归属不同缺陷程度；

类型确定模块，用于根据所述至少一种缺陷类型中概率值最高的缺陷类型对应的确认处理逻辑，确定所述待检测产品对应的目标缺陷类型，所述确认处理逻辑的复杂程度与所述至少一种缺陷类型中概率值最高的缺陷类型所属的缺陷程度具有负相关关系；

在确定所述待检测产品对应的目标缺陷类型的过程中，类型确定模块具体用于：若所述至少一种缺陷类型中概率值最高的缺陷类型为第一缺陷类型，并且所述第一缺陷类型对应的概率值小于第一预设值，则根据所述至少一种缺陷类型中概率值次高的缺陷类型确定所述待检测产品对应的目标缺陷类型；若所述至少一种缺陷类型中概率值次高的缺陷类型为第二缺陷类型，并且所述第二缺陷类型对应的概率值小于第二预设值，则确定所述待检测产品对应的目标缺陷类型为所述第一缺陷类型；若所述至少一种缺陷类型中概率值次高的缺陷类型为第二缺陷类型，并且所述第二缺陷类型对应的概率值大于或等于第二预设值，则将所述待识别图像输入至第二分类模型；根据所述第二分类模型输出的分类结果确定所述待检测产品对应的目标缺陷类型；其中，所述第一缺陷类型为无缺陷，所述第二缺陷类型为虚焊或引线存在偏移，所述第二分类模型用以确定所述待检测产品是否存在虚焊的焊点小。