CN109829883B - 产品质量检测方法及装置 - Google Patents

Abstract

本发明实施例提供一种产品质量检测方法及装置，该方法包括：检测设备根据拍摄设备在不同光源、不同视角下拍得的图像生成对应于待检测产品的、包含焊点区域的三维产品图像。根据光学三角法建立用于测量三维产品图像中的点焊区域的测量模型。利用测量模型对三维产品图像中的点焊区域进行初步检测。对于通过初步检测的待检测产品，会使用第一分类模型对待检测产品进行再次检测。仅对通过初步检测的待检测产品进行再次检测，能够减小检测设备的计算压力。然后，使用再次检测后得到的至少一种缺陷类型对应的确认处理逻辑确定待检测产品具有哪种缺陷。再次检测的过程中，使用的确认处理逻辑具有针对性并且整个处理过程中不存在任何人为干预。

Description

产品质量检测方法及装置

技术领域

本发明涉及自动检测技术领域，尤其涉及一种产品质量检测方法及装置。

背景技术

在电子器件的制造过程中，焊接是一种常见且重要的工序。由于生产环境、生产设备以及生产工艺等多方面因素的影响，在焊接过程中不可避免地会出现各种缺陷，并有可能会进一步导致产品质量出现问题。实际生产中，常见的缺陷包括引线翘起、无引线、引线存在偏移等等。

伴随着生产线上对加工工艺的严格要求，对电子器件缺陷的检出能力也提出了更高的要求。因此，如何准确地识别出电子器件是否存在缺陷就显得尤为重要。

发明内容

有鉴于此，本发明实施例提供一种产品质量检测方法及装置，用以减小检测设备计算压力的同时提高缺陷类型确定的准确性。

第一方面，本发明实施例提供一种产品质量检测方法，包括：

根据拍摄设备在不同光源、不同视角下拍摄的图像生成对应于待检测产品的三维产品图像，所述三维产品图像中包括所述待检测产品经点焊工艺后的点焊区域；

根据光学三角法建立用于测量所述三维产品图像中的点焊区域的测量模型；

若测量结果表明所述待检测产品无缺陷，则获取所述拍摄设备在第一视角下拍得的所述待检测产品的待识别图像；

根据第一分类模型对所述待识别图像进行分类识别，以识别所述待检测产品对应的至少一种缺陷类型；

根据所述至少一种缺陷类型对应的确认处理逻辑，确定所述待检测产品对应的目标缺陷类型。

第二方面，本发明实施例提供一种产品质量检测装置，包括：

生成模块，用于根据拍摄设备在不同光源、不同视角下拍摄的图像生成对应于待检测产品的三维产品图像，所述三维产品图像中包括所述待检测产品经点焊工艺后的点焊区域；

建立模块，用于根据光学三角法建立用于测量所述三维产品图像中的点焊区域的测量模型；

获取模块，用于若测量结果表明所述待检测产品无缺陷，则获取所述拍摄设备在第一视角下拍得的所述待检测产品的待识别图像；

分类模块，用于根据第一分类模型对所述待识别图像进行分类识别，以识别所述待检测产品对应的至少一种缺陷类型；

缺陷类型确定模块，用于根据所述至少一种缺陷类型对应的确认处理逻辑，确定所述待检测产品对应的目标缺陷类型。

本发明实施例提供的产品质量检测方法，检测设备先根据拍摄设备在不同光源、不同视角下拍摄的图像生成对应于待检测产品的三维产品图像，此三维产品图像中包括待检测产品经过点焊工艺后形成的点焊区域。然后，根据光学三角法建立用于测量三维产品图像中的点焊区域的测量模型。接着，检测设备根据三维产品图像中的点焊区域，对待检测产品进行测量即初步检测。对于通过初步检测的待检测产品也即是测量结果表明待检测产品不存在缺陷的，则检测设备会进一步获取拍摄设备在第一视角拍得的待识别图像，并利用第一分类模型对待检测产品进行再次检测也即是对待识别图像进行分类识别，以得到包括至少一种缺陷类型的分类结果，分类结果具体可以为待检测产品具有各种缺陷类型的概率值。由于不同的缺陷类型具有不同的确认处理逻辑，因此，检测设备可以根据分类结果中的至少一种缺陷类型对应的确认处理逻辑来最终确定待检测产品对应的目标缺陷类型。

可见，本发明提供的产品质量检测方法是一个分步、多次的检测方法，即先根据建立的测量模型对待检测产品的三维产品图像进行初步检测，再仅对通过初步检测的待检测产品进行再次检测，这样可以大大减小再次检测时检测设备的计算压力。然后，检测设备根据再次检测后得到的至少一种缺陷类型对应的确认处理逻辑最终确定出待检测产品具有哪种缺陷。在再次检测的过程中，使用的确认处理逻辑具有针对性。同时经过两次检测也可以进一步提高检测的准确率，并且初步以及再次检测过程中都不存在任何的人为干预。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种产品质量检测方法的流程图；

图2为拍摄设备光心正对待检测产品时，一种测量模型建立的示意图；

图3为一种可选地测量模型建立方式的流程图；

图4为图3所示流程图对应的一种测量模型建立的示意图；

图5为本发明实施例提供的一种可选地目标缺陷类型的确认处理逻辑；

图6为本发明实施例提供的对应于第二分类模型的训练数据的一种可选地确定方式；

图7为本发明实施例提供的一种产品质量检测装置的结构示意图；

图8为与图7所示实施例提供的产品质量检测装置对应的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述XXX，但这些XXX不应限于这些术语。这些术语仅用来将XXX彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一XXX也可以被称为第二XXX，类似地，第二XXX也可以被称为第一XXX。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

图1为本发明实施例提供的产品质量检测方法实施例一的流程图，本实施例提供的该产品质量检测方法的执行主体可以为检测设备，如图1所示，该方法包括如下步骤：

S101，根据拍摄设备在不同光源、不同视角下拍摄的图像生成对应于待检测产品的三维产品图像，三维产品图像中包括待检测产品经点焊工艺后的点焊区域。

产品在生产流水线上进行各道工艺加工后，都可以被拍摄设备拍摄，并根据拍得的图像确认经过各道加工工艺后的产品是否合格。

需要说明的是，本实施例以及下述各实施例涉及的待检测产品均可以为经过点焊工艺后的产品。在一个具体的点焊场景中，焊接设备可以借助引线将麦克风中的发音部件即音圈点焊在焊盘上。接着，拍摄设备会对点焊后成为一体的音圈和焊盘进行拍摄，从而对应于待检测产品的多张图像。

此多张图像具体可以包括第一图像～第四图像，其可以按照以下方式获得：拍摄设备可以在第一光源开启时拍得的对应于第二视角的第一图像以及对应于第三视角的第二图像。在第二光源开启时，拍得对应于第二视角的第三图像以及对应于第三视角的第四图像。然后，拍摄设备可以将拍得的多张图像发送至检测设备。

其中，对于拍摄设备和光源，可选地，拍摄设备的数量可以设置为两台，且两台拍摄设备并排平行设置，两台拍摄设备所处的位置分别对应于待检测产品的第二视角和第三视角(为了与后续步骤103中的第一视角区分)，这两个视角可以理解为是模拟人眼的两个视角，以便后续生成待检测产品对应的三维产品图像。并且两台拍摄设备之间的距离小于拍摄设备镜头到待检测产品的距离。可选地，拍摄设备具体可以为工业相机。另外，还可以设置有不同光源。第一光源可以是普通照明光源，比如白炽灯、LED灯等。第二光源可以是结构光光源，结构光光源用于向待检测产品上投射特定的预设图案。

检测设备在获取到上述的第一图像～第四图像后，可以根据这多张图像生成对应于待检测产品的三维产品图像。三维图像的生成过程实际上就是一个三维建模过程，可选地，其可以采用现有技术中的任一种方式，比如利用建模软件进行建模，建模软件可以为3DMAX、Maya等；比如利用仪器设备进行建模，仪器设备具体可以为基于激光或结构光的三维扫描仪。由于上述提及的三维建模方式都是很成熟的方式，因此，不在此描述具体的建模过程。当然，可选地，也可以将上述多种建模方式结合使用。并且由于待检测产品是经过点焊工艺的，因此，生成的三维产品图像中自然也是包括点焊工艺后产生的点焊区域的。

S102，根据光学三角法建立用于测量三维产品图像中的点焊区域的测量模型。

接着，检测设备可以基于待检测产品对应的三维产品图像，根据光学三角法建立测量模型。可选地，在通常情况下，拍摄设备的光心正对于待检测产品，也即是拍摄设备位于待检测产品的正上方，此时，在建立测量模型的过程中，除了上述提及的第二光源，还需要其他设备比如多面转镜、高速电机等。其中，多面转镜在高速电机的驱动下旋转，多面转镜用于将结构光光源输出的结构光反射后投射在待检测产品表面。

在配置有上述设备后，可选地，可以直接利用下述公式建立测量模型：

其中，如图2所示，O_WX_WY_WZ_W为空间坐标系，uOv为图像坐标系，图像坐标系对应于三维产品图像，

为三维产品图像中此任一图像点在图像坐标系中的坐标，(x'_p,y'_p,z'_p)为三维产品图像中任一图像点在空间坐标系中的坐标，L为多面转镜中心S与预设参考平面之间的距离，预设参考平面为一预设水平平面，D为多面转镜中心S与拍摄设备光心C之间的距离，f为拍摄设备的焦距。

其中，由于第二光源发出的光线会被多面转镜发射投射到待检测产品上，在多面转镜伴随电机旋转的过程中，会在待检测产品表面形成测量条纹(如图3中所示)，θ_p为此任一图像点所在的测量条纹对应的角度。

通过上述公式可以得到三维产品图像中每个图像点的坐标，此坐标用于表示待检测产品的三维信息，得到三维信息也就相当于建立起了测量模型。

S103，若测量结果表明待检测产品无缺陷，则获取拍摄设备在第一视角下拍得的待检测产品的待识别图像。

按照步骤102中的方式建立好测量模型后，检测设备可以利用此测量模型会对步骤101中生成的三维产品图像中的点焊区域进行测量。

具体来说，测量模型得到的测量结果可以为焊点区域的区域参数。检测设备可以根据此区域参数对待检测产品进行初步检测。其中，可选地，区域参数可以包括点焊区域的高度或者点焊区域的面积。

当测量结果包括点焊区域的面积时，若面积小于预设面积，则确定待检测产品存在虚焊或引线翘起。若面积属于预设范围，则确定待检测产品无缺陷。若面积大于预设面积，则确定待检测产品存在点化或者焊接有待检测产品的焊盘上无引线。

当测量结果包括点焊区域的高度时，若高度高于预设范围，则确定待检测产品存在虚焊或引线翘起。若高度属于预设范围，则确定待检测产品无缺陷。若高度低于预设范围，则确定待检测产品存在点化或者焊接有待检测产品的焊盘上无引线。在实际应用中，高度的预设范围通常设置为0.5mm～0.7mm。

经过上述初步检测后，当检测设备确定出待检测产品存在某缺陷类型A时，表明此待检测产品未通过初步检测，则直接将此缺陷类型A确定为待检测产品的目标缺陷类型。其中，缺陷类型A可以为待检测产品经过点焊工艺后可能出现的任一种缺陷。

而对于通过初步检测的待检测产品来说，拍摄设备会进一步从第一视角对此产品进行拍摄，以得到待识别图像，其中，第一视角可以对应于待检测产品的正上方，与上述第一图像～第四图像对应的，此待识别图像可以理解为第五图像，而第一视角通常可以对应于待检测产品的中心，比如待检测产品的正上方，且待识别图像中同样包括点焊区域。可选地，点焊区域可以包括引线、焊点和焊盘。然后，拍摄设备同样可以将待识别图像发送至检测设备，以使检测设备获取到待识别图像即第五图像。

S104，根据第一分类模型对待识别图像进行分类识别，以识别待检测产品对应的至少一种缺陷类型。

S105，根据至少一种缺陷类型对应的确认处理逻辑，确定待检测产品对应的目标缺陷类型。

为了描述清楚，本实施例中可以将待识别图像称为第五图像。

检测设备可以将获取到的第五图像输入至第一分类模型中，以使第一分类模型对第五图像进行分类识别，并输出分类结果。其中，可选地，分类模型可以输出待检测产品对应的至少一种缺陷类型，也即是输出的分类结果可以包括待检测产品具有各种缺陷类型的概率值。一种可选地分类结果形式：缺陷类型I：95％，缺陷类型II：87％，缺陷类型III：40％，缺陷类型IV：15％。此分类结果表明，待检测产品具有缺陷类型I、缺陷类型II、缺陷类型III以及缺陷类型IV的概率分别为95％、87％、40％和15％。

在得到待检测产品对应的至少一种缺陷类型后，则可以根据至少一种缺陷类型的具体内容以及对应的确认处理逻辑，进一步确定待检测产品的目标缺陷类似。为了本实施例以及下述各实施例的描述简洁，可以将待检测产品对应的至少一种缺陷类型中概率最高的缺陷类型称为第一备选缺陷类型，将待检测产品对应的至少一种缺陷类型中概率次高的缺陷类型称为第二备选缺陷类型。

基于此，可选地，一种最简单的方式，若第一备选缺陷类型为预设缺陷类型，则直接确定此第一备选缺陷类型为目标缺陷类型。若第一备选缺陷类型为非预设缺陷类型，则直接确定此第二备选缺陷类型为目标缺陷类型。

在此需要说明的是，在上述提及的点焊场景下，待检测产品有可能出现的缺陷类型可以包括以下几种：无缺陷、引线翘起、焊接有待检测产品的焊盘上无引线、虚焊、点化、引线存在偏移(具体包括引线内偏和引线外偏)、焊接有待检测产品的焊盘上存在多余引线(具体包括单残线、多残线和残线头)、焊点存在杂质或者待检测产品的外壳存在损伤。

其中，在实际生产中，引线翘起、无引线、虚焊、点化、引线外偏、引线内偏这几种缺陷可以认为是重度缺陷。具有重度缺陷的待检测产品通常会被生产线上的机械手夹出。单残线、双残线、残线头这几种缺陷可以认为是中度缺陷，其通常会被整版排出。具有中度缺陷的待检测产品通过人为处理后，还可以重新进行点焊工艺。焊点存在杂质或者待检测产品的外壳存在损伤这几种缺陷可以认为是轻度缺陷。这些轻度缺陷通通常是点焊设备造成的，其不影响产品性能，具有这种缺陷的产品会继续保留在生产线上，以进行下一步工艺。当一定时间段内具有这种轻度缺陷的产品数量大于阈值时，工人则会对点焊设备进行重新调试。

基于上述举例的多种缺陷类型，前述的预设缺陷类型通常可以是无缺陷。

本实施例中，提供了一个分步、多次的检测方法，即先根据拍摄设备拍得的图像生成待检测产品对应的三维产品图像，并根据建立起的测量模型对待检测产品的三维产品图像进行初步检测。进一步地，仅对通过初步检测的待检测产品进行再次检测，这样可以大大减小检测设备进行再次检测时的计算压力。然后，检测设备根据再次检测过程中得到的至少一种缺陷类型对应的确认处理逻辑最终确定出待检测产品具有哪种缺陷。在再次检测的过程中，使用的确认处理逻辑具有针对性。同时经过两次检测也可以进一步提高检测的准确率，并且初步以及再次检测过程中都不存在任何的人为干预。

对于步骤104中提及的第一分类模型，其可以是采用深度学习的方式训练得到的分类模型。可选地，对于训练第一分类模型所使用的训练数据，可以根据如下过程得到：先获取到拍摄设备在第一视角对各类型缺陷的产品拍得的图像，此时，每个图像对应的缺陷类型是已知的。然后，再将这些图像转换为模型训练所支持的格式，比如tf-record格式，且每一张图像对应于一个tf-record格式的文件。将此格式的文件作为训练数据，以训练得到第一分类模型。可选地，对于得到的图像，可以根据缺陷类型，将属于同一缺陷类型的图像保存至一个文件夹内，并以文件夹为单位，对其中的图像进行格式转换。

此外，在实际应用中，第一分类模型训练的过程通常由处理设备来完成，比如计算机，而不同处理设备的处理能力也是参差不齐。因此，在对图像进行格式转换之前，还会根据设备的处理能力调整图像尺寸，以使其在保证图像信息不丢失的同时满足处理设备的处理能力。并且，对于处理能力较低的处理设备，由于其不能一次性处理大量的训练数据，因而在得到tf-record格式的文件之后，还可以按照预设数量将文件进行分组，以得到至少一组文件，并依次将每组文件作为训练数据，并最终训练得到第一分类模型。可选地，每一组文件中可以对应于全部或者部分的缺陷类型。

还需要说明的是，在进行第一分类模型训练的过程中，为了提高第一分类模型的分类准确度，可以使用如下的损失函数Loss：Loss＝α(1-p)^γlog(p)。其中，α为预设系数，p为待检测产品具有某一缺陷类型的概率值，log(p)为交叉熵。

另外，由于图2所示的模型建立方式，对硬件的约束相当多，比如要求拍摄设备的光心正对于待检测产品等等。因此，可选地，如图3所示，还提供一种约束较少的测量模型建立方式，从而扩大测量模型的适用范围。这种方式实际上也属于利用三角光学法来建立测量模型，是图2的一种变种。

S201，利用第一转换矩阵和第二转换矩阵将三维产品图像中任一图像点的坐标和拍摄设备的光心的坐标由相机坐标系转换到空间坐标系中。

其中，相机坐标系对应于拍摄设备。假设三维产品图像中的任一图像为图像点P，则点P在相机坐标系中的坐标可以为：

其中，

为三维产品图像中点P在图像坐标系中的图像坐标，(u_o,v_o)为拍摄设备光心C在图像坐标系中的坐标，f为拍摄设备的焦距。

则可以采用以下公式对图像点P的坐标进行转换：

其中，R和T分别为第一转换矩阵和第二转换矩阵，(x_c,y_c,z_c)＝(0,0,0)为拍摄设备的光心C在相机坐标系中的坐标即相机坐标系的原点，(x_p,y_p,z_p)为图像点P在相机坐标系中的坐标，(x'_p,y'_p,z'_p)和(x'_c,y'_c,z'_c)分被为转换后图像点P和光心C在空间坐标系中的坐标。

通过借助拍摄设备与多面转镜之间的第一转换矩阵R和第二转换矩阵T，可把光心正对于待检测产品的约束条件放开，从而得出更加实用的测量模型。

S202，根据任一图像点的转换后坐标和光心的转换后坐标确定第一直线方程。

则利用步骤201中转换后的点P和点C的坐标，确定在空间坐标系O_WX_WY_WZ_W中，由点P和点C构成的第一直线的方程为：

S203，根据第一直线和多面转镜的中心确定第一平面方程。

第一平面方程可以表示为：(y_w-y_s)(-cosθ_p)+(z_w-z_s)sinθ_p＝0。

其中，多面转镜的中心S在空间坐标系中的坐标表示为：(x_s,y_s,z_s)＝(0,0,L)‘第一平面的法向量表示为：(0,-cosθ_p,sinθ_p)，如图4所示，θ_p为此任一图像点所在的测量条纹对应的角度。

S204，根据第一直线方程和第一平面方程确定三维产品图像中剩余图像点在空间坐标系中的坐标。

联立上述的第一直线和第一平面方程，得到三维产品图像中剩余图像点在空间坐标系下的坐标：

S205，根据三维产品图像中每个图像点的坐标建立测量模型。

通过上述公式可以得到三维产品图像中每个图像点的坐标，此坐标用于表示待检测产品的三维信息，得到三维信息也就相当于建立起了测量模型。

需要说明的是，实际上三维产品图中每个图像点的图像坐标都可以直接利用第一转换矩阵R和第二转换矩阵T将图像坐标转换为空间坐标系中的坐标，从而得到三维产品图像中每个图像点的坐标也即是建立起测量模型。但这种方式相比与图3所示的建立方程的方式相比，计算量过大，因此，可操作性不高，图3所示的方式是一种更加合理的建立测量模型的方式。

另外，正如上文所述的，建立起测量模型后，检测设备则会使用此测量模型对三维产品图像中包含的点焊区域进行测量，

可选地，一种具体的测量方法为：先识别三维产品图像中的点焊区域，然后再根据点焊区域内各图像点在空间坐标系中的坐标，利用测量模型对点焊区域内的区域参数进行测量。其中，测量出的区域参数可以包括点焊区域内焊料的面积或者高度。而如何根据测量出的区域参数对待检测产品进行初步检测，则可以参见图1所示实施例中步骤103中的相关内容，在此不再赘述。

上述图1所示实施例的描述中，已经提到了多种类型的缺陷。并且第一分类模型确定出的至少一种缺陷类型中概率值最高的缺陷类型即第一备选缺陷类型也有可能是上述多种缺陷类型中的任一种。除了图1所示实施例中提供的确定目标缺陷类型的方式之外，在实际应用中，如图5所示，检测设备根据至少一种缺陷类型确定目标缺陷类型的过程具体还可以为：

若至少一种缺陷类型中概率最高的缺陷类型即第一备选缺陷类型为无缺陷，并且此无缺陷对应的概率值大于或等于第一预设值，则直接确定此待检测产品的目标缺陷类型为无缺陷。其中，第一预设值通常设置为55％。

若第一备选缺陷类型为无缺陷，并且无缺陷对应的概率值小于第一预设值，则根据至少一种缺陷类型中概率值次高的缺陷类型即第二备选缺陷类型确定待检测产品对应的目标缺陷类型。

具体来说，若第二备选缺陷类型为虚焊，并且此虚焊对应的概率值小于第二预设值，则直接确定待检测产品对应的目标缺陷类型为第一缺陷类型。其中，虚焊具体可以表现为焊点小，第二预设值通常设置为25％。第二分类模型可以理解为是用以确定待检测产品是否存在虚焊的焊点小分类模型。

若第二备选缺陷类型为虚焊，并且虚焊对应的概率值大于或等于第二预设值，则将待检测产品对应的第五图像输入至第二分类模型，再根据第二分类模型输出的分类结果确定待检测产品对应的目标缺陷类型。

具体来说，若第二分类模型确定出待检测产品存在虚焊，则将虚焊作为待检测产品的目标缺陷类型，生产线上的机械手会将此产品夹出。若第二分类模型确定出待检测产品不存在虚焊，则将确定待检测产品无缺陷。

在上述如图5所示实施例中，提及了第二分类模型即焊点小分类模型。此模型的训练过程与第一分类模型相同，同样可以采用深度学习的方式。而此第二分类模型的训练数据，可选地，可以采用如下方式获得：

在具有各个缺陷类型的已识别产品对应的已识别图像中，获取缺陷类型为虚焊以及无缺陷的已检测产品的已识别图像，此无缺陷以及虚焊分别对应着训练的正负训练数据。接着，生成对应于此已识别图像的语义分割图，语义分割图中同样使用不同的颜色来分别表示已检测产品经点焊工艺后的引线和焊点。在语义分割图中进一步获取引线对应的最小外接矩形和焊点对应的最小外接矩形。然后，根据语义分割图中引线和焊点各自对应的最小外接矩形确定已识别图像中的有效图像。最终以此有效图像为训练数据，训练得到第二分类模型。

一种有效图像确定的可选方式，如图6所示，将引线对应的最小外接矩形P拟合成一条直线L1，确定此直线L1与焊点对应的最小外接矩形N下底边的交点A。以此点A作为对称轴下顶点，确定一个预设长度为L的线段AB，并以直线L1为对称轴，做一个矩形M，此矩形的长与线段AB相同，并且，矩形M的宽也为预设值。最终在已识别图像中截取出对应于矩形M的一个有效图像，并将此有效图像作为训练数据，以训练得到第二分类模型。此有效图像在已识别图像中的位置与矩形M在语义分割图中的位置完全一致。

图7为本发明实施例提供的产品质量检测装置实施例一的结构示意图，如图7所示，该产品质量检测装置包括：生成模块11、建立模块12、获取模块13、分类模块14和缺陷类型确定模块15。

生成模块11，用于根据拍摄设备在不同光源、不同视角下拍摄的图像生成对应于待检测产品的三维产品图像，所述三维产品图像中包括所述待检测产品经点焊工艺后的点焊区域。

建立模块12，用于根据光学三角法建立用于测量所述三维产品图像中的点焊区域的测量模型。

获取模块13，用于若测量结果表明所述待检测产品无缺陷，则获取所述拍摄设备在第一视角下拍得的所述待检测产品的待识别图像。

分类模块14，用于根据第一分类模型对所述待识别图像进行分类识别，以识别所述待检测产品对应的至少一种缺陷类型。

缺陷类型确定模块15，用于根据所述至少一种缺陷类型对应的确认处理逻辑，确定所述待检测产品对应的目标缺陷类型。

可选地，所述不同光源包括结构光光源和普通照明光源；在建立所述测量模型的过程中，需要多面转镜和高速电机，所述多面转镜在所述高速电机的驱动下旋转，所述多面转镜用于将所述结构光光源输出的结构光反射后投射在所述待检测产品表面。

可选地，所述拍摄设备位于所述待检测产品的正上方；

该产品质量检测装置中建立模块12具体用于：根据所述三维产品图像中任一图像点的图像坐标、所述多面转镜的中心分别与所述拍摄设备的光心和预设参考平面之间的第一距离和第二距离确定所述任一图像点在空间坐标系中的坐标；以及根据所述三维产品图像中每个图像点的坐标建立测量模型。

可选地，该产品质量检测装置中建立模块12具体包括：转换单元121、第一确定单元122、第二确定单元123、第三确定单元124和建立单元125。

转换单元121，用于利用第一转换矩阵和第二转换矩阵将所述三维产品图像中任一图像点的坐标和所述拍摄设备的光心的坐标由相机坐标系转换到空间坐标系中，其中，所述相机坐标系对应于所述拍摄设备。

第一确定单元122，用于根据所述任一图像点的转换后坐标和所述光心的转换后坐标确定第一直线方程。

第二确定单元123，用于根据所述第一直线和所述多面转镜的中心确定第一平面方程。

第三确定单元124，用于根据所述第一直线方程和所述第一平面方程确定所述三维产品图像中剩余图像点在所述空间坐标系中的坐标；

建立单元125，用于根据所述三维产品图像中每个图像点的坐标建立测量模型。

该产品质量检测装置中还包括：测量模块21。

测量模块21，用于识别所述三维产品图像中的点焊区域；以及根据所述点焊区域内各图像点在所述空间坐标系中的坐标，利用所述测量模型对所述点焊区域内的区域参数进行测量。

可选地，所述区域参数包括点焊区域的高度；

该产品质量检测装置中的缺陷类型确定模块15还用于：

若所述高度高于预设范围，则确定所述待检测产品存在虚焊或引线翘起；若所述高度属于所述预设范围，则确定所述待检测产品无缺陷；以及若所述高度低于所述预设范围，则确定所述待检测产品存在点化或者焊接有待检测产品的焊盘上无引线。

可选地，该产品质量检测装置中的缺陷类型确定模块15具体用于：

若所述至少一种缺陷类型中概率值最高的缺陷类型为无缺陷，并且所述无缺陷对应的概率值大于或等于第一预设值，则确定所述待检测产品对应的目标缺陷类型为所述无缺陷。

可选地，该产品质量检测装置中的缺陷类型确定模块15具体用于：

若所述至少一种缺陷类型中概率值最高的缺陷类型为无缺陷，并且所述无缺陷对应的概率值小于第一预设值，则根据所述至少一种缺陷类型中概率值次高的缺陷类型确定所述待检测产品对应的目标缺陷类型。

可选地，该产品质量检测装置中的缺陷类型确定模块15具体用于：

若所述至少一种缺陷类型中概率值次高的缺陷类型为虚焊，并且所述虚焊对应的概率值小于第二预设值，则确定所述待检测产品对应的目标缺陷类型为所述无缺陷。

可选地，该产品质量检测装置中的缺陷类型确定模块15具体用于：

若所述至少一种缺陷类型中概率值次高的缺陷类型为虚焊，并且所述虚焊对应的概率值大于或等于第二预设值，则将所述待识别图像输入至第二分类模型；以及根据所述第二分类模型输出的分类结果确定所述待检测产品对应的目标缺陷类型。

图7所示装置可以执行图1～图6所示实施例的方法，本实施例未详细描述的部分，可参考对图1～图6所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1～图6所示实施例中的描述，在此不再赘述。

以上描述了产品质量检测装置的内部功能和结构，在一个可能的设计中，产品质量检测装置的结构可实现为一电子设备。图8为本发明实施例提供的电子设备实施例一的结构示意图，如图8所示，该电子设备包括：存储器31，以及与存储器连接的处理器32，存储器31用于存储电子设备执行上述任一实施例中提供的产品质量检测方法的程序，处理器32被配置为用于执行存储器31中存储的程序。

程序包括一条或多条计算机指令，其中，一条或多条计算机指令被处理器32执行时能够实现如下步骤：

获取待检测产品对应的待识别图像，所述待识别图像中包括所述待检测产品经点焊工艺后的点焊区域；

根据拍摄设备在不同光源、不同视角下拍摄的图像生成对应于待检测产品的三维产品图像，所述三维产品图像中包括所述待检测产品经点焊工艺后的点焊区域；

根据光学三角法建立用于测量所述三维产品图像中的点焊区域的测量模型；

若测量结果表明所述待检测产品无缺陷，则获取所述拍摄设备在第一视角下拍得的所述待检测产品的待识别图像；

根据第一分类模型对所述待识别图像进行分类识别，以识别所述待检测产品对应的至少一种缺陷类型；

根据所述至少一种缺陷类型对应的确认处理逻辑，确定所述待检测产品对应的目标缺陷类型。

可选地，处理器32还用于执行前述各方法步骤中的全部或部分步骤。

其中，电子设备的结构中还可以包括通信接口33，用于电子设备与其他设备或通信网络通信。

另外，本发明实施例提供了一种计算机存储介质，用于储存上述电子设备所用的计算机软件指令，其包含用于执行上述图1～图6所示方法实施例中产品质量检测方法所涉及的程序。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以产品的形式体现出来，该计算机产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)执行各个实施例或者实施例的某些部分的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种产品质量检测方法，其特征在于，包括：

根据拍摄设备在不同光源、不同视角下拍摄的图像生成对应于待检测产品的三维产品图像，所述三维产品图像中包括所述待检测产品经点焊工艺后的点焊区域；

根据光学三角法建立用于测量所述三维产品图像中的点焊区域的测量模型；

若测量结果表明所述待检测产品无缺陷，则获取所述拍摄设备在第一视角下拍得的所述待检测产品的待识别图像；

根据第一分类模型对所述待识别图像进行分类识别，以识别所述待检测产品对应的至少一种缺陷类型；

根据所述至少一种缺陷类型对应的确认处理逻辑，确定所述待检测产品对应的目标缺陷类型。

2.根据权利要求1所述的方法，其特征在于，所述不同光源包括结构光光源和普通照明光源；在建立所述测量模型的过程中，需要多面转镜和高速电机，所述多面转镜在所述高速电机的驱动下旋转，所述多面转镜用于将所述结构光光源输出的结构光反射后投射在所述待检测产品表面。

3.根据权利要求2所述的方法，其特征在于，所述拍摄设备位于所述待检测产品的正上方；

所述根据光学三角法建立用于测量所述三维产品图像中的点焊区域的测量模型，包括：

根据所述三维产品图像中任一图像点的图像坐标、所述多面转镜的中心分别与所述拍摄设备的光心和预设参考平面之间的第一距离和第二距离确定所述任一图像点在空间坐标系中的坐标；

根据所述三维产品图像中每个图像点的坐标建立测量模型。

4.根据权利要求2所述的方法，其特征在于，所述根据光学三角法建立用于测量所述三维产品图像中的点焊区域的测量模型，包括：

利用第一转换矩阵和第二转换矩阵将所述三维产品图像中任一图像点的坐标和所述拍摄设备的光心的坐标由相机坐标系转换到空间坐标系中，其中，所述相机坐标系对应于所述拍摄设备；

根据所述任一图像点的转换后坐标和所述光心的转换后坐标确定第一直线方程；

根据所述第一直线和所述多面转镜的中心确定第一平面方程；

根据所述第一直线方程和所述第一平面方程确定所述三维产品图像中剩余图像点在所述空间坐标系中的坐标；

根据所述三维产品图像中每个图像点的坐标建立测量模型。

5.根据权利要求4所述的方法，其特征在于，所述根据光学三角法建立用于测量所述三维产品图像中的点焊区域的测量模型之后，所述方法还包括：

识别所述三维产品图像中的点焊区域；

根据所述点焊区域内各图像点在所述空间坐标系中的坐标，利用所述测量模型对所述点焊区域内的区域参数进行测量。

6.根据权利要求5所述的方法，其特征在于，所述区域参数包括所述点焊区域的高度；

所述方法还包括：

若所述高度高于预设范围，则确定所述待检测产品存在虚焊或引线翘起；

若所述高度属于所述预设范围，则确定所述待检测产品无缺陷；

若所述高度低于所述预设范围，则确定所述待检测产品存在点化或者焊接有待检测产品的焊盘上无引线。

7.根据权利要求6所述的方法，其特征在于，所述根据所述至少一种缺陷类型对应的确认处理逻辑，确定所述待检测产品对应的目标缺陷类型，包括：

若所述至少一种缺陷类型中概率值最高的缺陷类型为无缺陷，并且所述无缺陷对应的概率值大于或等于第一预设值，则确定所述待检测产品对应的目标缺陷类型为所述无缺陷。

8.根据权利要求6所述的方法，其特征在于，所述根据所述至少一种缺陷类型对应的确认处理逻辑，确定所述待检测产品对应的目标缺陷类型，包括：

若所述至少一种缺陷类型中概率值最高的缺陷类型为无缺陷，并且所述无缺陷对应的概率值小于第一预设值，则根据所述至少一种缺陷类型中概率值次高的缺陷类型确定所述待检测产品对应的目标缺陷类型。

9.根据权利要求8所述的方法，其特征在于，所述根据所述至少一种缺陷类型中概率值次高的缺陷类型确定所述待检测产品对应的目标缺陷类型，包括：

若所述至少一种缺陷类型中概率值次高的缺陷类型为虚焊，并且所述虚焊对应的概率值小于第二预设值，则确定所述待检测产品对应的目标缺陷类型为所述无缺陷。

10.根据权利要求8所述的方法，其特征在于，所述根据所述至少一种缺陷类型中概率值次高的缺陷类型确定所述待检测产品对应的目标缺陷类型，包括：

若所述至少一种缺陷类型中概率值次高的缺陷类型为虚焊，并且所述虚焊对应的概率值大于或等于第二预设值，则将所述待识别图像输入至第二分类模型；

根据所述第二分类模型输出的分类结果确定所述待检测产品对应的目标缺陷类型。

11.一种产品质量检测装置，其特征在于，包括：

生成模块，用于根据拍摄设备在不同光源、不同视角下拍摄的图像生成对应于待检测产品的三维产品图像，所述三维产品图像中包括所述待检测产品经点焊工艺后的点焊区域；

建立模块，用于根据光学三角法建立用于测量所述三维产品图像中的点焊区域的测量模型；

获取模块，用于若测量结果表明所述待检测产品无缺陷，则获取所述拍摄设备在第一视角下拍得的所述待检测产品的待识别图像；

分类模块，用于根据第一分类模型对所述待识别图像进行分类识别，以识别所述待检测产品对应的至少一种缺陷类型；

缺陷类型确定模块，用于根据所述至少一种缺陷类型对应的确认处理逻辑，确定所述待检测产品对应的目标缺陷类型。

Images