CN117161624A - 一种智能焊接检测装置与控制系统 - Google Patents

Abstract

本说明书实施例提供一种智能焊接检测装置与控制系统，包括摄像装置、环境传感器和处理器，摄像装置被配置为获取元器件的针脚的焊接图像数据；环境传感器被配置为获取元器件的焊接环境数据；处理器被配置为基于焊接图像数据，评估针脚的焊接质量；基于焊接图像数据、焊接质量和焊接环境数据中的至少一种，评估元器件的氧化风险。

Description

一种智能焊接检测装置与控制系统

技术领域

本说明书涉及焊接检测领域，特别涉及一种智能焊接检测装置与控制系统。

背景技术

在电子元器件的生产工艺流程中，通常需要将一定数量的金属针脚焊接到电子元器件的电极和/或引线上，然后经历点胶、封装等流程，生产出完整的电子元器件。如果针脚存在缺陷(如氧化迹象等)，可能影响焊接质量，后续电子元器件的工作性能等。

针对如何检测电子元器件的针脚焊接的性能的问题，CN102967602B提出一种检测电子元器件引脚(针脚)焊接性能的方法,该申请重点针对的是对封装后的电子元器件针脚实施检测和处理，但是对于生产过程中的元器件焊接时焊接不良等造成的针脚缺陷，缺乏监测手段。

因此，希望可以提供一种智能焊接检测装置与控制系统，可以对元器件生产过程中的焊接缺陷，提供监测手段。

发明内容

本说明书实施例之一提供一种智能焊接检测装置。所述装置包括摄像装置、环境传感器和处理器；所述摄像装置被配置为获取元器件的针脚的焊接图像数据；所述环境传感器被配置为获取所述元器件的焊接环境数据；所述处理器被配置为：基于所述焊接图像数据，评估所述针脚的焊接质量；基于所述焊接图像数据、所述焊接质量和所述焊接环境数据中的至少一种，评估所述元器件的氧化风险。

本说明书实施例之一提供一种智能焊接检测装置的控制系统，所述控制系统被配置为控制智能焊接检测装置的运行，包括：通过摄像装置获取元器件的针脚的焊接图像数据；通过环境传感器获取所述元器件的焊接环境数据；基于所述焊接图像数据，评估所述针脚的焊接质量；基于所述焊接图像数据、所述焊接质量和所述焊接环境数据中的至少一种，评估所述元器件的氧化风险。

本说明书实施例之一提供一种智能焊接检测方法，包括：通过摄像装置获取元器件的针脚的焊接图像数据；通过环境传感器获取所述元器件的焊接环境数据；基于所述焊接图像数据，评估所述针脚的焊接质量；基于所述焊接图像数据、所述焊接质量和焊接环境数据中的至少一种，评估所述元器件的氧化风险。

本说明书一个或多个实施例提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行：通过摄像装置获取元器件的针脚的焊接图像数据；通过环境传感器获取所述元器件的焊接环境数据；基于所述焊接图像数据，评估所述针脚的焊接质量；基于焊接图像数据、焊接质量和焊接环境数据中的至少一种，评估所述元器件的氧化风险。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的智能焊接检测装置的示例性示意图；

图2是根据本说明书一些实施例所示的评估模型的示例性示意图；

图3是根据本说明书一些实施例所示的评估氧化风险的示例性示意图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

在元器件的生产工艺流程中，通常在点胶、封装等流程前，要进行一定数量的金属针脚焊接到电子元器件的电极和/或引线上。其中较为重要的是对于生产过程中的元器件焊接时焊接不良等造成的针脚缺陷进行监测。

鉴于此，本说明一些实施例提供一种智能焊接检测装置与控制系统，通过在元器件生产过程中获取图像等数据，可以对焊接缺陷，提供监测手段。

图1是根据本说明书一些实施例所示的智能焊接检测装置的示例性示意图。如图1所示，智能焊接检测装置100可以包括摄像装置110、环境传感器120和处理器130。

在一些实施例中，摄像装置110被配置为获取元器件的针脚的焊接图像数据。在一些实施例中，环境传感器120被配置为获取元器件的焊接环境数据；在一些实施例中，处理器130被配置为：基于焊接图像数据，评估针脚的焊接质量；基于焊接图像数据、焊接质量和焊接环境数据中的至少一种，评估元器件的氧化风险。关于上述实施例的更多内容可以参见图1后文及相关说明。

在一些实施例中，摄像装置110是被配置为获取元器件的针脚的焊接图像数据的装置。例如，摄像装置可以包括多种类型，例如，CCD相机、线阵相机、模拟相机和数字相机等。在一些实施例中，摄像装置可以指是工业相机等。在一些实施例中，摄像装置可以包括一个或多个，摄像装置的数量可以根据需求设置，此处不做限制。一个或多个摄像装置可以设置在焊接元器件的上方或者侧上方不同角度的位置。一个或多个摄像装置的设置位置可以根据实际需求进行设定。

在一些实施例中，环境传感器120是被配置为获取元器件的焊接环境数据的传感器。例如，环境传感器可以包括温度传感器、湿度传感器等。环境传感器的数量可以根据需求设置。环境传感器可以设置在预设范围的空间内。预设范围可以人为设置，例如，预设范围可以是距离焊接元器件的位置的预设距离的空间范围内。预设距离可以提前设置。

在一些实施例中，处理器130被配置为处理与智能焊接检测装置100有关的信息和/或数据，以执行本申请中描述的一个或以上功能。在一些实施例中，处理器130可以与摄像装置110、环境传感器120等通信连接，进而获取焊接图像数据和焊接环境数据等。在一些实施例中，处理器130可以是智能焊接检测装置的控制系统的组成部分。关于智能焊接检测装置的控制系统的更多内容可以参见图1后文及相关说明。

在一些实施例中，处理器可以包括微控制器(Microcontroller，MCU)、嵌入式处理器(Embedded Processor)、嵌入式处理器(Embedded Processor)、图形处理器(GraphicsProcessing Unit，GPU)等中的一种或多种的组合。

元器件是指机器、仪器、设备等的组成部分。在一些实施例中，元器件可以是电子元器件。例如，元器件可以包括电阻、电容、电感、热敏传感器等中的一种或多种。

针脚是指连接元器件与电路板之间的金属导线。在电子元器件生产过程中，需要先进行针脚焊接，再将电子元器件连接到电路板上。针脚的存在使得电子元器件能够与电路板的电路进行连接和通信。针脚焊接是指将针脚焊接到元器件的电极和/或引线上。在一些实施例中，一个元器件可以包括一个或多个针脚，针脚的数量可以根据实际需求设置。

在一些实施例中，智能焊接检测装置100还可以包括重量测试部件。在一些实施例中，重量测试部件被配置为获取焊接后元器件的重量数据。在一些实施例中，处理器130进一步被配置为基于焊接图像数据和重量数据，确定焊接质量。关于上述实施例的更多内容可以参见图1后文及相关说明。

重量测试部件是被配置为测试元器件的重量数据的装置。重量测试部件的类型可以包括多种，例如，重量测试部件可以包括数码电子秤、平衡天平、三轴力传感器等。在一些实施例中，不同类型的重量测试部件可以通过不同的方式测试元器件的不同的重量数据。关于重量测试部件和重量数据的更多内容可以参见图1下述和图2的相关描述。

在一些实施例中，处理器进一步被配置为基于元器件信息和焊接环境数据，确定焊接质量的监测参数；基于监测参数，控制重量测试部件获取重量数据的重量测试频率。关于上述实施例的更多内容可以参见图1后文及相关说明。

在一些实施例中，处理器进一步被配置为基于焊接图像数据，确定针脚的镀层数据；基于镀层数据、元器件的周转信息、焊接质量和焊接环境数据中的至少一种，评估氧化风险。关于上述实施例的更多内容可以参见图3及相关说明。

本说明书一些实施例提供了一种智能焊接检测装置的控制系统，该控制系统被配置为控制智能焊接检测装置的运行。

在一些实施例中，智能焊接检测装置的控制系统可以包括存储设备等，被配置为存储与智能焊接检测装置相关的数据和信息。在一些实施例中，智能焊接检测装置的控制系统可以包括用户终端。用户终端可以指用户使用的一个或多个终端设备或软件。用户可以指智能焊接检测装置的控制系统的管理者或操作者、生产过程中的技术人员等。

在一些实施例中，控制系统可以通过摄像装置获取元器件的针脚的焊接图像数据；通过环境传感器获取元器件的焊接环境数据；基于焊接图像数据，评估针脚的焊接质量；基于焊接图像数据、焊接质量和焊接环境数据中的至少一种，评估元器件的氧化风险。

焊接图像数据是指关于将针脚焊接到元器件上的图像的相关数据。焊接图像数据可以包括将针脚焊接到元器件上的多种图像。例如，焊接图像数据可以包括焊接过程中包括针脚的图像、焊接完成后包括针脚的图像等。

在一些实施例中，控制系统可以通过摄像装置获取元器件的针脚的焊接图像数据。例如，控制系统可以基于设置在焊接元器件侧上方的摄像装置获取焊接过程中包括针脚的一张或多张焊接图像。控制系统可以基于设置在元器件上方的摄像装置获取焊接完成后包括针脚的一张或多张焊接图像。控制系统可以通过摄像装置实时或间断性获取多个不同的元器件的一张或多张焊接图像数据。

焊接环境数据是指将针脚焊接到元器件上的对应的环境数据。例如，焊接环境数据可以包括环境温度数据、环境湿度数据等。

在一些实施例中，控制系统可以通过环境传感器获取焊接环境数据。例如，控制系统可以基于设置在预设范围内的温度传感器获取预设范围内的环境温度数据。又例如，控制系统可以基于设置在预设范围内的湿度传感器获取预设范围内的环境湿度数据。关于环境传感器、预设范围可以参见上文及相关说明。在一些实施例中，控制系统可以根据需求实时或间断性获取焊接环境数据。

焊接质量是反映针脚的焊接情况的数据。在一些实施例中，焊接质量可以通过多种方式进行表示。例如，焊接质量可以通过针脚的镀层破环程度、焊点完整性、焊点填充度、焊锡均匀性等进行表示。焊接质量的好坏可以通过程度或者等级等进行表示。

针脚的镀层破环程度指针脚焊接时对针脚镀层的破坏程度。例如，针脚的镀层破环程度越大，焊接质量越差。焊点完整性是指针脚焊接时焊点的完整程度。例如，焊点完整性越好，焊接质量越好。焊点填充度是指针脚焊接时焊点的填充程度。例如，焊点填充度越高，焊接质量越好。焊锡均匀性是指针脚焊接时焊点处的焊锡均匀程度。例如，焊锡均匀性越大，焊接质量越好。

在一些实施例中，控制系统可以基于图像识别技术通过某一元器件的一张或多张焊接图像数据评估该元器件的针脚的焊接质量，从而评估不同元器件针脚的焊接质量。例如，控制系统可以通过识别元器件的一张或多张焊接图像数据中的针脚颜色、光泽等判断该元器件的针脚的镀层破环程度。示例性的，针脚的颜色越深、光泽越暗，则该元器件的针脚的镀层破环程度越严重。又例如，控制系统可以通过识别元器件的一张或多张焊接图像数据中的针脚的焊锡是否存在缝隙、断裂、空洞等情况，确定焊点完整性。示例性的，焊锡的缝隙、断裂、空洞等越多，则该元器件的针脚的焊点完整性越差。

又例如，控制系统可以基于像素点判断元器件的一张或多张焊接图像数据中的焊锡量与标准焊锡量的差值确定该元器件的针脚的焊点填充度，焊锡量与标准焊锡量的差值越小，该元器件的针脚的焊点填充度越好。焊锡量和标准焊锡量可以用焊锡的像素点数量表示。标准焊锡量根据经验设置。又例如，控制系统可以通过识别元器件的一张或多张焊接图像数据中焊锡的形状判断该元器件的针脚的焊锡均匀性，焊锡的形状与标准形状的差异越大，该元器件的针脚的焊锡均匀性越差。标准形状可以基于经验确定，示例性的，焊锡的标准形状一般是圆点。

在一些实施例中，控制系统可以通过重量测试部件获取焊接后元器件的重量数据；基于焊接图像数据和重量数据，确定焊接质量。关于焊接图像数据、重量测试部件和焊接质量的更多说明可以参见图1上述的相关描述。

焊接后元器件是指完成焊接工作的电子元器件。例如，焊接后元器件为焊接完针脚的电子元器件。

重量数据是指关于焊接后元器件的重量、重心等的相关数据。例如，重量数据可以包括元器件的重量和重心位置信息。关于重心位置信息的更多内容可以参见图2的相关描述。

在一些实施例中，重量数据可以由控制系统通过重量测试部件测试获取。

在一些实施例中，控制系统可以基于焊接图像数据和重量数据，确定焊接质量。如果重量数据显示元器件的重量过轻，低于标准重量范围的最小值，说明元器件可能存在填充度不够，或者内部有缝隙、空洞等问题，控制系统可以将该元器件的针脚的焊接质量中的焊点填充度的数值调低。如果重量数据显示元器件的重量过重，高于标准重量范围的最大值，则元器件可能存在过度焊接等情况，控制系统也可以将该元器件的针脚的焊接质量中的焊点填充度的数值调低。控制系统可以基于历史数据中针脚焊接质量各方面均良好的元器件的重量覆盖范围提前确定标准重量范围。

在一些实施例中，重量数据包括元器件的重量分布信息，控制系统可以基于重量数据、焊接图像数据、元器件信息，通过评估模型确定焊接质量，更多内容可以参见图2的相关描述。

在本说明书一些实施例中，焊接图像数据可能会由于角度、光线等问题，导致图像失真，从而影响对针脚的焊接质量的判断结果的准确性。通过重量测试部件获取焊接后元器件的重量数据，基于焊接图像数据和重量数据，确定焊接质量，加入重量数据辅助判断针脚的焊接质量，可以进一步提高确定的针脚的焊接质量的准确性。

在一些实施例中，控制系统可以基于元器件信息和焊接环境数据，确定焊接质量的监测参数；基于监测参数，控制重量测试部件获取重量数据的重量测试频率。

元器件信息是指关于电子元器件的相关信息。例如，元器件信息包括元器件的型号、材质、尺寸等信息。在一些实施例中，控制系统可以通过存储设备获取元器件信息。存储设备可以提前存储不同元器件的元器件信息。

监测参数是指对元器件的针脚的焊接质量进行监测的方式。在一些实施例中，监测参数可以包括多种监测焊接质量方式的组合。监测参数可以通过向量进行表示。例如，监测参数的向量形式可以是[a，a，a，ab，a，a，a，ab，……]，其中，每一个元素代表对一个电子元器件的监测方式。元素a表示基于焊接图像数据确定焊接质量；元素ab表示基于焊接图像数据和重量数据确定焊接质量。按照生产元器件的先后顺序，向量[a，a，a，ab，a，a，a，ab，……]可以分别表示对第1～3个元器件基于焊接图像数据确定焊接质量，对第4个元器件基于焊接图像数据和重量数据确定焊接质量，对第5～7个元器件基于焊接图像数据确定焊接质量，对第8个元器件基于焊接图像数据和重量数据确定焊接质量等，以此类推。

在一些实施例中，控制系统可以基于元器件信息和焊接环境数据，通过查找预设监测参数表格确定对应的监测参数。预设监测参数表格包括不同型号、材质、尺寸的元器件在不同焊接环境数据下的监测参数。预设监测参数表格可以根据经验设置。

在一些实施例中，控制系统可以基于候选监测参数、元器件信息和焊接环境数据，评估候选监测参数的监测准确度；基于监测准确度和候选监测参数的生产影响度，确定监测参数。

候选监测参数是指待确认为监测参数的监测方式。

在一些实施例中，控制系统可以通过多种方式获取一个或多个候选监测参数。例如，控制系统可以基于历史数据获取一个或多个候选监测参数。历史数据可以包括历史监测参数、历史质检记录等。控制系统可以获取存储设备预先存储的历史数据。示例性的，控制系统可以将某一型号的元器件在历史数据中的一个或多个历史监测参数作为该型号的元器件的一个或多个候选监测参数。又示例性的，控制系统可以基于历史质检记录中次品的产生频次确定一个或多个候选监测参数。示例性的，历史质检记录中大概每生产50个元器件出现一个次品，则控制系统可以每生产50个元器件获取一次重量数据，对应的候选监测参数为对第1～49个元器件基于焊接图像数据确定焊接质量，对第50个元器件基于焊接图像数据和重量数据确定焊接质量，依次往后类推。

监测准确度是指按照监测参数进行监测得到的焊接质量与实际焊接质量的符合程度。在一些实施例中，监测准确度可以用程度或等级等进行表示。元器件按照监测参数进行监测得到的焊接质量与实际焊接质量的符合程度越高，监测准确度越高。

在一些实施例中，控制系统可以基于候选监测参数、元器件信息和焊接环境数据通过向量匹配候选监测参数的参考焊接质量；基于元器件信息和焊接环境数据通过查找第一预设表格确定元器件的针脚的标准焊接质量；将参考焊接质量与标准焊接质量的符合程度作为监测准确度。

示例性的，控制系统可以根据候选监测参数、元器件信息和焊接环境数据构建第一特征向量；基于第一特征向量在第一向量数据库中查找距离最小的第一参考向量，并将该第一参考向量对应的焊接质量作为参考焊接质量。第一向量数据库中包含多个第一参考向量及其对应的焊接质量。第一参考向量可以基于历史焊接过程中的历史焊接图像数据、历史焊接质量和历史焊接环境数据构建。第一预设表格可以包括不同元器件信息和不同焊接环境数据及其对应的标准焊接质量。标准焊接质量可以基于历史经验设置。

在一些实施例中，控制系统可以基于候选监测参数、元器件信息和焊接环境数据，通过准确度模型评估候选监测参数的监测准确度。

准确度模型是指用于评估候选监测参数的监测准确度的模型。在一些实施中，准确度模型可以是机器学习模型。例如，准确度模型可以包括循环神经网络(RecurrentNeural Networks，RNN)模型、深度神经网络(Deep Neural Networks，DNN)模型等或其任意组合，或其他自定义模型。

在一些实施例中，准确度模型的输入包括候选监测参数、元器件信息和焊接环境数据，输出包括候选监测参数的监测准确度。

在一些实施例中，准确度模型可以通过大量第一训练样本和第一训练样本对应的第一训练标签训练得到。例如，控制系统可以将多个带有第一训练标签的第一训练样本输入初始准确度模型，通过第一训练标签和初始准确度模型的结果构建损失函数，基于损失函数通过梯度下降或其他方法迭代更新初始准确度模型的参数。当满足预设条件时模型训练完成，得到训练好的准确度模型。其中，预设条件可以是损失函数收敛、迭代的次数达到阈值等。

第一训练样本中的每组训练样本可以包括样本监测参数、样本元器件信息和样本焊接环境数据。第一训练样本可以基于历史数据得到。第一训练样本对应的第一训练标签可以通过人工标注或自动标注。例如，控制系统可以将第一焊接质量与第二焊接质量的符合程度作为第一训练样本对应的第一训练标签。第一焊接质量是指样本元器件按照样本监测参数进行生产时，基于焊接图像数据和重量数据确定的焊接质量。第二焊接质量是指样本元器件按照样本监测参数进行生产时，人工质检结果中的实际焊接质量。

在本说明一些实施例中，焊接环境数据的波动可能会导致焊接存在缺陷，例如，焊锡附着力较差、内部裂缝等。这些缺陷通过焊接图像数据和重量数据较难发现，可能影响监测准确度的准确性。将候选监测参数、元器件信息和焊接环境数据作为准确度模型的输入，可以提高准确度模型对候选监测参数的监测准确度判断的合理性。从而提高确定的候选监测参数的监测准确度的准确性，有利于后续确定更准确的监测参数，为后续判断氧化风险提供更准确的数据。

生产影响度是指按照候选监测参数进行质量监测导致的对生产效率的影响情况。例如，生产影响度可以用单位时间内生产的元器件个数的减少量表示。

在一些实施里中，控制系统可以基于候选监测参数中重量数据的重量测试频率，按照每获取一次重量数据所需的标准时间，计算单位时间内(如1小时等)由于获取重量数据产生的损耗时间；基于损耗时间和元器件的生产效率可以计算出单位时间内生产元器件个数的减少量。标准时间可以根据经验确定。

在一些实施里中，控制系统可以基于元器件信息通过查询第二预设表格确定该类元器件的监测准确度最低要求。在满足监测准确度最低要求的一个或多个候选监测参数中，控制系统可以选择生产影响度最小的候选监测参数作为监测参数。第二预设表格包括不同型号、材质和尺寸的元器件对应的检测准确度要求。

在一些实施例中，通过监测准确度和候选监测参数的生产影响度确定监测参数，可以提高确定的监测参数的准确性，同时减少监测过程对元器件生产的影响。

重量测试频率是指重量测试部件获取重量数据的频率。例如，重量测试频率可以是单位时间获取重量数据的次数。

在一些实施例中，控制系统可以基于监测参数，控制重量测试部件获取元器件的重量数据的重量测试频率。例如，控制系统可以基于监测参数中使用重量数据的频率确定。例如，监测过程中，监测参数表示为单位时间内使用50次重量数据，则对应的重量测试频率为50。

在一些实施例中，控制系统可以基于重量测试频率，控制重量测试部件获取元器件的重量数据。

只通过焊接图像数据判断的针脚的焊接质量的准确度较低，但是焊接图像数据的获取不影响生产。在本说明书一些实施例中，获取元器件的重量数据、重量分布信息，需要将元器件放置到重量测试部件上进行测试得到，准确度更高，但是需要花费更多时间将电子元器件放到重量测试部件上测试，频繁监测元器件的重量会影响生产效率，因此通过控制重量测试频率，可以降低对生产过程的影响。

在一些实施例中，氧化风险是指元器件未来发生氧化的风险的可能性。氧化风险可以通过等级或概率等进行表示。例如，氧化风险可以用元器件的针脚未来发生氧化的概率进行表示。概率值越大，对应元器件的针脚未来发生氧化的风险的可能性越大。

在一些实施例中，控制系统可以通过多种方式确定元器件的氧化风险。例如，控制系统可以基于焊接图像数据、焊接质量和焊接环境数据中的至少一种通过向量匹配确定氧化风险。示例性的，控制系统可以根据元器件的焊接图像数据、焊接质量、焊接环境数据中的至少一种构建第二特征向量，基于第二特征向量在第二向量数据库中筛选出与第二特征向量的距离小于预设距离阈值的多个第二参考向量，将多个第二参考向量确定为备选参考向量；将备选参考向量中对应元器件发生氧化的向量的数量在所有备选参考向量中的占比作为氧化风险。第二向量数据库中包含多个第二参考向量及其对应的元器件是否发生氧化。第二参考向量可以基于历史焊接过程中的历史焊接图像数据、历史焊接质量和历史焊接环境数据构建。预设距离阈值的大小可以提前预设。

在一些实施例中，控制系统可以基于镀层数据、元器件的周转信息、焊接质量和焊接环境数据中的至少一种，评估氧化风险。更多内容可以参见图3及相关说明。

在一些实施例中，控制系统可以基于焊接质量不合格的元器件的占比和/或氧化风险较高的元器件的占比超过占比阈值，通过用户终端向用户发出提醒信息。提醒信息是指提醒用户调整焊接参数的信息。例如，提醒信息可以用文字、语音等方式表示。焊接参数包括可能需要调整的参数，例如，焊接环境数据、焊接设备的工作参数等。占比阈值可以根据实际需求预设。

在一些实施例中，控制系统可以在发现焊接质量不合格的元器件的占比和/或氧化风险较高的元器件的占比超过占比阈值时，获取对应的实际焊接参数，根据实际焊接参数与标准焊接参数进行对比，将与标准焊接参数不相符的实际焊接参数作为可能需要调整的参数，并通过用户终端发送给用户。标准焊接参数可以根据先验经验预先设置。

本说明书的一些实施例，通过焊接图像数据，评估针脚的焊接质量，并基于焊接质量、焊接图像数据和焊接环境数据中的至少一种，评估元器件的氧化风险，可以实现对针脚焊接过程的焊接质量进行监控，并且综合考虑了焊接效果和焊接环境对针脚氧化可能的影响，提高了氧化风险评估的准确性和可靠性。

需要注意的是，以上对于智能焊接检测装置与控制系统及其各组成单元的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该装置与系统的原理后，可能在不背离这一原理的情况下，对各个单元进行任意组合，或者构成子系统与其他装置连接。

图2是根据本说明书一些实施例所示的评估模型的示例性示意图。

在一些实施例中，控制系统可以基于重量数据211、焊接图像数据212和元器件信息213，通过评估模型220确定焊接质量230。关于重量数据、元器件信息、焊接图像数据的更多说明可以参见图1上述的相关描述。

在一些实施例中，重量数据包括元器件的重心位置信息。重心位置信息是指元器件的重心所处的位置。

在一些实施例中，控制系统可以通过多种方式确定元器件的重心位置信息。例如，控制系统可以通过三轴力传感器测量元器件的重心位置，进而确定元器件的重心位置信息。示例性的，控制系统可以通过三轴力传感器测量元器件在不同方向上的力，进而确定元器件的重心位置。又例如，控制系统可以通过数码电子秤估算重心位置，进而确定元器件的重心位置信息。示例性的，控制系统可以通过数码电子秤记录下元器件处在平衡状态时的位置，进而通过数学计算确定元器件的重心位置。又例如，控制系统可以通过平衡天平测量元器件的重心，进而确定元器件的重心位置信息。示例性的，平衡天平包括一个平台和一个可移动的臂，控制系统可以通过调整平衡天平的臂的位置，使位于平台上的元器件达到平衡状态，然后读取臂的位置，进而确定元器件的重心位置。

在一些实施例中，评估模型是指评估元器件的质量的模型，评估模型220可以为机器学习模型。例如，神经网络模型等。

在一些实施例中，评估模型的输入210可以包括重量数据211、焊接图像数据212和元器件信息213，输出可以为焊接质量230。

在一些实施例中，焊接质量230可以通过向量进行表示。例如，焊接质量向量[x，y，z，……]，其中，焊接质量向量中的每个元素可以分别表示元器件其中一个针脚的焊接质量。

在一些实施例中，评估模型可以通过大量第二训练样本和第二训练样本对应的第二训练标签训练得到。第二训练样本中的每组训练样本可以包括元器件的样本重量数据、样本焊接图像数据和样本元器件信息。第二训练样本可以基于历史数据得到。第二训练样本对应的第二训练标签可以是人工检测的元器件的针脚的实际焊接质量。关于评估模型的训练方式与准确度模型的训练方式相似，可以参见图1的相关描述。在一些实施例中，评估模型220可以包括图像分割层和质量评估层。

图像分割层是指对图像进行分割的模型。图像分割层可以对焊接图像数据中多个针脚进行分割，以便后续质量评估层判断每个针脚的焊接质量。图像分割层可以是机器学习模型，例如，卷积神经网络(Convolutional Neural Networks，CNN)等。

在一些实施例中，图像分割层的输入可以包括焊接图像数据，输出可以为针脚向量。其中，针脚向量是指由多个针脚对应的图像数据组成的向量。

在一些实施例中，图像分割层可以通过大量第三训练样本和第三训练样本对应的第三训练标签训练得到。第三训练样本中的每组训练样本可以包括元器件的样本焊接图像数据。第三训练样本可以基于历史数据得到。第三训练样本对应的第三训练标签可以是人工分割第三训练样本的包括针脚的部分图像数据。关于图像分割层的训练方式与准确度模型的训练方式相似，可以参见图1的相关描述。

质量评估层是指对元器件的针脚的焊接质量进行评估的模型。质量评估层可以是机器学习模型，例如，深度神经网络(Deep Neural Networks，DNN)等。质量评估层可以通过重量数据、针脚向量、元器件信息对每个元器件的针脚的进行评估，从而得到每个元器件的针脚的焊接质量。

在一些实施例中，质量评估层的输入可以包括重量数据、针脚向量、和元器件信息，输出可以为元器件的针脚的焊接质量向量。

在一些实施例中，质量评估层的训练样本可以通过大量第四训练样本和第四训练样本对应的第四训练标签训练得到。第四训练样本中的每组训练样本可以包括元器件的样本针脚向量，焊接样本重量数据、样本元器件信息。第四训练样本可以基于历史数据得到。样本针脚向量可以基于对应的焊接图像数据通过图像分割层输出得到。第四训练样本对应的第四训练标签可以是第四训练样本对应的针脚的实际焊接质量。实际焊接质量可以基于人工检测的元器件的针脚的实际焊接质量。关于质量评估层的训练方式与准确度模型的训练方式相似，可以参见图1的相关描述。

在本说明书一些实施例中，通过训练完成的评估模型确定焊接质量，可以提高确定的元器件的针脚的焊接质量的准确性。将焊接质量通过向量表示，可以确定元器件中每个针脚的焊接质量，进一步提高确定的元器件的针脚的焊接质量的准确性。

图3是根据本说明书一些实施例所示的评估氧化风险的示例性示意图。

在一些实施例中，控制系统可以基于焊接图像数据310，确定针脚的镀层数据321；基于镀层数据321、元器件的周转信息322、焊接质量323和焊接环境数据324中的至少一种，评估元器件的氧化风险330。

关于焊接图像数据、针脚、焊接质量、焊接环境数据和氧化风险的更多内容可以参见图1及相关说明。

镀层数据321是指反映针脚的镀层表面完整情况的数据。例如，镀层数据可以包括镀层是否被破坏，以及镀层的破坏程度等。镀层的破坏程度可以通过镀层的破损部分相对于镀层表面的面积的占比进行表示。

在一些实施例中，控制系统可以通过图像识别技术基于焊接图像数据310，确定针脚的镀层数据321。例如，控制系统可以基于焊接图像数据中的破损像素点占总像素点的比值确定镀层数据。在一些实施例中，控制系统可以将焊接过程中或者焊接后的包含针脚的焊接图像中的像素值(如RGB像素值)与参考像素值差距大于预设差距阈值的像素点标记为破损像素点。预设差距阈值可以通过经验设置。

像素值是指像素点对应的图像亮度。破损像素点是指镀层破损部分的图像对应的像素点。其中，像素点和像素值可以通过图像识别技术得到。图像识别技术可以包括图像分割、目标监测算法等中的一种或其任意组合，或其他图像识别技术。在一些实施例中，参考像素值可以是该图像中的针脚部分大部分像素点的像素值。参考像素值可以基于经验确定。此处默认参考像素值对应的图像中的针脚大部分镀层未破损，如果少部分针脚的像素点颜色不一样，则认为该颜色不一样的地方的镀层有破损。关于破损像素点、像素值可以参加后文及相关说明。

在一些实施例中，镀层数据321包括像素值与参考像素值之间的差距满足预设条件的破损像素点的分布数据。

预设条件是指预先设定的确定破损像素点的条件。例如，预设条件可以指像素值与参考像素值之间的差距大于预设差距阈值。控制系统可以提前设置预设条件。在一些实施例中，控制系统可以基于多个破损像素点两两计算每两个破损像素点之间的距离，分别取距离的均值，将多个均值的数据作为分布数据。

关于像素值、参考像素值和破损像素点的内容可以参见图3上文及相关说明。

分布数据是指同一张焊接图像中破损像素点的分布情况。在一些实施例中，分布数据可以反映破损像素点在焊接图像中的位置的聚集度。

在一些实施例中，同一张焊接图像中，即使破损像素点的总面积相同，但破损像素点的分布情况的不同，可能影响元器件的未来的氧化风险。例如，一块1cm²的破损镀层面，和两块0.5cm²的破损镀层面的元器件在未来的氧化风险不同。在本说明书一些实施例中，基于破损像素点的分布数据，评估元器件的氧化风险可以提高评估的准确性。

元器件的周转信息322是与元器件焊接完成后的周转情况有关的信息。例如，元器件的周转信息可以包括焊接完成后的元器件的仓储地点、仓储时长、周转途径点、目的地等。周转信息可以根据实际情况人为设置。

在一些实施例中，控制系统可以基于镀层数据321、元器件的周转信息322、焊接质量323和焊接环境数据324中的至少一种，评估元器件的氧化风险320。例如，控制系统可以基于镀层数据、元器件的周转信息、焊接质量和焊接环境数据中的至少一种通过向量匹配确定氧化风险。控制系统可以根据镀层数据、元器件的周转信息、焊接质量和焊接环境数据中的至少一种构建第三特征向量，通过图1类似方法确定氧化风险，具体可参见图1及相关说明。其中，第三向量数据库中的第三参考向量可以基于历史焊接过程中的镀层数据、元器件的周转信息、焊接质量和焊接环境数据构建。

本说明书的一些实施例，基于镀层数据、元器件的周转信息、焊接质量和焊接环境数据中的至少一种，评估氧化风险。考虑到了由于镀层破坏、元器件储存和转移、焊接质量与环境各因素对元器件氧化的影响，提高了氧化风险评估的合理性与准确性，从而有利于后续发出更加精准的提醒信息提醒用户及时对氧化风险过高的元器件调整焊接参数，从而提高生产质量。

在一些实施例中，控制系统可以基于镀层数据、周转信息、焊接质量和焊接环境数据中的至少一种，通过氧化预测模型确定氧化风险。

在一些实施例中，氧化风险包括未来氧化概率和氧化度。

未来氧化概率是指元器件的针脚在未来发生氧化的概率。未来氧化概率可以通过数值、文字等进行表示。例如，未来氧化概率可以表示为0～1之间的数值。数值越大，表示元器件的针脚在未来发生氧化的概率越大。

氧化度是指元器件的针脚在未来发生氧化的严重程度。氧化度可以通过数值、文字等进行表示。数值越大，表示元器件的针脚在未来发生氧化的程度越严重。在一些实施例中，氧化度可以通过等级(如1-10)进行表示，等级的数值越大表示氧化的程度越严重。

在一些实施例中，氧化风险可以通过向量进行表示。例如，氧化风险的形式可以为[(a1，p1)，(a2，p2)，(a3，p3)……]，其中的(a1，p1)表示未来氧化程度为a1的概率为p1，依此类推。

氧化预测模型是预测元器件的未来的氧化风险的模型。在一些实施例中，氧化预测模型为机器学习模型。例如，氧化预测模型可以是卷积神经网络(Convolutional NeuralNetworks，CNN)模型、深度神经网络(Deep Neural Networks，DNN)模型等中的至少一种或其任意组合。在一些实施例中，氧化预测模型的输入包括镀层数据、周转信息、焊接质量和焊接环境数据；输出包括氧化风险。氧化风险通过不同的氧化度对应的未来氧化概率进行表示。关于焊接质量和焊接环境数据可以参见图1及相关说明，关于镀层数据、周转信息可以参见上文及相关说明。

在一些实施例中，氧化预测模型可以通过大量第五训练样本和与第五训练样本对应的第五训练标签训练得到。第五训练样本中的每组训练样本可以包括样本数据中的样本镀层数据、样本周转信息、样本焊接质量和样本焊接环境数据。第五训练样本可以通过历史数据获取。第五训练样本对应的第五训练标签为每组训练样本对应的样本氧化度和样本氧化概率。第五训练样本对应的第五训练标签可以通过人工标注或自动标注获取。在一些实施例中，控制系统可以将每组训练样本对应的样本氧化度(实际氧化度)对应的样本氧化概率标记为1，其他样本氧化度对应的氧化概率标记为0，从而得到第五训练样本对应的第五训练标签。实际氧化度是指样本元器件实际的氧化度。控制系统可以基于历史数据获取样本元器件的实际氧化度。

在一些实施例中，第五训练标签可按梯度设置。例如，第五训练样本对应的样本氧化度(实际氧化度)为5.5，对应的样本氧化概率标记为1；样本氧化度5.4、5.6与5.5均相差0.1，对应的样本氧化概率可以标记为0.9；样本氧化度5.3、5.7与5.5均相差0.2，对应的样本氧化概率可以标记为0.8；依此类推。即对于每组训练样本，实际氧化度对应的样本氧化概率标记为1，距离实际氧化度越远的氧化度，标记为越接近0的值。

在一些实施例中，可以将多个带有第五标签的第五训练样本输入初始氧化预测模型，通过第五标签和初始氧化预测模型的结果构建损失函数，基于损失函数通过梯度下降或其他方法迭代更新初始氧化预测模型的参数。当满足预设条件时模型训练完成，得到训练好的氧化预测模型。其中，预设条件可以是损失函数收敛、迭代的次数达到阈值等。

在本说明书一些实施例中，元器件的氧化具有一定的随机性，如果实际氧化度是5.5，在5.5附近的氧化度(如5.3、5.4)的氧化概率也很高。通过对第五训练标签设置梯度，可以提高第五训练标签的标注的准确性，进而提高训练得到的氧化预测模型预测的准确性。

在一些实施例中，控制系统可以基于训练得到的氧化预测模型预测元器件的氧化风险。

在本说明一些实施例中，通过氧化预测模型确定氧化风险，可以提高预测结果的准确性；通过概率和氧化度表示氧化风险，可以使预测结果更加精确，从而有利于后续对高氧化度的元器件及时进行处理。

在一些实施例中，氧化预测模型的输入还包括未来环境数据和未来加工参数。

未来环境数据是指将元器件焊接到电路板时的环境数据。例如，未来环境数据可以包括温度和湿度等。控制系统可以基于历史经验设置未来环境数据。

未来加工参数是指将元器件焊接到电路板的焊接参数。例如，未来加工参数可以包括焊接时所用的电流大小、焊接时长、焊接时的惰性气体氛围组成等。控制系统可以基于历史经验设置未来加工参数。

在一些实施例中，当氧化预测模型的输入包括未来环境数据和未来加工参数时，第五训练样本还可以包括样本元器件的未来环境数据和未来加工参数。

元器件后续集成加工焊接到电路板上时的环境和参数可能会加重氧化。例如，由于焊接到电路板时如果惰性气体氛围不足，可能会加重元器件的原本的氧化度。在本说明书一些实施例中，把未来环境数据和未来加工参数也加入氧化预测模型的输入中，预测元器件的氧化风险，可以进一步提高预测结果的准确性和可靠性，从而使向用户发送的提醒信息更加精确。

在一些实施例中，控制系统可以对多个未来氧化概率均低于概率阈值的元器件的未来氧化概率进行归零处理。

概率阈值是指是否对元器件的未来氧化概率进行归零处理的氧化概率的最大值。

在一些实施例中，控制系统可以基于监测准确度确定概率阈值。例如，监测准确度较低时，在基础概率阈值上降低概率阈值，使得元器件被判定为不会氧化的标准更严格。基础概率阈值是指概率阈值的基础参考值，可以基于经验设置。关于监测准确度的更多内容可以参见图1及相关说明。

归零处理是指将该元器件的所有氧化概率均调为0，即认为该元器件未来不会氧化。

按照上述氧化预测模型进行预测，对于每一个电子元器件都会输出0～1的未来氧化概率。但对于一些多个氧化程度对应的未来氧化概率都很低的电子元器件，可以认为其不会氧化。也即只有具有较高未来氧化概率的电子元器件才认为其会氧化。

对于监测准确度较低时，基于对应的监测参数判断的焊接质量就不够准确，使得通过氧化预测模型预测的氧化风险不够准确，实际氧化风险可能大于预测风险。调低概率阈值可以让判定电子元器件不会氧化的标准更严格，从而管控产品质量。

本说明书一些实施例提供了一种智能焊接检测方法，包括：通过摄像装置获取元器件的针脚的焊接图像数据；通过环境传感器获取元器件的焊接环境数据；基于焊接图像数据，评估针脚的焊接质量；基于焊接图像数据、焊接质量和焊接环境数据中的至少一种，评估元器件的氧化风险，更多内容可以参见图1至图3的相关描述。

本说明书一些实施例提供了一种计算机可读存储介质，存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如下指令中的至少一个：通过摄像装置获取元器件的针脚的焊接图像数据；通过环境传感器获取元器件的焊接环境数据；基于焊接图像数据，评估针脚的焊接质量；基于焊接图像数据、焊接质量和焊接环境数据中的至少一种，评估元器件的氧化风险。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (10)

1.一种智能焊接检测装置，其特征在于，包括摄像装置、环境传感器和处理器；

所述摄像装置被配置为获取元器件的针脚的焊接图像数据；

所述环境传感器被配置为获取所述元器件的焊接环境数据；

所述处理器被配置为：

基于所述焊接图像数据，评估所述针脚的焊接质量；

基于所述焊接图像数据、所述焊接质量和所述焊接环境数据中的至少一种，评估所述元器件的氧化风险。

2.如权利要求1所述的装置，其特征在于，还包括：重量测试部件，所述重量测试部件被配置为获取焊接后元器件的重量数据；

所述处理器进一步被配置为基于所述焊接图像数据和所述重量数据，确定所述焊接质量。

3.如权利要求2所述的装置，其特征在于，所述处理器进一步被配置为：

基于元器件信息和所述焊接环境数据，确定所述焊接质量的监测参数；

基于所述监测参数，控制所述重量测试部件获取所述重量数据的重量测试频率。

4.如权利要求1所述的装置，其特征在于，所述处理器进一步被配置为：

基于所述焊接图像数据，确定所述针脚的镀层数据；

基于所述镀层数据、所述元器件的周转信息、所述焊接质量和所述焊接环境数据中的至少一种，评估所述氧化风险。

5.一种智能焊接检测装置的控制系统，其特征在于，所述控制系统被配置为控制如权利要求1所述的装置的运行，包括：

通过摄像装置获取元器件的针脚的焊接图像数据；

通过环境传感器获取所述元器件的焊接环境数据；

基于所述焊接图像数据，评估所述针脚的焊接质量；

基于所述焊接图像数据、所述焊接质量和所述焊接环境数据中的至少一种，评估所述元器件的氧化风险。

6.如权利要求5所述的控制系统，其特征在于，所述控制系统进一步被配置为：

通过重量测试部件获取焊接后元器件的重量数据；

基于所述焊接图像数据和所述重量数据，确定所述焊接质量。

7.如权利要求6所述的控制系统，其特征在于，所述控制系统进一步被配置为：

基于元器件信息和所述焊接环境数据，确定所述焊接质量的监测参数；

基于所述监测参数，控制所述重量测试部件获取所述重量数据的重量测试频率。

8.如权利要求5所述的控制系统，其特征在于，所述控制系统进一步被配置为：

基于所述焊接图像数据，确定所述针脚的镀层数据；

基于所述镀层数据、所述元器件的周转信息、所述焊接质量和所述焊接环境数据中的至少一种，评估所述氧化风险。

9.一种智能焊接检测方法，其特征在于，包括：

通过摄像装置获取元器件的针脚的焊接图像数据；

通过环境传感器获取所述元器件的焊接环境数据；

基于所述焊接图像数据，评估所述针脚的焊接质量；

基于所述焊接图像数据、所述焊接质量和焊接环境数据中的至少一种，评估所述元器件的氧化风险。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行：

通过摄像装置获取元器件的针脚的焊接图像数据；

通过环境传感器获取所述元器件的焊接环境数据；

基于所述焊接图像数据，评估所述针脚的焊接质量；

基于所述焊接图像数据、所述焊接质量和焊接环境数据中的至少一种，评估所述元器件的氧化风险。