CN113319462B - 一种基于边云协同的焊接机器人管控方法和装置 - Google Patents

Abstract

本发明公开了一种基于边云协同的焊接机器人管控方法和装置，应用于边缘端，边缘端分别与云端以及多个焊接机器人通信连接，方法包括：响应接收到的用户指令，控制多个焊接机器人执行焊接操作；当焊接操作完成后，获取焊缝图像；根据焊缝图像进行焊缝缺陷检测，生成焊缝缺陷信息；发送焊缝缺陷信息至云端，使得云端基于焊缝缺陷信息返回对应的焊接控制指令。从而通过边云协同的方式，提高对焊接过程所产生的数据处理效率，降低焊接质量受人为因素的影响，提高检测精确度，从而减少经济损失。

Description

一种基于边云协同的焊接机器人管控方法和装置

技术领域

本发明涉及焊缝缺陷检测技术领域，尤其涉及一种基于边云协同的焊接机器人管控方法和装置。

背景技术

随着科学技术的进步，在制造业领域，焊接技术的应用也越来越广泛，焊接智能化技术水平也越来越高，实现焊接产品制造的自动化、柔性化与智能化已经成为必然趋势，采用机器人焊接已经成为焊接技术自动化的未来趋势。

现有的焊接机器人管控方法通常是由监控客户端通过移动网络或者工业以太网，再通过安全网关连接交换机，交换机通过信号线直接或通过应用服务器连接被监控的设备底层、液晶看板、工位一体机和数据服务器，最后通过人工或X射线成像技术基于监控客户端获取到的图像确定焊接质量。

但物联网技术的快速发展及超级城市群体的形成，其生产模式正逐渐从多品种小批量向个性定制化或大规模个性定制化方向发展，上述管控方法无法及时处理海量数据，且在焊缝缺陷检测的过程容易受到人为因素的影响，导致检测精确度降低，进而使得焊接机器人的控制精度受限，带来经济损失。

发明内容

本发明提供了一种基于边云协同的焊接机器人管控方法和装置，解决了现有的焊接机器人管控方法的数据处理效率较低，且对焊接质量的检测过程容易受到人为因素影响，导致检测精确度降低以及焊接机器人的控制精度受限，容易造成经济损失的技术问题。

本发明提供的一种基于边云协同的焊接机器人管控方法，应用于边缘端，所述边缘端分别与云端以及多个焊接机器人通信连接，所述方法包括：

响应接收到的用户指令，控制多个所述焊接机器人执行焊接操作；

当所述焊接操作完成后，获取焊缝图像；

根据所述焊缝图像进行焊缝缺陷检测，生成焊缝缺陷信息；

发送所述焊缝缺陷信息至所述云端，使得所述云端基于所述焊缝缺陷信息返回对应的焊接控制指令。

可选地，每个所述焊接机器人均设有焊缝检测设备；所述当所述焊接操作完成后，获取焊缝图像的步骤，包括：

当所述焊接操作完成后，通过所述焊缝检测设备采集焊缝图像；

接收多个所述焊接机器人通过时敏网络上传的所述焊缝图像。

可选地，所述根据所述焊缝图像进行焊缝缺陷检测，生成焊缝缺陷信息的步骤，包括：

对所述焊缝图像进行图像预处理，得到预处理图像；

从所述预处理图像中提取焊缝特征；

根据预设的多个特征类别对所述焊缝特征进行归类，确定所述焊缝特征对应的焊缝缺陷信息。

可选地，所述根据预设的多个特征类别对所述焊缝特征进行归类，确定所述焊缝特征对应的焊缝缺陷信息的步骤，包括：

计算所述焊缝特征与首个所述特征类别所包含的多个特征矩阵之间的平均距离；

若所述平均距离小于预设类别阈值，则将所述焊缝特征对应的焊缝缺陷信息确定为所述特征类别；

若所述平均距离大于或等于所述预设类别阈值，则获取下一个所述特征类别作为首个所述特征类别，跳转执行所述计算所述焊缝特征与首个所述特征类别所包含的多个特征矩阵之间的平均距离的步骤；

当全部所述平均距离均大于或等于所述预设类别阈值时，根据接收到的类别判断信息，确定所述焊缝特征对应的焊缝缺陷信息确定为新增类别。

可选地，所述云端内置有云端数据库和可视化云管理器；

所述云端还用于基于所述焊缝缺陷信息对所述云端数据库进行更新，并通过所述可视化云管理器接收基于所述焊缝缺陷信息输入的所述焊接控制指令。

本发明还提供了一种基于边云协同的焊接机器人管控装置，应用于边缘端，所述边缘端分别与云端以及多个焊接机器人通信连接，所述装置包括：

焊接控制模块，用于响应接收到的用户指令，控制多个所述焊接机器人执行焊接操作；

焊缝图像获取模块，用于当所述焊接操作完成后，获取焊缝图像；

焊缝缺陷信息生成模块，用于根据所述焊缝图像进行焊缝缺陷检测，生成焊缝缺陷信息；

焊接控制反馈模块，用于发送所述焊缝缺陷信息至所述云端，使得所述云端基于所述焊缝缺陷信息返回对应的焊接控制指令。

可选地，每个所述焊接机器人均设有焊缝检测设备；所述焊缝图像获取模块，包括：

图像采集子模块，用于当所述焊接操作完成后，通过所述焊缝检测设备采集焊缝图像；

图像接收子模块，用于接收多个所述焊接机器人通过时敏网络上传的所述焊缝图像。

可选地，所述焊缝缺陷信息生成模块，包括：

图层预处理子模块，用于对所述焊缝图像进行图像预处理，得到预处理图像；

焊缝特征提取子模块，用于从所述预处理图像中提取焊缝特征；

焊缝特征分类子模块，用于根据预设的多个特征类别对所述焊缝特征进行归类，确定所述焊缝特征对应的焊缝缺陷信息。

可选地，所述焊缝特征分类子模块，具体用于：

计算所述焊缝特征与首个所述特征类别所包含的多个特征矩阵之间的平均距离；

若所述平均距离小于预设类别阈值，则将所述焊缝特征对应的焊缝缺陷信息确定为所述特征类别；

若所述平均距离大于或等于所述预设类别阈值，则获取下一个所述特征类别作为首个所述特征类别，跳转执行所述计算所述焊缝特征与首个所述特征类别所包含的多个特征矩阵之间的平均距离的步骤；

当全部所述平均距离均大于或等于所述预设类别阈值时，根据接收到的类别判断信息，确定所述焊缝特征对应的焊缝缺陷信息确定为新增类别。

可选地，所述云端内置有云端数据库和可视化云管理器；

所述云端还用于基于所述焊缝缺陷信息对所述云端数据库进行更新，并通过所述可视化云管理器接收基于所述焊缝缺陷信息输入的所述焊接控制指令。

从以上技术方案可以看出，本发明具有以下优点：

本发明通过边缘端响应于云端下发的用户指令，控制多个焊接机器人执行焊接操作；当焊接操作完成后，边缘端通过时敏网络控制焊接机器人从焊接物体表面获取到焊缝信息，根据焊缝信息进行焊缝缺陷检测，以生成各个焊缝所对应的焊缝缺陷信息；最后将焊缝缺陷信息通过5G通信发送至云端，使得云端能够基于焊缝指令信息返回对应的焊接控制指令，完成对焊接机器人的实时管控，从而通过边云协同的方式，提高对焊接过程所产生的数据处理效率，降低焊接质量受人为因素的影响，提高检测精确度，从而减少经济损失。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例一提供的一种基于边云协同的焊接机器人管控方法的步骤流程图；

图2为本发明实施例二提供的一种基于边云协同的焊接机器人管控方法的步骤流程图；

图3为本发明实施例二的一种边云协同的焊接机器人实时管控架构图；

图4为本发明实施例三提供的一种基于边云协同的焊接机器人管控装置的结构框图。

具体实施方式

本发明实施例提供了一种基于边云协同的焊接机器人管控方法和装置，用于解决现有的焊接机器人管控方法的数据处理效率较低，且对焊接质量的检测过程容易受到人为因素影响，导致检测精确度降低以及焊接机器人的控制精度受限，容易造成经济损失的技术问题。

随着5G时代的到来和“工业4.0”的提出，边缘计算技术以及云计算技术的迅猛发展，越来越多的学者和研究人员致力于将边缘计算平台和云计算平台进行整合，实现“边云一体化”。在边云协同技术的驱动下，边缘端可灵活调整生产计划，支持快速部署新流程，智能工厂可依托云端处理大量数据，为生产调度和市场需求预测提供数据基础。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，图1为本发明实施例一提供的一种基于边云协同的焊接机器人管控方法的步骤流程图。

本发明提供的一种基于边云协同的焊接机器人管控方法，应用于边缘端，边缘端分别与云端以及多个焊接机器人通信连接，方法包括：

步骤101，响应接收到的用户指令，控制多个焊接机器人执行焊接操作；

边云协同指的是运用边缘端强大的算力实时检测焊接质量，再通过5G汇聚到云端数据库中，数据将被用于改造焊接流程、智能决策和智能化焊接。

在本发明实施例中，通过边缘端接收到用户指令，经时敏网络控制多个焊接机器人对物体执行焊接操作，实现对焊接机器人的实时控制以及对物体的焊接。

步骤102，当焊接操作完成后，获取焊缝图像；

当焊接操作完成后，可以通过焊接机器人获取在焊接物体上的焊缝图像。

值得一提的是，为使边缘端能顺利获取到焊缝图像，焊接机器人可以在焊接操作完成时，发送对应的完成标志至边缘端，以准备获取当前的焊缝图像。

步骤103，根据焊缝图像进行焊缝缺陷检测，生成焊缝缺陷信息；

在边缘端通过时敏网络获取到焊接机器人上传的焊缝图像后，可以基于焊缝图像进行焊缝缺陷检测，以确定焊接机器人焊接质量，生成对应的焊缝缺陷信息。

步骤104，发送焊缝缺陷信息至云端，使得云端基于焊缝缺陷信息返回对应的焊接控制指令。

为便于后续技术人员对焊缝质量的监管，在生成焊缝缺陷信息后，可以通过5G通信发送焊缝缺陷信息至云端，以便云端能够基于该焊缝缺陷信息对内置的数据库进行更新，同时便于用户基于该焊缝缺陷信息返回对应的焊接控制指令。

其中，焊接控制指令用于控制焊接机器人，以修复焊缝缺陷信息所反映的焊接问题。

在本发明实施例中，通过边缘端响应于云端下发的用户指令，控制多个焊接机器人执行焊接操作；当焊接操作完成后，边缘端通过时敏网络控制焊接机器人从焊接物体表面获取到焊缝信息，根据焊缝信息进行焊缝缺陷检测，以生成各个焊缝所对应的焊缝缺陷信息；最后将焊缝缺陷信息通过5G通信发送至云端，使得云端能够基于焊缝指令信息返回对应的焊接控制指令，完成对焊接机器人的实时管控，从而通过边云协同的方式，提高对焊接过程所产生的数据处理效率，降低焊接质量受人为因素的影响，提高检测精确度，从而减少经济损失。

请参阅图2，图2为本发明实施例二提供的一种基于边云协同的焊接机器人管控方法的步骤流程图。

本发明提供的一种基于边云协同的焊接机器人管控方法，应用于边缘端，边缘端分别与云端以及多个焊接机器人通信连接，方法包括：

步骤201，响应接收到的用户指令，控制多个焊接机器人执行焊接操作；

边云协同指的是运用边缘端强大的算力实时检测焊接质量，再通过5G汇聚到云端数据库中，数据将被用于改造焊接流程、智能决策和智能化焊接。

在本发明实施例中，通过边缘端接收到用户指令，经时敏网络控制多个焊接机器人对物体执行焊接操作，实现对焊接机器人的实时控制以及对物体的焊接。

值得一提的是，边缘端可以为工控机，工控机可以通过时敏网络连接多个焊接机器人以实现对焊接机器人的实时控制，还可以通过时敏网络接收焊缝检测设备反馈的焊缝图像。

步骤202，当焊接操作完成后，获取焊缝图像；

可选地，多个焊接机器人均设有焊缝检测设备，步骤202可以包括以下子步骤：

当焊接操作完成后，通过焊缝检测设备采集焊缝图像；

接收多个焊接机器人通过时敏网络上传的焊缝图像。

在本实施例中，当焊接操作完成后，可以通过焊接机器人上设置的焊缝检测设备采集焊接物体的焊缝图像，并通过时敏网络上传至边缘端，以提供后续焊缝缺陷检测的数据基础。

时敏网络指的是时间敏感网络(TSN：Time Sensitive Networking)，是IEEE802.1工作组中的TSN任务组正在开发的一套协议标准。该标准定义了以太网数据传输的时间敏感机制，为标准以太网增加了确定性和可靠性，以确保以太网能够为关键数据的传输提供稳定一致的服务级别。

在具体实现中，面向工业制造的焊接机器人，需要实时检测或实时反馈焊接质量的状态，传统网络很难实现。时敏网络通过构建一个统一的物理层和数据链路层协议，在各个领域都能够同构运行，提供实时的数据传输。工业网络的互联互通和实时控制需求，目前是制约多机器人，多设备之间协同技术的关键。以EtherCAT为基础，融合时间敏感网络与工业以太网，实现工业机器人实时管控系统。使用LabView系统设计软件来设计工业控制器，使之保持与网络的时间同步并将该时间传输给在实时处理器和FPGA上运行的代码。工业控制器集成支持TSN的网络适配器，当工业机器人、加工设备信息更新变化时会直接传输给TSN交换机并同时共享给网络中的其他TSN交换机传输到各个控制器。通过集成时间同步、流量控制、路径控制和管理机制等多个方面，对工业以太网协议进行一定程度上的优化，在不同层面上保证数据在网络中传输的确定性时延，同时保证对非时间敏感数据传输的兼容，能够提供具有有界低延时、低抖动、极低数据丢失率的高可靠数据传输能力。

其中，焊缝检测设备可以为双目摄像头，通过双目摄像头获取到焊缝的二维图像，并计算得到焊缝对应的三维图像信息，以使焊缝缺陷检测结果更为准确。

步骤203，对焊缝图像进行图像预处理，得到预处理图像；

在本发明实施例中，当边缘端接收焊缝图像后，可以通过对焊缝图像进行图像滤波、图像增强以及图像分割等图像预处理，以实现对焊缝图像的降噪，从中凸显更为有用的焊缝信息特征并将焊缝信息特征对应的区域进行划分截取。

在焊接工艺中，由于焊件拼装制造的复杂程度和焊接环境等不确定因素的存在，易出现含有焊瘤、气孔和飞溅等缺陷的焊缝，因此，需对焊件的成形焊缝进行焊接质量检测。

步骤204，从预处理图像中提取焊缝特征；

在具体实现中，从预处理图像中提取焊缝特征的过程可以如下：

将预处理图像作为一个p*q的图像样本矩阵X(i)，通过泛化与协方差的方法得到q*q的协方差矩阵G_t，最终通过近似估计的方法得到q*1的估计向量矩阵v(n)，具体算法实现过程如下：

设X(i)(i＝1,2,...,n)为p*q的图像样本矩阵，协方差矩阵G_t为：

其中，

u(i)代表焊缝表面图像样本矩阵的中心化样本。然后把公式①②改写为增量式：

其中，u(i-1)为前i-1个样本的中心化样本。

为均值差向量，β为均值差向量更新系数，m为均值差向量更新的焊缝表面缺陷图像样本数，有公式：

λα＝G_tα        ⑤

其中，λ为协方差矩阵G_t的特征值，α为对应特征向量，

设中间变量v＝λα，由于λ＝||v||，α＝v/||v||，则

由此，式⑥再经过泛化和引入遗忘参数，最后改写为增量式可得：

由此，式⑦为一阶的特征向量，其他高阶的公式可通过式⑧得出

其中，U_i+1为第n个预处理图像内的第i+1个特征向量的输入，

为第n个预处理图像内的第i+1个特征向量的均值差向量。初始时U₁(n)＝U(1)。

迭代出其前k个高阶特征向量，得到估计的投影矩阵为：

将图像样本矩阵X(i)投影到投影矩阵

上，得到p*k大小的特征矩阵Y作为焊缝特征：

步骤205，根据预设的多个特征类别对焊缝特征进行归类，确定焊缝特征对应的焊缝缺陷信息；

在具体实现中，可以将上述得到的焊缝特征转换为一维行向量的形式，再采用预训练好的分类器进行焊缝质量的分类识别，利用焊缝特征与当前特征类别内的各个特征矩阵之间的差异程度，即重构误差，来监测是否存在新增类别的输入，基于类间类内距离来监测已知类别的焊缝新位姿的出现。

进一步地，步骤205可以包括以下子步骤S1-S4：

S1、计算焊缝特征与首个特征类别所包含的多个特征矩阵之间的平均距离；

在本发明的一个示例中，可以按照特征类别的排序，逐一计算焊缝特征与每个特征类别所包含的多个特征矩阵之间的平均距离，以确定焊缝特征所属的焊缝缺陷信息。

在具体实现中，平均距离可以通过以下过程进行计算：

每个特征类别存在多幅M*N的特征矩阵X₁，X₂，...X_K，通过将焊缝特征Y放入到该特征类别中暂时作为新的特征类别，分别计算每个特征矩阵X_b与其他特征矩阵X_a之间的平均距离计算过程可以如公式⑨：

其中，X_a(i,j)和X_b(i,j)为特征类别内任两个特征矩阵第i行第j列的像素灰度值。

类别内任意两个特征矩阵的平均距离计算过程如公式⑩：

由于是特征类别内的每个特征矩阵作一一对比，所以计算同一特征类别的平均距离，其存在

因此焊缝特征与该特征类别的平均距离可以化简为：

其中，M与p数量上相等，N与k数量上相等。

S2、若平均距离小于预设类别阈值，则将焊缝特征对应的焊缝缺陷信息确定为特征类别；

在本发明实施例中，在计算焊缝特征与各个特征类别的平均距离过程中，若是平均距离小于预设类别阈值，则表明焊缝特征对应的焊缝指令信息确定为该特征类别。

其中，特征类别可以包括合格类、焊瘤类、气孔类和裂纹类等，本发明实施例对特征类别的具体分类不作限制。

S3、若平均距离大于或等于预设类别阈值，则获取下一个特征类别作为首个特征类别，跳转执行计算焊缝特征与首个特征类别所包含的多个特征矩阵之间的平均距离的步骤。

在本实施例中，若是平均距离大于或等于预设类别阈值，则获取下一个特征类别作为首个特征类别，跳转执行步骤S1，继续计算焊缝特征与该特征类别的平均距离，继续比较平均距离是否小于预设类别阈值，直至全部特征类别的平均距离计算完毕。

S4、当全部平均距离均大于或等于预设类别阈值时，根据接收到的类别判断信息，确定焊缝特征对应的焊缝缺陷信息确定为新增类别。

在本发明的一个示例中，当全部平均距离均大于或等于预设类别阈值时，表明此时的焊缝特征无法归类到任一个特征类别，此时可以接收用户输入的类别判断信息，确定该焊缝特征对应的焊缝缺陷信息为新增类别。

可选地，在构建新增类别之前，还可以在云端提供重新归类选项，由用户对该焊缝特征进行原特征类别的归类。

步骤206，发送焊缝缺陷信息至云端，使得云端基于焊缝缺陷信息返回对应的焊接控制指令。

在本发明实施例中，在得到焊缝缺陷信息后，可以通过5G通信发送该信息至云端，以使云端能够基于该焊缝指令信息返回对应的焊接控制指令。

可选地，云端内置有云端数据库和可视化云管理器；

云端还用于基于焊缝缺陷信息对云端数据库进行更新，并通过可视化云管理器接收基于焊缝缺陷信息输入的焊接控制指令。

在具体实现中，云端在获取到边缘端发送的焊缝缺陷信息后，可以对内置的云端数据库进行更新，例如焊缝缺陷信息若是已有的特征类别，则可以将其并入到云端数据库内的该特征类别中，以得到新的焊缝位姿；若是焊缝缺陷信息为新增类别，则可以在云端数据库新增特征类别，以构建更为完整的焊缝缺陷图像数据库。

而且云端还可以内置连接有可视化云管理器，以便于用户能够基于焊缝缺陷信息进行焊接控制指令的输入，且通过边云协同的方式迅速下发至焊接机器人，实现对焊接机器人的实时控制。

请参照图3，图3示出了本发明实施例二中的一种边云协同的焊接机器人实时管控架构图。

其中包括云端301、边缘端302、焊接机器人303、焊缝检测设备304、云端数据库305和可视化云管理器306。

当焊接机器人303完成边缘端302通过时敏网络下发的用户指令，对物体进行焊接后，通过焊缝检测设备304获取焊缝图像，并通过时敏网络反馈焊缝图像到边缘端302，通过边缘端302进行焊缝缺陷检测，生成焊缝缺陷信息后，通过5G通信发送至云端301进行进一步的数据分析，以更新云端数据库305；并通过云端连接的可视化云管理器306进行焊缝缺陷信息的显示，使得用户能够基于焊缝缺陷信息进行焊接控制指令的进一步下发。

云端使用了新一代的MPP并行数据库集群作为大数据处理平台的核心，可以实现对海量数据的存储、集成和分析等操作，支持在线查询、实时交互分析、异构数据处理、高频历史数据融合探索、可视化数据展现，在关联分析、分类算法、聚类算法、时序分析和决策树等通用分析挖掘算法的基础上，构建机器人焊接及检测领域专业的基本算法模型库。利用统计分析、深度学习等理论方法，设计领域专业知识的获取、表示、关联方法，深度挖掘领域相关的工艺、管控等知识，使得工业大数据的分析结果能够满足高置信度的要求。

在本发明实施例中，通过边缘端响应于云端下发的用户指令，控制多个焊接机器人执行焊接操作；当焊接操作完成后，边缘端通过时敏网络控制焊接机器人从焊接物体表面获取到焊缝信息，根据焊缝信息进行焊缝缺陷检测，以生成各个焊缝所对应的焊缝缺陷信息；最后将焊缝缺陷信息通过5G通信发送至云端，使得云端能够基于焊缝指令信息返回对应的焊接控制指令，完成对焊接机器人的实时管控，从而通过边云协同的方式，提高对焊接过程所产生的数据处理效率，降低焊接质量受人为因素的影响，提高检测精确度，从而减少经济损失。

请参照图4，图4示出了本发明实施例三中的一种基于边云协同的焊接机器人管控装置的结构框图。

本发明还提供了一种基于边云协同的焊接机器人管控装置，应用于边缘端，边缘端分别与云端以及多个焊接机器人通信连接，装置包括：

焊接控制模块401，用于响应接收到的用户指令，控制多个焊接机器人执行焊接操作；

焊缝图像获取模块402，用于当焊接操作完成后，获取焊缝图像；

焊缝缺陷信息生成模块403，用于根据焊缝图像进行焊缝缺陷检测，生成焊缝缺陷信息；

焊接控制反馈模块404，用于发送焊缝缺陷信息至云端，使得云端基于焊缝缺陷信息返回对应的焊接控制指令。

可选地，每个焊接机器人均设有焊缝检测设备；焊缝图像获取模块402，包括：

图像采集子模块，用于当焊接操作完成后，通过焊缝检测设备采集焊缝图像；

图像接收子模块，用于接收多个焊接机器人通过时敏网络上传的焊缝图像。

可选地，焊缝缺陷信息生成模块403，包括：

图层预处理子模块，用于对焊缝图像进行图像预处理，得到预处理图像；

焊缝特征提取子模块，用于从预处理图像中提取焊缝特征；

焊缝特征分类子模块，用于根据预设的多个特征类别对焊缝特征进行归类，确定焊缝特征对应的焊缝缺陷信息。

可选地，焊缝特征分类子模块，具体用于：

计算焊缝特征与首个特征类别所包含的多个特征矩阵之间的平均距离；

若平均距离小于预设类别阈值，则将焊缝特征对应的焊缝缺陷信息确定为特征类别；

若平均距离大于或等于预设类别阈值，则获取下一个特征类别作为首个特征类别，跳转执行计算焊缝特征与首个特征类别所包含的多个特征矩阵之间的平均距离的步骤；

当全部平均距离均大于或等于预设类别阈值时，根据接收到的类别判断信息，确定焊缝特征对应的焊缝缺陷信息确定为新增类别。

可选地，云端内置有云端数据库和可视化云管理器；

云端还用于基于焊缝缺陷信息对云端数据库进行更新，并通过可视化云管理器接收基于焊缝缺陷信息输入的焊接控制指令。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于边云协同的焊接机器人管控方法，其特征在于，应用于边缘端，所述边缘端分别与云端以及多个焊接机器人通信连接，所述方法包括：

响应接收到的用户指令，控制多个所述焊接机器人执行焊接操作；

当所述焊接操作完成后，获取焊缝图像；

根据所述焊缝图像进行焊缝缺陷检测，生成焊缝缺陷信息；

发送所述焊缝缺陷信息至所述云端，使得所述云端基于所述焊缝缺陷信息返回对应的焊接控制指令；

所述根据所述焊缝图像进行焊缝缺陷检测，生成焊缝缺陷信息的步骤，包括：

对所述焊缝图像进行图像预处理，得到预处理图像；

从所述预处理图像中提取焊缝特征；

根据预设的多个特征类别对所述焊缝特征进行归类，确定所述焊缝特征对应的焊缝缺陷信息；

所述根据预设的多个特征类别对所述焊缝特征进行归类，确定所述焊缝特征对应的焊缝缺陷信息的步骤，包括：

计算所述焊缝特征与首个所述特征类别所包含的多个特征矩阵之间的平均距离；

若所述平均距离小于预设类别阈值，则将所述焊缝特征对应的焊缝缺陷信息确定为所述特征类别；

若所述平均距离大于或等于所述预设类别阈值，则获取下一个所述特征类别作为首个所述特征类别，跳转执行所述计算所述焊缝特征与首个所述特征类别所包含的多个特征矩阵之间的平均距离的步骤；

当全部所述平均距离均大于或等于所述预设类别阈值时，根据接收到的类别判断信息，确定所述焊缝特征对应的焊缝缺陷信息为新增类别；

其中，所述焊接控制指令用于控制所述焊接机器人，以修复所述焊缝缺陷信息所反映的焊接问题。

2.根据权利要求1所述的基于边云协同的焊接机器人管控方法，其特征在于，每个所述焊接机器人均设有焊缝检测设备；所述当所述焊接操作完成后，获取焊缝图像的步骤，包括：

当所述焊接操作完成后，通过所述焊缝检测设备采集焊缝图像；

接收多个所述焊接机器人通过时敏网络上传的所述焊缝图像。

3.根据权利要求1-2任一项所述的于边云协同的焊接机器人管控方法，其特征在于，所述云端内置有云端数据库和可视化云管理器；

所述云端还用于基于所述焊缝缺陷信息对所述云端数据库进行更新，并通过所述可视化云管理器接收基于所述焊缝缺陷信息输入的所述焊接控制指令。

4.一种基于边云协同的焊接机器人管控装置，其特征在于，应用于边缘端，所述边缘端分别与云端以及多个焊接机器人通信连接，所述装置包括：

焊接控制模块，用于响应接收到的用户指令，控制多个所述焊接机器人执行焊接操作；

焊缝图像获取模块，用于当所述焊接操作完成后，获取焊缝图像；

焊缝缺陷信息生成模块，用于根据所述焊缝图像进行焊缝缺陷检测，生成焊缝缺陷信息；

焊接控制反馈模块，用于发送所述焊缝缺陷信息至所述云端，使得所述云端基于所述焊缝缺陷信息返回对应的焊接控制指令；

所述焊缝缺陷信息生成模块，包括：

图层预处理子模块，用于对所述焊缝图像进行图像预处理，得到预处理图像；

焊缝特征提取子模块，用于从所述预处理图像中提取焊缝特征；

焊缝特征分类子模块，用于根据预设的多个特征类别对所述焊缝特征进行归类，确定所述焊缝特征对应的焊缝缺陷信息；

所述焊缝特征分类子模块，具体用于：

计算所述焊缝特征与首个所述特征类别所包含的多个特征矩阵之间的平均距离；

若所述平均距离小于预设类别阈值，则将所述焊缝特征对应的焊缝缺陷信息确定为所述特征类别；

若所述平均距离大于或等于所述预设类别阈值，则获取下一个所述特征类别作为首个所述特征类别，跳转执行所述计算所述焊缝特征与首个所述特征类别所包含的多个特征矩阵之间的平均距离的步骤；

当全部所述平均距离均大于或等于所述预设类别阈值时，根据接收到的类别判断信息，确定所述焊缝特征对应的焊缝缺陷信息为新增类别；

其中，所述焊接控制指令用于控制所述焊接机器人，以修复所述焊缝缺陷信息所反映的焊接问题。

5.根据权利要求4所述的基于边云协同的焊接机器人管控装置，其特征在于，每个所述焊接机器人均设有焊缝检测设备；所述焊缝图像获取模块，包括：

图像采集子模块，用于当所述焊接操作完成后，通过所述焊缝检测设备采集焊缝图像；

图像接收子模块，用于接收多个所述焊接机器人通过时敏网络上传的所述焊缝图像。

6.根据权利要求4-5任一项所述的于边云协同的焊接机器人管控装置，其特征在于，所述云端内置有云端数据库和可视化云管理器；

所述云端还用于基于所述焊缝缺陷信息对所述云端数据库进行更新，并通过所述可视化云管理器接收基于所述焊缝缺陷信息输入的所述焊接控制指令。

Images