CN117656082A - 基于多模态大模型的工业机器人控制方法及装置 - Google Patents

Abstract

本发明公开了一种基于多模态大模型的工业机器人控制方法及装置，属于机器人技术领域。包括获取待装配设备的二维图像数据以及三维点云数据；根据所述二维图像数据以及所述三维点云数据，生成设备特征信息；将所述设备特征信息输入至控制模型中，以使所述控制模型确定装配工序信息，并根据所述装配工序信息输出控制指令，以使所述工业机器人根据所述控制指令抓取对应零部件对所述待装配设备进行装配；获取已装配设备上各零部件的装配结构特征，并将所述装配结构特征输入至所述控制模型，以使所述控制模型输出所述已装配设备对应的装配结果。因此，本发明使得工业机器人能够同时处理装配任务不同的各类设备，有效的提高工业机器人的灵活性。

Description

基于多模态大模型的工业机器人控制方法及装置

技术领域

本发明涉及机器人技术领域，尤其涉及一种基于多模态大模型的工业机器人控制方法及装置。

背景技术

随着机器人控制技术的成熟，工业机器人已经在制造业中得到了广泛应用，工业机器人是指应用在工程机械领域的多关节机械手或多自由度的机器装置，而在当前，工业机器人主要依靠预先设定的控制程序执行设备零部件的装配任务，因此在同一装配工序上，设备零部件的外形、参数、或装配要求等改变时，都需要专业人员人工调整其控制程序并进行多次调试，非常繁琐，因此只能根据装配操作，控制工业机器人分批次处理装配任务不同设备，导致目前工业机器人在设备装配领域的应用受到了很大的限制。

因此，如何提高工业机器人的灵活性，使得工业机器人能够适应各种设备复杂多样的装配任务，已成为当下亟需解决的问题。

发明内容

本发明实施例提供一种基于多模态大模型的工业机器人控制方法及装置，能有效提高工业机器人的灵活性，使得工业机器人能够适应各种设备复杂多样的装配任务。

本发明一实施例提供一种基于多模态大模型的工业机器人控制方法，包括：

获取待装配设备的二维图像数据以及三维点云数据；

根据所述二维图像数据以及所述三维点云数据，生成用于表征所述待装配设备的尺寸以及外形的设备特征信息；

将所述设备特征信息输入至用于控制工业机器人执行装配任务的控制模型中，以使所述控制模型确定用于所述待装配设备若干装配任务的装配工序信息，并根据所述装配工序信息输出用于控制所述工业机器人执行装配任务的控制指令，以使所述工业机器人根据所述控制指令抓取对应零部件对所述待装配设备进行装配；

获取已装配设备上各零部件的装配结构特征，并将所述装配结构特征输入至所述控制模型，以使所述控制模型输出所述已装配设备对应的装配结果；

其中，所述控制模型的构建，包括：

获取存储有各类设备的结构信息以及装配工序信息的设备信息数据库，存储有各类零部件的参数信息的零部件参数数据库，以及存储有若干用于控制所述工业机器人执行各类装配任务的控制指令的指令数据库；

根据所述设备信息数据库以及所述零部件参数数据库，构建各类设备的装配知识图谱；

通过所述装配知识图谱以及所述指令数据库对一基础大模型进行训练，获得所述控制模型。

进一步的，所述根据所述二维图像数据以及所述三维点云数据，生成用于表征所述待装配设备的尺寸以及外形的设备特征信息，包括：

提取所述二维图像数据的图像特征点，以及提取所述三维点云数据的点云特征点；

分别将所述图像特征以及所述点云特征进行特征匹配，生成二维特征点集合以及三维特征点集合；

根据所述二维特征点集合对所述二维图像数据进行对齐，以及根据所述三维特征点集合对所述三维点云数据进行对齐；

将对齐后的所述二维图像数据以及所述三维点云数据输入至预设的配准模型中，以使所述配准模型输出形变后的二维图像数据、形变后的三维点云数据、图像变形场以及点云变形场；

根据所述图像变形场以及所述点云变形场，对所述形变后的二维图像数据以及所述形变后的三维点云数据进行融合，输出所述用于表征所述待装配设备的尺寸以及外形的设备特征信息。

进一步的，所述配准模型，包括：图像配准子模型以及点云配准子模型；

所述配准模型的构建，包括：

获取若干设备的若干二维图像样本数据以及若干三维点云样本数据，并提取各设备对应的二维图像样本数据的图像样本特征以及三维点云样本数据的点云样本特征；

分别将各设备的所述图像样本特征以及所述点云样本特征进行特征匹配，生成各设备对应的二维特征点样本集合以及三维特征点样本集合；

根据各设备对应的所述二维特征点样本集合对所述二维图像样本数据进行对齐，以及根据各设备对应的所述三维特征点样本集合对所述三维点云样本数据进行对齐；

将若干设备对齐后的二维图像样本数据输入至所述图像配准子模型中，对所述图像配准子模型进行训练，以及将若干设备对齐后的三维点云样本数据输入至所述点云配准子模型中，对所述点云配准子模型进行训练；

在预设的损失函数收敛时，完成所述配准模型的训练；

其中，所述损失函数由所述图像配准子模型对应的第一子损失函数、所述点云配准子模型对应的第二子损失函数、约束图像变形场的第一正则化函数、约束点云变形场的第二正则化函数、以及图像变形场和点云变形场的一致性约束函数所构成。

进一步的，所述根据所述设备信息数据库以及所述零部件参数数据库，构建各类设备的装配任务的装配知识图谱，包括：

根据所述设备信息数据库中各类设备的结构信息以及装配工序信息进行数据建模以及业务抽象，构建一初始知识图谱；

根据每一装配工序信息，确定每一装配工序信息中各装配任务对应的零部件，并根据所述零部件参数数据库，确定各装配任务对应的零部件的参数信息；

根据每一装配工序信息以及每一装配工序信息中各装配任务对应的零部件的参数信息，对所述初始知识图谱进行填充，生成所述装配知识图谱。

进一步的，所述通过所述装配知识图谱以及所述指令数据库对一基础大模型进行训练，获得所述控制模型，包括：

通过所述装配知识图谱以及所述指令数据库训练所述基础大模型，以使所述基础大模型学习各类设备的结构信息、各类设备的装配工序信息中各装配任务的执行顺序、以及各装配任务对应的控制指令；

在所述基础大模型训练稳定时，获得所述控制模型。

进一步的，所述获取已装配设备上各零部件的装配结构特征，包括:

获取已装配设备各所述零部件安装位置的图像数据，以及所述工业机器人装配各所述零部件时的运行数据；

将所述图像数据以及所述运行数据分别进行高维数据转换，分别生成对应的高维图像数据以及高维运行数据，并对所述高维图像数据以及所述高维运行数据进行拼接，生成各零部件对应的装配数据；

对所述装配数据进行特征提取，生成已装配设备上各零部件对应的装配结构特征。

进一步的，所述控制模型输出所述已装配设备对应的装配结果，包括:

所述控制模型根据所述装配结构特征以及所述装配知识图谱，确定所述已装配设备上各零部件安装质量；

在确定存在一零部件的安装质量不达标时，根据安装质量不达标的零部件，生成对应的告警信息，并将所述告警信息作为所述装配结果进行输出；

在确定所述已装配设备上各零部件安装质量均达标时，生成用于表征所述已装配设备装配质量达标的装配结果并输出。

本发明另一实施例提供了一种基于多模态大模型的工业机器人控制装置，包括：

数据获取模块，用于获取待装配设备的二维图像数据以及三维点云数据；

特征提取模块，用于根据所述二维图像数据以及所述三维点云数据，生成用于表征所述待装配设备的尺寸以及外形的设备特征信息；

机器人控制模块，用于将所述设备特征信息输入至用于控制工业机器人执行装配任务的控制模型中，以使所述控制模型确定用于所述待装配设备若干装配任务的装配工序信息，并根据所述装配工序信息输出用于控制所述工业机器人执行装配任务的控制指令，以使所述工业机器人根据所述控制指令抓取对应零部件对所述待装配设备进行装配；

结果检验模块，用于获取已装配设备上各零部件的装配结构特征，并将所述装配结构特征输入至所述控制模型，以使所述控制模型输出所述已装配设备对应的装配结果；

其中，所述控制模型的构建，包括：

获取存储有各类设备的结构信息以及装配工序信息的设备信息数据库，存储有各类零部件的参数信息的零部件参数数据库，以及存储有若干用于控制所述工业机器人执行各类装配任务的控制指令的指令数据库；

根据所述设备信息数据库以及所述零部件参数数据库，构建各类设备的装配知识图谱；

通过所述装配知识图谱以及所述指令数据库对一基础大模型进行训练，获得所述控制模型。

通过实施本发明具有如下有益效果：

本发明提供了一种基于多模态大模型的工业机器人控制方法及装置，所述方法预先通过各类设备的装配知识图谱以及工业机器人的指令数据库训练一基础大模型，以使训练稳定后得到的控制模型能够根据待装配设备的设备特征信息，确定待装配设备所需的各项装配任务，并输出用于控制工业机器人执行各项装配任务的控制指令，以使工业机器人能够同时处理装配任务不同的各类设备，有效的提高工业机器人的灵活性。

附图说明

图1是本发明一实施例提供的一种基于多模态大模型的工业机器人控制方法的流程示意图。

图2是本发明一实施例提供的一种基于多模态大模型的工业机器人控制装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，是本发明一实施例提供的一种基于多模态大模型的工业机器人控制方法的流程示意图，包括：

S1、获取待装配设备的二维图像数据以及三维点云数据；

在本发明一优选的实施例中，以车辆发动机装配的应用场景为例对本发明的技术方案进行解释说明，在待装配的车身骨架运输至工业机器人所在工位并固定后，采用预先装载在多个角度的若干相机以及若干激光雷达探测器，对待装配的车身骨架进行拍摄以及探测。容易理解的是，在本实施例中，也可采用任意能够同时获取二维图像数据以及三维点云数据的采集装置，例如激光摄像机。

S2、根据所述二维图像数据以及所述三维点云数据，生成用于表征所述待装配设备的尺寸以及外形的设备特征信息；

在本发明一优选的实施例中，设备特征信息是指待装配的车身骨架外形结构以及尺寸的特征信息。因此，设备特征信息可用文字，三维模型，编码等形式进行表示。

优选的，所述根据所述二维图像数据以及所述三维点云数据，生成用于表征所述待装配设备的尺寸以及外形的设备特征信息，包括：

S21、提取所述二维图像数据的图像特征点，以及提取所述三维点云数据的点云特征点；

在本发明一优选的实施例中，采用PointNet网络对待装配车身骨架的若干三维点云数据进行特征提取。具体的，将三维点云数据输入至PointNet网络中，以使PointNet网络中的多层感知器（MLP）对三维点云数据进行特征提取，并输出每个点对应的特征向量，其中，各特征向量包含了对应点的空间位置、法向量、以及曲率等特征信息；将每个点对应的特征向量，从所述车身骨架的三维点云数据中筛选出高曲率点、边缘点和拐角点，作为各三维点云数据的若干特征点。

具体的，通过计算相邻点的法向量的变化，可以检测出边缘点和拐角点。具体的，当法线方向急剧变化时，确定该点为边缘点，而当法线方向在两个方向上发生近乎垂直的变化时，确定该点为拐角点。进一步，曲率表示点云数据在局部区域的形状变化程度。高曲率点通常对应于物体表面的曲率变化区域或特征结构。通过将各点的区域与预设的曲率阈值进行比对筛选出高曲率点。

进一步的，采用CNN卷积神经网络技术，预先训练出一能够用于对图像进行特征提取的神经网络模型，来对待装配车身骨架各个视角的二维图像进行特征提取，并输出各二维图像的若干角点作为各二维图像数据对应的若干特征点。

需要说明的是，在进行特征提取前，还采用高斯去噪，增强亮度，优化图像对比度等图像处理技术，对待装配车身骨架各个视角的二维图像进行图像增强。

具体的，训练所述神经网络模型，包括：获取若干车身骨架若干视角的二维样本图像，并进行角点标注，得到训练样本数据。构建一包含卷积层、池化层和全连接层结构的CNN神经网络模型，并使用训练样本数据训练所述CNN神经网络模型，以使模型在通过反向传播算法和优化器，不断调整模型的权重参数，以最小化预测角点位置与实际角点位置之间的误差。并在损失函数收敛稳定时，得到一用于能够用于对图像进行特征提取的神经网络模型。

S22、分别将所述图像特征以及所述点云特征进行特征匹配，生成二维特征点集合以及三维特征点集合；

在本发明一优选的实施例中，采用SIFT算法将从步骤S21中提取出的各二维图像的特征点进行匹配，形成由若干特征点对组成的二维特征点集合。具体的，对于每个提取出的特征点，使用SIFT算法中的尺度空间极值点检测方法来确定其位置和尺度信息，并为每个特征点分配一个主方向。继而根据各特征点的位置、尺度、方向和周围的像素强度等信息，生成各特征点对应的特征描述子。最终使用特征匹配算法对不同图像中的特征点的特征描述子，对不同图像中的特征点进行匹配，形成由若干特征点对组成的二维特征点集合。采用ICP算法将从步骤S21中提取出的各三维点云数据的特征点进行匹配，形成由若干特征点对组成的三维特征点集合。具体的，遍历各三维点云数据的特征点，并采用ICP算法将当前遍历的特征点与其他特征点进行匹配，具体的，计算当前遍历的特征点和其他特征点之间的距离、方向或法线等度量，以确定它们是否匹配。

S23、根据所述二维特征点集合对所述二维图像数据进行对齐，以及根据所述三维特征点集合对所述三维点云数据进行对齐；

在本发明一优选的实施例中，根据若干特征点对组成的二维特征点集合，可将各视角的二维图像进行对齐。根据若干特征点对组成的三维特征点集合，可将各角度的三维点云数据进行对齐。

S24、将对齐后的所述二维图像数据以及所述三维点云数据输入至预设的配准模型中，以使所述配准模型输出形变后的二维图像数据、形变后的三维点云数据、图像变形场以及点云变形场；

在本发明一优选的实施例中，为防止二维图像数据以及三维点云数据中存在遮挡、噪声干扰等问题，影响对齐后的所述二维图像数据以及所述三维点云数据的精度，预先训练出配准模型，用于提高二维图像数据以及三维点云数据的对齐精度，以进一步提高图像对齐以及点云对齐的鲁棒性。

优选的，所述配准模型，包括：图像配准子模型以及点云配准子模型；

所述配准模型的构建，包括：

S241、获取若干设备的若干二维图像样本数据以及若干三维点云样本数据，并提取各设备对应的二维图像样本数据的图像样本特征以及三维点云样本数据的点云样本特征；

S242、分别将各设备的所述图像样本特征以及所述点云样本特征进行特征匹配，生成各设备对应的二维特征点样本集合以及三维特征点样本集合；

S243、根据各设备对应的所述二维特征点样本集合对所述二维图像样本数据进行对齐，以及根据各设备对应的所述三维特征点样本集合对所述三维点云样本数据进行对齐；

S244、将若干设备对齐后的二维图像样本数据输入至所述图像配准子模型中，对所述图像配准子模型进行训练，以及将若干设备对齐后的三维点云样本数据输入至所述点云配准子模型中，对所述点云配准子模型进行训练；

S245、在预设的损失函数收敛时，完成所述配准模型的训练；

其中，所述损失函数由所述图像配准子模型对应的第一子损失函数、所述点云配准子模型对应的第二子损失函数、约束图像变形场的第一正则化函数、约束点云变形场的第二正则化函数、以及图像变形场和点云变形场的一致性约束函数所构成。

在本发明一优选的实施例中，第一子损失函数，为各角度的二维图像样本数据与对应的参考图像的图像距离，第二子损失函数为各角度的三维点云样本数据与对应的参考点云数据的点云距离。

S25、根据所述图像变形场以及所述点云变形场，对所述形变后的二维图像数据以及所述形变后的三维点云数据进行融合，输出所述用于表征所述待装配设备的尺寸以及外形的设备特征信息。

在本发明一优选的实施例中，根据所述图像变形场将所述形变后的二维图像数据的各像素点转换为三维空间坐标。根据所述点云变形场以及形变后的三维点云数据，将形变后的三维点云数据与二维图像各像素点的三维空间坐标在一预设的三维参考坐标系中对齐。在对齐后，通过搭载的三维建模软件得到待装配的车身骨架在的三维模型，根据所述三维模型输出待装配的车身骨架的外形结构以及尺寸。

S3、将所述设备特征信息输入至用于控制工业机器人执行装配任务的控制模型中，以使所述控制模型确定用于所述待装配设备若干装配任务的装配工序信息，并根据所述装配工序信息输出用于控制所述工业机器人执行装配任务的控制指令，以使所述工业机器人根据所述控制指令抓取对应零部件对所述待装配设备进行装配；

在本发明一优选的实施例中，所述控制模型为一基于Transformer结构的大模型。能够根据输入待装配车身骨架的设备特征信息，确定发动机、螺栓、螺母、垫圈等零部件的型号，并确定各零部件的装配顺序，继而对工业机器人输出对应的控制指令，以使工业机器人根据控制指令移动对应的抓取机械臂至预设位置抓取各零部件，并按照控制指令中的执行顺序，将发动机装配至车身骨架上。

容易理解的是，基于Transformer的编码器-解码器结构的大模型通过将自然语言句子编码为向量表示，然后将这些向量输入到解码器中进行生成代码。与机器翻译任务类似，模型使用自回归方式逐步构建完整的代码，每次生成一个代码语句，然后将其作为下一次生成的输入。

其中，所述控制模型的构建，包括：

S01、获取存储有各类设备的结构信息以及装配工序信息的设备信息数据库，存储有各类零部件的参数信息的零部件参数数据库，以及存储有若干用于控制所述工业机器人执行各类装配任务的控制指令的指令数据库；

S02、根据所述设备信息数据库以及所述零部件参数数据库，构建各类设备的装配知识图谱；

S021、根据所述设备信息数据库中各类设备的结构信息以及装配工序信息进行数据建模以及业务抽象，构建一初始知识图谱；

在本发明一优选的实施例中，将所述设备信息数据库中各类设备建模为业务实体，将装配任务建模为业务类型。继而先根据业务实体的结构进行抽象划分。具体的，根据车型例如，SUV、MPV、轿车、跑车等不同车型抽象为不同的分支，再根据各车型中各车辆型号的装配工序信息，例如：各装配任务的装配顺序，各零部件的安装步骤，各零部件的安装工艺等在各车型下进行细分抽象，构建出一初始知识图谱。

S022、根据每一装配工序信息，确定每一装配工序信息中各装配任务对应的零部件，并根据所述零部件参数数据库，确定各装配任务对应的零部件的参数信息；

S023、根据每一装配工序信息以及每一装配工序信息中各装配任务对应的零部件的参数信息，对所述初始知识图谱进行填充，生成所述装配知识图谱。

在本发明一优选的实施例中，根据每一装配工序信息以及每一装配工序信息中各装配任务对应的零部件的参数信息，对所述初始知识图谱进行填充，生成各类车辆的装配知识图谱，即装配知识图谱中任一分支均记载了一种车辆完整的装配工序，以及各装配工序所需的零部件以及具体的装配步骤。

S03、通过所述装配知识图谱以及所述指令数据库对一基础大模型进行训练，获得所述控制模型。

在本发明一优选的实施例中，基础大模型为基于Transformer结构的大模型。

所述通过所述装配知识图谱以及所述指令数据库对一基础大模型进行训练，获得所述控制模型，包括：

S031、通过所述装配知识图谱以及所述指令数据库训练所述基础大模型，以使所述基础大模型学习各类设备的结构信息、各类设备的装配工序信息中各装配任务的执行顺序、以及各装配任务对应的控制指令；

S032、在所述基础大模型训练稳定时，获得所述控制模型。

在本发明一优选的实施例中，基于基础大模型本身所具备的逻辑推理能力，只需将装配知识图谱以及所述指令数据库输出至基础大模型中进行无监督的训练即可。容易理解的是，当有新的装配设备时，只需更新原有的装配知识图谱对控制模型进行增量训练即可，无需大量的训练数据来对控制模型进行再训练。

S4、获取已装配设备上各零部件的装配结构特征，并将所述装配结构特征输入至所述控制模型，以使所述控制模型输出所述已装配设备对应的装配结果；

在本发明一优选的实施例中，已装配设备为待装配设备进行装配后，对应形成的设备，即已装配上发动机后的车身骨架。

优选的，所述获取已装配设备上各零部件的装配结构特征，包括:

S41、获取已装配设备各所述零部件安装位置的图像数据，以及所述工业机器人装配各所述零部件时的运行数据；

在本发明一优选的实施例中，通过装载在工业机器人机械臂上的摄像头，拍摄各所述零部件安装位置的图像，即固定发动机的各个螺栓的图像。所述运行数据，为工业机器人的装配机械臂拧紧螺栓时，机械臂的位置数据，机械臂的旋转参数，以及机械臂接触传感器的压力数据等等。

S42、将所述图像数据以及所述运行数据分别进行高维数据转换，分别生成对应的高维图像数据以及高维运行数据，并对所述高维图像数据以及所述高维运行数据进行拼接，生成各零部件对应的装配数据；

S43、对所述装配数据进行特征提取，生成已装配设备上各零部件对应的装配结构特征。

在本发明一优选的实施例中，同样采用CNN卷积神经网络技术，预先训练出一能够装配数据进行特征提取的神经网络模型，来对车身骨架上各零部件装配数据的进行特征提取，并输出各零部件对应的装配结构特征。

优选的，所述控制模型输出所述已装配设备对应的装配结果，包括:

S44、所述控制模型根据所述装配结构特征以及所述装配知识图谱，确定所述已装配设备上各零部件安装质量；

S45、在确定存在一零部件的安装质量不达标时，根据安装质量不达标的零部件，生成对应的告警信息，并将所述告警信息作为所述装配结果进行输出；

S46、在确定所述已装配设备上各零部件安装质量均达标时，生成用于表征所述已装配设备装配质量达标的装配结果并输出。

本发明实施例提供的一种基于多模态大模型的工业机器人控制方法，预先通过各类设备的装配知识图谱以及工业机器人的指令数据库训练一基础大模型，以使训练稳定后得到的控制模型能够根据待装配设备的设备特征信息，确定待装配设备所需的各项装配任务，并输出用于控制工业机器人执行各项装配任务的控制指令，以使工业机器人能够同时处理装配任务不同的各类设备，有效的提高工业机器人的灵活性。

参见图2，是本发明一实施例提供的一种基于多模态大模型的工业机器人控制装置的结构示意图，包括：

数据获取模块，用于获取待装配设备的二维图像数据以及三维点云数据；

特征提取模块，用于根据所述二维图像数据以及所述三维点云数据，生成用于表征所述待装配设备的尺寸以及外形的设备特征信息；

机器人控制模块，用于将所述设备特征信息输入至用于控制工业机器人执行装配任务的控制模型中，以使所述控制模型确定用于所述待装配设备若干装配任务的装配工序信息，并根据所述装配工序信息输出用于控制所述工业机器人执行装配任务的控制指令，以使所述工业机器人根据所述控制指令抓取对应零部件对所述待装配设备进行装配；

结果检验模块，用于获取已装配设备上各零部件的装配结构特征，并将所述装配结构特征输入至所述控制模型，以使所述控制模型输出所述已装配设备对应的装配结果；

其中，所述控制模型的构建，包括：

获取存储有各类设备的结构信息以及装配工序信息的设备信息数据库，存储有各类零部件的参数信息的零部件参数数据库，以及存储有若干用于控制所述工业机器人执行各类装配任务的控制指令的指令数据库；

根据所述设备信息数据库以及所述零部件参数数据库，构建各类设备的装配知识图谱；

通过所述装配知识图谱以及所述指令数据库对一基础大模型进行训练，获得所述控制模型。

本发明实施例提供的一种基于多模态大模型的工业机器人控制装置，预先通过各类设备的装配知识图谱以及工业机器人的指令数据库训练一基础大模型，以使训练稳定后得到的控制模型能够根据待装配设备的设备特征信息，确定待装配设备所需的各项装配任务，并输出用于控制工业机器人执行各项装配任务的控制指令，以使工业机器人能够同时处理装配任务不同的各类设备，有效的提高工业机器人的灵活性。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

所述领域的技术人员可以清楚地了解到，为了方便和简洁，上述描述的装置的具体工作过程，可参考前述方法实施例中对应的过程，在此不再赘述。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (8)

1.一种基于多模态大模型的工业机器人控制方法，其特征在于，包括：

获取待装配设备的二维图像数据以及三维点云数据；

根据所述二维图像数据以及所述三维点云数据，生成用于表征所述待装配设备的尺寸以及外形的设备特征信息；

将所述设备特征信息输入至用于控制工业机器人执行装配任务的控制模型中，以使所述控制模型确定用于所述待装配设备若干装配任务的装配工序信息，并根据所述装配工序信息输出用于控制所述工业机器人执行装配任务的控制指令，以使所述工业机器人根据所述控制指令抓取对应零部件对所述待装配设备进行装配；

获取已装配设备上各零部件的装配结构特征，并将所述装配结构特征输入至所述控制模型，以使所述控制模型输出所述已装配设备对应的装配结果；

其中，所述控制模型的构建，包括：

获取存储有各类设备的结构信息以及装配工序信息的设备信息数据库，存储有各类零部件的参数信息的零部件参数数据库，以及存储有若干用于控制所述工业机器人执行各类装配任务的控制指令的指令数据库；

根据所述设备信息数据库以及所述零部件参数数据库，构建各类设备的装配知识图谱；

通过所述装配知识图谱以及所述指令数据库对一基础大模型进行训练，获得所述控制模型。

2.如权利要求1所述的一种基于多模态大模型的工业机器人控制方法，其特征在于，所述根据所述二维图像数据以及所述三维点云数据，生成用于表征所述待装配设备的尺寸以及外形的设备特征信息，包括：

提取所述二维图像数据的图像特征点，以及提取所述三维点云数据的点云特征点；

分别将所述图像特征点以及所述图像特征点进行特征匹配，生成二维特征点集合以及三维特征点集合；

根据所述二维特征点集合对所述二维图像数据进行对齐，以及根据所述三维特征点集合对所述三维点云数据进行对齐；

将对齐后的所述二维图像数据以及所述三维点云数据输入至预设的配准模型中，以使所述配准模型输出形变后的二维图像数据、形变后的三维点云数据、图像变形场以及点云变形场；

根据所述图像变形场以及所述点云变形场，对所述形变后的二维图像数据以及所述形变后的三维点云数据进行融合，输出所述用于表征所述待装配设备的尺寸以及外形的设备特征信息。

3.如权利要求2所述的一种基于多模态大模型的工业机器人控制方法，其特征在于，所述配准模型，包括：图像配准子模型以及点云配准子模型；

所述配准模型的构建，包括：

获取若干设备的若干二维图像样本数据以及若干三维点云样本数据，并提取各设备对应的二维图像样本数据的图像样本特征点以及三维点云样本数据的点云样本特征点；

分别将各设备的所述图像样本特征点以及所述点云样本特征点进行特征匹配，生成各设备对应的二维特征点样本集合以及三维特征点样本集合；

根据各设备对应的所述二维特征点样本集合对所述二维图像样本数据进行对齐，以及根据各设备对应的所述三维特征点样本集合对所述三维点云样本数据进行对齐；

将若干设备对齐后的二维图像样本数据输入至所述图像配准子模型中，对所述图像配准子模型进行训练，以及将若干设备对齐后的三维点云样本数据输入至所述点云配准子模型中，对所述点云配准子模型进行训练；

在预设的损失函数收敛时，完成所述配准模型的训练；

其中，所述损失函数由所述图像配准子模型对应的第一子损失函数、所述点云配准子模型对应的第二子损失函数、约束图像变形场的第一正则化函数、约束点云变形场的第二正则化函数、以及图像变形场和点云变形场的一致性约束函数所构成。

4.如权利要求3所述的一种基于多模态大模型的工业机器人控制方法，其特征在于，所述根据所述设备信息数据库以及所述零部件参数数据库，构建各类设备的装配任务的装配知识图谱，包括：

根据所述设备信息数据库中各类设备的结构信息以及装配工序信息进行数据建模以及业务抽象，构建一初始知识图谱；

根据每一装配工序信息，确定每一装配工序信息中各装配任务对应的零部件，并根据所述零部件参数数据库，确定各装配任务对应的零部件的参数信息；

根据每一装配工序信息以及每一装配工序信息中各装配任务对应的零部件的参数信息，对所述初始知识图谱进行填充，生成所述装配知识图谱。

5.如权利要求4所述的一种基于多模态大模型的工业机器人控制方法，其特征在于，所述通过所述装配知识图谱以及所述指令数据库对一基础大模型进行训练，获得所述控制模型，包括：

通过所述装配知识图谱以及所述指令数据库训练所述基础大模型，以使所述基础大模型学习各类设备的结构信息、各类设备的装配工序信息中各装配任务的执行顺序、以及各装配任务对应的控制指令；

在所述基础大模型训练稳定时，获得所述控制模型。

6.如权利要求5所述的一种基于多模态大模型的工业机器人控制方法，其特征在于，所述获取已装配设备上各零部件的装配结构特征，包括:

获取已装配设备各所述零部件安装位置的图像数据，以及所述工业机器人装配各所述零部件时的运行数据；

将所述图像数据以及所述运行数据分别进行高维数据转换，分别生成对应的高维图像数据以及高维运行数据，并对所述高维图像数据以及所述高维运行数据进行拼接，生成各零部件对应的装配数据；

对所述装配数据进行特征提取，生成已装配设备上各零部件对应的装配结构特征。

7.如权利要求6所述的一种基于多模态大模型的工业机器人控制方法，其特征在于，所述控制模型输出所述已装配设备对应的装配结果，包括:

所述控制模型根据所述装配结构特征以及所述装配知识图谱，确定所述已装配设备上各零部件安装质量；

在确定存在一零部件的安装质量不达标时，根据安装质量不达标的零部件，生成对应的告警信息，并将所述告警信息作为所述装配结果进行输出；

在确定所述已装配设备上各零部件安装质量均达标时，生成用于表征所述已装配设备装配质量达标的装配结果并输出。

8.一种基于多模态大模型的工业机器人控制装置，其特征在于，包括：

数据获取模块，用于获取待装配设备的二维图像数据以及三维点云数据；

特征提取模块，用于根据所述二维图像数据以及所述三维点云数据，生成用于表征所述待装配设备的尺寸以及外形的设备特征信息；

机器人控制模块，用于将所述设备特征信息输入至用于控制工业机器人执行装配任务的控制模型中，以使所述控制模型确定用于所述待装配设备若干装配任务的装配工序信息，并根据所述装配工序信息输出用于控制所述工业机器人执行装配任务的控制指令，以使所述工业机器人根据所述控制指令抓取对应零部件对所述待装配设备进行装配；

结果检验模块，用于获取已装配设备上各零部件的装配结构特征，并将所述装配结构特征输入至所述控制模型，以使所述控制模型输出所述已装配设备对应的装配结果；

其中，所述控制模型的构建，包括：

获取存储有各类设备的结构信息以及装配工序信息的设备信息数据库，存储有各类零部件的参数信息的零部件参数数据库，以及存储有若干用于控制所述工业机器人执行各类装配任务的控制指令的指令数据库；

根据所述设备信息数据库以及所述零部件参数数据库，构建各类设备的装配知识图谱；

通过所述装配知识图谱以及所述指令数据库对一基础大模型进行训练，获得所述控制模型。