CN117621090A - 一种工业机器人的控制方法、系统及工业机器人 - Google Patents

Abstract

本发明涉及机器人控制技术领域，公开了一种工业机器人的控制方法、系统及工业机器人，包括基于大模型生成工业机器人的上层控制代码，并建立工业机器人的数字孪生模型；采用上层控制代码分别控制工业机器人和数字孪生模型执行产品装配任务，并同步采集工业机器人的第一姿态数据和数字孪生模型的第二姿态数据；将第一姿态数据和第二姿态数据相比较，根据姿态数据比较结果判断工业机器人是否存在故障；响应于不存在故障，将姿态数据比较结果输入大模型对上层控制代码进行调整。本发明将仿真视频和大模型相结合，通过数字孪生对机器人的行为进行监控，提高了模型对任务的理解能力和参数计算精度，提高了工业机器人的控制精度。

Description

一种工业机器人的控制方法、系统及工业机器人

技术领域

本发明涉及机器人控制技术领域，特别是涉及一种工业机器人的控制方法、系统及工业机器人。

背景技术

随着视觉-语言基础模型发展，它们在建模和对齐图像和文字表示方面具有优越的能力，通过使用多模态数据能够解决各种下游任务问题，目前，已经有将大型语言模型（LLMs）和视觉-语言模型（VLMs）作为高层规划者并纳入机器人系统中，并且具有出色的表现能力。

工业机器人是用于工业领域的多关节机械手或多自由度的机器装置，具有一定的自动性，可依靠自身的动力能源和控制能力实现各种工业加工制造功能。工业机器人与普通家用机器人的主要区别在于，相比较普通家用机器人更关注于指令的理解能力，工业机器人则更侧重于执行的精准度，即工业机器人需要保证任务执行的准确性，并且需要保证这种精准度是稳定的，而目前的基于大模型的机器人控制系统并不能满足工业机器人对于高精准度和高稳定性的要求。

发明内容

为了解决上述技术问题，本发明提供了一种工业机器人的控制方法、系统及工业机器人，以能够解决现有基于大模型的机器人控制系统无法满足工业机器人的高精准度要求的问题，达到工业机器人控制的高精准度和高稳定性，从而保证产品生产效率和生产质量的效果。

第一方面，本发明提供了一种工业机器人的控制方法，所述方法包括：

基于大模型生成工业机器人的上层控制代码，并建立工业机器人的数字孪生模型；

采用上层控制代码分别控制工业机器人和数字孪生模型执行产品装配任务，并同步采集工业机器人的第一姿态数据和数字孪生模型的第二姿态数据；

将所述第一姿态数据和所述第二姿态数据相比较，根据姿态数据比较结果判断工业机器人是否存在故障；

响应于不存在故障，将姿态数据比较结果输入大模型对上层控制代码进行调整，使用调整后的上层控制代码对工业机器人进行控制。

进一步地，所述基于大模型生成工业机器人的上层控制代码的步骤包括：

根据工业机器人的任务执行步骤，构建工业机器人的装配仿真视频，并采集工业机器人工作环境的环境视频；

对任务指令进行语义处理，得到任务问题特征，对所述环境视频和所述装配仿真视频分别进行视觉分析，得到环境特征和任务特征；

将任务问题特征、环境特征和任务特征进行融合，并将融合后的特征输入大模型进行任务规划，得到控制逻辑；

根据控制逻辑调用工业机器人的功能接口，生成上层控制代码。

进一步地，在所述根据控制逻辑调用工业机器人的功能接口，生成上层控制代码的步骤之后，还包括：

构建代码优化问题，采用强化学习对代码优化问题进行求解，得到最优控制代码。

进一步地，所述采用强化学习对代码优化问题进行求解，得到最优控制代码的步骤包括：

基于工业机器人的关节角度和运动轨迹定义动作空间和执行策略；

根据轨迹平滑度、任务执行时间和装配产品质量，构建奖励函数；

根据动作空间、执行策略和奖励函数对代码优化问题进行求解，得到最优控制代码。

进一步地，所述将所述第一姿态数据和所述第二姿态数据相比较，根据姿态数据比较结果判断工业机器人是否存在故障的步骤包括：

对所述第一姿态数据和所述第二姿态数据进行数据预处理，并计算预处理后的所述第一姿态数据和所述第二姿态数据之间的数据相似度；

判断所述数据相似度是否小于相似度阈值，若是，则将所述第一姿态数据和所述第二姿态数据输入故障检测模型进行故障检测，得到工业机器人的故障部位。

进一步地，所述对所述第一姿态数据和所述第二姿态数据进行数据预处理的步骤包括：

对所述第一姿态数据进行数据一致性校验和误差过滤；

将过滤后的所述第一姿态数据与所述第二姿态数据进行坐标匹配和数据对齐。

进一步地，所述将姿态数据比较结果输入大模型对上层控制代码进行调整的步骤包括：

采集产品在装配过程中的组件参数，根据所述组件参数判断组件是否满足参数要求；

响应于不满足参数要求，将姿态数据比较结果输入大模型对上层控制代码进行调整。

进一步地，所述采集产品在装配过程中的组件参数，根据所述组件参数判断组件是否满足参数要求的步骤包括：

采集工业机器人装配出的产品图像，并从所述产品图像中提取出组件参数特征；

从数字孪生模型中提取出模拟组件参数特征，将所述组件参数特征和所述模拟组件参数特征相比较，并根据参数特征比较结果判断装配出的产品是否满足参数要求。

第二方面，本发明提供了一种工业机器人的控制系统，所述系统包括：

代码模型生成模块，用于基于大模型生成工业机器人的上层控制代码，并建立工业机器人的数字孪生模型；

数据获取模块，用于采用上层控制代码分别控制工业机器人和数字孪生模型执行产品装配任务，并同步采集工业机器人的第一姿态数据和数字孪生模型的第二姿态数据；

数据比较模块，用于将所述第一姿态数据和所述第二姿态数据相比较，根据姿态数据比较结果判断工业机器人是否存在故障；

代码调整模块，用于响应于不存在故障，将姿态数据比较结果输入大模型对上层控制代码进行调整，使用调整后的上层控制代码对工业机器人进行控制。

第三方面，本发明实施例还提供了一种工业机器人，所述工业机器人采用如上所述的控制方法进行控制。

本发明提供了一种工业机器人的控制方法、系统及工业机器人。通过所述方法，本发明采用多模态大模型来生成工业机器人的控制逻辑，并结合装配仿真视频，使大模型学习到更多上下文信息，提高了模型对任务理解能力和参数计算的精度，从而提高了对工业机器人控制的精准度，并且利用了数字孪生技术对工业机器人的控制过程进行监控，并结合大模型对控制代码进行调整，提高了工业机器人的控制精度，保证了工业机器人能够稳定准确地执行任务，从而提高了工业机器人装配产品的生产效率和生产质量。

附图说明

图1是本发明实施例中工业机器人的控制方法的流程示意图；

图2是本发明实施例中工业机器人的控制系统的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明第一实施例提出的一种工业机器人的控制方法，其中，包括步骤S10~S40：

步骤S10，基于大模型生成工业机器人的上层控制代码，并建立工业机器人的数字孪生模型；

步骤S20，采用上层控制代码分别控制工业机器人和数字孪生模型执行产品装配任务，并同步采集工业机器人的第一姿态数据和数字孪生模型的第二姿态数据；

步骤S30，将所述第一姿态数据和所述第二姿态数据相比较，根据姿态数据比较结果判断工业机器人是否存在故障；

步骤S40，响应于不存在故障，将姿态数据比较结果输入大模型对上层控制代码进行调整，使用调整后的上层控制代码对工业机器人进行控制。

随着大语言模型LLM和视觉语言模型LVM的发展，通过将二者进行结合，可以采用多模态大模型对机器人进行控制，即利用LLM对任务指令进行推理给出机器人的一些有用的步骤，再用LVM接收的环境图像数据进行路径规划，但是常规的控制逻辑生成方式并不能适用于工业机器人领域，这是因为工业机器人尤其是装配机器人，其控制的精准度是与装配的产品质量直接相关的，因此工业机器人对于控制逻辑的精度具有极高的要求，为了满足这一要求，本发明将装配仿真视频与多模态大模型相结合，来生成工业机器人的上层控制代码，具体步骤包括：

步骤S101，根据工业机器人的任务执行步骤，构建工业机器人的装配仿真视频，并采集工业机器人工作环境的环境视频；

步骤S102，对任务指令进行语义处理，得到任务问题特征，对所述环境视频和所述装配仿真视频分别进行视觉分析，得到环境特征和任务特征；

步骤S103，将任务问题特征、环境特征和任务特征进行融合，并将融合后的特征输入大模型进行任务规划，得到控制逻辑；

步骤S104，根据控制逻辑调用工业机器人的功能接口，生成上层控制代码。

在本实施例中，首先根据装配工序即工业机器人的任务执行步骤，来生成对应的仿真视频，同时采集装配现场的环境视频，然后将仿真视频、环境视频以及任务指令作为多模态数据输入，模型可以从视频中提取视觉信息，包括零件的位置、形状和姿态、以及零件的组装工序和组装方法等，同时还从指令信息中推理出具体的操作要求和组装工序等信息，通过大语言模型与视觉语言模型的交互，生成基于机器人观察空间的一系列3D功能图和约束图，然后将功能图和约束图进行合成，作为运动规划者合成机器人操作轨迹的目标函数，这里需要注意的是，由于本实施例中在常规的视频输入中额外增加了装配仿真视频，仿真视频能够为大模型提供重要的关联和模式，包括特定物体在特定位置的装配方法，以及特定任务指令所对应的动作序列等内容，同时由于仿真模型是对装配产品步骤的完全仿真，因此除了装配工序和步骤之外，还可以从仿真视频中提取到对应的装配参数特征，这种装配参数的提取能够有效提高大模型在生成控制逻辑时的入参的精准度，也就是说，通过本发明提供的这种方式，可以使大模型学习装配任务的关联和模式，来生成更准确的控制逻辑，从而提高机器人的控制精度。

在生成控制逻辑之后，由于工业机器人对外提供了功能接口，也即功能函数API，多模态大模型可以根据控制逻辑来调用这些对外的API来生成工业机器人的上层控制代码，通过上层控制代码就可以实现对工业机器人的控制。

进一步地，为了提高工业级机器人的控制精度，本实施例通过强化学习对上层控制代码进行优化，即构建代码优化问题，采用强化学习对代码优化问题进行求解，得到最优控制代码，具体步骤包括：

基于工业机器人的关节角度和运动轨迹定义动作空间和执行策略；

根据轨迹平滑度、任务执行时间和装配产品质量，构建奖励函数；

根据动作空间、执行策略和奖励函数对代码优化问题进行求解，得到最优控制代码。

在本实施例中，强化学习的问题被定义为对上层控制代码进行优化，以使机器人的轨迹更加平滑，并在尽可能短的执行时间内完成任务同时保证任务的完成质量，状态空间的定义包括机器人的当前姿态、目标位置和环境条件，动作空间被定义为可供工业机器人选择的操作，在本实施例中动作空间被定义为工业机器人的各个关节的角度和运动轨迹也即连续运动的参数，机器人可以通过调整关节的角度或运动轨迹来执行不同的动作，同时基于动作空间定义机器人的执行策略以供机器人在这些执行策略中进行选择和调整。

本实施例中奖励函数的设计则包括三个部分，分别为轨迹平滑度、任务执行时间和装配产品质量，通过控制机器人运动轨迹的平滑程度，可以保证机器人运动持续性和稳定性，机器人流畅的操作不仅能够保证机器人装配的稳定性和准确性，而且能够有效减少机器人的使用损耗，提高使用寿命。因此，在本实施例中，对于轨迹中的不连续性或剧烈变化，通过奖励函数进行惩罚，具体的说，将测量轨迹中关节的角度和加速度的变化程度作为奖励函数的一部分，并通过惩罚项来使这些变化保持在一个较小的范围内；对于任务执行时间，则设置了一个基准执行时间，通过实际执行时间与基准执行时间的差异进行奖励或者惩罚，从而实现更短的任务执行时间；对于装配产品质量，则通过标准参数要求与装配参数要求之间的拟合度来设计奖励函数，同时对于这三种方面引入了权重值来调整不同因素的重要程度，以达到最优的控制策略，其中，采用如下公式表示奖励函数：

式中，s_t表示当前状态，a_t表示执行动作，SR表示轨迹平滑度，ET表示任务执行时间，QR表示装配产品质量，α、β和γ分别表示轨迹平滑度、任务执行时间和装配产品质量的权重值。需要说明的是，本发明可以采用现有的强化学习算法，比如深度Q网络、策略梯度、确定性策略梯度或者马尔科夫决策等算法进行强化学习，本发明并不做具体的限制，且算法的执行步骤可以参考常规的执行步骤，在此将不再一一赘述。

为了进一步地提高工业机器人的控制精准度，本发明还可以利用数字孪生技术对代码进行进一步地训练和优化，数字孪生是指先建立物理实体对应的数字孪生模型，然后利用物理实体的动作数据来改变数字孪生模型的状态，从而实现数字孪生模型跟随物理实体的状态的变化而变化的过程，在本实施例中首先建立基于工业机器人的数字孪生模型，然后通过上层控制代码控制数字孪生模型执行各种装配模拟任务，基于数字孪生模型构建的仿真环境能够提供准确的反馈和奖励信号，来指导机器人的学习过程，通过仿真模型的交互训练，可以优化控制策略，以适应装配任务的需求以及提升装配任务的效率和精确度。

在通过训练优化得到上层控制代码之后，就可以对工业机器人进行控制，为了实时监测工业机器人的状态和装配任务执行情况，本发明采用了数字孪生技术，常规的数字孪生模型都是采用实际机器人的传感器信息进行控制，即通过设置在工业机器人上的传感器来获取工业机器人的姿态数据，比如机器人的位姿、角度、速度以及加速度等姿态数据，然后根据获得的姿态数据对工业机器人对应的数字孪生模型的姿态进行改变，实现对工业机器人的数字孪生模拟，但是由于受到传感器精度的影响，以及传感器数据在传输过程中容易出现的数据异常或者数据丢失等问题，会导致数字孪生模型并不能实时准确的模拟工业机器人的行为，从而不能对工业机器人的代码和行为等进行准确判断，为了解决这一问题，本实施例采用了代码控制的方式对数字孪生模型进行同步控制。

具体的，采用大模型生成的上层控制代码对工业机器人和数字孪生模型进行同步控制，并且通过部署的传感器采集机器人的传感器数据，比如视觉传感器、力传感器、位置传感器等，根据传感器数据来获取工业机器人的第一姿态数据，包括关节角度、速度、加速度和运动轨迹等，同时获取数字孪生模型中机器人的第二姿态数据，然后根据两个姿态数据的比较结果来判断工业机器人是否存在故障，具体步骤则包括：

对所述第一姿态数据和所述第二姿态数据进行数据预处理，并计算预处理后的所述第一姿态数据和所述第二姿态数据之间的数据相似度；

判断所述数据相似度是否小于相似度阈值，若是，则将所述第一姿态数据和所述第二姿态数据输入故障检测模型进行故障检测，得到工业机器人的故障部位。

在本实施例中，姿态数据的准确性对于比对的结果至关重要，为此在将两种姿态数据进行比较之前，首先对传感器获取到的第一姿态数据进行预处理，由于存在传感器的精度、噪声干扰以及标定误差等因素的影响，在比对之前需要确保姿态数据的准确性和一致性，以避免出现比对结果的误差。对于传感器数据一致性的校验可以采用如哈希值、时间戳或者去重算法以及分布式一致性算法等来进行，同时通过与传感器标准数据的拟合来去除误差较大的数据，为了进一步地保证数据的准确性，在去除误差较大的数据之前，可以通过数据拟合等方法来确定传感器的工作状态，即判断是否存在精度较差或者故障的传感器，在确保传感器正常工作的前提下，才对传感器采集到的第一姿态数据进行误差过滤。

由于工业传感器与数字孪生模型可能使用不同的坐标系或者标定方法，对于一致性校验和误差过滤后的第一姿态数据和第二姿态数据还需要进行坐标转换，即将二者的数据转换为同一坐标系下，保证坐标系与标定参数的一致性，并且由于数字孪生模型生成的姿态数据和实际机器人采集的姿态数据可能存在时间上的偏差或延迟，因此在进行比对之前，还需要进行数据对齐，确保两者之间的时间同步或者进行插值处理，以便进行准确的比对分析，在经过数据预处理之后，就可以将第一姿态数据和第二姿态数据进行比对，来判断工业机器人是否存在故障。

在本实施例中，两种姿态数据的比对采用数据相似度的比对方法，比如欧式距离、余弦夹角等，优选的，本实施例中采用皮尔逊系数来表征两种姿态数据之间的相似性，然后判断二者的数据相似度是否满足预先设置的相似度阈值，如果不满足相似度阈值要求，则说明工业机器人可能存在故障问题，实际上，由于机器人在实际操作中可能会受到各种干扰和随机变化，如外部力的干扰、传感器噪声等，因此仅通过相似度阈值来进行比对的方式不能有效应对这些干扰和变化，因此在本实施例中，在相似度阈值的基础上，增加了故障检测模型来对姿态数据的差异做出进一步的分析，即通过模型来分析差异究竟是来自于机器人本身的特性、传感器的限制、环境条件的变化还是机器人故障等。本实施例的这种方式能够有效提高差异分析方法的容错性和鲁棒性，通过模型深入分析差异的原因，更好地理解机器人行为和性能，从而进行相应的改进或调整。本实施例中的故障检测模型采用神经网络模型进行构建，通过预先训练好的神经网络模型来判断工业机器人是否存在故障以及存在故障的部位是哪里，从而可以及时对机器人进行维护，以保证生产的效率和产品的质量。需要说明的是，故障检测模型可以采用深度卷积神经网络来构建，比如深度残差网络等，对于模型的构建以及训练过程将不再一一赘述。

在工业机器人不存在故障的情况下，对于两个姿态数据差异过大的情况，可以通过将二者的差异输入大模型中，通过多模态大模型对上层控制代码进行微调，从而提高工业机器人的控制精度。但是实际上每次代码的改动都必然对机器人的控制产生阶段性的影响，包括代码执行的安全性和稳定性的验证等，从而对流水线生产中的生产效率以及产品质量产生影响，因此对于工业机器人来说控制的稳定性也是极为重要的，对于稳定运行中的机器人来说应当尽量减少代码的改动，以保证生产效率。因此在本实施例中，在对代码调整之前还设计一个判断步骤，来降低代码调整的频率，其判断步骤包括：

采集产品在装配过程中的组件参数，根据所述组件参数判断组件是否满足参数要求；

响应于不满足参数要求，将姿态数据比较结果输入大模型对上层控制代码进行调整。

在本实施例中，通过采集装配过程中的组件参数来判断组装过程是否满足产品的参数要求，如果满足产品的参数要求，即使实际机器人与数字孪生模型的姿态数据差异过大，在该姿态数据下工业机器人仍然能够装配出符合要求的组件以及产品，因此也不需要对上次控制代码进行调整。如果装配过程的存在参数不满足要求或者即将不满足参数要求比如在参数阈值的边界附近的情况出现，才需要通过大模型来调整机器人的控制代码，而大模型的输入数据为二者的姿态数据的比较结果，即姿态数据的差异值，当然为了保证产品的质量，还可以将组件参数之间的差异与姿态数据的差异共同作为大模型的输入数据，使大模型对于控制代码的调整更加准确有效。其中，对于大模型的代码微调可以参考常规的代码调整过程，下面仅对组件参数的判断步骤进行说明，其判断步骤如下所示：

采集工业机器人装配出的产品图像，并从所述产品图像中提取出组件参数特征；

从数字孪生模型中提取出模拟组件参数特征，将所述组件参数特征和所述模拟组件参数特征相比较，并根据参数特征比较结果判断装配出的产品是否满足参数要求。

对于产品质量的检验，常规的方式是通过采集组装后的组件的参数与标准参数进行比对，从而判断组件产品是否合格，这种方式虽然可以对产品或者组件的参数进行检验，但是问题在于这种方法只能基于某个阶段已存在的组件来进行判断，需要根据组装步骤得到阶段性装配出的组件来设置标准组件参数，因此参数的比对也只能基于预设的各个标准组件参数来进行，对于装配过程中的非预设的组件或者组装过程中产生的零部件并不能进行合格性检验，为了对装配过程中各个时间段装配出的组件或者还未成形的组件能够进行更全面的检验，本实施例利用了上述的数字孪生模型并结合机器视觉技术进行组件参数的校验，具体的说，首先采集工业机器人装配出的产品图像，这里的产品图像不仅包括最终组装出的产品，也包括装配过程中各个阶段性的组件，以及各个组件进行装配过程中的任意的零件等，即并不需要设置具体的阶段性节点进行采集，而是可以实时或者随机的采集，根据采集的图像提取出对应的组件参数特征，由于装配的产品不同，其参数特征会有所不同，比如尺寸、重量、压力值、位姿等，在本实施例中，通过机器视觉来提取产品参数，比如通过摄像头或扫描设备对装配过程中的产品进行图像或点云的采集，然后使用图像处理和计算机视觉算法来提取产品的参数，如尺寸、形状、位置等。机器视觉可以应用于各种装配任务，如零部件定位、配对和质量检查等。其参数提取可以采用常规的图像处理方法，在此将不再赘述，同时基于不同的产品还可以基于部署的传感器提取如重量、压力等物理值数据来共同组成组件参数特征序列，以便于后续的比对分析。

相应的，从数字孪生模型中提取出相对应的模拟组件参数特征，由于数字孪生模型是与工业机器人采用同一控制代码进行同步控制的，且在上述的上层控制代码的生成过程中，将装配仿真视频作为了多模态数据输入，来生成针对标准装配过程的控制代码，理论上说，该控制代码控制下的工业机器人的装配过程必然是标准的装配过程，因此基于数字孪生模型模拟的产品装配过程中产生的组件参数也应当是标准组件参数，通过将提出的组件参数特征与模拟组件参数特征进行比较，比如通过计算两组参数的相似度，从而判断出工业机器人装配出的产品是否满足参数要求，也即是否能够达到产品质量的要求。如果满足质量要求，即使实际姿态数据和模拟姿态数据之间有一定的差异，也可以先不进行控制代码的调整，如果不满足质量要求，或者即将不满足质量要求，比如相似度在阈值范围的端点附近，此时则需要通过姿态数据的差异和/或组件参数的差异，通过大模型对控制代码进行调整，以提高工业机器人的控制精度，从而保证装配产品的生产效率和产品质量。

本实施例中通过将采集图像中提取的组件参数与数字孪生模型中提取出的组件参数进行比较来判断产品是否满足参数要求的方法能够有效克服现有的参数判断方法只能基于某几个阶段性的标准组件参数来判断而无法对整个装配过程中任意时间点的产品结构进行校验的问题，通过对装配过程进行阶段性的采集、实时采集或者随机采集，能够全面校验装配过程的任意时刻的产品质量，保证了产品在整个装配过程中都能满足参数要求，从而进一步确保了最终成品的质量。

本实施例提供的一种工业机器人的控制方法，本发明采用多模态大模型来生成工业机器人的控制逻辑，并结合装配仿真视频，使大模型学习到更多上下文信息，提高了模型对于任务的理解能力和参数计算的精度，从而提高了对工业机器人的控制精度，同时利用了数字孪生技术对工业机器人的控制过程进行监控，通过姿态数据对工业机器人的行为进行监控，并通过采集的组件参数与模拟组件参数，对工业机器人装配过程中的产品质量进行监控，全面有效地保证了装配产品的质量要求，进一步地本发明根据姿态数据和产品参数的比较结果，结合大模型对控制代码进行调整，提高了工业机器人的控制精度，保证了工业机器人能够稳定准确地执行任务，从而提高了工业机器人装配产品的生产效率和生产质量。

请参阅图2，基于同一发明构思，本发明第二实施例提出的一种工业机器人的控制系统，包括：

代码模型生成模块10，用于基于大模型生成工业机器人的上层控制代码，并建立工业机器人的数字孪生模型；

数据获取模块20，用于采用上层控制代码分别控制工业机器人和数字孪生模型执行产品装配任务，并同步采集工业机器人的第一姿态数据和数字孪生模型的第二姿态数据；

数据比较模块30，用于将所述第一姿态数据和所述第二姿态数据相比较，根据姿态数据比较结果判断工业机器人是否存在故障；

代码调整模块40，用于响应于不存在故障，将姿态数据比较结果输入大模型对上层控制代码进行调整，使用调整后的上层控制代码对工业机器人进行控制。

本发明实施例提出的工业机器人的控制系统的技术特征和技术效果与本发明实施例提出的方法相同，在此不予赘述。上述工业机器人的控制系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

此外，本发明实施例还提出一种工业机器人，所述工业机器人采用如上所述的控制方法进行控制。

综上，本发明实施例提出的一种工业机器人的控制方法、系统及工业机器人，所述方法通过基于大模型生成工业机器人的上层控制代码，并建立工业机器人的数字孪生模型；采用上层控制代码分别控制工业机器人和数字孪生模型执行产品装配任务，并同步采集工业机器人的第一姿态数据和数字孪生模型的第二姿态数据；将所述第一姿态数据和所述第二姿态数据相比较，根据姿态数据比较结果判断工业机器人是否存在故障；响应于不存在故障，将姿态数据比较结果输入大模型对上层控制代码进行调整，使用调整后的上层控制代码对工业机器人进行控制。本发明采用多模态大模型来生成工业机器人的控制逻辑，并结合装配仿真视频，使大模型学习到更多上下文信息，提高了模型对任务的理解能力和参数计算的精度，从而提高了对工业机器人控制的精准度，并且利用了数字孪生技术对工业机器人的控制过程进行监控，通过姿态数据对工业机器人的行为进行监控，并通过采集的组件参数与模拟组件参数对工业机器人装配过程的中的产品质量进行监控，全面有效地保证了装配产品的质量要求，同时本发明根据姿态数据和产品参数的比较结果，结合大模型对控制代码进行调整，提高了工业机器人的控制精度，保证了工业机器人能够稳定准确地执行任务，从而提高了工业机器人装配产品的生产效率和生产质量。

本说明书中的各个实施例均采用递进的方式描述，各个实施例直接相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。需要说明的是，上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种优选实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本申请的保护范围。因此，本申请专利的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种工业机器人的控制方法，其特征在于，所述方法包括：

基于大模型生成工业机器人的上层控制代码，并建立工业机器人的数字孪生模型；

采用上层控制代码分别控制工业机器人和数字孪生模型执行产品装配任务，并同步采集工业机器人的第一姿态数据和数字孪生模型的第二姿态数据；

将所述第一姿态数据和所述第二姿态数据相比较，根据姿态数据比较结果判断工业机器人是否存在故障；

响应于不存在故障，将姿态数据比较结果输入大模型对上层控制代码进行调整，使用调整后的上层控制代码对工业机器人进行控制。

2.根据权利要求1所述的工业机器人的控制方法，其特征在于，所述基于大模型生成工业机器人的上层控制代码的步骤包括：

根据工业机器人的任务执行步骤，构建工业机器人的装配仿真视频，并采集工业机器人工作环境的环境视频；

对任务指令进行语义处理，得到任务问题特征，对所述环境视频和所述装配仿真视频分别进行视觉分析，得到环境特征和任务特征；

将任务问题特征、环境特征和任务特征进行融合，并将融合后的特征输入大模型进行任务规划，得到控制逻辑；

根据控制逻辑调用工业机器人的功能接口，生成上层控制代码。

3.根据权利要求2所述的工业机器人的控制方法，其特征在于，在所述根据控制逻辑调用工业机器人的功能接口，生成上层控制代码的步骤之后，还包括：

构建代码优化问题，采用强化学习对代码优化问题进行求解，得到最优控制代码。

4.根据权利要求3所述的工业机器人的控制方法，其特征在于，所述采用强化学习对代码优化问题进行求解，得到最优控制代码的步骤包括：

基于工业机器人的关节角度和运动轨迹定义动作空间和执行策略；

根据轨迹平滑度、任务执行时间和装配产品质量，构建奖励函数；

根据动作空间、执行策略和奖励函数对代码优化问题进行求解，得到最优控制代码。

5.根据权利要求1所述的工业机器人的控制方法，其特征在于，所述将所述第一姿态数据和所述第二姿态数据相比较，根据姿态数据比较结果判断工业机器人是否存在故障的步骤包括：

对所述第一姿态数据和所述第二姿态数据进行数据预处理，并计算预处理后的所述第一姿态数据和所述第二姿态数据之间的数据相似度；

判断所述数据相似度是否小于相似度阈值，若是，则将所述第一姿态数据和所述第二姿态数据输入故障检测模型进行故障检测，得到工业机器人的故障部位。

6.根据权利要求5所述的工业机器人的控制方法，其特征在于，所述对所述第一姿态数据和所述第二姿态数据进行数据预处理的步骤包括：

对所述第一姿态数据进行数据一致性校验和误差过滤；

将过滤后的所述第一姿态数据与所述第二姿态数据进行坐标匹配和数据对齐。

7.根据权利要求1所述的工业机器人的控制方法，其特征在于，所述将姿态数据比较结果输入大模型对上层控制代码进行调整的步骤包括：

采集产品在装配过程中的组件参数，根据所述组件参数判断组件是否满足参数要求；

响应于不满足参数要求，将姿态数据比较结果输入大模型对上层控制代码进行调整。

8.根据权利要求7所述的工业机器人的控制方法，其特征在于，所述采集产品在装配过程中的组件参数，根据所述组件参数判断组件是否满足参数要求的步骤包括：

采集工业机器人装配出的产品图像，并从所述产品图像中提取出组件参数特征；

从数字孪生模型中提取出模拟组件参数特征，将所述组件参数特征和所述模拟组件参数特征相比较，并根据参数特征比较结果判断装配出的产品是否满足参数要求。

9.一种工业机器人的控制系统，其特征在于，所述系统包括：

代码模型生成模块，用于基于大模型生成工业机器人的上层控制代码，并建立工业机器人的数字孪生模型；

数据获取模块，用于采用上层控制代码分别控制工业机器人和数字孪生模型执行产品装配任务，并同步采集工业机器人的第一姿态数据和数字孪生模型的第二姿态数据；

数据比较模块，用于将所述第一姿态数据和所述第二姿态数据相比较，根据姿态数据比较结果判断工业机器人是否存在故障；

代码调整模块，用于响应于不存在故障，将姿态数据比较结果输入大模型对上层控制代码进行调整，使用调整后的上层控制代码对工业机器人进行控制。

10.一种工业机器人，其特征在于，所述工业机器人采用如权利要求1至8中任一项所述的方法进行控制。