CN117270832A - 一种机器指令的生成方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种机器指令的生成方法、装置、电子设备及存储介质。涉及工业互联网智能制造技术领域，该方法包括：获取装配信息，并将装配信息输入第一预设模型中，确定工艺步骤，其中，装配信息包括装配文本和装配图纸，工艺步骤以自然语言的形式表示；根据工艺步骤和与装配图纸关联的工艺知识图谱，确定工艺文本；将工艺文本输入第二预设模型中，生成机器指令，其中，机器指令以计算机语言的形式表示。本发明提供的方案能够实现对装配信息的全自动解析，同时提升装配系统的柔性程度，并且引入工艺知识图谱构造固定模式的工艺文本，约束了模型的思考和推理能力，从而保证了生成的机器指令的准确性，以提升装配工作的流畅度。

Description

一种机器指令的生成方法、装置、电子设备及存储介质

技术领域

本发明涉及工业互联网智能制造技术领域，尤其涉及一种机器指令的生成方法、装置、电子设备及存储介质。

背景技术

随着第四次工业革命的兴起以及数字世界与物理世界的深度融合，实现能够自行优化和实时适应的柔性装配系统是智慧工厂未来发展的趋势。柔性装配系统具有自动化、可移动、数字化等特点，能够有效降低生产成本，提高装配效率。

目前，柔性装配系统多以针对规则的专家系统为主，即仅能利用既定的专家知识进行推理，这无疑限制了装配生产线的柔性程度，无法快速适应当今产品个性化时代的生产订单批次多、批量少等亟待解决的个性化需求定制问题。另外，在读取装配图纸时，现有的柔性装配系统往往需要依赖于人工参与，阻碍了装配生产线的自动化发展。

发明内容

本发明提供了一种机器指令的生成方法、装置、电子设备及存储介质，能够实现对装配信息的全自动解析，同时提升装配系统的柔性程度，并且引入工艺知识图谱构造固定模式的工艺文本，约束了模型的思考和推理能力，从而保证了生成的机器指令的准确性，以提升装配工作的流畅度。

根据本发明的一方面，提供了一种机器指令的生成方法，包括：

获取装配信息，并将装配信息输入第一预设模型中，确定工艺步骤，其中，装配信息包括装配文本和装配图纸，工艺步骤以自然语言的形式表示；

根据工艺步骤和与装配图纸关联的工艺知识图谱，确定工艺文本；

将工艺文本输入第二预设模型中，生成机器指令，其中，机器指令以计算机语言的形式表示。

可选的，在生成机器指令后，还包括：

控制装配设备执行机器指令，以完成装配工作。

可选的，获取装配信息，并将装配信息输入第一预设模型中，确定工艺步骤，包括：

采集用户输入的语音信息，并基于语音识别算法将语音信息转换为文本信息；

根据文本信息，确定装配文本和装配图纸；

将装配文本和装配图纸输入第一预设模型进行解析，确定工艺步骤。

可选的，根据工艺步骤和与装配图纸关联的工艺知识图谱，确定工艺文本，包括：

对工艺步骤进行拆解，得到若干个工艺动作和动作拓扑，其中，动作拓扑用于指示各工艺动作在工艺步骤中的位置和依存关系；

根据工艺知识图谱，确定各工艺动作对应的动作文本；

将各工艺动作对应的动作文本按照动作拓扑进行组合，得到工艺文本。

可选的，工艺步骤包括工艺要求，工艺知识图谱包括基础图谱和封装函数；

对于任意一个工艺动作，根据工艺知识图谱，确定工艺动作对应的动作文本，包括：

根据基础图谱，确定工艺动作的工件特征和装配特征，其中，工件特征和装配特征一一对应；

以工艺要求为约束条件，根据封装函数，确定工艺动作的控制参数；

根据工件特征、装配特征和控制参数，确定工艺动作对应的动作文本。

可选的，第一预设模型为多模态模型，第二预设模型为单模态模型；

第二预设模型的输入端设置有基元函数库，基元函数库包括若干个指令函数，指令函数以计算机语言的形式表示，计算机语言包括机器语言、汇编语言、高级语言和专用语言中的至少之一。

可选的，将工艺文本输入第二预设模型中，生成机器指令，包括：

根据工艺文本和基元函数库，构造模型提示词；

将模型提示词输入第二预设模型中，生成机器指令。

根据本发明的另一方面，提供了一种机器指令的生成装置，包括：信息获取模块，步骤确定模块，文本确定模块和指令生成模块；

信息获取模块，用于获取装配信息，其中，装配信息包括装配文本和装配图纸；

步骤确定模块，用于将装配信息输入第一预设模型中，确定工艺步骤，其中，工艺步骤以自然语言的形式表示；

文本确定模块，用于根据工艺步骤和与装配图纸关联的工艺知识图谱，确定工艺文本；

指令生成模块，用于将工艺文本输入第二预设模型中，生成机器指令，其中，机器指令以计算机语言的形式表示。

根据本发明的另一方面，提供了一种电子设备，电子设备包括：

至少一个处理器；以及

与至少一个处理器通信连接的存储器；其中，

存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器能够执行本发明任一实施例的机器指令的生成方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使处理器执行时实现本发明任一实施例的机器指令的生成方法。

本发明实施例的技术方案，通过将获取到的装配信息输入第一预设模型中，确定工艺步骤；再根据工艺步骤和与装配图纸关联的工艺知识图谱，确定工艺文本；最终将工艺文本输入第二预设模型中，生成机器指令。由于工艺步骤是通过第一预设模型确定的，不再依靠人工经验，从而解放了人力，实现了装配文本和装配图纸的全自动解析。同时，在将以自然语言的形式表示的工艺步骤转换为以计算机语言的形式表示的机器指令的过程中引入第二预设模型，解决了现有技术仅能利用既定的专家知识进行推理的问题，提升了装配系统的柔性程度。另外，为了第二预设模型能够顺利工作，本发明根据工艺步骤和工艺知识图谱构造固定模式的工艺文本，同时约束了第二预设模型的思考和推理能力，避免了由于模型本身的幻想特性而容易生成错误指令的问题，从而保证了生成的机器指令的准确性，以提升装配工作的流畅度。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的一种机器指令的生成方法的流程示意图；

图2是本发明实施例一提供的一种大规模语言模型的架构图；

图3是本发明实施例一提供的另一种机器指令的生成方法的流程示意图；

图4是本发明实施例二提供的一种机器指令的生成方法的流程示意图；

图5是本发明实施例二提供的一种确定工艺步骤的示意图；

图6是本发明实施例二提供的一种前后法兰装配的工艺知识图谱的局部示意图；

图7是本发明实施例二提供的一种确定工艺文本的示意图；

图8是本发明实施例三提供的一种机器指令的生成装置的结构示意图；

图9是本发明实施例三提供的另一种机器指令的生成装置的结构示意图；

图10是本发明实施例四提供的一种电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一：

图1是本发明实施例一提供的一种机器指令的生成方法的流程示意图，本实施例可适用于为装配设备生成可执行的机器指令的情况，装配设备是装配系统中用于执行装配工作的设备。该方法可以由机器指令的生成装置来执行，该机器指令的生成装置可以采用硬件和/或软件的形式实现，该机器指令的生成装置可配置于电子设备（如计算机、处理器或者服务器）中。示例性的，该电子设备可以集成在装配系统里。如图1所示，该方法包括：

S110、获取装配信息，并将装配信息输入第一预设模型中，确定工艺步骤，其中，装配信息包括装配文本和装配图纸，工艺步骤以自然语言的形式表示。

本发明提供的机器指令的生成方法可以适用于各种装配系统，如柔性装配系统。装配系统可以具有通过感知和交互与环境进行实时互动的能力（又称为具身智能能力），以完成用户的装配需求，通常，一个装配需求包括一个或多个装配方案。例如用户的装配需求为装配洗衣机，由于洗衣机包括电磁阀、电动机、离合器等多个部件，每个部件都需要先单独装配后再进行组装，一个部件对应一个装配方案，因此，装配洗衣机的装配需求就包括了多个装配方案。

装配信息是基于装配方案确定的信息。装配信息包括装配文本和装配图纸，通常装配文本和装配图纸是一一对应的。装配文本用于描述装配方案，可以是装配方案的简略描述信息或者详细描述信息，装配图纸是表达装配方案所涉及的工件的工作原理、运动方式、工件间的连接及装配关系的图样。

在一种可能的实现方式中，机器指令的生成装置内可以预设有多个数据对，每个数据对包括一个装配文本和一个装配图纸。获取装配信息的方法可以是由用户进行选择，将用户选择的一个数据对作为装配信息。

在另一种可能的实现方式中，机器指令的生成装置内可以预设有多个数据对，每个数据对包括一个装配文本和一个装配图纸。获取装配信息的方法可以是接收用户输入的文本指令/语音指令，根据文本指令/语音指令查找与文本指令/语音指令相似度最高的一个装配文本，并将该装配文本对应的数据对作为装配信息。

在又一种可能的实现方式中，获取装配信息的方法可以包括：采集用户输入的语音信息，并基于语音识别算法将所述语音信息转换为文本信息；根据所述文本信息，确定所述装配文本和所述装配图纸。

在一实施例中，为了实现装配信息的全自动解析，本发明预先训练有第一预设模型。将装配信息作为第一预设模型的输入，经过第一预设模型的解析和推理，输出工艺步骤，从而实现了装配图纸到工艺步骤的自动转化，为产线自动化提供了有力支持。其中，工艺步骤以自然语言的形式表示。

具体的，将所述装配信息输入第一预设模型中，确定工艺步骤的方法可以包括：将所述装配文本和装配图纸输入所述第一预设模型进行解析，确定所述工艺步骤。

由于装配文本是文本类数据、装配图纸是图像类数据，二者属于不同类型的数据，因此，为了保证第一预设模型输出结果的准确度，第一预设模型采用多模态模型。多模态模型是一种能够处理多种类型数据（如文本、图像、音频和视频）的人工智能模型，其目标是通过结合不同类型的数据来提供更全面、更准确的信息。在本发明中，多模态模型可以为任意开源或者可供调用接口的大规模语言模型（Large Language Model）。

S120、根据工艺步骤和与装配图纸关联的工艺知识图谱，确定工艺文本。

由于装配工作具有其专业领域术语的特殊性，通过步骤S110确定的工艺步骤无法直接被装配设备执行，因此还需要将以自然语言的形式表示的工艺步骤转换为以计算机语言的形式表示的机器指令。在转换的过程中，为了解决现有技术仅能利用既定的专家知识进行推理的问题，本发明采用第二预设模型，而工艺步骤同样无法作为第二预设模型的输入，因此，首先还需要将工艺步骤转换为第二预设模型能够识别的工艺文本（又可理解为文本序列）。

工艺知识图谱是基于工业互联网智能制造领域的经验构建的知识图谱。通常，一个装配方案对应一个工艺知识图谱，因此，工艺知识图谱与其对应的装配方案的装配图纸关联。

在一实施例中，根据工艺步骤和与装配图纸关联的工艺知识图谱，确定工艺文本的方法可以为：对工艺步骤进行拆解，得到若干个工艺动作和动作拓扑，其中，动作拓扑用于指示各工艺动作在工艺步骤中的位置和依存关系；根据工艺知识图谱，确定各工艺动作对应的动作文本；将各工艺动作对应的动作文本按照动作拓扑进行组合，得到工艺文本。如此构造的工艺文本具有固定的模式，从而将其作为第二预设模型的输入时，可以约束第二预设模型的思考和推理能力，避免了由于模型本身的幻想特性而容易生成错误指令的问题，从而保证了后续生成的机器指令的准确性。

S130、将工艺文本输入第二预设模型中，生成机器指令，其中，机器指令以计算机语言的形式表示。

第二预设模型可以是预先训练好的，能够将工艺文本转换为可以被装配设备执行的机器指令的模型。由于工艺文本的数据类型统一，因此，为了节约算力、提高指令生成效率，第二预设模型为单模态模型。在本发明中，单模态模型可以为任意开源或者可供调用接口的大规模语言模型。

在一实施例中，第二预设模型的输入端设置有基元函数库，基元函数库包括若干个指令函数，指令函数以计算机语言的形式表示，计算机语言包括机器语言、汇编语言、高级语言和专用语言中的至少之一。如此，可以利用基元函数库对工艺文本进行优化，保证第二预设模型能够按照既定的模式工作，从而保证生成正确的机器指令。

对于本发明中提到的大规模语言模型（又可简称为大模型），图2是本发明实施例一提供的一种大规模语言模型的架构图。如图2所示，大规模语言模型是能够自主的理解、规划和执行，并最终完成任务的智能模型。大规模语言模型能够通过记忆（memory）、规划（planning）和工具（tools）三大能力，从而构建一个具有自主认知与行动能力的完全智能体。记忆能力包括：一次性任务过程中的上下文记忆，存储在向量数据库中可随时检索访问的外部数据。规划能力可以借助于大模型将任务分解出多个子任务，并设定与调整优先级，主要涉及到任务分解与自我反思。任务分解经常使用的技术有思维链（Chain of thought）和思维树(Tree of thought)；自我反思能够在任务执行过程中，利用反馈，不断完善自身的任务决策，甚至纠正以前的错误来不断迭代改进。外部工具的使用可以显著扩展大规模语言模型的功能，如调用其他的专有任务的人工智能（Artificial Intelligence，AI）模型、调用天气查询等应用的应用程序接口（Application Programming Interface，api）、获取企业信息等。

在上述实施例的基础上，可选的，图3是本发明实施例一提供的另一种机器指令的生成方法的流程示意图，如图3所示，在步骤S130执行之后，还包括：

S140、控制装配设备执行机器指令，以完成装配工作。

控制装配设备执行机器指令，如此，可以实时为装配设备生成完整轨迹规划方案，使得装配系统在运动控制过程中充分利用了大模型的理解、规划和执行能力，从而成为了一个具有自主认知与行动能力的完全智能体，为实现柔性装配的完全自动化提供落地可行性方案。

实施例二：

图4是本发明实施例二提供的一种机器指令的生成方法的流程示意图，在上述实施例一的基础上，本实施例提供了机器指令生成的具体实施方式。如图4所示，该方法包括：

S201、采集用户输入的语音信息，并基于语音识别算法将语音信息转换为文本信息。

机器指令的生成装置中可以集成有语音采集设备（如麦克风），当采集到用户输入的语音信息时，机器指令的生成装置可以基于语音识别算法将语音信息转换为文本信息。其中，语音识别算法可以是任意用于语音时序信号处理的机器学习或者深度学习算法。

示例性的，假设采集到用户输入的一段语音信息，经过语音识别算法进行转换后得到的文本信息为“请完成前后连接法兰的装配”。

将用户输入的语音信息作为人机交互的入口，基于语音识别算法将语音信息转换为文本信息，可以使得机器指令的生成乃至后期的执行总是符合用户预期。

S202、分别确定文本信息与各标准文本之间的匹配度。

在一实施例中，机器指令的生成装置内可以预设有标准文本库和图纸库，标准文本库中存储有若干个标准文本，图纸库中存储有若干个装配图纸，一个标准文本对应一个装配图纸，即一个标准文本和一个装配图纸组成一个数据对。

在基于语音识别算法将语音信息转换为文本信息后，分别确定文本信息与各标准文本之间的匹配度。文本信息与标准文本之间的匹配度表示文本信息与标准文本之间的相似程度/关联程度。如果文本信息与标准文本之间的匹配度大于或者等于预设阈值，表示文本信息与该标准文本区别较小；如果文本信息与标准文本之间的匹配度小于预设阈值，表示文本信息与该标准文本的区别较大。

预设阈值的取值可以根据实际的需求进行设置，例如0.8、0.9、0.95等，本发明实施例对此不作具体限制。

S203、若文本信息与至少一个标准文本之间的匹配度大于或者等于预设阈值，则将匹配度最高的标准文本作为装配文本。

S204、根据装配文本，从图纸库中选择装配图纸。

参考步骤S203-S204，对于文本信息与至少一个标准文本之间的匹配度大于或者等于预设阈值的情况，此时认为匹配度最高的标准文本与文本信息基本相同，将匹配度最高的标准文本作为装配文本，可以快速从图纸库中选择对应的装配图纸。

示例性的，假设文本信息为“请完成前后连接法兰的装配”，经过与各标准文本比对后，确定其与一个标准文本“前后连接法兰的装配”之间的匹配度大于或者等于预设阈值，此时，直接将标准文本“前后连接法兰的装配”作为装配文本，并从图纸库中选择“前后连接法兰的装配”对应的装配图纸即可。

S205、若文本信息与各标准文本之间的匹配度均小于预设阈值，则将文本信息作为装配文本。

S206、获取装配设备的属性信息。

S207、根据装配设备的属性信息和装配文本，从图纸库中选择装配图纸。

参考步骤S205-S207，对于文本信息与各标准文本之间的匹配度均小于预设阈值的情况，此时认为标准文本库中没有标准文本与文本信息基本相同，将文本信息作为装配文本，再结合装配设备的属性信息，从图纸库中选择装配图纸。

其中，装配设备的属性信息包括但不限于：装配设备的图像、装配设备的类型、装配设备的数量、装配设备的名称、装配设备上放置的待装配工件的信息。

示例性的，假设文本信息为“请完成法兰的装配”，经过与各标准文本比对后，确定其与各标准文本之间的匹配度均小于预设阈值，此时，将“请完成法兰的装配”作为装配文本，并获取到装配设备的属性信息为“工件1和工件2的法兰图像”。因此，根据装配设备的属性信息和装配文本，从图纸库中选择“前后连接法兰的装配”对应的装配图纸。

S208、将装配文本和装配图纸输入第一预设模型进行解析，确定工艺步骤。

为了实现装配信息的全自动解析，本发明预先训练有第一预设模型。将装配信息作为第一预设模型的输入，经过第一预设模型的解析和推理，输出工艺步骤，从而实现了装配图纸到工艺步骤的自动转化。其中，工艺步骤以自然语言的形式表示。

由于装配文本是文本类数据、装配图纸是图像类数据，二者属于不同类型的数据，因此，为了保证第一预设模型输出结果的准确度，第一预设模型采用多模态模型。

示例性的，图5是本发明实施例二提供的一种确定工艺步骤的示意图。如图5所示，工艺步骤包括工艺要求。

由于装配工作具有其专业领域术语的特殊性，工艺步骤无法直接被装配设备执行，因此还需要将以自然语言的形式表示的工艺步骤转换为以计算机语言的形式表示的机器指令。在转换的过程中，为了解决现有技术仅能利用既定的专家知识进行推理的问题，本发明采用第二预设模型，而工艺步骤同样无法作为第二预设模型的输入，因此，首先还需要将工艺步骤转换为第二预设模型能够识别的工艺文本（又可理解为文本序列）。其具体转换过程如步骤S209-S213所示。

在本发明中，第一预设模型和第二预设模型的区别在于：对于以自然语言的形式表示的信息（如装配文本和工艺步骤），第一预设模型能够识别，而第二预设模型无法识别。

S209、对工艺步骤进行拆解，得到若干个工艺动作和动作拓扑，其中，动作拓扑用于指示各工艺动作在工艺步骤中的位置和依存关系。

工艺知识图谱是基于工业互联网智能制造领域的经验构建的知识图谱。工艺知识图谱包括基础图谱和封装函数。通常，一个装配方案对应一个工艺知识图谱，因此，工艺知识图谱与其对应的装配方案的装配图纸关联。图6是本发明实施例二提供的一种前后法兰装配的工艺知识图谱的局部示意图。

S210、根据基础图谱，确定工艺动作的工件特征和装配特征，其中，工件特征和装配特征一一对应。

考虑到工艺动作应与待装配的工件和对应的装配设备相关，同时也与上下文环境相关，所以基础图谱中存储的指令不应是固定的指令，而应该是缺失一部分知识的（如控制参数）。因此，对于任意一个工艺动作，根据基础图谱，仅能确定工艺动作的工件特征和装配特征。

例如，先获得工件的工件特征，根据工件特征查找基础图谱中对应的特征实体，根据特征实体或处理输入得到的工件名称查找对应的工件实体，根据装配特征查找装配操作，在推理指令时会应用到工件的属性、特征的属性，以及装配设备（如夹爪、机械臂）的属性。

S211、以工艺要求为约束条件，根据封装函数，确定工艺动作的控制参数。

在确定工艺动作的工件特征和装配特征后，以工艺要求为约束条件，根据封装函数，确定上述步骤S210中确实的工艺动作的控制参数。

可选的，封装函数可以为机理函数。

S212、根据工件特征、装配特征和控制参数，确定工艺动作对应的动作文本。

将确定控制参数后，将控制参数填充至由工件特征和装配特征构成的指令中，确定工艺动作对应的动作文本。

S213、将各工艺动作对应的动作文本按照动作拓扑进行组合，得到工艺文本。

示例性的，图7是本发明实施例二提供的一种确定工艺文本的示意图。如此，保证了工艺文本的拓扑排序与工艺步骤一致，以保证后续机器指令生成的准确度。

通过步骤S209-S213可知，将工艺步骤进行拆解，并分别工艺动作对应的动作文本，确保了工艺动作对应的动作文本的局部最优；再将各工艺动作对应的动作文本按照动作拓扑进行组合，确保了工艺文本的拓扑排序与工艺步骤一致，从而保证了整个装配过程的流畅度。而且通过上述方式构造的工艺文本具有固定的模式，从而将其作为第二预设模型的输入时，可以约束第二预设模型的思考和推理能力，避免了由于模型本身的幻想特性而容易生成错误指令的问题，从而保证了后续生成的机器指令的准确性。

S214、将工艺文本输入第二预设模型中，生成机器指令，其中，机器指令以计算机语言的形式表示。

第二预设模型可以是预先训练好的，能够将工艺文本转换为可以被装配设备执行的机器指令的模型。由于工艺文本的数据类型统一，因此，为了节约算力、提高指令生成效率，第二预设模型为单模态模型。

在一实施例中，第二预设模型的输入端设置有基元函数库，基元函数库包括若干个指令函数，指令函数以计算机语言的形式表示，计算机语言包括机器语言、汇编语言、高级语言和专用语言中的至少之一。

具体的，将所述工艺文本输入第二预设模型中，生成机器指令的方法可以包括：根据所述工艺文本和所述基元函数库，构造模型提示词；将所述模型提示词输入所述第二预设模型中，生成所述机器指令。如此，通过基元函数库和工艺文本构造模型提示词，以模型提示词作为第二预设模型的输入，可以对模型的输入进行进一步的优化，以保证机器指令的准确度。

在一实施例中，指令函数的示例如下：

move_obj(robot_name,obj,mode,(xd,yd,zd),(rl,rm,rn))：在机器人robot_name抓取物体obj后，移动或旋转物体

move_robot(robot_name,mode,(xd,yd,zd),(rl,rm,rn))：将机器人robot_name按mode的方式移动或旋转物体

move_origin(robot_name, obj)：机器人robot_ name抓取物体obj后，返回原点

move_turn(robot_name)：将机器人robot_name进行翻转

move_photo(robot_name)：将机器人robot_name移动到拍照位置

move_home(robot_name)：机器人robot_name回家

release(robot_name)：机器人robot_name释放

grab(robot_name)：机器人robot_name抓取

生成的机器指令的示例如下：

move_obj(robot_name,obj,mode,(xd,yd,zd),(rl,rm,rn))：在机器人robot_name抓取物体obj后，移动或旋转物体,该指令里的参数说明如下所示：

robot_name代表机器人名字；

obj代表物体；

mode代表控制机器人的运动方式：1）mode=1代表关节运动；2）mode=2代表直线运动；3）mode=3代表通过力控寻找平面等

xd代表机器人抓取物体obj后，沿x轴正向偏移xd的距离；

yd代表机器人抓取物体obj后，沿y轴正向偏移yd的距离；

zd代表机器人抓取物体obj后，沿z轴正向偏移zd的距离；

rl代表机器人抓取物体obj后，绕x轴正向旋转rl的角度；

rm代表机器人抓取物体obj后，绕y轴正向旋转rm的角度；

rn代表机器人抓取物体obj后，绕z轴正向旋转rn的角度；

指令代码举例如下：

move_obj(UR机器人,obj,2,(0,0,0),(0,0,0)):UR机器人机器人以直线运动移动到物体obj

move_obj(UR机器人,obj,1,(0,0,+zd),(0,0,0)):UR机器人以关节运动沿z的正向移动物体obj的偏移量为zd

move_obj(AUBO机器人,obj,2,(0,0,+zd),(0,0,0)):AUBO机器人以直线运动沿z的正向移动物体obj的偏移量为zd

move_obj(UR机器人,obj,2,(0,+yd,0),(0,0,0)):UR机器人以直线运动沿y的正向移动物体obj的偏移量为yd

move_obj(AUBO机器人,obj,2,(-xd,0,0),(0,0,0)):AUBO机器人以直线运动沿x的负向移动物体obj的偏移量为xd

move_obj(UR机器人,obj,1,(0,0,0),(+rl,0,0)):UR机器人以关节运动沿x轴的正向旋转物体obj的偏移量为rl

move_obj(UR机器人,obj,1,(0,0,0),(-rl,0,0)):UR机器人以关节运动沿x轴的负向旋转物体obj的偏移量为rl

move_obj(AUBO机器人,obj,1,(0,0,0),(0,+rm,0)):AUBO机器人以关节运动沿y轴的正向旋转物体obj的偏移量为rm

move_obj(AUBO机器人,obj,1,(0,0,0),(0,-rm,0)):AUBO机器人以关节运动沿y轴的负向旋转物体obj的偏移量为rm

move_obj(UR机器人,obj,1,(0,0,0),(0,0,+rn)):UR机器人以关节运动沿z轴的正向旋转物体obj的偏移量为rn

move_obj(AUBO机器人,obj,1,(0,0,0),(0,0,-rn)):AUBO机器人以关节运动沿z轴的负向旋转物体obj的偏移量为rn

move_robot(robot_name,mode,(xd,yd,zd),(rl,rm,rn))：将机器人robot_name按mode的方式移动或旋转物体

move_origin(robot_name, obj)：机器人robot_ name抓取物体obj后，返回原点

move_turn(robot_name)：将机器人robot_name进行翻转

move_photo(robot_name)：将机器人robot_name移动到拍照位置

move_assem(robot_name)：将机器人robot_name移动到装配位置

move_home(robot_name)：机器人robot_name回家

release(robot_name)：机器人robot_name释放

grab(robot_name)：机器人robot_name抓取

move_Visual_Rec(obj1, obj2)：调用视觉识别算法，获取物体obj1和obj2的位置

单位是mm

注意：左方为正向移动，右方为负向移动，前方为正向移动，后方为负向移动

下面提供三个示例，用于说明本发明将工艺文本输入第二预设模型中，生成机器指令的步骤。

示例1：假设工艺文本为：调用视觉识别算法，识别前连接法兰和后连接法兰的位置，AUBO机器人以关节运动沿z轴正向移动到后连接法兰的偏移量为+150，AUBO机器人以直线运动沿z轴负向移动到后连接法兰的偏移量-20，AUBO机器人抓取，AUBO机器人以直线运动沿z轴正向移动到后连接法兰偏移量+150，将AUBO机器人进行翻转，AUBO机器人移动到拍照位置，UR机器人以关节运动沿z轴正向移动到前连接法兰的偏移量为+150，UR机器人以直线运动沿z轴负向移动到前连接法兰的偏移量-20，UR机器人抓取，UR机器人以直线运动沿z轴正向移动到前连接法兰偏移量+150，将UR机器人进行翻转，UR机器人移动到拍照位置。

将工艺文本输入第二预设模型中，生成的机器指令为：

move_Visual_Rec(前连接法兰,后连接法兰);move_obj(AUBO机器人,后连接法兰,1,(0,0,+150),(0,0,0));move_obj(AUBO机器人,后连接法兰,2,(0,0,-20),(0,0,0));grab(AUBO机器人);move_obj(AUBO机器人,后连接法兰,2,(0,0,+150),(0,0,0));move_turn(AUBO机器人);move_photo(AUBO机器人);move_obj(UR机器人,前连接法兰,1,(0,0,+150),(0,0,0));move_obj(UR机器人,前连接法兰,2,(0,0,-20),(0,0,0));grab(UR机器人);move_obj(UR机器人,前连接法兰,2,(0,0,+150),(0,0,0));move_turn(UR机器人);move_photo(UR机器人)

示例2：假设工艺文本为：调用视觉识别算法，识别前连接法兰和后连接法兰的位置，将UR机器人进行翻转，将AUBO机器人移到装配位置，将后连接法兰和前连接法兰进行轴孔装配，UR机器人释放，将UR机器人移动到预装配位置，UR机器人回家。

将工艺文本输入第二预设模型中，生成的机器指令为：

move_Visual_Rec(前连接法兰,后连接法兰);move_turn(UR机器人);move_assem(AUBO机器人);shaft_hole_assem(后连接法兰,前连接法兰);release(UR机器人);move_assem_UR_yu();move_home(UR机器人)

示例3：假设工艺文本为：调用视觉识别算法，识别正六边形螺栓头和前后连接法兰的位置，UR机器人以关节运动沿z轴正向移动到螺栓的偏移量为+50，UR机器人以直线运动沿z轴负向移动到螺栓的偏移量-10，UR机器人抓取，UR机器人以关节运动沿z轴正向移动到正六边形螺栓头的偏移量为+50，UR机器人回家，将UR机器人沿z轴正向移动10mm，将螺栓和前后连接法兰进行螺纹装配，UR机器人释放，将UR机器人移动到预装配位置，UR机器人回家，夹爪调正，AUBO机器人翻转，将物体移动到预存放位置，将AUBO机器人移动到存放位置，AUBO机器人释放，将物体移动到预存放位置，AUBO机器人回家。

将工艺文本输入第二预设模型中，生成的机器指令为：

move_Visual_Rec(正六边形螺栓头,前后连接法兰);move_obj(UR机器人,正六边形螺栓头,1,(0,0,+50),(0,0,0));move_obj(UR机器人,正六边形螺栓头,2,(0,0,-10),(0,0,0));grab(UR机器人);move_obj(UR机器人,正六边形螺栓头,1,(0,0,+50),(0,0,0));move_home(UR机器人);move_robot(UR机器人,1,(0,0,10),(0,0,0));threaded_assem(正六边形螺栓头,前后连接法兰);release(UR机器人);move_assem_UR_yu();move_home(UR机器人);jig_zheng();move_turn(AUBO机器人);move_yu_store();move_store(AUBO机器人);release(AUBO机器人);move_yu_store();move_home(AUBO机器人)

S215、控制装配设备执行机器指令，以完成装配工作。

控制装配设备执行机器指令，如此，无论待装配工件和装配设备的品类怎么变化，都可以实时为装配设备生成完整轨迹规划方案，使得装配系统在运动控制过程中充分利用了大模型的理解、规划和执行能力，从而成为了一个具有自主认知与行动能力的完全智能体，避免了产线固化，同时提高了装配设备的实时运作自由度，为实现柔性装配的完全自动化提供落地可行性方案。

可选的，本发明还可以根据装配工作的完成情况，适应性地对模型提示词进行迭代优化，直至装配工作的完成情况能够满足用户需求为止。

本发明实施例提供了一种机器指令的生成方法，包括：获取装配信息，并将装配信息输入第一预设模型中，确定工艺步骤，其中，装配信息包括装配文本和装配图纸，装配文本和装配图纸一一对应，工艺步骤以自然语言的形式表示；根据工艺步骤和与装配图纸关联的工艺知识图谱，确定工艺文本；将工艺文本输入第二预设模型中，生成机器指令，其中，机器指令以计算机语言的形式表示。本发明实施例的技术方案，通过将获取到的装配信息输入第一预设模型中，确定工艺步骤；再根据工艺步骤和与装配图纸关联的工艺知识图谱，确定工艺文本；最终将工艺文本输入第二预设模型中，生成机器指令。由于工艺步骤是通过第一预设模型确定的，不再依靠人工经验，从而解放了人力，实现了装配文本和装配图纸的全自动解析。同时，在将以自然语言的形式表示的工艺步骤转换为以计算机语言的形式表示的机器指令的过程中引入第二预设模型，解决了现有技术仅能利用既定的专家知识进行推理的问题，提升了装配系统的柔性程度。另外，为了第二预设模型能够顺利工作，本发明根据工艺步骤和工艺知识图谱构造固定模式的工艺文本，同时约束了第二预设模型的思考和推理能力，避免了由于模型本身的幻想特性而容易生成错误指令的问题，从而保证了生成的机器指令的准确性，以提升装配工作的流畅度。

实施例三：

图8是本发明实施例三提供的一种机器指令的生成装置的结构示意图。如图8所示，该装置包括：信息获取模块801，步骤确定模块802，文本确定模块803和指令生成模块804。

信息获取模块801，用于获取装配信息，其中，装配信息包括装配文本和装配图纸；

步骤确定模块802，用于将装配信息输入第一预设模型中，确定工艺步骤，其中，工艺步骤以自然语言的形式表示；

文本确定模块803，用于根据工艺步骤和与装配图纸关联的工艺知识图谱，确定工艺文本；

指令生成模块804，用于将工艺文本输入第二预设模型中，生成机器指令，其中，机器指令以计算机语言的形式表示。

可选的，结合图8，图9是本发明实施例三提供的另一种机器指令的生成装置的结构示意图。如图9所示，该装置还包括：控制模块805。

控制模块805，用于控制装配设备执行机器指令，以完成装配工作。

可选的，信息获取模块801，具体用于采集用户输入的语音信息，并基于语音识别算法将所述语音信息转换为文本信息；根据所述文本信息，确定所述装配文本和所述装配图纸；

步骤确定模块802，具体用于将所述装配文本和装配图纸输入所述第一预设模型进行解析，确定所述工艺步骤。

可选的，文本确定模块803，具体用于对工艺步骤进行拆解，得到若干个工艺动作和动作拓扑，其中，动作拓扑用于指示各工艺动作在工艺步骤中的位置和依存关系；根据工艺知识图谱，确定各工艺动作对应的动作文本；将各工艺动作对应的动作文本按照动作拓扑进行组合，得到工艺文本。

可选的，工艺步骤包括工艺要求，工艺知识图谱包括基础图谱和封装函数；

文本确定模块803，具体用于根据基础图谱，确定工艺动作的工件特征和装配特征，其中，工件特征和装配特征一一对应；以工艺要求为约束条件，根据封装函数，确定工艺动作的控制参数；根据工件特征、装配特征和控制参数，确定工艺动作对应的动作文本。

可选的，第一预设模型为多模态模型，第二预设模型为单模态模型；

第二预设模型的输入端设置有基元函数库，基元函数库包括若干个指令函数，指令函数以计算机语言的形式表示，计算机语言包括机器语言、汇编语言、高级语言和专用语言中的至少之一。

可选的，指令生成模块804，具体用于根据所述工艺文本和所述基元函数库，构造模型提示词；将所述模型提示词输入所述第二预设模型中，生成所述机器指令。

本发明实施例所提供的机器指令的生成装置可执行本发明任意实施例所提供的机器指令的生成方法，具备执行方法相应的功能模块和有益效果。

实施例四：

图10是本发明实施例四提供的一种电子设备的结构示意图。电子设备10可以用来实施本发明的实施例。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

如图10所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器（ROM）12、随机访问存储器（RAM）13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器（ROM）12中的计算机程序或者从存储单元18加载到随机访问存储器（RAM）13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出（I/O）接口15也连接至总线14。

电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如机器指令的生成方法。

在一些实施例中，机器指令的生成方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的机器指令的生成方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行机器指令的生成方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、区块链网络和互联网。

计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种机器指令的生成方法，其特征在于，包括：

获取装配信息，并将所述装配信息输入第一预设模型中，确定工艺步骤，其中，所述装配信息包括装配文本和装配图纸，所述工艺步骤以自然语言的形式表示；

根据所述工艺步骤和与所述装配图纸关联的工艺知识图谱，确定工艺文本；

将所述工艺文本输入第二预设模型中，生成机器指令，其中，所述机器指令以计算机语言的形式表示。

2.根据权利要求1所述的机器指令的生成方法，其特征在于，在生成机器指令后，还包括：

控制装配设备执行所述机器指令，以完成装配工作。

3.根据权利要求1所述的机器指令的生成方法，其特征在于，获取装配信息，并将所述装配信息输入第一预设模型中，确定工艺步骤，包括：

采集用户输入的语音信息，并基于语音识别算法将所述语音信息转换为文本信息；

根据所述文本信息，确定所述装配文本和所述装配图纸；

将所述装配文本和装配图纸输入所述第一预设模型进行解析，确定所述工艺步骤。

4.根据权利要求1所述的机器指令的生成方法，其特征在于，根据所述工艺步骤和与所述装配图纸关联的工艺知识图谱，确定工艺文本，包括：

对所述工艺步骤进行拆解，得到若干个工艺动作和动作拓扑，其中，所述动作拓扑用于指示各工艺动作在所述工艺步骤中的位置和依存关系；

根据所述工艺知识图谱，确定各工艺动作对应的动作文本；

将各工艺动作对应的动作文本按照所述动作拓扑进行组合，得到所述工艺文本。

5.根据权利要求4所述的机器指令的生成方法，其特征在于，所述工艺步骤包括工艺要求，所述工艺知识图谱包括基础图谱和封装函数；

对于任意一个工艺动作，根据所述工艺知识图谱，确定所述工艺动作对应的动作文本，包括：

根据所述基础图谱，确定所述工艺动作的工件特征和装配特征，其中，所述工件特征和所述装配特征一一对应；

以所述工艺要求为约束条件，根据所述封装函数，确定所述工艺动作的控制参数；

根据所述工件特征、所述装配特征和所述控制参数，确定所述工艺动作对应的动作文本。

6.根据权利要求1所述的机器指令的生成方法，其特征在于，所述第一预设模型为多模态模型，所述第二预设模型为单模态模型；

所述第二预设模型的输入端设置有基元函数库，所述基元函数库包括若干个指令函数，所述指令函数以所述计算机语言的形式表示，所述计算机语言包括机器语言、汇编语言、高级语言和专用语言中的至少之一。

7.根据权利要求6所述的机器指令的生成方法，其特征在于，将所述工艺文本输入第二预设模型中，生成机器指令，包括：

根据所述工艺文本和所述基元函数库，构造模型提示词；

将所述模型提示词输入所述第二预设模型中，生成所述机器指令。

8.一种机器指令的生成装置，其特征在于，包括：信息获取模块，步骤确定模块，文本确定模块和指令生成模块；

所述信息获取模块，用于获取装配信息，其中，所述装配信息包括装配文本和装配图纸；

所述步骤确定模块，用于将所述装配信息输入第一预设模型中，确定工艺步骤，其中，所述工艺步骤以自然语言的形式表示；

所述文本确定模块，用于根据所述工艺步骤和与所述装配图纸关联的工艺知识图谱，确定工艺文本；

所述指令生成模块，用于将所述工艺文本输入第二预设模型中，生成机器指令，其中，所述机器指令以计算机语言的形式表示。

9.一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的机器指令的生成方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的机器指令的生成方法。