CN114055451B - 基于知识图谱的机器人操作技能表达方法 - Google Patents

Abstract

本发明提供了基于知识图谱的机器人操作技能表达方法，其中，所述方法包括：获取机器人操作过程中的目标数据与场景数据，根据所述目标数据和场景数据构建第一节点信息；获取机器人操作过程中的任务需求数据，根据所述任务需求数据构建多个第二节点信息；根据多个所述第二节点信息之间的关系，确定所述第一节点信息和第二节点信息之间的第一词向量信息；将所述第一词向量信息进行处理，得到所述第二节点信息之间的第一边关系信息。在本发明中，通过将一个复杂的机器人操作技能分解细化并用知识图谱的方式展现出来，便于帮助机器人更好的理解并且执行任务，从而极大提升机器人执行效率。

Description

基于知识图谱的机器人操作技能表达方法

技术领域

本发明涉及机器人技术领域，尤其涉及基于知识图谱的机器人操作技能表达方法。

背景技术

目前，机器人被广泛应用于工业，农业，医疗，军事等领域，关于机器人技术一直是人工智能领域的重点研究方向，而知识图谱通常是指基于图谱绘制、数据分析、信息解读等技术手段，来体现实体之间的关系信息的语义网络。利用可视化的知识图谱将复杂的机器人操作技能形象地表达出来，可在一定程度上帮助人类理解机器人操作技能。

现有的机器人操作技能较为复杂，且机器人操作技能无法分解细化，导致机器人在理解并执行任务时需要耗费较多时间进行反应，进一步降低了机器人在处理任务的执行效率。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供基于知识图谱的机器人操作技能表达方法，旨在解决现有的机器人操作技能较为复杂且无法分解细化从而影响机器人理解并执行任务的效率的问题。

本发明的技术方案如下：

一种基于知识图谱的机器人操作技能表达方法，其中，包括：

获取机器人操作过程中的目标数据与场景数据，根据所述目标数据和场景数据构建第一节点信息；

获取机器人操作过程中的任务需求数据，根据所述任务需求数据构建多个第二节点信息；

根据多个所述第二节点信息之间的关系，确定所述第一节点信息和第二节点信息之间的第一词向量信息；

将所述第一词向量信息进行处理，得到所述第二节点信息之间的第一边关系信息。

所述基于知识图谱的机器人操作技能表达方法，其中，所述获取机器人操作过程中的任务需求数据，根据所述任务需求数据构建多个第二节点信息的步骤包括：

获取机器人操作过程中的技能基元信息，根据所述技能基元信息构建多个第一子节点信息；

获取机器人操作过程中的动作基元信息，根据所述动作基元信息构建多个第二子节点信息。

所述基于知识图谱的机器人操作技能表达方法，其中，所述根据多个所述第二节点信息之间的关系，确定所述第一节点信息和第二节点信息之间的第一词向量信息的步骤包括：

根据多个所述第二节点信息与多个所述第一子节点信息的关系，确定多个所述第一子节点信息之间和所述第一子节点信息与第二节点信息之间的第一子词向量信息；

根据多个所述第一子节点信息与多个所述第二子节点信息的关系，确定多个所述第二子节点信息之间和所述第二子节点信息与第一子节点信息之间的第二子词向量信息。

所述基于知识图谱的机器人操作技能表达方法，其中，所述将所述第一词向量信息进行处理，得到所述第二节点信息之间的第一边关系信息的步骤包括：

将所述第一子词向量信息进行处理，得到多个所述第一子节点信息之间和第二节点信息与第一子节点信息之间的第一子边关系信息；

将所述第二子词向量信息进行处理，得到多个所述第二子节点信息之间和第一子节点信息与第二子节点信息之间的第二子边关系信息。

所述基于知识图谱的机器人操作技能表达方法，其中，根据所述第一节点信息、第二节点信息和第一边关系信息确定知识化图谱。

所述基于知识图谱的机器人操作技能表达方法，其中，所述第二节点信息包括第一子节点信息和第二子节点信息，所述第一边关系信息包括第一子边关系信息和第二子边关系信息。

所述基于知识图谱的机器人操作技能表达方法，其中，所述第一边关系信息包括多个所述第二节点信息之间的第一并列关系信息和所述第一节点信息与第二节点信息之间的第一包含关系信息；所述第一子边关系信息包括多个所述第一子节点信息之间的第一次序关系信息和所述第二节点信息与第一子节点信息之间的第二包含关系信息；所述第二子边关系信息包括多个所述第二子节点信息之间的第二次序关系信息和所述第一子节点信息与第二子节点信息之间的第三包含关系信息。

一种基于知识图谱的机器人操作技能表达系统，其中，包括：

操作目标与场景建立模块，用于获取机器人操作过程中的目标数据与场景数据，根据所述目标数据和场景数据构建第一节点信息；

操作任务建立模块，用于获取机器人操作过程中的任务需求数据，根据所述任务需求数据构建多个第二节点信息；

词向量确定模块，用于根据多个所述第二节点信息之间的关系，确定所述第一节点信息和第二节点信息之间的第一词向量信息；

边关系信息获取模块，用于将所述第一词向量信息进行处理，得到所述第二节点信息之间的第一边关系信息。

一种计算机终端，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现所述基于知识图谱的机器人操作技能表达方法的步骤。

一种计算机存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述基于知识图谱的机器人操作技能表达方法的步骤。

有益效果：基于知识图谱的机器人操作技能表达方法，其中，所述方法包括：获取机器人操作过程中的目标数据与场景数据，根据所述目标数据和场景数据构建第一节点信息；获取机器人操作过程中的任务需求数据，根据所述任务需求数据构建多个第二节点信息；根据多个所述第二节点信息之间的关系，确定所述第一节点信息和第二节点信息之间的第一词向量信息；将所述第一词向量信息进行处理，得到所述第二节点信息之间的第一边关系信息。在本发明中，通过将一个复杂的机器人操作技能分解细化并用知识图谱的方式展现出来，便于帮助机器人更好的理解并且执行任务，从而极大提升机器人执行效率。

附图说明

图1为本发明的基于知识图谱的机器人操作技能表达方法的规划示意图。

图2为本发明的手机零件装配为目标与场景下的机器人操作技能知识图谱示意图。

具体实施方式

本发明提供基于知识图谱的机器人操作技能表达方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

需说明的是，当部件被称为“固定于”或“设置于”另一个部件，它可以直接在另一个部件上或者间接在该另一个部件上。当一个部件被称为是“连接于”另一个部件，它可以是直接连接到另一个部件或者间接连接至该另一个部件上。

还需说明的是，本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此，附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

利用可视化的知识图谱将复杂的机器人操作技能形象地表达出来，可在一定程度上帮助人类理解机器人操作技能。现有的机器人操作技能较为复杂，且机器人操作技能无法分解细化，导致机器人在理解并执行任务时需要耗费较多时间进行反应，进一步降低了机器人在处理任务的执行效率。

为了解决上述问题，本发明提供了一种基于知识图谱的机器人操作技能表达方法，能够将一个复杂的机器人操作技能分解细化并用知识图谱的方式展现出来，便于帮助机器人更好的理解并且执行任务，从而极大提升机器人执行效率，如图1所示，所述方法包括：

步骤K100、获取机器人操作过程中的目标数据与场景数据，根据所述目标数据和场景数据构建第一节点信息。

具体地，第一节点信息为层次一节点，层次一节点是基于机器人实际操作过程中的目标与场景建立的。

进一步，如图1所示，根据机器人实际操作过程中的目标与场景将层次一节点设置为模块100。

步骤K200、获取机器人操作过程中的任务需求数据，根据所述任务需求数据构建多个第二节点信息。

所述任务需求数据包括：技能基元信息和动作基元信息；所述第二节点信息包括：第一子节点信息和第二子节点信息。

第二节点信息为层次二节点，层次二节点是基于机器人实际操作过程中的任务需求建立的，每个层次二节点对应一个任务实体，层次一节点包括多个层次二节点，即层次一节点由多个层次二节点组合而成。

进一步，层次二节点包括模块200、模块201、模块202与模块20N。

需要说明的是，模块20N表示除模块200、模块201、模块202外的任一模块，层次二节点在如图1所示流程图中具有四个模块。

本步骤中具体包括：

步骤K210、获取机器人操作过程中的技能基元信息，根据所述技能基元信息构建多个第一子节点信息；

步骤K210、获取机器人操作过程中的动作基元信息，根据所述动作基元信息构建多个第二子节点信息。

如图1所示，第一子节点信息为层次三节点，层次三节点是基于机器人实际操作过程中的技能基元建立的，每个层次三节点对应一个技能基元，每个层次二节点包括至少一个层次三节点，即层次二节点由层次三节点组合而成；第二子节点信息为层次四节点，层次四节点是基于机器人实际操作过程中的动作基元建立的，每个层次四节点对应一个动作基元，每个层次三节点包括至少一个层次四节点，即层次三节点是有层次四节点组合而成。

进一步，如图1所示，模块200包括模块300和模块301，模块201包括模块302、模块303和模块304，模块202包括模块305和模块306，模块20N包括模块307和模块3NN；模块300包括模块400、模块401和模块402，模块301包括模块403和模块404，模块302包括模块405，模块303包括模块406、模块407和模块408，模块304包括模块409和模块410，模块305包括模块411，模块306包括模块412、模块413和模块414，模块307包括模块415和模块416，模块3NN包括模块417和模块4NN。

需要说明的是，模块100为为第一层次节点，模块200、模块201、模块20N为第二层次节点，模块300、模块301、至模块3NN为第三层次节点，模块400、模块401、至模块4NN为第四层次节点；

模块100为第一层次节点，是基于机器人实际操作过程中的目标与场景建立的；模块200至20N为第二层次节点，是基于机器人实际操作过程中的任务需求建立的；模块300至3NN为第三层次节点，是基于机器人实际操作过程中的技能基元建立的。

需要说明的是，上述字母N为可在并列模块的关系下进行递增或递减，层次二节点、层次三节点和层次四节点设置为至少一个，每个层次节点的具体数量根据需求进行设置。

步骤K300、根据多个所述第二节点信息之间的关系，确定所述第一节点信息和第二节点信息之间的第一词向量信息。

所述第一词向量信息包括：第一子词向量信息、第二子词向量信息和第三子词向量信息。

本步骤中具体包括：

步骤K310、根据多个所述第二节点信息与多个所述第一子节点信息的关系，确定多个所述第一子节点信息之间和所述第一子节点信息与第二节点信息之间的第一子词向量信息；

步骤K320、根据多个所述第一子节点信息与多个所述第二子节点信息的关系，确定多个所述第二子节点信息之间和所述第二子节点信息与第一子节点信息之间的第二子词向量信息。

步骤K330、根据所述第一节点信息与多个所述第二节点信息的关系，确定所述第一节点信息与第二节点信息之间的第三子词向量信息。

需要说明的是，第一词向量信息包含第一子词向量信息、第二子词向量信息和第三子词向量信息；第一词向量信息、第一子词向量信息、第二子词向量信息和第三子词向量信息包括位置词向量和标记词向量。

步骤K400、将所述第一词向量信息进行处理，得到所述第二节点信息之间的第一边关系信息。

所述第一边关系信息包括：第一子边关系信息和第二子边关系信息。

本步骤中具体包括：

步骤K410、将所述第一子词向量信息进行处理，得到多个所述第一子节点信息之间和第二节点信息与第一子节点信息之间的第一子边关系信息；

步骤K420、将所述第二子词向量信息进行处理，得到多个所述第二子节点信息之间和第一子节点信息与第二子节点信息之间的第二子边关系信息。

需要说明的是，属于同一个层次二节点下的相邻几个层次三节点之间含有边关系信息(即技能次序)；属于同一个层次三节点下的相邻几个层次四节点之间含有边关系信息。

在本实施例中，层次一节点、层次二节点、层次三节点和层次四节点之间通过箭头连线进行连接，不同层次节点之间的箭头连线表示包含关系，相邻层次节点之间的箭头连线表示次序关系。

在本实施例中，根据所述第一节点信息、第二节点信息和第一边关系信息确定知识化图谱。

在本实施例中，所述第二节点信息包括第一子节点信息和第二子节点信息，所述第一边关系信息包括第一子边关系信息和第二子边关系信息。

具体地，所述第一边关系信息包括多个所述第二节点信息之间的第一并列关系信息和所述第一节点信息与第二节点信息之间的第一包含关系信息；所述第一子边关系信息包括多个所述第一子节点信息之间的第一次序关系信息和所述第二节点信息与第一子节点信息之间的第二包含关系信息；所述第二子边关系信息包括多个所述第二子节点信息之间的第二次序关系信息和所述第一子节点信息与第二子节点信息之间的第三包含关系信息。

在本发明的较佳实施例中，正因为采用了上述的技术方案，通过采用基于知识图谱的机器人技能操作表达方法，将一个复杂的机器人操作技能分解细化并用知识图谱的方式展现出来，便于帮助机器人更好的理解并且执行任务，从而极大提升机器人执行效率。

通过利用可视化的知识图谱将复杂的机器人操作技能形象地表达出来，可在一定程度上帮助人类理解机器人操作技能。

下面通过具体实施例对本发明内容作进一步的说明：

如图2所示，根据操作目标与场景将层次一节点设置为手机零件装配S100。

模块S100为层次一节点，表达“手机零件装配”，包括两个层次二节点；模块S200、模块S201为层次二节点，分别表达装配手机配件(即任务1)和装配电池配件(即任务2)，模块S200和模块S201各自包含四个层次三节点；

模块S300、模块S301、模块S302、模块S303、模块S304、模块S305、模块S306、模块S307为层次三节点，分别表达的技能基元为：识别、装载末端、对准、装配、识别、对准、夹取、装配，其中模块S200包括模块S300、模块S301、模块S302和模块S303，模块S201包括模块S304、模块S305、模块S306和模块S307，如图2所示；

模块S400、模块S401、模块S402、模块S403、模块S404、模块S405、模块S406、模块S407、模块S408、模块S409、模块S410、模块S411、模块S412、模块S413、模块S414、模块S415、模块S416、模块S417、模块S418、模块S419为层次四节点，分别表达的动作基元为：拍照、识别、决策、平移、竖移、吸装、平移、调姿、竖移、安放、拍照、识别、决策、平移、调姿、竖移、夹取、提起、竖移、松开，其中模块S300包括模块S400、模块S401和模块S402，模块S301包括模块S403、模块S404、模块S405，模块S302包括模块S406和模块S407，模块S303包括模块S408和模块S409，模块S304包括模块S410、模块S411和模块S412，模块S305包括模块S413和模块S414，模块S306包括模块S415、模块S416和模块S417，模块S307包括模块S418和模块S419，如图2所示。

需要说明的是，表达的多个技能单元之间的第一子边关系信息为技能次序，表达的多个动作基元之间的第二子边关系信息为动作次序，

在上述方法的基础上，本发明还提供了一种基于知识图谱的机器人操作技能表达系统，其中，包括：

操作目标与场景建立模块，用于获取机器人操作过程中的目标数据与场景数据，根据所述目标数据和场景数据构建第一节点信息，其功能如步骤100所述；

操作任务建立模块，用于获取机器人操作过程中的任务需求数据，根据所述任务需求数据构建多个第二节点信息，其功能如步骤200所述；

词向量确定模块，用于根据多个所述第二节点信息之间的关系，确定所述第一节点信息和第二节点信息之间的第一词向量信息，其功能如步骤300所述；

边关系信息获取模块，用于将所述第一词向量信息进行处理，得到所述第二节点信息之间的第一边关系信息，其功能如步骤400所述。

在一个实施例中，本发明提供了一种计算机终端，包括存储器和处理器，所述存储器存储有计算机程序，其中，所述处理器执行所述计算机程序时实现所述基于知识图谱的机器人操作技能表达方法的步骤。

在一个实施例中，本发明提供了一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述基于知识图谱的机器人操作技能表达方法的步骤。

综上所述，本发明提供了基于知识图谱的机器人操作技能表达方法，其中，所述方法包括：获取机器人操作过程中的目标数据与场景数据，根据所述目标数据和场景数据构建第一节点信息；获取机器人操作过程中的任务需求数据，根据所述任务需求数据构建多个第二节点信息；根据多个所述第二节点信息之间的关系，确定所述第一节点信息和第二节点信息之间的第一词向量信息；将所述第一词向量信息进行处理，得到所述第二节点信息之间的第一边关系信息。在本发明中，通过将一个复杂的机器人操作技能分解细化并用知识图谱的方式展现出来，便于帮助机器人更好的理解并且执行任务，从而极大提升机器人执行效率。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (6)

1.一种基于知识图谱的机器人操作技能表达方法，其特征在于，包括：

获取机器人操作过程中的目标数据与场景数据，根据所述目标数据和场景数据构建第一节点信息；

获取机器人操作过程中的任务需求数据，根据所述任务需求数据构建多个第二节点信息；

根据多个所述第二节点信息之间的关系，确定所述第一节点信息和第二节点信息之间的第一词向量信息；

将所述第一词向量信息进行处理，得到所述第二节点信息之间的第一边关系信息；

所述任务需求数据包括：技能基元信息和动作基元信息；所述第二节点信息包括：第一子节点信息和第二子节点信息；

所述获取机器人操作过程中的任务需求数据，根据所述任务需求数据构建多个第二节点信息的步骤包括：

获取机器人操作过程中的技能基元信息，根据所述技能基元信息构建多个第一子节点信息；

获取机器人操作过程中的动作基元信息，根据所述动作基元信息构建多个第二子节点信息；

所述第一词向量信息包括：第一子词向量信息和第二子词向量信息；所述根据多个所述第二节点信息之间的关系，确定所述第一节点信息和第二节点信息之间的第一词向量信息的步骤包括：

根据多个所述第二节点信息与多个所述第一子节点信息的关系，确定多个所述第一子节点信息之间和所述第一子节点信息与第二节点信息之间的第一子词向量信息；

根据多个所述第一子节点信息与多个所述第二子节点信息的关系，确定多个所述第二子节点信息之间和所述第二子节点信息与第一子节点信息之间的第二子词向量信息；

所述第一边关系信息包括：第一子边关系信息和第二子边关系信息；所述将所述第一词向量信息进行处理，得到所述第二节点信息之间的第一边关系信息的步骤包括：

将所述第一子词向量信息进行处理，得到多个所述第一子节点信息之间和第二节点信息与第一子节点信息之间的第一子边关系信息；

将所述第二子词向量信息进行处理，得到多个所述第二子节点信息之间和第一子节点信息与第二子节点信息之间的第二子边关系信息；

所述第一词向量信息还包括第三子词向量信息；所述将所述第一词向量信息进行处理，得到所述第二节点信息之间的第一边关系信息之前，所述方法还包括：

根据所述第一节点信息与多个所述第二节点信息的关系，确定所述第一节点信息与第二节点信息之间的第三子词向量信息；

所述第一词向量信息、所述第一子词向量信息、所述第二子词向量信息和所述第三子词向量信息包括位置词向量和标记词向量；

所述第一子节点信息对应技能基元，所述第二子节点信息对应动作基元；

所述边关系信息为技能次序。

2.根据权利要求1所述的基于知识图谱的机器人操作技能表达方法，其特征在于，所述将所述第一词向量信息进行处理，得到所述第二节点信息之间的第一边关系信息之后，所述方法还包括：

根据所述第一节点信息、第二节点信息和第一边关系信息确定知识化图谱。

3.根据权利要求1所述的基于知识图谱的机器人操作技能表达方法，其特征在于，所述第一边关系信息包括多个所述第二节点信息之间的第一并列关系信息和所述第一节点信息与第二节点信息之间的第一包含关系信息；所述第一子边关系信息包括多个所述第一子节点信息之间的第一次序关系信息和所述第二节点信息与第一子节点信息之间的第二包含关系信息；所述第二子边关系信息包括多个所述第二子节点信息之间的第二次序关系信息和所述第一子节点信息与第二子节点信息之间的第三包含关系信息。

4.一种基于知识图谱的机器人操作技能表达系统，其特征在于，包括：

操作目标与场景建立模块，用于获取机器人操作过程中的目标数据与场景数据，根据所述目标数据和场景数据构建第一节点信息；

操作任务建立模块，用于获取机器人操作过程中的任务需求数据，根据所述任务需求数据构建多个第二节点信息；

词向量确定模块，用于根据多个所述第二节点信息之间的关系，确定所述第一节点信息和第二节点信息之间的第一词向量信息；

边关系信息获取模块，用于将所述第一词向量信息进行处理，得到所述第二节点信息之间的第一边关系信息；

所述任务需求数据包括：技能基元信息和动作基元信息；所述第二节点信息包括：第一子节点信息和第二子节点信息；所述操作任务建立模块还用于：

获取机器人操作过程中的技能基元信息，根据所述技能基元信息构建多个第一子节点信息；

获取机器人操作过程中的动作基元信息，根据所述动作基元信息构建多个第二子节点信息；

所述第一词向量信息包括：第一子词向量信息和第二子词向量信息；所述词向量确定模块还用于：

根据多个所述第二节点信息与多个所述第一子节点信息的关系，确定多个所述第一子节点信息之间和所述第一子节点信息与第二节点信息之间的第一子词向量信息；

根据多个所述第一子节点信息与多个所述第二子节点信息的关系，确定多个所述第二子节点信息之间和所述第二子节点信息与第一子节点信息之间的第二子词向量信息；

所述第一边关系信息包括：第一子边关系信息和第二子边关系信息；所述边关系信息获取模块还用于：

将所述第一子词向量信息进行处理，得到多个所述第一子节点信息之间和第二节点信息与第一子节点信息之间的第一子边关系信息；

将所述第二子词向量信息进行处理，得到多个所述第二子节点信息之间和第一子节点信息与第二子节点信息之间的第二子边关系信息；

所述第一词向量信息还包括第三子词向量信息；所述将所述第一词向量信息进行处理，得到所述第二节点信息之间的第一边关系信息之前，所述词向量确定模块还包括：

根据所述第一节点信息与多个所述第二节点信息的关系，确定所述第一节点信息与第二节点信息之间的第三子词向量信息；

所述第一子词向量信息、所述第二子词向量信息和所述第三子词向量信息包括位置词向量和标记词向量；

所述第一子节点信息对应技能基元，所述第二子节点信息对应动作基元；

所述边关系信息为技能次序。

5.一种计算机终端，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至3任一项所述基于知识图谱的机器人操作技能表达方法的步骤。

6.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述基于知识图谱的机器人操作技能表达方法的步骤。

Images