CN111098301B - 一种基于场景知识图谱任务型机器人的控制方法 - Google Patents

Abstract

本发明公开了一种基于场景知识图谱任务型机器人的控制方法，其包括步骤S1‑S10，本方案采用语音输入的人机交互方式，结合自然语言处理，面向事物的面描述进行任务的处理，在达到交互逻辑的基础上能够完成所给定的任务。基于知识图谱的结构化数据来构建语音识别与语言理解的相关系统，能够较好地利用知识推理来模拟人获取新知识的过程，从而可以补充机器人知识库没有的特性信息。在知识图谱实体中加入控制序列，使得机器人具备动作的推理的能力，能让机器人在面对实体的操作问题中具有更多的控制序列，增强机器人的执行力。

Description

一种基于场景知识图谱任务型机器人的控制方法

技术领域

本发明涉及机器人技术领域，具体涉及一种基于场景知识图谱任务型机器人的控制方法。

背景技术

现有机器人的控制技术中，大多数通过遥控或者是APP应用软件等方式来进行命令的固定输入，这种控制虽然能够较好的完成所给的任务，但是不够灵活，且控制的功能十分简单，如机器人左转右转，前进等基本的命令。随着语音识别和语言合成技术的发展，在人机交互中已经出现对自然语言的处理方法。在机器的控制上由指令转化为人类的自然语言，采用传统的知识库匹配的方法，能够理解一些简单的人类语言，但是在面临复杂的场景或者个性化的需求时随着机器人的知识库的缺失出现障碍，无法完成所给的任务。同时在理解自然语言的过程中，机器人能在一定程度上能够给出回答，但是随着控制指令的缺少，机器人并不能作进一步的动作反馈，机器人的控制并不能很好地协调人类所给出的命令。

在最开始知识图谱主要应用于文本信息处理和搜索引擎上面已经逐步的向其他领域发展，随着人工智能技术的发展，人们提出基于知识图谱的结构化数据来构建语音识别与语言理解的相关系统，能够较好地利用知识推理来模拟人获取新知识的过程，从而补全机器人没有的知识，但是随着机器人原有控制序列的缺失，虽然能给出任务目标，却缺少能够完成任务的命令，使得机器人在面临没有的控制缺失动作，从而无法完成任务。同时在复杂场景知识图谱的构建上，机器人并不能随着环境的改变而产生变化，仍然采用半自动化地方式进行环境的描述，无法通过获取环境特征信息，自动地构建知识图谱地图。

发明内容

针对现有技术的上述不足，本发明提供了一种基于知识图谱的复杂场景建立、结合拓扑地图和知识图谱的方式对环境进行信息描述的任务型机器人的控制方法。

为达到上述发明目的，本发明所采用的技术方案为：

提供一种基于场景知识图谱任务型机器人的控制方法，其包括以下步骤：

S1：以三元组的形式对复杂场景中各种实体的信息、属性和功能信息之间的关系进行存储，构建基于复杂场景的复杂场景知识图谱，三元组的数学模型为：R＝{S,P,O}，其中S、O均为实体，P表示两个实体之间的关系；

S2：建立基于复杂场景知识图谱的推理模型；

S3：建立机器人控制序列与知识图谱中实体之间的对应关系；

S4：通过状态转移的方式，调整机器人操作参数或控制序列，对已建立的机器人控制序列进行动作融合；

S5：在知识图谱的推理模型的基础上建立机器人动作推理模型；

S6：采用拓扑地图并结合知识图谱建立复杂场景中的环境模型，机器人获取现实环境中的实体特征，并结合知识图谱建立实体位置与实体的映射关系，获得这个实体的操作序列和属性；

S7：机器人的语音识别模块接收到控制语音，并处理成计算机能识别的语言，提取控制语音中的实体关系，转化成机器人需控制的目标和需完成的任务；

S8：将需控制的目标和需完成的任务输入知识图谱的推理模型和机器人动作推理模型中，生成控制目标的实体信息和控制序列；

S9：将控制目标的实体信息和控制序列输入环境模型中，获得控制目标的实体位置，产生机器人的控制序列；

S10：机器人通过控制序列，规划机器人路径，执行控制语音内的控制命令。

进一步地，动作推理模型为：

其中，R为实体与另一个实体关系的集合，r为实体与另一个实体的关系，X_x，k是第K个数r实体的0/1真值，c^r是权重，P_w为目标函数，x_r，_k为第k个数r实体的0/1真值，MBx代表的是目前可满足的知识库。

进一步地，步骤S4包括：

S41：利用机器人的传感器，对同一类属性的不同实体进行特征识别，获得不同实体之间的差异；获得不同实体之间的差异；

S42：不同实体之间的差异通过马尔可夫随机场进行实体的状态转移：

P＝(Y_v]X，Y_w，w≠v)＝P＝(Y_v|X，Y_w，w～v)

其中，X表示输入的实体属性，Y表示输出状态转移后的实体属性，w和v表示X和Y之间的关系。

进一步地，步骤S6包括：

S61：利用拓扑和栅格混合地图的方式建立机器人的移动环境的环境模型，拓扑和栅格混合地图的模型为：G＝(V,E)，其中，V表示机器人能到达的地点，E表示地点之间的连接关系，G表示整个的拓扑地图。

S62：机器人通过感知环境获取的实体信息与知识图谱中的实体进行匹配，并将建立的环境模型上传到云端，建立实体位置与实体的映射关系。

进一步地，基于复杂场景知识图谱的推理模型为：

A(X，Y)^B(Y，Z)＝C(X,Z)|W

其中，X，Y，Z是变量，A，B是实体与实体之间的关系，W是权重，所述权重表示该规则在推理过程中的重要程度，可以通过在不断地训练来改变权重W值，即：

P(I)是权重W，其中λ为规则的权重，而d(r)是推理中事实与预测结果的距离值，R′是规则的集合，通过复杂场景知识图谱的规则逻辑建立的推理模型。

本发明的有益效果为：本方案解决了目前机器人在面临复杂场景的识别困难与控制功能单一，同时在人机交互中机器人控制反馈与自然语言不协调的问题，在机器人的知识库缺少相应执行的控制序列下，无法对输入的语音命令进行执行。本发明基于知识图谱的复杂场景建立，结合拓扑地图和知识图谱的方式对环境信息进行描述，使得机器人面临复杂环境时能够自动地进行知识图谱的构建。

在实体的属性中加入机器人的控制序列，场景知识图谱与控制序列相融合的方式，使得机器人可以进行动作的推理，增加机器人的可执行方式，解决在机器人知识库缺少的情况下也能完成给定的任务，能够极大地提升机器人的工作能力。同时采用语言输入控制机器人的方式，在人机的交互方式上更加地人性化和智能化。

附图说明

图1为基于场景知识图谱任务型机器人的控制方法的原理图。

具体实施方式

下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

如图1所示，基于场景知识图谱任务型机器人的控制方法包括以下步骤：

S1：以三元组的形式对复杂场景中各种实体的信息、属性和功能信息之间的关系进行存储，构建基于知识图谱的复杂场景知识库，三元组的数学模型为：R＝{S,P,O}，其中S表示实体，比如茶杯，O表示另外一个实体，比如是茶叶，P表示实体与另一个实体之间的关系，比如泡茶；

S2：建立基于复杂场景知识图谱的推理模型：

A(X，Y)^B(Y，Z)＝C(X,Z)|W

其中，X，Y，Z是变量，A，B是实体与实体之间的关系，W是权重，表示该规则在推理过程中的重要程度，可以通过在不断地训练来改变权重W值，即：

P(I)是是权重W，其中λ为规则的权重，而d(r)是推理中事实与预测结果的距离值，R′是规则的集合，通过复杂场景知识图谱的规则逻辑建立的推理模型。

S3：建立机器人控制序列与知识图谱中实体之间的对应关系；

机器人的动作由基本的命令组成，在实体中加入机器人的控制命令序列属性，在不同的实体加入相同的控制序列，代表不同的任务。

表1机器人控制序列分析

如表1所示，A，B代表任务，控制序列1，2，3代表机器人基本的控制命令，将A，B添加到知识图谱中的实体属性中去，当对机器人进行动作的规划时，可以结合知识推理进行动作与自然语言的协调，做到知行合一。比如执行倒水这一操作，当机器人无法找到茶杯完成任务，会进行动作推理补全知识库中具有相同概念或者具有相同的可控制序列的实体来完成任务。

S4：通过状态转移的方式，调整机器人操作参数或控制序列，对已建立的机器人控制序列进行动作融合；

步骤S4具体包括：

S41：对同一类属性的不同实体通过传感器进行特征识别，获得不同实体之间的差异；

S42：不同实体之间的差异通过马尔可夫随机场进行实体的状态转移，进而实现操作参数或控制序列的调整：

P＝(Y_v|X，Y_w，w≠v)＝P＝(Y_v|X，Y_w，w～v)

其中，X表示输入的实体属性，Y表示输出状态转移后的实体属性，w和v表示X和Y之间的关系。

茶杯与咖啡杯都属于一类的实体概念，具有相似的一类属性，比如它的外形相同，能够进行相同的操作完成任务，例如倒水，且机器人的控制序列具有对应的实体关系联系。因此在机器人对现实中的实体进行特征识别时，当具有相同的操作序列时，可以通过训练机器人的传感器获取实体之间的部分差异，进行参数的微调能够完成。状态转移仅仅只需要调整两者之间的关系数据差异就可以完成相应的任务，从而提高机器人的事务能力。

S5：在知识图谱的推理模型的基础上建立机器人动作推理模型；在面对知识图谱缺少对应的实体关系和控制序列时，需要机器人对自然语言与知识图谱的动作推理，因此需要建立逻辑规则模型来进行推理。在已知的知识图谱中对机器人的控制逻辑规则进行挖掘，尽可能地提供可能多的操作组合，利用概率逻辑推理模型将挑选最大的逻辑规则到推理中去。动作推理模型为：

其中，R为实体与另一个实体关系的集合，r为实体与另一个实体的关系，X_x，k是第K个数r实体的0/1真值，c^r是权重，P_w为目标函数，x_r，k为第k个数r实体的0/1真值，MBx代表的是目前可满足的知识库。

通过一类方法从概念的方式枚举机器人可能的操作方式，在对A(Y，Z)通过添加B(Z，W)子句的方式得到新的逻辑规则过程：A(Y，Z)∧B(Z，W)＝C(X，W)。其中A，B代表两种实体或者具有一类实体的概念，Y，Z，W代表它们各自的规则，可推理新的逻辑规则C。

S6：采用拓扑地图并结合知识图谱建立复杂场景中的环境模型，机器人获取现实环境中的实体特征，并结合知识图谱建立实体位置与实体的映射关系，获得这个实体的操作序列和属性；

具体包括步骤：

S61：利用拓扑和栅格混合地图的方式建立机器人的移动环境的环境模型，拓扑和栅格混合地图的模型为：G＝(V,E)，其中，V表示机器人能到达的地点，E表示地点之间的连接关系，G表示整个的拓扑地图。

S62：机器人通过感知环境获取的实体信息与知识图谱中的实体进行匹配，并将建立的环境模型上传到云端，建立实体位置与实体的映射关系。

S7：机器人的语音识别模块接收到控制语音，并处理成计算机能识别的语言，提取控制语音中的实体关系，转化成机器人需控制的目标和需完成的任务；

S8：将需控制的目标和需完成的任务输入知识图谱的推理模型和机器人动作推理模型中，生成控制目标的实体信息和控制序列；

S9：将控制目标的实体信息和控制序列输入环境模型中，获得控制目标的实体位置，产生机器人的控制序列；

S10：机器人通过控制序列，规划机器人路径，执行控制语音内的控制命令。

本方案采用语音输入的人机交互方式，结合自然语言处理，面向事物的面描述进行任务的处理，在达到交互逻辑的基础上能够完成所给定的任务。基于知识图谱的结构化数据来构建语音识别与语言理解的相关系统，能够较好地利用知识推理来模拟人获取新知识的过程，从而可以补充机器人知识库没有的特性信息。在知识图谱实体中加入控制序列，使得机器人具备动作的推理的能力，能让机器人在面对实体的操作问题中具有更多的控制序列，增强机器人的执行力。

本方案解决了目前机器人在面临复杂场景的识别困难与控制功能单一，同时在人机交互中机器人控制反馈与自然语言不协调的问题，在机器人的知识库缺少相应执行的控制序列下，无法对输入的语音命令进行执行。本发明基于知识图谱的复杂场景建立，结合拓扑地图和知识图谱的方式对环境信息进行描述，使得机器人面临复杂环境时能够自动地进行知识图谱的构建。

在实体的属性中加入机器人的控制序列，场景知识图谱与控制序列相融合的方式，使得机器人可以进行动作的推理，增加机器人的可执行方式，解决在机器人知识库缺少的情况下也能完成给定的任务，能够极大地提升机器人的工作能力。同时采用语言输入控制机器人的方式，在人机的交互方式上更加地人性化和智能化。

Claims (4)

1.一种基于场景知识图谱任务型机器人的控制方法，其特征在于，包括以下步骤：

S1：以三元组的形式对复杂场景中各种实体的信息、属性和功能信息之间的关系进行存储，构建基于复杂场景的复杂场景知识图谱，三元组的数学模型为：R＝{S，P，O}，其中S、O均为实体，P表示两个实体之间的关系；

S2：建立基于复杂场景知识图谱的推理模型；

S3：建立机器人控制序列与知识图谱中实体之间的对应关系；

S4：通过状态转移的方式，调整机器人操作参数或控制序列，对已建立的机器人控制序列进行动作融合；

S5：在知识图谱的推理模型的基础上建立机器人动作推理模型，所述动作推理模型为：

其中，R为实体与另一个实体关系的集合，r为实体与另一个实体的关系，X_x，k是第K个数r实体的0/1真值，c^r是权重，P_w为目标函数，x_r，k为第k个数r实体的0/1真值，MBx代表的是目前可满足的知识库；

S6：结合拓扑地图和知识图谱建立复杂场景中的环境模型，机器人获取现实环境中的实体特征，并结合知识图谱建立实体位置与实体的映射关系，获得这个实体的操作序列和属性；

S7：机器人的语音识别模块接收到控制语音，并处理成计算机能识别的语言，提取控制语音中的实体关系，转化成机器人需控制的目标和需完成的任务；

S8：将需控制的目标和需完成的任务输入知识图谱的推理模型和机器人动作推理模型中，生成控制目标的实体信息和控制序列；

S9：将控制目标的实体信息和控制序列输入环境模型中，获得控制目标的实体位置，产生机器人的控制序列；

S10：机器人通过控制序列，规划机器人路径，完成执行控制语音内的控制命令。

2.根据权利要求1所述的基于场景知识图谱任务型机器人的控制方法，其特征在于，所述步骤S4包括：

S41：利用机器人的传感器，对同一类属性的不同实体进行特征识别，获得不同实体之间的差异；

S42：不同实体之间的差异通过马尔可夫随机场进行实体的状态转移：

P＝(Y_v|X，Y_w，w≠v)＝P＝(Y_v|X，Y_w，w～v)

其中，X表示输入的实体属性，Y表示输出状态转移后的实体属性，w和v表示X和Y之间的关系。

3.根据权利要求1所述的基于场景知识图谱任务型机器人的控制方法，其特征在于，所述步骤S6包括：

S61：利用拓扑和栅格混合地图的方式建立机器人的移动环境的环境模型，拓扑和栅格混合地图的模型为：

G＝(V，E)

其中，V表示机器人能到达的地点，E表示地点之间的连接关系，G表示整个的拓扑地图；

S62：机器人通过感知环境获取的实体信息与知识图谱中的实体进行匹配，并将建立的环境模型上传到云端，建立实体位置与实体的映射关系。

4.根据权利要求1所述的基于场景知识图谱任务型机器人的控制方法，其特征在于，所述基于复杂场景知识图谱的推理模型为：

A(X，Y)^B(Y，Z)＝C(X，Z)|W

其中，X，Y，Z是变量，A，B是实体与实体之间的关系，W是权重，所述权重表示规则在推理过程中的重要程度，可以通过在不断地训练来改变权重W值，即：

P(I)是权重W，其中λ为规则的权重，而d(r)是推理中事实与预测结果的距离值，R′是规则的集合，通过复杂场景知识图谱的规则逻辑建立的推理模型。

Images