CN115946128B - 一种基于层级状态机的人机协作策略的实现方法 - Google Patents

Abstract

本发明提出了一种基于层级状态机的人机协作策略的实现方法，包括：步骤S1，根据任务需求进行概念定义，构建层级状态机；根据构建完成的层级状态机，由操作员与机器人协作，共同处理任务执行过程中的各种突发事件，包括：步骤S21，任务执行过程中发生任务定义时未考虑到的突发事件；步骤S22，判断所述突发事件是否超出机器人自治能力；如果是则执行步骤S23，否则执行步骤S24；步骤S23，操作员干预行为变更，然后执行步骤S24；步骤S24，行为变更；步骤S25，机器人继续执行任务，返回步骤S21；步骤S3，任务执行完成。

Description

一种基于层级状态机的人机协作策略的实现方法

技术领域

本发明涉及工业机器人技术领域，特别涉及一种基于层级状态机的人机协作策略的实现方法。

背景技术

近年来，机器人在各个领域的应用呈现出广度与深度都不断增大的趋势，广度表现在应用场景的不断扩展，深度表现在任务难度的不断加大。在有些场景下，人们希望机器人能够自主地执行预定的程序，如工业流水线，机器人在面对此类结构化场景下时，由于具有明确的执行方案，所以能够依靠自身高速高精度高可重复性的特点高效地完成任务，在执行工程中基本不需要人类的干预。但是另一些场景下，由于复杂且不断变化的现场环境，如灾难救援、航天器空间维修、深海探测等，使得机器人很少能够按照预先编写的程序顺利执行，这会导致机器人的鲁棒性特别低，微小的环境改变能够轻易地导致整个任务的中断与失败，这时必须依靠人类对突发事件的判断和决策能力，以实现任务完成度最大化的目标。但是如果设计成完全依赖操作人员一步一步地发送指令，不赋予机器人任何自主执行的能力，就会陷入另一个极端，机器人退化为遥控操作臂，不仅导致工作效率低下，而且容易因为通讯带宽限制、人为失误等多种因素造成任务失败。所以人机协作是解决非结构化场景下机器人任务执行问题最有潜力的方案之一。

但是人机协作中的“协作”到底表现在什么地方，如何定义协作，哪里需要协作，如何实现协作等等一系列问题目前都没有统一的答案，每个机器人厂商都有自己的理解，能否对这一系列问题进行合理定义，是人机协作是否能够真正发挥其优势的关键所在。目前，人机协作在实践中还主要存在三个问题，首先是操作人员的注意力分配问题，操作人员必须在同一个时刻将精力分给任务编程和状态监控，这往往会导致操作人员忽视一些关键事件，导致操作员发出的指令没能跟上实际的变化。其次是如何保证操作人员能够对任务进行灵活的控制，使其既可以保证修改任务程序不会影响机器人完成正在执行的正确动作，又可以随时暂停当前动作以免执行到还未被修改的关键点而引发错误。最后一点是使如何保证修改后的任务程序能够没有BUG，因为在线修改的程序由于时间紧迫、现场复杂等原因往往更容易包含潜在错误，而且不可能在执行前进行完备的测试，所以如何保证这种错误概率较高的任务程序在任务现场能够尽可能低地出现BUG是第三个关键问题。

目前，工业界还没有一套既允许操作人员和机器人进行灵活协，又能够较完善地解决上述三个关键问题的人机协作策略。

发明内容

本发明的目的旨在至少解决所述技术缺陷之一。

为此，本发明的目的在于提出一种基于层级状态机的人机协作策略的实现方法。

为了实现上述目的，本发明面的实施例提供一种基于层级状态机的人机协作策略的实现方法，包括如下步骤：

步骤S1，根据任务需求进行概念定义，构建层级状态机；

步骤S2，根据构建完成的层级状态机，由操作员与机器人协作，共同处理任务执行过程中的各种突发事件，包括：

步骤S21，任务执行过程中发生任务定义时未考虑到的突发事件；

步骤S22，判断所述突发事件是否超出机器人自治能力；如果是则执行步骤S23，否则执行步骤S24；

步骤S23，操作员干预行为变更，然后执行步骤S24；

步骤S24，行为变更；

步骤S25，机器人继续执行任务，返回步骤S21；

步骤S3，任务执行完成。

进一步，在所述步骤S1中，1）将机器人与环境的交互方式定义为“行为”B，每一个B与一个高层级的状态机B_SM相关联，机器人在各个行为之间可以进行状态转移；

2）将机器人所执行的某种动作抽象为“状态”s，s∈S，S是描述机器人能够完成的所有动作的集合；状态s是行为B的子状态；每个状态s都定义了一组可能的“结果“s_Oc，当机器人的某个状态s处于活跃状态的时候，持续监控当前机器人的性能，发布未知事件以及返回执行结果oc∈s_Oc。

进一步，在所述步骤S1中，状态机SM=(S_SM,t_sm)包含一组状态的集合S_SM和对应的转换函数t_SM；s(i)∈S_SM是状态s∈S的实例化；S是一个状态库，机器人所有的动作在S中都有相应的元素，由机器人的能力确定，S_SM是S某个子集的实例化，由当前的场景及任务确定；转换函数t_sm的定义为S_SM×s_Oc→S_SM，确定接下来哪个s(i)为active状态。

进一步，在所述步骤S1中，每一个状态机SM都定义了一个用户数据D_SM，表现为一系列的“键K_D,SM → 值V_D,SM”的映射，状态s(i)定义了自己所需的输入键s_I和自己所能提供的输出键s_o；状态A和状态B之间的数据交换被定义为f (k_I,sB) | k_I,sB= k_O,sA， k_I,sB ∈ s_I是 s^(B) 的一个输入键， k_O,sA ∈ s_O 是 s^(A) 的一个输出键。

进一步，在所述步骤S2中，在状态机中，状态的每个结果oc⁽ⁱ⁾∈s_Oc ⁽ⁱ⁾都确定了一个当前状态的自治保护值a_oc ⁽ⁱ⁾，其作用是阻塞接下来的状态转移t_oc,i：= t_SM(s⁽ⁱ⁾，oc⁽ⁱ⁾)；

在执行期间，当且仅当a_oc ⁽ⁱ⁾<阈值a_SM时，允许执行状态转移t_oc，i，当a⁽ⁱ⁾ _oc>a_SM时，不允许自动触发t_oc，i，此时需要操作员执行明确的手动确认。

进一步，在所述步骤S2中，

操作员在一个状态s⁽ⁱ⁾的运行过程中手动选择某个结果oc⁽ⁱ⁾，从而将下一步的状态转移确定出来，实现机器人的自治权完全可调的目的，既可选择通过操作员手动执行所有过渡，剥夺机器人全部自治权，也可将决策权完全交给机器人，实现全自治。

进一步，在所述步骤S2中，

当进行状态转换时，需要为状态机S_SM添加新的状态且移除相对应的旧状态，即S’_SM：=S_SM ⁽⁺⁾∪ S_SM\S_SM ⁽⁻⁾，与此同时，状态之间的连接关系也要发生改变，包括由转换函数表达的控制流与由用户数据键表达的数据流；为了保证运行时修改的安全，所有在修改时加入的键都加入到初始默认值库中，保证即使存在位于写入操作之前的读取操作，也会因为处于默认值状态而使得读取操作是安全的。

进一步，在所述步骤S2中，

从操作员开始进行由B到B’的程序修改，到系统开始执行由B到B’的行为变更，这段时间被定义为过渡时间；在过渡时间内，行为B会从当前活跃状态s_a ⁽ⁱ⁾进入到状态s_a ⁽ⁱ⁺¹⁾：=t_SM（s⁽ⁱ⁾，oc⁽ⁱ⁾），此时，已经修改好的目标行为B’就失去了有效性，只能通过根据过渡时间内发生的一系列变化而再次修正来重获有效性。

进一步，在所述步骤S2中，

当操作人员准备开始修改行为程序时，首先需要为当前活跃状态上锁，所以流程图中对是否允许变更最重要的判断就是检查当前活跃状态是否存在锁保护，如果存在则可以进行行为变更，如果没有锁保护则不允许进行行为变更。

进一步，在所述步骤S2中，预先将机器人的可用动作集合定义为S，具体行为修改采用代码自动生成的方式。

根据本发明实施例的基于层级状态机的人机协作策略的实现方法，在行为变更时使用的状态锁，并且通过预先定义状态集合来实现行为修改的自动代码生成。本发明能够有效地将机器人与人类操作员各自的优势结合在一起，最大化地完成任务；理论完备，通过状态锁的方式避免了由于过渡时间带来的一致性问题；通过转移阻塞机制能够将机器人的自治权灵活地控制在0到无穷大之间；通过代码自动生成减小了人为失误的可能性。

本发明采用层级状态机的方法实现人机协作，通过对状态机中各个状态间切换策略的设计，使得机器人既拥有一定的自主运行能力，又充分发挥了人对现场的把控决策能力。本发明的目的就是借助人类快速的反应与决策能力，帮助机器人不但能够尽可能多地保留自主执行的能力，又能够通过人类的协助，灵活地适应运行期间种种潜在障碍，最大化地完成任务。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明实施例的基于层级状态机的人机协作策略的实现方法的流程图；

图2为根据本发明实施例的各个状态转换的示意图；

图3为根据本发明实施例的操作员与机器人协作的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

如图1所示，本发明实施例的基于层级状态机的人机协作策略的实现方法，包括如下步骤：

步骤S1，根据任务需求进行概念定义，构建层级状态机。

具体的，如图2所示，根据任务构建状态机，定义状态机中各个状态及状态转换规则等，包括如下步骤：

1）将机器人与环境的交互方式定义为“行为”B，每一个B与一个高层级的状态机B_SM相关联，机器人在各个行为之间可以进行状态转移。

2）将机器人所执行的某种动作抽象为“状态”s，s∈S，S是描述机器人能够完成的所有动作的集合。状态s是行为B的子状态。每个状态s都定义了一组可能的“结果“s_Oc，当机器人的某个状态s处于活跃状态的时候，能够持续监控当前机器人的性能，发布未知事件以及返回执行结果oc∈s_Oc。

3）状态机SM=(S_SM,t_sm)包含一组状态的集合S_SM和对应的转换函数t_SM。在具体的应用中，s(i)∈S_SM是状态s∈S的实例化。集合S_SM与集合S的不同在于，S是一个状态库，机器人所有的动作在S中都有相应的元素，由机器人的能力确定，S_SM是S某个子集的实例化，由当前的场景及任务确定。S_SM是可以在执行过程中改变的，而S是不可被改变的。转换函数t_sm的定义为S_SM×s_Oc→S_SM，确定了接下来哪个s(i)为active状态。

4）每一个状态机SM都定义了一个用户数据D_SM，表现为一系列的“键K_D,SM → 值V_D,SM”的映射，状态s(i)定义了自己所需的输入键s_I和自己所能提供的输出键s_o。状态A和状态B之间的数据交换被定义为f (k_I,sB) | k_I,sB= k_O,sA， k_I,sB ∈ s_I 是 s^(B) 的一个输入键，k_O,sA ∈ s_O 是 s^(A) 的一个输出键。

步骤S2，根据构建完成的层级状态机，由操作员与机器人协作，共同处理任务执行过程中的各种突发事件。

步骤S21，任务执行过程中发生任务定义时未考虑到的突发事件；

步骤S22，判断所述突发事件是否超出机器人自治能力；如果是则执行步骤S23，否则执行步骤S24；

步骤S23，操作员干预行为变更，然后执行步骤S24；

步骤S24，行为变更；

步骤S25，机器人继续执行任务，返回步骤S21。

要实现机器人与操作员之间的协作必须赋予机器人一定的自治权，这种自治权应该是可以根据不同情况而改变的，由于提前提供了若干级别所需的自治权，所以采用自适应自治级别有助于在一个行为内部或两个行为之间进行必要的自主决策。同时，在任务执行期间，操作员能够调整机器人的自治权，从而使其能够保证自行做出的决策都是安全的，一旦遇到自主决策所界定的安全范围之外的决策时，则交给操作员来负责。此外，操作员应该具有无限权力，以保证无论机器人行为如何发展，操作员都能够在必要时候强制接管机器人的行为。

为了实现操作员能够调整机器人的自治权，在状态机中，状态的每个结果oc⁽ⁱ⁾∈s_Oc ⁽ⁱ⁾都确定了一个当前状态的自治保护值a_oc ⁽ⁱ⁾，它的作用是阻塞接下来的状态转移t_oc,i：=t_SM(s⁽ⁱ⁾，oc⁽ⁱ⁾)。在执行期间，当且仅当a_oc ⁽ⁱ⁾<阈值a_SM时，允许执行状态转移t_oc，i，当a⁽ⁱ⁾ _oc>a_SM时，不允许自动触发t_oc，i，此时需要操作员执行明确的手动确认。这个机制保证了一个状态的结果是非常明确且可靠时才执行状态转移。此外，操作员可以在一个状态s⁽ⁱ⁾的运行过程中手动选择某个结果oc⁽ⁱ⁾，从而将下一步的状态转移确定出来，这样就可以实现机器人的自治权完全可调的目的，既可以选择通过操作员手动执行所有过渡，剥夺机器人全部自治权，也可以将决策权完全交给机器人，实现全自治。

当进行状态转换时，需要为状态机S_SM添加新的状态且移除相对应的旧状态，即S’_SM：=S_SM ⁽⁺⁾∪ S_SM\S_SM ⁽⁻⁾，与此同时，状态之间的连接关系也要发生改变，包括由转换函数表达的控制流与由用户数据键表达的数据流。对于数据流来说，每一个用户数据键都有两个来源，一个是初始默认值库，另一个是别的状态结束执行后的输出值，它依赖于这个状态具体的执行结果。为了保证运行时修改的安全，所有在修改时加入的键都应该加入到初始默认值库中，这样保证了即使存在位于写入操作之前的读取操作，也会因为处于默认值状态而使得读取操作是安全的。

如图3所示，当在操作员干预下进行行为变更时，最关键的步骤是对可否变更的判断，因为不恰当的行为变更会对状态的一致性造成严重的影响，从而使机器人进入错误状态，最终导致任务的失败。

从操作员开始进行由B到B的程序修改，到系统开始执行由B到B’的行为变更，这段时间可以被定义为过渡时间。在过渡时间内，行为B可能会从当前活跃状态s_a ⁽ⁱ⁾进入到状态s_a ⁽ⁱ⁺¹⁾：=t_SM（s⁽ⁱ⁾，oc⁽ⁱ⁾），此时，已经修改好的目标行为B’就失去了有效性，只能通过根据过渡时间内发生的一系列变化而再次修正来重获有效性。因为如果不进行修正，假如B’中所定义的状态转换为 s^(k):= t_SM(s⁽ⁱ⁾, oc⁽ⁱ⁾) ，k!=i+1, 在执行B到B’的行为转换时，就会误将s^(k)而非s⁽ⁱ⁺¹⁾置为当前活跃状态，从而引发错误。但是临时修正已经确定好的B’并不一定是一定能够实现的，甚至’还会带来造成额外的错误，如当s_a ⁽ⁱ⁺¹⁾∈ S_SM ⁽⁻⁾，B’就不可能被修正，或者在再次修正的过程中当前活跃状态又发生了变化，则需要再一次进行修正，这样就永远无法保证下一次的修正是有效的。所以本专利采用锁定当前活跃状态的方法来解决此问题。当给当前活跃状态加上锁后，即使当前状态对应的动作已经执行完毕，依然不会触发状态转移而进入下一个状态，而是将当前状态继续保持在活跃状态，从而使得过渡时间内不会出现状态错乱的问题。这样既能够给予操作员足够的时间完成行为变更的代码修改工作，又可以有效避免上述的一致性问题。

当操作人员准备开始修改行为程序时，首先需要为当前活跃状态上锁，所以流程图中对是否允许变更最重要的判断就是检查当前活跃状态是否存在锁保护，如果存在则可以进行行为变更，如果没有锁保护则不允许进行行为变更。

由于预先将机器人的可用动作集合定义为S，所以具体的行为修改可采用代码自动生成的方式，既可以加快任务修改速度，又可以降低操作人员的编程负担，降低BUG出现的概率。

步骤S3，任务执行完成。

根据本发明实施例的基于层级状态机的人机协作策略的实现方法，在行为变更时使用的状态锁，并且通过预先定义状态集合来实现行为修改的自动代码生成。本发明能够有效地将机器人与人类操作员各自的优势结合在一起，最大化地完成任务；理论完备，通过状态锁的方式避免了由于过渡时间带来的一致性问题；通过转移阻塞机制能够将机器人的自治权灵活地控制在0到无穷大之间；通过代码自动生成减小了人为失误的可能性。

本发明采用层级状态机的方法实现人机协作，通过对状态机中各个状态间切换策略的设计，使得机器人既拥有一定的自主运行能力，又充分发挥了人对现场的把控决策能力。本发明的目的就是借助人类快速的反应与决策能力，帮助机器人不但能够尽可能多地保留自主执行的能力，又能够通过人类的协助，灵活地适应运行期间种种潜在障碍，最大化地完成任务。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。本发明的范围由所附权利要求及其等同限定。

Claims (4)

1.一种基于层级状态机的人机协作策略的实现方法，其特征在于，包括如下步骤：

步骤S1，根据任务需求进行概念定义，构建层级状态机；

1）将机器人与环境的交互方式定义为“行为”B，每一个B与一个高层级的状态机B_SM相关联，机器人在各个行为之间可以进行状态转移；

2）将机器人所执行的某种动作抽象为“状态”s，s∈S，S是描述机器人能够完成的所有动作的集合；状态s是行为B的子状态；每个状态s都定义了一组可能的“结果“s_Oc，当机器人的某个状态s处于活跃状态的时候，持续监控当前机器人的性能，发布未知事件以及返回执行结果oc∈s_Oc；

状态机SM=(S_SM,t_sm)包含一组状态的集合S_SM和对应的转换函数t_SM；s(i)∈S_SM是状态s∈S的实例化；S是一个状态库，机器人所有的动作在S中都有相应的元素，由机器人的能力确定，S_SM是S某个子集的实例化，由当前的场景及任务确定；转换函数t_sm的定义为S_SM×s_Oc→S_SM，确定接下来哪个s(i)为active状态；

步骤S2，根据构建完成的层级状态机，由操作员与机器人协作，共同处理任务执行过程中的各种突发事件，包括：

步骤S21，任务执行过程中发生任务定义时未考虑到的突发事件；

步骤S22，判断所述突发事件是否超出机器人自治能力；如果是则执行步骤S23，否则执行步骤S24；

步骤S23，操作员干预行为变更，然后执行步骤S24；

步骤S24，行为变更；

步骤S25，机器人继续执行任务，返回步骤S21；

其中，在状态机中，状态的每个结果oc⁽ⁱ⁾∈s_Oc ⁽ⁱ⁾都确定了一个当前状态的自治保护值a_oc ⁽ⁱ⁾，其作用是阻塞接下来的状态转移t_oc,i：= t_SM(s⁽ⁱ⁾，oc⁽ⁱ⁾)；

在执行期间，当且仅当a_oc ⁽ⁱ⁾ <阈值a_SM时，允许执行状态转移t_oc，i，当a⁽ⁱ⁾ _oc >a_SM时，

不允许自动触发t_oc，i，此时需要操作员执行明确的手动确认；操作员在一个状态s⁽ⁱ⁾的运行过程中手动选择某个结果oc⁽ⁱ⁾，从而将下一步的状态转移确定出来，实现机器人的自治权完全可调的目的，既可选择通过操作员手动执行所有过渡，剥夺机器人全部自治权，也可将决策权完全交给机器人，实现全自治；

当进行状态转换时，需要为状态机S_SM添加新的状态且移除相对应的旧状态，即S’_SM：=S_SM ⁽⁺⁾∪ S_SM\S_SM ^(﹣)，与此同时，状态之间的连接关系也要发生改变，包括由转换函数表达的控制流与由用户数据键表达的数据流；对于数据流来说，每一个用户数据键都有两个来源，一个是初始默认值库，另一个是别的状态结束执行后的输出值，它依赖于这个状态具体的执行结果；为了保证运行时修改的安全，所有在修改时加入的键都加入到初始默认值库中，保证即使存在位于写入操作之前的读取操作，也会因为处于默认值状态而使得读取操作是安全的；

从操作员开始进行由B到B’的程序修改，到系统开始执行由B到B’的行为变更，这段时间被定义为过渡时间；在过渡时间内，行为B会从当前活跃状态s_a ⁽ⁱ⁾进入到状态s_a ⁽ⁱ⁺¹⁾：=t_SM（s⁽ⁱ⁾，oc⁽ⁱ⁾），此时，已经修改好的目标行为B’就失去了有效性，只能通过根据过渡时间内发生的一系列变化而再次修正来重获有效性；

当给当前活跃状态加上锁后，即使当前状态对应的动作已经执行完毕，依然不会触发状态转移而进入下一个状态，而是将当前状态继续保持在活跃状态，从而使得过渡时间内不会出现状态错乱的问题；

步骤S3，任务执行完成。

2.如权利要求1所述的基于层级状态机的人机协作策略的实现方法，其特征在于，在所述步骤S1中，

每一个状态机SM都定义了一个用户数据D_SM，表现为一系列的“键K_D,SM → 值V_D,SM”的映射，状态s(i)定义了自己所需的输入键s_I和自己所能提供的输出键s_o；状态A和状态B之间的数据交换被定义为f (k_I,sB ) | k_I,sB = k_O,sA， k_I,sB∈ s_I 是 s^(B)的一个输入键， k_O,sA ∈s_O是 s^(A) 的一个输出键。

3.如权利要求1所述的基于层级状态机的人机协作策略的实现方法，其特征在于，在所述步骤S2中，

当操作人员准备开始修改行为程序时，首先需要为当前活跃状态上锁，所以流程图中对是否允许变更最重要的判断就是检查当前活跃状态是否存在锁保护，如果存在则可以进行行为变更，如果没有锁保护则不允许进行行为变更。

4.如权利要求1所述的基于层级状态机的人机协作策略的实现方法，其特征在于，在所述步骤S2中，预先将机器人的可用动作集合定义为S，具体行为修改采用代码自动生成的方式。

Images