CN112587378B - 基于视觉的外骨骼机器人足迹规划系统、方法及存储介质 - Google Patents

Abstract

本发明公开了一种基于视觉的外骨骼机器人足迹规划系统，包括：意图识别模块，用于捕捉外骨骼佩戴者的肢体动作或声音，得出目标的位置和方向；地形感知模块，用于获取环境的地形数据，并生成地形的立体地图；足迹规划模块，用于根据目标的位置和方向、地形的立体地图，计算出最优的足迹序列；全息显示模块，用于在现实世界的空间坐标系中显示计算出的足迹序列。本发明还公开了一种基于视觉的外骨骼机器人足迹规划方法和存储介质。本发明结合外骨骼佩戴者的需求和实际地形计算出最优的足迹序列，并通过全息影像在现实世界的空间坐标系中展示给外骨骼佩戴者，为外骨骼佩戴者指示下一步的立足点，增加了穿戴者的安全感，能很好地应用在各种未知场景。

Description

基于视觉的外骨骼机器人足迹规划系统、方法及存储介质

技术领域

本发明涉及外骨骼机器人技术领域，尤其涉及一种基于视觉的外骨骼机器人足迹规划系统、方法及存储介质。

背景技术

世界上有大量的人由于疾病或车祸而出现下肢运动障碍，这意味着他们没有下肢运动能力，或者说他们的下肢运动能力很弱。另一方面，随着世界进入老龄化社会，老年人下肢运动障碍的护理问题日益突出。下肢外骨骼机器人是解决下肢残疾和老年人助行问题最有潜力的方法之一，有望帮助截瘫患者在日常生活中再次行走，能显著提高下肢功能障碍患者的运动能力和生活质量

与智能假肢不同，外骨骼机器人主要集中在与穿戴者的身体耦合与合作上，而不是某些肢体的替换，外骨骼机器人与穿戴者是紧耦合状态，理解穿戴者的行为意图对于外骨骼至关重要。

目前，意图理解的常用方法是在两根拐杖上使用按钮，穿戴者通过按钮来引导外骨骼移动想要移动的腿，其步态是预先设定的，不能应用于复杂地形；借助表面肌电图(SEMG)虽然可以自然反映人类运动的意图，然而，一些严重截瘫患者无法从下肢采集肌电图信号；借助脑电图(EEG)信号虽然能反映运动的真实意图，且不存在信号无法获得的情况，然而，脑电信号的维数高、噪声大、动态性强，使得此种方法无法在日常中实际被应用。

另外，足迹规划是外骨骼应用的另一个难点，传统的视觉足迹规划都是由机器人来完成的，在已经看到或事先布置有外部视觉传感器的场景中行走，而不是在未知环境中行走，外骨骼机器人的步态基本上是预置的，不能应用于动态场景、转弯等场景，这会导致轨迹规划比较笨拙。因此，在未知场景中，快速规划足迹序列是一个巨大的挑战。

发明内容

鉴于现有技术存在的不足，本发明提供了一种基于视觉的外骨骼机器人足迹规划系统、方法及存储介质，可以完美解决意图理解和足迹规划这两大难点，在空间坐标系中精确显示目标点所在的位置和方向，根据地形识别规划足迹序列，并将足迹序列规划的结果直观地显示在现实世界的空间上。

为了实现上述的目的，本发明采用了如下的技术方案：

一种基于视觉的外骨骼机器人足迹规划系统，包括：

意图识别模块，用于捕捉外骨骼佩戴者的肢体动作或声音，得出目标的位置和方向；

地形感知模块，用于获取环境的地形数据，并生成地形的立体地图；

足迹规划模块，用于根据所述意图识别模块得到的目标的位置和方向、所述地形感知模块得到的地形的立体地图，计算到达目标位置的足迹序列；

全息显示模块，用于在现实世界的空间坐标系中向外骨骼佩戴者显示计算出的所述足迹序列。

作为其中一种实施方式，所述意图识别模块与所述全息显示模块集成于混合现实显示装置上，所述混合现实显示装置固定在外骨骼佩戴者的头部。

作为其中一种实施方式，所述肢体动作包括凝视、手势的至少一种。

作为其中一种实施方式，所述足迹规划模块包括：

路径规划模块，用于根据目标的位置和方向，规划外骨骼质心的近似轨迹；

脚步规划模块，用于根据外骨骼质心的近似轨迹，规划外骨骼的左右脚的足迹。

作为其中一种实施方式，所述路径规划模块包括：

轨道生成模块，用于引入参数化的三阶贝塞尔曲线，生成从初始状态到目标状态的任意拐点的非完整轨道；

轨道筛选模块：用于针对每个拐点，从所述轨道生成模块生成的多个非完整轨道中挑选出最大曲率最小且可行的轨迹。

作为其中一种实施方式，所述脚步规划模块包括：

搜索树构造模块，用于建立启发式搜索树，在启发式搜索树中，每个候选立足点由一个特征向量来定义，所述特征向量包括跟踪特征分量，所述跟踪特征分量用于表示脚的放置角度；

存储模块，存储有足迹参照标准，所述足迹参照标准包括跟踪特征分量阈值；

搜索树修剪模块，用于根据所述足迹参照标准从所述启发式搜索树中筛选出最优的候选立足点形成足迹序列，包括跟踪特征修剪模块，所述跟踪特征修剪模块用于在所述跟踪特征分量超过所述跟踪特征分量阈值时，剔除候选立足点对应的足迹。

作为其中一种实施方式，所述搜索树构造模块中，所述特征向量还包括地形特征分量和步进特征分量，所述地形特征分量用于描述足部放置的地形，所述步进特征分量用于编码当前脚的下一个状态；

所述足迹参照标准还包括地形特征分量阈值和步进特征分量阈值；

所述搜索树修剪模块还包括地形特征修剪模块和步进特征修剪模块，所述地形特征修剪模块用于在所述地形特征分量超过所述地形特征分量阈值时，剔除候选立足点对应的足迹，所述步进特征修剪模块用于在所述步进特征分量超过所述步进特征分量阈值时，剔除候选立足点对应的足迹。

作为其中一种实施方式，所述搜索树修剪模块还包括奖励模块，所述奖励模块用于参照所述足迹参照标准中各分量阈值对所述特征向量的对应分量与进行奖励，并根据每个候选立足点的各个特征向量的奖励的加权和选出最优的足迹序列。

本发明的另一目的在于提供一种基于视觉的外骨骼机器人足迹规划方法，包括：

根据捉外骨骼佩戴者的肢体动作或声音，得出目标的位置和方向；

获取环境的地形数据，并生成地形的立体地图；

根据得到的目标的位置和方向、地形的立体地图，计算到达目标位置的足迹序列；

在现实世界的空间坐标系中向外骨骼佩戴者显示计算出的所述足迹序列。

本发明的又一目的在于提供一种存储介质，所述存储介质内存储有多条指令，所述指令适于由处理器加载并执上述的基于视觉的外骨骼机器人足迹规划方法的步骤。

本发明通过结合外骨骼佩戴者的肢体动作或声音得到的目标的位置和方向和获取的地形的立体地图，计算出最优的足迹序列，并通过全息影像在现实世界的空间坐标系中展示给外骨骼佩戴者，为外骨骼佩戴者指示下一步的立足点，以此增加穿戴者的安全感，能很好地应用在各种未知场景。

附图说明

图1为本发明实施例的一种基于视觉的外骨骼机器人足迹规划系统的结构示意图；

图2为本发明实施例的混合现实显示装置的图像数据，其中，图中的a为穿戴者在混合现实显示装置中看到的视野，图中的b、c分别为混合现实显示装置拍摄的RGB图像和深度图像；

图3为本发明实施例的一种基于视觉的外骨骼机器人足迹规划系统的原理图；

图4为本发明实施例的一种足迹规划模块的结构框图；

图5为本发明实施例的一种路径规划过程的原理图；

图6为本发明实施例的足迹转换图的示意图；

图7为本发明实施例的A*搜索和贝塞尔曲线搜索的足迹规划效果对比图；

图8为本发明实施例的一种基于视觉的外骨骼机器人足迹规划方法的流程示意图；

图9为本发明实施例的一种足迹序列的计算过程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参阅图1，为本发明实施例的基于视觉的外骨骼机器人足迹规划系统，其主要包括意图识别模块1、地形感知模块2、足迹规划模块3和全息显示模块4，意图识别模块1用于捕捉外骨骼佩戴者的肢体动作或声音，得出目标的位置和方向，地形感知模块2用于获取环境的地形数据，并生成地形的立体地图，足迹规划模块3用于根据意图识别模块1得到的目标的位置和方向、地形感知模块2得到的地形的立体地图，计算到达目标位置的足迹序列，全息显示模块4用于在现实世界的空间坐标系中向外骨骼佩戴者显示计算出的足迹序列。

外骨骼具体具有分别对应双腿和双脚的关节部和用于控制动作的控制中枢，其脚掌的长度例如可以是300mm，宽度是130mm，可以适应大多数人体佩戴，控制中枢可以集成在外骨骼关节部的背部。

在复杂地形的障碍物中，可以对外骨骼机器人系统进行导航和步态规划的前提是地形识别。本实施例为外骨骼机器人搭载了一套视觉交互平台，意图识别模块1与全息显示模块4作为该交互平台的核心部分，意图识别模块1与全息显示模块4可以集成于混合现实(Mixed Reality)显示装置上，混合现实显示装置可以直接固定在外骨骼佩戴者的头部，使意图识别模块1朝向用户的行进方向前方。肢体动作包括凝视、手势的至少一种。混合现实显示装置可以是例如微软的Hololens，可以帮助装置穿戴者指出目标的位置和方向，并用于已经规划好的足迹序列的全息显示，地形感知模块2可以是立体相机，例如，英特尔的RealSense D435，可以获得环境的高分辨率三维数据。

混合现实显示装置类似一台便携式电脑，人类可以通过很多种方法与其进行交互，包括凝视跟踪、手势、声音和空间声音等。在本实施例的足迹规划系统中，凝视是主要的输入形式，它可以结合手势、声音或一个点击器来实现对目标位置和方向的确定。

如图2中a所示，为穿戴者在Hololens中看到的视野，其中全息显示的足迹序列(脚印，左侧白方块对应左脚，右侧的灰方块对应右脚)只有穿戴者通过Hololens可以看到，其他人看不到。在Hololens的帮助下，穿戴者可以通过保持手势来选择方向。然而，Hololens提供的地形图过于稀疏，因此本实施例使用地形感知模块2作为附加摄像头来获得环境的高分辨率三维数据。具体可以使用支架把Hololens和Realsens固定在一起，为了使两个模块有更大的视野重合，二者的夹角为45°±5°。当穿戴者调整设备角度以指定前方的目标时，立体相机的视野至少始终覆盖外骨骼的脚部及其周围的部分地形，即可以获取到站立脚和脚周围地形的图像，如图2中b、c所示，分别为混合现实显示装置拍摄的RGB图像和深度图像。

如图3所示，足迹规划模块3的功能主要包括路径规划和脚步规划，路径规划即规划出人体大致的运动轨迹，而脚步规划则是根据人体的运动轨迹规划左右脚的立足点(足迹)，以使外骨骼可以更平稳更自然地进行运动。(a)意图识别帮助穿戴者指出目标的位置和方向，(b)地形感知生成地形的立体地图，(c)足迹规划使用上述两个步骤的信息来计算足迹序列，(d)全息显示最终会通过镜头显示出足迹序列，使得穿戴者知道他们下一步会迈在哪里，以此增加穿戴者的安全感。

为实现对应的功能，结合图4，足迹规划模块3具体包括路径规划模块31和脚步规划模块32，路径规划模块31用于根据目标的位置和方向，规划外骨骼质心的近似轨迹，脚步规划模块32用于根据外骨骼质心的近似轨迹，规划外骨骼的左右脚的足迹。

根据操作者(穿戴者)的意图，足迹规划模块3的目标是计算一组全局最优足迹。在对足迹序列进行编码时，主要考虑以下三个问题：如何保证预期的身体轨迹，如何最小化足迹的复杂性，如何最大限度地提高足迹的稳定性。首先，地形感知模块2生成地形的立体地图，然后，需要在立体地图中寻找适合外骨骼在正常环境中全方位运动的足迹。然而，足迹的搜索空间太大，无法在足迹的稳定性和路径长度之间进行最优选择。因此，本实施例引入并改进了层次分解算法。

基于改进的层次分解算法，本实施例的足迹规划模块3由两个部分组成：(i)对应于身体的路径规划模块31，它是一个高级规划器，用于规划外骨骼质心的近似轨迹；(ii)脚步规划模块32，它是一个较低级别的规划，它用来规划沿着身体路径的一系列足迹。下面，我们将分别对路径规划和脚步规划进行详细描述。

1、路径规划

路径规划模块31的目的是用来在保持障碍物与外骨骼之间的适当距离的前提下，设计出一条尽可能短的平滑可行的路径。由于外骨骼不适合大角度、高频率的转向，因此需要在穿戴者改变行走方向时获得一个平滑的人体轨迹。

这里，本实施例引入一个参数化的三阶贝塞尔曲线来生成从初始状态到目标状态的任意拐点的非完整轨道。如图5所示，贝塞尔曲线是根据任意四个点(p1,p2,p3和p4)的坐标绘制的光滑曲线，所有贝塞尔曲线的曲率都是连续的。在二维代价图无碰撞约束条件下，路径规划模块31将尽可能选择最大曲率较小的曲线。在这种情况下，在高级规划器中，我们可以得到最短的、无碰撞的可行轨迹。该轨迹是一条贝塞尔曲线，称为身体路径，脚步规划模块32将依赖于此身体路径。其中的d1和d2是贝塞尔曲线的距离和方向参数。

因此，本实施例的路径规划模块31又可以包括轨道生成模块311和轨道筛选模块312，轨道生成模块用于引入参数化的三阶贝塞尔曲线，生成从初始状态到目标状态的任意拐点的非完整轨道，轨道筛选模块312用于针对每个拐点，从轨道生成模块生成的多个非完整轨道中挑选出最大曲率最小且可行的轨迹。

2、脚步规划

脚步规划模块32的目标是沿着身体路径规划一组可行的立足点，对于目标的位置和方向具有最小的复杂度和最大的稳定性。为了达到这个目标，本实施例的系统需要建立一个启发式搜索树，编码每个候选立足点的奖励。对于奖励图，需要构造人体跟踪特征。另外，为了减少搜索时间，本实施例引入了身体路径的限制来修剪搜索树。

因此，脚步规划模块32又可以包括搜索树构造模块321、存储模块322和搜索树修剪模块323，搜索树构造模块321用于建立启发式搜索树，在启发式搜索树中，每个候选立足点由一个特征向量来定义。搜索树修剪模块323用于根据足迹参照标准从启发式搜索树中筛选出最优的候选立足点形成足迹序列。

受外骨骼行走能力和重力分块稳定性的限制，外骨骼需要预先采集摆动脚的足迹来进行过渡。考虑到如下因素：(i)更少的放置选项有更快的搜索速度，但是限制了行走的灵活性；(ii)更多的选择可以更好地沿着身体路径行走，但是搜索节点太多。因此，本实施例收集并记录了26个日常生活中常见的足迹转换，如图6，以此作为左右脚足迹对应的候选立足点。对于对称的两足动物，左脚的位置可以简单地镜像右脚的位置。

每个候选立足点由一个特征向量来定义，特征向量由三部分分量组成：(i)地形特征，用于描述足部放置的地形；(ii)步进特征，它编码当前位置变化的信息，将脚的状态摆到下一个状态；(iii)跟踪特征，这保证了脚的放置角度尽可能与身体路径的方向一致。同时，如图6所示，本实施例将基准立足点定义为Cb，其含义是当我们规划右脚的脚印时，左脚的足迹，而右脚的立足点则都是相对于该Cb来规划的。本实施例将摆动脚的最后一个立足点定义为Cs，其含义是当我们规划右脚的足迹时，右脚的最后一个立足点。图6中该基准立足点Cb只有一个，即实心矩形框，其余均为摆动脚的立足点。为更好地描述各个特征向量，本实施例共建立了14个特征，其中9个地形特征、4个步进特征以及1个追踪特征。

在构造了候选立足点的特征之后，通过大量的运动学和动力学实验，可以为这些特征的值分别设计阈值，如果任何特征值超过其阈值，那么对应的候选足迹将被丢弃。否则，足迹转换的奖励函数为这些特征的加权和。该奖励函数结果最低的足迹序列，就是最终规划的足迹序列。最后将该足迹序列通过全息显示模块4进行全息显示，就完成了足迹规划系统的整个过程。

与之相应地，特征向量具有跟踪特征分量，该跟踪特征分量用于表示脚的放置角度。存储模块322内存储有足迹参照标准，足迹参照标准包括跟踪特征分量阈值。搜索树修剪模块323包括跟踪特征修剪模块3231，跟踪特征修剪模块用于在跟踪特征分量超过跟踪特征分量阈值时，剔除候选立足点对应的候选立足点。

在搜索树构造模块321中，特征向量进一步可以具体包括跟踪特征分量、地形特征分量和步进特征分量，地形特征分量用于描述足部放置的地形，步进特征分量用于编码当前脚的下一个状态。足迹参照标准除了包括跟踪特征分量阈值外，还包括地形特征分量阈值和步进特征分量阈值。搜搜索树修剪模块323除了包括跟踪特征修剪模块3231外，还包括地形特征修剪模块3232和步进特征修剪模块3233，地形特征修剪模块3232用于在地形特征分量超过地形特征分量阈值时，剔除候选立足点对应的足迹，步进特征修剪模块3233用于在步进特征分量超过步进特征分量阈值时，剔除候选立足点对应的足迹。搜索树修剪模块323还可以进一步包括奖励模块3234，奖励模块3234用于在步进特征分量在步进特征分量阈值范围内时，参照足迹参照标准中各分量阈值对特征向量的对应分量与进行奖励，并根据每个候选立足点的各个特征向量的奖励的加权和选出最优的足迹序列。

为评估基于视觉的外骨骼机器人足迹规划系统的效果，本实施例还设计了两个实验，在第一个实验中，对人体轨迹的生成进行了仿真。在第二个实验中，在真实世界中进行了足迹规划实验。

在第一个实验中，演示了曲线路径上路径的搜索结果。这使得可以直观地比较A*(A-Star)搜索和贝塞尔(Bezier)曲线搜索的性能。A*搜索将地面视为多个网格，并搜索连续的网格点，以使从起点到目标点的奖励最大化；然后应用一个平滑器来平滑锯齿状的搜索路径。与之相比，本实施例对于路径规划，是通过根据实际地形改变三阶贝塞尔曲线的拐点参数来获得搜索空间；然后通过最小化搜索空间中的曲率差来选择轨迹。

为了消除其他因素的影响，本实施例模拟了一个曲线廊道进行对比实验，如图7，道路(图中的Path代表带路轮廓)长4.4米，为了测试道路的平整度，本实施例将这条道路S-T从起点开始分为4个阶段目标S-a、a-b、b-c、c-T。在每个阶段，根据穿戴者的要求，道路长度从1米到1.5米不等。实验结果如图7所示，本实施例的方法(图中右侧)在曲线路径上可以很好地工作，因为它可以获得每个阶段开始和结束状态时在给定方向上的轨迹(图中的Footstep框)。我们可以看到，在连接状态时，机器人的姿态角PR与规划路径的切线DR之间的角度是一致的。与左侧的A*搜索结果相比，本实施例的Bezier曲线搜索规划的路径会产生较小的前向步幅波动和较小的旋转角度的足迹序列。

第二个实验旨在验证足迹规划器在未知环境下的性能。在这个实验之前，测试人员花费一定时间学习了如何操作足迹规划系统，主要的练习是通过凝视和手势与Hololens互动。我们在90度拐弯场景、180度拐弯场景、绕过障碍物场景这三种不同的场景下进行了实验，测试人员通过Hololens提供的全息图来分配每个实验中目标的方向和位置，可以清晰地知道下一步将会迈在哪里，增加了穿戴者的安全感。

如图8所示，本发明对应地提供了一种基于视觉的外骨骼机器人足迹规划方法，包括：

S01、根据捉外骨骼佩戴者的肢体动作或声音，得出目标的位置和方向。

意图识别模块1负责捕捉外骨骼佩戴者的肢体动作或声音，得出目标的位置和方向，肢体动作可以包括凝视、手势的至少一种。具体可以采用混合现实显示装置佩戴在人的头部，与佩戴者进行交互，优选凝视是主要的输入形式，它可以结合手势、声音或一个点击器来实现对目标位置和方向的确定。

S02、获取环境的地形数据，并生成地形的立体地图。

地形感知模块2用于获取环境的地形数据，并生成地形的立体地图，可以是立体相机，例如，英特尔的RealSense D435，可以获得环境的高分辨率三维数据。具体可以使用支架把意图识别模块1和地形感知模块2固定在一起，为了使两个模块有更大的视野重合，二者的夹角为45°±5°。当穿戴者调整设备角度以指定前方的目标时，立体相机的视野至少始终覆盖外骨骼的脚部及其周围的部分地形，即可以获取到站立脚和脚周围地形的图像。

S03、根据得到的目标的位置和方向、地形的立体地图，计算到达目标位置的足迹序列。

如图9，在计算到达目标位置的足迹序列时，首先进行S031程序：路径规划，规划出人体大致的运动轨迹，然后进行S032程序：脚步规划，根据人体的运动轨迹规划左右脚的立足点(足迹)，以使外骨骼可以更平稳更自然地进行运动。

具体在进行路径规划时，需要计算一组全局最优足迹，即在立体地图中寻找适合外骨骼在正常环境中全方位运动的足迹，本实施例引入并改进了层次分解算法。首先，引入一个参数化的三阶贝塞尔曲线，来生成从初始状态到目标状态的任意拐点的非完整轨道，即，将到达到达目标位置的整条路径按照拐点的分布划分为多段路径，并针对每个拐点位置的路径进行优化，从生成的多个非完整轨道中挑选出最大曲率最小且可行的轨迹。

具体在进脚步规划时，本实施例首先建立一个启发式搜索树，编码每个候选立足点的奖励，其中，对于奖励图，构造人体跟踪特征，通过引入身体路径的限制来修剪搜索树，以减少搜索时间。

具体地，在启发式搜索树中，每个候选立足点由一个特征向量来定义，每个特征向量具有一系列特征分量，通过利用特征分量可以快速剔除一部分明显不符合要求的候选立足点。本实施例收集并记录了26个日常生活中常见的足迹转换，以此作为左右脚足迹对应的候选立足点，对于对称的两足动物，左脚的位置可以简单地镜像右脚的位置。

每个候选立足点由一个特征向量来定义，特征向量由三部分组成：(i)地形特征，用于描述足部放置的地形；(ii)步进特征，它编码当前位置变化的信息，将脚的状态摆到下一个状态；(iii)跟踪特征，这保证了脚的放置角度尽可能与身体路径的方向一致。即每个特征向量同时具有跟踪特征分量、地形特征分量和步进特征分量。

在构造了候选立足点的特征之后，通过大量的运动学和动力学实验，可以为这些特征的值分别设计阈值，通过将各特征分量与系统内存储的足迹参照标准的对应分量阈值对比，如果任何特征值超过其阈值，那么对应的候选足迹将被丢弃。否则，足迹转换的奖励函数为这些特征的加权和。该奖励函数结果最低的足迹序列，就是最终规划的足迹序列。最后将该足迹序列通过全息显示模块4进行全息显示，就完成了足迹规划系统的整个过程。

例如，如果跟踪特征分量超过跟踪特征分量阈值时，则直接剔除候选立足点对应的候选立足点，不再进行奖励加权。只有候选立足点的跟踪特征分量、地形特征分量和步进特征分量均满足对应的阈值要求时，则足迹转换的奖励函数对各特征进行加权。

S04、在现实世界的空间坐标系中向外骨骼佩戴者全息显示计算出的足迹序列。

全息显示的足迹序列(脚印)只有穿戴者通过Hololens可以看到，其他人看不到。通过将意图识别功能与全息显示功能可以集成于混合现实显示装置上，将混合现实显示装置可以直接固定在外骨骼佩戴者的头部，佩戴者可以根据足迹序列的规划结果直接迈出下一步，从而增加穿戴者的安全感。

另外，本发明还提供了一种存储介质及计算设备，该存储介质内存储有多条指令，该指令适于由处理器加载并执行上述的基于视觉的外骨骼机器人足迹规划方法的步骤，该存储介质为计算设备的一部分。处理器在一些实施例中可以是中央处理器(CentralProcessing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制计算设备的总体操作。本实施例中，该处理器用于运行存储介质中存储的程序代码或者处理数据。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

本发明通过结合外骨骼佩戴者的肢体动作或声音得到的目标的位置和方向和获取的地形的立体地图，计算出最优的足迹序列，并通过全息影像在现实世界的空间坐标系中展示给外骨骼佩戴者，为外骨骼佩戴者指示下一步的立足点，以此增加穿戴者的安全感，能很好地应用在各种未知场景。同时，本发明实施例引入了三阶贝塞尔曲线来对外骨骼从起始状态到目标状态的轨迹进行平滑优化，使得外骨骼穿戴者行走更加平稳、自然；通过对搜索空间进行了剪枝处理，可以除去明显不适合的特征，从而提高了搜索速度，快速得到理想可行的足迹序列。

以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (8)

1.一种基于视觉的外骨骼机器人足迹规划系统，其特征在于，包括：

意图识别模块，用于捕捉外骨骼佩戴者的肢体动作或声音，得出目标的位置和方向；

地形感知模块，用于获取环境的地形数据，并生成地形的立体地图；

足迹规划模块，用于根据所述意图识别模块得到的目标的位置和方向、所述地形感知模块得到的地形的立体地图，计算到达目标位置的足迹序列；

全息显示模块，用于在现实世界的空间坐标系中向外骨骼佩戴者显示计算出的所述足迹序列；

其中，所述足迹规划模块包括：路径规划模块，用于根据目标的位置和方向，规划外骨骼质心的近似轨迹；脚步规划模块，用于根据外骨骼质心的近似轨迹，规划外骨骼的左右脚的足迹；

其中，所述路径规划模块包括：轨道生成模块，用于引入参数化的三阶贝塞尔曲线，生成从初始状态到目标状态的任意拐点的非完整轨道；轨道筛选模块：用于针对每个拐点，从所述轨道生成模块生成的多个非完整轨道中挑选出最大曲率最小且可行的轨迹。

2.根据权利要求1所述的基于视觉的外骨骼机器人足迹规划系统，其特征在于，所述意图识别模块与所述全息显示模块集成于混合现实显示装置上，所述混合现实显示装置固定在外骨骼佩戴者的头部。

3.根据权利要求1所述的基于视觉的外骨骼机器人足迹规划系统，其特征在于，所述肢体动作包括凝视、手势的至少一种。

4.根据权利要求1所述的基于视觉的外骨骼机器人足迹规划系统，其特征在于，所述脚步规划模块包括：

搜索树构造模块，用于建立启发式搜索树，在启发式搜索树中，每个候选立足点由一个特征向量来定义，所述特征向量包括跟踪特征分量，所述跟踪特征分量用于表示脚的放置角度；

存储模块，存储有足迹参照标准，所述足迹参照标准包括跟踪特征分量阈值；

搜索树修剪模块，用于根据所述足迹参照标准从所述启发式搜索树中筛选出最优的候选立足点形成足迹序列，包括跟踪特征修剪模块，所述跟踪特征修剪模块用于在所述跟踪特征分量超过所述跟踪特征分量阈值时，剔除候选立足点对应的足迹。

5.根据权利要求4所述的基于视觉的外骨骼机器人足迹规划系统，其特征在于，

所述搜索树构造模块中，所述特征向量还包括地形特征分量和步进特征分量，所述地形特征分量用于描述足部放置的地形，所述步进特征分量用于编码当前脚的下一个状态；

所述足迹参照标准还包括地形特征分量阈值和步进特征分量阈值；

所述搜索树修剪模块还包括地形特征修剪模块和步进特征修剪模块，所述地形特征修剪模块用于在所述地形特征分量超过所述地形特征分量阈值时，剔除候选立足点对应的足迹，所述步进特征修剪模块用于在所述步进特征分量超过所述步进特征分量阈值时，剔除候选立足点对应的足迹。

6.根据权利要求5所述的基于视觉的外骨骼机器人足迹规划系统，其特征在于，所述搜索树修剪模块还包括奖励模块，所述奖励模块用于参照所述足迹参照标准中各分量阈值对所述特征向量的对应分量与进行奖励，并根据每个候选立足点的各个特征向量的奖励的加权和选出最优的足迹序列。

7.一种基于视觉的外骨骼机器人足迹规划方法，其特征在于，包括：

根据捉外骨骼佩戴者的肢体动作或声音，得出目标的位置和方向；

获取环境的地形数据，并生成地形的立体地图；

根据得到的目标的位置和方向、地形的立体地图，计算到达目标位置的足迹序列；

在现实世界的空间坐标系中向外骨骼佩戴者显示计算出的所述足迹序列；

其中，所述根据得到的目标的位置和方向、地形的立体地图，计算到达目标位置的足迹序列包括：根据目标的位置和方向，规划外骨骼质心的近似轨迹；根据外骨骼质心的近似轨迹，规划外骨骼的左右脚的足迹；

所述根据目标的位置和方向，规划外骨骼质心的近似轨迹包括：引入参数化的三阶贝塞尔曲线，生成从初始状态到目标状态的任意拐点的非完整轨道；针对每个拐点，从轨道生成模块生成的多个非完整轨道中挑选出最大曲率最小且可行的轨迹。

8.一种存储介质，其特征在于，所述存储介质内存储有多条指令，所述指令适于由处理器加载并执行权利要求7所述的基于视觉的外骨骼机器人足迹规划方法的步骤。

Images