CN110285813B - 一种室内移动机器人人机共融导航装置及方法 - Google Patents

Abstract

发明公开了一种室内移动机器人人机共融导航装置及方法。该装置包括：行人建模模块、动态代价地图、全局路径规划器、机器人和室内视觉传感器：行人建模模块用于将行人感知信息转换为全局路径规划器搜索图需要的代价地图；动态代价地图为全局路径规划器提供未来时刻的社会约束信息；全局路径规划器是整个系统的核心，负责接收导航目标位姿和AMCL定位信息，采用“规划‑预测‑执行”时序周期进行动态规划，在每个规划周期基于动态代价地图构建搜索图计算当前规划周期最佳的规划结果；机器人和室内视觉传感器负责全局环境感知，此外机器人移动底盘接收底层运动指令进行移动导航。本发明可以有效、灵活地运用于实际室内环境。

Description

一种室内移动机器人人机共融导航装置及方法

技术领域：

本发明涉及一种室内移动机器人人机共融导航装置及方法，属于移动机器人室内环境人机共融导航技术领域。

背景技术：

随着移动机器人地快速发展，移动机器人开始广泛运用到各种服务场所，其中人机共融导航旨在机器人导航过程中提高社交能力、遵循社会规范，吸引了广泛的研究关注。人机共融导航需要满足舒适性、社会性要求，其中舒适性要求保持适当的距离、采用合适的接近策略，社会性要求机器人遵循社会规范，如设置靠右行、避免穿过一群人。

1、路径规划技术是移动机器人作业的核心技术。机器人在有障碍物的工作环境中找到一条从起点到终点适当的运动路径，使机器人在运动过程中能安全、无碰撞地绕过所有障碍物，需要机器人能对静态及动态环境作出综合性判断，进行智能决策；而人机共融导航在此基础上进一步要求机器人能够遵循社会规范。

2、机器人本体感知是保证移动机器人正确作业的重要基础。机器人本体感知通过自身的软硬件来实现。在硬件方面，目前一些价格较低但是性能优良的传感器不断面世，如一些RGB-D传感器、红外传感器等；而在软件模块方面，一些成熟的地图构建算法、定位导航算法、行人跟踪算法等得到了快速的发展和广泛的应用。

3、智能空间技术是提高移动机器人智能性的重要渠道。智能空间技术把感知器件、执行器件分布地安装在空间中相应的位置，实现对空间内部人和物的全面感知，从而通过执行器实现相应的服务任务，同时能够为机器人提供更加完备的环境信息，使得机器人本身可以降低对于本体携带感知器件的要求，在未知或半未知的动态环境中实现更加快捷、准确和稳定的服务工作。

4、行人建模是实现人机共融导航的基础。行人建模经典的模型有人际距离模型(Proxemics)和社交力模型(Social force model)，前者经常被用于舒适性距离建模但不能对行人进行运动建模，后者建立运动力学模型对行人进行运动建模，但是该模型缺点是依赖环境内全部的行人信息；很多学者对行人进行意图建模，如基于贝叶斯理论进行行人交互意图识别、行人运动目标点推理等等，但是意图识别存在复杂性、随机性等问题，因此目前人机共融导航大多建立在运动建模基础上，如对行人运动模式进行分类学习、利用轨迹预测改进路径规划方法等等。

发明内容

有鉴于此，本发明提供了一种室内移动机器人人机共融导航装置及方法，首先基于全局范围的行人感知进行个人空间和群组交互的社会代价建模，然后基于行人轨迹预测生成包含预测阶段不同时刻社会代价的多层动态代价地图，为全局路径规划提供预测阶段的社会约束信息。全局路径规划器在动态代价地图基础上定义代价函数进行最优状态的启发式搜索，考虑到启发式搜索计算量大和轨迹预测时长的限制，引入“规划-预测-执行”时序周期进行动态规划，提高对动态环境的适应能力。

上述的目的通过以下技术方案实现：

一种室内移动机器人人机共融导航装置，包括：行人建模模块、动态代价地图、全局路径规划器、机器人和室内视觉传感器：

行人建模模块：行人建模模块用于将行人感知信息转换为全局路径规划器搜索图需要的代价地图，借助激光传感器和多RGB-D传感器进行全局的行人感知，通过行人位姿信息和群组识别信息实现社会代价建模，并通过轨迹预测生成未来若干时刻的多层社会代价地图；

动态代价地图：动态代价地图为全局路径规划器提供未来时刻的社会约束信息，从地图服务器模块获取全局静态代价地图和随时间变化的局部障碍代价地图，从行人建模模块获取以预测周期为间隔的未来若干时刻的多层社会代价地图；

全局路径规划器：全局路径规划器是整个系统的核心，负责接收导航目标位姿和AMCL定位信息，采用“规划-预测-执行”时序周期进行动态规划，在每个规划周期基于动态代价地图构建搜索图计算当前规划周期最佳的规划结果；

机器人和室内视觉传感器：机器人和室内视觉传感器负责全局环境感知，机器人具有自身的软硬件模块，硬件模块包括RGB-D传感器Xtion PRO和激光传感器，软件模块主要是AMCL定位模块、地图服务器模块，结合室内视觉传感器全局范围的行人感知，此外机器人移动底盘接收底层运动指令进行移动导航。

用上述室内移动机器人人机共融导航装置进行室内环境移动机器人人机共融导航方法，该方法包括如下步骤：

A、行人建模模块将行人感知信息转换为全局路径规划器搜索图需要的代价地图，借助激光传感器和多RGB-D传感器进行全局的行人感知，通过行人位姿信息和群组识别信息实现社会代价建模，并通过轨迹预测生成未来若干时刻的多层社会代价地图；

B、动态代价地图为全局路径规划器提供未来时刻的社会约束信息，从地图服务器模块获取全局静态代价地图和随时间变化的局部障碍代价地图，从行人建模模块获取以预测周期为间隔的未来若干时刻的多层社会代价地图；

C、全局路径规划器是整个系统的核心，负责接收导航目标位姿和AMCL定位信息，采用“规划-预测-执行”时序周期进行动态规划，在每个规划周期基于动态代价地图构建搜索图计算当前规划周期最佳的规划结果；

D、机器人和室内视觉传感器主要负责全局环境感知，机器人具有自身的软硬件模块，硬件模块包括RGB-D传感器Xtion PRO和激光传感器，软件模块主要是AMCL定位模块、地图服务器模块，结合室内视觉传感器全局范围的行人感知，此外机器人移动底盘接收底层运动指令进行移动导航。

所述的室内环境移动机器人人机共融导航方法，步骤A中行人建模模块的具体操作如下：

A1、借助激光传感器和多RGB-D相机进行全局范围多视角的行人检测与跟踪；

A2、群组检测模块提取一致性运动特征通过SVM分类器进行群组识别；

A3、通过行人位姿信息和群组信息进行社会代价建模；

A4、通过轨迹预测生成以预测周期为间隔的未来若干时刻的多层社会代价地图。

所述的室内环境移动机器人人机共融导航方法，步骤B中动态代价地图的具体操作步骤如下：

B1、从地图服务器模块获取全局静态代价地图；

B2、从地图服务器模块获取随时间变化的局部障碍代价地图；

B3、从行人建模模块获取以预测周期为间隔的未来若干时刻的多层社会代价地图。

所述的室内环境移动机器人人机共融导航方法，步骤C中全局路径规划器的执行步骤如下：

C1、机器人接收到目标位姿，将时间划分若干个相等的规划周期，采用“规划-预测-执行”时序周期进行动态规划；

C2、每个规划周期初始时刻触发未来N个间隔时长为预测周期的轨迹预测，在基础上生成对应时刻的社会代价地图，通过地图服务器获取全局/局部代价地图生成动态代价地图；

C3、基于动态代价地图定义机器人状态空间与代价函数，构建搜索图进行启发式搜索，返回当前规划周期内能到达的最佳状态和规划结果；

C4、通过回溯当前最佳状态得到本次规划结果，在规划周期结束时发布给执行机构；

C5、在机器人到达目标位姿前，重复执行C1-C4步骤，直到到达目标位姿。

所述的室内环境移动机器人人机共融导航方法，步骤D机器人和室内视觉传感器的执行步骤如下：

D1、机器人在接收到目标位姿后不断通过AMCL定位模块更新机器人当前位姿；

D2、机器人RGB-D传感器和室内视觉传感器在规划周期开始时进行全局行人感知；

D3、机器人移动底盘在每个规划周期结束时收到并执行底层运动指令。

有益效果：

本发明首先基于全局范围的行人感知进行个人空间和群组交互的社会代价建模，然后基于行人轨迹预测生成包含预测阶段不同时刻社会代价的多层动态代价地图，为全局路径规划提供预测阶段的社会约束信息。全局路径规划器在动态代价地图基础上定义代价函数进行最优状态的启发式搜索，考虑到启发式搜索计算量大和轨迹预测时长的限制，引入“规划-预测-执行”时序周期进行动态规划，提高对动态环境的适应能力。

附图说明

图1为本发明定义的社会代价示意图；其中图1(a)是个人空间建模示意图，图1(b)是群组交互建模示意图，图1(c)是人-物体交互建模示意图，图1(d)是符合社会约束的路径示意图。

图2为本发明一种室内环境移动机器人人机共融导航装置图；

图3为本发明分布式多视角行人检测与跟踪示意图；

图4为本发明行人轨迹预测与动态代价地图示意图；其中图4(a)是模拟场景的示意图，图4(b)是全局静态代价地图和局部障碍代价地图的示意图，图4(c)和图4(d)是连续两个预测周期社会代价地图的示意图。

具体实施方式

本发明提供一种室内环境移动机器人人机共融导航装置，如图2。如图2中所示，该装置分为行人建模模块、动态代价地图、全局路径规划器、机器人和室内视觉传感器四个主要部分。其中全局路径规划器是整个系统的核心部分，负责接收导航目标位姿和AMCL定位信息，采用“规划-预测-执行”时序周期进行动态规划，在每个规划周期基于动态代价地图构建搜索图计算当前规划周期最佳的规划结果。

行人建模模块将行人感知信息转换为全局路径规划器搜索图需要的代价地图，借助激光传感器和多RGB-D传感器进行全局的行人感知，通过行人位姿信息和群组识别信息实现社会代价建模，并通过轨迹预测生成未来若干时刻的多层社会代价地图。行人建模模块对检测到的行人对应个人空间范围建立高斯分布的代价使得机器人不会穿越个人空间，如图1(a)所示；提取一致性运动特征通过SVM分类器进行群组识别，对检测得到的行人群组中的成员基于最小二乘法进行最小圆拟合，圆内设置不可穿越的代价，使得移动机器人不能穿过面对面交谈的行人群组，如图1(b)所示；通过检测行人与物体的交互(如检测行人看电视、行人拍照等行为)进行社会代价设置，如图1(c)所示。

动态代价地图为全局路径规划器提供未来时刻的社会约束信息，从地图服务器模块获取全局静态代价地图和随时间变化的局部障碍代价地图，从行人建模模块获取以预测周期为间隔的未来若干时刻的多层社会代价地图。

全局路径规划器：全局路径规划器是整个系统的核心，负责接收导航目标位姿和AMCL定位信息，采用“规划-预测-执行”时序周期进行动态规划，在每个规划周期基于动态代价地图构建搜索图计算当前规划周期最佳的规划结果。全局路径规划器假设机器人在时间间隔Δt内可以执行的轨迹取决于机器人当前的位姿(x,y,ψ)，速度(ν,ω)，运动学约束和对应时刻的社会代价，机器人在状态空间C＝(x,y,ψ,v,w,t)内实现状态转换，定义搜索图通过一系列离散状态扩展生成，每次扩展都有一个固定的时间间隔Δt，以及一组有限的可执行操作

其中a_x,

分别是线加速度和角加速度，每次操作产生一个运动基元以实现状态切换。首先判断该运动基元是否满足机器人的运动学约束，如果满足则计算状态切换对应的轨迹否则放弃本次操作；然后根据状态切换时刻计算生成的轨迹在对应时刻的社会代价地图上产生的社会代价(因此每个状态所使用的社会代价地图可能会不一样)，切换的新状态进行社会代价和路径长度的累加。在每个规划周期采用A*算法进行启发式搜索获取当前规划周期最优的可行解，首先根据路径长度、社会约束来评价搜索图中扩展的状态，路径长度的代价与当前路径长度成正比，社会约束的代价等于该状态累加的社会代价，然后引入启发式代价加速搜索，启发式代价假设不考虑动态社会代价，忽略机器人的运动约束，并和在静态代价地图上通过Dijkstra算法计算到达目标的最短路径成正比。最后在规划周期结束时将当前规划结果发至移动底盘。

机器人和室内视觉传感器主要负责全局环境感知，机器人具有自身的软硬件模块，硬件模块包括RGB-D传感器Xtion PRO和激光传感器，软件模块主要是AMCL定位模块、地图服务器模块，结合室内视觉传感器全局范围的行人感知。机器人移动底盘接收底层运动指令进行移动导航。

系统各部分通过局域网实现数据通信。

本发明提出了一种室内环境移动机器人人机共融导航方法，可以在导航过程中遵循社会规范，在本例中，具体按照以下步骤进行：

1、行人建模模块的运行步骤

①、通过机器人的激光传感器、RGB-D传感器以及室内全局视觉传感器进行全局多视角的行人检测与跟踪，如图3所示；其中RGB-D传感器行人检测采用基于上半身深度图模板匹配的方法，可以克服人体姿态变化与光照变化但不适合远距离检测；激光传感器行人检测采用现有的人腿激光点特征分类的方法，可以进行远距离行人检测但是容易造成误检；行人检测结果通过坐标系变换至世界坐标系并通过最近邻算法基于世界坐标2D位置进行融合以实现多视角、抗遮挡的行人检测，然后采用基于检测与轨迹的数据关联算法实现多行人跟踪；

②、通过构造社会关系图进行群组检测，图的节点为每个被跟踪的行人，图的每条边为两个行人之间的社会关系强度，其中行人i和行人j之间的社会关系R^i,j通过基于一致性运动特征(两个给定行人的相对空间距离Δx_ij、运动速度差ΔV_ij和运动方向角度差Δθ_ij)训练的SVM分类器的概率输出得到，即把运动特征映射到表示社会关系强度的社会关系概率；对社会关系图中小于一定阈值的边进行剪枝，生成所有节点的关系矩阵，通过层次聚类等聚类方法生成群组。

③、将行人感知信息转换为全局路径规划器搜索图需要的代价地图。对检测到的行人对应个人空间范围建立高斯分布的代价使得机器人不会穿越个人空间，如图1(a)所示；对检测得到的行人群组中的成员基于最小二乘法进行最小圆拟合，圆内设置不可穿越的代价，使得移动机器人不能穿过面对面交谈的行人群组，如图1(b)所示；通过检测行人与物体的交互(如检测行人看电视、行人拍照等行为)进行社会代价设置，如图1(c)所示；通过行人感知(如行人检测、群组检测、行为检测)进行相应社会代价建模，规划器在此基础上规划出符合社会约束的路径，如图1(d)中的路径1，避免出现粗鲁的穿过对话群组的路径2。

④、通过行人轨迹预测若干个预测周期后的轨迹，通过上述建模方式生成以预测周期为间隔的未来若干时刻的多层社会代价地图。

2、动态代价地图运行步骤

①、从地图服务器模块获取全局静态代价地图；

②、从地图服务器模块获取随时间变化的局部障碍代价地图；

③、从行人建模模块获取以预测周期为间隔的未来若干时刻的多层社会代价地图；

在本例中，通过图4模拟场景说明动态代价地图的组成，该场景下行人感知模块检测到一个行人在走廊以一定速度直行，以及三人组成的对话群组的示意图；图4(b)表示环境中的全局静态代价地图和局部障碍物代价地图，虚线表示障碍的膨胀区；图4(c)(d)表示基于行人轨迹预测和群组检测生成未来前后两个时刻的社会代价地图，其中图4(d)中的代价地图对应运动行人的代价相对(c)有一段右移，从而将行人的群组信息和运动信息融入到动态代价地图中。

3、全局路径规划器运行步骤

①、接收目标位姿后首先通过AMCL定位模块获取机器人当前位姿作为输入，在机器人没有到达目标点之前，将时间分为若干个相等的规划周期进行动态规划与调整；

②、规划周期开始时触发预测周期：调用行人建模模块，更新动态代价地图；

③、全局规划阶段：基于动态代价地图定义机器人状态空间与代价函数，构建搜索图进行A*启发式搜索，返回当前规划周期内能到达的最佳状态和规划结果。首先根据当前位姿创建离散状态并放入路径代价为权值的优先队列中，然后不断取出队列中最优的状态，通过该状态不断扩展搜索图并通过代价函数计算每个状态的代价；在当前规划周期内计算搜索图能到达的最佳状态和规划结果，理想状态是目标状态，如果没有到达目标状态，返回当前代价最低的状态和规划结果，由于A*算法总是以最低代价到达目标状态进行状态搜索，所以选择的路径是当前的最优路径。

④、规划周期结束时触发执行周期：通过回溯当前最佳状态得到本次规划的状态序列，然后在规划周期结束时发布给机器人移动底盘，触发新的执行周期。

⑤、在机器人到达目标位姿前，重复执行①-④步骤，直到到达目标位姿。

4、机器人和室内视觉传感器执行步骤

①、机器人在接收到目标位姿后不断通过AMCL定位模块更新机器人当前位姿；

②、机器人RGB-D传感器和室内视觉传感器在每次规划周期开始时进行全局行人感知；

③、机器人移动底盘在每个规划周期结束时收到并执行底层运动指令。

以上所述的具体实施操作方法，对本发明的技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述为本发明具体实施方式，凡在本发明的精神和原则之内，所做的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种室内移动机器人人机共融导航装置，其特征在于，包括：行人建模模块、动态代价地图、全局路径规划器、机器人和室内视觉传感器：

行人建模模块：行人建模模块用于将行人感知信息转换为全局路径规划器搜索图需要的代价地图，借助激光传感器和多RGB-D传感器进行全局的行人感知，通过行人位姿信息和群组识别信息实现社会代价建模，并通过轨迹预测生成未来若干时刻的多层社会代价地图；

动态代价地图：动态代价地图为全局路径规划器提供未来时刻的社会约束信息，从地图服务器模块获取全局静态代价地图和随时间变化的局部障碍代价地图，从行人建模模块获取以预测周期为间隔的未来若干时刻的多层社会代价地图；

全局路径规划器：全局路径规划器是整个系统的核心，负责接收导航目标位姿和AMCL定位信息，采用“规划-预测-执行”时序周期进行动态规划，在每个规划周期基于动态代价地图构建搜索图计算当前规划周期最佳的规划结果；

机器人和室内视觉传感器：机器人和室内视觉传感器负责全局环境感知，机器人具有自身的软硬件模块，硬件模块包括RGB-D传感器Xtion PRO和激光传感器，软件模块主要是AMCL定位模块、地图服务器模块，结合室内视觉传感器全局范围的行人感知，此外机器人移动底盘接收底层运动指令进行移动导航。

2.一种用权利要求1所述室内移动机器人人机共融导航装置进行室内环境移动机器人人机共融导航方法，其特征在于，该方法包括如下步骤：

A、行人建模模块将行人感知信息转换为全局路径规划器搜索图需要的代价地图，借助激光传感器和多RGB-D传感器进行全局的行人感知，通过行人位姿信息和群组识别信息实现社会代价建模，并通过轨迹预测生成未来若干时刻的多层社会代价地图；

B、动态代价地图为全局路径规划器提供未来时刻的社会约束信息，从地图服务器模块获取全局静态代价地图和随时间变化的局部障碍代价地图，从行人建模模块获取以预测周期为间隔的未来若干时刻的多层社会代价地图；

C、全局路径规划器是整个系统的核心，负责接收导航目标位姿和AMCL定位信息，采用“规划-预测-执行”时序周期进行动态规划，在每个规划周期基于动态代价地图构建搜索图计算当前规划周期最佳的规划结果；

D、机器人和室内视觉传感器主要负责全局环境感知，机器人具有自身的软硬件模块，硬件模块包括RGB-D传感器Xtion PRO和激光传感器，软件模块主要是AMCL定位模块、地图服务器模块，结合室内视觉传感器全局范围的行人感知，此外机器人移动底盘接收底层运动指令进行移动导航。

3.根据权利要求2所述的室内环境移动机器人人机共融导航方法，其特征在于，步骤A中行人建模模块的具体操作如下：

A1、借助激光传感器和多RGB-D相机进行全局范围多视角的行人检测与跟踪；

A2、群组检测模块提取一致性运动特征通过SVM分类器进行群组识别；

A3、通过行人位姿信息和群组信息进行社会代价建模；

A4、通过轨迹预测生成以预测周期为间隔的未来若干时刻的多层社会代价地图。

4.根据权利要求2所述的室内环境移动机器人人机共融导航方法，其特征在于，步骤B中动态代价地图的具体操作步骤如下：

B1、从地图服务器模块获取全局静态代价地图；

B2、从地图服务器模块获取随时间变化的局部障碍代价地图；

B3、从行人建模模块获取以预测周期为间隔的未来若干时刻的多层社会代价地图。

5.根据权利要求2所述的室内环境移动机器人人机共融导航方法，其特征在于，步骤C中全局路径规划器的执行步骤如下：

C1、机器人接收到目标位姿，将时间划分若干个相等的规划周期，采用“规划-预测-执行”时序周期进行动态规划；

C2、每个规划周期初始时刻触发未来N个间隔时长为预测周期的轨迹预测，在基础上生成对应时刻的社会代价地图，通过地图服务器获取全局/局部代价地图生成动态代价地图；

C3、基于动态代价地图定义机器人状态空间与代价函数，构建搜索图进行启发式搜索，返回当前规划周期内能到达的最佳状态和规划结果；

C4、通过回溯当前最佳状态得到本次规划结果，在规划周期结束时发布给执行机构；

C5、在机器人到达目标位姿前，重复执行C1-C4步骤，直到到达目标位姿。

6.根据权利要求2所述的室内环境移动机器人人机共融导航方法，其特征在于，步骤D机器人和室内视觉传感器的执行步骤如下：

D1、机器人在接收到目标位姿后不断通过AMCL定位模块更新机器人当前位姿；

D2、机器人RGB-D传感器和室内视觉传感器在规划周期开始时进行全局行人感知；

D3、机器人移动底盘在每个规划周期结束时收到并执行底层运动指令。

Images