CN111157008B - 基于多维环境信息感知的局部自主导航系统及方法 - Google Patents

Abstract

本发明公开了一种基于多维环境信息感知的局部自主导航系统及方法，包括：云端环境信息模块，被配置为采集环境中的地质地貌、地面硬度及天气环境信息；目标识别跟踪模块，被配置为识别并追踪人体目标，并能够结合地质地貌信息和跟踪目标消失的位置，推算出追踪路线；路径导航模块，被配置为根据实时环境信息创建环境地图和规划路径，并能够根据地面硬度信息和智能体的质量，确定智能体是否能够安全通过。本发明有益效果：能够结合云端中的地质地貌和地面硬度信息，结合智能体自身特点规划出合理的路径，结合红外热成像识别和水平双目图像识别能适应多维复杂环境下人体目标非刚性的特点，对目标进行精确跟踪。

Description

基于多维环境信息感知的局部自主导航系统及方法

技术领域

本发明涉及智能导航技术领域，尤其涉及一种基于多维环境信息感知的局部自主导航系统及方法。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

自然环境具有高度的多样性和复杂性，传统环境感知尚未考虑地貌覆盖、地质硬度等对环境建模和导航的影响。

发明人发现，协作人员在机器人的领航中，人体目标经常消失又出现在机器视野中，传统的目标跟踪算法无法解决该问题。

而人体目标在复杂环境中具有外观变化剧烈和非刚性等特点，使得机器人跟随导航人员进行局部路径规划面临极大的挑战。

因此，如何对复杂环境进行多维化感知并实现基于多维时空特征的长效目标跟踪是机器人在可通行区域中正确导航的关键问题。

发明内容

本发明目的就是为了解决现有技术的不足，提出了一种基于多维环境信息感知的局部自主导航系统及方法，将地质地貌信息与传统跟踪识别相结合，共同规划路径，能解决传统跟踪算法无法考虑地质地貌地面硬度的问题；将红外探测与多目视觉采集相结合能解决在多维复杂环境跟踪目标过程中目标消失重现问题。

在一些实施方式中，采用如下技术方案：

基于多维环境信息感知的局部自主导航系统，包括：

云端环境信息模块，被配置为采集环境中的地质地貌、地面硬度及天气环境信息；

目标识别跟踪模块，被配置为识别并追踪人体目标，并能够结合地质地貌信息和跟踪目标消失的位置，推算出追踪路线；

路径导航模块，被配置为根据实时环境信息创建环境地图和规划路径，并能够根据地面硬度信息和智能体的质量，确定智能体是否能够安全通过。

在另一些实施方式中，采用如下技术方案：

基于多维环境信息感知的局部自主导航方法，包括：

采集环境中的地质地貌、地面硬度及天气环境信息；

识别周围环境，根据实时环境信息创建环境地图和规划路径；

识别并追踪目标人体，当目标人体消失时，结合地质地貌信息和跟踪目标消失的位置，推算出追踪路线；

根据当前路径地面硬度信息和智能体的质量，确定智能体是否能够安全通过所述路径。

进一步地，根据目标消失瞬间的速度、地点、跟踪目标人体的关键帧的关节点位置以及消失前的运动轨迹模型，预测目标下一时间可能行动的方位；

结合障碍物信息、地质地貌信息以及预测的方位信息，判断跟踪目标可能出现的运行轨迹；

规划出能够使得智能体运行到跟踪目标可能出现位置的运行路径，作为追踪路线。

与现有技术相比，本发明的有益效果是：

(1)本发明能够结合云端中的地质地貌和地面硬度信息，结合智能体自身特点规划出合理的路径，结合红外热成像识别和水平双目图像识别能适应多维复杂环境下人体目标非刚性的特点，对目标进行精确跟踪。

(2)本发明将地质地貌信息与传统跟踪识别相结合，共同规划路径，能解决传统跟踪算法无法考虑地质地貌地面硬度的问题。

(3)本发明红外探测与多目视觉采集相结合能解决在多维复杂环境跟踪目标过程中目标消失重现问题。

附图说明

图1为本发明实施例中基于多维环境信息感知的局部自主导航系统结构示意图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

本发明实施例适应于在复杂的野外环境中跟随目标人员，并根据目标人员的运动轨迹和环境状况规划路线，跟随目标人员运动。其中追踪是利用系统拥有的传感器锁定跟踪目标，确定目标所在的位置。导航是利用追踪模块传回的目标位置和环境信息规划运行路线。

在一个或多个实施方式中，公开了一种基于多维环境信息感知的局部自主导航系统，参照图1，包括：云端环境信息模块、目标识别跟踪模块、路径导航模块、底盘控制模块和中央控制器。

具体地，云端环境信息模块位于云端服务器中，能够实时更新环境变化信息，并通过网络与中央控制器进行信息交互。云端环境信息模块与中央控制器之间进行信息交互的网络可以是无线网络、局域网络或者有线网络等多种形式。

中央控制器与目标识别跟踪模块、路径导航模块和底盘控制模块分别连接，能够实现各模块之间的信息交互，还能够运行计算转换各模块之间传递信息，并将其转换成其他模块能够识别并运行的信息。

本实施例中，云端环境信息模块能够提前录入工作环境中的地质地貌、地面硬度天气环境等信息。且能跟够根据现场环境变化，通过移动终端实时调整环境信息，并通过局域网传输给中央控制器。

当智能体跟踪目标突然消失，无法探测到跟踪目标时，系统会根据云端环境信息模块传回的地质地貌信息和跟踪目标消失的位置，推算出追踪路线；

同时根据云端环境传回的地面硬度信息，结合智能体的质量是否能安全通过，并将信息传输给路径导航模块，规划出合理路径，并将路径信息传给底盘控制模块，控制智能体运行。

目标识别跟踪模块包括红外热成像探测单元、雷达探测单元以及视觉采集单元。其中，红外热成像探测单元采用红外探测仪，能够根据识别人体目标热成像，进行热成像跟踪。雷达探测单元能够识别周围，并对周围环境障碍物进行检测。视觉采集单元采用视觉采集摄像机，能够跟踪识别人体目标，并能识别预设好的人体动作，并将信息传递给中央控制器。

视觉采集摄像机为平行双目视觉采集。平行双目视觉采集获取空间三位坐标的方法，可以更精确的获得场景中目标的三维坐标。

平行双目视觉采集摄像机对运行中的目标人体进行关键帧采集并对其关节点进行定位，并采集其肤色、服装颜色等信息。并利用卡尔曼滤波器进行目标状态的估计，解决人体目标在环境中非刚性变化，实现对人体目标的长效跟踪。

具体地，卡尔曼滤波器根据目标人体的位置、速度和加速度的测量值，利用目标的动态信息，去掉噪声的影响，得到一个关于目标位置的估计；这个估计可以是对当前目标位置的估计(滤波)，也可以是对于将来位置的估计(预测)。

路径导航模块包括：路径规划单元、路径跟随单元、建图和定位单元和速度控制单元；其中，路径跟随单元能够根据目标能够结合红外热成像跟踪、视觉采集摄像头识别出的跟踪目标确定跟随目标所在地图位置；建图和定位单元能够根据雷达收集的实时环境信息，并结合目标跟踪模块和云端环境信息创建环境地图和规划路径；路径规划单元根据建图和定位单元和路径跟随单元传回的信息，规划出系统所运行的路径。速度控制单元能够根据跟踪目标的移动速度、周围环境等因素控制系统运行速度。

底盘控制模块包括控制面板，控制面板能够控制转向电机与底盘驱动电机的运行，当底盘控制模块接收中央控制控制器传递的路径信息时，就能够通过控制转向电机和驱动电机的运行控制底盘的运动方向。

实施例二

在一个或多个实施方式中，公开了一种基于多维环境信息感知的局部自主导航方法，包括以下步骤：

步骤1：周围环境识别；

步骤2：跟踪目标识别；

步骤3：云端环境信息交互；

步骤4：自主导航并跟随人体目标行走；

具体地，系统实时进行目标跟踪，并进行建图和定位、周围环境障碍物检测、云端地况信息交互，向路径导航模块发出请求，待路径信息成功返回后，由中央控制器根据规划好的路径通过底盘控制模块控制底盘运行。

红外探测能够根据人体反射的热辐射跟踪定位人体目标，即使部分人体目标受到遮挡，视觉采集摄像头无法跟踪到目标，也能从红外图像中判断出跟随人体目标的位置，并控制路径规划模块，规划新的路径，移动智能体位置，使视觉采集摄像头能够追踪到跟随目标。

平行双目摄像头和红外热成像探测同时跟踪人体目标，当跟踪目标被遮挡平行双目摄像头无法跟踪会根据红外热成像探测跟踪，平行双目摄像头会结合红外热成像探测跟踪信息，探测周围遮挡障碍物，并将信息传给路径规划模块，从新规划路径，绕过障碍物重新跟踪目标。

本发明实施方式能够结合云端中的地质地貌和地面硬度信息，结合智能体自身特点规划出合理的路径，结合红外热成像识别和水平双目图像识别能适应多为复杂环境下人体目标非刚性的特点，对目标进行精确跟踪。

同时，根据目标消失瞬间的速度、地点、跟踪目标人体的关键帧的关节点位置以及消失前的运动轨迹模型，预测目标下一时间可能行动的方位；结合障碍物信息、地质地貌信息以及预测的方位信息，判断跟踪目标可能出现的运行轨迹；规划出能够使得智能体运行到跟踪目标可能出现位置的运行路径，作为追踪路线。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.基于多维环境信息感知的局部自主导航系统，其特征在于，包括：

云端环境信息模块，被配置为采集环境中的地质地貌、地面硬度及天气环境信息；

目标识别跟踪模块，被配置为识别并追踪人体目标，并能够结合地质地貌信息和跟踪目标消失的位置，推算出追踪路线；

所述目标识别跟踪模块包括：用于对识别人体目标进行热成像跟踪的红外热成像探测单元；用于对周围环境障碍物进行检测的雷达探测单元；用于跟踪识别人体目标，并能够识别预设好的人体动作的视觉采集单元；

所述视觉采集单元对运行中的目标人体进行关键帧采集并对其关节点进行定位，采集目标人体相关的颜色信息；利用卡尔曼滤波器进行目标状态的估计，实现对目标人体的追踪；

所述结合地质地貌信息和跟踪目标消失的位置，推算出追踪路线，具体过程为：

根据目标消失瞬间的速度、地点、跟踪目标人体的关键帧的关节点位置以及消失前的运动轨迹模型，预测目标下一时间可能行动的方位；

结合障碍物信息、地质地貌信息以及预测的方位信息，判断跟踪目标可能出现的运行轨迹；

规划出能够使得智能体运行到跟踪目标可能出现位置的运行路径，作为追踪路线；

路径导航模块，被配置为根据实时环境信息创建环境地图和规划路径；

中央控制器，根据云端环境传回的地面硬度信息，结合智能体的质量是否能安全通过，并将信息传输给路径导航模块，规划出合理路径，并将路径信息传给底盘控制模块，控制智能体运行。

2.如权利要求1所述的基于多维环境信息感知的局部自主导航系统，其特征在于，还包括：中央控制器，与云端环境信息模块、目标识别跟踪模块和路径导航模块分别连接，被配置为实现各模块之间的信息交互。

3.如权利要求1所述的基于多维环境信息感知的局部自主导航系统，其特征在于，还包括：底盘控制模块，与中央控制器连接，接收路径导航模块规划的路径信息，并根据所述路径信息控制智能体底盘的转向电机和驱动电机运行，使得智能体按照所述路径信息运动。

4.如权利要求1所述的基于多维环境信息感知的局部自主导航系统，其特征在于，所述视觉采集单元为平行双目视觉摄像机，能够获得场景中目标的三维坐标。

5.如权利要求1所述的基于多维环境信息感知的局部自主导航系统，其特征在于，所述红外热成像探测单元和视觉采集单元同时对目标人体进行追踪，当跟踪目标人体被遮挡时，视觉采集单元根据红外热成像探测单元的跟踪信息，探测周围遮挡障碍物，并将探测信息传给路径导航模块，从新规划路径。

6.如权利要求1所述的基于多维环境信息感知的局部自主导航系统，其特征在于，所述路径导航模块包括：

路径跟随单元，被配置为用于根据识别出的跟踪目标确定跟随目标所在地图位置；

建图和定位单元，被配置为用于根据实时环境信息以及目标所在地图位置创建环境地图；

路径规划单元，被配置为根据目标所在地图位置以及创建的环境地图，规划出运行的路径；

速度控制单元，被配置为用于根据跟踪目标的移动速度以及周围环境因素，控制智能体的运行速度。

7.基于多维环境信息感知的局部自主导航方法，其特征在于，包括：

采集环境中的地质地貌、地面硬度及天气环境信息；

识别周围环境，根据实时环境信息创建环境地图和规划路径；

识别并追踪目标人体，当目标人体消失时，结合地质地貌信息和跟踪目标消失的位置，推算出追踪路线；

根据当前路径地面硬度信息和智能体的质量，确定智能体是否能够安全通过所述路径；

具体地，利用目标识别跟踪模块识别并追踪目标人体，当目标人体消失时，结合地质地貌信息和跟踪目标消失的位置，推算出追踪路线；所述目标识别跟踪模块包括：用于对识别人体目标进行热成像跟踪的红外热成像探测单元；用于对周围环境障碍物进行检测的雷达探测单元；用于跟踪识别人体目标，并能够识别预设好的人体动作的视觉采集单元；

所述视觉采集单元对运行中的目标人体进行关键帧采集并对其关节点进行定位，采集目标人体相关的颜色信息；利用卡尔曼滤波器进行目标状态的估计，实现对目标人体的追踪；

所述结合地质地貌信息和跟踪目标消失的位置，推算出追踪路线，具体过程为：

根据目标消失瞬间的速度、地点、跟踪目标人体的关键帧的关节点位置以及消失前的运动轨迹模型，预测目标下一时间可能行动的方位；

结合障碍物信息、地质地貌信息以及预测的方位信息，判断跟踪目标可能出现的运行轨迹；

规划出能够使得智能体运行到跟踪目标可能出现位置的运行路径，作为追踪路线；

中央控制器，根据云端环境传回的地面硬度信息，结合智能体的质量是否能安全通过，并将信息传输给路径导航模块，规划出合理路径，并将路径信息传给底盘控制模块，控制智能体运行。

Images