CN113520812B - 一种四足机器人导盲系统及方法 - Google Patents

Abstract

本公开公开的一种四足机器人导盲系统及方法，包括：环境信息获取模块，用于获取环境的三维点云信息；环境感知与探索模块，用于根据三维点云信息对环境进行语义化建模，形成增量式网格地图；根据增量式网格地图的语义信息获得环境中人和导盲机器人可以并行通过的区域，形成可通过地图；在可通过地图中标记动态障碍物，形成环境复合地图；路径规划模块，用于利用概率路图对环境复合地图进行分析，获得适合机器人运动的所有全局路径，并从所有全局路径中选取最优全局路径；机器人，用于引导用户沿最优全局路径运动。能够根据感知的环境信息，规划出适合机器人和盲人通过的安全无障碍路径，实现对盲人的自主引导。

Description

一种四足机器人导盲系统及方法

技术领域

本发明涉及移动服务机器人技术领域，尤其涉及一种四足机器人导盲系统及方法。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

眼睛是人们感知周围环境最主要的工具,视力障碍问题严重影响了人们的正常生活，大多数视障人士使用的导盲工具为功能简单的手杖,当今社会发展迅速,简单的手杖已经无法适应目前的复杂环境,然而以导盲犬为代表的生物导盲方式受高训练成本、长训练周期和寿命等影响始终无法普及,由于智能化机械越来越成熟,性能优异的导盲机器人是解决视障人士日常困难问题的最优解。

目前功能较为完善的导盲机器人可以分为智能导盲杖、穿戴式导盲设备、手持式导盲仪、基于智能终端的导盲系统和移动式导盲机器人。智能导盲杖在传统导盲杖的基础上增加多种传感器和微控单片机，向盲人提供路面信息，但无法提供具体的导航信息。穿戴式导盲设备将导盲系统装配在盲人的外套、眼镜、背包、鞋子等装备上，利用左、右耳声音语音使人产生方向性，但无法给出实体的牵引感且质量过大使盲人疲劳。手持式导盲仪在盲人手腕处和拇指处产生振动表示两处距离，距离越近振动越强，盲人可以通过不断转动手腕扫描周围环境来躲避障碍物，但无法提供具体导航信息且受精度影响较大。基于智能终端的导盲系统利用智能终端集成了大量传感器且自带导航功能，但成本较高且受限于有辅助信号发生装置的现场环境。移动式导盲机器人采用机器人先行、盲人跟随的导航方式，大大降低了盲人受伤的概率，显著提高了盲人在室内外行走的效率和安全性。

作为可以引导盲人运动的机器人，其地形适应能力应符合盲人运动的需求。常见轮式移动机器人对地形平坦度要求高，不能适合台阶，卵石路等非平坦地形的要求。四足机器人本体能够适应多种不同地形，探索腿足式生物的可通过区域，适合导盲的需求。

中国专利文献111110529A公开了“一种基于机器视觉的机械导盲犬”，该机械导盲犬通过安装在主体件上的视觉组件探测周围环境，但无牵引装置和路径规划、语音交互等功能，无法适用于复杂环境下的导盲需求。

中国专利文献112932911A公开了一种“基于混合感知系统的导盲机器人”，该导盲机器人利用多种传感器探测环境躲避障碍物和辩识目标物，但不具备快速平稳的路径规划功能。

机器人环境感知和探索是其能够适应复杂未知环境的前提，当前环境感知方法往往侧重于对外界信息的被动加工和处理，目前的机器人不具备对环境信息的主动感知和获取能力。另外，导盲机器人常常需要穿行于稠密人群动态变化的环境中，快速平稳的路径规划能力不仅是机器人能够穿越多个导航点的基础，也是实现盲人自主引导的前提，目前的导盲机器人也不具备快速平稳的路径规划的能力。

发明内容

本公开为了解决上述问题，提出了一种四足机器人导盲系统及方法，能够根据感知的环境信息，规划出适合机器人和盲人通过的安全无障碍路径，实现对盲人的自主引导。

为实现上述目的，本公开采用如下技术方案：

第一方面，提出了一种四足机器人导盲系统，包括：

环境信息获取模块，用于获取环境的三维点云信息；

环境感知与探索模块，用于根据三维点云信息对环境进行语义化建模，形成增量式网格地图；根据增量式网格地图的语义信息获得环境中人和导盲机器人可以并行通过的区域，形成可通过地图；在可通过地图中标记动态障碍物，形成环境复合地图；

路径规划模块，用于利用概率路图对环境复合地图进行分析，获得适合机器人运动的所有全局路径，并从所有全局路径中选取最优全局路径；

机器人，用于引导用户沿最优全局路径运动。

第二方面，提出了一种四足机器人导盲方法，包括：

获取环境的三维点云信息；

根据三维点云信息对环境进行语义化建模，形成增量式网格地图；根据增量式网格地图的语义信息获得环境中人和导盲机器人可以并行通过的区域，形成可通过地图；在可通过地图中标记动态障碍物，形成环境复合地图；

利用概率路图对环境复合地图进行分析，获得适合机器人运动的所有全局路径，并从所有全局路径中选取最优全局路径；

机器人沿最优全局路径运动。

第三方面，提出了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成一种四足机器人导盲方法所述的步骤。

第四方面，提出了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成一种四足机器人导盲方法所述的步骤。

与现有技术相比，本公开的有益效果为：

1、本公开能够通过机器人对环境的自主感知和识别，在复杂环境中规划行驶路线，智能语音提醒等功能，帮助盲人满足在家居环境和室外环境的安全通行需求，可以实现盲人群体的陪护和自主引导，提高盲人自主生活的能力。

2、本公开为让盲人快速获得移动机器人运动趋势，实现机器人对人的引导功能，摒弃了柔性绳等软连接方式连接人和机器人的手段，提出基于扭力弹簧机构的导盲机器人刚性引导机构，能够将机器人的运动倾向传递给盲人，引导盲人躲避障碍和熟悉地形。

3、本公开能够在动态环境下进行路径规划，使导盲机器人穿行于稠密人群的动态变化环境中，也能快速平稳地规划出一条最优路径，可通过构建外界环境模型，考虑盲人的可通过能力，实现复杂甚至未知环境下的多目标点路径规划，可实现对盲人的自主引导。

4、本公开具有智能语音交互功能，本发明的语音交互模块可以接收盲人的服务指令，做出相应动作。在遇到危险场景或崎岖地形时，系统通过智能语音提示提醒盲人注意安全。为满足流畅服务的要求，该语音交互模块能够完成准确语音识别，多轮语音对话等功能。

5、本公开采用机器人先行、盲人跟随的导航方式，大大降低了盲人受伤的概率，显著提高了盲人在室内外行走的效率和安全性。

本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。

图1为本公开实施例1公开的机器人硬件结构图；

图2为本公开实施例1公开的引导机构连接图；

图3为本公开实施例1公开的引导机构结构简图；

图4为本公开实施例1公开的弹簧伸缩杆的设置结构简图；

图5为本公开实施例1公开的机器人导航框架图；

图6为本公开实施例1公开的机器人路径规划框架图。

其中：1、引导机构，2、三维激光雷达，3、深度相机，4、麦克风阵列，5、导杆，6、弹簧伸缩杆，7、铰链，8、扭力弹簧，9、转盘，10、惯性测量单元。

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在本公开中，术语如“上”、“下”、“左”、“右”、“前”、“后”、“竖直”、“水平”、“侧”、“底”等指示的方位或位置关系为基于附图所示的方位或位置关系，只是为了便于叙述本公开各部件或元件结构关系而确定的关系词，并非特指本公开中任一部件或元件，不能理解为对本公开的限制。

本公开中，术语如“固接”、“相连”、“连接”等应做广义理解，表示可以是固定连接，也可以是一体地连接或可拆卸连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的相关科研或技术人员，可以根据具体情况确定上述术语在本公开中的具体含义，不能理解为对本公开的限制。

实施例1

在该实施例中，公开了一种四足机器人导盲系统，包括：

环境信息获取模块，用于获取环境的三维点云信息；

环境感知与探索模块，用于根据三维点云信息对环境进行语义化建模，形成增量式网格地图；根据增量式网格地图的语义信息获得环境中人和导盲机器人可以并行通过的区域，形成可通过地图；在可通过地图中标记动态障碍物，形成环境复合地图；

路径规划模块，用于利用概率路图对环境复合地图进行分析，获得适合机器人运动的所有全局路径，并从所有全局路径中选取最优全局路径；

机器人，用于引导用户沿最优全局路径运动。

进一步的，环境感知与探索模块，还用于根据网格占据概率对增量式网格地图进行分析，计算地图信息熵和拟观测位置的地图信息熵，得到拟观测位置的信息增益，选取信息增益最大的拟观测位置，并控制信息获取模块向信息增益最大的拟观测位置进行观测，从而获取环境的三维点云信息。

进一步的，还包括语音交互模块，用于获取语音信息，并对语音信息进行识别，根据语音信息的识别结果控制机器人运动；

或，将机器人运动过程中的地形特征生成语音提醒指令进行播放。

进一步的，机器人包括机器人本体和安装于机器人本体上的导杆机构。

进一步的，导杆机构包括导杆，导杆的一端通过转盘与机器人本体连接，导杆与转盘铰接，导杆与转盘铰接点的两侧分别设置扭力弹簧，导杆的中部设置弹簧伸缩杆。

进一步的，环境信息获取模块包括三维激光雷达和相机，通过三维激光雷达获取环境的点云信息和相机获取的视觉数据，获得环境的三维点云信息。

进一步的，三维激光雷达位于机器人本体的头部；相机放置于三维激光雷达的前端。

对本实施例公开的一种四足机器人导盲系统进行详细说明。

一种四足机器人导盲系统，包括机器人和设置于机器人上的环境信息获取模块、环境感知与探索模块、路径规划模块和语音交互模块。

如图1所示，机器人包括机器人本体和导杆机构1。其中，机器人本体为四足机器人，能够自主运动，导杆机构1设置于四足机器人躯干的中部，用于将机器人的运动倾向传递给被引导人。

如图2、3、4所示，引导机构1包括导杆5、弹簧伸缩杆6、转盘9、扭力弹簧8和铰链7。

其中，导杆5的一端与转盘9铰接，转盘9与机器人本体连接。导杆5与转盘9铰接点的两侧分别设置扭力弹簧8，扭力弹簧8的一端与导杆5连接，另一端与转盘9连接，通过扭力弹簧8的设置，使得导杆5前后转动时，均收到弹力，进而强迫导杆机构回正，在导杆5的中部设置弹簧伸缩杆6，将弹簧伸缩杆6加入导杆5中，使得导杆5具备一定的可伸缩性，能够根据应用对象调整长度，提高被引导人抓握导杆行走时的舒适度。

环境信息获取模块包括三维激光雷达2和深度相机3，三维激光雷达2位于四足机器人的头部，用于捕获所观测环境的点云信息，深度相机3在三维激光雷达2前端放置，用于获取所观测环境的视觉数据，通过三维激光雷达2获取的点云信息和深度相机3获取的视觉数据，获得环境的三维点云信息。

环境感知与探索模块，如图5所示，根据环境信息获取模块获取的三维点云信息对观测环境进行语义化建模，形成增量式网格地图，增量式网格地图中的每个网格均具有语义信息，同时可以反映该位置被障碍物占据的概率，根据地图的语义信息得到环境中人和导盲机器人可以并行通过的区域，形成可通过地图，该可通过地图作为复合地图的基础层，考虑动态障碍物，将动态障碍物标记在基础层中，并实时更新，形成环境复合地图。

此外，为了提高机器人的观测精度，本实施例公开的四足机器人导盲系统，还具备主动感知环境的能力，提出基于注意力机制的环境感知方法，根据已经构建的增量式网格地图，确定机器人的观测方向，具体为：环境感知与探索模块，根据构建的增量式网格地图的网格占据概率计算地图信息熵和拟观测位置的地图信息熵，进而根据地图信息熵和拟观测位置的地图信息熵，确定拟观测位置的信息增益，选取信息增益最大的拟观测位置为四足机器人最终的观测位置，驱动四足机器人向信息增益最大的拟观测位置进行观测，从而提高机器人的观测精度。

在获取环境复合地图的基础上，通过路径规划模块进行路径规划，路径规划模块，采用分级路径规划框架实现稠密人群动态环境下的路径规划，如图6所示，利用概率路图对环境复合地图进行分析，获得多条不同伦的路径，在概率路图的扩展过程中，考虑概率路图的斜率，规划出适合机器人运动的所有全局路径，每条全局路径均符合机器人的最大爬坡斜率。

对产生的所有全局路径进行优化，考虑机器人的运动学约束、机器人的避障的安全指标、机器人定位等功能，从所有全局路径中选取最优全局路径，进而控制四足机器人沿最优全局路径运动。

在具体实施时，评估所有全局路径的长度，选择长度最短的一条全局路径为当前的最优全局路径。

此外，本实施例公开的一种四足机器人导盲系统，还设置了语音交互模块，语音交互模块包括麦克风阵列4、语音播放器和语音处理模块。

麦克风阵列4和语音播放器位于四足机器人中部，提供人机语音交互的接口，接收用户的语音信息及对运动中生成的语音提醒指令进行播放，实现语音提醒。

语音处理模块，用于对麦克风阵列4接收的语音信息进行识别，进而根据语音识别结果控制机器人运动，此外，还将机器人运动过程中的地形特征生成语音提醒指令通过语音播放器进行播放，从而提升用户行走的安全性。

运动过程中的地形特征通过环境信息获取模块获取的环境的三维点云信息确定。

本实施例公开的四足机器人上，还设置了惯性测量单元10等多种传感器，用于捕捉机器人的运动姿态。

本实施例公开的一种四足机器人导盲系统，采用机器人先行、盲人跟随的导航方式，大大降低了盲人受伤的概率，显著提高了盲人在室内外行走的效率和安全性，能够通过机器人对环境的自主感知和识别，在复杂环境中规划行驶路线，智能提醒等功能，帮助盲人满足在家居环境和室外环境的安全通行需求，可以实现盲人群体的陪护和自主引导，解决导盲犬训练费用高昂的问题，提高盲人自主生活的能力。

本实施例的机器人可通过平地、斜坡、台阶、卵石路等多种不同的复杂地形，其地形适应能力符合盲人运动的需求，能够完成在家居和户外复杂环境中的盲人引导功能，适合导盲的需求；具备在未知环境中探索的功能，能够利用机器人的移动能力，实现对环境的主动感知和主动识别功能，可以识别所服务盲人、周围的行人及外界环境等信息

本实施例能够在动态环境下进行路径规划，使导盲机器人穿行于稠密人群的动态变化环境中，也能快速平稳地规划出一条最优路径，可通过构建外界环境模型，考虑用户的可通过能力，实现复杂甚至未知环境下的多目标点路径规划，实现对用户的自主引导。

为让盲人快速获得移动机器人运动趋势，实现机器人对人的引导功能，本实施例摒弃了柔性绳等软连接方式连接人和机器人的手段，提出基于扭力弹簧机构的导盲机器人刚性引导机构，能够将机器人的运动倾向传递给盲人，引导盲人躲避障碍和熟悉地形。

本实施例具有智能语音交互功能，其中的语音交互模块可以接收用户的语音信息，并根据语音信息做出相应动作。在遇到危险场景或崎岖地形时，系统通过智能语音提示提醒用户注意安全。为满足流畅服务的要求，该语音交互模块能够完成准确语音识别，多轮语音对话等功能。

实施例2

在该实施例中，公开了提出了一种四足机器人导盲方法，包括：

获取环境的三维点云信息；

根据三维点云信息对环境进行语义化建模，形成增量式网格地图；根据增量式网格地图的语义信息获得环境中人和导盲机器人可以并行通过的区域，形成可通过地图；在可通过地图中标记动态障碍物，形成环境复合地图；

利用概率路图对环境复合地图进行分析，获得适合机器人运动的所有全局路径，并从所有全局路径中选取最优全局路径；

机器人沿最优全局路径运动。

实施例3

在该实施例中，公开了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例2公开的一种四足机器人导盲方法所述的步骤。

实施例4

在该实施例中，公开了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例2公开的一种四足机器人导盲方法所述的步骤。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种四足机器人导盲系统，其特征在于，包括：

环境信息获取模块，用于获取环境的三维点云信息；

环境感知与探索模块，用于根据三维点云信息对环境进行语义化建模，形成增量式网格地图；根据增量式网格地图的语义信息获得环境中人和导盲机器人可以并行通过的区域，形成可通过地图；在可通过地图中标记动态障碍物，形成环境复合地图；

环境感知与探索模块，还用于根据网格占据概率对增量式网格地图进行分析，计算地图信息熵和拟观测位置的地图信息熵，得到拟观测位置的信息增益，选取信息增益最大的拟观测位置，并控制信息获取模块向信息增益最大的拟观测位置进行观测，从而获取环境的三维点云信息；

路径规划模块，用于利用概率路图对环境复合地图进行分析，获得适合机器人运动的所有全局路径，并从所有全局路径中选取最优全局路径；

机器人，用于引导用户沿最优全局路径运动。

2.如权利要求1所述的一种四足机器人导盲系统，其特征在于，还包括语音交互模块，用于获取语音信息，并对语音信息进行识别，根据语音信息的识别结果控制机器人运动。

3.如权利要求2所述的一种四足机器人导盲系统，其特征在于，语音交互模块，用于将机器人运动过程中的地形特征生成语音提醒指令进行播放。

4.如权利要求1所述的一种四足机器人导盲系统，其特征在于，机器人包括机器人本体和安装于机器人本体上的导杆机构。

5.如权利要求4所述的一种四足机器人导盲系统，其特征在于，导杆机构包括导杆，导杆的一端通过转盘与机器人本体连接，导杆与转盘铰接，导杆与转盘铰接点的两侧分别设置扭力弹簧，导杆的中部设置弹簧伸缩杆。

6.如权利要求1所述的一种四足机器人导盲系统，其特征在于，环境信息获取模块包括三维激光雷达和相机，通过三维激光雷达获取环境的点云信息和相机获取的视觉数据，获得环境的三维点云信息。

7.如权利要求1所述的一种四足机器人导盲系统，其特征在于，三维激光雷达位于机器人本体的头部；相机放置于三维激光雷达的前端。

8.一种四足机器人导盲方法，其特征在于，包括：

获取环境的三维点云信息；

根据三维点云信息对环境进行语义化建模，形成增量式网格地图；根据增量式网格地图的语义信息获得环境中人和导盲机器人可以并行通过的区域，形成可通过地图；在可通过地图中标记动态障碍物，形成环境复合地图；

根据网格占据概率对增量式网格地图进行分析，计算地图信息熵和拟观测位置的地图信息熵，得到拟观测位置的信息增益，选取信息增益最大的拟观测位置，并控制信息获取模块向信息增益最大的拟观测位置进行观测，从而获取环境的三维点云信息；

利用概率路图对环境复合地图进行分析，获得适合机器人运动的所有全局路径，并从所有全局路径中选取最优全局路径；

机器人沿最优全局路径运动。

9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求8所述的一种四足机器人导盲方法的步骤。

10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求8所述的一种四足机器人导盲方法的步骤。

Images