CN115164931B - 一种盲人出行辅助系统、方法及设备 - Google Patents

Abstract

本申请公开了一种盲人出行辅助系统、方法及设备，所述系统包括：至少一个图像采集模块，被配置成获取预设角度范围内预设距离的图像信息；物体识别模块，被配置成将所述图像信息输入至预先训练好的物体识别模型中，输出所述图像信息的物体识别结果；运动轨迹预测模块，被配置成将所述动态个体的坐标信息输入至预先训练好的运动轨迹预测模型中，输出所述动态个体在每个预设时间步长的坐标信息；路径规划模块，被配置成基于所述动态个体在每个预设时间步长的坐标信息和所述静态个体的坐标信息，生成由起始位置到目标位置的移动路径。本申请公开的系统能够提高盲人的出行效率，保证盲人的出行安全，提升盲人用户的体验效果。

Description

一种盲人出行辅助系统、方法及设备

技术领域

本申请涉及导航技术领域，特别是涉及一种盲人出行辅助系统、方法及设备。

背景技术

据调查，中国的盲人数量非常庞大，几乎每100个中国人中，就有一个盲人。由于视觉障碍, 迫使盲人群体形成了不同于明眼人的感知世界和传达信息的沟通模式, 据调查显示, 每天外出的盲人仅占27%, 有55%的盲人表示在出行时无法辨清方向, 34%的盲人担心出行的过程中被障碍物撞到。

目前人工智能技术飞速发展，尤其是自主机器人、无人驾驶汽车等产品的大力研发，这些帮助机器感知环境、自主行进的技术，在盲人出行辅助设备上也能够发挥优势。在人工智能领域，针对盲人的辅助设备也有了一定的研究，研发出基于红外线、超声波、GPS技术结合人工智能算法的盲人出行辅助设备。现有的盲人出行辅助设备一般针对静态障碍物进行避障，而静态障碍物是长期不动的，能够设计避障路线，而在行进中，可能遇到很多复杂情况，会有多个动态个体（例如：车辆、动物、行人等），如果只考虑突然出现在眼前的障碍物，一味地避让、绕行，导致盲人出行的效率低下。此外，在复杂路况下，停留时间过长不利于保证盲人行进的安全性。

发明内容

基于上述问题，本申请提供了一种盲人出行辅助系统、方法及设备，以解决盲人出行时效率低和安全性低的问题。

本申请实施例公开了如下技术方案：

第一方面，本申请实施例提供了一种盲人出行辅助系统，所述系统包括至少一个图像采集模块、物体识别模块、运动轨迹预测模块和路径规划模块；

所述图像采集模块被配置成获取预设角度范围内预设距离的图像信息；

所述物体识别模块被配置成将所述图像信息输入至预先训练好的物体识别模型中，输出所述图像信息的物体识别结果；其中，所述物体识别结果包括静态个体和动态个体；

所述运动轨迹预测模块被配置成将所述动态个体的坐标信息输入至预先训练好的运动轨迹预测模型中，输出所述动态个体在每个预设时间步长的坐标信息；

所述路径规划模块被配置成基于所述动态个体在每个预设时间步长的坐标信息和所述静态个体的坐标信息，生成由起始位置到目标位置的移动路径。

进一步地，所述系统还包括建图与定位模块，所述建图与定位模块被配置成基于所述图像信息和所述物体识别结果，利用SLAM算法构建俯视视角的相机坐标系下的octomap地图，将所述octomap地图转换为世界坐标系下的全局地图，并确定所述用户在所述全局地图中的相对位置信息。

进一步地，所述路径规划模块具体被配置成将所述动态个体在每个预设时间步长的坐标信息、所述静态个体的坐标信息和所述相对位置信息输入至预先训练好的路径规划模型中，输出所述用户在所述全局地图中由起始位置到目标位置的移动路径规划结果。

进一步地，所述运动轨迹预测模型由循环神经网络算法训练样本数据得到。

进一步地，所述物体识别模型是由Yolact-edge算法训练样本数据得到。

第二方面，本申请实施例提供一种盲人出行辅助方法，包括：

获取预设角度范围内预设距离的图像信息；

将所述图像信息输入至预先训练好的物体识别模型中，输出所述图像信息的物体识别结果；其中，所述物体识别结果包括静态个体和动态个体；

将所述动态个体的坐标信息输入至预先训练好的运动轨迹预测模型中，输出所述动态个体在每个预设时间步长的坐标信息；

基于所述动态个体在每个预设时间步长的坐标信息以及静态个体的坐标信息，生成由起始位置到目标位置的移动路径。

进一步地，所述方法还包括：

基于所述图像信息中的静态个体识别结果，基于SLAM算法构建俯视视角的相机坐标系下的octomap地图，并将所述octomap地图转换为世界坐标系下的全局地图；

确定所述用户在所述全局地图中的相对位置信息。

进一步地，所述基于所述动态个体在每个预设时间步长的坐标信息以及静态个体的坐标信息，生成由起始位置到目标位置的移动路径，具体包括：

将所述动态个体在每个预设时间步长的坐标信息、所述静态个体的坐标信息和所述相对位置信息输入至预先训练好的路径规划模型中，输出在所述用户在所述全局地图中由起始位置到目标位置的移动路径规划结果。

第三方面，本申请实施例提供一种盲人出行辅助设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述的方法。

相较于现有技术，本申请具有以下有益效果：

本申请公开的一种盲人出行辅助系统、方法及设备，盲人能够通过运动轨迹预测模块和路径规划模块帮助盲人在动态个体较多的复杂场景下快速规划出移动路线，能够减少盲人在面对动态个体时多次避让和绕行的情况，进而提高了盲人的出行效率。在面对复杂路况，盲人能够根据所规划的路径以较短的时间通过，从而有效地避免原地停留时间过长对盲人出行安全的影响，大大增加了辅助出行的效果，提升了用户体验。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种盲人出行辅助系统结构示意图；

图2为本申请实施例提供的另一种盲人出行辅助系统结构示意图；

图3为本申请实施例提供的一种盲人出行辅助方法流程示意图；

图4为本申请实施例提供的用户相对位置信息确定方法流程示意图；

图5为本申请实施例提供的一种盲人出行辅助设备结构示意图。

具体实施方式

正如前文描述，目前的盲人出行辅助设备还难以满足需要，基于人工智能技术结合红外线、超声波或GPS技术的出行辅助设备不多，能投入使用的更是少之又少。

基于超声波的导盲辅助设备的原理是由设备发出超声波，声波遇到障碍物后回弹到设备上，基于发出声波、接收声波的间隔时间，可以计算设备与物体的间隔距离。但是，这种设备的局限性很大，首先，盲人无法知道周围环境中的物体具体是什么；其次，超声波是在一个平面内发射、接收的，而不是一个空间中，因此探测物体的维度受到限制；此外，易受到干扰，如果盲人和被测物体都在行进，就会产生误差。

基于红外线的导盲辅助设备与超声波类似，红外线比超声波速度快、传输距离远。但是在实际使用时，由于红外线作为光波在室外易受到阳光等光的影响，且不同面反射的光强不一样，与被测物体的性质息息相关，导致其稳定性不够。

基于GPS的导盲辅助设备，具有定位与导航的功能。GPS技术存在精度问题，其精度平均在10m左右；且在复杂的城市环境中易受干扰导致较大的定位误差。对于视力正常的人来说，到达目的地附近即可搜索到目标，但对于盲人群体，必须准确知道物体和自己的距离，才能实现抓取、避障等行为。因此，GPS技术无法满足盲人对定位精度的要求。

以上种种问题都会影响行人的出行效率和出行安全。

发明人经过研究发现，目前的盲人辅助设备还难以满足盲人群体的需求。由于静态物体的位置是长久不变的，便于设计避障路线，而动态物体（车辆，动物，行人等）可能是突然出现的，此时需要盲人停下或者绕行。但在实际的行进中，一直避让或者绕行，会大大降低盲人的出行效率。举例来说，当一盲人用户正在过马路，同时通过的行人很多，如果出现一个行人就停下或绕远，那么通过马路的时间就会变长，可能会导致盲人被车撞倒，降低了盲人出行的安全性。

有鉴于此，本申请提供一种盲人出行辅助系统，预测视野范围内动态个体的运动轨迹，并根据动态个体的运动轨迹对盲人的运动轨迹进行规划，避免盲人与动态个体发生碰撞，大大提升了盲人出行的效率，即便是在行人和车辆较多的复杂路况，也能保障盲人的安全。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参见图1，本实施例提供一种盲人出行辅助系统，具体包括：至少一个图像采集模块101、物体识别模块102、运动轨迹预测模块104和路径规划模块105。

其中，所述图像采集模块101被配置成获取预设角度范围内预设距离的图像信息。

具体的，该图像采集模块101可选择RGB-D摄像头，RGB-D摄像头能够获得物体与摄像头的相对关系，即物体与盲人之间的相对关系。也可根据实际情况选择其他摄像头作为图像采集模块101，例如：双目摄像头和单目摄像头。

所述物体识别模块102被配置成将所述图像信息输入至预先训练好的物体识别模型中，输出所述图像信息的物体识别结果；其中，所述物体识别结果包括静态个体和动态个体。

需要说明的是，该物体识别模型由Yolact-edge算法训练样本数据得到。Yolact-edge是一个可在小型边缘设备上以实时速度运行的实例分割方法。

所述运动轨迹预测模块104被配置成将所述动态个体的坐标信息输入至预先训练好的运动轨迹预测模型中，输出所述动态个体在每个预设时间步长的坐标信息。

在实际的路况中，相比于自行车、汽车等模型，行人运动更加主观、灵活，很难对行人建立合理的动力学模型（因为行人可以随时转弯、停止、运动等），这加剧了行人预测的难度，但是通过观察某个物体历史时刻的运动轨迹，可以根据人工智能算法预测该物体未来的运动轨迹。目前对于行人轨迹预测大多采用的方法有循环神经网络（Recurrent NeuralNetwork, RNN）和长短期记忆网络（LSTM，Long Short-Term Memory）。

需要说明的是，在实际应用过程中，对于运动轨迹模型预测的训练，例如对行人运动轨迹预测时，可将行人的头部朝向、关节信息、性别、年龄信息和注意力信息，同时结合环境信息（例如：道路结构、交通规则、当前的交通灯信息等）作为训练数据对模型进行训练得到运动轨迹预测模型，在此不对训练数据作具体限定。

所述路径规划模块105被配置成基于所述动态个体在每个预设时间步长的坐标信息和所述静态个体的坐标信息，生成由起始位置到目标位置的移动路径。

容易理解的是，对于动态物体运动轨迹预测的目的是为了避免盲人用户在行走过程中与动态物体的行走轨迹重合，从而避免盲人用户被碰撞导致的伤害。通过路径规划模块105能够为盲人用户在规定范围的区域内找到一条从起点到终点的无碰撞安全路径。

可见，通过运动轨迹预测模块104和路径规划模块105帮助盲人在动态个体较多的复杂场景下快速规划出移动路线，能够减少盲人在面对动态个体时多次避让和绕行的情况，进而提高了盲人的出行效率。在面对复杂路况，盲人能够根据所规划的路径以较短的时间通过，从而有效地避免原地停留时间过长对盲人出行安全的影响，大大增加了辅助出行的效果，提升了用户体验。

在一些实施例中，参考图2，所述盲人出行辅助系统还可以包括建图与定位模块103，所述建图与定位模块103被配置成基于所述图像信息和所述物体识别结果，构建俯视视角的相机坐标系下的octomap地图，并将所述octomap地图转换为世界坐标系下的全局地图。

具体的，通过扫描获得物体的特征点（比如边缘点、角点等），数个特征点可以勾勒出环境中障碍物的形状以及地图的边界（比如墙体），从而构建一个地图。在获得地图后，在地图中行进时，可以通过比对视野中的物体与地图中的物体，进行自我定位，以知晓盲人用户在地图中的具体位置，随着行进，视野中看到的内容越多，即图像信息越多，可进行比对的内容越多，定位越精准。

需要说明的是，常用的地图都是从上俯视整个空间的，而建图时是通过摄像头视角构建的，为了后续能够更好的实现路径规划，需要将地图进行视角转换，转成俯视视角。其中，世界坐标系是系统的绝对坐标系，规定一个点为原点，构建一个笛卡尔坐标系；相机坐标系就是以相机为原点，构建的笛卡尔坐标系。在本申请中，相机固定在盲人身上，因此相机和盲人是同一个点，即盲人为相机坐标系的原点。由于该盲人出行辅助系统由多个模块结合，为是数据更具通用性，因此将相机坐标系下的地图转换为全局坐标系下的地图，使所有物体（包括盲人用户）的位置都在通用的世界坐标系下表示，可以方便后续使用所有物体的坐标信息。

在一些实施例中，参考图2，所述盲人出行辅助系统还可以包括建图与定位模块103，所述建图与定位模块103被配置成基于SLAM算法确定所述用户在所述全局地图中的相对位置信息。

在一些实施例中，所述路径规划模块105具体被配置成将所述动态个体在每个预设时间步长的坐标信息、所述静态个体的坐标信息和所述相对位置信息输入至预先训练好的路径规划模型中，输出所述用户在所述全局地图中由起始位置到目标位置的移动路径规划结果。

在一些实施例中，所述盲人出行辅助系统还可以包括语音交互模块，所述语音交互模块被配置成根据用户的语音信息执行对应操作。

对于盲人用户来说用手去操作一款应用程序相对比较困难，盲人用户只需语音输入就能使用应用程序的所有功能，大大提高盲人的用户体验。

在一些实施例中，所述盲人出行辅助系统还可以包括提示模块，所述提示模块被配置成当用户与物体的距离小于预设阈值时，根据物体的坐标信息在对应方位发出提示信息。

具体的，提示信息可以为震动提示或者语音播报提示。

基于统一发明构思，与上述任一实施例方法相对应的，本申请还提供了一种盲人出行辅助方法。

参考图3，所述盲人出行辅助方法，具体包括以下步骤：

步骤S201，获取预设角度范围内预设距离的图像信息。

步骤S202，将所述图像信息输入至预先训练好的物体识别模型中，输出所述图像信息的物体识别结果；其中，所述物体识别结果包括静态个体和动态个体。

步骤S203，将所述动态个体的坐标信息输入至预先训练好的运动轨迹预测模型中，输出所述动态个体在每个预设时间步长的坐标信息。

步骤S204，基于所述动态个体在每个预设时间步长的坐标信息以及静态个体的坐标信息，生成由起始位置到目标位置的移动路径。

作为一个可选的实施例，参考图4，所述盲人出行辅助方法还包括以下步骤：

步骤S301，基于所述图像信息中的静态个体识别结果，构建俯视视角的相机坐标系下的octomap地图，并将所述octomap地图转换为世界坐标系下的全局地图。

步骤S302，基于SLAM算法确定所述用户在所述全局地图中的相对位置信息。

作为一个可选的实施例，对于前述实施例中的步骤S204，其具体可以包括：

将所述动态个体在每个预设时间步长的坐标信息、所述静态个体的坐标信息和所述相对位置信息输入至预先训练好的路径规划模型中，输出在所述用户在所述全局地图中由起始位置到目标位置的移动路径规划结果。

基于同一发明构思，与上述任意实施例方法相对应的，本申请还提供了一种盲人出行辅助设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的盲人出行辅助方法。

图5示出了本实施例所提供的一种更为具体的盲人出行辅助设备硬件结构示意图， 该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU（Central Processing Unit，中央处理器）、微处理器、应用专用集成电路（Application Specific Integrated Circuit，ASIC）、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM（Read Only Memory，只读存储器）、RAM（Random AccessMemory，随机存取存储器）、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中（图中未示出），也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块（图中未示出），以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式（例如USB、网线等）实现通信，也可以通过无线方式（例如移动网络、WIFI、蓝牙等）实现通信。

总线1050包括一通路，在设备的各个组件（例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040）之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

上述实施例的电子设备用于实现前述任一实施例中相应的盲人出行辅助方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.一种盲人出行辅助系统，其特征在于，所述系统包括至少一个图像采集模块、物体识别模块、运动轨迹预测模块和路径规划模块；

所述图像采集模块被配置成获取预设角度范围内预设距离的图像信息；

所述物体识别模块被配置成将所述图像信息输入至预先训练好的物体识别模型中，输出所述图像信息的物体识别结果；其中，所述物体识别结果包括静态个体和动态个体；

所述运动轨迹预测模块被配置成将所述动态个体的坐标信息输入至预先训练好的运动轨迹预测模型中，输出所述动态个体在每个预设时间步长的坐标信息；当所述动态个体包括行人时，所述运动轨迹预测模型的训练数据包括：行人的头部朝向、关节信息、性别、年龄信息、注意力信息和环境信息；

所述路径规划模块被配置成基于所述动态个体在每个预设时间步长的坐标信息和所述静态个体的坐标信息，生成由起始位置到目标位置的移动路径；

所述系统还包括建图与定位模块，所述建图与定位模块被配置成基于所述图像信息和所述物体识别结果，利用SLAM算法构建俯视视角的相机坐标系下的octomap地图，将所述octomap地图转换为世界坐标系下的全局地图，并确定用户在所述全局地图中的相对位置信息；

所述路径规划模块具体被配置成将所述动态个体在每个预设时间步长的坐标信息、所述静态个体的坐标信息和所述相对位置信息输入至预先训练好的路径规划模型中，输出所述用户在所述全局地图中由起始位置到目标位置的移动路径规划结果。

2.根据权利要求1所述的系统，其特征在于，所述运动轨迹预测模型由循环神经网络算法训练样本数据得到。

3.根据权利要求1所述的系统，其特征在于，所述物体识别模型是由Yolact-edge算法训练样本数据得到。

4.一种盲人出行辅助方法，其特征在于，包括：

获取预设角度范围内预设距离的图像信息；

将所述图像信息输入至预先训练好的物体识别模型中，输出所述图像信息的物体识别结果；其中，所述物体识别结果包括静态个体和动态个体；

将所述动态个体的坐标信息输入至预先训练好的运动轨迹预测模型中，输出所述动态个体在每个预设时间步长的坐标信息；当所述动态个体包括行人时，所述运动轨迹预测模型的训练数据包括：行人的头部朝向、关节信息、性别、年龄信息、注意力信息和环境信息；

基于所述动态个体在每个预设时间步长的坐标信息以及静态个体的坐标信息，生成由起始位置到目标位置的移动路径；

所述方法还包括：

基于所述图像信息中的静态个体识别结果，基于SLAM算法构建俯视视角的相机坐标系下的octomap地图，并将所述octomap地图转换为世界坐标系下的全局地图；

确定用户在所述全局地图中的相对位置信息；

所述基于所述动态个体在每个预设时间步长的坐标信息以及静态个体的坐标信息，生成由起始位置到目标位置的移动路径，具体包括：

将所述动态个体在每个预设时间步长的坐标信息、所述静态个体的坐标信息和所述相对位置信息输入至预先训练好的路径规划模型中，输出在所述用户在所述全局地图中由起始位置到目标位置的移动路径规划结果。

5.一种盲人出行辅助设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求4所述的方法。

Images