CN106109188A - 主动式手推导盲小车 - Google Patents

Abstract

主动式手推导盲小车所属交通工具领域。涉及深度图像获取、处理及自主控制导向避障技术。 盲人只需要通过语音下达目的地信息，主动式手推导盲小车可以自主查询目的地位置，自动规划路径，带领盲人沿盲道到达目的地。行走过程中，遇到障碍物主动式手推导盲小车可以自动规划避障路径，越过障碍后再引导盲人走回盲道，继续向目的地行进。

Description

主动式手推导盲小车

技术领域

主动式手推导盲小车所属交通工具领域。涉及深度图像获取、处理及自主控制导向避障技术。

背景技术

从现有的成熟技术以及研究来看，带有自动避障功能的导盲工具大多采用的是发射、接受红外线或超声波，并通过蜂鸣提醒来实现避障功能。就现有成果的工作原理来看，通过检测发射与接收的时间差计算障碍物的方向与位置，得到的只是对真实路况的数据模拟，并不能够完全客观地进行描述，直观性欠佳。同时，红外线或超声波手杖大多功能单一，只能针对3-5米范围内的道路进行预警，较远距离的导航功能较弱甚至缺失。而且，现有手杖缺少能实现人机交互的语音提示，用户体验不佳。即在现有基础之上仍存在着很大的改进空间。

基于上述认识，我们查阅了相关领域的大量文献资料，得到以下创新思路。利用视场中各个物体的深度信息来判断视场中有无障碍，并寻找出最佳的通路，即设计出一种具有实时避障功能的盲人专用的语音提示型智能导盲小车。

发明内容

本发明(如图1)是一个辅助盲人在盲道上行走的导盲车。盲人用这个车时，首先打开手机上的APP，说出自己要去哪个地方，如去天安门广场。然后手机会识别盲人说出来的话，最后生成一个路径，这个路径会存储下来。以后当导盲车识别出拐弯节点，就会调用路径，判断应该向哪个方向拐弯，然后控制舵机自动往那个方向转一定的角度。

当盲人推着这个车出行时，这个车就会自动识别视野范围内的盲道，然后引导盲人走向盲道。当盲人在盲道上遇到障碍时，这个车就会自动控制舵机转过一定的角度。绕过障碍物后再重新回到盲道上。

分为如下几个步骤。

1、识别障碍

Kinect是由微软公司生产的一款体感设备，原本是为配合Xbox360游戏机共同使用，但因其低廉的价格和深度成像的特色被迅速应用到了自动化、医学、教育等多种领域。Kinect获取深度数据的原理如下：红外投影机的普通激光源投射出一道激光，这道激光经过磨砂玻璃和红外滤光片，覆盖Kinect的可视范围，红外摄像头接收反射光线，识别目标物体的深度场。最终得到的数据通过USB线传输到计算机。

生成3D点云数据

Kinect深度摄像头的物像关系如图2所示。

根据下面的公式可以得到现实空间的3D点云数据。

其中，(x，y，z)是现实空间的坐标，人所在位置为原点，x轴水平向右，y轴向外，z轴竖直向上；d 是深度值变量；u和v是图像中的像素坐标变量；u₀和v₀图像中心点的像素坐标，值为320pi和240pi；z₀是摄像头相对于地面的高度；fx和fv是红外摄像头焦距的另一种表现形式，或者说是一种比例系数，值为

障碍标记及合并

当生成现实空间的(x，y，z)数据后，x1-x2表示障碍的宽度(或通路的宽度)，y表示障碍的距离，z代表障碍的高度，若z＝0表示地面，z＜0表示凹陷，z＞0表示凸起的障碍。由于深度误差、透镜像差以及Kinect姿态的原因，表示地面的点的z值在0上下有一个浮动。所以将z＞50和z＜-50的点全部标记为障碍。

Kinect返回的深度图像大小为640x480＝307200，而我们生成的xyz关系共有5000x4000＝20000000个点。这么多数据一方面加大了计算机的运算负担，另一方面过于离散的障碍点不利于处理。所以我们对上一步中标记的障碍进行合并。具体做法是对20厘米深度范围内的障碍进行纵向合并，这样使得运算量大大减少，处理速度明显提高。

寻找通路

我们设定70厘米为小车和盲人的安全通过宽度。通路寻找流程如图3，通路示意如图4.

首先检测正前方2米处70厘米范围内是否存在障碍，若存在障碍，则进行避障，否则接收下一帧图像重新处理。

从视场中央分别向左、向右寻找通路，即700个连续没有被标记为障碍的点。最多得到两条通路。也有可能一条通路也没有，这时可以适当放宽对通过宽度的要求，但最低不能少于65厘米。

根据人在避障时优先选择离自己最近且可以通向最远处通路的原则，选择上一步所得通路中可以通向最远的一条作为最优通路；若都可以通向最远处4米(Kinect可探测深度的最大值)，则选择更靠近中央的通路。通路选择如图5.

2、识别盲道

Kinect生成色彩图后，通过算法识别出图像的模式，判断现有画面上是否存在盲道，以及盲道在哪个方位。判断出盲道在哪个方位后，当盲人一开始寻找盲道或为了避障离开盲道后就可以回到盲道。

3、手机导航

手机上的APP界面上主要是“导航”两个大字，这两个字做得足够大使盲人能够轻易按到这个按钮，按下导航后，APP里面会与语音提示你说出自己要去的地点，然后里面会重复一遍，提示盲人确认。当盲人确认后就会调用高德地图的API，生成路线图。将这个路线图储存下来，以后识别出路口就调用这组数据，确定向哪个转。

附图说明

图1是系统软件整体框图

图2是红外摄像头物像关系

图3是通路寻找流程

图4是通路示意

图5是通路选择

图6是导盲小车基本参数表

图7是走廊示意图

图8是房间示意图

图9是门通路示意图

图10是实验截图示意图

具体实施方式

本发明是一个辅助盲人在盲道上行走的导盲车。盲人用这个车时，首先打开手机上的APP，说出自己要去哪个地方，如去天安门广场。然后手机会识别盲人说出来的话，最后生成一个路径，这个路径会存储下来。以后当导盲车识别出拐弯节点，就会调用路径，判断应该向哪个方向拐弯，然后控制舵机自动往那个方向转一定的角度。当盲人推着这个车出行时，这个车就会自动识别视野范围内的盲道，然后引导盲人走向盲道。当盲人在盲道上遇到障碍时，这个车就会自动控制舵机转过一定的角度。绕过障碍物后再重新回到盲道上。

室内外多种场景下的实验结果表明，计算机可以根据3D云数据信息判断障碍物及通路，并向使用者做出提示。导盲小车基本参数表如图6

室内结果

1.宿舍走廊

将小车置于宿舍的长走廊中，走廊存在转角以及死角，在推动小车行走过程中，小车能够引导盲人在前方死路，旁边存在通路时，引导实现转弯，并在完全死路时发出警示，如图7。

2.杂物摆列的房间

当在房间内使用Kinect小车时，将杂物随意摆放，预留通路，发现使用导盲小车时，能完全实现避障，并基本按照预留通路行进，如图8。

3.寻找门的通路

当推动小车行进，前方除了一个门的大小，并无其他通路时，发现Kinect能够引导盲人通过前方门的通路，如图9。

室外结果

1.马路上杂物及马路沿

将小车推出，并朝向马路上的垃圾行进时，Kinect能够识别，并引导避障。

2.障碍物

当人墙站在Kinect前阻挡通路，Kinect能够向盲人发出警示：前方无通路，如图10。

Claims (3)

1.Kinect的深度图像处理

主动式手推避障小车在使用Kinect测量深度时，首先要对其深度数据进行预处理，一方面校正由实际距离与深度值之间非线性关系带来的误差，另一方面需要对返回值为-8的区域进行正确的深度填充，以达到深度数据准确可信的要求。深度值校正为根据实验所得数据选取如下7个采样点，采用线性差值的方法，即可一定程度上消除Kinect测量值的误差，实现深度值校正。消除白色区域是利用深度图像与RGB图像的对应关系，在RGB图像中求得一点，使该点位于白色点的邻域内，且该点的颜色与白色点在RGB图像中对应点的颜色最为接近，则以该点的深度值作为白色点的深度值填充。

2.深度图像处理与避障系统

主动式手推避障小车避障就是对1中处理后的数据进行加工，最后生成避障方式，这里面有三个过程，首先生成3D点云数据，然后障碍标记及合并，最后寻找通路。因为Kinect返回的深度还不能满足后面避障程序的要求，因此需要先将它们变为3D点云数据，便于后续处理。当生成现实空间的(x，y，z)数据后，x1-x2表示障碍的宽度(或通路的宽度)，y表示障碍的距离，z代表障碍的高度，若z＝0表示地面，z＜0表示凹陷，z＞0表示凸起的障碍。由于深度误差、透镜像差以及Kinect姿态的原因，表示地面的点的z值在0上下有一个浮动。所以将z＞50和z＜-50的点全部标记为障碍。Kinect返回的深度图像大小为640x480＝307200，而我们生成的xyz关系共有5000x4000＝20000000个点。这么多数据一方面加大了计算机的运算负担，另一方面过于离散的障碍点不利于处理。所以我们对上一步中标记的障碍进行合并。具体做法是对20厘米深度范围内的障碍进行纵向合并，这样使得运算量大大减少，处理速度明显提高。我们设定70厘米为小车和盲人的安全通过宽度。首先检测正前方2米处70厘米范围内是否存在障碍，若存在障碍，则进行避障，否则接收下一帧图像重新处理。

3.色彩图像处理与盲道识别

主动式手推避障小车首先通过大量的数据生成有关盲道的图像特征，首先是确认视野内有没有盲道，然后确定盲道和自己的相对位置。如果视野内有盲道，则判断盲道与自己的相对位置，如果识别出自己已经在盲道上走了，则结束；如果发现自己不在，则生成走上盲道的方法，然后通过控制舵机引导盲人走上盲道。如果视野内没有盲道则提醒。