CN101368828A - 基于计算机视觉的盲人导航方法及系统 - Google Patents

Abstract

一种基于计算机视觉的盲人导航方法，其系统主要包括两大模块：超声波探测障碍物，视频感知部分用于盲人导航。其中图像采集设备通过普通视频摄像头采集图像，处理器采用计算机视觉算法对采集到的视频图像进行处理，采用klt算法进行特征跟踪，以角点特征作为输入。先人为地带着摄像头沿预先设定的路线走一回，等时间间隔地提取出部分图像帧的特征点，存于数据库中。当盲人重新走训练过的路线，提取每幅图像的特征点，经与数据库中保存图像的特征点进行比对，最后决定盲人下一步需要前行的方向，由视频处理算法输出的转向结果由触觉和声觉传递给盲人，形成立体反馈信息，实现盲人导航。

Description

基于计算机视觉的盲人导航方法及系统

技术领域

本发明属于计算机视觉领域，具体涉及基于计算机视觉的盲人导航方法及装置，可以帮助盲人在室内、以及室外等经常去的地方无障碍地行走。

背景技术

盲人作为社会上的一个特殊群体，需要社会给予他们更多的关怀和照顾，使他们能够更好地独立生活。如何安全行走，是盲人生活中最大的问题。盲人在生活中渴望独立，但总有力不能及的方面。事实上，许多机构都研制过一些帮助盲人行走的工具，如：带扬声器的导航棍，优点是晚上可发出光，提醒路人与司机，缺点是易坏、太敏感；还有探知前方障碍物的盲人眼镜，其优点是体积较小，缺点是测量范围小。总之，都不能很好地满足实际使用的需要。

通过对过去各种导盲人辅助产品优缺点的总结，根据盲人切身的要求和需要，本发明提供了一套基于视觉处理的、较为完善的盲人导航系统。

发明内容

本发明的目的在于提供一种基于计算机视觉的盲人导航方法及系统，其导航系统功能较完善，灵活性强且实用方便，可扩展性强。

为了达到上述目的，本发明的解决方案是：

一种基于计算机视觉的盲人导航方法，步骤包括；

(a)采集盲人行走环境的视频图像；例如先人为地带着摄像头沿预先设定的路线走一回，存于数据库中；

(b)采用计算机视觉算法对采集到的视频图像进行处理；

(i)例如采用KLT算法进行特征跟踪，以角点特征作为输入；

(ii)当盲人重新走训练过的路线，提取每幅图像的特征点，经与数据库中保存图像的特征点进行比对，每一个特征点都可以做一次转向的判决，统计所有特征点的判断，最后决定盲人下一步需要前行的方向，给出导航信息。

还包括：(c)超声波探测障碍物，选用“超声波测距仪”。超声波传感器价格相对便宜，性价比高。

(d)步骤(ii)中所述“给出导航信息”包括：由视频处理算法输出的转向结果由触觉(例如振动器)和声觉(例如蜂鸣器)传递给盲人，形成立体反馈信息。

所述的步骤(b)盲人导航的视频图像处理中，关键帧的切换采用最小方差的方法，实现较好的鲁棒性。

所述的步骤(c)超声波探测障碍物：多超声波阵列融合单片机PC通信技术，超声波探测障碍物在几米或者十几米范围之内进行距离测量。

所述的步骤(d)结合频率扬声器或/和振动传感器和嵌入式显示的立体反馈机制，进行路径规划，帮助盲人迅速安全的到达目标地点。

标定为二维标定。是将图像坐标转换为实际坐标，为视频处理提供辅助信息；将盲人导航算法与微软实验室摄像机标定模块，获得摄像机内参进行融合，从而使判决精度提升。

实现上述方法的系统，包括：

(a)笔记本电脑一台

(b)普通的Web USB摄像头一个

(c)超声波传感器三个，I2C总线数据传输

(d)PC通信模块(单片机)，用于数据采集和反馈

(e)振动器两个，频率扬声器一个

本系统以笔记本为主要数据处理中心，主要感知设备：摄像头通过USB接口与笔记本相连，提供视频感知信息，辅助感知设备：三个超声波通过单片机与笔记本通信，提供距离感知信息，然后经过笔记本处理后，由视频处理算法输出的转向结果由触觉(振动器)和声觉(频率扬声器)传递给盲人，形成立体反馈信息，实现盲人导航。

经过多次实验测试，本系统可以辅助盲人在室内按照指定路线进行直行，拐弯，避开障碍物等操作。

盲人导航系统的先进性体现在采用了视觉导航技术，用单目摄像头实现了导航功能，国外同类产品都使用了多目摄像头。实用性体现在价格便宜，特别适合盲人室内行走，用于盲人室内行走，如盲人参加会展等场合使用。本发明系统具有很好的扩展性，可以根据用户的需求，价格承受能力选用不同的仪器，满足用户的需求。本系统融合了超声波和计算机视觉处理算法，可以为盲人提供三维多角度的周围场景信息，以快速到达目的地。系统的实现，采用了图像数据库保存的方式，增强了实时性的要求。把用于目标跟踪的特征点检测算法用于导航的创新也收到了满意的效果。匹配算法简单，易理解，而统计概念的引入也增强了系统判决的鲁棒性和稳定性。而且仅使用了单目摄像头和价格相对比较便宜的超声波传感器，搭建的硬件系统性价比较高，具有推广价值。本发明基于视觉处理的盲人导航系统，可以帮助盲人在室内、以及室外等经常去的地方无障碍地行走。而且，更重要的是，与现有的其他盲人导航设备相比，本发明系统性价比较高，适合在普通的家庭推广，给盲人带来方便。试想，如果通过本发明可以有更多的盲人投入到社会工作中来，这必将给社会带来巨大的经济效益。盲人作为社会上的一个特殊群体，需要给予更多的关怀和照顾，使他们能够更好地独立生活。而我们认为，如何使他们可以安全行走，是盲人生活中最渴望的第一步，也是他们获得独立的前提和基础。

本发明基于计算机视觉的盲人导航系统的创新性体现在以下几个方面：

数字图像获取和分析技术：单摄像头图像获取，多超声波动态障碍物感知的多传感器场景信息获取技术。

路径规划：借助现场地理分布的先验知识，确定安全的行走路线。适合各种复杂场景(凹凸不平的地面)，动态障碍物(行人，车辆)。

结合频率扬声器、振动传感器和嵌入式显示的立体反馈机制，进行路径规划，迅速安全的到达目标地点。

主要的算法创新

·获取摄像机内参的单目视觉感知模块

·训练学习机制，适合多场景，动态障碍物

·多超声波阵列融合单片机PC通信技术

·结合频率扬声器和触觉传感器的立体反馈机制。

获取摄像机内参的单目视觉感知模块：使用了摄像机标定算法并结合本系统所发明的盲人导航算法，获得摄像机内参进行融合，从而使判决精度提升。

训练学习机制，适合多场景，动态障碍物：算法具有很好的鲁棒性，即使在特殊场合下仍有很好的稳定性。

即使在特殊场合下仍有很好的稳定性：实际行进中出现动态物体(小于1/4图像面积)以及不平整路面时，算法仍能跟踪特征点。

由于采用了以上技术方案，本发明具有一下有益效果：本发明在恶劣、复杂的场景下，通过场景分布的先验地理知识，结合多传感器现场获取的场景信息，可以为盲人提供安全的行走路径。

附图说明

图1为本发明的算法转向算法示意图。

图2为本发明中盲人左转的KLT算法特征点的分布示意图

图3为本发明中盲人右转的KLT算法特征点的分布示意图

图4为KLT跟踪算法实验结果图一。

图5为KLT跟踪算法实验结果图二。

图6本发明的系统原理图。

图7为本发明的系统硬件框架图。

具体实施方式

下面结合附图对本发明的实施例作详细说明。

本实施例采用附图所示的基于计算机视觉的盲人导航方法和系统，具体实施步骤如下：

1、硬件设备的建立

基于计算机视觉的盲人导航系统可以采用以摄像头为核心的硬件结构，主要包括(见图7)：笔记本电脑一台，普通的Web USB摄像头一个，超声波传感器三个，I2C总线数据传输，PC通信模块(单片机)，用于数据采集和反馈，振动器两个，频率扬声器一个，形成触觉和声觉的立体反馈信息。本系统以笔记本为主要数据处理中心，主要感知设备；摄像头通过USB接口与笔记本相连，提供视频感知信息，辅助感知设备；三个超声波通过单片机与笔记本通信，提供距离感知信息，然后经过笔记本处理后，由视频处理算法输出的转向结果由触觉(振动器)和声觉(频率扬声器)传递给盲人，形成立体反馈信息，实现盲人导航。振动传感器及频率扬声器与笔记本之间是通过串口传送信号的。本系统的笔记本也可以用集成电路FPGA(Field Programmable Gate Array，现场可编程门阵列)代替，FPGA为具有相同功用的简单的设备。

整个系统在盲人行走时需要携带在身上。

2、系统实现

本系统主要包括两大模块：超声波模块用于探测障碍物，视频感知模块部分用于盲人导航。

3、超声波探测障碍物

超声波探测障碍物应用在盲人行走时，其主要是探测障碍物的距离，超声波探测障碍物是用来防止盲人撞上障碍物的，与本发明的其它特征之间实现的功能不一样。超声波探测障碍物只需要在几米或者十几米范围之内进行距离测量，检测盲人前方障碍物的距离，且精度要求不高的情况下，我们选用“超声波测距仪”。超声波测距仪测量的效果受环境影响(风速和温度)，超声波测距的性能与被测物表面材料有很大关系，如毛料、布料对超声波的反射率很小，会影响测量结果，但超声波传感器价格相对便宜，适合在室内测量。超声波通过串口和笔记本相连接。

4、视频感知部分的算法

视频感知部分的算法主要分成两部分来运作：

训练(Training phase)：

先人为地带着摄像头沿预先设定的路线走一回，以等时间间隔20-30ms提取出部分图像帧的特征点，存于数据库中，作为关键帧(milestone)，用来在实际导航中的场景切换。

但考虑到算法的实现性，综合考虑算法的精度和实时性，选取的时间间隔为25ms为优。

实际导航(Replay phase)：

当盲人重新走训练过的路线，提取每幅图像的特征点，使用KLT(kanade-lucas-tomasi)跟踪算法(图3、图4)保证参考图像上的匹配特征点的精确位置。角点跟踪算法有很多，经过实践检验发现：KLT算法是实时性和鲁棒性都较好的一个算法。用KLT来跟踪相同的场景，精度非常高，跟踪的效率也非常高。

KLT角点检测算法是是对基于一个计算窗口模板D×D下的图像计算局部结构矩阵，计算其特征值λ₁和λ₂，根据给定阈值λ按照式子min(λ₁，λ₂)>λ来判定其是否为角点。这里的关键是阈值λ和窗口D的大小的确定，D的大小一般为2～10，太大的窗口会引起角点移动，窗口太小则会丢失相距较近的角点。

应用于盲人导航系统中的KLT算法创新之处在于：在实验室已实现的摄像机标定算法(1基于透视矩阵的摄像机标定2微软实验室的标定算法)的基础上，可以获取任何摄像机的内部参数基础上，将现有单目BVN算法，不进行摄像机标定，主点近似为图像中心，与微软实验室摄像机标定模块，获得摄像机内参进行融合，从而使判决精度提升。

盲人导航系统中KLT算法包括的步骤如下：

(1)先人为地带着摄像头沿预先设定的路线走一回，等时间间隔地提取出部分图像帧，用KLT算法提取出每幅图像的特征点，存于数据库中，作为关键帧(milestone)，用来在实际导航中的场景切换。

(2)重新走训练过的路线，提取每幅图像的特征点。经与数据库中的特征点进行比对，每一个特征点都可以做一个判决(图3-图5)

判决的结果根据训练中特征点与实际行进中特征点相对位置的不同，有三种可能出现的情况(如图3-图5所示)。

首先对每一个特征点都可以做一个判决，比较C平面和D平面(C平面指在当前位置的摄像头的成像平面，D平面指终点位置的摄像头的成像平面。)上对应像素点的距离(Uc，Ud，见图2)大小和方向。判别规则如下：

如果Uc>0，Ud<0，右转；

如果Uc<0，Ud>0，左转；

如果Uc>0，Uc>Ud，右转；

如果Uc<0，Uc<Ud，左转；

其他情况，不转向，继续前行。

然后统计所有的特征点，分别计算判定为1)继续前行2)左转3)右转的特征点的数目，选取特征点书数目最多的点的转向为最终的判别方向，最后确定盲人下一步的动作。

场景切换采取最小方差的方法，在单调最低点切换场景。

经过多次实验测试，本系统可以辅助盲人在室内按照指定路线进行直行，拐弯，避开障碍物等操作。

5、标定算法

标定为二维标定。因为只有一个摄像头，并且人脸部可以近似认为在一个平面上，所以采用二维标定。标定主要是将图像坐标转换为实际坐标，为视频处理提供辅助信息。结合标定的盲人导航算法可以提高转向时的判决精度。

6、触觉和声觉得立体反馈信息

由视频处理算法输出的转向结果由触觉(振动器)和声觉(蜂鸣器)传递给盲人，形成立体反馈信息。

上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于这里的实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

Claims (10)

1.一种基于计算机视觉的盲人导航方法，其特征在于：其包括以下步骤：

1)预先行走，采集盲人行走环境的视频图像；

2)对采集到的视频图像进行处理，提取特征点，存于数据库中；

3)盲人行走时同时获取图像，提取特征点，同时通过超声波探测障碍物距离；

4)将步骤3)中的特征点与步骤2)中保存于数据库内的特征点进行比对，判断盲人下一步的前行方向；

5)将步骤4)的结果通过触觉或者声觉传递给盲人，形成立体反馈信息。

2.如权利要求1所述的基于计算机视觉的盲人导航方法，其特征在于：步骤2)所述的存于数据库中的特征点为关键帧，其在实际导航中的切换采用最小方差的方法，在单调最低点切换场景。

3.如权利要求1所述的基于计算机视觉的盲人导航方法，其特征在于：采用KLT算法进行特征跟踪，每隔20-30ms提取一个特征点。

4.如权利要求1所述的基于计算机视觉的盲人导航方法，其特征在于：对每一个特征点作一个判决，C平面上对应像素点距离为Uc，D平面上对应像素点距离为Ud，判别规则为：

如果Uc>0，Ud<0，右转；

如果Uc<0，Ud>0，左转；

如果Uc>0，Uc>Ud，右转；

如果Uc<0，Uc<Ud，左转；

其他情况，不转向，继续前行，

然后统计所有的特征点，分别计算判定为1)继续前行2)左转3)右转的特征点的数目，选取特征点书数目最多的点的转向为最终的判别方向。

5.如权利要求1所述的基于计算机视觉的盲人导航方法，其特征在于：步骤5)所述的触觉采用振动传感器实现；声觉采用频率扬声器实现。

6.如权利要求3所述的基于计算机视觉的盲人导航方法，其特征在于：KLT算法将现有单目BVN算法，不进行摄像机标定，主点近似为图像中心，与微软实验室摄像机标定模块，获得摄像机内参进行融合。

7.一种基于计算机视觉的盲人导航系统，其特征在于：其包括感知及数据处理设备、辅助视频感知设备、辅助距离感知设备、PC通信模块、传送指令模块，辅助距离感知设备通过PC通信模块将相应的视频图像信息传送给数据处理设备，辅助视频感知设备直接将相应的距离信息传送给数据处理设备，数据处理设备将处理后的结果通过传送指令模块传送给盲人进行导航。

8.如权利要求7所述的基于计算机视觉的盲人导航系统，其特征在于：该感知及数据处理设备为笔记本电脑，该辅助视频感知设备为摄像头，该辅助距离感知设备为超声波传感器，该PC通信模块为单片机，该传送指令模块为振动传感器或者频率扬声器，通过串口与感知及数据处理设备相连，摄像头通过USB与笔记本相连，单片机通过串口与笔记本相连，超声波传感器之间通过I2C总线连接，并通过单片机与笔记本通信。

9.如权利要求8所述的基于计算机视觉的盲人导航系统，其特征在于：该超声波传感器为三个；该振动传感器为两个。

10.如权利要求8所述的基于计算机视觉的盲人导航系统，其特征在于：该笔记本电脑采用集成电路FPGA代替。

Images