CN106821694A

CN106821694A - 一种基于智能手机的移动导盲系统

Info

Publication number: CN106821694A
Application number: CN201710046519.7A
Authority: CN
Inventors: 段书凯; 张凤运; 张金; 林少波; 王丽丹; 王华敏
Original assignee: Southwest University
Current assignee: Southwest University
Priority date: 2017-01-18
Filing date: 2017-01-18
Publication date: 2017-06-13
Anticipated expiration: 2037-01-18
Also published as: CN106821694B

Abstract

本发明提供了一种基于智能手机的移动导盲系统，包括基础导航系统、综合图像处理系统和语音辅助系统，基础导航系统是通过获取实时GPS信号，利用手机内置的导航软件对信号进行处理得到定位数据，盲人通过语音输入目的地信息后，系统规划出行进路径；综合图像处理系统包括盲道路面识别模块和交通路口辨识模块，盲道路面识别模块是利用智能手机的摄像头实时采集盲道信息，通过处理实现对盲道区域的定位；交通路口辨识模块是利用智能手机获取交通路口的信息，在接近路口时通过对斑马线的定位实现路口信息的辨识；语音辅助系统将各系统的处理结果转换为相应的提示语音反馈给盲人，引导盲人行进。

Description

一种基于智能手机的移动导盲系统

技术领域

本发明涉及数字图像处理领域，具体是涉及到一种基于智能手机的移动导盲系统。

背景技术

盲人(视障人士)由于先天或后天原因，视觉器官的构造或机能发生部分或全部之障碍，对外界事物无法作准确的视觉辨识。根据世界卫生组织(WHO)2014年8月的最新调查显示，世界范围内视力受损的人数约为2.85亿，其中3900万人患有盲症，全世界大约90％的视力受损者生活在低收入国家。我国的视觉障碍人数占全世界总数的20％，约有5700多万人，是全球视觉障碍人口最多的国家。视觉障碍者在出行时，通常只能依靠市政基础导盲项目(如盲道和盲文标志)和辅助导盲设备(如导盲手杖)来辨别位置和方向。但是，在日常生活中，经常能看到盲道被占用或破坏的情况。另外，盲道的设计也存在不合理的情况，不能正确指引视障人士行走。

近20多年来，针对视障人士，科研人员提出传感器件以“视觉替代”的方法来帮助感知环境信息，通过信息整合和再处理将感知到的环境信息以听觉、触觉等方式传递给视觉障碍患者。基于此原理，大量便携式和可穿戴的导盲系统问世，且大多具备障碍物检测，目标提取，路径导航，偏移校正等功能。此外，随着群智感知技术的高速发展，以群智感知融合大数据为主题的研究也吸引了国内外的热切关注。针对日常行走的盲道设计盲道识别模块，采用智能手机内置的多模传感模块进行盲道信息的捕获，实时检测盲道区域和盲道上可能出现的障碍。针对危险系数较高的交通路口，设计交通路口检测模块，采用智能手机内置的相机，麦克风，电子罗盘，陀螺仪和加速度计等进行分段式导航。交通路口模块在获取路口的大智信息之后，识别斑马线区域并引导视障人士与斑马线对齐后触发偏移校正模块，实时校正视障人士的行进方向。

申请号为201010174012.8的中国发明专利公开了一种利用计算机视觉技术进行盲道和人行横道实时检测的方法，利用仿射变换模型训练分类器来得到盲道和人行横道的样本集进行目标的检测和处理。

申请号为20110200597.0的中国发明专利公开了一种基于计算机视觉盲人户外支援系统，利用双目相机采集图像，借助嵌入式平台进行算法设计来辅助盲人进行路面场景的理解。

申请号为201520044179.0的发明专利公开了一种多功能智能导盲系统及多功能智能导盲手杖，可以通过在导盲系统中设置GSM短信在紧急情况下通知用户的家人，同时利用ZigBee模块可以在路口接收红绿灯信息，指引用户安全通过路口。

申请号为201620121367.3的发明专利公开了一种基于超声波测距的智能导盲系统，能够实时的检测行进方向的障碍信息，指引盲人安全独立的出行。

申请号为201610272839.X的国家发明专利公开了一种基于GPS的视觉导航的导盲系统及其方法，该系统具有可选的工作模式和路径搜索的功能，可以为盲人的室内外活动提供便利。

申请号为201610581588.3的国家发明专利公开了一种智能导盲系统，该系统能够获取当前运动环境的视觉图像信息和位置信息，为盲人出行提供路径规划和语音提示信息。

上述已有的导盲系统和盲道图像识别算法均存在一定程度的问题：(1)需要的辅助感知设备过多，开发平台不够智能；(2)无法协助盲人有效的理解周围环境，如十字路口的判别和定位；(3)有关图像识别的算法众多，但是各种识别算法在盲道识别领域并没有完整的识别效果比较与分析；(4)没有一个相对完整的系统框架用于智能设备，大多停留在实验室验证阶段。

发明内容

针对现有技术中的缺陷，本发明提供一种基于智能手机的移动导盲系统，进一步完善了导盲系统的技术框架，针对综合图像处理部分做了深入的研究，解决了当前导盲系统操作复杂、价格昂贵的缺点，为以后导盲系统的开发提供了一个新的方向。

本发明所述的基于智能手机的移动导盲系统，包括基础导航系统、综合图像处理系统和语音辅助系统三大部分。

所述基础导航系统是通过获取实时GPS信号，利用手机内置的导航软件对信号进行处理得到定位数据，盲人通过语音输入目的地信息后，系统规划出行进路径。

定位导航实现的原理：首先通过GPS芯片等硬件获取实时的GPS信号，然后利用导航软件对信号进行处理得到定位数据，最后将定位数据与地图进行匹配，将所在位置显示在导航电子地图中，从而可以计算所需路径实现导航的功能。本发明利用Android手机内置导航模块，百度地图API，百度定位API，盲道路面数据来实现基础导航模块的功能。Android手机一般自带GPS，可以用来作为接受GPS信号的硬件设备；软件方面，位置信息的获取与处理使用百度定位API，当应用程序向定位API发起定位请求时，定位API会根据应用的定位因素(GPS、基站、Wi-Fi信号)的实际情况(如是否开启GPS、是否连接网络、是否有信号等)来生成相应定位依据进行定位。在实际使用中，需要开启GPS，并处于能正常接收到GPS信号的室外场所，利用百度地图API主要是为了方便数据的显示和处理，地图的拓扑数据存储在SQLite数据库中。

综合图像处理系统包括盲道路面识别模块和交通路口辨识模块，盲道路面识别模块是利用智能手机的摄像头实时采集盲道信息，通过处理实现对盲道区域的定位；交通路口辨识模块是利用智能手机获取交通路口的信息，在接近路口时通过对斑马线的定位实现路口信息的辨识。

所述盲道路面识别模块包括盲道图像预处理单元、图像形态学处理单元、盲道区域粗定位单元、盲道区域精定位单元。；

盲道图像预处理单元接收摄像头采集的盲道图像，获取图像的基本参数并保存，对盲道图像进行色彩空间的映射变换，提取相应的色彩分量并进行图像的灰度化和二值化处理，最后分别输出处理后的图像并保存。

图像形态学处理单元对盲道图像预处理单元处理后的盲道图像进行腐蚀操作或膨胀操作或者二者的组合操作，然后分别保存相应的处理结果。

盲道区域粗定位单元是在完成上述两个单元处理之后，首先对盲道进行色差盲道和无色差盲道的类型判断，若是色差盲道则直接进行图像分割操作，若是无色差盲道则先进行分析操作，然后再进行图像分割，对分割后的图像进行边缘检测；对边缘检测处理后的图像进行有无拐点的判定，若存在拐点则进行角点检测操作；对拐点判定处理之后的图像进行连续性检测，如果盲道图像不连续则说明盲道区域中存在障碍，对存在障碍的图像进行障碍检测，所有这些处理之后基本可以确定盲道的区域，实现盲道粗定位。

盲道区域精定位单元是在盲道粗定位处理之后的图像进行归一化处理，然后针对白色像素依次进行行和列的扫描，确定盲道部分的左右和上下边界，同时在原始图像中标记出边界的轮廓，实现盲道精定位。

经过上面四个单元的处理，可以得到盲道区域的实时信息，为视障人士在盲道上行走提供有利的指引。

所述交通路口辨识模块包括交通路口辨别单元、斑马线图像预处理单元、斑马线区域粗定位单元和斑马线区域精定位单元。

所述交通路口辨别单元利用智能手机的多模感知器在即将接近路口时识别路口，通过手机麦克风对路口提示音进行探测同时检测盲杖接触地面的声音，之后通过摄像头对斑马线进行拍摄，推断出相对的位置，并利用方向传感器、电子罗盘和加速度计对盲人的行进方向进行判定。

斑马线图像预处理单元首先获取拍摄的斑马线图像，得到图像的基本参数，先对进行色彩空间的映射，将RGB颜色空间的图像转换成Lab颜色模式或者YUV模式，然后利用灰度化方法得到斑马线图像的灰度图像，然后通过直方图均衡化的处理加大图像的对比度，再对图像进行平滑和二值化处理。

斑马线区域粗定位单元按路口感知→形态学处理→OTSU阈值分割→Canny边缘检测与Hough直线查找进行处理，来大致确定斑马线的区域边界，实现斑马线区域的粗定位。

斑马线区域精定位单元针对斑马线粗定位过程中的计算与斑马线图像的拍摄角度进一步修正，同时利用获取的斑马线边界来修正拍摄角度，经过不断地计算和修正，实现斑马线的精定位。

语音辅助系统与上述各部分相连，针对上述各处理结果，都转换为相应的提示语音反馈给盲人，包括：路径规划结果、盲人在盲道路面上行进是否偏离盲道、盲人在接近路口对斑马线的位置给予准确提示灯信息，从而引导盲人行进。

本发明的优点在于：在盲道路面能够实时高效地检测盲道区域边界、拐角以及障碍物的位置；在接近交通路口时能够指引盲人准确的接近斑马线，并确定斑马线区域，指引盲人安全通行。本发明通过OpenCV技术和多模感知技术将各类盲道识别算法和障碍物提取算法应用到了智能手机上，搭建了一个集图像实时获取和处理的移动导盲系统，解决了当前导盲系统操作复杂、价格昂贵的缺点，为以后导盲系统的开发提供了一个新的方向。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本发明的基础导航系统的结构框图；

图2为盲道图像预处理流程框图；

图3为图像形态学处理流程框图；

图4为盲道区域粗定位流程框图；

图5为盲道区域精定位流程框图；

图6为交通路口辨识模块结构框图；

图7为斑马线图像预处理流程框图；

图8为斑马线区域粗定位流程框图；

图9为Hough直线查找示意图；

图10为斑马线精定位算法流程；

图11为导盲杖在摆动过程中的相机拍摄角度示意图；

图12为旋转角度和水平偏移的空间几何分析图；

图13为视障人士行走斑马线的朝向校正估计图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。

本发明所述的基于智能手机的移动导盲系统分为三大部分：基础导航系统、综合图像处理系统和语音辅助系统，综合图像处理系统包括盲道路面识别模块和交通路口辨识模块。其中，盲道路面识别模块又包括盲道图像预处理、图像形态学处理、盲道区域粗定位和盲道区域精定位四个单元，交通路口辨识模块又包括交通路口辨别、斑马线图像预处理、斑马线区域粗定位和斑马线区域精定位四个单元。

一、基础导航系统

基础导航部分的原理框图如图1所示，系统启动后，手机终端会自动检查GPS设备是否开启，要进行自我定位，直接转到电子地图服务界面并在电子地图上标示出用户当前的位置信息。针对视障人士的特殊性，本发明采用语音命令的方式来进行目的地搜索，当用户根据语音提示确定好目的地信息后，系统会根据当前的位置，规划处一条路径，为用户提供必要的指引。

在Android系统中，为用户存取数据提供了四种不同的方式，有SharedPreferences方式，SQLite存储方式，文件方式以及网络存储方式。本发明考虑到系统性能的因素，因此采用了轻量级的嵌入式SQLite存储方式。

为了能够将用户地理位置信息的变化即时的体现在电子地图上，必须要有基本的地图，然后要在地图上加入一个定位按钮，并且根据需要对menu选项的内容进行修改和添加，为此，本发明根据实际需要，在menu选项中添加了相应的功能子单元，其具体操作流程：

(1)在Android系统的工程目录中加入地图的API接口。在工程创建好以后，依次按照“Build Path”的顺序从Android工程外部导入Map Api.jar，让这个项目可以调用MapABC地图的API和访问Map ABC服务器，最终让地图能够显示。

(2)创建地图界面。在布局文件res/layout目录下，创建了一个名为lay.xml的布局文件，在整体上使用线性布局Linear Layout，Linear Layout中包含路径规划、地图界面模块。地图界面模块使用的是相对布局Relative Layout，其中添加了Map ABC API Key以及设置了地图的界面属性，界面属性主要包括height、width和clickable属性。

(3)添加权限。进入地图服务界面前，需要在Android Manifese.xml文件中添加一些权限，例如启动项、网络访问权限以及定位权限等。

(4)Menu菜单设置。在res/menu目录中，创建menu.xml的文件，添加名为“地点搜索”、“路径规划”、“实时路况”、“附近搜索”和“无线设置”的子单元，分别对应相应的语音指令。

通过上述部分可以实现基本的导航与定位功能。

二、综合图像处理系统

1.盲道路面识别模块

1.1盲道图像预处理单元

该处理单元首先获取智能手机相机拍摄的盲道图像，得到图像的基本参数，先对图像进行色彩空间的映射，将RGB颜色空间的图像转换成Lab颜色模式或者YUV模式(RGB颜色空间是图像处理中最基本、最常用和面向硬件的颜色空间，我们所采集的图像，一般就是被分成R、G、B的成分加以保存的。然而，自然环境下获取的真实图像容易受自然光照、遮挡和阴影等情况的影响，是对亮度敏感的。而RGB颜色空间的分量与亮度密切相关，即只要亮度改变，3个分量都会随之相应的改变，所以RGB颜色空间适合于显示系统，却并不适合图像的深度处理)。然后将经过颜色空间变换后的图像利用图像增强中的灰度化方法得到盲道图像的灰度图像，再通过直方图均衡化的处理加大图像的对比度，然后对图像进行平滑和二值化，经过这一系列的处理后盲道图像的细节信息得以清晰的展示，同时对部分无关的信息也进行了抑制，这就为后续的处理奠定了良好的基础，上述盲道图像预处理的流程框图如图2所示。

对图像的颜色空间变换需要经过如下的步骤：

(1)将RGB颜色空间转到XYZ，再由XYZ转为Lab颜色空间：

①RGB转XYZ

假设r、g、b为像素三个通道，取值范围均为[0,255]，转换公式如下：

②XYZ转Lab

上面两个公式中，L^*,a^*,b^*是最终的Lab色彩空间三个通道的值。X,Y,Z是RGB转XYZ后计算出来的值，X_n,Y_n,Z_n一般默认是95.047,100.0,108.883.

③最终提取b分量图

将b通道值b^*按照像素位置，对应赋值给一个单通道图像。

(2)对图像进行灰度化需要经过如下的步骤：

①读取图像，判断是否为灰度图像；

②获取图像参数；

③根据经验公式V_gray＝0.30R+0.59G+0.11B,计算每个像素点的V_gray；

④再令原像素点的R、G、B的值都等于V_gray；

⑤生成灰度图像颜色表；

(3)对图像进行二值化要进过如下的步骤：

①读取图像，判断是否为灰度图像，若不是先进行步骤(2)灰度化处理；

②将每个像素的灰度值与设定的阈值进行比较，若大于平均值，则将其灰度值设为0,若小于平均值，则设为255；

③建立一个新的视图显示二值化的结果。

1.2图像形态学处理单元

图像的形态学操作是利用结构元素对目标图像集合进行处理的过程，如图3所示。被处理的图像被称为目标图像，为了确定目标图像的结构，必须逐个考察各部分之间的关系。在考察目标图像各部分之间的关系时，需要设计一种收集信息的“探针”，称为“结构元素”，在图像中不断移动结构元素，就可以考察图像之间各部分的关系。

二值图像形态学运算是图像形态学运算的基础，二值图像形态学运算的过程就是在图像中移动结构元素，将结构元素与其下面的重叠部分的图像进行交、并等集合运算，为了确定元素中的参照位置，一般把进行形态学运算时的结构元素的参考点称为原点，且原点可以选择在结构元素中，也可以选择在结构元素之外。

(1)腐蚀的基本原理：

腐蚀是一种消除边界点，使边界向内部收缩的过程，设X为目标图像，B为结构元素，则目标图像X被结构元素B腐蚀的表达式为：

其中，x表示集合平移的位移量，Θ是腐蚀运算的运算符。

二值形态学腐蚀操作的步骤如下：

①获得源图像的首地址及图像的宽和高；

②开辟一块内存缓冲区，并初始化为0；

③为防止越界，不处理最左边、最右边、最上边和最下边的像素，从第2行、第2列开始检查源图像中的像素点，如果当前点对应的结构元素中为白色的那些点中有一个不是白色，则将目标图像中对应的像素点赋值成黑色；

④循环步骤③，直到处理完源图像的全部像素点；

⑤将结果从内存缓冲区复制到源图像的数据区中。

(2)膨胀的基本原理：

膨胀是将与物体接触的所有背景点合并到该物体中，使边界向外部扩张的过程，设X为目标图像，B为结构元素，则目标图像X被结构元素B膨胀的表达式为：

二值形态学膨胀操作的步骤如下：

①获得源图像的首地址及图像的宽和高；

②开辟一块内存缓冲区，并初始化为0；

③为防止越界，不处理最左边、最右边、最上边和最下边的像素，从第2行、第2列开始检查源图像中的像素点，如果当前点对应的结构元素中为白色的那些点中有一个是白色，则将目标图像中的当前点赋值成白色；

④循环步骤③，直到处理完源图像的全部像素点；

⑤将结果从内存缓冲区复制到源图像的数据区中；

1.3盲道区域粗定位单元

本发明针对盲道区域的粗定位主要进行如下5个部分作详细的阐述。盲道区域的粗定位流程框图如图4所示。

(1)无色差盲道处理

无色差盲道(即盲道区域和非盲道区域没有明显的颜色差异，但有明显的纹理差异)，针对无色差盲道的处理本发明采用基于纹理差异，利用纹理描述算法结合聚类分析的方法来做，结合OpenCV中的cvKMeans2函数实现k均值聚类。

首先通过LBP算子提取LBP特征图，原始LBP算子定义在像素3*3的邻域内，以邻域中心像素为阈值，相邻的8个像素的灰度值与邻域中心的像素值进行比较，若周围像素大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3*3邻域内的8个点经过比较可产生8位二进制数，将这8位二进制数依次排列形成一个二进制数字，这个二进制数字就是中心像素的LBP值，LBP值共有2^8种可能，因此LBP值有256种。中心像素的LBP值反映了该像素周围区域的纹理信息，其中顺时针使用LBP算子可以明显区别盲道区域和非盲道区域的纹理特征。

然后通过K-均值聚类算法来计算特征向量，算法如下：

①适当选择c个类的初始中心；

②在第k次迭代中，对任意一个样本，求其到c个中心的距离，将该样本归到距离最短的类中，其中采用欧氏距离作为距离准则函数；

③利用均值更新该类的中心值；

④对于所有的c个聚类中心，如果利用迭代算法更新后，值保持不变(目标函数收敛)，则迭代结束，否则继续迭代。

最后对图像块以(cell)为单位进行聚类填充，方法如下：

①创建grid_x*grid_y大小的图像，像素值均为0，新图中一个像素对应原图像中的一个cell块；

②生成二值图像：对应原图像中标识为1的cell，新图在对应像素值上赋值为255；

③填补缺口：全图遍历新图，如果一个像素周围存在三个相邻的像素值相等，就将该像素置为对应的值；

④先后进行一次腐蚀操作，两次膨胀操作，从而消除区域变形。

⑤将图像还原为原图大小；

⑥填补二值图中的干扰区域：如果二值图中的轮廓面积小于某个值，就进行再次的填补操作；

⑦进行高斯滤波。

(2)色差盲道处理

针对有色差盲道的处理，本发明首先将图像由RGB转为Lab颜色空间并提取b分量图。然后在将有色差盲道由RGB图像转换为Lab图像之后，进行中值滤波操作以便消除一定量的噪声(对于有色差盲道直线的检测，经过中值滤波处理之后还需要进行膨胀操作，该操作可以去除中值滤波无法消除的大范围区域干扰。本发明的实验结果表明，经过5次膨胀操作会达到最佳处理效果，这样可以消除大部分的干扰噪声)，最后对Lab空间下b分量图采用Otsu分割算法，该算法的描述如下：Otsu是一种寻找图像阈值的最大类间方差算法。它的基本原理是以最佳阈值将图像的灰度值分割成两个部分，使两部分之间的方差最大，既具有最大分离性。

设f(x,y)为图像I_M×N的位置(x,y)处的灰度值，灰度级别为L，则f(x,y)∈[0,L-1]。若灰度级i的所有像素个数为f_i，则第i级灰度出现的概率为：

其中i∈[0,L-1]且i为整数。

将图像中的像素级用阈值t划分为两类，即背景C₀和目标C₁。背景C₀的灰度级为0至t-1，目标C₁的灰度级为t至l-1。

背景C₀和目标C₁对应的像素分别为：{f(x,y)<t}和{f(x,y)≥t}。

背景C₀部分出现的概率为：

目标C₁部分出现的概率为：

其中ω₀+ω₁＝1。背景C₀部分的平均灰度值为：

目标C₁部分的平均灰度值为：

图像的总平均灰度值为:

图像中背景和目标的类间方差为：

δ²(k)＝ω₀(μ-μ₀)²+ω₁(μ-μ₁)² (7)

令k的取值从0至L-1变化，计算不同k值下的类间方差δ²(k)，使得δ²(k)最大时的k值就是要求的最优阈值。

(3)边缘检测

前两个步骤针对色差盲道和无色差盲道分别进行了处理，在这一步骤中本发明采用Canny算子对盲道图像进行边缘检测的处理。边缘检测的步骤如下：

3.1)消除噪声

在图像预处理阶段，需要进行降噪处理。一般情况下，使用高斯平滑滤波器卷积降噪，以下显示了一个size＝5的高斯内核示例：

3.2)计算梯度幅值和方向

此处按照Sobel滤波器的步骤来操作。

①运用一对卷积阵列(分别作用于x和y方向)：

②使用下列公式计算每一像素点的幅值梯度和方向：

而梯度方向一般取4个可能角度之一：0度、45度、90度、135度。

3.3)非极大值抑制

该步骤可以进一步排除非边缘像素，仅仅保留一些细线条作为候选边缘。

3.4)滞后阈值

Canny使用了滞后阈值，滞后阈值需要两个阈值：高阈值和低阈值。

①若某一像素位置的幅值超过高阈值，则该像素被保留为边缘像素；

②若某一像素位置的幅值小于低阈值，该像素被排除；

③若某一像素位置的幅值在两个阈值之间，该像素仅仅在连接到一个高于高阈值的像素时被保留；

最终得到一个二值图像，每点表示是否是一个边缘点。

(4)角点检测

针对有拐角的盲道，本发明采用Harris角点检测的方法来完成，其实现步骤如下：

Harris角点理论提出了相应的角点响应函数，如下式所示：

C(i,j)＝det(M)-k(trace(M))²

其中M为结构矩阵，k为常量因子，通常情况取值为0.04至0.06，对图像窗口内数据进行求和加权，实际上可以更好地刻画窗口中心特性。Harris角点检测算法实现步骤如下：

①利用水平与竖直差分算子对图像进行卷积操作，计算相应的梯度f_x和f_y，根据实对称矩阵M的组成，计算对应矩阵元素的值；

②利用高斯函数对矩阵M进行平滑操作，得到新的M矩阵，步骤①和②可以改变顺序，也可以对图像进行高斯滤波，再求相应方向上的梯度大小；

③对每一像素和给定的邻域窗口，计算局部特征结果矩阵M的特征值和相应函数C(i,j)＝det(M)-k(trace(M))²；

④选取响应函数C的阈值，根据非极大值抑制原理，同时满足阈值及某邻域内的局部极大值为候选角点。

(5)障碍检测

针对不连续的盲道，本发明设计了障碍检测单元，这一部分主要涉及动态障碍和静态障碍的检测，在一定时间间隔内连续拍摄的图片都检测到障碍在盲道图像中，则认为盲道被静态障碍遮挡从而造成了不连续，这时给予盲人静态障碍的语音提示，指引其绕过不连续的盲道路面；如果在一定时间间隔内连续拍摄的图片，障碍的位置在不断变化，或者只是短暂的存在于盲道路面上，则认为盲道路面被动态障碍阻挡，这时给予盲人动态障碍的语音提示，指引其短暂等待之后再通过路面。

1.4盲道区域精定位单元

盲道区域的精定位单元的实现主要通过以下三个模块：图像归一化处理、盲道区域左右边界与盲道区域上下边界确定、和标记边界轮廓来完成，如图5所示。

(1)归一化处理

归一化思想是利用图像的不变矩，寻找一组参数使其能够消除其他变换函数对图像变换的影响。也就是转换成唯一的标准形式以抵抗仿射变换图像归一化使得图像可以抵抗几何变换的攻击，它能够找出图像中的那些不变量，从而得知这些图像原本就是一样的或者一个系列的。归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。本发明中主要要通过归一化减小盲道图像由于光线不均匀造成的干扰，有利于对盲道区域的边界进行准确的识别。

(2)确定盲道区域左右边界和上下边界

首先，在竖直方向上统计白色像素的个数，并求出最大值，用此值来归一化其他列的值，之后就可以确定出盲道的左右边界；随后在水平方向上统计白色像素的个数，并求出另外一个最大值，用此值来归一化其他列的值，从而确定盲道区域的上下边界，这部分工作完成之后，在进行盲道区域粗定位的相关部分的处理，从而可以实现盲道区域的精定位过程。

(3)标记边界轮廓

将上述处理得到的边界轮廓与未处理的盲道原图做整合，在原图中标记出边界轮廓，至此盲道区域的精定位就可以实现了。

2.交通路口辨识模块

2.1交通路口辨别单元

交通路口辨别单元主要利用智能手机的多模感知器来辨别交通路口的信息，如图6所示。

交通路口的信号灯以及路口通过提示音都可以为检测路口提供信息，本发明通过智能手机的麦克风来检测路口的通过提示音来确定路口的大致位置，同时利用麦克风来检测盲杖接触地面的声音来确定相机的拍照点，此时智能手机拍摄的图像为斑马线的信息，根据相机连续拍摄获取的斑马线图像信息同时结合方向传感器获取的信息可以确定斑马线的相对位置，此外利用加速度计和电子罗盘对当前的行进方向进行估计和角度矫正。

2.2斑马线图像预处理单元

参见图7，该处理单元首先获取智能手机拍摄的斑马线图像，得到图像的基本参数，先进行色彩空间的映射，将RGB颜色空间的图像转换成Lab颜色模式或者YUV模式。然后将经过颜色空间变换后的图像利用图像增强中的灰度化方法得到斑马线图像的灰度图像，再通过直方图均衡化的处理加大图像的对比度，然后对图像进行平滑和二值化，经过这一系列的处理后斑马线图像的细节信息得以清晰的展示，同时对部分无关的信息也进行了抑制，这也为后续的处理奠定了良好的基础。

2.3斑马线区域粗定位单元

斑马线区域粗定位单元可由以下四个模块：路口感知模块、形态学处理模块、阈值分割、和Canny边缘检测与Hough直线查找加以描述，如图8所示。

(1)路口感知模块

路口感知模块属于斑马线区域粗定位的前期处理单元，通过智能手机的多模感知器(这里主要利用麦克风和相机模块单元)来探测路口，手机的麦克风通过检测交通路口特殊的提示音用来判定是否接近路口，同时估计出路口的大致位置；设定手机的相机单元处于侦测状态，间歇性的捕获路面的图像，如果一旦检测到图像中存在斑马线，则将整个处理过程移交给下一个单元。

(2)形态学处理模块

在盲道路面识别模块中，本发明针对盲道路面图像进行了形态学的处理，同样的道理，针对斑马线图像也需要进行形态学的处理。在盲道路面识别模块中，本发明针对盲道图像应用了腐蚀、膨胀和二者之间的组合操作，为后续的处理做了铺设，在斑马线图像的处理中，除了要应用图像的腐蚀与膨胀，本发明还进行了图像的开闭运算，来进一步提升处理的效果。

前面介绍的腐蚀和膨胀运算，看上去像是一对互逆的操作，实际上并不是，开运算和闭运算正是根据这种不可逆性演变过来的。

使用同一结构元素对目标图像先进行腐蚀运算，再进行膨胀运算的过程称为开运算，经过开运算之后能够去除孤立的小点、毛刺和小的连通区域，不改变目标图像的面积。设X为目标图像，B为结构元素，则结构元素B对目标图像X的开运算的数学表达式为：

公式的含义是用B来开启X得到集合该集合是所有在集合结构上不小于结构元素B的部分的集合，也就是选出了X中某些与B相匹配的点，而这些点则可以通过完全包含在X中的结构元素B平移得到。本发明采用的开运算主要有以下两个步骤：

①调用腐蚀函数对源图像进行腐蚀处理；

②调用膨胀函数对腐蚀后的图像进行膨胀处理；

③重复①②步骤三次。

闭运算是开运算的对偶运算，通过对腐蚀和膨胀的另一种不同次序的执行而得到。闭运算是使用一个结构元素对目标图像先进行膨胀运算，再进行腐蚀运算的过程，其功能是用来填充物体的细小空洞、连接临近物体、平滑其边界，不改变目标图像的面积。设X为目标图像，B为结构元素，则结构元素B对目标图像X的闭运算的数学表达式为：

闭运算的含义是，用B来闭合X得到的集合，就是图像X于经过反射和平移的结构元素B的交集不为空的点的集合。本发明采用的闭运算主要有以下两个步骤：

①调用膨胀函数对源图像进行膨胀处理；

②调用腐蚀函数对膨胀后的图像进行腐蚀处理；

③重复①②步骤三次。

(3)OTSU阈值分割

在盲道图像识别的色差处理部分我们有用到Otus阈值分割的方法，所以在这一部分不多赘述，针对斑马线图像着重探讨全局阈值的选取。

图像的灰度直方图是图像各像素灰度值的一种统计度量，最简单的阈值选取方法就是根据直方图来进行的。对于双峰直方图选取两峰之间的谷所对应的灰度值作为阈值就可以将目标和背景分开，其中谷的选取有多种方法，得到的阈值也不相同，主要有以下三种方式：

极小点阈值：如果将直方图的包络看做一条曲线，则选取直方图的谷可借助求曲线极小值的方法。设用h(z)代表直方图，那么极小值点应满足：

和

和这些极小值点对应的灰度值就可以作为分割的阈值，称作极小值点阈值。

最优阈值：有时目标和背景的灰度值有部分交错，用一个全局阈值并不能将它们绝然分开，这时希望能减小误分割的概率，而选取最优阈值是一种常用的方法。设一幅图像仅包含2类主要的灰度值区域(目标与背景)，它的直方图可看成灰度概率密度函数的一个近似，这个密度函数实际上是目标和背景的2个单峰密度函数之和，如果已知密度函数的形式，那么就可以选取一个最优阈值把图像分成两类区域而使误差最小。

最大凸残差阈值：在实际应用中，包含目标和背景两类区域的图像的直方图并不一定总是呈双峰形式，特别是当图像中目标与背景面积相差较大时，直方图的一个峰会淹没在另一个旁边的缓坡里，直方图基本成为单峰形式，为解决这类问题，可以通过对直方图凹凸性的分析，从这样的直方图中确定一个合适的阈值以分割图像。图像的直方图可以看作平面上的一个区域，对该区域可计算其凸包并求取其最大的凸残差，由于凸残差的最大值常出现在直方图高峰的肩处，所以可以计算最大凸残差阈值来分割图像。

本发明在这一部分对斑马线图像的处理采用极小点阈值的方式来确定分割阈值，因为斑马线图像呈现出的就是灰色的路面背景和白色的条状线，所以具有非常明显的边界，用此方式就可以确定出边界。

(4)Canny边缘检测与Hough直线查找

Canny边缘检测：Canny算子把边缘检测问题转化为检测单位函数极大值的问题来考虑，其利用高斯模型，借助图像滤波的概念来处理图像的边缘，在盲道图像识别部分对利用Canny算子进行边缘检测进行了介绍，在这一部分也不过多陈述。

一个好的边缘检测算子应该具有三个指标：①低失误率，既要少将真正的边缘丢失也要少将非边缘判定为边缘；②高位置精度，检测出的边缘应该在真正的边界上；③单位像素边缘，即对每个边缘有唯一的响应，得到的边界为单像素宽。根据这三个指标，Canny提出了判定边缘检测算子的三个准则：信噪比准则、定位精度准则和单边缘响应准则。正是由于Canny算子有如此的优秀性质，所以本发明在做边缘处理部分利用了Canny算子。

Hough直线查找：在图像处理和计算机视觉领域，霍夫(Hough)线变换是进行直线查找的有效方法，应用很广泛。OpenCV支持三种不同的霍夫线变换：标准霍夫变换、多尺度霍夫变换和累计霍夫变换。采用累计概率霍夫变换进行边界直线查找，能够减少计算量，缩短计算时间，同时提高执行效率，因此本文采取累计霍夫变换。

霍夫线变换的原理如下：

1)一条直线在图像二维空间可由两个变量表示，有如下两种情况，如下坐标图9所示：

①在笛卡尔坐标系：可以由参数斜率和截距(k,b)表示；

②在极坐标系：可以由参数极径和极角(r,θ)表示。

对于Hough变换，采用第二种方式来表示直线，因此，直线的表达式为：

化简可以得到：

r＝xcosθ+ysinθ

2)一般来说对于点(x₀,y₀)，可以将通过该点的直线统一表示为：

r_θ＝x₀·cosθ+y₀·sinθ

这意味着每一对(r_θ,θ)都代表着一条通过点(x₀,y₀)的直线。

3)如果对给点的点(x₀,y₀)，在极坐标绘出所有通过它的直线，即得到无数个(r_θ,θ)点，连接后成为一条正弦曲线。

4)对图像中所有的点进行3)中的操作，如果两个不同的点进行上述操作后得到的曲线在平面θ-r相交，就意味着它们通过同一条直线。

5)一般来说，一条直线能够通过在平面θ-r寻找交于一点的曲线数量来检测。而越多曲线交于一点也就意味着这个交点表示的直线由更多点组成。通过设置直线上点的阈值来定义多少条曲线交于一点，才能被认为是检测到了一条直线。

通过霍夫线变换追踪图像中每个点对应曲线的交点，如果交于一点的曲线数量超过阈值，可以认为这个焦点所代表的参数(r_θ,θ)在原图像中为一条直线。

2.4斑马线区域精定位单元

斑马线区域的精定位与行进角度和方向的修正过程如图10所示。

由于导盲手杖运动过程中无法捕获清晰斑马线信息，因此设定一个图像自动获取机制尤为关键。可以利用手机内置加速度传感器波形变化作为拍摄信号，也可以利用导盲手杖敲击地面时短暂的稳定间隙来作为拍摄斑马线的稳定时刻指示器，结合阈值检测方法使用麦克风模块跟踪碰撞信号。得到斑马线图像后，使用前后景分离的Hough变换提取人行横道线。

固定在导盲杖上相机(智能手机)的拍摄角度如图11所示，其中角度β和γ表示导盲杖在身体左右两边的摆动角度，角度∝表示相机正前方的拍摄角度(镜头的角度)。当斑马线被识别后，系统将会利用传感器来读取视觉障碍患者的相对位置，相对位置通过一组数组描述<旋转角度(θ)，水平位移(d)>，水平位移d为当前拍摄时盲杖与斑马线的距离，可以得到

旋转角度(θ)为固定在盲杖上的智能手机，在盲杖左右摆动时候与行进方向的角度，在这里称为拍摄的旋转角度。μ为最靠近用户的条纹到水平的夹角，水平位移d用来引导视觉障碍者行至最靠近行人的斑马线中央，s为用户到最靠近的斑马线之间的直线距离。由相机给定的校正信息(焦距f)，相机的方向(已经得到的α和γ与β)和距离地面的高度，可以计算出地面的距离d。基于这些给定值，我们可以进一步估算出水平偏移量d为d＝s·cos(μ)+l/2，l为斑马线的宽度，如图12所示。

为了引导用户在斑马线中行走，需要对视障人士前进方向进行判断。智能手机利用电子罗盘来捕获盲杖的正面朝向，结合图像进行的边缘和纹理检测，在此基础上设计了一种基于几何分析的增量式的行走方向纠正方案，轨迹如图13所示。

假设用户离开a点转入第一条子轨迹而到达b点。行走距离h可以通过简单地计算每一次摆动周期中的平均移动距离p(依照经验设置成30cm)与摆动周期数k的乘积而得到。给定运动距离h和用户的前进角度θ_j，可以通过以下方程计算最小角度θ_min和最大角度θ_max告知用户做出及时恰当的调整。

通过计算出这两个数据的均值并依据这个角度适当地引导用户调整他们的行走方向。

三、语音辅助系统

语音辅助提示部分是贯穿整个发明的重要部分，针对盲人这类特殊的群体，适时和必要的语音提示是不可或缺的辅助手段。

首先，在基础导航部分，结合百度地图的API开发的LBS导航系统可以实现实时位置定位和路径的选择，盲人在出行之前打开手机已经安装的导盲系统，此时系统自动开启GPS并播报盲人当前的位置和朝向，然后询问盲人本次要出行的目的地，当盲人说完目的地之后，导盲系统先根据第三方的地图规划处一条有效的步行路径，然后指引盲人该朝哪个方向行进；但是基于导航系统的定位与导航并不能指引盲人安全出行，此时需要盲道识别系统对盲人的行走做出有效的指引，此时导盲系统开启盲道识别模块，实时检测当前行进方向的盲道区域，一旦前方的盲道路面出现不连续的情况，语音提示部分提前播报，辅助盲人做出判断，如果前方存在动态障碍则提示盲人等候，然后通过该区域，如果盲道路面被静态障碍阻挡，则告诫盲人前方有无法通过的障碍，请绕行的提示，如果前方不远处存在拐角，则提前告知盲人及时做好转弯的准备。若导盲系统检测到前方存在路口，则开启路口检测导航模块，及时提示盲人前方多远的距离有路口请提前做好准备，路口辨识模块开启后，首先要检测斑马线的位置，当检测到斑马线位置，并且此时是行人通行的时候指引盲人开始通过路口，在盲人在斑马线行走期间，斑马线检测部分要实时检测斑马线的区域，并给予盲人必要的提示，确保盲人在通过路口期间一定在斑马线区域之中。

至此，这就是本发明提供的导盲系统在为盲人提供辅助帮助的时候所提供的语音提示，基本上可以为盲人的安全出行，提供必要的安全指引。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims

1.一种基于智能手机的移动导盲系统，其特征在于：包括基础导航系统、综合图像处理系统和语音辅助系统，

其中，所述基础导航系统是通过获取实时GPS信号，利用手机内置的导航软件对信号进行处理得到定位数据，盲人通过语音输入目的地信息后，系统规划出行进路径；

综合图像处理系统包括盲道路面识别模块和交通路口辨识模块，盲道路面识别模块是利用智能手机的摄像头实时采集盲道信息，通过处理实现对盲道区域的定位；交通路口辨识模块是利用智能手机获取交通路口的信息，在接近路口时通过对斑马线的定位实现路口信息的辨识；

语音辅助系统将各系统的处理结果转换为相应的提示语音反馈给盲人，引导盲人行进。

2.根据权利要求1所述的基于智能手机的移动导盲系统，其特征在于：所述盲道路面识别模块包括盲道图像预处理单元、图像形态学处理单元、盲道区域粗定位单元、盲道区域精定位单元，

盲道图像预处理单元接收摄像头采集的盲道图像，对盲道图像进行色彩空间的映射变换，提取相应的色彩分量并进行图像的灰度化和二值化处理；

图像形态学处理单元对盲道图像预处理单元处理后的盲道图像进行腐蚀操作或膨胀操作或者二者的组合操作；

盲道区域粗定位单元是在完成上述两个单元处理之后，首先对盲道进行色差盲道和无色差盲道的类型判断和处理，其次进行有无拐点的判定和处理，再对拐角判定处理之后的图像进行连续性检测，对存在障碍的图像进行障碍检测，实现盲道粗定位；

3.根据权利要求1或2所述的基于智能手机的移动导盲系统，其特征在于：所述交通路口辨识模块包括交通路口辨别单元、斑马线图像预处理单元、斑马线区域粗定位单元和斑马线区域精定位单元，

交通路口辨别单元辨别交通路口的信息，并通过摄像头拍摄斑马线图像；

斑马线图像预处理单元接收摄像头采集的斑马线图像，对斑马线图像进行色彩空间的映射变换，提取相应的色彩分量并进行图像的灰度化和二值化处理；

斑马线区域粗定位单元将预处理后的斑马线图像首先进行形态学的腐蚀、膨胀或者二者的组合操作，然后进行图像的分割和边缘的检测来大致确定斑马线的区域边界，实现斑马线区域的粗定位；

斑马线区域精定位单元针对斑马线粗定位进一步修正，实现斑马线的精定位，以此来指引盲人准确的接近斑马线并安全通过路口。

4.根据权利要求3所述的基于智能手机的移动导盲系统，其特征在于：所述交通路口辨别单元利用智能手机的多模感知器在即将接近路口时识别路口，通过手机麦克风对路口提示音进行探测同时检测盲杖接触地面的声音，之后通过摄像头对斑马线进行检测，推断出相对的位置，并利用方向传感器、电子罗盘和加速度计对盲人的行进方向进行判定。

5.根据权利要求3所述的基于智能手机的移动导盲系统，其特征在于：斑马线图像预处理单元首先获取拍摄的斑马线图像，得到图像的基本参数，先对进行色彩空间的映射，将RGB颜色空间的图像转换成Lab颜色模式或者YUV模式，然后利用灰度化方法得到斑马线图像的灰度图像，然后通过直方图均衡化的处理加大图像的对比度，再对图像进行平滑和二值化处理。

6.根据权利要求3所述的基于智能手机的移动导盲系统，其特征在于：斑马线区域粗定位单元按路口感知→形态学处理→OTSU阈值分割→Canny边缘检测与Hough直线查找进行处理。

7.根据权利要求3所述的基于智能手机的移动导盲系统，其特征在于：斑马线区域精定位单元针对斑马线粗定位过程中的计算与斑马线图像的拍摄角度进一步修正，同时利用获取的斑马线边界来修正拍摄角度，经过不断地计算和修正，实现斑马线的精定位。