CN101999972B - 一种基于立体视觉的盲人辅助行走装置及其辅助方法 - Google Patents

Abstract

本发明公开了一种基于立体视觉的盲人辅助行走装置及其辅助方法，装置包括双目摄像机、中央处理模块和语音输出模块，所述的双目摄像机的左目摄像机和右目摄像机与所述的中央处理模块相连，所述的中央处理模块具有障碍物处理、交通灯处理和偏离道路处理为主的图像处理软件，该中央处理模块的输出端与所述的语音输出模块相连。使用者将本发明装置戴在头上，启动后，双目摄像机摄像，中央处理模块进行道路边缘检测、障碍物处理、交通灯处理和偏离道路处理。根据处理的结果通过语音输出模块给出语音提示，辅助盲人在室内外无障碍地行走，安全通过交叉路口。

Description

一种基于立体视觉的盲人辅助行走装置及其辅助方法

技术领域

本发明属于机器视觉领域，具体涉及一种基于立体视觉的盲人辅助行走装置及其辅助方法。

背景技术

世界上约有五六千万盲人，我国盲人数量约占世界盲人总数的四分之一。盲人是弱势群体，需要社会更多的帮助，使他们提高独立生活的能力，拥有更好的生活质量。辅助盲人行走是很重要的一个方面。国内外已经研究开发了多种辅助盲人行走的工具，但仍存在许多问题。例如：辅助盲人识别交通信号灯的设备，有的要求在每个路口安装发声装置，有的要求控制红绿灯，这会增加成本，并会对他人造成干扰。大部分辅助盲人行走的设备采用超声波、红外线或雷达来探测障碍物，但这些探测方法具有方向性，只能探测一定角度范围内的障碍物，只能探测一定距离范围内的障碍物，并且无法辨别障碍物的大小，无法识别交通信号灯。有的基于计算机视觉的盲人导航系统只能沿预先设定的路线行走，有很大的局限性。人工视网膜植入技术成本高，技术复杂，不易推广。引导式机器人需要复杂的算法支持，成本较高，并且对走楼梯和倾斜的路面、跨越障碍有一定困难。

谢易铮提出了采用TOSHIBA笔记本电脑，QuickCam^TM Pro 4000CCD和耳机实现盲人辅助系统(详见参考文献：谢易铮，“以立体视觉实作盲人辅具系统”，国立中央大学资讯工程研究所硕士学位论文，台湾，2006年7月)。谢易铮提出利用″路面区域增长法″先切割出环境的路面区域，然后进行“影像量化”，非路面区域根据量化的影像区域块去做影像比对，利用“分群的方法”去除影像杂讯，建立出陌生环境资讯，侦测出障碍物，并利用″立体区域比对″和″不相称分群″来得到障碍物的距离。谢易铮的盲人辅助系统整体算法复杂，采用的CCD摄像头无法适应室内外自然光线强弱的变化，在强烈日光、逆光及傍晚光线暗时会造成图像不清晰，在室外工作时会遇到困难。他采用的障碍物距离测量方法复杂，测距准确率低。他仅在室内做了静态障碍物检测实验，对室外辅助行走、道路轮廓提取、偏离道路预警、动态障碍物检测及交通信号灯检测等方面未进行研究。

发明内容

本发明要解决的技术问题是克服上述现有技术的不足，提供一种基于立体视觉的盲人辅助行走装置及其辅助方法，该装置不仅能适应自然光强弱变化，通过语音提示，辅助盲人在室内外无障碍地行走，安全通过交叉路口和对偏离道路预警，还使测量障碍物距离的方法简便易于实现。

本发明的技术方案如下：

一种基于立体视觉的盲人辅助行走装置，该装置包括双目摄像机、中央处理模块和语音输出模块，所述的双目摄像机的左目摄像机和右目摄像机与所述的中央处理模块相连，所述的中央处理模块具有障碍物处理、交通灯处理和偏离道路处理为主的图像处理软件，该中央处理模块的输出端与所述的语音输出模块相连。

所述的双目摄像机为采用超宽动态，强光抑制，低照度摄像机。

所述的双目摄像机采用动态范围是1∶400的超宽动态低照度摄像机。

所述的双目摄像机采用最低照度为0.05Lux的超宽动态低照度摄像机。

所述的中央处理模块采用嵌入式机器视觉图像处理平台。

所述的语音输出模块为所述的中央处理模块自带的语音模块或耳机。

利用上述基于立体视觉的盲人辅助行走装置辅助盲人行走的方法，包括下列步骤：

①将所述的双目摄像机的左目摄像机、右目摄像机对称地安装在盲人帽子前方，离地面等高且左目摄像机、右目摄像机的中心间距固定，该左目摄像机、右目摄像机与所述的中央处理模块相连，所述的中央处理模块的输出端与所述的语音输出模块相连，将语音模块的耳机塞在盲人的耳孔中；

②启动所述的盲人辅助行走装置，左目摄像机、右目摄像机同步实时地采集路况信息；中央处理模块以每秒2-8帧的速度分别将左目摄像机、右目摄像机摄取的视频图像变为连续的分幅的图像序列并暂存；

③所述的中央处理模块首先将左目摄像机或右目摄像机采集的连续的分幅的图像序列转换为灰度图像，然后采用中值滤波进行图像预处理，并对每帧图像进行Canny边缘检测和Hough变换检测直线，提取道路边缘并判断是否为道路边缘：

当是道路边缘时，同时进行步骤④、⑤、⑥；

当不是道路边缘时，同时进行步骤④、⑤；

④障碍物处理：所述的中央处理模块对单目摄像机采集的连续图像帧序列，在图像上选择使用者前进方向上的梯形感兴趣区域，对该区域根据灰度值提取障碍物区域，提取障碍物目标；检测到障碍物目标后，所述的中央处理模块对双目摄像机另一个单目摄像机采集的同一帧图像，采用视差法计算障碍物的距离；

⑤交通信号灯处理：所述的中央处理模块对左目摄像机或右目摄像机采集的连续图像帧序列，根据模板灰度匹配进行交通信号灯处理，然后通过语音模块给出交通信号灯颜色和信号灯位置的语音提示；

⑥偏离道路处理：所述的中央处理模块根据提取出的道路边缘线在图像中的位置和倾角，判断使用者偏离道路的情况，给出语音提示。

计算所述的检测出的直线长度，并判断：如果该长度大于阈值，并且在左、右图中直线与图像的中垂线的夹角在0°～90°，则该直线为道路边缘。

所述的障碍物处理中的梯形感兴趣区域是根据使用者的实际情况设置。

所述的交通信号灯处理中模板匹配是通过提供被测物体原型，计算模板的所有相关位置与图像各个位置之间的相似度，在输入的图像中寻找目标物体。

本发明的技术效果：

与上述的现有技术相比，本发明由于采用了超宽动态低照度摄像机，可以适应自然光强弱变化；特别是动态范围1∶400和最低照度0.05Lux的超宽动态低照度摄像机的选用，使本装置适应强烈日光或傍晚微弱光线的情况；在双目立体视觉障碍物测距中采用求取相似度进行匹配的方法后，本装置辅助盲人行走的方法简便易行、易于实现；本装置还具有检测静态、动态障碍物，检测道路轮廓，识别交通信号灯，进行室内外导航等功能。

附图说明

图1是本发明基于立体视觉的盲人辅助行走装置的结构框图

图2是本发明装置主程序流程图

图3是本发明装置道路边缘检测程序流程图

图4是本发明装置障碍物检测程序流程图

图5是图像的坐标及ROI区域设置

具体实施方式

下面结合附图对基于立体视觉的盲人辅助行走装置进行详细的描述。

先请参阅图1，图1是本发明基于立体视觉的盲人辅助行走装置的结构框图，由图可见，本发明基于立体视觉的盲人辅助行走装置，包括双目摄像机1、中央处理模块2和语音输出模块3，所述的双目摄像机的左目摄像机11、右目摄像机12对称地安装在盲人帽子前方，该左目摄像机11和右目摄像机12与所述的中央处理模块2相连，所述的中央处理模块2具有障碍物处理、交通灯处理和偏离道路处理为主的图像处理软件，该中央处理模块2的输出端与所述的语音输出模块3相连。

该双目摄像机1采用杰士安JSA-WZS31480CE超宽动态低照度摄像机，超宽动态范围1∶400，520/570线超高水平清晰度，具有背光补偿功能，数字噪音消除(SDNR)功能，影像传感器：1/3英寸，CCD总像素：795(水平)X 596(垂直)(PAL制式)/811(水平)X 508(垂直)(NTSC制式)，扫描系统：625线，50场/秒(PAL制式)/525线，60场/秒(NTSC制式)，最低照度：0.05Lux(F1.2，5600°K)，星光模式：0.001Lux(F1.2)。

该双目摄像机1把采集到的实时路况信息传输到中央处理模块2。中央处理模块2通过图像处理软件对摄像机采集的视频图像进行处理，把处理结果通过语音模块3输出。

本发明基于立体视觉的盲人辅助行走装置辅助盲人行走的方法，包括下列步骤：

①将所述的双目摄像机1的左目摄像机11、右目摄像机12对称地安装在盲人帽子前方，离地面等高且左目摄像机11、右目摄像机12的中心间距固定，该左目摄像机11、右目摄像机12与所述的中央处理模块2相连，所述的中央处理模块2的输出端与所述的语音输出模块3相连，将语音模块的耳机塞在盲人的耳孔中；

②启动所述的盲人辅助行走装置，左目摄像机11、右目摄像机11同步实时地采集路况信息；中央处理模块2以每秒2-8帧的速度分别将左目摄像机11、右目摄像机12摄取的视频图像变为连续的分幅的图像序列并暂存；

③所述的中央处理模块2首先将左目摄像机11或右目摄像机12采集的连续的分幅的图像序列转换为灰度图像，然后采用中值滤波进行图像预处理，并对每帧图像进行Canny边缘检测和Hough变换检测直线，提取道路边缘并判断是否为道路边缘：

当是道路边缘时，同时进行步骤④、⑤、⑥；

当不是道路边缘时，同时进行步骤④、⑤；

④障碍物处理：所述的中央处理模块2对单目摄像机(左目摄像机11或右目摄像机12)采集的连续图像帧序列，在图像上选择使用者前进方向上的梯形感兴趣区域，对该区域根据灰度值提取障碍物区域，提取障碍物目标；检测到障碍物目标后，所述的中央处理模块2对双目摄像机1另一个单目摄像机(右目摄像机12或左目摄像机11)采集的同一帧图像，采用视差法计算障碍物的距离；

⑤交通信号灯处理：所述的中央处理模块2对左目摄像机11或右目摄像机12采集的连续图像帧序列，根据模板灰度匹配进行交通信号灯处理，然后通过语音模块给出交通信号灯颜色和信号灯位置的语音提示；

⑥偏离道路处理：所述的中央处理模块2根据提取出的道路边缘线在图像中的位置和倾角，判断使用者偏离道路的情况，给出语音提示。

下面作详细说明：

图2是本发明装置主程序流程图，装置启动后，双目摄像机1实时采集视频信息，输入到中央处理模块2。中央处理模块2以每秒2～8帧的速度将视频变为连续图像帧序列。对双目摄像机1采集的图像进行预处理，然后进行道路边缘检测：

如图3所示，道路边缘检测的流程为：对双目摄像机1采集的连续图像帧序列进行彩色到灰度的变换，然后采用中值滤波进行预处理，去除图像中的噪声。然后将图像变为左右两半图像，分别进行Canny边缘检测和Hough变换直线检测。对检测出的直线进行判断，若长度大于阈值(由编程人员根据实际情况设定，此处设置为200)，且直线与图像中垂线的夹角在(0°～90°)范围内，则认为此直线为道路边缘线，给出道路边缘线的倾角与坐标原点到直线的距离。根据左右两半图像提取出的道路边缘线，可以确定道路区域范围。

如果图像中检测出道路边缘线，同时运行3个子程序：

(a)障碍物处理包括障碍物检测与障碍物距离测量(详见子程序说明)

(b)交通信号灯处理(详见子程序说明)

(c)偏离道路处理(详见子程序说明)。

如果图像中没有检测出道路边缘线(例如行走在广场上)，则同时运行2个子程序：

(a)障碍物处理包括障碍物检测与障碍物距离测量(详见子程序说明)

(b)交通信号灯处理(详见子程序说明)；

各个子程序运行结束后，返回读取下一帧图像。

子程序说明：

子程序(a)：障碍物处理：如图2所示，首先进行障碍物检测：

障碍物检测的流程如图4所示，首先输入单目摄像机(例如左目摄像机11)拍摄的连续图像帧序列的一帧图像。感兴趣区域(ROI区域)由软件设计人员根据实际情况设置，如图5所示，此处设置为使用者前进方向由ABCD构成的梯形区域。A、B、C、D的坐标分别为(180，200)、(180，440)、(480，40)和(480，600)。ROI区域的图像文件由编程人员预先存储在中央处理模块2中。将输入图像与ROI区域取交集，根据障碍物与路面灰度值的差异提取障碍物目标。将灰度值在一定范围内的区域提取出来，灰度值范围由编程人员根据实际情况设定，此处设置为1-120。然后对提取出的区域做腐蚀处理，再把相近的区域连通。对连通区域面积进行判断，面积小于阈值(由编程人员根据实际情况设定，此处设置为300)的区域被丢弃。将提取出的面积大于阈值的连通区域转变成矩形区域。计算各个矩形区域与图像的灰度值偏差，偏差大于阈值(由编程人员根据实际情况设定，此处设置为5)的区域判定为障碍物。

如果检测出障碍物，进行障碍物距离测量，障碍物距离测量的方法如下：

在单目摄像机(此处假定左目摄像机11)拍摄的图像中检测出障碍物目标后，取双目摄像机中另一个摄像机(此处即是右目摄像机12)拍摄的同一帧图像，采用视差法求障碍物距离。即在右目摄像机12拍摄的同一帧图像中，在与障碍物目标相同横坐标(或称作行坐标)的位置上，寻找障碍物目标的最佳匹配点。以障碍物目标为中心选定一个3×3的矩形窗口，在右目摄像机12拍摄的该帧图像中以灰度相关函数为相似度进行测量，见下式：

$S(x,y)=\underset{y^{\′}=0}{\overset{n-1}{\mathrm{\Σ}}}\underset{x^{\′}=0}{\overset{m-1}{\mathrm{\Σ}}}(T(x^{\′}-y^{\′})-\stackrel{\‾}{T})(I(x+x^{\′},y+y^{\′})-\stackrel{\‾}{I})$

其中S(x，y)是(x，y)对应的两个邻域窗的相似度。I(x+x’，y+y’)是目标图像在(x+x’，y+y’)处的灰度值。是目标图像邻域窗的灰度平均值；T(x’，y’)是源图像(x’，y’)处的灰度值，

是源图像邻域窗的灰度平均值。对在右图像中寻找左图像中特征点的对应点时，右图像是目标图像，左图像是源图像。以障碍物目标为中心的3×3窗口称为邻域窗，对应于左图像的邻域窗称为左邻域窗，对应于右图像的邻域窗称为右邻域窗。相似度最大的点为障碍物目标在右图中对应的点。然后计算出障碍物目标与其对应点在左右两幅图像的坐标之差，并将这个视差转换成世界坐标中的距离。利用下面公式求得障碍物距离：

$Z_0=\frac{\mathrm{fd}}{(x_r-x_l)s_x},$

其中：f是双目摄像机的两个摄像头的焦距，d是双目摄像机的两个摄像头的距离，x₁和x_r分别是障碍物目标在左右两幅图像中的列坐标。s_x是x方向上的像素尺寸缩放，将像素单位转换到国际单位(如：米)。然后判断障碍物距离是否小于阈值(例如5米)。若小于阈值，语音模块给出障碍物提示。

子程序(b)：交通信号灯处理。

交通信号灯的处理采用模板匹配的方法实现。模板匹配技术通过为装置提供被测物体原型，计算模板的所有相关位姿与图像各个位置之间的相似度，在输入的图像中寻找目标物体。交通信号灯的模板匹配使用一个模板图像描述被搜索的绿灯。绿灯的模板图像文件由编程人员预先存储在中央处理模块中。摄像机采集的实时图像帧序列与模板图像进行匹配，匹配相似度在阈值范围内判定匹配成功，语音模块给出信号灯颜色及绿灯中心坐标在图像中位置的提示。模板匹配的相似度采用下面公式：

$s(r,c)=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{[t(u,v)-f(r+u,c+v)]}^2$

其中s(r，c)是当前图像与模板之间的相似度。模板中各点的灰度值为t(u，v)，模板区域移到图像当前位置时的灰度值为f(r+u，c+v)，基于这些灰度值计算一个标量值作为相似度。如果模板和图像是相同的，得到的相似度为0。如果图像与模板不同，相似度将大于0。阈值大小由软件设计人员根据实际情况设置(此处设置为20，表明相似度误差小于20时匹配成功)。

子程序(c)：偏离道路处理。

根据道路边缘检测的结果，得到道路边缘线的倾角和坐标原点到直线的距离。如图5所示，倾角是道路边缘线L与图像中垂线的夹角α，坐标原点(0，0)到L的距离为D，α与D由道路边缘检测得到。道路边缘线L与图像下边缘的交点为P。E点和F点分别是图像下边缘的1/4和3/4处。对于640×480像素的图像，E点坐标为(480，160)，F点坐标为(480，480)。图像的宽度R为480像素。根据三角形相似关系，P点的x轴坐标x_p由下式计算：

$x_P=\frac{D-R\sin \mathrm{\α}}{\cos \mathrm{\α}}$

当α大于60°，或P点位于E、F之间时，判定发生了道路偏离，给出相应语音提示。

本发明装置经试用和测试表明，本发明装置的中央处理模块以每秒2、3、4、5、6、7、8帧的速度将视频变为连续图像帧序列都适用。本发明装置能适应自然光强弱变化，通过装置的语音提示，可辅助盲人在室内外无障碍地行走，安全通过交叉路口。

Claims (4)

1.一种利用基于立体视觉的盲人辅助行走装置辅助盲人行走的方法，该装置包括双目摄像机、中央处理模块和语音输出模块，所述的双目摄像机的左目摄像机和右目摄像机与所述的中央处理模块相连，所述的中央处理模块具有障碍物处理、交通灯处理和偏离道路处理为主的图像处理软件，该中央处理模块的输出端与所述的语音输出模块相连，其特征在于，该方法包括下列步骤：

①将所述的双目摄像机的左目摄像机、右目摄像机对称地安装在盲人帽子前方，离地面等高且左目摄像机、右目摄像机的中心间距固定，该左目摄像机、右目摄像机与所述的中央处理模块相连，所述的中央处理模块的输出端与所述的语音输出模块相连，将语音模块的耳机塞在盲人的耳孔中；

②启动所述的盲人辅助行走装置，左目摄像机、右目摄像机同步实时地采集路况信息；中央处理模块以每秒2-8帧的速度分别将左目摄像机、右目摄像机摄取的视频图像变为连续的分幅的图像序列并暂存；

③所述的中央处理模块首先将左目摄像机或右目摄像机采集的连续的分幅的图像序列转换为灰度图像，然后采用中值滤波进行图像预处理，并对每帧图像进行Canny边缘检测和Hough变换检测直线，提取道路边缘并判断是否为道路边缘：

当是道路边缘时，同时进行步骤④、⑤、⑥；

当不是道路边缘时，同时进行步骤④、⑤；

④障碍物处理：所述的中央处理模块对单目摄像机采集的连续图像帧序列，在图像上选择使用者前进方向上的梯形感兴趣区域，对该区域根据灰度值提取障碍物区域，提取障碍物目标；检测到障碍物目标后，所述的中央处理模块对双目摄像机另一个单目摄像机采集的同一帧图像，采用视差法计算障碍物的距离；

⑤交通信号灯处理：所述的中央处理模块对左目摄像机或右目摄像机采集的连续图像帧序列，根据模板灰度匹配进行交通信号灯处理，然后通过语音模块给出交通信号灯颜色和信号灯位置的语音提示；

⑥偏离道路处理：所述的中央处理模块根据提取出的道路边缘线在图像中的位置和倾角，判断使用者偏离道路的情况，给出语音提示。

2.根据权利要求1所述的辅助盲人行走的方法，其特征在于计算所述的检测出的直线长度，并判断：如果该长度大于阈值，并且在左、右图中直线与图像的中垂线的夹角在0°～90°，则该直线为道路边缘。

3.根据权利要求1所述的辅助盲人行走的方法，其特征在于所述的障碍物处理中的梯形感兴趣区域是根据使用者的实际情况设置。

4.根据权利要求1所述的辅助盲人行走的方法，其特征在于所述的交通信号灯处理中模板匹配是通过提供被测物体原型，计算模板的所有相关位置与图像各个位置之间的相似度，在输入的图像中寻找目标物体。

Images