CN102048612A - 一种基于机器视觉的导盲机器人 - Google Patents

Abstract

本发明涉及一种基于机器视觉的导盲机器人，包括车体，车体下设有底座，头部安装有CCD摄像头，尾部安装有引导杖。其中，车体内设有中央处理模块、传感信息模块、语音模块和电源模块；所述的履带型底座内设有运动控制模块和电气传动装置。该导盲机器人首先由CCD摄像头采集图像，然后由设置在车体内的中央处理模块对图像进行处理，通过图像处理和识别的方法，识别出交通信号灯、导盲线和障碍物等道路上的常见物体，然后将结果通过语音模块告知操作者，操作者通过决策方法和仲裁控制导盲机器人。本发明能够自动识别人行道上的导盲道，并实时反馈不同路况信息，指引方向。

Description

一种基于机器视觉的导盲机器人

技术领域

本发明涉及机器视觉和机电控制技术领域，特别是涉及一种基于机器视觉的导盲机器人。

背景技术

视障的朋友们长期处于黑暗的世界中，无法通过视觉感受五彩纷呈的世界，必须依靠触觉、嗅觉、听觉来感知所生存的空间。缺乏视觉影像的帮助，使他们的出行安全及日常生活，危险性比一般人高出数百倍。长期处于不确定的环境使视障人群普遍缺乏安全感，在生活中日渐产生的极大依赖性，更是使许多视障人群对人生丧失了信心，产生怀疑。因此，基于视障人群对安全性需求特别强烈的特点，设计一款通过机器视觉弥补生理不足、保障日常行动安全的设备是十分必要的。

经对现有技术的检索发现，专利CN1883430提出一种智能导盲车，通过超声波识别障碍物和探头识别盲道实现对导盲车的控制，但这种智能导盲车识别信号灯等，而且通过超声波和探头来识别障碍物以及盲道的方法具有一定的局限性。专利CN1830408提出了一种采用GPS定位技术的导盲方法，通过电子地图进行导盲定位，路线标定，但这种导盲方法无法根据实际路况有效地躲避障碍物和识别交通信号灯。

发明内容

本发明所要解决的技术问题是提供一种基于机器视觉的导盲机器人，能够自动识别人行道上的导盲道，并实时反馈不同路况信息，指引方向。

本发明解决其技术问题所采用的技术方案是：提供一种基于机器视觉的导盲机器人，包括车体，所述的车体下设有底座，所述的车体头部设有旋转云台，所述的车体尾部设有引导杖；所述的车体内设有中央处理模块、传感信息模块、语音模块和电源模块；所述的底座内设有运动控制模块和电气传动装置；所述的电源模块分别与所述的中央处理模块、传感信息模块和运动控制模块相连；所述的传感信息模块包括摄像头、图像采集卡、定位导航子模块和电子罗盘；所述的定位导航子模块和电子罗盘分别与所述的中央处理模块相连；所述的摄像头设置在所述的旋转云台上，并与所述的图像采集卡相连；所述的图像采集卡与所述的中央处理模块相连；所述的语音模块包括相互连接的语音编解码芯片和无线传输子模块；所述的语音编解码芯片的输入端与所述的中央处理模块相连；所述的运动控制模块包括相互连接的电子调速器和驱动控制电路；所述的电子调速器输入端与所述的中央处理模块相连；所述的驱动控制电路的输出端与所述的电气传动装置相连；所述的中央处理模块用于对获取的图像进行处理，并将处理的结果发送至所述的语音模块。

所述的中央处理模块包括依次相连的存储子模块、转换子模块、分割提取子模块、处理子模块、识别子模块和发送子模块；所述的存储子模块用于存储所述的图像采集卡采集到的图像；所述的转换子模块用于将存储子模块中的图像进行色彩空间转换；所述的分割提取子模块用于将经过转换子模块的图像进行分割，提取出与目标最接近的图像区域；所述的处理子模块用于将提取出的图像区域进行灰化、旋转、滤波处理和提取特征，并对提取的特征计算与目标模板的匹配度；所述的识别子模块根据计算得到的匹配度来识别采集到的图像；所述的发送子模块用于将识别结果发送至所述的语音模块。

所述的底座为履带型底座。

所述的定位导航子模块包括GPS单元和GPRS单元。

所述的驱动控制电路采用L298驱动芯片；所述的电气传动装置采用双电机电气传动设备；所述的L298驱动芯片采用H桥脉冲宽度调制控制所述的导盲机器人的工作模式和所述的双电机电气传动设备中单个电机的正向和反向运动。

所述的引导杖上设有控制机器人前进和停止的按钮。

所述的中央处理器模块采用ARM和DSP双核处理器。

所述的无线传输模块采用蓝牙设备。

所述的摄像头为CCD摄像头。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明采用计算机图像处理技术与机器人智能控制技术，可以有效地识别盲道、障碍物以及交通信号灯等道路上的常见物体，并通过蓝牙耳机向使用者报告当前状态，由GPS技术进行远程定位跟踪，GPRS进行无线通信，全方位安全稳定地协助视障人群出行。

附图说明

图1是本发明导盲机器人结构示意图；

图2是本发明的系统结构框图；

图3是本发明的中央处理模块结构框图；

图4是本发明导盲中断程序流程图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明涉及一种基于机器视觉的导盲机器人，该导盲机器人包括车体，车体头部安装摄像头，工作时，由摄像头采集图像，然后由车体内的中央处理模块对图像进行处理，使导盲机器人识别出交通信号灯、导盲线和障碍物等道路上的常见物体，再将识别结果通过语音模块告知操作者，操作者通过决策方法和仲裁来控制机器人，本发明针对不同的路况，通过导盲杖辅助盲人在道路上进行安全行走。同时，机器人带有GPS/GPRS导航通信系统，可以实时向使用者报告当前位置，并传送给远程监控设备。

本发明外形如图1所示，包括车体3，车体3下设有底座4，车体3头部设有旋转云台2，车体3尾部设有引导杖1。其中，底座4采用比轮式底座具有更高稳定性和抗震性的履带型底座。引导杖1的手持部位设有两个按钮，一个是用于向导盲机器人发出前进指令的按钮11，另一个是用于向导盲机器人发出停止指令的按钮12。

在车体内设有中央处理模块、传感信息模块、语音模块和电源模块；履带型底座内设有运动控制模块和电气传动装置。其中，各个模块之间的连接关系如图2所示，电源模块为车载电池，分别与中央处理模块、传感信息模块和运动控制模块相连，并为中央处理模块、传感器信息模块和运动控制模块提够电能。传感信息模块包括摄像头、图像采集卡、定位导航子模块和电子罗盘。定位导航子模块和电子罗盘分别通过各自的串口与中央处理模块相连。其中，定位导航子模块包括GPS单元和GPRS单元，因此本发明可以通过GPRS单元接入互联网，与远程计算机进行通信，也可以以短信方式汇报当前所在的坐标，还可以通过GPS单元和电子罗盘进行定位，对当前位置状态进行实时跟踪。摄像头采用CCD摄像头，并设置在旋转云台上。相比价格更低廉的CMOS摄像头，CCD摄像头采集图像失真度较小，可观测距离更远。摄像头设置在旋转云台上可以在导盲机器人静止时观察前方270°的路况，视野十分开阔。摄像头与所述的图像采集卡相连，图像采集卡通过USB接口与中央处理模块相连。语音模块包括相互连接的语音编解码芯片和无线传输子模块，语音编解码芯片的输入端与中央处理模块相连。其中，无线传输子模块采用蓝牙设备，由于蓝牙通讯为高频段，不易受到干扰，其通讯距离为20-50米，非常适合短距离的数据传输。运动控制模块包括相互连接的电子调速器和驱动控制电路，电子调速器输入端与中央处理模块相连，驱动控制电路的输出端与电气传动装置相连。其中，驱动控制电路采用L298驱动芯片，电气传动装置采用双电机电气传动设备。L298驱动芯片采用H桥脉冲宽度调制控制导盲机器人的工作模式和双电机电气传动设备中单个电机的正向和反向运动。由于车体运动控制采取双电机驱动模式，从而利用双电机的差速可实现原地任意360度的转向。

中央处理模块用于对获取的图像进行处理，并将处理的结果发送至语音模块，由于本发明需要较强的图像处理能力，且有大量的图像需要存储，故中央处理模块选用带扩展存储器的ARM和DSP双核处理器。如图3所示，中央处理模块包括依次相连的存储子模块、转换子模块、分割提取子模块、处理子模块、识别子模块、发送子模块。存储子模块用于存储图像采集卡采集到的图像；转换子模块用于将存储子模块中的图像进行色彩空间转换；分割提取子模块用于将经过转换子模块的图像进行分割，提取出与目标最接近的图像区域；处理子模块用于将提取出的图像区域进行灰化、旋转、滤波处理和提取特征，并对提取的特征计算与目标模板的匹配度；识别子模块根据计算得到的匹配度来识别采集到的图像；发送子模块用于将识别的结果发送至所述的语音模块。需要说明的是中央处理模块中的存储子模块可以是外部扩展存储器，也可以是中央处理模块的内部存储器。

本发明的中央处理模块包括主程序和中断子程序，其中主程序是系统启动后进行初始化，并等待中断信号，在中断信号出现后，程序跳转到中断子程序的入口，执行中断子程序，子程序结束后回到主程序等待中断。

如图4所示，本发明的中断子程序的工作过程如下：

(1)通过CCD摄像头获取当前路面信息，中央处理模块将图像采集卡传来的图像数据存储在存储单元里，并采用栅格法将其划分为3×3的网格。

(2)将存储单元中的图像数据进行色彩空间转换，本发明所采用的CCD摄像头采集到的数据是基于RGB色彩空间的，经转换获得可以进一步处理的HSI色彩空间。其转换关系如下：

$S=1-\frac{3}{(R+G+B)}\left[\min (R,G,B)\right]$

$I=\frac{1}{3}(R+G+B)$

(3)以H(色调)分量作为区别背景路面和盲道颜色的主阈值，I(亮度)分量作为辅助阈值，通过S(饱和度)分量作为特征点提取时的参考值，将图像进行分割，提取出与盲道颜色最接近的区域。

(4)对图像中分割出的区域进行灰化、旋转、滤波等处理后，进行特征提取，将提取的特征与中央处理模块中存储的盲道模板进行匹配，判定满足盲道特征点的数目，并针对不同的特征点的权值计算总匹配度P。

P＝∑p(i)n(i)

其中，总匹配度P等于i个特征点的权值与特征点个数的乘积的总和。

(5)如果计算所得的总匹配度P未超过预先设置的阈值PN，则判定该分割区域不是导盲道，机器人继续巡航模式寻找导盲道。如果总匹配度超过阈值PN，则确定为导盲道。

(6)在导盲道锁定后，检测电子罗盘设备和GPS导航设备，获取当前的机器人前进方向和GPS坐标，通过模板匹配的方法，对当前存储空间中得到的原始图像进行处理，识别前方是否有障碍物、交通信号灯当前状态等(该方法与识别导盲道的方法一致，在此不再赘述)。将结果由蓝牙耳机汇报给操作者，导盲机器人等待接收操作者指令。

(7)操作者根据结果进行决策后，通过引导杖上的按键控制机器人沿盲道前进或者进行转向后前进等指令。

(8)为了进一步保障导盲机器人的稳定性和操作者的安全性，通常每10分钟进行一次GPRS定位，并将定位结果可选择的发送给操作者或远程控制端。

不难发现，本发明采用计算机图像处理技术与机器人智能控制技术，可以有效地识别盲道、障碍物以及交通信号灯等道路上的常见物体，并通过蓝牙耳机向使用者报告当前状态，由GPS技术进行远程定位跟踪，GPRS进行无线通信，全方位安全稳定地协助视障人群出行。

Claims (9)

1.一种基于机器视觉的导盲机器人，包括车体，其特征在于，所述的车体下设有底座，所述的车体头部设有旋转云台，所述的车体尾部设有引导杖；所述的车体内设有中央处理模块、传感信息模块、语音模块和电源模块；所述的底座内设有运动控制模块和电气传动装置；所述的电源模块分别与所述的中央处理模块、传感信息模块和运动控制模块相连；所述的传感信息模块包括摄像头、图像采集卡、定位导航子模块和电子罗盘；所述的定位导航子模块和电子罗盘分别与所述的中央处理模块相连；所述的摄像头设置在所述的旋转云台上，并与所述的图像采集卡相连；所述的图像采集卡与所述的中央处理模块相连；所述的语音模块包括相互连接的语音编解码芯片和无线传输子模块；所述的语音编解码芯片的输入端与所述的中央处理模块相连；所述的运动控制模块包括相互连接的电子调速器和驱动控制电路；所述的电子调速器输入端与所述的中央处理模块相连；所述的驱动控制电路的输出端与所述的电气传动装置相连；所述的中央处理模块用于对获取的图像进行处理，并将处理的结果发送至所述的语音模块。

2.根据权利要求1所述的基于机器视觉的导盲机器人，其特征在于，所述的中央处理模块包括依次相连的存储子模块、转换子模块、分割提取子模块、处理子模块、识别子模块和发送子模块；所述的存储子模块用于存储所述的图像采集卡采集到的图像；所述的转换子模块用于将存储子模块中的图像进行色彩空间转换；所述的分割提取子模块用于将经过转换子模块的图像进行分割，提取出与目标最接近的图像区域；所述的处理子模块用于将提取出的图像区域进行灰化、旋转、滤波处理和提取特征，并对提取的特征计算与目标模板的匹配度；所述的识别子模块根据计算得到的匹配度来识别采集到的图像；所述的发送子模块用于将识别结果发送至所述的语音模块。

3.根据权利要求1或2所述的基于机器视觉的导盲机器人，其特征在于，所述的底座为履带型底座。

4.根据权利要求1或2所述的基于机器视觉的导盲机器人，其特征在于，所述的定位导航子模块包括GPS单元和GPRS单元。

5.根据权利要求1或2所述的基于机器视觉的导盲机器人，其特征在于，所述的驱动控制电路采用L298驱动芯片；所述的电气传动装置采用双电机电气传动设备；所述的L298驱动芯片采用H桥脉冲宽度调制控制所述的导盲机器人的工作模式和所述的双电机电气传动设备中单个电机的正向和反向运动。

6.根据权利要求1或2所述的基于机器视觉的导盲机器人，其特征在于，所述的引导杖上设有控制机器人前进和停止的按钮。

7.根据权利要求1或2所述的基于机器视觉的导盲机器人，其特征在于，所述的中央处理器模块采用ARM和DSP双核处理器。

8.根据权利要求1或2所述的基于机器视觉的导盲机器人，其特征在于，所述的无线传输模块采用蓝牙设备。

9.根据权利要求1或2所述的基于机器视觉的导盲机器人，其特征在于，所述的摄像头为CCD摄像头。

Images