CN102973395B - 一种多功能智能导盲方法、处理器及其装置 - Google Patents
一种多功能智能导盲方法、处理器及其装置 Download PDFInfo
- Publication number
- CN102973395B CN102973395B CN201210505487.XA CN201210505487A CN102973395B CN 102973395 B CN102973395 B CN 102973395B CN 201210505487 A CN201210505487 A CN 201210505487A CN 102973395 B CN102973395 B CN 102973395B
- Authority
- CN
- China
- Prior art keywords
- module
- barrier
- phonetic order
- blind
- destination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Navigation (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种多功能智能导盲方法,包括:接收语音指令,并进行导航;获取障碍物的图像数据;对所述数字图像数据识别处理,若所识别的障碍物为静态物体,判断该障碍物构成威胁,则产生超声波测距控制指令,若测距结果在预设的报警范围之内,则根据所述测距结果生成并输出语音报警信息或震动提示信息;若所识别的障碍物为动态物体,则产生超声波测距控制指令,根据所述测距结果进行威胁预判计算, 若该障碍物在预设的报警范围之内,则生成并输出语音报警信息或震动提示信息。本发明还公开了一种多功能智能导盲装置及处理器。本发明可以更加安全、方便可靠地为盲人提供导盲服务,避免走更多的路程和遇到障碍物,进而能够快速安全到达目的地。
Description
技术领域
本发明属于信息工程技术领域,涉及一种智能导盲技术,尤其涉及一种多功能智能导盲方法、处理器及其装置。
背景技术
目前电子类的导盲器是利用超声波,红外线探头等回波测距的原理进行设计的,或者采用图像传感器和激光测距的方法对障碍物进行测距,这些方法能够很好探测障碍物距离,但是对于识别障碍物类别和动态障碍物存在着功能缺陷。
另外利用现代信息技术的导盲方法或系统,如基于无线通信的导盲装置,利用无线通信和GPS定位,通过人工服务帮助盲人导航,顺利到达目的地,但是这种装置必须需要另一个人的帮助,不够智能自动化,且不能自动识别障碍;如基于可视化的导盲方法,通过图像处理、图像感触器以及方位提示器,使盲人感受到障碍物形状信息和躲避方向,但是这种方法不能使盲人有效感受到障碍物距离信息和障碍物类别,尤其是对动态障碍物的危险预判存在着一定缺陷。
发明内容
本发明所要解决的技术问题在于提供一种多功能智能导盲方法、处理器及其装置,可以迅速感知判断周围静态和动态障碍物的类别和距离信息,提供最佳导航路径和安全行进通道,以确保盲人用户的出行更加安全和快捷。
为解决上述技术问题,本发明提供一种多功能智能导盲方法,所述方法由一种具有多功能智能导盲功能的装置来实现,包括以下步骤:
S1、接收语音指令,并根据语音指令生成最优路径的语音信息以进行导航;
S2、导航过程中,获取障碍物的图像数据;
S3、对所述图像数据识别处理,包括图像滤波、图像分割、图像二值化、图像特征提取、图像分类以及特征匹配,识别出障碍物;
S4、若所识别的障碍物为静态物体,判断该障碍物构成威胁,则产生超声波测距控制指令,若测距结果在预设的报警范围之内,则根据所述测距结果生成并输出语音报警信息或震动提示信息;
S5、若所识别的障碍物为动态物体,则产生超声波测距控制指令,根据所述测距结果进行威胁预判计算,威胁预判计算公式为
t-发现运动目标后盲人可以继续行走的时间、L-动态目标的预警范围、V1-盲人的行走速度、V2-运动目标的速度、θ-盲人和运动目标的前进方向夹角,其中,L为3m~5m,若t<2s时,则判断已进入了报警范围之内,若该障碍物在预设的报警范围之内,则生成并输出语音报警信息或震动提示信息;
S6、判断未到达目的地,返回步骤S2,如此反复执行所述步骤S2~S5,直至到达目的地。
按上述技术方案,所述步骤S1具体包括以下步骤:
接收语音指令;
根据所述语音指令识别是否为指定用户,若是,则识别所述语音指令中的具体内容,若为目的地,则根据该目的地发出卫星定位请求;
接收定位数据,并检索所述定位数据至目的地信息之间所有的路径信息;
根据预设方式对所有所述路径信息进行计算,得到最优路径,并生成最优路径的语音信息并输出播放。
相应的,本发明还提供了一种多功能智能导盲处理器,包括:
最优路径导航模块,用于接收语音指令,并根据语音指令生成最优路径的语音信息以进行导航;
障碍物探测模块,其具体包括,
障碍物的图像数据获取模块,用于导航过程中,获取障碍物的图像数据;
障碍物的图像数据识别处理模块,用于对所述图像数据识别处理,包括图像滤波、图像分割、图像二值化、图像特征提取、图像分类以及特征匹配,识别出障碍物;
静态障碍物的处理模块,用于判断该障碍物构成威胁,则产生超声波测距控制指令,若测距结果在预设的报警范围之内,则根据所述测距结果生成并输出语音报警信息或震动提示信息;
动态障碍物的处理模块,用于产生超声波测距控制指令,根据所述测距结果进行威胁预判计算,威胁预判计算公式为
t-发现运动目标后盲人可以继续行走的时间、L-动态目标的预警范围、V1-盲人的行走速度、V2-运动目标的速度、θ-盲人和运动目标的前进方向夹角,其中,L为3m~5m,若t<2s时,则判断已进入了报警范围之内,若该障碍物在预设的报警范围之内,则生成并输出语音报警信息或震动提示信息;
到达目的地判断模块,用于判断是否到达目的地。
按上述技术方案,所述最优路径导航模块具体包括,
语音指令接收模块,用于接收语音指令;
语音指令识别模块,用于根据所述语音指令识别是否为指定用户,若是,则识别所述语音指令中的具体内容,若为目的地,则根据该目的地发出卫星定位请求;
定位数据接收模块,用于接收定位数据,并检索所述定位数据至目的地信息之间所有的路径信息;
最优路径计算模块,用于根据预设方式对所有所述路径信息进行计算,得到最优路径,并生成最优路径的语音信息并输出播放。
本发明还提供了一种多功能智能导盲装置,包括:总处理器、与所述总处理器连接的环境感知模块、定位接收模块、语音通信模块、电源模块;
所述总处理器为多功能智能导盲处理器,包括微处理器、安装在所述微处理器上的嵌入式操作系统、以及运行在嵌入式操作系统上的导盲服务软件包;
所述环境感知模块,包括环境摄像头、超声探测器和微型云台,所述环境摄像头和超声探测器方向一致,且均安装在所述微型云台上面,所述环境摄像头和微型云台与所述总处理器连接,所述超声探测器通过串口与所述总处理器连接;
所述定位接收模块,包括北斗接收器和GPS接收器,与所述总处理器连接;
所述语音通信模块,包括语音指令接收器、语音提示器和震动提示器,所述语音指令接收器和语音提示器通过音频输入端口与所述总处理器连接,所述震动提示器与所述总处理器连接;
所述电源模块,包括一个总电源,与所述总处理器、环境感知模块、定位接收模块和语音通信模块连接。
按上述技术方案,所述环境摄像头包括摄像镜头和图像传感器,所述摄像镜头为具有红外夜视功能的微型数字摄像镜头,所述图像传感器为CCD感光器件;
所述超声探测器包括发射探头、接收探头、信号放大器和功率放大器。
按上述技术方案,所述语音指令接收器包括拾音器和信号放大电路;
所述语音提示器包括语音芯片和扬声器;
所述震动提示器包括微型震动电机和驱动电路。
本发明具有以下有益效果。
1.最优路径导航模块可以为盲人用户提供最佳导航路径,障碍物探测模块,可以360度全方位迅速获取周围障碍物图像和距离信息,优化并加快了图像识别过程,不仅能识别静态障碍物,而且能识别动态障碍物,当判断障碍物在报警范围之内时,可以发出语音或震动提示,从而确保盲人用户有效迅速避碰障碍物,使得出行更为安全和快捷。
2.采用具有红外夜视功能的微型数字摄像镜头,可以在黑暗环境下进行图像采集和测距工作,能为盲人用户夜间出行提供可靠的环境信息和安全的避碰导盲服务。
3.盲人用户可以选择定位接收模块的北斗接收器或GPS接收器作为卫星定位方式,能够更加精确定位盲人用户的所在位置,通过使用优化路径算法,可帮助获取始发地至目的地之间的最佳路径,同时结合语音合成功将导航文字信息转化为语音信息,帮助盲人更加快速安全的到达目的地。
4.本发明只执行指定用户的指令,能够防止环境噪音和路人语音信息干扰,并且用户本人能够独立地通过本发明进行导盲服务。
5.本发明提供的多功能智能导盲装置体积、重量均较小,可以嵌入应用到多种导盲器中,如导盲手杖、导盲包、导盲车、导盲帽等,使用范围广。
附图说明
图1为本发明多功能智能导盲方法一个实施例的流程图;
图2为图1中步骤S1的具体流程图;
图3为路径优化算法的原理示意图;
图4障碍物探测模块流程图;
图5为威胁预判计算的原理示意图;
图6为本发明多功能智能导盲装置一个实施例的结构示意图;
图7为超声探测器的工作原理图。
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚完整的描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所以其他实施例,都属于本发明保护的范围。
图1为本发明多功能智能导盲方法一个实施例的流程图,本方法放在专门的多功能智能导盲处理器上实现。如图1所示,本实施例的方法包括以下步骤。
步骤S1、接收语音指令,并根据语音指令生成最优路径的语音信息以进行导航。
所述步骤S1具体包括以下步骤:
接收语音指令;
根据所述语音指令识别是否为指定用户,若是,则识别所述语音指令中的具体内容,若为目的地,则根据该目的地发出卫星定位请求;
接收定位数据,并检索所述定位数据至目的地信息之间所有的路径信息;
根据预设方式对所有所述路径信息进行计算,得到最优路径,并生成最优路径的语音信息并输出播放。
举例来说,如图2所示,所述步骤S1由最优路径导航模块执行,具体包括:语音指令接收模块接收指定用户、环境噪音、或路人的语音指令,语音指令识别模块对所述语音指令进行预处理,包括采样、反混叠滤波、语音增强等,从所述语音指令的波形数据中提取一组或几组能够描述所述语音指令的特征参数,按照规定的准则与用户声谱识别数据库对所述特征参数进行模式匹配,对模式匹配得到的初步识别结果进行后处理:利用用户的声道参数和词条中各状态持续时间的概率分布来改进识别率,最终根据识别结果判断是否为指定用户,若非指定用户的语音指令则拒绝执行,返回等待语音输入,若是则识别所述语音指令中的具体内容,所述具体内容为目的地设置、系统设置、或信息查询,若为目的地设置,则发出卫星定位请求,定位数据接收模块接收指定用户当前位置的定位数据,检索高分辨率2D/3D地图库,判断指定用户当前所在地区地图中的精确位置,检索目的地设置的目的地信息至所述精确位置之间的所有路径信息,最优路径计算模块根据预设方式对所述所有路径信息进行计算,即通过路径优化计算方法获取最优路径,调用语音合成模块,生成所述最优路径的语音信息,生成语音芯片控制指令进行语音合成,然后发出语音输出指令并播放,判断是否到达目的地,否则返回卫星定位请求,若是则判断是否结束语音导盲服务,若是则结束,否则返回接收语音指令步骤。
所述语音合成模块,还可以生成其他导航信息并播放,为用户提供导航服务:如在行进路程中对当前所在位置、行进路线前方的每个步行通道口作出“前方XX米左转/右转”等语音提示,直至达到目的地。
图3为所述路径优化算法的原理示意图,鉴于盲人在出行过程中主要是依靠行走的的特点,对路面状况(障碍物大小、密集程度)以及路段拥挤程度依赖性较大,因此所使用的路径选择算法和传统的车辆导航所使用的路径选择算法有很大的不同,这里对其进行了优化以适用于盲人导航,假设始发地-目的地之间有N条可能到达路径,其中的一条可能路径上有N1个路段,N2个交叉路口,N3个人行天桥,道路状况、拥挤程度、交叉路口以及人行天桥的权重系数分别为W1、W2、W3、W4,每个路段、交叉路口以及人行天桥的几何长度分别为Ri、Ci、Bi,不考虑盲人在行进过程中乘车的因素,则该路径的有效总距离为
计算所有可能路径的有效距离,则选择的最优路径为:
S=Min(S1,S2,S3…SN)
如图4所示,障碍物探测模块执行步骤S2-S5的具体流程。
步骤S2、导航过程中,获取障碍物的图像数据。
举例来说,障碍物的图像数据获取模块接收总处理器的指令控制微型云台进行旋转、俯仰等动作,连续读取图像数据。
步骤S3、对所述图像数据识别处理,包括图像滤波、图像分割、图像二值化、图像特征提取、图像分类以及特征匹配,识别出障碍物;
举例来说,障碍物的图像数据识别处理模块对上述图像数据进行预处理,包括图像滤波、图像分割、图像的二值化,以减小后续算法的复杂度,再对预处理后的图像数据进行图像特征提取,包括颜色特征,形状特征,纹理特征以及空间关系特征,识别障碍物为静态障碍物或动态障碍物。
步骤S4、若所识别的障碍物为静态物体,判断该障碍物构成威胁,则产生超声波测距控制指令,若测距结果在预设的报警范围之内,则根据所述测距结果生成并输出语音报警信息或震动提示信息;
举例来说,静态障碍物处理模块处理上述静态障碍物,首先判断静态障碍物目标是否构成威胁,若是则产生指令控制超声波测距,若测距结果在预设的报警范围之内,所述报警范围理想值可设置为1.5m~2.5m,则调用语音合成模块,生成所述测距结果的语音信息,生成语音芯片控制指令进行语音合成,然后发出语音输出指令并播放,播放内容如“您的左前方2米处有一桌子”,同时发出震动提示信息,最后判断是否结束导盲服务,若是则结束,否则返回上述步骤S2,若静态障碍物在距离很远时,可以暂不提醒。
步骤S5、若所识别的障碍物为动态物体,则产生超声波测距控制指令,根据所述测距结果进行威胁预判计算,若该障碍物在预设的报警范围之内,则生成并输出语音报警信息或震动提示信息。
举例来说,动态障碍物处理模块处理上述动态障碍物,首先进行超声波测距,之后进行运动目标威胁预判计算,若计算结果在预设的报警范围之内,所述报警范围理想值可设置为3m~5m,则调用语音合成模块,生成所述计算结果的语音信息,生成语音芯片控制指令进行语音合成,然后发出语音输出指令并播放,播放内容如“您的左前方5米处有一辆汽车”,同时发出震动提示信息,最后判断是否结束导盲服务,若是则结束,否则返回上述步骤S2,若动态障碍物在距离很远时,可以暂不提醒。
图5所述威胁预判计算的原理示意图,假设超声波测距有效距离是10m,动态目标的预警范围为5m。当检测到运动目标后,盲人至多可以行走t秒便到达预警范围内。盲人的行走速度为V1,运动目标的速度为V2,盲人和运动目标的前进方向夹角为θ,在图中,V1、V2以及θ的值都可以根据图像处理和超声波测距可得到,因此根据数学关系可知:
假设盲人的反应时间为2s,则t<2时,则判断已进入了报警范围之内。
所述障碍物探测模块还可以执行通道检测,所述通道检测是根据障碍物在图像中的位置以及用户的行进方向,来判断障碍物之间是否存在安全通道,以此提醒用户的行进方向,例如盲人的左前方、前方和右前方均判断有障碍物,以此可判断出有两条安全通道,生成所述安全通道的语音信息并播放,如“您的前方有两条安全通道,您可选择稍微偏左或偏右行走”,从而引导盲人行走,并在通道接近障碍物时向盲人语音和震动提示。
所述通道检测的具体步骤为,对上述步骤S3中图像特征提取的图像数据进一步处理,包括:背景分离,将图像中的主要目标与背景相分割;边缘检测,提取障碍目标的边缘数据信息;通道判断,根据障碍物的分布和它们之间的空白区域判断通道条数、通道方向以及通道是否可穿过。若判断存在安全通道则进行语音提示,否则返回步骤S2。
步骤S6、判断未到达目的地,返回步骤S2,如此反复执行所述步骤S2~S5,直至到达目的地。
举例来说,到达目的地判断模块判断是否到达目的地,若是则结束导航,否则返回步骤S2,如此反复执行所述步骤S2~S3及S4或S5,直至到达目的地。
所述多功能智能导盲处理器还可以进行其他语音导盲服务,如卫星定位方式设置和信息查询。若步骤S1所述的语音指令的具体内容为系统设置、或信息查询,执行所述语音指令,并调用语音合成模块,生成所述执行结果的语音信息,生成语音芯片控制指令进行语音合成,然后发出语音输出指令并播放,最后判断是否结束语音导盲服务,若是则结束,否则返回接收语音指令步骤。
图6为本发明提供的多功能智能导盲装置一个实施例的结构示意图,包括总处理器、与所述总处理器连接的环境感知模块、定位接收模块、语音通信模块、电源模块。
所述总处理器为上述多功能智能导盲处理器;
所述环境感知模块,包括环境摄像头、超声探测器和微型云台,所述环境摄像头和超声探测器方向一致,且均安装在所述微型云台上面,所述环境摄像头和微型云台与所述总处理器连接,所述超声探测器通过串口与所述总处理器连接;
所述定位接收模块,包括北斗接收器和GPS接收器,与所述总处理器连接;
所述语音通信模块,包括语音指令接收器、语音提示器和震动提示器,所述语音指令接收器和语音提示器通过音频输入端口与所述总处理器连接,所述震动提示器与所述总处理器连接;
所述电源模块,包括一个总电源,与所述总处理器、环境感知模块、定位接收模块和语音通信模块连接。
举例说明,所述总处理器,包括微处理器和安装在微处理器上的嵌入式操作系统,以及运行在嵌入式操作系统上的导盲服务软件包,所述总处理器主要用于周围环境的感知判断、避碰导盲、语音通信和路径导航,以及对其它模块硬件资源的分配和控制。所述微处理器为ARM嵌入式处理器,所述嵌入式操作系统可为Linux、WinCE、Android系统中的一种。所述导盲服务软件包是总处理器的核心,通过控制系统硬件资源实现导盲服务功能,主要包括四个软件模块:
数据库模块,包括高分辨率2D/3D地图库、物体特征判别数据库、和用户声谱识别数据库。其中高分辨率2D/3D地图库是各个城镇地区的空间道路数据,经过了校正和加工处理生成的高精度地图数据库,用于提供导航信息和路径选择。物体特征判别数据库存储了一些常见物体的特征数据,如颜色特征、形状特征、纹理特征、空间关系特征等,主要用于障碍物目标特征查询匹配。鉴于盲人在行走路程中对障碍物的类型依赖性不大,其关心的主要重点在于能否躲避障碍物,尤其是运动中的障碍物目标,因此本发明所述物体特征判别数据库只存储一些常见的交通障碍物目标数据,并根据分类分为静态目标数据库和动态目标数据库,静态目标包括行人、树木、红绿灯、阶梯等路上常见障碍物,动态目标包括汽车、自行车、公共汽车等运动目标。用户声谱识别数据库存储了用户的语音模板信息,用于用户语音识别,以防路人及噪声语音信息干扰。所述高分辨率2D/3D地图库、物体特征判别数据库、用户声谱识别数据库均存储在所述嵌入式操作系统上。所述用户声谱识别数据库存储的语音模板信息,是从一个或多个使用者多次重复讲话中提取的语音参数模板,如“开始导盲”、“目的地设置”、“结束”等若干条语音指令,所形成的特定的语音模型库。
语音通信软件模块,主要包括语音识别和语音合成算法。在接收到盲人语音输入信息时,结合用户声谱识别库与已知的语音样本进行模板匹配,进行盲人语音指令识别,可根据语音指令进行目的地和卫星定位方式设置以及相关信息查询。对于非设定用户的语音指令拒绝执行。当需要语音输出时,结合语音合成功能,为盲人提供导盲服务。
避碰软件模块,主要包括图像识别算法、静态目标处理算法和动态目标处理算法、以及通道检测算法。通过控制微型云台动作(旋转、俯仰),读取连续采集到的数字图像,对图像数据依次进行滤波分析、图像特征提取、特征识别,特征提取的内容包括障碍物的颜色、形状、纹理、空间关系等,特征识别时将障碍物特征数据与物体特征判别数据库进行比较匹配,根据匹配结果分为静态目标和动态目标,并分别执行静态目标处理算法和动态目标处理算法,根据其处理结果判断是否进行预警提示;之后执行通道检测算法,判断行走方向上是否存在安全通道,根据分析结果语音提示行走和避碰方向。
导航及路径选择软件模块,包括卫星定位和路径选择算法,根据盲人语音输入的目的地信息和定位接收模块输出的精确位置信息,在高分辨率2D/3D地图库内进行检索,判断盲人当前所在地区地图中的精确位置,结合设计的路径优化算法计算路径信息,获取最优路径,同时形成导航文字信息,结合语音合成功能,播放导航信息为其提供导航服务:在行进路程中对当前所在位置、行进路线前方的每个步行通道口作出“前方XX米左转/右转”等语音提示,直至达到目的地。
所述环境感知模块,包括环境摄像头、超声探测器、微型云台,用于全方位采集和探测障碍物信息。所述环境摄像头和超声探测器均安装在微型云台上,摄像头和超声探测器安装方向一致,因此两者探测到障碍物是同一障碍物,在总处理器控制下,可全方位旋转、俯仰采集探测周围障碍物信息。所述环境摄像头与总处理器连接,工作时将数字图像信息传至总处理器进行图像处理和模式识别,所述环境摄像头包括摄像镜头和图像传感器,摄像镜头为具有红外夜视功能的数字摄像镜头,在黑暗的环境下仍可进行摄像,图像传感器为CCD感光器件。所述超声探测器包括发射探头、接收探头以及信号、功率放大器,通过串口与总处理器相连接,工作时接收总处理器的控制指令,发送和接收超声波测距,并将距离信息传至总处理器进行处理。超声探测器是通过超声波回声的时间差原理进行测距的,如图7所示,其工作步骤为:在总处理器的控制下,微处理器产生方波经过功率放大器功率放大,驱动发射探头发射超声脉冲,超声脉冲遇到障碍物发生反射,接收探头接收到回波后,经过信号放大器传递给总处理器,根据信号间的时间差从而得到障碍物的距离信息。所述微型云台与总控模块的微处理器连接,接收总处理器的控制指令可实现360度旋转、正负30度俯仰等动作,帮助全方位探测周围环境信息,所述微型云台旋转、俯仰频率由图像处理得出的障碍物密集程度而自适应调整,如障碍物较少时,微型云台工作频率较小,随障碍物的线性增加而频率增大。
所述定位接收模块,包括北斗接收器和GPS接收器,用于获取盲人所在的定位数据,并将其经纬度信息传至总处理器,所述的北斗接收器和GPS接收器与总处理器连接,用户在使用时可通过语音指令选择其一进行定位,所述卫星定位周期可在程序中进行设置,如每3分钟进行一次卫星定位导航,确定使用者的当前位置和行进路线。
所述语音通信模块,包括:语音指令接收器,语音提示器和震动提示器。所述语音指令接收器包括拾音器和信号放大电路,通过音频输入端口与总处理器相连接,用于接收语音信息,工作时将语音信息传至总处理器进行语音识别分析。所述语音提示器包括语音芯片和扬声器,通过音频输入端口与总处理器相连接,接收总处理器发送的语音指令,提供语音导盲服务,如行进到十字路口或转弯处时进行语音提示。所述震动提示器包括微型震动电机和驱动电路,与总处理器连接,当使用者距离障碍物太近时,接收总处理器的控制指令,发出震动提醒盲人止步。
所述电源模块包括一个总电源,与上述其它模块连接,用于提供各模块所需要的供电电源,如定位接收模块所需要的DC 5V电源,环境摄像头DC 12V,超声探测器DC 5V,微型云台DC 5V,微处理器DC 5V,语音指令接收器DC 5V,震动提示器DC 3.3V,语音提示器DC 5V。
所述多功能智能导盲装置的工作过程是:首先由语音指令接收器接收用户语音指令,结合用户声谱识别库对语音指令识别分析,设置目的地信息,以及选择卫星定位方式,然后根据定位接收模块对用户当前位置精确定位,将经纬度信息传至总处理器,在高分辨率2D/3D地图库内进行查询,判断用户当前所在地区地图中的精确位置,结合路径优化算法计算路径信息,获取最优路径,同时形成导航信息,使用语音合成功能,将语音信息传至语音提示器,播放导航信息为盲人用户提供导航服务;同时,在行进的路程中,环境感知模块将连续拍摄到的数字图像传递给总处理器进行图像预处理、图像特征提取、图像分类、特征识别等工作,并结合物体特征判别数据库对障碍物目标进行特征匹配,根据障碍物目标是否运动的特征,分别进行静态目标处理和动态目标处理过程,根据其处理结果判断是否进行预警提示,包括编辑成语音和震动指令,通过控制语音通信模块的语音提示器和震动提示器来引导盲人,之后执行通道检测算法,检测是否存在安全行走通道,结合语音合成进行语音提示。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (7)
1.一种多功能智能导盲方法,其特征在于,包括以下步骤:
S1、接收语音指令,并根据语音指令生成最优路径的语音信息以进行导航;
S2、导航过程中,获取障碍物的图像数据;
S3、对所述图像数据识别处理,包括图像滤波、图像分割、图像二值化、图像特征提取、图像分类以及特征匹配,识别出障碍物;
S4、若所识别的障碍物为静态物体,判断该障碍物构成威胁,则产生超声波测距控制指令,若测距结果在预设的报警范围之内,则根据所述测距结果生成并输出语音报警信息或震动提示信息;
S5、若所识别的障碍物为动态物体,则产生超声波测距控制指令,根据测距结果进行威胁预判计算,威胁预判计算公式为
t-发现运动目标后盲人可以继续行走的时间、L-动态目标的预警范围、V1-盲人的行走速度、V2-运动目标的速度、θ-盲人和运动目标的前进方向夹角,其中,L为3m~5m,若t<2s时,则判断已进入了报警范围之内,若该障碍物在预设的报警范围之内,则生成并输出语音报警信息或震动提示信息;
S6、判断未到达目的地,返回步骤S2,如此反复执行所述步骤S2~S5,直至到达目的地。
2.根据权利要求1所述的多功能智能导盲方法,其特征在于,所述步骤S1具体包括以下步骤:
接收语音指令;
根据所述语音指令识别是否为指定用户,若是,则识别所述语音指令中的具体内容,若为目的地,则根据该目的地发出卫星定位请求;
接收定位数据,并检索所述定位数据至目的地信息之间所有的路径信息;
根据预设方式对所有所述路径信息进行计算,得到最优路径,并生成最优路径的语音信息并输出播放。
3.一种多功能智能导盲处理器,其特征在于,包括:
最优路径导航模块,用于接收语音指令,并根据语音指令生成最优路径的语音信息以进行导航;
障碍物探测模块,其具体包括,
障碍物的图像数据获取模块,用于导航过程中,获取障碍物的图像数据;
障碍物的图像数据识别处理模块,用于对所述图像数据识别处理,包括图像滤波、图像分割、图像二值化、图像特征提取、图像分类以及特征匹配,识别出障碍物;
静态障碍物的处理模块,用于判断该障碍物构成威胁,则产生超声波测距控制指令,若测距结果在预设的报警范围之内,则根据所述测距结果生成并输出语音报警信息或震动提示信息;
动态障碍物的处理模块,用于产生超声波测距控制指令,根据测距结果进行威胁预判计算,威胁预判计算公式为
t-发现运动目标后盲人可以继续行走的时间、L-动态目标的预警范围、V1-盲人的行走速度、V2-运动目标的速度、θ-盲人和运动目标的前进方向夹角,其中,L为3m~5m,若t<2s时,则判断已进入了报警范围之内,若该障碍物在预设的报警范围之内,则生成并输出语音报警信息或震动提示信息;
到达目的地判断模块,用于判断是否到达目的地。
4.根据权利要求3所述的多功能智能导盲处理器,其特征在于:所述最优路径导航模块具体包括,
语音指令接收模块,用于接收语音指令;
语音指令识别模块,用于根据所述语音指令识别是否为指定用户,若是,则识别所述语音指令中的具体内容,若为目的地,则根据该目的地发出卫星定位请求;
定位数据接收模块,用于接收定位数据,并检索所述定位数据至目的地信息之间所有的路径信息;
最优路径计算模块,用于根据预设方式对所有所述路径信息进行计算,得到最优路径,并生成最优路径的语音信息并输出播放。
5.一种用于执行权利要求1所述方法的多功能智能导盲装置,其特征在于,包括:总处理器、与所述总处理器连接的环境感知模块、定位接收模块、语音通信模块、电源模块;
所述总处理器为多功能智能导盲处理器,包括微处理器、安装在所述微处理器上的嵌入式操作系统、以及运行在嵌入式操作系统上的导盲服务软件包;
所述环境感知模块,包括环境摄像头、超声探测器和微型云台,所述环境摄像头和超声探测器方向一致,且均安装在所述微型云台上面,所述环境摄像头和微型云台与所述总处理器连接,所述超声探测器通过串口与所述总处理器连接;
所述定位接收模块,包括北斗接收器和GPS接收器,与所述总处理器连接;
所述语音通信模块,包括语音指令接收器、语音提示器和震动提示器,所述语音指令接收器和语音提示器通过音频输入端口与所述总处理器连接,所述震动提示器与所述总处理器连接;
所述电源模块,包括一个总电源,与所述总处理器、环境感知模块、定位接收模块和语音通信模块连接。
6.根据权利要求5所述的多功能智能导盲装置,其特征在于:
所述环境摄像头包括摄像镜头和图像传感器,所述摄像镜头为具有红外夜视功能的微型数字摄像镜头,所述图像传感器为CCD感光器件;
所述超声探测器包括发射探头、接收探头、信号放大器和功率放大器。
7.根据权利要求5所述的多功能智能导盲装置,其特征在于:
所述语音指令接收器包括拾音器和信号放大电路;
所述语音提示器包括语音芯片和扬声器;
所述震动提示器包括微型震动电机和驱动电路。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210505487.XA CN102973395B (zh) | 2012-11-30 | 2012-11-30 | 一种多功能智能导盲方法、处理器及其装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210505487.XA CN102973395B (zh) | 2012-11-30 | 2012-11-30 | 一种多功能智能导盲方法、处理器及其装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102973395A CN102973395A (zh) | 2013-03-20 |
CN102973395B true CN102973395B (zh) | 2015-04-08 |
Family
ID=47847937
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210505487.XA Active CN102973395B (zh) | 2012-11-30 | 2012-11-30 | 一种多功能智能导盲方法、处理器及其装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102973395B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107436150A (zh) * | 2016-05-28 | 2017-12-05 | 深圳富泰宏精密工业有限公司 | 安全提醒装置、方法和具有安全提醒装置的导盲仗 |
Families Citing this family (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104229009A (zh) * | 2013-06-09 | 2014-12-24 | 李梦婷 | 盲人电瓶车 |
CN103584980A (zh) * | 2013-07-12 | 2014-02-19 | 宁波大红鹰学院 | 一种导盲棒 |
CN103750983A (zh) * | 2014-01-24 | 2014-04-30 | 成都万先自动化科技有限责任公司 | 导盲帽 |
CN104019825A (zh) * | 2014-06-23 | 2014-09-03 | 中国北方车辆研究所 | 一种路径规划的确定方法 |
CN104042431A (zh) * | 2014-07-03 | 2014-09-17 | 安庆市鸿裕工业产品设计有限公司 | 一种残疾人街道引路装置 |
CN105012119B (zh) * | 2014-10-12 | 2018-04-13 | 中国矿业大学 | 一种深度信息感知脑机融合避障导航装置 |
CN104287946B (zh) * | 2014-10-24 | 2016-08-17 | 中国科学院计算技术研究所 | 盲人避障提示装置及方法 |
CN104367447A (zh) * | 2014-11-05 | 2015-02-25 | 东莞市安拓普塑胶聚合物科技有限公司 | 一种行走辅助系统及方法 |
CN104367448A (zh) * | 2014-11-20 | 2015-02-25 | 欧阳玮 | 一种导盲杖 |
CN104473717A (zh) * | 2014-12-04 | 2015-04-01 | 上海交通大学 | 针对全盲人群的可穿戴式引导设备 |
CN104535059A (zh) * | 2014-12-04 | 2015-04-22 | 上海交通大学 | 针对全盲人群的室内定位系统 |
CN104398285A (zh) * | 2014-12-10 | 2015-03-11 | 北京龙马负图科技有限公司 | 语音操作的肢体加压理疗设备 |
CN105761532B (zh) * | 2014-12-19 | 2018-03-02 | 大陆汽车投资(上海)有限公司 | 动态语音提示方法及车载系统 |
CN104510597A (zh) * | 2014-12-26 | 2015-04-15 | 南京航空航天大学 | 一种双重保护导盲装置 |
CN104897167A (zh) * | 2015-05-28 | 2015-09-09 | 魅族科技(中国)有限公司 | 一种导航信息提示方法及终端 |
CN105116881B (zh) * | 2015-06-26 | 2018-03-16 | 武汉科技大学 | 一种基于在线学习机制的轮式机器人自适应导航方法 |
CN105105992B (zh) * | 2015-09-11 | 2017-09-22 | 广州杰赛科技股份有限公司 | 一种障碍物检测方法、装置及智能手表 |
CN105167967B (zh) * | 2015-09-14 | 2018-04-03 | 深圳市冠旭电子股份有限公司 | 一种导盲方法及系统 |
CN105182979B (zh) * | 2015-09-23 | 2018-02-23 | 上海物景智能科技有限公司 | 一种移动机器人障碍物检测及避让方法和系统 |
CN105362048B (zh) * | 2015-10-15 | 2018-01-19 | 广东欧珀移动通信有限公司 | 基于移动设备的障碍物信息提示方法、装置及移动设备 |
CN105407288A (zh) * | 2015-12-07 | 2016-03-16 | 哈尔滨工业大学深圳研究生院 | 一种适用于导盲杖系统的图像采集方法 |
CN105496740B (zh) * | 2016-01-08 | 2018-02-02 | 中国石油大学(华东) | 一种智能导盲装置及安装有该装置的导盲杖 |
CN105662796A (zh) * | 2016-03-15 | 2016-06-15 | 江苏龙昌智能科技有限公司 | 一种盲人智能助行服及其导航方法 |
CN105640748B (zh) * | 2016-03-16 | 2017-10-20 | 宁波精丰测控技术有限公司 | 一种振动导盲衣服 |
CN105902369A (zh) * | 2016-06-14 | 2016-08-31 | 南昌大学 | 一种可实时跟踪的智能小车健康监护装置 |
CN106289254A (zh) * | 2016-07-18 | 2017-01-04 | 乐视控股(北京)有限公司 | 导航方法及装置 |
CN107645703B (zh) * | 2016-07-20 | 2020-11-24 | 平安科技(深圳)有限公司 | 行走安全监控方法和装置 |
CN106289290A (zh) * | 2016-07-21 | 2017-01-04 | 触景无限科技(北京)有限公司 | 一种路径导航系统及方法 |
CN106236525A (zh) * | 2016-09-23 | 2016-12-21 | 河海大学常州校区 | 一种语音导盲方法及系统 |
CN106859929B (zh) * | 2017-01-25 | 2019-11-22 | 上海集成电路研发中心有限公司 | 一种基于双目视觉的多功能导盲仪 |
CN106871906B (zh) * | 2017-03-03 | 2020-08-28 | 西南大学 | 一种盲人导航方法、装置及终端设备 |
CN106872988A (zh) * | 2017-04-07 | 2017-06-20 | 宁夏冰核科技有限公司 | 具有碰撞提醒功能的电子标签 |
CN107224393A (zh) * | 2017-08-10 | 2017-10-03 | 李海强 | 可规划路线的导盲手杖 |
CN107456363A (zh) * | 2017-08-10 | 2017-12-12 | 李海强 | 多功能导盲手杖 |
CN107822840A (zh) * | 2017-12-04 | 2018-03-23 | 安徽理工大学 | 一种基于dsp芯片的智能导盲拐杖 |
CN110069056A (zh) * | 2018-01-24 | 2019-07-30 | 南京机器人研究院有限公司 | 一种应用于扫地机器人的行走控制方法 |
CN110274542A (zh) * | 2018-03-15 | 2019-09-24 | 艾沙技术有限公司 | 移动载具、安全警示装置及安全警示方法 |
CN109106563A (zh) * | 2018-06-28 | 2019-01-01 | 清华大学天津高端装备研究院 | 一种基于深度学习算法的自动化导盲装置 |
CN108670745A (zh) * | 2018-06-29 | 2018-10-19 | 合肥信亚达智能科技有限公司 | 一种基于语音识别准入的盲人导航方法及系统 |
CN108670746A (zh) * | 2018-06-29 | 2018-10-19 | 合肥信亚达智能科技有限公司 | 一种高识别度路径优化智能监控导盲方法及系统 |
CN109470234B (zh) * | 2018-10-17 | 2022-04-19 | 平安科技(深圳)有限公司 | 智能导盲方法、设备、计算机可读存储介质和终端设备 |
CN109309813A (zh) * | 2018-10-22 | 2019-02-05 | 北方工业大学 | 适应室内的智能跟随方法及智能跟随机器人 |
CN109658653A (zh) * | 2018-11-29 | 2019-04-19 | 广州紫川物联网科技有限公司 | 一种基于红外热像仪的单兵侦查方法、装置及存储介质 |
CN109764889A (zh) * | 2018-12-06 | 2019-05-17 | 深圳前海达闼云端智能科技有限公司 | 导盲方法和装置,存储介质和电子设备 |
CN109635710A (zh) * | 2018-12-06 | 2019-04-16 | 中山乐心电子有限公司 | 危险状态确定方法、装置、危险告警设备及储存介质 |
CN109674628A (zh) * | 2019-01-29 | 2019-04-26 | 桂林电子科技大学 | 一种智能眼镜 |
CN110353958A (zh) * | 2019-08-09 | 2019-10-22 | 朱原灏 | 一种协助盲人乘车的便携式装置及其方法 |
CN110728701B (zh) * | 2019-08-23 | 2022-07-12 | 珠海格力电器股份有限公司 | 带毫米波雷达的手杖的控制方法、装置及智能手杖 |
CN110522617A (zh) * | 2019-09-05 | 2019-12-03 | 张超 | 盲人智慧眼镜 |
CN110736465B (zh) * | 2019-11-15 | 2021-01-08 | 北京云迹科技有限公司 | 导航方法、装置、机器人及计算机可读存储介质 |
CN110988944B (zh) * | 2019-11-21 | 2024-02-27 | 桑德科技(重庆)有限公司 | 一种基于卫星导航的导盲方法及其系统 |
CN110974088B (zh) * | 2019-11-29 | 2021-09-24 | 深圳市杉川机器人有限公司 | 扫地机器人控制方法、扫地机器人及存储介质 |
CN111060074A (zh) * | 2019-12-25 | 2020-04-24 | 深圳壹账通智能科技有限公司 | 基于计算机视觉的导航方法、装置、计算机设备及介质 |
CN111449841A (zh) * | 2020-04-02 | 2020-07-28 | 上海海洋大学 | 一种假体视觉下障碍物语音提示仿真装置 |
CN111494175B (zh) * | 2020-05-11 | 2021-11-30 | 清华大学 | 一种基于头戴设备的导航方法、头戴设备及存储介质 |
CN111942285B (zh) * | 2020-07-10 | 2022-11-18 | 夏牧谣 | 基于车载玻璃振动反馈的智能视障人员服务方法及其系统 |
CN112002186B (zh) * | 2020-09-04 | 2022-05-06 | 语惠科技(南京)有限公司 | 一种基于增强现实技术的信息无障碍系统及方法 |
CN111973411A (zh) * | 2020-09-10 | 2020-11-24 | 深圳技术大学 | 智能导盲眼镜 |
CN112120899A (zh) * | 2020-09-22 | 2020-12-25 | 江苏安全技术职业学院 | 基于计算机视觉的盲人智能手杖 |
CN113080550A (zh) * | 2021-05-12 | 2021-07-09 | 新疆爱华盈通信息技术有限公司 | 用于识别障碍物的头巾及其识别障碍物的方法 |
CN113768760B (zh) * | 2021-09-08 | 2022-12-20 | 中国科学院深圳先进技术研究院 | 助行器的控制方法、系统和驱动设备 |
CN115218918B (zh) * | 2022-09-20 | 2022-12-27 | 上海仙工智能科技有限公司 | 一种智能导盲方法及导盲设备 |
CN116659533B (zh) * | 2023-06-15 | 2023-11-21 | 黑龙江大学 | 基于盲人目标及路径筛选的导航方法及导航系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101986673A (zh) * | 2010-09-03 | 2011-03-16 | 浙江大学 | 一种智能手机导盲器及导盲方法 |
CN102389361A (zh) * | 2011-07-18 | 2012-03-28 | 浙江大学 | 一种基于计算机视觉的盲人户外支援系统 |
CN102429801A (zh) * | 2011-08-15 | 2012-05-02 | 北京百纳威尔科技有限公司 | 基于gps的导盲方法及其导盲装置 |
-
2012
- 2012-11-30 CN CN201210505487.XA patent/CN102973395B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101986673A (zh) * | 2010-09-03 | 2011-03-16 | 浙江大学 | 一种智能手机导盲器及导盲方法 |
CN102389361A (zh) * | 2011-07-18 | 2012-03-28 | 浙江大学 | 一种基于计算机视觉的盲人户外支援系统 |
CN102429801A (zh) * | 2011-08-15 | 2012-05-02 | 北京百纳威尔科技有限公司 | 基于gps的导盲方法及其导盲装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107436150A (zh) * | 2016-05-28 | 2017-12-05 | 深圳富泰宏精密工业有限公司 | 安全提醒装置、方法和具有安全提醒装置的导盲仗 |
Also Published As
Publication number | Publication date |
---|---|
CN102973395A (zh) | 2013-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102973395B (zh) | 一种多功能智能导盲方法、处理器及其装置 | |
CN108417087B (zh) | 一种车辆安全通行系统及方法 | |
CN110446278B (zh) | 基于v2i的智能驾驶汽车传感器盲区安全控制方法及系统 | |
US10445597B2 (en) | Systems and methods for identification of objects using audio and sensor data | |
CN110588642B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
US10636304B2 (en) | Moving object and driving support system for moving object | |
CN108743266A (zh) | 一种盲人智能导航避障出行辅助方法及系统 | |
CN207328264U (zh) | 可用于无人驾驶与有人驾驶车辆的道路行人提醒系统 | |
CN108844545A (zh) | 一种基于图像识别的辅助出行方法及系统 | |
JP5607416B2 (ja) | 車外音検出装置 | |
CN108836770A (zh) | 一种实际交通环境下实时避障优化导盲监控方法及系统 | |
CN108670745A (zh) | 一种基于语音识别准入的盲人导航方法及系统 | |
CN108871340A (zh) | 一种基于实时路况信息优化导盲方法及系统 | |
JP7380904B2 (ja) | 情報処理装置、情報処理方法、および、プログラム | |
CN108743265A (zh) | 一种用于公共交通道路的导盲方法及系统 | |
CN108670746A (zh) | 一种高识别度路径优化智能监控导盲方法及系统 | |
CN110741425A (zh) | 地图更新装置、地图更新系统、地图更新方法及程序 | |
CN112289036A (zh) | 基于交通语义的场景式违章属性识别系统及方法 | |
CN110269787A (zh) | 一种导盲方法、装置及帽子 | |
JPH08252279A (ja) | 対象物を音で提示する経路誘導方法 | |
CN113983430A (zh) | 智能灯杆及基于智能灯杆的道路识别方法和道路识别装置 | |
CN113895438A (zh) | 一种会车方法、装置、车辆及计算机可读存储介质 | |
JP2011214961A (ja) | 基準パターン情報生成装置、方法、プログラムおよび一般車両位置特定装置 | |
WO2018139650A1 (ja) | 音声制御装置、音声制御方法、及びプログラム | |
CN112241677B (zh) | 信息提供装置、信息提供方法及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |