CN109106563A - 一种基于深度学习算法的自动化导盲装置 - Google Patents

一种基于深度学习算法的自动化导盲装置 Download PDF

Info

Publication number
CN109106563A
CN109106563A CN201810689716.5A CN201810689716A CN109106563A CN 109106563 A CN109106563 A CN 109106563A CN 201810689716 A CN201810689716 A CN 201810689716A CN 109106563 A CN109106563 A CN 109106563A
Authority
CN
China
Prior art keywords
module
deep learning
output end
input terminal
blind
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810689716.5A
Other languages
English (en)
Inventor
东东
张晓晴
黄翊峰
万晏辰
穆国栋
朱康康
张妮莎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Institute of Advanced Equipment of Tsinghua University
Original Assignee
Tianjin Institute of Advanced Equipment of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Institute of Advanced Equipment of Tsinghua University filed Critical Tianjin Institute of Advanced Equipment of Tsinghua University
Priority to CN201810689716.5A priority Critical patent/CN109106563A/zh
Publication of CN109106563A publication Critical patent/CN109106563A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50—Control means thereof
    • A61H2201/5023—Interfaces to the user
    • A61H2201/5048—Audio interfaces, e.g. voice or music controlled

Landscapes

  • Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Rehabilitation Tools (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明创造提供了一种基于深度学习算法的自动化导盲装置，包括：相机、导航装置、语音输入模块、超声波模块、红外模快、IMU惯性测量模块、深度学习单元和嵌入式单元；所述的相机、导航装置、语音输入模块及IMU惯性测量模块的输出端均与深度学习单元的输入端连接，所述的超声波模块及红外模块的输出端均与嵌入式单元的输入端连接，深度学习单元的输出端与嵌入式单元的输入端连接。本发明借助佩戴在盲人胸前的超声波阵列，实现对盲人周围环境的障碍物检测，并结合电机驱动的压力装置，在超声波模块对应的位置对盲人施加与障碍物距离相对应的压力感，使得盲人可以感知到周围环境中障碍物的距离和方位。

Description

一种基于深度学习算法的自动化导盲装置
技术领域
本发明创造属于领域，尤其是涉及一种基于深度学习算法的自动化导盲装置。
背景技术
人类获得信息中90％源于视觉系统，因此，视力的丧失会严重影响生存质量。盲人由于眼睛看不见，日常生活有很大障碍，尤其是出行困难。
目前有很多种方法进行导盲，例如盲杖、红外线探测、超声波探测等非视觉探测方法。然而这些方法都存在一定的缺陷：
①、使用盲杖探测，探测范围过小，盲人通过敲触大地或者周围的物体来断定行走方向，以及需要停下与否；这类拐杖的弊端很多，特别是它难以发现很远的物体和悬在半空中的物体；
②、使用红外线、超声波等探测方式，只能探测体积较大的障碍物，不能获取障碍物轮廓、高度等完整信息，因此安全性较差。例如，国内外带语音提示的导盲器是由超声波探测器获取数据，经单片机处理后将数据发送给语音提醒器，然后驱动语音芯片提醒。
然而，这种导盲器是通过不同音量、音调、节奏的提示音或者是误差较大的分段式语音提示对盲人进行提醒，只能使盲人对障碍物的距离有个大概的判断，并且，消耗了盲人的大量精力，容易造成错误判断。
发明内容
有鉴于此，本发明创造旨在提出一种探测范围更广泛、操作更人性化的基于深度学习算法的自动化导盲装置。
为达到上述目的，本发明创造的技术方案是这样实现的：
一种基于深度学习算法的自动化导盲装置，包括：相机、导航装置、语音输入模块、超声波模块、红外模快、IMU惯性测量模块、深度学习单元和嵌入式单元；所述的相机、导航装置、语音输入模块及IMU惯性测量模块的输出端均与深度学习单元的输入端连接，所述的超声波模块及红外模块的输出端均与嵌入式单元的输入端连接，深度学习单元的输出端与嵌入式单元的输入端连接。
进一步的，所述的深度学习单元包括自然语言处理模块、障碍物检测定位模块和路径规划模块，自然语言处理模块及障碍物检测定位模块的输出端均与路径规划模块的输入端连接。
进一步的，所述的语音输入模块的输出端与自然语言处理模块的输入端连接，相机、导航装置及IMU惯性测量模块的输出端均与障碍物检测定位模块的输入端连接。
进一步的，所述的相机与障碍物检测定位模块之间设有预处理模块；相机通过预处理模块与障碍物检测定位模块连接。
进一步的，所述的嵌入式单元包括底层避障系统和电机驱动电路，所述的底层避障系统的输出端与电机驱动电路的输入端连接。
进一步的，所述的路径规划模块的输出端与电机驱动电路的输入端连接。
进一步的，所述的超声波模块和红外模块的输出端均与底层避障系统的输入端连接。
相对于现有技术，本发明创造所述的一种基于深度学习算法的自动化导盲装置具有以下优势：
本发明借助佩戴在盲人胸前的超声波阵列，实现对盲人周围环境的障碍物检测，并结合电机驱动的压力装置，在超声波模块对应的位置对盲人施加与障碍物距离相对应的压力感，使得盲人可以感知到周围环境中障碍物的距离和方位。盲人通过本发明当前方遇到障碍时，对应障碍物位置，所述的超声传感器将检测到障碍，同时距离障碍越近，动力施加装置伸出越长，盲人就会在这个位置感觉到越多的压力，从而感知到障碍物的方向以及距离。
此外，本发明还使用了双目视觉传感器，如ZED等摄像头获取前方深度信息进行深度探测，这种探测方式范围更广泛。设计语音模块，使盲人语音输入目的地，使操作更人性化。
附图说明
构成本发明创造的一部分的附图用来提供对本发明创造的进一步理解，本发明创造的示意性实施例及其说明用于解释本发明创造，并不构成对本发明创造的不当限定。在附图中：
图1为本发明创造实施例所述的结构示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明创造中的实施例及实施例中的特征可以相互组合。
在本发明创造的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明创造的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明创造的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明创造中的具体含义。
下面将参考附图并结合实施例来详细说明本发明创造。
一种基于深度学习算法的自动化导盲装置，包括：相机、导航装置、语音输入模块、超声波模块、红外模快、IMU惯性测量模块、深度学习单元和嵌入式单元；所述的相机、导航装置、语音输入模块及IMU惯性测量模块的输出端均与深度学习单元的输入端连接，所述的超声波模块及红外模块的输出端均与嵌入式单元的输入端连接，深度学习单元的输出端与嵌入式单元的输入端连接。
进一步的，所述的深度学习单元包括自然语言处理模块、障碍物检测定位模块和路径规划模块，自然语言处理模块及障碍物检测定位模块的输出端均与路径规划模块的输入端连接。
进一步的，所述的语音输入模块的输出端与自然语言处理模块的输入端连接，相机、导航装置及IMU惯性测量模块的输出端均与障碍物检测定位模块的输入端连接。
进一步的，所述的相机与障碍物检测定位模块之间设有预处理模块；相机通过预处理模块与障碍物检测定位模块连接。
进一步的，所述的嵌入式单元包括底层避障系统和电机驱动电路，所述的底层避障系统的输出端与电机驱动电路的输入端连接。
进一步的，所述的路径规划模块的输出端与电机驱动电路的输入端连接。
进一步的，所述的超声波模块和红外模块的输出端均与底层避障系统的输入端连接。
本发明由双目相机、超声波检测、具有地图信息的导航装置、红外模块、语音交互模块及电源模块、深度学习运算单元和嵌入式单元组成。集成了周围环境识别、障碍物识别、定位、障碍物运行速度和距离识别、GPS定位、路线规划、人性化的语音人机交互等功能。
其中，(1)语音输入模块——接收盲人的语音命令，输入至所述的深度学习单元的自然语言处理模块进行识别处理，解析出目的地等信息后，调用path planning路径规划模块进行规划。此外，本装置还包括语音提示模块，与障碍物检测定位模块连接，用于接收所述预处理模块所识别出目标物体种类、距离和运动速度信息时，采用语音的方式给出盲人停止或者行走方向的建议。该模块采用深度学习算法处理。
(2)相机——针对双目相机模块，设置为对应于左、右眼的可穿戴式的摄像头，两者平行，且轴距在5‐10cm。摄像头在用户使用系统时，实时采集前方图像，然后将数据传送到深度学习运算模块的预处理模块，预处理模块提取图片的特征后输入到障碍物检测定位模块；
(3)导航装置——具有地图信息的GPS+无线传输模块，与障碍物检测定位模块相连，传送GPS定位信息，与双目视觉相机的定位信息相互融合修正。
(4)IMU惯性模块——用IMU传感器测量物体三轴姿态角(或角速率)以及加速度，与障碍物检测定位模块相连，传送角速度和角度信息。
(5)深度学习单元——包括自然语言处理模块、障碍物定位模块和路径规划模块。这些模块的算法采用深度学习的神经网络计算。自然语言处理模块采用LSTM/RNN结构对语音输入识别；obstacle detection and localization障碍物定位模块使用深度学习领域的YOLO/SSD等目标检测算法对双目相机输入的图像中的障碍物进行识别定位；路径规划模块使用深度学习的监督学习/强化学习算法实现。
(51)obstacle detection and localization障碍物定位模块——该模块接受双目相机传入的图片信息、GPS传入的定位信息以及IMU的角度角速度信息。对于图片信息，由其中的perception模块输入双目相机得到的图像，调用YOLO、SSD检测算法判断出障碍物的位置，结合GPS定位修正。同时localization模块从两个不同视点获取同一景物的多幅图像，获得多组立体图像对，通过测量景物在每一组所述立体图像对中的视差，再利用双目视觉成像原理，计算出目标物体到所述第一摄像头模块和第二摄像头模块的距离，以及所述目标物体相对于所述第一摄像头模块和第二摄像头模块的运动速度。将位置、距离、速度等信息传入path planning模块。
(6)path planning路径规划模块——path planning路径规划模块包括全局路径规划和局部路径更新。用户语音输入目的地，规划模块调用有监督反馈的学习算法，根据obstacle detection and localization障碍物模块得到的位置信息进行全局线路规划及线路距离的确定。当用户发出更改命令，局部路径更新模块根据当前位置等信息重新规划路径并进行相关更新。
(7)超声波和红外模块——超声波和红外模块，通过多次发射超声波，将结果传递给嵌入式单元。
(8)嵌入式模块——接受超声波和红外探测的结果，由底层避障系统计算发射和接收超声波的时差，计算出运动物体的移动速度。根据计算的距离和深度调整电机驱动电路中的压力装置，在超声波位置对盲人施加对应障碍物距离的力，使得盲人可以感知到周围环境中障碍物的距离和方位。
以上所述仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明创造的保护范围之内。

Claims (7)

1.一种基于深度学习算法的自动化导盲装置，其特征在于：包括：相机、导航装置、语音输入模块、超声波模块、红外模快、IMU惯性测量模块、深度学习单元和嵌入式单元；所述的相机、导航装置、语音输入模块及IMU惯性测量模块的输出端均与深度学习单元的输入端连接，所述的超声波模块及红外模块的输出端均与嵌入式单元的输入端连接，深度学习单元的输出端与嵌入式单元的输入端连接。
2.根据权利要求1所述的一种基于深度学习算法的自动化导盲装置，其特征在于：所述的深度学习单元包括自然语言处理模块、障碍物检测定位模块和路径规划模块，自然语言处理模块及障碍物检测定位模块的输出端均与路径规划模块的输入端连接。
3.根据权利要求2所述的一种基于深度学习算法的自动化导盲装置，其特征在于：所述的语音输入模块的输出端与自然语言处理模块的输入端连接，相机、导航装置及IMU惯性测量模块的输出端均与障碍物检测定位模块的输入端连接。
4.根据权利要求2所述的一种基于深度学习算法的自动化导盲装置，其特征在于：所述的相机与障碍物检测定位模块之间设有预处理模块；相机通过预处理模块与障碍物检测定位模块连接。
5.根据权利要求1所述的一种基于深度学习算法的自动化导盲装置，其特征在于：所述的嵌入式单元包括底层避障系统和电机驱动电路，所述的底层避障系统的输出端与电机驱动电路的输入端连接。
6.根据权利要求2所述的一种基于深度学习算法的自动化导盲装置，其特征在于：所述的路径规划模块的输出端与电机驱动电路的输入端连接。
7.根据权利要求5所述的一种基于深度学习算法的自动化导盲装置，其特征在于：所述的超声波模块和红外模块的输出端均与底层避障系统的输入端连接。
CN201810689716.5A 2018-06-28 2018-06-28 一种基于深度学习算法的自动化导盲装置 Pending CN109106563A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810689716.5A CN109106563A (zh) 2018-06-28 2018-06-28 一种基于深度学习算法的自动化导盲装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810689716.5A CN109106563A (zh) 2018-06-28 2018-06-28 一种基于深度学习算法的自动化导盲装置

Publications (1)

Publication Number Publication Date
CN109106563A true CN109106563A (zh) 2019-01-01

Family

ID=64822326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810689716.5A Pending CN109106563A (zh) 2018-06-28 2018-06-28 一种基于深度学习算法的自动化导盲装置

Country Status (1)

Country Link
CN (1) CN109106563A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555987A (zh) * 2019-08-01 2019-12-10 宝能汽车有限公司 智慧穿戴设备
CN111388290A (zh) * 2020-03-26 2020-07-10 江南大学 一种基于深度学习和嵌入式开发的盲人助行器
CN111413970A (zh) * 2020-03-18 2020-07-14 天津大学 超宽带与视觉融合的室内机器人定位与自主导航方法
CN111840016A (zh) * 2020-07-23 2020-10-30 宁波工程学院 一种灵活可配置的盲人智能导航装置
CN113116386A (zh) * 2019-12-31 2021-07-16 无锡祥生医疗科技股份有限公司 超声成像引导方法、超声设备及存储介质
CN113208882A (zh) * 2021-03-16 2021-08-06 宁波职业技术学院 一种基于深度学习的盲人智能避障方法及系统
CN113520810A (zh) * 2020-04-14 2021-10-22 中国移动通信集团浙江有限公司 辅助视障人士的行进动作规划方法、装置及计算设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102895092A (zh) * 2011-12-13 2013-01-30 冷春涛 一种基于多传感器融合的助行机器人三维环境识别系统
CN102973395A (zh) * 2012-11-30 2013-03-20 中国舰船研究设计中心 一种多功能智能导盲方法、处理器及其装置
CN203234988U (zh) * 2013-04-07 2013-10-16 湖北师范学院 盲人导航眼镜
CN105342815A (zh) * 2015-11-16 2016-02-24 南宁学院 一种基于超声波的导盲系统
CN205494329U (zh) * 2016-03-23 2016-08-24 张耐华 智能自救导盲拐杖
CN106375448A (zh) * 2016-09-05 2017-02-01 腾讯科技（深圳）有限公司 图像处理方法和装置及系统
CN106389078A (zh) * 2016-11-24 2017-02-15 贵州大学 一种智能导盲眼镜系统及其导盲方法
CN205994698U (zh) * 2016-06-28 2017-03-08 诚迈科技（南京）股份有限公司 一种智能头盔及智能导航系统
CN106840148A (zh) * 2017-01-24 2017-06-13 东南大学 室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102895092A (zh) * 2011-12-13 2013-01-30 冷春涛 一种基于多传感器融合的助行机器人三维环境识别系统
CN102973395A (zh) * 2012-11-30 2013-03-20 中国舰船研究设计中心 一种多功能智能导盲方法、处理器及其装置
CN203234988U (zh) * 2013-04-07 2013-10-16 湖北师范学院 盲人导航眼镜
CN105342815A (zh) * 2015-11-16 2016-02-24 南宁学院 一种基于超声波的导盲系统
CN205494329U (zh) * 2016-03-23 2016-08-24 张耐华 智能自救导盲拐杖
CN205994698U (zh) * 2016-06-28 2017-03-08 诚迈科技（南京）股份有限公司 一种智能头盔及智能导航系统
CN106375448A (zh) * 2016-09-05 2017-02-01 腾讯科技（深圳）有限公司 图像处理方法和装置及系统
CN106389078A (zh) * 2016-11-24 2017-02-15 贵州大学 一种智能导盲眼镜系统及其导盲方法
CN106840148A (zh) * 2017-01-24 2017-06-13 东南大学 室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555987A (zh) * 2019-08-01 2019-12-10 宝能汽车有限公司 智慧穿戴设备
CN113116386A (zh) * 2019-12-31 2021-07-16 无锡祥生医疗科技股份有限公司 超声成像引导方法、超声设备及存储介质
CN111413970A (zh) * 2020-03-18 2020-07-14 天津大学 超宽带与视觉融合的室内机器人定位与自主导航方法
CN111388290A (zh) * 2020-03-26 2020-07-10 江南大学 一种基于深度学习和嵌入式开发的盲人助行器
CN113520810A (zh) * 2020-04-14 2021-10-22 中国移动通信集团浙江有限公司 辅助视障人士的行进动作规划方法、装置及计算设备
CN111840016A (zh) * 2020-07-23 2020-10-30 宁波工程学院 一种灵活可配置的盲人智能导航装置
CN113208882A (zh) * 2021-03-16 2021-08-06 宁波职业技术学院 一种基于深度学习的盲人智能避障方法及系统

Similar Documents

Publication Publication Date Title
CN109106563A (zh) 一种基于深度学习算法的自动化导盲装置
CN106859929B (zh) 一种基于双目视觉的多功能导盲仪
CN108303972B (zh) 移动机器人的交互方法及装置
US7598976B2 (en) Method and apparatus for a multisensor imaging and scene interpretation system to aid the visually impaired
CN106289290A (zh) 一种路径导航系统及方法
KR101762494B1 (ko) 드론, 경로안내 드론 세트 및 드론을 이용한 경로안내 방법
JP6069606B2 (ja) ロボット制御システムおよびロボット制御方法
KR101575776B1 (ko) 시각장애인용 사물인식 지팡이
KR102351584B1 (ko) 시각장애인을 위한 길안내 서비스 시스템
CN107049718B (zh) 避障装置
Sharma et al. International journal of engineering sciences & research technology a review on obstacle detection and vision
US11790783B2 (en) Pedestrian device, vehicle-mounted device, mobile body guidance system, and mobile body guidance method
CN107990902A (zh) 基于云端的导航方法、导航系统、电子设备和程序产品
KR20220057577A (ko) 도로 상황 프롬프트 방법, 장치, 전자 기기, 저장 매체 및 프로그램 제품
KR20190111262A (ko) 시각 장애인을 위한 장애물 거리 측정 단말기
CN107402578A (zh) 无人机全景障碍感知方法、装置、设备及存储介质
Hakim et al. Navigation system for visually impaired people based on RGB-D camera and ultrasonic sensor
KR102081193B1 (ko) 시각장애인 보행 보조기구 및 이를 구비한 보행시스템
Oliveira The path force feedback belt
CN117323185A (zh) 基于计算机视觉的盲人室内导航系统、方法及训练方法
CN116075695A (zh) 移动辅助设备和提供移动辅助的方法
Al-Shehabi et al. An obstacle detection and guidance system for mobility of visually impaired in unfamiliar indoor environments
Bhatlawande et al. AI based handheld electronic travel aid for visually impaired people
WO2019123622A1 (ja) 誘導装置
Pawar et al. Smartphone based tactile feedback system providing navigation and obstacle avoidance to the blind and visually impaired

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190101