CN111388290A - 一种基于深度学习和嵌入式开发的盲人助行器 - Google Patents
一种基于深度学习和嵌入式开发的盲人助行器 Download PDFInfo
- Publication number
- CN111388290A CN111388290A CN202010222031.7A CN202010222031A CN111388290A CN 111388290 A CN111388290 A CN 111388290A CN 202010222031 A CN202010222031 A CN 202010222031A CN 111388290 A CN111388290 A CN 111388290A
- Authority
- CN
- China
- Prior art keywords
- module
- information
- blind
- information acquisition
- data analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011161 development Methods 0.000 title claims abstract description 30
- 238000013135 deep learning Methods 0.000 title claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 59
- 238000007405 data analysis Methods 0.000 claims abstract description 41
- 230000003993 interaction Effects 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 49
- 240000007651 Rubus glaucus Species 0.000 claims description 25
- 235000011034 Rubus glaucus Nutrition 0.000 claims description 25
- 235000009122 Rubus idaeus Nutrition 0.000 claims description 25
- 230000004888 barrier function Effects 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 19
- 241000283070 Equus zebra Species 0.000 claims description 11
- 241000271566 Aves Species 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000013473 artificial intelligence Methods 0.000 claims description 3
- 241000272878 Apodiformes Species 0.000 claims description 2
- 230000003068 static effect Effects 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000000034 method Methods 0.000 description 16
- 239000011521 glass Substances 0.000 description 14
- 230000008569 process Effects 0.000 description 11
- 238000012549 training Methods 0.000 description 9
- 235000015108 pies Nutrition 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000026676 system process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241001137251 Corvidae Species 0.000 description 1
- 241000256856 Vespidae Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Epidemiology (AREA)
- Pain & Pain Management (AREA)
- Physical Education & Sports Medicine (AREA)
- Rehabilitation Therapy (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种基于深度学习和嵌入式开发的盲人助行器，具有能够为盲人提供静止障碍物、运动障碍物相应信息的优势，技术方案要点包括信息采集模块，用于采集障碍物信息、交通信号及路面标记信息；GPS导航模块，用于识别使用自身位置；数据分析处理模块，与信息采集模块、GPS导航模块相连，用于处理采集所得的信息；人机交互功能模块，与数据分析处理模块相连，用于将数据分析处理模块处理所得的信息传输给使用者。
Description
技术领域
本发明涉及一种基于深度学习和嵌入式开发的盲人助行器，属于盲人行走辅助工具技术领域。
背景技术
目前，国内外也有一些关于眼镜类可穿戴电子产品的设计方面的研究。Google公司在2012年4月发布的Google Glass，外观时尚、重量轻，且能够像眼镜一样佩戴在人眼上方，用户可以使用谷歌眼镜进行通话、搜索、导航、拍照等操作。Google Glass不设计可视化操作屏幕，将可穿戴设备的人机交互中的无视觉交互技术发挥到极致。
我国在盲人导航系统的研究方面起步较晚，导盲眼镜产品的设计方面相较于欧美国家还有一定的距离。盲人在路上行走会遇到的各种障碍物，其中包括静止的障碍物和运动的障碍物，如行人、非机动车等；为保护盲人的安全，盲人导航器需要对障碍物进行探测和分析，并向盲人使用者提示相应距离等信息。
为了解决上述问题，目前，国内应用较为普遍的一款导盲眼镜，设计原理是将超声波装置集成在眼镜架和眼镜片上，利用超声波探测障碍物信息来帮助盲人避障。但是这种导盲眼镜在使用过程中，仅仅能够探测到是否有障碍物、障碍物与盲人之间的距离，功能较为单一，难以提供交通信号灯的变化、斑马线等平面上的信息。
发明内容
本发明提供一种基于深度学习和嵌入式开发的盲人助行器，具有能够为盲人提供静止障碍物、运动障碍物相应信息的优势，技术方案要点包括信息采集模块，用于采集障碍物信息、交通信号及路面标记信息；GPS导航模块，用于识别使用自身位置；数据分析处理模块，与信息采集模块、GPS导航模块相连，用于处理采集所得的信息；人机交互功能模块，与数据分析处理模块相连，用于将数据分析处理模块处理所得的信息传输给使用者。
本发明的一种实施方式中，包括信息采集模块，用于采集障碍物信息、交通信号及路面标记信息；GPS导航模块，用于识别使用自身位置；数据分析处理模块，与信息采集模块、GPS导航模块相连，用于处理采集所得的信息；人机交互功能模块，与数据分析处理模块相连，用于将数据分析处理模块处理所得的信息传输给使用者，所述信息采集模块包括：障碍物信息采集模块，设置为HC-SR04超声波测距模块；人行道红绿灯、斑马线的信息采集模块，设置为角蜂鸟嵌入式人工智能套件；障碍物信息采集模块、人行道红绿灯、斑马线的信息采集模块采集所得信息均传输至数据分析处理模块。
本发明的一种实施方式中，包括信息采集模块，用于采集障碍物信息、交通信号及路面标记信息；GPS导航模块，用于识别使用自身位置；数据分析处理模块，与信息采集模块、GPS导航模块相连，用于处理采集所得的信息；人机交互功能模块，与数据分析处理模块相连，用于将数据分析处理模块处理所得的信息传输给使用者，所述数据分析处理模块包括障碍物识别功能模块，包括超声波测距模块、树莓派开发板，超声波测距模块的引脚连接至树莓派开发板上；人行道与红绿灯识别功能模块，以基于角蜂鸟的Mobilenet+Single-shotdetector物体检测模型为辅助；人脸识别功能模块，用于识别人脸数据。
本发明的一种实施方式中，包括信息采集模块，用于采集障碍物信息、交通信号及路面标记信息；GPS导航模块，用于识别使用自身位置；数据分析处理模块，与信息采集模块、GPS导航模块相连，用于处理采集所得的信息；人机交互功能模块，与数据分析处理模块相连，用于将数据分析处理模块处理所得的信息传输给使用者，所述数据分析处理模块包括障碍物识别功能模块，包括超声波测距模块、树莓派开发板，超声波测距模块的引脚连接至树莓派开发板上；人行道与红绿灯识别功能模块，以基于角蜂鸟的Mobilenet+Single-shotdetector物体检测模型为辅助；人脸识别功能模块，用于识别人脸数据，所述人行道与红绿灯识别功能模块使用ImageNet和MS COCO两个网站的物体数据集，通过YOLO3来搭建轻量级的检测网络。
本发明的一种实施方式中，包括信息采集模块，用于采集障碍物信息、交通信号及路面标记信息；GPS导航模块，用于识别使用自身位置；数据分析处理模块，与信息采集模块、GPS导航模块相连，用于处理采集所得的信息；人机交互功能模块，与数据分析处理模块相连，用于将数据分析处理模块处理所得的信息传输给使用者，所述数据分析处理模块包括障碍物识别功能模块，包括超声波测距模块、树莓派开发板，超声波测距模块的引脚连接至树莓派开发板上；人行道与红绿灯识别功能模块，以基于角蜂鸟的Mobilenet+Single-shotdetector物体检测模型为辅助；人脸识别功能模块，用于识别人脸数据，所述人脸识别功能模块包括用于辅助实时的监测人脸个数及备注信息的角蜂鸟和Python调用内置部署的SSD-Mobilenet人脸检测卷积神经网络，或包括基于TensorFlow的人脸识别技术。
本发明的一种实施方式中，包括信息采集模块，用于采集障碍物信息、交通信号及路面标记信息；GPS导航模块，用于识别使用自身位置；数据分析处理模块，与信息采集模块、GPS导航模块相连，用于处理采集所得的信息；人机交互功能模块，与数据分析处理模块相连，用于将数据分析处理模块处理所得的信息传输给使用者，所述人机交互功能模块包括：语音提示模块，包括Ekho TTS语音合成器；按键启动模块，包括电源键和音量调节键。
本发明的一种实施方式中，包括信息采集模块，用于采集障碍物信息、交通信号及路面标记信息；GPS导航模块，用于识别使用自身位置；数据分析处理模块，与信息采集模块、GPS导航模块相连，用于处理采集所得的信息；人机交互功能模块，与数据分析处理模块相连，用于将数据分析处理模块处理所得的信息传输给使用者，所述GPS导航功能模块设置为NEO-6M的GPS导航模块，带有micro usb接口，由Arduino初始配置调节，误差范围2.3-2.7m。
本发明的一种实施方式中，包括信息采集模块，用于采集障碍物信息、交通信号及路面标记信息；GPS导航模块，用于识别使用自身位置；数据分析处理模块，与信息采集模块、GPS导航模块相连，用于处理采集所得的信息；人机交互功能模块，与数据分析处理模块相连，用于将数据分析处理模块处理所得的信息传输给使用者，所述GPS导航功能模块设置为NEO-6M的GPS导航模块，带有micro usb接口，由Arduino(开源电子原型平台)初始配置调节，误差范围2.3-2.7m，所述GPS模块与树莓派开发板之间连接有导线。
本发明的的工作过程包括如下步骤：S1：向系统中预存需要识别的人像照片；S2：树莓派开机，各模块开始工作，摄像头通过人脸识别模块、人行道与红绿灯识别功能模块拍摄视频信息，超声波传感器检测障碍物距离，GPS导航模块测得位置数据；S3：视频信息、物体距离和位置数据传输至用户系统处；S4：用户系统将视频信息、物体距离和位置数据处理后，通过语音提示系统，转化为语音输出给用户。
本发明的一种实施方式中，包括如下步骤：S1：向系统中预存需要识别的人像照片；S2：树莓派开机，各模块开始工作，摄像头通过人脸识别模块、人行道与红绿灯识别功能模块拍摄视频信息，超声波传感器检测障碍物距离，GPS导航模块测得位置数据；S3：视频信息、物体距离和位置数据传输至用户系统处；S4：用户系统将视频信息、物体距离和位置数据处理后，通过语音提示系统，转化为语音输出给用户，S4中处理数据包括筛选路况、将拍摄所得人像照片与预存人像照片进行对比。
本发明具有如下有益效果：
1.本发明通过通过软硬件结合、Raspbian系统和语言系统开发，能够同时检测到路况信息中的障碍物、交通信号、路面信息如斑马线、熟人等信息，使盲人能够获取动态和静态信息，便于出行。同时，产品具有良好的交互性和体验性，用户和语音提示系统之间的语音信息可以双向传播识别。
2.通过Tensorflow(开源软件库)深度学习模型、Python-OpenCV(图像处理库)、YOLO3的应用，使用者可以突破单一的信息获取，实现实时获得更多外界路况等信息，行路更加容易。
3.通过GPS导航功能模块，项目产品突破以往呆板的单一障碍物提示，提供自身地点定位、目标地导航等服务。
4.产品具有优良的便携性、续航性和不错的处理速度；
5.本发明中测距信息与图像数据识别信息是可以结合的，可以让用户获取特定物体对象的距离信息，而不是单独提示未知物体距离用户的范围或者单独提示有何种物体，例如“你前方正向5米处有人行横道”；二是可以提示用户障碍物或者特定物体对象的具体偏转方位，例如“您身体前方偏左50度6米处有红绿灯”；三是在小于1.3米这个的范围内，我们将着重向用户警示物体的信息，尽量保证用户安全；四是在定位导航模块，用户可以通过家人帮忙设置导航地点栏，盲人用户通过切换按键进行导航地点切换，同时通过一键定位按钮获取本人所在位置。
附图说明
图1为本发明的整体信息传递示意图；
图2为超声波测距功能中数据传输流程图；
图3为角蜂鸟摄像头的数据传输示意图；
图4为图像检测训练过程的流程图；
图5为人脸识别模型训练流程图；
图6为语音提示流程图；
图7为电源键操作流程图。
具体实施方式
由于盲人导航助行器主要设计思路是基于盲人不能通过眼睛获取周围信息这一问题，从而设计通过一些物理设备，通常是一些传感器，来采集周围环境中的实时数据信息，经过对这些信息的分析处理将结果传递给盲人。采集数据信息的方式和选用的物理设备从源头上决定了整个盲人导航眼镜系统的安全性和可靠性。
实施例1
一种基于深度学习和嵌入式开发的盲人助行器，包括信息采集模块、数据分析处理模块、人机交互功能模块、GPS导航功能模块。
其中，信息采集模块包括障碍物信息采集模块、人行道红绿灯、斑马线的信息采集模块；障碍物信息采集模块所采用的元件包括超声波测距模块、树莓派开发板，超声波测距模块包括四个引脚，分别为：VCC电源引脚，GND接地引脚，触发控制信号的输入端TRIG和回响信号输出端ECHO。该超声波测距模块的工作电压为+5V，且性能稳定，测量距离精准，可以提供2cm-400cm的非接触式距离感测功能，超声模测距模块的各个引脚与树莓派开发板的相应位置相连接，从而借超声波模块实现障碍物距离探测。工作时，处理器向超声波传感TRIG端口提供一个脉冲触发信号，模块内部开始自动发送超声波脉冲，并检测有无返回信号。一旦检测到返回信号，便通过ECHO端口输出回响信号。根据发射信号与收到回响信号的时间间隔便可计算出障碍物的距离。工作时，处理器向超声波传感TRIG端口提供一个脉冲触发信号，模块内部开始自动发送超声波脉冲，并检测有无返回信号。一旦检测到返回信号，便通过ECHO端口输出回响信号。根据发射信号与收到回响信号的时间间隔便可计算出障碍物的距离。超声波测距功能中数据传输方式如图2所示。另外，对于动态物体，超声波测距模块还可以实时报告使用者与障碍物之间的距离以及位置，敦促使用者尽快避让以及告知避让方向。
人行道红绿灯、斑马线的信息采集模块用于实时地对红绿灯的状态和斑马线的位置信息进行监测并提示盲人。本实施例中，采用角蜂鸟嵌入式人工智能套件来进行人行道红绿灯、斑马线等图像采集。角蜂鸟集成了Intel Movidius MA245X卷积神经经网络(CNN)加速芯片，体积小、功耗低、算力高。由于角蜂鸟本身就具有图像采集与识别功能，其数据传输如图3所示，我们只要将它收集到的图像信息接入到树莓派进行处理即可，非常方便。
数据分析处理模块包括障碍物识别功能模块、人行道与红绿灯识别功能模块、人脸识别功能模块；障碍物识别功能模块的具体结构为：将超声波测距模块的各个引脚与树莓派开发板的相应位置相连接，从而借超声波模块实现障碍物距离探测。因此，障碍物识别功能模块具有安全避障功能，能够为导盲眼镜系统设定合理的安全距离，本实施例中，设定在1.3～1.9米这个范围。这个范围不仅考虑到用户实际的反映距离，也考虑到我们产品在使用过程中的响应时间和距离检测中的误差。当探测到障碍物与盲人之间的距离小于安全距离时便开始触发语音提示功能，并通过持续监测实时地提醒盲人前方障碍物的距离。此外，由于盲人外出在路上行走，无法预知其会在什么时候遇到障碍物，因此为保障安全，本方案中设置循环实现对障碍物信息的实时监测。
人行道与红绿灯识别功能模块以基于角蜂鸟的Mobilenet+Single-shotdetector物体检测模型为辅助。同时，使用ImageNet和MS COCO两个网站的物体数据集，通过YOLO3来搭建轻量级的检测网络。整个过程主要是人脸数据集的训练、测试，测试是指我们主要通过使用数据集来测试识别模型的识别率，目的是判别模型的识别率的高低和鲁棒性，即适应复杂场景的能力的大小，如果达不到实际的需求，则需要重新训练。
障碍物信息采集和人行道红绿灯、斑马线信息采集模块都是通过超声波获取障碍物距离信息，然后障碍物识别功能模块会判别丢弃无用的距离信息，本实施例中，主要丢弃的是超过三米距离以外的信息，本实施例中，通过传感器获取到距离信息后，直接通过代码判断丢弃，目的是方式提供无用或者过多距离信息给用户，重点保留0.3-2.5米范围内的障碍物距离信息以提供给用户。障碍物识别功能模块和人行道与红绿灯识别模块通过摄像头获取视频信息后，所起的就是判别的作用。例如：以人行道与红绿灯识别模块为例，概括来说就是提取特征，主要是能够筛选得到识别对象的识别率，也就是判断的准确率，以及在图像中的位置，例如，在某一带有多个特征的图片中，框出其中一个特征作为识别对象。以红绿灯举例，当摄像头采集视频信息时，识别模块会对视频中的图像内容进行识别，判断是否有匹配的视觉标签，即要被识别的对象物体，例如红绿灯，人行道等的存在。在判断过程中会输出结果矩阵，用于计算得到红绿灯的识别率。如果有一定概率判别出是红绿灯，则可以得到红绿灯在图片中的矩阵坐标信息，用于框出图像，但是在实例中并不需要显示。
障碍物识别功能模块将识别的结果，主要是对象标签信息和识别正确概率大小，传递给“安全避障模块”进行处理，如果识别的正确概率达到95％以上，将再通过调用语音提示模块向用户发送语音提示。具体流程如图4所示，先收集图片集，将收集到的图片用IabelImg进行标注，将标注所得的数据集分成训练数据集、测试数据集，将此两个数据集生成TFrecords文件，用配置文件config进行配置训练，导出训练所得的gragh，并对gragh进行测试。
人脸识别功能模块主要经过人脸检测、特征提取、模块训练三个过程，通过以下两种方法的综合判断来显著提升识别准确度：
方法一：使用角蜂鸟和Python调用内置部署的SSD-Mobilenet人脸检测卷积神经网络，实现辅助实时的监测人脸个数以及备注信息；
方法2：基于TensorFlow的人脸识别技术，即facenet，该方法需要预先下载facenet并配置。
其LFW训练人脸识别模型如图5所示，首先获取数据集，下载facenet并进行配置，处理获取的数据集，也就是对齐数据集，下载训练好的模型文件，在ifw上面验证，评估预训练模型准确率。
至此，信息采集模块的信息采集和处理过程结束，所得的结果传输至人机交互功能模块，用于向使用者提供信息。人机交互功能模块包括语音提示模块、按键启动模块。其中，语音提示模块主要对信息采集与数据分析处理的结果进行反馈，从而达到盲人避障与导航的功能。考虑到本系统需要的输出提示的信息并不复杂，价值文本转换语音的效率以及运行环境的开发，本实施例中选择Ekho TTS作为本产品的语音合成器。将提示信息文本通过Ekho合成的语音然后由树莓派的3.5mm立体声音频接口连接耳机输出便可以为盲人提供语音提示。需注意的是，本方案中所提及的交互仅包括按键控制等硬件来进行用户对眼镜的交互。其过程如图6所示，树莓派处理器模块发出触发信号，触发信号发送至Ekho TTS中文语音合成模块后，生成语音信息，从语音接口输出，形成盲人可以听到的语言音频信息。
按键启动模块包括电源键和音量调节键两个基础按钮，以帮助盲人与导盲眼镜系统进行交互。其中，电源键用来控制整个系统的电源开关与开关机。由于盲人在路上行走，即将发生的状况无法预料，时刻要对周边的障碍物进行探测，因此，在电源键按下的同时，超声波探测及避障模块便开始工作。其触发与工作方式如图7所示：按下电源键后，树莓派开机运行，各模块开始工作，通过障碍物识别功能模块检测到障碍物后，再通过语音提示模块发出语音。不使用时，长按电源，将树莓派关机。
音量调节键设置于耳机上，用于调节音量的大小。
GPS导航模块是集成了RF射频芯片、基带芯片和核心CPU，并加上相关外围电路而组成的一个集成电路。本实施例中采用NEO-6M的GPS导航模块，其带有micro usb接口，可以通过Arduino进行初始配置调节，其误差在2.3-2.7m，本实施例中的误差范围控制在2.5m。GPS模块与树莓派之间采用导线连接，通过树莓派的Raspbian系统的开发与minicom，获取串口数据并进行功能测试，从而使树莓派获得相应地理定位信息，方便使用者获取自身位置。
本方案中，应用了树莓派、HC-SR04超声波传感器模块、NEO-6M的GPS模块作为结构基础，在实时图像中实现Tensorflow、Python-OpenCV对人脸和YOLO3对物体的识别与标注。
实施例2：
使用时的工作过程如下：
使用者开机后，树莓派开机，各模块开始工作，如图1所示，摄像头通过人脸识别模块、人行道与红绿灯识别功能模块拍摄视频信息，传输给用户系统，超声波传感器检测到障碍物距离后传输给用户系统，GPS导航模块测得位置数据后传输给用户系统，用户系统将视频信息、物体距离和位置数据处理后，通过语音提示系统，转化为语音输出给用户。
如果需要识别来人是否是熟人，需要先向系统中预存需要识别的人像照片；由数据分析处理模块将拍摄所得人像照片与预存人像照片进行对比，如果相似度高，即为熟人，系统将对应熟人的信息例如姓名语音告知使用者。
虽然本发明已以较佳实施例公开如上，但其并非用以限定本发明，任何熟悉此技术的人，在不脱离本发明的精神和范围内，都可做各种的改动与修饰，因此本发明的保护范围应该以权利要求书所界定的为准。
Claims (8)
1.一种基于深度学习和嵌入式开发的盲人助行器，其特征在于，包括：
信息采集模块，用于采集障碍物信息、交通信号及路面标记信息；
GPS导航模块，用于识别使用自身位置；
数据分析处理模块，与信息采集模块、GPS导航模块相连，用于处理采集所得的信息；
人机交互功能模块，与数据分析处理模块相连，用于将数据分析处理模块处理所得的信息传输给使用者。
2.根据权利要求1所述的基于深度学习和嵌入式开发的盲人助行器，其特征在于，所述信息采集模块包括：
障碍物信息采集模块，设置为HC-SR04超声波测距模块；
人行道红绿灯、斑马线的信息采集模块，设置为角蜂鸟嵌入式人工智能套件；障碍物信息采集模块、人行道红绿灯、斑马线的信息采集模块采集所得信息均传输至数据分析处理模块。
3.根据权利要求1所述的基于深度学习和嵌入式开发的盲人助行器，其特征在于，所述数据分析处理模块包括：
障碍物识别功能模块，包括超声波测距模块、树莓派开发板，超声波测距模块的引脚连接至树莓派开发板上；
人行道与红绿灯识别功能模块，以基于角蜂鸟的Mobilenet+Single-shot detector物体检测模型为辅助；
人脸识别功能模块，用于识别人脸数据。
4.根据权利要求3所述的基于深度学习和嵌入式开发的盲人助行器，其特征在于，所述人行道与红绿灯识别功能模块使用ImageNet和MS COCO两个网站的物体数据集，通过YOLO3来搭建轻量级的检测网络。
5.根据权利要求3所述的基于深度学习和嵌入式开发的盲人助行器，其特征在于，所述人脸识别功能模块包括用于辅助实时的监测人脸个数及备注信息的角蜂鸟和Python调用内置部署的SSD-Mobilenet人脸检测卷积神经网络，或包括基于TensorFlow的人脸识别技术。
6.根据权利要求1所述的基于深度学习和嵌入式开发的盲人助行器，其特征在于，所述人机交互功能模块包括：
语音提示模块，包括Ekho TTS语音合成器；
按键启动模块，包括电源键和音量调节键。
7.根据权利要求1所述的基于深度学习和嵌入式开发的盲人助行器，其特征在于，所述GPS导航功能模块设置为NEO-6M的GPS导航模块，带有micro usb接口，由Arduino初始配置调节，误差范围2.3-2.7m。
8.根据权利要求7所述的基于深度学习和嵌入式开发的盲人助行器，其特征在于，所述GPS模块与树莓派开发板之间连接有导线。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010222031.7A CN111388290A (zh) | 2020-03-26 | 2020-03-26 | 一种基于深度学习和嵌入式开发的盲人助行器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010222031.7A CN111388290A (zh) | 2020-03-26 | 2020-03-26 | 一种基于深度学习和嵌入式开发的盲人助行器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111388290A true CN111388290A (zh) | 2020-07-10 |
Family
ID=71411059
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010222031.7A Pending CN111388290A (zh) | 2020-03-26 | 2020-03-26 | 一种基于深度学习和嵌入式开发的盲人助行器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111388290A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112820278A (zh) * | 2021-01-23 | 2021-05-18 | 广东美她实业投资有限公司 | 基于智能耳机的家用门铃声自动监测方法、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN206102931U (zh) * | 2016-07-22 | 2017-04-19 | 西北师范大学 | 一种盲人智能语音辅助眼镜 |
| CN107961144A (zh) * | 2017-07-28 | 2018-04-27 | 王勇强 | 一种电子导盲系统及方法 |
| CN108836769A (zh) * | 2018-05-16 | 2018-11-20 | 电子科技大学 | 一种智能盲人出行辅助装置及方法 |
| CN109106563A (zh) * | 2018-06-28 | 2019-01-01 | 清华大学天津高端装备研究院 | 一种基于深度学习算法的自动化导盲装置 |
| CN110538051A (zh) * | 2019-08-27 | 2019-12-06 | 华南理工大学 | 一种自动寻路的盲人智能辅助装置及其方法 |
| CN110584962A (zh) * | 2019-08-28 | 2019-12-20 | 西安工业大学 | 一种组合探障智能导盲系统 |
-
2020
- 2020-03-26 CN CN202010222031.7A patent/CN111388290A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN206102931U (zh) * | 2016-07-22 | 2017-04-19 | 西北师范大学 | 一种盲人智能语音辅助眼镜 |
| CN107961144A (zh) * | 2017-07-28 | 2018-04-27 | 王勇强 | 一种电子导盲系统及方法 |
| CN108836769A (zh) * | 2018-05-16 | 2018-11-20 | 电子科技大学 | 一种智能盲人出行辅助装置及方法 |
| CN109106563A (zh) * | 2018-06-28 | 2019-01-01 | 清华大学天津高端装备研究院 | 一种基于深度学习算法的自动化导盲装置 |
| CN110538051A (zh) * | 2019-08-27 | 2019-12-06 | 华南理工大学 | 一种自动寻路的盲人智能辅助装置及其方法 |
| CN110584962A (zh) * | 2019-08-28 | 2019-12-20 | 西安工业大学 | 一种组合探障智能导盲系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112820278A (zh) * | 2021-01-23 | 2021-05-18 | 广东美她实业投资有限公司 | 基于智能耳机的家用门铃声自动监测方法、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107289949B (zh) | 一种基于人脸识别技术的室内导识装置及方法 | |
| Zafar et al. | Assistive devices analysis for visually impaired persons: A review on taxonomy | |
| Eickeler et al. | Hidden markov model based continuous online gesture recognition | |
| CN105640748B (zh) | 一种振动导盲衣服 | |
| CN106214436A (zh) | 一种基于手机端的智能导盲系统及其导盲方法 | |
| CN106265004A (zh) | 多传感器智能盲人指路方法与装置 | |
| CN110522617A (zh) | 盲人智慧眼镜 | |
| Patel et al. | Multisensor-based object detection in indoor environment for visually impaired people | |
| Mahendran et al. | Computer vision-based assistance system for the visually impaired using mobile edge artificial intelligence | |
| Gupta et al. | Let the blind see: an AIIoT-based device for real-time object recognition with the voice conversion | |
| CN106774325A (zh) | 基于超声波、蓝牙和视觉的跟随机器人 | |
| CN110505549A (zh) | 耳机的控制方法和装置 | |
| Rahman et al. | “BlindShoe”: an electronic guidance system for the visually impaired people | |
| CN111388290A (zh) | 一种基于深度学习和嵌入式开发的盲人助行器 | |
| Xia et al. | IBGS: A wearable smart system to assist visually challenged | |
| Khanom et al. | A comparative study of walking assistance tools developed for the visually impaired people | |
| KR101147212B1 (ko) | 주변상황 인식을 이용한 개인안전 장치, 시스템 및 방법 | |
| Bala et al. | Design, development and performance analysis of cognitive assisting aid with multi sensor fused navigation for visually impaired people | |
| CN110101179A (zh) | 一种多信息远程监控的智能手杖及其使用方法 | |
| CN106389077A (zh) | 移动终端、导盲前端设备和导盲系统 | |
| Mahesh et al. | Cicerone-a real time object detection for visually impaired people | |
| CN111723671A (zh) | 一种智慧灯杆呼救系统及方法 | |
| Abdullah et al. | Mobility recognition system for the visually impaired | |
| Bastaki et al. | Design and implementation of a vision stick with outdoor/indoor guiding systems and smart detection and emergency features | |
| Saha et al. | Visual, navigation and communication aid for visually impaired person |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200710 |
|
| RJ01 | Rejection of invention patent application after publication |