CN112168634A - 一种多功能导盲杖 - Google Patents

一种多功能导盲杖 Download PDF

Info

Publication number
CN112168634A
CN112168634A CN202011178006.XA CN202011178006A CN112168634A CN 112168634 A CN112168634 A CN 112168634A CN 202011178006 A CN202011178006 A CN 202011178006A CN 112168634 A CN112168634 A CN 112168634A
Authority
CN
China
Prior art keywords
information
module
navigation
guiding stick
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011178006.XA
Other languages
English (en)
Inventor
蒋照宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 28 Research Institute
Original Assignee
CETC 28 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 28 Research Institute filed Critical CETC 28 Research Institute
Priority to CN202011178006.XA priority Critical patent/CN112168634A/zh
Publication of CN112168634A publication Critical patent/CN112168634A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/068—Sticks for blind persons
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Animal Behavior & Ethology (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Automation & Control Theory (AREA)
  • Neurology (AREA)
  • Navigation (AREA)

Abstract

本发明公开了一种多功能导盲杖，包括信息采集模块，用于采集输入信息并向计算加速模块和中心模块传输输入信息；计算加速模块，用于搭载经过迁移学习的神经网络模型，对信息采集模块采集的图像信息进行模型推理，并向中心模块返回目标检测结果；中心模块，用于接收输入信息和目标检测结果，并转化为文字信息、导航信息和图像识别信息后传输至语音输出模块；语音输出模块，用于将文字信息、导航信息和图像识别信息转化为语音进行输出。相较于现有技术，本发明实现了定位导航、测距避障、实时目标识别以及语音播报等功能，可显著提高盲人日常生活的便捷性，更好地保护盲人的出行安全。

Description

一种多功能导盲杖
技术领域
本发明涉及集成电路领域，尤其涉及一种多功能导盲杖。
背景技术
目前市面上的导盲杖以传统导盲杖为主，然而，传统导盲杖仅仅支持用户通过敲打的方式来规避障碍，导盲杖仅仅具有避障功能，功能单一。此外，少量的智能导盲杖还具备避障和警报功能，当用户使用智能导盲杖时，可以借助智能导盲杖获取障碍物的距离信息，若出现距离过近的障碍物，用户能够获取相关的警报信息。但是，用户无法在不经肢体接触的情况下判别前方障碍物的种类，因此，现有的智能导盲杖只能实现简单的避障和警报功能，但仍然不能完全满足盲人对于获取更多周围环境信息的需求。
发明内容
本发明提供了一种多功能导盲杖，以解决现有的导盲杖功能单一，只能通过敲打障碍物来规避障碍，无法让用户远距离地开始规避障碍的缺陷，这些缺陷导致用户在使用过程中安全性较低这一问题。同时，本发明提供的目标检测功能可以让导盲杖用户获取更多的周围环境信息，给用户提供了更为人性化的使用体验，同时可以让用户提前做好行动判断。
本发明提供的一种多功能导盲杖，包括：
信息采集模块，用于采集输入信息并向计算加速模块和中心模块传输所述输入信息，所述输入信息包括用户语音信息、图像信息、坐标信息和距离信息；
所述计算加速模块，用于搭载经过迁移学习的神经网络模型，对所述信息采集模块采集的图像信息进行模型推理，并向所述中心模块返回目标检测结果；
所述中心模块，用于接收所述输入信息和目标检测结果；将所述用户语音信息转化为文字信息；将所述用户语音信息和坐标信息输入至导航软件，获得导航信息；将所述计算加速模块返回的目标检测结果转化为图像识别信息；将所述文字信息、导航信息和图像识别信息传输至语音输出模块；
语音输出模块，用于接收所述中心模块传输的文字信息、导航信息和图像识别信息，并将所述文字信息、导航信息和图像识别信息转化为语音进行输出。
进一步地，在一种实现方式中，所述计算加速模块中存储有训练好的目标检测算法模型，在获取所述信息采集模块采集的图像信息后，通过所述目标检测算法模型对图像信息进行模型推理，获得目标检测结果；
所述目标检测算法模型选用SSD算法，所述SSD算法通过卷积神经网络对输入的图像信息进行目标识别，所述卷积神经网络采用MobileNet网络，通过所述MobileNet网络对目标检测过程中的卷积计算过程进行压缩；所述计算加速模块采用Intel的神经元计算棒。
进一步地，在一种实现方式中，所述中心模块包括第一转化单元、第二转化单元和第三转化单元；
所述第一转化单元用于在接收用户语音信息后，将所述用户语音信息转化为文字信息，并传输至语音输出模块；
所述第二转化单元用于在接收用户语音信息和坐标信息后，将所述用户语音信息和坐标信息传输至导航软件，所述导航软件内置于中心模块，所述导航软件根据用户语音信息和坐标信息确定导航路径，所述中心模块将导航路径转化为导航信息并传输至语音输出模块；
其中，所述第二转化单元还接收距离信息，根据所述距离信息判断是否触发距离警报，当所述距离信息小于预设距离阈值时则触发距离警报，将所述距离信息转化为警报信息输出至语音输出模块；
所述第三转化单元用于在接收目标检测结果后，将所述目标检测结果转化为图像识别信息，并传输至语音输出模块。
进一步地，在一种实现方式中，所述计算加速模块中卷积神经网络采用深度可分离卷积，包括：
深度卷积，根据第一卷积核大小Dk×Dk×1×M，获得第一计算量为：
Dk×Dk×M×DF×DF
逐点卷积，根据第二卷积核大小1×1×M×N，获得第二计算量为：
M×N×DF×DF
所述深度可分离卷积的计算量为第一计算量与第二计算量之和：
Dk×Dk×M×DF×DF+M×N×DF×DF。
进一步地，在一种实现方式中，所述卷积神经网络选用在ImageNet数据集上预训练好的模型，在制作的数据集上进行迁移学习。
进一步地，在一种实现方式中，所述信息采集模块包括语音采集单元，用于采集并识别所述用户语音信息，将所述用户语音信息传输至中心模块内置的导航软件中，通过所述导航软件获取导航的目的地址，再根据所述导航的目的地址和坐标信息确定导航路径；所述中心模块将导航路径转化为导航信息，传输至语音输出模块，所述语音输出模块将导航信息转化为语音信息并输出；所述语音采集单元选用科大讯飞XFMT101离线识别模块。
进一步地，在一种实现方式中，所述信息采集模块包括图像采集单元，用于采集所述图像信息，包括采集所述导盲杖正前方向上60°至正前方向下60°范围内，以及所述导盲杖正前方向左45°至正前方向右45°范围内的图像信息；所述图像采集单元包括摄像头，所述图像采集单元选用型号为罗技C270/I的摄像头。
进一步地，在一种实现方式中，所述信息采集模块包括GPS单元，用于采集所述坐标信息，所述坐标信息即导盲杖所在坐标信息；所述GPS单元选用ZBT公司的型号为SIM28ML的GPS定位器。
进一步地，在一种实现方式中，所述信息采集模块包括距离传感器，用于采集所述距离信息，所述距离传感器通过测量距离传感器发射出的脉冲信号被障碍物反射回来的时间，计算所述导盲杖与障碍物之间的距离；
当所述导盲杖与障碍物之间的距离小于预设距离阈值时，所述距离传感器向中心模块发送障碍物距离过近信息，所述中心模块接收到障碍物距离过近信息后，向语音输出模块发送警报信息，所述警报信息在中心模块中预先设定，所述语音输出模块接收到所述警报信息后，输出与所述警报信息相应的警报声。
进一步地，在一种实现方式中，所述中心模块通过USB接口分别与信息采集模块和计算加速模块连接；所述中心模块选用Raspberry Pi 3b+；所述语音输出模块为中心模块自带的博通声卡设备。
由以上技术方案可知，本发明实施例提供一种多功能导盲杖，包括：中心模块，用于接收数据，数据预处理，数据传输，信号转换以及运行导航软件；数据采集模块，用于通过语音采集单元、图像采集单元、GPS单元以及距离传感器采集输入信息，所述输入信息包括语音、图像、坐标以及距离；计算加速模块，用于搭载经过迁移学习的神经网络模型，对输入的图像做模型推理，返回计算结果。本发明实施例提供的一种多功能导盲杖不但利用深度神经网络实现了目标检测的功能，而且利用神经元计算棒极大提高了模型计算速度，使得目标检测的实时性得到保证。
本发明使用CNN来对神经网络进行训练，实现了图像识别的功能，并配备了神经元计算棒，保证图像识别的实时性。此外，现有技术中的导盲杖使用距离传感器实现测距预警的功能，而本发明在此功能上，还具备GPS定位导航，图像识别的功能。进一步地，现有技术中的导盲杖在云计算基础上进行定位、避障的应用设计，而本发明的图像识别功能是其不具备的。因此，本发明开发一种具备导航、避障、实时物体识别的导盲杖，给盲人的日常生活带来更多便利，增加盲人出行的安全性。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例部分提供的一种多功能导盲杖的结构示意图；
图2是本发明实施例部分提供的一种多功能导盲杖中GPS导航功能的工作流程示意图；
图3是本发明实施例部分提供的一种多功能导盲杖中测距避障功能的工作流程示意图；
图4是本发明实施例部分提供的一种多功能导盲杖中目标检测功能的工作流程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明实施例公开一种多功能导盲杖，应用于盲人出行场景，如图1所示，一种多功能导盲杖，包括：
信息采集模块，用于采集输入信息并向计算加速模块和中心模块传输所述输入信息，所述输入信息包括用户语音信息、图像信息、坐标信息和距离信息；
所述计算加速模块，用于搭载经过迁移学习的神经网络模型，对所述信息采集模块采集的图像信息进行模型推理，并向所述中心模块返回目标检测结果；
所述中心模块，用于接收所述输入信息和目标检测结果；将所述用户语音信息转化为文字信息；将所述用户语音信息和坐标信息输入至导航软件，获得导航信息；将所述计算加速模块返回的目标检测结果转化为图像识别信息；将所述文字信息、导航信息和图像识别信息传输至语音输出模块；
语音输出模块，用于接收所述中心模块传输的文字信息、导航信息和图像识别信息，并将所述文字信息、导航信息和图像识别信息转化为语音进行输出。
本实施例所述的一种多功能导盲杖中，所述计算加速模块中存储有训练好的目标检测算法模型，在获取所述信息采集模块采集的图像信息后，通过所述目标检测算法模型对图像信息进行模型推理，获得目标检测结果；
所述目标检测算法模型选用SSD算法，所述SSD算法通过卷积神经网络对输入的图像信息进行目标识别，所述卷积神经网络采用MobileNet网络，通过所述MobileNet网络对目标检测过程中的卷积计算过程进行压缩；所述计算加速模块采用Intel的神经元计算棒。本实施例所述的一种多功能导盲杖中，所述目标检测算法模型选用SSD，利用卷积神经网络提取特征后直接进行分类和定位，所述卷积神经网络采用MobileNet网络，通过所述MobileNet网络对经典卷积过程进行压缩，减小了卷积计算量，同时分类准确率仅有微小下降，大大提高了导盲杖目标识别的实时性。具体的，本实施例中，SSD为one-stage方法，抽样时采用不同尺度和长宽比。
本实施例所述的一种多功能导盲杖中，所述中心模块包括第一转化单元、第二转化单元和第三转化单元；
所述第一转化单元用于在接收用户语音信息后，将所述用户语音信息转化为文字信息，并传输至语音输出模块；
所述第二转化单元用于在接收用户语音信息和坐标信息后，将所述用户语音信息和坐标信息传输至导航软件，所述导航软件内置于中心模块，所述导航软件根据用户语音信息和坐标信息确定导航路径，所述中心模块将导航路径转化为导航信息并传输至语音输出模块；
其中，所述第二转化单元还接收距离信息，根据所述距离信息判断是否触发距离警报，当所述距离信息小于预设距离阈值时则触发距离警报，将所述距离信息转化为警报信息输出至语音输出模块；本实施例中，所述预设距离阈值由中心模块接收距离传感器距离信息的转换单元设置，具体的，通过PC机连接中心模块对预设距离阀值进行设置。
所述第三转化单元用于在接收目标检测结果后，将所述目标检测结果转化为图像识别信息，并传输至语音输出模块。
本实施例所述的一种多功能导盲杖中，所述计算加速模块中卷积神经网络采用深度可分离卷积，包括：
深度卷积，根据第一卷积核大小Dk×Dk×1×M，获得第一计算量为：
Dk×Dk×M×DF×DF
逐点卷积，根据第二卷积核大小1×1×M×N，获得第二计算量为：
M×N×DF×DF
所述深度可分离卷积的计算量为第一计算量与第二计算量之和：
Dk×Dk×M×DF×DF+M×N×DF×DF。
具体的，本实施例中，所述深度可分离卷积的计算量的大小用于衡量目标识别的速度，当所述深度可分离卷积的计算量越小，识别速度越快。深度可分离卷积比标准卷积有着更小的计算量，因此在导盲杖的目标识别计算中会有更好的实时性。本发明采用的即为使用深度可分离卷积的MobileNet作为目标识别的神经网络。
具体的，本实施例中，MobileNet使用的是3×3的卷积核，因此计算量可减少8～9倍。
本实施例所述的一种多功能导盲杖中，所述卷积神经网络选用在ImageNet数据集上预训练好的模型，在制作的数据集上进行迁移学习。
具体的，本实施例所述的一种多功能导盲杖中，所述MobileNet网络选用在ImageNet数据集上预训练好的模型，所述预训练好的模型的下载地址为：https:// github.com/tensorflow/models/tree/master/research/slim/nets/mobilenet，然后在自己制作的数据集上进行迁移学习，进一步提高该网络的目标识别准确率。其中，选取日常生活中常见的物体，如人、猫、狗、门、窗、交通灯、护栏、树、楼房等各5000张图片，制作为迁移学习的数据集，将在上述地址下载的MobileNet在此数据集上进行迁移学习，由此提高目标检测的准确率。
本实施例所述的一种多功能导盲杖中，所述信息采集模块包括语音采集单元，用于采集并识别所述用户语音信息，将所述用户语音信息传输至中心模块内置的导航软件中，通过所述导航软件获取导航的目的地址，再根据所述导航的目的地址和坐标信息确定导航路径；所述中心模块将导航路径转化为导航信息，传输至语音输出模块，所述语音输出模块将导航信息转化为语音信息并输出；所述语音采集单元选用科大讯飞XFMT101离线识别模块。
本实施例所述的一种多功能导盲杖中，所述信息采集模块包括图像采集单元，用于采集所述图像信息，包括采集所述导盲杖正前方向上60°至正前方向下60°范围内，以及所述导盲杖正前方向左45°至正前方向右45°范围内的图像信息；所述图像采集单元包括摄像头，所述图像采集单元选用型号为罗技C270/I的摄像头。
本实施例所述的一种多功能导盲杖中，所述信息采集模块包括GPS单元，用于采集所述坐标信息，所述坐标信息即导盲杖所在坐标信息；所述GPS单元选用ZBT公司的型号为SIM28ML的GPS定位器。
本实施例所述的一种多功能导盲杖中，所述信息采集模块包括距离传感器，用于采集所述距离信息，所述距离传感器通过测量距离传感器发射出的脉冲信号被障碍物反射回来的时间，计算所述导盲杖与障碍物之间的距离；
当所述导盲杖与障碍物之间的距离小于预设距离阈值时，所述距离传感器向中心模块发送障碍物距离过近信息，所述中心模块接收到障碍物距离过近信息后，向语音输出模块发送警报信息，所述警报信息在中心模块中预先设定，所述语音输出模块接收到所述警报信息后，输出与所述警报信息相应的警报声。
本实施例所述的一种多功能导盲杖中，所述中心模块通过USB接口分别与信息采集模块和计算加速模块连接；所述中心模块选用Raspberry Pi 3b+；所述语音输出模块为中心模块自带的博通声卡设备。
具体的，本实施例中，如图2、图3和图4所示，为本发明中各功能的实现：
一、GPS导航功能，包括：
当导盲杖用户需要到达指定地点时，用户按下导盲杖的第一按钮，语音采集单元接收用户的语音信息，并转化为文字，传递到中心模块，此时GPS单元开启，将用户实时位置发送至中心模块，中心模块加载导航软件中的离线地图，输入从GPS单元和语音采集单元传送来的信息，作为导航路线的起点和终点，生成导航路线，并通过语音输出模块告知用户。该功能具备实时性好、准确性高的特点，让盲人用户的出行得到极大的便利。
二、避障功能，包括：
当导盲杖距离障碍物过近时，此时中心模块接收到距离传感器传回的距离信息，如果该距离小于中心模块中的预设阈值，中心模块即向语音播放模块发出警报信息，语音输出模块发出警报，提醒导盲杖用户。该功能实时性好，能够让用户及时规避障碍物。
三、实时目标识别功能，包括：
当导盲杖用户需要知晓前方的物体类别时，按下导盲杖的第二按钮，图像采集单元的摄像头开始工作，记录下导盲杖前方的图像信息，传递至中心模块，中心模块将该图像信息传递至计算加速模块进行图像识别，计算加速模块在识别结束后将结果返回至中心模块，中心模块将结果传递至语音输出模块，语音输出模块将结果播放。该功能利用加速计算模块，提高了目标识别的实时性，提高了盲人获取周围信息的能力，为盲人提供了一条更好的感知周围的环境的途径。
具体的应用场景如下：
场景1，当导盲杖距离障碍物过近时，此时中心模块接收到距离传感器传回的距离信息，如果该距离小于中心模块中的预设阈值，中心模块即向语音播放模块发出警报信息，语音输出模块发出对应的警报声，提醒导盲杖用户躲避障碍物。
场景2，当导盲杖用户需要到达指定地点时，用户按下导盲杖的第一按钮，语音采集单元接收用户的语音信息，并转化为文字信息，传递到中心模块，此时GPS单元开启，将用户实时位置发送至中心模块，中心模块加载离线地图导航软件，输入从GPS单元和语音采集单元传送来的信息，作为导航路线的起点和终点，生成导航路线，并通过语音输出模块告知用户。
场景3，当导盲杖用户需要知晓前方的物体类别时，按下导盲杖的第二按钮，图像采集单元的摄像头开始工作，记录下导盲杖前方的图像信息，传递至中心模块，中心模块将该图像信息传递至计算加速模块进行图像识别，计算加速模块在识别结束后将结果返回至中心模块，中心模块将结果传递至语音输出模块，语音输出模块将结果播放。
由以上技术方案可知，本发明实施例提供一种多功能导盲杖，包括：中心模块，用于接收数据，数据预处理，数据传输，信号转换以及运行导航软件；数据采集模块，用于通过语音采集单元、图像采集单元、GPS单元以及距离传感器采集输入信息，所述输入信息包括语音、图像、坐标以及距离；计算加速模块，用于搭载经过迁移学习的神经网络模型，对输入的图像做模型推理，返回计算结果。本发明实施例提供的一种多功能导盲杖不但利用深度神经网络实现了目标检测的功能，而且利用神经元计算棒极大提高了模型计算速度，使得目标检测的实时性得到保证。
本发明使用CNN来对神经网络进行训练，实现了图像识别的功能，并配备了神经元计算棒，保证图像识别的实时性。此外，现有技术中的导盲杖使用距离传感器实现测距预警的功能，而本发明在此功能上，还具备GPS定位导航，图像识别的功能。进一步地，现有技术中的导盲杖在云计算基础上进行定位、避障的应用设计，而本发明的图像识别功能是其不具备的。因此，本发明开发一种具备导航、避障、实时物体识别的导盲杖，给盲人的日常生活带来更多便利，增加盲人出行的安全性。
本说明书中各个实施例之间相同相似的部分互相参见即可。以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (10)

1.一种多功能导盲杖，其特征在于，包括：
信息采集模块，用于采集输入信息并向计算加速模块和中心模块传输所述输入信息，所述输入信息包括用户语音信息、图像信息、坐标信息和距离信息；
所述计算加速模块，用于搭载经过迁移学习的神经网络模型，对所述信息采集模块采集的图像信息进行模型推理，并向所述中心模块返回目标检测结果；
所述中心模块，用于接收所述输入信息和目标检测结果；将所述用户语音信息转化为文字信息；将所述用户语音信息和坐标信息输入至导航软件，获得导航信息；将所述计算加速模块返回的目标检测结果转化为图像识别信息；将所述文字信息、导航信息和图像识别信息传输至语音输出模块；
语音输出模块，用于接收所述中心模块传输的文字信息、导航信息和图像识别信息，并将所述文字信息、导航信息和图像识别信息转化为语音进行输出。
2.根据权利要求1所述的一种多功能导盲杖，其特征在于，所述计算加速模块中存储有训练好的目标检测算法模型，在获取所述信息采集模块采集的图像信息后，通过所述目标检测算法模型对图像信息进行模型推理，获得目标检测结果；
所述目标检测算法模型选用SSD算法，所述SSD算法通过卷积神经网络对输入的图像信息进行目标识别，所述卷积神经网络采用MobileNet网络，通过所述MobileNet网络对目标检测过程中的卷积计算过程进行压缩；所述计算加速模块采用Intel的神经元计算棒。
3.根据权利要求2所述的一种多功能导盲杖，其特征在于，所述中心模块包括第一转化单元、第二转化单元和第三转化单元；
所述第一转化单元用于在接收用户语音信息后，将所述用户语音信息转化为文字信息，并传输至语音输出模块；
所述第二转化单元用于在接收用户语音信息和坐标信息后，将所述用户语音信息和坐标信息传输至导航软件，所述导航软件内置于中心模块，所述导航软件根据用户语音信息和坐标信息确定导航路径，所述中心模块将导航路径转化为导航信息并传输至语音输出模块；
其中，所述第二转化单元还接收距离信息，根据所述距离信息判断是否触发距离警报，当所述距离信息小于预设距离阈值时则触发距离警报，将所述距离信息转化为警报信息输出至语音输出模块；
所述第三转化单元用于在接收目标检测结果后，将所述目标检测结果转化为图像识别信息，并传输至语音输出模块。
4.根据权利要求3所述的一种多功能导盲杖，其特征在于，所述计算加速模块中卷积神经网络采用深度可分离卷积，包括：
深度卷积，根据第一卷积核大小Dk×Dk×1×M，获得第一计算量为：
Dk×Dk×M×DF×DF
逐点卷积，根据第二卷积核大小1×1×M×N，获得第二计算量为：
M×N×DF×DF
所述深度可分离卷积的计算量为第一计算量与第二计算量之和：
Dk×Dk×M×DF×DF+M×N×DF×DF。
5.根据权利要求4所述的一种多功能导盲杖，其特征在于，所述卷积神经网络选用在ImageNet数据集上预训练好的模型，在制作的数据集上进行迁移学习。
6.根据权利要求1所述的一种多功能导盲杖，其特征在于，所述信息采集模块包括语音采集单元，用于采集并识别所述用户语音信息，将所述用户语音信息传输至中心模块内置的导航软件中，通过所述导航软件获取导航的目的地址，再根据所述导航的目的地址和坐标信息确定导航路径；所述中心模块将导航路径转化为导航信息，传输至语音输出模块，所述语音输出模块将导航信息转化为语音信息并输出；所述语音采集单元选用科大讯飞XFMT101离线识别模块。
7.根据权利要求1所述的一种多功能导盲杖，其特征在于，所述信息采集模块包括图像采集单元，用于采集所述图像信息，包括采集所述导盲杖正前方向上60°至正前方向下60°范围内，以及所述导盲杖正前方向左45°至正前方向右45°范围内的图像信息；所述图像采集单元包括摄像头，所述图像采集单元选用型号为罗技C270/I的摄像头。
8.根据权利要求1所述的一种多功能导盲杖，其特征在于，所述信息采集模块包括GPS单元，用于采集所述坐标信息，所述坐标信息即导盲杖所在坐标信息；所述GPS单元选用ZBT公司的型号为SIM28ML的GPS定位器。
9.根据权利要求1所述的一种多功能导盲杖，其特征在于，所述信息采集模块包括距离传感器，用于采集所述距离信息，所述距离传感器通过测量距离传感器发射出的脉冲信号被障碍物反射回来的时间，计算所述导盲杖与障碍物之间的距离；
当所述导盲杖与障碍物之间的距离小于预设距离阈值时，所述距离传感器向中心模块发送障碍物距离过近信息，所述中心模块接收到障碍物距离过近信息后，向语音输出模块发送警报信息，所述警报信息在中心模块中预先设定，所述语音输出模块接收到所述警报信息后，输出与所述警报信息相应的警报声。
10.根据权利要求1所述的一种多功能导盲杖，其特征在于，所述中心模块通过USB接口分别与信息采集模块和计算加速模块连接；所述中心模块选用Raspberry Pi 3b+；所述语音输出模块为中心模块自带的博通声卡设备。
CN202011178006.XA 2020-10-29 2020-10-29 一种多功能导盲杖 Pending CN112168634A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011178006.XA CN112168634A (zh) 2020-10-29 2020-10-29 一种多功能导盲杖

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011178006.XA CN112168634A (zh) 2020-10-29 2020-10-29 一种多功能导盲杖

Publications (1)

Publication Number Publication Date
CN112168634A true CN112168634A (zh) 2021-01-05

Family

ID=73916511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011178006.XA Pending CN112168634A (zh) 2020-10-29 2020-10-29 一种多功能导盲杖

Country Status (1)

Country Link
CN (1) CN112168634A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449641A (zh) * 2021-06-29 2021-09-28 张家港江苏科技大学产业技术研究院 基于云边端协同的物体识别系统
CN114191267A (zh) * 2021-12-06 2022-03-18 南通大学 一种轻量级的复杂环境下智能辅助盲人出行方法及其系统
CN114898303A (zh) * 2022-06-14 2022-08-12 华东师范大学 应用于智能终端的导盲方法、系统以及智能终端

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105662798A (zh) * 2016-03-22 2016-06-15 昆山市工研院智能制造技术有限公司 基于激光与图像处理的盲人导航装置及行走避障方法
CN108836769A (zh) * 2018-05-16 2018-11-20 电子科技大学 一种智能盲人出行辅助装置及方法
CN109508741A (zh) * 2018-11-09 2019-03-22 哈尔滨工业大学 基于深度学习筛选训练集的方法
CN109931946A (zh) * 2019-04-10 2019-06-25 福州大学 基于Android智能手机的盲人视觉测距导航方法
CN110538051A (zh) * 2019-08-27 2019-12-06 华南理工大学 一种自动寻路的盲人智能辅助装置及其方法
CN110584962A (zh) * 2019-08-28 2019-12-20 西安工业大学 一种组合探障智能导盲系统
CN110755240A (zh) * 2019-10-18 2020-02-07 南京理工大学 一种多功能智能盲人棒及其使用方法
CN110812142A (zh) * 2019-10-18 2020-02-21 湖南红太阳新能源科技有限公司 一种智能导盲系统及方法
CN111461088A (zh) * 2020-06-17 2020-07-28 长沙超创电子科技有限公司 一种基于图像处理与目标识别的轨道交通避障系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105662798A (zh) * 2016-03-22 2016-06-15 昆山市工研院智能制造技术有限公司 基于激光与图像处理的盲人导航装置及行走避障方法
CN108836769A (zh) * 2018-05-16 2018-11-20 电子科技大学 一种智能盲人出行辅助装置及方法
CN109508741A (zh) * 2018-11-09 2019-03-22 哈尔滨工业大学 基于深度学习筛选训练集的方法
CN109931946A (zh) * 2019-04-10 2019-06-25 福州大学 基于Android智能手机的盲人视觉测距导航方法
CN110538051A (zh) * 2019-08-27 2019-12-06 华南理工大学 一种自动寻路的盲人智能辅助装置及其方法
CN110584962A (zh) * 2019-08-28 2019-12-20 西安工业大学 一种组合探障智能导盲系统
CN110755240A (zh) * 2019-10-18 2020-02-07 南京理工大学 一种多功能智能盲人棒及其使用方法
CN110812142A (zh) * 2019-10-18 2020-02-21 湖南红太阳新能源科技有限公司 一种智能导盲系统及方法
CN111461088A (zh) * 2020-06-17 2020-07-28 长沙超创电子科技有限公司 一种基于图像处理与目标识别的轨道交通避障系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449641A (zh) * 2021-06-29 2021-09-28 张家港江苏科技大学产业技术研究院 基于云边端协同的物体识别系统
CN114191267A (zh) * 2021-12-06 2022-03-18 南通大学 一种轻量级的复杂环境下智能辅助盲人出行方法及其系统
CN114898303A (zh) * 2022-06-14 2022-08-12 华东师范大学 应用于智能终端的导盲方法、系统以及智能终端

Similar Documents

Publication Publication Date Title
CN112168634A (zh) 一种多功能导盲杖
CN101549498B (zh) 智能帮扶式助行机器人的自主跟踪与导航系统
US20080170118A1 (en) Assisting a vision-impaired user with navigation based on a 3d captured image stream
CN106123850A (zh) Auv配载多波束声呐水下地形测绘修正方法
CN204972147U (zh) 基于Kinect的盲人导航系统
CN105444770A (zh) 基于智能手机的车道级别地图生成和定位系统及方法
CN112477873B (zh) 一种基于车联网的辅助驾驶和车辆安全管理系统
CN110755240A (zh) 一种多功能智能盲人棒及其使用方法
CN107242964A (zh) 基于深度学习的导盲系统及工作方法
CN116027324A (zh) 基于毫米波雷达的跌倒检测方法、装置及毫米波雷达设备
Hakim et al. Navigation system for visually impaired people based on RGB-D camera and ultrasonic sensor
CN111743740A (zh) 导盲方法、装置、导盲设备及存储介质
CN211132024U (zh) 一种基于ai开放平台的智能语音导盲系统
CN110353958A (zh) 一种协助盲人乘车的便携式装置及其方法
Mahesh et al. Cicerone-a real time object detection for visually impaired people
CN115998592B (zh) 一种基于智能手表辅助盲人的数据处理方法及系统
CN115164931B (zh) 一种盲人出行辅助系统、方法及设备
Bastaki et al. Design and implementation of a vision stick with outdoor/indoor guiding systems and smart detection and emergency features
CN110680686A (zh) 一种基于ai开放平台的智能语音导盲系统及使用方法
Raut et al. IoT‐assisted smart device for blind people
CN110381831A (zh) 车辆事件识别
CN114662691A (zh) 自动驾驶车辆的特征知识库系统及方法
CN215897762U (zh) 一种视觉辅助系统
JP2022052881A (ja) 樹木判別プログラム
TW202211895A (zh) 導盲輔助方法及導盲輔助系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210105