CN111109786A - 基于深度学习的智能障碍物预警拐杖及其预警方法 - Google Patents
基于深度学习的智能障碍物预警拐杖及其预警方法 Download PDFInfo
- Publication number
- CN111109786A CN111109786A CN201911353019.3A CN201911353019A CN111109786A CN 111109786 A CN111109786 A CN 111109786A CN 201911353019 A CN201911353019 A CN 201911353019A CN 111109786 A CN111109786 A CN 111109786A
- Authority
- CN
- China
- Prior art keywords
- crutch
- obstacle
- camera
- early warning
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45B—WALKING STICKS; UMBRELLAS; LADIES' OR LIKE FANS
- A45B3/00—Sticks combined with other objects
-
- A—HUMAN NECESSITIES
- A45—HAND OR TRAVELLING ARTICLES
- A45B—WALKING STICKS; UMBRELLAS; LADIES' OR LIKE FANS
- A45B9/00—Details
- A45B9/02—Handles or heads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Rehabilitation Tools (AREA)
Abstract
本发明提供一种基于深度学习的智能障碍物预警拐杖及其预警方法,拐杖包括用于采集道路视野的图像信息的单目相机以及用于根据所述图像信息判断所述道路视野中的障碍物的位置的控制单元,所述控制单元与所述单目相机电性连接,拐杖还包含:拐杖主体;拐杖把手,固定于所述拐杖主体的顶端;环形振动器,套设在所述拐杖主体上并靠近所述拐杖把手设置,所述环形振动器包括多个用于指示不同方位的振动单元,每一个所述振动单元分别与所述控制单元电性连接。本发明的基于深度学习的智能障碍物预警拐杖能够帮助盲人在道路行走时感知前方障碍物的出现,减少危险事件的发生,应用价值高;且拐杖稳定性好,成本低廉。
Description
技术领域
本发明涉及拐杖技术领域,尤其是涉及一种基于深度学习的智能障碍物预警拐杖及其预警方法。
背景技术
盲人出行十分不便,道路障碍物是影响盲人正常行走的重要因素之一,所以,为了解决这一问题,目前有些研究采用超声波或者激光雷达的技术,开发智能避障拐杖,来提醒盲人前方有障碍物出现。但是,使用这种技术方式不够稳定,加上拐杖运动的幅度比较大,容易出现误警,并且超声波、激光雷达的成本很高。
如今深度学习技术发展迅速,使用深度学习的方法对图像进行处理、进行目标检测已经取得很大的进展和成功。前方障碍物检测所采用的环境感知手段方面,使用视觉传感器相对于超声波和激光雷达等传感器来说,能够获得更加精确和丰富的环境信息,并且价格更为低廉。对前方障碍物进行检测和预警对盲人在道路进行安全行走起到很大的帮助作用,所以将深度学习技术应用到拐杖中并改进拐杖的障碍物检测及预警方法非常重要。
因此,有必要设计一种新的基于深度学习的智能障碍物预警拐杖及其预警方法去克服上述问题。
发明内容
鉴于现有技术中的问题,本发明的目的在于提供一种基于深度学习的智能障碍物预警拐杖及其预警方法,能够对前方道路环境中所出现的障碍物进行目标检测,然后对障碍物目标进行测距,得到目标距离自身的物理距离,当距离达到所设定范围时发出预警提示;如此可以帮助盲人在道路行走时感知前方障碍物的出现,减少危险事件的发生,应用价值高;且拐杖稳定性好,成本低廉。
为了达到上述目的,本发明提出一种基于深度学习的智能障碍物预警拐杖,包括:用于采集道路视野的图像信息的单目相机;用于根据所述图像信息判断所述道路视野中的障碍物的位置的控制单元,所述控制单元与所述单目相机电性连接;拐杖主体;拐杖把手,固定于所述拐杖主体的顶端;环形振动器,套设在所述拐杖主体上并靠近所述拐杖把手设置,所述环形振动器包括多个用于指示不同方位的振动单元,每一个所述振动单元分别与所述控制单元电性连接,所有所述振动单元的中心位于同一个圆的圆心上。
作为可选的方案,所述环形振动器包括八个振动单元,每相邻两个所述振动单元之间的距离相等。
作为可选的方案,所述拐杖还包括底座,所述底座固定在所述拐杖主体的底端。
作为可选的方案,所述底座为圆台形。
作为可选的方案,所述拐杖主体内部设有电池容纳腔,所述拐杖还包括电池,所述电池安装在所述电池容纳腔内。
作为可选的方案,所述电池分别与所述单目相机、所述控制单元以及每一个所述振动单元电性连接以提供电能。
作为可选的方案,所述拐杖还包括电源开关、电源控制板以及扬声器,所述电源开关、所述电源控制板以及所述扬声器分别与所述电池电性连接,所述扬声器还与所述控制单元电性连接。
本发明还提供一种应用于以上所述的拐杖的障碍物预警方法,包括以下步骤:
1)准备多张训练数据图片,并在每一张所述训练数据图片中标注出所述训练数据图片中的所有障碍物,存储标注好的训练数据图片;
2)通过预训练模型对所有所述训练数据图片进行训练,得到训练好的模型数据;
3)采集道路视野的图像信息形成待检测图片,所述预训练模型依据所述模型数据对所述待检测图片进行检测,得到所述待检测图片中的障碍物的位置;
4)根据所述待检测图片中的障碍物的位置发出方位指示信号以及预警信号。
作为可选的方案,在步骤2)和步骤3)之间,还包括以下步骤:
准备一张具有黑白相间的棋盘格的棋盘纸,将所述棋盘纸贴在承载平面上;
使用单目相机从不同角度拍摄所述棋盘纸形成棋盘纸图像;
利用相机标定模块对所述棋盘纸图像进行处理,形成相机标定数据;
从所述相机标定数据得到所述单目相机的内参矩阵K以及外参矩阵P,内参矩阵其中,fx、fy分别是相机水平方向和垂直方向相对单位像素的焦距,(u0,v0)是光学中心坐标;外参矩阵其中,世界坐标到相机坐标的旋转矩阵,分别是世界坐标到相机坐标的平移矩阵。
作为可选的方案,所述步骤3)中测量障碍物的位置具体包括以下步骤:
D)根据障碍物纵向距离X的值确定是否预警。
与现有技术相比,本发明的基于深度学习的智能障碍物预警拐杖及其预警方法的有益效果是:
1、本发明采用了现有的基于深度学习的图像处理技术,相对于超声波、激光雷达等传感器对目标的检测辨识度更加稳定,获得的信息更加丰富,解决了通过传统方法进行目标检测精度差的问题;
2、本发明与现有的通过超声波、激光雷达等传感器进行目标测距相比,成本更低题;
3、本发明中所需要的硬件环境简单,且安装容易、成本低廉、稳定性好、实用性强;
4、本发明型通过振动的方式使用户清楚的感知到行进的方向。
以下结合附图和具体实施例对本发明进行详细描述,但不作为对本发明的限定。
附图说明
图1为本发明的基于深度学习的智能障碍物预警拐杖一实施例的结构示意图;
图2为本发明所述环形振动器的结构示意图;
图3为本发明所述预警方法的流程图;
图4为本发明所述预警方法中测量障碍物距离的原理图;
图5为图4中的障碍物于另一视角的示意图。
具体实施方式
为使对本发明的目的、构造、特征及其功能有进一步的了解,兹配合实施例详细说明如下。
如图1至图5所示,本发明的基于深度学习的智能障碍物预警拐杖包括用于采集道路视野的图像信息的单目相机以及用于根据图像信息判断道路视野中的障碍物的位置的控制单元2,控制单元2与单目相机电性连接,拐杖还包含:拐杖主体1、拐杖把手5和环形振动器4;拐杖把手5固定于拐杖主体1的顶端;环形振动器4套设在拐杖主体1上并靠近拐杖把手5设置,环形振动器4包括多个用于指示不同方位的振动单元41,每一个振动单元41分别与控制单元2电性连接,所有振动单元41的中心位于同一个圆的圆心上。
本发明的环形振动器4包括八个振动单元41,每相邻两个振动单元41之间的距离相等。八个振动单元41可指示八个不同的方位,具体来说,八个不同的方位分别依次为:左方、左前方、前方、右前方、右方、右后方、后方、左后方。如此设计,能够给使用者提供更准确的方向提示,提高拐杖的实用性。
此外,本发明的拐杖还包括底座9和电池8,拐杖主体1内部设有电池容纳腔,电池8安装在电池容纳腔内,电池8分别与单目相机、控制单元2以及每一个振动单元41电性连接以提供电能。。底座9固定在拐杖主体1的底端,在本实施例中,底座9为圆台形。
在本实施例中,拐杖还包括电源开关6、电源控制板3以及扬声器7,电源开关6、电源控制板3以及扬声器7分别与电池8电性连接,扬声器7还与控制单元2电性连接。其中,控制单元2能够控制扬声器7发声报警。
本发明还提出一种应用于以上所述拐杖的障碍物预警方法,包括以下步骤:
1)准备多张训练数据图片,并在每一张所述训练数据图片中标注出所述训练数据图片中的所有障碍物,存储标注好的训练数据图片;
2)通过预训练模型对所有所述训练数据图片进行训练,得到训练好的模型数据;
3)采集道路视野的图像信息形成待检测图片,所述预训练模型依据所述模型数据对所述待检测图片进行检测,得到所述待检测图片中的障碍物的位置;
4)根据所述待检测图片中的障碍物的位置发出方位指示信号以及预警信号。
其中,在步骤2)和步骤3)之间,还包括以下步骤:
准备一张具有黑白相间的棋盘格的棋盘纸,将所述棋盘纸贴在承载平面上;
使用单目相机从不同角度拍摄所述棋盘纸形成棋盘纸图像;
利用相机标定模块对所述棋盘纸图像进行处理,形成相机标定数据;
从所述相机标定数据得到所述单目相机的内参矩阵K以及外参矩阵P,内参矩阵其中,fx、fy分别是相机水平方向和垂直方向相对单位像素的焦距,(u0,v0)是光学中心坐标;外参矩阵其中,世界坐标到相机坐标的旋转矩阵,分别是世界坐标到相机坐标的平移矩阵。
此外,所述步骤3)中测量障碍物的位置具体包括以下步骤:
D)根据障碍物纵向距离X的值确定是否预警。
在实际应用时,可预先设置X的阈值,例如,当X小于5米大于2米时发出障碍物提醒信息,并提示障碍物距离,当X小于2米时发出障碍物碰撞预警。举例来说,单目相机拍摄了一张待检测图片,对待检测图片中的障碍物目标进行检测,得到障碍物目标的坐标位置(70,85,264,232),通过上文所述的公式计算出障碍物目标的测距关键点坐标(167,232),然后对障碍物目标进行视觉测距,得到距离为1.89米,1.89米小于2米(2米为预先设置的阈值),发出障碍物碰撞预警。
综上所述,本发明的基于深度学习的智能障碍物预警拐杖的有益效果是:1、本发明采用了现有的基于深度学习的图像处理技术,相对于超声波、激光雷达等传感器对目标的检测辨识度更加稳定,获得的信息更加丰富,解决了通过传统方法进行目标检测精度差的问题;2、本发明与现有的通过超声波、激光雷达等传感器进行目标测距相比,成本更低题;3、本发明中所需要的硬件环境简单,且安装容易、成本低廉、稳定性好、实用性强;4、本发明型通过振动的方式使用户清楚的感知到行进的方向。
藉由以上较佳具体实施例的详述,是希望能更加清楚描述本发明的特征与精神,而并非以上述所揭露的较佳具体实施例来对本发明的保护范围加以限制。相反地,其目的是希望能涵盖各种改变及具相等性的安排于本发明所欲申请的权利要求的保护范围内。因此,本发明的权利要求的保护范围应该根据上述的说明作最宽广的解释,以致使其涵盖所有可能的改变以及具相等性的安排。
Claims (10)
1.一种基于深度学习的智能障碍物预警拐杖,其特征在于,包含:
用于采集道路视野的图像信息的单目相机;
用于根据所述图像信息判断所述道路视野中的障碍物的位置的控制单元,所述控制单元与所述单目相机电性连接,
拐杖主体;
拐杖把手,固定于所述拐杖主体的顶端;
环形振动器,套设在所述拐杖主体上并靠近所述拐杖把手设置,所述环形振动器包括多个用于指示不同方位的振动单元,每一个所述振动单元分别与所述控制单元电性连接,所有所述振动单元的中心位于同一个圆的圆心上。
2.如权利要求1所述的基于深度学习的智能障碍物预警拐杖,其特征在于,所述环形振动器包括八个振动单元,每相邻两个所述振动单元之间的距离相等。
3.如权利要求1所述的基于深度学习的智能障碍物预警拐杖,其特征在于,所述拐杖还包括底座,所述底座固定在所述拐杖主体的底端。
4.如权利要求3所述的基于深度学习的智能障碍物预警拐杖,其特征在于,所述底座为圆台形。
5.如权利要求1所述的基于深度学习的智能障碍物预警拐杖,其特征在于,所述拐杖主体内部设有电池容纳腔,所述拐杖还包括电池,所述电池安装在所述电池容纳腔内。
6.如权利要求5所述的基于深度学习的智能障碍物预警拐杖,其特征在于,所述电池分别与所述单目相机、所述控制单元以及每一个所述振动单元电性连接以提供电能。
7.如权利要求6所述的基于深度学习的智能障碍物预警拐杖,其特征在于,所述拐杖还包括电源开关、电源控制板以及扬声器,所述电源开关、所述电源控制板以及所述扬声器分别与所述电池电性连接,所述扬声器还与所述控制单元电性连接。
8.一种应用于如权利要求1至7任意一项所述的拐杖的障碍物预警方法,其特征在于,包括以下步骤:
1)准备多张训练数据图片,并在每一张所述训练数据图片中标注出所述训练数据图片中的所有障碍物,存储标注好的训练数据图片;
2)通过预训练模型对所有所述训练数据图片进行训练,得到训练好的模型数据;
3)采集道路视野的图像信息形成待检测图片,所述预训练模型依据所述模型数据对所述待检测图片进行检测,得到所述待检测图片中的障碍物的位置;
4)根据所述待检测图片中的障碍物的位置发出方位指示信号以及预警信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911353019.3A CN111109786A (zh) | 2019-12-25 | 2019-12-25 | 基于深度学习的智能障碍物预警拐杖及其预警方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911353019.3A CN111109786A (zh) | 2019-12-25 | 2019-12-25 | 基于深度学习的智能障碍物预警拐杖及其预警方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111109786A true CN111109786A (zh) | 2020-05-08 |
Family
ID=70502582
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911353019.3A Pending CN111109786A (zh) | 2019-12-25 | 2019-12-25 | 基于深度学习的智能障碍物预警拐杖及其预警方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111109786A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111759075A (zh) * | 2020-08-07 | 2020-10-13 | 闫然 | 一种学生安全出行书包 |
CN113110562A (zh) * | 2021-05-25 | 2021-07-13 | 上海大学 | 一种基于多个广角摄像头的无人机避障装置及其避障方法 |
CN113327297A (zh) * | 2021-06-30 | 2021-08-31 | 湖南科技大学 | 基于深度学习的深海海底障碍物测量系统与识别方法 |
CN114177017A (zh) * | 2021-12-29 | 2022-03-15 | 东北农业大学 | 一种盲人出行辅助系统 |
EP4000579A1 (de) * | 2020-11-13 | 2022-05-25 | Alexander Bayer | Kamerabasiertes assistenzsystem mit künstlicher intelligenz für blinde personen |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107242964A (zh) * | 2017-07-21 | 2017-10-13 | 西安电子科技大学 | 基于深度学习的导盲系统及工作方法 |
CN108309708A (zh) * | 2018-01-23 | 2018-07-24 | 李思霈 | 盲人拐杖 |
CN109199808A (zh) * | 2018-10-25 | 2019-01-15 | 辽宁工程技术大学 | 基于计算机视觉的盲人智能手杖 |
CN109662830A (zh) * | 2019-01-18 | 2019-04-23 | 湖南师范大学 | 一种语言导盲手杖、基于该手杖的深度神经网络优化方法 |
CN110031829A (zh) * | 2019-04-18 | 2019-07-19 | 北京联合大学 | 一种基于单目视觉的目标精准测距方法 |
CN110559127A (zh) * | 2019-08-27 | 2019-12-13 | 上海交通大学 | 基于听觉与触觉引导的智能助盲系统及方法 |
CN211154138U (zh) * | 2019-12-25 | 2020-08-04 | 李嘉伦 | 基于深度学习的智能障碍物预警拐杖 |
-
2019
- 2019-12-25 CN CN201911353019.3A patent/CN111109786A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107242964A (zh) * | 2017-07-21 | 2017-10-13 | 西安电子科技大学 | 基于深度学习的导盲系统及工作方法 |
CN108309708A (zh) * | 2018-01-23 | 2018-07-24 | 李思霈 | 盲人拐杖 |
CN109199808A (zh) * | 2018-10-25 | 2019-01-15 | 辽宁工程技术大学 | 基于计算机视觉的盲人智能手杖 |
CN109662830A (zh) * | 2019-01-18 | 2019-04-23 | 湖南师范大学 | 一种语言导盲手杖、基于该手杖的深度神经网络优化方法 |
CN110031829A (zh) * | 2019-04-18 | 2019-07-19 | 北京联合大学 | 一种基于单目视觉的目标精准测距方法 |
CN110559127A (zh) * | 2019-08-27 | 2019-12-13 | 上海交通大学 | 基于听觉与触觉引导的智能助盲系统及方法 |
CN211154138U (zh) * | 2019-12-25 | 2020-08-04 | 李嘉伦 | 基于深度学习的智能障碍物预警拐杖 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111759075A (zh) * | 2020-08-07 | 2020-10-13 | 闫然 | 一种学生安全出行书包 |
EP4000579A1 (de) * | 2020-11-13 | 2022-05-25 | Alexander Bayer | Kamerabasiertes assistenzsystem mit künstlicher intelligenz für blinde personen |
CN113110562A (zh) * | 2021-05-25 | 2021-07-13 | 上海大学 | 一种基于多个广角摄像头的无人机避障装置及其避障方法 |
CN113327297A (zh) * | 2021-06-30 | 2021-08-31 | 湖南科技大学 | 基于深度学习的深海海底障碍物测量系统与识别方法 |
CN113327297B (zh) * | 2021-06-30 | 2022-06-17 | 湖南科技大学 | 基于深度学习的深海海底障碍物测量系统与识别方法 |
CN114177017A (zh) * | 2021-12-29 | 2022-03-15 | 东北农业大学 | 一种盲人出行辅助系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111109786A (zh) | 基于深度学习的智能障碍物预警拐杖及其预警方法 | |
US11620835B2 (en) | Obstacle recognition method and apparatus, storage medium, and electronic device | |
JP4203512B2 (ja) | 車両周辺監視装置 | |
CN102170558B (zh) | 障碍物侦测警示系统及方法 | |
WO2021227645A1 (zh) | 目标检测方法和装置 | |
TWI417207B (zh) | Image - based obstacle detection reversing warning system and method | |
EP3229041A1 (en) | Object detection using radar and vision defined image detection zone | |
CN102389361B (zh) | 一种基于计算机视觉的盲人户外支援系统 | |
CN111045000A (zh) | 监测系统和方法 | |
JP2016529473A (ja) | 少なくとも1つの物体を光学的に検出する検出器 | |
Gangawane et al. | Obstacle detection and object size measurement for autonomous mobile robot using sensor | |
JPWO2012029382A1 (ja) | 車両周辺監視装置 | |
WO2022041869A1 (zh) | 路况提示方法、装置、电子设备、存储介质及程序产品 | |
CN109831655B (zh) | 基于多摄像头数据融合的船舶环境感知与预警系统 | |
JP4644273B2 (ja) | 車両周辺監視装置 | |
CN114332158B (zh) | 一种基于相机和激光雷达融合的3d实时多目标跟踪方法 | |
US8031908B2 (en) | Object recognizing apparatus including profile shape determining section | |
CN112633101A (zh) | 障碍物速度检测方法和装置 | |
CN101980292A (zh) | 一种基于正八边形模板的车载摄像机内参数的标定方法 | |
CN109720274A (zh) | 一种车辆开门碰撞预警装置和方法 | |
TW200904673A (en) | Optical collision avoidance system and method | |
CN211154138U (zh) | 基于深度学习的智能障碍物预警拐杖 | |
Zhang et al. | Study on the method of measuring the preceding vehicle distance based on trilinear method | |
JP5430633B2 (ja) | 車両周辺監視装置 | |
TW201822067A (zh) | 道路車道線的偵測系統及其方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200508 |