CN109931946A - 基于Android智能手机的盲人视觉测距导航方法 - Google Patents
基于Android智能手机的盲人视觉测距导航方法 Download PDFInfo
- Publication number
- CN109931946A CN109931946A CN201910285086.XA CN201910285086A CN109931946A CN 109931946 A CN109931946 A CN 109931946A CN 201910285086 A CN201910285086 A CN 201910285086A CN 109931946 A CN109931946 A CN 109931946A
- Authority
- CN
- China
- Prior art keywords
- camera
- voice
- mobile phone
- target detection
- blind
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 230000000007 visual effect Effects 0.000 title claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 37
- 239000004519 grease Substances 0.000 claims abstract description 7
- 208000010877 cognitive disease Diseases 0.000 claims abstract description 4
- 230000004888 barrier function Effects 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 13
- 238000012360 testing method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000002054 transplantation Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Landscapes
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种基于Android智能手机的盲人视觉测距导航方法,提供一内置目标检测模型的Android智能手机，包括以下步骤：步骤S1:通过语音唤醒手机，根据GPS定位实时位置；步骤S2：利用百度地图开源API，语音输入目的地位置，实现语音步行导航；步骤S3:将手机以一定角度向地面倾斜，设置于盲人身上；步骤S4:通过手机摄像头获得道路实时图像信息；步骤S5:根据内置的目标检测模型对实时图像信息进行目标检测，识别障碍物；步骤S6:根据摄像头俯仰角信息、检测框信息、图像尺寸和摄像头高度，计算得到障碍物距离；步骤S7:根据障碍物类型和距离，对盲人进行不同的语音提示。本发明只需处理摄像头采集的道路图像信息和计算摄像头的俯仰角即可自动地进行检测和测距。
Description
技术领域
本发明涉及出行导航领域，具体涉及一种基于Android智能手机的盲人视觉测距导航方法。
背景技术
根据世界卫生组织统计，目前世界上有约253百万的视障人群。视觉、听觉、触觉、嗅觉构成了人类最重要的感知系统。根据教育学家的分析，人类日常生活中获取的信息有80%来自视觉。由此可知，视觉是人们获取知识和经验的主要途径，丧失了视觉能力会严重影响了人们对外部世界的感知，使人们在学习、社交和出行等方面都受极大的阻碍。随着经济和社会的发展，城市的样貌和规划都在不断地变化中。为了便于人们的出行，各种各样的导航系统不断涌现。然而，目前的导航系统包含的主要功能是定位、路径规划以及语音导航，对于道路上存在的障碍物及与障碍物的距离无法实时提醒，如此一来，导航系统就无法被盲人这样的特殊群体所使用。
发明内容
有鉴于此，本发明的目的在于提供一种基于Android智能手机的盲人视觉测距导航方法，只需利用图像信息、摄像头俯仰角信息和摄像头高度信息，就能够对道路上的障碍物进行种类识别和距离测量，并且能够根据障碍物的危险级别，以特殊编码的音频向盲人进行播报。
为实现上述目的，本发明采用如下技术方案：
一种基于Android智能手机的盲人视觉测距导航方法,提供一内置目标检测模型的Android智能手机，包括以下步骤：
步骤S1:通过语音唤醒手机，根据GPS定位实时位置；
步骤S2：利用百度地图开源API，语音输入目的地位置，实现语音步行导航；
步骤S3:将手机以一定角度向地面倾斜，设置于盲人身上；
步骤S4:通过手机摄像头获得道路实时图像信息；
步骤S5:根据内置的目标检测模型对实时图像信息进行目标检测，识别障碍物；
步骤S6:根据摄像头俯仰角信息、检测框信息、图像尺寸和摄像头高度，计算得到障碍物距离；
步骤S7:根据障碍物类型和距离，对盲人进行不同的语音提示。
进一步的，所述目标检测模型采用SSD_MobilenetV2目标检测模型；收集路面上常见的几类障碍物的图像数据，如自行车、行人、电动车、摩托车和汽车等，并将这些图像数据制作成数据集，然后利用这些数据集对SSD_MobilenetV2目标检测模型进行训练，将训练得到的目标检测模型移植到Android智能手机上，对摄像机传来的图像利用模型进行目标检测，获得检测框和类别，并将检测框和类别在图像上标出来，并显示在手机屏幕上。
进一步的，所述步骤S6具体为：过程序代码调用手机内部方向传感器，测得手机与水平面的夹角，通过几何关系，间接计算得出摄像头的俯仰角，并提取检测框底部中点坐标，结合摄像头高度和图像尺寸，根据成像几何关系计算得到障碍物与盲人的距离。
进一步的，所述语音提示包括7个危险级别，级别越高，提示音越急促。
进一步的，每次对检测到的障碍物的危险级别从高到低进行排序，若障碍物较多，则仅播报前3个级别，防止提示过多造成盲人的混乱。
本发明与现有技术相比具有以下有益效果：
1、本发明既实现了短途步行导航，又可在导航过程中执行避障功能。
2、本发明交互性好，所有过程都有语音提示，适用于盲人这样的特殊群体。
附图说明
图1为本发明盲人视觉导航方法整体框图；
图2为本发明定位界面示意图；
图3为本发明语音识别界面示意图；
图4为本发明语音输入界面示意图；
图5为本发明地址解析失败界面示意图；
图6为本发明地址解析成功示意图；
图7为本发明步行导航示意图；
图8为本发明摄像机调用界面示意图；
图9为本发明目标检测和测距结果示意图；
图10为本发明摄像头拍摄的地面区域示意图；
图11为本发明 y' 轴切面示意图；
图12为本发明 x' 轴上x的计算示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于Android智能手机的盲人视觉测距导航方法,提供一内置目标检测模型的Android智能手机，包括以下步骤：
步骤S1:通过语音唤醒手机，根据GPS定位实时位置；用户通过语音唤醒App(Application)，进入App后，呈现的第一个界面是定位界面，如图2所示；此时，App用语音提示用户“正在为您定位，请稍候”，同时App开始自动定位当前位置，定位成功后，App用语音提示用户“您的当前位置在+具体位置”。
步骤S2：利用百度地图开源API，语音输入目的地位置，实现语音步行导航；定位结束后转入语音识别界面，如图3所示；此时，App用语音提示用户“请按住屏幕，语音输入目的地”，当用户按住屏幕开始说话时，屏幕界面颜色变深，并浮现出“请开始说话”的提示文字，如图4所示；当用户松开屏幕停止说话时，App立即对用户输入的语音进行识别，之后将识别的结果显示在屏幕上，然后将识别结果作为目的地，利用百度地图开源API对目的地进行解析，如果解析失败，则用语音提示用户“地址解析失败，请重新输入”，同时在屏幕上提示解析失败，如图5所示；如果解析成功，则在屏幕上显示解析得到的经纬度信息，如图6所示。接着，地址解析成功后转入导航界面，如图所示7；此时，百度地图开源API将开始提供语音导航服务。
步骤S3:将手机以一定角度向地面倾斜，设置于盲人身上；
步骤S4:通过手机摄像头获得道路实时图像信息；
步骤S5:根据内置的目标检测模型对实时图像信息进行目标检测，识别障碍物；
步骤S6:根据摄像头俯仰角信息、检测框信息、图像尺寸和摄像头高度，计算得到障碍物距离；
首先，通过调用手机内部方向传感器测得手机与水平面的夹角，并利用几何角度互余关系求得摄像机的俯仰角。其次。利用检测框左上角坐标(xmin, ymin)和右下角坐标(xmax, ymax)，通过式1和式2计算，间接获得检测框底部中点的坐标：
式1
式 2
接着，利用俯仰角、检测框底部坐标、摄像头高度和图像尺寸等信息，通过成像几何关系求得距离，并将距离、检测框、类别及类别置信度一同显示在屏幕上，如图9所示。具体原理如下所示：
（1）参数介绍：
相机高度h，探测器俯仰角θ，水平半视场角γ，摄像机垂直半视场角β。W为图像宽度，d为像元长度，f为焦距。其中，f可通过相机标定获得，γ和β通过式3和式4求得。摄像机检测到地面区域如图10所示。绿色区域代表图像对应的实际地面区域，O' 对应图像中心。
式 3
式 4
（2）求 y' 轴方向y的距离
y' 轴切面如图11所示。假设Y为坐标点 (x, y) 在 y' 轴上与图像中心点的垂直距离，Y' 为图像高的一半，则 y' 轴方向y的距离由式5求得。其中，当 (x, y) 位于图像上半部分时取 - 号，当 (x, y) 位于图像下半部分时取 + 号。
式 5
（3）求 x' 轴方向x的距离
x' 轴上x的计算示意图如图12所示。根据几何关系，x' 轴方向x的距离可由式6求得。其中，y为（2）中计算出的y方向的地理坐标，X为坐标点 (x, y) 在x'轴上到图像中心点的垂直距离，X' 为图像宽的一半。
式 6
（4）计算距离
根据（2）（3）中计算出的x、y的值，由式7可以计算地面距离dis。
式 7
步骤S7:根据障碍物类型和距离，对盲人进行不同的语音提示。
在本实施例中，所述目标检测模型采用SSD_MobilenetV2目标检测模型；收集路面上常见的几类障碍物的图像数据，如自行车、行人、电动车、摩托车和汽车等，并将这些图像数据制作成数据集，然后利用这些数据集对SSD_MobilenetV2目标检测模型进行训练，将训练得到的目标检测模型移植到Android智能手机上，对摄像机传来的图像利用模型进行目标检测，获得检测框和类别，并将检测框和类别在图像上标出来，并显示在手机屏幕上。
在本实施例中，所述步骤S6具体为：过程序代码调用手机内部方向传感器，测得手机与水平面的夹角，通过几何关系，间接计算得出摄像头的俯仰角，并提取检测框底部中点坐标，结合摄像头高度和图像尺寸，根据成像几何关系计算得到障碍物与盲人的距离。
在本实施例中，所述语音提示包括7个危险级别，级别越高，提示音越急促。
在本实施例中，每次对检测到的障碍物的危险级别从高到低进行排序，若障碍物较多，则仅播报前3个级别，防止提示过多造成盲人的混乱。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (5)
1.一种基于Android智能手机的盲人视觉测距导航方法,提供一内置目标检测模型的Android智能手机，其特征在于，包括以下步骤：
步骤S1:通过语音唤醒手机，根据GPS定位实时位置；
步骤S2：利用百度地图开源API，语音输入目的地位置，实现语音步行导航；
步骤S3:将手机以一定角度向地面倾斜，设置于盲人身上；
步骤S4:通过手机摄像头获得道路实时图像信息；
步骤S5:根据内置的目标检测模型对实时图像信息进行目标检测，识别障碍物；
步骤S6:根据摄像头俯仰角信息、检测框信息、图像尺寸和摄像头高度，计算得到障碍物距离；
步骤S7:根据障碍物类型和距离，对盲人进行不同的语音提示。
2.根据权利要求1所述的基于Android智能手机的盲人视觉测距导航方法，其特征在于：所述目标检测模型采用SSD_MobilenetV2目标检测模型。
3.根据权利要求1所述的基于Android智能手机的盲人视觉测距导航方法，其特征在于：所述步骤S6具体为：过程序代码调用手机内部方向传感器，测得手机与水平面的夹角，通过几何关系，间接计算得出摄像头的俯仰角，并提取检测框底部中点坐标，结合摄像头高度和图像尺寸，根据成像几何关系计算得到障碍物与盲人的距离。
4.根据权利要求1所述的基于Android智能手机的盲人视觉测距导航方法，其特征在于：所述语音提示包括7个危险级别，级别越高，提示音越急促。
5.根据权利要求4所述的基于Android智能手机的盲人视觉测距导航方法，其特征在于：每次对检测到的障碍物的危险级别从高到低进行排序，若障碍物较多，则仅播报前3个级别，防止提示过多造成盲人的混乱。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910285086.XA CN109931946A (zh) | 2019-04-10 | 2019-04-10 | 基于Android智能手机的盲人视觉测距导航方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910285086.XA CN109931946A (zh) | 2019-04-10 | 2019-04-10 | 基于Android智能手机的盲人视觉测距导航方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109931946A true CN109931946A (zh) | 2019-06-25 |
Family
ID=66989603
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910285086.XA Pending CN109931946A (zh) | 2019-04-10 | 2019-04-10 | 基于Android智能手机的盲人视觉测距导航方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109931946A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334646A (zh) * | 2019-07-02 | 2019-10-15 | 朱恺晗 | 一种基于ssd的单类别障碍物识别的检测方法 |
| CN110968718A (zh) * | 2019-11-19 | 2020-04-07 | 北京百度网讯科技有限公司 | 目标检测模型负样本挖掘方法、装置及电子设备 |
| CN112168634A (zh) * | 2020-10-29 | 2021-01-05 | 中国电子科技集团公司第二十八研究所 | 一种多功能导盲杖 |
| CN112414424A (zh) * | 2019-08-20 | 2021-02-26 | 三赢科技（深圳）有限公司 | 盲人导航方法及盲人导航装置 |
| CN112417967A (zh) * | 2020-10-22 | 2021-02-26 | 腾讯科技（深圳）有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
| CN113899382A (zh) * | 2021-09-30 | 2022-01-07 | 紫清智行科技(北京)有限公司 | 一种基于导航系统的导盲车辆路径生成方法和装置 |
| CN114699287A (zh) * | 2022-03-02 | 2022-07-05 | 北京工业大学 | 基于移动端快速深度神经网络的盲人日常出行辅助方法 |
| CN115468569A (zh) * | 2022-09-16 | 2022-12-13 | 海南大学 | 一种基于双定位的语音控制车辆导航方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101701828A (zh) * | 2009-11-23 | 2010-05-05 | 常州达奇信息科技有限公司 | 基于立体视觉和信息融合的盲人自主导航方法 |
| CN102164344A (zh) * | 2011-02-21 | 2011-08-24 | 中国华录集团有限公司 | 盲人导航手机 |
| CN106709518A (zh) * | 2016-12-20 | 2017-05-24 | 西南大学 | 基于Android平台的盲道识别系统 |
| CN107436150A (zh) * | 2016-05-28 | 2017-12-05 | 深圳富泰宏精密工业有限公司 | 安全提醒装置、方法和具有安全提醒装置的导盲仗 |
| CN107610152A (zh) * | 2017-08-31 | 2018-01-19 | 杭州视氪科技有限公司 | 一种用于躲避水面与障碍物的通路检测方法 |
| KR20180079116A (ko) * | 2016-12-30 | 2018-07-10 | 김영록 | 시각 장애인 안내 서비스 제공 시스템 및 방법 |
-
2019
- 2019-04-10 CN CN201910285086.XA patent/CN109931946A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101701828A (zh) * | 2009-11-23 | 2010-05-05 | 常州达奇信息科技有限公司 | 基于立体视觉和信息融合的盲人自主导航方法 |
| CN102164344A (zh) * | 2011-02-21 | 2011-08-24 | 中国华录集团有限公司 | 盲人导航手机 |
| CN107436150A (zh) * | 2016-05-28 | 2017-12-05 | 深圳富泰宏精密工业有限公司 | 安全提醒装置、方法和具有安全提醒装置的导盲仗 |
| CN106709518A (zh) * | 2016-12-20 | 2017-05-24 | 西南大学 | 基于Android平台的盲道识别系统 |
| KR20180079116A (ko) * | 2016-12-30 | 2018-07-10 | 김영록 | 시각 장애인 안내 서비스 제공 시스템 및 방법 |
| CN107610152A (zh) * | 2017-08-31 | 2018-01-19 | 杭州视氪科技有限公司 | 一种用于躲避水面与障碍物的通路检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 吴晓烽等: "用于盲人视觉辅助的多目标快速识别并同步测距方法", 《福州大学学报(自然科学版)》 * |
| 林炳炎等: "基于Android的智能视频监控系统", 《电视技术》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110334646A (zh) * | 2019-07-02 | 2019-10-15 | 朱恺晗 | 一种基于ssd的单类别障碍物识别的检测方法 |
| CN112414424A (zh) * | 2019-08-20 | 2021-02-26 | 三赢科技（深圳）有限公司 | 盲人导航方法及盲人导航装置 |
| CN112414424B (zh) * | 2019-08-20 | 2023-11-28 | 信扬科技(佛山)有限公司 | 盲人导航方法及盲人导航装置 |
| CN110968718A (zh) * | 2019-11-19 | 2020-04-07 | 北京百度网讯科技有限公司 | 目标检测模型负样本挖掘方法、装置及电子设备 |
| CN110968718B (zh) * | 2019-11-19 | 2023-07-14 | 北京百度网讯科技有限公司 | 目标检测模型负样本挖掘方法、装置及电子设备 |
| CN112417967A (zh) * | 2020-10-22 | 2021-02-26 | 腾讯科技（深圳）有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
| CN112417967B (zh) * | 2020-10-22 | 2021-12-14 | 腾讯科技（深圳）有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
| CN112168634A (zh) * | 2020-10-29 | 2021-01-05 | 中国电子科技集团公司第二十八研究所 | 一种多功能导盲杖 |
| CN113899382A (zh) * | 2021-09-30 | 2022-01-07 | 紫清智行科技(北京)有限公司 | 一种基于导航系统的导盲车辆路径生成方法和装置 |
| CN113899382B (zh) * | 2021-09-30 | 2022-05-24 | 紫清智行科技(北京)有限公司 | 一种基于导航系统的导盲车辆路径生成方法和装置 |
| CN114699287A (zh) * | 2022-03-02 | 2022-07-05 | 北京工业大学 | 基于移动端快速深度神经网络的盲人日常出行辅助方法 |
| CN115468569A (zh) * | 2022-09-16 | 2022-12-13 | 海南大学 | 一种基于双定位的语音控制车辆导航方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109931946A (zh) | 基于Android智能手机的盲人视觉测距导航方法 | |
| US20220309200A1 (en) | Dynamic interactive simulation method for recognition and planning of urban viewing corridor | |
| JP6484228B2 (ja) | 視覚強化ナビゲーション | |
| US9070023B2 (en) | System and method of alerting a driver that visual perception of pedestrian may be difficult | |
| WO2018201835A1 (zh) | 信号灯状态识别方法、装置、车载控制终端及机动车 | |
| US10972864B2 (en) | Information recommendation method, apparatus, device and computer readable storage medium | |
| US9070305B1 (en) | Traffic light detecting system and method | |
| JP6833668B2 (ja) | 画像特徴強調装置、路面特徴解析装置、画像特徴強調方法及び路面特徴解析方法 | |
| US20150260539A1 (en) | Three Dimensional Routing | |
| CN108256413A (zh) | 可通行区域检测方法及装置、存储介质、电子设备 | |
| CN105426837B (zh) | 移动网络视觉雾霾检测系统 | |
| WO2013057127A1 (en) | Reimaging based on depthmap information | |
| CN103049084A (zh) | 一种可根据人脸方向来调整显示方向的电子设备及其方法 | |
| CN110956069B (zh) | 一种行人3d位置的检测方法及装置、车载终端 | |
| Murali et al. | Smartphone-based crosswalk detection and localization for visually impaired pedestrians | |
| WO2022041869A1 (zh) | 路况提示方法、装置、电子设备、存储介质及程序产品 | |
| CN109543665A (zh) | 图像定位方法及装置 | |
| CN112674998B (zh) | 基于快速深度神经网络和移动智能设备的盲人交通路口辅助方法 | |
| US20130135446A1 (en) | Street view creating system and method thereof | |
| CN105078717A (zh) | 一种智能导盲方法及设备 | |
| CN112525185B (zh) | 基于定位的ar导览方法及ar头戴式显示装置 | |
| CN104850842A (zh) | 移动终端虹膜识别的人机交互方法 | |
| CN114627021A (zh) | 基于点云与深度学习的缺陷检测方法和系统 | |
| CN111768361B (zh) | 地下空间品质评价及其可视化呈现方法及系统 | |
| CN110334583A (zh) | 一种小区域土壤植被覆盖率测量方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190625 |