CN111631927A - 一种基于视觉信息的盲人辅助导航方案 - Google Patents
一种基于视觉信息的盲人辅助导航方案 Download PDFInfo
- Publication number
- CN111631927A CN111631927A CN202010451297.9A CN202010451297A CN111631927A CN 111631927 A CN111631927 A CN 111631927A CN 202010451297 A CN202010451297 A CN 202010451297A CN 111631927 A CN111631927 A CN 111631927A
- Authority
- CN
- China
- Prior art keywords
- blind
- information
- personal intelligent
- dimensional information
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 17
- 230000004927 fusion Effects 0.000 claims abstract description 6
- 238000010276 construction Methods 0.000 claims abstract description 5
- 230000007613 environmental effect Effects 0.000 claims abstract description 4
- 230000003287 optical effect Effects 0.000 claims abstract description 4
- 239000011521 glass Substances 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H3/00—Appliances for aiding patients or disabled persons to walk about
- A61H3/06—Walking aids for blind persons
- A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
Landscapes
- Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Pain & Pain Management (AREA)
- Physical Education & Sports Medicine (AREA)
- Rehabilitation Therapy (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于视觉信息的盲人辅助导航方案，包括数据采集设备、个人智能设备和服务提供商数据中心；所述数据采集设备通过激光测距扫描、深度摄像头和传统光学摄像头拍摄获取环境自然环境三维信息；获取后的三维信息发送至个人智能设备中进行融合，在个人智能设备上实现其所处环境的三维信息构建，并将该三维信息变换成语言信息传递给盲人；同时个人智能设备将采集的数据和演变的模型上传到服务提供商数据中心，服务提供商数据中心采集和整合盲人处数据和模型，反馈给个人智能设备并将三维信息变换成语音传递给盲人；本发明解决了如下问题，自然环境下的多目标识别，自然环境下的大动态三维信息重建，场景三维信息到语音信息的变换。
Description
技术领域
本发明涉及一种基于视觉信息的盲人辅助导航方案，属于盲人辅助导航技术领域。
背景技术
随着人工智能技术的发展，使用多摄像头采集到的视觉信息进行深加工，推算出对人类生活更有意义的信息成为可能，特别是深度学习技术的发展，使其成为一种特别有效的手段和方法。基于深度学习的盲人的辅助导航技术是在健康中国大战略下的研发热点之一，是人工智能技术和医养大健康交叉的融合点之一，是利用信息技术撬动健康领域的支点之一。
虽然人工智能技术与医养健康融合是未来的发展趋势之一，现依然存在一些急需解决的问题：
1、自然环境下的多目标识别；
当盲人行走在街道时，摄像头获取的街道场景是自然环境下的视觉数据，该类数据存在大范围变化的遮挡、透视、光照等多因素干扰，使得在该场景下的多目标识别是一件很困难的工作。
2、自然环境下的大动态三维信息重建；
为了更有效的为盲人提供辅助导航，需要对其所处环境构建三维信息场，在实际自然场景下，其中涉及的目标包括静止的街景(例如：街道两侧的商店及其相应的铭牌)、中低速运行目标(例如：行走的人和骑行的自行车)和高速运行目标(例如：行驶中的汽车)。对于大动态的三维场景的构建，不仅需要众多的大型数据集和模型，还需要针对不同的目标推算其众多不同的属性，包括绝对属性(例如：目标的大小，颜色)和相对属性(例如：盲人与各目标的距离、相对速度等)。
3、来自不同数据采集设备的多数据整合；
盲人辅助导航系统需要处理大动态场景，所以需要使用不同的多数据采集设备，甚至包括激光扫描和测距设备，整合异构数据是一项比较困难的工作，其中包括数据融合、过滤和一致性表示等。
4、不利于自助机设备外观优化；
在盲人辅助导航设备上安装多数据采集设备，增加了设备微型化的困难且外观不易优化。
发明内容
针对上述存在的技术问题，本发明的目的是：提出了一种基于视觉信息的盲人辅助导航方案。
本发明的技术解决方案是这样实现的：一种基于视觉信息的盲人辅助导航方案，包括数据采集设备、个人智能设备和服务提供商数据中心；所述数据采集设备通过激光测距扫描、深度摄像头和传统光学摄像头拍摄获取环境自然环境三维信息；获取后的三维信息发送至个人智能设备中进行融合，在个人智能设备上实现其所处环境的三维信息构建，并将该三维信息变换成语言信息传递给盲人；同时个人智能设备将采集的数据和演变的模型上传到服务提供商数据中心，服务提供商数据中心采集和整合盲人处数据和模型，反馈给个人智能设备并将三维信息变换成语音传递给盲人；数据采集设备和个人智能设备形成一个小的内部的信息闭环；个人智能设备和服务提供商数据中心形成一个大的外部的信息闭环，在小的内部闭环中计算盲人所处环境的时空信息，并给出相应的时空提示，在大的外部闭环中，实现数据整合和模型演变。
优选的，所述数据采集设备为特殊眼镜；所述特殊眼镜带有激光测距扫描、摄像头和音频播放设备。
优选的，所述个人智能设备为手机。
由于上述技术方案的运用，本发明与现有技术相比具有下列优点：
本发明的一种基于视觉信息的盲人辅助导航方案，用于三维时空信息重建的多种类异构数据的整合方式，利用深度学习训练的模型实现多目标分类，依据分类结果计算对盲人的威胁程度，确定它们三维信息的重建次序，最终以分层的方式组织三维时空数据，本发明解决了如下问题，自然环境下的多目标识别，自然环境下的大动态三维信息重建，场景三维信息到语音信息的变换。
附图说明
下面结合附图对本发明技术方案作进一步说明：
附图1为本发明的一种基于视觉信息的盲人辅助导航方案的数据处理流程图；
附图2为本发明的一种基于视觉信息的盲人辅助导航方案的数据采集设备图。
具体实施方式
下面结合附图来说明本发明。
如附图1、2所示为本发明所述的一种基于视觉信息的盲人辅助导航方案，包括数据采集设备、个人智能设备和服务提供商数据中心；所述数据采集设备通过激光测距扫描、深度摄像头和传统光学摄像头拍摄获取环境自然环境三维信息；获取后的三维信息发送至个人智能设备中进行融合，在个人智能设备上实现其所处环境的三维信息构建，并将该三维信息变换成语言信息传递给盲人；同时个人智能设备将采集的数据和演变的模型上传到服务提供商数据中心，服务提供商数据中心采集和整合盲人处数据和模型，反馈给个人智能设备并将三维信息变换成语音传递给盲人；数据采集设备和个人智能设备形成一个小的内部的信息闭环；个人智能设备和服务提供商数据中心形成一个大的外部的信息闭环，在小的内部闭环中计算盲人所处环境的时空信息，并给出相应的时空提示，在大的外部闭环中，实现数据整合和模型演变。
为了更好的采集数据，所述数据采集设备为特殊眼镜；所述特殊眼镜带有激光测距扫描、摄像头和音频播放设备。
为了方便携带，所述个人智能设备为手机。
可以探索更多视觉设备采集图像，提取图像信息的方法，可以探索将四维时空信息通过其他通道传递给盲人，而不仅限于语音信息，例如脑电接口。
本发明的一种基于视觉信息的盲人辅助导航方案，用于三维时空信息重建的多种类异构数据的整合方式，利用深度学习训练的模型实现多目标分类，依据分类结果计算对盲人的威胁程度，确定它们三维信息的重建次序，最终以分层的方式组织三维时空数据，本发明解决了如下问题，自然环境下的多目标识别，自然环境下的大动态三维信息重建，场景三维信息到语音信息的变换。
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并加以实施，并不能以此限制本发明的保护范围，凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围内。
Claims (3)
1.一种基于视觉信息的盲人辅助导航方案，其特征在于：包括数据采集设备、个人智能设备和服务提供商数据中心；所述数据采集设备通过激光测距扫描、深度摄像头和传统光学摄像头拍摄获取环境自然环境三维信息；获取后的三维信息发送至个人智能设备中进行融合，在个人智能设备上实现其所处环境的三维信息构建，并将该三维信息变换成语言信息传递给盲人；同时个人智能设备将采集的数据和演变的模型上传到服务提供商数据中心，服务提供商数据中心采集和整合盲人处数据和模型，反馈给个人智能设备并将三维信息变换成语音传递给盲人；数据采集设备和个人智能设备形成一个小的内部的信息闭环；个人智能设备和服务提供商数据中心形成一个大的外部的信息闭环，在小的内部闭环中计算盲人所处环境的时空信息，并给出相应的时空提示，在大的外部闭环中，实现数据整合和模型演变。
2.如权利要求1所述的一种基于视觉信息的盲人辅助导航方案，其特征在于：所述数据采集设备为特殊眼镜；所述特殊眼镜带有激光测距扫描、摄像头和音频播放设备。
3.如权利要求1所述的一种基于视觉信息的盲人辅助导航方案，其特征在于：所述个人智能设备为手机。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010451297.9A CN111631927A (zh) | 2020-05-25 | 2020-05-25 | 一种基于视觉信息的盲人辅助导航方案 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010451297.9A CN111631927A (zh) | 2020-05-25 | 2020-05-25 | 一种基于视觉信息的盲人辅助导航方案 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111631927A true CN111631927A (zh) | 2020-09-08 |
Family
ID=72323670
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010451297.9A Pending CN111631927A (zh) | 2020-05-25 | 2020-05-25 | 一种基于视觉信息的盲人辅助导航方案 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111631927A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104983511A (zh) * | 2015-05-18 | 2015-10-21 | 上海交通大学 | 针对全盲视觉障碍者的语音帮助智能眼镜系统 |
| CN106162144A (zh) * | 2016-07-21 | 2016-11-23 | 触景无限科技（北京）有限公司 | 一种用于夜视环境的视觉图像处理设备、系统和智能机器 |
| CN106389078A (zh) * | 2016-11-24 | 2017-02-15 | 贵州大学 | 一种智能导盲眼镜系统及其导盲方法 |
| CN109381329A (zh) * | 2018-12-18 | 2019-02-26 | 成都理工大学 | 一种智能导盲头盔及其运行方法 |
| US20190170532A1 (en) * | 2017-12-06 | 2019-06-06 | Inventec (Pudong) Technology Corporation | Navigation System For The Visually Impaired And Method Thereof |
| CN110208787A (zh) * | 2019-05-05 | 2019-09-06 | 北京航空航天大学 | 一种基于v2i的智能网联自动驾驶汽车辅助感知路灯系统 |
| CN110236895A (zh) * | 2019-05-10 | 2019-09-17 | 苏州米特希赛尔人工智能有限公司 | Ai盲人导航眼镜 |
| CN111035542A (zh) * | 2019-12-24 | 2020-04-21 | 开放智能机器（上海）有限公司 | 一种基于图像识别的智能导盲系统 |
-
2020
- 2020-05-25 CN CN202010451297.9A patent/CN111631927A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104983511A (zh) * | 2015-05-18 | 2015-10-21 | 上海交通大学 | 针对全盲视觉障碍者的语音帮助智能眼镜系统 |
| CN106162144A (zh) * | 2016-07-21 | 2016-11-23 | 触景无限科技（北京）有限公司 | 一种用于夜视环境的视觉图像处理设备、系统和智能机器 |
| CN106389078A (zh) * | 2016-11-24 | 2017-02-15 | 贵州大学 | 一种智能导盲眼镜系统及其导盲方法 |
| US20190170532A1 (en) * | 2017-12-06 | 2019-06-06 | Inventec (Pudong) Technology Corporation | Navigation System For The Visually Impaired And Method Thereof |
| CN109381329A (zh) * | 2018-12-18 | 2019-02-26 | 成都理工大学 | 一种智能导盲头盔及其运行方法 |
| CN110208787A (zh) * | 2019-05-05 | 2019-09-06 | 北京航空航天大学 | 一种基于v2i的智能网联自动驾驶汽车辅助感知路灯系统 |
| CN110236895A (zh) * | 2019-05-10 | 2019-09-17 | 苏州米特希赛尔人工智能有限公司 | Ai盲人导航眼镜 |
| CN111035542A (zh) * | 2019-12-24 | 2020-04-21 | 开放智能机器（上海）有限公司 | 一种基于图像识别的智能导盲系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108830150B (zh) | 一种基于三维人体姿态估计方法及装置 | |
| CN108388882B (zh) | 基于全局-局部rgb-d多模态的手势识别方法 | |
| CN111968217B (zh) | 基于图片的smpl参数预测以及人体模型生成方法 | |
| CN108245385B (zh) | 一种帮助视障人士出行的装置 | |
| EP4002268A1 (en) | Medical image processing method, image processing method, and device | |
| CN109828658B (zh) | 一种人机共融的远程态势智能感知系统 | |
| CN113822977A (zh) | 图像渲染方法、装置、设备以及存储介质 | |
| CN206322194U (zh) | 一种基于三维扫描的反欺诈人脸识别系统 | |
| Wei et al. | Real-time facial expression recognition for affective computing based on Kinect | |
| JP2022516398A (ja) | 画像処理方法及び画像処理装置、プロセッサ、電子機器並びに記憶媒体 | |
| CN110796593A (zh) | 基于人工智能的图像处理方法、装置、介质及电子设备 | |
| KR102309111B1 (ko) | 딥러닝 기반 비정상 행동을 탐지하여 인식하는 비정상 행동 탐지 시스템 및 탐지 방법 | |
| CN102932638B (zh) | 基于计算机建模的3d视频监控方法 | |
| CN107066635A (zh) | 一种基于图像对比识别的建筑信息导览的方法和系统 | |
| CN109035307A (zh) | 基于自然光双目视觉的设定区域目标追踪方法及系统 | |
| CN111583386A (zh) | 基于标签传播算法的多视角人体姿态重建方法 | |
| Yu et al. | Intelligent visual-IoT-enabled real-time 3D visualization for autonomous crowd management | |
| CN113064490B (zh) | 一种基于眼动轨迹的虚拟增强设备的识别方法 | |
| Pang et al. | Infrared and visible image fusion based on double fluid pyramids and multi-scale gradient residual block | |
| CN111631927A (zh) | 一种基于视觉信息的盲人辅助导航方案 | |
| CN112330753A (zh) | 一种增强现实系统的目标检测方法 | |
| CN111461772A (zh) | 一种基于生成对抗网络的视频广告融入系统与方法 | |
| CN113965550B (zh) | 智能交互式远程辅助视频系统 | |
| CN113138668B (zh) | 自动驾驶轮椅目的地选择方法、装置及系统 | |
| CN113255514B (zh) | 基于局部场景感知图卷积网络的行为识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200908 |