CN113050917A - 一种立体感知环境的智能助盲眼镜系统 - Google Patents
一种立体感知环境的智能助盲眼镜系统 Download PDFInfo
- Publication number
- CN113050917A CN113050917A CN202110413733.8A CN202110413733A CN113050917A CN 113050917 A CN113050917 A CN 113050917A CN 202110413733 A CN202110413733 A CN 202110413733A CN 113050917 A CN113050917 A CN 113050917A
- Authority
- CN
- China
- Prior art keywords
- module
- sound
- mapping
- environment
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种立体感知环境的智能助盲眼镜系统,包括环境信息采集模块、目标识别与定位模块、主控模块、发声模块、声音映射模块和背包集成模块;目标识别与定位模块、主控模块和声音映射模块集成在背包集成模块中,背包集成模块的输入为周围环境图像信息,输出为声音信息及定位信息;目标识别与定位模块中按照需求载入训练好的用于图像分割和图像识别的神经网络模型,根据具体场景对模型进行选择和修改;声音映射模块建立有不同识别结果与不同声音种类的映射关系,映射关系通过软件编程实现;根据自身需要对声音映射模块进行修改。本发明可以帮助盲人较为轻易地通过收到的不同声音信息来立体感知环境。
Description
技术领域
本发明涉及计算机视觉和信息处理的技术领域,具体地,涉及一种立体感知环境的智能助盲眼镜系统。
背景技术
目前,世界各地的研究机构已经研发了许多帮助盲人群体感知周围环境的辅助装置,有的还取得了不错的实践效果。当前主流的辅助盲人感知环境的方式主要分为以下几类:1、利用摄像头、红外传感器、超声波等检测人体周围环境,然后通过语音告知盲人;2、利用超声波等手段,直接将人体周围环境信息完整转化为人能够接收到的音频信号,再将信号传输给人体;3、利用摄像头、超声波等手段检测人体周围环境,然后通过刺激人体触觉等方式传输给人体。
第一类方式,即直接用语音告知人体周围环境信息的方式。这类方式是目前所用最多的,这种方式实现相对简单,而且较为稳定有效,但是这种方式同时存在很多局限性,如:当环境较复杂时,通过语音告知周围环境信息这种方式效率太低,而且容易造成对人耳的语音轰炸,同时这种方式难以使人对环境产生即时的立体感知效果。
第二类方式,即利用超声波等手段,直接将人体周围环境信息完整转化为人能够接收到的音频信号,再将信号传输给人体。这类方式有效缓解了第一类方式效率低下,难以使人对环境产生即时的立体感知效果的问题。但同时这种方式又引入了新的问题,由于输入人体的信息太过复杂,普通人很难根据这些信息对周围环境进行有效感知。
第三类方式,即利用摄像头、超声波等手段检测人体周围环境,然后通过刺激人体触觉等方式传输给人体。这类方式由于其稳定性较差、不够方便等原因,更多是作为前两种方式的补充。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种立体感知环境的智能助盲眼镜系统。
根据本发明提供的一种立体感知环境的智能助盲眼镜系统,包括环境信息采集模块、目标识别与定位模块、主控模块、发声模块、声音映射模块和背包集成模块;
所述目标识别与定位模块、主控模块和声音映射模块集成在背包集成模块中,所述背包集成模块的输入为周围环境图像信息,输出为声音信息及定位信息;
所述目标识别与定位模块中按照需求载入训练好的用于图像分割和图像识别的神经网络模型,根据具体场景对模型进行选择和修改;
所述声音映射模块建立有不同识别结果与不同声音种类的映射关系,所述映射关系通过软件编程实现;根据自身需要对声音映射模块进行修改;
系统最后输出的声音所蕴含的信息包括但不限于周围物品种类、周围环境颜色和周围物品大小,背包集成模块中的目标识别与定位模块和声音映射模块中相应软件进行编辑实现。
优选地,所述目标识别与定位模块对环境信息采集模块采集到的信息进行目标识别与定位,将环境信息采集模块采集到的信息通过无线或有线通讯方式直接传输到具备目标识别与定位能力的云端平台,通过云端平台对收到的信息进行处理,云端平台经过自身处理得到的目标识别结果与定位结果发送给主控系统。
优选地,所述目标识别与定位模块集成在背包集成模块中,利用云端平台进行目标识别与定位工作。
优选地,所述主控系统通过目标识别结果在声音映射模块中查找对应类型声音,声音映射模块由软件编程实现,将不同物品与映射声音信息直接制成一张声音信息映射表,主控系统直接对声音信息映射表进行查找。
优选地,所述声音映射模块的映射方式包括不同物品与不同声音间的映射、不同颜色与不同声音间的映射、不同形状与不同声音间的映射、不同大小与不同声音间的映射,不同距离与不同声音间的映射。
优选地,所述环境信息采集模块由两个摄像头构成,目标定位模块根据两个摄像头所拍摄的图像的视觉差计算出目标物品与摄像头之间的相对位置,目标定位模块通过目标物品与摄像头之间的相对位置建立以人体所在中心为坐标原点的坐标系,解算出目标物品的相对坐标。
优选地,所述环境信息采集模块采用双摄像头或多摄像头阵列的方式,采用超声波、红外线辅助定位。
优选地,所述发声模块根据周围环境生成的声音信息是人体周围环境中所识别到的物品的对应声音信息合成的混合声音。
与现有技术相比,本发明具有如下的有益效果:
1、本发明可以帮助盲人较为轻易地通过收到的不同声音信息来立体感知环境。
2、本发明有效缓解了效率低下、难以使人对环境产生即时的立体感知的问题,同时通过人为调整声音信息映射表,可以使得输入人体的语音信息不会太过复杂,为每位盲人专门调整出最适合于他本人的个性化声音信息映射表,普通盲人经过一段时间的习惯后完全可以通过所听到的音频信息立体感知周围环境。
3、在本发明中,盲人可以自己定制适合自己的声音映射模块,通过声音映射模块的映射,使得盲人通过所听到的声音较为轻松且立体地感知周围环境。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1位本发明的流程框图;
图2为本发明穿戴在人体身上的整体结构示意图;
图3为本发明头部穿戴部分局部图;
图4为本发明模块化工作流程示意图。
其中,1、双摄像头;2、耳机;3、电源线及信号传输线;4、集成背包;5、头部设备固定绑带。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
参照图1和图2,本发明提供一种立体感知环境的智能助盲眼镜系统,包括环境信息采集模块、目标识别与定位模块、主控模块、发声模块和声音映射模块。
首先,环境信息采集模块采集当前环境信息,即通过安装于眼镜上的两个摄像头拍摄当前环境图像,然后将图像传输给目标识别与定位模块,目标识别与定位模块通过已经提前训练好的深度卷积神经网络对图像进行识别,当识别到目标时,目标识别与定位模块通过双摄像头所传输图像的视差对目标位置进行计算,计算得到所识别目标的位置后,目标识别与定位模块将识别结果和位置信息一同传输给主控模块。主控模块通过声音信息映射模块找到对应声音信息,然后把声音信息与位置信息一同传输给发声模块,由发声模块通过耳机发出蕴含识别目标信息的声音。
参照图3,具体地,通过提前约定并对声音信息映射表进行编写。例如:手机这个目标物品在声音映射模块中对应于声音o,桌子这个目标物品声音映射模块中对应于声音u,桌子在盲人正前方2米处,手机放在桌子上,当给盲人带上本发明中的智能助盲眼镜系统进行环境感知时,盲人将从耳机中听到正前方2米处传来ou音。经过简单训练,盲人将很容易从中辨别出正前方两米处有一张桌子和一部手机。
在本发明中,盲人可以自己定制适合自己的声音映射模块,通过声音映射模块的映射,可以使得盲人通过所听到的声音较为轻松且立体地感知周围环境。
本发明可以帮助盲人较为轻易地通过收到的不同声音信息来立体感知环境;并有效缓解了效率低下、难以使人对环境产生即时的立体感知的问题,同时通过人为调整声音信息映射表,可以使得输入人体的语音信息不会太过复杂,为每位盲人专门调整出最适合于他本人的个性化声音信息映射表,普通盲人经过一段时间的习惯后完全可以通过所听到的音频信息立体感知周围环境。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以,本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构;也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。
Claims (8)
1.一种立体感知环境的智能助盲眼镜系统,其特征在于,包括环境信息采集模块、目标识别与定位模块、主控模块、发声模块、声音映射模块和背包集成模块;
所述目标识别与定位模块、主控模块和声音映射模块集成在背包集成模块中,所述背包集成模块的输入为周围环境图像信息,输出为声音信息及定位信息;
所述目标识别与定位模块中按照需求载入训练好的用于图像分割和图像识别的神经网络模型,根据具体场景对模型进行选择和修改;
所述声音映射模块建立有不同识别结果与不同声音种类的映射关系,所述映射关系通过软件编程实现;根据自身需要对声音映射模块进行修改;
系统最后输出的声音所蕴含的信息包括但不限于周围物品种类、周围环境颜色和周围物品大小,背包集成模块中的目标识别与定位模块和声音映射模块中相应软件进行编辑实现。
2.根据权利要求1所述的一种立体感知环境的智能助盲眼镜系统,其特征在于,所述目标识别与定位模块对环境信息采集模块采集到的信息进行目标识别与定位,将环境信息采集模块采集到的信息通过无线或有线通讯方式直接传输到具备目标识别与定位能力的云端平台,通过云端平台对收到的信息进行处理,云端平台经过自身处理得到的目标识别结果与定位结果发送给主控系统。
3.根据权利要求2所述的一种立体感知环境的智能助盲眼镜系统,其特征在于,所述目标识别与定位模块集成在背包集成模块中,利用云端平台进行目标识别与定位工作。
4.根据权利要求1所述的一种立体感知环境的智能助盲眼镜系统,其特征在于,所述主控系统通过目标识别结果在声音映射模块中查找对应类型声音,声音映射模块由软件编程实现,将不同物品与映射声音信息直接制成一张声音信息映射表,主控系统直接对声音信息映射表进行查找。
5.根据权利要求4所述的一种立体感知环境的智能助盲眼镜系统,其特征在于,所述声音映射模块的映射方式包括不同物品与不同声音间的映射、不同颜色与不同声音间的映射、不同形状与不同声音间的映射、不同大小与不同声音间的映射,不同距离与不同声音间的映射。
6.根据权利要求1所述的一种立体感知环境的智能助盲眼镜系统,其特征在于,所述环境信息采集模块由两个摄像头构成,目标定位模块根据两个摄像头所拍摄的图像的视觉差计算出目标物品与摄像头之间的相对位置,目标定位模块通过目标物品与摄像头之间的相对位置建立以人体所在中心为坐标原点的坐标系,解算出目标物品的相对坐标。
7.根据权利要求6所述的一种立体感知环境的智能助盲眼镜系统,其特征在于,所述环境信息采集模块采用双摄像头或多摄像头阵列的方式,采用超声波、红外线辅助定位。
8.根据权利要求1所述的一种立体感知环境的智能助盲眼镜系统,其特征在于,所述发声模块根据周围环境生成的声音信息是人体周围环境中所识别到的物品的对应声音信息合成的混合声音。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110413733.8A CN113050917B (zh) | 2021-04-16 | 2021-04-16 | 一种立体感知环境的智能助盲眼镜系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110413733.8A CN113050917B (zh) | 2021-04-16 | 2021-04-16 | 一种立体感知环境的智能助盲眼镜系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113050917A true CN113050917A (zh) | 2021-06-29 |
CN113050917B CN113050917B (zh) | 2022-10-28 |
Family
ID=76519610
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110413733.8A Active CN113050917B (zh) | 2021-04-16 | 2021-04-16 | 一种立体感知环境的智能助盲眼镜系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113050917B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114677603A (zh) * | 2022-03-23 | 2022-06-28 | 平安普惠企业管理有限公司 | 导盲方法、装置、计算机设备及计算机可读存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101040809A (zh) * | 2007-04-19 | 2007-09-26 | 上海交通大学 | 基于认知和目标辨识的视觉替代方法 |
CN104983511A (zh) * | 2015-05-18 | 2015-10-21 | 上海交通大学 | 针对全盲视觉障碍者的语音帮助智能眼镜系统 |
CN106389078A (zh) * | 2016-11-24 | 2017-02-15 | 贵州大学 | 一种智能导盲眼镜系统及其导盲方法 |
CN106580644A (zh) * | 2016-12-20 | 2017-04-26 | 上海斐讯数据通信技术有限公司 | 一种信息转化方法及系统和盲人导航方法及系统 |
CN109077901A (zh) * | 2018-06-26 | 2018-12-25 | 北京化工大学 | 一种符合人体工学的可穿戴式助盲机器人机构 |
WO2019111077A1 (en) * | 2017-11-12 | 2019-06-13 | Aleph Bot Ltd. | Systems, methods, devices, circuits and computer executable code for tracking evaluating and facilitating a medical procedure |
WO2019196133A1 (zh) * | 2018-04-09 | 2019-10-17 | 杭州瑞杰珑科技有限公司 | 一种头戴式助视装置 |
-
2021
- 2021-04-16 CN CN202110413733.8A patent/CN113050917B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101040809A (zh) * | 2007-04-19 | 2007-09-26 | 上海交通大学 | 基于认知和目标辨识的视觉替代方法 |
CN104983511A (zh) * | 2015-05-18 | 2015-10-21 | 上海交通大学 | 针对全盲视觉障碍者的语音帮助智能眼镜系统 |
CN106389078A (zh) * | 2016-11-24 | 2017-02-15 | 贵州大学 | 一种智能导盲眼镜系统及其导盲方法 |
CN106580644A (zh) * | 2016-12-20 | 2017-04-26 | 上海斐讯数据通信技术有限公司 | 一种信息转化方法及系统和盲人导航方法及系统 |
WO2019111077A1 (en) * | 2017-11-12 | 2019-06-13 | Aleph Bot Ltd. | Systems, methods, devices, circuits and computer executable code for tracking evaluating and facilitating a medical procedure |
WO2019196133A1 (zh) * | 2018-04-09 | 2019-10-17 | 杭州瑞杰珑科技有限公司 | 一种头戴式助视装置 |
CN109077901A (zh) * | 2018-06-26 | 2018-12-25 | 北京化工大学 | 一种符合人体工学的可穿戴式助盲机器人机构 |
Non-Patent Citations (3)
Title |
---|
APICHED AUDOMPHON: "Smart Glasses for Sign Reading as Mobility Aids for the Blind Using a Light Communication System", 《 2020 17TH INTERNATIONAL CONFERENCE ON ELECTRICAL ENGINEERING/ELECTRONICS, COMPUTER, TELECOMMUNICATIONS AND INFORMATION TECHNOLOGY (ECTI-CON)》 * |
何腾鹏: "基于机器视觉的智能导盲眼镜设计", 《电子技术应用》 * |
田亚男等: "基于SVM图像分割方法的自动导盲系统", 《东北大学学报(自然科学版)》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114677603A (zh) * | 2022-03-23 | 2022-06-28 | 平安普惠企业管理有限公司 | 导盲方法、装置、计算机设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113050917B (zh) | 2022-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10528815B2 (en) | Method and device for visually impaired assistance | |
US9792501B1 (en) | Method and device for visually impaired assistance | |
CN204744865U (zh) | 基于听觉的为视觉障碍人士传达周围环境信息的装置 | |
CN104983511A (zh) | 针对全盲视觉障碍者的语音帮助智能眼镜系统 | |
CN110559127A (zh) | 基于听觉与触觉引导的智能助盲系统及方法 | |
CN106389078A (zh) | 一种智能导盲眼镜系统及其导盲方法 | |
CN106203390A (zh) | 一种智能盲人辅助系统 | |
CN110770688B (zh) | 信息处理系统、信息处理方法及程序 | |
WO2022188022A1 (zh) | 一种基于听觉的感知系统及其使用方法 | |
CN111643324A (zh) | 一种智能盲人眼镜 | |
CN105761235A (zh) | 一种将视觉信息转换成听觉信息的视觉辅助方法 | |
Rao et al. | A vision-based system to detect potholes and uneven surfaces for assisting blind people | |
Liu et al. | Electronic travel aids for the blind based on sensory substitution | |
CN111047511A (zh) | 一种图像处理方法及电子设备 | |
Hu et al. | Stereopilot: A wearable target location system for blind and visually impaired using spatial audio rendering | |
CN106846350A (zh) | 一种基于rgb‑d相机和立体声的视障人士障碍物预警系统及方法 | |
CN113050917B (zh) | 一种立体感知环境的智能助盲眼镜系统 | |
US20190042844A1 (en) | Intelligent visual prosthesis | |
CN111862932B (zh) | 一种将图像转化为声音的可穿戴助盲系统及方法 | |
WO2019119290A1 (zh) | 提示信息确定方法、装置、电子设备和计算机程序产品 | |
EP3058926A1 (en) | Method of transforming visual data into acoustic signals and aid device for visually impaired or blind persons | |
CN111121749B (zh) | 一种基于神经网络的3d音效增强现实盲人导航系统的导航方法 | |
CN111329736B (zh) | 借助振动反馈感知环境图像的系统 | |
CN204258990U (zh) | 智能头戴显示装置 | |
CN106389077A (zh) | 移动终端、导盲前端设备和导盲系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |