CN113050917B - 一种立体感知环境的智能助盲眼镜系统 - Google Patents

一种立体感知环境的智能助盲眼镜系统 Download PDF

Info

Publication number
CN113050917B
CN113050917B CN202110413733.8A CN202110413733A CN113050917B CN 113050917 B CN113050917 B CN 113050917B CN 202110413733 A CN202110413733 A CN 202110413733A CN 113050917 B CN113050917 B CN 113050917B
Authority
CN
China
Prior art keywords
module
sound
mapping
information
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110413733.8A
Other languages
English (en)
Other versions
CN113050917A (zh
Inventor
李智军
徐滇军
李琴剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202110413733.8A priority Critical patent/CN113050917B/zh
Publication of CN113050917A publication Critical patent/CN113050917A/zh
Application granted granted Critical
Publication of CN113050917B publication Critical patent/CN113050917B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明提供了一种立体感知环境的智能助盲眼镜系统，包括环境信息采集模块、目标识别与定位模块、主控模块、发声模块、声音映射模块和背包集成模块；目标识别与定位模块、主控模块和声音映射模块集成在背包集成模块中，背包集成模块的输入为周围环境图像信息，输出为声音信息及定位信息；目标识别与定位模块中按照需求载入训练好的用于图像分割和图像识别的神经网络模型，根据具体场景对模型进行选择和修改；声音映射模块建立有不同识别结果与不同声音种类的映射关系，映射关系通过软件编程实现；根据自身需要对声音映射模块进行修改。本发明可以帮助盲人较为轻易地通过收到的不同声音信息来立体感知环境。

Description

一种立体感知环境的智能助盲眼镜系统
技术领域
本发明涉及计算机视觉和信息处理的技术领域，具体地，涉及一种立体感知环境的智能助盲眼镜系统。
背景技术
目前，世界各地的研究机构已经研发了许多帮助盲人群体感知周围环境的辅助装置，有的还取得了不错的实践效果。当前主流的辅助盲人感知环境的方式主要分为以下几类：1、利用摄像头、红外传感器、超声波等检测人体周围环境，然后通过语音告知盲人；2、利用超声波等手段，直接将人体周围环境信息完整转化为人能够接收到的音频信号，再将信号传输给人体；3、利用摄像头、超声波等手段检测人体周围环境，然后通过刺激人体触觉等方式传输给人体。
第一类方式，即直接用语音告知人体周围环境信息的方式。这类方式是目前所用最多的，这种方式实现相对简单，而且较为稳定有效，但是这种方式同时存在很多局限性，如：当环境较复杂时，通过语音告知周围环境信息这种方式效率太低，而且容易造成对人耳的语音轰炸，同时这种方式难以使人对环境产生即时的立体感知效果。
第二类方式，即利用超声波等手段，直接将人体周围环境信息完整转化为人能够接收到的音频信号，再将信号传输给人体。这类方式有效缓解了第一类方式效率低下，难以使人对环境产生即时的立体感知效果的问题。但同时这种方式又引入了新的问题，由于输入人体的信息太过复杂，普通人很难根据这些信息对周围环境进行有效感知。
第三类方式，即利用摄像头、超声波等手段检测人体周围环境，然后通过刺激人体触觉等方式传输给人体。这类方式由于其稳定性较差、不够方便等原因，更多是作为前两种方式的补充。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种立体感知环境的智能助盲眼镜系统。
根据本发明提供的一种立体感知环境的智能助盲眼镜系统，包括环境信息采集模块、目标识别与定位模块、主控模块、发声模块、声音映射模块和背包集成模块；
所述目标识别与定位模块、主控模块和声音映射模块集成在背包集成模块中，所述背包集成模块的输入为周围环境图像信息，输出为声音信息及定位信息；
所述目标识别与定位模块中按照需求载入训练好的用于图像分割和图像识别的神经网络模型，根据具体场景对模型进行选择和修改；
所述声音映射模块建立有不同识别结果与不同声音种类的映射关系，所述映射关系通过软件编程实现；根据自身需要对声音映射模块进行修改；
系统最后输出的声音所蕴含的信息包括但不限于周围物品种类、周围环境颜色和周围物品大小，背包集成模块中的目标识别与定位模块和声音映射模块中相应软件进行编辑实现。
优选地，所述目标识别与定位模块对环境信息采集模块采集到的信息进行目标识别与定位，将环境信息采集模块采集到的信息通过无线或有线通讯方式直接传输到具备目标识别与定位能力的云端平台，通过云端平台对收到的信息进行处理，云端平台经过自身处理得到的目标识别结果与定位结果发送给主控系统。
优选地，所述目标识别与定位模块集成在背包集成模块中，利用云端平台进行目标识别与定位工作。
优选地，所述主控系统通过目标识别结果在声音映射模块中查找对应类型声音，声音映射模块由软件编程实现，将不同物品与映射声音信息直接制成一张声音信息映射表，主控系统直接对声音信息映射表进行查找。
优选地，所述声音映射模块的映射方式包括不同物品与不同声音间的映射、不同颜色与不同声音间的映射、不同形状与不同声音间的映射、不同大小与不同声音间的映射，不同距离与不同声音间的映射。
优选地，所述环境信息采集模块由两个摄像头构成，目标定位模块根据两个摄像头所拍摄的图像的视觉差计算出目标物品与摄像头之间的相对位置，目标定位模块通过目标物品与摄像头之间的相对位置建立以人体所在中心为坐标原点的坐标系，解算出目标物品的相对坐标。
优选地，所述环境信息采集模块采用双摄像头或多摄像头阵列的方式，采用超声波、红外线辅助定位。
优选地，所述发声模块根据周围环境生成的声音信息是人体周围环境中所识别到的物品的对应声音信息合成的混合声音。
与现有技术相比，本发明具有如下的有益效果：
1、本发明可以帮助盲人较为轻易地通过收到的不同声音信息来立体感知环境。
2、本发明有效缓解了效率低下、难以使人对环境产生即时的立体感知的问题，同时通过人为调整声音信息映射表，可以使得输入人体的语音信息不会太过复杂，为每位盲人专门调整出最适合于他本人的个性化声音信息映射表，普通盲人经过一段时间的习惯后完全可以通过所听到的音频信息立体感知周围环境。
3、在本发明中，盲人可以自己定制适合自己的声音映射模块，通过声音映射模块的映射，使得盲人通过所听到的声音较为轻松且立体地感知周围环境。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1位本发明的流程框图；
图2为本发明穿戴在人体身上的整体结构示意图；
图3为本发明头部穿戴部分局部图；
图4为本发明模块化工作流程示意图。
其中，1、双摄像头；2、耳机；3、电源线及信号传输线；4、集成背包；5、头部设备固定绑带。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
参照图1和图2，本发明提供一种立体感知环境的智能助盲眼镜系统，包括环境信息采集模块、目标识别与定位模块、主控模块、发声模块和声音映射模块。
首先，环境信息采集模块采集当前环境信息，即通过安装于眼镜上的两个摄像头拍摄当前环境图像，然后将图像传输给目标识别与定位模块，目标识别与定位模块通过已经提前训练好的深度卷积神经网络对图像进行识别，当识别到目标时，目标识别与定位模块通过双摄像头所传输图像的视差对目标位置进行计算，计算得到所识别目标的位置后，目标识别与定位模块将识别结果和位置信息一同传输给主控模块。主控模块通过声音信息映射模块找到对应声音信息，然后把声音信息与位置信息一同传输给发声模块，由发声模块通过耳机发出蕴含识别目标信息的声音。
参照图3，具体地，通过提前约定并对声音信息映射表进行编写。例如：手机这个目标物品在声音映射模块中对应于声音o，桌子这个目标物品声音映射模块中对应于声音u，桌子在盲人正前方2米处，手机放在桌子上，当给盲人带上本发明中的智能助盲眼镜系统进行环境感知时，盲人将从耳机中听到正前方2米处传来ou音。经过简单训练，盲人将很容易从中辨别出正前方两米处有一张桌子和一部手机。
在本发明中，盲人可以自己定制适合自己的声音映射模块，通过声音映射模块的映射，可以使得盲人通过所听到的声音较为轻松且立体地感知周围环境。
本发明可以帮助盲人较为轻易地通过收到的不同声音信息来立体感知环境；并有效缓解了效率低下、难以使人对环境产生即时的立体感知的问题，同时通过人为调整声音信息映射表，可以使得输入人体的语音信息不会太过复杂，为每位盲人专门调整出最适合于他本人的个性化声音信息映射表，普通盲人经过一段时间的习惯后完全可以通过所听到的音频信息立体感知周围环境。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (5)

1.一种立体感知环境的智能助盲眼镜系统，其特征在于，包括环境信息采集模块、目标识别与定位模块、主控模块、发声模块、声音映射模块和背包集成模块；
所述目标识别与定位模块、主控模块和声音映射模块集成在背包集成模块中，所述背包集成模块的输入为周围环境图像信息，输出为声音信息及定位信息；
所述目标识别与定位模块中按照需求载入训练好的用于图像分割和图像识别的神经网络模型，根据具体场景对模型进行选择和修改；
所述声音映射模块建立有不同识别结果与不同声音种类的映射关系，所述映射关系通过软件编程实现；根据自身需要对声音映射模块进行修改；
系统最后输出的声音所蕴含的信息包括但不限于周围物品种类、周围环境颜色和周围物品大小，背包集成模块中的目标识别与定位模块和声音映射模块中相应软件进行编辑实现；
所述目标识别与定位模块对环境信息采集模块采集到的信息进行目标识别与定位，将环境信息采集模块采集到的信息通过无线或有线通讯方式直接传输到具备目标识别与定位能力的云端平台，通过云端平台对收到的信息进行处理，云端平台经过自身处理得到的目标识别结果与定位结果发送给主控系统；
所述主控系统通过目标识别结果在声音映射模块中查找对应类型声音，声音映射模块由软件编程实现，将不同物品与映射声音信息直接制成一张声音信息映射表，主控系统直接对声音信息映射表进行查找；
所述环境信息采集模块由两个摄像头构成，目标定位模块根据两个摄像头所拍摄的图像的视觉差计算出目标物品与摄像头之间的相对位置，目标定位模块通过目标物品与摄像头之间的相对位置建立以人体所在中心为坐标原点的坐标系，解算出目标物品的相对坐标。
2.根据权利要求1所述的一种立体感知环境的智能助盲眼镜系统，其特征在于，所述目标识别与定位模块集成在背包集成模块中，利用云端平台进行目标识别与定位工作。
3.根据权利要求1所述的一种立体感知环境的智能助盲眼镜系统，其特征在于，所述声音映射模块的映射方式包括不同物品与不同声音间的映射、不同颜色与不同声音间的映射、不同形状与不同声音间的映射、不同大小与不同声音间的映射，不同距离与不同声音间的映射。
4.根据权利要求1所述的一种立体感知环境的智能助盲眼镜系统，其特征在于，所述环境信息采集模块采用双摄像头或多摄像头阵列的方式，采用超声波、红外线辅助定位。
5.根据权利要求1所述的一种立体感知环境的智能助盲眼镜系统，其特征在于，所述发声模块根据周围环境生成的声音信息是人体周围环境中所识别到的物品的对应声音信息合成的混合声音。
CN202110413733.8A 2021-04-16 2021-04-16 一种立体感知环境的智能助盲眼镜系统 Active CN113050917B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110413733.8A CN113050917B (zh) 2021-04-16 2021-04-16 一种立体感知环境的智能助盲眼镜系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110413733.8A CN113050917B (zh) 2021-04-16 2021-04-16 一种立体感知环境的智能助盲眼镜系统

Publications (2)

Publication Number Publication Date
CN113050917A CN113050917A (zh) 2021-06-29
CN113050917B true CN113050917B (zh) 2022-10-28

Family

ID=76519610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110413733.8A Active CN113050917B (zh) 2021-04-16 2021-04-16 一种立体感知环境的智能助盲眼镜系统

Country Status (1)

Country Link
CN (1) CN113050917B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677603A (zh) * 2022-03-23 2022-06-28 平安普惠企业管理有限公司 导盲方法、装置、计算机设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106389078A (zh) * 2016-11-24 2017-02-15 贵州大学 一种智能导盲眼镜系统及其导盲方法
WO2019111077A1 (en) * 2017-11-12 2019-06-13 Aleph Bot Ltd. Systems, methods, devices, circuits and computer executable code for tracking evaluating and facilitating a medical procedure
WO2019196133A1 (zh) * 2018-04-09 2019-10-17 杭州瑞杰珑科技有限公司 一种头戴式助视装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100544687C (zh) * 2007-04-19 2009-09-30 上海交通大学 基于认知和目标辨识的视觉替代方法
CN104983511A (zh) * 2015-05-18 2015-10-21 上海交通大学 针对全盲视觉障碍者的语音帮助智能眼镜系统
CN106580644A (zh) * 2016-12-20 2017-04-26 上海斐讯数据通信技术有限公司 一种信息转化方法及系统和盲人导航方法及系统
CN109077901A (zh) * 2018-06-26 2018-12-25 北京化工大学 一种符合人体工学的可穿戴式助盲机器人机构

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106389078A (zh) * 2016-11-24 2017-02-15 贵州大学 一种智能导盲眼镜系统及其导盲方法
WO2019111077A1 (en) * 2017-11-12 2019-06-13 Aleph Bot Ltd. Systems, methods, devices, circuits and computer executable code for tracking evaluating and facilitating a medical procedure
WO2019196133A1 (zh) * 2018-04-09 2019-10-17 杭州瑞杰珑科技有限公司 一种头戴式助视装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Smart Glasses for Sign Reading as Mobility Aids for the Blind Using a Light Communication System;Apiched Audomphon;《 2020 17th International Conference on Electrical Engineering/Electronics, Computer, Telecommunications and Information Technology (ECTI-CON)》;20200804;全文 *
基于SVM图像分割方法的自动导盲系统;田亚男等;《东北大学学报(自然科学版)》;20101215(第12期);全文 *
基于机器视觉的智能导盲眼镜设计;何腾鹏;《电子技术应用》;20170417;第43卷(第4期);全文 *

Also Published As

Publication number Publication date
CN113050917A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
US10528815B2 (en) Method and device for visually impaired assistance
JP7130057B2 (ja) 手部キーポイント認識モデルの訓練方法及びその装置、手部キーポイントの認識方法及びその装置、並びにコンピュータプログラム
US9792501B1 (en) Method and device for visually impaired assistance
CN104618705B (zh) 基于眼球追踪的不同距离自适应全息显示方法及设备
CN204744865U (zh) 基于听觉的为视觉障碍人士传达周围环境信息的装置
CN104983511A (zh) 针对全盲视觉障碍者的语音帮助智能眼镜系统
CN108169927B (zh) 一种基于双目立体视觉的导盲眼镜
CN110559127A (zh) 基于听觉与触觉引导的智能助盲系统及方法
CN106389078A (zh) 一种智能导盲眼镜系统及其导盲方法
WO2020237611A1 (zh) 图像处理方法、装置、控制终端及可移动设备
CN108245385A (zh) 一种帮助视障人士出行的装置
Sharma et al. International journal of engineering sciences & research technology a review on obstacle detection and vision
WO2022188022A1 (zh) 一种基于听觉的感知系统及其使用方法
Hu et al. StereoPilot: A wearable target location system for blind and visually impaired using spatial audio rendering
CN113050917B (zh) 一种立体感知环境的智能助盲眼镜系统
EP3058926A1 (en) Method of transforming visual data into acoustic signals and aid device for visually impaired or blind persons
CN111329736B (zh) 借助振动反馈感知环境图像的系统
CN204258990U (zh) 智能头戴显示装置
CN112731688A (zh) 一种适用于视觉障碍人士的智能眼镜系统
CN111685980A (zh) 一种基于触觉反馈的穿戴式盲人助行系统
CN111862932A (zh) 一种将图像转化为声音的可穿戴助盲系统及方法
CN205163381U (zh) 3d虚拟立体声辅助听觉训练系统
Hossain et al. State of the art review on walking support system for visually impaired people
CN111121749B (zh) 一种基于神经网络的3d音效增强现实盲人导航系统的导航方法
WO2019119290A1 (zh) 提示信息确定方法、装置、电子设备和计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant