CN108169927B - 一种基于双目立体视觉的导盲眼镜 - Google Patents

一种基于双目立体视觉的导盲眼镜 Download PDF

Info

Publication number
CN108169927B
CN108169927B CN201711264073.1A CN201711264073A CN108169927B CN 108169927 B CN108169927 B CN 108169927B CN 201711264073 A CN201711264073 A CN 201711264073A CN 108169927 B CN108169927 B CN 108169927B
Authority
CN
China
Prior art keywords
control box
primary control
waistband
vibration
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711264073.1A
Other languages
English (en)
Other versions
CN108169927A (zh
Inventor
朱建国
韩新建
孙雪琪
胡少磊
张健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Control and Electronic Technology
Original Assignee
Beijing Institute of Control and Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Control and Electronic Technology filed Critical Beijing Institute of Control and Electronic Technology
Priority to CN201711264073.1A priority Critical patent/CN108169927B/zh
Publication of CN108169927A publication Critical patent/CN108169927A/zh
Application granted granted Critical
Publication of CN108169927B publication Critical patent/CN108169927B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Otolaryngology (AREA)
  • Rehabilitation Therapy (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Acoustics & Sound (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pain & Pain Management (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Eyeglasses (AREA)

Abstract

本发明公开一种基于双目立体视觉的导盲眼镜，包括：专用眼镜(1)、主控盒(2)、振动腰带(3)、耳机线(5)、耳塞(6)、视频电缆(4)和电池；上电后，图像采集模块(8)对两个微型摄像头(7)的图像传感器参数进行配置同时采集图像数据，然后通过视频电缆(4)传输给主控盒(2)进行处理；通过耳机将信息播报给盲人，同时将信息发送给振动腰带(3)，振动控制模块(10)控制腰带电机(11)振动，提醒盲人注意前方障碍物；用户可通过专用拨号键盘(9)实现快速拨号。本发明探测精度高、范围广、频率快、佩戴方便、重量轻、续航时间长，具有十分广阔的应用前景。

Description

一种基于双目立体视觉的导盲眼镜
技术领域
本发明涉及一种导盲眼镜，特别是一种基于双目立体视觉的导盲眼镜。
背景技术
导盲眼镜是由盲人或视力障碍者佩戴的，为自身行走提供导航功能的辅具，属于一种导盲设备。传统的导盲眼镜主要采用超声波测距、红外测距或微型雷达测距，通过安装在眼镜上的测距传感器感知前方物体，根据物体远近发出警示声或振动提醒盲人，缺点是信息单一，传感器只能测量一个方向的障碍物距离信息，另外超声测距传感器波束角导致测量精度较差，而雷达则存在成本昂贵的缺点。基于摄像头的导盲眼镜主要用于识别物体，无距离信息，不知道前方物体远近，如国外研发的新型导盲产品有舌头导盲仪BrainPort，通过微型摄像机感知环境，将图像亮度转换成电脉冲刺激盲人舌头，从而识别物体，但是缺乏距离信息，立体世界平面化，盲人需要经过专门训练才能识别部分物体。
随着机器视觉技术的逐渐成熟，尤其是立体视觉的能力，为盲人实现或替代部分生理视觉功能提供了可行性。虽然长期以来科研人员一直致力于研究开发基于双目立体视觉的导盲设备，但是由于图像信息处理的运算量巨大，不得不使用计算机来完成这项任务，因此设备无法实现小型化、便携化，研究进展停留在实验室阶段，无法实现产品化。虽然目前出现了基于双目立体视觉的导盲眼镜，但信息处理通过智能手机实现，而盲人用户操作智能手机应用软件特别困难，所以也不方便盲人使用。因此基于双目立体视觉技术，采用微型摄像头模组和片上系统处理器，研制以专用眼镜和微小型控制盒为核心组件的导盲眼镜，能够实现导盲设备的小型化、便携化、低成本和低功耗，具有较高的价值。
发明内容
本发明目的在于提供一种基于双目立体视觉的导盲眼镜，解决传统导盲设备测量信息少、缺乏距离信息，或者有距离信息但因设备庞大无法实用的问题。
一种基于双目立体视觉的导盲眼镜，包括：专用眼镜、主控盒、振动腰带、耳机线、耳塞、视频电缆和电池。所述专用眼镜包括：镜架、微型摄像头和图像采集模块；主控盒包括：图像处理模块和专用拨号键盘；振动腰带包括：微型振动电机和振动控制模块。其中，所述微型摄像头为两个，微型振动电机为多个。
专用眼镜的镜片后端是一个长条形的图像采集模块，两个微型摄像头安装在图像采集模块两端，图像采集模块整体包含在镜片上方的镜架内部，仅将两微型摄像头的镜头孔露出，镜头外端面与镜片表面齐平，专用眼镜通过一根视频电缆与主控盒相连，视频电缆的眼镜端连接器位于镜腿末端。
主控盒放置在盲人口袋内，是图像信息处理、导航信息生成和拨号通话的核心。主控盒内置图像处理模块，正面是专用拨号键盘，背面是电池盒及其盖板，侧面电气接口包括：视频电缆接口和3.5mm音频/麦克接口，分别用于连接专用眼镜和耳机线。主控盒内部具备蓝牙通信模块，用于和振动腰带进行通信，发送振动控制信息给振动腰带。
振动腰带系在盲人腰间，是导盲信息的输出终端之一。腰带内部均匀分布多个微型振动电机，腰带端部内置振动控制模块和电池，振动控制模块对微型振动电机进行驱动控制，与主控盒之间通过蓝牙通信。
主控盒与专用眼镜通过视频电缆连接，耳机线接入主控盒，腰带与主控盒通过蓝牙无线通信。
图像采集模块的功能为：驱动控制两个微型摄像头，控制微型摄像头曝光时间和增益，采集微型摄像头输出的彩色图像数据。同时图像采集模块还包含惯性测量芯片，具备加速度和角速度数据采集功能。
图像处理模块的功能为：采集专用眼镜传输来的两个摄像头视频信息，通过颜色空间转换生成灰度图像，再进行光学畸变矫正和立体校正处理，然后对左右两幅图像进行立体匹配，生成前方场景的深度图，深度图采取中值滤波的方式进行去噪，同时对视差图进行障碍物识别处理，将不同距离的障碍物分离出来，确定障碍物的三维坐标，得到障碍物方位和距离的信息。
振动控制模块的功能为：通过蓝牙通信接收主控盒发送的振动控制信息，控制相应微型振动电机进行振动。
用户将专用眼镜佩戴上，将主控盒与专用眼镜通过视频电缆连接；再把耳机线接入主控盒，耳塞放入耳内，将腰带系在腰间；最后打开主控盒电源开关和腰带电源开关，导盲眼镜开始工作。
上电后，图像采集模块对两个微型摄像头的图像传感器参数进行配置，驱动两个传感器同时曝光并输出图像，图像采集模块对图像数据同时进行采集，然后通过视频电缆传输给主控盒进行处理。图像处理模块对图像信息进行处理，获得前方场景障碍物方位和距离的信息，通过耳机将信息播报给盲人，同时将信息发送给振动腰带，控制腰带电机振动，提醒盲人注意前方障碍物。主控盒还具有电话语音通话功能，内部预先存储用户的亲人电话号码以及紧急救援号码，用户通过主控盒专用拨号键盘实现快速拨号，达到盲人用户遇到紧急突发状况时快速电话求助的目的。
本发明充分考虑了盲人行走需要感知前方场景三维信息的导航避障需求，导盲眼镜通过双目立体成像感知前方场景三维场景，实现将一定范围内的障碍物探测，并通过语音播报和腰带振动的方式进行提醒，为盲人出行提供帮助；导盲眼镜的快速拨打电话功能可以实现紧急求助。本发明探测精度高、范围广、频率快、佩戴方便、重量轻、续航时间长，具有十分广阔的应用前景。
附图说明
图1一种基于双目立体视觉的导盲眼镜的组成示意图。
1.专用眼镜 2.主控盒 3.振动腰带 4.视频电缆 5.耳机线 6.耳塞7.微型摄像头 8.图像采集模块 9.专用拨号键盘 10.振动控制模块 11.微型振动电机 12.镜架
具体实施方式
一种基于双目立体视觉的导盲眼镜，包括：专用眼镜1、主控盒2、振动腰带3、耳机线5、耳塞6、视频电缆4和电池。所述专用眼镜包括：镜架12、微型摄像头7和图像采集模块8；主控盒2包括：图像处理模块和专用拨号键盘9；振动腰带3包括：微型振动电机11和振动控制模块10。其中，所述微型摄像头7为两个，微型振动电机11为多个。
专用眼镜1的镜片后端是一个长条形的图像采集模块8，两个微型摄像头7安装在模块8两端，图像采集模块8整体包含在镜片上方的镜架12内部，仅将两微型摄像头7的镜头孔漏出，镜头外端面与镜片表面基本齐平，专用眼镜1通过一根视频电缆4与主控盒2相连，视频电缆4的眼镜端连接器位于镜腿末端。
主控盒2放置在盲人口袋内，是图像信息处理、导航信息生成、拨号通话的核心模块。主控盒内置图像处理模块，正面是专用拨号键盘9，背面是电池盒及其盖板，侧面电气接口包括视频电缆4接口、3.5mm音频/麦克接口，分别用于连接专用眼镜1和耳机线5。主控盒2内部具备蓝牙通信模块，用于和振动腰带3进行通信，发送振动控制信息给振动腰带3。
振动腰带3系在盲人腰间，是导盲信息的输出终端之一。腰带3内部均匀分布多个微型振动电机11，腰带2端部内置振动控制模块10和电池，振动控制模块10对微型振动电机11进行驱动控制，与主控盒3之间通过蓝牙通信。
主控盒2与专用眼镜1通过视频电缆4连接，耳机线5接入主控盒2，腰带3与主控盒2通过蓝牙无线通信。
图像采集模块8的功能为：驱动控制两个微型摄像头7，控制微型摄像头7曝光时间和增益，采集微型摄像头7输出的彩色图像数据。同时模块8还包含惯性测量芯片，具备加速度和角速度数据采集功能。
图像处理模块的功能为：采集专用眼镜1传输来的两个摄像头视频信息，通过颜色空间转换生成灰度图像，再进行光学畸变矫正和立体校正处理，然后对左右两幅图像进行立体匹配，生成前方场景的深度图，深度图采取中值滤波的方式进行去噪，同时对视差图进行障碍物识别处理，将不同距离的障碍物分离出来，确定障碍物的三维坐标，得到障碍物方位和距离的信息。
振动控制模块10的功能为：通过蓝牙通信接收主控盒2发送的振动控制信息，控制相应微型振动电机11进行振动。
用户将专用眼镜1佩戴上，将主控盒2与专用眼镜1通过视频电缆4连接；再把耳机线5接入主控盒2，耳塞6放入耳内，将腰带3系在腰间；最后打开主控盒2电源开关和腰带3电源开关，导盲眼镜开始工作。
上电后，图像采集模块8对两个微型摄像头7的图像传感器参数进行配置，驱动两个传感器同时曝光并输出图像，图像采集模块8对图像数据同时进行采集，然后通过视频电缆4传输给主控盒2进行处理。图像处理模块对图像信息进行处理，获得前方场景障碍物方位和距离的信息，通过耳机将信息播报给盲人，同时将信息发送给振动腰带3，控制腰带电机11振动，提醒盲人注意前方障碍物。主控盒2还具有电话语音通话功能，内部预先存储用户的亲人电话号码以及紧急救援号码，用户可通过主控盒专用拨号键盘9实现快速拨号，达到盲人用户遇到紧急突发状况时快速电话求助的目的。

Claims (3)

1.一种基于双目立体视觉的导盲眼镜，其特征在于包括：专用眼镜(1)、主控盒(2)、振动腰带(3)、耳机线(5)、耳塞(6)、视频电缆(4)和电池；所述专用眼镜包括：镜架(12)、微型摄像头(7)和图像采集模块(8)；主控盒(2)包括：图像处理模块和专用拨号键盘(9)；振动腰带(3)包括：微型振动电机(11)和振动控制模块(10)；
专用眼镜(1)的镜片后端是一个长条形的图像采集模块(8)，两个微型摄像头(7)安装在模块(8)两端，图像采集模块(8)整体包含在镜片上方的镜架(12)内部，仅将两微型摄像头(7)的镜头孔漏出，镜头外端面与镜片表面基本齐平，专用眼镜(1)通过一根视频电缆(4)与主控盒(2)相连，视频电缆(4)的眼镜端连接器位于镜腿末端；
主控盒(2)放置在盲人口袋内，是图像信息处理、导航信息生成、拨号通话的核心模块；主控盒内置图像处理模块，正面是专用拨号键盘(9)，背面是电池盒及其盖板，侧面电气接口包括视频电缆(4)接口和3.5mm音频/麦克接口，分别用于连接专用眼镜(1)和耳机线(5)；主控盒(2)内部具备蓝牙通信模块，用于和振动腰带(3)进行通信，发送振动控制信息给振动腰带(3)；
振动腰带(3)系在盲人腰间，是导盲信息的输出终端之一；腰带(3)内部均匀分布多个微型振动电机(11)，腰带(2)端部内置振动控制模块(10)和电池，振动控制模块(10)对微型振动电机(11)进行驱动控制，与主控盒(3)之间通过蓝牙通信；
主控盒(2)与专用眼镜(1)通过视频电缆(4)连接，耳机线(5)接入主控盒(2)，腰带(3)与主控盒(2)通过蓝牙无线通信；
图像采集模块(8)的功能为：驱动控制两个微型摄像头(7)，控制微型摄像头(7)曝光时间和增益，采集微型摄像头(7)输出的彩色图像数据；同时模块(8)还包含惯性测量芯片，具备加速度和角速度数据采集功能；
图像处理模块的功能为：采集专用眼镜(1)传输来的两个摄像头视频信息，通过颜色空间转换生成灰度图像，再进行光学畸变矫正和立体校正处理，然后对左右两幅图像进行立体匹配，生成前方场景的深度图，深度图采取中值滤波的方式进行去噪，同时对视差图进行障碍物识别处理，将不同距离的障碍物分离出来，确定障碍物的三维坐标，得到障碍物方位和距离的信息；
振动控制模块(10)的功能为：通过蓝牙通信接收主控盒(2)发送的振动控制信息，控制相应微型振动电机(11)进行振动；
用户将专用眼镜(1)佩戴上，将主控盒(2)与专用眼镜(1)通过视频电缆(4)连接；再把耳机线(5)接入主控盒(2)，耳塞(6)放入耳内，将腰带(3)系在腰间；最后打开主控盒(2)电源开关和腰带(3)电源开关，导盲眼镜开始工作；
上电后，图像采集模块(8)对两个微型摄像头(7)的图像传感器参数进行配置，驱动两个传感器同时曝光并输出图像，图像采集模块(8)对图像数据同时进行采集，然后通过视频电缆(4)传输给主控盒(2)进行处理；图像处理模块对图像信息进行处理，获得前方场景障碍物方位和距离的信息，通过耳机将信息播报给盲人，同时将信息发送给振动腰带(3)，控制腰带电机(11)振动，提醒盲人注意前方障碍物；主控盒(2)还具有电话语音通话功能，内部预先存储用户的亲人电话号码以及紧急救援号码，用户可通过主控盒专用拨号键盘(9)实现快速拨号，达到盲人用户遇到紧急突发状况时快速电话求助的目的。
2.根据权利要求1所述的一种基于双目立体视觉的导盲眼镜，其特征在于所述的微型摄像头(7)为两个。
3.根据权利要求1所述的一种基于双目立体视觉的导盲眼镜，其特征在于所述的微型振动电机(11)为多个。
CN201711264073.1A 2017-12-05 2017-12-05 一种基于双目立体视觉的导盲眼镜 Active CN108169927B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711264073.1A CN108169927B (zh) 2017-12-05 2017-12-05 一种基于双目立体视觉的导盲眼镜

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711264073.1A CN108169927B (zh) 2017-12-05 2017-12-05 一种基于双目立体视觉的导盲眼镜

Publications (2)

Publication Number Publication Date
CN108169927A CN108169927A (zh) 2018-06-15
CN108169927B true CN108169927B (zh) 2019-08-16

Family

ID=62524375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711264073.1A Active CN108169927B (zh) 2017-12-05 2017-12-05 一种基于双目立体视觉的导盲眼镜

Country Status (1)

Country Link
CN (1) CN108169927B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108852765A (zh) * 2018-06-20 2018-11-23 哈尔滨理工大学 一种可穿戴双目视觉导盲系统
CN109029452B (zh) * 2018-07-10 2020-02-21 深圳先进技术研究院 可穿戴导航设备及导航方法
CN109254419A (zh) * 2018-10-19 2019-01-22 如皋福大工程技术研究院有限公司 微表情识别眼镜以及眼镜盒
CN109859717A (zh) * 2018-12-26 2019-06-07 李星辉 一种防远光眼镜及控制方法
CN109831631A (zh) * 2019-01-04 2019-05-31 华南理工大学 一种基于视觉注意特性的视-听觉转换导盲方法
CN110236895A (zh) * 2019-05-10 2019-09-17 苏州米特希赛尔人工智能有限公司 Ai盲人导航眼镜
CN110412777A (zh) * 2019-07-20 2019-11-05 佛山市顺德区迪康眼镜有限公司 一种可打电话的眼镜
CN111685980A (zh) * 2020-05-07 2020-09-22 天津大学 一种基于触觉反馈的穿戴式盲人助行系统
CN112595237A (zh) * 2020-12-01 2021-04-02 中国石油天然气股份有限公司 一种基于机器视觉的油管长度测量装置及方法
CN113081712A (zh) * 2021-05-12 2021-07-09 深圳市形意智能科技有限公司 一种真人导航与地图导航结合运用的智能盲人眼镜

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101797197B (zh) * 2009-11-23 2012-07-04 常州超媒体与感知技术研究所有限公司 便携式盲人自主导航系统
CN203825313U (zh) * 2013-12-16 2014-09-10 智博锐视（北京）科技有限公司 盲人导航眼镜
CN104000709A (zh) * 2014-05-09 2014-08-27 京东方科技集团股份有限公司 盲人眼镜
CN104127301B (zh) * 2014-07-15 2016-03-02 深圳先进技术研究院 导盲智能眼镜及其导盲方法

Also Published As

Publication number Publication date
CN108169927A (zh) 2018-06-15

Similar Documents

Publication Publication Date Title
CN108169927B (zh) 一种基于双目立体视觉的导盲眼镜
WO2020192458A1 (zh) 一种图像处理的方法及头戴式显示设备
CN104983511A (zh) 针对全盲视觉障碍者的语音帮助智能眼镜系统
KR20040004135A (ko) 3차원 표시 기능을 갖는 휴대 기기
CN113473005A (zh) 拍摄中转场动效插入方法、设备、存储介质和程序产品
CN111148271A (zh) 一种控制助听器的方法及终端
WO2010086321A1 (en) Binaural audio guide
CN110058413A (zh) 一种智能穿戴系统
CN110069236A (zh) 一种头戴电子设备及其音频输出控制方法
US20240236596A1 (en) Audio processing method and electronic device
CN113804290A (zh) 一种环境光的检测方法、电子设备及芯片系统
KR20150061909A (ko) 청각 장애인용 스마트 안경
CN113518189B (zh) 拍摄方法、系统、电子设备及存储介质
CN204203569U (zh) 立体显示的智能手机
CN108508609A (zh) 多功能颈戴设备及其控制方法
CN218045797U (zh) 一种盲人穿戴智慧云眼镜及系统
CN114120950B (zh) 一种人声屏蔽方法和电子设备
KR20130131511A (ko) 시각 장애인용 안내장치
CN213935337U (zh) 通过语音助手控制的智能助盲穿戴设备
EP4250238A1 (en) Three-dimensional model reconstruction method, device, and storage medium
CN113467904B (zh) 确定协同模式的方法、装置、电子设备和可读存储介质
CN113923351B (zh) 多路视频拍摄的退出方法、设备和存储介质
CN113050917B (zh) 一种立体感知环境的智能助盲眼镜系统
CN115412678A (zh) 曝光处理方法、装置及电子设备
LU100113B1 (en) Intelligent bracelet

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant