CN106726378A - 基于立体视觉和电致触觉阵列的盲人导路器 - Google Patents

基于立体视觉和电致触觉阵列的盲人导路器 Download PDF

Info

Publication number
CN106726378A
CN106726378A CN201611122465.XA CN201611122465A CN106726378A CN 106726378 A CN106726378 A CN 106726378A CN 201611122465 A CN201611122465 A CN 201611122465A CN 106726378 A CN106726378 A CN 106726378A
Authority
CN
China
Prior art keywords
image
electroluminescent
blind person
microprocessor
tactile array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611122465.XA
Other languages
English (en)
Inventor
贾振堂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Electric Power
University of Shanghai for Science and Technology
Original Assignee
Shanghai University of Electric Power
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Electric Power filed Critical Shanghai University of Electric Power
Priority to CN201611122465.XA priority Critical patent/CN106726378A/zh
Publication of CN106726378A publication Critical patent/CN106726378A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H3/00—Appliances for aiding patients or disabled persons to walk about
    • A61H3/06—Walking aids for blind persons
    • A61H3/061—Walking aids for blind persons with electronic detecting or guiding means
    • A61H2003/063—Walking aids for blind persons with electronic detecting or guiding means with tactile perception

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及一种基于立体视觉和电致触觉阵列的盲人导路器，佩戴在盲人身体上，包括双目微型摄像头、微处理器、电致触觉阵列、倾角传感器，所述微处理器信号输入端连接双目微型摄像头和倾角传感器，输出端连接电致触觉阵列，所述微处理器通过同步双目摄像头实时采集左、右图像视频图像，并经过滤波、图像校正，并计算出视差图和对校正后的图像进行边缘计算，得到边缘图像；所述微处理器依据倾角传感器的数据，对选择的图像进行旋转变换，并将旋转后的图像经由扫描控制模块传送到电致触觉阵列上，使盲人用户的皮肤得到刺激，感受到图像的内容。

Description

基于立体视觉和电致触觉阵列的盲人导路器
技术领域
本发明涉及一种盲人导路器，尤其是一种基于计算机视觉、数字图像处理、微电子技术的盲人导路器。
背景技术
为盲人指路导航是一件很有意义的事情。早期的电子盲人导路器、导航仪等产品，大多采用超声波测距、激光测距来等主动单线探测手段来检测障碍物，准确度比较低，视野狭小，适用范围有限。现有的基于图像处理的盲人导路方案中，主要是对道路边界的提取技术，基于对道路的边界识别，或者通过图像处理对路面状况进行判决，然后将判决结果换递给盲人，而不是把图像内容以盲人可识别的方式直接传递给盲人，让盲人自己来判别。如何将指示信息传递给盲人，多数方案中采用了声音技术、振动以及机械触觉。由于盲人主要依靠听觉感知周围环境，因此“导路器”采用听觉则会占用盲人的听觉通道，使他们难以感知周围自然环境；而振动和其它机械触觉（触觉显示）装置则耗电量较大。如中国专利公开号CN201610513329.7，公开了一种用于人体佩戴的具有红外全景深感知功能的导盲帽，该导盲帽采用立体图像采集、视差计算、并采用主动红外照明，以及微型电磁铁控制触点撞针结构。
发明内容
本发明提出一款基于立体视觉和电致触觉阵列的盲人导路器，该导路器采用低功耗的微处理器，微处理器利用同步双目摄像头实时采集视频图像对，对左右两个图像进行旋转变换（以消除摄像机旋转带来的影响）和立体校正，然后通过立体视觉算法计算出画面中各个像素的视差，形成视差图，并根据视差图的数值的分布情况作出不同处理：（1）当视差全部接近0值时，将左右原始图像进行融合，并计算融合图像中的边缘信息，形成“边缘图”，最后通过扫描控制软件模块将边缘图直接呈现在“电致触觉阵列”上，使盲人感知到图像中的边缘信息分布；（2）当视差不全部接近0值时，则通过扫描控制软件模块将视差图直接呈现在“电致触觉阵列”上，从而让盲人感知到视差图的内容分布。
为实现上述目的，本发明的技术方案是：一种基于立体视觉和电致触觉阵列的盲人导路器，佩戴在盲人身体上，包括双目微型摄像头、微处理器、电致触觉阵列、倾角传感器，所述微处理器信号输入端连接双目微型摄像头和倾角传感器，输出端连接电致触觉阵列，所述微处理器通过同步双目摄像头实时采集左、右图像视频图像，并经过滤波、图像校正，并计算出视差图和对校正后的图像进行边缘计算，得到边缘图像；所述微处理器依据倾角传感器的数据，对选择的图像进行旋转变换，并将旋转后的图像经由扫描控制模块传送到电致触觉阵列上，使盲人用户的皮肤得到刺激，感受到图像的内容。
所述微处理器包括预处理、边缘计算、视差计算、视差图分析、图像选择、图像变换、扫描控制模块；所述视差图分析模块对视差图进行分析，分析的结果用来控制图像选择，如果视差图的全部像素都接近0值，则选择原始图像，否则选择视差图。
所述双目微型摄像头和微处理器部分作为一个整体持在盲人手中、或者佩戴在额头部位，所述电致触觉阵列采用电刺激的方式，制作成薄膜电路或柔性电路，贴于盲人手掌背面、或者胳膊皮肤上、或者肚皮上、或者后背皮肤上。
所述薄膜电路上分布有电极，电极呈矩形阵列排布，电极与微处理器相连，微处理器通过程序产生电脉冲，依次扫描作用在电极上。
所述盲人导路器的供电采用锂离子电池便携电源；并附加有声音、震动器，用于辅助提示信息。
本发明的有益效果是：本发明的导路器采用低功耗的微处理器，微处理器利用同步双目摄像头实时采集视频图像对，对左右两个图像进行旋转变换（以消除摄像机旋转带来的影响）和立体校正，然后通过立体视觉算法计算出画面中各个像素的视差，形成视差图，并根据视差图的数值的分布情况作出不同处理：（1）当视差全部接近0值时，将左右原始图像进行融合，并计算融合图像中的边缘信息，形成“边缘图”，最后通过扫描控制软件模块将边缘图直接呈现在“电致触觉阵列”上，使盲人感知到图像中的边缘信息分布；（2）当视差不全部接近0值时，则通过扫描控制软件模块将视差图直接呈现在“电致触觉阵列”上，从而让盲人感知到视差图的内容分布。
本发明与现有技术相比，仅利用自然光图像；支持两种图像模式，即深度图像触觉显示和自然图像触觉显示，可在两者之间可以自动切换；采用“电致触觉阵列”，通过电刺激直接作用于皮肤细胞以产生触觉效果，而非电磁机械装置。
附图说明
图1为本发明的基于立体视觉和电致触觉阵列的盲人导路器工作原理图。
具体实施方式
下面结构附图与实施例对本发明作进一步说明，但不限于这里列出的具体器件型号和参数。软件模块的算法也可选择其它同类作用的算法。
如图1所示，一种基于立体视觉和电致触觉阵列的盲人导路器，包括双目微型摄像头、微处理器、电致触觉阵列、倾角传感器。微处理器信号输入端连接双目微型摄像头和倾角传感器，输出端连接电致触觉阵列，所述微处理器通过同步双目摄像头实时采集左、右图像视频图像，并经过滤波、图像校正，并计算出视差图和对校正后的图像进行边缘计算，得到边缘图像；所述微处理器依据倾角传感器的数据，对选择的图像进行旋转变换，并将旋转后的图像经由扫描控制模块传送到电致触觉阵列上，使盲人用户的皮肤得到刺激，感受到图像的内容。
本发明的盲人导路器采用便携电源（例如电池）供电，整个系统可“分体式”佩带在盲人身体上的适当部位。本发明的组成和工作原理详细描述如下：
（1）预先对双目摄像头的参数予以标定，并存储参数；
（2）微处理器通过双目摄像头实时采集彩色立体图像对，做适当的预处理，并依据摄像头的标定参数对图像对进行立体校正；
（3）依据视差算法，微处理器中的视差计算软件依据校正后的“立体图像对”计算出视差图；
（4）对原始图像进行边缘检测，得到边缘图；
（5）微处理器分析视差图的数值分布情况，分析得结果作为图像选择的控制依据；
（6）如果视差图的像素值不是全部接近0，则选择视差图，否则选择边缘图；
（7）根据摄像头的倾角，对选择的图像进行旋转变换，以校正摄像头在使用过程中受到被动旋转所带来的影响。
（8）旋转变换后的图像经由扫描控制模块转换成电致触觉阵列的输入扫描信号，从而将视差图呈现到电致触觉阵列上，让盲人通过皮肤感知到视差图的内容。
其中，电致触觉阵列采用电刺激的方式。即制作成薄膜电路（或其他材质的柔性电路） ，贴在盲人的皮肤上。薄膜电路上分布有一定数量的电极，它们呈矩形阵列排布，电极与微处理器相连。微处理器通过程序产生电脉冲，依次扫描作用在电极上。电致触觉阵列的作用相当于一个触觉显示器。
该发明盲人导路器可以佩戴在盲人身体上来，摄像头和微处理器部分可以作为一个整体持在手中、或者佩戴在额头等部位，而电致触觉阵列则需要贴于手掌背面、或者胳膊皮肤上、或者肚皮上、或者后背皮肤上等部位。该盲人导路器的供电可采用锂离子电池等大容量小体积的便携电源。该盲人导路器可附加采用声音、震动等辅助提示信息。摄像头采用全局快门的摄像头，以提高图像质量。电致触觉阵列采用薄膜电路、圆形电极阵列，根据电脉冲的频率、占空比、猝发结构、电压等级等方面的控制，使得皮肤感知到应有的触觉效果。
微处理器中的软件包括预处理、边缘计算、视差计算、视差图分析、图像选择、图像变换、扫描控制等模块。双摄像机同步拍摄的左、右图像送入微处理器，并经过预处理（滤波、图像校正等），然后计算出视差图；同时对校正后的图像进行边缘计算，得到边缘图像。对视差图进行分析，分析的结果用来控制图像选择，如果视差图的全部像素都接近0值，则选择原始图像，否则选择视差图。依据倾角传感器的数据，对选择的图像进行旋转变换，然后将旋转后的图像经由扫描控制模块传送到“电致触觉阵列”上，使用户的皮肤得到刺激，感受到图像的内容。
微处理器采用低功耗的产品，例如STM32F7系列，并利用其DCMI接口以实时帧率采集视频图像，图像格式采用176x144 YUV格式。摄像机的校正参数和校正矩阵预先存储在片内Flash中。采用边缘保持滤波算法对图像作滤噪处理，并依据摄像机参数和校正矩阵对图像进行立体校正。对校正后的图像进行视差计算和边缘计算，生成视差图和边缘图，根据视差图的数值分布情况选择视差图或者边缘图作为后续处理对象。选择的图像经过倾角校正，作为结果图像，最后经由扫描控制模块输出到电致触觉阵列，刺激皮肤，感知图像内容，由用户自己通过感知的图像来判断应该往哪个方向走。

Claims (5)

1.一种基于立体视觉和电致触觉阵列的盲人导路器，佩戴在盲人身体上，包括双目微型摄像头、微处理器、电致触觉阵列、倾角传感器，其特征在于：所述微处理器信号输入端连接双目微型摄像头和倾角传感器，输出端连接电致触觉阵列，所述微处理器通过同步双目摄像头实时采集左、右图像视频图像，并经过滤波、图像校正，并计算出视差图和对校正后的图像进行边缘计算，得到边缘图像；所述微处理器依据倾角传感器的数据，对选择的图像进行旋转变换，并将旋转后的图像经由扫描控制模块传送到电致触觉阵列上，使盲人用户的皮肤得到刺激，感受到图像的内容。
2.根据权利要求1所述的基于立体视觉和电致触觉阵列的盲人导路器，其特征在于：所述微处理器包括预处理、边缘计算、视差计算、视差图分析、图像选择、图像变换、扫描控制模块；所述视差图分析模块对视差图进行分析，分析的结果用来控制图像选择，如果视差图的全部像素都接近0值，则选择原始图像，否则选择视差图。
3.根据权利要求1所述的基于立体视觉和电致触觉阵列的盲人导路器，其特征在于：所述双目微型摄像头和微处理器作为一个整体持在盲人手中、或者佩戴在额头部位，所述电致触觉阵列采用电刺激的方式，制作成薄膜电路或柔性电路，贴于盲人手掌背面、或者胳膊皮肤上、或者肚皮上、或者后背皮肤上。
4.根据权利要求3所述的基于立体视觉和电致触觉阵列的盲人导路器，其特征在于：所述薄膜电路上分布有电极，电极呈矩形阵列排布，电极与微处理器相连，微处理器通过程序产生电脉冲，依次扫描作用在电极上。
5.根据权利要求1-4任一所述的基于立体视觉和电致触觉阵列的盲人导路器，其特征在于：所述盲人导路器的供电采用锂离子电池便携电源；并附加有声音、震动器，用于辅助提示信息。
CN201611122465.XA 2016-12-08 2016-12-08 基于立体视觉和电致触觉阵列的盲人导路器 Pending CN106726378A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611122465.XA CN106726378A (zh) 2016-12-08 2016-12-08 基于立体视觉和电致触觉阵列的盲人导路器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611122465.XA CN106726378A (zh) 2016-12-08 2016-12-08 基于立体视觉和电致触觉阵列的盲人导路器

Publications (1)

Publication Number Publication Date
CN106726378A true CN106726378A (zh) 2017-05-31

Family

ID=58881607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611122465.XA Pending CN106726378A (zh) 2016-12-08 2016-12-08 基于立体视觉和电致触觉阵列的盲人导路器

Country Status (1)

Country Link
CN (1) CN106726378A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110622507A (zh) * 2017-12-11 2019-12-27 谷歌有限责任公司 双波段立体深度感测系统
CN111428583A (zh) * 2020-03-05 2020-07-17 同济大学 一种基于神经网络和触觉点阵的视觉补偿方法
CN113674593A (zh) * 2021-08-25 2021-11-19 王季源 一种用于触觉显示的头戴式额机系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103169598A (zh) * 2013-03-15 2013-06-26 华中科技大学 一种可穿戴式的智能导盲系统及方法
CN105959572A (zh) * 2016-07-04 2016-09-21 张恩洋 一种用于人体佩戴的具有红外全景深感知功能的导盲帽
CN106203390A (zh) * 2016-07-22 2016-12-07 杭州视氪科技有限公司 一种智能盲人辅助系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103169598A (zh) * 2013-03-15 2013-06-26 华中科技大学 一种可穿戴式的智能导盲系统及方法
CN105959572A (zh) * 2016-07-04 2016-09-21 张恩洋 一种用于人体佩戴的具有红外全景深感知功能的导盲帽
CN106203390A (zh) * 2016-07-22 2016-12-07 杭州视氪科技有限公司 一种智能盲人辅助系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110622507A (zh) * 2017-12-11 2019-12-27 谷歌有限责任公司 双波段立体深度感测系统
CN110622507B (zh) * 2017-12-11 2021-07-13 谷歌有限责任公司 双波段立体深度感测系统
CN111428583A (zh) * 2020-03-05 2020-07-17 同济大学 一种基于神经网络和触觉点阵的视觉补偿方法
CN111428583B (zh) * 2020-03-05 2023-05-12 同济大学 一种基于神经网络和触觉点阵的视觉补偿方法
CN113674593A (zh) * 2021-08-25 2021-11-19 王季源 一种用于触觉显示的头戴式额机系统

Similar Documents

Publication Publication Date Title
US9370459B2 (en) System and method for alerting visually impaired users of nearby objects
US9792501B1 (en) Method and device for visually impaired assistance
US20180189567A1 (en) Method and device for visually impaired assistance
EP2482760B1 (en) Object tracking for artificial vision
WO2015180497A1 (zh) 一种基于立体视觉的动作采集和反馈方法及系统
US9801778B2 (en) System and method for alerting visually impaired users of nearby objects
US20070016425A1 (en) Device for providing perception of the physical environment
CN204744865U (zh) 基于听觉的为视觉障碍人士传达周围环境信息的装置
RU2719025C2 (ru) Портативная система, обеспечивающая восприятие слепыми или слабовидящими людьми окружающего пространства посредством звука или касания
KR101885473B1 (ko) 시각 장애인 보조용 스마트 글래스
CN107483829A (zh) 摄像装置、操作装置、对象物确认方法
CN106726378A (zh) 基于立体视觉和电致触觉阵列的盲人导路器
CN109059929B (zh) 导航方法、装置、穿戴式设备及存储介质
Rao et al. A vision-based system to detect potholes and uneven surfaces for assisting blind people
CN106597690A (zh) 一种基于rgb‑d相机和立体声的视障人士通路预知眼镜
Mattoccia et al. 3D glasses as mobility aid for visually impaired people
CN105686936A (zh) 一种基于rgb-ir相机的声音编码交互系统
CN108829372A (zh) 一种现实模拟方法及用于现实模拟的智能穿戴设备
JP5002068B1 (ja) 環境情報伝達装置
Hoang et al. Obstacle detection and warning for visually impaired people based on electrode matrix and mobile Kinect
KR20170101757A (ko) 멀미 저감을 위한 영상 표시 장치 및 방법
CN113674593A (zh) 一种用于触觉显示的头戴式额机系统
CN106726377A (zh) 基于人工智能的路面可行度指示器
US11727769B2 (en) Systems and methods for characterization of mechanical impedance of biological tissues
Bourbakis et al. A 2D vibration array for sensing dynamic changes and 3D space for Blinds' navigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170531

WD01 Invention patent application deemed withdrawn after publication