CN106726378A - 基于立体视觉和电致触觉阵列的盲人导路器 - Google Patents

Abstract

本发明涉及一种基于立体视觉和电致触觉阵列的盲人导路器，佩戴在盲人身体上，包括双目微型摄像头、微处理器、电致触觉阵列、倾角传感器，所述微处理器信号输入端连接双目微型摄像头和倾角传感器，输出端连接电致触觉阵列，所述微处理器通过同步双目摄像头实时采集左、右图像视频图像，并经过滤波、图像校正，并计算出视差图和对校正后的图像进行边缘计算，得到边缘图像；所述微处理器依据倾角传感器的数据，对选择的图像进行旋转变换，并将旋转后的图像经由扫描控制模块传送到电致触觉阵列上，使盲人用户的皮肤得到刺激，感受到图像的内容。

Description

基于立体视觉和电致触觉阵列的盲人导路器

技术领域

本发明涉及一种盲人导路器，尤其是一种基于计算机视觉、数字图像处理、微电子技术的盲人导路器。

背景技术

为盲人指路导航是一件很有意义的事情。早期的电子盲人导路器、导航仪等产品，大多采用超声波测距、激光测距来等主动单线探测手段来检测障碍物，准确度比较低，视野狭小，适用范围有限。现有的基于图像处理的盲人导路方案中，主要是对道路边界的提取技术，基于对道路的边界识别，或者通过图像处理对路面状况进行判决，然后将判决结果换递给盲人，而不是把图像内容以盲人可识别的方式直接传递给盲人，让盲人自己来判别。如何将指示信息传递给盲人，多数方案中采用了声音技术、振动以及机械触觉。由于盲人主要依靠听觉感知周围环境，因此“导路器”采用听觉则会占用盲人的听觉通道，使他们难以感知周围自然环境；而振动和其它机械触觉（触觉显示）装置则耗电量较大。如中国专利公开号CN201610513329.7，公开了一种用于人体佩戴的具有红外全景深感知功能的导盲帽，该导盲帽采用立体图像采集、视差计算、并采用主动红外照明，以及微型电磁铁控制触点撞针结构。

发明内容

本发明提出一款基于立体视觉和电致触觉阵列的盲人导路器，该导路器采用低功耗的微处理器，微处理器利用同步双目摄像头实时采集视频图像对，对左右两个图像进行旋转变换（以消除摄像机旋转带来的影响）和立体校正，然后通过立体视觉算法计算出画面中各个像素的视差，形成视差图，并根据视差图的数值的分布情况作出不同处理：（1）当视差全部接近0值时，将左右原始图像进行融合，并计算融合图像中的边缘信息，形成“边缘图”，最后通过扫描控制软件模块将边缘图直接呈现在“电致触觉阵列”上，使盲人感知到图像中的边缘信息分布；（2）当视差不全部接近0值时，则通过扫描控制软件模块将视差图直接呈现在“电致触觉阵列”上，从而让盲人感知到视差图的内容分布。

为实现上述目的，本发明的技术方案是：一种基于立体视觉和电致触觉阵列的盲人导路器，佩戴在盲人身体上，包括双目微型摄像头、微处理器、电致触觉阵列、倾角传感器，所述微处理器信号输入端连接双目微型摄像头和倾角传感器，输出端连接电致触觉阵列，所述微处理器通过同步双目摄像头实时采集左、右图像视频图像，并经过滤波、图像校正，并计算出视差图和对校正后的图像进行边缘计算，得到边缘图像；所述微处理器依据倾角传感器的数据，对选择的图像进行旋转变换，并将旋转后的图像经由扫描控制模块传送到电致触觉阵列上，使盲人用户的皮肤得到刺激，感受到图像的内容。

所述微处理器包括预处理、边缘计算、视差计算、视差图分析、图像选择、图像变换、扫描控制模块；所述视差图分析模块对视差图进行分析，分析的结果用来控制图像选择，如果视差图的全部像素都接近0值，则选择原始图像，否则选择视差图。

所述双目微型摄像头和微处理器部分作为一个整体持在盲人手中、或者佩戴在额头部位，所述电致触觉阵列采用电刺激的方式，制作成薄膜电路或柔性电路，贴于盲人手掌背面、或者胳膊皮肤上、或者肚皮上、或者后背皮肤上。

所述薄膜电路上分布有电极，电极呈矩形阵列排布，电极与微处理器相连，微处理器通过程序产生电脉冲，依次扫描作用在电极上。

所述盲人导路器的供电采用锂离子电池便携电源；并附加有声音、震动器，用于辅助提示信息。

本发明的有益效果是：本发明的导路器采用低功耗的微处理器，微处理器利用同步双目摄像头实时采集视频图像对，对左右两个图像进行旋转变换（以消除摄像机旋转带来的影响）和立体校正，然后通过立体视觉算法计算出画面中各个像素的视差，形成视差图，并根据视差图的数值的分布情况作出不同处理：（1）当视差全部接近0值时，将左右原始图像进行融合，并计算融合图像中的边缘信息，形成“边缘图”，最后通过扫描控制软件模块将边缘图直接呈现在“电致触觉阵列”上，使盲人感知到图像中的边缘信息分布；（2）当视差不全部接近0值时，则通过扫描控制软件模块将视差图直接呈现在“电致触觉阵列”上，从而让盲人感知到视差图的内容分布。

本发明与现有技术相比，仅利用自然光图像；支持两种图像模式，即深度图像触觉显示和自然图像触觉显示，可在两者之间可以自动切换；采用“电致触觉阵列”，通过电刺激直接作用于皮肤细胞以产生触觉效果，而非电磁机械装置。

附图说明

图1为本发明的基于立体视觉和电致触觉阵列的盲人导路器工作原理图。

具体实施方式

下面结构附图与实施例对本发明作进一步说明，但不限于这里列出的具体器件型号和参数。软件模块的算法也可选择其它同类作用的算法。

如图1所示，一种基于立体视觉和电致触觉阵列的盲人导路器，包括双目微型摄像头、微处理器、电致触觉阵列、倾角传感器。微处理器信号输入端连接双目微型摄像头和倾角传感器，输出端连接电致触觉阵列，所述微处理器通过同步双目摄像头实时采集左、右图像视频图像，并经过滤波、图像校正，并计算出视差图和对校正后的图像进行边缘计算，得到边缘图像；所述微处理器依据倾角传感器的数据，对选择的图像进行旋转变换，并将旋转后的图像经由扫描控制模块传送到电致触觉阵列上，使盲人用户的皮肤得到刺激，感受到图像的内容。

本发明的盲人导路器采用便携电源（例如电池）供电，整个系统可“分体式”佩带在盲人身体上的适当部位。本发明的组成和工作原理详细描述如下：

（1）预先对双目摄像头的参数予以标定，并存储参数；

（2）微处理器通过双目摄像头实时采集彩色立体图像对，做适当的预处理，并依据摄像头的标定参数对图像对进行立体校正；

（3）依据视差算法，微处理器中的视差计算软件依据校正后的“立体图像对”计算出视差图；

（4）对原始图像进行边缘检测，得到边缘图；

（5）微处理器分析视差图的数值分布情况，分析得结果作为图像选择的控制依据；

（6）如果视差图的像素值不是全部接近0，则选择视差图，否则选择边缘图；

（7）根据摄像头的倾角，对选择的图像进行旋转变换，以校正摄像头在使用过程中受到被动旋转所带来的影响。

（8）旋转变换后的图像经由扫描控制模块转换成电致触觉阵列的输入扫描信号，从而将视差图呈现到电致触觉阵列上，让盲人通过皮肤感知到视差图的内容。

其中，电致触觉阵列采用电刺激的方式。即制作成薄膜电路（或其他材质的柔性电路） ，贴在盲人的皮肤上。薄膜电路上分布有一定数量的电极，它们呈矩形阵列排布，电极与微处理器相连。微处理器通过程序产生电脉冲，依次扫描作用在电极上。电致触觉阵列的作用相当于一个触觉显示器。

该发明盲人导路器可以佩戴在盲人身体上来，摄像头和微处理器部分可以作为一个整体持在手中、或者佩戴在额头等部位，而电致触觉阵列则需要贴于手掌背面、或者胳膊皮肤上、或者肚皮上、或者后背皮肤上等部位。该盲人导路器的供电可采用锂离子电池等大容量小体积的便携电源。该盲人导路器可附加采用声音、震动等辅助提示信息。摄像头采用全局快门的摄像头，以提高图像质量。电致触觉阵列采用薄膜电路、圆形电极阵列，根据电脉冲的频率、占空比、猝发结构、电压等级等方面的控制，使得皮肤感知到应有的触觉效果。

微处理器中的软件包括预处理、边缘计算、视差计算、视差图分析、图像选择、图像变换、扫描控制等模块。双摄像机同步拍摄的左、右图像送入微处理器，并经过预处理（滤波、图像校正等），然后计算出视差图；同时对校正后的图像进行边缘计算，得到边缘图像。对视差图进行分析，分析的结果用来控制图像选择，如果视差图的全部像素都接近0值，则选择原始图像，否则选择视差图。依据倾角传感器的数据，对选择的图像进行旋转变换，然后将旋转后的图像经由扫描控制模块传送到“电致触觉阵列”上，使用户的皮肤得到刺激，感受到图像的内容。

微处理器采用低功耗的产品，例如STM32F7系列，并利用其DCMI接口以实时帧率采集视频图像，图像格式采用176x144 YUV格式。摄像机的校正参数和校正矩阵预先存储在片内Flash中。采用边缘保持滤波算法对图像作滤噪处理，并依据摄像机参数和校正矩阵对图像进行立体校正。对校正后的图像进行视差计算和边缘计算，生成视差图和边缘图，根据视差图的数值分布情况选择视差图或者边缘图作为后续处理对象。选择的图像经过倾角校正，作为结果图像，最后经由扫描控制模块输出到电致触觉阵列，刺激皮肤，感知图像内容，由用户自己通过感知的图像来判断应该往哪个方向走。

Claims (5)

1.一种基于立体视觉和电致触觉阵列的盲人导路器，佩戴在盲人身体上，包括双目微型摄像头、微处理器、电致触觉阵列、倾角传感器，其特征在于：所述微处理器信号输入端连接双目微型摄像头和倾角传感器，输出端连接电致触觉阵列，所述微处理器通过同步双目摄像头实时采集左、右图像视频图像，并经过滤波、图像校正，并计算出视差图和对校正后的图像进行边缘计算，得到边缘图像；所述微处理器依据倾角传感器的数据，对选择的图像进行旋转变换，并将旋转后的图像经由扫描控制模块传送到电致触觉阵列上，使盲人用户的皮肤得到刺激，感受到图像的内容。

2.根据权利要求1所述的基于立体视觉和电致触觉阵列的盲人导路器，其特征在于：所述微处理器包括预处理、边缘计算、视差计算、视差图分析、图像选择、图像变换、扫描控制模块；所述视差图分析模块对视差图进行分析，分析的结果用来控制图像选择，如果视差图的全部像素都接近0值，则选择原始图像，否则选择视差图。

3.根据权利要求1所述的基于立体视觉和电致触觉阵列的盲人导路器，其特征在于：所述双目微型摄像头和微处理器作为一个整体持在盲人手中、或者佩戴在额头部位，所述电致触觉阵列采用电刺激的方式，制作成薄膜电路或柔性电路，贴于盲人手掌背面、或者胳膊皮肤上、或者肚皮上、或者后背皮肤上。

4.根据权利要求3所述的基于立体视觉和电致触觉阵列的盲人导路器，其特征在于：所述薄膜电路上分布有电极，电极呈矩形阵列排布，电极与微处理器相连，微处理器通过程序产生电脉冲，依次扫描作用在电极上。

5.根据权利要求1-4任一所述的基于立体视觉和电致触觉阵列的盲人导路器，其特征在于：所述盲人导路器的供电采用锂离子电池便携电源；并附加有声音、震动器，用于辅助提示信息。