CN204744865U - 基于听觉的为视觉障碍人士传达周围环境信息的装置 - Google Patents

Abstract

本实用新型公开了一种基于听觉的为视觉障碍人士传达周围环境信息的装置，该装置包括视场采集模块、中央处理器以及3D立体声模块，其中，所述视场采集模块用于获取视觉障碍人士周围的障碍物的立体信息；所述中央处理器用于将所述立体信息转换为二维矩阵形式的平面信息，并根据所述平面信息构建3D声场信号，再将该3D声场信号提供给所述3D立体声模块；其中，所述3D声场信号中，声音发出的位置与代表了障碍物的方位，声音的音调、响度或音色的大小代表了障碍物的距离；所述3D立体声模块包括左耳扬声器和右耳扬声器，接收所述中央处理器提供的3D声场信号并发出相应的声音，以使视觉障碍人士获得周围障碍物的方位和距离信息。

Description

基于听觉的为视觉障碍人士传达周围环境信息的装置

技术领域

本实用新型涉及一种感官替代设备，具体涉及一种基于听觉的为视觉障碍人士传达周围环境信息的装置，使用声像技术与光学成像技术结合，帮助盲人在大脑中重建出周围场景，用于帮助盲人避开障碍物及导盲。

背景技术

我国是世界上人口最多的国家，同时也是世界上盲人最多的国家，盲人作为弱势群体，在生活中有着诸多不变。目前，常用的导盲方式有以下两种：第一是盲人手杖，通过盲人手杖碰触前方来判断是否有障碍物，进一步地，还有在盲人手杖中增加了一些传感器，例如超声盲人手杖，在手杖前端加上超声传感器后能够扫描探测更大范围，但是都是单点或单向测试。第二种是导盲犬，其主要缺点是售价昂贵，且只能带路。

发明内容

有鉴于此，本实用新型提供了一种基于听觉的为视觉障碍人士传达周围环境信息的装置，该装置旨在帮助盲人在头脑中实时建立空间3D图像，做到实时感知周围物体或障碍物。

为了实现上述的目的，本实用新型采用了如下的技术方案：

一种基于听觉的为视觉障碍人士传达周围环境信息的装置，该装置包括视场采集模块、中央处理器以及3D立体声模块，其中，

所述视场采集模块用于获取视觉障碍人士周围的障碍物的立体信息，该立体信息包括障碍物的图像信息和距离信息；

所述中央处理器用于将所述立体信息转换为二维矩阵形式的平面信息，并根据所述平面信息构建3D声场信号，再将该3D声场信号提供给所述3D立体声模块；其中，所述3D声场信号中，声音发出的位置与代表了障碍物的方位，声音的音调、响度或音色的大小代表了障碍物的距离；

所述3D立体声模块包括左耳扬声器和右耳扬声器，接收所述中央处理器提供的3D声场信号并发出相应的声音，以使视觉障碍人士获得周围障碍物的方位和距离信息。

具体地，所述视场采集模块包括至少一CCD摄像机和一距离传感器，所述CCD摄像机用于采集障碍物的图像信息，所述距离传感器用于采集障碍物的距离信息。

具体地，所述中央处理器至少包括信号处理单元、信号转换单元以及信号控制单元；所述信号处理单元将所述图像信息和距离信息生成一二维矩阵形式的深度图谱，二维矩阵中的数值为图像的灰度值，每一灰度值在二维矩阵中的位置代表了障碍物的方位，灰度值的大小代表了障碍物的距离；所述信号转换单元将所述二维矩阵中的灰度值转换为对应的3D声场信号；所述信号控制单元将所述3D声场信号施加于所述3D立体声模块。

更具体地，所述二维矩阵形式的深度图谱中，定义背景色为纯黑，其灰度值为0，定义与视场采集模块距离为0时颜色为纯白，其灰度值最大；当在深度图谱中有一连续区域出现灰度值相近且不为0时，表明该位置具有障碍物。

更具体地，所述信号转换单元根据所述二维矩阵中代表具有障碍物的灰度值位置，调取声源信号以及左耳HRTF函数信号和右耳HRTF函数信号，将所述声源信号和所述左耳HRTF函数信号卷积后由所述信号控制单元提供给所述左耳扬声器，将所述声源信号和所述右耳HRTF函数信号卷积后由所述信号控制单元提供给所述右耳扬声器；所述信号转换单元根据所述二维矩阵中代表具有障碍物的灰度值大小，调整所述声源信号的频率和音量，灰度值越大，声源信号的频率越高、音量越大。

进一步地，所述视场采集模块、中央处理器以及3D立体声模块集成设置于可穿戴设备中。

进一步地，所述可穿戴设备具有外形类似于眼镜或者半头盔的设备，所述视场采集模块包括两个CCD摄像机，对应设置于佩戴者眼睛前方；所述3D立体声模块中的扬声器则设置于佩戴者的耳朵上。

相比于盲人手杖，本实用新型实施例提供的基于听觉的为视觉障碍人士传达周围环境信息的装置可实时传递全空间信息，帮助快速避开障碍物，经过一段时间训练，可代替人眼指导行走时避开行人及路障。

附图说明

图1是本实用新型实施例提供的基于听觉的为视觉障碍人士传达周围环境信息的装置的结构框图。

图2是本实用新型实施例提供的基于听觉的为视觉障碍人士传达周围环境信息的装置的结构示意图。

图3是如图2的装置佩戴于人体上的示例性图示。

图4是本实用新型实施例中信号处理单元生成深度图谱的过程图示。

具体实施方式

下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行详细地描述，显然，所描述的实施例仅仅是本实用新型一部分实例，而不是全部实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本实用新型保护范围。

参阅附图1至图3，本实施例提供了基于听觉的为视觉障碍人士传达周围环境信息的装置。如图1所示，该装置主要包括视场采集模块1、中央处理器2以及3D立体声模块3。

其中，所述视场采集模块用于获取视觉障碍人士周围的障碍物的立体信息，该立体信息包括障碍物的图像信息和距离信息。具体地，所述视场采集模块包括至少一CCD摄像机11和一距离传感器12，所述CCD摄像机11用于采集障碍物的图像信息，所述距离传感器12用于采集障碍物的距离信息。

其中，所述中央处理器2用于将所述立体信息转换为二维矩阵形式的平面信息，并根据所述平面信息构建3D声场信号，再将该3D声场信号提供给所述3D立体声模块3；其中，所述3D声场信号中，声音发出的位置与代表了障碍物的方位，声音的音调、响度或音色的大小代表了障碍物的距离。具体地，所述中央处理器2至少包括信号处理单元21、信号转换单元22以及信号控制单元23。所述信号处理单元21将所述图像信息和距离信息生成一二维矩阵形式的深度图谱(depthmapping)，二维矩阵中的数值为图像的灰度值，每一灰度值在二维矩阵中的位置代表了障碍物的方位，灰度值的大小代表了障碍物的距离；所述信号转换单元22将所述二维矩阵中的灰度值转换为对应的3D声场信号；所述信号控制单元23将所述3D声场信号施加于所述3D立体声模块3。

其中，所述3D立体声模块3包括左耳扬声器31和右耳扬声器32，接收所述中央处理器提供的3D声场信号并发出相应的声音，以使视觉障碍人士获得周围障碍物的方位和距离信息。

进一步地，如图2和图3所示，本实施例中，所述视场采集模块1、中央处理器2以及3D立体声模块3集成设置于可穿戴设备中。所述可穿戴设备具有外形类似于眼镜或者半头盔的设备，所述视场采集模块包括两个CCD摄像机11，对应设置于佩戴者眼睛前方；所述3D立体声模块3中的扬声器31、32则设置于佩戴者的耳朵上。

图4是本实用新型实施例中信号处理单元生成深度图谱的过程图示。具体地，参阅图4，假设视觉障碍人士处于图4中的(a)所示的场景，该场景中，在视觉障碍人士的位置X前方具有三个位置及大小不同的障碍物A1、A2和A3，三个障碍物A1、A2和A3与位置X的距离由近到远依次为A1、A2、A3。

视觉障碍人士佩戴如上提供的装置以后，视场采集模块1中的CCD摄像机11拍摄的图像信息，得到如图4中的(b)所示的图像，同时距离传感器12将探测周围所有障碍物A1、A2和A3与视觉障碍人士之间的距离，并将各个障碍物的距离与CCD摄像机11拍摄的图像结合以生成深度场。首先定义深度场的边界即背景色为纯黑，其灰度值为0；与CCD摄像机11距离为0时颜色为纯白，其灰度值为最大。由此则可以由从纯白到纯黑之间的不同灰度值表示出物体的远近。灰度值越大时，代表的障碍物的距离越近，基于实用性的考虑，灰度值与距离并不成正比而是远处灰度值变化小，近处灰度值变化率大，从而可以更多地显示出近处物体的位置信息，且亮度越亮说明物体离使用者越近。按此规则生成的深度图谱如图4中的(c)所示，在该图谱中，障碍物A1、A2和A3对应的区域B1、B2和B3偏向纯白的程度为：B1＞B2＞B3。

深度图谱的输出值为一个二维矩阵，矩阵的大小与摄像头的分辨率有关，二维矩阵中的数值为图像的灰度值，矩阵的每个值对应该方向处障碍物距离成反比例关系。由此则可以推出矩阵的一块连续区域出现相近且不为0的值表明该位置处有以物体。在此过程中再采用超级采样抗锯齿及深度补偿等算法还可以得到平滑的物体表面及边缘信息，如图4中的(d)所示，障碍物A1、A2和A3对应的区域C1、C2和C3中，像素亮度在连续区域相同且亮度高于背景，说明此处有障碍物。

进一步地，关于3D立体声声场，人耳在识别声源的方位时，除了根据声音传递到两耳的时间差及声音信号对两耳的压强差之外，还何以借由处理肩膀、耳郭等人体结构对声音信号的反射来进行辅助定位，以确定声源在空间中相对于人体的位置。从空间中任意一点传播到人耳的信号可以用一个音源通过一个滤波器来等效，此滤波器称为头部相关传播函数HRTF(HeadRelatedTransferFunctions)。每一个空间方位对应一对HRTF，其中一个描述左耳信号另一个描述右耳信号，只要将声源信号与HRTF函数卷积并输送到对应的耳朵即可使人产生声源在此HRTF函数对应方位的感觉。

但由于空间中有任意多方向，且HRTF函数与个人生理结构有关属于高度个性化的参数，因此对于每一个人测量其每一个方位的HRTF函数是不现实的。一种可行的做法是采用具有一类人的平均生理参数的人工头模型为标准，测量一组通用于这类人的HRTF函数。同时在竖直方位角间隔为10度的情况下测量水平方位角间隔5度时的通用HRTF函数。目前世界上已有一些科研单位建立了公开的HRTF函数数据库，可以直接调取。

在本实施例中，假定在一个水平视角为左右各60度，仰角30度，俯角40度的视野中，其对应的HRTF函数共有25*8组，因此该视野的分辨率为25*8，水平分辨率为5度，竖直分辨率为10度。依此将图4中(c)所示的深度场像素化得到图4中(d)所示的深度图谱，该深度图谱中每一个像素(灰度值)都可以由一对HRTF函数(左耳HRTF函数和右耳HRTF函数)表示。

基于以上，所述信号转换单元22根据所述二维矩阵中代表具有障碍物的灰度值位置，调取声源信号以及左耳HRTF函数信号和右耳HRTF函数信号，将所述声源信号和所述左耳HRTF函数信号卷积后由所述信号控制单元23提供给所述左耳扬声器31，将所述声源信号和所述右耳HRTF函数信号卷积后由所述信号控制单元23提供给所述右耳扬声器32；所述信号转换单元22根据所述二维矩阵中代表具有障碍物的灰度值大小，调整所述声源信号的频率，灰度值越大，声源信号的频率越高。其中，声源的声音可以为一个短促的“滴”声，并将“滴”声频率与像素的灰度值对应起来，这样越近的物体听到的“滴”声音量越大且频率越高，提示使用者接近障碍物，“滴”声的方向与障碍物的方向相同。

综合以上，如上实施例提供的基于听觉的为视觉障碍人士传达周围环境信息的装置，将深度图谱转化成声场，让视觉障碍人士根据听觉在大脑中感知出空间图像。具体地，首先通过视场采集模块获取前方视场内的深度图谱(depthmapping)，图像像素为灰度值，值的大小代表该像素对应空间坐标处物体离视场采集模块(视觉障碍人士的位置)的远近，此图像我们定义为视觉场。然后利用3D声场重建技术，将视觉场获得的数据输入到3D声场重建的系统中，实时构建出3D声场。该声场特点是，声音发出的位置与视觉场的位置一致，而声音的音调，响度或音色与视觉场里图像灰度值有线性关系。这样相当于把光学图像转化为声音“图像”，让盲人通过这个声音传来的方向和音调(或者响度，音色)，来反推出该方向上前方探测到物体的远近。这样，通过听觉的增强，把视觉场景在盲人的脑海中重现出来。进一步地，该装置中的各个模块可集成设置在外形类似眼镜或者半头盔的可穿戴感官替代设备中在人体行动时，头部或身体转动到任何方向，视场采集模块实时计算出前方深度图谱，处理成声场信号，让盲人实时感知，特别提示出接近的障碍物或通道，便于盲人选择行动方向。相比于盲人手杖，本实用新型实施例提供的装置可实时传递全空间信息，帮助快速避开障碍物，经过一段时间训练，可代替人眼指导行走时避开行人及路障。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (7)

1.一种基于听觉的为视觉障碍人士传达周围环境信息的装置，其特征在于，包括视场采集模块、中央处理器以及3D立体声模块，其中，

所述视场采集模块用于获取视觉障碍人士周围的障碍物的立体信息，该立体信息包括障碍物的图像信息和距离信息；

所述中央处理器用于将所述立体信息转换为二维矩阵形式的平面信息，并根据所述平面信息构建3D声场信号，再将该3D声场信号提供给所述3D立体声模块；其中，所述3D声场信号中，声音发出的位置与代表了障碍物的方位，声音的音调、响度或音色的大小代表了障碍物的距离；

所述3D立体声模块包括左耳扬声器和右耳扬声器，接收所述中央处理器提供的3D声场信号并发出相应的声音，以使视觉障碍人士获得周围障碍物的方位和距离信息。

2.根据权利要求1所述的基于听觉的为视觉障碍人士传达周围环境信息的装置，其特征在于，所述视场采集模块包括至少一CCD摄像机和一距离传感器，所述CCD摄像机用于采集障碍物的图像信息，所述距离传感器用于采集障碍物的距离信息。

3.根据权利要求1所述的基于听觉的为视觉障碍人士传达周围环境信息的装置，其特征在于，所述中央处理器至少包括信号处理单元、信号转换单元以及信号控制单元；所述信号处理单元将所述图像信息和距离信息生成一二维矩阵形式的深度图谱，二维矩阵中的数值为图像的灰度值，每一灰度值在二维矩阵中的位置代表了障碍物的方位，灰度值的大小代表了障碍物的距离；所述信号转换单元将所述二维矩阵中的灰度值转换为对应的3D声场信号；所述信号控制单元将所述3D声场信号施加于所述3D立体声模块。

4.根据权利要求3所述的基于听觉的为视觉障碍人士传达周围环境信息的装置，其特征在于，所述二维矩阵形式的深度图谱中，定义背景色为纯黑，其灰度值为0，定义与视场采集模块距离为0时颜色为纯白，其灰度值最大；当在深度图谱中有一连续区域出现灰度值相近且不为0时，表明该位置具有障碍物。

5.根据权利要求4所述的基于听觉的为视觉障碍人士传达周围环境信息的装置，其特征在于，所述信号转换单元根据所述二维矩阵中代表具有障碍物的灰度值位置，调取声源信号以及左耳HRTF函数信号和右耳HRTF函数信号，将所述声源信号和所述左耳HRTF函数信号卷积后由所述信号控制单元提供给所述左耳扬声器，将所述声源信号和所述右耳HRTF函数信号卷积后由所述信号控制单元提供给所述右耳扬声器；所述信号转换单元根据所述二维矩阵中代表具有障碍物的灰度值大小，调整所述声源信号的频率和音量，灰度值越大，声源信号的频率越高、音量越大。

6.根据权利要求1-5任一所述的基于听觉的为视觉障碍人士传达周围环境信息的装置，其特征在于，所述视场采集模块、中央处理器以及3D立体声模块集成设置于可穿戴设备中。

7.根据权利要求6所述的基于听觉的为视觉障碍人士传达周围环境信息的装置，其特征在于，所述可穿戴设备具有外形类似于眼镜或者半头盔的设备，所述视场采集模块包括两个CCD摄像机，对应设置于佩戴者眼睛前方；所述3D立体声模块中的扬声器则设置于佩戴者的耳朵上。