CN111329736B - 借助振动反馈感知环境图像的系统 - Google Patents

Abstract

本发明为借助振动反馈感知环境图像的系统，利用图像获取模块进行外部环境的实时获取，且获取的信息为具有深度信息的深度图像，并利用信息处理模块提取出深度图像中具有的物体深度信息和轮廓信息，由轮廓信息完成振动范围的选择，然后根据深度信息进行相应轮廓范围内的频率振动，其中深度信息就是指的外部运动的物体距离用户的距离，然后将振动范围和振动频率都传输至振动模块进行振动，且当用户距离变化物体趋近时，振动频率增大；当用户距离变化物体趋远时，振动频率减小；因此用户能够感知到所面临的实时变化的外部环境中有哪些物体正在逐步接近自身，以轮廓信息反映物体的外形，振动的快慢反应距离，从而引导用户在实时变化的外部环境中行走。

Description

借助振动反馈感知环境图像的系统

技术领域

本发明涉及辅助盲人感知外界信息的技术领域，尤其涉及一种借助振动反馈感知环境图像的系统。

背景技术

信息技术的飞速发展为人们的生活提供了很大的便利。例如，平板计算机和/或智能手机等便携式电子设备可以将周边情况拍摄下来，并且通过网络与他人分享。此类便携式电子设备基本都是为视觉正常人士设计的。其中，视觉是人类接收外界信息的最重要途径，其中大约80%的外界信息是通过视觉感知的。然而，对于存在视觉障碍的人士而言，由于其难以借助视觉接收外界信息，给他们生活带来诸多不便，严重限制了他们的生活空间，故其不得不通过其他途径感知外部世界，例如，听觉或触觉。

虽然，现在亦有一小部份电子产品是为失明人士设计，但是这些电子产品都是借助声音作为信息传递媒介，使得用户通过其听觉接收信息。然而，在一些嘈杂的场合或者对于根本不包含声音信息的图像，声音就根本无法作为传递媒介来传送信息，并且语音辅助装置需要用户等语音说完话，听完再联想分析环境，等大脑分析完后，动态环境早已发生改变，对于生活确实有帮助，但容易发生误判；还有一种则通过手术将图像信息连接视觉神经的技术上，这种手段手术难度大，价格昂贵，并不能大面积推广，触觉替代视觉，是一种将视觉图像转换成触觉图像的过程。触觉图像以触觉阵列的形式让盲人感知。从实现途径上可分为直接重构和感官替代两大类，直接重构是指直接刺激人类的皮肤而产生触觉感，感官替代是指用其它感觉器官替代皮肤接受触觉信号间接地判断触觉感，所以需要一种更加先进的技术来辅助盲人进行生活。

发明内容

针对上述技术中存在的如：触觉图像通常采用盲文的方式来进行信息传达，但是这样的技术方案对于有实时性要求的设备还是有不足之处，本发明提供一种借助振动反馈感知环境图像的系统，触觉替代视觉，是一种将视觉图像转换成触觉图像的过程，并由振动设备进行环境与用户的相对距离，并以振动的频率来表征出距离的远近，帮助失明人士能够正常生活。

具体为一种借助振动反馈感知环境图像的系统，其特征在于，包括：

图像获取模块，用于用户随身携带时对身体外部环境进行实时获取并形成深度图像，并将所述深度图像传送至信息处理模块；所述信息处理模块获取所述深度图像中的物体深度信息，

所述信息处理模块根据所述物体深度信息输出振动频率信号，贴合在用户身体皮肤敏感区的振动模块接受到所述振动频率信号进行振动，在所述振动模块振动中，当用户距离变化物体趋近时，振动频率增大；当用户距离变化物体趋远时，振动频率减小，从而引导用户在实时变化的外部环境中行走。

作为优选，所述信息处理模块还获取所述深度图像中的物体轮廓信息，并识别所述物体轮廓信息用以选定反馈区域信号；且所述振动模块的振动范围为所述反馈区域信号标定的范围。

作为优选，所述振动模块包括由多个独立振动单元阵列排布，所述深度图像的分辨率与所述振动单元阵列点对点比例对应。

作为优选，所述图像获取模块获取的深度图像分辨率与所述振动模块的阵列排布呈1:1比例匹配。

作为优选，所述每个所述振动单元与所述深度图像的像素坐标一一对应。

作为优选，其特征在于，所述物体轮廓信息包括外部环境中物体的长度、宽度信息，所述物体深度信息包括外部环境中物体与所述图像获取模块的距离。

作为优选，所述反馈区域信号根据所述物体轮廓信息进行标定，以形成所述振动范围的X方向长度与Y方向长度，所述振动频率信号根据所述物体深度信息进行标定，以输出在所述振动范围内的每个振动触点不同的振动频率。

作为优选，所述信息处理模块在获取到所述深度图像时进行去噪处理。

作为优选，所述图像获取模块为RGB-D传感器、RGB相机、超声波图像传感器、激光图像传感器和三维地形探测器中的一种或多种的组合，所述图像获取模块还包括利用通信获取图像。

作为优选，所述振动模块由阵列排布的扁平振动马达或陶瓷震荡片组成。

本发明的有益效果是：与现有技术相比，本发明利用图像获取模块进行外部环境的实时获取，且获取的信息为具有深度信息的深度图像，并利用信息处理模块提取出深度图像中具有的物体深度信息和轮廓信息，由轮廓信息完成振动范围的选择，然后根据深度信息进行相应轮廓范围内的频率振动，其中深度信息就是指的外部运动的物体距离用户的距离，然后将振动范围和振动频率都传输至振动模块进行振动，且当用户距离变化物体趋近时，振动频率增大；当用户距离变化物体趋远时，振动频率减小；因此用户能够感知到所面临的实时变化的外部环境中有哪些物体正在逐步接近自身，以轮廓信息反映出物体的外形，振动的快慢反应出距离，从而引导用户在实时变化的外部环境中行走。

附图说明

图1为本发明的系统架构图；

图2为本发明的系统示意框图；

图3为本发明的信息处理模块提取深度信息和轮廓信息示意图；

图4为本发明其中一个实施例的振动模块结构示意图。

主要元件符号说明如下：

1、图像获取模块；11、深度图像；111、物体深度信息；112、物体轮廓信息；2、信息处理模块；21、振动频率信号；22、反馈区域信号；3、振动模块；31、振动单元。

具体实施方式

为了更清楚地表述本发明，下面结合附图对本发明作进一步地描述。

在现有技术中，帮助失明人士进行环境感知的手段基本可以概括为三种，一是通过语音的方式，利用图像数据库进行物体和语音的匹配识别，当设备摄取到周围环境的图像后，反馈出语音信号，然后将语音传递给使用者，但是这个过程需要大量的匹配数据，不然很容易出现信息的缺失和误判，让失明人士对环境也造成误判，并且语音传递给失明人士时，还需要依靠失明人士根据以往的经验重新再脑海中构建出环境图像，这样既不能满足实时性，又对一些先天性失明人士、或者是年纪较小和判断能力不足的人士非常的不友好；二是通过高科技手术将芯片直接连接视觉神经，但是这样的做法局限性也是显而易见的；所以以上两种方法的试用范围都有所局限；而第三种，也就是通过升降式的机械结构进行图像或者盲文的显示，这样做既不能满足实时性要求，而且要用户能够懂得盲人并且对触觉刺激比较敏感，显然也不是一种很好的方式，对于实时变化的周遭环境，显然实时性不够。

而本发明提供一种借助振动反馈来感知环境图像的系统，具备有实时性和较少前提条件就能应用的优势，利用图像获取模块进行外部环境的实时获取，且获取的信息为具有深度信息的深度图像，并利用信息处理模块提取出深度图像中具有的物体深度信息和轮廓信息，由轮廓信息完成振动范围的选择，然后根据深度信息进行相应轮廓范围内的频率振动，其中深度信息就是指的外部运动的物体距离用户的距离，然后将振动范围和振动频率都传输至振动模块进行振动，且当用户距离变化物体趋近时，振动频率增大；当用户距离变化物体趋远时，振动频率减小；因此用户能够感知到所面临的实时变化的外部环境中有哪些物体正在逐步接近自身，以轮廓信息反映出物体的外形，振动的快慢反应出距离，从而引导用户在实时变化的外部环境中行走。

那么具体为一种借助振动反馈感知环境图像的系统，包括：

请参阅图1-图3，图像获取模块1，用于用户随身携带时对身体外部环境进行实时获取并形成深度图像11，并将深度图像11传送至信息处理模块2；信息处理模块2获取深度图像11中的物体轮廓信息112以及物体深度信息111，

信息处理模块2根据物体深度信息111输出振动频率信号21，并识别物体轮廓信息112用以选定反馈区域信号22；

贴合在用户身体皮肤敏感区的振动模块3接受到振动频率信号21进行振动，且振动范围为反馈区域信号22标定的范围；在振动模块振动中，当用户距离变化物体趋近时，振动频率增大；当用户距离变化物体趋远时，振动频率减小，从而引导用户在实时变化的外部环境中行走。因为需要实时进行获取图像，所以图像获取模块一般直接固定安装在用户的身上，随之行走，比如安装在肩膀上，拍摄范围是行进方向内的景物环境，其根据用户的需求可以进行拍摄有效范围的调整，比如2.1mm的镜头定焦距离为3米，25mm的镜头定焦为80米，所以对于拍摄范围和距离都可以进行很好的个性化和需求化定制，并且还可以通过通信获取图像，比如在连接了手机，直接用手机拍摄的图片进行无线通信传输，也可以获取到深度图像。

在本实施例中，振动模块3包括由多个独立振动单元31阵列排布，物体轮廓信息112与振动单元31阵列点对点比例对应，因为对于深度图像来说，所拥有的像素坐标为物体轮廓信息的标定界面，所以当振动单元进行实际应用时，需要对把物体轮廓信息与振动单元阵列在某一比例下进行对应，不然会出现振动反馈的失真和产生位移误差。

作为一个更加优选的方案，图像获取模块1获取的深度图像11分辨率与振动模块的阵列排布呈1:1比例匹配；每个振动单元与深度图像的像素坐标一一对应，所以在信息处理模块发出了振动频率信号和标定了物体轮廓后，能够真实的反应出用户所面临的实时环境状态，因为通过频率的改变和振动位置的改变，非常的直观，让用户可以很快速的判断出前方运动物体的实时动态，从而知晓如何行走，并且是1:1的比例进行制造，像素坐标和振动单元坐标完全一直，减少了很多的运算量，保证了数据的实时性和真实性。

作为一个优选的方案，物体轮廓信息112包括外部环境中物体的长度信息、宽度信息，物体深度信息111包括外部环境中物体与图像获取模块的距离；因为自图像获取模块中获取到的深度图像中，具有了物体的轮廓、以及每一个像素点的相对距离，这个相对距离就是物体获取模块到物体的距离，又由于图像获取模块是直接安装在用户身上的，所以深度信息近似等于环境物体到用户身体的距离；这样对于用户能够准确的，实时的做出判断。

并且，反馈区域信号22根据物体轮廓信息112进行标定，以形成振动范围的X方向长度与Y方向长度，振动频率信号根据物体深度信息111进行标定，以输出在振动范围内的每个振动触点不同的振动频率。因为可以调整到图像获取模块的分辨率所形成的像素坐标点位和阵列铺设的振动单元一一对应，所以形成的振动范围的X方向长度和Y方向长度能够直接真实的反应物体轮廓，因为在这个选定的振动范围内，所有的振动单元都会独立的接受到根据各个像素点不同的深度信息进行不同频率的振动，以示区别，所以深度信息也可以直接表达成Z方向深度，以此X方向、Y方向和Z方向的位置信息准确标定，并且能够以Z方向的大小来进行不同速度的振动，这样用户行进过程中的物体三维信息就能通过触觉直接反应给失明人士，让用户在街道行进时，街上行人等动态物体能被用户第一时间感知，准确判断动态物体的位置。或者用户自己作为较高速动态运动时，能及时察觉想要观察的位置环境。做到接近正常人的生活状态。或者在夜晚活动等无光环境下如同在有光环境下的活动。

在本实施例中，信息处理模块2在获取到深度图像11时还会进行去噪处理，因为受限于分辨率，以及光感不友好的环境中，深度图像可能会产生角度的边缘性噪点，此时对其进行去噪虽然会对物体轮廓信息产生一定的减小，但是对于用户判断何处能走何处不能走完全没有问题。

在一个具体的实施例中，请参阅图3-图4，图像获取模块1可以为RGB-D传感器、RGB相机、超声波图像传感器、激光图像传感器和三维地形探测器中的一种或多种的组合；因为采用现有技术中的手段都可以拍摄到具有深度信息的深度图像，也就满足了本发明需要对物体深度信息进行提起的要求；同时，振动模块可以选择由阵列排布的扁平振动马达组成，比如型号为JM1020的扁平振动马达，其额定电压为3V、厚度仅为2.7mm，至今10mm，所以完全可以制备成一张薄膜构造的材料，并且紧贴在手掌上或者是手腕上；还可以利用电极刺激，那么对应的铺设范围更精细，反应也较为灵敏，是一个不错的选择。如在图3中，K1框为距离较近的物体粗略轮廓线，K2为距离较远的物体粗略轮廓线；其K1与K2所具有的的平面位置信息X方向和Y方向可以得到，其Z方向（深度信息）为途中的L所示距离，所以能够从深度图像中活的环境的三维信息，然后根据深度信息进行对应的频率选择，然后由用户感知进行环境的实时判断。

本发明的优势在于：

1）、盲人不但可以有效地探测到周围障碍避让周围的障碍物体，还能通过摄像头“看”到眼前方物体轮廓，识别物体形状，进一步的，通过不断的训练积累，可以逐步认识到越来越多的物体；

2）最主要的是，可以通过振动的快慢来反应环境中物体和用户之间的距离，并且实时进行频率的调整，以适应物体变化动态，从而选择合适的行走路线。

以上公开的仅为本发明的几个具体实施例，但是本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (3)

1.一种借助振动反馈感知环境图像的系统，其特征在于，包括：

图像获取模块，用于用户随身携带时对身体外部环境进行实时获取并形成深度图像，并将所述深度图像传送至信息处理模块；所述信息处理模块获取所述深度图像中的物体深度信息和物体轮廓信息，所述信息处理模块根据所述物体深度信息和物体轮廓信息输出振动频率信号和振动范围信号，其中，由物体轮廓信息完成振动范围的选择，然后根据物体深度信息确定相应物体轮廓范围内的振动频率；贴合在用户身体皮肤敏感区的振动模块接收所述振动频率信号和振动范围信号进行振动，在所述振动模块振动中，当用户距离物体趋近时，振动频率增大；当用户距离物体趋远时，振动频率减小，从而引导用户在实时变化的外部环境中行走；

所述信息处理模块识别所述物体轮廓信息用以选定反馈区域信号；且所述振动模块的振动范围为所述反馈区域信号标定的范围；

所述振动模块由多个独立振动单元阵列排布，所述深度图像的分辨率与振动单元阵列点对点比例对应；

所述图像获取模块获取的深度图像分辨率与所述振动模块的振动单元阵列排布呈1:1比例匹配；

每个所述振动单元与所述深度图像的像素坐标一一对应；

所述物体轮廓信息包括外部环境中物体的长度、宽度信息，所述物体深度信息包括外部环境中物体与所述图像获取模块的距离；

所述反馈区域信号根据所述物体轮廓信息进行标定，以形成所述振动范围的X方向长度与Y方向长度，所述振动频率信号根据所述物体深度信息进行标定；

所述信息处理模块在获取到所述深度图像时进行去噪处理。

2.根据权利要求1所述的借助振动反馈感知环境图像的系统，其特征在于，所述图像获取模块为RGB-D传感器、RGB相机、超声波传感器、激光图像传感器和三维地形探测器中的一种或多种的组合，所述图像获取模块利用通信获取深度图像。

3.根据权利要求1所述的借助振动反馈感知环境图像的系统，其特征在于，所述振动模块由阵列排布的扁平振动马达或陶瓷震荡片组成。

Images