CN110321860A

CN110321860A - 一种基于分布式多源异构传感技术的智能视障辅助系统

Info

Publication number: CN110321860A
Application number: CN201910613432.2A
Authority: CN
Inventors: 徐书凝; 胡孟晗; 李庆利
Original assignee: East China Normal University
Current assignee: East China Normal University
Priority date: 2019-07-09
Filing date: 2019-07-09
Publication date: 2019-10-11

Abstract

本发明公开了一种基于分布式多源异构传感技术的智能视障辅助系统，其特点是该智能视障辅助系统包括分布式设置，且通讯连接的头戴设备、背心、腰带、手环、手杖和导盲机器犬，整合了红外测距传感器、远红外成像技术、GPS、超声测距传感器、深度相机、RGB相机等传感模块，进行多源异构传感器之间的协作数据获取和数据间的协同处理分析，以满足视障人士的室内、外定位及避障等不同应用的需求。本发明与现有技术相比具有室内、外定位和交互阅读等功能，准确获取复杂应用场景下的有效信息和精准全面的传递，以满足不同环境下的视障辅助，帮助视障人士有效避障，结构简单，使用方便，可靠性高。

Description

一种基于分布式多源异构传感技术的智能视障辅助系统

技术领域

本发明涉多种定位模式和文字图像识别处理技术领域，具体地说是一种基于分布式多源异构传感技术的智能视障辅助系统。

背景技术

视障人士（包括部分视障人士和全盲人士）由于视觉缺失造成了生活上的诸多不便 , 因此人们一直在努力研究辅助装置来提高视障人士生活质量，设计智能视障辅助系统能为视觉障碍人士提供帮助，这已经成为现今研究热点，在该领域已有不少辅助视障人士的成果及应用。

申请号：2013203817903公开了一种视障人士手杖，该视障人士手杖为传统的视障辅助工具，其探测距离有限，只能检测脚边的障碍物，也无法反映远处和空中的状况，使用时需视障人士反复移动手杖，才能获知面前的情况，既费时也费力。

申请号：2015205123794公开了一种视障人士环境感知器，该感知器虽然采用超声波技术、激光测距技术、双目视觉技术、激光散斑编码技术、激光雷达技术、毫米波雷达技术、热成像技术、全球定位系统(GPS)，但基于超声波技术和激光测距技术的测距范围有限，只能实现单点测距，获取的信息量太少，且耗电多，设备笨重，只能实现报警功能，容易受环境干扰。此外，该设备是集中式的传感形式，存在传感距离有限、传感信息冗余等局限性，由于在多变的场景下，视障人士对于外围环境分辨，并且对信息获取要求较高。

导盲犬可以为视障人士提供帮助，但是导盲犬的训练和养护费用是高昂的，普通家庭难以承担。有些场合，导盲犬不能陪同视障人士进入，比如公交车和火车站，因此导盲犬的辅助是有局限性的。

现有技术的助盲工具大多是基于单源传感的系统，为了解决上述问题，因此，亟待开发能满足各种环境条件下的基于分布式多源异构传感技术的智能视障辅助系统。目前没有发现有关类似技术的说明或报道，也尚未收集到国内外类似的资料。

发明内容

本发明的目的是针对现有技术的不足而设计的一种基于分布式多源异构传感技术的智能视障辅助系统，采用分布式架构的多源异构传感技术，通过不同传感器采集的信息，准确获取复杂应用场景下的有效信息和精准全面的传递，以满足不同环境下的视障辅助，实现室内、外定位及避障等功能，结构简单，使用方便，可靠性高。

本发明的目的是这样实现的：一种基于分布式多源异构传感技术的智能视障辅助系统，其特点是该智能视障辅助系统包括分布式设置，且双向通讯连接的头戴设备、背心、腰带、手环、手杖和导盲机器犬，所述头戴式设备上设有语音反馈模块、深度相机和第一RGB相机；所述背心上设有与第一CPU处理器连接的第一GPU处理器和第一振动反馈模块；所述腰带上设有环状超声波测距及传感器；所述手环上设有与蓝牙模块连接的第二振动反馈模块和GPS模块；所述手杖上设有无线定位模块、栅栏状激光器和红外测距及传感器；所述导盲机器犬由第二CPU处理器连接的第二RGB相机、远红外相机、补光模块、第二GPU处理器和超声波测距及传感器组成；所述第一GPU处理器与语音反馈模块、深度相机、第一RGB相机和环状超声波测距及传感器为通讯连接；所述蓝牙模块与环状超声波测距及传感器、无线定位模块、栅栏状激光器和红外测距及传感器为通讯连接；所述第二CPU处理器与无线定位模块、栅栏状激光器和红外测距及传感器为通讯连接；所述语音反馈模块、第一振动反馈模块、第二振动反馈模块将头戴设备、腰带、手杖和导盲机器犬所获得的避障信息通过语音和触感反馈给用户。

所述导盲机器犬将采集得到的数据输入深度网络模型进行辅助避障。

所述深度相机根据匹配结果计算像素深度以获得距离信息。

所述第一RGB相机和第二RGB相机通过旋转角度的计算，实现朝向信息的获取。

所述深度相机、第一RGB相机和第二RGB相机与无线定位、蓝牙模块实现室内定位，所述深度相机、第一RGB相机和第二RGB相机与GPS模块、栅栏状激光器、红外测距及传感器、远红外相机、超声波测距及传感器、红外测距及传感器实现室外定位。

本发明与现有技术相比具有室内、外定位和交互阅读等功能，准确获取复杂应用场景下的有效信息和精准全面的传递，以满足不同环境下的视障辅助，帮助视障人士有效避障，结构简单，使用方便，可靠性高。

附图说明

图1为本发明结构示意图；

图2为本发明具体运用示意图。

具体实施方式

参阅附图1，本发明由分布式设置且双向通讯连接的头戴设备1、背心2、腰带3、手环4、手杖5和导盲机器犬6组成。所述头戴设备1上设有语音反馈模块11、深度相机12和第一RGB相机13；所述背心2上设有与第一CPU处理器21连接的第一GPU处理器22和第一振动反馈模块23；所述腰带3上设有环状超声波测距及传感器31；所述手环4上设有与蓝牙模块41连接的第二振动反馈模块42和GPS模块43；所述手杖5上设有无线定位模块51、栅栏状激光器52和红外测距及传感器53；所述导盲机器犬6由第二CPU处理器64连接的第二RGB相机61、远红外相机62、补光模块63、第二GPU处理器65和超声波测距及传感器66组成；所述第一GPU处理器22与语音反馈模块11、深度相机12、第一RGB相机13和环状超声波测距及传感器31为通讯连接；所述蓝牙模块41与环状超声波测距及传感器31、无线定位模块51、栅栏状激光器52和红外测距及传感器53为通讯连接；所述第二CPU处理器64与无线定位模块51、栅栏状激光器52和红外测距及传感器53为通讯连接；所述语音反馈模块11、第一振动反馈模块23、第二振动反馈模块42将头戴设备1、腰带3、手杖5和导盲机器犬6所获得的避障信息通过语音和触感反馈给用户；所述导盲机器犬6将采集得到的数据输入深度网络模型进行辅助避障；所述述第一RGB相机13和第二RGB相机61通过旋转角度的计算，实现朝向信息的获取；所述深度相机12、第一RGB相机13、第二RGB相机61与无线定位51和蓝牙模块43实现室内定位；所述深度相机12、第一RGB相机13、第二RGB相机61与GPS模块42、栅栏状激光器52、红外测距及传感器53、远红外相机62和超声波测距及传感器66实现室外定位。

参阅附图2，本发明以多源异构传感器的分布式构架，将头戴设备1、背心2、腰带3、手环4、手杖5和导盲机器犬6从上到下分别设置在视障人士7的各部位，以及各部分之间的传感器布局。

本发明是这样实现室内、外定位及避障等功能的：

（一）室内定位

视障人士7通过手杖5上的无线定位模块51实现粗定位，以及第一RGB相机13与二维码获取朝向信息、深度相机12获取距离信息和蓝牙模块41实现精细定位，上述采集的信息经语音反馈模块11以语音方式反馈给视障人士，从而实现室内定位。

（二）室外定位

通过第二RGB相机61进行常规物体识别、深度相机12获取二维距离信息、远红外相机62识别热源物体、GPS模块43获取位置信息、栅栏状激光器52检测棱角状物体，以及红外测距及传感器53与超声波测距及传感器66获取一维距离信息，上述采集的信息经融合决策后由语音反馈模块11以语音方式反馈给视障人士，从而实现室外定位。

（三）避障

头戴设备1上的第一RGB相机1和深度相机12对常规物体进行识别并获取二维距离信息，监测高度由相机的视野决定，导盲机器犬6将采集得到的数据输入深度网络模型进行辅助避障；腰带3上的环状超声波测距及传感器31与导盲机器犬6上的超声波测距及传感器66以获取一维距离信息，对环状超声波测距及传感器31和超声波测距及传感器66采集得到的数据进行阈值判断后，实现齐腰处的障碍物体检测；手杖5上的栅栏状激光器52对棱角状物体进行识别，并通过图像处理实现对0.5m以下的障碍物检测，上述采集的信息由语音反馈模块11以语音方式反馈给视障人士，从而实现避障功能。

所述头戴设备1上的第一RGB相机13与深度相机12对常规物体进行识别并获取二维距离信息，可实现避障功能，其检测高度由相机视野决定，语音反馈模块11可反馈实时环境信息，深度相机12根据匹配结果计算像素深度，获得距离信息。

所述背心2上的第一振动反馈模块23能够在避障、识别中给予视障人士振动反馈。

所述腰带3上的环状超声波测距及传感器31可以获取一维距离信息，对采集所得的数据进行阈值判断后，可实现齐腰处的障碍物体检测，环状超声波测距及传感器31指向性强，角度可调，其通过声速测量，获取一维距离信息。

所述手环4上的GPS模块43可以获取地理位置信息，第二振动反馈模块42能够在避障、识别中给予视障人士振动反馈。

所述手杖5上的红外测距及传感器53是以红外为光源的相位式光电测距仪光强随注入的电信号而变化，兼有光源和调制器的双重功能，获取一维距离信息，栅栏状激光器52配合第二RGB相机61，对楼梯等有棱角状物体进行识别，通过图像处理实现对0.5m以下的障碍物检测，从而实现避障功能。

所述导盲机器犬6将采集得到的数据输入深度网络模型进行辅助避障，远红外相机62可以对于热源物体识别，另外可以在夜间识别物体，其锐度低于可见光；超声波测距及传感器66指向性强，角度可调，其通过声速测量，获取一维距离信息。

以上只是对本发明作进一步的说明，并非用以限制本专利，凡为本发明等效实施，均应包含于本专利的权利要求范围之内。

Claims

1.一种基于分布式多源异构传感技术的智能视障辅助系统，其特征在于该智能视障辅助系统包括分布式设置，且双向通讯连接的头戴设备、背心、腰带、手环、手杖和导盲机器犬，所述头戴式设备上设有语音反馈模块、深度相机和第一RGB相机；所述背心上设有与第一CPU处理器连接的第一GPU处理器和第一振动反馈模块；所述腰带上设有环状超声波测距及传感器；所述手环上设有与蓝牙模块连接的第二振动反馈模块和GPS模块；所述手杖上设有无线定位模块、栅栏状激光器和红外测距及传感器；所述导盲机器犬由第二CPU处理器连接的第二RGB相机、远红外相机、补光模块、第二GPU处理器和超声波测距及传感器组成；所述第一GPU处理器与语音反馈模块、深度相机、第一RGB相机和环状超声波测距及传感器为通讯连接；所述蓝牙模块与环状超声波测距及传感器、无线定位模块、栅栏状激光器和红外测距及传感器为通讯连接；所述第二CPU处理器与无线定位模块、栅栏状激光器和红外测距及传感器为通讯连接；所述语音反馈模块、第一振动反馈模块、第二振动反馈模块将头戴设备、腰带、手杖和导盲机器犬所获得的避障信息通过语音和触感反馈给用户。

2.根据权利要求1所述基于分布式多源异构传感技术的智能视障辅助系统，其特征在于所述导盲机器犬将采集得到的数据输入深度网络模型进行辅助避障。

3.根据权利要求1所述基于分布式多源异构传感技术的智能视障辅助系统，其特征在于所述深度相机根据匹配结果计算像素深度以获得距离信息。

4.根据权利要求1所述基于分布式多源异构传感技术的智能视障辅助系统，其特征在于所述第一RGB相机和第二RGB相机通过旋转角度的计算，实现朝向信息的获取。

5.根据权利要求1、权利要求3或权利要求4所述基于分布式多源异构传感技术的智能视障辅助系统，其特征在于所述深度相机、第一RGB相机和第二RGB相机与无线定位、蓝牙模块实现室内定位，所述深度相机、第一RGB相机和第二RGB相机与GPS模块、栅栏状激光器、红外测距及传感器、远红外相机、超声波测距及传感器、红外测距及传感器实现室外定位。