CN113749915B - 一种场景复现的导盲方法与系统 - Google Patents

Abstract

本发明公开了一种场景复现的导盲方法与系统。方法中分别利用相机和激光雷达获取盲人所处场景的图像流和距离点云集信息；对相机和激光雷达进行组合标定，获得联合标定外参；利用联合标定外参对图像流信息和距离点云集信息进行融合，再进行目标检测和位置确立；进行最佳路径的选择；对运动目标进行估计区域的计算；计算运动目标的估计区域位移变化，估计道路风险指数和风险等级；通过人机交互反馈给盲人。系统由总控制模块及与其相连的机器视觉模块和激光雷达模块组成。本发明收集更多的道路信息，包括道路标识，道路障碍物的具体位置与距离，道路风险指数和等级，可拓展性强，大大的增加盲人在道路上的行驶安全，为盲人出行提供更可靠的安全保障。

Description

一种场景复现的导盲方法与系统

技术领域

本发明属于移动式智能导盲技术领域的一种导盲方法和系统，具体涉及了一种场景复现的导盲方法与系统。

背景技术

盲人是人类社会群体中的弱势群体，而且据调查表明，盲人数量每年都在增加，有数量增大的趋势，为盲人提供安全、可靠、智能高效的出行，成为社会进步的一个重要标志。目前，常见有盲道、盲杖、导盲犬等来辅助盲人出行，而盲道由于规划不合理、被非机动车随意占用等原因，使得盲道的出现并未给盲人提供太大的帮助。盲杖则由于设计简单，不能在复杂的交通环境下为盲人提供准确的道路信息，且由其感应距离较近，能感知的障碍物低矮，不能对盲人的安全出行提供安全保障。某种程度上，导盲犬可以带领盲人安全出行，但导盲犬培养时间长，且价格昂贵、饲养麻烦。

现有的盲人出行工具虽在一定程度上为盲人的出行提供了帮助，但由于在实际应用中存在很多局限性，并不能为盲人安全出行提供保障。彻底解决这一问题，移动式导盲机器人出现。它可实现的功能完全覆盖其他导盲机器人，且可扩展性强，是近年来广受关注、发展迅速的导盲机器人类型。此外，移动式导盲机器人采用机器人先行、盲人跟随的导航方式，大大降低了盲人受伤的概率，显著提高了盲人在室内外行走的效率和安全性。

发明内容

为了克服现有技术的不足，本发明提出了一种场景复现的导盲方法与系统，可以完成对盲道、红绿灯、斑马线、人、车等道路信息，再利用激光雷达与机器视觉融合确定道路内目标识别，在微处理器内进行实时场景复现建模，估算自身位置，确定道路标识位置，对道路风险指数进行判定，通过实时场景复现的建模实现机器人的安全精准避障及最优路线选择。

本发明的技术方案如下：

1、一种场景复现的导盲方法

方法包括以下步骤：

步骤1：利用相机不断获取盲人所处实时场景的图像流信息；

步骤2：利用激光雷达不断获取盲人所处实时场景的距离点云集信息；

步骤3：对相机和激光雷达进行组合标定，获得两者的联合标定外参；

步骤4：利用联合标定外参对图像流信息和距离点云集信息进行融合，获得融合场景信息，再对融合场景信息进行目标检测，实现对盲道、红绿灯、斑马线、人、车、树、建筑物的目标检测和位置确立；

步骤5：根据检测获得的盲道和斑马线进行最佳路径的选择；

步骤6：对检测获得的人、车的运动目标进行估计区域的计算；

步骤7：根据运动目标的估计区域，计算运动目标的估计区域位移变化，通过运算估计道路风险指数和风险等级；

步骤8：根据检测的目标、最佳路径以及道路风险指数、风险等级，通过人机交互的方式反馈给盲人。

所述步骤2中激光雷达选择3D激光雷达。

所述步骤5具体为：

根据检测获得的盲道和斑马线进行路径规划，获得不同条候选路径；如果盲道和斑马线上有障碍物阻挡时，则以当前盲人所在位置以及盲道或斑马线构建坐标系，并在坐标系内产生从盲人当前位置到目的位置的一簇平滑曲线并作为候选路径；计算各条候选路径的代价函数，选择代价函数最小的候选路径作为最佳路径。

所述步骤7中道路风险指数的计算公式如下：

道路风险指数＝∑各类型的路段事故风险指数；

各类型导致的路段事故风险指数的计算公式如下：

路段事故风险指数＝事故发生概率*事故严重程度*k1*路段内运动目标趋于盲人位移速度*k2*盲人运动速度*天气环境影响系数*k3/运动目标距盲人的距离；

其中，事故发生概率、事故严重程度、天气环境影响系数由实际路段交通状况决定，k1指路段内运动目标趋于盲人位移速度系数，k2指盲人运动速度系数，k3指运动目标距盲人的距离系数。

所述步骤7中道路风险指数的范围为0-100，指数越大，表示道路风险越大；将指数分为三个风险等级，其中0-69为绿色安全等级，70-89为黄色警告等级，90及以上为红色危险等级。

所述步骤8中人机交互的方式包括语音播报和握把震动；

所述语音播报，是指获得融合场景信息后，根据检测的目标、最佳路径将路口、红灯、紧急情况下停车的路况通过蓝牙耳机将导盲道路信息情况实时播报给盲人；

所述握把震动，是指根据道路风险指数、风险等级，在道路风险指数达到黄色警告等级后，握把的震动模块会开始震动，且指数越大，震动越剧烈，提示盲人存在紧急停车的情况。

二、一种场景复现的导盲系统

系统包括总控制模块及与其相连的机器视觉模块和激光雷达模块；其中，总控制模块用于系统控制、场景融合复现、目标检测、语音识别、路径规划和信号传递；

机器视觉模块用于采集盲人所处实时场景的图像流信息，激光雷达模块用于采集盲人所处实时场景的距离点云集信息。

所述机器视觉模块为相机；相机与总控制模块通讯方式采用局域网通讯。

所述激光雷达模块为3D激光雷达，3D激光雷达的最远范围为50m，采集频率50HZ，上下扫描角共15°，上下扫描范围可达-1.3m到12m。

所述总控制模块包括微处理器、控制芯片、定位模块、语音模块、超声波模块、电机驱动模块、蓝牙耳机模块、握把震动模块组成；

微处理器与机器视觉模块、激光雷达模块、控制芯片、语音模块和蓝牙耳机模块相连；

控制芯片还与定位模块、超声波模块、电机驱动模块和握把震动模块相连；

所述握把震动模块，用于微处理器计算出实时场景的道路风险指数后，当道路风险指数达到黄色警告等级时，握把震动模块会开始震动，且道路风险指数越大，震动越剧烈，提示盲人存在紧急停车的情况；

所述微处理器模块，用于将图像流信息和距离点云集信息进行实时场景融合、目标检测、路径规划、道路风险指数和风险等级的判别。

所述定位模块，通过GPS定位确定系统的位置；

所述语音模块，用于采集用户语音并在微处理器内处理获取目的位置；

所述超声波模块，用于在障碍物靠近超过预设距离时向控制芯片发送紧急停下信号；

所述电机驱动模块，用于控制系统的行走。

所述蓝牙耳机模块，通过蓝牙与微处理器系统相连，由微处理器系统通过蓝牙传递给佩戴的蓝牙耳机信号，向盲人传递路口信息，停下等候命令。

所述机器人结构中的伸缩杆，可以调节握把高度与盲人适应，可以达到令盲人最适宜的位置。

本发明的有益效果为：

本发明提供的一种场景复现的导盲方法和导盲系统，比传统的导盲杖等出行设备提供更多的道路信息，运用机器视觉与激光雷达的模式，更加精准确定了盲人定位和前方的道路信息及道路风险，为机器人的行进提供更加安全的保障，因此大大的增加了盲人出行的安全性，为盲人安全出行提供了更大的保障。

附图说明

图1是本发明的一种场景复现的导盲方法的流程示意图；

图2是本发明的一种场景复现的导盲系统的整体结构示意图；

图3是本发明的一种场景复现的导盲系统的导盲策略示意图；

图4是本发明的一种场景复现的导盲系统的各个通讯示意图；

图5是本发明的一种场景复现的导盲系统的组成立体示意图；

图中：1相机；2光源；3三维激光雷达；4超声波雷达；5轮胎；6驱动电机；7握把；8伸缩杆；9蓝牙耳机。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，进一步清晰地理解本发明。需要指出的是，这里只指出本发明的主要内容，一些已知的功能和详细描述在这里将忽略。

如图1所示，方法包括以下步骤：

步骤1：利用相机不断获取盲人所处实时场景的图像流信息；

步骤2：利用激光雷达不断获取盲人所处实时场景的距离点云集信息；

步骤2中激光雷达选择3D激光雷达，3D激光雷达用于对盲人前方场景的实时扫描，在激光雷达最大范围内实现对盲人前方场景上下全方位的扫描，具体为水平的270°角扫面，扫描频率为50HZ，扫描上下角度共计15°，从-1.5°到13.5°，角度分辨率为0.5°，满足与图像流信息匹配。

步骤3：对相机和激光雷达进行组合标定，获得两者的联合标定外参；

具体实施中，利用Autoware软件对相机到激光雷达进行组合标定，步骤分为：标定准备、录制标定包和使用Calibration Tool Kit标定。

标定准备：需要一块标定板，确定举标定板人的站位及动作：标定板在摄像头下一般有6个站位，每个站位做相同的一组5个动作。6个站位分别为：近距离镜头左边、中间、右边，远距离镜头左边、中间、右边。5个动作分别为：正向；下俯；上仰；左偏；右偏。

录制标定包：启动Autoware，打开ROSBAG，勾选/image_raw和/velodny_points两个话题进行录制保存。

使用Calibration Tool Kit标定：运用配置Tool Kit，选择image_raw和/velodny_points，在设置完参数后，进行标定，得到联合标定的外参文件。

步骤4：利用联合标定外参对图像流信息和距离点云集信息进行融合，获得融合场景信息，再对融合场景信息进行目标检测，实现对盲道、红绿灯、斑马线、人、车、树、建筑物的目标检测和位置确立；

具体实施中，利用联合标定的外参文件将距离点云集信息投影到图像流信息中对应范围上，完成图像到点云的信息融合，获得融合场景信息；

接着，在融合场景信息中，对相机获取的图像内的盲道、红绿灯、斑马线、人、车、建筑物进行目标检测，经过目标检测之后，得到2维bounding box坐标，利用融合场景信息即点云和图像像素的对应关系，得到3维bounding box信息，并在图形化工具中显示出来，其中，运用不同的颜色代表不同的物体类别。图像上检测出来的物体，在融合场景信息的3D场景中的目标一一对应。

步骤5：根据检测获得的盲道和斑马线进行最佳路径的选择；

步骤5具体为：

根据检测获得的盲道和斑马线进行路径规划，获得不同条候选路径；如果盲道和斑马线上有障碍物阻挡时，则以当前盲人所在位置以及盲道或斑马线构建坐标系，并在坐标系内产生从盲人当前位置到目的位置的一簇平滑曲线并作为候选路径；计算各条候选路径的代价函数，代价函数根据行进的安全性、平滑性和连贯性进行设置；选择代价函数最小的候选路径作为最佳路径。

步骤6：采用一种基于稀疏光流与改进后的DBSCAN(Density BasedSpatialClustering of Application with Noise)聚类的多运动目标检测算法对检测获得的人、车的运动目标进行估计区域的计算；

步骤7：根据运动目标的估计区域，计算运动目标的估计区域位移变化，通过运算估计道路风险指数和风险等级；

步骤7中道路风险指数的计算公式如下：

道路风险指数＝∑各类型的路段事故风险指数；

各类型导致的路段事故风险指数的计算公式如下：

路段事故风险指数＝事故发生概率*事故严重程度*k1*路段内运动目标趋于盲人位移速度*k2*盲人运动速度*天气环境影响系数*k3/运动目标距盲人的距离；

其中，事故发生概率、事故严重程度、天气环境影响系数由实际路段交通状况决定，k1指路段内运动目标趋于盲人位移速度系数，k2指盲人运动速度系数，k3指运动目标距盲人的距离系数。步骤7中道路风险指数的范围为0-100，指数越大，表示道路风险越大；将指数分为三个风险等级，其中0-69为绿色安全等级，70-89为黄色警告等级，90及以上为红色危险等级。

步骤8：根据检测的目标、最佳路径以及道路风险指数、风险等级，通过人机交互的方式反馈给盲人。

步骤8具体为：

人机交互的方式包括语音播报和握把震动；

语音播报，是指获得融合场景信息后，根据检测的目标、最佳路径将路口、红灯、紧急情况下停车的路况通过蓝牙耳机将导盲道路信息情况实时播报给盲人，讲明停车信息、行进方向等情况。紧急情况下具体为遇到行人等快速接近盲人至距离拉近到0.2m内被超声波雷达感应到急停；

握把震动，是指根据道路风险指数、风险等级，在道路风险指数达到黄色警告等级后，握把的震动模块会开始震动，且指数越大，震动越剧烈，提示盲人存在紧急停车的情况。

如图2、图3和图4所示，导盲系统包括总控制模块及与其相连的机器视觉模块和激光雷达模块；其中，总控制模块用于系统控制、场景融合复现、目标检测、语音识别、路径规划和信号传递；

机器视觉模块用于采集盲人所处实时场景的图像流信息，激光雷达模块用于采集盲人所处实时场景的距离点云集信息。

机器视觉模块为相机，相机的摄像头为海康摄像头，它与计算机相互连接，实现算法识别；相机与总控制模块通讯方式采用局域网通讯。

激光雷达模块为3D激光雷达，3D激光雷达的最远范围为50m，采集频率50HZ，上下扫描角共15°，上下扫描范围可达-1.3m到12m，其可采集的云点集数量及采集的实时场景的范围大小满足导盲要求，能与上述的机器视觉采集的图像信息相互搭配。

总控制模块包括微处理器、控制芯片、定位模块、语音模块、超声波模块、电机驱动模块、蓝牙耳机模块、握把震动模块组成；

微处理器与机器视觉模块、激光雷达模块、控制芯片、语音模块和蓝牙耳机模块相连；

控制芯片还与定位模块、超声波模块、电机驱动模块和握把震动模块相连；控制芯片为STM32F107芯片，其具有功能性强大、可拓展性强，能够满足控制要求。

微处理器模块，用于将图像流信息和距离点云集信息进行实时场景融合、目标检测、路径规划、道路风险指数和风险等级的判别。在本实施例中，微处理器为WINDOWS系统，搭载在PC计算机上，利用软件系统进行算法识别和路径选择。

握把震动模块，用于微处理器计算出实时场景的道路风险指数后，当道路风险指数达到黄色警告等级时，握把震动模块会开始震动，且道路风险指数越大，震动越剧烈，提示盲人存在紧急停车的情况；

定位模块，通过GPS定位确定系统的位置；其通讯方式为串口通讯。

语音模块，用于采集用户语音并在微处理器中处理得到目的位置，在控制芯片将系统目前所在GPS定位信息发送给微处理器后，结合两者的位置信息，在微处理器进行路线规划；

超声波模块，通过串口通讯方式与控制芯片相连，用于在障碍物靠近超过预设距离时向控制芯片发送紧急停下信号；

电机驱动模块，与控制芯片相连，通过控制芯片的输出，用于控制系统的行走。

蓝牙耳机模块，通过蓝牙与微处理器系统相连，由微处理器系统通过蓝牙传递给佩戴的蓝牙耳机信号，向盲人传递路口信息，停下等候命令。

机器人结构中的伸缩杆，可以调节握把高度与盲人适应，可以达到令盲人最适宜的位置。

系统的具体工作过程：

当盲人需要到某个目的地时，唤醒机器人，通过蓝牙耳机的语音提示说出目的地的具体位置，由搭载上机器人的语音模块收集信息，结合当前机器人的GPS定位信息，通过计算机上的整合分析，确定机器人的整体导盲路线。

具体的，机器人在按盲道走的时候，检测到障碍物，微处理器检测障碍物位置实现自主避障。路口红绿灯选择时，若为红灯，则耳机播报提醒盲人停下等候。走在斑马线时，若遇障碍物，检测到障碍物，微处理器检测障碍物位置实现自主避障。机器人GPS定位实时与终点定位比较，判断机器人是否到达目的地，如若达到目的地，则耳机播报语音传递给盲人。

具体的，通过机器视觉和激光再实时采集的信息融合建立场景复现的模型后，利用计算机按盲道、斑马线或自主避障选择的最优路径的方向行进，再利用通讯方式传递给控制芯片控制机器人的行进方向。

具体的，道路风险指数判定以移动性目标为主，例如人、车等，根据场景模拟复现建模，确定其大致的运动趋势，结合盲人具体位置、运动速度，盲人与移动性目标的距离，再以事故发生概率、事故严重程度、天气环境因素为辅，综合计算出道路风险指数，在指数达到黄色等级指标时，由处理器传递信号给控制芯片，使盲人手握的握把产生震动，且指数越大，震动越明显，提示盲人做好急停准备。

具体的，在机器人周围安装上超声波雷达，直接与STM32芯片通讯，在超声波雷达感应到0.2m内有障碍物存在时，芯片直接控制电机驱动模块，实现机器人的紧急停车。

具体的，握把的高度可以通过伸缩杆进行调节，可以达到与盲人身高适应，达到导盲最适应位置。

导盲系统的实物为导盲机器人，如图5所示，包括相机1、光源2、三维激光雷达3、超声波雷达4、轮胎5、驱动电机6、握把7、伸缩杆8和蓝牙耳机9。

相机1与光源2相连并控制光源，相机1与光源2设置在导盲机器人的最上方，三维激光雷达3设置在相机1与光源2的下方，超声波雷达4设置在三维激光雷达3和轮胎之间；相机1、光源2、三维激光雷达3、超声波雷达4均位于导盲机器人的正前面；驱动电机6用于控制轮胎的转动，从而控制导盲机器人的前进和停止；握把7设置在导盲机器人的后面，握把7由伸缩杆8构成，用于高度的调节；蓝牙耳机9佩戴于盲人身上。

以上所列的具体实施例是便于本领域人员能理解应用本发明，但不限与只此一种，凡在本发明所体现的基本原则的所做的修改，都应在本发明的保护范围之内。

Claims (8)

1.一种场景复现的导盲方法，其特征在于，包括以下步骤：

步骤1：利用相机不断获取盲人所处实时场景的图像流信息；

步骤2：利用激光雷达不断获取盲人所处实时场景的距离点云集信息；

步骤3：对相机和激光雷达进行组合标定，获得两者的联合标定外参；

步骤4：利用联合标定外参对图像流信息和距离点云集信息进行融合，获得融合场景信息，再对融合场景信息进行目标检测，实现对盲道、红绿灯、斑马线、人、车、树、建筑物的目标检测和位置确立；

步骤5：根据检测获得的盲道和斑马线进行最佳路径的选择；

步骤6：对检测获得的人、车的运动目标进行估计区域的计算；

步骤7：根据运动目标的估计区域，计算运动目标的估计区域位移变化，通过运算估计道路风险指数和风险等级；

步骤8：根据检测的目标、最佳路径以及道路风险指数、风险等级，通过人机交互的方式反馈给盲人；

所述步骤7中道路风险指数的计算公式如下：

道路风险指数＝∑各类型的路段事故风险指数；

各类型导致的路段事故风险指数的计算公式如下：

路段事故风险指数＝事故发生概率*事故严重程度*k1*路段内运动目标趋于盲人位移速度*k2*盲人运动速度*天气环境影响系数*k3/运动目标距盲人的距离；

其中，事故发生概率、事故严重程度、天气环境影响系数由实际路段交通状况决定，k1指路段内运动目标趋于盲人位移速度系数，k2指盲人运动速度系数，k3指运动目标距盲人的距离系数；

所述步骤7中道路风险指数的范围为0-100，指数越大，表示道路风险越大；将指数分为三个风险等级，其中0-69为绿色安全等级，70-89为黄色警告等级，90及以上为红色危险等级。

2.根据权利要求1所述的一种场景复现的导盲方法，其特征在于，所述步骤2中激光雷达选择3D激光雷达。

3.根据权利要求1所述的一种场景复现的导盲方法，其特征在于，所述步骤5具体为：

根据检测获得的盲道和斑马线进行路径规划，获得不同条候选路径；如果盲道和斑马线上有障碍物阻挡时，则以当前盲人所在位置以及盲道或斑马线构建坐标系，并在坐标系内产生从盲人当前位置到目的位置的一簇平滑曲线并作为候选路径；计算各条候选路径的代价函数，选择代价函数最小的候选路径作为最佳路径。

4.根据权利要求1所述的一种场景复现的导盲方法，其特征在于，所述步骤8中人机交互的方式包括语音播报和握把震动；

所述语音播报，是指获得融合场景信息后，根据检测的目标、最佳路径将路口、红灯、紧急情况下停车的路况通过蓝牙耳机将导盲道路信息情况实时播报给盲人；

所述握把震动，是指根据道路风险指数、风险等级，在道路风险指数达到黄色警告等级后，握把的震动模块会开始震动，且指数越大，震动越剧烈，提示盲人存在紧急停车的情况。

5.用于实施权利要求1所述的一种场景复现的导盲方法的一种场景复现的导盲系统，其特征在于，包括总控制模块及与其相连的机器视觉模块和激光雷达模块；其中，总控制模块用于系统控制、场景融合复现、目标检测、语音识别、路径规划和信号传递；

机器视觉模块用于采集盲人所处实时场景的图像流信息，激光雷达模块用于采集盲人所处实时场景的距离点云集信息。

6.根据权利要求5所述的一种场景复现的导盲系统，其特征在于，所述机器视觉模块为相机；相机与总控制模块通讯方式采用局域网通讯。

7.根据权利要求5所述的一种场景复现的导盲系统，其特征在于，所述激光雷达模块为3D激光雷达，3D激光雷达的最远范围为50m，采集频率50HZ，上下扫描角共15°，上下扫描范围可达-1.3m到12m。

8.根据权利要求5所述的一种场景复现的导盲系统，其特征在于，

所述总控制模块包括微处理器、控制芯片、定位模块、语音模块、超声波模块、电机驱动模块、蓝牙耳机模块、握把震动模块组成；

微处理器与机器视觉模块、激光雷达模块、控制芯片、语音模块和蓝牙耳机模块相连；

控制芯片还与定位模块、超声波模块、电机驱动模块和握把震动模块相连；

所述握把震动模块，用于微处理器计算出实时场景的道路风险指数后，当道路风险指数达到黄色警告等级时，握把震动模块会开始震动，且道路风险指数越大，震动越剧烈，提示盲人存在紧急停车的情况；

所述微处理器模块，用于将图像流信息和距离点云集信息进行实时场景融合、目标检测、路径规划、道路风险指数和风险等级的判别。