CN109044753A - 一种人机体感交互导盲机器人及工作方法 - Google Patents

Abstract

本发明提供一种人机体感交互导盲机器人及工作方法，包括地面装置和体感交互装置；地面装置包括笼状的球形壳体和设置在球形壳体内的全向旋翼无人机；全向旋翼无人机内置控制装置，平衡支架上设置有激光雷达传感器、相机、GPS模块和电机；电机的输出轴连接固定轮，同步轮连接沿球形壳体周向设置的同步带；还设置有顶部控制器，激光雷达传感器、相机、GPS模块、电机和全向旋翼无人机均连接顶部控制器；体感交互装置包括结构相同的左交互装置和右交互装置；左交互装置包括设置在盲人左手对应位置相互连接的微型气泵和微控制器，微型气泵还连接有气囊；体感交互装置连接顶部控制器；本发明具有全地形通过能力，控制指导盲人行进，使盲人具有直观的感受。

Description

一种人机体感交互导盲机器人及工作方法

技术领域

本发明涉及导盲机器人，具体涉及人机体感交互导盲机器人及工作方法。

背景技术

在盲人的世界，一切都湮没在黑暗里，对于这个群体而言，他们与整个色彩斑斓的世界无缘也与日新月异的科技无缘；他们除了在最熟悉的环境之外，如果没有人或导盲犬的帮助，将寸步难行；据世界卫生组织统计，截至2017年全球约有盲人7800万，而中国多达1400万；中国仅有的一家导盲犬训练基地——中国导盲犬大连基地成立于2006年，11年以来共培养118只导盲犬，平均每年培养导盲犬数量不足12只；导盲犬的服役年龄只有6-8年，而每只导盲犬的培养成本高达15-20万；目前大连导盲犬基地接受的盲人申请数量已达10多万人，年中签率达到万分之一。

所以目前导盲机器人的发展较为迅速，导盲机器人主要分为地面引导机器人与导盲眼睛两大类；导盲眼睛主要结合云计算、人工智能、视觉技术与语音交互等技术来实现引导盲人避障的功能；这类导盲机器人最大的不足有两个方面，一是利用语音交互技术与盲人信息交互，在避障时，盲人对于障碍物的距离等信息不能直观的感受到；盲人在户外行走不能获得由导盲犬引导时的安全感，由视觉引起的误差极大的增加了盲人的危险程度；北大、哈尔滨工业大学等也先后研制了以轮式机器人为载体的导盲机器人；但是受制于轮式机器人地形运动能力的限制，这种导盲机器人不能引导盲人上下楼梯、穿越地形复杂的区域。

发明内容

本发明提供一种不受地形限制具有全地形通过能力，并且通过体感交互的体感交互导盲机器人及工作方法。

本发明采用的技术方案是：一种人机体感交互导盲机器人，包括地面装置和体感交互装置；地面装置包括笼状的球形壳体和设置在球形壳体内的全向旋翼无人机；全向旋翼无人机内置控制装置，用于控制其运动姿态；球形壳体上设置有平衡支架，平衡支架上设置有激光雷达传感器、相机、GPS模块和电机；电机的输出轴连接固定轮，同步轮连接沿球形壳体周向设置的同步带；平衡支架为倒U形结构，其两端与球形壳体铰接；还设置有顶部控制器，激光雷达传感器、相机、GPS模块和电机均连接顶部控制器；体感交互装置包括结构相同的左交互装置和右交互装置；左交互装置包括设置在盲人左手对应位置相互连接的微型气泵和微控制器，微型气泵还连接有气囊；控制装置连接顶部控制器和微控制器。

进一步的，所述全向旋翼无人机包括四个结构相同的两自由度旋翼；四个两自由度旋翼分别位于正四面体的四个顶点，通过支架相互连接。

进一步的，所述两自由度旋翼包括同圆心设置的外环和内环；X轴伺服电机通过第一舵盘设置在内环上；Y轴伺服电机通过第二舵盘设置在外环上；X轴伺服电机和Y轴伺服电机均连接直流无刷电机，直流无刷电机连接叶片；X轴伺服电机、Y轴伺服电机和直流无刷电机均连接控制装置。

进一步的，所述两自由度旋翼均通过主轴连接件连接到支架。

进一步的，所述两自由度旋翼均通过设置在外环上的外部连接件连接到球形壳体。

进一步的，平衡支架上还设置有陀螺仪，陀螺仪连接顶端控制器。

进一步的，所述体感交互装置还包括血氧传感器；血氧传感器连接微控制器。

进一步的，所述体感交互装置还包括手环，微控制器、微型气泵、血氧传感器均设置在手环上，气囊设置在手环内部靠近手臂处。

进一步的，所述体感交互装置还包括无线耳机，无线耳机连接控制装置。

一种人机体感交互导盲机器人的工作方法，包括以下步骤：

步骤1：顶部控制器收集激光雷达传感器和相机采集的信息；顶部控制器将采集的信息发送给控制装置，控制装置将数据传输给云端，云端对数据进行处理；根据数据处理结果进行路径规划，云端将路径规划结果传输给控制装置；激光雷达传感器用于采集的障碍物与机器人之间的距离信息和盲人与机器人之间的距离信息；相机用于收集道路信息；

步骤2：根据步骤1中规划的路径，控制装置向微控制器发出信号；微控制器通过微型气泵控制气囊的充放气；交互装置的工作方式有可随意切换的跟随模式和避障模式；

跟随模式：

当需要向左转时左交互装置工作，设置在左手对应位置的微型气泵控制气囊充气，压力逐渐增大；当需要向右转时右交互装置工作，设置在右手对应位置的微型气泵控制气囊充气，压力逐渐增大；当需要停止时左交互装置和右交互装置同时工作；设置在左手和右手对应位置的微型气泵同时工作控制设置在左手和右手对应位置的气囊充气，压力同时增大；

避障模式：

当左手边有障碍物接近时，左交互装置工作左手对应位置的微型气泵控制气囊充气，压力持续增加，直到避开障碍物；当右手边有障碍物接近时，右交互装置工作右手对应位置的微型气泵控制气囊充气，压力持续增加，直到避开障碍物。

本发明的有益效果是：

（1）本发明采用全向旋翼无人机提供了全地形的通过能力，使得该机器人能够穿过草地、楼梯等复杂地形；

（2）本发明通过接收地面装置的路径信息，通过微型气泵控制气囊的充放气，根据盲人当前位置与目标位置间的偏差调节气囊压力，给盲人以直观的感受。

附图说明

图1为本发明系统组成示意图。

图2为地面装置结构示意图。

图3为本发明中球形外壳结构示意图。

图4为本发明平衡支架顶部结构示意图。

图5为本发明单个两自由度旋翼结构示意图。

图6为本发明全向旋翼无人机结构示意图。

图7为本发明中控制装置连接关系示意图。

图中：1-平衡支架，2-同步带，3-全向旋翼无人机，4-电机，5-顶部控制器，6-激光雷达传感器，7-相机，8-GPS模块，9-球形壳体，10-Y轴伺服电机，11-X轴伺服电机，12-第二舵盘，13-第一舵盘，14，25，26，27-主轴连接件，15-外环，16-内环，17，18，19，20，21，22-轴支撑件，23-直流无刷电机，28-支架，29，30，31，32-外连接件，33，34，35，36-两自由度旋翼。

具体实施方式

下面结合附图和具体实施例对本发明做进一步说明。

如图1-6所示，一种人机体感交互导盲机器人，包括地面装置和体感交互装置；地面装置包括笼状的球形壳体9和设置在球形壳体9内的全向旋翼无人机3；全向旋翼无人机3内置控制装置，用于控制其运动姿态；球形壳体9上设置有平衡支架1，平衡支架1上设置有激光雷达传感器6、相机7、GPS模块8和电机4；电机4的输出轴连接固定轮，同步轮连接沿球形壳体9周向设置的同步带2；平衡支架1为倒U形结构，其两端与球形壳体9铰接；还设置有顶部控制器5，激光雷达传感器6、相机7、GPS模块8和电机4均连接顶部控制器5；体感交互装置包括结构相同的左交互装置和右交互装置；左交互装置包括设置在盲人左手对应位置相互连接的微型气泵和微控制器，微型气泵还连接有气囊；控制装置连接顶部控制器5和微控制器；全向旋翼无人机3包括四个结构相同的两自由度旋翼（33，34，35，36）；四个两自由度旋翼（33，34，35，36）分别位于正四面体的四个顶点，通过支架28相互连接；两自由度旋翼包括同圆心设置的外环15和内环16；X轴伺服电机11通过第一舵盘13设置在内环16上；Y轴伺服电机10通过第二舵盘12设置在外环上；X轴伺服电机11和Y轴伺服电机10均连接直流无刷电机23，直流无刷电机23连接叶片；X轴伺服电机11、Y轴伺服电机10和直流无刷电机23均连接控制装置；控制装置通过控制X轴伺服电机11、Y轴伺服电机10的转动，从而控制直流无刷电机23的转动速度和方向，从而控制全向旋翼无人机3在路面及空中运动时的姿态控制；使得机器人能够平稳的在路面行驶也能在空中飞行；两自由度旋翼均通过主轴连接件（14，25，16，27）连接到支架28；两自由度旋翼均通过设置在外环15上的外部连接件连接到球形壳体9；平衡支架1上还设置有陀螺仪，陀螺仪连接顶端控制器5；体感交互装置还包括血氧传感器，血氧传感器连接微控制器；体感交互装置还包括手环，微控制器、微型气泵、血氧传感器均设置在手环上，气囊设置在手环内部靠近手臂处；体感交互装置还包括无线耳机，无线耳机连接控制装置。

球形壳体9为笼形结构，选用碳纤维材料制备；电机4中输出轴固定设置一个同步轮，连接沿球形壳体9周向设置的同步带2；平衡支架1为倒U形结构，其两端与球形壳体9铰接；设置平衡支架1可以使机器人在路面上运动的时候可以保持器自身姿态稳定，始终处于与地面垂直的状态；电机4设置在安装板上，激光雷达器6也设置在安装板上；安装板通过管夹连接在平衡支架1上；当球形壳体9向前运动时，同步带2在同步轮的驱动下带动平衡支架1向球形壳体9运动的反方向运动；当球形壳体9向后运动时，平衡支架1在同步带2和同步轮的带动下向球形壳体9运动的反方向运动；这样不管球形壳体9如何运动，平衡支架1就可以一直保持与地面垂直的状态；顶部控制器5的微控制器为STM32F103C8T6，该控制器通过采集陀螺仪（MPU6050）的信号来判断顶端与机身的倾角，从而实时的调整电机4的转速与方向，从而使得顶端部分可以始终处于顶端。

全向翼无人机有四个方向可调的两自由度旋翼（33，34，35，36），每个两自由度旋翼有两个自由度（X轴方向和Y轴方向），每个自由度的旋转角度范围为0～360°；两自由度旋翼是通过改变推力的方向改变其自由度，推力是由叶片的旋转而产生的；直流无刷电机23带动叶片的旋转；X轴伺服电机11带动直流无刷电机23绕X轴转动0～360°，直流无刷电机23与叶片固定连接，从而叶片可沿X轴转动～360°；Y轴伺服电机10带动直流无刷电机23绕Y轴转动0～360°，直流无刷电机23与叶片固定连接，从而叶片可沿Y轴转动～360°；这样每个旋翼产生的推力可以朝向空间中的任意一个方向。

体感交互装置包括左交互装置和右交互装置，左交互装置、右交互装置和无线耳机均通过WIFI连接到顶部控制器5；左手环外壳上设有盲文“左”的标识，右手环外壳上设有盲文“右”的标识，便于盲人识别；无线耳机可以采集盲人的声音，可以用于语音控制机器人，同时无线耳机可以接收从地面装置传回的信息；微控制器连接血氧传感器，血氧传感器用于检测人的血压和心率，实时监测身体健康；微控制器的型号为STM32F103C8T6，微控制器通过输出PWM方波控制微型气泵的运转，通过2S锂电池供电；微控制器通过IIC总线连接血氧传感器和陀螺仪传感器；陀螺仪传感器的型号为MPU6050；血氧传感器可以检测人的血压和心率，实时监测身体健康

顶部控制器5、体感交互装置中的微控制器均连接控制装置，控制装置连接云端；在云端对数据进行处理；相机7用于拍照从而收集道路信息，云端根据相机7收集到的图片进行处理对行人、红绿灯、楼梯和人行道等进行识别；激光雷达传感器6（RplidarA1.）用于采集的障碍物与机器人之间的距离信息和盲人与机器人之间的距离信息；云端根据激光雷达传感器6和相机7收集到的信息，对信息进行处理后进行路径规划用于盲人避障；GPS模块8设置在机器人的顶部，用于进行定位。

一种人机体感交互导盲机器人的工作方法，包括以下步骤：

步骤1：顶部控制器5收集激光雷达传感器6和相机7采集的信息，顶部控制器5将采集的信息发送给控制装置，控制装置将数据传输给云端，云端对数据进行处理；根据数据处理结果进行路径规划，云端将路径规划结果传输给控制装置；路径规划基于人工势场函数进行，障碍物的斥力场与目标点的引力场相互叠加；激光雷达传感器6用于采集的障碍物与机器人之间的距离信息和盲人与机器人之间的距离信息；相机7用于收集道路信息；

步骤2：根据步骤1中规划的路径，控制装置向微控制器发出信号；微控制器通过微型气泵控制气囊的充放气；交互装置的工作方式有可随意切换的跟随模式和避障模式；

跟随模式：

当需要向左转时左交互装置工作，设置在左手对应位置的微型气泵控制气囊充气，压力逐渐增大；当需要向右转时右交互装置工作，设置在右手对应位置的微型气泵控制气囊充气，压力逐渐增大；当需要停止时左交互装置和右交互装置同时工作；设置在左手和右手对应位置的微型气泵同时工作控制设置在左手和右手对应位置的气囊充气，压力同时增大；

避障模式：

当左手边有障碍物接近时，左交互装置工作左手对应位置的微型气泵控制气囊充气，压力持续增加，直到避开障碍物；当右手边有障碍物接近时，右交互装置工作右手对应位置的微型气泵控制气囊充气，压力持续增加，直到避开障碍物。

本发明云端根据相机7和激光雷达传感器6采集的信息，采用应用于无人机的运算速度快的特征提取算法（SLAM算法）；实现回环检测、地图重建和重定位；包括跟踪、建图和闭环检测。

跟踪：通过ORB算法从图像中提取特征，是一种使用运算速度特别快的FAST角点检测子和改进的BRIEF特征点描述子的较为快速的方法；根据上一帧进行姿态估计或者进行通过全局重定位初始化位姿，然后跟踪已经重建的局部地图，优化位姿，再根据一些规则确定新的关键帧。

建图：主要完成局部地图构建，包括对关键帧的插入，验证最近生成的地图点并进行筛选；然后生成新的地图点，使用局部捆集调整（Local BA），最后再对插入的关键帧进行筛选，去除多余的关键帧。

闭环检测：这一部分主要分为两个过程，包括闭环探测和闭环校正；闭环检测先使用WOB进行探测，然后通过Sim3算法计算相似变换；闭环校正主要是闭环融合和EssentialGraph的图优化。

本发明中根据相机7采集的图像道路信息进行红绿灯和人行道等识别；其中红绿灯的检测采用一种基于深度学习的红绿灯检测方法，首先采集大量的红绿灯图像（＞10万张），对图像进行标记分为训练样本和测试样本，通过Fast-RCNN算法进行测试数据，计算准确率；该算法是一种测试速度、训练速度和训练空间均有所改善的基于卷积神经网络特征的区域方法；人行道检测在进行特征提取之前首先对图像进行预处理，对图像进行灰度化处理，滤波和增强操作；然后对图像进行二值化和边缘处理进行图像特征的提取；最后通过霍夫变换算法，调整阈值得到较为理想的结果。

如图7所示，本发明中控制装置内置于全向旋翼无人机3中，用于控制全向旋翼无人机3在路面和空中运动时的姿态，使得其能平稳的在路面行驶，也能够在空中飞行；顶部控制器5用于控制顶端部分可以始终处于顶端；左、右手环上设置的微控制器，用于控制手环对手臂的压力，即通过控制微型气泵控制气囊的充放气实现；语音交互装置本发明中为耳机，用于语音提示与语音交互；云端为服务器，用于处理激光雷达和相机采集的数据，进行路径规划；全向旋翼无人机3的控制装置作为主机，其他控制器作为从机；所有控制器都与控制装置都是通过Wifi连接，所有通信都是双向的。

本发明通过相机和激光雷达传感器收集周围环境信息，然后进行路径规划；然后将运行的路线通过WIFI发送到体感交互装置；全向旋翼无人机3提供了全地形的通过能力，使得该机器人能够穿越草地、楼梯等复杂地形；当体感交互装置接收到地面装置传输回来的路径信息后，通过控制微型气泵控制气囊的充放气；根据盲人当前位置与目标位置间的偏差调节气囊的压力，给盲人以直观的感觉。

Claims (10)

1.一种人机体感交互导盲机器人，其特征在于，包括地面装置和体感交互装置；地面装置包括笼状的球形壳体(9)和设置在球形壳体(9)内的全向旋翼无人机(3)；全向旋翼无人机(3)内置控制装置，用于控制其运动姿态；球形壳体(9)上设置有平衡支架(1)，平衡支架(1)上设置有激光雷达传感器(6)、相机(7)、GPS模块(8)和电机(4)；电机(4)的输出轴连接固定轮，同步轮连接沿球形壳体(9)周向设置的同步带(2)；平衡支架(1)为倒U形结构，其两端与球形壳体(9)铰接；还设置有顶部控制器(5)，激光雷达传感器(6)、相机(7)、GPS模块(8)和电机(4)均连接顶部控制器(5)；体感交互装置包括结构相同的左交互装置和右交互装置；左交互装置包括设置在盲人左手对应位置相互连接的微型气泵和微控制器，微型气泵还连接有气囊；控制装置连接顶部控制器(5)和微控制器。

2.根据权利要求1所述的一种人机体感交互导盲机器人，其特征在于，所述全向旋翼无人机(3)包括四个结构相同的两自由度旋翼；四个两自由度旋翼分别位于正四面体的四个顶点，通过支架(28)相互连接。

3.根据权利要求2所述的一种人机体感交互导盲机器人，其特征在于，所述两自由度旋翼包括同圆心设置的外环(15)和内环(16)；X轴伺服电机(11)通过第一舵盘(13)设置在内环(16)上；Y轴伺服电机(10)通过第二舵盘(12)设置在外环上；X轴伺服电机(11)和Y轴伺服电机(10)均连接直流无刷电机(23)，直流无刷电机(23)连接叶片；X轴伺服电机(11)、Y轴伺服电机(10)和直流无刷电机(23)均连接控制装置。

4.根据权利要求3所述的一种人机体感交互导盲机器人，其特征在于，所述两自由度旋翼均通过主轴连接件连接到支架(28)。

5.根据权利要求3所述的一种人机体感交互导盲机器人，其特征在于，所述两自由度旋翼均通过设置在外环(15)上的外部连接件连接到球形壳体(9)。

6.根据权利要求1所述的一种人机体感交互导盲机器人，其特征在于，所述平衡支架(1)上还设置有陀螺仪，陀螺仪连接顶端控制器(5)。

7.根据权利要求1所述的一种人机体感交互导盲机器人，其特征在于，所述体感交互装置还包括血氧传感器；血氧传感器连接微控制器。

8.根据权利要求6所述的一种人机体感交互导盲机器人，其特征在于，所述体感交互装置还包括手环，微控制器、微型气泵、血氧传感器均设置在手环上，气囊设置在手环内部靠近手臂处。

9.根据权利要求1所述的一种人机体感交互导盲机器人，其特征在于，所述体感交互装置还包括无线耳机，无线耳机连接控制装置。

10.一种如权利要求1所述人机体感交互导盲机器人的工作方法，其特征在于，包括以下步骤：

步骤1：顶部控制器(5)收集激光雷达传感器(6)和相机(7)采集的信息；顶部控制器(5)将采集的信息发送给控制装置，控制装置将数据传输给云端，云端对数据进行处理；根据数据处理结果进行路径规划，云端将路径规划结果传输给控制装置；激光雷达传感器(6)用于采集的障碍物与机器人之间的距离信息和盲人与机器人之间的距离信息；相机(7)用于收集道路信息；

步骤2：根据步骤1中规划的路径，控制装置向微控制器发出信号；微控制器通过微型气泵控制气囊的充放气；交互装置的工作方式有可随意切换的跟随模式和避障模式；

跟随模式：

当需要向左转时左交互装置工作，设置在左手对应位置的微型气泵控制气囊充气，压力逐渐增大；当需要向右转时右交互装置工作，设置在右手对应位置的微型气泵控制气囊充气，压力逐渐增大；当需要停止时左交互装置和右交互装置同时工作；设置在左手和右手对应位置的微型气泵同时工作控制设置在左手和右手对应位置的气囊充气，压力同时增大；

避障模式：

当左手边有障碍物接近时，左交互装置工作左手对应位置的微型气泵控制气囊充气，压力持续增加，直到避开障碍物；当右手边有障碍物接近时，右交互装置工作右手对应位置的微型气泵控制气囊充气，压力持续增加，直到避开障碍物。