CN115685736A - 一种基于热成像与卷积神经网络的轮式巡检机器人 - Google Patents

Abstract

本发明公开了一种基于热成像与卷积神经网络的轮式巡检机器人，包括：控制系统，用于采用PID闭环控制算法，控制机器人的行进速度和行进方向；导航系统，用于构建巡检机房的栅格地图，并获取机器人在所述栅格地图中的位置信息，基于所述位置信息和目标位置信息，规划机器人行进路径；图像识别系统，用于获取巡检机房的监测数据集，并基于所述监测数据集进行热点区域提取，获得机房的巡检数据；用户交互系统，用于存储所述巡检数据，并利用交互界面实现对机房的实时监测。本发明具有自主导航、自动避障、机房环境动态监测、局部热点诊断等多种功能，具有智能化、自动化的特点。

Description

一种基于热成像与卷积神经网络的轮式巡检机器人

技术领域

本发明属于深度学习计算机视觉领域，特别是涉及一种基于热成像与卷积神经网络的轮式巡检机器人。

背景技术

数据中心的巡检方式主要有人工巡检、机器人巡检和红外测温监测。

目前，人工巡检依然是数据中心机房运行状态监测的主要手段。但是近年来，随着数据中心规模的持续增长，尤其是在基础设施维护方面，诸如机房环境巡检、设备巡检等重复性工作占据了运维人员较多的时间和精力，不仅使工作负荷加重，机房管理成本也随之不断上升。并且，数据中心机房需要运维人员无时无刻的监管维护，大量浪费了人力，而且由于长时间监管的疲劳会导致监管效力降低。

随着设备和技术的发展，出现了轮式机器人机房巡检的方式。机器人巡检迅速快捷，单次巡检效率高。此外，相比于人工巡检，机器人巡检不存在疲劳问题，大幅度降低成本，提高了巡检效率。但是市面上现有巡检机器人能完成的任务极其有限，采用局限性大的传感器，无法完成机房巡检的全部要求。

当前很多机房采用测温枪对设备进行温度的测量，但是这种测量方式存在只能测量设备某个点的缺点，所以导致以此方法测量存在较大的工作量，同时也不具有直观性。因此，亟需提出一种能够解决机房局部热点问题的巡检装置。

发明内容

针对目前人工巡检方式工作强度大、工作时间长、工作效率低且现有的巡检系统不能很好解决机房局部热点问题，本发明提供了一种基于热成像与卷积神经网络的轮式巡检机器人，具有自主导航、自动避障、机房环境动态监测、局部热点诊断等多种功能，具有智能化、自动化的特点，致力于为局部热点的消除提供决策，为机房运维行业注入新活力，以解决上述现有技术存在的问题。

为实现上述目的，本发明提供了一种基于热成像与卷积神经网络的轮式巡检机器人，包括：

控制系统，用于采用PID闭环控制算法，控制机器人的行进速度和行进方向；

导航系统，用于构建巡检机房的栅格地图，并获取机器人在所述栅格地图中的实时位置信息，基于所述实时位置信息和目标位置信息，规划机器人行进路径；

图像识别系统，用于获取巡检机房的监测数据集，并基于所述监测数据集进行热点区域提取，获得机房的巡检数据；

用户交互系统，用于存储所述巡检数据，并利用交互界面实现对机房的实时监测；

所述控制系统、导航系统、图像识别系统和用户交互系统相互连接。

可选的，所述机器人包括通过联轴器连接的若干个驱动装置和麦克纳姆轮，在所述驱动装置的上方安装若干个铝合金板，在顶层的铝合金板处安装升降装置，所述升降装置包括依次连接的第一角接件、铝型材和第二角接件；

所述机器人上搭载高清摄像头、红外摄像头和激光雷达；其中，所述高清摄像头用于采集巡检机房的环境信息，获取可见光图像；所述红外摄像头用于采集机房服务器的红外热图像；所述激光雷达用于识别巡检机房中的障碍物。

可选的，所述控制模块包括：

速度控制单元，用于采用PID闭环控制算法，控制每一个麦克纳姆轮的速度，实现速度闭环；

航向控制单元，用于基于陀螺仪传感器获取所述麦克纳姆轮的角速度数据，并通过卡尔曼滤波对所述角速度数据进行处理，获得航向角；基于所述航向角和目标航向角的偏差角，采用PID闭环控制算法对所述麦克纳姆轮的航向进行修正，进而实现方向闭环。

可选的，所述导航系统包括：

地图构建单元，用于获取巡检机房的环境数据和行进里程数据，基于所述环境数据和行进里程数据解算机器人的实时位置，同时构建巡检机房的栅格地图；

定位单元，用于对机器人的实时位置和巡检机房的栅格地图进行匹配解算，获得机器人在所述栅格地图中的实时位置；

路径规划单元，用于基于机器人在所述栅格地图中的实时位置和机器人的目标位置，在栅格地图中规划机器人的行进路径。

可选的，所述图像识别系统包括：

采集单元，用于通过搭载在机械臂上的红外摄像头采集巡检机房服务器的运行状态，获得服务器的红外热图像；

校正单元，用于基于透视变换矩阵对红外热图像进行校正和标准化处理，获得所述红外热图像的监测数据集；

数据增强单元，用于通过DCGAN对抗生成网络扩展所述监测数据集，获得目标监测数据集；

特征提取单元，用于对所述目标监测数据集进行热点区域提取，获得目标热点区域，获得机房的巡检数据。

可选的，所述特征提取单元包括：

模型构建单元，用于构建卷积神经网络模型，并利用所述监测数据集和目标监测数据集共同对所述卷积神经网络模型进行训练，获得训练后的卷积神经网络模型；

区域提取单元，用于将目标监测数据集输入到所述训练后的卷积神经网络模型中进行热点区域提取，获得目标热点区域。

可选的，所述用户交互系统包括：

显示单元，用于显示机器人获取的热红外图像、可见光图像、机器人位置信息和巡检机房的栅格地图；

存储单元，用于存储机器人的巡检数据，所述巡检数据即为获取的目标热点区域；

交互单元，用于基于交互界面实现对机器人的控制。

可选的，所述轮式巡检机器人还包括无线传输模块，用于通过无线网络将机器人获取的热红外图像、可见光图像、机器人位置信息、巡检机房的栅格地图和机器人巡检数据传输到移动终端，实现对机房的热点监测。

本发明的技术效果为：

(1)本发明具有导航定位功能，巡检机器人能感知自身位置，构建环境地图，基于闭环检测和图像优化使室内定位精度达到厘米级；本发明的巡检机器人能够根据任务目的地规划出运行路径并自主导航，根据设定检测目的地的顺序，定时定点地完成巡检任务。

(2)本发明采用激光雷达探测机器人周围的障碍物，在机器人的移动过程中若检测到障碍物将根据机器人控制技术重新规划局部路径，并继续完成巡检任务。

(3)本发明采用红外摄像头获取红外热成像信息，并进行实时存储，对于机房中的重要设备对其温度变化进行长时间的记录，实现在线机房热点监测功能。

(4)本发明基于热成像与深度学习技术实现了局部热点成因自动分析功能，并结合DCGAN对抗生成网络来扩展数据集，从而解决了热点数据缺少的难题，实现了局部热点成因自动分析功能。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例中的控制系统模块示意图；

图2为本发明实施例中的机器人主体部分示意图；

图3为本发明实施例中的升降装置建模示意图，其中，(a)为角接件1示意图，(b)为角接件2示意图，(c)为升降装置示意图；

图4为本发明实施例中的导航系统模块示意图；

图5为本发明实施例中的AMCL算法仿真示意图；

图6为本发明实施例中的路径规划示意图；

图7为本发明实施例中的图像识别系统模块示意图；

图8为本发明实施例中的用户交互系统模块示意图；

图9为本发明实施例中的巡检机器人各模块联系示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

实施例一

如图1-9所示，本实施例中提供一种基于热成像与卷积神经网络的轮式巡检机器人，包括：

轮式机器人控制系统

机器人控制系统的实现主要分为两大部分：机器人机械结构的设计与移动机器人控制算法的应用，本实施例的控制系统的各模块示意图如图1所示。

巡检机器人机械结构主要分为两部分，一是机器人主体结构，二是升降机构。首先研究机器人主体机构，其次解决升降问题。机器人主体机构建模示意如图2所示，根据从下往上的设计原则，首先从驱动装置入手，选择MG513电机，搭配铝合金金属麦克纳姆轮，两者通过联轴器连接，电机通过90°电机支架连接到铝合金板上。其次是自主设计的铝合金板，板子整体采用对称式结构，前后形状为圆弧和尖角式设计，目的是减轻板子重量同时增加美观性；板子上人为的增加了许多孔位，方便板子固定、穿线、以及其他装置的安装。

本实施例还包括升降装置的设计，本实施例选择同步带外加滑块机构，此机构有着运动高速可调、重量轻、易实现等优点，非常适合巡检小车。如图3所示，角接件之间通过20型tdt铝型材连接，下部角接件固定42步进电机连接同步带轮，上角接件连接惰轮，两轮之间通过同步带连接，同步带通过一个滑台(白色)连接到线轨的滑块上，实现上下传动，其次还设计了限位装置，如图3中黑色方块所示，有效防止因冲击造成装置损坏。

移动机器人的控制

机器人的车轮采用麦克拉姆轮模型，所谓麦克纳姆轮是一种可以全向移动的全向轮，又叫麦轮，由轮毂和围绕轮毂的辊子组成，麦轮辊子轴线和轮毂轴线夹角成45度。在轮毂的轮缘上斜向分布着许多小轮子，即辊子，故轮子可以全向移动。这种全方位移动方式是基于一个有许多位于机轮周边的轮轴的中心轮的原理上，这些成角度的周边轮轴把一部分的机轮转向力转化到一个机轮法向力上面。麦克纳姆轮依靠各自机轮的方向和速度，这些力的最终合成在任何要求的方向上产生一个合力矢量从而保证了这个平台在最终的合力矢量的方向上能自由地移动，而不改变机轮自身的方向。

而由于麦克纳姆轮特殊的结构，需要对机器人的速度和方向进行准确控制。因此，本实施例采用速度和方向闭环的串级PID。PID即Proportional(比例)、Integral(积分)、Differential(微分)的缩写，其中比例就是用来对系统的偏差进行反应，所以只要存在偏差，比例就会起作用。积分主要是用来消除静差，所谓静差就是指系统稳定后输入输出之间依然存在的差值，而积分就是通过偏差的累计来抵消系统的静差。至于微分则是对偏差的变化趋势做出反应，根据偏差的变化趋势实现超前调节，提高反应速度。

因此，为实现速度的准确控制，本实施例采用PID闭环控制算法，实现对每一个车轮的速度大小的控制，从而达到速度闭环。同时为了确保车的航向，本实施例使用陀螺仪传感器返回的角加速度信息，经过卡尔曼滤波进行数据处理后，利用四元数法形成航向角。在实际应用中，假设β为目标航向角，α为航向角，则β-α即为车航向与目标航向的偏差角，根据此值的大小，本实施例采用PD闭环控制，将误差修正转化到四个轮子的控制信号上，控制车修正航向，从而达到方向闭环。最终以方向环作为外环，速度环最为内环，形成一个串级的PID控制。

轮式机器人导航系统

首先，本实施例定位导航功能的实现将使用安装在上位机中的ROS操作系统，该系统的特点是利用节点发布话题，通过订阅相同话题实现节点间通信和数据交换。且ROS中含有大量开源方案，有利于降低实现难度，简化实现方案。

如图4所示，本实施例巡检机器人的自主定位导航功能的实现主要分为三大模块：机器人及时定位与地图构建(SLAM)算法，基于AMCL的地图重定位算法，基于A*的路径规划算法。

机器人及时定位与地图构建算法(SLAM模块)

及时定位与地图构建(Simultaneous Localization And Mapping，SLAM)算法是机器人感知环境的关键算法，通过搭载的各类传感器解算机器人位置并建图，实现环境感知功能。本实施例使用基于粒子滤波的Gmapping算法。Gmapping是基于改进的R-B粒子滤波器的二维激光建图算法，可实时构建二维栅格地图。Gmapping算法根据二维激光扫描数据和里程数据解算机器人位置，同时构建室内栅格地图，算法运行效率较高，在小型室内场景中建图精度高。

基于AMCL的地图重定位算法

本实施例使用的自适应蒙特卡洛定位(Adaptive Monte Carlo Localization，AMCL)算法是一种基于粒子滤波器的概率估计算法。AMCL算法以粒子滤波法为基础，根据机器人运动学模型及传感数据预测粒子群位置。匹配激光雷达观测数据与栅格地图数据，解算最大匹配概率得到移动机器人在全局地图中的位置。结合重要性采样，重采样等方法更新机器人位置。蒙特卡洛定位算法的主要流程分为以下4个部分：

a.初始化粒子集

定义大小为N的粒子集，若已知机器人初始位置，则复制粒子位置为机器人初始位置，若未知机器人位置，则在栅格地图中随机生成N个位置。

b.预测

根据运动模型，预测k时刻粒子群位置，并按比例添加随机采样粒子，增加位置多样性。

c.粒子权重计算

基于巡检机器人上搭载的RPLIDAR A1激光雷达，获取激光雷达观测数据，并将当前时刻激光雷达观测数据应用至每个粒子的位置上，匹配激光数据与栅格地图数据，计算粒子权重，经归一化处理得到最优位置估计。

d.重采样

根据选择性重采样算法调整粒子分布，将高权重粒子按比例复制，删除低权重粒子，以此保持粒子数量一致，使粒子逐渐靠拢。

本实施例使用ROS中开源功能包在RVIZ中查看AMCL算法的效果图如图5所示，其中箭头方向表示根据采样结果预测的机器人下一步移动方向。

基于A*的路径规划算法

路径规划算法是机器人导航的重要环节，获取环境地图和机器人位置后，路径规划算法根据当前点和目标点规划路径并驱动机器人导航。

本实施例基于A*算法进行机器人的路径规划。A*算法是一种启发式搜索和常规搜索相结合的路径规划算法，适用于静态地图的路径规划问题。A*算法的评估代价函数为：f(n)＝g(n)+h(n)，其中f(n)表示全局代价，g(n)表示正向代价，h(n)表示启发式评估代价。A*算法将机器人初始位置作为起始节点，计算邻域内所有节点的全局评估代价f(n)，确定f(n)最小的节点为下一次循环的起始节点，并储存节点链接关系。重复循环直至搜索到目标节点，追溯各节点关系得到机器人最优路径。

局部热点检测系统

如图7所述，本实施例将深度学习技术与红外热成像技术结合起来设计一种图像识别算法，旨在更好的适应数据中心机房的特殊环境，为服务器局部热点问题的解决提供决策性建议。

数据集收集

本实施例计划采用预先编写好的程序控制服务器运行负荷，模拟服务器的计算负荷，调用硬盘反复输入输出数据，模拟服务器运行时的数据输入输出情况；服务器入口处采用不同的门模拟服务器入口处的阻塞情况；服务器的运行正常与否模拟服务器内部散热是否正常的情况。将红外摄像头固定在机械臂上，调整服务器在红外摄像头取景框中的位置。按照服务器五种不同的运行状态：60％CPU负荷、100％CPU负荷、主风扇因故障停止运行、服务器入口处堵塞设计模拟实验。运行状态模拟具体如表1所示：

表1

图像校正与标准化

由于拍摄角度以及红外摄像头的功能缺陷的影响，会导致一定程度的图像畸变。除此之外，由于采集得到的红外热图像中真正具有状态诊断价值的图像信息位于服务器出风口处，因此本实施例利用透视变换将感兴趣区提取出来。最后将提取得到的服务器出风口区域标准化为服务器尺寸比例灰度图，便于后期特征提取。

基于Mobilenet的自动特征提取与分类

最后，本实施例基于轻量级卷积神经网络MobileNet_v3进行红外图像特征的提取与分类。MobileNet系列的网络拥有更小的体积，更少的计算量以及更高的精度。而本实施例采用的MobileNet_v3是MobileNet系列最新网络，相比于MobileNet_v2在ImageNet分类任务的准确率上提高了3.2％，在计算延时上降低了20％。

用户交互系统

如图8所示，当机器人的功能实现后，用户交互系统是必不可少的。作为面向数据中心机房的巡检机器人，其用户交互系统设计目标是为能更好的帮助工作人员完成巡检任务，所以本实施例的用户交互系统主要具有三大功能：第一，各种传感器数据的可视化。第二，设计交互界面以满足对巡检机器人的控制需求。第三，可以存储巡检数据，并对其进行一定程度的分析。

本实施例具有导航定位功能，使巡检机器人能感知自身位置，构建环境地图，基于闭环检测和图像优化的建图算法使室内定位精度达到厘米级。基于移动机器人控制技术实现根据任务目的地规划出运行路径自主导航，根据设定检测目的地的顺序，定时定点地完成巡检任务。

本实施例具有自动避障功能，考虑到机房环境的特殊性，其障碍物较少，所以本实施例采用成本较低，精度极高的RPLIDAR A2激光雷达，可以探测到8米外的障碍物，具有8000次/秒的红外激光高速测距采样能力。在运动过程若检测到障碍物将根据机器人控制技术重新规划局部路径，并继续完成巡检任务。

本实施例根据机房热点监测的需求，采用红外摄像机获取红外热成像信息，采用MOLEX通信接口进行数据传输。本实施例结合了SQL Server数据库技术，存储设备所记录下来的所有信息，对于机房中的重要设备对其温度变化进行长时间的记录，并且会将采集的数据自动生成温度变化曲线，从而实现在线机房热点监测功能。

本实施例考虑到机房服务器局部热点难消除、难发现的痛点，基于热成像与深度学习技术实现了局部热点成因自动分析功能。其基本原理是使用热像仪采集服务器出风口的图片，并使用深度学习模型Alexnet进行训练，但由于难以获取大量服务器热点图片数据，所以本实施例结合了DCGAN对抗生成网络来扩展数据集，从而解决了热点数据缺少的难题。最终实验得到的模型正确率可达95％，从而实现了局部热点成因自动分析功能。

本实施例的机器人和移动终端通过WiFi建立连接。机器人端开始采集视频数据，通过无线网络直接或间接地将视频信号传输到移动终端上。接着监控中心通过该无线通信模块接受机器人获取的红外图像、可见光图像、机器人实时位置信息以及发送机器人控制指令以达到在线机房热点监测的目的。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种基于热成像与卷积神经网络的轮式巡检机器人，其特征在于，包括：

控制系统，用于采用PID闭环控制算法，控制机器人的行进速度和行进方向；

导航系统，用于构建巡检机房的栅格地图，并获取机器人在所述栅格地图中的实时位置信息，基于所述实时位置信息和目标位置信息，规划机器人行进路径；

图像识别系统，用于获取巡检机房的监测数据集，并基于所述监测数据集进行热点区域提取，获得机房的巡检数据；

用户交互系统，用于存储所述巡检数据，并利用交互界面实现对机房的实时监测；

所述控制系统、导航系统、图像识别系统和用户交互系统相互连接。

2.根据权利要求1所述的基于热成像与卷积神经网络的轮式巡检机器人，其特征在于，

所述机器人包括通过联轴器连接的若干个驱动装置和麦克纳姆轮，在所述驱动装置的上方安装若干个铝合金板，在顶层的铝合金板处安装升降装置，所述升降装置包括依次连接的第一角接件、铝型材和第二角接件；

所述机器人上搭载高清摄像头、红外摄像头和激光雷达；其中，所述高清摄像头用于采集巡检机房的环境信息，获取可见光图像；所述红外摄像头用于采集机房服务器的红外热图像；所述激光雷达用于识别巡检机房中的障碍物。

3.根据权利要求1所述的基于热成像与卷积神经网络的轮式巡检机器人，其特征在于，所述控制模块包括：

速度控制单元，用于采用PID闭环控制算法，控制每一个麦克纳姆轮的速度，实现速度闭环；

航向控制单元，用于基于陀螺仪传感器获取所述麦克纳姆轮的角速度数据，并通过卡尔曼滤波对所述角速度数据进行处理，获得航向角；基于所述航向角和目标航向角的偏差角，采用PID闭环控制算法对所述麦克纳姆轮的航向进行修正，进而实现方向闭环。

4.根据权利要求1所述的基于热成像与卷积神经网络的轮式巡检机器人，其特征在于，所述导航系统包括：

地图构建单元，用于获取巡检机房的环境数据和行进里程数据，基于所述环境数据和行进里程数据解算机器人的实时位置，同时构建巡检机房的栅格地图；

定位单元，用于对机器人的实时位置和巡检机房的栅格地图进行匹配解算，获得机器人在所述栅格地图中的实时位置；

路径规划单元，用于基于机器人在所述栅格地图中的实时位置和机器人的目标位置，在栅格地图中规划机器人的行进路径。

5.根据权利要求1所述的基于热成像与卷积神经网络的轮式巡检机器人，其特征在于，所述图像识别系统包括：

采集单元，用于通过搭载在机械臂上的红外摄像头采集巡检机房服务器的运行状态，获得服务器的红外热图像；

校正单元，用于基于透视变换矩阵对红外热图像进行校正和标准化处理，获得所述红外热图像的监测数据集；

数据增强单元，用于通过DCGAN对抗生成网络扩展所述监测数据集，获得目标监测数据集；

特征提取单元，用于对所述目标监测数据集进行热点区域提取，获得目标热点区域，获得机房的巡检数据。

6.根据权利要求5所述的基于热成像与卷积神经网络的轮式巡检机器人，其特征在于，所述特征提取单元包括：

模型构建单元，用于构建卷积神经网络模型，并利用所述监测数据集和目标监测数据集共同对所述卷积神经网络模型进行训练，获得训练后的卷积神经网络模型；

区域提取单元，用于将目标监测数据集输入到所述训练后的卷积神经网络模型中进行热点区域提取，获得目标热点区域。

7.根据权利要求1所述的基于热成像与卷积神经网络的轮式巡检机器人，其特征在于，所述用户交互系统包括：

显示单元，用于显示机器人获取的热红外图像、可见光图像、机器人实时位置信息和巡检机房的栅格地图；

存储单元，用于存储机器人的巡检数据，所述巡检数据即为获取的目标热点区域；

交互单元，用于基于交互界面实现对机器人的控制。

8.根据权利要求1所述的基于热成像与卷积神经网络的轮式巡检机器人，其特征在于，

所述轮式巡检机器人还包括无线传输模块，用于通过无线网络将机器人获取的热红外图像、可见光图像、机器人实时位置信息、巡检机房的栅格地图和机器人巡检数据传输到移动终端，实现对机房的热点监测。

Images