CN112766103B - 一种机房巡检方法及装置 - Google Patents

Abstract

本发明提供一种机房巡检方法，包括如下步骤：A、向巡检机器人输入若干巡检点、图像拍摄参数、巡检内容、巡检时间、生成网络拓扑图；B、进行标定工作；C、巡检时间到即进行巡检，否则，进入步骤I；D、在巡检点拍摄指示灯群图像；E、检测指示灯状态；F、拍摄包含待检测空气开关的设备图像，定位出待检测空气开关；G、将待检测开关图像输入yolo模型，得到每个开关的位置与状态；H、判断空气开关状态是否异常以及是否存在漏检；I、收到网管系统的告警信息，控制巡检机器人到达故障位置，并重复步骤D和步骤E。本发明还提供一种机房巡检装置。本发明可生成精确的网络拓扑图，实现抗干扰性强、误检率低、准确率高的检测，对机房的巡检更全面。

Description

一种机房巡检方法及装置

技术领域

本发明涉及一种机房巡检方法及装置。

背景技术

在电力通信机房的运维中，当前主要是利用机房网管系统告警及管理员进行人工排查的方式对机房中的设备进行维护，或者利用机器人通过巡检工单的方式通过识别指示灯进行设备状态判断并由管理员复核。当设备指示灯状态出现故障时，控制室通过网络拓扑图判断出故障位置后，可由人工或者机器人行至故障处，对故障进行复核，并进行下一步处理。网络拓扑图在生成过程中需要导入2M业务表，该业务表是运维班组记录的，可能由多个人共同完成，而不同的人的表达习惯不尽相同，因此在生成网络拓扑图时需要对2M业务表进行相似度解析，以提取出准确的有用信息，但现有的相似度解析方法，均存在停留在文档字词本身，未考虑到文档的语义，忽略了词的上下文关系，忽略了词的位置关系的缺陷，须知中文博大精深，仅靠字面意思经常无法推断文档所表达的真实含义的，进而影响到相似度判断的准确性，自然对网络拓扑图的精确度产生影响。

再者，在电力通信机房中，空气开关也是一种非常重要的电气，它集控制和多种保护功能于一身，因此对空气开关的检测和维护也是必不可少的环节。现有技术中，网管系统无法监测空气开关的状态，只能通过人工检测或者固定相机监控的检测方式，这两种方式均存在缺陷：人工检测的方式，因人员自身主观因素，易造成误检、错检或漏检；固定相机监控的检测方式，其检测范围有限，当需检测的设备增多时，其检测成本也会增加，而且固定相机监控的检测方式，大多采用模板匹配算法进行空气开关状态检测，该方法易受外部环境影响，其鲁棒性差。

发明内容

本发明的目的是针对现有技术的不足，提出一种机房巡检方法及装置，生成精确的网络拓扑图，从而能够准确快速地到达故障点，以尽快地处理故障，且利用巡检机器人定时对空气开关状态进行检测，实现抗干扰性强、误检率低、准确率高的检测，对机房的巡检更为全面，有效保障机房设备的正常运行。

本发明通过以下技术方案实现：

一种机房巡检方法，包括如下步骤：

A、向巡检机器人输入若干巡检点、对应于各巡检点的图像拍摄参数、巡检内容和巡检时间，使机器人按照巡检时间定时对指定巡检点进行巡检，巡检内容包括开关状态检测和指示灯状态检测；

对运维班组记录的2M业务表进行相似度解析，再结合网管数据生成机房的网络拓扑图，其中，相似度解析包括：准备若干已人工标记好的句子对作为数据集，选择四个差异性大的深度学习训练模型，并对各训练模型分别设置一组超参数，针对各个训练模型，从数据集进行C次有放回的抽样，得到各训练模型对应的C个子模型后，对每个子模型进行评估，并通过若干次修改超参数，选取并固定评估值最好的一组超参数，再通过数据集训练各子模型，最后通过Boosting方案对4C个子模型进行融合，得到相似性度量模型，将2M业务表输入相似性度量模型，即可对其进行相似度解析；

B、控制巡检机器人分别到各巡检点进行标定工作，标定工作包括指示灯标定和空气开关标定；指示灯标定包括各巡检点指示灯的数量、颜色和各指示灯的相对位置；空气开关标定包括由巡检机器人在各巡检点以指定的姿势拍摄的包含空气开关的设备图像样本建立的数据集、记录的拍摄图像样本时的位置和姿势、根据数据集的设备图像样本进行yolo模型的训练与导出、根据数据集的设备图像样本制作的各空气开关对应的标准模板、对各标准模板提取的特征点以及特征点生成的特征向量；

C、根据设定的巡检时间判定是否进行巡检，若是，进入步骤D；若否，进入步骤I；

D、巡检机器人到达指定巡检点后，利用CCD摄像头拍摄指示灯群图像，将该指示灯群图像与指示灯标定内容进行对比，判断是否存在目标指示灯群，若否，则调整巡检机器人拍照姿势，直到在拍摄的图像中检测到目标指示灯群，若多次调整仍未检测到，则向控制室发出第一告警信息，第一告警信息还包括故障位置；

E、检测到目标指示灯群后，对该指示灯群图像进行校正，并提取点亮状态的指示灯区域、以及通过Hough算法计算图像内的圆环数量和位置，当点亮状态的指示灯与圆环匹配时，即返回各指示灯状态，否则，向控制室发出第二告警信息，第二告警信息还包括故障位置；

F、在巡检点，控制巡检机器人按照记录的姿势拍摄包含待检测空气开关的设备图像，并对该设备图像进行ORB特征点提取和生成对应的特征向量；将生成的特征点和特征向量与空气开关标定中的特征点和特征向量进行特征匹配，以在该设备图像中定位出待检测空气开关，定位成功后，将该设备图像进行矫正以及ROI抠取，得到与标准模板基本一致的待检测开关图像；

G、将步骤F得到的待检测开关图像输入空气开关标定中的yolo模型，得到每个开关的位置与状态，并根据位置的个数确定空气开关的个数；

H、将步骤G得到的空气开关个数及其状态与电力公司管理后台数据进行对比，判断空气开关状态是否异常，以及是否存在漏检，若是，向控制室发出第三告警信息，第三告警信息还包括故障位置；

I、当控制室接收到机房网管系统的指示灯告警信息时，该告警信息会在网络拓扑图中显示故障内容和故障位置，则控制巡检机器人到达故障位置，并重复步骤D和步骤E，以对故障内容进行确认，并将确认结果反馈至控制室。

进一步的，在将指示灯群图像与指示灯标定内容进行对比前，对指示灯群图像进行包括滤波和二值化的预处理。

进一步的，所述步骤E中，利用几何校正对指示灯群图像进行校正，通过阈值分割或者颜色分割的图像处理算法提取点亮状态的指示灯区域。

进一步的，所述步骤A还包括：利用巡检机器人的建图功能构建机房内的二维平面地图，通过在该地图上设置巡检点实现向巡检机器人输入巡检点，所述图像拍摄参数包括相机旋转及俯仰角度和相机焦距。

进一步的，所述步骤A中的相似度解析中，选择四个差异性大的深度学习训练模型为Bert、Paddle、Xlnet和Tree-LSTM，抽样次数C＝10。

进一步的，所述步骤B中，所述标准模板的制作具体包括：

B1、分别抠取数据集中各设备图像样本中的各空气开关，作为标准模板；

B2、分别对各标准模板进行OEB特征点提取，并根据特征点生成对应的特征向量；

B3、根据标准模板对应的位置信息，对各标准模板进行编号并记录。

进一步的，所述步骤E中，通过获取透视变换矩阵对定位成功后的设备图像进行矫正。

进一步的，还包括：当完成巡检任务或者故障内容确认后，巡检机器人根据二维平面地图回到充电点。

本发明还通过以下技术方案实现：

一种机房巡检装置，包括：

预备模块：用于向巡检机器人输入若干巡检点、对应于各巡检点的图像拍摄参数、巡检内容和巡检时间，使机器人按照巡检时间定时对指定巡检点进行巡检，巡检内容包括开关状态检测和指示灯状态检测；对运维班组记录的2M业务表进行相似度解析，再结合网管数据生成机房的网络拓扑图，其中，相似度解析包括：准备若干已人工标记好的句子对作为数据集，选择四个差异性大的深度学习训练模型，并对各训练模型分别设置一组超参数，针对各个训练模型，从数据集进行C次有放回的抽样，得到各训练模型对应的C个子模型后，对每个子模型进行评估，并通过若干次修改超参数，选取并固定评估值最好的一组超参数，再通过数据集训练各子模型，最后通过Boost ing方案对4C个子模型进行融合，得到相似性度量模型，将2M业务表输入相似性度量模型，即可对其进行相似度解析；控制巡检机器人分别到各巡检点进行标定工作，标定工作包括指示灯标定和空气开关标定；指示灯标定包括各巡检点指示灯的数量、颜色和各指示灯的相对位置；空气开关标定包括由巡检机器人在各巡检点以指定的姿势拍摄的包含空气开关的设备图像样本建立的数据集、记录的拍摄图像样本时的位置和姿势、根据数据集的设备图像样本进行yolo模型的训练与导出、根据数据集的设备图像样本制作的各空气开关对应的标准模板、对各标准模板提取的特征点以及特征点生成的特征向量；

指示灯检测模块：巡检机器人到达指定巡检点后，利用CCD摄像头拍摄指示灯群图像，将该指示灯群图像与指示灯标定内容进行对比，判断是否存在目标指示灯群，若否，则调整巡检机器人拍照姿势，直到在拍摄的图像中检测到目标指示灯群，若多次调整仍未检测到，则向控制室发出第一告警信息，第一告警信息还包括故障位置；检测到目标指示灯群后，对该指示灯群图像进行校正，并提取点亮状态的指示灯区域、以及通过Hough算法计算图像内的圆环数量和位置，当点亮状态的指示灯与圆环匹配时，即返回各指示灯状态，否则，向控制室发出第二告警信息，第二告警信息还包括故障位置；

空气开关检测模块：在巡检点，控制巡检机器人按照记录的姿势拍摄包含待检测空气开关的设备图像，并对该设备图像进行ORB特征点提取和生成对应的特征向量；将生成的特征点和特征向量与空气开关标定中的特征点和特征向量进行特征匹配，以在该设备图像中定位出待检测空气开关，定位成功后，将该设备图像进行矫正以及ROI抠取，得到与标准模板基本一致的待检测开关图像；将待检测开关图像输入空气开关标定中的yolo模型，得到每个开关的位置与状态，并根据位置的个数确定空气开关的个数；将空气开关个数及其状态与电力公司管理后台数据进行对比，判断空气开关状态是否异常，以及是否存在漏检，若是，向控制室发出第三告警信息，第三告警信息还包括故障位置；

故障确认模块：用于在控制室接收到机房网管系统的指示灯告警信息时，该告警信息会在网络拓扑图中显示故障内容和故障位置，控制巡检机器人到达故障位置，以对故障内容进行确认，并将确认结果反馈至控制室。

本发明具有如下有益效果：

1、本发明在对2M业务表进行解析时，选择四个差异性大的深度学习训练模型，并通过多次有放回的抽样，训练出多个子模型，最后通过Boost ing方案对各子模型进行融合，可大幅提升整体相似性判断的召回率和准确率，而多次有放回的抽样，能够防止模型的过拟合情况，大幅提升最终得到的相似性度量模型的泛化能力，故能够生成更为精确的网络拓扑图，网络拓扑图所反映的故障位置也更为准确，从而能够使巡检机器人更为准确快速地到达故障点，以尽快地处理故障；再者，利用巡检机器人对空气开关状态进行检测时，先通过ORB特征匹配，定位出本次需要检测的空气开关组，然后再使用yolo模型，即可避免因机器人的移动误差而造成的距离、角度、光照等因素的干扰，进而降低误检率、提高准确率，而且，如果不先使用ORB特征匹配，若要避开距离、角度等因素的干扰，那么则需要更多的数据来对yolo模型进行训练，准备训练数据将是不小的工作量，而且还无法保证得到满意的效果，而如果先进行了特征匹配，无需考虑干扰因素，训练需要的数据大大减少，将有效减少工作量。本发明利用巡检机器人同时对机房指示灯状态和空气开关状态进行检测，使得对机房的巡检更为全面，有效保障机房设备的正常进行。而且，在接到机房网管系统的指示灯告警信息后，控制巡检机器人行至故障点进行复核，确认故障后再进行后续修复工作，能够避免误报导致的无效工作。

附图说明

下面结合附图对本发明做进一步详细说明。

图1为本发明的流程图。

具体实施方式

如图1所示，机房巡检方法包括如下步骤：

A、利用巡检机器人的建图功能构建机房内的二维平面地图，在该地图上设置若干巡检点，以实现向巡检机器人输入巡检点，并向巡检机器人输入对应于各巡检点的图像拍摄参数、巡检内容和巡检时间，以使机器人按照巡检时间定时对指定巡检点进行巡检，巡检内容包括开关状态检测和指示灯状态检测，图像拍摄参数则包括相机旋转及俯仰角度和相机焦距，完成上述准备工作后，将巡检机器人放置在充电位置；其中，构建二维平面地图的具体方法为现有技术；当巡检时间到时，巡检机器人进行巡检的具体方法也为现有技术；

对运维班组记录的2M业务表进行相似度解析，再结合网管数据生成机房的网络拓扑图，其中，相似度解析包括：

准备不少于1000对已人工标记好的句子对作为数据集，句子对为tsv格式，tsv列头为：sentence1,sentence2，lable；并将数据集分为训练集和测试集，训练集和测试集的比例为7:3，测试集又分为调整测试集和验证测试集，其比例为2:1；

选择四个差异性大的深度学习训练模型：Bert、Paddle、Xlnet和Tree-LSTM，并对各训练模型分别设置一组超参数；

针对各个训练模型，均从训练集进行C次有放回的抽样，将各训练模型对应的C次抽样数据输入该训练模型，以得到对应于该训练模型的C个子模型；在本实施例中，抽样次数C＝10；如针对模型Bert，有放回地抽样10组数据，对应于该10组数据，Bert可生成10个子模型；

Bert、Paddle和Xlnet这三种训练模型均是已开放的预训练语言模型；Tree-LSTMs是一种基于LSTM(long-short term memory,长短期记忆)网络的句子相度计算方法，给定一个LSTM树，对于节点j，h_j为上一步的隐藏输出，C_j表示其子节点的集合，i_j为输入门，u_j表示标准LSTM中的节点状态选择，f_jk为遗忘门，o_j为输出门，那么该Tree-LSTM相似度模型的公式如下：

i_j＝σ(W⁽ⁱ⁾x_j+U⁽ⁱ⁾h_j+b⁽ⁱ⁾)；

f_jk＝σ(W^(f)x_j+U^(f)h_j+b^(f))；

o_j＝σ(W^(o)x_j+U^(o)h_j+b^(o))；

u_j＝tanh(W^(u)x_j+U^(u)h_j+b^(u))；

对于每个子模型，通过公式y＝r^Tp_θ计算输入数据的相似度得分，采用均方误差作为模型的损失函数：

其中，r^T为权重系数，取值为r^T＝[1,2,…5]，p_θ＝softmax(W^(p)d_s+b^(p))，d_s＝σ(W^(×)d_×+W^(×)d₊+b^(d))，

d₊＝|d_a-d_b|，

d_a、d_b分别指输入的两个句子对；W^(×)、W^(p)均为权重矩阵，b^(p)、b^(d)均为阈值向量，σ为系数，取值范围为(0,1)；W^(×)、W^(p)、b^(p)和b^(d)中所有元素初始化值的取值范围均为[-1.0，1.0]；n为调整测试集的句子对数量；

为测试时输入的句子对的真实相似度得分；

根据相似度得分判断句子对是否相似，并采用下式对各子模型进行评估，得到评估值F_Measure：F_Measure＝(2×P×R)/(P+R)，

其中，P＝TP/(TP+FP),R＝TP/(TP+FN),TP为将实际相似句子对预测为相似的数量，FP为将实际不相似句子对预测为相似的数量，FN为将实际相似句子对预测为不相似的数量；

判断句子对是否相似具体为：将步骤E得出的相似度得分进行归一化，当得出的值大于0.5时，判定为相似；采用softmax函数进行归一化；

M次修改各训练模型的超参数以形成新的超参组合，每次修改后均重复计算相似度得分和评估值，选取并固定评估值最好的一组超参数，各训练模型的超参数是现有的，而本实施例中四个训练模型的超参数可组合的超参组合个数是极大的，因此在本实施例中，设定修改超参数M的次数为800次，这个次数既能保证运算量不会非常大，其得出的结果也与穷举各超参组合得出的结果基本相同，误差仅为极小的数，对最终的结果不会有影响；

使用训练集中的数据对各子模型继续训练以使其损失函数收敛，并保存此时的4C个子模型；采用Boosting方案对4C个子模型进行融合，以将各子模型的相似性得分进行加权相加，得到相似性度量模型；利用调整测试集的数据对相似性度量模型进行测试和调整；具体测试和调整过程为现有技术；利用验证测试集的数据对经步骤I后的相似性度量模型进行验证，具体验证过程为现有技术；

将2M业务表输入相似性度量模型，即对其进行相似度解析；

相似度解析后，结合网管数据生成机房的网络拓扑图具体为现有技术；

B、控制巡检机器人分别到各巡检点进行标定工作，标定工作包括指示灯标定和空气开关标定；指示灯标定包括各巡检点指示灯的数量、颜色和各指示灯的相对位置；

空气开关标定包括由巡检机器人在各巡检点以指定的姿势拍摄的包含空气开关的设备图像样本，并对设备图像样本进行镜像翻转、平移变换、仿射变换、添加随机噪声、随机亮度变化的图像处理操作后，建立的数据集；

记录的拍摄图像样本时的位置和姿势，在巡检机器人上设置有可上下移动的工业相机，因此拍摄图像样本时的姿势，即是指工业相机在巡检机器人上的具体位置；其中，巡检机器人结构、工业相机的设置结构、巡检机器人的控制以及上述图像处理的具体操作，均为现有技术；

根据数据集的设备图像样本进行yolo模型(在本实施例中，具体为yolo3模型)的训练与导出；具体包括：

B1、将数据集中各设备图像样本中的空气开关区域通过矩形框进行数据标注，数据标注将记录空气开关区域在图像中的位置(x,y,w,h)以及空气开关的状态(on、off)，其中，(x,y)表示图像左上角坐标，w、h分别表示空气开关区域的宽和高；

B2、将经步骤B1处理后的数据集按照2:8的比例随机划分，形成训练集和测试集，训练集用于yolo3模型的训练，测试集用于yolo3模型的性能测试；

B3、设置yolo3模型参数，利用训练集进行训练，当测试集准确率达到99％时，将yolo3模型导出；

参数设置具体为：将图片尺寸缩放至416×416×3，批训练样本数量batch设置为64，学习率learning_rate设置为0.001，最大迭代次数设置为100000，并采用loss(object)作为损失函数，其计算公式如下：

其中，

表示第i个网格第j个anchor box是否负责这个object，如果负责那么

否则为0，该损失函数为现有技术；

根据数据集的设备图像样本制作的各空气开关对应的标准模板、对各标准模板提取的特征点以及特征点生成的特征向量；具体包括：

B4、分别抠取数据集中各设备图像样本中的各空气开关，作为标准模板；

B5、分别对各标准模板进行OEB特征点提取，并根据特征点生成对应的特征向量；

B6、根据标准模板对应的位置信息，对各标准模板进行编号并记录；

C、根据设定的巡检时间判定是否进行巡检，若巡检时间到，进入步骤D进行巡检；若否，进入步骤I；

D、巡检机器人到达指定巡检点后，利用CCD摄像头拍摄指示灯群图像，对指示灯群图形进行包括滤波和二值化的预处理后，将该指示灯群图像与指示灯标定内容进行对比，判断是否存在目标指示灯群，若否，则调整巡检机器人拍照姿势，直到在拍摄的图像中检测到目标指示灯群，若多次调整仍未检测到(本实施例中，设定次数为10次)，则向控制室发出第一告警信息，第一告警信息还包括故障位置；

E、检测到目标指示灯群后，利用几何校正对该指示灯群图像进行校正，并通过阈值分割或者颜色分割的图像处理算法提取点亮状态的指示灯区域、以及通过Hough算法计算图像内的圆环数量和位置，当点亮状态的指示灯与圆环匹配时，即返回各指示灯状态，否则，向控制室发出第二告警信息，第二告警信息还包括故障位置；

F、在巡检点，控制巡检机器人按照记录的姿势拍摄包含待检测空气开关的设备图像，并对该设备图像进行ORB特征点提取和生成对应的特征向量；将生成的特征点和特征向量与空气开关标定中的特征点和特征向量进行RANSAC特征匹配，以在该设备图像中定位出待检测空气开关，定位成功后，获取透视变换矩阵对该设备图像进行矫正以及ROI抠取，得到与标准模板基本一致的待检测开关图像；虽然是根据记录的位置和姿势来控制巡检机器人进行设备图像的拍摄，但是因为机器人移动存在较大的误差，导致拍摄角度、距离、光照等因素复杂多变，因此拍摄到的设备图像与数据集中的设备图像也有较大的误差，故而需要先进行特征点匹配及透视变换；其中，RANSAC特征匹配以及透视变换矩阵为现有技术；

G、将步骤F得到的待检测开关图像输入空气开关标定中的yolo模型，得到每个开关的位置与状态，并根据位置的个数确定空气开关的个数；

H、将步骤G得到的空气开关个数及其状态与电力公司管理后台数据进行对比，判断空气开关状态是否异常，以及是否存在漏检，若是，向控制室发出第三告警信息，第三告警信息还包括故障位置；

I、当控制室接收到机房网管系统的指示灯告警信息时，该告警信息会在网络拓扑图中显示故障内容和故障位置，则控制巡检机器人到达故障位置，并重复步骤D和步骤E，以对故障内容进行确认，并将确认结果反馈至控制室；

J、当完成巡检任务或者故障内容确认后，巡检机器人根据二维平面地图回到充电点。

以上所述，仅为本发明的较佳实施例而已，故不能以此限定本发明实施的范围，即依本发明申请专利范围及说明书内容所作的等效变化与修饰，皆应仍属本发明专利涵盖的范围内。

Claims (9)

1.一种机房巡检方法，其特征在于：包括如下步骤：

A、向巡检机器人输入若干巡检点、对应于各巡检点的图像拍摄参数、巡检内容和巡检时间，使机器人按照巡检时间定时对指定巡检点进行巡检，巡检内容包括开关状态检测和指示灯状态检测；

对运维班组记录的2M业务表进行相似度解析，再结合网管数据生成机房的网络拓扑图，其中，相似度解析包括：准备若干已人工标记好的句子对作为数据集，选择四个差异性大的深度学习训练模型，并对各训练模型分别设置一组超参数，针对各个训练模型，从数据集进行C次有放回的抽样，得到各训练模型对应的C个子模型后，对每个子模型进行评估，并通过若干次修改超参数，选取并固定评估值最好的一组超参数，再通过数据集训练各子模型，最后通过Boosting方案对4C个子模型进行融合，得到相似性度量模型，将2M业务表输入相似性度量模型，即可对其进行相似度解析；

B、控制巡检机器人分别到各巡检点进行标定工作，标定工作包括指示灯标定和空气开关标定；指示灯标定包括各巡检点指示灯的数量、颜色和各指示灯的相对位置；空气开关标定包括由巡检机器人在各巡检点以指定的姿势拍摄的包含空气开关的设备图像样本建立的数据集、记录的拍摄图像样本时的位置和姿势、根据数据集的设备图像样本进行yolo模型的训练与导出、根据数据集的设备图像样本制作的各空气开关对应的标准模板、对各标准模板提取的特征点以及特征点生成的特征向量；

C、根据设定的巡检时间判定是否进行巡检，若是，进入步骤D；若否，进入步骤I；

D、巡检机器人到达指定巡检点后，利用CCD摄像头拍摄指示灯群图像，将该指示灯群图像与指示灯标定内容进行对比，判断是否存在目标指示灯群，若否，则调整巡检机器人拍照姿势，直到在拍摄的图像中检测到目标指示灯群，若多次调整仍未检测到，则向控制室发出第一告警信息，第一告警信息还包括故障位置；

E、检测到目标指示灯群后，对该指示灯群图像进行校正，并提取点亮状态的指示灯区域、以及通过Hough算法计算图像内的圆环数量和位置，当点亮状态的指示灯与圆环匹配时，即返回各指示灯状态，否则，向控制室发出第二告警信息，第二告警信息还包括故障位置；

F、在巡检点，控制巡检机器人按照记录的姿势拍摄包含待检测空气开关的设备图像，并对该设备图像进行ORB特征点提取和生成对应的特征向量；将生成的特征点和特征向量与空气开关标定中的特征点和特征向量进行特征匹配，以在该设备图像中定位出待检测空气开关，定位成功后，将该设备图像进行矫正以及ROI抠取，得到与标准模板基本一致的待检测开关图像；

G、将步骤F得到的待检测开关图像输入空气开关标定中的yolo模型，得到每个开关的位置与状态，并根据位置的个数确定空气开关的个数；

H、将步骤G得到的空气开关个数及其状态与电力公司管理后台数据进行对比，判断空气开关状态是否异常，以及是否存在漏检，若是，向控制室发出第三告警信息，第三告警信息还包括故障位置；

I、当控制室接收到机房网管系统的指示灯告警信息时，该告警信息会在网络拓扑图中显示故障内容和故障位置，则控制巡检机器人到达故障位置，并重复步骤D和步骤E，以对故障内容进行确认，并将确认结果反馈至控制室。

2.根据权利要求1所述的一种机房巡检方法，其特征在于：所述步骤D还包括：在将指示灯群图像与指示灯标定内容进行对比前，对指示灯群图像进行包括滤波和二值化的预处理。

3.根据权利要求1所述的一种机房巡检方法，其特征在于：所述步骤E中，利用几何校正对指示灯群图像进行校正，通过阈值分割或者颜色分割的图像处理算法提取点亮状态的指示灯区域。

4.根据权利要求1或2或3所述的一种机房巡检方法，其特征在于：所述步骤A还包括：利用巡检机器人的建图功能构建机房内的二维平面地图，通过在该地图上设置巡检点实现向巡检机器人输入巡检点，所述图像拍摄参数包括相机旋转及俯仰角度和相机焦距。

5.根据权利要求1或2或3所述的一种机房巡检方法，其特征在于：所述步骤A中的相似度解析中，选择四个差异性大的深度学习训练模型为Bert、Paddle、Xlnet和Tree-LSTM，抽样次数C＝10。

6.根据权利要求1或2或3所述的一种机房巡检方法，其特征在于：所述步骤B中，所述标准模板的制作具体包括：

B1、分别抠取数据集中各设备图像样本中的各空气开关，作为标准模板；

B2、分别对各标准模板进行OEB特征点提取，并根据特征点生成对应的特征向量；

B3、根据标准模板对应的位置信息，对各标准模板进行编号并记录。

7.根据权利要求1或2或3所述的一种机房巡检方法，其特征在于：所述步骤E中，通过获取透视变换矩阵对定位成功后的设备图像进行矫正。

8.根据权利要求4所述的一种机房巡检方法，其特征在于：还包括：当完成巡检任务或者故障内容确认后，巡检机器人根据二维平面地图回到充电点。

9.一种机房巡检装置，其特征在于：包括：

预备模块：用于向巡检机器人输入若干巡检点、对应于各巡检点的图像拍摄参数、巡检内容和巡检时间，使机器人按照巡检时间定时对指定巡检点进行巡检，巡检内容包括开关状态检测和指示灯状态检测；对运维班组记录的2M业务表进行相似度解析，再结合网管数据生成机房的网络拓扑图，其中，相似度解析包括：准备若干已人工标记好的句子对作为数据集，选择四个差异性大的深度学习训练模型，并对各训练模型分别设置一组超参数，针对各个训练模型，从数据集进行C次有放回的抽样，得到各训练模型对应的C个子模型后，对每个子模型进行评估，并通过若干次修改超参数，选取并固定评估值最好的一组超参数，再通过数据集训练各子模型，最后通过Boosting方案对4C个子模型进行融合，得到相似性度量模型，将2M业务表输入相似性度量模型，即可对其进行相似度解析；控制巡检机器人分别到各巡检点进行标定工作，标定工作包括指示灯标定和空气开关标定；指示灯标定包括各巡检点指示灯的数量、颜色和各指示灯的相对位置；空气开关标定包括由巡检机器人在各巡检点以指定的姿势拍摄的包含空气开关的设备图像样本建立的数据集、记录的拍摄图像样本时的位置和姿势、根据数据集的设备图像样本进行yolo模型的训练与导出、根据数据集的设备图像样本制作的各空气开关对应的标准模板、对各标准模板提取的特征点以及特征点生成的特征向量；

指示灯检测模块：巡检机器人到达指定巡检点后，利用CCD摄像头拍摄指示灯群图像，将该指示灯群图像与指示灯标定内容进行对比，判断是否存在目标指示灯群，若否，则调整巡检机器人拍照姿势，直到在拍摄的图像中检测到目标指示灯群，若多次调整仍未检测到，则向控制室发出第一告警信息，第一告警信息还包括故障位置；检测到目标指示灯群后，对该指示灯群图像进行校正，并提取点亮状态的指示灯区域、以及通过Hough算法计算图像内的圆环数量和位置，当点亮状态的指示灯与圆环匹配时，即返回各指示灯状态，否则，向控制室发出第二告警信息，第二告警信息还包括故障位置；

空气开关检测模块：在巡检点，控制巡检机器人按照记录的姿势拍摄包含待检测空气开关的设备图像，并对该设备图像进行ORB特征点提取和生成对应的特征向量；将生成的特征点和特征向量与空气开关标定中的特征点和特征向量进行特征匹配，以在该设备图像中定位出待检测空气开关，定位成功后，将该设备图像进行矫正以及ROI抠取，得到与标准模板基本一致的待检测开关图像；将待检测开关图像输入空气开关标定中的yolo模型，得到每个开关的位置与状态，并根据位置的个数确定空气开关的个数；将空气开关个数及其状态与电力公司管理后台数据进行对比，判断空气开关状态是否异常，以及是否存在漏检，若是，向控制室发出第三告警信息，第三告警信息还包括故障位置；

故障确认模块：用于在控制室接收到机房网管系统的指示灯告警信息时，该告警信息会在网络拓扑图中显示故障内容和故障位置，控制巡检机器人到达故障位置，以对故障内容进行确认，并将确认结果反馈至控制室。

Images