CN114355083A

CN114355083A - 基于人工智能算法的巡检机器人故障识别方法、系统

Info

Publication number: CN114355083A
Application number: CN202111641884.5A
Authority: CN
Inventors: 时志雄; 苏磊; 颜楠楠; 苏运; 任彦豪; 赵琦; 俞啸
Original assignee: Fudan University; State Grid Shanghai Electric Power Co Ltd
Current assignee: Fudan University; State Grid Shanghai Electric Power Co Ltd
Priority date: 2021-12-29
Filing date: 2021-12-29
Publication date: 2022-04-15

Abstract

本发明涉及一种基于人工智能算法的巡检机器人故障识别方法、系统，该方法包括：获取作业点处的可见光图片；采用第一人工智能模型对可见光图片进行目标检测和语义分割，得到该作业点所有设备的分割结果；获取与可见光图片像素对其的红外测温图；基于可见光图片的分割结果，从红外测温图中提取每一个设备的特征；针对每一个设备，采用第二人工智能模型对相应的特征进行分别确定是否故障。与现有技术相比，本发明具有故障检测的效率和准确率高等优点。

Description

基于人工智能算法的巡检机器人故障识别方法、系统

技术领域

本发明涉及变电站运维技术领域，尤其是涉及一种基于人工智能算法的巡检机器人故障识别方法。

背景技术

变电站故障检测的传统方法主要使用人工检测。由于变电站设备多且复杂，需要大量相关专业人员，非常耗费物力和人力。

智能巡检机器人被广泛地应用于设备故障检测中。安装有红外探头的巡检机器人可以测量温度，但普通的机器人无法识别图片中的设备，因此也无法将温度与设备相对应，从而使得故障检测的效率和准确率均达不到预期。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种提高故障检测的效率和准确率的基于人工智能算法的巡检机器人故障识别方法。

本发明的目的可以通过以下技术方案来实现：

一种基于人工智能算法的巡检机器人故障识别方法，该方法包括：

获取作业点处的可见光图片；

采用第一人工智能模型对可见光图片进行目标检测和语义分割，得到该作业点所有设备的分割结果；

获取与可见光图片像素对其的红外测温图；

基于可见光图片的分割结果，从红外测温图中提取每一个设备的特征；

针对每一个设备，采用第二人工智能模型对相应的特征进行分别确定是否故障。

优选地，所述的第一人工智能模型包括maskrcnn网络模型。

优选地，所述的分割结果包括设备的检测框和像素级别的分割图。

优选地，从红外测温图中提取的设备的特征包括：设备检测框的大小、设备区域像素的最大温度、设备区域像素的最小温度、设备区域像素的最大温度和最小温度差值、设备区域温度的分位数，设备温度的均值、标准差、熵、峰度、偏度，以及设备温度的梯度幅度直方图、梯度方向直方图。

优选地，所述的设备区域温度的分位数包括设备区域温度的95％、75％、50％、25％、5％分位数。

优选地，所述的第二人工智能模型包括随机森林模型。

一种基于人工智能算法的巡检机器人故障识别系统，包括巡检机器人和软件控制系统，所述的软件控制系统包括：

图片采集控制模块：控制巡检机器人获取作业点处的可见光图片以及与可见光图片像素对其的红外测温图；

目标检测和语义分割模块：存储第一人工智能模型，对可见光图片进行目标检测和语义分割，得到作业点处所有设备的分割结果；

特征提取模块：基于可见光图片的分割结果，从红外测温图中提取每一个设备的特征；

故障识别模块：存储第二人工智能模型，基于设备的特征进行故障是被确定设备是否故障。

优选地，所述的巡检机器人配置双目镜头，分别为对应获取可见光图片和红外测温图的可见光镜头和红外镜头，并且两镜头可实现像素级别对齐。。

优选地，所述的第一人工智能模型包括maskrcnn网络模型。

优选地，所述的第二人工智能模型包括随机森林模型。

与现有技术相比，本发明具有如下优点：

(1)本发明综合利用多个人工智能模型，包括第一人工智能模型和第二人工智能模型，在给定作业点后，第一人工智能模型会自动识别其中的设备区域，第二人工智能模型利用测温结果给出最终设备是否有故障的结论，此方法既节省了成本，又提高了故障检测的准确率和效率。

(2)本发明采用红外巡检拍摄故障识别方法代替人工拍摄与检测识别故障，该方法可以有效推进巡检设备的发展和进步，并应用于大量场合。

附图说明

图1为本发明一种基于人工智能算法的巡检机器人故障识别方法的流程框图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明并不限定于以下的实施方式。

实施例1

如图1所示，本实施例提供一种基于人工智能算法的巡检机器人故障识别方法，该方法包括：

获取作业点处的可见光图片；

采用第一人工智能模型对可见光图片进行目标检测和语义分割，得到该作业点所有设备的分割结果，第一人工智能模型包括maskrcnn网络模型，分割结果包括设备的检测框和像素级别的分割图；

获取与可见光图片像素对其的红外测温图；

基于可见光图片的分割结果，从红外测温图中提取每一个设备的特征，包括：设备检测框的大小、设备区域像素的最大温度、设备区域像素的最小温度、设备区域像素的最大温度和最小温度差值、设备区域温度的95％、75％、50％、25％、5％分位数，设备温度的均值、标准差、熵、峰度、偏度，以及设备温度的梯度幅度直方图、梯度方向直方图；

针对每一个设备，采用第二人工智能模型对相应的特征进行分别确定是否故障，第二人工智能模型包括随机森林模型。

目标检测和语义分割是计算机视觉中的重要研究问题。通过大量事先进行人工标注目标检测和语义分割结果的图像，训练maskrcnn网络模型。该训练完成的深度神经网络即能在巡检设备拍摄到设备图像时实时地对其进行目标检测和语义分割任务。通过大量的红外温度图和是否故障的数据，训练随机森林模型。训练完成的随机森林模型即可自动利用红外温度图进行是否故障的判断。

本发明所述识别方法主要在变电站使用，以判断变电站各个设备是否具有故障。巡检机器人上安装有一双目镜头，分别为可见光镜头和红外镜头，并且两镜头可实现像素级别对齐。两个镜头均安装于巡检机器人的云台之上，在给定了作业点之后，即可实现自动拍摄。

当巡检机器人达到一个给定作业点后，相机会自动旋转俯仰角、偏航角并对镜头调焦，以实现对该作业点电力设备的拍摄。拍摄完后对该设备图像进行目标检测和语义分割，以识别设备区域。对齐后的红外镜头对目标检测框中，属于电力设备的像素点进行测温，并对得到的温度图提取特征，用人工智能算法进行分类，最终得出某个设备是否故障的结论。

在某一区域巡检开始前，将地图、机器人的所有作业点及其相关信息预先输入至巡检机器人中。每当机器人到达一个作业点时，将依次执行以下步骤，执行完所有步骤后移动到下一作业点。

步骤一：

由伺服电机控制，将机器人按照实现给定的路线控制其俯仰角、偏航角，并进行视野大小调整，以实现对该作业点设备的拍摄。

步骤二：

将拍摄到的全景图用训练好的maskrcnn网络进行目标检测和语义分割，得到该作业点所有设备的检测框和像素级别的分割图。和可见光镜头对齐的红外镜头对拍摄到的图像进行测温，得到一张红外温度图。

步骤三：

对于目标检测到的每一个检测框依次进行。通过读取检测框中属于设备区域像素点提取特征。提取的特征包括：检测框的大小、设备区域像素的最大温度、设备区域像素的最小温度、设备区域像素的最大温度和最小温度的差、设备区域像素温度的95％、75％、50％、25％、5％分位数，设备温度的均值、标准差、熵、峰度、偏度，以及梯度幅度直方图、梯度方向直方图等特征。

步骤四：

将提取到的特征组成一个多维向量，作为随机森林模型的输入，随机森林模型最终输出某一设备是否故障的结论。

步骤五：

巡检机器人达到下一个作业点后，依次进行上述步骤一～步骤四，通过软件形成报告。报告包括设备的目标检测、语义分割结果，以及其中每一个设备是否故障的概率。

实施例2

本实施例提供一种基于人工智能算法的巡检机器人故障识别系统，包括巡检机器人和软件控制系统，巡检机器人配置双目镜头，分别为对应获取可见光图片和红外测温图的可见光镜头和红外镜头，并且两镜头可实现像素级别对齐，软件控制系统执行实施例1中一种基于人工智能算法的巡检机器人故障识别方法的，该方法在实施例1中已详细说明，本实施例不再赘述。

以下对软件控制系统的主要模块进行简要说明，该软件控制系统主要包括：

运动控制模块：控制巡检机器人运动，并到达准确的作业点位置；

图片采集控制模块：控制巡检机器人获取作业点处的可见光图片以及与可见光图片像素对其的红外测温图，此模块控制双目镜头自动旋转俯仰角、偏航角并对镜头调焦，以实现对该作业点电力设备的拍摄；

目标检测和语义分割模块：存储第一人工智能模型，第一人工智能模型包括maskrcnn网络模型，第一人工智能模型对可见光图片进行目标检测和语义分割，得到作业点处所有设备的分割结果；

特征提取模块：基于可见光图片的分割结果，从红外测温图中提取每一个设备的特征，提取的特征包括：检测框的大小、设备区域像素的最大温度、设备区域像素的最小温度、设备区域像素的最大温度和最小温度的差、设备区域像素温度的95％、75％、50％、25％、5％分位数，设备温度的均值、标准差、熵、峰度、偏度，以及梯度幅度直方图、梯度方向直方图等特征；

故障识别模块：存储第二人工智能模型，第二人工智能模型包括随机森林模型，该第二人工智能模型基于设备的特征进行故障是被确定设备是否故障。

上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。

Claims

1.一种基于人工智能算法的巡检机器人故障识别方法，其特征在于，该方法包括：

获取作业点处的可见光图片；

获取与可见光图片像素对其的红外测温图；

2.根据权利要求1所述的一种基于人工智能算法的巡检机器人故障识别方法，其特征在于，所述的第一人工智能模型包括maskrcnn网络模型。

3.根据权利要求1所述的一种基于人工智能算法的巡检机器人故障识别方法，其特征在于，所述的分割结果包括设备的检测框和像素级别的分割图。

4.根据权利要求3所述的一种基于人工智能算法的巡检机器人故障识别方法，其特征在于，从红外测温图中提取的设备的特征包括：设备检测框的大小、设备区域像素的最大温度、设备区域像素的最小温度、设备区域像素的最大温度和最小温度差值、设备区域温度的分位数，设备温度的均值、标准差、熵、峰度、偏度，以及设备温度的梯度幅度直方图、梯度方向直方图。

5.根据权利要求4所述的一种基于人工智能算法的巡检机器人故障识别方法，其特征在于，所述的设备区域温度的分位数包括设备区域温度的95％、75％、50％、25％、5％分位数。

6.根据权利要求1所述的一种基于人工智能算法的巡检机器人故障识别方法，其特征在于，所述的第二人工智能模型包括随机森林模型。

7.一种基于人工智能算法的巡检机器人故障识别系统，其特征在于，包括巡检机器人和软件控制系统，所述的软件控制系统包括：

8.根据权利要求7所述的一种基于人工智能算法的巡检机器人故障识别系统，其特征在于，所述的巡检机器人配置双目镜头，分别为对应获取可见光图片和红外测温图的可见光镜头和红外镜头，并且两镜头可实现像素级别对齐。

9.根据权利要求7所述的一种基于人工智能算法的巡检机器人故障识别系统，其特征在于，所述的第一人工智能模型包括maskrcnn网络模型。

10.根据权利要求7所述的一种基于人工智能算法的巡检机器人故障识别系统，其特征在于，所述的第二人工智能模型包括随机森林模型。