CN109614512B - 一种基于深度学习的电力设备检索方法 - Google Patents

Abstract

本发明提出了一种基于深度学习的电力设备检索方法，涉及图像处理技术领域。本发明提供一种基于深度学习的电力设备检索方法，包括检测目标设备、截取设备区域图片、提取设备特征、计算余弦特征相似度和确定最终检索结果。本发明结合深度学习中的目标检测方法，实现了对设备图片中的设备定位和设备区域的准确裁剪，减少了背景图片的噪声干扰，并采用深度卷积神经网络进行特征提取，提高了检索精度，并通过目标检测结果缩小了在数据库中的检索范围，提高了检索效率。此外，设备局部余弦特征相似度的计算可以更加准确的区分出相似度极高的设备类型，从而进一步提高了检索精度。

Description

一种基于深度学习的电力设备检索方法

技术领域

本发明属于图像处理技术领域，涉及一种电力设备的检索方法。

背景技术

通常，为了掌握设备运行状况，及时发现设备隐患，监视设备运行动态，确保设备的安全运行，需要电力巡检机器人对各种仪表、信号指示装置是否正常，电流、电压、有功、无功等参数是否在允许范围内进行定期的巡检监控。然而，电力巡检机器人在进行定期的电力巡检任务前，需要知道每个待巡检的设备类型。一般来说，可以通过人工记录每个待巡检设备的类型；亦或巡检机器人通过设备图片的拍摄，从数据库中自动检索出每个待巡检的设备类型。

传统上，基于视觉系统的电力设备检索技术，通常包括三个步骤。首先，对数据库中所有的设备图片进行特征提取，并将结果存入数据库。然后，对要检索的图片进行相同类型的特征提取。最后，计算数据库中所有图片特征与要检索的图像特征之间的相似度(如皮尔逊相关性系数、欧氏距离等)，并根据相似度排序给出检索结果。然而，由于电力设备之间的相似度极高，传统方式往往无法获得较高的检索精度。因此，目前多采用人工方式记录每个待巡检设备的类型。

随着人工智能技术的不断发展，深度学习已经在计算机视觉的分类、检测、语意分割、文本识别等多领域取得了突破性的进展。通过深度卷积神经网络从大量的数据中自动的提取特征，相对于传统人工提取特征的方法，能更好的学习到物体本质的表征特性。基于深度学习的检索方法，不仅能够克服光照、阴影等干扰，适应形变、位姿等变化，还可以从电力设备的多样性和相似性中提取出有用特征，并准确的区分出各设备类型，从而克服传统方式无法解决的难题。

发明内容

为解决现有技术存在的难题，本发明提供一种基于深度学习的电力设备检索方法。

具体而言，本发明的技术方案，包括以下步骤：

1)检测目标设备：检测待检索图片的设备定位及设备类型，根据设备类型缩小数据库的检索范围；所述待检索图片为拍摄有电力设备的图片；

2)截取设备区域图片：根据检测出的设备定位，从待检索图片中截取出设备区域图片；

3)提取设备特征：利用深度卷积神经网络从设备区域图片中提取设备的特征向量；

4)计算余弦特征相似度：计算待检索图片与检索范围缩小后的数据库中的图片的余弦特征相似度，按照余弦特征相似度由高到低排序并给出备选结果；

5)确定最终检索结果：选择排序最高的备选结果作为最终检索结果。

进一步地，步骤1)检测待检索图片的设备定位及设备类型时采用基于深度学习的目标检测方法。

进一步地，步骤2)还包括，对截取出的设备区域图片进行缩放处理，使截取出的设备区域图片与检索范围缩小的数据库中的图片具有相同的分辨率。

进一步地，步骤3)中采用的深度卷积神经网络基于GoogLeNet、VGGNet、ResNet的一种或多种的组合。

进一步地，步骤4)中根据待检索图片与检索范围缩小后的数据库中的图片的整体的余弦特征相似度由高到低排序并给出备选结果。

进一步地，步骤4)中根据待检索图片与检索范围缩小后的数据库中的图片的整体的余弦特征相似度判断是否计算局部的余弦特征相似度；

若是，则在待检索图片和检索范围缩小后的数据库的图片中截取相应的局部特征区域图片，利用深度卷积神经网络进行备选结果的局部特征的提取，并计算待检索图片的局部特征区域图片与备选结果的局部特征区域图片之间的余弦特征相似度，即为局部的余弦特征相似度；并根据局部的余弦特征相似度由高到低排序并给出备选结果；

若不是，根据整体的余弦特征相似度由高到低排序并给出备选结果。

进一步地，步骤3)中深度卷积神经网络的模型训练的损失函数采用的是交叉熵损失函数结合Center loss的方法。

进一步地，根据整体的余弦特征相似度判断是否计算局部的余弦特征相似度的方法为，如果根据整体的余弦特征相似度由高到低排序后排名第一的备选结果的整体的余弦特征相似度大于其余备选结果的整体的余弦特征相似度的总和，则不进行局部的余弦特征相似度计算，否则需要进行局部的余弦特征相似度计算。

进一步地，根据整体的余弦特征相似度判断是否计算局部的余弦特征相似度的方法为，如果根据整体的余弦特征相似度由高到低排序后排名第一的备选结果的整体的余弦特征相似度与排名第二的备选结果的整体的余弦特征相似度的差值大于0.2，则不进行局部的余弦特征相似度计算，否则需要进行局部的余弦特征相似度计算。

本发明充分考虑了电力设备多样且相似度极高的特征，结合了深度学习中的目标检测方法，实现了对设备图片中的设备定位和设备区域的准确裁剪，减少了背景图片的噪声干扰，并采用深度卷积神经网络进行特征提取，提高了检索精度。其次，通过目标检测结果缩小了在数据库中的检索范围，提高了检索效率。此外，局部余弦特征相似度的计算可以更加准确的区分出相似度极高的设备类型，从而进一步提高检索结果的准确率。

附图说明

图1为本发明流程图；

图2为本发明一实施例的设备区域图片截取示意图；

图3为本发明一实施例的局部特征区域示意图。

具体实施方式

下面结合实施例并参照附图对本发明作进一步详细描述。

实施例1：

如图1所示，本发明提供的一种基于深度学习的电力设备检索方法，包括以下步骤：

1)对配电房室内巡检机器人拍摄的待检索图片，可以利用目前常用的基于R-FCN、Faster R-CNN、Yolo等的深度学习设备目标检测方法，实现待检索图片中设备的定位和类型判断。设检测设备的类型有指针型表计、数显型表计、温湿度控制器等。如图2所示，进行了设备目标检测后，待检测图片中的设备(实线包围区域)被检测为指针型表计，则随后的检索步骤仅在数据库中的指针型表计中进行即可，从而缩小了在数据库中的检索范围。

2)根据步骤1)中设备目标检测的设备定位信息，从待检索图片中截取出设备区域图片。如图2所示，从待检索图片中截取出设备区域后，还需对截取的图片进行缩放处理，使其与数据库中图片具有相同的分辨率。通常，由于拍摄的设备图片中往往包含大量的背景区域，如果直接对该图片进行特征提取会引入较多噪声和干扰，故先采用目标检测的方式进行设备定位，仅截取设备所在区域的图片进行设备检索，减少了背景噪声。

3)利用深度卷积神经网络从设备区域图片中进行设备特征的提取，得到设备特征向量。所采用的深度卷积神经网络基于ResNet，模型训练的损失函数采用的是交叉熵损失函数结合Center loss的方法，模型训练所需样本采集于配电房室内巡检机器人所拍摄的各类设备图片。

4)在检索范围缩小的数据库范围内进行余弦特征相似度计算，即计算步骤3)中提取的设备特征向量与数据库中利用相同深度卷积神经网路提取的相同类型的设备特征向量之间的余弦特征距离，并根据计算结果排序给出相似度排名靠前的若干备选设备类型。根据步骤1)中目标检测的设备类型结果，在数据库中选取相同类型的设备进行特征向量之间的余弦距离计算，缩小了相似度计算的范围，可以加快计算速度。如图2中的待检索设备，根据步骤1)中目标检测结果判断为指针型表计，则基于步骤3)中提取的设备特征向量，计算其与数据库中利用相同深度卷积神经网络提取的所有指针型表计特征向量之间的余弦距离，得到其与数据库中各个指针型表计之间的余弦特征相似度。根据相似度计算结果，排序给出余弦特征相似度排名靠前的若干(如前五)备选指针型表计的设备图片。

5)根据备选结果之间的余弦特征相似度判断是否继续进行局部余弦特征相似度计算。例如：如果余弦特征相似度排名前五的备选结果中，第一名的余弦相似度大于后四名相似度的总和则不进行局部的余弦特征相似度的计算，否则需要进行局部的余弦特征相似度的计算；或者，如果根据整体的余弦特征相似度由高到低排序后排名第一的备选结果的整体的余弦特征相似度与排名第二的备选结果的整体的余弦特征相似度的差值大于0.2，则不进行局部的余弦特征相似度计算，否则需要进行局部的余弦特征相似度计算。

6)进行局部的余弦特征相似度的计算，在数据库中，根据各个设备特征，已经预先对各个设备选取了不同区域作为局部的余弦特征相似度的计算区域，并利用深度卷积神经网络进行了设备局部特征的提取与存储；当待检索设备需要进行局部特征提取时，根据备选设备类型，在待检索图片中分别截取与之对应的区域利用相同的深度卷积神经网络进行局部特征提取，并分别进行余弦特征距离的计算，获得余弦特征相似度。

如图3所示，在设备图片中分别截取局部特征区域(图中虚线部分)，利用深度卷积神经网络进行设备局部特征的提取，与备选设备利用相同深度卷积神经网络提取的局部的特征进行余弦特征相似度的计算。

7)选择最大相似度设备作为最终检索结果。如果未进行步骤6)中局部余弦特征相似度的计算，则选取步骤4)中余弦特征相似度最高的设备图片作为最终的检索结果；否则选取步骤6)中局部的余弦特征相似度最高的设备图片作为最终的检索结果。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于深度学习的电力设备检索方法，其特征在于，包括以下步骤：

1)检测目标设备：检测待检索图片的设备定位及设备类型，根据设备类型缩小数据库的检索范围；所述待检索图片为拍摄有电力设备的图片；

2)截取设备区域图片：根据检测出的设备定位，从待检索图片中截取出设备区域图片；

3)提取设备特征：利用深度卷积神经网络从设备区域图片中提取设备的特征向量；

4)计算余弦特征相似度：计算待检索图片与检索范围缩小后的数据库中的图片的整体的余弦特征相似度，根据待检索图片与检索范围缩小后的数据库中的图片的整体的余弦特征相似度判断是否计算局部的余弦特征相似度；

若是，则在待检索图片和检索范围缩小后的数据库图片中截取相应的局部特征区域图片，利用深度卷积神经网络进行局部特征的提取，并计算待检索图片的局部特征区域图片与检索范围缩小后的数据库图片的局部特征区域图片之间的余弦特征相似度，即为局部的余弦特征相似度；并根据局部的余弦特征相似度由高到低排序并给出备选结果；

若不是，根据整体的余弦特征相似度由高到低排序并给出备选结果；

所述根据整体的余弦特征相似度判断是否计算局部的余弦特征相似度的方法为方法一或方法二；

所述方法一具体为：如果根据整体的余弦特征相似度由高到低排序后排名第一的整体的余弦特征相似度大于其余的整体的余弦特征相似度的总和，则不进行局部的余弦特征相似度计算，否则需要进行局部的余弦特征相似度计算；

所述方法二具体为：如果根据整体的余弦特征相似度由高到低排序后排名第一的整体的余弦特征相似度与排名第二的整体的余弦特征相似度的差值大于0.2，则不进行局部的余弦特征相似度计算，否则需要进行局部的余弦特征相似度计算；

5)确定最终检索结果：选择排序最高的备选结果作为最终检索结果。

2.如权利要求1所述的基于深度学习的电力设备检索方法，其特征在于，步骤1)检测待检索图片的设备定位及设备类型时采用基于深度学习的目标检测方法。

3.如权利要求1所述的基于深度学习的电力设备检索方法，其特征在于，步骤2)还包括，对截取出的设备区域图片进行缩放处理，使截取出的设备区域图片与检索范围缩小的数据库中的图片具有相同的分辨率。

4.如权利要求1所述的基于深度学习的电力设备检索方法，其特征在于，步骤3)中采用的深度卷积神经网络基于GoogLeNet、VGGNet、ResNet的一种或多种的组合。

5.如权利要求1所述的基于深度学习的电力设备检索方法，其特征在于，步骤3)中深度卷积神经网络的模型训练的损失函数采用的是交叉熵损失函数结合Center loss的方法。

Images