CN114419356A - 一种稠密排列电力设备检测方法、系统、设备及存储介质 - Google Patents

Abstract

本发明公开了一种稠密排列电力设备检测方法、系统、设备及存储介质，包括：获取光伏板的可见光影像及红外成像影像；通过水平矩形框对所述可见光影像中的单设备进行标注；根据标注后的可见光影像以及所述光伏板的红外成像影像确定电力设备的中心点集合及外轮廓关键点集合；对所述电力设备的中心点集合中的各中心点进行聚类，对所述电力设备的外轮廓关键点集合中的各外轮廓关键点进行聚类，再将电力设备的中心点集合中各中心点的聚类结果及电力设备的外轮廓关键点集合中各外轮廓关键点的聚类结果作为稠密排列电力设备状态的检测结果，该方法、系统、设备及存储介质能够对稠密排列电力设备进行检测，且检测效果优异。

Description

一种稠密排列电力设备检测方法、系统、设备及存储介质

技术领域

本发明属于电力设备检测技术领域，涉及一种稠密排列电力设备检测方法、系统、设备及存储介质。

背景技术

我国当前正处在清洁能源转型的关键阶段，以太阳能、风能等为代表的清洁能源发电设备大量部署，新型电力设备的大量接入给设备的运维检修提出了新的要求。同时，考虑我国新能源资源分布的不均衡性，新能源设备一般分布较分散，且大量建设在户外运维人员较难到达的地区，研究针对电力设备的新型检测和状态监控技术具有重要的实际应用价值。

随着人工智能技术的飞速发展，基于可见光及红外影像的目标检测技术取得了长足的进步，其准确性和适应性都有明显提升，在电力设备检测领域取得了一系列应用。传统的基于深度学习的目标检测技术包括两大类：单阶段检测网络和双阶段检测网络。单阶段检测网络设计思路简单直接，在原始图像上均匀的设置一系列预设中心点，判断每个中心点近邻区域里有设备中心的概率及设备的尺寸。以SSD、YOLO系列、RetinaNet等算法为代表，单阶段检测网络检测速度快、计算量需求低，在对速度要求较高和算力相对稀缺的边缘侧计算中取得广泛应用。双阶段网络在结构上更复杂，在待检测图上生成稠密候选框后，首先通过一个二分类器筛选有效候选框，再进一步进行候选框的微调和类别检测。二阶段网络面向高算力场景，通过网络结构和组件的有机结合，在检测精度上具有较明显优势。

然而，随着检测场景的不断扩展和检测目标的复杂化，单一的水平矩形检测方式存在明显缺陷，限制了检测效果的进一步提升。

发明内容

本发明的目的在于克服上述现有技术的缺点，提供了一种稠密排列电力设备检测方法、系统、设备及存储介质，该方法、系统、设备及存储介质能够对稠密排列电力设备进行检测，且检测效果优异。

为达到上述目的，本发明采用如下技术方案：

本发明一方面，本发明提供了一种稠密排列电力设备状态检测方法，其特征在于，包括：

获取光伏板的可见光影像及红外成像影像；

通过水平矩形框对所述可见光影像中的单设备进行标注；

根据标注后的可见光影像以及所述光伏板的红外成像影像确定电力设备的中心点集合及外轮廓关键点集合；

对所述电力设备的中心点集合中的各中心点进行聚类，对所述电力设备的外轮廓关键点集合中的各外轮廓关键点进行聚类，再将电力设备的中心点集合中各中心点的聚类结果及电力设备的外轮廓关键点集合中各外轮廓关键点的聚类结果作为稠密排列电力设备状态的检测结果。

本发明所述稠密排列电力设备状态检测方法进一步的改进在于：

所述获取光伏板的可见光影像及红外成像影像的具体过程为：

确定无人机在待拍摄区域内的飞行轨迹，确定各光伏板的拍摄顺序，再利用无人机对各光伏板进行拍摄，以获取光伏板的可见光影像及红外影像。

所述水平矩形框对所述可见光影像进中的单设备进行标注的具体过程为：利用水平矩形框采用自由矩形框四点标注法对可见光影像中单设备进行标注。

所述根据标注后的可见光影像以及光伏板的红外成像影像确定电力设备的中心点集合及外轮廓关键点集合的具体过程为：

获取单设备t_i的可见光影像关键点集合，将单设备t_i的可见光影像关键点集合中的各关键点划分为中心点pc_2,i及外轮廓关键点po_2,i；

获取单设备t_i的红外成像影像关键点集合，将单设备t_i的红外成像影像关键点集合中的各关键点划分为设备的中心点pc_3,i与外轮廓关键点po_3,i；

根据中心点pc_2,i、外轮廓关键点po_2,i、中心点pc_3,i及外轮廓关键点po_3,i确定电力设备的中心点集合及外轮廓关键点聚合。

所述获取单设备的可见光影像关键点集合，将单设备的可见光影像关键点集合中的各关键点划分为中心点pc_2,i及外轮廓关键点po_2,i的具体操作为：

截取单设备t_i对应的可见光影像v_i及特征层f_1,i，缩放后输入到训练后的关键点检测网络进行特征提取，得子特征层

将子特征层

与特征层f_1,i进行融合，对融合后的结果进行单设备的关键点提取，得单设备t_i的可见光影像关键点集合p_i；

将可见光影像关键点集合p_i中各关键点划分为中心点pc_2,i及外轮廓关键点po_2,i。

所述获取单设备的红外成像影像关键点集合，将单设备的红外成像影像关键点集合中的各关键点划分为单设备的中心点pc_3,i与外轮廓关键点po_3,i的具体过程为：

截取红外成像影像中的单设备区域，将截取的单设备区域输入到训练后的红外关键点检测模型中，得子特征层

将子特征层

与特征层f_1,i进行进行融合，对融合后的结果进行单设备的关键点提取，得单设备t_i的红外成像影像关键点集合；

将单设备t_i的红外成像影像关键点集合中的各关键点划分为单设备t_i的中心点pc_3,i与外轮廓关键点po_3,i。

所述根据中心点pc_2,i、外轮廓关键点po_2,i、中心点pc_3,i及外轮廓关键点po_3,i确定电力设备的中心点集合及外轮廓关键点聚合的具体过程为：

将子特征层

与子特征层

进行拼接，使用1x1卷积恢复到原始尺寸，得融合子特征层

对融合子特征层

进行单设备的关键点提取，将提取的各关键点划分为单设备t_i的中心点pc_4,i及外轮廓关键点po_4,i；

利用中心点pc_2,i、中心点pc_3,i及中心点pc_4,i构建电力设备的中心点集合；利用外轮廓关键点po_2,i、外轮廓关键点po_3,i及外轮廓关键点po_4,i构建电力设备的外轮廓关键点集合。

本发明二方面，本发明提供了一种稠密排列电力设备状态检测系统，包括：

获取模块，用于获取光伏板的可见光影像及红外成像影像；

标注模块，用于通过水平矩形框对所述可见光影像中的单设备进行标注；

确定模块，用于根据标注后的可见光影像以及所述光伏板的红外成像影像确定电力设备的中心点集合及外轮廓关键点集合；

聚类模块，用于对所述电力设备的中心点集合中的各中心点进行聚类，对所述电力设备的外轮廓关键点集合中的各外轮廓关键点进行聚类，再将电力设备的中心点集合中各中心点的聚类结果及电力设备的外轮廓关键点集合中各外轮廓关键点的聚类结果作为稠密排列电力设备状态的检测结果。

本发明三方面，本发明提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述稠密排列电力设备状态检测方法的步骤。

本发明四方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述稠密排列电力设备状态检测方法的步骤。

本发明具有以下有益效果：

本发明所述的稠密排列电力设备检测方法、系统、设备及存储介质在具体操作时，通过水平矩形框对所述可见光影像中的单设备进行标注，以适应稠密排列、形状不规则以及关键特征点较明显的电力设备，根据标注后的可见光影像以及所述光伏板的红外成像影像确定电力设备的中心点集合及外轮廓关键点集合，即采用可见光与红外影像融合的方式，解决电力设备应用场景复杂导致的检测缺失问题，另外，最后对关键点的检测结果进行聚类，以提高检测的效果，减少漏检现象，操作简单、方便。

附图说明

构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的流程图；

图2为本发明的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面结合附图对本发明做进一步详细描述：

实施例一

参考图1，本发明所述的稠密排列电力设备状态检测方法包括以下步骤：

1)利用无人机片拍摄获取光伏板的可见光影像及红外影像；

具体的，先确定无人机在待拍摄区域内的飞行轨迹，确定各光伏板的拍摄顺序，再利用无人机对各光伏板进行拍摄，以获取光伏板的可见光影像及红外影像。

2)利用水平矩形框采用自由矩形框四点标注法对可见光影像中目标设备进行标注，其中，按照影像中左上、右上、右下、左下的顺时针顺序依次标注一个光伏板的四个顶点，形成一个矩形标注；

3)将可见光影像输入到训练后的Cascade R-CNN网络中进行电力设备检测，得到预测回归框b₁，其中，

f₁＝F₁(v) (1)

b₁＝G₁(f₁) (2)

其中，F₁为Cascade R-CNN网络中的特征提取网络，G₁为Cascade R-CNN网络中的回归预测网络，f₁为特征提取网络提取的特征图。

4)获取单设备的可见光影像关键点集合p_i

具体的，对于水平矩形框标注的检测区域内的单设备t_i，将单设备t_i对应的可见光影像v_i及特征层f_1,i进行截取，再缩放至固定尺寸，然后利用训练后的关键点检测网络对缩放后的可见光影像进行特征提取，得子特征层

再将子特征层

与特征层f_1,i进行融合，然后对融合后的结果进行单设备关键点提取，得该单设备的可见光影像关键点集合p_i，即

f_2,i＝F₂(v_i) (3)

p_2,i＝G₂(f_1,i,f_2,i) (4)

5)将可见光影像关键点集合p_i中各关键点划分为中心点pc_2,i及外轮廓关键点po_2,i；

具体的，根据设备排列方式及对应的电力设备结构特点，将可见光影像关键点集合p_i中的各关键点划分为中心点pc_2,i及外轮廓关键点po_2,i。其中，中心点pc为电力设备在当前可见光影像的中心点，外轮廓关键点为根据电力设备结构特点确定的设备外壳上的关键标注点，即

pc_2,i,po_2,i＝G₂(f_1,i,f_2,i) (5)

6)截取红外成像影像中的单设备区域，再送入训练后的红外关键点检测模型中，得子特征层

再将子特征层

与特征层f_1,i进行进行融合，然后对融合后的结果进行单设备关键点提取，得单设备的红外成像影像关键点集合，然后将单设备的红外成像影像关键点集合中的各关键点划分为设备的中心点pc_3,i与外轮廓关键点po_3,i，即

f_3,i＝F₃(v_i) (6)

pc_3,i,po_3,i＝G₃(f_1,i,f_3,i) (7)

7)将子特征层

与子特征层

进行拼接，再使用1x1卷积恢复到原有尺寸，得融合子特征层

最后对融合子特征层

进行单设备关键点提取，然后将提取的单设备的各关键点划分为单设备的中心点pc_4,i及外轮廓关键点po_4,i，即

pc_4,i,po_4,i＝G₄(f_1,i,f_2,i,f_3,i,f_4,i) (8)

8)获取中心点集合PC＝pc₂∩pc₃∩pc₄及外轮廓关键点集合PO＝po₂∩po₃∩po₄，设定邻域范围∈及核心点阈值

采用DBSCAN密度聚类方法，基于邻域范围∈及核心点阈值

在集合PC与集合PO中遍历，计算各关键点邻域范围∈内的关联点数量，并进行分类，确定集合PC与集合PO的核心点；

以中心点集合为例，对于中心点x∈PC，设定N_∈(x)为x的邻域范围∈，ρ(x)为x的密度，则有

N_∈(x)＝{y∈PC:d(y,x)<∈} (9)

ρ(x)＝|N_∈(x)| (10)

其中，ρ(x)为整数，当

则中心点x为一个核心点，记作PC_c为PC中所有核心点构成的集合，PC_nc＝PC\PC_c为PC中所有非核心点构成的集合。

以中心点集合为例，当x∈PC_nc，且

满足

y∈N_∈(x)∩PC_c (11)

则x的邻域范围∈内存在核心点，x为集合PC的一个边界点，所有互相包含的核心点、或可通过边界点连接的核心点及其所属的边界点构成相同的集合。

9)根据集合PC与集合PO的核心点，对单设备的关键点进行自适应聚类，将聚类结果作为稠密排列电力设备状态检测。

具体的，对于电力设备J，考虑电力设备J的外观及结构特点，设定参考邻域范围∈_J及参考核心点阈值

根据图像的实际宽度w与实际高度h，计算其实际邻域范围

即

对于一组核心点{x_k}∈PC_c，当该组核心点{x_k}中的每个点都在集合中其他点的邻域范围

内时，则称{x_k}为一组同质点，设定同质心c及质心阈值∈_c，若满足

则{x_k}为可替代同质点，并使用同质心c代替{x_k}作为预测结果。

例如，根据光伏板排列特点，将光伏板关键点分为：光伏板中心点、光伏板边缘点及光伏板拼接点，其中，光伏板拼接点为紧密排列的四个光伏板公用的拼接点，其余光伏板顶点均为光伏板边缘点。

以光伏板拼接点集合为例，应用关键点自适应聚类方法。首先，针对光伏板设备，设置参考邻域范围∈_J＝0.02，参考核心点阈值

然后，根据图像实际宽度w＝512与实际高度h＝512，计算其实际邻域范围

对于所有核心点计算同质心c并进行聚类，质心阈值∈_c＝0.01。得光伏板拼接点的最终输出结果。

实施例三

本发明所述稠密排列电力设备状态检测系统，包括：

获取模块1，用于获取光伏板的可见光影像及红外成像影像；

标注模块2，用于通过水平矩形框对所述可见光影像中的单设备进行标注；

确定模块3，用于根据标注后的可见光影像以及所述光伏板的红外成像影像确定电力设备的中心点集合及外轮廓关键点集合；

聚类模块4，用于对所述电力设备的中心点集合中的各中心点进行聚类，对所述电力设备的外轮廓关键点集合中的各外轮廓关键点进行聚类，再将电力设备的中心点集合中各中心点的聚类结果及电力设备的外轮廓关键点集合中各外轮廓关键点的聚类结果作为稠密排列电力设备状态的检测结果。

实施例三

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述稠密排列电力设备状态检测方法的步骤，其中，所述存储器可能包含内存，例如高速随机存储器，也可能还包括非易失性存储器，例如，至少一个磁盘存储器等；处理器、网络接口、存储器通过内部总线互相连接，该内部总线可以是工业标准体系结构总线、外设部件互连标准总线、扩展工业标准结构总线等，总线可以分为地址总线、数据总线、控制总线等。存储器用于存放程序，具体地，程序可以包括程序代码、所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

实施例四

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述稠密排列电力设备状态检测方法的步骤，具体地，所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器可以包括随机存储存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器可以包括只读存储器(ROM)、硬盘、闪存、光盘、磁盘等。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种稠密排列电力设备状态检测方法，其特征在于，包括：

获取光伏板的可见光影像及红外成像影像；

通过水平矩形框对所述可见光影像中的单设备进行标注；

根据标注后的可见光影像以及所述光伏板的红外成像影像确定电力设备的中心点集合及外轮廓关键点集合；

对所述电力设备的中心点集合中的各中心点进行聚类，对所述电力设备的外轮廓关键点集合中的各外轮廓关键点进行聚类，再将电力设备的中心点集合中各中心点的聚类结果及电力设备的外轮廓关键点集合中各外轮廓关键点的聚类结果作为稠密排列电力设备状态的检测结果。

2.根据权利要求1所述的稠密排列电力设备状态检测方法，其特征在于，所述获取光伏板的可见光影像及红外成像影像的具体过程为：

确定无人机在待拍摄区域内的飞行轨迹，确定各光伏板的拍摄顺序，再利用无人机对各光伏板进行拍摄，以获取光伏板的可见光影像及红外影像。

3.根据权利要求1所述的稠密排列电力设备状态检测方法，其特征在于，所述水平矩形框对所述可见光影像进中的单设备进行标注的具体过程为：利用水平矩形框采用自由矩形框四点标注法对可见光影像中单设备进行标注。

4.根据权利要求1所述的稠密排列电力设备状态检测方法，其特征在于，所述根据标注后的可见光影像以及光伏板的红外成像影像确定电力设备的中心点集合及外轮廓关键点集合的具体过程为：

获取单设备t_i的可见光影像关键点集合，将单设备t_i的可见光影像关键点集合中的各关键点划分为中心点pc_2，i及外轮廓关键点po_2，i；

获取单设备t_i的红外成像影像关键点集合，将单设备t_i的红外成像影像关键点集合中的各关键点划分为设备的中心点pc_3，i与外轮廓关键点po_3，i；

根据中心点pc_2，i、外轮廓关键点po_2，i、中心点pc_3，i及外轮廓关键点po_3，i确定电力设备的中心点集合及外轮廓关键点聚合。

5.根据权利要求4所述的稠密排列电力设备状态检测方法，其特征在于，所述获取单设备的可见光影像关键点集合，将单设备的可见光影像关键点集合中的各关键点划分为中心点pc_2，i及外轮廓关键点po_2，i的具体操作为：

截取单设备t_i对应的可见光影像v_i及特征层f_1，i，缩放后输入到训练后的关键点检测网络进行特征提取，得子特征层

将子特征层

与特征层f_1，i进行融合，对融合后的结果进行单设备的关键点提取，得单设备t_i的可见光影像关键点集合p_i；

将可见光影像关键点集合p_i中各关键点划分为中心点pc_2，i及外轮廓关键点po_2，i。

6.根据权利要求4所述的稠密排列电力设备状态检测方法，其特征在于，所述获取单设备的红外成像影像关键点集合，将单设备的红外成像影像关键点集合中的各关键点划分为单设备的中心点pc_3，i与外轮廓关键点po_3，i的具体过程为：

截取红外成像影像中的单设备区域，将截取的单设备区域输入到训练后的红外关键点检测模型中，得子特征层

将子特征层

与特征层f_1，i进行进行融合，对融合后的结果进行单设备的关键点提取，得单设备t_i的红外成像影像关键点集合；

将单设备t_i的红外成像影像关键点集合中的各关键点划分为单设备t_i的中心点pc_3，i与外轮廓关键点po_3，i。

7.根据权利要求4所述的稠密排列电力设备状态检测方法，其特征在于，所述根据中心点pc_2，i、外轮廓关键点po_2，i、中心点pc_3，i及外轮廓关键点po_3，i确定电力设备的中心点集合及外轮廓关键点聚合的具体过程为：

将子特征层

与子特征层

进行拼接，使用1x1卷积恢复到原始尺寸，得融合子特征层

对融合子特征层

进行单设备的关键点提取，将提取的各关键点划分为单设备t_i的中心点pc_4，i及外轮廓关键点po_4，i；

利用中心点pc_2，i、中心点pc_3，i及中心点pc_4，i构建电力设备的中心点集合；利用外轮廓关键点po_2，i、外轮廓关键点po_3，i及外轮廓关键点po_4，i构建电力设备的外轮廓关键点集合。

8.一种稠密排列电力设备状态检测系统，其特征在于，包括：

获取模块(1)，用于获取光伏板的可见光影像及红外成像影像；

标注模块(2)，用于通过水平矩形框对所述可见光影像中的单设备进行标注；

确定模块(3)，用于根据标注后的可见光影像以及所述光伏板的红外成像影像确定电力设备的中心点集合及外轮廓关键点集合；

聚类模块(4)，用于对所述电力设备的中心点集合中的各中心点进行聚类，对所述电力设备的外轮廓关键点集合中的各外轮廓关键点进行聚类，再将电力设备的中心点集合中各中心点的聚类结果及电力设备的外轮廓关键点集合中各外轮廓关键点的聚类结果作为稠密排列电力设备状态的检测结果。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述稠密排列电力设备状态检测方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述稠密排列电力设备状态检测方法的步骤。

Images