CN112381784A

CN112381784A - 一种基于多光谱图像的设备检测系统

Info

Publication number: CN112381784A
Application number: CN202011260499.1A
Authority: CN
Inventors: 梅峰; 沈桂竹; 毛航银; 姚一杨; 戴波; 江樱
Original assignee: State Grid Zhejiang Electric Power Co Ltd; Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd
Current assignee: State Grid Zhejiang Electric Power Co Ltd; Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd
Priority date: 2020-11-12
Filing date: 2020-11-12
Publication date: 2021-02-19
Anticipated expiration: 2040-11-12
Also published as: CN112381784B

Abstract

本申请公开了一种基于多光谱图像的设备检测系统，包括：多光谱图像采集设备和处理设备，处理设备与多光谱图像采集设备相连接，处理设备的检测处理器用于：接收多光谱图像采集设备传输的图像集合；至少对其中的红外图像进行图像识别，以得到红外图像的温升识别结果，温升识别结果包括：红外图像中的每个图像区域的温升异常检测结果；至少对图像集合中的可见光图像和紫外图像进行图像识别，以得到紫外图像的放电识别结果，放电识别结果包括：紫外图像中的每个图像区域的放电异常检测结果；根据温升识别结果和放电识别结果，获得设备检测结果，包括：每个图像区域的异常检测结果，异常检测结果表征电力设备中与图像区域对应的设备部件是否存在异常。

Description

一种基于多光谱图像的设备检测系统

技术领域

本申请涉及电力系统技术领域，尤其涉及一种基于多光谱图像的设备检测系统。

背景技术

电力系统的安全稳定运行对于经济社会发展、居民生活安定具有至关重要的作用。随着国家电力需求不断增长，电网建设规模不断扩大，电力负荷日益提高。电气设备长期处于户外的高压、高温、高负载的工作状态，一旦出现损坏或故障可能会造成巨大经济损失。为了保证电力系统安全运行，长期以来人们采取停电维修的方法，在不了解设备运行状态下盲目进行大量检修工作，极大程度上造成了人力和物力资源浪费。

为了提高电力设备的检测效率，目前多采用图像处理的方式对包含设备区域的图像进行图像识别，从而感知设备状态，进而检测设备是否出现异常。

但是，目前的图像处理的方式中仍然存在检测准确率低的情况。

发明内容

有鉴于此，本申请提供一种基于多光谱图像的设备检测系统，用以解决现有技术中对电力设备异常检测的准确率较低的技术问题。

本申请提供了以下方案：

一种基于多光谱图像的设备检测系统，包括：

多光谱图像采集设备，用于采集多个图像集合，每个所述图像集合对应于不同的采集参数，所述采集参数至少包含采集尺度、采集角度和采集时刻中的任意一项或任意多项，每个所述图像集合中包含多帧电力设备的设备图像，所述设备图像包含红外图像、可见光图像和紫外图像，且每个所述图像集合中的设备图像对应于同一采集参数；

处理设备，与所述多光谱图像采集设备相连接，其中，所述处理设备包括：

存储器，用于存储应用程序以及所述应用程序运行所产生的数据；

检测处理器，用于执行所述应用程序，以实现：接收所述多光谱图像采集设备传输的图像集合；至少对所述图像集合中的所述红外图像进行图像识别，以得到所述红外图像的温升识别结果，所述温升识别结果包括：所述红外图像中所包含的每个图像区域的温升异常检测结果；至少对所述图像集合中的所述可见光图像和所述紫外图像进行图像识别，以得到所述紫外图像的放电识别结果，所述放电识别结果包括：所述紫外图像中所包含的每个图像区域的放电异常检测结果；根据所述温升识别结果和所述放电识别结果，获得设备检测结果，所述设备检测结果包括：所述红外图像或所述紫外图像中所包含的每个图像区域的异常检测结果，所述异常检测结果表征所述电力设备中与所述图像区域对应的设备部件是否存在异常。

上述系统，优选的，所述多光谱图像采集设备包括：

镜头，用于采集电力设备的光线；

紫外模块；

可见光相机；

红外模块，其中，所述镜头、所述紫外模块、所述可见光相机和所述红外模块呈预设的分布结构；

分光系统，用于将所述电力设备的光线进行分光处理，以使得分光得到的第一光线射入所述紫外模块，以得到紫外图像，同时使得分光得到的第二光线射入所述可见光相机，以得到可见光图像，同时使得所述第二光线射入所述红外模块，以得到红外图像。

上述系统，优选的，所述紫外模块与所述镜头相对设置，所述可见光相机与所述紫外模块分开设置，所述红外模块与所述可见光相机并排设置；

其中，所述可见光相机与所述紫外模块和所述镜头不在同一直线上。

上述系统，优选的，所述处理设备还包括：

多光谱融合处理器，用于将对应于同一采集时刻的红外图像、可见光图像和紫外图像进行图像融合，以得到融合图像，将所述融合图像进行输出。

上述系统，优选的，所述检测处理器在至少对所述图像集合中的所述红外图像进行图像识别时，具体用于：

对每个所述图像集合中的所述红外图像进行图像分割，以得到多个图像区域，每个所述图像区域分别对应于目标设备中的一个设备部件；

至少根据所述红外图像的图像辐射率，获得每个所述图像区域对应的温度矩阵；根据每个所述图像区域对应的温度矩阵，获得每个所述图像区域的特征参量，所述特征参量包括与电流致热类型相对应的特征参量和/或与电压制热类型相对应的特征参量；

至少根据所述特征参量和预设的参量阈值，获得每个所述图像区域的温升异常检测结果。

上述系统，优选的，所述检测处理器还用于：在根据每个所述图像区域对应的温度矩阵，获得每个所述图像区域的特征参量之前，获得所述红外图像中每个图像区域对应的初始红外数据，对所述图像辐射率进行修正；利用修正后的图像辐射率，对所述红外图像中每个所述图像区域对应的温度矩阵进行调整。

上述系统，优选的，所述检测处理器在至少对所述图像集合中的所述可见光图像和所述紫外图像进行图像识别时具体用于：

对每个所述图像集合中的所述可见光图像进行图像识别，以识别出所述可见光图像中所包含的多个图像区域以及每个所述图像区域中所对应的所述电力设备中的一个设备部件；

根据所述可见光图像中所包含的多个图像区域以及每个所述图像区域中所对应的目标设备的设备部件，获得每个所述图像集合中的所述紫外图像中所包含的多个图像区域以及每个所述图像区域中所对应的所述电力设备中的设备部件；

利用基于卷积神经网络的检测模型，对所述紫外图像中的每个图像区域进行检测，以得到所述紫外图像中的每个图像区域的放电异常检测结果；

其中，所述检测模型为利用具有放电标签的训练样本集合进行训练得到，所述训练样本集合中至少包含多帧训练图像，所述训练图像为紫外光谱的图像，且所述放电标签表征所述训练图像中的设备部件是否存在放电。

上述系统，优选的，所述检测处理器还用于：对所述基于卷积神经网络的检测模型进行压缩处理；其中，所述压缩处理包括：剪枝处理、量化处理、权重共享处理和张量分解中的任意一项或任意多项。

上述系统，优选的，所述检测处理器具体用于：

判断所述放电识别结果中每个所述图像区域的放电异常检测结果是否表征相应的图像区域存在放电异常；在判断出所述放电异常检测结果表征相应的图像区域存在放电异常的情况下，将所述温升识别结果中所述放电异常检测结果表征存在放电异常的图像区域对应的温升异常检测结果从当前的温升异常等级调整到高一级的温升异常等级，以得到设备检测结果。

上述系统，优选的，还包括：

显示设备，用于输出所述设备检测结果。

由上述方案可知，本申请提供的一种基于多光谱图像的设备检测系统置中，通过多光谱图像采集设备对电力设备的多光谱图像如红外、紫外和可见光图像进行采集，进而分别对多光谱图像进行图像识别，就可以得到在温升以及放电上各自对应的异常检测结果，之后就可以结合这些多方面的异常检测结果最终生成电力设备每个设备部件的异常检测结果。可见，本申请中通过多光谱图像的分别检测以及综合处理来得到更为准确的异常检测结果，从而达到提高检测准确率的目的。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一提供的一种基于多光谱图像的设备检测系统的结构示意图；

图2为本申请实施例一提供的一种基于多光谱图像的设备检测系统的另一结构示意图；

图3为本申请实施例一提供的一种基于多光谱图像的设备检测系统中光线的光路示意图；

图4为本申请实施例中的图像处理示例图；

图5及图6分别为本申请实施例一提供的一种基于多光谱图像的设备检测系统的又一结构示意图；

图7-图30分别为本申请适用于电力系统对电力设备进行异常检测的示例图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参考图1，为本申请实施例一提供的一种基于多光谱图像的设备检测系统的结构示意图。本实施例中的技术方案主要用于提高对电力设备的设备部件是否出现故障等异常进行检测的准确性。

具体的，本实施例中的系统可以包括以下设备：

多光谱图像采集设备1，用于采集多个图像集合。

其中，每个图像集合对应于不同的采集参数，采集参数至少包含采集尺度、采集角度和采集时刻中的任意一项或任意多项，每个图像集合中包含多帧电力设备的设备图像，设备图像包含红外图像、可见光图像和紫外图像，且每个图像集合中的设备图像对应于同一采集参数。例如，属于同一图像集合的红外图像、可见光图像和紫外图像对应于同一采集角度、采集尺度和采集时刻。后文中，本实施例中进行异常检测所基于的红外图像、可见光图像和紫外图像是以对于同一采集参数的图像集合中的设备图像而言的。

具体的，本实施例中可以通过为电力设备配置的多传感器系统在同一图像采集角度上采集多光谱的设备图像，如通过多传感器系统中的红外传感器或红外摄像头采集包含电力设备的红外图像、通过多传感器中的紫外传感器或紫外摄像头采集包含电力设备的紫外图像、通过多传感器中的RGB摄像头等采集包含电力设备的可见光图像。

如图2中所示，多光谱图像采集设备中可以包含以下结构：

镜头101，用于采集电力设备的光线；

紫外模块102；

可见光相机103；

红外模块104；其中，所述镜头101、所述紫外模块102、所述可见光相机103和所述红外模块104呈预设的分布结构；

分光系统105，如分光镜等，用于将所述电力设备的光线进行分光处理，以使得分光得到的第一光线射入所述紫外模块102，以得到紫外图像，同时使得分光得到的第二光线射入所述可见光相机103，以得到可见光图像，同时使得所述第二光线射入所述红外模块104，以得到红外图像。

在一种实现方式中，紫外模块102与所述镜头101相对设置，所述可见光相机103与所述紫外模块102分开设置，所述红外模块104与所述可见光相机103并排设置；

其中，所述可见光相机103与所述紫外模块102和所述镜头101不在同一直线上。

具体的，如图3中所示，紫外模块102设置在镜头101的光线入射方向上，以使得电力设备的光线可以穿过分光系统如分光镜等形成第一光线并进入到紫外模块102中，以形成紫外图像，而可见光相机103和红外模块104并排设置在镜头101上不在镜头101的光线入射方向上的位置上，由此，分光系统可以将电力设备的光线进行反射或者折射形成第二光线，第二光线与第一光线的出射方向不同，紫外模块102和可见光相机103不共光轴，可见光相机103和红外模块104处于第二光线的出射方向上，由此，第二光线进入到可见光相机103和红外模块104中，分别得到可见光图像和红外图像。

处理设备2，与所述多光谱图像采集设备1相连接，而且，处理设备2可以部署在电网中的边缘计算设备中。其中，所述处理设备2包括：

存储器201，用于存储应用程序以及所述应用程序运行所产生的数据；另外，存储器201中还用于存储从多光谱图像采集设备1中所接收的图像集合。

检测处理器202，用于执行所述应用程序，以实现：

接收所述多光谱图像采集设备传输的图像集合；至少对所述图像集合中的所述红外图像进行图像识别，以得到所述红外图像的温升识别结果，所述温升识别结果包括：所述红外图像中所包含的每个图像区域的温升异常检测结果；至少对所述图像集合中的所述可见光图像和所述紫外图像进行图像识别，以得到所述紫外图像的放电识别结果，所述放电识别结果包括：所述紫外图像中所包含的每个图像区域的放电异常检测结果；根据所述温升识别结果和所述放电识别结果，获得设备检测结果，所述设备检测结果包括：所述红外图像或所述紫外图像中所包含的每个图像区域的异常检测结果，所述异常检测结果表征所述电力设备中与所述图像区域对应的设备部件是否存在异常。

具体的，检测处理器202可以通过对红外图像进行分割之后，利用分割出的图像区域的温度矩阵进行特征参量的提取，进而提取出的特征参量能够用于判断每个图像区域的温升异常检测结果。

例如，温升异常结果可以分为多个温升异常等级，如一般、严重和危急三个异常等级，基于此，温升识别结果中红外图像所包含的每个图像区域均对应于一般、严重或危急的温升异常等级。

具体的，检测处理器202可以通过可见光图像对紫外图像中包含电力设备中的每个设备部件所在的区域进行分割，以得到多个图像区域，再对这些图像区域中是否存在放电异常进行检测，从而得到每个图像区域的放电异常检测结果。

需要说明的是，红外图像和紫外图像是对应于同一图像采集角度的，因此，是对应于同一电力设备且在同一朝向上的图像，而且，红外图像中进行图像分割以及紫外图像中进行图像分割均是按照电力设备的设备部件进行分割的，因此，红外图像中的图像区域和紫外图像中的图像区域是关于设备部件一一对应的，如图4中所示。基于此，红外图像中每个图像区域的温升异常检测结果是对应于紫外图像中相应图像区域的放电异常检测结果的。

具体的，检测处理器202基于温升识别结果中每个图像区域所对应的温升异常检测结果和放电识别结果中每个图像区域所对应的放电异常检测结果，以每个图像区域为单位，对温升异常检测结果利用相应的放电异常检测结果进行调整或者对放电异常检测结果利用相应的温升异常检测结果进行调整，由此得到每个图像区域的异常检测结果，而每个图像区域的异常检测结果表征该图像区域内的设备部件是否存在异常，例如，电力设备中的连接处、开关、断路器、膨胀器、将军帽等设备部件是否存在异常。

基于以上实现，本实施例中对于不同采集参数均可以获得到一组设备检测结果，例如，对于不同采集角度、采集时刻和采集尺度上均获得到电子设备中每个设备部件的异常检测结果，以提高检测的准确率。

由上述方案可知，本申请实施例一提供的一种基于多光谱图像的设备检测系统中，通过对电力设备的多光谱图像如红外、紫外和可见光图像进行采集，进而分别对多光谱图像进行图像识别，就可以得到在温升以及放电上各自对应的异常检测结果，之后就可以结合这些多方面的异常检测结果最终生成电力设备每个设备部件的异常检测结果。可见，本实施例中通过多光谱图像的分别检测以及综合处理来得到更为准确的异常检测结果，从而达到提高检测准确率的目的。

在一种实现方式中，本实施例中的处理设备2还包括以下结构，如图5中所示：

多光谱融合处理器203，用于将对应于同一采集时刻的红外图像、可见光图像和紫外图像进行图像融合，以得到融合图像，将所述融合图像进行输出。

具体的，多光谱融合处理器203可以通过图像融合算法将可见光图像、红外图像和紫外图像进行融合，再将融合得到的图像进行输出，或者，对该融合得到的图像进行检测之后，将所得到的检测结果进行输出，该检测结果能够表征电力设备是否出现故障。

在一种实现方式中，所述检测处理器202在至少对所述图像集合中的所述红外图像进行图像识别时，具体用于：

对每个所述图像集合中的所述红外图像进行图像分割，以得到多个图像区域，每个所述图像区域分别对应于目标设备中的一个设备部件；至少根据所述红外图像的图像辐射率，获得每个所述图像区域对应的温度矩阵；根据每个所述图像区域对应的温度矩阵，获得每个所述图像区域的特征参量，所述特征参量包括与电流致热类型相对应的特征参量和/或与电压制热类型相对应的特征参量；至少根据所述特征参量和预设的参量阈值，获得每个所述图像区域的温升异常检测结果。

如图4中所示的每个图像区域分别对应于电力设备的连接处、开关、断路器等部件。

具体的，检测处理器202可以利用斜框检测方法对电力设备中的设备部件所在的区域进行识别并分割。例如，本实施例中对红外图像中每一个像素点进行分割，无需考虑红外图像中的电力设备是否存在倾斜的情况。

其中，由于不同的材料辐射率会存在差异，因此，在检测处理器202针对图像辐射率为1以及图像辐射率小于1的红外图像分别采用不同的方式来获得每个图像区域对应的温度矩阵。

例如，在图像辐射率(Emissivity)为1时，温度矩阵采用以下公式(1)表示：

T＝B/ln(R1/(R2*(S+O))+F) (1)

其中，T为温度矩阵，S为红外图像中的原始数据矩阵，B、R1、R2、S、O、F为普朗克常量，ln()为自然对数函数。

当图像辐射率(Emissivity)小于1时，温度矩阵采用以下公式(2)表示：

T＝B/ln(R1/(R2*RAW_obj+O))+F) (2)

其中，RAW_refl、RAW_obj分别为中间参数，具体通过以下公式(3)和公式(4)得到：

RAW_refl＝R1/(R2*(e^(B/T_refl)-F))-O (3)

RAW_obj＝(S-(1-Emissivity)*RAW_refl)/Emissivity (4)

其中，B、R1、R2、S、O、F为普朗克常量，T_refl为反射显式温度，提取的计算参数之一，e为自然常数(可以取为2.71828)，T为温度矩阵。

可选的，辐射率还可以作为外部参数输入来做修正。

在一种实现方式中，为了提高温度矩阵的准确性，检测处理器202中在分割出红外图像中电力设备的设备部件各自所在的图像区域之后，可以通过获得红外图像中每个图像区域对应的初始红外数据，即前面的原始数据矩阵，基于此对图像辐射率进行修正，再利用修正后的图像辐射率，对红外图像中每个图像区域对应的温度矩阵进行调整，从而达到对红外图像的处理质量提升的目的，从而提高后续所得到的温升识别结果的准确性。

其中，本实施例中考虑到电力设备的异常故障可以分为电流致热和电压致热两种类型，因此，检测处理器202中在对用于异常检测的特征参数进行提取时，所得到的特征参数中可以只包含与电流致热类型相对应的特征参量，或者，只包含与电压制热类型相对应的特征参量，或者，既包含与电流致热类型相对应的特征参量也包含与电压制热类型相对应的特征参量。

具体的，针对电流致热类型对应的特征参量，检测处理器202中可以通过对每个图像区域对应的温度矩阵进行处理，以提取出每个图像区域中所包含的设备部件上以及设备部件与输电线路连接处的发热区域的温度信息作为特征参量；

而针对电压致热类型对应的特征参量，检测处理器202中可以通过对每个图像区域对应的温度矩阵进行处理，以提取出每个图像区域中套管类的设备部件的温度信息作为特征参量。

其中，检测处理器202可以通过预设或者实时更新的参量阈值，对特征参量是否满足相应的参量阈值进行判断，进而获得到每个图像区域中相应设备部件的温升异常检测结果。

需要说明的是，不同的设备部件对应于不同的参量阈值，而且每个设备部件的参量阈值包含多个温升异常等级对应的阈值，每个设备部件在每个温升异常等级上对应的阈值相同或者不同。

在一种实现方式中，每个设备部件在每个温升异常等级上的阈值可以通过对每个温升异常等级上对应的多个历史图像样本进行处理得到。

具体的，检测处理器202中可以预先获得已知温升异常等级的多个设备部件的历史图像样本，再以设备部件以及温升异常等级进行划分，将属于同一设备部件以及同一温升异常等级的历史图像样本划分到一组，之后，对划分到同一组的历史图像样本建立分布模型，从而得到每个设备部件在每个温升异常等级上的阈值，即参量阈值。

例如，对划分到同一组的历史样本图像所建立的分布模型获得其相应温升异常等级下的累积分布概率，进而根据该累积分布概率计算得到相应温升异常等级下的阈值，例如，用1减去一般的温升异常等级下的累积分布概率就可以得到一般的温升异常等级下的阈值，用1减去严重的温升异常等级下的累积分布概率就可以得到严重的温升异常等级下的阈值，用1减去危急的温升异常等级下的累积分布概率就可以得到危急的温升异常等级下的阈值。

进一步的，为了提高参量阈值的准确性以提高温升识别结果的准确性，检测处理器202中在获得参量阈值时，首先获得与特征参量相关性满足预设的影响条件的影响因素，再根据这些影响因素确定不同设备部件在不同温升异常等级下的参量阈值，例如，根据这些影响因素对通过历史样本图像所获得到的参量阈值进行调整，如增大或减小等。

其中，这里的影响条件是指影响因素与特征参量的相关性高于预设的相关阈值或者影响因素能够使得特征参量对应的原始数据更加离散。影响因素至少包含季节因素、时刻因素和电压等级因素中的任意一种或任意多种。

具体的，检测处理器202中可以基于模糊C均值的影响因素分析方法对满足影响条件的影响因素进行分析。

例如，首先利用模糊C均值聚类对数值型的诊断特征参量进行自动聚类，在多维空间中，模糊C均值聚类方法能够较客观的获取数据的聚类中心，基于此，对不同的影响因素进行区间划分，例如，电压等级分为110kV，220kV，500kV，500kV以上；检测季节分为春、夏、秋、冬；检测时刻分为白天、晚上，等等，基于此，在不同的聚类类别间，计算分属于不同影响因素的诊断特征参量的聚类，从而得到不同影响因素的影响度。对于不同的聚类类别来说，如果两类之间的距离大，则说明该影响因素下数据更加离散，该影响因素对数据的影响大；如果两类之间的距离小，则认为该影响因素不影响数据聚类的结果，也就是对数据的影响小，由此，本实施例中确定计算差异化阈值过程中的分类依据和主要影响因素，确定影响较大的因素至少包含：检测季节、检测时刻和电压等级等因素。

基于此，将这些影响因素对应的变量加入到获得累积分布概率的分布模型中，从而提高参量阈值的准确性。

在一种实现方式中，所述检测处理器202在至少对所述图像集合中的所述可见光图像和所述紫外图像进行图像识别时具体用于：

具体的，检测处理器202中可以基于YOLO的对象识别和定位算法对可见光图像见检测，从而检测到在可见光图像中电力设备的多个设备部件的类型，即划分对应于不同类型的设备部件，再按照这些设备部件，对可见光图像进行分割，从而得到可见光图像中每个设备部件所在的图像区域，之后，就可以对可见光图像中所分割出的每个图像区域中的设备部件进行部件的身份识别，以得到每个设备部件的部件标识，如开关等部件标识。

进一步的，为了提高准确性，检测处理器202中对YOLO对象识别和定位算法进行改进，在YOLO中实现对象识别时所涉及的矩形框的预测向量中添加倾斜角向量，以便于实现斜框预测。

另外，为了进一步提高准确性，检测处理器202在YOLO选用较大的卷积核，如5*5的卷积核，从而在YOLO中每个网格的预测单元的感受野都能够在原始的图像区域中覆盖足够大的区域。

除此之外，检测处理器202中可以在YOLO中进行多尺度特征融合之前加入正则化操作，由于在融合特征图的过程中需要考虑不同特征图之间激活值幅度的匹配问题，因此，检测处理器202中将匹配的特征图进行L2正则化，就可以将正则化之后的特征图拼接起来，通过1*1的卷积层进行降维。

在一种实现方式中，检测处理器202中可以采用基于deeplab的可见光图像电力设备区域分割算法对电力设备中的设备部件所在的图像区域进行分割，以分割出可见光图像中所包含的电力设备的设备部件各自所在的图像区域。

在一种实现方式中，检测处理器202中可以基于预设的配准算法对每个图像区域中的设备部件进行身份识别，从而得到每个设备部件的设备标识。其中，配准算法可以有：二维图像的基于特征提取的配准方法，如角点提取算法或边缘点提取算法等，配准算法还可以有基于立体几何变换的配准方法，例如，利用空间几何坐标转换关系找到当前图像区域以及已知部件标识的样本图像之间的图像像素坐标的对应关系，进而基于这一对应关系来识别当前图像区域中的设备部件的部件标识。

其中，可见光图像和紫外图像是对应于同一图像采集角度的，因此，是对应于同一电力设备且在同一朝向上的图像，而且，可见光图像中电力设备的设备部件与紫外图像中电力设备的设备部件是完全对应的，因此，红外图像中的图像区域和紫外图像也是关于设备部件一一对应的，基于此，本实施例中基于可见光图像中所包含的多个图像区域以及每个图像区域中所对应的目标设备的设备部件，就可以相应获得到紫外图像中所包含的多个图像区域以及每个图像区域中所对应的电力设备中的设备部件，如图4中所示。

其中，检测模型为利用具有放电标签的训练样本集合进行训练得到，训练样本集合中至少包含多帧训练图像，训练图像为紫外光谱的图像，且放电标签表征训练图像中的设备部件是否存在放电。基于此，本实施例中预先将训练图像依次输入到检测模型中，将检测模型的输出与相应的放电标签进行比对，再通过判断所建立的损失函数来对检测模型中的模型参数进行调整，直到检测模型的损失函数收敛，完成检测模型的训练，所训练出来的检测模型能够对输入的图像区域中的设备部件是否存在放电异常进行准确检测。

基于此，检测处理器202中通过同一图像采集角度上的可见光图像对紫外图像中可能存在放电异常的图像区域进行定位，再经过检测模型对紫外图像中图像区域的卷积以及特征提取等处理之后，就可以定位到存在放电异常的图像区域以及该图像区域上对应的设备部件。

优选的实现方案中，检测处理器202中随着检测模型对图像区域的检测，为了提高准确性，还可以利用经过人工复验的图像区域是否存在放电异常的结果对检测模型进行进一步训练优化。

优选的实现方案中，检测处理器202中的检测模型中可以配置输入层、多层卷积层、池化层、全连接层以及输出层，从而实现对图像区域的卷积处理，进而根据已经训练得到的模型参数学习出图像区域对应的设备部件是否存在放电异常的检测结果。

优选的实现方案中，检测处理器202中为了降低检测模型的复杂度，以便于配置在应用终端上，可以在保证满足检测准确率需求的情况下，对基于卷积神经网络的检测模型进行压缩处理，其中，本实施例中的压缩处理可以包括：剪枝处理、量化处理、权重共享处理和张量分解中的任意一项或任意多项。由此，在降低检测模型的复杂度之后，可以在便携式终端如pad等设备上实现对电力设备的异常检测。

在一种实现方式中，所述检测处理器202具体用于：

首先，判断放电识别结果中每个图像区域的放电异常检测结果是否表征相应的图像区域存在放电异常，而在判断出放电异常检测结果表征相应的图像区域存在放电异常的情况下，将温升识别结果中放电异常检测结果表征存在放电异常的图像区域对应的温升异常检测结果从当前的温升异常等级调整到高一级的温升异常等级，以得到设备检测结果。

以温升异常等级分为一般、严重和危急三种等级为例，在设备部件如开关的图像区域对应的放电异常检测结果表征存在放电异常的情况下，将温升异常检测结果从一般等级调整到严重等级；再如，在设备部件如连接处的图像区域对应的放电异常检测结果表征存在放电异常的情况下，将温升异常检测结果从严重等级调整到危急等级。

在一种实现方式中，本实施例中的系统还可以包含以下结构，如图6中所示：

显示设备3，用于输出设备检测结果。

具体的，本实施例中可以在显示设备3上按照电力设备以及电力设备中的设备部件为单位，将设备检测结果中每个设备部件的异常检测结果进行输出，例如通过手机或投影屏或显示屏等方式输出给运维人员，由电力设备的运维人员参考设备检测结果及时对电力设备进行维修或维护，以提高电力设备的安全性。

以电网中的电力设备异常检测为例，结合图7中的技术架构，对本申请所实现的系统进行详细举例说明：

首先，本申请的技术路线如图7中所示，本申请的发明人通过对图7中的四个方面的课题进行研究，从而得到本申请的技术方案，具体如下：

(1)研究多传感器融合智能成像技术，其中，通过紫外传感器、红外传感器和可见光传感器采集多光谱图像，并通过多传感器图像融合处理硬件技术研究得到三光融合图像，再经过三光融合视频图像逐像素场景配准以及时域帧对其技术研究，实现三光图像处理；

(2)研究基于深度学习的可见光图像电力设备类型和身份识别技术，其中，通过基于YOLO电力设备部件类型识别、设备部件分割算法、二维图形与三维图形配准等算法实现；

(3)研究适应于边缘计算平台的、基于深度学习的紫外-红外-可见光图像轻量化缺陷快速诊断网络；其中，通过基于深度卷积神经网络的紫外特征参数提取与智能诊断、红外视频图像解析技术研究以及多角度多时间多尺度红外图像的设备故障智能诊断研究实现；

(4)研究神经网络训练模型硬件压缩、剪枝优化等技术及研究基于深度神经网络硬件加速模块的边缘装置样机研制，实现诊断报告的全流程自动化生成；其中，通过剪枝、量化与权重共享以及张量分解等方式实现神经网络模型压缩，并通过硬件平台选型、嵌入式开发环境部署以及应用程序移植等手段将神经网络模型移植到相应的计算机或服务器中。

1、多传感器融合智能成像技术

1.1、多传感器融合成像原理及理论模型

多传感器融合智能成像在硬件上主要分为多传感器融合采集硬件与多传感图谱融合处理硬件两方面。

(1)多传感器技术硬件

多传感器设备(即前文中的多光谱图像采集设备)是将可见光、红外、紫外三个检测相机集成到一个集成平台上，主要分为光学设计与硬件部分。

光学方面，可以选用紫外/可见共光路、热红外并行一路的方式进行设计。这样紫外可见输出共光轴的两路视频图像信号，热红外输出存在一定视差的另一路视频图像信号。

紫外成像模块中，日盲紫外探测器可以选用日全盲紫外成像模块，视频分辨率为720×576，帧频为25fps。紫外镜头视角可达到12.5°×10°。结合紫外探测和分光镜子模块的设计提升性能及灵敏度。紫外模块整机结构由可见光相机、紫外成像模块(包括反射组件、紫外镜头、滤光片组、日全盲成像模块等)、电机驱动系统、电控模块、网络模块等模块组成。其中，电机通过丝杠系统驱动CCD前后移动以实现系统的调焦。环境中的可见光和电力巡检故障位置发出的紫外光同时通过镜头射入紫外模块，内部的分光系统将两种类型的光分开。可见光相机采集可见光信号并传输给处理模块，紫外成像模块采集紫外信号并传输给处理模块，同时，操作人员可通过发送指令来完成紫外对焦。

红外光学系统的主要作用是把特定光谱范围的目标热辐射成像于红外焦平面阵列。焦平面阵列上的红外探测器对入射热辐射产生响应，并输出到信号处理系统，经信号处理、图像编码(或视频合成)，则可以获得目标热图像。红外光学系统设计需要从满足以下要求方面入手，包括光谱响应、像素选择、空间分辨率、温度分辨率、帧频等。可以采用FLIRTau2 640作为红外成像模块，具体型号为46640025H-SPNLP，其热成像图像分辨率为640×480，测温精度±2℃，其视频分辨率为640×512，可输出PAL模可以视频。

高清可见相机的内部将cmos采集到视频信号进行滤波降噪等预处理之后形成稳定视频流，然后根据需求压缩成标准H.264格式，在软件设计上提供网络视频服务接口，支持rtsp协议，以便处理平台请求视频流并处理。

多传感器融合采集设备光学设计可以参考图8和图9中所示。光射入模块内部后，可见光部分在分光镜的反射作用下折射入旁边的可见光相机，紫外波段则穿过分光镜射入紫外分光镜后面的紫外通道，以此实现可见光与紫外波段的分离。红外模块将与可见光相机并排放置，在图像融合时将需红外图像与可见光图像进行特征值匹配与叠加。

三路视频输出后，为了便于传输处理，并增加抗干扰能力，设计将视频编码后输出。视频服务模块用于对图像进行专业处理并压缩成标准格式，并提供视频服务功能，构建外部可访问功能，供电模块用于对外部输入电源进行二次稳压，形成更稳定输入源，并进行电源分配控制。

(2)多传感图谱融合处理硬件

多传感图谱融合硬件处理平台可提供多路视频接入、处理、压缩和显示。其硬件部分可以采用X86处理板一个，供电控制模块一个。其中X86处理板用于处理分析设备采集到的紫外、红外和高清可见视频数据，供电模块除负责为处理平台供电之外，也负责为多传感器融合采集设备供电。该电源控制模块需通过电池供电，故需对输入电源进行宽稳压设计。满足多路供电需求，该模块同时需提供多路对外电源输出。

1.2、多传感器融合视频图像逐像素场景配准及时域帧对齐技术

多传感器融合光学设计方案决定了多传感器融合的算法设计。从多传感器融合光学设计可知，可见与紫外融合时，可利用共光路结构进行叠加匹配，通过微调变换矩阵进行精度修正。红外与可见光融合时，由于存在视角差，需要利用图像特征识别进行匹配与融合。

参考多传感器融合光路设计，由于紫外、红外、可见视频的分辨率与视场均不相同，且红外通道与紫外/可见通道不共光轴，因此需要针对以上情况编写视频融合算法。

细化多传感器融合算法设计思路，主要如下:

a)融合图像的几何校正与预处理：对输入的多传感器图像根据光学设计和视角变换，包括裁剪、缩放、插值等；

b)提取图像特征点：通过sift算子对可见与红外图像进行特征点提取；

c)特征匹配：通过BBF算法进行特征点匹配；

d)匹配提取与图像叠加：通过配准阀值提取最终的仿射变换矩，并进行图像叠加。

图像融合处理方面，首先，将各通道每个时间点采集到的图像数据进行匹配，找到每个通道基本同一时间采集数据(防止图像叠加后出现偏差)。然后，根据每个图像不同对的视场角进行裁剪，截取出适合大小图像，为叠加做准备。接下来，会进行位置匹配，将每个通道对应叠加区域进行选取，挑选出对应部分视频数据。最后，进行叠加，叠加采用加权平均融合算法。最后将处理好合成推向进行存储。显示传输线程主要用于显示、压缩传输已压缩成功图像。

热红外图谱和紫外图谱在视觉上差别较大，因此需要以缺陷的热红外表征方式和紫外表征方式为出发点，综合像素层和特征层图像融合方法，以可见光图像为环境和电气设备的参照，将热红外和紫外表征的参数和图像，有效地融合至可见光环境背景上。具体流程见图10中所示，通过对热红外图像进行图像预处理，再提取其中的缺陷发热区域，而对于日盲紫外图像进行图像预处理之后，再提取其中的电晕缺陷点位置与电晕放电形态区域，同时，对于可见光图像进行预处理之后，结合缺陷发热区域、电晕缺陷点位置与电晕放电形态区域和预处理后的可见光图像，以可见光图像为背景的图像融合之后，得到三光融合图像。

基于上述算法流程，软件运行基本框架设计如图11中所示：

软件首先在系统启动之后进行系统初始化，建立稳定运行环境。然后通过网络获取检测多通道检测设备获取到的多通道视频流并进行缓存。接下来，对获取到图像进行预处理，例如，进行滤波降噪以及腐蚀及膨胀运算，屏蔽到不需要的或者微弱的干扰信号，同时，对所需特征信号处进行开闭运算，将特征进行锐化处理。再次，对各通道间每图像帧进行匹配运算，获取同一时间点所采集帧并进行标记。最后进行图像的融合处理。在融合处理中，会根据各通道视场角不同进行图像对的裁剪，然后进行位置匹配，最后采用基本叠加算法进行叠加处理。

从业务流程来看，软件需要首先开辟4个线程组，分别用于原始视频获取、视频预处理、图像融合处理、显示传输。图12为软件运行框架图，其中，对于原始视频获取线程组，它将监听每个通道视频数据的传输，获取到视频数据之后进行识别，按照视频类型进行分别缓存(构建每个通道的视频数据队列)，例如，通过通道A进行视频帧存储，通过通道你B进行视频帧存储等，实现多通道视频数据缓存。

视频预处理线程会不断轮询视频获取线程存储队列，判定是否有视频数据已进行存储且未被处理，发现此类视频之后，提取各通道视频数据，首先会进行滤波降噪处理。均值滤波算法可以降低图像中存在的随机噪声，然后为突出检测部分特征，对紫外图像会进行腐蚀运算以及膨胀运算，将特征除噪声进行进一步处理，保证提取特征处边缘平滑，图像骨架连续，在此部分同时进行阈值检测，将不符合阈值部分数据进行舍弃。处理完毕后将各通道图像归并到已处理视频队列，分通道缓存，等待融合。

视频预处理线程会不断轮询视频获取线程存储队列，判定是否有视频数据已进行存储且未被处理，发现此类视频之后进行后续处理。

图像融合线程组在提取各通道视频数据之后，通过帧匹配、剪裁、位置匹配、叠加融合之后，将融合视频进行缓存。

显示传输线程通过压缩显示算法对融合视频进行显示。

2、基于深度学习的可见光图像电力设备类型和身份识别技术

2.1、基于YOLO电力设备部件类型识别

对于目标检测任务而言，可见光图像中的电力设备主要有以下三个特点：

倾斜性：实际处理的可见光图像是由电力工人或者巡检机器人通过可见光热像仪进行拍摄得到的，因为拍摄角度的问题，导致可见光图中大部分的设备都是倾斜的；

少见的长宽比：大多数瓷套类设备例如避雷器，往往很长但是很细。过大的长宽比会不利于设备的检测。

高度结构化：电力设备是高度结构化的物体，一个设备可以细分成不同的部件，每一个部件都可以作为独立检测的对象。

针对以上电力设备的特征，本申请提出了基于回归模型的电力设备及设备部件斜框检测模型。通过回归的方法直接预测电力设备部件的倾斜角，利用训练集当中电力设备部件的形状先验提高模型对于过大长宽比的部件的预测能力，同时充分利用电力设备部件之间的位置关系来提高对于部件的预测精度。

YOLO(You only look once)是当前主流的单阶段，基于回归的目标检测模型。他的特征提取网络是基于上节当中GoogleNet的改进版，在提取完可见光图像的特征之后，通过回归的方式预测图像中的目标位置。

针对以上电力设备的特征，直接采用YOLO作为本申请的部件斜框检测模型显然是不现实的。为此本申请可以对YOLO基本模型做如下修改：

网络模型设计：首先在矩形框的预测向量中加入了倾斜角来实现斜框预测。为了让网络能够更好的预测倾斜角，本申请可以对实验训练集中的设备倾斜角进行了统计，得到θ_min和θ_max，通过将网络预测的倾斜角限定在这两者之间，避免预测范围太过宽泛导致的误差。

其次，模型采用了尺度更大的卷积核。因为在可见光热图像中，有不少的瓷套类设备比较长，传统的3x 3大小的卷积核的感受野并不是很大。因此本申请可以将深层次卷积层中的卷积核的大小从原来的3x 3增大到5x 5，保证最终每一个网格的预测单元的感受野都能够在原图上覆盖足够大的区域。

最后，本模型在多尺度特征融合之前加入了正则化操作。多尺度的特征融合是深度学习中一种广泛应用的将底层、高分辨率的特征图和高层、低分辨率但是语义信息更丰富的特征图进行融合的方法。为了将不同卷积层输出的尺度不同的特征图进行融合，需要对底层高分辨率的特征图进行维度重构来保证重构后的特征图的分辨率和高层特征图的分辨率能够一致。另外，在融合特征图的过程中也需要考虑不同特征图之间激活值幅度的匹配问题。因此，本模型在实验中将要匹配的特征图进行L2正则化，将正则化之后的特征图拼接起来，通过一个1x 1卷积层进行降维。

本申请采用的电力设备部件斜框检测示意图如图13中所示，其中，对于输入的测试图像，首先通过改进之后的神经网络提取特征，如通过conv1-5的卷积之后，最后的detection预测层主要输出两部分预测量，其中一部分是斜的矩形框以及矩形框对应的包含设备的置信度，即斜框预测，另外一部分是预测框所属类别的概率分布，即设备类型预测，图13中只选取了置信度大于一定阈值的预测框的预测类别进行显示。最终通过将两部分预测结果结合起来，利用非极大值抑制的方法去除重叠程度高的预测框，就得到了最终的预测结果。

目标函数的设计：为了训练实际的申请检测模型，本申请中定义了一个多任务的目标函数。对于分类任务，本模型对于每一个的斜矩形框预测一个离散的条件概率分布p＝(p₀,...p_k-1)，一共K个类别，以及矩形框存在设备部件的置信度c。p和c的值是通过一个softmax函数进行计算得到。

对于定位任务，本模型预测一个五元组t＝(t_x,t_y,t_θ,t_w,t_h)来描述斜的矩形框。本模型采用和YOLO一致的坐标参数化方式，另外，本模型直接预测矩形框的倾斜角

在训练过程当中，每一个预测的矩形框都被分配一个真实的概率分布

一个真实的置信度值

以及真实的回归目标

本模型选择和真实的目标框之间的IoU值最大的预测框作为训练时候的正样本，其余的预测框作为负样本。

整体的多任务学习的目标函数如公式(5)中所示：

其中

以及

分别表示分类的代价函数和定位的代价函数。L_angle表示模型附加的部件倾斜角一致性代价函数。

分类任务的代价函数可以详细的表示为公式(6)：

在实际的定位过程中本模型引入了anchor box的机制。假定(x_a,y_a)表示预测框所在网格左上角的坐标位置，(w_a,h_a)表示anchor box的宽度和高度，σ表示logistic函数，(b_x,b_y,b_w,b_h)表示实际预测的斜框参数。则实际预测的斜框参数可以通过网络的直接预测结果经过以如公式(7)进行转化得到：

b_x＝σ(t_x)+x_a

b_y＝σ(t_y)+y_a

通过提供预测框长度和宽度的先验信息，并且将预测框的中心位置限定落在负责其预测的网格当中，能够让网络更容易学习得到这些预测量。

2.2、设备部件分割算法

本申请可以采用基于Deeplab的可见光图像电力设备区域分割算法。首先用基于VGG的图像特征提取：VGG的网络设计思想在卷积核的使用以及大小的设计上与LeNet的设计原则相违背，因为LeNet的基本思想是大的卷积核能够捕获图像当中相似的特征(权值共享)。AlexNet在浅层网络也是使用9×9、11×11卷积核，并且尽量避免在浅层网络使用1×1的卷积核。但是VGG模型在分类数据集上的成功表明了使用多个3×3卷积核也可以模仿较大卷积核那样对图像进行局部感知。这种使用多个小的卷积核串联来替换大的卷积核的思想也被之后GoogleNet和ResNet等采用。

Deeplab设备区域分割的示意图如图14所示，其中，该设备区域分割模型主要由Convs模块、ASPP(Atrous Spatial Pyramid Pooling)模块和融合和上采样(Upsampling)模块组成，将图像输入到Convs模块提取出图像的初步特征图，再输入到ASPP模块进一步提取获得图像低分辨率的多尺度特征图，最后经过上采样模块对多尺度特征图进行上采样，获得与输入到深度卷积网络(全连接条件随机场模块)的原始图像大小相同的语义分割结果图，即最终预测结果图。

ASPP(小孔空间金字塔池化)模块主要包括四个并行的子模块，用四个子模块分别处理提取后的特征图进行对应元素叠加，获得ASPP模块输出的多尺度特征图；在ASPP模块中，每个子模块均有相同的三层组成，三层分别为FC6层、FC7层和FC8层，FC6层是由一个输出神经元个数为N1的卷积层、一个Relu非线性激活层和一个Dropout层依次连接构成，FC7层是由一个输出神经元个数为N2的全连接层、一个Relu非线性激活层和一个Dropout层依次连接构成，FC8层是由一个输出神经元个数为C＝2的全连接层构成；在四个子模块的FC6层的卷积层处理时，使用不同的小孔卷积采样率来进行卷积操作。

融合与上采样模块首先对ASPP模块所输出的不同分支的分数图以逐点相加的方式进行融合，得出一张相对原始输入图较低分辨率(原图的1/8大小)的分数图，再经过一个上采样层，通过双线性插值的方式对融合后的分数图进行8倍的上采样，获得与输入到深度卷积网络原始图像分辨率相同的语义分割结果图。

全连接条件随机场(CRF)模块的主要功能是对前面网络所得到的语义分割结果进行后处理和优化，具体计算过程如下：

对于全连接的条件随机场，势能函数E(x)如公式(8)所示：

上式中，i代表图像中的每个像素点，j代表图像中的其它像素点，x_i,x_j分别代表语义分割结果图上像素点i和像素点j的值，ψ_u(x_i)为每个像素点的一元势能函数，具体计算如公式(9)所示：

ψ_u(x_i)＝-logP(x_i) (9)

上式中，P(x_i)代表对语义分割结果图上像素点i的值进行归一化所得出的概率值；

ψ_p(x_i,x_j)为二元势能函数，具体计算如公式(10)所示：

上式中，μ(x_i,x_j)为指示函数，仅在x_i≠x_j时不为0；I_i和I_j分别为图像i,j点的像素值，p_i和p_j分别为图像中的i,j点的像素点位置，

表示双边高斯核函数，

表示第二项核函数，σ_α ²和σ_β ²分别是双边高斯核函数中与位置相关的核函数方差和与像素值相关的核函数方差，σ_γ ²是第二项核函数的方差，w¹和w²是加权权值。

2.3、基于二维图像与三维图像配准的设备身份识别

本申请可以采用基于特征提取和基于几何变换两种图像配准方法。

(1)基于特征提取的配准方法

点、线、区域以及模板可以被用来作为图像的特征。点特征对图像配准来说它们的坐标可以被用来得到配准图像转换函数的参数。点特征提取算法有角点提取算法，如Harris算子、Beaudet算子；边缘点提取算法，如Sobel算子、Laplacian算子、Canny算子以及LOG算子等。

利用对应特征点在图像像素坐标系中的关系建立两幅图像中各点之间的空间坐标变换参数。几何变换又分为线性变换和非线性变换。解决非线性变换的方法有薄板样条，multiquadrics，以及加权均值，逐段线性，加权线性等。相似变换和投影透射变换是线性几何中经常使用的方法。相似变换矩阵可以用来配准航拍以及卫星图像，因为这些场景相对来说比较平坦，而且平面比较远。图像获取是一个投影过程。如果镜头和传感器没有非线性畸变，一个十分平滑的场景的两幅图像可以通过投影变换来描述，当场景非常远时，投影变换矩阵可以用仿射矩阵进行估计，仿射变换有六个参数，可以通过三个非共线对应点的坐标获取。仿射变换是一种弱化的投影变换，经常被用在航拍或者卫星图像中。如果参考图像中的一条直线映射到感应图像是一条曲线，则要通过非线性的方法来进行配准。薄板样条(Thin-plate spline)或者曲线样条在非线性几何配准领域是使用非常广泛的方法。如果一幅图像的控制点可以被三角化，并且已知两幅图像的对应点，可以决定两幅图像的三角区域对应关系。并且如果一个线性的变换函数被用来映射感应图像的一个区域到参考图像的一个区域，该变换叫做分段线性。当区域很小或者图像之间的局部几何差异很小，分段线性可以产生非常好的效果。但是当局部畸变很大，或者区域边界的梯度很大时，分段线性会产生不精确的配准。三角形可以被应用在分段线性中。三角形的选择会影响配准的结果。作为一个准则，应避免使用带有锐角的拉长三角形。

(2)基于立体几何变换的配准技术

利用空间几何坐标转换关系找到两幅图像之间的图像像素坐标的对应关系。对RGB图像，在相机的内外参数以及空间点在世界坐标系已知的情况，可以求得该点在RGB所成图像对应点的坐标，变化矩阵为M1。这个变换的逆变换是不存在的，即无法根据图像的像素坐标的得到对应空间点在世界坐标系中的坐标，因为OP轴上的所有点都会映射到传感器上的一个点。但是对深度相机图像而言，当OP的距离已知时，本申请可以计算出该点对应空间点在世界坐标系中的坐标。因此可以获取该点在RGB传感器上的投影点以及该点在所形成图像上的像素坐标。这样，就完成了RGB二维图像与深度三维图像之间的配准。

可以采用的RGB二维图像与深度三维图像的立体配准技术的过程具体步骤如下：

(1)通过标定，获取两个相机的内部参数以及深度相机的外部参数R1、T1以及RGB二维相机的外部参数R2和T2。

(2)对标定获取的内外参数进行优化。

(3)利用深度图像通过逆投影变换，得到每个深度图像像素点对应的空间点P在深度摄像机坐标系下的坐标PTOF(x1，y1，z1)。

(4)获取空间点P在RGB摄像机下的坐标PRGB(x2，y2，z2)。

(5)根据透视模型求出P点在RGB图像上对应点的图像像素坐标。

该方法的优点是：不受目标与背景灰度对比度以及图像分辨率的限制；具有实时性，满足机器视觉的要求。配准示意图如图15中所示。

3、基于深度学习的紫外-红外图像的设备缺陷诊断算法

3.1、基于深度学习的电力设备放电紫外图像的特征提取与故障诊断

从紫外视频中截取每一帧图像，然后通过二值化处理和数学形态学的开启和闭合运算后，可以滤除图像中的大部分噪声，然后采用小区域面积消除算法，可以去掉形态学难以滤除的噪声区域，通过对图像进行处理可以获得相关的图像量化参数，如图16、图17及图18中所示的原始紫外图像、图像处理后的紫外图像以及轮廓跟踪后获得的图像。

本申请提出利用深度卷积神经网络的紫外光图像智能化特征提取方法及缺陷评估方法可以采用多层次复合诊断方法模型，该方法的架构框图如图19所示。

图19中所描述的紫外图像综合评估方法中，通过YOLO算法对可见光传感器所采集到的可见光图像进行缺陷区域定位，同时通过典型的卷积神经网络CNN(ConvolutionalNeural Networks)对紫外相机所采集到的紫外图像进行缺陷的初步预警，该步骤只判定采集的图像是否存在异常放电行为；结合CNN提取的紫外图像特征、量化的电信号参数等，形成多参量分类模型进而基于深度神经网络进行缺陷程度的分类评估。

深度卷积神经网络对紫外图像放电评估算法主要包含三个部分，依次为输入紫外图像的预处理、卷积神经网络的训练更新模型参数以及卷积神经网络的检测输出判定结果。

去均值：所有灰度化后的图像像素值取平均后得到样本库均值，将经过灰度化的输入图像与均值进行差值计算，即去均值化计算。保证输入的不同维度的图像数据归一化到同一区间内，保证输入图像的一致性。

重定型：由于输入的紫外图像尺寸大小不一，而卷积神经网络模型的输入设定为227x227像素的图像，所以通过最近邻差值算法(Nearest neighbor difference，NND)将不同尺寸大小的输入图像重新缩放至227x227像素，以满足所设定的卷积神经网络输入图像的接口要求。

为更深层的展现输入的紫外图片在卷积神经网络中的变化过程，在测试库中提取无缺陷无放电、轻微缺陷电晕放电、较严重缺陷火花放电三类的紫外图谱在训练好的卷积神经网络做前向计算，如图20所示，在整个前向计算过程中，分别经过多层不同类型的运算过程中，选出了最有代表性的5层卷集层和两层全连接层。从图20中本申请可以更为详细直观了解，输入的绝缘子紫外图片在卷积神经网络中的从直观变为抽象直到最终分类结果的全部可视化过程。

a)在第一层的卷积特征图中，通过对输入图像进行不同卷积核的卷积运算，仍然可以看到绝缘子片以及放电较为明显的边缘轮廓及特征；

b)在第二层的卷积特征图中，对第一层的卷积特征图再次进行多卷积核的卷积运算，该层已经较难看出绝缘子的轮廓以及放电的明显特征；

c)在第三层和第四层的卷积特征图中，已经完全看出原有的绝缘子及放电的直观特征，放电程度的特征被进一部抽象提取，其特征图所表示的特征参量被进一步压缩至169(13x13)特征值；

d)在第五层池化特征图中，可以较为直观的发现无放电的特征图大部分表现为上下排列的两个白色点，电晕放电的大部分特征图表现为图中的单个白色点，而火花放电的特征图大部分表现为左右排列的两个白色点，至此与输入的图像相比已经变得非常抽象，而分类特征也越趋明显；

e)将第五层的特征图中所表示的所有像素点的特征参量值首尾依次连接一字排开与第六层的全连接层的神经元形成了第六层全连接特征值，通过第六层第七层两层类似于BP(back propagation)神经网络的全连接模型架构，最终得出第八层输出层的分类评估结果，如无放电、轻微缺陷电晕放电或较严重缺陷火花放电等参数值。

综上所述，卷积神经网络的分类方法不需要人工设计特征提取器，而是由模型算法本身通过大量样本的训练自主学习获得，摆脱了传统机器学习技术在处理原始形态的自然数据方面很大的局限性。卷积神经网络通过多层的卷积及池化运算、实现了对直观图片抽象化特征的自主提取，具备较为优良的泛化能力和鲁棒性。

3.2、基于人工智能技术的红外图像故障诊断分析

(1)红外视频图像的数据解析

本申请针对不同型号的红外热像仪所采集的原始图像，批量解析文件格式读取图像数据，形成图像温度矩阵等关键信息的功能。实现主要包括红外热像仪型号及镜头参数、温度矩阵、图像最低温和最高温、大气温度、采集时间等有助后续分析的基础信息的快速提取的功能。其中的温度矩阵，需根据解析得到辐射率等参数计算。

其中，不同的材料辐射率会存在差异。本申请在确定子设备区域后，将批量读取的原始数据矩阵，通过修正后的辐射率，调整温度矩阵，达到对检测图像质量提升的目的，得到更为精确的温度分析结果。

综上，红外图像中的数据解析算法流程参考图21中所示：

首先，调用exiftool.exe，得到拍摄时间、最高最低温度等参数，存入TXT文件；

之后，从TXT文件中解析得到的参数，并调用exiftool.exe，得到用于计算温度矩阵的中间参数，其中包含参数RawThermalImageType；

在解析得到中间参数之后，判断参数RawThermalImageType的取值，在取值为png的情况下，调用exiftool.exe得到rawdata并存储为raw.png，再经过高低字节转换之后，最后把raw data和计算参数代入温度矩阵计算公式，求出温度矩阵；

在取值为TIFF的情况下，调用exiftool.exe得到rawdata并存储为raw.tiff最后把raw data和计算参数代入温度矩阵计算公式，求出温度矩阵。

(2)基于多角度多时间尺度红外图像的设备故障智能诊断

在对红外图像中的电力设备进行精确定位的前提下，这里旨在探究对红外图像中多角度分布的电力设备提取温度分布，结合红外图像拍摄的时间、季节等环境因素，以法规固定的带点设备红外诊断应用规范等文件为依据，对电力设备可能存在的电压致热和电流致热进行故障类型预测和故障等级评估。

按照电力设备缺陷管理制度的规定，电力设备运行时刻的过热缺陷可以按照过热程度分成以下三类：

一般缺陷：指设备存在过热、有一定的温差、温度场有一定的梯度，但不会引起事故的缺陷。这类缺陷一般要求记录在案，注意观察其缺陷的发展，利用停电机会检修，有计划地安排试验检修消除缺陷。对于符合率小，温升小但相对温差大的设备，如果负荷有条件或机会改变时，可在增大负荷电流后进行复测，以确定设备缺陷的性质，当无法改变时，可暂定为一般缺陷，加强监视。

严重缺陷：指设备存在过热、程序较重、温度场分布梯度较大、温度较大的缺陷。这类缺陷应尽快处理。对电流致热型设备，应采取必要的措施，如加强检测等。必要时降低负荷电流；对电压致热型设备，应加强监测并安排其他测试手段，缺陷类型确定后，立即采取措施消除缺陷。

危急缺陷：指设备最高温度超过法规规定的最高允许温度的缺陷。这类缺陷应立即安排处理。对电流致热型设备，应立即降低负荷电流或立即消除缺陷；对电压致热型设备，当缺陷明显时，应立即消除缺陷或退出运行，如有必要，可安排其他试验手段，进一步确定缺陷性质。电压致热型设备的缺陷一般定为严重及以上缺陷。

对于一张输入的待测红外图像，本申请提出的电力设备故障智能诊断的流程分为温度矩阵提取、诊断特征参量提取和设备故障诊断三个环节。

第一步：多角度电力设备故障诊断

红外图像中的电力设备，因为拍摄角度的问题，往往在图像中呈现倾斜的状态。电力设备的这种特征给传统的基于正框检测的故障诊断方法带来了很大的困难。本申请中提出的电力设备部件的斜框检测方法，则能够很好的处理这种情况。通过斜框检测，不仅仅能够更好地表述电力设备在图像中的位置，还能够减少检测框中背景噪声的干扰，为后续的故障诊断提供便利。进一步的，本申请中提出的电力设备区域分割方法，旨在对每一个像素点进行分割，更无需考虑图像中的电力设备是否存在倾斜的情况，为多角度电力设备故障诊断提供了可能。

第二步：故障诊断特征参量提取

故障诊断特征参量的提取是在电力设备部件精确定位和红外图像温度矩阵解析的基础上，提取用于后续故障诊断的特征参量。考虑到电力设备故障可以分为电流致热和电压致热两种类型，本申请的故障诊断特征参量的提取也分成电力致热和电压致热的特征参量两种类型。

电流致热故障诊断特征参量提取：电流致热型故障常常是因为电气设备和金属部件连接处，输电线段和电气设备连接处或者开关以及断路器的接头处，因为接触不良或者线路老化，导致的以接头处为中心的明显局部发热。因此电流致热分析模块的功能主要是提取红外热像图中设备上以及设备与输电线路连接处的发热区域的温度信息。

电流致热故障诊断特征参量提取的整体流程如图22中所示。伪彩图的生成是首先将温度矩阵归一化成灰度图，然后利用铁红的colormap将该灰度图映射成伪彩图。这实际上是一个查找表的过程。电力设备区域分割即利用前文中介绍的Deeplab设备区域分割模型。

对前景掩码中的高温区域进行准确定位之后，本申请可以采用高温区域中的最高温以及平均温作为电流致热故障诊断的特征参量。

电压致热故障诊断特征参量提取：电压致热型故障主要是指电力设备内部绝缘不良，或者电压分布异常和泄露电流增大所产生的故障，特点是致热效应主要由电压引起，而与负荷电流无关。由于常见的电压致热主要出现在套管类部件上，因此本申请主要以套管类部件为例阐述电压致热故障诊断的特征参量提取过程。

电压致热故障分析，和电流致热分析一样，需要提取高温点以及参照温度点进行比较判断，因此在给定红外图像中电力设备部件的精确定位的情况下，提取电压致热分析的温度点的步骤如下：

应用部件归并算法将检测模型输出的部件检测结果归并为设备检测结果；

对于每一个设备，如果存在膨胀器或者将军帽，将这两者和瓷套分开；

对于瓷套或者灭弧室，提取主轴的温度曲线；

提取单相设备各节分段的最高温和最低温；

如果存在多相设备，则提取各节三相温差最大的点对，从而得到单项及多相比较温度点对，具体的算法流程图如图23中所示。

第三步：基于多角度多时间尺度的电力设备故障诊断

对红外图像进行多角度多时间尺度的故障智能诊断的最主要目的是通过精细化的检测，可以通过智能化的诊断特征参量提取，利用强大的历史数据和多时间尺度分析，建立差异化的诊断特征参量阈值分析模型。

通常获取的一个精细化检测的红外图像，本申请可以得到该检测图像的关联关键性属性：红外热像仪读取得到底层信息(辐射率、检测时刻、检测距离、仪器型号等)，根据检测时间可以对应得到检测季节(例如春、夏、秋、冬)，检测时刻(例如白天、晚上)，结合山东公司建立的输电力设备状态评估大数据分析系统可以得到被测设备检测时刻的气象条件(温度、湿度、风速、风向等)，检测时刻的运行信息(负载，负荷电流等)，以及被测设备在检测时的静态台账信息(电压等级、运行年限等)。

在进行红外图像故障诊断时选择合适的属性进行分类，能够最大程度上的体现不同设备类型不同时间尺度下的差异性，更加揭示设备故障诊断参量的内部隐含关联，使得红外图像故障诊断的准确性和可靠性更高。

基于模糊C均值聚类的影响因素分析：首先利用模糊C均值聚类对数值型的诊断特征参量进行自动聚类，在多维空间中，模糊C均值聚类方法能够较客观的获取数据的聚类中心。

对不同的影响因素进行区间划分(如：电压等级分为110kV，220kV，500kV，500kV以上；检测季节分为春、夏、秋、冬；检测时刻分为白天、晚上等)，在不同的聚类类别间，计算分属于不同影响因素的诊断特征参量的聚类，从而得到不同影响因素的影响度。对于不同的聚类类别来说，如果两类之间的距离大，则说明该影响因素下数据更加离散，该影响因素对数据的影响大；如果两类之间的距离小，则认为该影响因素不影响数据聚类的结果，也就是对数据的影响小。

通过此方法，本申请来确定计算差异化阈值过程中的分类依据和主要影响因素，根据对于以前数据的分析，本申请初步确定影响因素较大的为检测季节、检测时刻和电压等级。

基于分布模型的故障诊断参量分布分析：威布尔分布是可靠性分析及寿命检验的理论基础。威布尔分布在可靠性工程中被广泛应用。威布尔分布的概率密度函数可如公式(11)表示：

其对应的累积概率分布函数也称失效分布函数为如公式(12)表示：

其中，β表示威布尔斜率，也称形状参数；η表示特性值，也称比例参数。当这两个参数确定后，威布尔参数模型就唯一确定。

设收集到的数据列为X＝(x1，x2，…，xn)，令θ为待估计的模型参数列(β，η)，根据极大似然函数估计的基本原理，则对数似然函数为如公式(13)表示：

似然方程组为如公式(14)表示：

可得到β和η的估计值。因此可以根据样本数据估计模型的参数，建立分布模型。

故障诊断差异化阈值计算：对于任何分布模型而言，给出与特定累积概率相关联的值，使用逆累积分布函数即可确定与特定概率相关联的响应值。

威布尔函数的逆累积分布函数为如公式(15)表示：

x＝F^-1(p|η,β)＝-η[ln(1-p)]^1/β,p∈[0,1] (15)

其中，p表示累积分布概率，x表示当累积概率为p时对应的取值。将威布尔分布模型的累积概率与红外图像故障诊断状态下的一般缺陷率、严重缺陷率和危急缺陷率(依照DLT664规则划分)相关联，当设置累积概率＝1-一般缺陷率时即可得到与一般缺陷相关的诊断阈值，当设置累积概率＝1-严重缺陷率时即可得到与严重缺陷相关的诊断阈值，以此类推，计算流程如图24中所示。

4、基于边缘计算多传感器图像智能诊断装置

4.1、深度神经网络模型压缩

本申请研究内容技术路线如图25所示：

针对运用于多光谱图像识别的神经网络结构复杂、参数冗余、数据位过需的问题，本申请研究深度神经网络结构和参数规模对算法精度的影响，建立不同压缩方法与算法精度的关系，通过网络模型剪枝、网络参数量化和张量分、进行深度压缩，缩小网路，减少计算量，降低算法复杂度，去除冗余参数，选择最佳位宽、均衡计算负载等，经过神经网络的卷积计算之后经过全连接计算，并对压缩后目标网络的识别率进行理论分析，期望以较低的复杂度接近最佳的目标检测性能，满足嵌入式人工智能应用高压缩率和高精度的需求。

(1)剪枝

将在精度损失允许范围内，采用神经元级及神经元链接级模型剪枝方法。采取逐渐增加剪枝粒度的手段，在考虑计算单元负载均衡的前提下，针对行向量级、二维卷积核级别神经元进行剪枝，提出针对星载深度神经网络的剪枝算法，弥补现有研究在网络剪枝后权重分布不均匀、网络模型准确率降低等不足，并在网络的准确率和硬件实现的复杂度之间选取最佳方案，使得网络规模获得最大程度简化并获得高压缩率，为星载人工智能提供强力的深度神经网络压缩手段。本申请的三种剪枝粒度如图26中所示，即通过减少卷积层2减少深度、减少卷积层中的宽度以及减少卷积层内的密度三种剪枝粒度。

(2)量化与权重共享

与传统的通过降低权重表示精度的做法不同，本申请将在训练时对权重和特征图都施加量化约束，这使得深度神经网络能够从训练数据中学习最优的量化权重和特征值以保证网络的准确率。从图27中的目标量化算法与传统降低精度方法的比较，可以看到，传统量化方法压缩过的神经网络在权重及特征值精度降低到某一个临界精度后，网络的识别准确率会急剧下降，从90.6％下降到接近0。相比较而言，通过一定量化算法约束的深度神经网络在很低比特精度下也能维持较高的识别精度。

在本申请中将主要采用均匀量化的手段，研究不同的量化位宽对网络模型准确率和存储空间压缩比的影响，进一步选择最为合适的量化位宽，同时优化量化策略，最终将得到适用于通用嵌入式平台的高精度、高压缩比深度神经网络的量化算法。

如图28中所示，假设本申请有一个有4个输入神经元和4个输出神经元的层，重量是4×4矩阵。左上角是4×4个重量矩阵，左下角是4×4梯度矩阵。权重被量化为4个区间(用4种颜色表示)，同一个区间中的所有权重共享相同的值，因此对于每个权重，本申请需要仅将很小索引存储到共享权重表中。在更新期间，所有渐变都按颜色分组并将它们相加，乘以学习速率，并从上次迭代中的共享质心中减去。对于已修剪的AlexNet，本申请能够为每个CONV层量化为8位(256个共享权重)，并为每个FC层量化5位(32个共享权重)，而不会丢失任何精度。

为了计算压缩率，给定k个簇，本申请只需要log2(k)位来编码索引。通常，对于具有n个连接的网络，并且每个连接用b比特表示，将连接约束为仅具有k个共享权重可获得以下压缩率，如公式(16)所示：

图28显示了具有四个输入单元和四个输出单元的单层神经网络的权重。最初有4×4＝16个权重，但只有4个共享权重：类似的权重被组合在一起以共享相同的值。最初本申请需要存储16个权重，每个权重有32位，压缩后本申请只需要存储4个有效权重(蓝色，绿色，红色和橙色)，每个有32位，再加上16个2位索引，压缩率为16×32/(4×32+2×16)＝3.2。

(3)张量分解

张量是向量和矩阵的自然推广，向量可称为一阶张量，矩阵可称为二阶张量，将矩阵堆叠形成立方体，这种数据结构则称为三阶张量。张量分解是张量分析中的重要组成部分，其基本原理是利用张量数据中的结构信息，将张量分解为形式更简单、存储规模更小的若干张量的组合。

在神经网络中，参数通常以张量的形式集中保存。对全连接层而言，全连接通过权重矩阵将输入向量变换到输出向量，其参数为二阶张量。对卷积层而言，设输入数据为三阶张量。则卷积层中的每一个卷积核也都是三阶卷积核，基于张量分解的网络压缩的基本思想，就是利用张量分解的技术将网络的参数重新表达为小张量的组合。重新表达后的张量组一般能够在一定的精度下近似与原张量相同，而所占用的空间又得到大大降低，从而获得网络压缩的效果。本申请中的权值张量分解方法可以参考图29中的(a)和(b)所示。

如图29所示，其中，在图像输入c通道之后，每一个分解后的低阶张量被称为张量，输出给d通道，其中，第k个张量核的维数为(rk-1，nk，rk)，其中(rk-1，rk)被称为张量秩。通过调节维度和张量秩，计算量大小也将随之变化。通过张量分解，全连接操作被相应的张量压缩层替代，而其中的各个权值参数由张量秩的取值决定。本申请将采取不同维度和张量秩，得到不同的压缩比率和速度提升率，在兼顾精度的前提下，选择出最佳的张量分解参数。

4.2、与多传感器融合设备通信的实现

如图30中所示，该诊断装置通过4G/5G等方式与多传感器融合设备进行通信，多传感器融合设备将采集到的电力设备图像或视频通过无线网络方式传输给基于边缘计算的快速诊断装置，诊断装置经过神经网络计算，将诊断结果回传给多传感器融合设备。

综上，本申请中提出多传感器融合智能成像模型及原型系统，并且提出多角度、多时间、多尺度传感器图像的电力设备缺陷智能诊断方法，同时，提出在边缘计算平台上的部署移植方法，研制多传感器图像智能诊断装置。基于以上实现，本申请完成后，可大大提升变电站带电检测的智能化分析水平，促进人工智能、计算机视频等技术与运检业务的深度融合。通过研究深度学习轻量化技术，能有效增强海量数据输入与计算系统有效反馈的实时性。国家电网单站点多光谱观测维度高、数据量大，站点分布广、数据传输时间长，现有集中式计算模型难以有效实时反馈。在云雾协同框架下研究软硬件加速技术及优化协同策略可以大大提高平台响应速度和需求变化应对能力。

本申请将建设面向变电站电气设备状态检测预警系统示范工程，示范工程成功应用后，可依托申请成果，逐步在省内、全国推广应用。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种基于多光谱图像的设备检测系统，其特征在于，包括：

2.根据权利要求1所述的系统，其特征在于，所述多光谱图像采集设备包括：

镜头，用于采集电力设备的光线；

紫外模块；

可见光相机；

3.根据权利要求2所述的系统，其特征在于，所述紫外模块与所述镜头相对设置，所述可见光相机与所述紫外模块分开设置，所述红外模块与所述可见光相机并排设置；

4.根据权利要求1或2所述的系统，其特征在于，所述处理设备还包括：

5.根据权利要求1或2所述的系统，其特征在于，所述检测处理器在至少对所述图像集合中的所述红外图像进行图像识别时，具体用于：

6.根据权利要求5所述的系统，其特征在于，所述检测处理器还用于：在根据每个所述图像区域对应的温度矩阵，获得每个所述图像区域的特征参量之前，获得所述红外图像中每个图像区域对应的初始红外数据，对所述图像辐射率进行修正；利用修正后的图像辐射率，对所述红外图像中每个所述图像区域对应的温度矩阵进行调整。

7.根据权利要求1或2所述的系统，其特征在于，所述检测处理器在至少对所述图像集合中的所述可见光图像和所述紫外图像进行图像识别时具体用于：

8.根据权利要求7所述的系统，其特征在于，所述检测处理器还用于：对所述基于卷积神经网络的检测模型进行压缩处理；其中，所述压缩处理包括：剪枝处理、量化处理、权重共享处理和张量分解中的任意一项或任意多项。

9.根据权利要求1或2所述的系统，其特征在于，所述检测处理器具体用于：

10.根据权利要求1或2所述的系统，其特征在于，还包括：

显示设备，用于输出所述设备检测结果。