CN113297972A - 一种基于数据融合深度学习的变电站设备缺陷智能分析方法 - Google Patents

Abstract

本发明提出了一种基于数据融合深度学习的变电站设备缺陷智能分析方法，即通过构建处理跨摄像头视频数据、跨多传感器数据的高效协同、主动感知网络，在对多源视频图像、雷达、声纹振动传感器、智能读表器、水浸传感器、温湿度传感器、气象传感器和历史资料库等变电站多源异构大数据进行融合的基础上，对变电站设备缺陷进行智能分析。本发明实现了融合多源异构信息对变电站设备缺陷分析并行处理，协同一致，以获取更加及时、准确和全面的变电站设备缺陷分析结果，实现以体系效能换效率的整体优势和增值效应。

Description

一种基于数据融合深度学习的变电站设备缺陷智能分析方法

技术领域

本发明涉及信息融合、人工智能和电力信息化技术领域，更具体而言涉及一种基于数据融合深度学习的变电站设备缺陷智能分析方法。

背景技术

针对传统变电站无人化、智能化巡视模式的发展趋势下，变电站信息管理系统规模的不断扩大和智能化应用呈爆炸式增长，基于单一数据来源的巡视信息系统已经无法适应变电站智能化管理发展的新要求。

传统的变电站监控系统，缺少对于多源异构大数据的信息融合技术，难于准确得到监控目标识别的最优估计。受限于不同传感器物理性能、时空覆盖、归属和外界干扰等影响，从单一手段获取的目标特征参数的差异越来越不明显，原有的目标识别规律性被大量破坏，单一手段获取的变电站设备缺陷信息往往是不完整、不精确、不可靠的。

发明内容

本发明要解决的技术问题是提供一种基于数据融合深度学习的变电站设备缺陷智能分析方法，在变电站无人巡视的情况下，采用基于多源异构信息融合的设备缺陷智能分析方法，利用数据融合、深度学习和大数据分析等技术，减少目标识别的不确定程度，实现变电站的无人巡视模式的可靠性。

一种基于数据融合深度学习的变电站设备缺陷智能分析方法，包括以下步骤：

步骤a)、利用RDF资源描述框架，对多源异构大数据中的变电站设备目标进行语义标注，实现将多源异构非结构数据转换为结构化数据形式，同时实现变电站监控多源异构大数据的一致性语义共享；

步骤b)、采用Spatiotemporal-3DCNN框架构建变电站设备缺陷自动识别模型；

步骤c)、实时抓取分布于变电站的大量监控摄像头的视频数据，对于获取到的原始视频数据通过视频图像预处理实现视频冗余处理和图像灰度转换，获得数据量较少的已处理图像；将已处理图像输入到卷积神经网络中，经过目标检测、目标分类、特征模型的构建获得图像特征的高级抽象语义描述；

步骤d)、将变电站巡视系统采集的多源异构数据，与对处理完的视频图像信息进行信息融合；

步骤e)、输出识别结果，对于出现的设备异常现象，进行类型辨别，并根据分析结果的严重程度不同采取相应的报警措施。

进一步的，所述步骤a)包括以下步骤：

步骤a1)、通过定义具有基本公用类和属性集合的标签本体，用户使用语义标签标注数据，并允许用户不断添加和扩展标签本体，从而描述新概念的适用程度，为数据提供语义上合法的、无歧义的描述；

步骤a2)、自动变电站设备语义标注，逆向使用面向设备缺陷识别中研究完成得到的深度学习网络对多源异构监控大数据进行目标识别，并通过人机交互的方式，对基于目标识别结果自动完成的语义标注结果进行确认或修正；

步骤a3)、采用深层卷积神经网络进行特征图谱提取和目标识别；

步骤a4)、根据相关性理论与设备缺陷模型，构建语义决策树，实现多级别、多层次的映射模型，利用深层卷积神经网络产生的特征向量和不同图像分割技术产生的分割结果，对整个图像抽取语义信息。

进一步的，所述步骤b)包括以下步骤：

步骤b1)、预训练空间与时间流卷积神经网络：使用两个预先训练的图片分类模型来单独训练空间流卷积神经神经网络和时间流卷积神经网络，在训练空间流卷积神经网络的过程中，使用单个视频帧图像对模型进行训练，在时间流卷积神经网络的训练过程中，同样也使用图像分类模型进行训练；

步骤b2)、训练时空混合卷积神经网络：在空间流与时间流卷积神经网络的基础上进行时空双流融合网络的训练；

步骤b3)、基于3D卷积神经网络进行设备缺陷识别：将由时空混合卷积神经网络提取到的中层时空特征输入到3D卷积神经网络当中进行训练，这个过程中进一步提取利用的时间特征并且完成设备缺陷的识别。

进一步的，所述步骤c)包括以下步骤：

步骤c1)、去除非有效视频图像数据：利用极值法计算出帧间变化量的阈值，当当前帧与相邻帧的差分值大于阈值时，此视频帧被认为属于非冗余视频帧，否则就被去除；

步骤c2)、对于经过第一部分提取出的非冗余视频帧，进一步采用灰度转换处理；

步骤c3)、灰度图像的二值化；

步骤c4)、基于深度哈希网络模型对变电站设备目标的特征进行提取：在深度卷积网络框架中引入哈希层，利用图像标签信息同时学习图像特征和哈希函数，并通过独立性与量化误差最小约束哈希函数，实现对变电站设备目标特征的提取。

进一步的，所述步骤d)包括以下步骤：

步骤d1)、将各类传感器中提取得到雷达、声纹、振动、电力表、水浸、温湿度、气象数据构成基本特征集，统一到变电站系统所采用的坐标系；

步骤d2)、使用卡尔曼滤波对巡视目标进行预测，确保巡视目标在关联融合的数据覆盖范围内；依据巡视机器人方位、距离、运动性信息进行巡视目标关联，使用椭圆跟踪门判断并采用最近邻方法进行目标关联；

步骤d3)、采用分布式融合结构实现多源异步数据融合：记数据融合周期为t，数据釆集节点数据读取周期分别记为t₁,t₂,...,t_n，规定各节点读取周期依次增大，即t₁＜t₂＜…<t_n，确定数据融合周期的方法有2种：1)选择数据周期最小的时间作为融合周期，t＝min(t₁,t₂,…,t_n)；2)选择数据周期最大的时间作为融合周期，t＝max(t₁,t₂,…,t_n)；

步骤d4)、当巡视目标可能出现问题的可能性较高时，釆用最小数据周期进行数据融合；

步骤d5)、当巡视系统的负荷较高时，采用最大数据周期进行数据融合；

步骤d6)、对数据的缺失进行拟合和补全；

步骤d7)、对多源异构数据进行多融合技术集成；

步骤d8)、对变电站设备缺陷进行基于多源异构数据的融合分析；

步骤d9)、通过对基于深度学习的变电站设备目标识别过程中得到的大量数据进行统计分析，得到变电站设备缺陷融合识别方法中的权重集合ω_i和信任度β_n，i。

进一步的，步骤b)中变电站设备缺陷自动识别模型包括三个模块：空间特征与时间特征的提取、空间特征与时间特征的融合、基于3D卷积神经网络的视频人物异常行为识别；分别训练两个2D卷积神经网络流，用来分别提取视频的空间特征与时间特征；将空间流与时间流网络进行再卷积进行融合，并对参数进行微调，用于提取视频时空中层特征；然后，通过3D卷积神经网络模型完成变电站设备缺陷的识别。

进一步的，步骤b)中变电站设备缺陷自动识别模型包括三个模块：空间特征与时间特征的提取、空间特征与时间特征的融合、基于3D卷积神经网络的视频人物异常行为识别；分别训练两个2D卷积神经网络流，用来分别提取视频的空间特征与时间特征；将空间流与时间流网络进行再卷积进行融合，并对参数进行微调，用于提取视频时空中层特征；然后，通过3D卷积神经网络模型完成变电站设备缺陷的识别。

进一步的，步骤d8)具体包括：

首先确定各个基本特征e_i对最终目标识别结果y的相对权值，再利用证据推理算法对加权的基本特征e_i进行集结以获得最终目标识别结果y，算法采用公式(1)表述：

其中，

表示正交和运算，

表示折扣加权运算，因此也称为折扣-正交和机制，给定特征对应的权值集合ω＝{ω₁，ω₂，...，ω_L}，ω_i为第i个特征e_i的相对权值，满足0＜ω_i＜1，∑_i ω_i＝1；

对于从待识别目标提取的特征集e_i(i＝1，2，...，L)的评价表示为：

S(e_i)＝{(H_n，β_n，i)，n＝1，...，N} (2)

其中，β_n，i表示依据特征e_i将目标识别为H_n的信任度，满足

当

时称为完全评价，当

时称为不完全评价，这些特征评价信息构成论文信任识别矩阵D＝(S(e_i))_N×L。

本发明利用联合多源异构传感器(不同渠道、不同归属、不同识别机理、不同传感器时空覆盖和不同的个体认知)互补的特点，根据识别任务组织各传感器进行聚焦，得以在资源和能力进行汇集，以获取更加及时、准确和全面的变电站目标识别结果，实现以体系效能换效率的整体优势和增值效应。

传统的变电站无人巡视，主要是基于单一视频数据，进行图像识别分析计算。虽然现有机器人巡检能完成对表计类设备的无人化巡视和识别，但外观类缺陷识别技术还存在技术瓶颈，识别准确率有待提升。同时现有巡视平台缺乏多元感知设备的联动巡视能力，各类设备数据源独立，智能联动分析能力薄弱，缺乏数据融合预测分析和故障决策能力。本发明在大数据和人工智能技术的支持下，通过对源自多平台多传感器的探测数据进行融合，减少对巡视目标识别的不确定程度，同时满足实际应用中对于实时处理、提高识别正确率和对不确定程度进行了定量化表达的要求。在6种类型传感器(多源视频图像、雷达、声纹振动传感器、水浸传感器、温湿度传感器、气象传感器)数据融合的情况下，比单一视频监控传感器的设备缺陷识别率提高了9.7％。

附图说明

图1是本发明变电站无人巡视视频图像大数据手工语义标注架构示意图；

图2是本发明变电站无人巡视视频图像大数据自动语义标注架构标注架构示意图；

图3是本发明基于深度哈希网络模型的变电站设备目标特征提取方法框架示意图；

图4本发明数据融合周期设定示意图。

具体实施方式

下面结合说明书附图对本发明实施例作进一步详细描述。

为了实现以上技术方案，本发明需要解决以下技术问题：如何在变电站无人巡视大数据的环境下，满足对多源、多平台和异构视频和其它传感器大数据标注信息共享，进而为变电站大数据应用提供支持；如何在多源数据支持下开展基于深度学习和图像处理的变电站设备缺陷识别；如何在海量、内容繁杂的多源异构巡视数据不断增长的情况下，提高有效数据的快速检索效率；以及如何利用联合多源异构传感器互补的特点，实现设备缺陷识别并行处理，协同一致，以获取更加及时、准确和全面的目标识别结果。

本发明实施例提供一种基于数据融合深度学习的变电站设备缺陷智能分析方法，包括以下步骤：

步骤a)、利用RDF资源描述框架，对变电站视频监控等多源异构大数据中的设备目标进行语义标注，实现将多源异构非结构数据转换为结构化数据形式，同时实现变电站监控多源异构大数据的一致性语义共享；

其中，所述步骤a)包括以下步骤：

步骤a1)、通过定义具有基本公用类和属性集合的标签本体，用户使用语义标签标注数据，并允许用户不断添加和扩展标签本体，从而描述新概念的适用程度，为数据提供语义上合法的、无歧义的描述，如图1所示，具体给出对多源异构监控数据进行手动语义标注的技术途径；

步骤a2)、自动变电站设备语义标注，逆向使用面向设备缺陷识别中研究完成得到的深度学习网络对多源异构监控大数据进行目标识别，并通过人机交互的方式，如图2所示，对基于目标识别结果自动完成的语义标注结果进行确认或修正。

步骤a3)、采用深层卷积神经网络进行特征图谱提取和目标识别。首先对原始视频图像进行变换得到多尺度图像块，并将其提供给3-阶深层卷积神经网络，生成特征图谱。每个特征向量能够对原始图像中每个像素在一个较大的上下文窗口上进行特征表示。同时，利用图像的自然轮廓，对图像进行分割，采用超像素技术、条件随机场和分割树技术，保证最佳尺度的分割效果。

步骤a4)、根据相关性理论与设备缺陷模型，构建语义决策树，实现多级别、多层次的映射模型。利用深层卷积神经网络产生的特征向量，和不同图像分割技术产生的分割结果，对整个图像抽取语义信息。

步骤b)、采用Spatiotemporal-3DCNN框架构建变电站设备缺陷自动识别模型。该模型主要包括三个模块：空间特征与时间特征的提取、空间特征与时间特征的融合、基于3D卷积神经网络的视频人物异常行为识别。分别训练两个2D卷积神经网络流，用来分别提取视频的空间特征与时间特征；将空间流与时间流网络进行再卷积进行融合，并对参数进行微调，用于提取视频时空中层特征；然后，通过3D卷积神经网络模型完成变电站设备缺陷的识别。

其中，所述步骤b)包括以下步骤：

步骤b1)、预训练空间与时间流卷积神经网络。使用两个预先训练的图片分类模型来单独训练空间流卷积神经神经网络和时间流卷积神经网络。在训练空间流卷积神经网络的过程中，使用单个视频帧图像对模型进行训练。在时间流卷积神经网络的训练过程中，同样也使用了图像分类模型进行训练，输入立方体是大小为224×224×2L在原光流图像上随机位置裁剪的连续子视频光流帧。将光流在时间域上的长度设置为L＝10表现效果最好。将丢失率设置为0.85，初始的学习率设置为10－2，在第30000次迭代后每20000次迭代将学习率缩小为原先的1/10，在迭代80000次后停止训练。

步骤b2)、训练时空混合卷积神经网络。在上述空间流与时间流卷积神经网络的基础上进行时空双流融合网络的训练。实验过程中将会尝试在不同的卷积层进行融合，并且通过采样的方法使两个神经网络的特征图分辨率大小一致。没有在全连接层进行融合是因为全连接层在某些程度上已经破坏了时间与空间特征，不能有效地提高识别准确率。在训练的过程中，每一批的大小设置为96，通过反向传播对融合后的结构参数进行微调。初始的学习率设置为10－3，在迭代14000次后学习率降为10－4，在迭代30000次后停止训练。训练完成后的时空融合结构可被用于初步提取时空融合特征。

步骤b3)、基于3D卷积神经网络进行设备缺陷识别。将由时空混合卷积神经网络提取到的中层时空特征输入到3D卷积神经网络当中进行训练，这个过程中进一步提取利用的时间特征并且完成设备缺陷的识别。将连续间隔时间段的时空特征图作为3D卷积神经网络的输入，抽样的起始时间随机选取，时间段个数取值为T＝5，并且每个融合的时空特征图共有1024个特征通道。3D卷积核的大小为3×3×3并且在第一个卷积层共有64个卷积核。3D卷积神经网络比较容易过拟合，所以丢失设置较高为0.9。初始的学习率设置为0.003，每150000次迭代会将学习率除以2，当迭代次数达到1900000时停止训练。

步骤c)、实时抓取分布于变电站的大量监控摄像头的视频数据；对于获取到的原始视频数据通过一系列的视频图像预处理实现视频冗余处理和图像灰度转换，获得数据量较少的已处理图像；将已处理图像输入到卷积神经网络中，经过目标检测、目标分类、特征模型的构建获得图像特征的高级抽象语义描述。

其中，所述步骤c)包括以下步骤：

步骤c1)、去除非有效视频图像数据。视频中包含目标设备的图像才是对分析有效的。在巡视场景中，视频里包含目标设备的视频帧和背景帧之间的差异较大。根据帧差法得到的相邻帧的变化率，可以作为判别是否是冗余帧的重要参考信息。其中，如果想要舍去冗余视频需要一个阈值作为帧间变化量的门槛。因此，利用极值法计算出此阈值。当当前帧与相邻帧的差分值大于阈值时，此视频帧被认为属于非冗余视频帧，否则就被去除。然而，在实际的应用中会存在错误舍去非冗余视频的情况，因此需要考虑在边界部分保留一些视频帧。

步骤c2)、对于经过第一部分提取出的非冗余视频帧，进一步采用灰度转换处理。灰度转换就是将图像的红、绿、蓝三原色的分量取同样的值，然后只用黑和白来显示的过程。虽然，灰度转换之后会丢失部分信息，因为经过灰度转换之后图的像由最先的三维特征降低到一维特征。但是，考虑到减少视频数据传输的开销和加快图像识别的速度，该处理步骤必不可少。此外，根据实际环境，采取不同系数的灰度转换图像权值可以最大程度地增加转换后图像的合理性，减少特征损失。

步骤c3)、灰度图像的二值化。二值化处理将图像中像素的灰度值设定为不是0就是1的数据。该步骤也是为了降低后续计算量。在处理图像为背景及其目标物体时，常用的数字图像二值化处理方法为选择一个阈值，根据阈值将需要处理的图像帧区分为两个部分，大于的部分为目标物体区域，小于的部分为背景区域。

步骤c4)、基于深度哈希网络模型对变电站设备目标的特征进行提取，在深度卷积网络框架中引入哈希层，利用图像标签信息同时学习图像特征和哈希函数，并通过独立性与量化误差最小约束哈希函数，实现对变电站设备目标特征的提取，并为后续变电站设备目标的查询和检索提供有力条件。如图3所示，显示了基于深度哈希网络模型的变电站设备目标特征提取方法的框架图。

步骤d)、将变电站巡视系统采集的多源异构数据，与对处理完的视频图像信息进行信息融合。无人巡视系统采集变电站内除了监控摄像头以外其它不同类型的传感器数据，每个传感器接收一部分数据，采用数据融合方法对多源异步数据进行处理，通过信息融合方法对不同来源的变电站设备信息进行融合。

其中，所述步骤d)包括以下步骤：

步骤d1)、将各类传感器中提取得到雷达、声纹、振动、电力表、水浸、温湿度、气象等数据构成基本特征集E＝{e₁,e₂,…,e_L}；对输入的多源异构信息的位置进行坐标变换，统一到变电站系统所采用的坐标系；

步骤d2)、使用卡尔曼滤波对巡视目标进行预测，确保巡视目标在关联融合的数据覆盖范围内；依据巡视机器人方位、距离、运动性信息进行巡视目标关联，使用椭圆跟踪门判断并采用最近邻方法进行目标关联；

步骤d3)、采用分布式融合结构实现多源异步数据融合。由于每个异构数据源的数据时间间隔不同，数据融合时需要设定数据融合周期。记数据融合周期为t，数据釆集节点数据读取周期分别记为t₁,t₂,...,t_n，并且规定各节点读取周期依次增大，即t₁＜t₂＜…＜t_n，本发明给出了两种确定数据融合周期的方法，如图4所示：1)选择数据周期最小的时间作为融合周期，t＝min(t₁,t₂,…,t_n)；2)选择数据周期最大的时间作为融合周期，t＝max(t₁,t₂,…,t_n)。

步骤d4)、当巡视目标可能出现问题的可能性较高时，釆用最小数据周期进行数据融合，数据融合频率高，保证采集数据的完整性，便于后序批量计算进行挖掘分析；

步骤d5)、当巡视系统的负荷较高时，采用最大数据周期进行数据融合，数据融合频率低，但由于采用最大读取周期作为融合周期，在数据融合时小于融合周期的节点数据可能正在接收不能进行融合，会出现部分数据缺失；

步骤d6)、在数据可能出现缺失时，采用二次指数平滑算法对数据序列中缺失的数据进行拟合；补全各时间粒度的数据，将细粒度数据生成粗粒度数据，或将细粒度数据添加到粗粒度数据；

步骤d7)、对多源异构数据进行多融合技术集成。各种不同的数据融合方法都有其自身的优点和缺点，仅使用一种方法往往不能达到预期的效果，因此需要将多方法集成应用。例如，模糊集合理论中确定隶属度函数及模糊规则难度较大，而神经网络对环境的变化具有较强的自适应能力和自学习能力。将模糊逻辑与神经网络技术相结合，利用神经网络实现系统的模糊逻辑推理，使传统的神经网络没有明确物理含义的权值被赋予模糊逻辑中推理参数的物理含义，提高整个系统的学习能力和表达能力，克服各自的不足，充分发挥两者优势，解决多源异构信息的融合处理问题。

步骤d8)、对变电站设备缺陷进行基于多源异构数据的融合分析。首先确定各个基本特征e_i对最终目标识别结果y的相对权值，再利用证据推理算法对加权的基本特征e_i进行集结以获得最终目标识别结果y。算法可用公式(1)表述：

其中，

表示正交和运算，

表示折扣加权运算，因此也称为折扣-正交和机制。给定特征对应的权值集合ω＝{ω₁，ω₂，...，ω_L}，ω_i为第i个特征e_i的相对权值，满足0＜ω_i＜1，∑_i ω_i＝1。

对于从待识别目标提取的特征集e_i(i＝1，2，...，L)的评价可以表示为：

S(e_i)＝{(H_n，β_n，i)，n＝1，...，N} (2)

其中，β_n，i表示依据特征e_i将目标识别为H_n的信任度，满足

当

时称为完全评价，兰

时称为不完全评价，这些特征评价信息构成论文信任识别矩阵D＝(S(e_i))_N×L。

步骤d9)、通过对基于深度学习的变电站设备目标识别过程中得到的大量数据进行统计分析，得到变电站设备缺陷融合识别方法中的权重集合ω_i和信任度β_n，i，基于大数据驱动的参数获取方式，可以确保这些参数取值的实时性和合理性。

步骤e)、输出识别结果，对于出现的设备异常现象，进行类型辨别，并根据分析结果的严重程度不同采取相应的报警措施。

本发明根据变电站的目标缺陷特征设计了基于多源异构数据融合的设备缺陷智能分析方法，通过人工智能和大数据的深层挖掘，解决了传统单数据源无人巡视中存在的目标识别精确不高的问题。本发明利用联合变电站多源异构数据中不同渠道、不同平台、不同识别机理、不同传感器时空覆盖和不同的个体认知之间互补的特点，根据识别任务组织各传感器进行聚焦，通过联合不同分布、不同归属的传感器成员得以在资源和能力进行汇集，消除探测盲区，从不同角度、不同方面实现有形几何空间的相互印证，彼此照应，实现融合多源异构信息对变电站设备缺陷识别并行处理，协同一致，以获取更加及时、准确和全面的变电站设备缺陷识别结果，实现以体系效能换效率的整体优势和增值效应。

本发明聚焦多源异构信息融合、人工智能技术与变电站设备缺陷智能分析业务相结合，构建处理跨摄像头视频数据、跨多传感器数据的高效协同、主动感知网络，在对多源视频、图像、雷达、声纹振动传感器、智能读表器、水浸传感器、温湿度传感器、气象传感器和历史资料库等变电站多源异构大数据进行融合的基础上，对变电站设备缺陷进行智能分析，对保障电力安全运营具有重要意义。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种基于数据融合深度学习的变电站设备缺陷智能分析方法，其特征在于，包括如下步骤：

步骤a)、利用RDF资源描述框架，对多源异构大数据中的变电站设备目标进行语义标注，实现将多源异构非结构数据转换为结构化数据形式，同时实现变电站监控多源异构大数据的一致性语义共享；

步骤b)、采用Spatiotemporal-3DCNN框架构建变电站设备缺陷自动识别模型；

步骤c)、实时抓取分布于变电站的大量监控摄像头的视频数据，对于获取到的原始视频数据通过视频图像预处理实现视频冗余处理和图像灰度转换，获得数据量较少的已处理图像；将已处理图像输入到卷积神经网络中，经过目标检测、目标分类、特征模型的构建获得图像特征的高级抽象语义描述；

步骤d)、将变电站巡视系统采集的多源异构数据，与对处理完的视频图像信息进行信息融合；

步骤e)、输出识别结果，对于出现的设备异常现象，进行类型辨别，并根据分析结果的严重程度不同采取相应的报警措施。

2.如权利要求1所述的一种基于数据融合深度学习的变电站设备缺陷智能分析方法，其特征在于，所述步骤a)包括以下步骤：

步骤a1)、通过定义具有基本公用类和属性集合的标签本体，用户使用语义标签标注数据，并允许用户不断添加和扩展标签本体，从而描述新概念的适用程度，为数据提供语义上合法的、无歧义的描述；

步骤a2)、自动变电站设备语义标注，逆向使用面向设备缺陷识别中研究完成得到的深度学习网络对多源异构监控大数据进行目标识别，并通过人机交互的方式，对基于目标识别结果自动完成的语义标注结果进行确认或修正；

步骤a3)、采用深层卷积神经网络进行特征图谱提取和目标识别；

步骤a4)、根据相关性理论与设备缺陷模型，构建语义决策树，实现多级别、多层次的映射模型，利用深层卷积神经网络产生的特征向量和不同图像分割技术产生的分割结果，对整个图像抽取语义信息。

3.如权利要求1所述的一种基于数据融合深度学习的变电站设备缺陷智能分析方法，其特征在于，所述步骤b)包括以下步骤：

步骤b1)、预训练空间与时间流卷积神经网络：使用两个预先训练的图片分类模型来单独训练空间流卷积神经神经网络和时间流卷积神经网络，在训练空间流卷积神经网络的过程中，使用单个视频帧图像对模型进行训练，在时间流卷积神经网络的训练过程中，同样也使用图像分类模型进行训练；

步骤b2)、训练时空混合卷积神经网络：在空间流与时间流卷积神经网络的基础上进行时空双流融合网络的训练；

步骤b3)、基于3D卷积神经网络进行设备缺陷识别：将由时空混合卷积神经网络提取到的中层时空特征输入到3D卷积神经网络当中进行训练，这个过程中进一步提取利用的时间特征并且完成设备缺陷的识别。

4.如权利要求1所述的一种基于数据融合深度学习的变电站设备缺陷智能分析方法，其特征在于，所述步骤c)包括以下步骤：

步骤c1)、去除非有效视频图像数据：利用极值法计算出帧间变化量的阈值，当当前帧与相邻帧的差分值大于阈值时，此视频帧被认为属于非冗余视频帧，否则就被去除；

步骤c2)、对于经过第一部分提取出的非冗余视频帧，进一步采用灰度转换处理；

步骤c3)、灰度图像的二值化；

步骤c4)、基于深度哈希网络模型对变电站设备目标的特征进行提取：在深度卷积网络框架中引入哈希层，利用图像标签信息同时学习图像特征和哈希函数，并通过独立性与量化误差最小约束哈希函数，实现对变电站设备目标特征的提取。

5.如权利要求1所述的一种基于数据融合深度学习的变电站设备缺陷智能分析方法，其特征在于，所述步骤d)包括以下步骤：

步骤d1)、将各类传感器中提取得到雷达、声纹、振动、电力表、水浸、温湿度、气象数据构成基本特征集，统一到变电站系统所采用的坐标系；

步骤d2)、使用卡尔曼滤波对巡视目标进行预测，确保巡视目标在关联融合的数据覆盖范围内；依据巡视机器人方位、距离、运动性信息进行巡视目标关联，使用椭圆跟踪门判断并采用最近邻方法进行目标关联；

步骤d3)、采用分布式融合结构实现多源异步数据融合：记数据融合周期为t，数据釆集节点数据读取周期分别记为t₁,t₂,...,t_n，规定各节点读取周期依次增大，即t₁<t₂<…<t_n，确定数据融合周期的方法有2种：1)选择数据周期最小的时间作为融合周期，t＝min(t₁，t₂，…，t_n)；2)选择数据周期最大的时间作为融合周期，t＝max(t₁，t₂，…，t_n)；

步骤d4)、当巡视目标可能出现问题的可能性较高时，釆用最小数据周期进行数据融合；

步骤d5)、当巡视系统的负荷较高时，采用最大数据周期进行数据融合；

步骤d6)、对数据的缺失进行拟合和补全；

步骤d7)、对多源异构数据进行多融合技术集成；

步骤d8)、对变电站设备缺陷进行基于多源异构数据的融合分析；

步骤d9)、通过对基于深度学习的变电站设备目标识别过程中得到的大量数据进行统计分析，得到变电站设备缺陷融合识别方法中的权重集合ω_i和信任度β_n，i。

6.如权利要求1所述的一种基于数据融合深度学习的变电站设备缺陷智能分析方法，其特征在于，步骤b)中变电站设备缺陷自动识别模型包括三个模块：空间特征与时间特征的提取、空间特征与时间特征的融合、基于3D卷积神经网络的视频人物异常行为识别；分别训练两个2D卷积神经网络流，用来分别提取视频的空间特征与时间特征；将空间流与时间流网络进行再卷积进行融合，并对参数进行微调，用于提取视频时空中层特征；然后，通过3D卷积神经网络模型完成变电站设备缺陷的识别。

7.如权利要求5所述的一种基于数据融合深度学习的变电站设备缺陷智能分析方法，其特征在于,步骤d6)对数据的缺失进行拟合和补全具体为：采用二次指数平滑算法对数据序列中缺失的数据进行拟合；补全各时间粒度的数据，将细粒度数据生成粗粒度数据，或将细粒度数据添加到粗粒度数据。

8.如权利要求5所述的一种基于数据融合深度学习的变电站设备缺陷智能分析方法，其特征在于，步骤d8)具体包括：

首先确定各个基本特征e_i对最终目标识别结果y的相对权值，再利用证据推理算法对加权的基本特征e_i进行集结以获得最终目标识别结果y，算法采用公式(1)表述：

其中，

表示正交和运算，

表示折扣加权运算，因此也称为折扣-正交和机制，给定特征对应的权值集合ω＝{ω₁，ω₂，…，ω_L}，ω_i为第i个特征e_i的相对权值，满足0<ω_i<1，∑_iω_i＝1；

对于从待识别目标提取的特征集e_i(i＝1，2，…，L)的评价表示为：

S(e_i)＝{(H_n，β_n，i)，n＝1，…，N} (2)

其中，β_n，i表示依据特征e_i将目标识别为H_n的信任度，满足β_n,_i≥0,

当

时称为完全评价，当

时称为不完全评价，这些特征评价信息构成论文信任识别矩阵D＝(S(e_i))_N×L。

Images