CN115761378B - 基于联邦学习的电力巡检图像分类和检测方法及系统 - Google Patents

Abstract

本发明公开基于联邦学习的电力巡检图像分类和检测方法及系统，属于图像视觉领域；方法包括：S1由服务器端或由客户端请求发起联邦学习；S2服务器端基于各参与方之间的数据分布或特征向量，判断数据异质程度是否极端；S3服务器端根据视觉任务类别，选择分类模型或检测模型作为初始模型；S4各参与方利用本地的电力巡检图像数据进行分类模型或检测模型训练，并将训练好的模型参数加密上传至服务器端；S5服务器端根据各参与方上传的模型参数，进行带有动量的加权聚合，并得到最新的全局模型；S6服务器端将更新后的全局模型参数分发给各个参与方，进行下一轮次的训练；循环执行S4‑S6直至全局模型达到收敛或达到预设的训练终止条件，联邦学习训练完成。

Description

基于联邦学习的电力巡检图像分类和检测方法及系统

技术领域

本发明属于图像视觉领域，具体涉及基于联邦学习的电力巡检图像分类和检测方法及系统。

背景技术

作为电力系统的重要组成部分，电力线路和设备要定期接受无人机和视频监控等设备的检测，并产生大量的电力巡检图像。目前，基于深度学习的方法，如视觉分类和检测模型，可以有效地处理此类电力巡检图像并通过训练得到较好的模型性能。然而，由于数据隐私规定，供电公司收集的电力巡检图像不允许与他人共享。来自单个供电公司的数据不仅数量有限，而且类型也有限，不能始终支持训练高性能模型。此外，这种“数据孤岛”的现象也限制了个人学者、机构和第三方公司获取相关图像数据，从而无法构建数据驱动模型。因此，如何在保护供电公司本地电力巡检图像数据隐私和安全的前提下，构建基于深度学习的高性能分类或检测模型尤为重要。

发明内容

针对现有技术的不足，本发明的目的在于提供基于联邦学习的电力巡检图像分类和检测方法及系统。

本发明的目的可以通过以下技术方案实现：

基于联邦学习的电力巡检图像分类和检测方法，包括以下步骤：

S1，由服务器端主动发起或由客户端请求服务器端发起联邦学习；

S2，服务器端基于各参与方的数据分布或特征向量，判断数据异质程度是否极端；

S3，服务器端根据电力巡检图像的视觉任务类别，选择对应的分类模型或检测模型作为联邦学习的初始模型；

S4，各参与方利用本地的电力巡检图像数据进行分类模型或检测模型训练，并将训练好的模型参数加密上传至服务器端；

S5，服务器端根据各参与方上传的模型参数和S2的判断结果，进行带有动量的加权聚合，并得到最新的全局模型；

S6，服务器端将更新后的全局模型参数分发给各个参与方，进行下一轮次的训练；

S7，循环执行S4-S6，直至全局模型达到收敛或达到预设的训练终止条件，联邦学习训练完成。

进一步地，S3中，基于图像分类任务，选择基于深度学习的分类模型，目标检测和缺陷检测任务选择基于深度学习的检测模型。

进一步地，S4中，参与方能够根据本地的计算资源限制或通信效率的要求，选择训练的迭代次数、batch size的大小和学习率。

进一步地，S5中，获取最新的全局模型的步骤包括：

S51，首先根据各参与方上传的模型参数加权聚合得到本轮的全局模型参数，然后通过引入动量的思想，计算得到本轮的增量

其中，W表示模型参数，s代表服务器端，k代表参与方，t代表当前通信轮次，代表参与方k在第t个轮次参与联邦训练时使用的本地电力巡检图像数据集数量，β为超参数；

S52，通过在上一轮全局模型的基础上，加入基于动量计算得到的增量得到本轮联邦学习最新的全局模型/>

进一步地，超参数β取0.9或0.3-0.5。

基于联邦学习的电力巡检图像分类与检测系统，包括：

任务请求与接收模块，能够使得客户端向服务器端发出联邦学习任务的请求，或者在接收到服务器端发起的联邦任务时，选择是否加入本次训练；

本地训练模块，能够使各个客户端利用自己的本地电力巡检图像数据集进行分类模型或检测模型的训练；

任务发起模块，能够使服务器端主动或被动的发起一个联邦学习任务，并询问各客户端是否愿意参加；

判断模块，能够使得服务器根据联邦学习的任务，判断各参与方数据间能存在的异质分布类型，并选择对应的深度学习模型作为各参与方本地训练的初始模型；

动量聚合模块，能够在服务器端接收到的各参与方的模型参数后，进行带有动量方法的加权聚合，得到最新的全局模型，并发送到参与本轮训练的各参与方；

通信模块，能够将客户端本地训练的模型参数上传至服务器，以及将服务器的全局模型参数传递给本地；

加密模块，能够在本地模型参数上传至服务器及服务器传递更新后的全局模型参数至本地的过程中，通过加密方式，对信息进行加密。

一种计算机存储介质，存储有可读程序，当程序运行时，执行上述方法。

一种设备，包括：一个或多个处理器、用于存储一个或多个程序的存储器；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述方法。

本发明的有益效果：

1、本发明将联邦学习机制引入电力巡检图像的多种视觉任务中，包括图像分类、目标检测和缺陷检测任务，解决了现有电力领域由于巡检图像数据隐私保护而导致数据匮乏，从而引起基于深度学习训练得到的分类或检测模型精度低及泛化性低的问题；基于联邦学习的电力巡检图像分类与检测方法及系统能够在保护各方数据的前提下，融合各参与方的电力巡检图像数据信息，得到优于各个参与方单方训练性能的全局模型；

2、本发明提出将基于联邦学习的电力巡检图像视觉系统分为服务器端和客户端，可以由服务器端主动或被动的发起联邦学习，客户端自主选择是否加入联邦训练；提出的系统集多个电力巡检图像视觉任务于一体，能够根据不同的视觉任务，判断各参与方可能存在的数据异质类型并选择合适的深度学习模型作为初始模型；

3、本发明在服务器端聚合各参与方模型参数时，通过在联邦学习的通信轮次之间加入带有可调节参数的动量项，结合历史全局模型参数，加速联邦学习的训练，显著提高了联邦学习的通信效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的流程图；

图2是联邦学习训练的过程图；

图3是基于不同聚合方法的变电站巡检图像分类实验结果；

图4是在数据异质性极端的条件下，不同超参数β取值下的变电站巡检图像分类实验结果；

图5是基于不同聚合方法的电力杆塔巡检图像目标检测实验结果；

图6是本发明系统的架构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，基于联邦学习的电力巡检图像分类和检测方法，包括以下步骤：

S1，由服务器端主动发起或由客户端请求服务器端发起联邦学习；

由服务器端主动发起的联邦学习任务，客户端可以根据自己的需求选择是否加入；而若是由客户端请求进行的联邦学习训练，服务器端在收到请求后，发起联邦学习。

S2，服务器端基于各参与方的数据分布或特征向量，判断各参与方之间的数据异质程度是否极端；

当各参与方之间数据符合迪利克雷分布时，根据数据分布的浓度参数衡量不平衡度，浓度参数越小，数据异质性越强。否则，基于各参与方的特征向量，通过余弦相似度计算相似值，相似值越小，数据异质性越强。当各参与方之间浓度参数值或特征向量的相似度小于0.1时，各参与方之间的数据异质程度属于极端。

S3，服务器端根据电力巡检图像的视觉任务类别，选择对应的分类模型或检测模型作为本次联邦学习的初始模型；

其中，基于电力巡检图像的视觉任务包括以下三类：图像分类、目标检测和缺陷检测；基于图像分类任务，选择基于深度学习的分类模型，目标检测和缺陷检测任务选择基于深度学习的检测模型；服务器端初始化对应的分类模型或检测模型，并分发给各个参与方作为初始的本地训练模型。

S4，各参与方利用自己本地的电力巡检图像数据进行分类模型或检测模型训练，并将训练好的模型参数加密上传至服务器端；

参与方能够根据本地的计算资源限制或通信效率的要求，选择本地训练的迭代次数、batch size的大小和学习率等超参数；当参与方本地计算资源有限时，可以进行较少的本地迭代次数来减少计算资源，或通过调节较大的batch size和学习率来减少训练时间。当对于通信效率的要求较高时，可以选择通过增加本地迭代次数来减少需要通信的轮数。

S5，服务器端根据各参与方上传的模型参数，进行带有动量的加权聚合，并得到最新的全局模型；

具体步骤为：

S51，服务器端在进行参数聚合时，首先根据各参与方上传的模型参数加权聚合得到本轮的全局模型参数，然后通过引入动量的思想，计算得到本轮的增量

其中，W表示模型参数，s代表服务器端，k代表参与方，t代表当前通信轮次，代表参与方k在第t个轮次参与联邦训练时使用的本地电力巡检图像数据集数量，β为超参数。

S52，通过在上一轮全局模型的基础上，加入基于动量计算得到的增量得到本轮联邦学习最终的全局模型/>

其中，超参数β为可变参数，一般取值为0.9；基于S2中的判断，当参与方之间的数据异质程度属于极端时，β的取值降低为0.3-0.5之间。

S6，服务器端将更新后的全局模型参数分发给各个参与方，进行下一轮次的训练。

S7，循环执行S4-S6，直至全局模型达到收敛或达到预设的训练终止条件，联邦学习训练完成；服务器端将最终训练好的具有较好泛化性的全局分类模型或全局检测模型的参数加密发送给各个参与方，用于各参与方本地的分类或检测任务；

如图6所示，基于联邦学习的电力巡检图像分类与检测系统，包括：

任务请求与接收模块，能够使得客户端向服务器端发出联邦学习任务的请求，或者在接收到服务器端发起的联邦任务时，选择是否加入本次训练；

本地训练模块，能够使各个客户端利用自己的本地电力巡检图像数据集进行分类模型或检测模型的训练；

任务发起模块，能够使服务器端主动或被动的发起一个联邦学习任务，并询问各客户端是否愿意参加；

判断模块，能够使得服务器根据联邦学习的任务，判断各参与方数据间能存在的异质分布类型，并选择对应的深度学习模型作为各参与方本地训练的初始模型；

动量聚合模块，能够在服务器端接收到的各参与方的模型参数后，进行带有动量方法的加权聚合，得到最新的全局模型，并发送到参与本轮训练的各参与方；

通信模块，能够将客户端本地训练的模型参数上传至服务器，以及将服务器的全局模型参数传递给本地；

加密模块，能够在本地模型参数上传至服务器及服务器传递更新后的全局模型参数至本地的过程中，通过加密方式，对信息进行加密，保证参与方的数据隐私。

并且，客户端包括任务请求与接收模块，本地训练模块；服务器端包括任务发起模块，判断模块，动量聚合模块。

实施例1：

本实施例以某地变电站设备巡检图像数据集为例，进行图像分类任务；具体步骤包括：

S1，服务器端主动发起基于联邦学习的变电站巡检图像分类任务；

S2，服务器端基于各参与方的数据分布的不平衡度，判断各参与方之间的数据异质程度是否极端；

S3，基于图像分类任务，选择基于深度学习的分类模型，分发给各个参与方作为初始的本地训练模型；

S4，各参与方利用自己本地的变电站电力巡检图像数据进行分类模型训练，并将训练好的模型参数加密上传至服务器端；

S5，服务器根据各参与方上传的模型参数，进行带有动量的加权聚合，并得到最新的全局分类模型；

S6，服务器端将更新后的全局模型参数分发给各个参与方，进行下一轮次的训练；

S7：循环执行以上S4-S6，直至全局模型达到收敛或达到预设的训练终止条件。

本实施例中联邦学习的训练过程如图2所示：

服务器初始化一个全局的分类模型，该分类模型采用卷积神经网络，网络包括两个5×5的卷积层(其中，第一层卷积层具有6个通道数，第二层卷积层具有16个通道数，而且每个卷积层后面都进行一次2×2的最大池化)和三个全连接层(输出单元分别为120，84，10)。隐藏层使用ReLU激活函数，损失函数采用交叉熵损失。然后将全局模型权重发送给参加联邦训练的每个参与方，作为其本地训练的初始模型权重。客户端使用自己的电力巡检图像在本地训练分类模型，并将更新的模型权重加密发送到服务器。当从每个客户端接收到模型权重时，服务器基于动量的方法聚合权重，并获得具有新权重的全局模型。然后发送给每个客户端，以开始下一轮的本地训练。

客户端的参与方数量为5，各参与方利用自己本地的变电器电力巡检图像训练分类模型。各参与方变电器巡检图像数据间呈迪利克雷分布的标签不平衡。迪利克雷分布的浓度参数α分别取10和0.01。其中，当α取0.01时，各参与方数据间的分布极度不平衡，数据异质性属于极端。客户端使用随机梯度下降(SGD)算法，用小批量训练本地模型。参与方根据本地的计算资源限制或通信效率的要求，选择本地训练的迭代次数为1，batch size的大小为64，学习率0.01。训练完成后将模型参数加密上传给服务器端。

在服务器端，接收到各个客户端的模型权重后，通过带有动量的方法进行聚合。服务器端在进行参数聚合时，首先根据各参与方上传的模型参数加权聚合得到本轮的全局模型参数然后通过加入动量项的计算方法，计算得到本轮的增量/>当α＝10时，β的取值取默认值0.9，当α＝0.01时，数据异质程度强烈，β的取值取0.5。

其中，W表示模型参数，s代表服务器端，k代表参与方，t代表当前通信轮次，代表参与方k在第t个轮次参与联邦训练时使用的本地电力巡检图像数据集数量。在上一轮全局模型的基础上，加入增量/>得到本轮联邦学习最终的全局模型/>

预设的终止条件是初始分类模型收敛或者迭代次数达到预设次数。

本实施例对比了参与联邦学习的分类模型性能与单方训练的分类模型性能；如表1所示，通过参与联邦学习得到的分类模型性能显著优于单方训练的模型性能。

表1

本实施例还对比了加入动量的聚合方法与原始聚合方法之间的差异；如图3所示，加入动量的聚合方法，能够显著提高通信效率，在相同的通信轮次内，可以达到更高的精度。并且如图4所示，在数据异质性极端强的条件下(α＝0.01)，降低超参数β的值至0.5，模型可以达到更好的性能。

实施例2：

本实施例以某地输电线杆塔图像数据集为例，进行目标检测任务；具体步骤为：

S1，服务器端主动发起基于联邦学习的电力杆塔巡检图像目标检测任务。

S2，服务器端基于各参与方特征向量的相似度，判断各参与方之间的数据异质程度是否极端。

S3，基于目标检测任务，选择基于深度学习的检测模型，分发给各个参与方作为初始的本地训练模型。

S4，各参与方利用自己本地的电力杆塔巡检图像进行检测模型训练，并将训练好的模型参数加密上传至服务器端。

S5，服务器根据各参与方上传的模型参数，进行带有动量的加权聚合，并得到最新的全局检测模型。

S6，服务器端将更新后的全局模型参数分发给各个参与方，进行下一轮次的训练。

S7，循环执行以上S4-S6，直至全局模型达到收敛或达到预设的训练终止条件。

联邦学习的训练过程如图2所示。

服务器初始化一个全局的检测模型，该检测模型采用YOLO系列的YOLOv5模型，其具有较小的尺寸和快速的推理速度，适用于联邦学习。然后将全局模型权重发送给参加联邦训练的每个参与方，作为其本地训练的初始模型权重。客户端使用自己的电力杆塔巡检图像在本地训练目标检测模型，并将更新的模型权重加密发送到服务器。当从每个客户端接收到模型权重时，服务器进行基于动量的权重聚合，并获得具有新权重的全局模型。然后发送给每个客户端，以开始下一轮的本地训练。

客户端的参与方数量为5，各参与方利用自己本地的电力杆塔巡检图像训练目标检测模型。参与方之间的电力杆塔巡检图像数据间呈特征不平衡分布。每个参与方之间拥有单个真实场景下的杆塔巡检图像(共包含五类：山区，平原，树林，城市，乡村)，基于各参与方之间特征向量的余弦相似度大于0.1，数据异质程度不属于极端。客户端使用随机梯度下降(SGD)算法，用小批量训练本地模型。参与方根据本地的计算资源限制或通信效率的要求，选择本地训练的迭代次数为1，batch size的大小为16，学习率0.01。训练完成后将模型参数加密上传给服务器端。

服务器端接收到各个客户端上传的模型权重后，通过带有动量的方法进行聚合。服务器端首先根据各参与方上传的模型参数加权聚合得到本轮的全局模型参数然后通过加入动量项的计算方法，计算得到本轮的增量/>基于数据异质程度不属于极端，β的取值取默认值0.9。

其中，W表示模型参数，s代表服务器端，k代表参与方，t代表当前通信轮次，代表参与方k在第t个轮次参与联邦训练时使用的本地电力巡检图像数据集数量。在上一轮全局模型的基础上，加入增量/>得到本轮联邦学习最终的全局模型/>

所述预设的终止条件是所述初始检测模型收敛或者迭代次数达到预设次数。

本发明对比了参与联邦学习的目标检测模型性能与单方训练的模型性能。如表2所示，通过参与联邦学习得到的模型性能显著优于单方训练的模型性能。

表2

本发明还对比了加入动量的聚合方法与原始聚合方法之间的差异。如图5所示，加入动量的聚合方法，能够显著提高通信效率，在相同的通信轮次内，可以达到更高的精度。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

Claims (7)

1.基于联邦学习的电力巡检图像分类和检测方法，其特征在于，包括以下步骤：

S1，由服务器端主动发起或由客户端请求服务器端发起联邦学习；

S2，服务器端基于各参与方之间的数据分布或特征向量，判断数据异质的程度是否极端；

S3，服务器端根据电力巡检图像的视觉任务类别，选择对应的分类模型或检测模型作为联邦学习的初始模型；

S4，各参与方利用本地的电力巡检图像数据进行分类模型或检测模型训练，并将训练好的模型参数加密上传至服务器端；

S5，服务器端根据各参与方上传的模型参数和S2的判断结果，进行带有动量的加权聚合，并得到最新的全局模型；

S6，服务器端将更新后的全局模型参数分发给各个参与方，进行下一轮次的训练；

S7，循环执行S4-S6，直至全局模型达到收敛或达到预设的训练终止条件，联邦学习训练完成；

S5中，获取最新的全局模型的步骤包括：

S51，首先根据各参与方上传的模型参数加权聚合得到本轮的全局模型参数，然后通过引入动量的思想，计算得到本轮的增量

其中，W表示模型参数，s代表服务器端，k代表参与方，t代表当前通信轮次，代表参与方k在第t个轮次参与联邦训练时使用的本地电力巡检图像数据集数量，β为超参数；

S52，通过在上一轮全局模型的基础上，加入基于动量计算得到的增量得到本轮联邦学习最新的全局模型/>

2.根据权利要求1所述的基于联邦学习的电力巡检图像分类和检测方法，其特征在于，S3中，基于电力巡检图像的视觉任务包括：图像分类、目标检测和缺陷检测；基于图像分类任务，选择基于深度学习的分类模型，目标检测和缺陷检测任务选择基于深度学习的检测模型。

3.根据权利要求1所述的基于联邦学习的电力巡检图像分类和检测方法，其特征在于，S4中，参与方能够根据本地的计算资源限制或通信效率的要求，选择训练的迭代次数、batchsize的大小和学习率。

4.根据权利要求1所述的基于联邦学习的电力巡检图像分类和检测方法，其特征在于，超参数β取0.9或0.3-0.5。

5.根据权利要求1所述的基于联邦学习的电力巡检图像分类和检测方法，其特征在于，基于S2中的判断，当参与方之间的数据异质程度属于极端时，β的取值为0.3-0.5之间。

6.基于联邦学习的电力巡检图像分类与检测系统，包括：

任务请求与接收模块，能够使得客户端向服务器端发出联邦学习任务的请求，或者在接收到服务器端发起的联邦任务时，选择是否加入本次训练；

本地训练模块，能够使各个客户端利用自己的本地电力巡检图像数据集进行分类模型或检测模型的训练；

任务发起模块，能够使服务器端主动或被动的发起一个联邦学习任务，并询问各客户端是否愿意参加；

判断模块，能够使得服务器根据联邦学习的任务，判断各参与方数据间能存在的异质分布类型，并选择对应的深度学习模型作为各参与方本地训练的初始模型；

动量聚合模块，能够在服务器端接收到的各参与方的模型参数后，进行带有动量方法的加权聚合，得到最新的全局模型，并发送到参与本轮训练的各参与方；

通信模块，能够将客户端本地训练的模型参数上传至服务器，以及将服务器的全局模型参数传递给本地；

加密模块，能够在本地模型参数上传至服务器及服务器传递更新后的全局模型参数至本地的过程中，通过加密方式，对信息进行加密；

动量聚合模块中，获取最新的全局模型的步骤包括：

S51，首先根据各参与方上传的模型参数加权聚合得到本轮的全局模型参数，然后通过引入动量的思想，计算得到本轮的增量

其中，W表示模型参数，s代表服务器端，k代表参与方，t代表当前通信轮次，代表参与方k在第t个轮次参与联邦训练时使用的本地电力巡检图像数据集数量，β为超参数；

S52，通过在上一轮全局模型的基础上，加入基于动量计算得到的增量得到本轮联邦学习最新的全局模型/>

7.一种计算机存储介质，存储有可读程序，其特征在于，当程序运行时，执行权利要求1-5任一项所述的方法。