CN116402275A - 面向大坝智能协同巡检的无人载具动态选择方法 - Google Patents

Abstract

本发明公开了一种面向大坝智能协同巡检的无人载具动态选择方法，在现实的大坝库区环境中，基于联邦学习针对边缘设备的异构性来多节点协作执行相应的巡检任务，包括：构建节点的本地计算效率评估标准，根据节点客户端计算能力的表征进行分组；在组内通过本地数据代表性评价构造选择权重，并选择最具数据代表性的客户端参与本地训练，融合各组结果完成客户端选择；每一迭代回合的聚合结束后，根据最新一轮的训练时间更新客户端的本地计算效率，再重复以上步骤对客户端选择结果进行动态更新。本发明通过提升各边缘设备的参与度，增强特殊数据的表征能力来提高巡检设备协同监测的缺陷识别准确性，提升大坝长周期运行安全管控水平。

Description

面向大坝智能协同巡检的无人载具动态选择方法

技术领域

本发明涉及一种面向大坝智能协同巡检的无人载具动态选择方法，具体是根据客户端采集的数据代表性对无人载具等客户端进行动态选择巡检的方法，属于边缘计算技术领域。

背景技术

物联网技术的发展和移动边缘设备的普及，为大坝巡检带来了新的监测仪器和巡视检查模式等。例如，使用轨道机器人监控地下管廊环境、执飞无人机到人工难以到达的坝面拍摄图像、使用摄像头监控泄洪设施等。机器学习模型可以帮助快速处理数据，而这些无人载具(即客户端)也为机器学习模型提供了丰富的数据来源和数据种类。在部分性能较好的客户端可以搭载轻量级的模型，直接进行一些训练任务。

在现实的大坝巡检环境中，局域网的限制、巡检设备的多样性、巡检任务不同以及设备性能参差不齐等客观条件的存在，智能协同巡检的实施具有较大的挑战性。特别是如何根据设备不同的特性来合理安排巡检任务，最大化利用资源是一个待解决的问题。在这种移动边缘环境下，联邦学习通过中央服务器选择移动边缘设备(客户端)进行任务分配，当客户端拥有足够的计算资源和存储资源时，客户端可以搭载模型并使用客户端上采集的数据进行本地训练；客户端的模型参数和训练结果统一被传输到中央服务器进行进一步的处理和计算，所有的客户端通过中央服务器的控制实现与其他客户端协同。联邦学习比传统的集中式学习更加高效。然而，大坝里常见的巡检设备如手机、轨道机器人、无人机以及摄像头等图像采集的边缘设备在计算处理单元、存储能力、通信条件等方面存在差异。使用单一巡检手段无法得到全面的大坝监测信息，例如手机由于需要配合人工巡检，完成任务所需时间较长，而轨道机器人可以按照设定的路线进行定时巡检，节省时间。当轨道机器人无法到达的地方例如坝面可以采用无人机定点拍摄的方式进行巡检，中央服务器得到较为全面的巡检结果。由于中央服务器上搭载的全局模型网络结构与本地模型相同，全局模型得到的模型参数是所有本地模型的平均聚合，那么当采集的数据具有异质性时，随机选择客户端的策略与同等对待所有参与训练的客户端都会使得全局模型偏向常见的数据分布，而对特殊数据分布的表征能力不足。即，巡检设备如果长时间局限于同一个区域进行巡检任务，设备采集的数据经过本地训练后，中央服务器聚合得到的全局模型对缺陷识别的结果会具有一定的偏向性。例如大部分巡检数据都是裂缝的图像，而关于渗水的图像却很少，导致全局模型在大坝安全评判时会出现偏差。在这种偏差现象下，当全局模型的参数下载更新到本地模型后，其对联邦学习框架中的部分客户端是不公平的，无法满足用户敏感型应用的需求。基于本地损失表征客户端的本地数据特征，优先选择高本地损失的客户端参与训练，提高模型的收敛速度，但该方法忽略了客户端的相关性，在异质性环境下无法为全局模型的本地性能表现提供确定性的均衡保证。另一种方法基于本地模型的输出衡量客户端间数据分布的相似性，选择具有不同数据分布特征的客户端来共同完成训练，但该方法是在客户端全部完成本地训练后进行的，尽管只选择部分本地模型进行聚合，但所有客户端都需要进行本地训练和参数通信，给客户端增加了额外的计算和通信成本。

发明内容

发明目的：客户端选择方法可以通过提升各边缘设备的参与度，安排全面的巡检任务并采集巡检图像，增强特殊缺陷图像的表征能力来提高巡检设备协同监测的缺陷识别准确性，提升大坝长周期运行安全管控水平。

针对大坝现实巡检环境下移动设备资源和性能差异，本发明提供一种面向大坝智能协同巡检的无人载具动态选择方法，基于联邦学习方法分析采集的数据分布，公平地选择客户端进行巡检任务并使用图像分类模型进行缺陷的识别，均衡全局模型在不同客户端之间的性能表现差异，得到更加全面且准确的大坝安全工况评判。本发明能够根据数据代表性分析更加公平选择客户端并合理安排巡检任务，全面覆盖大坝的缺陷监测范围，降低大坝安全工况状态评判的偏差。

技术方案：一种面向大坝智能协同巡检的无人载具动态选择方法，在现实的大坝库区环境中，该方法基于联邦学习可以针对边缘设备的异构性来多节点协作执行相应的巡检任务，并选择具有代表性且全面的缺陷数据进行目标检测的识别以提高大坝工况的状态判断，包括如下步骤：

步骤1)在每个客户端上搭载轻量的目标检测模型YOLOv5，计算所有客户端的本地计算效率得到客户端本地计算效率集合，构造多项式分布集合与客户端组一一对应，并将所有的客户端计算效率分配给分布集合；

步骤2)根据客户端在多项式分布集合中被抽样的概率，将其分入对应的客户端组，所有客户端分配完毕后输出分组结果；

步骤3)在客户端分组结果的基础上，衡量本地客户端数据分布与全局数据分布的差异，计算每组各个客户端本地数据的平衡程度并进行升序排序；

步骤4)根据客户端本地数据的平衡程度构造一个用于求解客户端数据代表性的函数，计算每组各个客户端的数据代表性；由于客户端的本地数据平衡程度由本地数据决定，客户端的数据代表性评价与客户端分组结果相关，因此步骤3)和步骤4)的执行周期与客户端分组的更新周期相同；

步骤5)基于各组客户端的数据代表性构造选择权重序列，中央服务器从各组选择权重最大的客户端进行对应区域的巡检并使用本地目标检测模型YOLOv5识别缺陷，并将模型参数和巡检结果上传至服务器；所有被选中客户端的数据经过一次训练表示一次迭代回合，当前轮迭代回合任务结束后，使用最近一次训练时间更新被选中客户端的本地计算效率，从服务器下载最新的参数更新下一轮的本地模型。周期性重复步骤1)至步骤4)，在每一个迭代回合执行步骤5)，直至最终迭代回合全局模型收敛且缺陷识别准确率误差小于设定的值，中央服务器得到性能较好的全局模型，并输出全面的大坝工况缺陷识别结果，该全局模型缺陷识别准确率提高且具有较好的鲁棒性，能够提供较好的大坝工况状态。

进一步的，所述步骤1)包括以下过程：

1-1)在每个客户端上搭载轻量的目标检测模型YOLOv5，使用客户端本地数据数量|d_i|初始化本地计算效率e_i：

其中，d_i为客户端c_i本地图片数据集，r_latest为客户端c_i最近一次参与训练的迭代回合的次数，n表示客户端的数量，

表示第i个客户端最新训练时间。

得到客户端c_i本地计算效率集合E＝{e_i|i＝1,...,n}，并按照降序对集合E进行排序；

1-2)将客户端的计算效率依次放入多项式分布，若有剩余的计算效率则分配给剩下的多项式分布，直到该客户端完成计算效率分配。

进一步的，所述步骤2)具体包含以下步骤：

2-1)计算在迭代回合r时客户端c_i在多项式分布

上的抽样概率/>

为：

其中，q_k,i是客户端c_i分配在分布

上的计算效率，/>

输出所有客户端在分布集合上的抽样概率：

为/>

的抽样概率，当客户端c_i在第k'组中的抽样概率最大时，认为客户端c_i分配到组/>

客户端c_i重新表示为/>

m是客户端组数量，k是客户端组的符号表示；k'表示已经完成分组后的客户端组，/>

是客户端c_i根据概率被分配到第k′组的表示。

2-2)各组客户端按照本地计算效率集合的顺序依次完成步骤2-1)，所有的客户端被分为m组。

进一步的，所述步骤3)具体包含以下步骤：

全局数据分布U为均匀分布，所以KL散度

实质上表征了组内客户端/>

本地数据/>

的平衡程度/>

即：

其中，分组

中客户端/>

的本地数据/>

服从概率分布/>

全局数据分布为U。

分组

得到的客户端平衡程度序列为/>

同理，计算其他各客户端本地数据平衡程度并进行升序排序，得到所有客户端平衡程度序列/>

进一步的，步骤4)中的计算客户端数据代表性具体包含以下步骤：

构造一个用于求解客户端数据代表性的函数，即客户端

的数据代表性函数/>

为：

其中ε为趋近于0的极小值，用于防止

同理，计算各组其他客户端的数据代表性。

进一步的，步骤5)中的根据数据代表性选择客户端巡检具体包含以下步骤：

5-1)基于各组客户端的数据代表性构造选择权重序列

客户端

的选择权重/>

为：

5-2)客户端

的数据代表性越高，其在客户端组/>

中被选择的权重也越高。中央服务器在每组中选择权重最高的客户端进行巡检任务，采集的巡检图像被输入到本地客户端的目标检测模型进行本地训练，然后将本地模型参数和缺陷检测结果上传至服务器。

5-3)所有被选中客户端的数据经过一次训练表示一次迭代回合，当前轮迭代回合任务结束后，使用最近一次训练时间更新被选中客户端的本地计算效率。本地训练完成后，中央服务器聚合所有客户端本地模型参数进行平均计算作为本轮迭代回合全局模型的参数。客户端的最新训练时间被更新为：

其中，

为被选中的客户端参与第r轮训练后最新的训练时间，S^r为第r轮迭代回合参与训练的客户端子集，c_i表示S^r中的客户端；

参与训练客户端的本地计算效率更新为

由于客户端参与了巡检任务，其巡检数据量会发生变化，则d_i'为客户端参与第r轮训练后的数据。

所有客户端从服务器下载最新的参数更新下一轮的本地模型，重复步骤1)-5)得到较全面的巡检信息，直至全局模型收敛且缺陷识别准确率误差小于设定的值，中央服务器得到性能较好的全局模型，该模型缺陷识别准确率提高且具有较好的鲁棒性，能够提供较好的大坝工况状态。

一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如上所述的面向大坝智能协同巡检的无人载具动态选择方法。

一种计算机可读存储介质，该计算机可读存储介质存储有执行如上所述的面向大坝智能协同巡检的无人载具动态选择方法的计算机程序。

有益效果：本发明在联邦训练前对客户端分组，根据客户端的计算能力将边缘设备划分为若干个客户端组，对客户端采集的数据分布进行分析，在组内基于数据代表性选择客户端安排巡检并进行缺陷识别，在数据异质性情况下保证了巡检设备对大坝各个区域进行更公平更全面的监测。

附图说明

图1为本发明实施例的基于数据代表性的无人载具动态选择方法流程图；

图2为本发明实施例中客户端动态选择过程图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

面向大坝智能协同巡检的无人载具动态选择方法，在现实的大坝库区环境中，该方法基于联邦学习可以针对边缘设备的异构性来多节点协作执行相应的巡检任务，包括如下过程：构建节点的本地计算效率评估标准，根据节点客户端计算能力的表征进行分组，具有相似计算能力的客户端被分配到一组；考虑组内客户端的本地数据分布与全局均匀分布的差异，在组内通过本地数据代表性评价构造选择权重，并选择最具数据代表性的客户端参与本地训练，融合各组结果完成客户端选择；每一迭代回合的聚合结束后，根据最新一轮的训练时间更新客户端的本地计算效率，再重复以上步骤对客户端选择结果进行动态更新。本发明针对大坝中不同种类边缘巡检设备(即客户端)如手机、轨道机器人、无人机、摄像头等计算能力差异及采集数据分布差异造成大坝安全工况状态判断的偏差，通过提升各边缘设备的参与度，增强特殊数据的表征能力来提高巡检设备协同监测的缺陷识别准确性，提升大坝长周期运行安全管控水平，具有较大的工程应用作用。

本实施例中，边缘环境下的面向大坝智能协同巡检的无人载具动态选择方法，构建联邦学习框架，通过表征各摄像头、计算机、移动手机等客户端的本地计算能力，构造多项式分布集合，形成客户端组和多项式集合的映射，将客户端本地计算效率相近的分为一组，从每个分组随机选择客户端进行目标识别的模型训练，并将其参数上传中央服务器进行全局聚合，并周期性地更新选中客户端的本地计算效率和分组结果。能保证较弱计算能力的客户端参与训练的公平性，进一步缓解了全局模型在客户端间的性能表现偏差现象。

图1为本发明实施例的基于数据代表性的联邦客户端动态选择方法流程图。

在不同的大坝环境下，用于巡检各分区的边缘设备由若干个摄像头、移动手机、轨道机器人和无人机等无人载具组成，这n个设备的资源、通信、计算能力不尽相同。联邦学习框架由这些设备和一个中央服务器组成，每一个设备都是一个客户端节点。分别在客户端和中央服务器上搭载相同网络架构的模型，中央服务器根据搭载在这些设备上的本地模型计算效率，来对客户端进行分组，接着衡量每组客户端的数据代表性，从每组中选择最具数据代表性的客户端进行巡检任务，各客户端协同巡检保证大坝巡检覆盖面积的完整性，将本地模型和巡检缺陷识别结果上传至服务器端进行大坝工况状态的评判，并周期性更新选择结果和巡检任务。

图2为客户端动态选择过程图。

步骤A：在每个客户端上搭载轻量的目标检测模型YOLOv5，输入长度为n的客户端本地数据数量集合{|d_i||i＝1,...,n}、客户端组数量m，使用YOLOv5模型的数据数量|d_i|初始化本地计算效率e_i，计算所有客户端的本地计算效率得到客户端本地计算效率集合，并按照降序对集合进行排序得到E＝{e_i|i＝1,...,n}。在第r个迭代回合，客户端c_i的本地计算效率表示为：

其中，d_i为本地数据集，r_latest为c_i最近一次参与训练的迭代回合的次数。

根据m个分组构造多项式分布集合

多项式分布/>

的基数为M，即

然后将客户端本地计算效率按顺序分配给各个多项式，优先将客户端剩余的计算效率分配给其他仍未达到基数M的多项式分布，直到所有客户端完成分配。在迭代回合r时，根据客户端计算效率在各个多项式中的占比，计算客户端c_i在多项式分布/>

上的抽样概率为/>

对于分布/>

若抽样概率：/>

当c_i在第k'组中的抽样概率最大时，认为该客户端c_i被分配到组/>

客户端c_i被重新表示/>

将n个客户端按上述方法分为m组，输出客户端的分组结果。

步骤B：在客户端分组结果的基础上，对组内客户端本地数据进行分析，衡量各客户端数据平衡程度。客户端

的本地数据/>

服从概率分布/>

全局数据分布为U，/>

相对于分布U差异用KL散度来表示。由于联邦学习全局数据分布U为均匀分布，所以KL散度

实质上表征了客户端本地数据/>

的平衡程度，为/>

而/>

越小表示客户端本地数据分布越特殊；反之则表示客户端本地数据分布越一般。因此，在迭代回合r，客户端组/>

的客户端依次计算本地数据平衡程度并进行升序排序，则得到客户端平衡程度序列/>

步骤C：构造一个求解客户端数据代表性的函数

并将各客户端数据代入计算得到数据代表性序列/>

同理，其他分组重复步骤B和步骤C的操作得到各组客户端数据代表性评价。

步骤D：根据客户端数据代表性构造其在组内的选择权重，得到的各组客户端选择权重序列为

对于客户端组/>

假设/>

表示为组内最特殊的本地数据分布或者最一般的本地数据分布时，/>

所对应的客户端/>

在组/>

被选中进行本地训练的权重最高。依次在各组中选择权重最高的两个客户端进行巡检并参与缺陷分类模型的训练；融合各组的客户端选择子集，输出客户端选择结果/>

并将本地模型参数和缺陷分类的结果上传至中央服务器，/>

表示第r迭代回合中第k个分组的客户端选择结果集合。

步骤E：在每一迭代回合根据数据代表性进行客户端选择操作后，被选中的客户端会进行巡检任务，其本地数据量会发生变化，表示为d_i'。使用最近一次本地模型训练时间

更新被选中客户端的本地计算效率/>

最新的计算效率将用于后续迭代回合的客户端分组过程。周期性地执行步骤B和步骤C，且执行周期与分组更新周期相同，因此用于映射客户端分组结果的多项式分布集合/>

也是动态变化的，分组结果也会随着动态更新。动态更新客户端选择结果来执行相应巡检任务，并使用本地模型对巡检图像进行缺陷分类训练，上传模型和分类结果至中央服务器，直至最终迭代回合全局模型收敛且缺陷识别准确率误差小于设定的值，联邦学习得到性能较好的全局模型，该模型缺陷识别准确率提高且具有较好的鲁棒性，能够提供较好的大坝工况状态，为大坝安全工况评判分析提供精确的数据支持。

上述的本发明实施例的面向大坝智能协同巡检的无人载具动态选择方法可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。这样，本发明实施例不限制于任何特定的硬件和软件结合。

Claims (8)

1.一种面向大坝智能协同巡检的无人载具动态选择方法，其特征在于，在现实的大坝库区环境中，该方法基于联邦学习可以针对边缘设备的异构性来多节点协作执行相应的巡检任务，并选择具有代表性且全面的缺陷数据进行目标检测的识别以提高大坝工况的状态判断，包括如下步骤：

步骤1)每个客户端上搭载轻量的目标检测模型，计算所有客户端的本地计算效率得到客户端本地计算效率集合，构造多项式分布集合与客户端组一一对应，并将所有的客户端计算效率分配给分布集合；

步骤2)依次计算各客户端在多项式分布集合中被抽样的概率，根据客户端被抽中的最大概率将其分入对应的客户端组，所有客户端分配完毕后输出分组结果；

步骤3)在客户端分组结果的基础上，衡量本地客户端数据分布与全局数据分布的差异，计算每组各个客户端本地数据的平衡程度并进行升序排序；

步骤4)根据客户端本地数据的平衡程度构造一个用于求解客户端数据代表性的函数，计算每组各个客户端的数据代表性；

步骤5)基于各组客户端的数据代表性构造选择权重序列，中央服务器从各组选择权重最大的客户端进行对应区域的巡检并使用目标检测模型识别缺陷，并将模型参数和巡检结果上传至服务器；所有被选中客户端的数据经过一次本地训练表示一次迭代回合，当前轮迭代回合任务结束后，使用最近一次训练时间更新被选中客户端的本地计算效率；重复步骤1)-5)直至全局模型收敛且目标检测准确率误差率小于设定的值，得到一个性能较好的全局模型，并输出全面的大坝工况缺陷识别结果。

2.根据权利要求1所述的面向大坝智能协同巡检的无人载具动态选择方法，其特征在于，所述步骤1)包括以下过程：

1-1)使用客户端本地数据数量|d_i|初始化本地计算效率e_i：

其中，d_i为客户端c_i本地图片数据集，r_latest为客户端c_i最近一次参与训练的迭代回合的次数，n表示客户端的数量；

得到客户端c_i本地计算效率集合E＝{e_i|i＝1,...,n}，并按照降序对集合E进行排序；

1-2)将客户端的计算效率依次放入多项式分布，若有剩余的计算效率则分配给剩下的多项式分布，直到该客户端完成计算效率分配。

3.根据权利要求1所述的面向大坝智能协同巡检的无人载具动态选择方法，其特征在于，所述步骤2)中客户端分配的具体步骤如下：

计算在迭代回合r时客户端c_i在多项式分布

上的抽样概率/>

为：

其中，q_k,i是客户端c_i分配在分布

上的计算效率，M为多项式分布/>

的基数；

对于分布

若其抽样概率：

其中，

为/>

的抽样概率；

则将客户端c_i分配到组

客户端c_i重新表示为/>

所有客户端分配完毕后，输出分组结果。

4.根据权利要求1所述的面向大坝智能协同巡检的无人载具动态选择方法，其特征在于，步骤3)中计算分组后各个客户端本地数据的平衡程度的具体步骤如下：

分组

中的客户端/>

的本地数据/>

平衡程度为：

其中，k'表示已经完成分组后的客户端组，组内客户端

的本地数据服从概率分布

全局数据分布为U；

分组

得到的客户端平衡程度序列为/>

5.根据权利要求1所述的面向大坝智能协同巡检的无人载具动态选择方法，其特征在于，步骤4)中的计算客户端数据代表性具体包含以下步骤：

构造一个用于求解客户端数据代表性的函数，即客户端

的数据代表性函数/>

为：

其中ε为趋近于0的极小值，用于防止

6.根据权利要求1所述的面向大坝智能协同巡检的无人载具动态选择方法，其特征在于，步骤5)中的根据数据代表性选择客户端巡检具体包含以下步骤：

5-1)客户端

的选择权重/>

为：

即客户端

的数据代表性越高，其在客户端组/>

中被选择的权重也越高。

5-2)基于选择权重序列

在客户端组/>

中进行客户端选择权重最大的客户端执行对应区域的巡检任务，完成巡检后将采集的图像输入本地目标检测模型进行本地训练并将模型参数和识别结果上传至服务器；同理，其他各组客户端根据选择结果执行任务并上传结果；

5-3)所有被选中客户端的数据经过一次训练表示一次迭代回合，当前轮迭代回合任务后，根据步骤5-2)中本地目标检测模型训练完成后得到最新训练时间，更新客户端的本地计算效率为E＝{e_i|i＝1,...,n}，从服务器下载最新的参数更新下一轮的本地模型，重复步骤1)-5)重新进行动态的客户端选择直至全局模型收敛而且缺陷检测准确率误差小于设定的值，得到最终全局模型。

7.一种计算机设备，其特征在于：该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述计算机程序时实现如权利要求1-6中任一项所述的面向大坝智能协同巡检的无人载具动态选择方法。

8.一种计算机可读存储介质，其特征在于：该计算机可读存储介质存储有执行如权利要求1-6中任一项所述的面向大坝智能协同巡检的无人载具动态选择方法的计算机程序。

Images