CN114998251B - 一种基于联邦学习的空中多视觉平台地面异常检测方法 - Google Patents

Abstract

本发明提供了一种基于联邦学习的空中多视觉平台地面异常检测方法，属于计算机视觉领域。该方法步骤如下：每个视觉平台利用设备采集地面异常数据并标注；每个视觉平台对其本地数据集执行本地训练；在本地训练阶段，计算模型训练损失以及模型间的对比损失；在本地迭代训练后，将各本地模型更新上传至服务器；服务器将接收到的所有参数安全聚合后得到新的全局模型，并下发新的全局模型参数到每个视觉平台；循环执行以上步骤至通信轮次结束，全局模型收敛。每个视觉平台使用最终全局模型执行异常检测任务。本发明通过模型对比的方式纠正本地模型更新，得到表征能力更强的全局模型，在地面异常检测领域，能够提高异常检测的指标。

Description

一种基于联邦学习的空中多视觉平台地面异常检测方法

技术领域

本发明涉及一种基于联邦学习、深度学习和空中多视觉平台的2D地面异常检测方法，属于模式识别和人工智能领域。

背景技术

在交通日益发达的今天，地面安全愈受关注。坑洞、裂缝等地面异常情况的存在可能会导致车辆行驶中出现安全问题，造成不必要的财产损失，严重一些可能会威胁车内人员的安全。为了保证地面的良好状态，对地面异常及时定位、维护和修理是道路安全部门的重要责任。如何实现准确的地面异常检测是其中至关重要的一步。手动地面异常检测相当繁琐，需要专业经验并且需要专业人员进行实时勘测，费时费力。为了减轻专业人员的工作量，促进地面安全检查的进展，有必要实现自动地面异常检测。随着计算机视觉技术的发展，人们不断努力地探索应用计算机视觉技术辅助进行道路异常检测。自动地面异常检测任务模型的训练离不开大量且丰富的数据。

现有的地面异常检测通过大规模的数据收集或者直接共享数据集中训练模型来实现提升检测模型性能的目的，如SFIAN(Selective Feature Fusion and Irregular-Aware Network，选择性特征融合和不规则感知网络)，使用CNN(Convolutional NeuralNetwork，卷积神经网络)集中式的进行训练，虽然能达到检测目的，但是这使得数据隐私面临巨大的风险和挑战。此外，大规模的地面异常检测数据收集存在以下问题：1)政府部门保密性较强，收集到的地面异常图片是不能公开的；2)使用多无人机进行地面异常采集能很好的节省专业人员的时间，但是在此过程中，图片可能会涉及到位置隐私信息；3)单机训练可能会存在巨大的时间训练成本且大数据存储容量大。在减小计算复杂度降低存储容量要求的前提下，如何在保护数据隐私的同时提高检测模型的性能是一个巨大的挑战。

已有的分布式机器学习方式在一定程度上保护了隐私、提高了检测模型的性能。但是这一方式对数据分布提出了更高的要求，适用于节点数据呈现独立同分布的情形。而采用联邦学习可以有效消除以上弊端。随着科技的进步、互联网和物联网技术的发展，我们可以从多方获取小规模数据，并且在进行多方协同训练时，令训练的数据存储在本地，通过聚合本地计算的更新学习共享模型，达到各方未分享任何本地私有数据、却获得了集成各方数据优势的共享模型，实现大规模数据集成训练相当甚至更好的效果。最早的联邦学习的概念是在2016年谷歌提出，用于设备智能的分布式机器学习。之后相关的增强联邦学习隐私保护以及提高联邦学习性能的算法逐渐被研究提出。近年，基于模型对比的联邦学习算法Moon(Model-Contrastive Federated Learning，模型对比的联邦学习)在CVPR会议(Conference on Computer Vision and Pattern Recognition，国际计算机视觉与模式识别会议)上被提出。相较于之前的联邦学习方法，该方法在保护数据隐私和有效处理各客户端本地数据异构性的前提下，通过对比本地模型与全局模型，实现了在深度学习模型的图像数据集中的高性能。截止到目前为止，还没有应用联邦学习去做空中多视觉平台的地面异常检测的研究。

发明内容

本发明首次提出了一种基于联邦学习的空中多视觉平台地面异常检测方法。利用无人机等空中多视觉平台获取地面异常图片数据，采用Moon联邦学习方法，在本地训练阶段，应用SFIAN异常检测方法对本地的数据直接进行训练得到本地模型，避免本地数据泄露。之后将本地检测模型更新到服务端进而得到一个表征能力更强的检测模型。实现本发明的技术方案如下：

一种基于联邦学习的空中多视觉平台地面异常检测方法，包括步骤如下：

(1)收集各地地面异常图像，并对图像进行像素级别标注为正负样本，包括地面异常的位置和精确的边界，形成地面异常数据集；

(2)设计适用于所述地面异常数据集的神经网络，在各地客户端对各地地面异常数据集进行本地训练，得到本地模型，以实现对地面是否存在异常进行判断且对地面异常图像进行分割；

(3)采用联邦学习方法将步骤(2)中在各地客户端得到的本地模型上传至全局服务端，得到表征能力更强的全局模型；

(4)全局服务端与各地客户端进行多次通讯，连续地对本地客户端与全局服务端进行模型更新，得到集成各地数据的最终模型；

(5)通过计算精确度、召回率和F1值对所述最终模型的性能进行评价。

其中，步骤(2)中所述的神经网络为卷积神经网络，所述的神经网络对图像中的地面异常进行特征学习。

其中，步骤(2)中神经网络利用分层特征提取网络即VGG16的前13层，提取地面异常目标不同分辨率大小的特征，包括大分辨率的纹理特征以及小分辨率的抽象特征。

其中，在提取不同分辨率大小的特征后，使用一个选择性特征融合模块对特征提取网络提取到的不同尺度特征进行选择性的融合，使网络中不同尺度层能交互性地学习到其他层次的有用的特征并且去除冗余特征的干扰，使每层都能聚集到深层的全局语义特征并且保留浅层的局部纹理信息。

其中，对选择性特征融合后的每层特征，使用一个不规则感知模块，利用可形变卷积对非刚性的地面异常目标进行建模，获得各层建模后得到的特征，并学习其特征表示。

其中，步骤(3)中所述的联邦学习方法为基于模型对比的联邦学习方法Moon，在利用本地数据更新本地模型阶段，通过最大化当前本地模型学习到的特征表示与全局模型学习到的特征表示的一致性来校正本地局部更新，以得到鲁棒性更好的模型检测器。

其中，在本地训练阶段，通过计算本地监督学习的损失以及局部模型学习到的表征、全局模型学习到的表征以及之前局部模型学习到的表征的对比损失进行反向传播。

其中，所述本地监督学习的损失函数为交叉熵损失函数，通过对各层建模后得到的特征进行预测，得到各阶段的预测图与最终预测图分别计算损失后，等比重进行求和最终得到本地监督学习损失L_sup，对本地训练过程进行实施监督，提高神经网络中隐藏层学习过程的直接性和透明度。

其中，在本地训练阶段，对比损失为模型对比损失，将本轮正在被更新的本地模型得到的表征Z与本轮开始时发送到本地的全局模型得到的表征Z_g当做正样本对即(Z，Z_g)，将上一轮本地训练好的发往服务端的模型得到的表征Z_p与本轮正在被更新的本地模型得到的表征Z当做负样本对即(Z，Z_p)，通过计算三个表征之间的对比损失，达到减少局部模型学习到的表示与全局模型学习到的表示之间的距离、增加局部模型学习到的表示与之前局部模型学习到的表示之间的距离的目的。

其中，步骤(5)中，以混淆矩阵为基础，采用精确度P、召回率R和F1值评价模型检测结果：

其中，TP表示真的正例，FP表示假的正例，FN表示假的反例，以代表不同的预测结果，精确度反映的是模型的准确性，召回率反映的则是模型的全面性，F1是精确度和召回率的调和平均数，对精确度和召回率同等重视，能综合的反映模型性能，三者皆是结果越高，效果越好。

本发明的有益结果是：该方法对于防止各客户端数据泄露、提高地面异常检测器性能有较好的作用。作为一种对传统地面异常检测方法的改进，该方法需要对本地收集到的数据集进行像素级的分类标注，该方法运算难度适中，构建的地面异常检测模型大小可以根据相应的训练硬件设备而定，对机器硬件要求有限，思路可行，稍加修改可以应用到无人机以及各种移动端设备中便捷地进行地面异常检测。

附图简要说明

图1是本发明基于联邦学习的空中多视觉平台地面异常检测方法流程图。

具体实施方式

本发明的基于联邦学习的空中多视觉平台地面异常检测方法，针对深度学习训练中存在的因数据分散、大数据收集中数据隐私而导致模型性能不高的问题，利用联邦学习数据保护、共享模型提高性能的特点，对无人机等空中多视觉平台收集的数据分别进行模型训练并将模型上传更新到服务端，避免本地数据泄露。在本地模型训练更新时，采用对比学习的思想，最大化当前局部模型学习表示和全局模型学习表示的一致性来修正本地模型更新，提高识别准确率。具体步骤如下：

(1)利用无人机去获取各地地面异常图像，如坑洞、裂缝等地面异常的位置和精确的边界，并对图像进行像素级别标注，将图像中坑洞和裂缝区域作为图像的正样本(白色)，将非坑洞和非裂缝区域作为图像的负样本(黑色)，形成地面异常数据集。

(2)设计适用于地面异常数据集的神经网络，即SFIAN，在各地客户端对各地地面异常数据集进行本地训练，得到本地模型，以实现对地面是否存在异常进行判断且对地面异常图像进行分割。该神经网络优选为卷积神经网络，所述的神经网络对图像中的地面异常进行特征学习。

首先，利用分层特征提取网络即VGG16的前13层，对各无人机获取的原始图像进行特征提取，提取地面异常目标不同分辨率大小的特征，包括大分辨率的纹理特征以及小分辨率的抽象特征。在提取不同分辨率大小的特征后，使用一个选择性特征融合模块对特征提取网络提取到的不同尺度特征进行选择性的融合，使网络中不同尺度层能交互性地学习到其他层的有用的特征并且去除冗余特征的干扰，使每层都能聚集到深层的全局语义特征并且保留浅层的局部纹理信息。对选择性特征融合后的每层特征，使用一个不规则感知模块，利用可形变卷积对非刚性的地面异常目标进行建模，并学习其特征表示。最后，对各层建模后的特征进行级联操作，以集成各层特征。本地监督学习的损失函数为交叉熵损失函数，通过对建模后的特征进行预测，得到各阶段的预测图与最终预测图分别计算损失后，等比重进行求和最终得到本地监督学习损失L_sup，可以对本地训练过程进行实施监督，提高神经网络中隐藏层学习过程的直接性和透明度。最终训练出能判断地面是否存在异常且能对地面异常图像进行分割的本地模型。

(3)利用联邦学习方法，在步骤(2)中利用本地数据更新本地模型，在本地训练阶段，通过计算本地监督学习的损失以及本地局部模型学习到的表征、全局模型学习到的表征以及之前本地局部模型学习到的表征的对比损失进行反向传播。联邦学习方法优选为基于模型对比的联邦学习方法Moon。这里的对比损失为model-contrastive loss(模型对比损失)，将本轮正在被更新的本地模型得到的表征Z与本轮开始时发送到本地的全局模型得到的表征Z_g当做正样本对即(Z，Z_g)，将上一轮本地训练好的发往服务端的模型得到的表征Z_p与本轮正在被更新的本地模型得到的表征Z当做负样本对即(Z，Z_p)，通过计算三个表征之间的对比损失，最大化当前本地局部模型学习到的特征表示与全局特征表示的一致性来校正本地局部更新，达到减少局部模型学习到的表示与全局模型学习到的表示之间的距离、增加局部模型学习到的表示与之前局部模型学习到的表示之间的距离的目的，得到鲁棒性更好的模型检测器。

(4)将各地客户端训练后得到的本地模型上传至全局服务端，得到集成各地数据特征的表征能力更强的全局模型。

(5)接收到各地模型后，全局服务端将模型参数进行聚合并将全局模型更新到各地客户端。

(6)通过多次(3)(4)(5)操作，全局服务端与各地客户端进行多次通讯，连续地对各地客户端与全局服务端进行模型更新，训练得到表征能力更强的全局模型以及本地模型，最后得到集成各地数据的最终模型。

(7)通过计算精确度、召回率和F1-score对所述的模型性能进行评价。以混淆矩阵为基础，采用精确度P(Precision)、召回率R(Recall)和F1值(F1-score)进行评价模型检测结果：

其中，TP表示真的正例，FP表示假的正例，FN表示假的反例，以代表不同的预测结果，精确度反映的是模型的准确性，召回率反映的则是模型的全面性，F1是精确度和召回率的调和平均数，对精确度和召回率同等重视，能综合的反映模型性能，三者皆是结果越高，效果越好。

利用上述过程可以在避免本地数据泄露的情况下，提高地面异常检测器的性能。

具体步骤如下：

(1)服务器端初始化全局模型W⁰，并且将模型参数广播发送至各客户端。拟采用Xavier方法初始化、全局通信轮次T、客户端N、本地训练迭代次数E、学习率η和控制模型对比损失权重的超参数μ。

(2)各地地面异常数据集作为各客户端本地数据。

(3)对于客户端i∈[1,N]，第t通信轮次(t∈[1,T])利用本地私有数据进行训练。此时客户端具体算法步骤如下：

Step1：从服务器端获得最新的局部模型参数；

Step2：第e次迭代(e∈[1,E])，随机的将本地数据集划分为批量M的大小。从上一次迭代获得本地模型参数，选择批数据进行有监督的训练。对每个训练的批数据，进行原始图像特征提取，提取出不同分辨率的特征，包括大分辨率的纹理特征以及小分辨率的抽象特征，采用选择性特征融合方法以及不规则区域感知技术对相应地面异常的特征进行融合并实现准确定位。这里本地数据训练使用交叉熵函数计算L_sup。对于输入图像x，提取全局模型W^t关于图像x的特征表示Z_g、本地上一次模型W_i ^t-1关于图像x的特征表示Z_p以及本地模型W_i ^t关于图像x的特征表示Z；

Step3：利用余弦相似度对同一图像的特征表示Z_g、Z_p以及Z计算对比损失L_con；

其中，τ是温度系数，用来控制loss对负样本对的敏感程度。

Step4：根据公式L＝L_sup+μL_con进行Loss计算；

Step5：采用随机梯度下降更新本地模型；

Step6：本地迭代完成后，得到本通信轮次最终的本地模型。

(4)对于通信轮次t，服务器端接收各客户端本地模型，对收到的模型参数通过加权平均的方法进行聚合，对全局模型进行更新，加权系数由各客户端本地数据量在各客户端数据总量占比决定。

(5)该通信轮次完成后，客户端将聚合后的模型参数广播给所有客户端。

(6)通讯T轮后，得到最终的全局模型W^T。

(7)取测试数据集进行测试，通过计算地面异常检测的准确率P、召回率R以及F1值对地面异常检测器进行性能评价，证明其优越性。

需要说明的是，以上所述仅为本发明实施例，仅仅是解释本发明，并非因此限制本发明专利范围。对属于本发明技术构思而仅仅显而易见的改动，同样在本发明保护范围之内。

Claims (10)

1.一种基于联邦学习的空中多视觉平台地面异常检测方法，其特征在于，包括步骤如下：

(1)收集各地地面异常图像，并对图像进行像素级别标注为正负样本，包括地面异常的位置和精确的边界，形成地面异常数据集；

(2)设计适用于所述地面异常数据集的神经网络，在各地客户端对各地地面异常数据集进行本地训练，得到本地模型，以实现对地面是否存在异常进行判断且对地面异常图像进行分割；

(3)采用联邦学习方法将步骤(2)中在各地客户端得到的本地模型上传至全局服务端，得到表征能力更强的全局模型；

(4)全局服务端与各地客户端进行多次通讯，连续地对本地客户端与全局服务端进行模型更新，得到集成各地数据的最终模型；

(5)通过计算精确度、召回率和F1值对所述最终模型的性能进行评价。

2.如权利要求1所述的基于联邦学习的空中多视觉平台地面异常检测方法，其特征在于，步骤(2)中所述的神经网络为卷积神经网络，所述的神经网络对图像中的地面异常进行特征学习。

3.如权利要求2所述的基于联邦学习的空中多视觉平台地面异常检测方法，其特征在于，步骤(2)中神经网络利用分层特征提取网络即VGG16的前13层，提取地面异常目标不同分辨率大小的特征，包括大分辨率的纹理特征以及小分辨率的抽象特征。

4.如权利要求3所述的基于联邦学习的空中多视觉平台地面异常检测方法，其特征在于，在提取不同分辨率大小的特征后，使用一个选择性特征融合模块对特征提取网络提取到的不同尺度特征进行选择性的融合，使网络中不同尺度层能交互性地学习到其他层次的有用的特征并且去除冗余特征的干扰，使每层都能聚集到深层的全局语义特征并且保留浅层的局部纹理信息。

5.如权利要求4所述的基于联邦学习的空中多视觉平台地面异常检测方法，其特征在于，对选择性特征融合后的每层特征，使用一个不规则感知模块，利用可形变卷积对非刚性的地面异常目标进行建模，获得各层建模后得到的特征，并学习其特征表示。

6.如权利要求5所述的基于联邦学习的空中多视觉平台地面异常检测方法，其特征在于，步骤(3)中所述的联邦学习方法为基于模型对比的联邦学习方法Moon，在利用本地数据更新本地模型阶段，通过最大化当前本地模型学习到的特征表示与全局模型学习到的特征表示的一致性来校正本地局部更新，以得到鲁棒性更好的模型检测器。

7.如权利要求6所述的基于联邦学习的空中多视觉平台地面异常检测方法，其特征在于，在本地训练阶段，通过计算本地监督学习的损失以及本地局部模型学习到的表征、全局模型学习到的表征以及之前本地局部模型学习到的表征的对比损失进行反向传播。

8.如权利要求7所述的基于联邦学习的空中多视觉平台地面异常检测方法，其特征在于，所述本地监督学习的损失函数为交叉熵损失函数，通过对各层建模后得到的特征进行预测，得到各阶段的预测图与最终预测图分别计算损失后，等比重进行求和最终得到本地监督学习损失L_sup，对本地训练过程进行实施监督，提高神经网络中隐藏层学习过程的直接性和透明度。

9.如权利要求7所述的基于联邦学习的空中多视觉平台地面异常检测方法，其特征在于，在本地训练阶段，对比损失为模型对比损失，将本轮正在被更新的本地模型得到的表征Z与本轮开始时发送到本地的全局模型得到的表征Z_g当做正样本对即(Z，Z_g)，将上一轮本地训练好的发往服务端的模型得到的表征Z_p与本轮正在被更新的本地模型得到的表征Z当做负样本对即(Z，Z_p)，通过计算三个表征之间的对比损失，达到减少局部模型学习到的表示与全局模型学习到的表示之间的距离、增加局部模型学习到的表示与之前局部模型学习到的表示之间的距离的目的。

10.如权利要求1所述的基于联邦学习的空中多视觉平台地面异常检测方法，其特征在于，步骤(5)中，以混淆矩阵为基础，采用精确度P、召回率R和F1值评价模型检测结果：

其中，TP表示真的正例，FP表示假的正例，FN表示假的反例，以代表不同的预测结果，精确度反映的是模型的准确性，召回率反映的则是模型的全面性，F1是精确度和召回率的调和平均数，对精确度和召回率同等重视，能综合的反映模型性能，三者皆是结果越高，效果越好。