CN112949837A - 一种基于可信网络的目标识别联邦深度学习方法 - Google Patents

一种基于可信网络的目标识别联邦深度学习方法 Download PDF

Info

Publication number
CN112949837A
CN112949837A CN202110394016.5A CN202110394016A CN112949837A CN 112949837 A CN112949837 A CN 112949837A CN 202110394016 A CN202110394016 A CN 202110394016A CN 112949837 A CN112949837 A CN 112949837A
Authority
CN
China
Prior art keywords
model
training
local
parameters
federal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110394016.5A
Other languages
English (en)
Other versions
CN112949837B (zh
Inventor
杨娟
郑艺泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese Peoples Armed Police Force Academy
Original Assignee
Chinese Peoples Armed Police Force Academy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese Peoples Armed Police Force Academy filed Critical Chinese Peoples Armed Police Force Academy
Priority to CN202110394016.5A priority Critical patent/CN112949837B/zh
Publication of CN112949837A publication Critical patent/CN112949837A/zh
Application granted granted Critical
Publication of CN112949837B publication Critical patent/CN112949837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Abstract

本发明公开了一种基于可信网络的目标识别联邦深度学习方法，该方法中主要由局部模型和联邦模型两部分组成。局部模型和联邦模型的结构相同，并采用相同的优化算法(如亚当Adam优化器)、传递训练参数(如学习率η，神经网络权重w、损失函数E等)对局部模型和联邦模型进行训练，局部模型和联邦模型采用联邦学习的方式，联合训练一个卷积神经网络，各客户端的训练数据均在本地，“数据不动模型动”。本发明方法的识别精度最高可达到91％，具有识别精度高、收敛速度快的特点。通过本发明方法，可解决跨各个客户端领域数据融合难、决策反应时间长等问题，缩短了决策的时间，最终可实现快速应对的效果。

Description

一种基于可信网络的目标识别联邦深度学习方法
技术领域
本发明涉及移动通信技术领域，特别涉及一种基于可信网络的目标识别联邦深度学习方法。
背景技术
目标识别是指一个特殊目标或一种类型的目标从其它目标或其它类型的目标中被区分出来的过程。它既包括两个非常相似的目标的识别，也包括一种类型的目标同其他类型目标的识别。目标识别广泛应用于生产生活的各个领域。高精度的目标识别算法通常建立在针对大量数据的学习训练之上。然而，在当前的法律环境下，在不同组织间收集和分享数据变得越来越困难，尤其是那些高度敏感的数据(金融交易、医疗健康数据等)，处于保护隐私和数据安全的考虑，数据拥有方很容易形成各自独立的数据孤岛。再者，由于各方共享数据的益处不明显，也使得各方贡献数据以共同训练高精度目标识别模型举步维艰。
随着信息技术的发展，可信网络得到广泛应用，可以在保证数据安全的前提下，将处于不同部门的数据孤岛连接到同一个可信网络中。如在航运领域的可信网络可以实时获取其中各平级部门的货运数据，以保证跨组织交易的数据真实安全；在健康医疗领域的可信网络可以实现患者医疗健康数据在联盟医院内有效、快速、安全共享，从而提高患者的治疗效率。在银行保险领域，可信网络可以使具有权限的从业人员快速从本系统内各平级公司获取相应的信用数据，对不同的客户和机构进行评估，然后快速的生成一个新的业务合同，从而提高银行保险的整体效率。
为达到高精度识别效果，基于深度学习的目标识别技术需要大量的图像数据。而目前各领域中由于数据量有限，不足以支撑深度学习模型进行高精度训练；同时目前各个领域的管理体制不同，开发的信息系统不同，使得其数据源之间难以跨域共享交换，导致当前各个系统数据在某种意义上成为越来越多的“数据孤岛”。若要在各个系统之间完全统一数据标准，统一进行数据融合处理及应用，工作量将非常巨大。为此，如何消除各个系统间数据壁垒，进行数据融合应用，成为数据融合应用难题的关键。
发明内容
针对现有技术存在的上述问题，本发明的要解决的技术问题是：如何充分利用各“数据孤岛”里的数据资源，构建出基于可信网络的高精度的目标识别模型的问题。
为解决上述技术问题，本发明采用如下技术方案：一种基于可信网络的目标识别联邦深度学习方法，包括如下步骤：
S100:设有K个客户端，对每个客户端构建一个局部模型
Figure BDA0003017843320000021
并对局部模型
Figure BDA0003017843320000022
进行训练，所述K个客户端对于的局部模型
Figure BDA0003017843320000023
结构均相同；
S110：所述局部模型
Figure BDA0003017843320000024
是基于传统CNN进行改进而设计的，具体结构为：
前六层由卷积层和最大池化层交替组成；
第七层是flatten展平层，将输入张量减少一个维度，完成将二维平面数据转变为一维；
第八层是dropout正则化层，通过在每次训练中随机地删除部分神经元来减少
Figure BDA0003017843320000025
模型的过拟合，使用dropout后，相当于减少了网络参数；
第九层是包含32个神经元的简单全连接层，激活函数采用ReLU；
第十层输出层是全连接层，由5个神经元组成，激活函数为Softmax；
S120：训练局部模型
Figure BDA0003017843320000026
S121：采集N个图像，对图像进行预处理后，给每个图像打上类别标签，每个图像和其对应的类别标签作为训练样本，所有训练样本构成训练集；
S122：先初始化局部模型
Figure BDA0003017843320000027
的所有参数，再将所有训练样本输入S110构建的局部模型
Figure BDA0003017843320000028
对局部模型
Figure BDA0003017843320000029
进行训练；
采用反向传播的方法来传递误差信息，并运用Adam优化器来更新局部模型
Figure BDA00030178433200000210
中的参数，采用交叉熵构建损失函数；
S200:构建和训练联邦模型Mu；
S210：所述联邦模型Mu的结构与局部模型
Figure BDA00030178433200000211
相同；
S220：训练联邦模型Mu；
S221：基于每个客户端对应的训练集对每个客户端对应的局部模型
Figure BDA00030178433200000212
进行训练，并得到每个客户端对应修炼后的模型参数wpar，所述每个客户端对应修炼后的模型参数wpar则为联邦模型Mu的训练样本；
S222：将所有联邦模型Mu的训练样本输入联邦模型Mu中进行训练，具体训练过程如下：
1)采用每个客户端对应修炼后的模型参数wpar对联邦模型Mu的参数w0进行初始化，并将初始化的参数w0广播给所有客户端对应的局部模型
Figure BDA00030178433200000213
设定训练次数T；
2)t＝1；
3)设定每一联邦模型Mu的更新轮次E；
4)令e＝1；
5)确定Ce，Ce为随机选取的max(Kα,1)个客户端的集合，α为每一通信轮中进行计算的客户端占比；
6)对第k个局部模型
Figure BDA0003017843320000031
更新模型参数，
Figure BDA0003017843320000032
即用第k个局部模型
Figure BDA0003017843320000033
的参数的加权平均值
Figure BDA0003017843320000034
进行参数更新；
7)将更新后的模型参数
Figure BDA0003017843320000035
发送给参数服务器；
8)参数服务器将收到的模型参数进行聚合，即对收到的模型参数使用加权平均：
Figure BDA0003017843320000036
Figure BDA0003017843320000037
9)令e＝e+1；
10)判断e≥E，则执行下一步，否则返回步骤4)；
11)令t＝t+1；
12)判断t≥T，将聚合后的参数
Figure BDA0003017843320000038
输出参数给服务器，并则执行下一步，否则返回步骤3)继续训练；
13)所述参数服务器将聚合后的参数
Figure BDA0003017843320000039
广播给所有客户端对应的局部模型
Figure BDA00030178433200000310
14)采用
Figure BDA00030178433200000311
更新第k个局部模型
Figure BDA00030178433200000312
的参数
Figure BDA00030178433200000313
并令k＝1,2.3…K，其中K表示所有客户端对应的局部模型
Figure BDA00030178433200000314
的数量；
15)从参数服务器得最新的模型参数，设
Figure BDA00030178433200000315
16)设置迭代次数S，i为迭代变量；
17)令i＝1；
18)将第k个局部模型
Figure BDA00030178433200000316
的训练集Dk划分为批量Q的大小；批量数量A为集合，
Figure BDA00030178433200000317
a为批量数量A的批量序号；
19)设
Figure BDA00030178433200000318
20)令a＝1；
21)计算批量梯度gk (a)；
22)更新第k个局部模型
Figure BDA0003017843320000041
的参数
Figure BDA0003017843320000042
23)令a＝a+1；
24)判断a≥A，则执行下一步，否则返回步骤21)；
25)获取第k个局部模型
Figure BDA0003017843320000043
的参数更新
Figure BDA0003017843320000044
并将其发送至参数服务器；
S300:将来自于第k个客户端的待检测图像进行图像预处理后，输入经过S222更新参数后的对应的局部模型
Figure BDA0003017843320000045
中进行预测，输入待检测图像输入某类的概率分布，最大概率值对应的类则为待检测图像的预测分类。
作为改进，所述S122中运用Adam优化器来更新局部模型
Figure BDA0003017843320000046
中的参数，其中，前向传播计算公式为：
Figure BDA0003017843320000047
其中,Πj为第j个卷积核对应的卷积窗口，激活函数采用ReLU函数，
Figure BDA0003017843320000048
表示当前层的第j个输出值，
Figure BDA0003017843320000049
表示前一次层的第j个输出值，
Figure BDA00030178433200000410
为当前层的第j个偏置，
Figure BDA00030178433200000411
为当前层的第j个卷积核，υ为当前层对应的卷积窗口数；
作为改进，所述S122采用交叉熵构建损失函数，具体如下：
对于单个训练样本，设p(x)为真实的样本概率分布，q(x)为局部模型
Figure BDA00030178433200000412
输出的预测概率分布，设有m个类别，则交叉熵损失函数为：
Figure BDA00030178433200000413
由于采用的Adam算法进行优化，故：
权重的更新为：
Figure BDA00030178433200000414
偏置的更新为；
Figure BDA00030178433200000415
其中，η为学习率，δ为用于数值稳定的小常数；
Figure BDA00030178433200000416
分别为w、b的修正一阶矩偏差，分别由
Figure BDA00030178433200000417
更新而来，而
Figure BDA00030178433200000418
其中，
Figure BDA00030178433200000419
为矩估计的衰减速率，在[0,1)内，gw为w的梯度，gb为b的梯度，
Figure BDA00030178433200000420
分别为w、b的修正二阶矩方差，分别由
Figure BDA0003017843320000051
更新而来，而
Figure BDA0003017843320000052
Figure BDA0003017843320000053
Figure BDA0003017843320000054
为矩估计的衰减速率，在[0,1)内，rw,rb,sw,sb,t的初值均为0，t的步长为1。
相对于现有技术，本发明至少具有如下优点：
本发明方法基于可信网络，将处于不同客户端之间的数据进行联合建模，基于横向联邦学习及改进卷积神经网络模型，构建联邦深度学习框架，用于可信网络体系中的目标识别。为提高识别精度，采用改进的CNN，交叉熵作为目标函数以及采用Adam优化器，构建联邦深度识别网络。试验结果表明，本发明方法的识别精度最高可达到91％，具有识别精度高、收敛速度快的特点。通过本发明方法，可解决跨各个客户端领域数据融合难、决策反应时间长等问题，缩短了决策的时间，最终可实现快速应对的效果。
附图说明
图1为联邦学习训练过程。
图2为目标识别过程样本对齐过程。
图3为基于可信网络的目标识别的联邦深度学习框架。
图4为联邦深度学习框架参数调度图。
图5为实验中数据集示例图片。
图6为实验数据集中存储条件下模型训练曲线，图6(a)数据集中存储条件下模型训练中的精确度变化，图6(c)联邦深度学习框架下模型训练中的精确度变化，图6(d)联邦深度学习框架下模型训练中的损失函数变化；其中，Accuracy表示精度，Epochs表示轮次，Accuracy increasing表示精度提高，Training accuracy表示训练精度，Validationaccuracy表示验证精度，Loss decreasing表示损失下降，Training loss表示训练损失，Validation loss表示验证损失。
图7为实验部分测试集识别结果的混淆矩阵，其中图7(a)为数据集中存储时模型测试混淆矩阵，图7(b)为联邦深度学习框架下模型测试混淆矩阵；其中confusion matrix表示混淆矩阵，true label表示真实标签，predict value预测值，fighter表示战斗机，tank表示坦克，warship表示军舰，helicopter表示直升机，solder表示士兵。
具体实施方式
下面结合附图对本发明作进一步详细说明。
联邦学习作为人工智能的新兴领域，可以让数据拥有方在不共享数据的基础上进行联合建模，从技术上打破“数据孤岛”，实现分布式智能协作，构造精确的人工智能模型。
联邦学习由两部分组成，中央训练和局部训练，中央训练由参数服务器端完成，局部训练由各数据拥有方(客户端)完成。
参数服务器和客户端组成联邦系统，假设有K个客户端，用k表示其索引。训练过程可分为多个通讯轮，每一轮中客户端在它们的私有数据集dk上使用局部随机梯度优化算法同步地训练局部模型。在参数服务器端上，对各客户端上传的参数执行聚合操作。
来自客户端k的参数为wk，其中k∈S，S对应(每通讯轮中)含有j个客户端的参与子集。对于其中的客户端k，其拥有的训练数据集有nk个数据点，其中nk＝|dk|，因而，联邦学习设定下的优化问题可定义为：
Figure BDA0003017843320000061
Figure BDA0003017843320000062
其中，f(w)为损失函数；给定参数w，fi(w)是在索引为i数据点上的预测对应的损失。联邦学习训练过程如图1所示。
因此，联邦学习可使客户端作为使用实体在两个或多个数据主体之间共享数据而不用贡献数据，使得跨机构、跨部门的机器学习模型的设计及训练成为了可能，有效解决了“数据孤岛”问题。特别地，对于移动设备中的机器学习模型应用，联邦学习表现出了良好的性能和鲁棒性。更为重要的是，基于每个客户端数据特征的对齐，联邦学习的全局模型可实现与集中式数据存储相同的建模效果。
本发明采用横向联邦学习设计联邦深度学习技术框架。
基于各领域客户端的安全网络体系，针对各数据源目标识别的“数据孤岛”问题，通过分析各客户端的本地目标识别数据(如摄像头采集到的目标要素图像)，发现在特征维度上(如飞行器、人员等)重叠部分较多，而客户端群体存在差异，这表现在各客户端领域所管辖区域在空间位置上是不同的。
故本发明采用横向的联邦学习进行数据融合应用。
1.首先采用了如图2所示的方法，对各客户端目标识别数据进行样本对齐。
2.针对各客户端下进行如下横向联邦学习模型建立：各客户端作为数据拥有方，记作C＝{ck|1<k<K}，各ck拥有的本地数据定义为集合dk,所有数据构成的集合记作D＝{dk|1<k<K}。参数服务器中心/数据中心的数据可记为Du,任务目标模型分为联合模型(最终用于目标识别的模型)和局部模型(联邦学习过程中的各客户端本地模型)，分别记为Mu、
Figure BDA0003017843320000071
Mu的网络结构同
Figure BDA0003017843320000072
但由于Mu是全局的联邦模型，其参数的训练要依赖于
Figure BDA0003017843320000073
的参数。基于样本对齐条件，利用共享训练机制实现数据目标识别模型Mu的模型训练。
实施例：一种基于可信网络的目标识别联邦深度学习方法，包括如下步骤：
S100:设有K个客户端，对每个客户端构建一个局部模型
Figure BDA0003017843320000074
并对局部模型
Figure BDA0003017843320000075
进行训练。
S110：K个客户端对于的局部模型
Figure BDA0003017843320000076
结构均相同。
所述局部模型
Figure BDA0003017843320000077
是基于传统CNN进行改进而设计的，共10层的卷积神经网络，具体结构为：
1)根据目标识别图像数据特性，输入层设计为256×256矩阵。
2)基于可信网络的目标识别是一个多分类任务，在本发明中把采集到的数据分为5类，因此，输出层为5个神经元。
3)根据目标识别图像数据的连接特征，设计了总共10层的卷积神经网络。
前六层由卷积层和最大池化层交替组成，所有卷积层中卷积核大小均为3，激活函数为ReLU，采用最大池化方法，池化层大小为2。
第七层是flatten展平层，将输入张量减少一个维度，完成将二维平面数据转变为一维。
第八层是dropout正则化层，通过在每次训练中随机地删除部分神经元来减少
Figure BDA0003017843320000078
模型的过拟合，使用dropout后，相当于减少了网络参数，同时使得
Figure BDA0003017843320000079
模型不会过分依赖一小部分神经元，并且可以打破模型在小样本中偶然生成的无法泛化的结构，最终可抑制模型的过拟合，提高模型效果。
第九层是包含32个神经元的简单全连接层，激活函数采用ReLU。
第十层输出层是全连接层，由5个神经元组成，激活函数为Softmax。
Figure BDA00030178433200000710
中各层的具体参数如表1所示。
表1局部模型网络结构
Figure BDA00030178433200000711
Figure BDA0003017843320000081
S120：训练局部模型
Figure BDA0003017843320000082
S121：采集N个图像，对图像进行预处理后，给每个图像打上类别标签，每个图像和其对应的类别标签作为训练样本，所有训练样本构成训练集；所述对图像进行预处理是指将K个客户端的图像进行对齐。该对齐方法属于现有技术。
S122：先初始化局部模型
Figure BDA0003017843320000083
的所有参数，再将所有训练样本输入S110构建的局部模型
Figure BDA0003017843320000084
对局部模型
Figure BDA0003017843320000085
进行训练。
采用反向传播的方法来传递误差信息，并运用Adam优化器来更新局部模型
Figure BDA0003017843320000086
中的参数，
采用交叉熵构建损失函数。
具体实施时：所述S122中运用Adam优化器来更新局部模型
Figure BDA0003017843320000087
中的参数，其中，前向传播计算公式为：
Figure BDA0003017843320000088
其中,l为当前层,b为当前层的偏置，λ为卷积核，Πj为第j个卷积核对应的卷积窗口，激活函数采用ReLU函数，
Figure BDA0003017843320000089
表示当前层的第j个输出值，
Figure BDA00030178433200000810
表示前一次层的第j个输出值，
Figure BDA00030178433200000811
为当前层的第j个偏置，
Figure BDA00030178433200000812
为当前层的第j个卷积核，υ为当前层对应的卷积窗口数；交叉熵在多分类问题中表现出优良特性。本发明所述S122采用交叉熵构建损失函数，具体如下：
对于单个训练样本，设p(x)为真实的样本概率分布(形如[0，0，1，0，...])，q(x)为局部模型
Figure BDA00030178433200000813
输出的预测概率分布，设有m个类别，则交叉熵损失函数为：
Figure BDA00030178433200000814
为了能最优化目标函数的结果，需要对参数进行调整。由于采用的Adam算法进行优化，故：
权重的更新为：
Figure BDA0003017843320000091
偏置的更新为：
Figure BDA0003017843320000092
其中，η为学习率，本发明取0.0004，δ为用于数值稳定的小常数，通常默认为10-8；
Figure BDA0003017843320000093
分别为w、b的修正一阶矩偏差，分别由
Figure BDA0003017843320000094
更新而来，而
Figure BDA0003017843320000095
其中，
Figure BDA0003017843320000096
为矩估计的衰减速率，在[0,1)内，gw为w的梯度，gb为b的梯度，
Figure BDA0003017843320000097
分别为w、b的修正二阶矩方差，分别由
Figure BDA0003017843320000098
更新而来，而
Figure BDA0003017843320000099
Figure BDA00030178433200000910
Figure BDA00030178433200000911
为矩估计的衰减速率，在[0,1)内，rw,rb,sw,sb,t的初值均为0，t的步长为1。
S200:构建和训练联邦模型Mu。
S210：所述联邦模型Mu的结构与局部模型
Figure BDA00030178433200000912
相同。
S220：训练联邦模型Mu。
S221：基于每个客户端对应的训练集对每个客户端对应的局部模型
Figure BDA00030178433200000913
进行训练，并得到每个客户端对应修炼后的模型参数wpar，所述每个客户端对应修炼后的模型参数wpar则为联邦模型Mu的训练样本。
S222：将所有联邦模型Mu的训练样本输入联邦模型Mu中进行训练，具体训练过程如下。
1)采用每个客户端对应修炼后的模型参数wpar对联邦模型Mu的参数w0进行初始化，并将初始化的参数w0广播给所有客户端对应的局部模型
Figure BDA00030178433200000914
设定训练次数T；
2)t＝1；
3)设定每一联邦模型Mu的更新轮次E，
4)令e＝1；
5)确定Ce，Ce为随机选取的max(Kα,1)个客户端的集合，α为每一通信轮中进行计算的客户端占比；
6)对第k个局部模型
Figure BDA00030178433200000915
更新模型参数，
Figure BDA00030178433200000916
即用第k个局部模型
Figure BDA00030178433200000917
的参数的加权平均值
Figure BDA00030178433200000918
进行参数更新；
7)将更新后的模型参数
Figure BDA0003017843320000101
发送给参数服务器；
8)参数服务器将收到的模型参数进行聚合，即对收到的模型参数使用加权平均：
Figure BDA0003017843320000102
Figure BDA0003017843320000103
加权平均只考虑对于k∈Ce的客户端；
9)令e＝e+1；
10)判断e≥E，则执行下一步，否则返回步骤4)；
11)令t＝t+1；
12)判断t≥T，将聚合后的参数
Figure BDA0003017843320000104
输出参数给服务器，并则执行下一步，否则返回步骤3)继续训练；发明人经过多次实验发现，当模型训练到一定次数后参数即会收敛，故此为了节约计算过程，可以通过设置训练次数来结束训练的方式实现参数收敛即结束训练的目的；
13)所述参数服务器将聚合后的参数
Figure BDA0003017843320000105
广播给所有客户端对应的局部模型
Figure BDA0003017843320000106
14)采用
Figure BDA0003017843320000107
更新第k个局部模型
Figure BDA0003017843320000108
的参数
Figure BDA0003017843320000109
并令k＝1,2.3…K，其中K表示所有客户端对应的局部模型
Figure BDA00030178433200001010
的数量；即在该步骤将所有客户端对应的局部模型
Figure BDA00030178433200001011
的参数全部进行对应的更新；
15)从参数服务器得最新的模型参数，设
Figure BDA00030178433200001012
16)设置迭代次数S，i为迭代变量；
17)令i＝1；
18)将第k个局部模型
Figure BDA00030178433200001013
的训练集Dk划分为批量Q的大小；批量数量A为集合，
Figure BDA00030178433200001014
a为批量数量A的批量序号；不同客户端对应的局部模型
Figure BDA00030178433200001015
的Dk划分为Q的大小可能不同；
19)设
Figure BDA00030178433200001016
20)令a＝1；
21)计算批量梯度gk (a)；所述批量梯度gk (a)采用现有Adam中的梯度计算方法计算；
22)更新第k个局部模型
Figure BDA00030178433200001017
的参数
Figure BDA00030178433200001018
23)令a＝a+1；
24)判断a≥A，则执行下一步，否则返回步骤21)；
25)获取第k个局部模型
Figure BDA0003017843320000111
的参数更新
Figure BDA0003017843320000112
并将其发送至参数服务器；
S300:将来自于第k个客户端的待检测图像进行图像预处理后，输入经过S222更新参数后的对应的局部模型
Figure BDA0003017843320000113
中进行预测，输入待检测图像输入某类的概率分布，最大概率值对应的类则为待检测图像的预测分类。
实验与分析
1.实验环境与数据集
电脑运行环境如下：CPU为intel i5-10300，内存16GB，显卡NVIDIA GTX1650,tensorflow2.2.0,CUDA 9.0，Win10操作系统。使用从互联网爬取的6800张图像作为数据集，图5为该数据集中的部分示例图片。将其中的5600个样本作为训练集，1200个样本作为测试集，共有5类(战斗机、直升机、舰艇、轮船、人员等)，每个样本都是256×256的RGB图像。本发明以5个客户端为例，实现基于可信网络的目标识别的联邦深度神经网络模型。将训练集随机打乱分成5个数据子集，从而完成训练数据集的切割。传统训练模型使用完整的训练数据集，而联邦深度学习中的训练者1使用数据子集1作为训练数据集，而训练者2使用数据集2作为训练数据子集，依此类推。训练好模型后，采用本发明数据集中的测试集进行评估。
2.实验和结果分析
本节将改进的CNN网络融入基于可信网络的目标识别联邦深度神经网络模型，采用了Adam算法对联邦深度神经网络FDL进行训练，中间层采用Relu激活函数，循环次数Epoch为40次。学习率定为0.0004。对5个数据子集，每轮次将最新的模型参数发给各数据子集，由各数据子集独立训练，将模型参数平均生成新模型再进入下一轮次。
本发明分为数据集中存储和联邦框架下两种模式对改进CNN模型进行训练，训练结果如图6所示。图6中，(a)和(c)表示模型训练中的精确度变化，(b)和(d)表示模型训练中的损失函数变化。从图6可以看出，数据集中存储和联邦深度学习框架下，训练集Loss值与测试集Loss值均迅速下降(图6(b)和(d))，识别精确率Accuracy值均快速提高(图6(a)和(c))。对比图6(a)与(c)的可以看出，在数据源分散的联邦深度学习框架下训练模型，精确度略有损失，损失在1％左右。同时，由图6(c)和(d)可以看出，联邦深度学习框架下模型训练初期，Loss值和Accuracy值震荡较大，但也能在35轮次左右收敛。
图7为模型在测试集识别结果的混淆矩阵，其中图7(a)表示数据集中存储情形下在测试集中的识别效果，图7(b)表示模型在和联邦深度学习框架下在测试集中的识别效果。图像横向为模型预测结果，纵向为样本实际标签，主对角线区域即为精确率，可以看出两种情况下模型都能较好地识别图像，精度最高达到91％，最低也达到82％，且两种情况下识别精度差异最大仅为3％，说明联邦条件下的模型训练效果能够达到集中式数据存储条件下的训练效果。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.一种基于可信网络的目标识别联邦深度学习方法，其特征在于，包括如下步骤：
S100:设有K个客户端，对每个客户端构建一个局部模型
Figure FDA0003017843310000011
并对局部模型
Figure FDA0003017843310000012
进行训练，所述K个客户端对于的局部模型
Figure FDA0003017843310000013
结构均相同；
S110：所述局部模型
Figure FDA0003017843310000014
是基于传统CNN进行改进而设计的，具体结构为：
前六层由卷积层和最大池化层交替组成；
第七层是flatten展平层，将输入张量减少一个维度，完成将二维平面数据转变为一维；
第八层是dropout正则化层，通过在每次训练中随机地删除部分神经元来减少
Figure FDA0003017843310000015
模型的过拟合，使用dropout后，相当于减少了网络参数；
第九层是包含32个神经元的简单全连接层，激活函数采用ReLU；
第十层输出层是全连接层，由5个神经元组成，激活函数为Softmax；
S120：训练局部模型
Figure FDA0003017843310000016
S121：采集N个图像，对图像进行预处理后，给每个图像打上类别标签，每个图像和其对应的类别标签作为训练样本，所有训练样本构成训练集；
S122：先初始化局部模型
Figure FDA0003017843310000017
的所有参数，再将所有训练样本输入S110构建的局部模型
Figure FDA0003017843310000018
对局部模型
Figure FDA0003017843310000019
进行训练；
采用反向传播的方法来传递误差信息，并运用Adam优化器来更新局部模型
Figure FDA00030178433100000110
中的参数，采用交叉熵构建损失函数；
S200:构建和训练联邦模型Mu；
S210：所述联邦模型Mu的结构与局部模型
Figure FDA00030178433100000111
相同；
S220：训练联邦模型Mu；
S221：基于每个客户端对应的训练集对每个客户端对应的局部模型
Figure FDA00030178433100000112
进行训练，并得到每个客户端对应修炼后的模型参数wpar，所述每个客户端对应修炼后的模型参数wpar则为联邦模型Mu的训练样本；
S222：将所有联邦模型Mu的训练样本输入联邦模型Mu中进行训练，具体训练过程如下：
1)采用每个客户端对应修炼后的模型参数wpar对联邦模型Mu的参数w0进行初始化，并将初始化的参数w0广播给所有客户端对应的局部模型
Figure FDA00030178433100000113
设定训练次数T；
2)t＝1；
3)设定每一联邦模型Mu的更新轮次E；
4)令e＝1；
5)确定Ce，Ce为随机选取的max(Kα,1)个客户端的集合，α为每一通信轮中进行计算的客户端占比；
6)对第k个局部模型
Figure FDA0003017843310000021
更新模型参数，
Figure FDA0003017843310000022
即用第k个局部模型
Figure FDA0003017843310000023
的参数的加权平均值
Figure FDA0003017843310000024
进行参数更新；
7)将更新后的模型参数
Figure FDA0003017843310000025
发送给参数服务器；
8)参数服务器将收到的模型参数进行聚合，即对收到的模型参数使用加权平均：
Figure FDA0003017843310000026
Figure FDA0003017843310000027
9)令e＝e+1；
10)判断e≥E，则执行下一步，否则返回步骤4)；
11)令t＝t+1；
12)判断t≥T，将聚合后的参数
Figure FDA0003017843310000028
输出参数给服务器，并则执行下一步，否则返回步骤3)继续训练；
13)所述参数服务器将聚合后的参数
Figure FDA0003017843310000029
广播给所有客户端对应的局部模型
Figure FDA00030178433100000210
14)采用
Figure FDA00030178433100000211
更新第k个局部模型
Figure FDA00030178433100000212
的参数
Figure FDA00030178433100000213
并令k＝1,2.3…K，其中K表示所有客户端对应的局部模型
Figure FDA00030178433100000214
的数量；
15)从参数服务器得最新的模型参数，设
Figure FDA00030178433100000215
16)设置迭代次数S，i为迭代变量；
17)令i＝1；
18)将第k个局部模型
Figure FDA00030178433100000216
的训练集Dk划分为批量Q的大小；批量数量A为集合，
Figure FDA00030178433100000217
a为批量数量A的批量序号；
19)设
Figure FDA00030178433100000218
20)令a＝1；
21)计算批量梯度gk (a)；
22)更新第k个局部模型
Figure FDA00030178433100000219
的参数
Figure FDA00030178433100000220
23)令a＝a+1；
24)判断a≥A，则执行下一步，否则返回步骤21)；
25)获取第k个局部模型
Figure FDA0003017843310000031
的参数更新
Figure FDA0003017843310000032
并将其发送至参数服务器；
S300:将来自于第k个客户端的待检测图像进行图像预处理后，输入经过S222更新参数后的对应的局部模型
Figure FDA0003017843310000033
中进行预测，输入待检测图像输入某类的概率分布，最大概率值对应的类则为待检测图像的预测分类。
2.如权利要求1所述的基于可信网络的目标识别联邦深度学习方法，其特征在于，所述S122中运用Adam优化器来更新局部模型
Figure FDA0003017843310000034
中的参数，其中，前向传播计算公式为：
Figure FDA0003017843310000035
其中,Πj为第j个卷积核对应的卷积窗口，激活函数采用ReLU函数，
Figure FDA0003017843310000036
表示当前层的第j个输出值，
Figure FDA0003017843310000037
表示前一次层的第j个输出值，
Figure FDA0003017843310000038
为当前层的第j个偏置，
Figure FDA0003017843310000039
为当前层的第j个卷积核，υ为当前层对应的卷积窗口数。
3.如权利要求2所述的基于可信网络的目标识别联邦深度学习方法，其特征在于，所述S122采用交叉熵构建损失函数，具体如下：
对于单个训练样本，设p(x)为真实的样本概率分布，q(x)为局部模型
Figure FDA00030178433100000310
输出的预测概率分布，设有m个类别，则交叉熵损失函数为：
Figure FDA00030178433100000311
由于采用的Adam算法进行优化，故：
权重的更新为：
Figure FDA00030178433100000312
偏置的更新为；
Figure FDA00030178433100000313
其中，η为学习率，δ为用于数值稳定的小常数；
Figure FDA00030178433100000314
分别为w、b的修正一阶矩偏差，分别由
Figure FDA00030178433100000315
更新而来，而
Figure FDA00030178433100000316
其中，
Figure FDA00030178433100000317
为矩估计的衰减速率，在[0,1)内，gw为w的梯度，gb为b的梯度，
Figure FDA00030178433100000318
分别为w、b的修正二阶矩方差，分别由
Figure FDA00030178433100000319
更新而来，而
Figure FDA00030178433100000320
Figure FDA0003017843310000041
Figure FDA0003017843310000042
为矩估计的衰减速率，在[0,1)内，rw,rb,sw,sb,t的初值均为0，t的步长为1。
CN202110394016.5A 2021-04-13 2021-04-13 一种基于可信网络的目标识别联邦深度学习方法 Active CN112949837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110394016.5A CN112949837B (zh) 2021-04-13 2021-04-13 一种基于可信网络的目标识别联邦深度学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110394016.5A CN112949837B (zh) 2021-04-13 2021-04-13 一种基于可信网络的目标识别联邦深度学习方法

Publications (2)

Publication Number Publication Date
CN112949837A true CN112949837A (zh) 2021-06-11
CN112949837B CN112949837B (zh) 2022-11-11

Family

ID=76232432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110394016.5A Active CN112949837B (zh) 2021-04-13 2021-04-13 一种基于可信网络的目标识别联邦深度学习方法

Country Status (1)

Country Link
CN (1) CN112949837B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361618A (zh) * 2021-06-17 2021-09-07 武汉卓尔信息科技有限公司 一种基于联邦学习的工业数据联合建模方法及系统
CN113378994A (zh) * 2021-07-09 2021-09-10 浙江大学 一种图像识别方法、装置、设备及计算机可读存储介质
CN113378243A (zh) * 2021-07-14 2021-09-10 南京信息工程大学 一种基于多头注意力机制的个性化联邦学习方法
CN113537509A (zh) * 2021-06-28 2021-10-22 南方科技大学 协作式的模型训练方法及装置
CN113554181A (zh) * 2021-07-07 2021-10-26 南京信息工程大学 一种基于批增量方式的联邦学习训练模型
CN113645197A (zh) * 2021-07-20 2021-11-12 华中科技大学 一种去中心化的联邦学习方法、装置及系统
CN113726561A (zh) * 2021-08-18 2021-11-30 西安电子科技大学 利用联邦学习训练卷积神经网络的业务类型识别方法
CN113781397A (zh) * 2021-08-11 2021-12-10 中国科学院信息工程研究所 基于联邦学习的医疗影像病灶检测建模方法、装置及系统
CN113792339A (zh) * 2021-09-09 2021-12-14 浙江数秦科技有限公司 一种双向隐私保密的神经网络模型共享方法
CN113806735A (zh) * 2021-08-20 2021-12-17 北京工业大学 一种执行与评价双网络个性化联邦学习入侵检测方法及系统
CN113902131A (zh) * 2021-12-06 2022-01-07 中国科学院自动化研究所 抵抗联邦学习中歧视传播的节点模型的更新方法
CN113919508A (zh) * 2021-10-15 2022-01-11 河南工业大学 一种基于移动式服务器的联邦学习系统及方法
CN114118272A (zh) * 2021-11-26 2022-03-01 中国科学院长春光学精密机械与物理研究所 用于深度学习模型的三段式训练方法
CN114419376A (zh) * 2022-03-09 2022-04-29 深圳市城图科技有限公司 一种多模态渐进式联邦学习的图像识别方法
CN114564746A (zh) * 2022-02-28 2022-05-31 浙江大学 基于客户端权重评价的联邦学习方法和系统
CN114819192A (zh) * 2022-06-28 2022-07-29 医渡云（北京）技术有限公司 联邦学习方法及装置、计算机可读存储介质、电子设备
CN114882335A (zh) * 2022-05-05 2022-08-09 河北工业大学 基于联邦学习框架面向感算云一体化的智能图像传感装置
CN114882245A (zh) * 2022-04-22 2022-08-09 山东大学 一种联邦多任务学习中基于特征提取-子任务分类器的数据标签分类方法及系统
CN115577797A (zh) * 2022-10-18 2023-01-06 东南大学 一种基于本地噪声感知的联邦学习优化方法及系统
CN115830400A (zh) * 2023-02-10 2023-03-21 南昌大学 一种基于联邦学习机制的数据识别方法及其系统
CN116229219A (zh) * 2023-05-10 2023-06-06 浙江大学 基于联邦和对比表征学习的图像编码器训练方法和系统
WO2023185485A1 (zh) * 2022-04-02 2023-10-05 西安电子科技大学 基于自适应分割联邦学习的模型训练方法和人脸识别方法
CN117474127A (zh) * 2023-12-27 2024-01-30 苏州元脑智能科技有限公司 分布式机器学习模型训练系统、方法、装置及电子设备
CN114564746B (zh) * 2022-02-28 2024-05-14 浙江大学 基于客户端权重评价的联邦学习方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740906A (zh) * 2016-01-29 2016-07-06 中国科学院重庆绿色智能技术研究院 一种基于深度学习的车辆多属性联合分析方法
CN110288598A (zh) * 2019-07-05 2019-09-27 杭州喔影网络科技有限公司 一种基于深度学习的模糊照片检测方法
CN110442457A (zh) * 2019-08-12 2019-11-12 北京大学深圳研究生院 基于联邦学习的模型训练方法、装置及服务器
CN111091199A (zh) * 2019-12-20 2020-05-01 哈尔滨工业大学（深圳） 一种基于差分隐私的联邦学习方法、装置及存储介质
CN111325619A (zh) * 2018-12-15 2020-06-23 深圳先进技术研究院 一种基于联合学习的信用卡欺诈检测模型更新方法及装置
CN111798002A (zh) * 2020-05-31 2020-10-20 北京科技大学 一种局部模型占比可控的联邦学习全局模型聚合方法
CN111967607A (zh) * 2020-07-31 2020-11-20 中国科学院深圳先进技术研究院 模型训练方法和装置、电子设备及机器可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105740906A (zh) * 2016-01-29 2016-07-06 中国科学院重庆绿色智能技术研究院 一种基于深度学习的车辆多属性联合分析方法
CN111325619A (zh) * 2018-12-15 2020-06-23 深圳先进技术研究院 一种基于联合学习的信用卡欺诈检测模型更新方法及装置
CN110288598A (zh) * 2019-07-05 2019-09-27 杭州喔影网络科技有限公司 一种基于深度学习的模糊照片检测方法
CN110442457A (zh) * 2019-08-12 2019-11-12 北京大学深圳研究生院 基于联邦学习的模型训练方法、装置及服务器
CN111091199A (zh) * 2019-12-20 2020-05-01 哈尔滨工业大学（深圳） 一种基于差分隐私的联邦学习方法、装置及存储介质
CN111798002A (zh) * 2020-05-31 2020-10-20 北京科技大学 一种局部模型占比可控的联邦学习全局模型聚合方法
CN111967607A (zh) * 2020-07-31 2020-11-20 中国科学院深圳先进技术研究院 模型训练方法和装置、电子设备及机器可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王蓉 等: "基于联邦学习和卷积神经网络的入侵检测方法", 《信息网络安全》 *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361618A (zh) * 2021-06-17 2021-09-07 武汉卓尔信息科技有限公司 一种基于联邦学习的工业数据联合建模方法及系统
CN113537509A (zh) * 2021-06-28 2021-10-22 南方科技大学 协作式的模型训练方法及装置
CN113554181A (zh) * 2021-07-07 2021-10-26 南京信息工程大学 一种基于批增量方式的联邦学习训练模型
CN113554181B (zh) * 2021-07-07 2023-06-23 南京信息工程大学 一种基于批增量方式的联邦学习训练方法
CN113378994A (zh) * 2021-07-09 2021-09-10 浙江大学 一种图像识别方法、装置、设备及计算机可读存储介质
CN113378243A (zh) * 2021-07-14 2021-09-10 南京信息工程大学 一种基于多头注意力机制的个性化联邦学习方法
CN113378243B (zh) * 2021-07-14 2023-09-29 南京信息工程大学 一种基于多头注意力机制的个性化联邦学习方法
CN113645197B (zh) * 2021-07-20 2022-04-29 华中科技大学 一种去中心化的联邦学习方法、装置及系统
CN113645197A (zh) * 2021-07-20 2021-11-12 华中科技大学 一种去中心化的联邦学习方法、装置及系统
CN113781397A (zh) * 2021-08-11 2021-12-10 中国科学院信息工程研究所 基于联邦学习的医疗影像病灶检测建模方法、装置及系统
CN113781397B (zh) * 2021-08-11 2023-11-21 中国科学院信息工程研究所 基于联邦学习的医疗影像病灶检测建模方法、装置及系统
CN113726561A (zh) * 2021-08-18 2021-11-30 西安电子科技大学 利用联邦学习训练卷积神经网络的业务类型识别方法
CN113806735A (zh) * 2021-08-20 2021-12-17 北京工业大学 一种执行与评价双网络个性化联邦学习入侵检测方法及系统
CN113792339A (zh) * 2021-09-09 2021-12-14 浙江数秦科技有限公司 一种双向隐私保密的神经网络模型共享方法
CN113919508A (zh) * 2021-10-15 2022-01-11 河南工业大学 一种基于移动式服务器的联邦学习系统及方法
CN114118272A (zh) * 2021-11-26 2022-03-01 中国科学院长春光学精密机械与物理研究所 用于深度学习模型的三段式训练方法
CN114118272B (zh) * 2021-11-26 2024-04-30 中国科学院长春光学精密机械与物理研究所 用于深度学习模型的三段式训练方法
CN113902131A (zh) * 2021-12-06 2022-01-07 中国科学院自动化研究所 抵抗联邦学习中歧视传播的节点模型的更新方法
WO2023103864A1 (zh) * 2021-12-06 2023-06-15 中国科学院自动化研究所 抵抗联邦学习中歧视传播的节点模型的更新方法
CN114564746A (zh) * 2022-02-28 2022-05-31 浙江大学 基于客户端权重评价的联邦学习方法和系统
CN114564746B (zh) * 2022-02-28 2024-05-14 浙江大学 基于客户端权重评价的联邦学习方法和系统
CN114419376A (zh) * 2022-03-09 2022-04-29 深圳市城图科技有限公司 一种多模态渐进式联邦学习的图像识别方法
CN114419376B (zh) * 2022-03-09 2022-12-23 深圳市城图科技有限公司 一种多模态渐进式联邦学习的图像识别方法
WO2023185485A1 (zh) * 2022-04-02 2023-10-05 西安电子科技大学 基于自适应分割联邦学习的模型训练方法和人脸识别方法
CN114882245A (zh) * 2022-04-22 2022-08-09 山东大学 一种联邦多任务学习中基于特征提取-子任务分类器的数据标签分类方法及系统
CN114882245B (zh) * 2022-04-22 2023-08-25 山东大学 一种联邦多任务学习中基于特征提取-子任务分类器的数据标签分类方法及系统
US11881014B2 (en) 2022-05-05 2024-01-23 Hebei University Of Technology Intelligent image sensing device for sensing-computing-cloud integration based on federated learning framework
CN114882335B (zh) * 2022-05-05 2023-07-28 河北工业大学 基于联邦学习框架面向感算云一体化的智能图像传感装置
CN114882335A (zh) * 2022-05-05 2022-08-09 河北工业大学 基于联邦学习框架面向感算云一体化的智能图像传感装置
CN114819192B (zh) * 2022-06-28 2022-09-13 医渡云（北京）技术有限公司 联邦学习方法及装置、计算机可读存储介质、电子设备
CN114819192A (zh) * 2022-06-28 2022-07-29 医渡云（北京）技术有限公司 联邦学习方法及装置、计算机可读存储介质、电子设备
CN115577797B (zh) * 2022-10-18 2023-09-26 东南大学 一种基于本地噪声感知的联邦学习优化方法及系统
CN115577797A (zh) * 2022-10-18 2023-01-06 东南大学 一种基于本地噪声感知的联邦学习优化方法及系统
CN115830400B (zh) * 2023-02-10 2023-05-16 南昌大学 一种基于联邦学习机制的数据识别方法及其系统
CN115830400A (zh) * 2023-02-10 2023-03-21 南昌大学 一种基于联邦学习机制的数据识别方法及其系统
CN116229219B (zh) * 2023-05-10 2023-09-26 浙江大学 基于联邦和对比表征学习的图像编码器训练方法和系统
CN116229219A (zh) * 2023-05-10 2023-06-06 浙江大学 基于联邦和对比表征学习的图像编码器训练方法和系统
CN117474127A (zh) * 2023-12-27 2024-01-30 苏州元脑智能科技有限公司 分布式机器学习模型训练系统、方法、装置及电子设备
CN117474127B (zh) * 2023-12-27 2024-03-26 苏州元脑智能科技有限公司 分布式机器学习模型训练系统、方法、装置及电子设备

Also Published As

Publication number Publication date
CN112949837B (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN112949837B (zh) 一种基于可信网络的目标识别联邦深度学习方法
Li et al. A review of applications in federated learning
CN111866869A (zh) 面向边缘计算的联邦学习室内定位隐私保护方法
Khan et al. Crowddqs: Dynamic question selection in crowdsourcing systems
CN109766454A (zh) 一种投资者分类方法、装置、设备及介质
CN110852881B (zh) 风险账户识别方法、装置、电子设备及介质
CN115344883A (zh) 一种用于处理不平衡数据的个性化联邦学习方法和装置
Reyes et al. Precision-weighted federated learning
CN116664930A (zh) 基于自监督对比学习的个性化联邦学习图像分类方法及系统
Lee et al. A hybrid approach combining fuzzy C-means-based genetic algorithm and machine learning for predicting job cycle times for semiconductor manufacturing
Khan et al. DVAEGMM: Dual variational autoencoder with gaussian mixture model for anomaly detection on attributed networks
Ranbaduge et al. Differentially private vertical federated learning
Qiao et al. A framework for multi-prototype based federated learning: Towards the edge intelligence
Feng et al. IoTSL: Towards efficient distributed learning for resource-constrained Internet of Things
Feng et al. Retracted: Green intelligent financial system construction paradigm based on deep learning and concurrency models
Chandra et al. RIPA: Real-time image privacy alert system
CN113344589A (zh) 一种基于vaegmm模型的发电企业串谋行为的智能识别方法
Liu et al. A review of federated meta-learning and its application in cyberspace security
Tong et al. Heterogeneous cross-company effort estimation through transfer learning
WO2023035526A1 (zh) 对象排序方法、相关设备及介质
US11587323B2 (en) Target model broker
Yang et al. Federated Continual Learning via Knowledge Fusion: A Survey
CN114529063A (zh) 一种基于机器学习的金融领域数据预测方法、设备及介质
CN113128615A (zh) 基于pca的bp神经网络对信息安全的检测系统、方法、应用
Xing et al. Distributed Model Interpretation for Vertical Federated Learning with Feature Discrepancy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant