CN117094381A - 一种兼顾高效通信和个性化的多模态联邦协同方法 - Google Patents
一种兼顾高效通信和个性化的多模态联邦协同方法 Download PDFInfo
- Publication number
- CN117094381A CN117094381A CN202311054007.7A CN202311054007A CN117094381A CN 117094381 A CN117094381 A CN 117094381A CN 202311054007 A CN202311054007 A CN 202311054007A CN 117094381 A CN117094381 A CN 117094381A
- Authority
- CN
- China
- Prior art keywords
- model
- network
- edge
- global
- cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004891 communication Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000006835 compression Effects 0.000 claims abstract description 31
- 238000007906 compression Methods 0.000 claims abstract description 31
- 230000011218 segmentation Effects 0.000 claims abstract description 14
- 238000009825 accumulation Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 238000013139 quantization Methods 0.000 claims description 10
- 238000004220 aggregation Methods 0.000 claims description 8
- 230000002776 aggregation Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 101100481876 Danio rerio pbk gene Proteins 0.000 claims description 4
- 101100481878 Mus musculus Pbk gene Proteins 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 5
- 230000008447 perception Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/098—Distributed learning, e.g. federated learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0895—Weakly supervised learning, e.g. semi-supervised or self-supervised learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
一种兼顾高效通信和个性化的多模态联邦协同方法，所述方法首先在云端构建全局模型，全局模型采用了多模态模型，可以对多模态数据进行建模，并分别初始化全局模型的权重；将全局模型参数拷贝给边缘端，构建局部模型。局部模型为一个三玩家模型，分别是全局网络，切分网络和局部网络。在模型局部更新阶段，将切分网络划分为基础层和学习层，其中基础层的参数可以通过上传上行链路的形式传送给云端全局模型；基于误差压缩的梯度输出方法，计算边缘端模型参数梯度的积累量，并对参数梯度的积累量采用信号压缩，减少需要更新的量，达到提高通信效率的目的。
Description
技术领域
本发明涉及一种兼顾高效通信和个性化的多模态联邦协同方法，能够应用在人工智能物联网、工业互联网、服务推荐等诸多领域，例如数字孪生和实体设备的交互、网联设备优化、微服务组件调度等，应用涉及面广。
背景技术
随着人工智能、云边协同等技术的迅速发展，无人集群系统(如AGV、无人机、无人船等)成为工业互联网数据湖的主要来源，为智能仓储、智能生产、数字孪生反馈控制等上层服务系统提供了重要支持。例如，在工业互联网领域无人集群系统控制应用中，从实体设备采集感知数据对于分析数字孪生设备、孪生-云设备的通信，以及云设备反馈控制集群系统至关重要。从宏观角度来看，无人集群系统的感知可以跨越云、边缘和端设备的层次结构。从微观逻辑角度来看，工业互联网的感知涉及到多个物理-虚拟设备的分布式计算问题。在工业领域的感知方法中，联邦学习技术因其具备在分布式计算中保护隐私的潜力而成为感知计算的重要研究方向。然而，随着采集数据的多元性和云边计算资源环境的有限性，实现多个设备的协同感知变得困难。现有研究工作在无人集群感知方案上缺乏全面考虑，例如如何平衡设备之间的通信成本、如何考虑多个硬件-虚拟设备的物理异构性问题，不利于感知方案的快速迭代优化。
现有的无人集群系统存在以下问题：1.无人集群系统往往采集多模态的信息，例如图像、声音、点云等模态信息。2.环境资源的有限性，由于计算设备算力、网络带宽等限制条件，高效的联邦学习显得尤为重要。3.设备的异构性，由于集群设备中采集数据、电气信号、通信协议和采集质量的差异，若应用相同的感知模型在集群中，将严重影响联邦学习的建模效果。
发明内容
本发明从工业互联网实际需求和应用的角度出发，提供了一种面向多模态数据的兼顾高效通信和异步训练的边云协同治理方法，可以实现工业互联网设备采集的异构数据云边协同训练和半监督学习。在工业互联网领域，面临的一个关键技术问题是在各边缘节点设备的异构性导致云端模型建模效果不佳的问题。因此，如何提高云端模型的建模效果，是本发明着重考虑的问题。其中核心的问题是数据异质性：边缘端的本地数据分布可能不同，这可能导致边云协同治理优化的困难。第二个问题是数据的多源性：各边缘端可能由多个感知传感器进行采集。第三个障碍是参数更新的高通信成本，由于参与边缘节点数量造成的模型参数通信负担问题。这些问题表明了数据治理在工业互联网应用中面临的困境。解决这些挑战需要综合考虑数据多源性、节点异质性和通信成本等因素，本发明提出相应的技术和方法来克服这些障碍。本发明着重从多模态的数据出发，采用通信的方式的压缩，设备的异步训练的方式，支撑多模态的异构数据学习。此外，本发明为了适应于实际工业互联网环境，还考虑了半监督学习的训练方式，考虑各边缘端存在无标签样本的情况。
为实现上述目的，本发明采取的技术方案如下：
一种兼顾高效通信和个性化的多模态联邦协同方法，所述方法为：
步骤一：采集多模态的视觉和声学模态数据，并采用两层全连接网络的方式，将视觉特征和声学特征进行合并构建训练多模态分类器模型；
步骤二：云边协同模型包括云端和边缘端训练的模型，即边缘端训练和云端训练更新；假设每次全局融合共需要选择K个边缘端模型，在边缘端的训练模型中，每个模型Mk，其参数为分别包括标签和无标签数据；全局模型M的参数ωM经过各边缘端模型参数平均计算得到：
步骤三：针对各边缘端模型，为一个三玩家的模型，分别是全局网络，切分网络和局部网络；切分网络的结构由m+n层的网络实现无标签样本的预测，其中特征提取层(n层)由全局网络提供，个性化层(m层)由局部网络提供；
步骤四：为了实现半监督学习，最后聚合全局网络、切分网络和局部网络的结果的输出，为未标记的数据分配伪标签标签；利用标记和伪标记的数据，运行边缘端模型来更新参数，这些参数将被上传到云端模型以更新全局参数；三玩家模型的训练分为两个阶段，预训练阶段和伪标签学习阶段；
步骤五：针对半监督学习生成的伪标签的预测是否被信任，暨设置一个全局阈值θ，如果最大概率大于θ，既可以认为该无标签样本及其生成的伪标签可以被加入到训练集中；此外，全局阈值的设置是动态性的，随着全局迭代次数T动态变化：
其中，α是控制全局阈值的学习率；表示待上载的K个局部模型阈值的平均值，既
步骤六：提出了梯度量化的方法，通过量化反馈误差实现云端和边缘端模型的通信成本；
计算伪梯度变量Δ，计算云端模型下载到边缘端模型和各边缘端模型上载到云端模型的二范数差异，表征：
其中，参数t代表第t次全局迭代；的含义是第t次迭代的伪梯度变量；
将针对第t次伪梯度变量采取量化压缩的手段，得到/>C(.)表示量化压缩算子；
步骤七：各边缘端模型只给云端模型贡献实现提高通信效率的目的；因此云端积累的各边缘端模型的误差为：/>
各边缘端模型压缩的误差满足迭代的表示为：
其中，表示第k个模型在第t次迭代时候的压缩误差；/>表示第k个模型在第t+1次迭代时候的压缩误差；
步骤八：将所述误差积累作为梯度参数传递给云端，云端模型基于所述各边缘端上传的梯度参数进行聚合后得到的聚合模型，并将所述的聚合模型作为云端模型重新下载到边缘端模型，直至达到了迭代截止后联邦学习结束。
本发明相对于现有技术的有益效果为：在Non-IID和Streaming Non-IID的非独立同分布的异构数据下，随着通讯次数的增加，学习效果逐渐增强，证明了个性化学习的能力。
附图说明
图1为一种兼顾高效通信和个性化的多模态联邦协同方法流程图。
图2为在Non-IID数据下，通信轮数随着准确率变化的情况图；
图3为在StreamingNon-IID数据下，通信轮数随着准确率变化的情况图。
具体实施方式
下面结合附图和实施例对本发明的技术方案进行进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。
如图1所示，本发明首先在云端构建全局模型，全局模型采用了多模态模型，可以对多模态数据进行建模，并分别初始化全局模型的权重；将全局模型参数拷贝给边缘端，构建局部模型。局部模型为一个三玩家模型，分别是全局网络，切分网络和局部网络。在模型局部更新阶段，将切分网络划分为基础层和学习层，其中基础层的参数可以通过上传上行链路的形式传送给云端全局模型；基于误差压缩的梯度输出方法，计算边缘端模型参数梯度的积累量，并对参数梯度的积累量采用信号压缩，减少需要更新的量，达到提高通信效率的目的。图1包括全局模型和局部模型组成。全局模型为多模态分类器模型，通过建立多层卷积模型实现图像和声学模态的联合建模；此外，全局模型将ωM下发到各局部模型；为了实现个性化训练，在局部模型，为一个由三玩家模型，既全局网络、局部网络、切分网络组成。
具体实施方式一：本实施方式记载的是一种兼顾高效通信和个性化的多模态联邦协同方法，所述方法为：
步骤一：采集多模态的视觉和声学模态数据，并采用两层全连接网络的方式，将视觉特征和声学特征进行合并构建训练多模态分类器模型，如图1所示；
步骤二：云边协同模型包括云端和边缘端训练的模型，即边缘端训练和云端训练更新；假设每次全局融合共需要选择K个边缘端模型，在边缘端的训练模型中，每个模型Mk，其参数为分别包括标签和无标签数据；全局模型M的参数ωM经过各边缘端模型参数平均计算得到：
步骤三：针对各边缘端模型，为一个三玩家的模型，分别是全局网络，切分网络和局部网络；切分网络的结构由m+n层的网络实现无标签样本的预测，其中特征提取层(n层)由全局网络提供，个性化层(m层)由局部网络提供；均为个性化层(m层)和特征提取层(n层)，通过m+n层的网络实现无标签样本的预测；
步骤四：为了实现半监督学习，最后聚合全局网络、切分网络和局部网络的结果的输出，为未标记的数据分配伪标签标签；利用标记和伪标记的数据，运行边缘端模型来更新参数，这些参数将被上传到云端模型以更新全局参数；三玩家模型的训练分为两个阶段，预训练阶段和伪标签学习阶段；
步骤五：针对半监督学习生成的伪标签的预测是否被信任，暨设置一个全局阈值θ，如果最大概率大于θ，既可以认为该无标签样本及其生成的伪标签可以被加入到训练集中；此外，全局阈值的设置是动态性的，随着全局迭代次数T动态变化：
其中，α是控制全局阈值的学习率；表示待上载的K个局部模型阈值的平均值，既从公式(4)可以看出，阈值θ会随着全局迭代次数的增加而逐渐降低，因为生成的伪标签质量也会随着迭代次数的增加而得到增强；
步骤六：此外，本发明还提出了梯度量化的方法，通过量化反馈误差实现云端和边缘端模型的通信成本；
计算伪梯度变量Δ，计算云端模型下载到边缘端模型和各边缘端模型上载到云端模型的二范数差异，表征：
其中，参数t代表第t次全局迭代；的含义是第t次迭代的伪梯度变量；
本项目模型将针对第t次伪梯度变量采取量化压缩的手段，得到C(.)表示量化压缩算子；
步骤七：各边缘端模型只给云端模型贡献实现提高通信效率的目的；因此云端积累的各边缘端模型的误差为：/>
各边缘端模型压缩的误差满足迭代的表示为：
其中，表示第k个模型在第t次迭代时候的压缩误差；/>表示第k个模型在第t+1次迭代时候的压缩误差；
步骤八：将所述误差积累作为梯度参数传递给云端，云端模型基于所述各边缘端上传的梯度参数进行聚合后得到的聚合模型，并将所述的聚合模型作为云端模型重新下载到边缘端模型，直至达到了迭代截止后联邦学习结束。
具体实施方式二：具体实施方式一所述的一种兼顾高效通信和个性化的多模态联邦协同方法，步骤一中，视觉图像经过三层卷积网络组成的视觉特征提取算子，声学模态经过三层卷积网络组成的声学特征提取算子。
具体实施方式三：具体实施方式一所述的一种兼顾高效通信和个性化的多模态联邦协同方法，步骤四中，所述预训练阶段具体为：产生伪标签后更新边缘端模型；设计损失函数：实现伪标签质量生成的自适应学习；在每一轮通信中，边缘端从云端模型下载全局的参数，用于预训练的边缘端模型训练；之后，部分边缘端模型将参与全局聚合，将其本地模型参数上传到服务器；损失函数中，CE代表交叉熵损失函数，f代表网络模型，/>代表第k个模型下的第i个样本，/>代表第k个网络模型第i个参数，/>代表第k个模型下的第i个标签，/>是k个模型的样本个数；
所述伪标签学习阶段具体为：三玩家模型中的全局网络前n层深度神经网络专注于低维特征学习，这些特征可以在不同异构数据建模任务之间共享；此外，局部网络的后m层深度神经网络用来提取各边缘端数据的个性化特征，因此这些特征是独特的(根据步骤三，个性化层(m层)和特征提取层(n层)，这里讲的前n层深度神经网络专注于低维特征学习，就是用于特征提取，m层深度神经网络用来提取各边缘端数据的个性化特征就是个性化层)；三玩家的模型，包括全局网络的浅层参数(具有更好的泛化能力)和局部网络的深层来组成切分网络，实现个性化的训练；最后，通过统计全局网络pg，切分网络ps和局部网络pl的输出概率，得到预测结果：
最后采用函数argmax(.)计算最大化概率实现伪标签类别的计算：
具体实施方式四：具体实施方式一所述的一种兼顾高效通信和个性化的多模态联邦协同方法，步骤八中，所述压缩算子为Scaled-sign压缩算子或TopK压缩算子；所述Scaled-sign压缩算子表示为符号和伸缩操作的集合：
C(ω)＝||ω||1·sign(ω)/d (6)
其中，d表示压缩参数，||ω||1表示参数的1范数，sign(ω)表示符号函数；
所述TopK压缩算子表示为若干基向量与参数幅度的乘积：
其中，αi表示第i个基向量；ωi表示第i个参数幅度。
实施例1：
整个算法模型的实施过程可以表示为：
输入：初始模型参数，压缩函数C(.)，全局迭代次数T
采集多模态的视觉和声学模态数据，训练多模态分类器模型。初始化云端模型M，参数为ωM和边缘段模型Mk。共分为预训练和半监督学习两个阶段。第k个边缘模型的有标签样本标签/>第k个边缘模型的有标签样本/>
----------------------------预训练阶段---------------------
Fort＝1……T1：
随机任选K个边缘端模型
云端模型下发参数ωM给边缘端模型
For i＝1……K：
通过损失函数引导，计算三玩家模型的分数：/>得到边缘端训练后的梯度/>
计算伪梯度：
压缩伪梯度：
End for
云端模型融合各边缘端的计算误差积累
----------------------------半监督学习阶段---------------------
For t＝1……T2：
随机任选K个边缘端模型
云端模型下发参数ωM给边缘端模型
For i＝1……K：
计算三玩家模型的分数：得到伪标签/>得到边缘端训练后的梯度/>通过损失函数引导，/>若/>则信任伪标签/>的值。
计算伪梯度：
压缩伪梯度：
End for
云端模型融合各边缘端的计算误差积累
为了探索在半监督学习的学习效果，在不同非独立同分布(Non-IID，StreamingNon-IID)数据下，通信轮数随着准确率变化的情况，如图2和3所示。各边缘端标签数量为300、500和800。随着标签数量的递增，模型得到越快的收敛。由图2可以看出，标签量在800时，80次迭代后模型逐步收敛；标签量在500时，100次迭代后模型逐步收敛；标签量在300时，模型无法在120步迭代次数内实现收敛.实验表明边缘端标签越多，约有利于收敛；由图3可以看出，标签量在800时，80次迭代后模型逐步收敛；标签量在500时，80次迭代后模型逐步收敛；标签量在300时，80次迭代后模型逐步收敛。
Claims (4)
1.一种兼顾高效通信和个性化的多模态联邦协同方法，其特征在于：所述方法为：
步骤一：采集多模态的视觉和声学模态数据，并采用两层全连接网络的方式，将视觉特征和声学特征进行合并构建训练多模态分类器模型；
步骤二：云边协同模型包括云端和边缘端训练的模型，即边缘端训练和云端训练更新；假设每次全局融合共需要选择K个边缘端模型，在边缘端的训练模型中，每个模型Mk，其参数为分别包括标签和无标签数据；全局模型M的参数ωM经过各边缘端模型参数平均计算得到：
步骤三：针对各边缘端模型，为一个三玩家的模型，分别是全局网络，切分网络和局部网络；切分网络的结构由m+n层的网络实现无标签样本的预测，其中特征提取层(n层)由全局网络提供，个性化层(m层)由局部网络提供；
步骤四：为了实现半监督学习，最后聚合全局网络、切分网络和局部网络的结果的输出，为未标记的数据分配伪标签标签；利用标记和伪标记的数据，运行边缘端模型来更新参数，这些参数将被上传到云端模型以更新全局参数；三玩家模型的训练分为两个阶段，预训练阶段和伪标签学习阶段；
步骤五：针对半监督学习生成的伪标签的预测是否被信任，暨设置一个全局阈值θ，如果最大概率大于θ，既可以认为该无标签样本及其生成的伪标签可以被加入到训练集中；此外，全局阈值的设置是动态性的，随着全局迭代次数T动态变化：
其中，α是控制全局阈值的学习率；表示待上载的K个局部模型阈值的平均值，既
步骤六：提出了梯度量化的方法，通过量化反馈误差实现云端和边缘端模型的通信成本；
计算伪梯度变量Δ，计算云端模型下载到边缘端模型和各边缘端模型上载到云端模型的二范数差异，表征：
其中，参数t代表第t次全局迭代；的含义是第t次迭代的伪梯度变量；
将针对第t次伪梯度变量采取量化压缩的手段，得到/>C(.)表示量化压缩算子；
步骤七：各边缘端模型只给云端模型贡献实现提高通信效率的目的；因此云端积累的各边缘端模型的误差为：/>
各边缘端模型压缩的误差满足迭代的表示为：
其中，表示第k个模型在第t次迭代时候的压缩误差；/>表示第k个模型在第t+1次迭代时候的压缩误差；
步骤八：将所述误差积累作为梯度参数传递给云端，云端模型基于所述各边缘端上传的梯度参数进行聚合后得到的聚合模型，并将所述的聚合模型作为云端模型重新下载到边缘端模型，直至达到了迭代截止后联邦学习结束。
2.根据权利要求1所述的一种兼顾高效通信和个性化的多模态联邦协同方法，其特征在于：步骤一中，视觉图像经过三层卷积网络组成的视觉特征提取算子，声学模态经过三层卷积网络组成的声学特征提取算子。
3.根据权利要求1所述的一种兼顾高效通信和个性化的多模态联邦协同方法，其特征在于：步骤四中，所述预训练阶段具体为：产生伪标签后更新边缘端模型；设计损失函数：实现伪标签质量生成的自适应学习；在每一轮通信中，边缘端从云端模型下载全局的参数，用于预训练的边缘端模型训练；之后，部分边缘端模型将参与全局聚合，将其本地模型参数上传到服务器；损失函数中，CE代表交叉熵损失函数，f代表网络模型，/>代表第k个模型下的第i个样本，/>代表第k个网络模型第i个参数，代表第k个模型下的第i个标签，/>是k个模型的样本个数；
所述伪标签学习阶段具体为：三玩家模型中的全局网络前n层深度神经网络专注于低维特征学习，这些特征可以在不同异构数据建模任务之间共享；此外，局部网络的后m层深度神经网络用来提取各边缘端数据的个性化特征，因此这些特征是独特的；三玩家的模型，包括全局网络的浅层参数(具有更好的泛化能力)和局部网络的深层来组成切分网络，实现个性化的训练；最后，通过统计全局网络pg，切分网络ps和局部网络pl的输出概率，得到预测结果：
最后采用函数argmax(.)计算最大化概率实现伪标签类别的计算：
4.根据权利要求1所述的一种兼顾高效通信和个性化的多模态联邦协同方法，其特征在于：步骤八中，所述压缩算子为Scaled-sign压缩算子或TopK压缩算子；所述Scaled-sign压缩算子表示为符号和伸缩操作的集合：
C(ω)＝||ω||1·sign(ω)/d (6)
其中，d表示压缩参数，||ω||1表示参数的1范数，sign(ω)表示符号函数；
所述TopK压缩算子表示为若干基向量与参数幅度的乘积：
其中，αi表示第i个基向量；ωi表示第i个参数幅度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311054007.7A CN117094381B (zh) | 2023-08-21 | 2023-08-21 | 一种兼顾高效通信和个性化的多模态联邦协同方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311054007.7A CN117094381B (zh) | 2023-08-21 | 2023-08-21 | 一种兼顾高效通信和个性化的多模态联邦协同方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117094381A true CN117094381A (zh) | 2023-11-21 |
| CN117094381B CN117094381B (zh) | 2024-04-12 |
Family
ID=88773108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311054007.7A Active CN117094381B (zh) | 2023-08-21 | 2023-08-21 | 一种兼顾高效通信和个性化的多模态联邦协同方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117094381B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298191A (zh) * | 2021-04-01 | 2021-08-24 | 山东大学 | 基于个性化半监督在线联邦学习的用户行为识别方法 |
| WO2023092792A1 (zh) * | 2021-11-29 | 2023-06-01 | 深圳前海微众银行股份有限公司 | 联邦学习建模优化方法、电子设备、存储介质及程序产品 |
| CN116416508A (zh) * | 2023-03-17 | 2023-07-11 | 西安电子科技大学广州研究院 | 一种加快全局联邦学习模型收敛的方法及联邦学习系统 |
| CN116523079A (zh) * | 2023-03-10 | 2023-08-01 | 华南理工大学 | 一种基于强化学习联邦学习优化方法及系统 |
-
2023
- 2023-08-21 CN CN202311054007.7A patent/CN117094381B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298191A (zh) * | 2021-04-01 | 2021-08-24 | 山东大学 | 基于个性化半监督在线联邦学习的用户行为识别方法 |
| WO2023092792A1 (zh) * | 2021-11-29 | 2023-06-01 | 深圳前海微众银行股份有限公司 | 联邦学习建模优化方法、电子设备、存储介质及程序产品 |
| CN116523079A (zh) * | 2023-03-10 | 2023-08-01 | 华南理工大学 | 一种基于强化学习联邦学习优化方法及系统 |
| CN116416508A (zh) * | 2023-03-17 | 2023-07-11 | 西安电子科技大学广州研究院 | 一种加快全局联邦学习模型收敛的方法及联邦学习系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117094381B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Edge AI: On-demand accelerating deep neural network inference via edge computing | |
| Chen et al. | DNNOff: offloading DNN-based intelligent IoT applications in mobile edge computing | |
| Chen et al. | Label-less learning for traffic control in an edge network | |
| Zhou et al. | Edge intelligence: Paving the last mile of artificial intelligence with edge computing | |
| CN112863180B (zh) | 交通速度预测方法、装置、电子设备及计算机可读介质 | |
| CN113762322A (zh) | 基于多模态表示的视频分类方法、装置和设备及存储介质 | |
| CN111930894B (zh) | 长文本匹配方法及装置、存储介质、电子设备 | |
| Liu et al. | Resource-constrained federated edge learning with heterogeneous data: Formulation and analysis | |
| CN113254729B (zh) | 基于动态超图网络的多模态演化特征自动共形表示方法 | |
| Liang et al. | DNN surgery: Accelerating DNN inference on the edge through layer partitioning | |
| CN112508181A (zh) | 一种基于多通道机制的图池化方法 | |
| CN116012880A (zh) | 分布式边缘协同推理的行人重识别方法、系统及装置 | |
| CN116401949A (zh) | 分布式光伏资源出力曲线推演方法、系统、设备及介质 | |
| CN115686868A (zh) | 一种基于联邦哈希学习的面向跨节点多模态检索方法 | |
| CN117707795A (zh) | 基于图的模型划分的边端协同推理方法及系统 | |
| CN118038032A (zh) | 基于超点嵌入和聚类的点云语义分割模型及其训练方法 | |
| CN117893807A (zh) | 基于知识蒸馏的联邦自监督对比学习图像分类系统及方法 | |
| CN117371761A (zh) | 一种智慧海洋物联网任务调度方法、装置、设备及介质 | |
| CN117094381B (zh) | 一种兼顾高效通信和个性化的多模态联邦协同方法 | |
| Li et al. | Communication-efficient collaborative learning of geo-distributed jointcloud from heterogeneous datasets | |
| CN115049786B (zh) | 任务导向的点云数据下采样方法及系统 | |
| CN115019053A (zh) | 一种用于点云分类分割的动态图语义特征提取方法 | |
| Zhong et al. | Multimodal cooperative self‐attention network for action recognition | |
| CN113033653A (zh) | 一种边-云协同的深度神经网络模型训练方法 | |
| Sheng et al. | k-degree layer-wise network for geo-distributed computing between cloud and IoT |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |