CN110610242B - 一种联邦学习中参与者权重的设置方法及装置 - Google Patents
一种联邦学习中参与者权重的设置方法及装置 Download PDFInfo
- Publication number
- CN110610242B CN110610242B CN201910823635.4A CN201910823635A CN110610242B CN 110610242 B CN110610242 B CN 110610242B CN 201910823635 A CN201910823635 A CN 201910823635A CN 110610242 B CN110610242 B CN 110610242B
- Authority
- CN
- China
- Prior art keywords
- participant
- participants
- model
- coordinator
- performance test
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000011056 performance test Methods 0.000 claims abstract description 133
- 238000012549 training Methods 0.000 claims description 114
- 238000012360 testing method Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 6
- 230000002596 correlated effect Effects 0.000 claims description 4
- 230000001934 delay Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000008859 change Effects 0.000 description 17
- 230000008901 benefit Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000004220 aggregation Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008450 motivation Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
Abstract
本发明公开了一种联邦学习中参与者权重的设置方法及装置，该方法适用于包括一个协调者和多个参与者的联邦学习；其中方法为：所述协调者将根据多个参与者上报的本地模型参数得到的联邦模型参数发送至所述多个参与者；所述协调者获取所述多个参与者反馈的模型性能测试结果；所述协调者至少根据所述多个模型性能测试结果，设置所述多个参与者的权重值，参与者的权重值用于表征参与者在后续联邦学习中的贡献度。上述方法应用于金融科技(Fintech)时，有效激励了参与者汇报真实模型性能测试结果，同时削弱了虚报模型性能测试结果对整个联邦学习模型的影响。
Description
技术领域
本发明涉及金融科技(Fintech)领域和计算机软件领域，尤其涉及一种联邦学习中参与者权重的设置方法及装置。
背景技术
随着计算机技术的发展，越来越多的技术(大数据、分布式、区块链(Blockchain)、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变。目前，金融科技领域中，经常通过联邦学习来预测或评估金融数据。然而实际应用场景中，因为各个参与者所拥有的数据量和数据的统计特征都不相同，所以在联邦学习训练过程中，对于当前的同一个最新的联合模型，各个参与者各自根据本地测试数据而获得性能测试指标也很可能是不同的。由于联邦学习的结束会考虑到各参与者的平均性能测试指标，各个参与者为了自己的利益，可能会故意发送虚假的较低或较高的性能测试指标给协调者，从而影响平均性能测试指标，以延长或提前退出联邦学习训练。
目前的方式中，协调者对每个参与者发送来的模型参数更新同等对待，权重设为相同，采用简单的算术平均操作，对所有参与者发送来的模型参数更新进行融合。这种权重设置方式下，对虚报性能测试指标的参与者并没有惩罚，不能有效激励参与者发送真实的模型性能测试指标，也不能控制参与者的虚假测试指标对联邦学习模型性能的影响。这是一个亟待解决的问题。
发明内容
本申请实施例提供一种联邦学习中参与者权重的设置方法及装置，解决了现有技术中不能有效激励参与者发送真实的模型性能测试指标，也不能控制参与者的虚假测试指标对联邦学习模型性能的影响的问题。
第一方面，本申请实施例提供一种联邦学习中参与者权重的设置方法，该方法适用于包括一个协调者和多个参与者的联邦学习；所述方法包括：所述协调者将根据多个参与者上报的本地模型参数得到的联邦模型参数发送至所述多个参与者；其中，各参与者的本地模型参数是各参与者根据本地训练数据集训练得到的；所述协调者获取所述多个参与者反馈的模型性能测试结果；其中，所述多个参与者中每个参与者反馈的模型性能测试结果包括：该参与者使用本地训练数据集对根据所述联邦模型参数得到的模型进行性能测试得到的一项或多项测试指标；所述协调者至少根据所述多个模型性能测试结果，设置所述多个参与者的权重值；参与者的权重值用于表征参与者在后续联邦学习中的贡献度。
上述方法下，协调者将联邦学习模型参数发送至所述多个参与者，获取所述多个参与者反馈的多个模型性能测试结果，从而协调者至少根据所述多个模型性能测试结果，动态设置多个参与者的权重值，当联邦学习模型参数变化时，模型性能测试结果也会随之变化，最终导致多个参与者的权重值也变化，由于参与者的权重值用于表征参与者在后续联邦学习中的贡献度，因此虚报导致权重值变小的模型性能测试结果，会降低参与者数据对整个联邦学习数据的影响程度和贡献度，导致联邦学习模型对参与者数据的适应性变小，对参与者进行了一定惩罚，减小了结束训练时长较长的参与者汇报虚假模型性能测试的动机，虚报导致权重值变大的模型性能测试结果亦然，导致联邦学习模型对参与者数据过拟合，进而有效激励了参与者汇报真实模型性能测试结果，同时削弱了虚报模型性能测试结果对整个联邦学习模型的影响。
一种可选实施方式中，所述协调者至少根据所述多个模型性能测试结果，设置所述多个参与者的权重值之后，还包括：所述协调者将所述多个参与者中每个参与者的权重值发送给该参与者，以使该参与者评估在后续联邦学习中的贡献度。
上述方法中，协调者将所述多个参与者中每个参与者的权重值发送给该参与者，该参与者收到该参与者的权重值后，可以评估在后续联邦学习中的贡献度，进一步减少了参与者汇报虚假模型性能测试的动机。
一种可选实施方式中，参与者的模型性能测试结果与该参与者的结束训练时长呈正相关或负相关，结束训练时长为参与者反馈当前模型性能测试结果至联邦学习结束还需要的训练时长，参与者的结束训练时长用于协调者配置该参与者的权重值。
上述方式下，由于参与者的模型性能测试结果与该参与者的结束训练时长呈正相关或负相关，参与者的结束训练时长用于协调者配置该参与者的权重值，从而可根据参与者的权重值与参与者的结束训练时长的关系，选择参与者的模型性能测试结果。
一种可选实施方式中，所述协调者中存储了所述多个参与者的预期模型性能指标，所述协调者至少根据所述多个模型性能测试结果，设置所述多个参与者的权重值，包括：所述协调者根据所述多个参与者中各参与者的预期模型性能指标与各参与者的模型性能测试指标的指标差值，设置各参与者的权重值。
上述方法中，所述协调者根据所述多个参与者中各参与者的预期模型性能指标与各参与者的模型性能测试指标的指标差值，设置各参与者的权重值，协调者可以根据具体需求灵活选择预期模型性能指标，根据指标差值评估模型性能测试指标的变化，由于不同模型性能测试指标与权重值可能与结束训练时长有不同的相关性，进而提升了设置各参与者的权重值的灵活性。
一种可选实施方式中，所述协调者根据所述多个参与者中各参与者的预期模型性能指标与各参与者的模型性能测试指标，设置各参与者的权重常数；其中，权重常数指示出了与参与者的结束训练时长的呈正相关或负相关；所述协调者至少根据所述多个参与者中各参与者的预期模型性能指标与各参与者的模型性能测试指标的指标差值，设置各参与者的权重值，包括：所述协调者根据所述多个参与者中各参与者的权重常数，以及各参与者的预期模型性能指标与该参与者的模型性能测试指标的指标差值，设置各参与者的权重值。
上述方式下，所述协调者根据所述多个参与者中各参与者的预期模型性能指标与各参与者的模型性能测试指标，设置各参与者的权重常数，再根据所述多个参与者中各参与者的权重常数，以及各参与者的预期模型性能指标与该参与者的模型性能测试指标的指标差值，设置各参与者的权重值；由于权重常数指示出了与参与者的结束训练时长的呈正相关或负相关，各参与者的权重常数结合指标差值设置各参与者的权重值，更加细粒度地设置权重值，描述参与者对联邦学习的贡献度。
一种可选实施方式中，所述协调者至少根据所述多个参与者中各参与者的预期模型性能指标与各参与者的模型性能测试指标的指标差值，设置各参与者的权重值，包括：所述协调者将所述多个参与者中模型性能测试指标满足预期模型性能测试指标的参与者的权重值设置为0；权重值为0用于指示该参与者退出联邦学习。
上述方式下，所述协调者将所述多个参与者中模型性能测试指标满足预期模型性能测试指标的参与者的权重值设置为0，由于权重值为0用于指示该参与者退出联邦学习，可通过这种方式及时通知参与者退出联邦学习，从而减少了联邦学习的通信开销。
第二方面，本申请提供一种联邦学习中参与者权重的设置装置，适用于包括一个协调者和多个参与者的联邦学习；所述装置包括：发送模块，用于将根据多个参与者上报的本地模型参数得到的联邦模型参数发送至所述多个参与者；其中，各参与者的本地模型参数是各参与者根据本地训练数据集训练得到的；处理模块，用于获取所述多个参与者反馈的模型性能测试结果；其中，所述多个参与者中每个参与者反馈的模型性能测试结果包括：该参与者使用本地训练数据集对根据所述联邦模型参数得到的模型进行性能测试得到的一项或多项测试指标；以及用于至少根据所述多个模型性能测试结果，设置所述多个参与者的权重值；参与者的权重值用于表征参与者在后续联邦学习中的贡献度。
一种可选实施方式中，所述处理模块还用于：将所述多个参与者中每个参与者的权重值发送给该参与者，以使该参与者评估在后续联邦学习中的贡献度。
一种可选实施方式中，参与者的模型性能测试结果与该参与者的结束训练时长呈正相关或负相关，结束训练时长为参与者反馈当前模型性能测试结果至联邦学习结束还需要的训练时长，参与者的结束训练时长用于协调者配置该参与者的权重值。
一种可选实施方式中，所述协调者中存储了所述多个参与者的预期模型性能指标，所述处理模块具体用于：根据所述多个参与者中各参与者的预期模型性能指标与各参与者的模型性能测试指标的指标差值，设置各参与者的权重值。
一种可选实施方式中，所述处理模块具体用于：根据所述多个参与者中各参与者的预期模型性能指标与各参与者的模型性能测试指标，设置各参与者的权重常数；其中，权重常数指示出了与参与者的结束训练时长的呈正相关或负相关；根据所述多个参与者中各参与者的权重常数，以及各参与者的预期模型性能指标与该参与者的模型性能测试指标的指标差值，设置各参与者的权重值。
一种可选实施方式中，所述处理模块具体用于：将所述多个参与者中模型性能测试指标满足预期模型性能测试指标的参与者的权重值设置为0；权重值为0用于指示该参与者退出联邦学习。
上述第二方面及第二方面各个实施例的有益效果，可以参考上述第一方面及第一方面各个实施例的有益效果，这里不再赘述。
第三方面，本申请实施例提供一种计算机设备，包括程序或指令，当所述程序或指令被执行时，用以执行上述第一方面及第一方面各个实施例的方法。
第四方面，本申请实施例提供一种存储介质，包括程序或指令，当所述程序或指令被执行时，用以执行上述第一方面及第一方面各个实施例的方法。
附图说明
图1为本申请实施例提供的联邦学习的架构示意图；
图2为本申请实施例提供的一种联邦学习方式的过程示意图；
图3为本申请实施例提供的一种联邦学习模型性能测试的过程示意图；
图4为本申请实施例提供的一种联邦学习中参与者权重的设置方法的步骤流程示意图；
图5为本申请实施例提供的一种联邦学习中参与者权重的设置方法的时序示意图；
图6为本申请实施例提供的一种联邦学习中参与者权重的设置装置的结构示意图。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图及具体的实施方式对上述技术方案进行详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互结合。
联邦学习是指通过联合不同的参与者进行机器学习的方法。如图1所示，联邦学习的一次联合模型参数更新分为两步：(a)每个参与者(也称为数据拥有者(data owner)，或者客户(client))只使用自己本地拥有的数据来训练机器学习模型并获得模型参数更新，并向一个协调者(也称为参数服务器(parameter server)，或者聚合服务器(aggregationserver))发送模型参数更新，例如，模型权值或者梯度信息；(b)所述协调者将所收到的来自不同参与者的模型参数更新进行融合(例如，取加权平均)，并将融合后的模型参数更新再分发给各个参与者。在联邦学习中，参与者并不需要向其它参与者和协调者暴露自己拥有的数据，因而联邦学习可以很好的保护用户隐私和保障数据安全。
当各个参与者的数据特征重叠较多，而用户重叠较少的情况下，取出参与者用户数据特征相同而用户不完全相同的那部分数据进行联合机器学习(这种联合机器学习方式以下称为第一联邦学习方式)。
比如有两家不同地区的银行，它们的用户群体分别来自各自所在的地区，相互的交集很小。但是它们的业务很相似，记录的用户数据特征是相同的。可以使用第一联邦学习方式来帮助两家银行构建联合模型来预测客户行为。又如，可以通过第一联邦学习方式联合多个移动终端来构建移动用户输入预测(输入自动补全和推荐)模型。再如，可以通过第一联邦学习方式联合多个移动终端来构建移动用户搜索关键词预测(关键词自动补全和推荐)模型。第一联邦学习方式也可以用于边缘计算和物联网(Internet of Things,IoT)领域，以便解决物联网设备(例如，视频传感器节点和无限摄像头)没有足够的带宽上传大量数据的问题。
如图2所示例，在第一联邦学习方式的一次模型参数更新环节中，可能的流程是，协调者先向参与者发送模型更新请求(model_update_request)消息。所述模型更新请求消息可以有2个主要作用：(a)所述模型更新请求消息用作通知参与者开始进行模型参数更新，即作为参与者本地模型训练的启动信号；(b)所述模型更新请求消息同时可以携带所述协调者拥有的最新的联合模型参数，即所述模型更新请求消息可以用作向参与者分发最新的联合模型参数。所述联合模型参数可以是联邦学习模型的参数，例如，神经网络的节点之间连接的权重参数值；或者，所述联合模型参数也可以是联邦学习模型的梯度信息，例如，神经网络梯度下降算法中的梯度信息。所述参与者可以将所述联合模型参数用作本地模型训练的起始点，以便继续训练本地模型。
协调者可以使用点对点通信，分别向每个参与者单独发送所述模型参数更新消息。或者，协调者也可以使用组播或者多播或者广播的方式向多个参与者同时发送所述模型更新请求消息。
协调者在发送完所述模型更新请求消息后，即便进入等待状态，以等待接收参与者发送来的模型参数更新。
一个参与者A在收到所述模型参数更新消息后，可以从消息中获得最新的联合模型参数，并利用参与者A本地拥有的数据在本地进行模型训练或者是继续进行模型训练。参与者A接收到的所述协调者分发的联合模型参数可以作为参与者A本地机器学习模型训练的模型参数的初始值，例如，可以作为初始模型参数，或者初始梯度信息。
当参与者A在本地完成模型参数更新后，参与者A便可以向协调者发送参与者A本地获得的模型参数更新。参与者A可以通过加密的方式，例如，使用同态加密技术，向协调者发送模型参数更新。
使用第一联邦学习方式构建的联合模型可以是传统的机器学习模型(例如，线性回归和支持向量机等)，也可以是各种深度学习模型(即深度神经网络模型)。联邦学习在做联合模型训练时，同样也会有模型过拟合(over-fitting)和欠拟合(under-fitting)的问题。模型过拟合是指模型训练时选择的模型所包含的参数过多，模型过于复杂，以至于出现这一模型对已知数据预测得很好，对未知数据预测的却很差，模型的泛化能力很差。模型欠拟合是指模型拟合程度不高，模型过于简单，模型不能很好地捕捉到已知数据的特征，不能够很好地拟合已知数据。
在实际应用场景中，模型欠拟合比较少见，也比较容易解决，例如，可以通过增加模型复杂度和增加模型参数来解决模型欠拟合的问题。在实际应用中，经常遇到的困难是模型过拟合问题(或者是模型欠拟合的问题被转换成模型过拟合的问题)。
防止模型过拟合，通常有四类方法。其一是，数据集扩增(data augmentation)，通过增加训练数据来防止模型过拟合。其二是，正则化(regularization)，通过减少模型参数和降低模型复杂度来防止模型过拟合。其三是，提前结束模型训练(early stopping)，当模型的性能达到预定指标要求后就提前停止训练，而不是要等到模型最后收敛，以防止最后收敛的模型发生过拟合。其四是，dropout和dropconnect，适用于深度神经网络(即深度学习)。其中，dropout是将神经元的输出随机置零，而dropconnect是将神经元的输入权重随机置零。
在实际应用时，通常都是使用这四类方法的某种组合。特别的，数据集扩增是在开始训练之前就准备好的，dropout和dropconnect也是在开始训练之前就要设置好的选项，正则化是建模时设计损失函数时就需要考虑的。只有提前结束模型训练(early stopping)是在训练过程中，根据模型的当前性能是否已经达到预定性能指标来决定是否提前结束模型训练。一般在模型训练过程中，模型的性能在不断的变化，例如，不断的变好，趋近于预定目标。但是，当发生过拟合时，模型的性能指标可能会不断变差。所述模型性能一般是指准确率(accuracy，也称为准确度，或者正确率)，精度(precision，也称为精准率，或者精准度，或者查准率)，召回率(recall，也称为查全率)和损失函数(loss function)。
在横向联邦学习的训练过程中，因为只有参与者可以使用各自拥有的数据，所以只有参与者可以在本地测试模型的性能。如图3所示例，为了获得联合模型的性能，各个参与者需要将各自本地的模型性能测试结果发送给协调者，再由协调者集中计算模型的性能。例如，在二分类问题上，一个参与者A需要将参与者A的测试结果发送给协调者，所述测试结果可能包括：真实的正样本个数和负样本个数(number of ground truth samples)，模型正确预测的正样本个数(number of true positive results)，模型错误预测的正样本个数(number of false positive results)。在获得所有的参与者的测试结果之后，协调者就可以计算出当前联合模型的性能，例如，精度和召回率。每个参与者也可以在各自本地利用自己拥有的数据来检测当前联合模型的性能，例如，检测模型的精度和召回率，并与参与者自己的预定性能指标进行比较。
在实际应用场景中，因为各个参与者所拥有的数据量和数据的统计特征都不相同，所以在第一联邦学习方式训练过程中，对于当前的同一个最新的联合模型，各个参与者各自根据本地测试数据而获得的所述联合模型的测试结果也很可能是不同的。
例如，假设第一联邦学习方式的参与者为A，B，C，D和E，共五个单位或者用户。在第一联邦学习方式训练过程中的某个时刻t，A，B，C，D和E分别对当前最新的联合模型进行性能测试，获得的模型精度(precision)的测试结果分别为A:92％，B:75％，C:81％，D:93％和E:74％。而协调者根据A，B，C，D和E的测试结果获得的当前最新的联合模型的精度指标为87％。在这个例子中，假设预定的模型精度指标是90％，那么对于参与者B，C和E以及所述协调者而言，当前联合模型的精度指标还不够好，没有达到预定指标，还需要继续提升。但是，对于参与者A和D而言，当前的模型指标已经够好了，不需要再继续训练了，再继续训练有可能会出现模型过拟合。
这种情况下，可能会出现一些意料不到的情况。例如，参与者B，C和E为了保证可以继续进行联邦学习模型训练，可能会故意发送虚假的较低的精度信息给协调者。相反的，参与者A和D为了尽快的结束联邦学习模型训练，可能会故意发送虚假的较高的精度信息给协调者。
更严重的是，如果出现这样的情况(考虑到各个参与者为了自己的利益，特别是那些模型性能已经达到预定指标的参与者，这种情况在实际应用中会很难避免)，协调者是很难准确的判断当前最新联合模型的真实性能。如果协调者不能及时的和准确的知道当前联合模型的性能变化，那就很容易造成模型过拟合，甚至造成协调者无法准确判断模型是否已经收敛，最终导致第一联邦学习方式训练失败。
进一步的，随着联邦学习模型训练的进行，每个参与者对联合模型的影响也会变化。有些参与者可能对模型训练和改进已经没有影响了，而其它参与者可能对模型性能提升还是至关重要。例如，对于一个参与者B而言，如果在时刻t，模型的性能还不能达到参与者B的预定要求，参与者B希望知道自己对模型训练的影响，也希望能估算到在t时刻后的模型训练对性能能有多大预期提升。换句话说，参与者B希望能知道自己对联合模型训练有多少贡献和从联合模型训练中能获益多少(这里获益或者收益是相对于参与者自己独自训练而言的)。
在金融机构(银行机构、保险机构或证券机构)在进行业务(如银行的贷款业务、存款业务等)运转过程中，协调者对每个参与者发送来的模型参数更新同等对待，权重设为相同，采用简单的算术平均操作，对所有参与者发送来的模型参数更新进行融合。这种权重设置方式下，对虚报性能测试指标的参与者并没有惩罚，不能有效激励参与者发送真实的模型性能测试指标，也不能控制参与者的虚假测试指标对联邦学习模型性能的影响。这种情况不符合银行等金融机构的需求，无法保证金融机构各项业务的高效运转。
为此，如图4所示，本申请实施例提供了一种联邦学习中参与者权重的设置方法。
在第一联邦学习方式模型训练的每一次联合模型参数更新过程中，协调者在进行模型参数融合时，对每个参与者发送来的模型参数更新进行加权平均操作。并且协调者给每个参与者分配的权重是根据每个参与者发送来的模型测试结果来计算的，所述权重是动态变化的，会随着第一联邦学习方式训练过程中模型性能的变化而变化。
在第一联邦学习方式训练过程中，协调者通过动态的调整每个参与者的权重值，来激励每个参与者汇报真实的模型性能测试结果(因为每个参与者的权重与每个参与者的性能测试结果直接相关)，以便协调者准确的把握模型的性能变化，进而防止出现模型过拟合。
协调者将每个参与者的权重值及时的发送给每个参与者，可以帮助各个参与者估算自己对联合模型训练的贡献，以及自己从联合模型训练中能获得的收益。
该方法适用于包括一个协调者和多个参与者的联邦学习。其中，所述多个参与者的本地训练数据集之间可以包含有不同的样本对象及相同的数据特征；所述多个参与者的本地训练数据集之间也可以包含有相同的样本对象及不同的数据特征。所述方法包括以下步骤：
步骤401：所述协调者将根据多个参与者上报的本地模型参数得到的联邦模型参数发送至所述多个参与者。
其中，各参与者的本地模型参数是各参与者根据本地训练数据集训练得到的。
步骤402：所述协调者获取所述多个参与者反馈的模型性能测试结果。
其中，所述多个参与者中每个参与者反馈的模型性能测试结果包括：该参与者使用本地训练数据集对根据所述联邦模型参数得到的模型进行性能测试得到的一项或多项测试指标。举例来说，参与者的模型性能测试结果包括但不限于以下至少一项模型性能测试指标：测试数据集中测试正确的负样本个数；测试数据集中测试错误的负样本个数；准确率；召回率；损失函数值。
步骤403：所述协调者至少根据所述多个模型性能测试结果，设置所述多个参与者的权重值。
参与者的权重值用于表征参与者在后续联邦学习中的贡献度。参与者在后续联邦学习中的贡献度即为参与者在后续联邦学习中对联邦学习模型的影响程度，参与者的权重值就是量化参与者的贡献度的数值。
需要说明的是，参与者的模型性能测试结果可以为与参与者的结束训练时长呈正相关或负相关的模型性能测试结果。结束训练时长为参与者反馈当前模型性能测试结果至联邦学习结束还需要的训练时长，参与者的结束训练时长用于协调者配置该参与者的权重值。举例来说，参与者的模型性能测试结果为精度，精度越低，说明越需要联邦学习提升模型性能，则结束训练时长也就越长。
步骤401～步骤403的方法下，协调者将联邦学习模型参数发送至所述多个参与者，获取所述多个参与者反馈的多个模型性能测试结果，从而协调者至少根据所述多个模型性能测试结果，动态设置多个参与者的权重值，当联邦学习模型参数变化时，模型性能测试结果也会随之变化，最终导致多个参与者的权重值也变化，由于参与者的模型性能测试结果指示出了与参与者的结束训练时长的相关性，参与者的结束训练时长用于协调者配置该参与者的权重值，也就是结束训练时长越短的参与者，权重值越小，因此虚报模型性能测试结果会降低参与者数据对整个联邦学习数据的影响程度和贡献度，导致联邦学习模型对参与者数据的适应性变小，对参与者进行了一定惩罚，减小了结束训练时长较长的参与者汇报虚假模型性能测试的动机，对结束训练时长较短的参与者亦然，进而有效激励了参与者汇报真实模型性能测试结果，同时削弱了虚报模型性能测试结果对整个联邦学习模型的影响。
如图5所示例，一个参与者B收到协调者分发的最新的联合模型参数之后，参与者B利用自己本地的测试数据，对最新模型进行测试，并向协调者发送测试结果。
协调者根据参与者B发送的测试结果以及其它参与者发送的测试结果来计算每个参与者的最新的权重值(即参与者的权重更新)。之后，协调者将所获得的对应于参与者B的最新的权重信息发送给参与者B。
协调者为每个参与者更新权重信息，并决定是否继续进行横向联邦学习模型训练。例如，如果所有的参与者的预定性能指标都达到了，那么协调者就可以提前终止模型训练，以便防止模型过拟合。进一步的，一个参与者的最新的权重值可能为零。如果为零，那么这个参与者就不需要再继续参与联邦学习模型训练了。
步骤403的一种可选实施方式中，所述协调者中存储了所述多个参与者的预期模型性能指标，所述协调者至少根据所述多个模型性能测试结果，设置所述多个参与者的权重值，包括：所述协调者根据所述多个参与者中各参与者的预期模型性能指标与各参与者的模型性能测试指标的指标差值，设置各参与者的权重值。
上述方法中，所述协调者根据所述多个参与者中各参与者的预期模型性能指标与各参与者的模型性能测试指标的指标差值，设置各参与者的权重值，协调者可以根据具体需求灵活选择预期模型性能指标，根据指标差值评估模型性能测试指标的变化，由于不同模型性能测试指标与权重值可能与结束训练时长有不同的相关性，进而提升了设置各参与者的权重值的灵活性。
举例来说，假设横向联邦学习有K个参与者，用Pk(t)表示第k个参与者在t时刻汇报的模型性能测试结果，例如，精度(precision)。用Wk(t)表示协调者根据{Pk(t),k＝1,2,..,K}计算的第k个参与者权重值。协调者计算参与者的权重公式可以是(实施例一)：
即协调者可以使用Softmax函数计算参与者的权重值。其中，Qk表示第k个参与者预期希望达到的模型性能指标，例如，精度指标Qk为90％。各个参与者可以有不同的预期模型性能指标，或者所有参与者可以有相同的预期模型性能指标。
一种可选实施方式中，所述协调者根据所述多个参与者中各参与者的预期模型性能指标与各参与者的模型性能测试指标，设置各参与者的权重常数；其中，权重常数指示出了与参与者的结束训练时长的呈正相关或负相关；所述协调者至少根据所述多个参与者中各参与者的预期模型性能指标与各参与者的模型性能测试指标的指标差值，设置各参与者的权重值，包括：所述协调者根据所述多个参与者中各参与者的权重常数，以及各参与者的预期模型性能指标与该参与者的模型性能测试指标的指标差值，设置各参与者的权重值。
协调者计算参与者的权重公式也可以是(实施例二)：
其中，集合S定义为{j|Qj-Wj(t)>0}，即集合S表示那些模型性能还没有达到预期性能指标的参与者的集合；集合定义为{i|Qi-Wi(t)≤0}，即集合/>表示那些模型性能已经达到预期性能指标的参与者的集合；Rk是一个常数，表示协调者分配给第k个参与者的固定权重值。协调者可以根据第k个参与者拥有的数据量来确定常数Rk，例如，设置Rk为第k个参与者拥有的数据量占所有参与者拥有的数据量的比例，或者，协调者可以设置Rk为/>或者，协调者可以设置Rk为1/K。这里对Rk的设置不做具体限定。
上述方式下，所述协调者根据所述多个参与者中各参与者的预期模型性能指标与各参与者的模型性能测试指标，设置各参与者的权重常数，再根据所述多个参与者中各参与者的权重常数，以及各参与者的预期模型性能指标与该参与者的模型性能测试指标的指标差值，设置各参与者的权重值；由于权重常数指示出了与参与者的结束训练时长的呈正相关或负相关，各参与者的权重常数结合指标差值设置各参与者的权重值，更加细粒度地设置权重值，描述参与者对联邦学习的贡献度。
一种可选实施方式中，所述协调者至少根据所述多个参与者中各参与者的预期模型性能指标与各参与者的模型性能测试指标的指标差值，设置各参与者的权重值，包括：所述协调者将所述多个参与者中模型性能测试指标满足预期模型性能测试指标的参与者的权重值设置为0；权重值为0用于指示该参与者退出联邦学习。
协调者计算参与者的权重公式也可以是(实施例三)：
在以上举例的实施例三方法中，协调者可以主动选择将模型性能已经达到预期性能指标的参与者的权重值设置为零，以便给这些参与者提前退出联邦学习模型训练的机会。例如，对于模型性能已经达到预定性能指标而通信延迟又很大的参与者，协调者可以通过将这些参与者的权重设置为零，允许这些参与者提前退出联邦学习模型训练。
在实施例三中，如果一个参与者已经达到了自己预定的模型性能指标，该参与者就可能故意虚报较高的模型性能测试结果，企图尽早离开联邦学习模型训练。协调者可以通过主动判断哪些参与者的权重可以置零，以及结合实施例一和实施例二来防止这种行为。举例来说，为了防止这种行为，协调者可以主动判断可以对哪些参与者的权重置零，例如，选择那些通信延迟较大的参与者，或者，选择那些拥有数据量较少的参与者，或者，选择那些模型参数更新变化很小的参与者。
上述方式下，所述协调者将所述多个参与者中模型性能测试指标满足预期模型性能测试指标的参与者的权重值设置为0，由于权重值为0用于指示该参与者退出联邦学习，可通过这种方式及时通知参与者退出联邦学习，从而减少了联邦学习的通信开销。
实施例四：
其中，常数θ是可以配置的参数，例如，θ取值为2。参数θ可以由协调者确定或者由系统配置。
步骤403之后，一种可选实施方式中，所述协调者将所述多个参与者中每个参与者的权重值发送给该参与者，以使该参与者评估在后续联邦学习中的贡献度。
具体地说，协调者将每个参与者的最新权重值及时的发送给每个参与者，以便参与者评估自己在后续联邦学习模型训练中的影响和收益。协调者会将每个参与者的最新的权重值及时的发送给每个参与者，以便每个参与者评估自己在后续联合模型训练中对联合模型的影响，以及从后续模型训练中可能获得的性能提升。这样就可以进一步激励每个参与者汇报真实的测试结果，积极参与联邦学习模型训练。协调者可以把握实时的模型性能变化，有效防止模型过拟合。每个参与者的权重是根据每个参与者的测试结果来计算的，可以有效的调整在后续模型训练过程中，每个参与者对模型训练的影响，以及每个参与者看到的模型性能变化。
上述方法中，协调者将所述多个参与者中每个参与者的权重值发送给该参与者，该参与者收到该参与者的权重值后，可以评估在后续联邦学习中的贡献度，进一步减少了参与者汇报虚假模型性能测试的动机。
综上所述，本申请提出的一种联邦学习中参与者权重的设置方法具有以下优点：
(1)协调者通过动态调整每个参与者的权重值来动态调整每个参与者对联合模型训练的影响以及每个参与者可以从联合模型训练中获得的模型性能提升(收益)。
(2)协调者依据每个参与者对最新的模型测试结果来计算和更新每个参与者的权重值，可以将参与者的权重值与参与者的测试结果直接关联，可以有效激励每个参与者汇报真实的模型测试结果。
(3)协调者将每个参与者最新的权重信息发送给每个参与者，可以方便每个参与者估算自己对联合模型训练的影响，以及参与者可以从联合模型训练中获得的模型性能提升和收益。
如图6所示，本申请提供一种联邦学习中参与者权重的设置装置，适用于包括一个协调者和多个参与者的联邦学习；所述装置包括：发送模块601，用于将根据多个参与者上报的本地模型参数得到的联邦模型参数发送至所述多个参与者；其中，各参与者的本地模型参数是各参与者根据本地训练数据集训练得到的；处理模块602，用于获取所述多个参与者反馈的模型性能测试结果；其中，所述多个参与者中每个参与者反馈的模型性能测试结果包括：该参与者使用本地训练数据集对根据所述联邦模型参数得到的模型进行性能测试得到的一项或多项测试指标；以及用于至少根据所述多个模型性能测试结果，设置所述多个参与者的权重值；参与者的权重值用于表征参与者在后续联邦学习中的贡献度。
一种可选实施方式中，所述处理模块602还用于：将所述多个参与者中每个参与者的权重值发送给该参与者，以使该参与者评估在后续联邦学习中的贡献度。
一种可选实施方式中，参与者的模型性能测试结果与该参与者的结束训练时长呈正相关或负相关，结束训练时长为参与者反馈当前模型性能测试结果至联邦学习结束还需要的训练时长，参与者的结束训练时长用于协调者配置该参与者的权重值。
一种可选实施方式中，所述协调者中存储了所述多个参与者的预期模型性能指标，所述处理模块602具体用于：根据所述多个参与者中各参与者的预期模型性能指标与各参与者的模型性能测试指标的指标差值，设置各参与者的权重值。
一种可选实施方式中，所述处理模块602具体用于：根据所述多个参与者中各参与者的预期模型性能指标与各参与者的模型性能测试指标，设置各参与者的权重常数；其中，权重常数指示出了与参与者的结束训练时长的呈正相关或负相关；根据所述多个参与者中各参与者的权重常数，以及各参与者的预期模型性能指标与该参与者的模型性能测试指标的指标差值，设置各参与者的权重值。
一种可选实施方式中，所述处理模块602具体用于：将所述多个参与者中模型性能测试指标满足预期模型性能测试指标的参与者的权重值设置为0；权重值为0用于指示该参与者退出联邦学习。
本申请实施例提供一种计算机设备，包括程序或指令，当所述程序或指令被执行时，用以执行本申请实施例提供的一种联邦学习中参与者权重的设置方法及任一可选方法。
本申请实施例提供一种存储介质，包括程序或指令，当所述程序或指令被执行时，用以执行本申请实施例提供的一种联邦学习中参与者权重的设置方法及任一可选方法。
最后应说明的是：本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种联邦学习中减少通讯开销的方法，其特征在于，适用于包括一个协调者和多个参与者的联邦学习；所述方法包括：
所述协调者将根据多个参与者上报的本地模型参数得到的联邦模型参数发送至所述多个参与者；其中，各参与者的本地模型参数是各参与者根据本地用户训练数据集训练得到的；
所述协调者获取所述多个参与者反馈的模型性能测试结果；其中，所述多个参与者中每个参与者反馈的模型性能测试结果包括：该参与者使用本地用户训练数据集对根据所述联邦模型参数得到的模型进行性能测试得到的一项或多项测试指标；参与者的模型性能测试结果为与该参与者的结束训练时长呈正相关或负相关的模型性能测试结果；
所述协调者至少根据所述多个模型性能测试结果，设置所述多个参与者的权重值；参与者的权重值用于表征参与者在后续联邦学习中的贡献度，以及确定参与者是否继续参与联邦学习训练；
上述参与者的权重值得计算方式为：
其中，Pk(t)表示第k个参与者在t时刻汇报的模型性能测试结果；Wk(t)表示协调者根据{Pk(t),k＝1,2,..,K}计算的第k个参与者权重值；Qk表示第k个参与者预期希望达到的模型性能指标；集合S表示模型性能还没有达到预期性能指标的参与者的集合；对于模型性能已经达到预定性能指标而通信延迟大的参与者，协调者通过将这些参与者的权重值设置为零。
2.如权利要求1所述的方法，其特征在于，所述协调者至少根据所述多个模型性能测试结果，设置所述多个参与者的权重值之后，还包括：
所述协调者将所述多个参与者中每个参与者的权重值发送给该参与者，以使该参与者评估在后续联邦学习中的贡献度。
3.如权利要求1或2所述的方法，其特征在于，结束训练时长为参与者反馈当前模型性能测试结果至联邦学习结束还需要的训练时长，参与者的结束训练时长用于协调者配置该参与者的权重值。
4.如权利要求1或2所述的方法，其特征在于，所述协调者中存储了所述多个参与者的预期模型性能指标，所述协调者至少根据所述多个模型性能测试结果，设置所述多个参与者的权重值，包括：
所述协调者根据所述多个参与者中各参与者的预期模型性能指标与各参与者的模型性能测试指标的指标差值，设置各参与者的权重值。
5.如权利要求4所述的方法，其特征在于，还包括：
所述协调者根据所述多个参与者中各参与者的预期模型性能指标与各参与者的模型性能测试指标，设置各参与者的权重常数；其中，权重常数指示出了与参与者的结束训练时长的呈正相关或负相关；
所述协调者至少根据所述多个参与者中各参与者的预期模型性能指标与各参与者的模型性能测试指标的指标差值，设置各参与者的权重值，包括：
所述协调者根据所述多个参与者中各参与者的权重常数，以及各参与者的预期模型性能指标与该参与者的模型性能测试指标的指标差值，设置各参与者的权重值。
6.如权利要求4所述的方法，其特征在于，所述协调者至少根据所述多个参与者中各参与者的预期模型性能指标与各参与者的模型性能测试指标的指标差值，设置各参与者的权重值，包括：
所述协调者将所述多个参与者中模型性能测试指标满足预期模型性能测试指标的参与者的权重值设置为0；权重值为0用于指示该参与者退出联邦学习。
7.一种联邦学习中减少通讯开销的装置，其特征在于，适用于包括一个协调者和多个参与者的联邦学习；所述装置包括：
发送模块，用于将根据多个参与者上报的本地模型参数得到的联邦模型参数发送至所述多个参与者；其中，各参与者的本地模型参数是各参与者根据本地用户训练数据集训练得到的；
处理模块，用于获取所述多个参与者反馈的模型性能测试结果；其中，所述多个参与者中每个参与者反馈的模型性能测试结果包括：该参与者使用本地用户训练数据集对根据所述联邦模型参数得到的模型进行性能测试得到的一项或多项测试指标；参与者的模型性能测试结果为与该参与者的结束训练时长呈正相关或负相关的模型性能测试结果；以及用于至少根据所述多个模型性能测试结果，设置所述多个参与者的权重值；参与者的权重值用于表征参与者在后续联邦学习中的贡献度，以及确定参与者是否继续参与联邦学习训练；上述参与者的权重值得计算方式为：
其中，Pk(t)表示第k个参与者在t时刻汇报的模型性能测试结果；Wk(t)表示协调者根据{Pk(t),k＝1,2,..,K}计算的第k个参与者权重值；Qk表示第k个参与者预期希望达到的模型性能指标；集合S表示模型性能还没有达到预期性能指标的参与者的集合；对于模型性能已经达到预定性能指标而通信延迟大的参与者，协调者通过将这些参与者的权重值设置为零。
8.如权利要求7所述的装置，其特征在于，所述处理模块还用于：
将所述多个参与者中每个参与者的权重值发送给该参与者，以使该参与者评估在后续联邦学习中的贡献度。
9.一种计算机设备，其特征在于，包括程序或指令，当所述程序或指令被执行时，如权利要求1至6中任意一项所述的方法被执行。
10.一种存储介质，其特征在于，包括程序或指令，当所述程序或指令被执行时，如权利要求1至6中任意一项所述的方法被执行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910823635.4A CN110610242B (zh) | 2019-09-02 | 2019-09-02 | 一种联邦学习中参与者权重的设置方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910823635.4A CN110610242B (zh) | 2019-09-02 | 2019-09-02 | 一种联邦学习中参与者权重的设置方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110610242A CN110610242A (zh) | 2019-12-24 |
| CN110610242B true CN110610242B (zh) | 2023-11-14 |
Family
ID=68891730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910823635.4A Active CN110610242B (zh) | 2019-09-02 | 2019-09-02 | 一种联邦学习中参与者权重的设置方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110610242B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113128528A (zh) * | 2019-12-27 | 2021-07-16 | 无锡祥生医疗科技股份有限公司 | 超声影像深度学习分布式训练系统和训练方法 |
| CN110795768B (zh) * | 2020-01-06 | 2020-05-22 | 支付宝(杭州)信息技术有限公司 | 基于私有数据保护的模型学习方法、装置及系统 |
| CN114981795A (zh) * | 2020-01-14 | 2022-08-30 | Oppo广东移动通信有限公司 | 资源调度方法、装置及可读存储介质 |
| CN110874647A (zh) * | 2020-01-16 | 2020-03-10 | 支付宝(杭州)信息技术有限公司 | 联盟学习中的私有数据评估、联盟学习方法、装置及系统 |
| CN111369042B (zh) * | 2020-02-27 | 2021-09-24 | 山东大学 | 一种基于加权联邦学习的无线业务流量预测方法 |
| WO2021179196A1 (zh) * | 2020-03-11 | 2021-09-16 | Oppo广东移动通信有限公司 | 一种基于联邦学习的模型训练方法、电子设备及存储介质 |
| CN113496291A (zh) * | 2020-03-18 | 2021-10-12 | 索尼公司 | 用于联邦学习的装置、方法和存储介质 |
| CN111401913A (zh) * | 2020-03-19 | 2020-07-10 | 支付宝(杭州)信息技术有限公司 | 一种私有数据保护的模型学习方法、装置及系统 |
| CN111428885B (zh) * | 2020-03-31 | 2021-06-04 | 深圳前海微众银行股份有限公司 | 一种联邦学习中用户的索引方法及联邦学习装置 |
| CN111582508A (zh) * | 2020-04-09 | 2020-08-25 | 上海淇毓信息科技有限公司 | 一种基于联邦学习框架的策略制定方法、装置和电子设备 |
| CN111523686B (zh) * | 2020-04-23 | 2021-08-03 | 支付宝(杭州)信息技术有限公司 | 一种模型联合训练的方法和系统 |
| WO2021261611A1 (ko) * | 2020-06-23 | 2021-12-30 | 엘지전자 주식회사 | 무선 통신 시스템에서 연합 학습을 수행하기 위한 방법 및 장치 |
| CN113282933B (zh) * | 2020-07-17 | 2022-03-01 | 中兴通讯股份有限公司 | 联邦学习方法、装置和系统、电子设备、存储介质 |
| CN111967610B (zh) * | 2020-08-18 | 2024-02-23 | 中国银行股份有限公司 | 基于区块链的联邦学习激励方法、装置、设备及存储介质 |
| CN112116103A (zh) * | 2020-09-17 | 2020-12-22 | 北京大学 | 基于联邦学习的个人资质评估方法、装置及系统及存储介质 |
| CN112506753B (zh) * | 2020-12-14 | 2022-06-28 | 德清阿尔法创新研究院 | 一种联邦学习场景中高效的贡献评估方法 |
| CN112732297B (zh) * | 2020-12-31 | 2022-09-27 | 平安科技（深圳）有限公司 | 联邦学习模型的更新方法、装置、电子设备及存储介质 |
| US11755954B2 (en) | 2021-03-11 | 2023-09-12 | International Business Machines Corporation | Scheduled federated learning for enhanced search |
| CN113240127A (zh) * | 2021-04-07 | 2021-08-10 | 睿蜂群(北京)科技有限公司 | 基于联邦学习的训练方法、装置、电子设备及存储介质 |
| US20230316090A1 (en) * | 2022-03-01 | 2023-10-05 | Qualcomm Incorporated | Federated learning with training metadata |
| CN115907003A (zh) * | 2022-12-07 | 2023-04-04 | 中国人民解放军国防科技大学 | 基于度量学习的联邦学习恶意模型更新的检测方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9135580B1 (en) * | 2012-10-15 | 2015-09-15 | Parkt, Inc. | Systems and methods for parking vehicles |
| CN104980518A (zh) * | 2015-06-26 | 2015-10-14 | 深圳市腾讯计算机系统有限公司 | 多学习主体并行训练模型的方法、装置和系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10878320B2 (en) * | 2015-07-22 | 2020-12-29 | Qualcomm Incorporated | Transfer learning in neural networks |
| US11244242B2 (en) * | 2018-09-07 | 2022-02-08 | Intel Corporation | Technologies for distributing gradient descent computation in a heterogeneous multi-access edge computing (MEC) networks |
-
2019
- 2019-09-02 CN CN201910823635.4A patent/CN110610242B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9135580B1 (en) * | 2012-10-15 | 2015-09-15 | Parkt, Inc. | Systems and methods for parking vehicles |
| CN104980518A (zh) * | 2015-06-26 | 2015-10-14 | 深圳市腾讯计算机系统有限公司 | 多学习主体并行训练模型的方法、装置和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110610242A (zh) | 2019-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110610242B (zh) | 一种联邦学习中参与者权重的设置方法及装置 | |
| CN112181666B (zh) | 一种基于边缘智能的设备评估和联邦学习重要性聚合方法 | |
| US20190279088A1 (en) | Training method, apparatus, chip, and system for neural network model | |
| WO2019018375A1 (en) | NEURONAL ARCHITECTURE RESEARCH FOR CONVOLUTION NEURAL NETWORKS | |
| CN112765677B (zh) | 一种基于区块链的联邦学习方法、装置和系统 | |
| CN113052329B (zh) | 联合更新业务模型的方法及装置 | |
| CN109117856A (zh) | 基于智能边缘云的人及物追踪方法、装置及系统 | |
| CN114970886B (zh) | 一种基于聚类的自适应鲁棒协作学习方法和装置 | |
| CN113449011A (zh) | 基于大数据预测的信息推送更新方法及大数据预测系统 | |
| Zhang et al. | Latency prediction for delay-sensitive v2x applications in mobile cloud/edge computing systems | |
| CN113011210B (zh) | 视频处理方法和装置 | |
| CN111159241B (zh) | 一种点击转化预估方法及装置 | |
| Wang et al. | Blockchain-based federated learning in mobile edge networks with application in internet of vehicles | |
| CN111444930B (zh) | 一种确定二分类模型的预测效果的方法及装置 | |
| CN111079175B (zh) | 数据处理方法、装置、计算机可读存储介质和计算机设备 | |
| KR20220103247A (ko) | 학습 데이터 분류를 이용한 연합 학습 프레임워크의 로컬 모델 학습 방법 | |
| US20240028870A1 (en) | Selective reporting of machine learning parameters for federated learning | |
| WO2022252694A1 (zh) | 神经网络优化方法及其装置 | |
| EP4220495A1 (en) | Task learning system and method, and related device | |
| CN112804304B (zh) | 基于多点输出模型的任务节点分配方法、装置及相关设备 | |
| Argerich et al. | Reinforcement learning based orchestration for elastic services | |
| CN114443970A (zh) | 基于人工智能和大数据的数字化内容推送方法及ai系统 | |
| CN111753926B (zh) | 一种用于智慧城市的数据共享方法及系统 | |
| CN114528972A (zh) | 移动边缘计算中深度学习模型训练方法及相应系统 | |
| CN114692888A (zh) | 系统参数处理方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |