CN112686369B - 中心方选择方法、存储介质和系统 - Google Patents
中心方选择方法、存储介质和系统 Download PDFInfo
- Publication number
- CN112686369B CN112686369B CN202011458168.9A CN202011458168A CN112686369B CN 112686369 B CN112686369 B CN 112686369B CN 202011458168 A CN202011458168 A CN 202011458168A CN 112686369 B CN112686369 B CN 112686369B
- Authority
- CN
- China
- Prior art keywords
- network
- node
- partner
- task
- term
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 20
- 238000010187 selection method Methods 0.000 title description 4
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000002776 aggregation Effects 0.000 claims abstract description 25
- 238000004220 aggregation Methods 0.000 claims abstract description 25
- 238000013135 deep learning Methods 0.000 claims abstract description 25
- 238000013136 deep learning model Methods 0.000 claims abstract description 13
- 238000005304 joining Methods 0.000 claims description 16
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 6
- 230000004083 survival effect Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 9
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 241000579895 Chlorostilbon Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000010976 emerald Substances 0.000 description 1
- 229910052876 emerald Inorganic materials 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000010977 jade Substances 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- ZLIBICFPKPWGIZ-UHFFFAOYSA-N pyrimethanil Chemical compound CC1=CC(C)=NC(NC=2C=CC=CC=2)=N1 ZLIBICFPKPWGIZ-UHFFFAOYSA-N 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明提供了一种合作式深度学习任务中的中心方选择方法、存储介质和系统，方案包括基于初始任期内各合作方性能评分值进行中心方初始选择用于深度学习模型聚合，在任务进行中基于当前任期网络中存活节点中性能评分值进行中心方更新选择并以更新的中心方继续模型聚合任务,这为学习方法或模型聚合提供了稳定的中心方，中心方异常情况下快速选取参与合作式学习任务中最优数据提供方为中心方，能快速衔接，以便模型训练过程可以继续运行，可广泛应用于经济、文化、教育、医疗、公共管理等行业。
Description
技术领域
本发明涉及多方数据联合处理，具体涉及一种中心方选择方法、存储介质和系统。
背景技术
合作式深度学习是各合作方以集体为单位训练深度学习模型的过程。集体的表现优于各合作方。具体来说，针对物联网-IoT场景下各终端设备(合作方)的使用环境不同，本地数据特征不同，导致对于同一个深度学习任务的理解和认知会不一样。因此，针对IoT场景下的某个深度学习任务，为了提高深度学习模型的准确性和泛化性，各终端设备使用自己的本地数据训练得到深度学习模型，然后通过交互和共享进行模型聚合，最后经过多次迭代完成整个深度学习任务，得到一个表现良好的联合模型结果。
与联邦学习从隐私保护的角度出发不同，合作式深度学习主要是考虑到各终端设备(合作方)的使用环境不同，本地数据特征不同，导致对于同一个深度学习任务的理解和认知会不一样，因此为了提高深度学习任务的准确性和泛化性，需要各终端设备在使用本地数据训练得到深度学习模型，即获得本地知识后，将本地知识在群体内进行共享，通过对多个满足独立性要求的本地知识进行组合汇聚，获得群体智慧，从而学习得到一个表现良好的深度学习模型。
在合作式深度学习任务中，存在两种角色：中心方和客户端，其中，中心方承担着来自各个客户端的模型参数聚合任务，选择不同的设备作为中心方对合作式学习任务影响很大，比如具有不同性能的中心方运算能力不同、宕机概率不同，严重来说不合适的中心方会导致合作式学习任务无法进行。
因此，在任务的初始阶段，必须首先指定合适的中心方才能开始合作式深度学习任务；此外，在IoT场景下，中心方可能是资源有限的终端设备。因此相较于通常分布式计算指定的性能良好的中心方，IoT场景中的中心方发生异常的概率比较大。
在任务进行过程中，如果负责模型聚合任务的中心方发生异常情况，如宕机、失联等，此时合作式学习任务面临中断的危险情况，因此必须考虑重新指定新的合适的中心方继续执行模型聚合任务。
综上，在合作式学习任务中，如何在任务初始阶段选择合适的中心方，以及当在中心方异常时，系统如何重新指定合适的中心方是亟待解决的关键技术。
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种中心方选择方法、存储介质和系统，其能解决上述问题。
一种合作式深度学习任务中的中心方选择方法，方法包括任务初始阶段的中心方初始选择和任务进行阶段的中心方更新选择，其中，基于初始任期内各合作方性能评分值进行中心方初始选择用于深度学习模型聚合，在任务进行中基于当前任期网络中存活节点中性能评分值进行中心方更新选择并以更新的中心方继续模型聚合任务。
优选的，任务初始阶段的中心方初始选择包括以下步骤：
S110合作式深度学习任务被发起，确定参与此次任务的合作方总数N，同时协商确定用于性能比较的度量指标及其对应权重；
S120各合作方对本地任期参数进行初始化：local_term＝0，同时利用步骤S110的度量指标和权重计算各自的性能评分值；
S130对网络全局参数进行初始化，包括全局任期：glob_term＝0，中心方标识：center＝0，节点序号：n＝0，系数：coef，时间窗口：time_interval；
S140各合作方先后加入网络，提供性能评分值，并记录本地的IP地址和端口号；
S150利用合作方总数、系数和时间窗口判断此时该合作方n是否为加入网络的最后一个节点,若合作方n是加入网络的最后一个节点，则转至步骤S160，若合作方n不是加入网络的最后一个节点，则转至步骤S140；
S160加入网络的最后一个节点对网络中各节点的性能总分值进行比较；
S170将根据步骤S160中的性能总分值最高者选取为最优节点Node_Center，并作为此次合作式深度学习任务的初始中心方，用于深度学习模型聚合；
S180加入网络的最后一个节点更新网络全局参数：center＝Node_Center，glob_term＝glob_term+1，网络中各节点更新本地参数local_term＝local_term+1；
S190任务初始阶段选择合适的中心方完成。
优选的，所述合作方为执行模型训练任务的各终端设备，合作方的性能评估指标包括cpu、内存和电量，而合作方的性能评分值score为：Score＝ω1Xcpu+ω2Xmemory+ω3Xenergy，其中Xcpu、Xmemory和Xenergy分别为cpu、内存和电量的度量指标，而ω1、ω2、ω3为为cpu、内存和电量的权重。
优选的，在步骤S150中，判断合作方n是否为加入网络的最后一个节点的方法为：若此时已加入的合作方数量占步骤S110中合作方总数N的预设比例以上且在时间窗口内没有新的合作方加入，则该合作方n为最后一个节点，否则继续加入直到满足条件。
其中，所述预设比例为70％、80％或90％。
优选的，在任务进行阶段的中心方更新选择包括以下步骤：
S210网络中各节点动态感知到中心方异常；
S220网络中各节点确定网络中存活节点；
S230网络中各节点对网络中各节点的性能总分值进行比较；
S240网络中各节点选取最优节点Node_Center作为此次合作式深度学习任务的中心方；
S250网络中各节点先后判断此时网络全局参数全局任期glob_term是否等于节点本地任期local_term；若是，表示此时网络中仍然没有选出中心方，则先判断出来的节点更新网络全局参数：center＝Node_Center，glob_term＝glob_term+1，并更新本地参数local_term＝local_term+1；若否，表示此时网络中已经选出中心方，则该节点只更新本地参数local_term＝local_term+1。
本发明还提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时执行前述方法的步骤。
本发明还提供了一种基于动态更新中心方的合作式学习系统，系统的初始中心方与各合作方电讯连接，并运行前述方法的步骤，系统包括：
合作方确定模块，通过网络连接状态确定可用合作方及其用于性能比较的度量指标和对应权重；
性能评估模块，基于合作方的度量指标和对应权重计算性能评分值以评估合作方的性能；
优选模块，根据评估性能自主选择网路中最优合作方作为中心方进行模型聚合；
通信传输模块，中心方与所有当期合作方建立连接；
动态更新学习模块，判定当前任务是否处于初始状态，若是，开始合作式学习的模型聚合任务并预测中心方风险；若否，则进入中心方更新，任务继续直至结束。
相比现有技术，本发明的有益效果在于：本方案提供的合作式深度学习任务中的中心方选择方案包括基于初始任期内各合作方性能评分值进行中心方初始选择并用于深度学习模型聚合，在任务进行中基于当前任期网络中存活节点中性能评分值进行中心方更新选择并以更新的中心方继续模型聚合任务,这为学习方法或模型聚合提供了稳定的中心方，中心方异常情况下快速选取参与合作式学习任务中最优数据提供方为中心方，能快速衔接，以便模型训练可以继续运行。
附图说明
图1为本发明合作式深度学习初始阶段的中心方选择流程图；
图2为本发明合作式深度学习任务进行阶段的中心方选择流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，本说明书中所使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
在经济、文化、教育、医疗、公共管理等各行各业充斥的大量信息数据，对其进行例如数据分析、数据挖掘、以及趋势预测等的数据处理分析在越来越多场景中得到广泛应用。其中，通过数据合作的方式可以使多个数据拥有方获得更好的数据处理结果。例如，可以通过多方合作式学习来获得更为准确的模型参数。
在一些实施例中，动态更新中心方的合作式学习的方法可以应用于在保证各方数据安全的情况下，各方协同训练机器学习模型供多方使用的场景。在这个场景中，多个数据方拥有自己的数据，他们想共同使用彼此的数据来统一建模(例如，分类模型、线性回归模型、逻辑回归模型等)，但并不想各自的数据(尤其是隐私数据)被泄露。例如，互联网储蓄机构A拥有一批用户数据，银行B拥有另一批用户数据，基于A和B的用户数据确定的训练样本集可以训练得到性能更好的机器学习模型。A和B都愿意通过彼此的用户数据共同参与模型训练，但因为一些原因A和B不愿意自己的用户数据信息遭到泄露，或者至少不愿意让对方知道自己的用户数据信息。
在一些实施例中，可以采用联邦学习的方法进行合作式学习。联邦学习(Federated Learning)可以在多参与方或多计算节点之间开展高效率的机器学习。联邦学习可以使得多方数据在训练样本不出本地的情况下进行模型训练，只传递训练好的模型或者是计算梯度，这使得各方持有的训练样本的隐私性得到了保护。
在一些实施例中，联邦学习常应用于模型计算量大、参数多的情况。在该场景的实施例中，由于联邦学习过程中数据传输量大，因而通讯传输的压力较大。因此，在采用联邦学习的场景中，往往需要采用一定的方法降低传输过程中的通讯压力。
在本说明书的一些实施例中，模型进行每一次迭代更新的过程中，可以采用中心服务器更新的合作式学习任务判断(包括训练得到的模型梯度值或模型参数)进行压缩。具体地，通过更新后的任务恢复及继续，可以使得客户端模型训练不中断，无需重新训练，从而降低通讯压力。同时，对中心服务器异常情况进行预测，保证了模型的稳定性。
第一实施例
一种合作式深度学习任务中的中心方选择方法，方法包括任务初始阶段的中心方初始选择和任务进行阶段的中心方更新选择。
其中，基于初始任期内各合作方性能评分值进行中心方初始选择用于深度学习模型聚合，在任务进行中基于当前任期网络中存活节点中性能评分值进行中心方更新选择并以更新的中心方继续模型聚合任务。
参见图1，任务初始阶段的中心方初始选择包括以下步骤。
S110合作式深度学习任务被发起，确定参与此次任务的合作方总数N，同时协商确定用于性能比较的度量指标及其对应权重；
S120各合作方对本地任期参数进行初始化：local_term＝0，同时利用步骤S110的度量指标和权重计算各自的性能评分值(score)。
S130对网络全局参数进行初始化，包括全局任期：glob_term＝0，中心方标识：center＝0，节点序号：n＝0，系数：coef，时间窗口：time_interval。
其中，“全局任期”是相对于每个终端设备上的“本地任期”来说的。对于中心方的产生，合作式学习任务中所有合作方都有权做出自己的选择。在前一个中心方异常后，各合作方先后感知到，然后去寻找最优终端设备作为新一任中心方。那么为了防止新中心方重复产生，当某一个合作方准备对新中心方做出自己的选择时，首先需要查看一下当前的“全局任期”，看这个参数是否等于这个合作方的“本地任期”，如果相等，则表示此时还没有产生新的中心方；但是如果当前的“全局任期”已经大于这个合作方的“本地任期”时，说明此时已经有另外的合作方找到了新的中心方，那么这个合作方不对新中心方进行任何修改，并将“本地任期”的值更新为“全局任期”的值，使得各合作方的“本地任期”与“全局任期”保持一致。
S140各合作方先后加入网络，提供性能评分值(score)，并记录本地的IP地址(ip)和端口号(port)；先后加入关系表示为合作方n＝n+1，表示参与本次合作式学习任务的终端设备先后加入准备进行合作。
需要说明的是，中心方需要与各终端设备进行通信来实现知识共享，而通信要求知道各终端设备的IP地址和端口号。
S150利用合作方总数、系数和时间窗口判断此时该合作方n是否为加入网络的最后一个节点,若合作方n是加入网络的最后一个节点，则转至步骤S160，若合作方n不是加入网络的最后一个节点，则转至步骤S140；
其中，在步骤S150中，判断合作方n是否为加入网络的最后一个节点的方法为：若此时已加入的合作方数量占步骤S110中合作方总数N的预设比例以上且在时间窗口内没有新的合作方加入，则该合作方n为最后一个节点，否则继续加入直到满足条件。这样判断的理由是，IoT场景下，各设备的存活状态无法保证，只需满足预设比例的设备数量加入网络使得任务可正常运行即可，而不要求全部合作方N均加入网络。
其中，所述预设比例包括但不限于70％、80％或90％，优选80％。
S160加入网络的最后一个节点对网络中各节点的性能总分值进行比较；
S170将根据步骤S160中的性能总分值最高者选取为最优节点Node_Center，并作为此次合作式深度学习任务的初始中心方，用于深度学习模型聚合；
S180加入网络的最后一个节点更新网络全局参数：center＝Node_Center，glob_term＝glob_term+1，网络中各节点更新本地参数local_term＝local_term+1；
S190任务初始阶段选择合适的中心方完成。
其中，所述合作方为执行模型训练任务的各终端设备，合作方的性能评估指标包括cpu、内存和电量，而合作方的性能评分值score为：Score＝ω1Xcpu+ω2Xmemory+ω3Xenergy，其中Xcpu、Xmemory和Xenergy分别为cpu、内存和电量的度量指标，而ω1、ω2、ω3为为cpu、内存和电量的权重。
参见图2，在任务进行阶段的中心方更新选择包括以下步骤：
S210网络中各节点动态感知到中心方异常；
S220网络中各节点确定网络中存活节点；
S230网络中各节点对网络中各节点的性能总分值进行比较；
S240网络中各节点选取最优节点Node_Center作为此次合作式深度学习任务的中心方；
S250网络中各节点先后判断此时网络全局参数全局任期glob_term是否等于节点本地任期local_term。
若是，即glob_term等于local_term，表示此时网络中仍然没有选出中心方，则先判断出来的节点更新网络全局参数：center＝Node_Center，glob_term＝glob_term+1，并更新本地参数local_term＝local_term+1；
若否，即glob_term大于local_term，表示此时网络中已经选出中心方，则该节点只更新本地参数local_term＝local_term+1。
需要说明的是：参与合作式深度学习任务的各个合作方指的是各终端设备，如手提电脑、手机等能够执行模型训练任务的设备。不同的设备由于具有不同的资源，如cpu、内存、电量等，因此具有不同的计算和处理能力。各终端设备的性能评分值与各性能指标和相应权重有关。如
Score＝ω1Xcpu+ω2Xmemory+ω3Xenergy。
网络构架中采用性能评分值(score)评价其性能。
运算速度是衡量计算机性能的一项重要指标。通常所说的计算机运算速度(平均运算速度)，是指每秒钟所能执行的指令条数，一般用“百万条指令/秒”来描述。
内存储器，也简称主存，是CPU可以直接访问的存储器，需要执行的程序与需要处理的数据就是存放在主存中的。内存储器容量的大小反映了计算机即时存储信息的能力。内存容量越大，系统功能就越强大，能处理的数据量就越庞大。
合作式学习任务中的中心方用来聚合模型，“任期”表示当前中心方是第几任中心方。任务开始时，需要将“任期”这个参数初始化为0。如果任务开始后第一次选择出来了一个中心方，那么此时“任期”由0变为1，表示该中心方是第一任中心方。如果之后的任务进行过程中，中心方出现异常，此时无法使用该中心方进行模型聚合，那么需要重新选择一个新的中心方，所以新的中心方就是第二任中心方，此时“任期”由1变为2。以此类推，一旦有新的中心方产生，那么“任期”参数会在原来基础上加一。
合作式深度学习任务中各节点加入网络co_DL后由临时节点列表Existing_Node管理，同时中心方Node_Center指定后也保存在该列表中；永久节点列表Center_Info中管理的是中心方信息，包括当前网络全局“任期”和中心方标识。
第二实施例
本发明还提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时执行前述方法的步骤。其中，所述方法请参见前述部分的详细介绍，此处不再赘述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
第三实施例
一种基于动态更新中心方的合作式学习系统，系统的初始中心方与各合作方电讯连接，并运行前述方法的步骤，其特征在于，系统包括：
合作方确定模块，通过网络连接状态确定可用合作方及其用于性能比较的度量指标和对应权重；
性能评估模块，基于合作方的度量指标和对应权重计算性能评分值以评估合作方的性能；
优选模块，根据评估性能自主选择网路中最优合作方作为中心方进行模型聚合；
通信传输模块，中心方与所有当期合作方建立连接；
动态更新学习模块，判定当前任务是否处于初始状态，若是，开始合作式学习的模型聚合任务并预测中心方风险；若否，则进入中心方更新，任务继续直至结束。
当理解，本说明书一个或多个实施中的所述系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本申请的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。
需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。
需要注意的是，以上对于处理设备及其模块的描述，仅为描述方便，并不能把本申请限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。
本申请各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、VisualBasic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、装置、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种合作式深度学习任务中的中心方选择方法，其特征在于，方法包括任务初始阶段的中心方初始选择和任务进行阶段的中心方更新选择，其中，基于初始任期内各合作方性能评分值进行中心方初始选择用于深度学习模型聚合，在任务进行中基于当前任期网络中存活节点中性能评分值进行中心方更新选择并以更新的中心方继续模型聚合任务；
任务初始阶段的中心方初始选择包括以下步骤：
S110合作式深度学习任务被发起，确定参与此次任务的合作方总数N，同时协商确定用于性能比较的度量指标及其对应权重；
S120各合作方对本地任期参数进行初始化：local_term＝0，同时利用步骤S110的度量指标和权重计算各自的性能评分值；
S130对网络全局参数进行初始化，包括全局任期：glob_term＝0，中心方标识：center＝0，节点序号：n＝0，系数：coef，时间窗口：time_interval；
S140各合作方先后加入网络，提供性能评分值，并记录本地的IP地址和端口号；
S150利用合作方总数、系数和时间窗口判断此时该合作方n是否为
加入网络的最后一个节点,若合作方n是加入网络的最后一个节点，则转
至步骤S160，若合作方n不是加入网络的最后一个节点，则转至步骤S140；
S160加入网络的最后一个节点对网络中各节点的性能总分值进行比较；
S170将根据步骤S160中的性能总分值最高者选取为最优节点Node_Center，并作为此次合作式深度学习任务的初始中心方，用于深度学习模型聚合；
S180加入网络的最后一个节点更新网络全局参数：
center＝Node_Center，glob_term＝glob_term+1，网络中各节点更新本地参数local_term＝local_term+1；
S190任务初始阶段选择合适的中心方完成；
在任务进行阶段的中心方更新选择包括以下步骤：
S210网络中各节点动态感知到中心方异常；
S220网络中各节点确定网络中存活节点；
S230网络中各节点对网络中各节点的性能总分值进行比较；
S240网络中各节点选取最优节点Node_Center作为此次合作式深度学习任务的中心方；
S250网络中各节点先后判断此时网络全局参数全局任期glob_term是否等于节点本地任期local_term；若是，表示此时网络中仍然没有选出中心方，则先判断出来的节点更新网络全局参数：center＝Node_Center，
glob_term＝glob_term+1，并更新本地参数local_term＝local_term+1；若否，表示此时网络中已经选出中心方，则该节点只更新本地参数local_term＝local_term+1。
2.根据权利要求1所述的方法，其特征在于：所述合作方为执行模型训练任务的各终端设备，合作方的性能评估指标包括cpu、内存和电量，而合作方的性能评分值score为：
ω1Xcpu+ω2Xmemory+ω3Xenergy，其中，Xcpu、Xmemory和Xenergy分别为cpu、内存和电量的度量指标，而为ω1、ω2、ω3为cpu、内存和电量的权重。
3.根据权利要求1所述的方法，其特征在于，在步骤S150中，判断合作方n是否为加入网络的最后一个节点的方法为：若此时已加入的合作方数量占步骤S110中合作方总数N的预设比例以上且在时间窗口内没有新的合作方加入，则该合作方n为最后一个节点，否则继续加入直到满足条件。
4.根据权利要求3所述的方法，其特征在于：其中，所述预设比例为70％、80％或90％。
5.一种计算机可读存储介质，其上存储有计算机指令，其特征在于：所述计算机指令运行时执行权利要求1-4任一项所述方法的步骤。
6.一种基于动态更新中心方的合作式学习系统，系统的初始中心方与各合作方电讯连接，并运行权利要求1-4任一项所述方法的步骤，其特征在于，系统包括：
合作方确定模块，通过网络连接状态确定可用合作方及其用于性能比较的度量指标和对应权重；
性能评估模块，基于合作方的度量指标和对应权重计算性能评分值以评估合作方的性能；
优选模块，根据评估性能自主选择网路中最优合作方作为中心方进行模型聚合；
通信传输模块，中心方与所有当期合作方建立连接；
动态更新学习模块，判定当前任务是否处于初始状态，若是，开始合作式学习的模型聚合任务并预测中心方风险；若否，则进入中心方更新，任务继续直至结束。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011458168.9A CN112686369B (zh) | 2020-12-10 | 2020-12-10 | 中心方选择方法、存储介质和系统 |
| PCT/CN2020/140832 WO2022121030A1 (zh) | 2020-12-10 | 2020-12-29 | 中心方选择方法、存储介质和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011458168.9A CN112686369B (zh) | 2020-12-10 | 2020-12-10 | 中心方选择方法、存储介质和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112686369A CN112686369A (zh) | 2021-04-20 |
| CN112686369B true CN112686369B (zh) | 2024-02-27 |
Family
ID=75449179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011458168.9A Active CN112686369B (zh) | 2020-12-10 | 2020-12-10 | 中心方选择方法、存储介质和系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112686369B (zh) |
| WO (1) | WO2022121030A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117009095B (zh) * | 2023-10-07 | 2024-01-02 | 湘江实验室 | 一种隐私数据处理模型生成方法、装置、终端设备及介质 |
| CN118138589B (zh) * | 2024-05-08 | 2024-07-30 | 中国科学院空天信息创新研究院 | 服务簇调度方法、装置、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110929880A (zh) * | 2019-11-12 | 2020-03-27 | 深圳前海微众银行股份有限公司 | 一种联邦学习方法、装置及计算机可读存储介质 |
| CN111475853A (zh) * | 2020-06-24 | 2020-07-31 | 支付宝(杭州)信息技术有限公司 | 一种基于分布式数据的模型训练方法及系统 |
| CN111538608A (zh) * | 2020-04-30 | 2020-08-14 | 深圳前海微众银行股份有限公司 | 预防终端设备宕机的方法、终端设备及存储介质 |
| CN111768008A (zh) * | 2020-06-30 | 2020-10-13 | 平安科技（深圳）有限公司 | 联邦学习方法、装置、设备和存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103676649A (zh) * | 2013-10-09 | 2014-03-26 | 江苏师范大学 | 局部自适应小波神经网络训练系统、设备及方法 |
| US11138520B2 (en) * | 2018-06-28 | 2021-10-05 | International Business Machines Corporation | Ranking and updating machine learning models based on data inputs at edge nodes |
| CN111966698B (zh) * | 2020-07-03 | 2023-06-13 | 华南师范大学 | 一种基于区块链的可信联邦学习方法、系统、装置及介质 |
-
2020
- 2020-12-10 CN CN202011458168.9A patent/CN112686369B/zh active Active
- 2020-12-29 WO PCT/CN2020/140832 patent/WO2022121030A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110929880A (zh) * | 2019-11-12 | 2020-03-27 | 深圳前海微众银行股份有限公司 | 一种联邦学习方法、装置及计算机可读存储介质 |
| CN111538608A (zh) * | 2020-04-30 | 2020-08-14 | 深圳前海微众银行股份有限公司 | 预防终端设备宕机的方法、终端设备及存储介质 |
| CN111475853A (zh) * | 2020-06-24 | 2020-07-31 | 支付宝(杭州)信息技术有限公司 | 一种基于分布式数据的模型训练方法及系统 |
| CN111768008A (zh) * | 2020-06-30 | 2020-10-13 | 平安科技（深圳）有限公司 | 联邦学习方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112686369A (zh) | 2021-04-20 |
| WO2022121030A1 (zh) | 2022-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112686369B (zh) | 中心方选择方法、存储介质和系统 | |
| US10291576B2 (en) | Sharing user information with proximate devices | |
| CN112765677B (zh) | 一种基于区块链的联邦学习方法、装置和系统 | |
| US20170323002A1 (en) | Detecting social relationships from user activity logs | |
| JP2019518292A (ja) | 会話サンプルに基づいて自然言語機械学習を使用してユーザ要求に応答する技術 | |
| US10142378B2 (en) | Virtual identity of a user based on disparate identity services | |
| US20220083917A1 (en) | Distributed and federated learning using multi-layer machine learning models | |
| CN113297396B (zh) | 基于联邦学习的模型参数更新方法、装置及设备 | |
| WO2019184640A1 (zh) | 一种指标确定方法及其相关设备 | |
| US9697381B2 (en) | Computing system with identity protection mechanism and method of operation thereof | |
| CN111241138B (zh) | 数据匹配方法及装置 | |
| US10939228B2 (en) | Mobile device location proofing | |
| US20190281407A1 (en) | Group-based sequential recommendations | |
| US20190141193A1 (en) | METHOD, SYSTEM, AND NON-TRANSITORY COMPUTER READABLE MEDIUM FOR SELECTING OPTIMAL NETWORK PATH FOR MEDIA TRANSMISSION IN VoIP | |
| WO2023174018A1 (zh) | 一种纵向联邦学习方法、装置、系统、设备及存储介质 | |
| US9590933B2 (en) | Generation of a communication request based on visual selection | |
| CN105183867A (zh) | 数据处理方法及装置 | |
| CN110580200B (zh) | 数据同步方法和装置 | |
| CN112101390B (zh) | 属性信息确定方法、属性信息确定装置及电子设备 | |
| CN111461328B (zh) | 一种神经网络的训练方法 | |
| Shen et al. | A novel differentially private advising framework in cloud server environment | |
| CN111582456B (zh) | 用于生成网络模型信息的方法、装置、设备和介质 | |
| US20200327556A1 (en) | Method to accept certifications with blockchain transactions | |
| CN111953637B (zh) | 一种应用服务方法与装置 | |
| CN111988195B (zh) | 用于分组测试的应答方案确定方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: No.9 and No.11, Kelin Road, Science City, Guangzhou high tech Industrial Development Zone, Guangdong Province, 510000 Patentee after: Guangdian Yuntong Group Co.,Ltd. Country or region after: China Address before: No.9 and No.11, Kelin Road, Science City, Guangzhou high tech Industrial Development Zone, Guangdong Province, 510000 Patentee before: GRG BANKING EQUIPMENT Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240623 Address after: Room 701, No. 11, Kelin Road, Science City, Huangpu District, Guangzhou City, Guangdong Province, 510663 Patentee after: GRG BANKING IT Co.,Ltd. Country or region after: China Address before: No.9 and No.11, Kelin Road, Science City, Guangzhou high tech Industrial Development Zone, Guangdong Province, 510000 Patentee before: Guangdian Yuntong Group Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |