CN117742928A - 一种用于联邦学习的算法组件执行调度方法 - Google Patents
一种用于联邦学习的算法组件执行调度方法 Download PDFInfo
- Publication number
- CN117742928A CN117742928A CN202410186720.5A CN202410186720A CN117742928A CN 117742928 A CN117742928 A CN 117742928A CN 202410186720 A CN202410186720 A CN 202410186720A CN 117742928 A CN117742928 A CN 117742928A
- Authority
- CN
- China
- Prior art keywords
- algorithm
- algorithm component
- weight
- component
- components
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 249
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000004364 calculation method Methods 0.000 claims abstract description 68
- 230000003068 static effect Effects 0.000 claims abstract description 61
- 230000009191 jumping Effects 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000011144 upstream manufacturing Methods 0.000 claims description 3
- 238000007477 logistic regression Methods 0.000 description 18
- 230000005540 biological transmission Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种用于联邦学习的算法组件执行调度方法。它包括以下步骤：对算法组件进行分类，设置每类算法组件对应的分类权重、计算效率权重、需使用计算机资源；获取算法组件的执行流程，将算法组件的执行流程解析为有向无环图；遍历有向无环图的每个节点，根据各个节点的分类权重计算出每个节点的静态权重，统计每个静态权重对应的算法组件列表；按照静态权重从小到大的顺序执行算法组件列表，执行算法组件列表时根据算法组件的计算效率权重、需使用计算机资源确定算法组件列表中每个算法组件的执行顺序。本发明能够根据每个算法组件所需要消耗的计算机资源、计算效率合理调度算法组件的执行顺序，大大提高了执行效率。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种用于联邦学习的算法组件执行调度方法。
背景技术
在联邦学习的建模场景下，建模人员在建模过程中，通常需要历经数据读写，数据预处理，统计分析，特征工程，机器学习，预测以及评估等流程。在联邦建模平台上，这些操作都会映射为联邦学习的算法组件，算法组件之间存在建模流程中的调用依赖，先后执行关系。在建模任务提交后，建模任务在后端会被解析为有向无环图，通过对有向无环图进行拓扑排序后，会生成线性的执行序列，线性执行序列会按照顺序塞入队列服务内，后续调度系统按照顺序，从队列中取出对应的算法组件执行即可。
目前联邦学习场景下建模任务的执行调度，在逻辑上依赖于有向无环图的拓扑排序，系统无法根据每个算法组件所需要消耗的计算机资源、计算效率合理调度算法组件的执行顺序，无法提升整个建模流程的建模效率。
中国专利公开号CN114691342A，公开了一种联邦学习算法组件优先级调度实现方法、装置及存储介质，该专利将算法组件的执行流程解析为有向无环图，将有向无环图进行反转，生成反向有向无环图，对反向有向无环图进行拓扑排序，生成执行序列，根据生成的执行序列，计算出执行权重，根据执行权重来定义算法组件的执行顺序。该专利的方案只能按照算法组件间的优先级进行自动调度，但是该方案没有考虑算法组件所需要消耗的计算机资源、计算效率，无法合理调度优先级相同的算法组件的执行顺序，从而无法提升整体的执行效率、计算机资源利用效率。
发明内容
本发明为了解决上述技术问题，提供了一种用于联邦学习的算法组件执行调度方法，其能够根据每个算法组件所需要消耗的计算机资源、计算效率合理调度算法组件的执行顺序，大大提高了执行效率。
为了解决上述问题，本发明采用以下技术方案予以实现：
本发明的一种用于联邦学习的算法组件执行调度方法，包括以下步骤：
S1：对算法组件进行分类，设置每类算法组件对应的分类权重、计算效率权重、需使用计算机资源；
S2：获取算法组件的执行流程，将算法组件的执行流程解析为有向无环图；
S3：遍历有向无环图的每个节点，根据各个节点的分类权重计算出每个节点的静态权重，统计每个静态权重对应的算法组件列表；
S4：按照静态权重从小到大的顺序执行算法组件列表，执行算法组件列表时根据算法组件的计算效率权重、需使用计算机资源确定算法组件列表中每个算法组件的执行顺序。
在本方案中，通过静态权重表示算法组件的执行优先级，将静态权重一样的算法组件放入同一个算法组件列表中，优先执行静态权重小的算法组件列表。执行算法组件列表内的算法组件时，综合分析每个算法组件的计算效率权重、需使用计算机资源，确定算法组件列表内的每个算法组件的执行优先级，从而更高效地根据当前计算机剩余的资源对算法组件的执行进行调度，提高了执行效率。
作为优选，所述步骤S3中计算出每个节点的静态权重的公式为：W=F+n*(C1+C2……+Cn)，其中，W为当前节点的静态权重，F为当前节点的分类权重，n为当前节点的入度边数，Ci为当前节点的第i个上游节点的静态权重，1≤i≤n。
作为优选，所述步骤S3中统计每个静态权重对应的算法组件列表的方法如下：找出每个静态权重对应的所有算法组件，将具有同样静态权重的算法组件放在同一个列表内构成算法组件列表。
作为优选，所述步骤S4中执行算法组件列表的方法包括以下步骤：
N1：根据算法组件的计算效率权重、需使用计算机资源计算出算法组件列表中未执行的每个算法组件的计算优先级权重；
N2：如果只有一个计算优先级权重最大的算法组件，则执行该算法组件，如果有两个以上计算优先级权重最大的算法组件，则随机执行其中一个算法组件；
N3：判断算法组件列表中是否有未执行的算法组件，如果是则执行步骤N4，否则结束；
N4：判断算法组件列表中是否存在需使用计算机资源≤当前剩余计算机资源的未执行算法组件，如果存在，则跳转至步骤N1，否则执行步骤N5；
N5：等待，直到有算法组件执行完毕释放计算机资源，跳转至步骤N4。
计算效率越高、需要计算机资源越多的算法组件（计算越快出结果），计算优先级权重越大，安排先执行，开始时，计算机资源充足，可将计算优先级权重大的多个算法组件并行执行，多个算法组件并行执行后，剩余计算机资源无法支持未执行算法组件运行，所以等待，当有算法组件执行完毕释放计算机资源后，判断当前剩余计算机资源能否支持未执行算法组件运行，如果可以则跳转至步骤N1重新开始流程。
作为优选，所述计算优先级权重的公式为：
，
其中，E为算法组件的计算优先级权重，H为算法组件的计算效率权重，rc为当前剩余计算机资源，c为算法组件需使用计算机资源，m为算法组件需处理的数据量，f为系数。
作为优选，所述计算机资源为CPU内核数量。
作为优选，每个算法组件执行完毕后，统计该算法组件的实际执行时间，根据实际执行时间计算出该算法组件的最新计算效率权重，将该算法组件及与该算法组件同样的算法组件对应的计算效率权重更新为最新计算效率权重。
作为优选，所述根据实际执行时间计算出该算法组件的最新计算效率权重的公式为：，其中，H为算法组件的计算效率权重，m为算法组件需处理的数据量，t为算法组件的实际执行时间，c为算法组件需使用计算机资源。
算法组件的计算效率会随着外部环境（节点间传输带宽的抖动，算法代码热升级，磁盘io的波动）的变化而产生抖动，因此需要实时更新算法组件的计算效率权重。
作为优选，所述步骤S3还包括以下步骤：将静态权重作为哈希表的key，将算法组件列表作为哈希表的value，构建静态权重哈希表，用于存储每个静态权重对应的算法组件列表。
作为优选，所述算法组件分为四类，四类算法组件分别为数据读取组件、特征工程组件、机器学习组件、预测评估组件。
本发明的有益效果是：综合考虑了算法组件的分类、算法组件间的依赖关系、当前剩余计算机资源、算法组件计算所需计算机资源、算法组件计算数据量、算法组件运行时间合理调度算法组件的执行顺序，大大提高了执行效率。
附图说明
图1是实施例的流程图；
图2是举例说明的有向无环图；
图3是举例说明的静态权重哈希表。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
实施例：本实施例的一种用于联邦学习的算法组件执行调度方法，如图1所示，包括以下步骤：
S1：对算法组件进行分类，设置每类算法组件对应的分类权重、计算效率权重、需使用计算机资源，计算机资源为CPU内核数量；
S2：获取算法组件的执行流程，将算法组件的执行流程解析为有向无环图；
S3：遍历有向无环图的每个节点，根据各个节点的分类权重计算出每个节点的静态权重，统计每个静态权重对应的算法组件列表，将静态权重作为哈希表的key，将算法组件列表作为哈希表的value，构建静态权重哈希表，静态权重哈希表用于存储每个静态权重对应的算法组件列表；
计算出每个节点的静态权重的公式为：W=F+n*(C1+C2……+Cn)，其中，W为当前节点的静态权重，F为当前节点的分类权重，n为当前节点的入度边数，Ci为当前节点的第i个上游节点的静态权重，1≤i≤n；
统计每个静态权重对应的算法组件列表的方法如下：找出每个静态权重对应的所有算法组件，将具有同样静态权重的算法组件放在同一个列表内构成算法组件列表；
S4：按照静态权重从小到大的顺序执行算法组件列表；
执行算法组件列表的方法包括以下步骤：
N1：根据算法组件的计算效率权重、需使用计算机资源计算出算法组件列表中未执行的每个算法组件的计算优先级权重；
计算优先级权重的公式为：
，
其中，E为算法组件的计算优先级权重，H为算法组件的计算效率权重，rc为当前剩余计算机资源，c为算法组件需使用计算机资源，m为算法组件需处理的数据量，f为系数；
N2：如果只有一个计算优先级权重最大的算法组件，则执行该算法组件，如果有两个以上计算优先级权重最大的算法组件，则随机执行其中一个算法组件；
N3：判断算法组件列表中是否有未执行的算法组件，如果是则执行步骤N4，否则结束，反馈当前算法组件列表执行完毕；
N4：判断算法组件列表中是否存在需使用计算机资源c≤当前剩余计算机资源rc的未执行算法组件，如果存在，则跳转至步骤N1，否则执行步骤N5；
N5：等待，直到有算法组件执行完毕释放计算机资源，跳转至步骤N4。
每个算法组件执行完毕后，统计该算法组件的实际执行时间，根据实际执行时间计算出该算法组件的最新计算效率权重，将该算法组件及与该算法组件同样的算法组件对应的计算效率权重更新为最新计算效率权重；
根据实际执行时间计算出该算法组件的最新计算效率权重的公式为：，其中，H为算法组件的计算效率权重，m为算法组件需处理的数据量，t为算法组件的实际执行时间，c为算法组件需使用计算机资源。
在本方案中，将算法组件的执行流程解析为有向无环图，算法组件成为有向无环图中的节点，根据有向无环图结合算法组件对应的分类权重计算出每个算法组件的静态权重，通过静态权重表示算法组件的执行优先级，将静态权重一样的算法组件放入同一个算法组件列表中，优先执行静态权重小的算法组件列表。
执行算法组件列表内的算法组件时，先计算出算法组件列表中未执行的每个算法组件的计算优先级权重，计算效率越高、计算数据量越少、需要计算机资源越多的算法组件（计算越快出结果），计算优先级权重越大，安排先执行。开始时，计算机资源充足，可将计算优先级权重大的多个算法组件并行执行，多个算法组件并行执行后，剩余计算机资源无法支持未执行算法组件运行，所以等待，当有算法组件执行完毕释放计算机资源后，判断当前剩余计算机资源能否支持某个未执行算法组件运行，如果可以支持则跳转至步骤N1重新开始流程。通过这种方式，在执行单个算法组件列表时，能够合理分配计算机资源，在计算机资源充足的情况下，多个算法组件可并行执行，在计算机资料不足的情况下，计算效率越高、计算数据量越少、需要计算机资源越多的算法组件优先执行，更高效的利用计算资源，大大提高执行效率。
由于算法组件的计算效率会随着外部环境（节点间传输带宽的抖动，算法代码热升级，磁盘io的波动）的变化而产生抖动，为了消除外部环境的影响，需要实时更新算法组件的计算效率权重，所以在每个算法组件执行完毕后，统计该算法组件的实际执行时间，根据实际执行时间计算出最新计算效率权重。
每个算法组件对应的分类权重、计算效率权重、需使用计算机资源都存储在哈希表内，计算效率权重初始设置为1。算法组件分为四类，四类算法组件分别为数据读取组件、特征工程组件、机器学习组件、预测评估组件。
举例说明：
一个建模人员创建了联邦学习建模流程，用于建模的CPU内核数量为4，建模流程中的算法组件有：2个资产引入、1个隐匿求交、1个标准化、1个拆分、2个逻辑回归、2个XGBoosting。
对算法组件进行分类，资产引入为数据读取组件，隐匿求交、标准化、拆分为特征工程组件，逻辑回归、XGBoosting为机器学习组件；
设置数据读取组件的分类权重为1、计算效率权重为1、需使用CPU内核数量为2；设置特征工程组件的分类权重为2、计算效率权重为1、需使用CPU内核数量为2；设置机器学习组件的分类权重为3、计算效率权重为1、需使用CPU内核数量为2。
获取算法组件的执行流程，将算法组件的执行流程解析为有向无环图，如图2所示。
遍历有向无环图的每个节点，计算出：资产引入1的静态权重为1，资产引入2的静态权重为1，隐匿求交的静态权重为2+2*(1+1)=6，标准化的静态权重为2+6=8，拆分的静态权重为2+8=10，逻辑回归1、逻辑回归2、XGBoosting1、XGBoosting2的静态权重都为13；
统计每个静态权重对应的算法组件列表，构建静态权重哈希表，如图3所示。
按照静态权重从小到大的顺序执行算法组件列表。
以执行静态权重为13的算法组件列表为例，设定f=1000，该算法组件列表包括四个算法组件：逻辑回归1、逻辑回归2、XGBoosting1、XGBoosting2。逻辑回归1需处理20000个数据，逻辑回归2需处理200000个数据，XGBoosting1需处理20000个数据，XGBoosting2需处理200000个数据。
计算出每个算法组件的计算优先级权重：
逻辑回归1的计算优先级权重为：1+2*1000/((4-2)*20000)=1.05；
XGBoosting1的计算优先级权重为：1+2*1000/((4-2)*20000)=1.05；
逻辑回归2的计算优先级权重为：1+2*1000/((4-2)*200000)=1.005；
XGBoosting2的计算优先级权重为：1+2*1000/((4-2)*200000)=1.005；
由于逻辑回归1与XGBoosting1的计算优先级权重都为最大，随机选取其中一个执行，假设执行逻辑回归1，当前剩余CPU内核数量为4-2=2。
由于算法组件列表中还存在未执行的算法组件且存在需使用计算机资源≤当前剩余计算机资源的未执行算法组件，所以计算出每个未执行算法组件的计算优先级权重：
XGBoosting1的计算优先级权重为：1+2*1000/20000=1.1；
逻辑回归2的计算优先级权重为：1+2*1000/200000=1.01；
XGBoosting2的计算优先级权重为：1+2*1000/200000=1.01；
XGBoosting1的计算优先级权重最大，执行XGBoosting1；
此时，逻辑回归1、XGBoosting1都在执行，当前剩余CPU内核数量为0，算法组件列表中存在未执行的算法组件且不存在需使用计算机资源≤当前剩余计算机资源的未执行算法组件，所以等待，直到有算法组件执行完毕释放计算机资源。
假设逻辑回归1执行100秒完成，并释放资源，计算出该算法组件的最新计算效率权重为20000/(2*100)=100，将逻辑回归对应的计算效率权重更新为100。
重新计算出每个未执行算法组件的计算优先级权重：
逻辑回归2的计算优先级权重为：100+2*1000/200000=100.01；
XGBoosting2的计算优先级权重为：1+2*1000/200000=1.01；
逻辑回归2的计算优先级权重最大，执行逻辑回归2。
当XGBoosting1执行完毕后，计算XGBoosting的最新计算效率权重并更新，提交执行XGBoosting2。
Claims (10)
1.一种用于联邦学习的算法组件执行调度方法，其特征在于，包括以下步骤：
S1：对算法组件进行分类，设置每类算法组件对应的分类权重、计算效率权重、需使用计算机资源；
S2：获取算法组件的执行流程，将算法组件的执行流程解析为有向无环图；
S3：遍历有向无环图的每个节点，根据各个节点的分类权重计算出每个节点的静态权重，统计每个静态权重对应的算法组件列表；
S4：按照静态权重从小到大的顺序执行算法组件列表，执行算法组件列表时根据算法组件的计算效率权重、需使用计算机资源确定算法组件列表中每个算法组件的执行顺序。
2.根据权利要求1所述的一种用于联邦学习的算法组件执行调度方法，其特征在于，所述步骤S3中计算出每个节点的静态权重的公式为：W=F+n*(C1+C2……+Cn)，其中，W为当前节点的静态权重，F为当前节点的分类权重，n为当前节点的入度边数，Ci为当前节点的第i个上游节点的静态权重，1≤i≤n。
3.根据权利要求1所述的一种用于联邦学习的算法组件执行调度方法，其特征在于，所述步骤S3中统计每个静态权重对应的算法组件列表的方法如下：找出每个静态权重对应的所有算法组件，将具有同样静态权重的算法组件放在同一个列表内构成算法组件列表。
4.根据权利要求1所述的一种用于联邦学习的算法组件执行调度方法，其特征在于，所述步骤S4中执行算法组件列表的方法包括以下步骤：
N1：根据算法组件的计算效率权重、需使用计算机资源计算出算法组件列表中未执行的每个算法组件的计算优先级权重；
N2：如果只有一个计算优先级权重最大的算法组件，则执行该算法组件，如果有两个以上计算优先级权重最大的算法组件，则随机执行其中一个算法组件；
N3：判断算法组件列表中是否有未执行的算法组件，如果是则执行步骤N4，否则结束；
N4：判断算法组件列表中是否存在需使用计算机资源≤当前剩余计算机资源的未执行算法组件，如果存在，则跳转至步骤N1，否则执行步骤N5；
N5：等待，直到有算法组件执行完毕释放计算机资源，跳转至步骤N4。
5.根据权利要求4所述的一种用于联邦学习的算法组件执行调度方法，其特征在于，所述计算优先级权重的公式为：
，
其中，E为算法组件的计算优先级权重，H为算法组件的计算效率权重，rc为当前剩余计算机资源，c为算法组件需使用计算机资源，m为算法组件需处理的数据量，f为系数。
6.根据权利要求5所述的一种用于联邦学习的算法组件执行调度方法，其特征在于，所述计算机资源为CPU内核数量。
7.根据权利要求4或5或6所述的一种用于联邦学习的算法组件执行调度方法，其特征在于，每个算法组件执行完毕后，统计该算法组件的实际执行时间，根据实际执行时间计算出该算法组件的最新计算效率权重，将该算法组件及与该算法组件同样的算法组件对应的计算效率权重更新为最新计算效率权重。
8.根据权利要求7所述的一种用于联邦学习的算法组件执行调度方法，其特征在于，所述根据实际执行时间计算出该算法组件的最新计算效率权重的公式为：，其中，H为算法组件的计算效率权重，m为算法组件需处理的数据量，t为算法组件的实际执行时间，c为算法组件需使用计算机资源。
9.根据权利要求1所述的一种用于联邦学习的算法组件执行调度方法，其特征在于，所述步骤S3还包括以下步骤：将静态权重作为哈希表的key，将算法组件列表作为哈希表的value，构建静态权重哈希表，用于存储每个静态权重对应的算法组件列表。
10.根据权利要求1所述的一种用于联邦学习的算法组件执行调度方法，其特征在于，所述算法组件分为四类，四类算法组件分别为数据读取组件、特征工程组件、机器学习组件、预测评估组件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410186720.5A CN117742928B (zh) | 2024-02-20 | 2024-02-20 | 一种用于联邦学习的算法组件执行调度方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410186720.5A CN117742928B (zh) | 2024-02-20 | 2024-02-20 | 一种用于联邦学习的算法组件执行调度方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117742928A true CN117742928A (zh) | 2024-03-22 |
| CN117742928B CN117742928B (zh) | 2024-04-26 |
Family
ID=90257747
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410186720.5A Active CN117742928B (zh) | 2024-02-20 | 2024-02-20 | 一种用于联邦学习的算法组件执行调度方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117742928B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011522A (zh) * | 2021-04-13 | 2021-06-22 | 上海嗨普智能信息科技股份有限公司 | 基于有向无环图的多标签联邦学习方法、控制器和介质 |
| WO2021219054A1 (zh) * | 2020-04-29 | 2021-11-04 | 深圳前海微众银行股份有限公司 | 横向联邦学习系统优化方法、装置、设备及可读存储介质 |
| CN113723623A (zh) * | 2021-08-10 | 2021-11-30 | 深圳致星科技有限公司 | 联邦学习审计装置、系统及方法 |
| CN114169531A (zh) * | 2021-11-12 | 2022-03-11 | 国电南瑞科技股份有限公司 | 一种组态化机器学习建模任务描述的预测方法及系统 |
| CN114489950A (zh) * | 2022-01-27 | 2022-05-13 | 上海富数科技有限公司 | 一种组件适配方法、装置、电子设备及存储介质 |
| CN114691342A (zh) * | 2022-05-31 | 2022-07-01 | 蓝象智联(杭州)科技有限公司 | 一种联邦学习算法组件优先级调度实现方法、装置及存储介质 |
| US20230153637A1 (en) * | 2021-11-15 | 2023-05-18 | Kabushiki Kaisha Toshiba | Communicating machine learning model parameters |
| CN116360939A (zh) * | 2023-03-02 | 2023-06-30 | 国网浙江省电力有限公司电力科学研究院 | 基于可信计算的多任务调度方法、系统、设备及存储介质 |
| US20230351205A1 (en) * | 2020-09-14 | 2023-11-02 | Telefonaktiebolaget Lm Ericsson (Publ) | Scheduling for federated learning |
-
2024
- 2024-02-20 CN CN202410186720.5A patent/CN117742928B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021219054A1 (zh) * | 2020-04-29 | 2021-11-04 | 深圳前海微众银行股份有限公司 | 横向联邦学习系统优化方法、装置、设备及可读存储介质 |
| US20230351205A1 (en) * | 2020-09-14 | 2023-11-02 | Telefonaktiebolaget Lm Ericsson (Publ) | Scheduling for federated learning |
| CN113011522A (zh) * | 2021-04-13 | 2021-06-22 | 上海嗨普智能信息科技股份有限公司 | 基于有向无环图的多标签联邦学习方法、控制器和介质 |
| CN113723623A (zh) * | 2021-08-10 | 2021-11-30 | 深圳致星科技有限公司 | 联邦学习审计装置、系统及方法 |
| CN114169531A (zh) * | 2021-11-12 | 2022-03-11 | 国电南瑞科技股份有限公司 | 一种组态化机器学习建模任务描述的预测方法及系统 |
| US20230153637A1 (en) * | 2021-11-15 | 2023-05-18 | Kabushiki Kaisha Toshiba | Communicating machine learning model parameters |
| CN114489950A (zh) * | 2022-01-27 | 2022-05-13 | 上海富数科技有限公司 | 一种组件适配方法、装置、电子设备及存储介质 |
| CN114691342A (zh) * | 2022-05-31 | 2022-07-01 | 蓝象智联(杭州)科技有限公司 | 一种联邦学习算法组件优先级调度实现方法、装置及存储介质 |
| CN116360939A (zh) * | 2023-03-02 | 2023-06-30 | 国网浙江省电力有限公司电力科学研究院 | 基于可信计算的多任务调度方法、系统、设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| SATO, K等: "A Model-Based Algorithm for Optimizing I/O Intensive Applications in Clouds using VM-Based Migration", CCGRID: 2009 9TH IEEE INTERNATIONAL SYMPOSIUM ON CLUSTER COMPUTING AND THE GRID, 1 September 2009 (2009-09-01) * |
| 张超超: "面向物联网系统的并发性优化研究与实现", 中国优秀硕士学位论文全文数据库, no. 1, 15 January 2022 (2022-01-15) * |
| 李于锋;莫则尧;肖永浩;赵士操;段博文;: "超算环境科学工作流应用平台的引擎设计和资源调度", 计算机应用研究, no. 06, 9 July 2018 (2018-07-09) * |
| 胡亚红;盛夏;毛家发;: "资源不均衡Spark环境任务调度优化算法研究", 计算机工程与科学, no. 02, 15 February 2020 (2020-02-15) * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117742928B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11423295B2 (en) | Dynamic, automated fulfillment of computer-based resource request provisioning using deep reinforcement learning | |
| Wang et al. | Integer-ordered simulation optimization using R-SPLINE: Retrospective search with piecewise-linear interpolation and neighborhood enumeration | |
| Manolache et al. | Schedulability analysis of applications with stochastic task execution times | |
| US9183058B2 (en) | Heuristics-based scheduling for data analytics | |
| US20180158034A1 (en) | Dynamic reordering of blockchain transactions to optimize performance and scalability | |
| CN100458705C (zh) | 使用动态确定的前端作业群调度计算机作业的方法和系统 | |
| US7840677B2 (en) | Systems, methods and computer program products for improving placement performance of message transforms by exploiting guided replication | |
| US20200034750A1 (en) | Generating artificial training data for machine-learning | |
| CN113535367A (zh) | 任务调度方法及相关装置 | |
| KR101857510B1 (ko) | 소팅 | |
| JP6933736B2 (ja) | 知識グラフにおけるデータモデルを取得する方法、装置、機器及び媒体 | |
| US10929182B2 (en) | Systems and methods for scheduling a set of non-preemptive tasks in a multi-robot environment | |
| CN112114973A (zh) | 一种数据处理方法及装置 | |
| CN114217966A (zh) | 基于资源调整的深度学习模型动态批处理调度方法和系统 | |
| US20100131937A1 (en) | Optimization hints for a business process flow | |
| CN114675975B (zh) | 一种基于强化学习的作业调度方法、装置及设备 | |
| CN115829006A (zh) | 神经网络模型的编译方法、装置、电子设备和存储介质 | |
| CN110516000B (zh) | 一种支持复杂工作流结构的工作流管理系统 | |
| CN113127173B (zh) | 一种异构感知的集群调度方法及装置 | |
| CN110413210B (zh) | 用于处理数据的方法、设备和计算机程序产品 | |
| CN116089895A (zh) | 一种算子融合方法及装置 | |
| CN113407343A (zh) | 一种基于资源分配的业务处理方法、装置及设备 | |
| CN106897199B (zh) | 一种基于大数据处理框架的批作业执行时间预测方法 | |
| CN116302448B (zh) | 任务调度方法和系统 | |
| CN117742928B (zh) | 一种用于联邦学习的算法组件执行调度方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |