CN111915102A - 一种基于负载预测的工作平台工作量预测方法及系统 - Google Patents
一种基于负载预测的工作平台工作量预测方法及系统 Download PDFInfo
- Publication number
- CN111915102A CN111915102A CN202010852916.5A CN202010852916A CN111915102A CN 111915102 A CN111915102 A CN 111915102A CN 202010852916 A CN202010852916 A CN 202010852916A CN 111915102 A CN111915102 A CN 111915102A
- Authority
- CN
- China
- Prior art keywords
- workload
- prediction
- task
- som
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- Entrepreneurship & Innovation (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Operations Research (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Educational Administration (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于负载预测的工作平台工作量预测方法及系统，涉及计算机软件技术领域。本发明包括如下步骤：初始化已知数据源计算拓扑数据集来训练优化后的SOM网络；获取任务池中待分配任务按照工作负载进行分组；SOM网络模型利用神经网络学习任务池中各个集群的工作负载特性，得到各个集群的训练神经网络模型；当用户发布新任务时，SOM网络模型先获取其初始工作负载并根据其初始工作负载确定其所属集群；利用新任务所属集群的训练神经网络模型预测新任务的工作量。本发明通过已知数据进行训练优化SOM网络，根据集群的负载特性获取各个集群的训练神经网络模型来完成对新任务工作量的预测，方便对任务进行定价，合理分配任务提高员工工作效率。
Description
技术领域
本发明属于计算机软件技术领域，特别是涉及一种基于负载预测的工作平台工作量预测方法及系统。
背景技术
工作平台是一个以众包模式提供各项工作管理相关服务的互联网平台。发包方将工作任务需求发布到工作平台，平台将任务分解并根据各项子任务的技能要求，从平台人才库中寻找匹配的接包方，将子任务分配给合适的接包方；接包方接到分派的子任务后开始工作，子任务完成后将工作结果提交至平台；发包方接发包方接收任务交付结果并审查。发包方在发布任务时，将任务费用托管在平台，待任务交付并验收后，再通过平台与接包方进行结算。
对于工作平台任务工作量的估计目前已有不少对应的方案，但普遍都存在无法适用或预测结果不准确的问题，究其原因在于考量的因素有限导致的。在对任务工作量估计的工作中，往往会面临数据干涸的问题。因为本身历史数据的缺乏，无法提供足够的数据进行任务工作量估计，还有的就是工作平台对于隐私和安全方面考虑，无法对外公开足够的数据。这种种的情况，使工作平台内部可提供的数据十分有限，并且数据可用性也不高。而数据量的不足与数据的可用性差会导致预测出来的结果不准确，甚至无法进行预测。
基于此，现提供一种基于负载预测的工作平台工作量预测方法及系统，能够有效解决上述工作平台的问题。
发明内容
本发明的目的在于提供一种基于负载预测的工作平台工作量预测方法及系统，通过已知数据进行训练优化SOM网络，将任务池中待分配任务按照工作负载进行分组，根据集群的负载特性获取各个集群的训练神经网络模型来完成对新任务工作量的预测，解决了现有的工作平台任务工作量预测不准确、工作效率低的问题。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明为一种基于负载预测的工作平台工作量预测方法，包括如下步骤：
步骤S1：初始化已知数据源、计算任务产生的计算拓扑数据集；
步骤S2：根据拓扑数据集训练优化后的SOM网络；
步骤S3：获取任务池中待分配任务按照工作负载进行分组，划为多个集群；
步骤S4：SOM网络模型利用神经网络学习任务池中各个集群的工作负载特性，得到各个集群的训练神经网络模型；
步骤S5：当用户发布新任务时，SOM网络模型先获取其初始工作负载并根据其初始工作负载确定其所属集群；
步骤S6：利用新任务所属集群的训练神经网络模型预测新任务的工作量。
优选地，所述步骤S2中，SOM网络优化的具体步骤如下：
步骤S21：提取拓扑数据集的数据特征，寻找训练好的SOM网络的神经元；
步骤S22：对训练好的SOM网络进行负载预测，输出负载预测结果；
步骤S23：对SOM网络中的邻域神经元的权值进行调整；
步骤S24：通过线性回归方法进行负载预测，并获取真实负载信息；
步骤S25：加入负载预测结果重新训练SOM网络。
优选地，所述步骤S22中，若SOM网络获胜神经元判定不符合时，利用线性回归的方式进行预测，之后再获取真实负载信息，加入SOM网络进行训练。
优选地，所述步骤S25中，使用上一次负载预测的结果中，新增加神经元的输出满足约束的获胜神经元的权值向量作为一部分初始化该神经元节点，权值向量利用上一次负载预测的结果中，新增加的神经元的输出满足约束的向量值进行部分初始化，并在上一次训练好的SOM网络基础上，调整新增神经元节点的权值向量。
优选地，所述步骤S1中，使用K-medoid算法对任务池中任务的工作负载进行集群，并对各个集群进行标记。
优选地，所述步骤S6中，在对新任务的工作量进行预测后，还需对新任务的布置做出决策，如果还需要更改新任务的位置，则对新任务执行迁移或者缩放。
本发明为一种基于负载预测的工作平台工作量预测系统，包括依次连接的数据获取单元、预处理单元、模型构建单元和工作量预估单元；所述数据获取单元用于获取工作平台录入的已知数据源、计算任务产生的计算拓扑数据集；所述预处理单元用于对采集到的拓扑数据集训练优化和分组；所述模型构建单元用于利用神经网络学习任务池中各个集群的工作负载特性，得到各个集群的训练神经网络模型；所述工作量预估单元用于通过神经网络模型对工作平台中用户录入的任务信息进行工作量预测。
本发明具有以下有益效果：
本发明通过已知数据进行训练优化SOM网络，将任务池中待分配任务按照工作负载进行分组，根据集群的负载特性获取各个集群的训练神经网络模型来完成对新任务工作量的预测，方便对任务进行定价，合理分配任务提高员工工作效率。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种基于负载预测的工作平台工作量预测方法步骤图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1所示，本发明为一种基于负载预测的工作平台工作量预测方法，包括如下步骤：
步骤S1：初始化已知数据源、计算任务产生的计算拓扑数据集；
步骤S2：根据拓扑数据集训练优化后的SOM网络；
步骤S3：获取任务池中待分配任务按照工作负载进行分组，划为多个集群；
步骤S4：SOM网络模型利用神经网络学习任务池中各个集群的工作负载特性，得到各个集群的训练神经网络模型；
步骤S5：当用户发布新任务时，SOM网络模型先获取其初始工作负载并根据其初始工作负载确定其所属集群；
步骤S6：利用新任务所属集群的训练神经网络模型预测新任务的工作量。
优选地，所述步骤S2中，SOM网络优化的具体步骤如下：
步骤S21：提取拓扑数据集的数据特征，寻找训练好的SOM网络的神经元；
步骤S22：对训练好的SOM网络进行负载预测，输出负载预测结果；
步骤S23：对SOM网络中的邻域神经元的权值进行调整；
步骤S24：通过线性回归方法进行负载预测，并获取真实负载信息；
步骤S25：加入负载预测结果重新训练SOM网络。
优选地，所述步骤S22中，若SOM网络获胜神经元判定不符合时，利用线性回归的方式进行预测，之后再获取真实负载信息，加入SOM网络进行训练。
优选地，所述步骤S25中，使用上一次负载预测的结果中，新增加神经元的输出满足约束的获胜神经元的权值向量作为一部分初始化该神经元节点，权值向量利用上一次负载预测的结果中，新增加的神经元的输出满足约束的向量值进行部分初始化，并在上一次训练好的SOM网络基础上，调整新增神经元节点的权值向量。
优选地，所述步骤S1中，使用K-medoid算法对任务池中任务的工作负载进行集群，并对各个集群进行标记。
优选地，所述步骤S6中，在对新任务的工作量进行预测后，还需对新任务的布置做出决策，如果还需要更改新任务的位置，则对新任务执行迁移或者缩放。
本发明为一种基于负载预测的工作平台工作量预测系统，包括依次连接的数据获取单元、预处理单元、模型构建单元和工作量预估单元；所述数据获取单元用于获取工作平台录入的已知数据源、计算任务产生的计算拓扑数据集；所述预处理单元用于对采集到的拓扑数据集训练优化和分组；所述模型构建单元用于利用神经网络学习任务池中各个集群的工作负载特性，得到各个集群的训练神经网络模型；所述工作量预估单元用于通过神经网络模型对工作平台中用户录入的任务信息进行工作量预测。
值得注意的是，上述系统实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (7)
1.一种基于负载预测的工作平台工作量预测方法，其特征在于，包括如下步骤：
步骤S1：初始化已知数据源、计算任务产生的计算拓扑数据集；
步骤S2：根据拓扑数据集训练优化后的SOM网络；
步骤S3：获取任务池中待分配任务按照工作负载进行分组，划为多个集群；
步骤S4：SOM网络模型利用神经网络学习任务池中各个集群的工作负载特性，得到各个集群的训练神经网络模型；
步骤S5：当用户发布新任务时，SOM网络模型先获取其初始工作负载并根据其初始工作负载确定其所属集群；
步骤S6：利用新任务所属集群的训练神经网络模型预测新任务的工作量。
2.根据权利要求1所述的一种基于负载预测的工作平台工作量预测方法，其特征在于，所述步骤S2中，SOM网络优化的具体步骤如下：
步骤S21：提取拓扑数据集的数据特征，寻找训练好的SOM网络的神经元；
步骤S22：对训练好的SOM网络进行负载预测，输出负载预测结果；
步骤S23：对SOM网络中的邻域神经元的权值进行调整；
步骤S24：通过线性回归方法进行负载预测，并获取真实负载信息；
步骤S25：加入负载预测结果重新训练SOM网络。
3.根据权利要求2所述的一种基于负载预测的工作平台工作量预测方法，其特征在于，所述步骤S22中，若SOM网络获胜神经元判定不符合时，利用线性回归的方式进行预测，之后再获取真实负载信息，加入SOM网络进行训练。
4.根据权利要求2所述的一种基于负载预测的工作平台工作量预测方法，其特征在于，所述步骤S25中，使用上一次负载预测的结果中，新增加神经元的输出满足约束的获胜神经元的权值向量作为一部分初始化该神经元节点，权值向量利用上一次负载预测的结果中，新增加的神经元的输出满足约束的向量值进行部分初始化，并在上一次训练好的SOM网络基础上，调整新增神经元节点的权值向量。
5.根据权利要求1所述的一种基于负载预测的工作平台工作量预测方法，其特征在于，所述步骤S1中，使用K-medoid算法对任务池中任务的工作负载进行集群，并对各个集群进行标记。
6.根据权利要求1所述的一种基于负载预测的工作平台工作量预测方法，其特征在于，所述步骤S6中，在对新任务的工作量进行预测后，还需对新任务的布置做出决策，如果还需要更改新任务的位置，则对新任务执行迁移或者缩放。
7.如权利要求1-6任意一所述的一种基于负载预测的工作平台工作量预测系统，其特征在于，包括依次连接的数据获取单元、预处理单元、模型构建单元和工作量预估单元；所述数据获取单元用于获取工作平台录入的已知数据源、计算任务产生的计算拓扑数据集；所述预处理单元用于对采集到的拓扑数据集训练优化和分组；所述模型构建单元用于利用神经网络学习任务池中各个集群的工作负载特性，得到各个集群的训练神经网络模型；所述工作量预估单元用于通过神经网络模型对工作平台中用户录入的任务信息进行工作量预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010852916.5A CN111915102A (zh) | 2020-08-22 | 2020-08-22 | 一种基于负载预测的工作平台工作量预测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010852916.5A CN111915102A (zh) | 2020-08-22 | 2020-08-22 | 一种基于负载预测的工作平台工作量预测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111915102A true CN111915102A (zh) | 2020-11-10 |
Family
ID=73279793
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010852916.5A Pending CN111915102A (zh) | 2020-08-22 | 2020-08-22 | 一种基于负载预测的工作平台工作量预测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111915102A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113778683A (zh) * | 2021-09-14 | 2021-12-10 | 码客工场工业科技(北京)有限公司 | 一种基于神经网络的Handle标识体系解析负载均衡方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030061088A1 (en) * | 2001-07-31 | 2003-03-27 | Sarlay John David | Method for forecasting and managing multimedia contacts |
| CN106407694A (zh) * | 2016-09-28 | 2017-02-15 | 湖南老码信息科技有限责任公司 | 一种基于增量式神经网络模型的神经衰弱预测方法和预测系统 |
| CN107578101A (zh) * | 2017-09-25 | 2018-01-12 | 电子科技大学 | 一种数据流负载预测方法 |
| CN110413406A (zh) * | 2019-06-27 | 2019-11-05 | 莫毓昌 | 一种任务负载预测系统及方法 |
-
2020
- 2020-08-22 CN CN202010852916.5A patent/CN111915102A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030061088A1 (en) * | 2001-07-31 | 2003-03-27 | Sarlay John David | Method for forecasting and managing multimedia contacts |
| CN106407694A (zh) * | 2016-09-28 | 2017-02-15 | 湖南老码信息科技有限责任公司 | 一种基于增量式神经网络模型的神经衰弱预测方法和预测系统 |
| CN107578101A (zh) * | 2017-09-25 | 2018-01-12 | 电子科技大学 | 一种数据流负载预测方法 |
| CN110413406A (zh) * | 2019-06-27 | 2019-11-05 | 莫毓昌 | 一种任务负载预测系统及方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113778683A (zh) * | 2021-09-14 | 2021-12-10 | 码客工场工业科技(北京)有限公司 | 一种基于神经网络的Handle标识体系解析负载均衡方法 |
| CN113778683B (zh) * | 2021-09-14 | 2024-05-28 | 码客工场工业科技(北京)有限公司 | 一种基于神经网络的Handle标识体系解析负载均衡方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111147307B (zh) | 基于深度强化学习的服务功能链可靠部署方法 | |
| CN107871164B (zh) | 一种雾计算环境个性化深度学习方法 | |
| CN111932027B (zh) | 一种融合边缘设施的云服务综合调度优化系统及方法 | |
| Tun et al. | Federated learning based energy demand prediction with clustered aggregation | |
| Han et al. | Tailored learning-based scheduling for kubernetes-oriented edge-cloud system | |
| TWI547817B (zh) | 叢集運算架構的資源規劃方法、系統及裝置 | |
| CN111444019B (zh) | 云端协同的深度学习模型分布式训练方法及系统 | |
| CN108416465A (zh) | 一种移动云环境下的工作流优化方法 | |
| CN103927229A (zh) | 在动态可用服务器集群中调度映射化简作业 | |
| CN113794748B (zh) | 一种性能感知的服务功能链智能部署方法及装置 | |
| CN108965014A (zh) | QoS感知的服务链备份方法及系统 | |
| CN108075974B (zh) | 一种流量转发控制方法、装置及sdn架构系统 | |
| CN111429142B (zh) | 一种数据处理方法、装置及计算机可读存储介质 | |
| Ismaeel et al. | Using ELM techniques to predict data centre VM requests | |
| Laili et al. | Parallel scheduling of large-scale tasks for industrial cloud–edge collaboration | |
| JP2022136234A (ja) | 連合学習方法及び装置、電子機器、記憶媒体ならびにコンピュータプログラム | |
| CN115794341A (zh) | 基于人工智能的任务调度方法、装置、设备及存储介质 | |
| CN113014649B (zh) | 一种基于深度学习的云物联负载均衡方法、装置及设备 | |
| AlOrbani et al. | Load balancing and resource allocation in smart cities using reinforcement learning | |
| CN111915102A (zh) | 一种基于负载预测的工作平台工作量预测方法及系统 | |
| CN116166440A (zh) | 一种基于动态管理的flink流批一体数据处理方法 | |
| CN110290206A (zh) | 一种用于网吧环境的分布式计算系统及方法 | |
| CN116562364A (zh) | 基于知识蒸馏的深度学习模型协同推演方法、装置及设备 | |
| JP7009971B2 (ja) | プロセススケジューリング装置およびプロセススケジューリング方法 | |
| Lockhart et al. | Scission: Context-aware and performance-driven edge-based distributed deep neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201110 |