CN111915103A - 基于深度学习的工作平台任务量预测方法及系统 - Google Patents

基于深度学习的工作平台任务量预测方法及系统 Download PDF

Info

Publication number
CN111915103A
CN111915103A CN202010852926.9A CN202010852926A CN111915103A CN 111915103 A CN111915103 A CN 111915103A CN 202010852926 A CN202010852926 A CN 202010852926A CN 111915103 A CN111915103 A CN 111915103A
Authority
CN
China
Prior art keywords
data set
work
content
working
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010852926.9A
Other languages
English (en)
Inventor
王�琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Hollow Technology Co ltd
Original Assignee
Wuhan Hollow Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Hollow Technology Co ltd filed Critical Wuhan Hollow Technology Co ltd
Priority to CN202010852926.9A priority Critical patent/CN111915103A/zh
Publication of CN111915103A publication Critical patent/CN111915103A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Game Theory and Decision Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了基于深度学习的工作平台任务量预测方法及系统，涉及任务量预测技术领域。本发明包括如下过程：A0：建立源数据集以及目标数据集；其中，源数据集为工作内容；目标数据集为与源数据集中工作内容对应的加权工作量；A1：利用源数据集与目标数据集训练自编码器；A2：从自编码器提取数据特征，把数据特征输入卷积神经网络训练预测器，使用预测器生成任务量。本发明自编码器通过工作内容的后验分布和先验分布匹配实现正则化；通过卷积神经网络的训练和学习，实现对动态工作内容的准确匹配，提高任务量评估精度，进而提高工作内容处理效率。

Description

基于深度学习的工作平台任务量预测方法及系统
技术领域
本发明属于任务量预测技术领域，特别是涉及一种基于深度学习的工作平台任务量预测方法及系统。
背景技术
现有互联网工作平台承载较多的信息的传递以及处理。工作平台以一个众包模式提供各项工作管理相关服务。发包方将工作任务需求发布到工作平台，平台将任务分解并根据各项子任务的技能要求，从平台人才库中寻找匹配的接包方，将子任务分配给合适的接包方；接包方接到分派的子任务后开始工作，子任务完成后将工作结果提交至平台；发包方接发包方接收任务交付结果并审查。发包方在发布任务时，将任务费用托管在平台，待任务交付并验收后，再通过平台与接包方进行结算。
上述过程中，工作平台为了更好的任务分配以及实现负载均衡，在进行任务分配和发包前，进行工作内容的任务量评估，实现分配合理、提高效率。现有的对工作内容的任务量评估多为定义好不同工作量的权值后，通过不同类型就行加权评估对应的工作量；该种做法虽然针对不同类型的区分，实现不同类型工作内容的工作量评估，但同一种类型的工作内容其内部工作复杂程度也不相同，多为动态变化的。
基于此，本发明提供一种基于深度学习的工作平台任务量预测方法及系统，用于适应动态变化的工作内容，通过卷积神经网络的训练和学习，实现对动态工作内容的准确匹配，提高任务量评估精度，进而提高工作内容处理效率。
发明内容
本发明的目的在于提供基于深度学习的工作平台任务量预测方法及系统，通过卷积神经网络的训练和学习，实现对动态工作内容的准确匹配，提高任务量评估精度，进而提高工作内容处理效率。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明为基于深度学习的工作平台任务量预测方法，包括如下过程：
A0：建立源数据集以及目标数据集；
其中，所述源数据集为工作内容；所述目标数据集为与源数据集中工作内容对应的加权工作量；
A1：利用所述源数据集与所述目标数据集训练自编码器；
A2：从所述自编码器提取数据特征，把所述数据特征输入卷积神经网络训练预测器，使用所述预测器生成任务量；
其中，所述自编码器通过工作内容的后验分布和先验分布匹配实现正则化；所述工作内容的后验分布为：
Figure DEST_PATH_IMAGE001
所述工作内容的后验分布为：
其中，n为工作内容作为输入向量；m为所述自编码器的工作加权任务量作为编码向量；q(m|n)将工作内容n编码为工作加权任务量m的编码分布，对应的，q(m|n)即为将工作加权任务量m解码为工作内容n的解码分布；pd(m)为数据分布。
优选地，所述输入向量为所述目标数据集l时，其对应的后验分布为：
Figure DEST_PATH_IMAGE002
所述自编码器通过q(m)与p(m)进行匹配完成正则化训练。
优选地，所述自编码器包括编码器以及解码器；所述编码器对目标数据集中的工作加权任务量进行编码生成编码向量；所述解码器对编码向量解码并重构编码前的数据。
优选地，所述自编码器包括生成器和判别器，所述生成器与判别器对抗；所述生成器为编码器，用于对所述目标数据集进行编码生成训练样本；所述训练样本即为对工作加权任务量编码生成的编码向量。
优选地，所述判别器对所述训练样本进行辨别并判断所述训练样本是否符合真实数据编码分布；所述目标数据集编码分布为模拟数据分布；所述源数据集编码分布为真实数据分布。
优选地，所述预测器为实时动态更新，具体更新过程包括如下：
A21：采集数据并建立新数据集；
A22：选取未输入到所述预测器的新数据集作为最新源数据集，所述预测器原有的源数据集与目标数据集重组构成最新目标数据集；
A23：将所述最新源数据集与所述最新目标数据集输入到所述预测器，进行更新训练。
优选地，所述新数据集中的数据来自工作平台上传的工作内容以及对应的加权工作量。
优选地，所述卷积神经网络包括一个输入层、一个全连接层、一个输出层以及若干个全连接层；所述卷积神经网络的连接顺序依次为：输入层、若干数次排列的卷积层、全连接层以及输出层。
基于深度学习的工作平台任务量预测系统，包括输入模块、输出模块、神经网络处理模块、工作平台、数据库以及动态更新模块；
所述输入模块用于向工作平台输入工作内容；所述工作平台传递工作内容神经网络处理模块；所述神经网络模块对工作内容处理后生成任务量并存储到数据库中的目标数据集中；所述神经网络模块还将生成的任务量传递到输出模块；所述输出模块输出经过神经网络模块处理后的任务量；所述动态更新模块，用于将数据库中的源数据集中的工作内容更新至神经网络模块。
优选地，所述神经网络模块包括输入单元、输出单元、卷积处理单元以及全连接单元；所述输入单元接收输入模块传递的工作内容并输入到卷积处理单元；所述工作内容经卷积处理单元内若干所述卷积处理层处理后传递全连接单元；所述全连接层对处理后的工作内容过滤检测后形成工作量；所述输出单元将工作量传递至输出模块。
本发明的一个方面具有以下有益效果：
1、本发明利用源数据集与所述目标数据集训练自编码器；从自编码器提取数据特征，把数据特征输入卷积神经网络训练预测器，使用预测器生成任务量，提高任务量的评估精度。
2、本发明自编码器通过工作内容的后验分布和先验分布匹配实现正则化；通过卷积神经网络的训练和学习，实现对动态工作内容的准确匹配，提高任务量评估精度，进而提高工作内容处理效率。
3、本发明通过预测器动态更新并且预测结果不受数据集的组合顺序影响，使得预测器的预测方法可以不断完善，让预测值愈加准确。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于深度学习的工作平台任务量预测方法的流程图；
图2为本发明中预测器实时动态更新流程图；
图3为本发明中基于深度学习的工作平台任务量预测系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“开孔”、“上”、“中”、“长度”、“内”等指示方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的组件或元件必须具有特定的方位，以特定的方位构造和操作，因此不能理解为对本发明的限制。
请参阅图1所示，本发明为基于深度学习的工作平台任务量预测方法，包括如下过程：
A0：建立源数据集以及目标数据集；
其中，源数据集为工作内容；目标数据集为与源数据集中工作内容对应的加权工作量；
A1：利用源数据集与目标数据集训练自编码器；
A2：从自编码器提取数据特征，把数据特征输入卷积神经网络训练预测器，使用预测器生成任务量；
其中，自编码器通过工作内容的后验分布和先验分布匹配实现正则化；工作内容的后验分布为：
Figure 934887DEST_PATH_IMAGE001
工作内容的后验分布为：p(m)
其中，n为工作内容作为输入向量；m为自编码器的工作加权任务量作为编码向量；q(m|n)将工作内容n编码为工作加权任务量m的编码分布，对应的，q(n|m)即为将工作加权任务m解码为工作内容n的解码分布；pd(m)为数据分布。
其中，输入向量为目标数据集l时，其对应的后验分布为：
Figure 914344DEST_PATH_IMAGE002
自编码器通过q(m)与p(m进行匹配完成正则化训练。
其中，自编码器包括编码器以及解码器；编码器对目标数据集中的工作加权任务量进行编码生成编码向量；解码器对编码向量解码并重构编码前的数据。
其中，自编码器包括生成器和判别器，生成器与判别器对抗；生成器为编码器，用于对目标数据集进行编码生成训练样本；训练样本即为对工作加权任务量编码生成的编码向量。
其中，判别器对训练样本进行辨别并判断训练样本是否符合真实数据编码分布；目标数据集编码分布为模拟数据分布；源数据集编码分布为真实数据分布。
请参阅图2所示，预测器为实时动态更新，具体更新过程包括如下：
A21：采集数据并建立新数据集；
A22：选取未输入到预测器的新数据集作为最新源数据集，预测器原有的源数据集与目标数据集重组构成最新目标数据集；
A23：将最新源数据集与最新目标数据集输入到预测器，进行更新训练。
其中，新数据集中的数据来自工作平台上传的工作内容以及对应的加权工作量。
其中，卷积神经网络包括一个输入层、一个全连接层、一个输出层以及若干个全连接层；卷积神经网络的连接顺序依次为：输入层、若干数次排列的卷积层、全连接层以及输出层。
请参阅图3所示，基于深度学习的工作平台任务量预测系统，包括输入模块、输出模块、神经网络处理模块、工作平台、数据库以及动态更新模块；
输入模块用于向工作平台输入工作内容；工作平台传递工作内容神经网络处理模块；神经网络模块对工作内容处理后生成任务量并存储到数据库中的目标数据集中；神经网络模块还将生成的任务量传递到输出模块；输出模块输出经过神经网络模块处理后的任务量；动态更新模块，用于将数据库中的源数据集中的工作内容更新至神经网络模块。
其中，神经网络模块包括输入单元、输出单元、卷积处理单元以及全连接单元；输入单元接收输入模块传递的工作内容并输入到卷积处理单元；工作内容经卷积处理单元内若干卷积处理层处理后传递全连接单元；全连接层对处理后的工作内容过滤检测后形成工作量；输出单元将工作量传递至输出模块。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.基于深度学习的工作平台任务量预测方法，其特征在于，包括如下过程：
A0：建立源数据集以及目标数据集；
其中，所述源数据集为工作内容；所述目标数据集为与源数据集中工作内容对应的加权工作量；
A1：利用所述源数据集与所述目标数据集训练自编码器；
A2：从所述自编码器提取数据特征，把所述数据特征输入卷积神经网络训练预测器，使用所述预测器生成任务量；
其中，所述自编码器通过工作内容的后验分布和先验分布匹配实现正则化；所述工作内容的后验分布为：
Figure 636561DEST_PATH_IMAGE001
所述工作内容的后验分布为：p(m)
其中，n为工作内容作为输入向量；m为所述自编码器的工作加权任务量作为编码向量；q(m|n)将工作内容n编码为工作加权任务量m的编码分布，对应的，q(n|m)即为将工作加权任务量m解码为工作内容n的解码分布；pd(m)为数据分布。
2.根据权利要求1所述的基于深度学习的工作平台任务量预测方法，其特征在于，所述输入向量为所述目标数据集l时，其对应的后验分布为：
Figure 835461DEST_PATH_IMAGE002
所述自编码器通过q(m)与p(m)进行匹配完成正则化训练。
3.根据权利要求1所述的基于深度学习的工作平台任务量预测方法，其特征在于，所述自编码器包括编码器以及解码器；所述编码器对目标数据集中的工作加权任务量进行编码生成编码向量；所述解码器对编码向量解码并重构编码前的数据。
4.根据权利要求3所述的基于深度学习的工作平台任务量预测方法，其特征在于，所述自编码器包括生成器和判别器，所述生成器与判别器对抗；所述生成器为编码器，用于对所述目标数据集进行编码生成训练样本；所述训练样本即为对工作加权任务量编码生成的编码向量。
5.根据权利要求4所述的基于深度学习的工作平台任务量预测方法，其特征在于，所述判别器对所述训练样本进行辨别并判断所述训练样本是否符合真实数据编码分布；所述目标数据集编码分布为模拟数据分布；所述源数据集编码分布为真实数据分布。
6.根据权利要求1所述的基于深度学习的工作平台任务量预测方法，其特征在于，所述预测器为实时动态更新，具体更新过程包括如下：
A21：采集数据并建立新数据集；
A22：选取未输入到所述预测器的新数据集作为最新源数据集，所述预测器原有的源数据集与目标数据集重组构成最新目标数据集；
A23：将所述最新源数据集与所述最新目标数据集输入到所述预测器，进行更新训练。
7.根据权利要求6所述的基于深度学习的工作平台任务量预测方法，其特征在于，所述新数据集中的数据来自工作平台上传的工作内容以及对应的加权工作量。
8.根据权利要求1所述的基于深度学习的工作平台任务量预测方法，其特征在于，所述卷积神经网络包括一个输入层、一个全连接层、一个输出层以及若干个全连接层；所述卷积神经网络的连接顺序依次为：输入层、若干数次排列的卷积层、全连接层以及输出层。
9.如权利要求1-8任意一所述的基于深度学习的工作平台任务量预测系统，其特征在于，包括输入模块、输出模块、神经网络处理模块、工作平台、数据库以及动态更新模块；
所述输入模块用于向工作平台输入工作内容；所述工作平台传递工作内容神经网络处理模块；所述神经网络模块对工作内容处理后生成任务量并存储到数据库中的目标数据集中；所述神经网络模块还将生成的任务量传递到输出模块；所述输出模块输出经过神经网络模块处理后的任务量；所述动态更新模块，用于将数据库中的源数据集中的工作内容更新至神经网络模块。
10.根据权利要求9所述的基于深度学习的工作平台任务量预测系统，其特征在于，所述神经网络模块包括输入单元、输出单元、卷积处理单元以及全连接单元；所述输入单元接收输入模块传递的工作内容并输入到卷积处理单元；所述工作内容经卷积处理单元内若干所述卷积处理层处理后传递全连接单元；所述全连接层对处理后的工作内容过滤检测后形成工作量；所述输出单元将工作量传递至输出模块。
CN202010852926.9A 2020-08-22 2020-08-22 基于深度学习的工作平台任务量预测方法及系统 Pending CN111915103A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010852926.9A CN111915103A (zh) 2020-08-22 2020-08-22 基于深度学习的工作平台任务量预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010852926.9A CN111915103A (zh) 2020-08-22 2020-08-22 基于深度学习的工作平台任务量预测方法及系统

Publications (1)

Publication Number Publication Date
CN111915103A true CN111915103A (zh) 2020-11-10

Family

ID=73278994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010852926.9A Pending CN111915103A (zh) 2020-08-22 2020-08-22 基于深度学习的工作平台任务量预测方法及系统

Country Status (1)

Country Link
CN (1) CN111915103A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107846012A (zh) * 2017-09-27 2018-03-27 国网湖北省电力公司 一种基于深度学习技术的电力系统暂态稳定评估方法
CN108846444A (zh) * 2018-06-23 2018-11-20 重庆大学 面向多源数据挖掘的多阶段深度迁移学习方法
CN110322222A (zh) * 2019-06-28 2019-10-11 广东石油化工学院 一种基于深度学习的异质软件工作量估计方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107846012A (zh) * 2017-09-27 2018-03-27 国网湖北省电力公司 一种基于深度学习技术的电力系统暂态稳定评估方法
CN108846444A (zh) * 2018-06-23 2018-11-20 重庆大学 面向多源数据挖掘的多阶段深度迁移学习方法
CN110322222A (zh) * 2019-06-28 2019-10-11 广东石油化工学院 一种基于深度学习的异质软件工作量估计方法

Similar Documents

Publication Publication Date Title
CN111339433B (zh) 基于人工智能的信息推荐方法、装置、电子设备
US11774951B2 (en) Production line adaptation methods based on industrial internet of things, systems and storage mediums thereof
CN108874959A (zh) 一种基于大数据技术的用户动态兴趣模型建立方法
CN112860407B (zh) 一种云边协作的序列依赖流水车间任务调度执行优化方法
CN111931917A (zh) 前向计算的实现方法及装置、存储介质、电子装置
CN109241268A (zh) 一种相似信息推荐方法、装置、设备及存储介质
CN111738409B (zh) 一种资源调度的方法及其相关设备
CN112380428B (zh) 云边协调的边缘计算的方法、系统、电子装置和存储介质
CN113112026B (zh) 一种联邦学习模型优化方法及装置
CN113873534B (zh) 一种雾计算中区块链协助的联邦学习主动内容缓存方法
CN114519435A (zh) 模型参数更新方法、模型参数更新装置和电子设备
CN114358316A (zh) 联邦学习系统及其大规模影像训练方法和装置
CN113379045A (zh) 数据增强方法和装置
CN111915103A (zh) 基于深度学习的工作平台任务量预测方法及系统
CN110147879A (zh) 一种用于神经网络处理器的激活装置及方法
Mao et al. Efficient satellite scheduling based on improved vector evaluated genetic algorithm
CN112288154A (zh) 一种基于改进神经协同过滤的区块链服务可靠性预测方法
CN116931129A (zh) 基于多模式集合的短期降水预报方法、装置、设备及介质
CN111415075A (zh) 一种车辆调度方法及装置
CN111258743A (zh) 基于离散编码的云任务调度方法、装置、设备及存储介质
Kuang et al. Entropy-based gradient compression for distributed deep learning
CN114723071A (zh) 一种基于客户端分类和信息熵的联邦学习方法及装置
CN110909254B (zh) 基于深度学习模型针对问答社区进行问题热度预测的方法和系统
CN115730631A (zh) 联邦学习的方法和装置
CN117708877B (zh) 混合多阶段私有模型的个性化联邦学习方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201110