CN103941662A - 一种基于云计算的任务调度系统和调度方法 - Google Patents
一种基于云计算的任务调度系统和调度方法 Download PDFInfo
- Publication number
- CN103941662A CN103941662A CN201410100940.8A CN201410100940A CN103941662A CN 103941662 A CN103941662 A CN 103941662A CN 201410100940 A CN201410100940 A CN 201410100940A CN 103941662 A CN103941662 A CN 103941662A
- Authority
- CN
- China
- Prior art keywords
- task
- server
- scheduling
- resource
- cloud computing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Multi Processors (AREA)
Abstract
本发明公开了一种基于云计算的任务调度系统和调度方法，该调度系统包含信息采集传输装置，其采集资源信息；任务接收服务器，其负责接收任务；任务分析服务器，其输入端分别连接信息采集传输装置和任务接收服务器，负责将任务及资源占用情况进行统计分析；任务调度服务器，其输入端连接任务分析服务器，根据任务分析服务器中的分析结果进行任务调度；任务分发服务器，其输入端连接任务调度服务器；若干个资源服务器，其输入端连接任务分发服务器，并行执行任务分发服务器分配的任务。本发明克服现有云计算调度系统在对云计算平台任务的调度上的不足，并提供了更高效的云计算调度平台。
Description
技术领域
本发明涉及云计算领域，特别涉及一种基于云计算的任务调度系统和调度方法。
背景技术
云计算是并行计算、分布式计算、网格计算的融合和发展，是集软件技术、硬件技术、虚拟技术、网络技术于一体的一场革命。云计算要实现让互联网上的资源像水和电一样在网络上按需分配，并能够根据请求任务复杂性和数据集合大小合理的动态调整，可以提高系统的水平扩展能力，极大降低软硬件资源成本。任务调度系统是云计算平台的重要组成部分，它需要在有限的云计算资源条件下，处理海量的用户任务调度。
现有的云计算调度系统性能较低，不能依据任务的特征、执行任务的资源服务器的负载情况以及用户设定的调度策略把不同的任务分配到相应的资源服务器上去执行，会增加任务的执行时间、降低整个系统的吞吐量，甚至导致系统崩溃。
发明内容
本发明的目的是提供一种基于云计算的任务调度系统和调度方法，克服现有云计算调度系统在对云计算平台任务的调度上的不足，并提供了更高效的云计算调度平台。
为了实现以上目的，本发明是通过以下技术方案实现的：
一种基于云计算的任务调度系统，其特点是，包含：
信息采集传输装置，其采集资源信息；
任务接收服务器，其负责接收任务；
任务分析服务器，其输入端分别连接信息采集传输装置和任务接收服务器，负责将任务及资源占用情况进行统计分析；
任务调度服务器，其输入端连接任务分析服务器，根据任务分析服务器中的分析结果进行任务调度；
任务分发服务器，其输入端连接任务调度服务器；
若干个资源服务器，其输入端连接任务分发服务器，并行执行任务分发服务器分配的任务。
一种利用上述的基于云计算的任务调度系统的调度方法，其特点是，该方法包含：
步骤1、任务分析服务器接收信息采集传输装置采集的资源信息以及接收任务接收服务器接收的任务；
步骤2、任务调度服务器根据任务分析服务器中的统计分析结果及设定的任务调度策略进行任务调度，并将调度结果传递给任务分发服务器；
步骤3、资源服务器执行任务分发服务器分配的任务。
所述的步骤2包含如下子步骤：
步骤2.1、将分析服务器指派的资源和任务进行绑定；
步骤2.2、任务分发服务器将指派的资源和任务进行定向分发；
步骤2.3、任务分发服务器会反馈任务执行情况和结果；
步骤2.4、任务调度服务器记录过程状态，评估任务执行效率；
步骤2.5、将执行效率及结果反馈给任务分析服务器。
本发明与现有技术相比，具有以下优点：
本发明可以依据任务的特征、执行任务的资源服务器的负载情况以及用户设定的调度策略把不同的任务分配到相应的资源服务器上去执行，使得总任务的完成时间减少，并能让资源得到充分利用。
附图说明
图1为本发明一种基于云计算的任务调度系统的系统框图。
具体实施方式
以下结合附图，通过详细说明一个较佳的具体实施例，对本发明做进一步阐述。
一种基于云计算的任务调度系统，包含：信息采集传输装置，其采集资源信息；任务接收服务器，其负责接收任务，是任务调度系统与外界的接口；任务分析服务器，其输入端分别连接信息采集传输装置和任务接收服务器，负责将任务及资源占用情况进行统计分析；任务调度服务器，其输入端连接任务分析服务器，根据任务分析服务器中的分析结果进行任务调度；任务分发服务器，其输入端连接任务调度服务器；3个资源服务器，其输入端连接任务分发服务器，并行执行任务分发服务器分配的任务。其中，信息采集传输装置负责周期性的将采集的资源服务器中的资源使用情况以及运行在资源服务器上的任务的资源占用情况汇报给任务分析服务器；任务分析服务器收集信息采集传输装置采集到的任务占用资源情况和资源服务器的资源使用情况，并对其进行统计分析，并对执行新任务所需的资源进行预估，为任务调度服务器提供调度依据。
一种利用上述的基于云计算的任务调度系统的调度方法，该方法包含：
步骤1、任务分析服务器接收信息采集传输装置采集的资源信息以及接收任务接收服务器接收的任务；
步骤2、任务调度服务器根据任务分析服务器中的统计分析结果及设定的任务调度策略进行任务调度，并将调度结果传递给任务分发服务器；
步骤3、资源服务器执行任务分发服务器分配的任务。
步骤1.1、信息采集节点收集本节点资源信息；
步骤1.2、信息采集节点通过信息采集传输装置将信息发送到任务分析服务器；
步骤1.3、任务分析服务器将信息采集节点的节点信息进行汇总；
步骤1.4、任务接收服务器接收到任务后，将任务传送给任务分析服务器；
步骤1.5、任务分析服务器，根据自定义策略，（如CPU个数，内存数量等资源）查找合适的资源进行分配，资源被分配后，将剩余资源进行统计，用于下次分配。
步骤1.6、在分配的资源使用完成后，任务分析服务器会对资源重新记录，同时记录对应任务的执行时间。
步骤1.7、任务分析服务器在有多次资源使用记录后，根据效率进行排序（任务时间/任务量），对资源进行优化。
步骤1.8、在下次任务到来时，对任务进行分析，将最高效的资源指派给相应任务。
步骤2包含子步骤：
步骤2.1、将分析服务器指派的资源和任务进行绑定；
步骤2.2、任务分发服务器将指派的资源和任务进行定向分发；
步骤2.3、任务分发服务器会反馈任务执行情况和结果；
步骤2.4、任务调度服务器记录过程状态，评估任务执行效率；
步骤2.5、将执行效率及结果反馈给任务分析服务器。
综上所述，本发明一种基于云计算的任务调度系统，克服现有云计算调度系统在对云计算平台任务的调度上的不足，并提供了更高效的云计算调度平台。
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。
Claims (3)
1.一种基于云计算的任务调度系统，其特征在于，包含：
信息采集传输装置，其采集资源信息；
任务接收服务器，其负责接收任务；
任务分析服务器，其输入端分别连接信息采集传输装置和任务接收服务器，负责将任务及资源占用情况进行统计分析；
任务调度服务器，其输入端连接任务分析服务器，根据任务分析服务器中的分析结果进行任务调度；
任务分发服务器，其输入端连接任务调度服务器；
若干个资源服务器，其输入端连接任务分发服务器，并行执行任务分发服务器分配的任务。
2.一种利用如权利要求1所述的基于云计算的任务调度系统的调度方法，其特征在于，该方法包含：
步骤1、任务分析服务器接收信息采集传输装置采集的资源信息以及接收任务接收服务器接收的任务；
步骤2、任务调度服务器根据任务分析服务器中的统计分析结果及设定的任务调度策略进行任务调度，并将调度结果传递给任务分发服务器；
步骤3、资源服务器执行任务分发服务器分配的任务。
3.如权利要求2所述的方法，其特征在于，所述的步骤2包含如下子步骤：
步骤2.1、将分析服务器指派的资源和任务进行绑定；
步骤2.2、任务分发服务器将指派的资源和任务进行定向分发；
步骤2.3、任务分发服务器会反馈任务执行情况和结果；
步骤2.4、任务调度服务器记录过程状态，评估任务执行效率；
步骤2.5、将执行效率及结果反馈给任务分析服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410100940.8A CN103941662A (zh) | 2014-03-19 | 2014-03-19 | 一种基于云计算的任务调度系统和调度方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410100940.8A CN103941662A (zh) | 2014-03-19 | 2014-03-19 | 一种基于云计算的任务调度系统和调度方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103941662A true CN103941662A (zh) | 2014-07-23 |
Family
ID=51189375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410100940.8A Pending CN103941662A (zh) | 2014-03-19 | 2014-03-19 | 一种基于云计算的任务调度系统和调度方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103941662A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104902013A (zh) * | 2015-05-14 | 2015-09-09 | 上海互说信息科技有限公司 | 具有闭环服务质量回馈的服务管理系统及方法 |
| CN105049268A (zh) * | 2015-08-28 | 2015-11-11 | 东方网力科技股份有限公司 | 分布式计算资源分配系统和任务处理方法 |
| CN105656973A (zh) * | 2014-11-25 | 2016-06-08 | 中国科学院声学研究所 | 一种分布式节点组内任务调度方法及系统 |
| CN105915633A (zh) * | 2016-06-02 | 2016-08-31 | 北京百度网讯科技有限公司 | 自动化运维系统和方法 |
| CN105978960A (zh) * | 2016-05-06 | 2016-09-28 | 武汉烽火众智数字技术有限责任公司 | 一种基于海量视频结构化处理的云调度系统及方法 |
| CN106055379A (zh) * | 2015-04-09 | 2016-10-26 | 国际商业机器公司 | 用于调度计算任务的方法和系统 |
| CN106339259A (zh) * | 2016-08-15 | 2017-01-18 | 上海欧网网络科技发展有限公司 | 云计算资源的实时调度方法 |
| CN106557471A (zh) * | 2015-09-24 | 2017-04-05 | 上海汽车集团股份有限公司 | 任务调度方法及装置 |
| CN109445386A (zh) * | 2018-10-23 | 2019-03-08 | 浙江工业大学 | 一种基于onba的云制造任务最短生产时间调度方法 |
| CN111898162A (zh) * | 2020-08-17 | 2020-11-06 | 腾讯科技（深圳）有限公司 | 并行任务的执行方法和装置、存储介质及电子设备 |
| CN114757278A (zh) * | 2022-04-15 | 2022-07-15 | 北京科杰科技有限公司 | 无效任务的处理方法、装置、计算机设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060136241A1 (en) * | 2004-12-20 | 2006-06-22 | Microsoft Corporation | Method and system for work scheduling on calendars |
| US20070250364A1 (en) * | 2006-04-10 | 2007-10-25 | Lundberg Steven W | System and method for one-click docketing |
| CN102073546A (zh) * | 2010-12-13 | 2011-05-25 | 北京航空航天大学 | 一种云计算环境中分布式计算模式下的任务动态调度方法 |
| CN102081554A (zh) * | 2011-01-30 | 2011-06-01 | 浪潮(北京)电子信息产业有限公司 | 云计算操作系统及其内核控制系统及方法 |
| CN103297499A (zh) * | 2013-04-19 | 2013-09-11 | 无锡成电科大科技发展有限公司 | 一种基于云平台的调度方法及系统 |
| CN103377407A (zh) * | 2012-04-25 | 2013-10-30 | 华为技术有限公司 | 云业务处理方法及相关装置和系统 |
| CN103412792A (zh) * | 2013-07-18 | 2013-11-27 | 成都国科海博计算机系统有限公司 | 一种云计算平台环境下的动态任务调度方法及装置 |
-
2014
- 2014-03-19 CN CN201410100940.8A patent/CN103941662A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060136241A1 (en) * | 2004-12-20 | 2006-06-22 | Microsoft Corporation | Method and system for work scheduling on calendars |
| US20070250364A1 (en) * | 2006-04-10 | 2007-10-25 | Lundberg Steven W | System and method for one-click docketing |
| CN102073546A (zh) * | 2010-12-13 | 2011-05-25 | 北京航空航天大学 | 一种云计算环境中分布式计算模式下的任务动态调度方法 |
| CN102081554A (zh) * | 2011-01-30 | 2011-06-01 | 浪潮(北京)电子信息产业有限公司 | 云计算操作系统及其内核控制系统及方法 |
| CN103377407A (zh) * | 2012-04-25 | 2013-10-30 | 华为技术有限公司 | 云业务处理方法及相关装置和系统 |
| CN103297499A (zh) * | 2013-04-19 | 2013-09-11 | 无锡成电科大科技发展有限公司 | 一种基于云平台的调度方法及系统 |
| CN103412792A (zh) * | 2013-07-18 | 2013-11-27 | 成都国科海博计算机系统有限公司 | 一种云计算平台环境下的动态任务调度方法及装置 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105656973B (zh) * | 2014-11-25 | 2018-11-13 | 中国科学院声学研究所 | 一种分布式节点组内任务调度方法及系统 |
| CN105656973A (zh) * | 2014-11-25 | 2016-06-08 | 中国科学院声学研究所 | 一种分布式节点组内任务调度方法及系统 |
| CN106055379A (zh) * | 2015-04-09 | 2016-10-26 | 国际商业机器公司 | 用于调度计算任务的方法和系统 |
| CN104902013A (zh) * | 2015-05-14 | 2015-09-09 | 上海互说信息科技有限公司 | 具有闭环服务质量回馈的服务管理系统及方法 |
| CN104902013B (zh) * | 2015-05-14 | 2018-11-20 | 上海互说信息科技有限公司 | 具有闭环服务质量回馈的服务管理系统及方法 |
| CN105049268A (zh) * | 2015-08-28 | 2015-11-11 | 东方网力科技股份有限公司 | 分布式计算资源分配系统和任务处理方法 |
| CN105049268B (zh) * | 2015-08-28 | 2018-12-28 | 东方网力科技股份有限公司 | 分布式计算资源分配系统和任务处理方法 |
| CN106557471A (zh) * | 2015-09-24 | 2017-04-05 | 上海汽车集团股份有限公司 | 任务调度方法及装置 |
| CN105978960A (zh) * | 2016-05-06 | 2016-09-28 | 武汉烽火众智数字技术有限责任公司 | 一种基于海量视频结构化处理的云调度系统及方法 |
| CN105978960B (zh) * | 2016-05-06 | 2019-09-06 | 武汉烽火众智数字技术有限责任公司 | 一种基于海量视频结构化处理的云调度系统及方法 |
| CN105915633A (zh) * | 2016-06-02 | 2016-08-31 | 北京百度网讯科技有限公司 | 自动化运维系统和方法 |
| CN106339259A (zh) * | 2016-08-15 | 2017-01-18 | 上海欧网网络科技发展有限公司 | 云计算资源的实时调度方法 |
| CN106339259B (zh) * | 2016-08-15 | 2019-08-27 | 上海欧网网络科技发展有限公司 | 云计算资源的实时调度方法 |
| CN109445386A (zh) * | 2018-10-23 | 2019-03-08 | 浙江工业大学 | 一种基于onba的云制造任务最短生产时间调度方法 |
| CN109445386B (zh) * | 2018-10-23 | 2020-06-02 | 浙江工业大学 | 一种基于onba的云制造任务最短生产时间调度方法 |
| CN111898162A (zh) * | 2020-08-17 | 2020-11-06 | 腾讯科技（深圳）有限公司 | 并行任务的执行方法和装置、存储介质及电子设备 |
| CN114757278A (zh) * | 2022-04-15 | 2022-07-15 | 北京科杰科技有限公司 | 无效任务的处理方法、装置、计算机设备及存储介质 |
| CN114757278B (zh) * | 2022-04-15 | 2022-12-16 | 北京科杰科技有限公司 | 无效任务的处理方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103941662A (zh) | 一种基于云计算的任务调度系统和调度方法 | |
| CN102063336B (zh) | 一种分布式计算多应用功能异步并发调度方法 | |
| CN102279730B (zh) | 一种并行的数据处理方法、装置和并行的数据处理系统 | |
| CN101652750B (zh) | 数据处理装置、分散处理系统、数据处理方法 | |
| CN108845878A (zh) | 基于无服务器计算的大数据处理方法及装置 | |
| CN104239144A (zh) | 一种多级分布式任务处理系统 | |
| CN109213597A (zh) | 资源分配方法、装置、计算机设备及计算机可读存储介质 | |
| CN105049268A (zh) | 分布式计算资源分配系统和任务处理方法 | |
| CN107025139A (zh) | 一种基于云计算的高性能计算调度框架 | |
| CN112162865A (zh) | 服务器的调度方法、装置和服务器 | |
| CN103995735A (zh) | 用于调度工作流作业的设备和方法 | |
| CN103927229A (zh) | 在动态可用服务器集群中调度映射化简作业 | |
| CN104581423A (zh) | 一种海量视频智能分析系统的综合调度和负载均衡方法 | |
| CN103279351B (zh) | 一种任务调度的方法及装置 | |
| CN106815254A (zh) | 一种数据处理方法和装置 | |
| CN104735095A (zh) | 一种云计算平台作业调度方法及装置 | |
| CN102541460A (zh) | 一种多磁盘场景下的磁盘管理方法和设备 | |
| CN103617067A (zh) | 一种基于云计算的电力软件仿真系统 | |
| CN110262887B (zh) | 基于特征识别的cpu-fpga任务调度方法及装置 | |
| CN103577251A (zh) | 基于事件的互联网计算处理系统及方法 | |
| CN109614227A (zh) | 任务资源调配方法、装置、电子设备及计算机可读介质 | |
| CN106131227A (zh) | 负载平衡方法、元数据服务器系统及负载平衡系统 | |
| CN104331328A (zh) | 虚拟资源调度方法和虚拟资源调度装置 | |
| CN116302568A (zh) | 一种算力资源调度方法及系统、调度中心、数据中心 | |
| CN115421930A (zh) | 任务处理方法、系统、装置、设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140723 |
|
| WD01 | Invention patent application deemed withdrawn after publication |