CN105094987A - 一种针对海量任务的资源调度方法和系统 - Google Patents
一种针对海量任务的资源调度方法和系统 Download PDFInfo
- Publication number
- CN105094987A CN105094987A CN201510435007.0A CN201510435007A CN105094987A CN 105094987 A CN105094987 A CN 105094987A CN 201510435007 A CN201510435007 A CN 201510435007A CN 105094987 A CN105094987 A CN 105094987A
- Authority
- CN
- China
- Prior art keywords
- resource
- task
- subtask
- queue
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种针对海量任务的资源调度方法和系统,所述方法包括:(1)分解海量任务并对子任务的资源占用情况进行监控;(2)计算已完成子任务资源占用值与预设值之间的资源距离参数;(3)根据所述资源距离参数分配将要执行任务队列中子任务的资源。所述系统包括:任务解析模块、计算模块和资源调度模块。本发明对云平台中海量任务下的资源进行合理的分配、调整和回收,动态调整各任务的分配情况,合理分配系统资源,降低系统的资源负担。
Description
技术领域
本发明涉及一种资源调度方法和系统,具体涉及一种针对海量任务的资源调度方法和系统。
背景技术
云计算系统,其性能指标主要取决于其运行于其上的应用特征(包括应用的执行花费、各任务间的通信成本等)和平台特征(处理器的计算能力、处理器的数量等)。为了提升系统的处理性能,有效利用系统的资源,通常需要把一个任务进行分解,再为每个子任务分配并调度资源。
基于云计算平台的网络安全监控系统,如对安全基础信息的收集、被黑和仿冒网站检测、域名(含服务器)安全监测等,任务项非常庞大,一个任务可被拆分为大量的子任务,如对海量目标网站进行探测以收集基本信息,对产生的结果中的外链还需要进行递归扫描,涉及到对海量目标集更新状态与去重。若云平台中的海量任务不能合理分配资源,会导致云平台系统资源负担增加,出现宕机的现象,导致整体云平台系统无法正常工作。
发明内容
为了克服上述现有技术的不足,本发明提供一种针对海量任务的资源调度方法和系统。本发明对云平台中海量任务进行合理分配,降低了系统的资源负担。
为了实现上述发明目的,本发明采取如下技术方案:
一种针对海量任务的资源调度方法,所述方法包括如下步骤:
(1)分解海量任务并对子任务的资源占用情况进行监控;
(2)计算已完成子任务资源占用值与预设值之间的资源距离参数;
(3)根据所述资源距离参数分配将要执行任务队列中子任务的资源。
优选的,所述步骤(1)包括如下步骤:
步骤101、建立基础任务类型,并设定各类基础任务所需的资源数量;
步骤102、接收海量任务,按照预设优先级策略将海量任务入队列;
步骤103、利用蚁群算法分配资源,并监控任务队列内子任务的资源使用情况。
优选的,所述步骤(2)包括如下步骤:
步骤201、依据资源监控记录数据,计算已完成任务队列中子任务各资源类型预设值与实际使用值之间的距离,生成资源距离参数;
步骤202、将资源距离参数反馈到资源调度程序。
优选的,所述步骤(3)包括如下步骤:
步骤301、根据资源距离参数,调整预设任务类型所需的资源;
步骤302、重新计算云计算平台的资源,得出后续执行的子任务数量;
步骤303、依据得出的子任务数量执行任务队列中的子任务并分配相关资源。
优选的,一种针对海量任务的资源调度系统,所述系统包括:
任务解析模块,用于分解海量任务并对子任务的资源占用情况进行监控;
计算模块,用于计算已完成子任务资源占用值与预设值之间的资源距离参数;
资源调度模块,用于根据所述资源距离参数分配将要执行任务队列中子任务的资源。
优选的,所述任务解析模块包括:
任务类型管理模块,用于建立基础任务类型,设定各类基础任务所需的资源数量;
任务分发模块,用于按照预设优先级策略和任务类型将海量任务入队列;
任务监控模块,用于监控任务队列内子任务的资源使用情况。
优选的,所述计算模块依据资源监控记录数据,计算已完成任务队列中子任务各资源类型预设与实际使用间的距离,生成资源距离参数,并将其反馈到资源调度模块。
优选的,所述资源调度模块分配任务队列中子任务资源包括如下步骤:
接收子任务的资源距离参数,调整预设任务类型所需的资源;
重新计算云计算平台的资源,得出后续执行的子任务数量;
依据得出的子任务数量执行任务队列中的子任务并分配相关资源。
与现有技术相比,本发明的有益效果在于:
本发明对云平台中海量任务下的资源进行合理的分配、调整和回收,动态调整各任务的分配情况,合理分配系统资源,降低系统的资源负担。
附图说明
图1是本发明提供的一种针对海量任务的资源调度方法流程图,
图2是本发明提供的一种针对海量任务的资源调度系统架构图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
如图1所示,一种针对海量任务的资源调度方法,具体方法如下:
1、建立基础任务类型,并设定各类基础任务所需的资源数量;
2、接收海量任务,按照预设优先级策略将海量任务入队列;
3、利用蚁群算法分配资源,并监控任务队列内子任务的资源使用情况
4、依据资源监控记录数据,计算已完成任务队列中子任务各资源类型预设与实际使用间的距离,生成资源距离参数
5、观察任务队列中子任务的资源使用情况,生成资源监控记录数据;
6、依据资源监控记录数据,计算已完成任务队列中子任务各资源类型预设与实际使用间的距离,生成资源距离参数;
7、根据资源距离参数,调整预设任务类型所需的资源;
8、重新计算云计算平台的资源,得出后续执行的子任务数量;
9、依据得出的子任务数量执行任务队列中的子任务并分配相关资源。
如图2所示,一种针对海量任务的资源调度系统,该系统包括:任务解析模块、计算模块和资源调度模块。
其中,任务解析模块,用于分解海量任务并对子任务的资源占用情况进行监控;
计算模块,用于计算已完成子任务资源占用值与预设值之间的资源距离参数;
资源调度模块,用于根据所述资源距离参数分配将要执行任务队列中子任务的资源。
任务解析模块中包括:任务类型管理模块、任务分发模块和任务监控模块。
其中,任务类型管理模块,用于建立基础任务类型,设定各类基础任务所需的资源数量;
任务分发模块,用于按照预设优先级策略和任务类型将海量任务入队列,如队列1和队列2;
任务监控模块,用于监控任务队列内子任务的资源使用情况。
计算模块依据资源监控记录数据,计算已完成任务队列中子任务各资源类型预设与实际使用间的距离,生成资源距离参数,并将其反馈到资源调度模块。
其中,监控的资源包括云计算平台的CPU、内存、磁盘和带宽等的使用情况。
资源调度模块的处理流程如下:
资源调度模块接收子任务的资源距离参数,调整预设任务类型所需的资源;
重新计算云计算平台的资源,得出后续执行的子任务数量;
依据得出的子任务数量执行任务队列中的子任务并分配相关资源。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求范围当中。
Claims (8)
1.一种针对海量任务的资源调度方法,其特征在于,所述方法包括如下步骤:
(1)分解海量任务并对子任务的资源占用情况进行监控;
(2)计算已完成子任务资源占用值与预设值之间的资源距离参数;
(3)根据所述资源距离参数分配将要执行任务队列中子任务的资源。
2.根据权利要求1所述资源调度方法,其特征在于,所述步骤(1)包括如下步骤:
步骤101、建立基础任务类型,并设定各类基础任务所需的资源数量;
步骤102、接收海量任务,按照预设优先级策略将海量任务入队列;
步骤103、利用蚁群算法分配资源,并监控任务队列内子任务的资源使用情况。
3.根据权利要求1所述资源调度方法,其特征在于,所述步骤(2)包括如下步骤:
步骤201、依据资源监控记录数据,计算已完成任务队列中子任务各资源类型预设值与实际使用值之间的距离,生成资源距离参数;
步骤202、将资源距离参数反馈到资源调度程序。
4.根据权利要求1所述资源调度方法,其特征在于,所述步骤(3)包括如下步骤:
步骤301、根据资源距离参数,调整预设任务类型所需的资源;
步骤302、重新计算云计算平台的资源,得出后续执行的子任务数量;
步骤303、依据得出的子任务数量执行任务队列中的子任务并分配相关资源。
5.一种针对海量任务的资源调度系统,其特征在于,所述系统包括:
任务解析模块,用于分解海量任务并对子任务的资源占用情况进行监控;
计算模块,用于计算已完成子任务资源占用值与预设值之间的资源距离参数;
资源调度模块,用于根据所述资源距离参数分配将要执行任务队列中子任务的资源。
6.根据权利要求5所述资源调度系统,其特征在于,所述任务解析模块包括:
任务类型管理模块,用于建立基础任务类型,设定各类基础任务所需的资源数量;
任务分发模块,用于按照预设优先级策略和任务类型将海量任务入队列;
任务监控模块,用于监控任务队列内子任务的资源使用情况。
7.根据权利要求5或6所述资源调度系统,其特征在于,所述计算模块依据资源监控记录数据,计算已完成任务队列中子任务各资源类型预设与实际使用间的距离,生成资源距离参数,并将其反馈到资源调度模块。
8.根据权利要求5或6所述资源调度系统,其特征在于,所述资源调度模块分配任务队列中子任务资源包括如下步骤:
接收子任务的资源距离参数,调整预设任务类型所需的资源;
重新计算云计算平台的资源,得出后续执行的子任务数量;
依据得出的子任务数量执行任务队列中的子任务并分配相关资源。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510435007.0A CN105094987A (zh) | 2015-07-22 | 2015-07-22 | 一种针对海量任务的资源调度方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510435007.0A CN105094987A (zh) | 2015-07-22 | 2015-07-22 | 一种针对海量任务的资源调度方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105094987A true CN105094987A (zh) | 2015-11-25 |
Family
ID=54575493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510435007.0A Pending CN105094987A (zh) | 2015-07-22 | 2015-07-22 | 一种针对海量任务的资源调度方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105094987A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108132840A (zh) * | 2017-11-16 | 2018-06-08 | 浙江工商大学 | 一种分布式系统中的资源调度方法及装置 |
CN108475212A (zh) * | 2015-12-17 | 2018-08-31 | 起元技术有限责任公司 | 使用动态分区来处理数据 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103324564A (zh) * | 2012-03-22 | 2013-09-25 | 联想(北京)有限公司 | 操作反馈的方法及设备 |
CN103581339A (zh) * | 2013-11-25 | 2014-02-12 | 广东电网公司汕头供电局 | 基于云计算的存储资源分配监控处理方法 |
CN103699440A (zh) * | 2012-09-27 | 2014-04-02 | 北京搜狐新媒体信息技术有限公司 | 一种云计算平台系统为任务分配资源的方法和装置 |
CN104158841A (zh) * | 2014-07-09 | 2014-11-19 | 中电科华云信息技术有限公司 | 计算资源分配方法 |
CN104391749A (zh) * | 2014-11-26 | 2015-03-04 | 北京奇艺世纪科技有限公司 | 一种资源分配方法及装置 |
-
2015
- 2015-07-22 CN CN201510435007.0A patent/CN105094987A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103324564A (zh) * | 2012-03-22 | 2013-09-25 | 联想(北京)有限公司 | 操作反馈的方法及设备 |
CN103699440A (zh) * | 2012-09-27 | 2014-04-02 | 北京搜狐新媒体信息技术有限公司 | 一种云计算平台系统为任务分配资源的方法和装置 |
CN103581339A (zh) * | 2013-11-25 | 2014-02-12 | 广东电网公司汕头供电局 | 基于云计算的存储资源分配监控处理方法 |
CN104158841A (zh) * | 2014-07-09 | 2014-11-19 | 中电科华云信息技术有限公司 | 计算资源分配方法 |
CN104391749A (zh) * | 2014-11-26 | 2015-03-04 | 北京奇艺世纪科技有限公司 | 一种资源分配方法及装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108475212A (zh) * | 2015-12-17 | 2018-08-31 | 起元技术有限责任公司 | 使用动态分区来处理数据 |
CN108475212B (zh) * | 2015-12-17 | 2021-12-31 | 起元技术有限责任公司 | 使用动态分区处理数据的方法、系统和计算机可读介质 |
CN108132840A (zh) * | 2017-11-16 | 2018-06-08 | 浙江工商大学 | 一种分布式系统中的资源调度方法及装置 |
CN108132840B (zh) * | 2017-11-16 | 2021-12-03 | 浙江工商大学 | 一种分布式系统中的资源调度方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102063336B (zh) | 一种分布式计算多应用功能异步并发调度方法 | |
ATE479287T1 (de) | Verfahren zur verwaltung von betriebsmitteln in einer plattform für telekommunikationsdienst und/oder netzverwaltung, entsprechende plattform und computerprogrammprodukt dafür | |
CN105260230B (zh) | 基于分段服务等级协议的数据中心虚拟机资源调度方法 | |
CN108270805B (zh) | 用于数据处理的资源分配方法及装置 | |
CN111352711B (zh) | 多计算引擎调度方法、装置、设备及存储介质 | |
CN107861796A (zh) | 一种支持云数据中心能耗优化的虚拟机调度方法 | |
CN102637138A (zh) | 一种计算调度虚拟机的方法 | |
CN108132840A (zh) | 一种分布式系统中的资源调度方法及装置 | |
CN103309745A (zh) | 云架构的虚拟资源配置的方法及装置 | |
CN108111337B (zh) | 分布式系统仲裁主节点的方法及设备 | |
CN105740085A (zh) | 容错处理方法及装置 | |
Wang et al. | Task scheduling for MapReduce in heterogeneous networks | |
CN103325012A (zh) | 一种适用于电网安全校核的并行计算动态任务分配方法 | |
CN105094987A (zh) | 一种针对海量任务的资源调度方法和系统 | |
CN110673950A (zh) | 云计算任务分配方法、装置、设备及存储介质 | |
CN103049326B (zh) | 在作业管理与调度系统中管理作业程序的方法和系统 | |
CN104021046A (zh) | 处理应用的方法和装置 | |
CN105550025A (zh) | 分布式基础设施即服务(IaaS)调度方法及系统 | |
CN110069319B (zh) | 一种面向朵云资源管理的多目标虚拟机调度方法及系统 | |
WO2017118129A1 (zh) | 频谱资源共享的方法和装置 | |
Nie et al. | An improved ant colony optimization algorithm for improving cloud resource utilization | |
CN110879753A (zh) | 基于自动化集群资源管理的gpu加速性能优化方法和系统 | |
CN115794542A (zh) | 多算力模式的算力资源拓扑监控方法、系统及设备 | |
CN105991366B (zh) | 一种业务监控方法及系统 | |
CN106599116B (zh) | 云平台数据集成管理系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20151125 |