CN105094987A - 一种针对海量任务的资源调度方法和系统 - Google Patents

一种针对海量任务的资源调度方法和系统 Download PDF

Info

Publication number
CN105094987A
CN105094987A CN201510435007.0A CN201510435007A CN105094987A CN 105094987 A CN105094987 A CN 105094987A CN 201510435007 A CN201510435007 A CN 201510435007A CN 105094987 A CN105094987 A CN 105094987A
Authority
CN
China
Prior art keywords
resource
task
subtask
queue
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510435007.0A
Other languages
English (en)
Inventor
徐原
胡俊
何世平
高胜
李洪生
赵慧
党向磊
徐晓燕
刘婧
饶毓
赵宸
李世淙
陈阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Computer Network and Information Security Management Center
Original Assignee
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Computer Network and Information Security Management Center filed Critical National Computer Network and Information Security Management Center
Priority to CN201510435007.0A priority Critical patent/CN105094987A/zh
Publication of CN105094987A publication Critical patent/CN105094987A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种针对海量任务的资源调度方法和系统，所述方法包括：(1)分解海量任务并对子任务的资源占用情况进行监控；(2)计算已完成子任务资源占用值与预设值之间的资源距离参数；(3)根据所述资源距离参数分配将要执行任务队列中子任务的资源。所述系统包括：任务解析模块、计算模块和资源调度模块。本发明对云平台中海量任务下的资源进行合理的分配、调整和回收，动态调整各任务的分配情况，合理分配系统资源，降低系统的资源负担。

Description

一种针对海量任务的资源调度方法和系统
技术领域
本发明涉及一种资源调度方法和系统，具体涉及一种针对海量任务的资源调度方法和系统。
背景技术
云计算系统，其性能指标主要取决于其运行于其上的应用特征(包括应用的执行花费、各任务间的通信成本等)和平台特征(处理器的计算能力、处理器的数量等)。为了提升系统的处理性能，有效利用系统的资源，通常需要把一个任务进行分解，再为每个子任务分配并调度资源。
基于云计算平台的网络安全监控系统，如对安全基础信息的收集、被黑和仿冒网站检测、域名(含服务器)安全监测等，任务项非常庞大，一个任务可被拆分为大量的子任务，如对海量目标网站进行探测以收集基本信息，对产生的结果中的外链还需要进行递归扫描，涉及到对海量目标集更新状态与去重。若云平台中的海量任务不能合理分配资源，会导致云平台系统资源负担增加，出现宕机的现象，导致整体云平台系统无法正常工作。
发明内容
为了克服上述现有技术的不足，本发明提供一种针对海量任务的资源调度方法和系统。本发明对云平台中海量任务进行合理分配，降低了系统的资源负担。
为了实现上述发明目的，本发明采取如下技术方案：
一种针对海量任务的资源调度方法，所述方法包括如下步骤：
(1)分解海量任务并对子任务的资源占用情况进行监控；
(2)计算已完成子任务资源占用值与预设值之间的资源距离参数；
(3)根据所述资源距离参数分配将要执行任务队列中子任务的资源。
优选的，所述步骤(1)包括如下步骤：
步骤101、建立基础任务类型，并设定各类基础任务所需的资源数量；
步骤102、接收海量任务，按照预设优先级策略将海量任务入队列；
步骤103、利用蚁群算法分配资源，并监控任务队列内子任务的资源使用情况。
优选的，所述步骤(2)包括如下步骤：
步骤201、依据资源监控记录数据，计算已完成任务队列中子任务各资源类型预设值与实际使用值之间的距离，生成资源距离参数；
步骤202、将资源距离参数反馈到资源调度程序。
优选的，所述步骤(3)包括如下步骤：
步骤301、根据资源距离参数，调整预设任务类型所需的资源；
步骤302、重新计算云计算平台的资源，得出后续执行的子任务数量；
步骤303、依据得出的子任务数量执行任务队列中的子任务并分配相关资源。
优选的，一种针对海量任务的资源调度系统，所述系统包括：
任务解析模块，用于分解海量任务并对子任务的资源占用情况进行监控；
计算模块，用于计算已完成子任务资源占用值与预设值之间的资源距离参数；
资源调度模块，用于根据所述资源距离参数分配将要执行任务队列中子任务的资源。
优选的，所述任务解析模块包括：
任务类型管理模块，用于建立基础任务类型，设定各类基础任务所需的资源数量；
任务分发模块，用于按照预设优先级策略和任务类型将海量任务入队列；
任务监控模块，用于监控任务队列内子任务的资源使用情况。
优选的，所述计算模块依据资源监控记录数据，计算已完成任务队列中子任务各资源类型预设与实际使用间的距离，生成资源距离参数，并将其反馈到资源调度模块。
优选的，所述资源调度模块分配任务队列中子任务资源包括如下步骤：
接收子任务的资源距离参数，调整预设任务类型所需的资源；
重新计算云计算平台的资源，得出后续执行的子任务数量；
依据得出的子任务数量执行任务队列中的子任务并分配相关资源。
与现有技术相比，本发明的有益效果在于：
本发明对云平台中海量任务下的资源进行合理的分配、调整和回收，动态调整各任务的分配情况，合理分配系统资源，降低系统的资源负担。
附图说明
图1是本发明提供的一种针对海量任务的资源调度方法流程图，
图2是本发明提供的一种针对海量任务的资源调度系统架构图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
如图1所示，一种针对海量任务的资源调度方法，具体方法如下：
1、建立基础任务类型，并设定各类基础任务所需的资源数量；
2、接收海量任务，按照预设优先级策略将海量任务入队列；
3、利用蚁群算法分配资源，并监控任务队列内子任务的资源使用情况
4、依据资源监控记录数据，计算已完成任务队列中子任务各资源类型预设与实际使用间的距离，生成资源距离参数
5、观察任务队列中子任务的资源使用情况，生成资源监控记录数据；
6、依据资源监控记录数据，计算已完成任务队列中子任务各资源类型预设与实际使用间的距离，生成资源距离参数；
7、根据资源距离参数，调整预设任务类型所需的资源；
8、重新计算云计算平台的资源，得出后续执行的子任务数量；
9、依据得出的子任务数量执行任务队列中的子任务并分配相关资源。
如图2所示，一种针对海量任务的资源调度系统，该系统包括：任务解析模块、计算模块和资源调度模块。
其中，任务解析模块，用于分解海量任务并对子任务的资源占用情况进行监控；
计算模块，用于计算已完成子任务资源占用值与预设值之间的资源距离参数；
资源调度模块，用于根据所述资源距离参数分配将要执行任务队列中子任务的资源。
任务解析模块中包括：任务类型管理模块、任务分发模块和任务监控模块。
其中，任务类型管理模块，用于建立基础任务类型，设定各类基础任务所需的资源数量；
任务分发模块，用于按照预设优先级策略和任务类型将海量任务入队列，如队列1和队列2；
任务监控模块，用于监控任务队列内子任务的资源使用情况。
计算模块依据资源监控记录数据，计算已完成任务队列中子任务各资源类型预设与实际使用间的距离，生成资源距离参数，并将其反馈到资源调度模块。
其中，监控的资源包括云计算平台的CPU、内存、磁盘和带宽等的使用情况。
资源调度模块的处理流程如下：
资源调度模块接收子任务的资源距离参数，调整预设任务类型所需的资源；
重新计算云计算平台的资源，得出后续执行的子任务数量；
依据得出的子任务数量执行任务队列中的子任务并分配相关资源。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种针对海量任务的资源调度方法，其特征在于，所述方法包括如下步骤：
（1）分解海量任务并对子任务的资源占用情况进行监控；
（2）计算已完成子任务资源占用值与预设值之间的资源距离参数；
（3）根据所述资源距离参数分配将要执行任务队列中子任务的资源。
2.根据权利要求1所述资源调度方法，其特征在于，所述步骤（1）包括如下步骤：
步骤101、建立基础任务类型，并设定各类基础任务所需的资源数量；
步骤102、接收海量任务，按照预设优先级策略将海量任务入队列；
步骤103、利用蚁群算法分配资源，并监控任务队列内子任务的资源使用情况。
3.根据权利要求1所述资源调度方法，其特征在于，所述步骤（2）包括如下步骤：
步骤201、依据资源监控记录数据，计算已完成任务队列中子任务各资源类型预设值与实际使用值之间的距离，生成资源距离参数；
步骤202、将资源距离参数反馈到资源调度程序。
4.根据权利要求1所述资源调度方法，其特征在于，所述步骤（3）包括如下步骤：
步骤301、根据资源距离参数，调整预设任务类型所需的资源；
步骤302、重新计算云计算平台的资源，得出后续执行的子任务数量；
步骤303、依据得出的子任务数量执行任务队列中的子任务并分配相关资源。
5.一种针对海量任务的资源调度系统，其特征在于，所述系统包括：
任务解析模块，用于分解海量任务并对子任务的资源占用情况进行监控；
计算模块，用于计算已完成子任务资源占用值与预设值之间的资源距离参数；
资源调度模块，用于根据所述资源距离参数分配将要执行任务队列中子任务的资源。
6.根据权利要求5所述资源调度系统，其特征在于，所述任务解析模块包括：
任务类型管理模块，用于建立基础任务类型，设定各类基础任务所需的资源数量；
任务分发模块，用于按照预设优先级策略和任务类型将海量任务入队列；
任务监控模块，用于监控任务队列内子任务的资源使用情况。
7.根据权利要求5或6所述资源调度系统，其特征在于，所述计算模块依据资源监控记录数据，计算已完成任务队列中子任务各资源类型预设与实际使用间的距离，生成资源距离参数，并将其反馈到资源调度模块。
8.根据权利要求5或6所述资源调度系统，其特征在于，所述资源调度模块分配任务队列中子任务资源包括如下步骤：
接收子任务的资源距离参数，调整预设任务类型所需的资源；
重新计算云计算平台的资源，得出后续执行的子任务数量；
依据得出的子任务数量执行任务队列中的子任务并分配相关资源。
CN201510435007.0A 2015-07-22 2015-07-22 一种针对海量任务的资源调度方法和系统 Pending CN105094987A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510435007.0A CN105094987A (zh) 2015-07-22 2015-07-22 一种针对海量任务的资源调度方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510435007.0A CN105094987A (zh) 2015-07-22 2015-07-22 一种针对海量任务的资源调度方法和系统

Publications (1)

Publication Number Publication Date
CN105094987A true CN105094987A (zh) 2015-11-25

Family

ID=54575493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510435007.0A Pending CN105094987A (zh) 2015-07-22 2015-07-22 一种针对海量任务的资源调度方法和系统

Country Status (1)

Country Link
CN (1) CN105094987A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108132840A (zh) * 2017-11-16 2018-06-08 浙江工商大学 一种分布式系统中的资源调度方法及装置
CN108475212A (zh) * 2015-12-17 2018-08-31 起元技术有限责任公司 使用动态分区来处理数据

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324564A (zh) * 2012-03-22 2013-09-25 联想(北京)有限公司 操作反馈的方法及设备
CN103581339A (zh) * 2013-11-25 2014-02-12 广东电网公司汕头供电局 基于云计算的存储资源分配监控处理方法
CN103699440A (zh) * 2012-09-27 2014-04-02 北京搜狐新媒体信息技术有限公司 一种云计算平台系统为任务分配资源的方法和装置
CN104158841A (zh) * 2014-07-09 2014-11-19 中电科华云信息技术有限公司 计算资源分配方法
CN104391749A (zh) * 2014-11-26 2015-03-04 北京奇艺世纪科技有限公司 一种资源分配方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103324564A (zh) * 2012-03-22 2013-09-25 联想(北京)有限公司 操作反馈的方法及设备
CN103699440A (zh) * 2012-09-27 2014-04-02 北京搜狐新媒体信息技术有限公司 一种云计算平台系统为任务分配资源的方法和装置
CN103581339A (zh) * 2013-11-25 2014-02-12 广东电网公司汕头供电局 基于云计算的存储资源分配监控处理方法
CN104158841A (zh) * 2014-07-09 2014-11-19 中电科华云信息技术有限公司 计算资源分配方法
CN104391749A (zh) * 2014-11-26 2015-03-04 北京奇艺世纪科技有限公司 一种资源分配方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108475212A (zh) * 2015-12-17 2018-08-31 起元技术有限责任公司 使用动态分区来处理数据
CN108475212B (zh) * 2015-12-17 2021-12-31 起元技术有限责任公司 使用动态分区处理数据的方法、系统和计算机可读介质
CN108132840A (zh) * 2017-11-16 2018-06-08 浙江工商大学 一种分布式系统中的资源调度方法及装置
CN108132840B (zh) * 2017-11-16 2021-12-03 浙江工商大学 一种分布式系统中的资源调度方法及装置

Similar Documents

Publication Publication Date Title
CN102063336B (zh) 一种分布式计算多应用功能异步并发调度方法
Raghava et al. Comparative study on load balancing techniques in cloud computing
US10356167B1 (en) Workload profiling
ATE479287T1 (de) Verfahren zur verwaltung von betriebsmitteln in einer plattform für telekommunikationsdienst und/oder netzverwaltung, entsprechende plattform und computerprogrammprodukt dafür
CN105260230B (zh) 基于分段服务等级协议的数据中心虚拟机资源调度方法
CN104202388A (zh) 一种基于云平台的自动负载均衡系统
CN111352711B (zh) 多计算引擎调度方法、装置、设备及存储介质
CN107861796A (zh) 一种支持云数据中心能耗优化的虚拟机调度方法
CN108270805A (zh) 用于数据处理的资源分配方法及装置
CN103309745A (zh) 云架构的虚拟资源配置的方法及装置
CN108111337B (zh) 分布式系统仲裁主节点的方法及设备
CN105740085A (zh) 容错处理方法及装置
Gupta et al. Power and fault aware reliable resource allocation for cloud infrastructure
Wang et al. Task scheduling for MapReduce in heterogeneous networks
CN108132840A (zh) 一种分布式系统中的资源调度方法及装置
CN105094987A (zh) 一种针对海量任务的资源调度方法和系统
CN103631804A (zh) 电子地图的切图方法及处理系统
CN103049326B (zh) 在作业管理与调度系统中管理作业程序的方法和系统
CN103325012A (zh) 一种适用于电网安全校核的并行计算动态任务分配方法
CN110069319B (zh) 一种面向朵云资源管理的多目标虚拟机调度方法及系统
CN110879753A (zh) 基于自动化集群资源管理的gpu加速性能优化方法和系统
CN115794542A (zh) 多算力模式的算力资源拓扑监控方法、系统及设备
Srinivasan et al. An enhanced load balancing technique for efficient load distribution in cloud-based IT industries
CN106599116B (zh) 云平台数据集成管理系统和方法
CN111580937B (zh) 一种面向飞腾多核/众核混合集群的虚拟机自动调度方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20151125