CN107589995B - 一种数据业务播前预览任务调度方法 - Google Patents

一种数据业务播前预览任务调度方法 Download PDF

Info

Publication number
CN107589995B
CN107589995B CN201710706392.7A CN201710706392A CN107589995B CN 107589995 B CN107589995 B CN 107589995B CN 201710706392 A CN201710706392 A CN 201710706392A CN 107589995 B CN107589995 B CN 107589995B
Authority
CN
China
Prior art keywords
processor
load
task
scheduling
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710706392.7A
Other languages
English (en)
Other versions
CN107589995A (zh
Inventor
曾瑛
李星南
林斌
吴赞红
刘新展
张正峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Dispatch Control Center of Guangdong Power Grid Co Ltd
Original Assignee
Electric Power Dispatch Control Center of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Dispatch Control Center of Guangdong Power Grid Co Ltd filed Critical Electric Power Dispatch Control Center of Guangdong Power Grid Co Ltd
Priority to CN201710706392.7A priority Critical patent/CN107589995B/zh
Publication of CN107589995A publication Critical patent/CN107589995A/zh
Application granted granted Critical
Publication of CN107589995B publication Critical patent/CN107589995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Debugging And Monitoring (AREA)

Abstract

本发明涉及元数据建模及分析技术领域，更具体地，涉及一种数据业务播前预览任务调度方法。该算法首先建立测试任务调度模型，通过处理机的工作负载和通信负载计算出处理机的负载度作为调度时的衡量标准，采用主动上报的方式设计任务调度算法，将测试任务分解为多个子任务，分配到处理机上运行完成，该算法通过利用空闲处理机资源，实现测试任务调度和分配、自动完成以及测试结果的收集和回收等，实现合理调度测试任务并减少开销，有效解决了传统方法存在的问题并提升测试速度。

Description

一种数据业务播前预览任务调度方法
技术领域
本发明涉及元数据建模及分析技术领域，更具体地，涉及一种数据业务播前预览任务调度方法。
背景技术
随着新网络技术的引进、新业务需求的提出、新运维管理系统的建设，元数据地位得以凸显，以应对运维数据不断分裂和增加，宝贵的数据无法资产化，运维支撑系统的收益低以及信息过载等问题。而各种系统间存在数据标识冲突、数据项不一致，难以支撑后续数据的有效治理及分析处理。为此，结合电力通信网的运行管控等不同系统的元数据结构，构建一种元数据业务的播前预览调度方法，梳理元数据间复杂的脉络关系，来满足数据业务综合管理控制的功能，通过灵活调配资源，实现多源的数据业务统一接入、灵活调度和全面管理。该管理体系中的核心数据业务是元数据业务，为了保障元数据业务的完备性、衍生关系及可追溯，以电力通信网的元数据为基础，建立模拟现网运行环境的元测试验证环境，覆盖完整的数据业务流程，以支撑对各类数据业务场景开展提前模拟验证测试任务，本专利便是将元数据的预处理、血缘关系分析、数据关联关系等作为测试对象，构建一种面向元数据业务的播前预览调度装置及方法，而这种任务需要一种均衡的调度机制来保障该任务的执行。
数据测试任务是包含被测数据来源，测试用例，测试结果，报告信息的集合，测试人员以测试任务为单位完成某一型号被测设备的测试任务。测试任务管理包含的功能包括测试任务新建、测试任务打开、测试任务保存、测试任务复制、测试任务删除、测试任务导出、测试任务导入等。
为了提升测试任务的并行能力，出现多种并行调度算法。一类方法将任务均衡的分配给各处理机，能够降低处理机间的通信开销，降低测试需要的时间。但是，此类方法难以有效的找到一种的任务划分方法。另一类方法针对这个问题，将测试任务划分为多个解空间，给多个处理机分配不同的启发式知识用以指导测试任务的划分，可以降低测试任务的划分和调度难度。此类方法对启发式知识的内容和数量难以描述和量化。
常用的负载均衡的方法采用任务迁移来调整各个处理机的负载，将重负载处理机的任务转移给轻负载的处理机。但是在进行任务迁移时，系统开销较大，如果迁移次数较多将影响全部并行任务的执行速度。一些改进算法根据以往任务和处理机状态，对当前任务和处理机负载情况进行预估后，再进行任务调度。此类方法适合于并行程序相似性较高的场景，但是预估方法难以设计实现且难以保证精度。而动态探测式的调度方法，在任务执行过程中采用启发式算法进行探测和任务迁移调度，有助于将任务合理的分配到各处理机，但是此类算法较为复杂，且探测过程增加任务调度开销，从而增加系统开销，抵消其均衡调度收益。因此，如何设定处理机负载采样频率、快速规划任务分配方案、减小系统开销是任务调度算法的关键问题。
发明内容
本发明为克服上述现有技术所述的至少一种缺陷，提供一种数据业务播前预览任务调度方法，能够降低处理机间的通信开销，降低测试需要的时间。
为解决上述技术问题，本发明的技术方案如下：一种数据业务播前预览任务调度方法，包如下步骤：S1：建立数学模型，所述的数学模型为：设C＝(D，P)为测试任务调度模型，D＝{di|i＝1,…n}为子任务集合，测试任务被分解为多个子任务di，W(pi)为处理机pi的工作负载，R(N(pj))为处理机pj的剩余带宽，P＝{pi|i＝1,...,m}为处理机集合，测试任务调度的实质是依据W(pi)和R(N(pj))，将D中的子任务分配到P中的处理机上，其中，处理机的工作负载为CPU队列剩余数C(pi)和内存剩余量M(pi)之和，
W(pi)＝C(pi)+M(pi) (1)
Figure GDA0002425668200000021
Figure GDA0002425668200000022
为了衡量处理机负载高低，这里定义处理机负载度：
d(pi)＝R(W(pj))+R(N(pj)) (4)
式中，d(pi)为处理机pi负载度，R(W(pj))为pj的剩余计算资源，W(pj)为pj的工作负载，R(N(pj))为pj的剩余带宽，N(pj,pi)为pj与pi的通信量，N0(pj)为pj的初始通信带宽。
S2：测试任务调度数学模型，包括主控机调度算法和处理机任务执行算法。
进一步地，所述的主控机调度算法包括以下步骤：
S01：主控机每隔固定时间轮询一次处理机负载信息并利用式(4)计算负载度；
S02：如果处理机的负载值低于最小门限值Tmin，转步骤S03；否则，转步骤S04；
S03：将处理机ID压入空闲栈，优先向该处理机分配子任务；
S04：如果处理机的负载值大于最小门限值Tmin且小于最大门限值Tmax，转步骤S05；否则，转步骤S06；
S05：将处理机ID压入可用栈，当空闲栈没有处理机可用的情况下，向该处理机分配子任务；
S06：如果收到处理机的过载告警，转步骤S07；
S07：将部分任务转移置空闲机或者可用机；
S08：如果测试任务执行完成，则结束；否则，转步骤S01。
进一步地，所述的处理机任务执行算法包括以下步骤：
S001：轮询处理机负载信息，利用式(4)计算负载度；
S002：如果处理机的负载值大于最大门限值Tmax，转步骤S003；否则，转步骤S004；
S003：向主控机发出过载告警；
S004：如果处理机的负载值低于最大门限值Tmax；
S005：处理子任务；
S006：如果完成子任务，转步骤S007；否则，转步骤S001；
S007：向主控机发出任务完成通知。
与现有技术相比，有益效果是：该方法通过利用空闲处理机资源，实现测试任务调度和分配、自动完成以及测试结果的收集和分析，相对于传统方法该方法更加高效并有效提升测试速度。
附图说明
图1是本发明主控机算法流程图。
图2是本发明处理机任务执行算法流程图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。
如图1、2所示，一种数据业务播前预览任务调度方法，包如下步骤：S1：建立数学模型，所述的数学模型为：设C＝(D，P)为测试任务调度模型，D＝{di|i＝1,…n}为子任务集合，测试任务被分解为多个子任务di，W(pi)为处理机pi的工作负载，R(N(pj))为处理机pj的剩余带宽，P＝{pi|i＝1,...,m}为处理机集合，测试任务调度的实质是依据W(pi)和R(N(pj))，将D中的子任务分配到P中的处理机上，其中，处理机的工作负载为CPU队列剩余数C(pi)和内存剩余量M(pi)之和，
W(pi)＝C(pi)+M(pi) (1)
Figure GDA0002425668200000041
Figure GDA0002425668200000042
为了衡量处理机负载高低，这里定义处理机负载度：
d(pi)＝R(W(pj))+R(N(pj)) (4)
式中，d(pi)为处理机pi负载度，R(W(pj))为pj的剩余计算资源，W(pj)为pj的工作负载，R(N(pj))为pj的剩余带宽，N(pj,pi)为pj与pi的通信量，N0(pj)为pj的初始通信带宽；
S2：测试任务调度数学模型，包括主控机调度算法和处理机任务执行算法。
进一步地，所述的主控机调度算法包括以下步骤：S01：主控机每隔固定时间轮询一次处理机负载信息并利用式(4)计算负载度；S02：如果处理机的负载值低于最小门限值Tmin，转步骤S03；否则，转步骤S04；S03：将处理机ID压入空闲栈，优先向该处理机分配子任务；S04：如果处理机的负载值大于最小门限值Tmin且小于最大门限值Tmax，转步骤S05；否则，转步骤S06；S05：将处理机ID压入可用栈，当空闲栈没有处理机可用的情况下，向该处理机分配子任务；S06：如果收到处理机的过载告警，转步骤S07；S07：将部分任务转移置空闲机或者可用机；S08：如果测试任务执行完成，则结束；否则，转步骤S01。如果处理机数量较大，可以对处理机进行分组，采用代理机(Agent)协助主机轮询对应分组内的处理机，并将负载信息汇总给主控机，降低主控机的并行负载量。
进一步地，所述的处理机任务执行算法包括以下步骤：S001：轮询处理机负载信息，利用式(4)计算负载度；S002：如果处理机的负载值大于最大门限值Tmax，转步骤S003；否则，转步骤S004；S003：向主控机发出过载告警；S004：如果处理机的负载值低于最大门限值Tmax；S005：处理子任务；S006：如果完成子任务，转步骤S007；否则，转步骤S001；S007：向主控机发出任务完成通知。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (1)

1.一种数据业务播前预览任务调度方法，其特征在于，包括如下步骤：
S1：建立数学模型，所述的数学模型为：设C＝(D，P)为测试任务调度模型，D＝{di|i＝1,…n}为子任务集合，测试任务被分解为多个子任务di，W(pi)为处理机pi的工作负载，R(N(pj))为处理机pj的剩余带宽，P＝{pi|i＝1,...,m}为处理机集合，测试任务调度的实质是依据W(pi)和R(N(pj))，将D中的子任务分配到P中的处理机上，其中，处理机的工作负载为CPU队列剩余数C(pi)和内存剩余量M(pi)之和，
W(pi)＝C(pi)+M(pi) (1)
Figure FDA0002425668190000011
Figure FDA0002425668190000012
为了衡量处理机负载高低，这里定义处理机负载度：
d(pi)＝R(W(pj))+R(N(pj)) (4)
式中，d(pi)为处理机pi负载度，R(W(pj))为pj的剩余计算资源，W(pj)为pj的工作负载，R(N(pj))为pj的剩余带宽，N(pj,pi)为pj与pi的通信量，N0(pj)为pj的初始通信带宽；
S2：测试任务调度数学模型，包括主控机调度算法和处理机任务执行算法；
所述的主控机调度算法包括以下步骤：
S01：主控机每隔固定时间轮询一次处理机负载信息并利用式(4)计算负载度；
S02：如果处理机的负载值低于最小门限值Tmin，转步骤S03；否则，转步骤S04；
S03：将处理机ID压入空闲栈，优先向该处理机分配子任务；
S04：如果处理机的负载值大于最小门限值Tmin且小于最大门限值Tmax，转步骤S05；否则，转步骤S06；
S05：将处理机ID压入可用栈，当空闲栈没有处理机可用的情况下，可以向该处理机分配子任务；
S06：如果收到处理机的过载告警，转步骤S07；
S07：将部分任务转移至空闲机或者可用机；
S08：如果测试任务执行完成，则结束；否则，转步骤S01；
所述的处理机任务执行算法包括以下步骤：
S001：轮询处理机负载信息，利用式(4)计算负载度；
S002：如果处理机的负载值大于最大门限值Tmax，转步骤S003；否则，转步骤S004；
S003：向主控机发出过载告警；
S004：如果处理机的负载值低于最大门限值Tmax；
S005：处理子任务；
S006：如果完成子任务，转步骤S007；否则，转步骤S001；
S007：向主控机发出任务完成通知。
CN201710706392.7A 2017-08-16 2017-08-16 一种数据业务播前预览任务调度方法 Active CN107589995B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710706392.7A CN107589995B (zh) 2017-08-16 2017-08-16 一种数据业务播前预览任务调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710706392.7A CN107589995B (zh) 2017-08-16 2017-08-16 一种数据业务播前预览任务调度方法

Publications (2)

Publication Number Publication Date
CN107589995A CN107589995A (zh) 2018-01-16
CN107589995B true CN107589995B (zh) 2020-06-09

Family

ID=61042303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710706392.7A Active CN107589995B (zh) 2017-08-16 2017-08-16 一种数据业务播前预览任务调度方法

Country Status (1)

Country Link
CN (1) CN107589995B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110196807A (zh) * 2019-05-21 2019-09-03 苏州浪潮智能科技有限公司 一种智慧负载的实现方法及装置
CN111142649A (zh) * 2019-12-25 2020-05-12 北京金山安全软件有限公司 一种可穿戴设备性能优化方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6779183B1 (en) * 1999-12-23 2004-08-17 Lucent Technologies Inc. Method and system for load scheduling multidimensional tasks among multiple processors
CN102063336A (zh) * 2011-01-12 2011-05-18 国网电力科学研究院 一种分布式计算多应用功能异步并发调度方法
CN105718479A (zh) * 2014-12-04 2016-06-29 中国电信股份有限公司 跨idc大数处理架构下执行策略生成方法、装置
CN105912390A (zh) * 2016-04-07 2016-08-31 四川大学 云计算环境下基于模板的任务调度策略
CN106020984A (zh) * 2016-05-20 2016-10-12 青岛海信移动通信技术股份有限公司 电子设备中进程的创建方法及装置
CN106250217A (zh) * 2016-07-22 2016-12-21 无锡华云数据技术服务有限公司 一种多虚拟处理器间的同步调度方法及其调度系统
CN106598707A (zh) * 2015-10-19 2017-04-26 沈阳新松机器人自动化股份有限公司 任务调度优化方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9047129B2 (en) * 2012-07-23 2015-06-02 Adobe Systems Incorporated Systems and methods for load balancing of time-based tasks in a distributed computing system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6779183B1 (en) * 1999-12-23 2004-08-17 Lucent Technologies Inc. Method and system for load scheduling multidimensional tasks among multiple processors
CN102063336A (zh) * 2011-01-12 2011-05-18 国网电力科学研究院 一种分布式计算多应用功能异步并发调度方法
CN105718479A (zh) * 2014-12-04 2016-06-29 中国电信股份有限公司 跨idc大数处理架构下执行策略生成方法、装置
CN106598707A (zh) * 2015-10-19 2017-04-26 沈阳新松机器人自动化股份有限公司 任务调度优化方法
CN105912390A (zh) * 2016-04-07 2016-08-31 四川大学 云计算环境下基于模板的任务调度策略
CN106020984A (zh) * 2016-05-20 2016-10-12 青岛海信移动通信技术股份有限公司 电子设备中进程的创建方法及装置
CN106250217A (zh) * 2016-07-22 2016-12-21 无锡华云数据技术服务有限公司 一种多虚拟处理器间的同步调度方法及其调度系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Hardware Scheduler Based on Task Queues for FPGA-Based Embedded Real-Time Systems;Yi Tang et al;《IEEE Transactions on Computer》;20150501;第64卷(第5期);第1254-1267页 *
Task Management for Irregular-ParallelWorkloads on the GPU;Stanley Tzeng et al;《Proceedings of the Conference on High Performance Graphics》;20100630;第29-37页 *
一种测控通信平台的动态负载平衡服务研究;葛方振 等;《计算机技术与发展》;20080430;第18卷(第4期);第121-123,188页 *
基于进程剩余运行时间的集群负载平衡系统;张永坤;《中国优秀硕士学位论文全文数据库 信息科技辑》;20050215;第2005年卷(第02期);第I138-413页 *

Also Published As

Publication number Publication date
CN107589995A (zh) 2018-01-16

Similar Documents

Publication Publication Date Title
Di et al. Characterizing and modeling cloud applications/jobs on a Google data center
CN108845878A (zh) 基于无服务器计算的大数据处理方法及装置
CN104239144A (zh) 一种多级分布式任务处理系统
CN105487930A (zh) 一种基于Hadoop的任务优化调度方法
CN103761146B (zh) 一种MapReduce动态设定slots数量的方法
CN105373432B (zh) 一种基于虚拟资源状态预测的云计算资源调度方法
CN111338791A (zh) 集群队列资源的调度方法、装置、设备及存储介质
CN105607952B (zh) 一种虚拟化资源的调度方法及装置
CN105224434A (zh) 使用机器学习识别软件阶段
CN107589995B (zh) 一种数据业务播前预览任务调度方法
CN110308984A (zh) 一种用于处理地理分布式数据的跨集群计算系统
KR101765725B1 (ko) 대용량 방송용 빅데이터 분산 병렬처리를 위한 동적 디바이스 연결 시스템 및 방법
CN105630575B (zh) 针对kvm虚拟化服务器的性能评估方法
CN116302568A (zh) 一种算力资源调度方法及系统、调度中心、数据中心
CN108132840A (zh) 一种分布式系统中的资源调度方法及装置
CN111464331A (zh) 一种线程创建的控制方法、系统及终端设备
Lu et al. VM scaling based on Hurst exponent and Markov transition with empirical cloud data
Badri et al. Risk-based optimization of resource provisioning in mobile edge computing
CN107729218A (zh) 一种监控处理计算资源设备的系统及方法
Ray et al. Is high performance computing (HPC) ready to handle big data?
CN112000657A (zh) 数据管理方法、装置、服务器及存储介质
CN114138501B (zh) 用于现场安全监控的边缘智能服务的处理方法和装置
CN106599116B (zh) 云平台数据集成管理系统和方法
CN115913967A (zh) 一种云环境下基于资源需求预测的微服务弹性伸缩方法
CN111522637B (zh) 一种基于成本效益的storm任务调度方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant