CN107589995A - 一种数据业务播前预览任务调度方法 - Google Patents

Abstract

本发明涉及元数据建模及分析技术领域，更具体地，涉及一种数据业务播前预览任务调度方法。该算法首先建立测试任务调度模型，通过处理机的工作负载和通信负载计算出处理机的负载度作为调度时的衡量标准，采用主动上报的方式设计任务调度算法，将测试任务分解为多个子任务，分配到处理机上运行完成，该算法通过利用空闲处理机资源，实现测试任务调度和分配、自动完成以及测试结果的收集和回收等，实现合理调度测试任务并减少开销，有效解决了传统方法存在的问题并提升测试速度。

Description

一种数据业务播前预览任务调度方法

技术领域

本发明涉及元数据建模及分析技术领域，更具体地，涉及一种数据业务播前预览任务调度方法。

背景技术

随着新网络技术的引进、新业务需求的提出、新运维管理系统的建设，元数据地位得以凸显，以应对运维数据不断分裂和增加，宝贵的数据无法资产化，运维支撑系统的收益低以及信息过载等问题。而各种系统间存在数据标识冲突、数据项不一致，难以支撑后续数据的有效治理及分析处理。为此，结合电力通信网的运行管控等不同系统的元数据结构，构建一种元数据业务的播前预览调度方法，梳理元数据间复杂的脉络关系，来满足数据业务综合管理控制的功能，通过灵活调配资源，实现多源的数据业务统一接入、灵活调度和全面管理。该管理体系中的核心数据业务是元数据业务，为了保障元数据业务的完备性、衍生关系及可追溯，以电力通信网的元数据为基础，建立模拟现网运行环境的元测试验证环境，覆盖完整的数据业务流程，以支撑对各类数据业务场景开展提前模拟验证测试任务，本专利便是将元数据的预处理、血缘关系分析、数据关联关系等作为测试对象，构建一种面向元数据业务的播前预览调度装置及方法，而这种任务需要一种均衡的调度机制来保障该任务的执行。

数据测试任务是包含被测数据来源，测试用例，测试结果，报告信息的集合，测试人员以测试任务为单位完成某一型号被测设备的测试任务。测试任务管理包含的功能包括测试任务新建、测试任务打开、测试任务保存、测试任务复制、测试任务删除、测试任务导出、测试任务导入等。

为了提升测试任务的并行能力，出现多种并行调度算法。一类方法将任务均衡的分配给各处理机，能够降低处理机间的通信开销，降低测试需要的时间。但是，此类方法难以有效的找到一种的任务划分方法。另一类方法针对这个问题，将测试任务划分为多个解空间，给多个处理机分配不同的启发式知识用以指导测试任务的划分，可以降低测试任务的划分和调度难度。此类方法对启发式知识的内容和数量难以描述和量化。

常用的负载均衡的方法采用任务迁移来调整各个处理机的负载，将重负载处理机的任务转移给轻负载的处理机。但是在进行任务迁移时，系统开销较大，如果迁移次数较多将影响全部并行任务的执行速度。一些改进算法根据以往任务和处理机状态，对当前任务和处理机负载情况进行预估后，再进行任务调度。此类方法适合于并行程序相似性较高的场景，但是预估方法难以设计实现且难以保证精度。而动态探测式的调度方法，在任务执行过程中采用启发式算法进行探测和任务迁移调度，有助于将任务合理的分配到各处理机，但是此类算法较为复杂，且探测过程增加任务调度开销，从而增加系统开销，抵消其均衡调度收益。因此，如何设定处理机负载采样频率、快速规划任务分配方案、减小系统开销是任务调度算法的关键问题。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷，提供一种数据业务播前预览任务调度方法，能够降低处理机间的通信开销，降低测试需要的时间。

为解决上述技术问题，本发明的技术方案如下：一种数据业务播前预览任务调度方法，包如下步骤：S1：建立数学模型，所述的数学模型为：设C＝(D，P)为测试任务调度模型，D＝{d_i|i＝1,…n}为子任务集合，测试任务被分解为多个子任务d_i，W(p_j)为处理机p_i的工作负载，R(N(p_j))为处理机的通信负载，P＝{p_j|j＝1,…m}为处理机集合，测试任务调度的实质是依据W(p_j)和R(N(pj))，将D中的子任务分配到P中的处理机上，其中，处理机的工作负载为CPU队列剩余数C(p_i)、内存剩余量M(p_i)，

W(p_j)＝C(p_i)+M(p_i) (1)

为了衡量处理机负载高低，这里定义处理机负载度：

d(p_i)＝R(W(p_j))+R(N(p_j)) (4)

式中，d(p_i)为处理机负载度，R(W(p_j))为p_j的剩余计算资源，W₀(p_j)为p_j的工作负载，R(N(p_j))为p_j的剩余带宽，N(p_j,p_i)为p_j与p_i的通信量，N₀(p_j)为p_j的初始通信带宽；

S2：测试任务调度数学模型，包括主控机调度算法和处理机任务执行算法。

进一步地，所述的主控机调度算法包括以下步骤：

S01：主控机每隔固定时间轮询一次处理机负载信息并利用式(4)计算负载度；

S02：如果处理机的负载值低于最小门限值T_min，转步骤S03；否则，转步骤S04；

S03：将处理机ID压入空闲栈，优先向该处理机分配子任务；

S04：如果处理机的负载值大于最小门限值T_min且小于最大门限值T_max，转步骤S05；否则，转步骤S06；

S05：将处理机ID压入可用栈，当空闲栈没有处理机可用的情况下，向该处理机分配子任务；

S06：如果收到处理机的过载告警，转步骤S07；

S07：将部分任务转移置空闲机或者可用机；

S08：如果测试任务执行完成，则结束；否则，转步骤S01。

进一步地，所述的处理机任务执行算法包括以下步骤：

S001：轮询处理机负载信息，利用式(4)计算负载度；

S002：如果处理机的负载值大于最大门限值T_max，转步骤S003；否则，转步骤S004；

S003：向主控机发出过载告警；

S004：如果处理机的负载值低于最大门限值T_max；

S005：处理子任务；

S006：如果完成子任务，转步骤S007；否则，转步骤S001；

S007：向主控机发出任务完成通知。

与现有技术相比，有益效果是：该方法通过利用空闲处理机资源，实现测试任务调度和分配、自动完成以及测试结果的收集和分析，相对于传统方法该方法更加高效并有效提升测试速度。

附图说明

图1是本发明主控机算法流程图。

图2是本发明处理机任务执行算法流程图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。

如图1、2所示，一种数据业务播前预览任务调度方法，包如下步骤：S1：建立数学模型，所述的数学模型为：设C＝(D，P)为测试任务调度模型，D＝{d_i|i＝1,…n}为子任务集合，测试任务被分解为多个子任务d_i，W(p_j)为处理机p_i的工作负载，R(N(p_j))为处理机的通信负载，P＝{p_j|j＝1,…m}为处理机集合，测试任务调度的实质是依据W(p_j)和R(N(p_j))，将D中的子任务分配到P中的处理机上，其中，处理机的工作负载为CPU队列剩余数C(p_i)、内存剩余量M(p_i)，

W(p_j)＝C(p_i)+M(p_i) (1)

为了衡量处理机负载高低，这里定义处理机负载度：

d(p_i)＝R(W(p_j))+R(N(p_j)) (4)

式中，d(p_i)为处理机负载度，R(W(p_j))为p_j的剩余计算资源，W₀(p_j)为p_j的工作负载，R(N(p_j))为p_j的剩余带宽，N(p_j,p_i)为p_j与p_i的通信量，N₀(p_j)为p_j的初始通信带宽；

S2：测试任务调度数学模型，包括主控机调度算法和处理机任务执行算法。

进一步地，所述的主控机调度算法包括以下步骤：S01：主控机每隔固定时间轮询一次处理机负载信息并利用式(4)计算负载度；S02：如果处理机的负载值低于最小门限值T_min，转步骤S03；否则，转步骤S04；S03：将处理机ID压入空闲栈，优先向该处理机分配子任务；S04：如果处理机的负载值大于最小门限值T_min且小于最大门限值T_max，转步骤S05；否则，转步骤S06；S05：将处理机ID压入可用栈，当空闲栈没有处理机可用的情况下，向该处理机分配子任务；S06：如果收到处理机的过载告警，转步骤S07；S07：将部分任务转移置空闲机或者可用机；S08：如果测试任务执行完成，则结束；否则，转步骤S01。如果处理机数量较大，可以对处理机进行分组，采用代理机(Agent)协助主机轮询对应分组内的处理机，并将负载信息汇总给主控机，降低主控机的并行负载量。

进一步地，所述的处理机任务执行算法包括以下步骤：S001：轮询处理机负载信息，利用式(4)计算负载度；S002：如果处理机的负载值大于最大门限值T_max，转步骤S003；否则，转步骤S004；S003：向主控机发出过载告警；S004：如果处理机的负载值低于最大门限值T_max；S005：处理子任务；S006：如果完成子任务，转步骤S007；否则，转步骤S001；S007：向主控机发出任务完成通知。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (3)

1.一种数据业务播前预览任务调度方法，其特征在于，包括如下步骤：

S1：建立数学模型，所述的数学模型为：设C＝(D，P)为测试任务调度模型，D＝{d_i|i＝1,…n}为子任务集合，测试任务被分解为多个子任务d_i，W(p_j)为处理机p_i的工作负载，R(N(p_j))为处理机的通信负载，P＝{p_j|j＝1,…m}为处理机集合，测试任务调度的实质是依据W(p_j)和R(N(p_j))，将D中的子任务分配到P中的处理机上，其中，处理机的工作负载为CPU队列剩余数C(p_i)、内存剩余量M(p_i)，

W(p_j)＝C(p_i)+M(p_i) (1)

<mrow> <mi>R</mi> <mrow> <mo>(</mo> <mi>W</mi> <mo>(</mo> <msub> <mi>p</mi> <mi>j</mi> </msub> <mo>)</mo> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <mi>W</mi> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <msub> <mi>W</mi> <mn>0</mn> </msub> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>

<mrow> <mi>R</mi> <mrow> <mo>(</mo> <mi>N</mi> <mo>(</mo> <msub> <mi>p</mi> <mi>j</mi> </msub> <mo>)</mo> <mo>)</mo> </mrow> <mo>=</mo> <mn>1</mn> <mo>-</mo> <mfrac> <mrow> <mi>N</mi> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mi>j</mi> </msub> <mo>,</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <mi>N</mi> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mi>j</mi> </msub> <mo>,</mo> <msub> <mi>p</mi> <mrow> <mi>i</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>)</mo> </mrow> <mo>+</mo> <mo>,</mo> <mn>...</mn> <mo>+</mo> <mi>N</mi> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mi>j</mi> </msub> <mo>,</mo> <msub> <mi>p</mi> <mrow> <mi>i</mi> <mo>+</mo> <mi>k</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <msub> <mi>N</mi> <mn>0</mn> </msub> <mrow> <mo>(</mo> <msub> <mi>p</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>

为了衡量处理机负载高低，这里定义处理机负载度：

d(p_i)＝R(W(p_j))₊R(N(p_j)) (4)

式中，d(p_i)为处理机负载度，R(W(p_j))为p_j的剩余计算资源，W₀(p_j)为p_j的工作负载，R(N(p_j))为p_j的剩余带宽，N(p_j,p_i)为p_j与p_i的通信量，N₀(p_j)为p_j的初始通信带宽；

S2：测试任务调度数学模型，包括主控机调度算法和处理机任务执行算法。

2.根据权利要求1所述的一种数据业务播前预览任务调度方法，其特征在于，所述的主控机调度算法包括以下步骤：

S01：主控机每隔固定时间轮询一次处理机负载信息并利用式(4)计算负载度；

S02：如果处理机的负载值低于最小门限值T_min，转步骤S03；否则，转步骤S04；

S03：将处理机ID压入空闲栈，优先向该处理机分配子任务；

S04：如果处理机的负载值大于最小门限值T_min且小于最大门限值T_max，转步骤S05；否则，转步骤S06；

S05：将处理机ID压入可用栈，当空闲栈没有处理机可用的情况下，可以向该处理机分配子任务；

S06：如果收到处理机的过载告警，转步骤S07；

S07：将部分任务转移置空闲机或者可用机；

S08：如果测试任务执行完成，则结束；否则，转步骤S01。

3.根据权利要求1所述的一种数据业务播前预览任务调度方法，其特征在于，所述的处理机任务执行算法包括以下步骤：

S001：轮询处理机负载信息，利用式(4)计算负载度；

S002：如果处理机的负载值大于最大门限值T_max，转步骤S003；否则，转步骤S004；

S003：向主控机发出过载告警；

S004：如果处理机的负载值低于最大门限值T_max；

S005：处理子任务；

S006：如果完成子任务，转步骤S007；否则，转步骤S001；

S007：向主控机发出任务完成通知。