CN113986531A - 一种任务调度以及资源分配方法 - Google Patents
一种任务调度以及资源分配方法 Download PDFInfo
- Publication number
- CN113986531A CN113986531A CN202111177573.8A CN202111177573A CN113986531A CN 113986531 A CN113986531 A CN 113986531A CN 202111177573 A CN202111177573 A CN 202111177573A CN 113986531 A CN113986531 A CN 113986531A
- Authority
- CN
- China
- Prior art keywords
- resource
- task
- time
- constraint
- resource allocation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013468 resource allocation Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 claims abstract description 67
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 35
- 238000013439 planning Methods 0.000 claims abstract description 27
- 230000007123 defense Effects 0.000 claims abstract description 13
- 238000012544 monitoring process Methods 0.000 claims description 17
- 239000002245 particle Substances 0.000 claims description 9
- 238000013441 quality evaluation Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000011160 research Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000012423 maintenance Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000011084 recovery Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000001303 quality assessment method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 208000018910 keratinopathic ichthyosis Diseases 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000002068 genetic effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 101001038335 Homo sapiens Serine/threonine-protein kinase LMTK2 Proteins 0.000 description 1
- 102100040292 Serine/threonine-protein kinase LMTK2 Human genes 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000002431 foraging effect Effects 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5022—Mechanisms to release resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种任务调度以及资源分配方法，包括：任务调度层接收工业互联网安全防御架构的输入，对输入的任务进行时间、资源和空间等多种维度上的冲突检测及冲突消解，采用一定的细粒度并行检测技术，产生各种经过分解、规划的资源需求序列；资源分配层接收任务调度层的输出的规划结果，资源分配算法通过分析资源需求于系统内各类软硬件资源的运行情况，产生相应的资源分配命令。本发明能够有效提高全系统任务并行效率，同时使得系统既能够满足负载均衡的要求，又提高了安全资源的利用率。
Description
技术领域
本发明涉及工业互联网技术领域，特别是涉及一种任务调度以及资源分配方法。
背景技术
在对现有技术的研究和实践过程中发现，系统中心与边缘存在资源有限、地点分散、任务分配不均等问题，运行一个大型分布式系统，经常会出现整个系统的中央核心资源和资源需求不匹配的情况，中央核心资源忙碌但末端资源非常充足。为了处理系统内任务繁杂、资源分配不平衡、任务响应不及时等问题，迫切需要对智能系统安全防御架构进行研究与设计。
发明内容
为了克服上述现有技术的不足，本发明在工业互联网安全防御架构的基础上提出了系统之工业互联网安全防御架构，提供了一种任务调度以及资源分配方法方法来将系统整个资源统一调配，作为整个架构的大脑和中心，能够为全系统进行任务规划，同时在系统能够提供相应资源的前提下进行资源实时调度。
本发明所采用的技术方案是：一种任务调度及资源分配方法，包括：
任务调度层接收工业互联网安全防御架构的输入，对输入的任务进行时间、资源和空间等多种维度上的冲突检测及冲突消解，采用细粒度并行检测方法，产生各种经过分解、规划的资源需求序列；
资源分配层接收任务调度层的输出的规划结果，资源分配算法通过分析资源需求于系统内各类软硬件资源的运行情况，产生相应的资源分配命令。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任务调度及资源分配方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任务调度及资源分配方法的步骤。
本发明实施例中提供的技术方案，至少具有如下有益效果：从宏观的角度出发，能为全系统进行任务规划，在满足任务依赖的情况下对任务进行协同规划，提高任务并行效率；从微观角度出发，在系统能够提供相应资源的前提下进行资源实时调度，使得系统既能够满足负载均衡的要求，又提高了安全资源的利用率。
附图说明
图1是本发明任务调度以及资源分配技术方法的框架图；
图2是描述任务事件时序约束关系的关系表；
图3是描述任务事件时空约束关系的关系表；
图4是TQCN分段时间约束网络模型的说明用例；
图5是细粒度并行检测技术的框架图；
图6是系统安全资源状态转移图；
图7是资源分配层的主要结构图；
图8是系统安全资源质量评估模型示意图。
具体实施方式
一种任务调度及资源分配方法，包括：
任务调度层接收工业互联网安全防御架构的输入，对输入的任务进行时间、资源和空间等多种维度上的冲突检测及冲突消解，采用细粒度并行检测技术，产生各种经过分解、规划的资源需求序列；
资源分配层接收任务调度层的输出的规划结果，资源分配算法通过分析资源需求于系统内各类软硬件资源的运行情况，产生相应的资源分配命令。
进一步的，任务调度层接收工业互联网安全防御架构的输入，对输入的任务进行时间、资源和空间等多种维度上的冲突检测及冲突消解，包括以下步骤：
步骤1：需要使用任务事件模型将任务细化，将单条时间、资源、空间信息作为任务控制最小处理单位；
步骤2：通过研究任务事件约束模型深入探索任务事件之间存在可能产生冲突的点，对约束情况进行讨论，给出一套完整的任务事件约束；
步骤3：根据完整细化完成的任务以及任务约束建立TQCN分段时间约束网络；
步骤4：利用基于分支搜索的冲突检测算法，生成产生冲突的时间段与任务事件空间规划组合的列表；
步骤5：在冲突检测之后，如果发现有冲突点，需要进行冲突消解，根据任务事件约束模型进行冲突消解策略研究；
步骤6：采用一定的细粒度并行检测技术，产生各种经过分解、规划的资源需求序列。
进一步的，步骤3所述的TQCN(Time Quantum Constraint Networks，分段时间约束网络)是一种时间约束网络，该网络不仅可以明确的表示任务事件执行的时间点、时间段，还可以明确表示出任务事件在时间上有交叠部分的具体情况。
传统的TCN(Temporal Convolutional Network，时间卷积网络)和STN(SpatialTransformer Network，空间变换网络)只能表示任务事件之间的先后顺序约束，TQCN不仅可以定量的描述任务开始时间、结束时间、时间跨度，还可以清晰的描述出任务事件在时间上相交、包含、同时开始、同时结束的关系，这是TCN和STN都无法做到的。
进一步的，步骤4所述的分支搜索的冲突检测算法，关键算法是利用交叠关系时间段集合设计空间冲突、资源冲突的检测算法。
(1)空间冲突检测算法，输入若干个时间分支图组成的列表，满足时间相关约束关系的任务事件规划列表，输出产生冲突的时间段与任务事件空间规划组合的列表。
(2)资源冲突检测算法，输入若干个时间分支图组成的列表，满足时间相关约束关系的任务事件规划列表，现有资源信息列表，输出包含当前时间段内所有任务资源需求数量的资源信息的位图与现有资源信息列表的比较结果。
进一步的，步骤5所述冲突消解策略的主要是依照冲突约束中定性约束、定量约束、强约束、弱约束的分类进行的。定性约束需要针对任务事件之间的先后、方位进行消解；定量时间约束要针对任务事件的时间点、空间点集、高度、资源数量进行消解。强约束必须进行消解；弱约束尽量满足。
进一步的，步骤6所述，采用一定的细粒度并行检测技术，也就是一种高性能细粒度并行检测机制，将被检测对象细分为多个块，利用Middlebox组每个节点并行检测细分块来提高检测性能，满足实时性需求。
进一步的，资源分配层的三个功能及主要实现步骤包括：
步骤(1)：维护安全资源状态监测模块，为资源分配命令提供决策。通过安全资源状态监测模块对各类异构包括虚拟的资源进行监控，与其他的中间件进行集成；
步骤(2)：维护系统安全资源质量评估模块，反映资源调度分配的结果，并影响下一次同类资源分配。通过系统安全资源质量评估模块，对当前资源分配进行评估，并将评估结果提供给安全资源弹性决策分配模块，以更好地改善系统性能；
步骤(3)：维护安全资源弹性决策分配模块，接收任务调度层的输入，经过决策，产生相应的异构安全资源分配命令。通过安全资源弹性决策分配模块，根据安全资源状态监测模块上报的数据以及任务调度层输出的资源需求进行决策分配。
步骤(2)所述，安全资源弹性决策分配模块主要有资源配置模块与资源调度模块两个部分组成，实现步骤包括：
步骤1：资源配置模块进行资源追加或资源回收；
步骤2：通过安全资源弹性决策分配模块，可以得到资源分配策略，接下来通过资源调度模块使用粒子群算法，将资源分配策略具体映射到相应的物理节点或虚拟机。
下面结合附图对本发明进一步说明。
实施例1
本实施例提供了一种任务调度及资源分配方法，包括如下步骤：
步骤1：任务调度层接收工业互联网安全防御架构的输入，需要使用任务事件模型将任务细化，将单条时间、资源、空间信息作为任务控制最小处理单位；
步骤2：通过研究任务事件约束模型深入探索任务事件之间存在可能产生冲突的点，并对约束情况进行讨论，给出一套完整的任务事件约束；
步骤3：根据完整细化完成的任务以及任务约束建立TQCN分段时间约束网络；建立TQCN分段时间约束网络来定量描述任务开始时间、结束时间、时间跨度，还可以清晰的描述出任务事件在时间上相交、包含、同时开始、同时结束的关系。
步骤4：利用基于分支搜索的冲突检测算法，生成产生冲突的时间段与任务事件空间规划组合的列表；分支搜索的冲突检测算法将利用交叠关系时间段集合来设计空间冲突、资源冲突的检测算法。
步骤5：在冲突检测之后，如果发现有冲突点，需要进行冲突消解，根据任务事件约束模型进行冲突消解策略研究。冲突消解主要是依照冲突约束中定性约束、定量约束、强约束、弱约束的分类进行的。定性约束需要针对任务事件之间的先后、方位进行消解；定量时间约束要针对任务事件的时间点、空间点集、高度、资源数量进行消解。强约束必须进行消解；弱约束尽量满足。
步骤6：采用一定的细粒度并行检测技术，产生各种经过分解、规划的资源需求序列。所述的细粒度并行检测技术，也就是一种高性能细粒度并行检测机制，将被检测对象细分为多个块，利用Middlebox组每个节点并行检测细分块来提高检测性能，满足实时性需求。
步骤7：资源分配层接收任务调度层的输出的规划结果，资源分配算法分析资源需求于系统内各类软硬件资源的运行情况
步骤8：通过安全资源状态监测模块对各类异构包括虚拟的资源进行监控，与其他的中间件进行集成；
步骤9：通过系统安全资源质量评估模块，对当前资源分配进行评估，并将评估结果提供给安全资源弹性决策分配模块，以更好地改善系统性能；
步骤10：通过安全资源弹性决策分配模块，根据安全资源状态监测模块上报的数据以及任务调度层输出的资源需求进行决策分配。
安全资源弹性决策分配模块主要有资源配置模块与资源调度模块两个部分组成，实现步骤包括：
步骤(1)：资源配置模块进行资源追加或资源回收；
步骤(2)：通过安全资源弹性决策分配模块，可以得到资源分配策略，接下来资源调度模块使用粒子群算法，将资源分配策略具体映射到相应的物理节点或虚拟机。
实施例2
参照图1，本实施例提供了一种任务调度以及资源分配方法，通过任务调度层接收工业互联网安全防御架构的输入，对输入的任务进行时间、资源和空间等多种维度上的冲突检测及冲突消解，采用一定的细粒度并行检测技术，产生各种经过分解、规划的资源需求序列。然后资源分配层接收任务调度层的输出的规划结果，资源分配算法通过分析资源需求于系统内各类软硬件资源的运行情况，产生相应的资源分配命令。
具体步骤如下：
步骤1：任务调度层接收工业互联网安全防御架构的输入后需要使用任务事件模型将任务细化，将单条时间、资源、空间信息作为任务控制最小处理单位；
任务事件定义说明如下：
任务事件E＝{T,S,R,P}，是组成规划任务的最基本单位，任务事件以一个事件执行单元执行一次为标准。一个事件执行单元只能在一个时间段、一个空间内，应用多种资源执行一种任务事件。
任务事件E中Ti＝{STimei,ETimei}表示i任务事件执行时间段[STime,ETime]，其中STime表示任务事件的开始时间点，ETime表示任务事件的结束时间点。
任务事件E中Si＝{Topi,Boti,Pointsi}表示i任务事件执行所需的空间。任务事件空间S中Top表示任务事件空间最高点海拔高度，以米为单位；Bot表示任务事件空间最低点海拔高度，以米为单位。
为平面坐标点集，是多个坐标点的集合，每个坐标点信息包括X轴坐标、Y轴坐标、坐标点序列，即
其中坐标点序列Seq标志该点在平面图中的序列位置，Seq∈{x|x∈N*,3≤x≤n}，n为坐标点个数，坐标按坐标点序列Seq进行组织，坐标点按序列Seq由1至n再将序号为n点与序号为1点相连接可得到一个完整的封闭平面图。平面坐标点集中X轴坐标、Y轴坐标表示实际经纬度，取值范围为小数点前3位后6位，按经纬度与实际地面距离转换算法计算，该表示方式可精确到米。
任务事件E中Ri＝{ri,Qi}表示i任务事件执行所需的资源集合，集合中包含任务事件i中所需资源唯一标识r，任务事件i所需资源数量及单位Q。
任务事件E中pi表示i任务事件执行的总任务类别，任务种类决定任务事件的执行方式。任务事件类别包括防御、突防、攻击、侦察、保障。
步骤2：通过研究任务事件约束模型深入探索任务事件之间存在可能产生冲突的点，并对约束情况进行讨论，给出一套完整的任务事件约束；
首先，任务事件约束按满足条件分为定性约束、定量约束；按检测结果分为强约束、弱约束，下面给出详细描述：
(a)定性约束：是指考量两任务事件之间是否满足特定条件，该条件中只包含明确的逻辑关系，不包含明确的数量关系。
(b)定量约束：是指考量两任务事件之间是否满足特定的条件，该条件中包含明确的数量关系，可能包含逻辑关系。
(c)强约束：是指任务检测结果非是即否，只有满足和不满足情况，不满足约束就会造成冲突，不存在满足程度与不满足程度大小的度量。
(d)弱约束：是指任务检测结果没有完全满足或完全不满足的情况，只有满足程度大小。不满足约束任务事件也能继续执行，不会造成冲突。
其次，对任务事件的约束描述需要包括以下方面：
(a)时序约束，指任务事件Ei与任务事件Ej存在一种任务执行特定的先后顺序关系，如果任务事件Ei与任务事件Ej之间存在时序约束，那么Ei与Ej必须按照这种先后关系执行，描述为Sequence(Ei,Ej,p)。表示任务事件Ei与任务事件Ej之间存在一种特定的顺序关系p，任务事件Ei在p顺序下的任务集表示为Seqp(Ei)。具体关系参照图2，时序关系总体包含不相遇先后顺序、相遇先后顺序、相交先后顺序、同步开始、同步结束、同时开始同时结束、包含。对于时序约束，较为常见的约束为先后顺序，可以将量任务之间的先后关系Sequence((Ei,Ej,before)表示为一个偏序关系(Ei＜Ej)，多个偏序关系组合可以表示为一个偏序集(E,＜)表示任务事件集合E＝{E1,E2,…,En}中的所有任务事件满足按任务集合顺序前一个任务在后一个任务之前执行，即对任务事件集合E中所有任务事件满足ETimej-STimei∈(0,+∞)，其中i<j，由此确定任务事件Ei，到任务事件Ej之间的时间跨度Δtij＝ETimej-STimei。
(b)时间约束，是指某一特定任务事件Ei必须在特定时间段内开始或在特定时间段内结束。任务事件开始时间约束可以记为Start(Ei,onTimei,offTimei)，任务事件结束时间约束可以记为Finish(Ei,onTimei,offTimei)。任务事件Ei的最早开始时间为Staon(Ei)，最晚开始时间为Staoff(Ei)，最早结束时间为Finon(Ei)，最晚结束时间为Finoff(Ei)。
(c)时空约束，是指任务事件Ei与任务事Ej在同一时间段Tl＝[STimel,ETimel]内不可存在空间上的重叠区域。在时间段Tl内任务事件Ei与任务事件Ej的时空约束可以表示为Space(Ei,Ej,Tl)。具体关系参照图3，表中
表示空三维空间。与任务事件Ei在时间段Tl内具有时间冲突约束的集合表示为
(d)资源约束，是指任务事件集合E＝{E1,E2,…,En}在同一时间段Tl＝[STimel,ETimel]内不存在资源竞争关系。资源竞争关系是指E中所有任务事件执行所需的资源集合R＝{R1,R2,…,Rn}的总和不满足现有资源集合Rhave中要求的资源总数，为满足每个任务事件执行的需求，产生的资源互相抢占的关系。满足资源约束需使需求资源集合中所有资源数小于现有资源中所有资源数，即满足
资源约束关系表示为Re s ourse(E,Tl)。在时间段Tl内，任务事件Ei所在的满足资源约束的任务事件集合表示为
(e)促进约束，是指任务事件Ei的完成有利于任务事件Ej的完成。在促进约束中，有利于的含义是Ei的完成可能从任务完成效率、资源消耗、代价成本、任务完成质量上对Ej有正向作用。虽然Ei的完成有利于Ej，但是并不代表促进约束等同于时序约束Sequence(Ei,Ej,before)，Ei不完成的情况下Ej也能独立顺利完成。Ei促进对Ej的促进约束表示为Promote(Ei,Ej)，对于任务事件Ei促进作用的任务事件集合表示为Pro(Ei)。
步骤3：根据完整细化完成的任务以及任务约束建立TQCN分段时间约束网络。TQCN是一个形式化描述G＝(V,E)的权有向图，在图G中V是所有节点的集合，每一个节点vi表示一个时间对象节点。在TQCN中一个节点表示一个任务事件的时间对象，该时间对象在TQCN中称为时间对象节点或时间节点，包含的不仅仅是一个时间点，可以包含一个时间段，该时间段可以表示任务事件允许的任务开始时间区间或结束时间区间，该区间可以直接表示为[onTime,offTime]，时间节点表示方式满足时间约束，这是其他时间约束网络无法表示的。TQCN可以完整的将任务事件Ei与任务事件Ej之间存在的几种时序约束Sequence(Ei,Ej,p)表示出来。
参照图4，图中表示一项任务中有四个任务事件，每个任务事件的时间对象分别用T1,T2,T3,T4表示，图中的时间对象分别为
每一个圆代表一个时间节点，每一个时间节点对应实际的一个时间段。
和
表示任务事件Ei的开始时间节点和结束时间节点，开始时间节点和结束时间节点中间的
表示介于
和
之间的第l个时间节点，称为时间段分界节点，所有介于
和
之间的时间段分界节点
将任务事件Ei从开始时间到结束时间这个时间段分成了n-1个时间段。其他任务事件Ej可以以某个时间段分界节点作为任务事件结束节点的后置时间节点。对于这种表示方法唯一的要求是所有并行的时间段时间跨度值的大小必须相等。由此形成图4中
的结构，该结构中表示的任务事件时序约束关系为Sequence(E1,E2,durning)，类似的，任务事件E2和E4时序约束关系为Sequence(E2,E4,before)，任务事件E1和E3时序约束关系为Sequence(E1,E3,meetbefore)。TQCN是一种针对时间约束关系、时序约束关系描述的时间约束网络模型，为冲突的检测和冲突消解做出模型上的支持。
步骤4：利用基于分支搜索的冲突检测算法，生成产生冲突的时间段与任务事件空间规划组合的列表；分支搜索的冲突检测算法将利用交叠关系时间段集合来设计空间冲突、资源冲突的检测算法。
(1)空间冲突检测算法：遍历交叠时间任务信息列表，获取单条交叠时间中所有任务编号信息列表Eids。再遍历规划完毕的任务信息列表evnets，判断单条任务信息的编号是否在任务信息编号列表中。若存在，将任务事件空间Si与已在冲突列表中或已在临时任务事件列表tcEvents列表中的Si做空间重叠检测，检测结果添加入相应位置。最后将检测完毕任务事件Ei放入临时任务事件列表tcEvents进行下一次迭代。其中，判断空间是否存在交叠部分分两种情况进行考虑，即空间与空间冲突检测，空间与平面冲突检测。
(2)资源冲突检测算法：遍历交叠时间任务信息列表，获取单条交叠时间中所有任务编号信息列表Eids。再遍历规划完毕的任务信息列表events，判断单条任务信息的编号是否在任务信息编号列表中。若存在，则通过当前任务资源信息更新位图rBitMap，迭代完毕后，位图中的资源信息就是当前时间段内所有任务资源需求数量。在将位图与拥有资源信息resources作比较，得出冲突检测结果。
步骤5：在冲突检测之后，如果发现有冲突点，需要进行冲突消解，根据任务事件约束模型进行冲突消解策略研究。
人工智能领域中提及一种面向目标的、独立于具体领域的规划算法teleo-reactive规划。teleo-reactive规划的目标是协调控制各个复杂的子系统以实现更高层的目标，由此构造一系列动作序列，控制多个子系统，完成既定目标。其中动作序列由一个树形结构表示称为TR树。构造树形结构的目的是明确达到任务目标所要经历的节点和路径，即动作。若当前节点状态无法达成目标，即产生冲突，则回溯到上一状态寻找解决序列。对于冲突的消解可以依照这种思想，回溯到冲突所在任务事件规划前状态进行任务规划求解。
具体算法如下：若冲突点违反强约束且冲突点违反定性约束，则回溯到上一任务事件规划状态，调整任务事件先后顺序，必须使其满足时序约束中的先后关系。对可移动空间尽量移动，无法移动需按定量约束解决。若冲突点违反强约束但无冲突点违反定性约束，则首先按约束调整时间区间，其次按调整任务空间及路线，最坏情况移动所有后续任务配合约束调整。若无冲突点违反强约束，则回溯到上一任务事件规划状态，调整任务时间段，预估造成的正向影响，尽量满足促进约束。
步骤6：采用一定的细粒度并行检测技术，产生各种经过分解、规划的资源需求序列。
细粒度并行检测技术，也就是一种高性能细粒度并行检测机制，将被检测对象细分为多个块，利用Middlebox组每个节点并行检测细分块来提高检测性能，满足实时性需求。Middlebox是计算机网络设备，这里将在任务规划时用来检测并处理任务冲突的网络硬件或软件称为Middlebox。深度检测基于应用层安全，多类型的应用服务需要一个或多个Middleboxes来确保其应用安全，例如Email服务需要通过AV、AS和关键字过滤(KF)来确保服务安全，其中AV检测并过滤病毒邮件，AS检测并过滤垃圾邮件，KF检测并过滤敏感关键词邮件。
参照图5，迁移AS、AV和KF到检测系统的虚拟机中，它们分别组成AS组、AV组和KF组，组中每个VM部署到一个独立的Middlebox。检测包括以下步骤：
(a)NIC(network interface controller，网络接口控制器)→虚拟Middlebox安全组→服务域：NIC接受来自于网络的任务流，然后转发这些流到安全组去执行深度冲突检测，要是这些流是安全的，则转发它们到服务域，否则需要执行冲突消解。
(b)服务域→安全组→NIC：对于服务域响应报文，这个过程与(a)正好相反，响应包通过安全组检测之后，如果是一个安全包则转发至NIC，否则扔掉。
(c)安全组→检测管理器(IM)：每个组向IM上报深度检测时间，即每个组中任意节点对整个任务数据进行检测和过滤消耗的时间，将该时间作为该类Middlebox对整个任务数据进行检测和过滤基准时间，为细粒度并行提供支撑。
(d)IM→安全组：根据延迟需要和单个节点深度检测时间，IM确定创建代理和扫描器数目。
步骤7：资源分配层接收任务调度层的输出的规划结果，通过分析资源需求于系统内各类软硬件资源的运行情况。
参照图6，全系统内各类软硬件资源的运行情况有：就绪状态(资源已经准备好被调用)、部分运行状态(资源已经部分占用，但仍可调配部分资源支持其他任务)、完全运行状态(资源已经完全被利用，无法支持其他任务)、离线状态(软硬件故障导致无法支持任务)，资源各状态之间转移如图所示。
步骤8：通过分析资源需求于系统内各类软硬件资源的运行情况，产生相应的资源分配命令，参照图7，具体包括以下步骤：
步骤(1)：安全资源状态监测模块为资源分配命令提供决策。
首先，将需要监测的安全资源对象(包括软硬件等安全资源在内)统称为监测对象，以标准计算机的体系结构自下而上分为四类：
(a)系统类：包括但不限于CPU利用率、磁盘I/O、物理存储以及虚拟存储器的使用情况；
(b)安全类：各类安全软硬件的使用率以及软硬件状态；
(c)网络类：包括但不限于与其他设备的通信延迟、带宽、路由情况；
(d)应用类：对智能系统各类应用的监测，体现各进程或进程集合的任意状态。
然后，安全资源状态监测模块将各类安全资源的信息进行收集，随后汇总，生成响应数据，具体如下所示：
(a)资源总量，表示该资源在某个节点或某个设备上的某类资源总量；
(b)当前资源使用率，表示该资源在某个节点或某个设备上某类资源的使用量；
(c)资源分配警戒值，表示该资源在某个节点或某个设备上某类资源最多能够分配的百分比。一旦当前资源使用率超过该警戒值，后续的同类型的资源分配将会被提高优先级，直至当前资源使用率低于该警戒值。一般该警戒值为资源总量的80％-95％。
步骤(2)：通过系统安全资源质量评估模块，对当前资源分配进行评估，并将评估结果提供给安全资源弹性决策分配模块，以更好地改善系统性能。
参照图8，系统安全资源质量评估模型的建立分为四步：
第一步：针对智能系统，选取若干个影响系统安全性能的KQIs：KQI1，KQI2，…，KQIn，每个KQI下设置若干个对应指标KPIs：KPI1，KPI2，…，KPIn。质量评估模型的最终输出质量评估分(Quality Asses ent Score,QAS)的组成公式如下：
QAS＝ω1*KQI1+ω2*KQI2+···+ωn*KQIn
KQIi＝β1*KPI1+β2*KPI2+···+β2*KPIn
第二步：收集原始数据。在系统运行时随机改变各类预定参数(包括可能使系统运行质量下降的KPIs，例如资源分配窗口大小等)，并记录系统相应的变化。
第三步：KPIs归一化。目的是使不同度量衡的参数能够在同一空间被衡量。
第四步：计算质量评估分中的影响系数β和ω，建议使用层次分析法。首先根据实际情况对参数的重要性进行排序，构造判断矩阵，再对矩阵进行层次单排序和层次总排序，最终得到影响系数β和ω。
步骤(3)：通过安全资源弹性决策分配模块，根据安全资源状态监测模块上报的数据以及任务调度层输出的资源需求进行决策分配。
安全资源弹性决策分配模块是资源分配层的核心。其主要根据安全资源状态监测模块上报的数据以及任务调度层输出的资源需求进行决策分配。安全资源弹性决策分配模块主要有资源配置模块与资源调度模块两个部分组成，实现步骤包括：
步骤1：资源配置模块进行资源追加或资源回收。
资源配置模块所遵循的规则如下：
(a)如果当前资源使用率小于资源分配警戒值，并且质量评估分低于该资源预期评分，那么在下一次资源分配时，追加对该类资源需求的分配。
(b)如果当前资源使用率大于资源分配警戒值，并且质量评估分高于该资源预期评分，那么在下一次资源分配时，逐渐增加对该资源的回收。
(c)如果当前资源使用率大于资源分配警戒值，并且质量评估分低于该资源预期评分，那么在下一次资源分配时，减少对该资源的分配。
(d)如果当前资源使用率小于资源分配警戒值，并且质量评估分高于该资源预期评分，那么在下一次资源分配时，逐渐增加对该资源的回收。
(e)如果某次请求是第一次请求某类资源，那么应采取“慢开始”的思路。即第一次请求资源时，分配一个较小的资源量。
(f)如果下一次资源分配时，需要追加资源分配，那么每次增加的资源量应为定值，即应该以线性方式控制资源分配量，使得资源分配量缓慢增加，避免资源分配过多造成浪费。
(g)如果下一次资源分配时，需要回收资源。如果是第一次回收该类资源，那么回收资源量应与“慢开始”阶段的分配资源量大小相等；如果不是第一次回收，那么该次回收的资源大小应是上一次回收的资源大小的X(X>1)倍，直至全部回收。即“快回收”，这样能保证快速回收资源，以便再次分配。
步骤2：资源调度模块将通过安全资源弹性决策分配模块得到的资源分配策略具体映射到相应的物理节点或虚拟机。
资源调度模块使用粒子群算法。自上世纪末，粒子群算法就因其较高的计算效率而得到关注，粒子群算法是模仿一种鸟类动物觅食所衍生出的算法，强调群体的配合与相互协调,从而获取最优解，其一个重要应用就是分布式环境下资源分配问题。该问题通常是利用遗传算法求解，但遗传算法不能充分利用在优化过程中积累下的对搜索空间的知识。而蚁群算法可以有效地结合对搜索空间的认识，不断缩小搜索空间的大小，最终收敛到全局最优或近似最优的解。
在粒子群算法中,每个粒子作为问题的一个备选解,粒子通过问题信息作为引导，在多维空间中不断变化轨迹，最终找到最优位置，即为所求最优解。在本项目的背景下，为了产生异构资源的命令，需要将粒子飞行过程中的历史最佳位置进行记录，每个最佳位置即为一个可行解，最终根据需要选择合适数量的可行解，分配给相应的异构资源进行运算。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种任务调度及资源分配方法，其特征在于，包括：
任务调度层接收工业互联网安全防御架构的输入，对输入的任务进行时间、资源和空间等多种维度上的冲突检测及冲突消解，采用细粒度并行检测方法，产生各种经过分解、规划的资源需求序列；
资源分配层接收任务调度层的输出的规划结果，资源分配算法通过分析资源需求于系统内各类软硬件资源的运行情况，产生相应的资源分配命令。
2.根据权利要求1所述的任务调度及资源分配方法，其特征在于，任务调度层接收工业互联网安全防御架构的输入，对输入的任务进行时间、资源和空间等多种维度上的冲突检测及冲突消解，包括以下步骤：
步骤1：使用任务事件模型将任务细化，将单条时间、资源、空间信息作为任务控制最小处理单位；
步骤2：确定任务事件之间存在可能产生冲突的点，根据约束情况，得出一套完整的任务事件约束；
步骤3：根据完整细化完成的任务以及任务约束建立TQCN分段时间约束网络；
步骤4：利用基于分支搜索的冲突检测算法，生成产生冲突的时间段与任务事件空间规划组合的列表；
步骤5：在冲突检测之后，如果发现有冲突点，需要进行冲突消解，根据任务事件约束模型进行冲突消解策略研究；
步骤6：采用细粒度并行检测方法，产生各种经过分解、规划的资源需求序列。
3.根据权利要求2所述的任务调度及资源分配方法，其特征在于，步骤3所述的TQCN是一种时间约束网络，不仅可以定量的描述任务开始时间、结束时间、时间跨度，还可以描述任务事件在时间上相交、包含、同时开始、同时结束的关系。
4.根据权利要求2所述的任务调度及资源分配方法，其特征在于，步骤4所述的分支搜索的冲突检测算法，关键算法是利用交叠关系时间段集合设计空间冲突、资源冲突的检测算法，具体如下：
空间冲突检测算法：输入若干个时间分支图组成的列表，满足时间相关约束关系的任务事件规划列表，输出产生冲突的时间段与任务事件空间规划组合的列表；
资源冲突检测算法：输入若干个时间分支图组成的列表，满足时间相关约束关系的任务事件规划列表，现有资源信息列表，输出包含当前时间段内所有任务资源需求数量的资源信息的位图与现有资源信息列表的比较结果。
5.根据权利要求2所述的任务调度及资源分配方法，其特征在于，步骤5所述冲突消解策略依照冲突约束中定性约束、定量约束、强约束、弱约束的分类进行；定性约束需要针对任务事件之间的先后、方位进行消解；定量时间约束要针对任务事件的时间点、空间点集、高度、资源数量进行消解。
6.根据权利要求2所述的任务调度及资源分配方法，其特征在于，步骤6所述的细粒度并行检测方法，将被检测对象细分为多个块，利用Middlebox组每个节点并行检测细分块。
7.根据权利要求1所述的任务调度及资源分配方法，其特征在于，所述资源分配层的三个功能及主要实现步骤包括：
维护安全资源状态监测模块，为资源分配命令提供决策；通过安全资源状态监测模块对各类异构包括虚拟的资源进行监控，与其他的中间件进行集成；
维护系统安全资源质量评估模块，反映资源调度分配的结果；通过系统安全资源质量评估模块，对当前资源分配进行评估，并将评估结果提供给安全资源弹性决策分配模块；
维护安全资源弹性决策分配模块，接收任务调度层的输入，经过决策，产生相应的异构安全资源分配命令；通过安全资源弹性决策分配模块，根据安全资源状态监测模块上报的数据以及任务调度层输出的资源需求进行决策分配。
8.根据权利要求7所述的任务调度及资源分配方法，其特征在于，安全资源弹性决策分配模块主要由资源配置模块与资源调度模块两个部分组成，实现步骤包括：
步骤1：资源配置模块进行资源追加或资源回收；
步骤2：通过安全资源弹性决策分配模块，得到资源分配策略，通过资源调度模块使用粒子群算法，将资源分配策略具体映射到相应的物理节点或虚拟机。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1～8中任一项所述任务调度及资源分配方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～8中任一项所述任务调度及资源分配方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111177573.8A CN113986531A (zh) | 2021-10-09 | 2021-10-09 | 一种任务调度以及资源分配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111177573.8A CN113986531A (zh) | 2021-10-09 | 2021-10-09 | 一种任务调度以及资源分配方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113986531A true CN113986531A (zh) | 2022-01-28 |
Family
ID=79737977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111177573.8A Pending CN113986531A (zh) | 2021-10-09 | 2021-10-09 | 一种任务调度以及资源分配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113986531A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116302575A (zh) * | 2023-05-24 | 2023-06-23 | 爱彼希科技(北京)有限公司 | 适用于多元冲突场景的需求资源配置处理方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101064900A (zh) * | 2007-04-27 | 2007-10-31 | 杭州东信北邮信息技术有限公司 | 将关键性能指标映射到关键质量指标的通用处理方法 |
| CN104427625A (zh) * | 2013-08-28 | 2015-03-18 | 中国移动通信集团湖北有限公司 | 一种基于用户体验的网络资源调度方法及系统 |
| RU2665246C1 (ru) * | 2017-11-09 | 2018-08-28 | Российская Федерация, от имени которой выступает Государственная корпорация по космической деятельности "РОСКОСМОС" | Аппаратно-вычислительный комплекс виртуализации и управления ресурсами в среде облачных вычислений |
-
2021
- 2021-10-09 CN CN202111177573.8A patent/CN113986531A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101064900A (zh) * | 2007-04-27 | 2007-10-31 | 杭州东信北邮信息技术有限公司 | 将关键性能指标映射到关键质量指标的通用处理方法 |
| CN104427625A (zh) * | 2013-08-28 | 2015-03-18 | 中国移动通信集团湖北有限公司 | 一种基于用户体验的网络资源调度方法及系统 |
| RU2665246C1 (ru) * | 2017-11-09 | 2018-08-28 | Российская Федерация, от имени которой выступает Государственная корпорация по космической деятельности "РОСКОСМОС" | Аппаратно-вычислительный комплекс виртуализации и управления ресурсами в среде облачных вычислений |
Non-Patent Citations (2)
| Title |
|---|
| 何进: "基于云计算网络安全研究", 中国博士学位论文全文数据库 信息科技辑, 15 January 2018 (2018-01-15), pages 66 - 67 * |
| 杨星: "分布式协调作战任务规划技术研究与应用", 中国优秀硕士学位论文全文数据库 社会科学I辑, 15 March 2019 (2019-03-15), pages 18 - 32 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116302575A (zh) * | 2023-05-24 | 2023-06-23 | 爱彼希科技(北京)有限公司 | 适用于多元冲突场景的需求资源配置处理方法 |
| CN116302575B (zh) * | 2023-05-24 | 2023-07-21 | 爱彼希科技(北京)有限公司 | 适用于多元冲突场景的需求资源配置处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111862579B (zh) | 一种基于深度强化学习的出租车调度方法及系统 | |
| CN112016812B (zh) | 多无人机任务调度方法、系统及存储介质 | |
| CN107404523A (zh) | 云平台自适应资源调度系统和方法 | |
| CN103729248B (zh) | 一种基于缓存感知的确定待迁移任务的方法和装置 | |
| CN109617826B (zh) | 一种基于布谷鸟搜索的storm动态负载均衡方法 | |
| CN105929690B (zh) | 一种基于分解多目标进化算法的柔性车间鲁棒调度方法 | |
| CN114281104B (zh) | 一种基于改进蚁群算法的多无人机协同调控方法 | |
| Wang et al. | Energy utilization task scheduling for mapreduce in heterogeneous clusters | |
| Wang et al. | A reinforcement learning approach for online service tree placement in edge computing | |
| CN113806018A (zh) | 基于神经网络和分布式缓存的Kubernetes集群资源混合调度方法 | |
| CN113438620B (zh) | 一种无人机集群中心节点最优选择方法 | |
| CN116185035B (zh) | 基于改进仿生狼群的无人集群动态任务分配方法及系统 | |
| WO2022212079A1 (en) | Deep reinforcement learning for adaptive network slicing in 5g for intelligent vehicular systems and smart cities | |
| CN107180309A (zh) | 一种空天地观测资源的协同规划方法 | |
| CN113986531A (zh) | 一种任务调度以及资源分配方法 | |
| CN116185584A (zh) | 一种基于深度强化学习的多租户数据库资源规划与调度方法 | |
| Ye et al. | Fairlight: Fairness-aware autonomous traffic signal control with hierarchical action space | |
| Castagna et al. | Demand-responsive rebalancing zone generation for reinforcement learning-based on-demand mobility | |
| CN116866440B (zh) | 一种集群节点选择调度方法、装置、电子设备和存储介质 | |
| CN117094460B (zh) | 一种基于od数据的多目标旅行商控制方法、系统及介质 | |
| Suzuki et al. | Safe multi-agent deep reinforcement learning for dynamic virtual network allocation | |
| Prado et al. | On providing quality of service in grid computing through multi-objective swarm-based knowledge acquisition in fuzzy schedulers | |
| CN112598112B (zh) | 一种基于图神经网络的资源调度方法 | |
| Yano et al. | Work-in-progress: Reinforcement learning-based DAG scheduling algorithm in clustered many-core platform | |
| Sen et al. | Context-aware Data Operation Strategies in Edge Systems for High Application Performance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |