CN111694662B - 基于强化学习的dids中低负载与丢包率的平衡方法 - Google Patents

基于强化学习的dids中低负载与丢包率的平衡方法 Download PDF

Info

Publication number
CN111694662B
CN111694662B CN202010457134.1A CN202010457134A CN111694662B CN 111694662 B CN111694662 B CN 111694662B CN 202010457134 A CN202010457134 A CN 202010457134A CN 111694662 B CN111694662 B CN 111694662B
Authority
CN
China
Prior art keywords
detection
loss rate
packet loss
calculating
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010457134.1A
Other languages
English (en)
Other versions
CN111694662A (zh
Inventor
赵旭
江晋
赵子江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Senyin Duoxi Network Technology Co ltd
Original Assignee
Shaanxi Senyin Duoxi Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Senyin Duoxi Network Technology Co ltd filed Critical Shaanxi Senyin Duoxi Network Technology Co ltd
Priority to CN202010457134.1A priority Critical patent/CN111694662B/zh
Publication of CN111694662A publication Critical patent/CN111694662A/zh
Application granted granted Critical
Publication of CN111694662B publication Critical patent/CN111694662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083Techniques for rebalancing the load in a distributed system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/29Graphical models, e.g. Bayesian networks
    • G06F18/295Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于强化学习的DIDS中低负载与丢包率的平衡方法,其中包括如下步骤:计算立即检测率,计算理论丢包率,计算平均数据包到达数,计算数据包平均等待数,计算数据包等待概率,计算检测引擎被分配的任务数量,计算检测引擎被分配任务的概率,计算检测引擎的工作效率,计算分布式入侵检测系统整体的工作效率,通过检测引擎被分配检测任务的概率,调节低负载与丢包率这两个矛盾指标的平衡。解决了现有技术中公开的以低负载为目标的分布式入侵检测系统的任务调度算法中,单纯强调低负载而可能造成丢包率上升的问题。

Description

基于强化学习的DIDS中低负载与丢包率的平衡方法
技术领域
本发明属于网络安全技术领域,涉及一种基于强化学习的DIDS中低负载与丢包率的平衡方法。
背景技术
边缘计算是将运算任务,由网络中心节点迁移至网络边缘节点来处理。由于边缘计算环境下的终端设备存在资源受限等特性,分布式入侵检测系统需要在低负载状态下运行。现有技术中公开了以低负载为目标的分布式入侵检测系统的任务调度算法。这种强调低负载的任务调度算法存在有可能使丢包率上升的问题。
发明内容
本发明的目的是提供一种基于强化学习的DIDS(DIDS,分布式入侵检测系统)中低负载与丢包率的平衡方法,解决了现有技术中公开的以低负载为目标的分布式入侵检测系统的任务调度算法中,单纯强调低负载而可能造成丢包率上升的问题。
本发明所采用的技术方案是,一种基于强化学习的DIDS中低负载与丢包率的平衡方法,具体包括如下步骤:
步骤1,工作开始前,对分布式入侵检测系统中的各检测引擎进行性能评估,收集该检测系统对测试流量的检测时间dt和内存占用mu信息,并将d作为检测引擎的性能指标,对所有检测引擎测试后,根据性能高低将检测引擎分成不同等级d,d=1,…,D,d值相差在10%以内的,归为同一等级;
步骤2,开始工作后,当一个数据包到来需要检测时,调度器首先获取数据包长度,对数据包产生的负载进行评估,得出该数据包所产生的负载等级k,k=1,…,K,k值相差在10%以内的,归为同一等级;
步骤3,利用马尔科夫决策过程进行建模,确定建模需要的状态空间、动作集合、转移速率、转移概率、价值函数、最优策略和策略迭代方式,调度器通过模型进行决策,决定分配哪个性能等级的检测引擎去检测这一数据包;
步骤4,在决策过程中,调度器将根据丢包率的变化,调节低负载与丢包率的平衡;
步骤5,当一个检测引擎完成检测后,如果调度器没有再分配别的检测任务,该检测引擎将暂时空闲;
步骤6,当一个检测引擎还被分配有其他检测任务时,该检测引擎将马上去完成调度器指派的另一检测任务;
步骤7,当一个检测请求到来时,如果分布式入侵检测系统中没有空闲的检测引擎,调度器将记录这一检测请求并放入队列,一旦队列满额,这个新到的数据包将不得不被放弃检测,如果分布式入侵检测系统中有空闲的检测引擎时,将不会将数据包放入队列等待。
本发明的特点还在于,
步骤4的具体过程如下:
步骤4.1,基于步骤3,计算立即检测率;
步骤4.2,基于步骤4.1所得结果计算理论丢包率;
步骤4.3,根据步骤4.2所得结果计算平均数据包到达数;
步骤4.4,根据步骤4.3所得结果计算数据包平均等待数;
步骤4.5,基于步骤4.4所得结果计算数据包等待概率;
步骤4.6,基于步骤4.5所得结果计算检测引擎被分配的任务数量、分配任务的概率及工作效率;
步骤4.7,根据步骤4.6所得结果计算分布式入侵检测系统整体的工作效率;
步骤4.8,根据步骤4.7所得结果进行低负载与丢包率这两个矛盾指标的平衡。
步骤4.1的具体过程为:
对于任意的平稳策略f∈F,立即检测率pf(ISR)为
Figure BDA0002509769250000031
其中,b是队列允许的长度,
Figure BDA0002509769250000032
是与策略f相对应的平稳概率分布。
步骤4.2的具体过程为:
对于任意的平稳策略f∈F,理论丢包率pf(LR)为
Figure BDA0002509769250000033
步骤4.3的具体过程为:
令f∈F为一平稳策略,则系统中的平均数据包到达数为
Figure BDA0002509769250000034
其中NT是检测引擎的总数,b为队列长度,NT和b的关系是
Figure BDA0002509769250000035
步骤4.4的具体过程为:
令公式(15)中的
Figure BDA0002509769250000041
则系统里的数据包平均等待数为
Figure BDA0002509769250000042
其中
Figure BDA0002509769250000043
步骤4.5的具体过程为:
在步骤4.1“f∈F为一平稳策略,
Figure BDA0002509769250000044
是与策略f相对应的平稳概率分布”这一条件下,n个数据包等待的概率是
Figure BDA0002509769250000045
步骤4.6的具体过程为:
d等级检测引擎被分配的任务数量的计算过程为:
Figure BDA0002509769250000046
其中,n=1,2,...nd,d=1,2,...,D;
n个d等级检测引擎被调度器分配检测任务的概率是:
Figure BDA0002509769250000047
公式(19)中,
Figure BDA0002509769250000048
对所有的n,d的取值范围为d=1,2,...,D,α是调节丢包率的参数;
d等级检测引擎的工作效率为
Figure BDA0002509769250000049
步骤4.7的具体过程为:
根据C(d)得出分布式入侵检测系统整体的工作效率为
Figure BDA0002509769250000051
步骤4.8的具体过程为:
包括如下三种情况:
(1)当丢包率低于低阈值TL时,检测引擎被分配任务的概率
Figure BDA0002509769250000052
中的α被设定为1,此时调度器按照低负载优先的原则进行任务调度;
(2)当丢包率高于低阈值TL且低于高阈值TH时,将
Figure BDA0002509769250000053
中的α设定为
Figure BDA0002509769250000054
此时调度器按照低负载和低丢包率兼顾的原则进行任务调度;
(3)当丢包率高于高阈值TH时,α将恢复为1,此时调度器按照低丢包率的原则进行任务调度;
基于上述三种情况,为了调节低负载与丢包率的平衡,检测引擎被分配检测任务的概率按照如下公式执行:
Figure BDA0002509769250000055
本发明的有益效果是,相对于现有技术中公开的以低负载为目标的分布式入侵检测系统的任务调度算法,这种强调低负载的任务调度算法存在有可能使丢包率上升的问题。本发明在此基础上,提供任务调度过程中低负载与丢包率的平衡方法。与现有技术相比,解决了强调低负载的任务调度算法有可能会造成丢包率上升的问题。该方法能够使分布式入侵检测系统在边缘计算环境下根据网络变化动态调节调度策略,在低负载和丢包率这两个矛盾的指标间保持平衡。
具体实施方式
下面结合具体实施方式对本发明进行详细说明。
本发明是一种基于强化学习的DIDS中低负载与丢包率的平衡方法,具体按照以下步骤实施:
步骤1,分布式入侵检测系统启动后,在开始工作之前,首先对各检测引擎进行的性能评估,收集其对测试流量的检测时间(dt)和内存占用(mu)信息,并将
Figure BDA0002509769250000061
作为检测引擎的性能指标。对所有检测引擎测试后,根据性能高低将其分成不同等级d,d=1,…,D,d值相差在10%以内的,可归为同一等级;
步骤2,开始工作后,当一个数据包到来需要检测时,调度器首先获取数据包长度,对数据包产生的负载进行评估,评估方法是用数据包长度与以太网最大传输单元(MTU)1500Bytes的比值,可得出该数据包所产生的负载等级k,k=1,…,K。k值相差在10%以内的,可归为同一等级;
步骤3,利用马尔科夫决策过程就本发明所要解决的具体调度问题建模,确定建模需要的状态空间、动作集合、转移速率、转移概率、价值函数、最优策略和策略迭代方式。调度器通过模型进行决策,决定分配哪个性能等级的检测引擎去检测这一数据包。
步骤3具体步骤按照以下实施:
步骤3.1,定义参数:
分布式入侵检测系统有D个性能等级的检测引擎对K个负载等级的数据包的检测需求,检测时间服从指数分布,数据包的到达过程可以看作K个独立的泊松过程。评判准则采取平均负载准则。考虑数据包到达和检测结束的时刻,那么此时嵌入链是马尔科夫链。
下面对后文将使用的各种标记进行说明:
Figure BDA0002509769250000071
步骤3.2,基于步骤3.1,确定状态空间:
下面将s=(N(D,K),B(K),r)设为状态,其中N(D,L)是一个向量,具有形式(n10,n11,…,n1K-1,n20,…,nDK-1),描述了分布式入侵检测系统的工作状态,包括尚未分配检测任务的检测引擎的分布以及正在为各等级数据包检测的检测引擎状况;B(K)也是一个向量,而且具有形式(b1,b2,…,bK),描述了正在等待检测的数据包情况,包括各种数据包的数量;而r取值于集合{K,K-1,…,1,0},描述最一个到达的数据包的情况。当队列长度的限制b确定以后,就可以定义一个含有所有可能状态的集合X,如公式1所示。
Figure BDA0002509769250000081
在上式中,b>0是允许的队列长度。
下面列出集合X中的几种典型的可能状态
1)系统里如果有空闲的检测引擎,刚好有一个数据包到达,经过负载评估是第j等级数据包,那么X1作为X集合中的一个状态,如公式(2)所示
Figure BDA0002509769250000082
其中,状态(N(D,K),B(K),j)表示新到的数据包带来了第j等级的检测需求。
2)系统里没有可用的检测引擎时的所有可能状态X2可以表示为下式
Figure BDA0002509769250000083
3)系统里仍有空闲的检测引擎且无数据包等待检测(此时r=0)的所有可能状态X3可以表示为下式
Figure BDA0002509769250000084
4)系统里只有一个空闲的检测引擎且有等待检测的数据包的所有可能状态(这种情况比较少见)。
Figure BDA0002509769250000091
步骤3.3,确定决策时刻:
当一个新的数据包到达,需要调度器分配一个检测引擎进行检测,这时发生了系统状态的变化,所以调度器需要做出决策,选择执行对应的行为。与此类似,当一个检测引擎完成对某个数据包的检测时,这个行为的执行使得系统的状态也发生了改变,使系统当前的状态转移到状态空间中另一个状态。
步骤3.4,基于步骤3.3,确定动作集合:
在上面列出的几种情况中,对于X1中的状态,调度器需要选择指派哪一等级的检测引擎来处理这个数据包,对于X4中的状态,系统需要考虑目前唯一空闲的检测引擎应该检测队列中哪一等级数据包,对于X2和X3中的状态,系统不需要做出选择。所以状态空间X的动作集合A(·)定义为
A(s)={d|nd0>0,d=1,2,...,D},s∈X1
A(s)={0},s∈X2
A(s)={0},s∈X3
A(s)={k|bk>0,k∈1,2,..,K},s∈X4 (6);
动作集合中的0表示不需要作出决策,动作k∈A(s)(s∈X4)表示由系统里唯一空闲的检测引擎去处理一个等待的k等级数据包,而d∈A(s)(s∈X1)表示由第d等级的检测引擎去检测刚刚到达的数据包。
步骤3.5,基于步骤3.4,确定转移速率与转移概率;
转移概率是依赖于系统当前所处的状态和调度器选取的行动来决定。本发明中因为使用的是马尔科夫决策过程,所以转移概率可以通过转移速率求得。而转移速率可以分为下面的几种情况确定:
1)对于X1中的状态s,当k等级的数据包到达,调度器选择与之对应的d等级检测引擎去检测,此时,会出现两种可能的转移:
I)转移到状态s'∈X3,其转移速率为
Figure BDA0002509769250000101
这里的s'∈X3表示一个i等级的检测引擎恰好完成对一个j等级数据包的检测;
II)转移到状态s'∈X1∪X2,其转移速率为q(s'|s,d)=λj,s'∈(X1∪X2)表示一个j等级的数据包到达。
2)对于X2中的状态s,也会发生两种转移:
I)转移到状态s'∈X4,其转移速率为q(s'|s,0)=nijμij,s'(∈X4)表示一个i等级检测引擎恰好完成一个j等级数据包的检测;
II)转移到状态s'∈X2,其转移速率为q(s'|s,0)=λj,s'(∈X2)表示一个j等级的数据包到来。
3)对于X3中的状态s,只有可能发生两种转移:
I)s′∈X3,其转移速率为q(s'|s,0)=λj,s′(∈X3)表示一个j等级的数据包到来;
II)s′∈X1,其转移速率为q(s'|s,0)=nijμij,s'(∈X1)表示一个i等级检测引擎恰好完成一个j等级数据包的检测;
4)对于X4中的状态s,nk0>0,采取行动k,可能会发生两种转移:
I)转移到状态s′∈X3∪X4,其转移速率为
Figure BDA0002509769250000102
s′∈X3∪X4表示一个i等级检测引擎恰好完成一个j等级数据包;
II)转移到状态s'∈X2,其转移速率为q(s'|s,k)=λj,s'(∈X2)表示一个j等级的数据包到来。
除了上面已经定义的元素以外,转移速率矩阵的非对角元素全部都是0。转移速率矩阵的对角元素可以定义为
Figure BDA0002509769250000111
对任何的确定性策略f∈F,可以得到对应的转移速率矩阵Q(f).根据连续时间的马尔科夫决策过程理论,得到转移概率矩阵P(f)为
P(f)=λ-1[Q(f)]+I (10);
其中λ满足
Figure BDA0002509769250000112
对于转移速率矩阵Q(f),将每一行除以该行对应对角线上的元素以后,再加上一个单位矩阵,也可以得到一个嵌入马尔科夫链的转移概率矩阵P'(f)。通过这两种不同方法得到的系统,它们的最优策略和对应的值函数都是相同的。
步骤3.6,基于步骤3.5,确定价值函数和最优策略;
前面设定lk为检测第k等级数据包对检测引擎带来的最小负载,lk依赖于要检测的数据包的负载等级k;平均负载ldk取决于检测引擎的性能等级d和数据包的负载等级k,考虑到检测时间的分布通常是指数分布,那么在状态s时采取行动a的期望负载为
Figure BDA0002509769250000113
上式也就是基于策略f的状态-行为价值函数((state-action value function)qf(s,a),所以qf(s,a)=l(s,a)。
使用平稳策略f时,期望的最小平均负载准则是:
Figure BDA0002509769250000121
在上式中,Yi是决策时刻i的状态,s是初始状态,τi是决策时刻i的平均滞留时间。这样,一个连续时间的马尔科夫决策过程系统就形成了。考虑到行动集和状态空间都是有限集合,所以可以得出:对于平均最小负载准则,存在确定性平稳最优策略f*满足g(f*,s)≤g(f,s),对所有f∈F和s∈X,f*是最优策略。
步骤3.7,进行策略迭代;
通过上面的推导,找到了实现最小负载的最优策略f*,在寻找更小的g(f*,s)过程中,可以使用策略迭代(Policy Iteration),策略迭代算法包含了策略估计的过程,而策略估计则需要对所有的状态扫描(sweep)若干次,这个过程所产生的巨大的计算量会影响策略迭代算法的效率,实际上价值函数的值没有必要计算的非常精确,为了缩短策略估计的过程,可采用值迭代的方法。值迭代的具体方法是依靠循环的方式通过对不同动作下的g(f,s)进行计算,如果小于收敛阈值便可以确定。
步骤4、在决策过程中,调度器将根据丢包率的变化,调节低负载与丢包率的平衡;
步骤4具体步骤按照以下实施:
步骤4.1,基于步骤3,计算立即检测率,计算方法如下:
对于任意的平稳策略f∈F,立即检测率pf(ISR)为
Figure BDA0002509769250000122
上式中b是队列允许的长度,
Figure BDA0002509769250000132
是与策略f相对应的平稳概率分布。
步骤4.2,基于步骤4.1,计算理论丢包率。理论丢包率是指调度器在决策时因为队列长度的限制而主动放弃检查数据包造成的丢包率。理论丢包率的计算方法如下:
考虑到实际运行时一些不可预见因素,理论上的丢包率应该比实际丢包率会低一些。对于任意的平稳策略f∈F,理论丢包率pf(LR)为
Figure BDA0002509769250000133
步骤4.3,基于步骤4.2,计算平均数据包到达数,计算方法如下:
令f∈F为一平稳策略,则系统中的平均数据包到达数为
Figure BDA0002509769250000134
其中,NT是检测引擎的总数,b为队列长度,NT和b的关系是
Figure BDA0002509769250000135
步骤4.4,基于步骤4.3,计算数据包平均等待数,计算方法如下:
令公式(15)中的
Figure BDA0002509769250000136
那么系统里的数据包平均等待数为
Figure BDA0002509769250000137
其中
Figure BDA0002509769250000138
步骤4.5,基于步骤4.4,计算数据包等待概率,计算方法如下:
在步骤4.1“f∈F为一平稳策略,
Figure BDA0002509769250000139
是与策略f相对应的平稳概率分布”这一条件下,n个数据包等待的概率是
Figure BDA0002509769250000141
步骤(4.6)、基于步骤4.5,计算检测引擎被分配的任务数量,计算方法如下:
d等级检测引擎被分配检测的数据包的平均数量为
Figure BDA0002509769250000142
其中,n=1,2,...nd,d=1,2,...,D。
计算检测引擎被分配任务的概率,计算方法如下:
n个d等级检测引擎被调度器分配检测任务的概率是
Figure BDA0002509769250000143
在上式中,
Figure BDA0002509769250000144
对所有的n,d=1,2,...,D。α是调节丢包率的参数。
计算检测引擎的工作效率,计算方法如下:
利用上式可以得出,d等级检测引擎的工作效率为
Figure BDA0002509769250000145
掌握某一等级检测引擎的工作效率后,调度器可以在步骤3.7策略迭代过程中根据流量的变化调节决策。
步骤4.7,基于步骤4.6,计算分布式入侵检测系统整体的工作效率,计算方法如下:
根据C(d)也可以得出分布式入侵检测系统整体的工作效率为
Figure BDA0002509769250000146
步骤4.8,基于步骤4.7,进行低负载与丢包率这两个矛盾指标的平衡。平衡过程需要加入2个参数:丢包率LR的低阈值TL和高阈值TH。平衡的具体方法分如下几种情况处理:
1)如果丢包率低于低阈值TL时,检测引擎被分配任务的概率
Figure BDA0002509769250000151
中的α被设定为1。此时调度器按照低负载优先的原则进行任务调度。
2)当丢包率高于低阈值TL时且低于高阈值TH时,将
Figure BDA0002509769250000152
中的α设定为
Figure BDA0002509769250000153
这意味着与分布式入侵检测系统的整体工作效率相比,某等级检测引擎的效率越高,被分配检测任务的概率越高。反之,检测引擎的效率越低,被分配检测任务的概率越低。此时调度器按照低负载和低丢包率兼顾的原则进行任务调度。
3)当丢包率高于高阈值TH时,高于系统整体效率的检测引擎被分配的任务已经使它们达到处理极限,这时为了使低效率的检测引擎也分担压力,α将恢复为1。此时调度器按照低丢包率的原则进行任务调度。
为了调节低负载与丢包率的平衡,检测引擎被分配检测任务的概率按照如下公式执行。
Figure BDA0002509769250000154
步骤5,当一个检测引擎完成检测后,如果调度器没有再分配别的检测任务,它将暂时空闲;
步骤6,当一个检测引擎还被分配有其他检测任务时,它将马上去完成调度器指派的另一检测任务;
步骤7,当一个检测请求到来时,如果分布式入侵检测系统中没有空闲的检测引擎,调度器将记录这一检测请求并放入队列,一旦队列满额,这个新到的数据包将不得不被放弃检测。如果分布式入侵检测系统中有空闲的检测引擎时,将不会将数据包放入队列等待;
因为下一个到来的数据包负载等级是不确定的,而且队列的长度是有限的,所以对于检测引擎数量固定的分布式入侵检测系统来说,需要本发明提出的任务调度方法做出最优决策使整体负载降低,同时丢包率保持在较低的范围。

Claims (1)

1.基于强化学习的DIDS中低负载与丢包率的平衡方法,其特征在于:具体包括如下步骤:
步骤1,工作开始前,对分布式入侵检测系统中的各检测引擎进行性能评估,收集该检测系统对测试流量的检测时间dt和内存占用mu信息,并将d作为检测引擎的性能指标,对所有检测引擎测试后,根据性能高低将检测引擎分成不同等级d,d=1,…,D,d值相差在10%以内的,归为同一等级;
步骤2,开始工作后,当一个数据包到来需要检测时,调度器首先获取数据包长度,对数据包产生的负载进行评估,得出该数据包所产生的负载等级k,k=1,…,K,k值相差在10%以内的,归为同一等级;
步骤3,利用马尔科夫决策过程进行建模,确定建模需要的状态空间、动作集合、转移速率、转移概率、价值函数、最优策略和策略迭代方式,调度器通过模型进行决策,决定分配哪个性能等级的检测引擎去检测这一数据包;
步骤4,在决策过程中,调度器将根据丢包率的变化,调节低负载与丢包率的平衡;
所述步骤4的具体过程如下:
步骤4.1,基于步骤3,计算立即检测率;
所述步骤4.1的具体过程为:
对于任意的平稳策略f∈F,立即检测率pf(ISR)为
Figure FDA0003952878370000021
其中,b是队列允许的长度,
Figure FDA0003952878370000022
是与策略f相对应的平稳概率分布;s=(N(D,K),B(K),r)为状态,X1、X3为集合X中的状态;bk为等待检测的k等级数据包排队的队列长度;
步骤4.2,基于步骤4.1所得结果计算理论丢包率;
所述步骤4.2的具体过程为:
对于任意的平稳策略f∈F,理论丢包率pf(LR)为
Figure FDA0003952878370000023
其中,X2为集合X中的状态;
步骤4.3,根据步骤4.2所得结果计算平均数据包到达数;
所述步骤4.3的具体过程为:
令f∈F为一平稳策略,则系统中的平均数据包到达数为
Figure FDA0003952878370000024
其中NT是检测引擎的总数,b为队列长度,NT和b的关系是
Figure FDA0003952878370000025
步骤4.4,根据步骤4.3所得结果计算数据包平均等待数;
所述步骤4.4的具体过程为:
令公式(15)中的
Figure FDA0003952878370000026
则系统里的数据包平均等待数为
Figure FDA0003952878370000031
其中
Figure FDA0003952878370000032
Xq代表状态X1~X4;s是初始状态,X4表示状态;
步骤4.5,基于步骤4.4所得结果计算数据包等待概率;
所述步骤4.5的具体过程为:
在步骤4.1“f∈F为一平稳策略,
Figure FDA0003952878370000033
是与策略f相对应的平稳概率分布”这一条件下,n个数据包等待的概率是
Figure FDA0003952878370000034
步骤4.6,基于步骤4.5所得结果计算检测引擎被分配的任务数量、分配任务的概率及工作效率;
所述步骤4.6的具体过程为:
d等级检测引擎被分配的任务数量的计算过程为:
Figure FDA0003952878370000035
其中,n=1,2,...nd,d=1,2,...,D;
n个d等级检测引擎被调度器分配检测任务的概率是:
Figure FDA0003952878370000036
公式(19)中,
Figure FDA0003952878370000037
对所有的n,d的取值范围为d=1,2,...,D,α是调节丢包率的参数;
d等级检测引擎的工作效率为
Figure FDA0003952878370000038
其中,nd为d等级的检测引擎总数,d=1,…,D;ndk为正在检测k等级数据包的d等级的检测引擎数,d=1,…,D,k=1,…,K;
步骤4.7,根据步骤4.6所得结果计算分布式入侵检测系统整体的工作效率;
所述步骤4.7的具体过程为:
根据C(d)得出分布式入侵检测系统整体的工作效率为
Figure FDA0003952878370000041
其中,NT表示所有检测引擎的总数,
Figure FDA0003952878370000042
步骤4.8,根据步骤4.7所得结果进行低负载与丢包率这两个矛盾指标的平衡;
所述步骤4.8的具体过程为:
包括如下三种情况:
(1)当丢包率低于低阈值TL时,检测引擎被分配任务的概率
Figure FDA0003952878370000043
中的α被设定为1,此时调度器按照低负载优先的原则进行任务调度;
(2)当丢包率高于低阈值TL时且低于高阈值TH时,将
Figure FDA0003952878370000044
中的α设定为
Figure FDA0003952878370000045
此时调度器按照低负载和低丢包率兼顾的原则进行任务调度;
(3)当丢包率高于高阈值TH时,α将恢复为1,此时调度器按照低丢包率的原则进行任务调度;
基于上述三种情况,为了调节低负载与丢包率的平衡,检测引擎被分配检测任务的概率按照如下公式执行:
Figure FDA0003952878370000051
其中,nf为分布式入侵检测系统整体的工作效率;
步骤5,当一个检测引擎完成检测后,如果调度器没有再分配别的检测任务,该检测引擎将暂时空闲;
步骤6,当一个检测引擎还被分配有其他检测任务时,该检测引擎将马上去完成调度器指派的另一检测任务;
步骤7,当一个检测请求到来时,如果分布式入侵检测系统中没有空闲的检测引擎,调度器将记录这一检测请求并放入队列,一旦队列满额,这个新到的数据包将不得不被放弃检测,如果分布式入侵检测系统中有空闲的检测引擎时,将不会将数据包放入队列等待。
CN202010457134.1A 2020-05-26 2020-05-26 基于强化学习的dids中低负载与丢包率的平衡方法 Active CN111694662B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010457134.1A CN111694662B (zh) 2020-05-26 2020-05-26 基于强化学习的dids中低负载与丢包率的平衡方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010457134.1A CN111694662B (zh) 2020-05-26 2020-05-26 基于强化学习的dids中低负载与丢包率的平衡方法

Publications (2)

Publication Number Publication Date
CN111694662A CN111694662A (zh) 2020-09-22
CN111694662B true CN111694662B (zh) 2023-04-25

Family

ID=72478357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010457134.1A Active CN111694662B (zh) 2020-05-26 2020-05-26 基于强化学习的dids中低负载与丢包率的平衡方法

Country Status (1)

Country Link
CN (1) CN111694662B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112153073B (zh) * 2020-09-30 2022-10-28 西安工程大学 基于M/M/n/m混合制模型的DIDS理论建模方法
CN112165492B (zh) * 2020-09-30 2022-11-01 西安工程大学 基于排队论的分布式入侵检测系统成本优化方法
CN112153077B (zh) * 2020-10-20 2022-11-08 西安工程大学 具有非强占优先检测权的ids理论建模方法
CN112291217B (zh) * 2020-10-20 2022-11-01 西安工程大学 检测引擎处理能力不同的dids理论建模方法
CN112187553B (zh) * 2020-10-20 2022-10-11 陕西壬甲丙网络科技有限责任公司 一种根据队长自动调节检测方式的ids理论建模方法
CN112187552B (zh) * 2020-10-20 2022-10-28 陕西木印多西网络科技有限责任公司 一种具有强占优先检测权的ids理论建模方法
CN113641496B (zh) * 2021-08-13 2023-12-12 陕西边云协同网络科技有限责任公司 基于深度强化学习的dids任务调度优化方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1592147A1 (en) * 2004-04-30 2005-11-02 Lucent Technologies Inc. Methods of power overload control in communication systems
CN101729573A (zh) * 2009-12-18 2010-06-09 四川长虹电器股份有限公司 网络入侵检测的动态负载均衡方法
CN107979540A (zh) * 2017-10-13 2018-05-01 北京邮电大学 一种sdn网络多控制器的负载均衡方法及系统
CN109548164A (zh) * 2019-01-11 2019-03-29 长沙学院 一种基于负载需求的自适应调度切换方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5557590B2 (ja) * 2010-05-06 2014-07-23 株式会社日立製作所 負荷分散装置及びシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1592147A1 (en) * 2004-04-30 2005-11-02 Lucent Technologies Inc. Methods of power overload control in communication systems
CN101729573A (zh) * 2009-12-18 2010-06-09 四川长虹电器股份有限公司 网络入侵检测的动态负载均衡方法
CN107979540A (zh) * 2017-10-13 2018-05-01 北京邮电大学 一种sdn网络多控制器的负载均衡方法及系统
CN109548164A (zh) * 2019-01-11 2019-03-29 长沙学院 一种基于负载需求的自适应调度切换方法和系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
LBASMPL: Load balancing adaptive scheduling with minimum packet loss in Wireless Mesh Network;Tanu Goyal等;《2014 IEEE International Conference on Advanced Communications, Control and Computing Technologies》;20150126;全文 *
分布式入侵检测中负载平衡的应用分析与设计;玄加林等;《计算机技术与发展》;20060110(第01期);全文 *
多检测引擎监测的动态负载均衡算法;杨忠明等;《计算机应用》;20170310(第03期);全文 *
并行入侵检测系统的动态自适应负载均衡算法;唐拥政等;《盐城工学院学报(自然科学版)》;20111220(第04期);全文 *

Also Published As

Publication number Publication date
CN111694662A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN111694662B (zh) 基于强化学习的dids中低负载与丢包率的平衡方法
CN110413389B (zh) 一种资源不均衡Spark环境下的任务调度优化方法
CN112839048B (zh) 边缘计算环境下基于强化学习的dids任务调度算法
US7752628B2 (en) Method and apparatus for reassigning objects to processing units
CN113515351B (zh) 一种基于能耗与QoS协同优化的资源调度实现方法
CN106845642B (zh) 一种带约束云工作流调度的自适应多目标进化方法
CN112380008A (zh) 一种面向移动边缘计算应用的多用户细粒度任务卸载调度方法
CN109617710B (zh) 数据中心间有截止时间约束的大数据传输带宽调度方法
CN111338807B (zh) 一种面向边缘人工智能应用的QoE感知的服务增强方法
CN106775949B (zh) 感知复合应用特征与网络带宽的虚拟机在线迁移优化方法
CN113887748B (zh) 在线联邦学习任务分配方法、装置、联邦学习方法及系统
CN113015216B (zh) 一种面向边缘服务网络的突发任务卸载与调度方法
CN115237568A (zh) 一种面向边缘异构设备的混合权重任务调度方法及系统
Jia et al. A highly efficient data locality aware task scheduler for cloud-based systems
CN116954905A (zh) 一种面向Flink大数据的任务编排与迁移方法
CN111966480A (zh) 一种任务执行方法及相关装置
CN113641496B (zh) 基于深度强化学习的dids任务调度优化方法
CN109271295B (zh) 一种云集群环境下的异常作业预测方法
CN108833295A (zh) 面向sdn的基于禁忌搜索的虚拟网络重配置方法
Kumar et al. A priority based dynamic load balancing approach in a grid based distributed computing network
Sattar et al. Multi-Level Queue with Priority and Time Sharing for Real Time Scheduling
CN111444183B (zh) 一种键值存储系统中的分布式自适应用户请求调度方法
CN118484287B (zh) 一种面向多级时空分析任务的边云动态调度方法
Channappa et al. Multi-objective optimization method for task scheduling and resource allocation in cloud environment
Rong et al. Task Scheduling Algorithm of Cyber-Physical System Base on Complex Industry and Big Data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230411

Address after: 710048 Room 1514, 15th Floor, Building 3, West Yungu Phase 2, Fengxi New City, Xixian New District, Xi'an City, Shaanxi Province

Applicant after: Shaanxi Senyin Duoxi Network Technology Co.,Ltd.

Address before: 710048 Shaanxi province Xi'an Beilin District Jinhua Road No. 19

Applicant before: XI'AN POLYTECHNIC University

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant