CN113656073A - 一种大模式集下基于并行调度模式重组方法、计算机及存储介质 - Google Patents

Abstract

本发明提出一种大模式集下基于并行调度模式重组方法、计算机及存储介质，属于人工智能技术领域具体包括，首先，对模式集划分为模式子集，选取最优划分模式子集作为结果；其次，利用优化的遗传退火算法将模式子集调度到多核中；再其次，对模式子集进行评估，判断是否需要对运行时间长的子集进行二次重组，最后，根据评估结果，对不满足评估条件的模式子集进行模式重组。本发明能够适应长度分布不同的多种模式集特征，细粒度地对模式集划分、调度、评估与重组。解决现有技术中存在的检测预定义模式集运行时间长的技术问题。实现了检测预定义模式集运行时间短的效果。

Description

一种大模式集下基于并行调度模式重组方法、计算机及存储 介质

技术领域

本申请涉及一种模式重组方法，尤其涉及一种大模式集下基于并行调度模式重组方法、计算机及存储介质，属于人工智能技术领域。

背景技术

深度报文检测通过检查报文的有效负载以检测预定义模式集。真实环境下的大模式集长度分布具有范围广、动态变化特征，现有模式匹配算法对长度敏感，缺少适应不同长度分布的通用并行匹配算法，如模式集中存在长度长且数量大的情况时，目前的并行匹配算法处理这种情况出现多核负载不均，影响整体性能。此外，当模式集规模超过10⁶时，模式匹配算法会消耗大量时空资源。因此，适应长度变化的并行模式匹配算法是一项挑战。

关于模式重组应用于大规模的模式集，目前，提出了一种适用于大规模模式集的最短路径模型。在这种方法中，长度相同的模式将作为一个节点分配在一个子集中，任意两个节点之间边的权重是AC、WM和SBOM的最小运行时间。最优划分是寻找最短路径，并根据结果合并路径节点间长度范围的子集。还提出了动态规划法寻找适用于多核架构的模式集划分，他们把多核的核数作为子集划分的一个因素，并证明了子集的最优划分是NP难的。

动态规划策略中隐藏着两个缺点，一方面，当l＞s时(l为子集数量，s为核的数量)，采用贪心算法将子集调度到多核中，但这容易陷入局部最优。为了解决这一问题，有研究者提出了一种基于集合划分的遗传算法(GA)，但该算法仍然存在容易早熟的问题。另一方面，如果某些子集花费太多的运行时间，就会出现

现象，这意味着整个运行时总是依赖于一个或几个子集。在这种情况下，不管是最短路径法，还是动态规划法，在多核架构下，运行时间的结果都是一样的，即耗时最长那个子集所在核的运行时间。

发明内容

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

鉴于此，为解决现有技术中存在的检测预定义模式集运行时间长的技术问题，本发明提供了一种大模式集下基于并行调度模式重组方法，包括以下步骤：

S110对模式集划分为模式子集，选取最优划分模式子集作为结果；

S120利用优化的遗传退火算法将最优模式子集调度到多核中；

S130对模式子集进行评估；

S140对不满足评估条件的模式子集进行模式重组，执行步骤S120。

优选的，步骤S110所述对模式集进行划分的具体方法是：通过动态规划方法与模式等长划分方法对模式集进行划分。

优选的，步骤S120所述将模式子集调度到多核中的具体方法是：

步骤一、初始化种群Pop₀，交叉概率p_c0和变异概率p_m0；

步骤二、对于种群Pop_t中的每个子集p_i，计算种群中每个子集的适应度f和所有子集适应度f'_avr的平均值；

步骤三、计算交叉概率P_cross、突变概率P_mutation和最好子集的适应度f'_best与所有子集适应度f'_avr平均值的差值ε；

步骤四、以交叉概率进行交叉操作；

步骤五、以突变概率进行变异操作；

步骤六、生成下一代种群Pop_t+1；

步骤七、判断新种群Pop_t+1与上一代种群Pop_t是否相同，当新种群Pop_t+1与上一代种群Pop_t相同时，执行步骤八，当新种群Pop_t+1与上一代种群Pop_t不相同时，则世代数增加1，若世代数达到最大值G_max，则遗传算法达到收敛条件，算法结束，否则执行步骤二进行下一代循环操作；

步骤八、执行退火算法，初始解为w，计算目标函数f(w)，初始温度T_max，迭代次数K_max；

步骤九、产生扰动新解w₁，再次计算目标函数f(w₁)，当f(w₁)-f(w)结果小于0时，接受新解w₁，否则，按Metropolis准则接受新解，此时迭代次数增加1，当迭代次数达到最大值K_max，则进行温度条件判断，达到最低温度则满足条件，算法结束，否则降低温度，执行步骤八循环操作。

优选的，步骤二所述对于种群Pop_t中的每个子集p_i，计算种群中每个子集的适应度f和所有子集适应度f'_avr的平均值；具体方法是：

其中，c为目标函数的估计值，g(x)为目标函数，f'_i为第G代第i个子集的适应度函数，T为第G代种群大小。

优选的，步骤三所述计算交叉概率P_cross、突变概率P_mutation和最好子集的适应度f'_best与所有子集适应度f'_avr平均值的差值ε；具体方法是：

ε＝f'_best-f'_avr

其中，a＝0.4,b＝0.04,k₁＞0,k₂＞0，k₁和k₂是常数。

优选的，步骤S130所述对模式子集进行评估的具体方法是：

其中，k为参与调度的CPU核数；θ为容忍的误差；T_i为核i的运行时间。

优选的，步骤S140所述模式重组的具体方法是：

其中；N_new为新重组出的子集的模式数量；N_s为原子集中字符串数量；T_max为所有核中的最大运行时间；

为所有核的平均运行时间。

一种计算机，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现一种大模式集下基于并行调度模式重组方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现一种大模式集下基于并行调度模式重组方法。

本发明的有益效果如下：本发明能够适应长度分布不同的多种模式集特征，细粒度地对模式集划分、调度、评估与重组。解决现有技术中存在的检测预定义模式集运行时间长的技术问题。首先，将模式集划分为模式子集，采用优化的遗传退火算法对重组结果进行并行多核调度，遗传退火算法可以跳出贪心算法或退火算法可能陷入的局部最优问题，又可以避免遗传算法可能的早熟问题。其次，判断是否需要对运行时间长的子集进行二次重组。最后，根据评估结果进行模式再重组。实现了检测预定义模式集运行时间短的效果。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例所述的方法流程示意图；

图2为本发明实施例步骤一所述对模式集进行划分结构示意图；

图3为本发明实施例步骤二所述将模式子集调度到多核中结构示意图；

图4为本发明实施例步骤四所述模式子集重组结构示意图。

具体实施方式

为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例1、参照图1-图4说明本实施方式，本实施例的一种大模式集下基于并行调度模式重组方法，细粒度地对模式集进行划分、调度、评估与重组，具体包括以下步骤：

S110对模式集划分模式子集，选取最优划分模式子集作为结果；即对模式集进行划分成各个模式子集。

具体的，通过动态规划方法与模式等长划分方法对模式集划分模式子集。

S120利用优化的遗传退火算法将模式子集调度到多核中；即将划分后的最优模式子集分别调度到对应到CPU核数中，对模式子集进行重组。

具体的，采用不易陷入局部最优的遗传退火算法将模式子集并行调度到多核中；

具体的方法是：

步骤一、初始化种群Pop₀，交叉概率p_c0，变异概率p_m0和第一代种群；

步骤二、对于种群Pop_t中的每个子集p_i，计算种群中每个子集的适应度f和所有子集适应度f'_avr的平均值；具体方法是：

其中，c为目标函数的估计值，g(x)为目标函数，f'_i为第G代第i个子集的适应度函数，T为第G代种群大小。

步骤三、计算交叉概率P_cross、突变概率P_mutation和最好子集的适应度f'_best与所有子集适应度f'_avr平均值的差值ε；具体方法是：

ε＝f'_best-f'_avr

其中，a＝0.4,b＝0.04,k₁＞0,k₂＞0，k₁和k₂是常数。

步骤四、将交叉概率与突变概率进行交叉操作；

步骤五、将交叉概率与突变概率进行变异操作；

步骤六、生成下一代种群Pop_t+1；

步骤七、判断新种群Pop_t+1与上一代种群Pop_t是否相同，当新种群Pop_t+1与上一代种群Pop_t相同时，执行步骤八，当新种群Pop_t+1与上一代种群Pop_t不相同时，则世代数增加1，若世代数达到最大值G_max，则遗传算法达到收敛条件，算法结束，否则执行步骤二进行下一代循环操作；

步骤八、执行退火算法，初始解为w，计算目标函数f(w)，初始温度T_max，迭代次数K_max；

具体的，目标函数f(w)为根据实际情况自定义的函数。

步骤九、产生扰动新解w₁，再次计算目标函数f(w₁)，当f(w₁)-f(w)结果小于0时，接受新解w₁，否则，按Metropolis准则接受新解，此时迭代次数增加1，当迭代次数达到最大值K_max，则进行温度条件判断，达到最低温度则满足条件，算法结束，否则降低温度，执行步骤八循环操作。

S130对模式子集进行评估；在第一次模式重组的结果上，对多核间的负载均衡度进行评估，以衡量模式子集是否需要再重组。

具体的，通过标准方法作为衡量标准对模式子集进行评估；若结果满足衡量标准，算法结束，输出模式子集在多核的调度结果，否则，执行下一步骤。

对模式子集进行评估的具体方法是：

其中，k为参与调度的CPU核数；θ为容忍的误差；T_i为核i的运行时间。

当s＞θ时，表明偏差较大，此时说明各个核间的负载差异大，需要进行二次重组，否则，满足收敛条件，算法终止。

S140对不满足评估条件的模式子集进行模式重组，执行步骤S120。

首先，计算每个核的运行时间，根据各个核的运行时间，结合每个核内分配的子集特征，可以看出，需要再重组的情况是运行时间长的核中存在这样的子集，其模式长度较长且数量较大。其次，将运行时间最大的核中的模式子集划分出一个新的模式子集，将新的模式子集调度到运行时间最小的核中。模式集再重组的具体方法是：

其中；N_new为新重组出的子集的模式数量；N_s为原子集中字符串数量；T_max为所有核中的最大运行时间；

为所有核的平均运行时间。

本发明的工作原理：首先，按长度划分子集，采用动态规划算法或原始等长划分法对子集重组，采用优化的遗传退火算法对重组结果进行并行多核调度，遗传退火算法可以跳出贪心算法或退火算法可能陷入的局部最优问题，又可以避免遗传算法可能的早熟问题。其次，对调度后多核间的负载均衡情况进行评估，判断是否需要对运行时间长的子集进行二次重组。最后，根据评估结果进行模式再重组，当标准方差σ大于容许误差θ时，则进一步分割子集以满足每个核上的均匀分布，再重新评估，否则，满足于评估条件，终止。

本发明的计算机装置可以是包括有处理器以及存储器等装置，例如包含中央处理器的单片机等。并且，处理器用于执行存储器中存储的计算机程序时实现上述的基于CREO软件的可修改由关系驱动的推荐数据的推荐方法的步骤。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

计算机可读存储介质实施例

本发明的计算机可读存储介质可以是被计算机装置的处理器所读取的任何形式的存储介质，包括但不限于非易失性存储器、易失性存储器、铁电存储器等，计算机可读存储介质上存储有计算机程序，当计算机装置的处理器读取并执行存储器中所存储的计算机程序时，可以实现上述的基于CREO软件的可修改由关系驱动的建模数据的建模方法的步骤。

所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (9)

1.一种大模式集下基于并行调度模式重组方法，其特征在于，包括以下步骤：

S110对模式集划分为模式子集，选取最优划分模式子集作为结果；

S120利用优化的遗传退火算法将最优模式子集调度到多核中；

S130对模式子集进行评估；

S140对不满足评估条件的模式子集进行模式重组，执行步骤S120。

2.根据权利要求1所述的方法，其特征在于，步骤S110所述对模式集进行划分的具体方法是：通过动态规划方法与模式等长划分方法对模式集进行划分。

3.根据权利要求2所述的方法，其特征在于，步骤S120所述将模式子集调度到多核中的具体方法是：

步骤一、初始化种群Pop₀，交叉概率p_c0和变异概率p_m0；

步骤二、对于种群Pop_t中的每个子集p_i，计算种群中每个子集的适应度f和所有子集适应度f′_avr的平均值；

步骤三、计算交叉概率P_cross、突变概率P_mutation和最好子集的适应度f′_best与所有子集适应度f′_avr平均值的差值ε；

步骤四、以交叉概率进行交叉操作；

步骤五、以突变概率进行变异操作；

步骤六、生成下一代种群Pop_t+1；

步骤七、判断新种群Pop_t+1与上一代种群Pop_t是否相同，当新种群Pop_t+1与上一代种群Pop_t相同时，执行步骤八，当新种群Pop_t+1与上一代种群Pop_t不相同时，则世代数增加1，若世代数达到最大值G_max，则遗传算法达到收敛条件，算法结束，否则执行步骤二进行下一代循环操作；

步骤八、执行退火算法，初始解为w，计算目标函数f(w)，初始温度T_max，迭代次数K_max；

步骤九、产生扰动新解w₁，再次计算目标函数f(w₁)，当f(w₁)-f(w)结果小于0时，接受新解w₁，否则，按Metropolis准则接受新解，此时迭代次数增加1，当迭代次数达到最大值K_max，则进行温度条件判断，达到最低温度则满足条件，算法结束，否则降低温度，执行步骤八循环操作。

4.根据权利要求3所述的方法，其特征在于，步骤二所述对于种群Pop_t中的每个子集p_i，计算种群中每个子集的适应度f和所有子集适应度f′_avr的平均值；具体方法是：

其中，c为目标函数的估计值，g(x)为目标函数，f_i′为第G代第i个子集的适应度函数，T为第G代种群大小。

5.根据权利要求4所述的方法，其特征在于，步骤三所述计算交叉概率P_cross、突变概率P_mutation和最好子集的适应度f′_best与所有子集适应度f′_avr平均值的差值ε；具体方法是：

ε＝f′_best-f′_avr

其中，a＝0.4,b＝0.04,k₁＞0,k₂＞0，k₁和k₂是常数。

6.根据权利要求5所述的方法，其特征在于，步骤S130所述对模式子集进行评估的具体方法是：

其中，k为参与调度的CPU核数；θ为容忍的误差；T_i为核i的运行时间。

7.根据权利要求6所述的方法，其特征在于，步骤S140所述模式重组的具体方法是：

其中；N_new为新重组出的子集的模式数量；N_s为原子集中字符串数量；T_max为所有核中的最大运行时间；

为所有核的平均运行时间。

8.一种计算机，其特征在于，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现权利要求1至7任一项所述的一种大模式集下基于并行调度模式重组方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的一种大模式集下基于并行调度模式重组方法。

Images