CN111726349B - 基于ga优化的gru并行网络流量异常检测方法 - Google Patents

基于ga优化的gru并行网络流量异常检测方法 Download PDF

Info

Publication number
CN111726349B
CN111726349B CN202010550578.XA CN202010550578A CN111726349B CN 111726349 B CN111726349 B CN 111726349B CN 202010550578 A CN202010550578 A CN 202010550578A CN 111726349 B CN111726349 B CN 111726349B
Authority
CN
China
Prior art keywords
population
fitness value
gru
value
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010550578.XA
Other languages
English (en)
Other versions
CN111726349A (zh
Inventor
陶晓玲
王素芳
彭洋
刘梓毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202010550578.XA priority Critical patent/CN111726349B/zh
Publication of CN111726349A publication Critical patent/CN111726349A/zh
Application granted granted Critical
Publication of CN111726349B publication Critical patent/CN111726349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Physiology (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Genetics & Genomics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于GA优化的GRU并行网络流量异常检测方法，首先获取样本数据和种群数阈值，并利用随机生成的方式初始化种群和种群计数器，其次基于Spark大数据平台，以弹性分布式数据集的形式对所述种群中每个个体的样本数据进行特征选择和约简，同时利用GRU检测器对约简后的数据进行训练和分类，并将检测精度作为所述个体的适应度值；接着根据适应度值进行选择运算、交叉运算和变异运算；最后根据得到的新的基因组个体，重新计算对应的适应度值，并当所述适应度值达到设定阈值或者所述种群计数器达到设定值，则输出设定适应度值，同时利用GRU检测器对测试数据集进行检测，得到异常检测结果，提升异常检测效率和检测精度。

Description

基于GA优化的GRU并行网络流量异常检测方法
技术领域
本发明涉及网络异常流量检测技术领域，尤其涉及一种基于GA优化的GRU并行网络流量异常检测方法。
背景技术
由于网络技术和应用的不断发展，现代网络流量数据越来越复杂，呈现出海量和高维多特征结构等特点。当利用现代网络流量数据进行异常检测时，高维的特征组成已经是一大难题，并且网络流量数据的特征还存在大量冗余的现象。为了学习海量网络流量数据的分层特征表示和时间依赖特性，特利用GRU神经网络作为检测器。但是，神经网络的应用过程中，对于神经网络参数调整和选取永远是一件复杂且耗时的工程。并且，人工手动调参无法保证所选参数即为当前环境下的最佳实验参数，降低网络流量异常检测效率和检测精度。
发明内容
本发明的目的在于提供一种基于GA优化的GRU并行网络流量异常检测方法，提升网络流量异常检测效率和检测精度。
为实现上述目的，本发明提供了一种基于GA优化的GRU并行网络流量异常检测方法，包括：
获取样本数据并进行初始化；
基于Spark大数据平台，采用GRU检测器对所述样本数据进行分类；
根据适应度值进行选择运算、交叉运算和变异运算；
判断优化后的适应度值达到设定阈值后，并对测试数据集进行检测，输出异常检测结果。
其中，所述获取样本数据并进行初始化，包括：
获取样本数据和种群数阈值，对所述样本数据进行清理和归一化处理后，利用随机生成的方式初始化种群和种群计数器，其中，所述种群中包括多个个体。
其中，所述基于Spark大数据平台，采用GRU检测器对所述样本数据进行分类，包括：
基于Spark大数据平台创建并执行并行任务，并以弹性分布式数据集的形式对所述种群中每个个体的样本数据进行特征选择和约简，同时利用GRU检测器对约简后的数据进行训练和分类，并将检测精度作为所述个体的适应度值。
其中，所述根据适应度值进行选择运算、交叉运算和变异运算，包括：
根据所述适应度值的大小，采用轮盘赌选择法进行优质基因的遗传，并按照获取的交叉概率将两条不同染色体进行基因交换后，基于获取的变异概率对各个种群的染色体进行变异，得到新的基因组个体。
其中，所述判断优化后的适应度值达到设定阈值后，并对测试数据集进行检测，输出异常检测结果，包括：
根据得到的新的基因组个体，重新计算对应的适应度值，并判断计算出的所述适应度值是否达到设定阈值或者所述种群计数器是否达到设定值。
其中，所述判断计算出的所述适应度值是否达到设定阈值或者所述种群计数器是否达到设定值，包括：
若所述适应度值没有达到设定阈值或者所述种群计数器没有达到设定值，则重新进行选择运算、交叉运算和变异运算，直至所述适应度值达到设定阈值或者所述种群计数器达到设定值；
若所述适应度值达到设定阈值或者所述种群计数器达到设定值，则输出设定适应度值，同时利用GRU检测器对测试数据集进行检测，得到异常检测结果。
本发明的一种基于GA优化的GRU并行网络流量异常检测方法，首先获取样本数据和种群数阈值，并利用随机生成的方式初始化种群和种群计数器，其次基于Spark大数据平台，以弹性分布式数据集的形式对所述种群中每个个体的样本数据进行特征选择和约简，同时利用GRU检测器对约简后的数据进行训练和分类，并将检测精度作为所述个体的适应度值；接着根据适应度值进行选择运算、交叉运算和变异运算；最后根据得到的新的基因组个体，重新计算对应的适应度值，并当所述适应度值达到设定阈值或者所述种群计数器达到设定值，则输出设定适应度值，同时利用GRU检测器对测试数据集进行检测，得到异常检测结果，提升异常检测效率和检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种基于GA优化的GRU并行网络流量异常检测方法的步骤示意图。
图2是本发明提供的基于GA优化的GRU并行网络流量异常检测方法的流程示意图。
图3是本发明提供的GA算法适应度值随种群进化代数变化趋势图。
图4是本发明提供的不同数据集规模下GA+GRU方法的检测精度图。
图5是本发明提供的与RNN系列算法的实验对比图。
图6是本发明提供的不同方法性能对比图。
图7是本发明提供的不同数据集规模下运行时间对比图。
图8是本发明提供的不同节点数时加速比曲线图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
请参阅图1和图2，本发明提供一种基于GA优化的GRU并行网络流量异常检测方法，包括：
S101、获取样本数据并进行初始化。
具体的，获取样本数据和种群数阈值，对所述样本数据进行清理和归一化处理后，其中，数据清理包括清理错误数据、重复数据和冗余数据，然后将清理后的数据转换为统一的标准化数据格式，便于后续的提取和使用；并利用随机生成的方式初始化种群和种群计数器，其中，所述种群中包括多个个体，对所述种群计数器初始化后，所述种群计数器为零。
S102、基于Spark大数据平台，采用GRU检测器对所述样本数据进行分类。
具体的，基于Spark大数据平台创建并执行并行任务，并以弹性分布式数据集(RDD)的形式对所述种群中每个个体的样本数据进行特征选择和约简，对无效特征进行降维，得到能代表当前环境下网络流量特性的最简特征组合，以降低GRU检测器的负担；同时利用GRU检测器对约简后的数据进行训练和分类，并将检测精度作为所述个体的适应度值，便于保证检测精度。利用Spark大数据处理技术，增加了对数据集规模和容量的限制，并且以并行化的方式运行检测器的训练和检测过程，提升网络流量异常检测的效率。
S103、根据适应度值进行选择运算、交叉运算和变异运算。
具体的，如图2所示，首先根据所述适应度值的大小，采用轮盘赌选择法进行优质基因的遗传，也可以先通过配对和交叉过程产生新的后代，然后再将新的基于遗传到下一代，进行选择运算的目的是将种群中的优秀个体基因遗传到下一代种群中去，以此类推，直到下一代种群中的个体数量达到上限值。在选择的过程中，先根据适应度值的大小将种群中所有个体按从小到大的顺序排列，然后采用适当的选择方法(随机遍历抽样法、轮盘赌选择法和锦标赛选择法)选择出遗传到下一代的个体。其中，各个体被选中的概率与其适应度值的大小成正比。
然后按照获取的交叉概率将两条待交叉的不同染色体(父母)按某种方式交换其部分基因，以形成新的基因组个体，交叉运算是遗传算法进化的核心操作。最后基于获取的变异概率对按某种既定规则各个种群的部分染色体进行变异，得到新的基因组个体。
遗传算法是一种利用对自然选择和生物进化过程进行模拟以实现搜索最优解的计算模型。遗传算法是一种基于“适者生存”的优化算法，它具备高度并行、随机和自适应等特点，可以通过复制、交叉和变异等操作不断进化代表问题解编码的“染色体”群，使其收敛到适应度最高的群体，从而求得问题的最优解或满意解。遗传算法具备原理和操作简单、无约束条件、通用性强等优点，并且具备隐含并行性和全局解搜索能力，在组合优化问题中得到广泛应用。与传统搜索优化算法相比，它们之间的最大区别是遗传算法以覆盖面较大的问题解串集作为搜索起点，这样做的好处是利于全局寻优；而传统搜索优化算法只是以迭代的方式从单个初始值开始求最优解，很容易陷入局部最优解；具备同时处理群体中的多个个体的特性，即对搜索空间中的多个解进行同步评估，这种特性决定了它很容易实现并行化的改进；遗传算法搜索方向决定于概率的变迁规则，因此无需限定于确定性规则，灵活性极高，在进化和遗传的过程中可以进行自组织、自适应和自学习性的搜索，智能化程度也较高，如表1给出的基于GA优化的GRU并行网络流量异常检测方法的伪代码，
表1PG-GRU伪代码
Figure GDA0003652820970000051
从算法1可知，I代表输入样本数据，D代表测试数据，T代表初始化的种群数目，cr代表交叉概率，mr代表变异概率，results代表最终的异常检测结果。首先，伪代码第1行对遗传算法的初始种群进行初始化；然后，伪代码第2～9行则完成Spark平台下的GA算法优化GRU检测器的并行检测任务。其中，伪代码第3行是利用Fitness(GRU,Ii)函数计算初始种群的适应度值，在本算法中使用GRU检测器的检测精度作为适应度值。伪代码第4行根据第3行的计算结果对种群中的个体进行选择操作，所采用的方法是轮盘赌选择方法，负责将被选中的优质基因遗传到下一代，或者先通过配对和交叉过程产生新的后代，然后再将新的基于遗传到下一代。伪代码第5行执行交叉操作，以交叉概率cr将种群中的两个个体进行部分染色体的交换，形成具备全新基因组的新个体。伪代码第6行对种群中的个体执行变异操作，以变异概率mr进行染色体的变异，形成具备全新基因组的新个体。伪代码第7行重新计算新种群的适应度值。伪代码第8行，利用OpFitness保存当前种群的最佳适应度值及个体信息，如果在后面的迭代中有更优秀的个体出现，则进行替代处理；然后通过判断适应度值是否达到阈值，或者种群计数器是否达到最大值T来判断是否继续进行迭代操作。伪代码第10行根据当前最佳的适应度值OpFitness，获得和最佳适应度值匹配的优质GRU检测器G。伪代码最后一行利用最优的GRU检测器G对测试数据集进行检测，获得最终的异常检测结果。
S104、判断优化后的适应度值达到设定阈值后，并对测试数据集进行检测，输出异常检测结果。
具体的，通过选择、交叉、变异等运算将种群的基因进行一代一代地传递，如此重复，并根据得到的新的基因组个体，重新计算对应的适应度值，并判断计算出的所述适应度值是否达到设定阈值即最优或者所述种群计数器是否达到设定值即设定的最大进化代数；若所述适应度值没有达到设定阈值或者所述种群计数器没有达到设定值，则重新进行选择运算、交叉运算和变异运算，直至所述适应度值达到设定阈值或者所述种群计数器达到设定值；若所述适应度值达到设定阈值或者所述种群计数器达到设定值，则输出设定适应度值即最优适应度值，同时利用GRU检测器对测试数据集进行检测，得到异常检测结果，遗传算法操作简单、无约束条件，仅用适应度函数值对个体进行评估，对其它辅助信息的需求极少。并且，适应度函数脱离了连续可微问题的限制，可以任意设定其定义域，因此应用场景非常广泛。
采用本方法进行实验，实验建立在Spark云平台之上，Spark集群由四台主机组成，其中一台作为master节点，其余三台作为slave节点。集群及所使用的软件配置如下表2所示。
表2Spark云环境配置情况
Figure GDA0003652820970000061
Figure GDA0003652820970000071
本发明所使用的数据集是目前学术界所采用的最新的网络入侵检测数据集——UNSW-NB15数据集。UNSW-NB15数据集根据现实世界中的网络流量模式生成了现代正常活动和攻击行为。该数据集涵盖了9类现代攻击类型，每条记录由49个特征和1个标签组成，共分成了4个csv文件，共2540044条记录，其中异常流量数据总共有30万条。为了进行算法效率的验证实验，将数据集换分为了不同规模的子数据集，各数据集规模如表3所示。另外，为了保证实验的可行性，将每个子数据集中异常流量比例设置为12％。
表3不同数据规模大小一览表
数据集名称 Data1 Data2 Data3 Data4 Data5
数据集大小 50w 100w 150w 200w 250w
本发明中GRU神经网络基于Keras 2.2.4实现，由一层GRU层、一层Dropout层和一层Dense层组成。遗传算法的种群数量设置为8，配对池大小设置为4，变异概率为0.375。
1、GA算法种群进化代数实验分析
为了确定GA算法种群进化代数对GRU检测器检测精度的影响，本发明设置不同的种群进化代数分别进行了实验。然后，通过对比不同种群进化代数下的适应度值(检测精度)的大小，来帮助我们选择合适的种群进化代数。实验结果如图3所提供的GA算法适应度值随种群进化代数变化趋势图所示，当种群代数设置为10时，GA算法的适应度值，即PG-GRU方法的检测精度为0.9424。随着种群代数的增加，检测精度先缓慢变化，然后快速增长；最后，从种群进化代数为50开始趋于稳定，最终的最佳检测精度为0.989。当种群代数大于50时，已经不能再对PG-GRU方法的检测精度起到改进作用，反而会增加无效的迭代次数，增大算法复杂度。因此，通过实验结果分析，本实验中GA算法的种群进化代数最终设置为50。
设置好GA算法的种群进化代数之后，先利用表3的数据划分方式做精度检测试验。试验结果如图4所提供的不同数据集规模下GA+GRU方法的检测精度图所示。非并行状态下基于GA+GRU的网络流量异常检测方法的检测精度随数据集规模增大而同步增大，这也正好符合深度神经网络的训练特性。众所周知，深度神经网络在模型训练阶段需要大量的测试数据进行训练，以学习输入数据的特征模式，构建分类(检测)模型。使用越多的数据进行训练，则模型学习到的数据特征模式也就更趋向于真实的数据模式，因此分类(检测)精度也就越高。
2、有效性评价
为了验证PG-GRU方法的性能，本发明采用准确率、召回率和F1值三个指标进行分析。
为了验证实验的有效性，决定采用RNN算法作为对比实验算法。另外，为保证对比实验的说服性，再将所提方法与Apache Spark方法进行对比，并且，所有算法的实验都是基于UNSW-NB15数据集进行。对比实验结果如图5、6所示。
从图5提供的与RNN系列算法的实验对比图中的数据可以看出，无论是从准确率、召回率，还是F1值，PG-GRU方法都远远优于常规的RNN系列算法，能够检测出绝大部分的异常流量。并且，实验的损失loss值仅仅为0.04，表明GRU检测器在Bagging算法的改进下确实使得集成分类器的检测性能达到了很高的水平，从图中可以看出所提方法的准确率达到了98.9％。实验结果表明PG-GRU方法在当前的网络环境下能够达到基本完美的检测精度。
如图6提供的不同方法性能对比图所示，其中LR代表逻辑回归算法，DT代表决策树算法，NB代表贝叶斯网络，EM代表最大期望算法，MVO-ANN(Multiverse Optimizer-ANN)为作者提出的新算法。由图6可知，PG-GRU方法获得了和MVO-ANN方法相当的检测性能，二者检测精度和FAR值不分伯仲。PG-GRU方法达到了98.9％的检测率，以及的错误率。实验结果表明，通过GA算法的优化，可以提升基于GRU的网络异常流量检测方法的检测精度，使其在低错误率的成本下检测出绝大多数的异常流量数据。
通过两次对比实验可以证明，PG-GRU方法在当前复杂网络环境下依然表现出高检测精度和低错误率，该方法是适合于当前复杂网络环境下的流量异常检测需求的。
3、效率评价
为了验证并行化后该方法在计算性能和效率上的提升程度，分别将所提方法与非并行化的单机方法进行对比试验，以验证PG-GRU方法的执行效率。实验结果如图7、8所示。
根据图7提供的不同数据集规模下运行时间对比图所示，在数据集规模不变的情况下，PG-GRU方法的运行时间均是远远小于单机环境下基于GA与GRU的网络流量异常检测方法。并且，随着数据集规模的不断增大，单机环境下基于GA与GRU的网络流量异常检测方法的运行时间也线性增长，增幅较大；而PG-GRU方法则只是缓慢增长。因此，可以说明PG-GRU方法适合于大规模流量数据的并行检测任务，能大大提升系统的异常检测性能。
为了进一步衡量Spark改进后所带来的算法并行性化性能和效果的提升，将继续使用加速比作为效率评估指标。
如图8提供的不同节点数时加速比曲线图所示，当数据集规模一定时，加速比随着计算机节点数目的增加而不断增加；并且，节点数越大，加速比增大的趋势也更加明显。由于Spark大数据平台的并行优势，当计算节点数越多时，可以将任务分配给更多的工作节点同时执行，主节点只需要负责调度和监控任务的执行即可。当所有节点的任务执行结束之后，主节点再综合所有节点的输出结果即可。因此，Spark平台的并行节点数越多，所带来的运行效率提升也就越强。
综合以上实验结果，可以证明PG-GRU方法不仅提高了检测模型的智能化程度，能够将人力从特征、网络参数以及最优检测器等的选择中解放出来；并且在设置合适的种群代数的情况下可以提供很高的检测精度和极低的错误率。同时，在Spark大数据技术的帮助之下，PG-GRU方法的执行效率得到了极大地提升，具备良好的可扩展性。
本发明利用GRU深度网络对大规模的网络流量数据进行分层表征学习，并学习网络流量数据之间的时间依赖关系，以提升异常检测性能；此外，该方法还与遗传算法相结合，对输入数据进行特征选择和约简，降低了异常检测模型的压力。然后，利用遗传算法对异常检测器进行优化，以实现高检测精度和低误识率(FAR)。为了验证本方法的有效性，与相同数据集下的RNN系列算法(普通RNN、LSTM和GRU)进行了对比实验。实验结果表明，PG-GRU方法无论是在精度、误识率，还是执行效率等指标上都远远优于普通RNN系列算法和一般的机器学习算法。最后，使用加速比和算法时间复杂度再次对算法效率进行验证，展示了PG-GRU方法所带来的算法并行性性能的提升。
本发明的一种基于GA优化的GRU并行网络流量异常检测方法，首先获取样本数据和种群数阈值，并利用随机生成的方式初始化种群和种群计数器，其次基于Spark大数据平台，以弹性分布式数据集的形式对所述种群中每个个体的样本数据进行特征选择和约简，同时利用GRU检测器对约简后的数据进行训练和分类，并将检测精度作为所述个体的适应度值；接着根据适应度值进行选择运算、交叉运算和变异运算；最后根据得到的新的基因组个体，重新计算对应的适应度值，并当所述适应度值达到设定阈值或者所述种群计数器达到设定值，则输出设定适应度值，同时利用GRU检测器对测试数据集进行检测，得到异常检测结果，提升异常检测效率和检测精度。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (1)

1.一种基于GA优化的GRU并行网络流量异常检测方法，其特征在于，包括：
获取样本数据并进行初始化；
基于Spark大数据平台，采用GRU检测器对所述样本数据进行分类；
根据适应度值进行选择运算、交叉运算和变异运算；
判断优化后的适应度值达到设定阈值后，并对测试数据集进行检测，输出异常检测结果；
所述基于Spark大数据平台，采用GRU检测器对所述样本数据进行分类，包括：
基于Spark大数据平台创建并执行并行任务，并以弹性分布式数据集的形式对种群中每个个体的样本数据进行特征选择和约简，同时利用GRU检测器对约简后的数据进行训练和分类，并将检测精度作为所述个体的适应度值；
所述获取样本数据并进行初始化，包括：
获取样本数据和种群数阈值，对所述样本数据进行清理和归一化处理后，利用随机生成的方式初始化种群和种群计数器，其中，所述种群中包括多个个体；
所述根据适应度值进行选择运算、交叉运算和变异运算，包括：
根据所述适应度值的大小，采用轮盘赌选择法进行优质基因的遗传，并按照获取的交叉概率将两条不同染色体进行基因交换后，基于获取的变异概率对各个种群的染色体进行变异，得到新的基因组个体；
所述判断优化后的适应度值达到设定阈值后，并对测试数据集进行检测，输出异常检测结果，包括：
根据得到的新的基因组个体，重新计算对应的适应度值，并判断计算出的所述适应度值是否达到设定阈值或者所述种群计数器是否达到设定值；
所述判断计算出的所述适应度值是否达到设定阈值或者所述种群计数器是否达到设定值，包括：
若所述适应度值没有达到设定阈值或者所述种群计数器没有达到设定值，则重新进行选择运算、交叉运算和变异运算，直至所述适应度值达到设定阈值或者所述种群计数器达到设定值；
若所述适应度值达到设定阈值或者所述种群计数器达到设定值，则输出设定适应度值，同时利用GRU检测器对测试数据集进行检测，得到异常检测结果。
CN202010550578.XA 2020-06-16 2020-06-16 基于ga优化的gru并行网络流量异常检测方法 Active CN111726349B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010550578.XA CN111726349B (zh) 2020-06-16 2020-06-16 基于ga优化的gru并行网络流量异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010550578.XA CN111726349B (zh) 2020-06-16 2020-06-16 基于ga优化的gru并行网络流量异常检测方法

Publications (2)

Publication Number Publication Date
CN111726349A CN111726349A (zh) 2020-09-29
CN111726349B true CN111726349B (zh) 2022-07-08

Family

ID=72567032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010550578.XA Active CN111726349B (zh) 2020-06-16 2020-06-16 基于ga优化的gru并行网络流量异常检测方法

Country Status (1)

Country Link
CN (1) CN111726349B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113010884B (zh) * 2021-02-23 2022-08-26 重庆邮电大学 一种入侵检测系统中的实时特征过滤方法
CN113516228B (zh) * 2021-07-08 2023-04-18 哈尔滨理工大学 一种基于深度神经网络的网络异常检测方法
CN113687242A (zh) * 2021-09-29 2021-11-23 温州大学 基于ga算法优化改进gru神经网络的锂离子电池soh估计方法
CN115021973B (zh) * 2022-05-11 2024-04-05 桂林电子科技大学 一种基于sgru的新型入侵检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160520A (zh) * 2019-12-06 2020-05-15 南京理工大学 一种基于遗传算法优化的bp神经网络风速预测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866904B (zh) * 2015-06-16 2019-01-01 中电科软件信息服务有限公司 一种基于spark的遗传算法优化的BP神经网络并行化方法
US11106978B2 (en) * 2017-09-08 2021-08-31 SparkCognition, Inc. Execution of a genetic algorithm with variable evolutionary weights of topological parameters for neural network generation and training
CN108154003B (zh) * 2017-12-04 2021-05-07 西北工业大学 基于Spark基因表达式优化的爆破振动预测方法
WO2019118299A1 (en) * 2017-12-13 2019-06-20 Sentient Technologies (Barbados) Limited Evolving recurrent networks using genetic programming
CN108900476B (zh) * 2018-06-07 2021-05-11 桂林电子科技大学 基于Spark与隔离森林的并行网络流量异常检测方法
CN110956248A (zh) * 2018-09-27 2020-04-03 南京航空航天大学 一种基于隔离森林的海量数据异常值检测算法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160520A (zh) * 2019-12-06 2020-05-15 南京理工大学 一种基于遗传算法优化的bp神经网络风速预测方法

Also Published As

Publication number Publication date
CN111726349A (zh) 2020-09-29

Similar Documents

Publication Publication Date Title
CN111726349B (zh) 基于ga优化的gru并行网络流量异常检测方法
CN108023876B (zh) 基于可持续性集成学习的入侵检测方法及入侵检测系统
WO2020220544A1 (zh) 不平衡数据分类模型训练方法、装置、设备及存储介质
Lin et al. Data-driven missing data imputation in cluster monitoring system based on deep neural network
JP6240804B1 (ja) 改良した情報測定とｇａに基づくフィルター式特徴選択アルゴリズム
JP2008546046A (ja) マハラノビスの距離の遺伝的アルゴリズムの方法及びシステム
CN110853756B (zh) 基于som神经网络和svm的食管癌风险预测方法
Liu et al. A scalable redefined stochastic blockmodel
CN111400713B (zh) 基于操作码邻接图特征的恶意软件族群分类方法
CN111767216B (zh) 一种可缓解类重叠问题的跨版本深度缺陷预测方法
Motsinger-Reif et al. Grammatical evolution decision trees for detecting gene-gene interactions
CN116506181A (zh) 一种基于异构图注意力网络的车联网入侵检测方法
CN114897085A (zh) 一种基于封闭子图链路预测的聚类方法及计算机设备
CN110289987B (zh) 基于表征学习的多智能体系统网络抗攻击能力评估方法
Huang et al. Harnessing deep learning for population genetic inference
Chen et al. A new multiobjective evolutionary algorithm for community detection in dynamic complex networks
CN111832645A (zh) 基于离散型乌鸦差分协同搜索算法的分类数据特征选择方法
CN111489792A (zh) 一种基于半监督学习框架的t细胞受体序列分类方法
CN116361788A (zh) 一种基于机器学习的二进制软件漏洞预测方法
CN113673695B (zh) 基于新型特征自动构造的人群行为规则自动提取方法
CN114048796A (zh) 一种改进型硬盘故障预测方法及装置
CN113704570A (zh) 基于自监督学习式进化的大规模复杂网络社区检测方法
CN108897990B (zh) 面向大规模高维序列数据的交互特征并行选择方法
KR20200067713A (ko) 오류 트리플 검출 시스템 및 방법
JP6230501B2 (ja) 縮約素性生成装置、情報処理装置、方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20200929

Assignee: Guangxi Jun'an Network Security Technology Co.,Ltd.

Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY

Contract record no.: X2022450000459

Denomination of invention: A GA optimized method for GRU parallel network traffic anomaly detection

Granted publication date: 20220708

License type: Common License

Record date: 20221228

EE01 Entry into force of recordation of patent licensing contract