CN109934340B - 一种深度学习系统及模型参数调整方法 - Google Patents
一种深度学习系统及模型参数调整方法 Download PDFInfo
- Publication number
- CN109934340B CN109934340B CN201711480847.4A CN201711480847A CN109934340B CN 109934340 B CN109934340 B CN 109934340B CN 201711480847 A CN201711480847 A CN 201711480847A CN 109934340 B CN109934340 B CN 109934340B
- Authority
- CN
- China
- Prior art keywords
- module
- brain
- data
- quasi
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种深度学习系统及模型参数调整方法，该系统包括：类右脑模块为一个具有全域特征记忆功能的类右脑神经网络；类左脑模块为一个具有局域特征响应功能的类左脑神经网络；相似度过滤模块用于通过计算类右脑模块的输出结果与局部区域性数据之间的相似度，对类右脑模块的输出结果进行过滤，保留相似度最高的n个输出结果，其中n为大于1的自然数，相似度过滤模块的输出作为类左脑模块的输入；博弈均衡模块用于以包括极大极小在内的博弈方式对类右脑模块和类左脑模块进行参数调整，以达到类右脑模块的输入和类左脑模块的输出双方博弈均衡。能够解决全域特征和局域特征之间的矛盾。
Description
本申请要求于2017年12月19日提交中国专利局、申请号为201711378502.8、申请名称为“一种基于类脑博弈的深度学习系统及网络数据处理方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明属于数据处理、网络安全与人工智能领域，具体涉及一种深度学习系统及模型参数调整方法。
背景技术
随着互联网规模日益庞大，各种新型网络攻击手段大量涌现，面对网络攻击危害度增强，网络安全问题日益严峻的现状，传统的网络防御技术已经很难满足网络安全的需求。为了把握网络状况，及时的进行网络安全状态估计，进而在攻击发生或造成严重后果之前，预先采取相应的防御措施，因此引入了网络数据处理与安全态势预测。
对于网络数据处理与安全态势预测而言，需要有足够的数据，因为在构造模型时需要通过分析大量的数据获得模型参数。为了解决网络安全态势数据不足的情况，引入生成式模型。其中，生成式模型涉及的主要方法有极大似然估计法、近似法等。由于极大似然估计法，直接对真实样本进行极大似然估计,参数更新直接来自于数据样本,因此导致学习到的生成式模型受到限制；而近似法学习到的生成式模型由于目标函数难解，一般只能在学习过程中逼近目标函数的下界,不能直接对目标函数逼近。因此引入了生成式对抗网络(Generative adversarial networks，GAN)，生成与真实数据分布一致的数据样本。
GAN由一个生成器和一个判别器构成。生成器捕捉真实数据样本的潜在分布,并生成新的数据样本。判别器是一个二分类器,判别输入是真实数据还是生成的样本。其中，GAN的生成器采用自动编码器(Auto-Encoder)，在真实的抓包库(packet capture library，pcap)数据上添加高斯噪声,生成新的数据样本，并使用基于自动编码器的生成器，将新产生的数据样本作为自动编码器的输入，得到自动编码器的输出数据相比于该模型的输入数据有更好的表示。其中，pcap数据是一种针对网络接口、端口和协议的截取并保存的网络数据包。也就是说，pcap是一种通用的数据流格式，它给抓包系统提供一个接口，以捕获网络上的数据包，并支持把捕获的数据包保存为本地文件。
由于判别器要对输入的数据进行二分类，判断输入的数据是否是真实的数据包，因此可以采用目前较为常用的分类算法，包括灰色理论法、支撑向量机(Support VectorMachine,SVM)算法等。灰色理论法首先从影响数据包是否为真实数据的因子入手，运用灰色模型中的数学方法分析这些因子和历史数据之间的关系，挖掘因子的变化规律，最后得到因子与数据是否是真实数据之间的变化函数，判断输入的数据包是否为真实数据。但灰色理论法当输入数据是真实数据的概率变化呈‘S’型时，分类的误差较大；SVM算法主要是找到分割真实数据与非真实数据的超平面，但是该模型对于大样本集训练速度慢。因此引入循环神经网络作为GAN的判别器。
由于现有的深度学习系统，大都基于梯度下降的误差反传算法进行训练，具有收敛速度慢和易陷入局部最优解等缺点，难以解决全域特征和局域特征之间的矛盾。
发明内容
本发明的目的在于，为了解决现有的深度学习系统存在的上述问题，本发明提供了一种深度学习系统及模型参数调整方法，以解决全域特征和局域特征之间的矛盾，实现融合全域和局域特征的智能实时网络数据处理，该方法不仅适用于深度学习系统的误差反传训练方法，而且还适用于深度学习系统的非误差反传训练方法。
为了实现上述目的，本发明一方面提供了一种基于类脑博弈的深度学习系统，所述系统包括：类左脑模块、类右脑模块、相似度过滤模块、博弈均衡模块；其中，所述类右脑模块为一个具有全域特征记忆功能的类右脑神经网络；所述类左脑模块为一个具有局域特征响应功能的类左脑神经网络；所述相似度过滤模块用于通过计算所述类右脑模块的输出结果与局部区域性数据之间的相似度，对所述类右脑模块的输出结果进行过滤，保留相似度最高的n个输出结果，其中的n是一个大于1的自然数，所述相似度过滤模块的输出作为所述类左脑模块的输入；所述博弈均衡模块用于以包括极大极小在内的博弈方式对所述类右脑模块和所述类左脑模块进行参数调整，以达到所述类右脑模块的输入和所述类左脑模块的输出双方博弈均衡；或者采用对所述类右脑模块的参数与所述类左脑模块的参数交替优化的方法，以达到所述类右脑模块的输入和所述类左脑模块的输出双方博弈均衡。
优选地，所述系统还包括：全域数据训练模块和局部区域性调优模块；所述全域数据训练模块，用于在不限制数据来源的前提下对所述类左脑模块或所述类右脑模块进行包括吉布斯采样在内的预训练；所述局部区域性调优模块，用于在对数据来源进行区域性限定的条件下对所述类左脑模块或所述相似度过滤模块进行预训练。可以理解的是，在不限制数据来源的的前提下获得的数据为全域数据，在对数据来源进行区域性限定的条件下获得的数据为局域数据。通过全域数据训练模块对所述类右脑模块进行预训练可以使得所述类右脑模块为一个具有全域特征记忆功能的类右脑神经网络；通过局部区域性调优模块对类左脑模块进行预训练可以使得所述类左脑模块为一个具有局域特征响应功能的类左脑神经网络。
优选地，采用递归神经网络来实现类左脑模块；采用自动编码器来实现类右脑模块；采用余弦相似度来实现相似度过滤模块；采用生成式对抗网络来实现博弈均衡模块；采用从实际环境中采集到的带噪声数据，或者在现有数据集内不具有特定标签的数据上添加高斯噪声，来实现全域数据训练模块；采用现有数据集内具有特定标签的数据，来实现局部区域性调优模块。
本发明另一方面提供了一种模型参数调整方法，该方法包括：通过计算类右脑模块的输出结果与局部区域性数据之间的相似度，对所述类右脑模块的输出结果进行过滤，保留相似度最高的n个输出结果，其中的n是一个大于1的自然数，将保留的输出作为类左脑模块的输入；其中，所述类右脑模块为一个具有全域特征记忆功能的类右脑神经网络；所述类左脑模块为一个具有局域特征响应功能的类左脑神经网络；以包括极大极小在内的博弈方式对所述类右脑模块和所述类左脑模块进行参数调整，以达到所述类右脑模块的输入和所述类左脑模块的输出双方博弈均衡；或者采用对所述类右脑模块的参数与所述类左脑模块的参数交替优化的方法，以达到所述类右脑模块的输入和所述类左脑模块的输出双方博弈均衡。
可选地，将全域数据样本作为所述类右脑模块的输入；在所述类右脑模块与所述类左脑模块间进行全域性极大极小博弈过程，对所述类右脑模块和所述类左脑模块进行参数调整而得到均衡解。
可选地，将局域数据样本作为所述类右脑模块的输入；在所述类右脑模块与所述类左脑模块间进行局域性极大极小博弈过程，对所述类右脑模块和所述类左脑模块进行参数调整而得到均衡解。
可选地，所述全域性极大极小博弈过程，包括：基于所述类右脑模块的输出与全域数据样本，以生成对抗网络的方式对所述类左脑模块与所述类右脑模块进行参数调整，以所述类右脑模块为生成器，以所述类左脑模块为判别器，采用交替优化的方法达到双方博弈均衡；先固定生成器来优化判别器，使得判别器的判别准确率最大化；然后固定判别器来优化生成器，使得判别器的判别准确率最小化；当且仅当全域数据样本的数据分布和所述类右脑模块的输出的数据分布完全重合时达到全局最优；为了达到全局最优，先对判别器的参数更新k次，再对生成器的参数更新1次，其中的k为大于1的自然数。
可选地，所述局域性极大极小博弈过程，包括：基于所述类右脑模块的输出与所述基于局域特征数据样本的直接输入，以生成对抗网络的方式对所述类左脑模块与所述类右脑模块进行参数调整，以所述类右脑模块为生成器，以所述类左脑模块为判别器，采用交替优化的方法达到双方博弈均衡；先固定生成器来优化判别器，使得判别器的判别准确率最大化；然后固定判别器来优化生成器，使得判别器的判别准确率最小化；当且仅当所述局域特征数据样本的数据分布和所述类右脑模块的输出的数据分布完全重合时达到全局最优；为了达到全局最优，先对判别器的参数更新k次，再对生成器的参数更新1次，其中的k为大于1的自然数。
可选地，所述通过计算类右脑模块的输出结果与局部区域性数据之间的相似度，对所述类右脑模块的输出结果进行过滤之前，所述方法还包括：构建所述类右脑模块，并对所述类右脑模块进行全域数据预训练；构建所述类左脑模块，并基于局域数据来对所述类左脑模块进行预训练。
可选地，所述方法还包括：基于全域数据的采样来对所述类左脑模块进行预训练。
可选地，在训练所述类左脑模块时，采用所述类右脑模块的输出直接作为所述类左脑模块的参数。
优选地，从实际环境中采集到的带噪声的pcap数据，或者在现有的CAS-USTC-TFC2017数据集里的无攻击数据上添加高斯噪声生成新的数据样本，作为全域数据来对基于自动编码器的类右脑模块进行预训练，使得自动编码器的输出数据要相比于输入数据具有更好的泛化表征效果；利用递归神经网络来构造一个类左脑模块，从CAS-USTC-TFC2017数据集每天的入侵检测数据中随机选取连续的6个小时的有攻击数据作为测试数据，该天中其余的有攻击数据作为训练数据，对递归神经网络进行预训练；将类左脑模块的输入数据区分为原始的全域数据(TG)与类右脑模块产生的数据(FG)这两个不同类别，采用基于递归神经网络模型作为判别器(D)对输入的数据进行判断：若输入样本来自真实采样数据x，标记为1；若输入样本来自生成器(G)生成的数据，标记为0；以生成对抗网络的方式对类左脑模块与类右脑模块进行参数调整，以类右脑模块为生成器(G)，以类左脑模块为判别器(D)，采用交替优化的方法达到双方博弈均衡；把在CAS-USTC-TFC2017数据集中带有攻击标签的数据作为局部区域性调优数据，并将类左脑模块的输入数据区分为原始的局部区域性调优数据(TL)与对类右脑模块产生的数据进行相似度过滤后的数据(FL)这两个不同类别，以生成对抗网络的方式对类左脑模块与类右脑模块进行参数调整，以类右脑模块为生成器(G)，以类左脑模块为判别器(D)，采用交替优化的方法达到双方博弈均衡。
其中，CAS-USTC-TFC2017数据集包含两部分：一是从采集自真实环境的现有数据集中选取的包括Cridex,Geodo,Htbot,Miuref,Neris,Nsis-ay,Shifu,Tinba,Virut,Zeus在内的多种恶意流量，并对于尺寸较大的文件进行了截取，对于较小且由同一应用产生的流量进行了合并；二是使用IXIA公司的IXIA BPS设备采集的多种正常流量，为体现流量种类的多样性而涵盖了包括BitTorrent,Facetime,FTP,Gmail,MySQL在内的常用网络应用。
优选地，类右脑模块产生数据(FG)，具体包括：将CAS-USTC-TFC2017入侵检测数据中不带攻击的数据x中pcap包进行解析，并在pcap包的源端口、目的端口、序号、确认号、窗口、有效负载上添加高斯噪声z，生成新的数据样本G’(x,z)；从新数据样本的pcap包中提取包头的所有字段以及有效负载，其中源地址和目的地址作为模型输入时，需建立一个地址的索引，将索引值作为输入；有效负载作为模型的输入时需要先根据有效负载的字典，将有效负载的每一个单元映射到某个维度(de)上；采用基于自动编码器的类右脑模块生成pcap数据样本，记为G(x,z)，各层之间的输入输出关系以及最终的系统输出如下式：
ak＝sigmoid(hk)
oj＝sigmoid(yj)
其中，X＝[x1,x2,...,xn]T为输入数据向量，H＝[h1,h2,...,hl]T为隐含层数据向量，O＝[o1,o2,...,oj]T为输出层数据向量，xi为输入数据向量的任意元素，hk为隐含层数据向量的任意元素，ak与aj为神经网络的激活后隐含层输出，yk与yj为神经网络的未激活输出，wik和wkj为各神经元的权重参数，bk和bj为各神经元的偏置参数。
与现有技术相比，本发明通过模仿左右脑而设计具有记忆功能的神经网络和具有响应功能的神经网络，以两个神经网络互相博弈的方式进行训练而自动达成类脑博弈的均衡优化，以解决全域特征和局域特征之间的矛盾，实现融合全域和局域特征的智能实时网络数据处理。本发明不仅适用于深度学习系统的误差反传训练方法，而且还适用于深度学习系统的非误差反传训练方法，不仅提高了训练速度，而且提高了训练精度。
附图说明
图1为本发明实施例提供的一种深度学习系统的结构示意图；
图2为本发明实施例提供的另一种深度学习系统的结构示意图；
图3为本发明实施例提供的一种模型参数调整方法流程图；
图4为本发明实施例提供的另一种模型参数调整方法流程图。
具体实施方式
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
图1为本发明实施例提供的一种深度学习系统结构示意图，所述系统包括：类左脑模块101、类右脑模块102、相似度过滤模块103和博弈均衡模块104；
其中，所述类右脑模块102为一个具有全域特征记忆功能的类右脑神经网络；
所述类左脑模块101为一个具有局域特征响应功能的类左脑神经网络；
所述相似度过滤模块103用于通过计算所述类右脑模块102的输出结果与局部区域性数据之间的相似度，对所述类右脑模块102的输出结果进行过滤，保留相似度最高的n个输出结果，其中的n是一个大于1的自然数，所述相似度过滤模块103的输出作为所述类左脑模块101的输入；
所述博弈均衡模块104用于以包括极大极小在内的博弈方式对所述类右脑模块102和所述类左脑模块101进行参数调整，以达到所述类右脑模块102的输入和所述类左脑模块101的输出双方博弈均衡；或者采用对所述类右脑模块102的参数与所述类左脑模块101的参数交替优化的方法，以达到所述类右脑模块102的输入和所述类左脑模块101的输出双方博弈均衡。
可选地，所述系统还包括：全域数据训练模块和局部区域性调优模块；所述全域数据训练模块，用于在不限制数据来源的前提下对所述类左脑模块101或所述类右脑模块102进行包括吉布斯采样在内的预训练；所述局部区域性调优模块，用于在对数据来源进行区域性限定的条件下对所述类左脑模块101或所述相似度过滤模块103进行预训练。
可选地，采用递归神经网络来实现所述类左脑模块；和/或，采用自动编码器来实现所述类右脑模块；和/或，采用余弦相似度来实现所述相似度过滤模块；和/或，采用生成式对抗网络来实现所述博弈均衡模块；和/或，采用从实际环境中采集到的带噪声数据，或者在现有数据集内不具有特定标签的数据上添加高斯噪声，来实现所述全域数据训练模块；和/或，采用现有数据集内具有特定标签的数据，来实现所述局部区域性调优模块。
图2为本发明实施例提供的另一种深度学习系统的结构示意图。如图2所示，该深度学习系统基于类脑博弈来实现模型参数调整，所述类脑博弈是指模仿左右脑而设计的两个不同功能的神经网络以互相博弈的方式进行训练而自动达成参数优化，该系统包括：类左脑模块201、类右脑模块202、博弈均衡模块203、相似度过滤模块204、全域数据训练模块205，以及局部区域性调优模块206。
其中，类右脑模块202是指一个有全域特征记忆功能的类右脑神经网络；类左脑模块201是指一个有局域特征响应功能的类左脑神经网络；博弈均衡模块203是指以包括极大极小在内的博弈方式进行参数调整而达到双方博弈均衡，或者采用类右脑模块202与类左脑模块201交替优化的方法来达到双方博弈均衡；相似度过滤模块204是指通过计算类右脑模块202的输出结果与局部区域性数据之间的相似度，对类右脑模块202的输出结果进行过滤，只保留相似度最高的n个输出结果，其中的n是一个大于1的自然数；全域数据训练模块205是指在不限制数据来源的前提下对类左脑模块201或类右脑模块202进行包括吉布斯采样在内的预训练；局部区域性调优模块206是指在对数据来源进行区域性限定的条件下对类左脑模块201或相似度过滤模块204进行预训练。
可以理解的是，全域数据训练模块205和局部区域性调优模块206为可选模块，二者可以包含在深度学习系统中，也可以单独实现。
在一个示例中，采用递归神经网络(Recurrent neural network)来实现类左脑模块201；采用自动编码器(Auto-encoder)来实现类右脑模块202；采用余弦相似度(CosineSimilarity)来实现相似度过滤模块204；采用生成式对抗网络(Generative adversarialnetworks)来实现博弈均衡模块203；采用从实际环境中采集到的带噪声数据，或者在现有数据集内不具有特定标签的数据(比如CAS-USTC-TFC2017中不带攻击标签的数据)上添加高斯噪声，来实现全域数据训练模块205；采用现有数据集内具有特定标签的数据(比如在CAS-USTC-TFC2017中带有攻击标签的数据)，来实现局部区域性调优模块206。
图3为本发明实施例提供的一种模型参数调整方法流程图，该方法包括：
步骤301，通过计算类右脑模块的输出结果与局部区域性数据之间的相似度，对所述类右脑模块的输出结果进行过滤。
通过过滤，保留相似度最高的n个输出结果，其中的n是一个大于1的自然数，将保留的输出作为类左脑模块的输入；其中，所述类右脑模块为一个具有全域特征记忆功能的类右脑神经网络；所述类左脑模块为一个具有局域特征响应功能的类左脑神经网络。
步骤302，对所述类右脑模块和所述类左脑模块进行参数调整，以达到所述类右脑模块的输入和所述类左脑模块的输出双方博弈均衡。
例如，以包括极大极小在内的博弈方式对所述类右脑模块和所述类左脑模块进行参数调整，以达到所述类右脑模块的输入和所述类左脑模块的输出双方博弈均衡；或者采用对所述类右脑模块的参数与所述类左脑模块的参数交替优化的方法，以达到所述类右脑模块的输入和所述类左脑模块的输出双方博弈均衡。
可选地，将全域数据样本作为所述类右脑模块的输入；在所述类右脑模块与所述类左脑模块间进行全域性极大极小博弈过程，对所述类右脑模块和所述类左脑模块进行参数调整而得到均衡解。
可选地，将局域数据样本作为所述类右脑模块的输入；在所述类右脑模块与所述类左脑模块间进行局域性极大极小博弈过程，对所述类右脑模块和所述类左脑模块进行参数调整而得到均衡解。
可选地，所述全域性极大极小博弈过程，包括：基于所述类右脑模块的输出与全域数据样本，以生成对抗网络的方式对所述类左脑模块与所述类右脑模块进行参数调整，以所述类右脑模块为生成器，以所述类左脑模块为判别器，采用交替优化的方法达到双方博弈均衡；先固定生成器来优化判别器，使得判别器的判别准确率最大化；然后固定判别器来优化生成器，使得判别器的判别准确率最小化；当且仅当全域数据样本的数据分布和所述类右脑模块的输出的数据分布完全重合时达到全局最优；为了达到全局最优，先对判别器的参数更新k次，再对生成器的参数更新1次，其中的k为大于1的自然数。
可选地，所述局域性极大极小博弈过程，包括：基于所述类右脑模块的输出与所述基于局域特征数据样本的直接输入，以生成对抗网络的方式对所述类左脑模块与所述类右脑模块进行参数调整，以所述类右脑模块为生成器，以所述类左脑模块为判别器，采用交替优化的方法达到双方博弈均衡；先固定生成器来优化判别器，使得判别器的判别准确率最大化；然后固定判别器来优化生成器，使得判别器的判别准确率最小化；当且仅当所述局域特征数据样本的数据分布和所述类右脑模块的输出的数据分布完全重合时达到全局最优；为了达到全局最优，先对判别器的参数更新k次，再对生成器的参数更新1次，其中的k为大于1的自然数。
可选地，所述通过计算类右脑模块的输出结果与局部区域性数据之间的相似度，对所述类右脑模块的输出结果进行过滤之前，所述方法还包括：构建所述类右脑模块，并对所述类右脑模块进行全域数据预训练；构建所述类左脑模块，并基于局域数据来对所述类左脑模块进行预训练。
可选地，所述方法还包括：基于全域数据的采样来对所述类左脑模块进行预训练。
可选地，在训练所述类左脑模块时，采用所述类右脑模块的输出直接作为所述类左脑模块的参数。
在另一个实施例中还提供了另一种模型参数调整方法，该方法也可以称为基于类脑博弈的网络数据处理方法，图4为本发明实施例提供的另一种模型参数调整方法流程图，该方法包括：
步骤401，构建一个具有全域特征记忆功能的类右脑模块，并对其进行全域数据预训练。
训练结束后的类右脑模块的输出数据，相比于该模块的输入数据，具有更好的泛化表征效果。
步骤402，构建一个具有局域特征响应功能的类左脑模块，并基于全域数据的采样来对其进行预训练。
在训练类左脑模块时，可采用类右脑模块的输出直接作为类左脑模块的参数，从而避免使用误差反传的方法进行训练。
步骤403，将类右脑模块的输出(记为FG)和全域数据样本(记为TG)分别作为类左脑模块的输入，在类右脑模块与类左脑模块间进行全域性的极大极小博弈过程。
例如，进行k:m比例的参数调整而得到均衡解，其中k是一个大于1的自然数，m是一个小于k的自然数；
在一个示例中，全域性极大极小博弈过程，包括：基于FG与TG，以生成对抗网络的方式对类左脑模块与类右脑模块进行参数调整，以类右脑模块为生成器(记为G)，以类左脑模块为判别器(记为D)，采用交替优化的方法达到双方博弈均衡；先固定G来优化D，使得D的判别准确率最大化；然后在固定D来优化G，使得D的判别准确率最小化；当且仅当TG的数据分布(记为pgdata)和FG的数据分布(记为pgg)完全重合时达到全局最优；为了达到pgdata＝pgg的全局最优，可以先对D的参数更新k次，再对G的参数更新1次，其中的k为大于1的自然数。
步骤404，根据局域数据样本对类右脑模块的输出依据相似度进行过滤，再将过滤后的类右脑模块的输出(记为FL)作为类左脑模块的输入，并与基于局域特征数据样本的直接输入(记为TL)相比较，通过模块间的局域性极大极小博弈过程，对模块间进行参数调优而得到均衡解。
在一个示例中，局域性极大极小博弈过程，包括：基于FL与TL，以生成对抗网络的方式对类左脑模块与类右脑模块进行参数调整，以类右脑模块为生成器(记为G)，以类左脑模块为判别器(记为D)，采用交替优化的方法达到双方博弈均衡；先固定G来优化D，使得D的判别准确率最大化；然后在固定D来优化G，使得D的判别准确率最小化；当且仅当TL的数据分布(记为pldata)和FL的数据分布(记为plg)完全重合时达到全局最优；为了达到pldata＝plg的全局最优，可以先对D的参数更新k次，再对G的参数更新1次，其中的k为大于1的自然数。
在上述实施例中，基于递归神经网络与自编码器的生成式对抗网络，可以直接通过优化一个极小极大问题来实现博弈均衡，对于全域数据与局部区域性调优数据，其优化目标函数分别如下：
其中，E(·)表示计算期望值，D(·)表示类左脑模块对数据的判别，G(·)表示类右脑模块对数据的生成，pgdata(x)是对全域数据进行采样后的数据分布，pldata(x)是局部区域性调优数据进行采样后的数据分布，pgg(z)是自编码器输出后直接对其进行采样后的先验分布，plg(z)是自编码器输出后对其进行相似度过滤后的先验分布，可以用高斯噪声分布来代替pgg(z)，但不能用高斯噪声分布来代替plg(z)。
优选地，当固定G来优化D时，对于全域数据与局部区域性调优数据，递归神经网络的目标函数分别如下:
优选地，当固定D来优化G时，递归神经网络的目标函数设置为:
Objg G(θG)＝-Objg D(θD,θG)
Objl G(θG)＝-Objl D(θD,θG)
优选地，可以通过代价函数最小化来调整自编码器或递归神经网络的层间权重，代价函数表达式如下：
其中，对于任意输入输出对(x(i),y(i))，式中的
x为输入，y为与样本标签对应的输出值，o(x)为用于监督训练的样本标签，W为各层神经元的权重参数矩阵(l、i与j分别为层序列、列序列、行序列，λ是一个小于1的实数)，b为各神经元的偏置参数向量。
又一个实施例中，以具体说明一种基于类脑博弈的网络数据处理方法，包括：
步骤1，从实际环境中采集到的带噪声的pcap数据，或者在现有的CAS-USTC-TFC2017数据集里的无攻击数据上添加高斯噪声生成新的数据样本，作为全域数据来对基于自动编码器的类右脑模块进行预训练，使得自动编码器的输出数据要相比于输入数据具有更好的泛化表征效果。
步骤2，利用递归神经网络来构造一个类左脑模块，从CAS-USTC-TFC2017数据集每天的入侵检测数据中随机选取连续的6个小时的有攻击数据作为测试数据，该天中其余的有攻击数据作为训练数据，对递归神经网络进行预训练；
步骤3，将类左脑模块的输入数据区分为原始的全域数据(记为TG)与类右脑模块产生的数据(记为FG)这两个不同类别，采用基于递归神经网络模型作为判别器D对输入的数据进行判断：若输入样本来自真实采样数据x，标记为1；若输入样本来自生成器G生成的数据，标记为0；以生成对抗网络的方式对类左脑模块与类右脑模块进行参数调整，以类右脑模块为生成器(记为G)，以类左脑模块为判别器(记为D)，采用交替优化的方法达到双方博弈均衡。
步骤4，把在CAS-USTC-TFC2017中带有攻击标签的数据作为局部区域性调优数据，并将类左脑模块的输入数据区分为原始的局部区域性调优数据(记为TL)与对类右脑模块产生的数据进行相似度过滤后的数据(记为FL)这两个不同类别，以生成对抗网络的方式对类左脑模块与类右脑模块进行参数调整，以类右脑模块为生成器(记为G)，以类左脑模块为判别器(记为D)，采用交替优化的方法达到双方博弈均衡。
在上述技术方案中，所述步骤3中的类右脑模块产生数据(记为FG)，具体包括：
步骤501，将CAS-USTC-TFC2017入侵检测数据中不带攻击的数据x中pcap包进行解析，并在pcap包的源端口、目的端口、序号、确认号、窗口、有效负载上添加高斯噪声z，生成新的数据样本G’(x,z)。
步骤502，从新数据样本的pcap包中提取包头的所有字段以及有效负载，其中源地址和目的地址作为模型输入时，需建立一个地址的索引，将索引值作为输入；有效负载作为模型的输入时需要先根据有效负载的字典，将有效负载的每一个单元映射到某个维度(记为de)上。
步骤503，采用基于自动编码器的类右脑模块生成pcap数据样本，记为G(x,z)，各层之间的输入输出关系以及最终的系统输出如下式：
ak＝sigmoid(hk)
oj＝sigmoid(yj)
其中，X＝[x1,x2,...,xn]T为输入数据向量，H＝[h1,h2,...,hl]T为隐含层数据向量，O＝[o1,o2,...,oj]T为输出层数据向量，xi为输入数据向量的任意元素，hk为隐含层数据向量的任意元素，ak与aj为神经网络的激活后隐含层输出，yk与yj为神经网络的未激活输出，wik和wkj为各神经元的权重参数，bk和bj为各神经元的偏置参数。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种网络数据处理方法，其特征在于，所述方法包括：
通过计算类右脑模块的输出结果与局部区域性数据之间的相似度，对所述类右脑模块的输出结果进行过滤，保留相似度最高的n个输出结果，其中的n是一个大于1的自然数，将保留的输出作为类左脑模块的输入；其中，所述类右脑模块为一个具有全域特征记忆功能的类右脑神经网络；所述类右脑神经网络是利用全域数据样本训练得到的自动编码器；所述全域数据样本是从实际环境中采集到的带噪声的真实的抓包库数据，或者在现有的CAS-USTC-TFC2017数据集里的不带攻击标签的数据上添加高斯噪声生成的新数据样本；所述类左脑模块为一个具有局域特征响应功能的类左脑神经网络；所述类左脑神经网络是一个利用CAS-USTC-TFC2017中的数据进行训练的递归神经网络；
以包括极大极小在内的博弈方式对所述类右脑模块和所述类左脑模块进行参数调整，以达到所述类右脑模块的输入和所述类左脑模块的输出双方博弈均衡；或者采用对所述类右脑模块的参数与所述类左脑模块的参数交替优化的方法，以达到所述类右脑模块的输入和所述类左脑模块的输出双方博弈均衡，得到包括所述类右脑模块和所述类左脑模块的深度学习系统；所述深度学习系统用于获取网络安全态势数据，通过所述网络安全态势数据进行网络数据处理与安全态势预测。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将全域数据样本作为所述类右脑模块的输入；
所述对所述类右脑模块和所述类左脑模块进行参数调整，以达到所述类右脑模块的输入和所述类左脑模块的输出双方博弈均衡，包括：
在所述类右脑模块与所述类左脑模块间进行全域性极大极小博弈过程，对所述类右脑模块和所述类左脑模块进行参数调整而得到均衡解；
或者，所述方法还包括：
将局域数据样本作为所述类右脑模块的输入；
所述对所述类右脑模块和所述类左脑模块进行参数调整，以达到所述类右脑模块的输入和所述类左脑模块的输出双方博弈均衡，包括：
在所述类右脑模块与所述类左脑模块间进行局域性极大极小博弈过程，对所述类右脑模块和所述类左脑模块进行参数调整而得到均衡解。
3.根据权利要求2所述的方法，其特征在于，所述全域性极大极小博弈过程，包括：基于所述类右脑模块的输出与全域数据样本，以生成对抗网络的方式对所述类左脑模块与所述类右脑模块进行参数调整，以所述类右脑模块为生成器，以所述类左脑模块为判别器，采用交替优化的方法达到双方博弈均衡；先固定生成器来优化判别器，使得判别器的判别准确率最大化；然后固定判别器来优化生成器，使得判别器的判别准确率最小化；当且仅当全域数据样本的数据分布和所述类右脑模块的输出的数据分布完全重合时达到全局最优；为了达到全局最优，先对判别器的参数更新k次，再对 生成器的参数更新1次，其中的k为大于1的自然数。
4.根据权利要求2所述的方法，其特征在于，所述局域性极大极小博弈过程，包括：基于所述类右脑模块的输出与所述基于局域特征数据样本的直接输入，以生成对抗网络的方式对所述类左脑模块与所述类右脑模块进行参数调整，以所述类右脑模块为生成器，以所述类左脑模块为判别器，采用交替优化的方法达到双方博弈均衡；先固定生成器来优化判别器，使得判别器的判别准确率最大化；然后固定判别器来优化生成器，使得判别器的判别准确率最小化；当且仅当所述局域特征数据样本的数据分布和所述类右脑模块的输出的数据分布完全重合时达到全局最优；为了达到全局最优，先对判别器的参数更新k次，再对生成器的参数更新1次，其中的k为大于1的自然数。
5.根据权利要求1所述的方法，其特征在于，所述通过计算类右脑模块的输出结果与局部区域性数据之间的相似度，对所述类右脑模块的输出结果进行过滤之前，所述方法还包括：
构建所述类右脑模块，并对所述类右脑模块进行全域数据预训练；
构建所述类左脑模块，并基于局域数据来对所述类左脑模块进行预训练。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
基于全域数据的采样来对所述类左脑模块进行预训练。
7.根据权利要求6所述的方法，其特征在于，在训练所述类左脑模块时，采用所述类右脑模块的输出直接作为所述类左脑模块的参数。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711378502 | 2017-12-19 | ||
| CN2017113785028 | 2017-12-19 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109934340A CN109934340A (zh) | 2019-06-25 |
| CN109934340B true CN109934340B (zh) | 2021-11-23 |
Family
ID=66984363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711480847.4A Active CN109934340B (zh) | 2017-12-19 | 2017-12-29 | 一种深度学习系统及模型参数调整方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109934340B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110427978B (zh) * | 2019-07-10 | 2022-01-11 | 清华大学 | 面向小样本学习的变分自编码器网络模型和装置 |
| CN116030272B (zh) * | 2023-03-30 | 2023-07-14 | 之江实验室 | 一种基于信息抽取的目标检测方法、系统和装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106339072A (zh) * | 2015-07-09 | 2017-01-18 | 中国科学院声学研究所 | 一种基于左右脑模型的分布式大数据实时处理系统及方法 |
| CN107123151A (zh) * | 2017-04-28 | 2017-09-01 | 深圳市唯特视科技有限公司 | 一种基于变分自动编码器和生成对抗网络的图像转化方法 |
| CN107368752A (zh) * | 2017-07-25 | 2017-11-21 | 北京工商大学 | 一种基于生成式对抗网络的深度差分隐私保护方法 |
| CN107424016A (zh) * | 2017-08-10 | 2017-12-01 | 安徽大学 | 一种在线招聘广告推荐的实时竞价方法及其系统 |
-
2017
- 2017-12-29 CN CN201711480847.4A patent/CN109934340B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106339072A (zh) * | 2015-07-09 | 2017-01-18 | 中国科学院声学研究所 | 一种基于左右脑模型的分布式大数据实时处理系统及方法 |
| CN107123151A (zh) * | 2017-04-28 | 2017-09-01 | 深圳市唯特视科技有限公司 | 一种基于变分自动编码器和生成对抗网络的图像转化方法 |
| CN107368752A (zh) * | 2017-07-25 | 2017-11-21 | 北京工商大学 | 一种基于生成式对抗网络的深度差分隐私保护方法 |
| CN107424016A (zh) * | 2017-08-10 | 2017-12-01 | 安徽大学 | 一种在线招聘广告推荐的实时竞价方法及其系统 |
Non-Patent Citations (2)
| Title |
|---|
| DeLiGAN : Generative Adversarial Networks for Diverse and Limited Data;S Gurumurthy等;《Computer Vision and Pattern Recognition》;20170607;第1-9页 * |
| 一种基于测量的启发式网络拓扑匹配优化算法;廖怡等;《计算机学报》;20171117;第2044-2059页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109934340A (zh) | 2019-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108921051B (zh) | 基于循环神经网络注意力模型的行人属性识别网络及技术 | |
| Vinayakumar et al. | Applying deep learning approaches for network traffic prediction | |
| KR102641116B1 (ko) | 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치 | |
| CN101399672B (zh) | 一种多神经网络融合的入侵检测方法 | |
| CN105426820B (zh) | 基于安防监控视频数据的多人异常行为检测方法 | |
| CN110659485A (zh) | 通过诱饵训练检测对抗攻击 | |
| US20230308465A1 (en) | System and method for dnn-based cyber-security using federated learning-based generative adversarial network | |
| CN112153002B (zh) | 告警信息分析方法、装置、计算机设备和存储介质 | |
| Ortet Lopes et al. | Towards effective detection of recent DDoS attacks: A deep learning approach | |
| US20230259783A1 (en) | Physical Layer Authentication of Electronic Communication Networks | |
| CN109934340B (zh) | 一种深度学习系统及模型参数调整方法 | |
| CN110852358A (zh) | 一种基于深度学习的车辆类型判别方法 | |
| CN114863226A (zh) | 一种网络物理系统入侵检测方法 | |
| Kim et al. | Deep RNN-based network traffic classification scheme in edge computing system | |
| Kadim et al. | Deep-learning based single object tracker for night surveillance. | |
| CN110348320B (zh) | 一种基于多损失深度融合的人脸防伪方法 | |
| CN115422537A (zh) | 一种抵御联邦学习标签翻转攻击的方法 | |
| CN112529025A (zh) | 一种数据处理方法及装置 | |
| Vuković et al. | Thermal image degradation influence on R-CNN face detection performance | |
| CN111091102B (zh) | 一种视频分析装置、服务器、系统及保护身份隐私的方法 | |
| Do et al. | A Horizontal Federated-Learning Model for Detecting Abnormal Traffic Generated by Malware in IoT Networks | |
| CN115630361A (zh) | 一种基于注意力蒸馏的联邦学习后门防御方法 | |
| Hamadi | Artificial Intelligence Applications in Intrusion Detection Systems for Unmanned Aerial Vehicles | |
| Belej et al. | Development of a network attack detection system based on hybrid neuro-fuzzy algorithms. | |
| CN117892102B (zh) | 基于主动学习的入侵行为检测方法、系统、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210803 Address after: Room 1601, 16th floor, East Tower, Ximei building, No. 6, Changchun Road, high tech Industrial Development Zone, Zhengzhou, Henan 450001 Applicant after: Zhengzhou xinrand Network Technology Co.,Ltd. Address before: 100190, No. 21 West Fourth Ring Road, Beijing, Haidian District Applicant before: INSTITUTE OF ACOUSTICS, CHINESE ACADEMY OF SCIENCES |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |