CN110782014A - 一种神经网络增量学习方法及装置 - Google Patents
一种神经网络增量学习方法及装置 Download PDFInfo
- Publication number
- CN110782014A CN110782014A CN201911014149.4A CN201911014149A CN110782014A CN 110782014 A CN110782014 A CN 110782014A CN 201911014149 A CN201911014149 A CN 201911014149A CN 110782014 A CN110782014 A CN 110782014A
- Authority
- CN
- China
- Prior art keywords
- processed
- neural network
- messages
- message
- software
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 52
- 230000002265 prevention Effects 0.000 claims abstract description 6
- 230000008569 process Effects 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 33
- 238000012545 processing Methods 0.000 description 14
- 238000013473 artificial intelligence Methods 0.000 description 9
- 238000012550 audit Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L49/00—Packet switching elements
- H04L49/10—Packet switching elements characterised by the switching fabric construction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种神经网络增量学习方法及装置，该方法包括：接收待处理报文；对所述待处理报文进行数据流特征提取，并基于所提取的数据流特征，利用预测神经网络确定对应的应用分类；以及，保存部分待处理报文，并基于所述部分待处理报文，利用入侵防御系统IPS软件，识别所述部分待处理报文对应的应用分类；基于所述部分待处理报文对应的应用分类，以及所述部分待处理报文的数据流特征，生成训练样本；利用所述训练样本，对所述预测神经网络进行训练，以确定新的模型参数；当确定满足预设条件时，触发所述预测神经网络加载所述新的模型参数。应用本发明实施例可以保证网络模型的预测准确率。
Description
技术领域
本发明涉及网络通信技术领域，尤其涉及一种神经网络增量学习方法及装置。
背景技术
随着互联网技术和AI(Artificial Intelligence，人工智能)技术的高速发展，互联网技术和AI技术的结合应用成为热门研究方向。
智能交换机是普通交换机与AI结合的产品。通过普通交换机与AI结合，使智能交换机在普通交换机的功能上，额外增加了AI处理能力。
目前，智能交换机主要通过神经网络实现AI处理，神经网络的高效工作有赖于所加载的模型数据库的有效性，而由于互联网流量的构成会随着时间的推移而发生变化，网络模型的预测准确率也会相应下降，因此，神经网络加载的模型数据库的有效性会随着时间推移而逐渐下降。
发明内容
本发明提供一种神经网络增量学习方法及装置，以解决现有智能交换机中神经网络加载的模型数据库的有效性会随着时间推移而逐渐下降的问题。
根据本发明实施例的第一方面，提供一种神经网络增量学习方法，应用于智能交换机，所述方法包括：
接收待处理报文；
对所述待处理报文进行数据流特征提取，并基于所提取的数据流特征，利用预测神经网络确定对应的应用分类；以及，
保存部分待处理报文，并基于所述部分待处理报文，利用入侵防御系统IPS软件，识别所述部分待处理报文对应的应用分类；基于所述部分待处理报文对应的应用分类，以及所述部分待处理报文的数据流特征，生成训练样本；
利用所述训练样本，对所述预测神经网络进行训练，以确定新的模型参数；
当确定满足预设条件时，触发所述预测神经网络加载所述新的模型参数。
根据本发明实施例的第二方面，提供一种神经网络增量学习装置，应用于智能交换机，所述装置包括：
接收单元，用于接收待处理报文；
提取单元，用于对所述待处理报文进行数据流特征提取；
第一确定单元，用于基于所提取的数据流特征，利用预测神经网络确定对应的应用分类；
保存单元，用于保存部分待处理报文；
第二确定单元，用于基于所述部分待处理报文，利用入侵防御系统IPS软件，识别所述部分待处理报文对应的应用分类；
生成单元，用于基于所述部分待处理报文对应的应用分类，以及所述部分待处理报文的数据流特征，生成训练样本；
训练单元，用于利用所述训练样本，对所述预测神经网络进行训练，以确定新的模型参数；
更新单元，用于当确定满足预设条件时，触发所述预测神经网络加载所述新的模型参数。
应用本发明公开的技术方案，当接收到待处理报文时，一方面，对所述待处理报文进行数据流特征提取，并基于所提取的数据流特征，利用预测神经网络确定对应的应用分类；另一方面，保存部分待处理报文，并基于部分待处理报文，利用IPS软件，识别该部分待处理报文对应的应用分类；基于该部分待处理报文对应的应用分类，以及该部分待处理报文的数据流特征，生成训练样本；进而，利用所生成的训练样本，对预测神经网络进行训练，以确定新的模型参数，并在确定满足预设条件时，触发预测神经网络加载新的模型参数，保证了网络模型的预测准确率。
附图说明
图1是本发明实施例提供的一种神经网络增量学习方法的流程示意图；
图2是一种典型的智能交换机的系统运行架构的示意图；
图3是一种典型的iSwitch线卡工作流程的示意图；
图4是本发明实施例提供的一种iSwitch线卡的结构示意图；
图5是本发明实施例提供的一种神经网络增量学习方法的流程示意图；
图6是本发明实施例提供的一种神经网络增量学习装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
请参见图1，为本发明实施例提供的一种神经网络增量学习方法的流程示意图，其中，该神经网络增量学习方法可以应用于智能交换机，如图1所示，该神经网络增量学习方法可以包括以下步骤：
步骤101、接收待处理报文。
本发明实施例中，待处理报文可以包括需要通过智能交换机进行AI处理的报文。
例如，SDN(Software Defined Network，软件自定义网络)控制器通知智能交换机处理的报文。
步骤102、对待处理报文进行数据流特征提取，并基于所提取的数据流特征，利用预测神经网络确定对应的应用分类。
本发明实施例中，对于接收到的待处理报文，智能交换机一方面可以对待处理报文进行数据流特征提取。
例如，智能交换机可以通过NetMate(一种网络流量采集分析软件)软件对接收到的待处理报文进行数据流特征提取。
示例性的，数据流特征可以包括但不限于报文的最小字节大小、报文的最大字节大小以及报文的平均字节大小等。
智能交换机可以将所提取的数据流特征，以输入向量的方式输入预测神经网络，以确定对应的应用分类。
步骤103、保存部分待处理报文，并基于该部分待处理报文，利用IPS软件，识别该部分待处理报文对应的应用分类。
本发明实施例中，考虑到IPS软件识别报文对应的应用分类的准确率比预测神经网络高，但是IPS软件的处理性能远低于智能交换机的实时处理需求，因此，智能交换机可以通过预测神经网络来识别应用分类，同时，通过IPS软件识别部分报文对应的应用分类，并结合所提取的数据流特征，生成新的训练样本，对预测神经网络的模型参数进行更新，保证预测神经网络的识别准确性不随时间的变化而降低。
相应地，对于接收到的待处理报文，智能交换机另一方面可以保存部分待处理报文，并利用IPS软件对所保存的待处理报文进行解析处理，识别出对应的数据流的应用分类，并记录在审计日志中。
作为一种可选的实施例，步骤103中，保存部分待处理报文，可以包括：
定期保存部分连续的待处理报文到Pcap(一种常用的数据包存储格式)文件。
相应地，步骤103中，基于部分待处理报文，利用IPS软件，生成审计日志，可以包括：
通过TCPplay软件，按照预设回放速率，将所述Pcap文件中保存的待处理报文输出给所述IPS软件，以使所述IPS软件基于深度报文检测方式，结合报文特征库对所保存的待处理报文进行解析处理，识别出对应的应用分类。
在该实施例中，考虑到IPS软件的处理性能较弱，其报文处理速率通常远低于智能交换机的实时处理需求，因此，对于需要利用IPS软件处理的报文，可以将其保存在Pacp文件中，并通过TCPreply软件，按照合适的速率(本文中称为预设回放速率)输出给IPS软件。
IPS软件可以基于DPI(Deep Packet Inspection，深度报文检测)方式，结合报文特征库，对所保存的待处理报文进行解析处理，识别出对应的应用分类，并记录在审计日志中。
步骤104、基于该部分待处理报文对应的应用分类，以及该部分待处理报文的数据流特征，生成训练样本。
本发明实施例中，智能交换设备可以基于IPS软件识别出的所保存的部分待处理报文的应用分类(如审计日志中记录的应用分类)，以及所保存的部分待处理报文的数据流特征，生成训练样本。
其中，对于任一数据流，基于该数据流的数据流特征以及应用分类，可以构成一条训练数据(即得到一个训练样本)。
在一个示例中，所保存的部分待处理报文的数据流特征可以从步骤102中所提取的数据流特征中获取。
在该示例中，在提取待处理报文的数据流特征时，对于需要保存的部分待处理报文，可以将所提取的该部分待处理报文的数据流特征也保存下来，进而，在步骤104中，可以基于步骤103中识别出的该部分待处理报文对应的应用分类，和步骤102中保存的数据流特征，生成训练样本。
在另一个示例中，对于所保存的部分待处理报文，可以通过NetMate软件提取该部分待处理报文的数据流特征。
作为一种可选的实施例中，智能交换机中可以以虚拟机的方式安装IPS软件。
在该实施例中，为了消除IPS软件与智能交换机中其他软件之间的耦合性，并避免对IPS软件进行适配修改，智能交换机可以以虚拟机的方式安装IPS软件，从而，智能交换机中的IPS软件和其他软件可以相当于运行在不同的虚拟机中，有效消除了IPS软件与其他软件之间的耦合性，且不需要针对其他软件对IPS软件进行适配修改。
步骤105、利用所生成的训练样本，对预测神经网络进行训练，以确定新的模型参数。
本发明实施例中，为了避免神经网络加载的模型数据库的有效性随着时间推移而逐渐下降，可以通过增量学习的方式来更新神经网络的模型数据库，保证网络模型的预测准确率。
此外，考虑到若每次均重新训练神经网络，则训练工作量会较大，训练时间会较长，因此，为了减少神经网络训练的时间消耗，可以使用当前使用的网络模型及其模型参数作为训练的初始值，进行神经网络训练。
相应地，智能交换机生成训练样本之后，可以利用所生成的训练样本，对当前使用的预测神经网络进行训练，确定新的模型参数。
需要说明的是，由于增量学习是一个持续性的过程，在增量学习的过程中，通常会有多次的模型参数更新(系统运行的时间越长，模型参数更新的次数通常会越大)，为了模型参数更新的效率，每一次确定新的模型参数时，均可以按照上述步骤中描述的方式生成训练样本，并使用当前使用的网络模型及模型参数作为训练的初始值，进行神经网络训练。
其中，若未进行过模型参数更新，则当前使用的网络模型及模型参数为缺省网络模型及模型参数；若进行过模型参数更新，则当前使用的网络模型及模型参数为最后一次更新后的网络模型及模型参数。
此外，在本发明实施例中，步骤102与步骤103～步骤105之间并不存在必然的时序关系，二者可以并发执行，即智能交换机一方面可以对待处理报文进行应用分类确定，另一方面，基于部分待处理报文确定新的模型参数。
步骤106、当确定满足预设条件时，触发预测神经网络加载新的模型参数。
本发明实施例中，智能交换机确定了新的模型参数时，可以在确定满足预设条件时，触发预测神经网络加载新的模型参数，进而，智能交换机可以利用加载了新的模型参数的神经网络确定待处理报文的应用分类。
在一个示例中，步骤106中，满足预设条件，可以包括：
当前时间达到预设模型参数更新时间。
在该示例中，可以预先设定进行模型参数更新的时间。例如，可以设置模型参数更新的周期。
当智能交换机确定当前时间达到预设模型参数更新时间时，智能交换机可以确定满足预设条件，并触发预测神经网络加载新的模型参数。
举例来说，假设预设的模型参数更新周期为T，则智能交换机可以在初始化运行之后，每隔时间T，进行一次模型参数更新。
在另一个示例中，步骤106中，满足预设条件，可以包括：
新的模型参数与当前使用的模型参数之间的差异满足预设条件。
在该示例中，智能交换机可以基于新的模型参数与当前使用的模型参数之间的差异确定是否需要触发模型参数更新。
示例性的，模型参数之间的差异可以通过各模型参数的差值的总和或均值来表征，或者，可以通过各模型参数的方差或标准差来表征。
举例来说，假设模型参数包括a、b和c，新的模型参数为a2、b2和c2，当前使用的模型参数为a1、b1和c1，则各模型参数的差值的总和为(a2-a1)+(b2-b1)+(c2-c1)。
可选地，为了避免模型参数更新过于频繁，可以在新的模型参数与当前使用的模型参数的差异较为明显(如差值的总和或均值大于预设阈值)时，确定新的模型参数与当前使用的模型参数之间的差异满足预设条件。
为了使本领域技术人员更好地理解本发明实施例提供的技术方案，下面先对智能交换机的系统运行架构以及智能交换机的工作流程进行简单说明。
在该实施例中，以智能交换机为部署有iSwitch线卡的交换机为例，iSwitch线卡用于实现AI处理。
请参见图2，为一种典型的智能交换机的系统运行架构的示意图，如图2所示，该智能交换机的系统运行架构中可以包括SDN控制器210、智能引擎(SeerEngine)220以及智能交换机230。
SDN控制器可以将需要进行AI处理的报文通知给智能交换机。
智能交换机通过iSwitch线卡对需要进行AI处理的报文进行数据流特征提取，并基于所提取的数据流特征，利用预测神经网络识别对应的应用分类，并将识别结果(即应用分类)上报给智能引擎。
智能引擎对智能交换机上报的识别结果进行数据记录，并提供给SDN控制器。
请参见图3，为一种典型的iSwitch线卡工作流程的示意图，如图3所示，iSwitch线卡工作流程如下：
1、iSwitch线卡接收待处理报文。
具体地，SDN控制器可以识别感兴趣的数据流，并通过下发流规则的方式将数据流重定向至iSwitch线卡。
2、iSwitch线卡通过NetMate对接收到的待处理报文进行数据流特征提取，并将所提取的数据流特征输入GPU(Graphics Processing Unit，图像处理器)中的预测神经网络。
3、iSwitch线卡的GPU利用预测神经网络对数据流特征进行处理，识别数据流的应用分类，并将识别结果保存至GPU内存。
4、iSwitch线卡的CPU(Center Process Unit，中央处理单元)，如x86 CPU，获取GPU内存中的识别结果，并上送给SDN控制器。
具体地，iSwitch线卡的CPU可以将识别结果上送给SeerEngine，由SeerEngine进行数据记录并提供给SDN控制器。
SDN控制器可以根据识别结果采取相应动作，如根据QoS(Quality of Service，服务质量)策略以及应用分类确定处理动作。
下面对本发明实施例提供的神经网络增量学习方案进行详细说明。
在该实施例中，iSwitch线卡上以虚拟机的方式安装有IPS软件。
如图4所示，iSwitch线卡可以包括前端211和后端212两部分，前端211为可以安装各种软件的Server，其包括至少一个CPU2111(以x86为例，图4中以包括1个x86为例)以及至少一个GPU2112(图4中以包括1个GPU为例)，前端所在的Server以虚拟机的方式安装有IPS软件。后端212包括交换芯片2121和CPU2122，负责将SDN通知给智能交换机处理的报文(即待处理报文)送给前端的x86。
需要说明的是，前端除了可以包括上述CPU和GPU之外，还可以包括PCH(PlatformController Hub，平台控制器集线器)、BMC(Baseboard Management Controller，基板管理控制器)等，其具体实现在此不做赘述。
iSwitch线卡的神经网络增量学习的实现流程如下：
过程1、x86接收待处理报文，一方面，定期将部分连续的待处理报文保存至Pcap文件中，另一方面，将全部待处理报文发送给NetMate软件。
过程2、x86将存储在Pcap文件中的报文发送给IPS软件，由IPS软件基于接收到的报文生成审计日志。
具体地，考虑到IPS软件的报文处理能力通常远小于iSwitch线卡的实时处理需求，因此，对于需要IPS软件处理的报文，可以先保存至Pcap报文中，并通过TCPreply软件，按照预设回放速率输出给IPS软件。
IPS软件可以基于DPI方式，结合报文特征库对报文进行解析处理，识别出数据流对应的应用分类，并记录到审计日志中。
过程3、NetMate软件提取待处理报文的数据流特征。
过程4、NetMate软件基于过程2中的生成的审计日志中记录的应用分类以及过程3中生成提取的数据流特征，生成训练样本。
在该实施例中，过程2和过程3可以并行执行，在过程3中，对于保存至Pcap报文中的部分报文的数据流特征，需要进行保存，进而，NetMate软件可以基于过程2中生成的审计日志中记录的应用分类以及过程3中提取的数据流特征，生成训练样本。
过程5、NetMate软件将过程3中提取的数据流特征以输入向量的方式传给GPU的预测神经网络来识别应用分类。
在该实施例中，利用预测神经分类识别应用分类与NetMate生成训练样本可以并行执行。
过程6、根据当前使用的网络模型及模型参数，利用过程4中生成的训练样本，训练得到新的模型参数。
过程7、当确定满足预设条件时，触发预测神经网络加载新的模型参数，完成本次增量学习过程，其实现流程可以如图5所示。
需要说明的是，当iSwitch线卡长时间运行时，可以按照上述方式进行多次增量学习，以避免神经网络加载的模型数据库的有效性随着时间推移而逐渐下降，保证网络模型的预测准确率。
通过以上描述可以看出，在本发明实施例提供的技术方案中，当接收到待处理报文时，一方面，对所述待处理报文进行数据流特征提取，并基于所提取的数据流特征，利用预测神经网络确定对应的应用分类；另一方面，保存部分待处理报文，并基于部分待处理报文，利用IPS软件，识别该部分待处理报文对应的应用分类；基于该部分待处理报文对应的应用分类，以及该部分待处理报文的数据流特征，生成训练样本；进而，利用所生成的训练样本，对预测神经网络进行训练，以确定新的模型参数，并在确定满足预设条件时，触发预测神经网络加载新的模型参数，保证了网络模型的预测准确率。
请参见图6，为本发明实施例提供的一种神经网络增量学习装置的结构示意图，其中，该神经网络增量学习装置可以应用于上述方法实施例中的智能交换机，如图6所示，该神经网络增量学习装置可以包括：
接收单元610，用于接收待处理报文；
提取单元620，用于对待处理报文进行数据流特征提取；
第一确定单元630，用于基于所提取的数据流特征，利用预测神经网络确定对应的应用分类；
保存单元640，用于保存部分待处理报文；
第二确定单元650，用于基于该部分待处理报文，利用入侵防御系统IPS软件，识别该部分待处理报文对应的应用分类；
生成单元660，用于基于该部分待处理报文对应的应用分类，以及该部分待处理报文的数据流特征，生成训练样本；
训练单元670，用于利用该训练样本，对预测神经网络进行训练，以确定新的模型参数；
更新单元680，用于当确定满足预设条件时，触发预测神经网络加载新的模型参数。
在可选实施例中，保存单元640，具体用于定期保存部分连续的待处理报文到Pcap文件；
第二确定单元650，具体用于通过TCPplay软件，按照预设回放速率，将Pcap文件中保存的待处理报文输出给IPS软件，以使IPS软件基于深度报文检测方式，结合报文特征库对所保存的待处理报文进行解析处理，识别出对应的应用分类。
在可选实施例中，智能交换机以虚拟机的方式安装IPS软件。
在可选实施例中，满足预设条件包括当前时间达到预设模型参数更新时间。
在可选实施例中，满足预设条件包括新的模型参数与当前使用的模型参数之间的差异满足预设条件。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
由上述实施例可见，当接收到待处理报文时，一方面，对所述待处理报文进行数据流特征提取，并基于所提取的数据流特征，利用预测神经网络确定对应的应用分类；另一方面，保存部分待处理报文，并基于部分待处理报文，利用IPS软件，识别该部分待处理报文对应的应用分类；基于该部分待处理报文对应的应用分类，以及该部分待处理报文的数据流特征，生成训练样本；进而，利用所生成的训练样本，对预测神经网络进行训练，以确定新的模型参数，并在确定满足预设条件时，触发预测神经网络加载新的模型参数，保证了网络模型的预测准确率。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (10)
1.一种神经网络增量学习方法，应用于智能交换机，其特征在于，所述方法包括：
接收待处理报文；
对所述待处理报文进行数据流特征提取，并基于所提取的数据流特征，利用预测神经网络确定对应的应用分类；以及，
保存部分待处理报文，并基于所述部分待处理报文，利用入侵防御系统IPS软件，识别所述部分待处理报文对应的应用分类；基于所述部分待处理报文对应的应用分类，以及所述部分待处理报文的数据流特征，生成训练样本；
利用所述训练样本，对所述预测神经网络进行训练，以确定新的模型参数；
当确定满足预设条件时，触发所述预测神经网络加载所述新的模型参数。
2.根据权利要求1所述的方法，其特征在于，所述保存部分待处理报文，包括：
定期保存部分连续的待处理报文到Pcap文件；
所述基于所述部分待处理报文，利用IPS软件，识别所述部分待处理报文对应的应用分类，包括：
通过TCPplay软件，按照预设回放速率，将所述Pcap文件中保存的待处理报文输出给所述IPS软件，以使所述IPS软件基于深度报文检测方式，结合报文特征库对所保存的待处理报文进行解析处理，识别出对应的应用分类。
3.根据权利要求1或2所述的方法，其特征在于，所述智能交换机以虚拟机的方式安装所述IPS软件。
4.根据权利要求1或2所述的方法，其特征在于，所述满足预设条件包括当前时间达到预设模型参数更新时间。
5.根据权利要求1或2所述的方法，其特征在于，所述满足预设条件包括新的模型参数与当前使用的模型参数之间的差异满足预设条件。
6.一种神经网络增量学习装置，应用于智能交换机，其特征在于，所述装置包括：
接收单元，用于接收待处理报文；
提取单元，用于对所述待处理报文进行数据流特征提取；
第一确定单元，用于基于所提取的数据流特征，利用预测神经网络确定对应的应用分类；
保存单元，用于保存部分待处理报文；
第二确定单元，用于基于所述部分待处理报文，利用入侵防御系统IPS软件，识别所述部分待处理报文对应的应用分类；
生成单元，用于基于所述部分待处理报文对应的应用分类，以及所述部分待处理报文的数据流特征，生成训练样本；
训练单元，用于利用所述训练样本，对所述预测神经网络进行训练，以确定新的模型参数；
更新单元，用于当确定满足预设条件时，触发所述预测神经网络加载所述新的模型参数。
7.根据权利要求6所述的装置，其特征在于，
所述保存单元，具体用于定期保存部分连续的待处理报文到Pcap文件；
所述第二确定单元，具体用于通过TCPplay软件，按照预设回放速率，将所述Pcap文件中保存的待处理报文输出给所述IPS软件，以使所述IPS软件基于深度报文检测方式，结合报文特征库对所保存的待处理报文进行解析处理，识别出对应的应用分类。
8.根据权利要求6或7所述的装置，其特征在于，所述智能交换机以虚拟机的方式安装所述IPS软件。
9.根据权利要求6或7所述的装置，其特征在于，所述满足预设条件包括当前时间达到预设模型参数更新时间。
10.根据权利要求6或7所述的装置，其特征在于，所述满足预设条件包括新的模型参数与当前使用的模型参数之间的差异满足预设条件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911014149.4A CN110782014A (zh) | 2019-10-23 | 2019-10-23 | 一种神经网络增量学习方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911014149.4A CN110782014A (zh) | 2019-10-23 | 2019-10-23 | 一种神经网络增量学习方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110782014A true CN110782014A (zh) | 2020-02-11 |
Family
ID=69386812
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911014149.4A Pending CN110782014A (zh) | 2019-10-23 | 2019-10-23 | 一种神经网络增量学习方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110782014A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112241836A (zh) * | 2020-10-10 | 2021-01-19 | 天津大学 | 一种基于增量学习的虚拟负荷主导参数辨识方法 |
| CN113326946A (zh) * | 2020-02-29 | 2021-08-31 | 华为技术有限公司 | 更新应用识别模型的方法、装置及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180115568A1 (en) * | 2016-10-21 | 2018-04-26 | Neusoft Corporation | Method and device for detecting network intrusion |
| CN109246027A (zh) * | 2018-09-19 | 2019-01-18 | 腾讯科技（深圳）有限公司 | 一种网络维护的方法、装置和终端设备 |
| US20190075123A1 (en) * | 2017-09-06 | 2019-03-07 | Rank Software Inc. | Systems and methods for cyber intrusion detection and prevention |
| CN109639655A (zh) * | 2018-11-30 | 2019-04-16 | 南京中新赛克科技有限责任公司 | 一种智能深度解析系统及解析方法 |
| CN109818976A (zh) * | 2019-03-15 | 2019-05-28 | 杭州迪普科技股份有限公司 | 一种异常流量检测方法及装置 |
| CN110289992A (zh) * | 2019-06-04 | 2019-09-27 | 新华三信息安全技术有限公司 | 一种报文处理方法及装置 |
-
2019
- 2019-10-23 CN CN201911014149.4A patent/CN110782014A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180115568A1 (en) * | 2016-10-21 | 2018-04-26 | Neusoft Corporation | Method and device for detecting network intrusion |
| US20190075123A1 (en) * | 2017-09-06 | 2019-03-07 | Rank Software Inc. | Systems and methods for cyber intrusion detection and prevention |
| CN109246027A (zh) * | 2018-09-19 | 2019-01-18 | 腾讯科技（深圳）有限公司 | 一种网络维护的方法、装置和终端设备 |
| CN109639655A (zh) * | 2018-11-30 | 2019-04-16 | 南京中新赛克科技有限责任公司 | 一种智能深度解析系统及解析方法 |
| CN109818976A (zh) * | 2019-03-15 | 2019-05-28 | 杭州迪普科技股份有限公司 | 一种异常流量检测方法及装置 |
| CN110289992A (zh) * | 2019-06-04 | 2019-09-27 | 新华三信息安全技术有限公司 | 一种报文处理方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 胡伟雄等: "机械故障信号的数学形态学分析与智能分类", 华中师范大学出版社, pages: 180 - 181 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113326946A (zh) * | 2020-02-29 | 2021-08-31 | 华为技术有限公司 | 更新应用识别模型的方法、装置及存储介质 |
| WO2021169294A1 (zh) * | 2020-02-29 | 2021-09-02 | 华为技术有限公司 | 更新应用识别模型的方法、装置及存储介质 |
| CN112241836A (zh) * | 2020-10-10 | 2021-01-19 | 天津大学 | 一种基于增量学习的虚拟负荷主导参数辨识方法 |
| CN112241836B (zh) * | 2020-10-10 | 2022-05-20 | 天津大学 | 一种基于增量学习的虚拟负荷主导参数辨识方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11522888B2 (en) | Anomaly detection and troubleshooting system for a network using machine learning and/or artificial intelligence | |
| US7778715B2 (en) | Methods and systems for a prediction model | |
| US20210027205A1 (en) | Machine learning for failure event identification & prediction | |
| US20210006505A1 (en) | A bursty traffic allocation method, device and proxy server | |
| US11570070B2 (en) | Network device classification apparatus and process | |
| Jalili et al. | Detection of distributed denial of service attacks using statistical pre-processor and unsupervised neural networks | |
| CN110782014A (zh) | 一种神经网络增量学习方法及装置 | |
| CN111753875A (zh) | 一种电力信息系统运行趋势分析方法、装置及存储介质 | |
| CN106452941A (zh) | 网络异常的检测方法及装置 | |
| CN105743699A (zh) | 一种虚拟化环境的故障预警方法及系统 | |
| CN110781950B (zh) | 一种报文处理方法及装置 | |
| CN109743286A (zh) | 一种基于图卷积神经网络的ip类型标记方法及设备 | |
| CN110691003A (zh) | 一种网络流量分类方法、装置和存储介质 | |
| CN111930526A (zh) | 负载预测方法、装置、计算机设备和存储介质 | |
| CN110943974B (zh) | 一种DDoS异常检测方法及云平台主机 | |
| CN109635104A (zh) | 数据分类标识方法、装置、计算机设备及可读存储介质 | |
| CN115730947A (zh) | 银行客户流失预测方法及装置 | |
| CN109067645B (zh) | 一种与nfv虚拟安全网关相连的网元设备 | |
| Gomez et al. | Traffic classification in IP networks through Machine Learning techniques in final systems | |
| CN108833304A (zh) | 云数据系统中报文的管理方法和装置 | |
| CN117151675B (zh) | 一种基于视频监控和加密的远程运维方法及系统 | |
| US11870863B2 (en) | Method for operating a network | |
| CN115713395A (zh) | 一种基于Flink的用户风控管理方法、装置及设备 | |
| CN114186637A (zh) | 流量识别方法、装置、服务器和存储介质 | |
| CN107820141B (zh) | 一种无源光网络业务流感知的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |