CN110781950B - 一种报文处理方法及装置 - Google Patents

一种报文处理方法及装置 Download PDF

Info

Publication number
CN110781950B
CN110781950B CN201911013505.0A CN201911013505A CN110781950B CN 110781950 B CN110781950 B CN 110781950B CN 201911013505 A CN201911013505 A CN 201911013505A CN 110781950 B CN110781950 B CN 110781950B
Authority
CN
China
Prior art keywords
data stream
application classification
application
message
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911013505.0A
Other languages
English (en)
Other versions
CN110781950A (zh
Inventor
王明辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Security Technologies Co Ltd
Original Assignee
New H3C Security Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Security Technologies Co Ltd filed Critical New H3C Security Technologies Co Ltd
Priority to CN201911013505.0A priority Critical patent/CN110781950B/zh
Publication of CN110781950A publication Critical patent/CN110781950A/zh
Application granted granted Critical
Publication of CN110781950B publication Critical patent/CN110781950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/10—Packet switching elements characterised by the switching fabric construction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种报文处理方法及装置，该方法包括：接收待处理报文；对所述待处理报文进行数据流特征提取，并基于所提取的数据流特征，利用预测神经网络确定对应的数据流的第一应用分类；对于任一数据流，从所述待处理报文中获取该数据流的预设数量的报文，基于该数据流的所述预设数量的报文，利用IPS软件，识别该数据流的第二应用分类，并保存该数据流的第二应用分类；当需要对数据流的第一应用分类进行上报时，若所保存的该数据流的第二应用分类与该数据流的第一应用分类不同，则对该数据流的第二应用分类进行上报。应用本发明实施例可以保证上报的数据流的应用分类的准确性。

Description

一种报文处理方法及装置
技术领域
本发明涉及网络通信技术领域，尤其涉及一种报文处理方法及装置。
背景技术
随着互联网技术和AI(Artificial Intelligence，人工智能)技术的高速发展，互联网技术和AI技术的结合应用成为热门研究方向。
智能交换机是普通交换机与AI结合的产品。通过普通交换机与AI结合，使智能交换机在普通交换机的功能上，额外增加了AI处理能力。
目前，智能交换机主要通过神经网络实现AI处理，神经网络的高效工作有赖于所加载的模型数据库的有效性，而由于互联网流量的构成会随着时间的推移而发生变化，网络模型的预测准确率也会相应下降，因此，神经网络加载的模型数据库的有效性会随着时间推移而逐渐下降，进而，神经网络的预测结果可能会存在不正确的情况，这种错误的预测结果会导致后续流程中得出错误的分析结论。
发明内容
本发明提供一种报文处理方法及装置，以解决现有智能交换机中神经网络加载的预测结果的准确性会随着时间推移而逐渐下降的问题。
根据本发明实施例的第一方面，提供一种报文处理方法，应用于智能交换机，该方法包括：
接收待处理报文；
对所述待处理报文进行数据流特征提取，并基于所提取的数据流特征，利用预测神经网络确定对应的数据流的第一应用分类；
对于任一数据流，从所述待处理报文中获取该数据流的预设数量的报文，基于该数据流的所述预设数量的报文，利用入侵防御系统IPS软件，识别该数据流的第二应用分类，并保存该数据流的第二应用分类；
当需要对数据流的第一应用分类进行上报时，对于待上报的任一数据流，若未保存该数据流的第二应用分类，或，所保存的该数据流的第二应用分类与该数据流的第一应用分类相同，则对该数据流的第一应用分类进行上报；若所保存的该数据流的第二应用分类与该数据流的第一应用分类不同，则对该数据流的第二应用分类进行上报。
根据本发明实施例的第一方面，提供一种报文处理装置，应用于智能交换机，该装置包括：
接收单元，用于接收待处理报文；
提取单元，用于对所述待处理报文进行数据流特征提取；
第一确定单元，用于基于所提取的数据流特征，利用预测神经网络确定对应的数据流的第一应用分类；
获取单元，用于对于任一数据流，从所述待处理报文中获取该数据流的预设数量的报文；
第二确定单元，用于基于该数据流的所述预设数量的报文，利用入侵防御系统IPS软件，识别该数据流的第二应用分类；
保存单元，用于保存该数据流的第二应用分类；
上报单元，用于当需要对数据流的第一应用分类进行上报时，对于待上报的任一数据流，若未保存该数据流的第二应用分类，或，所保存的该数据流的第二应用分类与该数据流的第一应用分类相同，则对该数据流的第一应用分类进行上报；若所保存的该数据流的第二应用分类与该数据流的第一应用分类不同，则对该数据流的第二应用分类进行上报。
应用本发明公开的技术方案，当接收到待处理报文时，一方面，对所述待处理报文进行数据流特征提取，并基于所提取的数据流特征，利用预测神经网络确定对应的数据流的第一应用分类；另一方面，对于任一数据流，从待处理报文中获取数据流的预设数量的报文，基于该数据流的预设数量的报文，利用IPS软件，识别该数据流的第二应用分类，并保存该数据流的第二应用分类，进而，当需要对数据流的第一应用分类进行上报时，对于待上报的任一数据流，若未保存该数据流的第二应用分类，或，所保存的该数据流的第二应用分类与该数据流的第一应用分类相同，则对该数据流的第一应用分类进行上报；若所保存的该数据流的第二应用分类与该数据流的第一应用分类不同，则对该数据流的第二应用分类进行上报，保证了上报的数据流的应用分类的准确性。
附图说明
图1是本发明实施例提供的一种报文处理方法的流程示意图；
图2是一种典型的智能交换机的系统运行架构的示意图；
图3是一种典型的iSwitch线卡工作流程的示意图；
图4是本发明实施例提供的一种iSwitch线卡的结构示意图；
图5是本发明实施例提供的一种报文处理方法的流程示意图；
图6是本发明实施例提供的一种报文处理装置的结构示意图；
图7是本发明实施例提供的另一种报文处理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
请参见图1，为本发明实施例提供的一种报文处理方法的流程示意图，其中，该报文处理方法可以应用于智能交换机，如图1所示，该报文处理方法可以包括以下步骤：
步骤101、接收待处理报文。
本发明实施例中，待处理报文可以包括需要通过智能交换机进行AI处理的报文。
例如，SDN(Software Defined Network，软件自定义网络)控制器通知智能交换机处理的报文。
步骤102、对待处理报文进行数据流特征提取，并基于所提取的数据流特征，利用预测神经网络确定对应的数据流的第一应用分类。
本发明实施例中，对于接收到的待处理报文，智能交换机一方面可以对待处理报文进行数据流特征提取。
例如，智能交换机可以通过NetMate(一种网络流量采集分析软件)软件对接收到的待处理报文进行数据流特征提取。
其中，Netmate软件可以根据待处理报文的五元组信息，将待处理报文划分为不同的数据流，并提取待处理报文的数据流特征。
示例性的，数据流特征可以包括但不限于报文的最小字节大小、报文的最大字节大小以及报文的平均字节大小等。
智能交换机可以将所提取的数据流特征，以输入向量的方式输入预测神经网络，以确定对应的数据流的应用分类(本文中称为第一应用分类)。
步骤103、对于任一数据流，从接收到的待处理报文中获取该数据流的预设数量的报文，基于该数据流的预设数量的报文，利用IPS软件，识别该数据流的第二应用分类，并保存该数据流的第二应用分类。
本发明实施例中，对于接收到的待处理报文，智能交换机另一方面可以利用IPS软件识别待处理报文所属数据流的应用分类(本文中称为第二应用分类)。
考虑到IPS软件的处理性能远低于智能交换机的实时处理需求，因此，对于任一数据流，可以从接收到的待处理报文中获取该数据流的预设数量的报文(该预设数量的报文为接收到的待处理报文中属于该数据流的部分待处理报文)，基于该数据流的预设数量的报文，利用IPS(Intrusion Prevention System，入侵检测系统)软件，识别该数据流的第二应用分类，并保存该数据流的第二应用分类。
示例性的，上述预设数量可以根据IPS软件的处理性能设定，在保证IPS软件基于该预设数量的报文能够准确识别出对应的数据流的第二应用分类的情况下，可以减少IPS软件需要处理的报文的数量，提高IPS软件识别数据流的应用分类的效率。
例如，该预设数量可以为30个，即对于任一数据流，智能交换机可以从接收到的待处理报文中获取30个(如前30个)该数据流的报文，并将该30个该数据流的报文输出给IPS软件，由IPS软件识别该数据流的第二应用分类。
需要说明的是，在本发明实施例中，步骤102和步骤103可以并行执行。
在一种可能的实施例中，智能交换机中可以以虚拟机的方式安装IPS软件。
在该实施例中，为了消除IPS软件与智能交换机中其他软件之间的耦合性，并避免对IPS软件进行适配修改，智能交换机可以以虚拟机的方式安装IPS软件，从而，智能交换机中的IPS软件和其他软件可以相当于运行在不同的虚拟机中，有效消除了IPS软件与其他软件之间的耦合性，且不需要针对其他软件对IPS软件进行适配修改。
步骤104、当需要对数据流的第一应用分类进行上报时，对于待上报的任一数据流，若未保存该数据流的第二应用分类，或，所保存的该数据流的第二应用分类与该数据流的第一应用分类相同，则对该数据流的第一应用分类进行上报；若所保存的该数据流的第二应用分类与该数据流的第一应用分类不同，则对该数据流的第二应用分类进行上报。
本发明实施例中，对于预测神经网络确定的数据流的第一应用分类，智能交换机可以按照预设上报策略上报给智能引擎(Seer Engine)，便于Seer Engine基于更新后的分类进行分析，使分析结果更加准确。
例如，智能交换机可以周期性地将预设神经网络确定的数据流的第一应用分类上报给智能引擎。
本发明实施例中，当智能交换机需要对数据流的第一应用分类进行上报时，如达到预设应用分类上报周期时，对于待上报的任一数据流，智能交换机可以查询是否保存有该数据流的第二应用分类，即确定IPS软件是否已经识别出该数据流的第二应用分类。
示例性的，由于预测神经网络实时进行数据流的第一应用分类的确定，而IPS软件需要获取到预设数量的同一数据流的报文时，才能进行第二应用分类的识别。此外，考虑到对于经过加密的报文，利用IPS软件可能无法识别出对应的数据流的第二应用分类。因此，对于某些数据流，当需要上报该数据流的第一应用分类时，可能并未保存该数据流的第二应用分类。
相应地，在本发明实施例中，对于待上报的任一数据流，若智能交换机未保存该数据流的第二应用分类，则智能交换机可以上报该数据流的第一应用分类。
若智能交换机保存了该数据流的第二应用分类，则智能交换机可以比较数据流的第一应用分类和第二分类。
考虑到IPS软件的处理性能虽然较低，但是其识别的数据流的应用分类的准确性通常会高于预测神经网络确定的数据流的应用分类，因此，对于同一数据流，当IPS软件识别的应用分类(即上述第二应用分类)与预测神经网络确定的应用分类(即上述第一应用分类)不同时，可以根据IPS软件识别的第二应用分类对预测神经网络确定的第一应用分类进行误差更正。
相应地，当智能交换机确定所保存的数据流的第二应用分类和预测神经网络确定的该数据流的第一应用分类相同时，智能交换机可以上报该应用数据流的第一应用分类；当智能交换机确定所保存的数据流的第二应用分类和预测神经网络确定的该数据流的第一应用分类不同时，智能交换机可以根据第二应用分类对预测神经网络确定的该数据流的第一应用分类进行误差更正，并上报该数据流的第二应用分类。
可见，在图1所示方法流程中，通过利用IPS软件识别数据流的应用分类，并基于IPS软件所识别的数据流的应用分类对预测神经网络确定的数据流的应用分类进行误差更正，保证了预测神经网络的预测结果的准确性随时间推移而下降的情况下，最终上报的应用分类的准确性。
在一种可能的实施例中，上述识别数据流的第二应用分类之后，还可以包括：
基于该数据流的第二应用分类，以及所提取的该数据流的数据流特征，生成训练样本；
利用训练样本，对预测神经网络进行训练，以确定新的模型参数；
当确定满足预设条件时，触发预测神经网络加载新的模型参数。
在该实施例中，考虑到IPS软件的处理性能远低于智能交换机的实时处理需求，对于某数据流，在IPS软件识别出该数据流的第二应用分类之前，智能交换机向智能引擎上报的该数据流的应用分类仍为预测神经网络确定的第一应用分类，当预测神经网络加载的模型数据库的有效性随着时间推移而逐渐下降，进而导致预测神经网络的预测结果的准确性下降时，智能交换机向智能引擎上报的第一应用分类的准确性会较低，从而，可能会导致智能引擎得出错误的分析结论。
因此，为了提高智能交换机上报的应用分类的准确性，还可以通过增量学习的方式来更新神经网络的模型数据库，保证网络模型的预测准确率。
此外，考虑到若每次均重新训练神经网络，则训练工作量会较大，训练时间会较长，因此，为了减少神经网络训练的时间消耗，可以使用当前使用的网络模型及其模型参数作为训练的初始值，进行神经网络训练。
相应地，对于任一数据流，当智能交换机利用IPS软件识别出了该数据流的第二应用分类时，智能交换机可以基于该数据流的第二应用分类，以及所提取的该数据流的数据流特征，生成训练样本。
其中，对于任一数据流，基于该数据流的数据流特征以及应用分类，可以构成一条训练数据(即得到一个训练样本)。
智能交换机可以基于生成的训练样本，对当前使用的预测神经网络进行训练，确定新的模型参数。
需要说明的是，由于增量学习是一个持续性的过程，在增量学习的过程中，通常会有多次的模型参数更新(系统运行的时间越长，模型参数更新的次数通常会越大)，为了模型参数更新的效率，每一次确定新的模型参数时，均可以按照上述步骤中描述的方式生成训练样本，并使用当前使用的网络模型及模型参数作为训练的初始值，进行神经网络训练。
其中，若未进行过模型参数更新，则当前使用的网络模型及模型参数为缺省网络模型及模型参数；若进行过模型参数更新，则当前使用的网络模型及模型参数为最后一次更新后的网络模型及模型参数。
智能交换机确定了新的模型参数时，可以在确定满足预设条件时，触发预测神经网络加载新的模型参数，进而，智能交换机可以利用加载了新的模型参数的神经网络确定待处理报文对应的数据流的第一应用分类。
在一个示例中，满足预设条件，可以包括：
当前时间达到预设模型参数更新时间。
在该示例中，可以预先设定进行模型参数更新的时间。例如，可以设置模型参数更新的周期。
当智能交换机确定当前时间达到预设模型参数更新时间时，智能交换机可以确定满足预设条件，并触发预测神经网络加载新的模型参数。
举例来说，假设预设的模型参数更新周期为T，则智能交换机可以在初始化运行之后，每隔时间T，进行一次模型参数更新。
在另一个示例中，满足预设条件，可以包括：
新的模型参数与当前使用的模型参数之间的差异满足预设条件。
在该示例中，智能交换机可以基于新的模型参数与当前使用的模型参数之间的差异确定是否需要触发模型参数更新。
示例性的，模型参数之间的差异可以通过各模型参数的差值的总和或均值来表征，或者，可以通过各模型参数的方差或标准差来表征。
举例来说，假设模型参数包括a、b和c，新的模型参数为a2、b2和c2，当前使用的模型参数为a1、b1和c1，则各模型参数的差值的总和为(a2-a1)+(b2-b1)+(c2-c1)。
可选地，为了避免模型参数更新过于频繁，可以在新的模型参数与当前使用的模型参数的差异较为明显(如差值的总和或均值大于预设阈值)时，确定新的模型参数与当前使用的模型参数之间的差异满足预设条件。
需要说明的是，在本发明实施例中，为了优化预测神经网络的训练效果，步骤104中，智能交换机可以记录第一应用分类和第二应用分类不同的数据流的信息，在进行预测神经网络训练时，对于该第一应用分类和第二应用分类不同的数据流对应的训练样本，可以提高其进行训练的频次(增加使用该数据流的训练样本对预测神经网络进行训练的次数)，即着重利用第一应用分类和第二应用分类不同的数据流对应的训练样本对预测神经网络进行训练，提高预测神经网络对该数据流的应用分类的预测的准确性。
在一种可能的实施例中，上述报文处理方法还可以包括：
对于任一数据流，若当前时间与上一次接收到该数据流的报文的时间的差值大于预设时间间隔，则删除所保存的该数据流的第二应用分类。
在该实施例中，考虑到每个应用均存在一定的存续时间，当应用关闭时，该应用的数据流也会相应被关闭，即不会接收到该应用的数据流，此时，智能交换机所保存的该数据流的相关信息也不会再被使用。
因此，为了提高资源利用率，避免无用数据对智能交换机的存储资源和处理性能的消耗，可以对无用数据进行清理。
相应地，对于任一数据流，智能交换机可以统计未接收到该数据流的报文的时间，即统计当前时间与上一次接收到该数据流的报文的时间(即最近一次接收到该数据流的报文的时间)的差值，若该差值大于预设时间间隔(可以根据实际场景设定)，则确定该数据流超时，此时，智能交换机可以删除所保存的该数据流的第二应用分类。
需要说明的是，智能交换机的NetMate软件还会保存处理过的数据流的管理信息，如数据流的五元组信息等，当智能交换机确定某数据流超时，除了可以删除所保存的该数据流的第二应用分类，还可以删除所保存的该数据流的管理信息。
为了使本领域技术人员更好地理解本发明实施例提供的技术方案，下面先对智能交换机的系统运行架构以及智能交换机的工作流程进行简单说明。
在该实施例中，以智能交换机为部署有iSwitch线卡的交换机为例，iSwitch线卡用于实现AI处理。
请参见图2，为一种典型的智能交换机的系统运行架构的示意图，如图2所示，该智能交换机的系统运行架构中可以包括SDN控制器210、智能引擎(SeerEngine)220以及智能交换机230。
SDN控制器可以将需要进行AI处理的报文通知给智能交换机。
智能交换机通过iSwitch线卡对需要进行AI处理的报文进行数据流特征提取，并基于所提取的数据流特征，利用预测神经网络识别对应的应用分类(即上述第一应用分类)，并将识别结果(即第一应用分类)上报给智能引擎。
智能引擎对智能交换机上报的识别结果进行数据记录，并提供给SDN控制器。
请参见图3，为一种典型的iSwitch线卡工作流程的示意图，如图3所示，iSwitch线卡工作流程如下：
1、iSwitch线卡接收待处理报文。
具体地，SDN控制器可以识别感兴趣的数据流，并通过下发流规则的方式将数据流重定向至iSwitch线卡。
2、iSwitch线卡通过NetMate对接收到的待处理报文进行数据流特征提取，并将所提取的数据流特征输入GPU(Graphics Processing Unit，图像处理器)中的预测神经网络。
3、iSwitch线卡的GPU利用预测神经网络对数据流特征进行处理，识别数据流的应用分类(即第一应用分类)，并将识别结果保存至GPU内存。
4、iSwitch线卡的CPU(Center Process Unit，中央处理单元)，如x86 CPU，获取GPU内存中的识别结果，并上送给SDN控制器。
具体地，iSwitch线卡的CPU可以将识别结果上送给SeerEngine，由SeerEngine进行数据记录并提供给SDN控制器。
SDN控制器可以根据识别结果采取相应动作，如根据QoS(Quality of Service，服务质量)策略以及应用分类确定处理动作。
下面对本发明实施例提供的神经网络增量学习方案进行详细说明。
在该实施例中，iSwitch线卡上以虚拟机的方式安装有IPS软件。
如图4所示，iSwitch线卡可以包括前端211和后端212两部分，前端211为可以安装各种软件的Server，其包括至少一个CPU2111(以x86为例，图4中以包括1个x86为例)以及至少一个GPU2112(图4中以包括1个GPU为例)，前端所在的Server以虚拟机的方式安装有IPS软件。后端212包括交换芯片2121和CPU2122，负责将SDN通知给智能交换机处理的报文(即待处理报文)送给前端的x86。
需要说明的是，前端除了可以包括上述CPU和GPU之外，还可以包括PCH(PlatformController Hub，平台控制器集线器)、BMC(Baseboard Management Controller，基板管理控制器)等，其具体实现在此不做赘述。
iSwitch线卡的神经网络增量学习的实现流程如下：
过程1、x86接收待处理报文，将接收到的待处理报文发送给NetMate软件。
过程2、NetMate软件一方面提取待处理报文的数据流特征，另一方面，对于任一数据流，获取该数据流的30个连续的报文，输出给IPS软件进行应用分类识别。
具体地，NetMate软件根据待处理报文的5元组，将待处理报文划分为不同的数据流，对这些数据流进行数据流特征提取。
对于任一数据流，获取该数据流的30个连续的报文(待处理报文)，输出给IPS软件。
IPS设备基于DPI(Deep Packet Inspection，深度报文检测)方式，结合报文特征库对报文进行解析处理，识别出数据流对应的应用分类(上述第二应用分类)，并保存数据流的第二应用分类。
过程3、NetMate软件基于过程2中所提取的数据流特征，以及IPS软件识别的数据流的第二应用分类，生成训练样本。
过程4、根据当前使用的网络模型及模型参数，利用过程3中生成的训练样本，训练得到新的模型参数。
过程5、当确定满足预设条件时，触发预测神经网络加载新的模型参数，实现增量学习。
需要说明的是，当iSwitch线卡长时间运行时，可以按照上述方式进行多次增量学习，以避免神经网络加载的模型数据库的有效性随着时间推移而逐渐下降，保证网络模型的预测准确率。
过程6、NetMate软件将过程2中提取的数据流特征以输入向量的方式传给GPU的预测神经网络来识别应用分类(上述第一应用分类)。
过程7、对于任一数据流，基于过程2中保存的第二应用分类，对过程6中得到的第一应用分类进行误差更正，其实现流程可以如图5所示。
具体地，对于任一数据流，可以比较预测神经网络确定的该数据流的第一应用分类和所保存的IPS软件识别的第二应用分类；若相同，则保持第一应用分类不变，即向智能引擎上报该数据流的第一应用分类；若不同，则以所保存的IPS软件识别的第二应用分类为准，即向智能引擎上报该数据流的第二应用分类。
需要说明的是，对于任一数据流，若未保存该数据流的第二应用分类，则上报该数据流的第一应用分类。
在该实施例中，过程3～5和过程6～7可以并行执行，即智能交换机可以一方面对预测神经网络进行增量学习；另一方面，可以基于IPS软件识别的数据流的第二应用分类，对预测神经网络预测的数据流的第一应用分类进行误差更正。
通过以上描述可以看出，在本发明实施例提供的技术方案中，当接收到待处理报文时，一方面，对所述待处理报文进行数据流特征提取，并基于所提取的数据流特征，利用预测神经网络确定对应的数据流的第一应用分类；另一方面，对于任一数据流，从待处理报文中获取数据流的预设数量的报文，基于该数据流的预设数量的报文，利用IPS软件，识别该数据流的第二应用分类，并保存该数据流的第二应用分类，进而，当需要对数据流的第一应用分类进行上报时，对于待上报的任一数据流，若未保存该数据流的第二应用分类，或，所保存的该数据流的第二应用分类与该数据流的第一应用分类相同，则对该数据流的第一应用分类进行上报；若所保存的该数据流的第二应用分类与该数据流的第一应用分类不同，则对该数据流的第二应用分类进行上报，保证了上报的数据流的应用分类的准确性。
请参见图6，为本发明实施例提供的一种报文处理装置的结构示意图，其中，该报文处理装置可以应用于上述方法实施例中的智能交换机，如图6所示，该报文处理装置可以包括：
接收单元610，用于接收待处理报文；
提取单元620，用于对待处理报文进行数据流特征提取；
第一确定单元630，用于基于所提取的数据流特征，利用预测神经网络确定对应的数据流的第一应用分类；
获取单元640，用于对于任一数据流，从待处理报文中获取该数据流的预设数量的报文；
第二确定单元650，用于基于该数据流的该预设数量的报文，利用入侵防御系统IPS软件，识别该数据流的第二应用分类；
保存单元660，用于保存该数据流的第二应用分类；
上报单元670，用于当需要对数据流的第一应用分类进行上报时，对于待上报的任一数据流，若未保存该数据流的第二应用分类，或，所保存的该数据流的第二应用分类与该数据流的第一应用分类相同，则对该数据流的第一应用分类进行上报；若所保存的该数据流的第二应用分类与该数据流的第一应用分类不同，则对该数据流的第二应用分类进行上报。
在可选实施例中，请一并参见图7，为本发明实施例提供的另一种报文处理装置的结构示意图，如图7所示，在图6所示装置的基础上，图7所示报文处理装置还包括：
生成单元680，用于基于该数据流的第二应用分类，以及所提取的该数据流的数据流特征，生成训练样本；
训练单元690，用于利用该训练样本，对预测神经网络进行训练，以确定新的模型参数；
更新单元700，用于当确定满足预设条件时，触发预测神经网络加载新的模型参数。
在可选实施例中，满足预设条件包括：
当前时间达到预设模型参数更新时间；或/和，新的模型参数与当前使用的模型参数之间的差异满足预设条件。
在可选实施例中，智能交换机以虚拟机的方式安装IPS软件。
在可选实施例中，保存单元660，还用于对于任一数据流，若当前时间与上一次接收到该数据流的报文的时间的差值大于预设时间间隔，则删除所保存的该数据流的第二应用分类。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
由上述实施例可见，当接收到待处理报文时，一方面，对所述待处理报文进行数据流特征提取，并基于所提取的数据流特征，利用预测神经网络确定对应的数据流的第一应用分类；另一方面，对于任一数据流，从待处理报文中获取数据流的预设数量的报文，基于该数据流的预设数量的报文，利用IPS软件，识别该数据流的第二应用分类，并保存该数据流的第二应用分类，进而，当需要对数据流的第一应用分类进行上报时，对于待上报的任一数据流，若未保存该数据流的第二应用分类，或，所保存的该数据流的第二应用分类与该数据流的第一应用分类相同，则对该数据流的第一应用分类进行上报；若所保存的该数据流的第二应用分类与该数据流的第一应用分类不同，则对该数据流的第二应用分类进行上报，保证了上报的数据流的应用分类的准确性。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种报文处理方法，应用于智能交换机，其特征在于，所述方法包括：
接收待处理报文；所述待处理报文包括需要通过智能交换机进行人工智能AI处理的报文；
对所述待处理报文进行数据流特征提取，并基于所提取的数据流特征，利用预测神经网络确定对应的数据流的第一应用分类；其中，所述第一应用分类是基于所提取的数据流特征，利用预测神经网络进行应用分类识别的识别结果；
对于任一数据流，从所述待处理报文中获取该数据流的预设数量的报文，基于该数据流的所述预设数量的报文，利用入侵防御系统IPS软件，识别该数据流的第二应用分类，并保存该数据流的第二应用分类；其中，所述第二应用分类是利用IPS软件对该数据流进行应用分类识别的识别结果；
当需要对数据流的第一应用分类进行上报时，对于待上报的任一数据流，若未保存该数据流的第二应用分类，或，所保存的该数据流的第二应用分类与该数据流的第一应用分类相同，则对该数据流的第一应用分类进行上报；若所保存的该数据流的第二应用分类与该数据流的第一应用分类不同，则对该数据流的第二应用分类进行上报。
2.根据权利要求1所述的方法，其特征在于，所述识别该数据流的第二应用分类之后，还包括：
基于该数据流的第二应用分类，以及所提取的该数据流的数据流特征，生成训练样本；
利用所述训练样本，对所述预测神经网络进行训练，以确定新的模型参数；
当确定满足预设条件时，触发所述预测神经网络加载所述新的模型参数。
3.根据权利要求2所述的方法，其特征在于，所述满足预设条件包括：
当前时间达到预设模型参数更新时间；或/和，新的模型参数与当前使用的模型参数之间的差异满足预设条件。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述智能交换机以虚拟机的方式安装所述IPS软件。
5.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
对于任一数据流，若当前时间与上一次接收到该数据流的报文的时间的差值大于预设时间间隔，则删除所保存的该数据流的第二应用分类。
6.一种报文处理装置，应用于智能交换机，其特征在于，所述装置包括：
接收单元，用于接收待处理报文；所述待处理报文包括需要通过智能交换机进行人工智能AI处理的报文；
提取单元，用于对所述待处理报文进行数据流特征提取；
第一确定单元，用于基于所提取的数据流特征，利用预测神经网络确定对应的数据流的第一应用分类；
获取单元，用于对于任一数据流，从所述待处理报文中获取该数据流的预设数量的报文；其中，所述第一应用分类是基于所提取的数据流特征，利用预测神经网络进行应用分类识别的识别结果；
第二确定单元，用于基于该数据流的所述预设数量的报文，利用入侵防御系统IPS软件，识别该数据流的第二应用分类；其中，所述第二应用分类是利用IPS软件对该数据流进行应用分类识别的识别结果；
保存单元，用于保存该数据流的第二应用分类；
上报单元，用于当需要对数据流的第一应用分类进行上报时，对于待上报的任一数据流，若未保存该数据流的第二应用分类，或，所保存的该数据流的第二应用分类与该数据流的第一应用分类相同，则对该数据流的第一应用分类进行上报；若所保存的该数据流的第二应用分类与该数据流的第一应用分类不同，则对该数据流的第二应用分类进行上报。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
生成单元，用于基于该数据流的第二应用分类，以及所提取的该数据流的数据流特征，生成训练样本；
训练单元，用于利用所述训练样本，对所述预测神经网络进行训练，以确定新的模型参数；
更新单元，用于当确定满足预设条件时，触发所述预测神经网络加载所述新的模型参数。
8.根据权利要求7所述的装置，其特征在于，所述满足预设条件包括：
当前时间达到预设模型参数更新时间；或/和，新的模型参数与当前使用的模型参数之间的差异满足预设条件。
9.根据权利要求6-8任一项所述的装置，其特征在于，所述智能交换机以虚拟机的方式安装所述IPS软件。
10.根据权利要求6-8任一项所述的装置，其特征在于，
所述保存单元，还用于对于任一数据流，若当前时间与上一次接收到该数据流的报文的时间的差值大于预设时间间隔，则删除所保存的该数据流的第二应用分类。
CN201911013505.0A 2019-10-23 2019-10-23 一种报文处理方法及装置 Active CN110781950B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911013505.0A CN110781950B (zh) 2019-10-23 2019-10-23 一种报文处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911013505.0A CN110781950B (zh) 2019-10-23 2019-10-23 一种报文处理方法及装置

Publications (2)

Publication Number Publication Date
CN110781950A CN110781950A (zh) 2020-02-11
CN110781950B true CN110781950B (zh) 2023-06-30

Family

ID=69386704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911013505.0A Active CN110781950B (zh) 2019-10-23 2019-10-23 一种报文处理方法及装置

Country Status (1)

Country Link
CN (1) CN110781950B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111404833B (zh) * 2020-02-28 2022-04-12 华为技术有限公司 一种数据流类型识别模型更新方法及相关设备
CN114418128B (zh) * 2022-03-25 2022-07-29 新华三人工智能科技有限公司 一种模型部署的方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967311A (zh) * 2017-11-20 2018-04-27 阿里巴巴集团控股有限公司 一种对网络数据流进行分类的方法和装置
CN108667747A (zh) * 2018-04-28 2018-10-16 深圳信息职业技术学院 网络流应用类型识别的方法、装置及计算机可读存储介质
RU2018135235A (ru) * 2018-10-05 2018-11-19 Общество с ограниченной ответственностью "Алгоритм" Система классификации трафика
CN109063777A (zh) * 2018-08-07 2018-12-21 北京邮电大学 网络流量分类方法、装置及实现装置
CN109639655A (zh) * 2018-11-30 2019-04-16 南京中新赛克科技有限责任公司 一种智能深度解析系统及解析方法
CN109818976A (zh) * 2019-03-15 2019-05-28 杭州迪普科技股份有限公司 一种异常流量检测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967311A (zh) * 2017-11-20 2018-04-27 阿里巴巴集团控股有限公司 一种对网络数据流进行分类的方法和装置
CN108667747A (zh) * 2018-04-28 2018-10-16 深圳信息职业技术学院 网络流应用类型识别的方法、装置及计算机可读存储介质
CN109063777A (zh) * 2018-08-07 2018-12-21 北京邮电大学 网络流量分类方法、装置及实现装置
RU2018135235A (ru) * 2018-10-05 2018-11-19 Общество с ограниченной ответственностью "Алгоритм" Система классификации трафика
CN109639655A (zh) * 2018-11-30 2019-04-16 南京中新赛克科技有限责任公司 一种智能深度解析系统及解析方法
CN109818976A (zh) * 2019-03-15 2019-05-28 杭州迪普科技股份有限公司 一种异常流量检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种多分类器联合的集成网络流量分类方法;孔蓓蓓 等;《计算机工程与应用》;20130915;第49卷(第17期);论文摘要、第2节 *

Also Published As

Publication number Publication date
CN110781950A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
US20220006825A1 (en) Cognitive neuro-linguistic behavior recognition system for multi-sensor data fusion
US20210058424A1 (en) Anomaly detection for microservices
US20180260621A1 (en) Picture recognition method and apparatus, computer device and computer- readable medium
US11102641B2 (en) SIM card status determination method and SIM card status determination device
US11570070B2 (en) Network device classification apparatus and process
US20030004902A1 (en) Outlier determination rule generation device and outlier detection device, and outlier determination rule generation method and outlier detection method thereof
KR20220114986A (ko) 가상 네트워크 관리를 위한 머신 러닝 기반 vnf 이상 탐지 시스템 및 방법
CN112640380A (zh) 用于对事件的输入流进行异常检测的设备和方法
CN110781950B (zh) 一种报文处理方法及装置
CN109684320B (zh) 监测数据在线清洗的方法和设备
CN111753875A (zh) 一种电力信息系统运行趋势分析方法、装置及存储介质
CN111563560A (zh) 基于时序特征学习的数据流分类方法及装置
CN110389840B (zh) 负载消耗预警方法、装置、计算机设备和存储介质
CN114500659A (zh) 用于近实时云基础设施策略实现和管理的方法和主机装置
CN110782014A (zh) 一种神经网络增量学习方法及装置
CN113497785B (zh) 恶意加密流量检测方法、系统、存储介质和云端服务器
CN110138638B (zh) 一种网络流量的处理方法及装置
CN113282920A (zh) 日志异常检测方法、装置、计算机设备和存储介质
KR102516412B1 (ko) 기계학습 추론을 위한 gpu 클럭 조절 방법 및 장치
CN114186637A (zh) 流量识别方法、装置、服务器和存储介质
CN114266288A (zh) 一种网元检测方法及相关装置
CN107566187B (zh) 一种sla违例监测方法、装置和系统
CN113079063A (zh) 充电设备的离线判断方法、系统、设备及计算机存储介质
CN116208513A (zh) 网关的健康度预测方法及装置
CN103455525A (zh) 基于用户的搜索推广行为确定推广帐号状态的方法与设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant