CN112702339A - 基于深度迁移学习的异常流量监测与分析方法和装置 - Google Patents

基于深度迁移学习的异常流量监测与分析方法和装置 Download PDF

Info

Publication number
CN112702339A
CN112702339A CN202011536026.XA CN202011536026A CN112702339A CN 112702339 A CN112702339 A CN 112702339A CN 202011536026 A CN202011536026 A CN 202011536026A CN 112702339 A CN112702339 A CN 112702339A
Authority
CN
China
Prior art keywords
data
analyzing
flow
migration learning
message content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011536026.XA
Other languages
English (en)
Inventor
潘宏波
周璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Hangzhou Information Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202011536026.XA priority Critical patent/CN112702339A/zh
Publication of CN112702339A publication Critical patent/CN112702339A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种基于深度迁移学习的异常流量监测与分析方法和装置，方法通过获取流量数据；对流量数据进行解析获得报文内容信息；将报文内容信息中的数据输入到预先采用迁移学习方法训练好的最终分类器中，从而将报文内容划分为非涉敏数据，涉敏数据两大类；对涉敏数据进行风险分析。本发明提出一种基于深度迁移学习的异常流量监测与分析方法，使用迁移学习方法可以提高分类识别的准确率，也避免直接遍历检索带来的巨大复杂度；且相比于传统的机器学习算法，迁移学习方法可以有效的避免丢弃已有标注样本带来的资源浪费。本方法有效的发现流量中的涉敏情况。此外还对涉敏的流量进行了系统的风险分析，具有很高的应用价值。

Description

基于深度迁移学习的异常流量监测与分析方法和装置
技术领域
本发明涉及流量监控领域，具体涉及一种基于深度迁移学习的异常流量监测与分析方法和装置。
背景技术
随着信息化的高速发展，形式多样、数据量庞大的网络信息充斥着网络，这样带来了许多网络信息安全以及敏感信息泄露等的问题，尤其对于企业内部的敏感信息泄露更为严重，这已经引起了许多企业的广泛关注。采取有效的方法对网络中传输的内容进行敏感信息识别及存在的潜在风险分析变得尤为重要。
近年来,网络流量分类技术已经成为维护网络安全的重要方法。由于基于端口和载荷的流分类方法不再适用于识别使用动态端口的应用以及加密数据应用,且不能有效的识别网络传输内容，且没有较为完善的异常流量分析方法。这使得研究点逐渐转移到使用统计特征及机器学习方法来对网络中的传输内容进行敏感级别分类。然而,目前的机器学习方法主要存在问题:当训练集与测试集的差异较大时,分类正确率低。
上述问题是目前亟待解决的。
发明内容
本发明所要解决的技术问题是提供一种基于深度迁移学习的异常流量监测与分析方法和装置。
本发明解决其技术问题所采用的技术方案是：提供了一种基于深度迁移学习的异常流量监测与分析方法，所述方法包括：
获取流量数据；
对流量数据进行解析获得报文内容信息；
将报文内容信息中的数据输入到预先采用迁移学习方法训练好的最终分类器中，从而将报文内容划分为非涉敏数据，涉敏数据两大类；
对涉敏数据进行风险分析。
进一步的，所述对流量数据进行解析获得报文内容信息的方法包括：
接收流量数据的流量包；
获取流量包的包头；
对包头进行特征提取，获取<源IP地址，源端口，目的IP地址，目的端口，和传输层协议>五元组数据；
依据传输层协议对流量包的数据进行解析生成报文内容信息。
进一步的，所述最终分类器的训练方法包括：
构建训练集；
计算初始参数；
调用最大熵模型MEM作为分类器，并通过初始参数对训练集进行划分；
通过划分结果对初始参数进行N次迭代后得到最终的分类器。
进一步的，所述构建训练集的方法包括：
获取历史报文信息为T0；
获取与流量数据同源的相关报文信息T1；
构建训练集T＝T0+T1。
进一步的，所述调用最大熵模型MEM作为分类器，并通过初始参数对训练集进行划分的方法包括：
根据训练集T和T上的权重分布Pt，获得分类器ht；
将训练集T中的样本X输入到分类器ht，对训练集中的每个样本进行分类。
进一步的，所述通过划分结果对初始参数进行N次迭代后得到最终的分类器的方法包括：
修改样本权重，若T0中的样本被错误分类，减小下一次迭代时该样本的权重，若T1中样本被错分，需要增大该样本的权重，从而获得最终的分类器。
进一步的，所述对涉敏数据进行风险分析的方法包括：
判断五元组是否未已报备通道，若未报备，存在敏感数据泄露的风险；若通道已报备，则对传输内容进行分析，是否与备案的内容，文件类型是否一致；
若报文中存在上传和下载操作，存在敏感数据高频操作和批量下载的风险；
对操作时间进行监控，在非工作时间的频繁操作，存在引起数据的泄露的风险；
对于存在风险的五元组通道，会给予告警，高频和批量操作的需要进行拦截。
本发明还提供了一种基于深度迁移学习的异常流量监测与分析装置，所述装置包括：
流量获取模块，适于获取流量数据；
解析模块，适于对流量数据进行解析获得报文内容信息；
分类模块，适于将报文内容信息中的数据输入到预先训练好的最终分类器中，从而将报文内容划分为非涉敏数据，涉敏数据两大类；
分析模块，适于对涉敏数据进行风险分析。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有一个或一个以上的指令，所述一个或一个以上的指令内的风险分析的装置的处理器执行时实现权利要求1至8中任一所述的基于深度迁移学习的异常流量监测与分析方法。
本发明还提供了一种电子设备，包括：存储器和处理器；所述存储器中存储有至少一条程序指令；所述处理器，通过加载并执行所述至少一条程序指令以实现上述的基于深度迁移学习的异常流量监测与分析方法。
本发明的有益效果是：本发明提出一种基于深度迁移学习的异常流量监测与分析方法，可适用于绝大多数企业内部网络的监控和可能存在的风险分析。使用迁移学习方法可以提高分类识别的准确率，也避免直接遍历检索带来的巨大复杂度；且相比于传统的机器学习算法，迁移学习方法可以有效的避免丢弃已有标注样本带来的资源浪费。本方法有效的发现流量中的涉敏情况。此外还对涉敏的流量进行了系统的风险分析，这对企业内部网络的监控和分析管理具有很高的应用价值。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1是本发明实施例所提供的基于深度迁移学习的异常流量监测与分析方法的流程图。
图2是图1中步骤S120的硬件原理框图。
图3是图1中步骤S120的子步骤流程图。
图4是图1中步骤S130的子步骤流程图。
图5是本发明实施例所提供的基于深度迁移学习的异常流量监测与分析装置的原理框图。
图6时本发明实施例所提供的电子设备的部分原理框图。
具体实施方式
现在结合附图对本发明作详细的说明。此图为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
实施例1
请参阅图1，本发明提供了一种基于深度迁移学习的异常流量监测与分析方法。可适用于绝大多数企业内部网络的监控和可能存在的风险分析。使用迁移学习方法可以提高分类识别的准确率，也避免直接遍历检索带来的巨大复杂度；且相比于传统的机器学习算法，迁移学习方法可以有效的避免丢弃已有标注样本带来的资源浪费。本方法有效的发现流量中的涉敏情况。此外还对涉敏的流量进行了系统的风险分析，这对企业内部网络的监控和分析管理具有很高的应用价值。所述方法包括：
S110：获取流量数据；
其中，流量数据的来源有网卡流量、镜像流量等。
S120：对流量数据进行解析获得报文内容信息。
请参阅图2及图3，在本实施例中，步骤S120包括：
S121：接收流量数据的流量包；
其中，接收流量数据的方式有DPDK，PCAP，UDP socket等。
S122：获取流量包的包头；
其中，通过二层解析，获取流量包的包头。
S123：对包头进行特征提取，获取<源IP地址，源端口，目的IP地址，目的端口，和传输层协议>五元组数据。
其中，通过三层解析，获取包头中的五元组数据。
S124：依据传输层协议对流量包的数据进行解析生成报文内容信息。
具体地，通过超时管理，对流量包中的IP进行管理，并存入流管理中，超时管理在接收到一个流量包开始时，获取流量包的一些，将流量包的协议存入流管理中，在后续的预设时间内，不进行协议获取，此时通过检测器配置协议给应用层解析，应用层解析依据接收的传输层协议对对流量包的数据进行解析生成报文内容信息输出。
S130：将报文内容信息中的数据输入到预先采用迁移学习方法训练好的最终分类器中，从而将报文内容划分为非涉敏数据，涉敏数据两大类。
具体的，请参阅图4，所述最终分类器的训练方法包括：
S131：构建训练集。
具体来说，步骤S131包括：
获取历史报文信息为T0；
获取与流量数据同源的相关报文信息T1；
构建训练集T＝T0+T1。
其中，历史报文信息T0中设置有批注，即将历史报文信息中的涉敏信息进行标注。历史报文信息与被监测的流量数据之间的存在差异，在对异常流量监测时，获取部分异常流量的报文信息作为与流量数据同源的相关报文信息T1，并T1中的涉敏信息进行批注。
S132：计算初始参数。
具体来说，步骤S132：所述计算初始参数的方法包括：
计算训练集中每个样本的初始权重wi 1，
Figure BDA0002853496560000061
依据初始权重Wi 1计算初始化权重向量W1＝(w1 1，……，w1 n+m)，其中，n为T0样本数、m为T1样本数；
计算初始权重因子β以及在训练集T上的初始权重分布Pt，计算公式如下；
Figure BDA0002853496560000062
其中N为总迭代次数，t为当前迭代次数，初始时，迭代次数t＝1。
S133：调用最大熵模型MEM作为分类器，并通过初始参数对训练集进行划分。
具体来说，调用最大熵模型MEM作为分类器，并通过初始参数对训练集进行划分，即：根据训练集T和在T上的权重分布Pt，获得分类器ht：X→Y；将训练集T中的样本X输入到分类器ht：X→Y，对训练集中的每个样本进行分类。
S134：通过划分结果对初始参数进行N次迭代后得到最终的分类器。
具体来说，步骤S134：通过划分结果对初始参数进行N次迭代后得到最终的分类器包括：计算ht在T1上的错误率：
Figure BDA0002853496560000071
其中，c(xi)为调优函数；
计算T1上的βt，公式如下：
Figure BDA0002853496560000072
修改样本权重，若T0中的样本被错误分类，需要乘以一个
Figure BDA0002853496560000073
Figure BDA0002853496560000074
以减小样本的权重，若T1中样本被错分，需要乘以一个
Figure BDA0002853496560000075
以增大该样本的权重；其中，T0中的样本被错误分类通标注进行判断，T1中的样本被错误分类通过将涉敏样本与数据库中的敏感关键字进行对比，敏感关键字，包括但不仅限于，实体身份证明，自然人身份标识、终端设备资料等。在其他实施例中，也可以通过人工进行判断。
若ht(xi)＝c(xi)，令ht(xi)-c(xi)＝C；若ht(xi)≠c(xi)则令|ht(xi)-c(xi)|＝1；下次迭代中每个样本的权重如下：
Figure BDA0002853496560000076
本次迭代的分类器的表达式为：
Figure BDA0002853496560000077
对训练集中的每个样本进行分类，本次迭代完成；
令t＝t+1,进行下一次迭代，直至t＝N，N次迭代的分类器的表达式为：
Figure BDA0002853496560000081
S140：对涉敏数据进行风险分析。
具体来说，步骤S140：包括：判断五元组是否未已报备通道，若未报备，存在敏感数据泄露的风险；若通道已报备，则对传输内容进行分析，是否与备案的内容，文件类型是否一致；
若报文中存在上传和下载操作，存在敏感数据高频操作和批量下载的风险；
对操作时间进行监控，在非工作时间的频繁操作，存在引起数据的泄露的风险；
对于存在风险的五元组通道，会给予告警，高频和批量操作的需要进行拦截。
实施例2
请参阅图5，本发明实施例还提供了一种基于深度迁移学习的异常流量监测与分析装置。所述装置包括：流量获取模块、解析模块、分类模块以及分析模块。
流量获取模块，适于获取流量数据。具体来说，其中，流量数据的来源有网卡流量、镜像流量等，可以用来执行实施例1中的步骤S110。
解析模块，适于对流量数据进行解析获得报文内容信息。具体来说，包括以下功能，接收流量数据的流量包，其中，接收流量数据的方式有DPDK，PCAP，UDP socket等；获取流量包的包头，其中，通过二层解析，获取流量包的包头；对包头进行特征提取，获取<源IP地址，源端口，目的IP地址，目的端口，和传输层协议>五元组数据，其中，通过三层解析，获取包头中的五元组数据；依据传输层协议对流量包的数据进行解析生成报文内容信息，具体地，通过超时管理，对流量包中的IP进行管理，并存入流管理中，超时管理在接收到一个流量包开始时，获取流量包的一些，将流量包的协议存入流管理中，在后续的预设时间内，不进行协议获取，此时通过检测器配置协议给应用层解析，应用层解析依据接收的传输层协议对对流量包的数据进行解析生成报文内容信息输出。
分类模块，适于将报文内容信息中的数据输入到预先训练好的最终分类器中，从而将报文内容划分为非涉敏数据，涉敏数据两大类。其中，对最终分类器进行分类包括以下步骤：
S131：构建训练集。
具体来说，步骤S131包括：
获取历史报文信息为T0；
获取与流量数据同源的相关报文信息T1；
构建训练集T＝T0+T1。
其中，历史报文信息T0中设置有批注，即将历史报文信息中的涉敏信息进行标注。历史报文信息与被监测的流量数据之间的存在差异，在对异常流量监测时，获取部分异常流量的报文信息作为与流量数据同源的相关报文信息T1，并T1中的涉敏信息进行批注。
S132：计算初始参数。
具体来说，步骤S132：所述计算初始参数的方法包括：
计算训练集中每个样本的初始权重wi 1，
Figure BDA0002853496560000091
依据初始权重Wi 1计算初始化权重向量W1＝(w1 1，……，w1 n+m)，其中，n为T0样本数、m为T1样本数；
计算初始权重因子β以及在训练集T上的初始权重分布Pt，计算公式如下；
Figure BDA0002853496560000101
其中N为总迭代次数，t为当前迭代次数，初始时，迭代次数t＝1。
S133：调用最大熵模型MEM作为分类器，并通过初始参数对训练集进行划分。
具体来说，调用最大熵模型MEM作为分类器，并通过初始参数对训练集进行划分，即：根据训练集T和在T上的权重分布Pt，获得分类器ht：X→Y；将训练集T中的样本X输入到分类器ht：X→Y，对训练集中的每个样本进行分类。
S134：通过划分结果对初始参数进行N次迭代后得到最终的分类器。
具体来说，步骤S134：通过划分结果对初始参数进行N次迭代后得到最终的分类器包括：计算ht在T1上的错误率：
Figure BDA0002853496560000102
其中，c(xi)为调优函数；
计算T1上的βt，公式如下：
Figure BDA0002853496560000103
修改样本权重，若T0中的样本被错误分类，需要乘以一个
Figure BDA0002853496560000104
Figure BDA0002853496560000105
以减小样本的权重，若T1中样本被错分，需要乘以一个
Figure BDA0002853496560000106
以增大该样本的权重；其中，T0中的样本被错误分类通标注进行判断，T1中的样本被错误分类通过将涉敏样本与数据库中的敏感关键字进行对比，敏感关键字，包括但不仅限于，实体身份证明，自然人身份标识、终端设备资料等。在其他实施例中，也可以通过人工进行判断。
若ht(xi)＝c(xi)，令ht(xi)-c(xi)＝C；若ht(xi)≠c(xi)则令|ht(xi)-c(xi)|＝1；下次迭代中每个样本的权重如下：
Figure BDA0002853496560000111
本次迭代的分类器的表达式为：
Figure BDA0002853496560000112
对训练集中的每个样本进行分类，本次迭代完成；
令t＝t+1,进行下一次迭代，直至t＝N，N次迭代的分类器的表达式为：
Figure BDA0002853496560000113
分析模块，适于对涉敏数据进行风险分析。具体来说，包括但不仅限于以下几种分析途径：
判断五元组是否未已报备通道，若未报备，存在敏感数据泄露的风险；若通道已报备，则对传输内容进行分析，是否与备案的内容，文件类型是否一致；
若报文中存在上传和下载操作，存在敏感数据高频操作和批量下载的风险；
对操作时间进行监控，在非工作时间的频繁操作，存在引起数据的泄露的风险；
对于存在风险的五元组通道，会给予告警，高频和批量操作的需要进行拦截。
实施例3
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有一个或一个以上的指令，所述一个或一个以上的指令内的风险分析的装置的处理器执行时实现如上述的基于深度迁移学习的异常流量监测与分析方法。
本实施方式中，在对异常流量测与分析时，获取流量数据，对流量数据进行解析获得报文内容信息，将报文内容信息中的数据输入到预先采用迁移学习方法训练好的最终分类器中，从而将报文内容划分为非涉敏数据，涉敏数据两大类，对涉敏数据进行风险分析。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
实施例4
请参阅图6，本发明实施例还提供了一种电子设备，包括：存储器502和处理器501；所述存储器502中存储有至少一条程序指令；所述处理器501，通过加载并执行所述至少一条程序指令以实现如实施例1所提供的的基于深度迁移学习的异常流量监测与分析方法。
存储器502和处理器501采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器501和存储器502的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器501处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器501。
处理器501负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器502可以被用于存储处理器501在执行操作时所使用的数据。
综上所述，本发明提供了一种基于深度迁移学习的异常流量监测与分析方法和装置，其中，基于深度迁移学习的异常流量监测与分析方法包括：获取流量数据；对流量数据进行解析获得报文内容信息；将报文内容信息中的数据输入到预先采用迁移学习方法训练好的最终分类器中，从而将报文内容划分为非涉敏数据，涉敏数据两大类；对涉敏数据进行风险分析。本发明提出一种基于深度迁移学习的异常流量监测与分析方法，可适用于绝大多数企业内部网络的监控和可能存在的风险分析。使用迁移学习方法可以提高分类识别的准确率，也避免直接遍历检索带来的巨大复杂度；且相比于传统的机器学习算法，迁移学习方法可以有效的避免丢弃已有标注样本带来的资源浪费。本方法有效的发现流量中的涉敏情况。此外还对涉敏的流量进行了系统的风险分析，这对企业内部网络的监控和分析管理具有很高的应用价值。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关的工作人员完全可以在不偏离本发明的范围内，进行多样的变更以及修改。本项发明的技术范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (10)

1.一种基于深度迁移学习的异常流量监测与分析方法，其特征在于，所述方法包括：
获取流量数据；
对流量数据进行解析获得报文内容信息；
将报文内容信息中的数据输入到预先采用迁移学习方法训练好的最终分类器中，从而将报文内容划分为非涉敏数据，涉敏数据两大类；
对涉敏数据进行风险分析。
2.如权利要求1所述的基于深度迁移学习的异常流量监测与分析方法，其特征在于，所述对流量数据进行解析获得报文内容信息的方法包括：
接收流量数据的流量包；
获取流量包的包头；
对包头进行特征提取，获取<源IP地址，源端口，目的IP地址，目的端口，和传输层协议>五元组数据；
依据传输层协议对流量包的数据进行解析生成报文内容信息。
3.如权利要求1所述的基于深度迁移学习的异常流量监测与分析方法，其特征在于，所述最终分类器的训练方法包括：
构建训练集；
计算初始参数；
调用最大熵模型MEM作为分类器，并通过初始参数对训练集进行划分；
通过划分结果对初始参数进行N次迭代后得到最终的分类器。
4.如权利要求3所述的基于深度迁移学习的异常流量监测与分析方法，其特征在于，所述构建训练集的方法包括：
获取历史报文信息为T0；
获取与流量数据同源的相关报文信息T1；
构建训练集T＝T0+T1。
5.如权利要求4所述的基于深度迁移学习的异常流量监测与分析方法，其特征在于，所述调用最大熵模型MEM作为分类器，并通过初始参数对训练集进行划分的方法包括：
根据训练集T和T上的权重分布Pt，获得分类器ht；
将训练集T中的样本X输入到分类器ht，对训练集中的每个样本进行分类。
6.如权利要求5所述的基于深度迁移学习的异常流量监测与分析方法，其特征在于，所述通过划分结果对初始参数进行N次迭代后得到最终的分类器的方法包括：
修改样本权重，若T0中的样本被错误分类，减小下一次迭代时该样本的权重，若T1中样本被错分，需要增大该样本的权重，从而获得最终的分类器。
7.如权利要求2所述的基于深度迁移学习的异常流量监测与分析方法，其特征在于，所述对涉敏数据进行风险分析的方法包括：
判断五元组是否未已报备通道，若未报备，存在敏感数据泄露的风险；若通道已报备，则对传输内容进行分析，是否与备案的内容，文件类型是否一致；
若报文中存在上传和下载操作，存在敏感数据高频操作和批量下载的风险；
对操作时间进行监控，在非工作时间的频繁操作，存在引起数据的泄露的风险；
对于存在风险的五元组通道，会给予告警，高频和批量操作的需要进行拦截。
8.一种基于深度迁移学习的异常流量监测与分析装置，其特征在于，所述装置包括：
流量获取模块，适于获取流量数据；
解析模块，适于对流量数据进行解析获得报文内容信息；
分类模块，适于将报文内容信息中的数据输入到预先训练好的最终分类器中，从而将报文内容划分为非涉敏数据，涉敏数据两大类；
分析模块，适于对涉敏数据进行风险分析。
9.一种计算机可读存储介质，所述计算机可读存储介质中存储有一个或一个以上的指令，其特征在于，所述一个或一个以上的指令内的风险分析的装置的处理器执行时实现权利要求1至8中任一所述的基于深度迁移学习的异常流量监测与分析方法。
10.一种电子设备，其特征在于，包括：存储器和处理器；所述存储器中存储有至少一条程序指令；所述处理器，通过加载并执行所述至少一条程序指令以实现权利要求1-7中任一项所述的基于深度迁移学习的异常流量监测与分析方法。
CN202011536026.XA 2020-12-23 2020-12-23 基于深度迁移学习的异常流量监测与分析方法和装置 Pending CN112702339A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011536026.XA CN112702339A (zh) 2020-12-23 2020-12-23 基于深度迁移学习的异常流量监测与分析方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011536026.XA CN112702339A (zh) 2020-12-23 2020-12-23 基于深度迁移学习的异常流量监测与分析方法和装置

Publications (1)

Publication Number Publication Date
CN112702339A true CN112702339A (zh) 2021-04-23

Family

ID=75509330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011536026.XA Pending CN112702339A (zh) 2020-12-23 2020-12-23 基于深度迁移学习的异常流量监测与分析方法和装置

Country Status (1)

Country Link
CN (1) CN112702339A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486345A (zh) * 2021-07-16 2021-10-08 国电内蒙古东胜热电有限公司 具有风险识别的监督预警方法及系统
CN113783754A (zh) * 2021-09-13 2021-12-10 北京天融信网络安全技术有限公司 性能测试方法、装置、系统、测试设备及存储介质
CN115514681A (zh) * 2022-09-16 2022-12-23 北京天融信网络安全技术有限公司 一种测试设备稳定性的方法、装置、系统、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103620581A (zh) * 2011-03-01 2014-03-05 赛门铁克公司 用于执行机器学习的用户界面和工作流
CN105681276A (zh) * 2015-12-25 2016-06-15 亿阳安全技术有限公司 一种敏感信息泄露主动监控与责任认定方法与装置
CN107291737A (zh) * 2016-04-01 2017-10-24 腾讯科技（深圳）有限公司 敏感图像识别方法及装置
US20190073483A1 (en) * 2014-03-20 2019-03-07 Amazon Technologies, Inc. Identifying sensitive data writes to data stores
CN110321873A (zh) * 2019-07-12 2019-10-11 苏州惠邦医疗科技有限公司 基于深度学习卷积神经网络的敏感图片识别方法及系统
CN110717189A (zh) * 2019-09-29 2020-01-21 支付宝(杭州)信息技术有限公司 数据泄露识别方法、装置及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103620581A (zh) * 2011-03-01 2014-03-05 赛门铁克公司 用于执行机器学习的用户界面和工作流
US20190073483A1 (en) * 2014-03-20 2019-03-07 Amazon Technologies, Inc. Identifying sensitive data writes to data stores
CN105681276A (zh) * 2015-12-25 2016-06-15 亿阳安全技术有限公司 一种敏感信息泄露主动监控与责任认定方法与装置
CN107291737A (zh) * 2016-04-01 2017-10-24 腾讯科技（深圳）有限公司 敏感图像识别方法及装置
CN110321873A (zh) * 2019-07-12 2019-10-11 苏州惠邦医疗科技有限公司 基于深度学习卷积神经网络的敏感图片识别方法及系统
CN110717189A (zh) * 2019-09-29 2020-01-21 支付宝(杭州)信息技术有限公司 数据泄露识别方法、装置及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
梅灿华等: ""一种基于最大熵模型的加权归纳迁移学习方法"", 《计算机研究与发展》, vol. 48, no. 9, 30 September 2011 (2011-09-30), pages 1722 - 1728 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486345A (zh) * 2021-07-16 2021-10-08 国电内蒙古东胜热电有限公司 具有风险识别的监督预警方法及系统
CN113486345B (zh) * 2021-07-16 2022-08-16 国电内蒙古东胜热电有限公司 具有风险识别的监督预警方法及系统
CN113783754A (zh) * 2021-09-13 2021-12-10 北京天融信网络安全技术有限公司 性能测试方法、装置、系统、测试设备及存储介质
CN113783754B (zh) * 2021-09-13 2023-09-26 北京天融信网络安全技术有限公司 性能测试方法、装置、系统、测试设备及存储介质
CN115514681A (zh) * 2022-09-16 2022-12-23 北京天融信网络安全技术有限公司 一种测试设备稳定性的方法、装置、系统、设备及介质

Similar Documents

Publication Publication Date Title
CN112702339A (zh) 基于深度迁移学习的异常流量监测与分析方法和装置
US9471457B2 (en) Predictive alert threshold determination tool
US11625640B2 (en) Distributed random forest training with a predictor trained to balance tasks
CN104601565B (zh) 一种智能优化规则的网络入侵检测分类方法
US20200211721A1 (en) METHOD AND APPARATUS FOR DETERMINING AN IDENTITY OF AN UNKNOWN INTERNET-OF-THINGS (IoT) DEVICE IN A COMMUNICATION NETWORK
CN109842513A (zh) 网络异常事件分析装置、方法及其电脑存储介质
US10924418B1 (en) Systems and methods for fast detection of elephant flows in network traffic
CN109818961B (zh) 一种网络入侵检测方法、装置和设备
CN109861957A (zh) 一种移动应用私有加密协议的用户行为精细化分类方法及系统
US20140032450A1 (en) Classifying unclassified samples
CN108540338A (zh) 基于深度循环神经网络的应用层通信协议识别的方法
US20210165964A1 (en) System and method for monitoring and routing of computer traffic for cyber threat risk embedded in electronic documents
CN113704389A (zh) 一种数据评估方法、装置、计算机设备及存储介质
Kiran et al. Detecting anomalous packets in network transfers: investigations using PCA, autoencoder and isolation forest in TCP
CN110020665A (zh) 一种兼容不同飞行质谱仪的微生物质谱数据分析方法
US11847187B2 (en) Device identification device, device identification method, and device identification program
CN104468276A (zh) 基于随机抽样多分类器的网络流量识别方法
CN112688897A (zh) 一种流量识别的方法、装置、存储介质及电子设备
CN112860531B (zh) 基于深度异构图神经网络的区块链广泛共识性能评测方法
CN115348190A (zh) 一种物联网设备检测方法、系统和设备
CN114021637A (zh) 一种基于度量空间下去中心化应用加密流量分类方法及装置
Saberkari et al. Fully automated complementary DNA microarray segmentation using a novel fuzzy-based algorithm
CN111835541B (zh) 一种流量识别模型老化检测方法、装置、设备及系统
Bezerra et al. A precise flow representation for autonomous IoT-devices reconnaissance
CN116996527B (zh) 一种汇聚分流器数据同步的方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210423