CN111885011A - 一种业务数据网络安全分析挖掘的方法及系统 - Google Patents

一种业务数据网络安全分析挖掘的方法及系统 Download PDF

Info

Publication number
CN111885011A
CN111885011A CN202010633324.4A CN202010633324A CN111885011A CN 111885011 A CN111885011 A CN 111885011A CN 202010633324 A CN202010633324 A CN 202010633324A CN 111885011 A CN111885011 A CN 111885011A
Authority
CN
China
Prior art keywords
attack
data
model
service
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010633324.4A
Other languages
English (en)
Other versions
CN111885011B (zh
Inventor
吴寒平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Fuyun'an Operation Technology Co ltd
Original Assignee
Beijing Fuyun'an Operation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Fuyun'an Operation Technology Co ltd filed Critical Beijing Fuyun'an Operation Technology Co ltd
Priority to CN202010633324.4A priority Critical patent/CN111885011B/zh
Publication of CN111885011A publication Critical patent/CN111885011A/zh
Application granted granted Critical
Publication of CN111885011B publication Critical patent/CN111885011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种业务数据网络安全分析挖掘的方法及系统，解决现有的网络攻击检测分析平台多为单纯检测出网络攻击，不能根据指定业务或指定用户，有针对性地检测网络攻击，也不能结合场景分析，给出针对性的防御策略的问题，可针对指定的业务或用户检测攻击和场景挖掘，并加入了模型训练功能，使得检测效果更好。

Description

一种业务数据网络安全分析挖掘的方法及系统
技术领域
本申请涉及网络安全技术领域，尤其涉及一种业务数据网络安全分析挖掘的方法及系统。
背景技术
现有的网络攻击检测分析平台多为单纯检测出网络攻击，不能根据指定业务或指定用户，有针对性地检测网络攻击，也不能结合场景分析，给出针对性的防御策略，使得用户无法有效地利用检测结果。
因此，急需一种针对性的网络安全分析挖掘方法及系统。
发明内容
本发明的目的在于提供一种业务数据网络安全分析挖掘的方法及系统，解决现有的网络攻击检测分析平台多为单纯检测出网络攻击，不能根据指定业务或指定用户，有针对性地检测网络攻击，也不能结合场景分析，给出针对性的防御策略的问题，可针对指定的业务或用户检测攻击和场景挖掘，并加入了模型训练功能，使得检测效果更好。
第一方面，本申请提供一种业务数据网络安全分析挖掘方法，所述方法包括：
接收一个或一个以上的数据源提交的网络信息，每一个数据源的网络信息携带有若干种业务的相关数据，解析所述网络信息中的字段信息，从所述字段信息中提取出业务标识，以及与业务标识对应的用户标识，将业务标识相同的数据聚合，将用户标识相同的数据聚合；
所述聚合得到的数据为指定业务、或指定用户的数据，是从一个或一个以上的数据源提交的网络信息中将指定业务、或指定用户对应的数据整合；
根据业务标识或用户标识，动态确定对应的检测参数和检测规则，由检测参数和检测规则确定待提取的特征向量的类型和权重，提取聚合后数据的特征向量，将得到的特征向量组成多维度检测样本，将所述多维度检测样本送入机器学习模型，检测所述多维度检测样本中是否包括第一攻击向量；
根据检测规则确定模拟攻击的类型，根据检测参数确定若干种模拟攻击的复合度，构建模拟攻击模型，所述模拟攻击模型包括由检测规则确定的若干种攻击，将所述若干种攻击按照检测参数的要求进行不同权重的复合，训练所述模拟攻击模型；
将所述模拟攻击模型作为对抗性网络的生成器，所述生成器的输出流量不间断地与真实网络攻击流量一并送入判别器；如果判别结果为真时，判别器将相似度信息反馈给生成器；如果判别结果为假时，判别器将相似度信息、真实网络攻击流量的特征向量一并反馈给生成器，所述生成器根据判别器的反馈结果调整模拟攻击模型的复合度，再次生成新的输出流量；直到当所述判别器得到的判别结果为真的比率大于预先设置的阈值时，所述模拟攻击模型训练结束，将所述模拟攻击模型接入机器学习模型，更新所述机器学习模型的样本库；
当检测出所述多维度检测样本中包括第一攻击向量时，将对应聚合后的数据拆分为若干个数据片段，将所述数据片段再次送入机器学习模型，检测所述数据片段中是否包括第二攻击向量；若检测出所述数据片段中包括第二攻击向量，则将该数据片段标记为异常，异常数据片段所属的网络节点或终端标记为异常点，分析若干个异常数据片段之间是否存在逻辑关联；如果所述若干个异常数据片段之间存在逻辑关联，则将其所对应的异常点建立前后关联关系，标记为攻击轨迹中的一个途径点；
将所述前后关联关系、途径点、第二攻击向量输入场景挖掘模型，所述场景挖掘模型调用服务器的规则数据库，根据所述业务标识或用户标识查询到对应的规则，运用指定的数据挖掘算法找出所述前后关联关系、途径点、第二攻击向量对应的场景信息；所述场景信息包括局域网信息、途径节点、跨网信息、攻击传播、攻击面范围、业务信息、时间范围中一种或若干种组合；
根据所述场景信息制定对应的防御策略，形成攻击溯源图，所述防御策略包括终端防御、中间防御和源头防御，所述中间防御为根据攻击传播路径，找出威胁度最高的中间节点，休眠该威胁度最高的中间节点，打断攻击传播的路径。
结合第一方面，在第一方面第一种可能的实现方式中，所述将对应聚合后的数据拆分为若干个数据片段，可根据业务类型、访问动作确定拆分的长度。
结合第一方面，在第一方面第二种可能的实现方式中，所述分析若干个异常数据片段之间是否存在逻辑关联包括：分析数据片段所属业务是否存在关联、或业务是否相同，分析相关节点是否在潜在传播路径上，分析数据片段所属用户是否相同、或用户之间是否存在关系链。
结合第一方面，在第一方面第三种可能的实现方式中，所述形成攻击溯源图后还包括：得出针对不同业务或不同用户的风险评估、防御策略，所述防御策略还根据业务或用户分为若干种等级。
第二方面，本申请提供一种业务数据网络安全分析挖掘系统，所述系统包括：预处理单元、检测单元、模型训练单元和场景挖掘单元；
所述预处理单元，用于接收一个或一个以上的数据源提交的网络信息，每一个数据源的网络信息携带有若干种业务的相关数据，解析所述网络信息中的字段信息，从所述字段信息中提取出业务标识，以及与业务标识对应的用户标识，将业务标识相同的数据聚合，将用户标识相同的数据聚合；
所述聚合得到的数据为指定业务、或指定用户的数据，是从一个或一个以上的数据源提交的网络信息中将指定业务、或指定用户对应的数据整合；
所述检测单元，用于根据业务标识或用户标识，动态确定对应的检测参数和检测规则，由检测参数和检测规则确定待提取的特征向量的类型和权重，提取聚合后数据的特征向量，将得到的特征向量组成多维度检测样本，将所述多维度检测样本送入机器学习模型，检测所述多维度检测样本中是否包括第一攻击向量；
所述模型训练单元，用于根据检测规则确定模拟攻击的类型，根据检测参数确定若干种模拟攻击的复合度，构建模拟攻击模型，所述模拟攻击模型包括由检测规则确定的若干种攻击，将所述若干种攻击按照检测参数的要求进行不同权重的复合，训练所述模拟攻击模型；
将所述模拟攻击模型作为对抗性网络的生成器，所述生成器的输出流量不间断地与真实网络攻击流量一并送入判别器；如果判别结果为真时，判别器将相似度信息反馈给生成器；如果判别结果为假时，判别器将相似度信息、真实网络攻击流量的特征向量一并反馈给生成器，所述生成器根据判别器的反馈结果调整模拟攻击模型的复合度，再次生成新的输出流量；直到当所述判别器得到的判别结果为真的比率大于预先设置的阈值时，所述模拟攻击模型训练结束，将所述模拟攻击模型接入机器学习模型，更新所述机器学习模型的样本库；
所述场景挖掘单元，用于当检测出所述多维度检测样本中包括第一攻击向量时，将对应聚合后的数据拆分为若干个数据片段，将所述数据片段再次送入机器学习模型，检测所述数据片段中是否包括第二攻击向量；若检测出所述数据片段中包括第二攻击向量，则将该数据片段标记为异常，异常数据片段所属的网络节点或终端标记为异常点，分析若干个异常数据片段之间是否存在逻辑关联；如果所述若干个异常数据片段之间存在逻辑关联，则将其所对应的异常点建立前后关联关系，标记为攻击轨迹中的一个途径点；
将所述前后关联关系、途径点、第二攻击向量输入场景挖掘模型，所述场景挖掘模型调用服务器的规则数据库，根据所述业务标识或用户标识查询到对应的规则，运用指定的数据挖掘算法找出所述前后关联关系、途径点、第二攻击向量对应的场景信息；所述场景信息包括局域网信息、途径节点、跨网信息、攻击传播、攻击面范围、业务信息、时间范围中一种或若干种组合；
根据所述场景信息制定对应的防御策略，形成攻击溯源图，所述防御策略包括终端防御、中间防御和源头防御，所述中间防御为根据攻击传播路径，找出威胁度最高的中间节点，休眠该威胁度最高的中间节点，打断攻击传播的路径。
结合第二方面，在第二方面第一种可能的实现方式中，所述将对应聚合后的数据拆分为若干个数据片段，可根据业务类型、访问动作确定拆分的长度。
结合第二方面，在第二方面第二种可能的实现方式中，所述分析若干个异常数据片段之间是否存在逻辑关联包括：分析数据片段所属业务是否存在关联、或业务是否相同，分析相关节点是否在潜在传播路径上，分析数据片段所属用户是否相同、或用户之间是否存在关系链。
结合第二方面，在第二方面第三种可能的实现方式中，所述形成攻击溯源图后还包括：得出针对不同业务或不同用户的风险评估、防御策略，所述防御策略还根据业务或用户分为若干种等级。
本发明提供一种业务数据网络安全分析挖掘的方法及系统，解决现有的网络攻击检测分析平台多为单纯检测出网络攻击，不能根据指定业务或指定用户，有针对性地检测网络攻击，也不能结合场景分析，给出针对性的防御策略的问题，可针对指定的业务或用户检测攻击和场景挖掘，并加入了模型训练功能，使得检测效果更好。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明业务数据网络安全分析挖掘方法的大致流程图；
图2为本发明业务数据网络安全分析挖掘系统的架构图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
图1为本申请提供的业务数据网络安全分析挖掘方法的大致流程图，所述方法包括：
接收一个或一个以上的数据源提交的网络信息，每一个数据源的网络信息携带有若干种业务的相关数据，解析所述网络信息中的字段信息，从所述字段信息中提取出业务标识，以及与业务标识对应的用户标识，将业务标识相同的数据聚合，将用户标识相同的数据聚合；
所述聚合得到的数据为指定业务、或指定用户的数据，是从一个或一个以上的数据源提交的网络信息中将指定业务、或指定用户对应的数据整合；
根据业务标识或用户标识，动态确定对应的检测参数和检测规则，由检测参数和检测规则确定待提取的特征向量的类型和权重，提取聚合后数据的特征向量，将得到的特征向量组成多维度检测样本，将所述多维度检测样本送入机器学习模型，检测所述多维度检测样本中是否包括第一攻击向量；
根据检测规则确定模拟攻击的类型，根据检测参数确定若干种模拟攻击的复合度，构建模拟攻击模型，所述模拟攻击模型包括由检测规则确定的若干种攻击，将所述若干种攻击按照检测参数的要求进行不同权重的复合，训练所述模拟攻击模型；
将所述模拟攻击模型作为对抗性网络的生成器，所述生成器的输出流量不间断地与真实网络攻击流量一并送入判别器；如果判别结果为真时，判别器将相似度信息反馈给生成器；如果判别结果为假时，判别器将相似度信息、真实网络攻击流量的特征向量一并反馈给生成器，所述生成器根据判别器的反馈结果调整模拟攻击模型的复合度，再次生成新的输出流量；直到当所述判别器得到的判别结果为真的比率大于预先设置的阈值时，所述模拟攻击模型训练结束，将所述模拟攻击模型接入机器学习模型，更新所述机器学习模型的样本库；
当检测出所述多维度检测样本中包括第一攻击向量时，将对应聚合后的数据拆分为若干个数据片段，将所述数据片段再次送入机器学习模型，检测所述数据片段中是否包括第二攻击向量；若检测出所述数据片段中包括第二攻击向量，则将该数据片段标记为异常，异常数据片段所属的网络节点或终端标记为异常点，分析若干个异常数据片段之间是否存在逻辑关联；如果所述若干个异常数据片段之间存在逻辑关联，则将其所对应的异常点建立前后关联关系，标记为攻击轨迹中的一个途径点；
将所述前后关联关系、途径点、第二攻击向量输入场景挖掘模型，所述场景挖掘模型调用服务器的规则数据库，根据所述业务标识或用户标识查询到对应的规则，运用指定的数据挖掘算法找出所述前后关联关系、途径点、第二攻击向量对应的场景信息；所述场景信息包括局域网信息、途径节点、跨网信息、攻击传播、攻击面范围、业务信息、时间范围中一种或若干种组合；
根据所述场景信息制定对应的防御策略，形成攻击溯源图，所述防御策略包括终端防御、中间防御和源头防御，所述中间防御为根据攻击传播路径，找出威胁度最高的中间节点，休眠该威胁度最高的中间节点，打断攻击传播的路径。
此时，聚合后的数据为指定业务、或指定用户的数据，是从一个或一个以上的数据源提交的网络信息中将指定业务、或指定用户对应的数据整合在一起。
如果检测到聚合后的数据提取的多维度检测样本包括有攻击向量，则表明指定业务、或指定用户的数据中包括有攻击，需要具体检测针对该业务或该用户的攻击轨迹，进行攻击溯源。
在一些优选实施例中，所述将对应聚合后的数据拆分为若干个数据片段，可根据业务类型、访问动作确定拆分的长度。
在一些优选实施例中，所述若干种攻击的复合包括同时具备若干种网络攻击的特征，或者连续进行若干种网络攻击，或变异网络攻击特征。
所述分析若干个异常数据片段之间是否存在逻辑关联包括：分析数据片段所属业务是否存在关联、或业务是否相同，分析相关节点是否在潜在传播路径上，分析数据片段所属用户是否相同、或用户之间是否存在关系链。
在一些优选实施例中，所述形成攻击溯源图后还包括：得出针对不同业务或不同用户的风险评估、防御策略，所述防御策略还根据业务或用户分为若干种等级。
在一些优选实施例中，形成攻击溯源图之后，还可以包括：梳理出攻击事件的发生脉络和攻击路径，具体为：
对采集的所述日志信息从时间、空间多重维度进行深度关联分析和数据挖掘，建立规则库；
将疑似攻击的溯源信息与规则库中的信息进行对比，通过传播查询和追溯查询构建溯源图，根据所述溯源图获取攻击事件的发生脉络和攻击路径。
在一些优选实施例中，采集来访者的相关信息和行为，将其特征属性与攻击者关系模型进行匹配，确定来访者是否为攻击者。
在一些优选实施例中，所述建立攻击者关系模型，具体可以包括：
根据所述攻击者的访问流量，识别出流量包含的各种业务。
根据预先定义的各种业务对应的权重值、以及业务种类数量对应的系数，计算所述攻击者的访问关系值。
计算所述攻击者的访问关系值可以采用如下公式：
Value＝(Service1*Weight1+Service2*Weight2+……+Servicen*Weightn)*Coeff
其中，Value为某一攻击者的访问关系值，Servicen为某一种业务，Weightn为权重值，Coeff为某一攻击者业务种类数量对应的系数。
根据所述攻击者的访问关系值，确定所述攻击者所属的类型，进而得出所述类型对应的访问关系模型。
在一些优选实施例中，所述在来访者特征属性与攻击者关系模型进行匹配之后，还包括：
当确定所述来访者为攻击者时，标记所述来访者，拒绝所述来访者的所有访问行为。
图2为本申请提供的业务数据网络安全分析挖掘系统的架构图，所述系统包括：预处理单元、检测单元、模型训练单元和场景挖掘单元；
所述预处理单元，用于接收一个或一个以上的数据源提交的网络信息，每一个数据源的网络信息携带有若干种业务的相关数据，解析所述网络信息中的字段信息，从所述字段信息中提取出业务标识，以及与业务标识对应的用户标识，将业务标识相同的数据聚合，将用户标识相同的数据聚合；
所述聚合得到的数据为指定业务、或指定用户的数据，是从一个或一个以上的数据源提交的网络信息中将指定业务、或指定用户对应的数据整合；
所述检测单元，用于根据业务标识或用户标识，动态确定对应的检测参数和检测规则，由检测参数和检测规则确定待提取的特征向量的类型和权重，提取聚合后数据的特征向量，将得到的特征向量组成多维度检测样本，将所述多维度检测样本送入机器学习模型，检测所述多维度检测样本中是否包括第一攻击向量；
所述模型训练单元，用于根据检测规则确定模拟攻击的类型，根据检测参数确定若干种模拟攻击的复合度，构建模拟攻击模型，所述模拟攻击模型包括由检测规则确定的若干种攻击，将所述若干种攻击按照检测参数的要求进行不同权重的复合，训练所述模拟攻击模型；
将所述模拟攻击模型作为对抗性网络的生成器，所述生成器的输出流量不间断地与真实网络攻击流量一并送入判别器；如果判别结果为真时，判别器将相似度信息反馈给生成器；如果判别结果为假时，判别器将相似度信息、真实网络攻击流量的特征向量一并反馈给生成器，所述生成器根据判别器的反馈结果调整模拟攻击模型的复合度，再次生成新的输出流量；直到当所述判别器得到的判别结果为真的比率大于预先设置的阈值时，所述模拟攻击模型训练结束，将所述模拟攻击模型接入机器学习模型，更新所述机器学习模型的样本库；
所述场景挖掘单元，用于当检测出所述多维度检测样本中包括第一攻击向量时，将对应聚合后的数据拆分为若干个数据片段，将所述数据片段再次送入机器学习模型，检测所述数据片段中是否包括第二攻击向量；若检测出所述数据片段中包括第二攻击向量，则将该数据片段标记为异常，异常数据片段所属的网络节点或终端标记为异常点，分析若干个异常数据片段之间是否存在逻辑关联；如果所述若干个异常数据片段之间存在逻辑关联，则将其所对应的异常点建立前后关联关系，标记为攻击轨迹中的一个途径点；
将所述前后关联关系、途径点、第二攻击向量输入场景挖掘模型，所述场景挖掘模型调用服务器的规则数据库，根据所述业务标识或用户标识查询到对应的规则，运用指定的数据挖掘算法找出所述前后关联关系、途径点、第二攻击向量对应的场景信息；所述场景信息包括局域网信息、途径节点、跨网信息、攻击传播、攻击面范围、业务信息、时间范围中一种或若干种组合；
根据所述场景信息制定对应的防御策略，形成攻击溯源图，所述防御策略包括终端防御、中间防御和源头防御，所述中间防御为根据攻击传播路径，找出威胁度最高的中间节点，休眠该威胁度最高的中间节点，打断攻击传播的路径。
在一些优选实施例中，所述将对应聚合后的数据拆分为若干个数据片段，可根据业务类型、访问动作确定拆分的长度。
在一些优选实施例中，所述若干种攻击的复合包括同时具备若干种网络攻击的特征，或者连续进行若干种网络攻击，或变异网络攻击特征。
所述分析若干个异常数据片段之间是否存在逻辑关联包括：分析数据片段所属业务是否存在关联、或业务是否相同，分析相关节点是否在潜在传播路径上，分析数据片段所属用户是否相同、或用户之间是否存在关系链。
在一些优选实施例中，所述形成攻击溯源图后还包括：得出针对不同业务或不同用户的风险评估、防御策略，所述防御策略还根据业务或用户分为若干种等级。
具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可以存储有程序，该程序执行时可包括本发明各个实施例中的部分或全部步骤。所述的存储介质可以为磁碟、光盘、只读存储记忆体(简称：ROM)或随机存储记忆体(简称：RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书各个实施例之间相同相似的部分互相参见即可。尤其，对于实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (8)

1.一种业务数据网络安全分析挖掘方法，其特征在于，所述方法包括：
接收一个或一个以上的数据源提交的网络信息，每一个数据源的网络信息携带有若干种业务的相关数据，解析所述网络信息中的字段信息，从所述字段信息中提取出业务标识，以及与业务标识对应的用户标识，将业务标识相同的数据聚合，将用户标识相同的数据聚合；
所述聚合得到的数据为指定业务、或指定用户的数据，是从一个或一个以上的数据源提交的网络信息中将指定业务、或指定用户对应的数据整合；
根据业务标识或用户标识，动态确定对应的检测参数和检测规则，由检测参数和检测规则确定待提取的特征向量的类型和权重，提取聚合后数据的特征向量，将得到的特征向量组成多维度检测样本，将所述多维度检测样本送入机器学习模型，检测所述多维度检测样本中是否包括第一攻击向量；
根据检测规则确定模拟攻击的类型，根据检测参数确定若干种模拟攻击的复合度，构建模拟攻击模型，所述模拟攻击模型包括由检测规则确定的若干种攻击，将所述若干种攻击按照检测参数的要求进行不同权重的复合，训练所述模拟攻击模型；
将所述模拟攻击模型作为对抗性网络的生成器，所述生成器的输出流量不间断地与真实网络攻击流量一并送入判别器；如果判别结果为真时，判别器将相似度信息反馈给生成器；如果判别结果为假时，判别器将相似度信息、真实网络攻击流量的特征向量一并反馈给生成器，所述生成器根据判别器的反馈结果调整模拟攻击模型的复合度，再次生成新的输出流量；直到当所述判别器得到的判别结果为真的比率大于预先设置的阈值时，所述模拟攻击模型训练结束，将所述模拟攻击模型接入机器学习模型，更新所述机器学习模型的样本库；
当检测出所述多维度检测样本中包括第一攻击向量时，将对应聚合后的数据拆分为若干个数据片段，将所述数据片段再次送入机器学习模型，检测所述数据片段中是否包括第二攻击向量；若检测出所述数据片段中包括第二攻击向量，则将该数据片段标记为异常，异常数据片段所属的网络节点或终端标记为异常点，分析若干个异常数据片段之间是否存在逻辑关联；如果所述若干个异常数据片段之间存在逻辑关联，则将其所对应的异常点建立前后关联关系，标记为攻击轨迹中的一个途径点；
将所述前后关联关系、途径点、第二攻击向量输入场景挖掘模型，所述场景挖掘模型调用服务器的规则数据库，根据所述业务标识或用户标识查询到对应的规则，运用指定的数据挖掘算法找出所述前后关联关系、途径点、第二攻击向量对应的场景信息；所述场景信息包括局域网信息、途径节点、跨网信息、攻击传播、攻击面范围、业务信息、时间范围中一种或若干种组合；
根据所述场景信息制定对应的防御策略，形成攻击溯源图，所述防御策略包括终端防御、中间防御和源头防御，所述中间防御为根据攻击传播路径，找出威胁度最高的中间节点，休眠该威胁度最高的中间节点，打断攻击传播的路径。
2.根据权利要求1所述的方法，其特征在于：所述将对应聚合后的数据拆分为若干个数据片段，可根据业务类型、访问动作确定拆分的长度。
3.根据权利要求1-2任一项所述的方法，其特征在于：所述分析若干个异常数据片段之间是否存在逻辑关联包括：分析数据片段所属业务是否存在关联、或业务是否相同，分析相关节点是否在潜在传播路径上，分析数据片段所属用户是否相同、或用户之间是否存在关系链。
4.根据权利要求1-3任一项所述的方法，其特征在于：所述形成攻击溯源图后还包括：得出针对不同业务或不同用户的风险评估、防御策略，所述防御策略还根据业务或用户分为若干种等级。
5.一种业务数据网络安全分析挖掘系统，其特征在于，所述系统包括：预处理单元、检测单元、模型训练单元和场景挖掘单元；
所述预处理单元，用于接收一个或一个以上的数据源提交的网络信息，每一个数据源的网络信息携带有若干种业务的相关数据，解析所述网络信息中的字段信息，从所述字段信息中提取出业务标识，以及与业务标识对应的用户标识，将业务标识相同的数据聚合，将用户标识相同的数据聚合；
所述聚合得到的数据为指定业务、或指定用户的数据，是从一个或一个以上的数据源提交的网络信息中将指定业务、或指定用户对应的数据整合；
所述检测单元，用于根据业务标识或用户标识，动态确定对应的检测参数和检测规则，由检测参数和检测规则确定待提取的特征向量的类型和权重，提取聚合后数据的特征向量，将得到的特征向量组成多维度检测样本，将所述多维度检测样本送入机器学习模型，检测所述多维度检测样本中是否包括第一攻击向量；
所述模型训练单元，用于根据检测规则确定模拟攻击的类型，根据检测参数确定若干种模拟攻击的复合度，构建模拟攻击模型，所述模拟攻击模型包括由检测规则确定的若干种攻击，将所述若干种攻击按照检测参数的要求进行不同权重的复合，训练所述模拟攻击模型；
将所述模拟攻击模型作为对抗性网络的生成器，所述生成器的输出流量不间断地与真实网络攻击流量一并送入判别器；如果判别结果为真时，判别器将相似度信息反馈给生成器；如果判别结果为假时，判别器将相似度信息、真实网络攻击流量的特征向量一并反馈给生成器，所述生成器根据判别器的反馈结果调整模拟攻击模型的复合度，再次生成新的输出流量；直到当所述判别器得到的判别结果为真的比率大于预先设置的阈值时，所述模拟攻击模型训练结束，将所述模拟攻击模型接入机器学习模型，更新所述机器学习模型的样本库；
所述场景挖掘单元，用于当检测出所述多维度检测样本中包括第一攻击向量时，将对应聚合后的数据拆分为若干个数据片段，将所述数据片段再次送入机器学习模型，检测所述数据片段中是否包括第二攻击向量；若检测出所述数据片段中包括第二攻击向量，则将该数据片段标记为异常，异常数据片段所属的网络节点或终端标记为异常点，分析若干个异常数据片段之间是否存在逻辑关联；如果所述若干个异常数据片段之间存在逻辑关联，则将其所对应的异常点建立前后关联关系，标记为攻击轨迹中的一个途径点；
将所述前后关联关系、途径点、第二攻击向量输入场景挖掘模型，所述场景挖掘模型调用服务器的规则数据库，根据所述业务标识或用户标识查询到对应的规则，运用指定的数据挖掘算法找出所述前后关联关系、途径点、第二攻击向量对应的场景信息；所述场景信息包括局域网信息、途径节点、跨网信息、攻击传播、攻击面范围、业务信息、时间范围中一种或若干种组合；
根据所述场景信息制定对应的防御策略，形成攻击溯源图，所述防御策略包括终端防御、中间防御和源头防御，所述中间防御为根据攻击传播路径，找出威胁度最高的中间节点，休眠该威胁度最高的中间节点，打断攻击传播的路径。
6.根据权利要求5所述的装置，其特征在于，所述将对应聚合后的数据拆分为若干个数据片段，可根据业务类型、访问动作确定拆分的长度。
7.根据权利要求5-6任一项所述的装置，其特征在于，所述分析若干个异常数据片段之间是否存在逻辑关联包括：分析数据片段所属业务是否存在关联、或业务是否相同，分析相关节点是否在潜在传播路径上，分析数据片段所属用户是否相同、或用户之间是否存在关系链。
8.根据权利要求5-7任一项所述的装置，其特征在于，所述形成攻击溯源图后还包括：得出针对不同业务或不同用户的风险评估、防御策略，所述防御策略还根据业务或用户分为若干种等级。
CN202010633324.4A 2020-07-02 2020-07-02 一种业务数据网络安全分析挖掘的方法及系统 Active CN111885011B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010633324.4A CN111885011B (zh) 2020-07-02 2020-07-02 一种业务数据网络安全分析挖掘的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010633324.4A CN111885011B (zh) 2020-07-02 2020-07-02 一种业务数据网络安全分析挖掘的方法及系统

Publications (2)

Publication Number Publication Date
CN111885011A true CN111885011A (zh) 2020-11-03
CN111885011B CN111885011B (zh) 2022-11-01

Family

ID=73150198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010633324.4A Active CN111885011B (zh) 2020-07-02 2020-07-02 一种业务数据网络安全分析挖掘的方法及系统

Country Status (1)

Country Link
CN (1) CN111885011B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688382A (zh) * 2021-08-31 2021-11-23 林楠 基于信息安全的攻击意图挖掘方法及人工智能分析系统
CN113688383A (zh) * 2021-08-31 2021-11-23 林楠 基于人工智能的攻击防御测试方法及人工智能分析系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106027554A (zh) * 2016-06-30 2016-10-12 北京网康科技有限公司 一种黑客工具挖掘方法、装置及系统
CN108683682A (zh) * 2018-06-04 2018-10-19 上海交通大学 一种基于软件定义网络的DDoS攻击检测及防御方法和系统
CN109951500A (zh) * 2019-04-29 2019-06-28 宜人恒业科技发展（北京）有限公司 网络攻击检测方法及装置
CN110505241A (zh) * 2019-09-17 2019-11-26 武汉思普崚技术有限公司 一种网络攻击面检测方法及系统
US10657684B1 (en) * 2018-12-19 2020-05-19 EffectiveTalent Office LLC Matched array alignment system and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106027554A (zh) * 2016-06-30 2016-10-12 北京网康科技有限公司 一种黑客工具挖掘方法、装置及系统
CN108683682A (zh) * 2018-06-04 2018-10-19 上海交通大学 一种基于软件定义网络的DDoS攻击检测及防御方法和系统
US10657684B1 (en) * 2018-12-19 2020-05-19 EffectiveTalent Office LLC Matched array alignment system and method
CN109951500A (zh) * 2019-04-29 2019-06-28 宜人恒业科技发展（北京）有限公司 网络攻击检测方法及装置
CN110505241A (zh) * 2019-09-17 2019-11-26 武汉思普崚技术有限公司 一种网络攻击面检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
鲁宁、王尚广: ""可动态扩展的高效单包溯源方法"", 《软件学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688382A (zh) * 2021-08-31 2021-11-23 林楠 基于信息安全的攻击意图挖掘方法及人工智能分析系统
CN113688383A (zh) * 2021-08-31 2021-11-23 林楠 基于人工智能的攻击防御测试方法及人工智能分析系统

Also Published As

Publication number Publication date
CN111885011B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN107426199B (zh) 一种网络异常行为检测与分析的方法及系统
CN111917792B (zh) 一种流量安全分析挖掘的方法及系统
CN110505241B (zh) 一种网络攻击面检测方法及系统
CN108471429B (zh) 一种网络攻击告警方法及系统
Hoque et al. An implementation of intrusion detection system using genetic algorithm
US20110208714A1 (en) Large scale search bot detection
CN107579956B (zh) 一种用户行为的检测方法和装置
CN111787002B (zh) 一种业务数据网络安全分析的方法及系统
CN110958220A (zh) 一种基于异构图嵌入的网络空间安全威胁检测方法及系统
US9130778B2 (en) Systems and methods for spam detection using frequency spectra of character strings
CN108833185B (zh) 一种网络攻击路线还原方法及系统
CN112003840B (zh) 一种基于攻击面的漏洞检测方法及系统
CN114915479B (zh) 一种基于Web日志的Web攻击阶段分析方法及系统
CN111917793B (zh) 一种攻击链情报分析方法、系统及存储介质
CN114003903B (zh) 一种网络攻击追踪溯源方法及装置
CN111885011B (zh) 一种业务数据网络安全分析挖掘的方法及系统
CN108234426B (zh) Apt攻击告警方法和apt攻击告警装置
CN112839014A (zh) 建立识别异常访问者模型的方法、系统、设备及介质
US10419449B1 (en) Aggregating network sessions into meta-sessions for ranking and classification
CN110598794A (zh) 一种分类对抗的网络攻击检测方法及系统
CN113542252A (zh) Web攻击的检测方法、检测模型和检测装置
Goswami et al. Phishing detection using significant feature selection
Ozkan-Okay et al. A new feature selection approach and classification technique for current intrusion detection system
Liu et al. Defending multiple-user-multiple-target attacks in online reputation systems
CN111866028B (zh) 一种攻击面可视化的方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100053 Room 303, 3 / F, 315 guanganmennei street, Xicheng District, Beijing

Applicant after: Safety capability ecological aggregation (Beijing) Operation Technology Co.,Ltd.

Address before: 100053 Room 303, 3 / F, 315 guanganmennei street, Xicheng District, Beijing

Applicant before: Beijing fuyun'an Operation Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant