CN116074127B - 一种基于大数据的自适应网络安全态势评估系统 - Google Patents

一种基于大数据的自适应网络安全态势评估系统 Download PDF

Info

Publication number
CN116074127B
CN116074127B CN202310345750.1A CN202310345750A CN116074127B CN 116074127 B CN116074127 B CN 116074127B CN 202310345750 A CN202310345750 A CN 202310345750A CN 116074127 B CN116074127 B CN 116074127B
Authority
CN
China
Prior art keywords
data
module
network security
network
preprocessing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310345750.1A
Other languages
English (en)
Other versions
CN116074127A (zh
Inventor
李�权
汤富彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Vocational and Technical College of Industry
Original Assignee
Chengdu Vocational and Technical College of Industry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Vocational and Technical College of Industry filed Critical Chengdu Vocational and Technical College of Industry
Priority to CN202310345750.1A priority Critical patent/CN116074127B/zh
Publication of CN116074127A publication Critical patent/CN116074127A/zh
Application granted granted Critical
Publication of CN116074127B publication Critical patent/CN116074127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416—Event detection, e.g. attack signature detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种基于大数据的自适应网络安全态势评估系统；包括：数据预处理模块，用于对采集到的网络数据进行预处理；临时数据库，用于对经过预处理模块预处理后的网络数据的时间、空间以及原始特征进行记录储存；数据筛选模块，用于对经过数据预处理模块处理后的数据进行筛选；在线模块，用于对数据预处理模块处理后的数据进行实时监测；离线模块，用于对经过数据筛选模块筛选后的数据进行处理并录入至在线模块；态势评估模块，用于根据在线模块监测得到的数据进行态势评估。本发明通过设置离线模块对网络数据进行实时收集，可以增加对新型数据的处理能力，且具有自适应性。

Description

一种基于大数据的自适应网络安全态势评估系统
技术领域
本发明涉及于网络安全技术领域，尤其涉及一种基于大数据的自适应网络安全态势评估系统。
背景技术
近年来，互联网基础设施不断发展和新兴应用不断出现，这都使得网络规模逐渐增大、拓扑结构日趋复杂。物联网，移动互联网和云计算技术的蓬勃发展，使得人们产生的数据量正在以指数级增长，这不可避免地会吸引来自世界各地的各种人为攻击行为（包括窃取或泄露数据、增加、删除或者篡改数据、计算机病毒和蠕虫等攻击）。美国联邦调查局（FederalBureauofInvestigation,FBI）的数据显示，美国每年网络安全造成的经济损失约为75亿美元，世界上几乎每20秒就有一次网络入侵。虽然我国的计算机网络技术落后于其他发达国家，但网络中的恶意病毒问题非常普遍，这种情况逐年增加，导致我国面临严峻的网络安全问题。
现有的网络安全技术依赖于防火墙、入侵检测和反病毒软件等，属于静态片面被动的防御措施，缺乏主动性、对网络攻击没有有效的预测能力。为了保证网络系统的健壮性和安全性，并能够应对日益复杂而隐蔽的网络威胁，出现了各种检测技术,如入侵检测，漏洞和恶意代码检测。这些技术以不同的角度为出发点，寻找网络中的安全问题，然而，要及时全面地发现网络中真实存在的威胁时效果并不理想，这限制了网络安全管理员做出最佳决策并及时响应的能力。
发明内容
为了现有技术存在的上述技术缺陷，本发明提供了一种基于大数据的自适应网络安全态势评估系统，可以有效解决背景技术中的问题。
为了解决上述技术问题，本发明提供的技术方案具体如下：
本发明实施例公开了一种基于大数据的自适应网络安全态势评估系统，包括：
数据预处理模块，用于对采集到的网络数据进行预处理；
临时数据库，用于对经过预处理模块预处理后的网络数据的时间、空间以及原始特征进行记录储存；
数据筛选模块，用于对经过数据预处理模块处理后的数据进行筛选；
在线模块，用于对数据预处理模块处理后的数据进行实时监测；
离线模块，用于对经过数据筛选模块筛选后的数据进行处理并录入至在线模块；
态势评估模块，用于根据在线模块监测得到的数据进行态势评估。
在上述任一方案中优选的是，所述数据预处理模块在对采集到的网络数据进行预处理时，包括以下步骤：
步骤一：对收集到的原始数据进行降维操作；
步骤二：利用经过粒子群优化算法优化后的K-均值算法在降维后的数据记录中根据数据特征进行聚类划分，并强化数据记录的特征。
在上述任一方案中优选的是，在对收集到的原始数据进行降维操作，采用基于特征分解的降维算法，包括以下步骤：
步骤一：根据公式推导出原始数据的协方差矩阵的特征向量和特征值，得到相应的特征矩阵；
步骤二：通过对原始数据的特征矩阵(M*N)的变换，得到了临时对角矩阵(K*K）；
步骤三：通过对临时对角矩阵（K*K）的特征分解得到的特征向量与特征值；
步骤四：将原始数据的特征矩阵与得到的特征向量一起处理，得到经过预处理后的矩阵。
在上述任一方案中优选的是，所述数据筛选模块在对经过数据预处理模块处理后的数据进行筛选时，采用FP-Growth算法对经过数据预处理模块处理后的数据进行筛选，具体的，包括以下步骤：
步骤一：找出初始数据中的一维频繁项集和编码；
步骤二：根据一维频繁项集对初始数据进行分组；
步骤三：为每个分组数据构建一棵FP-tree；
步骤四：对构建的每一棵FP-tree挖掘频繁项集；
步骤五：将在每一棵树中挖掘出的频繁项集汇总到一起生成最终的全局频繁项集。
在上述任一方案中优选的是，所述在线模块包括数据库，所述数据库用于对攻击和异常的数据的模板数据进行记录，所述在线模块在对数据预处理模块处理后的数据进行实时监测时，包括以下步骤：
步骤一：将数据预处理模块处理后的数据T={t1，t2...tn}进行标准化处理，其中，tn为数据T的第n个特征属性；其中，通过公式
Figure SMS_1
对数据T进行标准化处理，其中tj为数据T的第j个特征属性,tm为数据T所有特征属性的均值，ts为数据T所有特征属性的标准差；
步骤二：建立距离矩阵，对标准化后的每一个属性计算两者之间的距离，并建立矩阵；
步骤三：利用公式：
Figure SMS_2
计算数据T与数据库中的模板数据R={r1，r2...rn}，的相似度，其中，/>
Figure SMS_3
为计算得到的累计距离，/>
Figure SMS_4
为特征属性tj与模板数据R的特征属性/>
Figure SMS_5
的距离；
步骤四：根据测试情况建立阈值，当相似度大于阈值时则记录该组数据，并根据特征属性判断其威胁类型。
在上述任一方案中优选的是，在所述在线模块在对数据的威胁类型进行判断时，将数据分为“正常”、“拒绝服务攻击”、“未授权的本地超级用户特权访问”、“远程主机未授权访问”和“端口扫描”五种类型。
在上述任一方案中优选的是，所述在线模块的数据库中的模板数据分为“正常”、“拒绝服务攻击”、“未授权的本地超级用户特权访问”、“远程主机未授权访问”和“端口扫描”五种类型，在所述在线模块在对数据的威胁类型进行判断时，首先数据T与数据库中的模板数据R进行匹配，找到与数据T相似度最大的模板数据R，将数据T划分为模板数据R所在的数据类型中。
在上述任一方案中优选的是，所述离线模块在对经过数据筛选模块筛选后的数据进行处理时，采用FP-Growth关联分析算法进行处理，具体的，FP-Growth关联分析算法的具体处理过程包括以下步骤：
步骤一：扫描数据形成1维频繁项集；
步骤二：利用得到的1维频繁项集生成FP-tree；
步骤三：挖掘生成的FP-tree中的关联规则，得到包含每一个符合最小支持度阈值的属性所形成的频繁项集，并对频繁项集包含的冗余重复的部分进行简单冗余去除。
在上述任一方案中优选的是，在所述态势评估模块根据在线模块监测得到的数据进行态势评估时，包括以下步骤：
步骤一：记录该时间段内检测到的攻击数量和时间段内各类型攻击类型的攻击频次；
步骤二：根据公式
Figure SMS_6
对在时间段t内各类型攻击类型的威胁指数；其中，N为时间段t内检测到的攻击数量；Ci为时间段t内各类型攻击类型的攻击频次，i表示不同的攻击类型；Xi为不同的攻击类型对网络安全运行具有的影响程度，i表示不同的攻击类型；
步骤三：根据威胁指数对时间段t内每一类型的安全等级进行划分，其中
Figure SMS_7
在0到0.2之间时网络安全等级为安全，/>
Figure SMS_8
在0.2到0.5之间时安全等级为轻度危险，/>
Figure SMS_9
在0.5到0.8之间时网络安全等级为中度危险，网络安全等级在0.8到1之间时网络安全等级为重度危险。
在上述任一方案中优选的是，“正常”数据对网络安全运行具有的影响程度X1=0，“拒绝服务攻击”数据对网络安全运行具有的影响程度X2=0.3，“未授权的本地超级用户特权访问”数据对网络安全运行具有的影响程度X3=0.5，“远程主机未授权访问”数据对网络安全运行具有的影响程度X4=0.6，“端口扫描”数据对网络安全运行具有的影响程度X5=0.8。
在上述任一方案中优选的是，基于大数据的自适应网络安全态势评估系统在运行时，包括以下步骤：
步骤一：利用数据预处理模块对采集到的网络数据进行数据预处理；
步骤二：利用数据筛选模块对经过数据预处理模块处理后的网络数据进行筛选，得到具有显著异常特征值的网络数据；
步骤三：利用离线模块对经过数据筛选模块筛选后的数据进行分析，并将新的攻击和异常模板数据录入数据库；
步骤四：利用在线模块对网络数据进行实时监测；
步骤五：利用态势评估模块对网络数据进行周期性态势评估。
与现有技术相比，本发明的有益效果：
1、本发明通过设置对网络数据的预处理和筛选，可以节省大量的数据计算时间和占用资源。
2、本发明通过采用FP-Growth算法对数据进行筛选，筛选效率高且筛选结果准确。
3、本发明通过设置离线模块采用FP-Growth关联分析算法，节省计算时间，增加工作效率。
4、本发明通过设置离线模块对网络数据进行实时收集，可以增加对新型数据的处理能力，且具有自适应性。
附图说明
附图用于对本发明的进一步理解，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1是本发明实施例所提供的一种基于大数据的自适应网络安全态势评估系统的结构示意图；
图2是本发明实施例所提供的一种基于大数据的自适应网络安全态势评估系统的工作流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。
在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
为了更好地理解上述技术方案，下面将结合说明书附图及具体实施方式对本发明技术方案进行详细说明。
请参阅图1，一种基于大数据的自适应网络安全态势评估系统，包括：
数据预处理模块，用于对采集到的网络数据进行预处理；
临时数据库，用于对经过预处理模块预处理后的网络数据的时间、空间以及原始特征进行记录储存；
数据筛选模块，用于对经过数据预处理模块处理后的数据进行筛选；
在线模块，用于对数据预处理模块处理后的数据进行实时监测；
离线模块，用于对经过数据筛选模块筛选后的数据进行处理并录入至在线模块；
态势评估模块，用于根据在线模块监测得到的数据进行态势评估。
在上述任一方案中优选的是，所述数据预处理模块在对采集到的网络数据进行预处理时，包括以下步骤：
步骤一：对收集到的原始数据进行降维操作；
步骤二：利用经过粒子群优化算法优化后的K-均值算法在降维后的数据记录中根据数据特征进行聚类划分，并强化数据记录的特征。
在上述任一方案中优选的是，在对收集到的原始数据进行降维操作，采用基于特征分解的降维算法，包括以下步骤：
步骤一：根据公式推导出原始数据的协方差矩阵的特征向量和特征值，得到相应的特征矩阵；
步骤二：通过对原始数据的特征矩阵(M*N)的变换，得到了临时对角矩阵(K*K）；
步骤三：通过对临时对角矩阵（K*K）的特征分解得到的特征向量与特征值；
步骤四：将原始数据的特征矩阵与得到的特征向量一起处理，得到经过预处理后的矩阵。
在上述任一方案中优选的是，所述数据筛选模块在对经过数据预处理模块处理后的数据进行筛选时，采用FP-Growth算法对经过数据预处理模块处理后的数据进行筛选，具体的，包括以下步骤：
步骤一：找出初始数据中的一维频繁项集和编码；
步骤二：根据一维频繁项集对初始数据进行分组；
步骤三：为每个分组数据构建一棵FP-tree；
步骤四：对构建的每一棵FP-tree挖掘频繁项集；
步骤五：将在每一棵树中挖掘出的频繁项集汇总到一起生成最终的全局频繁项集。
在上述任一方案中优选的是，所述在线模块包括数据库，所述数据库用于对攻击和异常的数据的模板数据进行记录，所述在线模块在对数据预处理模块处理后的数据进行实时监测时，包括以下步骤：
步骤一：将数据预处理模块处理后的数据T={t1，t2...tn}进行标准化处理，其中，tn为数据T的第n个特征属性；其中，通过公式
Figure SMS_10
对数据T进行标准化处理，其中tj为数据T的第j个特征属性,tm为数据T所有特征属性的均值，ts为数据T所有特征属性的标准差；
步骤二：建立距离矩阵，对标准化后的每一个属性计算两者之间的距离，并建立矩阵；
步骤三：利用公式：
Figure SMS_11
计算数据T与数据库中的模板数据R={r1，r2...rn}，的相似度，其中，/>
Figure SMS_12
为计算得到的累计距离，/>
Figure SMS_13
为特征属性tj与模板数据R的特征属性/>
Figure SMS_14
的距离；
步骤四：根据测试情况建立阈值，当相似度大于阈值时则记录该组数据，并根据特征属性判断其威胁类型。
在上述任一方案中优选的是，在所述在线模块在对数据的威胁类型进行判断时，将数据分为“正常”、“拒绝服务攻击”、“未授权的本地超级用户特权访问”、“远程主机未授权访问”和“端口扫描”五种类型。
在上述任一方案中优选的是，所述在线模块的数据库中的模板数据分为“正常”、“拒绝服务攻击”、“未授权的本地超级用户特权访问”、“远程主机未授权访问”和“端口扫描”五种类型，在所述在线模块在对数据的威胁类型进行判断时，首先数据T与数据库中的模板数据R进行匹配，找到与数据T相似度最大的模板数据R，将数据T划分为模板数据R所在的数据类型中。
在上述任一方案中优选的是，所述离线模块在对经过数据筛选模块筛选后的数据进行处理时，采用FP-Growth关联分析算法进行处理，具体的，FP-Growth关联分析算法的具体处理过程包括以下步骤：
步骤一：扫描数据形成1维频繁项集；
步骤二：利用得到的1维频繁项集生成FP-tree；
步骤三：挖掘生成的FP-tree中的关联规则，得到包含每一个符合最小支持度阈值的属性所形成的频繁项集，并对频繁项集包含的冗余重复的部分进行简单冗余去除。
在上述任一方案中优选的是，在所述态势评估模块根据在线模块监测得到的数据进行态势评估时，包括以下步骤：
步骤一：记录该时间段内检测到的攻击数量和时间段内各类型攻击类型的攻击频次；
步骤二：根据公式
Figure SMS_15
对在时间段t内各类型攻击类型的威胁指数；其中，N为时间段t内检测到的攻击数量；Ci为时间段t内各类型攻击类型的攻击频次，i表示不同的攻击类型；Xi为不同的攻击类型对网络安全运行具有的影响程度，i表示不同的攻击类型；
步骤三：根据威胁指数对时间段t内每一类型的安全等级进行划分，其中
Figure SMS_16
在0到0.2之间时网络安全等级为安全，/>
Figure SMS_17
在0.2到0.5之间时网络安全等级为轻度危险，
Figure SMS_18
在0.5到0.8之间时网络安全等级为中度危险，网络安全等级在0.8到1之间时网络安全等级为重度危险。
其中，网络安全等级为安全时，表示网络正常运行；网络安全等级为轻度危险时，表示网络运行收到轻微影响；网络安全等级为中度危险时，表示网络运行受到较大破坏；网络安全等级为重度危险时，表示网络运行发生严重安全事故。
在上述任一方案中优选的是，“正常”数据对网络安全运行具有的影响程度X1=0，“拒绝服务攻击”数据对网络安全运行具有的影响程度X2=0.3，“未授权的本地超级用户特权访问”数据对网络安全运行具有的影响程度X3=0.5，“远程主机未授权访问”数据对网络安全运行具有的影响程度X4=0.6，“端口扫描”数据对网络安全运行具有的影响程度X5=0.8。
请参阅图2，在上述任一方案中优选的是，基于大数据的自适应网络安全态势评估系统在运行时，包括以下步骤：
步骤一：利用数据预处理模块对采集到的网络数据进行数据预处理；
步骤二：利用数据筛选模块对经过数据预处理模块处理后的网络数据进行筛选，得到具有显著异常特征值的网络数据；
步骤三：利用离线模块对经过数据筛选模块筛选后的数据进行分析，并将新的攻击和异常模板数据录入数据库；
步骤四：利用在线模块对网络数据进行实时监测；
步骤五：利用态势评估模块对网络数据进行周期性态势评估。
与现有技术相比，本发明提供的有益效果是：
1、本发明通过设置对网络数据的预处理和筛选，可以节省大量的数据计算时间和占用资源。
2、本发明通过采用FP-Growth算法对数据进行筛选，筛选效率高且筛选结果准确。
3、本发明通过设置离线模块采用FP-Growth关联分析算法，节省计算时间，增加工作效率。
4、本发明通过设置离线模块对网络数据进行实时收集，可以增加对新型数据的处理能力，且具有自适应性。
以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于大数据的自适应网络安全态势评估系统，其特征在于：包括：
数据预处理模块，用于对采集到的网络数据进行预处理；
临时数据库，用于对经过预处理模块预处理后的网络数据的时间、空间以及原始特征进行记录储存；
数据筛选模块，用于对经过数据预处理模块处理后的数据进行筛选；
在线模块，用于对数据预处理模块处理后的数据进行实时监测，所述在线模块包括数据库，所述数据库用于对攻击和异常的数据的模板数据进行记录，所述在线模块在对数据预处理模块处理后的数据进行实时监测时，包括以下步骤：
步骤一：将数据预处理模块处理后的数据T={t1，t2...tn}进行标准化处理，其中，tn为数据T的第n个特征属性；其中，通过公式
Figure QLYQS_1
对数据T进行标准化处理，其中tj为数据T的第j个特征属性,tm为数据T所有特征属性的均值，ts为数据T所有特征属性的标准差；
步骤二：建立距离矩阵，对标准化后的每一个属性计算两者之间的距离，并建立矩阵；
步骤三：利用公式：
Figure QLYQS_2
计算数据T与数据库中的模板数据R={r1，r2...rn}，的相似度，其中，/>
Figure QLYQS_3
为计算得到的累计距离，
Figure QLYQS_4
为特征属性tj与模板数据R的特征属性/>
Figure QLYQS_5
的距离；
步骤四：根据测试情况建立阈值，当相似度大于阈值时则记录该组数据，并根据特征属性判断其威胁类型；
离线模块，用于对经过数据筛选模块筛选后的数据进行处理并录入至在线模块；
态势评估模块，用于根据在线模块监测得到的数据进行态势评估；所述离线模块在对经过数据筛选模块筛选后的数据进行处理时，采用FP-Growth关联分析算法进行处理，具体的，FP-Growth关联分析算法的具体处理过程包括以下步骤：
步骤一：扫描数据形成1维频繁项集；
步骤二：利用得到的1维频繁项集生成FP-tree；
步骤三：挖掘生成的FP-tree中的关联规则，得到包含每一个符合最小支持度阈值的属性所形成的频繁项集，并对频繁项集包含的冗余重复的部分进行简单冗余去除。
2.根据权利要求1所述的一种基于大数据的自适应网络安全态势评估系统，其特征在于：所述数据预处理模块在对采集到的网络数据进行预处理时，包括以下步骤：
步骤一：对收集到的原始数据进行降维操作；
步骤二：利用经过粒子群优化算法优化后的K-均值算法在降维后的数据记录中根据数据特征进行聚类划分，并强化数据记录的特征。
3.根据权利要求2所述的一种基于大数据的自适应网络安全态势评估系统，其特征在于：在对收集到的原始数据进行降维操作，采用基于特征分解的降维算法，包括以下步骤：
步骤一：根据公式推导出原始数据的协方差矩阵的特征向量和特征值，得到相应的特征矩阵；
步骤二：通过对原始数据的特征矩阵(M*N)的变换，得到了临时对角矩阵(K*K）；
步骤三：通过对临时对角矩阵（K*K）的特征分解得到的特征向量与特征值；
步骤四：将原始数据的特征矩阵与得到的特征向量一起处理，得到经过预处理后的矩阵。
4.根据权利要求3所述的一种基于大数据的自适应网络安全态势评估系统，其特征在于：所述数据筛选模块在对经过数据预处理模块处理后的数据进行筛选时，采用FP-Growth算法对经过数据预处理模块处理后的数据进行筛选，具体的，包括以下步骤：
步骤一：找出初始数据中的一维频繁项集和编码；
步骤二：根据一维频繁项集对初始数据进行分组；
步骤三：为每个分组数据构建一棵FP-tree；
步骤四：对构建的每一棵FP-tree挖掘频繁项集；
步骤五：将在每一棵树中挖掘出的频繁项集汇总到一起生成最终的全局频繁项集。
5.根据权利要求4所述的一种基于大数据的自适应网络安全态势评估系统，其特征在于：在所述在线模块在对数据的威胁类型进行判断时，将数据分为“正常”、“拒绝服务攻击”、“未授权的本地超级用户特权访问”、“远程主机未授权访问”和“端口扫描”五种类型。
6.根据权利要求5所述的一种基于大数据的自适应网络安全态势评估系统，其特征在于：所述在线模块的数据库中的模板数据分为“正常”、“拒绝服务攻击”、“未授权的本地超级用户特权访问”、“远程主机未授权访问”和“端口扫描”五种类型，在所述在线模块在对数据的威胁类型进行判断时，首先数据T与数据库中的模板数据R进行匹配，找到与数据T相似度最大的模板数据R，将数据T划分为模板数据R所在的数据类型中。
7.根据权利要求6所述的一种基于大数据的自适应网络安全态势评估系统，其特征在于：在所述态势评估模块根据在线模块监测得到的数据进行态势评估时，包括以下步骤：
步骤一：记录该时间段内检测到的攻击数量和时间段内各类型攻击类型的攻击频次；
步骤二：根据公式
Figure QLYQS_6
对在时间段t内各类型攻击类型的威胁指数；其中，N为时间段t内检测到的攻击数量；Ci为时间段t内各类型攻击类型的攻击频次，i表示不同的攻击类型；Xi为不同的攻击类型对网络安全运行具有的影响程度，i表示不同的攻击类型；
步骤三：根据威胁指数对时间段t内每一类型的安全等级进行划分，其中
Figure QLYQS_7
在0到0.2之间时网络安全等级为安全，/>
Figure QLYQS_8
在0.2到0.5之间时安全等级为轻度危险，/>
Figure QLYQS_9
在0.5到0.8之间时网络安全等级为中度危险，网络安全等级在0.8到1之间时网络安全等级为重度危险。
8.根据权利要求7所述的一种基于大数据的自适应网络安全态势评估系统，其特征在于：“正常”数据对网络安全运行具有的影响程度X1=0，“拒绝服务攻击”数据对网络安全运行具有的影响程度X2=0.3，“未授权的本地超级用户特权访问”数据对网络安全运行具有的影响程度X3=0.5，“远程主机未授权访问”数据对网络安全运行具有的影响程度X4=0.6，“端口扫描”数据对网络安全运行具有的影响程度X5=0.8。
9.根据权利要求8所述的一种基于大数据的自适应网络安全态势评估系统，其特征在于：基于大数据的自适应网络安全态势评估系统在运行时，包括以下步骤：
步骤一：利用数据预处理模块对采集到的网络数据进行数据预处理；
步骤二：利用数据筛选模块对经过数据预处理模块处理后的网络数据进行筛选，得到具有显著异常特征值的网络数据；
步骤三：利用离线模块对经过数据筛选模块筛选后的数据进行分析，并将新的攻击和异常模板数据录入数据库；
步骤四：利用在线模块对网络数据进行实时监测；
步骤五：利用态势评估模块对网络数据进行周期性态势评估。
CN202310345750.1A 2023-04-03 2023-04-03 一种基于大数据的自适应网络安全态势评估系统 Active CN116074127B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310345750.1A CN116074127B (zh) 2023-04-03 2023-04-03 一种基于大数据的自适应网络安全态势评估系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310345750.1A CN116074127B (zh) 2023-04-03 2023-04-03 一种基于大数据的自适应网络安全态势评估系统

Publications (2)

Publication Number Publication Date
CN116074127A CN116074127A (zh) 2023-05-05
CN116074127B true CN116074127B (zh) 2023-07-04

Family

ID=86180555

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310345750.1A Active CN116074127B (zh) 2023-04-03 2023-04-03 一种基于大数据的自适应网络安全态势评估系统

Country Status (1)

Country Link
CN (1) CN116074127B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117375982B (zh) * 2023-11-07 2024-03-15 广州融服信息技术有限公司 一种网络态势安全监测系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106302522A (zh) * 2016-09-20 2017-01-04 华侨大学 一种基于神经网络和大数据的网络安全态势分析方法和系统
CN108200100A (zh) * 2018-03-05 2018-06-22 河北师范大学 一种网络安全态势评估系统
CN108696529A (zh) * 2018-05-29 2018-10-23 广西电网有限责任公司 基于多元信息融合的网络安全态势感知分析系统
CN110098944A (zh) * 2018-01-29 2019-08-06 中国科学院声学研究所 一种基于FP-Growth和RNN预测协议数据流量的方法
CN111585948A (zh) * 2020-03-18 2020-08-25 宁波送变电建设有限公司永耀科技分公司 一种基于电网大数据的网络安全态势智能预测方法
CN111639237A (zh) * 2020-04-07 2020-09-08 安徽理工大学 一种基于聚类和关联规则挖掘的电力通信网风险评估系统
WO2020263787A1 (en) * 2019-06-26 2020-12-30 Saudi Arabian Oil Company Network security system and method for preemptively identifying or remediating security vulnerabilities
CN112291260A (zh) * 2020-11-12 2021-01-29 福建奇点时空数字科技有限公司 一种面向apt攻击的网络安全威胁隐蔽目标识别方法
CN114281864A (zh) * 2021-12-17 2022-04-05 东南大学 一种面向电力网络告警信息的关联分析方法
WO2022083576A1 (zh) * 2020-10-22 2022-04-28 中兴通讯股份有限公司 一种网络功能虚拟化设备运行数据的分析方法及装置
CN114915478A (zh) * 2022-05-19 2022-08-16 东南大学溧阳研究院 基于多Agent的分布式关联分析的智慧园区工控系统网络攻击场景识别方法
CN115603989A (zh) * 2022-10-08 2023-01-13 东南大学溧阳研究院（Cn） 一种源网荷储协同控制系统的网络攻击关联性分析方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220044133A1 (en) * 2020-08-07 2022-02-10 Sap Se Detection of anomalous data using machine learning

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106302522A (zh) * 2016-09-20 2017-01-04 华侨大学 一种基于神经网络和大数据的网络安全态势分析方法和系统
CN110098944A (zh) * 2018-01-29 2019-08-06 中国科学院声学研究所 一种基于FP-Growth和RNN预测协议数据流量的方法
CN108200100A (zh) * 2018-03-05 2018-06-22 河北师范大学 一种网络安全态势评估系统
CN108696529A (zh) * 2018-05-29 2018-10-23 广西电网有限责任公司 基于多元信息融合的网络安全态势感知分析系统
WO2020263787A1 (en) * 2019-06-26 2020-12-30 Saudi Arabian Oil Company Network security system and method for preemptively identifying or remediating security vulnerabilities
CN111585948A (zh) * 2020-03-18 2020-08-25 宁波送变电建设有限公司永耀科技分公司 一种基于电网大数据的网络安全态势智能预测方法
CN111639237A (zh) * 2020-04-07 2020-09-08 安徽理工大学 一种基于聚类和关联规则挖掘的电力通信网风险评估系统
WO2022083576A1 (zh) * 2020-10-22 2022-04-28 中兴通讯股份有限公司 一种网络功能虚拟化设备运行数据的分析方法及装置
CN112291260A (zh) * 2020-11-12 2021-01-29 福建奇点时空数字科技有限公司 一种面向apt攻击的网络安全威胁隐蔽目标识别方法
CN114281864A (zh) * 2021-12-17 2022-04-05 东南大学 一种面向电力网络告警信息的关联分析方法
CN114915478A (zh) * 2022-05-19 2022-08-16 东南大学溧阳研究院 基于多Agent的分布式关联分析的智慧园区工控系统网络攻击场景识别方法
CN115603989A (zh) * 2022-10-08 2023-01-13 东南大学溧阳研究院（Cn） 一种源网荷储协同控制系统的网络攻击关联性分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于流关联挖掘的网络安全态势感知研究;朱旭;《中国优秀硕士学位论文全文数据库 信息科技辑》;I139-75页 *
大数据环境网络安全态势感知关键技术研究;韩晓露;《中国博士学位论文全文数据库 信息科技辑》;I138-33页 *

Also Published As

Publication number Publication date
CN116074127A (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN106973038B (zh) 基于遗传算法过采样支持向量机的网络入侵检测方法
Upendran et al. Optimization based classification technique for intrusion detection system
CN110620696A (zh) 针对企业网络安全态势感知的评分方法和装置
CN116074127B (zh) 一种基于大数据的自适应网络安全态势评估系统
CN112165470B (zh) 一种基于日志大数据分析的智能终端接入安全预警系统
CN112995161A (zh) 一种基于人工智能的网络安全态势预测系统
US11706248B2 (en) Aggregation and flow propagation of elements of cyber-risk in an enterprise
Balogun et al. Anomaly intrusion detection using an hybrid of decision tree and K-nearest neighbor
Chaudhari et al. Intrusion detection system: classification, techniques and datasets to implement
CN110674498B (zh) 一种基于多维度文件活动的内部威胁检测方法及系统
Khaliq et al. Role of user and entity behavior analytics in detecting insider attacks
Choksi et al. Intrusion detection system using self organizing map: a survey
CN117478433B (zh) 一种网络与信息安全动态预警系统
CN112637108B (zh) 一种基于异常检测和情感分析的内部威胁分析方法及系统
Asaju et al. Intrusion detection system on a computer network using an ensemble of randomizable filtered classifier, K-nearest neighbor algorithm
Salek et al. Intrusion detection using neuarl networks trained by differential evaluation algorithm
Vyas et al. Intrusion detection systems: a modern investigation
Bisen et al. An intrusion detection system based on support vector machine using hierarchical clustering and genetic algorithm
Zhu et al. Implementation system of network user abnormal behavior detection algorithm based on data layering
Rani A Perspective for Intrusion Detection & Prevention in Cloud Environment
Deore et al. A decisive approach to intrusion detection system using machine learning model
CN113254925B (zh) 一种基于pca与svm的网络入侵检测系统
Sun Automatic identification of illegal intrusion for social media websites
CN116582347A (zh) 安全检测方法、装置、电子设备和介质
Ahmad et al. Hybrid intrusion detection method to increase anomaly detection by using data mining techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant