CN117459261A - 网络大数据态势感知分析方法和系统 - Google Patents

网络大数据态势感知分析方法和系统 Download PDF

Info

Publication number
CN117459261A
CN117459261A CN202311354125.XA CN202311354125A CN117459261A CN 117459261 A CN117459261 A CN 117459261A CN 202311354125 A CN202311354125 A CN 202311354125A CN 117459261 A CN117459261 A CN 117459261A
Authority
CN
China
Prior art keywords
occurrence
probability function
data
situation awareness
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202311354125.XA
Other languages
English (en)
Inventor
王英梅
谢晓辉
周晓宇
杨林
王连庆
宁文治
廖旭
刘宸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202311354125.XA priority Critical patent/CN117459261A/zh
Publication of CN117459261A publication Critical patent/CN117459261A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/26—Discovering frequent patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种网络大数据态势感知分析方法和系统，通过收集历史网络数据得到训练数据集，使用大数据挖掘分析，得到攻击出现的上下限概率函数，以此构建态势感知评估模型，从而实现对网络实时数据的快速态势评估，克服现有技术态势感知规模大、难以量化的问题。

Description

网络大数据态势感知分析方法和系统
技术领域
本申请涉及网络安全技术领域，尤其涉及一种网络大数据态势感知分析方法和系统。
背景技术
针对网络大数据场景下，安全态势感知的规模越来越大，多目标、多层次、难以量化，需要对大数据先进行挖掘和构建态势感知评估的指标体系。按照构建好的指标体系，提取大数据中的要素指标，使用训练好的态势感知模型对上述要素指标库评估，根据评估结果分析网络环境的安全程度。
因此，急需一种针对性的网络大数据态势感知分析方法和系统。
发明内容
本发明的目的是为了解决上述问题，提供一种网络大数据态势感知分析方法和系统。该方法和系统通过对网络大数据进行高效、准确的分析和处理，能够实时感知网络数据的态势。
第一方面，本申请提供一种网络大数据态势感知分析方法，所述方法包括：
提取历史网络数据，对该提取的历史网络数据进行预处理，去除无效和冗余的数据；
对预处理后的历史网络数据按照不同类型进行聚类，得到训练数据集Z；
对所述训练数据集进行大数据挖掘分析，构建态势感知评估模型，包括：
定义所述训练数据集Z是一组有关攻击日志的排他性假设，设置攻击日志x按照以下公式映射到区间[0,1]：
上述公式中，p(x)表示对于任意出现攻击日志x的概率；
计算映射到区间[0,1]后的攻击日志x的出现概率函数，所述出现概率函数包括出现下限概率函数和出现上限概率函数；
p(y)表示对于任意出现攻击日志x的子集y的概率，Bel()定义为出现下限概率函数，其公式定义为：
其中，i为正整数；
似然函数Pl表示p(x)的出现上限概率函数，其公式定义为：
上述公式中，为对x为非真的出现概率，/>为对x为非假的出现概率；
根据所述出现概率函数，搭建态势感知评估模型的结构，所述模型的结构包括输入层、隐含层和输出层，其中，将所述出现概率函数中的出现下限概率函数和出现上限概率函数分别作为所述隐含层的激活函数，得到态势感知评估模型；
通过数据采集终端对网络数据进行实时收集，预处理和按照不同类型进行聚类后，得到待分析数据集；
将所述待分析数据集输入所述态势感知评估模型，输出相应的预警和报告。
第二方面，本申请提供一种网络大数据态势感知分析系统，所述系统包括：
数据训练单元，用于提取历史网络数据，对该提取的历史网络数据进行预处理，去除无效和冗余的数据；对预处理后的历史网络数据按照不同类型进行聚类，得到训练数据集Z；
模型构建单元，用于对所述训练数据集进行大数据挖掘分析，构建态势感知评估模型，包括：
定义所述训练数据集Z是一组有关攻击日志的排他性假设，设置攻击日志x按照以下公式映射到区间[0,1]：
上述公式中，p(x)表示对于任意出现攻击日志x的概率；
计算映射到区间[0,1]后的攻击日志x的出现概率函数，所述出现概率函数包括出现下限概率函数和出现上限概率函数；
p(y)表示对于任意出现攻击日志x的子集y的概率，Bel()定义为出现下限概率函数，其公式定义为：
其中，i为正整数；
似然函数Pl表示p(x)的出现上限概率函数，其公式定义为：
上述公式中，为对x为非真的出现概率，/>为对x为非假的出现概率；
根据所述出现概率函数，搭建态势感知评估模型的结构，所述模型的结构包括输入层、隐含层和输出层，其中，将所述出现概率函数中的出现下限概率函数和出现上限概率函数分别作为所述隐含层的激活函数，得到态势感知评估模型；
数据采集单元，用于通过数据采集终端对网络数据进行实时收集，预处理和按照不同类型进行聚类后，得到待分析数据集；
态势评估单元，用于调用所述态势感知评估模型，将所述待分析数据集输入所述态势感知评估模型，输出相应的预警和报告。
第三方面，本申请提供一种网络大数据态势感知分析系统，所述系统包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面四种可能中任一项所述的方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面四种可能中任一项所述的方法。
有益效果
本发明提供一种网络大数据态势感知分析方法和系统，通过收集历史网络数据得到训练数据集，使用大数据挖掘分析，得到攻击出现的上下限概率函数，以此构建态势感知评估模型，从而实现对网络实时数据的快速态势评估，克服现有技术态势感知规模大、难以量化的问题。
本发明具有以下优点：
1、通过实时收集网络数据，能够及时发现和预警网络异常情况，提高网络安全性和稳定性；
2、通过对网络数据进行聚类和挖掘分析，能够发现数据中隐藏的模式、规律和趋势等，构建相应的态势感知评估模型，为各行业提供决策支持；
3、系统具有良好的可扩展性、易维护性和灵活性，能够满足不同领域和不同用户的需求。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明网络大数据态势感知分析方法的大致流程图；
图2为本发明网络大数据态势感知分析系统的架构图。
具体实施方式
下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
图1为本申请提供的网络大数据态势感知分析方法的大致流程图，所述方法包括：
提取历史网络数据，对该提取的历史网络数据进行预处理，去除无效和冗余的数据；
对预处理后的历史网络数据按照不同类型进行聚类，得到训练数据集Z；
对所述训练数据集进行大数据挖掘分析，构建态势感知评估模型，包括：
定义所述训练数据集Z是一组有关攻击日志的排他性假设，设置攻击日志x按照以下公式映射到区间[0,1]：
上述公式中，p(x)表示对于任意出现攻击日志x的概率；
计算映射到区间[0,1]后的攻击日志x的出现概率函数，所述出现概率函数包括出现下限概率函数和出现上限概率函数；
p(y)表示对于任意出现攻击日志x的子集y的概率，Bel()定义为出现下限概率函数，其公式定义为：
其中，i为正整数；
似然函数Pl表示p(x)的出现上限概率函数，其公式定义为：
上述公式中，为对x为非真的出现概率，/>为对x为非假的出现概率；
根据所述出现概率函数，搭建态势感知评估模型的结构，所述模型的结构包括输入层、隐含层和输出层，其中，将所述出现概率函数中的出现下限概率函数和出现上限概率函数分别作为所述隐含层的激活函数，得到态势感知评估模型；
通过数据采集终端对网络数据进行实时收集，预处理和按照不同类型进行聚类后，得到待分析数据集；
将所述待分析数据集输入所述态势感知评估模型，输出相应的预警和报告。
在一些优选实施例中，所述按照不同类型进行聚类，包括：针对攻击日志提取安全态势指标，所述安全态势指标包括日志类型、通信协议类型、源IP地址、目的IP地址、攻击编号、优先级中的一种或若干种。
在一些优选实施例中，所述将所述出现概率函数中的出现下限概率函数和出现上限概率函数分别作为所述隐含层的激活函数，包括：分别以出现下限概率函数和出现上限概率函数搭建两个并列的隐含层，所述两个并列的隐含层的输出结果进行合并后，作为输出层的输入信息。
在一些优选实施例中，所述两个并列的隐含层的输出结果进行合并，包括：异或、或相加。
在一些应用场合中，可以在两个并列的隐含层中引入权重值机制，也就是，两个隐含层的输出结果进行加权运算。
所述预警和报告包括：针对态势感知评估模型的评估结果，给出安全级别，不限于以下几种：安全状态、危险状态和未知状态。
图2为本申请提供的网络大数据态势感知分析系统的架构图，所述系统包括：
数据训练单元，用于提取历史网络数据，对该提取的历史网络数据进行预处理，去除无效和冗余的数据；对预处理后的历史网络数据按照不同类型进行聚类，得到训练数据集Z；
模型构建单元，用于对所述训练数据集进行大数据挖掘分析，构建态势感知评估模型，包括：
定义所述训练数据集Z是一组有关攻击日志的排他性假设，设置攻击日志x按照以下公式映射到区间[0,1]：
上述公式中，p(x)表示对于任意出现攻击日志x的概率；
计算映射到区间[0,1]后的攻击日志x的出现概率函数，所述出现概率函数包括出现下限概率函数和出现上限概率函数；
p(y)表示对于任意出现攻击日志x的子集y的概率，Bel()定义为出现下限概率函数，其公式定义为：
其中，i为正整数；
似然函数Pl表示p(x)的出现上限概率函数，其公式定义为：
上述公式中，为对x为非真的出现概率，/>为对x为非假的出现概率；
根据所述出现概率函数，搭建态势感知评估模型的结构，所述模型的结构包括输入层、隐含层和输出层，其中，将所述出现概率函数中的出现下限概率函数和出现上限概率函数分别作为所述隐含层的激活函数，得到态势感知评估模型；
数据采集单元，用于通过数据采集终端对网络数据进行实时收集，预处理和按照不同类型进行聚类后，得到待分析数据集；
态势评估单元，用于调用所述态势感知评估模型，将所述待分析数据集输入所述态势感知评估模型，输出相应的预警和报告。
本申请提供一种网络大数据态势感知分析系统，所述系统包括：所述系统包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面所有实施例中任一项所述的方法。
本申请提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行第一方面所有实施例中任一项所述的方法。
具体实现中，本发明还提供一种计算机存储介质，其中，该计算机存储介质可以存储有程序，该程序执行时可包括本发明各个实施例中的部分或全部步骤。所述的存储介质可以为磁碟、光盘、只读存储记忆体(简称：ROM)或随机存储记忆体(简称：RAM)等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书各个实施例之间相同相似的部分互相参见即可。尤其，对于实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。
以上所述的本发明实施方式并不构成对本发明保护范围的限定。

Claims (7)

1.一种网络大数据态势感知分析方法，其特征在于，所述方法包括：
提取历史网络数据，对该提取的历史网络数据进行预处理，去除无效和冗余的数据；
对预处理后的历史网络数据按照不同类型进行聚类，得到训练数据集Z；
对所述训练数据集进行大数据挖掘分析，构建态势感知评估模型，包括：
定义所述训练数据集Z是一组有关攻击日志的排他性假设，设置攻击日志x按照以下公式映射到区间[0,1]：
上述公式中，p(x)表示对于任意出现攻击日志x的概率；
计算映射到区间[0,1]后的攻击日志x的出现概率函数，所述出现概率函数包括出现下限概率函数和出现上限概率函数；
p(y)表示对于任意出现攻击日志x的子集y的概率，Bel()定义为出现下限概率函数，其公式定义为：
其中，i为正整数；
似然函数Pl表示p(x)的出现上限概率函数，其公式定义为：
上述公式中，为对x为非真的出现概率，/>为对x为非假的出现概率；
根据所述出现概率函数，搭建态势感知评估模型的结构，所述模型的结构包括输入层、隐含层和输出层，其中，将所述出现概率函数中的出现下限概率函数和出现上限概率函数分别作为所述隐含层的激活函数，得到态势感知评估模型；
通过数据采集终端对网络数据进行实时收集，预处理和按照不同类型进行聚类后，得到待分析数据集；
将所述待分析数据集输入所述态势感知评估模型，输出相应的预警和报告。
2.根据权利要求1所述的方法，其特征在于：所述按照不同类型进行聚类，包括：针对攻击日志提取安全态势指标，所述安全态势指标包括日志类型、通信协议类型、源IP地址、目的IP地址、攻击编号、优先级中的一种或若干种。
3.根据权利要求1所述的方法，其特征在于：所述将所述出现概率函数中的出现下限概率函数和出现上限概率函数分别作为所述隐含层的激活函数，包括：分别以出现下限概率函数和出现上限概率函数搭建两个并列的隐含层，所述两个并列的隐含层的输出结果进行合并后，作为输出层的输入信息。
4.根据权利要求3所述的方法，其特征在于：所述两个并列的隐含层的输出结果进行合并，包括：异或、或相加。
5.一种网络大数据态势感知分析系统，其特征在于，所述系统包括：
数据训练单元，用于提取历史网络数据，对该提取的历史网络数据进行预处理，去除无效和冗余的数据；对预处理后的历史网络数据按照不同类型进行聚类，得到训练数据集Z；
模型构建单元，用于对所述训练数据集进行大数据挖掘分析，构建态势感知评估模型，包括：
定义所述训练数据集Z是一组有关攻击日志的排他性假设，设置攻击日志x按照以下公式映射到区间[0,1]：
上述公式中，p(x)表示对于任意出现攻击日志x的概率；
计算映射到区间[0,1]后的攻击日志x的出现概率函数，所述出现概率函数包括出现下限概率函数和出现上限概率函数；
p(y)表示对于任意出现攻击日志x的子集y的概率，Bel()定义为出现下限概率函数，其公式定义为：
其中，i为正整数；
似然函数Pl表示p(x)的出现上限概率函数，其公式定义为：
上述公式中，为对x为非真的出现概率，/>为对x为非假的出现概率；
根据所述出现概率函数，搭建态势感知评估模型的结构，所述模型的结构包括输入层、隐含层和输出层，其中，将所述出现概率函数中的出现下限概率函数和出现上限概率函数分别作为所述隐含层的激活函数，得到态势感知评估模型；
数据采集单元，用于通过数据采集终端对网络数据进行实时收集，预处理和按照不同类型进行聚类后，得到待分析数据集；
态势评估单元，用于调用所述态势感知评估模型，将所述待分析数据集输入所述态势感知评估模型，输出相应的预警和报告。
6.一种网络大数据态势感知分析系统，其特征在于，所述系统包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行实现权利要求1-4任一项所述的方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行实现权利要求1-4任一项所述的方法。
CN202311354125.XA 2023-10-18 2023-10-18 网络大数据态势感知分析方法和系统 Withdrawn CN117459261A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311354125.XA CN117459261A (zh) 2023-10-18 2023-10-18 网络大数据态势感知分析方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311354125.XA CN117459261A (zh) 2023-10-18 2023-10-18 网络大数据态势感知分析方法和系统

Publications (1)

Publication Number Publication Date
CN117459261A true CN117459261A (zh) 2024-01-26

Family

ID=89595797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311354125.XA Withdrawn CN117459261A (zh) 2023-10-18 2023-10-18 网络大数据态势感知分析方法和系统

Country Status (1)

Country Link
CN (1) CN117459261A (zh)

Similar Documents

Publication Publication Date Title
CN112905421B (zh) 基于注意力机制的lstm网络的容器异常行为检测方法
CN102034042B (zh) 基于函数调用关系图特征的恶意代码检测新方法
CN108833416B (zh) 一种scada系统信息安全风险评估方法及系统
CN106960358A (zh) 一种基于农村电子商务大数据深度学习的金融欺诈行为量化检测系统
CN111600919B (zh) 智能网络应用防护系统模型的构建方法和装置
CN115578015A (zh) 基于物联网的污水处理全过程监管方法、系统及存储介质
CN113159482A (zh) 一种用于评估信息安全风险的方法及系统
CN113783874A (zh) 基于安全知识图谱的网络安全态势评估方法及系统
CN115296933B (zh) 一种工业生产数据风险等级评估方法及系统
CN111738843A (zh) 一种使用流水数据的量化风险评价系统和方法
CN116389235A (zh) 一种应用于工业物联网的故障监测方法及系统
CN117473571B (zh) 一种数据信息安全处理方法及系统
CN117596057A (zh) 网络信息安全管理系统及方法
CN112003834B (zh) 异常行为检测方法和装置
CN110769003B (zh) 一种网络安全预警的方法、系统、设备及可读存储介质
CN117176417A (zh) 网络流量异常确定方法、装置、电子设备和可读存储介质
CN117459261A (zh) 网络大数据态势感知分析方法和系统
Wu et al. Study on the Construction of a Structured scenario system for Conventional Emergencies based on random forest
CN102611714B (zh) 基于联系发现技术的网络入侵预测方法
CN115603955A (zh) 异常访问对象识别方法、装置、设备和介质
CN115659351A (zh) 一种基于大数据办公的信息安全分析方法、系统及设备
CN114491563A (zh) 一种获取信息安全事件的风险等级的方法及相关装置
CN112597498A (zh) 一种webshell的检测方法、系统、装置及可读存储介质
CN117312804B (zh) 智能数据感知监测方法和系统
CN117291615B (zh) 基于网络支付下克服反欺诈的可视化对比分析方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20240126