CN117544420A - 一种基于数据分析的融合系统安全管理方法及系统 - Google Patents
一种基于数据分析的融合系统安全管理方法及系统 Download PDFInfo
- Publication number
- CN117544420A CN117544420A CN202410021364.1A CN202410021364A CN117544420A CN 117544420 A CN117544420 A CN 117544420A CN 202410021364 A CN202410021364 A CN 202410021364A CN 117544420 A CN117544420 A CN 117544420A
- Authority
- CN
- China
- Prior art keywords
- information
- data
- anomaly
- real
- management
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007726 management method Methods 0.000 title claims abstract description 84
- 230000004927 fusion Effects 0.000 title claims abstract description 33
- 238000007405 data analysis Methods 0.000 title claims abstract description 32
- 230000002159 abnormal effect Effects 0.000 claims abstract description 142
- 238000001514 detection method Methods 0.000 claims abstract description 127
- 230000005540 biological transmission Effects 0.000 claims abstract description 101
- 238000013523 data management Methods 0.000 claims abstract description 84
- 238000004458 analytical method Methods 0.000 claims abstract description 83
- 238000012544 monitoring process Methods 0.000 claims abstract description 65
- 238000012502 risk assessment Methods 0.000 claims abstract description 59
- 238000011156 evaluation Methods 0.000 claims abstract description 49
- 230000005856 abnormality Effects 0.000 claims description 31
- 230000006399 behavior Effects 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000011217 control strategy Methods 0.000 claims description 26
- 238000000034 method Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 8
- 238000000513 principal component analysis Methods 0.000 claims description 7
- 238000012847 principal component analysis method Methods 0.000 claims description 7
- 238000009472 formulation Methods 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 6
- 238000003066 decision tree Methods 0.000 claims description 5
- 230000009471 action Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- 230000002068 genetic effect Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 230000003595 spectral effect Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 abstract description 4
- 238000002955 isolation Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009545 invasion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1433—Vulnerability analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Hardware Design (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于数据分析的融合系统安全管理方法及系统,包括:获取实时传输数据,对所述实时传输数据进行数据治理,得到数据治理信息;根据所述数据治理信息进行属性分析和类别划分,得到数据管理信息;获取实时监测信息,根据所述实时监测信息进行异常检测,得到异常检测信息;根据所述异常检测信息进行风险评估,并进行异常事件预测和异常等级评估,得到异常事件预测信息和异常等级评估信息;根据所述异常事件预测信息和异常等级评估信息进行风险预警并进行风险管控。本发明在提高系统整体安全性的同时,降低误报率,实现更加智能和高效的安全管理,及对网络安全的全方位监测、分析和响应。
Description
技术领域
本发明涉及数据安全管理技术领域,尤其涉及一种基于数据分析的融合系统安全管理方法及系统。
背景技术
山东省标准化研究院作为标准制定单位,2023年受省知识产权行政部门委托,负责牵头制定一系列专利标准,同时开发一套专利标准融合系统,将制定的标准和规范嵌入系统,供用户查询使用。在搭建智能化系统的过程中,需重点考虑系统的安全性,信息系统安全规划在满足自身业务需求的同时,必须要满足信息技术安全规范的要求。随着信息技术的迅猛发展,网络攻击手段也日益翻新。传统的系统安全管理方法往往侧重于单一安全防御手段,如防火墙、入侵检测系统、访问控制等,但这些方法存在无法全面覆盖各类安全威胁、难以识别新型攻击手段等问题,并且难以满足复杂多变的威胁环境和系统结构。
目前,传统的网络安全手段难以全面应对多样化的攻击形式。网络黑客采用的技术手段日益复杂,包括但不限于恶意软件、社交工程和零日漏洞利用,传统手段在面对这些新型攻击时显得力不从心。同时,网络内部的威胁也日益引起关注。恶意内部人员、未经授权的访问以及内部系统漏洞可能导致敏感信息泄露和系统遭受损害,而传统方法对于这些内部威胁的识别和防范能力相对较弱。
因此,迫切需要一种更加综合、智能化的系统安全管理方法,以更好地适应网络安全威胁的多样性和复杂性,提高专利标准融合系统的安全性。同时,在提高网络系统整体安全性的基础上,进一步降低误报率,实现更加智能和高效的安全管理,实现对网络安全的全方位监测、分析和响应。
发明内容
本发明克服了现有技术的缺陷,提供了一种基于数据分析的融合系统安全管理方法及系统,其重要目的在于提高网络系统整体安全性,降低误报率,实现更加智能和高效的安全管理。
为实现上述目的,本发明第一方面提供了一种基于数据分析的融合系统安全管理方法,包括:
获取实时传输数据,对所述实时传输数据进行数据治理,得到数据治理信息;
根据所述数据治理信息进行属性分析和类别划分,得到数据管理信息;
获取实时监测信息,根据所述实时监测信息进行异常检测,得到异常检测信息;
根据所述异常检测信息进行风险评估,并进行异常事件预测和异常等级评估,得到异常事件预测信息和异常等级评估信息;
根据所述异常事件预测信息和异常等级评估信息进行风险预警并进行风险管控。
本方案中,所述获取实时传输数据,对所述实时传输数据进行数据治理,得到数据治理信息,具体为:
建立数据治理机制,获取实时传输数据,通过数据治理机制对实时传输数据进行数据治理;
预设数据来源识别规则,提取所述实时传输数据的来源标识符结合数据来源识别规则进行来源识别,判断是否为未知数据,得到来源识别结果信息;
提取所述实时传输数据的行为指令特征,根据提取的行为指令特征进行行为识别,识别实时传输数据的行为请求,得到行为识别信息;
根据所述行为识别信息和来源识别结果信息判断是否接收传输数据,若接收,则对所述实时传输数据进行预处理,将所述实时传输数据进行数据拼接、数据合并和数据修正,得到预处理信息;
对所述预处理信息进行标准化处理,提取实时传输信息的传输权限特征,结合数据加密算法判断是否需要进行数据加密,并构建元数据目录,记录数据来源,得到数据治理信息。
本方案中,所述根据所述数据治理信息进行属性分析和类别划分,得到数据管理信息,具体为:
获取数据治理信息,对所述数据治理信息进行特征提取,提取实时传输数据的技术特征和业务特征,得到第一特征信息;
根据所述第一特征信息对实时传输数据进行技术属性分析,分析目标数据的数据类型、数据格式、存储特点和数据规模,得到技术属性分析信息;
基于专家分析法获取业务属性分析要素,结合主成分分析法进行权重设定,将各业务属性分析要素按照相关性合并成主成分分析要素,计算各主成分的方差解释度,作为业务属性分析权重;
根据业务属性分析权重结合所述第一特征信息进行业务属性分析,得到业务属性分析信息;
结合所述技术属性分析信息和业务属性分析信息构成属性分析信息;
预设若干类别标签,所述类别标签包括技术属性类别标签和业务属性类别标签,计算所述属性分析信息与各类别标签的马氏距离,得到马氏距离信息;
将所述马氏距离信息与预设阈值进行判断,根据判断结果对实时传输数据进行类别划分,得到类别划分信息;
结合属性分析信息和类别划分信息构成数据管理信息。
本方案中,所述获取实时监测信息,根据所述实时监测信息进行异常检测,得到异常检测信息,具体为:
获取实时监测信息,所述实时监测信息包括数据监测信息和运行监测信息;
基于孤立森林算法构建数据异常检测模型,将数据监测信息输入至所述数据异常检测模型中进行数据异常检测;
引入RANSAC算法,根据数据监测信息随机选取若干样本数据,通过选取的若干样本数据进行线性拟合,并根据线性拟合计算实际观测值与拟合预测值的差异,生成残差特征;
对数据监测信息进行特征提取,结合残差特征构建新的特征矩阵,输入至所述数据异常检测模型中,根据新的特征矩阵确定孤立森林中树的总数并构建特征空间;
构建随机二叉搜索树检测特征空间中分布低密度和孤立的数据点,定义为孤立点,计算各孤立点的在对应的树的路径长度,作为异常分数,与预设阈值进行判断,得到异常数据检测信息;
构建数据异常管控规则,结合所述异常数据检测信息对异常数据进行修正和拦截;
对运行监测信息进行时序化处理,构建运行异常检测模型,包括特征提取模块和异常识别模块;
基于梯度提升决策树结合极端梯度提升算法搭建特征提取模块,对所述运行监测信息进行特征提取;
提取时序特征和数据类型特征,并计算各特征之间的皮尔逊相关系数作为相关性特征,得到第二特征信息,并构建特征矩阵;
将构建的特征矩阵输入至异常检测模块,检测异常数据的频率和规模,并根据相关性特征检测潜在异常数据,得到异常运行检测信息;
结合异常数据检测信息和异常运行检测信息构成异常检测信息。
本方案中,所述根据所述异常检测信息进行风险评估,并进行异常事件预测和异常等级评估,具体为:
基于大数据检索获取风险因素数据集,利用平行坐标方法将风险因素数据集映射至平行坐标中,每个数据轴特定的维度范围和类型,得到风险因素图;
引入主成分分析法对风险因素图进行降维处理,剔除相关性小的风险因素,得到主要风险因素信息;
根据主要风险因素信息通过专家评价法获取各主要风险因素的风险影响度,构建影响度矩阵,结合谱聚类算法进行风险因素类别划分,并根据各类型风险因素的风险影响度进行风险等级划分,得到风险因素划分信息;
基于熵值法结合风险因素划分信息计算各风险因素的熵值,结合各风险因素的风险等级设定风险评估权重,得到风险评估权重信息;
获取异常检测信息,基于风险评估权重信息构建风险评估模型,将所述异常检测信息输入至风险评估模型中进行风险评估,得到风险评估信息;
所述风险评估信息包括数据风险评估信息、运行风险评估信息和综合风险评估信息;
基于大数据检索获取各种异常事件的特征信息,并按照时间序列将各特征信息进行时序处理,并构建异常事件特征图谱;
将所述异常检测信息与所述异常事件特征图谱进行相似度计算,并与预设阈值进行判断,根据判断结果确定特征节点,并选取对应的特征路径和异常事件,得到异常事件预测信息;
根据所述异常事件特征图谱构建异常等级评估规则,划分各特征节点的节点范围设定不同的异常等级;
通过异常等级评估规则结合所述异常事件预测信息进行异常等级评估,得到异常等级评估信息。
本方案中,所述根据所述异常事件预测信息和异常等级评估信息进行风险预警并进行风险管控,具体为:
基于大数据检索获取各种不同异常程度的异常事件处理实例,基于聚类算法结合异常等级评估规则进行处理实例类型划分,得到处理实例数据集;
基于遗传算法构建管控策略制定模型,通过处理实例数据集构建训练数据集对所述管控策略制定模型进行深度学习和训练;
获取异常等级评估信息、异常事件预测信息和风险评估信息,构建风险预警规则,结合异常等级评估信息和风险评估信息进行风险预警判断,根据判断结果进行风险预警;
获取数据治理信息和数据管理信息,结合异常事件预测信息进行异常溯源,分析异常数据的来源、路径和作用,得到异常溯源信息;
将异常溯源信息、异常等级评估信息、异常事件预测信息和风险评估信息输入至所述管控策略制定模型中进行管控策略制定,得到管控策略信息,根据所述管控策略信息进行风险管控。
本发明第二方面提供了一种基于数据分析的融合系统安全管理系统,该系统包括:存储器、处理器,所述存储器中包含基于数据分析的融合系统安全管理方法程序,所述基于数据分析的融合系统安全管理方法程序被所述处理器执行时实现如下步骤:
获取实时传输数据,对所述实时传输数据进行数据治理,得到数据治理信息;
根据所述数据治理信息进行属性分析和类别划分,得到数据管理信息;
获取实时监测信息,根据所述实时监测信息进行异常检测,得到异常检测信息;
根据所述异常检测信息进行风险评估,并进行异常事件预测和异常等级评估,得到异常事件预测信息和异常等级评估信息;
根据所述异常事件预测信息和异常等级评估信息进行风险预警并进行风险管控。
本发明公开了一种基于数据分析的融合系统安全管理方法及系统,包括:获取实时传输数据,对所述实时传输数据进行数据治理,得到数据治理信息;根据所述数据治理信息进行属性分析和类别划分,得到数据管理信息;获取实时监测信息,根据所述实时监测信息进行异常检测,得到异常检测信息;根据所述异常检测信息进行风险评估,并进行异常事件预测和异常等级评估,得到异常事件预测信息和异常等级评估信息;根据所述异常事件预测信息和异常等级评估信息进行风险预警并进行风险管控。本发明在提高系统整体安全性的同时,降低误报率,实现更加智能和高效的安全管理,及对网络安全的全方位监测、分析和响应。
附图说明
为了更清楚地说明本发明实施例或示例性中的技术方案,下面将对实施例或示例性描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以按照这些附图示出的获得其他的附图。
图1为本发明一实施例提供的一种基于数据分析的融合系统安全管理方法流程图;
图2为本发明一实施例提供的安全管理流程图;
图3为本发明一实施例提供的一种基于数据分析的融合系统安全管理系统框图;
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
图1为本发明一实施例提供的一种基于数据分析的融合系统安全管理方法流程图;
如图1所示,本发明提供了一种基于数据分析的融合系统安全管理方法流程图,包括:
S102,获取实时传输数据,对所述实时传输数据进行数据治理,得到数据治理信息;
建立数据治理机制,获取实时传输数据,通过数据治理机制对实时传输数据进行数据治理;
预设数据来源识别规则,提取所述实时传输数据的来源标识符结合数据来源识别规则进行来源识别,判断是否为未知数据,得到来源识别结果信息;
提取所述实时传输数据的行为指令特征,根据提取的行为指令特征进行行为识别,识别实时传输数据的行为请求,得到行为识别信息;
根据所述行为识别信息和来源识别结果信息判断是否接收传输数据,若接收,则对所述实时传输数据进行预处理,将所述实时传输数据进行数据拼接、数据合并和数据修正,得到预处理信息;
对所述预处理信息进行标准化处理,提取实时传输信息的传输权限特征,结合数据加密算法判断是否需要进行数据加密,并构建元数据目录,记录数据来源,得到数据治理信息。
需要说明的是,在进行实时数据传输时,传输的数据包括行为请求、数据上传、数据下载等信息,通过构建数据治理机制,包括数据采集、清洗、预处理和加密等多个环节。首先,在进行数据传输时,对目标数据进行来源识别,设定来源识别规则,提取传输数据的来源标识符,通过来源标识符判断是否为正规来源,从而避免非常规信息的侵入。接着,对传输的数据进行分析,判断传输的数据的行为,如请求数据交互、请求查阅或者修改等,了解传输数据的目的。然后,根据行为识别信息和来源识别结果信息判断是否接收数据,若接收,则对目标数据进行预处理,若不接收,则将截断目标传输节点,并删除传输数据。最后,对于可接收的数据,对其进行标准化处理,并根据传输时的权限特征,判断是否需要加密,通过加密算法进行内容加密,同时,构建元数据目录,记录数据来源、时间和处理操作等,便于数据丢失或者数据异常时进行数据恢复和异常检测,确保数据的完整性、可靠性,并为后续的安全管理提供了高质量的数据基础。
S104,根据所述数据治理信息进行属性分析和类别划分,得到数据管理信息;
获取数据治理信息,对所述数据治理信息进行特征提取,提取实时传输数据的技术特征和业务特征,得到第一特征信息;
根据所述第一特征信息对实时传输数据进行技术属性分析,分析目标数据的数据类型、数据格式、存储特点和数据规模,得到技术属性分析信息;
基于专家分析法获取业务属性分析要素,结合主成分分析法进行权重设定,将各业务属性分析要素按照相关性合并成主成分分析要素,计算各主成分的方差解释度,作为业务属性分析权重;
根据业务属性分析权重结合所述第一特征信息进行业务属性分析,得到业务属性分析信息;
结合所述技术属性分析信息和业务属性分析信息构成属性分析信息;
预设若干类别标签,所述类别标签包括技术属性类别标签和业务属性类别标签,计算所述属性分析信息与各类别标签的马氏距离,得到马氏距离信息;
将所述马氏距离信息与预设阈值进行判断,根据判断结果对实时传输数据进行类别划分,得到类别划分信息;
结合属性分析信息和类别划分信息构成数据管理信息。
需要说明的是,对于接收的数据,需要对其进行数据管理,从技术属性和业务属性来对接受的数据进行定义,技术属性包括目标数据的数据类型、数据格式、存储特点和数据规模等,业务属性包括领域、类型、指标等,比如某接受数据的业务属性为金融领域的某部门的业绩数据。首先,通过数据治理的步骤,得到了处理好的接收数据,对处理好的接收数据进行特征提取,根据提取的特征分析接收数据的技术属性。然后,采用专家分析法,获取业务属性分析要素,然后结合主成分分析法进行权重设定,将多个相关性较高的业务要素合并为少数几个主成分,并计算各主成分的方差解释度,作为业务属性分析的权重,通过设定的权重进行业务属性分析。同时,预设若干类别标签,包括技术属性类别标签和业务属性类别标签。通过计算属性分析信息与各类别标签的马氏距离,与预设阈值进行比较判断,以此对实时传输数据进行类别划分。进一步的对实时传输的数据进行详细的理解,便于进行安全管理。
S106,获取实时监测信息,根据所述实时监测信息进行异常检测,得到异常检测信息;
获取实时监测信息,所述实时监测信息包括数据监测信息和运行监测信息;
基于孤立森林算法构建数据异常检测模型,将数据监测信息输入至所述数据异常检测模型中进行数据异常检测;
引入RANSAC算法,根据数据监测信息随机选取若干样本数据,通过选取的若干样本数据进行线性拟合,并根据线性拟合计算实际观测值与拟合预测值的差异,生成残差特征;
对数据监测信息进行特征提取,结合残差特征构建新的特征矩阵,输入至所述数据异常检测模型中,根据新的特征矩阵确定孤立森林中树的总数并构建特征空间;
构建随机二叉搜索树检测特征空间中分布低密度和孤立的数据点,定义为孤立点,计算各孤立点的在对应的树的路径长度,作为异常分数,与预设阈值进行判断,得到异常数据检测信息;
构建数据异常管控规则,结合所述异常数据检测信息对异常数据进行修正和拦截;
对运行监测信息进行时序化处理,构建运行异常检测模型,包括特征提取模块和异常识别模块;
基于梯度提升决策树结合极端梯度提升算法搭建特征提取模块,对所述运行监测信息进行特征提取;
提取时序特征和数据类型特征,并计算各特征之间的皮尔逊相关系数作为相关性特征,得到第二特征信息,并构建特征矩阵;
将构建的特征矩阵输入至异常检测模块,检测异常数据的频率和规模,并根据相关性特征检测潜在异常数据,得到异常运行检测信息;
结合异常数据检测信息和异常运行检测信息构成异常检测信息。
需要说明的是,对于实时数据交换和数据传输等网络操作,需要进行实时的异常检测,包括数据层面的异常检测和运行层面的异常检测,数据异常检测包括对于数据传输质量检测和异常数据检测,运行异常检测是对于系统运行状态的异常检测,判断某部分模块出现异常运行数据。
需要说明的是,首先,采用孤立森林算法构建数据异常检测模型,此算法适用于检测数据中的异常点,通过将数据点随机分割,构建随机二叉搜索树,然后根据路径长度来评估数据点的异常度。为了增强对数据异常的检测,引入RANSAC算法。该算法通过随机选择一小部分样本数据,进行线性拟合,计算实际观测值与拟合预测值的差异,生成残差特征,从而提供新的维度特征来检测和捕获数据中的异常。根据残差特征构建新的特征矩阵,形成更全面的特征矩阵,以提高异常检测的准确性。接着,将新特征矩阵输入至孤立森林中,确定孤立森林中树的总数并构建特征空间。通过随机二叉搜索树检测特征空间中分布低密度和孤立的数据点,定义为孤立点,计算各孤立点的在对应的树的路径长度,作为异常分数。随后,将计算得到的异常分数与预设阈值进行判断,得到异常数据检测信息。最后,构建数据异常管控规则,结合异常数据检测信息对异常数据进行修正和拦截。从而保证数据传输和储存的质量,同时避免接受异常数据。
需要说明的是,对于运行异常检测,首先,对获取的运行监测信息进行时序化处理,将监测的信息按照时间进行排列、整合和拼接,以便能够更好的捕捉运行状态的变化。然后,构建运行异常检测模型,按照功能来设定模块,包括特征提取模块和异常识别模块,使用梯度提升决策树算法作为基础框架,引入计算梯度提升算法进行优化,从而搭建特征提取模块,加速特征提取的收敛过程,并提升特征提取的准确性和鲁棒性。通过特征提取模块对运行监测信息进行特征提取,提取时序特征和数据类型特征。时序特征涵盖了时间序列数据的模式和趋势,而数据类型特征则关注运行监测信息的种类,计算各特征之间的皮尔逊相关系数,作为相关性特征,理解特征之间的关联关系,得到第二特征信息,并构建特征矩阵输入至异常检测模块,检测异常数据的频率和规模,通过对相关性特征的分析,能够检测潜在的异常数据,从而映射潜在运行异常,提高系统的安全性和稳定性。
S108,根据所述异常检测信息进行风险评估,并进行异常事件预测和异常等级评估,得到异常事件预测信息和异常等级评估信息;
基于大数据检索获取风险因素数据集,利用平行坐标方法将风险因素数据集映射至平行坐标中,每个数据轴特定的维度范围和类型,得到风险因素图;
引入主成分分析法对风险因素图进行降维处理,剔除相关性小的风险因素,得到主要风险因素信息;
根据主要风险因素信息通过专家评价法获取各主要风险因素的风险影响度,构建影响度矩阵,结合谱聚类算法进行风险因素类别划分,并根据各类型风险因素的风险影响度进行风险等级划分,得到风险因素划分信息;
基于熵值法结合风险因素划分信息计算各风险因素的熵值,结合各风险因素的风险等级设定风险评估权重,得到风险评估权重信息;
获取异常检测信息,基于风险评估权重信息构建风险评估模型,将所述异常检测信息输入至风险评估模型中进行风险评估,得到风险评估信息;
所述风险评估信息包括数据风险评估信息、运行风险评估信息和综合风险评估信息;
基于大数据检索获取各种异常事件的特征信息,并按照时间序列将各特征信息进行时序处理,并构建异常事件特征图谱;
将所述异常检测信息与所述异常事件特征图谱进行相似度计算,并与预设阈值进行判断,根据判断结果确定特征节点,并选取对应的特征路径和异常事件,得到异常事件预测信息;
根据所述异常事件特征图谱构建异常等级评估规则,划分各特征节点的节点范围设定不同的异常等级;
通过异常等级评估规则结合所述异常事件预测信息进行异常等级评估,得到异常等级评估信息。
需要说明的是,首先,通过大数据检索获得风险因素数据集。随后,采用平行坐标方法,将风险因素数据集映射至平行坐标图。在平行坐标中,每个轴代表着数据的不同维度范围和类型,形成了直观清晰的风险因素图。为了简化数据结构,引入主成分分析(PCA)进行降维处理。通过PCA,剔除相关性较小的风险因素,得到主要风险因素信息。接着,基于主要风险因素信息,采用专家评价法获取各主要风险因素的风险影响度,并构建相应的影响度矩阵。结合谱聚类算法,对风险因素进行分类,并根据影响度划定不同风险等级,形成详实的风险因素划分信息。利用熵值法,计算各风险因素的熵值。综合考虑风险因素的划分信息和风险等级,设定相应的风险评估权重,得到风险评估权重信息。然后,基于先前计算的风险评估权重信息构建了风险评估模型,将异常检测信息输入至风险评估模型中进行风险评估,得到风险评估信息。随后,通过大数据检索,获取各种异常事件的特征信息,按照时间序列对这些特征信息进行处理,通过各异常事件的特征,按照时间节点构建异常事件特征图谱。通过相似度计算将异常检测信息与异常事件特征图谱进行比较,根据预设阈值进行判断,得到异常事件预测信息,通过分析当前时刻的特征与异常事件的特征的相似度,判断当前时刻的异常特征会导致的异常事件。最后,根据异常事件特征图谱构建异常等级评估规则,划分各特征节点的节点范围,为不同异常等级设定对应的标准。结合先前获得的异常事件预测信息,进行异常等级评估,评估当前异常事件的异常程度,从而为后续进行安全管理提供重要依据。
S110,根据所述异常事件预测信息和异常等级评估信息进行风险预警并进行风险管控;
基于大数据检索获取各种不同异常程度的异常事件处理实例,基于聚类算法结合异常等级评估规则进行处理实例类型划分,得到处理实例数据集;
基于遗传算法构建管控策略制定模型,通过处理实例数据集构建训练数据集对所述管控策略制定模型进行深度学习和训练;
获取异常等级评估信息、异常事件预测信息和风险评估信息,构建风险预警规则,结合异常等级评估信息和风险评估信息进行风险预警判断,根据判断结果进行风险预警;
获取数据治理信息和数据管理信息,结合异常事件预测信息进行异常溯源,分析异常数据的来源、路径和作用,得到异常溯源信息;
将异常溯源信息、异常等级评估信息、异常事件预测信息和风险评估信息输入至所述管控策略制定模型中进行管控策略制定,得到管控策略信息,根据所述管控策略信息进行风险管控。
需要说明的是,首先利用大数据检索获取各种不同异常程度的异常事件处理实例。通过这些实例,获得多样的异常情境数据。接着,采用聚类算法结合异常等级评估规则,对这些处理实例进行类型划分,形成了一个包含不同异常等级的处理实例数据集。然后,基于遗传算法构建了管控策略制定模型,使用处理实例数据集构建训练数据集,并对管控策略制定模型进行深度学习和训练。接着,获取异常等级评估信息、异常事件预测信息和风险评估信息。基于这些信息,构建风险预警规则。结合异常等级评估信息和风险评估信息,对当前的异常情况进行分析和判断,通过预设的风险预警规则,对异常情况进行预警。获取数据治理信息和数据管理信息,结合异常事件预测信息,系统进行异常溯源,详细分析了异常数据的来源、路径和作用,深入理解异常事件的形成和传播过程。将异常溯源信息、异常等级评估信息、异常事件预测信息和风险评估信息输入至管控策略制定模型中,制定具体的管控策略。最后,根据制定的管控策略进行风险管控,从而能够及时、有效地应对异常情况,最大程度地减轻或防范风险的发生。
图2为本发明一实施例提供的安全管理流程图;
如图2所示,本发明提供了安全管理流程图,包括:
S202,获取实时监测信息,根据实时监测信息进行数据异常检测和运行异常检测;
S204,获取异常检测信息,输入至风险评估模型中进行风险评估,评估异常数据的风险程度;
S206,根据异常事件特征图谱进行异常事件预测,并结合异常等级评估规则进行异常等级评估;
S208,根据异常等级评估信息和风险评估信息结合风险预警规则进行风险预警;
S210,对异常数据进行溯源,得到异常溯源信息,结合异常等级评估信息、异常事件预测信息和风险评估信息进行管控策略制定;
S212,通过管控策略制定模型中制定管控策略,进行风险管控。
进一步的,获取异常溯源信息,根据所述异常溯源信息判断异常事件来源;若为异常数据,则提取异常数据特征,得到异常数据特征信息;根据所述异常数据特征信息识别异常行为,判断异常数据的是传输异常还是入侵异常,得到异常来源判断信息;若异常来源判断信息为传输异常,则获取异常数据的传输节点和传输路径,对目标节点和路径进行状态评估,得到状态评估信息;根据状态评估信息进行传输能力分析,计算数据传输的丢包率、时延、误码率和传输速率,并与预设阈值进行判断,得到传输能力分析信息;预设数据隔离区,根据所述传输能力分析信息判断异常数据所在传输节点和路径是否能够继续传输;若不能传输,则将目标数据转移至数据隔离区,进行数据暂存,并评估其他传输通道的传输状态,进行传输调控;提取数据隔离区的等待数据信息和最大容量信息,计算数据隔离区的数据转移速率和数据暂存速率,结合等待数据信息和最大容量信息预测数据隔离区的数据饱和时间,得到饱和时间预测信息;根据饱和时间预测信息进行数据暂存控制,并实时评估数据隔离区的数据量,根据数据量的变化判断是否需要对传输来源进行传输控制;若异常来源判断信息为入侵异常,则获取入侵数据的来源通道并关闭异常传输通道,并将入侵数据转移至数据隔离区;对入侵数据进行特征提取,根据提取的特征进行行为识别和入侵路径识别,得到入侵数据分析信息;根据入侵数据分析信息进行潜在危险分析,通过入侵数据的行为,判断入侵数据的入侵位置,结合其入侵路径,对入侵位置和路劲的数据和模块进行潜在异常检测,得到潜在异常检测信息;根据所述潜在异常检测信息进行风险管控,提高系统的安全性。
图3为本发明一实施例提供的一种基于数据分析的融合系统安全管理系统框图,该系统包括:存储器31、处理器32,所述存储器31中包含基于数据分析的融合系统安全管理方法程序,所述基于数据分析的融合系统安全管理方法程序被所述处理器32执行时实现如下步骤:
获取实时传输数据,对所述实时传输数据进行数据治理,得到数据治理信息;
根据所述数据治理信息进行属性分析和类别划分,得到数据管理信息;
获取实时监测信息,根据所述实时监测信息进行异常检测,得到异常检测信息;
根据所述异常检测信息进行风险评估,并进行异常事件预测和异常等级评估,得到异常事件预测信息和异常等级评估信息;
根据所述异常事件预测信息和异常等级评估信息进行风险预警并进行风险管控。
需要说明的是,本发明提供了一种基于数据分析的融合系统安全管理方法及系统,通过对实时传输数据进行数据治理和数据管理,识别数据的来源,判断是否为安全来源,分析数据的行为请求,判断数据的请求目的,结合来源识别和行为识别,判断是否能够接受数据,做到初步异常拦截。对于接收的数据,判断是否需要进行数据加密,保证数据安全性,并对目标数据进行预处理,保证数据的规范性。同时,对目标数据进行属性分析,分析目标数据的技术属性和业务属性,从而便于更好的理解数据的内在意义,便于进行数据管理。另一方面,提供异常检测和安全管理方法,将异常检测分为数据异常和运行异常,从两个不同的层面进行异常检测和安全管理,不仅检测数据安全和完整,还检测运行状态,判断是否出现异常运行情况,为安全管理提供了全面的异常检测,提高系统整体安全性的同时,降低误报率,实现更加智能和高效的安全管理,及对网络安全的全方位监测、分析和响应。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于数据分析的融合系统安全管理方法,其特征在于,包括:
获取实时传输数据,对所述实时传输数据进行数据治理,得到数据治理信息;
根据所述数据治理信息进行属性分析和类别划分,得到数据管理信息;
获取实时监测信息,根据所述实时监测信息进行异常检测,得到异常检测信息;
根据所述异常检测信息进行风险评估,并进行异常事件预测和异常等级评估,得到异常事件预测信息和异常等级评估信息;
根据所述异常事件预测信息和异常等级评估信息进行风险预警并进行风险管控。
2.根据权利要求1所述的一种基于数据分析的融合系统安全管理方法,其特征在于,所述获取实时传输数据,对所述实时传输数据进行数据治理,得到数据治理信息,具体包括:
建立数据治理机制,获取实时传输数据,通过数据治理机制对实时传输数据进行数据治理;
预设数据来源识别规则,提取所述实时传输数据的来源标识符结合数据来源识别规则进行来源识别,判断是否为未知数据,得到来源识别结果信息;
提取所述实时传输数据的行为指令特征,根据提取的行为指令特征进行行为识别,识别实时传输数据的行为请求,得到行为识别信息;
根据所述行为识别信息和来源识别结果信息判断是否接收传输数据,若接收,则对所述实时传输数据进行预处理,将所述实时传输数据进行数据拼接、数据合并和数据修正,得到预处理信息;
对所述预处理信息进行标准化处理,提取实时传输信息的传输权限特征,结合数据加密算法判断是否需要进行数据加密,并构建元数据目录,记录数据来源,得到数据治理信息。
3.根据权利要求1所述的一种基于数据分析的融合系统安全管理方法,其特征在于,所述根据所述数据治理信息进行属性分析和类别划分,得到数据管理信息,具体包括:
获取数据治理信息,对所述数据治理信息进行特征提取,提取实时传输数据的技术特征和业务特征,得到第一特征信息;
根据所述第一特征信息对实时传输数据进行技术属性分析,分析目标数据的数据类型、数据格式、存储特点和数据规模,得到技术属性分析信息;
基于专家分析法获取业务属性分析要素,结合主成分分析法进行权重设定,将各业务属性分析要素按照相关性合并成主成分分析要素,计算各主成分的方差解释度,作为业务属性分析权重;
根据业务属性分析权重结合所述第一特征信息进行业务属性分析,得到业务属性分析信息;
结合所述技术属性分析信息和业务属性分析信息构成属性分析信息;
预设若干类别标签,所述类别标签包括技术属性类别标签和业务属性类别标签,计算所述属性分析信息与各类别标签的马氏距离,得到马氏距离信息;
将所述马氏距离信息与预设阈值进行判断,根据判断结果对实时传输数据进行类别划分,得到类别划分信息;
结合属性分析信息和类别划分信息构成数据管理信息。
4.根据权利要求1所述的一种基于数据分析的融合系统安全管理方法,其特征在于,所述获取实时监测信息,根据所述实时监测信息进行异常检测,得到异常检测信息,具体包括:
获取实时监测信息,所述实时监测信息包括数据监测信息和运行监测信息;
基于孤立森林算法构建数据异常检测模型,将数据监测信息输入至所述数据异常检测模型中进行数据异常检测;
引入RANSAC算法,根据数据监测信息随机选取若干样本数据,通过选取的若干样本数据进行线性拟合,并根据线性拟合计算实际观测值与拟合预测值的差异,生成残差特征;
对数据监测信息进行特征提取,结合残差特征构建新的特征矩阵,输入至所述数据异常检测模型中,根据新的特征矩阵确定孤立森林中树的总数并构建特征空间;
构建随机二叉搜索树检测特征空间中分布低密度和孤立的数据点,定义为孤立点,计算各孤立点的在对应的树的路径长度,作为异常分数,与预设阈值进行判断,得到异常数据检测信息;
构建数据异常管控规则,结合所述异常数据检测信息对异常数据进行修正和拦截;
对运行监测信息进行时序化处理,构建运行异常检测模型,包括特征提取模块和异常识别模块;
基于梯度提升决策树结合极端梯度提升算法搭建特征提取模块,对所述运行监测信息进行特征提取;
提取时序特征和数据类型特征,并计算各特征之间的皮尔逊相关系数作为相关性特征,得到第二特征信息,并构建特征矩阵;
将构建的特征矩阵输入至异常检测模块,检测异常数据的频率和规模,并根据相关性特征检测潜在异常数据,得到异常运行检测信息;
结合异常数据检测信息和异常运行检测信息构成异常检测信息。
5.根据权利要求1所述的一种基于数据分析的融合系统安全管理方法,其特征在于,所述根据所述异常检测信息进行风险评估,并进行异常事件预测和异常等级评估,具体包括:
基于大数据检索获取风险因素数据集,利用平行坐标方法将风险因素数据集映射至平行坐标中,每个数据轴特定的维度范围和类型,得到风险因素图;
引入主成分分析法对风险因素图进行降维处理,剔除相关性小的风险因素,得到主要风险因素信息;
根据主要风险因素信息通过专家评价法获取各主要风险因素的风险影响度,构建影响度矩阵,结合谱聚类算法进行风险因素类别划分,并根据各类型风险因素的风险影响度进行风险等级划分,得到风险因素划分信息;
基于熵值法结合风险因素划分信息计算各风险因素的熵值,结合各风险因素的风险等级设定风险评估权重,得到风险评估权重信息;
获取异常检测信息,基于风险评估权重信息构建风险评估模型,将所述异常检测信息输入至风险评估模型中进行风险评估,得到风险评估信息;
所述风险评估信息包括数据风险评估信息、运行风险评估信息和综合风险评估信息;
基于大数据检索获取各种异常事件的特征信息,并按照时间序列将各特征信息进行时序处理,并构建异常事件特征图谱;
将所述异常检测信息与所述异常事件特征图谱进行相似度计算,并与预设阈值进行判断,根据判断结果确定特征节点,并选取对应的特征路径和异常事件,得到异常事件预测信息;
根据所述异常事件特征图谱构建异常等级评估规则,划分各特征节点的节点范围设定不同的异常等级;
通过异常等级评估规则结合所述异常事件预测信息进行异常等级评估,得到异常等级评估信息。
6.根据权利要求1所述的一种基于数据分析的融合系统安全管理方法,其特征在于,所述根据所述异常事件预测信息和异常等级评估信息进行风险预警并进行风险管控,具体包括:
基于大数据检索获取各种不同异常程度的异常事件处理实例,基于聚类算法结合异常等级评估规则进行处理实例类型划分,得到处理实例数据集;
基于遗传算法构建管控策略制定模型,通过处理实例数据集构建训练数据集对所述管控策略制定模型进行深度学习和训练;
获取异常等级评估信息、异常事件预测信息和风险评估信息,构建风险预警规则,结合异常等级评估信息和风险评估信息进行风险预警判断,根据判断结果进行风险预警;
获取数据治理信息和数据管理信息,结合异常事件预测信息进行异常溯源,分析异常数据的来源、路径和作用,得到异常溯源信息;
将异常溯源信息、异常等级评估信息、异常事件预测信息和风险评估信息输入至所述管控策略制定模型中进行管控策略制定,得到管控策略信息,根据所述管控策略信息进行风险管控。
7.一种基于数据分析的融合系统安全管理系统,其特征在于,该系统包括:存储器、处理器,所述存储器中包含基于数据分析的融合系统安全管理方法程序,所述基于数据分析的融合系统安全管理方法程序被所述处理器执行时实现如下步骤:
获取实时传输数据,对所述实时传输数据进行数据治理,得到数据治理信息;
根据所述数据治理信息进行属性分析和类别划分,得到数据管理信息;
获取实时监测信息,根据所述实时监测信息进行异常检测,得到异常检测信息;
根据所述异常检测信息进行风险评估,并进行异常事件预测和异常等级评估,得到异常事件预测信息和异常等级评估信息;
根据所述异常事件预测信息和异常等级评估信息进行风险预警并进行风险管控。
8.根据权利要求7所述的一种基于数据分析的融合系统安全管理系统,其特征在于,所述获取实时传输数据,对所述实时传输数据进行数据治理,得到数据治理信息,具体包括:
建立数据治理机制,获取实时传输数据,通过数据治理机制对实时传输数据进行数据治理;
预设数据来源识别规则,提取所述实时传输数据的来源标识符结合数据来源识别规则进行来源识别,判断是否为未知数据,得到来源识别结果信息;
提取所述实时传输数据的行为指令特征,根据提取的行为指令特征进行行为识别,识别实时传输数据的行为请求,得到行为识别信息;
根据所述行为识别信息和来源识别结果信息判断是否接收传输数据,若接收,则对所述实时传输数据进行预处理,将所述实时传输数据进行数据拼接、数据合并和数据修正,得到预处理信息;
对所述预处理信息进行标准化处理,提取实时传输信息的传输权限特征,结合数据加密算法判断是否需要进行数据加密,并构建元数据目录,记录数据来源,得到数据治理信息。
9.根据权利要求7所述的一种基于数据分析的融合系统安全管理系统,其特征在于,所述根据所述数据治理信息进行属性分析和类别划分,得到数据管理信息,具体包括:
获取数据治理信息,对所述数据治理信息进行特征提取,提取实时传输数据的技术特征和业务特征,得到第一特征信息;
根据所述第一特征信息对实时传输数据进行技术属性分析,分析目标数据的数据类型、数据格式、存储特点和数据规模,得到技术属性分析信息;
基于专家分析法获取业务属性分析要素,结合主成分分析法进行权重设定,将各业务属性分析要素按照相关性合并成主成分分析要素,计算各主成分的方差解释度,作为业务属性分析权重;
根据业务属性分析权重结合所述第一特征信息进行业务属性分析,得到业务属性分析信息;
结合所述技术属性分析信息和业务属性分析信息构成属性分析信息;
预设若干类别标签,所述类别标签包括技术属性类别标签和业务属性类别标签,计算所述属性分析信息与各类别标签的马氏距离,得到马氏距离信息;
将所述马氏距离信息与预设阈值进行判断,根据判断结果对实时传输数据进行类别划分,得到类别划分信息;
结合属性分析信息和类别划分信息构成数据管理信息。
10.根据权利要求7所述的一种基于数据分析的融合系统安全管理系统,其特征在于,所述获取实时监测信息,根据所述实时监测信息进行异常检测,得到异常检测信息,具体包括:
获取实时监测信息,所述实时监测信息包括数据监测信息和运行监测信息;
基于孤立森林算法构建数据异常检测模型,将数据监测信息输入至所述数据异常检测模型中进行数据异常检测;
引入RANSAC算法,根据数据监测信息随机选取若干样本数据,通过选取的若干样本数据进行线性拟合,并根据线性拟合计算实际观测值与拟合预测值的差异,生成残差特征;
对数据监测信息进行特征提取,结合残差特征构建新的特征矩阵,输入至所述数据异常检测模型中,根据新的特征矩阵确定孤立森林中树的总数并构建特征空间;
构建随机二叉搜索树检测特征空间中分布低密度和孤立的数据点,定义为孤立点,计算各孤立点的在对应的树的路径长度,作为异常分数,与预设阈值进行判断,得到异常数据检测信息;
构建数据异常管控规则,结合所述异常数据检测信息对异常数据进行修正和拦截;
对运行监测信息进行时序化处理,构建运行异常检测模型,包括特征提取模块和异常识别模块;
基于梯度提升决策树结合极端梯度提升算法搭建特征提取模块,对所述运行监测信息进行特征提取;
提取时序特征和数据类型特征,并计算各特征之间的皮尔逊相关系数作为相关性特征,得到第二特征信息,并构建特征矩阵;
将构建的特征矩阵输入至异常检测模块,检测异常数据的频率和规模,并根据相关性特征检测潜在异常数据,得到异常运行检测信息;
结合异常数据检测信息和异常运行检测信息构成异常检测信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410021364.1A CN117544420B (zh) | 2024-01-08 | 2024-01-08 | 一种基于数据分析的融合系统安全管理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410021364.1A CN117544420B (zh) | 2024-01-08 | 2024-01-08 | 一种基于数据分析的融合系统安全管理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117544420A true CN117544420A (zh) | 2024-02-09 |
CN117544420B CN117544420B (zh) | 2024-03-29 |
Family
ID=89796151
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410021364.1A Active CN117544420B (zh) | 2024-01-08 | 2024-01-08 | 一种基于数据分析的融合系统安全管理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117544420B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190305589A1 (en) * | 2016-11-10 | 2019-10-03 | China Electric Power Research Institute Company Limited | Distribution network risk identification system and method and computer storage medium |
CN112613664A (zh) * | 2020-12-25 | 2021-04-06 | 武汉理工大学 | 基于水上交通事故风险预测与评估的预警方法和系统 |
CN113159482A (zh) * | 2021-01-05 | 2021-07-23 | 航天信息股份有限公司广州航天软件分公司 | 一种用于评估信息安全风险的方法及系统 |
CN114997607A (zh) * | 2022-05-17 | 2022-09-02 | 保利长大工程有限公司 | 一种基于工程检测数据的异常评估预警方法及系统 |
EP4115252A1 (en) * | 2020-03-04 | 2023-01-11 | Nuovo Pignone Tecnologie S.r.l. | Hybrid risk model for maintenance optimization and system for executing such method |
CN115691044A (zh) * | 2022-10-31 | 2023-02-03 | 中国石油大学(北京) | 一种动态风险评估预警方法、系统及装置 |
CN116248489A (zh) * | 2022-11-25 | 2023-06-09 | 大唐珲春发电厂 | 一种信息系统风险评估方法及系统 |
CN116800536A (zh) * | 2023-07-28 | 2023-09-22 | 吴锦豪 | 一种基于大数据分析的网络安全监测系统 |
CN116821750A (zh) * | 2023-05-30 | 2023-09-29 | 北京东方通网信科技有限公司 | 一种基于人工智能的数据安全风险监测追溯系统 |
CN117095506A (zh) * | 2023-10-18 | 2023-11-21 | 潍坊市平安消防工程有限公司 | 一种基于报警区域模型的消防安全监控系统及其方法 |
CN117235743A (zh) * | 2023-11-13 | 2023-12-15 | 北京华源芯电科技有限公司 | 一种基于安全风险的智慧电力管理方法及系统 |
-
2024
- 2024-01-08 CN CN202410021364.1A patent/CN117544420B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190305589A1 (en) * | 2016-11-10 | 2019-10-03 | China Electric Power Research Institute Company Limited | Distribution network risk identification system and method and computer storage medium |
EP4115252A1 (en) * | 2020-03-04 | 2023-01-11 | Nuovo Pignone Tecnologie S.r.l. | Hybrid risk model for maintenance optimization and system for executing such method |
CN112613664A (zh) * | 2020-12-25 | 2021-04-06 | 武汉理工大学 | 基于水上交通事故风险预测与评估的预警方法和系统 |
CN113159482A (zh) * | 2021-01-05 | 2021-07-23 | 航天信息股份有限公司广州航天软件分公司 | 一种用于评估信息安全风险的方法及系统 |
CN114997607A (zh) * | 2022-05-17 | 2022-09-02 | 保利长大工程有限公司 | 一种基于工程检测数据的异常评估预警方法及系统 |
CN115691044A (zh) * | 2022-10-31 | 2023-02-03 | 中国石油大学(北京) | 一种动态风险评估预警方法、系统及装置 |
CN116248489A (zh) * | 2022-11-25 | 2023-06-09 | 大唐珲春发电厂 | 一种信息系统风险评估方法及系统 |
CN116821750A (zh) * | 2023-05-30 | 2023-09-29 | 北京东方通网信科技有限公司 | 一种基于人工智能的数据安全风险监测追溯系统 |
CN116800536A (zh) * | 2023-07-28 | 2023-09-22 | 吴锦豪 | 一种基于大数据分析的网络安全监测系统 |
CN117095506A (zh) * | 2023-10-18 | 2023-11-21 | 潍坊市平安消防工程有限公司 | 一种基于报警区域模型的消防安全监控系统及其方法 |
CN117235743A (zh) * | 2023-11-13 | 2023-12-15 | 北京华源芯电科技有限公司 | 一种基于安全风险的智慧电力管理方法及系统 |
Non-Patent Citations (3)
Title |
---|
YUQING YU; QINGYING HAO; PING HAO: "The research and application of enterprises\' dynamic risk monitoring and assessment model based on related time series", 《2017 CHINESE AUTOMATION CONGRESS (CAC)》, 1 January 2018 (2018-01-01) * |
王静;高昆仑;卞超轶;梁潇;: "基于大数据的能源集团统一运行监测与安全预警平台", 电信科学, no. 05, 20 May 2018 (2018-05-20) * |
钟志琛;: "基于网络流量异常检测的电网工控系统安全监测技术", 电力信息与通信技术, no. 01, 15 January 2017 (2017-01-15) * |
Also Published As
Publication number | Publication date |
---|---|
CN117544420B (zh) | 2024-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110620759B (zh) | 基于多维关联的网络安全事件危害指数评估方法及其系统 | |
CN115996146B (zh) | 数控系统安全态势感知与分析系统、方法、设备及终端 | |
CN112491779B (zh) | 一种异常行为检测方法及装置、电子设备 | |
CN116781430B (zh) | 用于燃气管网的网络信息安全系统及其方法 | |
KR101692982B1 (ko) | 로그 분석 및 특징 자동 학습을 통한 위험 감지 및 접근제어 자동화 시스템 | |
CN117220978B (zh) | 一种网络安全运营模型量化评估系统及评估方法 | |
CN113904881B (zh) | 一种入侵检测规则误报处理方法和装置 | |
CN113824682A (zh) | 一种模块化的scada安全态势感知系统架构 | |
CN115795330A (zh) | 一种基于ai算法的医疗信息异常检测方法及系统 | |
CN111104670B (zh) | 一种apt攻击的识别和防护方法 | |
CN117544420B (zh) | 一种基于数据分析的融合系统安全管理方法及系统 | |
CN113162904B (zh) | 一种基于概率图模型的电力监控系统网络安全告警评估方法 | |
CN113032774B (zh) | 异常检测模型的训练方法、装置、设备及计算机存储介质 | |
CN114039837A (zh) | 告警数据处理方法、装置、系统、设备和存储介质 | |
Alomiri et al. | Machine learning-based security mechanism to detect and prevent cyber-attack in IoT networks | |
CN117592109B (zh) | 基于深度学习的企业金融信息安全管理方法及系统 | |
CN117609990B (zh) | 一种基于场景关联分析引擎的自适应安全防护方法及装置 | |
CN117807590B (zh) | 基于人工智能的信息安全预测及监控系统及方法 | |
CN118101250A (zh) | 一种网络安全检测方法及系统 | |
CN118138361A (zh) | 一种基于可自主进化智能体的安全策略制定方法和系统 | |
CN116796311A (zh) | 一种基于ai的商城系统入侵数据分析方法及系统 | |
CN118153091A (zh) | 一种基于远程控制的隐私数据保护方法、系统和介质 | |
CN117350835A (zh) | 一种安防系统风险预警方法、装置、设备及存储介质 | |
CN114268484A (zh) | 恶意加密流量检测方法、装置、电子设备及存储介质 | |
CN117749493A (zh) | 基于DDoS的网络流量预测方法、装置、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |