CN117331933B - 基于多源异构统一纳管的安全运营方法及系统 - Google Patents
基于多源异构统一纳管的安全运营方法及系统 Download PDFInfo
- Publication number
- CN117331933B CN117331933B CN202311160144.9A CN202311160144A CN117331933B CN 117331933 B CN117331933 B CN 117331933B CN 202311160144 A CN202311160144 A CN 202311160144A CN 117331933 B CN117331933 B CN 117331933B
- Authority
- CN
- China
- Prior art keywords
- data
- association
- node
- data stream
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 239000002071 nanotube Substances 0.000 title claims abstract description 14
- 238000012098 association analyses Methods 0.000 claims abstract description 71
- 238000004458 analytical method Methods 0.000 claims abstract description 40
- 238000012216 screening Methods 0.000 claims description 39
- 238000013507 mapping Methods 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 9
- 231100000279 safety data Toxicity 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 9
- 238000013480 data collection Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 230000007123 defense Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000010219 correlation analysis Methods 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005111 flow chemistry technique Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2246—Trees, e.g. B+trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Security & Cryptography (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Computer Hardware Design (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供基于多源异构统一纳管的安全运营方法及系统，包括：对用户新接入的数据源创建字段表；拖入并连接预置组件，配置关联信息及操作信息，从字段表中选取模型节点参数，以创建关联分析，生成并存储分析节点树形关联分析模型；解析分析节点树形关联分析模型，据以构建树形结构体，获取树形结构体中，各个关联分析节点生成的数据流对象，以实现关联分析底层；按照从数据源节点到输出节点的顺序，遍历树形结构体的所有关联分析节点，据以管理各关联分析节点的数据流；执行数据流，以定位存在安全威胁的数据源。本发明解决了安全数据来源不全面且关联性弱、产生冗余、依赖人工经验的技术问题。
Description
技术领域
本发明涉及数据管理技术领域，具体涉及基于多源异构统一纳管的安全运营方法及系统。
背景技术
公布号为CN115456567A的现有发明申请文献《一种松耦合的数据安全运营系统和方法》，该现有文献中披露的一种松耦合的数据安全运营系统包括：数据采集模块，用于采集分类分级指导信息，作为对拟进行安全防护的数据进行统一管理和标记的依据；数据治理模块，用于对所述分类分级指导信息进行解析，生成分类分级模板，基于所述分类分级模板对拟进行安全防护的数据进行分类分级操作，生成所有数据库表和字段的分类分级信息，其中，所述拟进行安全防护的数据存储于数据库；防护策略模块，用于针对拟进行安全防护的数据，根据所述分类分级信息生成对应类别和级别的防护策略，并将所述防护策略下发至对应的安全产品。公布号为CN115022097A的现有发明申请文献《一种公共信息安全监测的方法和系统》，该方法包括：将采集到的公共信息汇总到信息分析器中，通过所述信息分析器将公共信息分为正常公共信息和异常公共信息；基于获取的异常公共信息的风险数值通过信息安全风险算法计算风险概率，并根据所述风险概率进行风险等级划分；当风险等级大于等于预设风险等级阈值时，通过预先构建的公共信息主动防御模型对网络异常攻击进行风险识别和报警；对所述网络异常攻击进行攻击回溯和攻击推演，并通过深度学习网络获取攻击特征元素，基于所述攻击特征元素，对所述公共信息主动防御模型进行防御升级。现有技术多数是针对安全监测平台的研究或对安全能力的针对性研究，对于安全运营体系不全面。
现有的技术只是从网络安全或数据安全的单一渠道采集数据，安全数据来源不全面，不同安全之间关联性弱；现有技术建立的安全关联模型算法为基础型模型，产生冗余较多，最终的安全事件仍需要加大研判；现有技术发现安全风险溯源需人工经验，切换不同系统分析查询相关问题。
综上，现有技术存在安全数据来源不全面且关联性弱、产生冗余、依赖人工经验的技术问题。
发明内容
本发明所要解决的技术问题在于：如何解决现有技术中安全数据来源不全面且关联性弱、产生冗余、依赖人工经验的技术问题。
本发明是采用以下技术方案解决上述技术问题的：基于多源异构统一纳管的安全运营方法包括：
S1、对用户新接入的数据源创建字段表，其中，字段表包括：数据源定义表、预定义字段表以及数据源字段映射表；
S2、拖入并连接预置组件，配置关联信息及操作信息，从字段表中选取模型节点参数，以创建关联分析，生成并存储分析节点树形关联分析模型至预置任务定义表，其中，预置组件包括：选择数据组件、条件筛选组件、数据关联组件、数据统计组件以及结果输出组件；
S3、解析分析节点树形关联分析模型，据以构建树形结构体，获取树形结构体中，各个关联分析节点生成的数据流对象，以实现关联分析底层；
S4、按照从数据源节点到输出节点的顺序，遍历树形结构体的所有关联分析节点，据以管理各关联分析节点的数据流；
S5、执行数据流，以定位存在安全威胁的数据源。
本发明通过对各种数据进行集中处理，关联分析，实现全时、全程监测信息安全动态，构建全时全域的网络安全态势感知和预警能力，针对安全事件全流程跟踪与溯源，及时精准发现安全威胁。
本发明融合利用深度关联分析和搜索合分布式计算大数据处理技术，实时监测目标全网安全情况，全面监测目标网络的资产，实现对安全漏洞、威胁隐患、高级威胁攻击的快速识别，并为安全监测、态势分析、通报处理等提供强有力的数据支撑，包括关联分析、行为分析和检索分折等能力。
在更具体的技术方案中，步骤S1包括：
S11、创建数据源定义表，以存放所有接入的数据源定义；
S12、创建预定义字段表，以存放预定义的字段列表；
S13、创建数据源字段映射表，存放接入数据源的字段映射关系；
S14、当接入新的数据源时，把数据源的名称、Kafka话题、来源添加至数据源定义表；
S15、通过对数据源的字段梳理操作，把数据源的原始字段名和对应的预定义字段ID写入至数据源字段映射表。
本发明从网络安全、云安全、密码应用、终端安全、应用安全、数据安全六大安全采集全域数据，通过数据经过清洗、富化、归一化、标签化等流程进行标准化处理，建设统一的安全数据采集汇聚子系统，数据采集层面范围比传统技术更大。
在更具体的技术方案中，步骤S2包括：
S21、拖入选择数据组件，以配置关联分析的数据源，从数据源定义表中选择已添加的数据源；
S22、连接条件筛选组件，配置字段条件过滤，从预定义字段表中选择过滤字段，据以设置字段筛选条件；
S23、连接数据关联组件，配置多数据源关联，从预定义字段表中选择关联字段，设置关联方式、时窗大小；
S24、连接数据统计组件，配置分组统计操作参数，从预定义字段表中选择分组字段，设置时窗大小以及筛选条件；
S25、连接结果输出组件，配置结果输出，从预定义字段表中选择分组字段，设置时窗大小、告警限制；
S26、根据数据源、字段筛选条件、关联方式、时窗大小、筛选条件以及告警限制，生成分析节点树形关联分析模型，将分析节点树形关联分析模型存入预置任务定义表。
本发明将全域六大安全事件关联，将冗余安全事件过滤，减少研判工作量，结果更直观精准，使得关联分析模型层面更加高效。
在更具体的技术方案中，步骤S3包括：
S31、从预置任务定义表中，读取分析节点树形关联分析模型的模型定义数据；
S32、解析模型定义数据，据以生成树形结构体；
S33、在内存中创建数据流对象缓存表，以缓存各个关联分析节点生成的数据流对象。
在更具体的技术方案中，步骤S4包括：
S41、遍历数据源节点；
S42、遍历关联分析节点；
S43、遍历数据统计节点；
S44、遍历条件筛选节点；
S45、遍历结果输出节点。
在更具体的技术方案中，步骤S41包括：
S411、从数据源定义表中读取数据源的Kafka话题、来源；
S412、创建Kafka消费者，以监听Kafka话题下的数据流；
S413、从数据源字段映射表中，读取当前数据源下的字段原始名称和预定义字段的映射关系，按原始字段解析Kafka日志，并映射为预定义字段；
S414、按照预定义字段生成数据流对象，并缓存至数据流对象缓存表。
在更具体的技术方案中，步骤S42包括：
S421、以父节点ID作为参数，从数据流对象缓存表中读取参与关联分析的数据流对象；
S422、对各个数据流对象，按关联字段处理得到不少于2个分组；
S423、从各分组中，按时窗截取分组内的事件列表，对于不同的关联类型，生成差异关联事件。
在更具体的技术方案中，步骤S43包括：
S431、以父节点ID作为参数，从数据流对象缓存表中，读取参与统计的数据流对象；
S432、对数据流对象按分组字段分组；
S433、对数据流对象按时窗截取数据流并统计，得到统计个数；
S434、在统计个数大于预置限定个数时，生成统计事件；
S435、记录统计事件和原始事件之间的映射关系，供事件溯源；
S436、将统计事件映射为数据流对象，缓存至数据流对象缓存表。
本发明通过收集网络安全、云安全、密码应用、终端安全、应用安全、数据安全六大安全重的安全事件、安全日志、威胁情报、漏洞数据等多源异构数据进行关联分析，预测安全威胁，并全链路追溯，形成全时全域的安全态势感知和预警能力，及时发现安全风险并能快速进行响应和处置，形成完善的安全运营体系。
本发明在发现安全问题可通过统一平台追溯中可自动化快速定位源头和相关影响。相比现有技术，本发明追踪溯源链路更清晰、准确。
在更具体的技术方案中，步骤S44包括：
S441、以父节点ID作为参数，从数据流对象缓存表中读取参与筛选的数据流对象；
S442、根据数据流对象中的事件字段计算筛选条件，在条件为真时，归集当前的筛选事件；
S443、将归集的所述筛选事件映射为数据流对象，缓存数据流对象至数据流对象缓存表。
在更具体的技术方案中，基于多源异构统一纳管的安全运营系统包括：
字段表创建模块，用以对用户新接入的数据源创建字段表，其中，字段表包括：数据源定义表、预定义字段表以及数据源字段映射表；
分析模型生成模块，用以拖入并连接预置组件，配置关联信息及操作信息，从字段表中选取模型节点参数，以创建关联分析，生成并存储分析节点树形关联分析模型至预置任务定义表，其中，预置组件包括：选择数据组件、条件筛选组件、数据关联组件、数据统计组件以及结果输出组件，分析模型生成模块与字段表创建模块连接；
关联节点遍历模块，用以解析分析节点树形关联分析模型，据以构建树形结构体，获取树形结构体中，各个关联分析节点生成的数据流对象，以实现关联分析底层，关联节点遍历模块与分析模型生成模块连接；
数据流关联模块，用以按照从数据源节点到输出节点的顺序，遍历树形结构体的所有关联分析节点，据以管理各关联分析节点的数据流，数据流关联模块与关联节点遍历模块连接；
数据流执行模块，用以执行数据流，以定位存在安全威胁的数据源，数据流执行模块与数据流关联模块连接。
本发明相比现有技术具有以下优点：
本发明通过对各种数据进行集中处理，关联分析，实现全时、全程监测信息安全动态，构建全时全域的网络安全态势感知和预警能力，针对安全事件全流程跟踪与溯源，及时精准发现安全威胁。
本发明融合利用深度关联分析和搜索合分布式计算大数据处理技术，实时监测目标全网安全情况，全面监测目标网络的资产，实现对安全漏洞、威胁隐患、高级威胁攻击的快速识别，并为安全监测、态势分析、通报处理等提供强有力的数据支撑，包括关联分析、行为分析和检索分折等能力。
本发明从网络安全、云安全、密码应用、终端安全、应用安全、数据安全六大安全采集全域数据，通过数据经过清洗、富化、归一化、标签化等流程进行标准化处理，建设统一的安全数据采集汇聚子系统，数据采集层面范围比传统技术更大。
本发明将全域六大安全事件关联，将冗余安全事件过滤，减少研判工作量，结果更直观精准，使得关联分析模型层面更加高效。
本发明通过收集网络安全、云安全、密码应用、终端安全、应用安全、数据安全六大安全重的安全事件、安全日志、威胁情报、漏洞数据等多源异构数据进行关联分析，预测安全威胁，并全链路追溯，形成全时全域的安全态势感知和预警能力，及时发现安全风险并能快速进行响应和处置，形成完善的安全运营体系。
本发明在发现安全问题可通过统一平台追溯中可自动化快速定位源头和相关影响。相比现有技术，本发明追踪溯源链路更清晰、准确。
本发明解决了现有技术中存在的安全数据来源不全面且关联性弱、产生冗余、依赖人工经验的技术问题。
附图说明
图1为本发明实施例1的基于多源异构统一纳管的安全运营方法示意图；
图2为本发明实施例1的基于多源异构统一纳管的安全运营系统数据流处理示意图；
图3为本发明实施例1的用户新接入数据源数据流处理示意图；
图4为本发明实施例1的用户新接入数据源具体步骤示意图；
图5为本发明实施例1的用户创建关联分析具体步骤示意图；
图6为本发明实施例1的实现关联分析底层具体步骤示意图；
图7为本发明实施例1的树形结构体拓扑示意图；
图8为本发明实施例1的分析节点遍历数据流处理示意图；
图9为本发明实施例1的分析节点遍历具体步骤示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1及图2所示，本发明提供的基于多源异构统一纳管的安全运营方法，包括以下具体步骤：
S1、用户新接入数据源；
如图3及图4所示，在本实施例中，用户新接入数据源的步骤S1，还包括以下具体步骤：
S11、创建数据源定义表，存放所有接入的数据源定义；
在本实施例中，数据源定义包括但不限于：数据源ID、数据源名称、Kafka话题、数据源分类以及来源；
S12、创建预定义字段表，存放预定义的字段列表；
在本实施例中，字段列表中的字段包括但不限于：字段ID、字段名称、数据类型以及字段分类；
S13、创建数据源字段映射表，存放接入数据源的字段映射关系；
在本实施例中，字段映射关系中的字段包括但不限于：数据源ID、原始字段名以及预定义字段ID。
S14、当接入新的数据源时，把数据源的名称、Kafka话题、来源添加到数据源定义表中；
S15、通过对该数据源字段梳理，把该数据源的原始字段名和对应的预定义字段ID写入到数据源字段映射表中。
S2、用户创建关联分析；
如图5所示，在本实施例中，用户创建关联分析的步骤S2，还包括以下具体步骤：
S21、拖入选择数据组件，配置关联分析的数据源，从数据源定义表中选择已添加的数据源；
S22、连接条件筛选组件，配置字段条件过滤，从预定义字段表中选择过滤字段，设置字段筛选条件；
S23、连接数据关联组件，配置多数据源关联，从预定义字段表中选择关联字段，设置关联方式、时窗大小等参数；
S24、连接数据统计组件，配置分组统计，从预定义字段表中选择分组字段、设置时窗大小、筛选条件；
S25、连接结果输出组件，配置结果输出，从预定义字段表中选择分组字段，设置时窗大小、告警限制。
S26、用户点击保存，生成一个由分析节点组成的树形关联分析模型。并存入到任务定义表中。
S3、实现关联分析底层；
如图6所示，在本实施例中，实现关联分析底层的步骤S3，还包括以下具体步骤：
S31、从任务定义表中读取关联分析模型定义；
S32、对关联分析模型定义解析，生成由关联分析节点组成的树形结构体；
如图7所示，在本实施例中，树形结构体的叶节点可为例如：一个或多个数据源，数据源生成的流式数据经过数据关联、条件筛选、数据统计等节点处理后，最后流入根节点，作为结果输出。结果输出节点根据配置的规则，输出最终计算结果。
S33、在内存中创建数据流对象缓存表。以节点ID作为Key，用来缓存各个节点生成的数据流对象；
S34、按照从叶到根逆向遍历树形结构体的所有分析节点；在本实施例中，从叶到根逆向，即从数据源节点到输出节点的顺序；
如图8及图9所示，在本实施例中，根据节点的类型进行分析节点遍历，调用以下处理逻辑：
S41、遍历分析数据源节点；
在本实施例中，从数据源定义表中读取数据源的Kafka话题、来源等信息。创建Kafka消费者，监听Kafka话题下的数据流。从数据源字段映射表中读取该数据源下的字段原始名称和预定义字段的映射关系。按原始字段解析Kafka日志，并映射为预定义字段。按预定义字段生成数据流对象。并缓存到数据流对象缓存表中。
在本实施例中，解析Kafka日志为Json对象。在本实施例中，采用数据源字段映射表中的原始字段名和预定义字段名生成数组。循环遍历上述数组，以原始字段名作为key,从Json对象中读取值，生成行数据。利用上述预定义字段名生成上述行数据的schema。
S42、遍历关联分析节点；
在本实施例中，以父节点ID作为参数，从数据流对象缓存表中读取参与关联分析的多个数据流对象。对各个数据流对象，按关联字段分组。从各个分组中按时窗截取分组内的事件列表。 对于不同的关联类型，按以下原则生成关联事件：
在本实施例中，在关联事件全部发生时，如果各个分组时窗内事件列表都不为空，则生成关联事件。在关联事件部分发生时，如果存在不为空的事件列表，则生成关联事件。在A事件发生后发生B事件时。把各个分组中时窗内的事件列表，合并为一个列表并按时间排序。筛选出列表中跟随B事件的A事件，并生成关联事件。在A事件发生后未发生B事件时，把各个分组中时窗内的事件列表，合并为一个列表并按时间排序。筛选出列表中未跟随B事件的A事件，并生成关联事件。在A事件发生前未发生B事件时，把各个分组中时窗内的事件列表，合并为一个列表并按时间排序。筛选出列表中不在B事件后的A事件，并生成关联事件。
在本实施例中，针对不同的关联方式，可采用不同的时窗类型。
在本实施例中，当关联事件全部发生，或A事件发生后发生B事件时，使用1.5倍时长滑动时窗。滑动距离为0.5倍时长。筛选时窗内符合条件的日志，生成事件。在本实施例中，对于由于时窗重叠产生的重复事件，按事件来源和生成时间去重过滤。
在本实施例中，当关联事件部分发生，或A事件发生后可能发生B事件时，使用1倍时长滚动时窗。在本实施例中，若时窗内存在符合条件的日志，则生成事件。
在本实施例中，A事件发生后未发生B事件，或A事件发生器未发生B事件使用间隔为1倍时长的会话时窗。在本实施例中，会话时窗对时间间隔内的日志自动汇聚在同一时窗范围内，过滤符合条件的日志生成事件。
在本实施例中，记录所生成关联事件和原始事件之间的映射关系，以便事件溯源。所生成的关联事件映射为数据流对象，缓存到数据流对象缓存表中。
S43、遍历数据统计节点；
在本实施例中，以父节点ID作为参数，从数据流对象缓存表中读取参与统计的数据流对象。对数据流对象按分组字段分组。对数据流对象按时窗截取数据流并统计。如果统计个数大于限定个数，生成统计事件。记录所生成统计事件和原始事件之间的映射关系，以便事件溯源。所生成的统计事件映射为数据流对象，缓存到数据流对象缓存表中。在本实施例中，限定个数采用的具体数值，时窗大小等参数在数据统计节点中设置。
在本实施例中，数据源节点监听Kafka话题，解析Json日志生成数据流。用解析的日志ID和Kafka话题名称拼接为日志来源，拼接方式可采用例如：话题名•ID。将上述日志来源作为字段添加到数据流中。
在本实施例的数据关联操作过程中，节点从时窗中筛选到符合条件的日志并生成事件时，合并上述日志的日志来源字段，作为上述生成事件的日志来源字段。
在本实施例的数据统计操作过程中，节点统计时窗中日志，并生成事件时，合并上述被统计日志的日志来源字段，作为上述生成事件的日志来源字段。
在本实施例的结果输出操作过程中，节点在输出事件时，从上述事件中取出事件ID和日志来源字段中的列表，存入一对多关系表中。
在本实施例中，进行事件溯源时，根据事件ID查找上述关系表，取出日志来源列表。循环遍历上述列表，从日志来源项中获取到Kafka话题名和日志ID。在本实施例中，用Kafka话题名从数据源映射表中找到对应的数据库表，用日志ID查找上述数据库表，找到原始日志。
S44、条件筛选节点；
在本实施例中，以父节点ID作为参数，从数据流对象缓存表中读取参与筛选的数据流对象。用数据流对象中的事件字段计算筛选条件，如果条件为真，归集该事件。归集的事件映射为数据流对象，缓存到数据流对象缓存表中。
在本实施例中，按用户设定的分组字段对数据流分组，按用户设置的时窗长度开启滚动时窗，对每个时窗创建归集对象，归集对象包含事件缓存表和已触发事件表。
上述归集对象把时窗内收到的事件插入事件缓存表中。
在本实施例中，为了能在时窗结束前，对符合条件的事件实现实时触发，需要按1秒的间隔对时窗设置触发器。
在本实施例中，接收到触发器通知后，如果事件缓存表不为空，循环遍历事件缓存表。用事件缓存表的大小作为当前事件生成数。
在本实施例中，如果事件生成数小于用户设定的最大值，则输出该事件并添加到已触发事件表；如果事件生成数大于等于用户设置的最大值，从已触发事件表中获取上次的事件，并更新该事件的发生次数和时间戳。从事件缓存表中删除已处理事件。
S45、结果输出节点；
在本实施例中，以父节点ID作为参数，从‘数据流对象缓存表’中读取参与输出的数据流对象。对数据流对象按分组字段分组。对数据流对象按时窗截取数据流并统计。如果统计个数在限定范围内，生成输出事件。生成的输出事件输出到Kafka对应话题中。
S5、上述全部节点遍历完成后，已完成各个节点数据流的关联，执行数据流。
综上，本发明通过对各种数据进行集中处理，关联分析，实现全时、全程监测信息安全动态，构建全时全域的网络安全态势感知和预警能力，针对安全事件全流程跟踪与溯源，及时精准发现安全威胁。
本发明融合利用深度关联分析和搜索合分布式计算大数据处理技术，实时监测目标全网安全情况，全面监测目标网络的资产，实现对安全漏洞、威胁隐患、高级威胁攻击的快速识别，并为安全监测、态势分析、通报处理等提供强有力的数据支撑，包括关联分析、行为分析和检索分折等能力。
本发明从网络安全、云安全、密码应用、终端安全、应用安全、数据安全六大安全采集全域数据，通过数据经过清洗、富化、归一化、标签化等流程进行标准化处理，建设统一的安全数据采集汇聚子系统，数据采集层面范围比传统技术更大。
本发明将全域六大安全事件关联，将冗余安全事件过滤，减少研判工作量，结果更直观精准，使得关联分析模型层面更加高效。
本发明通过收集网络安全、云安全、密码应用、终端安全、应用安全、数据安全六大安全重的安全事件、安全日志、威胁情报、漏洞数据等多源异构数据进行关联分析，预测安全威胁，并全链路追溯，形成全时全域的安全态势感知和预警能力，及时发现安全风险并能快速进行响应和处置，形成完善的安全运营体系。
本发明在发现安全问题可通过统一平台追溯中可自动化快速定位源头和相关影响。相比现有技术，本发明追踪溯源链路更清晰、准确。
本发明解决了现有技术中存在的安全数据来源不全面且关联性弱、产生冗余、依赖人工经验的技术问题。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (5)
1.基于多源异构统一纳管的安全运营方法，其特征在于，所述方法包括：
S1、对用户新接入的数据源创建字段表，其中，所述字段表包括：数据源定义表、预定义字段表以及数据源字段映射表；
S2、拖入并连接预置组件，配置关联信息及操作信息，从所述字段表中选取模型节点参数，以创建关联分析，生成并存储分析节点树形关联分析模型至预置任务定义表，其中，所述预置组件包括：选择数据组件、条件筛选组件、数据关联组件、数据统计组件以及结果输出组件；
S3、解析所述分析节点树形关联分析模型，据以构建树形结构体，获取所述树形结构体中，各个关联分析节点生成的数据流对象，以实现关联分析底层；
S4、按照从数据源节点到输出节点的顺序，遍历所述树形结构体的所有所述关联分析节点，据以管理各所述关联分析节点的数据流，其中，所述步骤S4包括：
S41、遍历数据源节点，其中，所述步骤S41包括：
S411、从数据源定义表中读取数据源的Kafka话题、来源；
S412、创建Kafka消费者，以监听Kafka话题下的数据流；
S413、从数据源字段映射表中，读取当前数据源下的字段原始名称和预定义字段的映射关系，按原始字段解析Kafka日志，并映射为预定义字段；
S414、按照所述预定义字段生成数据流对象，并缓存至数据流对象缓存表；
S42、遍历关联分析节点，其中，所述步骤S42包括：
S421、以父节点ID作为参数，从数据流对象缓存表中读取参与关联分析的数据流对象；
S422、对各个所述数据流对象，按关联字段处理得到不少于2个分组；
S423、从各所述分组中，按时窗截取所述分组内的事件列表，对于不同的关联类型，生成差异关联事件；
S43、遍历数据统计节点，其中，所述步骤S43包括：
S431、以父节点ID作为参数，从数据流对象缓存表中，读取参与统计的数据流对象；
S432、对所述数据流对象按分组字段分组；
S433、对所述数据流对象按时窗截取数据流并统计，得到统计个数；
S434、在所述统计个数大于预置限定个数时，生成统计事件；
S435、记录所述统计事件和原始事件之间的映射关系，供事件溯源；
S436、将所述统计事件映射为所述数据流对象，缓存至数据流对象缓存表；
S44、遍历条件筛选节点，其中，所述步骤S44包括：
S441、以父节点ID作为参数，从数据流对象缓存表中读取参与筛选的数据流对象；
S442、根据所述数据流对象中的事件字段计算筛选条件，在条件为真时，归集当前的筛选事件；
S443、将归集的所述筛选事件映射为所述数据流对象，缓存所述数据流对象至数据流对象缓存表；
S45、遍历结果输出节点；
S5、执行所述数据流，以定位存在安全威胁的所述数据源。
2.根据权利要求1所述的基于多源异构统一纳管的安全运营方法，其特征在于，所述步骤S1包括：
S11、创建所述数据源定义表，以存放所有接入的数据源定义；
S12、创建所述预定义字段表，以存放预定义的字段列表；
S13、创建所述数据源字段映射表，存放接入所述数据源的字段映射关系；
S14、当接入新的所述数据源时，把所述数据源的名称、Kafka话题、来源添加至所述数据源定义表；
S15、通过对所述数据源的字段梳理操作，把所述数据源的原始字段名和对应的预定义字段ID写入至所述数据源字段映射表。
3.根据权利要求1所述的基于多源异构统一纳管的安全运营方法，其特征在于，所述步骤S2包括：
S21、拖入所述选择数据组件，以配置关联分析的所述数据源，从所述数据源定义表中选择已添加的所述数据源；
S22、连接所述条件筛选组件，配置字段条件过滤，从所述预定义字段表中选择过滤字段，据以设置字段筛选条件；
S23、连接所述数据关联组件，配置多数据源关联，从所述预定义字段表中选择关联字段，设置关联方式、时窗大小；
S24、连接所述数据统计组件，配置分组统计操作参数，从所述预定义字段表中选择分组字段，设置所述时窗大小以及筛选条件；
S25、连接所述结果输出组件，配置结果输出，从所述预定义字段表中选择分组字段，设置时窗大小、告警限制；
S26、根据所述数据源、所述字段筛选条件、所述关联方式、所述时窗大小、所述筛选条件以及所述告警限制，生成所述分析节点树形关联分析模型，将所述分析节点树形关联分析模型存入所述预置任务定义表。
4.根据权利要求1所述的基于多源异构统一纳管的安全运营方法，其特征在于，所述步骤S3包括：
S31、从所述预置任务定义表中，读取所述分析节点树形关联分析模型的模型定义数据；
S32、解析所述模型定义数据，据以生成所述树形结构体；
S33、在内存中创建数据流对象缓存表，以缓存各个所述关联分析节点生成的所述数据流对象。
5.基于多源异构统一纳管的安全运营系统，其特征在于，所述系统包括：
字段表创建模块，用以对用户新接入的数据源创建字段表，其中，所述字段表包括：数据源定义表、预定义字段表以及数据源字段映射表；
分析模型生成模块，用以拖入并连接预置组件，配置关联信息及操作信息，从所述字段表中选取模型节点参数，以创建关联分析，生成并存储分析节点树形关联分析模型至预置任务定义表，其中，所述预置组件包括：选择数据组件、条件筛选组件、数据关联组件、数据统计组件以及结果输出组件，所述分析模型生成模块与所述字段表创建模块连接；
关联节点遍历模块，用以解析所述分析节点树形关联分析模型，据以构建树形结构体，获取所述树形结构体中，各个关联分析节点生成的数据流对象，以实现关联分析底层，所述关联节点遍历模块与所述分析模型生成模块连接；
数据流关联模块，用以按照从数据源节点到输出节点的顺序，遍历所述树形结构体的所有所述关联分析节点，据以管理各所述关联分析节点的数据流，所述数据流关联模块与所述关联节点遍历模块连接；
其中，利用所述数据流关联模块遍历数据源节点，其中，所述遍历数据源节点的操作包括：
从数据源定义表中读取数据源的Kafka话题、来源；创建Kafka消费者，以监听Kafka话题下的数据流；从数据源字段映射表中，读取当前数据源下的字段原始名称和预定义字段的映射关系，按原始字段解析Kafka日志，并映射为预定义字段；按照所述预定义字段生成数据流对象，并缓存至数据流对象缓存表；
利用所述数据流关联模块遍历关联分析节点，其中，所述遍历关联分析节点的操作包括：
以父节点ID作为参数，从数据流对象缓存表中读取参与关联分析的数据流对象；对各个所述数据流对象，按关联字段处理得到不少于2个分组；从各所述分组中，按时窗截取所述分组内的事件列表，对于不同的关联类型，生成差异关联事件；
利用所述数据流关联模块遍历数据统计节点，其中，所述遍历数据统计节点的操作包括：
以父节点ID作为参数，从数据流对象缓存表中，读取参与统计的数据流对象；对所述数据流对象按分组字段分组；对所述数据流对象按时窗截取数据流并统计，得到统计个数；在所述统计个数大于预置限定个数时，生成统计事件；记录所述统计事件和原始事件之间的映射关系，供事件溯源；将所述统计事件映射为所述数据流对象，缓存至数据流对象缓存表；
利用所述数据流关联模块遍历条件筛选节点，其中，所述遍历条件筛选节点的操作包括：
以父节点ID作为参数，从数据流对象缓存表中读取参与筛选的数据流对象；根据所述数据流对象中的事件字段计算筛选条件，在条件为真时，归集当前的筛选事件；将归集的所述筛选事件映射为所述数据流对象，缓存所述数据流对象至数据流对象缓存表；遍历结果输出节点；
数据流执行模块，用以执行所述数据流，以定位存在安全威胁的所述数据源，所述数据流执行模块与所述数据流关联模块连接。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311160144.9A CN117331933B (zh) | 2023-09-11 | 2023-09-11 | 基于多源异构统一纳管的安全运营方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311160144.9A CN117331933B (zh) | 2023-09-11 | 2023-09-11 | 基于多源异构统一纳管的安全运营方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117331933A CN117331933A (zh) | 2024-01-02 |
| CN117331933B true CN117331933B (zh) | 2024-02-23 |
Family
ID=89278120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311160144.9A Active CN117331933B (zh) | 2023-09-11 | 2023-09-11 | 基于多源异构统一纳管的安全运营方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117331933B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105912595A (zh) * | 2016-04-01 | 2016-08-31 | 华南理工大学 | 一种关系数据库的数据起源收集方法 |
| CN107315768A (zh) * | 2017-05-17 | 2017-11-03 | 上海交通大学 | 基于异构信息模型映射的配网信息交互方法及系统 |
| CN113141368A (zh) * | 2021-04-27 | 2021-07-20 | 天翼电子商务有限公司 | 一种支持海量数据实时安全威胁关联分析的系统 |
| CN114090374A (zh) * | 2021-11-08 | 2022-02-25 | 北京许继电气有限公司 | 网络安全运营管理平台 |
| CN114143020A (zh) * | 2021-09-06 | 2022-03-04 | 北京许继电气有限公司 | 一种基于规则的网络安全事件关联分析方法和系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9171150B2 (en) * | 2012-12-14 | 2015-10-27 | Salesforce.Com, Inc. | System and method for dynamic analysis tracking objects for application dataflow |
| US10515062B2 (en) * | 2016-05-09 | 2019-12-24 | Sumo Logic, Inc. | Searchable investigation history for event data store |
| US11720631B2 (en) * | 2021-04-21 | 2023-08-08 | Neo4J Sweden Ab | Tool to build and store a data model and queries for a graph database |
| US20230059083A1 (en) * | 2021-08-23 | 2023-02-23 | Tableau Software, LLC | Generating shortcut paths between related data types |
-
2023
- 2023-09-11 CN CN202311160144.9A patent/CN117331933B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105912595A (zh) * | 2016-04-01 | 2016-08-31 | 华南理工大学 | 一种关系数据库的数据起源收集方法 |
| CN107315768A (zh) * | 2017-05-17 | 2017-11-03 | 上海交通大学 | 基于异构信息模型映射的配网信息交互方法及系统 |
| CN113141368A (zh) * | 2021-04-27 | 2021-07-20 | 天翼电子商务有限公司 | 一种支持海量数据实时安全威胁关联分析的系统 |
| CN114143020A (zh) * | 2021-09-06 | 2022-03-04 | 北京许继电气有限公司 | 一种基于规则的网络安全事件关联分析方法和系统 |
| CN114090374A (zh) * | 2021-11-08 | 2022-02-25 | 北京许继电气有限公司 | 网络安全运营管理平台 |
Non-Patent Citations (2)
| Title |
|---|
| 区块链技术在政务领域的应用探索;朱典;信息安全研究;20221201;全文 * |
| 基于异构数据融合的政务网络安全监测平台设计与实现;刘蓓;禄凯;程浩;闫桂勋;;信息安全研究;20200604(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117331933A (zh) | 2024-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114143020B (zh) | 一种基于规则的网络安全事件关联分析方法和系统 | |
| US10909241B2 (en) | Event anomaly analysis and prediction | |
| He et al. | Learning from open-source projects: An empirical study on defect prediction | |
| Lee et al. | Incremental cluster evolution tracking from highly dynamic network data | |
| CN107577588A (zh) | 一种海量日志数据智能运维系统 | |
| CN105637519A (zh) | 使用行为辨识系统的认知信息安全性 | |
| Fischer et al. | Real-time visual analytics for event data streams | |
| CN104021195B (zh) | 基于知识库的告警关联分析方法 | |
| CN107172022A (zh) | 基于入侵途径的apt威胁检测方法和系统 | |
| CN113642023A (zh) | 数据安全检测模型训练、数据安全检测方法、装置及设备 | |
| CN113347170B (zh) | 一种基于大数据框架的智能分析平台设计方法 | |
| CN115021997B (zh) | 一种基于机器学习的网络入侵检测系统 | |
| CN106992886A (zh) | 一种基于分布式存储的日志分析方法及装置 | |
| Zhao et al. | A survey of deep anomaly detection for system logs | |
| CN115514558A (zh) | 一种入侵检测方法、装置、设备及介质 | |
| CN117827813A (zh) | 一种计算机信息安全监控系统 | |
| KR20210083510A (ko) | 가짜뉴스 탐지와 주기적 웹 모니터링을 통한 범죄첩보 탐지 시스템 및 그 방법 | |
| CN117331933B (zh) | 基于多源异构统一纳管的安全运营方法及系统 | |
| RU180789U1 (ru) | Устройство аудита информационной безопасности в автоматизированных системах | |
| CN117555969A (zh) | 基于Hive的血缘信息管理方法、装置及计算机设备 | |
| KR101484186B1 (ko) | 보안 관제 데이터의 검색을 위한 인덱싱 장치 및 방법 | |
| Djemaiel et al. | Optimizing big data management using conceptual graphs: a mark-based approach | |
| Xuewei et al. | Research on the key technology of reconstructing attack scenario based on state machine | |
| Wright et al. | A Diagnostics Approach for Persistent Threat Detection (ADAPT) | |
| Zeng et al. | Monitoring Data Management Services on the Edge Using Enhanced TSDBs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |