CN111882179A - 一种基于数据流处理的网络安全态势感知系统平台 - Google Patents

一种基于数据流处理的网络安全态势感知系统平台 Download PDF

Info

Publication number
CN111882179A
CN111882179A CN202010659000.8A CN202010659000A CN111882179A CN 111882179 A CN111882179 A CN 111882179A CN 202010659000 A CN202010659000 A CN 202010659000A CN 111882179 A CN111882179 A CN 111882179A
Authority
CN
China
Prior art keywords
data flow
information
module
network
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010659000.8A
Other languages
English (en)
Inventor
张晶
黄建福
陈瑜靓
刘家祥
刘琦
石小川
赵昆杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Qijia Information Technology Co ltd
Original Assignee
Fujian Qidian Space Time Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Qidian Space Time Digital Technology Co ltd filed Critical Fujian Qidian Space Time Digital Technology Co ltd
Priority to CN202010659000.8A priority Critical patent/CN111882179A/zh
Publication of CN111882179A publication Critical patent/CN111882179A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393Score-carding, benchmarking or key performance indicator [KPI] analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • G06F16/9014Indexing; Data structures therefor; Storage structures hash tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/906Clustering; Classification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/20Network architectures or network communication protocols for network security for managing network security; network security policies in general

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Computer Security & Cryptography (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种基于数据流处理的网络安全态势感知系统平台,包括数据流采集模块、数据流分流模块、存储器、处理器和显示模块;数据流采集模块,用于获取和统计数据流信息A;数据流分流模块,用于将数据流信息A根据其网络属性信息的哈希值进行分类,并得到分类后的数据流信息B;处理器与与存储器数据传递连接,用于调取存储器内的数据流信息B;处理器包括提取模块、分析模块、指标参数对比模块和综合评估模块;本发明,通过信息获取、安全态势要素提取、安全态势评估指标选取、安全态势综合评估这四个关键步骤,从整体上实时或近实时地反映出网络安全状态和变化情况,为大规模网络的安全管理、科学决策提供依据。

Description

一种基于数据流处理的网络安全态势感知系统平台
技术领域
本发明涉及网络安全态势感知技术领域,尤其涉及一种基于数据流处理的网络安全态势感知系统平台。
背景技术
传统的态势感知解决方案主要将安全设备日志记录作为主要的数据源,面向中小规模网络,在数据源全面性和计算实时性方面存在局限。
发明内容
(一)发明目的
为解决背景技术中存在的技术问题,本发明提出一种基于数据流处理的网络安全态势感知系统平台,通过信息获取、安全态势要素提取、安全态势评估指标选取、安全态势综合评估这四个关键步骤,从整体上实时或近实时地反映出网络安全状态和变化情况,为大规模网络的安全管理、科学决策提供依据。
(二)技术方案
为解决上述问题,本发明提出了一种基于数据流处理的网络安全态势感知系统平台,包括数据流采集模块、数据流分流模块、存储器、处理器和显示模块;
数据流采集模块,用于获取和统计数据流信息A;
数据流分流模块,用于将数据流信息A根据其网络属性信息的哈希值进行分类,并得到分类后的数据流信息B;数据流分流模块与存储器数据传递连接,用于将数据流信息B存储在存储器内;
处理器与与存储器数据传递连接,用于调取存储器内的数据流信息B;
处理器包括提取模块、分析模块、指标参数对比模块和综合评估模块;
提取模块,用于将存储器内的数据流信息B发送至分析模块;
分析模块,用于分许数据流信息B,以获取数据流信息B的安全态势要素信息C,并将安全态势要素信息C发送至指标参数对比模块;
指标参数对比模块,用于将安全态势要素信息C与其内部预先设置的安全态势评估指标值进行对比,并将对比结果D发送至综合评估模块;
综合评估模块,用于根据对比结果D评估得到网络安全状态信息和网络变化信息,并将网络安全状态信息和网络变化信息发送至显示模块,并在显示模块上显示。
优选的,数据流采集模块,获取预设时间段内的数据流和预设字段,根据预设算法处理预设字段,以生成关键字key;key用于指示数据流在散列hash表中对应的数据节点,数据节点中包括多个链表单元;key用于将数据流聚合到对应的数据节点中,以得到根据时间戳进行排列的多个链表单元;数据流采集模块,根据预设字段对数据流进行聚合,并根据聚合后数据流的时间戳的变化状况对统计指标按照预设统计规则进行统计,并将统计列表发送至存储器。
优选的,数据流分流模块,获取数据流信息A并解析得到数据流信息A的网络属性信息;数据流分流模块,调用哈希函数计算网络属性信息的哈希值,再将数据流信息A根据哈希值的不同,分别导入不同哈希值对应的多个传输队列中,以实现对数据流信息A的分流过程;其中,一个哈希值对应至少一个传输队列。
优选的,哈希函数为求余函数;调用哈希函数计算网络属性信息的哈希值,包括一下步骤:确定每个网络属性参数对应的属性值,以及确定多个网络属性参数的属性值之和;基于公式Z=X%Y,计算网络属性信息的哈希值;其中,Z为哈希值,X为多个网络属性参数的属性值之和,Y为传输队列的数目,%为求余符号。
本发明为以网络数据流采集、存储和计算为技术特征的大规模网络安全态势感知系统平台,通过信息获取、安全态势要素提取、安全态势评估指标选取、安全态势综合评估这四个关键步骤,从整体上实时或近实时地反映出网络安全状态和变化情况,为大规模网络的安全管理、科学决策提供依据。
本发明中,系统将网络流量数据作为态势感知数据来源,保证态势信息的完整性。网络流量是网络中最基本、最直接的数据,由它得到网络态势信息减少了中间处理环节,可以在一定程度上加快处理的速度。
本发明中,数据流采集模块,基于时间戳的可信性以及唯一性,提高统计过程的准确性与稳定性,而且由于预设时间段的设定,使得统计过程可以实时的进行;同时,由于时间戳便于读取,节约了统计的时间,提高了统计过程的实时性以及效率,便于后续信息的调取查阅。
本发明中,数据流分流模块,调用哈希函数计算网络属性信息的哈希值,将数据流导入至哈希值对应的传输队列中。由于不同的传输队列对应不同的哈希值,以基于哈希值,将不同网络属性信息的数据流导入到不同的传输队列,以实现对数据流信息A的分流过程,从而便于后续处理器,针对分流后的数据流信息B进行分类处理,提高工作效率。
附图说明
图1为本发明提出的基于数据流处理的网络安全态势感知系统平台的系统结构示意图。
图2为本发明提出的基于数据流处理的网络安全态势感知系统平台中数据流采集模块的工作流程示意图。
图3为本发明提出的基于数据流处理的网络安全态势感知系统平台中数据流分流模块的工作流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
如图1-3所示,本发明提出的一种基于数据流处理的网络安全态势感知系统平台,包括数据流采集模块、数据流分流模块、存储器、处理器和显示模块;
数据流采集模块,用于获取和统计数据流信息A;
数据流分流模块,用于将数据流信息A根据其网络属性信息的哈希值进行分类,并得到分类后的数据流信息B;数据流分流模块与存储器数据传递连接,用于将数据流信息B存储在存储器内;
处理器与与存储器数据传递连接,用于调取存储器内的数据流信息B;
处理器包括提取模块、分析模块、指标参数对比模块和综合评估模块;
提取模块,用于将存储器内的数据流信息B发送至分析模块;
分析模块,用于分许数据流信息B,以获取数据流信息B的安全态势要素信息C,并将安全态势要素信息C发送至指标参数对比模块;
指标参数对比模块,用于将安全态势要素信息C与其内部预先设置的安全态势评估指标值进行对比,并将对比结果D发送至综合评估模块;
综合评估模块,用于根据对比结果D评估得到网络安全状态信息和网络变化信息,并将网络安全状态信息和网络变化信息发送至显示模块,并在显示模块上显示。
本发明为,以网络数据流采集、存储和计算为技术特征的大规模网络安全态势感知系统平台,通过信息获取、安全态势要素提取、安全态势评估指标选取、安全态势综合评估这四个关键步骤,从整体上实时或近实时地反映出网络安全状态和变化情况,为大规模网络的安全管理、科学决策提供依据。
本发明中,系统将网络流量数据作为态势感知数据来源,保证态势信息的完整性。网络流量是网络中最基本、最直接的数据,由它得到网络态势信息减少了中间处理环节,可以在一定程度上加快处理的速度。
如图2所示,在一个可选的实施例中,数据流采集模块,获取预设时间段内的数据流和预设字段,根据预设算法处理预设字段,以生成关键字key;key用于指示数据流在散列hash表中对应的数据节点,数据节点中包括多个链表单元;key用于将数据流聚合到对应的数据节点中,以得到根据时间戳进行排列的多个链表单元;
数据流采集模块,根据预设字段对数据流进行聚合,并根据聚合后数据流的时间戳的变化状况对统计指标按照预设统计规则进行统计,并将统计列表发送至存储器。
需要说明的是,数据流采集模块,基于时间戳的可信性以及唯一性,提高统计过程的准确性与稳定性,而且由于预设时间段的设定,使得统计过程可以实时的进行;同时,由于时间戳便于读取,节约了统计的时间,提高了统计过程的实时性以及效率,便于后续信息的调取查阅。
如图3所示,在一个可选的实施例中,数据流分流模块,获取数据流信息A并解析得到数据流信息A的网络属性信息;
数据流分流模块,调用哈希函数计算网络属性信息的哈希值,再将数据流信息A根据哈希值的不同,分别导入不同哈希值对应的多个传输队列中,以实现对数据流信息A的分流过程;
其中,一个哈希值对应至少一个传输队列。
在一个可选的实施例中,哈希函数为求余函数;
调用哈希函数计算网络属性信息的哈希值,包括一下步骤:
确定每个网络属性参数对应的属性值,以及确定多个网络属性参数的属性值之和;
基于公式Z=X%Y,计算网络属性信息的哈希值;
其中,Z为哈希值,X为多个网络属性参数的属性值之和,Y为传输队列的数目,%为求余符号。
需要说明的是,数据流分流模块,调用哈希函数计算网络属性信息的哈希值,将数据流导入至哈希值对应的传输队列中。由于不同的传输队列对应不同的哈希值,以基于哈希值,将不同网络属性信息的数据流导入到不同的传输队列,以实现对数据流信息A的分流过程,从而便于后续处理器,针对分流后的数据流信息B进行分类处理,提高工作效率。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (4)

1.一种基于数据流处理的网络安全态势感知系统平台,其特征在于,包括数据流采集模块、数据流分流模块、存储器、处理器和显示模块;
数据流采集模块,用于获取和统计数据流信息A;
数据流分流模块,用于将数据流信息A根据其网络属性信息的哈希值进行分类,并得到分类后的数据流信息B;数据流分流模块与存储器数据传递连接,用于将数据流信息B存储在存储器内;
处理器与与存储器数据传递连接,用于调取存储器内的数据流信息B;
处理器包括提取模块、分析模块、指标参数对比模块和综合评估模块;
提取模块,用于将存储器内的数据流信息B发送至分析模块;
分析模块,用于分许数据流信息B,以获取数据流信息B的安全态势要素信息C,并将安全态势要素信息C发送至指标参数对比模块;
指标参数对比模块,用于将安全态势要素信息C与其内部预先设置的安全态势评估指标值进行对比,并将对比结果D发送至综合评估模块;
综合评估模块,用于根据对比结果D评估得到网络安全状态信息和网络变化信息,并将网络安全状态信息和网络变化信息发送至显示模块,并在显示模块上显示。
2.根据权利要求1的基于数据流处理的网络安全态势感知系统平台,其特征在于,数据流采集模块,获取预设时间段内的数据流和预设字段,根据预设算法处理预设字段,以生成关键字key;key用于指示数据流在散列hash表中对应的数据节点,数据节点中包括多个链表单元;key用于将数据流聚合到对应的数据节点中,以得到根据时间戳进行排列的多个链表单元;
数据流采集模块,根据预设字段对数据流进行聚合,并根据聚合后数据流的时间戳的变化状况对统计指标按照预设统计规则进行统计,并将统计列表发送至存储器。
3.根据权利要求1的基于数据流处理的网络安全态势感知系统平台,其特征在于,数据流分流模块,获取数据流信息A并解析得到数据流信息A的网络属性信息;
数据流分流模块,调用哈希函数计算网络属性信息的哈希值,再将数据流信息A根据哈希值的不同,分别导入不同哈希值对应的多个传输队列中,以实现对数据流信息A的分流过程;
其中,一个哈希值对应至少一个传输队列。
4.根据权利要求3的基于数据流处理的网络安全态势感知系统平台,其特征在于,哈希函数为求余函数;
调用哈希函数计算网络属性信息的哈希值,包括一下步骤:
确定每个网络属性参数对应的属性值,以及确定多个网络属性参数的属性值之和;
基于公式Z=X%Y,计算网络属性信息的哈希值;
其中,Z为哈希值,X为多个网络属性参数的属性值之和,Y为传输队列的数目,%为求余符号。
CN202010659000.8A 2020-07-09 2020-07-09 一种基于数据流处理的网络安全态势感知系统平台 Pending CN111882179A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010659000.8A CN111882179A (zh) 2020-07-09 2020-07-09 一种基于数据流处理的网络安全态势感知系统平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010659000.8A CN111882179A (zh) 2020-07-09 2020-07-09 一种基于数据流处理的网络安全态势感知系统平台

Publications (1)

Publication Number Publication Date
CN111882179A true CN111882179A (zh) 2020-11-03

Family

ID=73151715

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010659000.8A Pending CN111882179A (zh) 2020-07-09 2020-07-09 一种基于数据流处理的网络安全态势感知系统平台

Country Status (1)

Country Link
CN (1) CN111882179A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112583842A (zh) * 2020-12-23 2021-03-30 黑龙江省网络空间研究中心 一种基于数据流处理的网络安全态势感知系统平台
CN117167366A (zh) * 2023-11-02 2023-12-05 启东丰汇润滑设备有限公司 一种液压分配器的自动化流量控制方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102123149A (zh) * 2011-03-04 2011-07-13 哈尔滨工程大学 面向服务的大规模网络安全态势评估装置及方法
CN105491013A (zh) * 2015-11-20 2016-04-13 电子科技大学 一种基于sdn的多域网络安全态势感知模型及方法
CN108683663A (zh) * 2018-05-14 2018-10-19 中国科学院信息工程研究所 一种网络安全态势的评估方法及装置
CN108696515A (zh) * 2018-04-28 2018-10-23 深圳大图科创技术开发有限公司 基于大数据的网络安全态势感知系统
US20190166024A1 (en) * 2017-11-24 2019-05-30 Institute For Information Industry Network anomaly analysis apparatus, method, and non-transitory computer readable storage medium thereof
CN110011935A (zh) * 2019-03-04 2019-07-12 平安科技(深圳)有限公司 数据流处理方法及相关设备
CN111177201A (zh) * 2019-08-05 2020-05-19 腾讯科技(深圳)有限公司 一种数据流处理的方法以及相关装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102123149A (zh) * 2011-03-04 2011-07-13 哈尔滨工程大学 面向服务的大规模网络安全态势评估装置及方法
CN105491013A (zh) * 2015-11-20 2016-04-13 电子科技大学 一种基于sdn的多域网络安全态势感知模型及方法
US20190166024A1 (en) * 2017-11-24 2019-05-30 Institute For Information Industry Network anomaly analysis apparatus, method, and non-transitory computer readable storage medium thereof
CN108696515A (zh) * 2018-04-28 2018-10-23 深圳大图科创技术开发有限公司 基于大数据的网络安全态势感知系统
CN108683663A (zh) * 2018-05-14 2018-10-19 中国科学院信息工程研究所 一种网络安全态势的评估方法及装置
CN110011935A (zh) * 2019-03-04 2019-07-12 平安科技(深圳)有限公司 数据流处理方法及相关设备
CN111177201A (zh) * 2019-08-05 2020-05-19 腾讯科技(深圳)有限公司 一种数据流处理的方法以及相关装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112583842A (zh) * 2020-12-23 2021-03-30 黑龙江省网络空间研究中心 一种基于数据流处理的网络安全态势感知系统平台
CN117167366A (zh) * 2023-11-02 2023-12-05 启东丰汇润滑设备有限公司 一种液压分配器的自动化流量控制方法及系统
CN117167366B (zh) * 2023-11-02 2023-12-29 启东丰汇润滑设备有限公司 一种液压分配器的自动化流量控制方法及系统

Similar Documents

Publication Publication Date Title
CN107634848B (zh) 一种采集分析网络设备信息的系统和方法
CN110825769A (zh) 一种数据指标异常的查询方法和系统
CN109684052B (zh) 事务分析方法、装置、设备及存储介质
CA2777506A1 (en) System and method for grouping multiple streams of data
CN111882179A (zh) 一种基于数据流处理的网络安全态势感知系统平台
WO2023284132A1 (zh) 一种云平台日志的分析方法、系统、设备及介质
CN112632129A (zh) 一种码流数据管理方法、装置及存储介质
CN114219374B (zh) 一种基于区块链的大数据分析决策系统与方法
Song et al. Real-time anomaly traffic monitoring based on dynamic k-NN cumulative-distance abnormal detection algorithm
CN111338888B (zh) 一种数据统计方法、装置、电子设备及存储介质
CN112256880A (zh) 文本识别方法和装置、存储介质及电子设备
CN106557483B (zh) 一种数据处理、数据查询方法及设备
CN117251414B (zh) 一种基于异构技术的数据存储及处理方法
CN110909380B (zh) 一种异常文件访问行为监控方法和装置
CN106951360B (zh) 数据统计完整度计算方法和系统
CN115776449B (zh) 列车以太网通信状态监测方法及系统
CN112583842A (zh) 一种基于数据流处理的网络安全态势感知系统平台
CN111209314A (zh) 一种电力信息系统海量日志数据实时处理系统
CN115102848A (zh) 日志数据的提取方法、系统、设备及介质
CN112203166B (zh) 一种多模型用户健康档案评分方法及装置
CN113064791A (zh) 基于海量日志数据实时监控的分散标签特征提取方法
CN111382345B (zh) 话题筛选和发布的方法、装置和服务器
CN111814436A (zh) 一种基于互信息和熵的用户行为序列检测方法及系统
CN112052298B (zh) 一种多维数据采集和精确关联的系统及其方法
CN114500223B (zh) 一种基于云应用的双组织管理系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220919

Address after: 200 000 3rd floor, Lane 127, Guotai Road, Yangpu District, Shanghai

Applicant after: Shanghai Qijia Information Technology Co.,Ltd.

Address before: Unit 1701, unit 1704, No. 59, Chengyi North Street, phase III, software park, Xiamen City, Fujian Province, 361000

Applicant before: FUJIAN QIDIAN SPACE-TIME DIGITAL TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20201103

RJ01 Rejection of invention patent application after publication