CN114826727A - 流量数据采集方法、装置、计算机设备、存储介质 - Google Patents

流量数据采集方法、装置、计算机设备、存储介质 Download PDF

Info

Publication number
CN114826727A
CN114826727A CN202210427197.1A CN202210427197A CN114826727A CN 114826727 A CN114826727 A CN 114826727A CN 202210427197 A CN202210427197 A CN 202210427197A CN 114826727 A CN114826727 A CN 114826727A
Authority
CN
China
Prior art keywords
flow
information
security event
rule
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210427197.1A
Other languages
English (en)
Other versions
CN114826727B (zh
Inventor
冯国聪
邹洪
农彩勤
刘祥
王斌
陈锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Southern Power Grid Digital Platform Technology Guangdong Co ltd
Southern Power Grid Digital Grid Research Institute Co Ltd
Original Assignee
Southern Power Grid Digital Grid Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Power Grid Digital Grid Research Institute Co Ltd filed Critical Southern Power Grid Digital Grid Research Institute Co Ltd
Priority to CN202210427197.1A priority Critical patent/CN114826727B/zh
Publication of CN114826727A publication Critical patent/CN114826727A/zh
Application granted granted Critical
Publication of CN114826727B publication Critical patent/CN114826727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/20Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H04L63/205Network architectures or network communication protocols for network security for managing network security; network security policies in general involving negotiation or determination of the one or more network security mechanisms to be used, e.g. by negotiation between the client and the server or between peers or by selection according to the capabilities of the entities involved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/02Capturing of monitoring data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请涉及一种流量数据采集方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:获取网络流量数据对应的流量镜像,根据流量镜像获取安全事件;根据攻击场景库获取安全事件对应的攻击场景,攻击场景库包括安全事件和攻击场景的对应关系;根据攻击场景对应的第一信息和攻击场景对应的第二信息获取流量采集规则,第一信息为安全事件中与被攻击者相关的信息,第二信息为安全事件中与攻击者相关的信息;根据流量采集规则从流量镜像中获取目标数据。采用本方法能够对网络流量数据中的安全信息进行精确采集。

Description

流量数据采集方法、装置、计算机设备、存储介质
技术领域
本申请涉及信息安全技术领域,特别是涉及一种流量数据采集方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
在信息安全领域中,对网络流量的采用高级复杂的分析方法并进行多层次多维度追溯已经成为安全分析中最重要的一种方式,尤其是通过复杂关联分析模型实现对APT(高级可持续威胁攻击,也称为定向威胁攻击)、0day等未知威胁、高级威胁攻击的发现已经成为安全态势感知等系统中的核心能力,同时全流量追溯也是目前网络攻击取证的主要技术手段。然而传统的数据采集方法经常存在数据采集不完整,关键线索信息缺失的问题,但如果全流量存储又带来额外的资源浪费,同时也极大降低分析系统的性能,数据中包含过多的噪音也会导致后续数据分析结果的准确性不高。
目前的网络安全信息采集方式存在数据噪音过多、数据集过大或重要信息缺失等采集数据不精确的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种对网络流量数据中的安全信息进行精确采集的流量数据采集方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种流量数据采集方法。所述方法包括:
获取网络流量数据对应的流量镜像,根据流量镜像获取安全事件;
根据攻击场景库获取安全事件对应的攻击场景,攻击场景库包括安全事件和攻击场景的对应关系;
根据攻击场景对应的第一信息和攻击场景对应的第二信息获取流量采集规则,第一信息为安全事件中与被攻击者相关的信息,第二信息为安全事件中与攻击者相关的信息;
根据流量采集规则从流量镜像中获取目标数据。
在其中一个实施例中,根据流量镜像获取安全事件,包括:
通过异常检测算法处理流量镜像,得到流量镜像中的安全事件。
在其中一个实施例中,安全事件和攻击场景的对应关系的获取方式,包括:
确定每一个安全事件对应的至少一个事件关键字;
确定每一个攻击场景对应的场景关键字集合;
建立每一个事件关键字和每一个场景关键字集合的对应关系,作为安全事件和攻击场景的对应关系。
在其中一个实施例中,根据攻击场景对应的第一信息和攻击场景对应的第二信息获取流量采集规则,包括:
获取安全事件中的第一信息和安全事件中的第二信息,并将安全事件中的第一信息作为攻击场景对应的第一信息,将安全事件中的第二信息作为攻击场景对应的第二信息;
基于攻击场景对应的第一信息生成至少一个第一流量子规则;
基于攻击场景对应的第二信息生成至少一个第二流量子规则;
整合全部第一流量子规则和全部第二流量子规则得到流量采集规则。
在其中一个实施例中,整合全部第一流量子规则和全部第二流量子规则得到流量采集规则,包括:
获取持续监测时长,持续监测时长用于表征执行流量采集规则的持续时长;
整合持续监测时长、全部第一流量子规则和全部第二流量子规则得到流量采集规则。
在其中一个实施例中,根据流量采集规则从流量镜像中获取目标数据,包括:
从流量采集规则中获取部分第一流量子规则作为目标第一流量子规则,以及获取部分第二流量子规则作为目标第二流量子规则;
在持续监测时长,根据目标第一流量子规则和目标第二流量子规则从流量镜像中获取目标数据。
第二方面,本申请还提供了一种流量数据采集装置。所述装置包括:
事件获取模块,用于获取网络流量数据对应的流量镜像,根据流量镜像获取安全事件;
场景匹配模块,用于根据攻击场景库获取安全事件对应的攻击场景,攻击场景库包括安全事件和攻击场景的对应关系;
规则构建模块,用于根据攻击场景对应的第一信息和攻击场景对应的第二信息获取流量采集规则,第一信息为安全事件中与被攻击者相关的信息,第二信息为安全事件中与攻击者相关的信息;
数据采集模块,用于根据流量采集规则从流量镜像中获取目标数据。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取网络流量数据对应的流量镜像,根据流量镜像获取安全事件;
根据攻击场景库获取安全事件对应的攻击场景,攻击场景库包括安全事件和攻击场景的对应关系;
根据攻击场景对应的第一信息和攻击场景对应的第二信息获取流量采集规则,第一信息为安全事件中与被攻击者相关的信息,第二信息为安全事件中与攻击者相关的信息;
根据流量采集规则从流量镜像中获取目标数据。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取网络流量数据对应的流量镜像,根据流量镜像获取安全事件;
根据攻击场景库获取安全事件对应的攻击场景,攻击场景库包括安全事件和攻击场景的对应关系;
根据攻击场景对应的第一信息和攻击场景对应的第二信息获取流量采集规则,第一信息为安全事件中与被攻击者相关的信息,第二信息为安全事件中与攻击者相关的信息;
根据流量采集规则从流量镜像中获取目标数据。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取网络流量数据对应的流量镜像,根据流量镜像获取安全事件;
根据攻击场景库获取安全事件对应的攻击场景,攻击场景库包括安全事件和攻击场景的对应关系;
根据攻击场景对应的第一信息和攻击场景对应的第二信息获取流量采集规则,第一信息为安全事件中与被攻击者相关的信息,第二信息为安全事件中与攻击者相关的信息;
根据流量采集规则从流量镜像中获取目标数据。
上述流量数据采集方法、装置、计算机设备、存储介质和计算机程序产品,获取网络流量数据对应的流量镜像,根据流量镜像获取安全事件;根据攻击场景库获取安全事件对应的攻击场景,攻击场景库包括安全事件和攻击场景的对应关系;根据攻击场景对应的第一信息和攻击场景对应的第二信息获取流量采集规则,第一信息为安全事件中与被攻击者相关的信息,第二信息为安全事件中与攻击者相关的信息;根据流量采集规则从流量镜像中获取目标数据。通过在网络流量数据的流量镜像中识别出安全事件,然后对安全事件匹配合适的攻击场景,并针对攻击场景生成流量采集规则,最后采用流量采集规则从流量镜像中采集目标数据,能够对网络流量数据中的安全信息进行精确采集。
附图说明
图1为一个实施例中流量数据采集方法的流程示意图;
图2为一个实施例中攻击场景的结构示意图;
图3为一个实施例中流量数据采集系统的工作流程示意图;
图4为一个实施例中流量数据采集装置的结构框图;
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种流量数据采集方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。
本实施例中,该方法包括以下步骤:
步骤102,获取网络流量数据对应的流量镜像,根据流量镜像获取安全事件。
其中,安全事件是指网络流量数据中尝试改变信息系统安全状态(例如改变访问控制措施、改变安全级别、改变用户口令等)的任何事件。流量镜像(Mirroring/traffic-shadow),也叫作影子流量,是指通过一定的配置将线上的真实流量复制一份到镜像服务中去,通过流量镜像转发以达到在不影响线上服务的情况下对流量或请求内容做具体分析的目的。
具体的,监测并复制网络流量数据,得到一份流量镜像,对流量镜像进行异常检测,识别出流量镜像中存在的安全事件,一份流量镜像中可以存在多个安全事件。
步骤104,根据攻击场景库获取安全事件对应的攻击场景,攻击场景库包括安全事件和攻击场景的对应关系。
其中,攻击场景库中包含多个攻击场景,以及每一个攻击场景和不同安全事件的对应关系,每一个安全事件对应至少一个攻击场景。攻击场景是由安全事件、时间周期、五元组(源IP地址(Internet Protocol Address,IP地址),源端口,目的IP地址,目的端口和传输层协议)、应用协议、特征字符等要素组成的列表。
具体的,针对每一个安全事件,从预先建立的攻击场景库中匹配攻击场景,匹配的方式可以是通过关键词进行匹配,也可以是根据安全事件的类型进行匹配,还可以根据安全事件涉及的被攻击者的资产类型进行匹配,攻击场景库中的每一个初始攻击场景(未匹配安全事件的攻击场景)类似于一个用于写入安全事件的模板,当一个攻击场景匹配到安全事件之后,将安全事件中的被攻击者的相关信息和攻击者的相关信息写入该攻击场景中,加上攻击场景中其他可以配置的参数,例如对流量镜像的持续监测时长,就能够得到与安全事件对应的攻击场景。
步骤106,根据攻击场景对应的第一信息和攻击场景对应的第二信息获取流量采集规则,第一信息为安全事件中与被攻击者相关的信息,第二信息为安全事件中与攻击者相关的信息。
其中,第一信息至少包含被攻击者的资产IP,第二信息至少包含攻击者的外部IP。
具体的,被攻击者相关的信息可以包括被攻击者的资产IP、资产IP的端口信息、资产IP的应用协议信息、资产IP的相关行为信息(例如扫描、修改密码、登录、连接外部IP等),攻击者相关的信息可以包括攻击者的外部IP、外部IP的端口信息、外部IP的应用协议信息、外部IP的相关行为信息(例如扫描、修改密码、登录、连接资产IP等),根据上述信息生成对应的流量采集规则,流量采集规则执行时能够识别出上述信息对应的流量数据。
步骤108,根据流量采集规则从流量镜像中获取目标数据。
其中,目标数据是指流量镜像中命中流量采集规则的流量数据。
具体的,基于流量采集规则对流量镜像进行数据采集,识别出和被攻击者相关的信息对应的流量数据、以及和攻击者相关的信息对应的流量数据,获取这些流量数据作为目标数据,之后可以将目标数据存储至指定存储设备,也可以将目标数据发送至指定终端。
上述流量数据采集方法中,获取网络流量数据对应的流量镜像,根据流量镜像获取安全事件;根据攻击场景库获取安全事件对应的攻击场景,攻击场景库包括安全事件和攻击场景的对应关系;根据攻击场景对应的第一信息和攻击场景对应的第二信息获取流量采集规则,第一信息为安全事件中与被攻击者相关的信息,第二信息为安全事件中与攻击者相关的信息;根据流量采集规则从流量镜像中获取目标数据。通过在网络流量数据的流量镜像中识别出安全事件,然后对安全事件匹配合适的攻击场景,并针对攻击场景生成流量采集规则,最后采用流量采集规则从流量镜像中采集目标数据,能够对网络流量数据中的安全信息进行精确采集。
在一个实施例中,根据流量镜像获取安全事件,包括:通过异常检测算法处理流量镜像,得到流量镜像中的安全事件。
具体的,通过流量异常检测算法识别流量镜像中的安全事件,可以直接采用IDS(入侵检测系统,intrusion detection system)处理流量镜像,识别出安全事件。
本实施例中,通过异常检测算法处理流量镜像,得到流量镜像中的安全事件。能够快速从流量数据中识别出安全事件。
在一个实施例中,安全事件和攻击场景的对应关系的获取方式,包括:确定每一个安全事件对应的至少一个事件关键字;确定每一个攻击场景对应的场景关键字集合;建立每一个事件关键字和每一个场景关键字集合的对应关系,作为安全事件和攻击场景的对应关系。
具体的,构建安全事件和攻击场景的对应关系时,可以根据安全事件的严重等级,将一个攻击场景对应的安全事件分为主要安全事件和次要安全事件,并根据该攻击场景对应的主要安全事件确定该攻击场景对应的场景主要关键字,根据该攻击场景对应的次要安全事件确定该攻击场景对应的场景次要关键字,场景主要关键字和场景次要关键字共同组成场景关键字集合,分别建立每一个事件关键字和每一个场景主要关键字、场景次要关键字的对应关系。
进一步的,根据安全事件和攻击场景的对应关系获取安全事件对应的攻击场景时候,先确定一个安全事件对应的事件关键字,判断事件关键字与每一个攻击场景对应的场景主要关键字是否对应,若存在对应的场景主要关键字,则确定该安全事件对应的攻击场景;若均不对应,再判断事件关键字与每一个攻击场景对应的场景次要关键字是否对应。
本实施例中,通过确定每一个安全事件对应的至少一个事件关键字;确定每一个攻击场景对应的场景关键字集合;建立每一个事件关键字和每一个场景关键字集合的对应关系,作为安全事件和攻击场景的对应关系。能够根据安全事件和攻击场景的对应关系为不同的安全事件匹配不同的攻击场景,将种类繁多的安全事件分为多种攻击场景,便于后续根据攻击场景进行数据采集,提高数据采集效率。
在一个实施例中,根据攻击场景对应的第一信息和攻击场景对应的第二信息获取流量采集规则,包括:获取安全事件中的第一信息和安全事件中的第二信息,并将安全事件中的第一信息作为攻击场景对应的第一信息,将安全事件中的第二信息作为攻击场景对应的第二信息;基于攻击场景对应的第一信息生成至少一个第一流量子规则;基于攻击场景对应的第二信息生成至少一个第二流量子规则;整合全部第一流量子规则和全部第二流量子规则得到流量采集规则。
具体的,攻击场景匹配到安全事件之后,将安全事件的被攻击者的资产IP和攻击者的外部IP写入攻击场景中,然后获取资产IP的端口信息、资产IP的应用协议信息、资产IP的相关行为信息(例如扫描、修改密码、登录、连接外部IP等)、外部IP的端口信息、外部IP的应用协议信息和外部IP的相关行为信息(例如扫描、修改密码、登录、连接资产IP等)。根据资产IP的端口信息生成关联资产IP的端口规则,根据资产IP的应用协议信息生成关联资产IP的应用协议规则,根据资产IP的相关行为信息生成关联资产IP的行为规则,上述关联资产IP的端口规则、关联资产IP的应用协议规则、关联资产IP的行为规则就是第一流量子规则;同理根据外部IP的端口信息、外部IP的应用协议信息和外部IP的相关行为信息生成关联外部IP的端口规则、关联外部IP的应用协议规则和关联外部IP的行为规则,作为第二流量子规则。将所有第一流量子规则和第二流量子规则整合得到对应当前安全事件的流量采集规则。如图2所示,攻击场景相当于写入安全事情的模板,一个攻击场景中包括用于匹配安全事件的主要安全事件、次要安全事件,包括关联资产IP的端口、关联资产IP的应用、关联资产IP的行为等框架用于写入第一信息,包括关联外部IP的端口、关联外部IP的应用、关联外部IP的行为等框架用于写入第二信息,包括持续监测时间等其他可以配置的参数,模板填写完成后,直接根据模板生成流量采集规则。
在一个可行的实施例中,由于一个安全事件可能会匹配到多个攻击场景,因此针对一个安全事件可能生成多组流量采集规则,每一组流量采集规则中均包括第一流量子规则和第二流量子规则。
本实施例中,通过获取安全事件中的第一信息和安全事件中的第二信息,并将安全事件中的第一信息作为攻击场景对应的第一信息,将安全事件中的第二信息作为攻击场景对应的第二信息;基于攻击场景对应的第一信息生成至少一个第一流量子规则;基于攻击场景对应的第二信息生成至少一个第二流量子规则;整合全部第一流量子规则和全部第二流量子规则得到流量采集规则。能够针对不同的安全事件生成不同的流量采集规则,提高数据采集的精确度。
在一个实施例中,整合全部第一流量子规则和全部第二流量子规则得到流量采集规则,包括:获取持续监测时长,持续监测时长用于表征执行流量采集规则的持续时长;整合持续监测时长、全部第一流量子规则和全部第二流量子规则得到流量采集规则。
具体的,针对不同的安全事件,可以在匹配的攻击场景中配置持续监测时长,生成的流量采集规则会根据持续监测时长执行,在持续监测时长内,根据流量采集规则对流量镜像进行流量数据采集,当执行达到持续监测时长后停止,停止流量数据采集。
在一个实施例中,根据流量采集规则从流量镜像中获取目标数据,包括:从流量采集规则中获取部分第一流量子规则作为目标第一流量子规则,以及获取部分第二流量子规则作为目标第二流量子规则;在持续监测时长,根据目标第一流量子规则和目标第二流量子规则从流量镜像中获取目标数据。
具体的,在流量采集规则生成后,还可以根据目标数据的采集需要,对流量采集规则中的第一流量子规则和第二流量子规则进行筛选,选择目标第一流量子规则或目标第二流量子规则作为需要启用的规则,其他不需要启用的规则可以删除、隐藏、或者设置不执行,这样在执行流量采集规则时,只会根据目标第一流量子规则和目标第二流量子规则从流量镜像中采集目标数据。
本实施例中,通过从流量采集规则中获取部分第一流量子规则作为目标第一流量子规则,以及获取部分第二流量子规则作为目标第二流量子规则;在持续监测时长,根据目标第一流量子规则和目标第二流量子规则从流量镜像中获取目标数据。能够降低程序的计算量,只采集需要的目标数据,提高了数据采集的效率。
在一个实施例中,一种流量数据采集方法,以应用于如图3所示的流量数据采集系统为例,方法包括:
流量采集和检测引擎用于获取网络流量数据对应的全流量镜像,根据全流量镜像获取安全事件。
攻击场景预测模块用于根据网络攻击场景库获取安全事件对应的网络攻击场景,网络攻击场景库包括安全事件和攻击场景的对应关系。
网络攻击场景管理模块用于配置、编辑网络攻击场景库。
流量采集策略引擎用于根据攻击场景对应的第一信息和攻击场景对应的第二信息获取流量采集规则,第一信息为安全事件中与被攻击者相关的信息,第二信息为安全事件中与攻击者相关的信息。
流量采集和检测引擎还用于根据流量采集规则从流量镜像中获取目标数据,并将目标数据以数据包的形式发送至数据存储引擎。
数据存储引擎用于存储采集到的目标数据。
例如,通过网络攻击场景管理模块在网络攻击场景库中配置网络攻击场景1木马外连场景,包含安全事件DGA(Domain Generation Algorithm,域名生成算法)事件,持续监测时间1小时,关联资产IP的端口为80、443,关联资产IP的应用协议为DNS(Domain NameSystem,域名系统)、HTTP(Hyper Text Transfer Protocol,超文本传输协议),关联资产IP的行为为域名解析请求失败数异常,关联外部IP的端口不配置,关联外部IP的应用不配置,关联外部IP的行为不配置;配置网络攻击场景2webshell远控场景,包含webshell木马上传事件、webshell远控工具连接事件,持续监测时间1小时,关联资产IP的端口为80、21,关联资产IP的应用协议为HTTP(Hyper Text Transfer Protocol,超文本传输协议)、FTP(FileTransfer Protocol,文件传输协议),关联资产IP的行为不配置,关联外部IP的端口不配置,关联外部IP的应用协议为HTTP,关联外部IP的行为为访问不常访问页面。通过流量采集和检测引擎收取流量镜像;流量采集和检测引擎检测到安全事件DGA事件后,发送安全事件日志给攻击场景预测模块;攻击场景预测模块基于DGA事件名称在攻击场景库中进行检索,找到攻击场景1,并将攻击场景1发送给流量采集策略引擎;流量采集策略引擎基于攻击场景1把资产IP关联的流量规则和外部IP关联的流量规则都解析出来,并将这些流量规则整合成流量采集规则下发到流量采集和检测引擎;流量采集和检测引擎基于流量采集规则捕获目标数据生成数据包,并将数据包发送到数据存储引擎;数据存储引擎把数据包存储到磁盘上。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的流量数据采集方法的流量数据采集装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个流量数据采集装置实施例中的具体限定可以参见上文中对于流量数据采集方法的限定,在此不再赘述。
在一个实施例中,如图4所示,提供了一种流量数据采集装置400,包括:事件获取模块401、场景匹配模块402、规则构建模块403和数据采集模块404,其中:
事件获取模块401,用于获取网络流量数据对应的流量镜像,根据流量镜像获取安全事件;
场景匹配模块402,用于根据攻击场景库获取安全事件对应的攻击场景,攻击场景库包括安全事件和攻击场景的对应关系;
规则构建模块403,用于根据攻击场景对应的第一信息和攻击场景对应的第二信息获取流量采集规则,第一信息为安全事件中与被攻击者相关的信息,第二信息为安全事件中与攻击者相关的信息;
数据采集模块404,用于根据流量采集规则从流量镜像中获取目标数据。
在一个实施例中,事件获取模块401还用于通过异常检测算法处理流量镜像,得到流量镜像中的安全事件。
在一个实施例中,场景匹配模块402还用于确定每一个安全事件对应的至少一个事件关键字;确定每一个攻击场景对应的场景关键字集合;建立每一个事件关键字和每一个场景关键字集合的对应关系,作为安全事件和攻击场景的对应关系。
在一个实施例中,规则构建模块403还用于获取安全事件中的第一信息和安全事件中的第二信息,并将安全事件中的第一信息作为攻击场景对应的第一信息,将安全事件中的第二信息作为攻击场景对应的第二信息;基于攻击场景对应的第一信息生成至少一个第一流量子规则;基于攻击场景对应的第二信息生成至少一个第二流量子规则;整合全部第一流量子规则和全部第二流量子规则得到流量采集规则。
在一个实施例中,规则构建模块403还用于获取持续监测时长,持续监测时长用于表征执行流量采集规则的持续时长;整合持续监测时长、全部第一流量子规则和全部第二流量子规则得到流量采集规则。
在一个实施例中,数据采集模块404还用于从流量采集规则中获取部分第一流量子规则作为目标第一流量子规则,以及获取部分第二流量子规则作为目标第二流量子规则;在持续监测时长,根据目标第一流量子规则和目标第二流量子规则从流量镜像中获取目标数据。
上述流量数据采集装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种流量数据采集方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置,显示屏可以是液晶显示屏或电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取网络流量数据对应的流量镜像,根据流量镜像获取安全事件;
根据攻击场景库获取安全事件对应的攻击场景,攻击场景库包括安全事件和攻击场景的对应关系;
根据攻击场景对应的第一信息和攻击场景对应的第二信息获取流量采集规则,第一信息为安全事件中与被攻击者相关的信息,第二信息为安全事件中与攻击者相关的信息;
根据流量采集规则从流量镜像中获取目标数据。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
通过异常检测算法处理流量镜像,得到流量镜像中的安全事件。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
确定每一个安全事件对应的至少一个事件关键字;
确定每一个攻击场景对应的场景关键字集合;
建立每一个事件关键字和每一个场景关键字集合的对应关系,作为安全事件和攻击场景的对应关系。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取安全事件中的第一信息和安全事件中的第二信息,并将安全事件中的第一信息作为攻击场景对应的第一信息,将安全事件中的第二信息作为攻击场景对应的第二信息;
基于攻击场景对应的第一信息生成至少一个第一流量子规则;
基于攻击场景对应的第二信息生成至少一个第二流量子规则;
整合全部第一流量子规则和全部第二流量子规则得到流量采集规则。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取持续监测时长,持续监测时长用于表征执行流量采集规则的持续时长;
整合持续监测时长、全部第一流量子规则和全部第二流量子规则得到流量采集规则。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
从流量采集规则中获取部分第一流量子规则作为目标第一流量子规则,以及获取部分第二流量子规则作为目标第二流量子规则;
在持续监测时长,根据目标第一流量子规则和目标第二流量子规则从流量镜像中获取目标数据。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取网络流量数据对应的流量镜像,根据流量镜像获取安全事件;
根据攻击场景库获取安全事件对应的攻击场景,攻击场景库包括安全事件和攻击场景的对应关系;
根据攻击场景对应的第一信息和攻击场景对应的第二信息获取流量采集规则,第一信息为安全事件中与被攻击者相关的信息,第二信息为安全事件中与攻击者相关的信息;
根据流量采集规则从流量镜像中获取目标数据。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
通过异常检测算法处理流量镜像,得到流量镜像中的安全事件。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
确定每一个安全事件对应的至少一个事件关键字;
确定每一个攻击场景对应的场景关键字集合;
建立每一个事件关键字和每一个场景关键字集合的对应关系,作为安全事件和攻击场景的对应关系。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取安全事件中的第一信息和安全事件中的第二信息,并将安全事件中的第一信息作为攻击场景对应的第一信息,将安全事件中的第二信息作为攻击场景对应的第二信息;
基于攻击场景对应的第一信息生成至少一个第一流量子规则;
基于攻击场景对应的第二信息生成至少一个第二流量子规则;
整合全部第一流量子规则和全部第二流量子规则得到流量采集规则。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取持续监测时长,持续监测时长用于表征执行流量采集规则的持续时长;
整合持续监测时长、全部第一流量子规则和全部第二流量子规则得到流量采集规则。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
从流量采集规则中获取部分第一流量子规则作为目标第一流量子规则,以及获取部分第二流量子规则作为目标第二流量子规则;
在持续监测时长,根据目标第一流量子规则和目标第二流量子规则从流量镜像中获取目标数据。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取网络流量数据对应的流量镜像,根据流量镜像获取安全事件;
根据攻击场景库获取安全事件对应的攻击场景,攻击场景库包括安全事件和攻击场景的对应关系;
根据攻击场景对应的第一信息和攻击场景对应的第二信息获取流量采集规则,第一信息为安全事件中与被攻击者相关的信息,第二信息为安全事件中与攻击者相关的信息;
根据流量采集规则从流量镜像中获取目标数据。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
通过异常检测算法处理流量镜像,得到流量镜像中的安全事件。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
确定每一个安全事件对应的至少一个事件关键字;
确定每一个攻击场景对应的场景关键字集合;
建立每一个事件关键字和每一个场景关键字集合的对应关系,作为安全事件和攻击场景的对应关系。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取安全事件中的第一信息和安全事件中的第二信息,并将安全事件中的第一信息作为攻击场景对应的第一信息,将安全事件中的第二信息作为攻击场景对应的第二信息;
基于攻击场景对应的第一信息生成至少一个第一流量子规则;
基于攻击场景对应的第二信息生成至少一个第二流量子规则;
整合全部第一流量子规则和全部第二流量子规则得到流量采集规则。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取持续监测时长,持续监测时长用于表征执行流量采集规则的持续时长;
整合持续监测时长、全部第一流量子规则和全部第二流量子规则得到流量采集规则。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
从流量采集规则中获取部分第一流量子规则作为目标第一流量子规则,以及获取部分第二流量子规则作为目标第二流量子规则;
在持续监测时长,根据目标第一流量子规则和目标第二流量子规则从流量镜像中获取目标数据。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种流量数据采集方法,其特征在于,所述方法包括:
获取网络流量数据对应的流量镜像,根据所述流量镜像获取安全事件;
根据攻击场景库获取所述安全事件对应的攻击场景,所述攻击场景库包括安全事件和攻击场景的对应关系;
根据所述攻击场景对应的第一信息和所述攻击场景对应的第二信息获取流量采集规则,所述第一信息为所述安全事件中与被攻击者相关的信息,所述第二信息为所述安全事件中与攻击者相关的信息;
根据所述流量采集规则从所述流量镜像中获取目标数据。
2.根据权利要求1所述的方法,其特征在于,所述根据所述流量镜像获取安全事件,包括:
通过异常检测算法处理所述流量镜像,得到所述流量镜像中的安全事件。
3.根据权利要求1所述的方法,其特征在于,所述安全事件和攻击场景的对应关系的获取方式,包括:
确定每一个安全事件对应的至少一个事件关键字;
确定每一个攻击场景对应的场景关键字集合;
建立每一个事件关键字和每一个场景关键字集合的对应关系,作为所述安全事件和攻击场景的对应关系。
4.根据权利要求1所述的方法,其特征在于,所述根据所述攻击场景对应的第一信息和所述攻击场景对应的第二信息获取流量采集规则,包括:
获取所述安全事件中的第一信息和所述安全事件中的第二信息,并将所述安全事件中的第一信息作为所述攻击场景对应的第一信息,将所述安全事件中的第二信息作为所述攻击场景对应的第二信息;
基于所述攻击场景对应的第一信息生成至少一个第一流量子规则;
基于所述攻击场景对应的第二信息生成至少一个第二流量子规则;
整合全部第一流量子规则和全部第二流量子规则得到所述流量采集规则。
5.根据权利要求4所述的方法,其特征在于,所述整合全部第一流量子规则和全部第二流量子规则得到所述流量采集规则,包括:
获取持续监测时长,所述持续监测时长用于表征执行所述流量采集规则的持续时长;
整合所述持续监测时长、全部第一流量子规则和全部第二流量子规则得到所述流量采集规则。
6.根据权利要求5所述的方法,其特征在于,所述根据所述流量采集规则从所述流量镜像中获取目标数据,包括:
从所述流量采集规则中获取部分第一流量子规则作为目标第一流量子规则,以及获取部分第二流量子规则作为目标第二流量子规则;
在所述持续监测时长,根据所述目标第一流量子规则和所述目标第二流量子规则从所述流量镜像中获取目标数据。
7.一种流量数据采集装置,其特征在于,所述装置包括:
事件获取模块,用于获取网络流量数据对应的流量镜像,根据所述流量镜像获取安全事件;
场景匹配模块,用于根据攻击场景库获取所述安全事件对应的攻击场景,所述攻击场景库包括安全事件和攻击场景的对应关系;
规则构建模块,用于根据所述攻击场景对应的第一信息和所述攻击场景对应的第二信息获取流量采集规则,所述第一信息为所述安全事件中与被攻击者相关的信息,所述第二信息为所述安全事件中与攻击者相关的信息;
数据采集模块,用于根据所述流量采集规则从所述流量镜像中获取目标数据。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202210427197.1A 2022-04-22 2022-04-22 流量数据采集方法、装置、计算机设备、存储介质 Active CN114826727B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210427197.1A CN114826727B (zh) 2022-04-22 2022-04-22 流量数据采集方法、装置、计算机设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210427197.1A CN114826727B (zh) 2022-04-22 2022-04-22 流量数据采集方法、装置、计算机设备、存储介质

Publications (2)

Publication Number Publication Date
CN114826727A true CN114826727A (zh) 2022-07-29
CN114826727B CN114826727B (zh) 2024-05-07

Family

ID=82505309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210427197.1A Active CN114826727B (zh) 2022-04-22 2022-04-22 流量数据采集方法、装置、计算机设备、存储介质

Country Status (1)

Country Link
CN (1) CN114826727B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116094842A (zh) * 2023-04-07 2023-05-09 北京豪密科技有限公司 网络密码机的状态识别系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8086650B1 (en) * 2007-06-15 2011-12-27 Ipswitch, Inc. Method for transforming and consolidating fields in log records from logs generated on different operating systems
CN104994075A (zh) * 2015-06-01 2015-10-21 广东电网有限责任公司信息中心 基于安全系统输出日志的安全事件处理方法、系统及终端
CN106534042A (zh) * 2015-09-09 2017-03-22 阿里巴巴集团控股有限公司 基于数据分析的服务器入侵识别方法、装置和云安全系统
KR20170058140A (ko) * 2015-11-18 2017-05-26 (주)이스트소프트 보안 이벤트로그 분석을 통한 보안침해 분석시스템 및 분석방법
US20190020687A1 (en) * 2017-07-12 2019-01-17 Ryan M. Noon Systems and methods for protecting contents and accounts
CN110636085A (zh) * 2019-11-12 2019-12-31 中国移动通信集团广西有限公司 基于流量的攻击检测方法、装置及计算机可读存储介质
CN112511561A (zh) * 2020-12-21 2021-03-16 深信服科技股份有限公司 网络攻击路径确定方法、设备、存储介质及装置
CN113672913A (zh) * 2021-08-20 2021-11-19 绿盟科技集团股份有限公司 一种安全事件处理方法、装置及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8086650B1 (en) * 2007-06-15 2011-12-27 Ipswitch, Inc. Method for transforming and consolidating fields in log records from logs generated on different operating systems
CN104994075A (zh) * 2015-06-01 2015-10-21 广东电网有限责任公司信息中心 基于安全系统输出日志的安全事件处理方法、系统及终端
CN106534042A (zh) * 2015-09-09 2017-03-22 阿里巴巴集团控股有限公司 基于数据分析的服务器入侵识别方法、装置和云安全系统
KR20170058140A (ko) * 2015-11-18 2017-05-26 (주)이스트소프트 보안 이벤트로그 분석을 통한 보안침해 분석시스템 및 분석방법
US20190020687A1 (en) * 2017-07-12 2019-01-17 Ryan M. Noon Systems and methods for protecting contents and accounts
CN110636085A (zh) * 2019-11-12 2019-12-31 中国移动通信集团广西有限公司 基于流量的攻击检测方法、装置及计算机可读存储介质
CN112511561A (zh) * 2020-12-21 2021-03-16 深信服科技股份有限公司 网络攻击路径确定方法、设备、存储介质及装置
CN113672913A (zh) * 2021-08-20 2021-11-19 绿盟科技集团股份有限公司 一种安全事件处理方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116094842A (zh) * 2023-04-07 2023-05-09 北京豪密科技有限公司 网络密码机的状态识别系统及方法
CN116094842B (zh) * 2023-04-07 2023-06-06 北京豪密科技有限公司 网络密码机的状态识别系统及方法

Also Published As

Publication number Publication date
CN114826727B (zh) 2024-05-07

Similar Documents

Publication Publication Date Title
US11323460B2 (en) Malicious threat detection through time series graph analysis
US11025674B2 (en) Cybersecurity profiling and rating using active and passive external reconnaissance
US10193929B2 (en) Methods and systems for improving analytics in distributed networks
CN108932426B (zh) 越权漏洞检测方法和装置
US7735141B1 (en) Intrusion event correlator
US12058177B2 (en) Cybersecurity risk analysis and anomaly detection using active and passive external reconnaissance
CN111245793A (zh) 网络数据的异常分析方法及装置
TW201642135A (zh) 文件檢測方法、裝置及系統
CN108777687B (zh) 基于用户行为画像的爬虫拦截方法、电子设备、存储介质
CN113711559B (zh) 检测异常的系统和方法
WO2022257226A1 (zh) 基于网络空间测绘的蜜罐识别方法、装置、设备及介质
CN111431753A (zh) 一种资产信息更新方法、装置、设备及存储介质
JPWO2016075825A1 (ja) 情報処理装置及び情報処理方法及びプログラム
CN109120626A (zh) 安全威胁处理方法、系统、安全感知服务器及存储介质
CN114826727B (zh) 流量数据采集方法、装置、计算机设备、存储介质
CN113315785B (zh) 一种告警消减方法、装置、设备和计算机可读存储介质
CN113238923A (zh) 基于状态机的业务行为溯源方法及系统
WO2016173327A1 (zh) 用于检测网站攻击的方法和设备
CN116192512A (zh) 数据传输方法、装置、计算机设备和存储介质
CN114900375A (zh) 一种基于ai图分析的恶意威胁侦测方法
CN114866299A (zh) 网络数据转发方法、装置、计算机设备和存储介质
CN111324796A (zh) 基于区块链和sdn边缘计算网络系统的域名爬取方法及装置
CN115085965B (zh) 电力系统信息网络受攻击风险评估方法、装置和设备
CN116346488B (zh) 一种越权访问的检测方法及装置
CN117395082B (zh) 业务处理方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Room 86, room 406, No.1, Yichuang street, Zhongxin Guangzhou Knowledge City, Huangpu District, Guangzhou City, Guangdong Province

Patentee after: Southern Power Grid Digital Grid Research Institute Co.,Ltd.

Country or region after: China

Address before: Room 86, room 406, No.1, Yichuang street, Zhongxin Guangzhou Knowledge City, Huangpu District, Guangzhou City, Guangdong Province

Patentee before: Southern Power Grid Digital Grid Research Institute Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right

Effective date of registration: 20240909

Address after: 518101, 3rd Floor, Building 40, Baotian Industrial Zone, Chentian Community, Xixiang Street, Bao'an District, Shenzhen City, Guangdong Province

Patentee after: China Southern Power Grid Digital Platform Technology (Guangdong) Co.,Ltd.

Country or region after: China

Address before: Room 86, room 406, No.1, Yichuang street, Zhongxin Guangzhou Knowledge City, Huangpu District, Guangzhou City, Guangdong Province

Patentee before: Southern Power Grid Digital Grid Research Institute Co.,Ltd.

Country or region before: China