CN103532940B - 网络安全检测方法及装置 - Google Patents

网络安全检测方法及装置 Download PDF

Info

Publication number
CN103532940B
CN103532940B CN201310461691.0A CN201310461691A CN103532940B CN 103532940 B CN103532940 B CN 103532940B CN 201310461691 A CN201310461691 A CN 201310461691A CN 103532940 B CN103532940 B CN 103532940B
Authority
CN
China
Prior art keywords
data
device data
stream
data stream
flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310461691.0A
Other languages
English (en)
Other versions
CN103532940A (zh
Inventor
周安
苏扬
邓大为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Dispatch Control Center of Guangdong Power Grid Co Ltd
Original Assignee
Electric Power Dispatch Control Center of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Dispatch Control Center of Guangdong Power Grid Co Ltd filed Critical Electric Power Dispatch Control Center of Guangdong Power Grid Co Ltd
Priority to CN201310461691.0A priority Critical patent/CN103532940B/zh
Publication of CN103532940A publication Critical patent/CN103532940A/zh
Application granted granted Critical
Publication of CN103532940B publication Critical patent/CN103532940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

一种网络安全检测方法及装置,其方法包括:采集各设备的流量数据,将各流量数据进行归一化处理,获得具有空间信息、时间信息和技术指标信息的设备数据流;存储设备数据流;将设备数据流的空间信息与预设的正常数据流集合进行匹配,若不匹配,则网络异常,若匹配,则将设备数据流与指标数据进行比较;若属于第一指标数据,则将设备数据流与预设特征基线进行比较;若属于第二指标数据,则查询该设备数据流对应的历史设备数据流,确定设备数据流的周期性基线,并进行比较;若属于第三指标数据,则查询该设备数据流对应的正常历史设备数据流,确定预设时间内设备数据流的平均值,并进行比较,从而判断出网络异常状态。本发明提高网络安全检测精确度。

Description

网络安全检测方法及装置
技术领域
本发明涉及网络通讯技术领域,特别是涉及网络安全检测方法及装置。
背景技术
随着电力自动化水平的提高,通信技术和网络技术的发展,电力系统越来越依赖电力信息网络来保障其安全、可靠和高效的运行,信息网络的安全直接关系到电力系统的安全,因此保证电力系统信息安全显得尤为重要。
随着一体化智能运行系统研发及应用的深入发展,基于OSB总线的各种应用之间的交互快速增长,安全问题逐渐突出,传统的电力二次系统安全防护面临巨大的新挑战。与传统独立的应用系统不同,一体化智能运行系统各应用之间的系统边界更加模糊,应用间交互更加复杂。结合生产控制系统的网络及业务特征,综合运用多种先进的信息安全技术手段,设计合理使用的应用服务特征识别及应用交互行为分析系统,在应对二次系统安全防护新问题,确保系统安全稳定运行方面具有重要意义。
伴随着带宽的增加,电力二次系统网络上的应用和业务也不断的丰富,如控制业务流量,监控业务流量和其它误操作流量等等。与此同时,网络攻击的成本和技术门槛大幅下降,网络上会出现各种攻击和异常流量。在这种流量成分日益复杂,异常流量海量涌现的情况下,对业务行为交互模式的深入分析从而全面了解业务流量的各种分布以及变化趋势就显得十分必要了。
传统方法是采用IDS技术(IntrusionDetectionSystem,入侵检测检测),就是对入侵行为的发觉。他通过对计算机网络或计算机系统中若干关键点收集信息,并对其进行关键字判断,从中发现网络或系统中是否有违反安全策略的行为和被攻击的迹象。也可以通过对每个设备判断流量,当流量大于阈值时,则判断为异常。然而,往往有些设备流量较大时,设备数据流属于正常情况,采用关键字或阈值的判断方式,常将正常的设备数据流误判为异常,从而得出网络异常,检测精确度低。
发明内容
基于此,有必要针对检测精度低的问题,提供一种网络安全检测方法及装置。
一种网络安全检测方法,包括步骤:
采集网络中各设备的流量数据,将各所述流量数据进行归一化处理,获得具有空间信息、时间信息和技术指标信息的设备数据流;
存储所述设备数据流;
将设备数据流的空间信息与预设的正常数据流集合进行匹配,若不匹配,则网络异常,若匹配,则将设备数据流与指标数据进行比较;
若设备数据流属于第一指标数据,则比较所述设备数据流是否符合预设特征基线,若不符合,则网络异常,其中,特征基线包括阈值、关键字、阈值范围;
若设备数据流属于第二指标数据,则查询该设备数据流对应的历史设备数据流,根据历史设备数据流确定设备数据流的周期性基线,若该设备数据流不符合周期波动,则网络异常;
若设备数据流属于第三指标数据,则查询该设备数据流对应的正常历史设备数据流,根据正常历史设备数据流确定预设时间内设备数据流的平均值,计算该设备数据流与平均值的波动范围,若所述波动范围不符合预设波动范围,则网络异常。
一种网络安全检测装置,包括:
采集模块,用于采集网络中各设备的流量数据;
归一化模块,用于将各所述流量数据进行归一化处理,获得具有空间信息、时间信息和技术指标信息的设备数据流;
存储模块,用于存储所述设备数据流;
异常判断模块,用于将设备数据流的空间信息与预设的正常数据流集合进行匹配,若不匹配,则网络异常,若匹配,则将设备数据流与指标数据进行比较;
若设备数据流属于第一指标数据,则比较所述设备数据流是否符合预设特征基线,若不符合,则网络异常,其中,特征基线包括阈值、关键字、阈值范围;
若设备数据流属于第二指标数据,则查询该设备数据流对应的历史设备数据流,根据历史设备数据流确定设备数据流的周期性基线,若该设备数据流不符合周期波动,则网络异常;
若设备数据流属于第三指标数据,则查询该设备数据流对应的正常历史设备数据流,根据正常历史设备数据流确定预设时间内设备数据流的平均值,计算该设备数据流与平均值的波动范围,若所述波动范围不符合预设波动范围,则网络异常。
上述网络安全检测方法及装置,通过将设备数据流进行归一化后进行存储,判断设备数据流与预设的正常数据流集合是否相符,即判断该设备数据流是否符合规格。比如由于外来入侵或异常病毒等导致新增的设备数据流不属于正常数据流集合,则该网络异常。当符合正常数据流集合时,然后进一步判断设备数据流是否属于第一、第二或第三指标数据,不同指标数据采用不同判断方法,当为周期性或渐变性设备数据流时,根据历史设备数据流来进行判断,从而提高了网络安全检测的准确度。
附图说明
图1为本发明网络安全检测方法的流程示意图;
图2为本发明网络安全检测装置的结构示意图。
具体实施方式
以下针对本发明网络安全检测方法及装置的各实施例进行详细的描述。
首先针对网络安全检测方法的各实施例进行描述。
参见图1,为本发明网络安全检测方法的流程示意图,包括步骤:
步骤S101:采集网络中各设备的流量数据;
数据采集是所有分析设备的基础,是整个系统数据流的入口。数据采集的大体上可以有Netflow、sFlow、SPAN、SNMP/RMON四种方式。这些方式是与设备相关的。即某些设备只能支持某一种或几种采集方式。每种采集方式有其固有的优势和局限。
在其中一个实施例中,采用flow流量与镜像流量自适应的复合采集方案,既采集镜像数据,也可以直接采集flow数据。镜像数据是一端口产生的流量备份,作为分析数据数。Flow流量包括网络信息、时间、数量等信息。
步骤S102:将各流量数据进行归一化处理,获得具有空间信息、时间信息和技术指标信息的设备数据流。采集的各种流量数据后,本方案会归一化为统一的格式,便于后续分析与存储。
步骤S103:存储设备数据流。
存储的方式有很多种,可以直接将获取的设备数据流进行存储。在其中一个实施例中,将流量数据按照vFlow格式进行存储,vFlow格式包括头部数据和数据部数据,其中,头部数据包括版本、流记录个数、系统启动至今时间、系统时间、流序列号、引擎类型、引擎序号、采样率,数据部数据包括源IP地址、目的IP地址、下一跳路由器的IP地址、输入接口索引、输出接口索引、流中报文、在流的报文中第三层字节的总数、流开始的时间、流中最后一个报文被接收时的时间、源端口、目的端口、未使用的字节、TCP标志位、IP协议、发送TCP校验和错误次数、发送TCP重传次数、发送TCP零窗口次数、发送RST包数、发送FIN包书、发送SYN包数、连接成功次数、连接失败次数。可以根据头部数据和数据部数据查询该设备数据流对应的历史设备数据流。以这种方式存储,可以根据头部数据和数据部数据任一进行查询,扩大了查询维度,同时也为后续分析提供了多种分析途径。不限于传统中根据IP地址或端口查询,本方案还可以根据索引、序号等进行查询,同时还可以查询流中最后一个报文被接收时的时间、连接失败次数、发送TCP校验和错误次数等。例如,vFlow格式可以定义如下:
本实施例采集到的vFlow流量数据,包含的信息都可以分为三类:空间信息、时间信息、技术指标信息。空间信息是流量发生的地点,包括:路由器、物理端口、IP地址(段)、AS号、地域名称等。时间信息是流量发生的时间:用分钟、时间片、小时、日、周、月、年来度量。技术指标提供流量的业务特征的信息:应用类型、TCP-flag、ToS、包大小等。这些信息的全面性保证了对网络流量进行精度、全面分析的可能性。
作为一个优选实施例,当存储信息量过大时,提供通过以下方法实现全存储:
根据空间信息、时间信息、预设聚合条件和预设时间粒度将设备数据流进行流量叠加,存储叠加后的流量数据和聚合项。
聚合条件可以是业务流树,也可以是根据业务类别对数据流进行划分,还可以根据归一化处理后的信息按类别划分等。其中,基于空间信息对设备数据流进行聚合,获得业务流树。可以是根据空间信息中的IP地址和端口与预存业务流树对应匹配,获得业务流树,其中,预存业务流树是根据空间信息的IP地址和端口建立。事先根据各设备的IP地址和端口,比如源IP地址和目的IP地址、源端口和目的端口等,关联出各设备之间的关系,获得子业务,根据子业务之间的关系关联出主业务,生成一棵业务流树。其中,有些设备可能不单属于一个子业务,而是多个子业务共享。也可以是根据空间信息中的协议内容关联出设备数据流的归属,获得业务流树。根据各设备的协议内容,具体分析出该设备属于哪一个业务,从而关联出业务流树。聚合项是指将那些数据流进行了叠加。按照预先设定的聚合条件将流量数据叠加后,后续可以根据聚合项追溯到任意时间范围内的网络数据,然后进行分析。
网络中vflow数据量非常庞大,全部存储入数据库对于数据存储和分析都是非常大的挑战,对于大多数设备的硬件规格来讲是无法实现的,并且在绝大部分应用中也没有必要把数据粒度设计得如此之小。而本实施例通过聚合条件的形式,将原始流进行压缩整理,再以较为合理的存储形式保存在数据库中。数据压缩的核心机制是流量聚合。流量聚合是指对符合flow数据格式的原始流记录根据一定条件进行流量合并,实现多条流合并为一条的过程,以实现原始流的压缩整理。流量聚合有三个关键要素:聚合条件(F)、时间粒度(T)和聚合项(C)。满足相同聚合条件和时间粒度的流进行流量叠加,并保留聚合项。利用查询功能可以快速追溯到任意时间范围内的网络通讯数据,包括实时与回溯,并将与其关联的通讯数据进行快速挖掘和全面分析,实现快速定位分析网络和应用问题,发现和分析安全攻击。同时,本存储数据还可以作为历史数据流,供设备数据流和业务数据流的异常判断使用。
在流量分析的过程中,本技术采用flow级的数据分析策略,保证了分析的准确性与效率,同时实现流量行为数据的全存储。由于本方法建立了业务流量行为基于flow级的数据全存储,从而可以实现电网业务异常行为回溯分析。
在其中一个实施例中,根据空间信息、时间信息、预设聚合条件和预设时间粒度将设备数据流进行流量叠加,存储叠加后的流量数据和聚合项步骤之后,还包括步骤:根据预设聚合条件、预设时间粒度、叠加后的流量数据进行关联分析,生成报表,实时更新并显示报表。比如根据聚合条件,关联出这些设备数据流属于哪个业务,或者根据时间粒度,关联出某一时间段某一设备的流量情况等,然后将其生成报表,进行展示。
在其中一个实施例中,根据空间信息、时间信息、预设聚合条件和预设时间粒度将设备数据流进行流量叠加,存储叠加后的流量数据和聚合项步骤之后,还包括步骤:根据预设聚合条件、预设时间粒度、叠加后的流量数据分时段、分线程查询设备数据流。
步骤S104:将设备数据流的空间信息与预设的正常数据流集合进行匹配,若不匹配,则网络异常,若匹配,进入步骤S105,
其中,网络异常是根据数据流异常得出的。通过将设备数据流的空间信息与预设的正常数据流集合进行匹配,若匹配,则表示该数据流符合规格。若不匹配,则表示该数据流异常,从而得出网络异常。网络异常后,可以根据接收用户指令的方式或预置规则的方式判断该异常数据流是否是网络风险行为,如果是,则告警。本方案通过与正常数据流集合进行匹配,实现对数据流的初步判断,判断该设备数据流是否符合规格。比如由于外来入侵或异常病毒等导致新增的设备数据流不属于正常数据流集合,则该网络异常。从而提高了网络安全检测的准确度。
正常数据流集合可以通过对网络中正常情况下的数据流进行统计,统计正常情况下包括哪些数据流。其中,为了不使正常数据流集合存储量过大,每个数据流可以不包括具体的流量数据,而包括一些代表该数据流特征的信息,比如源地址、目的地址,还可以包括目的端口。正常数据流集合可以通过接收指令的形式获得,也可以在保证网络正常的情况下累计记录一段时间内出现过的数据流。记录方式可以为:“源IP地址---目的IP地址----目的端口(可选)”的记录条目,正常数据流集合记录了网络中正常情况下可能出现的所有数据流。
步骤S105:判断设备数据流与指标数据关系,若设备数据流属于第一指标数据,进入步骤S106,若设备数据流属于第二指标数据,进入步骤S107,若设备数据流属于第三指标数据,进入步骤S108。
作为一个实施例,一些数据流不能超过预设的固定阈值或自定义的特征范围,再或者符合了一些关键字,可以将这类数据类设置为第一指标数据。一些数据流的变化具有周期性,比如端口总流量、某IP群组的流量趋势,可以将这类数据流设置为第二指标数据。一些数据流的正常值没有明显周期性变化,而是在一个较小的范围内波动,可以将这类数据流设置为第三指标数据。正常历史流量数据是指在历史流量数据中,这些流量数据都是正常的,没有突变或超范围的。第一指标数据还可以是用户自定义特征指纹,第二指标数据、第三指标数据还可以根据需要,设定为其他指标数据。
步骤S106:比较设备数据流是否符合预设特征基线,若不符合,则该设备数据流异常,即网络异常。其中,特征基线包括阈值、关键字、阈值范围。
步骤S107:查询该设备数据流对应的历史设备数据流,根据历史设备数据流确定设备数据流的周期性基线,若该设备数据流不符合周期波动,则该设备数据流异常。在其中一个实施例中,周期性基线可以与周期波动相同,即设备数据流必须完全符合周期性基线,否则,设备数据流异常,即网络异常。在另一个实施例中,周期波动可以是周期性基线的一个波动范围内,即设备数据流只要在周期性基线上下波动的一个范围内,都算正常。
步骤S108:查询该设备数据流对应的正常历史设备数据流,根据历史设备数据流确定预设时间内设备数据流的平均值,计算该设备数据流与平均值的波动范围,若波动范围不符合预设波动范围,则设备数据流异常,即网络异常。
在数据流符合规格的前提下,进一步判断设备数据流是否属于第一、第二或第三指标数据,不同指标数据采用不同判断方法,当为周期性或渐变性设备数据流时,根据历史设备数据流来进行判断,提高了数据流检测的准确度,从而提高了网络安全检测的准确度。
作为一个实施例,执行步骤S108的过程可通过如下步骤实现:
设备行为规则的设计为在指定设备交互行为模型中对以下条件进行约束:
时间约束、端口约束、协议约束、流量、流速约束、包速率约束。这些约束条件的组合形成了设备行为规则。对于不符合规则的流量,需要进行预警。
异常行为预警模块对流量采集模块获取的vFlow数据,结合设备行为规则,发现工业控制网络中的设备异常行为,并进行预警。本实施例流量检测采用基线技术为主要手段,以特征指纹检测为辅。异常流量检测的数据分析过程分为三个步骤:检测指标实测值的计算、检测指标基线值的计算、实测值与基线值的比较。
异常流量检测的原理就是比较检测指标实际测量值和基线值的大小,前者大于后者则产生告警。由此可见,检测指标的选取及计算以及基线数据模型的生成是异常流量检测最为关键的两个过程。必须保证基线数据模型的独立生成,才能保证检测插件的独立性,同时避免大量重复计算。
由于异常检测指标的变化特征不同,应该用不同的基线进行比对。系统采用了四种不同的基线。第一种是周期性基线,用来检验其变化趋势明显带有周期性的指标,例如端口总流量,某种应用的总流量、某个IP群组的流量趋势。第二种是移动窗口基线,如果检测指标的正常值没有明显的周期性变化,而且在一个较小的范围内波动,则使用移动窗口基线效果比较好。基线值是根据一组历史流量数据利用加权平均和置信区间的算法得到的。超出可信范围的历史数据不参与基线的计算(即在这个时间段中异常数据不参与计算),从而保证了基线的有效性。第三种是特征基线,特征基线通常是根据经验或是实验测量的结果得来固定的异常检测模式。第四种是自定制基线,由用户自定义特征指纹进行检测。比如根据业务不同情况,设置不同基线值。例如,访问数超过100时,不能大于某个阈值,访问数没超过100时,不能大于另一个阈值。
这四种基线判断方法,可以用于对设备数据流的判断,同时也可以用于对业务数据流的判断。本实施例将周期性基线对应的流量数据设为第一指标数据,将移动窗口基线对应的流量数据设为第二指标数据,将特征基线和自定制基线对应的流量数据设为第三指标数据。因此,在判断过程中,先识别流量数据属于哪一类数据,再进行对应的判断过程。
对设备数据流进行判断后,可以对判断结果进行存储,还可以采用syslog协议进行报送,其中设备行为预警记录的设计为:
日志格式匹配字符串:
说明
字段名 类型 描述
mod %s 模块名,本模块使用的名字为attack
Sa %s 源IP地址
sport %d 源端口(ICMP协议为type&code)
Da %s 目的IP地址
Dport %d 目的端口
proto %d 协议类型
type %s 攻击类型
count %d 重复次数
msg %s 消息
act %s 具体的动作,包括丢弃、通过、证据保存、加黑名单等
日志举例:
在其他实施例中,可以采用本发明方法实现以业务单位,进行流量检测。具体包括步骤:
A1:基于空间信息对设备数据流进行聚合,获得业务流树,其中,业务流树包括主业务数据流与子业务数据流的关系、子业务数据流与设备数据流的关系。业务交互行为挖掘采用聚类分析思想,对工业控制网络中可能的业务交互行为进行智能化的整理与挖掘。采集到的流量数据,包含的信息都可以分为三类:空间信息、时间信息、技术指标信息。业务交互行为的挖掘主要对数据中的空间信息进行聚合,从而发现各业务之间的交互行为。比如,可以采用基于哈希表的Map数据结构进行处理,该数据结构提供所有可选的映射操作,但不保证映射的顺序。当进行业务交互行为挖掘时,本实施例采用60秒为分析周期,每个周期生成这样的Map数据结构,用于缓存和分析采集模块获取的vFlow数据,在方案中,该Map结构的key设计为String字串,具体结构为:IPV4_SRC_ADDR、IPV4_DST_ADDR、L4_SRC_PORT、L4_DST_PORT、PROTOCOL的顺序组合。
A2:根据业务流树中子业务数据流与设备数据流的关系、设备数据流确定子业务数据流。由于多个设备数据流组成一个子业务数据流,因此可以根据业务流树中设备与子业务之间的关系,将该子业务对应的设备的数据流进行关联,得到子业务数据流。
A3:根据子业务数据流、设备数据流与预存的业务行为规则进行比较,获得设备数据流和子业务数据流的异常状态。业务行为规则可以是关键字,也可以是阈值,根据关键字或阈值判断设备数据流是否正常,子业务数据流是否正常。在其中一个实施例中,A3包括:
若流量数据属于第一指标数据,则将流量数据与预设特征基线进行比较,若不符合,则流量数据异常;其中,一些数据流不能超过预设的固定阈值或自定义的特征范围,再或者符合了一些关键字,将这类数据类设置为第一指标数据。
若流量数据属于第二指标数据,则根据历史流量数据确定流量数据的周期性基线,若不符合周期波动,则流量数据异常;其中,一些数据流的变化具有周期性,比如端口总流量、某IP群组的流量趋势,将这类数据流设置为第二指标数据。
若流量数据属于第三指标数据,则根据正常历史流量数据确定预设时间内流量数据的平均值,计算该流量数据与平均值的波动范围,若波动范围不符合预设波动范围,则流量数据异常,其中,一些数据流的正常值没有明显周期性变化,而是在一个较小的范围内波动,将这类数据流设置为第三指标数据。正常历史流量数据是指在历史流量数据中,这些流量数据都是正常的,没有突变或超范围的。
其中,流量数据包括业务数据流和设备数据流。
A4:根据设备数据流的异常状态、子业务数据流的异常状态、业务流树、预设设备数据流异常权值和预设子业务数据流异常权值,获得主业务健康度指标,根据主业务健康度指标确定该主业务数据流是否异常。
以业务健康度体系的方式展现业务的安全态势,主要依据是业务预警信息的频度、严重程度和范围计算业务健康度指标。所有数据由系统自动进行周期性的数据采集、分析和计算。由系统自动获取指标基础数据,并自动进行分析和计算。系统可以根据业务规则检测结果获取的安全信息计算KPI指标。比如,根据设备数据流的异常状态、预设设备数据流异常权值、业务流树中设备与子业务关系、子业务数据流的异常状态确定子业务数据流是否异常。根据确定的子业务数据流异常情况、预设子业务数据流异常权值、业务流树中子业务与主业务关系获得主业务健康度指标,根据主业务健康度指标确定该主业务数据流是否异常。例如,一个主业务数据流下有多个子业务数据流,其中一个子业务数据流m包括设备A、设备B、设备C。假设设备A流量偏大,设备B流量偏小,设备C流量正常,设备A、B、C总流量正常。当设备A、B为关键设备时,则可以判断子业务数据流m异常,如果当设备A、B为非关键设备时,则可以判断子业务数据流m正常。
业务健康度标可以按照指标的体系结构分类展现。提供总体业务安全态势、多维度的业务安全态势展现。支持业务健康度变化趋势分析,如趋势图、理想值、达标值、环比值等。支持可视化的业务健康指标展现。
在工业控制网络中的路由交换设备处采集全网流量数据信息,通过flow级的流量行为分析技术,建立三种基线模型,对网络中的业务进行实时监控分析,智能发现业务流量的异常波动,从而确定电网专有业务的异常。同时,通过对流量行为数据的存储,实现电网业务故障历史回溯分析能力。
本方案还提供一种网络安全检测装置,参见图2所示,为本发明网络安全检测装置实施例的结构示意图,包括:
采集模块201,用于采集网络中各设备的流量数据;
归一化模块202,用于将各流量数据进行归一化处理,获得具有空间信息、时间信息和技术指标信息的设备数据流;
存储模块203,用于存储设备数据流;
异常判断模块204,用于将设备数据流的空间信息与预设的正常数据流集合进行比较,若不符合,则网络异常,若符合,则将设备数据流与指标数据进行比较;
若设备数据流属于第一指标数据,则比较设备数据流是否符合预设特征基线,若不符合,则网络异常,其中,特征基线包括阈值、关键字、阈值范围;
若设备数据流属于第二指标数据,则查询该设备数据流对应的历史设备数据流,根据历史设备数据流确定设备数据流的周期性基线,若该设备数据流不符合周期波动,则网络异常;
若设备数据流属于第三指标数据,则查询该设备数据流对应的正常历史设备数据流,根据历史设备数据流确定预设时间内设备数据流的平均值,计算该设备数据流与平均值的波动范围,若波动范围不符合预设波动范围,则网络异常。
其中一个实施例中,存储模块还用于:
根据空间信息、时间信息、预设聚合条件和预设时间粒度将设备数据流进行流量叠加,存储叠加后的流量数据和聚合项。
其中一个实施例中,还包括关联分析模块,用于根据预设聚合条件、预设时间粒度、叠加后的流量数据进行关联分析,生成报表,实时更新并显示报表。
其中一个实施例中,还包括查询模块,用于根据预设聚合条件、预设时间粒度、叠加后的流量数据分时段、分线程查询设备数据流。
其中一个实施例中,存储模块用于将设备数据流按照vFlow格式进行存储,vFlow格式包括头部数据和数据部数据,
其中,头部数据包括版本、流记录个数、系统启动至今时间、系统时间、流序列号、引擎类型、引擎序号、采样率,数据部数据包括源IP地址、目的IP地址、下一跳路由器的IP地址、输入接口索引、输出接口索引、流中报文、在流的报文中第三层字节的总数、流开始的时间、流中最后一个报文被接收时的时间、源端口、目的端口、未使用的字节、TCP标志位、IP协议、发送TCP校验和错误次数、发送TCP重传次数、发送TCP零窗口次数、发送RST包数、发送FIN包书、发送SYN包数、连接成功次数、连接失败次数;
异常判断模块,还用于根据头部数据和数据部数据查询该设备数据流对应的历史设备数据流。
具体实现方式,上述网络安全检测方法已描述,在此不再赘述。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种网络安全检测方法,其特征在于,包括步骤:
采集网络中各设备的流量数据,将各所述流量数据进行归一化处理,获得具有空间信息、时间信息和技术指标信息的设备数据流;
存储所述设备数据流;
将设备数据流的空间信息与预设的正常数据流集合进行匹配,若不匹配,则网络异常,若匹配,则将设备数据流与指标数据进行比较;
若设备数据流属于第一指标数据,则比较所述设备数据流是否符合预设特征基线,若不符合,则网络异常,其中,特征基线包括阈值、关键字、阈值范围;
若设备数据流属于第二指标数据,则查询该设备数据流对应的历史设备数据流,根据历史设备数据流确定设备数据流的周期性基线,若该设备数据流不符合周期波动,则网络异常;
若设备数据流属于第三指标数据,则查询该设备数据流对应的正常历史设备数据流,根据正常历史设备数据流确定预设时间内设备数据流的平均值,计算该设备数据流与平均值的波动范围,若所述波动范围不符合预设波动范围,则网络异常。
2.根据权利要求1所述的网络安全检测方法,其特征在于,所述存储所述设备数据流步骤,包括步骤:
根据空间信息、时间信息、预设聚合条件和预设时间粒度将设备数据流进行流量叠加,存储叠加后的流量数据和聚合项。
3.根据权利要求2所述的网络安全检测方法,其特征在于,所述根据空间信息、时间信息、预设聚合条件和预设时间粒度将设备数据流进行流量叠加,存储叠加后的流量数据和聚合项步骤之后,还包括步骤:
根据所述预设聚合条件、预设时间粒度、叠加后的流量数据进行关联分析,生成报表,实时更新并显示所述报表。
4.根据权利要求2所述的网络安全检测方法,其特征在于,所述根据空间信息、时间信息、预设聚合条件和预设时间粒度将设备数据流进行流量叠加,存储叠加后的流量数据和聚合项步骤之后,还包括步骤:
根据所述预设聚合条件、预设时间粒度、叠加后的流量数据分时段、分线程查询设备数据流。
5.根据权利要求1所述的网络安全检测方法,其特征在于,所述存储所述设备数据流步骤,包括步骤:将所述设备数据流按照vFlow格式进行存储,vFlow格式包括头部数据和数据部数据,
其中,头部数据包括版本、流记录个数、系统启动至今时间、系统时间、流序列号、引擎类型、引擎序号、采样率,所述数据部数据包括源IP地址、目的IP地址、下一跳路由器的IP地址、输入接口索引、输出接口索引、流中报文、在流的报文中第三层字节的总数、流开始的时间、流中最后一个报文被接收时的时间、源端口、目的端口、未使用的字节、TCP标志位、IP协议、发送TCP校验和错误次数、发送TCP重传次数、发送TCP零窗口次数、发送RST包数、发送FIN包书、发送SYN包数、连接成功次数、连接失败次数;
根据头部数据和数据部数据查询该设备数据流对应的历史设备数据流。
6.一种网络安全检测装置,其特征在于,包括:
采集模块,用于采集网络中各设备的流量数据;
归一化模块,用于将各所述流量数据进行归一化处理,获得具有空间信息、时间信息和技术指标信息的设备数据流;
存储模块,用于存储所述设备数据流;
异常判断模块,用于将设备数据流的空间信息与预设的正常数据流集合进行匹配,若不匹配,则网络异常,若匹配,则将设备数据流与指标数据进行比较;
若设备数据流属于第一指标数据,则比较所述设备数据流是否符合预设特征基线,若不符合,则网络异常,其中,特征基线包括阈值、关键字、阈值范围;
若设备数据流属于第二指标数据,则查询该设备数据流对应的历史设备数据流,根据历史设备数据流确定设备数据流的周期性基线,若该设备数据流不符合周期波动,则网络异常;
若设备数据流属于第三指标数据,则查询该设备数据流对应的正常历史设备数据流,根据正常历史设备数据流确定预设时间内设备数据流的平均值,计算该设备数据流与平均值的波动范围,若所述波动范围不符合预设波动范围,则网络异常。
7.根据权利要求6所述的网络安全检测装置,其特征在于,所述存储模块还用于:
根据空间信息、时间信息、预设聚合条件和预设时间粒度将设备数据流进行流量叠加,存储叠加后的流量数据和聚合项。
8.根据权利要求7所述的网络安全检测装置,其特征在于,还包括关联分析模块,用于根据所述预设聚合条件、预设时间粒度、叠加后的流量数据进行关联分析,生成报表,实时更新并显示所述报表。
9.根据权利要求7所述的网络安全检测装置,其特征在于,还包括查询模块,用于根据所述预设聚合条件、预设时间粒度、叠加后的流量数据分时段、分线程查询设备数据流。
10.根据权利要求6所述的网络安全检测装置,其特征在于,所述存储模块用于将所述设备数据流按照vFlow格式进行存储,vFlow格式包括头部数据和数据部数据,
其中,头部数据包括版本、流记录个数、系统启动至今时间、系统时间、流序列号、引擎类型、引擎序号、采样率,所述数据部数据包括源IP地址、目的IP地址、下一跳路由器的IP地址、输入接口索引、输出接口索引、流中报文、在流的报文中第三层字节的总数、流开始的时间、流中最后一个报文被接收时的时间、源端口、目的端口、未使用的字节、TCP标志位、IP协议、发送TCP校验和错误次数、发送TCP重传次数、发送TCP零窗口次数、发送RST包数、发送FIN包书、发送SYN包数、连接成功次数、连接失败次数;
所述异常判断模块,还用于根据头部数据和数据部数据查询该设备数据流对应的历史设备数据流。
CN201310461691.0A 2013-09-30 2013-09-30 网络安全检测方法及装置 Active CN103532940B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310461691.0A CN103532940B (zh) 2013-09-30 2013-09-30 网络安全检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310461691.0A CN103532940B (zh) 2013-09-30 2013-09-30 网络安全检测方法及装置

Publications (2)

Publication Number Publication Date
CN103532940A CN103532940A (zh) 2014-01-22
CN103532940B true CN103532940B (zh) 2016-06-08

Family

ID=49934619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310461691.0A Active CN103532940B (zh) 2013-09-30 2013-09-30 网络安全检测方法及装置

Country Status (1)

Country Link
CN (1) CN103532940B (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205394B (zh) * 2014-06-12 2019-01-08 腾讯科技(深圳)有限公司 用于入侵检测的数据检测方法和装置
CN105320585B (zh) * 2014-07-08 2019-04-02 北京启明星辰信息安全技术有限公司 一种实现应用故障诊断的方法及装置
CN105049291B (zh) * 2015-08-20 2019-01-04 广东睿江云计算股份有限公司 一种检测网络流量异常的方法
CN106506435B (zh) * 2015-09-08 2019-08-06 中国电信股份有限公司 用于检测网络攻击的方法和防火墙系统
CN105306263A (zh) * 2015-09-30 2016-02-03 北京奇虎科技有限公司 一种局域网可视化管理方法和装置
CN105187451B (zh) * 2015-10-09 2018-10-09 携程计算机技术(上海)有限公司 网站流量异常检测方法及系统
CN105871638B (zh) * 2016-06-03 2019-03-12 北京启明星辰信息安全技术有限公司 一种网络安全控制方法及装置
CN106453221B (zh) * 2016-06-29 2020-02-14 华为技术有限公司 报文检测的方法及设备
US9961100B2 (en) * 2016-07-29 2018-05-01 Accenture Global Solutions Limited Network security analysis system
CN106101162A (zh) * 2016-08-31 2016-11-09 成都科来软件有限公司 一种跨会话流网络攻击筛选方法
CN108241687B (zh) * 2016-12-26 2022-05-17 阿里巴巴集团控股有限公司 一种可视化图表信息的处理方法及装置
CN107070739A (zh) * 2017-02-24 2017-08-18 上海斐讯数据通信技术有限公司 一种路由器运行故障智能检测方法及系统
CN107248938A (zh) * 2017-03-10 2017-10-13 北京华清信安科技有限公司 基于风险量化的安全大数据分析方法
CN108572997B (zh) * 2017-03-14 2020-08-18 北京宸信征信有限公司 一种具有网络属性的多源数据的整合存储系统及方法
CN106991145B (zh) * 2017-03-23 2021-03-23 中国银联股份有限公司 一种监测数据的方法及装置
CN109412879B (zh) * 2017-08-16 2023-02-21 中兴通讯股份有限公司 端口状态参数获取方法、装置及传输设备、存储介质
CN108683678A (zh) * 2018-05-28 2018-10-19 北京天地和兴科技有限公司 一种基于行为协同感知模型的异常行为预测方法
CN108965249A (zh) * 2018-06-05 2018-12-07 福建锐杰信息技术有限公司 一种网络信息安全检测系统及其检测方法
CN110798429A (zh) * 2018-08-01 2020-02-14 深信服科技股份有限公司 一种网络安全防御中的威胁追捕方法、装置及设备
CN109067763B (zh) 2018-08-29 2020-05-29 阿里巴巴集团控股有限公司 安全检测方法、设备及装置
CN109614417B (zh) * 2018-10-30 2020-09-22 北京奇艺世纪科技有限公司 基于数据流的报表指标的显示方法、装置及终端
CN111124844B (zh) * 2018-10-30 2023-07-21 安碁资讯股份有限公司 检测作业系统的异常操作的异常检测的方法及装置
CN109474618B (zh) * 2018-12-17 2021-08-17 广州天懋信息系统股份有限公司 异常视频设备操作信令的识别方法、系统、介质和终端
CN109768887A (zh) * 2019-01-11 2019-05-17 四川大学 一种自动挖掘工控流量周期性特征的方法
CN110099004A (zh) * 2019-03-29 2019-08-06 贵阳忆联网络有限公司 一种网络安全路由方法及系统
CN110708303A (zh) * 2019-09-25 2020-01-17 南京源堡科技研究院有限公司 一种网络安全风险评估方法
CN110691081A (zh) * 2019-09-25 2020-01-14 南京源堡科技研究院有限公司 一种基于大数据平台的网络信息采集方法
CN112819491B (zh) * 2019-11-15 2024-02-09 百度在线网络技术(北京)有限公司 一种转化数据处理的方法、装置、电子设备及存储介质
CN112994965B (zh) * 2019-12-13 2022-09-02 北京金山云网络技术有限公司 一种网络异常检测方法、装置和服务器
CN111552605B (zh) * 2020-04-10 2024-03-22 中国建设银行股份有限公司 基于网络端数据流信息的故障定位方法、系统和装置
CN111817909B (zh) * 2020-06-12 2022-01-21 中国船舶重工集团公司第七二四研究所 一种基于行为集合模板监测的设备健康管理方法
CN111669411B (zh) * 2020-07-28 2021-11-19 国网电子商务有限公司 一种工控设备异常检测方法及系统
CN112039856A (zh) * 2020-08-14 2020-12-04 北京兰云科技有限公司 资产异常行为的检测方法和装置及计算机可读存储介质
CN112468500A (zh) * 2020-11-28 2021-03-09 武汉零感网御网络科技有限公司 一种基于多维度数据动态变化场景的风险处理方法及系统
CN112583825B (zh) * 2020-12-07 2022-09-27 四川虹微技术有限公司 一种工业系统的异常检测方法和装置
CN112737865B (zh) * 2021-01-18 2022-05-03 清华大学 基于自动机的物联网设备流量建模、检测方法和装置
CN112907321B (zh) * 2021-02-03 2021-08-27 珠海市鸿瑞信息技术股份有限公司 一种基于大数据的数据挖掘与分析的信息安全异常感知平台
CN113794719B (zh) * 2021-09-14 2023-07-25 中国工商银行股份有限公司 一种基于Elasticsearch技术网络异常流量分析方法、装置和电子设备
CN114244732A (zh) * 2021-12-02 2022-03-25 中盈优创资讯科技有限公司 一种NetFlow端口流量准确率核查方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101651568B (zh) * 2009-07-01 2011-12-07 青岛农业大学 一种网络流量预测和异常检测方法
US9026644B2 (en) * 2011-03-10 2015-05-05 Verizon Patent And Licensing Inc. Anomaly detection and identification using traffic steering and real-time analytics
CN102420723A (zh) * 2011-12-14 2012-04-18 南京邮电大学 一种面向多类入侵的异常检测方法

Also Published As

Publication number Publication date
CN103532940A (zh) 2014-01-22

Similar Documents

Publication Publication Date Title
CN103532940B (zh) 网络安全检测方法及装置
CN103532776B (zh) 业务流量检测方法及系统
CN105429977B (zh) 基于信息熵度量的深度包检测设备异常流量监控方法
CN108282497A (zh) 针对SDN控制平面的DDoS攻击检测方法
CN106656627A (zh) 一种基于业务的性能监控和故障定位的方法
Zhe et al. DoS attack detection model of smart grid based on machine learning method
CN115883236A (zh) 电网智能终端协同攻击监测系统
CN109299160B (zh) 一种基于监控大数据挖掘的电力cps安全性分析方法
CN104778821A (zh) 一种交通设备自动报警系统及方法
Dong et al. Research on abnormal detection of ModbusTCP/IP protocol based on one-class SVM
Niandong et al. Detection of probe flow anomalies using information entropy and random forest method
CN110929896A (zh) 一种系统设备的安全分析方法及装置
Canini et al. Per flow packet sampling for high-speed network monitoring
Ma et al. BOND: Exploring hidden bottleneck nodes in large-scale wireless sensor networks
CN111800292A (zh) 基于历史流量的预警方法、装置、计算机设备及存储介质
CN103529337B (zh) 设备故障与电气量信息间非线性相关关系的识别方法
CN114760155A (zh) 区块链智能控制的网络数据安全漏洞挖掘方法及系统
CN109150920A (zh) 一种基于软件定义网络的攻击检测溯源方法
CN107769993A (zh) 面向电网大数据分布式系统的数据流量监控方法
CN105553787B (zh) 基于Hadoop的边缘网出口网络流量异常检测方法
CN103957128A (zh) 云计算环境下监控数据流向的方法及系统
CN116910144A (zh) 算力网络资源中心、算力服务系统以及数据处理方法
CN103746867B (zh) 一种基于基函数的网络协议分析方法
CN106656647A (zh) 一种实时流量监控方法及装置
CN115022908A (zh) 一种核心网与基站传输网络异常预测及定位的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant