CN103297298A - 用于智能变电站的网络风暴实时快速检测方法 - Google Patents
用于智能变电站的网络风暴实时快速检测方法 Download PDFInfo
- Publication number
- CN103297298A CN103297298A CN2013102647810A CN201310264781A CN103297298A CN 103297298 A CN103297298 A CN 103297298A CN 2013102647810 A CN2013102647810 A CN 2013102647810A CN 201310264781 A CN201310264781 A CN 201310264781A CN 103297298 A CN103297298 A CN 103297298A
- Authority
- CN
- China
- Prior art keywords
- message
- network
- statistics
- characteristic value
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明公开了一种用于智能变电站的网络风暴的实时快速的检测方法,包括以下步骤:在报文记录和分析装置中,利用已有的报文分析结果,从中选取两个能表征报文特征的信息做为检测项;将两个检测项分别进行哈希运算,并将运算结果合并成16bit特征值;统计检测时间窗内每个网络端口收到的具有相同特征值的报文流量;当超出预定告警阈值时,即认为是网络风暴;在检测窗结束时置统计复位标志,在记录统计数据的同时进行清零判断和操作。本发明直接使用报文分析已提取的报文信息,能够快速准确的检测出流量风暴,并基本不会影响装置的性能。
Description
技术领域
本发明涉及一种用于网络风暴的检测方法,尤其涉及一种用于智能变电站的网络风暴的实时快速检测方法。
背景技术
电力系统正朝着智能化方向发展,变电站站控层、间隔层以及过程层的通信网络报文已经成为变电站智能设备间信息交互和共享的主要方式。智能设备和通信网络的健康状况将直接影响整个智能变电站的通信,网络报文的发送端、接收端及通信网络异常或故障均可能导致电力系统重大事故,因此需要网络报文记录装置或数字型录波装置不仅能对报文进行记录和分析,同时也需要对网络报文进行有效的监视、对网络状态进行实时诊断,提前发现通信网络的薄弱环节和故障设备,为预防电力系统事故的发生提供判断依据。
当前的报文记录装置中通常会对报文类型或接收端口进行流量统计,在规定时间窗内进行流量越上限和突变进行检测和报警,缺少错误原因的检测和判断,特别是因同一报文大量转发造成的网络风暴。当发送端或某个交换转发结点出现故障,同一报文被复制并重复发送,作为报文记录装置,应当在完整真实的记录报文的同时检测到这种网络风暴,为技术人员排除故障提供依据。
报文记录与分析装置用于智能变电站的网络通讯系统、通讯过程及各类通讯报文的实时监听,实时分析及预警,全过程、全景数据及异常事件实时记录。其中,由于报文大量转发造成的网络风暴是一种常见的网络故障;通常情况下,由于需要对报文数据的内容进行解析,网络风暴的识别和检测需要较大的计算资源和内存资源。
在现有的网络流量监测技术中,以思科NetFlow为代表的数据包采样算法应用比较广泛,但大都以内容分析为基础,需要进行协议解析。而变电站中的报文记录装置不是专门的网络分析设备,所以需要一种快速、简便的方法在流量统计的同时对网络风暴进行检测。
发明内容
本发明为了解决上述问题,提供了一种用于智能变电站的网络风暴的实时快速检测方法,在网络流量统计基础上不进行网络数据包解析对网络风暴进行快速、准确的识别和告警。
为了实现上述目的,本发明采用如下技术方案:
一种用于智能变电站的网络风暴实时快速检测方法,包括如下步骤:
(1)报文记录与分析装置在收到网络报文数据后,会将报文中的内容提取后进行常规的协议分析,在提取的报文信息中选取两项能表征该报文特征的信息做为检测项;
(2)将上述检测项分别进行哈希计算,然后将计算结果组合成16bit特征值;
(3)使用网络端口号做为索引,建立统计数据表,统计检测时间窗内具有相同特征值的报文的流量数据;
(4)记录统计数据的同时,对该特征值对应的流量与设定的告警阈值比较,如果大于该阈值,则产生包括网络端口号、以及具有该特征值的网络报文的流量值的告警信息;
(5)当统计时间窗结束时,设置清零标记,在记录统计数据的同时做该标记的判定与清零操作,避免了大块内存的操作,减少对装置正常运行的中断。
本发明的有益效果:
1.本发明能快速检测相同报文,而不用解析和比较报文内容,从而能使报文记录和分析装置在记录大流量报文的同时实现网络风暴的检测。
2.本发明直接提取报文中的现有信息,避免了对报文协议的解析,不需关注报文内容,从而不需要额外实现其他协议的支持;另外,也避免了对整个报文进行哈希计算,避免消耗大量计算资源。
3.本发明使用特征值作为索引的哈希表数组,能够快速直接定位特征值对应的表项,避免了因特征值检索引入的计算资源。
4.本发明提出对报文信息的特征值再提取方法,大大的减小了统计数据表的容量,如果使用CRC32作为特征值,每个网口的统计数据表将使用4Gbytes内存;使用再提取技术后,每网口的数据表为256Kbytes,从而减小内存消耗和内存操作带来的计算开销。
5.使用再提取的特征值,会因哈希运算引入重复率,在结合了两个特征值后,重复率将减小,且在变电站运行场景中,该重复率不会引入误报。
附图说明
图1为本发明基于网络流量统计的网络风暴的检测方法的模块组成图;
图2为数据统计表结构;
图3为方案实施流程图。
具体实施方式
如图1所示,整体方案由信息提取与特征值计算模块、数据统计模块、以及异常检测模块组成。
如图2所示,表单使用特征值计算模块输出的16bit特征值作为索引,存储的表项内容为:流量统计与网口号,分别用于超上限异常检测和告警输入。
如图3所示,首先,系统创建数据统计表,并设置流量阈值;
步骤0301,在网络接收模块接收到网络报文后,信息提取与特征值计算模块启动,从网络报文中直接提取关键信息;
步骤0302,调用哈希函数1,根据关键信息1计算特征值1;调用哈希函数2,根据关键信息2计算特征值2;
步骤0303,将特征值1与特征值2组成完整的16bit特征值;
步骤0304,通过网口号和特征值作为索引,定位相应表项,统计具有相同特征值的报文的流量;
步骤0305,判断是否超过设置的阈值,超过则生成告警信息,包括流量和网口号;
步骤0306,判断时间窗标识,如果时间窗到期,清空相应表项。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (1)
1.一种用于智能变电站的网络风暴实时快速检测方法,其特征是,包括如下步骤:
(1)报文记录与分析装置在收到网络报文数据后,会将报文中的内容提取后进行常规的协议分析,在提取的报文信息中选取两项能表征该报文特征的信息做为检测项;
(2)将上述检测项分别进行哈希计算,然后将计算结果组合成16bit特征值;
(3)使用网络端口号做为索引,建立统计数据表,统计检测时间窗内具有相同特征值的报文的流量数据;
(4)记录统计数据的同时,对该特征值对应的流量与设定的告警阈值比较,如果大于该阈值,则产生包括网络端口号、以及具有该特征值的网络报文的流量值的告警信息;
(5)当统计时间窗结束时,设置清零标记,在记录统计数据的同时做该标记的判定与清零操作,避免了大块内存的操作,减少对装置正常运行的中断。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310264781.0A CN103297298B (zh) | 2013-06-27 | 2013-06-27 | 用于智能变电站的网络风暴实时快速检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310264781.0A CN103297298B (zh) | 2013-06-27 | 2013-06-27 | 用于智能变电站的网络风暴实时快速检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103297298A true CN103297298A (zh) | 2013-09-11 |
CN103297298B CN103297298B (zh) | 2015-10-28 |
Family
ID=49097643
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310264781.0A Active CN103297298B (zh) | 2013-06-27 | 2013-06-27 | 用于智能变电站的网络风暴实时快速检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103297298B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104065587A (zh) * | 2014-06-30 | 2014-09-24 | 中国西电电气股份有限公司 | 基于fpga的智能变电站网络风暴处理模块及解决方法 |
CN104201782A (zh) * | 2014-09-12 | 2014-12-10 | 国家电网公司 | 一种变电站故障处理系统 |
CN104734990A (zh) * | 2015-03-19 | 2015-06-24 | 华为技术有限公司 | 一种确定大流量报文类的方法及装置 |
CN109600258A (zh) * | 2018-12-10 | 2019-04-09 | 英赛克科技(北京)有限公司 | 工业协议报文记录装置及方法 |
CN113225258A (zh) * | 2020-02-06 | 2021-08-06 | 阿里巴巴集团控股有限公司 | 一种报文转发方法、装置、网络设备及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120257627A1 (en) * | 2011-04-08 | 2012-10-11 | Hung Nguyen | Systems and methods for packet de-duplication |
CN202759465U (zh) * | 2012-08-16 | 2013-02-27 | 深圳市天盈隆科技有限公司 | 一种可防止网络风暴的以太网监控设备 |
CN103036893A (zh) * | 2012-12-21 | 2013-04-10 | 国电南瑞科技股份有限公司 | 一种适用于智能变电站的一层网络数据处理方法 |
CN103095603A (zh) * | 2013-02-21 | 2013-05-08 | 南京磐能电力科技股份有限公司 | 一种以太网风暴抑制方法 |
-
2013
- 2013-06-27 CN CN201310264781.0A patent/CN103297298B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120257627A1 (en) * | 2011-04-08 | 2012-10-11 | Hung Nguyen | Systems and methods for packet de-duplication |
CN202759465U (zh) * | 2012-08-16 | 2013-02-27 | 深圳市天盈隆科技有限公司 | 一种可防止网络风暴的以太网监控设备 |
CN103036893A (zh) * | 2012-12-21 | 2013-04-10 | 国电南瑞科技股份有限公司 | 一种适用于智能变电站的一层网络数据处理方法 |
CN103095603A (zh) * | 2013-02-21 | 2013-05-08 | 南京磐能电力科技股份有限公司 | 一种以太网风暴抑制方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104065587A (zh) * | 2014-06-30 | 2014-09-24 | 中国西电电气股份有限公司 | 基于fpga的智能变电站网络风暴处理模块及解决方法 |
CN104065587B (zh) * | 2014-06-30 | 2017-02-15 | 中国西电电气股份有限公司 | 基于fpga的智能变电站网络风暴处理模块及解决方法 |
CN104201782A (zh) * | 2014-09-12 | 2014-12-10 | 国家电网公司 | 一种变电站故障处理系统 |
CN104734990A (zh) * | 2015-03-19 | 2015-06-24 | 华为技术有限公司 | 一种确定大流量报文类的方法及装置 |
CN109600258A (zh) * | 2018-12-10 | 2019-04-09 | 英赛克科技(北京)有限公司 | 工业协议报文记录装置及方法 |
CN109600258B (zh) * | 2018-12-10 | 2022-02-22 | 英赛克科技(北京)有限公司 | 工业协议报文记录装置及方法 |
CN113225258A (zh) * | 2020-02-06 | 2021-08-06 | 阿里巴巴集团控股有限公司 | 一种报文转发方法、装置、网络设备及系统 |
CN113225258B (zh) * | 2020-02-06 | 2023-04-07 | 阿里巴巴集团控股有限公司 | 一种报文转发方法、装置、网络设备及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN103297298B (zh) | 2015-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107819645B (zh) | 一种基于软件仿真的物联网测试方法 | |
US8688828B2 (en) | Session layer for monitoring utility application traffic | |
CN103297298B (zh) | 用于智能变电站的网络风暴实时快速检测方法 | |
WO2015024497A1 (zh) | 一种智能变电站网络采样和控制链路的自诊断方法 | |
CN105159964A (zh) | 一种日志监控方法及系统 | |
CN102355368B (zh) | 一种网络设备的故障处理方法及系统 | |
CN104301137A (zh) | 电力通信故障对业务影响的分析方法及系统 | |
CN101267363A (zh) | 环回测试方法、系统及装置 | |
CN104270779A (zh) | 一种无线网络故障原因预处理方法及无线网络故障工单派发系统 | |
CN104038383A (zh) | 基于交换机的过程层网络报文分析方法 | |
CN109639503B (zh) | 一种基于变电站过程层网络设备的异常报文追溯实现方法 | |
CN106973012A (zh) | 一种计算机网络环路检测方法 | |
CN109379757B (zh) | 一种基于窄带物联网业务的单用户故障诊断方法及装置 | |
CN104065160B (zh) | 一种电力系统中异常报文处理方法 | |
CN103684903A (zh) | 一种goose报文异常的在线检测方法 | |
CN103401312A (zh) | 智能变电站goose网络通信的冗余告警系统及控制方法 | |
CN110601919A (zh) | 一种环回检测方法及系统 | |
CN112383509B (zh) | 一种基于数据流的物联网设备安全监测系统及方法 | |
CN107820270B (zh) | 一种基于gsm-r网络的gprs接口监测系统 | |
CN106776263A (zh) | 一种机器人异常处理装置及方法 | |
CN103731316A (zh) | 一种流量监控装置及方法 | |
CN103197981B (zh) | 存储空间预警方法和系统 | |
CN103178997B (zh) | 一种基于lldp协议的mac地址相同的检测方法和设备 | |
CN113884943B (zh) | 漏电故障分析方法、装置、设备及介质 | |
CN113612647B (zh) | 一种告警处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder | ||
CP01 | Change in the name or title of a patent holder |
Address after: 250101 high tech Development Zone, Shandong, Zhejiang Province, Ji'nan Road, science and Technology Park Patentee after: Shandong Mountain Power Technology Limited by Share Ltd Address before: 250101 high tech Development Zone, Shandong, Zhejiang Province, Ji'nan Road, science and Technology Park Patentee before: Shandong Shandong University Electric Power Technology Co., Ltd. |