CN110598180A - 一种基于统计分析的事件检测方法、装置及系统 - Google Patents

一种基于统计分析的事件检测方法、装置及系统 Download PDF

Info

Publication number
CN110598180A
CN110598180A CN201910811637.1A CN201910811637A CN110598180A CN 110598180 A CN110598180 A CN 110598180A CN 201910811637 A CN201910811637 A CN 201910811637A CN 110598180 A CN110598180 A CN 110598180A
Authority
CN
China
Prior art keywords
event
key
security
alarm
event detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910811637.1A
Other languages
English (en)
Other versions
CN110598180B (zh
Inventor
李勃
高明慧
张志军
张华�
金正平
焦建林
韩盟
周献飞
段鹏
蒋正威
金学奇
孔飘红
裴培
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Zhejiang Electric Power Co Ltd
Beijing University of Posts and Telecommunications
State Grid Jiangsu Electric Power Co Ltd
Beijing Kedong Electric Power Control System Co Ltd
NARI Group Corp
State Grid Beijing Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Zhejiang Electric Power Co Ltd
Beijing University of Posts and Telecommunications
State Grid Jiangsu Electric Power Co Ltd
Beijing Kedong Electric Power Control System Co Ltd
NARI Group Corp
State Grid Beijing Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Zhejiang Electric Power Co Ltd, Beijing University of Posts and Telecommunications, State Grid Jiangsu Electric Power Co Ltd, Beijing Kedong Electric Power Control System Co Ltd, NARI Group Corp, State Grid Beijing Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201910811637.1A priority Critical patent/CN110598180B/zh
Publication of CN110598180A publication Critical patent/CN110598180A/zh
Application granted granted Critical
Publication of CN110598180B publication Critical patent/CN110598180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Electricity, gas or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S40/00—Systems for electrical power generation, transmission, distribution or end-user application management characterised by the use of communication or information technologies, or communication or information technology specific aspects supporting them
    • Y04S40/20—Information technology specific aspects, e.g. CAD, simulation, modelling, system security

Abstract

本发明公开了一种基于统计分析的事件检测方法、装置及系统，包括获取安全事件序列，所述安全事件序列中各安全事件均包括告警信息和对应的告警数量；基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列。本发明基于获取到的信息构建基于统计分析的智能电网重点事件的重点安全事件检测模型，重点分析访问量或请求量大幅增加的过程，及时发现用户操作与正常使用配置的显著差异，关注告警数量激增等安全事件，及时发现和排查威胁及恶意攻击。

Description

一种基于统计分析的事件检测方法、装置及系统
技术领域
本发明属于事件检测技术，具体涉及一种基于统计分析的事件检测方法、装置及系统。
背景技术
正常情况下，同一种告警的数量会在某一范围内波动。一旦告警数量突然超出正常范围，即告警数量激增或超过阈值，就意味着发生了异常，成为需要检测的重点对象，称之为重点安全事件。智能电网中安全事件数量庞大，且可能存在误报，因此往往需要从中检测出一些重点对象，并对其进行分析，从而揭示智能电网遭受的威胁和攻击。智能电网监控系统每天产生海量的安全日志，这些日志反应了智能电网的安全状态，但是由于安全日志的报警阈值低，导致很多威胁程度极低的安全事件被报出，进而导致告警日志的数量异常庞大且误报的可能性极大。理应受到重点关注的安全事件却难以被发现，这给智能电网带来了极大的安全隐患。
异常检测技术是安全事件分析的有效手段，它能够从大量安全事件中挖掘出具有实质威胁的事件。目前主要的异常检测方法有基于聚类的异常检测、基于距离的异常检测和基于统计的异常检测。基于聚类的异常检测通常会使用聚类算法，但聚类分区的数量、初始的质心难以确定。同时聚类算法会将数据分成若干簇，为了获得准确的结果，仍需人工分析。基于距离的异常检测的时间复杂性较高且需要专业的知识来设置合理的参数，但智能电网的专业知识不易获得，限制了此方法的使用。基于统计的异常检测必须事先知道数据的数学分布特征，再利用数学模型进行检测，否则不能确保找到所有的异常点，聚合后的电网告警日志的分布特征尚不明确，有待进一步研究。
发明内容
为防止网络攻击，精确定位重点事件，本发明提出一种基于统计分析的事件检测方法、装置及系统，基于获取到的信息构建基于统计分析的智能电网重点事件检测模型，重点分析访问量或请求量大幅增加的过程，及时发现用户操作与正常使用配置的显著差异，关注告警数量激增等安全事件，及时发现和排查威胁及恶意攻击。
为了实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：
第一方面，本发明提供了一种基于统计分析的事件检测方法，包括：
获取安全事件序列，所述安全事件序列中各安全事件均包括告警信息和对应的告警数量；
基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列。
优选地，所述获取安全事件序列，具体为：
提取数据库中的日志信息；
对每一条有效日志信息提取构成安全事件的告警信息和对应的告警数量，进而形成安全事件序列。
优选地，所述告警信息包括告警类型和设定的时间区间T的起始时间；所述对应的告警数量指的是从时间T的起始时间到结束时间该安全事件告警发生的次数。
优选地，所述基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列，具体为：
对于两个相邻时间T的安全事件[E,ti,ni]和[E,ti+1,ni+1]，ni*ni+1≠0，其中，E为告警类型；ti和ti+1分别为第i和第i+1个设定的时间区间T的起始时间，ni和ni+1分别为从时间区间T的起始时间ti和ti+1到结束时间安全事件告警发生的次数；
当安全事件[E,ti,ni]与安全事件[E,ti+1,ni+1]中ni+1超过或者等于ni的α倍，α为倍增参数，则安全事件[E,ti+1,ni+1]为倍增点，是重点安全事件；
当安全事件[E,ti,ni]与安全事件[E,ti+1,ni+1]中ni+1超过或者等于ni的1/α倍，则安全事件[E,ti,ni]为倍减点，是重点安全事件。
优选地，所述基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列，还包括：
当安全事件[E,ti,ni]的左右两个相邻时间T的安全事件[E,ti-1,ni-1]和[E,ti+1,ni+1]中，ni-1*ni+1＝0且ni≠0，则安全事件[E,ti,ni]是重点安全事件。
优选地，所述基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列，还包括：
在某一个安全事件[E,ti,ni]被判定为倍增点，确定为重点事件之后，接下来安全事件的告警次数的波动率均小于设定阈值，处于平缓波动状态，持续几个T之后出现倍减点[E,tj,nj]，则将倍增点[E,ti,ni]和倍减点[E,tj,nj]之间的安全事件叫做“平顶数据”；
对于平顶数据[E,tk,nk]，i＜k＜j，若nk超过或者等于倍增点和倍减点两者次数中的较大值max(ni,nj)的γ倍，γ为平顶参数，则安全事件[E,tk,nk]是重点安全事件。
优选地，所述基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列，还包括：
首先根据每个安全事件的告警次数由高到低排序，形成有顺序的安全事件序列；
再令第前θ位置上的数据作为阈值，θ为阈值参数，与安全事件序列中的每个安全事件的告警次数进行比较，若告警次数超过或者等于阈值，则认为该安全事件是重点安全事件，需要对其进行监控。
优选地，所述方法还包括以下步骤：
基于设定的指标对所述重点安全事件检测模型进行评价。
优选地，所述基于设定的指标对所述重点安全事件检测模型进行评价，具体为：
获取给定的数据集，其中，正类代表应该被检测到的样本，负类代表不应该被检测到的样本；
将所述给定的数据集输入至所述重点安全事件检测模型，获得输出结果，其中，输出结果中，正类被检测到记为TP，负类被检测到记为FP；正类未被检测到记为FN，负类未被检测到记为TN；
基于ACC＝(TP+TN)/(TP+FP+FN+TN)计算出重点安全事件检测模型的准确率；
基于P＝TP/(TP+FP)计算出重点安全事件检测模型的精确率；
基于R＝TP/(TP+FN)计算出重点安全事件检测模型的召回率；
基于F1＝2*P*R/(P+R)计算出重点安全事件检测模型的综合评价指标；
利用计算出来的准确率、精确率、召回率和综合评价指标对重点安全事件检测模型进行评价。
第二方面，本发明提供了一种基于统计分析的事件检测装置，包括：
获取模块，用于获取安全事件序列，所述安全事件序列中各安全事件均包括告警信息和对应的告警数量；
统计分析模块，用于基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列。
优选地，所述获取模块具体包括：
提取子模块，用于提取数据库中的日志信息；
处理子模块，用于对每一条有效日志信息提取构成安全事件的告警信息和对应的告警数量，进而形成安全事件序列。
优选地，所述告警信息包括告警类型和设定的时间区间T的起始时间；所述对应的告警数量指的是从时间T的起始时间到结束时间该安全事件告警发生的次数。
优选地，所述基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列，具体为：
对于两个相邻时间T的安全事件[E,ti,ni]和[E,ti+1,ni+1]，ni*ni+1≠0，其中，E为告警类型；ti和ti+1分别为第i和第i+1个设定的时间区间T的起始时间，ni和ni+1分别为从时间区间T的起始时间ti和ti+1到结束时间安全事件告警发生的次数；
当安全事件[E,ti,ni]与安全事件[E,ti+1,ni+1]中ni+1超过或者等于ni的α倍，α为倍增参数，则安全事件[E,ti+1,ni+1]为倍增点，是重点安全事件；
当安全事件[E,ti,ni]与安全事件[E,ti+1,ni+1]中ni+1超过或者等于ni的1/α倍，则安全事件[E,ti,ni]为倍减点，是重点安全事件。
优选地，所述基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列，还包括：
当安全事件[E,ti,ni]的左右两个相邻时间T的安全事件[E,ti-1,ni-1]和[E,ti+1,ni+1]中，ni-1*ni+1＝0且ni≠0，则安全事件[E,ti,ni]是重点安全事件。
优选地，所述基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列，还包括：
在某一个安全事件[E,ti,ni]被判定为倍增点，确定为重点事件之后，接下来安全事件的告警次数的波动率均小于设定阈值，处于平缓波动状态，持续几个T之后出现倍减点[E,tj,nj]，则将倍增点[E,ti,ni]和倍减点[E,tj,nj]之间的安全事件叫做“平顶数据”；
对于平顶数据[E,tk,nk]，i＜k＜j，若nk超过或者等于倍增点和倍减点两者次数中的较大值max(ni,nj)的γ倍，γ为平顶参数，则安全事件[E,tk,nk]是重点安全事件。
优选地，所述基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列，还包括：
首先根据每个安全事件的告警次数由高到低排序，形成有顺序的安全事件序列；
再令第前θ位置上的数据作为阈值，θ为阈值参数，与安全事件序列中的每个安全事件的告警次数进行比较，若告警次数超过或者等于阈值，则该安全事件是重点安全事件。
优选地，所述装置还包括：
评价模块，用于基于设定的指标对所述重点安全事件检测模型进行评价。
优选地，所述基于设定的指标对所述重点安全事件检测模型进行评价，具体为：
获取给定的数据集，其中，正类代表应该被检测到的样本，负类代表不应该被检测到的样本；
将所述给定的数据集输入至所述重点安全事件检测模型，获得输出结果，其中，输出结果中，正类被检测到记为TP，负类被检测到记为FP；正类未被检测到记为FN，负类未被检测到记为TN；
基于ACC＝(TP+TN)/(TP+FP+FN+TN)计算出重点安全事件检测模型的准确率；
基于P＝TP/(TP+FP)计算出重点安全事件检测模型的精确率；
基于R＝TP/(TP+FN)计算出重点安全事件检测模型的召回率；
基于F1＝2*P*R/(P+R)计算出重点安全事件检测模型的综合评价指标；
利用计算出来的准确率、精确率、召回率和综合评价指标对重点安全事件检测模型进行评价。
第三方面，本发明提供了一种基于统计分析的事件检测系统，包括
处理器，适于实现各指令；以及
存储设备，适于存储多条指令，所述指令适于由处理器加载并执行第一方面中任一项所述的步骤。
与现有技术相比，本发明的有益效果：
本发明基于获取到的信息构建基于统计分析的智能电网重点事件检测模型，重点分析访问量或请求量大幅增加的过程，及时发现用户操作与正常使用配置的显著差异，关注告警数量激增等安全事件，及时发现和排查威胁及恶意攻击。
进一步地，本发明中设计了检测重点安全事件检测模型的评价指标，并给出了准确率、精确率、召回率及综合评价指标各评价指标的计算公式与方法，为模型运用中涉及的模型相关参数(包括有倍增参数、平顶参数、阈值参数)的调优提供方法与依据，这里通常准确率越高，综合评价指标越高，重点安全事件检测模型越好。
附图说明
为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中：
图1为本发明一种实施例的一种基于统计分析的事件检测方法的流程示意图；
图2为本发明一种实施例的基于突变点的重点事件检测算法流程图；
图3为本发明一种实施例中基于阈值的重点事件检测算法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明的保护范围。
下面结合附图对本发明的应用原理作详细的描述。
实施例1
如图1所示，本发明实施例提供了一种基于统计分析的事件检测方法，包括以下步骤：
(1)获取安全事件序列，所述安全事件序列中各安全事件均包括告警信息和对应的告警数量；
(2)基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列，即重点安全事件检测。
在本发明实施例的一种具体实施方式中，所述获取安全事件序列，具体为：
(1.1)提取数据库中的日志信息；即基于VEDA日志、FID/RID日志、IDS/IPD日志、防火墙日志和其他设备日志生成专用数据库；
(1.2)对每一条有效日志信息提取构成安全事件的告警信息和对应的告警数量，进而形成安全事件序列，即对每一条有效日志信息进行字段提取信息统计，生成安全事件序列，实现日志预处理；优选地，所述告警信息包括告警类型和设定的时间区间T的起始时间；所述对应的告警数量指的是从时间T的起始时间到结束时间该安全事件告警发生的次数。
在具体实施时，安全设备产生的原始日志信息中包括设备名称、设备类型、告警描述、告警级别和告警时间信息，具体参见表1。
结合多个安全设备的日志信息，进行整理聚合能够获得一条信息十分全面的告警信息，如“<0><2018-06-19 03:23:36><某Device_name><非法登录：192.168.0.1多次使用用户itmg非法登录192.168.0.2><2018-06-19 03:23:36><1><非法登录i><192.168.1.2><192.168.1.3>依次为告警级别WARNINGLEVEL，告警时间WARNINGTIME，设备名称DEVICENAME，内容描述CONTENT，告警开始时间WARNINGSTARTTIME，次数TIMES，告警类型WARNINGTYPE，源地址SOURCEIP和目的地址DSTIP等主要信息。其中，通过WARNINGTYPE可以获取安全事件的告警类型，通过WARNINGSTARTTIME和WARNINGTIME可以确定安全事件发生和结束的时刻，通过TIMES可以计算设定时间区间T的安全事件发生的数量，因此在日志预处理阶段，可以获得以三元组[E,t,n]为单元时间跨度τ为的安全事件序列[E,t1,n1]，[E,t2,n2]，…，[E,tn,nn]。其中E代表某一种告警类型，如非法登录；t为设定的时间区间T的起始时间，n为从时间T的起始时间到结束时间该安全事件告警发生的次数。
如图2所示，在本发明实施例的一种具体实施方式中，所述基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列，具体为：
由于安全事件序列中有些告警在某些T内的告警次数会激增数倍或者出现平顶数据，此时系统中可能正在发生攻击行为或者错误操作。为了将此类异常数据提取出来，本发明针对以上两种数据特征，设计了基于突变点的重点事件检测算法，并在τ＝103天，T＝1天的数据上确定了相关参数取值；
(1)倍增检测(即激增数据检测)
对于两个相邻时间T的安全事件[E,ti,ni]和[E,ti+1,ni+1]，ni*ni+1≠0，其中，E为告警类型；ti和ti+1分别为第i和第i+1个设定的时间区间T的起始时间，ni和ni+1分别为从时间区间T的起始时间ti和ti+1到结束时间安全事件告警发生的次数
当安全事件[E,ti,ni]与安全事件[E,ti+1,ni+1]中ni+1超过或者等于ni的α倍，α为倍增参数，则安全事件[E,ti+1,ni+1]为倍增点，是重点安全事件，需要对其进行监控；
当安全事件[E,ti,ni]与安全事件[E,ti+1,ni+1]中ni+1超过或者等于ni的1/α倍，则安全事件[E,ti,ni]为倍减点，是重点安全事件，需要对其进行监控。
优选地，当安全事件[E,ti,ni]的左右两个相邻时间T的安全事件[E,ti-1,ni-1]和[E,ti+1,ni+1]中，ni-1*ni+1＝0且ni≠0，无论ni是否足够大，都安全事件[E,ti,ni]是重点安全事件，需要对其进行监控。
进一步地，所述基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列，还包括：
(2)平顶数据检测
在某一个安全事件[E,ti,ni]被判定为倍增点，确定为重点事件之后，接下来安全事件的告警次数的波动率均小于设定阈值，处于平缓波动状态，即未出现成倍滑落，持续几个T之后出现倍减点[E,tj,nj]成倍减少下落，就像一个梯形的“平顶”，，则将倍增点[E,ti,ni]和倍减点[E,tj,nj]之间的安全事件叫做“平顶数据”；
对于平顶数据[E,tk,nk]，i＜k＜j，若nk超过或者等于倍增点和倍减点两者次数中的较大值max(ni,nj)的γ倍，γ为平顶参数，则安全事件[E,tk,nk]是重点安全事件，需要对其进行监控。
所述倍增点检测和平顶数据检测均属于基于突变点检测。
优选地，所述基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列，还包括：
(3)基于阀值的重点安全事件检测(缓增数据检测)
以某告警的安全事件序列为输入，着重考虑告警数量并不突然增多，而是缓慢增加，直至超过某一阈值的安全事件，输出该告警类型的重点安全事件，即基于阈值的重点事件检测算法。
安全事件序列中有些告警数量虽然没有呈现爆发性增长，但可能在缓慢增长的情况下达到了很高的数值，为了解决这类问题，设计了基于阈值的重点事件检测算法，如图3所示，具体包括：
首先根据每个安全事件的告警次数由高到低排序，形成有顺序的安全事件序列；
再令第前θ位置上的数据作为阈值，θ为阈值参数，可取全部序列的5％，10％等，与安全事件序列中的每个安全事件的告警次数进行比较，若告警次数超过或者等于阈值，则认为该安全事件是重点安全事件，需要对其进行监控，具体参见图3。
本发明在入侵检测系统等监控系统安全设备生产的日志信息的基础上，对数据特点进行分析，并总结出了三类数据：激增数据、平顶数据和缓增数据，对安全事件序列进行检测，提取出需要重点监控的安全事件，提出了基于突变点和基于阈值的重点事件检测的重点安全事件检测模型，能够检测告警数量激增异常，告警数量超阈值异常和平顶数据异常，较为全面地涵盖了数量异常的多种形式，降低了漏掉异常点的可能。
实施例2
基于与实施例1相同的发明构思，本发明实施例中所述方法还包括以下步骤：
基于设定的指标对所述重点安全事件检测模型进行评价。
优选地，所述基于设定的指标对所述重点安全事件检测模型进行评价，具体为：
获取给定的数据集，其中，正类代表应该被检测到的样本，负类代表不应该被检测到的样本；
将所述给定的数据集输入至所述重点安全事件检测模型，获得输出结果，其中，输出结果中，正类被检测到记为TP，负类被检测到记为FP；正类未被检测到记为FN，负类未被检测到记为TN，具体参见表2；
表2
基于ACC＝(TP+TN)/(TP+FP+FN+TN)计算出重点安全事件检测模型的准确率；所述准确率指的是正确分类的样本数与总样本数之比；
基于P＝TP/(TP+FP)计算出重点安全事件检测模型的精确率；所述精确率指的是正确地被检测到的样本数与总的被检测到的样本数之比；
基于R＝TP/(TP+FN)计算出重点安全事件检测模型的召回率；所述召回率指的是正确地被检测到的样本数与应该被检测到的样本数之比；
基于F1＝2*P*R/(P+R)计算出重点安全事件检测模型的综合评价指标；
利用计算出来的准确率、精确率、召回率和综合评价指标对重点安全事件检测模型进行评价，准确率越高，综合评价指标越高，重点安全事件检测模型越好。
本发明中设计了检测重点安全事件检测模型的评价指标，并给出了准确率、精确率、召回率及综合评价指标各评价指标的计算公式与方法，为模型运用中涉及的模型相关参数(包括有倍增参数、平顶参数、阈值参数)的调优提供方法与依据，这里通常准确率越高，综合评价指标越高，重点安全事件检测模型越好。
实施例3
基于与实施例1相同的发明构思，本发明实施例中提供了一种基于统计分析的事件检测装置，包括：
获取模块，用于获取安全事件序列，所述安全事件序列中各安全事件均包括告警信息和对应的告警数量；
统计分析模块，用于基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列。
优选地，所述获取模块具体包括：
提取子模块，用于提取数据库中的日志信息；
处理子模块，用于对每一条有效日志信息提取构成安全事件的告警信息和对应的告警数量，进而形成安全事件序列。
优选地，所述告警信息包括告警类型和设定的时间区间T的起始时间；所述对应的告警数量指的是从时间T的起始时间到结束时间该安全事件告警发生的次数。
优选地，所述基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列，具体为：
对于两个相邻时间T的安全事件[E,ti,ni]和[E,ti+1,ni+1]，ni*ni+1≠0，其中，E为告警类型；ti和ti+1分别为第i和第i+1个设定的时间区间T的起始时间，ni和ni+1分别为第i和第i+1个从时间区间T的起始时间到结束时间安全事件告警发生的次数；
当安全事件[E,ti,ni]与安全事件[E,ti+1,ni+1]中ni+1超过或者等于ni的α倍，α为倍增参数，则安全事件[E,ti+1,ni+1]为倍增点，是重点安全事件，需要对其进行监控；
当安全事件[E,ti,ni]与安全事件[E,ti+1,ni+1]中ni+1超过或者等于ni的1/α倍，则安全事件[E,ti,ni]为倍减点，是重点安全事件，需要对其进行监控。
优选地，所述基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列，还包括：
当安全事件[E,ti,ni]的左右两个相邻时间T的安全事件[E,ti-1,ni-1]和[E,ti+1,ni+1]中，ni-1*ni+1＝0且ni≠0，无论ni是否足够大，安全事件[E,ti,ni]是重点安全事件，需要对其进行监控。
优选地，所述基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列，还包括：
在某一个安全事件[E,ti,ni]被判定为倍增点，确定为重点事件之后，接下来安全事件的告警次数的波动率均小于设定阈值，处于平缓波动状态，持续几个T之后出现倍减点[E,tj,nj]，则将倍增点[E,ti,ni]和倍减点[E,tj,nj]之间的安全事件叫做“平顶数据”；
对于平顶数据[E,tk,nk]，i＜k＜j，若nk超过或者等于倍增点和倍减点两者次数中的较大值max(ni,nj)的γ倍，γ为平顶参数，则安全事件[E,tk,nk]是重点安全事件，需要对其进行监控。
优选地，所述基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列，还包括：
首先根据每个安全事件的告警次数由高到低排序，形成有顺序的安全事件序列；
再令第前θ位置上的数据作为阈值，θ为阈值参数，与安全事件序列中的每个安全事件的告警次数进行比较，若告警次数超过或者等于阈值，则认为该安全事件是重点安全事件，需要对其进行监控。
实施例4
基于与实施例3相同的发明构思，本发明实施例中所述装置还包括：
评价模块，用于基于设定的指标对所述重点安全事件检测模型进行评价。
优选地，所述基于设定的指标对所述重点安全事件检测模型进行评价，具体为：
获取给定的数据集，其中，正类代表应该被检测到的样本，负类代表不应该被检测到的样本；
将所述给定的数据集输入至所述重点安全事件检测模型，获得输出结果，其中，输出结果中，正类被检测到记为TP，负类被检测到记为FP；正类未被检测到记为FN，负类未被检测到记为TN；
基于ACC＝(TP+TN)/(TP+FP+FN+TN)计算出重点安全事件检测模型的准确率；
基于P＝TP/(TP+FP)计算出重点安全事件检测模型的精确率；
基于R＝TP/(TP+FN)计算出重点安全事件检测模型的召回率；
基于F1＝2*P*R/(P+R)计算出重点安全事件检测模型的综合评价指标；
利用计算出来的准确率、精确率、召回率和综合评价指标对重点安全事件检测模型进行评价。
实施例5
本发明实施例提供了一种基于统计分析的事件检测系统，包括
处理器，适于实现各指令；以及
存储设备，适于存储多条指令，所述指令适于由处理器加载并执行实施例1或2任一项所述的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (19)

1.一种基于统计分析的事件检测方法，其特征在于，包括：
获取安全事件序列，所述安全事件序列中各安全事件均包括告警信息和对应的告警数量；
基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列。
2.根据权利要求1所述的一种基于统计分析的事件检测方法，其特征在于：所述获取安全事件序列，具体为：
提取数据库中的日志信息；
对每一条有效日志信息提取构成安全事件的告警信息和对应的告警数量，形成安全事件序列。
3.根据权利要求1或2所述的一种基于统计分析的事件检测方法，其特征在于：所述告警信息包括告警类型和设定的时间区间T的起始时间；所述对应的告警数量指的是从时间T的起始时间到结束时间该安全事件告警发生的次数。
4.根据权利要求1所述的一种基于统计分析的事件检测方法，其特征在于，所述基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列，具体为：
对于两个相邻时间T的安全事件[E,ti,ni]和[E,ti+1,ni+1]，ni*ni+1≠0，其中，E为告警类型；ti和ti+1分别为第i和第i+1个设定的时间区间T的起始时间；ni和ni+1分别为从时间区间T的起始时间ti和ti+1到结束时间安全事件告警发生的次数；
当安全事件[E,ti,ni]与安全事件[E,ti+1,ni+1]中ni+1超过或者等于ni的α倍，α为倍增参数，则安全事件[E,ti+1,ni+1]为倍增点，是重点安全事件；
当安全事件[E,ti,ni]与安全事件[E,ti+1,ni+1]中ni+1超过或者等于ni的1/α倍，则安全事件[E,ti,ni]为倍减点，是重点安全事件。
5.根据权利要求4所述的一种基于统计分析的事件检测方法，其特征在于，所述基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列，还包括：
当安全事件[E,ti,ni]的左右两个相邻时间T的安全事件[E,ti-1,ni-1]和[E,ti+1,ni+1]中，ni-1*ni+1＝0且ni≠0，则安全事件[E,ti,ni]是重点安全事件。
6.根据权利要求4所述的一种基于统计分析的事件检测方法，其特征在于，所述基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列，还包括：
在某一个安全事件[E,ti,ni]被判定为倍增点，确定为重点事件之后，接下来安全事件的告警次数的波动率均小于设定阈值，处于平缓波动状态，持续几个T之后出现倍减点[E,tj,nj]，则将倍增点[E,ti,ni]和倍减点[E,tj,nj]之间的安全事件叫做“平顶数据”；对于平顶数据[E,tk,nk]，i＜k＜j，若nk超过或者等于倍增点和倍减点两者次数中的较大值max(ni,nj)的γ倍，γ为平顶参数，则安全事件[E,tk,nk]是重点安全事件。
7.根据权利要求6所述的一种基于统计分析的事件检测方法，其特征在于，所述基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列，还包括：
首先根据每个安全事件的告警次数由高到低排序，形成有顺序的安全事件序列；
再令第前θ位置上的数据作为阈值，θ为阈值参数，与安全事件序列中的每个安全事件的告警次数进行比较，若告警次数超过或者等于阈值，则该安全事件是重点安全事件。
8.根据权利要求1所述的一种基于统计分析的事件检测方法，其特征在于，所述方法还包括以下步骤：
基于设定的指标对所述重点安全事件检测模型进行评价。
9.根据权利要求1所述的一种基于统计分析的事件检测方法，其特征在于：所述基于设定的指标对所述重点安全事件检测模型进行评价，具体为：
获取给定的数据集，其中，正类代表应该被检测到的样本，负类代表不应该被检测到的样本；
将所述给定的数据集输入至所述重点安全事件检测模型，获得输出结果，其中，输出结果中，正类被检测到记为TP，负类被检测到记为FP；正类未被检测到记为FN，负类未被检测到记为TN；
基于ACC＝(TP+TN)/(TP+FP+FN+TN)计算出重点安全事件检测模型的准确率；
基于P＝TP/(TP+FP)计算出重点安全事件检测模型的精确率；
基于R＝TP/(TP+FN)计算出重点安全事件检测模型的召回率；
基于F1＝2*P*R/(P+R)计算出重点安全事件检测模型的综合评价指标；
利用计算出来的准确率、精确率、召回率和综合评价指标对重点安全事件检测模型进行评价。
10.一种基于统计分析的事件检测装置，其特征在于，包括：
获取模块，用于获取安全事件序列，所述安全事件序列中各安全事件均包括告警信息和对应的告警数量；
统计分析模块，基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列。
11.根据权利要求10所述的一种基于统计分析的事件检测装置，其特征在于，所述获取模块具体包括：
提取子模块，用于提取数据库中的日志信息；
处理子模块，用于对每一条有效日志信息提取构成安全事件的告警信息和对应的告警数量，进而形成安全事件序列。
12.根据权利要求10所述的一种基于统计分析的事件检测装置，其特征在于：所述告警信息包括告警类型和设定的时间区间T的起始时间；所述对应的告警数量指的是从时间T的起始时间到结束时间该安全事件告警发生的次数。
13.根据权利要求10所述的一种基于统计分析的事件检测装置，其特征在于：所述基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列，具体为：
对于两个相邻时间T的安全事件[E,ti,ni]和[E,ti+1,ni+1]，ni*ni+1≠0，其中，E为告警类型；ti和ti+1分别为第i和第i+1个设定的时间区间T的起始时间，ni和ni+1分别为从时间区间T的起始时间ti和ti+1到结束时间安全事件告警发生的次数；
当安全事件[E,ti,ni]与安全事件[E,ti+1,ni+1]中ni+1超过或者等于ni的α倍，α为倍增参数，则安全事件[E,ti+1,ni+1]为倍增点，是重点安全事件；
当安全事件[E,ti,ni]与安全事件[E,ti+1,ni+1]中ni+1超过或者等于ni的1/α倍，则安全事件[E,ti,ni]为倍减点，是重点安全事件。
14.根据权利要求13所述的一种基于统计分析的事件检测装置，其特征在于：所述基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列，还包括：
当安全事件[E,ti,ni]的左右两个相邻时间T的安全事件[E,ti-1,ni-1]和[E,ti+1,ni+1]中，ni-1*ni+1＝0且ni≠0，则安全事件[E,ti,ni]是重点安全事件，。
15.根据权利要求13所述的一种基于统计分析的事件检测装置，其特征在于：所述基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列，还包括：
在某一个安全事件[E,ti,ni]被判定为倍增点，确定为重点事件之后，接下来安全事件的告警次数的波动率均小于设定阈值，处于平缓波动状态，持续几个T之后出现倍减点[E,tj,nj]，则将倍增点[E,ti,ni]和倍减点[E,tj,nj]之间的安全事件叫做“平顶数据”；对于平顶数据[E,tk,nk]，i＜k＜j，若nk超过或者等于倍增点和倍减点两者次数中的较大值max(ni,nj)的γ倍，γ为平顶参数，则安全事件[E,tk,nk]是重点安全事件。
16.根据权利要求15所述的一种基于统计分析的事件检测装置，其特征在于：所述基于重点安全事件检测模型，告警信息和对应的告警数量，筛选得到重点安全事件序列，还包括：
首先根据每个安全事件的告警次数由高到低排序，形成有顺序的安全事件序列；
再令第前θ位置上的数据作为阈值，θ为阈值参数，与安全事件序列中的每个安全事件的告警次数进行比较，若告警次数超过或者等于阈值，则认为该安全事件是重点安全事件，需要对其进行监控。
17.根据权利要求10所述的一种基于统计分析的事件检测装置，其特征在于，所述装置还包括：
评价模块，用于基于设定的指标对所述重点安全事件检测模型进行评价。
18.根据权利要求17所述的一种基于统计分析的事件检测装置，其特征在于，所述基于设定的指标对所述重点安全事件检测模型进行评价，具体为：
获取给定的数据集，其中，正类代表应该被检测到的样本，负类代表不应该被检测到的样本；
将所述给定的数据集输入至所述重点安全事件检测模型，获得输出结果，其中，输出结果中，正类被检测到记为TP，负类被检测到记为FP；正类未被检测到记为FN，负类未被检测到记为TN；
基于ACC＝(TP+TN)/(TP+FP+FN+TN)计算出重点安全事件检测模型的准确率；
基于P＝TP/(TP+FP)计算出重点安全事件检测模型的精确率；
基于R＝TP/(TP+FN)计算出重点安全事件检测模型的召回率；
基于F1＝2*P*R/(P+R)计算出重点安全事件检测模型的综合评价指标；
利用计算出来的准确率、精确率、召回率和综合评价指标对重点安全事件检测模型进行评价。
19.一种基于统计分析的事件检测系统，其特征在于，包括
处理器，适于实现各指令；以及
存储设备，适于存储多条指令，所述指令适于由处理器加载并执行权利要求1～9任一项所述的步骤。
CN201910811637.1A 2019-08-30 2019-08-30 一种基于统计分析的事件检测方法、装置及系统 Active CN110598180B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910811637.1A CN110598180B (zh) 2019-08-30 2019-08-30 一种基于统计分析的事件检测方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910811637.1A CN110598180B (zh) 2019-08-30 2019-08-30 一种基于统计分析的事件检测方法、装置及系统

Publications (2)

Publication Number Publication Date
CN110598180A true CN110598180A (zh) 2019-12-20
CN110598180B CN110598180B (zh) 2022-09-09

Family

ID=68856713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910811637.1A Active CN110598180B (zh) 2019-08-30 2019-08-30 一种基于统计分析的事件检测方法、装置及系统

Country Status (1)

Country Link
CN (1) CN110598180B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112153002A (zh) * 2020-08-24 2020-12-29 杭州安恒信息技术股份有限公司 告警信息分析方法、装置、计算机设备和存储介质
CN112527888A (zh) * 2020-12-24 2021-03-19 恒安嘉新（北京）科技股份公司 一种数据分析方法、装置、电子设备及存储介质
CN113259176A (zh) * 2021-06-11 2021-08-13 长扬科技（北京）有限公司 一种告警事件分析方法和装置
CN113407520A (zh) * 2021-05-12 2021-09-17 国网浙江省电力有限公司杭州供电公司 一种基于机器学习的电力网络安全数据清洗系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170093902A1 (en) * 2015-09-30 2017-03-30 Symantec Corporation Detection of security incidents with low confidence security events
CN106713049A (zh) * 2017-02-04 2017-05-24 杭州迪普科技股份有限公司 一种监控的告警方法及装置
CN106817237A (zh) * 2015-12-01 2017-06-09 普天信息技术有限公司 一种重复告警抑制方法和装置
CN107092654A (zh) * 2017-03-20 2017-08-25 山东科技大学 基于均值变化检测的报警正常与异常数据检测方法和装置
CN107942872A (zh) * 2017-12-11 2018-04-20 国家电网公司 一种电力调度运行管理系统
CN108847968A (zh) * 2018-06-04 2018-11-20 国网浙江省电力有限公司 监控事故、异常事件辨识及多维分析方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170093902A1 (en) * 2015-09-30 2017-03-30 Symantec Corporation Detection of security incidents with low confidence security events
CN106817237A (zh) * 2015-12-01 2017-06-09 普天信息技术有限公司 一种重复告警抑制方法和装置
CN106713049A (zh) * 2017-02-04 2017-05-24 杭州迪普科技股份有限公司 一种监控的告警方法及装置
CN107092654A (zh) * 2017-03-20 2017-08-25 山东科技大学 基于均值变化检测的报警正常与异常数据检测方法和装置
CN107942872A (zh) * 2017-12-11 2018-04-20 国家电网公司 一种电力调度运行管理系统
CN108847968A (zh) * 2018-06-04 2018-11-20 国网浙江省电力有限公司 监控事故、异常事件辨识及多维分析方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112153002A (zh) * 2020-08-24 2020-12-29 杭州安恒信息技术股份有限公司 告警信息分析方法、装置、计算机设备和存储介质
CN112153002B (zh) * 2020-08-24 2023-04-18 杭州安恒信息技术股份有限公司 告警信息分析方法、装置、计算机设备和存储介质
CN112527888A (zh) * 2020-12-24 2021-03-19 恒安嘉新（北京）科技股份公司 一种数据分析方法、装置、电子设备及存储介质
CN112527888B (zh) * 2020-12-24 2024-04-05 恒安嘉新（北京）科技股份公司 一种数据分析方法、装置、电子设备及存储介质
CN113407520A (zh) * 2021-05-12 2021-09-17 国网浙江省电力有限公司杭州供电公司 一种基于机器学习的电力网络安全数据清洗系统及方法
CN113259176A (zh) * 2021-06-11 2021-08-13 长扬科技（北京）有限公司 一种告警事件分析方法和装置
CN113259176B (zh) * 2021-06-11 2021-10-08 长扬科技（北京）有限公司 一种告警事件分析方法和装置

Also Published As

Publication number Publication date
CN110598180B (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN110598180B (zh) 一种基于统计分析的事件检测方法、装置及系统
CN110380896B (zh) 基于攻击图的网络安全态势感知系统和方法
EP2860937B1 (en) Log analysis device, method, and program
CN112114995B (zh) 基于进程的终端异常分析方法、装置、设备及存储介质
CN112819336B (zh) 一种基于电力监控系统网络威胁的量化方法及系统
CN110535702B (zh) 一种告警信息处理方法及装置
Sultana et al. Intelligent network intrusion detection system using data mining techniques
WO2017152877A1 (zh) 网络威胁事件评估方法及装置
CN111294233A (zh) 网络告警统计分析方法、系统及计算机可读存储介质
CN110545280A (zh) 一种基于威胁检测准确度的量化评估方法
CN112671767B (zh) 一种基于告警数据分析的安全事件预警方法及装置
Chiu et al. Frequent pattern based user behavior anomaly detection for cloud system
CN113422763A (zh) 基于攻击场景构建的报警关联分析方法
RU180789U1 (ru) Устройство аудита информационной безопасности в автоматизированных системах
CN114070593A (zh) 一种基于多级告警和联动防御的虚拟网络安全管控方法
CN111709021B (zh) 一种基于海量告警的攻击事件识别方法及电子装置
KR20070077517A (ko) 프로파일 기반 웹 애플리케이션 침입탐지시스템 및 그 방법
CN113542200B (zh) 风险控制方法、装置和存储介质
CN113691498B (zh) 一种电力物联终端安全状态评估方法、装置及存储介质
CN115801307A (zh) 一种利用服务器日志进行端口扫描检测的方法和系统
CN111224933B (zh) 一种模拟盗用敏感数据感知潜伏性apt攻击的方法
CN112511372B (zh) 一种异常检测方法、装置及设备
KR102562665B1 (ko) 공격자 그룹 유사도 기법을 활용한 사회이슈 기반 사이버 표적공격 탐지 시스템 및 그 방법
CN113055396B (zh) 一种跨终端溯源分析的方法、装置、系统和存储介质
CN116016215A (zh) 一种网络安全态势感知方法、装置、存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant