CN105656693A - 一种基于回归的信息安全异常检测的方法及系统 - Google Patents
一种基于回归的信息安全异常检测的方法及系统 Download PDFInfo
- Publication number
- CN105656693A CN105656693A CN201610145683.9A CN201610145683A CN105656693A CN 105656693 A CN105656693 A CN 105656693A CN 201610145683 A CN201610145683 A CN 201610145683A CN 105656693 A CN105656693 A CN 105656693A
- Authority
- CN
- China
- Prior art keywords
- anomaly detection
- regression
- alarm
- module
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 claims description 21
- 230000005856 abnormality Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- ZXQYGBMAQZUVMI-GCMPRSNUSA-N gamma-cyhalothrin Chemical compound CC1(C)[C@@H](\C=C(/Cl)C(F)(F)F)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 ZXQYGBMAQZUVMI-GCMPRSNUSA-N 0.000 description 35
- 238000001914 filtration Methods 0.000 description 25
- 238000009826 distribution Methods 0.000 description 20
- 238000004458 analytical method Methods 0.000 description 13
- 238000005311 autocorrelation function Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 12
- 230000006399 behavior Effects 0.000 description 7
- 239000006185 dispersion Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 6
- 230000006798 recombination Effects 0.000 description 5
- 238000005215 recombination Methods 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 241001123248 Arma Species 0.000 description 3
- 238000012417 linear regression Methods 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 230000001932 seasonal effect Effects 0.000 description 3
- 241000258937 Hemiptera Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 2
- 241000764238 Isis Species 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 description 1
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
- H04L41/064—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving time analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Alarm Systems (AREA)
Abstract
本发明公开了一种基于回归的信息安全异常检测的方法及系统，包括：实时告警模块、历史告警模块、离线异常检测建模模块、在线异常检测模块,以及知识库。采用本发明，能够检测到异构的、动态的和复杂的IT企业网络设备产生的海量安全告警中的安全攻击事件，能够溯源或回放事件，能够发现故障的根源或源头，能够帮助IT企业快速恢复业务，保证其正常运营。
Description
技术领域
本发明涉及信息安全应用技术领域，尤其涉及诸如SNMP、syslog等上报的海量告警的异常检测方法与系统。
背景技术
本发明中包含的英文简称如下：
SMA：SimpleMovingAverage简单移动平均线
ACF：AutoCorrelationFunction自动关联函数
MAD：MedianAbsoluteDeviation中位绝对偏差
LR：linearregression线性回归
OLS：ordinaryleastsquares最小二乘法
MA：movingaverage移动平均
WMA：weightedmovingaverage加权移动平均
EWMA：exponentialweightedmovingaverage指数加权移动平均
AR：autoregressive自回归
ARMA：autoregressivemovingaverage自回归移动平均
ARIMA：integratedARMA集成自回归移动平均
CUSUM：CumulativeSumTest累积和检验
SOC：SecurityOperationCenter安全管理中心
IDS：IntrusionDetectionSystems入侵检测系统
SNMP：SimpleNetworkManagementProtocol简单网络管理协议
HDFS：HadoopDistributeFileSystemHadoop分布式文件系统
MQ：MessageQueue消息队列
安全生产历来是保障各项工作有序开展的前提，也是考核各级领导干部的否决指标。网络及信息安全运维体系是各类企业安全生产工作的重要组成部分。保障网络高效稳定地运行，是企业一切市场经营活动和正常运作的基础。
随着各类企业信息系统的建设和完善，有效地提高了劳动生产率，降低了运营成本。一旦企业各业务系统出现安全事件、或发生故障、或形成性能瓶颈，不能及时发现、及时处理、及时恢复，势必直接导致承载在其上所有业务的运行，影响企业的正常运营秩序，企业业务不能正常开展。因此，对于政府和企业IT基础实施的安全保障就显得格外重要。
随着政府和企业信息化程度不断提高。各业务系统间联系越来越密切，数据交换越来越频繁，各系统有着复杂网络或逻辑连接，存在大量数据交换，甚至一个故障可以引发成为企业全网故障，一点或一种业务系统出现漏洞感染病毒或受到攻击，将迅速波及其它业务系统及网络，甚至导致企业全网瘫痪。
企业IT系统产生了大量的告警，随着存储设备成本的降低，没有理由丢弃这些数据，然而，目前，还没有相应的方法及其分析工具，能够从这些海量告警中，预防或发现安全攻击，溯源或找到故障的根源；还不能够帮助信息安全工程师尽快恢复IT业务。
为此，如何利用信息化手段提高企业安全管理运维效益，优化企业信息安全管理运维服务，使得它能够为各类企业提供专业的和高性能的信息安全运维管理服务，即成为尤其是信息安全管理运维设计上必须要解决的一个重要课题。
发明内容
本发明在分析了上述各类企业信息安全管理运维服务平台的缺陷和不足之后，提出了一种基于回归的信息安全异常检测的方法及系统。
本发明的核心思想是：构建一个用于安全异常检测的基于回归的方法及系统。所述方法及系统能够通过告警时间序列建立安全异常检测模型，所述模型是以离线方式建立的，并为在线安全异常检测系统提供方法指南。
进一步地，所述方法及系统，包括实时告警模块、历史告警模块、离线异常检测建模模块、在线异常检测模块,以及知识库。
所述实时告警模块，实时地接收来自各种安全设备通过SNMP、syslog等上报的告警，并分别发送给历史告警模块和基于回归的异常在线检测模型模块。
所述历史告警模块，可以作为告警时间序列的备份，也可以为离线安全攻击异常检测建模模块提供告警数据。
所述离线异常检测建模模块，对所述告警时间序列建模，并提供基于门限的异常检测方法、基于回归的异常检测方法和基于分布的异常检测方法的指南。所述基于回归的异常检测方法，通过实时计算中位数m、四分位距iqr、事件间隔k和周期T情况，来决定是否选择基于回归的信息安全异常检测方法，并且实时反馈给在线基于回归的异常检测模块。
所述在线异常检测模块，采用基于回归的方法，实时在线地检测实时告警模块所上报告警时间序列的异常，并且，将检测结果上报给相关显示模块或安全分析师作进一步地处理。
所述知识库，存储各种统计参数、异常检测方法及其应用场景等。
优选地，所述中位数m、四分位距iqr、事件间隔k和周期T情况，当满足，而且k1和T！=0时，则采用基于回归的安全异常检测方法。
本发明针对异构和动态的IT企业网络设备产生的海量安全告警，能够检测到安全攻击事件，能够溯源或回放事件，能够发现故障的根源或源头，能够帮助IT企业快速恢复业务，保证其正常运营。
附图说明
图1为本发明所述的离线异常检测建模模块内部流程示意图；
图2为本发明所述的一种基于回归的信息安全异常检测的实际检测告警百分比实施例；
图3为本发明所述的一种基于回归的信息安全异常检测的3种告警（有线木马、wifi木马和外部木马）的实施例（每小时告警时间序列）；
图4为本发明所述的一种基于回归的信息安全异常检测的告警统计分布盒图实施例；
图5为本发明所述的一种基于回归的信息安全异常检测的统计方差系数实施例；
图6为本发明所述的一种基于回归的信息安全异常检测的3种告警时序依赖实施例；
图7为本发明所述的一种基于回归的信息安全异常检测的描述性统计稳定性示意图；
图8为本发明所述的一种基于回归的信息安全异常检测的稳定指数值示意图；
图9为本发明所述的一种基于回归的信息安全异常检测的选择异常检测方法示意图；
图10为本发明所述的一种基于回归的信息安全异常检测的示意图。
具体实施方式
下面是根据附图和实例对本发明的进一步详细说明：
图1为本发明所述的离线异常检测建模模块内部流程示意图，包括：①预处理和分组；②基于时间的分割；③描述性统计；④描述性统计分析；⑤可能的重新组合。双圆圈表示离线安全异常检测的输入和输出。原始的输入是来自安全设备的告警（例如，防火墙、入侵检测设备和路由器等设备）。最终输出是选择安全异常检测的算法指南。灰色框是由安全分析师输入的参数，不同的参数能够适应不同的应用场景和安全分析的目的。应用场景决定了安全分析所需的告警数量（例如，1年的告警）、网络拓扑（例如，节点、子网）、节点数量（因为主机和网络设备数量越多，则告警数量越大）。
所述①预处理和分组，对于如何分组主要取决于网络的拓扑和安全分析师的目的，例如，只需要对某一个子网或某一类告警进行监控。如果告警是由不同的安全设备产生的，则需要做安全告警属性的标准化，以及初步的告警相关性分析。
所述②基于时间的分割，计算告警时间序列和基于时间分割（例如，将一天分成白天和晚上）。
所述③描述性统计，抽取每一个告警时间序列的分布和时序依赖的描述性统计。所述分布通过集中趋势（均值、中位数）和数据的离散度（方差，四分位数，方差系数）来表示。再者，也能评估告警分布统计的稳定性。如果告警时间序列形成趋势、具有周期性、季节性或可被预测，则它表现出时序依赖性。因此，时序依赖性可以表示为告警时间序列的可预测性和/或周期性。
所述④描述性统计分析，分析所提取的描述性统计来推断异常检测算法的适用性和有效性。
所述⑤可能的重新组合，对安全分析师建议告警时间序列可能的重新组合，以建立更加有效的安全异常检测算法。例如，如果告警数量依赖于工作时间，则可抽取不同时间分布的描述性统计（例如，白天、晚上）。此时可以决定时序依赖的异常检测的门限。
进一步地，所述①预处理和分组模块，该模块所接收到的告警，可以是任何类型的告警，例如，安全设备上报的原始告警、超级告警、或元告警。为不失一般性，本发明主要考虑原始告警。
所述预处理，即告警信息标准化，且消除重复告警等。告警分组通过设置初始组合参数而实现。不同分组方法取决于安全分析师的目标。例如：
⑴告警源：告警的源地址；
⑵告警类型：既可以是通常告警类型，也可以是超级告警类型。
所述⑴告警源，告警源既可以是内部告警，也可以是外部告警。内部告警主要展示在工作时间内的行为和用户行为，而外部告警主要是变化和噪声。内部告警更细粒度的组合可以基于网络拓扑和安全分析的目的。例如，安全分析师可以基于不同的网络和防火墙策略进行分组，诸如不同的子网、组织部门和有线或无线。
所述⑵告警类型，基于不同告警类型来揭示不同的行为，否则，考虑到一个组的所有警报将可能妨碍安全异常检测。例如，通常情况下，一种告警类型产生了大量的告警，则可能掩盖了其它类型的告警。
所述①预处理和分组的输出，就是N个告警分组，即、、…、。例如,考虑某企业IT网络5个月来所产生的告警，可以根据先前定义的准则来分类告警：
告警源：有线设备的告警、wifi的告警、外部的告警；
告警类型：木马，等。
之所以要分别监控有线告警和wifi告警，是因为大多数内部员工的PC客户端与所有服务器都采用有线通讯方式连接，而绝大多数使用笔记本电脑和智能手机的内部员工（包括客人），均采用无线通讯方式连接。另外，大多数网络，wifi设备受策略限制的缘故使得某些PC（或笔记本）只能访问Web和邮件应用程序。由于这些原因，安全告警分析系统期望能够从有线告警和无线主机所产生的告警中获得不同的历史行为。
告警类型的抽取与每一种类型的告警数量有关。在图2中，给出了所产生的不同类型告警的百分比（小于1%的告警，忽略不计）。从图2看到，产生了80%的告警是木马告警类型。这个结果是可信的，因为所述企业没有直接监控大多数主机设备。图1适用于独立于所有告警分组，并与告警数量无关。然而，对于包含海量告警分组的自动分析是非常有用的。因此，下一步主要考虑三个最活跃的告警分组：有线木马、无线木马、外部木马。
进一步地，所述②基于时间的分割，其输入是、、…、；并且，提取描述性统计的三个操作步骤：告警时间序列计算，有效/无效的告警序列标记，以及基于时间的分割。
对每一个告警分组，告警时间序列统计需要输入两个参数：
时间窗w，决定了需要分析的告警数量；
⑵时间粒度g，评估告警的最小时间单位（例如，每天、每小时、每分钟的告警时间序列）。
上述参数由安全分析师输入，依据场景和分析目标。例如，如果分析目标要发现哪一天异常或告警的态势感知，则时间粒度可能等于一天（为每天的告警数量），并且时间窗w为6个月或以上。另一方面，如果分析目标是评估白天和晚上是否具有不同的告警分布，则时间粒度可能等于一小时或更少，并且时间窗w为1个月或以上。在安全分析的场景中，粒度g过细（例如，秒）应该避免的。
那么，所述②基于时间的分割，评估在时间窗w中是否活跃的。这一步的目的主要是去掉不活跃的的时间序列，这是因为为了进一步的分析。作为检查告警时间序列是否活跃的准则，如果在该时间区间内产生了50%或以上的告警数量，则该类告警是活跃的，即median()>0。其它的诸如过滤非活跃告警序列的准则和门限，取决于安全分析目标和企业IT系统的情况而定。
在计算告警时间序列之后，如果它是活跃的，则在输入时间组合参数的基础上进一步地分割，其中，被定义为一些时间区间（例如，白天、晚上），告警时间序列被分割为M个子序列，j∈｛1,2，…，M｝。另一方面，如果安全分析师对于告警的时序行为没有特别的期待，则可以为所有告警分组定义一种细粒度时间.（例如，一般按照每小时分割）。这是出于一个事实，所述⑤可能的重新组合，能够自动建议可能的粗粒度时间重新组合，以分析在所述③描述性统计所提取的描述性统计。
所述②基于时间的分割的输出就是M个子序列，以及序列，即对于每一个告警分组，输出M+1个告警序列。
现在，再来考察前面的例子，主要关注3个最活跃的告警分组：有线木马、wifi木马、外部木马。考察的时间窗w为5个月，时间粒度g为1小时。这个时间粒度可以考察不同时间区间的时间行为。图5为有关每小时的有线木马、wifi木马、外部木马告警的时间序列。X轴表示时间（小时），而Y轴为上报的告警数量（0～800个告警/小时）。因为所以这三个告警序列的中位数大于零（median()>0，i=1,2,3），所以它们是活跃的。从图3可以看出，wifi木马最为活跃，有线木马次之，而外部木马告警序列最弱。
进一步地，所述③描述性统计，其输入为和M个子序列。本模块抽取了3组相关的描述性统计，涉及到随机分布、时序依赖和稳定性。
所述随机分布，其分布特征具有2个主要属性：集中趋势和离散。对于高度动态的应用场景，考察下面的统计，并可以通过盒图直观地表示。
⑴中位数m（即median(m)），表示数据的集中趋势；
⑵四分位数iqr，表示围绕集中趋势的离散度。
为了表示离群值对数据离散度的影响，考察方差系数，其中，和分别是告警序列所属分布的均值和方差。为较高之值时，则表示该告警序列是离散的，并且/或存在异常值；然而，为较小之值时，则表示为收敛的分布。
再者，对于最活跃的告警序列：有线木马、WIFI木马、外部木马，考虑时间组合=｛工作时间（白天），工作时间（晚上），节假日（白天），节假日（晚上）｝，图4给出了时间组合的盒图；其中，X轴表示时间分割（白天、晚上），而Y轴表示每时间单元的告警数量（例如，每小时上报的告警的数量）。每一个盒图给出了如下的统计属性：下四分位数(q1)、中位数(median)、上四分位数(q3)、四分位距（iqr=q3-q1）、下触须（=）和上触须=。所有在之上和之下的值，可以认为是异常值。
图5给出了不同的时间组合的方差系数系数的值。这个统计对于捕获到数据的变异性是有用的。
从图4看出，在工作日的白天，大部分的告警是wifi木马产生。另一方面，在节假日的白天，wifi木马告警减少，在节假日的夜间几乎是没有告警。从图7看出，在工作日的白天，wifi木马告警的变量系数是低的，而其它组合比这个高，这就说明该告警序列存在噪声，并且/或存在某些异常值。
在图4（a）和（d）的所有四个时间组合，有线木马告警呈现了类似的告警的集中趋势（m）和离散度（iqr），而在工作日的白天稍微有点高。然而，在工作日，无论是白天，还是晚上，存在较高的异常值。这些异常值几乎是高于集中趋势的一个数量级；并且，从图5可以看出，其方差系数也为较高的值。
另一方面，外部木马无论在白天还是晚上几乎是等分布的，工作日的白天稍微有点低，这可能与来自不同时区的攻击有关。外部木马告警的离散度是低的，并且，在所有时间组合中，方差系数接近1.5。这就提示外部木马告警序列独立于检测时间，可以合并成为一个时间组合（工作时间/节假日、白天/晚上均没有差别）。
所述时间依赖，与时序依赖相关的描述性统计，对于基于回归的异常检测来说，是有用的。如果一个告警序列存在趋势、周期性和季节性的话，则它展示为时间依赖性。趋势是一个一般的系统性的组件，对于充分长的时间范围，一个时间序列可能显示周期性或季节性的模式。
为了抽取时序依赖的描述性统计，采用滤波和自动关联的时间序列分析技术。滤波能够减少时间序列的噪声。这种噪音可能隐藏了用于模型异常检测是有用的趋势和时间模式。在这种情况下，采用简单的过滤技术；重要的是要考虑，因为采用更先进的滤波技术，可以改变数据的性质。基于这样的原因，本发明采用基于半径为r小时中心窗口的SMA滤波。为了清晰起见，假设作为一个告警时间序列，而是在t时刻的告警数量（例如，如果时间粒度g等于1天，则表示第t天的告警数量）。SMA滤波生成了新的序列SMA（t），其中，告警序列的每一个值被的2r个邻居的平均值所替代，即：
SMA（t）
其中，是在第t时刻的告警数量，2r+1是移动平均窗口的大小。本发明建议半径r取值为1的平滑滤波，或半径r取值为5渐进式滤波。
在滤波之后，计算如下自动关联函数（ACF）：
其中，是自动关联的时间间隔，是告警时间序列，E是数学期望运算符，和是的均值和方差。当自关联为较高的值和慢衰减时，它意味着将来值与历史值相关；反之也真，即当两个值之间的自动关联趋于零时。如果它的，则一个时间序列被认为是可预测的，且在第k个窗口具有足够的预测精度。因此，上述条件满足，基于回归的异常检测算法可以有效使用。
与随机分布的描述性统计不同，时序依赖性统计仅从整个告警时间序列中抽取，这是因为由于自动关联函数需要告警时间的连续性，用于鉴别可预测性、趋势和周期性。
特别是，关于时序依赖性，本发明提取了下面的描述性统计：
⑴作为可预测间隔的值；
时间序列的主周期（如果有的话）。
其中，可以有多个周期（例如，24小时、7天），也可以没有周期（在这种情况下，=0）。再者，注意到，不管是否对告警序列实施了滤波，都可以抽取每一个统计。也就是说，存在3种配置（无SMA滤波、弱SMA滤波、强SMA滤波）,相应地提取3对值（,）。
图6给出了有线木马、WIFI木马、外部木马的ACF之值。X轴表示时间间隔（小时），Y轴ACF之值。垂直虚线表示以24小时为单位滑动，而水平虚线表示以0.3为门限来确定告警序列是否可预测，并且给出了无滤波、=1和=5三种配置的结果。
图4（a）展示了一周24小时周期的有线木马告警，其通过SMA滤波稍微增强，但仍维持在0.3门限以下（因此，周期=0）。滤波稍微改善了间距的预测，特别是=5，但是，该告警序列仍保持弱关联。另一方面，WIFI木马告警展示了强24小时周期，这是很明显的，即使不使用滤波。这意味着，寻找同一个值每一个小时的最高概率是每24个小时。外部木马告警序列的ACF展示了一个趋势成分，其由滤波加强的，达到了预测高于=5的24小时得值。。
所述描述统计的稳定性，每一个告警时间序列，为了表明其分布的描述性统计的稳定性，考虑中位数(median)和四分位距。在发明中，定义w作为要分析告警时间序列的时间窗。要验证的是在时间窗口w中分布统计是如何演变的。为了这个目的，考虑两个参数：滑动窗S的大小（例如，1个月），时移（例如，1周）；其中，SW。通过赋予这些参数不同的值，信息安全分析师能够评估描述性统计在不同周期的稳定性。确定异常检测参数如何重新评估的频率的信息也是有用的。本发明计算中位数(median)和四分位距之值，从时间间隔=[0,s]开始，然后=[,s+]，然后=[2,s+2]等，直到覆盖整个时间窗w。这个过程就是描述性统计和。
图7给出了有关告警数据集的描述性统计。X轴表示时移，而Y轴表示和的值（告警数量/小时）。在这个例子中，w=5个月，s=1个月，=1周。例如，X=0，表示第1个月的和；X=1，表示第1周的和，等等。这使得能够评估描述性统计在周基础之上如何演变的。
从图7中可以看出，在初始周期里，有线木马白天的统计是不稳定的，而后是稳定的；另一方面，WIFI木马在晚上几乎没有告警，但在白天，告警陡增。外部木马在整个周期中一直是稳定的。
这里，给出了自动验证关于告警分布描述性统计是否稳定的准则。假设d是描述性统计（例如，iqr），并且，描述性统计d是在时移t的值（例如，在5的值）。为了评估d的稳定性，采用一种流行的离散度测量方法：中位绝对偏差MAD。特别地，对于每一个描述性统计d，通过如下公式计算稳定性指数：
其中，表示MAD，分母m(d)=median(),这是要求比较的不同尺度的描述性统计的一个标准化因子。较小的（几乎为零）表示描述性统计d是稳定的，反之也真。特别地，当时间序列的集中趋势和离散度满足如下关系时，则是稳定的：
0
其中，是稳定性门限，它可以由安全分析师根据IT网络环境情况而调整的。在本发明应用场景中，对于自动地识别描述性统计的稳定性和不稳定性，启发式地验证=0.2是一个充分的门限。在上述公式中，考虑稳定性指数的最大值，因为一个描述性统计较大的差别可以足够的考虑分布的不稳定。在图8中，白天的有线木马和无线木马告警均为不稳定的，而其它四个分布的稳定性指数是低于门限的。
基于回归的异常检测方法能够通过某种统计模型进行建模。每当预测残差的值过高时，则异常就被检测到。
对于每一个告警时间序列，抽取可预测的事件间隔和周期。ACF的第一个值总是等于1，即ACF(1)=1。因此，的最小值为1，即使是告警序列没有时序依赖性。通过对值的分析，可以理解回归模型在异常检测中的适用性。
（1）如果ACF缓慢衰减（1），那么告警时间序列呈现很强的趋势成分，并且，即使是采用简单的回归算法，对于信息安全异常检测也很有效。
（2）如果ACF较快地衰减（较小，且1），那么对时序依赖性，应该适当地考虑更复杂的回归算法建模。
（3）如果ACF快速衰减（1），那么告警时间序列的时序依赖性是很弱的；并且，只有当告警事件序列具有较强的周期性时，基于回归的异常检测算法才适用。
简单回归的算法包括线性回归LR、最小二乘法OLS、移动平均MA、加权移动平均WMA、自回归模型AR。复杂回归算法诸如自回归移动平均ARMA、集成自回归移动平均ARIMA、稳健回归和基于卡尔曼滤波，或样条插值。
假设考虑1和=0的情况，即该序列没有展示出任何时序依赖性。这种情况可能由噪音所引起，并且没有被SMA滤波所消除。在这种情况下，采用更复杂的滤波来消除噪声来挖掘某些可能的时序依赖性，为基于回归的异常检测算法进行建模。特别地，对于某一个子序列，如果，且/或，则意味着告警时间序列是高度离散的，为了揭示可能的时序依赖性，考虑采用更强的滤波。然而，安全分析师必须意识到更强的滤波可能改变告警时间序列的本质。
图6给出了基于回归的异常检测算法对有线木马、无线木马和外部木马告警序列自动关联的结果。对于有线木马，取较小的值，基于回归的异常检测算法对这类告警是无效的。另一方面，强24小时周期的无线木马告警建议可以应用基于回归的异常检测算法，并且，在白天和晚上，具有不同的行为。无线木马告警在白天的高度离散性提示该滤波在白天时间是可用的。最后，对应于较高的值，外部木马告警序列展示一个趋势成分，特别当考虑=5和24小时的简单平滑滤波的场景。
所述决策流程图，如图9所示，第一步评估收敛指数的情况：如果告警序列不是收敛的，但是，具有时序依赖性，那么基于回归的方法对异常检测也是有效的。
图10为本发明所述的一种基于回归的信息安全异常检测的示意图，包括实时告警模块、历史告警模块、离线异常检测建模模块、在线异常检测模块,以及知识库。
所述实时告警模块，实时地接收来自各种安全设备通过SNMP、syslog等协议上报的告警，并分别发送给历史告警模块和基于回归的异常在线检测模型模块。
所述历史告警模块，可以作为告警时间序列的备份，也可以为离线安全攻击异常检测模型模块提供告警数据。
所述离线异常检测建模模块，对所述告警时间序列建模，并提供基于回归的异常检测方法、基于回归的异常检测方法和基于随机线性分布和随机非线性分布的异常检测方法的指南。所述基于回归的异常检测方法，通过实时计算中位数m、四分位距iqr、事件间隔k和周期T情况，来决定是否选择基于回归的信息安全异常检测方法。
所述在线异常检测模块，采用基于回归的方法，实时在线地检测实时告警模块所上报告警时间序列的异常，并且，将检测结果上报给相关显示模块或安全分析师作进一步地处理。
所述知识库，存储各种统计参数、异常检测方法及其应用场景等。
以上所述仅为本发明的较佳实施例，并非用来限定本发明的实施范围；凡是依本发明所作的等效变化与修改，都被视为本发明的专利范围所涵盖。
Claims (2)
1.本发明提供了一种基于回归的信息安全异常检测的方法及系统，包括实时告警模块、历史告警模块、离线异常检测建模模块、在线异常检测模块（基于回归）和知识库；
1）所述实时告警模块，实时地接收来自各种安全设备的告警，并分别上报给历史告警模块和在线基于回归的异常检测模块；
2）所述历史告警模块，可以作为告警数据的备份，也可以为离线异常检测建模模块提供告警数据；
3）所述离线异常检测建模模块，对告警时间序列建模，并提供基于回归的安全攻击异常检测方法指南；
4）所述基于回归的异常检测方法指南，通过实时计算中位数m、四分位距iqr、事件间隔k和周期T情况，来决定是否选择基于回归的信息安全异常检测的方法，并且实时反馈给在线基于回归的异常检测模块；
5）所述在线异常检测模块，采用基于回归的方法，实时地检测实时告警模块所上报告警的异常，并且，将检测结果上报给相关显示模块或安全分析师做进一步处理；
6）所述知识库，存储各种统计参数、异常检测方法及其应用场景等。
2.如权利要求1所述的一种基于回归的信息安全异常检测的方法及系统，还包括：当中位数m、四分位距iqr和方差系数满足满足，而且k1和T！=0时，则采用基于回归的信息安全异常检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610145683.9A CN105656693B (zh) | 2016-03-15 | 2016-03-15 | 一种基于回归的信息安全异常检测的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610145683.9A CN105656693B (zh) | 2016-03-15 | 2016-03-15 | 一种基于回归的信息安全异常检测的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105656693A true CN105656693A (zh) | 2016-06-08 |
| CN105656693B CN105656693B (zh) | 2019-06-07 |
Family
ID=56493586
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610145683.9A Active CN105656693B (zh) | 2016-03-15 | 2016-03-15 | 一种基于回归的信息安全异常检测的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105656693B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108259202A (zh) * | 2016-12-29 | 2018-07-06 | 航天信息股份有限公司 | 一种ca监测预警方法和ca监测预警系统 |
| CN109444232A (zh) * | 2018-12-26 | 2019-03-08 | 苏州同阳科技发展有限公司 | 一种多通道智能化污染气体监测装置与扩散溯源方法 |
| CN110519266A (zh) * | 2019-08-27 | 2019-11-29 | 四川长虹电器股份有限公司 | 一种基于统计学方法的cc攻击检测的方法 |
| CN112118141A (zh) * | 2020-09-21 | 2020-12-22 | 中山大学 | 面向通信网络的告警事件关联压缩方法及装置 |
| EP3696025A4 (en) * | 2017-10-13 | 2021-03-17 | Hitachi Automotive Systems, Ltd. | VEHICLE CONTROL DEVICE |
| CN112785142A (zh) * | 2021-01-19 | 2021-05-11 | 翰克偲诺水务集团有限公司 | 物联网污水处理设备预警智慧工单方法及其系统 |
| CN113552856A (zh) * | 2021-09-22 | 2021-10-26 | 成都数之联科技有限公司 | 工艺参数根因定位方法和相关装置 |
| CN117473435A (zh) * | 2023-07-21 | 2024-01-30 | 南京审计大学 | 一种基于时空特征的突发公共卫生事件虚假异常信息检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103441982A (zh) * | 2013-06-24 | 2013-12-11 | 杭州师范大学 | 一种基于相对熵的入侵报警分析方法 |
| CN104601604A (zh) * | 2014-06-12 | 2015-05-06 | 国家电网公司 | 网络安全态势分析方法 |
| US20150304346A1 (en) * | 2011-08-19 | 2015-10-22 | Korea University Research And Business Foundation | Apparatus and method for detecting anomaly of network |
| CN105357063A (zh) * | 2015-12-14 | 2016-02-24 | 成都为帆斯通科技有限公司 | 一种网络空间安全态势实时检测方法 |
-
2016
- 2016-03-15 CN CN201610145683.9A patent/CN105656693B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150304346A1 (en) * | 2011-08-19 | 2015-10-22 | Korea University Research And Business Foundation | Apparatus and method for detecting anomaly of network |
| CN103441982A (zh) * | 2013-06-24 | 2013-12-11 | 杭州师范大学 | 一种基于相对熵的入侵报警分析方法 |
| CN104601604A (zh) * | 2014-06-12 | 2015-05-06 | 国家电网公司 | 网络安全态势分析方法 |
| CN105357063A (zh) * | 2015-12-14 | 2016-02-24 | 成都为帆斯通科技有限公司 | 一种网络空间安全态势实时检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 邹柏贤: ""网络异常的检测与诊断方法"", 《小型微型计算机系统》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108259202A (zh) * | 2016-12-29 | 2018-07-06 | 航天信息股份有限公司 | 一种ca监测预警方法和ca监测预警系统 |
| US11580223B2 (en) | 2017-10-13 | 2023-02-14 | Hitachi Astemo, Ltd. | Vehicular control apparatus |
| EP3696025A4 (en) * | 2017-10-13 | 2021-03-17 | Hitachi Automotive Systems, Ltd. | VEHICLE CONTROL DEVICE |
| CN109444232A (zh) * | 2018-12-26 | 2019-03-08 | 苏州同阳科技发展有限公司 | 一种多通道智能化污染气体监测装置与扩散溯源方法 |
| CN109444232B (zh) * | 2018-12-26 | 2024-03-12 | 苏州同阳科技发展有限公司 | 一种多通道智能化污染气体监测装置与扩散溯源方法 |
| CN110519266A (zh) * | 2019-08-27 | 2019-11-29 | 四川长虹电器股份有限公司 | 一种基于统计学方法的cc攻击检测的方法 |
| CN110519266B (zh) * | 2019-08-27 | 2021-04-27 | 四川长虹电器股份有限公司 | 一种基于统计学方法的cc攻击检测的方法 |
| CN112118141A (zh) * | 2020-09-21 | 2020-12-22 | 中山大学 | 面向通信网络的告警事件关联压缩方法及装置 |
| CN112785142B (zh) * | 2021-01-19 | 2023-11-24 | 翰克偲诺水务集团有限公司 | 物联网污水处理设备预警智慧工单方法及其系统 |
| CN112785142A (zh) * | 2021-01-19 | 2021-05-11 | 翰克偲诺水务集团有限公司 | 物联网污水处理设备预警智慧工单方法及其系统 |
| CN113552856B (zh) * | 2021-09-22 | 2021-12-10 | 成都数之联科技有限公司 | 工艺参数根因定位方法和相关装置 |
| CN113552856A (zh) * | 2021-09-22 | 2021-10-26 | 成都数之联科技有限公司 | 工艺参数根因定位方法和相关装置 |
| CN117473435A (zh) * | 2023-07-21 | 2024-01-30 | 南京审计大学 | 一种基于时空特征的突发公共卫生事件虚假异常信息检测方法 |
| CN117473435B (zh) * | 2023-07-21 | 2024-05-17 | 南京审计大学 | 一种基于时空特征的突发公共卫生事件虚假异常信息检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105656693B (zh) | 2019-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105656693B (zh) | 一种基于回归的信息安全异常检测的方法及系统 | |
| CN105808368B (zh) | 一种基于随机概率分布的信息安全异常检测的方法及系统 | |
| US11150974B2 (en) | Anomaly detection using circumstance-specific detectors | |
| TWI595375B (zh) | 使用適應性行爲輪廓之異常檢測技術 | |
| US9652354B2 (en) | Unsupervised anomaly detection for arbitrary time series | |
| US10489711B1 (en) | Method and apparatus for predictive behavioral analytics for IT operations | |
| CN105681298A (zh) | 公共信息平台中的数据安全异常监测方法及系统 | |
| US11074652B2 (en) | System and method for model-based prediction using a distributed computational graph workflow | |
| US20170054750A1 (en) | Risk assessment | |
| CN114978568A (zh) | 使用机器学习进行数据中心管理 | |
| US20150358292A1 (en) | Network security management | |
| JP4112584B2 (ja) | 異常トラヒック検出方法及び装置 | |
| US20190007285A1 (en) | Apparatus and Method for Defining Baseline Network Behavior and Producing Analytics and Alerts Therefrom | |
| US8661113B2 (en) | Cross-cutting detection of event patterns | |
| CN113518057A (zh) | 分布式拒绝服务攻击的检测方法、装置及其计算机设备 | |
| CN114531338A (zh) | 一种基于调用链数据的监控告警和溯源方法及系统 | |
| JP2010198579A (ja) | 異常検出システム、異常検出方法および異常検出用プログラム | |
| Park et al. | Statistical process control‐based intrusion detection and monitoring | |
| US20230308461A1 (en) | Event-Based Machine Learning for a Time-Series Metric | |
| CN107682173B (zh) | 基于交易模型的自动故障定位方法和系统 | |
| CN113259322B (zh) | 一种预防Web服务异常的方法、系统及介质 | |
| Jakhale | Design of anomaly packet detection framework by data mining algorithm for network flow | |
| Amiri et al. | A complete operational architecture of alert correlation | |
| WO2021055964A1 (en) | System and method for crowd-sourced refinement of natural phenomenon for risk management and contract validation | |
| Mata et al. | Automated detection of load changes in large-scale networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 210012, Nanjing high tech Zone, Jiangsu, Nanjing Software Park, No. 99 unity Road, Eagle building, block A, 14 floor Applicant after: Nanjing Liancheng science and technology development Limited by Share Ltd Address before: A small road in Yuhuatai District of Nanjing City, Jiangsu province 210012 Building No. 158 Building 1 new ideal Applicant before: NANJING LIANCHENG TECHNOLOGY DEVELOPMENT CO., LTD. |
|
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 210000 14F, building A, Eagle building, 99 solidarity Road, Nanjing Software Park, Nanjing hi tech Zone, Jiangsu Applicant after: Nanjing Liancheng science and technology development Limited by Share Ltd Address before: 210000, Nanjing high tech Zone, Jiangsu, Nanjing Software Park, No. 99 unity Road, Eagle building, block A, 14 floor Applicant before: Nanjing Liancheng science and technology development Limited by Share Ltd |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A method and system of information security anomaly detection based on regression Effective date of registration: 20220112 Granted publication date: 20190607 Pledgee: Bank of Hangzhou Limited by Share Ltd. Nanjing branch Pledgor: NANJING LIANCHENG TECHNOLOGY DEVELOPMENT CO.,LTD. Registration number: Y2022980000420 |