CN112511372B - 一种异常检测方法、装置及设备 - Google Patents

一种异常检测方法、装置及设备 Download PDF

Info

Publication number
CN112511372B
CN112511372B CN202011232562.0A CN202011232562A CN112511372B CN 112511372 B CN112511372 B CN 112511372B CN 202011232562 A CN202011232562 A CN 202011232562A CN 112511372 B CN112511372 B CN 112511372B
Authority
CN
China
Prior art keywords
abnormal
terminal
behavior
characteristic
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011232562.0A
Other languages
English (en)
Other versions
CN112511372A (zh
Inventor
尚素绢
杨新安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New H3C Information Technologies Co Ltd
Original Assignee
New H3C Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New H3C Technologies Co Ltd filed Critical New H3C Technologies Co Ltd
Priority to CN202011232562.0A priority Critical patent/CN112511372B/zh
Publication of CN112511372A publication Critical patent/CN112511372A/zh
Application granted granted Critical
Publication of CN112511372B publication Critical patent/CN112511372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1416Event detection, e.g. attack signature detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823Errors, e.g. transmission errors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection

Abstract

本申请提供一种异常检测方法、装置及设备,该方法可以通过依据已获得的各内网终端在不同特征维度上的行为特征值,并分别按照第一智能算法确定第一类异常终端,以及,按照第二智能算法确定第二类异常终端;依据第一类异常终端以及各特征维度上出现异常的第二类异常终端确定目标异常终端,并依据第二指定时间段内已监测到的目标异常终端在不同特征维度上的行为特征值确定引起目标异常终端异常的异常原因。以依据异常原因,减少异常终端出现异常行为的误报率。

Description

一种异常检测方法、装置及设备
技术领域
本发明涉及网络安全技术领域,尤其涉及一种异常检测方法、装置及设备。
背景技术
目前,网络安全技术主要集中在对来自外部网络的攻击进行防御响应,而对内网终端产生异常流量的行为考虑的较少。而伴随着内网业务的不断扩增,内网终端产生异常流量对企业自身数据安全及系统稳定造成的威胁在不断增加。因此,对内网终端的流量行为的异常检测也成为保障网络安全的重要环节。
在现有技术中,对内网终端进行异常检测常用的方法是通过人工检测各内网终端的行为是否正常,例如检测内网终端访问目的端口号的次数是否大于阈值,如果大于阈值,则认为该内网终端的行为属于异常行为,并进行上报。而在实际应用中,可能存在该内网终端的行为仅仅是习惯行为,并不是真正的异常行为。可见,现有技术的异常检测方法不仅单一且还需要太多的人工干预,进而容易造成异常检测的误报率高。
发明内容
有鉴于此,本发明提供一种异常检测方法、装置及设备,以降低误报率。
具体地,本申请是通过如下技术方案实现的:
第一方面,本申请实施例提供一种异常检测方法,所述方法包括:
获得第一指定时间段内已监测到的各内网终端在不同特征维度上的行为特征值;
依据已获得的各内网终端在不同特征维度上的行为特征值,并按照预设的第一智能算法确定存在异常行为的第一类异常终端;
依据已获得的各内网终端在不同特征维度上的行为特征值,并按照预设的第二智能算法确定每一特征维度上出现异常的第二类异常终端;所述第二智能算法不同于所述第一智能算法;
依据所述第一类异常终端以及各特征维度上出现异常的第二类异常终端确定目标异常终端,依据第二指定时间段内已监测到的目标异常终端在不同特征维度上的行为特征值确定引起所述目标异常终端异常的异常原因;所述第二指定时间段早于所述第一指定时间段,所述异常原因为:基于突发行为引起的异常,或者基于习惯行为引起的异常。
第二方面,基于相同的构思,本申请还提供一种异常检测装置,所述装置包括:
特征值获得单元,获得第一指定时间段内已监测到的各内网终端在不同特征维度上的行为特征值;
第一异常终端确定单元,用于依据已获得的各内网终端在不同特征维度上的行为特征值,并按照预设的第一智能算法确定存在异常行为的第一类异常终端;
第二异常终端确定单元,用于依据已获得的各内网终端在不同特征维度上的行为特征值,并按照预设的第二智能算法确定每一特征维度上出现异常的第二类异常终端;所述第二智能算法不同于所述第一智能算法;
异常原因确定单元,用于依据所述第一类异常终端以及各特征维度上出现异常的第二类异常终端确定目标异常终端,依据第二指定时间段内已监测到的目标异常终端在不同特征维度上的行为特征值确定引起所述目标异常终端异常的异常原因;所述第二指定时间段早于所述第一时间段,所述异常原因为:基于突发行为引起的异常,或者基于习惯行为引起的异常。
第三方面,本申请实施例提供一种电子设备,该电子设备包括处理器和存储器;
所述存储器,用于存储机器可执行指令;
所述处理器,用于读取并执行所述存储器存储的机器可执行指令,以实现上述实施例所述的异常检测方法的方法步骤。
由以上技术方案可以看出,本申请实施例中,可以通过依据已获得的各内网终端在不同特征维度上的行为特征值,并分别按照第一智能算法确定第一类异常终端,以及,按照第二智能算法确定第二类异常终端;依据第一类异常终端以及各特征维度上出现异常的第二类异常终端确定目标异常终端,并依据第二指定时间段内已监测到的目标异常终端在不同特征维度上的行为特征值确定引起目标异常终端异常的异常原因,进而依据异常原因进行上报,减少异常检测的误报率。
附图说明
图1是本申请实施例提供的一种异常检测方法的流程示意图;
图2是本申请实施例提供的一种异常检测方法的实现方式中确定每一特征维度上出现异常的第二类异常终端的流程示意图;
图3是本申请实施例提供的一种异常检测方法的实现方式中确定引起目标异常终端异常的异常原因的流程示意图;
图4是本申请实施例提供的一种异常检测装置的硬件结构示意图;
图5是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例中的技术方案,并使本发明实施例的上述目的、特征和优点能够更加明显易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参见图1,图1为本申请实施例提供的一种异常检测方法的流程示意图,该方法可以应用于任一内网终端,上述内网终端可以是交换机也可以是服务器,本申请实施例对此并不限定。
如图1所示,该流程可以包括以下步骤:
步骤110,获得第一指定时间段内已监测到的各内网终端在不同特征维度上的行为特征值。
在本申请中,第一指定时间段只是为便于和后文的指定时间段区分而进行的命名,并非用于限定某一指定时间段。
目前,内网终端产生的流量数据引起的异常行为主要包含如下两方面:
第一方面,由于内网终端主机感染特定的攻击程序或病毒引起网络流量异常的异常行为,这类异常行为的先兆特征未知或比较隐蔽,发作突然。
第二方面,由于内网终端自身误操作引起的网络流量异常的异常行为,这类异常行为是由终端触发引起的,在某个时间段内会对网络正常运行造成了影响,如过量下载、反复登录、快速刷新网页、传输大文件等行为。
基于上述两个方面,上述特定的攻击程序或病毒、过量下载、反复登录、快速刷新网页、传输大文件等均是本步骤所描述的特征维度。
作为一个实施例中,上述特征维度可以包括至少一个或任一组合:表示中毒或访问异常的行为特征维度、表示蠕虫病毒或勒索病毒攻击的行为特征维度、表示文件传输或过量下载的行为特征维度、表示暴力破解的行为特征维度、表示未知异常的行为特征维度、表示“Bot”攻击的行为特征维度、表示“DDoS”攻击的行为特征维度、表示“DoS”攻击的行为特征维度。
在一些实施例中,上述表示中毒或访问异常的特征维度可以包括如下至少一种组合:会话数、不同目的IP个数、不同目的国家个数、不同目的州个数、目的IP为外网的日志数和不同目的端口个数。
在一些实施例中,上述表示蠕虫病毒或勒索病毒攻击的特征维度可以包括如下至少一种组合:目的端口为高危端口日志数和目的端口为高危端口不同IP数,示例性的,这些高危端口号可以包括支持可配置的端口号,如22、3389、445、135、139、1042和1314。
在一些实施例中,上述表示文件传输或过量下载的特征维度可以包括如下至少一种组合:上行大包会话数、上行小包会话数、下行大包会话数和下行小包会话数。
在一些实施例中,上述表示暴力破解的特征维度可以包括:下行流量为0的日志数。
在一些实施例中,上述表示“Bot”攻击的特征维度可以包括如下至少一种组合:下行方向数据包平均大小、流中发送两个数据包之间的最长时间、流的持续时间(以毫秒为单位)和流中发送两个数据包之间的最短时间。
在一些实施例中,上述表示“DDoS”攻击的特征维度可以包括如下至少一种组合:下行数据包标准偏差大小、下行方向的总包数、上行方向发送的两个数据包之间的总时间和流的持续时间(以毫秒为单位)。
在一些实施例中,上述表示“DoS”攻击的特征维度可以包括如下至少一种组合:流中发送两个数据包之间的最长时间、下行数据包标准偏差大小、流中发送两个数据包之间的最短时间和下行方向的总包数。
步骤120,依据已获得的各内网终端在不同特征维度上的行为特征值,并按照预设的第一智能算法确定存在异常行为的第一类异常终端。
上述第一类异常终端只是为便于和后文的异常终端区分而进行的命名,并非用于限定某一异常终端。
上述第一智能算法只是为便于和后文的智能算法区分而进行的命名,并非用于限定某一智能算法。
在本实施例中,从内网中的所有内网终端中确定出异常终端(记为第一异常终端),这些第一异常终端的行为可能在至少一个特征维度上也属于异常行为,也可能在每一个特征维度上均属于正常行为。
需要明确的是,本步骤确定的第一类异常终端是存在行为异常的内网终端,但并不是说第一类异常终端的全部行为特征值均存在异常,可能是引起第一类异常终端产生网络流量的行为异常的主要几个行为特征值。
实现本步骤120的实现方式很多,这里,给出了一个实施例,具体为:步骤120的实现方式可以包括:将已获得的每一内网终端在不同特征维度上的行为特征值输入至PCA(Principal Components Analysis,主成分分析)算法得到第一结果。
上述第一结果可以包括存在异常行为的第一类异常终端。
第一结果只是为便于和后文的结果区分而进行的命名,并非用于限定某一结果。
本实施例的PCA算法是对全部内网终端的全部行为特征值进行计算,得到内网中存在异常行为的第一类异常终端,从而能够快速地在内网中确定出存在行为异常的异常终端。
步骤130,依据已获得的各内网终端在不同特征维度上的行为特征值,并按照预设的第二智能算法确定每一特征维度上出现异常的第二类异常终端。
上述第二智能算法不同于步骤120中的第一智能算法。
这里,第二智能算法只是为便于描述而进行的命名,并非用于限定某一智能算法。
第二类异常终端只是为便于描述而进行的命名,并非用于限定某一异常终端。
在本步骤中,从内网中的所有内网终端中确定出在每一特征维度上出现异常的异常终端(记为第二异常内网终端),这些第二异常内网终端的行为可能在内网中属于正常行为,也可能属于异常行为。
实现本步骤130的实现方式很多,这里,给出了一个实施例,具体为:作为一个实施例,将已获得的各内网终端在不同特征维度上的行为特征值输入至箱线图算法得到第二结果。
上述第二结果可以包括每一特征维度上出现异常的第二类异常终端。
步骤140,依据第一类异常终端以及各特征维度上出现异常的第二类异常终端确定目标异常终端,依据第二指定时间段内已监测到的目标异常终端在不同特征维度上的行为特征值确定引起目标异常终端异常的异常原因。
上述第二指定时间段早于上述第一指定时间段。
上述异常原因为:基于突发行为引起的异常,或者基于习惯行为引起的异常。
这里,第二指定时间段只是为便于描述而进行的命名,并非用于限定某一指定时间段。
作为一个实施例,本步骤中的目标异常终端可以是在第一类异常终端和第二类异常终端中均存在共同的异常终端,相应地,目标异常终端的行为在内网中属于异常行为、且在至少一个特征维度上也属于异常行为。
在本申请中,针对第一指定时间段内的一个内网终端而言,可能存在如下几种情况:
第一种情况:该内网终端产生的流量行为在内网中和在各特征维度上均属于正常行为,那么,该内网终端可以被认为是属于行为正常的内网终端。
第二种情况:该内网终端产生的流量行为在内网中属于异常行为,但在各特征维度上均属于正常行为,那么,该内网终端可以被认为是属于行为正常的内网终端。
第三种情况:该内网终端产生的流量行为在某个特征维度上属于异常行为,但在所属内网中属于正常行为,那么,该内网终端也被认为是属于行为正常的内网终端。
第四种情况:该内网终端产生的流量行为在内网中和某个特征维度均属于异常行为,那么,该内网终端被认为是属于行为异常的目标异常终端。
至此,完成图1所示流程。
通过图1所示流程可以看出,在本申请中,可以通过依据已获得的各内网终端在不同特征维度上的行为特征值,按照第一智能算法确定第一类异常终端,以及,并按照第二智能算法确定第二类异常终端;依据第一类异常终端以及各特征维度上出现异常的第二类异常终端确定目标异常终端,并依据第二指定时间段内已监测到的目标异常终端在不同特征维度上的行为特征值确定引起目标异常终端异常的异常原因,进而依据异常原因进行上报,减少异常检测的误报率。
基于图1所示的流程,作为一个实施例,在步骤110之前,该方法还可以进一步包括如下步骤A~步骤C:
步骤A,从用于存储流量日志的数据库中拉取流量日志。
该数据库可以是指部署在企业内部IT环境(内网)中的大数据端处的数据库,可以存储内网中所有内网终端行为产生的流量日志。
作为一个实施例,每一内网终端均部署有用于采集本内网终端流量日志的日志采集设备,日志采集设备会将预设周期内采集到的流量日志发送到大数据端处的数据库中,该大数据端可以部署在一个内网终端,该内网终端优选服务器。
步骤B,利用Spark框架,从拉取的流量日志中统计不同特征维度上的行为特征值。
步骤C,将统计的行为特征值存储在用于存储行为特征值的索引列表中。
基于上述步骤C,步骤110具体的实现方式可以包括:
从索引列表中,提取第一指定时间段内已监测到的各内网终端在不同特征维度上的行为特征值。
可见,在本申请实施例提供的技术方案中,可以将统计流量日志在特征维度上的行为特征值存储在索引列表中,以便后续在对内网终端的行为进行异常检测时,能够方便且快速地从建立的索引列表中,提取各内网终端在不同特征维度上的行为特征值,以提高检测速度。
实现步骤130的实现方式很多,这里,给出一个实施例,如图2所示,具体可以包括如下步骤131~步骤132:
步骤131,针对每一特征维度,利用箱线图算法并依据第二指定时间段内已监测到的目标异常终端在该特征维度上的行为特征值确定该特征维度对应的第一特征上限值。
上述第一特征上限值只是为便于和后文的特征上限值区分而进行的命名,并非用于限定某一特征上限值。
在一些实施例中,上述第一特征上限值可以为该特征维度上的各行为特征值对应的上限值。也就是说,该特征维度上的每一行为特征值均对应属于本行为特征值的第一特征上限值。
示例性的,设特征维度A对应的行为特征值为A11、A12和A13,则A11对应的第一特征上限值为B1、A12对应的第一特征上限值为B2和A13对应的第一特征上限值为B3。
在本步骤中,可以利用第一指定时间段之前的目标异常终端在该特征维度上的历史行为特征值,确定该特征维度对应的第一特征上限值。
步骤132,依据第一特征上限值和第二指定时间段内已监测到的目标异常终端在该特征维度上的行为特征值确定引起目标异常终端异常的异常原因。
作为一个实施例,针对目标异常终端的每一行为特征值,若该行为特征值大于该行为特征值对应的第一特征上限值,则将该行为特征值确定为异常的行为特征值,这就意味着,引起该目标异常终端异常是基于突发行为引起的异常,可以上报。相反,若该行为特征值小于或等于该行为特征值对应的第一特征上限值,则将该行为特征值确定为正常的行为特征值,这就意味着,引起该目标异常终端异常是基于习惯行为引起的异常,可以不必上报。
示例性的,内网终端D在第一指定时间段内下载100次视频的行为,该行为在内网中属于异常行为,但内网终端D可能存在每个监控周期的第一指定时间段内均会频繁下载资料的行为,也就是说,内网终端D的行为在表示文件传输或过量下载的特征维度上属于正常行为。
作为一个实施例,上述第一指定时间段、第二指定时间段分别包括多个行为监测周期。上述行为监测周期是指一个用于监测内网终端异常行为的时间周期,如24小时(1天),若第二指定时间段为2020年10月1日~2020年10月10日,监测周期为1天,则第二指定时间段中包括了10个行为监测周期。
至此,完成图2所示流程。
通过图2所示流程可以看出,在本申请中,通过依据第二指定时间段内已监测到的目标异常终端在各特征维度上的行为特征值,利用箱线图算法确定出各特征维度对应的第一特征上限值,依据第一特征上限值和第二指定时间段内已监测到的目标异常终端在各特征维度上的行为特征值,能够快速且准确地确定引起目标异常终端异常的异常原因,进一步减少误报几率。
实现步骤132的实现方式很多,在这里,给出一个实施例,基于上述实施例,如图3所示,具体可以包括如下步骤1321~步骤1323:
步骤1321,从第一指定时间段内已监测到的目标异常终端在该特征维度上的行为特征值中选择大于第一特征上限值的参考行为特征值。
作为一个实施例,针对目标异常终端在该特征维度上的每一行为特征值,若该行为特征值大于与该行为特征值对应的第一特征上限值,则将该行为特征值确定为参考行为特征值。
步骤1322,针对监测到参考行为特征值的行为监测周期中的监测时刻,利用箱线图算法并依据第二指定时间段内各行为监测周期内在监测时刻监测到的行为特征值确定该特征维度对应的第二特征上限值。
这里,第二特征上限值只是为便于描述而进行的命名,并非用于限定某一特征上限值。
基于上述对监测周期的描述,上述监测时刻是每一行为监测周期内用于监测异常终端行为的时刻。
在本步骤中,作为一个实施例,针对每一参考行为特征值,利用箱线图算法对各行为监测周期内的同一监测时刻监测到的参考行为特征值进行拟合,确定该参考行为特征值对应的第二特征上限值。
在实际应用中,参考行为特征值引起目标异常终端的异常行为可能是基于习惯行为原因引起的,也可能是基于突发行为原因引起的,基于此,还需要对参考行为特征值进行进一步确定。
步骤1323,依据第二上限值和参考行为特征值,确定引起目标异常终端异常的异常原因。
作为一个实施例,针对每一参考行为特征值,比较该参考行为特征值和该参考行为特征值对应的第二上限值,若该参考行为特征值小于或等于该参考行为特征值对应的第二上限值,则将该参考行为特征值引起目标异常终端异常的异常原因确定为基于习惯行为引起的异常。若该参考行为特征值大于该参考行为特征值对应的第二上限值,则将该参考行为特征值引起目标异常终端异常的异常原因确定为基于突发行为引起的异常。
至此,完成图3所示流程。
通过图3所示流程可以看出,在本申请中,通过从目标异常终端在该特征维度上的行为特征值中选择大于第一特征上限值的参考行为特征值,依据第二指定时间段内各行为监测周期内在监测时刻监测到的行为特征值确定该特征维度对应的第二特征上限值,进而依据第二上限值和参考行为特征值,可以准确地确定引起目标异常终端异常的异常原因,进一步减少误报几率,进而也能够减少由于误报引起维修人员进行一些不必要的操作。
下面通过一个具体实施例对本申请提供的方法进行描述:
假设某企业IT环境(内网)中部署的内网终端为终端1~终端10,基于2020年10月10日,每间隔2小时,就会对内网终端进行异常检测,基于此,在2020年10月10日0点~2020年10月10日2点间隔的2小时内对上述各内网终端的行为进行异常检测,该方法可以包括:
第一步,获得在2020年10月10日0点~2020年10月10日2点内表示中毒或访问异常的特征维度对应的会话数、不同目的IP个数、不同目的国家个数、不同目的州个数、目的IP为外网的日志数和不同目的端口个数,表示蠕虫病毒或勒索病毒攻击的特征维度对应的目的端口为高危端口日志数和目的端口为高危端口不同IP数,表示文件传输或过量下载的特征维度对应的上行大包会话数、上行小包会话数、下行大包会话数和下行小包会话数,表示暴力破解的特征维度对应的行流量为0的日志数,表示未知异常的特征维度对应的未知TCP会话数和未知UDP会话数,表示“Bot”攻击的特征维度对应的下行方向数据包平均大小、流中发送两个数据包之间的最长时间、流的持续时间(以毫秒为单位)和流中发送两个数据包之间的最短时间,表示“DDoS”攻击的特征维度对应的下行数据包标准偏差大小、下行方向的总包数、上行方向发送的两个数据包之间的总时间和流的持续时间(以毫秒为单位),表示“DoS”攻击的特征维度对应的流中发送两个数据包之间的最长时间、下行数据包标准偏差大小、流中发送两个数据包之间的最短时间和下行方向的总包数。
第二步,将已获得的终端1~终端10各自在第一步中的不同特征维度上的行为特征值输入至PCA算法,得到存在异常行为的第一类异常终端,如这些第一类异常终端包括终端1和终端2。
第三步,将已获得的终端1~终端10各自在第一步中的不同特征维度上的行为特征值输入至箱线图算法,得到每一特征维度上出现异常的第二类异常终端。如在表示中毒或访问异常的特征维度上存在异常行为的终端1,在表示蠕虫病毒或勒索病毒攻击的特征维度上存在异常行为的终端2,在表示“DoS”攻击的特征维度存在异常行为的终端3。
第四步,针对第一类异常终端中的终端1和终端2,以及各特征维度上出现异常的确定终端1~终端3,则可以确定出目标异常终端为终端1和终端2。
第五步,针对第一步中的每一特征维度,利用箱线图算法并依据2020年10月1日~2020年10月10日已监测到的异常终端(终端1和终端2)在该特征维度上的行为特征值,确定该特征维度对应的第一特征上限值。如终端1对应的不同目的国家个数的第一特征上限值为13,终端1对应的不同目的IP个数的第一特征上限值为30。终端2对应的访问目的端口为高危端口不同IP数的第一特征上限值为30次。
第六步,针对第一步中的每一特征维度,从2020年10月1日~2020年10月10日内已监测到的目标异常终端(终端1和终端2)在该特征维度上的行为特征值中选择大于第一特征上限值的参考行为特征值。如终端1中表示中毒或访问异常的行为特征维度上的不同目的国家个数为100,不同目的国家个数对应的第一特征上限值为30,可见,100是大于30,这就说,不同目的国家个数为参考行为特征值。相应地,终端1中表示中毒或访问异常的行为特征维度上的目的IP为外网的日志数为10000,目的IP为外网的日志数对应的第一特征上限值为1000,10000是大于1000,则目的IP为外网的日志数为参考行为特征值。同理,终端2的访问目的端口为高危端口不同IP数为100,访问目的端口为高危端口不同IP数的第一特征上限值为3,这也就是说,终端3的访问目的端口为高危端口不同IP数为参考行为特征值。
第七步,针对监测到参考行为特征值的行为监测周期中的监测时刻,利用箱线图算法并依据2020年10月1日~2020年10月10日内每一天在1点监测到的行为特征值确定各参考行为特征值对应的第二特征上限值。如在2020年10月1日~2020年10月10日中每一天1点终端1的不同目的国家个数的第二上限值为400,在2020年10月1日~2020年10月10日中每一天1点终端1的目的IP为外网的日志数的第二上限值为3000,在2020年10月1日~2020年10月10日中每一天1点终端2的访问目的端口为高危端口不同IP数的第二上限值为10。
第八步,依据第七步获得的第二上限值和第六步确定的参考行为特征值,确定引起目标异常终端异常的异常原因。如比较终端1对应的不同目的国家个数的第二上限值,400,与不同目的国家个数,100,可见,400大于100,则表示终端1访问100个不同目的国家的异常行为是基于习惯行为引起的异常,同时,比较终端1访问目的IP为外网的日志次数的第二上限值,2000,与终端1访问目的IP为外网的日志次数,10000,可见10000大于2000,则表示终端1访问目的IP为外网的日志次数为10000的异常行为是基于突发行为引起的异常,进而最终得出表示终端1中毒或访问异常,并展示出。同理,比较终端2访问目的端口为高危端口不同IP数的第二上限值,10次,终端2访问目的端口为高危端口不同IP数,608次,可见,608大于50,则表示终端2访问目的端口为高危端口不同IP数为608次的异常行为是基于突发行为引起的异常,最终得出表示终端2中勒索病毒攻击,并展示出。
以上对本申请提供的实施例进行了分析。
基于与上述方法同样的申请构思,参见图4,本申请实施例还提出一种异常检测装置400,该装置可以包括:
特征值获得单元410,获得第一指定时间段内已监测到的各内网终端在不同特征维度上的行为特征值;
第一异常终端确定单元420,用于依据已获得的各内网终端在不同特征维度上的行为特征值,并按照预设的第一智能算法确定存在异常行为的第一类异常终端;
第二异常终端确定单元430,用于依据已获得的各内网终端在不同特征维度上的行为特征值,并按照预设的第二智能算法确定每一特征维度上出现异常的第二类异常终端;所述第二智能算法不同于所述第一智能算法;
异常原因确定单元440,用于依据所述第一类异常终端以及各特征维度上出现异常的第二类异常终端确定目标异常终端,依据第二指定时间段内已监测到的目标异常终端在不同特征维度上的行为特征值确定引起所述目标异常终端异常的异常原因;所述第二指定时间段早于所述第一时间段,所述异常原因为:基于突发行为引起的异常,或者基于习惯行为引起的异常。
所述依据已获得的各内网终端在不同特征维度上的行为特征值,并按照预设的第一智能算法确定存在异常行为的第一类异常终端,包括:
将已获得的每一内网终端在不同特征维度上的行为特征值输入至主成分分析PCA算法得到第一结果,所述第一结果包括存在异常行为的第一类异常终端。
作为一个实施例,第一异常终端确定单元420具体用于执行:
将已获得的各内网终端在不同特征维度上的行为特征值输入至箱线图算法得到第二结果,所述第二结果包括每一特征维度上出现异常的第二类异常终端。
作为一个实施例,第二异常终端确定单元430具体用于执行:
针对所述第一类异常终端中每一终端,检查该终端是否包含在至少一个特征维度上出现异常的第二类异常终端中,如果是,确定该终端为所述目标异常终端。
作为一个实施例,上述异常原因确定单元440包括:
第一特征上限值子单元,用于针对每一特征维度,利用箱线图算法并依据第二指定时间段内已监测到的目标异常终端在该特征维度上的行为特征值确定该特征维度对应的第一特征上限值;
异常原因确定子单元,用于依据所述第一特征上限值和第二指定时间段内已监测到的目标异常终端在该特征维度上的行为特征值确定引起所述目标异常终端异常的异常原因。
作为一个实施例,所述第一指定时间段、第二指定时间段分别包括多个行为监测周期;
所述异常原因确定子单元具体用于执行:
从第一指定时间段内已监测到的目标异常终端在该特征维度上的行为特征值中选择大于所述第一特征上限值的参考行为特征值;
针对监测到参考行为特征值的行为监测周期中的监测时刻,利用箱线图算法并依据第二指定时间段内各行为监测周期内在所述监测时刻监测到的行为特征值确定该特征维度对应的第二特征上限值;
依据所述第二上限值和所述参考行为特征值,确定所述引起所述目标异常终端异常的异常原因。
作为一个实施例,所述特征维度包括至少一个或任一组合:
表示中毒或访问异常的行为特征维度、表示蠕虫病毒或勒索病毒攻击的行为特征维度、表示文件传输或过量下载的行为特征维度、表示暴力破解的行为特征维度、表示未知异常的行为特征维度、表示“Bot”攻击的行为特征维度、表示“DDoS”攻击的行为特征维度、表示“DoS”攻击的行为特征维度。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
本申请实施例提供的电子设备,从硬件层面而言,硬件架构示意图可以参见图5所示。包括:机器可读存储介质和处理器,其中:所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;所述处理器用于执行机器可执行指令,以实现上述示例公开的异常检测操作。
本申请实施例提供的机器可读存储介质,所述机器可读存储介质存储有机器可执行指令,所述机器可执行指令在被处理器调用和执行时,所述机器可执行指令促使所述处理器实现上述示例公开的异常检测操作。
这里,机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(RadomAccess Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且,这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。

Claims (10)

1.一种异常检测方法,其特征在于,所述方法包括:
获得第一指定时间段内已监测到的各内网终端在不同特征维度上的行为特征值;
依据已获得的各内网终端在不同特征维度上的行为特征值,并按照预设的第一智能算法确定存在异常行为的第一类异常终端;
依据已获得的各内网终端在不同特征维度上的行为特征值,并按照预设的第二智能算法确定每一特征维度上出现异常的第二类异常终端;所述第二智能算法不同于所述第一智能算法;
依据所述第一类异常终端以及各特征维度上出现异常的第二类异常终端确定目标异常终端,依据第二指定时间段内已监测到的目标异常终端在不同特征维度上的行为特征值确定引起所述目标异常终端异常的异常原因;所述第二指定时间段早于所述第一指定时间段,所述异常原因为:基于突发行为引起的异常,或者基于习惯行为引起的异常。
2.根据权利要求1所述的方法,其特征在于,所述依据已获得的各内网终端在不同特征维度上的行为特征值,并按照预设的第一智能算法确定存在异常行为的第一类异常终端,包括:
将已获得的每一内网终端在不同特征维度上的行为特征值输入至主成分分析PCA算法得到第一结果,所述第一结果包括存在异常行为的第一类异常终端。
3.根据权利要求1所述的方法,其特征在于,所述依据已获得的各内网终端在不同特征维度上的行为特征值,并按照预设的第二智能算法确定每一特征维度上出现异常的第二类异常终端,包括:
将已获得的各内网终端在不同特征维度上的行为特征值输入至箱线图算法得到第二结果,所述第二结果包括每一特征维度上出现异常的第二类异常终端。
4.根据权利要求1所述的方法,其特征在于,所述依据所述第一类异常终端以及各特征维度上出现异常的第二类异常终端确定目标异常终端,包括:
针对所述第一类异常终端中每一终端,检查该终端是否包含在至少一个特征维度上出现异常的第二类异常终端中,如果是,确定该终端为所述目标异常终端。
5.根据权利要求1所述的方法,其特征在于,所述依据第二指定时间段内已监测到的目标异常终端在不同特征维度上的行为特征值确定引起所述目标异常终端异常的异常原因,包括:
针对每一特征维度,利用箱线图算法并依据第二指定时间段内已监测到的目标异常终端在该特征维度上的行为特征值确定该特征维度对应的第一特征上限值;
依据所述第一特征上限值和第二指定时间段内已监测到的目标异常终端在该特征维度上的行为特征值确定引起所述目标异常终端异常的异常原因。
6.根据权利要求5所述的方法,其特征在于,所述第一指定时间段、第二指定时间段分别包括多个行为监测周期;
所述依据第一特征上限值和第二指定时间段内已监测到的目标异常终端在该特征维度上的行为特征值确定引起所述目标异常终端异常的异常原因,包括:
从第一指定时间段内已监测到的目标异常终端在该特征维度上的行为特征值中选择大于所述第一特征上限值的参考行为特征值;
针对监测到参考行为特征值的行为监测周期中的监测时刻,利用箱线图算法并依据第二指定时间段内各行为监测周期内在所述监测时刻监测到的行为特征值确定该特征维度对应的第二特征上限值;
依据所述第二特征上限值和所述参考行为特征值,确定所述引起所述目标异常终端异常的异常原因。
7.根据权利要求1所述的方法,其特征在于,所述特征维度包括至少一个或任一组合:
表示中毒或访问异常的行为特征维度、表示蠕虫病毒或勒索病毒攻击的行为特征维度、表示文件传输或过量下载的行为特征维度、表示暴力破解的行为特征维度、表示未知异常的行为特征维度、表示“Bot”攻击的行为特征维度、表示“DDoS”攻击的行为特征维度、表示“DoS”攻击的行为特征维度。
8.一种异常检测装置,其特征在于,所述装置包括:
特征值获得单元,获得第一指定时间段内已监测到的各内网终端在不同特征维度上的行为特征值;
第一异常终端确定单元,用于依据已获得的各内网终端在不同特征维度上的行为特征值,并按照预设的第一智能算法确定存在异常行为的第一类异常终端;
第二异常终端确定单元,用于依据已获得的各内网终端在不同特征维度上的行为特征值,并按照预设的第二智能算法确定每一特征维度上出现异常的第二类异常终端;所述第二智能算法不同于所述第一智能算法;
异常原因确定单元,用于依据所述第一类异常终端以及各特征维度上出现异常的第二类异常终端确定目标异常终端,依据第二指定时间段内已监测到的目标异常终端在不同特征维度上的行为特征值确定引起所述目标异常终端异常的异常原因;所述第二指定时间段早于所述第一指定时间段,所述异常原因为:基于突发行为引起的异常,或者基于习惯行为引起的异常。
9.根据权利要求8所述的装置,其特征在于,所述异常原因确定单元具体用于执行:
针对每一特征维度,利用箱线图算法并依据第二指定时间段内已监测到的目标异常终端在该特征维度上的行为特征值确定该特征维度对应的第一特征上限值;
依据所述第一特征上限值和第二指定时间段内已监测到的目标异常终端在该特征维度上的行为特征值确定引起所述目标异常终端异常的异常原因。
10.一种电子设备,其特征在于,该电子设备包括:处理器和存储器;
所述存储器,用于存储机器可执行指令;
所述处理器,用于读取并执行所述存储器存储的机器可执行指令,以实现如权利要求1至7任一方法。
CN202011232562.0A 2020-11-06 2020-11-06 一种异常检测方法、装置及设备 Active CN112511372B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011232562.0A CN112511372B (zh) 2020-11-06 2020-11-06 一种异常检测方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011232562.0A CN112511372B (zh) 2020-11-06 2020-11-06 一种异常检测方法、装置及设备

Publications (2)

Publication Number Publication Date
CN112511372A CN112511372A (zh) 2021-03-16
CN112511372B true CN112511372B (zh) 2022-03-01

Family

ID=74955456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011232562.0A Active CN112511372B (zh) 2020-11-06 2020-11-06 一种异常检测方法、装置及设备

Country Status (1)

Country Link
CN (1) CN112511372B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106790050A (zh) * 2016-12-19 2017-05-31 北京启明星辰信息安全技术有限公司 一种异常流量检测方法及检测系统
CN111600880A (zh) * 2020-05-14 2020-08-28 深信服科技股份有限公司 异常访问行为的检测方法、系统、存储介质和终端
CN111783999A (zh) * 2020-07-01 2020-10-16 北京知因智慧科技有限公司 数据处理方法及装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102111312B (zh) * 2011-03-28 2013-05-01 钱叶魁 基于多尺度主成分分析的网络异常检测方法
EP3076641B1 (en) * 2013-12-24 2018-02-14 Huawei Device (Dongguan) Co., Ltd. Method for detecting whether hardware of intelligent terminal is running abnormally and intelligent terminal
US9984283B2 (en) * 2015-02-14 2018-05-29 The Trustees Of The University Of Pennsylvania Methods, systems, and computer readable media for automated detection of abnormalities in medical images
US10193780B2 (en) * 2015-10-09 2019-01-29 Futurewei Technologies, Inc. System and method for anomaly root cause analysis
CN105335770A (zh) * 2015-10-27 2016-02-17 成都贝发信息技术有限公司 生产异常事件实时管理系统
CN107154880B (zh) * 2016-03-03 2020-12-15 创新先进技术有限公司 系统监控方法及装置
US10223191B2 (en) * 2016-07-20 2019-03-05 International Business Machines Corporation Anomaly detection in performance management
CN107066365B (zh) * 2017-02-20 2021-01-01 创新先进技术有限公司 一种系统异常的监测方法及装置
US10452845B2 (en) * 2017-03-08 2019-10-22 General Electric Company Generic framework to detect cyber threats in electric power grid
CN109213120A (zh) * 2018-07-11 2019-01-15 佛山科学技术学院 基于高维特征表示下多级主元空间的故障诊断方法
US20200204571A1 (en) * 2018-12-19 2020-06-25 AVAST Software s.r.o. Malware detection in network traffic time series
CN109688166B (zh) * 2019-02-28 2021-06-04 新华三信息安全技术有限公司 一种异常外发行为检测方法及装置
CN109802973A (zh) * 2019-03-15 2019-05-24 北京百度网讯科技有限公司 用于检测流量的方法和装置
CN110138614B (zh) * 2019-05-20 2022-02-11 湖南友道信息技术有限公司 一种基于张量模型的在线网络流量异常检测方法及系统
CN110706026A (zh) * 2019-09-25 2020-01-17 精硕科技(北京)股份有限公司 一种异常用户的识别方法、识别装置及可读存储介质
CN111026570B (zh) * 2019-11-01 2022-05-31 支付宝(杭州)信息技术有限公司 用于确定业务系统异常原因的方法和装置
CN111586052B (zh) * 2020-05-09 2022-04-26 江苏大学 一种基于多层级的群智合约异常交易识别方法及识别系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106790050A (zh) * 2016-12-19 2017-05-31 北京启明星辰信息安全技术有限公司 一种异常流量检测方法及检测系统
CN111600880A (zh) * 2020-05-14 2020-08-28 深信服科技股份有限公司 异常访问行为的检测方法、系统、存储介质和终端
CN111783999A (zh) * 2020-07-01 2020-10-16 北京知因智慧科技有限公司 数据处理方法及装置

Also Published As

Publication number Publication date
CN112511372A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
CN109829310B (zh) 相似攻击的防御方法及装置、系统、存储介质、电子装置
US10594714B2 (en) User and entity behavioral analysis using an advanced cyber decision platform
JP6201614B2 (ja) ログ分析装置、方法およびプログラム
US20110185419A1 (en) Method and apparatus for detecting ssh login attacks
US9705899B2 (en) Digital filter correlation engine
CN111600880A (zh) 异常访问行为的检测方法、系统、存储介质和终端
Feng et al. Feature selection for machine learning-based early detection of distributed cyber attacks
US11700269B2 (en) Analyzing user behavior patterns to detect compromised nodes in an enterprise network
Osanaiye et al. Change-point cloud DDoS detection using packet inter-arrival time
CN110224970B (zh) 一种工业控制系统的安全监视方法和装置
EP3657371A1 (en) Information processing device, information processing method, and information processing program
CN114338372B (zh) 网络信息安全监控方法及系统
CN110598180A (zh) 一种基于统计分析的事件检测方法、装置及系统
CN115001812A (zh) 基于互联网的数据中心在线监管安全预警系统
CN109005181B (zh) 一种dns放大攻击的检测方法、系统及相关组件
CN113676497A (zh) 数据阻断的方法和装置、电子设备和存储介质
CN112511372B (zh) 一种异常检测方法、装置及设备
US11836247B2 (en) Detecting malicious behavior in a network using security analytics by analyzing process interaction ratios
EP3346666A1 (en) A prediction system configured for modeling the expected number of attacks on a computer or communication network
CN112966264A (zh) Xss攻击检测方法、装置、设备及机器可读存储介质
CN106411951B (zh) 网络攻击行为检测方法及装置
US20140208427A1 (en) Apparatus and methods for detecting data access
JP2005011234A (ja) 不正アクセス検出装置、不正アクセス検出方法およびプログラム
CN114003904B (zh) 情报共享方法、装置、计算机设备及存储介质
WO2020017000A1 (ja) サイバー攻撃情報分析プログラム、サイバー攻撃情報分析方法および情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230529

Address after: 310052 11th Floor, 466 Changhe Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: H3C INFORMATION TECHNOLOGY Co.,Ltd.

Address before: 310052 Changhe Road, Binjiang District, Hangzhou, Zhejiang Province, No. 466

Patentee before: NEW H3C TECHNOLOGIES Co.,Ltd.

TR01 Transfer of patent right