CN113037595B - 异常设备检测方法、装置、电子设备及存储介质 - Google Patents

异常设备检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113037595B
CN113037595B CN202110335063.2A CN202110335063A CN113037595B CN 113037595 B CN113037595 B CN 113037595B CN 202110335063 A CN202110335063 A CN 202110335063A CN 113037595 B CN113037595 B CN 113037595B
Authority
CN
China
Prior art keywords
time period
flow
detected
equipment
target time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110335063.2A
Other languages
English (en)
Other versions
CN113037595A (zh
Inventor
曹臻
潘陈益
施晓宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202110335063.2A priority Critical patent/CN113037595B/zh
Publication of CN113037595A publication Critical patent/CN113037595A/zh
Application granted granted Critical
Publication of CN113037595B publication Critical patent/CN113037595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823Errors, e.g. transmission errors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/12Network monitoring probes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Abstract

本发明实施例提供了一种异常设备检测方法、装置、电子设备及存储介质,其中,所述方法包括:在检测到机房内核心交换机的出入流量异常的情况下,先定位至异常时间段,之后通过在异常时间段内提取各待检测设备的流量特征,对各待检测设备进行异常检测,以确定其中流量异常的设备,进而可以协助运维人员后续对这些流量异常的设备作进一步监测和处理,而无需运维人员对每一台设备进行排查和监测,提高了对流量异常设备定位的效率和准确性。

Description

异常设备检测方法、装置、电子设备及存储介质
技术领域
本发明涉及通信技术领域,特别是涉及一种流量异常设备检测方法、装置、电子设备及存储介质。
背景技术
通常,提供业务服务的公司会在机房内部署较多的服务器以提供正常稳定的对外或是对内业务服务。其中,机房内的核心交换机作为机房整体流量的唯一对外出入口,其出入流量是网络运维人员需要监控的一个重要指标。
现有技术中,当流经核心交换机的出入流量接近其最大带宽时,运维人员通常将机房内当前带宽占用量最高的业务流量切至其他机房。然而,在某些情况下,带宽占用量最高的业务并不是导致核心交换机整体流量异常升高的原因。同时,由于导致整体流量异常的设备可能是一台设备,也可能是多台设备,若要求运维人员逐台设备进行排查,在机房内设备较多的情况下,耗时较长且工作量较大。这样,将会影响机房内部署业务的正常运作。
可见,现有技术中确定机房内流量异常的设备的方法效率较低。
发明内容
本发明实施例的目的在于提供一种异常设备检测方法、装置、电子设备及存储介质,以提高确定机房内流量异常的设备的方法的效率的准确性。具体技术方案如下:
在本发明实施的第一方面,首先提供了一种异常设备检测方法,所述方法包括:
实时记录待检测设备的流量数据;
当检测到核心交换机在第一时间段内的出入流量存在异常的情况下,确定第一目标时间段,所述核心交换机为所述待检测设备所在机房的核心交换机,所述第一目标时间段包括所述第一时间段;
根据所述待检测设备在所述第一目标时间段内的流量数据,确定所述待检测设备在所述第一目标时间段内的流量特征信息;
对所述待检测设备在所述第一目标时间段内的流量特征信息进行异常检测,得到用于表征所述待检测设备是否流量异常的检测结果。
在本发明实施的第二方面,还提供了一种异常设备检测装置,所述装置包括:
记录模块,用于实时记录待检测设备的流量数据;
第一确定模块,用于当检测到核心交换机在第一时间段内的出入流量存在异常的情况下,确定第一目标时间段,所述核心交换机为所述待检测设备所在机房的核心交换机,所述第一目标时间段包括所述第一时间段;
第二确定模块,用于根据所述待检测设备在所述第一目标时间段内的流量数据,确定所述待检测设备在所述第一目标时间段内的流量特征信息;
检测模块,用于对所述待检测设备在所述第一目标时间段内的流量特征信息进行异常检测,得到用于表征所述待检测设备是否流量异常的检测结果。
在本发明实施的第三方面,还提供了一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现本发明实施例第一方面提供的方法步骤。
在本发明实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行本发明实施例第一方面提供的方法。
在本发明实施的又一方面,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行本发明实施例第一方面提供的方法。
本发明实施例提供的异常设备检测方法、装置、电子设备及存储介质,其中,所述方法包括:在检测到机房内核心交换机的出入流量异常的情况下,先定位至异常时间段,之后通过在异常时间段内提取各待检测设备的流量特征,对各待检测设备进行异常检测,以确定其中流量异常的设备,进而可以协助运维人员后续对这些流量异常的设备作进一步监测和处理,而无需运维人员对每一台设备进行排查和监测,提高了对流量异常设备定位的效率和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例中一种异常设备检测方法的流程示意图;
图2为相关技术中SCiForest算法模型的原理示意图;
图3为本发明实施例中一种异常设备检测方法的数据流示意图;
图4为本发明实施例中一种异常设备检测装置的结构示意图;
图5为本发明实施例中一种异常设备检测装置的结构示意图;
图6为本发明实施例中一种异常设备检测装置的结构示意图;
图7为本发明实施例中一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。
核心交换机的出入整体流量由机房内所有服务器设备的流量共同构成,当机房内某台服务器设备或者某几台服务器设备存在异常流量,将会直接反映到整体流量的变化中,网络运维人员需要对流经核心交换机的出入流量进行监控。
现有技术中,当流经核心交换机的出入流量接近其最大带宽承时,网络运维人员通常将机房内当前带宽占用量最高的业务流量切至其他机房,以确保当前机房内部署业务的正常运行。然而,在某些情况下,带宽占用量最高的业务并不是导致核心交换机整体流量异常升高的原因,以至于即使将机房内当前带宽占用量最高的业务流量切至其他机房,机房内的出入流量仍然处于不稳定状态。同时,由于导致整体流量异常的设备可能是一台设备,也可能是多台设备,若要求运维人员逐台设备进行排查,在机房内设备较多的情况下,耗时较长且工作量较大。若运维人员无法快速采取准确的应对措施,将会影响机房内部署业务的正常运作。
本发明实施例提供一种异常设备检测方法。
请参见图1,图1为本发明实施例提供的一种异常设备检测方法的流程示意图。所述异常设备检测方法可以由异常设备检测装置执行,以下简称检测装置。所述异常设备检测装置可以部署于机房的核心交换机上,也可以独立于机房的核心交换机部署,本发明实施例对此不作限定。
如图1所示,所述异常设备检测方法,包括:
步骤101、实时记录待检测设备的流量数据;
步骤102、当检测到核心交换机的出入流量在第一时间段内的流量增量大于预设阈值的情况下,确定第一目标时间段,所述核心交换机为所述待检测设备所在机房的核心交换机,所述第一目标时间段包括所述第一时间段;
步骤103、根据所述待检测设备在所述第一目标时间段内的流量数据,确定所述待检测设备在所述第一目标时间段内的流量特征信息;
步骤104、对所述待检测设备在所述第一目标时间段内的流量特征信息进行异常检测,得到用于表征所述待检测设备是否流量异常的检测结果。
本发明实施例中,当检测到机房内核心交换机的出入流量异常的情况下,可以首先确定流量异常的第一目标时间段,进而在所述第一目标时间段内,对机房内多台待检测设备的流量数据进行特征提取。之后,根据每一待检测设备的流量特征,对多台待检测设备的流量特征进行异常检测,确定多台待检测设备中的异常设备。
这样,在机房整体出入流量出现异常时,先定位至异常时间段,通过在异常时间段内提取各待检测设备的流量特征,可以对各待检测设备进行异常检测而快速确定其中流量异常的设备,进而可以协助运维人员后续对这些流量异常的设备作进一步监测和处理,而无需运维人员对每一台设备进行排查和监测,提高了对流量异常设备定位的效率和准确性。
具体的,本发明实施例中,在业务运行过程中,检测装置可以实时记录机房内待检测设备的流量数据。这样,在后续检测到机房整体流量出现异常时,能够快速获取出现异常的时间段内各待检测设备的流量数据。
具体实现时,所述待检测设备是指机房内的服务器设备。检测装置可以将机房内的全部服务器设备均确定为待检测设备,也可以仅将机房内的部分服务器设备确定为待检测设备。具体的,在机房内的服务器设备的数量较多的情况下,可以筛选机房内的部分服务器设备筛选进行异常检测,示例性的,将机房内流量占比排列在前的服务器设备确定为待检测设备;或者将部署业务的优先级排列在前的服务器设备确定为待检测设备。在机房内的服务器设备的数量较少的情况下,可以对机房内的全部服务器设备进行异常检测。具体可根据实际情况决定,本发明实施例在此不作具体限定。
所述待检测设备的流量数据可以为流量数据包的形式,所述流量数据包内的信息可以包括流量值,也可以包括一些流量属性参数,例如流量方向(包括流入机房和流出机房)、来源端设备的设备标识、流经交换机的设备标识(包括流出交换机的设备标识和流入交换机的设备标识)、流经交换机端口的端口标识(包括流出交换机端口的端口标识和流入交换机端口的端口标识))、目的端设备的设备标识等。
检测装置可以通过获取流经核心交换机上的流量数据包中的上述信息,确定流量数据包为哪一待检测设备的流量数据包,并对应记录。检测装置每间隔一定周期记录一次所述待检测设备的流量数据。例如每间隔1分钟或者每间隔5分钟记录一次所述待检测设备的流量数据。具体可根据实际情况决定,本发明实施例在此不作限定。
本发明实施例中,当检测装置检测到核心交换机的出入流量存在异常的情况下,可以确定流量异常的所述第一时间段,所述第一时间段可以理解为业务运行过程中的某一个较短时间段。同时,为了保证获取到充足的、能够准确反映流量异常的流量数据,检测装置可以基于所述第一时间段确定所述第一目标时间段,所述第一目标时间段包括所述第一时间段。
示例性的,检测装置检测到在[2020/12/20-18:21:00,2020/12/20-18:25:00]之间,核心交换机的出入流量存在异常,可以确定所述第一时间段为[2020/12/20-18:21:00,2020/12/20-18:25:00]。然而,导致核心交换机的出入流量异常的原因,可能在2020/12/20-18:21:00之前就已经存在,或者在2020/12/20-18:25:00之后仍然存在。为了保证获取到充足的流量数据,检测装置可以根据所述第一时间段确定需要进行异常检测的所述第一目标时间段,所述第一目标时间段可以为[2020/12/20-18:00:00,2020/12/20-18:29:59]。
需要说明的是,所述第一目标时间段的时长可以为0.5小时,也可以为其他时长。具体可根据实际情况决定,本发明实施例在此不作具体限定。
本发明实施例中,检测装置可以在预先记录的各待检测设备的流量数据中,确定所述待检测设备在所述第一目标时间段内的流量数据,并根据所述第一目标时间段内的流量数据,确定所述待检测设备在所述第一目标时间段内的流量特征信息。
具体实现时,所述待检测设备在所述第一目标时间段内的流量特征信息可以包括,所述待检测设备的流量数据的时域特征信息或者频域特征信息。例如所述第一目标时间段内,所述待检测设备的流量值时间序列、时间序列的峰值等;或者,例如所述第一目标时间段内,所述待检测设备的流量值时间序列经过傅里叶变换后的幅度、频率、均值等。
所述待检测设备在所述第一目标时间段内的流量特征信息也可以包括,所述待检测设备的流量数据的统计特征信息。例如所述第一目标时间段内,所述待检测设备的流量值的平均值、方差、超过某一预设值的概率等;或者,例如所述第一目标时间段内,所述待检测设备的流量值相比历史时间段的同比差异、环比差异等。
可以理解的是,所述待检测设备在所述第一目标时间段内的流量特征信息的内容并不限于此。检测设置可以根据实际情况,确定可以用于描述流量数据的特征参数,并确定所述待检测设备在所述第一目标时间段内的流量特征信息。
本发明实施例中,检测装置可以对所述待检测设备在所述第一目标时间段内的流量特征信息进行异常检测,得到用于表征所述待检测设备是否流量异常的检测结果。
其中,异常检测又称为离群点检测,是指找出与预期对象的行为差异较大的对象的一个检测过程,这些被检测出的对象被称为异常点或者离群点。在本发明实施例中,检测装置可以基于所述待检测设备在所述第一目标时间段内的流量特征信息进行异常检测,以此确定在所述第一目标时间段内各待检测设备中的异常设备。
具体实现时,检测装置可以利用相关技术中的异常检测方法,确定每个所述待检测设备的流量特征跟其他待检测设备的流量特征之间的疏离程度,以此确定每个所述待检测设备的异常程度,进而输出所述待检测设备是否异常的检测结果。
本发明实施例提供的异常设备检测方法,在检测到机房内核心交换机的出入流量异常的情况下,先定位至异常时间段,之后通过在异常时间段内提取各待检测设备的流量特征,对各待检测设备进行异常检测,以确定其中流量异常的设备,进而可以协助运维人员后续对这些流量异常的设备作进一步监测和处理,而无需运维人员对每一台设备进行排查和监测,提高了对流量异常设备定位的效率和准确性。
一、下面对本发明实施例中确定所述待检测设备的具体实施方式进行说明:
本发明实施例中,可选的,在所述步骤101:实时记录待检测设备的流量数据之前,所述方法还包括:
接收用户输入的分析参数,确定所述待检测设备,所述分析参数包括流量流经交换机的设备标识、流量流经交换机的端口的标识和流量的出入方向。
本可选的实施方式中,检测装置可以响应于用户输入的分析参数,确定所述待检测设备。不仅提高了流量数据获取的效率,同时也可以减少计算量,提高后续异常检测的效率。
其中,所述分析参数可以包括流量流经交换机的设备标识。也就是说,用户可以确定机房内的多台交换机设备,限定待检测设备的范围。通过输入这些交换机设备的设备标识,检测装置可以将流量流经这些交换机设备的服务器设备确定为所述待检测设备。
所述分析参数可以包括流量流经交换机的端口的标识。也就是说,用户可以通过确定机房内的多台交换机设备的端口,限定待检测设备的范围。通过输入这些交换机端口的标识,检测装置可以将流量流经这些交换机端口的服务器设备确定为所述待检测设备。
所述分析参数可以包括流量的出入方向。也就是说,用户可以通过确定输入流量的出入方向,限定待检测设备的范围。在所述流量的出入方向为出方向的情况下,检测装置可以将来源端的服务器设备确定为所述待检测设备;在所述流量的出入方向为入方向的情况下,检测装置可以将目的端的服务器设备确定为所述待检测设备。
具体实现时,检测装置可以通过获取流经核心交换机上的流量数据包中的上述信息,确定流量数据包是否为待检测设备的流量数据。示例性的,通过用户输入的分析参数,检测装置确定流量流经的交换机设备为交换机1至交换机3、流量的出入方向为出方向。若当前获取的流量数据包中记录当前流量的来源端设备属于当前机房,且其流量的交换机为交换机1,那么检测装置可以根据该流量数据包中携带的来源端设备的设备标识,将该来源端设备确定为待检测设备,并记录该流量数据包中的数据。
在一种实现形式中,为了便于计算,检测装置可以将获取到的流量数据包中的数据按照预设维度进行聚合。所述聚合的维度可以至少包括流量的出入方向、来源端设备的设备标识、目的端设备的设备标识、流量流经交换机的设备标识及流量流经交换机端口的标识。具体聚合的过程不是本实施方式的重点,在此不再赘述。
需要说明的是,在其他可选的实施方式中,检测装置可以自行筛选机房内的部分服务器设备确定为所述待检测设备。例如,将机房内流量占比TopM的服务器设备确定为待检测设备;或者将部署业务的优先级TopM的服务器设备确定为待检测设备。上述M的确定可以基于检测装置的预先设置参数确定,也可根据用户实时输入的分析参数确定,具体可根据实际情况决定,在此不作具体限定。
二、下面对本发明实施例中确定核心交换机在第一时间段内的出入流量存在异常的具体实施方式进行说明:
本发明实施例中,可选的,所述核心交换机在第一时间段内的出入流量存在异常,满足以下任意一项:
在所述第一时间段内,所述核心交换机的流量增量大于第一预设阈值;
在所述第一时间段内,所述核心交换机的流量总量与所述核心交换机的最大带宽的差值小于第二预设阈值。
具体实现时,检测装置可以实时记录核心交换机的流量数据,包括出入流量的流量值。在一种实现形式中,检测装置还可以基于预设的单位时间间隔,确定单位时间内核心交换机的流量值的变化量。当检测到核心交换机在所述第一时间段内的流量增量大于第一预设阈值的情况下,表示核心交换机在所述第一时间段内流量异常升高,可以确定核心交换机当前存在流量异常。
在另一种实现形式中,检测装置还可以基于预设的单位时间间隔,记录单位时间内核心交换机的流量总量。当检测到核心交换机在所述第一时间段内的流量总量接近其最大带宽时,可以确定核心交换机当前存在流量异常。
可以理解的是,确定核心交换机的出入流量存在异常的条件并不限于此,具体可根据实际情况决定,本发明实施在此不作限定。
三、下面对本发明实施例中确定所述待检测设备在所述第一目标时间段内的流量特征信息的具体实施方式进行说明:
本发明实施例中,可选的,所述步骤103:根据所述待检测设备在所述第一目标时间段内的流量数据,确定所述待检测设备在所述第一目标时间段内的流量特征信息,包括:
根据所述待检测设备在所述第一目标时间段内的流量数据与第二目标时间段内的流量数据之间的差异,确定所述待检测设备在所述第一目标时间段内的流量特征信息;其中,所述第二目标时间段为所述第一目标时间段之前的历史时间段。
本可选的实施方式中,检测装置除了获取所述待检测设备在所述第一目标时间段的流量数据,还可以获取所述待检测设备在历史时间段的流量数据,作为确定所述待检测设备在所述第一目标时间段内的流量特征信息的数据基础。所述历史时间段为所述第一目标时间段之前的时间段,在此表述为第二目标时间段。
在一种实现形式中,所述第二目标时间段可以包括所述第一子时间段。所述第一子时间段可以理解为所述第一目标时间段的上一个等长时间段。示例性的,所述第一目标时间段为[2020/12/20-18:00:00,2020/12/20-18:29:59],所述第一子时间段则为[2020/12/20-17:30:00,2020/12/20-17:59:59]。
在一种实现形式中,所述第二目标时间段可以包括所述第二子时间段。在所述第一时间周期为24小时(1天)的情况下,所述第二子时间段可以理解为所述第一目标时间段的前一天中与所述第一目标时间段相同的时间段。示例性的,所述第一目标时间段为[2020/12/20-18:00:00,2020/12/20-18:29:59],所述第二子时间段则为[2020/12/19-18:00:00,2020/12/19-18:29:59]。
在一种实现形式中,所述第二目标时间段可以包括所述第三子时间段。在所述第二时间周期为168小时(7天)的情况下,所述第三子时间段可以理解为所述第一目标时间段的前一周中与所述第一目标时间段相同的时间段。示例性的,所述第一目标时间段为[2020/12/20-18:00:00,2020/12/20-18:29:59],所述第二子时间段则为[2020/12/13-18:00:00,2020/12/13-18:29:59]。
在一种实现形式中,所述第二目标时间段可以包括所述第一子时间段、所述第二子时间段、所述第三子时间段内的一者或者多者,检测装置可以分别确定所述待检测设备在所述第一目标时间段的流量数据与在每一子时间段的流量数据之间的差异,进而可以对应确定所述待检测设备在所述第一目标时间段内的一项或者多项流量特征。
可以理解的是,本可选的实施方式中,所述第一时间周期和所述第二时间周期并不限于此,具体可根据实际情况决定,并对应确定所述第二目标时间段包括的子时间段,在此不作具体限定。
本可选的实施方式中,检测装置可以根据所述待检测设备在所述第一目标时间段内的流量数据与所述第二目标时间段内的流量数据之间的差异,确定所述待检测设备在所述第一目标时间段内的流量特征信息。
具体实现时,检测装置可以计算所述待检测设备在所述第一目标时间段内的流量值与所述第二目标时间段内的流量值之间的差值,具体可以包括但不限于以下两种实施方式:
第一种实施方式,检测装置可以按照时间点记录流量数据,进而分别获取所述待检测设备在所述第一目标时间段内每一时间点对应的流量值,以及所述待检测设备在每个所述第二目标时间段内每一时间点对应的流量值。之后,检测装置可以根据时间点之间的对应关系,分别计算对应的两个时间点之间的流量差值。
示例性的,检测装置每间隔5分钟记录一次流量值,在所述第一目标时间段[2020/12/20-18:00:00,2020/12/20-18:29:59]和所述第二目标时间段[2020/12/20-17:30:00,2020/12/20-17:59:59]中均可以记录所述待检测设备的6个流量值;检测装置可以计算2020/12/20 18:00:00与2020/12/20 17:30:00之间的流量差值、2020/12/20 18:05:00与2020/12/20 17:35:00之间的流量差值···,依次类推,得到六个流量差值。
第二种实施方式,检测装置可以按照时间点记录流量数据,进而分别获取所述待检测设备在所述第一目标时间段内每一时间点对应的流量值,以及所述待检测设备在每个所述第二目标时间段内每一时间点对应的流量值。之后,检测装置可以先分别计算所述第一目标时间段内各时间点的流量平均值和所述第二目标时间段内各时间点的流量平均值,再计算两个时间段的流量平均值之间的差值。
示例性的,检测装置每间隔5分钟记录一次流量值,在所述第一目标时间段[2020/12/20-18:00:00,2020/12/20-18:29:59]和所述第二目标时间段[2020/12/20-17:30:00,2020/12/20-17:59:59]中均可以记录所述待检测设备的6个流量值。检测装置可以先计算[2020/12/20-18:00:00,2020/12/20-18:29:59]中的流量平均值A,以及[2020/12/20-17:30:00,2020/12/20-17:59:59]中的流量平均值B,再计算流量平均值A与流量平均值B的差值。
可以理解的是,检测装置确定所述待检测设备在所述第一目标时间段内的流量数据与所述第二目标时间段内的流量数据之间的差异的实施方式并不限于此,具体可根据实际情况决定,在此不作具体限定。
检测装置根据所述待检测设备在所述第一目标时间段内的流量值与所述第二目标时间段内的流量差值,可以从多角度确定所述待检测设备在所述第一目标时间段内的流量特征信息。例如,流量差值的时间分布序列、所述待检测设备在上述两个时间段内的流量差值与核心交换机的出入整体流量在上述两个时间段内的流量差值之间的关系等。
本可选的实施方式中,根据所述待检测设备在所述第一目标时间段内的流量数据与第二目标时间段内的流量数据之间的差异,确定所述待检测设备在所述第一目标时间段内的流量特征信息。这样确定的流量特征信息,以历史流量数据作为对比基础,能够反映所述待检测设备在所述第一目标时间段内的流量数据相比历史流量数据的变化以及变化程度,以确定所述第一目标时间段内,所述待检测设备是否存在不符合其历史规律的流量数据,进而确定所述待检测设备是否存在流量异常。
进一步的,可选的,所述流量特征信息包括流量特征向量,所述流量特征向量包括k个维度,k为正整数;
所述根据所述待检测设备在所述第一目标时间段内的流量数据与第二目标时间段内的流量数据之间的差异,确定所述待检测设备在所述第一目标时间段内的流量特征信息,包括以下至少一项:
根据所述待检测设备在所述第一目标时间段内的流量同比差异,确定所述流量特征向量的至少一个维度的值;
根据所述待检测设备在所述第一目标时间段内的流量环比差异,确定所述流量特征向量的至少一个维度的值。
其中,所述待检测设备在所述第一目标时间段内的流量同比差异可以理解为,所述待检测设备在所述第一目标时间段内的流量数据与所述待检测设备在所述第二子时间段内的流量数据之间的差异,或者所述待检测设备在所述第一目标时间段内的流量数据与所述待检测设备在所述第三子时间段内的流量数据之间的差异。
所述待检测设备在所述第一目标时间段内的流量环比差异为所述待检测设备在所述第一目标时间段内的流量数据与所述待检测设备在所述第一子时间段内的流量数据之间的差异。
在所述第一时间周期为24小时(1天)、所述第二时间周期为168小时(7天)的情况下,所述同比差异为所述待检测设备在所述第一目标时间段内与前一天同一时间段内的流量数据差异;也可以为所述待检测设备在所述第一目标时间段内与前一周同一时间段内的流量数据差异。
本可选的实施方式中,检测装置可以用向量表示所述待检测设备在所述第一目标时间段内的流量特征信息,这样,可以以所述待检测设备在所述第一目标时间段内的流量数据与第二目标时间段内的流量数据之间的差异为基础,从多个维度描述所述待检测设备在所述第一目标时间段内的流量表现,以一种标量的方式确定所述流量特征向量总每一维度的值。
具体实现时,以所述待检测设备在所述第一目标时间段内的流量数据与第二目标时间段内的流量数据之间的差异为基础,检测装置可以首先计算所述同比差异和所述环比差异。之后,对所述同比差异和所述环比差异进行统计分析,确定与所述同比差异和所述环比差异相关联的统计信息。
下面对本可选的实施方式中,所述统计信息的实现形式进行介绍:
可选的,所述统计信息可以包括以下至少一项:
(1)根据所述待检测设备在所述第一目标时间段内的流量同比差异分布的分位数,确定所述流量特征向量的至少一个维度的值;
(2)根据所述待检测设备在所述第一目标时间段内的流量同比差异占所述核心交换机在所述第一目标时间段的流量同比差异的百分比,确定所述流量特征向量的至少一个维度的值;
(3)根据所述待检测设备在所述第一目标时间段内i个时间点的流量同比差异之和占所述核心交换机在所述第一目标时间段内i个时间点的流量同比差异之和的百分比,确定所述流量特征向量的至少一个维度的值;
(4)根据所述待检测设备在所述第一目标时间段内的流量同比差异时间序列与所述核心交换机在所述第一目标时间段内的流量同比差异时间序列之和的相关度,确定所述流量特征向量的至少一个维度的值;
(5)根据所述待检测设备在所述第一目标时间段内的流量环比差异,确定所述流量特征向量的至少一个维度的值。
其中,第(1)项可以理解为,在检测装置按照时间点记录流量数据的情况下,在所述第一目标时间段和所述第二子时间段(或者所述第三子时间段)内,检测装置可以分别记录所述待检测设备的多组流量数据。检测装置可以分别所述第一目标时间段内每一时间点的所述待检测设备的流量同比差异并进行聚合,得到在所述第一目标时间段内流量同比差异分布,进而可以确定流量同比差异分布的分位数,例如中位数、四分位数、百分位数。根据每一分位数,检测装置均可以对应确定所述待检测设备的流量特征向量的一个维度的值。
第(2)项可以理解为,在检测装置按照时间点记录流量数据的情况下,在所述第一目标时间段和所述第二子时间段(或者所述第三子时间段)内,检测装置可以分别记录所述待检测设备和核心交换机的多组流量数据。在所述第一目标时间段内,检测装置可以计算每一时间点对应的,所述待检测设备的流量同比差异与核心交换机的流量同比差异的百分比值。根据每一时间点对应的百分比值,检测装置可以对应确定所述待检测设备的流量特征向量的至少一个维度的值。
示例性的,检测装置可以计算所述第一目标时间段内,所述待检测设备在多个时间点的流量同比差异的平均值与核心交换机在多个时间点的流量同比差异的平均值的百分比值。根据上述流量同比差异的平均值的百分比值,检测装置可以对应确定所述待检测设备的流量特征向量的一个维度的值。
或者,示例性的,在所述第一目标时间段内,检测装置可以计算每一时间点对应的,所述待检测设备的流量同比差异与核心交换机的流量同比差异的百分比值,并对多个时间点的流量同比差异的百分比值进行聚合,得到在所述第一目标时间段内所述流量同比差异的百分比值的分布情况,进而可以确定所述流量同比差异的百分比值的分位数,例如中位数、四分位数、百分位数。根据每一分位数,检测装置均可以对应确定所述待检测设备的流量特征向量的一个维度的值。
第(3)项可以理解为,在检测装置按照时间点记录流量数据的情况下,在所述第一目标时间段和所述第二子时间段(或者所述第三子时间段)内,检测装置可以分别记录所述待检测设备和核心交换机的多组流量数据。检测装置可以计算所述第一目标时间段内,所述待检测设备的流量同比差异之和与核心交换机的流量同比差异之和的百分比值。根据上述百分比值,检测装置可以对应确定所述待检测设备的流量特征向量的一个维度的值。
第(4)项可以理解为,在检测装置按照时间点记录流量数据的情况下,在所述第一目标时间段和所述第二子时间段(或者所述第三子时间段)内,检测装置可以分别记录所述待检测设备和核心交换机的多组流量数据。检测装置可以计算所述第一目标时间段内,所述待检测设备的流量同比差异的时间序列与核心交换机的流量同比差异的时间序列的相关度。根据上述相关度,检测装置可以对应确定所述待检测设备的流量特征向量的一个维度的值。
第(5)项可以理解为,在检测装置按照时间点记录流量数据的情况下,在所述第一目标时间段和所述第二子时间段(或者所述第三子时间段)内,检测装置可以分别记录所述待检测设备和核心交换机的多组流量数据。在所述第一目标时间段内每一时间点,检测装置可以计算所述待检测设备的流量环比差异;或者,检测装置可以计算所述第一目标时间段内,所述待检测设备的流量环比差异的平均值。根据上述流量环比差异,检测装置可以对应确定所述待检测设备的流量特征向量的一个维度的值。
需要说明的是,根据第(5)项确定的所述待检测设备在所述第一目标时间段内的流量环比差异,检测装置也可以参照对所述流量同比差异的处理,而对所述流量环比差异作进一步处理,并可分别对应确定所述待检测设备的流量特征向量的一个维度的值,为避免重复,在此不再赘述。
可以理解的是,对所述流量特征向量进行标量描述的范围并不限于此,具体可根据实际情况决定,在此不作具体限定。
本可选的实施方式中,检测装置以所述待检测设备在所述第一目标时间段内的流量数据与第二目标时间段内的流量数据之间的差异为基础,对上述流量数据之间的差异进行统计分析,可以从多个维度定量的描述所述待检测设备在所述第一目标时间段内的流量表现。这样,所述流量特征向量能够更加准确的描述所述待检测设备在所述第一目标时间段内的流量特征,提高了后续对其进行异常检测的准确性。
本可选的实施方式中,进一步的,可选的,所述对所述待检测设备在所述第一目标时间段内的流量特征信息进行异常检测,得到用于表征所述待检测设备是否流量异常的检测结果,包括:
根据N台所述待检测设备的N个流量特征向量,生成第一流量特征矩阵,所述第一流量特征矩阵为N×k矩阵,N为正整数;
将所述第一流量特征矩阵输入SCiForest算法模型,得到所述第一目标时间段内的流量异常设备的索引清单。
具体实现时,检测装置可以将N台待检测设备的流量特征向量作为行向量,生成所述第一流量特征矩阵,其中,每一行向量可以与所述待检测设备的设备标识相关联。之后,检测装置可以将所述第一流量特征矩阵输入所述SCiForest算法模型中。
其中,所述SCiForest算法模型可以对输入模型的多个流量特征向量(所述多个流量特征向量为所述第一流量特征矩阵的行向量)进行随机切分,将所述多个流量特征向量分为两组,之后在每组流量特征向量中在重复上述随机切分的步骤,直到不可再次切分,即当前组中只包括一个流量特征向量。若某一流量特征向量相比其他流量特征向量的疏离程度较高,那么切分较少的次数即可以将其独立出来,若某一流量特征向量相比其他流量特征向量的疏离程度较低,那么需要切分较多的次数才可以将其独立出来,依此可以确定流量特征的异常程度。
示例性的,如图2所示,假设所述多个流量特征向量如图所示,当将所述多个流量特征向量输入所述SCiForest算法模型后,所述SCiForest算法模型会对所述多个流量特征向量进行随机切分,将其分为两则。由于流量特征向量B较其他流量特征向量更疏离,切分较少的次数就可以将其独立出来,可以确定流量特征向量B为异常值;而流量特征向量A与其他流量特征向量聚在一起,切分较多的次数才能将其独立出来,可以确定流量特征向量A为非异常值。
基于所述SCiForest算法模型,将N×k维的第一流量特征矩阵映射至N×1维矩阵。该N×1维矩阵可以用于表征流量特征异常的待检测设备的索引,即流量特征异常的待检测设备的设备标识。
示例性的,假设:待检测设备的数量为10台,10台待检测设备的设备标识向量为[A,B,C,D,E,F,G,H,I,J]。那么,所述第一流量特征矩阵为10×k维矩阵。检测装置将所述10×k维的第一流量特征矩阵输入所述SCiForest算法模型,可以输出一个10×1维矩阵。假设:上述10×1维矩阵为[0,1,1,0,0,0,0,1,0,0],其中,0表示非异常,1表示异常。那么将[0,1,1,0,0,0,0,1,0,0]与[A,B,C,D,E,F,G,H,I,J]一一对应可以确定10台待检测设备中设备B、设备C和设备H为流量异常设备。
具体实现时,检测装置需要给定所述SCiForest算法模型训练的超参数,所述超参数可以包括但不限于contamination、tree max depth、max col三个参数。
其中,contamination参数表征最终确定为异常设备的上限数量,可以理解为在所述N台待检测设备中确定n%的设备为异常设备,其可以决定异常检测的精度。
tree max depth参数表征所述SCiForest算法模型中构建的二叉树的深度,其可以决定训练停止的时机。上述二叉树的深度可以理解为二叉树分支的个数。所述SCiForest算法模型将对输入的流量特征进行切分,以二叉树来表示的话,执行一次切分即可将所述二叉树叉分一次,生成两个新的分支;之后对每一分支再执行一次切分,可将所述二叉树叉分一次,生成四个新的分支,依次类推。当训练进行到所述二叉树的最大个数时,切分可以停止。
max col参数表征输入所述SCiForest算法模型的特征矩阵中每一特征向量的最大维度,即为本实施方式中的k。
在一种具体的实现形式中,在所述根据N台所述待检测设备的N个流量特征向量,生成第一流量特征矩阵之后,所述将所述第一流量特征矩阵输入SCiForest算法模型,得到所述第一目标时间段内的流量异常设备的索引清单之前,所述方法还包括:
对所述第一流量特征矩阵进行列向量归一化,得到第二流量特征矩阵;
所述将所述第一流量特征矩阵输入所述SCiForest算法模型,得到所述第一目标时间段内的流量异常设备的索引清单,包括:
将所述第二流量特征矩阵输入所述SCiForest算法模型,得到所述第一目标时间段内的流量异常设备的索引清单。
本实现形式中,在生成所述第一流量特征矩阵后,检测装置可以对其进行列向量归一化,归一化是指将数据按比例缩放后映射到0至1的范围之内进行处理,将数据从有量纲的表达转变为无量纲的表达,方便数据的后续处理。通过列向量归一化可以将所述第一流量特征矩阵中不同维度的取值处于同一度量单位,更便于后续输入所述SCiForest算法模型进行处理。
具体实现时,可以利用最大最小值归一化法,或者标准归一化法对所述第一流量特征矩阵进行列向量归一化。其中,所述最大最小值归一化法和所述标准归一化法的具体实现可以参照相关技术进行,在此不再赘述。可以理解的是,对所述第一流量特征矩阵进行列向量归一化的实现形式并不限于此,本实施方式对此不作限定。
在一种具体的实现形式中,在所述根据N台所述待检测设备的N个流量特征向量,生成第一流量特征矩阵之后,所述将所述第一流量特征矩阵输入SCiForest算法模型,得到所述第一目标时间段内的流量异常设备的索引清单之前,所述方法还包括:
检测所述第一流量特征矩阵中是否存在目标行向量,所述目标行向量为所述第一流量特征矩阵中非同向性的行向量;
在所述第一流量特征矩阵中存在目标行向量的情况下,删除所述目标行向量,得到第三流量特征矩阵;其中,所述第三流量特征矩阵为M×k矩阵,M为小于N的正整数。
所述将所述第一流量特征矩阵输入所述SCiForest算法模型,得到所述第一目标时间段内的流量异常设备的索引清单,包括:
将所述第三流量特征矩阵输入所述SCiForest算法模型,得到所述第一目标时间段内的流量异常设备的索引清单。
本实现形式中,所述目标行向量对应的待检测设备可以理解为:在机房整体流量异常升高的情况下,个别流量下降的待检测设备。将所述目标行向量从所述第一流量特征矩阵中剔除,可以避免后续非同向性异常的特征向量对异常检测精度的影响。
四、下面对本发明实施例中对异常检测结果的后续处理的具体实施方式进行说明:
本发明实施例中,可选的,在所述步骤104:将所述第一流量特征矩阵输入SCiForest算法模型,得到所述第一目标时间段内的流量异常设备的索引清单之后,所述方法包括:
根据所述流量异常设备的索引清单,确定流量异常设备清单;
确定所述流量异常设备清单中每个流量异常设备在预设时间段内的流量数据的时间序列与所述核心交换机在所述预设时间段内的流量数据的时间序列的相关度;
按照所述相关度,对所述流量异常设备清单中的流量异常设备进行排序,输出流量异常设备列表,所述流量异常设备列表用于指示根据每个流量异常设备的所述相关度,对每个流量异常设备进行监测。
具体实现时,所述预设时间段可以是以检测时间为基础的最近一个预设时间段。检测装置在确定流量异常设备清单之后,检测装置可以获取所述流量异常设备在所述预设时间段内的流量数据的时间序列,以及核心交换机在所述预设时间段内的流量数据的时间序列,并对二者进行相关性分析,以确定每一所述流量异常设备与核心交换机的相关度。
具体的,可以利用皮尔逊相关法对流量异常设备的流量数据的时间序列,以及核心交换机的流量数据的时间序列进行相关度计算。所述皮尔逊相关法的具体实现可以参照相关技术进行,在此不再赘述。可以理解的是,对两时间序列进行相关度计算的实现形式并不限于此,本实施方式对此不作限定。
本可选的实施方式中,通过将流量异常设备的流量时间序列与核心交换机的流量时间序列进行相关性分析,可以确定各流量异常设备的流量异常与核心交换机的流量异常的影响程度,并基于相关度从高到低的排序,可以快速确定实际造成核心交换机流量异常的设备,提高了流量异常设备的效率和准确性。运维人员可以根据这一检测结果对流量异常设备作进一步监测和分析。
为方便理解,在此对本发明实施例的一种具体实施方式进行说明,本实施方式中检测装置的结构框图以及数据流如图3所示:
检测装置300可以包括数据获取模块301,特征提取模块302,异常定位模块303以及相关性排序模块304。其中:
数据获取模块301主要用于:1)根据核心交换机的出入整体流量确定所述第一目标时间段;2)接收用户输入的分析参数,并据此确定待检测设备;3)获取所述待检测设备在所述第一目标时间段和所述第二目标时间段内的流量数据,并将其输入特征提取模块302。
特征提取模块302主要用于:1)根据数据获取模块301获取的流量数据,从5个角度确定每台待检测设备在所述第一目标时间段内的流量特征向量的维度,以及每一维度的值,其中,特征提取模块为每一待检测设备设置对应的特征提取组件3021;2)将N台待检测设备在所述第一目标时间段内的流量特征向量生成所述第一流量特征矩阵,并对所述第一流量特征矩阵进行列向量归一化,得到所述第二流量特征矩阵;3)将所述第二流量特征矩阵输入异常定位模块303。
为了保证数据的充足性和有效性,特征提取模块302将所述第一目标时间段的时长确定为30分钟。同时,上述确定所述待检测设备在所述第一目标时间段内的流量特征向量的维度的5个角度分别为:
a.在所述第一目标时间段内,所述待检测设备的流量同比差异的分位数;
b.在所述第一目标时间段内,所述待检测设备的流量环比差异;
c.在所述第一目标时间段内,所述待检测设备的流量同比差异占核心交换机的流量同比差异的百分比值的分位数;
d.在所述第一目标时间段内,所述待检测设备的流量同比差异和占核心交换机的流量同比差异和的百分比值;
e.在所述第一目标时间段内,所述待检测设备的流量同比差异时间序列与核心交换机的流量同比差异时间序列之间的相关度。
异常定位模块303主要用于:1)将特征提取模块302确定的所述第二流量特征矩阵输入SCiForest算法模型,并给定包括contamination,tree max depth,max col三个参数在内的训练超参数,所述SCiForest算法模型将输出流量异常设备的索引清单;2)根据所述流量异常设备的索引清单,确定流量异常的服务器设备,并将所述流量异常的服务器设备的设备标识输入相关性排序模块304。
相关性排序模块304主要用于:1)根据所述流量异常的服务器设备的设备标识,获取所述流量异常的服务器设备在最近的预设时间段内的流量数据的时间序列,以及核心交换机在最近的预设时间段内的流量数据的时间序列;2)对每一流量异常的服务器设备在最近的预设时间段内的流量数据的时间序列,以及核心交换机在最近的预设时间段内的流量数据的时间序列进行相关性分析,并对相关性分析的结果进行排序,得到流量异常设备列表;3)将所述流量异常设备列表输出。
综上所述,本发明实施例提供的异常设备检测方法,在检测到机房内核心交换机的出入流量异常的情况下,先定位至异常时间段,之后通过在异常时间段内提取各待检测设备的流量特征,对各待检测设备进行异常检测,以确定其中流量异常的设备,进而可以协助运维人员后续对这些流量异常的设备作进一步监测和处理,而无需运维人员对每一台设备进行排查和监测,提高了对流量异常设备定位的效率和准确性。
请参见图4,图4是本发明实施例提供的一种异常设备检测装置的结构图。
如图4所示,异常设备检测装置400包括:
记录模块401,用于实时记录待检测设备的流量数据;
第一确定模块402,用于当检测到核心交换机在第一时间段内的出入流量存在异常的情况下,确定第一目标时间段,所述核心交换机为所述待检测设备所在机房的核心交换机,所述第一目标时间段包括所述第一时间段;
第二确定模块403,用于根据所述待检测设备在所述第一目标时间段内的流量数据,确定所述待检测设备在所述第一目标时间段内的流量特征信息;
检测模块404,用于对所述待检测设备在所述第一目标时间段内的流量特征信息进行异常检测,得到用于表征所述待检测设备是否流量异常的检测结果。
可选的,所述核心交换机在第一时间段内的出入流量存在异常,满足以下任意一项:
在所述第一时间段内,所述核心交换机的流量增量大于第一预设阈值;
在所述第一时间段内,所述核心交换机的流量总量与所述核心交换机的最大带宽的差值小于第二预设阈值。
可选的,如图5所示,第二确定模块403包括:
确定单元4031,用于根据所述待检测设备在所述第一目标时间段内的流量数据与第二目标时间段内的流量数据之间的差异,确定所述待检测设备在所述第一目标时间段内的流量特征信息;
其中,所述第二目标时间段为所述第一目标时间段之前的历史时间段。
可选的,所述第二目标时间段包括以下至少一项:
第一子时间段,所述第一子时间段与所述第一目标时间段为连续,且所述第一子时间段与所述第一目标时间段的时长相等;
第二子时间段,所述第二子时间段与所述第一目标时间段为相邻的两个第一时间周期中的时间段,且所述第二子时间段的起始时刻与所述第一目标时间段的起始时刻之间的时间间隔等于所述第一时间周期的周期时长,且所述第二子时间段与所述第一目标时间段的时长相等;
第三子时间段,所述第三子时间段与所述第一目标时间段为相邻的两个第二时间周期中的时间段,且所述第三子时间段的起始时刻与所述第一目标时间段的起始时刻之间的时间间隔等于所述第二时间周期的周期时长,且所述第三子时间段与所述第一目标时间段的时长相等,所述第二时间周期的时长长于所述第一时间周期的时长。
可选的,所述流量特征信息包括流量特征向量,所述流量特征向量包括k个维度,k为正整数;确定单元4031,包括以下至少一项:
第一确定子单元,用于根据所述待检测设备在所述第一目标时间段内的流量同比差异,确定所述流量特征向量的至少一个维度的值;所述待检测设备在所述第一目标时间段内的流量同比差异为所述待检测设备在所述第一目标时间段内的流量数据与所述待检测设备在所述第二子时间段内的流量数据之间的差异,或者为所述待检测设备在所述第一目标时间段内的流量数据与所述待检测设备在所述第三子时间段内的流量数据之间的差异;
第二确定子单元,用于根据所述待检测设备在所述第一目标时间段内的流量环比差异,确定所述流量特征向量的至少一个维度的值;所述待检测设备在所述第一目标时间段内的流量环比差异为所述待检测设备在所述第一目标时间段内的流量数据与所述待检测设备在所述第一子时间段内的流量数据之间的差异。
可选的,所述第一确定子单元,具体用于以下至少一项:
根据所述待检测设备在所述第一目标时间段内的流量同比差异分布的分位数,确定所述流量特征向量的至少一个维度的值;
根据所述待检测设备在所述第一目标时间段内的流量同比差异占所述核心交换机在所述第一目标时间段的流量同比差异的百分比,确定所述流量特征向量的至少一个维度的值;
根据所述待检测设备在所述第一目标时间段内i个时间点的流量同比差异之和占所述核心交换机在所述第一目标时间段内i个时间点的流量同比差异之和的百分比,确定所述流量特征向量的至少一个维度的值;
根据所述待检测设备在所述第一目标时间段内的流量同比差异时间序列与所述核心交换机在所述第一目标时间段内的流量同比差异时间序列之和的相关度,确定所述流量特征向量的至少一个维度的值。
可选的,检测模块404包括:
生成单元,用于根据N台所述待检测设备的N个流量特征向量,生成第一流量特征矩阵,所述第一流量特征矩阵为N×k矩阵,N为正整数;
检测单元,用于将所述第一流量特征矩阵输入SCiForest算法模型,得到所述第一目标时间段内的流量异常设备的索引清单。
可选的,所述检测模块还包括:
处理单元,用于对所述第一流量特征矩阵进行列向量归一化,得到第二流量特征矩阵;
所述检测单元,具体用于:
将所述第二流量特征矩阵输入所述SCiForest算法模型,得到所述第一目标时间段内的流量异常设备的索引清单。
可选的,如图6所示,异常设备检测装置400还包括:
第三确定模块405,用于根据所述流量异常设备的索引清单,确定流量异常设备清单;
第四确定模块406,用于确定所述流量异常设备清单中每个流量异常设备在预设时间段内的流量数据的时间序列与所述核心交换机在所述预设时间段内的流量数据的时间序列的相关度;
排序模块407,用于按照所述相关度,对所述流量异常设备清单中的流量异常设备进行排序,输出流量异常设备列表,所述流量异常设备列表用于指示根据每个流量异常设备的所述相关度,对每个流量异常设备进行监测。
本发明实施例中,异常设备检测装置400可实现如图1所示的方法实施例中业务服务器实现的各个过程,且可以达到相同有益效果,为避免重复,这里不再赘述。
本发明实施例还提供了一种电子设备,如图7所示,包括处理器701、通信接口702、存储器703和通信总线704,其中,处理器701,通信接口702,存储器703通过通信总线704完成相互间的通信,
存储器703,用于存放计算机程序;
处理器701,用于执行存储器703上所存放的程序时,实现如下步骤:
实时记录待检测设备的流量数据;
当检测到核心交换机在第一时间段内的出入流量存在异常的情况下,确定第一目标时间段,所述核心交换机为所述待检测设备所在机房的核心交换机,所述第一目标时间段包括所述第一时间段;
根据所述待检测设备在所述第一目标时间段内的流量数据,确定所述待检测设备在所述第一目标时间段内的流量特征信息;
对所述待检测设备在所述第一目标时间段内的流量特征信息进行异常检测,得到用于表征所述待检测设备是否流量异常的检测结果。
可选的,所述核心交换机在第一时间段内的出入流量存在异常,满足以下任意一项:
在所述第一时间段内,所述核心交换机的流量增量大于第一预设阈值;
在所述第一时间段内,所述核心交换机的流量总量与所述核心交换机的最大带宽的差值小于第二预设阈值。
可选的,所述根据所述待检测设备在所述第一目标时间段内的流量数据,确定所述待检测设备在所述第一目标时间段内的流量特征信息,包括:
根据所述待检测设备在所述第一目标时间段内的流量数据与第二目标时间段内的流量数据之间的差异,确定所述待检测设备在所述第一目标时间段内的流量特征信息;
其中,所述第二目标时间段为所述第一目标时间段之前的历史时间段。
可选的,所述第二目标时间段包括以下至少一项:
第一子时间段,所述第一子时间段与所述第一目标时间段为连续,且所述第一子时间段与所述第一目标时间段的时长相等;
第二子时间段,所述第二子时间段与所述第一目标时间段为相邻的两个第一时间周期中的时间段,且所述第二子时间段的起始时刻与所述第一目标时间段的起始时刻之间的时间间隔等于所述第一时间周期的周期时长,且所述第二子时间段与所述第一目标时间段的时长相等;
第三子时间段,所述第三子时间段与所述第一目标时间段为相邻的两个第二时间周期中的时间段,且所述第三子时间段的起始时刻与所述第一目标时间段的起始时刻之间的时间间隔等于所述第二时间周期的周期时长,且所述第三子时间段与所述第一目标时间段的时长相等,所述第二时间周期的时长长于所述第一时间周期的时长。
可选的,所述流量特征信息包括流量特征向量,所述流量特征向量包括k个维度,k为正整数;
所述根据所述待检测设备在所述第一目标时间段内的流量数据与第二目标时间段内的流量数据之间的差异,确定所述待检测设备在所述第一目标时间段内的流量特征信息,包括以下至少一项:
根据所述待检测设备在所述第一目标时间段内的流量同比差异,确定所述流量特征向量的至少一个维度的值;所述待检测设备在所述第一目标时间段内的流量同比差异为所述待检测设备在所述第一目标时间段内的流量数据与所述待检测设备在所述第二子时间段内的流量数据之间的差异,或者为所述待检测设备在所述第一目标时间段内的流量数据与所述待检测设备在所述第三子时间段内的流量数据之间的差异;
根据所述待检测设备在所述第一目标时间段内的流量环比差异,确定所述流量特征向量的至少一个维度的值;所述待检测设备在所述第一目标时间段内的流量环比差异为所述待检测设备在所述第一目标时间段内的流量数据与所述待检测设备在所述第一子时间段内的流量数据之间的差异。
可选的,所述根据所述待检测设备在所述第一目标时间段内的流量同比差异,确定所述流量特征向量的至少一个维度,包括以下至少一项:
根据所述待检测设备在所述第一目标时间段内的流量同比差异分布的分位数,确定所述流量特征向量的至少一个维度的值;
根据所述待检测设备在所述第一目标时间段内的流量同比差异占所述核心交换机在所述第一目标时间段的流量同比差异的百分比,确定所述流量特征向量的至少一个维度的值;
根据所述待检测设备在所述第一目标时间段内i个时间点的流量同比差异之和占所述核心交换机在所述第一目标时间段内i个时间点的流量同比差异之和的百分比,确定所述流量特征向量的至少一个维度的值;
根据所述待检测设备在所述第一目标时间段内的流量同比差异时间序列与所述核心交换机在所述第一目标时间段内的流量同比差异时间序列之和的相关度,确定所述流量特征向量的至少一个维度的值。
可选的,所述对所述待检测设备在所述第一目标时间段内的流量特征信息进行异常检测,得到用于表征所述待检测设备是否流量异常的检测结果,包括:
根据N台所述待检测设备的N个流量特征向量,生成第一流量特征矩阵,所述第一流量特征矩阵为N×k矩阵,N为正整数;
将所述第一流量特征矩阵输入SCiForest算法模型,得到所述第一目标时间段内的流量异常设备的索引清单。
可选的,在所述根据N台所述待检测设备的N个流量特征向量,生成第一流量特征矩阵之后,所述将所述第一流量特征矩阵输入SCiForest算法模型,得到所述第一目标时间段内的流量异常设备的索引清单之前,所述方法还包括:
对所述第一流量特征矩阵进行列向量归一化,得到第二流量特征矩阵;
所述将所述第一流量特征矩阵输入SCiForest算法模型,得到所述第一目标时间段内的流量异常设备的索引清单,包括:
将所述第二流量特征矩阵输入所述SCiForest算法模型,得到所述第一目标时间段内的流量异常设备的索引清单。
可选的,在所述将所述第一流量特征矩阵输入SCiForest算法模型,得到所述第一目标时间段内的流量异常设备的索引清单之后,所述方法包括:
根据所述流量异常设备的索引清单,确定流量异常设备清单;
确定所述流量异常设备清单中每个流量异常设备在预设时间段内的流量数据的时间序列与所述核心交换机在所述预设时间段内的流量数据的时间序列的相关度;
按照所述相关度,对所述流量异常设备清单中的流量异常设备进行排序,输出流量异常设备列表,所述流量异常设备列表用于指示根据每个流量异常设备的所述相关度,对每个流量异常设备进行监测。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,简称RAM),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processing,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的异常设备检测方法。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的异常设备检测方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (11)

1.一种异常设备检测方法,其特征在于,所述方法包括:
实时记录待检测设备的流量数据;
当检测到核心交换机在第一时间段内的出入流量存在异常的情况下,确定第一目标时间段,所述核心交换机为所述待检测设备所在机房的核心交换机,所述第一目标时间段包括所述第一时间段;
根据所述待检测设备在所述第一目标时间段内的流量数据,确定所述待检测设备在所述第一目标时间段内的流量特征信息,所述流量特征信息包括流量特征向量,所述流量特征向量包括k个维度,k为正整数;所述根据所述待检测设备在所述第一目标时间段内的流量数据,确定所述待检测设备在所述第一目标时间段内的流量特征信息包括:所述根据所述待检测设备在所述第一目标时间段内的流量数据与第二目标时间段内的流量数据之间的差异,确定所述待检测设备在所述第一目标时间段内的流量特征信息,包括以下至少一项:根据所述待检测设备在所述第一目标时间段内的流量同比差异,确定所述流量特征向量的至少一个维度的值;所述待检测设备在所述第一目标时间段内的流量同比差异为所述待检测设备在所述第一目标时间段内的流量数据与所述待检测设备在第二子时间段内的流量数据之间的差异,或者为所述待检测设备在所述第一目标时间段内的流量数据与所述待检测设备在第三子时间段内的流量数据之间的差异;根据所述待检测设备在所述第一目标时间段内的流量环比差异,确定所述流量特征向量的至少一个维度的值;所述待检测设备在所述第一目标时间段内的流量环比差异为所述待检测设备在所述第一目标时间段内的流量数据与所述待检测设备在第一子时间段内的流量数据之间的差异;
对所述待检测设备在所述第一目标时间段内的流量特征信息进行异常检测,得到用于表征所述待检测设备是否流量异常的检测结果。
2.根据权利要求1所述的方法,其特征在于,所述核心交换机在第一时间段内的出入流量存在异常,满足以下任意一项:
在所述第一时间段内,所述核心交换机的流量增量大于第一预设阈值;
在所述第一时间段内,所述核心交换机的流量总量与所述核心交换机的最大带宽的差值小于第二预设阈值。
3.根据权利要求1所述的方法,其特征在于,所述根据所述待检测设备在所述第一目标时间段内的流量数据,确定所述待检测设备在所述第一目标时间段内的流量特征信息,包括:
根据所述待检测设备在所述第一目标时间段内的流量数据与第二目标时间段内的流量数据之间的差异,确定所述待检测设备在所述第一目标时间段内的流量特征信息;
其中,所述第二目标时间段为所述第一目标时间段之前的历史时间段。
4.根据权利要求3所述的方法,其特征在于,所述第二目标时间段包括以下至少一项:
第一子时间段,所述第一子时间段与所述第一目标时间段为连续,且所述第一子时间段与所述第一目标时间段的时长相等;
第二子时间段,所述第二子时间段与所述第一目标时间段为相邻的两个第一时间周期中的时间段,且所述第二子时间段的起始时刻与所述第一目标时间段的起始时刻之间的时间间隔等于所述第一时间周期的周期时长,且所述第二子时间段与所述第一目标时间段的时长相等;
第三子时间段,所述第三子时间段与所述第一目标时间段为相邻的两个第二时间周期中的时间段,且所述第三子时间段的起始时刻与所述第一目标时间段的起始时刻之间的时间间隔等于所述第二时间周期的周期时长,且所述第三子时间段与所述第一目标时间段的时长相等,所述第二时间周期的时长长于所述第一时间周期的时长。
5.根据权利要求4所述的方法,其特征在于,所述根据所述待检测设备在所述第一目标时间段内的流量同比差异,确定所述流量特征向量的至少一个维度,包括以下至少一项:
根据所述待检测设备在所述第一目标时间段内的流量同比差异分布的分位数,确定所述流量特征向量的至少一个维度的值;
根据所述待检测设备在所述第一目标时间段内的流量同比差异占所述核心交换机在所述第一目标时间段的流量同比差异的百分比,确定所述流量特征向量的至少一个维度的值;
根据所述待检测设备在所述第一目标时间段内i个时间点的流量同比差异之和占所述核心交换机在所述第一目标时间段内i个时间点的流量同比差异之和的百分比,确定所述流量特征向量的至少一个维度的值;
根据所述待检测设备在所述第一目标时间段内的流量同比差异时间序列与所述核心交换机在所述第一目标时间段内的流量同比差异时间序列之和的相关度,确定所述流量特征向量的至少一个维度的值。
6.根据权利要求4所述的方法,其特征在于,所述对所述待检测设备在所述第一目标时间段内的流量特征信息进行异常检测,得到用于表征所述待检测设备是否流量异常的检测结果,包括:
根据N台所述待检测设备的N个流量特征向量,生成第一流量特征矩阵,所述第一流量特征矩阵为N×k矩阵,N为正整数;
将所述第一流量特征矩阵输入SCiForest算法模型,得到所述第一目标时间段内的流量异常设备的索引清单。
7.根据权利要求6所述的方法,其特征在于,在所述根据N台所述待检测设备的N个流量特征向量,生成第一流量特征矩阵之后,所述将所述第一流量特征矩阵输入SCiForest算法模型,得到所述第一目标时间段内的流量异常设备的索引清单之前,所述方法还包括:
对所述第一流量特征矩阵进行列向量归一化,得到第二流量特征矩阵;
所述将所述第一流量特征矩阵输入SCiForest算法模型,得到所述第一目标时间段内的流量异常设备的索引清单,包括:
将所述第二流量特征矩阵输入所述SCiForest算法模型,得到所述第一目标时间段内的流量异常设备的索引清单。
8.根据权利要求6所述的方法,其特征在于,在所述将所述第一流量特征矩阵输入SCiForest算法模型,得到所述第一目标时间段内的流量异常设备的索引清单之后,所述方法包括:
根据所述流量异常设备的索引清单,确定流量异常设备清单;
确定所述流量异常设备清单中每个流量异常设备在预设时间段内的流量数据的时间序列与所述核心交换机在所述预设时间段内的流量数据的时间序列的相关度;
按照所述相关度,对所述流量异常设备清单中的流量异常设备进行排序,输出流量异常设备列表,所述流量异常设备列表用于指示根据每个流量异常设备的所述相关度对每个流量异常设备进行监测。
9.一种异常设备检测装置,其特征在于,所述装置包括:
记录模块,用于实时记录待检测设备的流量数据;
第一确定模块,用于当检测到核心交换机在第一时间段内的出入流量存在异常的情况下,确定第一目标时间段,所述核心交换机为所述待检测设备所在机房的核心交换机,所述第一目标时间段包括所述第一时间段;
第二确定模块,用于根据所述待检测设备在所述第一目标时间段内的流量数据,确定所述待检测设备在所述第一目标时间段内的流量特征信息,所述流量特征信息包括流量特征向量,所述流量特征向量包括k个维度,k为正整数;所述根据所述待检测设备在所述第一目标时间段内的流量数据,确定所述待检测设备在所述第一目标时间段内的流量特征信息包括:所述根据所述待检测设备在所述第一目标时间段内的流量数据与第二目标时间段内的流量数据之间的差异,确定所述待检测设备在所述第一目标时间段内的流量特征信息,包括以下至少一项:根据所述待检测设备在所述第一目标时间段内的流量同比差异,确定所述流量特征向量的至少一个维度的值;所述待检测设备在所述第一目标时间段内的流量同比差异为所述待检测设备在所述第一目标时间段内的流量数据与所述待检测设备在第二子时间段内的流量数据之间的差异,或者为所述待检测设备在所述第一目标时间段内的流量数据与所述待检测设备在第三子时间段内的流量数据之间的差异;根据所述待检测设备在所述第一目标时间段内的流量环比差异,确定所述流量特征向量的至少一个维度的值;所述待检测设备在所述第一目标时间段内的流量环比差异为所述待检测设备在所述第一目标时间段内的流量数据与所述待检测设备在第一子时间段内的流量数据之间的差异;
检测模块,用于对所述待检测设备在所述第一目标时间段内的流量特征信息进行异常检测,得到用于表征所述待检测设备是否流量异常的检测结果。
10.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-8任一所述的方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一所述的方法。
CN202110335063.2A 2021-03-29 2021-03-29 异常设备检测方法、装置、电子设备及存储介质 Active CN113037595B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110335063.2A CN113037595B (zh) 2021-03-29 2021-03-29 异常设备检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110335063.2A CN113037595B (zh) 2021-03-29 2021-03-29 异常设备检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113037595A CN113037595A (zh) 2021-06-25
CN113037595B true CN113037595B (zh) 2022-11-01

Family

ID=76452708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110335063.2A Active CN113037595B (zh) 2021-03-29 2021-03-29 异常设备检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113037595B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114173390B (zh) * 2021-12-06 2024-01-19 深圳Tcl新技术有限公司 网络控制方法、装置、电子设备及存储介质
CN114567578B (zh) * 2022-03-14 2023-09-26 重庆紫光华山智安科技有限公司 一种压力测试方法、装置、测试平台及存储介质
CN115277491B (zh) * 2022-06-15 2023-06-06 中国联合网络通信集团有限公司 异常数据的确定方法、装置及计算机可读存储介质
CN114942402B (zh) * 2022-07-20 2022-11-29 武汉格蓝若智能技术有限公司 一种异常电能表定位方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101188531A (zh) * 2007-12-27 2008-05-28 沈阳东软软件股份有限公司 一种监测网络流量异常的方法及系统
CN108683681A (zh) * 2018-06-01 2018-10-19 杭州安恒信息技术股份有限公司 一种基于流量策略的智能家居入侵检测方法及装置
CN109347880A (zh) * 2018-11-30 2019-02-15 北京神州绿盟信息安全科技股份有限公司 一种安全防护方法、装置及系统
CN110995524A (zh) * 2019-10-28 2020-04-10 北京三快在线科技有限公司 流量数据监控方法、装置、电子设备和计算机可读介质
CN111756706A (zh) * 2020-06-05 2020-10-09 腾讯科技(深圳)有限公司 一种异常流量检测方法、装置及存储介质
CN112422554A (zh) * 2020-11-17 2021-02-26 杭州安恒信息技术股份有限公司 一种检测异常流量外连的方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130085570A (ko) * 2011-12-22 2013-07-30 한국전자통신연구원 단말 중심 사이버 공격 방지 방법 및 그에 따른 단말 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101188531A (zh) * 2007-12-27 2008-05-28 沈阳东软软件股份有限公司 一种监测网络流量异常的方法及系统
CN108683681A (zh) * 2018-06-01 2018-10-19 杭州安恒信息技术股份有限公司 一种基于流量策略的智能家居入侵检测方法及装置
CN109347880A (zh) * 2018-11-30 2019-02-15 北京神州绿盟信息安全科技股份有限公司 一种安全防护方法、装置及系统
CN110995524A (zh) * 2019-10-28 2020-04-10 北京三快在线科技有限公司 流量数据监控方法、装置、电子设备和计算机可读介质
CN111756706A (zh) * 2020-06-05 2020-10-09 腾讯科技(深圳)有限公司 一种异常流量检测方法、装置及存储介质
CN112422554A (zh) * 2020-11-17 2021-02-26 杭州安恒信息技术股份有限公司 一种检测异常流量外连的方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113037595A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN113037595B (zh) 异常设备检测方法、装置、电子设备及存储介质
US20180260723A1 (en) Anomaly detection for context-dependent data
CN111538642B (zh) 一种异常行为的检测方法、装置、电子设备及存储介质
CN110362612B (zh) 由电子设备执行的异常数据检测方法、装置和电子设备
CN111177714B (zh) 异常行为检测方法、装置、计算机设备和存储介质
CN111309539A (zh) 一种异常监测方法、装置和电子设备
CN111796957B (zh) 基于应用日志的交易异常根因分析方法及系统
CN110457175B (zh) 业务数据处理方法、装置、电子设备及介质
CN111626360B (zh) 用于检测锅炉故障类型的方法、装置、设备和存储介质
CN114298221A (zh) 故障确定方法及装置、电子设备和计算机可读存储介质
CN108399115B (zh) 一种运维操作检测方法、装置及电子设备
CN113098912B (zh) 用户账户异常的识别方法、装置、电子设备及存储介质
CN113282920B (zh) 日志异常检测方法、装置、计算机设备和存储介质
CN115658441B (zh) 一种基于日志的家政业务系统异常监控方法、设备及介质
CN116108376A (zh) 一种反窃电的监测系统、方法、电子设备及介质
CN111695829B (zh) 一种指标波动周期计算方法、装置、存储介质及电子设备
CN113672469A (zh) 一种基于芯片异常运行的关联芯片运行控制方法及系统
CN111507397A (zh) 一种异常数据的分析方法及装置
CN114564853B (zh) 一种基于fmea数据的评价报告的生成方法及电子设备
CN114385450A (zh) 一种故障主机的定位方法
US11888718B2 (en) Detecting behavioral change of IoT devices using novelty detection based behavior traffic modeling
CN114745161B (zh) 一种异常流量的检测方法、装置、终端设备和存储介质
CN111371594B (zh) 设备异常告警方法、装置及电子设备
CN117668732A (zh) 一种异常检测算法的基准测试方法及装置
CN117851945A (zh) 一种银行系统的应用日志异常检测方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant