CN110113226B - 一种检测设备异常的方法及装置 - Google Patents
一种检测设备异常的方法及装置 Download PDFInfo
- Publication number
- CN110113226B CN110113226B CN201910303411.0A CN201910303411A CN110113226B CN 110113226 B CN110113226 B CN 110113226B CN 201910303411 A CN201910303411 A CN 201910303411A CN 110113226 B CN110113226 B CN 110113226B
- Authority
- CN
- China
- Prior art keywords
- feature vector
- sample feature
- negative sample
- positive sample
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
- H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/16—Threshold monitoring
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Telephonic Communication Services (AREA)
Abstract
本申请实施例提供了一种检测设备异常的方法及装置,涉及计算机技术领域。该方法包括:获取属于同一设备类型的目标设备的多个样本特征向量;针对每个负样本特征向量,确定与该负样本特征向量满足预设时空关联度条件的正样本特征向量,将负样本特征向量和确定出的正样本特征向量构成训练样本集合;通过训练样本集合对初始神经网络模型进行训练,得到目标设备对应的异常检测模型;当获取到任一目标设备的待检测特征向量时,将待检测特征向量输入至异常检测模型,得到目标设备的异常检测结果,待检测特征向量由同一采样时间点采集到的任一目标设备的多个运行指标构成。采用本申请可以提高检测设备异常的准确度。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种检测设备异常的方法及装置。
背景技术
随着互联网技术的发展,网络服务已经深入到社会的各个领域,人们可以使用互联网进行搜索、购物、付款、娱乐等。因此,保障网络中的网络设备运行的稳定性越来越重要。
网络设备的运行状态可以通过各种运行指标反映出来,比如cpu占用率、内存占用率、数据访问量、数据访问时间等。相关技术中,网络中可以设置有运维服务器,运维服务器可以采集网络设备的各运行指标,并进行显示。例如,可以通过折线图的形式进行显示。这样,运维人员通过观察网络设备的各运行指标,确定网络设备是否发生异常。
然而,上述方案的人工成本较高,并且容易发生误判的情况。
发明内容
本申请实施例的目的在于提供一种检测设备异常的方法及装置,以实现提高检测设备异常的准确度的技术效果。具体技术方案如下:
第一方面,提供了一种检测设备异常的方法,所述方法包括:
获取属于同一设备类型的目标设备的多个样本特征向量,其中,一个样本特征向量由同一历史采样时间点采集到的一个目标设备的多个运行指标构成,所述多个样本特征向量包括在所述目标设备运行正常时采集到的正样本特征向量,以及在所述目标设备运行异常时采集到的负样本特征向量;
针对每个负样本特征向量,确定与该负样本特征向量满足预设时空关联度条件的正样本特征向量,将所述负样本特征向量和确定出的正样本特征向量构成训练样本集合;
通过所述训练样本集合对初始神经网络模型进行训练,得到所述目标设备对应的异常检测模型;
当获取到任一目标设备的待检测特征向量时,将所述待检测特征向量输入至所述异常检测模型,得到所述目标设备的异常检测结果,所述待检测特征向量由同一采样时间点采集到的所述任一目标设备的多个运行指标构成。
可选的,所述确定与该负样本特征向量满足预设时空关联度条件的正样本特征向量,包括:
根据预先存储的各样本特征向量对应的历史采样时间点,分别确定每个正样本特征向量与该负样本特征向量的时间距离;
确定与该负样本特征向量的时间距离小于第一预设阈值的正样本特征向量。
可选的,所述根据预先存储的各样本特征向量对应的历史采样时间点,分别确定每个正样本特征向量与该负样本特征向量的时间距离,包括:
根据预先存储的各样本特征向量对应的历史采样时间点,针对每个正样本特征向量,计算该正样本特征向量对应的历史采样时间点,与该负样本特征向量对应的历史采样时间点之间的时间间隔;
计算所述时间间隔与预设采样周期的比值,将所述比值作为该正样本特征向量与该负样本特征向量的时间距离。
可选的,所述确定与该负样本特征向量满足预设时空关联度条件的正样本特征向量,包括:
根据预设的空间距离算法,分别确定每个正样本特征向量与该负样本特征向量的空间距离;
确定与该负样本特征向量的空间距离小于第二预设阈值的正样本特征向量。
第二方面,提供了一种检测设备异常的装置,所述装置包括:获取模块、确定模块、训练模块和输入模块;
所述获取模块,用于获取属于同一设备类型的目标设备的多个样本特征向量,其中,一个样本特征向量由同一历史采样时间点采集到的一个目标设备的多个运行指标构成,所述多个样本特征向量包括在所述目标设备运行正常时采集到的正样本特征向量,以及在所述目标设备运行异常时采集到的负样本特征向量;
所述确定模块,用于针对每个负样本特征向量,确定与该负样本特征向量满足预设时空关联度条件的正样本特征向量,将所述负样本特征向量和确定出的正样本特征向量构成训练样本集合;
所述训练模块,用于通过所述训练样本集合对初始神经网络模型进行训练,得到所述目标设备对应的异常检测模型;
所述输入模块,用于当获取到任一目标设备的待检测特征向量时,将所述待检测特征向量输入至所述异常检测模型,得到所述目标设备的异常检测结果,所述待检测特征向量由同一采样时间点采集到的所述任一目标设备的多个运行指标构成。
可选的,所述确定模块,具体用于:
根据预先存储的各样本特征向量对应的历史采样时间点,分别确定每个正样本特征向量与该负样本特征向量的时间距离;
确定与该负样本特征向量的时间距离小于第一预设阈值的正样本特征向量。
可选的,所述确定模块,具体用于:
根据预先存储的各样本特征向量对应的历史采样时间点,针对每个正样本特征向量,计算该正样本特征向量对应的历史采样时间点,与该负样本特征向量对应的历史采样时间点之间的时间间隔;
计算所述时间间隔与预设采样周期的比值,将所述比值作为该正样本特征向量与该负样本特征向量的时间距离。
可选的,所述确定模块,具体用于:
根据预设的空间距离算法,分别确定每个正样本特征向量与该负样本特征向量的空间距离;
确定与该负样本特征向量的空间距离小于第二预设阈值的正样本特征向量。
第三方面,提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现第一方面任一所述的方法步骤。
第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现第一方面任一所述的方法步骤。
第五方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面任一所述的方法。
本申请实施例提供的一种检测设备异常的方法及装置,该方法中,可以获取属于同一设备类型的目标设备的多个样本特征向量,其中,一个样本特征向量由同一历史采样时间点采集到的一个目标设备的多个运行指标构成,多个样本特征向量包括在目标设备运行正常时采集到的正样本特征向量,以及在目标设备运行异常时采集到的负样本特征向量。针对每个负样本特征向量,确定与该负样本特征向量满足预设时空关联度条件的正样本特征向量,将负样本特征向量和确定出的正样本特征向量构成训练样本集合。通过训练样本集合对初始神经网络模型进行训练,得到目标设备对应的异常检测模型。后续,对于任一目标设备,可以获取该目标设备的待检测特征向量时,将该待检测特征向量输入至异常检测模型,得到该目标设备的异常检测结果,待检测特征向量由同一采样时间点采集到的任一目标设备的多个运行指标构成,从而实现自动检测网络设备的运行情况,无需人工查看,并且,能够提高检测设备异常的准确度。当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的网络系统的架构图;
图2为本申请实施例提供的一种检测设备异常的方法的流程图;
图3为本申请实施例提供的一种全连接神经网络的结构示意图;
图4为本申请实施例提供的一种检测设备异常的装置的结构示意图;
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供了一种检测设备异常的方法,该方法可以应用于运维服务器,该运维服务器可以用于检测网络中各设备的运行情况,比如,可以检测各业务服务器的运行情况。如图1所示,为本申请实施例提供的一种网络系统的示意图,该网络系统包括运维服务器和多个网络设备,运维服务器可以与各网络设备连接。
本申请实施例中,运维服务器可以获取属于同一设备类型的目标设备的多个样本特征向量,其中,一个样本特征向量由同一历史采样时间点采集到的一个目标设备的多个运行指标构成,多个样本特征向量包括在目标设备运行正常时采集到的正样本特征向量,以及在目标设备运行异常时采集到的负样本特征向量。针对每个负样本特征向量,确定与该负样本特征向量满足预设时空关联度条件的正样本特征向量,将负样本特征向量和确定出的正样本特征向量构成训练样本集合。通过训练样本集合对初始神经网络模型进行训练,得到目标设备对应的异常检测模型。
对于任一目标设备,运维服务器可以获取该目标设备的待检测特征向量,将该待检测特征向量输入至异常检测模型,得到该目标设备的异常检测结果,待检测特征向量由同一采样时间点采集到的任一目标设备的多个运行指标构成,从而实现自动检测网络设备的运行情况,无需人工查看,并且检测的准确度较高。
下面将结合具体实施方式,对本申请实施例提供的一种检测设备异常的方法进行详细的说明,如图2所示,具体步骤如下。
步骤201,获取属于同一设备类型的目标设备的多个样本特征向量。
其中,一个样本特征向量由同一历史采样时间点采集到的一个目标设备的多个运行指标构成,多个样本特征向量包括在目标设备运行正常时采集到的正样本特征向量,以及在目标设备运行异常时采集到的负样本特征向量。
本申请实施例中,可以根据网络中各网络设备的业务、配置信息等,将网络设备划分为多个设备类型。通常,可以将处理的业务相同、且配置(比如硬件配置和/或软件配置)比较接近的网络设备,确定为同一设备类型的设备。
对于属于同一设备类型的目标设备,运维服务器可以按照预设的采样周期,采集该目标设备的各运行指标。其中,运行指标可以包括服务指标和/或机器指标。服务指标是指能够反映网络设备的规模、服务质量的指标,比如网页响应时间,网页访问量、连接错误数量等。机器指标是指能够反映网络设备的健康状态的指标,比如CPU使用率,内存使用率,磁盘IO,网卡吞吐率等。运维服务器采集的指标可以由运维人员设置,本申请实施例不做限定。
针对每个目标设备,运维人员还可以根据该目标设备在各采样时间点的实际运行情况,为该采样时间点采集到的该目标设备的运行指标添加标签,从而得到训练数据。其中,该标签可以表示目标设备的运行状态为正常或异常。如表一所示,为本申请实施例提供的对某目标设备进行采集得到的训练数据的示例。
表一
其中,标签为0表示该采样时间点该目标设备的运行状态为正常;标签为1表示该采样时间点该目标设备的运行状态为异常。
运维服务器可以获取存储的历史训练数据,针对任一历史采样时间点,运维服务器可以将该历史采样时间点对某一个目标设备进行采集得到的多个指标构成一个向量(可称为样本特征向量)。也即,一个样本特征向量由同一历史采样时间点采集到的一个目标设备的多个运行指标构成。
例如,在t时刻对目标设备A进行采集,得到M个运行指标的数值,分别记为x1,x2,x3,…,xm,这M个运行指标的数值可以组合成向量形式的样本特征向量:
Xt=<x1,x2,x3,…,xm>
即,针对每个目标设备,在每个历史采样时间点的采集到的多个运行指标的数值都可以组合成一个样本特征向量。并且,根据运维人员对训练数据设置的标签,样本特征向量可分为正样本特征向量和负样本特征向量。参照表一,标签为0表示该采样时间点该目标设备的运行状态为正常,相应的,该采样时间点对应的训练数据所构成的样本特征向量为正样本特征向量;标签为1表示该采样时间点该目标设备的运行状态为异常,相应的,该采样时间点对应的训练数据所构成的样本特征向量为负样本特征向量。
步骤202,针对每个负样本特征向量,确定与该负样本特征向量满足预设时空关联度条件的正样本特征向量,并将负样本特征向量和确定出的正样本特征向量构成训练样本集合。
在实际应用中,由于历史训练数据中,大部分数据为正常数据(即正样本特征向量较多),异常数据的数量较少(即负样本特征向量较少),如果直接对历史训练数据训练模型,很容易因为正负样本的不均衡而造成训练出的异常检测模型的识别效果差。同时,这样也会导致正负样本的相关性较差,导致训练出的异常检测模型的识别准确率较低。
本申请实施例根据时空关联性抽样正样本,可以有效的降低正负样本失衡给模型带来的影响。
本申请实施例中,运维服务器获取到样本特征向量后,可以根据各样本特征向量对应的标签,在样本特征向量中确定负样本特征向量,然后,可以分别确定每个正样本特征向量与该负样本特征向量的时空关联度,进而确定与该负样本特征向量满足预设时空关联度条件的正样本特征向量。可选的,具体可以通过以下两种方式确定与该负样本特征向量满足预设时空关联度条件的正样本特征向量。
方式一、根据预先存储的各样本特征向量对应的历史采样时间点,分别确定每个正样本特征向量与该负样本特征向量的时间距离,确定与该负样本特征向量的时间距离小于第一预设阈值的正样本特征向量。
本申请实施例中,运维服务器中可以存储每个样本特征向量对应的采样时间点(即历史采样时间点),该历史采样时间点即采集到该样本特征向量包含的运行指标的时间点。针对每个负样本特征向量,运维服务器可以分别计算每个正样本特征向量与该负样本特征向量的时间距离,然后,可以确定与该负样本特征向量的时间距离小于第一预设阈值的正样本特征向量。
在一种可行的实现方式中,运维服务器可以计算每个正样本特征向量的历史采样时间点,与该负样本特征向量的历史采样时间点之间的时间间隔。例如,正样本特征向量(65,53,45,56,46)对应的历史采样时间点为2018年8月19日12:00,负样本特征向量(72,47,87,36,42)对应的历史采样时间点为2018年8月19日12:10,则时间距离为10(分钟)。
在另一种可行的实现方式中,运维服务器可以根据预先存储的各样本特征向量对应的历史采样时间点,针对每个正样本特征向量,计算该正样本特征向量对应的历史采样时间点,与该负样本特征向量对应的历史采样时间点之间的时间间隔,计算时间间隔与预设采样周期的比值,将该比值作为该正样本特征向量与该负样本特征向量的时间距离。
其中,时间间隔与采样周期的时间单位需要一致,比如,采样周期的时间单位为分钟,则较佳的,计算出的时间间隔的时间单位也为分钟。
本申请实施例中,可以记历史采样时间点p为Tp,记历史采样时间点q为Tq,预设的采样周期记为ts,则时间距离Tl的计算公式可以为:
例如,历史采样时间点p点时间为201808191200,历史采样时间点q点时间为201808191208,时间间隔为8分钟,采样周期为2分钟,则p、q两点间的时间距离为4。
方式二、根据预设的空间距离算法,分别确定每个正样本特征向量与该负样本特征向量的空间距离;确定与该负样本特征向量的空间距离小于第二预设阈值的正样本特征向量。
本申请实施例中,运维服务器中还可以存储空间距离算法。运维服务器可以根据该空间距离算法,分别确定每个正样本特征向量与该负样本特征向量的空间距离。
本申请实施例中,历史采样时间点p对应的样本特征向量可表示为Xp=<x1,x2,x3,…,xm>,历史采样时间点q对应的样本特征向量可表示为Yq=<y1,y2,y3,…,ym>,Xp和Yq的空间距离可记为Lpq,Lpq的计算公式可以如下:
运维服务器确定每个正样本特征向量与该负样本特征向量的空间距离之后,可以进一步确定与该负样本特征向量的空间距离小于第二预设阈值的正样本特征向量。
可选的,在抽取正样本特征向量时,可以选择方式一和方式二中的任意一种方式抽取正样本特征向量,或者,也可以分别通过方式一和方式二抽取正样本特征向量。
可选的,为了防止抽取的正样本特征向量的数目过多,还可以设置抽取出的正样本特征向量的数目阈值,例如,针对每个负样本特征向量,可以抽取50个时间距离最近的正样本特征向量、50个空间距离最近的正样本特征向量。当抽取出的正样本特征向量大于该数目阈值时,可以从抽取出的正样本特征向量中,确定数目阈值个正样本特征向量。
运维服务器可以将负样本特征向量、以及针对每个负样本特征向量抽取出的正样本特征向量构成训练样本集合。
步骤203,通过训练样本集合对初始神经网络模型进行训练,得到目标设备对应的异常检测模型。
本申请实施例中,初始神经网络模型可以为任意神经网络,本申请实施例以初始神经网络模型为全连接神经网络为例进行说明,其他情况与之类似。如表二所示,为本申请实施例提供的一种全连接神经网络的网络结构示例。另外,参照图3,本申请实施例还提供了一种全连接神经网络的结构示意图,其中,圆圈表示该层包含的神经元。
表二
其中,向输入层输入的样本特征向量为N维向量,也即,存在N个指标,Softmax层为输出层,也可称为归一化指数层,Softmax层用于进行归一化处理。
运维服务器可以将训练样本集合中的各样本特征向量,依次输入至全连接神经网络。具体的,针对待输入的每个样本特征向量,可以先输入到全连接神经网络的输入层,然后通过各隐层的神经网络层层传递,最后经过softmax层得到样本特征向量对应的分类结果。例如,可以得到属于正样本特征向量的概率值、以及属于负样本特征向量的概率值。然后,运维服务器可以根据分类结果、该各样本特征向量对应的标签和反向传播算法,对全连接神经网络中的参数进行调整。这样,通过训练样本集合中的各样本特征向量对全连接神经网络进行训练,可以得到符合预设要求的目标设备对应的异常检测模型,即训练得到分类结果准确率达到设定阈值的异常检测模型。
步骤204,当获取到任一目标设备的待检测特征向量时,将待检测特征向量输入至异常检测模型,得到目标设备的异常检测结果。
其中,待检测特征向量由同一采样时间点采集到的任一目标设备运行时的多个运行指标构成。
本申请实施例中,对于任一目标设备,运维服务器可以采集目标设备的各运行指标,然后,将同一采样时间点采集到的各指标构成一个向量(即待检测特征向量)。运维服务器可以将待检测特征向量输入至该异常检测模型,得到目标设备的异常检测结果。
本申请实施例中,运维服务器可以获取属于同一设备类型的目标设备的多个样本特征向量,其中,一个样本特征向量由同一历史采样时间点采集到的一个目标设备的多个运行指标构成,多个样本特征向量包括在目标设备运行正常时采集到的正样本特征向量,以及在目标设备运行异常时采集到的负样本特征向量。针对每个负样本特征向量,确定与该负样本特征向量满足预设时空关联度条件的正样本特征向量,将负样本特征向量和确定出的正样本特征向量构成训练样本集合。通过训练样本集合对初始神经网络模型进行训练,得到目标设备对应的异常检测模型。后续,对于任一目标设备,可以获取该目标设备的待检测特征向量时,将该待检测特征向量输入至异常检测模型,得到该目标设备的异常检测结果。与比传统的随机抽样方法相比,本申请提供的抽取训练样本的方法具有数据适应性好、抽样均匀的优点,针对检测设备异常的场景,克服了因正负样本失衡而导致训练模型的识别效果差的问题。
另外,本申请实施例中将网络设备的所有指标联合为一个向量来进行协同分析,并通过深度全连接神经网络来学习各项指标之间的关联性,具有准确性高,误报率低、自适应性强等优点。
基于相同的技术构思,本申请实施例还提供了一种检测设备异常的装置,如图4所示,该装置包括:获取模块410、确定模块420、训练模块430和输入模块440;
获取模块410,用于获取属于同一设备类型的目标设备的多个样本特征向量,其中,一个样本特征向量由同一历史采样时间点采集到的一个目标设备的多个运行指标构成,多个样本特征向量包括在目标设备运行正常时采集到的正样本特征向量,以及在目标设备运行异常时采集到的负样本特征向量;
确定模块420,用于针对每个负样本特征向量,确定与该负样本特征向量满足预设时空关联度条件的正样本特征向量,将负样本特征向量和确定出的正样本特征向量构成训练样本集合;
训练模块430,用于通过训练样本集合对初始神经网络模型进行训练,得到目标设备对应的异常检测模型;
输入模块440,用于当获取到任一目标设备的待检测特征向量时,将待检测特征向量输入至异常检测模型,得到目标设备的异常检测结果,待检测特征向量由同一采样时间点采集到的任一目标设备的多个运行指标构成。
可选的,确定模块420,具体用于:
根据预先存储的各样本特征向量对应的历史采样时间点,分别确定每个正样本特征向量与该负样本特征向量的时间距离;
确定与该负样本特征向量的时间距离小于第一预设阈值的正样本特征向量。
可选的,确定模块420,具体用于:
根据预先存储的各样本特征向量对应的历史采样时间点,针对每个正样本特征向量,计算该正样本特征向量对应的历史采样时间点,与该负样本特征向量对应的历史采样时间点之间的时间间隔;
计算时间间隔与预设采样周期的比值,将比值作为该正样本特征向量与该负样本特征向量的时间距离。
可选的,确定模块420,具体用于:
根据预设的空间距离算法,分别确定每个正样本特征向量与该负样本特征向量的空间距离;
确定与该负样本特征向量的空间距离小于第二预设阈值的正样本特征向量。
本申请实施例中,可以获取属于同一设备类型的目标设备的多个样本特征向量,其中,一个样本特征向量由同一历史采样时间点采集到的一个目标设备的多个运行指标构成,多个样本特征向量包括在目标设备运行正常时采集到的正样本特征向量,以及在目标设备运行异常时采集到的负样本特征向量。针对每个负样本特征向量,确定与该负样本特征向量满足预设时空关联度条件的正样本特征向量,将负样本特征向量和确定出的正样本特征向量构成训练样本集合。通过训练样本集合对初始神经网络模型进行训练,得到目标设备对应的异常检测模型。后续,对于任一目标设备,可以获取该目标设备的待检测特征向量时,将该待检测特征向量输入至异常检测模型,得到该目标设备的异常检测结果,待检测特征向量由同一采样时间点采集到的任一目标设备的多个运行指标构成,从而实现自动检测网络设备的运行情况,无需人工查看,并且,能够提高检测设备异常的准确度。
本申请实施例还提供了一种电子设备,如图5所示,包括处理器501、通信接口502、存储器503和通信总线504,其中,处理器501,通信接口502,存储器503通过通信总线504完成相互间的通信,
存储器503,用于存放计算机程序;
处理器501,用于执行存储器503上所存放的程序时,实现如下步骤:
获取属于同一设备类型的目标设备的多个样本特征向量,其中,一个样本特征向量由同一历史采样时间点采集到的一个目标设备的多个运行指标构成,所述多个样本特征向量包括在所述目标设备运行正常时采集到的正样本特征向量,以及在所述目标设备运行异常时采集到的负样本特征向量;
针对每个负样本特征向量,确定与该负样本特征向量满足预设时空关联度条件的正样本特征向量,将所述负样本特征向量和确定出的正样本特征向量构成训练样本集合;
通过所述训练样本集合对初始神经网络模型进行训练,得到所述目标设备对应的异常检测模型;
当获取到任一目标设备的待检测特征向量时,将所述待检测特征向量输入至所述异常检测模型,得到所述目标设备的异常检测结果,所述待检测特征向量由同一采样时间点采集到的所述任一目标设备的多个运行指标构成。
可选的,所述确定与该负样本特征向量满足预设时空关联度条件的正样本特征向量,包括:
根据预先存储的各样本特征向量对应的历史采样时间点,分别确定每个正样本特征向量与该负样本特征向量的时间距离;
确定与该负样本特征向量的时间距离小于第一预设阈值的正样本特征向量。
可选的,所述根据预先存储的各样本特征向量对应的历史采样时间点,分别确定每个正样本特征向量与该负样本特征向量的时间距离,包括:
根据预先存储的各样本特征向量对应的历史采样时间点,针对每个正样本特征向量,计算该正样本特征向量对应的历史采样时间点,与该负样本特征向量对应的历史采样时间点之间的时间间隔;
计算所述时间间隔与预设采样周期的比值,将所述比值作为该正样本特征向量与该负样本特征向量的时间距离。
可选的,所述确定与该负样本特征向量满足预设时空关联度条件的正样本特征向量,包括:
根据预设的空间距离算法,分别确定每个正样本特征向量与该负样本特征向量的空间距离;
确定与该负样本特征向量的空间距离小于第二预设阈值的正样本特征向量。
上述电子设备提到的通信总线可以是外设部件互连标准(英文:PeripheralComponent Interconnect,简称:PCI)总线或扩展工业标准结构(英文:Extended IndustryStandard Architecture,简称:EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(英文:Random Access Memory,简称:RAM),也可以包括非易失性存储器(英文:Non-Volatile Memory,简称:NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(英文:Central ProcessingUnit,简称:CPU)、网络处理器(英文:Network Processor,简称:NP)等;还可以是数字信号处理器(英文:Digital Signal Processing,简称:DSP)、专用集成电路(英文:ApplicationSpecific Integrated Circuit,简称:ASIC)、现场可编程门阵列(英文:Field-Programmable Gate Array,简称:FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
基于相同的技术构思,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一所述的检测设备异常的方法步骤。
基于相同的技术构思,本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的检测设备异常的方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。
Claims (6)
1.一种检测设备异常的方法,其特征在于,所述方法包括:
获取属于同一设备类型的目标设备的多个样本特征向量,其中,一个样本特征向量由同一历史采样时间点采集到的一个目标设备的多个运行指标构成,所述多个样本特征向量包括在所述目标设备运行正常时采集到的正样本特征向量,以及在所述目标设备运行异常时采集到的负样本特征向量;
针对每个负样本特征向量,确定与该负样本特征向量满足预设时空关联度条件的正样本特征向量,将所述负样本特征向量和确定出的正样本特征向量构成训练样本集合;
通过所述训练样本集合对初始神经网络模型进行训练,得到所述目标设备对应的异常检测模型;
当获取到任一目标设备的待检测特征向量时,将所述待检测特征向量输入至所述异常检测模型,得到所述目标设备的异常检测结果,所述待检测特征向量由同一采样时间点采集到的所述任一目标设备的多个运行指标构成;
所述确定与该负样本特征向量满足预设时空关联度条件的正样本特征向量,包括:
根据预先存储的各样本特征向量对应的历史采样时间点,分别确定每个正样本特征向量与该负样本特征向量的时间距离;
确定与该负样本特征向量的时间距离小于第一预设阈值的正样本特征向量;
所述根据预先存储的各样本特征向量对应的历史采样时间点,分别确定每个正样本特征向量与该负样本特征向量的时间距离,包括:
根据预先存储的各样本特征向量对应的历史采样时间点,针对每个正样本特征向量,计算该正样本特征向量对应的历史采样时间点,与该负样本特征向量对应的历史采样时间点之间的时间间隔;
计算所述时间间隔与预设采样周期的比值,将所述比值作为该正样本特征向量与该负样本特征向量的时间距离。
2.根据权利要求1所述的方法,其特征在于,所述确定与该负样本特征向量满足预设时空关联度条件的正样本特征向量,包括:
根据预设的空间距离算法,分别确定每个正样本特征向量与该负样本特征向量的空间距离;
确定与该负样本特征向量的空间距离小于第二预设阈值的正样本特征向量。
3.一种检测设备异常的装置,其特征在于,所述装置包括:获取模块、确定模块、训练模块和输入模块;
所述获取模块,用于获取属于同一设备类型的目标设备的多个样本特征向量,其中,一个样本特征向量由同一历史采样时间点采集到的一个目标设备的多个运行指标构成,所述多个样本特征向量包括在所述目标设备运行正常时采集到的正样本特征向量,以及在所述目标设备运行异常时采集到的负样本特征向量;
所述确定模块,用于针对每个负样本特征向量,确定与该负样本特征向量满足预设时空关联度条件的正样本特征向量,将所述负样本特征向量和确定出的正样本特征向量构成训练样本集合;
所述训练模块,用于通过所述训练样本集合对初始神经网络模型进行训练,得到所述目标设备对应的异常检测模型;
所述输入模块,用于当获取到任一目标设备的待检测特征向量时,将所述待检测特征向量输入至所述异常检测模型,得到所述目标设备的异常检测结果,所述待检测特征向量由同一采样时间点采集到的所述任一目标设备的多个运行指标构成;
所述确定模块,具体用于:
根据预先存储的各样本特征向量对应的历史采样时间点,分别确定每个正样本特征向量与该负样本特征向量的时间距离;
确定与该负样本特征向量的时间距离小于第一预设阈值的正样本特征向量;
所述确定模块,具体用于:
根据预先存储的各样本特征向量对应的历史采样时间点,针对每个正样本特征向量,计算该正样本特征向量对应的历史采样时间点,与该负样本特征向量对应的历史采样时间点之间的时间间隔;
计算所述时间间隔与预设采样周期的比值,将所述比值作为该正样本特征向量与该负样本特征向量的时间距离。
4.根据权利要求3所述的装置,其特征在于,所述确定模块,具体用于:
根据预设的空间距离算法,分别确定每个正样本特征向量与该负样本特征向量的空间距离;
确定与该负样本特征向量的空间距离小于第二预设阈值的正样本特征向量。
5.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-2任一所述的方法。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-2任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910303411.0A CN110113226B (zh) | 2019-04-16 | 2019-04-16 | 一种检测设备异常的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910303411.0A CN110113226B (zh) | 2019-04-16 | 2019-04-16 | 一种检测设备异常的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110113226A CN110113226A (zh) | 2019-08-09 |
CN110113226B true CN110113226B (zh) | 2021-03-12 |
Family
ID=67485402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910303411.0A Active CN110113226B (zh) | 2019-04-16 | 2019-04-16 | 一种检测设备异常的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110113226B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112532467B (zh) * | 2019-09-17 | 2022-12-27 | 华为技术有限公司 | 用于实现故障检测的方法、装置及系统 |
CN110768970B (zh) * | 2019-10-16 | 2022-02-25 | 新华三信息安全技术有限公司 | 设备评估和异常检测方法、装置、电子设备及存储介质 |
CN111123226A (zh) * | 2019-12-26 | 2020-05-08 | 东软睿驰汽车技术(沈阳)有限公司 | 一种车辆雷达异常检测的方法和相关装置 |
CN111260498A (zh) * | 2020-01-10 | 2020-06-09 | 北京百度网讯科技有限公司 | 工艺参数检测方法、装置、电子设备及可读存储介质 |
CN111444060B (zh) * | 2020-03-25 | 2023-06-30 | 北京奇艺世纪科技有限公司 | 异常检测模型训练方法、异常检测方法及相关装置 |
CN111309539A (zh) * | 2020-03-26 | 2020-06-19 | 北京奇艺世纪科技有限公司 | 一种异常监测方法、装置和电子设备 |
CN111600894B (zh) * | 2020-05-20 | 2023-05-16 | 新华三信息安全技术有限公司 | 一种网络攻击检测方法及装置 |
CN111915015A (zh) * | 2020-06-30 | 2020-11-10 | 上海金仕达软件科技有限公司 | 一种异常值检测方法、装置、终端设备及存储介质 |
CN112070132A (zh) * | 2020-08-25 | 2020-12-11 | 北京百度网讯科技有限公司 | 样本数据构建方法、装置、设备和介质 |
CN112308170A (zh) * | 2020-11-10 | 2021-02-02 | 维沃移动通信有限公司 | 建模方法、装置及电子设备 |
CN114630352B (zh) * | 2020-12-11 | 2023-08-15 | 中国移动通信集团湖南有限公司 | 一种接入设备的故障监测方法和装置 |
CN112803341A (zh) * | 2020-12-31 | 2021-05-14 | 国网浙江省电力有限公司嘉兴供电公司 | 一种非入侵式电缆防挖断监测装置及方法 |
CN112766396A (zh) * | 2021-01-27 | 2021-05-07 | 昆仑数智科技有限责任公司 | 一种设备异常的检测系统、方法、计算机设备和介质 |
CN112949490A (zh) * | 2021-03-01 | 2021-06-11 | 创新奇智(青岛)科技有限公司 | 设备动作检测方法、装置、电子设备及可读存储介质 |
CN113343051B (zh) * | 2021-06-04 | 2024-04-16 | 全球能源互联网研究院有限公司 | 一种异常sql检测模型构建方法及检测方法 |
CN114720014B (zh) * | 2022-03-17 | 2023-06-20 | 珠海格力电器股份有限公司 | 设备中管路连接的检测方法、装置、电子设备及存储介质 |
CN115277071B (zh) * | 2022-06-17 | 2024-04-02 | 中国科学院信息工程研究所 | 设备异常通信行为检测方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104064023A (zh) * | 2014-06-18 | 2014-09-24 | 银江股份有限公司 | 一种基于时空关联的动态交通流预测方法 |
CN108089962A (zh) * | 2017-11-13 | 2018-05-29 | 北京奇艺世纪科技有限公司 | 一种异常检测方法、装置及电子设备 |
CN108563548A (zh) * | 2018-03-19 | 2018-09-21 | 阿里巴巴集团控股有限公司 | 异常检测方法及装置 |
CN109543607A (zh) * | 2018-11-22 | 2019-03-29 | 广州小狗机器人技术有限公司 | 目标物异常状态检测方法、系统、监护系统及存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107276805B (zh) * | 2017-06-19 | 2020-06-05 | 北京邮电大学 | 一种基于入侵检测模型的样本预测方法、装置及电子设备 |
US10795996B2 (en) * | 2017-07-17 | 2020-10-06 | AO Kaspersky Lab | System and method of machine learning of malware detection model |
-
2019
- 2019-04-16 CN CN201910303411.0A patent/CN110113226B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104064023A (zh) * | 2014-06-18 | 2014-09-24 | 银江股份有限公司 | 一种基于时空关联的动态交通流预测方法 |
CN108089962A (zh) * | 2017-11-13 | 2018-05-29 | 北京奇艺世纪科技有限公司 | 一种异常检测方法、装置及电子设备 |
CN108563548A (zh) * | 2018-03-19 | 2018-09-21 | 阿里巴巴集团控股有限公司 | 异常检测方法及装置 |
CN109543607A (zh) * | 2018-11-22 | 2019-03-29 | 广州小狗机器人技术有限公司 | 目标物异常状态检测方法、系统、监护系统及存储介质 |
Non-Patent Citations (1)
Title |
---|
基于时空联合聚类方法的输变电设备状态异常检测;陈佳俊;《南方电网技术》;20151120;第9卷(第11期);65-72页 * |
Also Published As
Publication number | Publication date |
---|---|
CN110113226A (zh) | 2019-08-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110113226B (zh) | 一种检测设备异常的方法及装置 | |
CN109922032B (zh) | 用于确定登录账户的风险的方法、装置、设备及存储介质 | |
CN105808639B (zh) | 网络访问行为识别方法和装置 | |
CN110874778A (zh) | 异常订单检测方法及装置 | |
CN113518011B (zh) | 异常检测方法和装置、电子设备及计算机可读存储介质 | |
CN113852603B (zh) | 网络流量的异常检测方法、装置、电子设备和可读介质 | |
CN111526119B (zh) | 异常流量检测方法、装置、电子设备和计算机可读介质 | |
CN111612041A (zh) | 异常用户识别方法及装置、存储介质、电子设备 | |
CN111309539A (zh) | 一种异常监测方法、装置和电子设备 | |
JP6871877B2 (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
CN111538642A (zh) | 一种异常行为的检测方法、装置、电子设备及存储介质 | |
CN111612038A (zh) | 异常用户检测方法及装置、存储介质、电子设备 | |
CN112565270A (zh) | Http会话异常检测方法及检测系统 | |
CN112329895A (zh) | 一种具有窃电嫌疑的用户的识别方法及装置 | |
CN112488716A (zh) | 一种异常事件检测系统 | |
CN117149565A (zh) | 云平台关键性能指标的状态检测方法、装置、设备及介质 | |
CN114168788A (zh) | 音频审核的处理方法、装置、设备及存储介质 | |
CN116740586A (zh) | 冰雹识别方法、装置、电子设备及计算机可读存储介质 | |
CN116051185A (zh) | 广告位数据的异常检测与筛选方法 | |
CN114117418B (zh) | 基于社群检测异常账户的方法、系统、设备及存储介质 | |
CN113822684B (zh) | 黑产用户识别模型训练方法、装置、电子设备及存储介质 | |
CN115758336A (zh) | 一种资产识别方法及装置 | |
CN115278757A (zh) | 一种检测异常数据的方法、装置及电子设备 | |
CN114595765A (zh) | 数据处理方法、装置、电子设备及存储介质 | |
CN112950329A (zh) | 商品动态信息生成方法、装置、设备及计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |