CN109040084A - 一种网络流量异常检测方法、装置、设备及存储介质 - Google Patents
一种网络流量异常检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN109040084A CN109040084A CN201810916177.4A CN201810916177A CN109040084A CN 109040084 A CN109040084 A CN 109040084A CN 201810916177 A CN201810916177 A CN 201810916177A CN 109040084 A CN109040084 A CN 109040084A
- Authority
- CN
- China
- Prior art keywords
- network
- network node
- abnormal
- network flow
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
Abstract
本发明公开了一种网络流量异常检测方法，能从时间角度和空间角度两个方面对网络流量进行异常检测，只有时间检测方案和空间检测方案均检测到网络流量数据中的网络节点为异常时，才判定该网络节点为异常网络节点。相对于现有技术中采用单一的时间检测方案或者空间检测方案对网络流量数据进行检测的方式，本方案对网络流量的进行异常检测的可靠性较高，保证了电力通信网的安全稳定，避免了对电网的运行安全产生影响。此外，本发明还公开了一种网络流量异常检测装置、设备及存储介质，效果如上。
Description
技术领域
本发明涉及电力技术领域，特别涉及一种网络流量异常检测方法、装置、设备及存储介质。
背景技术
电力通信网的安全稳定与电网的运行安全紧密相连，因此，对于电力通信网的检测尤为重要。
检测电力通信网是否异常可以通过检测电力通信网中的网络流量(对应于网络节点)进行判断，通过网络节点的正常与否，来确定电力通信网是否正常。目前，对电力通信网中的与网络节点对应的网络流量进行检测主要分为两个角度，第一个角度是从时间的维度进行网络节点异常检测(采用时间相关性的检测算法)，第二个角度是从空间的维度进行网络节点异常检测(采用空间相关性的检测算法)。但是，由于时间角度和空间角度所偏重的检测角度各有不同，因此，采用单一的时间检测方案或空间检测方案对网络流量进行检测时，对网络流量的进行异常检测的可靠性较低，若不能对网络流量的异常情况进行高精确性的检测，则无法保证电力通信网的安全稳定，进一步影响电网的运行安全。
因此，在对网络流量进行异常检测时，如何提高网络流量检测的可靠性以保证电力通信网的安全稳定是本领域技术人员需要解决的问题。
发明内容
本发明的目的在于提供一种网络流量异常检测方法、装置、设备及存储介质，在对网络流量进行异常检测时，提高了网络流量检测的可靠性，从而保证了电力通信网的安全稳定。
为实现上述目的，本发明实施例提供了如下技术方案：
第一，本发明实施例公开了一种网络流量异常检测方法，包括：
获取目标网络的网络流量数据；
利用时间检测方案对所述网络流量数据进行检测，得到第一检测结果；
对经所述时间检测方案检测后的网络流量数据，利用空间检测方案对所述网络流量数据进行检测，得到第二检测结果；
若所述第一检测结果和所述第二检测结果中的网络节点均为异常，则判定与所述网络流量数据对应的网络节点为异常网络节点。
优选的，所述利用时间检测方案对网络流量数据进行检测包括：
确定与所述网络流量数据对应的网络节点，以及与所述网络节点对应的时间周期，所述时间周期为多个；
计算所述网络节点在各所述时间周期内的相关性矩阵；
计算相邻时间周期内的相关性矩阵的差值，得到所述相邻周期内的相关性变化量矩阵；
将所述相关性变化量矩阵中的每一个元素与阈值进行比对；
若所述相关性变化量矩阵中存在大于所述阈值的元素，则判定所述网络节点为异常网络节点。
优选的，所述计算网络节点在各所述时间周期内的相关性矩阵包括：
确定所述网络节点在各所述时间周期内的参量数据；
计算各所述时间周期内的各参量数据之间的相关性系数；
将各所述相关性系数作为所述相关性矩阵中的元素以得到所述相关性矩阵。
优选的，所述利用时间检测方案对网络流量数据进行检测包括：
确定与所述网络节点在各所述时间周期内的参量数据；
基于皮尔森相关系数计算各所述时间周期内的参量数据之间的相关性系数；
确定与各所述时间周期的相关性系数对应的目标图像；
分析相邻时间周期的目标图像中相同类型的相关性系数所在区域的图像颜色变化程度；
若所述相邻的目标图像中相同类型的相关性系数所在区域的图像颜色变化程度出预设范围，则判定所述网络节点为异常网络节点。
优选的，所述对经所述时间检测方案检测后的网络流量数据，利用空间检测方案对所述网络流量数据进行检测包括：
确定与经所述时间检测方案检测后的网络流量数据对应的异常网络节点以及所述异常网络节点出现异常时所处的异常时间周期；
在所述异常时间周期内，对与所述网络流量数据对应的所有的网络节点进行聚类以对所述网络流量数据进行检测，并得到所述第二检测结果。
优选的，所述对与所述网络流量数据对应的所有的网络节点进行聚类以对所述网络流量数据进行检测包括：
确定各所述网络节点的相关性矩阵并对所述相关性矩阵进行降维，得到相关性降维矩阵；
计算与所述相关性降维矩阵对应的协方差矩阵；
计算所述协方差矩阵的特征值和特征向量；
从多个所述特征值中选取目标特征值，并确定与所述目标特征值对应的特征向量；
将与所述目标特征值对应的特征向量构成目标矩阵并对所述目标矩阵进行降维得到目标降维矩阵；
随机确定初始聚类中心，并依据所述初始聚类中心对所述目标降维矩阵中的元素进行聚类得到聚类结果；
若所述聚类结果中的异常网络节点与所述第一检测结果中的异常网络节点相一致，则将所述异常网络节点作为最终的异常网络节点。
第二，本发明实施例公开了一种流量异常检测装置，包括：
获取模块，用于获取目标网络的网络流量数据；
第一检测模块，用于利用时间检测方案对所述网络流量数据进行检测，得到第一检测结果；
第二检测模块，用于对经所述时间检测方案检测后的网络流量数据，利用空间检测方案对所述网络流量数据进行检测，得到第二检测结果；
判定模块，用于若所述第一检测结果和所述第二检测结果中的网络节点均为异常，则判定与所述网络流量数据对应的网络节点为异常网络节点。
优选的，所述第一检测模块包括：
第一确定单元，用于确定与所述网络节点在各所述时间周期内的参量数据；
计算单元，用于基于皮尔森相关系数计算各所述时间周期内的参量数据之间的相关性系数；
第二确定单元，用于确定与各所述时间周期的相关性系数对应的目标图像；
分析单元，用于分析相邻时间周期的目标图像中相同类型的相关性系数所在区域的图像颜色变化程度；
判定单元，若所述相邻的目标图像中相同类型的相关性系数所在区域的图像颜色变化程度出预设范围，用于判定所述网络节点为异常网络节点。
第三，本发明实施例公开了一种流量异常检测设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序以实现如以上任一种所述的网络流量异常检测方法的步骤。
第四，本发明实施例公开了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上任一项所述的网络流量异常检测方法的步骤。
可见，本发明实施例公开的一种网络流量异常检测方法，首先获取目标网络的网络流量数据，然后利用时间检测方案对网络流量数据进行检测，得到第一检测结果，其次再对经时间检测方案检测后的网络流量数据，利用空间检测方案对网络流量数据进行检测，得到第二检测结果，若第一检测结果和第二检测结果中的网络节点均为异常，则判定与网络流量数据对应的网络节点为异常网络节点。因此，采用本方案，能从时间角度和空间角度两个方面对网络流量进行异常检测，只有时间检测方案和空间检测方案均检测到网络流量数据中的网络节点为异常时，才判定该网络节点为异常网络节点。相对于现有技术中采用单一的时间检测方案或者空间检测方案对网络流量数据进行检测的方式，本方案对网络流量的进行异常检测的可靠性较高，保证了电力通信网的安全稳定，避免了对电网的运行安全产生影响。此外，本发明实施例还公开了一种网络流量异常检测装置、设备及存储介质，效果如上。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种网络流量异常检测方法流程示意图；
图2(a)为本发明实施例公开的一种第一周期内基于时间检测方案的相关性系数的图形化示意图；
图2(b)为本发明实施例公开的一种第二周期内基于时间检测方案的相关性系数的图形化示意图；
图2(c)为本发明实施例公开的一种第三周期内基于时间检测方案的相关性系数的图形化示意图；
图3(a)为本发明实施例公开的一种选定周期内基于空间检测方案的相关性系数的图形化示意图；
图3(b)为本发明实施例公开的一种选定周期内基于空间检测方案的相关性系数的图形化示意图；
图3(c)为本发明实施例公开的一种选定周期内基于空间检测方案的相关性系数的图形化示意图；
图4为本发明实施例公开的一种网络流量异常检测装置结构示意图；
图5为本发明实施例公开的一种网络流量异常检测设备结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种网络流量异常检测方法、装置、设备及存储介质，在对网络流量进行异常检测时，提高了网络流量检测的可靠性，从而保证了电力通信网的安全稳定。
请参见图1，图1为本发明实施例公开的一种网络流量异常检测方法流程示意图，该方法包括：
S101、获取目标网络的网络流量数据。
具体的，本实施例中，目标网络可以为电力通信网的交换网，当然，目标网络也可以为任何产生流量数据的网络。网络流量数据为：在某一时间段内流经所有的网络节点的网络流量数据，也就是说，本发明实施例中的网络流量数据中包含网络节点的数量，以及与网络流量数据对应的时间周期的数量，每个网络节点对应有各时间周期。其中，网络流量数据中网络节点的数量可以为一个，也可以为多个，网络流量数据中的网络节点对应的时间周期的数量可以为一个，也可以为多个。至于网络流量数据中的网络节点的数量和各网络节点的时间周期的数量取多少合适，本发明实施例在此并不作限定。每个网络节点的参量数据可以参见下表1，表1为本发明实施例公开的一种网络节点的参量数据表。
表1网络节点参量数据表
| 序号 | 节点参数 | 含义 |
| 1 | SrcIPCounter | 源地址数量 |
| 2 | SuccAckCounter | 成功传递的数据包的数量 |
| 3 | destIPCounter | 目的地址数量 |
| 4 | TaskPostCounter | 传递的任务的数量 |
| 5 | LoopCounter | 检测到的路由环路的数量 |
| 6 | SrcPortCounter | 源端口数量 |
| 7 | destPortCounter | 目的端口数量 |
| 8 | NetProCounter | 使用的网络协议的数量 |
| 9 | TaskSendFailCounter | 任务失败的数量 |
| 10 | TransmitCounter | 传递数据包的数量 |
| 11 | RetransmitCounter | 转播的数据包的数量 |
| 12 | ReceiveCounter | 接收数据包的数量 |
| 13 | DuplicateCounter | 复制的数据包的数量 |
| 14 | TaskExeCounter | 执行的任务的数量 |
| 15 | SuccRecCounter | 成功接收的数据包的数量 |
具体的，本发明实施例中，除了表1中提到的网络节点的15种参量数据外，根据目标网络的实际网络架构，也可以有其他类型的参量数据，本发明实施例在此并不作限定。
S102、利用时间检测方案对网络流量数据进行检测，得到第一检测结果。
具体的，本实施例中，时间检测方案可以为现有技术中的时间检测算法，也可以采用本发明实施例中的时间检测算法，采用现有技术中的时间检测算法对网络流量数据进行检测时，和现有技术中的保持一致。而采用本发明实施例中时间检测算法时，作为优选的实施例，主要步骤如下：
确定与网络流量数据对应的网络节点，以及与网络节点对应的时间周期，其中，时间周期为多个；
计算网络节点在各时间周期内的相关性矩阵；
计算相邻时间周期内的相关性矩阵的差值，得到相邻周期内的相关性变化量矩阵；
将相关性变化量矩阵中的每一个元素与阈值进行比对；
若相关性变化量矩阵中存在大于阈值的元素，则判定网络节点为异常网络节点。
具体的，本实施例中，网络流量数据中的网络节点为多个，每个网络节点对应有多个时间周期。各网络节点中的各个时间周期的网络流量数据中的参量数据可以为步骤S101中提到的15种参量数据，然后以本发明实施例提供的15种参量数据为数据基础，计算各个网络节点在各个时间周期内的相关性矩阵(即每个网络节点在每个时间周期内的各个参量数据之间的相关性得到相关性系数，然后由各个相关性系数组成相关性矩阵)。
相邻时间周期内的相关性矩阵的差值为：各个相关性矩阵中各对应的元素差所组成的相关性变化量矩阵，如某一时间周期内的相关性矩阵中的第一行第一列的元素与该时间周期相邻的时间周期内的相关性矩阵的第一行第一列的元素的差值。需要说明的是，本发明实施例中的相邻时间周期为后一个时间周期与该相邻时间周期相邻的前一个时间周期，例如，以第一个时间周期为起始时间周期，则第一个时间周期后的时间周期为相邻的时间周期。如此，由于存在多个时间周期，因此得到的相关性变化量矩阵也为多个。相关性变化量矩阵中的元素为每一行每一列对应的数值，阈值可以根据多次实验进行选取，本发明实施例对于阈值的大小并不作限定。
其中，作为优选的实施例，步骤S102包括：
确定网络节点在各时间周期内的参量数据。
计算各时间周期内的各参量数据之间的相关性系数。
将各相关性系数作为相关性矩阵中的元素以得到相关性矩阵。
具体的，本实施例中，网络流量数据对应的网络节点为流经网络节点所产生的流量数据，与网络节点对应的时间周期的长短可以为一分钟、两分钟等，时间周期的长短为多少合适，可以根据网络流量数据的整体数据量的多少进行确定，本发明实施例在此并不作限定。
此外，本实施例中的相关性系数可以利用皮尔森相关系数法进行计算。
本发明实施例以15种参量数据的两两相关性，组成15乘15的相关性矩阵，相关性矩阵中第i行第j列标识的是参量i和参量j的相关性数值(其中，i和j的取值范围为1至15)。本发明实施例设置时间周期为15(时间周期采用K进行表示)，每个时间周期的持续时长为(K-1)*15+1至时间点K*15，本发明实施例中以参量数据u和参量数据v为例进行说明，其中，在时间周期K内，采集的参量数据u和参量数据v的值可以用下式进行表示：
Mu,K＝(mu,(K-1)*w+1,mu,(K-1)*w+2,...,mu,K*w)
Mv,K＝(mv,(K-1)*w+1,mv,(K-1)*w+2,...,mv,K*w)
其中，w表示的是第K个时间周期的时间长短，mu,(K-1)*w+1表示的是参量数据u在第K个时间周期中的第一个时刻点的参量值，依次类推，第K个时间周期的持续时长为(K-1)*w+1至K*w；参量数据v可以参见参量数据u的描述。
采集到参量数据u和参量数据v的值之后，参量数据u和参量数据v之间的相关性可以采用皮尔森相关系数进行计算，计算方式如下：
其中，δu,K和δv,K分别表示的是参量数据u和参量数据v的标准协方差。该公式中的其他参量的含义可以参见上一公式的描述。其中，参量数据u和参量数据v的标准协方差可以采用下式进行计算，计算公式如下：
具体的，本公式中的各参数的含义可以参见上述实施例的描述。
因此，按照上述计算公式，可以计算出15个参量数据的皮埃尔森相关系数(相关性系数)，从而由各皮埃尔森相关系数(相关性系数)组成相关性矩阵，其中，皮埃尔森相关系数(相关性系数)的数值一般在[-1,1]，当数值越接近-1或1时，则表明各参量数据之间的相关性越强，当数值越接近0时，则表明各参量数据之间的相关性越弱。
其中，相关性矩阵可以采用下式进行表示：
其中，z表示的是第15个参量数据，得到各个参量数据在时间周期内的相关性矩阵之后，便可以根据各个周期内的相关性矩阵计算相关性矩阵变化量。
需要说明的是，除了采用本发明实施例提到的相关性系数的计算方法，也可以采用其他的方法计算相关性系数，在此，本发明实施例不作限定。
S103、对经时间检测方案检测后的网络流量数据，利用空间检测方案对网络流量数据进行检测，得到第二检测结果，在得到第二检测结果之后，进入步骤S104。
具体的，本实施例中，经过时间检测方案后的网络流量数据之后，网络节点可能存在异常情况，但是经过时间检测方案后的网络流量数据中只从时间角度进行判定时，可能存在不准确的情况，因此，本发明实施例中，再利用空间检测方案对经时间检测方案检测后的网络流量数据进行检测，从而保证对网络流量检测的可靠性。本发明实施例中的空间检测方案可以采用现有技术的空间相关性检测算法，关于现有技术中的空间相关性检测算法本发明实施例只作简单的说明，关于详细检测过程可以参见现有技术。
S104、若第一检测结果和第二检测结果中的网络节点均为异常，则判定与网络流量数据对应的网络节点为异常网络节点。
具体的，本实施例中，经时间检测方案得到的第一检测结果中包含异常网络节点和异常网络节点所处的时间周期，经空间检测方案得到的第二检测结果中包含异常网络节点和异常网络节点所处的时间周期，其中，第一检测结果中的异常网络节点和第二检测结果中的异常网络节点可以为相同的网络节点(当然，也可以为不同的网络节点)，对应的，第一检测结果中的异常网络节点所处的时间周期和第二检测结果中的异常网络节点所处的时间周期可以为相同的时间周期(当然，也可以为不同的时间周期)。
可见，本发明实施例公开的一种网络流量异常检测方法，首先获取目标网络的网络流量数据，然后利用时间检测方案对网络流量数据进行检测，得到第一检测结果，其次再对经时间检测方案检测后的网络流量数据，利用空间检测方案对网络流量数据进行检测，得到第二检测结果，若第一检测结果和第二检测结果中的网络节点均为异常，则判定与网络流量数据对应的网络节点为异常网络节点。因此，采用本方案，能从时间角度和空间角度两个方面对网络流量进行异常检测，只有时间检测方案和空间检测方案均检测到网络流量数据中的网络节点为异常时，才判定该网络节点为异常网络节点。相对于现有技术中采用单一的时间检测方案或者空间检测方案对网络流量数据进行检测的方式，本方案对网络流量的进行异常检测的可靠性较高，保证了电力通信网的安全稳定，避免了对电网的运行安全产生影响。
基于以上实施例，作为优选的实施例，步骤S102包括：
确定网络节点在各时间周期内的参量数据。
计算各时间周期内的各参量数据之间的相关性系数。
将各相关性系数作为相关性矩阵中的元素以得到相关性矩阵。
此外，为了对发明实施例中的网络流量数据中各网络节点的异常情况进行直观的展示，本发明实施例利用图形式的方式对网络节点的异常情况进行表示，作为优选的实施例，步骤S102包括：
确定与网络节点在各时间周期内的参量数据。
基于皮尔森相关系数计算各时间周期内的参量数据之间的相关性系数。
确定与各时间周期的相关性系数对应的目标图像。
分析相邻的时间周期的目标图像中相同类型的相关性系数所在区域的图像颜色变化程度。
若相邻的目标图像中相同类型的相关性系数所在区域的图像颜色变化程度超出预设范围，则判定网络节点为异常网络节点。
具体的，本发明实施例中，为了对本发明实施例的技术方案进行详细的说明，下面以实例的方式对本发明的技术方案进行介绍，本发明实施例中，还是通过基于皮埃尔森相关系数计算方法对参量数据之间的相关性系数进行计算，确定相关性系数之后，将相关性系数通过图形化的方式进行表示。请参见图2(a)、图2(b)和图2(c)，图2(a)为本发明实施例公开的一种第一周期内基于时间检测方案的相关性系数的图形化示意图，图2(b)为本发明实施例公开的一种第二周期内基于时间检测方案的相关性系数的图形化示意图，图2(c)为本发明实施例公开的一种第三周期内基于时间检测方案的相关性系数的图形化示意图。下面对本发明实施例的相关性系数的图形化方式进行详细说明。本发明实施例选取第9个网络节点的三个相邻时间周期19，时间周期20，时间周期21的参量数据的相关性灰度图像，由图2(a)、图2(b)和图2(c)可知，第19个时间周期和第20个时间周期的灰度图像的灰度相同，说明在这两个周期内，该网络节点是正常工作的，在第21个时间周期的灰度图像可以看出第四行第四列的图像色块颜色变深，说明第九个网络节点的第4个参量数据和其他参量数据的相关性变弱，说明第9个网络节点在第21个时间周期出现了异常。
因此，需要对第9个网络节点从空间角度进行网络异常检测，基于上述实施例，作为优选的实施例，步骤S103包括：
确定与经时间检测方案检测后的网络流量数据对应的异常网络节点以及异常网络节点出现异常时所述的异常时间周期。
在异常时间周期内，对与网络流量数据对应的所有的网络节点进行聚类以对网络流量数据进行检测，并得到检测结果。
具体的，本实施例中，可以通过计算网络节点的协方差矩阵的方式对网络节点进行聚类。
作为优选的实施例，对完了流量数据对应的所有网络节点进行聚类以对网络流量数据进行检测包括：
确定各网络节点的相关性矩阵并对相关性矩阵进行降维，得到相关性降维矩阵；
计算与相关性降维矩阵对应的协方差矩阵；
计算协方差矩阵的特征值和特征向量；
从多个特征值中选取目标特征值，并确定与目标特征值对应的特征向量；
将与目标特征值对应的特征向量构成目标矩阵并对目标矩阵进行降维得到目标降维矩阵；
随机确定初始聚类中心，并依据初始聚类中心对目标降维矩阵中的元素进行聚类得到聚类结果；
若聚类结果中的异常网络节点与第一检测结果中的异常网络节点相一致，则将异常网络节点作为最终的异常网络节点。
具体的，本实施例中，在利用时间检测方案检测出异常的网络节点所在的时间周期之后，再对该异常网络节点所在的时间周期内的所有的网络节点基于空间检测方案再次进行异常检测，假设网络节点为S1，S2，S3，…，Sn，每个网络节点在时间周期K的相关性矩阵表示为M1,K，M2,K,M3,K,...,Mn,K，然后对所有的网络节点进行K聚类，当聚类中心为Center1,Center2,...,Centerk时，其中，最小的聚类中心的值决定节点Mi,K，其中，i的取值为1至n，其中，dist(Mm,K,Mn,k)表示网络节点Sm和Sn的相关性矩阵的欧氏距离。根据相关性矩阵的对称性，将网络节点的相关性矩阵的下三角转换为d-维度矢量，(d＝p*(p-1)/2,p为系统参量的种类15(也可以为其他数值)。但是，考虑到本发明实施例中高纬度的相关性矩阵是没有太大意义的，因此，需要将原相关性矩阵进行降维处理，降维采用的方法是主成分分析法，主成分分析法的原理是将多个变量通过线性变化选出较少个数的重要变量(对应于本发明实施例中的各个参量数据)代替多个变量(具体的也可以参见现有技术)。
每个网络节点的相关性矩阵经过变换形成d-维度矢量，100个(本发明实施例中100个网络节点仅仅是示意)网络节点的d-维度矢量组合在一起形成大小为d*100的网络节点相关性矩阵X，对网络节点相关性矩阵X进行降维处理，步骤如下：
其中，u，w，v，z均表示的是网络节点中各个参量数据，X1至X100表示的是网络节点，矩阵中的各个数值代表的是每个网络节点在第K个时间周期的相关性矩阵。
在得到网络节点之间的相关性矩阵之后，再进行降维处理，主要包括计算协方差矩阵和计算特征值和特征向量以实现降维，具体如下：
首先计算网络节点相关性矩阵的协方差矩阵：
先计算网络节点相关性矩阵中的每一行的均值，即在100个网络节点中计算每个相关性系数的均值，计算公式如下：
将网络节点相关性矩阵的每一列与每一行的均值作差得到新矩阵H，则协方差矩阵Cr可表示为下式：
Cr＝H*HT
其中，HT表示的是新矩阵H的转置矩阵
然后根据得到的协方差矩阵计算特征值和特征向量，具体如下：
本发明实施例中，取协方差矩阵的部分作为本发明实施例中特征值和特征向量的计算数据，取得的部分协方差矩阵为Cr1，本发明实施例中采用以下公式计算协方差矩阵的特征值和特征向量D和V，计算公式如下：
Cr1＝HTH
Cr1V＝DV
HTHV＝DV
HHTHV＝DHV
Cr(HV)＝D(HV)
通过利用矩阵H、转置矩阵HT，协方差矩阵Cr，部分协方差矩阵Cr1组成以上等式，从而对网络节点的特征值和特征向量进行计算，本发明实施例中，协方差矩阵Cr的特征值与部分协方差矩阵Cr1的特征值相同，协方差矩阵Cr的特征向量等于矩阵H乘以矩阵Cr1的特征向量。
在得到特征值和特征向量之后，再进行降维，具体如下：
将特征值按照由大到小的顺序进行排列，取累计特征值大于特征值综合70％的特征值作为选定的特征值(目标特征值)，然后，确地与目标特征值对应的特征向量并组成特征向量矩阵(目标矩阵)，将目标矩阵进行归一化得到归一化之后的矩阵记为U，则降维后的目标降维矩阵表示为Z＝UTX(X为100(网络节点的个数也可以根据实际情况进行确定)个网络节点之间的相关性矩阵)，在得到目标降维矩阵Z后，目标降维矩阵Z的维数小于X的维数，从而达到的降维的目的。
在确定目标降维矩阵之后，便利用k-mediods聚类算法对降维后的矩阵Z进行聚类处理，最终判断哪些网络节点为异常网络节点。
首先随机确定初始的k个聚类中心，计算目标降维矩阵中的样本点与k个聚类中心的欧式距离，将目标降维矩阵中的样本点与聚类中心最小的一类，然后再重新选取聚类中心，选取新的聚类中心的标准是使绝对误差最小的聚类中心作为新的聚类中心。如果目标降维矩阵中的某一样本点成为新聚类中心后，它对应的绝对误差必须小于原聚类中心对应的绝对误差。在实现聚类算法时，需要注意两个问题：一是k值(聚类中心的个数)如何进行选取，二是如何判断目标降维矩阵中异常的网络节点。在进行聚类中心的选取时，应该对聚类程序进行测试，例如，取k＝2，k＝3，k＝4，k＝5，….，时，分别运行聚类程序，将输出的异常网络节点与实际的异常网络节点进行比较，选取聚类程序输出的异常网络节点最为接近实际异常节点的k的取值为最终的k值。在进行异常网络节点的判断时，将聚类程序进行聚类的结果与时间检测方案检测出的异常网络节点进行比较，如果聚类结果中的某一类异常网络节点大部分包含在采用时间检测方案检测出的网络节点中，则判断该类网络节点为异常网络节点，并将该异常网络节点输出。
在进行空间检测方案后，如果时间检测方案检测出的异常网络节点和空间检测方案检测出的异常网络节点很大程度上保持一致，则说明异常网络节点的检测为正确的异常网络节点。
为了将采用空间方案对网络节点进行异常判断的结果更为直观的显示，本发明实施例结合上一实施例中采取目标图像的方法对基于时间检测方案得到的异常网络节点进行显示的方式，对采用空间方案对异常网络节点的异常情况进行显示。具体如下：
在上一实施例的基础上，在利用时间检测方案得到第9个网络节点在第21个时间周期内出现异常后，在接下来的空间检测中，验证第9个网络节点、第8个网络节点、第7个网络节点在第21个时间周期的灰度图像，请参见图3(a)、图3(b)和图3(c)，其中，图3(a)为本发明实施例公开的一种选定周期内基于空间检测方案的相关性系数的图形化示意图；图3(b)为本发明实施例公开的一种选定周期内基于空间检测方案的相关性系数的图形化示意图；图3(c)为本发明实施例公开的一种选定周期内基于空间检测方案的相关性系数的图形化示意图；由图3(a)、图3(b)和图3(c)可知，在第21个时间周期内，第7个网络节点和第8个网络节点的图像颜色的深浅程度大致相同，表明第7个网络节点和第8个网络节点的相关性大致相同，但是与第9个网络节点的图像的颜色差距较大，则表明第7个网络节点、第8个网络节点与第9个网络节点的相关性差距很大，主要表现在第9个网络节点的第4个参量数据与第7个网络节点和第8个网络节点的差距较大，说明第9个网络节点在第21个时间周期出现的相关性不一致不是由于外界环境突变引起的。
下面对本发明实施例公开的一种网络流量异常检测装置进行介绍，请参见图4，图4为本发明实施例公开的一种网络流量异常检测装置结构示意图，该装置包括：
获取模块401，用于获取目标网络的网络流量数据；
第一检测模块402，用于利用时间检测方案对网络流量数据进行检测，得到第一检测结果；
第二检测模块403，用于对经时间检测方案检测后的网络流量数据，利用空间检测方案对网络流量数据进行检测，得到第二检测结果；
判定模块404，用于若第一检测结果和第二检测结果中的网络节点均为异常，则判定与网络流量数据对应的网络节点为异常网络节点。
可见，本发明实施例公开的一种网络流量异常检测装置，首先获取目标网络的网络流量数据，然后利用时间检测方案对网络流量数据进行检测，得到第一检测结果，其次再对经时间检测方案检测后的网络流量数据，利用空间检测方案对网络流量数据进行检测，得到第二检测结果，若第一检测结果和第二检测结果中的网络节点均为异常，则判定与网络流量数据对应的网络节点为异常网络节点。因此，采用本方案，能从时间角度和空间角度两个方面对网络流量进行异常检测，只有时间检测方案和空间检测方案均检测到网络流量数据中的网络节点为异常时，才判定该网络节点为异常网络节点。相对于现有技术中采用单一的时间检测方案或者空间检测方案对网络流量数据进行检测的方式，本方案对网络流量的进行异常检测的可靠性较高，保证了电力通信网的安全稳定，避免了对电网的运行安全产生影响。
基于上述实施例，作为优选的实施例，第一检测模块202包括：
第一确定单元，用于确定与网络节点在各时间周期内的参量数据；
计算单元，用于基于皮尔森相关系数计算各时间周期内的参量数据之间的相关性系数；
第二确定单元，用于确定与各时间周期的相关性系数对应的目标图像；
分析单元，用于分析相邻时间周期的目标图像中相同类型的相关性系数所在区域的图像颜色变化程度；
判定单元，若相邻的目标图像中相同类型的相关性系数所在区域的图像颜色变化程度出预设范围，用于判定网络节点为异常网络节点。
请参见图5，图5为本发明实施例公开的一种网络流量异常检测设备结构示意图，包括：
存储器501，用于存储计算机程序；
处理器502，用于执行所述存储器中存储的计算机程序以实现以上任一项提到的流量异常检测方法的步骤。
本实施例提供的网络流量异常检测设备，由于可以通过处理器调用存储器存储的计算机程序，实现如上述任一实施例提供的网络异常检测方法的步骤，所以本检测设备具有同上述网络流量异常检测方法同样的实际效果。
为了更好地理解本方案，本发明实施例提供的一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上任一实施例提到的网络流量异常检测方法的步骤。
本实施例提供的计算机可读存储介质，由于可以通过处理器调用计算机可读存储介质存储的计算机程序，实现如上述任一实施例提供的网络流量异常检测方法的步骤，所以本计算机可读存储介质具有同上述网络流量异常检测方法同样的实际效果。
以上对本申请所提供的一种网络流量异常检测方法、装置、设备及存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种网络流量异常检测方法，其特征在于，包括：
获取目标网络的网络流量数据；
利用时间检测方案对所述网络流量数据进行检测，得到第一检测结果；
对经所述时间检测方案检测后的网络流量数据，利用空间检测方案对所述网络流量数据进行检测，得到第二检测结果；
若所述第一检测结果和所述第二检测结果中的网络节点均为异常，则判定与所述网络流量数据对应的网络节点为异常网络节点。
2.根据权利要求1所述的网络流量异常检测方法，其特征在于，所述利用时间检测方案对所述网络流量数据进行检测包括：
确定与所述网络流量数据对应的网络节点，以及与所述网络节点对应的时间周期，所述时间周期为多个；
计算所述网络节点在各所述时间周期内的相关性矩阵；
计算相邻时间周期内的相关性矩阵的差值，得到所述相邻周期内的相关性变化量矩阵；
将所述相关性变化量矩阵中的每一个元素与阈值进行比对；
若所述相关性变化量矩阵中存在大于所述阈值的元素，则判定所述网络节点为异常网络节点。
3.根据权利要求2所述的网络流量异常检测方法，其特征在于，所述计算所述网络节点在各所述时间周期内的相关性矩阵包括：
确定所述网络节点在各所述时间周期内的参量数据；
计算各所述时间周期内的各参量数据之间的相关性系数；
将各所述相关性系数作为所述相关性矩阵中的元素以得到所述相关性矩阵。
4.根据权利要求2或3所述的网络流量异常检测方法，其特征在于，所述利用时间检测方案对所述网络流量数据进行检测包括：
确定与所述网络节点在各所述时间周期内的参量数据；
基于皮尔森相关系数计算各所述时间周期内的参量数据之间的相关性系数；
确定与各所述时间周期的相关性系数对应的目标图像；
分析相邻时间周期的目标图像中相同类型的相关性系数所在区域的图像颜色变化程度；
若所述相邻的目标图像中相同类型的相关性系数所在区域的图像颜色变化程度出预设范围，则判定所述网络节点为异常网络节点。
5.根据权利要求2所述的网络流量异常检测方法，其特征在于，所述对经所述时间检测方案检测后的网络流量数据，利用空间检测方案对所述网络流量数据进行检测包括：
确定与经所述时间检测方案检测后的网络流量数据对应的异常网络节点以及所述异常网络节点出现异常时所处的异常时间周期；
在所述异常时间周期内，对与所述网络流量数据对应的所有的网络节点进行聚类以对所述网络流量数据进行检测，并得到所述第二检测结果。
6.根据权利要求5所述的网络流量异常检测方法，其特征在于，所述对与所述网络流量数据对应的所有的网络节点进行聚类以对所述网络流量数据进行检测包括：
确定各所述网络节点的相关性矩阵并对所述相关性矩阵进行降维，得到相关性降维矩阵；
计算与所述相关性降维矩阵对应的协方差矩阵；
计算所述协方差矩阵的特征值和特征向量；
从多个所述特征值中选取目标特征值，并确定与所述目标特征值对应的特征向量；
将与所述目标特征值对应的特征向量构成目标矩阵并对所述目标矩阵进行降维得到目标降维矩阵；
随机确定初始聚类中心，并依据所述初始聚类中心对所述目标降维矩阵中的元素进行聚类得到聚类结果；
若所述聚类结果中的异常网络节点与所述第一检测结果中的异常网络节点相一致，则将所述异常网络节点作为最终的异常网络节点。
7.一种流量异常检测装置，其特征在于，包括：
获取模块，用于获取目标网络的网络流量数据；
第一检测模块，用于利用时间检测方案对所述网络流量数据进行检测，得到第一检测结果；
第二检测模块，用于对经所述时间检测方案检测后的网络流量数据，利用空间检测方案对所述网络流量数据进行检测，得到第二检测结果；
判定模块，用于若所述第一检测结果和所述第二检测结果中的网络节点均为异常，则判定与所述网络流量数据对应的网络节点为异常网络节点。
8.根据权利要求7所述的网络流量异常检测装置，其特征在于，所述第一检测模块包括：
第一确定单元，用于确定与所述网络节点在各所述时间周期内的参量数据；
计算单元，用于基于皮尔森相关系数计算各所述时间周期内的参量数据之间的相关性系数；
第二确定单元，用于确定与各所述时间周期的相关性系数对应的目标图像；
分析单元，用于分析相邻时间周期的目标图像中相同类型的相关性系数所在区域的图像颜色变化程度；
判定单元，若所述相邻的目标图像中相同类型的相关性系数所在区域的图像颜色变化程度出预设范围，用于判定所述网络节点为异常网络节点。
9.一种网络流量异常检测设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述存储器中存储的计算机程序以实现如权利要求1至6任一项所述的网络流量异常检测方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行以实现如权利要求1至6任一项所述的网络流量异常检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810916177.4A CN109040084B (zh) | 2018-08-13 | 2018-08-13 | 一种网络流量异常检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810916177.4A CN109040084B (zh) | 2018-08-13 | 2018-08-13 | 一种网络流量异常检测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109040084A true CN109040084A (zh) | 2018-12-18 |
| CN109040084B CN109040084B (zh) | 2021-03-12 |
Family
ID=64632985
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810916177.4A Active CN109040084B (zh) | 2018-08-13 | 2018-08-13 | 一种网络流量异常检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109040084B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109688009A (zh) * | 2018-12-28 | 2019-04-26 | 山东中孚安全技术有限公司 | 一种基于业务流量空间图的网络异常数据挖掘方法 |
| CN111431937A (zh) * | 2020-04-23 | 2020-07-17 | 国网浙江省电力有限公司 | 工业网络异常流量的检测方法及系统 |
| CN112367311A (zh) * | 2020-10-30 | 2021-02-12 | 中移（杭州）信息技术有限公司 | DDoS攻击检测方法、装置、设备及存储介质 |
| CN112583825A (zh) * | 2020-12-07 | 2021-03-30 | 四川虹微技术有限公司 | 一种工业系统的异常检测方法和装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101150581A (zh) * | 2007-10-19 | 2008-03-26 | 华为技术有限公司 | 分布式拒绝服务攻击检测方法及装置 |
| CN101547129A (zh) * | 2009-05-05 | 2009-09-30 | 中国科学院计算技术研究所 | 分布式拒绝服务攻击的检测方法及系统 |
| CN101729301A (zh) * | 2008-11-03 | 2010-06-09 | 中国移动通信集团湖北有限公司 | 网络异常流量监测方法和监测系统 |
| CN101753381A (zh) * | 2009-12-25 | 2010-06-23 | 华中科技大学 | 一种检测网络攻击行为的方法 |
| CN102111312A (zh) * | 2011-03-28 | 2011-06-29 | 钱叶魁 | 基于多尺度主成分分析的网络异常检测方法 |
| CN102982386A (zh) * | 2012-09-07 | 2013-03-20 | 浙江大学 | 一种基于空时压缩感知的蜂窝网络流量预测方法 |
| CN103532776A (zh) * | 2013-09-30 | 2014-01-22 | 广东电网公司电力调度控制中心 | 业务流量检测方法及系统 |
-
2018
- 2018-08-13 CN CN201810916177.4A patent/CN109040084B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101150581A (zh) * | 2007-10-19 | 2008-03-26 | 华为技术有限公司 | 分布式拒绝服务攻击检测方法及装置 |
| CN101729301A (zh) * | 2008-11-03 | 2010-06-09 | 中国移动通信集团湖北有限公司 | 网络异常流量监测方法和监测系统 |
| CN101547129A (zh) * | 2009-05-05 | 2009-09-30 | 中国科学院计算技术研究所 | 分布式拒绝服务攻击的检测方法及系统 |
| CN101753381A (zh) * | 2009-12-25 | 2010-06-23 | 华中科技大学 | 一种检测网络攻击行为的方法 |
| CN102111312A (zh) * | 2011-03-28 | 2011-06-29 | 钱叶魁 | 基于多尺度主成分分析的网络异常检测方法 |
| CN102982386A (zh) * | 2012-09-07 | 2013-03-20 | 浙江大学 | 一种基于空时压缩感知的蜂窝网络流量预测方法 |
| CN103532776A (zh) * | 2013-09-30 | 2014-01-22 | 广东电网公司电力调度控制中心 | 业务流量检测方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 钱叶魁等: "基于多尺度主成分分析的全网络异常检测方法", 《软件学报》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109688009A (zh) * | 2018-12-28 | 2019-04-26 | 山东中孚安全技术有限公司 | 一种基于业务流量空间图的网络异常数据挖掘方法 |
| CN109688009B (zh) * | 2018-12-28 | 2022-03-11 | 山东中孚安全技术有限公司 | 一种基于业务流量空间图的网络异常数据挖掘方法 |
| CN111431937A (zh) * | 2020-04-23 | 2020-07-17 | 国网浙江省电力有限公司 | 工业网络异常流量的检测方法及系统 |
| CN112367311A (zh) * | 2020-10-30 | 2021-02-12 | 中移（杭州）信息技术有限公司 | DDoS攻击检测方法、装置、设备及存储介质 |
| CN112367311B (zh) * | 2020-10-30 | 2023-04-07 | 中移（杭州）信息技术有限公司 | DDoS攻击检测方法、装置、设备及存储介质 |
| CN112583825A (zh) * | 2020-12-07 | 2021-03-30 | 四川虹微技术有限公司 | 一种工业系统的异常检测方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109040084B (zh) | 2021-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109040084A (zh) | 一种网络流量异常检测方法、装置、设备及存储介质 | |
| CN104572333B (zh) | 用于检测、校正并验证数据流中的不良数据的系统和方法 | |
| CN102111312B (zh) | 基于多尺度主成分分析的网络异常检测方法 | |
| CN104461896B (zh) | 基于可信属性的航天系统关键软件评价方法 | |
| CN105974273A (zh) | 配电网故障定位系统 | |
| US10097000B2 (en) | Tool employing homotopy-based approaches in finding the controlling unstable equilibrium point in the electric power grid | |
| CN105512011B (zh) | 一种电子装备测试性建模评估方法 | |
| CN106662472B (zh) | 偏差估计装置和方法以及故障诊断装置和方法 | |
| CN105242110B (zh) | 一种配电网多点谐波污染溯源方法 | |
| CN108957385B (zh) | 一种电能计量设备自动化检定线异常表位确认方法及装置 | |
| CN108039987A (zh) | 基于多层耦合关系网络的关键基础设施脆弱性测评方法 | |
| CN107966638A (zh) | 校正误差的方法和装置、存储介质及处理器 | |
| CN110188095A (zh) | 一种基于关联规则的电网设备数据流清洗方法 | |
| CN105572572A (zh) | 基于wknn-lssvm的模拟电路故障诊断方法 | |
| CN106157616B (zh) | 一种交通流量短时预测装置 | |
| CN110222765A (zh) | 一种永磁同步电机健康状态监测方法及系统 | |
| CN105913654B (zh) | 一种智能交通管理系统 | |
| CN108776319A (zh) | 一种光纤电流互感器数据准确性自诊断方法与系统 | |
| CN110474862A (zh) | 一种网络流量异常检测方法及装置 | |
| CN107977730A (zh) | 一种多传感器数据融合技术的风速测量方法 | |
| CN106650951B (zh) | 基于时域全局相似度的多通道测量数据自动筛选方法 | |
| CN110443358A (zh) | 一种基于加权正则化极限学习机的谐波源辨识方法 | |
| CN106209404A (zh) | 网络异常流量分析方法及系统 | |
| CN206601463U (zh) | 一种行波测距闭锁时间的测试系统 | |
| CN106128101B (zh) | 交通流量短时预测结果的可视化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |