CN112532615B - 一种智能电网蠕虫检测方法 - Google Patents

Abstract

本发明公开一种智能电网蠕虫检测方法，包括：智能电表收集用户信息和用电需求数据，将数据包的目的IP地址和时间戳上传至集中器，集中器按预定时间间隔将数据包上传至数据处理器；将用于蠕虫检测的状态向量输入到训练好的神经网络中，获得蠕虫检测阈值的选择策略并选择蠕虫检测阈值；数据处理器计算其谱平坦测度值，并根据谱平坦测度值与蠕虫检测阈值的大小关系判断是否检测到蠕虫；数据处理器统计数据检测结果，更新所述状态向量，并计算奖励值；根据更新后的状态向量和所述奖励值计算累计奖励函数，并更新网络权重参数；不断调整蠕虫检测阈值的选择，直至所述奖励函数收敛，实现稳定的蠕虫检测。本发明能降低虚警率和漏报率，缩短检测时间。

Description

一种智能电网蠕虫检测方法

技术领域

本发明涉及智能电网安全技术领域，尤其涉及一种智能电网蠕虫检测方法。

背景技术

智能电网中各电表之间连接紧密且数量繁多，容易受到蠕虫攻击，泄露电网系统中用户用电数据和信息，影响或破坏电力系统及关键基础设施。如果不能及时检测蠕虫病毒，蠕虫病毒会在短时间内感染大量电表，带来极大的安全隐患，甚至导致网络瘫痪。

现有的电网蠕虫检测技术通过监视、收集和分析智能电表的日志信息，依据蠕虫的传播特点进行检测。这些检测技术均需智能电表通信网络和蠕虫攻击模型，且虚警率和漏报率较高。

发明内容

本发明所要解决的技术问题在于，提供一种智能电网蠕虫检测方法，在无需智能电表通信网络和蠕虫攻击模型的情况下，降低虚警率和漏报率，缩短检测时间。

为了解决上述技术问题，本发明提供一种智能电网蠕虫检测方法，包括：

步骤S1，智能电表收集用户信息和用电需求数据，将数据包的目的IP地址和时间戳上传至集中器，集中器按预定时间间隔将数据包上传至数据处理器；

步骤S2，将用于蠕虫检测的状态向量输入到训练好的神经网络中，获得蠕虫检测阈值的选择策略并选择蠕虫检测阈值；

步骤S3，数据处理器统计接收到的数据包的目的IP地址，计算其谱平坦测度值，并根据谱平坦测度值与蠕虫检测阈值的大小关系判断是否检测到蠕虫；

步骤S4，数据处理器统计数据检测结果，更新所述状态向量，并计算奖励值；

步骤S5，根据更新后的状态向量和所述奖励值计算累计奖励函数，并更新网络权重参数；

步骤S6，重复执行步骤S2-S5，不断调整蠕虫检测阈值的选择，直至所述奖励函数收敛，实现稳定的蠕虫检测。

进一步地，所述步骤S1中设智能电网内共有M₀个智能电表，每个智能电表收集W秒内的用户信息和用电需求数据，包含T个数据包的目的IP地址和对应的时间戳，智能电表上传M₀T数据包至集中器，集中器在W秒内将收集到的数据包分Z次上传至数据处理器。

进一步地，所述步骤S2中，用于蠕虫检测的状态向量s^(k)包括虚警率P_f、漏报率P_m、数据处理器检测数据是否包含蠕虫并判断正确的次数N_T、累计感染的智能电表数M，s^(k)＝[P_f，P_m，N_T，M]。

进一步地，所述步骤S2具体包括：

在第k时隙，将状态向量s^(k)输入训练好的第一神经网络，输出蠕虫检测阈值a的概率分布π(a|s^(k)；θ_a)，a∈[0，1]，均匀量化为H个值；数据处理器根据π(a|s^(k)；θ_a)的概率分布在H个值中选择蠕虫检测阈值a；

将状态向量s^(k)输入训练好的第二神经网络，输出为V(s^(k)；θ_c)；

第一神经网络以网络权重参数θ_a构建，第一神经网络以网络权重参数θ_c构建，网络权重参数θ_a和θ_c均为b×d维向量；初始虚警率P_f＝0，漏报率P_m＝0，数据处理器检测数据是否包含蠕虫并判断正确的次数N_T＝0，

秒内累计感染的智能电表数M＝1，初始累计平方梯度g_a＝0，g_c＝0，网络权重参数梯度dθ_a＝0，dθ_c＝0。

进一步地，所述步骤S3具体包括：

步骤S31，数据处理器将

秒划分G个时间窗，统计每个时间窗内数据包的目的IP地址数，得到G个IP目的地址数，组成序列X(v)，v∈[1，G]；

步骤S32，计算序列X(v)的功率谱密度

其中f＝0，1，...，G-1，然后计算谱平坦测度值

用以反映IP目的地址数的变化；

步骤S33，若谱平坦测度值SFM小于蠕虫检测阈值a，表明当前时间段内目的IP地址数目迅速增加，智能电网受到蠕虫攻击，则数据处理器发出蠕虫警报；

步骤S34：重复步骤S31到S33，直至Z次发送的数据全部检测完毕。

进一步地，所述步骤S4具体包括：

步骤S41，数据处理器通过Z次数据的检测结果，得到将数据正确判断为蠕虫的次数TP，正确判断为正常数据的次数TN，错判为蠕虫的次数FP，错判为正常的次数FN，并记录蠕虫感染电表数M；

步骤S42，计算虚警率

漏报率

判断正确的次数N_T＝TP+TN，更新状态向量s^(k+1)＝[P_f，P_m，N_T，M]，将更新后的状态向量s^(k+1)输入第二神经网络，记输出为V(s^(k+1)，θ_c)；

步骤S43，计算检测时间

步骤S44，计算奖励值r＝-c₁P_f-c₂P_m-c₃t，用以降低虚警率和漏报率，提升检测效率，其中c₁，c₂，c₃为权重系数，c₁，c₂，c₃＞0。

进一步地，所述步骤S5具体包括：

步骤S51，计算累计奖励函数R＝r+γV(s^(k+1)；θ_c)，用于反映长期的奖励值，γ为折扣系数，γ∈[0，1]；

步骤S52，更新网络权重参数梯度：

步骤S53，根据RMSProp算法利用梯度更新网络权重参数，更新累计平方梯度g_a←αg_a+(1-α)dθ_a ²，g_c←αgc+(1-α)dθ_c ²，然后更新网络权重参数

用以优化下一时刻的蠕虫检测阈值策略选择，其中α，η，∈∈[0，1]，α，η为学习率，∈为模糊因子。

本发明实施例的有益效果在于：在无需智能电表通信网络和蠕虫攻击模型的情况下，智能电表收集用户用电信息和用电需求等数据，记录数据包的目的IP地址和对应的时间戳上传至集中器，集中器按照预定的时间间隔将数据上传至处理器，数据处理器利用强化学习算法优化检测阈值进行蠕虫检测，提升了检测准确率和检测效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一种智能电网蠕虫检测方法的流程示意图。

具体实施方式

以下各实施例的说明是参考附图，用以示例本发明可以用以实施的特定实施例。

请参照图1所示，本发明实施例提供一种智能电网蠕虫检测方法，包括：

步骤S1，智能电表收集用户信息和用电需求数据，将数据包的目的IP地址和时间戳上传至集中器，集中器按预定时间间隔将数据包上传至数据处理器；

步骤S2，将用于蠕虫检测的状态向量输入到训练好的神经网络中，获得蠕虫检测阈值的选择策略并选择蠕虫检测阈值；

步骤S3，数据处理器统计接收到的数据包的目的IP地址，计算其谱平坦测度值，并根据谱平坦测度值与蠕虫检测阈值的大小关系判断是否检测到蠕虫；

步骤S4，数据处理器统计数据检测结果，更新所述状态向量，并计算奖励值；

步骤S5，根据更新后的状态向量和所述奖励值计算累计奖励函数，并更新网络权重参数；

步骤S6，重复执行步骤S2-S5，不断调整蠕虫检测阈值的选择，直至所述奖励函数收敛，实现稳定的蠕虫检测。

具体地，步骤S1中，设智能电网内共有M₀个智能电表，每个智能电表收集W秒内的用户信息和用电需求等数据，包含T个数据包的目的IP地址和对应的时间戳。整个IP空间有Ω个IP地址。智能电表上传M₀T数据包至集中器，集中器在W秒内将收集到的数据包分Z次上传至数据处理器，即数据处理器每

秒收到

个数据包。

步骤S2中，用于蠕虫检测的状态向量s^(k)包括虚警率P_f、漏报率P_m、数据处理器检测数据是否包含蠕虫并判断正确的次数N_T、累计感染的智能电表数M，即s^(k)＝[P_f，P_m，N_T，M]。网络权重参数θ_a和θ_c均为b×d维向量，构造网络权重参数分别为θ_a和θ_c的深度卷积神经网络A和C。令初始虚警率P_f＝0，漏报率P_m＝0，数据处理器检测数据是否包含蠕虫并判断正确的次数N_T＝0，

秒内累计感染的智能电表数M＝1，初始累计平方梯度g_a＝0，g_c＝0，网络权重参数梯度dθ_a＝0，dθ_c＝0。

在第k时隙，将状态向量s^(k)输入网络A，输出蠕虫检测阈值a的概率分布π(a|s(^k)；θ_a)，a∈[0，1]，均匀量化为H个值。数据处理器有ω个IP地址，以S次/秒的速度扫描数据包，数据处理器根据π(a|s^(k)；θ_a)的概率分布在H个值中选择蠕虫检测阈值a。将状态向量s^(k)输入网络C，输出为V(s^(k)；θ_c)。

步骤S3具体包括：

步骤S31，数据处理器将

秒划分G个时间窗，统计每个时间窗内数据包的目的IP地址数，得到G个IP目的地址数，组成序列X(v)，v∈[1，G]。

步骤S32，计算序列X(v)的功率谱密度

其中f＝0，1，...，G-1。然后计算谱平坦测度值

用以反映IP目的地址数的变化。

步骤S33，若谱平坦测度值SFM小于蠕虫检测阈值a，表明当前时间段内目的IP地址数目迅速增加，智能电网受到蠕虫攻击，则数据处理器发出蠕虫警报。

步骤S34：重复步骤S31到S33，直至Z次发送的数据全部检测完毕。

步骤S4具体包括：

步骤S41，数据处理器通过Z次数据的检测结果，得到将数据正确判断为蠕虫的次数TP，正确判断为正常数据的次数TN，错判为蠕虫的次数FP，错判为正常的次数FN，并记录蠕虫感染电表数M。

步骤S42，计算虚警率

漏报率

判断正确的次数N_T＝TP+TN，更新状态向量s^(k+1)＝[P_f，P_m，N_T，M]，将s^(k+1)输入网络C，记输出为V(s^(k+1)，θ_c)。

步骤S43，计算检测时间

步骤S44，计算奖励值r＝-c₁P_f-c₂P_m-c₃t，用以降低虚警率和漏报率，提升检测效率，其中c₁，c₂，c₃为权重系数，c₁，c₂，c₃＞0。

步骤S5具体包括：

步骤S51，计算累计奖励函数R＝r+γV(s^(k+1)；θ_c)，用于反映长期的奖励值，γ为折扣系数，γ∈[0，1]。

步骤S52，更新网络权重参数梯度：

dθc←dθc+12R-Vsk；θc2。

步骤S53，根据RMSProp算法利用梯度更新网络权重参数，更新累计平方梯度g_a←αg_a+(1-α)dθ_a ²，g_c←αg_c+(1-α)dθ_c ²，然后更新网络权重参数

用以优化下一时刻的蠕虫检测阈值策略选择，其中αη，∈∈[0，1]，α，η为学习率，∈为模糊因子。

通过上述说明可知，本发明实施例的有益效果在于：在无需智能电表通信网络和蠕虫攻击模型的情况下，智能电表收集用户用电信息和用电需求等数据，记录数据包的目的IP地址和对应的时间戳上传至集中器，集中器按照预定的时间间隔将数据上传至处理器，数据处理器利用强化学习算法优化检测阈值进行蠕虫检测，提升了检测准确率和检测效率。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (7)

1.一种智能电网蠕虫检测方法，其特征在于，包括：

步骤S1，智能电表收集用户信息和用电需求数据，将数据包的目的IP地址和时间戳上传至集中器，集中器按预定时间间隔将数据包上传至数据处理器；

步骤S2，将用于蠕虫检测的状态向量输入到训练好的神经网络中，获得蠕虫检测阈值的选择策略并选择蠕虫检测阈值；

步骤S3，数据处理器统计接收到的数据包的目的IP地址，计算其谱平坦测度值，并根据谱平坦测度值与蠕虫检测阈值的大小关系判断是否检测到蠕虫；

步骤S4，数据处理器统计数据检测结果，更新所述状态向量，并计算奖励值；

步骤S5，根据更新后的状态向量和所述奖励值计算累计奖励函数，并更新网络权重参数；

步骤S6，重复执行步骤S2-S5，不断调整蠕虫检测阈值的选择，直至所述奖励函数收敛，实现稳定的蠕虫检测。

2.根据权利要求1所述的智能电网蠕虫检测方法，其特征在于，所述步骤S1中设智能电网内共有M₀个智能电表，每个智能电表收集W秒内的用户信息和用电需求数据，包含T个数据包的目的IP地址和对应的时间戳，智能电表上传M₀T数据包至集中器，集中器在W秒内将收集到的数据包分Z次上传至数据处理器。

3.根据权利要求2所述的智能电网蠕虫检测方法，其特征在于，所述步骤S2中，用于蠕虫检测的状态向量s^(k)包括虚警率P_f、漏报率P_m、数据处理器检测数据是否包含蠕虫并判断正确的次数N_T、累计感染的智能电表数M，s^(k)＝[P_f,P_m,N_T,M]。

4.根据权利要求3所述的智能电网蠕虫检测方法，其特征在于，所述步骤S2具体包括：

在第k时隙，将状态向量s^(k)输入训练好的第一神经网络，输出蠕虫检测阈值a的概率分布π(a|s^(k)；θ_a)，a∈[0,1]，均匀量化为H个值；数据处理器根据π(a|s^(k)；θ_a)的概率分布在H个值中选择蠕虫检测阈值a；

将状态向量s^(k)输入训练好的第二神经网络，输出为V(s^(k)；θ_c)；

第一神经网络以网络权重参数θ_a构建，第二神经网络以网络权重参数θ_c构建，网络权重参数θ_a和θ_c均为b×d维向量；初始虚警率P_f＝0，漏报率P_m＝0，数据处理器检测数据是否包含蠕虫并判断正确的次数N_T＝0，

秒内累计感染的智能电表数M＝1，初始累计平方梯度g_a＝0，g_c＝0，网络权重参数梯度dθ_a＝0，dθ_c＝0。

5.根据权利要求4所述的智能电网蠕虫检测方法，其特征在于，所述步骤S3具体包括：

步骤S31，数据处理器将

秒划分G个时间窗，统计每个时间窗内数据包的目的IP地址数，得到G个IP目的地址数，组成序列X(v)，v∈[1,G]；

步骤S32，计算序列X(v)的功率谱密度

其中f＝0,1,…,G-1，然后计算谱平坦测度值

用以反映IP目的地址数的变化；

步骤S33，若谱平坦测度值SFM小于蠕虫检测阈值a，表明当前时间段内目的IP地址数目迅速增加，智能电网受到蠕虫攻击，则数据处理器发出蠕虫警报；

步骤S34：重复步骤S31到S33，直至Z次发送的数据全部检测完毕。

6.根据权利要求5所述的智能电网蠕虫检测方法，其特征在于，所述步骤S4具体包括：

步骤S41，数据处理器通过Z次数据的检测结果，得到将数据正确判断为蠕虫的次数TP，正确判断为正常数据的次数TN，错判为蠕虫的次数FP，错判为正常的次数FN，并记录蠕虫感染电表数M；

步骤S42，计算虚警率

漏报率

判断正确的次数N_T＝TP+TN，更新状态向量s^(k+1)＝[P_f,P_m,N_T,M]，将更新后的状态向量s^(k+1)输入第二神经网络，记输出为V(s^(k+1),θ_c)；

步骤S43，计算检测时间

其中，Ω为整个IP空间的IP地址数量，ω为数据处理器的IP地址数量，S为扫描数据包的速度，单位是次/秒；

步骤S44，计算奖励值r＝-c₁P_f-c₂P_m-c₃t，用以降低虚警率和漏报率，提升检测效率，其中c₁,c₂,c₃为权重系数，c₁,c₂,c₃>0。

7.根据权利要求6所述的智能电网蠕虫检测方法，其特征在于，所述步骤S5具体包括：

步骤S51，计算累计奖励函数R＝r+γV(s^(k+1)；θ_c)，用于反映长期的奖励值，γ为折扣系数，γ∈[0,1]；

步骤S52，更新网络权重参数梯度：

步骤S53，根据RMSProp算法利用梯度更新网络权重参数，更新累计平方梯度g_a←αg_a+(1-α)dθ_a ²，g_c←αg_c+(1-α)dθ_c ²，然后更新网络权重参数

用以优化下一时刻的蠕虫检测阈值策略选择，其中α,η,∈∈[0,1]，α,η为学习率，∈为模糊因子。

Images