CN110971677B - 一种基于对抗强化学习的电力物联网终端设备边信道安全监测方法 - Google Patents

Abstract

本发明公开了一种基于对抗强化学习的电力物联网终端设备边信道安全监测方法，属于智能电网安全领域。通过对终端设备的功耗边信道信息进行预处理和统计分析，确定与终端设备工作状态变化相关的特征组合，将预处理后的边信道特征作为异常监测模型的输入。将终端设备正常工作状态下的历史边信道数据作为正常样本输入异常监测模型，训练多种正常工作状态下的基于单分类的异常监测模型，通过新的终端设备异常状态数据，验证基于边信道信息的终端设备异常监测模型的有效性及其性能。在实际监测过程中，采用异常监测智能体自动选择单一异常监测模型执行程序，实现算法复杂度的自适应调节，兼顾准确度和快速性，提高了电力物联网终端设备的安全性能。

Description

一种基于对抗强化学习的电力物联网终端设备边信道安全监 测方法

技术领域

本发明属于智能电网安全领域，涉及一种基于对抗强化学习的电力物联网终端设备边信道安全监测方法。

背景技术

电力物联网终端设备安全是电力系统安全防护的一部分。在智能电网各环节中，各类智能电力物联网终端，如配电终端、智能电表、电力移动作业终端等设备与电力供应保障关系紧密，是保证供电质量、提高电网运行效率、创新用户服务的关键环节，关系国家政治稳定、经济发展与社会和谐。因此，各类电力物联网终端的安全可控是构建能源互联网的重要基础。随着电网规模的不断扩大，电网环节多元化发展，电网边缘出现了一些暴露在监测现场、调度数据网延伸不到而且不在调度数据网和信息内外网边界防护范围内的电力物联网终端设备。这些设备可能成为攻击者的目标或跳板，而且传统安全防护手段难以识别和防御新形势下高隐蔽性的复杂电网攻击行为。针对智能电网终端设备的安全监测和防御，美国桑迪亚国家实验室较早搭建了集成仿真系统和物理系统的虚拟控制系统环境(VCSE)，为终端设备风险评估、漏洞探测、入侵监测、防御技术、生成缓解方案提供支持。美国国家SCADA测试平台开发了使用实际物理电网组件的全实物仿真平台，用于识别和缓解已知漏洞，促进安全标准的开发，发展更安全和鲁棒性更强的高级控制系统架构。基于边信道是近年来国内安全研究者关注的热点之一。基于边信道规避参考监视器安全策略的种类，他们可以分为基于主机的边信道，基于网络的边信道以及基于气隙的边信道。根据边信道传输介质又可以分为热信道、电磁信道、物理媒介信道和机械信道。其中电磁信道又可以细分为无线射频信道、磁信道与光信道；而机械信道又可以分为声音信道和振动信道。

目前针对智能电网场景下电力物联网终端设备安全的研究主要集中在访问控制以及安全评估模型方面，基于边信道信息的电力安全监测的研究并不多。目前电网智能终端的固件由厂家出厂时制定，往往缺少相应的攻击入侵监测系统且电力物联网终端设备计算和存储资源受限，终端往往无法部署复杂的人工智能算法，即使部署，也无法兼顾准确度和监测速度。

发明内容

本发明基于电力物联网终端设备功耗边信道信息的安全监测方法，根据电力物联网终端设备的工作状态对功耗样本数据进行标记，然后借助机器学习算法对标记后的功耗数据进行分类器训练；利用训练所得到的分类器对电力物联网终端设备运行所产生的功耗数据进行分析，实现对电力物联网终端设备内部运行状态的判断，进而达到对电力物联网终端设备安全监测的目的。

为了实现上述目的，本发明采用如下技术方案：

一种基于对抗强化学习的电力物联网终端设备边信道安全监测方法，包括以下步骤：

1)在电力物联网终端设备的电源模块和CPU模块之间串联高精度的采样电阻，通过数据采集模块采集电阻两端的压降来获取CPU模块的电流，经过AD转换模块将电流信号转换为数字信号，得到CPU功耗数据；

2)预处理模块将CPU功耗数据进行去除工频噪声处理，并以设定的时间窗口对去除工频噪声处理后的CPU功耗数据进行切分，每一段CPU功耗数据作为一个样本，得到CPU功耗样本；

3)特征提取模块从CPU功耗样本中提取样本特征值，构建多个机器学习网络，采用所述的样本特征值对多个机器学习网络进行训练，得到训练好的多个异常监测模型；

4)将异常监测的处理速度和预设的监测置信度组成强化学习的状态空间，以选择单一异常监测模型执行监测程序作为动作空间，以异常监测准确度和监测消耗时间作为奖罚函数的评价指标，构建决策模型，训练异常监测智能体，所述异常监测智能体根据不同的样本特征值自动选择单一异常监测模型执行监测程序；

5)通过步骤(1)-(2)所述的方法采集当前t时刻实时运行的CPU功耗样本，特征提取模块从t时刻CPU功耗样本中提取t时刻的样本特征值；设定样本窗口，所述样本窗口用于采集t时刻之前的n个正常样本，去除工频噪声处理并提取特征后，通过异常监测智能体将t时刻之前的n个正常样本特征值匹配单一异常监测模型进行判断，得到当前t时刻的预测理论样本值；判断t时刻的样本特征值与t时刻的预测理论样本值之间的误差是否超过阈值，若误差＜阈值，则判断当前样本为正样本，若误差≥阈值，则判断当前样本为负样本；

6)更新样本窗口，重复步骤5)；如果监测到连续三个负样本，则确认电力物联网终端设备遭到攻击，发出警报。

进一步的，步骤3)所述特征值包括均值、最大值、最小值、偏度、峰度、频谱均值、频谱方差、频谱标准差、均方根振幅和不规律性。

进一步的，所述不规律性的计算公式为：

其中，N表示一个样本功耗数据的点数，a_k表示进行频域变换后第k个频率f_k处的能量大小。

进一步的，所述采样电阻的精度为0.01％。

在分析电力物联网终端能耗变化的时候，有三种选择，一种是获取电力物联网设备的整机能耗，另一种是获取电力物联网设备的CPU能耗，还有一种是获取电力物联网设备的I/O能耗。为了更好的获取与电力物联网设备内部运行程序相关的功耗变化，本发明测量其CPU消耗的功耗，因为CPU消耗的功耗直接与其内部运行指令相关，而I/O模块的能耗则更多地与输入输出端口的调用相关，不能反映其内部运行指令的变化。由于I/O模块的能耗变化相对于CPU模块的能耗变化显著很多，所以采集整机能耗时也更多地反映的是I/O模块的调用情况，其内部运行指令的变化则往往会被屏蔽掉。

本发明具备的有益效果：

(1)本发明中安全监测流程包括电力终端设备功耗模拟信号采集、数据预处理、特征提取、对抗强化学习模型建立、电力物联网终端设备监测；

(2)本发明采用基于功耗边信道信息的方法进行安全监测，功耗分析由于其信息量丰富，受环境干扰相对较小，分析效果相比较于其他边信道分析技术较好；

(3)本发明中基于对抗强化学习的人工智能算法能够构建一个兼顾准确性和快速性的异常监测系统，可以解决由于电力物联网终端设备计算和存储资源受限，终端无法部署复杂的人工智能算法和无法兼顾监测速度的难题。

附图说明

图1是本发明方法的流程图；

图2是基于边信道信息的电力物联网终端强化学习算法模型示意图；

图3是系统整体工作示意图。

具体实施方式

本发明通过对终端设备的多种边信道信息进行预处理和统计分析，基于相关性和机器学习中的特征选择方法，确定与终端设备工作状态变化相关的特征组合，收集多种正常工作状态下的边信道信息，将预处理后的边信道特征作为异常监测模型的输入。将终端设备正常工作状态下的历史边信道数据作为正常样本输入异常监测模型，训练多种正常工作状态下的基于单分类的异常监测模型，通过新的终端设备异常状态数据，验证基于边信道信息的终端设备异常监测模型的有效性及其性能。使用不同边信道信息，分别比较验证异常监测模型，实现对电力物联网终端设备的安全监测，提高了电力物联网终端设备的安全性能。具体实施方式如下：

本发明采集的边信道信息主要是系统的运行状态信息，即功耗信息，该基于功耗的电力物联网设备异常监测系统主要由两部分组成，一部分是对物联网设备中CPU模块的功耗进行采集，另一部分是对采集到的功耗数据进行分析，实现异常监测的目的。

具体采集CPU功耗数据的方法是在电力物联网终端设备的电源模块和CPU模块之间串联一个取样电阻R，为了尽可能的减小对原系统造成的影响，可以选用较小阻值的电阻，通过高速数据采集模块采集该电阻的电流大小即I_i,I_i为电力物联网设备电源模块和CPU模块之间的实时电流值，进而可获得高速数据采集模块测得的实时电压数值V_i，其中V_i＝I_i·R。在此基础上，分别使电力物联网终端设备运行多种不同的程序，即针对多种工作状态，使用数据采集模块以固定的采样速率采集电力物联网终端设备运行不同程序时所产生的不同功耗信息，以设定的时间窗口对去除工频噪声处理后的CPU功耗数据进行切分，每一段CPU功耗数据作为一个样本，得到CPU功耗样本；

采用如下公式提取并计算每个功耗信息样本对应功耗特征信息：

平均值：

最大值：max＝Max(x(k)|_{k＝1,2,3...,n})

最小值：min＝Min(x(k)|_{k＝1,2,3...,n})

偏度：

峰度：

频谱均值：

频谱方差：

频谱标准差：

均方根振幅：

不规律性：

其中N为电力物联网终端设备功耗数据点数，N的大小与采样率有关，x_k是第k个点的数值，σ是标准差，a_k是进行频域变换后第k个频率f_k处的能量大小，

为频谱均值。

接下来是选择合适的机器学习算法，如一分类支持向量机、孤立森林等。采用所述的样本特征值对多个机器学习网络进行训练，得到训练好的多个异常监测模型；

本发明的流程图如图1所示，包括以下步骤：

步骤一、采集当前t时刻实时运行的CPU功耗数据；

步骤二、将CPU功耗数据进行去除工频噪声处理，并以设定的时间窗口对去除工频噪声处理后的CPU功耗数据进行切分，每一段CPU功耗数据作为一个样本，得到t时刻CPU功耗样本；

步骤三、从t时刻CPU功耗样本中提取t时刻的样本特征值；

步骤四、设定样本窗口采集t时刻之前的n个正常样本，去除工频噪声处理并提取特征后，通过异常监测智能体将t时刻之前的n个正常样本特征值匹配单一异常监测模型进行判断，得到当前t时刻的预测理论样本值；

步骤五、判断t时刻的样本特征值与t时刻的预测理论样本值之间的误差是否超过阈值，若误差＜阈值，则判断当前样本为正样本，若误差≥阈值，则判断当前样本为负样本；

步骤六、更新样本窗口，重复步骤五；如果监测到连续三个负样本，则确认电力物联网终端设备遭到攻击，发出警报。

上述的异常监测智能体是基于对抗强化学习训练得到的。如图2所示，利用强化学习，以终端监测系统的处理速度和要求的监测置信度等作为异常监测智能体的状态空间，以选择哪一种异常监测模型作为动作空间，以异常监测准确度、监测消耗时间作为奖罚函数的评价指标，构建决策模型，训练异常监测智能体。异常监测智能体能够自动选择一个异常监测模型执行程序，实现异常监测模型复杂度的自适应调节，实现对监测准确度和快速性的兼顾。通过这种方式，异常监测智能体在行动-评价环境中获得知识，改进行动方案以适应环境。在训练过程中，将对攻击样本识别的准确程度作为奖罚函数，如果智能体的某动作导致能够正确的识别恶意攻击产生的边信道信号(立即报酬)，那么智能体以后产生这个动作的趋势便会加强；反之，智能体产生这个动作的趋势将减弱。在学习系统的控制行为与环境反馈的状态及评价的反复的交互作用中，以学习的方式不断修改从状态到动作的映射策略，以达到优化系统性能，提高监测准确度的目的。

图3为系统整体工作示意图，通过在电力物联网终端的CPU模块和电源模块之间接入取样电阻，通过数据采集模块获得其两端电压降，该电压降可以反映电力物联网终端的功耗情况。数据采集模块会采集该电信号，经过AD转换模块，将其转换为数字信号，从而可以获得二进制数据流。一方面，可以存储该二进制数据流，便于后续分析或查阅；另一方面，将该二进制数据流转换为十进制数据流，通过数据处理单元的预处理模块进行去除工频噪声处理，并切成样本，通过数据分析单元的特征提取模块提取样本中相应的特征值，得到样本特征值。将正常程序运行时的样本特征值用于训练异常监测模型和异常监测智能体，训练好后可用于实时样本监测，在同一台设备上，部署两到三种不同复杂度和准确度的异常监测模型。在监测过程中，新获得的样本特征值通过异常监测智能体自动选择单一的异常监测模型并得到输出结果，如果在监测过程中连续三次被判断为负样本，则发送报警信号。同时，监测结果会显示在运行日志中并存储起来，以供后续查证。

Claims (4)

1.一种基于对抗强化学习的电力物联网终端设备边信道安全监测方法，其特征在于，包括以下步骤：

1)在电力物联网终端设备的电源模块和CPU模块之间串联高精度的采样电阻，通过数据采集模块采集电阻两端的压降来获取CPU模块的电流，经过AD转换模块将电流信号转换为数字信号，得到CPU功耗数据；

2)预处理模块将CPU功耗数据进行去除工频噪声处理，并以设定的时间窗口对去除工频噪声处理后的CPU功耗数据进行切分，每一段CPU功耗数据作为一个样本，得到CPU功耗样本；

3)特征提取模块从CPU功耗样本中提取样本特征值，构建多个机器学习网络，采用所述的样本特征值对多个机器学习网络进行训练，得到训练好的多个异常监测模型；

4)将异常监测的处理速度和预设的监测置信度组成强化学习的状态空间，以选择单一异常监测模型执行监测程序作为动作空间，以异常监测准确度和监测消耗时间作为奖罚函数的评价指标，构建决策模型，训练异常监测智能体，所述异常监测智能体根据不同的样本特征值自动选择单一异常监测模型执行监测程序；

5)通过步骤(1)-(2)所述的方法采集当前t时刻实时运行的CPU功耗样本，特征提取模块从t时刻CPU功耗样本中提取t时刻的样本特征值；设定样本窗口，所述样本窗口用于采集t时刻之前的n个正常样本，去除工频噪声处理并提取特征后，通过异常监测智能体将t时刻之前的n个正常样本特征值匹配单一异常监测模型进行判断，得到当前t时刻的预测理论样本值；判断t时刻的样本特征值与t时刻的预测理论样本值之间的误差是否超过阈值，若误差＜阈值，则判断当前样本为正样本，若误差≥阈值，则判断当前样本为负样本；

6)更新样本窗口，重复步骤5)；如果监测到连续三个负样本，则确认电力物联网终端设备遭到攻击，发出警报。

2.如权利要求1所述的基于对抗强化学习的电力物联网终端设备边信道安全监测方法，其特征在于，步骤3)所述特征值包括均值、最大值、最小值、偏度、峰度、频谱均值、频谱方差、频谱标准差、均方根振幅和不规律性。

3.如权利要求2所述的基于对抗强化学习的电力物联网终端设备边信道安全监测方法，其特征在于，所述不规律性的计算公式为：

其中，N表示一个样本功耗数据的点数，a_k表示进行频域变换后第k个频率f_k处的能量大小。

4.如权利要求1所述的基于对抗强化学习的电力物联网终端设备边信道安全监测方法，其特征在于，所述采样电阻的精度为0.01％。

Images