CN115766081A - 一种电力工控云平台的异常流量检测方法及装置 - Google Patents

Abstract

本发明公开了一种电力工控云平台的异常流量检测方法及装置。该方法包括：从电力工控云平台的流表中获取网络流量属性，并基于离散小波变换，对所述网络流量属性进行特征预处理，得到特征化流数据；对所述特征化流数据进行标准化映射，得到目标特征化流数据，并基于深度强化学习，根据所述目标特征化流数据进行异常流量检测，得到检测结果。本发明能够准确检测电力工控云平台异常流量，有效监控工控网络安全状态。

Description

一种电力工控云平台的异常流量检测方法及装置

技术领域

本发明涉及工控网络安全防护技术领域，尤其涉及一种电力工控云平台的异常流量检测方法及装置。

背景技术

目前，随着电网覆盖区域的不断扩大，电网各站点之间的信息交互需求愈发迫切，开始将电网各站点接入电力工控云平台进行监控。在互联互通、纵向集成等新的生产模式下，电网各站点的关键基础设施暴露于互联网中，电力工控云平台的安全问题逐渐显现，比如软件隐患、网络边界隐患、环境和硬件隐患、网络安全协议问题等。而国内关于电力工控云平台安全防护的相关技术仍处于起步阶段，如何通过检测电力工控云平台异常流量来监控工控网络安全状态，成为当前研究热点。

发明内容

为了克服现有技术的缺陷，本发明提供一种电力工控云平台的异常流量检测方法及装置，能够准确检测电力工控云平台异常流量，有效监控工控网络安全状态。

为了解决上述技术问题，第一方面，本发明一实施例提供一种电力工控云平台的异常流量检测方法，包括：

从电力工控云平台的流表中获取网络流量属性，并基于离散小波变换，对所述网络流量属性进行特征预处理，得到特征化流数据；

对所述特征化流数据进行标准化映射，得到目标特征化流数据，并基于深度强化学习，根据所述目标特征化流数据进行异常流量检测，得到检测结果。

进一步地，所述电力工控云平台的异常流量检测方法，还包括：

当检测到异常流量时，根据预先定义的异常流量处理策略，执行异常流量处理操作。

进一步地，所述从电力工控云平台的流表中获取网络流量属性，具体为：

从所述流表中获取比特流长度、消息数、源IP地址、目的IP地址、源端口和目的端口；

对所述源IP地址、所述目的IP地址、所述源端口和所述目的端口进行量化处理，得到量化后的源IP地址、量化后的目的IP地址、量化后的源端口和量化后的目的端口；

将所述比特流长度、所述消息数、所述量化后的源IP地址、所述量化后的目的IP地址、所述量化后的源端口和所述量化后的目的端口作为所述网络流量属性。

进一步地，所述对所述源IP地址、所述目的IP地址、所述源端口和所述目的端口进行量化处理，得到量化后的源IP地址、量化后的目的IP地址、量化后的源端口和量化后的目的端口，具体为：

基于香农熵理论，对所述源IP地址、所述目的IP地址、所述源端口和所述目的端口进行量化处理，得到所述量化后的源IP地址、所述量化后的目的IP地址、所述量化后的源端口和所述量化后的目的端口。

进一步地，所述对所述特征化流数据进行标准化映射，得到目标特征化流数据，具体为：

根据预先定义的数据排序策略，对所述特征化流数据中的各个数据进行排序，得到排序后的特征化流数据，并将所述排序后的特征化流数据随机划分为若干个序列；

对于每一所述序列，根据预先定义的最小最大标准化映射公式，分别对所述序列中的每一数据进行标准化映射，得到对应的目标数据，并整合所有所述目标数据，得到目标特征化流数据。

进一步地，所述根据预先定义的数据排序策略，对所述特征化流数据中的各个数据进行排序，得到排序后的特征化流数据，具体为：

根据数据采集时间从前到后的顺序，对所述特征化流数据中的各个数据进行排序，得到所述排序后的特征化流数据。

进一步地，所述最小最大标准化映射公式为：

其中，y'为所述目标数据，y为所述序列中的数据；max、min分别为所述序列中所有数据的最大值、最小值；max'和min'分别为映射区间[min'，max']的最大值、最小值。

进一步地，所述基于深度强化学习，根据所述目标特征化流数据进行异常流量检测，得到检测结果，具体为：

基于深度强化学习构建智能体，将所述目标特征化流数据输入所述智能体，使环境根据所述目标特征化流数据选择所述智能体的当前状态，以及根据所述智能体针对所述当前状态所采取的动作向所述智能体返回奖励；

根据所述智能体的当前状态和对应的动作、奖励，更新Q值，利用更新的Q值指导所述智能体输出所述检测结果。

第二方面，本发明一实施例提供一种电力工控云平台的异常流量检测装置，包括：

流表数据处理模块，用于从电力工控云平台的流表中获取网络流量属性，并基于离散小波变换，对所述网络流量属性进行特征预处理，得到特征化流数据；

异常流量检测模块，用于对所述特征化流数据进行标准化映射，得到目标特征化流数据，并基于深度强化学习，根据所述目标特征化流数据进行异常流量检测，得到检测结果。

进一步地，所述电力工控云平台的异常流量检测装置，还包括：

异常流量处理模块，用于当检测到异常流量时，根据预先定义的异常流量处理策略，执行异常流量处理操作。

相比于现有技术，本发明的实施例，具有如下有益效果：

通过从电力工控云平台的流表中获取网络流量属性，并基于离散小波变换，对网络流量属性进行特征预处理，得到特征化流数据，对特征化流数据进行标准化映射，得到目标特征化流数据，并基于深度强化学习，根据目标特征化流数据进行异常流量检测，得到检测结果，能够准确检测电力工控云平台异常流量，有效监控工控网络安全状态。

附图说明

图1为本发明第一实施例中的一种电力工控云平台的异常流量检测方法的流程示意图；

图2为本发明第一实施例中示例的电力工控云平台的结构示意图；

图3为本发明第一实施例中示例的基于深度强化学习进行异常流量检测的数据流图；

图4为本发明第一实施例中示例的一种电力工控云平台的异常流量检测方法的数据流图；

图5为本发明第一实施例中示例的训练过程中的奖励增长的示意图；

图6为本发明第二实施例中的一种电力工控云平台的异常流量检测装置的结构示意图。

具体实施方式

下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，文中的步骤编号，仅为了方便具体实施例的解释，不作为限定步骤执行先后顺序的作用。本实施例提供的方法可以由相关的终端设备执行，且下文均以控制器作为执行主体为例进行说明。

如图1所示，第一实施例提供一种电力工控云平台的异常流量检测方法，包括步骤S1～S2：

S1、从电力工控云平台的流表中获取网络流量属性，并基于离散小波变换，对网络流量属性进行特征预处理，得到特征化流数据；

S2、对特征化流数据进行标准化映射，得到目标特征化流数据，并基于深度强化学习，根据目标特征化流数据进行异常流量检测，得到检测结果。

作为示例性地，电力工控云平台的整体架构为云原生框架搭建的云端协同架构，云端用于在侧服务器发布、部署和管理微服务，而二级控制器作为微服务运行在云原生架构中的边服务器中。网络的统计参数是从控制平面中提取出来的。数据平面和控制平面通过控制平面和数据平面之间的接口进行通信。目前主流的协议是OpenFlow协议。OpenFlow，一种网络通信协议，属于数据链路层，能够控制网上交换机或路由器的转发平面(forwarding plane)，借此改变网络数据包所走的网络路径。北向接口负责控制平面和应用平面之间的通信，北向接口由用户自主开发。控制平面包含逻辑中心的控制器，负责控制逻辑策略，维护整个网络视图。

电力工控云平台的结构示意图如图2所示，电力工控云平台包括应用层、控制层与数据层，控制层为平台设备管理和信息采集提供统一管控，需要具备网络稳定服务，不但需要开发北向接口，实现电力业务领域针对业务需求在应用系统开发的需要，还要开发南向接口，实现各类能源设备的通用接入与信息互通，因此，需要保证电力工控云平台的信息数据安全。

面对各类网络攻击，部署在应用侧的安全防护服务通常无法直接获取电力工控云平台的底层数据，采用异常流量检测方法来监控异常情况成为一种可行方案。

应用所述电力工控云平台的异常流量检测方法，在步骤S1中，根据预设周期T，定期向交换机发送一个OpenFlow请求，使交换机收到OpenFlow请求后，通过OpenFlow消息向请求的控制器返回响应消息，响应消息包含流表的详细内容，从而接收电力工控云平台的流表。

当接收到电力工控云平台的流表时，对流表进行预处理，在预处理阶段，从电力工控云平台的流表中获取网络流量属性，即网络流量数据的属性，比如比特流长度、消息数、源IP地址、目的IP地址、源端口和目的端口等。

基于离散小波变换，对网络流量属性进行特征预处理，得到特征化流数据。离散小波变换可以将网络流量属性映射为频谱形式，其正态分布反映网络流量属性的异常特征，可以根据小波系数是否正态分布进行流数据分析。

在步骤S2中，对特征化流数据进行标准化映射，得到深度强化学习所需要的目标特征化流数据，并基于深度强化学习，根据目标特征化流数据进行异常流量检测，得到检测结果。

基于深度强化学习的异常流量检测流程如图3所示，深度强化学习使用神经网络作为函数逼近模型，通过强化学习迭代调整神经网络的参数，最终实现神经网络对Q表的建模。深度强化学习将强化学习的决策能力与深度学习的感知能力相结合，利用深度学习将大规模原始输入数据进行简单但非线性的变换，为更高层次的抽象表达，从而发现内在的数据。然后通过强化学习，对神经网络进行反复更新，使神经网络更好地拟合Q表，智能体通过神经网络获得理想的策略。

深度Q网络使用目标神经网络和回放记忆单元，大大提高了神经网络的稳定性，同时使用随机梯度下降来更新在线值网络，使深度Q网络可以处理更复杂的控制问题。同时，深度Q网络在训练过程中不需要添加额外的数据信息，直接将原始数据输入到卷积神经网络中，使得智能体对数据的处理更接近人类思维方式。然后在强化学习中通过与环境的交互，获取带有奖励值的样本数据，从而更新在线价值网络的参数。经过一定时间步长后，将在线价值网络的参数复制到目标价值网络中，利用目标价值网络计算目标价值。

样本数据(内存单元)的采集和使用是通过回放内存单元实现的。一个记忆单元是一个四元组(s,a,r,s′)，其中，s为当前状态，a为当前状态采取的动作，r为智能体在状态s采取动作a获得的奖励，s’为智能体通过在状态s采取动作a达到的下一个状态。众多的四元数组成一个回放记忆单元，利用回放记忆单元中的历史数据进行随机采样，打破数据之间的相关性。使用采样数据训练卷积神经网络，使用在线值网络得到当前状态下的估计值，使用目标值网络表示当前状态下的目标值，计算估计值与实际值之间的误差目标值在当前状态，并使用随机梯度下降可以更新在线值网络，模拟Q学习的迭代过程，也可以保证神经网络的收敛性。

深度Q网络使用简化的状态值函数来获取目标值，即：

y＝r+γmax_a Q′(s′，a′，θ) (1)；

式(1)中，γ为折扣因子，θ为近似参数，Q′(s′，a′，θ)为Q学习近似的状态动作价值函数，max_aQ'(s',a',θ)表示固定状态为s’，以动作a为变量，求价值函数的最大值。

深度Q网络用θ表示价值网络。之所以采用深度强化学习提高检测准确率，主要取决于以下两个因素，即经验回放和固定Q目标。经验回放主要是让智能体探索环境，积累一定程度的经验池，然后随机抽取一批样本进行训练。使用内存中随机选择的数据进行学习会破坏经验之间的相关性，并使神经网络更新更有效。固定Q目标使用两个相同的网络结构。一个参数相对固定，叫做目标价值网络，用来得到Q目标的值，另一个叫做估计网络，得到Q估计的值。损失函数实际上是从Q目标中减去Q估计的结果。用于反向传播的真正训练网络是估计网络。目标网络只做前向传播得到Q个目标。Q目标的网络目标也会定期更新参数。参数的更新是每经过C步就复制Q估计的参数。更新参数的这种延迟的目的是破坏相关性。

智能体与环境交互并对当前状态采取动作。环境将为智能体所采取的动作提供新的状态和奖励。因此，需要创建一个环境来模拟网络入侵检测场景，已知工控网络在安全运行时，网络的各个维度特性比较稳定，但是当出现异常时，就会出现较大的波动。当某些维度的值超过阈值时，将确定发生了异常。异常的类型很多，异常发生时对应的特征波动相对明显。

将目标特征化流数据作为智能体的输入数据，环境从目标特征化流数据中随机选择智能体的当前状态，智能体根据其当前状态采取相应动作，环境根据智能体采取的动作判断智能体是否预测正确以返回相应奖励，从而得到相应的Q值，更新Q表，基于Q表选择最优分类策略识别工控网络中的入侵节点，从而得到检测结果。

本实施例通过结合离散小波变换的流数据分析和深度强化学习的分类器进行异常流量检测，能够准确检测电力工控云平台异常流量，有效监控工控网络安全状态。

在优选的实施例当中，所述电力工控云平台的异常流量检测方法，还包括步骤S3：

S3、当检测到异常流量时，根据预先定义的异常流量处理策略，执行异常流量处理操作。

作为示例性地，当检测到异常流量时，收集与该事件相关的信息，比如它正在攻击的IP地址、主机、端口等，并根据预先定义的多种异常流量处理策略，执行异常流量处理操作来放弃异常流量的增加。

其中，预先定义的异常流量处理策略包括包转发和包丢弃。包转发策略处理良性流量，包丢弃策略处理恶意流量。两种异常流量处理策略通过控制层发送给数据层。

异常流量处理操作的具体过程如下：识别被攻击的目标和端口；创建一个阻塞流量的入口；将流量的目标IP设置为攻击的目标IP；将流量目标端口设置为攻击目标；在交换机上设置恶意处理策略；为异常流量分配高优先级；设置流量空闲时间；使用OpenFlow协议将发送到数据层的无害流量转发。

本实施例通过在检测到异常流量时，根据预先定义的异常流量处理策略执行异常流量处理操作，能够及时处理异常情况，有效保证工控网络的安全性。

在优选的实施例当中，所述从电力工控云平台的流表中获取网络流量属性，具体为：从流表中获取比特流长度、消息数、源IP地址、目的IP地址、源端口和目的端口；对源IP地址、目的IP地址、源端口和目的端口进行量化处理，得到量化后的源IP地址、量化后的目的IP地址、量化后的源端口和量化后的目的端口；将比特流长度、消息数、量化后的源IP地址、量化后的目的IP地址、量化后的源端口和量化后的目的端口作为网络流量属性。

在优选的实施例当中，所述对源IP地址、目的IP地址、源端口和目的端口进行量化处理，得到量化后的源IP地址、量化后的目的IP地址、量化后的源端口和量化后的目的端口，具体为：基于香农熵理论，对源IP地址、目的IP地址、源端口和目的端口进行量化处理，得到量化后的源IP地址、量化后的目的IP地址、量化后的源端口和量化后的目的端口。

作为示例性地，当接收到电力工控云平台的流表时，对流表进行预处理，在预处理阶段，从电力工控云平台的流表中获取比特流长度、消息数、源IP地址、目的IP地址、源端口和目的端口等网络流量属性。

考虑到源IP地址、目的IP地址、源端口和目的端口是非量化指标，为了反映这四个网络流量属性的特征，基于香农熵理论，分别对源IP地址、目的IP地址、源端口和目的端口进行量化处理，得到量化后的源IP地址、量化后的目的IP地址、量化后的源端口和量化后的目的端口。

在流表中，网络流量属性有多个值，定义量化后的网络流量属性的特征为X＝{x₁,x₂,...,x_n}，其中，x_i为网络流量属性的第i个值在一个周期T内的流表中出现的次数，i＝1，2，...，n。如果计算源端口和目的端口的熵值，x_i为其第i个值在每个端口的样本数据集中出现的次数。

网络流量属性特征X的熵H定义为：

式(2)中，p_i为X是x_i的概率，p_i＝x_i/n。

通过上述预处理，可以观察到网络流量属性的集中度。网络流量属性的集中度在DDoS攻击下会发生变化，如果一个源IP地址创建了大量的连接，那么这个源IP地址会在短时间内变得非常密集。

本实施例通过基于香农熵理论，对从流表中获取的源IP地址、目的IP地址、源端口和目的端口等非量化指标进行量化处理，能够观察网络流量属性的集中度，有利于准确检测电力工控云平台异常流量，有效监控工控网络安全状态。

当得到网络流量属性特征后，基于离散小波变换，对网络流量属性进行特征预处理，得到特征化流数据。离散小波变换可以将网络流量属性映射为频谱形式，其正态分布反映网络流量属性的异常特征，可以根据小波系数是否正态分布进行流数据分析。

离散小波变换可视为一个滤波器，离散小波变换的数学表达式所体现的输出是一个高通滤波器和一个低通滤波器的矩阵乘法运算。假设输入数据，即网络流量属性特征是X＝{x₁,x₂,...,x_n}，滤波器矩阵F是高通滤波器和低通滤波器相乘的结果，将F和x相乘以获得近似系数和细节系数的矢量系数，该操作产生第一层系数，每个后续层都使用近似系数作为输入数据X，计算所需的j层后，即可得到输出数据，即特征化流数据Y。

离散小波变换在每个分解层中将数据划分为小波系数d_jk，小波系数是前一层数据的高频部分，近似系数α_jk是低频部分。

离散小波变换的数学表达式f(t)定义为：

式(3)中，α_j0k(k)为第j₀层(第一层)近似系数中的第k个元素，d_jk(k)为第j层细节系数中的第k个元素，两个系数都包含K个元素，K＝N/2，N为输入数据量；

为第j₀层(第一层)的尺度函数，ψ_jk(t)为第j层的小波函数，t为时间。

在优选的实施例当中，所述对特征化流数据进行标准化映射，得到目标特征化流数据，具体为：根据预先定义的数据排序策略，对特征化流数据中的各个数据进行排序，得到排序后的特征化流数据，并将排序后的特征化流数据随机划分为若干个序列；对于每一序列，根据预先定义的最小最大标准化映射公式，分别对序列中的每一数据进行标准化映射，得到对应的目标数据，并整合所有目标数据，得到目标特征化流数据。

作为示例性地，针对离散小波变换得到的特征化流数据，为了基于深度强化学习提取数据特征实现异常流量检测，需要对特征化流数据进行标准化映射，得到目标特征化流数据。

具体地，预先定义数据排序策略，根据预先定义的数据排序策略，对特征化流数据中的各个数据进行排序，得到排序后的特征化流数据，并将排序后的特征化流数据随机划分为若干个序列。

可以理解的是，通过对特征化流数据中的所有数据进行按序排序和随机划分，能够避免数据间的相关性影响后续标准化映射的处理结果。

对于每一序列，预先定义最小最大标准化映射公式，根据预先定义的最小最大标准化映射公式，分别对序列中的每一数据进行标准化映射，得到对应的目标数据，并整合所有目标数据，得到目标特征化流数据。

在优选的实施例当中，所述根据预先定义的数据排序策略，对特征化流数据中的各个数据进行排序，得到排序后的特征化流数据，具体为：根据数据采集时间从前到后的顺序，对特征化流数据中的各个数据进行排序，得到排序后的特征化流数据。

作为示例性地，预先定义数据采集时间从前到后的顺序作为数据排序策略，按数据采集时间的前后顺序对特征化流数据中的各个数据进行排序，得到排序后的特征化流数据，并将排序后的特征化流数据随机划分为若干个序列。

本实施例通过在按数据采集时间的前后顺序对特征化流数据中的各个数据进行排序后进行随机划分，能够避免数据采集时间引起的数据间的相关性影响后续标准化映射的处理结果。

在优选的实施例当中，所述最小最大标准化映射公式为：

其中，y'为目标数据，y为序列中的数据；max、min分别为序列中所有数据的最大值、最小值；max'和min'分别为映射区间[min'，max']的最大值、最小值。

作为示例性地，对于每一序列，对序列中的各个数据进行归一化，根据预先定义的最小最大标准化映射公式，将不同单位和量纲的数据归一成统一的形式，从而得到标准化的目标特征化流数据Y’。

在优选的实施例当中，所述基于深度强化学习，根据目标特征化流数据进行异常流量检测，得到检测结果，具体为：基于深度强化学习构建智能体，将目标特征化流数据输入智能体，使环境根据目标特征化流数据选择智能体的当前状态，以及根据智能体针对当前状态所采取的动作向智能体返回奖励；根据智能体的当前状态和对应的动作、奖励，更新Q值，利用更新的Q值指导智能体输出检测结果。

作为示例性地，将目标特征化流数据通过一个全连接层输出相应的Q值。将0和1分别作为正常流量数据和异常流量数据的动作代码，计算长期回报Q(s,a)并更新每个动作的权重。

基于深度强化学习，根据目标特征化流数据进行异常流量检测的具体过程如下：

环境从目标特征化流数据中随机选择智能体的当前状态，其动作对应于环境的所选样本；

智能体基于策略和当前状态选择一个动作，对于每个状态，智能体将采取“发出警告”或“没有警告”动作；

环境产生奖励，奖励分为三种：“+100”为正确警报，表示当前状态为恶意连接，动作为警告；“-100”为漏报，表示当前状态为恶意连接，动作不发出警告；“-10”为误报，表示当前状态正常，动作为警告；

当在学习或执行过程中正确检测到异常流量时，需要对异常流量进行处理，收集与该事件相关的信息，比如它正在攻击的IP地址、主机、端口等，并根据预先定义的包转发和包丢弃等多种异常流量处理策略，执行异常流量处理操作来放弃异常流量的增加。

为了更清楚地说明第一实施例提供的一种电力工控云平台的异常流量检测方法，一种电力工控云平台的异常流量检测装置的具体执行流程如图4所示。

为了进行算法验证，实施了算例并在图5展示了训练过程中的奖励增长。本算例使用OpenAI的Gym工具包。根据工控网络的特点，采用标准的NSL-KDD数据集进行仿真。

该数据集包含4种攻击类型：1、DOS：拒绝服务攻击；2、R2L：远程黑客试图获取本地用户权限；3、U2R：黑客以普通用户身份运行，利用漏洞；4、探测：黑客扫描漏洞以确定漏洞。

该数据集包含大约120,000个用于训练的连接数据和超过20,000个用于测试的连接数据。训练集中有53个数据包，包括46.5％的异常连接。每个连接由41个特征描述(特征用0或1表示)，主要特点有：1、基本的TCP连接特性(9种)；2、TCP连接内容特征(13种)；3、基于时间的网络流量统计特性(9种)；4、基于主机的网络流量统计特性(10种)。

根据图5，可以看到曲线下降不是很平滑，因为深度强化学习的输入数据是一步步变化的，根据学习情况得到不同的数据。最后，经过不断迭代，选择最佳策略识别网络中的入侵节点，提高网络入侵检测效率。

应用第一实施例提供的一种电力工控云平台的异常流量检测方法，基于离散小波变换将数据转换为小波系数，通过判断小波系数是否正态分布进行流数据分析；将特征预提取的数据集作为强化学习环境，通过Q函数调整行为和学习程序，表征最佳策略函数，仿真结果表明，深度强化学习机制增强了电力工控云平台的安全性。

基于与第一实施例相同的发明构思，第二实施例提供如图6所示的一种电力工控云平台的异常流量检测装置，包括：流表数据处理模块21，用于从电力工控云平台的流表中获取网络流量属性，并基于离散小波变换，对网络流量属性进行特征预处理，得到特征化流数据；异常流量检测模块22，用于对特征化流数据进行标准化映射，得到目标特征化流数据，并基于深度强化学习，根据目标特征化流数据进行异常流量检测，得到检测结果。

在优选的实施例当中，所述电力工控云平台的异常流量检测装置，还包括：异常流量处理模块，用于当检测到异常流量时，根据预先定义的异常流量处理策略，执行异常流量处理操作。

在优选的实施例当中，流表数据处理模块21，包括：网络流量属性预获取单元，用于从流表中获取比特流长度、消息数、源IP地址、目的IP地址、源端口和目的端口；网络流量属性量化单元，用于对源IP地址、目的IP地址、源端口和目的端口进行量化处理，得到量化后的源IP地址、量化后的目的IP地址、量化后的源端口和量化后的目的端口；网络流量属性获取单元，用于将比特流长度、消息数、量化后的源IP地址、量化后的目的IP地址、量化后的源端口和量化后的目的端口作为网络流量属性。

在优选的实施例当中，网络流量属性量化单元，具体用于基于香农熵理论，对源IP地址、目的IP地址、源端口和目的端口进行量化处理，得到量化后的源IP地址、量化后的目的IP地址、量化后的源端口和量化后的目的端口。

在优选的实施例当中，异常流量检测模块22，包括：排序划分单元，用于根据预先定义的数据排序策略，对特征化流数据中的各个数据进行排序，得到排序后的特征化流数据，并将排序后的特征化流数据随机划分为若干个序列；标准化映射单元，用于对于每一序列，根据预先定义的最小最大标准化映射公式，分别对序列中的每一数据进行标准化映射，得到对应的目标数据，并整合所有目标数据，得到目标特征化流数据。

在优选的实施例当中，排序划分单元，具体用于根据数据采集时间从前到后的顺序，对特征化流数据中的各个数据进行排序，得到排序后的特征化流数据。

在优选的实施例当中，所述最小最大标准化映射公式为：

其中，y'为目标数据，y为序列中的数据；max、min分别为序列中所有数据的最大值、最小值；max'和min'分别为映射区间[min'，max']的最大值、最小值。

在优选的实施例当中，异常流量检测模块22，包括：智能体构建单元，用于基于深度强化学习构建智能体，将目标特征化流数据输入智能体，使环境根据目标特征化流数据选择智能体的当前状态，以及根据智能体针对当前状态所采取的动作向智能体返回奖励；检测结果输出单元，用于根据智能体的当前状态和对应的动作、奖励，更新Q值，利用更新的Q值指导智能体输出检测结果。

综上所述，实施本发明的实施例，具有如下有益效果：

通过从电力工控云平台的流表中获取网络流量属性，并基于离散小波变换，对网络流量属性进行特征预处理，得到特征化流数据，对特征化流数据进行标准化映射，得到目标特征化流数据，并基于深度强化学习，根据目标特征化流数据进行异常流量检测，得到检测结果，能够准确检测电力工控云平台异常流量，有效监控工控网络安全状态。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

本领域普通技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

Claims (10)

1.一种电力工控云平台的异常流量检测方法，其特征在于，包括：

从电力工控云平台的流表中获取网络流量属性，并基于离散小波变换，对所述网络流量属性进行特征预处理，得到特征化流数据；

对所述特征化流数据进行标准化映射，得到目标特征化流数据，并基于深度强化学习，根据所述目标特征化流数据进行异常流量检测，得到检测结果。

2.如权利要求1所述的电力工控云平台的异常流量检测方法，其特征在于，还包括：

当检测到异常流量时，根据预先定义的异常流量处理策略，执行异常流量处理操作。

3.如权利要求1所述的电力工控云平台的异常流量检测方法，其特征在于，所述从电力工控云平台的流表中获取网络流量属性，具体为：

从所述流表中获取比特流长度、消息数、源IP地址、目的IP地址、源端口和目的端口；

对所述源IP地址、所述目的IP地址、所述源端口和所述目的端口进行量化处理，得到量化后的源IP地址、量化后的目的IP地址、量化后的源端口和量化后的目的端口；

将所述比特流长度、所述消息数、所述量化后的源IP地址、所述量化后的目的IP地址、所述量化后的源端口和所述量化后的目的端口作为所述网络流量属性。

4.如权利要求3所述的电力工控云平台的异常流量检测方法，其特征在于，所述对所述源IP地址、所述目的IP地址、所述源端口和所述目的端口进行量化处理，得到量化后的源IP地址、量化后的目的IP地址、量化后的源端口和量化后的目的端口，具体为：

基于香农熵理论，对所述源IP地址、所述目的IP地址、所述源端口和所述目的端口进行量化处理，得到所述量化后的源IP地址、所述量化后的目的IP地址、所述量化后的源端口和所述量化后的目的端口。

5.如权利要求1所述的电力工控云平台的异常流量检测方法，其特征在于，所述对所述特征化流数据进行标准化映射，得到目标特征化流数据，具体为：

根据预先定义的数据排序策略，对所述特征化流数据中的各个数据进行排序，得到排序后的特征化流数据，并将所述排序后的特征化流数据随机划分为若干个序列；

对于每一所述序列，根据预先定义的最小最大标准化映射公式，分别对所述序列中的每一数据进行标准化映射，得到对应的目标数据，并整合所有所述目标数据，得到目标特征化流数据。

6.如权利要求5所述的电力工控云平台的异常流量检测方法，其特征在于，所述根据预先定义的数据排序策略，对所述特征化流数据中的各个数据进行排序，得到排序后的特征化流数据，具体为：

根据数据采集时间从前到后的顺序，对所述特征化流数据中的各个数据进行排序，得到所述排序后的特征化流数据。

7.如权利要求5所述的电力工控云平台的异常流量检测方法，其特征在于，所述最小最大标准化映射公式为：

其中，y'为所述目标数据，y为所述序列中的数据；max、min分别为所述序列中所有数据的最大值、最小值；max'和min'分别为映射区间[min'，max']的最大值、最小值。

8.如权利要求1所述的电力工控云平台的异常流量检测方法，其特征在于，所述基于深度强化学习，根据所述目标特征化流数据进行异常流量检测，得到检测结果，具体为：

基于深度强化学习构建智能体，将所述目标特征化流数据输入所述智能体，使环境根据所述目标特征化流数据选择所述智能体的当前状态，以及根据所述智能体针对所述当前状态所采取的动作向所述智能体返回奖励；

根据所述智能体的当前状态和对应的动作、奖励，更新Q值，利用更新的Q值指导所述智能体输出所述检测结果。

9.一种电力工控云平台的异常流量检测装置，其特征在于，包括：

流表数据处理模块，用于从电力工控云平台的流表中获取网络流量属性，并基于离散小波变换，对所述网络流量属性进行特征预处理，得到特征化流数据；

异常流量检测模块，用于对所述特征化流数据进行标准化映射，得到目标特征化流数据，并基于深度强化学习，根据所述目标特征化流数据进行异常流量检测，得到检测结果。

10.如权利要求9所述的电力工控云平台的异常流量检测装置，其特征在于，还包括：

异常流量处理模块，用于当检测到异常流量时，根据预先定义的异常流量处理策略，执行异常流量处理操作。

Images