CN116915512B - 电网中通信流量的检测方法、检测装置 - Google Patents

Abstract

本发明涉及通信安全技术领域，提供一种电网中通信流量的检测方法、检测装置，本发明在边端使用了在线机器学习模型检测电网中的通信流量，能够更快速的检测网络存在异常，且边端的在线机器学习模型可以根据实时的告警流生成训练样本实现在线的训练、更新，同时云端能够汇集所有边端的异常流和告警流，使专家判定后生成标签数据流库训练新的在线机器学习模型对边端的在线机器学习模型进行更新，由此使得边端的机器学习模型能对新出现的异常流量做出快速反应，灵活性好，且采用的数据样本为自动标签机制生成的和专家判定后的具有标签的全局数据样本，使得边端的在线机器学习模型检测的准确率更高。

Description

电网中通信流量的检测方法、检测装置

技术领域

本发明涉及通信安全技术领域，具体涉及一种电网中通信流量的检测方法、一种电网中通信流量的检测装置。

背景技术

随着电网信息化建设的推进，电力系统的网络安全日益重要。针对电力系统中可能出现的各种异常流量，如何快速、准确地进行检测成为了一个重要课题。目前，市场上已经存在一些基于机器学习算法的流量分析与检测方案，但这些方案在实际应用中仍然存在一定的局限性，例如机器学习模型更新慢、异常检测反应慢等问题。

当前基于机器学习的网络异常流量检测算法一般包括离线学习算法和在线学习算法两个方向。在离线学习场景下，离线学习模型必须在经过整个训练数据集的训练后才可以使用，而模型训练结束后，模型训练者便不能随意更改模型。因而该算法在应对不断变化的网络异常流量时，需要不断的再训练，而且需要完整的数据集，灵活性较差，消耗的成本也大。

与之相对，在线学习算法按流式顺序处理数据，随着新训练数据的产生，模型也会随之不断更新，这种在线学习场景具有模型更新快，能对新出现的异常流量做出快速反应。但这种方式也会出现一些问题，譬如由于在线学习模型为了快速的更新自己的模型，使用的训练样本相对较少，不能获得全局的样本，因此模型检测的准确率与离线模式相比，会有一定程度的降低。

发明内容

本发明为解决上述技术问题，本发明第一方面实施例提供了一种电网中通信流量的检测方法。

本发明第二方面实施例提供了一种电网中通信流量的检测装置。

本发明采用的技术方案如下：

本发明的第一方面实施例提出了电网中通信流量的检测方法，所述电网包括多个边端和一个云端，所述方法包括以下步骤：第一在线机器学习模型获取边端的出口通信流量，并检测所述通信流量为正常分类和异常分类的概率值，以及根据所述概率值对所述通信流量进行分类，分类结果包括：正常流、告警流和异常流，所述告警流无标签，所述异常流带有标签；所述第一在线机器学习模型通过自动标签机制对所述告警流进行自动打标签，并根据所述告警流生成训练样本，第二在线机器学习模型根据所述训练样本以预设周期进行训练，所述第二在线机器学习模型训练完成后采用自身更新所述第一在线机器学习模型；所述边端将所述告警流和所述异常流加密传输至云端；所述云端提取所述告警流和异常流，以使用户对告警流和异常流进行判断后放入标签数据流库；第三在线机器学习模型根据所述标签数据流库进行训练；第三在线机器学习模型训练完成后将自身加密传输至所述边端，并替换所述第一在线机器学习模型。

本发明上述的电网中通信流量的检测方法还具有如下附加技术特征：

根据本发明的一个实施例，获取边端的出口通信流量，检测所述通信流量为正常分类和异常分类的概率值，具体包括：配置所述边端的路由器的镜像端口，使所有经过路由器的网络报文的副本从镜像端口输出，进入流量检测设备中；解析捕获的报文，过滤空报文、视频报文、路由器控制报文，将过滤后的报文以固定大小或者固定时间存储在文件系统中，以“系统当前时间.pcap”格式保存；使用流量提取工具对存储的每个文件提取其中的流量特征；将提取的所述流量特征文件输入所述第一在线机器学习模型进行检测，所述第一在线机器学习模型输出每一条流量特征的为正常分类和异常分类的概率值。

根据本发明的一个实施例，流量提取工具对存储的每个文件提取其中的流量特征，具体包括：以（源IP，目标IP，源端口，目标端口，协议号）五元组为流的判断指标，如果报文中五元组相同的则判断报文属于同一条流；提取每一条流的流量特征，所述流量特征包括：源IP，目标IP，源端口，目标端口，协议号、流速率、平均报文大小和流中报文数量，将流量特征以 “系统当前时间.cvs”的格式保存。

根据本发明的一个实施例，根据所述概率值对所述通信流量进行分类，具体包括：如果通信流量为正常分类的概率值大于第一阈值，则判断所述通信流量为正常流；如果通信流量为异常分类的概率值大于所述第一阈值，则判断所述通信流量为异常流，同时给异常流打上标签；如果通信流量为正常分类或者异常分类的概率值小于所述第一阈值，则判断所述通信流量为告警流。

根据本发明的一个实施例，所述第一在线机器学习模型通过自动标签机制对所述告警流进行自动打标签，具体包括：获取告警流对应的流量特征中的源IP地址，如果源IP地址不属于电网的白名单IP地址，则将所述告警流打上异常标签；如果告警流对应的源IP地址属于电网的白名单IP地址，则进一步根据以下公式计算告警流对应的流量特征的特征加权值TH，TH=α×v+β×c+γ×+δ×d，其中，/>分别表示第一至第四权值，且满足，v表示流速率，/>表示流报文数量，/>表示报文平均间隔，/>表示流停留时间；将所述特征加权值TH与第二阈值进行比较；如果所述特征加权值TH小于所述第二阈值，则将特征加权值对应的告警流标记该为正常；如果所述特征加权值TH大于或者等于所述第二阈值，则将特征加权值对应的告警流标记为异常。

根据本发明的一个实施例，所述云端提取所述告警流和异常流，以使用户对告警流和异常流进行判断后放入标签数据流库，具体包括：将提取的异常流发送至所述用户，以使所述用户对所述异常流进行确认，并将用户确认后的异常流放入所述标签数据流库；对所述告警流进行聚类，生成具有代表性的数据流，以使用户对所述具有代表性的数据流进行判断，如果用户判断所述数据流为异常流，则标记为异常，如果用户判断所述数据流为正常，则标记为正常，将标记后的数据流放入所述标签数据流库。

根据本发明的一个实施例，所述边端为变电所，所述云端为电网数据中心。

本发明的第二方面实施例提出了一种电网中通信流量的检测装置，所述电网包括多个边端和一个云端，所述装置包括：第一在线机器学习模型，所述第一在线机器学习模型用于获取边端的出口通信流量，并检测所述通信流量为正常分类和异常分类的概率值，以及根据所述概率值对所述通信流量进行分类，分类结果包括：正常流、告警流和异常流，所述告警流无标签，所述异常流带有标签；所述第一在线机器学习模型还用于通过自动标签机制对所述告警流进行自动打标签，并根据所述告警流生成训练样本；第二在线机器学习模型，所述第二在线机器学习模型用于根据所述训练样本以预设周期进行训练，所述第二在线机器学习模型训练完成后采用自身更新所述第一在线机器学习模型；所述边端用于将所述告警流和所述异常流加密传输至云端；所述云端用于提取所述告警流和异常流，以使用户对告警流和异常流进行判断后放入标签数据流库；第三在线机器学习模型，所述第三在线机器学习模型用于根据所述标签数据流库进行训练，在练完成后将自身加密传输至所述边端，并替换所述第一在线机器学习模型。

本发明上述的电网中通信流量的检测装置还具有如下附加技术特征：

根据本发明的一个实施例，所述第一在线机器学习模型具体用于：配置所述边端的路由器的镜像端口，使所有经过路由器的网络报文的副本从镜像端口输出，进入流量检测设备中；解析捕获的报文，过滤空报文、视频报文、路由器控制报文，将过滤后的报文以固定大小或者固定时间存储在文件系统中，以“系统当前时间.pcap”格式保存；使用流量提取工具对存储的每个文件提取其中的流量特征；将提取的所述流量特征文件输入所述第一在线机器学习模型进行检测，所述第一在线机器学习模型输出每一条流量特征的为正常分类和异常分类的概率值。

根据本发明的一个实施例，所述云端具体用于：将提取的异常流发送至所述用户，以使所述用户对所述异常流进行确认，并将用户确认后的异常流放入所述标签数据流库；对所述告警流进行聚类，生成具有代表性的数据流，以使用户对所述具有代表性的数据流进行判断，如果用户判断所述数据流为异常流，则标记为异常，如果用户判断所述数据流为正常，则标记为正常，将标记后的数据流放入所述标签数据流库。

本发明的有益效果：

本发明在边端使用了在线机器学习模型检测电网中的通信流量，能够更快速的检测网络存在异常，且边端的在线机器学习模型具有自动标签机制，从而可以根据实时的告警流生成具有标签的训练样本实现在线的训练、更新，同时云端能够汇集所有边端的异常流和告警流，使专家判定后生成标签数据流库训练新的在线机器学习模型对边端的在线机器学习模型进行更新，由此可以使得边端的机器学习模型能对新出现的异常流量做出快速反应，灵活性好，且采用的数据样本为自动标签机制生成的和专家判定后的具有标签的全局数据样本，利用多节点的共同协同参与，收集全局的流量样本，使得边端的在线机器学习模型检测的准确率、精确度更高。

附图说明

图1是根据本发明一个实施例的电网中通信流量的检测方法的流程图；

图2是根据本发明一个实施例的电网示意图；

图3是根据本发明一个实施例的电网中通信流量的检测装置的方框示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是根据本发明一个实施例的电网中通信流量的检测方法的流程图。如图2所示，电网包括多个边端和一个云端，在电网的网络环境中，边端可以为变电所检测设备，云端可以为电网数据中心，边端和云端通过网络链接，且它们之间的数据交互通过SHA-256加密传输。

如图1所示，电网中通信流量的检测方法包括以下步骤：

S1，第一在线机器学习模型获取边端的出口通信流量，并检测通信流量为正常分类和异常分类的概率值，以及根据概率值对通信流量进行分类，分类结果包括：正常流、告警流和异常流，告警流无标签，异常流带有标签。

第一在线机器学习模型通过获取每个边端的出口通信流量，通过过滤、存储、特征提取、分类等技术，得到通信流量为正常分类和异常分类的概率值，再根据概率值对通信流量进行分类。

具体而言，获取边端的出口通信流量，检测通信流量为正常分类和异常分类的概率值，可以包括：配置边端的路由器的镜像端口，使所有经过路由器的网络报文的副本从镜像端口输出，进入流量检测设备中；解析捕获的报文，过滤空报文、视频报文、路由器控制报文，将过滤后的报文以固定大小或者固定时间（可根据需要设置）存储在文件系统中，以“系统当前时间.pcap”格式保存；使用流量提取工具对存储的每个文件提取其中的流量特征；将提取的流量特征文件输入第一在线机器学习模型进行检测，第一在线机器学习模型输出每一条流量特征的为正常分类和异常分类的概率值。

然后设置一个阈值（即下述的第一阈值），如果通信流量为正常分类的概率值大于第一阈值，则判断通信流量为正常流；如果通信流量为异常分类的概率值大于第一阈值，则判断通信流量为异常流，同时给异常流打上标签；如果通信流量为正常分类或者异常分类的概率值小于第一阈值，则判断通信流量为告警流。第一在线机器学习模型输出的告警流无标签，表示该数据流可能存在一定异常，需要进一步判断。

在本发明的实施例中的，流量提取工具对存储的每个文件提取其中的流量特征，具体可以采用以下方式：以（源IP，目标IP，源端口，目标端口，协议号）五元组为流的判断指标，如果报文中五元组相同的则判断报文属于同一条流；然后，提取每一条流的流量特征，流量特征包括：源IP，目标IP，源端口，目标端口，协议号、流速率、平均报文大小和流中报文数量等，将这些流量特征以“系统当前时间.cvs”的格式保存。

S2，第一在线机器学习模型通过自动标签机制对告警流进行自动打标签，并根据告警流生成训练样本，第二在线机器学习模型根据训练样本以预设周期进行训练，第二在线机器学习模型训练完成后采用自身更新第一在线机器学习模型。

在本发明的一个具体实施例中，对于无标签的告警流，第一在线机器学习模型通过自动标签机制为每一条告警流进行自动打标签，具体采用以下方式进行自动打标签包括：获取告警流对应的流量特征中的源IP地址，如果源IP地址不属于电网的白名单IP地址，则将告警流打上异常标签；如果告警流对应的源IP地址属于电网的白名单IP地址，则进一步根据以下公式计算告警流对应的流量特征的特征加权值TH，TH=α×v+β×c+γ×+δ×d，其中，/>分别表示第一至第四权值，且满足/>，v表示流速率，/>表示流报文数量，/>表示报文平均间隔，/>表示流停留时间；将特征加权值TH与第二阈值进行比较；如果特征加权值TH小于第二阈值，则将特征加权值对应的告警流标记该为正常；如果特征加权值TH大于或者等于第二阈值，则将特征加权值对应的告警流标记为异常。

如图3所示，使用自动标签机制对告警流进行自动打标签，并根据告警流生成训练样本，采用训练样本训练第二在线机器学习模型，训练完成后，第二在线机器学习模型会替换在第一线机器学习模型。第二在线机器学习模型的训练周期可以定时进行，例如15min一次，也可以根据训练样本的数量进行，当训练样本新增数量达到一定数量即开始训练。

S3，边端将告警流和异常流加密传输至云端。

边端不断将步骤S1中检测到的告警流和异常流加密传输至云端。

S4，云端提取告警流和异常流，以使用户对告警流和异常流进行判断后放入标签数据流库。

S5，第三在线机器学习模型根据标签数据流库进行训练。

具体地，云端收集边端传递来的异常流和大量的告警流，通过聚类算法，生成较小数量的告警流，然后通过专家进行判断，生成标签数据样本放入标签数据流库，最终通过在线算法训练生成新的第三在线机器学习模型。

在本发明的一个实施例中，云端提取告警流和异常流，以使用户对告警流和异常流进行判断后放入标签数据流库，具体包括：将提取的异常流发送至用户，以使用户对异常流进行确认，并将用户确认后的异常流放入标签数据流库；对告警流进行聚类，生成具有代表性的数据流，以使用户对具有代表性的数据流进行判断，如果用户判断数据流为异常流，则标记为异常，如果用户判断数据流为正常，则标记为正常，将标记后的数据流放入标签数据流库。

具体地，如图3所示，用户为相关专家，云端持续接收来自边端来的数据，并分别提取告警流数（无标签）和异常流数（有标签）。其中，实际应用中，异常流为确认有异常的通信流量，数量不多，且异常流已经打上了标签，用户根据自己的经验对异常流进行最终的确认，如果确认为异常，则用户对已有标签的异常流进行最终的标签确认。而告警流为有异常嫌疑的通信流量，由于包括了所有边端汇集来的数据，一般数量较多（如1000条数据流），为了降低用户的工作量，先使用聚类算法将告警流进行聚类，生成最具代表性的数据流（聚类后数量较小，大概有50条左右），用户只需对聚类后的最具代表性的数据流进行判断，如果判断是异常流，则标记为异常，如果判断是正常，则标记为正常。由此，用户标记好后，主动学习算法会根据这些数据流的标签，把所有的数据流打上标签，随后将这些标签数据流放入标签数据流库中。第三在线机器学习模型通过提取标签数据流库中的样本，通过在线机器学习算法进行在线训练。

一般而言，用户无需实时对告警流和异常流进行判断，3-4天进行一次判断即可，第三在线机器学习模型3-4天进行一次训练即可。

S6，第三在线机器学习模型训练完成后将自身加密传输至边端，并替换第一在线机器学习模型。

具体地，新生成第三在线机器学习模型可以通过SHA-256加密，使用TCP（Transmission Control Protocol，传输控制协议）协议传输到边端设备，并替换边端的第一在线机器学习模型。由此，完成边端的第一在线机器学习模型的更新。同时，第一在线机器学习模型实时检测边端的通信流量，并对异常通信流量快速反应。

本发明中，在线机器学习模型可以使用自适应随机森林算法。

可以理解，本发明中步骤S1 -S3会不间断运行，不断的检测边端通信流量的异常情况，并向云端汇报异常流和告警流。步骤S4-S5由于需要用户介入来判断流量的异常情况并打标签，因此步骤S4-S5定期执行或者用户主动触发。

由此，在边端使用了在线机器学习模型检测电网中的通信流量，能够更快速的检测网络存在异常，且边端的在线机器学习模型具有自动标签机制，从而可以根据实时的告警流生成具有标签的训练样本实现在线的训练、更新，同时云端能够汇集所有边端的异常流和告警流，使专家判定后生成标签数据流库训练新的在线机器学习模型对边端的在线机器学习模型进行更新，由此可以使得边端的机器学习模型能对新出现的异常流量做出快速反应，灵活性好，且采用的数据样本为自动标签机制生成的和专家判定后的具有标签的全局数据样本，利用多节点的共同协同参与，收集全局的流量样本，使得边端的在线机器学习模型检测的准确率、精确度更高。

为使本领域技术人员更清楚地理解本发明，下面结合具体的示例来描述本发明上述的电网中通信流量的检测方法。

如果边端在一段时间内捕获了100MB数据的报文，文件名为“202306150925332.pcab”，通过过滤机制之后这部分数据还剩下50MB（因为变电所中有大量的视频数据），随后通过流量特征提取工具，提取该部分数据的流量特征，保存为“202306150926561.cvs”。该文件的部分内容如下表1所示：

表1 流量特征文件样例

第一在线机器学习模型使用在线学习算法预测输入的流量特征，得到每条数据流的预测概率，如流1（10.168.10.45，10.45.33.21，10032，6734，6）为正常流的概率为99.5%，流2（110.18.18.90，10.45.33.28，7845，5732，6）为异常流的概率为95.1%，流3（220.181.18.90，10.45.33.52，7045，14205，6）为异常流的概率为45.6%，等等。本发明中，可以取第一阈值的值为0.6（该值是一个经验值，可以根据不同环境调整）。因此，流1为正常流，流2为异常流，且为其打上异常标签，流3为告警流，没有标签。随后，将所有异常流和告警流打包在一起。

此外，针对告警流（如流3），查看其源IP地址，跟电网网络的IP地址白名单比较，如果不在白名单中，则流3属于异常流，打上异常标签；如果在白名单中，则提取其中的流速率（记为v）、报文数量（记为c）、报文平均间隔（记为g）、停留时间（记为d），计算，其中/>。计算出的TH值如果大于第二阈值（也是经验值，在此取200），则标记该流为异常；否则标记该流为正常。在此，流3标记为异常。这些标记的数据流样本，输入第二在线学习模型（使用了自适应随机森林算法）训练，生成新的检测模型。最后第二在线学习模型替换第一在线机器学习模型。

将前面打包的告警流和异常流数据通过SHA-256方式加密之后，使用TCP协议传输到云端；

如图3所示，云端持续接收来自边端来的数据，并分别提取告警流数据（无标签）和异常流数据（有标签）。其中异常流已经打上了标签，通过专家确认后会放入标签数据流库中。对于告警流，由于包括了所有边端汇集来的数据，因此数据量很大（如1000条数据流），造成专家打标签工作量过大。因此，使用聚类算法，将告警流进行聚类，生成最具代表性的数据流（数量较小，大概有50条左右），专家对这50条数据流进行判断，如果判断是异常流，则标记为异常，如果判断是正常，则标记为正常。标记好后，主动学习算法会根据这些数据流的标签，把所有的数据流（1000条）打上标签。随后将这些标签数据流放入标签数据流库中。第三在线机器学习模块提取标签数据流库中的样本，通过在线机器学习算法训练，生成新的在线学习模型，新生成在第三线机器学习模型通过SHA-256加密，然后使用TCP协议传输到边端设备，并替换原有的第一在线机器学习模型。

综上，根据本发明实施例的电网中通信流量的检测方法，在边端使用了在线机器学习模型检测电网中的通信流量，能够更快速的检测网络存在异常，且边端的在线机器学习模型具有自动标签机制，从而可以根据实时的告警流生成具有标签的训练样本实现在线的训练、更新，同时云端能够汇集所有边端的异常流和告警流，使专家判定后生成标签数据流库训练新的在线机器学习模型对边端的在线机器学习模型进行更新，由此可以使得边端的机器学习模型能对新出现的异常流量做出快速反应，灵活性好，且采用的数据样本为自动标签机制生成的和专家判定后的具有标签的全局数据样本，利用多节点的共同协同参与，收集全局的流量样本，使得边端的在线机器学习模型检测的准确率、精确度更高。

与上述的电网中通信流量的检测方法相对应，本发明还提出一种电网中通信流量的检测装置。由于本发明的装置实施例与上述的方法实施例相对应，对于装置实施例中未披露的细节，可参照上述的方法实施例，本发明中不再进行赘述。

图3是根据本发明一个实施例的电网中通信流量的检测装置的方框示意图，如图3所示，电网包括多个边端（图3中以边端为2个为例）和一个云端，装置包括：第一在线机器学习模型、第二在线机器学习模型和第三在线机器学习模型。

其中，第一在线机器学习模型用于获取边端的出口通信流量，并检测通信流量为正常分类和异常分类的概率值，以及根据概率值对通信流量进行分类，分类结果包括：正常流、告警流和异常流，告警流无标签，异常流带有标签；第一在线机器学习模型还用于通过自动标签机制对告警流进行自动打标签，并根据告警流生成训练样本；第二在线机器学习模型用于根据训练样本以预设周期进行训练，第二在线机器学习模型训练完成后采用自身更新第一在线机器学习模型；边端用于将告警流和异常流加密传输至云端；云端用于提取告警流和异常流，以使用户对告警流和异常流进行判断后放入标签数据流库；第三在线机器学习模型用于根据标签数据流库进行训练，在练完成后将自身加密传输至边端，并替换第一在线机器学习模型。

根据本发明的一个实施例，第一在线机器学习模型具体用于：配置边端的路由器的镜像端口，使所有经过路由器的网络报文的副本从镜像端口输出，进入流量检测设备中；解析捕获的报文，过滤空报文、视频报文、路由器控制报文，将过滤后的报文以固定大小或者固定时间存储在文件系统中，以“系统当前时间.pcap”格式保存；使用流量提取工具对存储的每个文件提取其中的流量特征；将提取的流量特征文件输入第一在线机器学习模型进行检测，第一在线机器学习模型输出每一条流量特征的为正常分类和异常分类的概率值。

根据本发明的一个实施例，流量提取工具具体用于以（源IP，目标IP，源端口，目标端口，协议号）五元组为流的判断指标，如果报文中五元组相同的则判断报文属于同一条流；提取每一条流的流量特征，流量特征包括：源IP，目标IP，源端口，目标端口，协议号、流速率、平均报文大小和流中报文数量，将流量特征以 “系统当前时间.cvs”的格式保存。

根据本发明的一个实施例，第一在线机器学习模型具体用于：如果通信流量为正常分类的概率值大于第一阈值，则判断通信流量为正常流；如果通信流量为异常分类的概率值大于第一阈值，则判断通信流量为异常流，同时给异常流打上标签；如果通信流量为正常分类或者异常分类的概率值小于第一阈值，则判断通信流量为告警流。

根据本发明的一个实施例，第一在线机器学习模型具体用于：获取告警流对应的流量特征中的源IP地址，如果源IP地址不属于电网的白名单IP地址，则将告警流打上异常标签；如果告警流对应的源IP地址属于电网的白名单IP地址，则进一步根据以下公式计算告警流对应的流量特征的特征加权值TH，TH=α×v+β×c+γ×+δ×d，其中，/>分别表示第一至第四权值，且满足/>，v表示流速率，/>表示流报文数量，/>表示报文平均间隔，/>表示流停留时间；将特征加权值TH与第二阈值进行比较；如果特征加权值TH小于第二阈值，则将特征加权值对应的告警流标记该为正常；如果特征加权值TH大于或者等于第二阈值，则将特征加权值对应的告警流标记为异常。

根据本发明的一个实施例，云端具体用于：将提取的异常流发送至用户，以使用户对异常流进行确认，并将用户确认后的异常流放入标签数据流库；对告警流进行聚类，生成具有代表性的数据流，以使用户对具有代表性的数据流进行判断，如果用户判断数据流为异常流，则标记为异常，如果用户判断数据流为正常，则标记为正常，将标记后的数据流放入标签数据流库。

综上所述，根据本发明实施例的电网中通信流量的检测装置，在边端使用了在线机器学习模型检测电网中的通信流量，能够更快速的检测网络存在异常，且边端的在线机器学习模型具有自动标签机制，从而可以根据实时的告警流生成具有标签的训练样本实现在线的训练、更新，同时云端能够汇集所有边端的异常流和告警流，使专家判定后生成标签数据流库训练新的在线机器学习模型对边端的在线机器学习模型进行更新，由此可以使得边端的机器学习模型能对新出现的异常流量做出快速反应，灵活性好，且采用的数据样本为自动标签机制生成的和专家判定后的具有标签的全局数据样本，利用多节点的共同协同参与，收集全局的流量样本，使得边端的在线机器学习模型检测的准确率、精确度更高。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种电网中通信流量的检测方法，其特征在于，所述电网包括多个边端和一个云端，所述方法包括以下步骤：

第一在线机器学习模型获取边端的出口通信流量，并检测所述通信流量为正常分类和异常分类的概率值，以及根据所述概率值对所述通信流量进行分类，分类结果包括：正常流、告警流和异常流，所述告警流无标签，所述异常流带有标签；

所述第一在线机器学习模型通过自动标签机制对所述告警流进行自动打标签，并根据所述告警流生成训练样本，第二在线机器学习模型根据所述训练样本以预设周期进行训练，所述第二在线机器学习模型训练完成后采用自身更新所述第一在线机器学习模型；

所述边端将所述告警流和所述异常流加密传输至云端；

所述云端提取所述告警流和异常流，以使用户对告警流和异常流进行判断后放入标签数据流库；

第三在线机器学习模型根据所述标签数据流库进行训练；

第三在线机器学习模型训练完成后将自身加密传输至所述边端，并替换所述第一在线机器学习模型；其中，获取边端的出口通信流量，检测所述通信流量为正常分类和异常分类的概率值，具体包括：

配置所述边端的路由器的镜像端口，使所有经过路由器的网络报文的副本从镜像端口输出，进入流量检测设备中；

解析捕获的报文，过滤空报文、视频报文、路由器控制报文，将过滤后的报文以固定大小或者固定时间存储在文件系统中，以“系统当前时间.pcap”格式保存；

使用流量提取工具对存储的每个文件提取其中的流量特征；

将提取的所述流量特征文件输入所述第一在线机器学习模型进行检测，所述第一在线机器学习模型输出每一条流量特征的为正常分类和异常分类的概率值；

所述第一在线机器学习模型通过自动标签机制对所述告警流进行自动打标签，具体包括：

获取告警流对应的流量特征中的源IP地址，如果源IP地址不属于电网的白名单IP地址，则将所述告警流打上异常标签；

如果告警流对应的源IP地址属于电网的白名单IP地址，则进一步根据以下公式计算告警流对应的流量特征的特征加权值TH，，其中，/>分别表示第一至第四权值，且满足/>，v表示流速率，c表示流报文数量，g表示报文平均间隔，d表示流停留时间；

将所述特征加权值TH与第二阈值进行比较；

如果所述特征加权值TH小于所述第二阈值，则将特征加权值对应的告警流标记该为正常；

如果所述特征加权值TH大于或者等于所述第二阈值，则将特征加权值对应的告警流标记为异常；

所述云端提取所述告警流和异常流，以使用户对告警流和异常流进行判断后放入标签数据流库，具体包括：

将提取的异常流发送至所述用户，以使所述用户对所述异常流进行确认，并将用户确认后的异常流放入所述标签数据流库；

对所述告警流进行聚类，生成具有代表性的数据流，以使用户对所述具有代表性的数据流进行判断，如果用户判断所述数据流为异常流，则标记为异常，如果用户判断所述数据流为正常，则标记为正常，将标记后的数据流放入所述标签数据流库。

2.根据权利要求1所述的电网中通信流量的检测方法，其特征在于，流量提取工具对存储的每个文件提取其中的流量特征，具体包括：

以（源IP，目标IP，源端口，目标端口，协议号）五元组为流的判断指标，如果报文中五元组相同的则判断报文属于同一条流；

提取每一条流的流量特征，所述流量特征包括：源IP，目标IP，源端口，目标端口，协议号、流速率、平均报文大小和流中报文数量，将流量特征以 “系统当前时间.cvs”的格式保存。

3.根据权利要求1所述的电网中通信流量的检测方法，其特征在于，根据所述概率值对所述通信流量进行分类，具体包括：

如果通信流量为正常分类的概率值大于第一阈值，则判断所述通信流量为正常流；

如果通信流量为异常分类的概率值大于所述第一阈值，则判断所述通信流量为异常流，同时给异常流打上标签；

如果通信流量为正常分类或者异常分类的概率值小于所述第一阈值，则判断所述通信流量为告警流。

4.根据权利要求1-3任一项所述的电网中通信流量的检测方法，其特征在于，所述边端为变电所，所述云端为电网数据中心。

5.一种电网中通信流量的检测装置，其特征在于，所述电网包括多个边端和一个云端，所述装置包括：

第一在线机器学习模型，所述第一在线机器学习模型用于获取边端的出口通信流量，并检测所述通信流量为正常分类和异常分类的概率值，以及根据所述概率值对所述通信流量进行分类，分类结果包括：正常流、告警流和异常流，所述告警流无标签，所述异常流带有标签；

所述第一在线机器学习模型还用于通过自动标签机制对所述告警流进行自动打标签，并根据所述告警流生成训练样本；

第二在线机器学习模型，所述第二在线机器学习模型用于根据所述训练样本以预设周期进行训练，所述第二在线机器学习模型训练完成后采用自身更新所述第一在线机器学习模型；

所述边端用于将所述告警流和所述异常流加密传输至云端；

所述云端用于提取所述告警流和异常流，以使用户对告警流和异常流进行判断后放入标签数据流库；

第三在线机器学习模型，所述第三在线机器学习模型用于根据所述标签数据流库进行训练，在练完成后将自身加密传输至所述边端，并替换所述第一在线机器学习模型；

其中，所述第一在线机器学习模型具体用于：

配置所述边端的路由器的镜像端口，使所有经过路由器的网络报文的副本从镜像端口输出，进入流量检测设备中；

解析捕获的报文，过滤空报文、视频报文、路由器控制报文，将过滤后的报文以固定大小或者固定时间存储在文件系统中，以“系统当前时间.pcap”格式保存；

使用流量提取工具对存储的每个文件提取其中的流量特征；

将提取的所述流量特征文件输入所述第一在线机器学习模型进行检测，所述第一在线机器学习模型输出每一条流量特征的为正常分类和异常分类的概率值；

所述第一在线机器学习具体用于：

获取告警流对应的流量特征中的源IP地址，如果源IP地址不属于电网的白名单IP地址，则将所述告警流打上异常标签；

如果告警流对应的源IP地址属于电网的白名单IP地址，则进一步根据以下公式计算告警流对应的流量特征的特征加权值TH，，其中，/>分别表示第一至第四权值，且满足/>，v表示流速率，c表示流报文数量，g表示报文平均间隔，d表示流停留时间；

将所述特征加权值TH与第二阈值进行比较；

如果所述特征加权值TH小于所述第二阈值，则将特征加权值对应的告警流标记该为正常；

如果所述特征加权值TH大于或者等于所述第二阈值，则将特征加权值对应的告警流标记为异常；

其中，所述云端具体用于：

将提取的异常流发送至所述用户，以使所述用户对所述异常流进行确认，并将用户确认后的异常流放入所述标签数据流库；

对所述告警流进行聚类，生成具有代表性的数据流，以使用户对所述具有代表性的数据流进行判断，如果用户判断所述数据流为异常流，则标记为异常，如果用户判断所述数据流为正常，则标记为正常，将标记后的数据流放入所述标签数据流库。