CN114157486B - 通信流量数据异常检测方法、装置、电子设备及存储介质 - Google Patents

通信流量数据异常检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114157486B
CN114157486B CN202111465176.0A CN202111465176A CN114157486B CN 114157486 B CN114157486 B CN 114157486B CN 202111465176 A CN202111465176 A CN 202111465176A CN 114157486 B CN114157486 B CN 114157486B
Authority
CN
China
Prior art keywords
data
power grid
electric quantity
quantity change
communication flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111465176.0A
Other languages
English (en)
Other versions
CN114157486A (zh
Inventor
徐钟豪
陈伟
谢忱
刘伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Douxiang Information Technology Co ltd
Original Assignee
Shanghai Douxiang Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Douxiang Information Technology Co ltd filed Critical Shanghai Douxiang Information Technology Co ltd
Priority to CN202111465176.0A priority Critical patent/CN114157486B/zh
Publication of CN114157486A publication Critical patent/CN114157486A/zh
Application granted granted Critical
Publication of CN114157486B publication Critical patent/CN114157486B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Abstract

本申请提供一种通信流量数据异常检测方法、装置、电子设备及存储介质，属于智能电网的技术领域。该方法首先获取电网系统中任意两个互相通信的电网节点之间的第一通信流量数据、第二电量变化数据，第一通信流量数据包括第一电量变化数据；基于预先训练好的自编码模型对第一通信流量数据进行处理，并获取处理后的第一通信流量数据和第一通信流量数据的第一误差；基于第二电量变化数据和预先训练好的用于预测电量变化数据的电量变化预测模型，得到预测第一电量变化数据，获取预测第一电量变化数据和第一电量变化数据的第二误差；在第一误差、第二误差满足预设条件时，确认第一通信流量数据异常。以解决现有技术容易出现漏报的问题。

Description

通信流量数据异常检测方法、装置、电子设备及存储介质
技术领域
本申请涉及智能电网的技术领域，具体而言，涉及一种通信流量数据异常检测方法、装置、电子设备及存储介质。
背景技术
现代智能电网系统由多个电网节点构成，不同电网节点之间的通信会存在特定的规律，而不同电网节点(如变电站等)之间的通信模式不完全相同。攻击者可以通过篡改电网数据或向智能电网系统注入虚假数据，使智能电网系统的控制中心作出错误的判断，从而导致智能电网系统出现故障。
现有的用于检测智能电网系统中异常数据的方法，是基于不同电网节点之间的通信规则进行检测，但该方法需要消耗极大的计算资源，且容易被攻击者绕过，导致容易出现漏报。
发明内容
本申请提供一种通信流量数据异常检测方法、装置、电子设备及存储介质，以解决现有技术检测智能电网系统中的异常通信流量数据需要消耗极大的计算资源，且容易被攻击者绕过，导致容易出现漏报的问题。
第一方面，本申请提供一种通信流量数据异常检测方法，包括：获取电网系统中任意两个互相通信的电网节点之间在第一预设时间范围内的第一通信流量数据，以及在所述第一预设时间范围之前的第二预设时间范围内的第二电量变化数据，所述第一通信流量数据包括所述第一预设时间范围内的第一电量变化数据；基于预先训练好的自编码模型对所述第一通信流量数据进行处理，并获取处理后的第一通信流量数据和所述第一通信流量数据的第一误差；基于所述第二电量变化数据和预先训练好的用于预测电量变化数据的电量变化预测模型，得到预测第一电量变化数据，获取所述预测第一电量变化数据和所述第一电量变化数据的第二误差；在所述第一误差、所述第二误差满足预设条件时，确认所述第一通信流量数据异常。
本申请实施例中，通过自编码模型对第一通信流量数据进行处理，并获取处理后的第一通信流量数据和第一通信流量数据的第一误差，再通过电量变化预测模型得到预测第一电量变化数据和第一电量变化数据的第二误差，通过第一误差、第二误差和预设条件判断第一通信流量数据是否异常，通过同时采用自编码模型和电量变化预测模型来对第一通信流量数据进行验证，可以使两种模型的验证结果互补，进而降低误报率，同时，由于本方案无需基于不同电网节点之间的通信规则进行检测，仅需要利用上述的两种模型对第一通信流量数据进行检测，无需占用大量计算资源便可得到最终的验证结果，进而提高处理效率。并且，本方案可以有效解决不同电网节点之间的通信模式不完全相同的问题，针对不同的两个网络节点分别进行分析，可以有效提高后续对第一通信流量数据进行验证的准确度。
结合上述第一方面提供的技术方案，在一些可能的实施方式中，所述获取电网系统中任意两个互相通信的电网节点之间在第一预设时间范围内的第一通信流量数据，包括：获取所述电网系统中每个电网节点在所述第一预设时间范围内接收和/或发送的目标通信流量数据，所述目标通信流量数据包括源地址、目的地址、电量变化数据；将第一电网节点发送的目的地址为第二电网节点的通信流量数据与所述第二电网节点发送的目的地址为第一电网节点的通信流量数据分为同一组通信流量数据，得到第一电网节点和第二电网节点之间的所述第一通信流量数据，其中，所述第一电网节点为所述电网系统中任意一个电网节点，所述第二电网节点为所述电网系统中除所述第一电网节点外的任意一个电网节点。
本申请实施例中，通过目标通信流量数据中包括的源地址和目的地址，将目标通信流量数据进行分组，得到第一通信流量数据，可以得到两个互相通信的电网节点之间更加全面的通信流量数据，进而使得分析该两个电网节点之间的第一通信流量数据时，能得到更加准确的结果，提高准确性。
结合上述第一方面提供的技术方案，在一些可能的实施方式中，所述目标通信流量数据为预处理后的通信流量数据，所述预处理包括标准格式转换、归一化处理、无效数据清除。
本申请实施例中，目标通信流量数据为预处理后的通信流量数据，可以更便于后续对目标通信流量数据进行分组，加快处理速度，并且由于清楚了无效数据，能有效防止无效数据影响后续分析该第一通信流量数据，进而提高后续分析结果的准确性。
结合上述第一方面提供的技术方案，在一些可能的实施方式中，获得所述预先训练好的电量变化预测模型，包括：获取第一训练数据集，所述第一训练数据集包括所述电网系统中任意两个互相通信的电网节点在N个连续时间段内的真实电量变化数据；利用所述第一训练数据集对所述电量变化预测模型进行训练，训练时，将所述N个连续时间段内的第i个时间段对应的真实电量变化数据输入所述电量变化预测模型中，得到第i+1个时间段对应的预测电量变化数据，基于所述第i+1个时间段对应的预测电量变化数据和所述第i+1个时间段的真实电量变化数据的误差，更新所述电量变化预测模型的参数，直至预测电量变化数据和对应的真实电量变化数据的误差满足第一预设条件，得到训练好的所述电量变化预测模型，其中，N为大于2的正整数，i依次取1至N-1。
本申请实施例中，通过N个连续的时间段各自对应的真实电量变化数据对电量变化预测模型进行训练，且在预测电量变化数据和对应的真实电量变化数据的误差满足预设条件时，得到训练好的电量变化预测模型，从而使得该训练好的电量变化预测模型能准确地预测输入数据对应的下一时间段的电量变化数据，进而使得后续能基于该训练好的模型执行通信流量数据异常检测方法，并且根据该训练好的电量变化预测模型对第一通信流量数据进行验证时，能得到更加准确的验证结果。
结合上述第一方面提供的技术方案，在一些可能的实施方式中，获得所述预先训练好的自编码模型，包括：获取第二训练数据集，所述第二训练数据集包括两个通信节点在第三预设时间范围内的第三通信流量数据；利用所述第二训练数据集对所述自编码模型进行训练，训练时，将所述第二训练数据集输入所述自编码模型中，得到处理后的第二训练数据集，根据所述处理后的第二训练数据集和所述第二训练数据集的误差，更新所述自编码模型的参数，直至所述自编码模型输出的处理后的第二训练数据集与所述第二训练数据集的误差满足第二预设条件，得到训练好的自编码模型。
本申请实施例中，通过五预设时间范围内的第三通信流量数据对自编码模型进行训练，并使自编码模型处理后的第三通信流量数据尽量与第三通信流量数据误差更小，使得自编码模型能学习第三通信流量数据内的隐含关系，使得后续在利用自编码模型验证第一通信流量数据时，能通过处理后的第一通信流量数据有效判断第一通信流量数据是否具有与第三通信流量数据相同的隐含关系，实现对第一通信流量数据的验证，进而使得能基于该训练好的模型执行通信流量数据异常检测方法。
结合上述第一方面提供的技术方案，在一些可能的实施方式中，所述获取第二训练数据集，包括：获取所述电网系统中每个电网节点在所述第三预设时间范围内接收和/或发送的第三通信流量数据，所述第三通信流量数据包括源地址、目的地址，其中，所述第三通信流量数据为预处理后的通信流量数据，所述预处理包括标准格式转换、归一化处理、无效数据清除；将第三电网节点发送的目的地址为第四电网节点的通信流量数据与所述第四电网节点发送的目的地址为第三电网节点的通信流量数据分为同一组通信流量数据，得到第三电网节点和第四电网节点之间的所述第三通信流量数据，其中，所述第三电网节点为所述电网系统中任意一个电网节点，所述第四电网节点为所述电网系统中除所述第三电网节点外的任意一个电网节点。
本申请实施例中，目标通信流量数据为预处理后的通信流量数据，可以更便于后续对目标通信流量数据进行分组，加快处理速度。并且，通过目标通信流量数据中包括的源地址和目的地址，将目标通信流量数据进行分组，得到第三通信流量数据，可以有效解决不同电网节点之间的通信模式不完全相同的问题，并且可以针对不同的两个网络节点间的通信流量数据分别进行训练自编码模型，可以使训练好的自编码模型能更加准确地反映通信流量数据内的隐含关系。
结合上述第一方面提供的技术方案，在一些可能的实施方式中，所述在所述第一误差、所述第二误差满足预设条件时，确认所述第一通信流量数据异常，包括：在所述第一误差大于第一预设阈值，且所述第二误差大于第二预设阈值时，确认所述第一通信流量数据异常，其中，所述第一误差越大，表征所述处理后的第一通信流量数据和所述第一通信流量数据的误差越大，所述第二误差越大，表征所述预测第一电量变化数据和所述第一通信流量数据中包括的所述第一电量变化数据的误差越大。
本申请实施例中，在第一误差越大，表征处理后的第一通信流量数据和第一通信流量数据的误差越大，且第二误差越大，表征预测电量变化数据和第一通信流量数据中包括的电量变化数据误差越大的情况下，在第一误差大于第一预设阈值，且第二误差大于第二预设阈值时，才确认第一通信流量数据异常，通过两种方式来验证第一通信流量数据是否异常，且在两种方式都判断第一通信流量数据异常时，才确认第一通信流量数据异常，能有效防止误报的出现，提高报警的准确度。
第二方面，本申请提供一种通信流量数据异常检测装置，包括获取模块、第一处理模块、第二处理模块、警报模块，获取模块用于获取电网系统中任意两个互相通信的电网节点之间在第一预设时间范围内的第一通信流量数据，以及在所述第一预设时间范围之前的第二预设时间范围内的第二电量变化数据，所述第一通信流量数据包括所述第一预设时间范围内的第一电量变化数据；第一处理模块用于基于预先训练好的自编码模型对所述第一通信流量数据进行处理，并获取处理后的第一通信流量数据和所述第一通信流量数据的第一误差；第二处理模块用于基于所述第二电量变化数据和预先训练好的用于预测电量变化数据的电量变化预测模型，得到预测第一电量变化数据，获取所述预测第一电量变化数据和所述第一电量变化数据的第二误差；警报模块用于在所述第一误差、所述第二误差满足预设条件时，确认所述第一通信流量数据异常。
第三方面，本申请实施例提供一种电子设备，包括：存储器和处理器，所述存储器和所述处理器连接；所述存储器，用于存储程序；所述处理器，用于调用存储于所述存储器中的程序，以执行如上述第一方面实施例和/或结合上述第一方面实施例的任一种可能的实施方式提供的方法。
第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序被计算机运行时，执行如上述第一方面实施例和/或结合上述第一方面实施例的任一种可能的实施方式提供的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例示出的一种通信流量数据异常检测方法的流程示意图；
图2为本申请实施例示出的一种获取目标通信流量数据的流程示意图；
图3为本申请实施例示出的一种通信流量数据异常检测装置的结构框图；
图4为本申请实施例示出的一种电子设备的结构示意图。
具体实施方式
术语“第一”、“第二”、“第三”等仅用于区分描述，并不表示排列序号，也不能理解为指示或暗示相对重要性。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
再者，本申请中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
下面将结合附图对本申请的技术方案进行清楚、完整地描述。
请参阅图1，图1为本申请实施例提供的一种通信流量数据异常检测方法，下面将结合图1对其包含的步骤进行说明。
S100：获取电网系统中任意两个互相通信的电网节点之间在第一预设时间范围内的第一通信流量数据，以及在第一预设时间范围之前的第二预设时间范围内的第二电量变化数据。
步骤S100中的第一通信流量数据和第二电量变化数据可以是预先获取的并保存在数据库或磁盘中的，在需要时直接获取即可，或者，是也可以是在需要使用时，实时获取得到的。其中，电网节点可以是变电站、发电站等。
其中，第一通信流量数据包括第一预设时间范围内的第一电量变化数据，第一预设时间范围可以根据实际需求设置，此处不对其作出限制。
其中，第二预设时间范围与第一预设时间范围相邻，且第二时间范围在第一时间范围之前，并且，第二电量变化数据和第一电量变化数据为相同的两个电网节点之间的电量变化数据。
此外，第一通信流量数据除了包含第一电量变化数据外，还可以包括源地址、目的地址、时间、指令名称、指令内容、请求参数个数、请求包大小，其中，源地址表征发送该通信流量数据的电网节点的地址，目的地址表征接收该通信流量数据的电网节点的地址，指令名称和指令内容用于指示接收该通信流量数据的电网节点的工作，指令内容可以包括第一电量变化数据，例如，某区域的电量减少或增加预设数值。需要说明的是，第一通信流量数据可以包括比上述示例的源地址、目的地址、时间、指令名称、指令内容、请求参数个数、请求包大小更多的参数，或者，第一通信流量数据也可以仅包括源地址、目的地址、时间、指令名称、指令内容、请求参数个数、请求包大小中的部分参数，第一通信流量数据具体包括的参数种类可以根据实际需求设置，此处不作限制。
一种实施方式下，获取电网系统中任意两个互相通信的电网节点之间在第一预设时间范围内的第一通信流量数据的过程可以是，首先获取电网系统中每个电网节点在第一预设时间范围内接收和/或发送的目标通信流量数据，该目标通信流量数据包括源地址、目的地址、电量变化数据；然后将第一电网节点发送的目的地址为第二电网节点的通信流量数据与第二电网节点发送的目的地址为第一电网节点的通信流量数据分为同一组通信流量数据，得到第一电网节点和第二电网节点之间的第一通信流量数据，其中，第一电网节点为电网系统中任意一个电网节点，第二电网节点为电网系统中除所述第一电网节点外的任意一个电网节点。
为了便于理解上述获取电网系统中任意两个互相通信的电网节点之间在第一预设时间范围内的第一通信流量数据的过程，此处以获取电网节点1、电网节点2、电网节点3在第一预设时间范围内的第一通信流量数据为例，首先获取电网节点1、电网节点2、电网节点3所接收或发送的目标通信流量数据，其中，每一条通信流量数据的源地址可以是电网节点1、电网节点2、电网节点3中的任意一个电网节点的地址，目的地址可以是电网节点1、电网节点2、电网节点3中除源地址外的任意一个电网节点的地址，然后将源地址为电网节点1的地址、目的地址为电网节点2的地址的通信流量数据和源地址为电网节点2的地址、目的地址为电网节点1的地址的通信流量数据分为1组，即该组通信流量数据为电网节点1和电网节点2之间的第一通信流量数据，按照相同的方式可以获得电网节点3和电网节点2之间的第一通信流量数据，电网节点1和电网节点3之间的第一通信流量数据。上述举例仅为便于理解，不应作为对本申请的限制。
一种实施方式下，电网系统中每个电网节点在第一预设时间范围内接收和/或发送的目标通信流量数据为预处理后的通信流量数据，所述预处理包括标准格式转换、归一化处理、无效数据清除。
可选的，预处理的过程可以是，先将每个电网节点在第一预设时间范围内接收和/或发送的通信流量数据转化为预设的标准结构，然后对转化为标准结构的通信流量数据进行归一化处理，得到目标通信流量数据。其中，预设的标准结构可以是源地址、目的地址、时间、指令名称、指令内容、请求参数个数、请求包大小。归一化的具体远离及实现方式已为本领域技术人员所熟知，此处不再赘述。
可选的，在对转化为标准结构的通信流量数据进行归一化处理后，还可以对归一化后的通信流量数据进行无效数据清除处理，例如，可以将空指令、缺失源地址、缺失目的地址、缺失时间、缺失指令内容等通信流量数据清除，以免此类数据对后续的通信流量数据异常检测产生影响。
可选的，在进行归一化处理后，还可以进行标准化处理，例如，可以通过计算通信流量数据中每一类数据的相关统计量，然后对该类型数据进行中心化处理和/或缩放处理，将该类型数据转化为标准正态分布数据，其中，相关统计量可以是均值、方差等统计数据，数据的中心化处理、缩放处理为本领域技术人员所熟知，此处不再赘述。
可选的，获取电网系统中每个电网节点在第一预设时间范围内接收和/或发送的目标通信流量数据的步骤可以是，首先从智能电网系统的数据采集中心获取每个电网节点的通信流量数据，该通信流量数据包括网络流量数据、日志数据和系统事件数据，其中，每个电网节点会将自身接收和/或发送的通信流量数据上传至数据采集中心。然后将每个电网节点的网络流量数据、日志数据和系统事件数据转化为预设的标准结构，然后对转化为标准结构的通信流量数据进行归一化处理。再对归一化处理后的通信流量数据进行数据清除处理，例如，可以将空指令、缺失源地址、缺失目的地址、缺失时间、缺失指令内容等通信流量数据清除，以免此类数据对后续的通信流量数据异常检测产生影响，得到目标通信流量数据，其中，预设的标准结构可以是源地址、目的地址、时间、指令名称、指令内容、请求参数个数、请求包大小，指令内容中包括电量变化数据。为了便于理解上述得到目标通信流量数据的过程，请参阅图2。
S200：基于预先训练好的自编码模型对所述第一通信流量数据进行处理，并获取处理后的第一通信流量数据和所述第一通信流量数据的第一误差。
在获得电网系统中任意两个互相通信的电网节点之间在第一预设时间范围内的第一通信流量数据后，可以通过预先训练好的自编码模型对第一通信流量数据进行处理，进而得到处理后的第一通信流量数据和第一通信流量数据的第一误差。
一种实施方式下，计算处理后的第一通信流量数据和第一通信流量数据的欧式距离，将计算得到的欧式距离作为第一误差。其中，计算两个数据的欧式距离的方法及原理已为本领域技术人员所熟知，为简要描述，此处不再赘述。
其中，根据处理后的第一通信流量数据和第一通信流量数据得到第一误差的方式可以根据实际需求选择，此处不作限制。
一种实施方式下，步骤S200中的预先训练好的自编码模型可以是在第三方电子设备上预先训练好的，在需要使用时，从第三方电子设备上获取即可。
可选的，步骤S200中的预先训练好的自编码模型可以是预先从第三方电子设备上获取并存储在数据库中，在需要时，直接调用即可。
可选的，步骤S200中的预先训练好的自编码模型可以是自身预先训练好并存储在数据库中，在需要时，直接调用即可。此时，通信流量数据异常检测方法还包括：首先获取第二训练数据集，该第二训练数据集包括两个通信节点在第三预设时间范围内的第三通信流量数据；然后利用第二训练数据集对自编码模型进行训练，训练时，将第二训练数据集输入自编码模型中，得到处理后的第二训练数据集，根据该处理后的第二训练数据集和第二训练数据集的误差，更新自编码模型的参数，直至自编码模型输出的处理后的第二训练数据集与第二训练数据集的误差满足第二预设条件，得到训练好的自编码模型。
其中，第三预设时间范围的时间长度可以与第一预设时间范围相同，也可以不同，其具体时间范围可以根据实际需求设置，此处不作限制。此外，第三通信流量数据包含的数据类型与步骤S100中的第一通信流量数据包含的数据类型相同。
上述第二预设条件可以是，自编码模型输出的处理后的第二训练数据集与第二训练数据集的误差小于预设阈值，此处的预设阈值可以根据实际需求设置，此处不作限制。
一种实施方式下，获取第二训练数据集的过程可以是，首先获取电网系统中每个电网节点在第三预设时间范围内接收和/或发送的第三通信流量数据，第三通信流量数据包括源地址、目的地址，其中，第三通信流量数据为预处理后的通信流量数据，预处理包括标准格式转换、归一化处理、无效数据清除；然后将第三电网节点发送的目的地址为第四电网节点的通信流量数据与所述第四电网节点发送的目的地址为第三电网节点的通信流量数据分为同一组通信流量数据，得到第三电网节点和第四电网节点之间的所述第三通信流量数据，其中，所述第三电网节点为所述电网系统中任意一个电网节点，所述第四电网节点为所述电网系统中除所述第三电网节点外的任意一个电网节点。
其中，上述的预处理与前文叙述的第一通信流量数据经过的预处理相同，且获得第三通信流量数据的方式及原理与前文记载的获得第一通信流量数据的方式及原理相同，为简要描述，此处不再赘述。
一种实施方式下，针对电网系统中任意两个电网节点，分别建立一个自编码模型，且利用该两个电网节点之间的通信流量数据对该自编码模型进行训练，得到训练好的自编码模型，该训练好的自编码模型仅用于验证该两个电网节点的通信流量数据是否异常。即当电网系统中存在K对互相通信的电网节点时，则建立K个自编码模型，针对每一对电网节点，利用该对电网节点之间的通信流量数据训练一个自编码模型，得到训练好的自编码模型，则在需要验证该对电网节点之间的第一通信流量数据是否存在异常时，利用该对电网节点对应的自编码模型进行验证，其中，K为大于等于1的正整数。
S300：基于第二电量变化数据和预先训练好的用于预测电量变化数据的电量变化预测模型，得到预测第一电量变化数据，获取预测第一电量变化数据和第一电量变化数据的第二误差。
其中，第一电量变化数据为步骤S100中的第一通信流量数据包括的在第一预设时间范围内的第一电量变化数据，通过将第二电量变化数据输入该预先训练好的电量变化预测模型，得到电量变化预测模型输出的预测第一电量变化数据，然后基于预测第一电量变化数据和第一电量变化数据，得到第二误差，其中，上述的预测第一电量变化数据为预测得到的第一预设时间范围内的电量变化数据。
其中，可以将预测第一电量变化数据和第一电量变化数据的方差作为第二误差，具体的根据预测第一电量变化数据和第一电量变化数据计算第二误差的方式可以根据实际需求选择，此处不作限制。
一种实施方式下，步骤S300中的预先训练好的电量变化预测模型可以是在第三方电子设备上预先训练好的，在需要使用时，从第三方电子设备上获取即可。
可选的，步骤S300中的预先训练好的电量变化预测模型可以是预先从第三方电子设备上获取并存储在数据库中，在需要时，直接调用即可。
可选的，步骤S300中的预先训练好的电量变化预测模型可以是自身预先训练好并存储在数据库中，在需要时，直接调用即可。此时，通信流量数据异常检测方法还包括：首先获取第一训练数据集，该第一训练数据集包括电网系统中任意两个互相通信的电网节点在N个连续时间段内的真实电量变化数据；然后利用该第一训练数据集对电量变化预测模型进行训练，训练时，将该N个连续时间段内的第i个时间段对应的真实电量变化数据输入电量变化预测模型中，得到第i+1个时间段对应的预测电量变化数据，基于该第i+1个时间段对应的预测电量变化数据和第i+1个时间段的真实电量变化数据的误差，更新电量变化预测模型的参数，直至预测电量变化数据和对应的真实电量变化数据的误差满足第一预设条件，得到训练好的电量变化预测模型，其中，N为大于2的正整数，i依次取1至N-1。
其中，第一预设条件可以是，第i+1个时间段对应的预测电量变化数据和真实电量变化数据的误差小于预设阈值，此处的预设阈值可以根据实际需求设置，此处不作限制。
上述的N个连续的时间段可以是[t0，t1)、[t1，t2)、[t2，t3)……[ti-1，ti)……[tN-1，tN)，其中，tN表示第N个时间点，则第i个时间段为[ti-1，ti)。
可选的，还可以是通过第i到第j个时间段的真实电量变化数据预测第j+1个时间段的预测电量变化数据，其中，j为大于i、小于等于N-1的正整数。
一种实施方式下，针对电网系统中任意两个电网节点，分别建立一个电量变化预测模型，且利用该两个电网节点之间的电量变化数据对该电量变化预测模型进行训练，得到训练好的电量变化预测模型，该训练好的电量变化预测模型仅用于预测该两个电网节点的电量变化数据。即当电网系统中存在K对互相通信的电网节点时，则建立K个电量变化预测模型，针对每一对电网节点，利用该对电网节点之间的电量变化数据训练一个电量变化预测模型，得到训练好的电量变化预测模型，则在需要预测该对电网节点之间的预测第一电量变化数据时，利用该对电网节点对应的电量变化预测模型进行预测，其中，K为大于等于1的正整数。
其中，电量变化预测模型可以是FARIMA模型，FARIMA模型是ARIMA(差分整合移动平均自回归模型)模型的一种差分系数为d的特殊推广，可以使用观察法确定差分的阶数d，阶数p表示用几期的历史值来预测当前值，这里可以根据实际需求设置，例如可以将p设置为10，然后使用估计的方法确定阶数q，确定好d、p、q三个参数的值，就可以得到FARIMA评估模型。此处举例仅为便于理解，不应作为对本申请的限制。
在执行通信流量数据异常检测方法时，步骤S200、步骤S300不存在固定的执行顺序，可以是先执行步骤S200，或者先执行步骤S300，也可以是同时执行步骤S200、步骤S300，具体执行顺序可以根据实际需求设置，此处不作限制。
S400：在第一误差、第二误差满足预设条件时，确认第一通信流量数据异常。
其中，在得到自编码模型处理后的第一通信流量数据和第一通信流量数据得到第一误差，且得到电量变化预测模型预测得到的预测第一电量变化数据和第一电量变化数据的第二误差后，在第一误差、第二误差满足预设条件时，确认第一通信流量数据异常。
一种实施方式下，当第一误差越大，表征处理后的第一通信流量数据和第一通信流量数据的误差越大，且第二误差越大，表征预测第一电量变化数据和第一通信流量数据中包括的第一电量变化数据的误差越大时，在第一误差大于第一预设阈值，且第二误差大于第二预设阈值时，确认第一通信流量数据异常。
同理，在第一误差越小，表征处理后的第一通信流量数据和第一通信流量数据的误差越大，且第二误差越大，表征预测第一电量变化数据和第一通信流量数据中包括的第一电量变化数据的误差越大时，在第一误差小于第一预设阈值，且第二误差大于第二预设阈值时，确认第一通信流量数据异常。
在第一误差越小，表征处理后的第一通信流量数据和第一通信流量数据的误差越大，且第二误差越小，表征预测第一电量变化数据和第一通信流量数据中包括的第一电量变化数据的误差越大时，在第一误差小于第一预设阈值，且第二误差小于第二预设阈值时，确认第一通信流量数据异常。
在第一误差越大，表征处理后的第一通信流量数据和第一通信流量数据的误差越大，且第二误差越小，表征预测第一电量变化数据和第一通信流量数据中包括的第一电量变化数据的误差越大时，在第一误差大于第一预设阈值，且第二误差小于第二预设阈值时，确认第一通信流量数据异常。
其中，第一预设阈值和第二预设阈值均可以根据实际需求设置，此处不作限制。
请参阅图3，图3为本申请实施例提供的一种通信流量数据异常检测装置100，包括获取模块110、第一处理模块120、第二处理模块130、警报模块140。
获取模块110，用于获取电网系统中任意两个互相通信的电网节点之间在第一预设时间范围内的第一通信流量数据，以及在所述第一预设时间范围之前的第二预设时间范围内的第二电量变化数据，所述第一通信流量数据包括所述第一预设时间范围内的第一电量变化数据。
第一处理模块120，用于基于预先训练好的自编码模型对所述第一通信流量数据进行处理，并获取处理后的第一通信流量数据和所述第一通信流量数据的第一误差。
第二处理模块130，用于基于所述第二电量变化数据和预先训练好的用于预测电量变化数据的电量变化预测模型，得到预测第一电量变化数据，获取所述预测第一电量变化数据和所述第一电量变化数据的第二误差。
警报模块140，用于在所述第一误差、所述第二误差满足预设条件时，确认所述第一通信流量数据异常。
获取模块110还用于获取所述电网系统中每个电网节点在所述第一预设时间范围内接收和/或发送的目标通信流量数据，所述目标通信流量数据包括源地址、目的地址、电量变化数据；将第一电网节点发送的目的地址为第二电网节点的通信流量数据与所述第二电网节点发送的目的地址为所述第一电网节点的通信流量数据分为同一组通信流量数据，得到所述第一电网节点和所述第二电网节点之间的所述第一通信流量数据，其中，所述第一电网节点为所述电网系统中任意一个电网节点，所述第二电网节点为所述电网系统中除所述第一电网节点外的任意一个电网节点。
获取模块110获取的目标通信流量数据为预处理后的通信流量数据，所述预处理包括标准格式转换、归一化处理、无效数据清除。
通信流量数据异常检测装置100还包括第一训练模块，第一训练模块用于获取第一训练数据集，所述第一训练数据集包括所述电网系统中任意两个互相通信的电网节点在N个连续时间段内的真实电量变化数据；利用所述第一训练数据集对所述电量变化预测模型进行训练，训练时，将所述N个连续时间段内的第i个时间段对应的真实电量变化数据输入所述电量变化预测模型中，得到第i+1个时间段对应的预测电量变化数据，基于所述第i+1个时间段对应的预测电量变化数据和所述第i+1个时间段的真实电量变化数据的误差，更新所述电量变化预测模型的参数，直至预测电量变化数据和对应的真实电量变化数据的误差满足第一预设条件，得到训练好的所述电量变化预测模型，其中，N为大于2的正整数，i依次取1至N-1。
通信流量数据异常检测装置100还包括第二训练模块，第二训练模块用于获取第二训练数据集，所述第二训练数据集包括两个通信节点在第三预设时间范围内的第三通信流量数据；利用所述第二训练数据集对所述自编码模型进行训练，训练时，将所述第二训练数据集输入所述自编码模型中，得到处理后的第二训练数据集，根据所述处理后的第二训练数据集和所述第二训练数据集的误差，更新所述自编码模型的参数，直至所述自编码模型输出的处理后的第二训练数据集与所述第二训练数据集的误差满足第二预设条件，得到训练好的自编码模型。
通信流量数据异常检测装置100还包括第二获取模块，第二获取模块用于获取所述电网系统中每个电网节点在所述第三预设时间范围内接收和/或发送的第三通信流量数据，所述第三通信流量数据包括源地址、目的地址，其中，所述第三通信流量数据为预处理后的通信流量数据，所述预处理包括标准格式转换、归一化处理、无效数据清除；将第三电网节点发送的目的地址为第四电网节点的通信流量数据与所述第四电网节点发送的目的地址为所述第三电网节点的通信流量数据分为同一组通信流量数据，得到所述第三电网节点和所述第四电网节点之间的所述第三通信流量数据，其中，所述第三电网节点为所述电网系统中任意一个电网节点，所述第四电网节点为所述电网系统中除所述第三电网节点外的任意一个电网节点。
警报模块140，具体用于在所述第一误差大于第一预设阈值，且所述第二误差大于第二预设阈值时，确认所述第一通信流量数据异常，其中，所述第一误差越大，表征所述处理后的第一通信流量数据和所述第一通信流量数据的误差越大，所述第二误差越大，表征所述预测第一电量变化数据和所述第一通信流量数据中包括的第一电量变化数据的误差越大。
本申请实施例所提供的通信流量数据异常检测装置100，其实现原理及产生的技术效果和前述通信流量数据异常检测方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述通信流量数据异常检测方法实施例中相应内容。
请参阅图4，其为本申请实施例提供的一种电子设备200。所述电子设备200包括：收发器210、存储器220、通讯总线230、处理器240。
所述收发器210、所述存储器220、处理器240各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线230或信号线实现电性连接。其中，收发器210用于收发数据。存储器220用于存储计算机程序，如存储有图2中所示的软件功能模块，即通信流量数据异常检测装置100。其中，通信流量数据异常检测装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储器220中或固化在所述电子设备200的操作系统(operating system，OS)中的软件功能模块。所述处理器240，用于执行存储器220中存储的可执行模块，例如通信流量数据异常检测装置100包括的软件功能模块或计算机程序。此时，处理器240，用于获取电网系统中任意两个互相通信的电网节点之间在第一预设时间范围内的第一通信流量数据，以及在所述第一预设时间范围之前的第二预设时间范围内的第二电量变化数据，所述第一通信流量数据包括所述第一预设时间范围内的第一电量变化数据；基于预先训练好的自编码模型对所述第一通信流量数据进行处理，并获取处理后的第一通信流量数据和所述第一通信流量数据的第一误差；基于所述第二电量变化数据和预先训练好的用于预测电量变化数据的电量变化预测模型，得到预测第一电量变化数据，获取所述预测第一电量变化数据和所述第一电量变化数据的第二误差；在所述第一误差、所述第二误差满足预设条件时，确认所述第一通信流量数据异常。
其中，存储器220可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。
处理器240可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器240也可以是任何常规的处理器等。
其中，上述的电子设备200，包括但不限于个人电脑、服务器等，一种方式下，电子设备200也可以是上述的电网节点。
本申请实施例还提供了一种非易失性计算机可读取存储介质(以下简称存储介质)，该存储介质上存储有计算机程序，该计算机程序被计算机如上述的电子设备200运行时，执行上述所示的通信流量数据异常检测方法。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种通信流量数据异常检测方法，其特征在于，包括：
获取电网系统中任意两个互相通信的电网节点之间在第一预设时间范围内的第一通信流量数据，以及在所述第一预设时间范围之前的第二预设时间范围内的第二电量变化数据，所述第一通信流量数据包括所述第一预设时间范围内的第一电量变化数据；
基于预先训练好的自编码模型对所述第一通信流量数据进行处理，并获取处理后的第一通信流量数据和所述第一通信流量数据的第一误差；
基于所述第二电量变化数据和预先训练好的用于预测电量变化数据的电量变化预测模型，得到预测第一电量变化数据，获取所述预测第一电量变化数据和所述第一电量变化数据的第二误差；
在所述第一误差和所述第二误差满足预设条件时，确认所述第一通信流量数据异常。
2.根据权利要求1所述的方法，其特征在于，所述获取电网系统中任意两个互相通信的电网节点之间在第一预设时间范围内的第一通信流量数据，包括：
获取所述电网系统中每个电网节点在所述第一预设时间范围内接收和/或发送的目标通信流量数据，所述目标通信流量数据包括源地址、目的地址和电量变化数据；
将第一电网节点发送的目的地址为第二电网节点的通信流量数据与所述第二电网节点发送的目的地址为所述第一电网节点的通信流量数据分为同一组通信流量数据，得到所述第一电网节点和所述第二电网节点之间的所述第一通信流量数据，其中，所述第一电网节点为所述电网系统中任意一个电网节点，所述第二电网节点为所述电网系统中除所述第一电网节点外的任意一个电网节点。
3.根据权利要求2所述的方法，其特征在于，所述目标通信流量数据为预处理后的通信流量数据，所述预处理包括标准格式转换、归一化处理和无效数据清除。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取第一训练数据集，所述第一训练数据集包括所述电网系统中任意两个互相通信的电网节点在N个连续时间段内的真实电量变化数据；
利用所述第一训练数据集对所述电量变化预测模型进行训练，训练时，将所述N个连续时间段内的第i个时间段对应的真实电量变化数据输入所述电量变化预测模型中，得到第i+1个时间段对应的预测电量变化数据，基于所述第i+1个时间段对应的预测电量变化数据和所述第i+1个时间段的真实电量变化数据的误差，更新所述电量变化预测模型的参数，直至预测电量变化数据和对应的真实电量变化数据的误差满足第一预设条件，得到训练好的所述电量变化预测模型，其中，N为大于等于2的正整数，i依次取1至N-1。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取第二训练数据集，所述第二训练数据集包括两个通信节点在第三预设时间范围内的第三通信流量数据；
利用所述第二训练数据集对所述自编码模型进行训练，训练时，将所述第二训练数据集输入所述自编码模型中，得到处理后的第二训练数据集，根据所述处理后的第二训练数据集和所述第二训练数据集的误差，更新所述自编码模型的参数，直至所述自编码模型输出的处理后的第二训练数据集与所述第二训练数据集的误差满足第二预设条件，得到训练好的自编码模型。
6.根据权利要求5所述的方法，其特征在于，所述获取第二训练数据集，包括：
获取所述电网系统中每个电网节点在所述第三预设时间范围内接收和/或发送的第三通信流量数据，所述第三通信流量数据包括源地址和目的地址，其中，所述第三通信流量数据为预处理后的通信流量数据，所述预处理包括标准格式转换、归一化处理和无效数据清除；
将第三电网节点发送的目的地址为第四电网节点的通信流量数据与所述第四电网节点发送的目的地址为所述第三电网节点的通信流量数据分为同一组通信流量数据，得到所述第三电网节点和所述第四电网节点之间的所述第三通信流量数据，其中，所述第三电网节点为所述电网系统中任意一个电网节点，所述第四电网节点为所述电网系统中除所述第三电网节点外的任意一个电网节点。
7.根据权利要求1所述的方法，其特征在于，所述在所述第一误差、所述第二误差满足预设条件时，确认所述第一通信流量数据异常，包括：
在所述第一误差大于第一预设阈值，且所述第二误差大于第二预设阈值时，确认所述第一通信流量数据异常，其中，所述第一误差越大，表征所述处理后的第一通信流量数据和所述第一通信流量数据的误差越大，所述第二误差越大，表征所述预测第一电量变化数据和所述第一通信流量数据中包括的所述第一电量变化数据的误差越大。
8.一种通信流量数据异常检测装置，其特征在于，包括：
获取模块，用于获取电网系统中任意两个互相通信的电网节点之间在第一预设时间范围内的第一通信流量数据，以及在所述第一预设时间范围之前的第二预设时间范围内的第二电量变化数据，所述第一通信流量数据包括所述第一预设时间范围内的第一电量变化数据；
第一处理模块，用于基于预先训练好的自编码模型对所述第一通信流量数据进行处理，并获取处理后的第一通信流量数据和所述第一通信流量数据的第一误差；
第二处理模块，用于基于所述第二电量变化数据和预先训练好的用于预测电量变化数据的电量变化预测模型，得到预测第一电量变化数据，获取所述预测第一电量变化数据和所述第一电量变化数据的第二误差；
警报模块，用于在所述第一误差和所述第二误差满足预设条件时，确认所述第一通信流量数据异常。
9.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器连接；
所述存储器，用于存储程序；
所述处理器，用于调用存储于所述存储器中的程序，以执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被计算机运行时，执行如权利要求1-7中任一项所述的方法。
CN202111465176.0A 2021-12-03 2021-12-03 通信流量数据异常检测方法、装置、电子设备及存储介质 Active CN114157486B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111465176.0A CN114157486B (zh) 2021-12-03 2021-12-03 通信流量数据异常检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111465176.0A CN114157486B (zh) 2021-12-03 2021-12-03 通信流量数据异常检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114157486A CN114157486A (zh) 2022-03-08
CN114157486B true CN114157486B (zh) 2023-01-31

Family

ID=80455953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111465176.0A Active CN114157486B (zh) 2021-12-03 2021-12-03 通信流量数据异常检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114157486B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117354066A (zh) * 2023-12-06 2024-01-05 吉林省吉能电力通信有限公司 一种用于电力通信流量预测的异常数据处理系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7162550B2 (ja) * 2019-02-15 2022-10-28 オムロン株式会社 モデル生成装置、予測装置、モデル生成方法、及びモデル生成プログラム
CN111178523B (zh) * 2019-08-02 2023-06-06 腾讯科技（深圳）有限公司 一种行为检测方法、装置、电子设备及存储介质
EP3862927A1 (en) * 2020-02-05 2021-08-11 Another Brain Anomaly detector, method of anomaly detection and method of training an anomaly detector
CN112770112A (zh) * 2021-01-28 2021-05-07 卓望数码技术（深圳）有限公司 流量数据异常检测方法、装置、电子设备及存储介质
CN112839059B (zh) * 2021-02-22 2022-08-30 北京六方云信息技术有限公司 Web入侵检测自适应告警过滤处理方法、装置及电子设备
CN113284000B (zh) * 2021-04-08 2023-04-04 南方电网数字电网研究院有限公司 用户用电数据异常检测方法、装置、计算机设备
CN113284002A (zh) * 2021-04-09 2021-08-20 南方电网数字电网研究院有限公司 用电数据异常检测方法、装置、计算机设备和存储介质
CN113328908B (zh) * 2021-05-10 2022-07-26 广东电网有限责任公司广州供电局 异常数据的检测方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN114157486A (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
CN112162878B (zh) 数据库故障发现方法、装置、电子设备及存储介质
CN110569166A (zh) 异常检测方法、装置、电子设备及介质
CN108198408B (zh) 一种基于用电信息采集系统的自适应反窃电监控方法及系统
CN111176953B (zh) 一种异常检测及其模型训练方法、计算机设备和存储介质
CN113723716B (zh) 一种客流分级预警异常告警方法、设备及存储介质
CN113127305A (zh) 异常检测方法及装置
CN114356734A (zh) 服务异常检测方法和装置、设备、存储介质
CN114157486B (zh) 通信流量数据异常检测方法、装置、电子设备及存储介质
CN114333317B (zh) 一种交通事件的处理方法、装置、电子设备及存储介质
CN113282920B (zh) 日志异常检测方法、装置、计算机设备和存储介质
CN114511026A (zh) 一种故障诊断方法、装置、终端设备及存储介质
CN112380073B (zh) 一种故障位置的检测方法、装置及可读存储介质
CN113934536A (zh) 面向边缘计算的数据采集方法
CN115114124A (zh) 主机风险的评估方法及评估装置
CN117034149A (zh) 故障处理策略确定方法、装置、电子设备和存储介质
CN112882898A (zh) 基于大数据日志分析的异常检测方法、系统、设备及介质
CN111783883A (zh) 一种异常数据的检测方法及装置
CN114358581A (zh) 性能指标的异常阈值确定方法和装置、设备、存储介质
CN114331688A (zh) 一种银行柜面系统业务批量运行状态检测方法及装置
CN115278757A (zh) 一种检测异常数据的方法、装置及电子设备
CN114003466A (zh) 一种用于微服务应用程序的故障根因定位方法
CN113554090A (zh) 一种基于机器学习的银行设备故障预警方法及系统
CN111176931A (zh) 一种运营监控方法、装置、服务器及存储介质
CN111935279A (zh) 基于区块链和大数据的物联网络维护方法及计算节点
CN117785625A (zh) 服务器性能预测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant