CN113626502B - 基于集成学习的电网数据异常检测方法及装置 - Google Patents

基于集成学习的电网数据异常检测方法及装置 Download PDF

Info

Publication number
CN113626502B
CN113626502B CN202110929020.7A CN202110929020A CN113626502B CN 113626502 B CN113626502 B CN 113626502B CN 202110929020 A CN202110929020 A CN 202110929020A CN 113626502 B CN113626502 B CN 113626502B
Authority
CN
China
Prior art keywords
data
power grid
anomaly detection
model
target power
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110929020.7A
Other languages
English (en)
Other versions
CN113626502A (zh
Inventor
李鹏飞
段卫国
李伟鹏
陈迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Southern Power Grid Digital Platform Technology Guangdong Co ltd
Original Assignee
China Southern Power Grid Digital Platform Technology Guangdong Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Southern Power Grid Digital Platform Technology Guangdong Co ltd filed Critical China Southern Power Grid Digital Platform Technology Guangdong Co ltd
Priority to CN202110929020.7A priority Critical patent/CN113626502B/zh
Publication of CN113626502A publication Critical patent/CN113626502A/zh
Application granted granted Critical
Publication of CN113626502B publication Critical patent/CN113626502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Fuzzy Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Game Theory and Decision Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明公开了一种基于集成学习的电网数据异常检测方法及装置，其中该方法包括：获取目标电网指标数据，对所述目标电网指标数据进行预处理；提取所述目标电网指标数据中的时序数据特征；基于预设的集成学习异常检测模型，对所述目标电网指标数据中的时序数据特征进行异常检测，并得到异常检测结果；所述集成学习异常检测模型的基础模型中包括有统计学异常检测模型、数据距离异常检测模型和聚类异常检测模型中的至少一种。可见，本发明能够结合集成算法实现对电网指标数据的无监督异常检测，从而可以实现对宏观层面上的多种类型的电网指标数据进行异常监控，进而实现对电网企业运营活动中的各种异常模式进行合适全面的检测。

Description

基于集成学习的电网数据异常检测方法及装置
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于集成学习的电网数据异常检测方法及装置。
背景技术
随着电网信息化程度的提高，电网数据量也在日益增加，针对电网数据的异常分析任务也越来越重。目前针对电网的异常检测主要集中在运维监控领域，比如对网络流量异常、温度过高或过低等电网信息运维过程中常见的各类异常现象或故障问题。这类检测由于传统异常检测技术的限制，能检测的异常检测问题与时间因素密切相关，即异常在初期形成时可以在数据集中得以体现，且异常的发展是随着时间的累积而愈发明显，并不适用于突发类型异常的检测：如突然的环境因素或人为因素导致的设备功能异常或损坏等形成与发展特别迅速的故障等。同时，在企业运营经济活动领域，也就是宏观指标检测领域，却罕有针对电网运营指标的异常检测算法。而企业运营生产活动存在的异常模式与运维监控领域存在很大的差别，并且运维监控领域大多采用有监督方法，不适用于企业运营生产活动数据少，标签少的特点，因此无法对企业运营活动中的各种异常模式进行合适全面的检测。
发明内容
本发明所要解决的技术问题在于，提供一种基于集成学习的电网数据异常检测方法及装置，能够结合集成算法实现对电网指标数据的无监督异常检测，从而可以实现对宏观层面上的多种类型的电网指标数据进行异常监控，进而实现对电网企业运营活动中的各种异常模式进行合适全面的检测。
为了解决上述技术问题，本发明第一方面公开了一种基于集成学习的电网数据异常检测方法，所述方法包括：
获取目标电网指标数据，对所述目标电网指标数据进行预处理；
提取所述目标电网指标数据中的时序数据特征；
基于预设的集成学习异常检测模型，对所述目标电网指标数据中的时序数据特征进行异常检测，并得到异常检测结果；所述集成学习异常检测模型的基础模型中包括有统计学异常检测模型、数据距离异常检测模型和聚类异常检测模型中的至少一种。
作为一种可选的实施方式，在本发明第一方面中，所述获取目标电网指标数据之前，所述方法还包括：
检测电网数据是否有变化；
若检测到变化，执行所述获取目标电网指标数据的步骤；所述目标电网指标数据为所述电网数据在检测到变化的时刻之前预设时间区间内的数据。
作为一种可选的实施方式，在本发明第一方面中，所述提取所述目标电网指标数据中的时序数据特征，包括：
计算所述目标电网指标数据中任一时间点的数据与邻近时间点的数据之间的数据差；
将多个所述时间点的数据的所述数据差确定为所述目标电网指标数据中的时序数据特征。
作为一种可选的实施方式，在本发明第一方面中，所述提取所述目标电网指标数据中的时序数据特征，包括：
根据预测算法，预测所述目标电网指标数据中任一时间点的数据预测值；
计算所述数据预测值数据和所述时间点对应的实际数据值之间的数据差；
将多个所述时间点的数据的所述数据差确定为所述目标电网指标数据中的时序数据特征。
作为一种可选的实施方式，在本发明第一方面中，所述提取所述目标电网指标数据中的时序数据特征，包括：
对所述目标电网指标数据中的时序数据进行时域-频域转换得到频域数据；
对所述频域数据中的噪声数据进行提取并进行逆转换，确定为所述目标电网指标数据中的时序数据特征。
作为一种可选的实施方式，在本发明第一方面中，所述集成学习异常检测模型，包括：
所述基础模型；
集成学习算法模型，通过使用所述基础模型的输出结果进行二次集成训练得到；
可视化算法模型，用于对所述集成学习异常检测模型进行可视化展示。
作为一种可选的实施方式，在本发明第一方面中，所述集成学习算法模型为孤立森林算法模型，所述可视化算法模型为echart算法模型。
作为一种可选的实施方式，在本发明第一方面中，所述统计学异常检测模型包括正态分布异常检测模型和/或高斯核密度异常检测模型；所述数据距离异常检测模型为LOF算法模型；所述聚类异常检测模型为DBScan算法模型。
本发明第二方面公开了一种基于集成学习的电网数据异常检测装置，其包括：
获取处理模块，用于获取目标电网指标数据，对所述目标电网指标数据进行预处理；
特征提取模块，用于提取所述目标电网指标数据中的时序数据特征；
异常检测模块，用于基于预设的集成学习异常检测模型，对所述目标电网指标数据中的时序数据特征进行异常检测，并得到异常检测结果；所述集成学习异常检测模型的基础模型中包括有统计学异常检测模型、数据距离异常检测模型和聚类异常检测模型中的至少一种。
作为一种可选的实施方式，在本发明第二方面中，所述装置还包括检测模块，用于检测电网数据是否有变化，若检测到变化，则触发所述获取处理模型执行所述获取目标电网指标数据的步骤；所述目标电网指标数据为所述电网数据在检测到变化的时刻之前预设时间区间内的数据。
作为一种可选的实施方式，在本发明第二方面中，所述特征提取模块提取所述目标电网指标数据中的时序数据特征的具体方式，包括：
计算所述目标电网指标数据中任一时间点的数据与邻近时间点的数据之间的数据差；
将多个所述时间点的数据的所述数据差确定为所述目标电网指标数据中的时序数据特征。
作为一种可选的实施方式，在本发明第二方面中，所述特征提取模块提取所述目标电网指标数据中的时序数据特征的具体方式，包括：
根据预测算法，预测所述目标电网指标数据中任一时间点的数据预测值；
计算所述数据预测值数据和所述时间点对应的实际数据值之间的数据差；
将多个所述时间点的数据的所述数据差确定为所述目标电网指标数据中的时序数据特征。
作为一种可选的实施方式，在本发明第二方面中，所述特征提取模块提取所述目标电网指标数据中的时序数据特征的具体方式，包括：
对所述目标电网指标数据中的时序数据进行时域-频域转换得到频域数据；
对所述频域数据中的噪声数据进行提取并进行逆转换，确定为所述目标电网指标数据中的时序数据特征。
作为一种可选的实施方式，在本发明第二方面中，所述集成学习异常检测模型，包括：
所述基础模型；
集成学习算法模型，通过使用所述基础模型的输出结果进行二次集成训练得到；
可视化算法模型，用于对所述集成学习异常检测模型进行可视化展示。
作为一种可选的实施方式，在本发明第二方面中，所述集成学习算法模型为孤立森林算法模型，所述可视化算法模型为echart算法模型。
作为一种可选的实施方式，在本发明第二方面中，所述统计学异常检测模型包括正态分布异常检测模型和/或高斯核密度异常检测模型；所述数据距离异常检测模型为LOF算法模型；所述聚类异常检测模型为DBScan算法模型。
本发明第三方面公开了另一种基于集成学习的电网数据异常检测装置，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的基于集成学习的电网数据异常检测方法中的部分或全部步骤。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例中，获取目标电网指标数据，对所述目标电网指标数据进行预处理；提取所述目标电网指标数据中的时序数据特征；基于预设的集成学习异常检测模型，对所述目标电网指标数据中的时序数据特征进行异常检测，并得到异常检测结果；所述集成学习异常检测模型的基础模型中包括有统计学异常检测模型、数据距离异常检测模型和聚类异常检测模型中的至少一种。可见，本发明能够结合集成算法实现对电网指标数据的无监督异常检测，从而可以实现对宏观层面上的多种类型的电网指标数据进行异常监控，进而实现对电网企业运营活动中的各种异常模式进行合适全面的检测。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种基于集成学习的电网数据异常检测方法的流程示意图；
图2是本发明实施例公开的一种基于集成学习的电网数据异常检测装置的结构示意图；
图3是本发明实施例公开的另一种基于集成学习的电网数据异常检测装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或端没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明公开了一种基于集成学习的电网数据异常检测方法及装置，能够结合集成算法实现对电网指标数据的无监督异常检测，从而可以实现对宏观层面上的多种类型的电网指标数据进行异常监控，进而实现对电网企业运营活动中的各种异常模式进行合适全面的检测。以下分别进行详细说明。
实施例一
请参阅图1，图1是本发明实施例公开的一种基于集成学习的电网数据异常检测方法的流程示意图。其中，图1所描述的方法可以应用于相应的检测终端、检测设备或检测服务器中，且该服务器可以是本地服务器，也可以是云服务器。如图1所示，该基于集成学习的电网数据异常检测方法可以包括以下操作：
101、获取目标电网指标数据，对目标电网指标数据进行预处理；
102、提取目标电网指标数据中的时序数据特征；
103、基于预设的集成学习异常检测模型，对目标电网指标数据中的时序数据特征进行异常检测，并得到异常检测结果。
本发明实施例中，集成学习异常检测模型的基础模型中包括有统计学异常检测模型、数据距离异常检测模型和聚类异常检测模型中的至少一种。
可见，实施本发明实施例所描述的方法能够结合集成算法实现对电网指标数据的无监督异常检测，从而可以实现对宏观层面上的多种类型的电网指标数据进行异常监控，进而实现对电网企业运营活动中的各种异常模式进行合适全面的检测。
作为一种可选的实施方式，上述步骤101之前，该方法还包括：
检测电网数据是否有变化；
若检测到变化，执行步骤101中的获取目标电网指标数据的步骤。
其中，目标电网指标数据为电网数据在检测到变化的时刻之前预设时间区间内的数据。可选的，可以提取电网数据在检测到变化的时刻前N天的数据作为目标电网指标数据。
作为一种可选的实施方式，上述步骤102中的，提取目标电网指标数据中的时序数据特征，包括：
计算目标电网指标数据中任一时间点的数据与邻近时间点的数据之间的数据差；
将多个时间点的数据的数据差确定为目标电网指标数据中的时序数据特征。
可选的，可以基于数值分析方式进行时序序列特征提取，进行特定需求的特征提取，例如对各个时间点的数据临近左右时间窗口的中位数做差来检测数值变档，和/或，对各个时间点的数据临近左右时间窗口的标准差做差来检测数值波动异常。
作为一种可选的实施方式，上述步骤102中的，提取目标电网指标数据中的时序数据特征，包括：
根据预测算法，预测目标电网指标数据中任一时间点的数据预测值；
计算数据预测值数据和时间点对应的实际数据值之间的数据差；
将多个时间点的数据的数据差确定为目标电网指标数据中的时序数据特征。
可选的，可以基于时序预测方式进行时序序列特征提取，利用趋势周期分解预测，根据业务知识预测和相关机器学习预测模型进行预测，将预测值与真实值的差视为时序数据特征。
作为一种可选的实施方式，上述步骤102中的，提取目标电网指标数据中的时序数据特征，包括：
对目标电网指标数据中的时序数据进行时域-频域转换得到频域数据；
对频域数据中的噪声数据进行提取并进行逆转换，确定为目标电网指标数据中的时序数据特征。
可选的，可以基于信息处理方式进行时序序列特征提取，将目标电网指标数据的时序数据视为波段，利用傅里叶转换、离散小波转换和拉普拉斯转换中的一种或多种算法，将时序数据进行转换，提取噪声后进行逆转换，其结果视为时序数据特征。
作为一种可选的实施方式，集成学习异常检测模型，包括：
基础模型；
集成学习算法模型，通过使用基础模型的输出结果进行二次集成训练得到；
可视化算法模型，用于对集成学习异常检测模型进行可视化展示。
可选的，基础模型中包括有统计学异常检测模型、数据距离异常检测模型和聚类异常检测模型，其中，统计学异常检测模型包括正态分布异常检测模型和/或高斯核密度异常检测模型；数据距离异常检测模型为LOF算法模型；聚类异常检测模型为DBScan算法模型，集成学习算法模型为孤立森林算法模型，可视化算法模型为echart算法模型。
具体的，统计学异常检测模型通过估计概率分布的参数来建立一个数据模型，如果一个数据对象不能很好的跟该模型拟合，即如果它很可能不服从该分布，则它是一个离群点。统计学方法是基于模型的方法，即为数据创建一个模型，并且根据对象拟合模型的情况来评估它们。如果一个数据对象不能很好的跟该模型拟合，即如果它很可能不服从该分布，则它是一个离群点。可选的，统计学异常检测模型的计算方式可以包括：
1、3倍四分位差：正态分布是统计学中最常用的分布之一。N(0,1)的数据对象出现在该分布的两边尾部的机会很小，因此可以用它作为检测数据对象是否是离群点的基础。数据对象落在三倍标准差中心区域之外的概率仅有0.0027，因此超过三倍标准差的数据对象可以视为离群点。
2、高斯核密度估计：用来估计未知的密度函数，属于非参数检验方法之一。利用高斯核对单指标数据进行概率密度估计，之后视概率密度过低的数据点为异常点。具体的，所有平滑的峰值函数均可作为核密度估计的核函数来使用，只要对归一化后的核密度估计而言(描绘在图上的是数据点出现的概率值)，该函数曲线下方的面积和等于1即可。只有一个数据点时，单个波峰下方的面积为1，存在多个数据点时，所有波峰下方的面积之和为1。概而言之，函数曲线需囊括所有可能出现的数据值的情况
具体的，LOF算法模型是基于距离的经典算法。通过对相邻点的平均距离进行计算，可以理解其倒数为密度，密度越高，我们认为越可能属于同一簇，密度越低，越可能是离群点。如果和周围邻域点是同一簇，那么可达距离越可能为较小的，导致可达距离之和较小，密度值较高；如果和周围邻居点较远，则导致密度比较小，越可能为离散点。具体的，一个对象是异常的，如果它远离大部分点。这种方法比统计学方法更一般、更容易使用，因为确定数据集的有意义的邻近性度量比确定它的统计分布更容易。一个对象的离群点得分由到它的k-最近邻的距离给定。离群点得分对k的取值高度敏感。为了使该方案对于k的选取更具有鲁棒性，可以使用k个最近邻的平均距离。
具体的，DBScan算法模型是基于密度的经典算法。为了正确的识别这种数据集中的离群点，我们需要与对象邻域相关的密度概念，也就是定义相对密度。从基于密度的观点来说，离群点是在低密度区域中的对象。一个对象的离群点得分是该对象周围密度的逆。基于密度的离群点检测与基于邻近度的离群点检测密切相关，因为密度通常用邻近度定义。一种常用的定义密度的方法是，定义密度为到k个最近邻的平均距离的倒数。如果该距离小，则密度高，反之亦然。另一种密度定义是使用DBSCAN聚类算法使用的密度定义，即一个对象周围的密度等于该对象指定距离d内对象的个数。需要小心的选择d，如果d太小，则许多正常点可能具有低密度，从而具有高离群点得分。如果d太大，则许多离群点可能具有与正常点类似的密度(和离群点得分)。使用任何密度定义检测离群点具有与基于邻近度的离群点方案类似的特点和局限性。特殊地，当数据包含不同密度的区域时，它们不能正确的识别离群点。
具体的，孤立森林算法模型，其思想为，异常数据跟其他数据点较为疏离，可能需要较少几次切分就可以将它们单独划分出来，而正常数据恰恰相反。孤立森林算法模型采用二叉树去对数据进行切分，数据点在二叉树中所处的深度反应了该条数据的“疏离”程度。整个算法大致可以分为两步：训练：抽取多个样本，构建多棵二叉树；预测：综合多棵二叉树的结果，计算每个数据点的异常分值。本方案中，集成学习异常检测模型采用Stacking算法模型，其是一种模型融合算法，基本思路是通过一个模型融合若干单模型的预测结果，目的是降低单模型的泛化误差。上述各个基础模型可以称作一级模型，而孤立森林算法模型可以称作二级模型。Stacking算法模型先从初始的训练集训练出上述若干一级模型，然后把一级模型的输出结果作为样本特征进行整合，并把原始样本标记作为新数据样本标记，生成新的训练集。再根据新训练集训练一个二级模型，最后用二级模型对样本进行预测。
本发明实施例中公开的基于集成学习的电网数据异常检测方法，可以对历史的全部指标数据进行批量的异常检测，也可以对每天产生的指标数据进行增量的异常检测。其有益效果包括：
1.集成，准确率高，查全率高，覆盖率高
采用集成学习框架，很好地解决了单模型检测能力弱的问题。多种方法探测同种异常类型，减少了单模型预测出错的可能性，同时采用智能分类器的方式，更好地集成这些异常算法，提高了准确率。
很好地解决了检测不同异常类型的模型群的融合问题，stacking集成框架学习不同种异常模型之间的关联关系，输出异常结论，可以同时检测多种不同种类的异常，大大提升了框架整体的异常查全率和覆盖率。
2.针对电网指标
针对电网运营管控指标的各种特殊特性，周期性，影响因素，对异常检测算法进行对应的改进，使得在电网运管领域的异常检测更加精准，更加稳健。
3.可扩展性强
设计了可扩展的异常检测框架，使得后期出现新型异常后，通过多种方式可以简单集成新型的异常检测方法，而不需要对其他原有的检测模型或是检测器进行改动。
实施例二
请参阅图2，图2是本发明实施例公开的一种基于集成学习的电网数据异常检测装置的结构示意图。其中，图2所描述的装置可以应用于相应的检测终端、检测设备或检测服务器，且该服务器可以是本地服务器，也可以是云服务器，本发明实施例不做限定。如图2所示，该装置可以包括：
获取处理模块201，用于获取目标电网指标数据，对目标电网指标数据进行预处理；
特征提取模块202，用于提取目标电网指标数据中的时序数据特征；
异常检测模块203，用于基于预设的集成学习异常检测模型，对目标电网指标数据中的时序数据特征进行异常检测，并得到异常检测结果。
本发明实施例中，集成学习异常检测模型的基础模型中包括有统计学异常检测模型、数据距离异常检测模型和聚类异常检测模型中的至少一种。
可见，实施本发明实施例所描述的装置能够结合集成算法实现对电网指标数据的无监督异常检测，从而可以实现对宏观层面上的多种类型的电网指标数据进行异常监控，进而实现对电网企业运营活动中的各种异常模式进行合适全面的检测。
作为一种可选的实施方式，该装置还包括检测模块，用于检测电网数据是否有变化，若检测到变化，则触发获取目标电网指标数据的步骤。
其中，目标电网指标数据为电网数据在检测到变化的时刻之前预设时间区间内的数据。可选的，可以提取电网数据在检测到变化的时刻前N天的数据作为目标电网指标数据。
作为一种可选的实施方式，特征提取模块202提取目标电网指标数据中的时序数据特征的具体方式，包括：
计算目标电网指标数据中任一时间点的数据与邻近时间点的数据之间的数据差；
将多个时间点的数据的数据差确定为目标电网指标数据中的时序数据特征。
可选的，可以基于数值分析方式进行时序序列特征提取，进行特定需求的特征提取，例如对各个时间点的数据临近左右时间窗口的中位数做差来检测数值变档，和/或，对各个时间点的数据临近左右时间窗口的标准差做差来检测数值波动异常。
作为一种可选的实施方式，特征提取模块202提取目标电网指标数据中的时序数据特征的具体方式，包括：
根据预测算法，预测目标电网指标数据中任一时间点的数据预测值；
计算数据预测值数据和时间点对应的实际数据值之间的数据差；
将多个时间点的数据的数据差确定为目标电网指标数据中的时序数据特征。
可选的，可以基于时序预测方式进行时序序列特征提取，利用趋势周期分解预测，根据业务知识预测和相关机器学习预测模型进行预测，将预测值与真实值的差视为时序数据特征。
作为一种可选的实施方式，特征提取模块202提取目标电网指标数据中的时序数据特征的具体方式，包括：
对目标电网指标数据中的时序数据进行时域-频域转换得到频域数据；
对频域数据中的噪声数据进行提取并进行逆转换，确定为目标电网指标数据中的时序数据特征。
可选的，可以基于信息处理方式进行时序序列特征提取，将目标电网指标数据的时序数据视为波段，利用傅里叶转换、离散小波转换和拉普拉斯转换中的一种或多种算法，将时序数据进行转换，提取噪声后进行逆转换，其结果视为时序数据特征。
作为一种可选的实施方式，集成学习异常检测模型，包括：
基础模型；
集成学习算法模型，通过使用基础模型的输出结果进行二次集成训练得到；
可视化算法模型，用于对集成学习异常检测模型进行可视化展示。
可选的，基础模型中包括有统计学异常检测模型、数据距离异常检测模型和聚类异常检测模型，其中，统计学异常检测模型包括正态分布异常检测模型和/或高斯核密度异常检测模型；数据距离异常检测模型为LOF算法模型；聚类异常检测模型为DBScan算法模型，集成学习算法模型为孤立森林算法模型，可视化算法模型为echart算法模型。
具体的，统计学异常检测模型通过估计概率分布的参数来建立一个数据模型，如果一个数据对象不能很好的跟该模型拟合，即如果它很可能不服从该分布，则它是一个离群点。统计学方法是基于模型的方法，即为数据创建一个模型，并且根据对象拟合模型的情况来评估它们。如果一个数据对象不能很好的跟该模型拟合，即如果它很可能不服从该分布，则它是一个离群点。可选的，统计学异常检测模型的计算方式可以包括：
1、3倍四分位差：正态分布是统计学中最常用的分布之一。N(0,1)的数据对象出现在该分布的两边尾部的机会很小，因此可以用它作为检测数据对象是否是离群点的基础。数据对象落在三倍标准差中心区域之外的概率仅有0.0027，因此超过三倍标准差的数据对象可以视为离群点。
2、高斯核密度估计：用来估计未知的密度函数，属于非参数检验方法之一。利用高斯核对单指标数据进行概率密度估计，之后视概率密度过低的数据点为异常点。具体的，所有平滑的峰值函数均可作为核密度估计的核函数来使用，只要对归一化后的核密度估计而言(描绘在图上的是数据点出现的概率值)，该函数曲线下方的面积和等于1即可。只有一个数据点时，单个波峰下方的面积为1，存在多个数据点时，所有波峰下方的面积之和为1。概而言之，函数曲线需囊括所有可能出现的数据值的情况
具体的，LOF算法模型是基于距离的经典算法。通过对相邻点的平均距离进行计算，可以理解其倒数为密度，密度越高，我们认为越可能属于同一簇，密度越低，越可能是离群点。如果和周围邻域点是同一簇，那么可达距离越可能为较小的，导致可达距离之和较小，密度值较高；如果和周围邻居点较远，则导致密度比较小，越可能为离散点。具体的，一个对象是异常的，如果它远离大部分点。这种方法比统计学方法更一般、更容易使用，因为确定数据集的有意义的邻近性度量比确定它的统计分布更容易。一个对象的离群点得分由到它的k-最近邻的距离给定。离群点得分对k的取值高度敏感。为了使该方案对于k的选取更具有鲁棒性，可以使用k个最近邻的平均距离。
具体的，DBScan算法模型是基于密度的经典算法。为了正确的识别这种数据集中的离群点，我们需要与对象邻域相关的密度概念，也就是定义相对密度。从基于密度的观点来说，离群点是在低密度区域中的对象。一个对象的离群点得分是该对象周围密度的逆。基于密度的离群点检测与基于邻近度的离群点检测密切相关，因为密度通常用邻近度定义。一种常用的定义密度的方法是，定义密度为到k个最近邻的平均距离的倒数。如果该距离小，则密度高，反之亦然。另一种密度定义是使用DBSCAN聚类算法使用的密度定义，即一个对象周围的密度等于该对象指定距离d内对象的个数。需要小心的选择d，如果d太小，则许多正常点可能具有低密度，从而具有高离群点得分。如果d太大，则许多离群点可能具有与正常点类似的密度(和离群点得分)。使用任何密度定义检测离群点具有与基于邻近度的离群点方案类似的特点和局限性。特殊地，当数据包含不同密度的区域时，它们不能正确的识别离群点。
具体的，孤立森林算法模型，其思想为，异常数据跟其他数据点较为疏离，可能需要较少几次切分就可以将它们单独划分出来，而正常数据恰恰相反。孤立森林算法模型采用二叉树去对数据进行切分，数据点在二叉树中所处的深度反应了该条数据的“疏离”程度。整个算法大致可以分为两步：训练：抽取多个样本，构建多棵二叉树；预测：综合多棵二叉树的结果，计算每个数据点的异常分值。本方案中，集成学习异常检测模型采用Stacking算法模型，其是一种模型融合算法，基本思路是通过一个模型融合若干单模型的预测结果，目的是降低单模型的泛化误差。上述各个基础模型可以称作一级模型，而孤立森林算法模型可以称作二级模型。Stacking算法模型先从初始的训练集训练出上述若干一级模型，然后把一级模型的输出结果作为样本特征进行整合，并把原始样本标记作为新数据样本标记，生成新的训练集。再根据新训练集训练一个二级模型，最后用二级模型对样本进行预测。
本发明实施例中公开的基于集成学习的电网数据异常检测装置，可以对历史的全部指标数据进行批量的异常检测，也可以对每天产生的指标数据进行增量的异常检测。其有益效果包括：
1.集成，准确率高，查全率高，覆盖率高
采用集成学习框架，很好地解决了单模型检测能力弱的问题。多种方法探测同种异常类型，减少了单模型预测出错的可能性，同时采用智能分类器的方式，更好地集成这些异常算法，提高了准确率。
很好地解决了检测不同异常类型的模型群的融合问题，stacking集成框架学习不同种异常模型之间的关联关系，输出异常结论，可以同时检测多种不同种类的异常，大大提升了框架整体的异常查全率和覆盖率。
2.针对电网指标
针对电网运营管控指标的各种特殊特性，周期性，影响因素，对异常检测算法进行对应的改进，使得在电网运管领域的异常检测更加精准，更加稳健。
3.可扩展性强
设计了可扩展的异常检测框架，使得后期出现新型异常后，通过多种方式可以简单集成新型的异常检测方法，而不需要对其他原有的检测模型或是检测器进行改动。
实施例三
请参阅图3，图3是本发明实施例公开的又一种基于集成学习的电网数据异常检测装置的结构示意图。如图3所示，该装置可以包括：
存储有可执行程序代码的存储器301；
与存储器301耦合的处理器302；
处理器302调用存储器301中存储的可执行程序代码，执行本发明实施例一公开的基于集成学习的电网数据异常检测方法中的部分或全部步骤。
实施例四
本发明实施例公开了一种计算机存储介质，该计算机存储介质存储有计算机指令，该计算机指令被调用时，用于执行本发明实施例一公开的基于集成学习的电网数据异常检测方法中的部分或全部步骤。
以上所描述的装置实施例仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是：本发明实施例公开的一种基于集成学习的电网数据异常检测方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

Claims (4)

1.一种基于集成学习的电网数据异常检测方法，其特征在于，所述方法包括：
获取目标电网指标数据，对所述目标电网指标数据进行预处理；
提取所述目标电网指标数据中的时序数据特征；
基于预设的集成学习异常检测模型，对所述目标电网指标数据中的时序数据特征进行异常检测，并得到异常检测结果；所述集成学习异常检测模型的基础模型中包括有统计学异常检测模型、数据距离异常检测模型和聚类异常检测模型中的至少一种;
所述提取所述目标电网指标数据中的时序数据特征，包括：
计算所述目标电网指标数据中任一时间点的数据与邻近时间点的数据之间的数据差；
将多个所述时间点的数据的所述数据差确定为所述目标电网指标数据中的时序数据特征；
基于数值分析方式进行时序序列特征提取，并进行特定需求的所述时序序列的特征提取，对各个时间点的数据临近左右时间窗口的中位数做差来检测数值变档，和/或，对各个时间点的数据临近左右时间窗口的标准差做差来检测数值波动异常；和/或，
所述提取所述目标电网指标数据中的时序数据特征，包括：
根据预测算法，预测所述目标电网指标数据中任一时间点的数据预测值；
计算所述数据预测值数据和所述时间点对应的实际数据值之间的数据差；
将多个所述时间点的数据的所述数据差确定为所述目标电网指标数据中的时序数据特征；
基于时序预测方式进行时序序列特征提取，利用趋势周期分解预测，根据业务知识预测和相关机器学习预测模型进行预测，将预测值与真实值的差视为时序数据特征；
所述集成学习异常检测模型，包括：
所述基础模型；
集成学习算法模型，通过使用所述基础模型的输出结果进行二次集成训练得到；
可视化算法模型，用于对所述集成学习异常检测模型进行可视化展示；
所述基础模型中包括有统计学异常检测模型、数据距离异常检测模型和聚类异常检测模型，其中，所述统计学异常检测模型包括正态分布异常检测模型和/或高斯核密度异常检测模型；所述数据距离异常检测模型为LOF算法模型；所述聚类异常检测模型为DBScan算法模型，所述集成学习算法模型为孤立森林算法模型，所述可视化算法模型为echart算法模型。
2.根据权利要求1所述的基于集成学习的电网数据异常检测方法，其特征在于，所述获取目标电网指标数据之前，所述方法还包括：
检测电网数据是否有变化；
若检测到变化，执行所述获取目标电网指标数据的步骤；所述目标电网指标数据为所述电网数据在检测到变化的时刻之前预设时间区间内的数据。
3.一种基于集成学习的电网数据异常检测装置，其特征在于，所述装置包括：
获取处理模块，用于获取目标电网指标数据，对所述目标电网指标数据进行预处理；
特征提取模块，用于提取所述目标电网指标数据中的时序数据特征；
异常检测模块，用于基于预设的集成学习异常检测模型，对所述目标电网指标数据中的时序数据特征进行异常检测，并得到异常检测结果；所述集成学习异常检测模型的基础模型中包括有统计学异常检测模型、数据距离异常检测模型和聚类异常检测模型中的至少一种；
所述提取模块提取所述目标电网指标数据中的时序数据特征的具体方式为：
计算所述目标电网指标数据中任一时间点的数据与邻近时间点的数据之间的数据差；
将多个所述时间点的数据的所述数据差确定为所述目标电网指标数据中的时序数据特征；
基于数值分析方式进行时序序列特征提取，并进行特定需求的所述时序序列的特征提取，对各个时间点的数据临近左右时间窗口的中位数做差来检测数值变档，和/或，对各个时间点的数据临近左右时间窗口的标准差做差来检测数值波动异常；和/或，
所述提取模块提取所述目标电网指标数据中的时序数据特征的具体方式为：
根据预测算法，预测所述目标电网指标数据中任一时间点的数据预测值；
计算所述数据预测值数据和所述时间点对应的实际数据值之间的数据差；
将多个所述时间点的数据的所述数据差确定为所述目标电网指标数据中的时序数据特征；
基于时序预测方式进行时序序列特征提取，利用趋势周期分解预测，根据业务知识预测和相关机器学习预测模型进行预测，将预测值与真实值的差视为时序数据特征；
所述集成学习异常检测模型，包括：
所述基础模型；
集成学习算法模型，通过使用所述基础模型的输出结果进行二次集成训练得到；
可视化算法模型，用于对所述集成学习异常检测模型进行可视化展示；
所述基础模型中包括有统计学异常检测模型、数据距离异常检测模型和聚类异常检测模型，其中，所述统计学异常检测模型包括正态分布异常检测模型和/或高斯核密度异常检测模型；所述数据距离异常检测模型为LOF算法模型；所述聚类异常检测模型为DBScan算法模型，所述集成学习算法模型为孤立森林算法模型，所述可视化算法模型为echart算法模型。
4.一种基于集成学习的电网数据异常检测装置，其特征在于，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-2任一项所述的基于集成学习的电网数据异常检测方法。
CN202110929020.7A 2021-08-13 2021-08-13 基于集成学习的电网数据异常检测方法及装置 Active CN113626502B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110929020.7A CN113626502B (zh) 2021-08-13 2021-08-13 基于集成学习的电网数据异常检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110929020.7A CN113626502B (zh) 2021-08-13 2021-08-13 基于集成学习的电网数据异常检测方法及装置

Publications (2)

Publication Number Publication Date
CN113626502A CN113626502A (zh) 2021-11-09
CN113626502B true CN113626502B (zh) 2024-05-14

Family

ID=78385242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110929020.7A Active CN113626502B (zh) 2021-08-13 2021-08-13 基于集成学习的电网数据异常检测方法及装置

Country Status (1)

Country Link
CN (1) CN113626502B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114331761B (zh) * 2022-03-15 2022-07-08 浙江万胜智能科技股份有限公司 一种专变采集终端的设备参数分析调整方法及系统
CN114417940A (zh) * 2022-03-25 2022-04-29 阿里巴巴（中国）有限公司 检测数据中心的设备、获得设备检测模型的方法及装置
EP4273564A1 (en) * 2022-05-02 2023-11-08 Siemens Aktiengesellschaft Apparatus, system and method for detecting anomalies in a grid
CN115510302B (zh) * 2022-11-16 2023-04-07 西北工业大学 基于大数据统计的智能工厂数据分类方法
CN117951616B (zh) * 2024-03-27 2024-05-28 山东海纳智能装备科技股份有限公司 一种局部通风机智能运维分析方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120041575A1 (en) * 2009-02-17 2012-02-16 Hitachi, Ltd. Anomaly Detection Method and Anomaly Detection System
US20170024649A1 (en) * 2015-07-24 2017-01-26 General Electric Company Anomaly detection system and method for industrial asset
CN107257351A (zh) * 2017-07-28 2017-10-17 广东电网有限责任公司云浮供电局 一种基于灰色lof流量异常检测系统及其检测方法
CA2990262A1 (en) * 2017-05-05 2018-11-05 Servicenow, Inc. Systems and methods for anomaly detection
CN109242041A (zh) * 2018-09-28 2019-01-18 南方电网科学研究院有限责任公司 一种电能表异常数据检测方法、装置、设备及存储介质
CN109684118A (zh) * 2018-12-10 2019-04-26 深圳前海微众银行股份有限公司 异常数据的检测方法、装置、设备及计算机可读存储介质
CN110377447A (zh) * 2019-07-17 2019-10-25 腾讯科技（深圳）有限公司 一种异常数据检测方法、装置及服务器
CN111177224A (zh) * 2019-12-30 2020-05-19 浙江大学 一种基于条件式规整化流模型的时间序列无监督异常检测方法
CN111352971A (zh) * 2020-02-28 2020-06-30 中国工商银行股份有限公司 银行系统监控数据异常检测方法及系统
CN111913849A (zh) * 2020-07-29 2020-11-10 厦门大学 一种用于运维数据的无监督异常检测和鲁棒趋势预测方法
CN111931868A (zh) * 2020-09-24 2020-11-13 常州微亿智造科技有限公司 时间序列数据异常检测方法和装置
CN112070109A (zh) * 2020-07-21 2020-12-11 广东工业大学 一种基于改进密度峰值聚类的马蹄窑能耗异常检测方法
CN112966016A (zh) * 2021-03-01 2021-06-15 北京青萌数海科技有限公司 一种异常检测方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120041575A1 (en) * 2009-02-17 2012-02-16 Hitachi, Ltd. Anomaly Detection Method and Anomaly Detection System
US20170024649A1 (en) * 2015-07-24 2017-01-26 General Electric Company Anomaly detection system and method for industrial asset
CA2990262A1 (en) * 2017-05-05 2018-11-05 Servicenow, Inc. Systems and methods for anomaly detection
CN107257351A (zh) * 2017-07-28 2017-10-17 广东电网有限责任公司云浮供电局 一种基于灰色lof流量异常检测系统及其检测方法
CN109242041A (zh) * 2018-09-28 2019-01-18 南方电网科学研究院有限责任公司 一种电能表异常数据检测方法、装置、设备及存储介质
CN109684118A (zh) * 2018-12-10 2019-04-26 深圳前海微众银行股份有限公司 异常数据的检测方法、装置、设备及计算机可读存储介质
CN110377447A (zh) * 2019-07-17 2019-10-25 腾讯科技（深圳）有限公司 一种异常数据检测方法、装置及服务器
CN111177224A (zh) * 2019-12-30 2020-05-19 浙江大学 一种基于条件式规整化流模型的时间序列无监督异常检测方法
CN111352971A (zh) * 2020-02-28 2020-06-30 中国工商银行股份有限公司 银行系统监控数据异常检测方法及系统
CN112070109A (zh) * 2020-07-21 2020-12-11 广东工业大学 一种基于改进密度峰值聚类的马蹄窑能耗异常检测方法
CN111913849A (zh) * 2020-07-29 2020-11-10 厦门大学 一种用于运维数据的无监督异常检测和鲁棒趋势预测方法
CN111931868A (zh) * 2020-09-24 2020-11-13 常州微亿智造科技有限公司 时间序列数据异常检测方法和装置
CN112966016A (zh) * 2021-03-01 2021-06-15 北京青萌数海科技有限公司 一种异常检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于DBSCAN的时序数据异常检测阈值选择算法研究;刘峰麟;殷铭;袁平;;现代计算机;20200205(第04期);全文 *
基于Isolation Forest和Random Forest相结合的智能电网时间序列数据异常检测算法;杨永娇;肖建毅;赵创业;周开东;;计算机与现代化;20200315(第03期);全文 *

Also Published As

Publication number Publication date
CN113626502A (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
CN113626502B (zh) 基于集成学习的电网数据异常检测方法及装置
KR102274389B1 (ko) 센서 데이터를 이용한 이상패턴 탐지 모델 구축 방법 및 이를 이용한 이상 탐지 장치 및 방법
CN115578015B (zh) 基于物联网的污水处理全过程监管方法、系统及存储介质
AU2017274576B2 (en) Classification of log data
CN110444011B (zh) 交通流高峰识别方法、装置、电子设备及存储介质
US11775375B2 (en) Automated incident detection and root cause analysis
Sebestyen et al. A taxonomy and platform for anomaly detection
CN115454778A (zh) 大规模云网络环境下的时序指标异常智能监控系统
US11043289B2 (en) Monitoring, predicting and alerting for census periods in medical inpatient units
CN115659411A (zh) 数据分析的方法和装置
CN116992376A (zh) 用于检测电网中的异常的装置、系统和方法
Kawoosa et al. Using machine learning ensemble method for detection of energy theft in smart meters
WO2020026442A1 (en) Event monitoring apparatus, method and program recording medium
CN113835947B (zh) 一种基于异常识别结果确定异常原因的方法和系统
CN117094184A (zh) 基于内网平台的风险预测模型的建模方法、系统及介质
CN113377630B (zh) 一种通用的kpi异常检测框架实现方法
JP6207405B2 (ja) データ処理装置
CN116470485A (zh) 时间序列的处理系统、方法和计算机可读存储介质
KR20240021641A (ko) 화학공정의 기저원인 분석 및 이를 이용한 수율 예측 모델링 방법
CN115858606A (zh) 时序数据的异常检测方法、装置、设备及存储介质
Febriansyah et al. Outlier detection and decision tree for wireless sensor network fault diagnosis
CN113887640A (zh) 物联网卡时序异常检测方法及装置
CN111931798B (zh) 进行冷头状态分类检测和寿命预测的方法
CN114039837A (zh) 告警数据处理方法、装置、系统、设备和存储介质
CN114971110A (zh) 一种根因组合确定的方法、相关装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Country or region after: China

Address after: 518053 501, 502, 601 and 602, building D, wisdom Plaza, Qiaoxiang Road, Gaofa community, Shahe street, Nanshan District, Shenzhen, Guangdong

Applicant after: China Southern Power Grid Digital Platform Technology (Guangdong) Co.,Ltd.

Address before: 518053 501, 502, 601 and 602, building D, wisdom Plaza, Qiaoxiang Road, Gaofa community, Shahe street, Nanshan District, Shenzhen, Guangdong

Applicant before: China Southern Power Grid Shenzhen Digital Power Grid Research Institute Co.,Ltd.

Country or region before: China

GR01 Patent grant
GR01 Patent grant