CN105354623A - 一种面向电网时空数据的异常检测优化方法 - Google Patents
一种面向电网时空数据的异常检测优化方法 Download PDFInfo
- Publication number
- CN105354623A CN105354623A CN201510640844.7A CN201510640844A CN105354623A CN 105354623 A CN105354623 A CN 105354623A CN 201510640844 A CN201510640844 A CN 201510640844A CN 105354623 A CN105354623 A CN 105354623A
- Authority
- CN
- China
- Prior art keywords
- region
- time
- grid
- mid
- dimensional space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000005457 optimization Methods 0.000 title claims abstract description 60
- 230000005856 abnormality Effects 0.000 title claims abstract description 20
- 238000001514 detection method Methods 0.000 title claims abstract description 15
- 238000013138 pruning Methods 0.000 claims abstract description 56
- 238000007476 Maximum Likelihood Methods 0.000 claims abstract description 19
- 230000002159 abnormal effect Effects 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 35
- 230000008901 benefit Effects 0.000 claims description 17
- 238000013179 statistical model Methods 0.000 claims description 7
- 238000007689 inspection Methods 0.000 claims description 4
- 101000801643 Homo sapiens Retinal-specific phospholipid-transporting ATPase ABCA4 Proteins 0.000 claims description 3
- 102100033617 Retinal-specific phospholipid-transporting ATPase ABCA4 Human genes 0.000 claims description 3
- 238000009472 formulation Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000004321 preservation Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000012360 testing method Methods 0.000 abstract 1
- 238000012544 monitoring process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 101100481876 Danio rerio pbk gene Proteins 0.000 description 2
- 101100481878 Mus musculus Pbk gene Proteins 0.000 description 2
- 238000003657 Likelihood-ratio test Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E40/00—Technologies for an efficient electrical power generation, transmission or distribution
- Y02E40/70—Smart grids as climate change mitigation technology in the energy generation sector
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Water Supply & Treatment (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供一种面向电网时空数据的异常检测优化方法,所述方法包括如下步骤:(1)将配电设备按空间位置进行网格划分,对所有网格中采集设备的配电功率曲线再按时间进行统一划分,为每个划分中的配电平均功率定义一个高斯分布;(2)建立零假设和对立假设;(3)估计参数,根据最大似然估计方法估计零假设和对立假设中检验参数TP的取值;(4)剪枝优化;(5)计算三维时空数据的似然比值,比值越高,代表该区域异常越明显;(6)采用堆排序算法输出前K个异常区域,根据卡方分布结合置信水平获取异常阈值。本发明以对配电网监测数据进行分类,以提高针对于配电网的故障检测技术,高效处理外界因素对电力调度的干扰。
Description
技术领域
本发明涉及一种检测优化方法,具体涉及一种面向电网时空数据的异常检测优化方法。
背景技术
随着电力系统向智能电网的转化,配电网的信息化进程不断加快,电力系统拥有着一个庞大的监测数据集,这些监测数据不仅反映着各个电网设备的运行状态,还在配电网的决策支持、规划方面起着重要作用。由于监测设备软硬件体系结构的复杂性、外界确定或不确定因素的干扰,监测数据往往存在异常。因此,需要提高针对配电网的故障检测技术的水平,以合理安排供电,高效处理外界因素对电力调度的干扰。
对于配电网故障的研究,首先要确定故障波及的范围和持续的时间,现有的基于统计的异常检测方法,存在三方面的弊端,以致不能直接用于当前电网时空数据中。1)大部分基于统计的异常检测方法都是基于纯粹的空间检索,没有考虑时间维度;2)大多数现有的空间/时空数据异常检测只能用于固定的统计模型,例如常用的sss(spatialandspace-timescanstatistic)空间和时空扫描模型,该模型的缺点是只能检测出显著增大的区域,并且用户不能根据实际数据自定义数据的分布模型;3)现有的基于统计的异常检测方法在处理高维大规模数据集时,程序的时间、空间代价依然很高,效率底下,因此需要提供一种能处理海量时空数据的基于统计模型的通用型异常检测方法。
发明内容
为了克服上述现有技术的不足,本发明提供一种面向电网时空数据的异常检测优化方法,本发明以对配电网监测数据进行分类,以提高针对于配电网的故障检测技术,高效处理外界因素对电力调度的干扰。
为了实现上述发明目的,本发明采取如下技术方案:
一种面向电网时空数据的异常检测优化方法,所述方法包括如下步骤:
(1)将配电设备按空间位置进行网格划分,对所有网格中采集设备的配电功率曲线再按时间进行统一划分,为每个划分中的配电平均功率定义一个高斯分布;
(2)建立零假设和对立假设;
(3)估计参数,根据最大似然估计方法估计零假设和对立假设中检验参数TP的取值;
(4)剪枝优化;
(5)计算三维时空数据的似然比值,比值越高,代表所述配电设备采集数据所形成的区域异常越明显;
(6)采用堆排序算法输出前K个异常区域,根据卡方分布结合置信水平获取异常阈值。
优选的,所述步骤(1)中,所述高斯分布由均值和方差参数确定,假定每个划分中
的配电平均功率服从均值和方差参数不变的高斯分布。
优选的,所述步骤(2)中,所述零假设用来表示某个网格的配电数据由参数与其邻
近网格的配电数据所属的高斯分布相似的高斯分布产生,即在时间和空间上没有异
常;所述对立假设表示某个网格的配电数据由参数与其邻近网格的配电数据所属的
高斯分布显著不同的高斯分布产生,即在时间或空间上有异常。
优选的,所述步骤(3)中,包括如下步骤:
步骤3-1、将n×n×t的设备采集数据的三维时空网格沿时间轴切片成t个n×n二维空间网格;
步骤3-2、对每一个特定时刻的设备采集数据的所述二维空间网格采用动态规划方法进行统计网格中的配电平均功率;
步骤3-3、累计得到三维时空中的统计网格中的配电平均功率;
步骤3-4、根据最大似然估计方法,利用所述三维时空中的统计网格中的配电平均功率,进行零假设和全假设下的最大似然估计。
优选的,所述步骤3-2中,包括如下步骤:
步骤3-2-1、根据摩根定律,矩阵R的统计汇总量通过矩阵ABCR,AB,AC和A的统计汇总量获得;
步骤3-2-2、设立二维数组p来保存矩阵的统计汇总量,p[i][j]表示左上角是(1,1),下标从1开始,右下角是(i,j)的矩阵的统计汇总量;
步骤3-2-3、p[i][j]的值可通过动态规划方法来取得:
p[i][j]=p[i-1][j]+p[i][j-1]-p[i-1][j-1]+|C(i,j)|
步骤3-2-3、计算所述矩阵R,公式如下:
|R(x1,y1,x2,y2)|
=|ABCR(1,1,x2,y2)|-|AB(1,1,x1-1,y2)|-|AC(1,1,x2,y1-1)|
+|A(1,1,x1-1,y1-1)|
=p[x2][y2]-p[x1-1][y2]-p[x2][y1-1]+p[x1-1][y1-1]。
优选的,所述步骤3-4中,利用所述最大似然估计方法进行零假设的最大似然估计,
公式如下:
θG=MLE0(s_G)
式中,θG为时空区域G的分布家族的参数向量,s_G时空区域G中统计变量X_G的汇总数据,MLE0为利用最大似然估计法得到任意时空区域G的统计模型在零假设H0中参数估计的函数;
利用所述最大似然估计方法进行全假设的最大似然估计,公式如下:
式中,θR为时空区域R分布家族的参数向量,为时空区域R外部区域的分布家族的参数向量,s_R为时空区域R中统计变量X_R的汇总数据,MLE为利用最大似然估计法得到任意时空区域R的统计模型在对立假设H1中参数估计的函数,所述全假设包含零假设H0和对立假设H1。
优选的,所述步骤(4)中,包括如下步骤:
步骤4-1、在三维时空数据中进行剪枝策略;
步骤4-2、进行分层的剪枝优化方法,包括基于分层的剪枝预计算方法、上界搜索算法;
步骤4-3、进行分块的剪枝优化方法,包括基于分块的剪枝预计算方法、上界搜索方法。
优选的,所述步骤4-1中,所述剪枝策略为所述矩阵R在全假设下的似然值,都被
构成所述矩阵R的子区域在零假设下的似然值之积上界定,即
其中,L(θR|XR)为矩阵R的似然值,XR为时空区域R的数据样本,为时空区域R=Ri∪Rj的数据样本,其中Ri和Rj是空间上互不覆盖的两个时空区域,空间维度t=t1∪t2∪t3∪...,时间维度t=t1∪t2∪t3∪...,是零假设下的参数估计。
优选的,所述步骤4-2中,所述分层的剪枝优化包括对区域R以及区域R的补区域R
进行分层剪枝优化,所述区域R的分层剪枝优化包括如下步骤:
步骤4-2-1、将一个设备采集数据的三维时空网格n×n×t,从时间轴分层切片,变成t个n×n二维空间网格;
步骤4-2-2、对于任意一个特定时刻的设备采集数据的所述二维空间网格,递归地将其中的任意相邻的列从水平方向划分成两个相等大小的子矩阵;
步骤4-2-3、对于每一个所述子矩阵,预计算所述子矩阵零假设下的似然函数;
步骤4-2-4、查询搜索所述三维时空网格中任何一个区域的似然值上界;
所述区域R的补区域R的分层剪枝优化包括如下步骤:
a、将n*n*t的3D-grid从采集数据的时间轴切分成t个n*n的空间2D-grids,所述R包括与采集空间不相交的时间分层和与采集空间时间相交的时间分层;
b、所述与采集空间不相交的时间分层包括上半部分和下半部分使用整个n*n的2D-grid的似然值,所述与采集空间时间相交的时间分层并行地采取射线法进行划分和预计算,把含有空洞的分层划分成四个方向的矩阵:
c、设定三维时空区域R(x1,y1,z1,x2,y2,z2)的补区域的似然值上界定公式为:
θ和θ'都为所处理的电网收集数据的时空区域上的参数,与前面的含义相同,X为样本。
优选的,所述步骤4-2-4中,包括如下步骤:
步骤4-2-4-1、将待检测的三维时空网格,从时间轴分层切片,变成t个矩阵A;
步骤4-2-4-2、对于每一个所述矩阵A,令y方向下界low、上界high分别为三维网格在y轴的上界、下界,递归地利用二分搜索法进行上界限定;
步骤4-2-4-3、将每一个切片上矩阵的上界相加,得到三维时空区域的基于分层剪枝的上界;
优选的,所述步骤4-2-4-2中,所述二分搜索法包括如下步骤:
步骤4-2-4-2-1、令mid=(low+high)/2;
步骤4-2-4-2-2、若(y1,y2)正好是分层的划分线,则其零假设下的似然值已经被求得,直接返回;
步骤4-2-4-2-3、若y2<mid,令high为mid,返回到步骤4-2-4-2-1;
步骤4-2-4-2-4、若y1<mid<y2,将该区域的上界分成A1(x1,y1,x2,mid)+A2(x1,mid,x2,y2),并分别令high为mid,low为mid,返回到步骤4-2-4-2-1;
步骤4-2-4-2-5、若y1>mid,令low为mid,返回到步骤4-2-4-2-1。
优选的,所述步骤4-3中,所述分块的剪枝优化包括对区域R以及区域R的补区域R
进行分块剪枝优化,所述区域R的分块剪枝优化包括如下步骤:
步骤4-3-1、将n×n×t三维时空网格,看做多个ni×nj×t的三维空间子网格;
步骤4-3-2、对于每一个三维空间子网格,递归地将其从时间轴划分成两个相等大小的子块;
步骤4-3-3、查询搜索所述三维时空网格中任何一个区域的似然值上界;
所述区域R的补区域R的分块剪枝优化包括如下步骤:
I、将所述三维时空区域的上界分为完整的分块和含有空洞的分块;所述完整的分块包括上半部分和下半部分能够直接使用各自分块的似然值;所述含有空洞的分块采取射线法进行分块和预计算,把含有空洞的分块划分成四个方向的子网格:
II、所述三维时空区域的上界的似然值上界限定公式为:
优选的,所述步骤4-3-3中,包括如下步骤:
步骤4-3-3-1、将待检测的所述三维时空网格,令z方向下界low、上界high分别为所述三维时空网格在z轴的上界、下界;
步骤4-3-3-2、令mid=(low+high)/2;
步骤4-3-3-3、若(z1,z2)是分块的划分线,则其零假设下的似然值已经被求得,直接返回;
步骤4-3-3-4、若z2<mid,令high为mid,返回到步骤4-3-3-2;
步骤4-3-3-5、若z1<mid<z2,将该区域的上界分成R(x1,y1,z1,x2,y2,mid)+R(x1,y1,mid,x2,y2,z2),并分别令high为mid,low为mid,返回到步骤4-3-3-2;
步骤4-3-3-6、若z1>mid,令low为mid,返回到步骤4-3-3-2。
与现有技术相比,本发明的有益效果在于:
本发明设计了一种面向海量配电网时空数据的异常检测优化方法:3D-LRT,该方法充分利用了配电网监测数据的时空特性,以及配电网数据的分布模式变化多端的特点,为配电网的数据分类提供了灵活、高效的解决方案,将配电网监测数据划分成正常类和异常类,并对异常的等级进行打分,对于提升我院在配电网大数据智能分析领域的影响力具有积极作用。
本发明具有通用性,用户可以根据实际情况自定义配电网数据的模式,找出用户指定参数的变化异常,以与配电网数据变化多端的分布模式相匹配。
本发明采用了系列技术例如动态规划、剪枝策略对3D-LRT方法进行优化,以加速海量配电网数据的处理效率。
附图说明
图1是本发明提供的一种面向海量配电网时空数据的异常检测优化方法流程图
图2是本发明提供的基于动态规划的统计量汇总方法的示意图
图3是本发明提供的区域R的分层剪枝预计算的示意图
图4是本发明提供的区域的分层剪枝预计算的示意图
图5是本发明提供的区域R的分块剪枝预计算的示意图
图6是本发明提供的区域的分块剪枝预计算的示意图
具体实施方式
下面结合附图对本发明作进一步详细说明。
本发明提出了一种针对智能电网管理中海量的电网设备采集时序数据流,面向采集时间和空间(二维位置)的三维时空数据的似然比检验异常检测方法:3D-LRT(ananomalydetectionmethodbasedonlikelihoodratiotestforthree-dimensionalspatio-temporaldata),并采用剪枝方法对其进行优化,对配电网运行中产生的海量数据(包括配电网自动化终端收集到的数据,配电网电力负荷数据,配电网电力营销数据等)进行分类,找出其中的异常数据,并对异常的等级进行打分。本发明的核心部分是3D-LRT方法的提出及其优化方法。
如图1所示,一种面向海量配电网时空数据的异常检测优化方法,具体步骤如下:
步骤1、将配电设备按空间位置进行网格划分,对所有网格中采集设备的配电功率曲线再按时间进行统一划分,这样为每个划分中的配电平均功率定义一个高斯分布。高斯分布由均值和方差两个参数确定,假定每个划分中的配电平均功率服从均值和方差这两个参数不变的高斯分布。
步骤2、零假设和对立假设的建立,其中零假设用来表示某个网格的配电数据由参数与其邻近网格的配电数据所属的高斯分布相似的高斯分布产生,即在时间和空间上没有异常;对立假设表示某个网格的配电数据由参数与其邻近网格的配电数据所属的高斯分布显著不同的高斯分布产生,即在时间或空间上有异常。
步骤3、估计参数。可以选取基于动态规划的统计量汇总方法,加速最大似然估计法进行参数估计。
如图2所示,估计参数包括如下内容:
步骤3-1将n*n*t的3D-grid沿时间轴分层,将其划分成t个n*n的2D-grids,对于每一个空间子网格,采用动态规划方法进行统计网格中的配电平均功率。
步骤3-1-1、根据摩根定律,矩阵R的统计汇总量通过矩阵ABCR,AB,AC和A的统计汇总量获得;
步骤3-1-2、设立二维数组p来保存矩阵的统计汇总量,p[i][j]表示左上角是(1,1),下标从1开始,右下角是(i,j)的矩阵的统计汇总量;
步骤3-1-3、p[i][j]的值可通过动态规划方法来取得:
p[i][j]=p[i-1][j]+p[i][j-1]-p[i-1][j-1]+|C(i,j)|
步骤3-2-3、计算所述矩阵R,公式如下:
|R(x1,y1,x2,y2)|
=|ABCR(1,1,x2,y2)|-|AB(1,1,x1-1,y2)|-|AC(1,1,x2,y1-1)|
+|A(1,1,x1-1,y1-1)|
=p[x2][y2]-p[x1-1][y2]-p[x2][y1-1]+p[x1-1][y1-1]
优选的,所述步骤3-4中,利用所述最大似然估计方法进行零假设的最大似然估计,公式如下:
θG=MLE0(s_G)
式中,θG为时空区域G的分布家族的参数向量,s_G时空区域G中统计变量X_G的汇总数据,MLE0为利用最大似然估计法得到任意时空区域G的统计模型在零假设H0中参数估计的函数;
利用所述最大似然估计方法进行全假设的最大似然估计,公式如下:
(θR,θR)=MLE(s_R,s_G)
式中,θR为时空区域R分布家族的参数向量,θR为时空区域R外部区域的分布家族的参数向量,s_R为时空区域R中统计变量X_R的汇总数据,MLE为利用最大似然估计法得到任意时空区域R的统计模型在对立假设H1中参数估计的函数,所述全假设包含零假设H0和对立假设H1。
步骤3-2利用第一步的结果,累积得到三维时空中的统计网格中的配电平均功率。
步骤3-3根据最大似然估计方法,利用参考区域的统计网格中的配电平均功率,进行零假设和对立假设中检验参数TP的取值。
步骤4、剪枝优化,减少需要进行参数估计的网格个数。
剪枝优化包括如下内容:
步骤4-1、剪枝策略在三维时空数据中的可行性原理。
所述剪枝策略为所述矩阵R在全假设下的似然值,都被构成所述矩阵R的子区域在零假设下的似然值之积上界定,即
其中,XR为时空区域R的数据样本,为时空区域R=Ri∪Rj的数据样本,其中Ri和Rj是空间上互不覆盖的两个时空区域,空间维度t=t1∪t2∪t3∪...,时间维度t=t1∪t2∪t3∪...,是零假设下的参数估计。
步骤4-2、基于分层的剪枝优化方法。包括基于分层的剪枝预计算方法、上界搜索算法。
所述分层的剪枝优化包括对区域R以及区域R的补区域R进行分层剪枝优化,所述如图3所示,区域R的分层剪枝优化包括如下步骤:
步骤4-2-1、将一个设备采集数据的n×n×t的3D-grid,从时间轴分层切片,变成t个n×n的2D-grids;
步骤4-2-2、对于任意一个特定时刻的设备采集数据的二维空间网格n*n的2D-grid,递归地将其中的任意相邻的列从水平方向划分成两个相等大小的子矩阵
步骤4-2-3、对于每一个所述子矩阵,预计算所述子矩阵零假设下的似然函数;
步骤4-2-4、查询搜索所述三维时空网格中任何一个区域的似然值上界。
步骤4-2-4-1、将待检测的三维时空网格,从时间轴分层切片,变成t个矩阵A;
步骤4-2-4-2、对于每一个所述矩阵A,令y方向下界low、上界high分别为三维网格在y轴的上界、下界,递归地利用二分搜索法进行上界限定;
步骤4-2-4-2-1、令mid=(low+high)/2;
步骤4-2-4-2-2、若(y1,y2)正好是分层的划分线,则其零假设下的似然值已经被求得,直接返回;
步骤4-2-4-2-3、若y2<mid,令high为mid,返回到步骤4-2-4-2-1;
步骤4-2-4-2-4、若y1<mid<y2,将该区域的上界分成A1(x1,y1,x2,mid)+A2(x1,mid,x2,y2),并分别令high为mid,low为mid,返回到步骤4-2-4-2-1;
步骤4-2-4-2-5、若y1>mid,令low为mid,返回到步骤4-2-4-2-1。
步骤4-2-4-3、将每一个切片上矩阵的上界相加,得到三维时空区域的基于分层剪枝的上界;
如图4所示,所述区域R的补区域R的分层剪枝优化包括如下步骤:
a、将n*n*t的3D-grid从采集数据的时间轴切分成t个n*n的空间2D-grids,所述R包括与采集空间不相交的时间分层和与采集空间时间相交的时间分层;
b、所述与采集空间不相交的时间分层包括上半部分和下半部分使用整个n*n的2D-grid的似然值,所述与采集空间时间相交的时间分层并行地采取射线法进行划分和预计算,把含有空洞的分层划分成四个方向的矩阵:
c、设定三维时空区域R(x1,y1,z1,x2,y2,z2)的补区域的似然值上界定公式为:
θ和θ'都为所处理的电网收集数据的时空区域上的参数,与前面的含义相同,X为样本。
公式右边的等分别代表对图4中的补区域所划分的各个电网数据数据估计所使用的具体参数及其时空设备采集数据的三维样本空间(时间和设备位置)。
步骤4-3、基于分块的剪枝优化方法。包括基于分块的剪枝预计算方法、上界搜索方法。
所述分块的剪枝优化包括对区域R以及区域R的补区域R进行分块剪枝优化,所述如图5所示,区域R的分块剪枝优化包括如下步骤:
步骤4-3-1、将n×n×t的3D-grid,将其看做多个ni*nj*t的采集数据的三维空间子网格sub-3D-grid;
步骤4-3-2、对于每一个sub-3D-grid,递归地将其从时间轴划分成两个相等大小的子块;
步骤4-3-3、查询搜索所述三维时空网格中任何一个区域的似然值上界。
步骤4-3-3-1、将待检测的所述三维时空网格,令z方向下界low、上界high分别为所述三维时空网格在z轴的上界、下界;
步骤4-3-3-2、令mid=(low+high)/2;
步骤4-3-3-3、若(z1,z2)是分块的划分线,则其零假设下的似然值已经被求得,直接返回;
步骤4-3-3-4、若z2<mid,令high为mid,返回到步骤4-3-3-2;
步骤4-3-3-5、若z1<mid<z2,将该区域的上界分成R(x1,y1,z1,x2,y2,mid)+R(x1,y1,mid,x2,y2,z2),并分别令high为mid,low为mid,返回到步骤4-3-3-2;
步骤4-3-3-6、若z1>mid,令low为mid,返回到步骤4-3-3-2。
如图6所示,所述区域R的补区域的分块剪枝优化包括如下步骤:
I、将所述三维时空区域的上界分为完整的分块和含有空洞的分块;所述完整的分块包括上半部分和下半部分能够直接使用各自分块的似然值;所述含有空洞的分块采取射线法进行分块和预计算,把含有空洞的分块划分成四个方向的子网格:
II、所述三维时空区域的上界的似然值上界限定公式为:
步骤5、计算所监控电网系统中各个网格出现异常的可能性。根据3D-LRT的计算公式
D(R)=-2logL(θG|XG)+2logL(θR|XR)+2logL(θR|XR)
得到检验区域的异常程度,分值越高,说越具有显著异常。
步骤6、输出topK的异常区域。可以采用堆排序算法输出topK的异常区域,也可以根据卡方分布结合置信水平获取异常阈值。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求范围当中。
Claims (13)
1.一种面向电网时空数据的异常检测优化方法,其特征在于,所述方法包括如下步骤:
(1)将配电设备按空间位置进行网格划分,对所有网格中采集设备的配电功率曲线再按时间进行统一划分,为每个划分中的配电平均功率定义一个高斯分布;
(2)建立零假设和对立假设;
(3)估计参数,根据最大似然估计方法估计零假设和对立假设中检验参数TP的取值;
(4)剪枝优化;
(5)计算三维时空数据的似然比值,比值越高,代表所述配电设备采集数据所形成的区域异常越明显;
(6)采用堆排序算法输出前K个异常区域,根据卡方分布结合置信水平获取异常阈值。
2.根据权利要求1所述优化方法,其特征在于,所述步骤(1)中,所述高斯分布由均值和方差参数确定,假定每个划分中的配电平均功率服从均值和方差参数不变的高斯分布。
3.根据权利要求1所述优化方法,其特征在于,所述步骤(2)中,所述零假设用来表示某个网格的配电数据由参数与其邻近网格的配电数据所属的高斯分布相似的高斯分布产生,即在时间和空间上没有异常;所述对立假设表示某个网格的配电数据由参数与其邻近网格的配电数据所属的高斯分布显著不同的高斯分布产生,即在时间或空间上有异常。
4.根据权利要求1所述优化方法,其特征在于,所述步骤(3)中,包括如下步骤:
步骤3-1、将n×n×t的设备采集数据的三维时空网格沿时间轴切片成t个n×n二维空间网格;
步骤3-2、对每一个特定时刻的设备采集数据的所述二维空间网格采用动态规划方法进行统计网格中的配电平均功率;
步骤3-3、累计得到三维时空中的统计网格中的配电平均功率;
步骤3-4、根据最大似然估计方法,利用所述三维时空中的统计网格中的配电平均功率,进行零假设和全假设下的最大似然估计。
5.根据权利要求4所述优化方法,其特征在于,所述步骤3-2中,包括如下步骤:
步骤3-2-1、根据摩根定律,矩阵R的统计汇总量通过矩阵ABCR,AB,AC和A的统计汇总量获得;
步骤3-2-2、设立二维数组p来保存矩阵的统计汇总量,p[i][j]表示左上角是(1,1),下标从1开始,右下角是(i,j)的矩阵的统计汇总量;
步骤3-2-3、p[i][j]的值可通过动态规划方法来取得:
p[i][j]=p[i-1][j]+p[i][j-1]-p[i-1][j-1]+|C(i,j)|
步骤3-2-3、计算所述矩阵R,公式如下:
|R(x1,y1,x2,y2)|
=|ABCR(1,1,x2,y2)|-|AB(1,1,x1-1,y2)|-|AC(1,1,x2,y1-1)|
+|A(1,1,x1-1,y1-1)|
=p[x2][y2]-p[x1-1][y2]-p[x2][y1-1]+p[x1-1][y1-1]。
6.根据权利要求4所述优化方法,其特征在于,所述步骤3-4中,利用所述最大似然估计方法进行零假设的最大似然估计,公式如下:
θG=MLE0(s_G)
式中,θG为时空区域G的分布家族的参数向量,s_G时空区域G中统计变量X_G的汇总数据,MLE0为利用最大似然估计法得到任意时空区域G的统计模型在零假设H0中参数估计的函数;
利用所述最大似然估计方法进行全假设的最大似然估计,公式如下:
式中,θR为时空区域R分布家族的参数向量,为时空区域R外部区域的分布家族的参数向量,s_R为时空区域R中统计变量X_R的汇总数据,MLE为利用最大似然估计法得到任意时空区域R的统计模型在对立假设H1中参数估计的函数,所述全假设包含零假设H0和对立假设H1。
7.根据权利要求1所述优化方法,其特征在于,所述步骤(4)中,包括如下步骤:
步骤4-1、在三维时空数据中进行剪枝策略;
步骤4-2、进行分层的剪枝优化方法,包括基于分层的剪枝预计算方法、上界搜索算法;
步骤4-3、进行分块的剪枝优化方法,包括基于分块的剪枝预计算方法、上界搜索方法。
8.根据权利要求7所述优化方法,其特征在于,所述步骤4-1中,所述剪枝策略为所述矩阵R在全假设下的似然值,都被构成所述矩阵R的子区域在零假设下的似然值之积上界定,即
其中,L(θR|XR)为矩阵R的似然值,XR为时空区域R的数据样本,为时空区域R=Ri∪Rj的数据样本,其中Ri和Rj是空间上互不覆盖的两个时空区域,空间维度t=t1∪t2∪t3∪...,时间维度t=t1∪t2∪t3∪...,是零假设下的参数估计。
9.根据权利要求7所述优化方法,其特征在于,所述步骤4-2中,所述分层的剪枝优化包括对区域R以及区域R的补区域进行分层剪枝优化,所述区域R的分层剪枝优化包括如下步骤:
步骤4-2-1、将一个设备采集数据的三维时空网格n×n×t,从时间轴分层切片,变成t个n×n二维空间网格;
步骤4-2-2、对于任意一个特定时刻的设备采集数据的所述二维空间网格,递归地将其中的任意相邻的列从水平方向划分成两个相等大小的子矩阵;
步骤4-2-3、对于每一个所述子矩阵,预计算所述子矩阵零假设下的似然函数;
步骤4-2-4、查询搜索所述三维时空网格中任何一个区域的似然值上界;
所述区域R的补区域的分层剪枝优化包括如下步骤:
a、将n*n*t的3D-grid从采集数据的时间轴切分成t个n*n的空间2D-grids,所述包括与采集空间不相交的时间分层和与采集空间时间相交的时间分层;
b、所述与采集空间不相交的时间分层包括上半部分z=1,...,z1和下半部分使用整个n*n的2D-grid的似然值,所述与采集空间时间相交的时间分层并行地采取射线法进行划分和预计算,把含有空洞的分层划分成四个方向的矩阵:z=z1,...,z2;
c、设定三维时空区域R(x1,y1,z1,x2,y2,z2)的补区域的似然值上界定公式为:
θ和θ'都为所处理的电网收集数据的时空区域上的参数,与前面的含义相同,X为样本。
10.根据权利要求9所述优化方法,其特征在于,所述步骤4-2-4中,包括如下步骤:
步骤4-2-4-1、将待检测的三维时空网格,从时间轴分层切片,变成t个矩阵A;
步骤4-2-4-2、对于每一个所述矩阵A,令y方向下界low、上界high分别为三维网格在y轴的上界、下界,递归地利用二分搜索法进行上界限定;
步骤4-2-4-3、将每一个切片上矩阵的上界相加,得到三维时空区域的基于分层剪枝的上界。
11.根据权利要求10所述优化方法,其特征在于,所述步骤4-2-4-2中,所述二分搜索法包括如下步骤:
步骤4-2-4-2-1、令mid=(low+high)/2;
步骤4-2-4-2-2、若(y1,y2)正好是分层的划分线,则其零假设下的似然值已经被求得,直接返回;
步骤4-2-4-2-3、若y2<mid,令high为mid,返回到步骤4-2-4-2-1;
步骤4-2-4-2-4、若y1<mid<y2,将该区域的上界分成A1(x1,y1,x2,mid)+A2(x1,mid,x2,y2),并分别令high为mid,low为mid,返回到步骤4-2-4-2-1;
步骤4-2-4-2-5、若y1>mid,令low为mid,返回到步骤4-2-4-2-1。
12.根据权利要求7所述优化方法,其特征在于,所述步骤4-3中,所述分块的剪枝优化包括对区域R以及区域R的补区域进行分块剪枝优化,所述区域R的分块剪枝优化包括如下步骤:
步骤4-3-1、将n×n×t三维时空网格,看做多个ni×nj×t的三维空间子网格;
步骤4-3-2、对于每一个三维空间子网格,递归地将其从时间轴划分成两个相等大小的子块;
步骤4-3-3、查询搜索所述三维时空网格中任何一个区域的似然值上界;
所述区域R的补区域的分块剪枝优化包括如下步骤:
I、将所述三维时空区域的上界分为完整的分块和含有空洞的分块;所述完整的分块包括上半部分和下半部分能够直接使用各自分块的似然值;所述含有空洞的分块采取射线法进行分块和预计算,把含有空洞的分块划分成四个方向的子网格:
II、所述三维时空区域的上界的似然值上界限定公式为:
13.根据权利要求12所述优化方法,其特征在于,所述步骤4-3-3中,包括如下步骤:
步骤4-3-3-1、将待检测的所述三维时空网格,令z方向下界low、上界high分别为所述三维时空网格在z轴的上界、下界;
步骤4-3-3-2、令mid=(low+high)/2;
步骤4-3-3-3、若(z1,z2)是分块的划分线,则其零假设下的似然值已经被求得,直接返回;
步骤4-3-3-4、若z2<mid,令high为mid,返回到步骤4-3-3-2;
步骤4-3-3-5、若z1<mid<z2,将该区域的上界分成R(x1,y1,z1,x2,y2,mid)+R(x1,y1,mid,x2,y2,z2),并分别令high为mid,low为mid,返回到步骤4-3-3-2;
步骤4-3-3-6、若z1>mid,令low为mid,返回到步骤4-3-3-2。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510640844.7A CN105354623A (zh) | 2015-09-30 | 2015-09-30 | 一种面向电网时空数据的异常检测优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510640844.7A CN105354623A (zh) | 2015-09-30 | 2015-09-30 | 一种面向电网时空数据的异常检测优化方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105354623A true CN105354623A (zh) | 2016-02-24 |
Family
ID=55330590
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510640844.7A Pending CN105354623A (zh) | 2015-09-30 | 2015-09-30 | 一种面向电网时空数据的异常检测优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105354623A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107291719A (zh) * | 2016-03-30 | 2017-10-24 | 阿里巴巴集团控股有限公司 | 一种数据检索方法和装置、一种数据存储方法和装置 |
CN109142979A (zh) * | 2018-09-18 | 2019-01-04 | 中国电力科学研究院有限公司 | 一种配电网异常状态的检测方法及装置 |
CN109308548A (zh) * | 2018-09-12 | 2019-02-05 | 中科绿建(天津)科技发展有限公司 | 一种基于网格预测的设备安全管理方法及系统 |
CN110276452A (zh) * | 2019-06-28 | 2019-09-24 | 北京中星微电子有限公司 | 神经网络模型的剪枝方法、装置、设备和人工智能芯片 |
CN110687346A (zh) * | 2018-07-04 | 2020-01-14 | 国网上海市电力公司 | 一种电网电压异常原因数据检查及优化方法 |
CN111126727A (zh) * | 2018-10-30 | 2020-05-08 | 广州供电局有限公司 | 电力计费分布式并行异常检测方法 |
CN118094262A (zh) * | 2024-04-23 | 2024-05-28 | 国网安徽省电力有限公司经济技术研究院 | 一种基于空间聚类的负荷异常值检测方法 |
-
2015
- 2015-09-30 CN CN201510640844.7A patent/CN105354623A/zh active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107291719A (zh) * | 2016-03-30 | 2017-10-24 | 阿里巴巴集团控股有限公司 | 一种数据检索方法和装置、一种数据存储方法和装置 |
CN110687346A (zh) * | 2018-07-04 | 2020-01-14 | 国网上海市电力公司 | 一种电网电压异常原因数据检查及优化方法 |
CN109308548A (zh) * | 2018-09-12 | 2019-02-05 | 中科绿建(天津)科技发展有限公司 | 一种基于网格预测的设备安全管理方法及系统 |
CN109142979A (zh) * | 2018-09-18 | 2019-01-04 | 中国电力科学研究院有限公司 | 一种配电网异常状态的检测方法及装置 |
CN109142979B (zh) * | 2018-09-18 | 2023-08-11 | 中国电力科学研究院有限公司 | 一种配电网异常状态的检测方法及装置 |
CN111126727A (zh) * | 2018-10-30 | 2020-05-08 | 广州供电局有限公司 | 电力计费分布式并行异常检测方法 |
CN111126727B (zh) * | 2018-10-30 | 2022-08-02 | 广东电网有限责任公司广州供电局 | 电力计费分布式并行异常检测方法 |
CN110276452A (zh) * | 2019-06-28 | 2019-09-24 | 北京中星微电子有限公司 | 神经网络模型的剪枝方法、装置、设备和人工智能芯片 |
CN118094262A (zh) * | 2024-04-23 | 2024-05-28 | 国网安徽省电力有限公司经济技术研究院 | 一种基于空间聚类的负荷异常值检测方法 |
CN118094262B (zh) * | 2024-04-23 | 2024-06-21 | 国网安徽省电力有限公司经济技术研究院 | 一种基于空间聚类的负荷异常值检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105354623A (zh) | 一种面向电网时空数据的异常检测优化方法 | |
CN107133255B (zh) | 一种大电网全景安全防御方法和系统 | |
Wang et al. | A fast abnormal data cleaning algorithm for performance evaluation of wind turbine | |
CN105930933A (zh) | 风电场理论功率曲线确定方法及装置 | |
CN202814565U (zh) | 风机齿轮箱温度监控装置 | |
Yurtseven et al. | Sensorless fault detection method for photovoltaic systems through mapping the inherent characteristics of PV plant site: Simple and practical | |
CN104763585B (zh) | 基于分布式数据收集的风电机组动态重构方法 | |
CN109658006B (zh) | 一种大规模风电场群辅助调度方法及装置 | |
Mikriukov | Applied data analysis in energy monitoring system | |
CN102945318B (zh) | 一种基于级联风机的超短期风速动态预测方法 | |
CN105262441A (zh) | 基于红外图像的光伏阵列故障等级划分方法 | |
Kabir et al. | Isolation forest based anomaly detection and fault localization for solar PV system | |
CN104574221B9 (zh) | 一种基于损失电量特征参数的光伏电站运行状态辨识方法 | |
CN117728587A (zh) | 一种新能源发电设备运行数据的实时监控系统及方法 | |
CN107607342A (zh) | 空调机房设备群的健康能效检测方法 | |
Hwang et al. | Intelligent cleanup scheme for soiled photovoltaic modules | |
CN201666923U (zh) | 一种用免疫遗传算法处理电力系统的dsp故障诊断的装置 | |
Mak-Hau et al. | DμDT: the Deakin University Microgrid Digital Twin | |
Zhang et al. | Distributed Architecture of Power Grid Asset Management and Future Research Directions | |
Hu et al. | A detecting algorithm for occlusion on the surface of photovoltaic modules based on improved YOLOv5 | |
CN201717634U (zh) | 用于多层电网的事故集处理系统 | |
Wang et al. | Comparison of Artificial Intelligence-Based Power Curve Cleaning Algorithms for Wind Farms | |
Hu et al. | A Bad Data Identification Method for Multiple Spatio-temporal Data in Power Distribution Network | |
Thakur et al. | Efficient Fault Detection in Renewable Energy Systems through IoT and Isolation Forest Algorithm | |
CN114070198B (zh) | 分布式光伏发电系统的故障诊断方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160224 |
|
RJ01 | Rejection of invention patent application after publication |