CN109635415A - 基于roc曲线的分布式光伏系统异常预警准确率计算方法 - Google Patents
基于roc曲线的分布式光伏系统异常预警准确率计算方法 Download PDFInfo
- Publication number
- CN109635415A CN109635415A CN201811494796.5A CN201811494796A CN109635415A CN 109635415 A CN109635415 A CN 109635415A CN 201811494796 A CN201811494796 A CN 201811494796A CN 109635415 A CN109635415 A CN 109635415A
- Authority
- CN
- China
- Prior art keywords
- early warning
- roc
- model
- photovoltaic system
- distributed photovoltaic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000013145 classification model Methods 0.000 claims abstract description 8
- 238000005259 measurement Methods 0.000 claims abstract description 3
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 238000012986 modification Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 238000010248 power generation Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Public Health (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Photovoltaic Devices (AREA)
- Alarm Systems (AREA)
Abstract
本发明提供一种基于ROC曲线的分布式光伏系统异常预警准确率计算方法，包括如下步骤：步骤1、构建分布式光伏系统异常预警结果二元分类模型；步骤2、根据二元分类模型建立ROC空间；步骤3、将异常预警模型每个阈值的座标在ROC空间里进行描绘，形成特定模型的ROC曲线；步骤4、采用梯形法计算ROC曲线下的面积，即AUC，作为异常预警准确率的计算方法。本发明基于ROC曲线，对分布式光伏系统异常预警模型的准确率指标计算方法进行了定义，解决了不平衡分类问题的准确度量难题，能够避免“分布式光伏系统运行周期内仅出现2％的异常状况，而预警模型全部预警为正常后准确率度量依然为98％”的度量错误，从而更加完善地描述异常预警模型的准确率。
Description
技术领域
本发明涉及分布式光伏运维技术领域，具体是一种基于接收者操作特征曲线(receiver operating characteristic curve，ROC曲线)的分布式光伏系统异常预警准确率计算方法。
背景技术
光伏发电作为全球最具发展前景的可再生能源利用方式之一，得到了各国政府、行业企业以及科研机构的高度重视。截止到2017年底，世界范围内光伏装机容量接近398GW，累计发电460TWh，占总发电量的2％，其中，分布式光伏占比达40％。分布式光伏运维形成了巨大的市场需求，异常预警方面的技术突破已成为国内外研究热点，但对于众多的预警模型缺乏一种科学、有效的评价方法。因此，如何用构图法揭示预警模型敏感性和特异性的相互关系，全面、有效地揭示模型虚警、漏警的比例，是综合评价分布式光伏系统异常预警准确率的难点。
目前，国内外分布式光伏系统运维的异常预警模型评价仅停留在字面意义上，即“某分布式光伏系统在特定周期内发生了n次异常，预警模型正确预警出了n-m次，则预警准确率即为(n-m)/n”。但是该类计算方法仅仅只是预警模型漏警比例，对于虚警情况并不能有效描述，即“某分布式光伏系统运行在特定周期内发生了n次异常，预警模型正确预警除了n-m次，但错误预警了t次，则传统预警准确率依然为(n-m)/n”。因此，在构建分布式光伏系统异常预警准确率的计算方法时要考虑虚警率的影响，综合评价预警模型的运行性能。
发明内容
本发明针对现有分布式光伏系统异常预警准确率计算方法无法有效评价虚警率的问题，提供基于ROC曲线的分布式光伏系统异常预警准确率计算方法，在不改变试验样本空间的情况下，通过AUC综合评价预警模型的运行性能。
本发明采用如下技术方案来实现：
一种基于ROC曲线的分布式光伏系统异常预警准确率计算方法，包括如下步骤：
步骤1、构建分布式光伏系统异常预警结果二元分类模型：将一个预警结果映射到一个特定类的过程；
步骤2、根据二元分类模型建立ROC空间：将分布式光伏系统实际发生异常，预警模型正确预警出异常发生了的比例定义为X轴，实际没有发生异常，但预警模型误报异常发生的比例定义为Y轴，从而构建成为ROC空间；
步骤3、将异常预警模型每个阈值的座标在ROC空间里进行描绘，形成特定模型的ROC曲线：修改预警模型中异常判断的阈值，形成一系列异常判断结果的准确性度量结果，将度量结果在ROC空间中进行逐一描点，形成用于评价特定预警模型准确性的ROC曲线；
步骤4、计算AUC，作为异常预警准确率的计算方法。
进一步的，步骤4采用梯形法计算AUC，具体的，将ROC曲线上每个相邻的点以直线连接，构成一个梯形并计算其面积，将所有梯形的面积加和即为ROC曲线下的总面积，即AUC。
本发明具有如下优点:
1、该方法简单、直观，通过图示可观察分布式光伏系统异常预警的运行准确性，并可用肉眼做出判断；
2、ROC曲线不固定分类界值，允许中间状态存在，利于运维人员结合专业知识和工作经验，权衡漏警与虚警的影响，选择较为符合实际情况的截断点作为预警参考值；
3、提供不同分布式光伏系统之间在共同场景下的直观比较，ROC曲线越凸越近左上角表明其预警价值越大，利于不同指标间的比较，曲线下面积可评价预警准确性。
附图说明
图1为本发明ROC空间示例图；
图2为本发明ROC曲线图；
图3为本发明AUC计算方法示意图。
具体实施方式
下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述。
一种基于ROC曲线的分布式光伏系统异常预警准确率计算方法，包括如下步骤：
步骤1、构建分布式光伏系统异常预警结果二元分类模型。
分布式光伏系统异常预警结果是一个典型的二元分类问题，其预警结果有4种情形：
(1)真阳性(TP，True Positive)：预警结果为分布式光伏系统发生异常，实际上异常也发生了，即传统意义上的正确预警；
(2)伪阳性(FP，False Positive)：预警结果为分布式光伏系统发生异常，实际却没有发生异常，即传统意义上的虚警；
(3)真阴性(TN，True Negative)：预警结果为分布式光伏系统没有发生异常，实际上也没有发生异常；
(4)伪阴性(FN，False Negative)：预警结果为分布式光伏系统没有发生异常，实际却发生了异常，即传统意义上的漏警。
这4种情形可以画成2×2的混淆矩阵，如表1所示。
表1异常预警模型结果的混淆矩阵
步骤2、根据二元分类模型建立ROC空间。
对正确预警和虚假预警的比例进行定义，即真阳性率(TPR，True Positive Rate)和假阳性率(FPR，False Positive Rate)。
TPR：对于实际发生了异常的样本，预警模型正确预警了的比例。
TPR＝TP/(TP+FN)
FPR：对于实际没有异常的样本，预警模型没有报异常的比例。
FPR＝FP/(FP+TN)
ROC空间将TPR定义为Y轴，将FPR定义为X轴，形成了一个特定的二维空间。
对于某个特定的异常预警模型和判断阈值，就能从所有样本的(发生异常/未发生异常)真实值和预测值计算出一个(X＝FPR，Y＝TPR)座标点。
完美的预警模型位于左上角的一个点，在ROC空间座标(0，1)点，X＝0代表着没有伪阳性，即没有虚警情况发生，Y＝1代表着没有伪阴性，即也没有发生漏警情况。一个随机的预测会得到位于从(0，0)到(1，1)对角线(也叫无识别率线)上的一个点；最直观的随机预警的例子就是通过抛硬币的方式来进行异常预警。从(0，0)到(1，1)的对角线将ROC空间划分为左上/右下两个区域，在这条线的以上的点代表了该模型有效，即优于随机预警，而在这条线以下的点代表了该模型无效，即差于随机预警。
针对实际发生异常和未发生异常的运行状态各100次的样本案例，4种预警模型的结果差异如表2所示。
表2 4种预警模型的结果表
| A | B | C | C’ | |
| TP | 63 | 77 | 24 | 76 |
| FP | 28 | 77 | 88 | 12 |
| TN | 37 | 23 | 76 | 24 |
| FN | 72 | 23 | 12 | 88 |
| TPR | 0.63 | 0.77 | 0.24 | 0.76 |
| FPR | 0.28 | 0.77 | 0.88 | 0.12 |
将这4种结果画在ROC空间里，如图1所示。
点与随机预警线的距离，是预警能力的指标：离左上角越近的点预警准确率越高。离右下角越近的点，预警越不准。
在A、B、C三者当中，最好的结果是A方法。
B方法的结果位于随机预警线(对角线)上。
C虽然预测准确度最差，甚至劣于随机预警，也就是低于对角线。然而，当将C以(0.5,0.5)为中点作一个镜像后，C'的结果甚至要比A还要好。这个作镜像的方法，简单说，不管C(或任何ROC点低于对角线的情况)的预警结果是什么，就做相反的结论。
步骤3、将异常预警模型每个阈值的座标在ROC空间里进行描绘，形成特定模型的ROC曲线。
对于同一个异常预警模型，阈值的不同设定对ROC曲线的影响，有一些规律可循：
(1)当阈值设定为最高时，亦即所有样本都被预测为阴性，没有样本被预测为阳性，此时在伪阳性率FPR算式中的FP＝0，所以FPR＝0％；同样，在真阳性率TPR算式中，TP＝0，所以TPR＝0％。即阈值设定为最高时，必得出ROC座标系左下角的点(0,0)。
(2)当阈值设定为最低时，亦即所有样本都被预测为阳性，没有样本被预测为阴性，此时在伪阳性率FPR算式中的TN＝0，所以FPR＝100％；同样，在真阳性率TPR算式中，FN＝0，所以TPR＝100％。即阈值设定为最低时，必得出ROC座标系右上角的点(1,1)。
(3)因为TP、FP、TN、FN都是累积次数，TN和FN随着阈值调低而减少(或持平)，TP和FP随着阈值调低而增加(或持平)，所以FPR和TPR皆必随着阈值调低而增加(或持平)。
随着阈值调低，ROC点往右上(或右/或上)移动，或不动；但绝不会往左下(或左/或下)移动。
调整表2中的预警模型A的阈值，并分别在ROC空间中进行描点，最后通过曲线拟合的方式，即可得出如图2所示的ROC曲线。
步骤4、采用梯形法计算AUC，作为异常预警准确率的计算方法。
ROC曲线下方的面积AUC的意义在于，假设阈值以上是发生异常，以下是未发生异常，若随机抽取一个异常样本和一个未异常样本，预测模型正确预警异常样本的值高于未异常样本的概率为AUC，即AUC值越大的分类器，正确率越高。
所谓梯形法，即简单地将每个相邻的点以直线连接，计算连线下方的总面积，如图3所示。
则异常预警模型准确率的计算公式为：
AUC＝∑Si
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何属于本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (2)
1.一种基于ROC曲线的分布式光伏系统异常预警准确率计算方法，其特征在于包括如下步骤：
步骤1、构建分布式光伏系统异常预警结果二元分类模型：将一个预警结果映射到一个特定类的过程；
步骤2、根据二元分类模型建立ROC空间：将分布式光伏系统实际发生异常，预警模型正确预警出异常发生了的比例定义为X轴，实际没有发生异常，但预警模型误报异常发生的比例定义为Y轴，从而构建成为ROC空间；
步骤3、将异常预警模型每个阈值的座标在ROC空间里进行描绘，形成特定模型的ROC曲线：修改预警模型中异常判断的阈值，形成一系列异常判断结果的准确性度量结果，将度量结果在ROC空间中进行逐一描点，形成用于评价特定预警模型准确性的ROC曲线；
步骤4、计算AUC，作为异常预警准确率的计算方法。
2.如权利要求1所述的基于ROC曲线的分布式光伏系统异常预警准确率计算方法，其特征在于：步骤4采用梯形法计算AUC，具体为：将ROC曲线上每个相邻的点以直线连接，构成一个梯形并计算其面积，将所有梯形的面积加和即为ROC曲线下的总面积，即AUC。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811494796.5A CN109635415B (zh) | 2018-12-07 | 2018-12-07 | 基于roc曲线的分布式光伏系统异常预警准确率计算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811494796.5A CN109635415B (zh) | 2018-12-07 | 2018-12-07 | 基于roc曲线的分布式光伏系统异常预警准确率计算方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109635415A true CN109635415A (zh) | 2019-04-16 |
| CN109635415B CN109635415B (zh) | 2022-11-25 |
Family
ID=66071918
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811494796.5A Active CN109635415B (zh) | 2018-12-07 | 2018-12-07 | 基于roc曲线的分布式光伏系统异常预警准确率计算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109635415B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113777495A (zh) * | 2021-08-25 | 2021-12-10 | 同济大学 | 基于特征面积的锂电池容量跳水在线多级预警方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003197509A (ja) * | 2001-12-27 | 2003-07-11 | Nikon Corp | 異常検出方法、露光方法及び露光装置、並びにデバイス製造方法 |
| WO2017156835A1 (zh) * | 2016-03-18 | 2017-09-21 | 深圳大学 | 健身姿势识别、评估、预警和强度估算的智能方法及系统 |
| CN108509644A (zh) * | 2018-04-12 | 2018-09-07 | 成都优易数据有限公司 | 一种具备模型预警更新机制的数据挖掘方法 |
| CN108932580A (zh) * | 2018-06-05 | 2018-12-04 | 浙江运达风电股份有限公司 | 基于数据建模的风电机组变桨轴承磨损监测和预警方法 |
-
2018
- 2018-12-07 CN CN201811494796.5A patent/CN109635415B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003197509A (ja) * | 2001-12-27 | 2003-07-11 | Nikon Corp | 異常検出方法、露光方法及び露光装置、並びにデバイス製造方法 |
| WO2017156835A1 (zh) * | 2016-03-18 | 2017-09-21 | 深圳大学 | 健身姿势识别、评估、预警和强度估算的智能方法及系统 |
| CN108509644A (zh) * | 2018-04-12 | 2018-09-07 | 成都优易数据有限公司 | 一种具备模型预警更新机制的数据挖掘方法 |
| CN108932580A (zh) * | 2018-06-05 | 2018-12-04 | 浙江运达风电股份有限公司 | 基于数据建模的风电机组变桨轴承磨损监测和预警方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113777495A (zh) * | 2021-08-25 | 2021-12-10 | 同济大学 | 基于特征面积的锂电池容量跳水在线多级预警方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109635415B (zh) | 2022-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105572651A (zh) | 一种基于杂波背景统计识别的cfar检测方法 | |
| CN104134006A (zh) | 一种基于历史数据聚类的电力设备动态阈值整定方法 | |
| CN107463938A (zh) | 一种基于间隔校正支持向量机的航空发动机气路部件故障检测方法 | |
| CN110210730A (zh) | 一种区域综合能源系统能效状态评价方法 | |
| CN103456009B (zh) | 目标检测方法与装置、监控系统 | |
| CN111784093B (zh) | 一种基于电力大数据分析的企业复工辅助判断方法 | |
| CN111299318B (zh) | 一种热轧板带产品表面质量的自动判定方法 | |
| Jiang et al. | Short term prediction of extreme returns based on the recurrence interval analysis | |
| CN104463920A (zh) | 面向圆形标志符的两级优化霍夫变换快速检测定位方法 | |
| CN103366177A (zh) | 对象检测分类器生成方法和设备、图像对象检测方法和设备 | |
| CN105812799A (zh) | 视频帧内预测模式的快速选择方法及其装置 | |
| CN109635415A (zh) | 基于roc曲线的分布式光伏系统异常预警准确率计算方法 | |
| CN106599924A (zh) | 一种基于三支决策的分类器构建方法 | |
| CN109753372A (zh) | 多维数据异常检测方法、装置、可读存储介质及电子设备 | |
| CN108197254B (zh) | 一种基于近邻的数据修复方法 | |
| CN107844914A (zh) | 基于集团管理的风险管控系统和实现方法 | |
| CN116595426A (zh) | 一种工业物联网数据智能采集管理系统 | |
| CN105469384B (zh) | 车牌图像质量的综合评价方法 | |
| CN106447662A (zh) | 一种基于组合距离的fcm图像分割算法 | |
| JP5875430B2 (ja) | 異常検出装置、プログラムおよび異常検出方法 | |
| CN104992050A (zh) | 基于统计信号处理的时间序列特性评价的预测模型选择方法 | |
| Liu et al. | Detecting point pattern of multiple line segments using Hough transformation | |
| CN111461003A (zh) | 基于视频图像序列特征提取的燃煤工况识别方法 | |
| CN114118730A (zh) | 一种电力企业业务流程的合规检测方法 | |
| CN109508820A (zh) | 基于差异化建模的校园用电量预测建模方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |