CN111859302A - 一种居民用电安全分析中应用广义极致学生检验算法发现异常数据的方法 - Google Patents
一种居民用电安全分析中应用广义极致学生检验算法发现异常数据的方法 Download PDFInfo
- Publication number
- CN111859302A CN111859302A CN202010735877.0A CN202010735877A CN111859302A CN 111859302 A CN111859302 A CN 111859302A CN 202010735877 A CN202010735877 A CN 202010735877A CN 111859302 A CN111859302 A CN 111859302A
- Authority
- CN
- China
- Prior art keywords
- abnormal
- data
- electricity
- resident
- electricity utilization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 56
- 230000005611 electricity Effects 0.000 title claims abstract description 53
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title claims abstract description 13
- 238000007689 inspection Methods 0.000 title claims description 9
- 238000012360 testing method Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 claims description 2
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 206010000117 Abnormal behaviour Diseases 0.000 abstract description 2
- 238000007621 cluster analysis Methods 0.000 abstract description 2
- 230000004069 differentiation Effects 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 238000012795 verification Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/06—Electricity, gas or water supply
Abstract
居民用电安全分析旨在通过对大量的居民用电负荷数据，通过智能电表等终端设备采集，进而进行异常值监测，聚类分析，时间序列等方法得出不同居民的用电习惯，发现用电异常情况。但是由于居民用电的差异化和分散化，如何运用算法准确的找到居民用电中的异常值，确定异常情况的数量显得异常重要。本发明公开了一种居民用电安全分析中对居民用电负荷数据应用广义ESD算法发现异常数据的方法，以达到报告居民用电中异常行为，预警社区中异常用电情况的目的。
Description
技术领域
本发明涉及电力安全分析技术领域，具体涉及一种居民用电安全分析中应用广义极致学生检验算法发现异常数据的方法。
背景技术
近年来，社区用电安全问题进一步的突显。社区中群租，居民用电工业化应用的情况层出不穷，而通过对居民用电画像，习惯分析的居民用电安全分析可以为城市管理者在异常发生的第一时间发现此类违规的情况。居民用电安全分析旨在通过对大量的居民用电负荷数据，通过智能电表等终端设备采集，进而进行异常值监测，聚类分析，时间序列等方法得出不同居民的用电习惯，发现用电异常情况。但是由于居民用电的差异化和分散化，如何运用算法准确的找到居民用电中的异常值，确定异常情况的数量显得异常重要。本发明公开了一种居民用电安全分析中对居民用电负荷数据应用广义ESD (极致学生检验) 算法发现异常数据的方法，以达到报告居民用电中异常行为，预警社区中异常用电情况的目的。
发明内容
本发明提出了一种基于广义极致学生检验算法(以下简称广义ESD算法)对居民用电负荷数据的异常数据筛选的方法, 其特点在于应用广义ESD算法发现异常数据并且报告的功能。 广义ESD检验算法通常用于检测遵循近似正态分布的单变量数据集中的一个或多个离群值。广义ESD检验算法改善了Grubbs检验和Tietjen-Moore检验的必须准确指定可疑离群数k的限制。广义ESD检验算法仅要求指定可疑离群数的上限，即设定好相应的范围阈值，以及指定离群的范围，可以在给定上限r的情况下，实质上执行r项单独的测试：针对一个异常值的测试，针对两个异常值的测试，依此类推，直至r个异常值，以确定一组数据中存在的异常值的情况并筛选出相应的异常值。广义ESD检验算法相对于其他算法，没有一个确定的异常值数量，只确定了一个数理统计中达标的阈值，可以最大限度的找到可能存在的异常数据，提高对异常数据的检出率和准确性。
实际收集到的居民用电负荷数据经过广义ESD检验算法的计算分析，可以寻找到用电异常值并且通过时间戳找到异常发生的时间，通过锁定用电居民及异常用电行为进而可以实现对社区用电安全的高效管理。
附图说明
图1为本发明实施例中居民用电异常数据识别处理流程示意图。
具体实施方式
为使得本发明的内容、目的、特征及优点能够更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护说明书的范围。如图1所示，在本发明实施例中可分为如下步骤：
步骤一、数据预处理：对采集到的原始历史电力负荷历史数据按时间序列排列，确定数据集起止时间，标记数据时间戳及用电居民序号。
步骤二、广义ESD算法剔除异常值：将经过步骤1预处理的历史电力负荷数据标注时间戳后输入广义ESD算法模型。
对于一个给定的上限范围r，广义ESD算法模型执行r次独立测试，分别测试模型中有1个异常值，2个异常值，直到r个异常值。对于每组测试提出两种假设：
H0: 数据组中没有异常值
Ha: 数据组中有最多r个异常值
通过计算R值：
其中x¯ 和s分别为采样数据组的平均值和标准差，通过重复计算|xi−x¯|的n-1个值得到r测试的统计特征值R1, R2, ..., Rr
伴随计算r测试统计值，计算r的critical value， λ值：
其中tp,v 是统计数据中t分布的100p的分布点，其中有v个自由度，而p值等于
其中α为标准差，n为数据组总数，i为检测数据数。
数据组中的异常值由能满足Ri > λi的最大i数决定。
一旦确定了异常值的数量i值，所有在这之前发现的不满足Ri > λi条件的值都会被标为异常数值，并结合前一步的数据戳，准确剔除相应的异常数据。
步骤三、异常居民用电时间戳标记：将通过广义ESD检验算法被选出的异常用电负荷数据，按居民序号，时间戳一一对应，标记异常用电情况及定位用电居民。
本发明提出了一种对居民用电负荷数据的异常数据筛选的方法, 其特点在于应用广义ESD检验算法发现异常数据并且报告的功能，准确定位社区居民异常用电行为发生时间及地点，降低了排查不正常用电的人力投入及时间成本，提高了社区安全用电管理的效率，在愈发凸显重要性的用电安全管理领域中有广泛的应用空间。通过本发明的应用，可以大大提高用电安全管理的效率。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变型或替换均包含在本申请权利要求所限定的范围内。
Claims (2)
1.本发明一种居民用电安全分析中应用广义极致学生检验算法发现异常数据的方法，其特征在于，包括：
步骤一、数据预处理：对采集到的原始历史电力负荷历史数据按时间序列排列，确定数据集起止时间，标记数据时间戳及用电居民序号；
步骤二、广义ESD算法剔除异常值：将经过步骤1预处理的历史电力负荷数据标注时间戳后输入广义ESD算法模型，对于一个给定的上限范围r，广义ESD算法模型执行r次独立测试，分别测试模型中有1个异常值，2个异常值，直到r个异常值；
对于每组测试提出两种假设：
H0: 数据组中没有异常值
Ha: 数据组中有最多r个异常值
通过计算R值：
其中x¯ 和s分别为采样数据组的平均值和标准差，通过重复计算|xi−x¯|的n-1个值得到r测试的统计特征值R1, R2, ..., Rr
伴随计算r测试统计值，计算r的critical value， λ值：
其中tp,v 是统计数据中t分布的100p的分布点，其中有v个自由度，而p值等于
其中α为标准差，n为数据组总数，i为检测数据数，
数据组中的异常值由能满足Ri > λi的最大i数决定，
一旦确定了异常值的数量i值，所有在这之前发现的不满足Ri > λi条件的值都会被标为异常数值，并结合前一步的数据戳，准确剔除相应的异常数据；
步骤三、异常居民用电时间戳标记：将通过广义ESD检验算法被选出的异常用电负荷数据，按居民序号，时间戳一一对应，标记异常用电情况及定位用电居民。
2.本发明提出了一种对居民用电负荷数据的异常数据筛选的方法, 其特点在于应用广义ESD检验算法发现异常数据并且报告的功能，准确定位社区居民异常用电行为发生时间及地点，降低了排查不正常用电的人力投入及时间成本，提高了社区安全用电管理的效率，在愈发凸显重要性的用电安全管理领域中有广泛的应用空间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010735877.0A CN111859302A (zh) | 2020-07-28 | 2020-07-28 | 一种居民用电安全分析中应用广义极致学生检验算法发现异常数据的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010735877.0A CN111859302A (zh) | 2020-07-28 | 2020-07-28 | 一种居民用电安全分析中应用广义极致学生检验算法发现异常数据的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111859302A true CN111859302A (zh) | 2020-10-30 |
Family
ID=72948839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010735877.0A Pending CN111859302A (zh) | 2020-07-28 | 2020-07-28 | 一种居民用电安全分析中应用广义极致学生检验算法发现异常数据的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111859302A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105630885A (zh) * | 2015-12-18 | 2016-06-01 | 国网福建省电力有限公司泉州供电公司 | 一种用电异常检测方法及系统 |
| CN106228190A (zh) * | 2016-07-26 | 2016-12-14 | 广州华工弈高科技有限公司 | 针对居民异常用水的决策树判别方法 |
| CN106909793A (zh) * | 2017-03-03 | 2017-06-30 | 北京北青厚泽数据科技有限公司 | 检验服从近似正态分布的时间序列的异常的方法 |
| CN110609864A (zh) * | 2019-08-30 | 2019-12-24 | 广州奇化有限公司 | 一种面向化工供应链的数据可视化管理方法及装置 |
| CN110689279A (zh) * | 2019-10-12 | 2020-01-14 | 上海积成能源科技有限公司 | 一种基于电力负荷数据的居民用电安全隐患分析系统及方法 |
-
2020
- 2020-07-28 CN CN202010735877.0A patent/CN111859302A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105630885A (zh) * | 2015-12-18 | 2016-06-01 | 国网福建省电力有限公司泉州供电公司 | 一种用电异常检测方法及系统 |
| CN106228190A (zh) * | 2016-07-26 | 2016-12-14 | 广州华工弈高科技有限公司 | 针对居民异常用水的决策树判别方法 |
| CN106909793A (zh) * | 2017-03-03 | 2017-06-30 | 北京北青厚泽数据科技有限公司 | 检验服从近似正态分布的时间序列的异常的方法 |
| CN110609864A (zh) * | 2019-08-30 | 2019-12-24 | 广州奇化有限公司 | 一种面向化工供应链的数据可视化管理方法及装置 |
| CN110689279A (zh) * | 2019-10-12 | 2020-01-14 | 上海积成能源科技有限公司 | 一种基于电力负荷数据的居民用电安全隐患分析系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| 拉杰•卡马尔等: "《物联网导论》", 《物联网导论》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109583680B (zh) | 一种基于支持向量机的窃电辨识方法 | |
| CN109193650B (zh) | 一种基于高维随机矩阵理论的电网薄弱点评估方法 | |
| CN113032454A (zh) | 基于云计算的交互式用户用电异常监测预警管理云平台 | |
| GB2476246A (en) | Diagnosing an operation mode of a machine | |
| CN109063885A (zh) | 一种变电站异常量测数据预测方法 | |
| WO2018080523A1 (en) | Data cost effective fast similarity search with priority access | |
| CN109947815B (zh) | 一种基于离群点算法的窃电辨识方法 | |
| CN114977483A (zh) | 一种智能电网调控控制设备故障诊断系统 | |
| CN115689396A (zh) | 污染物排放管控方法、装置、设备及介质 | |
| CN117060409A (zh) | 电力线路运行状态自动化检测分析方法及系统 | |
| KR101281460B1 (ko) | 통계적 공정 관리도를 이용하여 이상증후를 탐지하는 방법 | |
| CN113591393A (zh) | 智能变电站的故障诊断方法、装置、设备和存储介质 | |
| CN109587145B (zh) | 一种电力网络中的虚假数据入侵检测方法、装置及设备 | |
| CN107703383A (zh) | 一种信息采集系统故障诊断知识库的建立方法 | |
| CN116764261B (zh) | 一种用于蒸馏流程的执行安全监管系统 | |
| CN109145257A (zh) | 一种基于多测点公共异常时间的大坝安全监测分析方法 | |
| CN117367533A (zh) | 一种物联网智能水表故障诊断方法、装置及设备 | |
| CN111859302A (zh) | 一种居民用电安全分析中应用广义极致学生检验算法发现异常数据的方法 | |
| CN113333304B (zh) | 一种基于互联网的环保卷材检测评估分拣系统 | |
| CN113672658B (zh) | 基于复相关系数的电力设备在线监测错误数据识别方法 | |
| CN114037010A (zh) | 一种电量数据异常的识别方法及装置 | |
| CN114531338A (zh) | 一种基于调用链数据的监控告警和溯源方法及系统 | |
| CN113888360A (zh) | 一种窃电用户识别方法、装置、设备及存储介质 | |
| CN114331688A (zh) | 一种银行柜面系统业务批量运行状态检测方法及装置 | |
| KR102188096B1 (ko) | 건설 구조물의 센서의 이벤트 분석방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201030 |
|
| RJ01 | Rejection of invention patent application after publication |