CN111126727B - 电力计费分布式并行异常检测方法 - Google Patents
电力计费分布式并行异常检测方法 Download PDFInfo
- Publication number
- CN111126727B CN111126727B CN201811278421.5A CN201811278421A CN111126727B CN 111126727 B CN111126727 B CN 111126727B CN 201811278421 A CN201811278421 A CN 201811278421A CN 111126727 B CN111126727 B CN 111126727B
- Authority
- CN
- China
- Prior art keywords
- power grid
- parallel
- service data
- algorithm
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 35
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 104
- 230000002159 abnormal effect Effects 0.000 claims abstract description 82
- 238000004364 calculation method Methods 0.000 claims abstract description 34
- 238000012216 screening Methods 0.000 claims abstract description 27
- 238000005457 optimization Methods 0.000 claims abstract description 18
- 230000009977 dual effect Effects 0.000 claims description 49
- 230000009467 reduction Effects 0.000 claims description 41
- 230000008878 coupling Effects 0.000 claims description 14
- 238000010168 coupling process Methods 0.000 claims description 14
- 238000005859 coupling reaction Methods 0.000 claims description 14
- 238000007635 classification algorithm Methods 0.000 claims description 4
- 230000005856 abnormality Effects 0.000 claims 6
- 230000006870 function Effects 0.000 description 48
- 239000010410 layer Substances 0.000 description 20
- 238000000034 method Methods 0.000 description 12
- 239000002355 dual-layer Substances 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000005611 electricity Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种电力计费分布式并行异常检测方法，其包括以下步骤：获取电网异常问题；获取电网业务数据；采用并行坐标下降计算方法筛选所述电网业务数据，所述电网业务数据存在符合所述电网异常问题时，发出异常信号。上述电力计费分布式并行异常检测方法，通过利用电网业务数据尤其是电力计费数据所自有的一定程度的稀疏性，采用并行坐标下降计算方法筛选电网业务数据，且利用数据的稀疏性能够获得更好的下界并达到优化目标，无需每次进行遍历所有数据，从而更精确地找到异常问题，降低了算法开销，极大地提高了异常检测效率。
Description
技术领域
本申请涉及电力计费领域，特别是涉及电力计费分布式并行异常检测方法。
背景技术
对于稽查分析来说，电网异常事件通常包括漏报、误报、电表故障、窃电、补贴不当、少缴费、不缴费等违规违法情况，外在表现大多为电表相对读数为零度，简称零度户。这些情况，通过人工分析比对，可以识别发现大部分问题，但由于工作量繁重，且人工易犯错等缺陷，导致一些稽查错误，或漏查现象时有发生。这项人工工作成本巨大，且工作人员往往认为这类繁琐却又简单重复的体力劳动没有任何价值，工作效率低，容易疲劳。
坐标下降算法是一类经典且有效的一阶算法，用途十分广泛。坐标下降算法的优点是：当沿着某一个维度去优化目标函数时候，意味着自变量的其他分量是固定的，所以此时目标函数变得更加简单。其次坐标下降算法没有步长参数，因此节省了线性搜索步长的开销。在并行化方面，现在也已经提出很多方法。但总体来看，一阶算法仍然存在按照顺序迭代的约束，使得算法并行化非常困难，因此当前坐标下降算法的并行度很低。当前大数据并行化的坐标下降算法要解决的关键问题是：原始的坐标下降算法在每一次的内部迭代中只使用一个向量去更新迭代变量。并行化的思路自然就是如何同时的使用多个向量去更新迭代变量的多个位置上的元素。但是由于坐标下降算法本质上是按序依次选取坐标去更新的，这种顺序的迭代性质使得并行化非常困难。这种困难主要表现在：假设原来设计的串行坐标下降算法，直接用两个或以上线程并行运行，多个线程同时去更新某一个迭代向量的多个元素，这将导致算法和数据失效问题：1号失效和2号失效。其中，1号失效是指坐标下降算法要求在更新一个坐标时，其他坐标应该固定不变；这时如果多个线程同时更新不同坐标，就会导致这种串行算法从原理上失效。2号失效问题是指前述多个线程同时对原来串行算法的同一个向量的同一个元素进行改写，而导致写失效。
为解决此问题，很多传统算法都是采取绕开或忽略以上失效问题的方法。如Mini-Batch为了避免数据不一致后果，没有同时更新多个位置上元素。PASSCoDe给出了多个版本算法试图逐步加大并行度。其中，PASSCoDe-Lock版本实质上是一个串行算法，并且在性能上甚至不如传统单机算法。PASSCoDe-Wild则粗暴选取多个坐标更新，该算法首先存在前述的1号失效问题，这导致PASSCoDe-Wild在绝大多数情况下都不会收敛到最优解。为了避免2号失效问题，PASSCoDe-Atomic通过原子操作去避免写冲突，但这又牺牲了并行。Mini-Batch绕过失效问题后对传统算法的串行计算过程并行优化，但是Mini-Batch方法有以下缺陷：
1)每一个分块的更新都比较小，算法的并行度低。
2)采用集中更新方法避免写冲突。但是，这种集中更新要求每次进行更新后对所有数据遍历一次，这不仅加大了算法开销，并且对于分布式并行算法来说是不现实的。
3)Mini-Batch方法的收敛性随着分块的增大而减慢。
发明内容
基于此，有必要提供一种电力计费分布式并行异常检测方法。
一种电力计费分布式并行异常检测方法，其包括以下步骤：获取电网异常问题；获取电网业务数据；采用并行坐标下降计算方法筛选所述电网业务数据，所述电网业务数据存在符合所述电网异常问题时，发出异常信号。
上述电力计费分布式并行异常检测方法，通过利用电网业务数据尤其是电力计费数据所自有的一定程度的稀疏性，采用并行坐标下降计算方法筛选电网业务数据，且利用数据的稀疏性能够获得更好的下界并达到优化目标，无需每次进行遍历所有数据，从而更精确地找到异常问题，降低了算法开销，极大地提高了异常检测效率。
在其中一个实施例中，采用并行坐标下降计算方法筛选所述电网业务数据，包括：采用双层对偶坐标下降并行算法筛选所述电网业务数据。
在其中一个实施例中，所述双层对偶坐标下降并行算法包括：根据对偶问题的目标函数，分析坐标的耦合关联关系，解除或者延迟某一大块数据的耦合关联关系，把所述电网异常问题分为多个子问题，并将各所述子问题的目标函数转化为对偶问题；对各所述子问题并行求解。
在其中一个实施例中，采用双层对偶坐标下降并行算法筛选所述电网业务数据，包括：根据所述电网异常问题拆分设置多个子问题，并分别为各所述子问题设置目标函数；分别根据各所述目标函数将各所述子问题转化为对偶问题并求解最优的可分近似函数；其中，所述可分近似函数用于使划分的子问题达到最大限度并行同时保证最后结果的求解精度满足预定要求；根据最优的可分近似函数获得最优的归约参数；采用最优的归约参数进行并行坐标下降计算筛选所述电网业务数据。
在其中一个实施例中，为各所述子问题设置目标函数时，还利用所述电网业务数据的稀疏性获得下界，以使所述下界贴近所述目标函数。
在其中一个实施例中，所述并行坐标下降计算方法采用以下步骤得到优选算法模型：获取电网历史业务数据；为所述电网历史业务数据设置基础分类算法；确定优化目标并根据所述电网异常问题拆分设置多个子问题；根据所述优化目标及所述子问题确定归约参数；建立算法模型；判断所述算法模型是否已经收敛，是则采用所述算法模型作为所述优选算法模型，确定最优的归约参数，否则执行后续步骤；采用并行对偶坐标下降算法计算模型参数的最优解，并根据所述最优解调整所述归约参数的权重，继续执行建立算法模型。
在其中一个实施例中，根据所述最优解调整所述归约参数的权重时还探测范围。
在其中一个实施例中，所述异常信号包括报警信息和/或报警声音。
在其中一个实施例中，所述电网异常问题包括漏报、误报、电表故障、窃电、补贴不当、少缴费和/或不缴费。
在其中一个实施例中，所述电力计费分布式并行异常检测方法还包括步骤：根据所述异常信号及所述电网业务数据确定异常位置。
进一步地，在其中一个实施例中，判断所述异常位置的电力计费装置是否异常，是则调整所述电力计费装置。
进一步地，在其中一个实施例中，判断所述异常位置的电力计费装置是否异常，否则进一步判断所述异常位置的电力计费装置是否被破坏，是则停止供电和/或报警处理。
附图说明
图1为本申请一个实施例的流程示意图。
图2为本申请另一个实施例的示意图。
图3为本申请另一个实施例的示意图。
图4为本申请另一个实施例的示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似改进，因此本申请不受下面公开的具体实施例的限制。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的，并不表示是唯一的实施方式。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。在本申请的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
本申请采用了并行化的坐标下降算法来电力计费分布式并行异常检测，本申请一个实施例是，一种电力计费分布式并行异常检测方法，其包括以下步骤：获取电网异常问题；获取电网业务数据；采用并行坐标下降计算方法筛选所述电网业务数据，所述电网业务数据存在符合所述电网异常问题时，发出异常信号。上述电力计费分布式并行异常检测方法，通过利用电网业务数据尤其是电力计费数据所自有的一定程度的稀疏性，采用并行坐标下降计算方法筛选电网业务数据，且利用数据的稀疏性能够获得更好的下界并达到优化目标，无需每次进行遍历所有数据，从而更精确地找到异常问题，降低了算法开销，极大地提高了异常检测效率。在其中一个实施例中，如图1所示，一种电力计费分布式并行异常检测方法，其包括以下步骤：获取电网异常问题；获取电网业务数据；采用并行坐标下降计算方法筛选所述电网业务数据，判断所述电网业务数据是否存在符合所述电网异常问题，是则发出异常信号。
在其中一个实施例中，采用并行坐标下降计算方法筛选所述电网业务数据，包括：采用双层对偶坐标下降并行算法筛选所述电网业务数据。在其中一个实施例中，一种电力计费分布式并行异常检测方法，其包括以下步骤：获取电网异常问题；获取电网业务数据；采用双层对偶坐标下降并行算法筛选所述电网业务数据，所述电网业务数据存在符合所述电网异常问题时，发出异常信号。其余实施例以此类推。这样的设计，针对电力计费大数据的双层对偶坐标下降并行算法，充分利用电网业务数据的大数据特性达到优化目标，从而更精确、更迅速地找到异常分类。
电网业务数据较多时，尤其是电网业务历史数据较多时，例如电网业务数据为或包括电力计费数据，此时可以理解为电力计费大数据，本领域的技术人员可以理解，电力计费大数据都会伴随着一定程度的稀疏性，因此，考虑到电网业务数据的稀疏性和其所带来的关联性等其它特性，在其中一个实施例中，所述双层对偶坐标下降并行算法包括：根据对偶问题的目标函数，分析坐标的耦合关联关系，解除或者延迟某一大块数据的耦合关联关系，把所述电网异常问题分为多个子问题，并将各所述子问题的目标函数转化为对偶问题；对各所述子问题并行求解。在其中一个实施例中，一种电力计费分布式并行异常检测方法，其包括以下步骤：获取电网异常问题；获取电网业务数据；采用双层对偶坐标下降并行算法筛选所述电网业务数据，所述电网业务数据存在符合所述电网异常问题时，发出异常信号；其中，所述双层对偶坐标下降并行算法包括：根据对偶问题的目标函数，分析坐标的耦合关联关系，解除或者延迟某一大块数据的耦合关联关系，把所述电网异常问题分为多个子问题，并将各所述子问题的目标函数转化为对偶问题；对各所述子问题并行求解。其余实施例以此类推。这样的设计，通过提出可并行子问题划分方法的方式，首先把各种问题的目标函数转化为对偶问题的方式，再对具体的对偶问题设计并行的坐标下降算法。相较之下，传统的坐标下降算法是在每一次迭代中，先制定或随机选中一个坐标，然后在固定其他坐标不变的前提下求解目标函数的最优值，这时候目标函数可以化归为单变量优化函数，从而使目标函数的值在不断迭代的过程中逐渐下降直到收敛至最优解。但这一过程是按顺序串行进行的，难以实现并行计算，且需要投入大量人工和计算资源。而本申请是从对偶问题的目标函数入手，分析坐标的耦合关联关系，采取各种数学方法解除或者延迟某一大块数据的耦合关联关系，把该问题拆分成多个子问题，再对子问题并行求解，由此可见本申请能够真正地实现并行坐标下降计算，从而达到大幅度提高并行度的目标；这是传统坐标下降计算方法所无法实现的。并且，所述双层对偶坐标下降并行算法的电网业务数据和/或电网异常问题的每一个分块的更新不受限制，算法的并行度极高，且无需集中更新，不需要在每次进行更新后对所有数据遍历，从而降低了算法开销，相对于每次进行更新后对所有数据遍历的算法，约可降低算法开销超过80％，具有显著的计算效率，且收敛性不随分块的增大而发生显著减慢。
在其中一个实施例中，采用双层对偶坐标下降并行算法筛选所述电网业务数据，包括：根据对偶问题的目标函数，分析坐标的耦合关联关系，解除或者延迟所述电网业务数据和/或所述电网异常问题中的数据的耦合关联关系，把所述电网异常问题分为多个子问题，并将各所述子问题的目标函数转化为对偶问题；对各所述子问题并行求解，得到最优的可分近似函数并获得最优的归约参数，采用最优的归约参数进行并行坐标下降计算筛选所述电网业务数据。在其中一个实施例中，为各所述子问题设置目标函数时，还利用所述电网业务数据的稀疏性获得下界，以使所述下界贴近所述目标函数。这样，可以利用分布式并行机器学习方法对电网业务大数据进行筛选，发现异常事件，然后进行处理，例如停止供电、增加二次抄表指令或上报稽查人工处理等，对于传统人工分析比对，异常检测效率可提升超过93％。
上述实施例，充分利用电网业务大数据例如电力计费大数据的稀疏性以获得更加好的下界，在理论上将保证所得到的下界更加贴近目标函数。相比传统并行算法的归约过程中，采用人工调整归约参数，为了确定合适的参数，只能在电力计费大数据的样本数据上进行反复的训练，这会导致巨大的开销，在实施中难以实现或者需要提供海量的系统计算资源，且计算效率极低。为了避免这个开销，本实施例通过把归约过程转化为一个优化问题，也就是说，通过一个最优化求解问题去获得最优的归约参数；然后针对所提出的并行坐标下降计算方法例如双层对偶坐标下降并行算法给出收敛性分析，形成从问题建立、问题分解、优化求解、到归约收敛性分析的一整套通用的并行化处理体系，能够利用数据的稀疏性能够获得更好的下界并达到优化目标，无需每次进行遍历所有数据，从而更精确地找到异常问题，降低了算法开销，极大地提高了异常检测效率。
在其中一个实施例中，采用双层对偶坐标下降并行算法筛选所述电网业务数据，包括：根据所述电网异常问题拆分设置多个子问题，并分别为各所述子问题设置目标函数；分别根据各所述目标函数将各所述子问题转化为对偶问题并求解最优的可分近似函数；其中，所述可分近似函数用于使划分的子问题达到最大限度并行同时保证最后结果的求解精度满足预定要求；根据最优的可分近似函数获得最优的归约参数；采用最优的归约参数进行并行坐标下降计算筛选所述电网业务数据。在其中一个实施例中，采用双层对偶坐标下降并行算法筛选所述电网业务数据，包括：根据对偶问题的目标函数，分析坐标的耦合关联关系，解除或者延迟某一大块数据的耦合关联关系，根据所述电网异常问题拆分设置多个子问题，并分别为各所述子问题设置目标函数；分别根据各所述目标函数将各所述子问题转化为对偶问题并求解最优的可分近似函数；其中，所述可分近似函数用于使划分的子问题达到最大限度并行同时保证最后结果的求解精度满足预定要求；根据最优的可分近似函数获得最优的归约参数；采用最优的归约参数进行并行坐标下降计算筛选所述电网业务数据。这样的设计，提出了子问题归约的最优解决方案，能够收敛计算得到最优解，从而以并行计算方式更快速且精确地找到异常分类，确定所述电网业务数据是否存在符合所述电网异常问题。
进一步地，所述并行坐标下降计算方法或所述双层对偶坐标下降并行算法采用优选算法模型筛选所述电网业务数据，即，采用并行坐标下降计算方法及其优选算法模型筛选所述电网业务数据；或者，采用双层对偶坐标下降并行算法及其优选算法模型筛选所述电网业务数据。或者，采用并行坐标下降计算方法筛选所述电网业务数据包括：采用具有优选算法模型的并行坐标下降计算方法筛选所述电网业务数据，或者，采用具有优选算法模型的双层对偶坐标下降并行算法筛选所述电网业务数据。在其中一个实施例中，所述并行坐标下降计算方法采用以下步骤得到优选算法模型：获取电网历史业务数据；为所述电网历史业务数据设置基础分类算法；确定优化目标并根据所述电网异常问题拆分设置多个子问题；根据所述优化目标及所述子问题确定归约参数；建立算法模型，此时的算法模型为待修正的算法模型；判断所述算法模型是否已经收敛，是则采用所述算法模型作为所述优选算法模型，确定最优的归约参数，否则执行后续步骤；采用并行对偶坐标下降算法计算模型参数的最优解，并根据所述最优解调整所述归约参数的权重，继续执行建立算法模型。这样的设计，通过采用大数据分布式并行机器学习算法，对海量历史业务数据进行学习、归纳分析，并对算法进行大规模训练、调优、测试，最终解决异常事件检测分析自动化问题。进一步地，根据所述电网历史业务数据的历史抄表行度以及计量自动化数据，比对同类型正常客户用电轨迹，分析判断电网业务数据中的估抄、漏抄、错抄等异常电量数据，查找疑似抄表质量问题或故障客户。进一步地，在其中一个实施例中，采用并行坐标下降计算方法筛选所述电网业务数据，根据所述电网历史业务数据的历史抄表行度以及计量自动化数据，比对同类型正常客户用电轨迹，所述电网业务数据存在符合所述电网异常问题时，分析判断电网业务数据中的估抄、漏抄、错抄等异常电量数据，查找疑似抄表质量问题或故障客户，发出异常信号。进一步地，所述异常信号包括抄表质量问题或故障客户信息。
进一步地，在其中一个实施例中，采用双层对偶坐标下降并行算法筛选所述电网业务数据中，先找到对偶问题目标函数的一个最优的可分近似函数，然后在这个近似函数上用并行坐标下降算法去求解。这里最优的可分近似函数是指该函数可以使划分的子问题达到最大限度并行，同时保证最后结果的求解精度满足预定要求。下面以支持向量机(SVM，Support Vector Machine)为例来说明采用双层对偶坐标下降并行算法筛选所述电网业务数据具体的路线和方案。假设给定数据集：{(xi，yi)},i＝1,2,…,L.xi∈Rn,yi∈{1,-1}，那么SVM所得到的模型参数w*就是下式(1)的最优解。
在其中一个实施例中，采用该模型参数作为所述最优的归约参数进行并行坐标下降计算筛选所述电网业务数据。
各实施例中，所述双层对偶坐标下降并行算法中的双层是指每一轮的迭代都分为内层和外层。该算法在内层根据对偶目标函数的可分近似下界做并行求解，如图2所示为该内层并行求解部分示意图，将并行区域划分为K个分块，即分块B1至BK，采用对偶求解方式，例如引进拉格朗日乘子α＝{α1,α2..αK}，采用拉格朗日函数及松弛变量进行计算。该算法将在外层对内层并行求解得到的结果进行归约。本申请的实施例采用数据的稀疏性计算对偶目标函数的可分下界，以获得更高并行度子问题的划分，从而提升了并行区域，即算法的并行化。且由于电力计费大数据都伴随着一定的稀疏性，本申请充分利用数据的稀疏性以获得更加贴近目标函数的下界。在归约方面，本申请把归约过程转化为一个优化问题，也就是说，通过一个最优化求解去获得最优的归约参数，而不是像传统算法那样通过反复遍历数据，比较不同的参数组合，最后因运算量太大而只能通过启发式方法获得次优的归约参数；因此本申请的所述电力计费分布式并行异常检测方法相对于传统算法极大地提升了计算效率，降低了开销，节约了系统资源和人力资源。
在其中一个实施例中，根据所述最优解调整所述归约参数的权重时还探测范围。进一步地，根据所述最优解及所探测的范围调整所述归约参数的权重，以使调整后的所述归约参数不超过目标范围。在其中一个实施例中，对于电网业务数据和/或电网异常问题，将其作为大数据，如图3所示，并行坐标下降计算方法采用以下步骤得到优选算法模型：建立大数据训练集，设置基础分类算法，确定优化目标并配合子问题划分，实现规约参数确定，建立算法模型，判断所述算法模型是否已经收敛，是则采用所述算法模型作为最终算法模型即所述优选算法模型，确定最优的归约参数，否则采用并行对偶坐标下降算法计算模型参数的最优解且同时探测范围，并根据所述最优解及所探测的范围调整所述归约参数的权重，继续执行建立算法模型及其后续步骤。
可以理解，根据实际需求可以设计多种异常信号分别或同时发出，在其中一个实施例中，所述异常信号包括报警信息和/或报警声音。例如当判定所述电网业务数据存在符合所述电网异常问题时，发出报警信息或者报警声音。在其中一个实施例中，向管理人员或者管理系统或者管理终端发出报警信息；和/或，在其中一个实施例中，在监控区域例如监控室发出报警声音。和/或，在其中一个实施例中，所述电网异常问题包括漏报、误报、电表故障、窃电、补贴不当、少缴费和/或不缴费。还可以根据工作的实际状态或实际问题，灵活设计或调整所述电网异常问题。进一步地，在其中一个实施例中，获取电网异常问题之后，还包括步骤：调整所述电网异常问题。这样可以与时俱进地更新电网异常问题。
在其中一个实施例中，所述电力计费分布式并行异常检测方法还包括步骤：根据所述异常信号及所述电网业务数据确定异常位置。在其中一个实施例中，如图4所示，一种电力计费分布式并行异常检测方法，其包括以下步骤：获取电网异常问题；获取电网业务数据；采用并行坐标下降计算方法筛选所述电网业务数据，判断所述电网业务数据是否存在符合所述电网异常问题，是则发出异常信号；根据所述异常信号及所述电网业务数据确定异常位置。其余实施例以此类推。进一步地，在其中一个实施例中，判断所述异常位置的电力计费装置是否异常，是则调整所述电力计费装置。进一步地，在其中一个实施例中，判断所述异常位置的电力计费装置是否异常，否则进一步判断所述异常位置的电力计费装置是否被破坏，是则停止供电和/或报警处理。进一步地，在其中一个实施例中，判断所述异常位置的电力计费装置是否异常，是则调整所述电力计费装置，否则进一步判断所述异常位置的电力计费装置是否被破坏，是则停止供电和/或报警处理。这样，可以及时有效地发现异常，采取必要措施。
需要说明的是，本申请的其它实施例还包括，上述各实施例中的技术特征相互组合所形成的、能够实施的电力计费分布式并行异常检测方法。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种电力计费分布式并行异常检测方法，其特征在于，包括以下步骤：
获取电网异常问题；
获取电网业务数据；
采用并行坐标下降计算方法筛选所述电网业务数据，根据所述电网历史业务数据的历史抄表行度以及计量自动化数据，比对同类型正常客户用电轨迹，分析判断电网业务数据中的估抄、漏抄及错抄的异常电量数据，查找疑似抄表质量问题或故障客户，所述电网业务数据存在符合所述电网异常问题时，发出异常信号；
其中，所述并行坐标下降计算方法采用以下步骤得到优选算法模型：
获取电网历史业务数据；
为所述电网历史业务数据设置基础分类算法；
确定优化目标并根据所述电网异常问题拆分设置多个子问题；
根据所述优化目标及所述子问题确定归约参数；
建立算法模型；
判断所述算法模型是否已经收敛，是则采用所述算法模型作为所述优选算法模型，确定最优的归约参数，否则执行后续步骤；
采用并行对偶坐标下降算法计算模型参数的最优解，并根据所述最优解调整所述归约参数的权重，继续执行建立算法模型。
2.根据权利要求1所述电力计费分布式并行异常检测方法，其特征在于，采用并行坐标下降计算方法筛选所述电网业务数据，包括：采用双层对偶坐标下降并行算法筛选所述电网业务数据。
3.根据权利要求2所述电力计费分布式并行异常检测方法，其特征在于，所述双层对偶坐标下降并行算法包括：根据对偶问题的目标函数，分析坐标的耦合关联关系，解除或者延迟某一大块数据的耦合关联关系，把所述电网异常问题分为多个子问题，并将各所述子问题的目标函数转化为对偶问题；对各所述子问题并行求解。
4.根据权利要求2所述电力计费分布式并行异常检测方法，其特征在于，采用双层对偶坐标下降并行算法筛选所述电网业务数据，包括：
根据所述电网异常问题拆分设置多个子问题，并分别为各所述子问题设置目标函数；
分别根据各所述目标函数将各所述子问题转化为对偶问题并求解最优的可分近似函数；其中，所述可分近似函数用于使划分的子问题达到最大限度并行同时保证最后结果的求解精度满足预定要求；
根据最优的可分近似函数获得最优的归约参数；
采用最优的归约参数进行并行坐标下降计算筛选所述电网业务数据。
5.根据权利要求4所述电力计费分布式并行异常检测方法，其特征在于，为各所述子问题设置目标函数时，还利用所述电网业务数据的稀疏性获得下界，以使所述下界贴近所述目标函数。
6.根据权利要求1所述电力计费分布式并行异常检测方法，其特征在于，所述异常信号包括抄表质量问题或故障客户信息。
7.根据权利要求1所述电力计费分布式并行异常检测方法，其特征在于，根据所述最优解调整所述归约参数的权重时还探测范围。
8.根据权利要求1所述电力计费分布式并行异常检测方法，其特征在于，所述异常信号包括报警信息和/或报警声音。
9.根据权利要求1所述电力计费分布式并行异常检测方法，其特征在于，所述电网异常问题包括漏报、误报、电表故障、窃电、补贴不当、少缴费和/或不缴费。
10.根据权利要求1至9中任一项所述电力计费分布式并行异常检测方法，其特征在于，所述电力计费分布式并行异常检测方法还包括步骤：根据所述异常信号及所述电网业务数据确定异常位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811278421.5A CN111126727B (zh) | 2018-10-30 | 2018-10-30 | 电力计费分布式并行异常检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811278421.5A CN111126727B (zh) | 2018-10-30 | 2018-10-30 | 电力计费分布式并行异常检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111126727A CN111126727A (zh) | 2020-05-08 |
| CN111126727B true CN111126727B (zh) | 2022-08-02 |
Family
ID=70484601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811278421.5A Active CN111126727B (zh) | 2018-10-30 | 2018-10-30 | 电力计费分布式并行异常检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111126727B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115021997B (zh) * | 2022-05-26 | 2024-05-21 | 广州中南网络技术有限公司 | 一种基于机器学习的网络入侵检测系统 |
| CN115170003A (zh) * | 2022-09-08 | 2022-10-11 | 国网山东省电力公司兰陵县供电公司 | 窃电监控方法及系统、存储介质、终端 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103761685A (zh) * | 2014-01-23 | 2014-04-30 | 国家电网公司 | 基于MapReduce的电力数据并行化异常检测方法 |
| US9252915B1 (en) * | 2012-08-15 | 2016-02-02 | Washington State University | Systematic adaptation of data delivery |
| CN105354623A (zh) * | 2015-09-30 | 2016-02-24 | 中国电力科学研究院 | 一种面向电网时空数据的异常检测优化方法 |
| CN106779069A (zh) * | 2016-12-08 | 2017-05-31 | 国家电网公司 | 一种基于神经网络的异常用电检测方法 |
| CN107633050A (zh) * | 2017-09-18 | 2018-01-26 | 安徽蓝杰鑫信息科技有限公司 | 一种基于大数据分析用电行为判定窃电概率的方法 |
-
2018
- 2018-10-30 CN CN201811278421.5A patent/CN111126727B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9252915B1 (en) * | 2012-08-15 | 2016-02-02 | Washington State University | Systematic adaptation of data delivery |
| CN103761685A (zh) * | 2014-01-23 | 2014-04-30 | 国家电网公司 | 基于MapReduce的电力数据并行化异常检测方法 |
| CN105354623A (zh) * | 2015-09-30 | 2016-02-24 | 中国电力科学研究院 | 一种面向电网时空数据的异常检测优化方法 |
| CN106779069A (zh) * | 2016-12-08 | 2017-05-31 | 国家电网公司 | 一种基于神经网络的异常用电检测方法 |
| CN107633050A (zh) * | 2017-09-18 | 2018-01-26 | 安徽蓝杰鑫信息科技有限公司 | 一种基于大数据分析用电行为判定窃电概率的方法 |
Non-Patent Citations (3)
| Title |
|---|
| 可扩展机器学习的并行与分布式优化算法综述;亢良伊等;《软件学报》;20171009(第01期);全文 * |
| 基于坐标下降的并行稀疏子空间聚类方法研究;吴杰祺;《中国优秀硕士学位论文全文数据库(电子期刊)》;20180315;全文 * |
| 基于神经网络的异常用电检测算法模型研究;杨光;《供用电》;20161005;第33卷(第10期);正文第3节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111126727A (zh) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110231528B (zh) | 基于负荷特征模型库的变压器户变异常识别方法及装置 | |
| AU2022204116B2 (en) | Verification method for electrical grid measurement data | |
| CN109255440B (zh) | 基于递归神经网络（rnn）的对电力生产设备进行预测性维护的方法 | |
| CN110069467A (zh) | 基于皮尔逊系数与MapReduce并行计算的电网尖峰负荷聚类提取法 | |
| CN107679089B (zh) | 一种用于电力传感数据的清洗方法、装置和系统 | |
| CN110995153B (zh) | 一种光伏电站的异常数据检测方法、装置及电子设备 | |
| CN108491302A (zh) | 一种检测spark集群节点状态的方法 | |
| CN103645961B (zh) | 计算密集型并行任务的异常检测方法及系统 | |
| CN111126727B (zh) | 电力计费分布式并行异常检测方法 | |
| CN114861788A (zh) | 一种基于dbscan聚类的负荷异常检测方法及系统 | |
| CN112001409A (zh) | 一种基于K-means聚类算法的配电网线损异常诊断方法和系统 | |
| CN114977176B (zh) | 电力负荷分解方法、装置、设备及存储介质 | |
| US20090182994A1 (en) | Two-level representative workload phase detection method, apparatus, and computer usable program code | |
| CN110287114B (zh) | 一种数据库脚本性能测试的方法及装置 | |
| CN111198979A (zh) | 一种用于对输变电可靠性评估大数据进行清洗的方法及系统 | |
| CN105426915A (zh) | 基于支持向量机的预测方法及系统 | |
| Genkin et al. | Automatic, on-line tuning of YARN container memory and CPU parameters | |
| CN112528762B (zh) | 一种基于数据关联分析的谐波源识别方法 | |
| Tamura et al. | Deep learning based on fine tuning with application to the reliability assessment of similar open source software | |
| Wang et al. | Identifying execution anomalies for data intensive workflows using lightweight ML techniques | |
| Lu et al. | On the auto-tuning of elastic-search based on machine learning | |
| CN111476316B (zh) | 一种基于云计算下电力负荷特征数据均值聚类的方法及系统 | |
| CN113283076A (zh) | 用电异常的研究方法、装置与计算机可读存储介质 | |
| Hu et al. | Reloca: Optimize resource allocation for data-parallel jobs using deep learning | |
| Wu et al. | A distributed real-time data prediction framework for large-scale time-series data using stream processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200917 Address after: 510620 Tianhe District, Guangzhou, Tianhe South Road, No. two, No. 2, No. Applicant after: Guangzhou Power Supply Bureau of Guangdong Power Grid Co.,Ltd. Address before: 510620 Tianhe District, Guangzhou, Tianhe South Road, No. two, No. 2, No. Applicant before: GUANGZHOU POWER SUPPLY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |