CN107145959A - 一种基于大数据平台的电力数据处理方法 - Google Patents
一种基于大数据平台的电力数据处理方法 Download PDFInfo
- Publication number
- CN107145959A CN107145959A CN201710180535.5A CN201710180535A CN107145959A CN 107145959 A CN107145959 A CN 107145959A CN 201710180535 A CN201710180535 A CN 201710180535A CN 107145959 A CN107145959 A CN 107145959A
- Authority
- CN
- China
- Prior art keywords
- data
- electric power
- msub
- node
- big data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 38
- 238000004458 analytical method Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 30
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000012800 visualization Methods 0.000 claims abstract description 7
- 230000002776 aggregation Effects 0.000 claims abstract description 6
- 238000004220 aggregation Methods 0.000 claims abstract description 6
- 238000007621 cluster analysis Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 6
- FNMKZDDKPDBYJM-UHFFFAOYSA-N 3-(1,3-benzodioxol-5-yl)-7-(3-methylbut-2-enoxy)chromen-4-one Chemical compound C1=C2OCOC2=CC(C2=COC=3C(C2=O)=CC=C(C=3)OCC=C(C)C)=C1 FNMKZDDKPDBYJM-UHFFFAOYSA-N 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000003064 k means clustering Methods 0.000 claims description 4
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 230000004888 barrier function Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 230000005611 electricity Effects 0.000 description 8
- 238000005457 optimization Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 230000033228 biological regulation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000002045 lasting effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 238000012098 association analyses Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0637—Strategic management or analysis, e.g. setting a goal or target of an organisation; Planning actions based on goals; Analysis or evaluation of effectiveness of goals
- G06Q10/06375—Prediction of business process outcome or impact based on a proposed change
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/06—Electricity, gas or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Abstract
本发明公开了一种基于大数据平台的电力数据处理方法，所述方法包括：获取电力网络中的应用数据；将所述应用数据按照预设的方式进行汇总处理，形成数据表格后将处理后的汇总数据发送并存储到与电力网络配套的大数据平台中；在大数据平台中，将所述汇总数据进行可视化处理并实时显示出来；采用聚类算法对所述汇总数据进行关联情况分析，找出电力网络中的关键电力节点；采用关联规则方法分析电力节点中的历史故障数据，并对电力节点进行评估和持续跟踪，当某一节点运行出现故障时，预测得到其他节点的故障情况。本申请所述的基于大数据平台的电力数据处理方法不仅能够提高电力数据收集和利用的效率，而且能够准确实现对故障点的预测。
Description
技术领域
本发明涉及数据处理技术领域，特别是指一种基于大数据平台的电力数据处理方法。
背景技术
对于电力行业来说，智能电网的迅速发展使信息通信技术正以前所未有的广度、深度与电网的生产、电力企业的管理进行快速融合，信息通信系统已逐渐成为智能电网的中枢神经，支撑着新一代电网的生产和电网管理的前进和发展。随着后续智能电表的逐步普及，电网业务数据将从时效性层面进一步丰富和拓展。基于大数据具有的大容量、多分类等特征，已经在海量、实时的电网业务数据中得到进一步凸显。因此，我们如果能够充分利用这些基于电网实际运行状态的数据，对其进行深入分析，就能够基于分析结果提供大量的高附加值的服务。
所以，随着电网架构悄然、渐进的改变，使得现有电网调控手段面临巨大的威胁和挑战。首先，并入电网的电源在时空上分布的不均衡性，主要体现在地域上分布的不均衡性，电源容量大小及容量利用因子的不均衡性。其次，源网流向在时空上分布的不清晰性。主要体现在输电与配电逻辑清晰的传统概念逐渐被打破，电网调控逻辑化解析程度逐渐减弱。最后，分布与集中的矛盾日益突出，主要体现在时空关联使电网向广域化发展。面对已经出现或即将出现的新的问题和挑战，电网调控手段必须相应的改变，才能够适应新形势下电网的发展。但是，现有电力网络监测技术大多数都是简单收集分布在电力网络中的传感器数据，并将传感器所反馈的信息显示在终端上，只是对数据进行了最基本的收集-显示的过程。这种传统的监测技术简单易懂，一目了然，但缺点是过于简单，只能实现电力数据的单纯罗列，对于数据没有一个分析的过程，无法分析出数据中隐含的信息，这对于有着丰富内容可供挖掘的海量电网业务数据来说无疑是一个巨大的浪费。
由此，在实现本申请的过程中，发明人发现现有技术存在以下缺陷：只能单纯的罗列数据导致电力数据利用率较低，同时也无法挖掘电力数据内在的关联和含义，进而在电网运行时不能对故障点进行准确的预测和分析。
发明内容
有鉴于此，本发明的目的在于提出一种基于大数据平台的电力数据处理方法，不仅能够提高电力数据收集和利用的效率，而且能够准确实现对故障点的预测。
基于上述目的本发明提供的一种基于大数据平台的电力数据处理方法，包括：
获取电力网络中的应用数据；其中，所述应用数据包括电力运行状态信息以及电力节点故障数据；
将所述应用数据按照预设的方式进行汇总处理，形成数据表格后将处理后的汇总数据发送并存储到与电力网络配套的大数据平台中；
在大数据平台中，将所述汇总数据进行可视化处理并实时显示出来；
采用聚类算法对所述汇总数据进行关联情况分析，找出电力网络中的关键电力节点；
采用关联规则方法分析电力节点中的历史故障数据，并对电力节点进行评估和持续跟踪，当某一节点运行出现故障时，预测得到其他节点的故障情况。
可选的，所述关联规则方法采用Apriori关联规则算法的spark分布式结构实现，并且结合spark框架及RDD算子进行综合设计，所述关联规则方法能够找出过往节点故障的相关性，进而在出现节点故障时能够对相关节点进行故障预测。
可选的，所述关联规则方法包括：
产生频繁第1项集L1；其中，所述第1项集L1为故障节点之间的初始关联概率对应的初始项集，具体为：
将事务集以预设的形式分布到多个机器上；其中，所述事务集为初始故障数据的集合；
对项目数进行累计计算，其中，所述项目数为相关节点的数目；
过滤低于预设支持度的项集，得到初始项集并且构建频繁第1项集L1；
获取新的故障数据，从频繁第k项集LK产生频繁第k+1项集LK+1，具体为：
使得频繁第k项集LK自连接，进而生成Ck+1；
对数据库进行扫描，利用第1项集生成的方法对CK+1F进行比对，进而生成LK+1。
可选的，所述聚类算法采用最大最小值K-means聚类算法。
可选的，所述聚类算法包括：
从初始数据集D中选取一个对象作为第一个聚类种子；
计算初始数据集D中其余对象与第一个聚类种子之间的距离；
选取距离最远的那个对象作为第二个聚类种子；
继续迭代计算得到初始数据集D中其余对象与两个聚类种子中心的距离；
计算出所有对象距离两个聚类种子中心较小的距离，找到该距离最大值对应的那个对象，判断是否满足
Max(min(d1，d2))>t|C2-C1|，其中d1，d2分别表示一个对象与已选出的两个聚类中心C1，C2的距离，t为检验参数；
若是满足，则将该对象选定为第三个聚类种子；
依照上述规则，依次迭代计算，直到没有点能够满足下列条件：
继而算法结束，得到聚类分析结果。
本申请还提供了一种基于大数据平台的电力数据处理系统，包括：
数据获取模块，用于获取电力网络中的应用数据；其中，所述应用数据包括电力运行状态信息以及电力节点故障数据；
数据处理模块，用于将所述应用数据按照预设的方式进行汇总处理，形成数据表格后将处理后的汇总数据发送并存储到与电力网络配套的大数据平台中；
数据显示模块，用于在大数据平台中，将所述汇总数据进行可视化处理并实时显示出来；
聚类分析模块，用于采用聚类算法对所述汇总数据进行关联情况分析，找出电力网络中的关键电力节点；
故障预测模块，用于采用关联规则方法分析电力节点中的历史故障数据，并对电力节点进行评估和持续跟踪，当某一节点运行出现故障时，预测得到其他节点的故障情况。
从上面所述可以看出，本申请所述的基于大数据平台的电力数据处理方法通过提出一种基于大数据平台的新式电力网络监测技术，将各个传感器的数据汇总成表，灌入与此电力网络相配套的大数据处理平台，并运用聚类、关联规则分析等分析方法对所得数据进行分析。本申请不仅规范了电力网络中数据的收集、存储、使用、分析的过程，提高了电力网络中所收集的数据的利用率，能对电力网络运行状况进行系统评估，使得对电力网络的维护更加方便，根据对所得数据进行关联规则分析的结果，可以预报一些难以检测出的隐患。此外，本申请由于采用流式大数据技术，数据全部来源于当前运行的电网，保证了数据的真实可信；由于流式大数据可做到数据来源的实时更新，并且SPARK技术允许在比硬盘快得多的内存中读写数据，使得大数据在电网优化和调度中的应用成为可能，其即时性也得到了保证。采用的新算法可以分析出某些过往故障节点之间的关联性，起到一定的预测作用，可分析出一些高风险节点提醒相关人员注意。因此，本申请所述的基于大数据平台的电力数据处理方法不仅能够提高电力数据收集和利用的效率，而且能够准确实现对故障点的预测。
附图说明
图1为本发明提供的基于大数据平台的电力数据处理方法的一个实施例的流程示意图；
图2为本发明提供的关联规则方法的一个实施例的流程示意图；
图3为本发明提供的基于大数据平台的电力数据处理系统的一个实施例的结构示意图；
图4为本发明提供的大数据平台的一个实施例的基本架构示意图；
图5为本发明提供的分布式Apriori关联规则算法的基本思路示意图；
图6为本发明提供的采用关联分析算法分析一组报警变压器、线路的分析结果示意图；
图7为本发明提供的大数据平台的另一个实施例的基本架构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
针对目前电力通信网络中存在的数据利用率极低以及安全态势无法预测或者预测不够准确的问题，本申请提供一种预测模型框架，即通过对电力数据的挖掘、处理及分析能够对电力通信网络安全态势进行准确预测。由此，本申请提供了一种基于大数据平台的电网资源的新式电力数据收集方法和故障预测的方法，也即数据处理方法。本申请中的数据处理方法由Spark大数据平台对电力通信网络数据处理、安全态势指标选取和并行粒子群优化神经网络算法等部分组成。
随着智能电网的迅速发展以及电力架构的不断更新，传统的电网管理理念已经无法适应电网管理的发展节奏，因此需要改变对电网节点的管理理念，从传统的“问题找人”变为现代化的“人找问题”，通过收集电网大数据进行数据的集中分析和处理，消除电网调度的盲区，解决资源互补、时空关联、分布与集中的矛盾，最终实现智能电网调度管理平台上多资源的互补协同利用。所以，本申请提供的基于大数据平台的电力数据处理方法，通过对电力网络运行过程中产生的一系列数据，运用聚类、关联规则分析等分析方法，挖掘出这些数据中隐含的规律或信息，用以解决之前的监测技术存在的单纯罗列数据，数据利用率差，无法对故障点进行预测，无法发现故障点规律等问题，解决目前的电力网络优化调度中存在的数据可信性、即时性不足，无法分析出当前电力网络关键节点等问题。
参照图1所示，为本发明提供的基于大数据平台的电力数据处理方法的一个实施例的流程示意图。所述基于大数据平台的电力数据处理方法包括：
步骤101，获取电力网络中的应用数据；其中，所述应用数据包括电力运行状态信息以及电力节点故障数据；其中，获取应用数据的方式是可以通过预先布置在电力网络中的传感器进行收集，或者还可以通过相应的网络获取电力应用数据。具体的所述应用数据包括个分区电表的读书数据、各变电站变压器运行状态数据等与电力运行状态相关的数据，以及能够表示电力网络节点故障相关的数据，例如什么时候发生了什么类型的故障。
步骤102，将所述应用数据按照预设的方式进行汇总处理，形成数据表格后将处理后的汇总数据发送并存储到与电力网络配套的大数据平台中；其中，对于电力应用数据的汇总可以预先设置一定的数据分类方式，使得同类数据能够准确的汇总到相同或者近似的位置。可选的，采用hive表的形式对汇总数据进行存储，这样能够便于数据的分类、调用和保存备份。
步骤103，在大数据平台中，将所述汇总数据进行可视化处理并实时显示出来；其中，可视化一般是指将数据通过一定的处理或者排列显示在显示器中，使得观看的用户能够及时获取数据对应的设备运行状态信息，例如显示为柱状图、线条图等等。
步骤104，采用聚类算法对所述汇总数据进行关联情况分析，找出电力网络中的关键电力节点，后续的分析将基于这些关键性节点进行；其中，所述采用聚类算法对所述汇总数据进行关联情况分析既可以是预先实施的步骤，也可以是在电网运行状态中实时更新分析出的结果，通过对汇总数据的聚类分析，使得用户能够找到关键电力节点，进而提高后续对电力节点进行分析的准确性和可靠性。
可选的，所述聚类算法采用最大最小值K-means聚类算法。所述最大最小值K-means聚类算法包括步骤如下：
从初始数据集D中选取一个对象作为第一个聚类种子；其中，所述聚类种子也即聚类的中心，也即可以将第一个聚类种子成为第一个聚类中心；
计算初始数据集D中其余对象与第一个聚类种子之间的距离；
选取距离最远的那个对象作为第二个聚类种子；也即在其余对象与第一个聚类种子的距离中，选取出距离最远的那个对象作为第二个聚类种子；
继续迭代计算得到初始数据集D中其余对象与两个聚类种子中心的距离；
计算出所有对象距离两个聚类种子中心较小的距离，找到该距离最大值对应的那个对象，判断是否满足
Max(min(d1，d2))>t|C2-C1|，其中d1，d2分别表示一个对象与已选出的两个聚类中心C1，C2的距离，t为检验参数；
若是满足，则将该对象选定为第三个聚类种子；
依照上述规则，依次迭代计算，直到没有点能够满足下列条件：
继而算法结束，得到聚类分析结果。
这样，通过本申请采用的最大最小值K-means聚类算法能够对电力数据进行聚类分析，进而能够分析得到电力网络中的关键电力节点，为后续的分析计算打下可靠的基础。
步骤105，采用关联规则方法分析电力节点中的历史故障数据，并对电力节点进行评估和持续跟踪，当某一节点运行出现故障时，预测得到其他节点的故障情况。其中，节点运行出现故障是指电网中的传感器检测到某一个节点在实际运行过程中停止运行或者无法采集数据时，提示该节点已出现故障。而本申请采用的关联规则方法或算法能够基于发生故障的节点以及节点之间关联性，对于发生故障节点相关的其他节点给出发生故障的概率，未相应的技术人员提供参考，不仅可以提高电网运行的安全性，而且可以使得技术人员能够及时预防节点的故障。
可选的，所述关联规则方法采用Apriori关联规则算法(即先验关联规则算法)的spark(一个专为大规模数据处理而设计的快速通用的计算引擎)分布式结构实现，并且结合spark框架及RDD(弹性分布式数据集)算子进行综合设计，所述关联规则方法能够找出过往节点故障的相关性，进而在出现节点故障时能够对相关节点进行故障预测。
参照图2所示，为本发明提供的关联规则方法的一个实施例的流程示意图。所述关联规则方法包括：
步骤1051，产生频繁第1项集L1；其中，所述第1项集L1为故障节点之间的初始关联概率对应的初始项集，具体为：
步骤10511，将事务集以预设的形式分布到多个机器上；其中，所述事务集为初始故障数据的集合；
步骤10512，对项目数进行累计计算，其中，所述项目数为相关节点的数目；可选的，采用reduceByKey(Spark中的一个方法)累计项目数，项目数即本次所分析的是否相关之节点的数目。
步骤10513，过滤低于预设支持度的项集，得到初始项集并且构建频繁第1项集L1；可选的，使用filter(Spark中的另一个方法)过滤掉低于支持度的项集。所述预设支持度是用于判断项集对应的概率，也即被过滤掉的项集意味着是小概率事件，不能认为二者之间存在故障关连。
步骤1052，获取新的故障数据，从频繁第k项集Lk产生频繁第k+1项集Lk+1；也即可以通过上一项项集得到下一项项集，依次类推进而对电力数据进行实时更新。具体为：
步骤10521，使得频繁第k项集Lk自连接，进而生成Ck+1；
步骤10522，对数据库进行扫描，利用第1项集生成的方法对Ck+1f进行比对，进而生成Lk+1。其中，f代表上文中的fliter，即经过过滤步骤的项集Ck+1。
所述Apriori关联规则算法是一个持续学习并迭代的过程，通过以上步骤，持续读入新的故障数据，持续产生更新的项集，节点之间的故障关联概率也可能随之改变，并逐渐接近真实的关联情况。
本申请所述的基于大数据平台的电力数据处理方法通过提出一种基于大数据平台的新式电力网络监测技术，将各个传感器的数据汇总成表，灌入与此电力网络相配套的大数据处理平台，并运用聚类、关联规则分析等分析方法对所得数据进行分析。本申请不仅规范了电力网络中数据的收集、存储、使用、分析的过程，提高了电力网络中所收集的数据的利用率，能对电力网络运行状况进行系统评估，使得对电力网络的维护更加方便，根据对所得数据进行关联规则分析的结果，可以预报一些难以检测出的隐患。此外，本申请由于采用流式大数据技术，数据全部来源于当前运行的电网，保证了数据的真实可信；由于流式大数据可做到数据来源的实时更新，并且SPARK技术允许在比硬盘快得多的内存中读写数据，使得大数据在电网优化和调度中的应用成为可能，其即时性也得到了保证。采用的新算法可以分析出某些过往故障节点之间的关联性，起到一定的预测作用，可分析出一些高风险节点提醒相关人员注意。因此，本申请所述的基于大数据平台的电力数据处理方法不仅能够提高电力数据收集和利用的效率，而且能够准确实现对故障点的预测。
参照图3所示，为本发明提供的基于大数据平台的电力数据处理系统的一个实施例的结构示意图。所述基于大数据平台的电力数据处理系统包括：
数据获取模块201，用于获取电力网络中的应用数据；其中，所述应用数据包括电力运行状态信息以及电力节点故障数据；
数据处理模块202，用于将所述应用数据按照预设的方式进行汇总处理，形成数据表格后将处理后的汇总数据发送并存储到与电力网络配套的大数据平台中；
数据显示模块203，用于在大数据平台中，将所述汇总数据进行可视化处理并实时显示出来；
聚类分析模块204，用于采用聚类算法对所述汇总数据进行关联情况分析，找出电力网络中的关键电力节点；
故障预测模块205，用于采用关联规则方法分析电力节点中的历史故障数据，并对电力节点进行评估和持续跟踪，当某一节点运行出现故障时，预测得到其他节点的故障情况。
由上述实施例可知，本申请所述的基于大数据平台的电力数据处理系统通过数据获取模块201和数据处理模块202将各个传感器的数据汇总成表，灌入与此电力网络相配套的大数据处理平台，并通过聚类分析模块204和故障预测模块205运用聚类、关联规则分析等分析方法对所得数据进行分析。本申请不仅规范了电力网络中数据的收集、存储、使用、分析的过程，提高了电力网络中所收集的数据的利用率，能对电力网络运行状况进行系统评估，使得对电力网络的维护更加方便，根据对所得数据进行关联规则分析的结果，可以预报一些难以检测出的隐患。此外，本申请由于采用流式大数据技术，数据全部来源于当前运行的电网，保证了数据的真实可信；由于流式大数据可做到数据来源的实时更新，并且Spark技术允许在比硬盘快得多的内存中读写数据，使得大数据在电网优化和调度中的应用成为可能，其即时性也得到了保证。采用的新算法可以分析出某些过往故障节点之间的关联性，起到一定的预测作用，可分析出一些高风险节点提醒相关人员注意。因此，本申请所述的基于大数据平台的电力数据处理系统不仅能够提高电力数据收集和利用的效率，而且能够准确实现对故障点的预测。
参照图4和图7所示，为本发明提供的大数据平台的两个实施例的基本架构示意图。由图可知，本申请通过对电力数据进行统一的处理，能够有效实现电力资源的优化和调度，提高电力数据管理的效率。
参照图5所示，为本发明提供的分布式Apriori关联规则算法的基本思路示意图；图6为本发明提供的采用关联分析算法分析一组报警变压器、线路的分析结果示意图。由图可知，本申请采用的数据处理方法在一定程度上能够有效的实现相关电力节点的故障预测，为电力管理的技术人员提高有效、可靠的数据支撑和分析，进而对于可能发生故障的节点做到及时预防，避免更大故障的发生。
可选的，本申请是一种基于Spark框架下对电力通信大数据平台进行的电网资源的优化和调度的计算模型，本申请数据处理方法对应的框架模型包括：基于Spark开源架构的大数据平台、聚类和关联规则算法、电力网络资源调配等部分。具体来说，Spark平台负责数据收集、清洗、注入、提取和存储；聚类和关联规则算法找出电力网络节点之间的隐藏联系、最后根据由此算法分析出的结果进行电网资源调度。本申请的新的技术点至少包括：
1.基于Spark开源架构的流式大数据平台：通过数据隧道将分散存储在各个节点、物联网传感器上的数据类型驳杂的电力通信数据统一抽取、清洗并汇总到数据仓库中，并应用Spark Streaming技术对收集数据进行实时处理。
2.对于收集到并存储在数据仓库中的电网网络节点的数据，使用一种聚类和关联规则相结合的算法，对其进行分析，找出关系比较密切的节点以及各个节点在电网中的吞吐量、重要程度等进阶数据。
3.根据第2步中所得到的数据，对电网资源的调度进行分配，使得整个电网的资源使用更加科学有效率。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于大数据平台的电力数据处理方法，其特征在于，包括：
获取电力网络中的应用数据；其中，所述应用数据包括电力运行状态信息以及电力节点故障数据；
将所述应用数据按照预设的方式进行汇总处理，形成数据表格后将处理后的汇总数据发送并存储到与电力网络配套的大数据平台中；
在大数据平台中，将所述汇总数据进行可视化处理并实时显示出来；
采用聚类算法对所述汇总数据进行关联情况分析，找出电力网络中的关键电力节点；
采用关联规则方法分析电力节点中的历史故障数据，并对电力节点进行评估和持续跟踪，当某一节点运行出现故障时，预测得到其他节点的故障情况。
2.根据权利要求1所述的基于大数据平台的电力数据处理方法，其特征在于，所述关联规则方法采用Apriori关联规则算法的spark分布式结构实现，并且结合spark框架及RDD算子进行综合设计，所述关联规则方法能够找出过往节点故障的相关性，进而在出现节点故障时能够对相关节点进行故障预测。
3.根据权利要求2所述的基于大数据平台的电力数据处理方法，其特征在于，所述关联规则方法包括：
产生频繁第1项集L1；其中，所述第1项集L1为故障节点之间的初始关联概率对应的初始项集，具体为：
将事务集以预设的形式分布到多个机器上；其中，所述事务集为初始故障数据的集合；
对项目数进行累计计算，其中，所述项目数为相关节点的数目；
过滤低于预设支持度的项集，得到初始项集并且构建频繁第1项集L1；
获取新的故障数据，从频繁第k项集Lk产生频繁第k+1项集Lk+1，具体为：
使得频繁第k项集Lk自连接，进而生成Ck+1；
对数据库进行扫描，利用第1项集生成的方法对Ck+1f进行比对，进而生成Lk+1。
4.根据权利要求1所述的基于大数据平台的电力数据处理方法，其特征在于，所述聚类算法采用最大最小值K-means聚类算法。
5.根据权利要求4所述的基于大数据平台的电力数据处理方法，其特征在于，所述聚类算法包括：
从初始数据集D中选取一个对象作为第一个聚类种子；
计算初始数据集D中其余对象与第一个聚类种子之间的距离；
选取距离最远的那个对象作为第二个聚类种子；
继续迭代计算得到初始数据集D中其余对象与两个聚类种子中心的距离；
计算出所有对象距离两个聚类种子中心较小的距离，找到该距离最大值对应的那个对象，判断是否满足
Max(min(d1，d2))>t|C2-C1|，其中d1，d2分别表示一个对象与已选出的两个聚类中心C1，C2的距离，t为检验参数；
若是满足，则将该对象选定为第三个聚类种子；
依照上述规则，依次迭代计算，直到没有点能够满足下列条件：
<mrow>
<mi>M</mi>
<mi>a</mi>
<mi>x</mi>
<mrow>
<mo>(</mo>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<mo>(</mo>
<mrow>
<msub>
<mi>d</mi>
<mn>1</mn>
</msub>
<mo>,</mo>
<msub>
<mi>d</mi>
<mn>2</mn>
</msub>
<mo>...</mo>
<msub>
<mi>d</mi>
<mi>n</mi>
</msub>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>></mo>
<mi>t</mi>
<mover>
<mrow>
<mo>|</mo>
<msub>
<mi>c</mi>
<mn>2</mn>
</msub>
<mo>-</mo>
<msub>
<mi>c</mi>
<mn>1</mn>
</msub>
<mo>|</mo>
<mo>+</mo>
<mo>|</mo>
<msub>
<mi>c</mi>
<mn>3</mn>
</msub>
<mo>-</mo>
<msub>
<mi>c</mi>
<mn>2</mn>
</msub>
<mo>|</mo>
<mo>+</mo>
<mo>...</mo>
<mo>+</mo>
<mo>|</mo>
<msub>
<mi>c</mi>
<mi>n</mi>
</msub>
<mo>-</mo>
<msub>
<mi>c</mi>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>|</mo>
</mrow>
<mo>&OverBar;</mo>
</mover>
</mrow>
1
继而算法结束，得到聚类分析结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710180535.5A CN107145959A (zh) | 2017-03-23 | 2017-03-23 | 一种基于大数据平台的电力数据处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710180535.5A CN107145959A (zh) | 2017-03-23 | 2017-03-23 | 一种基于大数据平台的电力数据处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107145959A true CN107145959A (zh) | 2017-09-08 |
Family
ID=59784143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710180535.5A Pending CN107145959A (zh) | 2017-03-23 | 2017-03-23 | 一种基于大数据平台的电力数据处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107145959A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107862459A (zh) * | 2017-11-10 | 2018-03-30 | 国网浙江省电力公司电力科学研究院 | 一种基于大数据的计量设备状态评估方法及系统 |
| CN108241100A (zh) * | 2017-12-28 | 2018-07-03 | 黄振强 | 一种数据的处理方法及装置 |
| CN108363728A (zh) * | 2018-01-10 | 2018-08-03 | 中国电力科学研究院有限公司 | 一种挖掘特高压变电设备状态数据关联规则的方法及系统 |
| CN108564254A (zh) * | 2018-03-15 | 2018-09-21 | 国网四川省电力公司绵阳供电公司 | 基于大数据的配电设备状态可视化平台 |
| CN109582676A (zh) * | 2018-11-30 | 2019-04-05 | 广州供电局有限公司 | 电力数据处理方法、装置、计算机设备和存储介质 |
| CN109634968A (zh) * | 2018-12-28 | 2019-04-16 | 河南城建学院 | 一种基于大数据及人工智能的数据处理方法及系统 |
| CN109698766A (zh) * | 2018-12-19 | 2019-04-30 | 国网辽宁省电力有限公司信息通信分公司 | 通信电源故障分析的方法及系统 |
| CN110166381A (zh) * | 2019-06-03 | 2019-08-23 | 广东电网有限责任公司 | 一种分配电力通信网资源的计算机装置、设备及方法 |
| CN110322052A (zh) * | 2019-06-12 | 2019-10-11 | 国网山东省电力公司济宁供电公司 | 一种电能替代方案预测中的特征关联与分簇方法及装置 |
| CN112418311A (zh) * | 2020-11-21 | 2021-02-26 | 安徽理工大学 | 一种通信网络风险评估的分布式随机森林方法 |
| CN112733450A (zh) * | 2021-01-12 | 2021-04-30 | 云南电网有限责任公司电力科学研究院 | 一种电力网络中节点故障的分析方法及装置 |
| CN112837148A (zh) * | 2021-03-03 | 2021-05-25 | 中央财经大学 | 一种融合领域知识的风险逻辑关系量化分析方法 |
| CN113159516A (zh) * | 2021-03-24 | 2021-07-23 | 国网浙江省电力有限公司宁波供电公司 | 一种基于电网运行数据的三维可视化信息分析系统 |
| CN115409372A (zh) * | 2022-08-30 | 2022-11-29 | 南方电网调峰调频发电有限公司西部检修试验分公司 | 一种基于数据分析的风险评估方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101819411A (zh) * | 2010-03-17 | 2010-09-01 | 燕山大学 | 一种基于gpu的改进加权关联规则的设备故障预警与诊断方法 |
| CN104020396A (zh) * | 2014-06-12 | 2014-09-03 | 国家电网公司 | 一种基于数据挖掘的电网故障诊断方法 |
| CN104363106A (zh) * | 2014-10-09 | 2015-02-18 | 国网辽宁省电力有限公司信息通信分公司 | 一种基于大数据技术的电力信息通信故障预警分析方法 |
| CN104881735A (zh) * | 2015-05-13 | 2015-09-02 | 国家电网公司 | 用于支撑智慧城市运行管理的智能电网大数据挖掘系统及方法 |
| CN105372557A (zh) * | 2015-12-03 | 2016-03-02 | 国家电网公司 | 基于关联规则的电网资源故障诊断方法 |
| CN105912660A (zh) * | 2016-04-11 | 2016-08-31 | 中山大学 | 一种面向大规模数据的关联规则树挖掘方法 |
| CN106291445A (zh) * | 2016-10-20 | 2017-01-04 | 国网上海市电力公司 | 一种电力采集系统异常的智能化诊断方法 |
-
2017
- 2017-03-23 CN CN201710180535.5A patent/CN107145959A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101819411A (zh) * | 2010-03-17 | 2010-09-01 | 燕山大学 | 一种基于gpu的改进加权关联规则的设备故障预警与诊断方法 |
| CN104020396A (zh) * | 2014-06-12 | 2014-09-03 | 国家电网公司 | 一种基于数据挖掘的电网故障诊断方法 |
| CN104363106A (zh) * | 2014-10-09 | 2015-02-18 | 国网辽宁省电力有限公司信息通信分公司 | 一种基于大数据技术的电力信息通信故障预警分析方法 |
| CN104881735A (zh) * | 2015-05-13 | 2015-09-02 | 国家电网公司 | 用于支撑智慧城市运行管理的智能电网大数据挖掘系统及方法 |
| CN105372557A (zh) * | 2015-12-03 | 2016-03-02 | 国家电网公司 | 基于关联规则的电网资源故障诊断方法 |
| CN105912660A (zh) * | 2016-04-11 | 2016-08-31 | 中山大学 | 一种面向大规模数据的关联规则树挖掘方法 |
| CN106291445A (zh) * | 2016-10-20 | 2017-01-04 | 国网上海市电力公司 | 一种电力采集系统异常的智能化诊断方法 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107862459A (zh) * | 2017-11-10 | 2018-03-30 | 国网浙江省电力公司电力科学研究院 | 一种基于大数据的计量设备状态评估方法及系统 |
| CN107862459B (zh) * | 2017-11-10 | 2020-12-18 | 国网浙江省电力公司电力科学研究院 | 一种基于大数据的计量设备状态评估方法及系统 |
| CN108241100A (zh) * | 2017-12-28 | 2018-07-03 | 黄振强 | 一种数据的处理方法及装置 |
| CN108363728A (zh) * | 2018-01-10 | 2018-08-03 | 中国电力科学研究院有限公司 | 一种挖掘特高压变电设备状态数据关联规则的方法及系统 |
| CN108564254B (zh) * | 2018-03-15 | 2021-04-09 | 国网四川省电力公司绵阳供电公司 | 基于大数据的配电设备状态可视化平台 |
| CN108564254A (zh) * | 2018-03-15 | 2018-09-21 | 国网四川省电力公司绵阳供电公司 | 基于大数据的配电设备状态可视化平台 |
| CN109582676A (zh) * | 2018-11-30 | 2019-04-05 | 广州供电局有限公司 | 电力数据处理方法、装置、计算机设备和存储介质 |
| CN109698766A (zh) * | 2018-12-19 | 2019-04-30 | 国网辽宁省电力有限公司信息通信分公司 | 通信电源故障分析的方法及系统 |
| CN109634968A (zh) * | 2018-12-28 | 2019-04-16 | 河南城建学院 | 一种基于大数据及人工智能的数据处理方法及系统 |
| CN110166381A (zh) * | 2019-06-03 | 2019-08-23 | 广东电网有限责任公司 | 一种分配电力通信网资源的计算机装置、设备及方法 |
| CN110166381B (zh) * | 2019-06-03 | 2022-09-30 | 广东电网有限责任公司 | 一种分配电力通信网资源的计算机装置、设备及方法 |
| CN110322052A (zh) * | 2019-06-12 | 2019-10-11 | 国网山东省电力公司济宁供电公司 | 一种电能替代方案预测中的特征关联与分簇方法及装置 |
| CN112418311A (zh) * | 2020-11-21 | 2021-02-26 | 安徽理工大学 | 一种通信网络风险评估的分布式随机森林方法 |
| CN112733450A (zh) * | 2021-01-12 | 2021-04-30 | 云南电网有限责任公司电力科学研究院 | 一种电力网络中节点故障的分析方法及装置 |
| CN112837148A (zh) * | 2021-03-03 | 2021-05-25 | 中央财经大学 | 一种融合领域知识的风险逻辑关系量化分析方法 |
| CN113159516A (zh) * | 2021-03-24 | 2021-07-23 | 国网浙江省电力有限公司宁波供电公司 | 一种基于电网运行数据的三维可视化信息分析系统 |
| CN115409372A (zh) * | 2022-08-30 | 2022-11-29 | 南方电网调峰调频发电有限公司西部检修试验分公司 | 一种基于数据分析的风险评估方法及系统 |
| CN115409372B (zh) * | 2022-08-30 | 2023-07-04 | 南方电网调峰调频发电有限公司西部检修试验分公司 | 一种基于数据分析的风险评估方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107145959A (zh) | 一种基于大数据平台的电力数据处理方法 | |
| CN104616205B (zh) | 一种基于分布式日志分析的电力系统运行状态监视方法 | |
| Faisal et al. | Data-stream-based intrusion detection system for advanced metering infrastructure in smart grid: A feasibility study | |
| CN102130783B (zh) | 神经网络的智能化告警监控方法 | |
| CN106709580A (zh) | 一种变电站二次系统运维云平台 | |
| CN108564254A (zh) | 基于大数据的配电设备状态可视化平台 | |
| CN107346466A (zh) | 一种电力调度系统的控制方法及装置 | |
| CN107332698A (zh) | 一种面向明长城智能感知系统的安全态势感知系统及方法 | |
| CN108336725A (zh) | 电网调度设备监控管理及智能分析系统 | |
| CN105681298A (zh) | 公共信息平台中的数据安全异常监测方法及系统 | |
| CN106254317A (zh) | 一种数据安全异常监控系统 | |
| CN107992949A (zh) | 工业数据分析方法和系统 | |
| CN105553957A (zh) | 基于大数据的网络安全态势感知预警方法和系统 | |
| Al Boni et al. | Area-specific crime prediction models | |
| CN102034148A (zh) | 一种监控系统的事件预警及防风暴策略的实现方法 | |
| CN108398934B (zh) | 一种用于轨道交通的设备故障监控的系统 | |
| CN113450065A (zh) | 一种用于风电场的生产运营管理系统及方法 | |
| CN107517216A (zh) | 一种网络安全事件关联方法 | |
| CN106844161A (zh) | 一种带状态流计算系统中的异常监控及预测方法和系统 | |
| CN109501834A (zh) | 一种道岔转辙机故障预测方法及装置 | |
| CN108765004A (zh) | 一种基于数据挖掘识别用户窃电行为的方法 | |
| CN112785458A (zh) | 一种桥梁健康大数据智能管养系统 | |
| CN108964269A (zh) | 配电网运维与综合管理系统 | |
| CN107510914A (zh) | 一种面向园区的智慧消防远程监控系统及其方法 | |
| CN109130935A (zh) | 一种电动汽车智能充电监控系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170908 |
|
| RJ01 | Rejection of invention patent application after publication |