CN106067096A - 一种数据处理方法、装置及系统 - Google Patents
一种数据处理方法、装置及系统 Download PDFInfo
- Publication number
- CN106067096A CN106067096A CN201610470990.4A CN201610470990A CN106067096A CN 106067096 A CN106067096 A CN 106067096A CN 201610470990 A CN201610470990 A CN 201610470990A CN 106067096 A CN106067096 A CN 106067096A
- Authority
- CN
- China
- Prior art keywords
- data
- wams
- electrical network
- dimension
- reduction treatment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 79
- 238000000034 method Methods 0.000 claims abstract description 43
- 238000005070 sampling Methods 0.000 claims abstract description 39
- 238000010606 normalization Methods 0.000 claims abstract description 22
- 238000005259 measurement Methods 0.000 claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 16
- 230000005611 electricity Effects 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 5
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000004458 analytical method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006641 stabilisation Effects 0.000 description 3
- 238000011105 stabilization Methods 0.000 description 3
- 239000011800 void material Substances 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000011112 process operation Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000009514 concussion Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Marketing (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Water Supply & Treatment (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- General Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本发明实施例公开了一种数据处理方法、装置及系统，该方法包括：针对不同母线，获得待处理的电网广域量测系统WAMS数据；对所获得的WAMS数据，采用基于消息队列的Apache Kafka框架和/或ZeroMQ框架进行存储；对所存储的WAMS数据进行数据预处理操作和滑动窗口采样操作，得到归一化且无偏置的多维的中间处理数据；对所得到的中间处理数据进行降维处理操作，并根据降维处理结果确定电网的稳态状况，以提高对数据的利用率以及处理效率。
Description
技术领域
本发明涉及大数据处理领域，特别涉及一种数据处理方法、装置及系统。
背景技术
随着我国电网复杂格局地逐步形成，电力系统安全稳定的特性与机制日趋复杂，运行控制难度不断加大，对安全稳定分析的可靠性和精确性不断提出新的要求。
就电网静态电压稳定分析的具体问题而言，其影响因素多，长期以来都是依靠具有一定经验和技术素质的专业人员通过收集到的大量数据，对该大量数据进行大量计算、分析、协调，从而找出薄弱点，针对该薄弱点制定相应的防范措施。当电力系统规模逐渐增大时，收集到的数据量也会增大，随着数据量的增长，对数据的整体管理和处理分析的难度也逐渐增大，现有技术中无法根据现有数据快速预知系统的安全稳定性并做出决策。调度运行的管理工作亟需科学理论和实践经验相结合的技术支持。
随着电力行业自动化的快速发展，智能电网建设地不断深入，各种类型的数字化智能监控设备不断接入，产生了大量调度运行数据，日均累计数据量约96GB。这些运行数据中蕴藏着大量和电网稳定相关的、未知的、潜在的和有价值的信息，受限于现有的数据处理技术，蕴藏着的大量和电网稳定相关的、未知的、潜在的和有价值的数据很难得到很好的利用。
受限于现有的数据处理技术，作为智能电网的WAMS(Wide-Area Measurement/Monitoring System，电网广域量测系统)中心站的大型服务器和数据库当前难以对海量数据进行自动地实时处理和分析，并且对获得的数据的利用率较低，且处理效率较低。
发明内容
本发明实施例公开了一种数据处理方法、装置及系统，以提高对数据的利用率以及处理效率。具体方案如下：
一方面，本发明实施例提供了一种数据处理方法，所述方法包括：
针对不同母线，获得待处理的电网广域量测系统WAMS数据；
对所获得的WAMS数据，采用基于消息队列的Apache Kafka框架和/或ZeroMQ框架进行存储；
对所存储的WAMS数据进行数据预处理操作和滑动窗口采样操作，得到归一化且无偏置的多维的中间处理数据；
对所得到的中间处理数据进行降维处理操作，并根据降维处理结果确定电网的稳态状况。
可选的，所述对所存储的WAMS数据进行数据预处理操作和滑动窗口采样操作，得到中间处理数据，包括：
采用Apache Storm、Apache Spark Streaming和Apache Samza实时流处理框架中的至少一种，对所存储的WAMS数据进行数据预处理操作和滑动窗口采样操作，得到归一化且无偏置的多维的中间处理数据。
可选的，所述数据预处理操作包括：
对所存储的的WAMS数据进行归一化处理，其中，所利用公式为：
vr＝vcosθ，vi＝vsinθ；
其中，所述vr表示实电压，所述vi表示虚电压，所述v表示所存储的WAMS数据，所述θ表示相角；
对上述的进行归一化处理后所得的结果，进行偏置消除处理，其中，所述偏置消除处理所利用公式为：
其中，所述表示消除偏置后的t时刻的实电压，所述表示t时刻的进行归一化处理后所得的实电压，所述表示初始0时刻的实电压，所述表示消除偏置后的t时刻的虚电压，所述表示t时刻的进行归一化处理后所得的虚电压，所述表示初始0时刻的虚电压。
可选的，所述滑动窗口采样操作包括：
根据预先设定的滑动窗口，对进行偏置消除处理后的处理结果进行滑动取样，得到归一化且无偏置的多维的矩阵M∈RN*T；
其中，所述矩阵中的每一行表示对应母线的实电压或虚电压构成的时间序列，其中，所述T表示采样时刻，所述N表示采样个数。
可选的，对所得到的中间处理数据进行降维处理操作，并根据降维处理结果确定电网的稳态状况，包括：
采用奇异值分解公式，对所得到的中间处理数据进行降维处理操作，其中，分解为：
M＝UΣVT；其中，所述U、所述Σ以及所述VT均为矩阵；
从所述矩阵Σ中确定出最大的奇异值，并根据所确定出的最大的奇异值，确定电网的稳态状况，其中，所确定出的最大的奇异值的大小与所述电网的稳定性成反比。
可选的，在所述根据降维处理结果确定电网的稳态状况之后，本发明实施例所提供的一种数据处理方法还包括：
对所述降维处理结果进行图形化绘制，以向管理人员展示所述降维处理结果。
可选的，在所述根据降维处理结果确定电网的稳态状况之后，本发明实施例所提供的一种数据处理方法还包括：
对所述降维结果以及所确定的电网的稳态状况进行存储。
一方面，本发明实施例提供了一种数据处理装置，所述装置包括：获得模块、存储模块、处理模块和确定模块；
所述获得模块，用于针对不同母线，获得待处理的电网广域量测系统WAMS数据；
所述存储模块，用于对所获得的WAMS数据，采用基于消息队列的ApacheKafka框架和/或ZeroMQ框架进行存储；
所述处理模块，用于对所存储的WAMS数据进行数据预处理操作和滑动窗口采样操作，得到归一化且无偏置的多维的中间处理数据；
所述确定模块，用于对所得到的中间处理数据进行降维处理操作，并根据降维处理结果确定电网的稳态状况。
另一方面，本发明实施例提供了一种数据处理系统，所述系统包括：
数据源，用于提供海量电网广域量测系统WAMS数据；
数据处理装置，用于从所述数据源获得针对不同母线的待处理的电网广域量测系统WAMS数据；对所获得的WAMS数据，采用基于消息队列的Apache Kafka框架和/或ZeroMQ框架进行存储；对所存储的WAMS数据进行数据预处理操作和滑动窗口采样操作，得到归一化且无偏置的多维的中间处理数据；对所得到的中间处理数据进行降维处理操作，并根据降维处理结果确定电网的稳态状况；
存储装置，用于存储中间处理数据和所确定出的电网的稳定状况。
在本方案中，针对不同母线，获得待处理的电网广域量测系统WAMS数据；对所获得的WAMS数据，采用基于消息队列的Apache Kafka框架和/或ZeroMQ框架进行存储；对所存储的WAMS数据进行数据预处理操作和滑动窗口采样操作，得到归一化且无偏置的多维的中间处理数据；对所得到的中间处理数据进行降维处理操作，并根据降维处理结果确定电网的稳态状况，以提高对数据的利用率以及处理效率。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种数据处理方法的流程示意图；
图2为本发明实施例所提供的一种数据处理装置的结构示意图；
图3为本发明实施例所提供的一种数据处理系统的结构示意图；
图4为本发明实施例所提供的数据处理过程的展示图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种数据处理方法、装置及系统，以提高对数据的利用率以及处理效率。
下面首先对本发明实施例所提供的一种数据处理方法进行介绍。
如图1所示，本发明实施例所提供的一种数据处理方法，可以包括如下步骤：
S101：针对不同母线，获得待处理的电网广域量测系统WAMS数据；
需要说明的是，针对不同的母线，采用WEB和/或ETL方式获得待处理的电网广域量测系统WAMS数据，包括后续提到的母线对应的电压和相角。
S102：对所获得的WAMS数据，采用基于消息队列的Apache Kafka框架和/或ZeroMQ框架进行存储；
可以理解的是，对所获得的WAMS数据，采用基于消息队列的Apache Kafka框架和/或ZeroMQ框架进行存储，以达到对所获得的WAMS数据持久化的效果，直到所获得的WAMS数据被后续的数据处理过程完成处理为止，来规避所获得的WAMS数据丢失的风险。
S103：对所存储的WAMS数据进行数据预处理操作和滑动窗口采样操作，得到归一化且无偏置的多维的中间处理数据；
需要强调的是，针对不同母线所获得的WAMS数据(包括电压和相角)，其电压和相角可能具有不同的量纲和取值范围，直接对其直接进行降维处理操作，会导致空间分布不均匀，进而影响电网(系统)的稳态状况的确定。因此，需要首先对所存储的WAMS数据进行数据预处理操作和滑动窗口采样操作，得到归一化且无偏置的多维的中间处理数据。
S104：对所得到的中间处理数据进行降维处理操作，并根据降维处理结果确定电网的稳态状况。
需要理解的是，所得到的中间处理数据为一个多维数据，为了更好的确定电网(系统)的稳态状态，需要对该多维的中间处理数据进行降维处理操作，该将为处理操作可以是SVD(Singular Value Decomposition，奇异值分解)或者PCA((Principal ComponentAnalysis，主成份分析)等等。进而分析降维结果确定电网的稳态状况。其中，该SVD与PCA均为现有技术，在此不做赘述。
应用本发明实施例，针对不同母线，获得待处理的电网广域量测系统WAMS数据；对所获得的WAMS数据，采用基于消息队列的Apache Kafka框架和/或ZeroMQ框架进行存储；对所存储的WAMS数据进行数据预处理操作和滑动窗口采样操作，得到归一化且无偏置的多维的中间处理数据；对所得到的中间处理数据进行降维处理操作，并根据降维处理结果确定电网的稳态状况，以提高对数据的利用率以及处理效率。
在一种具体实现方式中，所述对所存储的WAMS数据进行数据预处理操作和滑动窗口采样操作，得到中间处理数据，包括：
采用Apache Storm、Apache Spark Streaming和Apache Samza实时流处理框架中的至少一种，对所存储的WAMS数据进行数据预处理操作和滑动窗口采样操作，得到归一化且无偏置的多维的中间处理数据。
可以理解的是，采用Apache Storm、Apache Spark Streaming和Apache Samza实时流处理框架中的至少一种，对所存储的WAMS数据进行数据预处理操作和滑动窗口采样操作，可以提高对数据的处理效率，可以根据实际情况选择合适的实时流处理框架，对所存储的WAMS数据进行处理。
在一种具体实施方式中，所述数据预处理操作包括：
对所存储的的WAMS数据进行归一化处理，其中，所利用公式为：
vr＝vcosθ，vi＝vsinθ；
其中，所述vr表示实电压，所述vi表示虚电压，所述v表示所存储的WAMS数据，所述θ表示相角；
对上述的进行归一化处理后所得的结果，进行偏置消除处理，其中，所述偏置消除处理所利用公式为：
其中，所述表示消除偏置后的t时刻的实电压，所述表示t时刻的进行归一化处理后所得的实电压，所述表示初始0时刻的实电压，所述表示消除偏置后的t时刻的虚电压，所述表示t时刻的进行归一化处理后所得的虚电压，所述表示初始0时刻的虚电压。
可以理解的是，通过上述对所存储的WAMS数据进行归一化处理的公式，使得在对所存储的WAMS数据保留全部信息的基础上，消除了不同母线所对应的电压和相角的量纲和取值范围不同的问题，达到了数据归一化的效果。通过上述偏置消除处理所利用公式，可以消去每个针对该进行偏置消除处理的输入在时间序列上的偏置，使其具有相同的分布。
在一种具体实现方式中，所述滑动窗口采样操作包括：
根据预先设定的滑动窗口，对进行偏置消除处理后的处理结果进行滑动取样，得到归一化且无偏置的多维的矩阵M∈RN*T；
其中，所述矩阵中的每一行表示对应母线的实电压或虚电压构成的时间序列，其中，所述T表示采样时刻，所述N表示采样个数。
需要强调的是，在电网系统中，通过滑动窗口采样操作，不同母线的实电压和虚电压可以联合构成一个多维矩阵，根据预先设定的滑动窗口，对进行偏置消除处理后的处理结果进行滑动取样，得到归一化且无偏置的多维的矩阵M∈RN*T；其中，所述矩阵中的每一行表示对应母线的实电压或虚电压构成的时间序列，其中，所述T表示采样时刻，所述N表示采样个数。举例而言，确定观察时间为T，每个观察时间M都在最右边添加一列新的向量m[T]，同时删除最左端的一个向量m[T-n]。保持n列的向量个数不变，这就构成了滑动窗口的操作，如图2所示的滑动窗口采样，n等于2。其中，滑动窗口采样处理操作与现有技术处理流程大致相同，在此不做赘述。
在一种具体实现方式中，对所得到的中间处理数据进行降维处理操作，并根据降维处理结果确定电网的稳态状况，包括：
采用奇异值分解公式，对所得到的中间处理数据进行降维处理操作，其中，分解为：
M＝UΣVT；其中，所述U、所述Σ以及所述VT均为矩阵；
从所述矩阵Σ中确定出最大的奇异值，并根据所确定出的最大的奇异值，确定电网的稳态状况，其中，所确定出的最大的奇异值的大小与所述电网的稳定性成反比。
需要说明的是，在对所存储的WAMS数据进行数据预处理操作和滑动窗口采样操作后，可以得到归一化且无偏置的多维的矩阵M∈RN*T；N为采样到的时间序列的个数，其中，通过现有技术可知，该N的取值与电网中的节点(后续提到的数据源)数目和采内容有关，T为采样时刻。通过奇异值分解公式，对矩阵M进行奇异值分解，即M＝UΣVT，其中，可以理解的是，U、Σ以及VT均为矩阵，U是m×m阶酉矩阵；而VT，即V的共轭转置，是n×n阶酉矩阵。Σ为由奇异值构成的斜对角矩阵，Σ对角线上的元素即为M的奇异值，在其中可以取出其最大的奇异值，这一过程可以使用奇异值的快速计算算法来达到加速计算的效果。其中，该奇异值分解为现有技术，在此不做赘述。
如图4所示，展示了对所存储的WAMS数据进行数据预处理、滑动窗口采样以及降维处理过程，其中，对与处理后的数据进行多次采样后，根据采样后的结果分别进行将为处理操作。
进一步的，通过现有技术可知，分析每个时刻所得到的最大的奇异值的取值，进而可以得出电网的电压稳定状态：
从原理上来说，在准稳态条件下，整个电网系统相当于是由电力能量的生成和消耗驱动的。在这种条件下，整个电网系统可以被看作是一个潮流方程(现有技术)的求解机，将电力能量功率作为“输入”，去“计算”母线对应的WAMS数据(包括电压和相角)。假设整个电网系统的“输入”驱动是由两部分组成的：缓慢移动运行点的运行大趋势和在运行点周围随机震荡的小型扰动信号。电网系统的电压稳定性(电网的稳态状况)可以体现在随机扰动导致电压崩溃的可能性上。如果功率上的微小扰动不足以引起电压和相角上的巨大改变，那么说明现在电网系统正在稳定运行。反之，则说明电网系统已经失稳。这种电压和相角上的改变可以体现在降维后的奇异值上，改变越明显，奇异值就越大。因此确定奇异值的大小，并追踪其随时间的变化，可以近似地得出电网的稳态状况。
在一种具体实现方式中，在所述根据降维处理结果确定电网的稳态状况之后，所述方法还包括：
对所述降维处理结果进行图形化绘制，以向管理人员展示所述降维处理结果。
为了更好的便于管理人员对电网系统的观测，可以对该降维处理结果进行图形化绘制，以向管理人员展示该降维处理结果。进而，可以使该管理人员可以直观的观测该电网的稳态状况，进而对电网系统进行管理。其中，可以采用WEB页面、PC客户端或收集APP等形式，向管理人员展示。
在一种具体实现方式中，为了使管理人员可以对该电网系统进行整体评估和检测，在所述根据降维处理结果确定电网的稳态状况之后，所述方法还包括：
对所述降维结果以及所确定的电网的稳态状况进行存储。
其中，可以采用HDFS(Hadoop Distributed File System，分布式文件系统)等方式，对述降维结果以及所确定的电网的稳态状况进行存储，另外的，还可以对上述处理过程中所得的各中间数据进行存储，这也是可以的。
相应于上述方法实施例，本发明实施例提供了一种数据处理装置，如图2所示，所述装置包括：获得模块201、存储模块202、处理模块203和确定模块204；
所述获得模块201，用于针对不同母线，获得待处理的电网广域量测系统WAMS数据；
所述存储模块202，用于对所获得的WAMS数据，采用基于消息队列的Apache Kafka框架和/或ZeroMQ框架进行存储；
所述处理模块203，用于对所存储的WAMS数据进行数据预处理操作和滑动窗口采样操作，得到归一化且无偏置的多维的中间处理数据；
所述确定模块204，用于对所得到的中间处理数据进行降维处理操作，并根据降维处理结果确定电网的稳态状况。
应用本发明实施例，针对不同母线，获得待处理的电网广域量测系统WAMS数据；对所获得的WAMS数据，采用基于消息队列的Apache Kafka框架和/或ZeroMQ框架进行存储；对所存储的WAMS数据进行数据预处理操作和滑动窗口采样操作，得到归一化且无偏置的多维的中间处理数据；对所得到的中间处理数据进行降维处理操作，并根据降维处理结果确定电网的稳态状况，以提高对数据的利用率以及处理效率。
相应于上述方法实施例，本发明实施例提供了一种数据处理系统，如图3所示，所述系统包括：
数据源301，用于提供海量电网广域量测系统WAMS数据；
其中，所述数据源可以为计量自动化系统、营销系统、外部数据和能量管理系统中的至少一种。
数据处理装置302，用于从所述数据源获得针对不同母线的待处理的电网广域量测系统WAMS数据；对所获得的WAMS数据，采用基于消息队列的Apache Kafka框架和/或ZeroMQ框架进行存储；对所存储的WAMS数据进行数据预处理操作和滑动窗口采样操作，得到归一化且无偏置的多维的中间处理数据；对所得到的中间处理数据进行降维处理操作，并根据降维处理结果确定电网的稳态状况；
存储装置303，用于存储中间处理数据和所确定出的电网的稳定状况。
应用本发明实施例，针对不同母线，获得待处理的电网广域量测系统WAMS数据；对所获得的WAMS数据，采用基于消息队列的Apache Kafka框架和/或ZeroMQ框架进行存储；对所存储的WAMS数据进行数据预处理操作和滑动窗口采样操作，得到归一化且无偏置的多维的中间处理数据；对所得到的中间处理数据进行降维处理操作，并根据降维处理结果确定电网的稳态状况，以提高对数据的利用率以及处理效率。
在一种具体实现方式中，本发明实施例所提供的一种数据处理系统还可以包括数据可视化装置；
所述数据可视化装置，用于对所述降维处理结果进行图形化绘制，以向管理人员展示所述降维处理结果。
在一种具体实现方式中，所述数据处理装置302，具体用于：
从所述数据源获得针对不同母线的待处理的电网广域量测系统WAMS数据；
采用Apache Storm、Apache Spark Streaming和Apache Samza实时流处理框架中的至少一种，对所存储的WAMS数据进行数据预处理操作和滑动窗口采样操作，得到归一化且无偏置的多维的中间处理数据；其中，所述数据预处理操作包括：
对所存储的的WAMS数据进行归一化处理，其中，所利用公式为：
vr＝vcosθ，vi＝vsinθ；
其中，所述vr表示实电压，所述vi表示虚电压，所述v表示所存储的WAMS数据，所述θ表示相角；
对上述的进行归一化处理后所得的结果，进行偏置消除处理，其中，所述偏置消除处理所利用公式为：
其中，所述表示消除偏置后的t时刻的实电压，所述表示t时刻的进行归一化处理后所得的实电压，所述表示初始0时刻的实电压，所述表示消除偏置后的t时刻的虚电压，所述表示t时刻的进行归一化处理后所得的虚电压，所述表示初始0时刻的虚电压。
所述滑动窗口采样操作包括：
根据预先设定的滑动窗口，对进行偏置消除处理后的处理结果进行滑动取样，得到归一化且无偏置的多维的矩阵M∈RN*T；
其中，所述矩阵中的每一行表示对应母线的实电压或虚电压构成的时间序列，其中，所述T表示采样时刻，所述N表示采样个数；
采用奇异值分解公式，对所得到的中间处理数据进行降维处理操作，其中，分解为：
M＝UΣVT；其中，所述U、所述Σ以及所述VT均为矩阵；
从所述矩阵Σ中确定出最大的奇异值，并根据所确定出的最大的奇异值，确定电网的稳态状况，其中，所确定出的最大的奇异值的大小与所述电网的稳定性成反比。
对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (9)
1.一种数据处理方法，其特征在于，所述方法包括：
针对不同母线，获得待处理的电网广域量测系统WAMS数据；
对所获得的WAMS数据，采用基于消息队列的Apache Kafka框架和/或ZeroMQ框架进行存储；
对所存储的WAMS数据进行数据预处理操作和滑动窗口采样操作，得到归一化且无偏置的多维的中间处理数据；
对所得到的中间处理数据进行降维处理操作，并根据降维处理结果确定电网的稳态状况。
2.根据权利要求1所述的方法，其特征在于，所述对所存储的WAMS数据进行数据预处理操作和滑动窗口采样操作，得到中间处理数据，包括：
采用Apache Storm、Apache Spark Streaming和Apache Samza实时流处理框架中的至少一种，对所存储的WAMS数据进行数据预处理操作和滑动窗口采样操作，得到归一化且无偏置的多维的中间处理数据。
3.根据权利要求1所述的方法，其特征在于，所述数据预处理操作包括：
对所存储的的WAMS数据进行归一化处理，其中，所利用公式为：
vr＝vcosθ，vi＝vsinθ；
其中，所述vr表示实电压，所述vi表示虚电压，所述v表示所存储的WAMS数据，所述θ表示相角；
对上述的进行归一化处理后所得的结果，进行偏置消除处理，其中，所述偏置消除处理所利用公式为：
其中，所述表示消除偏置后的t时刻的实电压，所述表示t时刻的进行归一化处理后所得的实电压，所述表示初始0时刻的实电压，所述表示消除偏置后的t时刻的虚电压，所述表示t时刻的进行归一化处理后所得的虚电压，所述表示初始0时刻的虚电压。
4.根据权利要求3所述的方法，其特征在于，所述滑动窗口采样操作包括：
根据预先设定的滑动窗口，对进行偏置消除处理后的处理结果进行滑动取样，得到归一化且无偏置的多维的矩阵M∈RN*T；
其中，所述矩阵中的每一行表示对应母线的实电压或虚电压构成的时间序列，其中，所述T表示采样时刻，所述N表示采样个数。
5.根据权利要求1-4任一项所述的方法，其特征在于，对所得到的中间处理数据进行降维处理操作，并根据降维处理结果确定电网的稳态状况，包括：
采用奇异值分解公式，对所得到的中间处理数据进行降维处理操作，其中，分解为：
M＝UΣVT；其中，所述U、所述Σ以及所述VT均为矩阵；
从所述矩阵Σ中确定出最大的奇异值，并根据所确定出的最大的奇异值，确定电网的稳态状况，其中，所确定出的最大的奇异值的大小与所述电网的稳定性成反比。
6.根据权利要求1-4任一项所述的方法，其特征在于，在所述根据降维处理结果确定电网的稳态状况之后，所述方法还包括：
对所述降维处理结果进行图形化绘制，以向管理人员展示所述降维处理结果。
7.根据权利要求1-4任一项所述的方法，其特征在于，在所述根据降维处理结果确定电网的稳态状况之后，所述方法还包括：
对所述降维结果以及所确定的电网的稳态状况进行存储。
8.一种数据处理装置，其特征在于，所述装置包括：获得模块、存储模块、处理模块和确定模块；
所述获得模块，用于针对不同母线，获得待处理的电网广域量测系统WAMS数据；
所述存储模块，用于对所获得的WAMS数据，采用基于消息队列的ApacheKafka框架和/或ZeroMQ框架进行存储；
所述处理模块，用于对所存储的WAMS数据进行数据预处理操作和滑动窗口采样操作，得到归一化且无偏置的多维的中间处理数据；
所述确定模块，用于对所得到的中间处理数据进行降维处理操作，并根据降维处理结果确定电网的稳态状况。
9.一种数据处理系统，其特征在于，所述系统包括：
数据源，用于提供海量电网广域量测系统WAMS数据；
数据处理装置，用于从所述数据源获得针对不同母线的待处理的电网广域量测系统WAMS数据；对所获得的WAMS数据，采用基于消息队列的ApacheKafka框架和/或ZeroMQ框架进行存储；对所存储的WAMS数据进行数据预处理操作和滑动窗口采样操作，得到归一化且无偏置的多维的中间处理数据；对所得到的中间处理数据进行降维处理操作，并根据降维处理结果确定电网的稳态状况；
存储装置，用于存储中间处理数据和所确定出的电网的稳定状况。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610470990.4A CN106067096B (zh) | 2016-06-24 | 2016-06-24 | 一种数据处理方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610470990.4A CN106067096B (zh) | 2016-06-24 | 2016-06-24 | 一种数据处理方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106067096A true CN106067096A (zh) | 2016-11-02 |
| CN106067096B CN106067096B (zh) | 2019-09-17 |
Family
ID=57420635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610470990.4A Active CN106067096B (zh) | 2016-06-24 | 2016-06-24 | 一种数据处理方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106067096B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106959400A (zh) * | 2017-02-28 | 2017-07-18 | 中国南方电网有限责任公司 | 一种基于异常点监测和大数据分析的二次设备隐患故障诊断方法 |
| CN108335075A (zh) * | 2018-03-02 | 2018-07-27 | 华南理工大学 | 一种面向物流大数据的处理系统及方法 |
| CN110007899A (zh) * | 2018-06-27 | 2019-07-12 | 浙江新再灵科技股份有限公司 | 基于storm的通用窗口框架系统 |
| CN110850839A (zh) * | 2018-08-21 | 2020-02-28 | 上海交通大学 | 面向能源网的实时监测控制系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105138973A (zh) * | 2015-08-11 | 2015-12-09 | 北京天诚盛业科技有限公司 | 人脸认证的方法和装置 |
| EP2978095A1 (en) * | 2014-07-23 | 2016-01-27 | ABB Technology AG | Power system operation |
| CN105449697A (zh) * | 2015-11-18 | 2016-03-30 | 华北电力科学研究院有限责任公司 | 一种基于转速信号的发电机阻尼控制方法 |
| CN105512680A (zh) * | 2015-12-02 | 2016-04-20 | 北京航空航天大学 | 一种基于深度神经网络的多视sar图像目标识别方法 |
-
2016
- 2016-06-24 CN CN201610470990.4A patent/CN106067096B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2978095A1 (en) * | 2014-07-23 | 2016-01-27 | ABB Technology AG | Power system operation |
| CN105138973A (zh) * | 2015-08-11 | 2015-12-09 | 北京天诚盛业科技有限公司 | 人脸认证的方法和装置 |
| CN105449697A (zh) * | 2015-11-18 | 2016-03-30 | 华北电力科学研究院有限责任公司 | 一种基于转速信号的发电机阻尼控制方法 |
| CN105512680A (zh) * | 2015-12-02 | 2016-04-20 | 北京航空航天大学 | 一种基于深度神经网络的多视sar图像目标识别方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106959400A (zh) * | 2017-02-28 | 2017-07-18 | 中国南方电网有限责任公司 | 一种基于异常点监测和大数据分析的二次设备隐患故障诊断方法 |
| CN108335075A (zh) * | 2018-03-02 | 2018-07-27 | 华南理工大学 | 一种面向物流大数据的处理系统及方法 |
| CN108335075B (zh) * | 2018-03-02 | 2020-12-11 | 华南理工大学 | 一种面向物流大数据的处理系统及方法 |
| CN110007899A (zh) * | 2018-06-27 | 2019-07-12 | 浙江新再灵科技股份有限公司 | 基于storm的通用窗口框架系统 |
| CN110850839A (zh) * | 2018-08-21 | 2020-02-28 | 上海交通大学 | 面向能源网的实时监测控制系统 |
| CN110850839B (zh) * | 2018-08-21 | 2022-07-26 | 上海交通大学 | 面向能源网的实时监测控制系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106067096B (zh) | 2019-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105069690B (zh) | 一种电网运行数据处理方法 | |
| CN104408667B (zh) | 一种电能质量综合评估的方法和系统 | |
| Perpiñán et al. | Electrical power fluctuations in a network of DC/AC inverters in a large PV plant: Relationship between correlation, distance and time scale | |
| CN106067096A (zh) | 一种数据处理方法、装置及系统 | |
| Liu et al. | Real-time complex event processing and analytics for smart grid | |
| Xu et al. | Real-time event detection and feature extraction using PMU measurement data | |
| CN112688431A (zh) | 一种基于大数据的配电网负荷过载可视化方法及系统 | |
| CN104573906A (zh) | 用于分析电力传输系统中的振荡稳定性的系统和方法 | |
| CN104486116A (zh) | 多维度查询流量数据的方法及系统 | |
| Dong et al. | Forecasting smart meter energy usage using distributed systems and machine learning | |
| Raspopov et al. | Development of methods and algorithms for identification of a type of electric energy consumers using artificial intelligence and machine learning models for Smart Grid Systems | |
| Yu et al. | Improvement of substation monitoring aimed to improve its efficiency with the help of big data analysis | |
| Ausmus et al. | Big data analytics and the electric utility industry | |
| CN103207804A (zh) | 基于集群作业日志的MapReduce负载模拟方法 | |
| CN103383649A (zh) | 一种复杂虚拟仪器系统设计模型 | |
| Li et al. | Panoramic synchronous measurement system for wide-area power system based on the cloud computing | |
| Janev et al. | Chapter 9 survey on big data applications | |
| Eliseev et al. | Modern methods to collect, store, and process big data in large-scale systems | |
| Gultekin et al. | Real-Time Anomaly Detection Business Process for Industrial Equipment Using Internet of Things and Unsupervised Machine Learning Algorithms | |
| CN105653649B (zh) | 海量文本中低占比信息识别方法及装置 | |
| CN111027599B (zh) | 基于随机抽样的聚类可视化方法及装置 | |
| Zheng | [Retracted] Study and Application on Big Data Information Fusion System Based on IoT | |
| Mukherjee et al. | Using phasor data for visualization and data mining in smart-grid applications | |
| Çakmak et al. | A new framework for the analysis of large scale multi-rate power data | |
| CN113610686A (zh) | 基于大数据的监督平台系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |