CN118069989A - 一种电网量测数据筛选处理方法 - Google Patents
一种电网量测数据筛选处理方法 Download PDFInfo
- Publication number
- CN118069989A CN118069989A CN202410203307.5A CN202410203307A CN118069989A CN 118069989 A CN118069989 A CN 118069989A CN 202410203307 A CN202410203307 A CN 202410203307A CN 118069989 A CN118069989 A CN 118069989A
- Authority
- CN
- China
- Prior art keywords
- data
- period
- time
- algorithm
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 33
- 238000012216 screening Methods 0.000 title claims abstract description 27
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 91
- 230000009467 reduction Effects 0.000 claims abstract description 48
- 238000005070 sampling Methods 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000013144 data compression Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 25
- 230000011218 segmentation Effects 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000000737 periodic effect Effects 0.000 claims description 7
- 238000012952 Resampling Methods 0.000 claims description 5
- 230000000295 complement effect Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims 6
- 230000008569 process Effects 0.000 abstract description 5
- 230000005540 biological transmission Effects 0.000 description 10
- 230000002159 abnormal effect Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005192 partition Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Remote Monitoring And Control Of Power-Distribution Networks (AREA)
Abstract
本申请提供了一种电网量测数据筛选处理方法,包括以下步骤：A1，根据数据采样周期和数据采样间隔通过配电数据采集设备于配电节点获取多个节点子类数据；A2，根据各节点子类数据分别以数据补全算法生成子类补全数据；A3，根据子类补全数据以时段权重算法生成对应的时段权重序列；A4，根据时段权重序列以及子类补全数据以数据权重算法生成权重化子类数据；A5，根据权重化子类数据以数据降噪算法生成降噪子类数据；A6，根据降噪子类数据以标准化算法生成标准化子类数据；A7，根据所有的标准化子类数据以数据压缩算法生成配电节点压缩数据；A8，传输配电节点压缩数据至控制后台。以上步骤可对采集到的数据进行预处理以减少传输至控制后台的数据量。
Description
技术领域
本申请涉及网电领域，尤其是涉及一种电网量测数据筛选处理方法。
背景技术
随着电力行业的快速发展和智能电网技术的推广，配电网作为电力系统的重要组成部分，其运行效率和可靠性对整个电力系统的稳定运行至关重要。配电网在日常运行中会产生大量的数据，这些数据来源多样，包括但不限于电力负荷数据、电网设备状态、能耗信息、环境监测数据以及故障记录等。
这些大量的数据本质上是一种宝贵的资源，因为它们包含了关于电网运行状态和消费者用电行为的重要信息。理想情况下，通过有效地处理和分析这些数据，电力公司可以优化配电网的运行，提高能源效率，预防和快速响应电网故障，甚至实现对消费者用电行为的精细化管理。
但是，海量的配电网数据如果直接传输至电网控制后台，不仅会占用大量的通信带宽，同时还会使控制后台需要消耗大量的算力进行数据处理和分析，可能会降低控制后台发现异常情况的效率。
另一方面，随着智能电表等智能采集设备的普及，使得电表也能具备一定的数据处理能力，使得通过智能采集设备对采集的配电网数据进行预处理变得可行。
发明内容
为了能够对配电网采集到的数据进行预处理以减少需要传输至控制后台的数据量,本申请提供了一种电网量测数据筛选处理方法。
所述电网量测数据筛选处理方法，包括以下步骤：
A1，根据预设的数据采样周期和预设的数据采样间隔通过预设的配电数据采集设备于预设的配电节点获取配电节点数据，其中，配电节点数据包括多个节点子类数据；
A2，根据各节点子类数据分别以预设的数据补全算法生成子类补全数据；
A3，根据子类补全数据以预设的时段权重算法生成对应的时段权重序列；
A4，根据时段权重序列以及子类补全数据以预设的数据权重算法生成权重化子类数据；
A5，根据权重化子类数据以预设的数据降噪算法生成降噪子类数据；
A6，根据降噪子类数据以预设的标准化算法生成标准化子类数据；
A7，根据所有的标准化子类数据以预设的数据压缩算法生成配电节点压缩数据；
A8，传输配电节点压缩数据至预设的控制后台。
通过以上步骤，所述电网量测数据筛选处理方法可以大大降低控制后台的数据处理量，同时压缩后的数据也可减少通讯带宽的占用，再者，预处理后的数据也可以进一步提高控制后台的数据分析效率，加快对配电异常情况的识别响应。
可选的，所述权重时段算法包括以下步骤：
B1，根据预设的时段长度分割数据采样周期生成周期时段序列，其中，周期时段序列包括多个分割时段；
B2，依次于周期时段序列选择分割时段并定义为统计时段；
B3，根据统计时段和预设的时段统计跨度确定对应的前置时段；
B4，根据统计时段和前置时段确定统计时段区间；
B5，根据统计时段区间于子类补全数据获取对应的数据并定义为时段区间数据；
B6，根据时段区间数据以预设的拟合函数算法生成时段数据拟合函数；
B7，根据数据采样间隔对时段数据拟合函数求导生成时段拟合函数斜率数据；
B8，对时段拟合函数斜率数据求标准差并定义为分割时段斜率标准差；
B9，根据所有的分割时段斜率标准差从大到小排序生成分割时段权重排序表；
B10，根据分割时段权重排序表与预设的分割时段权重赋值表确定各对应的分割时段的数据权重率；
B11，根据周期时段序列和各分割时段的数据权重率生成时段权重序列。
通过以上步骤，所述电网量测数据筛选处理方法可以根据采集到的数据进行分析以确定各个分割时段的数据重要性，进而确定各分割时段的数据权重率，进而可以根据各分割时段的数据权重率对各分割时段内的数据量进行缩减。
可选的，所述数据权重算法包括以下步骤：
C1，根据各分割时段于子类补全数据获取对应的数据并定义为时段数据；
C2，根据分割时段于时段权重序列获取对应的数据权重率；
C3，根据时段数据确定时段采样个数；
C4，根据时段采样个数和数据权重率求乘积并取整确定时段权重采样个数；
C5，根据时段权重采样个数和时段数据以预设的数据重采样算法生成时段权重调节数据；
C6，根据所有的时段权重调节数据生成权重化子类数据。
通过以上步骤，所述电网量测数据筛选处理方法可以根据生成的时段权重序列对各分割时段对应的时段数据进行部分数据的删除，可以在尽量保留重要数据的同时，删去部分次要数据，进而可以在尽可能保留数据的信息特征同时，减少数据量，以提高后续的数据处理效率并降低数据传输所占用的带宽。
可选的，所述数据降噪算法的计算式为：
其中，xj[n]为权重化子类数据中各分割时段于时间点n的值，yj[n]为降噪子类数据中各分割时段于时间点n的值，j为分割时段的索引，N为预设的移动平均窗口值，k为移动平均窗口的索引。
可选的，所述数据降噪算法进一步包括以下计算式用于计算各分割时段对应的移动平均窗口值：
其中，Nj为各分割时段的移动平均窗口值，wj为分割时段对应的数据权重率，表示向下取整。
通过以上算法，所述电网量测数据筛选处理方法可以将权重化子类数据中的数据进行一定程度的降噪和平滑处理，以减少数据采集装置本身所带来的影响，同时平滑后的数据可以更好地用于趋势分析。
可选的，所述标准化算法为：
其中，ynorm[n]为标准化子类数据中于时间点n的值，y[n]为降噪子类数据中于时间点n的值，ymax[n]降噪子类数据中的最大值，ymin[n]为降噪子类数据中的最小值，Δμ为降噪子类数据实际平均值；
其中，通过以下计算式计算Δμ的值，
其中，i为降噪子类数据中各分割时段的索引，a为各分割时段中数据的索引，M为时段采样个数，Mj为各分割时段的时段权重采样个数，C为降噪子类数据的数据总个数。
通过以上算法，所述电网量测数据筛选处理方法可以在各个分割时段所对应的数据量不同的情况下，较好地对降噪子类数据进行标准化处理，以使各个分割时段所对应的时段数据都能被较准确地被标准化，避免出现不必要的错误数据。
可选的，所述数据补全算法包括以下步骤：
D1，根据节点子类数据和数据采样间隔确定缺失采集时刻数据；
D2，根据缺失采集时刻数据中的缺失采集时刻确定前一有效采集时刻和后一有效采集时刻；
D3，根据前一有效采集时刻和后一有效采集时刻于节点子类数据获取对应的前一采集值和后一采集值；
D4，根据缺失采集时刻、前一有效采集时刻和对应的前一采集值、后一有效采集时刻和对应的后一采集值以预设的插值算法计算缺失采集值，
其中，插值算法的计算式为：
其中，x为缺失采集值，x1为前一采集值，x2为后一采集值，t为缺失采集时刻，t1为前一有效采集时刻，t2为后一有效采集时刻。
通过以上步骤，所述电网量测数据筛选处理方法可以在进行其他数据处理的步骤前，较好地填补空缺的数据，避免在后续数据处理中出现异常和误差，以提高数据处理的准确度。
可选的，所述数据压缩算法为：
E1，于标准化子类数据中选择第一个数据值和对应的数据采集时刻作为基准数据值和基准采集时刻；
E2，根据各标准化子类数据和基准数据值以预设的差分编码算法计算差值数据，
设标准化子类数据为D＝[d1，d2，d3，…，df],
差值数据为D′＝[d′1，d′2，d′3，…d′f],则有：
d′1＝d1,
其中，d′1为差值数据中的第一个数据值，d1为基准数据值；
则，对于所有f＞1，有d′f＝df-df-1，
其中，d′f为差值数据中的第f个数据值；
E3，根据基准数据值、基准采集时刻、所有的差值数据和数据采样间隔生成子类压缩数据；
E4，根据所有的子类压缩数据组合生成配电节点压缩数据。
通过以上步骤，所述电网量测数据筛选处理方法可以根据数据特性对数据进行压缩，以较好地降低数据的尺寸，进一步降低数据传输的带宽占用，提高数据的传输效率。
综上所述，本申请包括以下至少一种有益技术效果：
1.所述电网量测数据筛选处理方法可以大大降低控制后台的数据处理量，同时压缩后的数据也可减少通讯带宽的占用，再者，预处理后的数据也可以进一步提高控制后台的数据分析效率，加快对配电异常情况的识别响应；
2.所述电网量测数据筛选处理方法可以根据采集到的数据进行分析以确定各个分割时段的数据重要性，进而确定各分割时段的数据权重率，进而可以根据各分割时段的数据权重率对各分割时段内的数据量进行缩减；
3.所述电网量测数据筛选处理方法可以根据生成的时段权重序列对各分割时段对应的时段数据进行部分数据的删除，可以在尽量保留重要数据的同时，删去部分次要数据，进而可以在尽可能保留数据的信息特征同时，减少数据量，以提高后续的数据处理效率并降低数据传输所占用的带宽。
附图说明
图1是本申请所述电网量测数据筛选处理方法的工作流程示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
下面结合说明书附图对本申请实施例作进一步详细描述。
本申请实施例公开一种电网量测数据筛选处理方法。
参照图1，所述电网量测数据筛选处理方法，包括以下步骤：
A1，根据预设的数据采样周期和预设的数据采样间隔通过预设的配电数据采集设备于预设的配电节点获取配电节点数据，其中，配电节点数据包括多个节点子类数据；
数据采样周期为预先设定的时间长度，用于确定单次采集数据的总时间，如1天、2天、1周等；
数据采样间隔为预先设定的数据采集的时间间隔，用于确定配电数据的采集频率，如每隔1分钟采集一次；
配电数据采集设备为预先设置的数据采集装置，用于采集各个配电节点的数据；
配电节点为配电网中各个节点，配电节点会产生大量的配电数据，可用于分析相对应的配电情况；
配电节点数据为配电数据采集设备于配电节点采集的数据，可以是多方面的数据，如电压、电流、功率等电力相关数据，也可以是温度、湿度、噪声等环境数据，这些数据都可用于分析配电网的工作状态；
节点子类数据为配电节点数据下某一同类型的数据，如电压相关的节点子类数据中全部为当前配电节点于不同时刻采集的电压数据，电流相关的节点子类数据中全部为当前配电节点于不同时刻采集的电流数据，这些数据通常根据采集时刻依次采集和排列。
A2，根据各节点子类数据分别以预设的数据补全算法生成子类补全数据；
数据补全算法为预设的算法，用于对节点子类数据中的缺省数据进行补充填补，避免出现数据空缺；
子类补全数据为节点子类数据经过数据填补后的数据。
A3，根据子类补全数据以预设的时段权重算法生成对应的时段权重序列；
时段权重算法为预设的算法，用于根据子类补全数据计算数据采样周期中各个时段的数据权重，以生成时段权重序列；
时段权重序列为数据采样周期中各个时段的数据权重数据，反映各个时段的对应数据的重要程度。
A4，根据时段权重序列以及子类补全数据以预设的数据权重算法生成权重化子类数据；
数据权重算法为预设的算法，用于根据时段权重序列对子类补全数据数据进行处理，以根据各个时段的不同数据权重调节各个时段对应的数据量，进而在保证重要数据的同时减少总数据量。
A5，根据权重化子类数据以预设的数据降噪算法生成降噪子类数据；
数据降噪算法为预设的算法，用于对权重化子类数据进行降噪处理，消除因采集设备自身误差导致的数据波动；
降噪子类数据为经过降噪处理的权重化子类数据。
A6，根据降噪子类数据以预设的标准化算法生成标准化子类数据；
标准化算法为预设的算法，用于对数据进行标准化处理，使数据后续可以更好地用于模型识别等人工智能识别和分析；通常的标准化降数据进行尺度缩放，使数据重新生成于[-1,1]或[0,1]的范围，使数据能够被较好地进行比较和分析；
标准化子类数据为降噪子类数据经过标准化后的数据。
A7，根据所有的标准化子类数据以预设的数据压缩算法生成配电节点压缩数据；
数据压缩算法为预设的压缩算法，用于对标准化的数据进行压缩，进一步减少在传输过程中的数据量，进而降低传输配电数据时所占用的带宽；
配电节点压缩数据为配电节点经过预处理后的数据经过压缩后生成的压缩数据，有着更小的数据尺寸，便于传输。
A8，传输配电节点压缩数据至预设的控制后台；
控制后台为预先设置的控制中心，用于接收汇集各配电节点的数据并进行集中的分析和处理，以识别配电网络存在的异常或故障。
值得一提的是，因为智能电表或智能采集设备的普及，以上的数据预处理步骤可以由智能电表或智能采集设备于各个配电节点进行分布式地采集数据和处理数据并最终传输至控制后台。
通过以上步骤，所述电网量测数据筛选处理方法可以大大降低控制后台的数据处理量，同时压缩后的数据也可减少通讯带宽的占用，再者，预处理后的数据也可以进一步提高控制后台的数据分析效率，加快对配电异常情况的识别响应。
进一步地，所述权重时段算法包括以下步骤：
B1，根据预设的时段长度分割数据采样周期生成周期时段序列，其中，周期时段序列包括多个分割时段；
时段长度为预设的时间的长度，用于对采样周期分成多个等份的时间段；
周期时段序列为采样周期被分割后的多个时段的序列信息；
分割时段为周期时段序列中一个单独的时段；
例如，设采样周期为24小时，设时段长度为1小时，则有时周期时段序列为[00:00-01:00,01:00-02:00,…,23:00-00:00]，其中，00:00-01:00为一个分割时段。
B2，依次于周期时段序列选择分割时段并定义为统计时段；
统计时段为当前需要进行数据处理的分割时段。
B3，根据统计时段和预设的时段统计跨度确定对应的前置时段；
时段统计跨度为预设的数值，用于根据统计时段确定对应的前置时段；
前置时段为统计时段之前的一个或多个分割时段；
例如，假设统计时段为06:00-07:00，时段统计跨度为1，则前置时段为05:00-06:00；若时段统计跨度为2，则前置时段为04:00-05:00和05:00-06:00。
B4，根据统计时段和前置时段确定统计时段区间；
统计时段区间为统计时段和前置时段的合并后的时段区间；
例如，统计时段为06:00-07:00，前置时段为05:00-06:00，则统计时段区间为05:00-07:00。
通常，当配电节点发生突发的异常情况的当时，一般会引起采集数据的突变，而异常情况还会持续影响后续采集到的数据，故结合当前时段的时间和过去一段时间内的数据，可以用于分析是否可能存在因异常情况导致的数据突变，进而可以根据异常情况的存在可能性改变相关的数据量权重。
B5，根据统计时段区间于子类补全数据获取对应的数据并定义为时段区间数据；
时段区间数据为子类补全数据中与统计时段区间对应的数据，例如，统计时段区间为05:00-07:00，则时段区间数据为子类补全数据中05:00-07:00采集到的数据。
B6，根据时段区间数据以预设的拟合函数算法生成时段数据拟合函数；
拟合函数算法为预设的算法，用于根据离散的数据生成拟合函数；
时段数据拟合函数为根据时段区间数据拟合生成的函数，用于反映数据的在统计时段区间中的变化趋势。
B7，根据数据采样间隔对时段数据拟合函数求导生成时段拟合函数斜率数据；
时段拟合函数斜率数据为时段数据拟合函数中各个数据采集时刻所对应的斜率数值的数据集，反映了在该时刻，数据的变化趋势。
B8，对时段拟合函数斜率数据求标准差并定义为分割时段斜率标准差；
分割时段斜率标准差为时段拟合函数斜率数据的标准差，反映了时段区间数据的波动情况；
当时段区间数据中数据的波动情况越频繁，则时段拟合函数斜率数据中的斜率数据变化越大，则分割时段斜率标准差也越大，即当时段区间数据中可能包含了配电异常情况导致的数据波动的信息。
B9，根据所有的分割时段斜率标准差从大到小排序生成分割时段权重排序表；
分割时段权重排序表为各分割时段斜率标准差的排序列表，反映了各个分割时段的数据波动排序情况。
B10，根据分割时段权重排序表与预设的分割时段权重赋值表确定各对应的分割时段的数据权重率；
分割时段权重赋值表为预先设定的赋值表，用于根据分割时段权重排序表对各个分割时段的数据权重率进行赋值；
数据权重率为反映分割时段的数据重要程度的数值；
例如，假设现有分割时段权重排序表为
[20:00-21:00,19:00-20:00,21:00-22:00,…,03:00-04:00]，对应的分割时段权重赋值表为[1,0.95,0.9,…,0.5]，则对应的22:00-21:00分割时段的数据权重率为1，19:00-20:00分割时段的数据权重率为0.95，依次类推。
B11，根据周期时段序列和各分割时段的数据权重率生成时段权重序列；
时段权重序列为各个分割时段和对应的数据权重率的关联信息序列；
例如，对于现有的周期时段序列
[00:00-01:00,01:00-02:00,…,23:00-00:00]，其时段权重序列可以被表示为[0.7,0.6,…0.9]，可方便的供其他步骤或算法调用。
通过以上步骤，所述电网量测数据筛选处理方法可以根据采集到的数据进行分析以确定各个分割时段的数据重要性，进而确定各分割时段的数据权重率，进而可以根据各分割时段的数据权重率对各分割时段内的数据量进行缩减。
进一步地，所述数据权重算法包括以下步骤：
C1，根据各分割时段于子类补全数据获取对应的数据并定义为时段数据；
时段数据为子类补全数据中分割时段对应的数据，即子类补全数据中该时段采集到的数据。
C2，根据分割时段于时段权重序列获取对应的数据权重率；
根据分割时段获取对应的该分割时段的数据权重率。
C3，根据时段数据确定时段采样个数；
时段采样个数为时段数据中的数据个数，可以通过简单的统计方法获得。
C4，根据时段采样个数和数据权重率求乘积并取整确定时段权重采样个数；
时段权重采样个数为时段采样个数根据根据数据权重率调节后的数据个数；
例如，设时段采样个数为1440个，数据权重率为0.8，则时段权重采样个数为1440*0.8＝1152个。
C5，根据时段权重采样个数和时段数据以预设的数据重采样算法生成时段权重调节数据；
数据重采样算法为预设的算法，用于根据时段权重采样个数改变时段数据中数据个数，以达到减少数据量的效果，数据重采样算法可以是按一定的规律删去部分数据点以及减少数据量至时段权重采样个数，也可以是随机删去部分数据点；
时段权重调节数据为根据时段权重采样个数删除部分数据后的时段数据；
当分割时段所对应的数据权重率越大，则该分割时段对应的时段数据中保留下来的数据则越多，越能更好地保留其承载的数据信息。
C6，根据所有的时段权重调节数据生成权重化子类数据；
权重化子类数据为各分割时段对应的时段权重调节数据的集合。
通过以上步骤，所述电网量测数据筛选处理方法可以根据生成的时段权重序列对各分割时段对应的时段数据进行部分数据的删除，可以在尽量保留重要数据的同时，删去部分次要数据，进而可以在尽可能保留数据的信息特征同时，减少数据量，以提高后续的数据处理效率并降低数据传输所占用的带宽。
进一步地，所述数据降噪算法的计算式为：
其中，xj[n]为权重化子类数据中各分割时段于时间点n的值，yj[n]为降噪子类数据中各分割时段于时间点n的值，j为分割时段的索引，N为预设的移动平均窗口值，k为移动平均窗口的索引。
进一步地，所述数据降噪算法进一步包括以下计算式用于计算各分割时段对应的移动平均窗口值：
其中，Nj为各分割时段的移动平均窗口值，wj为分割时段对应的数据权重率，表示向下取整。
因于数据降噪算法处理数据前，权重化子类数据中的各个分割时段的数据个数在进行部分删除后不再相同，故需要根据各分割时段对应的时段数据中数据量进行移动平均窗口值的调节缩放，以使数据降噪算法能够更稳定地发挥作用。
通过以上算法，所述电网量测数据筛选处理方法可以将权重化子类数据中的数据进行一定程度的降噪和平滑处理，以减少数据采集装置本身所带来的影响，同时平滑后的数据可以更好地用于趋势分析。
进一步地，所述标准化算法为：
其中，ynorm[n]为标准化子类数据中于时间点n的值，y[n]为降噪子类数据中于时间点n的值，ymax[n]降噪子类数据中的最大值，ymin[n]为降噪子类数据中的最小值，Δμ为降噪子类数据实际平均值；
其中，通过以下计算式计算Δμ的值，
其中，i为降噪子类数据中各分割时段的索引，a为各分割时段中数据的索引，M为时段采样个数，Mj为各分割时段的时段权重采样个数，C为降噪子类数据的数据总个数。
因降噪子类数据中各分割时段对应的时段数据的数据个数不同，则需要对标准化算法中的平均值进行重新调节计算以确定各个时段数据对应的数据平均值，避免标准化算法在不同分割时段出现数据偏差，故需要计算每个分割时段对应的时段数据的降噪子类数据实际平均值，即Δμ。
通过以上算法，所述电网量测数据筛选处理方法可以在各个分割时段所对应的数据量不同的情况下，较好地对降噪子类数据进行标准化处理，以使各个分割时段所对应的时段数据都能被较准确地被标准化，避免出现不必要的错误数据。
进一步地，所述数据补全算法包括以下步骤：
D1，根据节点子类数据和数据采样间隔确定缺失采集时刻数据；
缺失采集时刻数据为未采集到数据的采集时刻的数据集合，一个或多个缺失采集时刻的数据合集为缺失采集时刻数据。
D2，根据缺失采集时刻数据中的缺失采集时刻确定前一有效采集时刻和后一有效采集时刻；
缺失采集时刻为应当采集数据而未成功采集数据的时刻；
前一有效采集时刻为缺失采集时刻前一个成功采集到数据的采集时刻；
后一有效采集时刻为为缺失采集时刻后一个成功采集到数据的采集时刻；
例如，假设数据采样间隔为1分钟，15:35采集到的某一类型的数据为57.1，15:37采集到的同一类型的数据为59.2，而15:36对应的数据为空值，则可以确定15:36为缺失采集时刻，15:35为前一有效采集时刻，15:37为后一采集有效时刻。
D3，根据前一有效采集时刻和后一有效采集时刻于节点子类数据获取对应的前一采集值和后一采集值；
前一采集值为前一有效采集时刻采集到的数据；
后一采集值为后一有效采集时刻采集到的数据。
D4，根据缺失采集时刻、前一有效采集时刻和对应的前一采集值、后一有效采集时刻和对应的后一采集值以预设的插值算法计算缺失采集值，
其中，插值算法的计算式为：
其中，x为缺失采集值，x1为前一采集值，x2为后一采集值，t为缺失采集时刻，t1为前一有效采集时刻，t2为后一有效采集时刻；
缺失采集值为经过算法生成的虚拟采集数据，用于填补缺失的数据。
通过以上步骤，所述电网量测数据筛选处理方法可以在进行其他数据处理的步骤前，较好地填补空缺的数据，避免在后续数据处理中出现异常和误差，以提高数据处理的准确度。
进一步地，所述数据压缩算法为：
E1，于标准化子类数据中选择第一个数据值和对应的数据采集时刻作为基准数据值和基准采集时刻；
基准数据值为数据压缩过程中的基准值，通常为数据集中的第一个数据；
基准采集时刻为基准数据值对应的数据采集时刻。
E2，根据各标准化子类数据和基准数据值以预设的差分编码算法计算差值数据，
设标准化子类数据为D＝[d1，d2，d3，…，df],
差值数据为D′＝[d′1，d′2，d′3，…，d′f],则有：
d′1＝d1,
其中，d′1为差值数据中的第一个数据值，d1为基准数据值；
则，对于所有f>1，有d′f＝df-df-1，
其中，d′f为差值数据中的第f个数据值；
差分编码算法为预设的算法，用于根据数据间的差值进行数据压缩；
差值数据为相邻两个数据的差值；
通常，配电网数据中大部分数据都是线性连续变化的，在数据标准化后，它们之间的差值较小，选用差分编码算法来对数据进行压缩处理，可以较好的缩小数据尺寸，便于后续的数据传输；
值得一提的是，在数据降噪算法处理后，正常的数据之间会变得平滑，平滑的数据也利于数据压缩。
E3，根据基准数据值、基准采集时刻、所有的差值数据和数据采样间隔生成子类压缩数据；
子类压缩数据为标准化子类数据经过压缩后的数据。
E4，根据所有的子类压缩数据组合生成配电节点压缩数据；
电节点压缩数据为所有子类压缩数据的数据集。
通过以上步骤，所述电网量测数据筛选处理方法可以根据数据特性对数据进行压缩，以较好地降低数据的尺寸，进一步降低数据传输的带宽占用，提高数据的传输效率。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，本说明书(包括摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
Claims (8)
1.一种电网量测数据筛选处理方法，其特征在于，包括以下步骤：
A1，根据预设的数据采样周期和预设的数据采样间隔通过预设的配电数据采集设备于预设的配电节点获取配电节点数据，其中，配电节点数据包括多个节点子类数据；
A2，根据各节点子类数据分别以预设的数据补全算法生成子类补全数据；
A3，根据子类补全数据以预设的时段权重算法生成对应的时段权重序列；
A4，根据时段权重序列以及子类补全数据以预设的数据权重算法生成权重化子类数据；
A5，根据权重化子类数据以预设的数据降噪算法生成降噪子类数据；
A6，根据降噪子类数据以预设的标准化算法生成标准化子类数据；
A7，根据所有的标准化子类数据以预设的数据压缩算法生成配电节点压缩数据；
A8，传输配电节点压缩数据至预设的控制后台。
2.根据权利要求1所述的电网量测数据筛选处理方法，其特征在于，所述权重时段算法包括以下步骤：
B1，根据预设的时段长度分割数据采样周期生成周期时段序列，其中，周期时段序列包括多个分割时段；
B2，依次于周期时段序列选择分割时段并定义为统计时段；
B3，根据统计时段和预设的时段统计跨度确定对应的前置时段；
B4，根据统计时段和前置时段确定统计时段区间；
B5，根据统计时段区间于子类补全数据获取对应的数据并定义为时段区间数据；
B6，根据时段区间数据以预设的拟合函数算法生成时段数据拟合函数；
B7，根据数据采样间隔对时段数据拟合函数求导生成时段拟合函数斜率数据；
B8，对时段拟合函数斜率数据求标准差并定义为分割时段斜率标准差；
B9，根据所有的分割时段斜率标准差从大到小排序生成分割时段权重排序表；
B10，根据分割时段权重排序表与预设的分割时段权重赋值表确定各对应的分割时段的数据权重率；
B11，根据周期时段序列和各分割时段的数据权重率生成时段权重序列。
3.根据权利要求2所述的电网量测数据筛选处理方法，其特征在于，所述数据权重算法包括以下步骤：
C1，根据各分割时段于子类补全数据获取对应的数据并定义为时段数据；
C2，根据分割时段于时段权重序列获取对应的数据权重率；
C3，根据时段数据确定时段采样个数；
C4，根据时段采样个数和数据权重率求乘积并取整确定时段权重采样个数；
C5，根据时段权重采样个数和时段数据以预设的数据重采样算法生成时段权重调节数据；
C6，根据所有的时段权重调节数据生成权重化子类数据。
4.根据权利要求3所述的电网量测数据筛选处理方法，其特征在于，所述数据降噪算法的计算式为：
其中，xj[n]为权重化子类数据中各分割时段于时间点n的值，yj[n]为降噪子类数据中各分割时段于时间点n的值，j为分割时段的索引，N为预设的移动平均窗口值，k为移动平均窗口的索引。
5.根据权利要求4所述的电网量测数据筛选处理方法，其特征在于，所述数据降噪算法进一步包括以下计算式用于计算各分割时段对应的移动平均窗口值：
其中，Nj为各分割时段的移动平均窗口值，wj为分割时段对应的数据权重率，表示向下取整。
6.根据权利要求5所述的电网量测数据筛选处理方法，其特征在于，所述标准化算法为：
其中，ynorm[n]为标准化子类数据中于时间点n的值，y[n]为降噪子类数据中于时间点n的值，ymax[n]降噪子类数据中的最大值，ymin[n]为降噪子类数据中的最小值，Δμ为降噪子类数据实际平均值；
其中，通过以下计算式计算Δμ的值，
其中，i为降噪子类数据中各分割时段的索引，a为各分割时段中数据的索引，M为时段采样个数，Mj为各分割时段的时段权重采样个数，C为降噪子类数据的数据总个数。
7.根据权利要求6所述的电网量测数据筛选处理方法，其特征在于，所述数据补全算法包括以下步骤：
D1，根据节点子类数据和数据采样间隔确定缺失采集时刻数据；
D2，根据缺失采集时刻数据中的缺失采集时刻确定前一有效采集时刻和后一有效采集时刻；
D3，根据前一有效采集时刻和后一有效采集时刻于节点子类数据获取对应的前一采集值和后一采集值；
D4，根据缺失采集时刻、前一有效采集时刻和对应的前一采集值、后一有效采集时刻和对应的后一采集值以预设的插值算法计算缺失采集值，
其中，插值算法的计算式为：
其中，x为缺失采集值，x1为前一采集值，x2为后一采集值，t为缺失采集时刻，t1为前一有效采集时刻，t2为后一有效采集时刻。
8.根据权利要求7所述的电网量测数据筛选处理方法，其特征在于，所述数据压缩算法为：
E1，于标准化子类数据中选择第一个数据值和对应的数据采集时刻作为基准数据值和基准采集时刻；
E2，根据各标准化子类数据和基准数据值以预设的差分编码算法计算差值数据，
设标准化子类数据为D＝[d1，d2，d3，…，df]，
差值数据为D′＝[d′1，d′2，d′3，…，d′f]，则有：
d′1＝d1，
其中，d′1为差值数据中的第一个数据值，d1为基准数据值；
则，对于所有f＞1，有d′f＝df-df-1，
其中，d′f为差值数据中的第f个数据值；
E3，根据基准数据值、基准采集时刻、所有的差值数据和数据采样间隔生成子类压缩数据；
E4，根据所有的子类压缩数据组合生成配电节点压缩数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410203307.5A CN118069989A (zh) | 2024-02-23 | 2024-02-23 | 一种电网量测数据筛选处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410203307.5A CN118069989A (zh) | 2024-02-23 | 2024-02-23 | 一种电网量测数据筛选处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118069989A true CN118069989A (zh) | 2024-05-24 |
Family
ID=91101722
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410203307.5A Pending CN118069989A (zh) | 2024-02-23 | 2024-02-23 | 一种电网量测数据筛选处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118069989A (zh) |
-
2024
- 2024-02-23 CN CN202410203307.5A patent/CN118069989A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111584952B (zh) | 用于储能电站电化学电池在线评估的方法和系统 | |
| CN114298863B (zh) | 一种智能抄表终端的数据采集方法及系统 | |
| CN113267692B (zh) | 一种低压台区线损智能诊断分析方法和系统 | |
| CN116579590B (zh) | 一种虚拟电厂中的需求响应评估方法和系统 | |
| CN112433907A (zh) | 不间断电源的主机运行参量数据的处理方法、装置和电子装置 | |
| CN114004296A (zh) | 一种基于电力负荷特征反向提取监测点的方法及系统 | |
| CN112307003A (zh) | 电网数据多维辅助分析方法、系统、终端及可读存储介质 | |
| CN117353751B (zh) | 基于大数据的无人充电桩交易数据智能管理系统 | |
| CN115081795A (zh) | 多维场景下企业能耗异常成因分析方法及系统 | |
| CN116739829B (zh) | 一种基于大数据的电力数据分析方法、系统及介质 | |
| CN116821660A (zh) | 一种电力管理方法、系统、终端设备及存储介质 | |
| CN112002949A (zh) | 一种动力电池主动均衡的监测管理方法及系统 | |
| CN113139880A (zh) | 风电机组实际功率曲线拟合方法、装置、设备及存储介质 | |
| CN103617447A (zh) | 智能变电站的评价系统及评价方法 | |
| CN112632127A (zh) | 设备运行实时数据采集及时序的数据处理方法 | |
| CN114186733A (zh) | 一种短期负荷预测方法和装置 | |
| CN118069989A (zh) | 一种电网量测数据筛选处理方法 | |
| CN116029491B (zh) | 一种电力调度管理系统及其控制方法 | |
| CN111506636A (zh) | 一种基于自回归和近邻算法的居民用电行为分析的系统及方法 | |
| CN115834720A (zh) | 一种用于光伏通讯数据的数据压缩方法 | |
| CN114860808A (zh) | 基于大数据的配电网设备异常事件关联分析方法 | |
| CN113705710A (zh) | 电动车充电设施违约用电识别方法及装置 | |
| CN111612221A (zh) | 一种基于电流指纹技术的工厂工效统计方法 | |
| CN106980925B (zh) | 一种基于大数据的区域电网调度方法 | |
| CN117786370B (zh) | 一种网格化服务终端用信息智能分析系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination |