CN116776258B - 电力设备监测数据处理方法及系统 - Google Patents
电力设备监测数据处理方法及系统 Download PDFInfo
- Publication number
- CN116776258B CN116776258B CN202311070227.9A CN202311070227A CN116776258B CN 116776258 B CN116776258 B CN 116776258B CN 202311070227 A CN202311070227 A CN 202311070227A CN 116776258 B CN116776258 B CN 116776258B
- Authority
- CN
- China
- Prior art keywords
- data
- matrix
- result
- time sequence
- support
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 184
- 238000003672 processing method Methods 0.000 title claims description 9
- 239000011159 matrix material Substances 0.000 claims abstract description 175
- 230000002159 abnormal effect Effects 0.000 claims abstract description 67
- 238000012545 processing Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000005457 optimization Methods 0.000 claims abstract description 25
- 238000004458 analytical method Methods 0.000 claims abstract description 15
- 238000010276 construction Methods 0.000 claims abstract description 9
- 238000007621 cluster analysis Methods 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 53
- 230000011218 segmentation Effects 0.000 claims description 38
- 238000004140 cleaning Methods 0.000 claims description 26
- 238000011156 evaluation Methods 0.000 claims description 20
- 238000012512 characterization method Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 6
- 125000004122 cyclic group Chemical group 0.000 claims description 5
- 238000000638 solvent extraction Methods 0.000 claims 4
- 238000005192 partition Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明提供了电力设备监测数据处理方法及系统,涉及电数据处理技术领域,对监测时序数据进行分组与数据组的相似度矩阵构建,进行数据聚类分析与异常值划分,基于聚类质心均值进行缺失数据与异常数据的替换,完成数据优化并传输至用户终端,解决了现有技术中对于电力设备监测数据的处理,需要依赖于大量的数据样本,样本的差异性导致数据处理结果未必符合电力设备的个体化场景的技术问题,对获取的监测时序数据进行相似度分析与矩阵化处理,以确定聚类质心精简高效进行数据分组,进而结合孤立森林思想进行异常数据识别,基于质心均值进行异常数据与缺失数据的替换,基于监测数据自身进行数据处理分析,以保障数据处理结果的设备场景适配性。
Description
技术领域
本发明涉及电数据处理技术领域,具体涉及电力设备监测数据处理方法及系统。
背景技术
随着配电网的运行,同步衍生数量庞大的电力设备多源异质数据,为保障监测数据的质量,需对源数据进行进一步分析与处理。现有技术中对于电力设备监测数据的处理,需要依赖于大量的数据样本,样本的差异性导致数据处理结果未必符合电力设备的个体化场景,因此亟需一种基于监测数据自身的数据处理方案。
发明内容
本申请提供了电力设备监测数据处理方法及系统,用于针对解决现有技术中存在的对于电力设备监测数据的处理,需要依赖于大量的数据样本,样本的差异性导致数据处理结果未必符合电力设备的个体化场景,因此亟需一种基于监测数据自身的数据处理方案的技术问题。
鉴于上述问题,本申请提供了电力设备监测数据处理方法及系统。
第一方面,本申请提供了电力设备监测数据处理方法,所述方法包括:
获取第一电力设备的第一数据属性的监测时序数据;
根据设备控制参数对所述监测时序数据分组,获取监测时序数据分组结果;
基于所述监测时序数据分组结果的第i组监测时序数据,构建相似度矩阵;
基于所述相似度矩阵对所述第i组监测时序数据进行聚类分析,获取N个聚类结果;
对所述N个聚类结果进行异常值划分,获取异常数据划分结果;
对所述第i组监测时序数据的缺失值和所述异常数据划分结果,使用所述N个聚类结果的聚类质心均值进行替换,获取第i组监测时序数据优化结果;
将所述第i组监测时序数据优化结果传输至用户终端。
第二方面,本申请提供了电力设备监测数据处理系统,所述系统包括:
数据获取模块,所述数据获取模块用于获取第一电力设备的第一数据属性的监测时序数据;
数据分组模块,所述数据分组模块用于根据设备控制参数对所述监测时序数据分组,获取监测时序数据分组结果;
矩阵构建模块,所述矩阵构建模块用于基于所述监测时序数据分组结果的第i组监测时序数据,构建相似度矩阵;
数据聚类模块,所述数据聚类模块用于基于所述相似度矩阵对所述第i组监测时序数据进行聚类分析,获取N个聚类结果;
异常值划分模块,所述异常值划分模块用于对所述N个聚类结果进行异常值划分,获取异常数据划分结果;
数据优化模块,所述数据优化模块用于对所述第i组监测时序数据的缺失值和所述异常数据划分结果,使用所述N个聚类结果的聚类质心均值进行替换,获取第i组监测时序数据优化结果;
结果传输模块,所述结果传输模块用于将所述第i组监测时序数据优化结果传输至用户终端。
本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
本申请实施例提供的电力设备监测数据处理方法,获取第一电力设备的第一数据属性的监测时序数据,根据设备控制参数对所述监测时序数据分组,基于所述监测时序数据分组结果的第i组监测时序数据,构建相似度矩阵并对所述第i组监测时序数据进行聚类分析,获取N个聚类结果并进行异常值划分,获取异常数据划分结果;对所述第i组监测时序数据的缺失值和所述异常数据划分结果基于所述N个聚类结果的聚类质心均值进行替换,获取第i组监测时序数据优化结果并传输至用户终端,解决了现有技术中对于电力设备监测数据的处理,需要依赖于大量的数据样本,样本的差异性导致数据处理结果未必符合电力设备的个体化场景,因此亟需一种基于监测数据自身的数据处理方案的技术问题,对获取的监测时序数据进行相似度分析与矩阵化处理,以确定聚类质心精简高效进行数据分组,进而结合孤立森林思想进行异常数据识别,基于质心均值进行异常数据与缺失数据的替换,基于监测数据自身进行数据处理分析,以保障数据处理结果的设备场景适配性。
附图说明
图1为本申请提供了电力设备监测数据处理方法流程示意图;
图2为本申请提供了电力设备监测数据处理方法中N个聚类结果获取流程示意图;
图3为本申请提供了电力设备监测数据处理方法中异常数据划分结果获取流程示意图;
图4为本申请提供了电力设备监测数据处理系统结构示意图。
附图标记说明:数据获取模块11,数据分组模块12,矩阵构建模块13,数据聚类模块14,异常值划分模块15,数据优化模块16,结果传输模块17。
具体实施方式
本申请通过提供电力设备监测数据处理方法及系统,对监测时序数据进行分组与数据组的相似度矩阵构建,进行数据聚类分析与异常值划分,基于聚类质心均值进行缺失数据与异常数据的替换,完成数据优化并传输至用户终端,用于解决现有技术中存在的对于电力设备监测数据的处理,需要依赖于大量的数据样本,样本的差异性导致数据处理结果未必符合电力设备的个体化场景,因此亟需一种基于监测数据自身的数据处理方案的技术问题。
实施例一:
如图1所示,本申请提供了电力设备监测数据处理方法,所述方法包括:
步骤S100:获取第一电力设备的第一数据属性的监测时序数据;
具体而言,随着配电网的运行,同步衍生数量庞大的电力设备多源异质数据,为保障监测数据的质量,需对源数据进行进一步分析与处理。本申请提供的电力设备监测数据处理方法,对获取的监测时序数据进行相似度分析与矩阵化处理,以确定聚类质心精简高效进行数据分组,进而结合孤立森林思想进行异常数据识别,基于质心均值进行异常数据与缺失数据的替换,基于监测数据自身进行数据处理分析,以保障数据处理结果的设备场景适配性。
具体的,所述第一电力设备为待监测数据源的产生设备,对所述第一电力设备进行数据属性提取,例如电流、电压、剩余电流等,集成作为所述第一数据属性。针对所述第一电力设备的监测数据,基于所述第一数据属性进行数据归属,进一步基于时序推移进行数据的顺序排列,生成所述监测时序数据,所述监测时序数据为待进行处理的采集源数据。
步骤S200:根据设备控制参数对所述监测时序数据分组,获取监测时序数据分组结果;
具体而言,获取所述设备控制参数,例如输入电流、开关关合幅度等,以所述设备控制参数为基准,以控制状态近似为划分标准,对所述监测时序数据进行分组,示例性的,确定近似性划分区间,将所述设备控制参数中参数差量所满足的参数划分为一组,如输入电流波幅为正负1;将不满足近似性划分区间,即相差较大的设备控制参数划分为多组,对分组结果进行规整,生成所述监测时序数据分组结果。基于所述监测时序数据分组结果,逐组进行针对性分析。
步骤S300:基于所述监测时序数据分组结果的第i组监测时序数据,构建相似度矩阵;
进一步而言,基于所述监测时序数据分组结果的第i组监测时序数据,构建相似度矩阵,本申请步骤S300还包括:
步骤S310:对所述第i组监测时序数据进行缺失位标识,获取缺失位标识结果;
步骤S320:基于所述缺失位标识结果对所述第i组监测时序数据进行清洗,获取第i组监测时序数据清洗结果;
步骤S330:构建相似度评估公式:
;
其中,和/>表征第i组监测时序数据清洗结果的任意两个时序的数据,表征/>和/>的相似度;
步骤S340:基于所述相似度评估公式,遍历所述第i组监测时序数据清洗结果,获取相似度评估结果;
步骤S350:将所述第i组监测时序数据清洗结果按照顺序设为矩阵列属性,将所述第i组监测时序数据清洗结果按照顺序设为矩阵行属性;
步骤S360:基于所述矩阵列属性和所述矩阵行属性,填充所述相似度评估结果,获取所述相似度矩阵。
具体而言,基于所述监测时序数据分组结果,提取第i项分组结果,即所述第i组监测时序数据,i为小于等于分组数的正整数。基于所述第i组监测时序数据,进行相似度矩阵的构建。
具体的,实时监测数据中存在着部分数据缺失等异常状况,识别所述第i组监测时序数据的缺失数据,并进行缺失位标识,生成所述缺失位标识结果。识别所述第i组监测时序数据中的缺失位标识结果,对其进行清洗,例如可通过删除数据属性,或者基于近似值或全局常量填充的方式进行数据清洗,获取所述第i组监测时序数据清洗结果。进一步对所述第i组监测时序数据进行任意两个时序数据的相似度评估。
具体的,以不同时序下对应监测数据距离的相反数为相似度评估标准,构建所述相似度评估公式:,其中,/>和/>表征第i组监测时序数据清洗结果的任意两个时序的数据,/>表征/>和/>的相似度。进一步遍历所述第i组监测时序数据清洗结果,基于所述相似度评估公式进行计算,获取所述相似度评估结果,即不同时序下监测数据的相似度。进一步将所述第i组监测时序数据清洗结果按照顺序设为矩阵列属性,将所述第i组监测时序数据清洗结果按照顺序设为矩阵行属性,确定矩阵分布状况,即基于时序性顺序进行矩阵行与列的节点确定,基于所述相似度评估结果进行属性的对应填入,生成所述相似度矩阵,所述相似度矩阵为自交矩阵,用于进行不同时序间数据相似状况的直观性表征。
步骤S400:基于所述相似度矩阵对所述第i组监测时序数据进行聚类分析,获取N个聚类结果;
进一步而言,如图2所示,基于所述相似度矩阵对所述第i组监测时序数据进行聚类分析,获取N个聚类结果,本申请步骤S400还包括:
步骤S410:根据第一支持度计算公式,遍历所述相似度矩阵进行处理,获取第一支持度矩阵;
步骤S420:根据第二支持度第一计算公式,遍历所述第一支持度矩阵进行处理,获取第二支持度第一矩阵;
步骤S430:根据第二支持度第二计算公式,遍历所述第一支持度矩阵进行处理,获取第二支持度第二矩阵;
步骤S440:融合所述第二支持度第一矩阵和所述第二支持度第二矩阵,获取第二支持度矩阵;
步骤S450:加和所述第一支持度矩阵和所述第二支持度矩阵,获取第一决策矩阵;
步骤S460:当所述第一决策矩阵的矩阵对角线元素大于零时,设为聚类质心;
步骤S470:当所述矩阵对角线元素大于零的数量为零时,根据所述第一支持度计算公式、所述第二支持度第一计算公式和所述第二支持度第二计算公式,对所述第一决策矩阵进行循环聚类处理,获取所述聚类质心;
步骤S480:基于所述聚类质心对所述第i组监测时序数据进行聚类分析,获取所述N个聚类结果。
进一步而言,本申请步骤S490,还包括:
步骤S491:所述第一支持度计算公式为:
,
其中,表征相似度矩阵的第j行第k列的相似度的第一支持度,/>表征相似度矩阵的第j行第/>列的第二支持度,初始值为零,/>表征第j行的数据对第k列的数据的意向程度,即第j行第k列的相似度,/>表征除开第j行第k列的相似度的第j行其它列的最大相似度;
步骤S492:所述第二支持度第一计算公式为:
,
其中,表征第k行第k列的第二支持度,/>表征对第k列,除开第k行的其它行的正数加和的结果,/>表征第k列,除开第k行的其它行的第一支持度;
步骤S493:所述第二支持度第二计算公式为:
,
其中,表征第j行第k列的第二支持度,/>表征第k行第k列的第一支持度。
具体而言,以数据自身的支持度作为所述第一支持度,以非己数据的支持度作为所述第二支持度。由于相似度矩阵只能进行同行之间的数据比较,进行相似度矩阵的归一化处理,即对每一行的每一个数据与其他列的最大数据做差,以得到标准化的支持度矩阵。获取所述第一支持度计算公式:,其中,/>表征相似度矩阵的第j行第k列的相似度的第一支持度,/>表征相似度矩阵的第j行第/>列的第二支持度,初始值为零,/>表征第j行的数据对第k列的数据的意向程度,即第j行第k列的相似度,/>表征除开第j行第k列的相似度的第j行其它列的最大相似度,遍历所述第一支持度矩阵,输入所述第一支持度计算公式中进行自身的支持度计算,获取多个数据支持度并进行矩阵分布,生成所述第一支持度矩阵,具体的矩阵行与矩阵列的属性分布与上述相似度矩阵相同。
同理,通过加强自身数据的支持度或降低其他数据的支持度,以确定非己数据的支持度,即所述第二支持度。具体的,获取所述第二支持度第一计算公式:,其中,/>表征第k行第k列的第二支持度,表征对第k列,除开第k行的其它行的正数加和的结果,/>表征第k列,除开第k行的其它行的第一支持度。进而遍历所述第一支持度矩阵,结合所述第二支持度第一计算公式进行计算,对获取的支持度数据进行矩阵分布,即将所述第一支持度矩阵中每一列的数据进行累加,保存至对应的矩阵对角线位置,将其余矩阵项设定为0,获取所述第二支持度第一矩阵。所述第二支持度第一矩阵用于加强数据的自我支持度,即自我表扬。同理,获取所述第二支持度第二计算公式:,其中,/>表征第j行第k列的第二支持度,/>表征第k行第k列的第一支持度。进而遍历所述第一支持度矩阵,结合所述第二支持度第二计算公式进行计算,对获取的支持度数据进行矩阵分布,获取所述第二支持度第二矩阵。
进一步的,对所述第二支持度第一矩阵和所述第二支持度第二矩阵进行矩阵项的融合,即转换至同一矩阵中,可视为同位置矩阵项的相加,作为所述第二支持度矩阵。进一步对所述第一支持度矩阵与所述第二支持度矩阵进行相加,即综合考虑数据自身支持度与非己数据的支持度,生成所述第一决策矩阵。对所述第一决策矩阵进行对角线位置矩阵项识别,若存在至少一项对角线元素大于零,将大于零的对角线元素设定为聚类质心;若不存在大于零的对角线元素,结合所述第一支持度计算公式、所述第二支持度第一计算公式和所述第二支持度第二计算公式,进行矩阵的循环更新,直至获取的所述第一决策矩阵的矩阵对角线元素大于零,将其作为所述聚类质心,通过分析监测数据间的距离关系,选取可以实现较优聚类的多个聚类质心。
进一步的,基于所述第i组监测时序数据,以获取的所述聚类质心对应的监测数据为准,计算其他监测数据到各个聚类质心的距离,聚类于距离最小的质心;由于存在距离相同的情况,因此一个监测数据可能属于两个聚类,获取所述N个聚类结果。目前现有技术中的聚类方式多基于预设偏差聚类,计算量较大,不适用于需要快速处理的数据监测场景,本申请实施例中先确定聚类质心,再根据聚类质心进行数据分组,复杂度较低且计算速度较快。
步骤S500:对所述N个聚类结果进行异常值划分,获取异常数据划分结果;
进一步而言,如图3所示,对所述N个聚类结果进行异常值划分,获取异常数据划分结果,本申请步骤S500还包括:
步骤S510:获取所述N个聚类结果的第n聚类结果的数据极大值和数据极小值;
步骤S520:基于所述数据极大值和所述数据极小值,构建分割阈值取值区间;
步骤S530:基于所述分割阈值取值区间对所述第n聚类结果进行异常值划分,获取所述异常数据划分结果。
进一步而言,基于所述分割阈值取值区间对所述第n聚类结果进行异常值划分,获取所述异常数据划分结果,本申请步骤S530还包括:
步骤S531:根据第n聚类质心,遍历所述第n聚类结果,获取质心距离参数;
步骤S532:基于所述分割阈值取值区间,随机选取一级分割阈值;
步骤S533:根据所述一级分割阈值对所述第n聚类结果进行二分类,获取一级划分结果;
步骤S534:当所述一级划分结果的数据量小于数据量阈值时,判断所述一级划分结果的最小质心距离参数是否小于或等于质心距离阈值;
步骤S535:若所述最小质心距离参数大于所述质心距离阈值,将所述一级划分结果设为所述异常数据划分结果;
步骤S536:当所述一级划分结果的数据量大于或等于数据量阈值,或/和所述最小质心距离参数小于或等于所述质心距离阈值,基于所述分割阈值取值区间,对所述一级划分结果进行迭代划分;
步骤S537:当满足预设划分次数:
所述一级划分结果的数据量大于或等于所述数据量阈值,或/和所述最小质心距离参数小于或等于所述质心距离阈值,将所述异常数据划分结果设为空集。
具体而言,基于所述N个聚类结果,提取第n聚类结果并识别数据极大值与数据极小值,n为小于等于N的正整数,所述数据极大值与所述数据极小值构成的数据区间为所述分割阈值曲直区间。进一步的,基于所述分割阈值取值区间,对所述第n聚类结果进行异常值划分。
具体的,遍历所述第n聚类结果,计算各个类内数据与所述第n聚类中心的距离,获取所述质心距离参数。进一步基于所述分割阈值取值区间,取区间内的任意一数值,作为所述一级分割阈值。基于所述一级分割阈值,对所述第n聚类中心进行二分类,作为所述一级划分结果。结合孤立森林思想,任意一组监测数据中异常数据为少数,通常分布于分割数量较少的一侧,逐层进行多次分割以确定异常数据。
具体的,设定所述数据量阈值,即由本领域技术人员自定义设定的衡量数据异常的最少分割数据量。对所述一级划分结果的数据量与所述数据量阈值进行校对,当所述一级划分结果的数据量小于所述数据量阈值时,表明该部分数据可能为个例数据,进一步判断所述一级划分结果的最小质心距离参数是否小于或等于质心距离阈值,若小于或等于所述质心距离阈值,表明该数据与聚类质心的近似度较高;否则,视为异常并将其设定为所述异常数据划分结果,即偏离了聚类质心且数据量较少时视为异常数据。
其中,当所述一级划分距离的数据量大于或等于所述数据量阈值时,或/和所述最小质心距离参数小于或等于所述质心距离阈值,将其作为正常数据,则此时所述异常数据划分结果为空集。并在所述一级分割结果的基础上再次进行划分。具体的,基于所述分割阈值取值区间,再次随机选取一项数据作为二级分割阈值,基于所述二级分割阈值,对所述一级划分结果中的两组数据分别进行划分,并结合所述数据量阈值与所述质心距离阈值进行异常数据分析判定,重复上述分割迭代方式,直至满足所述预设划分次数,即达到最大划分次数后,停止进行数据分割与异常划分,并整合各分割层级生成的异常数据划分结果。
步骤S600:对所述第i组监测时序数据的缺失值和所述异常数据划分结果,使用所述N个聚类结果的聚类质心均值进行替换,获取第i组监测时序数据优化结果;
步骤S700:将所述第i组监测时序数据优化结果传输至用户终端。
进一步而言,将所述第i组监测时序数据优化结果传输至用户终端,本申请步骤S700还包括:
步骤S710:判断所述第i组监测时序数据优化结果是否具有超限监测数据;
步骤S720:若具有所述超限监测数据,对所述第i组监测时序数据优化结果进行异常数据标识,传输至所述用户终端。
具体而言,识别所述第i组监测时序数据的缺失值与所述异常数据划分结果,对所述N个聚类结果的聚类质心进行均值计算,基于聚类质心均值替换缺失值与所述异常数据划分结果,获取所述第i组监测时序数据优化结果。基于监测数据自身进行数据分析处理,以保障优化数据符合当前电力设备的个体化场景。进一步的,对所述第i组监测时序数据优化结果进行超限检测,即是否存在异常运行数据,例如监测电压数据不满足电力设备正常运行下的电压区间,将其作为所述超限监测数据。若检测存在所述超限监测数据,于所述第i组监测时序数据优化结果中进行所述超限监测数据的标识,以便于用户快速进行电力设备工况识别,将其传输至所述用户终端,对实时电力监测数据进行接收。
本申请实施例提供的电力设备监测数据处理方法,具有如下技术效果:
1、以控制状态相近为基准进行监测时序数据的分组,针对同组数据进行缺失数据与异常数据的分析与替换,同组数据的近似性使得最终确定的替换数据具有组间高度适配性,以提高数据处理结果的实际还原度。
2、对待处理的数据组进行相似度评估与矩阵化,构建决策矩阵进行聚类质心的确定,基于聚类质心进行数据聚类处理,以降低聚类复杂度,减少数据计算量以提高数据处理速度。
3、结合孤立森林思想,以质心距离与数据量为异常判定标准,逐层级进行数据划分归属与异常判定,在提高处理效率的基础上以进行异常数据的精准快速定位。
实施例二:
基于与前述实施例中电力设备监测数据处理方法相同的发明构思,如图4所示,本申请提供了电力设备监测数据处理系统,所述系统包括:
数据获取模块11,所述数据获取模块11用于获取第一电力设备的第一数据属性的监测时序数据;
数据分组模块12,所述数据分组模块12用于根据设备控制参数对所述监测时序数据分组,获取监测时序数据分组结果;
矩阵构建模块13,所述矩阵构建模块13用于基于所述监测时序数据分组结果的第i组监测时序数据,构建相似度矩阵;
数据聚类模块14,所述数据聚类模块14用于基于所述相似度矩阵对所述第i组监测时序数据进行聚类分析,获取N个聚类结果;
异常值划分模块15,所述异常值划分模块15用于对所述N个聚类结果进行异常值划分,获取异常数据划分结果;
数据优化模块16,所述数据优化模块16用于对所述第i组监测时序数据的缺失值和所述异常数据划分结果,使用所述N个聚类结果的聚类质心均值进行替换,获取第i组监测时序数据优化结果;
结果传输模块17,所述结果传输模块17用于将所述第i组监测时序数据优化结果传输至用户终端。
进一步而言,所述矩阵构建模块13还包括:
缺失位标识模块,所述缺失位标识模块用于对所述第i组监测时序数据进行缺失位标识,获取缺失位标识结果;
数据清洗模块,所述数据清洗模块用于基于所述缺失位标识结果对所述第i组监测时序数据进行清洗,获取第i组监测时序数据清洗结果;
公式构建模块,所述公式构建模块用于构建相似度评估公式:
;
其中,和/>表征第i组监测时序数据清洗结果的任意两个时序的数据,表征/>和/>的相似度;
相似度评估模块,所述相似度评估模块用于基于所述相似度评估公式,遍历所述第i组监测时序数据清洗结果,获取相似度评估结果;
属性设定模块,所述属性设定模块用于将所述第i组监测时序数据清洗结果按照顺序设为矩阵列属性,将所述第i组监测时序数据清洗结果按照顺序设为矩阵行属性;
相似度矩阵获取模块,所述相似度矩阵获取模块用于基于所述矩阵列属性和所述矩阵行属性,填充所述相似度评估结果,获取所述相似度矩阵。
进一步而言,所述数据聚类模块14还包括:
第一支持度矩阵获取模块,所述第一支持度矩阵获取模块用于根据第一支持度计算公式,遍历所述相似度矩阵进行处理,获取第一支持度矩阵;
第二支持度第一矩阵获取模块,所述第二支持度第一矩阵获取模块用于根据第二支持度第一计算公式,遍历所述第一支持度矩阵进行处理,获取第二支持度第一矩阵;
第二支持度第二矩阵获取模块,所述第二支持度第二矩阵获取模块用于根据第二支持度第二计算公式,遍历所述第一支持度矩阵进行处理,获取第二支持度第二矩阵;
第二支持度矩阵获取模块,所述第二支持度矩阵获取模块用于融合所述第二支持度第一矩阵和所述第二支持度第二矩阵,获取第二支持度矩阵;
第一决策矩阵获取模块,所述第一决策矩阵获取模块用于加和所述第一支持度矩阵和所述第二支持度矩阵,获取第一决策矩阵;
聚类质心设定模块,所述聚类质心设定模块用于当所述第一决策矩阵的矩阵对角线元素大于零时,设为聚类质心;
聚类质心获取模块,所述聚类质心获取模块用于当所述矩阵对角线元素大于零的数量为零时,根据所述第一支持度计算公式、所述第二支持度第一计算公式和所述第二支持度第二计算公式,对所述第一决策矩阵进行循环聚类处理,获取所述聚类质心;
聚类结果获取模块,所述聚类结果获取模块用于基于所述聚类质心对所述第i组监测时序数据进行聚类分析,获取所述N个聚类结果。
进一步而言,所述第一支持度矩阵获取模块还包括:
第一支持度计算公式获取模块,所述第一支持度计算公式获取模块用于所述第一支持度计算公式为:
,
其中,表征相似度矩阵的第j行第k列的相似度的第一支持度,/>表征相似度矩阵的第j行第/>列的第二支持度,初始值为零,/>表征第j行的数据对第k列的数据的意向程度,即第j行第k列的相似度,/>表征除开第j行第k列的相似度的第j行其它列的最大相似度;
第二支持度第一计算公式获取模块,所述第二支持度第一计算公式获取模块用于所述第二支持度第一计算公式为:
,
其中,表征第k行第k列的第二支持度,/>表征对第k列,除开第k行的其它行的正数加和的结果,/>表征第k列,除开第k行的其它行的第一支持度;
第二支持度第二计算公式获取模块,所述第二支持度第二计算公式获取模块用于所述第二支持度第二计算公式为:
,
其中,表征第j行第k列的第二支持度,/>表征第k行第k列的第一支持度。
进一步而言,所述异常值划分模块15还包括:
数据极值获取模块,所述数据极值获取模块用于获取所述N个聚类结果的第n聚类结果的数据极大值和数据极小值;
区间构建模块,所述区间构建模块用于基于所述数据极大值和所述数据极小值,构建分割阈值取值区间;
异常数据划分结果获取模块,所述异常数据划分结果获取模块用于基于所述分割阈值取值区间对所述第n聚类结果进行异常值划分,获取所述异常数据划分结果。
进一步而言,所述异常数据划分结果获取模块还包括:
质心距离参数获取模块,所述质心距离参数获取模块用于根据第n聚类质心,遍历所述第n聚类结果,获取质心距离参数;
一级分割阈值选取模块,所述一级分割阈值选取模块用于基于所述分割阈值取值区间,随机选取一级分割阈值;
一级划分结果获取模块,所述一级划分结果获取模块用于根据所述一级分割阈值对所述第n聚类结果进行二分类,获取一级划分结果;
阈值判断模块,所述阈值判断模块用于当所述一级划分结果的数据量小于数据量阈值时,判断所述一级划分结果的最小质心距离参数是否小于或等于质心距离阈值;
结果设定模块,所述结果设定模块用于若所述最小质心距离参数大于所述质心距离阈值,将所述一级划分结果设为所述异常数据划分结果;
迭代划分模块,所述迭代划分模块用于当所述一级划分结果的数据量大于或等于数据量阈值,或/和所述最小质心距离参数小于或等于所述质心距离阈值,基于所述分割阈值取值区间,对所述一级划分结果进行迭代划分;
当满足预设划分次数:
划分结果设定模块,所述划分结果设定模块用于所述一级划分结果的数据量大于或等于所述数据量阈值,或/和所述最小质心距离参数小于或等于所述质心距离阈值,将所述异常数据划分结果设为空集。
进一步而言,所述结果传输模块17还包括:
结果判断模块,所述结果判断模块用于判断所述第i组监测时序数据优化结果是否具有超限监测数据;
异常数据标识模块,所述异常数据标识模块用于若具有所述超限监测数据,对所述第i组监测时序数据优化结果进行异常数据标识,传输至所述用户终端。
本说明书通过前述对电力设备监测数据处理方法的详细描述,本领域技术人员可以清楚的知道本实施例中电力设备监测数据处理方法及系统,对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (6)
1.电力设备监测数据处理方法,其特征在于,包括:
获取第一电力设备的第一数据属性的监测时序数据;
根据设备控制参数对所述监测时序数据分组,获取监测时序数据分组结果;
基于所述监测时序数据分组结果的第i组监测时序数据,构建相似度矩阵;
基于所述相似度矩阵对所述第i组监测时序数据进行聚类分析,获取N个聚类结果;
对所述N个聚类结果进行异常值划分,获取异常数据划分结果;
对所述第i组监测时序数据的缺失值和所述异常数据划分结果,使用所述N个聚类结果的聚类质心均值进行替换,获取第i组监测时序数据优化结果;
将所述第i组监测时序数据优化结果传输至用户终端;
其中,基于所述相似度矩阵对所述第i组监测时序数据进行聚类分析,获取N个聚类结果,包括:
根据第一支持度计算公式,遍历所述相似度矩阵进行处理,获取第一支持度矩阵;
根据第二支持度第一计算公式,遍历所述第一支持度矩阵进行处理,获取第二支持度第一矩阵;
根据第二支持度第二计算公式,遍历所述第一支持度矩阵进行处理,获取第二支持度第二矩阵;
融合所述第二支持度第一矩阵和所述第二支持度第二矩阵,获取第二支持度矩阵;
加和所述第一支持度矩阵和所述第二支持度矩阵,获取第一决策矩阵;
当所述第一决策矩阵的矩阵对角线元素大于零时,设为聚类质心;
当所述矩阵对角线元素大于零的数量为零时,根据所述第一支持度计算公式、所述第二支持度第一计算公式和所述第二支持度第二计算公式,对所述第一决策矩阵进行循环聚类处理,获取所述聚类质心;
基于所述聚类质心对所述第i组监测时序数据进行聚类分析,获取所述N个聚类结果;
所述第一支持度计算公式为:
;
其中,表征相似度矩阵的第j行第k列的相似度的第一支持度,/>表征相似度矩阵的第j行第/>列的第二支持度,初始值为零,/>表征第j行的数据对第k列的数据的意向程度,即第j行第k列的相似度,/>表征除开第j行第k列的相似度的第j行其它列的最大相似度;
所述第二支持度第一计算公式为:
;
其中,表征第k行第k列的第二支持度,/>表征对第k列,除开第k行的其它行的正数加和的结果,/>表征第k列,除开第k行的其它行的第一支持度;
所述第二支持度第二计算公式为:
;
其中,表征第j行第k列的第二支持度,/>表征第k行第k列的第一支持度。
2.如权利要求1所述的方法,其特征在于,基于所述监测时序数据分组结果的第i组监测时序数据,构建相似度矩阵,包括:
对所述第i组监测时序数据进行缺失位标识,获取缺失位标识结果;
基于所述缺失位标识结果对所述第i组监测时序数据进行清洗,获取第i组监测时序数据清洗结果;
构建相似度评估公式:
;
其中,和/>表征第i组监测时序数据清洗结果的任意两个时序的数据,/>表征/>和/>的相似度;
基于所述相似度评估公式,遍历所述第i组监测时序数据清洗结果,获取相似度评估结果;
将所述第i组监测时序数据清洗结果按照顺序设为矩阵列属性,将所述第i组监测时序数据清洗结果按照顺序设为矩阵行属性;
基于所述矩阵列属性和所述矩阵行属性,填充所述相似度评估结果,获取所述相似度矩阵。
3.如权利要求1所述的方法,其特征在于,对所述N个聚类结果进行异常值划分,获取异常数据划分结果,包括:
获取所述N个聚类结果的第n聚类结果的数据极大值和数据极小值;
基于所述数据极大值和所述数据极小值,构建分割阈值取值区间;
基于所述分割阈值取值区间对所述第n聚类结果进行异常值划分,获取所述异常数据划分结果。
4.如权利要求3所述的方法,其特征在于,基于所述分割阈值取值区间对所述第n聚类结果进行异常值划分,获取所述异常数据划分结果,包括:
根据第n聚类质心,遍历所述第n聚类结果,获取质心距离参数;
基于所述分割阈值取值区间,随机选取一级分割阈值;
根据所述一级分割阈值对所述第n聚类结果进行二分类,获取一级划分结果;
当所述一级划分结果的数据量小于数据量阈值时,判断所述一级划分结果的最小质心距离参数是否小于或等于质心距离阈值;
若所述最小质心距离参数大于所述质心距离阈值,将所述一级划分结果设为所述异常数据划分结果;
当所述一级划分结果的数据量大于或等于数据量阈值,或/和所述最小质心距离参数小于或等于所述质心距离阈值,基于所述分割阈值取值区间,对所述一级划分结果进行迭代划分;
当满足预设划分次数:
所述一级划分结果的数据量大于或等于所述数据量阈值,或/和所述最小质心距离参数小于或等于所述质心距离阈值,将所述异常数据划分结果设为空集。
5.如权利要求1所述的方法,其特征在于,将所述第i组监测时序数据优化结果传输至用户终端,还包括:
判断所述第i组监测时序数据优化结果是否具有超限监测数据;
若具有所述超限监测数据,对所述第i组监测时序数据优化结果进行异常数据标识,传输至所述用户终端。
6.电力设备监测数据处理系统,其特征在于,包括:
数据获取模块,所述数据获取模块用于获取第一电力设备的第一数据属性的监测时序数据;
数据分组模块,所述数据分组模块用于根据设备控制参数对所述监测时序数据分组,获取监测时序数据分组结果;
矩阵构建模块,所述矩阵构建模块用于基于所述监测时序数据分组结果的第i组监测时序数据,构建相似度矩阵;
数据聚类模块,所述数据聚类模块用于基于所述相似度矩阵对所述第i组监测时序数据进行聚类分析,获取N个聚类结果;
异常值划分模块,所述异常值划分模块用于对所述N个聚类结果进行异常值划分,获取异常数据划分结果;
数据优化模块,所述数据优化模块用于对所述第i组监测时序数据的缺失值和所述异常数据划分结果,使用所述N个聚类结果的聚类质心均值进行替换,获取第i组监测时序数据优化结果;
结果传输模块,所述结果传输模块用于将所述第i组监测时序数据优化结果传输至用户终端;
其中,所述数据聚类模块包括:
第一支持度矩阵获取模块,所述第一支持度矩阵获取模块用于根据第一支持度计算公式,遍历所述相似度矩阵进行处理,获取第一支持度矩阵;
第二支持度第一矩阵获取模块,所述第二支持度第一矩阵获取模块用于根据第二支持度第一计算公式,遍历所述第一支持度矩阵进行处理,获取第二支持度第一矩阵;
第二支持度第二矩阵获取模块,所述第二支持度第二矩阵获取模块用于根据第二支持度第二计算公式,遍历所述第一支持度矩阵进行处理,获取第二支持度第二矩阵;
第二支持度矩阵获取模块,所述第二支持度矩阵获取模块用于融合所述第二支持度第一矩阵和所述第二支持度第二矩阵,获取第二支持度矩阵;
第一决策矩阵获取模块,所述第一决策矩阵获取模块用于加和所述第一支持度矩阵和所述第二支持度矩阵,获取第一决策矩阵;
聚类质心设定模块,所述聚类质心设定模块用于当所述第一决策矩阵的矩阵对角线元素大于零时,设为聚类质心;
聚类质心获取模块,所述聚类质心获取模块用于当所述矩阵对角线元素大于零的数量为零时,根据所述第一支持度计算公式、所述第二支持度第一计算公式和所述第二支持度第二计算公式,对所述第一决策矩阵进行循环聚类处理,获取所述聚类质心;
聚类结果获取模块,所述聚类结果获取模块用于基于所述聚类质心对所述第i组监测时序数据进行聚类分析,获取所述N个聚类结果;
所述第一支持度矩阵获取模块还包括:
第一支持度计算公式获取模块,所述第一支持度计算公式获取模块用于所述第一支持度计算公式为:
;
其中,表征相似度矩阵的第j行第k列的相似度的第一支持度,/>表征相似度矩阵的第j行第/>列的第二支持度,初始值为零,/>表征第j行的数据对第k列的数据的意向程度,即第j行第k列的相似度,/>表征除开第j行第k列的相似度的第j行其它列的最大相似度;
第二支持度第一计算公式获取模块,所述第二支持度第一计算公式获取模块用于所述第二支持度第一计算公式为:
;
其中,表征第k行第k列的第二支持度,/>表征对第k列,除开第k行的其它行的正数加和的结果,/>表征第k列,除开第k行的其它行的第一支持度;
第二支持度第二计算公式获取模块,所述第二支持度第二计算公式获取模块用于所述第二支持度第二计算公式为:
;
其中,表征第j行第k列的第二支持度,/>表征第k行第k列的第一支持度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311070227.9A CN116776258B (zh) | 2023-08-24 | 2023-08-24 | 电力设备监测数据处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311070227.9A CN116776258B (zh) | 2023-08-24 | 2023-08-24 | 电力设备监测数据处理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116776258A CN116776258A (zh) | 2023-09-19 |
CN116776258B true CN116776258B (zh) | 2023-10-31 |
Family
ID=88008501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311070227.9A Active CN116776258B (zh) | 2023-08-24 | 2023-08-24 | 电力设备监测数据处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116776258B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117235548B (zh) * | 2023-11-15 | 2024-02-27 | 山东济宁运河煤矿有限责任公司 | 基于激光灼烧的煤质数据处理方法及智能化系统 |
CN117499817B (zh) * | 2024-01-02 | 2024-03-19 | 龙城明琦科技(常州)有限公司 | 一种分布式电表采集系统及采集方法 |
CN117874653B (zh) * | 2024-03-11 | 2024-05-31 | 武汉佳华创新电气有限公司 | 一种基于多源数据的电力系统安全监测方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011043108A1 (ja) * | 2009-10-09 | 2011-04-14 | 株式会社日立製作所 | 設備状態監視方法、監視システム及び監視プログラム |
CN107272655A (zh) * | 2017-07-21 | 2017-10-20 | 江南大学 | 基于多阶段ica‑svdd的间歇过程故障监测方法 |
CN111768082A (zh) * | 2020-06-02 | 2020-10-13 | 广东电网有限责任公司 | 一种基于大数据分析的电力设备状态评估方法 |
CN112800686A (zh) * | 2021-03-29 | 2021-05-14 | 国网江西省电力有限公司电力科学研究院 | 一种变压器dga在线监测数据异常模式判定方法 |
CN113792754A (zh) * | 2021-08-12 | 2021-12-14 | 国网江西省电力有限公司电力科学研究院 | 一种先除异后修复的换流变dga在线监测数据处理方法 |
CN114372093A (zh) * | 2021-12-15 | 2022-04-19 | 南昌大学 | 一种变压器dga在线监测数据的处理方法 |
WO2022252505A1 (zh) * | 2021-06-02 | 2022-12-08 | 杭州安脉盛智能技术有限公司 | 一种基于多指标集群分析的设备状态监测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9984334B2 (en) * | 2014-06-16 | 2018-05-29 | Mitsubishi Electric Research Laboratories, Inc. | Method for anomaly detection in time series data based on spectral partitioning |
-
2023
- 2023-08-24 CN CN202311070227.9A patent/CN116776258B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011043108A1 (ja) * | 2009-10-09 | 2011-04-14 | 株式会社日立製作所 | 設備状態監視方法、監視システム及び監視プログラム |
CN107272655A (zh) * | 2017-07-21 | 2017-10-20 | 江南大学 | 基于多阶段ica‑svdd的间歇过程故障监测方法 |
CN111768082A (zh) * | 2020-06-02 | 2020-10-13 | 广东电网有限责任公司 | 一种基于大数据分析的电力设备状态评估方法 |
CN112800686A (zh) * | 2021-03-29 | 2021-05-14 | 国网江西省电力有限公司电力科学研究院 | 一种变压器dga在线监测数据异常模式判定方法 |
WO2022252505A1 (zh) * | 2021-06-02 | 2022-12-08 | 杭州安脉盛智能技术有限公司 | 一种基于多指标集群分析的设备状态监测方法 |
CN113792754A (zh) * | 2021-08-12 | 2021-12-14 | 国网江西省电力有限公司电力科学研究院 | 一种先除异后修复的换流变dga在线监测数据处理方法 |
CN114372093A (zh) * | 2021-12-15 | 2022-04-19 | 南昌大学 | 一种变压器dga在线监测数据的处理方法 |
Non-Patent Citations (2)
Title |
---|
Research on Identification and Processing Method for Abnormal Data of Residential Electric Power Consumption;Yingmei Zhang 等;2019 IEEE 3rd International Electrical and Energy Conference (CIEEC);全文 * |
电能质量数据质量对综合评估结果的影响分析;张华赢 等;科学技术与工程;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN116776258A (zh) | 2023-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116776258B (zh) | 电力设备监测数据处理方法及系统 | |
WO2018045642A1 (zh) | 一种母线负荷预测方法 | |
CN110213222A (zh) | 基于机器学习的网络入侵检测方法 | |
CN113010504B (zh) | 基于LSTM和改进K-means算法的电力数据异常检测方法及系统 | |
CN112257963B (zh) | 基于航天软件缺陷数据分布离群点的缺陷预测方法及装置 | |
CN116700172A (zh) | 结合工业互联网的工业数据集成处理方法及系统 | |
CN111078512A (zh) | 告警记录生成方法、装置、告警设备及存储介质 | |
CN115980322A (zh) | 一种织物瑕疵智能检测方法及系统 | |
CN116186624A (zh) | 一种基于人工智能的锅炉评估方法及系统 | |
CN115169534A (zh) | 卷积神经网络的样本优化训练方法及计算机可读存储介质 | |
Liu et al. | Research on the strategy of locating abnormal data in IOT management platform based on improved modified particle swarm optimization convolutional neural network algorithm | |
CN114722730A (zh) | 基于LightGBM与随机搜索法的燃煤锅炉排烟温度预测方法及系统 | |
CN117391458B (zh) | 基于数据分析的安全生产风险检测预警方法及系统 | |
CN113554079A (zh) | 一种基于二次检测法的电力负荷异常数据检测方法及系统 | |
CN116910602B (zh) | 一种基于关联性分析的线损分析方法及系统 | |
CN110544047A (zh) | 一种不良数据辨识方法 | |
WO2016112618A1 (zh) | 一种基于距离的求解二维空间中代表性节点集的算法 | |
CN116365519B (zh) | 一种电力负荷预测方法、系统、存储介质及设备 | |
CN116522111A (zh) | 远程停复电故障自动诊断方法 | |
CN111666439B (zh) | 针对云端环境快速提取和划分医学影像大数据的工作方法 | |
CN108268899A (zh) | 一种电子元件的检测方法、装置和设备 | |
CN117871446B (zh) | 基于ai技术的大气温室气体浓度监测系统及方法 | |
CN116842415B (zh) | 一种镜面放电加工机的远程监测方法、系统及介质 | |
CN111666262B (zh) | 海量医学影像在网络附属存储nas状态下特征点提取工作方法 | |
CN115827821B (zh) | 一种基于资讯信息的判断策略生成方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |