CN117150325B - 一种异常残差数据的处理方法、装置、设备及介质 - Google Patents
一种异常残差数据的处理方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117150325B CN117150325B CN202311403261.3A CN202311403261A CN117150325B CN 117150325 B CN117150325 B CN 117150325B CN 202311403261 A CN202311403261 A CN 202311403261A CN 117150325 B CN117150325 B CN 117150325B
- Authority
- CN
- China
- Prior art keywords
- data
- residual data
- target
- abnormal
- clustering center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 153
- 238000003672 processing method Methods 0.000 title abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 24
- 238000012216 screening Methods 0.000 claims abstract description 20
- 238000009499 grossing Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 13
- 230000005856 abnormality Effects 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 230000002547 anomalous effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000005611 electricity Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000011157 data evaluation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了一种异常残差数据的处理方法、装置、设备及介质。该方法包括：获取待检测数据集，并依据预设失准模型计算处理待检测数据集，得到基础残差数据；依据预设聚类算法聚类处理基础残差数据，得到目标聚类中心；其中，目标聚类中心包括第一聚类中心以及第二聚类中心，第一聚类中心大于所述第二聚类中心；依据第一聚类中心与第二聚类中心间的比值关系，确定基础残差数据的异常状态；若基础残差数据的异常状态为存在异常，利用第一聚类中心确定基础残差数据中的异常数据段，并筛除基础残差数据中的异常数据段得到目标残差数据。通过本发明的技术方案，能够实现对异常残差数据的滤除，提高了残差数据的处理速率及准确率。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种异常残差数据的处理方法、装置、设备及介质。
背景技术
随着用电信息采集系统中自动采集功能的完善，智能电能表被广泛应用。但是智能电能表性能的好坏直接影响着电量计量的准确性，而超差电能表监测系统就是将运行中的性能不符合要求的超差电能表检测出来，然后由电网公司进行更换。
现有技术中，通常将故障检测（Fault Injection Test，FIT）模型应用于超差电能表监测系统中，并且，目前的FIT模型在处理异常残差数据时通常采用经验分位值对异常残差数据进行滤除。
然而，因为异常残差数据的持续时间不定，经验分位阈值设置过低会导致被滤除的数据过多从而导致可用有效数据减少，而经验分位阈值设置的过高会导致异常残差数据滤除不彻底，导致最终的残差数据并不理想，影响模型效果。因此，如何有效地对异常残差数据进行滤除，提高残差数据的处理速率及准确率，是目前亟待解决的问题。
发明内容
本发明提供了一种异常残差数据的处理方法、装置、设备及介质，可以解决残差数据的处理速率及准确率低的问题。
根据本发明的一方面，提供了一种异常残差数据的处理方法，包括：
获取待检测数据集，并依据预设失准模型计算处理所述待检测数据集，得到待检测数据集对应的基础残差数据；
依据预设聚类算法聚类处理所述基础残差数据，得到所述基础残差数据对应的目标聚类中心；其中，所述目标聚类中心包括第一聚类中心以及第二聚类中心，所述第一聚类中心大于所述第二聚类中心；
依据所述第一聚类中心与所述第二聚类中心间的比值关系，确定所述基础残差数据的异常状态；
若所述基础残差数据的异常状态为存在异常，利用所述第一聚类中心确定基础残差数据中的异常数据段，并筛除所述基础残差数据中的异常数据段得到目标残差数据。
根据本发明的另一方面，提供了一种异常残差数据的处理装置，包括：
数据获取模块，用于获取待检测数据集，并依据预设失准模型计算处理所述待检测数据集，得到待检测数据集对应的基础残差数据；
数据聚类模块，用于依据预设聚类算法聚类处理所述基础残差数据，得到所述基础残差数据对应的目标聚类中心；其中，所述目标聚类中心包括第一聚类中心以及第二聚类中心，所述第一聚类中心大于所述第二聚类中心；
状态确定模块，用于依据所述第一聚类中心与所述第二聚类中心间的比值关系，确定所述基础残差数据的异常状态；
异常数据筛除模块，用于若所述基础残差数据的异常状态为存在异常，利用所述第一聚类中心确定基础残差数据中的异常数据段，并筛除所述基础残差数据中的异常数据段得到目标残差数据。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的异常残差数据的处理方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的异常残差数据的处理方法。
本发明实施例的技术方案，通过依据预设失准模型计算处理待检测数据集，得到待检测数据集对应的基础残差数据，进而，依据预设聚类算法聚类处理基础残差数据，得到基础残差数据对应的包括第一聚类中心以及第二聚类中心的目标聚类中心，进一步，依据第一聚类中心与第二聚类中心间的比值关系，确定基础残差数据的异常状态，若基础残差数据的异常状态为存在异常，利用第一聚类中心确定基础残差数据中的异常数据段，并筛除基础残差数据中的异常数据段得到目标残差数据，解决了残差数据的处理速率及准确率低的问题，能够有效地对异常残差数据进行滤除，提高了残差数据的处理速率及准确率。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种异常残差数据的处理方法的流程图；
图2是根据本发明实施例二提供的一种异常残差数据的处理方法的流程图；
图3是根据本发明实施例二提供的一种可选的异常残差数据的处理方法的流程图；
图4是根据本发明实施例三提供的一种异常残差数据的处理装置的结构示意图；
图5是实现本发明实施例的异常残差数据的处理方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供的一种异常残差数据的处理方法的流程图，本实施例可适用于筛除残差数据中的异常残差数据的情况，该方法可以由异常残差数据的处理装置来执行，该异常残差数据的处理装置可以采用硬件和/或软件的形式实现，该异常残差数据的处理装置可配置于电子设备中。如图1所示，该方法包括：
S110、获取待检测数据集，并依据预设失准模型计算处理所述待检测数据集，得到待检测数据集对应的基础残差数据。
其中，待检测数据集可以指需要进行性能检测的数据。示例性的，可以为智能电表的电量数据或电压数据等。预设失准模型可以指预先设定的失准模型。示例性的，可以为根据能量守恒定律构建的失准模型。
具体的，预设失准模型可以为：，其中，/>可以指设定区域内总表第i天的供电量计量值，/>可以指设定区域内各分表j在第i天的用电量计量值，p可以表示设定区域内分表的总数，/>可以指设定区域内各分表j的相对误差，/>可以指设定区域内总表的相对误差，/>可以指固定损耗，/>可以指设定区域内总表第i天的线路损耗。
其中，基础残差数据可以指根据预设失准模型计算处理待检测数据集后初步得到的线路损耗残差数据。
具体的，可以将待检测数据集输入至预设失准模型，利用预设失准模型计算出待检测数据集对应的各相对误差或线路损耗，进而，利用相对误差或线路损耗计算待检测数据集对应的基础残差数据。
S120、依据预设聚类算法聚类处理所述基础残差数据，得到所述基础残差数据对应的目标聚类中心；其中，所述目标聚类中心包括第一聚类中心以及第二聚类中心，所述第一聚类中心大于所述第二聚类中心。
其中，预设聚类算法可以指预先设定的聚类算法。示例性的，可以为k-mean聚类算法。目标聚类中心可以指依据预设聚类算法聚类处理基础残差数据后得到的聚类中心。第一聚类中心可以指聚类中心值较大的聚类中心。第二聚类中心可以指聚类中心值较小的聚类中心。
具体的，可以通过k-mean聚类算法对基础残差数据进行聚类中心为2个的聚类处理，得到两个聚类中心，进而，将聚类中心值较大的聚类中心作为第一聚类中心K_max，将聚类中心值较小的聚类中心作为第二聚类中心K_min。
S130、依据所述第一聚类中心与所述第二聚类中心间的比值关系，确定所述基础残差数据的异常状态。
其中，异常状态可以指是否存在异常的情况。示例性的，异常状态可以包含存在异常或未存在异常。
在一个可选的实施方式中，依据所述第一聚类中心与所述第二聚类中心间的比值关系，确定所述基础残差数据的异常状态，包括：比值处理所述第一聚类中心与所述第二聚类中心，得到目标比值；依据所述目标比值与预设阈值间的大小关系，确定所述基础残差数据的异常状态。
其中，比值处理可以指将第一聚类中心除以第二聚类中心的处理操作。目标比值可以指比值处理后得到的数值结果。示例性的，若第一聚类中心为K_max，第二聚类中心为K_min，则目标比值。 预设阈值可以指预先设定的用于对目标比值进行评估的数值。示例性的，预设阈值可以设定为10。
具体的，计算得到目标比值K_ratio之后，可以将目标比值K_ratio与预设阈值K_value进行大小比较，若，则判定基础残差数据的异常状态为未存在异常，若/>，则判定基础残差数据的异常状态为存在异常。
S140、若所述基础残差数据的异常状态为存在异常，利用所述第一聚类中心确定基础残差数据中的异常数据段，并筛除所述基础残差数据中的异常数据段得到目标残差数据。
其中，异常数据段可以指基础残差数据存在异常的一段数据。目标残差数据可以指去除基础残差数据中的异常数据段后所剩余的残差数据。
本发明实施例的技术方案，通过依据预设失准模型计算处理待检测数据集，得到待检测数据集对应的基础残差数据，进而，依据预设聚类算法聚类处理基础残差数据，得到基础残差数据对应的包括第一聚类中心以及第二聚类中心的目标聚类中心，进一步，依据第一聚类中心与第二聚类中心间的比值关系，确定基础残差数据的异常状态，若基础残差数据的异常状态为存在异常，利用第一聚类中心确定基础残差数据中的异常数据段，并筛除基础残差数据中的异常数据段得到目标残差数据，解决了残差数据的处理速率及准确率低的问题，能够有效地对异常残差数据进行滤除，提高了残差数据的处理速率及准确率。
实施例二
图2为本发明实施例二提供的一种异常残差数据的处理方法的流程图，本实施例以上述实施例为基础进行细化，在本实施例中具体是对依据预设失准模型计算处理所述待检测数据集，得到待检测数据集对应的基础残差数据的操作进行细化，具体可以包括：依据所述预设失准模型确定待检测数据集中目标待检测数据对应的目标误差参数及目标线路损耗；依据所述目标误差参数、目标线路损耗及目标待检测数据确定目标待检测数据对应的统计线路损耗及计算线路损耗，并将所述统计线路损耗与所述计算线路损耗间的差值作为原始残差数据；平滑处理所述原始残差数据，得到目标待检测数据对应的基础残差数据。如图2所示，该方法包括：
S210、获取目标超差电能表检测模型对应的目标测试集，作为待检测数据集。
其中，目标超差电能表检测模型可以指预先选定的用于检测性能较差的智能电能表的模型。示例性的，可以为FIT模型。目标测试集可以指目标超差电能表检测模型对应的测试数据集。
S220、依据所述预设失准模型确定待检测数据集中目标待检测数据对应的目标误差参数及目标线路损耗。
其中，目标待检测数据可以指待检测数据集中的各数据。目标误差参数可以指目标待检测数据对应的各相对误差。目标线路损耗可以指目标待检测数据对应的设定区域内总表的线路损耗。
具体的，若预设失准模型为：，则目标待检测数据可以包含设定区域内总表第i天的供电量计量值/>以及设定区域内各分表j在第i天的用电量计量值/>，目标误差参数包含设定区域内各分表j的相对误差/>、设定区域内总表的相对误差/>以及固定损耗/>，目标线路损耗可以包含设定区域内总表第i天的线路损耗/>。
S230、依据所述目标误差参数、目标线路损耗及目标待检测数据确定目标待检测数据对应的统计线路损耗及计算线路损耗，并将所述统计线路损耗与所述计算线路损耗间的差值作为原始残差数据。
其中，统计线路损耗可以指依据统计值计算得到的线路损耗。示例性的，可以为设定区域内总表第i天的供电量计量值与设定区域内各分表j在第i天的用电量计量值的总和之间的差值。具体的，统计线路损耗可以用公式：/>表示。
其中，计算线路损耗可以指通过模型计算结果得到的线路损耗。示例性的，可以为通过预设失准模型计算得到的目标误差参数及目标线路损耗，与设定区域内总表第i天的供电量计量值以及设定区域内各分表j在第i天的用电量计量值/>结合后得到的线路损耗。具体的，计算线路损耗/>可以用公式：表示。
其中，原始残差数据可以指统计线路损耗与计算线路损耗间的差值。具体的，原始残差数据可以用公式：/>表示。
S240、平滑处理所述原始残差数据，得到目标待检测数据对应的基础残差数据。
其中，平滑处理可以指减少原始残差数据中噪声的处理操作。示例性的，可以通过smooth函数、smoothts函数或medfilt1函数实现。
在一个可选的实施方式中，所述平滑处理所述原始残差数据，得到目标待检测数据对应的基础残差数据，包括：依据预设平滑窗口均值平滑处理所述原始残差数据，得到中间残差数据；绝对值处理所述中间残差数据，得到目标待检测数据对应的基础残差数据。
其中，预设平滑窗口可以指预先设定的平滑窗口大小。示例性的，可以为96点。中间残差数据可以指利用预设平滑窗口对原始残差数据进行均值平滑处理后得到的残差数据。绝对值处理可以指对中间残差数据去绝对值的处理操作。
S250、依据预设聚类算法聚类处理所述基础残差数据，得到所述基础残差数据对应的目标聚类中心；其中，所述目标聚类中心包括第一聚类中心以及第二聚类中心，所述第一聚类中心大于所述第二聚类中心。
S260、比值处理所述第一聚类中心与所述第二聚类中心，得到目标比值。
S270、依据所述目标比值与预设阈值间的大小关系，确定所述基础残差数据的异常状态。
S280、若所述基础残差数据的异常状态为存在异常，依据所述第一聚类中心确定预设数据长度，将基础残差数据中超过预设数据长度的残差数据作为初始数据段。
其中，预设数据长度可以指预先设定的数据评估长度。示例性的，可以通过第一聚类中心与设定收缩系数确定预设数据长度。具体的，预设数据长度可以为：。其中，/>可以指设定收缩系数，通常，。初始数据段可以指基础残差数据中数据长度超过预设数据长度的数据段。
S290、依据预设平滑窗口延伸处理所述初始数据段，得到基础残差数据中的异常数据段，并筛除所述基础残差数据中的异常数据段得到目标残差数据。
其中，延伸处理可以指按照初始数据段的起止断点分别向前或向后延伸的处理操作。具体的，可以对各初始数据段的起止断点分别向前或向后延伸预设平滑窗口大小的长度，进而，将延伸处理后的数据段作为异常数据段。
在一个可选的实施方式中，所述筛除所述基础残差数据中的异常数据段得到目标残差数据，包括：筛除所述基础残差数据中的异常数据段，得到待选残差数据；依据预设聚类算法聚类处理所述待选残差数据，得到所述待选残差数据对应的第三聚类中心及第四聚类中心；其中，所述第三聚类中心大于所述第四聚类中心；依据所述第三聚类中心与所述第四聚类中心间的比值关系，确定所述待选残差数据的异常状态；若所述待选残差数据的异常状态为未存在异常，将所述待选残差数据作为目标残差数据。
其中，待选残差数据可以指筛除基础残差数据中的异常数据段后初步得到的残差数据。第三聚类中心可以指依据预设聚类算法聚类处理待选残差数据后得到的聚类中心值较大的聚类中心。第四聚类中心可以指依据预设聚类算法聚类处理待选残差数据后得到的聚类中心值较小的聚类中心。
具体的，在筛除基础残差数据中的异常数据段得到待选残差数据之后，还需要对待选残差数据的异常状态进行判断，当待选残差数据的异常状态为未存在异常，将待选残差数据作为目标残差数据，为后续的数据应用提供有效基础。
S2100、将所述目标残差数据输入至目标超差电能表检测模型，确定目标残差数据对应的超差电能表。
其中，超差电能表可以指性能较差的智能电能表。
具体的，在得到目标超差电能表检测模型对应的目标测试集所匹配的目标残差数据之后，可以将目标残差数据输入至目标超差电能表检测模型中，进而，确定出目标残差数据对应的超差电能表。
本发明实施例的技术方案，通过依据预设失准模型确定目标超差电能表检测模型对应的待检测数据集中目标待检测数据对应的目标误差参数及目标线路损耗，进而，依据目标误差参数、目标线路损耗及目标待检测数据确定目标待检测数据对应的统计线路损耗及计算线路损耗，并将统计线路损耗与计算线路损耗间的差值作为原始残差数据，进一步，平滑处理原始残差数据，得到目标待检测数据对应的基础残差数据，依据预设聚类算法聚类处理基础残差数据，得到基础残差数据对应的包括第一聚类中心以及第二聚类中心的目标聚类中心，以及比值处理第一聚类中心与第二聚类中心得到目标比值，依据目标比值与预设阈值间的大小关系，确定基础残差数据的异常状态，最后，若基础残差数据的异常状态为存在异常，依据第一聚类中心确定预设数据长度，将基础残差数据中超过预设数据长度的残差数据作为初始数据段，依据预设平滑窗口延伸处理初始数据段，得到基础残差数据中的异常数据段，并筛除基础残差数据中的异常数据段得到目标残差数据，将目标残差数据输入至目标超差电能表检测模型，确定目标残差数据对应的超差电能表，解决了残差数据的处理速率及准确率低的问题，能够有效地对异常残差数据进行滤除，提高了残差数据的处理速率及准确率。
图3所示为本发明实施例提供的一种可选的异常残差数据的处理方法的流程图。具体的，依据预设失准模型计算处理待检测数据集，得到待检测数据集对应的原始残差数据，并依据预设平滑窗口均值平滑处理原始残差数据，得到中间残差数据，以及，绝对值处理中间残差数据，得到目标待检测数据对应的基础残差数据，进一步，聚类处理基础残差数据，得到所述基础残差数据对应的第一聚类中心以及第二聚类中心，并比值处理第一聚类中心与第二聚类中心，得到目标比值，依据目标比值与预设阈值间的大小关系，确定基础残差数据的异常状态，若目标比值小于预设阈值，则判定基础残差数据的异常状态为未存在异常，若目标比值大于或等于预设阈值，则判定基础残差数据的异常状态为存在异常，需要依据第一聚类中心确定预设数据长度，将基础残差数据中超过预设数据长度的残差数据作为初始数据段，并依据预设平滑窗口延伸处理初始数据段，得到基础残差数据中的异常数据段，筛除基础残差数据中的异常数据段，得到待选残差数据，最后，再次对待选残差数据的异常状态进行判断，当待选残差数据的异常状态为未存在异常，将待选残差数据作为目标残差数据。
实施例三
图4为本发明实施例三提供的一种异常残差数据的处理装置的结构示意图。如图4所示，该装置包括：数据获取模块310、数据聚类模块320、状态确定模块330以及异常数据筛除模块340；
其中，数据获取模块310，用于获取待检测数据集，并依据预设失准模型计算处理所述待检测数据集，得到待检测数据集对应的基础残差数据；
数据聚类模块320，用于依据预设聚类算法聚类处理所述基础残差数据，得到所述基础残差数据对应的目标聚类中心；其中，所述目标聚类中心包括第一聚类中心以及第二聚类中心，所述第一聚类中心大于所述第二聚类中心；
状态确定模块330，用于依据所述第一聚类中心与所述第二聚类中心间的比值关系，确定所述基础残差数据的异常状态；
异常数据筛除模块340，用于若所述基础残差数据的异常状态为存在异常，利用所述第一聚类中心确定基础残差数据中的异常数据段，并筛除所述基础残差数据中的异常数据段得到目标残差数据。
本发明实施例的技术方案，通过依据预设失准模型计算处理待检测数据集，得到待检测数据集对应的基础残差数据，进而，依据预设聚类算法聚类处理基础残差数据，得到基础残差数据对应的包括第一聚类中心以及第二聚类中心的目标聚类中心，进一步，依据第一聚类中心与第二聚类中心间的比值关系，确定基础残差数据的异常状态，若基础残差数据的异常状态为存在异常，利用第一聚类中心确定基础残差数据中的异常数据段，并筛除基础残差数据中的异常数据段得到目标残差数据，解决了残差数据的处理速率及准确率低的问题，能够有效地对异常残差数据进行滤除，提高了残差数据的处理速率及准确率。
可选的，数据获取模块310，具体可以用于：获取目标超差电能表检测模型对应的目标测试集，作为待检测数据集；
异常残差数据的处理装置还可以包括：数据后处理模块，用于在筛除所述基础残差数据中的异常数据段得到目标残差数据之后，将所述目标残差数据输入至目标超差电能表检测模型，确定目标残差数据对应的超差电能表。
可选的，数据获取模块310，具体可以包括：参数计算单元、损耗计算单元以及平滑处理单元；
其中，参数计算单元，用于依据所述预设失准模型确定待检测数据集中目标待检测数据对应的目标误差参数及目标线路损耗；
损耗计算单元，用于依据所述目标误差参数、目标线路损耗及目标待检测数据确定目标待检测数据对应的统计线路损耗及计算线路损耗，并将所述统计线路损耗与所述计算线路损耗间的差值作为原始残差数据；
平滑处理单元，用于平滑处理所述原始残差数据，得到目标待检测数据对应的基础残差数据。
可选的，平滑处理单元具体可以用于：
依据预设平滑窗口均值平滑处理所述原始残差数据，得到中间残差数据；
绝对值处理所述中间残差数据，得到目标待检测数据对应的基础残差数据。
可选的，状态确定模块330，具体可以用于：
比值处理所述第一聚类中心与所述第二聚类中心，得到目标比值；
依据所述目标比值与预设阈值间的大小关系，确定所述基础残差数据的异常状态。
可选的，异常数据筛除模块340，具体可以用于：
依据所述第一聚类中心确定预设数据长度，将基础残差数据中超过预设数据长度的残差数据作为初始数据段；
依据预设平滑窗口延伸处理所述初始数据段，得到基础残差数据中的异常数据段。
可选的，异常数据筛除模块340，具体可以用于：
筛除所述基础残差数据中的异常数据段，得到待选残差数据；
依据预设聚类算法聚类处理所述待选残差数据，得到所述待选残差数据对应的第三聚类中心及第四聚类中心；其中，所述第三聚类中心大于所述第四聚类中心；
依据所述第三聚类中心与所述第四聚类中心间的比值关系，确定所述待选残差数据的异常状态；
若所述待选残差数据的异常状态为未存在异常，将所述待选残差数据作为目标残差数据。
本发明实施例所提供的异常残差数据的处理装置可执行本发明任意实施例所提供的异常残差数据的处理方法，具备执行方法相应的功能模块和有益效果。
实施例四
图5示出了可以用来实施本发明的实施例的电子设备410的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备（如头盔、眼镜、手表等）和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图5所示，电子设备410包括至少一个处理器420，以及与至少一个处理器420通信连接的存储器，如只读存储器（ROM）430、随机访问存储器（RAM）440等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器420可以根据存储在只读存储器（ROM）430中的计算机程序或者从存储单元490加载到随机访问存储器（RAM）440中的计算机程序，来执行各种适当的动作和处理。在RAM 440中，还可存储电子设备410操作所需的各种程序和数据。处理器420、ROM 430以及RAM440通过总线450彼此相连。输入/输出（I/O）接口460也连接至总线450。
电子设备410中的多个部件连接至I/O接口460，包括：输入单元470，例如键盘、鼠标等；输出单元480，例如各种类型的显示器、扬声器等；存储单元490，例如磁盘、光盘等；以及通信单元4100，例如网卡、调制解调器、无线通信收发机等。通信单元4100允许电子设备410通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器420可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器420的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。处理器420执行上文所描述的各个方法和处理，例如异常残差数据的处理方法。
该方法包括：
获取待检测数据集，并依据预设失准模型计算处理所述待检测数据集，得到待检测数据集对应的基础残差数据；
依据预设聚类算法聚类处理所述基础残差数据，得到所述基础残差数据对应的目标聚类中心；其中，所述目标聚类中心包括第一聚类中心以及第二聚类中心，所述第一聚类中心大于所述第二聚类中心；
依据所述第一聚类中心与所述第二聚类中心间的比值关系，确定所述基础残差数据的异常状态；
若所述基础残差数据的异常状态为存在异常，利用所述第一聚类中心确定基础残差数据中的异常数据段，并筛除所述基础残差数据中的异常数据段得到目标残差数据。
在一些实施例中，异常残差数据的处理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元490。在一些实施例中，计算机程序的部分或者全部可以经由ROM 430和/或通信单元4100而被载入和/或安装到电子设备410上。当计算机程序加载到RAM 440并由处理器420执行时，可以执行上文描述的异常残差数据的处理方法的一个或多个步骤。备选地，在其他实施例中，处理器420可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行异常残差数据的处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (9)
1.一种异常残差数据的处理方法，其特征在于，包括：
获取待检测数据集，并依据预设失准模型计算处理所述待检测数据集，得到待检测数据集对应的基础残差数据；
依据预设聚类算法聚类处理所述基础残差数据，得到所述基础残差数据对应的目标聚类中心；其中，所述目标聚类中心包括第一聚类中心以及第二聚类中心，所述第一聚类中心大于所述第二聚类中心；
依据所述第一聚类中心与所述第二聚类中心间的比值关系，确定所述基础残差数据的异常状态；
若所述基础残差数据的异常状态为存在异常，利用所述第一聚类中心确定基础残差数据中的异常数据段，并筛除所述基础残差数据中的异常数据段得到目标残差数据；
其中，所述利用所述第一聚类中心确定基础残差数据中的异常数据段，包括：
依据所述第一聚类中心确定预设数据长度，将基础残差数据中超过预设数据长度的残差数据作为初始数据段；
依据预设平滑窗口延伸处理所述初始数据段，得到基础残差数据中的异常数据段。
2.根据权利要求1所述的方法，其特征在于，所述获取待检测数据集，包括：获取目标超差电能表检测模型对应的目标测试集，作为待检测数据集；
在筛除所述基础残差数据中的异常数据段得到目标残差数据之后，还包括：
将所述目标残差数据输入至目标超差电能表检测模型，确定目标残差数据对应的超差电能表。
3.根据权利要求1所述的方法，其特征在于，所述依据预设失准模型计算处理所述待检测数据集，得到待检测数据集对应的基础残差数据，包括：
依据所述预设失准模型确定待检测数据集中目标待检测数据对应的目标误差参数及目标线路损耗；
依据所述目标误差参数、目标线路损耗及目标待检测数据确定目标待检测数据对应的统计线路损耗及计算线路损耗，并将所述统计线路损耗与所述计算线路损耗间的差值作为原始残差数据；
平滑处理所述原始残差数据，得到目标待检测数据对应的基础残差数据。
4.根据权利要求3中所述的方法，其特征在于，所述平滑处理所述原始残差数据，得到目标待检测数据对应的基础残差数据，包括：
依据预设平滑窗口均值平滑处理所述原始残差数据，得到中间残差数据；
绝对值处理所述中间残差数据，得到目标待检测数据对应的基础残差数据。
5.根据权利要求1所述的方法，其特征在于，所述依据所述第一聚类中心与所述第二聚类中心间的比值关系，确定所述基础残差数据的异常状态，包括：
比值处理所述第一聚类中心与所述第二聚类中心，得到目标比值；
依据所述目标比值与预设阈值间的大小关系，确定所述基础残差数据的异常状态。
6.根据权利要求1所述的方法，其特征在于，所述筛除所述基础残差数据中的异常数据段得到目标残差数据，包括：
筛除所述基础残差数据中的异常数据段，得到待选残差数据；
依据预设聚类算法聚类处理所述待选残差数据，得到所述待选残差数据对应的第三聚类中心及第四聚类中心；其中，所述第三聚类中心大于所述第四聚类中心；
依据所述第三聚类中心与所述第四聚类中心间的比值关系，确定所述待选残差数据的异常状态；
若所述待选残差数据的异常状态为未存在异常，将所述待选残差数据作为目标残差数据。
7.一种异常残差数据的处理装置，其特征在于，包括：
数据获取模块，用于获取待检测数据集，并依据预设失准模型计算处理所述待检测数据集，得到待检测数据集对应的基础残差数据；
数据聚类模块，用于依据预设聚类算法聚类处理所述基础残差数据，得到所述基础残差数据对应的目标聚类中心；其中，所述目标聚类中心包括第一聚类中心以及第二聚类中心，所述第一聚类中心大于所述第二聚类中心；
状态确定模块，用于依据所述第一聚类中心与所述第二聚类中心间的比值关系，确定所述基础残差数据的异常状态；
异常数据筛除模块，用于若所述基础残差数据的异常状态为存在异常，利用所述第一聚类中心确定基础残差数据中的异常数据段，并筛除所述基础残差数据中的异常数据段得到目标残差数据；
其中，所述异常数据筛除模块，用于：依据所述第一聚类中心确定预设数据长度，将基础残差数据中超过预设数据长度的残差数据作为初始数据段；依据预设平滑窗口延伸处理所述初始数据段得到基础残差数据中的异常数据段。
8.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的异常残差数据的处理方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的异常残差数据的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311403261.3A CN117150325B (zh) | 2023-10-27 | 2023-10-27 | 一种异常残差数据的处理方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311403261.3A CN117150325B (zh) | 2023-10-27 | 2023-10-27 | 一种异常残差数据的处理方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117150325A CN117150325A (zh) | 2023-12-01 |
| CN117150325B true CN117150325B (zh) | 2024-01-23 |
Family
ID=88904592
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311403261.3A Active CN117150325B (zh) | 2023-10-27 | 2023-10-27 | 一种异常残差数据的处理方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117150325B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115238787A (zh) * | 2022-07-19 | 2022-10-25 | 北京小米移动软件有限公司 | 异常数据检测方法、装置、设备及存储介质 |
| CN115616473A (zh) * | 2022-12-02 | 2023-01-17 | 北京志翔科技股份有限公司 | 超差电能表的识别方法、装置、设备和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220398417A1 (en) * | 2021-06-15 | 2022-12-15 | Samsung Electronics Co., Ltd. | Methods and systems for maximum consistency based outlier handling |
-
2023
- 2023-10-27 CN CN202311403261.3A patent/CN117150325B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115238787A (zh) * | 2022-07-19 | 2022-10-25 | 北京小米移动软件有限公司 | 异常数据检测方法、装置、设备及存储介质 |
| CN115616473A (zh) * | 2022-12-02 | 2023-01-17 | 北京志翔科技股份有限公司 | 超差电能表的识别方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117150325A (zh) | 2023-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116523140A (zh) | 窃电检测方法、装置、电子设备和存储介质 | |
| CN117150325B (zh) | 一种异常残差数据的处理方法、装置、设备及介质 | |
| CN116245865A (zh) | 一种图像质量的检测方法、装置、电子设备及存储介质 | |
| CN115692885A (zh) | 一种电池析锂保护方法、装置、电子设备和存储介质 | |
| CN117131353B (zh) | 一种超差电能表确定方法、装置、电子设备及存储介质 | |
| CN117131315B (zh) | 基于求解多元二次函数极值的超差电能表确定方法及介质 | |
| CN115373449B (zh) | 一种数据处理方法、装置、设备及存储介质 | |
| CN115267312B (zh) | 一种adc电压检测补偿方法、装置、设备和存储介质 | |
| CN115291111B (zh) | 电池静置时间预测模型的训练方法以及静置时间预测方法 | |
| CN115955189A (zh) | 一种发电异常的检测方法、装置、设备及介质 | |
| CN116819342A (zh) | 一种电池寿命曲线确定方法、装置、电子设备及存储介质 | |
| CN117856231A (zh) | 一种配变台区线损率阈值的制定方法 | |
| CN115275988A (zh) | 一种日线损异常原因确定方法、装置、设备及存储介质 | |
| CN116409609A (zh) | 光伏设备故障感知方法、装置、电子设备及存储介质 | |
| CN117851853A (zh) | 一种窃电用户定位方法、装置、设备及存储介质 | |
| CN115792628A (zh) | 一种动力电池安全性评估方法、装置、设备和存储介质 | |
| CN117992893A (zh) | 变电数据异常处理方法以及装置 | |
| CN116777674A (zh) | 配电网数据处理方法、装置、电子设备及存储介质 | |
| CN118074625A (zh) | 设备故障检测方法、装置、设备及存储介质 | |
| CN115238811A (zh) | 异常检测模型的训练方法、装置、设备及存储介质 | |
| CN117791809A (zh) | 一种电池两线制ups电路的控制方法、装置、设备和存储介质 | |
| CN117907847A (zh) | 一种异常电池筛选方法、装置、设备及存储介质 | |
| CN117471238A (zh) | 一种电网系统稳定性的确定方法、装置及电子设备 | |
| CN117540240A (zh) | 一种用水异常检测方法、装置、电子设备及存储介质 | |
| CN116955454A (zh) | 一种统计信息获取方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |