CN115408197B - 基于流式处理及多源数据交叉校验的负荷数据校验方法 - Google Patents
基于流式处理及多源数据交叉校验的负荷数据校验方法 Download PDFInfo
- Publication number
- CN115408197B CN115408197B CN202211350146.XA CN202211350146A CN115408197B CN 115408197 B CN115408197 B CN 115408197B CN 202211350146 A CN202211350146 A CN 202211350146A CN 115408197 B CN115408197 B CN 115408197B
- Authority
- CN
- China
- Prior art keywords
- data
- information
- load
- power
- verification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012795 verification Methods 0.000 title claims abstract description 227
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000012545 processing Methods 0.000 title claims abstract description 43
- 238000013524 data verification Methods 0.000 title claims abstract description 24
- 230000002159 abnormal effect Effects 0.000 claims abstract description 121
- 238000004590 computer program Methods 0.000 claims description 22
- 238000003860 storage Methods 0.000 claims description 11
- 230000000875 corresponding effect Effects 0.000 description 106
- 238000010586 diagram Methods 0.000 description 12
- 230000002441 reversible effect Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008439 repair process Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Water Supply & Treatment (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Primary Health Care (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本申请涉及一种基于流式处理及多源数据交叉校验的负荷数据校验方法。方法包括：获取待校验负荷数据对应的负荷数据采集报文，并对负荷数据采集报文进行解析，得负荷实时采集数据；将负荷实时采集数据进行数据队列处理，得已队列负荷采集数据，并将已队列负荷采集数据与档案信息进行关联，得已关联负荷采集数据；对已关联负荷采集数据中的负荷数据电力信息执行电力信息校验库对应的至少三个电力信息校验逻辑，得综合校验结果；在至少一个子校验结果为校验不通过的情况下，判定待校验负荷数据为异常数据，并基于综合校验结果对应的各子校验结果，对待校验负荷数据进行修复，得目标负荷数据。本方法能够降低因单一来源校验导致的误判率。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种基于流式处理及多源数据交叉校验的负荷数据校验方法。
背景技术
随着计算机技术的发展，出现了电力数字化技术，随着电力系统数字化、智能化、现代化水平不断提升，电能量数据在服务数字政务、辅助企业运营决策等，提升用户“获得电力”服务水平方面不断释放生产要素价值。其中负荷数据作为电能量数据的重要组成部分，是用户用电负荷监测、负荷特性分析、负荷趋势预测等上层数据应用的基础数据，保障负荷数据的准确性和及时性，从而保障负荷数据上层数据应用的可信、可靠、可用是一项重要的任务。
传统技术中，负荷数据异常识别方法是基于单一来源数据进行采集后校验，其中一类方法是基于统计学原理进行异常识别，例如校验、IQR校验、Grubb校验等方法，这种方法的思路是：统计数据的正常分布范围，认为在数据正常分布范围外的数据为异常数据；另一类方法利用机器学习的技术进行异常识别，例如DBSCAN、KMeans等聚类算法，通过考察数据点与聚集簇之间的关系检测异常值，孤立森林算法，通过判定数据点周围密度检测异常值。由于这两类方法基于负荷数据本身进行校验，而用户用电行为具有不确定性，导致负荷数据具有随机性强的特点，因此存在异常识别误判率高的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高异常识别的准确率的一种基于流式处理及多源数据交叉校验的负荷数据校验方法。
第一方面，本申请提供了一种基于流式处理及多源数据交叉校验的负荷数据校验方法。所述方法包括：获取待校验负荷数据对应的负荷数据采集报文，并对所述负荷数据采集报文进行解析，得到所述待校验负荷数据对应的负荷实时采集数据；将所述负荷实时采集数据进行数据队列处理，得到已队列负荷采集数据，并将所述已队列负荷采集数据与档案信息进行关联，得到已关联负荷采集数据；对所述已关联负荷采集数据中的负荷数据电力信息执行电力信息校验库对应的至少三个电力信息校验逻辑，得到综合校验结果；所述电力信息校验逻辑包括至少一个电力信息运行逻辑，所述综合校验结果包括至少三个子校验结果，各所述子校验结果与各所述电力信息校验逻辑相对应；在至少一个所述子校验结果为校验不通过的情况下，则判定所述待校验负荷数据为异常数据，并基于所述综合校验结果对应的各所述子校验结果，对所述待校验负荷数据进行修复，得到目标负荷数据，所述目标负荷数据表征能够满足电力业务需求的数据。
第二方面，本申请还提供了一种基于流式处理及多源数据交叉校验的负荷数据校验装置。所述装置包括：负荷实时采集数据得到模块，用于获取待校验负荷数据对应的负荷数据采集报文，并对所述负荷数据采集报文进行解析，得到所述待校验负荷数据对应的负荷实时采集数据；已关联负荷采集数据得到模块，用于将所述负荷实时采集数据进行数据队列处理，得到已队列负荷采集数据，并将所述已队列负荷采集数据与档案信息进行关联，得到已关联负荷采集数据；综合校验结果得到模块，用于对所述已关联负荷采集数据中的负荷数据电力信息执行电力信息校验库对应的至少三个电力信息校验逻辑，得到综合校验结果；所述电力信息校验逻辑包括至少一个电力信息运行逻辑，所述综合校验结果包括至少三个子校验结果，各所述子校验结果与各所述电力信息校验逻辑相对应；目标负荷数据得到模块，用于在至少一个所述子校验结果为校验不通过的情况下，则判定所述待校验负荷数据为异常数据，并基于所述综合校验结果对应的各所述子校验结果，对所述待校验负荷数据进行修复，得到目标负荷数据，所述目标负荷数据表征能够满足电力业务需求的数据。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取待校验负荷数据对应的负荷数据采集报文，并对所述负荷数据采集报文进行解析，得到所述待校验负荷数据对应的负荷实时采集数据；将所述负荷实时采集数据进行数据队列处理，得到已队列负荷采集数据，并将所述已队列负荷采集数据与档案信息进行关联，得到已关联负荷采集数据；对所述已关联负荷采集数据中的负荷数据电力信息执行电力信息校验库对应的至少三个电力信息校验逻辑，得到综合校验结果；所述电力信息校验逻辑包括至少一个电力信息运行逻辑，所述综合校验结果包括至少三个子校验结果，各所述子校验结果与各所述电力信息校验逻辑相对应；在至少一个所述子校验结果为校验不通过的情况下，则判定所述待校验负荷数据为异常数据，并基于所述综合校验结果对应的各所述子校验结果，对所述待校验负荷数据进行修复，得到目标负荷数据，所述目标负荷数据表征能够满足电力业务需求的数据。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取待校验负荷数据对应的负荷数据采集报文，并对所述负荷数据采集报文进行解析，得到所述待校验负荷数据对应的负荷实时采集数据；将所述负荷实时采集数据进行数据队列处理，得到已队列负荷采集数据，并将所述已队列负荷采集数据与档案信息进行关联，得到已关联负荷采集数据；对所述已关联负荷采集数据中的负荷数据电力信息执行电力信息校验库对应的至少三个电力信息校验逻辑，得到综合校验结果；所述电力信息校验逻辑包括至少一个电力信息运行逻辑，所述综合校验结果包括至少三个子校验结果，各所述子校验结果与各所述电力信息校验逻辑相对应；在至少一个所述子校验结果为校验不通过的情况下，则判定所述待校验负荷数据为异常数据，并基于所述综合校验结果对应的各所述子校验结果，对所述待校验负荷数据进行修复，得到目标负荷数据，所述目标负荷数据表征能够满足电力业务需求的数据。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：获取待校验负荷数据对应的负荷数据采集报文，并对所述负荷数据采集报文进行解析，得到所述待校验负荷数据对应的负荷实时采集数据；将所述负荷实时采集数据进行数据队列处理，得到已队列负荷采集数据，并将所述已队列负荷采集数据与档案信息进行关联，得到已关联负荷采集数据；对所述已关联负荷采集数据中的负荷数据电力信息执行电力信息校验库对应的至少三个电力信息校验逻辑，得到综合校验结果；所述电力信息校验逻辑包括至少一个电力信息运行逻辑，所述综合校验结果包括至少三个子校验结果，各所述子校验结果与各所述电力信息校验逻辑相对应；在至少一个所述子校验结果为校验不通过的情况下，则判定所述待校验负荷数据为异常数据，并基于所述综合校验结果对应的各所述子校验结果，对所述待校验负荷数据进行修复，得到目标负荷数据，所述目标负荷数据表征能够满足电力业务需求的数据。
上述基于流式处理及多源数据交叉校验的负荷数据校验方法、装置、计算机设备、存储介质和计算机程序产品，通过获取待校验负荷数据对应的负荷数据采集报文，并对负荷数据采集报文进行解析，得到待校验负荷数据对应的负荷实时采集数据；将负荷实时采集数据进行数据队列处理，得到已队列负荷采集数据，并将已队列负荷采集数据与档案信息进行关联，得到已关联负荷采集数据；对已关联负荷采集数据中的负荷数据电力信息执行电力信息校验库对应的至少三个电力信息校验逻辑，得到综合校验结果；电力信息校验逻辑包括至少一个电力信息运行逻辑，综合校验结果包括至少三个子校验结果，各子校验结果与各电力信息校验逻辑相对应；在至少一个子校验结果为校验不通过的情况下，则判定待校验负荷数据为异常数据，并基于综合校验结果对应的各子校验结果，对待校验负荷数据进行修复，得到目标负荷数据，目标负荷数据表征能够满足电力业务需求的数据。
通过引入与负荷数据强相关的负荷实时采集数据（电流、电压、功率因数、电能示值）以及档案类数据（综合倍率、运行容量、计量方式、接线方式、示数类型），构建了一套基于多源数据对负荷数据进行交叉校验的异常识别方法，同时，通过引入分布式流式处理计算框架，实现了负荷数据的即采即校，有别于目前负荷数据采集入库后再周期校验的方式。能够有效提升负荷数据异常识别的准确率，降低因单一来源校验导致的高误判率，将大幅提升负荷数据异常识别与修复的及时率，能够有效保障有序用电监测、需求侧响应监测等对实时性要求较高的数据应用的数据质量。
附图说明
图1为一个实施例中基于流式处理及多源数据交叉校验的负荷数据校验方法的应用环境图；
图2为一个实施例中基于流式处理及多源数据交叉校验的负荷数据校验方法的流程示意图；
图3为一个实施例中综合校验结果得到方法的流程示意图；
图4为一个实施例中参考数据判定结果得到方法的流程示意图；
图5为一个实施例中交叉校验结果得到方法的流程示意图；
图6为一个实施例中参考数据判定结果分类处理方法的流程示意图；
图7为一个实施例中交叉校验结果分类处理方法的流程示意图；
图8为一个实施例中综合校验结果得到方法的逻辑示意图；
图9为一个实施例中电压信息、电流信息、电能示值信息、功率因素信息以及运行容量信息执行校验电力信息逻辑方法的逻辑示意图；
图10为一个实施例中功率因素信息分别与电压信息和电流信息校验方法的逻辑示意图；
图11为一个实施例中功率因素信息分别与电能示值信息和运行容量信息校验方法的逻辑示意图；
图12为一个实施例中基于流式处理及多源数据交叉校验的负荷数据校验装置的结构框图；
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的一种基于流式处理及多源数据交叉校验的负荷数据校验方法，可以应用于如图1所示的应用环境中。其中。终端102获取数据，服务器104响应终端102的指令接收终端102的数据，并且对获取得到的数据进行计算，服务器104将数据的计算结果传输回终端102，并且由终端102进行显示。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。服务器104获取待校验负荷数据对应的负荷数据采集报文，并对负荷数据采集报文进行解析，得到待校验负荷数据对应的负荷实时采集数据；将负荷实时采集数据进行数据队列处理，得到已队列负荷采集数据，并将已队列负荷采集数据与档案信息进行关联，得到已关联负荷采集数据；对已关联负荷采集数据中的负荷数据电力信息执行电力信息校验库对应的至少三个电力信息校验逻辑，得到综合校验结果；电力信息校验逻辑包括至少一个电力信息运行逻辑，综合校验结果包括至少三个子校验结果，各子校验结果与各电力信息校验逻辑相对应；在至少一个子校验结果为校验不通过的情况下，则判定待校验负荷数据为异常数据，并基于综合校验结果对应的各子校验结果，对待校验负荷数据进行修复，得到目标负荷数据，目标负荷数据表征能够满足电力业务需求的数据。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种基于流式处理及多源数据交叉校验的负荷数据校验方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤202，获取待校验负荷数据对应的负荷数据采集报文，并对负荷数据采集报文进行解析，得到待校验负荷数据对应的负荷实时采集数据。
其中，待校验负荷数据可以是电力系统中产生的负荷数据，但是该负荷数据因为电力系统的原因，会有概率产生异常数据，因此要对电力系统中产生的负荷数据进行校验。
其中，负荷数据采集报文可以是将负荷数据采集后进行整理，以报文的形式进行记录，形成了用以表示负荷数据的情况的报文。
其中，负荷实时采集数据可以是通过由待校验负荷数据形成的负荷数据采集报文进行解析，去除待校验负荷数据中的噪音、非电力系统数据、电磁影响、人为失误数据等，得到的预处理负荷数据。
具体地，由前置解析服务器完成由终端上传待校验负荷数据，并且对待校验负荷数据形成的负荷数据采集报文进行解析，得到待校验负荷数据对应的负荷实时采集数据。区中，负荷实时采集数据内容包括：A相电流、B相电流、C相电流、A相电压、B相电压、C相电压、总有功功率、总功率因数、A相功率因数、B相功率因素、C相功率因素、正向有功总、反向有功总，最后将数据发往kafka进行数据列对处理。
步骤204，将负荷实时采集数据进行数据队列处理，得到已队列负荷采集数据，并将已队列负荷采集数据与档案信息进行关联，得到已关联负荷采集数据。
其中，数据队列可以是将在消息的传输过程中保存消息的容器。消息队列管理器在将消息从它的源中继到它的目标时充当中间人。队列的主要目的是提供路由并保证消息的传递；如果发送消息时接收者不可用，消息队列会保留消息，直到可以成功地传递它。
其中，已队列负荷采集数据可以是将负荷实时采集数据进行了队列处理后准备进行下一步计算的负荷采集数据。
其中，档案信息可以是电力系统或者电力信息中的综合倍率、运行容量、计量方式、接线方式、示数类型代码，可以实时采集，也可以预设。
其中，已关联负荷采集数据可以是将已队列负荷采集数据与档案信息中的相关数据进行关联后所得到的负荷采集数据。
具体地，从kafka消息队列实时读取实时采集数据，得到已队列负荷采集数据，并且将已队列负荷采集数据关联最新档案中综合倍率、运行容量、计量方式、接线方式、示数类型代码等档案信息，并从时序数据库读取T-15min电能示值曲线数据，得到已关联负荷采集数据。
步骤206，对已关联负荷采集数据中的负荷数据电力信息执行电力信息校验库对应的至少三个电力信息校验逻辑，得到综合校验结果。
其中，负荷数据电力信息可以是已关联负荷采集数据中用以表示电力系统的情况的信息，从负荷数据电力信息中可以得出电力系统目前的情况并预测发生故障的概率。
其中，电力信息校验库可以是用来校验负荷数据电力信息是否正常的校验库，电力信息校验库为电力信息校验逻辑的集合，里面存有至少三个电力信息校验逻辑。
其中，电力信息校验逻辑可以是用来对负荷数据电力信息执行具体校验的校验程序，同一个电力信息校验逻辑针对不同的校验项目具有不同的校验方案，针对不同的负荷数据电力信息也会有不同的校验方案。
其中，综合校验结果可以是已关联负荷采集数据中的所有负荷数据电力信息都执行了对应的电力信息校验逻辑后得到的校验结果的集合。
具体地，对已关联负荷采集数据中的负荷数据电力信息执行电力信息校验库对应的至少三个电力信息校验逻辑，得到综合校验结果的步骤有三步，其中，电力信息校验逻辑包括至少一个电力信息运行逻辑，综合校验结果包括至少三个子校验结果，各子校验结果与各电力信息校验逻辑相对应，电力信息校验库包括功率数据校验逻辑、校验电力信息逻辑以及交叉校验逻辑，各子校验结果分别为功率数据判定结果、参考数据校验结果以及数据交叉校验结果，具体步骤如下：
第一步：执行功率数据校验逻辑，判定已关联负荷采集数据中的负荷数据电力信息对应的功率数据是否为空值，如果为空值则判定功率数据异常，直接跳转至数据修复，如果不为空值则进入第二步。
第二步：执行校验电力信息逻辑，针对电流、电压、功率因数、电能示值等实时采集数据进行预校验，保证参考数据基本可信可用。
一、电压相关数据判定：1、电压为空：a、b、c电压任一为空，则判定为电压数据异常；2、电压超限：（1）当计量方式为：高供高计，接线方式为：三相三线，若a、c相电压中任一超过[40，120]则判定为电压数据异常，b相电压不为0且超过[40，120]则判定为电压数据异常，（2）当计量方式为：高供低计，接线方式为：三相四线，若a、b、c相电压中任一超过[40，120]则判定为电压数据异常，（3）当计量方式为：低供低计，若a、b、c相电压中任一超过[150，300]则判定为电压数据异常；3、其余判定为电压数据预校验通过。
二、电流相关数据判定：1、电流为空：a、b、c电流任一为空，则判定为电流数据异常；2、电流超限：（1）当示数类型为正向用电，若a、b、c相任一电流超过[0，15]则判定为电流相关数据异常，（2）当示数类型为反向用电，若a、b、c相任一电流超过[-15，0]则判定为电流相关数据异常；3、其余判定为电流数据预校验通过。
三、电能示值相关数据判定：1、电能示值为空：（1）若示数类型为正向用电，若正向有功总为空，则判定为电能示值异常，（2）若示数类型为反向用电，若反向有功总为空，则判定为电能示值异常；2、电能示值超限：（1）|T时刻与T-15min时刻电能示值差值| < 0，表示表码倒走，判定为电能示值异常，（2）|T时刻与T-15min时刻电能示值差值| > 10，表示表码走字超限，判定为电能示值异常；3、其余为电能示值数据预校验通过。
四、功率因数相关数据判定：1、功率因数为空：a、b、c功率因数任一为空，则判定为功率因数数据异常；2、功率因数超限：a、b、c功率因数超过[-1，1]则判定为功率因数数据异常；3、其余判定为功率因数数据正常。
五、运行容量相关数据判定：1、运行容量为空：若运行容量为空，则判定为运行容量异常；2、其余判定为运行容量数据预校验通过。
第三步：执行交叉校验逻辑。分别将功率数据与电流电压、电能示值、运行容量数据进行交叉校验。
一、功率与电流电压交叉校验：1、若根据参考数据预校验结果，电流或电压相关数据异常，则打上识别标签：电流电压数据异常，无法参考，本项交叉校验结束；2、若根据参考数据预校验结果，功率因数相关数据异常，则先使用0.85作为临时修复值，替代异常功率因数数据；3、计算估算功率值，估算功率因素信息 = (a相电流 * a相电压 * a相功率因数)+ (b相电流 * b相电压 * b相功率因数) + (c相电流 * c相电压 * c相功率因数)；4、计算估算功率与实际功率比值：估算功率因素信息 / (功率因素信息 + 1e-16)；5、若估算功率与实际功率比值超过[0.5，1.5]，则打上识别标签：电流电压数据正常，校验不通过，否则打上识别标签：电流电压数据正常，校验通过。
二、功率与电能示值交叉校验：1、若根据参考数据预校验结果，电能示值相关数据异常，则打上识别标签：电能示值数据异常，无法参考，本项交叉校验结束；2、计算估算功率值，估算功率因素信息 = |T时刻与T-15min时刻电能示值差值| * 15 / 60；3、计算估算功率与实际功率比值：估算功率因素信息 / (功率因素信息 + 1e-16)；4、若估算功率与实际功率比值超过[0.5，1.5]，则打上识别标签：电流电压数据正常，校验不通过，否则打上识别标签：电流电压数据正常，校验通过。
三、功率与运行容量交叉校验：1、若根据参考数据预校验结果，运行容量相关数据异常，则打上识别标签：运行容量数据异常，无法参考，本项交叉校验结束；2、若(功率因素信息 * 综合倍率) > (运行容量 * 1.5)，则打上识别标签：运行容量数据正常，校验不通过，否则打上识别标签：运行容量数据正常，校验通过。
步骤208，在至少一个子校验结果为校验不通过的情况下，则判定待校验负荷数据为异常数据，并基于综合校验结果对应的各子校验结果，对待校验负荷数据进行修复，得到目标负荷数据。
其中，子校验结果可以是已关联负荷采集数据中的负荷数据电力信息执行了一个电力信息校验逻辑后得到的校验结果。
其中，目标负荷数据可以是表征能够满足电力业务需求的数据，例如，电流、电压或者功率满足预设的阈值。
具体地，三项交叉校验均有无法参考、校验不通过、校验通过三类校验结果，综合考虑三项交叉校验结果，判断功率数据是否异常。1、若三项交叉校验结果中有一项“校验不通过”则判定为功率因素信息异常；2、若三项交叉校验结果均为“无法参考”，则从时序数据库获取过去7天历史功率数据，使用四分位距校验方式进行校验，以四分位距校验结果作为异常判定结果；3、其余判定为功率因素信息正常。
针对判定功率因素信息异常的数据项，通过如下规则进行修复：1、若电流数据预校验通过、电压数据预校验通过，则用电流电压计算的估算功率因素信息进行修复，修复步骤结束；2、依次遍历T-15min、T-30min、T-45min、T-60min时刻负荷数据，若存在未修复的正常功率因素信息数据，则用该数据进行修复，修复步骤结束；3、若电能示值数据预校验通过，则用电能示值计算的估功率因素信息进行修复，修复步骤结束；4、若过去7天T时刻功率因素信息数据有3天以上正常，则使用过去7天T时刻中正常功率因素信息平均值进行修复，修补步骤结束；5、若以上修复规则均无法适用，则采用三次样条插值方式进行修复。
最后，将校验后的目标负荷数据写入时序数据库，需要拓展如下信息：原始功率因素信息、修复后功率因素信息、异常原因、修复类型。
上述基于流式处理及多源数据交叉校验的负荷数据校验方法中，通过获取待校验负荷数据对应的负荷数据采集报文，并对负荷数据采集报文进行解析，得到待校验负荷数据对应的负荷实时采集数据；将负荷实时采集数据进行数据队列处理，得到已队列负荷采集数据，并将已队列负荷采集数据与档案信息进行关联，得到已关联负荷采集数据；对已关联负荷采集数据中的负荷数据电力信息执行电力信息校验库对应的至少三个电力信息校验逻辑，得到综合校验结果；电力信息校验逻辑包括至少一个电力信息运行逻辑，综合校验结果包括至少三个子校验结果，各子校验结果与各电力信息校验逻辑相对应；在至少一个子校验结果为校验不通过的情况下，则判定待校验负荷数据为异常数据，并基于综合校验结果对应的各子校验结果，对待校验负荷数据进行修复，得到目标负荷数据，目标负荷数据表征能够满足电力业务需求的数据。
通过引入与负荷数据强相关的负荷实时采集数据（电流、电压、功率因数、电能示值）以及档案类数据（综合倍率、运行容量、计量方式、接线方式、示数类型），构建了一套基于多源数据对负荷数据进行交叉校验的异常识别方法，同时，通过引入分布式流式处理计算框架，实现了负荷数据的即采即校，有别于目前负荷数据采集入库后再周期校验的方式。能够有效提升负荷数据异常识别的准确率，降低因单一来源校验导致的高误判率，将大幅提升负荷数据异常识别与修复的及时率，能够有效保障有序用电监测、需求侧响应监测等对实时性要求较高的数据应用的数据质量。
在一个实施例中，如图3所示，对已关联负荷采集数据中的负荷数据电力信息执行电力信息校验库对应的至少三个电力信息校验逻辑，得到综合校验结果，包括：
步骤302，基于功率数据校验逻辑对已关联负荷采集数据对应的负荷数据电力信息进行判定，得到功率数据判定结果。
其中，功率数据判定结果可以是已关联负荷采集数据对应的负荷数据电力信息执行功率数据校验逻辑所得到的判定结果。
具体地，判定已关联负荷采集数据中的负荷数据电力信息对应的功率数据是否为空值，如果为空值则判定功率数据异常，直接跳转至数据修复，如果不为空值则进入步骤304。
步骤304，在功率数据判定结果对应的功率数据不为空值的情况下，将校验电力信息逻辑对已关联负荷采集数据对应的负荷数据电力信息进行判定，得到参考数据判定结果。
其中，参考数据判定结果可以是已关联负荷采集数据对应的负荷数据电力信息执行校验电力信息逻辑所得到的判定结果。
具体地，执行校验电力信息逻辑，针对电流、电压、功率因数、电能示值等实时采集数据进行预校验，保证参考数据基本可信可用。
一、电压相关数据判定：1、电压为空：a、b、c电压任一为空，则判定为电压数据异常；2、电压超限：（1）当计量方式为：高供高计，接线方式为：三相三线，若a、c相电压中任一超过[40，120]则判定为电压数据异常，b相电压不为0且超过[40，120]则判定为电压数据异常，（2）当计量方式为：高供低计，接线方式为：三相四线，若a、b、c相电压中任一超过[40，120]则判定为电压数据异常，（3）当计量方式为：低供低计，若a、b、c相电压中任一超过[150，300]则判定为电压数据异常；3、其余判定为电压数据预校验通过。
二、电流相关数据判定：1、电流为空：a、b、c电流任一为空，则判定为电流数据异常；2、电流超限：（1）当示数类型为正向用电，若a、b、c相任一电流超过[0，15]则判定为电流相关数据异常，（2）当示数类型为反向用电，若a、b、c相任一电流超过[-15，0]则判定为电流相关数据异常；3、其余判定为电流数据预校验通过。
三、电能示值相关数据判定：1、电能示值为空：（1）若示数类型为正向用电，若正向有功总为空，则判定为电能示值异常，（2）若示数类型为反向用电，若反向有功总为空，则判定为电能示值异常；2、电能示值超限：（1）|T时刻与T-15min时刻电能示值差值| < 0，表示表码倒走，判定为电能示值异常，（2）|T时刻与T-15min时刻电能示值差值| > 10，表示表码走字超限，判定为电能示值异常；3、其余为电能示值数据预校验通过。
四、功率因数相关数据判定：1、功率因数为空：a、b、c功率因数任一为空，则判定为功率因数数据异常；2、功率因数超限：a、b、c功率因数超过[-1，1]则判定为功率因数数据异常；3、其余判定为功率因数数据正常。
五、运行容量相关数据判定：1、运行容量为空：若运行容量为空，则判定为运行容量异常；2、其余判定为运行容量数据预校验通过。
步骤306，将已关联负荷采集数据对应的负荷数据电力信息运行交叉校验逻辑，得到数据交叉校验结果。
其中，数据交叉校验结果可以是已关联负荷采集数据对应的负荷数据电力信息执行交叉校验逻辑所得到的判定结果。
具体地，执行交叉校验逻辑。分别将功率数据与电流电压、电能示值、运行容量数据进行交叉校验。
一、功率与电流电压交叉校验：1、若根据参考数据预校验结果，电流或电压相关数据异常，则打上识别标签：电流电压数据异常，无法参考，本项交叉校验结束；2、若根据参考数据预校验结果，功率因数相关数据异常，则先使用0.85作为临时修复值，替代异常功率因数数据；3、计算估算功率值，估算功率因素信息 = (a相电流 * a相电压 * a相功率因数)+ (b相电流 * b相电压 * b相功率因数) + (c相电流 * c相电压 * c相功率因数)；4、计算估算功率与实际功率比值：估算功率因素信息 / (功率因素信息 + 1e-16)；5、若估算功率与实际功率比值超过[0.5，1.5]，则打上识别标签：电流电压数据正常，校验不通过，否则打上识别标签：电流电压数据正常，校验通过。
二、功率与电能示值交叉校验：1、若根据参考数据预校验结果，电能示值相关数据异常，则打上识别标签：电能示值数据异常，无法参考，本项交叉校验结束；2、计算估算功率值，估算功率因素信息 = |T时刻与T-15min时刻电能示值差值| * 15 / 60；3、计算估算功率与实际功率比值：估算功率因素信息 / (功率因素信息 + 1e-16)；4、若估算功率与实际功率比值超过[0.5，1.5]，则打上识别标签：电流电压数据正常，校验不通过，否则打上识别标签：电流电压数据正常，校验通过。
三、功率与运行容量交叉校验：1、若根据参考数据预校验结果，运行容量相关数据异常，则打上识别标签：运行容量数据异常，无法参考，本项交叉校验结束；2、若(功率因素信息 * 综合倍率) > (运行容量 * 1.5)，则打上识别标签：运行容量数据正常，校验不通过，否则打上识别标签：运行容量数据正常，校验通过。
步骤308，将功率数据判定结果、参考数据判定结果以及数据交叉校验结果组合，得到综合校验结果。
具体地，将已关联负荷采集数据对应的负荷数据电力信息分别执行功率数据校验逻辑、校验电力信息逻辑以及交叉校验逻辑得到的功率数据判定结果、参考数据判定结果以及数据交叉校验结果组合，得到综合校验结果。
本实施例中，通过已关联负荷采集数据对应的负荷数据电力信息中的功率数据进行异常识别，并针对具有异常的功率数据进行校验电力信息逻辑判定以及运行交叉校验逻辑，能够使得已关联负荷采集数据满足多个异常识别逻辑，进一步保证已关联负荷采集数据的准确性，降低检验异常数据的误判率。
在一个实施例中，如图4所示，使用校验电力信息逻辑对已关联负荷采集数据对应的负荷数据电力信息进行判定，得到参考数据判定结果，包括：
步骤402，基于校验电力信息逻辑对负荷数据电力信息的电压信息、电流信息、电能示值信息、功率因素信息以及运行容量信息进行判定，得到电压信息对应的第一判定结果、电流信息对应的第二判定结果、电能示值信息对应的第三判定结果、功率因素信息对应的第四判定结果以及运行容量信息对应的第五判定结果。
具体地，针对负荷数据电力信息的电压信息、电流信息、电能示值信息、功率因素信息以及运行容量信息，执行校验电力信息逻辑进行判定，分别得到电压信息对应的第一判定结果、电流信息对应的第二判定结果、电能示值信息对应的第三判定结果、功率因素信息对应的第四判定结果以及运行容量信息对应的第五判定结果。
一、电压相关数据判定：1、电压为空：a、b、c电压任一为空，则判定为电压数据异常；2、电压超限：（1）当计量方式为：高供高计，接线方式为：三相三线，若a、c相电压中任一超过[40，120]则判定为电压数据异常，b相电压不为0且超过[40，120]则判定为电压数据异常，（2）当计量方式为：高供低计，接线方式为：三相四线，若a、b、c相电压中任一超过[40，120]则判定为电压数据异常，（3）当计量方式为：低供低计，若a、b、c相电压中任一超过[150，300]则判定为电压数据异常；3、其余判定为电压数据预校验通过。
二、电流相关数据判定：1、电流为空：a、b、c电流任一为空，则判定为电流数据异常；2、电流超限：（1）当示数类型为正向用电，若a、b、c相任一电流超过[0，15]则判定为电流相关数据异常，（2）当示数类型为反向用电，若a、b、c相任一电流超过[-15，0]则判定为电流相关数据异常；3、其余判定为电流数据预校验通过。
三、电能示值相关数据判定：1、电能示值为空：（1）若示数类型为正向用电，若正向有功总为空，则判定为电能示值异常，（2）若示数类型为反向用电，若反向有功总为空，则判定为电能示值异常；2、电能示值超限：（1）|T时刻与T-15min时刻电能示值差值| < 0，表示表码倒走，判定为电能示值异常，（2）|T时刻与T-15min时刻电能示值差值| > 10，表示表码走字超限，判定为电能示值异常；3、其余为电能示值数据预校验通过。
四、功率因数相关数据判定：1、功率因数为空：a、b、c功率因数任一为空，则判定为功率因数数据异常；2、功率因数超限：a、b、c功率因数超过[-1，1]则判定为功率因数数据异常；3、其余判定为功率因数数据正常。
五、运行容量相关数据判定：1、运行容量为空：若运行容量为空，则判定为运行容量异常；2、其余判定为运行容量数据预校验通过。
步骤404，将第一判定结果、第二判定结果、第三判定结果、第四判定结果以及第五判定结果进行组合，得到参考数据判定结果。
具体地，将负荷数据电力信息的电压信息、电流信息、电能示值信息、功率因素信息以及运行容量信息分别校验电力信息逻辑判定后得到第一判定结果、第二判定结果、第三判定结果、第四判定结果以及第五判定结果进行组合，得到参考数据判定结果。
本实施例中，通过使用校验电力信息逻辑对负荷数据电力信息的电压信息、电流信息、电能示值信息、功率因素信息以及运行容量信息对应的检查逻辑进行判断，能够细化到电压信息、电流信息、电能示值信息、功率因素信息以及运行容量信息的任意一项进行检查，能够找出关联负荷采集数据对应的问题所在位置，提高了关联负荷采集数据检查的准确性。
在一个实施例中，如图5所示，将已关联负荷采集数据对应的负荷数据电力信息运行交叉校验逻辑，得到数据交叉校验结果，包括：
步骤502，将负荷数据电力信息的功率因素信息分别与电压信息和电流信息进行校验，得到第一校验结果和第二校验结果。
具体地，执行交叉校验逻辑。将功率数据与电流和电压进行交叉校验，得到第一校验结果和第二校验结果。
功率与电流电压交叉校验：1、若根据参考数据预校验结果，电流或电压相关数据异常，则打上识别标签：电流电压数据异常，无法参考，本项交叉校验结束；2、若根据参考数据预校验结果，功率因数相关数据异常，则先使用0.85作为临时修复值，替代异常功率因数数据；3、计算估算功率值，估算功率因素信息 = (a相电流 * a相电压 * a相功率因数) +(b相电流 * b相电压 * b相功率因数) + (c相电流 * c相电压 * c相功率因数)；4、计算估算功率与实际功率比值：估算功率因素信息 / (功率因素信息 + 1e-16)；5、若估算功率与实际功率比值超过[0.5，1.5]，则打上识别标签：电流电压数据正常，校验不通过，否则打上识别标签：电流电压数据正常，校验通过。
步骤504，将负荷数据电力信息的功率因素信息与电能示值信息进行校验，得到第三校验结果。
具体地，执行交叉校验逻辑。将功率数据与电能示值信息进行交叉校验，得到第三校验结果。
功率与电能示值交叉校验：1、若根据参考数据预校验结果，电能示值相关数据异常，则打上识别标签：电能示值数据异常，无法参考，本项交叉校验结束；2、计算估算功率值，估算功率因素信息 = |T时刻与T-15min时刻电能示值差值| * 15 / 60；3、计算估算功率与实际功率比值：估算功率因素信息 / (功率因素信息 + 1e-16)；4、若估算功率与实际功率比值超过[0.5，1.5]，则打上识别标签：电流电压数据正常，校验不通过，否则打上识别标签：电流电压数据正常，校验通过。
步骤506，将负荷数据电力信息的功率因素信息与运行容量信息进行校验，得到第四校验结果。
具体地，执行交叉校验逻辑。将功率数据与运行容量信息进行交叉校验，得到第四校验结果。
功率与运行容量交叉校验：1、若根据参考数据预校验结果，运行容量相关数据异常，则打上识别标签：运行容量数据异常，无法参考，本项交叉校验结束；2、若(功率因素信息 * 综合倍率) > (运行容量 * 1.5)，则打上识别标签：运行容量数据正常，校验不通过，否则打上识别标签：运行容量数据正常，校验通过。
步骤508，将第一校验结果、第二校验结果、第三校验结果以及第四校验结果进行组合，得到数据交叉校验结果。
具体地，将负荷数据电力信息的功率因素信息分别与电压信息、电流信息、电能示值信息、功率因素信息以及运行容量信息进行交叉校验所得到的第一校验结果、第二校验结果、第三校验结果以及第四校验结果进行组合，得到数据交叉校验结果。
本实施例中，通过对负荷数据电力信息的功率因素信息分别与电压信息、电流信息、电能示值信息以及运行容量信息进行交叉验证，能够进一步检查功率因素信息与电压信息、电流信息、电能示值信息以及运行容量信息之间是否符合对应关系，提高了关联负荷采集数据检查的准确性。
在一个实施例中，如图6所示，基于校验电力信息逻辑对负荷数据电力信息的电压信息、电流信息、电能示值信息、功率因素信息以及运行容量信息进行判定，得到电压信息对应的第一判定结果、电流信息对应的第二判定结果、电能示值信息对应的第三判定结果、功率因素信息对应的第四判定结果以及运行容量信息对应的第五判定结果，包括：
步骤602，在负荷数据电力信息的电压信息、电流信息、电能示值信息、功率因素信息以及运行容量信息的判定结果分别不为空值的情况下，分别判定负荷数据电力信息的电压信息、电流信息、电能示值信息、功率因素信息以及运行容量信息是否超过对应的预设阈值，得到电压信息对应的第一判定结果、电流信息对应的第二判定结果、电能示值信息对应的第三判定结果、功率因素信息对应的第四判定结果以及运行容量信息对应的第五判定结果。
具体地，在负荷数据电力信息的电压信息、电流信息、电能示值信息、功率因素信息以及运行容量信息的判定结果分别不为空值的情况下，分别执行：
一、电压相关数据判定：1、电压超限：（1）当计量方式为：高供高计，接线方式为：三相三线，若a、c相电压中任一超过[40，120]则判定为电压数据异常，b相电压不为0且超过[40，120]则判定为电压数据异常，（2）当计量方式为：高供低计，接线方式为：三相四线，若a、b、c相电压中任一超过[40，120]则判定为电压数据异常，（3）当计量方式为：低供低计，若a、b、c相电压中任一超过[150，300]则判定为电压数据异常；2、其余判定为电压数据预校验通过。
二、电流相关数据判定：1、电流超限：（1）当示数类型为正向用电，若a、b、c相任一电流超过[0，15]则判定为电流相关数据异常，（2）当示数类型为反向用电，若a、b、c相任一电流超过[-15，0]则判定为电流相关数据异常；2、其余判定为电流数据预校验通过。
三、电能示值相关数据判定：1、电能示值超限：（1）|T时刻与T-15min时刻电能示值差值| < 0，表示表码倒走，判定为电能示值异常，（2）|T时刻与T-15min时刻电能示值差值|> 10，表示表码走字超限，判定为电能示值异常；2、其余为电能示值数据预校验通过。
四、功率因数相关数据判定：1、功率因数超限：a、b、c功率因数超过[-1，1]则判定为功率因数数据异常；2、其余判定为功率因数数据正常。
五、运行容量相关数据判定：判定为运行容量数据预校验通过。
步骤604，或者，在负荷数据电力信息的电压信息、电流信息、电能示值信息、功率因素信息以及运行容量信息的判定结果分别为空值的情况下，得到电压信息对应的第一判定结果、电流信息对应的第二判定结果、电能示值信息对应的第三判定结果、功率因素信息对应的第四判定结果以及运行容量信息对应的第五判定结果。
具体地，在负荷数据电力信息的电压信息、电流信息、电能示值信息、功率因素信息以及运行容量信息的判定结果分别为空值的情况下，分别执行：
一、电压相关数据判定：电压为空：a、b、c电压任一为空，则判定为电压数据异常。
二、电流相关数据判定：电流为空：a、b、c电流任一为空，则判定为电流数据异常。
三、电能示值相关数据判定：电能示值为空：（1）若示数类型为正向用电，若正向有功总为空，则判定为电能示值异常，（2）若示数类型为反向用电，若反向有功总为空，则判定为电能示值异常。
四、功率因数相关数据判定：功率因数为空：a、b、c功率因数任一为空，则判定为功率因数数据异常。
五、运行容量相关数据判定：运行容量为空：若运行容量为空，则判定为运行容量异常。
本实施例中，通过负荷数据电力信息的电压信息、电流信息、电能示值信息、功率因素信息以及运行容量信息是否为空值的情况下进行判断，并对不为空值的情况下将电压信息、电流信息、电能示值信息、功率因素信息以及运行容量信息分别与预设的阈值进行比较，能够确定电压信息、电流信息、电能示值信息、功率因素信息以及运行容量信息是否为正常水平，提高数据校验的准确性，进一步提高电力系统的稳定性。
在一个实施例中，如图7所示，方法还包括：
步骤702，在第一校验结果、第二校验结果、第三校验结果以及第四校验结果中有任意一项为校验不通过的情况下，则判定为功率因素信息为异常。
具体地，若第一校验结果、第二校验结果、第三校验结果以及第四校验结果中有一项判定结果为“校验不通过”，则判定为功率因素信息异常
步骤704，在第一校验结果、第二校验结果、第三校验结果以及第四校验结果均为错误的情况下，则执行四分位距校验。
具体地，若第一校验结果、第二校验结果、第三校验结果以及第四校验结果均为“无法参考”，则从时序数据库获取过去7天历史功率数据，使用四分位距校验方式进行校验，以四分位距校验结果作为异常判定结果。
在一个实施例中，本基于流式处理及多源数据交叉校验的负荷数据校验方法基于大数据分布式架构构建，特性如下：
1、消息队列采用kafka队列，计算框架采用Spark框架，利用Spark StructuredStreaming组件实现负荷数据的实时处理。其中消息队列可以替换为ribbimq，rocketmq，activemq等分布式消息队列，流式处理框架可替换为storm、flink等计算框架。
2、当执行交叉校验逻辑后得到的第一校验结果、第二校验结果、第三校验结果以及第四校验结果都为“无法参考”时，可通过获取历史7天数据进行四分位距校验进行异常校验，还可替换为3校验、Grubb校验等方式进行异常校验。
3、针对判定功率因素信息异常的数据项，当1-4项修复规则无法适用时，本方案采用三次样条插值方式，还可替换为线性插值法、多项式插值法、拉格朗日插值法、牛顿插值法等方式进行数据修复。
本实施例中，通过对于功率因素信息与电压信息、电流信息、电能示值信息以及运行容量信息之间的交叉验证有任何一项不通过的情况下，使用四分位距校验对上述的各个电力信息进行进一步验证，能够保证对电力数据的校验的错误率进一步降低，提高电力数据校验的效率和准确率。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的基于流式处理及多源数据交叉校验的负荷数据校验方法的基于流式处理及多源数据交叉校验的负荷数据校验装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个基于流式处理及多源数据交叉校验的负荷数据校验装置实施例中的具体限定可以参见上文中对于基于流式处理及多源数据交叉校验的负荷数据校验方法的限定，在此不再赘述。
在一个实施例中，如图12所示，提供了一种基于流式处理及多源数据交叉校验的负荷数据校验装置，包括：负荷实时采集数据得到模块1202、已关联负荷采集数据得到模块1204、综合校验结果得到模块1206和目标负荷数据得到模块1208，其中：
负荷实时采集数据得到模块1202，用于获取待校验负荷数据对应的负荷数据采集报文，并对负荷数据采集报文进行解析，得到待校验负荷数据对应的负荷实时采集数据；
已关联负荷采集数据得到模块1204，用于将负荷实时采集数据进行数据队列处理，得到已队列负荷采集数据，并将已队列负荷采集数据与档案信息进行关联，得到已关联负荷采集数据；
综合校验结果得到模块1206，用于对已关联负荷采集数据中的负荷数据电力信息执行电力信息校验库对应的至少三个电力信息校验逻辑，得到综合校验结果；电力信息校验逻辑包括至少一个电力信息运行逻辑，综合校验结果包括至少三个子校验结果，各子校验结果与各电力信息校验逻辑相对应；
目标负荷数据得到模块1208，用于在至少一个子校验结果为校验不通过的情况下，则判定待校验负荷数据为异常数据，并基于综合校验结果对应的各子校验结果，对待校验负荷数据进行修复，得到目标负荷数据，目标负荷数据表征能够满足电力业务需求的数据。
在其中一个实施例中，综合校验结果得到模块1206还用于：基于功率数据校验逻辑对已关联负荷采集数据对应的负荷数据电力信息进行判定，得到功率数据判定结果；在功率数据判定结果对应的功率数据不为空值的情况下，将校验电力信息逻辑对已关联负荷采集数据对应的负荷数据电力信息进行判定，得到参考数据判定结果；将已关联负荷采集数据对应的负荷数据电力信息运行交叉校验逻辑，得到数据交叉校验结果；将功率数据判定结果、参考数据判定结果以及数据交叉校验结果组合，得到综合校验结果。
在其中一个实施例中，综合校验结果得到模块1206还用于：基于校验电力信息逻辑对负荷数据电力信息的电压信息、电流信息、电能示值信息、功率因素信息以及运行容量信息进行判定，得到电压信息对应的第一判定结果、电流信息对应的第二判定结果、电能示值信息对应的第三判定结果、功率因素信息对应的第四判定结果以及运行容量信息对应的第五判定结果；将第一判定结果、第二判定结果、第三判定结果、第四判定结果以及第五判定结果进行组合，得到参考数据判定结果。
在其中一个实施例中，综合校验结果得到模块1206还用于：将负荷数据电力信息的功率因素信息分别与电压信息和电流信息进行校验，得到第一校验结果和第二校验结果；将负荷数据电力信息的功率因素信息与电能示值信息进行校验，得到第三校验结果；将负荷数据电力信息的功率因素信息与运行容量信息进行校验，得到第四校验结果；将第一校验结果、第二校验结果、第三校验结果以及第四校验结果进行组合，得到数据交叉校验结果。
在其中一个实施例中，综合校验结果得到模块1206还用于：在负荷数据电力信息的电压信息、电流信息、电能示值信息、功率因素信息以及运行容量信息的判定结果分别不为空值的情况下，分别判定负荷数据电力信息的电压信息、电流信息、电能示值信息、功率因素信息以及运行容量信息是否超过对应的预设阈值，得到电压信息对应的第一判定结果、电流信息对应的第二判定结果、电能示值信息对应的第三判定结果、功率因素信息对应的第四判定结果以及运行容量信息对应的第五判定结果；或者，在负荷数据电力信息的电压信息、电流信息、电能示值信息、功率因素信息以及运行容量信息的判定结果分别为空值的情况下，得到电压信息对应的第一判定结果、电流信息对应的第二判定结果、电能示值信息对应的第三判定结果、功率因素信息对应的第四判定结果以及运行容量信息对应的第五判定结果。
在其中一个实施例中，综合校验结果得到模块1206还用于：在第一校验结果、第二校验结果、第三校验结果以及第四校验结果中有任意一项为校验不通过的情况下，则判定为功率因素信息为异常；在第一校验结果、第二校验结果、第三校验结果以及第四校验结果均为错误的情况下，则执行四分位距校验。
上述基于流式处理及多源数据交叉校验的负荷数据校验装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储服务器数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于流式处理及多源数据交叉校验的负荷数据校验方法。
本领域技术人员可以理解，图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于流式处理及多源数据交叉校验的负荷数据校验方法，其特征在于，所述方法包括：
获取待校验负荷数据对应的负荷数据采集报文，并对所述负荷数据采集报文进行解析，得到所述待校验负荷数据对应的负荷实时采集数据；
将所述负荷实时采集数据进行数据队列处理，得到已队列负荷采集数据，并将所述已队列负荷采集数据与档案信息进行关联，得到已关联负荷采集数据；
对所述已关联负荷采集数据中的负荷数据电力信息执行电力信息校验库对应的至少三个电力信息校验逻辑，得到综合校验结果；所述电力信息校验逻辑包括至少一个电力信息运行逻辑，所述综合校验结果包括至少三个子校验结果，各所述子校验结果与各所述电力信息校验逻辑相对应；
在至少一个所述子校验结果为校验不通过的情况下，则判定所述待校验负荷数据为异常数据，并基于所述综合校验结果对应的各所述子校验结果，对所述待校验负荷数据进行修复，得到目标负荷数据，所述目标负荷数据表征能够满足电力业务需求的数据。
2.根据权利要求1所述的方法，其特征在于，所述电力信息校验库包括功率数据校验逻辑、校验电力信息逻辑以及交叉校验逻辑，各所述子校验结果分别为功率数据判定结果、参考数据校验结果以及数据交叉校验结果，所述对所述已关联负荷采集数据中的负荷数据电力信息执行电力信息校验库对应的至少三个电力信息校验逻辑，得到综合校验结果，包括：
基于所述功率数据校验逻辑对所述已关联负荷采集数据对应的负荷数据电力信息进行判定，得到所述功率数据判定结果；
在所述功率数据判定结果对应的功率数据不为空值的情况下，使用所述校验电力信息逻辑对所述已关联负荷采集数据对应的负荷数据电力信息进行判定，得到所述参考数据判定结果；
将所述已关联负荷采集数据对应的负荷数据电力信息运行交叉校验逻辑，得到所述数据交叉校验结果；
将所述功率数据判定结果、所述参考数据判定结果以及所述数据交叉校验结果组合，得到所述综合校验结果。
3.根据权利要求2所述的方法，其特征在于，所述负荷数据电力信息以及所述校验电力信息均包括电压信息、电流信息、电能示值信息、功率因素信息以及运行容量信息，所述使用所述校验电力信息逻辑对所述已关联负荷采集数据对应的负荷数据电力信息进行判定，得到所述参考数据判定结果，包括：
基于所述校验电力信息逻辑对所述负荷数据电力信息的电压信息、电流信息、电能示值信息、功率因素信息以及运行容量信息进行判定，得到所述电压信息对应的第一判定结果、所述电流信息对应的第二判定结果、所述电能示值信息对应的第三判定结果、所述功率因素信息对应的第四判定结果以及所述运行容量信息对应的第五判定结果；
将所述第一判定结果、所述第二判定结果、所述第三判定结果、所述第四判定结果以及所述第五判定结果进行组合，得到所述参考数据判定结果。
4.根据权利要求2所述的方法，其特征在于，所述负荷数据电力信息包括电压信息、电流信息、电能示值信息、功率因素信息以及运行容量信息，所述将所述已关联负荷采集数据对应的负荷数据电力信息运行交叉校验逻辑，得到所述数据交叉校验结果，包括：
将所述负荷数据电力信息的功率因素信息分别与所述电压信息和所述电流信息进行校验，得到第一校验结果和第二校验结果；
将所述负荷数据电力信息的功率因素信息与所述电能示值信息进行校验，得到第三校验结果；
将所述负荷数据电力信息的功率因素信息与所述运行容量信息进行校验，得到第四校验结果；
将所述第一校验结果、所述第二校验结果、所述第三校验结果以及所述第四校验结果进行组合，得到所述数据交叉校验结果。
5.根据权利要求3所述的方法，其特征在于，所述基于所述校验电力信息逻辑对所述负荷数据电力信息的电压信息、电流信息、电能示值信息、功率因素信息以及运行容量信息进行判定，得到所述电压信息对应的第一判定结果、所述电流信息对应的第二判定结果、所述电能示值信息对应的第三判定结果、所述功率因素信息对应的第四判定结果以及所述运行容量信息对应的第五判定结果，包括：
在所述负荷数据电力信息的电压信息、电流信息、电能示值信息、功率因素信息以及运行容量信息的判定结果分别不为空值的情况下，分别判定所述负荷数据电力信息的电压信息、电流信息、电能示值信息、功率因素信息以及运行容量信息是否超过对应的预设阈值，得到所述电压信息对应的第一判定结果、所述电流信息对应的第二判定结果、所述电能示值信息对应的第三判定结果、所述功率因素信息对应的第四判定结果以及所述运行容量信息对应的第五判定结果；
或者，在所述负荷数据电力信息的电压信息、电流信息、电能示值信息、功率因素信息以及运行容量信息的判定结果分别为空值的情况下，得到所述电压信息对应的第一判定结果、所述电流信息对应的第二判定结果、所述电能示值信息对应的第三判定结果、所述功率因素信息对应的第四判定结果以及所述运行容量信息对应的第五判定结果。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
在所述第一校验结果、所述第二校验结果、所述第三校验结果以及所述第四校验结果中有任意一项为校验不通过的情况下，则判定为所述功率因素信息为异常；
在所述第一校验结果、所述第二校验结果、所述第三校验结果以及所述第四校验结果均为错误的情况下，则执行四分位距校验。
7.一种基于流式处理及多源数据交叉校验的负荷数据校验装置，其特征在于，所述装置包括：
负荷实时采集数据得到模块，用于获取待校验负荷数据对应的负荷数据采集报文，并对所述负荷数据采集报文进行解析，得到所述待校验负荷数据对应的负荷实时采集数据；
已关联负荷采集数据得到模块，用于将所述负荷实时采集数据进行数据队列处理，得到已队列负荷采集数据，并将所述已队列负荷采集数据与档案信息进行关联，得到已关联负荷采集数据；
综合校验结果得到模块，用于对所述已关联负荷采集数据中的负荷数据电力信息执行电力信息校验库对应的至少三个电力信息校验逻辑，得到综合校验结果；所述电力信息校验逻辑包括至少一个电力信息运行逻辑，所述综合校验结果包括至少三个子校验结果，各所述子校验结果与各所述电力信息校验逻辑相对应；
目标负荷数据得到模块，用于在至少一个所述子校验结果为校验不通过的情况下，则判定所述待校验负荷数据为异常数据，并基于所述综合校验结果对应的各所述子校验结果，对所述待校验负荷数据进行修复，得到目标负荷数据，所述目标负荷数据表征能够满足电力业务需求的数据。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211350146.XA CN115408197B (zh) | 2022-10-31 | 2022-10-31 | 基于流式处理及多源数据交叉校验的负荷数据校验方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211350146.XA CN115408197B (zh) | 2022-10-31 | 2022-10-31 | 基于流式处理及多源数据交叉校验的负荷数据校验方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115408197A CN115408197A (zh) | 2022-11-29 |
| CN115408197B true CN115408197B (zh) | 2023-01-20 |
Family
ID=84167012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211350146.XA Active CN115408197B (zh) | 2022-10-31 | 2022-10-31 | 基于流式处理及多源数据交叉校验的负荷数据校验方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115408197B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103729501A (zh) * | 2013-12-18 | 2014-04-16 | 国网山西省电力公司晋中供电公司 | 基于灰色理论的短期电力负荷预测方法 |
| CN105207213A (zh) * | 2015-10-23 | 2015-12-30 | 国家电网公司 | 一种考虑分段负荷转移的配电网n-1校验方法 |
| CN112803419A (zh) * | 2021-02-25 | 2021-05-14 | 南京地铁建设有限责任公司 | 潮流安全校验方法、装置、设备和存储介质 |
| CN114066073A (zh) * | 2021-11-22 | 2022-02-18 | 国网河北省电力有限公司营销服务中心 | 电网负荷预测方法 |
| CN114202018A (zh) * | 2021-11-29 | 2022-03-18 | 新智我来网络科技有限公司 | 一种模块化的联合学习方法及系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030225604A1 (en) * | 2002-06-04 | 2003-12-04 | Fabio Casati | System and method for analyzing data and making predictions |
| CN109740648B (zh) * | 2018-12-21 | 2020-11-03 | 广东电网有限责任公司广州供电局 | 电力负荷异常数据识别方法、装置和计算机设备 |
| CN109978261A (zh) * | 2019-03-27 | 2019-07-05 | 新奥数能科技有限公司 | 确定负荷预测模型的方法、装置、可读介质及电子设备 |
-
2022
- 2022-10-31 CN CN202211350146.XA patent/CN115408197B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103729501A (zh) * | 2013-12-18 | 2014-04-16 | 国网山西省电力公司晋中供电公司 | 基于灰色理论的短期电力负荷预测方法 |
| CN105207213A (zh) * | 2015-10-23 | 2015-12-30 | 国家电网公司 | 一种考虑分段负荷转移的配电网n-1校验方法 |
| CN112803419A (zh) * | 2021-02-25 | 2021-05-14 | 南京地铁建设有限责任公司 | 潮流安全校验方法、装置、设备和存储介质 |
| CN114066073A (zh) * | 2021-11-22 | 2022-02-18 | 国网河北省电力有限公司营销服务中心 | 电网负荷预测方法 |
| CN114202018A (zh) * | 2021-11-29 | 2022-03-18 | 新智我来网络科技有限公司 | 一种模块化的联合学习方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115408197A (zh) | 2022-11-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111178456B (zh) | 异常指标检测方法、装置、计算机设备和存储介质 | |
| US10379146B2 (en) | Detecting non-technical losses in electrical networks based on multi-layered statistical techniques from smart meter data | |
| US11012289B2 (en) | Reinforced machine learning tool for anomaly detection | |
| CN107679734A (zh) | 一种用于无标签数据分类预测的方法和系统 | |
| US11736363B2 (en) | Techniques for analyzing a network and increasing network availability | |
| Liu et al. | Reliability mathematical models of repairable systems with uncertain lifetimes and repair times | |
| CN110825549A (zh) | 一种信息系统故障根因的确定方法、装置、设备及存储介质 | |
| CN114446019A (zh) | 告警信息处理方法、装置、设备、存储介质和产品 | |
| CN114443437A (zh) | 告警根因输出方法、装置、设备、介质和程序产品 | |
| CN115408197B (zh) | 基于流式处理及多源数据交叉校验的负荷数据校验方法 | |
| CN117674119A (zh) | 电网运行风险评估方法、装置、计算机设备和存储介质 | |
| CN110838940B (zh) | 地下电缆巡检任务配置方法和装置 | |
| CN117235664A (zh) | 配电通信设备的故障诊断方法、系统和计算机设备 | |
| CN114676021A (zh) | 作业日志监控方法、装置、计算机设备和存储介质 | |
| CN114765574B (zh) | 一种网络异常定界定位方法及装置 | |
| CN114595952A (zh) | 基于注意力网络改进卷积神经网络的窃电行为检测方法 | |
| CN115372752A (zh) | 故障检测方法、装置、电子设备以及存储介质 | |
| CN113887676A (zh) | 设备故障预警方法、装置、设备、介质和计算机程序产品 | |
| CN113537519A (zh) | 一种识别异常设备的方法和装置 | |
| CN117828486A (zh) | 故障停电预警方法、装置、计算机设备和存储介质 | |
| He et al. | Hard Disk Fault Detection Method based on Temporal Convolutional Network | |
| CN116381419B (zh) | 输电线路故障处理方法、装置、计算机设备和存储介质 | |
| CN114418294A (zh) | 基于统计线损的台区轻载识别方法、装置和计算机设备 | |
| WO2024027127A1 (zh) | 故障检测方法、装置、电子设备及可读存储介质 | |
| CN117371781A (zh) | 一种配电网可靠性评估方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |