CN110047014A - 一种基于负荷曲线和历史电量的用户电量数据修复方法 - Google Patents
一种基于负荷曲线和历史电量的用户电量数据修复方法 Download PDFInfo
- Publication number
- CN110047014A CN110047014A CN201910164937.5A CN201910164937A CN110047014A CN 110047014 A CN110047014 A CN 110047014A CN 201910164937 A CN201910164937 A CN 201910164937A CN 110047014 A CN110047014 A CN 110047014A
- Authority
- CN
- China
- Prior art keywords
- data
- electricity
- topic
- node
- message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005611 electricity Effects 0.000 title claims abstract description 126
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000007405 data analysis Methods 0.000 claims abstract description 10
- 230000002159 abnormal effect Effects 0.000 claims abstract description 8
- 230000006854 communication Effects 0.000 claims description 54
- 238000004891 communication Methods 0.000 claims description 53
- 238000004458 analytical method Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000001360 synchronised effect Effects 0.000 claims description 15
- 238000007726 management method Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000011282 treatment Methods 0.000 claims description 10
- 238000012550 audit Methods 0.000 claims description 9
- 230000008901 benefit Effects 0.000 claims description 9
- 230000001186 cumulative effect Effects 0.000 claims description 9
- 238000013480 data collection Methods 0.000 claims description 9
- 238000011084 recovery Methods 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 7
- 241001269238 Data Species 0.000 claims description 6
- 238000005192 partition Methods 0.000 claims description 6
- 238000007619 statistical method Methods 0.000 claims description 6
- 238000007418 data mining Methods 0.000 claims description 5
- 238000012423 maintenance Methods 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 238000009412 basement excavation Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- 239000013642 negative control Substances 0.000 claims description 3
- 230000002688 persistence Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 2
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 230000003993 interaction Effects 0.000 claims 1
- 238000002203 pretreatment Methods 0.000 claims 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 abstract description 3
- 230000002411 adverse Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 230000004907 flux Effects 0.000 description 6
- 230000001976 improved effect Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 4
- 230000002547 anomalous effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008014 freezing Effects 0.000 description 3
- 238000007710 freezing Methods 0.000 description 3
- 230000008676 import Effects 0.000 description 3
- 238000003869 coulometry Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 238000013211 curve analysis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/06—Electricity, gas or water supply
Abstract
本发明公开了一种基于负荷曲线和历史电量的用户电量数据修复方法，涉及电力数据采集领域。目前对于异常数据常往往采用直接舍弃的方式，影响后续的判断。本发明包括步骤：判断是否存在电量异常或抄表数据缺失；当电量异常或抄表数据缺失时，修正的电量数据；如果无法修正，则取该表计前两天内，最近一天T日的正常电量乘以该表计所在区县其余电量正常的表计的总电量的变化量作为修正的电量数据；如果通过表计前两天的电量也无法进行修正，则取该表计在营销系统中用于结算的月电量，计算日平均电量作为修正的电量数据。本技术方案避免了电量异常如电量飞走、电量倒走等情况下，错误的电量数据对数据分析造成的不良影响，提高了数据分析的准确性。
Description
技术领域
本发明涉及电力数据采集领域，尤其涉及一种基于负荷曲线和历史电量的用户电量数据修复方法。
背景技术
随着采集系统基本实现全覆盖，基于采集电量数据的分析需求越来越多，如行业电量分析、区域电量分析、电量曲线分析、电量排名分析、电量波动分析、电量增长分析、台区线损分析等等，这些分析对电量的准确性要求非常高；目前对于异常数据常往往采用直接舍弃的方式，一舍弃可能就会使一些异常事件被隐藏而被忽视，影响后续的判断。故而就要求在有电量异常或抄表数据缺失的时候，能对电量进行合理的修复。
发明内容
本发明要解决的技术问题和提出的技术任务是对现有技术方案进行完善与改进，提供一种基于负荷曲线和历史电量的用户电量数据修复方法，以对电量数据进行修复目的。为此，本发明采取以下技术方案。
一种基于负荷曲线和历史电量的用户电量数据修复方法，包括以下步骤：
1)通过数据采集系统采集用户电量数据；
2)判断是否存在电量异常或抄表数据缺失；
3)当电量异常或抄表数据缺失时，取表计的一天24个整点的负荷数据；并对负荷数据进行判断，当整点的负荷数据值小于受电容量1.2倍时，认为该整点的负荷数据值正常，如果24个整点负荷数据中的负荷数据值正常数超过16个整点时，则将这些正常的负荷数据值累加除以累加的整点个数再乘以24作为修正的电量数据，如果24个整点负荷数据中的负荷数据正常数不足16个整点时，则直接累加正常值的负荷数据作为修正的电量数据；
4)如果通过负荷数据无法进行修正，则取该表计前两天内，最近一天T日的正常电量乘以该表计所在区县其余电量正常的表计的总电量的变化量作为修正的电量数据，变化量通过当日该表计所在区县其余电量正常的表计的总电量除以T日该表计所在区县其余电量正常的表计的总电量得到；
5)如果通过表计前两天的电量也无法进行修正，则取该表计在营销系统中用于结算的月电量，计算日平均电量作为修正的电量数据。
作为优选技术手段：所述的电量异常包括飞走、倒走、停走。
作为优选技术手段：在步骤1)中，数据采集系统包括网关集群、通信前置集群、业务处理器集群、数据总线、入库服务模块、海量数据分析模块、数据存储模块；
网关集群，用于将采集设备接入电力数据采集系统，并维护终端通讯链路和原始报文的收发，所述的采集设备包括专变负控终端、配变监测终端、低压集中器；
通信前置集群，与网关集群相连，用于原始数据报文的分发调度，并将原始数据报文推送至分布式消息队列中；通信前置集群对报文的分发调度基于设备地址域算法实现策略分发，通过监控业务处理器集群各节点的运行状况实现分发策略的动态调整；通过心跳握手机制监控前置业务处理器各节点的运行状况，针对节点新增、节点故障及故障节点恢复三种场景分别按照“新增节点分发策略”、“节点故障时分发策略”和“故障节点恢复时分发策略进行动态调整，并把本节点上的终端地址按地址域算法分发给指定业务处理器节点，以减少且均衡加载系统档案，降低程序对服务器内存配置要求；
业务处理器集群，与通信前置模块相连，用于通讯规约解析，并与分布式消息队列进行交互；即从消息队列获取下行请求并组成下行帧，将通信前置的原始数据报文进行规约解析并将解析结果推送至分布式消息队列中，
数据总线模块，用于支撑上下行通信交互信息的时序化和持久化；采用高吞吐量的分布式Kafka消息队列，充分利用Kafka服务的主题和主题分区，将发布者主题和主站应用集群、业务处理器集群相关联，统一管理主站应用产生的下行请求数据和终端上行数据的收/发；
入库服务模块，用于从消息队列获取数据批量存入关系型数据库；采用分布式大数据框架Hadoop和传统关系型数据库Oracle结合的方式以适应海量数据的分析和存储；
海量数据分析模块，通过基于分布式文件系统的大数据框架实现业务数据的实时计算、离线分析，为进一步深度挖掘提供技术支撑；
数据存储模块，用于存储全部业务数据、档案数据、原始数据，为系统提供基本数据支持和计算服务；其分为主生产库、灾备库、历史库、数据发布库，并按业务和存储时限做分库策略以降低单点数据库的访问压力。
作为优选技术手段：通信前置机把现场所有终端设备地址域划按一定规则划分为多个区间，设备地址按下行Topic的数量取模得到对应组地址域区间；下行Topic与地址域区间之间存在映射关系，前置业务处理器节点对地址域区间的管理，也即对下行Topic的管理；初始化地址域分配策略按业务前置处理服务节点数量取模，节点新增、节点故障及故障节点恢复时分别按照“新增节点分发策略”、“节点故障时分发策略”和“故障节点恢复时分发策略”实现动态调整，将分配信息及时更新至Zookeeper分布式服务系统，以降低程序内存加载，提高程序集群扩展能力。
作为优选技术手段：A)节点新增/扩容时的分发策略为：
A01)对每个业务处理器节点所分配的Topic按照Topic编码进行排序，并计算该节点当前处理的Topic总数；
A02)对业务处理器节点根据Topic总数进行排序；
A03)计算每个业务处理器节点能处理Topic的平均值，Topic总数除以业务处理器节点总数；
A04)将节点中Topic数量大于AvgTopic的所有业务处理器节点的多余Topic取出，取出规则：A05)优先选择步骤A02)排序较大的业务处理器节点中Topic编码较大的Topic；
A06)将步骤A04)中取出的Topic优先分配给新增的业务处理器节点，使新增节点的Topic数约平均值；若仍有未分配的Topic则对所有节点进行取模分配；
A07)其他节点中删除被分配走的Topic信息；
B)节点故障时的分发策略为：
B01)对前置业务处理器节点按照Topic数量进行排序；
B02)Topic总数除以当前运行的前置业务处理器节点总数，得到当前运行的每个业务处理器节点处理Topic的平均值；
B03)根据平均值计算当前运行的每个业务处理器节点可新增的Topic数量：由b计算得的均值-现有的Topic数；
B04)将因节点故障引起的待分发Topic按照节点新增/扩容时的分发策略的计算值依次分发给排序小的业务处理器节点；
C)故障节点恢复时分发策略为：
C01)恢复的业务处理器节点按照初始化时的分配策略加载对应的Topic；
C02)从其他业务处理器节点定时删除这些被归还给恢复节点的Topic信息。
作为优选技术手段：数据采集步骤包括：
11)当采集主站需要对终端、测量点进行设置、召测操作时，包括以下步骤：
1101)Oracle主生产库从营销系统同步基础数据，主要存储全部业务数据、档案数据、原始数据，为采集主站提供数据查询；
1102)采集主站发起下行请求，可根据不同操作类型设置不同Key发布到Kafka服务的下行Topic中，并将操作命令id存入Redis缓存中；
1103)下行Topic内的消息按照Key和算法被分区存储，不同的分区可定义不同的优先级，如配置优先级最高的分区处理控制类下行请求、优先级次之的分区处理设置类下行请求、其他优先级的分区处理召测/中继类下行请求；
1104)业务处理器节点从Redis缓存服务器中加载和同步指定终端的档案信息，从Kafka服务订阅下行队列的消息，根据不同的Partition优先级执行，组成下行请求报文帧，分发给通信前置集群，并将下行报文推送至Kafka中的报文Topic中；
1105)通信前置集群按调度分发策略发送给通信网关集群；
1106)通信网关将下行请求发送给终端设备；
1107)终端返回操作结果，经通信网关、通信前置集群由业务处理器进行报文解析并将操作结果返回给Redis中该终端对应的操作命令id；
1108)采集主站从Redis中根据该终端对应的操作命令id获取操作结果；
12)当需要电能量数据采集时，包括以下步骤：
1201)将任务类数据、异常事件数据以报文的形式上送至网关集群；
1202网关集群按负载均衡策略分发给通信前置集群；
1203)按照调度分发策略将原始报文数据分发至业务处理器集群；
1204)器节点从Redis缓存服务器中加载和同步指定终端的档案信息，解析上行原始报文数据，并将解析结果、原始报文数据等信息推送至相应的Kafka消息队列中；即，解析结果推送至上报数据Topic中，原始报文数据推送至报文Topic；
1205)库服务从Kafka服务订阅消息，Storm实时计算框架从Kafka消息队列获取原始报文数据、电能量数据等存入HBase分布式数据库；Spark离线计算框架将原始数据导入Hive数据仓库执行复杂的统计分析和数据挖掘；数据入库服务将原始报文数据、电能量数据批量存入关系型数据库；
1206)从云平台快速查询电能量数据采集明细、采集成功率等；
1207)le主生产库从营销系统同步基础数据，主要存储全部业务数据、档案数据、原始数据，为采集主站提供数据查询；
13)要进行电能量数据补全时，包括以下步骤
1301)通过多种通讯方式将电能量数据以报文形式上送至通信网关集群；
1302)通信网关集群按照负载均衡分发策略发送给通信前置集群；
1303)前置集群通过调度分发策略分发至业务处理器集群；
1304)业务处理器节点从Redis缓存服务器中加载和同步指定终端的档案信息，解析上行原始报文数据，并将解析结果、原始报文数据等信息推送至相应的Kafka消息队列中；即，解析结果推送至上报数据Topic中，原始报文数据推送至报文Topic；
1305)流计算服务Storm从Kafka服务订阅消息，实时获取电能量数据，实时存入HBase分布式数据中的任务数据打点表；
1306)当为实时漏点补招时，Spark RDD定时执行漏点审计任务，即根据漏点补招策略对HBase中打点表进行漏点审计，并根据终端通讯状态形成相应漏点请求，推送至Kafka服务的下行Topic中供业务处理器获取下发，从而实现实时漏点补招；
1307)当为手工漏点补招时，Spark RDD定时任务从Oracle数据库中读取到补招策略后执行漏点审计任务，并根据终端通讯状况形成相应漏点请求，推送至Kafka消息服务供业务处理器获取下发，实现漏点补招。
有益效果：
一、本技术方案避免了电量异常如电量飞走、电量倒走等情况下，错误的电量数据对数据分析造成的不良影响，提高了数据分析的准确性。
二、本技术方案避免了因抄表数据缺失导致电量无法计算的情况下，缺失的电量数据对数据分析造成的不良影响，提高了数据分析的准确性。
三、本技术方案取表计的一天24个整点的负荷数据，避免可能存在的负荷部分漏点、以及新装或者停电的情况对负荷数据进行区别计算。
四、对于负荷数据无法进行修正的情况，本技术方案则取该表计前两天内，最近一天(T日)的正常电量乘以该表计所在区县其余电量正常的表计的总电量的变化量(即计算当日该表计所在区县其余电量正常的表计的总电量除以T日该表计所在区县其余电量正常的表计的总电量)作为修正的电量数据，而非直接使用前日电量；避免气温变化、极端天气等对用电量的影响可能引起的日电量波动。
五、本技术方案采用分布式弹性架构设计，运用流处理、消息中间件、分布式存储与并行计算等技术，重构电力数据采集系统，从存储能力、计算性能、数据处理速度和智能分析等方面进行极大地提升，为支撑用电营销智能分析、服务业务创新、拓展专业应用和提高供电服务水平等方面提供了有力保障。
六、本技术方案基于面向对象通讯协议特性，可设多套数据采集方法，相对于传统的采集模式，在数据采集的效率、灵活性以及损耗方面，都有显著的提升效果：
1、当将基础数据的采集方案划分为采集方案和上报方案，分别定义终端采集电表的规则和终端数据上报的规则，具有如下二方面的优点：
(1)实现了灵活的数据采集方式(实时采、打包采)、上报数据的周期和频率，实现本地通信流量错峰、减少采集漏点有着显著的作用；
(2)可选择性配置数据采集和数据上报，对于支撑设备本地业务的部分数据项(例如时钟巡测、本地补抄)，可做到只采不报，有效提升了现场设备服务的多样性和数据采集质量。
2、针对电能表类型可配置不同的采集数据项，例如三相表采集电流数据块和电压数据块(A、B、C)，单相表仅采集A相电流和A相电压，相对于传统所有表都采集A、B、C三相电压和电流，有效的降低了流量的损耗。
3、对于终端事件的采集，可根据事件的轻重缓急定义不同级别的采集模板，指定不同的上报频率，不仅能够更合理的分配信道资源，降低终端处理器不必要的开销，同时可以协助管理人员分析、处理异常事件、提升管理效率。
本技术方案实现动态调整，以减少且均衡加载系统档案，降低程序对服务器内存配置要求。
海量数据存储架构重在“内存化、云化、分工专业化”，实现电能量数据集成融合和高效管理。
对海量数据的分析，采用大数据云平台通过基于分布式文件系统的大数据框架实现业务数据的实时计算、离线分析。
离线分析框架优选的采用Hive+Spark，Spark离线计算框架实现将原始数据导入Hive数据仓库执行海量数据的统计分析业务及数据挖掘。
对海量数据的存储，根据不同的数据使用属性将关系型数据库划分为主生产库、灾备库、历史库、数据发布库，保障采集数据安全稳定、降低生产库的数据访问压力、提升数据发布效率，并按业务和存储时限做分库策略以降低单点数据库的访问压力。
附图说明
图1是本发明流程图。
图2为本发明的采集系统结构框图；
图3为本发明的主站设置、召测的流程图；
图4为本发明的电能量数据采集的流程图；
图5为本发明的对电能量数据补全的流程图。
具体实施方式
以下结合说明书附图对本发明的技术方案做进一步的详细说明。
一种基于负荷曲线和历史电量的用户电量数据修复方法，包括以下步骤：
1)通过数据采集系统采集用户电量数据；
2)判断是否存在电量异常或抄表数据缺失；
3)当电量异常或抄表数据缺失时，取表计的一天24个整点的负荷数据；并对负荷数据进行判断，当整点的负荷数据值小于受电容量1.2倍时，认为该整点的负荷数据值正常，如果24个整点负荷数据中的负荷数据值正常数超过16个整点时，则将这些正常的负荷数据值累加除以累加的整点个数再乘以24作为修正的电量数据，如果24个整点负荷数据中的负荷数据正常数不足16个整点时，则直接累加正常值的负荷数据作为修正的电量数据；
4)如果通过负荷数据无法进行修正，则取该表计前两天内，最近一天T日的正常电量乘以该表计所在区县其余电量正常的表计的总电量的变化量作为修正的电量数据，变化量通过当日该表计所在区县其余电量正常的表计的总电量除以T日该表计所在区县其余电量正常的表计的总电量得到；
5)如果通过表计前两天的电量也无法进行修正，则取该表计在营销系统中用于结算的月电量，计算日平均电量作为修正的电量数据。
其中，电量异常包括飞走、倒走、停走。
如图2所示，一种基于面向对象的数据采集系统包括网关集群、通信前置集群、业务处理器集群、数据总线、入库服务模块、海量数据分析模块、数据存储模块。
本技术方案采用分布式弹性架构设计，运用流处理、消息中间件、分布式存储与并行计算等技术，重构电力数据采集系统，从存储能力、计算性能、数据处理速度和智能分析等方面进行极大地提升，为支撑用电营销智能分析、服务业务创新、拓展专业应用和提高供电服务水平等方面提供了有力保障。
本技术方案具有以下特点：
1.采用弹性架构重构通信程序，满足不断增长用户规模和采集需求：运用大数据技术对用电信息采集系统的架构进行重新设计，采用分布式弹性架构设计：一是通信网关与采集前置机利用消息缓存作为总线，进行报文通信；二是前置机业务处理器仅对报文进行规约解析，并将数据写入消息缓存；三是存储架构重在“内存化、云化、分工专业化”，引入NOSQL存储、数据量大、存储管理能力多样，云平台流式计算和离线分析服务集群进行事件分析、数据校验、修复等操作，关系数据库根据不同的数据使用属性划分为主生产库、灾备库、历史库、数据发布库。四是所有采集数据由入库服务集群统一入库。
通信网关服务主要负责专变负控终端、配变监测终端、低压集中器等采集设备接入电力数据采集系统，并维护终端通讯链路和原始报文的收发。
通信前置服务负责原始数据报文的分发调度。
通信前置服务对报文的分发调度基于设备地址域算法实现策略分发，通过监控前置业务处理器各节点的运行状况实现分发策略的动态调整。其具体算法如下：
a.把现场所有终端设备地址域划按一定规则划分为若干区间，比如设备地址按下行Topic的数量(100个)取模得到100组地址域区间。如此，下行Topic与地址域区间之间也存在映射关系，前置业务处理器节点对地址域区间的管理也即对下行Topic的管理。
b.初始化地址域分配策略按业务前置处理服务节点数量取模，节点新增、节点故障及故障节点恢复时分别按照“新增节点分发策略”、“节点故障时分发策略”和“故障节点恢复时分发策略”实现动态调整，并将分配信息及时更新至Zookeeper分布式服务系统。此分发策略目的在于降低程序内存加载，提高程序集群扩展能力。
c.“节点新增(扩容)时分发策略”：
1)对每个业务处理器节点所分配的Topic按照Topic编码进行排序(如：由大到小)，并计算该节点当前处理的Topic总数。
2)对业务处理器节点(不含新增节点)根据Topic总数进行排序(如：由大到小)；
3)计算每个业务处理器节点能处理Topic的平均值(假设该值标记为AvgTopic)：Topic总数除以业务处理器节点总数(含新增节点)，小数位舍去。
4)将节点中Topic数量大于AvgTopic的所有业务处理器节点的多余Topic取出，取出规则：优先选择步骤2排序较大的业务处理器节点中Topic编码较大的Topic。
5)将步骤4中取出的Topic优先分配给新增的业务处理器节点，使新增节点的Topic数约平均值；若仍有未分配的Topic则对所有节点进行取模分配。
6)其他节点中删除被分配走的Topic信息。
d.“节点故障时分发策略”：
1)对前置业务处理器节点按照Topic数量进行排序(如由大到小)。
2)Topic总数除以当前运行的前置业务处理器节点总数，得到当前运行的每个业务处理器节点处理Topic的平均值；
3)根据平均值计算当前运行的每个业务处理器节点可新增的Topic数量：由b计算得的均值-现有的Topic数；
4)将因节点故障引起的待分发Topic按照步骤c的计算值依次分发给排序小的业务处理器节点；
e.“故障节点恢复时分发策略”：
1)恢复的业务处理器节点按照初始化时的分配策略加载对应的Topic；
2)从其他业务处理器节点定时删除这些被归还给恢复节点的Topic信息。
前置业务处理服务负责通讯规约解析，并与分布式消息队列进行交互。即从消息队列获取下行请求并组成下行帧，将通信前置的原始数据报文进行规约解析并将解析结果推送至分布式消息队列中。
通信前置服务节点通过与业务处理器节点间定时心跳握手来获取所有业务处理器节点的运行状态，并把本节点上的终端地址按地址域算法分发给指定业务处理器节点。
分布式消息队列作为数据总线负责支撑上下行通信交互信息的时序化和持久化。具体的采用高吞吐量的分布式Kafka消息队列，充分利用Kafka服务的主题和主题分区，将发布者主题和主站应用服务集群、业务处理器服务集群相关联，统一管理主站应用产生的下行请求数据和终端上行数据的收/发。
入库服务集群负责从消息队列获取数据批量存入关系型数据库。
实时处理集群采用大数据云平台通过基于分布式文件系统的大数据框架实现业务数据的实时计算、离线分析，为进一步深度挖掘提供技术支撑。
2、对采集数据进行“即采即校”、实时修复，提升数据质量：运用流处理技术，实现对采集负荷、电能示值数据进行实时检查、校验，并对问题数据进行标记，对异常负荷数据进行修复；针对问题数据通过功率估值、ARIMA算法和营销发行电量进行修复，保证数据的合理性、一致性、逻辑性，通过及时发现、标注无效和失真数据，提高系统数据质量。同时，运用流处理技术实现电能量数据、告警事件的实时监测与分析。所述流处理技术即实时计算的框架，优选的采用Hbase+Storm，Storm实时计算框架负责从消息队列中获取原始数据和报文数据入HBase分布式数据库；
3、通过分布式并行计算框架，实现海量数据准实时统计：通过大数据分布式内存并行计算框架，实现按小时对采集成功率指标、各类用户电量和负荷、线损计算、配变运行监测、移动运营商信道质量监测、终端在线率等进行统计，满足各级单位业务管控需求。准实时分析框架优选的采用Hive+Spark，Spark离线计算框架实现将原始数据导入Hive数据仓库执行海量数据的统计分析业务及数据挖掘。
4、构建灵活的数据存储策略，实现“按需存储”，满足多维度查询需求：分析不同业务数据应用需求，发挥商用数据库(Oracle)、缓存数据库(Redis)、分布式数据库(HBase)和数据仓库(Hive)长处，设计多级存储机制，提高查询性能，提升数据应用效率。
商用数据库采用Oracle12c数据库版本，结合InfiniBand高速网络和SSD(固态硬盘)存储搭建支撑高吞吐量高并发的OLTP(联机事务处理)业务的数据存储平台，主要负责存储全部业务数据、档案数据、原始数据，为系统提供基本数据支持和计算服务。关系型数据库可细分为主生产库、灾备库、历史库、数据发布库，保障采集数据安全稳定、降低生产库的数据访问压力、提升数据发布效率，并按业务和存储时限做分库策略以降低单点数据库的访问压力。
缓存数据库(Redis)是一个高性能的Key-Value数据库，性能极高–Redis能支持超过100K+每秒的读写频率。不仅仅支持简单的Key-Value类型的数据，同时还提供list、set、zset、hash等数据结构的存储。
分布式数据库HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，十分适合数据仓库的统计分析。
云数据平台和关系型数据库之间的数据同步优选的采用Sqoop数据转移工具实现。
5、基于面向对象通讯协议特性，可设计了多套数据采集方法，相对于传统的采集模式，在数据采集的效率、灵活性以及损耗方面，都有显著的提升效果，具体如下所述：
a将基础数据的采集方案划分为采集方案和上报方案，分别定义终端采集电表的规则和终端数据上报的规则，具有如下二方面的优点：
(1)实现了灵活的数据采集方式(实时采、打包采)、上报数据的周期和频率，实现本地通信流量错峰、减少采集漏点有着显著的作用；
(2)可选择性配置数据采集和数据上报，对于支撑设备本地业务的部分数据项(例如时钟巡测、本地补抄)，可做到只采不报，有效提升了现场设备服务的多样性和数据采集质量。
b针对电能表类型可配置不同的采集数据项，例如三相表采集电流数据块和电压数据块(A、B、C)，单相表仅采集A相电流和A相电压，相对于传统所有表都采集A、B、C三相电压和电流，有效的降低了流量的损耗。
c对于终端事件的采集，可根据事件的轻重缓急定义不同级别的采集模板，指定不同的上报频率，不仅能够更合理的分配信道资源，降低终端处理器不必要的开销，同时可以协助管理人员分析、处理异常事件、提升管理效率。
面向对象协议终端的数据采集方式可分为采集方案和上报方案，采集方案定义了终端采集电表的规则，上报方案定义了终端上报数据的规则，模板样例下表所示。
表1
面向对象终端事件根据事件重要程度划分成各个级别，每个级别定义各自的采集频率和上报数据项，模板样例如下表所示。
基于面向对象的数据采集系统的数据采集方法，包括：
一：采集主站对终端、测量点进行设置、召测操作的流程，如图3所示。
1).Oracle主生产库从营销系统同步基础数据，主要存储全部业务数据、档案数据、原始数据，为采集主站提供数据查询。
2).采集主站发起下行请求，可根据不同操作类型设置不同Key发布到Kafka服务的下行Topic中，并将操作命令id存入Redis缓存中。
3).下行Topic内的消息按照Key和算法被分区存储，不同的分区可定义不同的优先级，如配置优先级最高的分区处理控制类下行请求、优先级次之的分区处理设置类下行请求、其他优先级的分区处理召测/中继类下行请求。
4).业务处理器节点从Redis缓存服务器中加载和同步指定终端的档案信息，从Kafka服务订阅下行队列的消息，根据不同的Partition优先级执行，组成下行请求报文帧，分发给通信前置集群，并将下行报文推送至Kafka中的报文Topic中。
5).通信前置集群按调度分发策略发送给通信网关集群。
6).通信网关将下行请求发送给终端设备。
7).终端返回操作结果，经通信网关、通信前置集群由业务处理器进行报文解析并将操作结果返回给Redis中该终端对应的操作命令id。
8).采集主站从Redis中根据该终端对应的操作命令id获取操作结果。
二：电能量数据采集的流程，如图4所示；
1).采集终端将任务类数据、异常事件数据以报文的形式上送至网关集群；
2).网关集群按负载均衡策略分发给通信前置集群；
3).通信前置按照调度分发策略将原始报文数据分发至业务处理器集群；
4).业务处理器节点从Redis缓存服务器中加载和同步指定终端的档案信息，解析上行原始报文数据，并将解析结果、原始报文数据等信息推送至相应的Kafka消息队列中；即，解析结果推送至上报数据Topic中，原始报文数据推送至报文Topic。
5).流处理入库服务从Kafka服务订阅消息，Storm实时计算框架从Kafka消息队列获取原始报文数据、电能量数据等存入HBase分布式数据库。Spark离线计算框架将原始数据导入Hive数据仓库执行复杂的统计分析和数据挖掘。数据入库服务将原始报文数据、电能量数据批量存入关系型数据库。
6).采集主站从云平台快速查询电能量数据采集明细、采集成功率等。
7).Oracle主生产库从营销系统同步基础数据，主要存储全部业务数据、档案数据、原始数据，为采集主站提供数据查询。
性能指标：
计算耗时指标：大数据云平台各类离线计算业务在半小时内完成(如采集质量分析、行业负荷趋势分析等典型业务)；各类实时流计算业务每秒处理规模达到2万笔(如负荷特性分析、终端通信状态维护等典型业务)。
通信处理指标，通信前置集群单节点TCP链路接入量最高达40万台；采集前置集群单节点每秒分发处理报文达3万条；数据存储服务整体数据入库效率达每秒6万条。
对于电能量数据缺失可通过补招的策略进行数据补全，提高采集成功率；借助大数据云平台可实现漏点的快速补全。补招可分为实时漏点补招和主站手动漏点补招两部分，具体如对电能量数据补全的流程。
三：对电能量数据补全的流程图，如图5所示。
1).采集终端通过多种通讯方式将电能量数据以报文形式上送至通信网关集群。
2).通信网关集群按照负载均衡分发策略发送给通信前置集群。
3).通信前置集群通过调度分发策略分发至业务处理器集群。
4).业务处理器节点从Redis缓存服务器中加载和同步指定终端的档案信息，解析上行原始报文数据，并将解析结果、原始报文数据等信息推送至相应的Kafka消息队列中；即，解析结果推送至上报数据Topic中，原始报文数据推送至报文Topic。
5).流计算服务Storm从Kafka服务订阅消息，实时获取电能量数据，实时存入HBase分布式数据中的任务数据打点表。
6).Spark RDD定时执行漏点审计任务，即根据漏点补招策略对HBase中打点表进行漏点审计，并根据终端通讯状态形成相应漏点请求，推送至Kafka服务的下行Topic中供业务处理器获取下发，从而实现实时漏点补招。
另一方面，采集主站亦可触发手工漏点补招。
1).将补招策略(如地市单位、用户类型、数据类型等)存入Oracle数据库中。
2).Spark RDD定时任务从Oracle数据库中读取到补招策略后执行漏点审计任务，并根据终端通讯状况形成相应漏点请求，推送至Kafka消息服务供业务处理器获取下发，实现漏点补招。
四：本技术方案可根据终端类型、设备类型、采集数据的类型(电量、负荷等)、电能表类型的不同，实施时我们需要选择不同的采集方法。
1)专变数据采集方法
专变采集日冻结有功电能时，终端采集电表执行频率为1日，终端上报数据的频率为12小时，数据分类为日冻结数据，数据项包括当前一象限无功电能示值数据块，当前四象限无功电能示值数据块，当前正向有功电能示值数据块，当前反向有功电能示值数据块。
专变采集96点负荷曲线时，终端采集电表和上报数据的执行频率为15分钟，数据分类为实时数据，数据项包括电压数据块，电流数据块，有功功率，当前一象限无功电能示值数据块，当前四象限无功电能示值数据块，正向有功总电能量，功率因数。
2)低压I型集中器数据采集方法
低压I型集中器采集日冻结有功电能时，终端采集电表执行频率为1日，终端上报数据的频率为12小时，数据分类为日冻结数据，采集和上报数据项包括当前正向有功电能示值数据块，当前反向有功电能示值数据块。
低压I型集中器采集96点负荷曲线时，终端采集电表和上报数据的执行频率为6小时，数据分类为分钟冻结数据，若安装的是三相电能表，则数据项为电压数据块、电流数据块、功率因素、有功功率、正向有功总电能量，若安装的是单相电能表，则数据项为A相电压、A相电流、功率因素、正向有功总电能量、有功功率、N线电流。
3)低压II型集中器数据采集方法
低压II型集中器采集日冻结有功电能时，与I型集中器完全一致，即下发同样的采集方案模板和上报方案模板。
低压II型集中器采集96点负荷曲线时，终端采集电表和上报数据的执行频率为15分钟，数据分类为实时数据，若安装的是三相电能表，则数据项为电压数据块、电流数据块、功率因素、有功功率、正向有功总电能量，若安装的是单相电能表，则数据项为A相电压、A相电流、功率因素、正向有功总电能量、有功功率、N线电流。
4)事件方案设计
本发明中设计的事件方案可几乎涵盖所有终端事件，在本实施例中选择三个事件作为案例：
以上图1-5所示的一种基于面向对象的数据采集方法是本发明的具体实施例，已经体现出本发明实质性特点和进步，可根据实际的使用需要，在本发明的启示下，对其进行等同修改，均在本方案的保护范围之列。
Claims (6)
1.一种基于负荷曲线和历史电量的用户电量数据修复方法，其特征在于包括以下步骤：
1)通过数据采集系统采集用户电量数据；
2)判断是否存在电量异常或抄表数据缺失；
3)当电量异常或抄表数据缺失时，取表计的一天24个整点的负荷数据；并对负荷数据进行判断，当整点的负荷数据值小于受电容量1.2倍时，认为该整点的负荷数据值正常，如果24个整点负荷数据中的负荷数据值正常数超过16个整点时，则将这些正常的负荷数据值累加除以累加的整点个数再乘以24作为修正的电量数据，如果24个整点负荷数据中的负荷数据正常数不足16个整点时，则直接累加正常值的负荷数据作为修正的电量数据；
4)如果通过负荷数据无法进行修正，则取该表计前两天内，最近一天T日的正常电量乘以该表计所在区县其余电量正常的表计的总电量的变化量作为修正的电量数据，变化量通过当日该表计所在区县其余电量正常的表计的总电量除以T日该表计所在区县其余电量正常的表计的总电量得到；
5)如果通过表计前两天的电量也无法进行修正，则取该表计在营销系统中用于结算的月电量，计算日平均电量作为修正的电量数据。
2.根据权利要求1所述的一种基于负荷曲线和历史电量的用户电量数据修复方法，其特征在于：所述的电量异常包括飞走、倒走、停走。
3.根据权利要求2所述的一种基于负荷曲线和历史电量的用户电量数据修复方法，其特征在于：在步骤1)中，数据采集系统包括网关集群、通信前置集群、业务处理器集群、数据总线、入库服务模块、海量数据分析模块、数据存储模块；
网关集群，用于将采集设备接入电力数据采集系统，并维护终端通讯链路和原始报文的收发，所述的采集设备包括专变负控终端、配变监测终端、低压集中器；
通信前置集群，与网关集群相连，用于原始数据报文的分发调度，并将原始数据报文推送至分布式消息队列中；通信前置集群对报文的分发调度基于设备地址域算法实现策略分发，通过监控业务处理器集群各节点的运行状况实现分发策略的动态调整；通过心跳握手机制监控前置业务处理器各节点的运行状况，针对节点新增、节点故障及故障节点恢复三种场景分别按照“新增节点分发策略”、“节点故障时分发策略”和“故障节点恢复时分发策略进行动态调整，并把本节点上的终端地址按地址域算法分发给指定业务处理器节点，以减少且均衡加载系统档案，降低程序对服务器内存配置要求；
业务处理器集群，与通信前置模块相连，用于通讯规约解析，并与分布式消息队列进行交互；即从消息队列获取下行请求并组成下行帧，将通信前置的原始数据报文进行规约解析并将解析结果推送至分布式消息队列中，
数据总线模块，用于支撑上下行通信交互信息的时序化和持久化；采用高吞吐量的分布式Kafka消息队列，充分利用Kafka服务的主题和主题分区，将发布者主题和主站应用集群、业务处理器集群相关联，统一管理主站应用产生的下行请求数据和终端上行数据的收/发；
入库服务模块，用于从消息队列获取数据批量存入关系型数据库；采用分布式大数据框架Hadoop和传统关系型数据库Oracle结合的方式以适应海量数据的分析和存储；
海量数据分析模块，通过基于分布式文件系统的大数据框架实现业务数据的实时计算、离线分析，为进一步深度挖掘提供技术支撑；
数据存储模块，用于存储全部业务数据、档案数据、原始数据，为系统提供基本数据支持和计算服务；其分为主生产库、灾备库、历史库、数据发布库，并按业务和存储时限做分库策略以降低单点数据库的访问压力。
4.根据权利要求3所述的一种基于负荷曲线和历史电量的用户电量数据修复方法，其特征在于：通信前置机把现场所有终端设备地址域划按一定规则划分为多个区间，设备地址按下行Topic的数量取模得到对应组地址域区间；下行Topic与地址域区间之间存在映射关系，前置业务处理器节点对地址域区间的管理，也即对下行Topic的管理；初始化地址域分配策略按业务前置处理服务节点数量取模，节点新增、节点故障及故障节点恢复时分别按照“新增节点分发策略”、“节点故障时分发策略”和“故障节点恢复时分发策略”实现动态调整，将分配信息及时更新至Zookeeper分布式服务系统，以降低程序内存加载，提高程序集群扩展能力。
5.根据权利要求4所述的一种基于负荷曲线和历史电量的用户电量数据修复方法，其特征在于：A)节点新增/扩容时的分发策略为：
A01)对每个业务处理器节点所分配的Topic按照Topic编码进行排序，并计算该节点当前处理的Topic总数；
A02)对业务处理器节点根据Topic总数进行排序；
A03)计算每个业务处理器节点能处理Topic的平均值，Topic总数除以业务处理器节点总数；
A04)将节点中Topic数量大于AvgTopic的所有业务处理器节点的多余Topic取出，取出规则：A05)优先选择步骤A02)排序较大的业务处理器节点中Topic编码较大的Topic；
A06)将步骤A04)中取出的Topic优先分配给新增的业务处理器节点，使新增节点的Topic数约平均值；若仍有未分配的Topic则对所有节点进行取模分配；
A07)其他节点中删除被分配走的Topic信息；
B)节点故障时的分发策略为：
B01)对前置业务处理器节点按照Topic数量进行排序；
B02)Topic总数除以当前运行的前置业务处理器节点总数，得到当前运行的每个业务处理器节点处理Topic的平均值；
B03)根据平均值计算当前运行的每个业务处理器节点可新增的Topic数量：由b计算得的均值-现有的Topic数；
B04)将因节点故障引起的待分发Topic按照节点新增/扩容时的分发策略的计算值依次分发给排序小的业务处理器节点；
C)故障节点恢复时分发策略为：
C01)恢复的业务处理器节点按照初始化时的分配策略加载对应的Topic；
C02)从其他业务处理器节点定时删除这些被归还给恢复节点的Topic信息。
6.根据权利要求4所述的一种基于负荷曲线和历史电量的用户电量数据修复方法，其特征在于：数据采集步骤包括：
11)当采集主站需要对终端、测量点进行设置、召测操作时，包括以下步骤：
1101)Oracle主生产库从营销系统同步基础数据，主要存储全部业务数据、档案数据、原始数据，为采集主站提供数据查询；
1102)采集主站发起下行请求，可根据不同操作类型设置不同Key发布到Kafka服务的下行Topic中，并将操作命令id存入Redis缓存中；
1103)下行Topic内的消息按照Key和算法被分区存储，不同的分区可定义不同的优先级，如配置优先级最高的分区处理控制类下行请求、优先级次之的分区处理设置类下行请求、其他优先级的分区处理召测/中继类下行请求；
1104)业务处理器节点从Redis缓存服务器中加载和同步指定终端的档案信息，从Kafka服务订阅下行队列的消息，根据不同的Partition优先级执行，组成下行请求报文帧，分发给通信前置集群，并将下行报文推送至Kafka中的报文Topic中；
1105)通信前置集群按调度分发策略发送给通信网关集群；
1106)通信网关将下行请求发送给终端设备；
1107)终端返回操作结果，经通信网关、通信前置集群由业务处理器进行报文解析并将操作结果返回给Redis中该终端对应的操作命令id；
1108)采集主站从Redis中根据该终端对应的操作命令id获取操作结果；
12)当需要电能量数据采集时，包括以下步骤：
1201)将任务类数据、异常事件数据以报文的形式上送至网关集群；
1202网关集群按负载均衡策略分发给通信前置集群；
1203)按照调度分发策略将原始报文数据分发至业务处理器集群；
1204)器节点从Redis缓存服务器中加载和同步指定终端的档案信息，解析上行原始报文数据，并将解析结果、原始报文数据等信息推送至相应的Kafka消息队列中；即，解析结果推送至上报数据Topic中，原始报文数据推送至报文Topic；
1205)库服务从Kafka服务订阅消息，Storm实时计算框架从Kafka消息队列获取原始报文数据、电能量数据等存入HBase分布式数据库；Spark离线计算框架将原始数据导入Hive数据仓库执行复杂的统计分析和数据挖掘；数据入库服务将原始报文数据、电能量数据批量存入关系型数据库；
1206)从云平台快速查询电能量数据采集明细、采集成功率等；
1207)le主生产库从营销系统同步基础数据，主要存储全部业务数据、档案数据、原始数据，为采集主站提供数据查询；
13)要进行电能量数据补全时，包括以下步骤
1301)通过多种通讯方式将电能量数据以报文形式上送至通信网关集群；
1302)通信网关集群按照负载均衡分发策略发送给通信前置集群；
1303)前置集群通过调度分发策略分发至业务处理器集群；
1304)业务处理器节点从Redis缓存服务器中加载和同步指定终端的档案信息，解析上行原始报文数据，并将解析结果、原始报文数据等信息推送至相应的Kafka消息队列中；即，解析结果推送至上报数据Topic中，原始报文数据推送至报文Topic；
1305)流计算服务Storm从Kafka服务订阅消息，实时获取电能量数据，实时存入HBase分布式数据中的任务数据打点表；
1306)当为实时漏点补招时，Spark RDD定时执行漏点审计任务，即根据漏点补招策略对HBase中打点表进行漏点审计，并根据终端通讯状态形成相应漏点请求，推送至Kafka服务的下行Topic中供业务处理器获取下发，从而实现实时漏点补招；
1307)当为手工漏点补招时，Spark RDD定时任务从Oracle数据库中读取到补招策略后执行漏点审计任务，并根据终端通讯状况形成相应漏点请求，推送至Kafka消息服务供业务处理器获取下发，实现漏点补招。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2019100095377 | 2019-01-04 | ||
| CN201910009537 | 2019-01-04 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110047014A true CN110047014A (zh) | 2019-07-23 |
| CN110047014B CN110047014B (zh) | 2024-04-23 |
Family
ID=67274423
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910164937.5A Active CN110047014B (zh) | 2019-01-04 | 2019-03-05 | 一种基于负荷曲线和历史电量的用户电量数据修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110047014B (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110377596A (zh) * | 2019-07-29 | 2019-10-25 | 合肥阳光新能源科技有限公司 | 数据修正方法及系统 |
| CN110535909A (zh) * | 2019-07-29 | 2019-12-03 | 广东电网有限责任公司信息中心 | 面向能源互联网应用的大数据与云计算一体化平台系统 |
| CN110633270A (zh) * | 2019-08-07 | 2019-12-31 | 国电南瑞科技股份有限公司 | 一种基于优先级的多策略电表日冻结值自动替代方法和装置 |
| CN111245906A (zh) * | 2019-12-31 | 2020-06-05 | 中国电子科技集团公司第五十四研究所 | 一种业务请求分配方法 |
| CN112256779A (zh) * | 2020-10-22 | 2021-01-22 | 南方电网数字电网研究院有限公司 | 用电日历数据获取方法、装置、计算机设备和存储介质 |
| CN112308731A (zh) * | 2020-09-24 | 2021-02-02 | 国网天津市电力公司营销服务中心 | 一种采集系统多任务并发处理的云计算方法及系统 |
| CN112485515A (zh) * | 2020-12-11 | 2021-03-12 | 广东电网有限责任公司 | 一种用于电能表费率时段更正方法及系统 |
| CN112946231A (zh) * | 2021-02-04 | 2021-06-11 | 成都秦川物联网科技股份有限公司 | 一种天然气全周期能量计量系统和方法 |
| CN113177088A (zh) * | 2021-04-02 | 2021-07-27 | 北京科技大学 | 一种材料辐照损伤多尺度模拟大数据管理系统 |
| CN113569377A (zh) * | 2021-06-09 | 2021-10-29 | 国网浙江省电力有限公司绍兴供电公司 | 一种多元异构环境下电能量数据异常特征识别方法 |
| CN113837324A (zh) * | 2021-11-25 | 2021-12-24 | 四川瑞康智慧能源有限公司 | 电量数据监测方法、系统、存储介质和电子设备 |
| CN114637786A (zh) * | 2022-03-14 | 2022-06-17 | 徐工汉云技术股份有限公司 | 一种车辆工时离线计算方法及存储介质 |
| US11592323B2 (en) | 2021-02-04 | 2023-02-28 | Chengdu Qinchuan Iot Technology Co., Ltd. | Methods and systems for measuring energy of natural gas in a full cycle |
| CN116070878A (zh) * | 2023-03-06 | 2023-05-05 | 浙江华云信息科技有限公司 | 绿电批发侧交易电量数据匹配方法及装置 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002077026A (ja) * | 2000-08-29 | 2002-03-15 | Nec Corp | 障害復旧優先順位決定方法およびこの方法を用いた監視制御装置 |
| US7103664B1 (en) * | 2000-05-31 | 2006-09-05 | International Business Machines Corporation | Method, system and program products for ordering lists of service addresses to provide load balancing of a clustered environment |
| CN101064619A (zh) * | 2007-05-25 | 2007-10-31 | 上海众恒信息产业有限公司 | 一种具有主题分发功能的资源管理平台及其方法 |
| CN102025609A (zh) * | 2009-09-18 | 2011-04-20 | 浙江省电力公司 | 一种基于可分组报文的负载均衡分发系统及其方法 |
| CN102340495A (zh) * | 2010-07-26 | 2012-02-01 | 中国移动通信集团广东有限公司 | 一种支撑跨系统业务联动的事件中心及其事件处理方法 |
| CN103647651A (zh) * | 2013-12-20 | 2014-03-19 | 国家电网公司 | 一种基于安全芯片的配电终端管理方法 |
| JP2015171096A (ja) * | 2014-03-10 | 2015-09-28 | 日本電気株式会社 | ゲートウェイ装置、パケット転送方法、および、プログラム |
| US20160239350A1 (en) * | 2015-02-12 | 2016-08-18 | Netapp, Inc. | Load balancing and fault tolerant service in a distributed data system |
| CN106651633A (zh) * | 2016-10-09 | 2017-05-10 | 国网浙江省电力公司信息通信分公司 | 一种基于大数据技术的用电信息采集系统及其采集方法 |
| CN107105070A (zh) * | 2017-04-21 | 2017-08-29 | 上海寰创通信科技股份有限公司 | 一种动态分配网关属性方法 |
| CN107451742A (zh) * | 2017-08-04 | 2017-12-08 | 国网浙江省电力公司 | 一种电能表持续多天无抄表数据故障的远程诊断处理方法 |
| CN108011915A (zh) * | 2017-07-05 | 2018-05-08 | 国网浙江省电力公司 | 一种基于云通讯的采集前置系统 |
| CN108197156A (zh) * | 2017-12-08 | 2018-06-22 | 囯网河北省电力有限公司电力科学研究院 | 用电信息采集系统的异常电量数据修复方法及终端设备 |
-
2019
- 2019-03-05 CN CN201910164937.5A patent/CN110047014B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7103664B1 (en) * | 2000-05-31 | 2006-09-05 | International Business Machines Corporation | Method, system and program products for ordering lists of service addresses to provide load balancing of a clustered environment |
| JP2002077026A (ja) * | 2000-08-29 | 2002-03-15 | Nec Corp | 障害復旧優先順位決定方法およびこの方法を用いた監視制御装置 |
| CN101064619A (zh) * | 2007-05-25 | 2007-10-31 | 上海众恒信息产业有限公司 | 一种具有主题分发功能的资源管理平台及其方法 |
| CN102025609A (zh) * | 2009-09-18 | 2011-04-20 | 浙江省电力公司 | 一种基于可分组报文的负载均衡分发系统及其方法 |
| CN102340495A (zh) * | 2010-07-26 | 2012-02-01 | 中国移动通信集团广东有限公司 | 一种支撑跨系统业务联动的事件中心及其事件处理方法 |
| CN103647651A (zh) * | 2013-12-20 | 2014-03-19 | 国家电网公司 | 一种基于安全芯片的配电终端管理方法 |
| JP2015171096A (ja) * | 2014-03-10 | 2015-09-28 | 日本電気株式会社 | ゲートウェイ装置、パケット転送方法、および、プログラム |
| US20160239350A1 (en) * | 2015-02-12 | 2016-08-18 | Netapp, Inc. | Load balancing and fault tolerant service in a distributed data system |
| CN106651633A (zh) * | 2016-10-09 | 2017-05-10 | 国网浙江省电力公司信息通信分公司 | 一种基于大数据技术的用电信息采集系统及其采集方法 |
| CN107105070A (zh) * | 2017-04-21 | 2017-08-29 | 上海寰创通信科技股份有限公司 | 一种动态分配网关属性方法 |
| CN108011915A (zh) * | 2017-07-05 | 2018-05-08 | 国网浙江省电力公司 | 一种基于云通讯的采集前置系统 |
| CN107451742A (zh) * | 2017-08-04 | 2017-12-08 | 国网浙江省电力公司 | 一种电能表持续多天无抄表数据故障的远程诊断处理方法 |
| CN108197156A (zh) * | 2017-12-08 | 2018-06-22 | 囯网河北省电力有限公司电力科学研究院 | 用电信息采集系统的异常电量数据修复方法及终端设备 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110535909A (zh) * | 2019-07-29 | 2019-12-03 | 广东电网有限责任公司信息中心 | 面向能源互联网应用的大数据与云计算一体化平台系统 |
| CN110377596A (zh) * | 2019-07-29 | 2019-10-25 | 合肥阳光新能源科技有限公司 | 数据修正方法及系统 |
| CN110633270B (zh) * | 2019-08-07 | 2022-01-28 | 国电南瑞科技股份有限公司 | 一种基于优先级的多策略电表日冻结值自动替代方法和装置 |
| CN110633270A (zh) * | 2019-08-07 | 2019-12-31 | 国电南瑞科技股份有限公司 | 一种基于优先级的多策略电表日冻结值自动替代方法和装置 |
| CN111245906A (zh) * | 2019-12-31 | 2020-06-05 | 中国电子科技集团公司第五十四研究所 | 一种业务请求分配方法 |
| CN111245906B (zh) * | 2019-12-31 | 2022-10-25 | 中国电子科技集团公司第五十四研究所 | 一种业务请求分配方法 |
| CN112308731A (zh) * | 2020-09-24 | 2021-02-02 | 国网天津市电力公司营销服务中心 | 一种采集系统多任务并发处理的云计算方法及系统 |
| CN112256779A (zh) * | 2020-10-22 | 2021-01-22 | 南方电网数字电网研究院有限公司 | 用电日历数据获取方法、装置、计算机设备和存储介质 |
| CN112485515A (zh) * | 2020-12-11 | 2021-03-12 | 广东电网有限责任公司 | 一种用于电能表费率时段更正方法及系统 |
| CN112946231A (zh) * | 2021-02-04 | 2021-06-11 | 成都秦川物联网科技股份有限公司 | 一种天然气全周期能量计量系统和方法 |
| US11592323B2 (en) | 2021-02-04 | 2023-02-28 | Chengdu Qinchuan Iot Technology Co., Ltd. | Methods and systems for measuring energy of natural gas in a full cycle |
| CN113177088A (zh) * | 2021-04-02 | 2021-07-27 | 北京科技大学 | 一种材料辐照损伤多尺度模拟大数据管理系统 |
| CN113569377A (zh) * | 2021-06-09 | 2021-10-29 | 国网浙江省电力有限公司绍兴供电公司 | 一种多元异构环境下电能量数据异常特征识别方法 |
| CN113837324A (zh) * | 2021-11-25 | 2021-12-24 | 四川瑞康智慧能源有限公司 | 电量数据监测方法、系统、存储介质和电子设备 |
| CN114637786A (zh) * | 2022-03-14 | 2022-06-17 | 徐工汉云技术股份有限公司 | 一种车辆工时离线计算方法及存储介质 |
| CN116070878A (zh) * | 2023-03-06 | 2023-05-05 | 浙江华云信息科技有限公司 | 绿电批发侧交易电量数据匹配方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110047014B (zh) | 2024-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110047014A (zh) | 一种基于负荷曲线和历史电量的用户电量数据修复方法 | |
| CN110022226A (zh) | 一种基于面向对象的数据采集系统及采集方法 | |
| CN110225074B (zh) | 一种基于设备地址域的通讯报文分发系统及分发方法 | |
| CN108038239B (zh) | 一种异构数据源规范化处理方法、装置及服务器 | |
| CN109739919B (zh) | 一种用于电力系统的前置机和采集系统 | |
| CN103955509A (zh) | 一种海量电力计量数据的快速检索方法 | |
| CN106502772A (zh) | 基于分布式离线技术的电量数据批量高速处理方法及系统 | |
| CN104599032A (zh) | 一种面向资源管理的分布式内存电网构建方法及系统 | |
| CN108183869B (zh) | 一种基于分布式消息队列的电量数据采集系统 | |
| CN104317800A (zh) | 一种海量智能用电数据混合存储系统及方法 | |
| CN112860695B (zh) | 监控数据查询方法、装置、设备、存储介质及程序产品 | |
| CN102254024A (zh) | 海量数据处理系统及方法 | |
| CN107330056A (zh) | 基于大数据云计算平台的风电场scada系统及其运行方法 | |
| CN108573029A (zh) | 一种获取网络访问关系数据的方法、装置及存储介质 | |
| CN103530335B (zh) | 电力计量采集系统的入库操作方法及装置 | |
| CN113923540A (zh) | 一种基于NB-lot网络的物联网表采集的分层集群处理方法 | |
| CN111049898A (zh) | 一种实现计算集群资源跨域架构的方法及系统 | |
| CN113886065A (zh) | 一种在分布式环境下基于NB-lot物联网表采集海量数据的存储与计算方法 | |
| CN112434010A (zh) | 一种用电信息采集系统主站数据库的交互方法 | |
| CN107908476B (zh) | 基于分布式集群的数据处理方法与装置 | |
| CN113129063B (zh) | 一种基于云平台和数据中台的电费计算发行方法及系统 | |
| De-wen et al. | Design of real-time database for industry control system based on cloud theory | |
| Yang et al. | The design and implementation of smart grid high volume data management platform architecture | |
| Liu et al. | Design and applied research of the distributed real-time database in smart grid | |
| CN113129063A (zh) | 一种基于云平台和数据中台的电费计算发行方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |