CN106651633A - 一种基于大数据技术的用电信息采集系统及其采集方法 - Google Patents

一种基于大数据技术的用电信息采集系统及其采集方法 Download PDF

Info

Publication number
CN106651633A
CN106651633A CN201610879932.7A CN201610879932A CN106651633A CN 106651633 A CN106651633 A CN 106651633A CN 201610879932 A CN201610879932 A CN 201610879932A CN 106651633 A CN106651633 A CN 106651633A
Authority
CN
China
Prior art keywords
data
distributed
module
information acquisition
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610879932.7A
Other languages
English (en)
Other versions
CN106651633B (zh
Inventor
蒋锦霞
朱青山
裴旭斌
闫娇娇
王红凯
黄宇腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Zhejiang Huayun Information Technology Co Ltd
Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Zhejiang Huayun Information Technology Co Ltd
Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Zhejiang Huayun Information Technology Co Ltd, Information and Telecommunication Branch of State Grid Zhejiang Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201610879932.7A priority Critical patent/CN106651633B/zh
Publication of CN106651633A publication Critical patent/CN106651633A/zh
Application granted granted Critical
Publication of CN106651633B publication Critical patent/CN106651633B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06QDATA PROCESSING SYSTEMS OR METHODS, SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL, SUPERVISORY OR FORECASTING PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06Electricity, gas or water supply
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C19/00Electric signal transmission systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network-specific arrangements or communication protocols supporting networked applications
    • H04L67/10Network-specific arrangements or communication protocols supporting networked applications in which an application is distributed across nodes in the network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network-specific arrangements or communication protocols supporting networked applications
    • H04L67/12Network-specific arrangements or communication protocols supporting networked applications adapted for proprietary or special purpose networking environments, e.g. medical networks, sensor networks, networks in a car or remote metering networks

Abstract

一种基于大数据技术的用电信息采集系统及其采集方法,涉及用电信息采集系统及其采集方法。目前用电信息采集系统存在高速海量数据存储计算模型欠缺和耗时、且计算效果不佳的问题。本发明包括:通信服务模块;数据存储模块:与通信服务模块相连,包括关系型数据库、分布式数据库及云存储,获取的用电信息数据对应存放至关系型数据库、分布式数据库及云存储中;数据处理模块:与数据存储模块相连,其包括定时计算服务单元、实时数据流处理单元、复杂事件流处理单元、海量数据离线处理单元及数据挖掘单元;数据展现模块:与数据存储模块相连。本技术方案实时计算和离线计算采用不同的处理方式,提高数据的实时处理能力和计算速度并有效减少存储空间。

Description

一种基于大数据技术的用电信息采集系统及其采集方法
技术领域
[0001] 本发明涉及用电信息采集系统及其采集方法,尤其是一种基于大数据技术的用电ί目息米集系统及其米集方法。
背景技术
[0002]自2010年起全面推进用电信息采集系统建设。截至2014年7月份,国网27家单位全部开展了用电信息采集系统建设,全口径用户实现采集覆盖2.3亿户,采集覆盖率达到66.98%,采集的电量占总售电量比例达到93.49%。用电信息采集系统由系统主站、传输信道、采集终端以及智能电表组成。
[0003] 系统主站负责整个系统的用电信息采集、存储、分析、处理和应用,由通信子系统、数据库、业务应用、接口应用等组成。大部分网省公司采用省级集中部署方式建设。
[0004] 传输信道分为系统主站与终端之间的远程通信信道、终端与智能电表之间的本地通信信道。当前公司范围内采集系统远程通信信道主要采用GPRS/CDMA无线公网系统、230MHz无线专网信道、电话PSTN、光纤通信信道等。本地通信信道主要采用RS485、低压电力线载波(窄带、宽带)、微功率无线等。电力用户用电信息采集系统是对电力用户的用电信息进行采集、处理和实时监控的系统,实现用电信息的自动采集、计量异常监测、电能质量监测、用电分析和管理、相关信息发布、分布式能源监控、智能用电设备的信息交互等功能。
[0005]目前用电信息采集系统存在以下问题:
I.高速海量数据存储计算模型欠缺
现用电信息采集业务数据模型,面对浙江全省2000多万低压用户,在高频数据采集、存储、计算领域,存在不同种类、不同形式的海量数据存储、计算时间周期偏长;
2.耗时两大且计算效果不佳,存在计算瓶颈
现用电信息采集数据计算,受制于oracle原内存空间、处理性能瓶颈,对于每天24点的全省全量数据,实现数据计算,耗时两大且计算效果不佳。
发明内容
[0006] 本发明要解决的技术问题和提出的技术任务是对现有技术方案进行完善与改进,提供大数据技术的用电信息采集系统,以达到存储、计算能力增强。为此,本发明采取以下技术方案。
[0007] 基于大数据技术的用电信息采集系统,包括:
通信服务模块:通过通信网络与采集设备相连以获得用电信息数据;
数据存储模块:与通信服务模块相连,包括关系型数据库、分布式数据库及云存储,获取的用电信息数据对应存放至关系型数据库、分布式数据库及云存储中;
数据处理模块:与数据存储模块相连,其包括定时计算服务单元、实时数据流处理单元、复杂事件流处理单元、海量数据离线处理单元及数据挖掘单元,所述的定时计算服务单元及关系型数据库相连;所述的实时数据流处理单元、复杂事件流处理单元与分布式数据库相连,所述的复杂事件流处理单元、海量数据离线处理单元、数据挖掘单元与云存储相连;
数据展现模块:与数据存储模块相连,以进行数据的展现,包括与分布式数据库相连的实时数据监测单元和与云存储相连的海量数据查询单元。
[0008] 本技术方案实时计算和离线计算采用不同的处理方式,提高数据的实时处理能力和计算速度并有效减少存储空间。
[0009]作为对上述技术方案的进一步完善和补充,本发明还包括以下附加技术特征。
[0010] 通讯服务模块包括通信网关集群、通信前置机集群、流处理单元;其中通信网关集群用于维护终端通讯链路和原始报文的收发;通信前置机集群用于维护终端原始通讯报文的解析以及采集数据入库;采集数据入库采用双链路存储机制,即一路将低频度采集数据保存至关系型数据库,一路将所有采集数据保存至云平台;流处理单元用于对采集数据进行实时处理,包括数据提取、过滤、分析计算。
[0011] 关系型数据库为关系型数据库集群,其包括主数据库集群、历史数据库、灾备数据库;其中主数据库集群负责存储整个采集系统的档案数据和近期业务数据,为其他应用提供数据访问支撑;历史数据库通过数据迀移从主数据库迀移过来一定时间以上的历史业务数据进行存储;灾备数据库通过数据库底层复制技术,实现与生产主数据库相同的数据库应用备份节点。
[0012] 云存储设于云平台上,所述的云平台包括云存储、云计算和云接口;其中云存储负责采集全量数据以及来自外部数据源的各类非结构化数据的存储,并从关系型数据库中通过ETL实时同步档案数据;云计算负责对多样化的海量数据通过分布式计算实现各类统计分析;云接口负责对外部应用提供标准程序调用接口。云数据平台以高级统计分析计算业务为主,使得原依赖生产主数据库的统计分析等复杂应用迀移至云数据平台中,保证生产主数据库单一的数据采集入库及基本功能作用,降低主库压力,同时提升复杂统计分析应用以及数据处理的效率,使得高级统计分析功能响应速度可较之前大幅提升,以满足时效性越来越高的业务需求。
[0013] 所述的数据存储模块设有用于对电量采集前置机采集到的电量进行队列缓存的分布式消息队列存储单元,数据处理模块的实时数据流处理单元为分布式流计算单元:其采用Apache Storm进行分布式实时计算;读取分布式消息队列存储单元数据,并实时存储到分布式数据库;
数据处理模块的定时计算服务单元为分布式离线计算模块:用于在分布式数据库中抽取需要处理的电量信息,并将其导入到Hi ve数据表;通过Spark离线计算处理相关Hi ve数据表得到当期电量,并对相关异常处理。
[0014] 数据处理模块在系统部署初始化时,使用Sqoop工具直接从关系型数据库读取档案数据,并将数据放到分布式数据库存储,提供给各个分布式计算服务调用档案数据;在系统运行过程中,从关系型数据库读取增量档案更新数据,并可将数据实时更新到云平台的分布式文件存储中,为分布式流计算和离线计算提供准确的基础信息。
[0015] 数据展现模块根据各个应用框架的交互和状态数据,进行可视化的界面展现,同时通过读取各个计算服务存储在分布式数据库中的日志信息以及收集的文本日志信息,监控计算服务的运行状态,实现计算节点的热部署;对计算服务进行实时任务调度。
[0016] 基于大数据技术的用电信息采集方法,包括以步骤:
1)电量采集前置机将采集电量实时发送到Kafka队列缓存;
2) Storm集群读取Kaf ka队列电量信息,并实时存储到Hbase ;
3) Spark在Hbase中抽取需要处理的电量信息,并将其导入到Hive数据表;
4)通过Spark离线计算操作相关Hive数据表得到当期电量。
[0017] 在步骤2)中,Storm集群包括一个主节点Nimbus和一群工作节点Supervisor,并通过Zookeeper进行协调;Nimbus负责在集群里面分发代码,分配计算任务给机器,并且监控状态;Supervisor监听分配给它那台机器的工作,根据需要启动/关闭工作进程。
[0018] Supervisor的每一个工作进程执行一个topology的一个子集;一个运行的topology由运行在多台机器上的多个工作进程组成;计算任务Topology是由不同的Spouts和Bolts,通过数据流连接起来的图;Spout作为Storm中的消息源,用于为Topology生产消息,从外部数据源不间断地读取数据并发送给Topology消息;Bolt为Storm中的消息处理者,用于为Topology进行消息的处理,Bolt处理包括消息过滤、聚合、查询数据库,其对消息作逐级处理;最后,Topology被提交到Storm集群中运行;或通过命令停止Topology的运行,将Topology占用的计算资源归还给Storm集群。
[0019] 有益效果:
基于大数据技术应用,通过分布式离线技术批量高速计算用电信息采集数据的分布式复杂事件流处理技术,构建流处理环境,提升整体计算容量、速度;有效增强存储、计算能力。
[0020] 集Storm和Spark的优点,提升整体计算处理容量。从事务保障任务节点动态迀移技术,提出完整的任务节点迀移的事务保障协议,在确保迀移过程中流系统消息不丢包、不重复的同时,提尚迁移本身的执彳丁效率,提升系统稳定性。
附图说明
[0021]图1是本发明应用结构图。
[0022]图2是本发明逻辑架构图。
[0023]图3是本发明大数据云平台逻辑架构图。
[0024]图4是本发明数据架构图。
[0025]图5是本发明数据处理架构。
[0026]图6是本发明物理架构图。
[0027]图7是本发明云平台物理架构图。
[0028]图8是本发明系统安全架构图。
[0029]图9是本发明云平台安全架构图。
[0030]
具体实施方式
[0031]以下结合说明书附图对本发明的技术方案做进一步的详细说明。
[0032] 如图1所示,本发明包括:
通信服务模块:通过通信网络与采集设备相连以获得用电信息数据; 数据存储模块:与通信服务模块相连,包括关系型数据库、分布式数据库及云存储,获取的用电信息数据对应存放至关系型数据库、分布式数据库及云存储中;
数据处理模块:与数据存储模块相连,其包括定时计算服务单元、实时数据流处理单元、复杂事件流处理单元、海量数据离线处理单元及数据挖掘单元,所述的定时计算服务单元及关系型数据库相连;所述的实时数据流处理单元、复杂事件流处理单元与分布式数据库相连,所述的复杂事件流处理单元、海量数据离线处理单元、数据挖掘单元与云存储相连;
数据展现模块:与数据存储模块相连,以进行数据的展现,包括与分布式数据库相连的实时数据监测单元和与云存储相连的海量数据查询单元。
[0033] 通讯服务模块包括通信网关集群、通信前置机集群、流处理单元;其中通信网关集群用于维护终端通讯链路和原始报文的收发;通信前置机集群用于维护终端原始通讯报文的解析以及采集数据入库;采集数据入库采用双链路存储机制,即一路将低频度采集数据保存至关系型数据库,一路将所有采集数据保存至云平台;流处理单元用于对采集数据进行实时处理,包括数据提取、过滤、分析计算。
[0034] 关系型数据库为关系型数据库集群,其包括主数据库集群、历史数据库、灾备数据库;其中主数据库集群负责存储整个采集系统的档案数据和近期业务数据,为其他应用提供数据访问支撑;历史数据库通过数据迀移从主数据库迀移过来一定时间以上的历史业务数据进行存储;灾备数据库通过数据库底层复制技术,实现与生产主数据库相同的数据库应用备份节点。
[0035]云平台主要包括云存储、云计算和云接口;其中云存储负责采集全量数据以及来自外部数据源的各类非结构化数据的存储,并从关系型数据库中通过ETL实时同步档案数据;云计算负责对多样化的海量数据通过分布式计算实现各类统计分析;云接口负责对外部应用提供标准程序调用接口。云数据平台以高级统计分析计算业务为主,使得原依赖生产主数据库的统计分析等复杂应用迀移至云数据平台中,保证生产主数据库单一的数据采集入库及基本功能作用,降低主库压力,同时提升复杂统计分析应用以及数据处理的效率,使得高级统计分析功能响应速度可较之前大幅提升,以满足时效性越来越高的业务需求。
[0036] 所述的数据存储模块设有用于对电量采集前置机采集到的电量进行队列缓存的分布式消息队列存储单元,数据处理模块的实时数据流处理单元为分布式流计算单元:其采用Apache Storm进行分布式实时计算;读取分布式消息队列存储单元数据,并实时存储到分布式数据库;
数据处理模块的定时计算服务单元为分布式离线计算模块:用于在分布式数据库中抽取需要处理的电量信息,并将其导入到Hi ve数据表;通过Spark离线计算处理相关Hi ve数据表得到当期电量,并对相关异常处理。
[0037] 数据处理模块在系统部署初始化时,使用Sqoop工具直接从关系型数据库读取档案数据,并将数据放到分布式数据库存储,提供给各个分布式计算服务调用档案数据;在系统运行过程中,从关系型数据库读取增量档案更新数据,并可将数据实时更新到云平台的分布式文件存储中,为分布式流计算和离线计算提供准确的基础信息。
[0038] 数据展现模块根据各个应用框架的交互和状态数据,进行可视化的界面展现,同时通过读取各个计算服务存储在分布式数据库中的日志信息以及收集的文本日志信息,监控计算服务的运行状态,实现计算节点的热部署;对计算服务进行实时任务调度。
[0039] 基于大数据技术的用电信息采集方法,包括以步骤:
1)电量采集前置机将采集电量实时发送到Kafka队列缓存;
2) Storm集群读取Kaf ka队列电量信息,并实时存储到Hbase ;
3) Spark在Hbase中抽取需要处理的电量信息,并将其导入到Hive数据表;
4)通过Spark离线计算操作相关Hive数据表得到当期电量。
[0040] 在步骤2)中,Storm集群包括一个主节点Nimbus和一群工作节点Supervisor,并通过Zookeeper进行协调;Nimbus负责在集群里面分发代码,分配计算任务给机器,并且监控状态;Supervisor监听分配给它那台机器的工作,根据需要启动/关闭工作进程。
[0041] Supervisor的每一个工作进程执行一个topology的一个子集;一个运行的topology由运行在多台机器上的多个工作进程组成;计算任务Topology是由不同的Spouts和Bolts,通过数据流连接起来的图;Spout作为Storm中的消息源,用于为Topology生产消息,从外部数据源不间断地读取数据并发送给Topology消息;Bolt为Storm中的消息处理者,用于为Topology进行消息的处理,Bolt处理包括消息过滤、聚合、查询数据库,其对消息作逐级处理;最后,Topology被提交到Storm集群中运行;或通过命令停止Topology的运行,将Topology占用的计算资源归还给Storm集群。
[0042] 如图1所示的应用架构图说明:
1、采集设备采集用户用电信息数据通过通信网络(光纤/ GPRS / CDMA / SMS等)接入通信网关(Gate)。
[0043] 2、通信网关(Gate)将接收到的报文数据发送至通信前置机(FE)进行报文分发和报文入库,报文入库采用双链路存储机制分别存入关系型数据库(Oracle)和大数据云存储(HDFS)中,并通过实时数据流处理对终端通信状况和终端通信流量进行实时处理统计。
[0044] 3、通信前置机(FE)将报文分发至业务处理器(BP)进行报文解析和采集数据入库,采集数据入库采用双链路存储机制,即一路将低频度采集数据保存至传统的关系型数据库,一路将所有采集数据保存至大数据云存储(HDFS),并通过实时数据流处理对终端实时工况进行实时处理统计。
[0045] 4、数据存储包括关系型数据库集群、分布式内存数据库集群和云存储(HDFS)三部分。关系型数据库(Oracle)为原有OLTP应用提供支撑;分布式内存数据库集群为实时大数据分析提供支撑;云存储(HDFS)为大数据离线分析和数据挖掘(机器学习、分析预测)等OLAP应用提供支撑。
[0046] 5、数据处理包括原有在关系型数据库(Oracle)中的定时计算服务和大数据云平台上的实时数据流处理、复杂事件流处理、海量数据离线分析、数据挖掘(机器学习、分析预测)。
[0047] 6、数据展示在原有关系型数据库(Oracle)上的WEB应用上增加对大数据云平台上的实时数据监测和海量数据查询功能。
[0048] 系统逻辑架构,如图2所示。
[0049] 具体逻辑架构图说明:
通讯服务:包括通信网关集群、通信前置机集群、流处理应用三个部分。其中通信网关集群负责维护终端通讯链路和原始报文的收发;通信前置机集群负责维护终端原始通讯报文的解析以及采集数据入库;采集数据入库采用双链路存储机制,即一路将低频度采集数据保存至传统的关系型数据库,一路将所有采集数据保存至云平台;流处理应用负责对采集数据进行实时提取、过滤、分析计算等。
[0050] 数据存储:包括关系型数据库集群以及云平台两个部分。关系型数据库集群包括主数据库集群、历史数据库、灾备数据库。其中主数据库集群负责存储整个采集系统的档案数据和近期业务数据,为其他应用提供数据访问支撑;历史数据库通过数据迀移从主数据库迀移过来一定时间以上的历史业务数据进行存储;灾备数据库通过数据库底层复制技术,实现与生产主数据库相同的数据库应用备份节点。云平台主要包括云存储、云计算和云接口三个部分。其中云存储负责采集全量数据以及来自外部数据源的各类非结构化数据的存储,并从关系型数据库中通过ETL实时同步档案数据;云计算负责对多样化的海量数据通过分布式计算实现各类统计分析;云接口负责对外部应用提供标准程序调用接口。云平台以高级统计分析计算业务为主,使得原依赖生产主数据库的统计分析等复杂应用迀移至云平台中,保证生产主数据库单一的数据采集入库及基本功能作用,降低主库压力,同时提升复杂统计分析应用以及数据处理的效率,使得高级统计分析功能响应速度可较之前大幅提升,以满足时效性越来越高的业务需求。
[0051] WEB应用:通过集群提供给用户具体的采集系统操作界面,同时实现与通讯服务集群、接口服务之间的业务交互。
[0052] 接口服务:包括营销系统接口、数据发布接口。其中营销系统接口负责实现营销系统与采集系统之间的日常业务流程交互;数据发布接口通过WebServices服务负责统一提供发布采集数据给第三方系统
大数据云平台逻辑架构,如图3所示:
大数据云平台逻辑架构图说明:
1.档案数据流向说明
档案数据的维护在原有关系型数据库Oracle中,通过GoldenGate Active MQ的方式将档案增量部分实时同步至分布式内存数据库集群中;
分布式内存数据库集群中的档案数据通过定期(I小时或I天)全量持久化到HDFS中。
[0053] 2.通信服务数据流向说明
通信前置机/业务处理器把现场终端上报的数据经过处理后分三部分进行数据处理:(I)、存入原有关系型数据库Oracle中;(2)、通过文件方式直接存入大数据云平台HDFS存储中,为海量数据离线分析和机器学习、预测分析等数据挖掘提供数据支撑;(3)、实时数据计算应用(如通信流量监测,通信状况及实时工况监测),直接进入Storm流计算框架,实时计算结果存入分布式内存集群中。
[0054] 3.统计分析数据流向说明
实时数据计算是通过Storm流计算框架进行计算,计算结果存入分布式内存数据库中,并定期持久化到HDFS和原关系型数据库Oracle中,为原有应用提供数据支持;
海量数据离线分析和数据挖掘(机器学习)的计算结果存入到SQL on Hadoop内部表或者HDFS上,并可定期持久化到原关系型数据库Oracle中,为原有应用提供数据支持。
[0055]系统数据架构,如图4所示,
通过大数据Lambda体系架构来构建电力系统大数据云平台的数据处理架构,使用该架构时:
1、数据采集之后要进行同步双写分流:
一部分进入原始数据,批量操作区域。
[0056] 一部分进入实时分析模块,即实时处理层。
[0057] 2、历史和批量数据的离线分析之后要能建立快速索引视图。
[0058] 3、实时分析能够参照离线索引视图进行高速实时分析。
[0059] 4、数据要能在不同的模块之间自由流转流动,采用标准协议,如标准SQL/JDBC,REST 等。
[0060] 更进一步,我们可以将该架构细分为如图5所示的几个层次:
1、数据源通过采集集成层同时进入实时处理模块和原始数据存储管理层。
[0061] 2、实时处理层提供高性能实时分析和查询能力,同时可以透明的将数据同步到原始数据存储管理层。也可以将分析过的结果和远见存储到原始数据存储管理层。另一条数据流直接进入到数据存储和管理区的原始存放区。
[0062] 3、由Oozie或其他工作流引擎驱动批处理任务进行原始数据全局粗加工,生成的中间结果或者最终结果存放于成品区或者近实时处理层。
[0063] 4、客户端合并实时处理和近实时处理层的数据构成完整的客户端视图。
[0064] 系统物理架构,如图6所示:
物理架构图说明:
(I)用电信息采集系统从物理上可根据部署位置分为主站、通信信道、采集设备三部分,与公网信道采用防火墙进行安全隔离,保证系统的信息安全。
[0065] (2)主站网络的物理结构主要由数据库服务器、磁盘阵列、云平台服务器、应用服务器、接口服务器、通信子系统服务器(包括前置机服务器、网关服务器、流处理服务器、负载均衡器)、防火墙设备以及相关的网络设备组成。
[0066] (3)通信信道是指系统主站与终端之间的远程通信信道,主要包括光纤信道、GPRS/CDMA无线公网信道、230MHz无线电力专用信道等。
[0067] (4)采集设备是指安装在现场的终端及计量设备,主要包括专变终端、集中器、采集器以及智能表等。
[0068]大数据云平台物理架构如图7所示。
[0069] 系统安全架构,如图8所示。
[0070]大数据云平台安全架构如图9所示,包括以下功能:
1、基于角色的授权(Role based authorizat1n)
确保职责的分离。
[0071]限制功能性的访问。
[0072] 2、管理和配置(Admin and Configurat1n)
基于角色的管理。
[0073]可配置的节点和集群参数。
[0074] 3、身份认证框架(Authenticat1n framework)
认证节点。
[0075] 认证客户端应用程序(为了访问集群和MapReduce任务)。
[0076] 4、审查日志(Audit Log)
日志事务。
[0077]日志活动。
[0078] 5、警报(Alerts)
实时报警。
[0079] 持续性监测。
[0080] 6、文件加密(File encrypt1n)
保护私有信息(SPI/BPI)。
[0081] 遵循监管规范。
[0082] 7、密钥认证服务器(Key certificate Server)
中央密钥管理服务器管理不同文件的不同密钥。
[0083] 8、网路安全(Network security)
确保节点之间、应用程序之间以及其他接口之间的安全通信。
[0084] 9、资源控制(Resource slim)
最低限度的网络消耗。
[0085] 最低限度的资源、线程、进程的消耗。
[0086] 10、通用性(Universal)
Hadoop未知性-跨分支的兼容。
[0087] 异构支持-跨生态系统之间的兼容。

Claims (10)

1.基于大数据技术的用电信息采集系统,其特征在于包括: 通信服务模块:通过通信网络与采集设备相连以获得用电信息数据; 数据存储模块:与通信服务模块相连,包括关系型数据库、分布式数据库及云存储,获取的用电信息数据对应存放至关系型数据库、分布式数据库及云存储中; 数据处理模块:与数据存储模块相连,其包括定时计算服务单元、实时数据流处理单元、复杂事件流处理单元、海量数据离线处理单元及数据挖掘单元,所述的定时计算服务单元及关系型数据库相连;所述的实时数据流处理单元、复杂事件流处理单元与分布式数据库相连,所述的复杂事件流处理单元、海量数据离线处理单元、数据挖掘单元与云存储相连; 数据展现模块:与数据存储模块相连,以进行数据的展现,包括与分布式数据库相连的实时数据监测单元和与云存储相连的海量数据查询单元。
2.根据权利要求2所示的基于大数据技术的用电信息采集系统,其特征在于:通讯服务模块包括通信网关集群、通信前置机集群、流处理单元;其中通信网关集群用于维护终端通讯链路和原始报文的收发;通信前置机集群用于维护终端原始通讯报文的解析以及采集数据入库;采集数据入库采用双链路存储机制,即一路将低频度采集数据保存至关系型数据库,一路将所有采集数据保存至云平台的云存储;流处理单元用于对采集数据进行实时处理,包括数据提取、过滤、分析计算。
3.根据权利要求1所示的基于大数据技术的用电信息采集系统,其特征在于:关系型数据库为关系型数据库集群,其包括主数据库集群、历史数据库、灾备数据库;其中主数据库集群负责存储整个采集系统的档案数据和近期业务数据,为其他应用提供数据访问支撑;历史数据库通过数据迀移从主数据库迀移过来一定时间以上的历史业务数据进行存储;灾备数据库通过数据库底层复制技术,实现与生产主数据库相同的数据库应用备份节点。
4.根据权利要求1所示的基于大数据技术的用电信息采集系统,其特征在于:云存储设于云平台上,所述的云平台包括云存储、云计算和云接口;其中云存储负责采集全量数据以及来自外部数据源的各类非结构化数据的存储,并从关系型数据库中通过ETL实时同步档案数据;云计算负责对多样化的海量数据通过分布式计算实现各类统计分析;云接口负责对外部应用提供标准程序调用接口。
5.根据权利要求1所示的基于大数据技术的用电信息采集系统,其特征在于:所述的数据存储模块设有用于对电量采集前置机采集到的电量进行队列缓存的分布式消息队列存储单元,数据处理模块的实时数据流处理单元为分布式流计算单元:其采用Apache Storm进行分布式实时计算;读取分布式消息队列存储单元数据,并实时存储到分布式数据库; 数据处理模块的定时计算服务单元为分布式离线计算模块:用于在分布式数据库中抽取需要处理的电量信息,并将其导入到Hi ve数据表;通过Spark离线计算处理相关Hi ve数据表得到当期电量,并对相关异常处理。
6.根据权利要求5所示的基于大数据技术的用电信息采集系统,其特征在于:数据处理模块在系统部署初始化时,使用Sqoop工具直接从关系型数据库读取档案数据,并将数据放到分布式数据库存储,提供给各个分布式计算服务调用档案数据;在系统运行过程中,从关系型数据库读取增量档案更新数据,并可将数据实时更新到云平台的分布式文件存储中,为分布式流计算和离线计算提供准确的基础信息。
7.根据权利要求6所示的基于大数据技术的用电信息采集系统,其特征在于:数据展现模块根据各个应用框架的交互和状态数据,进行可视化的界面展现,同时通过读取各个计算服务存储在分布式数据库中的日志信息以及收集的文本日志信息,监控计算服务的运行状态,实现计算节点的热部署;对计算服务进行实时任务调度。
8.基于大数据技术的用电信息采集方法,其特征在于包括以步骤: a)电量采集前置机将采集电量实时发送到Kafka队列缓存; b) Storm集群读取Kafka队列电量信息,并实时存储到Hbase ; c) Spark在Hbase中抽取需要处理的电量信息,并将其导入到Hive数据表; d)通过Spark离线计算操作相关Hive数据表得到当期电量。
9.根据权利要求8所述的基于大数据技术的用电信息采集方法,其特征在于:在步骤2)中,Storm集群包括一个主节点Nimbus和一群工作节点Supervisor,并通过Zookeeper进行协调;Nimbus负责在集群里面分发代码,分配计算任务给机器,并且监控状态;Supervisor监听分配给它那台机器的工作,根据需要启动/关闭工作进程。
10.根据权利要求8所述的基于大数据技术的用电信息采集方法,其特征在于:Supervisor的每一个工作进程执行一个topology的一个子集;一个运行的topology由运行在多台机器上的多个工作进程组成;计算任务Topology是由不同的Spouts和Bolts,通过数据流连接起来的图;Spout作为Storm中的消息源,用于为Topology生产消息,从外部数据源不间断地读取数据并发送给Topology消息;Bolt为Storm中的消息处理者,用于为Topology进行消息的处理,Bolt处理包括消息过滤、聚合、查询数据库,其对消息作逐级处理;最后,Topology被提交到Storm集群中运行;或通过命令停止Topology的运行,将Topology占用的计算资源归还给Storm集群。
CN201610879932.7A 2016-10-09 2016-10-09 一种基于大数据技术的用电信息采集系统及其采集方法 Active CN106651633B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610879932.7A CN106651633B (zh) 2016-10-09 2016-10-09 一种基于大数据技术的用电信息采集系统及其采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610879932.7A CN106651633B (zh) 2016-10-09 2016-10-09 一种基于大数据技术的用电信息采集系统及其采集方法

Publications (2)

Publication Number Publication Date
CN106651633A true CN106651633A (zh) 2017-05-10
CN106651633B CN106651633B (zh) 2021-02-02

Family

ID=58854465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610879932.7A Active CN106651633B (zh) 2016-10-09 2016-10-09 一种基于大数据技术的用电信息采集系统及其采集方法

Country Status (1)

Country Link
CN (1) CN106651633B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107153709A (zh) * 2017-05-17 2017-09-12 郑州云海信息技术有限公司 一种数据导入方法及装置
CN107220360A (zh) * 2017-06-07 2017-09-29 云南电网有限责任公司信息中心 一种基于海量电力监测数据的统一模型化存储接入方法
CN107368894A (zh) * 2017-07-28 2017-11-21 国网河南省电力公司电力科学研究院 基于大数据共享的大气污染防治用电数据分析平台
CN107463610A (zh) * 2017-06-27 2017-12-12 北京小度信息科技有限公司 一种数据入库方法及装置
CN107483858A (zh) * 2017-08-31 2017-12-15 益和电气集团股份有限公司 用电企业监控视频的分布式存储系统及其分布式存储方法
CN107612898A (zh) * 2017-09-08 2018-01-19 四川省绵阳太古软件有限公司 物联网大数据安全传输与存储方法、系统
CN107609069A (zh) * 2017-08-31 2018-01-19 北京优信同合科技有限责任公司 一种基于大宗商品交易平台的决策支持系统
CN107748800A (zh) * 2017-11-15 2018-03-02 北京易讯通信息技术股份有限公司 一种分布式实时数据处理政务服务数据的融合与共享方法
CN107766402A (zh) * 2017-06-27 2018-03-06 深圳市云房网络科技有限公司 一种楼盘字典云房源大数据平台
CN107896216A (zh) * 2017-11-24 2018-04-10 广东电网有限责任公司东莞供电局 一种面向电力量测仪表的密钥管理、数据加密与身份认证方法
CN107968840A (zh) * 2017-12-15 2018-04-27 华北电力大学(保定) 一种大规模电力设备监测报警数据实时处理方法及系统
CN108109075A (zh) * 2017-12-04 2018-06-01 广东电网有限责任公司电力科学研究院 一种基于分布式技术的离线计算平台
CN108763562A (zh) * 2018-06-04 2018-11-06 广东京信软件科技有限公司 一种基于大数据技术提升数据交换效率的构建方法
CN108802282A (zh) * 2018-06-05 2018-11-13 中国联合网络通信集团有限公司 有害气体浓度预测的方法、装置、设备及可读存储介质
CN109246219A (zh) * 2018-09-18 2019-01-18 食品安全与营养(贵州)信息科技有限公司 一种IoT数据采集系统的工作方法及系统
CN109246254A (zh) * 2018-11-29 2019-01-18 国网重庆市电力公司 支持大规模电能表直采的数据采集通信平台及通信方法
CN109495578A (zh) * 2018-12-05 2019-03-19 贵州电网有限责任公司 一种针对用电采集系统的分层集群处理系统
CN109684377A (zh) * 2018-12-13 2019-04-26 深圳市思迪信息技术股份有限公司 通用大数据实时处理开发平台及其数据处理方法
CN109791727A (zh) * 2017-07-06 2019-05-21 韩国电力公社 计量数据采集系统、方法以及存储其的记录介质
CN109783556A (zh) * 2018-12-24 2019-05-21 浙江工业大学 基于Hadoop和SSM架构的电能质量治理设备在线监控系统及构建方法
CN109857803A (zh) * 2018-12-13 2019-06-07 杭州数梦工场科技有限公司 数据同步方法、装置、设备、系统及计算机可读存储介质
CN112271821A (zh) * 2020-12-21 2021-01-26 华南理工大学 基于云计算的用电终端降损节能智能化监测与分析系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101707399A (zh) * 2009-11-20 2010-05-12 深圳市科陆电子科技股份有限公司 电能信息采集方法及系统
CN103955509A (zh) * 2014-04-30 2014-07-30 广西电网公司电力科学研究院 一种海量电力计量数据的快速检索方法
CN105678398A (zh) * 2015-12-24 2016-06-15 国家电网公司 基于大数据技术的电力负荷预测方法及基于该方法的研究应用系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101707399A (zh) * 2009-11-20 2010-05-12 深圳市科陆电子科技股份有限公司 电能信息采集方法及系统
CN103955509A (zh) * 2014-04-30 2014-07-30 广西电网公司电力科学研究院 一种海量电力计量数据的快速检索方法
CN105678398A (zh) * 2015-12-24 2016-06-15 国家电网公司 基于大数据技术的电力负荷预测方法及基于该方法的研究应用系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱朝阳等: "电力大数据平台研究与设计", 《电力信息与通信技术》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107153709B (zh) * 2017-05-17 2020-09-04 浪潮云信息技术股份公司 一种数据导入方法及装置
CN107153709A (zh) * 2017-05-17 2017-09-12 郑州云海信息技术有限公司 一种数据导入方法及装置
CN107220360A (zh) * 2017-06-07 2017-09-29 云南电网有限责任公司信息中心 一种基于海量电力监测数据的统一模型化存储接入方法
CN107766402A (zh) * 2017-06-27 2018-03-06 深圳市云房网络科技有限公司 一种楼盘字典云房源大数据平台
CN107463610A (zh) * 2017-06-27 2017-12-12 北京小度信息科技有限公司 一种数据入库方法及装置
CN109791727A (zh) * 2017-07-06 2019-05-21 韩国电力公社 计量数据采集系统、方法以及存储其的记录介质
CN107368894A (zh) * 2017-07-28 2017-11-21 国网河南省电力公司电力科学研究院 基于大数据共享的大气污染防治用电数据分析平台
CN107609069A (zh) * 2017-08-31 2018-01-19 北京优信同合科技有限责任公司 一种基于大宗商品交易平台的决策支持系统
CN107483858A (zh) * 2017-08-31 2017-12-15 益和电气集团股份有限公司 用电企业监控视频的分布式存储系统及其分布式存储方法
CN107612898A (zh) * 2017-09-08 2018-01-19 四川省绵阳太古软件有限公司 物联网大数据安全传输与存储方法、系统
CN107748800A (zh) * 2017-11-15 2018-03-02 北京易讯通信息技术股份有限公司 一种分布式实时数据处理政务服务数据的融合与共享方法
CN107896216A (zh) * 2017-11-24 2018-04-10 广东电网有限责任公司东莞供电局 一种面向电力量测仪表的密钥管理、数据加密与身份认证方法
CN107896216B (zh) * 2017-11-24 2019-11-26 广东电网有限责任公司东莞供电局 一种电力量测仪表的密钥管理、数据加密与身份认证方法
CN108109075A (zh) * 2017-12-04 2018-06-01 广东电网有限责任公司电力科学研究院 一种基于分布式技术的离线计算平台
CN107968840A (zh) * 2017-12-15 2018-04-27 华北电力大学(保定) 一种大规模电力设备监测报警数据实时处理方法及系统
CN107968840B (zh) * 2017-12-15 2020-10-09 华北电力大学(保定) 一种大规模电力设备监测报警数据实时处理方法及系统
CN108763562A (zh) * 2018-06-04 2018-11-06 广东京信软件科技有限公司 一种基于大数据技术提升数据交换效率的构建方法
CN108802282A (zh) * 2018-06-05 2018-11-13 中国联合网络通信集团有限公司 有害气体浓度预测的方法、装置、设备及可读存储介质
CN109246219A (zh) * 2018-09-18 2019-01-18 食品安全与营养(贵州)信息科技有限公司 一种IoT数据采集系统的工作方法及系统
CN109246254A (zh) * 2018-11-29 2019-01-18 国网重庆市电力公司 支持大规模电能表直采的数据采集通信平台及通信方法
CN109495578A (zh) * 2018-12-05 2019-03-19 贵州电网有限责任公司 一种针对用电采集系统的分层集群处理系统
CN109857803A (zh) * 2018-12-13 2019-06-07 杭州数梦工场科技有限公司 数据同步方法、装置、设备、系统及计算机可读存储介质
CN109684377A (zh) * 2018-12-13 2019-04-26 深圳市思迪信息技术股份有限公司 通用大数据实时处理开发平台及其数据处理方法
CN109783556A (zh) * 2018-12-24 2019-05-21 浙江工业大学 基于Hadoop和SSM架构的电能质量治理设备在线监控系统及构建方法
CN112271821A (zh) * 2020-12-21 2021-01-26 华南理工大学 基于云计算的用电终端降损节能智能化监测与分析系统

Also Published As

Publication number Publication date
CN106651633B (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
US10191529B2 (en) Real-time data management for a power grid
CN104281130B (zh) 一种基于大数据技术的水电设备监测和故障诊断系统
Daki et al. Big Data management in smart grid: concepts, requirements and implementation
CN104820670B (zh) 一种电力信息大数据的采集和存储方法
CN104407964B (zh) 一种基于数据中心的集中监控系统及方法
CN106126346B (zh) 一种大规模分布式数据采集系统及方法
CN105205729B (zh) 一种基于云计算的电力系统能效公共服务云平台
US9967168B2 (en) Remote real-time monitoring system based on cloud computing
CN104616205B (zh) 一种基于分布式日志分析的电力系统运行状态监视方法
CN103532744B (zh) 一种智能电网信息通信一体化支撑平台
CN104462121B (zh) 数据处理方法、装置及系统
CN105868075A (zh) 一种实时监控分析大量日志的系统及方法
CN104270417B (zh) 一种基于云计算的综合服务提供系统及方法
CN104268695B (zh) 一种多中心流域水环境分布式集群管理系统及方法
CN104463492A (zh) 一种电力系统云仿真平台的运营管理方法
JP5932668B2 (ja) ユーティリティグリッドコマンドフィルタシステム
CN105005570B (zh) 基于云计算的海量智能用电数据挖掘方法及装置
CN106339509A (zh) 一种基于大数据技术的电网运营数据共享系统
CN102594919B (zh) It资源支撑系统
CN105159951A (zh) 一种开放式的旅游多源异构数据融合方法及系统
CN105635283A (zh) 一种云制造服务的组织管理和使用方法和系统
CN103366312A (zh) 一种智能变电站云系统
CN104113596A (zh) 一种私有云的云监控系统及方法
CN103761309A (zh) 一种运营数据处理方法及系统
CN103902537B (zh) 多业务的日志数据存储处理和查询系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant