CN110489459A - 一种基于大数据平台的企业级业数融合数据分析系统 - Google Patents

Abstract

本发明公开一种基于大数据平台的企业级业数融合数据分析系统，包括数据获取模块、数据储存模块以及监测分析模块。数据获取模块用以从各种数据源中提取及导入数据。数据储存模块储存所述数据，并通过大数据平台技术对所述数据进行清洗、转换后并且处理成数据集合。监测分析模块对所述数据集合进行挖掘、评估及分析，并且建立对应的可视化模型。本系统目的在于促进各业务系统内外部的业务和数据深度融合，最终实现跨专业、跨部门、跨单位的业务和数据共享融合，并助力于完善电力企业全业务运营监测业务管理方法和提升平台数据挖掘分析能力。

Description

一种基于大数据平台的企业级业数融合数据分析系统

技术领域

本发明涉及一种数据分析系统，更具体来说，是有关于一种利用大数据平台技术建构而成的数据分析系统。

背景技术

随着电力企业运营监测业务的不断拓展、数据挖掘需求的不断细化、管理服务工作的日趋精准化，对电力企业的业务管理和数据管理都提出了新要求；如何充分利用大数据技术对企业海量运监数据进行梳理、拆分、重组、融合，实现数据驱动业务纵向延伸、横向拓展，业务带动数据纵向挖掘、横向共享的良性发展。

目前，电力企业信息化的建设发展，部分支撑了运营监测业务，从业务层面讲：纵向上业务分析深度不够，横向上业务分析跨专业、跨部门、跨单位的线上协同办公能力不足；从数据层面上讲：纵向上数据分析挖掘深度不够，横向上数据跨专业、跨部门、跨单位数据共享程度不足。究其根本原因其实在于各个层级之间的业务和数据呈烟囱式管理，跨业务系统之间数据和业务流程目前为独立的线性管理，交互共享程度较弱。

因此，如何立基于大数据平台的企业级业数融合数据分析服务系统，促进各业务系统内外部的业务和数据深度融合，助力于完善电力企业全业务运营监测业务管理方法和提升平台数据挖掘分析能力，是目前业界待解决的问题。

发明内容

为解决现有技术的不足，本发明提供一种基于大数据平台的企业级业数融合数据分析系统，包括：数据获取模块，用以从各种数据源中提取及导入数据；数据储存模块，储存所述数据，并通过大数据平台技术对所述数据进行清洗、转换后并且处理成数据集合；以及监测分析模块，对所述数据集合进行挖掘、评估及分析，并且建立对应的可视化模型。

在本发明的一种实施型态中，所述数据包括电网的输变电状态、供电电压以及用电信息。

在本发明的一种实施型态中，所述可视化模型包括财务管理模块、物资管理模块、营销管理模块、运检维修模块以及项目管理模块。

在本发明的一种实施型态中，所述财务管理模块的所述数据源为ERP系统、人力资源管理信息系统及财务管控系统。

在本发明的一种实施型态中，所述物资管理模块的所述数据源为ERP系统。

在本发明的一种实施型态中，所述营销管理模块的所述数据源为营销业务系统及用户信息采集系统。

在本发明的一种实施型态中，所述运检维修模块的所述数据源为用户信息采集系统、全业务数据中心、电能质量在线监测系统、生产实时管控系统、调度电网省地县运行方式一体化技术平台、PMS系统及营销业务系统。

在本发明的一种实施型态中，所述项目管理模块的所述数据源为ERP系统。

本发明提供一种基于大数据平台的企业级业数融合数据分析系统，包括：数据源层，用以采集电网业务涉及到的数据，所述数据包括指针数据、明细数据、实时数据和线下数据；基础数据层，对所述数据进行集成和共享；整合明细层，用以储存所述数据，并且对所述数据进行初步清洗、加工及计算；数据集市层，利用所述数据构建面向特定应用主题的数据集市；以及应用服务层，利用大数据平台技术对所述数据进行数据挖掘及数据分析。

在本发明的一种实施型态中，所述特定特定应用主题包括营销、运检、项目、物资、财务及人资。

附图说明

图1是基于大数据平台的企业级业数融合数据分析系统的应用架构图。

图2是基于大数据平台的企业级业数融合数据分析系统的总体技术架构图。

图3是基于大数据平台的企业级业数融合数据分析系统的总体数据架构图。

图4是基于大数据平台的企业级业数融合数据分析系统的数据处理流程图。

符号说明：

11 企业总览模块

12 监测成果管理模块

13 监测指标模块

14 监测主题模块

15 数资源管理模块

16 系统管理模块

2 数据分析系统

21 数据获取模块

22 数据储存模块

23 监测分析模块

31 财务管理模型

32 物资管理模型

33 营销管理模型

34 运检维修模型

35 项目管理模型

4 数据分析系统

41 源系统层

42 基础数据层

43 整合明细层

44 数据集市层

具体实施方式

以下藉由特定的具体实施例说明本发明的实施方式，熟悉此技艺的人士可由本说明书所揭示的内容轻易地了解本发明的其他优点与功效。本发明亦可藉由其他不同的具体实施例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不悖离本发明的精神下进行各种修饰与变更。

本发明首次实现对公司核心数据资源盘点、清洗和整合，形成可用、易用、好用的公司级数据资源池。坚持各多源信息在时间和空间上互补的原则，对冗余信息按照业务指导规则进行优化或算法组合，产生对业务描述的一致性解释和描述，以业务为导向促进数据融合。本发明的数据分析系统还具有以下特点：

1.构建高效且可拓展的业务分析模式：通过66个指标分析69个主题分析7个专题分析构建了横向拓展和纵向深化的公司级业务分析体系，促进跨业务流程分析和共享协作。并实现对规划、建设、运行、检修、营销、人资、财务、物资的‘T+1’在线业务分析和贯通。

2.输出在线且可共享的数据资源服务：系统数据接入和校验范围覆盖ERP、PMS、OMS、95598等26个源业务系统，1100张数据表，近万个字段，数十亿条明细数据，形成了较为全面的数据资源目录并实现数据共享，数据更新频率“T+1”，构建公司级数据共享资源池。可以为居民用户行为分析、高风险用户行为诊断、大用户用能报表分析提供干净、便捷的数据视图，降低数据使用门槛，提升业务场景实现效率。

3.提供全面且差异化的管理优化建议：通过辅助公司领导决策分析、业务部门精益化管理和基层单位提升工作效率，全面促进公司质效提升。

请参阅图1，图1是基于大数据平台的企业级业数融合数据分析系统的应用架构图。应用架构主要包括6个方面，分别为企业总览模块11、监测成果管理模块12、监测指标模块13、监测主题模块14、数资源管理模块15、系统管理模块16。

企业总览模块11主要包括企业总览、指标异动总览和主题监测异动总览，总体直观反应公司整体运营情况。监测成果管理模块12主要对指标和主题监测过程中产生的指标报表、监测报告、异动明细等进行归集和分类，提供自动生成导出和打印的功能。监测指标模块13根据同业对标、企业负责人等考核指标，结合公司业务，梳理指标体系，构建指标模型，采集明细数据，基于全业务数据中心进行整合、计算，实时反映公司综合绩效、运营状况，及时发现异动、问题并自动预警。另外，监测指标模块13还包括发展投入、电力市场、生产运行、供电服务、资产质量、经营业绩等指标整体监测。监测主题模块14对营销管理、运维检修、项目管理、物资管理、财务管理、和人资管理的107项原子化或半原子化监测业务，从公司核心业务和管理重点出发，依据行业标准或公司管理规定制定业务管理监测规则，挖掘各项业务管理薄弱点，实现业务横向实时在线监测。

数资源管理模块15对运监存储区内数据资源的统一管理，具体包括数据表数据量总览、宽表数据字典查询、数据关联关系拓扑、数据质量等。数据表数据量总览对指标监测和主题监测所需数据表的接入数量、系统来源、数据条目数进行统计。宽表数据字典查询对指标监测和主题监测所需数据宽表提供应用场景描述和数据字段描述。数据关联关系拓扑对指标监测和主题监测所需数据表的来源系统、数据拓扑关系进行描述。数据质量从完整性、准确性、可用性几方面对指标监测源数据进行监测和分析，及时发现数据中存在的质量问题，为数据质量报告提供基础信息。

请参阅图2，图2是本发明的基于大数据平台的企业级业数融合数据分析系统的总体技术架构图。本发明的数据分析系统2包括数据获取模块21、数据储存模块22及监测分析模块23。

数据获取模块21是一源系统，用以从各种数据源中提取及导入数据。数据源是指各业务系统，像是动态采集、日志提取分析工具、外部数据导入工具以及其它数据提取工具。所述的数据数据包括电网的输变电状态、供电电压以及用电信息。

数据储存模块22即为大数据平台，负责储存所述数据，并通过大数据平台技术对所述数据进行清洗、转换后并且处理成数据集合。大数据平台主要由可进行横向扩展的Hadoop集群构成，另外辅之以关系数据库作数据流转、元数据存储。配置大数据的数据管理节点、数据存储节点、虚拟数据节点以及运营监测管理节点，提供数据共享存储服务。

监测分析模块23对所述数据集合进行挖掘、评估及分析，并且建立对应的可视化模型。可视化模型核心是实现两类数据挖掘的算法和模型，一类是抽象的数学算法及模型，另一类是在此基础上针对电网业务的专业算法和模型。

本发明的数据分析系统的数据存储和数据计算基于企业级数据中心的大数据平台。根据数据类型的不同，数据架构及流转路径不同。针对一级和二级部署系统的结构化数据，采用ETL、OGG方式抽取到数据中心的基础数据层，再通过ETL抽取到明细数据层；对于输变电状态、供电电压、用电信息采集等系统的量测数据，抽取到Hbase库进行存储。

对于需要进行大量计算处理的任务采用Spark组件在大数据系统和关系型数据库上进行定时计算，并将处理结果存储于运监数据处理区。对于需要进行合并关联汇总的事务逻辑处理数据，先抽取到运监数据处理区，再统一进行数据清洗、关联合并最终形成数据宽表，再通过可视化组件对宽表数据基于统一风格进行展示。

图3是基于大数据平台的企业级业数融合数据分析系统的总体数据架构图。在图3中，大数据平台中划分数据处理区，统一接入、加工、存储数据，并根据系统应用需要，开展数据模型调整、数据迁移等工作。为保证系统数据架构顺利转换，在对数据加工、存储时，对数据处理脚本和数据库处理事务脚本进行梳理、调整，包含创建存储过程、视图、定时任务、触发器等。系统数据集成分类如下表1所示。

表1

可视化模型3依照表1的系统数据集成分类，包括财务管理模型31、物资管理模型32、营销管理模型33、运检维修模型34以及项目管理模型35。财务管理模型31的数据源为ERP系统、人力资源管理信息系统及财务管控系统。物资管理模型32的数据源为ERP系统。营销管理模型33的数据源为营销业务系统及用户信息采集系统。运检维修模型34的数据源为用户信息采集系统、全业务数据中心、电能质量在线监测系统、生产实时管控系统、调度电网省地县运行方式一体化技术平台、PMS系统及营销业务系统。项目管理模型35的数据源为ERP系统。

本发明的基于大数据平台的企业级业数融合数据分析系统是应用下列功能组件：

HBASE：HBase是一个在Hadoop上开发的面向列存储的分布式数据库，依据HDFS作为其文件存储系统，利用Mapreduce进行处理HBase中的海量数据，利用Zookeeper作为协同服务，主要用于实时随机读取超大规模数据集，可以实现高性能的并发读写操作，同时HBase对数据进行透明的切分，这样就使得存储本身具有水平伸缩性。

HDFS：采用主从(Master/Slave)结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的。NameNode作为主服务器，管理文件系统命名空间和客户端对文件的访问操作。DataNode管理存储的数据，大部分容错机制都是在Datanode上实现的。HDFS支持文件形式的数据，具有全分布式架构、数据块粒度切分、在线扩容减容、复制备份及普通PC硬件适用性等特点，支撑了安全的PB级以上规模数据的在线存储，保证了大数据存储的安全性、低成本及可任意扩容性。

OGG：是一种基于日志的结构化数据复制软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。OGG可以在异构的IT基础结构包括几乎所有常用操作系统平台和数据库平台之间实现大量数据亚秒一级的实时复制,从而可以更好的满足企业海量结构化数据的接入需求。

OGG利用捕捉进程在源系统端读取在线日志或归档日志，然后进行解析，提取其中数据的变化如增、删、改操作，并将相关信息转换为自定义的中间格式存放在队列文件中，再利用传送进程将队列文件通过TCP/IP传送到目标系统。捕捉进程在每次读完log中的数据变化并在数据传送到目标系统后，会写检查点，记录当前完成捕捉的log位置，检查点的存在可以使捕捉进程在中止并恢复后可从检查点位置继续复制；目标系统接受数据变化并缓存到队列中，队列为一系列临时存储数据变化的文件，等待投递进程读取数据；应用进程从队列中读取数据变化并创建对应的SQL语句，通过数据库的本地接口执行，提交到数据库成功后更新自己的检查点，记录已经完成复制的位置。

数据在大数据平台流转的过程中，不同监测主题的数据流转的过程不同，数据的处理方式各异。例如，营销相关类数据主要经过了贴源历史区和纵向历史区，再进入整合明细层，最后由数据处理层进行加工处理形成宽表，数据流转如图4所示。图4是基于大数据平台的企业级业数融合数据分析系统的数据处理流程图。在另外一实施例中，本发明提供的基于大数据平台的企业级业数融合数据分析系统4包括源系统层41、基础数据层42、整合明细层43、数据仓库层(未示出)、数据集市层44以及应用服务层(未示出)。

源系统层41用以采集电网业务涉及到的数据，所述数据包括指针数据、明细数据、实时数据和线下数据。基础数据层42对所述数据进行集成和共享。整合明细层43用以储存所述数据，并且对所述数据进行初步清洗、加工及计算。数据集市层44利用所述数据构建面向特定应用主题的数据集市，特定特定应用主题包括营销、运检、项目、物资、财务及人资。应用服务层利用大数据平台技术对所述数据进行数据挖掘及数据分析。

更详而言之，基础数据层42主要对营销、运维、项目、物资、财务、人资等业务系统所涉及到的实时数据、结构化数据、非结构化数据等进行集成和共享，构建基于大数据技术的数据管理平台，为企业进行数据挖掘和数据分析提供一定的保证。

整合明细层43主要负责临时存储业务系统数据，通过数据集成技术接收来自各业务系统传送的指标数据、明细数据、实时数据和线下数据，根据业务分析需要，一方面可通过ESB、OGG、ETL和Web Service等方式实现与源系统层41的业务系统之间的数据贯通，另一方面采用DXP、OGG等技术实现上下级运监中心间的数据交换与共享；针对产生的实时数据，采用消息队列实现在线采集，对于大量非结构化数据，采用Flume技术进行数据集成。另一个主要功能是负责将采集到的数据进行初步清洗、加工和计算，然后将经过清洗转换的数据传输到统一视图区进行统一存储，进而作为后续数据流转和调度的统一出口，此时形成的数据格式主要包括结构化数据、非结构化数据和半结构化数据。

数据集市层44以营销、运维、项目、物资、财务、人资六大业务应用为主题，从数据仓库中抽取转换加载高质量数据，构建面向特定应用主题的部门级数据集市，进而满足上层更加专业的分析应用需求。数据仓库层研究和解决从源系统层41中获取信息的问题，特征在于面向主题、集成性、稳定性和时变性，数据集市层44是一个从集合数据中为企业各组织部门提供数据挖掘技术应用的平台，是从数据仓库层或者数据中心中抽取出来的数据，着重在服务于特殊设计目标的易访问性和可用性，数据集市层44的设计在于满足企业特定应用分析的即时需求。

应用服务层根据业务需要以及分析决策需求，采用大数据技术进行数据挖掘和数据分析，对关键业务进行专题分析。应用服务层主要包括大数据挖掘分析和可视化分析。数据挖掘分析提供基于流程模式的可视化数据分析功能，通过分析流程设计(含计算节点、统计节点和挖掘节点)，实现业务之间的抽象概括，构建相应的数据挖掘模型并进行模型库管理，包括：回归算法、聚类算法、关联规则、时间序列、综合评价法、文本挖掘、运分析等，还可形成相应的分析主题发布到平台上。可视化分析是基于业务数据模型，通过数据和图形映射，进行数图转换，还可以通过自定义场景方式进行组织和展现，将各种分析主题场景进行组合，形成整体的分析报告，还可根据现有的可视化方法对数据进行可视化分析，包括：常规可视化、高维可视化、表格可视化、基于地图可视化等，实现对数据价值的发掘和利用。

本发明提供一种基于大数据平台的企业级业数融合数据分析系统，透过前述企业总览模块11、监测成果管理模块12、监测指标模块13、监测主题模块14、数资源管理模块15、系统管理模块16的协同运作，能够全面梳理业务和数据融合方式，基于业务分析需求开展海量多源数据融合，依托大数据技术进行价值挖掘和拓展，进而构建业数融合分析模型。本发明提供的系统所具备的功能在于根据企业运营分析需要，进行各业务数据的初步处理、组合形成描述业务关键特征的数据，形成业务分析指标体系(点)，促进公司运营状态感知、异常纠偏。此外，还能依托业务逻辑对多个业务点开展业务贯通性和节点异动分析，对数据开展整合、拼接和关联等处理，形成全业务流程分析体系(线)，实现业务分析从点到线的拓展。促进业务与数据共享融合、业务横向协作。再者，更能依托业务点、线的分析结果，采用大数据计算分析、机器学习等技术，构建计算量巨大、复杂业务专题场景决策分析模型(面)，促进系统性分析决策的能力。

上述实施方式仅为例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟习此项技艺的人士均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与变化。因此，本发明的权利保护范围，应如权利要求所列。

Claims (10)

1.一种基于大数据平台的企业级业数融合数据分析系统，其特征在于，所述系统包括：数据采集模块，用以从各种数据源中提取及导入数据；

数据储存模块，储存所述数据，并通过大数据平台技术对所述资料进行清洗、转换后并且处理成数据集合；以及

监测分析模块，对所述数据集合进行挖掘、评估及分析，并且建立对应的可视化模型。

2.如权利要求1所述的基于大数据平台的企业级业数融合数据分析系统，其特征在于，所述数据报括电网的输变电状态、供电电压以及用电信息。

3.如权利要求1所述的基于大数据平台的企业级业数融合数据分析系统，其特征在于，所述可视化模型包括财务管理模型、物资管理模型、营销管理模型、运检维修模型24以及项目管理模型。

4.如权利要求3所述的基于大数据平台的企业级业数融合数据分析系统，其特征在于，所述财务管理模型的数据源为ERP系统、人力资源管理信息系统及财务管控系统。

5.如权利要求3所述的基于大数据平台的企业级业数融合数据分析系统，其特征在于，所述物资管理模型的数据源为ERP系统。

6.如权利要求3所述的基于大数据平台的企业级业数融合数据分析系统，其特征在于，所述营销管理模型的数据源为营销业务系统及用户信息采集系统。

7.如权利要求3所述的基于大数据平台的企业级业数融合数据分析系统，其特征在于，所述运检维修模型的数据源为用户信息采集系统、全业务数据中心、电能质量在线监测系统、生产实时管控系统、调度电网省地县运行方式一体化技术平台、PMS系统及营销业务系统。

8.如权利要求3所述的基于大数据平台的企业级业数融合数据分析系统，其特征在于，所述项目管理模型的数据源为ERP系统。

9.一种基于大数据平台的企业级业数融合数据分析系统，其特征在于，包括：

源系统层，用以采集电网业务涉及到的数据，所述数据报括指针数据、明细数据、实时数据和线下资料；

基础数据层，对所述数据进行集成和共享；

整合明细层，用以储存所述数据，并且对所述数据进行初步清洗、加工及计算；

数据集市层，利用所述数据构建面向特定应用主题的数据集市；以及

应用服务层，利用大数据平台技术对所述数据进行数据挖掘及数据分析。

10.如权利要求9所述的基于大数据平台的企业级业数融合数据分析系统，其特征在于，所述特定特定应用主题包括营销、运检、项目、物资、财务及人资。