CN109739912A - 数据分析方法及系统 - Google Patents

Abstract

本发明公开了一种数据分析方法及系统。其中，该系统包括：数据整合模块，用于采集电量数据，并将所述电量数据整合为结构化数据；数据存储模块，用于存储所述结构化数据，得到批量的离线数据；数据计算模块，用于计算批量的离线数据，得到计算结果；数据分析模块，用于依据计算结果，分析数据，确定用户的用电数据、资产设备数据和设备状态监测数据；数据展示模块，用于展示所述用电数据、资产设备数据和设备状态监测数据。本发明解决了相关技术中在分析数据时，无法反应用户的实时数据，且无法对不同用户进行精准营销的技术问题。

Description

数据分析方法及系统

技术领域

本发明涉及数据分析技术领域，具体而言，涉及一种数据分析方法及系统。

背景技术

在相关技术中，随着客户用电需求的增大，传统分析工具以抽样为基础，受抽样方法、样本范围等因素影响，无法有效反映客户用电情况；客户用电数据来源滞后，无法实时产生分析结果，分析结果滞后，无法反映客户用电实时情况；客户分类粒度粗，无法对不同客户进行精准营销。并且在用电负荷分析方面，会缺乏有效的用电负荷分析模型，现有的负荷特性分析模型单一，无法满足日益增长的用电需求，而防窃电预警分析工作也只能依靠人工去完成，无法实现高效、精准分析，并且已有的分析模型无法根据海量业务数据进行实时分析，分析结果严重滞后，无法有效指导公司业务运营。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据分析方法及系统，以至少解决相关技术中在分析数据时，无法反应用户的实时数据，且无法对不同用户进行精准营销的技术问题。

根据本发明实施例的一个方面，提供了一种数据分析系统，包括：数据整合模块，用于采集电量数据，并将所述电量数据整合为结构化数据；数据存储模块，用于存储所述结构化数据，得到批量的离线数据；数据计算模块，用于计算批量的离线数据，得到计算结果；数据分析模块，用于依据计算结果，分析数据，确定用户的用电数据、资产设备数据和设备状态监测数据；数据展示模块，用于展示所述用电数据、资产设备数据和设备状态监测数据。

进一步地，所述数据整合模块包括：整合子模块，采用预设的数据整合技术整合所述电量数据，其中，所述数据整合技术包括下述至少之一：实时消息队列、离线数据抽取工具、增量数据库。

进一步地，数据分析系统还包括：数据转换模块，用于将所述结构化数据按照统一的数据标准进行格式转换，以得到转换后的结构化数据。

进一步地，数据存储模块包括：数据存储子模块，用于采用预设的数据存储库存储所述结构化数据，其中，所述预设的数据存储库至少包括：分布式存储数据库文件、关系型数据库、非关系型数据库。

进一步地，数据计算模块包括：数据计算子模块，用于采用预设的计算技术计算批量的离线数据，其中，预设的计算技术至少包括：批量计算，所述批量计算支持数据离线分析。

进一步地，数据分析系统还包括：安全管理模块，用于构建系统的安全组件和数据组件。

根据本发明实施例的另一方面，还提供了一种数据分析方法，包括：采集各个用户的用电量数据；依据所述用电量数据，构建电量分析模型；利用所述电量分析模型，确定目标区域内的电力行业分布数据和每个用户的用户基础信息；依据所述电力行业分布数据和用户基础信息，确定数据运行方案。

进一步地，数据分析方法还包括：获取窃电数据，其中，所述窃电数据包括下述至少之一：窃电用户分布数据、窃电用户行业分布数据和窃电用户清单；依据所述窃电数据，构建防窃电预警分析模型；利用所述防窃电预警分析模型，确定目标区域内的窃电行业分布数据和每个窃电用户的用户基础信息；依据所述窃电行业分布数据和用户基础信息，确定防窃电方案。

进一步地，数据分析方法还包括：构建故障量分析模型；利用所述故障量分析模型对采集到的所述用电量数据进行分析，确定发生故障的台区、变压器和配电网。

根据本发明实施例的另一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述任意一项所述的数据分析方法。

在本发明实施例中，通过数据整合模块采集电量数据，并将电量数据整合为结构化数据，通过数据存储模块存储结构化数据，得到批量的离线数据，通过数据计算模块计算批量的离线数据，得到计算结果，通过数据分析模块依据计算结果，分析数据，确定用户的用电数据、资产设备数据和设备状态监测数据，通过数据展示模块展示用电数据、资产设备数据和设备状态监测数据。在该实施例中，可以通过批量的离线数据，来分析用户的用电数据、资产设备数据和设备状态监测数据，可以实时展示用电数据、资产设备数据和设备状态监测数据，进而解决相关技术中在分析数据时，无法反应用户的实时数据，且无法对不同用户进行精准营销的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种数据分析系统的示意图；

图2是根据本发明实施例的一种数据平台的示意图；

图3是根据本发明实施例的一种数据分析方法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于用户理解本发明，下面对本发明中涉及的术语或名词做出解释：

分布式计算：进行多类型数据计算，本申请中大数据平台的数据来源除了传统的数据中心、数据仓库之外，更多的数据是来自于之前无法有效处理的各类文件，如设备日志、数据交换文件、现场检修照片、远程监视的视频、气温信息等。这些文件数据结构不明确、清晰，变化频繁，数量巨大。通过大数据平台的分布式存储可以低成本存储文件，也可以将其中的数据解析成结构化或半结构化的数据存储在大数据平台中。

分布式存储：分布式文件系统是指基于客户机/服务器模式，文件系统管理的物理资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统表现为文件数据存储在分散的低成本存储介质上，对外提供一致的文件访问接口，具有良好的容错性。

启发式分析：提供分析决策类应用快速构建的能力，其中关键点在于如何满足复杂多变的业务分析逻辑。软件通过对业务分析逻辑进行流程化拆分，将业务分析逻辑抽象成类似“工作流”的模型。

内存计算：内存计算技术(In-Memory Computing，IMC)指数据存储和计算全部位于主内存中，利用CPU和内存的速度和性能优势，结合并行计算技术，实现高性能计算。

图1是根据本发明实施例的一种数据分析系统的示意图，如图1所示，该系统可以包括：

数据整合模块11，用于采集电量数据，并将电量数据整合为结构化数据；

数据存储模块12，用于存储结构化数据，得到批量的离线数据；

数据计算模块13，用于计算批量的离线数据，得到计算结果；

数据分析模块14，用于依据计算结果，分析数据，确定用户的用电数据、资产设备数据和设备状态监测数据；

数据展示模块15，用于展示用电数据、资产设备数据和设备状态监测数据。

上述数据分析系统，通过数据整合模块11采集电量数据，并将电量数据整合为结构化数据，通过数据存储模块12存储结构化数据，得到批量的离线数据，通过数据计算模块13计算批量的离线数据，得到计算结果，通过数据分析模块14依据计算结果，分析数据，确定用户的用电数据、资产设备数据和设备状态监测数据，通过数据展示模块15展示用电数据、资产设备数据和设备状态监测数据。在该实施例中，可以通过批量的离线数据，来分析用户的用电数据、资产设备数据和设备状态监测数据，可以实时展示用电数据、资产设备数据和设备状态监测数据，进而解决相关技术中在分析数据时，无法反应用户的实时数据，且无法对不同用户进行精准营销的技术问题。

本申请实施例中可以应用于大数据平台，图2是根据本发明实施例的一种数据平台的示意图，如图2所示，该数据平台可以包括：数据整合层、数据存储层、数据计算层、数据分析层、平台服务层、数据管理层、平台管理层、安全管理层、跨域数据协同计算层，其中，

数据整合层采用实时消息队列、离线数据抽取工具、文件数据采集工具、增量数据库捕获工具等多种技术手段，导入结构化数据、非结构化数据、海量/实时数据、空间数据，对各类数据按照统一数据规范进行标准化、格式转换及关联处理后，采用分布式文件、关系型数据库、非关系型数据库等存储技术进行存储。

数据存储层，可以基于x86服务器集群，采用关系数据库PostgreSQL、分布式文件系统HDFS、分布式列式数据库HBase、MySQL、内存数据库等存储技术，构建关系型数据存储、非关系型数据存储、分布式文件存储等数据存储体系，存储结构化数据、准实时数据、非结构化数据、半结构化数据，提高数据存储的横向扩展能力与高并发条件下的快速数据响应能力，满足数据准实时存储需求。

数据计算层采用Spark、MapReduce、Storm等技术实现流计算、实现批量计量、内存计算等多种分布式计算技术满足不同时效性的计算需求。流计算支持实时处理，如电表数据实时处理、预警。内存计算支持交互性分析，如全省用电数据在线统计。批量计算支持大批量数据的离线分析，如历史数据报表分析。

数据分析层，融合分布式数据挖掘算法库Mahout，并研究数据挖掘，构建统一的分析建模能力和运行引擎。

平台服务层，通过API、WebService、JDBC等技术对存储、计算、分析展现进行统一的接口封装，提供统一的服务。

数据管理层，通过研发基础数据管理组件、数据质量管理组件、数据流转监测组件和数据运维管理组件，实现统一的数据管理。

平台管理层，采用开源组件Ganglia、Nagios分别进行集群监控和网络监控；采用开源组件ZooKeeper提供分布式应用程序协调服务；采用开源组件Yarn提供统一的资源管理和调度；采用开源组件Quartz作为作业调度引擎；并在此基础上封装形成安装部署组件、资源管理组件和作业调度组件。

安全管理层，构建平台安全和数据安全组件。

跨域协同计算层，构建跨域资源管理组件、分权分域管理组件、跨域数据同步管理组件、跨域计算作业管理组件、跨域运行监控组件。

利用大数据平台数据整合、数据计算、数据分析、数据展示功能，结合业务需求，进行数据可视化展示。

在使用上述的数据平台后，下面对上述数据分析系统的各个模块进行说明。

可选的，数据整合模块包括：整合子模块，采用预设的数据整合技术整合电量数据，其中，数据整合技术包括下述至少之一：实时消息队列、离线数据抽取工具、增量数据库。利用大数据平台数据传输功能，实现数据从源端业务系统到大数据平台分布式数据仓库(Hive)数据流转，通过编写自定义数据链路包，结合spoon工具将整合数据存放至大数据hive数据仓库。

上述数据计算模块，可以添加自定义数据计算jar包，结合大数据平台查询计算功能，利用大数据平台资源CPU和内存的速度及性能优势，通过大数据平台内存计算(SPARK)、流计算(Storm)以及MapReduce功能组件，消除磁盘I/O性能瓶颈，实现高实时高响应计算，并将计算结果存放至postgreSQL数据库。

另一种可选的，数据分析系统还包括：数据转换模块，用于将结构化数据按照统一的数据标准进行格式转换，以得到转换后的结构化数据。

在本申请中，数据存储模块包括：数据存储子模块，用于采用预设的数据存储库存储结构化数据，其中，预设的数据存储库至少包括：分布式存储数据库文件、关系型数据库、非关系型数据库。

可选的，数据计算模块包括：数据计算子模块，用于采用预设的计算技术计算批量的离线数据，其中，预设的计算技术至少包括：批量计算，批量计算支持数据离线分析。

另一种可选的，数据分析系统还包括：安全管理模块，用于构建系统的安全组件和数据组件。

在本申请中，进行数据分析时，利用大数据平台自助式分析工具，通过聚类、线性回归算法，对电网资产设备进行挖掘、分析，提升数据分析的速率；通过聚类算法构建客户负荷预测模型，同时结合时间序列模型、灰色预测模型、多因素影响分析模型，将数据结果输出到数据集市；利用决策树算法、关联分析算法进行综合判断和分析，提高防窃电行为的监测可靠性；通过Logistic回归算法构建重过载模型，与业务部门单一的基于阈值方法进行监测预警分析相比，大数据挖掘技术的配变重过载预测分析，能够更加准确、及时的预判未来一周的配变重过载情况。

而在进行数据展示时，可以利用数据平台tableau server服务，以稳定、高性能的方式提供场景展示，结合场景的业务需求，由tableau工具进行个性化制作，最终利用javascript脚本实现场景界面的展示。

本申请可以在大数据平台建设的基础上，利用分布式存储系统，实现高效的数据存取，达到数据资源共享的目的，并且大数据平台提供丰富的资源优势，基于分布式计算、内存计算等计算组件，能够高效的计算业务数据，实现数据的实时传输。通过大数据平台搭建预测分析模型，能够更加精准反映数据运行情况，方便业务人员高效、高质量完成工作任务，同时可以构建客户用电行为分析、资产设备数、设备状态监测场景，以满足用户更高的用电需求，实现配网设备故障量分析与监测，完善电网设备投入产出分析评价体系，切实提高公司服务水平，提升公司经营管理、电网生产方面的能力。

根据本发明实施例，提供了一种数据分析方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图3是根据本发明实施例的一种数据分析方法的流程图，如图3所示，该方法包括：

步骤S302，采集各个用户的用电量数据；

步骤S304，依据用电量数据，构建电量分析模型；

步骤S306，利用电量分析模型，确定目标区域内的电力行业分布数据和每个用户的用户基础信息；

步骤S308，依据电力行业分布数据和用户基础信息，确定数据运行方案。

通过上述步骤，可以采集各个用户的用电量数据，依据用电量数据，构建电量分析模型，利用电量分析模型，确定目标区域内的电力行业分布数据和每个用户的用户基础信息，依据电力行业分布数据和用户基础信息，确定数据运行方案。在该实施例中，可以通过构建电量分析模型来分析电力行业分布数据和用户的基础信息，从而实时的了解到用户的用电数据、资产设备数据和设备状态监测数据，可以实时展示用户的用电数据，确定出数据运行方案，进而解决相关技术中在分析数据时，无法反应用户的实时数据，且无法对不同用户进行精准营销的技术问题。

可选的，本申请中的数据分析方法还包括：获取窃电数据，其中，窃电数据包括下述至少之一：窃电用户分布数据、窃电用户行业分布数据和窃电用户清单；依据窃电数据，构建防窃电预警分析模型；利用防窃电预警分析模型，确定目标区域内的窃电行业分布数据和每个窃电用户的用户基础信息；依据窃电行业分布数据和用户基础信息，确定防窃电方案。

本申请中防窃电预警分析模型主要是由窃电嫌疑用户分布、窃电用户行业分布、窃电嫌疑用户清单构成。通过加载区域地图，将目标范围内疑似窃电用户投放至地图上，以便清晰的查看不同地市疑似窃电用户的数据及分布情况，利用窃电用户行业分图，以便快速分析不同行业存在的窃电现象。通过窃电嫌疑用户清单，能够精准分析窃电用户详细信息，方便防窃电工作的开展。

另一种可选的，数据分析方法还包括：构建故障量分析模型；利用故障量分析模型对采集到的用电量数据进行分析，确定发生故障的台区、变压器和配电网。

可选的，本申请中的故障量分析模型主要包括配变故障量分析情况分析、配变故障量日趋势分析、故障明细一览、故障量与负荷分析。通过加载目标区域的地图，分析每个子区域配变故障量情况，利用配变故障日趋势监测，分析一天配变运行情况，通过故障明细一览，详细反映故障量分布情况，结合业务人员实际勘测，辅助制定配变设备的检修策略。

另一种可选的，数据分析方法还包括：构建资产设备树；通过资产设备树来分析各个台区的投入产出状况，指导规划人员进行台区设备的投资改造。

本申请中的资产设备树综合分析是由行政区域地图导航、下属单位预测投入分析、台区投入产出趋势分析、台区投入产出综合排名构成。通过下属单位预测投入分析，能够实现地市公司投入预测，点击饼状图，可以清晰展示投入产出具体明细。利用台区投入产出分析模型，可以预测未来台区投入产出状况，指导规划人员进行台区设备的投资改造。点击综合排名靠后20％九项指标，将各地市公司排名靠后的台区设备具体明细进行导出，辅助业务人员进行分析。

通过本申请上述实施例，客户用电行为分析场景防窃电分析模型是基于防窃电单一异常分析结果，结合各类异常分析模型的权值、不同模型间关联关系以及关联分析算法进行综合判断及分析，判断用户窃电可能性的大小。

依据资产设备树综合分析，分析配电网的台区投入情况，对台区进行预测分析，同时结合单位台区产出情况，对台区投入产出趋势进行分析，实现电网设备资产价值的评估，为规划投资人员提供分析支撑，指导未来的投资改造。

依据设备状态监测场景故障量分析模型，可以对变压器的投运年限、运行负荷、负载率、故障量进行监测分析，同时结合气象条件和历史运行工况信息，分析变压器油温最近趋势情况，以及未来一天量值预测，为公司变压器的检修提供有效的检修策略，辅助业务人员进行配变的维护与检修。

根据本发明实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一项的数据分析方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据分析系统，其特征在于，包括：

数据整合模块，用于采集电量数据，并将所述电量数据整合为结构化数据；

数据存储模块，用于存储所述结构化数据，得到批量的离线数据；

数据计算模块，用于计算批量的离线数据，得到计算结果；

数据分析模块，用于依据计算结果，分析数据，确定用户的用电数据、资产设备数据和设备状态监测数据；

数据展示模块，用于展示所述用电数据、资产设备数据和设备状态监测数据。

2.根据权利要求1所述的系统，其特征在于，所述数据整合模块包括：

整合子模块，采用预设的数据整合技术整合所述电量数据，其中，所述数据整合技术包括下述至少之一：实时消息队列、离线数据抽取工具、增量数据库。

3.根据权利要求1所述的系统，其特征在于，还包括：

数据转换模块，用于将所述结构化数据按照统一的数据标准进行格式转换，以得到转换后的结构化数据。

4.根据权利要求1所述的系统，其特征在于，数据存储模块包括：

数据存储子模块，用于采用预设的数据存储库存储所述结构化数据，其中，所述预设的数据存储库至少包括：分布式存储数据库文件、关系型数据库、非关系型数据库。

5.根据权利要求1所述的系统，其特征在于，数据计算模块包括：

数据计算子模块，用于采用预设的计算技术计算批量的离线数据，其中，预设的计算技术至少包括：批量计算，所述批量计算支持数据离线分析。

6.根据权利要求1所述的系统，其特征在于，还包括：

安全管理模块，用于构建系统的安全组件和数据组件。

7.一种数据分析方法，其特征在于，包括：

采集各个用户的用电量数据；

依据所述用电量数据，构建电量分析模型；

利用所述电量分析模型，确定目标区域内的电力行业分布数据和每个用户的用户基础信息；

依据所述电力行业分布数据和用户基础信息，确定数据运行方案。

8.根据权利要求7所述的方法，其特征在于，还包括：

获取窃电数据，其中，所述窃电数据包括下述至少之一：窃电用户分布数据、窃电用户行业分布数据和窃电用户清单；

依据所述窃电数据，构建防窃电预警分析模型；

利用所述防窃电预警分析模型，确定目标区域内的窃电行业分布数据和每个窃电用户的用户基础信息；

依据所述窃电行业分布数据和用户基础信息，确定防窃电方案。

9.根据权利要求7所述的方法，其特征在于，还包括：

构建故障量分析模型；

利用所述故障量分析模型对采集到的所述用电量数据进行分析，确定发生故障的台区、变压器和配电网。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求7至9中任意一项所述的数据分析方法。