CN105303455A - 电力企业用户数据存储和分析系统 - Google Patents

Abstract

本发明提供了一种电力企业用户数据存储和分析系统，用于将采集的电力企业用户数据进行集成存储管理，并进行数据分析和挖掘。本发明提出了一种电力企业用户数据存储和分析系统，实现了电力企业异构数据的高效存储和快速分析，成本低、扩展性好、可靠性高，提高了电力企业服务水平。

Description

电力企业用户数据存储和分析系统

技术领域

本发明涉及电力数据处理，特别涉及一种电力企业用户数据存储和分析系统。

背景技术

随着国家经济的强劲增长，电网规模不断扩大，电网运营复杂度不断提高，需要综合运用先进的技术和管理手段，提高电网运维和用户服务水平。电网企业在企业信息化的进程中已经积累了来自于各个信息化系统的海量数据，但各信息系统间除了开放接口传输数据外，基本无其他协作性操作，数据传输操作通常会因为电网对象规约的升级而带来语义不一致问题，且随着接口开放的日益增多，阻碍了电力企业新电力服务的实施，而且不利于信息系统的维护。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种电力企业用户数据存储和分析系统，用于将采集的电力企业用户数据进行集成存储管理，并进行数据分析和挖掘。

优选地，所述电力企业用户数据存储和分析系统包括：数据库模块、策略计算模块、数据管理模块和应用模块；

其中数据库模块，包括电力企业各个业务系统数据库，即用户服务信息数据库、市场数据库、调度系统数据库、负控系统数据库、办公系统数据库、业务办理系统数据库、视频监控系统数据库；对异构的多个数据源的访问节点进行统一配置和管理；策略计算模块，包括集群服务器和在线计算模块，集群服务器用于存储非结构化数据，包括用户服务系统的交互信息、WEB服务数据、企业办公系统的文档数据；在线计算模块用于分析文本、语音和图像信息，判定对于特定问题下某类数据的相关性；策略计算模块还存储利用数据获取、转换和加载模型为电网企业用户服务决策制定过程提供支持的电力市场数据的集合；所述数据管理模块，在策略计算模块和应用模块之间构建一层代理，统一进行数据管理与数据访问，进行模型数据映射和性能优化，其中模型数据映射表示业务模型各属性与底层不同类型数据源的映射，支持对关系型数据库和非关系型数据库的访问，提供基于业务模型的统一查询和更新接口；性能优化包括二级缓存、异步并行的数据查询、并发保护和查询过滤；所述应用模块包括数据展示组件、数据分析组件和报表组件，并向用户提供报表分析和图形化分析的数据访问和数据展示，所述应用模块基于统一的数据服务平台，利用前端工具，完成各类报表、数据分析与挖掘的定制、生成、发布，集成展现工具，完成预定义报表、多维报表的分析展示和数据应用。

优选地，所述应用模块，还用于按照空间数据特点，生成点、线、环的电力用户的基本支撑业务数据，再进行数据处理，包括概率抽样、假设检验、相关性分析、回归和决策树分析，以分析空间数据；并在统计数据分析基础上，进一步实现用户数据挖掘和矩阵计算；将电力用户数据优化和模型化，形成低维度精简数据集，并且进行线性回归模型、对数线性模型和多维度模型的建立与分析；进行定量分析和统计分析，实现分类回归树算法，并对该算法进行封装，预测变量与因变量之间的线性相关性。

优选地，所述数据库模块包括用户可以通过客户端访问的数据库服务器，用户的任何访问操作首先需要通过认证中心进行认证，然后通过从认证中心获取的令牌进行后续的存储操作；所述数据库服务器包括上层管理服务端和底层存储平台；上层管理服务端提供电力企业数据应用、管理、监控的应用系统，为企业用户提供个人数据存储、分享；底层存储平台为上层管理服务端提供底层数据存储及管理；用户通过客户端访问数据库服务器，客户端完成数据管理和共享管理；数据管理包括数据上传，数据下载、文件复制、删除、重命名；共享管理基于分组，该分组由用户创建，修改和移除；分组中的所有用户对分组中的所有数据享有读取权限；共享的数据只有创建者与数据上传者来删除；数据库服务器通过数据隔离、访问控制、冗余存储和备份恢复实现安全保障；只有授权用户才能访问，每个授权用户都设置自己的登录密码，实现身份验证安全；管理员可设置不同的子帐户，不同的子帐户设置不同的访问权限；经数据所有者授权的许可数据才可进行被许可的操作；实现身份的授权，防止越权访问；通过数据冗余、灾难备份及自动恢复，为企业提供数据安全保障；

在所述访问控制中，采用分组共享，创建者对分组中的所有共享数据拥有读与写权限，而分组中的其他普通用户则对所有共享数据拥有读取权限，而只对自己上传的数据拥有写权限；而不在该分组中的其他用户则无法访问分组中共享的数据；为每个用户在数据库服务器中创建一个帐户，同时为该用户在其帐户下创建一个用户实例，允许该用户在其帐户下具有管理员权限，以及创建容器；用户创建的容器可以授权让其他用户操作，包括读取权限与写权限；每个用户均默认创建一个私有容器；当一个用户创建分组时，在自己的帐户下创建多个容器，不同共享用户对不同的容器的访问权限不同，以此实现数据的共享以及数据的写权限保护。

本发明相比现有技术，具有以下优点：

本发明提出了一种电力企业用户数据存储和分析系统，实现了电力企业异构数据的高效存储和快速分析，成本低、扩展性好、可靠性高，提高了电力企业服务水平。

具体实施方式

下文提供对本发明一个或者多个实施例的详细描述。结合这样的实施例描述本发明，但是本发明不限于任何实施例。本发明的范围仅由权利要求书限定，并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的透彻理解。出于示例的目的而提供这些细节，并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。

本发明的电力企业用户数据存储和分析系统，利用数据集成存储、管理和应用电力企业数据和信息资源，并进行数据分析和挖掘。系统通过对电力企业用户服务的各类数据(结构化、半结构化和非结构化)采集、处理与集成，对电力企业用户各类数据进行整合与优化；使用非结构化数据的存储平台；在数据分析时，使用数据聚合与数据挖掘技术。可以帮助业务人员快速定位故障，提高电力企业的用户服务水平。

系统以数据统一规划、信息资源共享为基础，通过信息及业务数据的整合，建设高度集约、高度智能的综合数据监控平台，实现用户服务资源图形化、服务状态信息化展示。获取有意义的信息数据，分析原因和结果，为运营评估、决策以及运营的改善提供支持。系统从整体上分为四个层次：数据库模块、策略计算模块、数据管理模块、应用模块。

①数据库模块，包括电力企业业务系统数据库，即用户服务信息数据库、市场数据库、调度系统数据库、负控系统数据库、办公系统数据库、业务办理系统数据库、视频监控系统数据库；对异构的多个数据源的访问节点进行统一配置和管理。

②策略计算模块，包括集群服务器，用于存储非结构化数据，如用户服务系统的交互信息、WEB服务数据、企业办公系统的文档数据，集群服务器分析这些原始数据并能提高系统性能；在线计算模块，用来分析文本、语音和图像信息，它快速判定对于特定问题下某类数据的相关性；策略计算模块还存储了为电网企业用户服务决策制定过程提供支持的电力市场数据的集合，其中，数据获取、转换和加载模型的设计是数据分析的基础和关键性组件。

③数据管理模块。在策略计算模块和应用模块之间，构建一层代理，统一进行数据管理与数据访问，在该模块用于进行模型数据映射和性能优化，前者实现业务模型各属性与底层不同类型数据源的模型数据映射，支持对关系型数据库和非关系型数据库的访问，提供基于业务模型的统一查询和更新接口；后者提供二级缓存、异步并行的数据查询、并发保护和查询过滤等。

④应用模块。该模块包括数据展示组件、数据分析组件和报表组件等，并向决策者、管理者、执行者和专业分析者等用户提供报表分析和图形化分析等数据访问和数据展示。基于统一的数据服务平台，利用前端工具，完成各类报表、数据分析与挖掘的定制、生成、发布等工作，集成展现工具，完成预定义报表、多维报表的分析展示和数据应用。

对于上述数据获取、转换和加载模型，本发明针对电力企业的结构化数据设计该模型，可将电网结构化数据的行为表达为四元组N＝(P，W，O，M)，其中，P表示数据源的数据集合，W表示数据库的数据集合，O表示多个相互独立的事务集合，M表示数据库建模的元数据集合。其中事务O＝{O₁，O₂，O₃}，O₁表示数据获取事务，根据数据库元数据直接从数据存储和分析系统中获取数据；O₂表示数据加载事务，负责将接口文件区的数据表映射到数据库缓存文件区的数据表并进行相关的数据转换、处理和加载；O₃表示集成事务，按照数据库模型，对缓存区中的数据进行数据验证和数据映射，并且将进过检验过的数据集成到数据库区中。要实现O₁的数据获取事务，两种数据获取策略是：整体获取策略和增量获取策略。前者是在数据获取时全新加载数据源数据，后者是在整体获取的基础上，后续数据获取事务只获取上次获取以后的变更数据。

如何高效、简便、直观地对用户服务信息进行管理及分析处理，并能有效地为决策人员服务，是提高用户服务水平的关键技术之一。使用相应的分析模型工具对数据库中的数据进行相关分析后，生成不同导向的分析模型(包括服务质量指标分析和服务质量主题分析等)，不同用户可通过多层和多维数据库对分析结果进行访问。

针对电力用户服务管理组织方式的主题分析，利用了二维指标的多维数据模型。数据统计值有6个统计值：累计值、增量值、平均值、最大值、最小值和标准差值。按照各类空间数据特点，生成点、线、环等电力用户服务的基本支撑业务数据，再进行数据处理(如：概率抽样、假设检验、相关性分析、回归和决策树分析)，以实现分析空间数据。并在统计数据分析基础上，进一步实现用户数据挖掘和矩阵计算。

在海量数据基础上，数据分析预测模型的建立相对更为复杂，数据准备环节至关重要，需要紧密结合业务规则，优化和模型化电力用户数据形成低维度精简数据集或精简深度数据。系统进行线性回归模型、对数线性模型和多维尺度模型建立与分析

系统进行定量分析和统计分析，实现分类回归树算法，并对该算法进行封装，该算法用于在没有隐含假设前提下，预测变量与因变量之间的线性相关性。

数据库模块提供安全、可靠、高效的数据存储平台，用户可以通过客户端访问数据库服务器，用户的任何访问操作首先需要通过认证中心进行认证，然后通过从认证中心获取的令牌进行后续的存储操作，包括：对象的上传、下载、删除、新建目录等。

数据库服务器包括：上层管理服务端和底层存储平台。上层管理服务端提供完整的电力企业数据应用、管理、监控的应用系统。为企业用户提供个人数据存储、分享服务，保护数据安全；也可以按照企业组织架构组建企业级、部门级、项目级的协同工作服务，提高数据处理效率。此外，灵活的空间管理、集中的帐户配置、实时的日志审计方便系统管理者实现全方位的管理和监控。底层存储平台为上层管理服务端提供底层数据存储及管理服务。用户通过客户端访问数据库服务器。客户端实现以下管理方面。

(1)数据管理。包括数据上传，数据下载、文件复制、删除、重命名等操作。

(2)共享管理。共享管理是基于分组的。用户可以创建，修改和移除分组。分组中的所有用户对分组中的所有数据享有读取权限。共享的数据只有创建者与数据上传者可以删除它。

数据库服务器的数据安全保障包括数据隔离、访问控制、冗余存储和备份恢复。

1)对用户的数据采取隔离措施，保证用户数据的易访问性和安全性。

2)只有授权用户才能访问，每个授权用户都设置自己的登录密码，实现身份验证安全；管理员可设置不同的子帐户，根据不同分支组织，设置不同的访问权限，子帐户无法访问查看其它帐户的数据，保障数据的保密；用户只能对经管理员或数据所有者授权的许可数据进行被许可的操作；实现身份的授权，防止越权访问。

3)后台采用分布式数据库，实现设备级、系统级、部署级一体的多级容灾机制。通过数据冗余、灾难备份及自动恢复技术，为企业提供数据安全保障。对数据进行备份冗余保护，并且在适当的时候以可接受的成本来实现业务的容灾，保证应用与业务的可用性。

对于访问控制，其目标是通过对用户访问资源的活动进行有效监控，使合法的用户在合法的时间内获得有效的访问控制权限，防止非授权用户访问系统资源，从而保证信息资源不被非法使用和访问。本发明采用分组共享，避免了复杂的密钥发布与管理。创建者对分组中的所有共享数据拥有读与写权限，而分组中的其他普通用户则对所有共享数据拥有读取权限，而只对自己上传的数据拥有写权限。而不在该分组中的其他用户则无法访问分组中共享的数据，实现了精细的访问控制。

为每个用户在数据库服务器中创建一个帐户，同时为该用户在其帐户下创建一个用户实例，该用户在其帐户下具有管理员权限，可以在该帐户下创建容器。该用户创建的容器可以授权让其他用户操作，包括读取权限与写权限。每个用户均默认创建一个私有容器，其他用户无法访问。当一个用户创建分组时，他是在自己的帐户下创建了多个容器组成，不同共享用户对不同的容器的访问权限不同，以此来实现数据的共享以及数据的写权限保护。另外，创建者对他所创建分组内的容器均具备读写权限，以及分配权限的能力。

本发明提出了一种电力企业用户数据存储和分析系统，实现了电力企业异构数据的高效存储和快速分析，成本低、扩展性好、可靠性高，提高了电力企业服务水平。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (4)

1.一种电力企业用户数据存储和分析系统，用于将采集的电力企业用户数据进行集成存储管理，并进行数据分析和挖掘。

2.根据权利要求1所述的系统，其特征在于，所述电力企业用户数据存储和分析系统包括：数据库模块、策略计算模块、数据管理模块和应用模块；

其中数据库模块，包括电力企业各个业务系统数据库，即用户服务信息数据库、市场数据库、调度系统数据库、负控系统数据库、办公系统数据库、业务办理系统数据库、视频监控系统数据库；对异构的多个数据源的访问节点进行统一配置和管理；策略计算模块，包括集群服务器和在线计算模块，集群服务器用于存储非结构化数据，包括用户服务系统的交互信息、WEB服务数据、企业办公系统的文档数据；在线计算模块用于分析文本、语音和图像信息，判定对于特定问题下某类数据的相关性；策略计算模块还存储利用数据获取、转换和加载模型为电网企业用户服务决策制定过程提供支持的电力市场数据的集合；所述数据管理模块，在策略计算模块和应用模块之间构建一层代理，统一进行数据管理与数据访问，进行模型数据映射和性能优化，其中模型数据映射表示业务模型各属性与底层不同类型数据源的映射，支持对关系型数据库和非关系型数据库的访问，提供基于业务模型的统一查询和更新接口；性能优化包括二级缓存、异步并行的数据查询、并发保护和查询过滤；所述应用模块包括数据展示组件、数据分析组件和报表组件，并向用户提供报表分析和图形化分析的数据访问和数据展示，所述应用模块基于统一的数据服务平台，利用前端工具，完成各类报表、数据分析与挖掘的定制、生成、发布，集成展现工具，完成预定义报表、多维报表的分析展示和数据应用。

3.根据权利要求2所述的系统，其特征在于，所述应用模块，还用于按照空间数据特点，生成点、线、环的电力用户的基本支撑业务数据，再进行数据处理，包括概率抽样、假设检验、相关性分析、回归和决策树分析，以分析空间数据；并在统计数据分析基础上，进一步实现用户数据挖掘和矩阵计算；将电力用户数据优化和模型化，形成低维度精简数据集，并且进行线性回归模型、对数线性模型和多维度模型的建立与分析；进行定量分析和统计分析，实现分类回归树算法，并对该算法进行封装，预测变量与因变量之间的线性相关性。

4.根据权利要求3所述的系统，其特征在于，所述数据库模块包括用户可以通过客户端访问的数据库服务器，用户的任何访问操作首先需要通过认证中心进行认证，然后通过从认证中心获取的令牌进行后续的存储操作；所述数据库服务器包括上层管理服务端和底层存储平台；上层管理服务端提供电力企业数据应用、管理、监控的应用系统，为企业用户提供个人数据存储、分享；底层存储平台为上层管理服务端提供底层数据存储及管理；用户通过客户端访问数据库服务器，客户端完成数据管理和共享管理；数据管理包括数据上传，数据下载、文件复制、删除、重命名；共享管理基于分组，该分组由用户创建，修改和移除；分组中的所有用户对分组中的所有数据享有读取权限；共享的数据只有创建者与数据上传者来删除；数据库服务器通过数据隔离、访问控制、冗余存储和备份恢复实现安全保障；只有授权用户才能访问，每个授权用户都设置自己的登录密码，实现身份验证安全；管理员可设置不同的子帐户，不同的子帐户设置不同的访问权限；经数据所有者授权的许可数据才可进行被许可的操作；实现身份的授权，防止越权访问；通过数据冗余、灾难备份及自动恢复，为企业提供数据安全保障；

在所述访问控制中，采用分组共享，创建者对分组中的所有共享数据拥有读与写权限，而分组中的其他普通用户则对所有共享数据拥有读取权限，而只对自己上传的数据拥有写权限；而不在该分组中的其他用户则无法访问分组中共享的数据；为每个用户在数据库服务器中创建一个帐户，同时为该用户在其帐户下创建一个用户实例，允许该用户在其帐户下具有管理员权限，以及创建容器；用户创建的容器可以授权让其他用户操作，包括读取权限与写权限；每个用户均默认创建一个私有容器；当一个用户创建分组时，在自己的帐户下创建多个容器，不同共享用户对不同的容器的访问权限不同，以此实现数据的共享以及数据的写权限保护。