CN107147683A - 一种基于数据字典的分布式数据统一访问方法 - Google Patents

Abstract

本发明涉及一种基于数据字典的分布式数据统一访问方法，包括：生成带有数据资源特征的数据字典，集成局域网内存储在多机上的数据，实现单个区域内数据访问；设计单个区域内数据访问服务之间的协作机制，根据数据字典分发非本区域访问请求至正确的外区访问服务；统一接收数据访问请求，集中解析，并行分发以及分布式处理后一次性返回结果；部署多个独立并行工作的数据访问服务，优化客户端侧的访问主机，设计系统负载均衡机制。本发明提供的技术方案扩大数据的可见范围；提高了数据利用率；提高了数据访问性能。

Description

一种基于数据字典的分布式数据统一访问方法

技术领域

本发明涉及一种电力系统调度自动化领域，具体涉及一种基于数据字典的分布式数据统一访问方法。

背景技术

现有的智能电网调度技术支持系统具有良好的横向集成、纵向贯通能力，能够充分满足目前调度机构各专业的需要，随着电力改革的不断深入和跨大区互联电网的快速发展，确定了未来电网紧密耦合，调度系统全局广域、动态一体化的趋势。现有系统中数据的可见性限于各调度区内，采用集中式单机访问的方式，通过主/备服务器对区域内提供数据访问服务。如此，带来一些问题：1、数据访问受限：数据只能在调度区内可见，无法在全网范围内互联共享，如要实现跨区数据访问只能从数据源重新接收原始数据后重新处理；2、单点故障隐患：数据服务主机只是一台服务器，虽然备机随时待命，但集中式的数据管理机制存在先天不足，仍然存在单点故障隐患；3、易成为性能瓶颈：集中式处理方式水平扩展能力弱，性能提升成本高，当数据访问量突增时，极易成为系统性能瓶颈点，影响实时运行业务系统。

发明内容

为解决上述现有技术中的不足，本发明的目的是提供一种基于数据字典的分布式数据统一访问方法，重新整合已有数据资源，通过数据字典技术，将全网各调度区的数据访问服务互联共享，实现了数据的统一访问和高效利用，为全网分析与计算、全局调度计划和控制决策提供支撑和保障，也为海量数据的分布式处理提供基础，进一步提升了广域系统整体性的处理能力。

本发明的目的是采用下述技术方案实现的：

本发明提供一种基于数据字典的分布式数据统一访问方法，其改进之处在于，所述方法包括下述步骤：

(1)生成带有数据资源特征的数据字典，集成局域网内存储在多机上的数据，实现单个区域内数据访问；

(2)设计单个区域内数据访问服务之间的协作机制，根据数据字典分发非本区域访问请求至正确的外区访问服务；

(3)统一接收数据访问请求，集中解析，并行分发以及分布式处理后一次性返回结果；

(4)部署多个独立并行工作的数据访问服务，优化客户端侧的访问主机，设计系统负载均衡机制。

进一步地，所述步骤(1)中，所述数据字典由每个数据实体生成，用于记录数据标识与数据位置的对应关系；

数据资源是以数据字典的形式组织管理，数据和数据访问服务互相分离，部署在多台不同的数据服务器上，数据分散存储于多台服务器；

数据访问服务汇集子区内所有数据服务器上的数据字典，用于记录数据存储的数据服务器节点名和物理位置；

单个区域内数据访问依据数据字典的分布式数据访问服务。

进一步地，所述步骤(2)中，数据访问服务之间相互协作实现数据访问服务功能，处理数据遵循本地处理，异地转发的原则，根据数据字典转发非本区域的访问请求至正确的外区访问服务。

进一步地，所述步骤(3)中，数据访问服务支持接收来自全网的访问请求，根据数据字典集中解析，将单个数据请求中具有相同数据位置的数据分量分离出来独立操作，分解为多个面向不同区域的处理线程，并行分发数据请求，待线程处理全部返回后统一整合线程结果，形成最终结果并返回客户端，整个过程全都由应用程序完成，无需人为介入；数据访问服务之前功能相同，地位平等，客户端优先使用本区域的数据访问服务。

进一步地，所述步骤(4)中，在单个区域内数据访问服务是多个独立工作的节点组成，相互协作统一对外提供数据服务；客户端侧访问数据和访问服务的主机根据负载实时调整。

与最接近的现有技术相比，本发明提供的技术方案具有的优异效果是：

本发明基于数据字典，设计了一种分布式数据统一访问方法，使得数据资源在全网范围内互联共享，不再局限于传统的各调度区内，提高了数据资源利用率，方便了电网实时数据的统一访问和高效共享。另外，基于数据字典的分布式数据统一访问技术，支持数据的分布式存储和访问，可以极大提高数据访问速度，为实现海量数据处理提供了基础，为电网调度和大运行提供有力的技术支撑和保障,具有很好的推广价值。

附图说明

图1是本发明提供的基于数据字典的分布式数据统一访问方法的技术架构图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步的详细说明。

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。其他实施方案可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的组件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，本发明的这些实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。

本发明公开了一种基于数据字典的分布式数据统一访问技术，其特征在于，包括以下步骤：

(1)集成调度区域内部存储在多机上的数据，生成带有数据资源特征的数据字典，实现单区数据访问功能；

(2)设计单区数据访问服务之间的协作机制，根据数据字典分发非本区域访问请求至正确的外区访问服务；

(3)统一接收数据访问请求，集中解析，并行分发，分布式处理后一次性返回结果；

(4)部署多个独立工作的数据访问服务，优化客户端侧访问主机的方法，设计系统负载均衡机制。

在所述步骤1)中，现有系统中调度区内的数据访问直接根据数据标识(记录ID)访问数据，数据和数据访问服务集中部署在同一服务器，以此导致系统扩展性不强，性能瓶颈突出。本发明中，每个数据实体生成对应的数据字典，记录数据标识与数据位置的对应关系。数据资源以数据字典的形式组织管理，解耦数据和数据访问服务。同时，同类数据可以分散存储于多台服务器，通过字典中的数据位置信息定位并访问数据。数据访问服务汇集子区内所有数据服务器上的数据字典，记录数据存储的服务器节点名和物理位置。依据数据字典，提供单个区域内分布式数据访问功能。

在所述步骤2)中，现有系统如要实现跨区数据访问只能从数据源重新接收原始数据后重新处理。在本发明中，各个数据访问服务之间通力协作，依据数据字典判断请求的数据是否属于本地，再根据本地处理，异地转发的原则处理本区域数据，转发非本区域的访问请求至正确的外区访问服务。

在所述步骤3)中，现有系统中各调度区的数据局限于区域内部访问使用，区域外对区域内的数据资源不可见。本发明设计的数据访问服务支持接收来自全网的访问请求,根据数据字典集中解析，分解为多个面向不同区域的处理线程，并行分发数据请求，待线程处理全部返回后统一整合线程结果，形成最终结果并返回客户端。数据访问服务之前功能相同，地位平等，考虑到访问的数据对象大部分位于客户端所在区域，客户端优先使用本区域的数据访问服务。

在所述步骤4)中，现有系统中数据访问服务采用主/备式单机部署，水平横向扩展能力不强，极易成为系统性能瓶颈。在本发明中，数据与数据访问服务解耦分离，通过部署多个独立工作的数据访问服务节点，相互协作统一对外提供数据服务，增强系统扩展能力，提高数据访问突增情况下的系统适应能力。同时，通过优化客户端侧访问主机的方法，实现数据访问服务节点之间的负载均衡，进一步提高数据访问效率。

实施例

下面结合调度数据网，以华东分调和华北分调为例，对本发明的技术方案作进一步的详细说明。

1)华东分调和华北分调是平行层级的调度区，每个调度区因为数据资源庞大，又根据厂站划分为若干调度子区，数据存储在局域网上多个主机。本方法首先分别对华东分调和华北分调各系统内的数据生成数据字典，数据字典中记录数据标识和数据位置的索引信息，

以华东分调为例，东善桥厂站的数据存储在hd-sca01，对于访问该厂站数据的请求则会由数据访问服务根据数据字典分发至局域网内的hd-sca01主机上，其他厂站和主机关系类推，以此实现单个区域内分布式数据访问功能。

2)在单区访问的基础上，增加数据访问服务之间的协作机制，以华东分调为例，华东的数据访问服务节点接收的数据请求中包含华北分调的数据，此时数据访问服务根据数据字典中的区域信息，将华北分调的数据请求转发到华北分调的数据访问服务，由华北的数据访问服务完成数据请求后返回华东分调，完成数据处理。

3)有了数据访问服务之间的协作机制，使得在全网任何节点上获取任何数据成为现实。华东的数据访问服务接收到数据请求之后，将数据请求解析分解为一个或多个单个数据区域的子请求，华北的数据请求分发至华北的数据访问服务，华中的数据请求分发至华中的数据访问服务，以此类推。并行处理各个子请求返回的各个区域的数据结果，再统一返回给客户端，实现华东区域获取全网数据的功能。

4)单个数据访问服务容易成为系统瓶颈，在调度区域内部署多个独立并行工作的数据访问服务，可以有效提高系统运行效率和可靠性。在华东和华北分调，分别部署多个数据访问服务，客户端根据负载均衡机制选择最优的数据访问服务获取数据，多个区域多个访问服务之间紧密结合，实现分布式数据统一访问。

本发明通过的一种基于数据字典的分布式数据统一访问方法，通过统一通用的数据字典，集成多区多机数据，实现了广域网内数据跨区统一访问和互联共享；同时支持部署多个数据访问服务节点，提升系统水平扩展能力，避免单点故障，加强系统可靠性和安全性；引入负载均衡机制，满足在大量数据访问和处理要求，实现数据高效访问。在未来电网紧密耦合，调度系统全局广域、动态一体化的环境下，本发明可以满足海量数据的分布式处理要求，加强全网数据互联共享，支撑广域系统整体性的分布式处理技术。

以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (5)

1.一种基于数据字典的分布式数据统一访问方法，其特征在于，所述方法包括下述步骤：

(1)生成带有数据资源特征的数据字典，集成局域网内存储在多机上的数据，实现单个区域内数据访问；

(2)设计单个区域内数据访问服务之间的协作机制，根据数据字典分发非本区域访问请求至正确的外区访问服务；

(3)统一接收数据访问请求，集中解析，并行分发以及分布式处理后一次性返回结果；

(4)部署多个独立并行工作的数据访问服务，优化客户端侧的访问主机，设计系统负载均衡机制。

2.如权利要求1所述的分布式数据统一访问方法，其特征在于，所述步骤(1)中，所述数据字典由每个数据实体生成，用于记录数据标识与数据位置的对应关系；

数据资源是以数据字典的形式组织管理，数据和数据访问服务互相分离，部署在多台不同的数据服务器上，数据分散存储于多台服务器；

数据访问服务汇集子区内所有数据服务器上的数据字典，用于记录数据存储的数据服务器节点名和物理位置；

单个区域内数据访问依据数据字典的分布式数据访问服务。

3.如权利要求1所述的分布式数据统一访问方法，其特征在于，所述步骤(2)中，数据访问服务之间相互协作实现数据访问服务功能，处理数据遵循本地处理，异地转发的原则，根据数据字典转发非本区域的访问请求至正确的外区访问服务。

4.如权利要求1所述的分布式数据统一访问方法，其特征在于，所述步骤(3)中，数据访问服务支持接收来自全网的访问请求，根据数据字典集中解析，将单个数据请求中具有相同数据位置的数据分量分离出来独立操作，分解为多个面向不同区域的处理线程，并行分发数据请求，待线程处理全部返回后统一整合线程结果，形成最终结果并返回客户端，整个过程全都由应用程序完成，无需人为介入；数据访问服务之前功能相同，地位平等，客户端优先使用本区域的数据访问服务。

5.如权利要求1所述的分布式数据统一访问方法，其特征在于，所述步骤(4)中，在单个区域内数据访问服务是多个独立工作的节点组成，相互协作统一对外提供数据服务；客户端侧访问数据和访问服务的主机根据负载实时调整。