CN110516031A - 一种电力非结构化数据的存储管理系统及存储管理方法 - Google Patents

Abstract

本发明涉及一种电力非结构化数据的存储管理系统及存储管理方法，其中，存储管理系统包括元数据节点、数据节点、管理节点及客户端，元数据节点分别与数据节点、管理节点相连接，管理节点还与客户端相连接，元数据节点用于控制数据的分类存储及读取；数据节点用于存储对应的分类数据；管理节点用于从元数据节点获取数据，并对数据进行验证和缓存；客户端用于从管理节点读取数据。与现有技术相比，本发明利用标准PC构建分布式存储管理系统，提升了存储扩展性，通过对数据进行分类存储，并对数据进行审计、复制和更新服务，保证了数据存储的完整安全性，同时基于身份验证和缓存机制，提高了读取数据的可靠性与有效性，加快了响应客户需求的速度。

Description

一种电力非结构化数据的存储管理系统及存储管理方法

技术领域

本发明涉及数据的存储管理技术领域，尤其是涉及一种电力非结构化数据的存储管理系统及存储管理方法。

背景技术

近年来随着越来越多的新技术新工艺在电力领域的深入应用，支撑业务开展的数据量也呈现爆发式的增长。在电力业务经营中，除了要保存电力业务相关的结构数据，还需要保存文件、图片、音频、视频等类型的非结构化数据，比如地理影像、三维模型、三维点云等数据。目前，电力非结构化数据通常采用主数据块模式、存储于集中数据库中，由通用内容管理系统进行存储管理。

但是快速新增的大量结构化业务数据以及海量非结构化数据，对存储空间扩展以及服务响应速度提出了诸多新的挑战：存储空间能否随着非结构化数据量的增长而线性扩充；存储空间是否具有高性价比；存储服务是否能提供有效的管理机制和友好的对外服务；存储服务对海量数据是否安全、可靠和高可用；存储服务能否消除存取性能瓶颈。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种电力非结构化数据的存储管理系统及存储管理方法。

本发明的目的可以通过以下技术方案来实现：一种电力非结构化数据的存储管理系统，包括元数据节点、数据节点、管理节点及客户端，所述元数据节点分别与数据节点、管理节点相连接，所述管理节点还与客户端相连接，所述元数据节点用于控制数据的分类存储及读取；

所述数据节点用于存储对应的分类数据；

所述管理节点用于从元数据节点获取数据，并对数据进行验证和缓存；

所述客户端用于从管理节点读取数据。

优选地，所述元数据节点为控制服务器，所述数据节点包括对象服务器、容器服务器和账户服务器，所述管理节点包括代理服务器、验证服务器和缓存服务器。

优选地，所述对象服务器内设有对象文件数据库，以及分别与对象文件数据库连接的对象审计模块、对象复制模块和对象更新模块，所述对象审计模块通过扫描磁盘，以检测对象文件数据的完整性；

所述对象复制模块负责将不完整对象文件数据替换为完整对象文件数据；

所述对象更新模块用于后续处理未被替换的不完整对象文件数据。

优选地，所述容器服务器内设有容器数据库，以及分别与容器数据库连接的容器审计模块、容器复制模块和容器更新模块，所述容器审计模块通过扫描磁盘，以检测容器数据的完整性；

所述容器复制模块负责将不完整容器数据替换为完整容器数据；

所述容器更新模块用于后续处理未被替换的不完整容器数据。

优选地，所述账户服务器内设有账户数据库，以及分别与账户数据库连接的账户审计模块、账户复制模块和账户更新模块，所述账户审计模块通过扫描磁盘，以检测账户数据的完整性；

所述账户复制模块负责将不完整账户数据替换为完整账户数据；

所述账户更新模块用于后续处理未被替换的不完整账户数据。

优选地，所述验证服务器用于校验数据的可靠性和有效性；所述缓存服务器通过对数据的读取历史记录进行分析，以直接存储读取量大的数据。

优选地，所述元数据节点、数据节点和管理节点均通过标准PC搭建构成。

一种电力非结构化数据的存储管理方法，包括以下步骤：

S1、控制服务器对非结构化数据进行分类，得到对象文件数据、容器数据和账户数据；

S2、控制服务器将对象文件数据、容器数据和账户数据分别对应地传输给对象服务器、容器服务器和账户服务器；

S3、对象服务器、容器服务器和账户服务器接收到对应数据之后，分别对接收的对应数据依次进行审计、复制和更新服务，以存储完整的对象文件数据、容器数据和账户数据；

S4、代理服务器通过控制服务器，分别从对象服务器、容器服务器和账户服务器中获取完整的对象文件数据、容器数据和账户数据；

S5、基于身份校验机制，由验证服务器对完整的对象文件数据、容器数据和账户数据进行校验，并将校验后完整的对象文件数据、容器数据和账户数据传输给代理服务器；

S6、基于缓存服务机制，将历史读取量大的检验后完整的对象文件数据、容器数据和账户数据直接存储于缓存服务器中；

S7、根据读取需求，客户端通过代理服务器读取所需数据。

与现有技术相比，本发明具有以下优点：

一、本发明采用标准PC集成构建分布式存储管理系统，保证了集群的扩展规模，同时降低了整个存储管理系统的构建成本，随着集群规模的增长，存储管理系统表现为线性增长性能。

二、本发明通过元数据和存储数据分离的非对称式结构，基于负载均衡和数据并发访问策略，能够在普通硬件条件下获得高达数十Gbps的传输速率、以及上百PB级的存储容量，并可根据用户应用发展的趋势，适时按需进行在线动态扩展。

三、本发明将非结构化数据进行分类存储，结合审计、复制和更新服务，以此实现海量数据存储安全可靠的目的，同时加入身份校验机制和缓存服务机制，进一步保证客户端读取数据的有效性、提高响应速度。

附图说明

图1为本发明存储管理系统结构示意图；

图2为实施例中存储管理系统服务架构示意图；

图3为本发明存储管理方法流程示意图；

图中标记说明：1、元数据节点，2、数据节点，3、管理节点，4、客户端。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

本发明以OpenStack为基础，针对电力业务数据的特点，采用对象存储技术并深入定制所需服务和接口，内置基于对象数据管理策略，能够保证在系统局部发生故障时数据的安全性和可靠性；从客户端的角度而言，保证了数据写入的强一致性、弱一致性以及最终一致性，彻底消除存储管理系统中的单点故障，结合自动故障探测和快速故障恢复技术，确保用户的应用持续稳定地运行，同时减少部署和管理的难度。

更直观的理解，本发明构建了通用磁盘阵列之上的云存储管理系统，通过操作系统API管理磁盘上的数据，如图1所示，一种电力非结构化数据的存储管理系统，包括元数据节点1、数据节点2、管理节点2以及客户端4，元数据节点1分别与数据节点2、管理节点3相连接，管理节点3还与客户端4相连接，这四个部分分别对应了云存储的四层结构模型，构建在分布式存储之上的云存储正是通过以上特性和设计来实现对海量数据文件的高效组织和排序。在能容纳海量数据的同时也能迅速的管理需要的文件，为诸如地理影像、虚拟现实、点云拟合分析等技术的大规模应用提供可能。

其中，元数据节点1用于控制数据的分类存储及读取，数据节点2用于存储对应的分类数据，管理节点3用于从元数据节点1获取数据、并对数据进行验证和缓存，客户端4用于从管理节点3读取数据。

本实施例中元数据节点1、数据节点2和管理节点3均通过标准PC搭建构成，与单机的文件系统不同，本发明提出的存储管理系统是一种分布式文件系统，没有将数据放在一块磁盘上由上层操作系统来管理，而是存放在一个服务器集群上，由集群中的服务器，各尽其责，通力合作，提供整个文件系统的服务。存储管理系统的服务架构如图2所示，元数据节点1具体为控制服务器，数据节点2包括对象服务器、容器服务器和账户服务器，管理节点3包括代理服务器、验证服务器和缓存服务器。

其中，对象服务器内设有对象文件数据库，以及分别与对象文件数据库连接的对象审计模块、对象复制模块和对象更新模块；

容器服务器内设有容器数据库，以及分别与容器数据库连接的容器审计模块、容器复制模块和容器更新模块；

账户服务器内设有账户数据库，以及分别与账户数据库连接的账户审计模块、账户复制模块和账户更新模块；

上述的各审计模块运行在每个Swift服务器的后台，通过持续地扫描磁盘来检测数据的完整性，如果发现数据损坏，各审计模块就会将该文件移动到对应的隔离区域，然后由各复制模块负责用一个完好的数据拷贝来替代该损坏数据，如果复制失败，则该次复制在本地文件系统上会被加入队列，然后由各更新模块继续更新处理这些失败的复制工作，以此达到海量数据存储稳定且易管理的目的。

此外，验证服务器基于身份校验机制，用于校验数据的可靠性和有效性，缓存服务器基于缓存服务机制，通过对数据的读取历史记录进行分析，以直接存储读取量大的数据，能有效地提升现有条件下数据存储及响应客户端的时间。

如图3所示，一种电力非结构化数据的存储管理方法，包括以下步骤：

S1、控制服务器对非结构化数据进行分类，得到对象文件数据、容器数据和账户数据；

S2、控制服务器将对象文件数据、容器数据和账户数据分别对应地传输给对象服务器、容器服务器和账户服务器；

S3、对象服务器、容器服务器和账户服务器接收到对应数据之后，分别对接收的对应数据依次进行审计、复制和更新服务，以存储完整的对象文件数据、容器数据和账户数据；

S4、代理服务器通过控制服务器，分别从对象服务器、容器服务器和账户服务器中获取完整的对象文件数据、容器数据和账户数据；

S5、基于身份校验机制，由验证服务器对完整的对象文件数据、容器数据和账户数据进行校验，并将校验后完整的对象文件数据、容器数据和账户数据传输给代理服务器；

S6、基于缓存服务机制，将历史读取量大的检验后完整的对象文件数据、容器数据和账户数据直接存储于缓存服务器中；

S7、根据读取需求，客户端通过代理服务器读取所需数据。

针对电力特定领域的非结构化业务数据量巨大、实时性要求高、并发访问频繁的特点，本发明提出的存储管理系统，是由大量普通计算机集群通过高速网络互联组成的分布式文件系统，系统采用单价较低的多台标准PC搭建分布式存储服务，可以扩展到几百台甚至几千台的集群规模，通过统一管理维护，使用统一风格的API或者基于API的应用对外提供网络访问，具有可扩展、低成本、高性能、易使用等特点，对外作为一个整体提供数据存储和业务访问功能，以提供统一、简单、可靠的RESTful格式的服务，即在客户端方面，由于数据量巨大尽量选择详细查询，对时间范围查询作一定的限制，在数据量大的情况下采取分页查询的方式，利用RESTful方式，客户端只需对JSON对象进行序列化和反序列化，统一的风格大大降低了开发成本，从而更快地响应处理用户的交互需求；

对内则基于身份校验机制、缓存服务机制，以保证数据的有效性和可靠性、实现直接读取缓存数据的目的，结合审计、复制及更新服务，提高数据分类存储的完整性与安全性；

本发明在软件层面引入一致性散列技术和数据冗余性，以牺牲一定程度的数据一致性来达到高可用性和可伸缩性，支持多租户模式、容器和对象读写操作，从而解决电力应用场景下海量非结构化数据的存储和管理问题。

综上所述，本发明能有效支持海量非结构化数据的存储和管理，能为电力诸多业务应用的开展提供有效的基础服务手段，特别是在地理影像、三维模型、三维点云等数据本体与数据量都十分巨大的信息应用过程中，表现出极高的数据持久性和存储无限扩展性，使用简单、可靠性高、响应速度快。

Claims (8)

1.一种电力非结构化数据的存储管理系统，其特征在于，包括元数据节点、数据节点、管理节点及客户端，所述元数据节点分别与数据节点、管理节点相连接，所述管理节点还与客户端相连接，所述元数据节点用于控制数据的分类存储及读取；

所述数据节点用于存储对应的分类数据；

所述管理节点用于从元数据节点获取数据，并对数据进行验证和缓存；

所述客户端用于从管理节点读取数据。

2.根据权利要求1所述的一种电力非结构化数据的存储管理系统，其特征在于，所述元数据节点为控制服务器，所述数据节点包括对象服务器、容器服务器和账户服务器，所述管理节点包括代理服务器、验证服务器和缓存服务器。

3.根据权利要求2所述的一种电力非结构化数据的存储管理系统，其特征在于，所述对象服务器内设有对象文件数据库，以及分别与对象文件数据库连接的对象审计模块、对象复制模块和对象更新模块，所述对象审计模块通过扫描磁盘，以检测对象文件数据的完整性；

所述对象复制模块负责将不完整对象文件数据替换为完整对象文件数据；

所述对象更新模块用于后续处理未被替换的不完整对象文件数据。

4.根据权利要求2所述的一种电力非结构化数据的存储管理系统，其特征在于，所述容器服务器内设有容器数据库，以及分别与容器数据库连接的容器审计模块、容器复制模块和容器更新模块，所述容器审计模块通过扫描磁盘，以检测容器数据的完整性；

所述容器复制模块负责将不完整容器数据替换为完整容器数据；

所述容器更新模块用于后续处理未被替换的不完整容器数据。

5.根据权利要求2所述的一种电力非结构化数据的存储管理系统，其特征在于，所述账户服务器内设有账户数据库，以及分别与账户数据库连接的账户审计模块、账户复制模块和账户更新模块，所述账户审计模块通过扫描磁盘，以检测账户数据的完整性；

所述账户复制模块负责将不完整账户数据替换为完整账户数据；

所述账户更新模块用于后续处理未被替换的不完整账户数据。

6.根据权利要求2所述的一种电力非结构化数据的存储管理系统，其特征在于，所述验证服务器用于校验数据的可靠性和有效性；所述缓存服务器通过对数据的读取历史记录进行分析，以直接存储读取量大的数据。

7.根据权利要求1所述的一种电力非结构化数据的存储管理系统，其特征在于，所述元数据节点、数据节点和管理节点均通过标准PC搭建构成。

8.一种使用权利要求2所述存储管理系统的电力非结构化数据的存储管理方法，其特征在于，包括以下步骤：

S1、控制服务器对非结构化数据进行分类，得到对象文件数据、容器数据和账户数据；

S2、控制服务器将对象文件数据、容器数据和账户数据分别对应地传输给对象服务器、容器服务器和账户服务器；

S3、对象服务器、容器服务器和账户服务器接收到对应数据之后，分别对接收的对应数据依次进行审计、复制和更新服务，以存储完整的对象文件数据、容器数据和账户数据；

S4、代理服务器通过控制服务器，分别从对象服务器、容器服务器和账户服务器中获取完整的对象文件数据、容器数据和账户数据；

S5、基于身份校验机制，由验证服务器对完整的对象文件数据、容器数据和账户数据进行校验，并将校验后完整的对象文件数据、容器数据和账户数据传输给代理服务器；

S6、基于缓存服务机制，将历史读取量大的检验后完整的对象文件数据、容器数据和账户数据直接存储于缓存服务器中；

S7、根据读取需求，客户端通过代理服务器读取所需数据。