CN106973119A - 一种电力企业存储资源管理系统 - Google Patents

Abstract

本发明公开了一种电力企业存储资源管理系统，包括云资源管理平台、存储管理模块和存储池；存储管理模块向云资源管理平台提供统一的基于WebService协议的存储池管理接口，展现层提供页面集成、单点登录和WebService数据访问；数据处理层完成数据采集和策略告警；适配器与存储设备进行通讯；虚拟化设备向下管理通过光纤网络连接的中高端存储阵列，向上提供存储虚拟化池；虚拟化设备提供SMI‑S接口与存储管理模块连接；分布式存储系统向下管理存储服务集群，向上提供分布式存储池；分布式存储系统提供API接口与存储管理模块连接。

Description

一种电力企业存储资源管理系统

技术领域

本发明涉及数据存储技术，尤其是一种电力企业存储资源管理系统。

背景技术

存储技术从直接连接的磁盘阵列发展到集中式的SAN(存储区域网络)，在连接性和性能上带来了巨大的优势。然而，对企业用户来讲，虽然存储区域网络具有这些优点，但是SAN中磁盘利用率只有50％左右，不同类型和品牌的存储的统一调配和管理非常复杂。因此存储资源虚拟化成一个资源池而不受异构品牌存储的影响，成为业界的一个发展目标。根据数据显示，如今企业保持着较高的数据增长率,这些信息化数据的爆炸性增长，对数据存储的要求越来越高,然而由于管理手段的缺乏，导致了对存储设备的利用率相对较低。

目前数据中心使用多家厂商的存储阵列设备，这些存储设备通过光纤交换机建立存储网络，存储设备通过光纤网络进行共享，为各种应用服务器所用。由于存储网络设备的接口较为封闭，对存储资源的监控往往会成为IT基础架构中容易遗漏的死角。存储运维人员对设备的运行状态了解甚少，对设备的利用率和压力也缺乏检测数据。在当前存储设备使用、管理及运维中，存在以下问题现状：缺乏统一的存储运维管理平台；缺乏全面的存储设备硬件故障告警机制；缺乏集中的数据统计和报表管理。正是管理手段的缺乏导致了存储资源的低用率，也隐藏了巨大的风险。数据是信息化的基础，而承载数据的存储系统是整个信息化水平的基石。随着电力企业业务发展，数据中心已规模越来越大，需要一套专业的存储监控系统对数据中心存储系统进行专业、高效、简易的管理。

发明内容

本发明的目的是提供一种电力企业存储资源管理系统，通过虚拟化管理平台设备整合现有的物理存储资源构架的存储池或者是基于分布式数据存储概念设计的分布式存储构建的存储池将原来独立的只能够独立纵向扩展资源的物理存储设备虚拟化统一管理，实现存储资源的逻辑虚拟化集中使用和管理。

为实现上述目的，本发明采用下述技术方案：

一种电力企业存储资源管理系统，包括云资源管理平台、存储管理模块和存储池；

存储管理模块向云资源管理平台提供统一的基于WebService协议的存储池管理接口，包括展现层、数据处理层和适配器，

展现层包括存储监控单元和运维管理单元，对云资源管理平台提供数据访问层的接口，提供页面集成、单点登录和Web Service数据访问；

数据处理层包括数据服务器和事件服务器，完成数据采集和策略告警；

适配器与存储设备进行通讯；

存储池包括虚拟化存储池和分布式存储池，

虚拟化设备向下管理通过光纤网络连接的中高端存储阵列，向上提供存储虚拟化池；虚拟化设备提供SMI-S接口与存储管理模块连接，存储管理模块通过存储管理协议对虚拟化存储池进行管理；

分布式存储系统向下管理存储服务集群，向上提供分布式存储池；分布式存储系统提供API接口与存储管理模块连接，存储管理模块通过标准的存储管理协议对分布式存储系统进行管理。

进一步地，存储监控管理模块所需的服务器其中两台作为数据库服务器，另外两台作为存储设备的接口机，存储管理模块把存储阵列和光纤交换机的控制口接入网络，建立专有的存储管理子网。

进一步地，虚拟化存储池通过高端存储的前端端口模拟为服务器光纤端口，识别并接管外部存储数据卷后转换为虚拟化平台存储的内部数据卷格式，然后重新映射到现有服务器设备，实现外部存储的虚拟化。

进一步地，虚拟化存储池按照高端存储和中端存储的资源类别分别规划为高端存储资源池和中端存储资源池，新增存储资源按照物理存储级别分别加入到对应等级的存储资源池，原有应用存储资源可根据实际情况优化整合至存储资源池当中，应用则按照服务等级分类分别规划到不同级别的存储资源池当中；高端存储资源池用于高性能、高可靠需求的应用，中端存储资源池用于高性能、高可靠和中等性能、高可靠需求的应用。

进一步地，分布式存储池按照IO处理能力划分为高IO处理能力的分布式存储集群和普通IO处理能力的分布式存储集群，高IO处理能力的分布式存储集群采用具备更高的IO处理能力、闪存盘及高转速磁盘资源，高IO处理能力的分布式存储集群用于高性能、中等可靠性和中等性能、中等可靠性需求的应用；普通IO处理能力的分布式存储集群则用于一般性能、中等可靠性的应用。

进一步地，虚拟化存储池选用基于存储虚拟化平台的逻辑快照功能，实现本地的数据逻辑保护，同时在进行存储池数据优化时，需要进行容灾变更；分布式存储集群在本地实现逻辑快照功能或高可用镜像功能，在容灾中心新增分布式存储集群用于各网省的数据集中复制。

进一步地，展现层提供了Web展现界面，包含了存储监控和运维管理两个主要模块，存储监控模块包含了告警管理、配置管理、拓扑管理、性能管理、容量管理、资产管理、报表管理、权限管理和系统管理；展现层还提供了数据访问层的接口，对外提供页面集成、单点登录和Web Service数据访问，展现层从数据处理层管理的数据库拿到数据进行展示。

进一步地，数据处理层包含数据服务器和事件服务器，完成对Agent端发送的数据的采集和各个设备转发的SNMPTrap以及内部转发的策略告警；事件服务器在接受告警的同时，也承担了对告警事件的转发和事件外部处理程序调用等功能；数据处理层从Agent拿到数据后经过数据处理最终入库到数据库。

进一步地，适配器由Agent组成，包含了SMI-S Agent、DS-Agent、SNMPAgent、HostAgent、VMAgent组件，用于与存储设备进行通讯。

本发明的有益效果是，

(1)电力企业存储资源管理系统采用国际通行的SMI-S管理接口，便于对存储设备进行统一管理，实现对异构存储设备的支持。提升生产运行环境当中存储空间的整体使用效率，提升整体的存储空间及性能利用率，减少存储资源浪费并降低存储设备投资成本。

(2)物理存储资源虚拟化后，使管理面向相对单一的操作界面，降低了存储管理难度和人员管理技能要求，减少了存储维护难度。在云计算环境中，大量使用了存储阵列和分布式存储系统，设备节点很多，人工式手动运维和被动运维都无法适用于云计算环境中。电力企业存储资源管理系统简化运维管理难度，提升云计算服务水平。在存储虚拟化环境中，可发现光纤链路潜在问题，主动预警潜在的故障点；可主动发现各个节点的潜在问题，及时预警，避免服务级别降低甚至数据丢失。便于存储空间资源的灵活分配，且底层存储资源的扩展及调整均不会对生产应用业务运行产生影响。

(3)采用电力企业存储资源管理系统，可以按照应用业务需求的不同定义对应的服务级别，实现对应不同应用级别的存储池，使用不同层级的存储池首先确保了应用能够得到所需服务级别的资源，又可以避免存储资源的不当分配及浪费，从而优化存储资源的部署；存储池内部可以进一步采用如精简供应、数据压缩、数据除重以及分级存储等技术进一步提升存储效率和访问性能。

(4)采用电力企业存储资源管理系统，应用数据也随之集中，便于以应用业务群或其他方式为单位实现如本地高可用镜像、逻辑保护以及同城或异地灾备等功能，提供业务应用的业务连续性保护。

附图说明

图1是电力企业存储资源管理系统架构示意图；

图2是按照规划的存储资源服务等级分类的电力企业存储资源管理系统构架示意图；

图3是按照是否存放业务数据分类的电力企业存储资源管理系统架构示意图；

图4是存储资源池结构设计原理图；

图5是存储虚拟化方式的存储资源池结构设计示意图；

图6是存储监控管理模块架构逻辑图。

具体实施方式

电力企业存储资源管理系统构架在规划上应当以业务应用需求为导向，按照应用对于存储资源的性能、可靠性等作为主要参考指标，存储池规划主要考虑两种类型：整合现有物理存储资源的虚拟化平台方式和基于分布式数据存储概念设计的分布式存储，在存储池规划上也主要以性能及可靠性相对应。

如图1所示，存储池管理总体架构如下，存储池有存储虚拟化池和分布式存储组成，向上提供一级和二级存储，分别包含高性能和中性能，一共四种组合。

在存储的虚拟化中，由虚拟化设备(比如HP/HDS高端虚拟化存储)向下统一管理后端的中高端存储，向上提供存储虚拟化池，存储管理模块通过存储管理协议(SMI-S)对虚拟化存储池进行管理。

在分布式存储池中，由分布式存储系统向下管理X86存储服务器集群，部分存储设备挂在X86集群中提供存储空间；向上提供分布式存储池；分布式存储系统提供标准的存储管理协议(比如CDMI或者WebService)等访问接口，有存储管理模块进行管理。

存储管理模块整合存储虚拟化和分布式的存储接口，向云资源管理平台提供统一的存储池管理接口，该接口基于WebService协议。

如图2所示，按照规划的存储资源服务等级，进行应用分类及存储资源池规划：电力企业存储资源管理系统原则上按照高端存储和中端存储资源类别分别规划为高端存储资源池和中端存储资源池，新增存储资源按照物理存储级别分别加入到对应等级的存储资源池，原有应用存储资源可根据实际情况优化整合至存储资源池当中，应用则按照服务等级分类分别规划到不同级别的存储资源池当中；高端存储资源池主要用于高性能、高可靠需求的应用，中端存储资源池主要用于高性能、高可靠和中等性能、高可靠需求的应用。

分布式存储集群按照IO处理能力划分为高IO处理能力的分布式存储集群和普通IO处理能力的分布式存储集群，主要区别在于高IO处理能力的分布式存储集群采用具备更高的IO处理能力、闪存盘及高转速磁盘资源；高IO处理能力的分布式存储集群主要用于高性能、中等可靠性和中等性能、中等可靠性需求的应用；普通IO处理能力的分布式存储集群则用于一般性能、中等可靠性的应用。

如图3所示，一级存储主要存放业务数据，满足各类物理机池或小型机虚拟池对存储的需求，由于主机规模较大、并发数高、数据类型复杂，因此选用高端集中式存储，通常由高端集中式存储组成；一级存储中包含一级高性能存储和一级中性能存储。二级存储主要存放非业务数据，比如X86虚拟化池虚拟映像等，一般由中端存储和分布式存储组成；二级存储中也包含二级高性能存储和二级中性能存储。

如图4所示，采用了基于HP/HDS高端存储的存储虚拟化技术，技术原理是通过高端存储的前端端口模拟为服务器光纤端口，识别并接管外部存储数据卷后转换为虚拟化平台存储的内部数据卷格式，然后重新映射到现有服务器设备，实现外部存储的虚拟化接管过程。存储被虚拟化平台接管后，服务器端只识别到统一的虚拟化平台数据卷格式，并且服务器对于被虚拟化存储数据卷的访问通过虚拟化平台存储的数据缓存实现，虚拟化平台存储缓存会为IO访问提供读、写缓存功能，从而提高了数据访问性能。

如图5所示，在存储虚拟化规划当中，尤其是新建应用，建议外部存储在虚拟化规划时采用完全虚拟化方式，即同级别(高端或中端存储)的多台被虚拟化存储根据应用特点(在线交易类或批量处理类型)完全整合在一个或几个虚拟化存储池当中，每个创建于该存储池的虚拟数据卷在底层的数据根据虚拟化技术的不同，以条带或页面的方式均匀的分布在存储池内的所有外部存储卷当中，从而整合利用底层被虚拟化存储的空间，避免每台存储保留剩余空间造成的空间浪费，同时发挥所有存储的整体性能，实现整体高效的虚拟化存储资源池。

分布式存储方式的存储资源池结构设计：

基于存储虚拟化的存储资源池，可根据需要在本地选用基于存储虚拟化平台的逻辑快照功能，实现本地的数据逻辑保护，同时在进行存储池数据优化时，可能需要进行容灾变更，但优化完成后不会对现有容灾构架产生影响；分布式存储集群可以在本地实现逻辑快照功能或高可用镜像功能，可以在异地容灾中心新增分布式存储集群用于各网省的数据集中复制，以满足业务连续性需求。

电力企业存储资源管理系统管理的设计：

电力企业存储资源管理系统提供对存储虚拟化和分布式存储系统的综合监控和操作管理，分别由存储虚拟化设备提供SMI-S接口和分布式存储系统提供API接口(比如CDMI和Web Service接口)进行存储设备的监控和管理功能，包含容量管理、性能管理、配置管理、故障管理、拓扑管理等功能。

电力企业存储资源管理系统需要把存储阵列和光纤交换机的控制口接入网络，出于安全考虑，可建立专有的存储管理子网，存储监控管理所需的服务器放入存储管理域。其中两台作为数据库服务器，两台作为存储设备的接口机，电力企业存储资源管理系统通过核心交换机连接到业务网络。

如图6所示，存储监控架构从逻辑上分为三个层次，从上到下依次为：展现层、数据处理层和适配器

(1)展现层

展现层提供了Web展现界面，包含了存储监控和运维管理两个主要模块。其中存储监控模块包含了告警管理、配置管理、拓扑管理、性能管理、容量管理、资产管理、报表管理、权限管理和系统管理。在系统功能中已经对告警管理、配置管理、拓扑管理、性能管理、容量管理、资产管理、报表管理分别进行了描述；展现层也提供了数据访问层的接口，可以对外提供页面集成、单点登录和Web Service数据访问。展现层的从数据库拿到数据进行展示，数据库的内容完全有数据处理层来进行管理。

(2)数据处理层

数据处理层包含数据服务器和事件服务器，主要完成对Agent端发送的数据的采集和各个设备转发的SNMP Trap以及内部转发的策略告警。事件服务器在接受告警的同时，也承担了对告警事件的转发和事件外部处理程序调用等功能。数据处理层从Agent拿到数据后，经过数据处理，最终入库到数据库。

(3)适配器

适配器由各种各样的Agent组成，包含了SMI-S Agent、DS-Agent、SNMPAgent、HostAgent、VMAgent等组件，用于与存储设备进行通讯。存储管理模块提供了Web Service接口与云资源管理平台集成，并把收集的存储设备告警、系统产生的预警转发到云资源管理平台进行统一的处理。

电力企业存储资源管理系统主要功能

(1)统一存储管理

系统支持在对SAN网络环境的异构存储和分布式存储系统进行统一的管理，包含存储、光纤交换机、业务应用系统的配置、性能和告警管理等。

(2)存储管理门户

能够支持以门户和仪表盘的方式综合显示各存储阵列、业务系统等实时的配置、性能和告警数据。存储资源门户存储阵列、光纤交换机等各种配置信息实时性能数据仪表盘各关联主机和交换机使用情况。

(3)存储配置管理

支持对数据库、存储主机、分布式存储、磁盘阵列、存储网络交换机和磁带库进行配置信息采集，并统一将配置信息储存在存储监控系统的配置库中；支持异构存储阵列配置信息采集，如EMC、HP、HDS、IBM、SUN、NetApp等SAN、NAS存储阵列；支持异构光纤交换机的配置信息采集，如Brocade、Cisco光纤交换机。

(4)存储性能管理

可以对数据库、存储主机、磁盘阵列、存储网络交换机和磁带库进行性能信息采集，并统一将性能信息储存在存储监控系统的配置库中。支持异构存储阵列性能信息采集，如EMC、HP、HDS、IBM、SUN、NetApp等SAN、NAS存储阵列；支持异构光纤交换机的性能信息采集，如Brocade、Cisco光纤交换机。

(5)存储告警管理

故障告警：可以对磁盘阵列、存储网络交换机和磁带库进行故障告警采集，并统一将告警信息储存在存储监控系统的配置库中。

性能告警：可以对数据库、存储主机、磁盘阵列、存储网络交换机和磁带库进行性能告警采集，并统一将告警信息储存在存储监控系统的配置库中。系统可接收磁盘阵列、存储网络交换机的故障告警信息，并在管理界面进行统一展示。系统支持性能告警。性能告警可配置重复次数，能够配置告警规则和阀值，以及告警描述，性能告警阀值可以动态配置。系统支持告警的压缩，规避和告警的过滤。系统支持告警内容转义和定级，能够将不容易识别的错误代码转义为可简单读懂的错误信息。系统应提供多样化的告警事件显示方式，包括按业务系统柱状图显示，按告警级别饼状图显示等。管理员处理故障告警后，可对该条告警进行降级或关闭处理。告警事件能够现有平台进行集成。

(6)存储拓扑管理

可以对磁盘阵列、存储网络交换机和磁带库进行整体资源拓扑展现、告警拓扑展现、性能拓扑展现。在存储拓扑之上，提供了完整的端到端数据分析方法。能够采集存储网络拓扑数据；能够自动展现存储网络拓扑，支持如下拓扑形式：光纤交换机一二级网络拓扑，磁盘、LUN端到端拓扑；能够在拓扑上显示告警；能够在拓扑上实施显示性能数据；能够在拓扑上实施显示配置数据。

(7)智能分析报表

对存储系统的性能进行分析，实时生成性能分析报告。可以磁盘阵列的性能、交换机的性能，可以通过图表很快地定位问题的所在点，确定性能瓶颈所在。提供综合报表系统。

(8)统一存储配置管理

统一性能分析；统一故障事件；统一容量/使用情况报告等；提供自动化报表机制；报表定时自动化生成(日报/周报/月报/季报/年报等)；指定报表格式,如自动化生成DOC文档。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (9)

1.一种电力企业存储资源管理系统，其特征在于，包括云资源管理平台、存储管理模块和存储池；

存储管理模块向云资源管理平台提供统一的基于WebService协议的存储池管理接口，包括展现层、数据处理层和适配器，

展现层包括存储监控单元和运维管理单元，对云资源管理平台提供数据访问层的接口，提供页面集成、单点登录和Web Service数据访问；

数据处理层包括数据服务器和事件服务器，完成数据采集和策略告警；

适配器与存储设备进行通讯；

存储池包括虚拟化存储池和分布式存储池，

虚拟化设备向下管理通过光纤网络连接的中高端存储阵列，向上提供存储虚拟化池；虚拟化设备提供SMI-S接口与存储管理模块连接，存储管理模块通过存储管理协议对虚拟化存储池进行管理；

分布式存储系统向下管理存储服务集群，向上提供分布式存储池；分布式存储系统提供API接口与存储管理模块连接，存储管理模块通过标准的存储管理协议对分布式存储系统进行管理。

2.如权利要求1所述的一种电力企业存储资源管理系统，其特征在于，存储监控管理模块所需的服务器其中两台作为数据库服务器，另外两台作为存储设备的接口机，存储管理模块把存储阵列和光纤交换机的控制口接入网络，建立专有的存储管理子网。

3.如权利要求1所述的一种电力企业存储资源管理系统，其特征在于，虚拟化存储池通过高端存储的前端端口模拟为服务器光纤端口，识别并接管外部存储数据卷后转换为虚拟化平台存储的内部数据卷格式，然后重新映射到现有服务器设备，实现外部存储的虚拟化。

4.如权利要求1所述的一种电力企业存储资源管理系统，其特征在于，虚拟化存储池按照高端存储和中端存储的资源类别分别规划为高端存储资源池和中端存储资源池，新增存储资源按照物理存储级别分别加入到对应等级的存储资源池，原有应用存储资源可根据实际情况优化整合至存储资源池当中，应用则按照服务等级分类分别规划到不同级别的存储资源池当中；高端存储资源池用于高性能、高可靠需求的应用，中端存储资源池用于高性能、高可靠和中等性能、高可靠需求的应用。

5.如权利要求1所述的一种电力企业存储资源管理系统，其特征在于，分布式存储池按照IO处理能力划分为高IO处理能力的分布式存储集群和普通IO处理能力的分布式存储集群，高IO处理能力的分布式存储集群采用具备更高的IO处理能力、闪存盘及高转速磁盘资源，高IO处理能力的分布式存储集群用于高性能、中等可靠性和中等性能、中等可靠性需求的应用；普通IO处理能力的分布式存储集群则用于一般性能、中等可靠性的应用。

6.如权利要求3至5任一项权利要求所述的一种电力企业存储资源管理系统，其特征在于，虚拟化存储池选用基于存储虚拟化平台的逻辑快照功能，实现本地的数据逻辑保护，同时在进行存储池数据优化时，需要进行容灾变更；分布式存储集群在本地实现逻辑快照功能或高可用镜像功能，在容灾中心新增分布式存储集群用于数据集中复制。

7.如权利要求1所述的一种电力企业存储资源管理系统，其特征在于，展现层提供了Web展现界面，包含了存储监控和运维管理两个主要模块，存储监控模块包含了告警管理、配置管理、拓扑管理、性能管理、容量管理、资产管理、报表管理、权限管理和系统管理；展现层还提供了数据访问层的接口，对外提供页面集成、单点登录和Web Service数据访问，展现层从数据处理层管理的数据库拿到数据进行展示。

8.如权利要求1所述的一种电力企业存储资源管理系统，其特征在于，数据处理层包含数据服务器和事件服务器，完成对Agent端发送的数据的采集和各个设备转发的SNMP Trap以及内部转发的策略告警；事件服务器在接受告警的同时，也承担了对告警事件的转发和事件外部处理程序调用等功能；数据处理层从Agent拿到数据后经过数据处理最终入库到数据库。

9.如权利要求1所述的一种电力企业存储资源管理系统，其特征在于，适配器由Agent组成，包含了SMI-S Agent、DS-Agent、SNMPAgent、HostAgent、VMAgent组件，用于与存储设备进行通讯。