CN109711561A - 一种基于插件化架构设计的存储管理系统 - Google Patents
一种基于插件化架构设计的存储管理系统 Download PDFInfo
- Publication number
- CN109711561A CN109711561A CN201811432407.6A CN201811432407A CN109711561A CN 109711561 A CN109711561 A CN 109711561A CN 201811432407 A CN201811432407 A CN 201811432407A CN 109711561 A CN109711561 A CN 109711561A
- Authority
- CN
- China
- Prior art keywords
- module
- storage
- management system
- storage management
- data processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013461 design Methods 0.000 title claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 56
- 238000012423 maintenance Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 10
- 238000012544 monitoring process Methods 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 238000007726 management method Methods 0.000 description 36
- 230000006870 function Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000012550 audit Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明提供一种基于插件化架构设计的存储管理系统，该管理系统包括采集模块、数据处理模块、调度引擎以及执行模块，其中，所述采集模块用于采集存储系统的相关信息并通过数据通道上传至数据处理模块；所述数据处理模块用于接收存储系统上传的数据并进行存储和处理；所述调度引擎用于根据数据处理模块的处理方案调用相应的所述执行模块；所述执行模块用于执行相应的处理方案。本发明实现了多样化和个性化的存储统一管理和作业，提高了存储管理系统的效率，减少了运维人员的工作量。
Description
技术领域
本发明涉及IT运维技术领域，尤其涉及一种基于插件化架构设计的存储管理系统。
背景技术
存储管理系统是整个IT系统的基石，是IT技术赖以存在和发挥效能的基础平台。存储系统是企业面临的首要任务，是数据存储的支撑，存储系统的性能稳定性和可用性决定了几乎所有业务系统的可用性和稳定性。同时存储管理又是一项艰巨的任务，业务发展对存储的需求迅速增长，对性能要求提出了更高的IOPS，数据量大，企业环境中存在不同厂商和不同型号的存储设备，各自的管理系统和Raid机制也有所不同，这对存储系统的统一管理来说是个巨大的挑战，主要包含以下几个方面：
1、设备类型较多：存储设备系统存在不同厂商不同型号，对应的磁盘接口、转速和提供的IOPS也不同；
2、管理方式：不同的型号的设备管理的方式不同，需要登录不同的访问界面和登录凭据；
3、存储性能：存在存储IOPS性能不够的情况，没有性能监控难以分析和定位；
4、配置管理：现有存储设备信息难以统计，包括存储空间、RAID类型、磁盘数量、维保信息、服务商、存储性能等；
5、配置变更：现有存储的初始化配置和变更依靠运维人员登录单独的存储系统进行操作，不同存储系统操作不同、交付效率较低，容易出错；
6、操作规范：依靠人工进行操作，难以制定标准的操作规范步骤，人员变动时难以进行交接。
7、权限管理：无法基于角色和对象的权限管理，实现对不同运维人员的操作权限的控制，降低安全风险；
8、审核日志：管理员操作日志不够完整，各个存储设备的日志单独存放，难以管理和统一分析审计。
发明内容
本发明所要解决的技术问题在于，提供一种基于插件化架构设计的存储管理系统和方法，该管理系统利用可扩展的插件化思想使得该系统可灵活对接不同厂商不同型号的存储设备，然后根据数据处理模块的处理结果调用不同的执行模块执行，实现了存储设备的统一管理。
为了解决上述技术问题，本发明提供一种基于插件化架构设计的存储管理系统，包括：采集模块、数据处理模块、调度引擎以及执行模块，其中，
所述采集模块用于采集存储系统相关信息并通过数据通道上传至数据处理模块；
所述数据处理模块用于接收存储系统上传的数据并进行存储和处理；
所述调度引擎用于根据数据处理模块的处理方案调用相应的所述执行模块；
所述执行模块用于执行相应的处理方案。
进一步地，所述采集模块为API采集器，所述API采集器支持SNMP协议，能对接不同厂商和不同型号的存储设备。
进一步地，用于将数据处理模块处理的数据更新到配置数据库中。
进一步地，所述执行模块还包括告警展示模块，所述告警展示模块用于将数据处理模块处理的数据与告警展示模块中的相应的项目和阈值进行匹配，确定是否告警。
进一步地，所述告警展示模块还用于当确定需要告警时，通过邮件进行告警或通过web页面绘制存储系统的性能或使用情况曲线图的方式进行告警。
进一步地，所述执行模块还包括作业执行模块，所述作业执行模块用于匹配对应的处理流程，将任务工作下发到对应存储设备并进行执行后反馈信息。
进一步地，所述存储管理系统还包括日志管理模块，所述日志管理模块用于搜集各个存储设备的系统日志和操作日志，并将上述日志进行统一存放管理。
进一步地，所述存储管理系统还包括权限管理模块，所述权限管理模块用于根据不同对象和不同角色进行权限划分。
进一步地，所述存储管理系统还包括故障治愈模块，所述故障治愈模块用于根据日常常用的应用场景，制定标准的问题处理流程和步骤，存储管理系统的监控模块检测到异常时，自动匹配对应的故障治愈策略，按照相应的策略流程步骤执行并将结果反馈给对应的运维人员。
本发明的存储管理系统，通过采用API采集器采集存储系统的相关信息，并将存储系统的相关信息发送给数据处理模块，数据处理模块对API采集器采集的数据进行分类、清洗，调度引擎根据数据处理模块的处理结果调用相应的功能模块执行数据处理模块的处理方案，本发明只需构建不同的API采集器以及不同功能的执行模块，实现了多样化和个性化的存储统一管理和作业，提高了存储管理系统的效率，减少了运维人员的工作量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一种基于插件化架构设计的存储管理系统结构示意图。
具体实施方式
以下各实施例的说明是参考附图，用以示例本发明可以用以实施的特定实施例。
以下参照图1所示，本发明实施例一提供一种基于插件化架构设计的存储管理系统，包括：采集模块2、数据处理模块3、调度引擎以及执行模块4，其中，所述采集模块2用于采集存储系统1的相关信息并通过数据通道上传至数据处理模块3；所述数据处理模块3用于接收存储系统1上传的数据并进行存储和处理；所述调度引擎用于根据数据处理模块3的处理方案调用相应的所述执行模块4；所述执行模块4用于执行相应的处理方案。
具体地，所述存储系统1包括不同厂商不同型号的存储设备11，比如NetApp、EMC、IBM、DELL和HP等。具体地，所述采集模块2为API采集器21，该API采集器21提供接口，并且该API采集器支持SNMP等协议，可对接不同厂商和不同型号的存储设备11，采集存储设备11的相关信息，并将采集的相关信息通过数据管道上传至数据处理模块3中。
具体地，该存储管理系统可以包括多个不同厂商的不同型号的存储设备11，相应地可以包括多个API采集器21，每一个API采集器21采集与之连接的存储设备11的信息，并将存储设备11的信息发送给数据处理模块3。
具体地，数据处理模块3接收存储系统1上传的数据，并对上传的数据进行分析和处理，比如：进行数据分类、数据展示或者更新配置数据库等等。
具体地，执行模块包括配置存储模块41、告警显示模块42和作业执行模块43，配置存储模块41用于根据数据处理模块3的输出的同步配置信息将API采集器21采集到的数据更新到数据库中，并提供数据展示和查询，可通过存储系统1和实际使用的业务系统进行关联。
具体地，执行模块4还包括告警显示模块42，告警显示模块42根据数据处理模块3输出的匹配告警信息，将API采集器21采集的信息与告警显示模块42中对应的项目以及该项目对应的阈值进行匹配分析，并通过邮件进行告警或者通过web页面绘制存储系统的性能曲线图或者使用情况曲线图的方式进行显示。
具体地，执行模块还包括作业执行模块43，作业执行模块43用于执行对应的流程策略，将任务工作下发到对应的存储设备11并进行执行后反馈信息，管理员可以从页面查看作业执行的情况或手动运行一次性执行工作。
具体地，调度引擎用于根据数据处理模块3的处理结果调用相应的功能执行模块，例如，当数据处理模块3的处理结果为同步配置信息，则调度引擎调用配置存储模块41将采集的相应的数据信息更新到配置数据库中，当数据处理模块的处理结果为匹配告警信息时，调度引擎调用告警展示模块42，告警展示模块进行告警，当数据处理模块的输出结果为匹配作业策略时，调度引擎调用作业执行模块43，用于将工作任务下发到对应的存储设备并进行执行。
在一具体实施方式中，该存储管理系统还包括日志管理模块，日志管理模块搜集各个存储设备的系统日志和操作日志，将这些日志进行统一存放管理，并通过web进行展示，管理人员可通过web网页查看和审核日志。
在一具体实施方式中，该存储管理系统还包括权限管理模块，该权限管理模块根据不同对象和不同角色进行权限划分，通过进行不同对象和不同角色的权限划分，可以实现不同运维人员对不同的存放设备做不同的事情，将权限颗粒化，从而降低安全风险。
在一具体实施方式中，故障治愈模块将根据日常常用的应用场景，制定标准的问题处理流程和步骤，当存储管理系统的监控模块检查到异常时会自动匹配对应的故障治愈策略，按照策略的步骤和流程执行并将结果反馈到对应的运维人员。
本发明的存储管理系统，通过采用API采集器采集存储设备的相关信息，并将存储设备的相关信息发送给数据处理模块，数据处理模块对API采集器采集的数据进行分类、清洗，调度引擎根据数据处理模块的处理结果调用相应的功能模块执行数据处理模块的处理结果，本发明只需构建不同的API采集器以及不同功能的执行模块，实现了多样化和个性化的存储统一管理和作业，提高了存储管理系统的效率，减少了运维人员的工作量。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (9)
1.一种基于插件化架构设计的存储管理系统，其特征在于，包括：采集模块、数据处理模块、调度引擎以及执行模块，其中，
所述采集模块用于采集存储系统相关信息并通过数据通道上传至数据处理模块；
所述数据处理模块用于接收存储系统上传的数据并进行处理；
所述调度引擎用于根据数据处理模块的处理方案调用相应的所述执行模块；
所述执行模块用于执行相应的处理方案。
2.根据权利要求1所述的存储管理系统，其特征在于：
所述采集模块为API采集器，所述API采集器支持SNMP协议，能对接不同厂商和不同型号的存储设备。
3.根据权利要求1所述的存储管理系统，其特征在于：
所述执行模块包括配置存储模块，所述配置存储模块用于将数据处理模块处理的数据更新到配置数据库中。
4.根据权利要求3所述的存储管理系统，其特征在于：
所述执行模块还包括告警展示模块，所述告警展示模块用于将数据处理模块处理的数据与告警展示模块中的相应的项目和阈值进行匹配，确定告警。
5.根据权利要求4所述的存储管理系统，其特征在于：
所述告警展示模块还用于当确定需要告警时，通过邮件进行告警或通过web页面绘制存储系统的性能曲线或使用情况曲线图的方式进行告警。
6.根据权利要求5所述的存储管理系统，其特征在于：
所述执行模块还包括作业执行模块，所述作业执行模块用于匹配对应的处理流程，将任务工作下发到对应存储设备并进行执行后反馈信息。
7.根据权利要求6所述的存储管理系统，其特征在于：
所述存储管理系统还包括日志管理模块，所述日志管理模块用于搜集各个存储设备的系统日志和操作日志，并将上述日志进行统一存放管理。
8.根据权利要求7所述的存储管理系统，其特征在于：
所述存储管理系统还包括权限管理模块，所述权限管理模块用于根据不同对象和不同角色进行权限划分。
9.根据权利要求8所述的存储管理系统，其特征在于：
所述存储管理系统还包括故障治愈模块，所述故障治愈模块用于根据日常常用的应用场景，制定标准的问题处理策略，存储管理系统的监控模块检测到异常时，自动匹配对应的故障治愈策略，按照相应的策略流程步骤执行并将结果反馈给对应的运维人员。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811432407.6A CN109711561A (zh) | 2018-11-28 | 2018-11-28 | 一种基于插件化架构设计的存储管理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811432407.6A CN109711561A (zh) | 2018-11-28 | 2018-11-28 | 一种基于插件化架构设计的存储管理系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109711561A true CN109711561A (zh) | 2019-05-03 |
Family
ID=66254485
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811432407.6A Pending CN109711561A (zh) | 2018-11-28 | 2018-11-28 | 一种基于插件化架构设计的存储管理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109711561A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110908956A (zh) * | 2019-11-19 | 2020-03-24 | 许继集团有限公司 | 一种保信主站系统及其故障信息归档方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110161406A1 (en) * | 2009-12-28 | 2011-06-30 | Hitachi, Ltd. | Storage management system, storage hierarchy management method, and management server |
| US20140358944A1 (en) * | 2013-05-29 | 2014-12-04 | Commvault Systems, Inc. | Assessing user performance in a community of users of data storage resources |
| CN106159939A (zh) * | 2016-06-30 | 2016-11-23 | 华东电网有限公司 | 电网调度自动发令方法及系统 |
| CN106487585A (zh) * | 2016-10-09 | 2017-03-08 | 深圳市思博创科技有限公司 | 设备综合监控系统架构 |
| CN106973119A (zh) * | 2017-05-17 | 2017-07-21 | 国网山东省电力公司信息通信公司 | 一种电力企业存储资源管理系统 |
| CN107566172A (zh) * | 2017-08-29 | 2018-01-09 | 郑州云海信息技术有限公司 | 一种基于存储系统的主动式管理方法及系统 |
| US20180026863A1 (en) * | 2016-07-21 | 2018-01-25 | Dell Products L.P. | Integrated storage/san monitoring and control system |
-
2018
- 2018-11-28 CN CN201811432407.6A patent/CN109711561A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110161406A1 (en) * | 2009-12-28 | 2011-06-30 | Hitachi, Ltd. | Storage management system, storage hierarchy management method, and management server |
| US20140358944A1 (en) * | 2013-05-29 | 2014-12-04 | Commvault Systems, Inc. | Assessing user performance in a community of users of data storage resources |
| CN106159939A (zh) * | 2016-06-30 | 2016-11-23 | 华东电网有限公司 | 电网调度自动发令方法及系统 |
| US20180026863A1 (en) * | 2016-07-21 | 2018-01-25 | Dell Products L.P. | Integrated storage/san monitoring and control system |
| CN106487585A (zh) * | 2016-10-09 | 2017-03-08 | 深圳市思博创科技有限公司 | 设备综合监控系统架构 |
| CN106973119A (zh) * | 2017-05-17 | 2017-07-21 | 国网山东省电力公司信息通信公司 | 一种电力企业存储资源管理系统 |
| CN107566172A (zh) * | 2017-08-29 | 2018-01-09 | 郑州云海信息技术有限公司 | 一种基于存储系统的主动式管理方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 付载国等: "运营商存储系统面临四大挑战 黑龙江移动创新方案实现高效管理", 《通信世界》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110908956A (zh) * | 2019-11-19 | 2020-03-24 | 许继集团有限公司 | 一种保信主站系统及其故障信息归档方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107094158B (zh) | 一种自动化内网安全脆弱分析系统 | |
| EP2661014B1 (en) | Polling sub-system and polling method for communication network system and communication apparatus | |
| US9038086B2 (en) | End to end modular information technology system | |
| US20110004917A1 (en) | Integration Platform for Collecting Security Audit Trail | |
| EP2711860A2 (en) | A system and method for managing role based access control of users | |
| CN106603284A (zh) | 基于Docker虚拟容器微应用平台系统及运行方法 | |
| CN110430081A (zh) | 基于指令自动编排的智能化巡检方法以及装置 | |
| CN101719852A (zh) | 一种中间件性能的监控方法和设备 | |
| CN109117341A (zh) | 一种虚拟机的监控方法、装置、设备及介质 | |
| CN111383130A (zh) | 一种全生命周期管控平台、移动运维客户端及终端 | |
| CN108804241A (zh) | 跨平台任务调度方法、系统、计算机设备和存储介质 | |
| CN105096014A (zh) | 远程录制作业运行情况的方法和系统 | |
| CN102025536A (zh) | 一种Unix/Linux系统运维数据收集方法和装置 | |
| CN107463490B (zh) | 一种应用于平台开发中的集群日志集中收集方法 | |
| CN109299789A (zh) | 设备点检方法及装置 | |
| CN111048164A (zh) | 一种医学大数据长期保存系统 | |
| CN109711561A (zh) | 一种基于插件化架构设计的存储管理系统 | |
| CN112126908B (zh) | 镀膜控制系统及镀膜设备 | |
| US7783752B2 (en) | Automated role based usage determination for software system | |
| US20150208255A1 (en) | Automatic network device replacement using a smartphone | |
| KR101376226B1 (ko) | 오픈 소스 통합 관리 방법 및 그 서버 | |
| CN111177239B (zh) | 一种基于hdp大数据集群的统一日志处理方法及系统 | |
| CN108039974A (zh) | 一种云平台虚拟机逃逸监测告警方法 | |
| CN103514044A (zh) | 一种动态行为分析系统的资源优化方法、装置和系统 | |
| CN208210002U (zh) | 基于峰谷调度策略的it资源攻击面信息采集与分析系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190503 |