CN113110796A - 数据管理方法、装置、服务器及存储介质 - Google Patents

数据管理方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN113110796A
CN113110796A CN202010031978.XA CN202010031978A CN113110796A CN 113110796 A CN113110796 A CN 113110796A CN 202010031978 A CN202010031978 A CN 202010031978A CN 113110796 A CN113110796 A CN 113110796A
Authority
CN
China
Prior art keywords
management
data
storage
server
command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010031978.XA
Other languages
English (en)
Other versions
CN113110796B (zh
Inventor
杨淑辉
陈义
廖振球
王朝帝
宫佳睿
李杨
贺新民
练育旺
徐新
吴高明
刘辉勇
詹孟华
周萍
陈会会
何平
张永田
凌文波
胡倩
毕建涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SF Technology Co Ltd
Original Assignee
SF Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SF Technology Co Ltd filed Critical SF Technology Co Ltd
Priority to CN202010031978.XA priority Critical patent/CN113110796B/zh
Publication of CN113110796A publication Critical patent/CN113110796A/zh
Application granted granted Critical
Publication of CN113110796B publication Critical patent/CN113110796B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种数据管理方法、装置、服务器及存储介质。该数据管理方法包括：获取数据管理请求，数据管理请求中包括管理参数；将管理参数输出至存储管理控制器；存储管理控制器基于管理参数在至少一个存储节点进行数据管理，得到管理结果；将管理结果进行显示。在现有GlusterFS为开源分布式存储系统中应用时仅能通过复杂命令管理，直接登陆存储节点操作，使用命令复杂，风险性高的基础上，本申请实施例中通过在GlusterFS分布式存储系统设置存储管理控制器，可以基于存储管理控制器，提升存储管理效率、提高存储管理全面性，实现自动化实时管理，避免了直接访问存储节点，大幅提升了运维效率，提高了数据准确性，保障了存储数据安全。

Description

数据管理方法、装置、服务器及存储介质
技术领域
本发明涉及数据处理技术领域，具体涉及一种数据管理方法、装置、服务器及存储介质。
背景技术
存储领域一直以来受限于商业厂商技术的封闭，企业长期依赖采购厂商的存储及备份产品。存储厂商技术的封闭、传统的方案难于满足存储与备份的业务需求等问题。
GlusterFS为开源分布式存储系统，在应用中仅能通过复杂命令管理，存储缺失统一管理控制系统，存储使有困难、效率低、风险高，无法引入企业生产环境使用。另外，当前GlusterFS存储管理系统是直接登陆存储节点操作，使用命令复杂，风险性高。
发明内容
本发明实施例提供一种据管理方法、装置、服务器及存储介质，大幅提升了运维效率，提高了数据准确性，保障了存储数据安全。
一方面，本申请提供一种数据管理方法，应用于GlusterFS分布式存储系统，所述GlusterFS分布式存储系统包括服务器、与所述服务器网络连接至少一个存储节点，所述服务器中包括存储管理控制器，所述数据管理方法包括：
获取数据管理请求，所述数据管理请求中包括管理参数；
将所述管理参数输出至存储管理控制器；
所述存储管理控制器基于所述管理参数在所述至少一个存储节点进行数据管理，得到管理结果；
将所述管理结果进行显示。
在本申请一些实施例中，所述存储管理控制器基于所述管理参数在所述至少一个存储节点进行数据管理，得到管理结果，包括：
所述存储管理控制器基于所述管理参数在预设的命令集中查找目标命令，所述命令集中的各命令通过封装预设的脚本得到，所述命令集中每个命令对应一种管理操作；
执行所述目标命令中封装的脚本，实现所述目标命令对应的管理操作；
获取所述目标命令对应的管理操作的操作结果。
在本申请一些实施例中，在所述所述存储管理控制器基于所述管理参数在预设的命令集中查找目标命令之前，所述方法还包括：
获取预先部署在所述存储管理控制器对应的存储操作的脚本集；
分别以所述脚本集中脚本为目标脚本，对所述目标脚本进行封装，得到封装命令；
待所述脚本集中所有脚本封装完成后，得到所述命令集。
在本申请一些实施例中，所述存储管理控制器基于所述管理参数在所述至少一个存储节点进行数据管理，得到管理结果，还包括：
在执行所述目标命令中封装的脚本，实现所述目标命令对应的管理操作的过程中，获取所述至少一个存储节点中数据文件一致性状态、管理操作进度百分比、操作存储节点的处理器性能状态和内存性能状态；
可视化的展现所述至少一个存储节点中数据文件一致性状态、管理操作进度百分比、操作存储节点的处理器性能状态和内存性能状态。
在本申请一些实施例中，所述数据管理请求为数据修复请求，所述管理参数为修复参数；所述获取数据管理请求，包括：
在所述至少一个存储节点中数据发生数据异常时，向管理员终端发送数据异常通知；
获取所述管理员终端反馈的数据修复请求。
在本申请一些实施例中，所述根据所述数据修复指令，生成数据修复请求，包括：
验证所述数据修复指令是否为预设的超级管理员发送的指令；
若是，生成数据修复请求。
在本申请一些实施例中，所述服务器还包括Web服务单元，所述将所述管理结果进行显示，包括：
将所述管理结果发送给Web服务单元；
通过所述Web服务单元对所述管理结果进行展示。
另一方面，本申请提供一种数据管理装置，应用于GlusterFS分布式存储系统，所述GlusterFS分布式存储系统包括服务器、与所述服务器网络连接至少一个存储节点，所述服务器中包括存储管理控制器，所述数据管理装置包括获取单元、输出单元和显示单元：
所述获取单元用于获取数据管理请求，所述数据管理请求中包括管理参数；
所述输出单元用于将所述管理参数输出至存储管理控制器；
所述存储管理控制器用于基于所述管理参数在所述至少一个存储节点进行数据管理，得到管理结果；
所述显示单元用于将所述管理结果进行显示。
在本申请一些实施例中，所述存储管理控制器具体用于：
基于所述管理参数在预设的命令集中查找目标命令，所述命令集中的各命令通过封装预设的脚本得到，所述命令集中每个命令对应一种管理操作；
执行所述目标命令中封装的脚本，实现所述目标命令对应的管理操作；
获取所述目标命令对应的管理操作的操作结果。
在本申请一些实施例中，所述装置还包括封装单元，所述封装单元具体用于：
在所述所述存储管理控制器基于所述管理参数在预设的命令集中查找目标命令之前，获取预先部署在所述存储管理控制器对应的存储操作的脚本集；
分别以所述脚本集中脚本为目标脚本，对所述目标脚本进行封装，得到封装命令；
待所述脚本集中所有脚本封装完成后，得到所述命令集。
在本申请一些实施例中，所述存储管理控制器具体还用于：：
在执行所述目标命令中封装的脚本，实现所述目标命令对应的管理操作的过程中，获取所述至少一个存储节点中数据文件一致性状态、管理操作进度百分比、操作存储节点的处理器性能状态和内存性能状态；
可视化的展现所述至少一个存储节点中数据文件一致性状态、管理操作进度百分比、操作存储节点的处理器性能状态和内存性能状态。
在本申请一些实施例中，所述数据管理请求为数据修复请求，所述管理参数为修复参数；所述获取单元具体用于：
在所述至少一个存储节点中数据发生数据异常时，向管理员终端发送数据异常通知；
获取所述管理员终端反馈的数据修复请求。
在本申请一些实施例中，所述获取单元具体用于：
验证所述数据修复指令是否为预设的超级管理员发送的指令；
若是，生成数据修复请求。
在本申请一些实施例中，所述服务器还包括Web服务单元，所述显示单元具体用于：
将所述管理结果发送给Web服务单元；
通过所述Web服务单元对所述管理结果进行展示。
另一方面，本申请提供一种服务器，所述服务器应用于GlusterFS分布式存储系统，所述GlusterFS分布式存储系统还包括与所述存储管理控制器网络连接至少一个存储节点，所述服务器包括存储管理控制器，所述服务器包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现所述的数据管理方法。
另一方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的数据管理方法中的步骤。
本发明实施例在GlusterFS分布式存储系统中，管理存储节点中数据时，通过获取数据管理请求，所述数据管理请求中包括管理参数；将所述管理参数输出至存储管理控制器；所述存储管理控制器基于所述管理参数在所述至少一个存储节点进行数据管理，得到管理结果；将所述管理结果进行显示。在现有GlusterFS为开源分布式存储系统中应用时仅能通过复杂命令管理，直接登陆存储节点操作，使用命令复杂，风险性高的基础上，本申请实施例中通过在GlusterFS分布式存储系统设置存储管理控制器，可以基于存储管理控制器，提升存储管理效率、提高存储管理全面性，实现自动化实时管理，避免了直接访问存储节点，大幅提升了运维效率，提高了数据准确性，保障了存储数据安全。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的GlusterFS分布式存储系统的场景示意图；
图2是本发明实施例提供的数据管理方法的一个实施例流程示意图；
图3是本发明实施例提供的步骤203的一个实施例流程示意图；
图4是本发明实施例中对脚本进行封装得到命令集的一个实施例流程示意图；
图5是本发明实施例中数据管理装置的一个实施例结构示意图；
图6是本发明实施例中服务器的一个实施例结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
本发明实施例提供一种数据管理方法、装置、电子设备及存储介质。以下分别进行详细说明。
请参阅图1，图1为本发明实施例所提供的GlusterFS分布式存储系统的场景示意图，该GlusterFS分布式存储系统可以包括服务器100、以及与所述存服务器网络连接至少一个存储节点200，服务器100中包括存储管理控制器(GlusterFS Service ProcessorManagement Platform，GSP)，此外，服务器100中集成有数据管理装置。
本发明实施例中服务器100主要用于获取数据管理请求，所述数据管理请求中包括管理参数；将所述管理参数输出至存储管理控制器；所述存储管理控制器基于所述管理参数在所述至少一个存储节点进行数据管理，得到管理结果；将所述管理结果进行显示。
本发明实施例中，该服务器100可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本发明实施例中所描述的服务器100，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。
本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本申请方案一种应用场景，并不构成对本申请方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的服务器，例如图1中仅示出1个服务器，可以理解的，该GlusterFS分布式存储系统还可以包括一个或多个其他服务器，具体此处不作限定。
需要说明的是，图1所示的GlusterFS分布式存储系统的场景示意图仅仅是一个示例，本发明实施例描述的GlusterFS分布式存储系统以及场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着GlusterFS分布式存储系统的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
首先，本发明实施例中提供一种数据管理方法，该数据管理方法应用于GlusterFS分布式存储系统，所述GlusterFS分布式存储系统包括服务器、与所述服务器网络连接至少一个存储节点，所述服务器中包括存储管理控制器，所述数据管理方法包括：获取数据管理请求，所述数据管理请求中包括管理参数；将所述管理参数输出至存储管理控制器；所述存储管理控制器基于所述管理参数在所述至少一个存储节点进行数据管理，得到管理结果；将所述管理结果进行显示。
如图2所示，为本发明实施例中数据管理方法的一个实施例流程示意图，该数据管理方法包括：
201、获取数据管理请求，所述数据管理请求中包括管理参数。
其中，获取数据管理请求可以是从管理员终端获取的数据管理请求，管理员终端时可以是GlusterFS分布式存储系统中管理员账户对应的终端，例如某终端登录了该管理员账户，则该终端即为管理员终端。
数据管理请求可以是数据恢复请求，数据存储请求，数据查询请求，数据删除请求等各种数据操作请求，具体本发明实施例中不做限定。
另外，管理参数为对述至少一个存储节点进行数据管理的具体参数，管理参数中可以包括管理类型和管理对象，例如，管理对象为“数据A”，管理类型为“数据存储”，管理参数与数据管理请求对应，例如数据管理请求对应的管理类型为“数据恢复”，即数据管理请求为数据恢复请求时，则管理参数为数据恢复参数，数据管理请求为数据存储请求时，则管理参数为数据存储参数。
202、将所述管理参数输出至存储管理控制器。
203、所述存储管理控制器基于所述管理参数在所述至少一个存储节点进行数据管理，得到管理结果。
204、将所述管理结果进行显示。
目前，原生GlusterFS存储缺失存储管理的组件，在日常运维工作中技术要求高、操作复杂、效率很低，并且风险度很高、监控指标不全，运维将会十分困难。
本发明实施例在GlusterFS分布式存储系统中，管理存储节点中数据时，通过获取数据管理请求，所述数据管理请求中包括管理参数；将所述管理参数输出至存储管理控制器；所述存储管理控制器基于所述管理参数在所述至少一个存储节点进行数据管理，得到管理结果；将所述管理结果进行显示。在现有GlusterFS为开源分布式存储系统中应用时仅能通过复杂命令管理，直接登陆存储节点操作，使用命令复杂，风险性高的基础上，本申请实施例中通过在GlusterFS分布式存储系统设置存储管理控制器，可以基于存储管理控制器，提升存储管理效率、提高存储管理全面性，实现自动化实时管理，避免了直接访问存储节点，大幅提升了运维效率，提高了数据准确性，保障了存储数据安全。
在本发明一些实施例中，存储管理控制器(GlusterFS Service ProcessorManagement Platform，GSP)可以包括控制单元(Control Server)、Web服务单元(WebServer)、GSP命令管理单元，这三个实现对GlusterFS分布式存储系统中存储节点的统一管理、配置管理、容量管理、性能管理、自动化巡检。
具体的，存储管理控制系统(GSP)各模块功能如下：
控制单元：实现GlusterFS分布式存储系统中，存储管理控制及存储数据采集功能。
GSP命令管理单元：GSP命令管理功能。
Web服务单元：存储管理信息可视化管理功能。
其中，控制单元(Control Server)连接GlusterFS分布式存储系统中存储节点，实现对存储节点的控制作用，支撑Web服务单元(Web Server)的数据采集、配置操作控制，提供GSP命令管理功能，作为GSP中枢控制模块。
Web服务单元(Web Server)对接Control Server实现Web管理，GlusterFS分布式存储系统中存储所有的管理与服务通过eb服务单元(Web Server)来实现，在配置、容量、性能、监控、巡检功能领域实现自动化操作。
在本申请一些实施例中，如图3所示，所述存储管理控制器基于所述管理参数在所述至少一个存储节点进行数据管理，得到管理结果，包括：
301、通过所述存储管理控制器，基于所述管理参数在预设的命令集中查找目标命令。
其中，所述命令集中的各命令通过封装预设的脚本得到，所述命令集中每个命令对应一种管理操作，例如数据查询，数据存储或数据修复等。
302、执行所述目标命令中封装的脚本，实现所述目标命令对应的管理操作。
303、获取所述目标命令对应的管理操作的操作结果。
目前，管理员登录GlusterFS分布式存储系统是直接登陆存储节点操作，使用命令复杂，风险性高。为了对标商业存储应用于企业数据中心，因此本发明实施例中对GlusterFS分布式存储系统中的脚本进行二次封装，简单化、降低风险，满足运维管理要求，达到GlusterFS分布式存储系统存储上线标准。
在本发明一些实施例中，在所述通过所述存储管理控制器，基于所述管理参数在预设的命令集中查找目标命令之前，如图4所示，所述方法还包括：
401、获取预先部署在所述存储管理控制器对应的存储操作的脚本集。
本发明实施例中，可以预先将存储操作的脚本布暑在存储管理控制器的ControlServer中，脚本可以单独执行，实现控制操作及需求信息展示，后续即可直接获取预先部署在所述存储管理控制器对应的存储操作的脚本集。
402、分别以所述脚本集中脚本为目标脚本，对所述目标脚本进行封装，得到封装命令。
其中，对所述目标脚本进行封装，得到封装命令，包括：判断目标脚本是否为预设命令脚本，若否，直接对所述目标脚本进行封装，得到封装命令，若否，则需要对目标脚本修改io锁机制，以避免查询不到信息，影响命令封装。
具体的，例如在GlusterFS 3.12.15版本中，gluster volume profile、glustervolume heal info、gluster volume top命令存在存储问题，频繁命令无输出，导致查询不到信息，影响命令封装，此时，若判断目标脚本是这些命令脚本，则修改GlusterFS io-sta.ost模块io锁机制，以修改命令bug，以避免查询不到信息，影响命令封装。
对所述目标脚本进行封装，得到封装命令具体可以是：在Control Server中，将目标脚本，通过centos alias封装为命令，后续可以通过分钟命令实现GlusterFS存储操作，例如通过登陆Control Server执行GSP封装命令来实现存储操作。
403、待所述脚本集中所有脚本封装完成后，得到所述命令集。
上述对原生命令进行二次封装存在如下优点：
1)GlusterFS分布式存储系统中存储控制管理调整
原生存储管理，直接登陆GlusterFS分布式存储系统中存储节点底层，命令操作，风险性高。本发明实施例中通过在Control Server中封装GSP管理命令后，无须登陆存储节点底层操作，实现了GlusterFS分布式存储系统中存储底层命令风险管理，同时避管理员接触到业务数据，降低存储管理风险，保障存储安全稳定运行。
2)GlusterFS分布式存储系统中存储管理效率提升
GlusterFS分布式存储系统原生命令复杂，功能单一。通过使用封装后的命令，简化了GlusterFS命令流程，简化了命令复杂度，降低了管理员技术要求，根据存储管理需求，实现存储命令自定封装。
3)GlusterFS分布式存储系统中存储自动化管理支撑
GlusterFS分布式存储系统中存储通过GSP实现自动化管理，Control Server需要调用封装命令来实现。
在本申请一些实施例中，所述存储管理控制器基于所述管理参数在所述至少一个存储节点进行数据管理，得到管理结果，还包括：在执行所述目标命令中封装的脚本，实现所述目标命令对应的管理操作的过程中，获取所述至少一个存储节点中数据文件一致性状态、管理操作进度百分比、操作存储节点的处理器性能状态和内存性能状态；可视化的展现所述至少一个存储节点中数据文件一致性状态、管理操作进度百分比、操作存储节点的处理器性能状态和内存性能状态。
修复是存储系统必不可少的一个部分。因为无法排除包括人为、不可抗力等导致的数据异常。现行的包括快照、脑裂修复等都是修复流程。GlusterFS分布式存储系统，分布式就一定会产生数据一致性的问题，当发生该类问题，就需要进行数据修复。
在现有的GlusterFS分布式存储系统原有修复流程中在数据修复时，需要直接登录到存储节点执行命令，直接登陆到存储节点，会有一些无法预防的错误，比如正确的指令执行在错误的节点上，或者误操作执行了错误的指令等等，没有阻隔，系统就比较脆弱。
因此，在本申请另一些实施例中，所述数据管理请求为数据修复请求，所述管理参数为修复参数；所述获取数据管理请求，包括：在所述至少一个存储节点中数据发生数据异常时，向管理员终端发送数据异常通知；获取所述管理员终端反馈的数据修复请求。
进一步的，所述根据所述数据修复指令，生成数据修复请求，包括：验证所述数据修复指令是否为预设的超级管理员发送的指令；若是，生成数据修复请求。
在本申请一些实施例中，当服务器还包括Web服务单元时，具体的即存储管理控制器包括Web服务单元时，所述将所述管理结果进行显示，包括：将所述管理结果发送给Web服务单元；通过所述Web服务单元对所述管理结果进行展示。
具体的，当发现所述至少一个存储节点中存储节点数据存在脑裂等数据异常状态时，及时通知管理员终端进行处理，以便管理员终端进行处理，其中，工程师可以以普通用户登陆管理平台，检查异常状态，确认异常后，登陆超级管理员用户，发起数据修复指令，服务器收到指令，执行权限验证、路径校验等安全验证措施，无误后，向存储节点发起修复请求，存储节点收到请求后，执行封装后的修复命令，生成修复过程文，该修复过程文件可实时传送到可视化工具(例如Web服务单元)，进而展示进度和过程信息，可视化工具显示修复完成后，会进行多副本的MD5(MD5 Message-Digest Algorithm)值校验，确保修复的准确性。
本发明实施例中开发了可视化工具，可避免控制节点的随意登陆，降低了次要风险，提升效率80％以上，同时新增了用户认证，现有技术中修复指令，任意用户即可执行，本发明实施例中需要超级管理员才能执行数据修复，因为数据修复会导致集群性能下降、一般用户及普通管理员都无权限执行，提高了系统安全性。
为了更好实施本发明实施例中数据管理方法，在数据管理方法基础之上，本发明实施例中还提供一种数据管理装置，应用于GlusterFS分布式存储系统，所述GlusterFS分布式存储系统包括服务器、与所述服务器网络连接至少一个存储节点，如图5所示，所述服务器中包括存储管理控制器510，所述数据管理装置包括获取单元501、输出单元502和显示单元503：
所述获取单元501用于获取数据管理请求，所述数据管理请求中包括管理参数；
所述输出单元502用于将所述管理参数输出至存储管理控制器；
所述存储管理控制器510用于基于所述管理参数在所述至少一个存储节点进行数据管理，得到管理结果；
所述显示单元503用于将所述管理结果进行显示。
在本申请一些实施例中，所述存储管理控制器510具体用于：
基于所述管理参数在预设的命令集中查找目标命令，所述命令集中的各命令通过封装预设的脚本得到，所述命令集中每个命令对应一种管理操作；
执行所述目标命令中封装的脚本，实现所述目标命令对应的管理操作；
获取所述目标命令对应的管理操作的操作结果。
在本申请一些实施例中，所述装置还包括封装单元，所述封装单元具体用于：
在所述所述存储管理控制器基于所述管理参数在预设的命令集中查找目标命令之前，获取预先部署在所述存储管理控制器对应的存储操作的脚本集；
分别以所述脚本集中脚本为目标脚本，对所述目标脚本进行封装，得到封装命令；
待所述脚本集中所有脚本封装完成后，得到所述命令集。
在本申请一些实施例中，所述存储管理控制器510具体还用于：：
在执行所述目标命令中封装的脚本，实现所述目标命令对应的管理操作的过程中，获取所述至少一个存储节点中数据文件一致性状态、管理操作进度百分比、操作存储节点的处理器性能状态和内存性能状态；
可视化的展现所述至少一个存储节点中数据文件一致性状态、管理操作进度百分比、操作存储节点的处理器性能状态和内存性能状态。
在本申请一些实施例中，所述数据管理请求为数据修复请求，所述管理参数为修复参数；所述获取单元501具体用于：
在所述至少一个存储节点中数据发生数据异常时，向管理员终端发送数据异常通知；
获取所述管理员终端反馈的数据修复请求。
在本申请一些实施例中，所述获取单元501具体用于：
验证所述数据修复指令是否为预设的超级管理员发送的指令；
若是，生成数据修复请求。
在本申请一些实施例中，所述服务器还包括Web服务单元，所述显示单元具体用于：
将所述管理结果发送给Web服务单元；
通过所述Web服务单元对所述管理结果进行展示。
本发明实施例在GlusterFS分布式存储系统中，管理存储节点中数据时，通过获取单元501获取数据管理请求，所述数据管理请求中包括管理参数；输出单元502将所述管理参数输出至存储管理控制器；所述存储管理控制器510基于所述管理参数在所述至少一个存储节点进行数据管理，得到管理结果；显示单元503将所述管理结果进行显示。在现有GlusterFS为开源分布式存储系统中应用时仅能通过复杂命令管理，直接登陆存储节点操作，使用命令复杂，风险性高的基础上，本申请实施例中通过在GlusterFS分布式存储系统设置存储管理控制器，可以基于存储管理控制器，提升存储管理效率、提高存储管理全面性，实现自动化实时管理，避免了直接访问存储节点，大幅提升了运维效率，提高了数据准确性，保障了存储数据安全。
本发明实施例还提供一种服务器，其集成了本发明实施例所提供的任一种数据管理装置，所述服务器应用于GlusterFS分布式存储系统，所述GlusterFS分布式存储系统还包括与所述存储管理控制器网络连接至少一个存储节点，所述服务器包括存储管理控制器，所述服务器包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行上述数据管理方法实施例中任一实施例中所述的数据管理方法中的步骤。
本发明实施例还提供一种服务器，其集成了本发明实施例所提供的任一种数据管理装置。如图6所示，其示出了本发明实施例所涉及的服务器的结构示意图，具体来讲：
该服务器可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储器602、电源603和输入单元604等部件。本领域技术人员可以理解，图6中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
其中：
处理器601是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。可选的，处理器601可包括一个或多个处理核心；优选的，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。
存储器602可用于存储软件程序以及模块，处理器601通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器601对存储器602的访问。
服务器还包括给各个部件供电的电源603，优选的，电源603可以通过电源管理系统与处理器601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该服务器还可包括输入单元604，该输入单元604可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，服务器还可以包括显示单元等，在此不再赘述。具体在本实施例中，服务器中的处理器601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器601来运行存储在存储器602中的应用程序，从而实现各种功能，如下：
获取数据管理请求，所述数据管理请求中包括管理参数；
将所述管理参数输出至存储管理控制器；
利用所述存储管理控制器，实现基于所述管理参数在所述至少一个存储节点进行数据管理，得到管理结果；
将所述管理结果进行显示。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种计算机可读存储介质，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行本发明实施例所提供的任一种数据管理方法中的步骤。例如，所述计算机程序被处理器进行加载可以执行如下步骤：
获取数据管理请求，所述数据管理请求中包括管理参数；
将所述管理参数输出至存储管理控制器；
利用所述存储管理控制器，实现基于所述管理参数在所述至少一个存储节点进行数据管理，得到管理结果；
将所述管理结果进行显示。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。
具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种数据管理方法、装置、服务器及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种数据管理方法，其特征在于，应用于GlusterFS分布式存储系统，所述GlusterFS分布式存储系统包括服务器、与所述服务器网络连接至少一个存储节点，所述服务器中包括存储管理控制器，所述数据管理方法包括：
获取数据管理请求，所述数据管理请求中包括管理参数；
将所述管理参数输出至存储管理控制器；
所述存储管理控制器基于所述管理参数在所述至少一个存储节点进行数据管理，得到管理结果；
将所述管理结果进行显示。
2.根据权利要求1所述的数据管理方法，其特征在于，所述存储管理控制器基于所述管理参数在所述至少一个存储节点进行数据管理，得到管理结果，包括：
所述存储管理控制器基于所述管理参数在预设的命令集中查找目标命令，所述命令集中的各命令通过封装预设的脚本得到，所述命令集中每个命令对应一种管理操作；
执行所述目标命令中封装的脚本，实现所述目标命令对应的管理操作；
获取所述目标命令对应的管理操作的操作结果。
3.根据权利要求2所述的数据管理方法，其特征在于，在所述所述存储管理控制器基于所述管理参数在预设的命令集中查找目标命令之前，所述方法还包括：
获取预先部署在所述存储管理控制器对应的存储操作的脚本集；
分别以所述脚本集中脚本为目标脚本，对所述目标脚本进行封装，得到封装命令；
待所述脚本集中所有脚本封装完成后，得到所述命令集。
4.根据权利要求2所述的数据管理方法，其特征在于，所述存储管理控制器基于所述管理参数在所述至少一个存储节点进行数据管理，得到管理结果，还包括：
在执行所述目标命令中封装的脚本，实现所述目标命令对应的管理操作的过程中，获取所述至少一个存储节点中数据文件一致性状态、管理操作进度百分比、操作存储节点的处理器性能状态和内存性能状态；
可视化的展现所述至少一个存储节点中数据文件一致性状态、管理操作进度百分比、操作存储节点的处理器性能状态和内存性能状态。
5.根据权利要求1所述的数据管理方法，其特征在于，所述数据管理请求为数据修复请求，所述管理参数为修复参数；所述获取数据管理请求，包括：
在所述至少一个存储节点中数据发生数据异常时，向管理员终端发送数据异常通知；
获取所述管理员终端反馈的数据修复请求。
6.根据权利要求5所述的数据管理方法，其特征在于，所述根据所述数据修复指令，生成数据修复请求，包括：
验证所述数据修复指令是否为预设的超级管理员发送的指令；
若是，生成数据修复请求。
7.根据权利要求1所述的数据管理方法，其特征在于，所述服务器还包括Web服务单元，所述将所述管理结果进行显示，包括：
将所述管理结果发送给Web服务单元；
通过所述Web服务单元对所述管理结果进行展示。
8.一种数据管理装置，其特征在于，应用于GlusterFS分布式存储系统，所述GlusterFS分布式存储系统包括服务器、与所述服务器网络连接至少一个存储节点，所述服务器中包括存储管理控制器，所述数据管理装置包括获取单元、输出单元和显示单元：
所述获取单元用于获取数据管理请求，所述数据管理请求中包括管理参数；
所述输出单元用于将所述管理参数输出至存储管理控制器；
所述存储管理控制器用于基于所述管理参数在所述至少一个存储节点进行数据管理，得到管理结果；
所述显示单元用于将所述管理结果进行显示。
9.一种服务器，其特征在于，所述服务器应用于GlusterFS分布式存储系统，所述GlusterFS分布式存储系统还包括与所述存储管理控制器网络连接至少一个存储节点，所述服务器包括存储管理控制器，所述服务器还包括：
一个或多个处理器；
存储器；以及
一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1至7中任一项所述的数据管理方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至7任一项所述的数据管理方法中的步骤。
CN202010031978.XA 2020-01-13 2020-01-13 数据管理方法、装置、服务器及存储介质 Active CN113110796B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010031978.XA CN113110796B (zh) 2020-01-13 2020-01-13 数据管理方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010031978.XA CN113110796B (zh) 2020-01-13 2020-01-13 数据管理方法、装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN113110796A true CN113110796A (zh) 2021-07-13
CN113110796B CN113110796B (zh) 2024-06-28

Family

ID=76708853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010031978.XA Active CN113110796B (zh) 2020-01-13 2020-01-13 数据管理方法、装置、服务器及存储介质

Country Status (1)

Country Link
CN (1) CN113110796B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108804644A (zh) * 2018-06-05 2018-11-13 中国平安人寿保险股份有限公司 接口日志存储方法、装置、计算机设备和存储介质
CN109194506A (zh) * 2018-08-16 2019-01-11 北京京东尚科信息技术有限公司 区块链网络部署方法、平台及计算机存储介质
US20190079780A1 (en) * 2017-09-09 2019-03-14 Box, Inc. Plug-in management wrappers
US20190087167A1 (en) * 2016-09-20 2019-03-21 Bluedata Software, Inc. Generating service images having scrpits for the deployment of services
CN109861846A (zh) * 2018-12-25 2019-06-07 顺丰科技有限公司 应用调用关系获取方法、系统及存储介质
US20190208021A1 (en) * 2016-12-19 2019-07-04 Tencent Technology (Shenzhen) Company Limited Content delivery network (cdn) management system, method, and apparatus
CN110019081A (zh) * 2017-07-20 2019-07-16 中兴通讯股份有限公司 数据持久化处理方法、装置、系统及可读存储介质
CN110308944A (zh) * 2019-05-15 2019-10-08 广州供电局有限公司 配置文件处理方法、系统、计算机设备和存储介质
CN110365113A (zh) * 2019-07-18 2019-10-22 国电南瑞科技股份有限公司 一种配网pmu动态融合配电终端功能的方法及存储介质
CN110601896A (zh) * 2019-09-20 2019-12-20 腾讯科技（深圳）有限公司 一种基于区块链节点的数据处理方法以及设备
CN110636122A (zh) * 2019-09-11 2019-12-31 中移（杭州）信息技术有限公司 分布式存储方法、服务器、系统、电子设备以及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190087167A1 (en) * 2016-09-20 2019-03-21 Bluedata Software, Inc. Generating service images having scrpits for the deployment of services
US20190208021A1 (en) * 2016-12-19 2019-07-04 Tencent Technology (Shenzhen) Company Limited Content delivery network (cdn) management system, method, and apparatus
CN110019081A (zh) * 2017-07-20 2019-07-16 中兴通讯股份有限公司 数据持久化处理方法、装置、系统及可读存储介质
US20190079780A1 (en) * 2017-09-09 2019-03-14 Box, Inc. Plug-in management wrappers
CN108804644A (zh) * 2018-06-05 2018-11-13 中国平安人寿保险股份有限公司 接口日志存储方法、装置、计算机设备和存储介质
CN109194506A (zh) * 2018-08-16 2019-01-11 北京京东尚科信息技术有限公司 区块链网络部署方法、平台及计算机存储介质
CN109861846A (zh) * 2018-12-25 2019-06-07 顺丰科技有限公司 应用调用关系获取方法、系统及存储介质
CN110308944A (zh) * 2019-05-15 2019-10-08 广州供电局有限公司 配置文件处理方法、系统、计算机设备和存储介质
CN110365113A (zh) * 2019-07-18 2019-10-22 国电南瑞科技股份有限公司 一种配网pmu动态融合配电终端功能的方法及存储介质
CN110636122A (zh) * 2019-09-11 2019-12-31 中移（杭州）信息技术有限公司 分布式存储方法、服务器、系统、电子设备以及存储介质
CN110601896A (zh) * 2019-09-20 2019-12-20 腾讯科技（深圳）有限公司 一种基于区块链节点的数据处理方法以及设备

Also Published As

Publication number Publication date
CN113110796B (zh) 2024-06-28

Similar Documents

Publication Publication Date Title
CN108600029B (zh) 一种配置文件更新方法、装置、终端设备及存储介质
CN110647580B (zh) 分布式容器集群镜像管理主节点、从节点、系统及方法
US9569325B2 (en) Method and system for automated test and result comparison
US20140122930A1 (en) Performing diagnostic tests in a data center
CN109684038B (zh) Docker服务容器日志的处理方法、装置和电子设备
US20230246919A1 (en) Method and System for Locating Micro-Service Fusing Anomaly, Device and Medium
WO2019128299A1 (zh) 一种测试系统及测试方法
CN110995545B (zh) 云网络配置测试方法及装置
CN110221910B (zh) 用于执行mpi作业的方法和装置
CN110971464A (zh) 一种适合灾备中心的运维自动化系统
CN106406980B (zh) 一种虚拟机的部署方法和装置
CN110063042A (zh) 一种数据库故障的响应方法及其终端
CN110727575A (zh) 一种信息处理方法、系统、装置、以及存储介质
CN116627721A (zh) 基于混合云的云原生数据库恢复方法、设备及存储介质
CN118227271A (zh) 基于容器云平台的终端一体机运维方法及装置
US20210271467A1 (en) Automation Controller For Upgrading An IT Infrastructure
CN113986852A (zh) 驾驶程序标定参数匹配方法、装置、电子设备及存储介质
CN115766405B (zh) 一种故障处理方法、装置、设备和存储介质
CN112667512A (zh) 数据驱动测试方法、装置、设备和计算机可读存储介质
CN117201517A (zh) 一种云迁移系统、方法、电子设备及存储介质
CN113110796A (zh) 数据管理方法、装置、服务器及存储介质
CN115190044B (zh) 设备连接状态检查方法、装置、设备和存储介质
CN115643158A (zh) 设备集群修复方法、装置、设备和存储介质
CN112492000B (zh) 一种物联网访问网络规则的加载方法及装置
CN113554328A (zh) 基于与设备开机强关联的点检任务督办系统、方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant