CN109257438A - 一种多元异构存储方法及系统 - Google Patents

一种多元异构存储方法及系统 Download PDF

Info

Publication number
CN109257438A
CN109257438A CN201811246619.5A CN201811246619A CN109257438A CN 109257438 A CN109257438 A CN 109257438A CN 201811246619 A CN201811246619 A CN 201811246619A CN 109257438 A CN109257438 A CN 109257438A
Authority
CN
China
Prior art keywords
storage
storage service
high availabitity
user
platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811246619.5A
Other languages
English (en)
Inventor
赵瑞东
元河清
孙大军
孙晓妮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Chaoyue CNC Electronics Co Ltd
Original Assignee
Shandong Chaoyue CNC Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Chaoyue CNC Electronics Co Ltd filed Critical Shandong Chaoyue CNC Electronics Co Ltd
Priority to CN201811246619.5A priority Critical patent/CN109257438A/zh
Publication of CN109257438A publication Critical patent/CN109257438A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02—Standardisation; Integration
    • H04L41/0246—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols
    • H04L41/0253—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols using browsers or web-pages for accessing management information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/084—Configuration by using pre-existing information, e.g. using templates or copying from other elements
    • H04L41/0846—Configuration by using pre-existing information, e.g. using templates or copying from other elements based on copy from other elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/22—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks comprising specially adapted graphical user interfaces [GUI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种多元异构存储方法，包括以下步骤：存储服务管理平台设定高可用配置策略；用户根据所述高可用配置策略并结合待存储数据的高可用要求设定相应的高可用存储规则；存储服务管理平台根据所述高可用存储规则生成相应的配置文件并且将其同步到相应的存储服务节点；响应于用户访问存储服务，根据用户设定的高可用存储规则进行对应的数据存储。本发明还公开了一种多元异构存储系统。该方法和系统基于用户自定义的高可用存储规则有效提高多元异构存储的存储利用率。

Description

一种多元异构存储方法及系统
技术领域
本发明涉及计算机数据存储领域，并且更具体地，特别是指一种多元异构存储方法及系统。
背景技术
大数据环境下，为了应对不同存储类型的数据采用不同的存储系统，造成了各种各样的存储服务一起运行的场景，这种场景对应着一组同一用户，每一种存储都有自己对应的高可用的解决方案，但存在存储利用率低的缺陷。
现有技术中尚未披露一种多元异构存储方法及系统，该方法和系统基于用户自定义规则的多元异构存储可靠性实现方法，提供存储服务的统一管理及可视化监控等功能，用于多租户、多应用的安全存储隔离及安全存储访问等场景；同时基于用户配置的可用性规则进行数据存储，有效提高多元异构存储的存储利用率。
发明内容
有鉴于此，本发明实施例的目的在于提出一种多元异构存储方法及系统，该方法和系统基于用户自定义的高可用存储规则有效提高多元异构存储的存储利用率。
基于上述目的，本发明实施例的一方面提供了一种多元异构存储方法，包括：
存储服务管理平台设定高可用配置策略；
用户根据所述高可用配置策略并结合待存储数据的高可用要求设定相应的高可用存储规则；
存储服务管理平台根据所述高可用存储规则生成相应的配置文件并且将其同步到相应的存储服务节点；
响应于用户访问存储服务，根据用户设定的高可用存储规则进行对应的数据存储。
在一些实施方式中，存储服务管理平台设定高可用配置策略包括：
存储服务管理平台初始化阶段由其所在服务器的管理员负责启动相关的后端进程；
后端进程启动之后，存储服务管理平台的系统管理员借助Web界面登录管理GUI并且在所述GUI上进行存储服务注册功能以及设定高可用配置策略。
在一些实施方式中，存储服务管理平台被配置为多元异构存储平台。
在一些实施方式中，存储服务包括文件级存储服务、块存储服务以及对象存储服务。
在一些实施方式中，文件级存储服务至少包括NFS、ftp、HDFS文件级存储服务。
在一些实施方式中，每个存储服务节点对应一种存储服务。
在一些实施方式中，存储服务管理平台至少还提供存储服务运行维护及监控管理功能。
在一些实施方式中，HDFS的Namenode和Datanode以及存储服务管理平台各自运行于相应的服务器上，被用户配置的HDFS的副本数量为3，HDFS配置文件与HDFS集群服务器上的配置文件同步。
在一些实施方式中，完成配置文件同步之后，用户以配置的副本数进行存储。
本发明实施例的另一方面，还提供了一种多元异构存储系统，包括：
存储服务管理平台和存储服务器，其中，存储服务管理平台与用户交互用于产生高可用存储规则，存储服务管理平台与存储服务器交互用于同步配置文件，存储服务器包括一个或多个存储服务节点。
本发明具有以下有益技术效果：本发明实施例提供的一种多元异构存储方法及系统，根据存储服务管理平台设定的高可用配置策略使用户自定义高可用存储规则，并且根据该高可用存储规则进行存储有效提高多元异构存储的存储利用率，存储服务管理平台还提供存储服务的统一管理及可视化监控等功能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的多元异构存储方法的流程示意图；
图2为本发明提供的多元异构存储系统的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
基于上述目的，本发明实施例的第一个方面，提出了一种多元异构存储方法的实施例。图1示出的是本发明提供的多元异构存储方法的流程示意图。
一种多元异构存储方法，可选地，包括以下步骤：
步骤S101，存储服务管理平台设定高可用配置策略；
步骤S102，用户根据所述高可用配置策略并结合待存储数据的高可用要求设定相应的高可用存储规则；
步骤S103，存储服务管理平台根据所述高可用存储规则生成相应的配置文件并且将其同步到相应的存储服务节点；
步骤S104，响应于用户访问存储服务，根据用户设定的高可用存储规则进行对应的数据存储。
如图1所示，本发明在将高可用的配置策略交由用户，让用户根据数据的高可用要求定义对应的存储规则，从而保证在满足用户高可用要求的前提下，减少了存储副本数，提高多元异构存储系统的存储利用率。
本发明提出了一种基于用户自定义规则的多元异构存储可靠性实现方法。该平台对外提供了存储服务运行维护及监控等管理功能，方便管理员集中管理多元异构存储服务；同时还负责解析用户自定义的可靠性规则，下发相应的规则到多元异构存储的规则执行点。
在系统管理员完成服务注册及策略配置之后，基于多元异构存储用户配置的可靠性规则生成相关配置文件，然后同步到对应的存储服务节点。
在一个实施方式中，存储服务管理平台设定高可用配置策略包括：
存储服务管理平台初始化阶段由其所在服务器的管理员负责启动相关的后端进程；
后端进程启动之后，存储服务管理平台的系统管理员借助Web界面登录管理GUI并且在所述GUI上进行存储服务注册功能以及设定高可用配置策略。
多元异构存储平台初始化阶段由其所在服务器的管理员负责启动相关的后端进程，通常指网络(Web)服务进程。后端进程启动之后，平台的系统管理员借助Web界面登录管理图形用户界面(GUI)，在该GUI上进行存储服务(NFS、ftp、HDFS等文件级存储服务、块存储服务、对象存储服务)注册功能以及策略的配置。
在一个实施方式中，存储服务管理平台被配置为多元异构存储平台。
在一个实施方式中，存储服务包括文件级存储服务、块存储服务以及对象存储服务。
在一个实施方式中，文件级存储服务至少包括NFS、ftp、HDFS文件级存储服务。
在一个实施方式中，每个存储服务节点对应一种存储服务。
在一个实施方式中，存储服务管理平台至少还提供存储服务运行维护及监控管理功能。
在一个实施方式中，HDFS的Namenode和Datanode以及存储服务管理平台各自运行于相应的服务器上，被用户配置的HDFS的副本数量为3，HDFS配置文件与HDFS集群服务器上的配置文件同步。
HDFS的Namenode运行于IP为192.168.1.110的服务器上，Datanode运行于IP为192.168.1.111-119的服务器上，存储服务管理平台运行于IP为192.168.1.100的服务器上，用户配置HDFS的副本数为3，完成的HDFS配置文件HDFS_192_168_1_100需要与HDFS集群服务器上的配置文件进行同步。
在一个实施方式中，完成配置文件同步之后，用户以配置的副本数进行存储。
完成配置文件同步之后，用户与HDFS的存储就会安全配置的副本数进行存储，进行保证存储数据的高可用性。
从上述实施例可以看出，本发明实施例提供的多元异构存储方法，根据存储服务管理平台设定的高可用配置策略使用户自定义高可用存储规则，并且根据该高可用存储规则进行存储有效提高多元异构存储的存储利用率，存储服务管理平台还提供存储服务的统一管理及可视化监控等功能。
需要特别指出的是，上述多元异构存储方法的各个实施例中的各个步骤均可以相互交叉、替换、增加、删减，因此，这些合理的排列组合变换之于多元异构存储方法也应当属于本发明的保护范围，并且不应将本发明的保护范围局限在所述实施例之上。
以上是本发明公开的示例性实施例，上述本发明实施例公开的顺序仅仅为了描述，不代表实施例的优劣。但是应当注意，以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子，在不背离权利要求限定的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
基于上述目的，本发明实施例的第二个方面，提出了一种多元异构存储系统，包括存储服务管理平台，该存储服务管理平台包括：
处理器；和
存储器，该存储器存储由所述处理器可执行的指令，该指令在被执行时实现上述方法。图2示出的是本发明提供的多元异构存储系统的示意图。
如图2所示，存储服务管理平台与用户交互，包括：存储服务管理平台提供给用户高可用配置策略，用户根据高可用配置策略并结合待存储数据的高可用要求设定相应的高可用存储规则，并将其反馈给存储服务管理平台。存储服务管理平台与存储服务器交互，包括：存储服务管理平台根据用户反馈的高可用存储规则生成相应的配置文件，并且将配置文件同步到存储服务器，也就是存储服务器的各个存储服务节点。待同步完成后，用户访问存储服务器，根据高可用存储规则进行数据存储。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上所述的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包括在本发明实施例的保护范围之内。

Claims (10)

1.一种多元异构存储方法，其特征在于，包括以下步骤：
存储服务管理平台设定高可用配置策略；
用户根据所述高可用配置策略并结合待存储数据的高可用要求设定相应的高可用存储规则；
存储服务管理平台根据所述高可用存储规则生成相应的配置文件并且将其同步到相应的存储服务节点；
响应于用户访问存储服务，根据用户设定的高可用存储规则进行对应的数据存储。
2.根据权利要求1所述的方法，其特征在于，存储服务管理平台设定高可用配置策略包括：
存储服务管理平台初始化阶段由其所在服务器的管理员负责启动相关的后端进程；
后端进程启动之后所述存储服务管理平台的系统管理员借助Web界面登录管理GUI并且在所述GUI上进行存储服务注册功能以及设定高可用配置策略。
3.根据权利要求2所述的方法，其特征在于，所述存储服务管理平台被配置为多元异构存储平台。
4.根据权利要求2所述的方法，其特征在于，所述存储服务包括文件级存储服务、块存储服务以及对象存储服务。
5.根据权利要求4所述的方法，其特征在于，所述文件级存储服务至少包括NFS、ftp、HDFS文件级存储服务。
6.根据权利要求1所述的方法，其特征在于，每个存储服务节点对应一种存储服务。
7.根据权利要求2所述的方法，其特征在于，所述存储服务管理平台至少还提供存储服务运行维护及监控管理功能。
8.根据权利要求5所述的方法，其特征在于，所述HDFS的Namenode和Datanode以及存储服务管理平台各自运行于相应的服务器上，被用户配置的HDFS的副本数量为3，HDFS配置文件与HDFS集群服务器上的配置文件同步。
9.根据权利要求7所述的方法，其特征在于，完成配置文件同步之后，用户以配置的副本数进行存储。
10.一种多元异构存储系统，其特征在于，包括存储服务管理平台，所述存储服务平台包括：
处理器；和
存储器，所述存储器存储由所述处理器可执行的指令，所述指令在被执行时实现权利要求1-9所述的方法。
CN201811246619.5A 2018-10-24 2018-10-24 一种多元异构存储方法及系统 Pending CN109257438A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811246619.5A CN109257438A (zh) 2018-10-24 2018-10-24 一种多元异构存储方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811246619.5A CN109257438A (zh) 2018-10-24 2018-10-24 一种多元异构存储方法及系统

Publications (1)

Publication Number Publication Date
CN109257438A true CN109257438A (zh) 2019-01-22

Family

ID=65046669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811246619.5A Pending CN109257438A (zh) 2018-10-24 2018-10-24 一种多元异构存储方法及系统

Country Status (1)

Country Link
CN (1) CN109257438A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110161327A1 (en) * 2009-12-31 2011-06-30 Pawar Rahul S Asynchronous methods of data classification using change journals and other data structures
CN102541475A (zh) * 2012-03-12 2012-07-04 成都市华为赛门铁克科技有限公司 数据存储方法和数据存储装置
CN103201730A (zh) * 2010-09-20 2013-07-10 海德沃特合作I有限公司 基于装置服务处理器配置适配网络策略
CN104283960A (zh) * 2014-10-15 2015-01-14 福建亿榕信息技术有限公司 实现异构网络存储的虚拟化整合及分级管理的系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110161327A1 (en) * 2009-12-31 2011-06-30 Pawar Rahul S Asynchronous methods of data classification using change journals and other data structures
CN103201730A (zh) * 2010-09-20 2013-07-10 海德沃特合作I有限公司 基于装置服务处理器配置适配网络策略
CN102541475A (zh) * 2012-03-12 2012-07-04 成都市华为赛门铁克科技有限公司 数据存储方法和数据存储装置
CN104283960A (zh) * 2014-10-15 2015-01-14 福建亿榕信息技术有限公司 实现异构网络存储的虚拟化整合及分级管理的系统

Similar Documents

Publication Publication Date Title
WO2020237797A1 (zh) 一种微服务框架下动态配置管理方法及系统
US8612406B1 (en) Sharing business data across networked applications
CN106506703B (zh) 基于共享内存的服务发现方法、装置及系统、服务器
CN110138588A (zh) 配置文件自动化管理方法和系统、配置管理平台和客户端
CN109542865A (zh) 分布式集群系统配置文件同步方法、装置、系统及介质
CN105897946A (zh) 一种访问地址的获取方法及系统
US11361027B2 (en) Historical state management in databases
CN106648903B (zh) 调用分布式文件系统的方法和装置
EP2429120A1 (en) Distributed network management system, network element management server, and data configuration management method
US20230252041A1 (en) System and method for bi-directional replication of data objects in a heterogeneous storage environment
CN109547512A (zh) 一种基于NoSQL的分布式Session管理的方法及装置
CN105959390A (zh) 微服务的统一管理系统及方法
US9830333B1 (en) Deterministic data replication with conflict resolution
US10680852B2 (en) Configuration of a managed device
CN107888666A (zh) 一种跨地域数据存储系统以及数据同步方法和装置
WO2019076236A1 (zh) 数据同步方法、装置、超级控制器、域控制器及存储介质
EP4050850A1 (en) Service upgrading method, device and system
CN110764918A (zh) 一种容器集群中主节点管理方法
CN109542590A (zh) Docker集群多租户下虚拟Socket通信的方法
EP3011449A1 (en) Method and controller for clustering applications in a software-defined network
CN106856438A (zh) 一种网络业务实例化的方法、装置及nfv系统
CN108924215A (zh) 一种基于树形结构的服务发现处理方法及装置
CN103036934A (zh) 基于镜像的广域网集群部署系统和方法
CN112181049B (zh) 集群时间同步方法、装置、系统、设备及可读存储介质
CN114201362A (zh) 基于Prometheus的企业级高可用监控系统及实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190122

RJ01 Rejection of invention patent application after publication