CN109992531A - 数据存储方法及装置 - Google Patents

数据存储方法及装置 Download PDF

Info

Publication number
CN109992531A
CN109992531A CN201910301133.5A CN201910301133A CN109992531A CN 109992531 A CN109992531 A CN 109992531A CN 201910301133 A CN201910301133 A CN 201910301133A CN 109992531 A CN109992531 A CN 109992531A
Authority
CN
China
Prior art keywords
cluster
node
identity
access
access address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910301133.5A
Other languages
English (en)
Other versions
CN109992531B (zh
Inventor
张永飞
贾金元
杨尧
王诗强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sefon Software Co Ltd
Original Assignee
Chengdu Sefon Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sefon Software Co Ltd filed Critical Chengdu Sefon Software Co Ltd
Priority to CN201910301133.5A priority Critical patent/CN109992531B/zh
Publication of CN109992531A publication Critical patent/CN109992531A/zh
Application granted granted Critical
Publication of CN109992531B publication Critical patent/CN109992531B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/10—Address translation
    • G06F12/1027—Address translation using associative or pseudo-associative address translation means, e.g. translation look-aside buffer [TLB]
    • G06F12/1036—Address translation using associative or pseudo-associative address translation means, e.g. translation look-aside buffer [TLB] for multiple virtual address spaces, e.g. segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

本申请公开了一种数据存储方法及装置，能够在集群开启高可用的情况下，正常地进行数据存储。本申请应用于集群系统的管理端，其具体方案为：首先获取集群的集群标识以及所述集群中服务节点的访问地址，所述服务节点为该集群中当前执行操作的节点，并将所述集群标识以及所述访问地址的对应关系存储至虚拟解析服务器中；然后在需要存储数据的情况下，接收数据存储请求并从所述存储请求中获取待访问的目标集群的集群标识，再根据目标集群的集群标识，从所述虚拟解析服务器中获取与所述目标集群对应的访问地址，最后根据所述访问地址存储数据。

Description

数据存储方法及装置
技术领域
本申请涉及数据存储技术领域，具体而言，涉及一种数据存储方法及装置。
背景技术
在HDFS(Hadoop Distributed File System，分布式文件存储系统)集群中，当集群中没有开启HA时，Hive表存储数据文件的路径为“hdfs://{NameNode主机名}:8020/apps/hive/warehouse/test”，也就是说，Hive表中的存储路径即直接对应活动节点的地址。当集群中开启了HA时，集群中Hive表映射到HDFS的数据文件的路径将变成“hdfs:/{集群名}/apps/hive/warehouse/test”，也就是说，Hive表征的存储路径只能与该集群对应，此时通过Hcatalog方式操作Hive表时，便无法根据集群名获取到当前主节点的地址，也就是说，开启HA时，通过Hcatalog操作的方式无法找到正确的存储路径，这样就会导致操作Hive表时出现异常。
发明内容
为了至少克服现有技术中的上述不足，本申请的目的之一在于提供一种数据存储方法，应用于集群系统的管理端，所述方法包括：
获取集群的集群标识以及所述集群中服务节点的访问地址，所述服务节点为该集群中当前执行操作的节点；
将所述集群标识以及所述访问地址的对应关系存储至虚拟解析服务器中；
接收数据存储请求并从所述存储请求中获取待访问的目标集群的集群标识，所述目标集群为开启高可用的集群；
根据目标集群的集群标识，从所述虚拟解析服务器中获取与所述目标集群对应的访问地址；
根据所述访问地址存储数据。
可选地，所述集群系统的管理端预先存储有节点的识别标识与该节点的访问地址的对应关系，所述获取集群的集群标识以及所述集群中服务节点的访问地址的步骤包括：
获取所述集群的集群标识以及所述服务节点的识别标识，所述识别标识是标识节点的信息；
根据所述识别标识获取所述服务节点的访问地址。
可选地，在获取所述集群的集群标识以及所述服务节点的识别标识的步骤前，所述方法还包括：
判断是否存在集群对应的高可用节点，所述高可用节点为所述集群开启高可用时由管理端建立的节点；
如果存在高可用节点，则执行获取所述集群的集群标识以及所述服务节点的识别标识的步骤；
所述获取所述集群的集群标识以及所述服务节点的识别标识的信息的步骤包括：
获取与所述高可用节点对应的集群的集群标识；
从所述高可用节点的叶子节点实时获取服务节点的识别标识。
可选地，所述集群系统的管理端中配置有Zookeeper组件。
可选地，所述根据所述访问地址存储数据的步骤包括：
获取所述目标集群对应的访问对象，所述访问对象用于对所述集群进行访问的标识信息；
判断所述访问对象是否已经存在对应的存储路径；
如果所述访问对象已经存在对应的存储路径，则清除所述访问对象与所述存储路径的对应关系；
根据所述集群标识从所述虚拟解析服务器中获取访问地址作为新的存储路径；
建立所述新的存储路径与所述访问对象的对应关系；
根据所述访问对象将待存储数据存储至所述存储路径。
本申请的另一目的在于提供一种数据存储装置，应用于集群系统的管理端，所述装置包括第一获取模块、第一存储模块、接收模块、第二获取模块、第二存储模块；
所述第一获取模块用于获取集群的集群标识以及所述集群中服务节点的访问地址，所述服务节点为该集群中当前执行操作的节点；
所述第一存储模块用于将所述集群标识以及所述访问地址的对应关系存储至虚拟解析服务器中；
所述接收模块用于接收数据存储请求并从所述存储请求中获取待访问的目标集群的集群标识，所述目标集群为开启高可用的集群；
所述第二获取模块用于根据目标集群的集群标识，从所述虚拟解析服务器中获取与所述目标集群对应的访问地址；
所述第二存储模块用于根据所述访问地址存储数据。
可选地，所述集群系统的管理端预先存储有节点的识别标识与该节点的访问地址的对应关系，所述第一获取模块包括第一获取单元和第二获取单元；
所述第一获取单元用于获取所述集群的集群标识以及所述服务节点的识别标识，所述识别标识是标识节点的信息；
所述第二获取单元用于根据所述识别标识获取所述服务节点的访问地址。
可选地，所述装置还包括判断模块，所述判断模块用于在第一获取模块获取所述集群的集群标识以及所述服务节点的识别标识前，判断是否存在集群对应的高可用节点，所述高可用节点为所述集群开启高可用时由管理端建立的节点，以及
在存在高可用节点时，使第一获取单元执行获取所述集群的集群标识以及所述服务节点的识别标识的步骤；
所述第一获取单元具体用于：
获取与所述高可用节点对应的集群的集群标识；
从所述高可用节点的叶子节点实时获取服务节点的识别标识。
可选地，所述集群系统的管理端中配置有Zookeeper组件。
可选地，所述第二获取模块具体用于：
获取所述目标集群对应的访问对象，所述访问对象用于对所述集群进行访问的标识信息；
判断所述访问对象是否已经存在对应的存储路径；
如果所述访问对象已经存在对应的存储路径，则清除所述访问对象与所述存储路径的对应关系；
根据所述集群标识从所述虚拟解析服务器中获取访问地址作为新的存储路径；
建立所述新的存储路径与所述访问对象的对应关系；
根据所述访问对象将待存储数据存储至所述存储路径。
相对于现有技术而言，本申请具有以下有益效果：
本申请实施例中，通过集群系统的管理端来管理集群，监控集群中的服务节点，然后将服务节点与集群的对应关系存储至虚拟解析服务器中，当需要向目标集群中存储数据时，便可以根据目标集群的集群标识获得与该集群标识对应的访问地址，从而实现数据存储的目的。由于本申请实施例中建立了集群与服务节点的对应关系，因此，本实施例能够在集群开启高可用的情况下，获得服务节点的访问地址，这样，就能够根据服务节点的访问地址进行数据存储，从而保证了向集群中存储数据的过程能够正常进行。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本申请实施例提供的集群系统的架构示意图；
图2是本申请实施例提供的管理设备的结构示意框图；
图3是本申请实施例提供的数据存储方法的流程示意图一；
图4是本申请实施例提供的数据存储方法的流程示意图二；
图5是本申请实施例提供的数据存储方法的流程示意图三；
图6是本申请实施例提供的数据存储方法的流程示意图四；
图7是本申请实施例提供的数据存储方法的流程示意图五；
图8是本申请实施例提供的数据存储装置的流程示意图一；
图9是本申请实施例提供的数据存储装置的流程示意图二。
图标：100-管理设备；110-数据存储装置；111-第一获取模块；1111-第一获取单元；1112-第二获取单元；112-第一存储模块；113-接收模块；114-第二获取模块；115-第二存储模块；116-判断模块；120-存储器；130-处理器。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
在现有的HDFS集群中，为了保证业务的连续性，会采用高可用性(HighAvailable，简称HA)集群。在高可用性集群中，存在多个节点，多个节点中的一个作为执行业务功能的服务节点，其余节点作为备用节点，服务节点和备节点可以进行切换。HDFS集群的高可用性可以采用Zookeeper来实现。当集群环境启用了HA时，会在Zookeeper中创建与集群对应的HA节点，在HA节点下，会存在一个叶子节点(不存在子节点的节点)，叶子节点可以表示为ActiveEreadCrumb，叶子节点中会记录对应集群当前的服务节点的主机名称。
当集群中没有开启HA时，Hive表存储数据文件的路径为“hdfs://{NameNode主机名}:8020/apps/hive/warehouse/test”，也就是说，Hive表中的存储路径即直接对应活动节点的地址。当集群中开启了HA时，集群中Hive表映射到HDFS的数据文件的路径将变成“hdfs:/{集群名}/apps/hive/warehouse/test”，集群名是一个动态的参数。通过Hcatalog方式操作Hive表时，便无法根据集群名获取到当前主节点的地址，也就是说，开启HA时，通过Hcatalog方式无法找到正确的存储路径，这样就会导致操作Hive表时出现异常。
请参见图1，图1是本申请实施例提供的集群系统的架构示意图，所述集群中包括集群系统的管理端和HDFS，所述管理端可以配置Zookeeper组件。HDFS中包括可以用于处理客户端的读写请求的第一节点(NameNode)和用于存储数据的第二节点(DataNode)。第一节点和第二节点均存在多个，在开启高可用的情况下，所述第一节点中仅有一个节点用于处理客户端的读写请求。
请参见图2，图2是本申请实施例提供的管理端对应的管理设备100的结构示意框图，所述管理设备100包括存储器120、处理器130，所述存储器120与所述处理器130相互通信连接，所述数据存储装置110包括至少一个可以软件或固件形审存储于所述存储器120中或固化在所述管理设备的操作系统中的软件功能模块。所述处理器130用于执行所述存储器120中存储的可执行模块。
请参见图3，图3是本申请实施例提供的数据存储方法的流程示意图，所述数据存储方法应用于集群系统的管理端，所述方法包括步骤S110-步骤S150。
步骤S110，获取集群的集群标识以及所述集群中服务节点的访问地址，所述服务节点为该集群中当前执行操作的节点。
所述访问地址是客户端等用于访问服务节点的唯一标识，例如访问地址可以是IP地址，或者IP地址与端口号的组合。
请参见图4，具体地，本实施例中，步骤S110包括步骤S111和步骤S112。
步骤S111，获取所述集群的集群标识以及所述服务节点的识别标识，所述识别标识是标识节点的信息。
步骤S112，根据所述识别标识获取所述服务节点的访问地址。
其中，管理端可以配置Zookeeper组件，然后通过Zookeeper组件来监控集群。
其中，所述集群标识为唯一标识集群的信息，集群标识可以是集群名。例如，监控Zookeeper集群中的高可用节点，在集群开启高可用的情况下，集群中的高可用节点，例如hadoop-ha下，会存在集群名，hadoop-ha/{集群名}，因此，可以获得对应的集群名称，然后根据叶子节点获得识别标识。本实施例中，在集群开启高可用时，管理端中会创建一个对应该集群的高可用节点，该高可用节点下会存在一个叶子节点，叶子节点中存储有服务节点的识别标识，因此可以从该叶子节点中获取服务节点的识别标识。
本实施例中，管理端预先存储有节点的识别标识与该节点的访问地址的对应关系。其中，节点的识别标识与该节点的访问地址的对应关系可以是存储在管理端本地，也可以是与管理端通信连接的设备上。例如，节点的识别标识与该节点的访问地址的对应关系可以存储在管理端的本地解析服务器上。其中，域名解析服务器可以是一个系统，如域名系统(Domain Name System，简称DNS)。
请参见图5，可选地，在获取所述集群的集群标识以及所述服务节点的识别标识的步骤前，所述方法还包括步骤S210。
步骤S210，判断是否存在集群对应的高可用节点，所述高可用节点为所述集群开启高可用时由管理端建立的节点。
如果存在高可用节点，则执行步骤S111。
请参见图5，步骤S111包括步骤S1111和步骤S1112。
步骤S1111，获取与所述高可用节点对应的集群的集群标识。
步骤S1112，从所述高可用节点的叶子节点实时获取服务节点的识别标识。
本实施例中，管理端可以实时监控集群，当集群中的服务节点发生切换时，便可以将切换后的服务节点的识别标识与集群标识的对应关系存储进虚拟解析服务器，从而替换服务节点切换前，旧的服务节点的识别标识与集群标识的对应关系。
请继续参见图3，步骤S120，将所述集群标识以及所述访问地址的对应关系存储至虚拟解析服务器中。
本实施例中，可以先在管理端设置一个虚拟解析服务器。然后将开启高可用的集群的集群标识和访问地址的对应关系存储至虚拟解析服务器中。
具体地，在存储集群标识和访问地址的对应关系存储至虚拟解析服务器时，可以将集群标识和访问地址以键值对的形式存储，例如，可以将集群标识作为键(key)，将访问地址作为键值。其中，所述虚拟解析服务器的功能可以通过第三方javahost包来实现。
步骤S130，接收数据存储请求并从所述存储请求中获取待访问的目标集群的集群标识，所述目标集群为开启高可用的集群。
本实施例用于获取待访问的且开启高可用的目标集群的集群标识。
步骤S140，根据目标集群的集群标识，从所述虚拟解析服务器中获取与所述目标集群对应的访问地址。
由于目标集群在开启高可用的时候，其集群标识和访问地址的对应关系就已经存储在虚拟解析服务器中，因此，本实施例中，可以直接从解析服务器中根据集群标识获取对应的访问地址。
步骤S150，根据所述访问地址存储数据。
可选地，所述集群系统的管理端中配置有Zookeeper组件。
请参见图6，可选地，步骤S150包括步骤S151-步骤S156。
本实施例中，在根据访问地址存储数据时，需要通过Hcatalog的方式操作Hive表时，则可以具体进行步骤S151-步骤S156。
步骤S151，获取所述目标集群对应的访问对象，所述访问对象用于对所述集群进行访问的标识信息。
本实施例中，所述目标集群对应的访问对象是用于进行操作的参数。例如，本实施例中，所述访问对象可以是FileSystem对象。
步骤S152，判断所述访问对象是否已经存在对应的存储路径。
仍然以FileSystem对象为例，由于集群中可能存在服务节点切换的情形，也就是服务节点和备用节点之间相互切换，这样，FileSystem对象就可能已经存在对应的存储路径，而这个已经存在的存储路径是与已经切换为备用节点的节点对应的，因此，此时，需要判断FileSystem对象是否是空，也就是判断FileSystem对象是否是有效可用的状态。
步骤S153，如果所述访问对象已经存在对应的存储路径，则清除所述访问对象与所述存储路径的对应关系。
本实施例用于清除访问对象与已经由服务节点切换为备用节点的节点的对应关系。
仍然以FileSystem对象为例，本实施例中用于清除FileSystem对象的缓存等。
步骤S154，根据所述集群标识从所述虚拟解析服务器中获取访问地址作为新的存储路径。
例如，通过Hcatalog操作Hive表时，Hcatalog底层操作时，会在虚拟DNS中根据集群名获取当前的服务节点的IP号和端口号，然后根据该IP号和端口号正常操作HDFS。
步骤S155，建立所述新的存储路径与所述访问对象的对应关系。
本实施例将访问对象与当前的服务节点建立对应关系，从而保证能够访问到服务节点。
步骤S156，根据所述访问对象将待存储数据存储至所述存储路径。
本实施例中，由于在存储数据时，能够获取到正在运行的服务节点的访问地址，并根据服务节点的地址来进行数据存储，因此，本实施例能够使数据存储过程正常进行。
请参见图7，以下结合具体案例来讲解本申请实施例的完整过程。
在本实施例所述方案中，通过Zookeeper来监控集群，Zookeeper与本地解析服务器(本地DNS)通信连接，Zookeeper监控集群，并将集群中集群标识与服务节点的对应关系存储至javahost开发虚拟解析服务器(虚拟DNS)中。
当用户进行业务操作时，用户通过Hcatalog操作Hive表，并同时从虚拟解析服务器中获取当前的服务节点的访问地址，然后通过该访问地址在HDFS上进行相关的操作。
请参见图8，本申请的另一目的在于提供一种数据存储装置110，应用于集群系统的管理端，所述装置包括第一获取模块111、第一存储模块112、接收模块113、第二获取模块114和第二存储模块115。
所述第一获取模块111用于获取集群的集群标识以及所述集群中服务节点的访问地址，所述服务节点为该集群中当前执行操作的节点。
本实施例中的第一获取模块111用于执行步骤S110，关于所述第一获取模块111的具体描述可参照对所述步骤S110的描述。
所述第一存储模块112用于将所述集群标识以及所述访问地址的对应关系存储至虚拟解析服务器中。
本实施例中的第一存储模块112用于执行步骤S120，关于所述第一存储模块112的具体描述可参照对所述步骤S120的描述。
所述接收模块113用于接收数据存储请求并从所述存储请求中获取待访问的目标集群的集群标识，所述目标集群为开启高可用的集群。
本实施例中的接收模块113用于执行步骤S130，关于所述接收模块113的具体描述可参照对所述步骤S130的描述。
所述第二获取模块114用于根据目标集群的集群标识，从所述虚拟解析服务器中获取与所述目标集群对应的访问地址。
本实施例中的第二获取模块114用于执行步骤S140，关于所述第二获取模块114的具体描述可参照对所述步骤S140的描述。
所述第二存储模块115用于根据所述访问地址存储数据。
本实施例中的第二存储模块115用于执行步骤S150，关于所述第二存储模块115的具体描述可参照对所述步骤S150的描述。
请参见图9，可选地，所述集群系统的管理端预先存储有节点的识别标识与该节点的访问地址的对应关系，所述第一获取模块111包括第一获取单元1111和第二获取单元1112。
所述第一获取单元1111用于获取所述集群的集群标识以及所述服务节点的识别标识，所述识别标识是标识节点的信息。
本实施例中的第一获取单元1111用于执行步骤S111，关于所述第一获取单元1111的具体描述可参照对所述步骤S111的描述。
所述第二获取单元1112用于根据所述识别标识获取所述服务节点的访问地址。
本实施例中的第二获取单元1112用于执行步骤S112，关于所述第二获取单元1112的具体描述可参照对所述步骤S112的描述。
可选地，所述装置还包括判断模块116，所述判断模块116用于在第一获取模块111获取所述集群的集群标识以及所述服务节点的识别标识前，判断是否存在集群对应的高可用节点，所述高可用节点为所述集群开启高可用时由管理端建立的节点，以及
在存在高可用节点时，使第一获取单元1111执行获取所述集群的集群标识以及所述服务节点的识别标识的步骤。
请继续参见图8，本实施例中的判断模块116用于执行步骤S210，关于所述判断模块116的具体描述可参照对所述步骤210的描述。
所述第一获取单元1111具体用于执行步骤S1111-步骤S1112。关于所述第一获取单元1111的具体描述可参照对所述步骤S1111-步骤S1112的描述。
可选地，所述集群系统的管理端中配置有Zookeeper组件。
可选地，所述第二存储模块115具体用于执行步骤S151-步骤S156。
本实施例中的第二存储模块115用于执行步骤S151-步骤S156，关于所述第二存储模块115的具体描述可参照对所述步骤S151-步骤S156的描述。
以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种数据存储方法，其特征在于，应用于集群系统的管理端，所述方法包括：
获取集群的集群标识以及所述集群中服务节点的访问地址，所述服务节点为该集群中当前执行操作的节点；
将所述集群标识以及所述访问地址的对应关系存储至虚拟解析服务器中；
接收数据存储请求并从所述存储请求中获取待访问的目标集群的集群标识，所述目标集群为开启高可用的集群；
根据目标集群的集群标识，从所述虚拟解析服务器中获取与所述目标集群对应的访问地址；
根据所述访问地址存储数据。
2.根据权利要求1所述的方法，其特征在于，所述集群系统的管理端预先存储有节点的识别标识与该节点的访问地址的对应关系，所述获取集群的集群标识以及所述集群中服务节点的访问地址的步骤包括：
获取所述集群的集群标识以及所述服务节点的识别标识，所述识别标识是标识节点的信息；
根据所述识别标识获取所述服务节点的访问地址。
3.根据权利要求2所述的方法，其特征在于，在获取所述集群的集群标识以及所述服务节点的识别标识的步骤前，所述方法还包括：
判断是否存在集群对应的高可用节点，所述高可用节点为所述集群开启高可用时由管理端建立的节点；
如果存在高可用节点，则执行获取所述集群的集群标识以及所述服务节点的识别标识的步骤；
所述获取所述集群的集群标识以及所述服务节点的识别标识的信息的步骤包括：
获取与所述高可用节点对应的集群的集群标识；
从所述高可用节点的叶子节点实时获取服务节点的识别标识。
4.根据权利要求1所述的方法，其特征在于，所述集群系统的管理端中配置有Zookeeper组件。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述访问地址存储数据的步骤包括：
获取所述目标集群对应的访问对象，所述访问对象用于对所述集群进行访问的标识信息；
判断所述访问对象是否已经存在对应的存储路径；
如果所述访问对象已经存在对应的存储路径，则清除所述访问对象与所述存储路径的对应关系；
根据所述集群标识从所述虚拟解析服务器中获取访问地址作为新的存储路径；
建立所述新的存储路径与所述访问对象的对应关系；
根据所述访问对象将待存储数据存储至所述存储路径。
6.一种数据存储装置，其特征在于，应用于集群系统的管理端，所述装置包括第一获取模块、第一存储模块、接收模块、第二获取模块、第二存储模块；
所述第一获取模块用于获取集群的集群标识以及所述集群中服务节点的访问地址，所述服务节点为该集群中当前执行操作的节点；
所述第一存储模块用于将所述集群标识以及所述访问地址的对应关系存储至虚拟解析服务器中；
所述接收模块用于接收数据存储请求并从所述存储请求中获取待访问的目标集群的集群标识，所述目标集群为开启高可用的集群；
所述第二获取模块用于根据目标集群的集群标识，从所述虚拟解析服务器中获取与所述目标集群对应的访问地址；
所述第二存储模块用于根据所述访问地址存储数据。
7.根据权利要求6所述的装置，其特征在于，所述集群系统的管理端预先存储有节点的识别标识与该节点的访问地址的对应关系，所述第一获取模块包括第一获取单元和第二获取单元；
所述第一获取单元用于获取所述集群的集群标识以及所述服务节点的识别标识，所述识别标识是标识节点的信息；
所述第二获取单元用于根据所述识别标识获取所述服务节点的访问地址。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括判断模块，所述判断模块用于在第一获取模块获取所述集群的集群标识以及所述服务节点的识别标识前，判断是否存在集群对应的高可用节点，所述高可用节点为所述集群开启高可用时由管理端建立的节点，以及
在存在高可用节点时，使第一获取单元执行获取所述集群的集群标识以及所述服务节点的识别标识的步骤；
所述第一获取单元具体用于：
获取与所述高可用节点对应的集群的集群标识；
从所述高可用节点的叶子节点实时获取服务节点的识别标识。
9.根据权利要求6所述的装置，其特征在于，所述集群系统的管理端中配置有Zookeeper组件。
10.根据权利要求6-9任一项所述的装置，其特征在于，所述第二获取模块具体用于：
获取所述目标集群对应的访问对象，所述访问对象用于对所述集群进行访问的标识信息；
判断所述访问对象是否已经存在对应的存储路径；
如果所述访问对象已经存在对应的存储路径，则清除所述访问对象与所述存储路径的对应关系；
根据所述集群标识从所述虚拟解析服务器中获取访问地址作为新的存储路径；
建立所述新的存储路径与所述访问对象的对应关系；
根据所述访问对象将待存储数据存储至所述存储路径。
CN201910301133.5A 2019-04-15 2019-04-15 数据存储方法及装置 Active CN109992531B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910301133.5A CN109992531B (zh) 2019-04-15 2019-04-15 数据存储方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910301133.5A CN109992531B (zh) 2019-04-15 2019-04-15 数据存储方法及装置

Publications (2)

Publication Number Publication Date
CN109992531A true CN109992531A (zh) 2019-07-09
CN109992531B CN109992531B (zh) 2020-11-10

Family

ID=67133644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910301133.5A Active CN109992531B (zh) 2019-04-15 2019-04-15 数据存储方法及装置

Country Status (1)

Country Link
CN (1) CN109992531B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111131492A (zh) * 2019-12-31 2020-05-08 中国联合网络通信集团有限公司 节点访问方法和系统
CN112015696A (zh) * 2020-08-21 2020-12-01 北京奇艺世纪科技有限公司 数据访问、数据关系设置方法、装置及存储介质
CN112583760A (zh) * 2019-09-27 2021-03-30 中移(苏州)软件技术有限公司 一种对象存储的访问方法、装置、设备和计算机存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102053982A (zh) * 2009-11-02 2011-05-11 阿里巴巴集团控股有限公司 一种数据库信息管理方法和设备
US8306951B2 (en) * 2009-09-18 2012-11-06 Oracle International Corporation Automated integrated high availability of the in-memory database cache and the backend enterprise database
CN103685351A (zh) * 2012-09-04 2014-03-26 中国移动通信集团公司 一种基于云计算平台的缓存服务节点的调度方法和设备
CN104462514A (zh) * 2014-12-19 2015-03-25 北京奇虎科技有限公司 数据库的高可用解决方法、连接控制装置和系统
CN104462488A (zh) * 2014-12-19 2015-03-25 北京奇虎科技有限公司 数据库的高可用解决方法和装置
CN107092437A (zh) * 2016-02-17 2017-08-25 杭州海康威视数字技术股份有限公司 数据写入、读取方法及装置、云存储系统
CN107368490A (zh) * 2016-05-12 2017-11-21 中国移动通信集团河北有限公司 数据处理方法及装置
CN107404522A (zh) * 2017-07-20 2017-11-28 郑州云海信息技术有限公司 一种跨节点的虚拟机集群高可用实现方法和装置
CN108023953A (zh) * 2017-12-04 2018-05-11 北京小度信息科技有限公司 Ftp服务的高可用实现方法和装置
CN109446178A (zh) * 2018-11-13 2019-03-08 郑州云海信息技术有限公司 一种Hadoop对象存储高可用方法、系统、装置及可读存储介质
CN109614164A (zh) * 2018-11-29 2019-04-12 深圳前海微众银行股份有限公司 实现插件可配置的方法、装置、设备及可读存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8306951B2 (en) * 2009-09-18 2012-11-06 Oracle International Corporation Automated integrated high availability of the in-memory database cache and the backend enterprise database
CN102053982A (zh) * 2009-11-02 2011-05-11 阿里巴巴集团控股有限公司 一种数据库信息管理方法和设备
CN103685351A (zh) * 2012-09-04 2014-03-26 中国移动通信集团公司 一种基于云计算平台的缓存服务节点的调度方法和设备
CN104462514A (zh) * 2014-12-19 2015-03-25 北京奇虎科技有限公司 数据库的高可用解决方法、连接控制装置和系统
CN104462488A (zh) * 2014-12-19 2015-03-25 北京奇虎科技有限公司 数据库的高可用解决方法和装置
CN107092437A (zh) * 2016-02-17 2017-08-25 杭州海康威视数字技术股份有限公司 数据写入、读取方法及装置、云存储系统
CN107368490A (zh) * 2016-05-12 2017-11-21 中国移动通信集团河北有限公司 数据处理方法及装置
CN107404522A (zh) * 2017-07-20 2017-11-28 郑州云海信息技术有限公司 一种跨节点的虚拟机集群高可用实现方法和装置
CN108023953A (zh) * 2017-12-04 2018-05-11 北京小度信息科技有限公司 Ftp服务的高可用实现方法和装置
CN109446178A (zh) * 2018-11-13 2019-03-08 郑州云海信息技术有限公司 一种Hadoop对象存储高可用方法、系统、装置及可读存储介质
CN109614164A (zh) * 2018-11-29 2019-04-12 深圳前海微众银行股份有限公司 实现插件可配置的方法、装置、设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
唐攀等: "基于OpenStack Sahara集群的高可用性的设计与实现", 《西安文理学院学报(自然科学版)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112583760A (zh) * 2019-09-27 2021-03-30 中移(苏州)软件技术有限公司 一种对象存储的访问方法、装置、设备和计算机存储介质
CN112583760B (zh) * 2019-09-27 2022-05-31 中移(苏州)软件技术有限公司 一种对象存储的访问方法、装置、设备和计算机存储介质
CN111131492A (zh) * 2019-12-31 2020-05-08 中国联合网络通信集团有限公司 节点访问方法和系统
CN112015696A (zh) * 2020-08-21 2020-12-01 北京奇艺世纪科技有限公司 数据访问、数据关系设置方法、装置及存储介质

Also Published As

Publication number Publication date
CN109992531B (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
US11831600B2 (en) Domain name system operations implemented using scalable virtual traffic hub
US10402293B2 (en) System for virtual machine risk monitoring
US10742446B2 (en) Interconnecting isolated networks with overlapping address ranges via scalable virtual traffic hubs
US8479048B2 (en) Root cause analysis method, apparatus, and program for IT apparatuses from which event information is not obtained
CN100417081C (zh) 检查和修复网络配置的方法和系统
US8069229B2 (en) Topology static zones
US8909758B2 (en) Physical server discovery and correlation
US9246777B2 (en) Computer program and monitoring apparatus
US20040008727A1 (en) Network resource management in a network device
CN109992531A (zh) 数据存储方法及装置
US9794154B2 (en) Selective IP address allocation for probes that do not have assigned IP addresses
JP2004326790A (ja) ネットワーク装置をディスカバリするための方法および装置
TW201543243A (zh) 在服務導向架構中的監控能力
EP2863582B1 (en) Scheduling a device batch reconfiguration event in a network
CN105897933A (zh) 业务请求的处理方法及装置
US11089104B2 (en) Access to services provided by a distributed data storage system
JP2011204192A (ja) スイッチング装置、情報処理装置および障害通知制御プログラム
CN116016197A (zh) 网络拓扑结构的发现方法、装置、存储介质及电子设备
CN106230625B (zh) 一种在SolrCloud集群中动态创建域的方法及装置
US11582345B2 (en) Context data management interface for contact center
WO2017149354A1 (en) Neighbor monitoring in a hyperscaled environment
CN118349419B (zh) 一种用于中间件节点的状态监控方法和系统
US8799926B1 (en) Active node detection in a failover computing environment
CN108259211B (zh) 一种设备管理方法及装置
CN118433065A (zh) 一种云存储全链路可用性的拨测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant