CN114020503A - 分布式文件系统透明故障切换的优化方法、系统及装置 - Google Patents

分布式文件系统透明故障切换的优化方法、系统及装置 Download PDF

Info

Publication number
CN114020503A
CN114020503A CN202111215931.XA CN202111215931A CN114020503A CN 114020503 A CN114020503 A CN 114020503A CN 202111215931 A CN202111215931 A CN 202111215931A CN 114020503 A CN114020503 A CN 114020503A
Authority
CN
China
Prior art keywords
hdfs
distributed file
service
file system
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111215931.XA
Other languages
English (en)
Inventor
王帅阳
李文鹏
李旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Inspur Data Technology Co Ltd
Original Assignee
Jinan Inspur Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Inspur Data Technology Co Ltd filed Critical Jinan Inspur Data Technology Co Ltd
Priority to CN202111215931.XA priority Critical patent/CN114020503A/zh
Publication of CN114020503A publication Critical patent/CN114020503A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0709—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0727—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a storage system, e.g. in a DASD or network based storage system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0793—Remedial or corrective actions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1448—Management of the data involved in backup or backup restore
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Hardware Redundancy (AREA)

Abstract

本发明提出的一种分布式文件系统透明故障切换的优化方法、系统及装置，所述方法包括：启动HDFS客户端服务节点的集群数据库和服务监控自启功能；HDFS客户端服务节点通过域名系统向客户提供域名接入分布式文件系统；当分布式文件系统的元数据发生节点故障时，进行元数据故障自动切换；在HDFS客户端服务启动时，自动注册节点消息到分布式文件系统监视器并进行HDFS服务监听；当监听到HDFS服务节点发生故障时，HDFS客户端通过切换数据服务节点IP恢复数据块缓存信息的写入。本发明能够使分布式文件系统在使用HDFS协议读写入过程中实现服务的故障切换和服务节点的备份。

Description

分布式文件系统透明故障切换的优化方法、系统及装置
技术领域
本发明涉及计算机技术领域，更具体的说是涉及一种分布式文件系统透明故障切换的优化方法、系统及装置。
背景技术
Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统(Distributed File System)。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是ApacheHadoop Core项目的一部分。
分布式文件系统在使用HDFS协议读写入过程中，透明故障的支持直接影响系统的可用性，在实际现场业务中，如何保障故障业务不中断，一直是存储行业必须解决和面对的重大挑战。当前，在HDFS一般场景中通常使用主备切换模式，但是存在配置复杂、备份节点有限、且不能提供多服务节点同时备份功能的缺陷，使用起来极为不方便。
发明内容
针对以上问题，本发明的目的在于提供一种分布式文件系统透明故障切换的优化方法、系统及装置，能够使分布式文件系统在使用HDFS协议读写入过程中实现服务的故障切换和服务节点的备份。
本发明为实现上述目的，通过以下技术方案实现：一种分布式文件系统透明故障切换的优化方法，包括：
启动HDFS客户端服务节点的集群数据库和服务监控自启功能；
HDFS客户端服务节点通过域名系统向客户提供域名接入分布式文件系统；
当分布式文件系统的元数据发生节点故障时，进行元数据故障自动切换；
在HDFS客户端服务启动时，自动注册节点消息到分布式文件系统监视器并进行HDFS服务监听；
当监听到HDFS服务节点发生故障时，HDFS客户端通过切换数据服务节点IP恢复数据块缓存信息的写入。
进一步，所述HDFS客户端服务节点通过域名系统向客户提供域名接入分布式文件系统还包括：
客户通过域名轮询服务获取虚拟IP；
客户使用虚拟IP访问HDFS客户端服务进而访问分布式文件存储服务。
进一步，所述进行元数据故障自动切换，具体包括：
通过集群数据库的虚拟IP自动排除故障节点，完成虚拟IP节点切换；
当节点本身进程异常时，通过设置自监控功能进行异常自动拉起。
进一步，所述进行HDFS服务监听时，分布式文件系统监视器会在进行数据读写的过程中通过客户端服务节点列表将存储节点IP信息返回给HDFS客户端服务节点。
进一步，所述在HDFS客户端服务启动时，自动注册节点消息到分布式文件系统监视器并进行HDFS服务监听，具体包括：
在HDFS客户端服务启动时，HDFS客户端向分布式文件监视器注册自身服务节点信息，并在进行运行阶段定时发送服务心跳；
若HDFS客户端服务退出或者心跳连接时间超过60秒，将对应的HDFS客户端服务节点从客户端服务节点列表中移除。
进一步，所述HDFS客户端通过切换数据服务节点IP恢复数据块缓存信息的写入，包括：
当HDFS客户端服务收到数据块恢复消息时，获取相应文件已写入的位置信息；根据文件已写入的位置信息和数据块的大小计算出当前数据块已写入的位置信息；
根据当前数据块已写入的位置信息和数据块标识构建写入缓存对象；
将接收到的数据写入构建好的缓存对象。
进一步，所述将接收到的数据写入构建好的缓存对象包括：
所述构建好的缓存对象接收数据，并判断数据写入位置信息与当前数据块已写入的位置信息是否一致，若是，则将接收到的数据写入构建好的缓存对象中；若否，则返回写入异常信息。
相应的，本发明还公开了一种分布式文件系统透明故障切换的优化系统，包括：
启动单元，用于启动HDFS客户端服务节点的集群数据库和服务监控自启功能；接入单元，用于在HDFS客户端服务节点通过域名系统向客户提供域名接入分布式文件系统；
故障切换单元，用于当分布式文件系统的元数据发生节点故障时，进行元数据故障自动切换；
监听单元，用于在HDFS客户端服务启动时，自动注册节点消息到分布式文件系统监视器并进行HDFS服务监听；
恢复单元，用于当监听到HDFS服务节点发生故障时，HDFS客户端通过切换数据服务节点IP恢复数据块缓存信息的写入。
进一步，所述恢复单元包括：
第一位置获取模块，用于当HDFS客户端服务收到数据块恢复消息时，获取相应文件已写入的位置信息；
第二位置获取模块，用于根据文件已写入的位置信息和数据块的大小计算出当前数据块已写入的位置信息；
缓存对象构建模块，根据当前数据块已写入的位置信息和数据块标识构建写入缓存对象；
写入模块，用于将接收到的数据写入构建好的缓存对象。
相应的，本发明公开了一种分布式文件系统透明故障切换的优化装置，包括：
存储器，用于存储分布式文件系统透明故障切换的优化程序；
处理器，用于执行所述分布式文件系统透明故障切换的优化程序时实现如上文任一项所述分布式文件系统透明故障切换的优化方法步骤。
相应的，本发明公开了一种可读存储介质，所述可读存储介质上存储有分布式文件系统透明故障切换的优化程序，所述分布式文件系统透明故障切换的优化程序被处理器执行时实现如上文任一项所述分布式文件系统透明故障切换的优化方法步骤。
对比现有技术，本发明有益效果在于：本发明提供了一种分布式文件系统透明故障切换的优化方法、系统及装置，针对元数据故障，能够将所有服务节点使用一个域名接入，使HDFS客户端通过域名接入HDFS存储服务，在元数据故障时利用请求重发实现服务切换；针对数据写入过程实现透明故障切换，设计了服务节点监视功能，监视所有HDFS服务节点，同时数据读写时将多服务IP返回给HDFS客户端，并在故障时自动切换服务节点，同时实现了写数据块缓存信息恢复功能，保障了数据正常写入。
本发明实现了HDFS协议访问时元数据服务的故障切换，DFS客户端接入简单，所有服务节点互为备份。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
附图1是本发明的方法流程图。
附图2是本发明的数据块恢复过程示意图。
附图3是本发明的系统结构图。
图中，1为启动单元；2为接入单元；3为故障切换单元；4为监听单元；5为恢复单元，51为第一位置获取模块，52为第二位置获取模块，53为缓存对象构建模块，54为写入模块。
具体实施方式
本发明的核心是提供一种分布式文件系统透明故障切换的优化方法，现有技术中，在HDFS一般场景中通常使用主备切换模式，但是存在配置复杂、备份节点有限、且不能提供多服务节点同时备份功能的缺陷，使用起来极为不方便。
而本发明提供的分布式文件系统透明故障切换的优化方法，首先，启动HDFS客户端服务节点的集群数据库和服务监控自启功能，并通过域名系统向客户提供域名接入分布式文件系统。当分布式文件系统的元数据发生节点故障时，进行元数据故障自动切换；在HDFS客户端服务启动时，自动注册节点消息到分布式文件系统监视器并进行HDFS服务监听；当监听到HDFS服务节点发生故障时，HDFS客户端通过切换数据服务节点IP恢复数据块缓存信息的写入。
由此可见，本发明能够使分布式文件系统在使用HDFS协议读写入过程中，实现服务的故障切换和服务节点的备份。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
如图1所示，本实施例提供了一种分布式文件系统透明故障切换的优化方法，包括如下步骤：
S1：启动HDFS客户端服务节点的集群数据库和服务监控自启功能。
S2：HDFS客户端服务节点通过域名系统向客户提供域名接入分布式文件系统。
其中，客户通过域名轮询服务获取虚拟IP；客户使用虚拟IP访问HDFS客户端服务进而访问分布式文件存储服务。
S3：当分布式文件系统的元数据发生节点故障时，进行元数据故障自动切换。
在进行元数据故障自动切换时，首先通过集群数据库的虚拟IP自动排除故障节点，完成虚拟IP节点切换；当节点本身进程异常时，通过设置自监控功能进行异常自动拉起。
S4：在HDFS客户端服务启动时，自动注册节点消息到分布式文件系统监视器并进行HDFS服务监听。
HDFS客户端服务启动时，HDFS客户端首先向分布式文件监视器注册自身服务节点信息，并在进行运行阶段定时发送服务心跳。若HDFS客户端服务退出或者心跳连接时间超过60秒，将对应的HDFS客户端服务节点从客户端服务节点列表中移除。
进行HDFS服务监听时，分布式文件系统监视器会在进行数据读写的过程中通过客户端服务节点列表将存储节点IP信息返回给HDFS客户端服务节点。
S5：当监听到HDFS服务节点发生故障时，HDFS客户端通过切换数据服务节点IP恢复数据块缓存信息的写入。
其中，恢复数据块缓存信息的写入过程具体如下：
如图2所示，当HDFS客户端服务收到数据块恢复消息时，获取相应文件已写入的位置信息。首先，根据文件已写入的位置信息和数据块的大小计算出当前数据块已写入的位置信息；然后，根据当前数据块已写入的位置信息和数据块标识构建写入缓存对象；最后，将接收到的数据写入构建好的缓存对象。
具体来说，构建好的缓存对象接收数据时，同时判断数据写入位置信息与当前数据块已写入的位置信息是否一致，若是，则将接收到的数据写入构建好的缓存对象中；若否，则返回写入异常信息。
本实施例提供了一种分布式文件系统透明故障切换的优化方法，能够将所有服务节点使用一个域名接入，使HDFS客户端通过域名接入HDFS存储服务，在元数据故障时利用请求重发实现服务切换。本实施例设计了服务节点监视功能，监视所有HDFS服务节点，同时数据读写时将多服务IP返回给HDFS客户端，并在故障时自动切换服务节点，同时实现了写数据块缓存信息恢复功能，保障了数据正常写入。
实施例二：
基于实施例一，本实施例还公开了一种分布式文件系统透明故障切换的优化方法，具体包括如下步骤：
步骤1：启动HDFS Client服务节点的CTDB和服务监控自启功能。
步骤2：HDFS Client多节点服务通过PDNS，提供域名供客户接入。客户通过域名(DNS轮询)获取虚拟IP，客户使用虚拟IP访问HDFS Client服务进而访问分布式文件存储服务。
步骤3：当元数据发生节点故障时，通过CTDB的虚拟IP自动排除故障节点，实现虚拟IP节点切换；当节点本身进程异常时，设置自监控功能，服务异常自动拉起服务，实现元数据故障自动切换。
步骤4：在HDFS Client服务启动时，自动注册节点消息到分布式文件系统监视器。在读写过程中，通过ClientMap表将多个存储节点IP信息返回给客户端。客户端实现读写多链路。
其中，本实施例利用分布式文件存储系统监视器实现HDFS服务监听，具体过程如下：
HDFS服务启动时向分布式文件系统监视器注册自身服务节点信息，主要包括IP等信息。在HDFS服务运行阶段定时发送服务心跳。当HDFS服务退出或者心跳超过60s时，将节点从ClientMap表中移除。
步骤5：当数据服务节点发生故障时，客户端切换数据服务节点IP，通过HDFSClient恢复写入block缓存信息，从而继续接收写入数据。
本步骤实现了通过HDFS Client恢复写入block缓存信息，具体过程为：
如图2所示，当HDFS Client服务收到block恢复消息时，先获取文件已经写入的位置。然后根据文件己写入位置和文件block_size计算当前block已经写入的位置，并根据block已经写入的位置和blockid构建写入缓存对象。最后，开始接收写入数据，并判断写入位置与恢复的位置是否一致，如果不一致抛出异常，如果一致则正常写入接收到的数据。
本实施例提供了一种分布式文件系统透明故障切换的优化方法，HDFS协议访问过程，实现了HDFS服务的HA透明故障切换功能。具体来说，针对元数据故障，将所有服务节点使用一个域名接入，客户端通过域名接入HDFS存储服务，故障时利用请求重发实现服务切换；针对数据写入过程实现透明故障切换，设计服务节点监视功能，监视所有HDFS服务节点，同时数据读写时将多服务IP返回给客户端，客户故障时自动切换服务节点，同时实现了写block缓存信息恢复功能，保障了数据正常写入。
实施例三：
基于实施例一，如图3所示，本发明还公开了一种分布式文件系统透明故障切换的优化系统，包括：启动单元1、接入单元2、故障切换单元3、监听单元4和恢复单元5。
启动单元1，用于启动HDFS客户端服务节点的集群数据库和服务监控自启功能。
接入单元2，用于在HDFS客户端服务节点通过域名系统向客户提供域名接入分布式文件系统。
故障切换单元3，用于当分布式文件系统的元数据发生节点故障时，进行元数据故障自动切换。
监听单元4，用于在HDFS客户端服务启动时，自动注册节点消息到分布式文件系统监视器并进行HDFS服务监听。
恢复单元5，用于当监听到HDFS服务节点发生故障时，HDFS客户端通过切换数据服务节点IP恢复数据块缓存信息的写入。
其中，恢复单元5具体包括：
第一位置获取模块51，用于当HDFS客户端服务收到数据块恢复消息时，获取相应文件已写入的位置信息。
第二位置获取模块52，用于根据文件已写入的位置信息和数据块的大小计算出当前数据块已写入的位置信息。
缓存对象构建模块53，根据当前数据块已写入的位置信息和数据块标识构建写入缓存对象。
写入模块54，用于将接收到的数据写入构建好的缓存对象。
本实施例提供了一种分布式文件系统透明故障切换的优化系统，能够将所有服务节点使用一个域名接入，使HDFS客户端通过域名接入HDFS存储服务，在元数据故障时利用请求重发实现服务切换。本实施例设计了服务节点监视功能，监视所有HDFS服务节点，同时数据读写时将多服务IP返回给HDFS客户端，并在故障时自动切换服务节点，同时实现了写数据块缓存信息恢复功能，保障了数据正常写入。
实施例四：
本实施例公开一种分布式文件系统透明故障切换的优化装置，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的分布式文件系统透明故障切换的优化程序时实现以下步骤：
1、启动HDFS客户端服务节点的集群数据库和服务监控自启功能。
2、HDFS客户端服务节点通过域名系统向客户提供域名接入分布式文件系统。
3、当分布式文件系统的元数据发生节点故障时，进行元数据故障自动切换。
4、在HDFS客户端服务启动时，自动注册节点消息到分布式文件系统监视器并进行HDFS服务监听。
5、当监听到HDFS服务节点发生故障时，HDFS客户端通过切换数据服务节点IP恢复数据块缓存信息的写入。
进一步的，本实施例中的分布式文件系统透明故障切换的优化装置，还可以包括：
输入接口，用于获取外界导入的分布式文件系统透明故障切换的优化程序，并将获取到的分布式文件系统透明故障切换的优化程序保存至所述存储器中，还可以用于获取外界终端设备传输的各种指令和参数，并传输至处理器中，以便处理器利用上述各种指令和参数展开相应的处理。本实施例中，所述输入接口具体可以包括但不限于USB接口、串行接口、语音输入接口、指纹输入接口、硬盘读取接口等。
输出接口，用于将处理器产生的各种数据输出至与其相连的终端设备，以便于与输出接口相连的其他终端设备能够获取到处理器产生的各种数据。本实施例中，所述输出接口具体可以包括但不限于USB接口、串行接口等。
通讯单元，用于在分布式文件系统透明故障切换的优化装置和外部服务器之间建立远程通讯连接，以便于分布式文件系统透明故障切换的优化装置能够将镜像文件挂载到外部服务器中。本实施例中，通讯单元具体可以包括但不限于基于无线通讯技术或有线通讯技术的远程通讯单元。
键盘，用于获取用户通过实时敲击键帽而输入的各种参数数据或指令。
显示器，用于运行服务器供电线路短路定位过程的相关信息进行实时显示。
鼠标，可以用于协助用户输入数据并简化用户的操作。
实施例五：
本实施例还公开了一种可读存储介质，这里所说的可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动硬盘、CD-ROM或技术领域内所公知的任意其他形式的存储介质。可读存储介质中存储有分布式文件系统透明故障切换的优化程序，所述分布式文件系统透明故障切换的优化程序被处理器执行时实现以下步骤：
1、启动HDFS客户端服务节点的集群数据库和服务监控自启功能。
2、HDFS客户端服务节点通过域名系统向客户提供域名接入分布式文件系统。
3、当分布式文件系统的元数据发生节点故障时，进行元数据故障自动切换。
4、在HDFS客户端服务启动时，自动注册节点消息到分布式文件系统监视器并进行HDFS服务监听。
5、当监听到HDFS服务节点发生故障时，HDFS客户端通过切换数据服务节点IP恢复数据块缓存信息的写入。
综上所述，本发明使能够使分布式文件系统在使用HDFS协议读写入过程中实现服务的故障切换和服务节点的备份。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的方法而言，由于其与实施例公开的系统相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。
同理，在本发明各个实施例中的各处理单元可以集成在一个功能模块中，也可以是各个处理单元物理存在，也可以两个或两个以上处理单元集成在一个功能模块中。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的分布式文件系统透明故障切换的优化方法、系统、装置及可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种分布式文件系统透明故障切换的优化方法，其特征在于，包括：
启动HDFS客户端服务节点的集群数据库和服务监控自启功能；
HDFS客户端服务节点通过域名系统向客户提供域名接入分布式文件系统；
当分布式文件系统的元数据发生节点故障时，进行元数据故障自动切换；
在HDFS客户端服务启动时，自动注册节点消息到分布式文件系统监视器并进行HDFS服务监听；
当监听到HDFS服务节点发生故障时，HDFS客户端通过切换数据服务节点IP恢复数据块缓存信息的写入。
2.根据权利要求1所述的分布式文件系统透明故障切换的优化方法，其特征在于，所述HDFS客户端服务节点通过域名系统向客户提供域名接入分布式文件系统还包括：
客户通过域名轮询服务获取虚拟IP；
客户使用虚拟IP访问HDFS客户端服务进而访问分布式文件存储服务。
3.根据权利要求1所述的分布式文件系统透明故障切换的优化方法，其特征在于，所述进行元数据故障自动切换，具体包括：
通过集群数据库的虚拟IP自动排除故障节点，完成虚拟IP节点切换；
当节点本身进程异常时，通过设置自监控功能进行异常自动拉起。
4.根据权利要求1所述的分布式文件系统透明故障切换的优化方法，其特征在于，所述进行HDFS服务监听时，分布式文件系统监视器会在进行数据读写的过程中通过客户端服务节点列表将存储节点IP信息返回给HDFS客户端服务节点。
5.根据权利要求4所述的分布式文件系统透明故障切换的优化方法，其特征在于，所述在HDFS客户端服务启动时，自动注册节点消息到分布式文件系统监视器并进行HDFS服务监听，具体包括：
在HDFS客户端服务启动时，HDFS客户端向分布式文件监视器注册自身服务节点信息，并在进行运行阶段定时发送服务心跳；
若HDFS客户端服务退出或者心跳连接时间超过60秒，将对应的HDFS客户端服务节点从客户端服务节点列表中移除。
6.根据权利要求1所述的分布式文件系统透明故障切换的优化方法，其特征在于，所述HDFS客户端通过切换数据服务节点IP恢复数据块缓存信息的写入，包括：
当HDFS客户端服务收到数据块恢复消息时，获取相应文件已写入的位置信息；
根据文件已写入的位置信息和数据块的大小计算出当前数据块已写入的位置信息；
根据当前数据块已写入的位置信息和数据块标识构建写入缓存对象；
将接收到的数据写入构建好的缓存对象。
7.根据权利要求6所述的分布式文件系统透明故障切换的优化方法，其特征在于，所述将接收到的数据写入构建好的缓存对象包括：
所述构建好的缓存对象接收数据，并判断数据写入位置信息与当前数据块已写入的位置信息是否一致，若是，则将接收到的数据写入构建好的缓存对象中；若否，则返回写入异常信息。
8.一种分布式文件系统透明故障切换的优化系统，其特征在于，包括：
启动单元，用于启动HDFS客户端服务节点的集群数据库和服务监控自启功能；接入单元，用于在HDFS客户端服务节点通过域名系统向客户提供域名接入分布式文件系统；
故障切换单元，用于当分布式文件系统的元数据发生节点故障时，进行元数据故障自动切换；
监听单元，用于在HDFS客户端服务启动时，自动注册节点消息到分布式文件系统监视器并进行HDFS服务监听；
恢复单元，用于当监听到HDFS服务节点发生故障时，HDFS客户端通过切换数据服务节点IP恢复数据块缓存信息的写入。
9.根据权利要求8所述的分布式文件系统透明故障切换的优化系统，其特征在于，所述恢复单元包括：
第一位置获取模块，用于当HDFS客户端服务收到数据块恢复消息时，获取相应文件已写入的位置信息；
第二位置获取模块，用于根据文件已写入的位置信息和数据块的大小计算出当前数据块已写入的位置信息；
缓存对象构建模块，根据当前数据块已写入的位置信息和数据块标识构建写入缓存对象；
写入模块，用于将接收到的数据写入构建好的缓存对象。
10.一种分布式文件系统透明故障切换的优化装置，其特征在于，包括：
存储器，用于存储分布式文件系统透明故障切换的优化程序；
处理器，用于执行所述分布式文件系统透明故障切换的优化程序时实现如权利要求1至7任一项权利要求所述的分布式文件系统透明故障切换的优化方法步骤。
CN202111215931.XA 2021-10-19 2021-10-19 分布式文件系统透明故障切换的优化方法、系统及装置 Pending CN114020503A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111215931.XA CN114020503A (zh) 2021-10-19 2021-10-19 分布式文件系统透明故障切换的优化方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111215931.XA CN114020503A (zh) 2021-10-19 2021-10-19 分布式文件系统透明故障切换的优化方法、系统及装置

Publications (1)

Publication Number Publication Date
CN114020503A true CN114020503A (zh) 2022-02-08

Family

ID=80056562

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111215931.XA Pending CN114020503A (zh) 2021-10-19 2021-10-19 分布式文件系统透明故障切换的优化方法、系统及装置

Country Status (1)

Country Link
CN (1) CN114020503A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116069753A (zh) * 2023-03-06 2023-05-05 浪潮电子信息产业股份有限公司 存算分离方法、系统、设备及介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116069753A (zh) * 2023-03-06 2023-05-05 浪潮电子信息产业股份有限公司 存算分离方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
US10824372B2 (en) Data recovery method and device, and cloud storage system
TW201730784A (zh) 資料同步方法、裝置及系統
EP2648114A1 (en) Method, system, token conreoller and memory database for implementing distribute-type main memory database system
CN111200532A (zh) 数据库集群节点主从切换的方法、装置、设备和介质
CN110048896B (zh) 一种集群数据获取方法、装置及设备
CN107666493B (zh) 一种数据库配置方法及其设备
US20210320977A1 (en) Method and apparatus for implementing data consistency, server, and terminal
CN112506702A (zh) 数据中心容灾方法、装置、设备及存储介质
CN111459749A (zh) 基于Prometheus的私有云监控方法、装置、计算机设备及存储介质
CN111787113B (zh) 一种节点故障的处理方法、装置、存储介质和电子设备
CN110351313B (zh) 数据缓存方法、装置、设备及存储介质
CN115190103A (zh) 基于服务网格的服务域名解析方法、装置及设备
CN114020503A (zh) 分布式文件系统透明故障切换的优化方法、系统及装置
US20240061754A1 (en) Management of logs and cache for a graph database
CN112685486B (zh) 数据库集群的数据管理方法、装置、电子设备及存储介质
CN110958287A (zh) 操作对象数据同步方法、装置及系统
CN112787868B (zh) 一种信息同步的方法和装置
JP5798056B2 (ja) 呼処理情報の冗長化制御システムおよびこれに利用する予備保守サーバ
CN111752758B (zh) 一种双主架构的InfluxDB高可用系统
CN115114112A (zh) 数据同步方法及装置
CN116737764A (zh) 数据同步的方法和装置、电子设备和存储介质
CN114257500A (zh) 一种超融合集群内部网络的故障切换方法、系统及装置
CN113806447A (zh) 一种数据同步方法、装置、设备及介质
CN112732482A (zh) 一种cifs业务备份切换方法、装置、设备及可读存储介质
CN113472469B (zh) 一种数据同步方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination