CN113824812B - 一种hdfs服务获取服务节点ip的方法、装置及存储介质 - Google Patents

一种hdfs服务获取服务节点ip的方法、装置及存储介质 Download PDF

Info

Publication number
CN113824812B
CN113824812B CN202110992067.8A CN202110992067A CN113824812B CN 113824812 B CN113824812 B CN 113824812B CN 202110992067 A CN202110992067 A CN 202110992067A CN 113824812 B CN113824812 B CN 113824812B
Authority
CN
China
Prior art keywords
hdfs
service
client
ips
service node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110992067.8A
Other languages
English (en)
Other versions
CN113824812A (zh
Inventor
王帅阳
李文鹏
李旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Inspur Data Technology Co Ltd
Original Assignee
Jinan Inspur Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Inspur Data Technology Co Ltd filed Critical Jinan Inspur Data Technology Co Ltd
Priority to CN202110992067.8A priority Critical patent/CN113824812B/zh
Publication of CN113824812A publication Critical patent/CN113824812A/zh
Application granted granted Critical
Publication of CN113824812B publication Critical patent/CN113824812B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2101/00—Indexing scheme associated with group H04L61/00
    • H04L2101/60—Types of network addresses
    • H04L2101/686—Types of network addresses using dual-stack hosts, e.g. in Internet protocol version 4 [IPv4]/Internet protocol version 6 [IPv6] networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Hardware Redundancy (AREA)

Abstract

本申请涉及HDFS服务获取服务节点IP的方法、装置及存储介质。其中方法包括：通过名字节点确定读写操作的数据节点后，从HDFS的全部HDFS客户端中选取指定数量的HDFS客户端作为服务节点，服务节点用于提供HDFS服务；按照HDFS客户端的指定数量、HDFS客户端IP的长度构建IPS数组来存放服务节点的IP；对IPS数组中存储的IP进行处理，将IPS数组中的第一个位置存储的IP设置为HDFS服务本地IP；按照IPS数组提供服务节点IP顺序进行故障切换。HDFS服务提供文件系统读写服务过程中，通过本申请，当前HDFS客户端出现故障导致无法继续提供读写服务时，按照IPS数组中服务节点IP顺序进行故障切换，由下一顺位的服务节点IP对应的HDFS客户端提供读写文件系统的服务，提高HDFS服务的稳定性、冗余性。

Description

一种HDFS服务获取服务节点IP的方法、装置及存储介质
技术领域
本申请涉及HDFS服务获取服务节点IP领域，尤其涉及一种HDFS服务获取服务节点IP的方法、装置及存储介质。
背景技术
HDFS分布式文件系统架构中包括名字节点、数据节点和客户端，其中名字节点用于管理元数据，数据节点用于存放文件数据，客户端通过名字节点和数据节点交互访问文件系统，客户端为用户提供了对HDFS分布式文件系统中文件进行操作的接口，而且这些操作对用户而言时透明的。
对于对象存储的分布式文件系统，在使用HDFS服务进行读写过程中，若仅仅一个服务节点提供HDFS服务，当提供读写等HDFS服务的服务节点出现问题时，用户无法在通过HDFS服务来进行文件系统读写操作。在使用HDFS服务进行读写过程中，需要获取多服务节点当提供读写等HDFS服务的服务节点出现问题时，切换到正常的服务节点进行文件系统的读写以实现故障切换。HDFS服务牵扯多语言之间的数据传输，设计数据结构的同时需要规划内存的使用，内存空间有限。而且在大规模的分布式文件系统中，不可能无限制地返回所有服务节点IP以供读写过程中进行故障切换。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供一种HDFS服务获取服务节点IP的方法、装置及存储介质。
第一方面，本申请提供一种HDFS服务获取服务节点IP的方法，包括：
通过名字节点确定读写操作的数据节点后，从HDFS的全部HDFS客户端中选取指定数量的HDFS客户端作为服务节点，服务节点用于提供HDFS服务；
按照HDFS客户端的指定数量、HDFS客户端IP的长度构建IPS数组来存放服务节点的IP；
对IPS数组中存储的IP进行处理，将IPS数组中的第一个位置存储的IP设置为HDFS服务本地IP；
按照IPS数组提供服务节点IP顺序进行故障切换。
更进一步地，所述按照HDFS客户端的指定数量、HDFS客户端IP的长度构建IPS数组来存放服务节点的IP包括：
通过初始化的HDFS客户端信息对象向分布式存储系统发起获取服务节点IP请求；
分布式存储系统响应所述获取服务节点IP请求：
遍历分布式存储系统的客户端列表获取HDFS客户端；
每获取一个HDFS客户端，将HDFS客户端信息对象中当前的已获取HDFS客户端计数变量自加一，将获取的HDFS客户端的IP存储到HDFS客户端信息对象中当前的申请IPS数组的地址变量指示的内存段中，HDFS客户端信息对象中申请IPS数组的地址变量自加HDFS客户端IP长度变量；循环遍历客户端列表直至已获取HDFS客户端计数变量达到HDFS客户端数量变量的值；
获取内存段中的数据，解析获取IPS数组。
更进一步地，响应由HDFS服务发起的创建IPS数组请求创建所述HDFS客户端信息对象；所述HDFS客户端信息对象定义了HDFS客户端数量变量、定义了HDFS客户端IP长度变量、已获取HDFS客户端计数变量以及申请IPS数组的地址变量。
更进一步地，所述初始化的HDFS客户端信息对象由配置项初始化HDFS客户端信息对象获得；所述配置项设置HDFS客户端数量变量的指定数值，配置HDFS客户端IP长度变量的初始值；其中，HDFS客户端IP长度变量的初始值默认为128字节，以兼容ipv4和ipv6。
更进一步地，遍历客户端列表获取HDFS客户端时，检测HDFS客户端的IP的实际长度是否不超过初始化的HDFS客户端信息对象中HDFS客户端IP长度变量的初始值，是则将HDFS客户端的IP存储内存段中，否则返回异常错误。
更进一步地，所述对IPS数组进行处理，将IPS数组的第一个IP设置为HDFS服务本地IP包括：
遍历IPS数组中的服务节点IP判断是否存在HDFS服务本地IP；
是则将HDFS服务本地IP挪至IPS数组的第一个IP位置；
否则将直接将IPS数组的第一个IP位置的服务节点IP替换为HDFS服务本地IP。
更进一步地，按照IPS数组提供服务节点IP顺序进行故障切换包括：
从IPS数组中第一个位置的服务节点IP开始提供HDFS读写服务，
若当前IP对应的HDFS客户端故障则获取IPS数组中下一顺位的IP；
切换下一顺位的IP，由以下一顺位的IP对应的客户端提供HDFS读写服务。
更进一步地，按照IPS数组提供服务节点IP顺序进行故障切换包括：
获取IPS数组中各个服务节点IP所对应HDFS客户端的状态，所述状态包括故障和正常，
故障切换时，判断下一个顺位服务节点IP对应的HDFS客户端是否正常，是则执行故障切换，否则，继续顺延选择下一个服务节点IP并判断下一个服务节点IP对应的HDFS客户端是否正常。
第二方面，本申请提供一种实现HDFS服务获取服务节点IP的装置，包括：
配置模块，所述配置模块用于设置配置项，配置项包括所述配置项设置HDFS客户端数量变量的指定数值，配置HDFS客户端IP长度变量的初始值；
IPS数组获取模块，所述IPS数组获取模块用于从HDFS获取指定数量HDFS客户端的IP形成IPS数组；
IPS数组处理模块，所述IPS数组处理模块用于将IPS数组中第一个IP设置为HDFS服务本地IP；
状态获取模块，所述状态获取模块用于获取IPS数组中各个IP对应的HDFS客户端的状态；
故障切换模块，当前服务节点故障时，所述故障切换模块按照IPS数组提供的对应正常状态的HDFS客户端的IP进行服务节点切换。
第三方面，本申请提供一种实现HDFS服务获取服务节点IP的方法的存储介质，所述实现HDFS服务获取服务节点IP的方法的存储介质存储至少一条指令，读取并执行所述指令实现所述的HDFS服务获取服务节点IP的方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
本申请提供的HDFS服务获取服务节点IP的方法在根据元数据拿到具体的HDFS数据节点时，获取若干个HDFS客户端的IP，并将HDFS客户端IP组成IPS数组，将IPS数组中所有的IP对应的客户端都具有提供读写文件系统的能力。HDFS服务提供文件系统读写服务过程中，当前HDFS客户端出现故障导致无法继续提供读写服务时，按照IPS数组中服务节点IP顺序进行故障切换，由下一顺位的服务节点IP对应的HDFS客户端提供读写文件系统的服务，提高HDFS服务的稳定性、冗余性。
IPS数组中第一个位置的IP对应着与元数据交互的HDFS服务本地的客户端，避免元数据的重新加载。
为IPS数组中每个元素所申请的内存段容量兼容IPv4和IPv6的IP地址。
在采集HDFS客户端的IP时对IP的长度进行检测，IP长度异常时，返回异常错误，避免IP长度异常导致后续解析IP错误。
通过记录IPS数组中每个服务节点IP对应的客户端的状态，在进行故障切换时，跳过故障状态客户端。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的按照HDFS客户端的指定数量、HDFS客户端IP的长度构建IPS数组来存放服务节点的IP流程图；
图2为本申请实施例提供的分布式存储系统响应所述获取服务节点IP请求所执行操作的流程图；
图3为本申请实施例提供的对IPS数组进行处理，将IPS数组的第一个IP设置为HDFS服务本地IP的流程图；
图4为本申请实施例提供的按照IPS数组提供服务节点IP顺序进行故障切换的流程图；
图5为本申请实施例提供的实现HDFS服务获取服务节点IP的装置的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
实施例1
本申请实施例提供一种HDFS服务获取服务节点IP的方法，应用于对象存储的HDFS分布式文件系统。
HDFS分布式文件系统的架构包括名字节点、数据节点以及客户端，其中，
名字节点的主要任务是管理HDFS分布式文件系统的命名空间以及控制客户端对HDFS分布式文件系统的访问。HDFS分布式文件系统的所有文件、文件夹的元数据信息由名字节点管理。
数据节点的主要任务是进行数据的存储，与客户端进行读写交互。
客户端的功能包括通过与名字节点和数据节点交互进行文件读写。
HDFS服务本地的HDFS客户端向名字节点发起获取文件数据的请求，名字节点会根据获取文件数据请求将数据所在的数据节点返回给HDFS服务本地的HDFS客户端；或者，HDFS服务本地的HDFS客户端向名字节点发起创建新文件的请求，名字节点接收到创建新文件请求后，在名字节点记录创建文件信息，客户端向名字节点请求数据节点来存储创建文件的数据。
在进行读写过程中通过名字节点确定读写操作的数据节点后，从HDFS的全部HDFS客户端中选取指定数量的HDFS客户端作为服务节点，服务节点用于提供HDFS服务。
HDFS服务获取作为服务节点的HDFS客户端的IP；具体的，按照HDFS客户端的指定数量、HDFS客户端IP的长度构建IPS数组来存放服务节点的IP；参阅图1所示，所述按照HDFS客户端的指定数量、HDFS客户端IP的长度构建IPS数组来存放服务节点的IP包括：
S100，HDFS服务发起创建IPS数组请求；
S200，响应创建IPS数组请求创建HDFS客户端信息对象；所述HDFS客户端信息对象定义了HDFS客户端数量变量max_num、定义了HDFS客户端IP长度变量max_byte_pre、已获取HDFS客户端计数变量get_ip_num，get_ip_num的初值为0，以及申请IPS数组的地址变量offset。
S300，通过配置项对HDFS客户端信息对象进行初始化，所述配置项设置HDFS客户端数量变量的指定数值Max_num，初始化HDFS客户端信息对象时max_num＝Max_num，配置HDFS客户端IP长度变量的初始值Max_ip_byte，初始化HDFS客户端信息对象时max_byte_pre＝Max_ip_byte；其中，HDFS客户端IP长度变量的初始值默认为128字节，以兼容ipv4和ipv6。
S400，通过初始化的HDFS客户端信息对象向分布式存储系统发起获取服务节点IP请求；
S500，参阅图2所示，分布式存储系统响应所述获取服务节点IP请求返回IPS数组：
S501，遍历分布式存储系统的客户端列表获取HDFS客户端；具体的，分布式存储系统的客户端列表包含HDFS客户端。遍历客户端列表的每个客户端，判断客户端是否为HDFS客户端，是则获取HDFS客户端，否则跳过。
S502，每获取一个HDFS客户端，将HDFS客户端信息对象中当前的已获取HDFS客户端计数变量自加一，即get_ip_num＝get_ip_num+1。
S503，检测获取的HDFS客户端的IP的实际长度是否不超过初始化的HDFS客户端信息对象中HDFS客户端IP长度变量的初始值max_byte_pre。
是则S504，将获取的HDFS客户端的IP存储到HDFS客户端信息对象中当前的申请IPS数组的地址变量指示的内存段中，HDFS客户端信息对象中申请IPS数组的地址变量自加HDFS客户端IP长度变量，即offset＝offset+max_byte_pre；
否则返回异常错误。
S505，判断已获取HDFS客户端计数变量是否达到HDFS客户端数量变量的值，即判断get_ip_num是否大于max_num，
否则循环执行S501-S503遍历客户端列表获取HDFS客户端直至已获取HDFS客户端计数变量达到HDFS客户端数量变量的值；
是则跳出循环。
S506，获取内存段中的数据，解析获取IPS数组并发送给HDFS服务。具体实施过程中，根据HDFS客户端信息对象中的max_num和max_byte_pre解析内存段中的数据，解析获取IPS数组。
HDFS服务获取IPS数组后，对IPS数组中存储的IP进行处理，将IPS数组中的第一个位置存储的IP设置为HDFS服务本地IP；
具体实施过程中，参阅图3所示，所述对IPS数组进行处理，将IPS数组的第一个IP设置为HDFS服务本地IP包括：
S10，遍历IPS数组中的服务节点IP；
S20，判断服务节点IP中是否存在HDFS服务本地IP；
是则S30，将HDFS服务本地IP挪至IPS数组的第一个位置；
否则S40，将直接将IPS数组的第一个位置的服务节点IP替换为HDFS服务本地IP。
按照IPS数组提供服务节点IP顺序进行故障切换。
具体实施过程中，参阅图4所示，按照IPS数组提供服务节点IP顺序进行故障切换包括：
S1，获取IPS数组中各个服务节点IP所对应HDFS客户端的状态，所述状态包括故障和正常。
S2，从IPS数组中第一个位置的服务节点IP开始提供HDFS读写服务。
S3，检测当前提供读写服务的HDFS客户端是否故障；
若故障，则S4，遍历IPS数组的元素获取IPS数组中下一顺位的IP；
S5，判断下一个顺位服务节点IP对应的HDFS客户端是否正常；
是则S6，执行故障切换，切换下一顺位的IP，由以下一顺位的IP对应的客户端提供HDFS读写服务；
否则，循环执行S4和S5，继续顺延选择下一个服务节点IP并判断下一个服务节点IP对应的HDFS客户端是否正常。
本申请提供的HDFS服务获取服务节点IP的方法在根据元数据拿到具体的HDFS数据节点时，获取若干个HDFS客户端的IP，并将HDFS客户端IP组成IPS数组，将IPS数组中所有的IP对应的客户端都具有提供读写文件系统的能力。HDFS服务提供文件系统读写服务过程中，当前HDFS客户端出现故障导致无法继续提供读写服务时，按照IPS数组中服务节点IP顺序进行故障切换，由下一顺位的服务节点IP对应的HDFS客户端提供读写文件系统的服务，提高HDFS服务的稳定性、冗余性。
IPS数组中第一个位置的IP对应着与元数据交互的HDFS服务本地的客户端，避免元数据的重新加载。
为IPS数组中每个元素所申请的内存段容量兼容IPv4和IPv6的IP地址。
在采集HDFS客户端的IP时对IP的长度进行检测，IP长度异常时，返回异常错误，避免IP长度异常导致后续解析IP错误。
通过记录IPS数组中每个服务节点IP对应的客户端的状态，在进行故障切换时，跳过故障状态客户端。
实施例2
参阅图5所示，本申请实施例提供一种实现HDFS服务获取服务节点IP的装置，包括：
配置模块，所述配置模块用于设置配置项，所述配置项配置了HDFS客户端数量变量的指定数值，配置了HDFS客户端IP长度变量的初始值，所述配置模块为用户提供配置HDFS客户端数量变量的指定数值和HDFS客户端IP长度变量的初始值的接口；
IPS数组获取模块，所述IPS数组获取模块用于构建HDFS客户端信息对象来从分布式存储系统获取指定数量HDFS客户端的IP形成IPS数组；
IPS数组处理模块，所述IPS数组处理模块用于将IPS数组中第一个IP设置为HDFS服务本地IP；
状态获取模块，所述状态获取模块用于获取IPS数组中各个IP对应的HDFS客户端的状态；
故障切换模块，当前服务节点故障时，所述故障切换模块按照IPS数组提供的对应正常状态的HDFS客户端的IP进行服务节点切换。
实施例3
本申请实施例提供一种实现HDFS服务获取服务节点IP的方法的存储介质，所述实现HDFS服务获取服务节点IP的方法的存储介质存储至少一条指令，读取并执行所述指令实现所述的HDFS服务获取服务节点IP的方法。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种HDFS服务获取服务节点IP的方法，其特征在于，包括：
通过名字节点确定读写操作的数据节点后，从HDFS的全部HDFS客户端中选取指定数量的HDFS客户端作为服务节点，服务节点用于提供HDFS服务；
按照HDFS客户端的指定数量、HDFS客户端IP的长度构建IPS数组来存放服务节点的IP：响应由HDFS服务发起的创建IPS数组请求创建所述HDFS客户端信息对象，所述HDFS客户端信息对象定义了HDFS客户端数量变量、定义了HDFS客户端IP长度变量、已获取HDFS客户端计数变量以及申请IPS数组的地址变量；通过初始化的HDFS客户端信息对象向分布式存储系统发起获取服务节点IP请求，分布式存储系统响应所述获取服务节点IP请求：遍历分布式存储系统的客户端列表获取HDFS客户端；每获取一个HDFS客户端，将HDFS客户端信息对象中当前的已获取HDFS客户端计数变量自加一，将获取的HDFS客户端的IP存储到HDFS客户端信息对象中当前的申请IPS数组的地址变量指示的内存段中，HDFS客户端信息对象中申请IPS数组的地址变量自加HDFS客户端IP长度变量；循环遍历客户端列表直至已获取HDFS客户端计数变量达到HDFS客户端数量变量的值；获取内存段中的数据，解析获取IPS数组；
对IPS数组中存储的IP进行处理，将IPS数组中的第一个位置存储的IP设置为HDFS服务本地IP；
按照IPS数组提供服务节点IP顺序进行故障切换。
2.根据权利要求1所述HDFS服务获取服务节点IP的方法，其特征在于，所述初始化的HDFS客户端信息对象由配置项初始化HDFS客户端信息对象获得；所述配置项设置HDFS客户端数量变量的指定数值，配置HDFS客户端IP长度变量的初始值；其中，HDFS客户端IP长度变量的初始值默认为128字节，以兼容ipv4和ipv6。
3.根据权利要求1所述HDFS服务获取服务节点IP的方法，其特征在于，遍历客户端列表获取HDFS客户端时，检测HDFS客户端的IP的实际长度是否不超过初始化的HDFS客户端信息对象中HDFS客户端IP长度变量的初始值，是则将HDFS客户端的IP存储内存段中，否则返回异常错误。
4.根据权利要求1所述HDFS服务获取服务节点IP的方法，其特征在于，所述对IPS数组进行处理，将IPS数组的第一个IP设置为HDFS服务本地IP包括：
遍历IPS数组中的服务节点IP判断是否存在HDFS服务本地IP；
是则将HDFS服务本地IP挪至IPS数组的第一个位置；
否则将直接将IPS数组的第一个位置的服务节点IP替换为HDFS服务本地IP。
5.根据权利要求1所述HDFS服务获取服务节点IP的方法，其特征在于，按照IPS数组提供服务节点IP顺序进行故障切换包括：
从IPS数组中第一个位置的服务节点IP开始提供HDFS读写服务，
若当前IP对应的HDFS客户端故障则获取IPS数组中下一顺位的IP；
切换下一顺位的IP，由以下一顺位的IP对应的客户端提供HDFS读写服务。
6.根据权利要求5所述HDFS服务获取服务节点IP的方法，其特征在于，按照IPS数组提供服务节点IP顺序进行故障切换包括：获取IPS数组中各个服务节点IP所对应HDFS客户端的状态，所述状态包括故障和正常，故障切换时，判断下一个顺位服务节点IP对应的HDFS客户端是否正常，是则执行故障切换，否则，继续顺延选择下一个服务节点IP并判断下一个服务节点IP对应的HDFS客户端是否正常。
7.一种实现HDFS服务获取服务节点IP的装置，其特征在于，包括：
配置模块，所述配置模块用于设置配置项，所述配置项配置了HDFS客户端数量变量的指定数值，配置了HDFS客户端IP长度变量的初始值；
IPS数组获取模块，所述IPS数组获取模块响应由HDFS服务发起的创建IPS数组请求创建HDFS客户端信息对象，所述HDFS客户端信息对象定义了HDFS客户端数量变量、定义了HDFS客户端IP长度变量、已获取HDFS客户端计数变量以及申请IPS数组的地址变量；通过初始化的HDFS客户端信息对象向分布式存储系统发起获取服务节点IP请求，分布式存储系统响应所述获取服务节点IP请求：遍历分布式存储系统的客户端列表获取HDFS客户端；每获取一个HDFS客户端，将HDFS客户端信息对象中当前的已获取HDFS客户端计数变量自加一，将获取的HDFS客户端的IP存储到HDFS客户端信息对象中当前的申请IPS数组的地址变量指示的内存段中，HDFS客户端信息对象中申请IPS数组的地址变量自加HDFS客户端IP长度变量；循环遍历客户端列表直至已获取HDFS客户端计数变量达到HDFS客户端数量变量的值；获取内存段中的数据，解析获取IPS数组；
IPS数组处理模块，所述IPS数组处理模块用于将IPS数组中第一个IP设置为HDFS服务本地IP；
状态获取模块，所述状态获取模块用于获取IPS数组中各个IP对应的HDFS客户端的状态；
故障切换模块，当前服务节点故障时，所述故障切换模块按照IPS数组提供的对应正常状态的HDFS客户端的IP进行服务节点切换。
8.一种实现HDFS服务获取服务节点IP的方法的存储介质，其特征在于，所述实现HDFS服务获取服务节点IP的方法的存储介质存储至少一条指令，读取并执行所述指令实现如权利要求1-6任一所述的HDFS服务获取服务节点IP的方法。
CN202110992067.8A 2021-08-27 2021-08-27 一种hdfs服务获取服务节点ip的方法、装置及存储介质 Active CN113824812B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110992067.8A CN113824812B (zh) 2021-08-27 2021-08-27 一种hdfs服务获取服务节点ip的方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110992067.8A CN113824812B (zh) 2021-08-27 2021-08-27 一种hdfs服务获取服务节点ip的方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113824812A CN113824812A (zh) 2021-12-21
CN113824812B true CN113824812B (zh) 2023-02-28

Family

ID=78913682

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110992067.8A Active CN113824812B (zh) 2021-08-27 2021-08-27 一种hdfs服务获取服务节点ip的方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113824812B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017152736A1 (zh) * 2016-03-07 2017-09-14 中兴通讯股份有限公司 一种分布式文件系统hdfs的管理方法、装置及系统
WO2017167171A1 (zh) * 2016-03-31 2017-10-05 华为技术有限公司 一种数据操作方法，服务器及存储系统
CN108023953A (zh) * 2017-12-04 2018-05-11 北京小度信息科技有限公司 Ftp服务的高可用实现方法和装置
CN108984635A (zh) * 2018-06-21 2018-12-11 郑州云海信息技术有限公司 一种hdfs存储系统以及数据存储方法
US10229017B1 (en) * 2015-10-01 2019-03-12 EMC IP Holding Company LLC Resetting fibre channel devices for failover in high availability backup systems
US10498804B1 (en) * 2016-06-29 2019-12-03 EMC IP Holding Company LLC Load balancing Hadoop distributed file system operations in a non-native operating system
CN111314117A (zh) * 2020-01-20 2020-06-19 苏州浪潮智能科技有限公司 一种故障转移的方法、装置、设备及可读存储介质
CN112492011A (zh) * 2020-11-19 2021-03-12 苏州浪潮智能科技有限公司 分布式存储系统故障切换方法、系统、终端及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002149439A (ja) * 2000-11-15 2002-05-24 Nec Soft Ltd 分散処理システムにおけるサーバ切替え方法及びサーバ装置
JP2004054607A (ja) * 2002-07-19 2004-02-19 Nec Corp スイッチ装置、分散オブジェクト管理方法およびプログラム
JP4516458B2 (ja) * 2005-03-18 2010-08-04 株式会社日立製作所 フェイルオーバークラスタシステム及びフェイルオーバー方法
US9607001B2 (en) * 2012-07-13 2017-03-28 Facebook, Inc. Automated failover of a metadata node in a distributed file system
CN106856489B (zh) * 2015-12-08 2020-09-08 阿里巴巴集团控股有限公司 一种分布式存储系统的服务节点切换方法和装置
KR101995056B1 (ko) * 2015-12-30 2019-07-02 한국전자통신연구원 분산 파일 시스템 및 이의 운영방법
US10382576B2 (en) * 2017-07-20 2019-08-13 Vmware, Inc. Transparent server failover in stateful distributed protocols
US10866870B2 (en) * 2019-01-31 2020-12-15 Hewlett Packard Enterprise Development Lp Data store and state information handover
CN112596960B (zh) * 2020-11-25 2023-06-13 新华三云计算技术有限公司 一种分布式存储服务切换方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10229017B1 (en) * 2015-10-01 2019-03-12 EMC IP Holding Company LLC Resetting fibre channel devices for failover in high availability backup systems
WO2017152736A1 (zh) * 2016-03-07 2017-09-14 中兴通讯股份有限公司 一种分布式文件系统hdfs的管理方法、装置及系统
WO2017167171A1 (zh) * 2016-03-31 2017-10-05 华为技术有限公司 一种数据操作方法，服务器及存储系统
US10498804B1 (en) * 2016-06-29 2019-12-03 EMC IP Holding Company LLC Load balancing Hadoop distributed file system operations in a non-native operating system
CN108023953A (zh) * 2017-12-04 2018-05-11 北京小度信息科技有限公司 Ftp服务的高可用实现方法和装置
CN108984635A (zh) * 2018-06-21 2018-12-11 郑州云海信息技术有限公司 一种hdfs存储系统以及数据存储方法
CN111314117A (zh) * 2020-01-20 2020-06-19 苏州浪潮智能科技有限公司 一种故障转移的方法、装置、设备及可读存储介质
CN112492011A (zh) * 2020-11-19 2021-03-12 苏州浪潮智能科技有限公司 分布式存储系统故障切换方法、系统、终端及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Dr.Hadoop:an infinite scalable metadata management for Hadoop―How the baby elephant becomes immortal;Dipayan DEV等;《Frontiers of Information Technology & Electronic Engineering》;20160103(第01期);全文 *
Hadoop系统运行机制研究;聂得欣;《河南财政税务高等专科学校学报》;20160815(第04期);全文 *
日志结构云存储中缓存的设计与实现;陈莉君等;《西安邮电大学学报》;20130910(第05期);全文 *

Also Published As

Publication number Publication date
CN113824812A (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
US10838620B2 (en) Efficient scaling of distributed storage systems
CN113746887B (zh) 一种跨集群数据请求处理方法、设备及存储介质
CN110275775B (zh) 容器应用的资源配置方法、系统及存储介质
CN109558212B (zh) 一种物理设备的虚拟化管理方法、系统、物理设备及介质
CN112148678B (zh) 一种文件访问方法、系统、设备以及介质
CN108234630A (zh) 基于分布式一致性协议实现的数据读取方法及装置
CN112199419A (zh) 一种分布式时序数据库、存储方法、设备及存储介质
CN109697020A (zh) 一种数据存储方法、服务器及系统
CN107294763A (zh) 网络设备部署方法及设备
CN112839076B (zh) 数据存储、读取方法、网关、电子设备及存储介质
CN107678906B (zh) 硬盘管理方法和系统
CN109981768A (zh) 分布式网络存储系统中的io多路径规划方法及设备
CN107172214A (zh) 一种具有负载均衡的服务节点发现方法及装置
CN111064804A (zh) 网络访问方法和装置
CN109328331A (zh) 用于异步存储服务的自组织存储系统
CN113824812B (zh) 一种hdfs服务获取服务节点ip的方法、装置及存储介质
WO2007011164A1 (en) Virtual storage system and method for managementing virtual storage based on ad-hoc network
CN114020405A (zh) 一种虚拟机调度方法、装置、设备及介质
Rotter et al. Telecom strategies for service discovery in microservice environments
US20140032891A1 (en) Direct Binary File Transfer based Network Management System Free of Messaging, Commands and Data Format Conversions
JP5300650B2 (ja) ＨｔｔｐＳｅｒｖｉｃｅを用いたサービス登録装置、コンテンツ登録装置、サービス登録方法、コンテンツ登録方法、プログラム及び記録媒体
CN115080164A (zh) 微前端页面跳转方法、装置和存储介质
CN114996236A (zh) 融合存储系统的数据处理方法、装置、设备及存储介质
CN111984375B (zh) 一种裸设备容灾方法、系统、设备以及介质
CN108733805B (zh) 文件交互方法、系统、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant