CN112131191B - 一种namenode文件系统的管理方法、装置及设备 - Google Patents
一种namenode文件系统的管理方法、装置及设备 Download PDFInfo
- Publication number
- CN112131191B CN112131191B CN202011042149.8A CN202011042149A CN112131191B CN 112131191 B CN112131191 B CN 112131191B CN 202011042149 A CN202011042149 A CN 202011042149A CN 112131191 B CN112131191 B CN 112131191B
- Authority
- CN
- China
- Prior art keywords
- node
- information
- slave
- storage
- namenode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 9
- 230000003213 activating effect Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract description 6
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 239000003999 initiator Substances 0.000 description 7
- 230000015556 catabolic process Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000005192 partition Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/172—Caching, prefetching or hoarding of files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种NAMENODE文件系统的管理方法,通过接收大数据信息;根据所述大数据信息,通过iSCSI协议对备份节点的存储空间进行读写,并根据所述大数据信息更新主节点日志信息;使所述从NAMENODE节点根据所述主节点日志信息确定所述从NAMEDOBE节点的从节点日志信息;当主NAMENODE节点故障时,使所述从NAMENODE节点根据所述从节点日志信息及所述大数据信息,通过iSCSI协议对所述备份节点的存储空间进行读写,并更新所述从节点日志信息。本发明降低了系统建构的设备成本,保证系统的高可用性。本发明同时还提供了一种具有上述有益效果的NAMENODE文件系统的管理装置、设备及计算机可读存储介质。
Description
技术领域
本发明涉及计算机存储高可用技术领域,特别是涉及一种NAMENODE文件系统的管理方法、装置、设备及计算机可读存储介质。
背景技术
在多种用于大数据的文件管理系统中,NAMENODE管理文件系统的命名空间。它维护着文件系统树及整棵树内所有的文件和目录。这些信息以两个文件形式永久保存在本地磁盘上:命名空间镜像文件和编辑日志文件。NAMENODE也记录着每个文件中各个块所在的数据节点信息,而在现有技术中,NAMENODE文件系统需要单独的高速存储服务器(如支持NFS功能的共享存储)作为大数据的存储设备,而高速存储服务器的价格高昂,与大数据平台构架于低成本的普通服务器,以降低成本的初衷相违背,此外,由于现有技术中的NAMENODE节点与上述高速存储服务器之间的数据交换会挤占用于服务器间数据交换的协议的带宽,因此在高负载下,容易出现带宽不足,进而导致系统崩溃的问题。
因此,找到一种避免使用高速存储服务器的NAMENODE文件系统的管理方法,以降低设备成本,并解决现有NAMENODE文件系统在高负载下可用性不高的问题,是本领域技术人员亟待解决的问题。
发明内容
本发明的目的是提供一种NAMENODE文件系统的管理方法、装置、设备及计算机可读存储介质,以解决现有技术中NAMENODE系统由于成本高、高负载下容易出现带宽不足,导致系统整体可用性低下的问题。
为解决上述技术问题,本发明提供一种NAMENODE文件系统的管理方法,包括:
接收大数据信息;
根据所述大数据信息,通过iSCSI协议对备份节点的存储空间进行读写,并根据所述大数据信息更新主节点日志信息;
将所述主节点日志信息发送至从NAMENODE节点,使所述从NAMENODE节点根据所述主节点日志信息确定所述从NAMEDOBE节点的从节点日志信息;
当主NAMENODE节点故障时,激活所述从NAMENODE节点,使所述从NAMENODE节点根据所述从节点日志信息及所述大数据信息,通过iSCSI协议对所述备份节点的存储空间进行读写,并更新所述从节点日志信息。
可选地,在所述的NAMENODE文件系统的管理方法中,所述根据所述大数据信息,通过iSCSI协议对备份节点的存储空间进行读写,并根据所述大数据信息更新主节点日志信息包括:
获取所述备份节点的iSCSI设备名称信息;
根据所述大数据信息及所述iSCSI设备名称信息,确定目标存储空间信息;
根据所述大数据信息及所述目标存储空间信息,对所述备份节点的存储空间进行读写,并根据所述大数据信息及所述目标存储空间信息更新主节点日志信息。
可选地,在所述的NAMENODE文件系统的管理方法中,还包括:
接收主节点存储配置信息;
根据所述主节点存储配置信息,得到主节点存储请求信息;
根据所述主节点存储请求信息,确定备份节点主存储资源信息;
根据所述备份节点主存储资源信息,将所述主NAMENODE节点与所述备份节点的存储空间通过iSCSI协议进行匹配。
可选地,在所述的NAMENODE文件系统的管理方法中,还包括:
接收从节点存储配置信息;
根据所述从节点存储配置信息,得到从节点存储请求信息;
根据所述从节点存储请求信息及所述备份节点主存储资源信息,确定备份节点从存储资源信息;
根据所述备份节点从存储资源信息,将所述从NAMENODE节点与所述备份节点的存储空间通过iSCSI协议进行匹配。
一种NAMENODE文件系统的管理装置,包括:
接收模块,用于接收大数据信息;
读写模块,用于根据所述大数据信息,通过iSCSI协议对备份节点的存储空间进行读写,并根据所述大数据信息更新主节点日志信息;
同步模块,用于将所述主节点日志信息发送至从NAMENODE节点,使所述从NAMENODE节点根据所述主节点日志信息确定所述从NAMEDOBE节点的从节点日志信息;
主从切换模块,用于当主NAMENODE节点故障时,激活所述从NAMENODE节点,使所述从NAMENODE节点根据所述从节点日志信息及所述大数据信息,通过iSCSI协议对所述备份节点的存储空间进行读写,并更新所述从节点日志信息。
可选地,在所述的NAMENODE文件系统的管理装置中,所述读写模块包括:
获取单元,用于获取所述备份节点的iSCSI设备名称信息;
存储空间确定单元,用于根据所述大数据信息及所述iSCSI设备名称信息,确定目标存储空间信息;
编辑单元,用于根据所述大数据信息及所述目标存储空间信息,对所述备份节点的存储空间进行读写,并根据所述大数据信息及所述目标存储空间信息更新主节点日志信息。
可选地,在所述的NAMENODE文件系统的管理装置中,还包括:
主配置模块,用于接收主节点存储配置信息;
主请求模块,用于根据所述主节点存储配置信息,得到主节点存储请求信息;
主存储资源模块,用于根据所述主节点存储请求信息,确定备份节点主存储资源信息;
主分配模块,用于根据所述备份节点主存储资源信息,将所述主NAMENODE节点与所述备份节点的存储空间通过iSCSI协议进行匹配。
可选地,在所述的NAMENODE文件系统的管理装置中,还包括:
从配置模块,用于接收从节点存储配置信息;
从请求模块,用于根据所述从节点存储配置信息,得到从节点存储请求信息;
从存储资源模块,用于根据所述从节点存储请求信息及所述备份节点主存储资源信息,确定备份节点从存储资源信息;
从分配模块,用于根据所述备份节点从存储资源信息,将所述从NAMENODE节点与所述备份节点的存储空间通过iSCSI协议进行匹配。
一种NAMENODE文件系统的管理设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上述任一种所述的NAMENODE文件系统的管理方法的步骤。
一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述的NAMENODE文件系统的管理方法的步骤。
本发明所提供的NAMENODE文件系统的管理方法,通过接收大数据信息;根据所述大数据信息,通过iSCSI协议对备份节点的存储空间进行读写,并根据所述大数据信息更新主节点日志信息;将所述主节点日志信息发送至从NAMENODE节点,使所述从NAMENODE节点根据所述主节点日志信息确定所述从NAMEDOBE节点的从节点日志信息;当主NAMENODE节点故障时,激活所述从NAMENODE节点,使所述从NAMENODE节点根据所述从节点日志信息及所述大数据信息,通过iSCSI协议对所述备份节点的存储空间进行读写,并更新所述从节点日志信息。本发明利用iSCSI协议,将所述备份节点看作主、从NAMENODE节点的本地储存资源,进而实现低成本的普通服务器也可作为NAMENODE文件系统的存储服务器,大大降低了系统建构的设备成本,同时由于所述iSCSI协议将所述备份节点的服务器伪装为所述主NAMENODE节点的本地存储设备,也就避免了占用系统中服务器间通信协议的带宽,提升了NAMENODE文件系统在高负载下的可用性,另外,设置主、从两个NAMENODE节点,相当于为NAMENODE系统设置了冗余,降低了系统因NAMENODE节点故障而出错或崩溃的可能性,保证系统的高可用性。本发明同时还提供了一种具有上述有益效果的NAMENODE文件系统的管理装置、设备及计算机可读存储介质。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的NAMENODE文件系统的管理方法的一种具体实施方式的流程示意图;
图2为本发明提供的NAMENODE文件系统的管理方法的另一种具体实施方式的流程示意图;
图3为本发明提供的NAMENODE文件系统的管理方法的又一种具体实施方式的流程示意图;
图4为本发明提供的NAMENODE文件系统的管理装置的一种具体实施方式的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的核心是提供一种NAMENODE文件系统的管理方法,其一种具体实施方式的流程示意图如图1所示,称其为具体实施方式一,包括:
S101:接收大数据信息。
S102:根据所述大数据信息,通过iSCSI协议对备份节点的存储空间进行读写,并根据所述大数据信息更新主节点日志信息。
本发明的NAMENODE文件系统的管理方法的执行主体可为主NAMENODE节点,此时所述主NAMENODE节点为iSCSI协议中的iSCSI initiator,而所述备份节点为iSCSI协议中的iSCSI target。
在所述iSCSI协议中,所述备份节点提供的存储空间被所述主NAMENODE节点看作本地存储,具体步骤在下述具体实施方式三中展开说明。
S103:将所述主节点日志信息发送至从NAMENODE节点,使所述从NAMENODE节点根据所述主节点日志信息确定所述从NAMEDOBE节点的从节点日志信息。
所述主节点日志信息可按照预设的时间间隔由所述主NAMENODE节点发送给所述从NAMENODE节点,并由所述从NAMENODE节点对自身的从节点日志信息做更新,也可等待所述从NAMENODE节点发送同步请求信息,所述主NAMENODE接收到所述同步请求信息后再将所述主节点日志信息发送至所述从NAMENODE节点。
所述更新指使所述从节点日志的内容始终保持与所述主节点日志信息内容一致。
NAMENODE文件系统中的命名空间的任何更改都将写入共享可编辑目录,从NAMENODE节点定期刷新大数据共享可编辑目录,将主NAMENODE节点的共享可编辑目录下的日志文件同步到从NAMENODE节点,从NAMENODE节点读取共享可编辑目录下的日志文件,并将其更新至从NAMENODE节点的命名空间中,保持与主NAMENODE节点的命名空间一致,以便主NAMENODE节点发生故障时,可不间断接替主NAMENODE节点,保证大数据集群(即所述NAMENODE文件系统)正常运行。
S104:当主NAMENODE节点故障时,激活所述从NAMENODE节点,使所述从NAMENODE节点根据所述从节点日志信息及所述大数据信息,通过iSCSI协议对所述备份节点的存储空间进行读写,并更新所述从节点日志信息。
所述激活所述从NAMENODE节点,具体可为向所述从NAMENODE节点发送激活指令;需要注意的是,所述从NAMENODE节点对应的存储空间应与所述主NAMENODE节点对应的存储空间相同,可将所述主NAMENODE正常工作时,对所述备份节点上的存储空间的权限设定为读写,所述从NAMENODE节点对所述存储空间的权限设定为只读;当所述主NAMENODE节点故障时,将所述从NAMENODE节点对所述存储空间的权限更改为读写。
本发明所提供的NAMENODE文件系统的管理方法,通过接收大数据信息;根据所述大数据信息,通过iSCSI协议对备份节点的存储空间进行读写,并根据所述大数据信息更新主节点日志信息;将所述主节点日志信息发送至从NAMENODE节点,使所述从NAMENODE节点根据所述主节点日志信息确定所述从NAMEDOBE节点的从节点日志信息;当主NAMENODE节点故障时,激活所述从NAMENODE节点,使所述从NAMENODE节点根据所述从节点日志信息及所述大数据信息,通过iSCSI协议对所述备份节点的存储空间进行读写,并更新所述从节点日志信息。本发明利用iSCSI协议,将所述备份节点看作主、从NAMENODE节点的本地储存资源,进而实现低成本的普通服务器也可作为NAMENODE文件系统的存储服务器,大大降低了系统建构的设备成本,同时由于所述iSCSI协议将所述备份节点的服务器伪装为所述主NAMENODE节点的本地存储设备,也就避免了占用系统中服务器间通信协议的带宽,提升了NAMENODE文件系统在高负载下的可用性,另外,设置主、从两个NAMENODE节点,相当于为NAMENODE系统设置了冗余,降低了系统因NAMENODE节点故障而出错或崩溃的可能性,保证系统的高可用性。
在具体实施方式一的基础上,进一步限定所述主NAMENODE节点通过iSCSI协议对备份节点的存储空间进行读写的步骤,得到具体实施方式二,其流程示意图如图2所示,包括:
S201:接收大数据信息。
S202:获取所述备份节点的iSCSI设备名称信息。
所述iSCSI设备名称信息为所述备份节点提供的存储空间在所述主NAMENODE节点系统下的设备名称信息。
S203:根据所述大数据信息及所述iSCSI设备名称信息,确定目标存储空间信息。
根据所述大数据自身的类型或标签,结合所述iSCSI设备名称信息中对不同类型大数据信息的分类,确定所述大数据信息需要读取或存储就的存储空间信息,即所述目标存储空间信息。
S204:根据所述大数据信息及所述目标存储空间信息,对所述备份节点的存储空间进行读写,并根据所述大数据信息及所述目标存储空间信息更新主节点日志信息。
需要注意的是,所述主NAMENODE节点依旧通过所述iSCSI协议对所述备份节点的存储空间进行读写。
S205:将所述主节点日志信息发送至从NAMENODE节点,使所述从NAMENODE节点根据所述主节点日志信息确定所述从NAMEDOBE节点的从节点日志信息。
S206:当主NAMENODE节点故障时,激活所述从NAMENODE节点,使所述从NAMENODE节点根据所述从节点日志信息及所述大数据信息,通过iSCSI协议对所述备份节点的存储空间进行读写,并更新所述从节点日志信息。
本具体实施方式中具体给出了一种所述主NAMENODE节点通过iSCSI协议对备份节点的存储空间进行读写的步骤,在本具体实施方式中,所述存储空间在所述主NAMENODE节点的操作系统中并非单一分区,而是同属于一个存储设备下的多分区,可按所述大数据信息自身的标签进行分类存储(即根据所述目标存储空间信息进行读写),大大提高了大数据信息的读写效率。当然,所述从NAMENODE节点也可通过类似的方法利用iSCSI协议对所述备份节点的存储空间进行读写。
本发明同时还提供了一种主NAMENODE节点与备份节点进行匹配的方法,其一种具体实施方式的流程示意图如图3所示,包括:
S301:接收主节点存储配置信息。
所述节点存储配置信息为预设的,对于所述备份节点需要提供给所述主NAMENODE节点的存储空间的要求的信息。
S302:根据所述主节点存储配置信息,得到主节点存储请求信息。
S303:根据所述主节点存储请求信息,确定备份节点主存储资源信息。
S302、S303步骤中具体可为大数据集群中作为iSCSI initiator的主NAMENODE节点根据iSCSI协议向作为iSCSI target的备份节点发送申请存iSCSI存储资源的请求(即所述主节点存储请求信息);
作为iSCSI targetr的备份节点根据主NAMENODE节点的iSCSI存储资源请求进行处理,首先,根据备份节点上iSCSI target的配置信息,对主NAMENODE节点发起的iSCSI存储资源请求进行匹配;如果主NAMENODE节点请求的iSCSI存储资源在备份节点的iSCSItarget的配置信息中不存在,则向主NAMENODE节点返回终止iSCSI登录消息;如果主NAMENODE节点请求的iSCSI存储资源在备份节点的iSCSI target的配置信息中存在,则向主NAMENODE节点返回iSCSI登录消息。
S304:根据所述备份节点主存储资源信息,将所述主NAMENODE节点与所述备份节点的存储空间通过iSCSI协议进行匹配。
继续上文的例子,在主NAMENODE节点的iSCSI initiator登录备份节点的iSCSItarget后,备份节点的iSCSI target的将主NAMENODE节点请求的iSCSI存储资源分配给主NAMENODE节点,并将主NAMENODE节点标记为iSCSI存储资源的主SCSI节点。
主NAMENODE节点iSCSI initiator获取备份节点的iSCSI target分配的iSCSI存储资源后,首先主NAMENODE节点的操作系统为该iSCSI存储资源分配设备名;其次,主NAMENODE节点的操作系统对该设备进行分区;再者,主NAMENODE节点的操作系统为已分区的设备创建文件系统;最后,主NAMENODE节点的操作系统将已创建文件系统的分区以读写的模式挂载到操作系统的文件系统中的大数据共享可编辑目录上。
上述步骤为主NAMENODE节点与备份节点进行匹配的方法,当然,所述从NAMENODE节点也可通过类似方法与所述备份节点匹配,具体包括:
S401:接收从节点存储配置信息。
S402:根据所述从节点存储配置信息,得到从节点存储请求信息。
S403:根据所述从节点存储请求信息及所述备份节点主存储资源信息,确定备份节点从存储资源信息。
大数据集群中作为iSCSI initiator的从NAMENODE节点根据iSCSI协议向作为iSCSI target的备份节点发送申请存iSCSI存储资源的请求。
作为iSCSI target的备份节点根据从NAMENODE节点的iSCSI存储资源请求进行处理,首先,根据备份节点上iSCSI target的配置信息,对从NAMENODE节点发起的iSCSI存储资源请求进行匹配;如果从NAMENODE节点请求的iSCSI存储资源在备份节点的iSCSItarget的配置信息中不存在,则向从NAMENODE节点返回终止iSCSI登录消息;如果从NAMENODE节点请求的iSCSI存储资源在备份节点的iSCSI target的配置信息中存在,则向从NAMENODE节点返回iSCSI登录消息。
由于所述从NAMENODE节点对应的存储空间应与所述主NAMENODE节点的存储空间相同,因此在本步骤中,除了要依据所述从节点存储请求信息,还需要根据所述主存储资源信息确定所述从存储资源信息。
S404:根据所述备份节点从存储资源信息,将所述从NAMENODE节点与所述备份节点的存储空间通过iSCSI协议进行匹配。
从NAMENODE节点的iSCSI initiator登录备份节点的iSCSI target后,备份节点的iSCSI target的将从NAMENODE节点请求的iSCSI存储资源分配给从NAMENODE节点,并将从NAMENODE节点标记为iSCSI存储资源的从SCSI节点。从NAMENODE节点iSCSI initiator获取备份节点的iSCSI target分配的iSCSI存储资源后,首先,从NAMENODE节点的操作系统为该iSCSI存储资源分配设备名;其次,从NAMENODE节点的操作系统对该设备进行分区;之后,从NAMENODE节点的操作系统为已分区的设备创建文件系统;最后,从NAMENODE节点的操作系统将已创建文件系统的分区以只读的模式挂载到操作系统的文件系统中的大数据共享可编辑目录上。
下面对本发明实施例提供的NAMENODE文件系统的管理装置进行介绍,下文描述的NAMENODE文件系统的管理装置与上文描述的NAMENODE文件系统的管理方法可相互对应参照。
图4为本发明实施例提供的NAMENODE文件系统的管理装置的结构框图,参照图4NAMENODE文件系统的管理装置可以包括:
接收模块100,用于接收大数据信息;
读写模块200,用于根据所述大数据信息,通过iSCSI协议对备份节点的存储空间进行读写,并根据所述大数据信息更新主节点日志信息;
同步模块300,用于将所述主节点日志信息发送至从NAMENODE节点,使所述从NAMENODE节点根据所述主节点日志信息确定所述从NAMEDOBE节点的从节点日志信息;
主从切换模块400,用于当主NAMENODE节点故障时,激活所述从NAMENODE节点,使所述从NAMENODE节点根据所述从节点日志信息及所述大数据信息,通过iSCSI协议对所述备份节点的存储空间进行读写,并更新所述从节点日志信息。
作为一种优选实施方式,所述读写模块200包括:
获取单元,用于获取所述备份节点的iSCSI设备名称信息;
存储空间确定单元,用于根据所述大数据信息及所述iSCSI设备名称信息,确定目标存储空间信息;
编辑单元,用于根据所述大数据信息及所述目标存储空间信息,对所述备份节点的存储空间进行读写,并根据所述大数据信息及所述目标存储空间信息更新主节点日志信息。
作为一种优选实施方式,还包括:
主配置模块,用于接收主节点存储配置信息;
主请求模块,用于根据所述主节点存储配置信息,得到主节点存储请求信息;
主存储资源模块,用于根据所述主节点存储请求信息,确定备份节点主存储资源信息;
主分配模块,用于根据所述备份节点主存储资源信息,将所述主NAMENODE节点与所述备份节点的存储空间通过iSCSI协议进行匹配。
作为一种优选实施方式,还包括:
从配置模块,用于接收从节点存储配置信息;
从请求模块,用于根据所述从节点存储配置信息,得到从节点存储请求信息;
从存储资源模块,用于根据所述从节点存储请求信息及所述备份节点主存储资源信息,确定备份节点从存储资源信息;
从分配模块,用于根据所述备份节点从存储资源信息,将所述从NAMENODE节点与所述备份节点的存储空间通过iSCSI协议进行匹配。
本发明所提供的NAMENODE文件系统的管理装置,通过接收模块100,用于接收大数据信息;读写模块200,用于根据所述大数据信息,通过iSCSI协议对备份节点的存储空间进行读写,并根据所述大数据信息更新主节点日志信息;同步模块300,用于将所述主节点日志信息发送至从NAMENODE节点,使所述从NAMENODE节点根据所述主节点日志信息确定所述从NAMEDOBE节点的从节点日志信息;主从切换模块400,用于当主NAMENODE节点故障时,激活所述从NAMENODE节点,使所述从NAMENODE节点根据所述从节点日志信息及所述大数据信息,通过iSCSI协议对所述备份节点的存储空间进行读写,并更新所述从节点日志信息。本发明利用iSCSI协议,将所述备份节点看作主、从NAMENODE节点的本地储存资源,进而实现低成本的普通服务器也可作为NAMENODE文件系统的存储服务器,大大降低了系统建构的设备成本,同时由于所述iSCSI协议将所述备份节点的服务器伪装为所述主NAMENODE节点的本地存储设备,也就避免了占用系统中服务器间通信协议的带宽,提升了NAMENODE文件系统在高负载下的可用性,另外,设置主、从两个NAMENODE节点,相当于为NAMENODE系统设置了冗余,降低了系统因NAMENODE节点故障而出错或崩溃的可能性,保证系统的高可用性。
本实施例的NAMENODE文件系统的管理装置用于实现前述的NAMENODE文件系统的管理方法,因此NAMENODE文件系统的管理装置中的具体实施方式可见前文中的NAMENODE文件系统的管理方法的实施例部分,例如,接收模块100,读写模块200,同步模块300,主从切换模块400,分别用于实现上述NAMENODE文件系统的管理方法中步骤S101,S102,S103和S104,所以,其具体实施方式可以参照相应的各个部分实施例的描述,在此不再赘述。
一种NAMENODE文件系统的管理设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上述任一种所述的NAMENODE文件系统的管理方法的步骤。本发明所提供的NAMENODE文件系统的管理方法,通过接收大数据信息;根据所述大数据信息,通过iSCSI协议对备份节点的存储空间进行读写,并根据所述大数据信息更新主节点日志信息;将所述主节点日志信息发送至从NAMENODE节点,使所述从NAMENODE节点根据所述主节点日志信息确定所述从NAMEDOBE节点的从节点日志信息;当主NAMENODE节点故障时,激活所述从NAMENODE节点,使所述从NAMENODE节点根据所述从节点日志信息及所述大数据信息,通过iSCSI协议对所述备份节点的存储空间进行读写,并更新所述从节点日志信息。本发明利用iSCSI协议,将所述备份节点看作主、从NAMENODE节点的本地储存资源,进而实现低成本的普通服务器也可作为NAMENODE文件系统的存储服务器,大大降低了系统建构的设备成本,同时由于所述iSCSI协议将所述备份节点的服务器伪装为所述主NAMENODE节点的本地存储设备,也就避免了占用系统中服务器间通信协议的带宽,提升了NAMENODE文件系统在高负载下的可用性,另外,设置主、从两个NAMENODE节点,相当于为NAMENODE系统设置了冗余,降低了系统因NAMENODE节点故障而出错或崩溃的可能性,保证系统的高可用性。
一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述的NAMENODE文件系统的管理方法的步骤。本发明所提供的NAMENODE文件系统的管理方法,通过接收大数据信息;根据所述大数据信息,通过iSCSI协议对备份节点的存储空间进行读写,并根据所述大数据信息更新主节点日志信息;将所述主节点日志信息发送至从NAMENODE节点,使所述从NAMENODE节点根据所述主节点日志信息确定所述从NAMEDOBE节点的从节点日志信息;当主NAMENODE节点故障时,激活所述从NAMENODE节点,使所述从NAMENODE节点根据所述从节点日志信息及所述大数据信息,通过iSCSI协议对所述备份节点的存储空间进行读写,并更新所述从节点日志信息。本发明利用iSCSI协议,将所述备份节点看作主、从NAMENODE节点的本地储存资源,进而实现低成本的普通服务器也可作为NAMENODE文件系统的存储服务器,大大降低了系统建构的设备成本,同时由于所述iSCSI协议将所述备份节点的服务器伪装为所述主NAMENODE节点的本地存储设备,也就避免了占用系统中服务器间通信协议的带宽,提升了NAMENODE文件系统在高负载下的可用性,另外,设置主、从两个NAMENODE节点,相当于为NAMENODE系统设置了冗余,降低了系统因NAMENODE节点故障而出错或崩溃的可能性,保证系统的高可用性。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的NAMENODE文件系统的管理方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (8)
1.一种NAMENODE文件系统的管理方法,其特征在于,包括:
接收大数据信息;
根据所述大数据信息,通过iSCSI协议对备份节点的存储空间进行读写,并根据所述大数据信息更新主节点日志信息;
将所述主节点日志信息发送至从NAMENODE节点,使所述从NAMENODE节点根据所述主节点日志信息确定所述从NAMEDOBE节点的从节点日志信息;
当主NAMENODE节点故障时,激活所述从NAMENODE节点,使所述从NAMENODE节点根据所述从节点日志信息及所述大数据信息,通过iSCSI协议对所述备份节点的存储空间进行读写,并更新所述从节点日志信息;
所述根据所述大数据信息,通过iSCSI协议对备份节点的存储空间进行读写,并根据所述大数据信息更新主节点日志信息包括:
获取所述备份节点的iSCSI设备名称信息;
根据所述大数据信息及所述iSCSI设备名称信息,确定目标存储空间信息;
根据所述大数据信息及所述目标存储空间信息,对所述备份节点的存储空间进行读写,并根据所述大数据信息及所述目标存储空间信息更新主节点日志信息。
2.如权利要求1所述的NAMENODE文件系统的管理方法,其特征在于,还包括:
接收主节点存储配置信息;
根据所述主节点存储配置信息,得到主节点存储请求信息;
根据所述主节点存储请求信息,确定备份节点主存储资源信息;
根据所述备份节点主存储资源信息,将所述主NAMENODE节点与所述备份节点的存储空间通过iSCSI协议进行匹配。
3.如权利要求2所述的NAMENODE文件系统的管理方法,其特征在于,还包括:
接收从节点存储配置信息;
根据所述从节点存储配置信息,得到从节点存储请求信息;
根据所述从节点存储请求信息及所述备份节点主存储资源信息,确定备份节点从存储资源信息;
根据所述备份节点从存储资源信息,将所述从NAMENODE节点与所述备份节点的存储空间通过iSCSI协议进行匹配。
4.一种NAMENODE文件系统的管理装置,其特征在于,包括:
接收模块,用于接收大数据信息;
读写模块,用于根据所述大数据信息,通过iSCSI协议对备份节点的存储空间进行读写,并根据所述大数据信息更新主节点日志信息;
同步模块,用于将所述主节点日志信息发送至从NAMENODE节点,使所述从NAMENODE节点根据所述主节点日志信息确定所述从NAMEDOBE节点的从节点日志信息;
主从切换模块,用于当主NAMENODE节点故障时,激活所述从NAMENODE节点,使所述从NAMENODE节点根据所述从节点日志信息及所述大数据信息,通过iSCSI协议对所述备份节点的存储空间进行读写,并更新所述从节点日志信息;
所述读写模块包括:
获取单元,用于获取所述备份节点的iSCSI设备名称信息;
存储空间确定单元,用于根据所述大数据信息及所述iSCSI设备名称信息,确定目标存储空间信息;
编辑单元,用于根据所述大数据信息及所述目标存储空间信息,对所述备份节点的存储空间进行读写,并根据所述大数据信息及所述目标存储空间信息更新主节点日志信息。
5.如权利要求4所述的NAMENODE文件系统的管理装置,其特征在于,还包括:
主配置模块,用于接收主节点存储配置信息;
主请求模块,用于根据所述主节点存储配置信息,得到主节点存储请求信息;
主存储资源模块,用于根据所述主节点存储请求信息,确定备份节点主存储资源信息;
主分配模块,用于根据所述备份节点主存储资源信息,将所述主NAMENODE节点与所述备份节点的存储空间通过iSCSI协议进行匹配。
6.如权利要求5所述的NAMENODE文件系统的管理装置,其特征在于,还包括:
从配置模块,用于接收从节点存储配置信息;
从请求模块,用于根据所述从节点存储配置信息,得到从节点存储请求信息;
从存储资源模块,用于根据所述从节点存储请求信息及所述备份节点主存储资源信息,确定备份节点从存储资源信息;
从分配模块,用于根据所述备份节点从存储资源信息,将所述从NAMENODE节点与所述备份节点的存储空间通过iSCSI协议进行匹配。
7.一种NAMENODE文件系统的管理设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至3任一项所述的NAMENODE文件系统的管理方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至3任一项所述的NAMENODE文件系统的管理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011042149.8A CN112131191B (zh) | 2020-09-28 | 2020-09-28 | 一种namenode文件系统的管理方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011042149.8A CN112131191B (zh) | 2020-09-28 | 2020-09-28 | 一种namenode文件系统的管理方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112131191A CN112131191A (zh) | 2020-12-25 |
CN112131191B true CN112131191B (zh) | 2023-05-26 |
Family
ID=73844297
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011042149.8A Active CN112131191B (zh) | 2020-09-28 | 2020-09-28 | 一种namenode文件系统的管理方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112131191B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106682227A (zh) * | 2017-01-06 | 2017-05-17 | 郑州云海信息技术有限公司 | 基于分布式文件系统的日志数据存储系统及读写方法 |
CN109918143A (zh) * | 2019-03-20 | 2019-06-21 | 浪潮商用机器有限公司 | OpenPOWER平台启动信息显示方法及相关装置 |
CN110471491A (zh) * | 2019-08-15 | 2019-11-19 | 山东超越数控电子股份有限公司 | 一种刀片服务器中管理系统时间同步的方法 |
CN111526046A (zh) * | 2020-04-14 | 2020-08-11 | 浪潮商用机器有限公司 | 一种bmc时间的设置方法、装置、设备和存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106254100B (zh) * | 2016-07-27 | 2019-04-16 | 腾讯科技(深圳)有限公司 | 一种数据容灾方法、装置和系统 |
-
2020
- 2020-09-28 CN CN202011042149.8A patent/CN112131191B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106682227A (zh) * | 2017-01-06 | 2017-05-17 | 郑州云海信息技术有限公司 | 基于分布式文件系统的日志数据存储系统及读写方法 |
CN109918143A (zh) * | 2019-03-20 | 2019-06-21 | 浪潮商用机器有限公司 | OpenPOWER平台启动信息显示方法及相关装置 |
CN110471491A (zh) * | 2019-08-15 | 2019-11-19 | 山东超越数控电子股份有限公司 | 一种刀片服务器中管理系统时间同步的方法 |
CN111526046A (zh) * | 2020-04-14 | 2020-08-11 | 浪潮商用机器有限公司 | 一种bmc时间的设置方法、装置、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112131191A (zh) | 2020-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111078121B (zh) | 一种分布式存储系统数据迁移方法、系统、及相关组件 | |
US11586673B2 (en) | Data writing and reading method and apparatus, and cloud storage system | |
CN106933508B (zh) | 应用容器的迁移方法及装置 | |
US10540119B2 (en) | Distributed shared log storage system having an adapter for heterogenous big data workloads | |
CN110221779B (zh) | 分布式持久性内存存储系统的构建方法 | |
CN103067433B (zh) | 一种分布式存储系统的数据迁移方法、设备和系统 | |
US20100199041A1 (en) | Storage Subsystem And Storage System Architecture Performing Storage Virtualization And Method Thereof | |
CN109582686B (zh) | 分布式元数据管理一致性保证方法、装置、系统及应用 | |
CN112199419A (zh) | 一种分布式时序数据库、存储方法、设备及存储介质 | |
CN101741830A (zh) | 实现多客户端数据同步的方法、系统、客户端及服务器 | |
CN113268472B (zh) | 一种分布式数据存储系统及方法 | |
CN109254958B (zh) | 分布式数据读写方法、设备及系统 | |
CN113190619B (zh) | 分布式kv数据库的数据读写方法、系统、设备和介质 | |
JP2009237826A (ja) | ストレージシステム及びそのボリューム管理方法 | |
CN111225003B (zh) | 一种nfs节点配置方法和装置 | |
CN109391487A (zh) | 一种配置更新方法和系统 | |
US9380127B2 (en) | Distributed caching and cache analysis | |
CN111444157A (zh) | 分布式文件系统及数据访问方法 | |
CN114564339A (zh) | 一种磁盘镜像文件跨平台迁移方法及系统 | |
CN116400855A (zh) | 一种数据处理方法和数据存储系统 | |
CN115617264A (zh) | 分布式存储方法及装置 | |
CN112463880B (zh) | 一种区块链数据存储方法及相关装置 | |
CN117914675A (zh) | 一种分布式缓存系统的构建的方法及装置 | |
CN112131191B (zh) | 一种namenode文件系统的管理方法、装置及设备 | |
CN102203737A (zh) | 多线程访问多副本的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |