CN114020357B - namenode节点的启动方法、装置、系统及介质 - Google Patents
namenode节点的启动方法、装置、系统及介质 Download PDFInfo
- Publication number
- CN114020357B CN114020357B CN202111300189.2A CN202111300189A CN114020357B CN 114020357 B CN114020357 B CN 114020357B CN 202111300189 A CN202111300189 A CN 202111300189A CN 114020357 B CN114020357 B CN 114020357B
- Authority
- CN
- China
- Prior art keywords
- node
- naminode
- hadoop cluster
- started
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000005540 biological transmission Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 239000000306 component Substances 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 108010015780 Viral Core Proteins Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Hardware Redundancy (AREA)
Abstract
本发明公开了一种hadoop集群中namenode节点的启动方法、装置、系统及介质，该方法包括：当检测到hadoop集群启动成功时，获取hadoop集群的组成信息；根据组成信息，对hadoop集群中的各个节点进行检测，确定各个节点中的初始namenode节点是否启动；若初始namenode的节点未启动，则查找hadoop集群中已启动的目标节点，并将目标节点设为新的namenode节点。本发明在namenode尚未启动时，将已启动的节点设为新的namenode，使得无论hadoop中启动的是何种节点，均可作为namenode节点，实现namenode节点的优先快速启动。
Description
技术领域
本发明涉及分布式系统技术领域，尤其涉及一种hadoop集群中namenode节点的启动方法、装置、系统及介质。
背景技术
随着大数据技术的发展，传统的mysql已难以满足大量增长的数据服务需求，而逐步发展为hadoop集群的分布式处理模式。Hadoop集群包含HDFS、YARN和MAPREDUCE三大核心组件，其中，HDFS为分布式文件系统，用于解决海量数据存储问题，YARN为作业调度和集群资源管理的框架，用于解决资源任务调度问题，MAPREDUCE为分布式运算编程框架，用于解决海量数据计算问题。
对于负责海量数据存储的HDFS，包含三种节点角色，分别为：NameNode、DataNode、SecondaryNameNode。NameNode作为管理节点，管理集群的命令空间，维护集群内的所有文件和目录，datanode是集群的工作节点，其受namenode调度存储并检检索数据块，并定期向namenode发送它们所存储的块的列表。SecondaryNameNode是NameNode的辅助检查点，其在NameNode异常时，可对NameNode进行恢复。
并且，Hadoop集群的很多操作都是在namenode节点中完成，namenode的启动快慢与hadoop集群的数据处理效率息息相关。但当前在并发的情况下，hadoop各个节点启动的先后顺序却是无法预知的，若namenode后启动，则会影响hadoop集群的数据处理效率，因此，如何让hadoop集群中的namenode优先快速启动是当前亟待解决的技术问题。
发明内容
本发明的主要目的在于提供一种hadoop集群中namenode节点的启动方法、装置、系统及介质，旨在解决现有技术中如何让hadoop集群中的namenode优先快速启动的技术问题。
为实现上述目的，本发明提供一种hadoop集群中namenode节点的启动方法，所述hadoop集群中namenode节点的启动方法包括：
当检测到hadoop集群启动成功时，获取所述hadoop集群的组成信息；
根据所述组成信息，对所述hadoop集群中的各个节点进行检测，确定各个所述节点中的初始namenode节点是否启动；
若所述初始namenode的节点未启动，则查找所述hadoop集群中已启动的目标节点，并将所述目标节点设为新的namenode节点。
可选地，所述查找所述hadoop集群中已启动的目标节点的步骤之后包括：
判断所述目标节点是否为备用namenode节点，若为备用namenode节点，则执行将所述目标节点设为新的name节点的步骤；
若所述目标节点非备用namenode节点，则判断所述目标节点是否为支持切换的从节点；
若为支持切换的从节点，则执行将所述目标节点设为新的namenode节点的步骤。
可选地，所述备用namenode节点和所述支持切换的从节点的配置信息均包括主节点配置信息和从节点配置信息，且所述主节点配置信和从节点配置信息支持互相切换。
可选地，所述将所述目标节点设为新的namenode节点的步骤之后包括：
将所述新的namenade节点中的主节点配置信息配置为激活状态，并将所述初始namenode节点中的从节点配置信息配置为待激活状态。
可选地，所述将所述目标节点设为新的namenode节点的步骤之后还包括：
将所述hadoop集群中除所述新的namenode节点之外的其他节点设为新的从节点；
检测各所述新的从节点中的待启动从节点，并对所述待启动从节点进行启动。
可选地，多个所述hadoop集群形成hadoop集群组，所述将所述目标节点设为新的namenode节点的步骤之后包括：
在检测到所述hadoop集群组中各个所述hadoop集群的namenode节点均启动后，向各个所述hadoop集群的namenode节点发送文件传输请求，以将待发送文件发送到各个所述hadoop集群。
可选地，所述在检测到所述hadoop集群组中各个所述hadoop集群的namenode节点均启动后，向各个所述hadoop集群的namenode节点发送文件传输请求的步骤之前包括：
检测各所述hadoop集群中的namenode节点是否均返回心跳；
若均返回心跳，则根据各所述namenode节点返回的心跳，验证各所述namenode节点的有效性；
在各所述namenode节点均验证有效后，判定所述hadoop集群组中各个所述hadoop集群的namenode节点均启动。
进一步地，为实现上述目的，本发明还提供一种hadoop集群中namenode节点的启动装置，其特征在于，所述启动装置包括：
获取模块，用于当检测到hadoop集群启动成功时，获取所述hadoop集群的组成信息；
检测模块，用于根据所述组成信息，对所述hadoop集群中的各个节点进行检测，确定各个所述节点中的初始namenode节点是否启动；
查找模块，用于若所述初始namenode的节点未启动，则查找所述hadoop集群中已启动的目标节点，并将所述目标节点设为新的namenode节点。
进一步地，为实现上述目的，本发明还提供一种hadoop集群的启动系统，所述hadoop集群的启动系统包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的控制程序，所述控制程序被所述处理器执行时实现如上所述的hadoop集群中namenode节点的启动方法的步骤。
进一步地，为实现上述目的，本发明还提供一种可读存储介质，所述可读存储介质上存储有控制程序，所述控制程序被处理器执行时实现如上所述的hadoop集群中namenode节点的启动方法的步骤。
本发明的hadoop集群中namenode节点的启动方法、装置、系统及介质，一旦检测到hadoop集群启动成功，则对hadoop集群的组成信息进行获取；进而根据组成信息，对hadoop集群中的各个节点进行检测，确定各个节点中的初始namenode节点是否启动；若初始namenode的节点尚未启动，则查找hadoop集群中已启动的目标节点，并将目标节点设为新的namenode节点。由此，通过对hadoop集群中已启动的节点设置切换机制，在namenode尚未启动时，将已启动的节点设为新的namenode，使得无论hadoop中启动的是何种节点，均可作为namenode节点，实现namenode节点的优先快速启动。
附图说明
图1为本发明hadoop集群的启动系统实施例方案涉及的硬件运行环境的结构示意图；
图2为本发明hadoop集群中namenode节点的启动方法第一实施例的流程示意图；
图3为本发明hadoop集群中namenode节点的启动方法第二实施例的流程示意图；
图4为本发明hadoop集群中namenode节点的启动装置一实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供一种hadoop集群的启动系统。
请参照图1，图1为本发明hadoop集群的启动系统实施例方案涉及的硬件运行环境的结构示意图。
如图1所示，该hadoop集群的启动系统可以包括处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
本领域技术人员可以理解，图1中示出的hadoop集群的启动系统硬件结构并不构成对hadoop集群的启动系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及控制程序。其中，操作系统是管理和控制hadoop集群的启动系统与软件资源的程序，支持网络通信模块、用户接口模块、控制程序以及其他程序或软件的运行；网络通信模块用于管理和控制网络接口1004；用户接口模块用于管理和控制用户接口1003。
在图1所示的hadoop集群的启动系统硬件结构中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；处理器1001可以调用存储器1005中存储的控制程序，并执行以下操作：
当检测到hadoop集群启动成功时，获取所述hadoop集群的组成信息；
根据所述组成信息，对所述hadoop集群中的各个节点进行检测，确定各个所述节点中的初始namenode节点是否启动；
若所述初始namenode的节点未启动，则查找所述hadoop集群中已启动的目标节点，并将所述目标节点设为新的namenode节点。
进一步地，所述查找所述hadoop集群中已启动的目标节点的步骤之后；处理器1001可以调用存储器1005中存储的控制程序，并执行以下操作：
判断所述目标节点是否为备用namenode节点，若为备用namenode节点，则执行将所述目标节点设为新的name节点的步骤；
若所述目标节点非备用namenode节点，则判断所述目标节点是否为支持切换的从节点；
若为支持切换的从节点，则执行将所述目标节点设为新的namenode节点的步骤。
进一步地，所述备用namenode节点和所述支持切换的从节点的配置信息均包括主节点配置信息和从节点配置信息，且所述主节点配置信和从节点配置信息支持互相切换。
进一步地，所述将所述目标节点设为新的namenode节点的步骤之后；处理器1001可以调用存储器1005中存储的控制程序，并执行以下操作：
将所述新的namenade节点中的主节点配置信息配置为激活状态，并将所述初始namenode节点中的从节点配置信息配置为待激活状态。
进一步地，所述将所述目标节点设为新的namenode节点的步骤之后；处理器1001可以调用存储器1005中存储的控制程序，并执行以下操作：
将所述hadoop集群中除所述新的namenode节点之外的其他节点设为新的从节点；
检测各所述新的从节点中的待启动从节点，并对所述待启动从节点进行启动。
进一步地，多个所述hadoop集群形成hadoop集群组，所述将所述目标节点设为新的namenode节点的步骤之后；处理器1001可以调用存储器1005中存储的控制程序，并执行以下操作：
在检测到所述hadoop集群组中各个所述hadoop集群的namenode节点均启动后，向各个所述hadoop集群的namenode节点发送文件传输请求，以将待发送文件发送到各个所述hadoop集群。
进一步地，所述在检测到所述hadoop集群组中各个所述hadoop集群的namenode节点均启动后，向各个所述hadoop集群的namenode节点发送文件传输请求的步骤之前；处理器1001可以调用存储器1005中存储的控制程序，并执行以下操作：
检测各所述hadoop集群中的namenode节点是否均返回心跳；
若均返回心跳，则根据各所述namenode节点返回的心跳，验证各所述namenode节点的有效性；
在各所述namenode节点均验证有效后，判定所述hadoop集群组中各个所述hadoop集群的namenode节点均启动。
本发明hadoop集群的启动系统的实施方式与下述hadoop集群中namenode节点的启动方法各实施例基本相同，在此不再赘述。
本发明提供一种hadoop集群中namenode节点的启动方法，参照图2，图2为本发明hadoop集群中namenode节点的启动方法第一实施例的流程示意图。
本发明实施例提供了hadoop集群中namenode节点的启动方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。具体地，本实施例hadoop集群中namenode节点的启动方法包括：
步骤S10，当检测到hadoop集群启动成功时，获取所述hadoop集群的组成信息；
本实施例hadoop集群中namenode节点的启动方法应用于对hadoop集群启动进行控制的启动系统的控制中心，hadoop集群至少设置有三台机器，一台作为namenode节点，又称主节点，另两台作为datanode节点，又称从节点。三台机器可以是实际存在的物理机，也可以是虚拟机；对于物理机，控制中心优选搭载在主节点上，对于虚拟机，则控制中心优选搭载在宿主机上。通过控制中心运行检测指令来检测hadoop集群是否成功启动，若成功启动，则对hadoop集群的组成信息进行获取，该组成信息为加入到hadoop集群中每台机器各自具有的信息。
并且，检测hadoop集群是否成功启动，可通过判断是否接收到加入hadoop集群中任意一台机器返回的心跳实现，若接收到任意一台机器返回的心跳，则判定hadoop集群成功启动，反之则判定hadoop集群未成功启动。
步骤S20，根据所述组成信息，对所述hadoop集群中的各个节点进行检测，确定各个所述节点中的初始namenode节点是否启动；
进一步地，在获取到组成信息后，则可依据该组成信息，对hadoop集群中启动的节点进行识别，确定初始namenode节点是否启动。具体地，组成信息至少包含每台机器的IP地址，角色标识等，由角色标识可确定hadoop集群中的初始namenode节点，该初始namenode节点即为初始设定为hadoop集群中的主节点。同时，控制中对返回心跳的节点标识进行读取，进而将该读取的节点标识和初始namenode节点的标识进行对比，判断两者是否一致，若一致则说明返回心跳的节点为初始namenode节点，各个节点中的初始nomenode节点启动。若两者不一致，则说明返回心跳的节点非初始namenode节点，各个节点中的初始namenode节点未启动。
步骤S30，若所述初始namenode的节点未启动，则查找所述hadoop集群中已启动的目标节点，并将所述目标节点设为新的namenode节点。
更进一步地，若经判定初始namenode节点未启动，则根据返回心跳中携带的标识查找hadoop集群中已启动的节点，并将查找到的节点作为目标节点。进而将目标节点作为hadoop集群中新的namenode节点，以通过新namenode节点实现对hadoop集群数据的管理。
可理解地，对于hadoop集群包含众多机器的情况，若将所有节点均设置为支持切换为namenode，可能会使得namenode节点的变换过于频繁。故本实施例针对namenode节点设置备用namenode节点，以及从datanode中选取部分作为支持切换的从节点。所述查找所述hadoop集群中已启动的目标节点的步骤之后包括：
步骤a1，判断所述目标节点是否为备用namenode节点，若为备用namenode节点，则执行将所述目标节点设为新的name节点的步骤；
步骤a2，若所述目标节点非备用namenode节点，则判断所述目标节点是否为支持切换的从节点；
步骤a3，若为支持切换的从节点，则执行将所述目标节点设为新的namenode节点的步骤。
进一步地，在查找到hadoop集群中已启动的目标节点后，通过目标节点携带的节点标识，判断该目标节点是否为备用namenode节点，若为备用namenode节点，则将该目标节点直接设为新的namenode节点。若目标节点携带的节点标识其非备用namenode节点，则继续判断该节点标识是否为支持切换的节点标识。若为支持切换的节点标识，则说明目标节点为各个节点中支持切换的从节点，将该目标节点设为新的namenode节点。若节点标识非支持切换的节点标识，则说明目标节点为从节点，但不支持切换。此时，继续控制hadoop集群中各节点启动，直到启动的节点为namenode节点、备选namenode节点或支持切换的从节点。
需要说明的是，不同类型的节点因侧重点功能不同而具有不同的配置信息，对于namenode节点和备选namenode来说，其配置信息优选为主节点配置信息，对于datanode节点来说，其配置信息优选为从节点配置信息。但为了便于将最先启动的节点作为namenode节点，将各个节点还配置为支持在主节点配置信息和从节点配置信息之间互相切换。即，将namenode节点和备选namenode节点配置为包含主节点配置信息和从节点配置信息，以及将支持切换的从节点配置为包含从节点配置信息和主节点配置信息；正常情况下，namenode节点和备选namenode节点默认以主节点配置信息启动，支持切换的从节点默认以从节点配置信息启动。而当需要将支持切换的从节点作为namenode节点时，则将namenode节点和备选namenode节点切换为以从节点配置信息启动，将需要作为namenode节点的从节点切换为以主节点配置信息启动，对于其他从节点，则以正常的从节点配置信息启动。
具体到本实施例中，在将作为目标节点的备选namenode节点或支持切换的从节点设为新的namenode节点后，则将新的namenode节点中的主节点配置信息配置为激活状态，以主节点配置信息启动。同时，将初始namenode节点中的从节点配置信息配置为待激活状态，以在初始namenode节点启动时，激活以从节点配置信息启动
进一步地，将hadoop集群中除了设为新的namenode节点之外的其他节点作为新的从节点，并对新的所有从节点进行检测，确定其中已返回心跳，表征已启动的从节点。进而将已启动的从节点从新的所有从节点中剔除，而将剩余未启动的从节点作为待启动从节点进行启动。其中，从节点的启动，不影响namenode节点的工作，hadoop集群在namenode节点启动后，即可进行与namenode节点相关的工作，而与从节点是否启动与否无关，以使得hadoop集群的工作效率提高。
本发明的hadoop集群中namenode节点的启动方法，一旦检测到hadoop集群启动成功，则对hadoop集群的组成信息进行获取；进而根据组成信息，对hadoop集群中的各个节点进行检测，确定各个节点中的初始namenode节点是否启动；若初始namenode的节点尚未启动，则查找hadoop集群中已启动的目标节点，并将目标节点设为新的namenode节点。由此，通过对hadoop集群中已启动的节点设置切换机制，在namenode尚未启动时，将已启动的节点设为新的namenode，使得无论hadoop中启动的是何种节点，均可作为namenode节点，实现namenode节点的优先快速启动。
进一步地，请参照图3，基于本发明hadoop集群中namenode节点的启动方法的第一实施例，提出本发明hadoop集群中namenode节点的启动方法第二实施例。
所述hadoop集群中namenode节点的启动方法第二实施例与所述hadoop集群中namenode节点的启动方法第一实施例的区别在于，多个所述hadoop集群形成hadoop集群组，所述将所述目标节点设为新的namenode节点的步骤之后包括：
步骤S40，在检测到所述hadoop集群组中各个所述hadoop集群的namenode节点均启动后，向各个所述hadoop集群的namenode节点发送文件传输请求，以将待发送文件发送到各个所述hadoop集群。
可理解地，多个hadoop集群可以组成hadoop集群组，以使得数据的存储处理能力进一步增加。本实施例即将多个hadoop集群做成hadoop集群组，对于hadoop集群组，在将其中某一hadoop集群的目标节点设为新的namenode节点后，检测hadoop集群组中其他hadoop集群的namenode节点是否均启动，若均启动则可向hadoop集群组中各个hadoop集群的namenode节点发送文件传输请求，以请求向各个hadoop集群传输待发送文件。若经检测hadoop集群组中存在任意hadoop集群的namenode节点未启动，则依据上述实施例的方式，启动该类hadoop集群的namenode节点，直到检测到hadoop集群组中各个hadoop集群的namenode节点均启动。
需要说明的是，对hadoop集群组中各个hadoop集群的namenode节点是否启动的检测，可通过检测各个hadoop集群的namenode节点是否返回心跳实现。具体地，所述在检测到所述hadoop集群组中各个所述hadoop集群的namenode节点均启动后，向各个所述hadoop集群的namenode节点发送文件传输请求的步骤之前包括：
步骤b1，检测各所述hadoop集群中的namenode节点是否均返回心跳；
步骤b2，若均返回心跳，则根据各所述namenode节点返回的心跳，验证各所述namenode节点的有效性；
步骤b3，在各所述namenode节点均验证有效后，判定所述hadoop集群组中各个所述hadoop集群的namenode节点均启动。
进一步地，检测各个hadoop集群是否均返回心跳，若返回心跳则说明各个hadoop集群均启动。考虑到hadoop集群的启动可能是其中非namenode的启动，而是其他尚未切换或不能切换为namenode节点的启动，故还需检测返回心跳的节点是否为namenode节点。若存在未返回心跳的hadoop集群，则说明hadoop集群组中存在尚未启动的hadoop集群，待该尚未启动的hadoop集群启动后，再检测其启动的节点是否为namenode节点。
具体地，检测返回心跳的节点是否携带有namenode节点的标识，若携带有namenode节点的标识，则判定返回心跳的节点为nomenode节点。若存在某一返回心跳的节点未携带有namenode节点的标识，则判定该返回心跳的节点非namenode节点，则需等待将该节点切换为新的namenode节点，或者其他可切换为新的namenode节点，或者初始namenode节点启动后，才判定返回心跳的节点为namenode节点。
其中，namenode节点的标识可以是初始namenode节点携带的标识，表征启动的节点为初始设定的namenode节点，也可是支持切换的从节点或备选namenode节点设为新的namenode节点携带的标识，表征是将启动的支持切换的从节点或备选namenode节点设定的新namenode节点。
进一步地在检测出所有hadoop集群中的namenode节点均返回心跳后，为了避免各namenode节点中存在假冒节点，还通过作为心跳反馈的数据中携带的节点标识，验证各namenode节点的有效性。其中，预先设置表征各namenode节点唯一性的参考标识，对于各个namenode节点返回的心跳，读取其中携带的节点标识与各自的参考标识对比，判断两者是否一致。
若各个namenode节点的节点标识均与各自的参考标识一致，则判定各namenode节点均有效，从而判定hadoop集群组中各hadoop集群的namenode节点均启动。若各namenode节点的节点标识中存在任意一项与其参考标识不一致，则判断各namenode节点中存在无效的namenode节点；此时，输出提示信息，以提示对无效的namenode节点及时处理。需要说明的是，对namenode节点的有效性验证，也可以逐一进行，不需要等各个namenode节点均返回心跳后，才进行有效性验证。即，每检测到有一个namenode节点返回心跳，则对该namenode节点进行有效性验证，在各个namenode节点均返回心跳后，则对所有namenode节点进行有效性验证，从而判定各个hadoop集群的namenode节点均启动，可发送文件传输请求，用以将待发送文件传输到各个hadoop集群。
本实施例通过将多个hadoop集群形成为hadoop集群组，hadoop集群组中的所有hadoop集群均采用上述namenode节点的启动方式，确保整个hadoop集群组启动效率的提高。并且，通过namenode节点有效性的验证机制，确保了hadoop集群组中各个haodoop集群的合法有效，从而有利于实现待发送文件在各个hadoop集群的安全传输。
请参照图4，本发明实施例还提出一种hadoop集群中namenode节点的启动装置，所述启动装置包括：
获取模块10，用于当检测到hadoop集群启动成功时，获取所述hadoop集群的组成信息；
检测模块20，用于根据所述组成信息，对所述hadoop集群中的各个节点进行检测，确定各个所述节点中的初始namenode节点是否启动；
查找模块30，用于若所述初始namenode的节点未启动，则查找所述hadoop集群中已启动的目标节点，并将所述目标节点设为新的namenode节点。
进一步地，所述启动装置还包括判断模块，所述判断模块用于：
判断所述目标节点是否为备用namenode节点，若为备用namenode节点，则执行将所述目标节点设为新的name节点的步骤；
若所述目标节点非备用namenode节点，则判断所述目标节点是否为支持切换的从节点；
若为支持切换的从节点，则执行将所述目标节点设为新的namenode节点的步骤。
进一步地，所述备用namenode节点和所述支持切换的从节点的配置信息均包括主节点配置信息和从节点配置信息，且所述主节点配置信和从节点配置信息支持互相切换。
进一步地，所述启动装置还包括配置模块，所述配置模块用于：
将所述新的namenade节点中的主节点配置信息配置为激活状态，并将所述初始namenode节点中的从节点配置信息配置为待激活状态。
进一步地，所述启动装置还包括：
设置模块，用于将所述hadoop集群中除所述新的namenode节点之外的其他节点设为新的从节点；
启动模块，用于检测各所述新的从节点中的待启动从节点，并对所述待启动从节点进行启动。
进一步地，多个所述hadoop集群形成hadoop集群组所述启动装置还包括：
发送模块，用于在检测到所述hadoop集群组中各个所述hadoop集群的namenode节点均启动后，向各个所述hadoop集群的namenode节点发送文件传输请求，以将待发送文件发送到各个所述hadoop集群。
进一步地，所述发送模块还用于
检测各所述hadoop集群中的namenode节点是否均返回心跳；
若均返回心跳，则根据各所述namenode节点返回的心跳，验证各所述namenode节点的有效性；
在各所述namenode节点均验证有效后，判定所述hadoop集群组中各个所述hadoop集群的namenode节点均启动。
本发明实施例还提出一种可读存储介质。所述可读存储介质上存储有控制程序，所述控制程序被所述处理器执行时实现如上所述hadoop集群中namenode节点的启动方法的步骤。
本发明可读存储介质可以为计算机可读存储介质，其具体实施方式与上述hadoop集群中namenode节点的启动方法各实施例基本相同，在此不再赘述。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，这些均属于本发明的保护之内。
Claims (4)
1.一种hadoop集群中namenode节点的启动方法，其特征在于，所述启动方法包括：
当检测到hadoop集群启动成功时，获取所述hadoop集群的组成信息；
根据所述组成信息，对所述hadoop集群中的各个节点进行检测，确定所述各个节点中的初始namenode节点是否启动；
若所述初始namenode的节点未启动，则查找所述hadoop集群中已启动的目标节点，并将所述目标节点设为新的namenode节点；
其中，判断所述目标节点是否为备用namenode节点，若为备用namenode节点，则执行将所述目标节点设为新的namenode节点的步骤；若所述目标节点非备用namenode节点，则判断所述目标节点是否为支持切换的从节点；若为支持切换的从节点，则执行将所述目标节点设为新的namenode节点的步骤；
所述namenode节点、备用namenode节点和所述支持切换的从节点的配置信息均包括主节点配置信息和从节点配置信息，且所述主节点配置信息和从节点配置信息支持互相切换；
将所述新的namenode节点中的主节点配置信息配置为激活状态，以主节点配置信息启动，并将所述初始namenode节点中的从节点配置信息配置为待激活状态，以在初始namenode节点启动时，激活以从节点配置信息启动；
将所述hadoop集群中除所述新的namenode节点之外的其它节点设为新的从节点；检测各所述新的从节点中的待启动从节点，并对所述待启动从节点进行启动；
多个所述hadoop集群形成hadoop集群组，检测各所述hadoop集群中的namenode节点是否均返回心跳；若均返回心跳，则根据各所述namenode节点返回的心跳，验证各所述namenode节点的有效性；在各所述namenode节点均验证有效后，判定所述hadoop集群组中各个所述hadoop集群的namenode节点均启动；
在检测到所述hadoop集群组中各个所述hadoop集群的namenode节点均启动后，向各个所述hadoop集群的namenode节点发送文件传输请求，以将待发送文件发送到各个所述hadoop集群。
2.一种hadoop集群中namenode节点的启动装置，其特征在于，所述启动装置包括：
获取模块，用于当检测到hadoop集群启动成功时，获取所述hadoop集群的组成信息；
检测模块，用于根据所述组成信息，对所述hadoop集群中的各个节点进行检测，确定所述各个节点中的初始namenode节点是否启动；
查找模块，用于若所述初始namenode的节点未启动，则查找所述hadoop集群中已启动的目标节点，并将所述目标节点设为新的namenode节点；
其中，判断所述目标节点是否为备用namenode节点，若为备用namenode节点，则执行将所述目标节点设为新的namenode节点的步骤；若所述目标节点非备用namenode节点，则判断所述目标节点是否为支持切换的从节点；若为支持切换的从节点，则执行将所述目标节点设为新的namenode节点的步骤；
所述namenode节点、备用namenode节点和所述支持切换的从节点的配置信息均包括主节点配置信息和从节点配置信息，且所述主节点配置信息和从节点配置信息支持互相切换；
将所述新的namenode节点中的主节点配置信息配置为激活状态，以主节点配置信息启动，并将所述初始namenode节点中的从节点配置信息配置为待激活状态，以在初始namenode节点启动时，激活以从节点配置信息启动；
将所述hadoop集群中除所述新的namenode节点之外的其它节点设为新的从节点；检测各所述新的从节点中的待启动从节点，并对所述待启动从节点进行启动；
多个所述hadoop集群形成hadoop集群组，检测各所述hadoop集群中的namenode节点是否均返回心跳；若均返回心跳，则根据各所述namenode节点返回的心跳，验证各所述namenode节点的有效性；在各所述namenode节点均验证有效后，判定所述hadoop集群组中各个所述hadoop集群的namenode节点均启动；
在检测到所述hadoop集群组中各个所述hadoop集群的namenode节点均启动后，向各个所述hadoop集群的namenode节点发送文件传输请求，以将待发送文件发送到各个所述hadoop集群。
3.一种hadoop集群的启动系统，其特征在于，所述hadoop集群的启动系统包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的控制程序，所述控制程序被所述处理器执行时实现如权利要求1所述的hadoop集群中namenode节点的启动方法的步骤。
4.一种可读存储介质，其特征在于，所述可读存储介质上存储有控制程序，所述控制程序被处理器执行时实现如权利要求1所述的hadoop集群中namenode节点的启动方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111300189.2A CN114020357B (zh) | 2021-11-04 | 2021-11-04 | namenode节点的启动方法、装置、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111300189.2A CN114020357B (zh) | 2021-11-04 | 2021-11-04 | namenode节点的启动方法、装置、系统及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114020357A CN114020357A (zh) | 2022-02-08 |
| CN114020357B true CN114020357B (zh) | 2024-05-03 |
Family
ID=80061110
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111300189.2A Active CN114020357B (zh) | 2021-11-04 | 2021-11-04 | namenode节点的启动方法、装置、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114020357B (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011018223A (ja) * | 2009-07-09 | 2011-01-27 | Canon Inc | 情報通信システム及び情報通信方法 |
| CN102346779A (zh) * | 2011-10-18 | 2012-02-08 | 中国联合网络通信集团有限公司 | 分布式文件系统和主控节点的备份方法 |
| CN103327105A (zh) * | 2013-06-26 | 2013-09-25 | 北京汉柏科技有限公司 | hadoop系统中从属节点服务自动恢复方法 |
| CN103580915A (zh) * | 2013-09-26 | 2014-02-12 | 东软集团股份有限公司 | 集群系统中确定主控节点的方法及装置 |
| CN105554106A (zh) * | 2015-12-15 | 2016-05-04 | 上海仪电(集团)有限公司 | 一种memcache分布式缓存系统 |
| CN106375342A (zh) * | 2016-10-21 | 2017-02-01 | 用友网络科技股份有限公司 | 一种基于zookeeper技术的系统集群方法及系统 |
| CN106850260A (zh) * | 2016-12-23 | 2017-06-13 | 曙光云计算技术有限公司 | 一种虚拟化资源管理平台的部署方法和装置 |
| CN106911524A (zh) * | 2017-04-27 | 2017-06-30 | 紫光华山信息技术有限公司 | 一种ha实现方法及装置 |
| CN107832138A (zh) * | 2017-09-21 | 2018-03-23 | 南京邮电大学 | 一种扁平化的高可用namenode模型的实现方法 |
| CN110162428A (zh) * | 2019-05-17 | 2019-08-23 | 中国铁道科学研究院集团有限公司 | 数据同步方法及装置、电子设备和计算机可读存储介质 |
| CN111107591A (zh) * | 2018-10-26 | 2020-05-05 | 电信科学技术研究院有限公司 | 一种进行切换的方法及设备 |
| CN111581160A (zh) * | 2020-04-29 | 2020-08-25 | 上海中通吉网络技术有限公司 | 一种基于分布式文件管理系统的数据备份还原方法和系统 |
| CN111935726A (zh) * | 2020-07-10 | 2020-11-13 | 展讯半导体(成都)有限公司 | 通信处理方法、主节点、从节点、存储介质及系统 |
| CN112003755A (zh) * | 2020-08-25 | 2020-11-27 | 北京浪潮数据技术有限公司 | 一种集群主节点的选取方法、装置、设备及介质 |
| CN112099996A (zh) * | 2020-09-21 | 2020-12-18 | 天津神舟通用数据技术有限公司 | 基于页面更新序号的数据库集群多节点重做日志恢复方法 |
| CN112190924A (zh) * | 2020-12-04 | 2021-01-08 | 腾讯科技（深圳）有限公司 | 一种数据容灾方法、装置及计算机可读介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI235299B (en) * | 2004-04-22 | 2005-07-01 | Univ Nat Cheng Kung | Method for providing application cluster service with fault-detection and failure-recovery capabilities |
| PL3560142T3 (pl) * | 2018-12-13 | 2021-01-11 | Alibaba Group Holding Limited | Przeprowadzanie procesu przywracania węzła sieciowego w systemie rozproszonym |
| US11265180B2 (en) * | 2019-06-13 | 2022-03-01 | International Business Machines Corporation | Concurrent cluster nodes self start |
-
2021
- 2021-11-04 CN CN202111300189.2A patent/CN114020357B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011018223A (ja) * | 2009-07-09 | 2011-01-27 | Canon Inc | 情報通信システム及び情報通信方法 |
| CN102346779A (zh) * | 2011-10-18 | 2012-02-08 | 中国联合网络通信集团有限公司 | 分布式文件系统和主控节点的备份方法 |
| CN103327105A (zh) * | 2013-06-26 | 2013-09-25 | 北京汉柏科技有限公司 | hadoop系统中从属节点服务自动恢复方法 |
| CN103580915A (zh) * | 2013-09-26 | 2014-02-12 | 东软集团股份有限公司 | 集群系统中确定主控节点的方法及装置 |
| CN105554106A (zh) * | 2015-12-15 | 2016-05-04 | 上海仪电(集团)有限公司 | 一种memcache分布式缓存系统 |
| CN106375342A (zh) * | 2016-10-21 | 2017-02-01 | 用友网络科技股份有限公司 | 一种基于zookeeper技术的系统集群方法及系统 |
| CN106850260A (zh) * | 2016-12-23 | 2017-06-13 | 曙光云计算技术有限公司 | 一种虚拟化资源管理平台的部署方法和装置 |
| CN106911524A (zh) * | 2017-04-27 | 2017-06-30 | 紫光华山信息技术有限公司 | 一种ha实现方法及装置 |
| CN107832138A (zh) * | 2017-09-21 | 2018-03-23 | 南京邮电大学 | 一种扁平化的高可用namenode模型的实现方法 |
| CN111107591A (zh) * | 2018-10-26 | 2020-05-05 | 电信科学技术研究院有限公司 | 一种进行切换的方法及设备 |
| CN110162428A (zh) * | 2019-05-17 | 2019-08-23 | 中国铁道科学研究院集团有限公司 | 数据同步方法及装置、电子设备和计算机可读存储介质 |
| CN111581160A (zh) * | 2020-04-29 | 2020-08-25 | 上海中通吉网络技术有限公司 | 一种基于分布式文件管理系统的数据备份还原方法和系统 |
| CN111935726A (zh) * | 2020-07-10 | 2020-11-13 | 展讯半导体(成都)有限公司 | 通信处理方法、主节点、从节点、存储介质及系统 |
| CN112003755A (zh) * | 2020-08-25 | 2020-11-27 | 北京浪潮数据技术有限公司 | 一种集群主节点的选取方法、装置、设备及介质 |
| CN112099996A (zh) * | 2020-09-21 | 2020-12-18 | 天津神舟通用数据技术有限公司 | 基于页面更新序号的数据库集群多节点重做日志恢复方法 |
| CN112190924A (zh) * | 2020-12-04 | 2021-01-08 | 腾讯科技（深圳）有限公司 | 一种数据容灾方法、装置及计算机可读介质 |
Non-Patent Citations (3)
| Title |
|---|
| 云计算在病毒入侵检测技术中的应用;陈妙霞;衷田田;;科技创新与应用(11);全文 * |
| 基于Eucalyptus云平台的Hadoop集群研究;谢桂兰;信息科技(第4期);全文 * |
| 基于Linux高可用集群关键技术研究与实现;李勇;;自动化技术与应用(05);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114020357A (zh) | 2022-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10805363B2 (en) | Method, device and system for pushing file | |
| JP5427574B2 (ja) | 仮想計算機の移動管理方法、前記移動管理方法を用いた計算機、前記移動管理方法を用いた仮想化機構および前記移動管理方法を用いた計算機システム | |
| EP3410288B1 (en) | Online upgrade method, device and system | |
| TWI344090B (en) | Management of a scalable computer system | |
| US11188347B2 (en) | Virtual function driver loading method and server using global and local identifiers corresponding to locations of the virtual functions | |
| CN112596960A (zh) | 一种分布式存储服务切换方法及装置 | |
| CN110971700B (zh) | 分布式锁的实现方法及装置 | |
| CN113407383B (zh) | 主备系统切换方法、装置、服务器及主备系统 | |
| CN103077034B (zh) | 混合虚拟化平台java应用迁移方法与系统 | |
| JP5518950B2 (ja) | バーチャルマシンの管理システム及び管理方法 | |
| US11663170B2 (en) | Method for associating data between a plurality of blockchain networks and apparatus thereof | |
| WO2016116013A1 (zh) | 软件升级方法和系统 | |
| CN105373563B (zh) | 数据库切换方法及装置 | |
| CN113535262B (zh) | 一种代理节点的启动控制方法、装置、设备及存储介质 | |
| CN113157411B (zh) | 一种基于Celery的可靠可配置任务系统及装置 | |
| CN111506388B (zh) | 容器性能探测方法、容器管理平台及计算机存储介质 | |
| CN114020357B (zh) | namenode节点的启动方法、装置、系统及介质 | |
| WO2015058594A1 (zh) | 一种进程加载方法、装置及系统 | |
| JP4870794B2 (ja) | 仮想マシンの監視管理装置、監視管理方法及びコンピュータプログラム | |
| CN113407403B (zh) | 一种云主机管理方法、装置、计算机设备及存储介质 | |
| CN102760155A (zh) | 一种基于数据库的事务控制方法及装置 | |
| CN111431951B (zh) | 一种数据处理方法、节点设备、系统及存储介质 | |
| US10374893B1 (en) | Reactive non-blocking input and output for target device communication | |
| WO2010035480A1 (ja) | 分散処理システム、分散処理方法およびプログラム | |
| CN112650450B (zh) | 固态硬盘缓存管理方法、固态硬盘缓存控制器及固态硬盘 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Room 01, 2 / F, building A14, phase 1.1, Wuhan National Geospatial Information Industrialization Base (New Area), no.6, Beidou Road, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430000 Patentee after: Wuhan Meihe Yisi Digital Technology Co.,Ltd. Country or region after: China Address before: Room 01, 2 / F, building A14, phase 1.1, Wuhan National Geospatial Information Industrialization Base (New Area), no.6, Beidou Road, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430000 Patentee before: HUBEI MEIHE YISI EDUCATION TECHNOLOGY Co.,Ltd. Country or region before: China |
|
| CP03 | Change of name, title or address |