CN105739965B - 一种基于rdma的arm手机集群的组装方法 - Google Patents

Abstract

本发明公开了一种基于RDMA的ARM手机集群的组装方法，所述编码方法包括以下步骤:将多个ARM手机连接以组装具有多个节点的分布式集群,其中,每个ARM手机为一个节点；对所述分布式集群中的每个ARM手机安装裁剪后的Linux系统；对所述分布式集群中的每个ARM手机安装Hadoop系统；对所述分布式集群中的每个ARM手机配置RDMA协议。

Description

一种基于RDMA的ARM手机集群的组装方法

技术领域

本发明涉及RDMA通信技术领域，尤其涉及一种基于RDMA的ARM手机集群的组装方法。

背景技术

ARM分布式集群是采用ARM架构处理器的集群。ARM架构和传统Intel架构相比，具有性价比高、体积小、低能耗等优点。

目前ARM分布式集群设备之间的通信多采用TCP/IP网络运行。采用上述通信方式，只能满足数据量不大的应用场景。因为通信的过程需要CPU的控制，对于数据量很大的场景上述通信方式需要占用大量的CPU资源，因此通信效率非常低，由此造成的ARM分布式集群计算资源的浪费。也就是说，目前基于ARM分布式集群的通信采用传统计算机通信方法。但是集群设备之间的网络通信(例如输入输出、进程间通信、远程过程调用等)的开销很大。因此由于传统协议开销大、数据的多次拷贝等原因，基于传统软件、硬件架构的ARM主机间网络通信给ARM主机CPU带来沉重的负载，并且占用了大量的网络带宽和内存带宽，从而造成整个系统性能的低下。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此本发明的目的在于提出一种基于RDMA的ARM手机集群的组装方法。

为了实现上述目的，本发明第一方面实施例的基于RDMA的ARM手机集群的组装方法，所述组装方法包括以下步骤：

将多个ARM手机连接以组装具有多个节点的分布式集群,其中,每个ARM手机为一个节点；

对所述分布式集群中的每个ARM手机安装裁剪后的Linux系统；

对所述分布式集群中的每个ARM手机安装Hadoop系统；

对所述分布式集群中的每个ARM手机配置RDMA协议

本发明实施例的基于RDMA的ARM手机集群的组装方法，通过采用带有RDMA协议的网络架构来实现ARM手机集群的通信，从而避免了网络通信的巨大开销，避免了数据的多次拷贝，实现简单便捷的ARM手机集群内的高效通信。另外，能够在不增加其他硬件的情况下减少ARM手机集群内的网络带宽和内存带宽，减少系统的开销，且通信方式的效率更高。

附图说明

图1是根据本发明基于RDMA的ARM手机集群的组装方法第一实施例的流程图；

图2是根据本发明基于RDMA的ARM手机集群的组装方法第二实施例的流程图；

图3是根据本发明基于RDMA的ARM手机集群的组装方法第三实施例的流程图；

图4是根据本发明基于RDMA的ARM手机集群的组装方法第四实施例的流程图；

图5是根据本发明基于RDMA的ARM手机集群的组装方法第五实施例的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参考附图描述本发明实施例的用户标签的编码方法和用户标签的编码装置。

图1是根据本发明一个实施例基于RDMA的ARM手机集群的组装方法的流程图。如图1所示，本发明实施例的基于RDMA的ARM手机集群的组装方法，包括以下步骤：

S11，将多个ARM手机连接以组装具有多个节点的分布式集群,其中,每个ARM手机为一个节点。

具体地，组装ARM手机分布式集群(即将若干ARM手机相互相连，每个ARM手机为一个节点)。手机分布式集群的大小由用户选定，一般是10个节点以上。在本实施例中，采用15个节点的大中型纯基于ARM的手机集群，另外ARM手机的版本也由用户自行选定但不低于A7；内存为1GB以上；电源为5伏2安；存储为8GB存储卡；主节点有120GB的固态硬盘。具体的，所述分布式集群的每个ARM手机具有相同的配置。

S12，对所述分布式集群中的每个ARM手机安装裁剪后的Linux系统。

S13，对所述分布式集群中的每个ARM手机安装Hadoop系统。

S14，对所述分布式集群中的每个ARM手机配置RDMA协议。

在本发明的一个实施例中，如图2所示，在步骤S12具体包括以下步骤：

S121，在其中一个ARM手机上添加一块硬盘并为其安装引导程序；

S122，复制内核文件和内核加载部分硬件依赖的文件；

S123，添加引导文件的配置文件；

S124，编写复制命令及其对应的库脚本并完成命令迁移；

S125，迁移网卡驱动内核模块的得到裁剪后的Linux系统；

S126，将裁剪后的Linux系统安装在每个ARM手机上。

具体的，经过上述步骤S121-S125完成了裁剪Linux系统的任务，裁剪后的Linux系统是基于所述分布式集群中每个节点的硬件需求而使用的，而且为了减少每个节点的负载，对Linux系统只裁剪出必需的部分。

在本发明的一个实施例中，如图3所示，在步骤S13具体包括以下步骤：

S131，选定其中一ARM手机作为主节点；

S132，在主节点配置Hadoop用户，安装安全外壳协议服务端，安装软件环境在主节点上安装Hadoop目录并完成配置；

S133，在其它辅助节点上配置Hadoop用户，安装安全外壳协议服务端，安装软件环境；

S134，将主节点上的Hadoop目录复制到其它辅助节点上，以及开启使用Hadoop系统。

在具体实施中，主节点的软件环境和辅助节点的软件环境一致。主节点的软件环境和辅助节点的软件环境均为Java环境。

具体的，选定一台ARM手机作为主节点，在主节点配置Hadoop用户，安装安全外壳协议服务端，安装Java环境；在主节点上安装Hadoop目录,并完成配置；在其它辅助节点上配置Hadoop用户，安装安全外壳协议服务端，安装Java环境；将主节点上的Hadoop目录复制到其它辅助节点上；开启使用Hadoop系统。

在本发明的一个实施例中，如图4所示，在步骤S14具体包括以下步骤：

S141，在每个ARM手机中安装数据库系统DB2；

S142，确保在所述分布式集群中每个ARM手机已执行InfiniBand网络或RoCE网络；

S143，配置RDMA协议网络的通信适配器端口和交换机；

S144，检查uDAPL接口需求；

S145，验证网络配置类型；

S146，停止每个ARM手机的数据库系统DB2实例；

S147，当使用相同适配器在RDMA网络中，启动每个ARM手机的数据库系统DB2实例。

在本发明的一个实施例中，如图5所示，在步骤S14具体包括以下步骤：

S151，在每个ARM手机中安装数据库系统DB2；

S152，确保在所述分布式集群中每个ARM手机已执行InfiniBand网络或RoCE网络；

S153，配置RDMA协议网络的通信适配器端口和交换机；

S154，检查uDAPL接口需求；

S155，验证网络配置类型；

S156，停止每个ARM手机的数据库系统DB2实例；

S157，当使用不同适配器在RDMA网络中，使用db2iupdt-update命令更新成员和CF上的网络名，验证db2nodes.cfg文件是否已更新并且是否指示RDMA协议；将数据库管理器配置参数CF_TRANSPORT_METHOD更新为RDMA，验证传输方法是否为RDMA协议，启动每个ARM手机的数据库系统DB2实例。

在具体实施中，所述网络配置类型具体为：单个InfiniBand端口集群、多个InfiniBand端口集群、单个RoCE端口集群或多个RoCE端口集。

在具体实施中，所述S152的步骤，具体为：

安装必需的uDAPL软件；

更新每个主节点上的/etc/hosts文件；

更新与通信适配器端口和交换机相关的信息。

具体的，以数据库系统DB2从TCP/IP协议网络移植到RDMA网络为例。开始之前，确保数据库系统DB2已安装。安装计划帮助确保系统满足先决条件，并且确保已执行InfiniBand网络或RoCE网络要求的安装前任务，接着配置RDMA协议网络的通信适配器端口和交换机；确保检查uDAPL需求。在Linux操作系统上，还必须验证网络配置类型。所述网络配置类型可以是单个InfiniBand端口集群、多个InfiniBand端口集群、单个RoCE端口集群或多个RoCE端口集群。具体的，要检查是哪一种网络配置类型，运行db2prereqcheck命令；停止DB2实例即运行b2stop命令，另外需要确保每个ARM手机都已停止。如果要将相同适配器用于RDMA网络，请跳至最后启动DB2实例步骤。如果要使用不同适配器，那么必须使用db2iupdt-update命令更新成员和CF上的网络名；验证db2nodes.cfg文件是否已更新并且是否指示RDMA协议；将数据库管理器配置参数CF_TRANSPORT_METHOD更新为RDMA，验证传输方法是否为RDMA；启动DB2实例即运行db2start命令。另外，在所述分布式集群中其他节点执行与主节点相同的配置。

在具体实施中，为了测试所述分布式集群的通信，以vMotion从TCP/IP协议网络移植到RDMA网络为例。vMotion是vSphere专门提供用于虚拟机在线迁移的功能，现有方案基于TCP/IP协议。由于虚拟机迁移最大的问题是需要在两台ESX/ESXi服务器之间同步虚拟机的内存，因此当虚拟机内存很大，而且业务很繁忙时，虚拟机在线迁移会对ESX/ESXi服务器性能产生严重挑战。如果vMotion基于RDMA，可以在迁移过程实现数据零拷贝、低延迟、消除内核中TCP/IP的协议开销。通过测试发现，基于RDMA在线迁移对比TCP/IP可以节省36％时间，带宽性能提升30％，迁移过程中源ESX服务器CPU使用率下降92％，目的ESX服务器CPU使用率下降84％。

本发明实施例的基于RDMA的ARM手机集群的组装方法，采用带有RDMA协议的网络架构来实现ARM手机集群的通信，从而避免了网络通信的巨大开销，避免了数据的多次拷贝，实现简单便捷的ARM手机集群内的高效通信。另外，能够在不增加其他硬件的情况下减少ARM手机集群内的网络带宽和内存带宽，减少系统的开销，且通信方式的效率更高。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种基于RDMA的ARM手机集群的组装方法,其特征在于:所述组装方法包括以下步骤:

将多个ARM手机连接以组装具有多个节点的分布式集群,其中,每个ARM手机为一个节点；

对所述分布式集群中的每个ARM手机安装裁剪后的Linux系统；

对所述分布式集群中的每个ARM手机安装Hadoop系统；

对所述分布式集群中的每个ARM手机配置RDMA协议；

其中，所述对所述分布式集群中的每个ARM手机安装裁剪后的Linux系统的步骤，具体包括：

在其中一个ARM手机上添加一块硬盘并为其安装引导程序；

复制内核文件和内核加载部分硬件依赖的文件；

添加引导文件的配置文件；

编写复制命令及其对应的库脚本并完成命令迁移；

迁移网卡驱动内核模块的得到裁剪后的Linux系统；

将裁剪后的Linux系统安装在每个ARM手机上。

2.如权利要求1所述的组装方法，其特征在于：所述分布式集群的每个ARM手机具有相同的配置。

3.如权利要求1所述的组装方法，其特征在于：所述对所述分布式集群中的每个ARM手机安装Hadoop系统的步骤，具体包括：

选定其中一ARM手机作为主节点；

在主节点配置Hadoop用户，安装安全外壳协议服务端，安装软件环境在主节点上安装Hadoop目录并完成配置；

在其它辅助节点上配置Hadoop用户，安装安全外壳协议服务端，安装软件环境；

将主节点上的Hadoop目录复制到其它辅助节点上，以及开启使用Hadoop系统。

4.如权利要求3所述的组装方法，其特征在于：主节点的软件环境和辅助节点的软件环境一致。

5.如权利要求4所述的组装方法，其特征在于：主节点的软件环境和辅助节点的软件环境均为Java环境。

6.如权利要求4所述的组装方法，其特征在于：所述对所述分布式集群中的每个ARM手机配置RDMA协议的步骤，包括以下步骤：

在每个ARM手机中安装数据库系统DB2；

确保在所述分布式集群中每个ARM手机已执行InfiniBand网络或RoCE网络；

配置RDMA协议网络的通信适配器端口和交换机；

检查uDAPL接口需求；

验证网络配置类型；

停止每个ARM手机的数据库系统DB2实例；

当使用相同适配器在RDMA网络中，启动每个ARM手机的数据库系统DB2实例。

7.如权利要求4所述的组装方法，其特征在于：所述对所述分布式集群中的每个ARM手机配置RDMA协议的步骤，包括以下步骤：

在每个ARM手机中安装数据库系统DB2；

确保在所述分布式集群中每个ARM手机已执行InfiniBand网络或RoCE网络；

配置RDMA协议网络的通信适配器端口和交换机；

检查uDAPL接口需求；

验证网络配置类型；

停止每个ARM手机的数据库系统DB2实例；

当使用不同适配器在RDMA网络中，使用db2iupdt-update命令更新成员和CF上的网络名，验证db2nodes.cfg文件是否已更新并且是否指示RDMA协议；将数据库管理器配置参数CF_TRANSPORT_METHOD更新为RDMA，验证传输方法是否为RDMA协议，启动每个ARM手机的数据库系统DB2实例。

8.如权利要求6或7所述的组装方法，其特征在于：所述网络配置类型具体为：单个InfiniBand端口集群、多个InfiniBand端口集群、单个RoCE端口集群或多个RoCE端口集群。

9.如权利要求6或7所述的组装方法，其特征在于：所述确保在所述分布式集群中每个ARM手机已执行InfiniBand网络或RoCE网络的步骤，具体为：

安装必需的uDAPL软件；

更新每个主节点上的/etc/hosts文件；

更新与通信适配器端口和交换机相关的信息。