CN114357049B

CN114357049B - 一种存储集群互联方法、装置、计算机设备和存储介质

Info

Publication number: CN114357049B
Application number: CN202210016407.8A
Authority: CN
Inventors: 王孝鹏; 张璐
Original assignee: Suzhou Inspur Intelligent Technology Co Ltd
Current assignee: Suzhou Inspur Intelligent Technology Co Ltd
Priority date: 2022-01-07
Filing date: 2022-01-07
Publication date: 2024-01-19
Anticipated expiration: 2042-01-07
Also published as: CN114357049A

Abstract

本申请涉及一种存储集群互联方法、装置、计算机设备和存储介质。所述方法包括：分别获取第一存储集群的第一集群地址与第二存储集群的第二集群地址，在第一存储集群与第二存储集群之间建立第一连接；通过第一连接获取第一存储集群的第一节点地址与第二存储集群的第二节点地址，将第一节点地址发送至第二存储集群，将第二节点地址发送至第一存储集群，按照第一节点地址与第二节点地址，在第一节点与第二节点之间建立第二连接；通过第二连接将第一存储集群的第一存储数据发送至第二存储集群，将第二存储集群的第二存储数据发送至第一存储集群,解决存储集群互联过程中配置工作量大、可靠性低等问题。

Description

一种存储集群互联方法、装置、计算机设备和存储介质

技术领域

本发明涉及数据存储技术领域，特别是涉及一种存储集群互联方法、装置、计算机设备和存储介质。

背景技术

随着各行业数字化进程的快速发展，数据存储的稳定性越来越受到重视。然而，自然灾害可能对数据存储设备造成不可恢复的毁坏，因此为了保证数据的安全性、稳定性，各种容灾方案应运而生。目前，通常采用远程复制技术对数据进行保护、恢复。然而，目前的远程复制技术中，需要对两端存储集群的节点建立互相联系的关系，当两端存储集群的节点个数较多时，存储集群互联过程中存在配置工作量大、可靠性低等问题。

发明内容

基于此，有必要针对上述技术问题，提供一种存储集群互联方法、装置、计算机设备和存储介质,用于改善存储集群互联性能低的问题。

一方面，提供一种存储集群互联方法，所述存储集群互联方法包括：

分别获取第一存储集群的第一集群地址与第二存储集群的第二集群地址，按照所述第一集群地址与所述第二集群地址，在所述第一存储集群与所述第二存储集群之间建立第一连接；

通过所述第一连接获取所述第一存储集群的第一节点地址与所述第二存储集群的第二节点地址，其中，所述第一节点地址包括第一节点的网络地址，所述第二节点地址包括第二节点的网络地址，将所述第一节点地址发送至所述第二存储集群，将所述第二节点地址发送至所述第一存储集群，按照所述第一节点地址与所述第二节点地址，在所述第一节点与所述第二节点之间建立第二连接；

通过所述第二连接将所述第一存储集群的第一存储数据发送至所述第二存储集群，将所述第二存储集群的第二存储数据发送至所述第一存储集群。

在其中一个实施例中，分别获取第一存储集群的第一集群地址与第二存储集群的第二集群地址的步骤包括：

在所述第一存储集群中选取一节点作为第一主节点，获取所述第一主节点的网络地址作为所述第一集群地址；

在所述第二存储集群中选取一节点作为第二主节点，获取所述第二主节点的网络地址作为所述第二集群地址。

在其中一个实施例中，按照所述第一节点地址与所述第二节点地址，在所述第一节点与所述第二节点之间建立第二连接的步骤包括：

按照所述第二节点地址，从所述第一节点中的当前第一节点进行遍历，向一所述第二节点发起第一单向点连接；

按照所述第一节点地址，从所述第二节点中的当前第二节点进行遍历，向一所述第一节点发起第二单向点连接；

根据所述第一单向点连接与所述第二单向点连接，获取所述第二连接。

在其中一个实施例中，包括：

配置第一选取数值，从所述第一节点中选取数量为所述第一选取数值的所述第一节点作为第一选取节点；

配置第二选取数值，从所述第二节点中选取数量为所述第二选取数值的所述第二节点作为第二选取节点；

按照所述第二选取节点的节点地址，从所述第一选取节点的当前第一选取节点进行遍历，向一闲置的所述第二选取节点发起所述第一单向点连接；

按照所述第一选取节点的节点地址，从所述第二选取节点的当前第二选取节点进行遍历，向一闲置的所述第一选取节点发起所述第二单向点连接。

按照所述第二节点地址，从所述第一节点中的当前第一节点进行遍历，向多个所述第二节点发起第一单向全连接；

按照所述第一节点地址，从所述第二节点中的当前第二节点进行遍历，向多个所述第一节点发起第二单向全连接；

根据所述第一单向全连接与所述第二单向全连接，获取所述第二连接。

在其中一个实施例中，包括：

按照所述第二选取节点的节点地址，从所述第一选取节点的当前第一选取节点进行遍历，向多个所述第二选取节点发起所述第一单向全连接；

按照所述第一选取节点的节点地址，从所述第二选取节点的当前第二选取节点进行遍历，向多个所述第一选取节点发起所述第二单向全连接。

另一方面，提供了一种存储集群互联装置，所述存储集群互联装置包括：

第一获取模块，用于分别获取第一存储集群的第一集群地址与第二存储集群的第二集群地址，按照所述第一集群地址与所述第二集群地址，在所述第一存储集群与所述第二存储集群之间建立第一连接；

第二获取模块，用于通过所述第一连接获取所述第一存储集群的第一节点地址与所述第二存储集群的第二节点地址，其中，所述第一节点地址包括第一节点的网络地址，所述第二节点地址包括第二节点的网络地址，将所述第一节点地址发送至所述第二存储集群，将所述第二节点地址发送至所述第一存储集群，按照所述第一节点地址与所述第二节点地址，在所述第一节点与所述第二节点之间建立第二连接；

数据发送模块，用于通过所述第二连接将所述第一存储集群的第一存储数据发送至所述第二存储集群，将所述第二存储集群的第二存储数据发送至所述第一存储集群。

在其中一个实施例中，所述装置还包括系统接口端，通过所述系统接口端向所述第一集群地址与所述第二集群地址发起系统接口连接，获取所述第一连接；

通过所述系统接口端向所述第一节点地址与所述第二节点地址发起远程直接存储访问连接，获取所述第二连接。

再一方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

又一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

上述一种存储集群互联方法、装置、计算机设备和存储介质，通过获取第一存储集群与第二存储集群的集群网络地址，在存储集群之间建立第一连接，然后通过第一连接互相获取对方存储集群的节点的网络地址，再将双方存储集群的节点进行第二连接，最后通过第二连接对存储内容进行复制和传输，以此解决存储集群互联过程中存在配置工作量大、可靠性低等问题。

附图说明

图1为一个实施例中一种存储集群互联方法的应用环境图；

图2为一个实施例中一种存储集群互联方法的流程示意图；

图3为一个实施例中获取第一集群地址与第二集群地址的流程示意图；

图4为一个实施例中建立第二连接的流程示意图；

图5为一个实施例中建立第一单向点连接与第二单向点连接的流程示意图；

图6为另一个实施例中建立第二连接的流程示意图；

图7为一个实施例中建立第一单向点连接与第二单向点连接的流程示意图的流程示意图；

图8为一个实施例中存储集群互联装置的结构框图；

图9为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的一种存储集群互联方法，可以应用于如图1所示的应用环境中，其中，终端102通过网络与服务器104通过网络进行通信，例如，本申请提供的一种存储集群互联方法可应用于两个存储集群因灾备需要或者保持数据存储的稳定性进行远程数据复制，从而建立跨集群的远程复制链路的场景中，可提高数据容灾效率，例如，通过获取第一存储集群与第二存储集群的集群网络地址，在存储集群之间建立第一连接，然后通过第一连接互相获取对方存储集群的节点的网络地址，再将双方存储集群的节点进行第二连接，最后通过第二连接对双方存储集群的存储数据进行复制和传输，以此解决存储集群互联过程中存在配置工作量大、可靠性低等问题。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、便携式可穿戴设备或者子服务器，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群或者云计算平台来实现。

在一个实施例中，如图2所示，提供了一种存储集群互联方法，包括以下步骤：

S1：分别获取第一存储集群的第一集群地址与第二存储集群的第二集群地址，按照所述第一集群地址与所述第二集群地址，在所述第一存储集群与所述第二存储集群之间建立第一连接；

S2：通过所述第一连接获取所述第一存储集群的第一节点地址与所述第二存储集群的第二节点地址，其中，所述第一节点地址包括第一节点的网络地址，所述第二节点地址包括第二节点的网络地址，将所述第一节点地址发送至所述第二存储集群，将所述第二节点地址发送至所述第一存储集群，按照所述第一节点地址与所述第二节点地址，在所述第一节点与所述第二节点之间建立第二连接；

S3：通过所述第二连接将所述第一存储集群的第一存储数据发送至所述第二存储集群，将所述第二存储集群的第二存储数据发送至所述第一存储集群。

通过上述步骤，可改善存储集群互联性能低的问题。

对于需要进行远程数据复制的两个存储集群，在建立存储集群之间的复制链路之前，需要获取双方的集群网络地址，在步骤S1中，示例性地说明，按照第一集群地址与第二集群地址在第一存储集群与第二存储集群之间建立第一连接，例如，可采用iSCSI(internet Small Computer System Interface Internet，小型计算机系统接口)获取第一存储集群的第一集群地址与第二存储集群的第二集群地址，通过iSCSI模块向第一集群地址与第二集群地址发起iSCSI连接，在第一存储集群与第二存储集群之间建立第一连接，在一些实施过程中，可手动配置第一集群地址与第二集群地址，将第一集群地址与第二集群地址发送至iSCSI模块，通过iSCSI模块向手动配置的第一集群地址与第二集群地址发起iSCSI连接，以此为后续建立复制链路所选取的存储集群的节点的自动配置提供交互管理，即通过针对每一个存储集群手动配置一个集群网络地址，在存储集群之间建立一条用于进行数据交互管理的第一连接，改善后续因节点数量较多，手动配置存储集群的其他节点网络地址信息存在配置工作量大的问题。

获取第一连接之后，可通过第一连接对用于进行数据传输的节点选择进行交互性管理，自动地对参与进行数据传输的节点进行配置，在步骤S2中，示例性地说明，通过第一连接获取第一节点地址与第二节点地址，并按照第一节点地址与第二节点地址在第一节点与第二节点之间建立第二连接，例如，将第一存储集群内的第一节点的网络地址与第二存储集群内的第二节点的网络地址通过第一连接发送至iSCSI模块，再通过iSCSI模块将第一节点的网络地址传输至第二存储集群，将第二节点的网络地址传输至第一存储集群，在一些实施过程中，可将所有第一节点的网络地址与所有第二节点的网络地址进行传输，在另一些实施过程中，还可将部分第一节点的网络地址与部分第二节点的网络地址进行传输，例如，第一存储集群在获取第二存储集群的集群网络地址后，还可通过第一连接发送第一配置消息至iSCSI模块，其中，第一配置消息可包括第一存储集群的集群网络地址、第二存储集群的集群网络地址、对端节点需求数值，iSCSI模块获取第一配置消息后，将第一配置消息通过第一连接发送至第二存储集群的集群网络地址，第二存储集群则对第一配置消息进行接收和解析，根据对端节点需求数值，将数量为对端节点需求数值的第二节点的网络地址发送至iSCSI模块，以此实现将部分第二节点的网络地址进行传输的目的，其中，对端节点需求数值可在存储集群建立互联关系之前进行统一地预先设置，也可在存储集群互联配置过程中实时地通过手动进行设置，根据自动选取的第一节点网络地址与第二节点网络地址，将第一节点与第二节点分别建立对应关系，然后采用RMDA(Remote Direct MemoryAccess，远程直接数据存取)技术对存在不同物理位置信息的两个存储集群的存储数据进行双向远程复制，通过存储集群内节点的RoCE(RDMA over Converged Ethernet基于聚合以太网的远程直接数据存取)实现节点之间的数据传输，然后第一节点的驱动层通过iSCSI模块向第二节点的驱动层发起RoCE连接，同时，第二节点的驱动层通过iSCSI模块向第一节点的驱动层发起RoCE连接，在第一节点与第二节点之间建立第二连接，以此实现对用于进行后续数据传输的节点的选取进行交互管理，降低配置节点所消耗的时间与工作量。

建立第一节点与第二节点之间的第二连接之后，通过第二连接将存储集群之间的存储数据进行双向复制，在步骤S3中，示例性地说明，通过第二连接将第一存储集群的第一存储数据发送至第二存储集群，将第二存储集群的第二存储数据发送至第一存储集群，例如，第一节点的驱动层与iSCSI模块建立RoCE连接，将第一存储集群的存储数据通过RoCE与iSCSI模块发送至第二节点，第二节点的驱动层与iSCSI模块建立RoCE连接，将第二存储集群的存储数据通过RoCE与iSCSI模块发送至第一节点，以此实现不同存储集群之间进行远程数据复制。

在建立存储集群之间的远程数据复制链路之前，需要获取各存储集群的集群网络地址，在一些实施例中，如图3所示，分别获取第一存储集群的第一集群地址与第二存储集群的第二集群地址的步骤包括：

S11：在所述第一存储集群中选取一节点作为第一主节点，获取所述第一主节点的网络地址作为所述第一集群地址；

S12：在所述第二存储集群中选取一节点作为第二主节点，获取所述第二主节点的网络地址作为所述第二集群地址。

通过上述步骤，可获取第一存储集群与第二存储集群的代表性节点的网络地址，数据传输量少，可降低存储集群互联过程的配置工作量。

如图3所示，在步骤S11中，示例性地说明，在第一存储集群中选取一个节点作为第一主节点，获取第一主节点的网络地址作为第一集群地址，例如，将第一存储集群中的多个第一节点按位置信息进行排序和编号，可将编号为1的第一节点作为第一主节点，将第一主节点的网络地址作为第一存储集群的集群网络地址，在一些实施过程中，还可选取其他编号的第一节点作为第一主节点。

如图3所示，在步骤S12中，示例性地说明，在第二存储集群中选取一个节点作为第二主节点，获取第二主节点的网络地址作为第二集群地址，例如，将第二存储集群中的多个第二节点按位置信息进行排序和编号，可将编号为1的第二节点作为第二主节点，将第二主节点的网络地址作为第二存储集群的集群网络地址，在一些实施过程中，还可选取其他编号的第二节点作为第二主节点。

通过第一连接获取第一节点地址与第二节点地址，并将第一节点地址发送至第二存储集群，将第二节点地址发送至第二存储集群后，需要对参与进行RoCE数据传输的第一节点与第二节点进行选择和配置，如图4所示，在一些实施例中，按照所述第一节点地址与所述第二节点地址，在所述第一节点与所述第二节点之间建立第二连接的步骤包括：

S21：按照所述第二节点地址，从所述第一节点中的当前第一节点进行遍历，向一所述第二节点发起第一单向点连接；

S22：按照所述第一节点地址，从所述第二节点中的当前第二节点进行遍历，向一所述第一节点发起第二单向点连接；

S23：根据所述第一单向点连接与所述第二单向点连接，获取所述第二连接。

通过上述步骤，可对参与进行RoCE数据传输的第一节点与第二节点进行选择和配置，以此降低存储集群远程数据复制过程中节点配置的工作量。

如图4所示，在步骤S21中，示例性地说明，按照第二节点地址，从第一节点中的当前第一节点进行遍历，向一第二节点发起第一单向点连接，例如，从第一存储集群中的第一个第一节点开始，通过iSCSI模块向第二存储集群的第一个第二节点地址发起RoCE连接，然后从第一存储集群中的第二个第一节点通过iSCSI模块向第二存储集群的第二个第二节点地址发起RoCE连接，直到第一存储集群中的所有第一节点都与第二存储集群的第二节点建立了第一单向点连接，在一些实施过程中，当第一存储集群的第一节点的数量大于第二存储集群的第二节点的数量时，可将剩余的未建立第一单向点连接的第一节点保持闲置状态，在另一些实施过程中，当第一存储集群的第一节点的数量大于第二存储集群的第二节点的数量时，还可将剩余的未建立第一单向点连接的第一节点与第二节点继续建立第一单向点连接，以此提升存储集群远程数据过程中多节点进行数据传输的可靠性。

如图4所示，在步骤S22中，示例性地说明，按照第一节点地址，从第二节点中的当前第二节点进行遍历，向一第一节点发起第二单向点连接，例如，从第二存储集群中的第一个第二节点开始，通过iSCSI模块向第一存储集群的第一个第一节点地址发起RoCE连接，然后从第二存储集群中的第二个第二节点通过iSCSI模块向第一存储集群的第二个第一节点地址发起RoCE连接，直到第二存储集群中的所有第二节点都与第一存储集群的第一节点建立了第二单向点连接，在一些实施过程中，当第二存储集群的第二节点的数量大于第一存储集群的第一节点的数量时，可将剩余的未建立第二单向点连接的第二节点保持闲置状态，在另一些实施过程中，当第二存储集群的第二节点的数量大于第一存储集群的第一节点的数量时，还可将剩余的未建立第二单向点连接的第二节点与第一节点继续建立第一单向点连接，以此提升存储集群远程数据过程中多节点进行数据传输的可靠性。

如图4所示，在步骤S23中，示例性地说明，根据第一单向点连接与第二单向点连接获取第二连接，例如，在第一存储集群的第一节点向第二存储集群的第二节点发起第一单向点连接，在第二存储集群的第二节点向第一存储集群的第一节点发起第二单向点连接，以此在第一节点与第二节点之间形成可用于双向传输存储数据的第二连接。

在另一些实施例中，可以在第一存储集群的第一节点和第二存储集群的第二节点中选取部分节点用于进行RoCE数据传输的点连接，如图5所示，发起第一单向点连接和发起第二单向点连接的的步骤还包括：

S31：配置第一选取数值，从所述第一节点中选取数量为所述第一选取数值的所述第一节点作为第一选取节点；

S32：配置第二选取数值，从所述第二节点中选取数量为所述第二选取数值的所述第二节点作为第二选取节点；

S33：按照所述第二选取节点的节点地址，从所述第一选取节点的当前第一选取节点进行遍历，向一闲置的所述第二选取节点发起所述第一单向点连接；

S34：按照所述第一选取节点的节点地址，从所述第二选取节点的当前第二选取节点进行遍历，向一闲置的所述第一选取节点发起所述第二单向点连接。

通过上述步骤，可在第一存储集群的第一节点和第二存储集群的第二节点中选取部分节点用于进行RoCE数据传输的点连接，减少存储集群远程数据复制过程中节点配置的工作量。

如图5所示，在步骤S31中，示例性地说明，配置第一选取数值，从第一节点中选取数量为第一选取数值的第一节点作为第一选取节点，例如，可对第一选取数值进行预先配置，比如将第一选取数值配置为3，则可从第一节点中根据第一节点的位置编号，选取3个第一节点作为第一选取节点，在一些实施过程中，还可将第一选取数值配置为比例系数与第一节点数量相乘的形式，假设比例系数为a，第一节点的总数量为N，则第一选取数值为a*N，其中，a为区间(0,1)之间的实数，N为正整数，在另一些实施过程中，还可在节点配置过程中对第一选取数值进行修改，比如在配置过程之前设第一选取数值为a*N，而在配置过程中可将第一选取数值修改为b*N，其中，b为区间(0,1)之间的实数，且a≠b，以此对用于进行RoCE数据传输的第一节点进行适应性地自动选取，进一步减少存储集群远程数据复制过程中节点配置的工作量。

如图5所示，在步骤S32中，示例性地说明，配置第二选取数值，从第二节点中选取数量为第二选取数值的第二节点作为第二选取节点，例如，可对第二选取数值进行预先配置，比如将第二选取数值配置为5，则可从第二节点中根据第二节点的位置编号，选取5个第二节点作为第二选取节点，在一些实施过程中，还可将第二选取数值配置为比例系数与第二节点数量相乘的形式，假设比例系数为a，第二节点的总数量为M，则第二选取数值为a*M，其中，a为区间(0,1)之间的实数，M为正整数，在另一些实施过程中，还可在节点配置过程中对第二选取数值进行修改，比如在配置过程之前设第二选取数值为a*M，而在配置过程中可将第二选取数值修改为b*M，其中，b为区间(0,1)之间的实数，且a≠b，以此对用于进行RoCE数据传输的第二节点进行适应性地自动选取，进一步减少存储集群远程数据复制过程中节点配置的工作量。

如图5所述，在步骤S33中，示例性地说明，按照第二选取节点的节点地址，从第一选取节点的当前第一选取节点进行遍历，向一闲置的第二选取节点发起第一单向点连接，例如，从第一个第一选取节点开始，通过iSCSI模块向第一个闲置的第二选取节点地址发起RoCE连接，然后从第二个第一选取节点通过iSCSI模块向第二个闲置的第二选取节点地址发起RoCE连接，直到所有第一选取节点都与第二选取节点建立了第一单向点连接，在一些实施过程中，当第一选取节点的数量大于第二选取节点的数量时，可将剩余的未建立第一单向点连接的第一选取节点保持闲置状态，以此提升存储集群远程数据过程中多节点进行数据传输的可靠性。

如图5所述，在步骤S34中，示例性地说明，按照第一选取节点的节点地址，从第二选取节点的当前第二选取节点进行遍历，向一闲置的第一选取节点发起第二单向点连接，例如，从第一个第二选取节点开始，通过iSCSI模块向第一个闲置的第一选取节点地址发起RoCE连接，然后从第二个第二选取节点通过iSCSI模块向第二个闲置的第一选取节点地址发起RoCE连接，直到所有第二选取节点都与第一选取节点建立了第二单向点连接，在一些实施过程中，当第二选取节点的数量大于第一选取节点的数量时，可将剩余的未建立第二单向点连接的第二选取节点保持闲置状态，以此提升存储集群远程数据过程中多节点进行数据传输的可靠性。

在另一些实施例中，通过第一连接获取第一节点地址与第二节点地址，并将第一节点地址发送至第二存储集群，将第二节点地址发送至第二存储集群后，需要对参与进行RoCE数据传输的第一节点与第二节点进行选择和配置，如图6所示，按照所述第一节点地址与所述第二节点地址，在所述第一节点与所述第二节点之间建立第二连接的步骤包括：

S41：按照所述第二节点地址，从所述第一节点中的当前第一节点进行遍历，向多个所述第二节点发起第一单向全连接；

S42：按照所述第一节点地址，从所述第二节点中的当前第二节点进行遍历，向多个所述第一节点发起第二单向全连接；

S43：根据所述第一单向全连接与所述第二单向全连接，获取所述第二连接。

通过上述步骤，可将第一节点与第二节点进行全连接，进一步提升存储集群用于远程数据复制过程中多节点进行数据传输的可靠性。

如图6所示，在步骤S41中，示例性地说明，按照第二节点地址，从第一节点中的当前第一节点进行遍历，向多个第二节点发起第一单向全连接，例如，从第一存储集群中的第一个第一节点开始，通过iSCSI模块向第二存储集群的第一个第二节点地址发起RoCE连接，然后继续通过iSCSI模块向第二存储集群的第二个第二节点地址发起RoCE连接，直到第一个第一节点通过iSCSI模块与所有的第二节点发起RoCE连接，然后从第二个第一节点通过iSCSI模块与所有的第二节点发起RoCE连接，直到所有第一节点都通过iSCSI模块与所有的第二节点发起RoCE连接，即建立第一单向全连接，以此进一步提升存储集群远程数据过程中多节点进行数据传输的可靠性。

如图6所示，在步骤S42中，示例性地说明，示例性地说明，按照第一节点地址，从第二节点中的当前第二节点进行遍历，向多个第一节点发起第二单向全连接，例如，从第二存储集群中的第一个第二节点开始，通过iSCSI模块向第一存储集群的第一个第一节点地址发起RoCE连接，然后继续通过iSCSI模块向第一存储集群的第二个第一节点地址发起RoCE连接，直到第一个第二节点通过iSCSI模块与所有的第一节点发起RoCE连接，然后从第二个第二节点通过iSCSI模块与所有的第一节点发起RoCE连接，直到所有第二节点都通过iSCSI模块与所有的第一节点发起RoCE连接，即建立第二单向全连接，以此进一步提升存储集群远程数据过程中多节点进行数据传输的可靠性。

如图6所示，在步骤S43中，示例性地说明，根据第一单向全连接与第二单向全连接获取第二连接，例如，在第一存储集群的第一节点向第二存储集群的第二节点发起第一单向全连接，在第二存储集群的第二节点向第一存储集群的第一节点发起第二单向全连接，以此在第一节点与第二节点之间形成可用于双向传输存储数据的第二连接。

在另一些实施例中，可以在第一存储集群的第一节点和第二存储集群的第二节点中选取部分节点用于进行RoCE数据传输，如图7所示，发起第一单向全连接和发起第二单向全连接的的步骤还包括：

S51：配置第一选取数值，从所述第一节点中选取数量为所述第一选取数值的所述第一节点作为第一选取节点；

S52：配置第二选取数值，从所述第二节点中选取数量为所述第二选取数值的所述第二节点作为第二选取节点；

S53：按照所述第二选取节点的节点地址，从所述第一选取节点的当前第一选取节点进行遍历，向多个所述第二选取节点发起所述第一单向全连接；

S54：按照所述第一选取节点的节点地址，从所述第二选取节点的当前第二选取节点进行遍历，向多个所述第一选取节点发起所述第二单向全连接。

通过上述步骤，可在第一存储集群的第一节点和第二存储集群的第二节点中选取部分节点用于进行RoCE数据传输的全连接，减少存储集群远程数据复制过程中节点配置的工作量。

如图7所示，在步骤S51中，示例性地说明，配置第一选取数值，从第一节点中选取数量为第一选取数值的第一节点作为第一选取节点，例如，可对第一选取数值进行预先配置，比如将第一选取数值配置为6，则可从第一节点中根据第一节点的位置编号，选取6个第一节点作为第一选取节点，在一些实施过程中，还可将第一选取数值配置为比例系数与第一节点数量相乘的形式，假设比例系数为a，第一节点的总数量为N，则第一选取数值为a*N，其中，a为区间(0,1)之间的实数，N为正整数，在另一些实施过程中，还可在节点配置过程中对第一选取数值进行修改，比如在配置过程之前设第一选取数值为a*N，而在配置过程中可将第一选取数值修改为b*N，其中，b为区间(0,1)之间的实数，且a≠b，以此对用于进行RoCE数据传输的第一节点进行适应性地自动选取，进一步减少存储集群远程数据复制过程中节点配置的工作量。

如图7所示，在步骤S52中，示例性地说明，配置第二选取数值，从第二节点中选取数量为第二选取数值的第二节点作为第二选取节点，例如，可对第二选取数值进行预先配置，比如将第二选取数值配置为8，则可从第二节点中根据第二节点的位置编号，选取8个第二节点作为第二选取节点，在一些实施过程中，还可将第二选取数值配置为比例系数与第二节点数量相乘的形式，假设比例系数为a，第二节点的总数量为M，则第二选取数值为a*M，其中，a为区间(0,1)之间的实数，M为正整数，在另一些实施过程中，还可在节点配置过程中对第二选取数值进行修改，比如在配置过程之前设第二选取数值为a*M，而在配置过程中可将第二选取数值修改为b*M，其中，b为区间(0,1)之间的实数，且a≠b，以此对用于进行RoCE数据传输的第二节点进行适应性地自动选取，进一步减少存储集群远程数据复制过程中节点配置的工作量。

如图7所述，在步骤S53中，示例性地说明，按照第二选取节点的节点地址，从第一选取节点的当前第一选取节点进行遍历，向多个第二选取节点发起第一单向全连接，例如，从第一个第一选取节点开始，通过iSCSI模块向第一个第二选取节点地址发起RoCE连接，然后继续通过iSCSI模块向第二个第二选取节点地址发起RoCE连接，直到第一个第一选取节点通过iSCSI模块向所有第二选取节点地址发起RoCE连接，然后从第二个第一选取节点通过iSCSI模块向所有第二选取节点地址发起RoCE连接，直到所有第一选取节点都通过iSCSI模块向所有第二选取节点地址发起RoCE连接，即建立第一单向全连接，以此提升存储集群在远程数据复制过程中多节点用于数据传输的可靠性。

如图7所述，在步骤S54中，示例性地说明，按照第一选取节点的节点地址，从第二选取节点的当前第二选取节点进行遍历，向多个第一选取节点发起第二单向全连接，例如，从第一个第二选取节点开始，通过iSCSI模块向第一个第一选取节点地址发起RoCE连接，然后继续通过iSCSI模块向第二个第一选取节点地址发起RoCE连接，直到第一个第二选取节点通过iSCSI模块向所有第一选取节点地址发起RoCE连接，然后从第二个第二选取节点通过iSCSI模块向所有第一选取节点地址发起RoCE连接，直到所有第二选取节点都通过iSCSI模块向所有第一选取节点地址发起RoCE连接，即建立第二单向全连接，以此提升存储集群在远程数据复制过程中多节点用于数据传输的可靠性。

在一个实施例中，如图8所示，提供了一种存储集群互联装置，所述存储集群互联装置包括：

在第一获取模块中，示例性地说明，按照第一集群地址与第二集群地址在第一存储集群与第二存储集群之间建立第一连接，例如，可采用iSCSI获取第一存储集群的第一集群地址与第二存储集群的第二集群地址，通过iSCSI模块向第一集群地址与第二集群地址发起iSCSI连接，在第一存储集群与第二存储集群之间建立第一连接，在一些实施过程中，可手动配置第一集群地址与第二集群地址，将第一集群地址与第二集群地址发送至iSCSI模块，通过iSCSI模块向手动配置的第一集群地址与第二集群地址发起iSCSI连接，在另一些实施过程中，还可自动配置第一集群地址与第二集群地址，即按照预先设定的编号顺序，从第一存储集群与第二存储集群中选取与编号顺序对应的集群网络地址，以此为后续建立复制链路所选取的存储集群的节点的自动配置提供交互管理，即通过针对每一个存储集群手动配置一个集群网络地址，在存储集群之间建立一条用于进行数据交互管理的第一连接，改善后续因节点数量较多，手动配置存储集群的其他节点网络地址信息存在配置工作量大的问题。

在第二获取模块中，示例性地说明，通过第一连接获取第一节点地址与第二节点地址，并按照第一节点地址与第二节点地址在第一节点与第二节点之间建立第二连接，例如，将第一存储集群内的第一节点的网络地址与第二存储集群内的第二节点的网络地址通过第一连接发送至iSCSI模块，再通过iSCSI模块将第一节点的网络地址传输至第二存储集群，将第二节点的网络地址传输至第一存储集群，在一些实施过程中，可将所有第一节点的网络地址与所有第二节点的网络地址进行传输，在另一些实施过程中，还可将部分第一节点的网络地址与部分第二节点的网络地址进行传输，例如，第一存储集群在获取第二存储集群的集群网络地址后，还可通过第一连接发送第一配置消息至iSCSI模块，其中，第一配置消息可包括第一存储集群的集群网络地址、第二存储集群的集群网络地址、对端节点需求数值，iSCSI模块获取第一配置消息后，将第一配置消息通过第一连接发送至第二存储集群的集群网络地址，第二存储集群则对第一配置消息进行接收和解析，根据对端节点需求数值，将数量为对端节点需求数值的第二节点的网络地址发送至iSCSI模块，以此实现将部分第二节点的网络地址进行传输的目的，其中，对端节点需求数值可在存储集群建立互联关系之前进行统一地预先设置，也可在存储集群互联配置过程中实时地通过手动进行设置，根据自动选取的第一节点网络地址与第二节点网络地址，将第一节点与第二节点分别建立对应关系，然后采用RMDA技术对存在不同物理位置信息的两个存储集群的存储数据进行双向远程复制，通过存储集群内节点的RoCE实现节点之间的数据传输，在进行数据传输之前，将节点的RoCE驱动向iSCSI模块注册接口函数，iSCSI模块可通过该接口函数向节点的驱动层建立RoCE连接，然后第一节点的驱动层通过iSCSI模块向第二节点的驱动层发起RoCE连接，同时，第二节点的驱动层通过iSCSI模块向第一节点的驱动层发起RoCE连接，在第一节点与第二节点之间建立第二连接，以此实现对用于进行后续数据传输的节点的选取进行交互管理，降低配置节点所消耗的时间与工作量。

在数据发送模块中，示例性地说明，通过第二连接将第一存储集群的第一存储数据发送至第二存储集群，将第二存储集群的第二存储数据发送至第一存储集群，例如，第一节点的驱动层与iSCSI模块建立RoCE连接，将第一存储集群的存储数据通过RoCE与iSCSI模块发送至第二节点，第二节点的驱动层与iSCSI模块建立RoCE连接，将第二存储集群的存储数据通过RoCE与iSCSI模块发送至第一节点，以此实现不同存储集群之间进行远程数据复制。

上述装置可应用于两个存储集群因需要进行远程数据复制从而建立跨集群的远程复制链路的场景中，例如，通过获取第一存储集群与第二存储集群的集群网络地址，在存储集群之间建立第一连接，然后通过第一连接互相获取对方存储集群的节点的网络地址，再将双方存储集群的节点进行第二连接，最后通过第二连接对双方存储集群的存储数据进行复制和传输，以此解决存储集群互联过程中存在配置工作量大、可靠性低等问题。

关于存储集群互联装置的具体限定可以参见上文中对于存储集群互联方法的限定，在此不再赘述。上述存储集群互联装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，存储集群互联装置还包括系统接口端，通过系统接口端向第一集群地址与第二集群地址发起系统接口连接，获取所述第一连接，通过系统接口端还可向第一节点地址与第二节点地址发起远程直接存储访问连接，获取第二连接，其中，系统接口端包括iSCSI模块，iSCSI模块可向第一集群地址和第二集群地址发起iSCSI连接，获取第一连接，iSCSI模块还可注册接口函数，用于与第一节点的驱动层和第二节点的驱动层发起RoCE连接。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储集群互联的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种存储集群互联方法。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims

1.一种存储集群互联方法，其特征在于，包括：

2.根据权利要求1所述的一种存储集群互联方法，其特征在于，分别获取第一存储集群的第一集群地址与第二存储集群的第二集群地址的步骤包括：

3.根据权利要求1所述的一种存储集群互联方法，其特征在于，按照所述第一节点地址与所述第二节点地址，在所述第一节点与所述第二节点之间建立第二连接的步骤包括：

4.根据权利要求3所述的一种存储集群互联方法，其特征在于，包括：

5.根据权利要求1所述的一种存储集群互联方法，其特征在于，按照所述第一节点地址与所述第二节点地址，在所述第一节点与所述第二节点之间建立第二连接的步骤包括：

6.根据权利要求5所述的一种存储集群互联方法，其特征在于，包括：

7.一种存储集群互联装置，其特征在于，包括：

8.根据权利要求7所述的一种存储集群互联装置，其特征在于，所述装置还包括系统接口端，通过所述系统接口端向所述第一集群地址与所述第二集群地址发起系统接口连接，获取所述第一连接；

9.计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述一种存储集群互联方法的步骤。

10.计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述一种存储集群互联方法的步骤。