CN105227683A

CN105227683A - 一种ldap集群数据同步方法及系统

Info

Publication number: CN105227683A
Application number: CN201510766903.5A
Authority: CN
Inventors: 李晓敦; 张晓东; 闫立志; 沙峰; 陈华海; 蔡金培
Original assignee: China Construction Bank Corp
Current assignee: China Construction Bank Corp
Priority date: 2015-11-11
Filing date: 2015-11-11
Publication date: 2016-01-06
Anticipated expiration: 2035-11-11
Also published as: CN105227683B

Abstract

本申请公开了LDAP集群数据同步方法及系统，包括：主同步控制模块接收待同步数据；将待同步数据划分为至少一个待同步数据块；为每一个待同步数据块生成一个待同步任务，从符合预设条件的数据同步模块中，选择数据同步模块作为目标数据同步模块；向各个目标数据同步模块发送与其对应的至少一个待同步任务；目标数据同步模块依次读取与其对应的至少一个待同步任务中，每个待同步任务对应的待同步数据块，并在待同步任务对应的依赖任务被完成的情况下，执行将待同步数据块同步到待同步LDAP集群中的LDAP服务器的步骤。本申请中，由独立于LDAP集群外的控制器来进行同步控制，无需依赖于集群内的主服务器，提高了同步方法的可用性。

Description

一种LDAP集群数据同步方法及系统

技术领域

本申请涉及数据通信技术领域，尤其涉及一种LDAP集群数据同步方法及系统。

背景技术

LDAP是基于TCP/IP协议的目录访问协议，是Internet上目录服务的通用访问协议。LDAP的出现简化了X.500目录的复杂度，降低了开发成本，是X.500标准的目录访问协议DAP的子集，同时也作为IETF的一个正式标准。

现有LDAP集群数据同步方案中，需要对LDAP集群进行配置；一个集群中，必须有一个服务器为主，其他服务器为从。主服务器负责推送更新数据到从服务器，或者从服务器从主设备上下载更新数据。

该方式下，对主服务器的依赖性较强。主服务器一旦出现异常，则需要重新配置整个集群中的主从关系，从而导致在一段时间内，该同步过程无法进行，进而导致整个同步过程的可用性较低。

因此，需要一种可靠性更高的LDAP集群数据同步方法。

发明内容

有鉴于此，本申请提供了一种LDAP集群数据同步方法，以解决现有技术中的LDAP集群数据同步方法可用性低的问题。

为实现上述目的，本申请提供如下技术方案：

一种LDAP集群数据同步方法，应用于LDAP集群数据同步系统，该系统包括：同步控制器及待同步LDAP集群，所述同步控制器包括：至少一个同步控制模块和至少一个数据同步模块，所述至少一个同步控制模块中包含有一个主同步控制模块，所述待同步LDAP集群包括至少一个待同步LDAP服务器，该方法应用于所述同步控制器，包括：

所述主同步控制模块接收待同步数据；

将所述待同步数据按照预设规则划分为至少一个待同步数据块；

为每一个待同步数据块生成一个待同步任务，所述待同步任务中至少包含有所述待同步数据块的标识；

获取所述至少一个数据同步模块的状态信息，所述状态信息中至少包括所述数据同步模块当前同步任务个数及任务权重值；

从符合预设条件的数据同步模块中，按照任务权重值由小到大的顺序，选择预设个数的数据同步模块作为目标数据同步模块；

分别向各个目标数据同步模块发送与其对应的至少一个待同步任务；

目标数据同步模块依次读取与其对应的至少一个待同步任务中，每个待同步任务对应的待同步数据块，并在所述待同步任务对应的依赖任务被完成的情况下，执行将所述待同步数据块同步到所述待同步LDAP集群中的LDAP服务器中的步骤。

优选的，所述分别向各个目标数据同步模块发送与其对应的至少一个待同步任务之后还包括：

依据各个目标数据同步模块对应的至少一个待同步任务及其任务权重值，修改各个目标数据同步模块的当前同步任务个数及任务权重值；

在所述目标数据同步模块将所述待同步数据块同步到所述待同步LDAP集群中的LDAP服务器中后还包括：

将所述目标数据同步模块的当前同步任务个数减一，并将所述任务权重值减去所述待同步数据块对应的权重值。

优选的，还包括：

当执行将所述待同步数据块同步到所述待同步LDAP集群中的LDAP服务器中的步骤失败时，等待预设时间后，再次执行将所述待同步数据块同步到所述至少一个待同步LDAP服务器中的步骤，当失败次数达到预设次数时，记录失败信息，并保存所述待同步数据。

优选的，所述待同步数据块的标识为所述待同步数据的流水起始号和流水结束号。

优选的，还包括：

主同步控制模块和所述数据同步模块分别按照预设心跳周期更新心跳时间。

优选的，所述至少一个同步控制模块中还包括至少一个从同步控制模块。

优选的，还包括：当所述主同步控制模块异常时，从所述至少一个从同步控制模块中选择一个作为主同步控制模块。

优选的，所述符合预设条件的数据同步模块为：最后心跳时间距当前时间不长于五个心跳周期。

一种LDAP集群数据同步系统，包括：同步控制器及待同步LDAP集群，所述同步控制器包括：至少一个同步控制模块和至少一个数据同步模块，所述至少一个同步控制模块中包含有一个主同步控制模块，所述待同步LDAP集群包括至少一个待同步LDAP服务器，其中：

所述同步控制器中，所同步控制模块用于接收待同步数据，将所述待同步数据按照预设规则划分为至少一个待同步数据块；为每一个待同步数据块生成一个待同步任务，所述待同步任务中至少包含有所述待同步数据块的标识；获取所述至少一个数据同步模块的状态信息，所述状态信息中至少包括所述数据同步模块当前同步任务个数及任务权重值；从符合预设条件的数据同步模块中，按照任务权重值由小到大的顺序，选择预设个数的数据同步模块作为目标数据同步模块；分别向各个目标数据同步模块发送与其对应的至少一个待同步任务；目标数据同步模块依次读取与其对应的至少一个待同步任务中，每个待同步任务对应的待同步数据块，并在所述待同步任务对应的依赖任务被完成的情况下，执行将所述待同步数据块同步到所述待同步LDAP集群中的LDAP服务器中的步骤。

经由上述的技术方案可知，本申请实施例公开的LDAP集群数据同步方法，由独立于LDAP集群外的控制器来进行同步控制，无需依赖于集群内的主服务器，提高了同步方法的可用性。

并且，由控制器中的同步控制模块对数据同步模块进行整体分析，对多个LDAP服务器并行进行同步操作，提高了控制器的工作效率及整个同步过程的效率、缩短了同步时间。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例公开的数据同步系统的结构示意图；

图2为本申请实施例公开的一种数据同步方法的流程图；

图3为本申请实施例公开的又一数据同步方法的流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请公开的LDAP集群数据同步方法，应用于LDAP集群数据同步系统，该系统的结构如图1所示，包括：同步控制器100及待同步LDAP集群200，所述同步控制器100包括：至少一个同步控制模块101和至少一个数据同步模块102，所述至少一个同步控制模块101中包含有一个主同步控制模块101a，所述待同步LDAP集群200包括至少一个待同步LDAP服务器201。可以预先为每一个LDAP服务器设置一个对应的服务信息表，如下LDAP服务信息表所示：

编号	001
		服务IP	192.168.1.9
服务端口	A1

表1

其中，编号可以为ID可以是每个服务器在集群中的唯一编号，例如001。服务IP为该服务器的IP地址，例如192.168.1.9。服务端口为该服务器通过哪一端口接收同步数据，例如A1口。

同理，同步控制模块也可以对应设置一个信息表，如下同步控制服务信息表所示：

编号	003
		服务IP	192.168.1.8
服务端口	B2
		最后心跳时间	03:00
是否为主服务	是

表2

其中，最后心跳时间是指同步控制模块最近一次进行心跳同步的时间。而如果其为主同步控制模块，则在最后一项填“是”，如果其为从同步控制模块，则最后一项填“否”。或者，填充其他能够区别其为主同步控制模块或者从同步控制模块的标识。

该方法流程如图2所示，包括：

步骤S201：所述主同步控制模块接收待同步数据；

本实施例中，待同步数据可以为树形存储的数据，如图3所示，包括根节点A，一级节点B1-B5，二级节点C1-C8。每个节点下面的数字代表其子节点的数目。每个节点的权重为其子节点的数目。

步骤S202：将所述待同步数据按照预设规则划分为至少一个待同步数据块；

在本实施例中，预设规则可以为待同步数据块的大小相等，或者，数据块的权重大小相等。假设本实施例中数据同步模块有3个，则为了保证分配到每个数据同步模块的任务权重尽量相等，则可以将其分成三份。

在以树形结构存储的数据中，根节点的权重虽然最大，但是其只表示整个树包含多少节点，其并不包含具体的数据，因此，但就根节点A而言，其本身代表的数据量很小，因此，将其分配到任何一个数据同步模块，都不会增加该数据同步模块过多的任务量，因此，可以随机为其选择一个数据同步模块。在本实施例中，重点在于将一级节点进行划分，划分为尽量相等的三部分的结果为：

B1：权重10；

B2+B3+B4：权重8；

B5：权重8；

本实施例并不限定只能将一级节点进行划分，还可以将二级节点进行划分，结果为：

C1+C2权重8；

C3+B2+C4+C5权重9；

B4+C6+C7+C8权重9；

对比上述两种划分结果可以看出，被划分的节点等级越高，即，离根节点越远，则划分结果的平均性越好。但是，相应的，划分过程所需要的时间也就越多。所以可以根据实际的情况，选择适合的划分方式。

或者，该预设规则为，保证将数据块分配到数据同步模块以后，各个数据同步模块的任务权重尽量相等，假设目前3个数据同步模块的权重分别为5，9，15，则要保证尽量相等，仍然以划分一级节点为例，则划分结果为：

B1+B3权重为15；

B4+B5权重为9；

B2权重为3；

与目前3个数据同步模块的权重相加的结果为20，18，18。基本满足要求。

当然也可以以二级节点划分，在此不再赘述。

步骤S203：为每一个待同步数据块生成一个待同步任务，所述待同步任务中至少包含有所述待同步数据块的标识。

该待同步任务可以如下同步任务信息表所示：

任务ID	002
		数据名称	B1
流水起始号	0F00
		流水结束号	0FFF
LDAP序号	003
		所属数据同步模块	002
依赖任务ID	001
		任务状态	未完成

表3

本实施例中，LDAP序号表示需要同步到哪一个LDAP服务器，如果需要将B1部署到集群中所有的LDAP服务器，假设集群中有9个服务器，则需要创建9个不同步任务信息表，各个表的内容中，仅在LDAP序号处根据其实际要部署到哪一个LDAP服务器来进行设置。如表中所示，该表对应将B1部署到003号LDAP服务器上。所述数据同步模块，是指由哪一个数据同步模块来完成这个任务的同步。

在本实施例中，树形结构存储的待同步数据在进行划分时，需要将树形结构的数据转换成文本格式等其他一条一条的记录，因此，不同节点的数据通过记录的流水起始号和流水结束号来进行划分，因此，流水起始号和流水结束号可以作为待同步数据的标识。

在本实施例中，树形结构存储的数据具有一定的等级顺序，有根节点的数据被写入LDAP服务器，一级节点的数据才能被写入。因此，需要明确根节点A所对应的任务ID，以及该任务的状态是否为已完成，只有当其为已完成时，才能写入后续的待同步数据。

步骤S204：获取所述至少一个数据同步模块的状态信息，所述状态信息中至少包括所述数据同步模块当前同步任务个数及任务权重值；

该状态信息可以如下数据同步服务信息表所示：

编号	003
		服务IP	192.168.1.6
服务端口	C1
		最后心跳时间	04:00
任务数目	3
		任务权重	20

表4

上表中，执行任务数目为当前部署在该数据同步模块上的任务个数，任务权重为所有任务的权重之和。

步骤S205：从符合预设条件的数据同步模块中，按照任务权重值由小到大的顺序，选择选择预设个数的数据同步模块作为目标数据同步模块；

假设本实施例中，共有5个数据同步模块。符合预设条件是指数据同步模块正常工作，具体的，可以用心跳时间来进行判断，假设数据同步模块的最后心跳时间距离当前时间没有超过五个心跳周期，则认为该数据同步模块是正常工作的，相反，则认为其不正常。假设本实施例中5个全部正常，并且需要选择3个作为目标数据同步模块。则将5个数据同步模块按照任务权重由小到大的顺序排序，括号中为权重，假设为001(12)、003(20)、005(25)、002(30)、004(40)，则相应的选择001/003和005作为目标数据同步模块。

在本实施例中，采用这种方式选择目标数据同步模块，充分考虑到了各个数据同步模块的资源占用情况，避免某一个或某几个数据同步模块承担绝大部分的任务，从而降低了同步效率，而且，资源分配不均，可行性差的问题。

步骤S206：分别向各个目标数据同步模块发送与其对应的至少一个待同步任务；

可以根据权重，将任务发送给不同的目标数据同步模块。

步骤S207：目标数据同步模块依次读取与其对应的至少一个待同步任务中，每个待同步任务对应的待同步数据块；

步骤S208：在所述待同步任务对应的依赖任务被完成的情况下，执行将所述待同步数据块同步到所述待同步LDAP集群中的LDAP服务器中的步骤。

本申请实施例公开的LDAP集群数据同步方法，由独立于LDAP集群外的控制器来进行同步控制，无需依赖于集群内的主服务器，提高了同步方法的可用性。

如表4中所示，每个数据同步模块都记录了其任务个数及权重值，因此，当主同步控制模块向各个目标数据同步模块发送待同步任务之后，还包括：

依据各个目标数据同步模块对应的至少一个待同步任务及其任务权重值，修改各个目标数据同步模块的当前同步任务个数及任务权重值。

即，将目标数据同步模块原来就有的任务个数与任务权重，与接收的待同步任务的个数与权重相加，得到最新的任务个数与权重。

同理，在所述目标数据同步模块将所述待同步数据块同步到待同步LDAP集群中的LDAP服务器中后还包括：

通过上述操作，保证表中的任务个数与权重都是根据同步过程的发展而及时变化的，从而保证在利用任务个数和权重值对数据同步模块的任务进行调度时，调度结果的准确性和有效性。

进一步，步骤S208：执行将所述待同步数据块同步到所述待同步LDAP集群中的LDAP服务器中的步骤之后，该方法还包括如图3所示流程：

步骤S301：判断所述执行将所述待同步数据块同步到待同步LDAP集群中的LDAP服务器中的步骤是否成功，若是，则结束，若否，则执行步骤S302；

步骤S302：记录1次失败；

步骤S303：判断记录的失败次数是否达到预设值，若是，则执行步骤S304，若否，则返回执行步骤S208，并在执行完S208后返回执行步骤S301。

步骤S304：记录失败信息，并保存所述同步数据。

本实施例中，记录的失败的信息，并保存了数据，如因故障原因同步失败，等故障恢复后，可以快速定位，并使用数据同步重新发布。

在上述各个实施例中已经提到，主同步控制模块和所述数据同步模块分别按照预设心跳周期更新心跳时间。并且，至少一个同步控制模块中还包括至少一个从同步控制模块。当所述主同步控制模块异常时，从所述至少一个从同步控制模块中选择一个作为主同步控制模块。例如，当最后心跳时间距当前时间不长于五个心跳周期时，认定为正常，如果长于5个心跳周期，则认为主同步控制模块异常。需要重新选择一个主同步控制模块。选择新的主同步控制模块时，可以随机选取，也可以选择当前资源消耗最小的从同步控制模块作为新的主同步控制模块，并相应修改其对应的同步控制服务信息表。

即便原来的主同步控制模块的故障解除了，仍然需要处于等待状态。

本申请实施例公开的数据同步方法，由于同步过程由独立于集群外的控制器执行，所以无需占用集群中计算机的资源，进一步提高了资源利用率。

当有新的LDAP服务器需要加入到集群中时，由于各个集群中的服务器均是同等的并列关系，整个集群的结构关系非常简单，因此，新的LDAP加入建立其余其他集群服务器间的联系，只需将其他服务器上存储的数据作为待同步数据，按照如上述实施例中所述的步骤，同步到新的LDAP服务器上即可，并且，同时创建与其对应的LDAP服务信息表。

进一步的，为了保证集群工作的稳定性，还可以利用本申请中的同步控制器对各个集群服务器内相同节点处存储的数据进行对比，然后返回对比结果，以发现数据不一致的情况，避免事故的发生。

本申请同时公开的LDAP集群数据同步系统如图1所示。其中，所述同步控制器中，所述同步控制模块用于接收待同步数据，将所述待同步数据按照预设规则划分为至少一个待同步数据块；为每一个待同步数据块生成一个待同步任务，所述待同步任务中至少包含有所述待同步数据块的标识；获取所述至少一个数据同步模块的状态信息，所述状态信息中至少包括所述数据同步模块当前同步任务个数及任务权重值；从符合预设条件的数据同步模块中，按照任务权重值由小到大的顺序，选择选择预设个数的数据同步模块作为目标数据同步模块；分别向各个目标数据同步模块发送与其对应的至少一个待同步任务；目标数据同步模块依次读取与其对应的至少一个待同步任务中，每个待同步任务对应的待同步数据块，并在所述待同步任务对应的依赖任务被完成的情况下，执行将所述待同步数据块同步到所述待同步LDAP集群中的LDAP服务器中的步骤。

在上述实施例中，同步控制模块与数据同步模块可以是两类独立的计算机，也可以是设置在同一计算机上的功能模块。

本申请实施例公开的LDAP集群数据同步系统，由独立于LDAP集群外的控制器来进行同步控制，无需依赖于集群内的主服务器，提高了同步方法的可用性。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种LDAP集群数据同步方法，其特征在于，应用于LDAP集群数据同步系统，该系统包括：同步控制器及待同步LDAP集群，所述同步控制器包括：至少一个同步控制模块和至少一个数据同步模块，所述至少一个同步控制模块中包含有一个主同步控制模块，所述待同步LDAP集群包括至少一个待同步LDAP服务器，该方法应用于所述同步控制器，包括：

所述主同步控制模块接收待同步数据；

目标数据同步模块依次读取与其对应的至少一个待同步任务中，每个待同步任务对应的待同步数据块，并在所述待同步任务对应的依赖任务被完成的情况下，执行将所述待同步数据块同步到所述待同步LDAP集群中的LDAP服务器的步骤。

2.根据权利要求1所述的方法，其特征在于，所述分别向各个目标数据同步模块发送与其对应的至少一个待同步任务之后还包括：

3.根据权利要求2所述的方法，其特征在于，还包括：

4.根据权利要求3所述的方法，其特征在于，所述待同步数据块的标识为所述待同步数据的流水起始号和流水结束号。

5.根据权利要求4所述的方法，其特征在于，还包括：

6.根据权利要求5所述的方法，其特征在于，所述至少一个同步控制模块中还包括至少一个从同步控制模块。

7.根据权利要求6所述的方法，其特征在于，还包括：当所述主同步控制模块异常时，从所述至少一个从同步控制模块中选择一个作为主同步控制模块。

8.根据权利要求7所述的方法，其特征在于，所述符合预设条件的数据同步模块为：最后心跳时间距当前时间不长于五个心跳周期。

9.一种LDAP集群数据同步系统，其特征在于，包括：同步控制器及待同步LDAP集群，所述同步控制器包括：至少一个同步控制模块和至少一个数据同步模块，所述至少一个同步控制模块中包含有一个主同步控制模块，所述待同步LDAP集群包括至少一个待同步LDAP服务器，其中：

所述同步控制器中，同步控制模块用于接收待同步数据，将所述待同步数据按照预设规则划分为至少一个待同步数据块；为每一个待同步数据块生成一个待同步任务，所述待同步任务中至少包含有所述待同步数据块的标识；获取所述至少一个数据同步模块的状态信息，所述状态信息中至少包括所述数据同步模块当前同步任务个数及任务权重值；从符合预设条件的数据同步模块中，按照任务权重值由小到大的顺序，选择预设个数的数据同步模块作为目标数据同步模块；分别向各个目标数据同步模块发送与其对应的至少一个待同步任务；目标数据同步模块依次读取与其对应的至少一个待同步任务中，每个待同步任务对应的待同步数据块，并在所述待同步任务对应的依赖任务被完成的情况下，执行将所述待同步数据块同步到所述待同步LDAP集群中的LDAP服务器中的步骤。