CN114745281A - 一种数据处理的方法和装置 - Google Patents

Abstract

本发明公开了一种数据处理的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：接收客户端发送的拓扑信息获取请求；从缓存中获取集群的拓扑信息，所述拓扑信息是从所述集群的任一节点获得的所述集群中所有虚拟槽与虚拟槽对应的节点之间的映射关系；将所述拓扑信息发送给所述客户端。该实施方式能够减少拓扑生成时间，提高拓扑信息的获取效率，降低集群服务端的压力，减小网络带宽的占用，降低cluster slots风暴发生的概率。

Description

一种数据处理的方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理的方法和装置。

背景技术

目前smart(智能)客户端采用RESP协议与集群进行交互，当发生网络异常或集群成员宕机等情况时，通过懒加载方式加载集群元数据，获取集群拓扑信息，与集群节点建立连接，以进行数据的访问及存储。

在大规模集群中，较大拓扑严重影响客户端与服务端的通信效率，尤其是在高并发情况下，更新拓扑会阻塞读数据操作，服务端处理能力下降，导致集群形成clusterslots风暴，影响数据处理的效率。

发明内容

有鉴于此，本发明实施例提供一种数据处理的方法和装置，能够降低拓扑生成时间，降低集群服务端的运行压力，减小网络带宽占用，从而降低cluster slots风暴发生的概率。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据处理的方法，包括：

接收客户端发送的拓扑信息获取请求；

从缓存中获取集群的拓扑信息，所述拓扑信息是从所述集群的任一节点获得的所述集群中所有虚拟槽与虚拟槽对应的节点之间的映射关系；

将所述拓扑信息发送给所述客户端。

可选地，将所述拓扑信息发送给所述客户端，包括：对所述拓扑信息进行二进制压缩后发送给所述客户端。

可选地，所述方法还包括：

在将所述拓扑信息发送给所述客户端之后，接收所述客户端根据所述拓扑信息确定出目标节点之后向所述目标节点发送的目标数据的访问请求，判断所述目标节点与所述客户端的连接是否成功；若是，则向所述客户端返回针对所述访问请求的执行结果；否则，向所述客户端返回连接失败的消息。

可选地，所述方法还包括：

在所述目标节点与所述客户端连接失败的情况下，接收所述客户端发送的拓扑信息获取请求或者接收所述客户端重新发送的所述访问请求；其中，在所述客户端发送所述访问请求的次数超过预设阈值的情况下，所述客户端再次发送拓扑信息获取请求；在所述客户端发送所述访问请求的次数不超过预设阈值的情况下，所述客户端重新发送所述访问请求。

可选地，在将所述拓扑信息发送给所述客户端之后，所述拓扑信息被所述客户端保存在本地缓存；所述目标节点为所述客户端基于本地保存的拓扑信息确定的。

可选地，所述客户端再次发送的拓扑信息获取请求，是由所述客户端在向所述集群中的活跃节点发送所述访问请求并从所述活跃节点的响应结果中确定出新的目标节点之后向所述新的目标节点发送的。

可选地，在将所述拓扑信息发送给所述客户端之后，所述拓扑信息被所述客户端保存在本地缓存；在所述客户端发送所述访问请求的次数超过预设阈值的情况下，所述客户端向所述集群中的活跃节点发送拓扑信息获取请求、并根据所述活跃节点的响应结果更新本地缓存中的拓扑信息。

根据本发明实施例的再一个方面，提供了一种数据处理的装置，包括：

接收模块，接收客户端发送的拓扑信息获取请求；

获取模块，从缓存中获取集群的拓扑信息，所述拓扑信息是从所述集群的任一节点获得的所述集群中所有虚拟槽与虚拟槽对应的节点之间的映射关系；

发送模块，将所述拓扑信息发送给所述客户端。

根据本发明实施例的另一个方面，提供了一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明提供的数据处理的方法。

根据本发明实施例的还一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明提供的数据处理的方法。

上述发明中的一个实施例具有如下优点或有益效果：接收客户端发送的拓扑信息获取请求，从缓存中获取集群的拓扑信息，然后将拓扑信息发送给客户端，其中，拓扑信息是从集群的任一节点获得的集群的所有虚拟槽与虚拟槽对应的节点之间的映射关系，该方法能够减少拓扑计算次数，减少拓扑生成时间，提高拓扑信息的获取效率，能够显著降低集群服务端的运行压力，减小网络带宽的占用，在高并发、大规模集群的情况下，能够极大降低cluster slots风暴发生的概率。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的一种数据处理的方法的主要流程的示意图；

图2是根据本发明实施例的另一种数据处理的方法的主要流程的示意图；

图3是根据本发明实施例的又一种数据处理的方法的主要流程的示意图

图4是根据本发明实施例的数据处理的装置的主要模块的示意图；

图5是本发明实施例可以应用于其中的示例性系统架构图；

图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

Redis Cluster集群普遍采用智能(smart)客户端进行访问，惰性更新拓扑，但在拓扑更新时存在以下缺陷：1、拓扑生成采用O(n)算法，随着集群规模增大，拓扑生成时间线性增长，集群可达1000个节点，但当集群规模达到400个节点时，拓扑生成时间已达20ms，访问拓扑时集群产生抖动，影响业务的处理；2、拓扑传输采用RESP协议，文本字符编码，占用空间大，如在集群规模为400个节点，且虚拟槽位分配连续情况下，传输大小为60KB；在槽位不连续情况下，传输大小达2MB左右，元数据交互占用很大带宽，造成网络拥堵，同时也挤占业务数据带宽；3、smart客户端采用懒加载方式(当获取目标数据的结果时再加载拓扑信息)加载拓扑，在高并发情况下，因为Redis为单线程模型，服务端处理能力的下降或者网络异常等，会触发集群拓扑更新操作，在大规模集群中，拓扑更新是慢查询占用较多服务器时间，同时占用较多网络带宽，从而会加重服务端压力及带宽占用，反过来又会导致拓扑更新，导致cluster slot风暴，进而影响业务处理。针对上述问题，本发明实施例提供一种数据处理的方法，以解决cluster模式集群在集群规模较大(>500)、高并发情况下，尤其是网络异常、自动故障切换等异常，易导致集群进入cluster slot风暴，导致集群服务端处理能力急剧下降的问题。

cluser slots风暴：在高并发情况下，由于集群节点宕机、自动故障转移、网络异常等原因导致访问超时或连接失败时，客户端会通过频繁重试发送cluster slots命令获取集群的拓扑信息，重新进行客户端初始化，从而导致所有的请求阻塞，集群吞吐量严重下降，这个现象称为cluster slots风暴。

图1是根据本发明实施例的一种数据处理的方法的主要流程的示意图，如图1所示，该方法应用于服务端，包括以下步骤：

步骤S101：接收客户端发送的拓扑信息获取请求；

步骤S102：从缓存中获取集群的拓扑信息，其中，拓扑信息是从集群的任一节点获得的集群中所有虚拟槽与虚拟槽对应的节点之间的映射关系；

步骤S103：将拓扑信息发送给客户端。

在本发明实施例中，客户端可以为智能客户端，如jedis客户端(基于Redis的java客户端)，也可以为访问集群的其他主流客户端，集群可以为Redis Cluster集群，该集群包括多个主节点(master)，每个主节点包括一个或多个从节点(slave)。

Redis Cluster集群采用虚拟槽分区，键(Key)值根据哈希函数映射到对应的虚拟槽，计算式可以为：slot＝CRC16(Key)&16383，其中，slot为虚拟槽，Key为键值，CRC16为一种差错校验码生成算法。

Redis Cluster集群中的每个节点(node)对应一部分虚拟槽以及虚拟槽映射的键值，虚拟槽的槽位一般为16384个。如节点1(node1)对应的虚拟槽范围为0-3276；节点2对应的虚拟槽范围为3277-6533，节点3对应的虚拟槽范围为6554-9830；节点4对应的虚拟槽范围为9831-13107；节点5对应的虚拟槽范围为13108-16383。

接收到客户端发送的拓扑信息的获取请求如cluster slots命令后，可以从服务端的缓存中获取拓扑信息并发送给客户端，即服务端将拓扑生成得到的拓扑信息保存在缓存中，从而减少了拓扑计算次数，提高了客户端获取拓扑信息的效率。当集群的拓扑信息变更后，再重新进行拓扑计算，并将计算获得的拓扑信息发送给客户端，同时保存在服务端的缓存中。

该拓扑信息中包括节点和虚拟槽之间的映射关系。每个集群的节点中维护集群的所有虚拟槽与虚拟槽对应的节点之间的映射关系，集群的拓扑信息是从集群任一节点中的集群的所有虚拟槽与虚拟槽对应的节点之间的映射关系得到的，即O(1)算法，采用该算法进行拓扑计算，减小了拓扑的生成时间，进而提高了拓扑信息的获取效率。

在本发明实施例中，集群的各个节点之间通过gossip协议(一种去中心化的分布式协议)交互相互的状态和拓扑信息，集群中的每个节点维护集群所有节点及每个节点对应的虚拟槽，即每个节点维护了集群中所有虚拟槽即16384个虚拟槽与节点之间的映射关系，当客户端初始化或集群拓扑信息发生变更时，反向建立虚拟槽和节点之间的映射关系，采用O(1)算法复杂度，通过遍历任一节点中的所有虚拟槽，即遍历16384个虚拟槽即可以完成拓扑计算，获得拓扑信息，与集群节点的数量无关，不随集群规模增大而变化，提升了拓扑生成的效率。如表1所示为不同算法随集群节点数量变化的拓扑生成时间的对比，节点数量为集群中的节点的数量，改进前耗时为采用算法复杂度为O(m×n)(m为节点数量，n为虚拟槽个数)的拓扑生成时间，即遍历次数为：节点数量×16384的时间，改进后耗时为采用算法复杂度为O(1)的拓扑生成时间，即遍历一次16384个虚拟槽的时间，可以看出，改进后耗时与节点数量无关，大大提升了拓扑生成效率，而改进前耗时随节点数量增加而线性增长，效率较低。

表1

节点数量	改进前耗时(ms)	改进后耗时(ms)
			20	1ms	1ms以下
100	4ms	1ms以下
			200	7ms	1ms以下
400	11ms	1ms以下
			600	15ms	1ms以下
800	18ms	1ms以下
			1000	22ms	1ms以下

在本发明实施例中，可以将采用文本编码的RESP协议将拓扑信息发送给客户端。为降低传输占用的网络带宽大小并减少传输时间，可以对拓扑信息进行二进制压缩后发送给客户端。

在本发明实施例中，拓扑信息基于二进制协议传输，即对拓扑信息进行二进制压缩，二进制协议是通过对RESP协议的文本编码进行二进制压缩得到的，其中，RESP协议是一种Redis客户端和服务端通信的协议。客户端通过二进制协议传输cluster slots命令，与集群进行交互，获取拓扑信息，以与集群节点建立连接。通过将编码效率低、占用带宽大的文本方式编码的RESP协议进行二进制压缩，得到编码效率高、占用带宽小的二进制协议，提升传输效率，降低资源带宽占用，从而降低cluster slots风暴发生的概率。

采用压缩编码技术对cluster slots命令的RESP协议进行二进制改进，压缩命令字节数，减少带宽占用，该二进制协议的格式如下：

主节点二进制编码：

从节点二进制编码：

编码规则如下：little-endian即低位字节在前；len：标记ip地址长度，1个字节；ip：不定长，也可改为定长，如ipv4:4个字节，ipv6:16个字节；port：2个字节；type：最高位标记节点类型，1个字节，主节点：0x80从节点：0x00；slave num：表示从节点数量；slotsnum:表示节点对应的虚拟槽的个数，2个字节，针对单个独立slot，start slot＝＝endslot；start slot：起始slot，2个字节；end slot：结束slot，2个字节。

如表2所示为分别采用的RESP协议文本编码格式传输和二进制协议传输所占的带宽大小，改进前为采用RESP协议文本编码格式传输拓扑信息，改进后为采用二进制协议传输拓扑信息，可以看出，随着节点数量增多，即随着集群规模的增长，改进后传输所占用的带宽明显低于改进前。

表2

在线上环境集群拓扑发生变更的情况较少，如集群扩容、主从切换故障很少发生，在高并发情况下，服务端响应不及时、网络异常导致的频繁重试，即客户端频繁重试向集群发送cluster slots命令，该命令以慢查询的方式获取集群拓扑信息，重新进行客户端初始化，造成请求阻塞，增大集群服务端的运行压力，增加网络带宽的占用，在高并发场景下极大影响集群吞吐量，形成cluster slots风暴，因此，降低客户端的重试具有重要意义。

在本发明实施例的一种实施方式中，如图2所示，该方法还包括：在将拓扑信息发送给客户端之后，

步骤S201：接收客户端根据拓扑信息确定出目标节点之后向目标节点发送的目标数据的访问请求；

步骤S202：判断目标节点与客户端的连接是否成功；若是，执行步骤S203；若否，执行步骤S204；

步骤S203：向客户端返回针对访问请求的执行结果；

步骤S204：向所客户端返回连接失败的消息。

在本发明实施例中，在将拓扑信息发送给客户端之后，拓扑信息被客户端保存在本地缓存；客户端可以根据本地缓存的拓扑信息确定目标节点，以使客户端可以向目标节点发送目标数据的获取请求。

可选地，客户端根据本地缓存的拓扑信息确定目标数据对应的目标节点的过程，包括：根据目标数据与Key值的对应关系确定出目标数据对应的Key值；计算Key值对应的目标虚拟槽；根据本地缓存的拓扑信息中虚拟槽与节点之间的映射关系确定出与目标虚拟槽对应的节点，该节点即为目标节点。其中，可以通过哈希函数计算出Key值对应的目标虚拟槽。

在本发明实施例中，当目标节点与客户端连接成功后，目标节点可以返回针对该访问请求的执行结果，如返回目标数据；在目标节点与客户端连接不成功的情况下，可以直接返回连接失败的消息，然后客户端可以间隔预设时间重新发送访问请求，减小网络的压力。若是由于网络异常、服务端响应不及时等原因造成的连接失败，可待网络或服务端恢复正常后获得访问请求对应的执行结果。

可选地，在目标节点与客户端连接不成功的情况下，也可以使客户端间隔预设时间重新发送访问请求，该预设时间的设定可以略长，若发送访问请求的间隔时间较短，可能会造成网络异常如网络拥堵，也会导致与目标节点的连接失败。

在本发明实施例中，在目标节点与客户端连接失败的情况下，可以返回失败标识；若失败标识指示网络异常、服务器超时等，客户端可以间隔预设时间再次发送访问请求；若失败标识指示集群拓扑信息发生变更如集群节点宕机、主从故障切换、扩容等，客户端可以向发送拓扑信息的获取请求，以获取变更后的拓扑信息。

在本发明实施例的另一种实施方式中，如图3所示，该方法还包括：在将拓扑信息发送给客户端之后，

步骤S301：接收客户端根据拓扑信息确定出目标节点之后向目标节点发送的目标数据的访问请求；

步骤S302：判断目标节点与客户端的连接是否成功；若是，执行步骤S303；若否，执行步骤S304；

步骤S303：向客户端返回针对访问请求的执行结果；

步骤S304：判断客户端发送访问请求的次数是否超过预设阈值；若是，执行步骤S305，若否，执行步骤S301；

步骤S305：使客户端再次发送拓扑信息获取请求。

在本发明实施例中，在目标节点与客户端连接失败的情况下，接收客户端发送的拓扑信息获取请求或者接收客户端重新发送的访问请求。具体地，在客户端发送访问请求的次数超过预设阈值的情况下，客户端再次发送拓扑信息获取请求，以使得客户端获取拓扑信息；在客户端发送访问请求的次数不超过预设阈值的情况下，客户端重新发送访问请求。

本发明实施例中，在客户端与目标节点的连接失败的情况下，判断发送的访问请求的次数是否超过预设阈值(如3次)，如果没有超过预设阈值，则客户端重新发送该访问请求，因为此时未连接成功的原因可能为网络异常，而并非是拓扑信息的变更，采用重新发送访问请求的方式可以降低客户端错误判断；如果发送的访问请求的次数超过预设阈值，说明集群的拓扑信息可能发生了变更，客户端需要重新获取拓扑信息，以确定目标节点。通过设定发送访问请求次数的预设阈值，能够降低客户端对集群拓扑变更的错误判断，防止在拓扑信息未发生变更时获取集群的拓扑信息，降低客户端通过cluster slots命令获取集群拓扑信息的次数，同时降低获取集群拓扑信息的时间，减小获取拓扑所占用带宽大小。

当客户端与目标节点的连接失败，且发送访问请求的次数超过预设阈值时，说明可能发生集群扩容、集群节点宕机、主从故障切换(主节点宕机，从节点接管)等导致集群节点变更的情况，从而导致目标数据对应的目标节点发生变化；在这种情况下，客户端需要向集群发送拓扑信息获取请求(如cluster slots命令)重新获取集群的拓扑信息。

可选地，客户端再次发送的拓扑信息获取请求，是由客户端在向集群中的活跃节点发送访问请求并从活跃节点的响应结果中确定出新的目标节点之后向新的目标节点发送的。

在客户端重新发送拓扑信息获取请求时，首先确定出集群中的活跃节点，即正常运行的节点，客户端向活跃节点发送目标数据的访问请求，该活跃节点返回针对该访问请求的响应结果(如MOVED重定向信息)，该响应结果指示了目标数据所在的新的目标节点，从而使得客户端可以向新的目标节点发送拓扑信息的获取请求，以使得客户端从新的目标节点获得更新的拓扑信息。当客户端获取到更新的拓扑信息后，客户端将更新的拓扑信息保存在本地缓存中，根据更新的拓扑信息更新本地缓存中虚拟槽和节点的映射关系，以使得客户端向新的目标节点发送目标数据的访问请求。

可选地，在将拓扑信息发送给客户端之后，拓扑信息被客户端保存在本地缓存；在客户端发送访问请求的次数超过预设阈值的情况下，客户端向集群中的活跃节点发送拓扑信息获取请求、并根据活跃节点的响应结果更新本地缓存中的拓扑信息。也就是说，客户端再次发送的拓扑信息获取请求是由客户端向活跃节点发送的，可以直接从活跃节点获取拓扑信息，即向活跃节点发送cluster slots命令，客户端可以从该活跃节点获取集群更新后的拓扑信息，然后根据更新后的拓扑信息重新初始化本地缓存的虚拟槽与节点的映射关系，然后根据目标数据对应的键值重新确定虚拟槽和新的目标节点，并向新的目标节点发送目标数据的访问请求。

在本发明实施例中，当集群的拓扑信息发生变更后，客户端可以根据变更后的拓扑信息初始化本地缓存中虚拟槽和节点之间的映射关系。可选地，客户端可以定时发送集群的拓扑信息的获取请求，以获取集群的拓扑信息，根据获取的集群的拓扑信息更新即重新初始化本地缓存中节点和虚拟槽之间的映射关系。客户端通过定时发送cluster slots命令获取集群的拓扑信息，从而能够在集群拓扑信息发生变更时，更加及时的获取到集群最新的拓扑信息，保证了与集群的拓扑信息的一致性，相对于发送访问请求次数达到预设阈值时再获取拓扑信息，相对于懒加载方式，提高了数据处理的效率。

本发明实施例提供的数据处理的方法，在接收到客户端发送的拓扑信息获取请求后，从缓存中获取集群的拓扑信息，将拓扑信息发送给客户端，从而减少了拓扑的计算；拓扑信息是从集群的任一节点获得的集群的所有虚拟槽与节点的映射关系，通过改进拓扑的生成算法，降低了拓扑的生成时间，提升了拓扑信息的获取效率；在接收到客户端向目标节点发送的目标数据的访问请求，判断出客户端与目标节点的连接不成功的情况下，判断访问请求的次数是否超过预设阈值，当超过预设阈值时再进行集群拓扑信息的获取，从而降低了对集群拓扑信息变更的错误判断，降低了客户端获取集群拓扑信息的次数，减小了带宽的占用；通过压缩编码技术对拓扑信息进行二进制压缩，降低了网络带宽的占用，从而降低了传输时间，提升了传输效率；可以采用集群的活跃节点接收客户端发送的集群的拓扑信息获取请求，减少了重试遍历的节点数量；客户端通过定时获取拓扑信息，实现与集群拓扑信息的一致性，从而提升了目标数据的访问效率。本发明实施例的方法能够在高并发、大规模集群的场景下，提高集群的吞吐量，减小集群服务端的运行压力和网络传输压力，降低了cluster slots风暴发生的概率，提升数据处理的效率。

如图4所示，本发明实施例还提供一种数据处理的装置400，包括：

接收模块401，接收客户端发送的拓扑信息获取请求；

获取模块402，从缓存中获取集群的拓扑信息，拓扑信息是从集群的任一节点获得的集群中所有虚拟槽与虚拟槽对应的节点之间的映射关系；

发送模块403，将拓扑信息发送给客户端。

在本发明实施例中，发送模块403，进一步用于：对拓扑信息进行二进制压缩后发送给客户端。

在本发明实施例中，接收模块401，还用于：在将拓扑信息发送给客户端之后，接收客户端根据拓扑信息确定出目标节点之后向目标节点发送的目标数据的访问请求，判断目标节点与客户端的连接是否成功；若是，则向客户端返回针对访问请求的执行结果；否则，向客户端返回连接失败的消息。

在本发明实施例中，接收模块401，还用于：在目标节点与客户端连接失败的情况下，接收客户端发送的拓扑信息获取请求或者接收客户端重新发送的访问请求；其中，在客户端发送访问请求的次数超过预设阈值的情况下，客户端再次发送拓扑信息获取请求；在客户端发送访问请求的次数不超过预设阈值的情况下，客户端重新发送访问请求。

在本发明实施例中，发送模块403，还用于：在将拓扑信息发送给客户端之后，拓扑信息被客户端保存在本地缓存；目标节点为客户端基于本地保存的拓扑信息确定的。

在本发明实施例中，客户端再次发送的拓扑信息获取请求，是由客户端在向集群中的活跃节点发送访问请求并从活跃节点的响应结果中确定出新的目标节点之后向新的目标节点发送的。

在本发明实施例中，在将拓扑信息发送给客户端之后，拓扑信息被客户端保存在本地缓存；在客户端发送访问请求的次数超过预设阈值的情况下，客户端向集群中的活跃节点发送拓扑信息获取请求、并根据活跃节点的响应结果更新本地缓存中的拓扑信息。

本发明实施例的还一方面提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明实施例的数据处理的方法。

本发明实施例的再一方面提供一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现本发明实施例的数据处理的方法。

图5示出了可以应用本发明实施例的数据处理的方法或数据处理的装置的示例性系统架构500。

如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的数据处理的方法一般由服务器505执行，相应地，数据处理的装置一般设置于服务器505中。

应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图6，其示出了适于用来实现本发明实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括接收模块、获取模块和发送模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，接收模块还可以被描述为“接收客户端发送的拓扑信息获取请求的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：接收客户端发送的拓扑信息获取请求；从缓存中获取集群的拓扑信息，所述拓扑信息是从所述集群的任一节点获得的所述集群中所有虚拟槽与虚拟槽对应的节点之间的映射关系；将所述拓扑信息发送给所述客户端。

根据本发明实施例的技术方案，本发明实施例提供的数据处理的方法，在接收到客户端发送的拓扑信息获取请求后，从缓存中获取集群的拓扑信息，将拓扑信息发送给客户端，从而减少了拓扑的计算；拓扑信息是从集群的任一节点获得的集群的所有虚拟槽与虚拟槽对应的节点的映射关系，通过改进拓扑的生成算法，降低了拓扑的生成时间，提升了拓扑信息的获取效率；在接收到客户端向目标节点发送的目标数据的访问请求，判断出客户端与目标节点的连接不成功的情况下，可以判断访问请求的次数是否超过预设阈值，当超过预设阈值时再进行集群拓扑信息的获取，从而降低了对集群拓扑信息变更的错误判断，降低了获取集群拓扑信息的次数，减小了带宽的占用；通过压缩编码技术对拓扑信息进行二进制压缩，降低了网络带宽的占用，从而降低了传输时间，提升了传输效率；可以采用集群的活跃节点接收客户端发送的集群的拓扑信息获取请求，减少了重试遍历的节点数量；客户端通过定时获取拓扑信息，实现与集群拓扑信息的一致性，从而提升了目标数据的访问效率。本发明实施例的方法能够在高并发、大规模集群的场景下，提高集群的吞吐量，减小集群服务端的运行压力和网络传输压力，降低了cluster slots风暴发生的概率，提升了数据处理的效率。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种数据处理的方法，其特征在于，包括：

接收客户端发送的拓扑信息获取请求；

从缓存中获取集群的拓扑信息，所述拓扑信息是从所述集群的任一节点获得的所述集群中所有虚拟槽与所述虚拟槽对应的节点之间的映射关系；

将所述拓扑信息发送给所述客户端。

2.根据权利要求1所述的方法，其特征在于，将所述拓扑信息发送给所述客户端，包括：

对所述拓扑信息进行二进制压缩后发送给所述客户端。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在将所述拓扑信息发送给所述客户端之后，接收所述客户端根据所述拓扑信息确定出目标节点之后向所述目标节点发送的目标数据的访问请求，判断所述目标节点与所述客户端的连接是否成功；若是，则向所述客户端返回针对所述访问请求的执行结果；否则，向所述客户端返回连接失败的消息。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

在所述目标节点与所述客户端连接失败的情况下，接收所述客户端发送的拓扑信息获取请求或者接收所述客户端重新发送的所述访问请求；其中，在所述客户端发送所述访问请求的次数超过预设阈值的情况下，所述客户端再次发送拓扑信息获取请求；在所述客户端发送所述访问请求的次数不超过预设阈值的情况下，所述客户端重新发送所述访问请求。

5.根据权利要求3所述的方法，其特征在于，在将所述拓扑信息发送给所述客户端之后，所述拓扑信息被所述客户端保存在本地缓存；所述目标节点为所述客户端基于本地保存的拓扑信息确定的。

6.根据权利要求4所述的方法，其特征在于，所述客户端再次发送的拓扑信息获取请求，是由所述客户端在向所述集群中的活跃节点发送所述访问请求并从所述活跃节点的响应结果中确定出新的目标节点之后向所述新的目标节点发送的。

7.根据权利要求4所述的方法，其特征在于，在将所述拓扑信息发送给所述客户端之后，所述拓扑信息被所述客户端保存在本地缓存；在所述客户端发送所述访问请求的次数超过预设阈值的情况下，所述客户端向所述集群中的活跃节点发送拓扑信息获取请求、并根据所述活跃节点的响应结果更新本地缓存中的拓扑信息。

8.一种数据处理的装置，其特征在于，包括：

接收模块，接收客户端发送的拓扑信息获取请求；

获取模块，从缓存中获取集群的拓扑信息，所述拓扑信息是从所述集群的任一节点获得的所述集群中所有虚拟槽与所述虚拟槽对应的节点之间的映射关系；

发送模块，将所述拓扑信息发送给所述客户端。

9.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。

Images