CN111639061A - Redis集群中数据管理方法、装置、介质及电子设备 - Google Patents

Abstract

本公开涉及数据迁移领域，揭示了一种Redis集群中数据管理方法、装置、介质及电子设备。该方法包括：向ZooKeeper集群发送迁移路径信息和第一指令，使ZooKeeper集群保存迁移路径信息并根据第一指令将分片的状态信息由正常状态改为迁移状态，使客户端在收到对分片中数据的读写请求后根据分片为迁移状态，基于迁移路径信息将该数据从源Redis群组迁移至目标Redis群组并在目标Redis群组对该数据进行读写；基于迁移路径信息和分片为迁移状态，将源Redis群组分片中的数据迁移至目标Redis群组存储；若分片中用户数据均被存储至目标Redis群组，向ZooKeeper集群发送第二指令，由ZooKeeper集群根据第二指令将分片的状态信息改为正常状态。此方法下，可以确保数据迁移时数据读写的正确性，提高Redis集群的可用性。

Description

Redis集群中数据管理方法、装置、介质及电子设备

技术领域

本公开涉及数据迁移技术领域，特别涉及一种Redis集群中数据管理方法、装置、介质及电子设备。

背景技术

Redis(Remote Dictionary Server，远程字典服务)是一个开源的使用ANSIC语言编写、支持网络、可基于内存亦可持久化的日志型、键-值数据库。将Redis数据库应用于实际应用的一种方式是建立Redis集群。目前，在使用Redis集群时，将缓存数据从源服务器迁移到目标服务器过程中，无法支持外部访问，即，需要停止服务才能实现缓存数据在服务器之间的迁移，这样就导致Redis集群的可用性降低。

发明内容

在数据迁移技术领域，为了解决上述技术问题，本公开的目的在于提供一种Redis集群中数据管理方法、装置、介质及电子设备。

根据本公开的一方面，提供了一种Redis集群中数据管理方法，所述Redis集群包括多个Redis群组，每一用户对应一个实例和一个客户端，每一实例的用户数据被划分为多个分片，每一分片绑定一个Redis群组，所述方法包括：

向ZooKeeper集群发送迁移路径信息和对需要迁移的分片的状态信息的第一更新指令，使所述ZooKeeper集群保存所述迁移路径信息，并根据所述第一更新指令将所述需要迁移的分片的状态信息由正常状态更新为迁移状态，以便所述需要迁移的分片对应的客户端在接收到对所述需要迁移的分片中目标用户数据的读写请求之后，根据监听到的所述需要迁移的分片的状态信息为迁移状态，基于所述迁移路径信息将所述目标用户数据从源Redis群组迁移至目标Redis群组，并在所述目标Redis群组中根据所述读写请求对所述目标用户数据进行读写，其中，所述迁移路径信息包括源Redis群组信息和目标Redis群组信息，所述ZooKeeper集群保存各分片的状态信息，所述迁移状态用于指示客户端在接收到与该迁移状态对应的目标用户数据的读写请求之后，将该目标用户数据从源Redis群组迁移至目标Redis群组以及所要迁移的用户数据的位置；

基于所述迁移路径信息和所述需要迁移的分片处于迁移状态，开始从所述源Redis群组获取所述需要迁移的分片中的用户数据，并将所述用户数据迁移至所述目标Redis群组进行存储；

若所述需要迁移的分片中的用户数据均已被存储至所述目标Redis群组，向所述ZooKeeper集群发送对需要迁移的分片的状态信息的第二更新指令，由所述ZooKeeper集群根据所述第二更新指令将所述需要迁移的分片的状态信息由迁移状态更新为正常状态。

根据本公开的另一方面，提供了一种Redis集群中数据管理装置，所述Redis集群包括多个Redis群组，每一用户对应一个实例和一个客户端，每一实例的用户数据被划分为多个分片，每一分片绑定一个Redis群组，所述装置包括：

第一发送模块，被配置为向ZooKeeper集群发送迁移路径信息和对需要迁移的分片的状态信息的第一更新指令，使所述ZooKeeper集群保存所述迁移路径信息，并根据所述第一更新指令将所述需要迁移的分片的状态信息由正常状态更新为迁移状态，以便所述需要迁移的分片对应的客户端在接收到对所述需要迁移的分片中目标用户数据的读写请求之后，根据监听到的所述需要迁移的分片的状态信息为迁移状态，基于所述迁移路径信息将所述目标用户数据从源Redis群组迁移至目标Redis群组，并在所述目标Redis群组中根据所述读写请求对所述目标用户数据进行读写，其中，所述迁移路径信息包括源Redis群组信息和目标Redis群组信息，所述ZooKeeper集群保存各分片的状态信息，所述迁移状态用于指示客户端在接收到与该迁移状态对应的目标用户数据的读写请求之后，将该目标用户数据从源Redis群组迁移至目标Redis群组以及所要迁移的用户数据的位置；

迁移模块，被配置为基于所述迁移路径信息和所述需要迁移的分片处于迁移状态，开始从所述源Redis群组获取所述需要迁移的分片中的用户数据，并将所述用户数据迁移至所述目标Redis群组进行存储；

第二发送模块，被配置为若所述需要迁移的分片中的用户数据均已被存储至所述目标Redis群组，向所述ZooKeeper集群发送对需要迁移的分片的状态信息的第二更新指令，由所述ZooKeeper集群根据所述第二更新指令将所述需要迁移的分片的状态信息由迁移状态更新为正常状态。

根据本公开的另一方面，提供了一种计算机可读程序介质，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行如前所述的方法。

根据本公开的另一方面，提供了一种电子设备，所述电子设备包括：

处理器；

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如前所述的方法。

本公开的实施例提供的技术方案可以包括以下有益效果：

在本公开所提供的Redis集群中数据管理方法中，Redis集群包括多个Redis群组，每一用户对应一个实例和一个客户端，每一实例的用户数据被划分为多个分片，每一分片绑定一个Redis群组，具体包括如下步骤：向ZooKeeper集群发送迁移路径信息和对需要迁移的分片的状态信息的第一更新指令，使所述ZooKeeper集群保存所述迁移路径信息，并根据所述第一更新指令将所述需要迁移的分片的状态信息由正常状态更新为迁移状态，以便所述需要迁移的分片对应的客户端在接收到对所述需要迁移的分片中目标用户数据的读写请求之后，根据监听到的所述需要迁移的分片的状态信息为迁移状态，基于所述迁移路径信息将所述目标用户数据从源Redis群组迁移至目标Redis群组，并在所述目标Redis群组中根据所述读写请求对所述目标用户数据进行读写，其中，所述迁移路径信息包括源Redis群组信息和目标Redis群组信息，所述ZooKeeper集群保存各分片的状态信息，所述迁移状态用于指示客户端在接收到与该迁移状态对应的目标用户数据的读写请求之后，将该目标用户数据从源Redis群组迁移至目标Redis群组以及所要迁移的用户数据的位置；基于所述迁移路径信息和所述需要迁移的分片处于迁移状态，开始从所述源Redis群组获取所述需要迁移的分片中的用户数据，并将所述用户数据迁移至所述目标Redis群组进行存储；若所述需要迁移的分片中的用户数据均已被存储至所述目标Redis群组，向所述ZooKeeper集群发送对需要迁移的分片的状态信息的第二更新指令，由所述ZooKeeper集群根据所述第二更新指令将所述需要迁移的分片的状态信息由迁移状态更新为正常状态。此方法下，通过先向ZooKeeper集群发送迁移路径信息和对需要迁移的分片的状态信息的第一更新指令，这样就将迁移路径信息保存在ZooKeeper集群中，并且使ZooKeeper集群将需要迁移的分片的状态信息由正常状态更新为迁移状态。由于需要迁移的分片处于迁移状态，便可以基于迁移路径信息将需要迁移的分片中的用户数据从源Redis群组迁移至目标Redis群组，实现数据的迁移；在此过程中，由于各分片对应的客户端会对各分片的状态信息进行监听，可以获得各分片的状态信息，因此，当客户端在接收到对需要迁移的分片中数据的读写请求之后，便可以根据已监听到的该数据所在的分片为迁移状态将该数据迁移至目标Redis群组，从而可以在目标Redis群组中处理该读写请求，即可以在不停机中断服务的情况下实现缓存数据在Redis群组之间的动态迁移，并能够确保数据迁移过程中数据读写的正确性，从而提高了Redis集群的可用性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种Redis集群中数据管理方法的系统架构示意图；

图2是根据一示例性实施例示出的一种Redis集群中数据管理方法的流程图；

图3是根据一示例性实施例示出的一种实例、分片和Redis群组的关系示意图；

图4是根据一示例性实施例示出的一种Redis集群中数据管理方法的系统架构示意图；

图5是根据一示例性实施例示出的一种Redis集群中数据管理方法的原理示意图；

图6是根据一示例性实施例示出的一种Redis集群中数据管理装置的框图；

图7是根据一示例性实施例示出的一种实现上述Redis集群中数据管理方法的电子设备示例框图；

图8是根据一示例性实施例示出的一种实现上述Redis集群中数据管理方法的计算机可读存储介质。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。

本公开首先提供了一种Redis集群中数据管理方法。Redis是一种键-值型的数据库。Redis集群是由多台固设有Redis数据库的物理设备(如服务器)共同向Redis客户端提供数据存取服务，每一固设有Redis数据库的物理设备上可以建立一个或多个Redis节点，其中，可以利用虚拟化技术在一台物理设备上建立多个Redis节点，每一Redis节点维护一个Redis服务。Redis集群中任意多个Redis节点可以组成一个Redis群组，一个Redis群组中包含的多个Redis节点可以都建立在一台物理设备上，也可以分别建立在多台物理设备上，一台物理设备可以对应一个或多个Redis群组，比如，一个Redis群组中可以包含3个Redis节点，这些Redis节点都在一台物理设备上且该物理设备上仅有一个Redis群组的Redis节点，那么一台物理设备仅对应一个Redis群组，而且该Redis群组的所有节点也仅对应该物理设备。Redis集群中每一Redis群组用于存取数据，而本公开提供的一种Redis集群中数据管理方法就是对Redis集群中各Redis群组的数据存取进行管理的方法，可以在不停机中断Redis服务的情况下实现数据在Redis群组间的迁移，从而提高Redis集群的可用性。

本公开的实施终端可以是任何具有运算和处理功能的设备，该设备可以与外部设备相连，用于接收或者发送数据，具体可以是便携移动设备，例如智能手机、平板电脑、笔记本电脑、PDA(Personal Digital Assistant)等，也可以是固定式设备，例如，计算机设备、现场终端、台式电脑、服务器、工作站等，还可以是多个设备的集合，比如云计算的物理基础设施或者服务器集群。

可选地，本公开的实施终端可以为服务器或者云计算的物理基础设施。

图1是根据一示例性实施例示出的一种Redis集群中数据管理方法的系统架构示意图。如图1所示，该系统架构包括Zookeeper集群110、台式电脑120、多个客户端130及Redis集群140，Redis集群140包括多个Redis群组，每一Redis群组包括一个主节点(Master)和多个与主节点连接的从节点(Slave)，多个Redis群组共同组成Redis集群，其中，客户端由用户使用，台式电脑120作为本公开的实施终端是管理端，由管理员使用，Zookeeper集群110用于维护对Redis集群进行读写所需的各种信息，Redis集群140用于存储客户端130可查询的各种数据，每一用户对应一个实例和一个客户端，每一实例的用户数据被划分为多个分片，每一分片绑定一个Redis群组，Zookeeper集群110维护各分片的状态信息。当本公开提供的Redis集群中数据管理方法应用于图1所示的系统架构中时，一个具体过程可以是这样的：首先，台式电脑120获取管理员输入的迁移路径信息以及对需要迁移的分片的状态信息的第一更新指令，然后发送给Zookeeper集群110，这样迁移路径信息就存储在了Zookeeper集群110之中，Zookeeper集群110还根据该第一更新指令将需要迁移的分片的状态信息由正常状态更新为迁移状态，此时，台式电脑120可以基于该迁移路径信息以及需要迁移的分片的迁移状态对Redis集群中的数据在Redis群组之间实现数据迁移，当迁移结束后，台式电脑120还会向Zookeeper集群110发送对需要迁移的分片的状态信息的第二更新指令，使需要迁移的分片的状态信息由迁移状态恢复为正常状态；在此过程中，因为需要迁移的分片中的数据可能已经被迁移，也可能尚未被迁移，但由于需要迁移的分片对应的客户端可以对需要迁移的分片的状态信息进行监听，也可以对与该客户端对应的分片进行迁移，那么当需要迁移的分片对应的客户端接收到对需要迁移的分片中目标用户数据的读写请求后，依据监听到的需要迁移的分片的状态信息为迁移状态，便可以先基于该迁移路径信息将目标用户数据进行迁移，并在迁移至的Redis群组中根据读写请求对目标用户数据进行读写，这样就在不停机中断Redis服务的情况下实现了数据在Redis群组间的迁移。

需要指出的是，图1仅为本公开的一个实施例。虽然在本实施例中的实施终端，即管理端为台式电脑，但在其他实施例中，本公开的实施终端和可以为如前所述的各种终端或设备；虽然在本实施例中，Redis群组的架构为由主节点和从节点组成的主从架构，但在其他实施例或者具体应用中，可以采用各种其他的架构。本公开对此不作任何限定，本公开的保护范围也不应因此而受到任何限制。

图2是根据一示例性实施例示出的一种Redis集群中数据管理方法的流程图。在本实施例中的Redis集群中数据管理方法可以由台式计算机执行，Redis集群包括多个Redis群组，每一用户对应一个实例和一个客户端，每一实例的用户数据被划分为多个分片，每一分片绑定一个Redis群组，如图2所示，包括以下步骤：

步骤210，向ZooKeeper集群发送迁移路径信息和对需要迁移的分片的状态信息的第一更新指令，使所述ZooKeeper集群保存所述迁移路径信息，并根据所述第一更新指令将所述需要迁移的分片的状态信息由正常状态更新为迁移状态，以便所述需要迁移的分片对应的客户端在接收到对所述需要迁移的分片中目标用户数据的读写请求之后，根据监听到的所述需要迁移的分片的状态信息为迁移状态，基于所述迁移路径信息将所述目标用户数据从源Redis群组迁移至目标Redis群组，并在所述目标Redis群组中根据所述读写请求对所述目标用户数据进行读写。

其中，所述迁移路径信息包括源Redis群组信息和目标Redis群组信息，所述ZooKeeper集群保存各分片的状态信息，所述迁移状态用于指示客户端在接收到与该迁移状态对应的目标用户数据的读写请求之后，将该目标用户数据从源Redis群组迁移至目标Redis群组以及所要迁移的用户数据的位置。

客户端迁移数据所基于的迁移路径信息可以是通过对ZooKeeper集群进行监听而获得的，也可以是通过读取事先存储在本地的迁移路径信息而获得的。

如前所述，每一用户对应一个实例和一个客户端，每一实例的用户数据被划分为多个分片，每一分片绑定一个Redis群组。一个实例是Redis集群为一个客户端的用户提供的Redis服务，即，使用一个客户端的用户能够查询该实例对应的用户数据。分片是对数据进行分割而形成的一部分数据，对于每一实例，其用户数据被划分为多个分片(例如1024个)，每一分片与一个Redis群组绑定，一个Redis群组可以绑定多个实例的多个分片。同一实例的用户数据对应的分片常位于Redis集群的多个Redis群组上。

实例、分片和Redis群组的关系具体可以参考图3所示。图3是根据一示例性实施例示出的一种实例、分片和Redis群组的关系示意图。如图3所示，Redis集群310包括三个Redis群组，Redis群组320为其中一个，在该Redis集群包括第一实例340和第二实例350，三个虚线框分别代表三个Redis群组的内存，任一实例中包括的一个深色方块即为该实例的用户数据对应的一个分片，可以看到，每一实例的用户数据对应的分片均分别位于三个Redis群组上，而分片330是位于Redis群组320上的属于第一实例340的一个分片。

ZooKeeper集群维护对Redis集群进行读写所需的各种信息，比如可以包括Redis群组信息和分片信息，Redis群组信息可以包括Redis群组中节点的主从角色信息和每一角色的IP(Internet Protocol，网际互连协议)地址信息，而分片信息可以包括分片标识和分片的状态信息。

迁移路径信息包括源Redis群组信息和目标Redis群组信息，即，根据迁移路径信息可以确定要将Redis集群中哪一Redis群组中的用户数据迁移至哪一Redis群组，比如，Redis群组信息可以群组标识或群组地址；迁移状态用于指示所要迁移的用户数据的位置是指：由于迁移状态为需要迁移的分片的状态信息，所以当一个分片的状态信息为迁移状态时，即可以确定该分片为需要迁移的分片，由此可以确定所要迁移的用户数据位于该分片之中；迁移状态用于指示客户端在接收到与该迁移状态对应的目标用户数据的读写请求之后，将该目标用户数据从源Redis群组迁移至目标Redis群组是指：客户端在接收到与该迁移状态对应的目标用户数据的读写请求之后，根据该目标用户数据所处的分片的状态信息为迁移状态，就会将该目标用户数据从源Redis群组迁移至目标Redis群组。

在传统方式下，在对一个Redis群组的分片中的用户数据进行迁移时，不可避免地要中止为使用客户端的用户提供的Redis服务，以避免用户数据错乱，这是因为在收到对这些正在迁移的用户数据的读写请求后，由于这些用户数据可能已经迁移，若继续在源Redis群组对这些用户数据进行读写，可能就会使目标Redis群组中存放的用户数据与这些读写后的用户数据不一致，造成数据错乱，而在本步骤中通过需要迁移的分片的状态信息的变更指示客户端在接收到与该迁移状态对应的目标用户数据的读写请求之后，将该目标用户数据从源Redis群组迁移至目标Redis群组，在目标Redis群组对目标用户数据进行读写，最终读写后的目标用户数据也存储在目标Redis群组之中，使得在数据迁移过程中即使不需要中止Redis服务也能确保数据的正确性。

图4是根据一示例性实施例示出的一种Redis集群中数据管理方法的系统架构示意图。如图4所示，该系统架构包括ZooKeeper集群、管理端、客户端及包括多个Redis主从群组的Redis集群，管理端和客户端均可以与ZooKeeper集群进行通信，管理端可以向ZooKeeper集群发送迁移路径信息、对需要迁移的分片的状态信息的第一更新指令和第二更新指令，客户端可以对ZooKeeper集群中与该客户端对应的分片的状态信息进行监听；客户端还可以与Redis集群中的各Redis主从群组以及外部终端进行通信，客户端通过与外部终端进行通信，可以接收外部终端发来的对该客户端对应的用户数据的读写请求，而客户端通过与Redis集群的各Redis主从群组进行通信，可以在接收到读写请求后，在读写请求所针对的用户数据所在分片为迁移状态的情况下，从Redis集群的一个Redis主从群组获取该读写请求所针对的用户数据并将该用户数据发送至Redis集群的另一个Redis主从群组，并在该Redis主从群组中对用户数据进行读写；管理端也可以与Redis集群的各Redis主从群组进行通信，可以从Redis集群的一个Redis主从群组获取分片中的用户数据，并将该用户数据迁移至另一个Redis主从群组。

图5是根据一示例性实施例示出的一种Redis集群中数据管理方法的原理示意图。参照图5所示，管理端为本公开的实施终端，本公开的实施终端可以与ZooKeeper集群、源Redis群组、目标Redis群组进行通信，将需要迁移的分片中的用户数据从源Redis群组迁移至目标Redis群组，本公开的实施终端还可以将Redis群组信息和分片信息提交给ZooKeeper集群进行维护，还可以向ZooKeeper集群发送迁移路径信息和对需要迁移的分片的状态信息的更新指令。在本实施例中，源Redis群组为第一Redis主从群组，目标Redis群组为第二Redis主从群组，源Redis群组中的虚线圆圈为需要迁移的分片中的用户数据，该用户数据会从源Redis群组经由管理端被迁移至目标Redis群组中，目标Redis群组中的实心圆即为已经迁移至目标Redis群组的该用户数据。具体而言，管理端首先对ZooKeeper集群中需要迁移的分片的状态信息进行修改，从正常状态修改为迁移状态，然后从源Redis群组获取迁移状态所对应的分片中的用户数据，然后将获取的用户数据发送至目标Redis群组。管理端获取数据以及发送数据的方式可以基于HTTP、TCP、IP等网络协议建立长连接或短连接实现。比如，管理端可以向源Redis群组发送数据获取请求，源Redis群组根据该请求对管理端进行应答，通过该应答将用户数据发送至管理端。

客户端可以对ZooKeeper集群维护的信息进行监听，还可以在接收到对用户数据的读写请求之后，在要读写的用户数据所在的分片为迁移状态的情况下，将该用户数据从源Redis群组迁移至目标Redis群组。

具体而言，客户端可以通过现有的脚本或者监听器实现对ZooKeeper集群维护的信息的监听。通过在脚本中设置监听规则或者对监听器的监听规则进行配置，从而对要读写的用户数据所在的分片的状态进行判断，判断是否为迁移状态，若为迁移状态，即可通过HTTP、TCP、IP等网络协议建立的网络连接从源Redis群组获取用户数据，然后发送至目标Redis群组。

监听器可以用于监听对象、信息的创建、销毁、增加，修改，删除等动作的发生，然后作出相应的响应处理。当对象的状态发生变化的时候，自动调用监听器对象中的方法。

在一个实施例中，在向ZooKeeper集群发送迁移路径信息和对需要迁移的分片的状态信息的第一更新指令之前，所述方法还可以包括：

将在所述Redis集群中部署的Redis群组的Redis群组信息添加至所述ZooKeeper集群对所述ZooKeeper集群中的迁移路径信息进行更新，并将所述部署的Redis群组的Redis群组信息作为目标Redis群组信息。

部署的Redis群组即在Redis集群中新构建的Redis群组，通过将部署的Redis群组的Redis群组信息添加至ZooKeeper集群，可以实现对Redis群组的扩容，扩容引入的新的Redis群组可以作为目标Redis群组，接收其他Redis群组迁移来的数据。

在一个实施例中，在向ZooKeeper集群发送迁移路径信息和对需要迁移的分片的状态信息的第一更新指令之前，所述方法还可以包括：

获取所述Redis集群中各Redis群组的接入实例数量信息和内存使用信息并存储至所述ZooKeeper集群；

根据管理员的指令从所述ZooKeeper集群读取所述Redis集群中各Redis群组的接入实例数量信息和内存使用信息并进行展示，以便接收所述管理员根据展示出的接入实例数量信息和内存使用信息提交的源Redis群组信息和目标Redis群组信息，并发送至所述ZooKeeper集群，以作为迁移路径信息进行存储。

在本实施例中，通过向管理员反馈接入实例数量信息和内存使用信息，使得管理员可以根据这些信息设置更为科学的源Redis群组信息和目标Redis群组信息，能够更好地为Redis集群中数据在Redis群组之间的迁移提供指导。

比如，管理员发现一个Redis群组接入实例数量和内存使用都很大，可以将该Redis群组设置为源Redis群组，以减轻该Redis群组的负载。

在一个实施例中，所述获取所述Redis集群中各Redis群组的接入实例数量信息和内存使用信息并存储至所述ZooKeeper集群，包括：

在根据预定规则确定的时刻定期获取所述Redis集群中各Redis群组的接入实例数量信息和内存使用信息并存储至所述ZooKeeper集群。

预定规则可以是利用各种方式设定的时序规则，比如，可以是每隔固定时间段，也可以是从一个时刻起，按照根据特定公式确定下一个时刻，例如可以使用下列公式来根据当前时刻确定下一个时刻：(2n+1)mod24，其中n为当前时刻，在当前时刻为2时的情况下，代入该公式可以得到下一个时刻为5时；而在当前时刻为15时的情况下，代入该公式可以得到下一个时刻为7时。

在本实施例中，通过定期获取接入实例数量信息和内存使用信息，实现了资源的开销与信息获取的及时性之间的平衡。

在一个实施例中，所述ZooKeeper集群保存了分片信息和对应的Redis群组信息，所述客户端通过如下方式处理接收到的读写请求：

对ZooKeeper集群中的分片信息和Redis群组信息进行监听，以将ZooKeeper集群中与该客户端对应的分片信息和Redis群组信息同步至该客户端；

当接收到对用户数据的读写请求，根据监听得到的与该客户端对应的分片信息和Redis群组信息确定所述用户数据对应的分片信息和Redis群组信息；

按照所述分片信息和Redis群组信息对所述读写请求针对的所述用户数据进行读写。

通过Redis群组信息可以找到所述用户数据所在的Redis群组，而通过分片信息可以在Redis群组找到用户数据所在的分片信息。

在一个实施例中，所述当接收到对用户数据的读写请求，根据监听得到的与该客户端对应的分片信息和Redis群组信息确定所述用户数据对应的分片信息和Redis群组信息，包括：

当接收到对用户数据的读写请求，在监听得到的与该客户端对应的分片信息中确定出与所述读写请求中的键对应的分片信息，作为所述用户数据对应的分片信息；

对所述ZooKeeper集群进行监听，以获得所述分片信息所对应的分片的状态信息；

若所述分片信息所对应的分片的状态信息为正常状态，则在与该客户端对应的Redis群组信息中确定出与所述分片信息对应的Redis群组信息，作为所述用户数据对应的Redis群组信息；

若所述分片信息所对应的分片的状态信息为迁移状态，则在与该客户端对应的Redis群组信息中确定出与所述分片信息对应的Redis群组信息中的目标Redis群组信息，作为所述用户数据对应的Redis群组信息。

在本实施例中，实现了分片信息和Redis群组信息的高效确定，并在分片的状态信息分别为正常状态和异常状态的情况下，实现了有针对性的进行Redis群组信息的确定。

步骤220，基于所述迁移路径信息和所述需要迁移的分片处于迁移状态，开始从所述源Redis群组获取所述需要迁移的分片中的用户数据，并将所述用户数据迁移至所述目标Redis群组进行存储。

在一个实施例中，步骤220可以包括：

基于所述迁移路径信息和所述需要迁移的分片处于迁移状态，每次从所述源Redis群组获取所述需要迁移的分片中的若干项用户数据作为一批用户数据，并将该批用户数据迁移至所述目标Redis群组进行存储。

一批用户数据包括多项用户数据，各批用户数据中包含的用户数据的项数可以相同，也可以不同。

在本实施例中，通过将需要迁移的分片中的用户数据从源Redis群组分批迁移至目标Redis群组进行存储，保证了迁移用户数据的稳定性，减少了网络负载。

步骤230，若所述需要迁移的分片中的用户数据均已被存储至所述目标Redis群组，向所述ZooKeeper集群发送对需要迁移的分片的状态信息的第二更新指令，由所述ZooKeeper集群根据所述第二更新指令将所述需要迁移的分片的状态信息由迁移状态更新为正常状态。

在所述需要迁移的分片中的用户数据均已被存储至所述目标Redis群组的情况下，通过将需要迁移的分片的状态信息由迁移状态更新为正常状态，使得客户端无需再将用户数据在不同Redis群组之间进行迁移，可以直接在用户数据对应的分片信息所对应的Redis群组中进行用户数据读写。

综上所述，根据图2实施例提供的Redis集群中数据管理方法，在不停机中断服务的情况下实现了缓存数据在Redis群组之间的动态迁移，并能够确保数据迁移过程中数据读写的正确性，从而提高了Redis集群的可用性。

本公开还提供了一种Redis集群中数据管理装置，以下是本公开的装置实施例。

图6是根据一示例性实施例示出的一种Redis集群中数据管理装置的框图。所述Redis集群包括多个Redis群组，每一用户对应一个实例和一个客户端，每一实例的用户数据被划分为多个分片，每一分片绑定一个Redis群组，如图6所示，装置600包括：

第一发送模块610，被配置为向ZooKeeper集群发送迁移路径信息和对需要迁移的分片的状态信息的第一更新指令，使所述ZooKeeper集群保存所述迁移路径信息，并根据所述第一更新指令将所述需要迁移的分片的状态信息由正常状态更新为迁移状态，以便所述需要迁移的分片对应的客户端在接收到对所述需要迁移的分片中目标用户数据的读写请求之后，根据监听到的所述需要迁移的分片的状态信息为迁移状态，基于所述迁移路径信息将所述目标用户数据从源Redis群组迁移至目标Redis群组，并在所述目标Redis群组中根据所述读写请求对所述目标用户数据进行读写，其中，所述迁移路径信息包括源Redis群组信息和目标Redis群组信息，所述ZooKeeper集群保存各分片的状态信息，所述迁移状态用于指示客户端在接收到与该迁移状态对应的目标用户数据的读写请求之后，将该目标用户数据从源Redis群组迁移至目标Redis群组以及所要迁移的用户数据的位置；

迁移模块620，被配置为基于所述迁移路径信息和所述需要迁移的分片处于迁移状态，开始从所述源Redis群组获取所述需要迁移的分片中的用户数据，并将所述用户数据迁移至所述目标Redis群组进行存储；

第二发送模块630，被配置为若所述需要迁移的分片中的用户数据均已被存储至所述目标Redis群组，向所述ZooKeeper集群发送对需要迁移的分片的状态信息的第二更新指令，由所述ZooKeeper集群根据所述第二更新指令将所述需要迁移的分片的状态信息由迁移状态更新为正常状态。

根据本公开的第三方面，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图7来描述根据本发明的这种实施方式的电子设备700。图7显示的电子设备700仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，电子设备700以通用计算设备的形式表现。电子设备700的组件可以包括但不限于：上述至少一个处理单元710、上述至少一个存储单元720、连接不同系统组件(包括存储单元720和处理单元710)的总线730。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元710执行，使得所述处理单元710执行本说明书上述“实施例方法”部分中描述的根据本发明各种示例性实施方式的步骤。

存储单元720可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)721和/或高速缓存存储单元722，还可以进一步包括只读存储单元(ROM)723。

存储单元720还可以包括具有一组(至少一个)程序模块725的程序/实用工具724，这样的程序模块725包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线730可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备700也可以与一个或多个外部设备900(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备700交互的设备通信，和/或与使得该电子设备700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口750进行。并且，电子设备700还可以通过网络适配器760与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器760通过总线730与电子设备700的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备700使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

根据本公开的第四方面，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

参考图8所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种Redis集群中数据管理方法，所述Redis集群包括多个Redis群组，每一用户对应一个实例和一个客户端，每一实例的用户数据被划分为多个分片，每一分片绑定一个Redis群组，其特征在于，所述方法包括：

向ZooKeeper集群发送迁移路径信息和对需要迁移的分片的状态信息的第一更新指令，使所述ZooKeeper集群保存所述迁移路径信息，并根据所述第一更新指令将所述需要迁移的分片的状态信息由正常状态更新为迁移状态，以便所述需要迁移的分片对应的客户端在接收到对所述需要迁移的分片中目标用户数据的读写请求之后，根据监听到的所述需要迁移的分片的状态信息为迁移状态，基于所述迁移路径信息将所述目标用户数据从源Redis群组迁移至目标Redis群组，并在所述目标Redis群组中根据所述读写请求对所述目标用户数据进行读写，其中，所述迁移路径信息包括源Redis群组信息和目标Redis群组信息，所述ZooKeeper集群保存各分片的状态信息，所述迁移状态用于指示客户端在接收到与该迁移状态对应的目标用户数据的读写请求之后，将该目标用户数据从源Redis群组迁移至目标Redis群组以及所要迁移的用户数据的位置；

基于所述迁移路径信息和所述需要迁移的分片处于迁移状态，开始从所述源Redis群组获取所述需要迁移的分片中的用户数据，并将所述用户数据迁移至所述目标Redis群组进行存储；

若所述需要迁移的分片中的用户数据均已被存储至所述目标Redis群组，向所述ZooKeeper集群发送对需要迁移的分片的状态信息的第二更新指令，由所述ZooKeeper集群根据所述第二更新指令将所述需要迁移的分片的状态信息由迁移状态更新为正常状态。

2.根据权利要求1所述的方法，其特征在于，在向ZooKeeper集群发送迁移路径信息和对需要迁移的分片的状态信息的第一更新指令之前，所述方法还包括：

将在所述Redis集群中部署的Redis群组的Redis群组信息添加至所述ZooKeeper集群，以便将所述部署的Redis群组的Redis群组信息作为迁移路径信息中的目标Redis群组信息。

3.根据权利要求1所述的方法，其特征在于，在向ZooKeeper集群发送迁移路径信息和对需要迁移的分片的状态信息的第一更新指令之前，所述方法还包括：

获取所述Redis集群中各Redis群组的接入实例数量信息和内存使用信息并存储至所述ZooKeeper集群；

根据管理员的指令从所述ZooKeeper集群读取所述Redis集群中各Redis群组的接入实例数量信息和内存使用信息并进行展示，以便接收所述管理员根据展示出的接入实例数量信息和内存使用信息提交的源Redis群组信息和目标Redis群组信息，并发送至所述ZooKeeper集群，以作为迁移路径信息进行存储。

4.根据权利要求3所述的方法，其特征在于，所述获取所述Redis集群中各Redis群组的接入实例数量信息和内存使用信息并存储至所述ZooKeeper集群，包括：

在根据预定规则确定的时刻定期获取所述Redis集群中各Redis群组的接入实例数量信息和内存使用信息并存储至所述ZooKeeper集群。

5.根据权利要求1所述的方法，其特征在于，所述ZooKeeper集群保存了分片信息和对应的Redis群组信息，所述客户端通过如下方式处理接收到的读写请求：

对ZooKeeper集群中的分片信息和Redis群组信息进行监听，以将ZooKeeper集群中与该客户端对应的分片信息和Redis群组信息同步至该客户端；

当接收到对用户数据的读写请求，根据监听得到的与该客户端对应的分片信息和Redis群组信息确定所述用户数据对应的分片信息和Redis群组信息；

按照所述分片信息和Redis群组信息对所述读写请求针对的所述用户数据进行读写。

6.根据权利要求5所述的方法，其特征在于，所述当接收到对用户数据的读写请求，根据监听得到的与该客户端对应的分片信息和Redis群组信息确定所述用户数据对应的分片信息和Redis群组信息，包括：

当接收到对用户数据的读写请求，在监听得到的与该客户端对应的分片信息中确定出与所述读写请求中的键对应的分片信息，作为所述用户数据对应的分片信息；

对所述ZooKeeper集群进行监听，以获得所述分片信息所对应的分片的状态信息；

若所述分片信息所对应的分片的状态信息为正常状态，则在与该客户端对应的Redis群组信息中确定出与所述分片信息对应的Redis群组信息，作为所述用户数据对应的Redis群组信息；

若所述分片信息所对应的分片的状态信息为迁移状态，则在与该客户端对应的Redis群组信息中确定出与所述分片信息对应的Redis群组信息中的目标Redis群组信息，作为所述用户数据对应的Redis群组信息。

7.根据权利要求1所述的方法，其特征在于，所述基于所述迁移路径信息和所述需要迁移的分片处于迁移状态，开始从所述源Redis群组获取所述需要迁移的分片中的用户数据，并将所述用户数据迁移至所述目标Redis群组进行存储，包括：

基于所述迁移路径信息和所述需要迁移的分片处于迁移状态，每次从所述源Redis群组获取所述需要迁移的分片中的若干项用户数据作为一批用户数据，并将该批用户数据迁移至所述目标Redis群组进行存储。

8.一种Redis集群中数据管理装置，所述Redis集群包括多个Redis群组，每一用户对应一个实例和一个客户端，每一实例的用户数据被划分为多个分片，每一分片绑定一个Redis群组，其特征在于，所述装置包括：

第一发送模块，被配置为向ZooKeeper集群发送迁移路径信息和对需要迁移的分片的状态信息的第一更新指令，使所述ZooKeeper集群保存所述迁移路径信息，并根据所述第一更新指令将所述需要迁移的分片的状态信息由正常状态更新为迁移状态，以便所述需要迁移的分片对应的客户端在接收到对所述需要迁移的分片中目标用户数据的读写请求之后，根据监听到的所述需要迁移的分片的状态信息为迁移状态，基于所述迁移路径信息将所述目标用户数据从源Redis群组迁移至目标Redis群组，并在所述目标Redis群组中根据所述读写请求对所述目标用户数据进行读写，其中，所述迁移路径信息包括源Redis群组信息和目标Redis群组信息，所述ZooKeeper集群保存各分片的状态信息，所述迁移状态用于指示客户端在接收到与该迁移状态对应的目标用户数据的读写请求之后，将该目标用户数据从源Redis群组迁移至目标Redis群组以及所要迁移的用户数据的位置；

迁移模块，被配置为基于所述迁移路径信息和所述需要迁移的分片处于迁移状态，开始从所述源Redis群组获取所述需要迁移的分片中的用户数据，并将所述用户数据迁移至所述目标Redis群组进行存储；

第二发送模块，被配置为若所述需要迁移的分片中的用户数据均已被存储至所述目标Redis群组，向所述ZooKeeper集群发送对需要迁移的分片的状态信息的第二更新指令，由所述ZooKeeper集群根据所述第二更新指令将所述需要迁移的分片的状态信息由迁移状态更新为正常状态。

9.一种计算机可读程序介质，其特征在于，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行根据权利要求1至7中任一项所述的方法。

10.一种电子设备，其特征在于，所述电子设备包括：

处理器；

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如权利要求1至7任一项所述的方法。

Images