CN103207841A - 基于键值对缓存的数据读写方法及装置 - Google Patents

Abstract

本发明公开了一种基于键值对缓存的数据读写方法及装置。该方法包括：设置以键值对的方式缓存数据的主缓存器以及从缓存器，并设置从缓存器根据设置的同步周期从主缓存器获取同步更新的数据；接收客户端发送的数据请求，如果为数据读请求，输出至选取的从缓存器，否则，将数据请求输出至主缓存器；接收主缓存器返回的数据请求响应或从缓存器返回的数据读请求响应后，转发至相应的客户端；监测主缓存器和从缓存器的状态，在监测到主缓存器发生故障后，选取从缓存器并发送属性变更指令，从缓存器根据属性变更指令切换为主缓存器。应用本发明，客户端可透明使用缓存器，不用关心单个缓存器是否发生故障，并可提高缓存器数据的读写效率。

Description

基于键值对缓存的数据读写方法及装置

技术领域

本发明涉及数据缓存处理技术，尤其涉及一种基于键值对（KV，Key-Value）缓存的数据读写方法及装置。

背景技术

随着数字电视技术的发展，智能电视系统服务的客户数量日益增大。为了提高智能电视系统中数据传输（读写）的效率，提升智能电视系统的并发性能，一般采用键值对（KV，Key-Value）缓存技术，KV缓存技术是现今应用广泛的存储技术，通过将热点数据存储在智能电视系统的内存中，并采用哈希（Hash）索引方式提升对数据的读写访问速度，从而可以极大提高智能电视系统的并发性能以及传输效率。但由于缓存技术是将数据存储在内存中，因而，在智能电视系统发生故障时，不仅会造成数据传输业务中断，而且，缓存中存储的数据也会丢失且不可恢复，使得智能电视系统的可用性或可靠性较低。

为了避免智能电视系统故障导致的数据丢失以及传输业务中断，提升智能电视系统的可用性，现有技术提出了主从结构的KV缓存的数据读写方法。在智能电视系统中，设置一个主缓存器以及一个或多个从缓存器，主缓存器与从缓存器实时进行数据同步。在智能电视系统正常运行时，主缓存器处于工作状态，向请求服务的客户端提供数据读写业务服务，从缓存器处于备用状态。当主缓存器发生故障失效时，各从缓存器根据预先设置的失效处理策略，将其中的一个从缓存器升级为主缓存器，用以替换失效的主缓存器，并向请求服务的客户端发送包含升级的从缓存器的服务地址更新信息，通知客户端更新设置，使得客户端可以根据服务地址更新信息向升级的从缓存器请求数据读写业务服务，保障数据传输业务不中断；同时，向各从缓存器发送同步信息，通知各从缓存器按照预先设置的同步周期与自身进行数据同步。失效的主缓存器在排除故障后，作为从缓存器以供备份。

由上述可见，现有基于KV缓存的数据读写方法，通过主从结构的KV缓存，用以保障智能电视系统数据传输的可用性。但是，通过主缓存器向客户端提供数据读写业务服务，从缓存器只是作为备份缓存器，在主缓存器失效之前，从缓存器不能为客户端提供数据读写业务服务，使得主缓存器负载较重，导致主缓存器与从缓存器的负载失衡，容易引起主缓存器拥堵，使得主缓存器数据读写效率降低；进一步地，在主缓存器发生故障失效时，需要升级的从缓存器向智能电视系统中的各客户端发送包含该从缓存器的服务地址更新信息，使客户端更新设置以能与升级的从缓存器进行通信，从而不中断数据读写业务服务。由于智能电视系统服务的客户端数量大，使得发送服务地址更新信息所需的资源开销大；而且，客户端需要根据接收的包含升级的从缓存器的服务地址更新信息进行更新设置，需要针对主从缓存器的结构不断构建、变更连接，流程较为复杂，不能做到透明连接。

发明内容

本发明的实施例提供一种基于键值对缓存的数据读写方法，客户端可以透明使用缓存器，不用关心单个缓存器是否发生故障，并且可以提高缓存器数据的读写效率。

本发明的实施例还提供一种基于键值对缓存的数据读写装置，客户端可以透明使用缓存器，不用关心单个缓存器是否发生故障，并且可以提高缓存器数据的读写效率。

为达到上述目的，本发明实施例提供的一种基于键值对缓存的数据读写方法，该方法包括：

预先设置以键值对的方式缓存数据的主缓存器以及从缓存器，并设置从缓存器根据预先设置的同步周期，从主缓存器获取同步更新的数据；

接收客户端发送的数据请求，识别数据请求类型，如果为数据读请求，选取从缓存器，将数据读请求输出至该从缓存器，如果为数据读写请求或数据写请求，将数据请求输出至主缓存器；

接收主缓存器返回的数据请求响应或从缓存器返回的数据读请求响应后，转发至相应的客户端；

监测主缓存器和从缓存器的状态，在监测到主缓存器发生故障后，选取从缓存器并向该从缓存器发送属性变更指令，该从缓存器根据所述属性变更指令切换为主缓存器。

其中，所述方法进一步包括：

更新存储的运行状态列表中发生故障的主缓存器信息以及选取的从缓存器信息；

远程拉起发生故障的主缓存器，在发生故障的主缓存器排除故障启动后，更新存储的运行状态列表中发生故障的主缓存器信息；

将启动的主缓存器切换为从缓存器，向该切换的从缓存器发送包含当前主缓存器信息的同步更新指令；

所述切换的从缓存器接收同步更新指令，向同步更新指令中包含的当前主缓存器获取同步更新的数据。

其中，所述运行状态列表包含缓存器的属性、缓存器状态以及缓存器当前的负载量。

其中，所述方法进一步包括：

设置从服务管理器，按照预先设置的状态更新周期，与主服务管理器运行状态列表同步；

监测主服务管理器的状态，在监测到主服务管理器发生故障后，接管主服务管理器。

其中，所述接管主服务管理器包括：

从服务管理器切换为主服务管理器后，动态生成伪IP；

调用用于配置该从服务管理器网卡的命令，将动态生成的伪IP挂载到网卡的媒体访问层地址上；

生成并发送地址解析协议包，通知主缓存服务器、各从缓存服务器以及外部网关。

其中，所述数据请求中携带有读写标识，根据数据请求中携带的读写标识进行所述识别数据请求类型的步骤。

其中，所述数据请求中携带键值对缓存的操作命令，根据数据请求中携带的键值对缓存的操作命令进行所述识别数据请求类型的步骤。

其中，所述键值对缓存的操作命令包括：设置命令、获取命令、更新命令以及删除命令，其中，

设置命令、更新命令以及删除命令属于写命令，携带于数据读写请求或数据写请求中；获取命令属于读命令，携带于数据读请求中。

其中，所述从缓存器的数量为多个，所述选取从缓存器包括：

根据预先设置的负载策略，从多个从缓存器中选取符合负载策略的一个从缓存器；

在选取从缓存器并向该从缓存器发送属性变更指令后，所述方法进一步包括：

向其他从缓存器发送包含该从缓存器信息的同步更新指令，以使接收同步更新指令的从缓存器向指令中的从缓存器获取同步更新的数据。

其中，所述负载策略包括：负载最轻策略、随机选择策略和轮询策略。

其中，所述方法进一步包括：

监测到从缓存器发生故障，选取负载最轻的正常运行的从缓存器，将发生故障的从缓存器的数据读业务切换至选取的从缓存器，并更新存储的运行状态列表。

一种基于键值对缓存的数据读写装置，该装置包括：

主缓存器、从缓存器以及主服务管理器，其中，

主缓存器，用于以键值对的方式缓存数据，接收主服务管理器输出的数据读写请求，进行数据读写，并将读写的数据携带在数据读写请求响应中，输出至主服务管理器；在发生故障并排除故障启动后，切换为从缓存器；

从缓存器，用于以键值对的方式缓存数据，根据预先设置的同步周期，从主缓存器获取同步更新的数据；接收主服务管理器输出的数据读请求，读取数据，并将读取的数据携带在数据读请求响应中，输出至主服务管理器；接收主服务管理器输出的属性变更指令，根据所述属性变更指令切换为主缓存器；

主服务管理器，用于监测主缓存器和从缓存器的状态，在监测到主缓存器发生故障后，根据预先设置的负载策略，从管理的从缓存器中，选取符合负载策略的一个从缓存器，并向该从缓存器发送属性变更指令，向其他从缓存器发送包含该从缓存器信息的同步更新指令，以使接收同步更新指令的从缓存器向指令中的从缓存器获取同步更新的数据；接收客户端发送的数据请求，如果为数据读请求，根据预先设置的负载策略，选取符合负载策略的一个从缓存器，将数据读请求输出至该从缓存器，如果为数据读写请求或数据写请求，将数据读写请求输出至主缓存器。

较佳地，所述主服务管理器在主缓存器发生故障后，进一步用于远程拉起发生故障的主缓存器，并在发生故障的主缓存器启动后，将运行状态列表中该缓存器的运行状态更新为正常运行。

较佳地，所述装置进一步包括：

从服务管理器，用于按照预先设置的状态更新周期，与主服务管理器运行状态列表同步；监测主服务管理器的状态，在监测到主服务管理器发生故障后，接管主服务管理器。

较佳地，所述主缓存器与主服务管理器的数量为一个，所述从缓存器与从服务管理器的数量为一个或多个。

由上述技术方案可见，本发明实施例提供的一种基于键值对缓存的数据读写方法及装置，预先设置以键值对的方式缓存数据的主缓存器以及从缓存器，并设置从缓存器根据预先设置的同步周期，从主缓存器获取同步更新的数据；接收客户端发送的数据请求，识别数据请求类型，如果为数据读请求，选取从缓存器，将数据读请求输出至该从缓存器，如果为数据读写请求或数据写请求，将数据请求输出至主缓存器；接收主缓存器返回的数据请求响应或从缓存器返回的数据读请求响应后，转发至相应的客户端；监测主缓存器和从缓存器的状态，在监测到主缓存器发生故障后，选取从缓存器并向该从缓存器发送属性变更指令，以使该从缓存器将自身切换为主缓存器。这样，通过设置主服务管理器，对主缓存器以及从缓存器的运行状态进行监测，并对客户端发送的数据请求进行区分，将数据读请求输出至从缓存器进行处理，有效降低了主缓存器的负载，使主缓存器与从缓存器的负载较为均衡，降低了主缓存器的拥堵，提升了主缓存器数据的读写效率。进一步地，在主缓存器发生故障失效时，通过主服务管理器对客户端发送的数据请求进行处理，无需向智能电视系统中的各客户端发送服务地址更新信息，减少了传输服务地址更新信息所需的资源开销，提升了资源的利用率；而且，在主缓存器发生故障失效时，客户端无需进行更新设置，只需维持与主服务管理器的连接即可，客户端可以透明使用缓存器，不用关心单个缓存器是否发生故障，并且可以提高缓存器数据的读写效率，实现流程简单。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，以下将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，以下描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员而言，还可以根据这些附图所示实施例得到其它的实施例及其附图。

图1为本发明实施例基于键值对缓存的数据读写装置结构示意图。

图2为本发明实施例基于键值对缓存的数据读写方法流程示意图。

图3为本发明实施例主服务管理器处理客户端请求的流程示意图。

图4为本发明实施例从服务管理器进行监测的流程示意图。

图5为本发明实施例主服务管理器进行监测的流程示意图。

具体实施方式

以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。

现有基于键值对缓存的数据读写方法，采用主从结构的缓存器，主缓存器向客户端提供数据读写业务服务，从缓存器作为主缓存器失效时的备份缓存器，不能为客户端提供数据读写业务服务，使得主缓存器负载较重、数据读写效率较低。

实际应用中，考虑到从缓存器按照预先设置的同步周期与主缓存器进行数据同步，可以使得从缓存器中缓存的数据与主缓存器缓存的数据一致。因而，本发明实施例中，设置服务管理器，对客户端请求的服务进行区分，当客户端请求的服务为读数据时，可以通过从缓存服务器向客户端提供读数据的服务，分担主缓存器负载，从而降低主缓存器负载，降低主缓存器发生拥堵的概率，提升主缓存器的数据读写效率。

图1为本发明实施例基于键值对缓存的数据读写装置结构示意图。参见图1，该装置包括：主缓存器、从缓存器以及主服务管理器，其中，

主缓存器与主服务管理器的数量为一个，从缓存器的数量为一个或多个。

主缓存器，用于以键值对的方式缓存数据，接收主服务管理器输出的数据读写请求，进行数据读写，并将读写的数据携带在数据读写请求响应中，输出至主服务管理器；在发生故障并排除故障启动后，切换为从缓存器；

从缓存器，用于以键值对的方式缓存数据，根据预先设置的同步周期，从主缓存器获取同步更新的数据；接收主服务管理器输出的数据读请求，读取数据，并将读取的数据携带在数据读请求响应中，输出至主服务管理器；接收主服务管理器输出的属性变更指令，根据所述属性变更指令切换为主缓存器；

本发明实施例中，主缓存器与从缓存器之间可以进行属性变更，即主缓存器可以变更为从缓存器，从缓存器可以变更为主缓存器。从缓存器在将自身切换为主缓存器后，执行主缓存器的功能，向客户端提供读写数据服务。而主缓存器在将自身切换为从缓存器后，执行从缓存器的功能，向客户端提供读数据服务，并根据预先设置的同步周期，从主缓存器获取同步更新的数据。

主服务管理器，用于监测主缓存器和从缓存器的状态，在监测到主缓存器发生故障后，根据预先设置的负载策略，从管理的从缓存器中，选取符合负载策略的一个从缓存器，并向该从缓存器发送属性变更指令，向其他从缓存器发送包含该从缓存器信息的同步更新指令，以使接收同步更新指令的从缓存器向指令中的从缓存器获取同步更新的数据；接收客户端发送的数据请求，如果为数据读请求，根据预先设置的负载策略，选取符合负载策略的一个从缓存器，将数据读请求输出至该从缓存器，如果为数据读写请求或数据写请求，将数据读写请求输出至主缓存器。

本发明实施例中，主服务管理器在接收到数据读写请求响应或数据读请求响应后，转发至相应的客户端。

负载策略可以是负载最轻策略，也可以是随机选择策略，还可以是轮询策略，通过轮询选择从缓存器为客户端提供数据服务。实际应用中，主服务管理器识别数据请求是数据读请求还是数据读写请求，或是数据写请求，可以通过客户端在发送数据请求时，携带读写标识进行识别。例如，如果数据读写标识为0，表示进行数据读操作，如果数据读写标识为1，表示进行数据写操作，如果数据读写标识为2，表示既进行数据读操作，也进行数据写操作。当然，实际应用中，也可以根据KV缓存的操作命令区分读写操作，具体来说，KV缓存的操作命令包括：设置（set）命令、获取（get）命令、更新（update）命令以及删除（delete）命令。其中，set命令、update命令以及delete命令属于写命令，包含有写命令的数据请求将路由到主缓存器；get命令属于读命令，包含有读命令的数据请求将路由到从缓存器。

较佳地，主服务管理器将监测得到的主缓存器和从缓存器的状态存储在预先设置的运行状态列表中，其中，缓存器运行状态的改变与缓存器属性以及负载相关，因而，运行状态列表中，包括缓存器的属性（主缓存器还是从缓存器）、缓存器状态（正常运行还是发生故障）以及缓存器当前的负载量。这样，在向从缓存器发送属性变更指令后，将该从缓存器的属性变更为主缓存器，同时，将失效缓存器的属性变更为从缓存器，将失效缓存器的状态变更为发生故障。使得主服务管理器可以将接收的客户端的数据请求进行处理后，转发到相应的缓存器。

实际应用中，主服务管理器还可以作为从缓存器使用。较佳地，在监测到主缓存器发生故障后，主服务管理器不参与属性变更指令对应的从缓存器的选取，在接收客户端发送的数据请求、且为数据读请求后，作为参与读数据请求处理的从缓存器，如果自身符合负载策略，则直接读取数据后，将读取的数据携带在数据读请求响应中，输出至数据读请求对应的客户端。

当然，实际应用中，主服务管理器在主缓存器发生故障后，还可以进一步用于远程拉起发生故障的主缓存器，并在发生故障的主缓存器启动后，将运行状态列表中该缓存器的运行状态更新为正常运行。其中，远程拉起即进行远程控制，通过计算机网络异地接入因特网，连通被控制的主缓存器，将被控主缓存器的桌面环境显示到主服务管理器上，通过主服务管理器对异地的发生故障的主缓存器进行配置、软件安装程序、修改等，以排除发生故障的主缓存器的故障，并通过远程唤醒方式启动排除故障的主缓存器。

本发明实施例中，通过设置主服务管理器，对主缓存器以及从缓存器的运行状态进行监测，并对客户端发送的数据请求进行区分，将数据读请求输出至从缓存器进行处理，有效降低了主缓存器的负载，使主缓存器与从缓存器的负载较为均衡，降低了主缓存器的拥堵，使得主缓存器数据读写效率得以提升。进一步地，在主缓存器发生故障失效时，通过主服务管理器对客户端发送的数据请求进行处理，无需向智能电视系统中的各客户端发送服务地址更新信息，减少了传输服务地址更新信息所需的资源开销，提升了资源的利用率；而且，在主缓存器发生故障失效时，客户端无需进行更新设置，只需维持与主服务管理器的连接即可，实现流程简单，与主服务管理器的连接为透明连接。

实际应用中，为了避免主服务管理器发生故障时导致的数据传输中断，该装置还可以进一步包括：

从服务管理器，用于按照预先设置的状态更新周期，与主服务管理器运行状态列表同步；监测主服务管理器的状态，在监测到主服务管理器发生故障后，接管主服务管理器。

本发明实施例中，从服务管理器作为主服务管理器的备份，在主服务管理器发生故障不可用后，接管主服务管理器，与主缓存器以及从缓存器进行通信，向客户端提供服务。同时，试图拉起发生故障的主服务管理器，发生故障的主服务管理器启动后，将自身设置为从服务管理器，按照预先设置的状态更新周期，与主服务管理器运行状态列表同步，并监测当前运行的主服务管理器的状态。

本发明实施例中，接管主服务管理器的过程可以是在从服务管理器切换为主服务管理器后，动态生成伪IP，调用用于配置该从服务管理器网卡的命令（ifconfig），将动态生成的伪IP挂载到网卡的媒体访问层（MAC，Medium Access Control）地址上，生成并发送地址解析协议（ARP，AddressResolution Protocol）包，通知智能电视系统内的主缓存服务器、各从缓存服务器以及网关，在访问该伪IP时，将会转到该伪IP挂载的MAC地址。当宕机的主服务管理器重启，切换为从服务管理器时，自动删除生成的动态伪IP。这样，客户端只需要关心一个不会变化的伪IP地址，而不必关心需要连接哪一台服务管理器。

本发明实施例中，缓存器的配置采用一主多从的方法，从缓存器只能读不能写，主缓存器可读写，从缓存器按照预先设置的同步周期，主动与主缓存器同步数据，从主缓存器获取同步数据。这样，可以保持主从缓存器中数据的一致性。

实际应用中，还可以在主服务管理器以及从服务管理器中设置第一端口和第二端口，分别用于转发客户端的数据请求。例如，如果确定数据请求为数据读写请求或数据写请求，则主服务管理器查找维护的运行状态列表，获取主缓存器，将数据读写请求或数据写请求通过第一端口发送至主缓存器，并将该客户端连接到主缓存器。这样，主服务管理器将负责客户端和主缓存器之间的数据读写转发。如果确定数据请求为数据读请求，则主服务管理器查找维护的运行状态列表，选取负载最轻的从缓存器（在主服务管理器作为从缓存器使用的情况下，包括主服务管理器），将数据读请求通过第二端口发送至该选取的从缓存器，并将发送数据读请求的客户端连接到选取的从缓存器。这样，主服务管理器将负责客户端与从缓存器之间的读数据转发。

本发明实施例中，主缓存器通过第一端口与主服务管理器相连，从缓存器通过第二端口与主服务管理器相连。当然，实际应用中，不同的从缓存器可以使用同一个第二端口，也可以分别设置不同的端口与主服务管理器相连。

本发明实施例中，主服务管理器监控各缓存器（主缓存器以及从缓存器）的运行状况，维护主从缓存器的运行状态列表，从服务管理器按照预先设置的状态更新周期，同步备份主服务管理器维护的主从缓存器的运行状态列表。具体来说，

当主服务管理器监测到从缓存器宕机（发生故障失效）时，则将该从缓存器运行的数据读服务切换至其它从缓存器，并从运行状态列表中删除，即将该从缓存从正常运行变更为发生故障，并试图通过远程重新拉起宕机的从缓存器。当从缓存器被拉起后，将从缓存器加入运行状态列表中，即将该从缓存从发生故障变更为正常运行。

当主服务管理器监测到主缓存器宕机时，则将负载量最轻的从缓存器设置为主缓存器，并将主缓存器发生变化的信息以及该从缓存器信息，携带在同步更新指令中，通知其它的从缓存器，触发通知的从缓存器向新的主缓存器同步数据。同时，通过远程重新拉起宕机的主缓存器。当主服务管理器远程拉起宕机的主缓存器后，将拉起的主缓存器切换为从缓存器。这样，由于主从缓存器中的数据是同步的，在主缓存器宕机而从缓存器切换为主缓存器的过程中，该从缓存器缓存的数据也是一套完整的数据，因此不会造成业务中断和数据丢失。

图2为本发明实施例基于键值对缓存的数据读写方法流程示意图。参见图2，该流程包括：

步骤201，预先设置以键值对的方式缓存数据的主缓存器以及从缓存器，并设置从缓存器根据预先设置的同步周期，从主缓存器获取同步更新的数据；

本步骤中，以键值对的方式缓存数据，采用哈希（Hash）索引方式进行数据的读写，可以提升对数据的读写访问速度，从而极大提高智能电视系统的并发性能以及传输效率。

同步周期可以根据实际需要确定，通过设置从缓存器从主缓存器获取同步更新的数据，可以保持主从缓存器中数据的一致性。

步骤202，接收客户端发送的数据请求，识别数据请求类型，如果为数据读请求，选取从缓存器，将数据读请求输出至该从缓存器，如果为数据读写请求或数据写请求，将数据请求输出至主缓存器；

本步骤中，如果从缓存器的数量为一个，则该从缓存器为选取的从缓存器；如果从缓存器的数量为多个，选取从缓存器包括：根据预先设置的负载策略，从多个从缓存器中选取符合负载策略的一个从缓存器。其中，如果符合负载策略的从缓存器数量为多个，则从符合负载策略的多个从缓存器中，随机选取一个。负载策略可以是负载最轻策略，也可以是随机选择策略，还可以是轮询策略，通过轮询选择从缓存器为客户端提供数据服务。

较佳地，数据请求中携带有读写标识，根据携带的读写标识对数据请求类型进行识别。例如，如果数据读写标识为0，表示进行数据读操作，如果数据读写标识为1，表示进行数据写操作，如果数据读写标识为2，表示既进行数据读操作，也进行数据写操作。

当然，实际应用中，数据请求中也可以携带KV缓存的操作命令，根据携带的KV缓存的操作命令对数据请求类型进行识别。

KV缓存的操作命令包括：设置命令、获取命令、更新命令以及删除命令。其中，设置命令、更新命令以及删除命令属于写命令，包含有写命令的数据请求将路由到主缓存器；获取命令属于读命令，包含有读命令的数据请求将路由到从缓存器。

步骤203，接收主缓存器返回的数据请求响应或从缓存器返回的数据读请求响应后，转发至相应的客户端；

本步骤中，主缓存器接收数据读写请求，进行数据读写，并将读写的数据携带在数据读写请求响应中输出，即数据读写请求响应中包含主缓存器根据数据读写请求读写的数据。从缓存器接收数据读请求，进行数据读取，并将读取的数据携带在数据读请求响应中输出，即数据读请求响应中包含从缓存器根据数据读请求读取的数据。

步骤204，监测主缓存器和从缓存器的状态，在监测到主缓存器发生故障后，选取从缓存器并向该从缓存器发送属性变更指令，以使该从缓存器将自身切换为主缓存器。

本步骤中，如果从缓存器的数量为一个，则该从缓存器为选取的从缓存器；

如果从缓存器的数量为多个，选取从缓存器包括：根据预先设置的负载策略，从多个从缓存器中选取符合负载策略的一个从缓存器。其中，如果符合负载策略的从缓存器数量为多个，则从符合负载策略的多个从缓存器中，随机选取一个。相应地，该方法还进一步包括：

向其他从缓存器发送包含该从缓存器信息的同步更新指令，以使接收同步更新指令的从缓存器向指令中的从缓存器获取同步更新的数据。

实际应用中，该方法还可以进一步包括：

步骤205，更新存储的运行状态列表中发生故障的主缓存器信息以及选取的从缓存器信息；

本步骤中，运行状态列表中，包括缓存器的属性（主缓存器还是从缓存器）、缓存器状态（正常运行还是发生故障）以及缓存器当前的负载量。将选取的从缓存器的属性变更为主缓存器，同时，将发生故障的主缓存器的属性变更为从缓存器，状态变更为发生故障。

步骤206，远程拉起发生故障的主缓存器，在发生故障的主缓存器排除故障启动后，更新存储的运行状态列表中发生故障的主缓存器信息；

本步骤中，将启动后的缓存器的状态变更为正常运行。关于远程拉起发生故障的主缓存器的详细流程，具体可参见相关技术文献，在此不再赘述。

步骤207，将启动的主缓存器切换为从缓存器，向该切换的从缓存器发送包含当前主缓存器信息的同步更新指令；

步骤208，所述切换的从缓存器接收同步更新指令，向同步更新指令中包含的当前主缓存器获取同步更新的数据。

本步骤中，主缓存器在切换为从缓存器后，执行从缓存器的功能，向客户端提供读数据服务，并根据预先设置的同步周期，从当前主缓存器获取同步更新的数据。

实际应用中，该方法还可以进一步包括：

监测到从缓存器发生故障，选取负载最轻的正常运行的从缓存器，将发生故障的从缓存器的数据读业务切换至选取的从缓存器，并更新存储的运行状态列表。

本发明实施例中，基于键值对缓存的数据读写方法还可以进一步包括：

设置从服务管理器，按照预先设置的状态更新周期，与主服务管理器运行状态列表同步；

监测主服务管理器的状态，在监测到主服务管理器发生故障后，接管主服务管理器。

本步骤中，接管主服务管理器包括：

从服务管理器切换为主服务管理器后，动态生成伪IP；

调用用于配置该从服务管理器网卡的命令，将动态生成的伪IP挂载到网卡的媒体访问层地址上；

生成并发送地址解析协议包，通知主缓存服务器、各从缓存服务器以及外部网关。

本步骤中，通知的作用是在主缓存服务器、各从缓存服务器以及外部网关访问该伪IP时，将会转到该伪IP挂载的MAC地址。当宕机的主服务管理器重启，切换为从服务管理器时，自动删除生成的动态伪IP。关于生成伪IP、挂载的详细描述，具体可参见相关技术文献，在此不再赘述。

由上述可见，本发明实施例中，基于键值对的数据缓存方法包括三个层次，分别是客户端层、服务管理层以及KV缓存层。其中，服务管理层负责监控和管理KV缓存层中缓存器集群的状态，并将客户端的数据请求转发到相应的缓存器。KV缓存层内部实现主从缓存器的数据同步，主缓存器可读写，从缓存器只读。这样，不仅可以避免故障引发数据丢失，还可以实现负载均衡，客户端层中的客户端可以不用关心KV缓存层中缓存器集群的结构以及单个缓存器是否发生故障，可以透明使用缓存服务，并且可以提高缓存器数据的读写效率。

下面基于图1和图2，对本发明实施例作进一步描述。

图3为本发明实施例主服务管理器处理客户端请求的流程示意图。参见图3，该流程包括：

步骤301，主服务管理器监听来自客户端的数据请求；

步骤302，判断接收的数据请求类型，如果是数据读请求，执行步骤303，如果是数据读写请求或数据写请求，执行步骤304；

本步骤中，如果是数据读请求，则表明客户端可以通过读写端口（第一端口）获取数据；否则，表明客户端可以通过只读端口（第二端口）获取数据。因而，客户端只需要获取伪IP地址、读写端口（第一端口）以及只读端口（第二端口），根据需要连接的不同端口，主服务管理器自动将客户端的请求转发到相应的缓存器上。

步骤303，查找负载最轻的从缓存器并连接，执行步骤305；

步骤304，查找并连接主缓存器，执行步骤305；

步骤305，主服务管理器在客户端与主缓存器，或客户端与从缓存器之间转发数据；

步骤306，更新运行状态列表。

图4为本发明实施例从服务管理器进行监测的流程示意图。参见图4，该流程包括：

步骤401，从服务管理器监控主服务管理器状态；

步骤402，判断主服务管理器状态是否可用，如果可用，返回执行步骤401，如果不可用，执行步骤403；

步骤403，从服务管理器将自己设置为主服务管理器，并将伪IP挂载到网卡的MAC地址；

本步骤中，从服务管理器与主服务管理器定期进行心跳通信，且主从服务管理器定期检查与网关的链路。如果从服务管理器检测到与主服务管理器的心跳丢失预先设置的时间，而从服务管理器与网关链路正常，则确定主服务管理器失效；如果主服务管理器检测到与从服务管理器通信正常，但与网关链路的通信失败，则通知从服务管理器，携带主服务管理器失效的信息。

步骤404，从服务管理器试图拉起宕机的主服务管理器；

本步骤中，从服务管理器使用安全外壳协议（SSH，Secure Shell）自动运行标准命令，将主服务管理器拉起。如果主服务管理器物理宕机或网络中断则不可恢复。

步骤405，宕机的主服务管理器在启动后，切换为从服务管理器。

图5为本发明实施例主服务管理器进行监测的流程示意图。参见图5，该流程包括：

步骤501，主服务管理器监控各缓存器的状态；

本步骤中，主服务管理器维护缓存器的运行状态列表，从服务管理器同步备份主服务管理器维护缓存器的运行状态列表。

步骤502，判断发生故障的缓存器是否为主缓存器，如果是，执行步骤503，否则，执行步骤505；

本步骤中，主服务管理器定期与各缓存器通信，确定缓存器功能是否正常，如果通信失败一定次数后，认为该缓存器失效。

步骤503，将负载量最轻的从缓存器设置为主缓存器，更新运行状态列表；

本步骤中，当主服务管理器检测到主缓存器宕机时，将负载量最低的从缓存器设置为主缓存器，执行步骤505。

步骤504，通知其它的从缓存器，说明主缓存器发生变化，重新向新的主缓存器同步数据，执行步骤505；

步骤505，试图拉起发生故障的缓存器，并将拉起的缓存器作为从缓存器；

本步骤中，当主服务管理器远程拉起先前宕机的主缓存器后，将它作为从缓存器。由于主从缓存器中缓存的数据是同步的，在主缓存器宕机而从缓存器切换为主缓存器的过程中，该从缓存器中缓存的数据也是一套完整的数据，因此不会造成业务中断和数据丢失。

当主服务管理器检测到从缓存器宕机时，将从缓存器从运行状态列表中删除，并试图通过远程重新拉起从缓存器。

主服务管理器拉起从缓存器可以通过SSH命令，远程执行其他机器上的命令，拉起对应进程，提供数据服务。

当从缓存器被拉起后，主服务管理器通知该从缓存器向主缓存器同步数据，并将从缓存器加入列表中。

步骤506，更新运行状态列表。

本发明实施例中，主服务管理器监控各缓存器的状况，维护缓存器的运行状态列表。当主服务管理器检测到从缓存器宕机时，则试图通过远程重新拉起从缓存器。当从缓存器被拉起后，主服务管理器将从缓存器加入运行状态列表中。当主服务管理器发现主缓存器宕机时，则将负载量最低的从缓存器设置为主缓存器，并通知其它的从缓存器向新的主缓存器同步数据。当主服务管理器远程拉起先前宕机的主缓存器后，将它作为从缓存器。本发明实施例可以实现完全自动的故障切换，对客户端是透明的，客户端不需要处理服务管理器切换的逻辑，并且可以实现客户端请求的负载均衡。

显然，本领域技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若对本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也包含这些改动和变型在内。

Claims (10)

1.一种基于键值对缓存的数据读写方法，该方法包括：

预先设置以键值对的方式缓存数据的主缓存器以及从缓存器，并设置从缓存器根据预先设置的同步周期，从主缓存器获取同步更新的数据；

接收客户端发送的数据请求，并识别数据请求类型，如果为数据读请求，选取从缓存器，将数据读请求输出至该从缓存器，如果为数据读写请求或数据写请求，将数据请求输出至主缓存器；

接收主缓存器返回的数据请求响应或从缓存器返回的数据读请求响应后，转发至相应的客户端；

监测主缓存器和从缓存器的状态，在监测到主缓存器发生故障后，选取从缓存器并向该从缓存器发送属性变更指令，该从缓存器根据所述属性变更指令切换为主缓存器。

2.根据权利要求1所述的方法，其中，所述方法进一步包括：

更新存储的运行状态列表中发生故障的主缓存器信息以及选取的从缓存器信息；

远程拉起发生故障的主缓存器，在发生故障的主缓存器排除故障启动后，更新存储的运行状态列表中发生故障的主缓存器信息；

将启动的主缓存器切换为从缓存器，向该切换的从缓存器发送包含当前主缓存器信息的同步更新指令；

所述切换的从缓存器接收同步更新指令，向同步更新指令中包含的当前主缓存器获取同步更新的数据。

3.根据权利要求2所述的方法，其中，所述运行状态列表包含缓存器的属性、缓存器状态以及缓存器当前的负载量。

4.根据权利要求2所述的方法，其中，所述方法进一步包括：

设置从服务管理器，按照预先设置的状态更新周期，与主服务管理器运行状态列表同步；

监测主服务管理器的状态，在监测到主服务管理器发生故障后，接管主服务管理器。

5.根据权利要求4所述的方法，其中，所述接管主服务管理器包括：

从服务管理器切换为主服务管理器后，动态生成伪IP；

调用用于配置该从服务管理器网卡的命令，将动态生成的伪IP挂载到网卡的媒体访问层地址上；

生成并发送地址解析协议包，通知主缓存服务器、各从缓存服务器以及外部网关。

6.根据权利要求1所述的方法，其中，所述从缓存器的数量为多个，所述选取从缓存器包括：

根据预先设置的负载策略，从多个从缓存器中选取符合负载策略的一个从缓存器；

在选取从缓存器并向该从缓存器发送属性变更指令后，所述方法进一步包括：

向其他从缓存器发送包含该从缓存器信息的同步更新指令，以使接收同步更新指令的从缓存器向指令中的从缓存器获取同步更新的数据。

7.一种基于键值对缓存的数据读写装置，其特征在于，该装置包括：

主缓存器、从缓存器以及主服务管理器，其中，

主缓存器，用于以键值对的方式缓存数据，接收主服务管理器输出的数据读写请求，进行数据读写，并将读写的数据携带在数据读写请求响应中，输出至主服务管理器；在发生故障并排除故障启动后，切换为从缓存器；

从缓存器，用于以键值对的方式缓存数据，根据预先设置的同步周期，从主缓存器获取同步更新的数据；接收主服务管理器输出的数据读请求，读取数据，并将读取的数据携带在数据读请求响应中，输出至主服务管理器；接收主服务管理器输出的属性变更指令，根据所述属性变更指令切换为主缓存器；

主服务管理器，用于监测主缓存器和从缓存器的状态，在监测到主缓存器发生故障后，根据预先设置的负载策略，从管理的从缓存器中，选取符合负载策略的一个从缓存器，并向该从缓存器发送属性变更指令，向其他从缓存器发送包含该从缓存器信息的同步更新指令，以使接收同步更新指令的从缓存器向指令中的从缓存器获取同步更新的数据；接收客户端发送的数据请求，如果为数据读请求，根据预先设置的负载策略，选取符合负载策略的一个从缓存器，将数据读请求输出至该从缓存器，如果为数据读写请求或数据写请求，将数据读写请求输出至主缓存器。

8.根据权利要求7所述的装置，其特征在于，所述主服务管理器在主缓存器发生故障后，进一步用于远程拉起发生故障的主缓存器，并在发生故障的主缓存器启动后，将运行状态列表中该缓存器的运行状态更新为正常运行。

9.根据权利要求7或8所述的装置，其特征在于，所述装置进一步包括：

从服务管理器，用于按照预先设置的状态更新周期，与主服务管理器运行状态列表同步；监测主服务管理器的状态，在监测到主服务管理器发生故障后，接管主服务管理器。

10.根据权利要求9所述的装置，其特征在于，所述主缓存器与主服务管理器的数量为一个，所述从缓存器与从服务管理器的数量为一个或多个。

Images