CN105847352A - 基于分布式缓存系统的扩容方法、装置及分布式缓存系统 - Google Patents
基于分布式缓存系统的扩容方法、装置及分布式缓存系统 Download PDFInfo
- Publication number
- CN105847352A CN105847352A CN201610166262.4A CN201610166262A CN105847352A CN 105847352 A CN105847352 A CN 105847352A CN 201610166262 A CN201610166262 A CN 201610166262A CN 105847352 A CN105847352 A CN 105847352A
- Authority
- CN
- China
- Prior art keywords
- physical server
- service node
- transferred
- dilatation
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Multi Processors (AREA)
Abstract
本发明实施例提供一种基于分布式缓存系统的扩容方法、装置及分布式缓存系统。该方法应用于包括至少一个当前物理服务器的分布式缓存系统,至少一个当前物理服务器上共设置有M个服务节点,M大于分布式缓存系统实际所需的服务节点的个数,该方法包括:获取各当前物理服务器提供的资源信息、以及各当前物理服务器上设置的服务节点所需的资源信息;根据各当前物理服务器提供的资源信息、以及各当前物理服务器上设置的服务节点所需的资源信息,在M个服务节点中确定待转移服务节点;将待转移服务节点以及待转移服务节点对应的业务数据转移至分布式缓存系统的扩容物理服务器中,用于提高分布式缓存系统向客户端提供服务的效率。
Description
技术领域
本发明实施例涉及计算机技术领域,尤其涉及一种基于分布式缓存系统的扩容方法、装置及分布式缓存系统。
背景技术
随着计算机技术的发展、以及用户对数据访问实时性的要求,分布式缓存系统得到了广泛的应用。
分布式缓存系统中包括存储单元和至少一个物理服务器,各物理服务器上设置有至少一个服务节点,物理服务器用于向服务节点提供资源(如CPU资源、内存资源等),各服务节点中保存有至少一种服务的业务数据,并根据保存的业务数据,向用户提供与业务数据对应的服务,存储单元用于备份各服务节点中的业务数据。在现有技术中,在部署分布式缓存系统时,通常根据实际需求在分布式缓存系统中设置物理服务器和服务节点,当分布式缓存系统的业务量大幅度增加时,则需要在分布式缓存系统中增设物理服务器和服务节点,将新增的服务节点设置在新增的物理服务器中,并将已有服务节点中的部分服务转移至新增的服务节点,以使用户通过该新增的服务节点获取该部分服务,但是新增的服务节点中并不包括该部分服务对应的业务数据,使得当新增的服务节点在首次接收到用户发送的服务请求时,需要在存储单元中获取并保存相应的业务数据,并根据获取得到的业务数据向用户提供服务。
然而,在上述过程中,当新增的服务节点首次向用户提供服务时,新增的服务节点需要先从存储单元中获取业务数据,并根据获取得到的业务数据向用户提供服务,由于从存储单元获取业务数据需要消耗较多时长,使得新增的服务节点向用户提供服务的效率低下。
发明内容
本发明实施例提供一种基于分布式缓存系统的扩容方法、装置及分布式缓存系统,用于提高分布式缓存系统向客户端提供服务的效率。
第一方面,本发明实施例提供一种基于分布式缓存系统的扩容方法,应用于包括至少一个当前物理服务器的分布式缓存系统,所述至少一个当前物理服务器上共设置有M个服务节点,所述M大于所述分布式缓存系统实际所需的服务节点的个数,所述M为大于1的整数,所述方法包括:
获取各所述当前物理服务器提供的资源信息、以及各所述当前物理服务器上设置的服务节点所需的资源信息;
根据各所述当前物理服务器提供的资源信息、以及各所述当前物理服务器上设置的服务节点所需的资源信息,在所述M个服务节点中确定待转移服务节点;
将所述待转移服务节点以及所述待转移服务节点对应的业务数据转移至所述分布式缓存系统的扩容物理服务器中,其中,所述扩容物理服务器为当所述至少一个当前物理服务器所提供的资源小于所述分布式缓存系统所需资源时,在所述分布式缓存系统中增设的物理服务器。
第二方面,本发明实施例提供一种基于分布式缓存系统的扩容装置,应用于包括至少一个当前物理服务器的分布式缓存系统,所述至少一个当前物理服务器上共设置有M个服务节点,所述M大于所述分布式缓存系统实际所需的服务节点的个数,所述M为大于1的整数,所述装置包括:
第一获取模块,用于获取各所述当前物理服务器提供的资源信息、以及各所述当前物理服务器上设置的服务节点所需的资源信息;
确定模块,用于根据各所述当前物理服务器提供的资源信息、以及各所述当前物理服务器上设置的服务节点所需的资源信息,在所述M个服务节点中确定待转移服务节点;
转移模块,用于将所述待转移服务节点以及所述待转移服务节点对应的业务数据转移至所述分布式缓存系统的扩容物理服务器中,其中,所述扩容物理服务器为当所述至少一个当前物理服务器所提供的资源小于所述分布式缓存系统所需资源时,在所述分布式缓存系统中增设的物理服务器。
第二方面,本发明实施例提供一种分布式缓存系统,包括至少一个当前物理服务器,所述至少一个当前物理服务器上共设置有M个主服务节点;其中,
各所述当前物理服务器用于向设置在所述当前物理服务器上的主服务节点提供资源;
各所述主服务节点用于向客户端提供服务,所述M大于所述分布式缓存系统实际所需的服务节点的个数,所述M为大于1的整数。
本发明实施例提供的基于分布式缓存系统的扩容方法、装置及分布式缓存系统,当分布式缓存系统需要进行扩容时,根据各当前物理服务器提供的资源信息、以及各当前物理服务器上设置的服务节点所需的资源信息,在M个服务节点中确定待转移服务节点,并将待转移服务节点以及待转移服务节点对应的业务数据转移至分布式缓存系统的扩容物理服务器中,在该过程中,由于在分布式缓存系统中部署的服务节点的个数大于分布式缓存系统实际所需的服务节点的个数,因此,只需在分布式缓存系统中增设扩容物理服务器,而无需在分布式缓存系统中增设新的服务节点,且在增设扩容物理服务器后,只需将当前物理服务器中的待转移服务节点和待转移服务节点对应的业务数据一起转移至扩容物理服务器中,在扩容完成后,所有的服务节点均可以直接根据各自存储的业务数据向用户提供服务,无需向存储单元获取业务数据,缩短了向用户提供服务的时长,进而提高分布式缓存系统向用户提供服务的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的分布式缓存系统的结构示意图一;
图2为本发明提供的分布式缓存系统的结构示意图二;
图3为本发明提供的基于分布式缓存系统的扩容方法的流程示意图;
图4为本发明提供的转移待转移服务节点方法的流程示意图;
图5为本发明提供的基于分布式缓存系统的扩容装置的结构示意图一;
图6为本发明提供的基于分布式缓存系统的扩容装置的结构示意图二。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明提供的分布式缓存系统的结构示意图一,请参照图1,该系统包括至少一个当前物理服务器101-1至101-N,该至少一个当前物理服务器上共设置有M个主服务节点,其中,
当前物理服务器用于向设置在当前物理服务器上的主服务节点提供资源,各主服务节点用于向客户端(102-1至102-P)提供服务,M大于分布式缓存系统实际所需的主服务节点的个数,M为大于1的整数。
在本发明实施例中,物理服务器为可以提供资源(如CPU资源、内存资源、网卡资源等)的服务器,可选的,物理服务器可以为电脑等计算机设备。服务节点可以向客户端提供服务,可选的,服务节点可以为通过软件实现的计算机程序,其中,一个物理服务器上可以设置至少一个服务节点。
下面,对部署分布式缓存系统的过程进行详细说明。
在部署分布式缓存系统时,先确定该分布式缓存系统需要的资源和服务节点的个数,根据分布时缓存系统需要的资源确定当前物理服务器的性能以及个数,根据分布式缓存系统需要的服务节点的个数,确定在分布式缓存系统中部署的实际服务节点个数,其中,在分布式缓存系统中部署的实际服务节点个数大于分布式缓存系统需要的服务节点的个数。
示例性的,在部署分布式缓存系统时,假设分布式缓存系统需要1000G内存,则可以在分布式缓存系统中部署3个当前物理服务器,分别记为当前物理服务器1-当前物理服务器3,当前物理服务器1的内存为300G,当前物理服务器2的内存为300G,当前物理服务器3的内存为400G。
假设分布式缓存系统需要的服务节点个数为3个,则可以在分布时缓存系统中部署6个服务节点,分别记为服务节点1-服务节点6,其中,可以将服务节点1-服务节点2设置在当前物理服务器1中,服务节点1和服务节点2共用当前物理服务器1提供的内存资源,将服务节点3-服务节点4设置在当前物理服务器2中,服务节点3和服务节点4共用当前物理服务器2提供的内存资源,将服务节点5-服务节点6设置在当前物理服务器3中,服务节点5和服务节点6共用当前物理服务器3提供的内存资源。
下面,对分布式缓存系统的工作过程进行详细说明。
分布式缓存系统可以向客户端提供多种类型的服务,该多种类型的服务由不同的服务节点进行处理,即,不同的服务节点对应不同类型的服务。例如,假设分布式缓存系统共可以向客户端提供1千种服务,分别记为服务1-服务1000,在分布式缓存系统中设置有3个服务节点,分别记为服务节点1-服务节点3,则服务节点和服务的对应关系可以如表1所示:
表1
服务节点的标识 | 服务标识 |
服务节点1 | 服务1-服务300 |
服务节点2 | 服务301-服务650 |
服务节点3 | 服务651-服务1000 |
在上述示例中,由服务节点1负责向客户端提供服务1-服务300,由服务节点2负责向客户端提供服务301-服务650,由服务节点3负责向客户端提供服务651-服务1000。需要说明的是,表1只是以示例的形式示意服务节点和服务的对应关系,并不是对服务节点和服务的对应关系的限定,在实际应用过程中,可以根据实际需要设置服务节点和服务的对应关系。
在实际应用过程中,分布式缓存系统中的各服务均对应唯一的服务标识,当客户端需要请求分布时缓存系统中的服务时,客户端向分布式缓存系统发送包括服务标识的服务请求消息,分布式缓存系统根据服务标识与服务节点的对应关系,确定服务请求中的服务标识对应的服务节点。
在分布式缓存系统确定得到服务标识对应的服务节点后,分布式缓存系统获取该服务节点的位置信息,其中,服务节点的位置信息包括服务节点所处的物理服务器的网络地址(如IP地址)、以及服务节点在该物理服务器中的端口号,并根据服务节点的位置信息,向该服务节点发送服务请求消息。
在服务节点根据服务请求消息确定得到服务响应消息后,将服务相应消息发送至相应的客户端,可选的,在服务响应消息中包括客户端的地址,分布式缓存系统根据客户端的地址,向客户端发送该服务响应消息。
本发明实施例提供的分布式缓存系统,包括至少一个当前物理服务器,在该至少一个当前物理服务器上共设置有M个主服务节点,其中,M大于分布式缓存系统实际所需的主服务节点的个数,在实际应用过程中,当分布式缓存系统的业务量增加时,由于在分布式缓存系统中部署的主服务节点的个数大于分布式缓存系统实际所需的主服务节点的个数,因此,只需在分布式缓存系统中增设扩容物理服务器,而无需在分布式缓存系统中增设新的服务节点,在分布式缓存系统中增设扩容物理服务器后,将当前物理服务器中的部分主服务节点、以及该部分主服务节点对应的业务数据转移至扩容物理服务器中。在扩容过程中,当前物理服务器中的部分主服务节点和该主服务节点对应的业务数据一起转移至扩容物理服务器中,在扩容完成后,所有的服务节点均可以直接根据各自存储的业务数据向用户提供服务,无需向存储单元获取业务数据,缩短了向用户提供服务的时长,进而提高分布式缓存系统向用户提供服务的效率。
在图1所示实施例的基础上,为了提高分布式缓存系统向客户端提供服务的可靠性,还可以在分布式缓存系统中设置监控模块以及与各主服务节点对应的从服务节点,进一步,还可以在分布式缓存系统中设置代理服务器,具体的,请参照图2所示实施例。
图2为本发明提供的分布式缓存系统的结构示意图二,在图1所示实施例的基础上,请参照图2,
分布式缓存系统还可以包括代理服务器103、监控模块104、以及与各主服务节点对应的从服务节点,其中,
代理服务器103用于,接收客户端发送的包括服务标识的服务请求消息,并将服务请求消息通过服务标识对应的当前物理服务器,发送至服务标识对应的主服务节点;代理服务器103还可以用于,接收各主服务节点发送的服务响应消息,并将服务响应消息发送至服务响应消息对应的客户端;
各从服务节点用于,实时保存主服务节点上的业务数据;
监控模块104用于,获取各主服务节点的工作状态,在主服务节点的工作状态为异常状态时,将工作状态为异常状态的主服务器对应的从服务器设置为主服务器,并生成故障提醒消息。
在图2所示实施例中,每一主服务节点至少对应一个从服务节点,从服务节点会实时同步获取并保存主服务节点中的数据,当主服务节点出现故障时,可以通过从服务节点获取主服务节点中的数据,进一步提高了分布式缓存系统向客户端提供服务的可靠性。需要说明的是,在实际应用过程中,可以根据实际需要设置主服务节点对应的从服务节点的个数,本发明对此不做具体限定。
在实际应用过程中,监控模块实时监控主服务节点的工作状态,当监控模块确定主服务节点的工作状态异常时,生成故障提醒消息,以使管理员对出现故障的主服务节点进行故障维护,进一步的,监控模块还可以将出现故障的主服务节点对应的从服务节点设置为主服务节点,以使该从服务节点替代该出现故障的主服务器工作,进一步提高了分布式缓存系统向客户端提供服务的可靠性。
可选的,监控模块可以通过如下可行的方式将出现故障的主服务节点对应的从服务节点设置为主服务节点:监控模块向代理服务器发送设置变更请求,该设置变更请求中包括服务标识、该服务标识对应的出现故障的主服务节点的标识、以及出现故障的主服务节点对应的从服务节点的标识,当代理服务器接收到设置变更请求后,代理服务器将设置变更请求中的服务标识对应的主服务节点修改为出现故障的主服务节点对应的从服务节点。
示例性的,假设主服务节点1的从服务节点为从服务节点1,主服务节点1处理的服务为:服务1-服务100,当监控模块确定主服务节点1的工作状态为异常状态时,监控模块向代理服务发送设置变更请求,该设置变更请求中包括:服务1-服务100、主服务节点1、以及从服务节点1,则代理服务器将服务1-服务100对应的主服务节点修改为从服务节点1,以使从服务节点1代替主服务节点1提供服务1-服务100。
在图1-图2任意实施例的基础上,当分布式缓存系统需要进行扩容时,可以通过如下可行的实现方式进行扩容,具体的,请参见图3所示实施例。
图3为本发明提供的基于分布式缓存系统的扩容方法的流程示意图,该方法应用于图1-图2任意实施例所示的分布式缓存系统,请参照图3,该方法可以包括:
S301、获取各当前物理服务器提供的资源信息、以及各当前物理服务器上设置的服务节点所需的资源信息;
S302、根据各当前物理服务器提供的资源信息、以及各当前物理服务器上设置的服务节点所需的资源信息,在M个服务节点中确定待转移服务节点;
S303、将待转移服务节点以及待转移服务节点对应的业务数据转移至分布式缓存系统的扩容物理服务器中;
其中,扩容物理服务器为当至少一个当前物理服务器所提供的资源小于分布式缓存系统所需资源时,在分布式缓存系统中增设的物理服务器。
该方法的执行主体可以为基于分布式缓存系统的扩容装置(下文简称扩容装置),该扩容装置可以与分布式缓存系统中的各物理服务器、以及各服务节点进行通信。
在图3所示实施例中,分布式缓存系统中设置有至少与一个当前物理服务器,每一个当前物理服务器上设置有至少一个服务节点,在所有的当前物理服务器上一共设置有M个服务节点,其中,M为大于1的整数,且M大于分布式缓存系统实际所需的服务节点的个数。
当分布式缓存系统的业务量增加,使得分布式缓存系统中的当前物理服务器提供的资源小于分布式缓存系统所需资源时,在分布式缓存系统中增设至少一个扩容物理服务器,并在当前物理服务器中设置的M个服务节点中确定待转移节点,具体的:根据当前物理服务器提供的资源信息、以及当前物理服务器上设置的服务节点所需的资源信息,确定各当前物理服务器的资源占用比,资源占用比为当前物理服务器上的服务节点所需的资源与当前物理服务器提供的资源的比值;根据各当前物理服务器的资源占用比,在M个服务节点中确定待转移服务节点,以使在将待转移节点转移至扩容物理服务器后,各当前物理服务器的资源占用比、扩容物理服务器的资源占用比的方差最小。
下面,通过具体示例,对图3实施例所示的方法进行详细说明。
示例性的,在部署分布式缓存系统时,假设分布式缓存系统一共需要1500G内存、以及3个服务节点,各服务节点可处理的最大业务数据量为400G,即各服务节点所需的最大内存为400G,则根据上述业务需求在分布式缓存系统中部署了3个当前物理服务器和6个服务节点,各当前物理服务器的内存以及当前物理服务器与各服务节点的对应关系如表2所述:
表2
当分布式缓存系统的业务量增加,根据实际需要在分布式缓冲系统中增设一个扩容物理服务器,该扩容物理服务器的内容为800G,为了使得当前物理服务器1-当前物理服务器3的资源占用比、以及扩容物理服务器的资源占用比的方差最小,将当前物理服务器3中的一个服务节点(服务节点5或服务节点6)确定为待转移服务节点,将当前物理服务器2中的一个服务节点(服务节点3或服务节点4)确定为待转移服务节点,在确定得到待转移服务节点后,将待转移服务节点核待转移服务节点中的业务数据转移至扩容物理服务器中,服务节点转移后的资源分配情况如表3所示:
表3
在上述过程中,根据各当前物理服务器的资源占用比,在M个服务节点中确定待转移服务节点,以使在将待转移节点转移至扩容物理服务器后,各当前物理服务器的资源占用比、扩容物理服务器的资源占用比的方差最小,可以保证分布式缓存系统中的服务节点均匀的分配各物理服务器提供的资源,使得各服务节点在分布时缓存系统中可以具备最佳的通信性能。
本发明实施例提供的基于分布式缓存系统的扩容方法,当分布式缓存系统需要进行扩容时,根据各当前物理服务器提供的资源信息、以及各当前物理服务器上设置的服务节点所需的资源信息,在M个服务节点中确定待转移服务节点,并将待转移服务节点以及待转移服务节点对应的业务数据转移至分布式缓存系统的扩容物理服务器中,在该过程中,由于在分布式缓存系统中部署的服务节点的个数大于分布式缓存系统实际所需的服务节点的个数,因此,只需在分布式缓存系统中增设扩容物理服务器,而无需在分布式缓存系统中增设新的服务节点,且在增设扩容物理服务器后,只需将当前物理服务器中的待转移服务节点和待转移服务节点对应的业务数据一起转移至扩容物理服务器中,在扩容完成后,所有的服务节点均可以直接根据各自存储的业务数据向用户提供服务,无需向存储单元获取业务数据,缩短了向用户提供服务的时长,进而提高分布式缓存系统向用户提供服务的效率。
在图3所示实施例的基础上,可以通过如下可行的实现方式,将待转移服务节点以及待转移服务节点对应的业务数据转移至扩容物理服务器(图3所示实施例中的S303),具体的,请参见图4所示实施例。
图4为本发明提供的转移待转移服务节点方法的流程示意图,请参照图4,该方法可以包括:
S401、获取分布式缓存系统中包括的扩容物理服务器的个数;
S402、判断扩容物理服务器的个数是否大于1;
若否,执行S403;
若是,执行S404-S405;
S403、将待转移服务节点转移至分布式缓存系统的扩容物理服务器;
S404、根据各当前物理服务器的资源占用比、以及各扩容物理服务器提供的资源,确定各扩容物理服务器与各待转移服务节点的对应关系;
S405、根据对应关系将待转移节点转移至扩容物理服务器;
其中,根据对应关系将待转移节点转移至扩容物理服务器后,各当前物理服务器的资源占用比、扩容物理服务器的资源占用比的方差最小。
在图4所示的实施例中,当分布式缓存系统需要进行扩容时,在分布式缓存系统中增设至少一个扩容物理服务器,在确定得到至少一个待转移服务节点后,获取在分布式缓存系统中增设的扩容物理服务器的个数,并判断扩容物理服务器的个数是否大于1,若否,则扩容物理服务器的个数为1,则在直接将待转移服务节点转移至分布式缓存系统的扩容物理服务器,若扩容物理服务器的个数大于1,则确定扩容物理服务器与各待转移服务节点的对应关系,并根据对应关系将待转移节点转移至扩容物理服务器;其中,根据对应关系将待转移节点转移至扩容物理服务器后,各当前物理服务器的资源占用比、扩容物理服务器的资源占用比的方差最小。
下面,通过具体示例,对图4实施例所示的方法进行详细说明。
示例性的,假设在分布式缓存系统进行扩容前,包括3个当前物理服务器和9个服务节点,各服务节点可处理的最大业务数据量为400G,即各服务节点所需的最大内存为400G,各当前物理服务器、各当前物理服务器的内存、各当前物理服务器与服务节点的对应关系如表4所示:
表4
再假设在分布式缓存系统中增设了两个扩容物理服务器,扩容物理服务器1的内存分别为500G,扩容物理服务器2的内存分别为1000G,在服务节点中确定得到5个待转移服务节点,分别为当前物理服务器1中的任意一个服务节点、当前物理服务器2中的任意两个服务节点、和当前物理服务器3中的任意两个服务节点,则可以确定待转移服务节点和扩容物理服务器的对应关系可以如表5所示:
表5
需要说明的是,表5只是以示例的形式示意出扩容物理服务器和待转移服务节点的对应关系,并不是对该对应关系的限定。扩容物理服务器1对应待转移服务节点中的任意两个即可,相应的,扩容物理服务器2对应待转移服务节点中的其他三个待转移服务节点。
根据待转移服务节点和扩容物理服务器的对应关系,将待转移服务节点转移至扩容物理服务器后,各物理服务器、各物理服务器的内存、各物理服务器与服务节点的对应关系如表6所示:
表6
在上述过程中,根据各当前物理服务器的资源占用比、以及各扩容物理服务器提供的资源,确定各扩容物理服务器与各待转移服务节点的对应关系,以使根据对应关系将待转移节点转移至扩容物理服务器后,各当前物理服务器的资源占用比、扩容物理服务器的资源占用比的方差最小,可以保证分布式缓存系统中的服务节点均匀的分配各物理服务器提供的资源,使得各服务节点在分布时缓存系统中可以具备最佳的通信性能。
在图3-图4所示实施例的基础上,在将待转移服务节点以及待转移服务节点对应的业务数据转移至分布式缓存系统的扩容物理服务器中之后,获取待转移节点对应的扩容物理服务器的网络地址、以及待转移服务节点在扩容物理服务器中的网络端口;根据待转移节点对应的扩容物理服务器的网络地址、以及待转移服务节点在扩容物理服务器中的网络端口,对待转移服务节点的地址进行配置;其中,扩容物理服务器的网络地址可以为扩容物理服务器的IP地址、MAC地址等。
图5为本发明提供的基于分布式缓存系统的扩容装置的结构示意图一,该装置应用于包括至少一个当前物理服务器的分布式缓存系统,至少一个当前物理服务器上共设置有M个服务节点,M大于分布式缓存系统实际所需的服务节点的个数,M为大于1的整数,装置包括:
第一获取模块501,用于获取各当前物理服务器提供的资源信息、以及各当前物理服务器上设置的服务节点所需的资源信息;
确定模块502,用于根据各当前物理服务器提供的资源信息、以及各当前物理服务器上设置的服务节点所需的资源信息,在M个服务节点中确定待转移服务节点;
转移模块503,用于将待转移服务节点以及待转移服务节点对应的业务数据转移至分布式缓存系统的扩容物理服务器中,其中,扩容物理服务器为当至少一个当前物理服务器所提供的资源小于分布式缓存系统所需资源时,在分布式缓存系统中增设的物理服务器。
在实际应用过程中,确定模块502具体可以用于:
获取各当前物理服务器的资源占用比,资源占用比为当前物理服务器上的服务节点所需的资源与当前物理服务器提供的资源的比值;
根据各当前物理服务器的资源占用比,在M个服务节点中确定待转移服务节点,以使在将待转移节点转移至扩容物理服务器后,各当前物理服务器的资源占用比、扩容物理服务器的资源占用比的方差最小。
可选的,转移模块503具体可以用于:
获取分布式缓存系统中包括的扩容物理服务器的个数;
判断扩容物理服务器的个数是否大于1;
若判断结果为否,则将待转移服务节点转移至分布式缓存系统的扩容物理服务器;
若判断结果为是,根据各当前物理服务器的资源占用比、以及各扩容物理服务器提供的资源,确定各扩容物理服务器与各待转移服务节点的对应关系,并根据对应关系将待转移节点转移至扩容物理服务器;其中,根据对应关系将待转移节点转移至扩容物理服务器后,各当前物理服务器的资源占用比、扩容物理服务器的资源占用比的方差最小。
图6为本发明提供的基于分布式缓存系统的扩容装置的结构示意图二,在图5所示实施例的基础上,请参见图6,该装置还包括第二获取模块504和配置模块505,
第二获取模块504用于,在转移模块503将待转移服务节点以及待转移服务节点对应的业务数据转移至分布式缓存系统的扩容物理服务器中之后,获取待转移节点对应的扩容物理服务器的网络地址、以及待转移服务节点在扩容物理服务器中的网络端口;
配置模块505用于,根据待转移节点对应的扩容物理服务器的网络地址、以及待转移服务节点在扩容物理服务器中的网络端口,对待转移服务节点的目的地址进行配置。
本发明提供的分布式缓存系统的扩容装置可以执行上述图3-图4实施例所示的技术方案,其实现原理以及有益效果类似,此处不再进行赘述。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种基于分布式缓存系统的扩容方法,其特征在于,应用于包括至少一个当前物理服务器的分布式缓存系统,所述至少一个当前物理服务器上共设置有M个服务节点,所述M大于所述分布式缓存系统实际所需的服务节点的个数,所述M为大于1的整数,所述方法包括:
获取各所述当前物理服务器提供的资源信息、以及各所述当前物理服务器上设置的服务节点所需的资源信息;
根据各所述当前物理服务器提供的资源信息、以及各所述当前物理服务器上设置的服务节点所需的资源信息,在所述M个服务节点中确定待转移服务节点;
将所述待转移服务节点以及所述待转移服务节点对应的业务数据转移至所述分布式缓存系统的扩容物理服务器中,其中,所述扩容物理服务器为当所述至少一个当前物理服务器所提供的资源小于所述分布式缓存系统所需资源时,在所述分布式缓存系统中增设的物理服务器。
2.根据权利要求1所述的方法,其特征在于,所述根据所述当前物理服务器提供的资源信息、以及所述当前物理服务器上设置的服务节点所需的资源信息,在所述M个服务节点中确定待转移服务节点,包括:
根据所述当前物理服务器提供的资源信息、以及所述当前物理服务器上设置的服务节点所需的资源信息,确定各所述当前物理服务器的资源占用比,所述资源占用比为所述当前物理服务器上的服务节点所需的资源与所述当前物理服务器提供的资源的比值;
根据各所述当前物理服务器的资源占用比,在所述M个服务节点中确定待转移服务节点,以使在将所述待转移节点转移至所述扩容物理服务器后,各所述当前物理服务器的资源占用比、所述扩容物理服务器的资源占用比的方差最小。
3.根据权利要求2所述的方法,其特征在于,所述将所述待转移服务节点以及所述待转移服务节点对应的业务数据转移至所述分布式缓存系统的扩容物理服务器中,包括:
获取所述分布式缓存系统中包括的扩容物理服务器的个数;
判断所述扩容物理服务器的个数是否大于1;
若判断结果为否,则将所述待转移服务节点转移至所述分布式缓存系统的扩容物理服务器;
若判断结果为是,根据各当前物理服务器的资源占用比、以及各扩容物理服务器提供的资源,确定各所述扩容物理服务器与各所述待转移服务节点的对应关系,并根据所述对应关系将所述待转移节点转移至所述扩容物理服务器;其中,根据所述对应关系将所述待转移节点转移至所述扩容物理服务器后,各所述当前物理服务器的资源占用比、所述扩容物理服务器的资源占用比的方差最小。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述将所述待转移服务节点以及所述待转移服务节点对应的业务数据转移至所述分布式缓存系统的扩容物理服务器中之后,还包括:
获取待转移节点对应的扩容物理服务器的网络地址、以及所述待转移服务节点在所述扩容物理服务器中的网络端口;
根据所述待转移节点对应的扩容物理服务器的网络地址、以及所述待转移服务节点在所述扩容物理服务器中的网络端口,对所述待转移服务节点的地址进行配置。
5.一种基于分布式缓存系统的扩容装置,其特征在于,应用于包括至少一个当前物理服务器的分布式缓存系统,所述至少一个当前物理服务器上共设置有M个服务节点,所述M大于所述分布式缓存系统实际所需的服务节点的个数,所述M为大于1的整数,所述装置包括:
第一获取模块,用于获取各所述当前物理服务器提供的资源信息、以及各所述当前物理服务器上设置的服务节点所需的资源信息;
确定模块,用于根据各所述当前物理服务器提供的资源信息、以及各所述当前物理服务器上设置的服务节点所需的资源信息,在所述M个服务节点中确定待转移服务节点;
转移模块,用于将所述待转移服务节点以及所述待转移服务节点对应的业务数据转移至所述分布式缓存系统的扩容物理服务器中,其中,所述扩容物理服务器为当所述至少一个当前物理服务器所提供的资源小于所述分布式缓存系统所需资源时,在所述分布式缓存系统中增设的物理服务器。
6.根据权利要求5所述的装置,其特征在于,所述确定模块具体用于:
获取各所述当前物理服务器的资源占用比,所述资源占用比为所述当前物理服务器上的服务节点所需的资源与所述当前物理服务器提供的资源的比值;
根据各所述当前物理服务器的资源占用比,在所述M个服务节点中确定待转移服务节点,以使在将所述待转移节点转移至所述扩容物理服务器后,各所述当前物理服务器的资源占用比、所述扩容物理服务器的资源占用比的方差最小。
7.根据权利要求6所述的装置,其特征在于,所述转移模块具体用于:
获取所述分布式缓存系统中包括的扩容物理服务器的个数;
判断所述扩容物理服务器的个数是否大于1;
若判断结果为否,则将所述待转移服务节点转移至所述分布式缓存系统的扩容物理服务器;
若判断结果为是,根据各当前物理服务器的资源占用比、以及各扩容物理服务器提供的资源,确定各所述扩容物理服务器与各所述待转移服务节点的对应关系,并根据所述对应关系将所述待转移节点转移至所述扩容物理服务器;其中,根据所述对应关系将所述待转移节点转移至所述扩容物理服务器后,各所述当前物理服务器的资源占用比、所述扩容物理服务器的资源占用比的方差最小。
8.一种分布式缓存系统,其特征在于,包括至少一个当前物理服务器,所述至少一个当前物理服务器上共设置有M个主服务节点;其中,
各所述当前物理服务器用于向设置在所述当前物理服务器上的主服务节点提供资源;
各所述主服务节点用于向客户端提供服务,所述M大于所述分布式缓存系统实际所需的服务节点的个数,所述M为大于1的整数。
9.根据权利要求8所述的系统,其特征在于,所述系统还包括扩容物理服务器,其中,所述扩容物理服务器上设置有从所述当前物理服务器转移至所述扩容服务器中的主服务节点、以及所述主服务节点对应的业务数据,所述扩容物理服务器为当所述至少一个当前物理服务器所提供的资源小于所述分布式缓存系统所需资源时,在所述分布式缓存系统中增设的物理服务器。
10.根据权利要求8或9所述的系统,其特征在于,所述系统还包括代理服务器、监控模块、以及与各所述主服务节点对应的从服务节点,其中,
所述代理服务器用于,接收客户端发送的包括服务标识的服务请求消息,并将所述服务请求消息通过所述服务标识对应的当前物理服务器,发送至所述服务标识对应的主服务节点;所述代理服务器还用于,接收各所述主服务节点发送的服务响应消息,并将所述服务响应消息发送至所述服务响应消息对应的客户端;
所述从服务节点用于,实时保存主服务节点上的业务数据;
所述监控模块用于,获取各所述主服务节点的工作状态,在所述主服务节点的工作状态为异常状态时,将工作状态为异常状态的主服务器对应的从服务器设置为主服务器,并生成故障提醒消息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610166262.4A CN105847352B (zh) | 2016-03-22 | 2016-03-22 | 基于分布式缓存系统的扩容方法、装置及分布式缓存系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610166262.4A CN105847352B (zh) | 2016-03-22 | 2016-03-22 | 基于分布式缓存系统的扩容方法、装置及分布式缓存系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105847352A true CN105847352A (zh) | 2016-08-10 |
CN105847352B CN105847352B (zh) | 2019-09-17 |
Family
ID=56587948
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610166262.4A Active CN105847352B (zh) | 2016-03-22 | 2016-03-22 | 基于分布式缓存系统的扩容方法、装置及分布式缓存系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105847352B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107832354A (zh) * | 2017-10-23 | 2018-03-23 | 珠海许继芝电网自动化有限公司 | 一种分布式缓存的配电网智能运维管控系统 |
CN108111628A (zh) * | 2018-01-18 | 2018-06-01 | 吉浦斯信息咨询(深圳)有限公司 | 一种动态扩容存储方法及系统 |
CN108319598A (zh) * | 2017-01-16 | 2018-07-24 | 腾讯科技(北京)有限公司 | 数据缓存方法、装置和系统 |
CN109947531A (zh) * | 2019-02-27 | 2019-06-28 | 广东唯一网络科技有限公司 | 超融合一体机的存储容量扩展方法、装置及存储介质 |
CN110636120A (zh) * | 2019-09-09 | 2019-12-31 | 广西东信易联科技有限公司 | 一种基于业务请求的分布式资源协调系统及其方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102244685A (zh) * | 2011-08-11 | 2011-11-16 | 中国科学院软件研究所 | 一种支持负载均衡的分布式缓存动态伸缩方法及系统 |
CN102917036A (zh) * | 2012-10-08 | 2013-02-06 | 浪潮齐鲁软件产业有限公司 | 一种基于Memcached的分布式缓存数据同步实现方法 |
CN102984267A (zh) * | 2012-12-07 | 2013-03-20 | 北京搜狐新媒体信息技术有限公司 | 一种实现分布式缓存节点动态更新到客户端的方法及系统 |
CN103747073A (zh) * | 2013-12-30 | 2014-04-23 | 乐视网信息技术(北京)股份有限公司 | 一种分布式缓存的方法和系统 |
CN103973583A (zh) * | 2013-01-28 | 2014-08-06 | 中兴通讯股份有限公司 | 分布式文件系统优化负载均衡的方法及系统 |
CN104615657A (zh) * | 2014-12-31 | 2015-05-13 | 天津南大通用数据技术股份有限公司 | 一种节点支持多数据分片的分布式集群的扩容和缩容方法 |
CN105183670A (zh) * | 2015-10-27 | 2015-12-23 | 北京百度网讯科技有限公司 | 用于分布式缓存系统的数据处理方法和装置 |
-
2016
- 2016-03-22 CN CN201610166262.4A patent/CN105847352B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102244685A (zh) * | 2011-08-11 | 2011-11-16 | 中国科学院软件研究所 | 一种支持负载均衡的分布式缓存动态伸缩方法及系统 |
CN102917036A (zh) * | 2012-10-08 | 2013-02-06 | 浪潮齐鲁软件产业有限公司 | 一种基于Memcached的分布式缓存数据同步实现方法 |
CN102984267A (zh) * | 2012-12-07 | 2013-03-20 | 北京搜狐新媒体信息技术有限公司 | 一种实现分布式缓存节点动态更新到客户端的方法及系统 |
CN103973583A (zh) * | 2013-01-28 | 2014-08-06 | 中兴通讯股份有限公司 | 分布式文件系统优化负载均衡的方法及系统 |
CN103747073A (zh) * | 2013-12-30 | 2014-04-23 | 乐视网信息技术(北京)股份有限公司 | 一种分布式缓存的方法和系统 |
CN104615657A (zh) * | 2014-12-31 | 2015-05-13 | 天津南大通用数据技术股份有限公司 | 一种节点支持多数据分片的分布式集群的扩容和缩容方法 |
CN105183670A (zh) * | 2015-10-27 | 2015-12-23 | 北京百度网讯科技有限公司 | 用于分布式缓存系统的数据处理方法和装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108319598A (zh) * | 2017-01-16 | 2018-07-24 | 腾讯科技(北京)有限公司 | 数据缓存方法、装置和系统 |
CN107832354A (zh) * | 2017-10-23 | 2018-03-23 | 珠海许继芝电网自动化有限公司 | 一种分布式缓存的配电网智能运维管控系统 |
CN108111628A (zh) * | 2018-01-18 | 2018-06-01 | 吉浦斯信息咨询(深圳)有限公司 | 一种动态扩容存储方法及系统 |
CN108111628B (zh) * | 2018-01-18 | 2021-08-17 | 吉浦斯信息咨询(深圳)有限公司 | 一种动态扩容存储方法及系统 |
CN109947531A (zh) * | 2019-02-27 | 2019-06-28 | 广东唯一网络科技有限公司 | 超融合一体机的存储容量扩展方法、装置及存储介质 |
CN109947531B (zh) * | 2019-02-27 | 2021-05-07 | 广东唯一网络科技有限公司 | 超融合一体机的存储容量扩展方法、装置及存储介质 |
CN110636120A (zh) * | 2019-09-09 | 2019-12-31 | 广西东信易联科技有限公司 | 一种基于业务请求的分布式资源协调系统及其方法 |
CN110636120B (zh) * | 2019-09-09 | 2022-02-08 | 广西东信易联科技有限公司 | 一种基于业务请求的分布式资源协调系统及其方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105847352B (zh) | 2019-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105847352A (zh) | 基于分布式缓存系统的扩容方法、装置及分布式缓存系统 | |
CN103051564B (zh) | 资源动态调配的方法和装置 | |
CN103024028B (zh) | 一种云计算中虚拟机ip地址探测系统及方法 | |
CN102316043B (zh) | 端口虚拟化方法、交换机及通信系统 | |
CN108712457A (zh) | 基于Nginx反向代理的后端服务器动态负载调整方法及装置 | |
CN101257406B (zh) | 网元发现方法和系统 | |
CN107105013B (zh) | 文件的处理方法、服务器、终端和系统 | |
CN106991008B (zh) | 一种资源锁管理方法、相关设备及系统 | |
CN110727738B (zh) | 基于数据分片的全局路由系统、电子设备及存储介质 | |
CN110830574B (zh) | 一种基于docker容器实现内网负载均衡的方法 | |
CN104683161A (zh) | 基于SaaS的网络管理方法及装置 | |
CN106713378A (zh) | 实现多个应用服务器提供服务的方法和系统 | |
CN110290168A (zh) | 数据发送方法、装置、服务器及存储介质 | |
US11153173B1 (en) | Dynamically updating compute node location information in a distributed computing environment | |
CN106993022A (zh) | 用于集群的标识管理方法、标识服务器及相应的系统 | |
CN112087401A (zh) | 分布式存储中实现服务质量的方法和装置 | |
CN111522772A (zh) | 一种业务板配置的方法及装置 | |
CN110519354A (zh) | 一种分布式对象存储系统及其业务处理方法和存储介质 | |
CN109120680A (zh) | 一种控制系统、方法及相关设备 | |
CN108282516A (zh) | 一种基于iSCSI的分布式存储集群负载均衡方法和装置 | |
CN104601412A (zh) | 一种独立测试网络系统及其建立方法 | |
CN107534678B (zh) | 建立vnfm与vim之间的连接的方法、装置及系统 | |
CN111654559A (zh) | 一种容器数据传输方法及装置 | |
CN112395313A (zh) | 全局序列生成方法、装置、电子设备及计算机存储介质 | |
CN102185768A (zh) | 配置业务部署方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C41 | Transfer of patent application or patent right or utility model | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20161230 Address after: 266100 Shandong Province, Qingdao city Laoshan District Songling Road No. 399 Applicant after: Poly Polytron Technologies Inc Address before: 266100 Laoshan, Qingdao province Hongkong District No. East Road, room 248, room 131 Applicant before: Hisense Media Networks Co., Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |