CN113111123A - 集群业务的调用方法、装置、电子设备、存储介质及产品 - Google Patents
集群业务的调用方法、装置、电子设备、存储介质及产品 Download PDFInfo
- Publication number
- CN113111123A CN113111123A CN202110269917.1A CN202110269917A CN113111123A CN 113111123 A CN113111123 A CN 113111123A CN 202110269917 A CN202110269917 A CN 202110269917A CN 113111123 A CN113111123 A CN 113111123A
- Authority
- CN
- China
- Prior art keywords
- cluster
- service data
- calling
- service
- storing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000004364 calculation method Methods 0.000 claims description 27
- 238000013507 mapping Methods 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000011084 recovery Methods 0.000 abstract description 13
- 230000010354 integration Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 6
- 239000003795 chemical substances by application Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2255—Hash tables
Abstract
本公开提供一种集群业务的调用方法、装置、电子设备、介质及产品,所述方法包括:获取调用方调用内存数据库中业务数据的调用请求,所述调用请求包括:调用所述业务数据的参数;根据参数确定存储业务数据的集群,所述内存数据库至少包括一个集群;从集群的代理节点上获取需要调用的业务数据;将业务数据发送给所述调用方。本公开通过调用请求中的参数可以快速查询到存储业务数据的集群,提高了查询效率,然后从该集群对应的代理节点上获取业务数据,即对客户端的内存数据库集群进动态扩展和整合,通过多个集群共同承担高请求量的业务,让每一个集群的容量都控制在有限范围内,在容灾情况下为集群高并发快速恢复提供了解决方案,提高了用户体验。
Description
技术领域
本公开涉及计算机技术领域,尤其涉及一种集群业务的调用方法、装置、电子设备、计算机可读存储介质及计算机程序产品。
背景技术
客户端的内容数据库(redis)存在多种部署模式,常用的第一种部署模式是采用代理节点(twemproxy)和哨兵模式(redis sentinel)部署,第二种部署模式是集群模式(redis cluster)部署。但是,这两种部署模式中,在集群每秒的请求量(QPS,Query PerSecond)小于1000w时,集群都是可以承受的,但是,如果请求量超过1000w这个量级,集群就会存在各种问题,需要扩展集群容量。
所以,如何优化redis部署模式,扩展集群容量,以满足业务请求量的提升,是目前有待解决的技术问题。
发明内容
本公开提供一种集群业务的调用方法、装置、电子设备、计算机可读存储介质及计算机程序产品,以至少解决相关技术中由于集群容量不能满足业务请求量的提升,导致业务恢复时间过长,查询效率降低的技术问题。本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种集群业务的调用方法,包括:
获取调用方调用内存数据库中业务数据的调用请求,所述调用请求包括:调用所述业务数据的参数;
根据所述参数确定存储所述业务数据的集群,其中,所述内存数据库至少包括一个集群;
从所述集群的代理节点上获取需要调用的业务数据;
将所述业务数据发送给所述调用方。
可选的,在根据所述参数确定存储所述业务数据的集群为多个集群时;所述方法包括:
从每个集群的代理节点上分别获取需要调用的业务数据;
将从每个集群的代理节点中获取的所述业务数据进行合并;
将合并后的所述业务数据发送给所述调用方。
可选的,所述根据所述参数确定存储所述业务数据的集群,包括:
从预先存储的多集群配置项中获取总集群个数,以及每个集群对应的数字标识;其中,所述多集群配置项用于存储预先配置的总集群个数,以及每个集群对应的数字标识;
计算所述参数的哈希值;
对所述哈希值取模计算,得到对应的数值;
确定与所述数值对应的数字标识的集群为存储所述业务数据的集群。
可选的,所述根据所述参数确定存储所述业务数据的集群,包括:
计算所述参数的哈希值;
对所述哈希值进行取模计算,得到对应的数值;
根据所述数值查找预先存储的多集群配置项中存储的映射关系,得到与所述数值相同的数字标识的集群;
将查找到的所述集群确定为存储所述业务数据的集群。
可选的,所述方法还包括:
接收所述调用方根据集群的预估业务请求量发送的集群个数配置请求;
根据所述集群个数配置请求利用哈希算法配置对应的总集群个数,每个集群都有对应的数字标识;
建立每个业务数据的参数与对应的一个集群或多个集群的数字标识之间的映射关系;
将所述映射关系存储到多集群配置项中;
向所述调用方反馈配置响应。
根据本公开实施例的第二方面,提供一种集群业务的调用装置,包括:
第一获取模块,被配置为执行获取调用方调用内存数据库中业务数据的调用请求,所述调用请求包括:调用所述业务数据的参数;
确定模块,被配置为执行根据所述参数确定存储所述业务数据的集群,所述内存数据库至少包括一个集群;
第二获取模块,被配置为执行从所述集群的代理节点上获取需要调用的业务数据;
第一发送模块,被配置为执行将所述业务数据发送给所述调用方。
可选的,所述装置还包括:
第三获取模块,被配置为执行在所述确定模块确定存储所述业务数据的集群为多个集群时,从每个集群的代理节点上分别获取需要调用的业务数据;
合并模块,被配置为执行将从每个集群的代理节点中获取的所述业务数据进行合并;
第二发送模块,被配置为执行将所述合并模块合并后的所述业务数据发送给所述调用方。
可选的,所述确定模块包括:
集群个数获取模块,被配置为执行从预先存储的多集群配置项中获取总集群个数,以及每个集群对应的数字标识,其中,所述多集群配置项用于存储预先配置的总集群个数,以及每个集群对应的数字标识;
第一计算模块,被配置为执行计算所述参数的哈希值;
第一取模计算模块,被配置为执行对所述哈希值进行取模计算,得到对应的数值;
第一集群确定模块,被配置为执行确定与所述数值对应的数字标识的集群为存储所述业务数据的集群。
可选的,所述确定模块包括:
第二计算模块,被配置为执行计算所述参数的哈希值;
第二取模计算模块,被配置为执行对所述哈希值进行取模计算,得到对应的数值;
查找模块,被配置为执行根据所述数值查找预先存储的多集群配置项中的映射关系,得到与所述数值相同数字标识的集群;
第二集群确定模块,被配置为执行将所述查找模块查找到的所述集群确定为存储所述业务数据的集群。
可选的,所述装置还包括:
接收模块,被配置为执行接收所述调用方根据集群的预估业务请求量发送的集群个数配置请求;
配置模块,被配置为执行根据所述集群个数配置请求利用哈希算法配置对应的总集群个数,每个集群都有对应的数字标识;
建立模块,被配置为执行建立业务数据的参数与对应一个集群或多个集群的数字标识之间的映射关系;
存储模块,被配置为执行将所述映射关系存储到多集群配置项中;
反馈模块,被配置为执行向所述调用方反馈配置响应。
根据本公开实施例的第三方面,提供一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如上所述的集群业务的调用方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如上所述的集群业务的调用方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,包括计算机程序或指令,当所述计算机程序产品中的计算机程序或指令被处理器执行时实现如权利要求1至5中任一项所述的集群业务的调用方法。
本公开的实施例提供的技术方案至少可以包括以下有益效果:
本示例性实施例中,先获取调用方调用内存数据库中业务数据的调用请求,所述调用请求包括:调用所述业务数据的参数,在根据所述参数确定存储所述业务数据的集群,其中,所述内存数据库至少包括一个集群;并从所述集群的代理节点上获取需要调用的业务数据;将所述业务数据发送给所述调用方。也就是说,本公开通过调用请求中的参数可以快速查找到存储该业务数据的集群,提高了数据查询效率,然后从该集群对应的代理节点上获取需要调用的业务数据发送给所述调用方。即对客户端存储业务数据的内存数据库集群进行动态扩容,通过扩展该集群数量,并对多个集群进行整合,通过多个集群共同承担高请求量的业务场景,让每一个集群的容量都控制在有限的范围内,为集群高并发在容灾情况下快速恢复,提供了解决方案,即解决了现有技术中,由于集群容量不能满足业务请求量的提升,导致容灾情况下业务恢复时间过长,查询效率低,降低了用户体验的问题。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种集群业务的调用方法的流程图。
图2是根据一示例性实施例示出的一种集群业务的调用方法的流程图。
图2A是根据一示例性实施例示出的一种配置集群个数的一种应用实例示意图。
图3是根据一示例性实施例示出的一种集群业务的调用方法的应用实例的流程图。
图4是根据一示例性实施例示出的一种集群业务的调用装置的框图。
图5是根据一示例性实施例示出的一种集群业务的调用装置的另一框图。
图6是根据一示例性实施例示出的一种确定模块的框图。
图7是根据一示例性实施例示出的一种确定模块的另一框图。
图8是根据一示例性实施例示出的一种电子设备的结构框图。
图9是根据一示例性实施例示出的一种具有集群业务的调用装置的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在理解本公开之前,先理解下述技术术语;
redis:内存数据库,是一个以键值对(key-value)存储的分布式存储数据库,它支持存储的value类型相对更多,比如string(字符串)、list(链表)、set(集合)和zset(有序集合)等。redis支持各种不同方式的排序,为了保证效率,数据都是缓存在内存中。redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了master-slave(主从)同步。它的性能十分优越,可以支持每秒十几万此的读/写操作,其性能远超数据库,并且还支持集群、分布式、主从同步等配置,原则上可以无限扩展,让更多的数据存储在内存中,它还支持一定的事务能力,这保证了高并发的场景下数据的安全和一致性。另外,Redis提供的sentinel(哨兵)机制,通过sentinel模式启动redis后,自动监控master/slave的运行状态。
QPS:是指每秒查询率,其英文全称为Query Per Second,也可以理解为每秒的请求量,每秒的响应请求数,也即是最大吞吐能力,服务器每秒接受的请求次数,这个数值越高对服务器性能和部署架构要求越高。
Twemproxy是一种redis部署的代理节点,可以无状态的接受客户端的请求,并且可以一致性哈希(hash)请求到下面的redis server上。
在理解上述技术术语后,图1是根据一示例性实施例示出的一种集群业务的调用方法的流程图,如图1所示,集群业务的调用方法用于终端中,包括以下步骤。
在步骤101中,获取调用方调用内存数据库中业务数据的调用请求,所述调用请求包括:调用所述业务数据的参数;
在步骤102中,根据所述参数确定存储所述业务数据在的集群,其中,所述内存数据库至少包括一个集群;
在步骤103中,从所述集群代的理节点上获取需要调用的业务数据;
在步骤104中,将所述业务数据发送给所述调用方。
本公开所述的集群业务的调用方法可以应用于终端、服务器等,在此不作限制,其终端实施设备可以是智能手机,笔记本电脑、平板电脑等电子设备,在此不作限制。
下面结合图1,对本公开实施例提供的一种集群业务的调用方法的具体实施步骤进行详细说明。
首先,执行步骤101,获取调用方调用内存数据库(redis)中业务数据的调用请求,所述调用请求包括:调用所述业务数据的参数;其中,该参数可以是键值(key)等。
该步骤中,用户可以根据需要向redis客户端发送调用内存数据库(redis)中业务数据的调用请求,而redis客户端接收到用户(比如业务调用方等)发送的调用内存数据库(redis)中业务数据的调用请求,该调用请求中包括调用业务数据的参数,比如键值key,通常情况下,基于Redis的数据存储都是通过键值对(Key-Value)来存储的,可以通过键值key快速查询到唯一对应的数值value。该键值key表示存储业务数据的参数,数值value表示与键值key对应的集群。
其中,Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的应用程序接口(API,ApplicationProgram Interface)。
需要说明的是,本公开实施例中的调用方可以用户,也可以是终端或终端上的客户端等,本实施例不做限制,
其次,执行步骤102,根据所述参数确定存储所述业务数据的集群。
该步骤中,redis客户端根据所述参数(比如键值key等)确定(或判断)存储该业务数据的集群,其确定方式以下述两种方式为例:
第一种确定方式为:
11)从预先存储的多集群配置项中获取总集群个数,以及每个集群都有对应的数字标识,其中,所述多集群配置项用于存储预先配置的总集群个数,以及每个集群对应的数字标识;
该步骤中,由于预先存储的多集群配置项中存储有配置的总集群个数,比如10个集群,每个集群都有对应的数字标识,即,集群1,集群2,集群3,集群4,……,集群10;而每个集群下面又管理有多个代理节点(twemproxy),比如,集群1下面管理有100个代理节点等,集群2下面管理有50代理节点等,每个集群下的代理节点称为,集群的代理节点,比如,集群1的twemproxy等。通常情况下,为了保证每个集群的请求量,每个集群下面管理的代理节点都会小于或等于100个。
其中,需要说明的是,多集群配置项可以存储在redis客户端本地的内存中,也可以存储在第三方,本实施例不做限制。需要说明的是,预先存储的多集群配置项中,可以包括每个集群对应的数字标识,以及每个参数与对应一个集群或多个集群之间的映射关系等,当然,还可以根据需要包括其他的信息,本实施例不做限制。其该多集群配置项的配置过程详见下述,在此不再赘述。
12)计算所述参数(比如key)的哈希值;
该步骤中,redis客户端通过哈希算法或哈希函数计算参数(比如键值key)对应的哈希值,其具体的计算过程对于本领域技术人员来说,已是熟知技术,在此不再赘述。
13)对所述哈希值取模计算,得到对应的数值(value);
该步骤中,redis客户端通过对所述哈希值进行取模计算,得到对应的数值(value),通常为整数值。也就是说,利用哈希函数对哈希值进行取模计算,然后,把计算结果映射到一个固定范围内的数值,该数值为整数集合,该整数集合中,可以包括一个整数值,也可以包括多个整数值,本实施例不做限制。
14)确定与所述数值对应的数字标识的集群为存储所述业务数据所在的集群。即存储该业务数据的集群。
该步骤中,假如,步骤13)中得到的数值为1、2和3,则表示该业务数据分别存在对应集群1,集群2和集群3等。即redis客户端将与所整数值对应的数字标识的集群作为所述该业务数据所在的集群。
本公开实施例中,先计算参数的哈希值,然后对哈希值进行取模计算,得到对应的数值,然后,将计算得到的数值与从预先存储的多集群配置项中获取总集群个数对应的数字标识进行比对,查找对应的数字标识,则确定与该数字标识对应的集群就是存储该业务数据的集群。也就是说,本公开中,利用参数与集群之间的对应关系,可以根据参数快速的查找到存储业务数据的集群,提供了数据的查询效率。
第二种确定方式,本实施例中的参数以key为例,包括:
步骤21)计算所述参数的哈希值;
其中,该实施例中的参数可以是key,即计算key的哈希值。其具体的计算过程与上述步骤12)相同,具体详见上述,在此不再赘述。
步骤22)对所述哈希值取模计算,得到对应的数值;
其中,该步骤22)与上述步骤13)相同,具体详见上述,在此不再赘述。
步骤23)根据所述数值查找多集群配置项中存储的映射关系表,得到与所述数值相同数字标识的集群;
该步骤中,redis客户端根据所述整数值查找本地或第三方中的多集群配置项中存储的映射关系表,得到与所述数值相同数字标识的集群。
步骤24)将查找到的所述集群确定为存储业数据的集群(即所述key对应的集群)。
redis客户端查询到的所述集群作为所述键值key对应的集群。
本公开实施例中,先计算参数的哈希值,然后对哈希值进行取模计算,得到对应的数值,然后,将计算得到的数值查询预先存储的多集群配置项中存储的映射关系表,从而查找到与所述数值相同的数字标识,将查找到的所述集群作为存储所述业务数据的集群。也就是说,本公开实施例中,利用参数与集群之间的映射关系表,可以根据参数快速的查找到存储业务数据所在集群,提供了数据的查询效率。
再次,执行步骤103,从所述集群的代理节点上获取需要调用的业务数据;
该步骤中,如果根据key确定的集群为集群1,则redis客户端向集群1中的代理节点转发调用请求,该请求中包括调用业务数据的参数,以及接收所述集群1的代理节点反馈的响应业务数据;再比如,如果根据key确定的集群为集群3,则redis客户端向集群3中的代理节点转发调用请求,以及接收所述集群3的代理节点反馈的响应数据。
最后,执行步骤104,将所述业务数据发送给所述调用方。
该步骤中,redis客户端将从集群的代理节点上获取业务数据发送给所述调用方。
本示例性实施例中,在获取调用方调用内存数据库中业务数据的的调用请求后,根据该调用请求中的参数确定存储该业务数据的集群;并从所述集群的代理节点上获取需要调用的业务数据;将所述业务数据发送给所述调用方户。也就是说,本公开通过调用请求中的参数可以快速查找到存储该调用数据的集群,提高了数据的查询效率。然后从该集群对应的代理节点上获取业务数据,对客户端存储业务数据的集群进行动态扩展,通过扩展集群的数量,并对多个集群进行整合,通过多个集群共同承担高请求量的业务场景,让每一个集群的容量都控制在有限的范围内,为集群高并发在容灾情况下快速恢复提供了解决方案,即解决了现有技术中,由于集群容量不能满足业务请求量的提升,导致容灾情况下业务恢复时间过长,降低用户体验的问题。
还请参图2,为对本公开实施例提供的一种集群业务的调用方法的的流程图,其具体实施例步骤包括:
步骤201:获取调用方调用内存数据库(redis)中业务数据的的调用请求,所述调用请求包括:调用所述业务数据的参数;
其中,步骤201与步骤101相同,具体详见上述,在此不再赘述。
步骤202:根据所述参数确定存储所述业务数据的集群为多个集群;
该步骤中,根据所述参数确定存储所述业务数据的集群为多个集群时,与根据所述参数确定存储所述业务数据的一个集群的过程类似,其区别为,对所述哈希值取模计算,得到对应的多个数值(value),之后,将与所述多个数值中每个数值对应的数字标识的集群都确定为存储所述业务数据的集群。其他的过程详见上述,在此不再赘述。
步骤203:从每个集群的代理节点上分别获取需要调用的业务数据;
该步骤中,Redis客户端需要从每个集群的代理节点上分别获取需要调用的业务数据,其具体的获取过程与上述步骤103的实现过程类似,具体详见上述,在此不再赘述。
步骤204:将从每个集群中获取的所述业务数据进行合并;
该步骤中,Redis客户端需要将获取到的业务数据按时一定的顺序进行合并,其具体的合并过程已是熟知技术,在此不再赘述。
步骤205:将合并后的所述业务数据发送给所述调用方。
该步骤中,Redis客户端将合并后的所述业务数据发送给所述调用方。
本公开实施例通过扩展redis集群的数量,对redis客户端进行改造,使用多个集群进行整合,通过多个redis集群共同承担高请求量的业务场景,让每一个集群的容量都控制在有限的范围内,为redis集群高并发在容灾情况下快速恢复提供了解决方案。本公开实施例中,在扩展redis集群的数量,可以将每个集群的代理节点(twemproxy)控制在预设范围(比如100个)以内,这样在容灾恢复时候时间可以控制在指定范围内,解决了现有技术中,由于集群容量不能满足业务请求量的提升,导致容灾情况下业务恢复时间过长,降低用户体验的问题。
可选的,在另一实施例中,该实施例在上述实施例的基础上,所述方法还可以包括:接收所述调用方根据集群的预估业务请求量发送的集群个数配置请求;根据所述集群个数配置请求利用哈希算法配置对应的总集群个数,每个集群都有对应的数字标识;建立每个业务数据的参数与对应的一个集群或多个集群的数字标识之间的映射关系;将所述映射关系存储到多集群配置项中,向所述调用方反馈配置响应。
该实施例中,业务方先根据集群的预估QPS,按照每个集群200w的预估,进行拆分,比如预估是2000wQPS的服务可以申请10个集群,之后,调用方通过zookeeper将申请的集群个数(比如10个集群)配置到一个多集群配置项中,之后,redis客户端采用一致性hash策略,根据zookeeper配置的集群个数(比如10个等),将配置的key请求到对应的redis集群上,即建立每个业务数据的参数与对应的一个集群或多个集群之间的映射关系,(即建立Key与对应的Value之间的映射关系,最后将请求调用的业务数据进行汇总,并将汇总的业务数据结果返回给调用方。
需要说明的是,ZooKeeper是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。
其中,redis客户端通过hash策略根据zookeeper配置的集群个数的示意图如图2A所示,图2A为根据一示例性实施例示出的一种配置集群个数的一种应用实例示意图,该图2A中,以包括四个客户端(比如redis客户端),即客户端client1至客户端client4,六个集群的代理节点(twemproxy),即集群1的twemproxy至集群6的twemproxy为例,通过哈希策略,配置每个redis客户端都可以配置调用六个集群中的任一个集群的代理节点。
本公开中,redis客户端在接收到调用方可以根据集群的预估业务请求量发送的集群个数配置请求时,配置对应的总集群个数,建立每个业务数据的参数与对应的一个集群或多个集群的数字标识之间的映射关系;将所述映射关系存储到多集群配置项中;最后向所述调用方反馈配置响应。也就是说,本公开中,通过调用请求中的键值可以确定存储业务数据的集群,然后从该集群对应的代理节点上获取该业务数据,即对客户端的内存数据库集群进动态扩,使用多个集群进行整合,通过多个redis集群共同承担高请求量的业务场景,让每一个集群的容量都控制在有限的范围内,为redis集群高并发在容灾情况下快速恢复提供了解决方案,即解决了现有技术中,由于集群容量不能满足业务请求量的提升,导致容灾情况下业务恢复时间过长,降低用户体验的问题。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本实施公开并不受所描述的动作顺序的限制,因为依据本公开,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本公开所必须的。
图3是根据一示例性实施例示出的一种集群业务的调用方法的应用实例的流程图,如图3所示,该实施例涉及到的实体为:业务调用方,redis客户端,集群1的代理节点(twemproxy),集群2的twemproxy,集群3的twemproxy,集群n的twemproxy,redis多集群配置存储项,具体包括:
步骤301:业务调用方向redis客户端发起调用内存数据库redis中业务数据的调用请求,该调用请求中包括key,其中,所述键值用来查找存储所述业务数据的集群;
步骤302:redis客户端在接收到调用请求后,从redis多集群配置存储项中获取总集群个数;
步骤303:redis客户端根据所述键值确定对应的集群;如果确定是一个集群,比如确定为集群2,则执行步骤304至步骤306;如果确定是多个集群,比如集群1、集群2和集群n,则执行步骤307至步骤314;
该步骤中,redis客户端根据key判断该业务数据所在的集群。
步骤304:redis客户端向集群2的twemproxy发起调用请求;
步骤305:集群2的twemproxy向redis客户端反馈响应的业务数据;
步骤306:redis客户端将该业务数据发送给业务调用方;
步骤307:redis客户端向集群1的twemproxy发起调用请求;
步骤308:redis客户端向集群2的twemproxy发起调用请求;
步骤309:redis客户端向集群n的twemproxy发起调用请求;
步骤310:集群1的twemproxy向redis客户端反馈响应的业务数据;
步骤311:集群2的twemproxy向redis客户端反馈响应的业务数据;
步骤312:集群n的twemproxy向redis客户端反馈响应的业务数据;
需要说明的是,在具体执行时,集群1、集群2和集群n反馈响应的时间不分先后顺序,也可以同时执行,本实施例不做限制。
步骤313:redis客户端将接收到的每个集群响应的所述业务数据进行顺序合并;
步骤314:redis客户端将合并后的所述业务数据发送给业务调用方。
本公开使用多个集群进行整合,通过多个redis集群共同承担高请求量的业务场景,让每一个集群的容量都控制在有限的范围内,为redis集群高并发在容灾情况下快速恢复提供了解决方案,即解决了现有技术中,由于集群容量不能满足业务请求量的提升,导致容灾情况下业务恢复时间过长,降低用户体验的问题。
图4是根据一示例性实施例示出的一种集群业务的调用装置的框图。参照图4,该装置包括:第一获取模块401,确定模块402、第二获取模块403和第一发送模块404,其中,
该第一获取模块401,被配置为执行获取用方调用内存数据库中业务数据的调用请求,所述调用请求包括:调用所述业务数据的参数;
该确定模块402,被配置为执行根据所述参数确定存储所述业务数据的集群,所述内存数据库至少包括一个集群;
该第二获取模块403,被配置为执行从所述集群的代理节点上获取需要调用的业务数据;
该第一发送模块404,被配置为执行将所述业务数据发送给所述调用方。
可选的,所述装置还可以包括:第三获取模块501,合并模块502和第二发送模块503,其结构示意图如图5所示,其中,
该第三获取模块501,被配置为执行在所述确定模块确定存储所述业务数据的集群为多个集群时,从每个集群的代理节点上分别获取需要调用的业务数据;
该合并模块502,被配置为执行将从每个集群中获取的所述业务数据进行合并;
该第二发送模块503,被配置为执行将所述合并模块合并后的所述业务数据发送给所述调用方。
可选的,所述确定模块402包括:集群个数获取模块601,第一计算模块602,第一取模计算模块603和第一集群确定模块604,其结构示意图如图6所示,其中,
该集群个数获取模块601,被配置为执行从预先存储的多集群配置项中获取总集群个数,以及每个集群都有对应的数字标识,其中,所述多集群配置项用于存储预先配置的总集群个数,以及每个集群对应的数字标识;
该第一计算模块602,被配置为执行计算所述参数的哈希值;
该第一取模计算模块603,被配置为执行对所述哈希值进行取模计算,得到对应的数值;
该第一集群确定模块604,被配置为执行确定与所述数值对应的数字标识的集群为存储所述业务数据的集群。
可选的,所述确定模402块包括:第二计算模块701,第二取模计算模块702、查找模块703和第二集群确定模块704,其结构示意图如图7所示,其中,
该第二计算模块701,被配置为执行计算所述参数的哈希值;
该第二取模计算模块702,被配置为执行对所述哈希值进行取模计算,得到对应的数值;
该查找模块703,被配置为执行根据所述数值查找预先存储的多集群配置项中的映射关系,得到与所述数值相同数字标识的集群;
该第二集群确定模块704,被配置为执行将所述查找模块703查找到的所述集群确定为存储所述业务数据的集群。
可选的,所述装置还可以包括:接收模块,配置模块,建立模块,存储模块和反馈模块(图中未示),其中,
该接收模块,被配置为执行接收所述调用方根据集群的预估业务请求量发送的集群个数配置请求;
该配置模块,被配置为执行根据所述集群个数配置请求利用哈希算法配置对应的总集群个数,每个集群都有对应的数字标识;
该建立模块,被配置为执行建立业务数据的参数与对应一个集群或多个集群的数字标识之间的映射关系;
该存储模块,被配置为执行将所述映射关系存储到多集群配置项中;
该反馈模块,被配置为执行向所述调用方反馈配置响应。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,相关之处参见方法实施例的部分说明即可,此处将不做详细阐述说明。
在示例性实施例中,本公开还提供一种电子设备,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如上所述的集群业务的调用方法。
在示例性实施例中,本公开还提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如上所述的集群业务的调用方法。
在示例性实施例中,本公开还提供一种计算机程序产品,包括计算机程序或指令,当所述计算机程序产品中的计算机程序或指令被处理器执行时实现如上所述的集群业务的调用方法。
在示例性实施例中,还提供了一种包括指令的存储介质,例如包括指令的存储器,上述指令可由装置的处理器执行以完成上述的集群业务的调用方法。可选地,存储介质可以是非临时性计算机可读存储介质,例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图8是根据一示例性实施例示出的一种电子设备800的框图。例如,电子设备800可以为移动终端也可以为服务器,本公开实施例中以电子设备为移动终端为例进行说明。例如,电子设备800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图8,电子设备800可以包括以下一个或多个组件:处理组件802,存储器804,电力组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制电子设备800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当电子设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为电子设备800提供各个方面的状态评估。例如,传感器组件814可以检测到设备800的打开/关闭状态,组件的相对定位,例如所述组件为电子设备800的显示器和小键盘,传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变,用户与电子设备800接触的存在或不存在,电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述所示的集群业务的调用方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由电子设备800的处理器820执行以完成上述所示的集群业务的调用方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种计算机程序产品,当计算机程序产品中的指令由电子设备800的处理器820执行时,使得电子设备800执行上述所示的集群业务的调用方法。
图9是根据一示例性实施例示出的一种用于集群业务的调用装置900的框图。例如,装置900可以被提供为一服务器。参照图9,装置900包括处理组件922,其进一步包括一个或多个处理器,以及由存储器932所代表的存储器资源,用于存储可由处理组件922的执行的指令,例如应用程序。存储器932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件922被配置为执行指令,以执行上述集群业务的调用方法。
装置900还可以包括一个电源组件926被配置为执行装置900的电源管理,一个有线或无线网络接口950被配置为将装置900连接到网络,和一个输入输出(I/O)接口958。装置900可以操作基于存储在存储器932的操作系统,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (10)
1.一种集群业务的调用方法,其特征在于,包括:
获取调用方调用内存数据库中业务数据的调用请求,所述调用请求包括:调用所述业务数据的参数;
根据所述参数确定存储所述业务数据的集群,其中,所述内存数据库至少包括一个集群;
从所述集群的代理节点上获取需要调用的业务数据;
将所述业务数据发送给所述调用方。
2.根据权利要求1所述的集群业务的调用方法,其特征在于,在根据所述参数确定存储所述业务数据的集群为多个集群时;所述方法包括:
从每个集群的代理节点上分别获取需要调用的业务数据;
将从每个集群的代理节点中获取的所述业务数据进行合并;
将合并后的所述业务数据发送给所述调用方。
3.根据权利要求1所述的集群业务的调用方法,其特征在于,所述根据所述参数确定存储所述业务数据的集群,包括:
从预先存储的多集群配置项中获取总集群个数,以及每个集群对应的数字标识;其中,所述多集群配置项用于存储预先配置的总集群个数,以及每个集群对应的数字标识;
计算所述参数的哈希值;
对所述哈希值取模计算,得到对应的数值;
确定与所述数值对应的数字标识的集群为存储所述业务数据的集群。
4.根据权利要求1所述的集群业务的调用方法,其特征在于,所述根据所述参数确定存储所述业务数据的集群,包括:
计算所述参数的哈希值;
对所述哈希值进行取模计算,得到对应的数值;
根据所述数值查找预先存储的多集群配置项中存储的映射关系,得到与所述数值相同的数字标识的集群;
将查找到的所述集群确定为存储所述业务数据的集群。
5.根据权利要求3或4所述的集群业务的调用方法,其特征在于,所述方法还包括:
接收所述调用方根据集群的预估业务请求量发送的集群个数配置请求;
根据所述集群个数配置请求利用哈希算法配置对应的总集群个数,每个集群都有对应的数字标识;
建立每个业务数据的参数与对应的一个集群或多个集群的数字标识之间的映射关系;
将所述映射关系存储到多集群配置项中;
向所述调用方反馈配置响应。
6.一种集群业务的调用装置,其特征在于,包括:
第一获取模块,被配置为执行获取调用方调用内存数据库中业务数据的调用请求,所述调用请求包括:调用所述业务数据的参数;
确定模块,被配置为执行根据所述参数确定存储所述业务数据的集群,所述内存数据库至少包括一个集群;
第二获取模块,被配置为执行从所述集群的代理节点上获取需要调用的业务数据;
第一发送模块,被配置为执行将所述业务数据发送给所述调用方。
7.根据权利要求6所述的集群业务的调用装置,其特征在于,所述装置还包括:
第三获取模块,被配置为执行在所述确定模块确定存储所述业务数据的集群为多个集群时,从每个集群的代理节点上分别获取需要调用的业务数据;
合并模块,被配置为执行将从每个集群的代理节点中获取的所述业务数据进行合并;
第二发送模块,被配置为执行将所述合并模块合并后的所述业务数据发送给所述调用方。
8.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至5中任一项所述的集群业务的调用方法。
9.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至5中任一项所述的集群业务的调用方法。
10.一种计算机程序产品,包括计算机程序或指令,其特征在于,当所述计算机程序产品中的计算机程序或指令被处理器执行时实现如权利要求1至5中任一项所述的集群业务的调用方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110269917.1A CN113111123A (zh) | 2021-03-12 | 2021-03-12 | 集群业务的调用方法、装置、电子设备、存储介质及产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110269917.1A CN113111123A (zh) | 2021-03-12 | 2021-03-12 | 集群业务的调用方法、装置、电子设备、存储介质及产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113111123A true CN113111123A (zh) | 2021-07-13 |
Family
ID=76711231
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110269917.1A Pending CN113111123A (zh) | 2021-03-12 | 2021-03-12 | 集群业务的调用方法、装置、电子设备、存储介质及产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113111123A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024066676A1 (zh) * | 2022-09-30 | 2024-04-04 | 华为技术有限公司 | 一种神经网络模型的推理方法、装置及相关设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104050249A (zh) * | 2011-12-31 | 2014-09-17 | 北京奇虎科技有限公司 | 分布式查询引擎系统和方法及元数据服务器 |
CN106998370A (zh) * | 2017-06-15 | 2017-08-01 | 北京微影时代科技有限公司 | 访问控制方法、装置以及系统 |
CN109769028A (zh) * | 2019-01-25 | 2019-05-17 | 深圳前海微众银行股份有限公司 | Redis集群管理方法、装置、设备及可读存储介质 |
CN110474940A (zh) * | 2018-05-10 | 2019-11-19 | 北京金山安全软件有限公司 | 请求调度方法、装置、电子设备、及介质 |
-
2021
- 2021-03-12 CN CN202110269917.1A patent/CN113111123A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104050249A (zh) * | 2011-12-31 | 2014-09-17 | 北京奇虎科技有限公司 | 分布式查询引擎系统和方法及元数据服务器 |
CN106998370A (zh) * | 2017-06-15 | 2017-08-01 | 北京微影时代科技有限公司 | 访问控制方法、装置以及系统 |
CN110474940A (zh) * | 2018-05-10 | 2019-11-19 | 北京金山安全软件有限公司 | 请求调度方法、装置、电子设备、及介质 |
CN109769028A (zh) * | 2019-01-25 | 2019-05-17 | 深圳前海微众银行股份有限公司 | Redis集群管理方法、装置、设备及可读存储介质 |
Non-Patent Citations (1)
Title |
---|
万能知识大社区, pages 190, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/351244798> * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024066676A1 (zh) * | 2022-09-30 | 2024-04-04 | 华为技术有限公司 | 一种神经网络模型的推理方法、装置及相关设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106354840B (zh) | 文件处理方法、装置及分布式文件系统 | |
CN112003893B (zh) | 一种资源下载方法和装置 | |
CN112134784A (zh) | 消息展示方法、装置、终端、服务器、系统及存储介质 | |
CN109388625B (zh) | 多分布式文件系统中处理配置文件的方法及装置 | |
WO2020020048A1 (zh) | 更新群成员数据的方法、装置、终端、系统及存储介质 | |
CN112583896B (zh) | 会话管理方法、装置、电子设备、服务器及存储介质 | |
US20150350120A1 (en) | Method and device for managing instant message | |
CN112187862A (zh) | 一种任务处理方法、装置和用于任务处理的装置 | |
CN113177093A (zh) | 数据同步方法及装置、电子设备和存储介质 | |
CN113111123A (zh) | 集群业务的调用方法、装置、电子设备、存储介质及产品 | |
CN112804160A (zh) | 基于应用程序的限流方法、装置、设备、介质及产品 | |
CN109245992B (zh) | 请求处理方法、装置、电子设备及存储介质 | |
CN107276795A (zh) | 基于容器的信息处理方法和装置、以及服务器和终端 | |
CN111221862A (zh) | 一种请求处理方法及装置 | |
CN110764847A (zh) | 用户信息处理方法、装置、电子设备及存储介质 | |
CN111241134B (zh) | 一种数据处理方法及装置 | |
CN109948012B (zh) | 序列号的生成方法、装置及存储介质 | |
CN108509641B (zh) | 文件备份的方法、装置、服务器以及系统 | |
CN112769677A (zh) | 数据同步方法、装置、电子设备、存储介质和程序产品 | |
CN113452765B (zh) | 一种长连接通信方法、系统、设备、存储介质及程序产品 | |
CN116909760B (zh) | 数据处理方法、装置、可读存储介质、电子设备 | |
CN113901356B (zh) | 一种信息处理方法及装置 | |
CN110536269B (zh) | 一种信息共享的方法和装置 | |
CN110716985B (zh) | 一种节点信息处理方法、装置及介质 | |
CN115514748A (zh) | 数据处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |