CN112948377A - 数据的存储方法、装置、电子设备及计算机可读介质 - Google Patents
数据的存储方法、装置、电子设备及计算机可读介质 Download PDFInfo
- Publication number
- CN112948377A CN112948377A CN202110143393.1A CN202110143393A CN112948377A CN 112948377 A CN112948377 A CN 112948377A CN 202110143393 A CN202110143393 A CN 202110143393A CN 112948377 A CN112948377 A CN 112948377A
- Authority
- CN
- China
- Prior art keywords
- data
- stored
- nodes
- node
- redis cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000013500 data storage Methods 0.000 title claims abstract description 21
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 125000004122 cyclic group Chemical group 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2272—Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/219—Managing data history or versioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2255—Hash tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2308—Concurrency control
- G06F16/2315—Optimistic concurrency control
- G06F16/2322—Optimistic concurrency control using timestamps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开涉及一种数据的存储方法、装置、电子设备及计算机可读介质,属于数据存储技术领域。该方法包括:获取待存储数据和所述待存储数据对应的关键字,并获取所述Redis集群存储系统中的Redis集群的节点数量;根据所述Redis集群的节点数量和所述待存储数据对应的关键字,确定所述待存储数据对应的目标节点;根据所述Redis集群中的节点数量确定所述待存储数据对应的写入节点数量;根据所述写入节点数量将所述待存储数据写入包括所述目标节点在内的多个节点中。本公开通过将待存储数据写入包括目标节点在内的多个节点中,可以使待存储数据在写入的同时拥有多个副本,从而保证了集群容错性和数据的完整性,减少集群数据不一致的情况。
Description
技术领域
本公开涉及数据存储技术领域,具体而言,涉及一种数据的存储方法、数据的存储装置、电子设备及计算机可读介质。
背景技术
Redis(Remote Dictionary Server,远程字典服务)是一种key-value(键值对)存储系统,Redis有三种集群模式:主从复制模式、哨兵模式和集群模式,然而这三种集群模式都存在主从数据不一致等问题,会导致集群容错性和数据一致性较低。
鉴于此,本领域亟需一种能够提升集群容错性和数据一致性的数据的存储方法。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种数据的存储方法、数据的存储装置、电子设备及计算机可读介质,进而至少在一定程度上提升集群容错性和数据一致性。
根据本公开的第一个方面,提供一种数据的存储方法,应用于Redis集群存储系统,包括:
获取待存储数据和所述待存储数据对应的关键字,并获取所述Redis集群存储系统中的Redis集群的节点数量;
根据所述Redis集群的节点数量和所述待存储数据对应的关键字,确定所述待存储数据对应的目标节点;
根据所述Redis集群中的节点数量确定所述待存储数据对应的写入节点数量;
根据所述写入节点数量将所述待存储数据写入包括所述目标节点在内的多个节点中。
在本公开的一种示例性实施例中,所述方法还包括:
获取待读取数据对应的关键字,并根据所述节点数量和所述待读取数据对应的关键字,确定所述待读取数据对应的目标节点;
根据所述节点数量确定所述待读取数据对应的读取节点数量,并根据所述读取节点数量从包括所述目标节点在内的多个节点中读取所述待读取数据的值。
在本公开的一种示例性实施例中,所述方法还包括:
在多个所述节点同时写入同一个待存储数据时,获取各个所述节点当前的数据版本号;
根据各个所述节点当前的数据版本号,将所述待存储数据写入所述节点中。
在本公开的一种示例性实施例中,所述根据各个所述节点当前的数据版本号,将所述待存储数据写入所述节点中,包括:
对各个所述节点当前的数据版本号进行比较,若各个所述节点当前的数据版本号不同,则将所述待存储数据写入所述数据版本号最高的节点中;
若各个所述节点当前的数据版本号相同,则获取各个所述节点的更新时间戳,并将所述待存储数据写入是更新时间戳最早的节点中;
若各个所述节点的更新时间戳相同,则将所述待存储数据随机写入任意一个节点中。
在本公开的一种示例性实施例中,所述根据所述Redis集群的节点数量和所述待存储数据对应的关键字,确定所述待存储数据对应的目标节点,包括:
获取所述Redis集群中的槽点数量,并根据所述节点数量和所述槽点数量,确定所述Redis集群中的每个节点对应的槽点索引区间;
根据所述槽点数量和所述待存储数据对应的关键字,确定所述待存储数据对应的槽点索引值;
将所述待存储数据的槽点索引值所在的槽点索引区间对应的节点确定为所述待存储数据的目标节点。
在本公开的一种示例性实施例中,所述根据所述槽点数量和所述待存储数据对应的关键字,确定所述待存储数据对应的槽点索引值,包括:
通过循环冗余校验算法得到所述待存储数据对应的关键字的哈希校验值;
将所述关键字的哈希校验值对所述槽点数量进行取模运算,得到所述待存储数据对应的槽点索引值。
在本公开的一种示例性实施例中,所述方法还包括:
通过哨兵工具监控所述Redis集群中各个节点的工作状态,在某一所述节点下线时,将所述节点下线的消息通知所述Redis集群中的其它节点。
根据本公开的第二方面,提供一种数据的存储装置,包括:
数据关键字获取模块,用于获取待存储数据和所述待存储数据对应的关键字,并获取所述Redis集群存储系统中的Redis集群的节点数量;
目标节点确定模块,用于根据所述Redis集群的节点数量和所述待存储数据对应的关键字,确定所述待存储数据对应的目标节点;
节点数量确定模块,用于根据所述Redis集群中的节点数量确定所述待存储数据对应的写入节点数量;
待存储数据写入模块,用于根据所述写入节点数量将所述待存储数据写入包括所述目标节点在内的多个节点中。
根据本公开的第三方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的数据的存储方法。
根据本公开的第四方面,提供一种计算机可读介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的数据的存储方法。
本公开示例性实施例可以具有以下有益效果:
本公开示例实施方式的数据的存储方法中,通过Redis集群的节点数量和待存储数据对应的关键字,确定待存储数据对应的目标节点,并根据写入节点数量将待存储数据写入包括目标节点在内的多个节点中,可以使待存储数据在写入的同时在其它节点拥有多个副本,保证了集群容错性,如果集群中有一个节点发生宕机,则通过其它节点中的副本数据可以保证数据的完整性,从而减少集群数据不一致的情况,提高了系统的可用性。另外,集群中每个节点都可以提供读写服务,避免了单个写入节点的压力过大,提高了系统资源利用率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1示出了本公开示例实施方式的数据的存储方法的流程示意图;
图2示出了本公开示例实施方式的确定待存储数据对应的目标节点的流程示意图;
图3示意性示出了根据本公开的一个具体实施方式的确定请求数据对应分片的示意图;
图4示意性示出了根据本公开的一个具体实施方式的数据写入的示意图;
图5示出了本公开示例实施方式的从Redis集群存储系统中读取数据的流程示意图;
图6示出了本公开示例实施方式的多个节点同时写入同一个待存储数据的流程示意图;
图7示意性示出了根据本公开的一个具体实施方式的哨兵监控机制的示意图;
图8示出了根据本公开的一个具体实施方式中Redis集群存储系统的示意图;
图9示出了本公开示例实施方式的数据的存储装置的框图;
图10示出了适于用来实现本公开实施方式的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
在一些相关的实施例中,Redis有三种集群模式,第一种模式是主从复制模式,第二种模式是哨兵模式,第三种模式是集群模式。上述三种Redis集群模式在使用时都存在一些缺陷,具体如下:
主从模式存在的问题包括:
1、容错能力比较差,当主节点发生宕机以后,需要手工切换IP,将从节点设置为主节点;
2、主节点宕机以后,从节点数据存在不一致的情况,导致业务系统发生异常;
3、主节点支持读写服务,但从节点只支持读服务,写入服务存在瓶颈。
哨兵模式存在的问题包括:
1、能够支持故障自动切换,但是同样存在主从数据不一致的情况,容易发生业务异常。
2、主节点支持读写服务,但从节点只支持读服务,写入服务存在瓶颈。
集群模式存在的问题包括:
1、能够支持故障自动切换,但是同样存在主从数据不一致的情况,容易发生业务异常。
2、主节点支持读写服务,但从节点只支持读服务,写入服务存在瓶颈。
3、集群节点发生异常时,需要将节点内数据迁移到其它节点,造成业务使用方体验差。
可以看出,上述三种集群模式都存在主从数据不一致,以及从节点只支持读服务,写入服务存在瓶颈等问题。
基于上述问题,本示例实施方式首先提供了一种数据的存储方法,应用于一种新的Redis集群架构存储系统。参考图1所示,上述数据的存储方法可以包括以下步骤:
步骤S110.获取待存储数据和待存储数据对应的关键字,并获取Redis集群存储系统中的Redis集群的节点数量。
步骤S120.根据Redis集群的节点数量和待存储数据对应的关键字,确定待存储数据对应的目标节点。
步骤S130.根据Redis集群中的节点数量确定待存储数据对应的写入节点数量。
步骤S140.根据写入节点数量将待存储数据写入包括目标节点在内的多个节点中。
本公开示例实施方式的数据的存储方法中,通过Redis集群的节点数量和待存储数据对应的关键字,确定待存储数据对应的目标节点,并根据写入节点数量将待存储数据写入包括目标节点在内的多个节点中,可以使待存储数据在写入的同时在其它节点拥有多个副本,保证了集群容错性,如果集群中有一个节点发生宕机,则通过其它节点中的副本数据可以保证数据的完整性,从而减少集群数据不一致的情况,提高了系统的可用性。另外,集群中每个节点都可以提供读写服务,避免了单个写入节点的压力过大,提高了系统资源利用率。
下面,结合图2至图7对本示例实施方式的上述步骤进行更加详细的说明。
在步骤S110中,获取待存储数据和待存储数据对应的关键字,并获取Redis集群存储系统中的Redis集群的节点数量。
本示例实施方式中,待存储数据指的是待写入系统的key-value(键值对)数据,其中,key为待存储数据对应的关键字,value是值。
本示例实施方式中,Redis集群可以根据一致性hash(哈希)协议进行分片,Redis集群的节点数量与集群的分片数相同。
在步骤S120中,根据Redis集群的节点数量和待存储数据对应的关键字,确定待存储数据对应的目标节点。
本示例实施方式中,待存储数据对应的目标节点指的是待存储数据写入的节点。
本示例实施方式中,采用Redis集群模式中的固定slot(槽点)方式,如图2所示,根据Redis集群的节点数量和待存储数据对应的关键字,确定待存储数据对应的目标节点,具体可以包括以下几个步骤:
步骤S210.获取Redis集群中的槽点数量,并根据节点数量和槽点数量,确定Redis集群中的每个节点对应的槽点索引区间。
Redis集群中共16384个槽点,即哈希槽,槽点的索引从0到16383,可以按照集群的分片数进行均分。
例如,对于3个节点的Redis集群来说,哈希槽的分配方式可以为:第一个节点拥有0-5460的哈希槽,第二节点拥有5461-10922的哈希槽,第三节点拥有剩余的10923-16383的哈希槽。
步骤S220.根据槽点数量和待存储数据对应的关键字,确定待存储数据对应的槽点索引值。
本示例实施方式中,可以通过循环冗余校验算法得到待存储数据对应的关键字的哈希校验值,再将关键字的哈希校验值对槽点数量进行取模运算,得到待存储数据对应的槽点索引值。
具体而言,客户端对于待存储数据的关键字可以通过公式CRC16(key)mod 16384进行计算,得到待存储数据对应的槽点索引值。其中,CRC(Cyclic Redundancy Check)即循环冗余校验算法,mod表示取模运算。
步骤S230.将待存储数据的槽点索引值所在的槽点索引区间对应的节点确定为待存储数据的目标节点。
如图3所示,得到待存储数据对应的槽点索引值之后,可以根据槽点索引值来确定待存储数据的关键字301落地在哪个分片上,并将请求送到对应的分片上。
在步骤S130中,根据Redis集群中的节点数量确定待存储数据对应的写入节点数量。
本示例实施方式中,可以通过Quorom机制解决节点的读写一致性问题,保证分片内每个节点都可以进行读写操作。本示例实施方式中的Redis集群架构支持多副本,并且副本存在于多个节点内。
在一些相关的实施例中,如果将每一次写入的数据复制到除目标节点以外的所有节点中,在数据读取的时候,可以任意选择其中一个节点进行读取操作,但是这种方法写入性能太差。
本示例实施方式采用Quorom机制以后,写操作的副本数减少,读操作的副本数增加,平衡了读写负载。例如:分片集群中有3个节点,写入的时候只要写入2个节点,读取数据的时候也读取2个节点。如果用N、R和W三个关键值来表示,则N表示数据所具有的副本数,R表示完成读操作所需要读取的最小副本数,W表示完成写操作所需要写入的最小副本数。本示例实施方式中只需要保证R+W>N,就能提供强一致性的保证,因为读取数据的节点和被同步写入的节点是有重叠的。
在步骤S140中,根据写入节点数量将待存储数据写入包括目标节点在内的多个节点中。
如图4所示是根据本公开的一个具体实施方式的数据写入的示意图。分片集群中有3个节点,分别为节点401、节点402和节点403,集群中写入了三个数据,每个数据分别写入了包括其目标节点在内的2个节点中,例如,数据1的目标节点为节点401,将其写入了节点401和节点403中;数据2的目标节点为节点402,将其写入了节点401和节点402中;数据3的目标节点为节点403,将其写入了节点403和节点403中,这样就保证了数据的一致性。
如图1所示的上述步骤为向Redis集群存储系统中写入数据的方法,相对应地,从Redis集群存储系统中读取数据的方法如图5所示,具体可以包括以下几个步骤:
步骤S510.获取待读取数据对应的关键字,并根据节点数量和待读取数据对应的关键字,确定待读取数据对应的目标节点。
与写入数据时的方法类似,在读取数据时,首先要获取待读取数据对应的关键字,并根据节点数量和待读取数据对应的关键字,确定待读取数据对应的目标节点。具体方法与图1中的方法类似,此处不再赘述。
步骤S520.根据节点数量确定待读取数据对应的读取节点数量,并根据读取节点数量从包括目标节点在内的多个节点中读取待读取数据的值。
本示例实施方式中,确定待读取数据对应的读取节点数量以后,根据读取节点数量从包括目标节点在内的多个节点中读取待读取数据的值,例如,分片集群中有3个节点,写入的时候只要写入2个节点,读取数据的时候也读取2个节点,然后按照最高版本的数据返回客户端,这样就保证了客户端获取到的是最新数据。
本示例实施方式中的上述方法可以保证多节点同时写入,但是当多个节点在同一时间写入同一个数据存在版本冲突的问题时,如图6所示,数据写入的方法具体可以包括以下几个步骤:
步骤S610.在多个节点同时写入同一个待存储数据时,获取各个节点当前的数据版本号。
本示例实施方式中,可以通过向量时钟解决多节点写入存在的版本冲突的问题。节点的数据版本号,也就是向量时钟,一般都是逻辑时钟。
举例而言,假设分片集群中有三个节点,每个节点都有自己的数据版本号,每一次写入都将该节点对应的数据版本号加1。各个节点的初始化数据为空,也就是指时钟从0开始,各个节点的初始化数据版本号如下:
节点1:[version:{d1:0,d2:0,d3:0},data:{null}]
节点2:[version:{d1:0,d2:0,d3:0},data:{null}]
节点3:[version:{d1:0,d2:0,d3:0},data:{null}]
当节点1写入数据hello时,各个节点的数据版本号变化如下:
节点1:[version:{d1:1,d2:0,d3:0},data:{hello}]
节点2:[version:{d1:1,d2:0,d3:0},data:{hello}]
节点3:[version:{d1:1,d2:0,d3:0},data:{hello}]
当节点2写入数据world时,各个节点的数据版本号变化如下:
节点1:[version:{d1:1,d2:1,d3:0},data:{world}]
节点2:[version:{d1:1,d2:1,d3:0},data:{world}]
节点3:[version:{d1:1,d2:1,d3:0},data:{world}]
步骤S620.根据各个节点当前的数据版本号,将待存储数据写入节点中。
本示例实施方式中,可以通过对各个节点当前的数据版本号进行比较,来确定待存储数据写入的节点。具体地,若各个节点当前的数据版本号不同,则将待存储数据写入数据版本号最高的节点中;若各个节点当前的数据版本号相同,则获取各个节点的更新时间戳,并将待存储数据写入是更新时间戳最早的节点中;若各个节点的更新时间戳相同,则将待存储数据随机写入任意一个节点中。
具体而言,当发生多节点同时写入同一数据的时候,需要进行版本号的比较,版本号高的节点写入成功,然后响应给客户端,版本号低的节点写入失败,客户端报错。如果遇到多个节点版本号相等的时候,可以进行时间戳的比较,时间戳较早节点的写入成功。如果版本号与时间戳都相等的时候,随机选择一个节点写入成功。
除此之外,本示例实施方式中,还可以通过哨兵工具监控Redis集群中各个节点的工作状态,在某一节点下线时,将节点下线的消息通知Redis集群中的其它节点。
如果有节点发生宕机,哨兵工具只是通知集群中的其它节点该节点下线,但不会进行主节点选举,因为在本示例实施方式的集群模式中,每个节点都是平等的,无中心化结构,不存在主从节点。因此,所以本示例实施方式中的哨兵模式只是一个简单的通知系统。如图7所示,分片集群中有3个节点,分别为节点401、节点402和节点403,通过哨兵701对集群中的节点进行监控,当某一节点发生宕机时,则将该节点下线的消息通知其它节点。
本示例实施方式中,集群中的哨兵机制还可以采用其它的分布式系统存活协议,例如Gossip协议等,本示例实施方式中不做具体限定。
本示例实施方式将分布式系统前沿的技术架构整合,将NWR算法及向量时钟引入到Redis集群中,使集群中每个数据都有多副本,每个节点都可以参与读写服务。同时,由于多副本的存在,如果其中某一节点发生宕机,集群可以正常对外提供服务,保证了系统可用性。
如图8所示是本公开的一个具体实施方式中Redis集群存储系统的示意图,是对本示例实施方式中的上述方法的举例说明,Redis集群中包含三个节点801、802和803,当客户端发起数据读写请求时,根据数据的关键字确定其对应槽点索引值所在的区间,然后将请求发送到对应的节点上。各个节点之间没有主从关系,并且通过Quorom机制来平衡读写负载,使数据拥有多副本,每个节点都可以参与读写服务。
应当注意,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
进一步的,本公开还提供了一种数据的存储装置。参考图9所示,该数据的存储装置可以包括数据关键字获取模块910、目标节点确定模块920、节点数量确定模块930以及待存储数据写入模块940。其中:
数据关键字获取模块910可以用于获取待存储数据和待存储数据对应的关键字,并获取Redis集群存储系统中的Redis集群的节点数量;
目标节点确定模块920可以用于根据Redis集群的节点数量和待存储数据对应的关键字,确定待存储数据对应的目标节点;
节点数量确定模块930可以用于根据Redis集群中的节点数量确定待存储数据对应的写入节点数量;
待存储数据写入模块940可以用于根据写入节点数量将待存储数据写入包括目标节点在内的多个节点中。
在本公开的一些示例性实施例中,本公开提供的一种数据的存储装置还可以包括目标节点确定模块以及数据读取模块。其中:
目标节点确定模块可以用于获取待读取数据对应的关键字,并根据节点数量和待读取数据对应的关键字,确定待读取数据对应的目标节点;
数据读取模块可以用于根据节点数量确定待读取数据对应的读取节点数量,并根据读取节点数量从包括目标节点在内的多个节点中读取待读取数据的值。
在本公开的一些示例性实施例中,本公开提供的一种数据的存储装置还可以包括数据版本号获取模块以及数据写入模块。其中:
数据版本号获取模块可以用于在多个节点同时写入同一个待存储数据时,获取各个节点当前的数据版本号;
数据写入模块可以用于根据各个节点当前的数据版本号,将待存储数据写入节点中。
在本公开的一些示例性实施例中,数据写入模块可以包括第一数据写入单元、第二数据写入单元以及第三数据写入单元。其中:
第一数据写入单元可以用于对各个节点当前的数据版本号进行比较,若各个节点当前的数据版本号不同,则将待存储数据写入数据版本号最高的节点中;
第二数据写入单元可以用于若各个节点当前的数据版本号相同,则获取各个节点的更新时间戳,并将待存储数据写入是更新时间戳最早的节点中;
第三数据写入单元可以用于若各个节点的更新时间戳相同,则将待存储数据随机写入任意一个节点中。
在本公开的一些示例性实施例中,目标节点确定模块920可以包括槽点索引区间确定单元、槽点索引值确定单元以及目标节点确定单元。其中:
槽点索引区间确定单元可以用于获取Redis集群中的槽点数量,并根据节点数量和槽点数量,确定Redis集群中的每个节点对应的槽点索引区间;
槽点索引值确定单元可以用于根据槽点数量和待存储数据对应的关键字,确定待存储数据对应的槽点索引值;
目标节点确定单元可以用于将待存储数据的槽点索引值所在的槽点索引区间对应的节点确定为待存储数据的目标节点。
在本公开的一些示例性实施例中,槽点索引值确定单元可以包括哈希校验值计算单元以及槽点索引值计算单元。其中:
哈希校验值计算单元可以用于通过循环冗余校验算法得到待存储数据对应的关键字的哈希校验值;
槽点索引值计算单元可以用于将关键字的哈希校验值对槽点数量进行取模运算,得到待存储数据对应的槽点索引值。
在本公开的一些示例性实施例中,本公开提供的一种数据的存储装置还可以包括哨兵监控模块,可以用于通过哨兵工具监控Redis集群中各个节点的工作状态,在某一节点下线时,将节点下线的消息通知Redis集群中的其它节点。
上述数据的存储装置中各模块/单元的具体细节在相应的方法实施例部分已有详细的说明,此处不再赘述。
图10示出了适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
需要说明的是,图10示出的电子设备的计算机系统1000仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图10所示,计算机系统1000包括中央处理单元(CPU)1001,其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中,还存储有系统操作所需的各种程序和数据。CPU1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005:包括键盘、鼠标等的输入部分1006;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007;包括硬盘等的存储部分1008;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1010上,以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
特别地,根据本发明的实施例,下文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1009从网络上被下载和安装,和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时,执行本申请的系统中限定的各种功能。
需要说明的是,本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如下述实施例中所述的方法。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之,上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种数据的存储方法,应用于Redis集群存储系统,其特征在于,包括:
获取待存储数据和所述待存储数据对应的关键字,并获取所述Redis集群存储系统中的Redis集群的节点数量;
根据所述Redis集群的节点数量和所述待存储数据对应的关键字,确定所述待存储数据对应的目标节点;
根据所述Redis集群中的节点数量确定所述待存储数据对应的写入节点数量;
根据所述写入节点数量将所述待存储数据写入包括所述目标节点在内的多个节点中。
2.根据权利要求1所述的数据的存储方法,其特征在于,所述方法还包括:
获取待读取数据对应的关键字,并根据所述节点数量和所述待读取数据对应的关键字,确定所述待读取数据对应的目标节点;
根据所述节点数量确定所述待读取数据对应的读取节点数量,并根据所述读取节点数量从包括所述目标节点在内的多个节点中读取所述待读取数据的值。
3.根据权利要求1所述的数据的存储方法,其特征在于,所述方法还包括:
在多个所述节点同时写入同一个待存储数据时,获取各个所述节点当前的数据版本号;
根据各个所述节点当前的数据版本号,将所述待存储数据写入所述节点中。
4.根据权利要求3所述的数据的存储方法,其特征在于,所述根据各个所述节点当前的数据版本号,将所述待存储数据写入所述节点中,包括:
对各个所述节点当前的数据版本号进行比较,若各个所述节点当前的数据版本号不同,则将所述待存储数据写入所述数据版本号最高的节点中;
若各个所述节点当前的数据版本号相同,则获取各个所述节点的更新时间戳,并将所述待存储数据写入是更新时间戳最早的节点中;
若各个所述节点的更新时间戳相同,则将所述待存储数据随机写入任意一个节点中。
5.根据权利要求1所述的数据的存储方法,其特征在于,所述根据所述Redis集群的节点数量和所述待存储数据对应的关键字,确定所述待存储数据对应的目标节点,包括:
获取所述Redis集群中的槽点数量,并根据所述节点数量和所述槽点数量,确定所述Redis集群中的每个节点对应的槽点索引区间;
根据所述槽点数量和所述待存储数据对应的关键字,确定所述待存储数据对应的槽点索引值;
将所述待存储数据的槽点索引值所在的槽点索引区间对应的节点确定为所述待存储数据的目标节点。
6.根据权利要求5所述的数据的存储方法,其特征在于,所述根据所述槽点数量和所述待存储数据对应的关键字,确定所述待存储数据对应的槽点索引值,包括:
通过循环冗余校验算法得到所述待存储数据对应的关键字的哈希校验值;
将所述关键字的哈希校验值对所述槽点数量进行取模运算,得到所述待存储数据对应的槽点索引值。
7.根据权利要求1所述的数据的存储方法,其特征在于,所述方法还包括:
通过哨兵工具监控所述Redis集群中各个节点的工作状态,在某一所述节点下线时,将所述节点下线的消息通知所述Redis集群中的其它节点。
8.一种数据的存储装置,其特征在于,包括:
数据关键字获取模块,用于获取待存储数据和所述待存储数据对应的关键字,并获取所述Redis集群存储系统中的Redis集群的节点数量;
目标节点确定模块,用于根据所述Redis集群的节点数量和所述待存储数据对应的关键字,确定所述待存储数据对应的目标节点;
节点数量确定模块,用于根据所述Redis集群中的节点数量确定所述待存储数据对应的写入节点数量;
待存储数据写入模块,用于根据所述写入节点数量将所述待存储数据写入包括所述目标节点在内的多个节点中。
9.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储一个或多个程序,当所述一个或多个程序被所述处理器执行时,使得所述处理器实现如权利要求1至7中任一项所述的数据的存储方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1至7中任一项所述的数据的存储方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110143393.1A CN112948377A (zh) | 2021-02-02 | 2021-02-02 | 数据的存储方法、装置、电子设备及计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110143393.1A CN112948377A (zh) | 2021-02-02 | 2021-02-02 | 数据的存储方法、装置、电子设备及计算机可读介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112948377A true CN112948377A (zh) | 2021-06-11 |
Family
ID=76241613
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110143393.1A Pending CN112948377A (zh) | 2021-02-02 | 2021-02-02 | 数据的存储方法、装置、电子设备及计算机可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112948377A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114819236A (zh) * | 2022-06-06 | 2022-07-29 | 中国工商银行股份有限公司 | 数据查询方法、装置、计算机设备和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105426451A (zh) * | 2015-11-11 | 2016-03-23 | 深圳市华讯方舟科技有限公司 | 一种基于键值对的数据处理方法及系统 |
CN106572153A (zh) * | 2016-10-21 | 2017-04-19 | 乐视控股(北京)有限公司 | 集群的数据存储方法及装置 |
CN110704541A (zh) * | 2019-10-15 | 2020-01-17 | 浪潮云信息技术有限公司 | 一种Redis集群多数据中心高可用的分布式方法及架构 |
CN110750534A (zh) * | 2019-09-27 | 2020-02-04 | 苏州浪潮智能科技有限公司 | 用于部署Redis集群的方法和装置 |
CN111078147A (zh) * | 2019-12-16 | 2020-04-28 | 南京领行科技股份有限公司 | 一种缓存数据的处理方法、装置、设备及存储介质 |
CN111324596A (zh) * | 2020-03-06 | 2020-06-23 | 腾讯科技(深圳)有限公司 | 数据库集群的数据迁移方法、装置及电子设备 |
-
2021
- 2021-02-02 CN CN202110143393.1A patent/CN112948377A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105426451A (zh) * | 2015-11-11 | 2016-03-23 | 深圳市华讯方舟科技有限公司 | 一种基于键值对的数据处理方法及系统 |
CN106572153A (zh) * | 2016-10-21 | 2017-04-19 | 乐视控股(北京)有限公司 | 集群的数据存储方法及装置 |
CN110750534A (zh) * | 2019-09-27 | 2020-02-04 | 苏州浪潮智能科技有限公司 | 用于部署Redis集群的方法和装置 |
CN110704541A (zh) * | 2019-10-15 | 2020-01-17 | 浪潮云信息技术有限公司 | 一种Redis集群多数据中心高可用的分布式方法及架构 |
CN111078147A (zh) * | 2019-12-16 | 2020-04-28 | 南京领行科技股份有限公司 | 一种缓存数据的处理方法、装置、设备及存储介质 |
CN111324596A (zh) * | 2020-03-06 | 2020-06-23 | 腾讯科技(深圳)有限公司 | 数据库集群的数据迁移方法、装置及电子设备 |
Non-Patent Citations (2)
Title |
---|
段春梅: "云计算分布式缓存技术在海量数据处理平台中的应用", 《智能计算机与应用》, vol. 6, no. 1, pages 13 - 15 * |
段春梅: "云计算分布式缓存技术在海量数据处理平台中的应用", vol. 6, no. 1, pages 13 - 15 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114819236A (zh) * | 2022-06-06 | 2022-07-29 | 中国工商银行股份有限公司 | 数据查询方法、装置、计算机设备和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109951331B (zh) | 用于发送信息的方法、装置和计算集群 | |
US8930309B2 (en) | Interval-controlled replication | |
CN110149382A (zh) | 数据同步的方法、系统、主服务器、同步客户端及介质 | |
US10069942B2 (en) | Method and apparatus for changing configurations | |
US10826812B2 (en) | Multiple quorum witness | |
CN109614439B (zh) | 数据同步方法、装置、电子设备及存储介质 | |
CN111078147A (zh) | 一种缓存数据的处理方法、装置、设备及存储介质 | |
CN112118315A (zh) | 数据处理系统、方法、装置、电子设备和存储介质 | |
CN112636992B (zh) | 一种动态路由方法、装置、设备及存储介质 | |
CA2896865A1 (en) | Method and system for using a recursive event listener on a node in hierarchical data structure | |
CN113094430B (zh) | 一种数据处理方法、装置、设备以及存储介质 | |
CN109522043B (zh) | 一种配置数据的管理方法、装置及存储介质 | |
CN112181942A (zh) | 时序数据库系统和数据处理方法及装置 | |
WO2022135471A1 (zh) | 多版本并发控制和日志清除方法、节点、设备和介质 | |
CN115292408A (zh) | MySQL数据库的主从同步方法、装置、设备及介质 | |
US9311379B2 (en) | Utilization of data structures to synchronize copies of a resource | |
CN112948377A (zh) | 数据的存储方法、装置、电子设备及计算机可读介质 | |
CN110795495A (zh) | 数据处理方法、装置、电子设备及计算机可读介质 | |
CN111818188B (zh) | 一种Kubernetes集群的负载均衡可用性提升方法和装置 | |
CN111752892B (zh) | 分布式文件系统及其实现方法、管理系统、设备及介质 | |
CN109992447B (zh) | 数据复制方法、装置及存储介质 | |
CN114500289B (zh) | 控制平面恢复方法、装置、控制节点及存储介质 | |
CN115964436A (zh) | 一种数据库集群管理的方法和装置 | |
CN115934417A (zh) | 一种数据备份方法、系统和设备 | |
CN113760862A (zh) | 一种增量数据断点续传方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant after: Jingdong Technology Holding Co.,Ltd. Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant before: Jingdong Digital Technology Holding Co., Ltd |
|
CB02 | Change of applicant information |