CN116431083A - 基于Redis的数据读写方法、装置、电子设备及介质 - Google Patents

基于Redis的数据读写方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN116431083A
CN116431083A CN202310709436.7A CN202310709436A CN116431083A CN 116431083 A CN116431083 A CN 116431083A CN 202310709436 A CN202310709436 A CN 202310709436A CN 116431083 A CN116431083 A CN 116431083A
Authority
CN
China
Prior art keywords
nodes
data
redis
value
write
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310709436.7A
Other languages
English (en)
Inventor
魏鑫
王剑
周利峰
宋真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengfang Financial Technology Co ltd
Original Assignee
Chengfang Financial Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengfang Financial Technology Co ltd filed Critical Chengfang Financial Technology Co ltd
Priority to CN202310709436.7A priority Critical patent/CN116431083A/zh
Publication of CN116431083A publication Critical patent/CN116431083A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Operations Research (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Algebra (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于Redis的数据读写方法、装置、电子设备及介质，涉及计算机技术领域，所述方法包括：基于所有节点的网络时延值，优化所述所有节点中哨兵节点的目标参数；基于优化后的目标参数，接收客户端发送的数据处理请求；所述数据处理请求包括以下至少一项：写入请求或读取请求；响应所述数据处理请求，进行对应的数据处理。本发明提供的基于Redis的数据读写方法，根据所有节点的网络时延值来优化哨兵节点的目标参数，从而可以优化哨兵节点对其它节点的主观下线判定时效，进而加快和优化Redis Sentinel架构故障发现和故障转移过程，实现数据库层面高可用，从而提高了数据读写的可用性。

Description

基于Redis的数据读写方法、装置、电子设备及介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于Redis的数据读写方法、装置、电子设备及介质。
背景技术
金融领域IT设施通常对数据库服务的一致性和高可用特性要求较高，随着移动互联网、金融科技产业的发展，对高并发场景数据库性能的要求日益提升。金融业务广泛采用的主流关系型数据库，如Mysql、Oracle等，在可用性、一致性方面有较好的支持，但越来越无法满足金融业务数据读写服务对高性能、高可用、一致性的综合性需求。
高并发业务场景广泛使用Redis等Nosql数据库。原生Redis数据库得益于内存数据库、io多路复用等特性具有非常优秀的处理性能，但其在数据一致性、高可用性方面无法完全胜任金融业务的需求。
在高可用性方面，以Redis Sentinel架构为例，Redis Sentinel架构虽然具备故障发现、故障转移机制，使得该架构具备了一定的高可用性。但Redis Sentinel架构默认配置使得Sentinel节点对数据节点执行主动下线的判定时间较长，导致故障转移行为时效性差，进而使得数据库系统层面不可用时间较大，无法满足金融业务数据读写服务的高可用性要求。
发明内容
针对现有技术存在的问题，本发明实施例提供一种基于Redis的数据读写方法、装置、电子设备及介质。
本发明提供一种基于Redis的数据读写方法，包括：
基于所有节点的网络时延值，优化所述所有节点中哨兵节点的目标参数；
基于优化后的目标参数，接收客户端发送的数据处理请求；所述数据处理请求包括以下至少一项：写入请求或读取请求；
响应所述数据处理请求，进行对应的数据处理。
在一些实施例中，所述基于所有节点的网络时延值，优化所述所有节点中哨兵节点的目标参数，包括：
基于所述网络时延值，确定目标时延值；
在所述目标时延值小于或等于第一预设值的情况下，将所述第一预设值确定为所述目标参数的值；
在所述目标时延值大于所述第一预设值，并小于或等于第二预设值的情况下，将所述目标时延值确定为所述目标参数的值；
在所述目标时延值大于所述第二预设值的情况下，将所述第二预设值确定为所述目标参数的值；
所述第一预设值小于所述第二预设值。
在一些实施例中，所述基于优化后的目标参数，接收客户端发送的数据处理请求之后，还包括：
在所述数据处理请求为写入请求，并且所述写入请求失败的情况下，基于所述网络时延值，确定所述客户端的休眠时长；
所述休眠时长为所述客户端再次发送所述写入请求的时间间隔。
在一些实施例中，所述基于所有节点的网络时延值，优化所述所有节点中哨兵节点的目标参数之后，还包括：
将所述所有节点中数据主节点的持久化方式设置为AOF持久化。
在一些实施例中，所述响应所述数据处理请求，进行对应的数据处理，包括：
在所述数据处理请求为写入请求的情况下，基于所述所有节点中数据节点的第一数量，确定第二数量；所述数据节点包括数据主节点和数据从节点；
在确定第二数量数据从节点进行数据复制完成的情况下，响应所述写入请求，进行数据写入。
在一些实施例中，所述休眠时长为所述网络时延值对应的平均值的两倍。
本发明还提供一种基于Redis的数据读写装置，包括：
优化模块，用于基于所有节点的网络时延值，优化所述所有节点中哨兵节点的目标参数；
接收模块，用于基于优化后的目标参数，接收客户端发送的数据处理请求；所述数据处理请求包括以下至少一项：写入请求或读取请求；
处理模块，用于响应所述数据处理请求，进行对应的数据处理。
在一些实施例中，所述优化模块，具体用于：
基于所述网络时延值，确定目标时延值；
在所述目标时延值小于或等于第一预设值的情况下，将所述第一预设值确定为所述目标参数的值；
在所述目标时延值大于所述第一预设值，并小于或等于第二预设值的情况下，将所述目标时延值确定为所述目标参数的值；
在所述目标时延值大于所述第二预设值的情况下，将所述第二预设值确定为所述目标参数的值；
所述第一预设值小于所述第二预设值。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于Redis的数据读写方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于Redis的数据读写方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于Redis的数据读写方法。
本发明提供的基于Redis的数据读写方法、装置、电子设备及介质，根据所有节点的网络时延值来优化哨兵节点的目标参数，从而可以优化哨兵节点对其它节点的主观下线判定时效，进而加快和优化Redis Sentinel架构故障发现和故障转移过程，实现数据库层面高可用，从而提高了数据读写的可用性。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于Redis的数据读写方法的流程示意图；
图2是现有技术提供的Redis Sentinel架构的示意图；
图3是应用本发明实施例提供的基于Redis的数据读写方法的示意图之一；
图4是应用本发明实施例提供的基于Redis的数据读写方法的示意图之二；
图5是本发明实施例提供的基于Redis的数据读写装置的结构示意图；
图6是本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”一般表示前后关联对象是一种“或”的关系。
图1是本发明实施例提供的基于Redis的数据读写方法的流程示意图，如图1所示，本发明实施例提供的基于Redis的数据读写方法，包括：
步骤101、基于所有节点的网络时延值，优化所述所有节点中哨兵节点的目标参数；
步骤102、基于优化后的目标参数，接收客户端发送的数据处理请求；所述数据处理请求包括以下至少一项：写入请求或读取请求；
步骤103、响应所述数据处理请求，进行对应的数据处理。
需要说明的是，本发明提供的基于Redis的数据读写方法的执行主体可以是Redis服务器，Redis服务器提供的Redis服务选用Redis6.0版本搭建Redis Sentinel架构的数据库，应用程序Redis客户端使用Java语言的JedisSentinelPool。
图2是现有技术提供的Redis Sentinel架构的示意图，Redis服务架构如图2所示。
在基于Redis Sentinel架构的Redis服务中的所有节点包括哨兵节点（Sentinel）和数据节点，数据节点包括数据主节点（Master）和数据从节点（Slave）。
在默认情况下，Sentinel节点会以每秒一次的频率向所有与它创建了命令连接的实例（包括主节点、从节点、其他Sentinel节点）发送PING命令，并通过实例返回的PING命令回复来判断实例是否在线。
实例返回的PING命令回复包括：有效回复和无效回复，有效回复包括：实例返回+PONG、-LOADING、-MASTERDOWN三种回复的任意一种；无效回复包括：实例返回除+PONG、-LOADING、-MASTERDOWN三种回复之外的其他回复，或者在指定时限内没有返回任何回复。
Sentinel配置文件中的down-after-milliseconds选项指定了Sentinel判断实例进入主观下线所需的时间长度：如果一个实例在down-after-milliseconds毫秒内，连续向Sentinel返回无效回复，那么Sentinel会修改这个实例所对应的实例结构，在结构的flags属性中打开SRI_S_DOWN标识，以此来表示这个实例已经进入主观下线状态。
当Sentinel将一个主节点判断为主观下线之后，为了确认这个主节点是否真的下线了，它会向同样监视这一主节点的其它Sentinel节点进行询问，看它们是否也认为主节点已经进入了下线状态（可以是主观下线或者客观下线）。当Sentinel从其他Sentinel那里接收到足够数量的已下线判断之后，Sentinel就会将主节点判定为客观下线，并对主节点执行故障转移操作。
Redis Sentinel架构虽然具备故障发现、故障转移机制，使得该架构具备了一定的高可用性，但存在两方面问题：
一是Redis Sentinel架构默认配置使得Sentinel节点对数据节点执行主动下线的判定时间较长，导致故障转移行为时效性差，进而使得数据库系统层面不可用时间较大；
二是在Redis Sentinel故障转移完成前，应用程序读写数据库往往会失败，应用程序读写服务可用性降低。
因此，本发明实施例提供一种基于Redis的高可用性的数据读写方法。
在步骤101中，基于所有节点的网络时延值，优化所述所有节点中哨兵节点的目标参数。
可以通过Ping命令多次测试请求峰值条件下Redis Sentinel架构中不同时间段不同节点间的网络时延值，来确定Redis Sentinel架构网络时延平均值为
Figure SMS_1
（单位：ms）。
可以根据时延平均值对哨兵节点的目标参数进行优化，目标参数即down-after-milliseconds参数，其取值默认为30000（单位：ms）。
通过时延平均值
Figure SMS_2
来优化Sentinel节点中down-after-milliseconds参数（默认值为30000ms），从而可以优化Sentinel节点对主节点、从节点、其它Sentinel节点的主观下线判定时效，进而加快和优化Redis Sentinel架构故障发现和故障转移过程，从而实现数据库层面高可用。
在一些实施例中，所述基于所有节点的网络时延值，优化所述所有节点中哨兵节点的目标参数，包括：
基于所述网络时延值，确定目标时延值；
在所述目标时延值小于或等于第一预设值的情况下，将所述第一预设值确定为所述目标参数的值；
在所述目标时延值大于所述第一预设值，并小于或等于第二预设值的情况下，将所述目标时延值确定为所述目标参数的值；
在所述目标时延值大于所述第二预设值的情况下，将所述第二预设值确定为所述目标参数的值；
所述第一预设值小于所述第二预设值。
根据网络时延值，确定网络时延值对应的时延平均值为
Figure SMS_3
，优化后的目标时延值/>
Figure SMS_4
。
判断目标时延值
Figure SMS_5
的取值是否在预设范围内，避免当/>
Figure SMS_6
取值过小，因网络抖动引起的Sentinel节点对数据节点主动下线的误判定，也避免当/>
Figure SMS_7
取值过大引起的Redis故障转移机制时效性差。
可选地，第一预设值可以为1000（单位：ms），1000（单位：ms）为Sentinel节点对数据节点进行心跳检测的时间间隔；第二预设值可以为30000（单位：ms），30000（单位：ms）为Redis Sentinel架构down-after-milliseconds参数默认取值。
根据第一预设值和第二预设值，来判断目标时延值
Figure SMS_8
的范围：
当
Figure SMS_9
时，/>
Figure SMS_10
取值为1000；
当
Figure SMS_11
时，/>
Figure SMS_12
取值不变，/>
Figure SMS_13
；
当
Figure SMS_14
时，/>
Figure SMS_15
取值为30000。
然后依次配置sentinel节点中sentinel.conf文件（以linux系统安装Redis6.0默认配置为例，sentinel.conf所在目录为/etc/redis/）中down-after-milliseconds参数值为
Figure SMS_16
。
sentinel.conf文件配置后相关参数如表1所示，其它无关参数未展示。
表1 sentinel.conf配置结果
Figure SMS_17
重启sentinel节点，使sentinel.conf配置生效。
在步骤102中，基于优化后的目标参数，接收客户端发送的数据处理请求；所述数据处理请求包括以下至少一项：写入请求或读取请求。
根据优化down-after-milliseconds参数后的Sentinel节点，可以优化Sentinel节点对其它节点的主观下线判定时效，进而加快和优化Redis Sentinel架构故障发现和故障转移过程，从而实现数据库层面高可用。
客户端即Redis客户端，在本发明实施例中，选取JedisSentinelPool作为Redis客户端。
接收客户端发送的数据处理请求，数据处理请求包括写入请求或读取请求。
在步骤103中，响应所述数据处理请求，进行对应的数据处理。
接收客户端发送的写入请求或读取请求后，主节点响应该写入请求，进行数据写入，或响应该读取请求，进行数据读取。
本发明实施例提供的基于Redis的数据读写方法，根据所有节点的网络时延值来优化哨兵节点的目标参数，从而可以优化哨兵节点对其它节点的主观下线判定时效，进而加快和优化Redis Sentinel架构故障发现和故障转移过程，实现数据库层面高可用，从而提高了数据读写的可用性。
在一些实施例中，所述基于优化后的目标参数，接收客户端发送的数据处理请求之后，还包括：
在所述数据处理请求为写入请求，并且所述写入请求失败的情况下，基于所述网络时延值，确定所述客户端的休眠时长；
所述休眠时长为所述客户端再次发送所述写入请求的时间间隔。
在一些实施例中，所述休眠时长为所述网络时延值对应的平均值的两倍。
在客户端写入请求失败的情况下，可根据网络时延值来确定客户端的休眠时长，即在客户端写入请求失败时，可以根据网络时延值，确定客户端的休眠时长
Figure SMS_18
。
在客户端写入请求失败失败时，根据网络时延值对应的平均值
Figure SMS_19
，确定客户端的休眠时长/>
Figure SMS_20
。即客户端在写入请求失败后，可以间隔/>
Figure SMS_21
的时长后再次发起写入请求。
可选地，也可在应用程序上进行改进，通过获取应用程序休眠时间
Figure SMS_22
，实现应用程序在Redis Sentinel架构主节点故障转移完成前读写数据库时，感知数据库异常，及时释放服务器cpu资源，并在Redis故障转移完成后及时、自动完成读写数据库请求，进而提升应用程序可用性。
应用程序执行逻辑描述如下：
S1、发起对Redis数据库的写请求，若写数据库请求成功，整个步骤结束，返回；
若写数据库请求失败，则捕获JedisConnectionException异常，执行S2；
S2、应用程序执行休眠
Figure SMS_23
时间，/>
Figure SMS_24
；
S3、从S1开始执行。
本发明实施例提供的基于Redis的数据读写方法，通过在写入请求失败的情况下，根据网络时延值来确定客户端的休眠时长，从而实现应用程序在Redis Sentinel架构主节点故障转移完成前读写数据库时，感知数据库异常，及时释放服务器cpu资源，并在Redis故障转移完成后及时、自动完成读写数据库请求，进而提升应用程序可用性。
在一些实施例中，所述基于所述时延平均值，优化所述所有节点中哨兵节点的目标参数之后，还包括：
将所述所有节点中数据主节点的持久化方式设置为AOF持久化。
通过配置Redis数据节点配置文件redis.conf（以linux系统安装Redis6.0默认配置为例，redis.conf所在目录为/etc/redis/）中持久化方式为只追加文件（Append OnlyFile，AOF），即将客户端的每一个写操作命令以日志的形式记录下来，追加到appendonly.aof的文件末尾，在redis服务器重启时，会加载aof文件中的所有命令，来达到数据恢复的目的。并设置对每笔写请求都进行AOF持久化，从而保证Redis数据主节点在响应应用程序写请求前，已完成持久化，从而实现数据节点在单节点层面宕机数据不丢失。
配置后相关参数如表2所示，其它无关参数未展示。
表2 redis.conf关键参数配置结果
Figure SMS_25
重启redis数据节点，以数据主节点为例，该步骤生效后，机制示意图如图3所示。
图3是应用本发明实施例提供的基于Redis的数据读写方法的示意图之一，如图3所示，当JedisSentinelPool客户端对Redis发起写请求时，只有当主节点持久化完成后，Redis才响应客户端，否则阻塞该客户端。
本发明实施例提供的基于Redis的数据读写方法，通过将数据主节点的持久化方式设置为AOF持久化，对每笔写请求都进行AOF持久化，从而保证数据主节点在响应应用程序写请求前，已完成持久化，从而实现数据节点在单节点层面宕机数据不丢失，提高数据读写的一致性。
在一些实施例中，所述响应所述数据处理请求，进行对应的数据处理，包括：
在所述数据处理请求为写入请求的情况下，基于所述所有节点中数据节点的第一数量，确定第二数量；所述数据节点包括数据主节点和数据从节点；
在确定第二数量数据从节点进行数据复制完成的情况下，响应所述写入请求，进行数据写入。
在数据处理请求为写入请求的情况下，根据所有节点中数据节点的第一数量N，确定第二数量
Figure SMS_26
，/>
Figure SMS_27
为小于等于N/2的最大整数。
在接收到客户端的写入请求时，确定第二数量从节点从主节点进行数据复制完成的情况下，才会响应该写入请求，进行数据写入。否则，不响应该写入请求。
可选地，也可在应用程序上进行改进，在应用程序中，针对所有会引起Redis数据库数据集变更的写请求追加wait n m命令。参数n取值
Figure SMS_28
，参数m取值0，可以保障少数数据从节点故障状态下，多数数据节点保存了最新数据副本。
其中，
Figure SMS_29
为小于等于N/2的最大整数，N为数据节点总数。/>
Figure SMS_30
命令表示每次向Redis Sentinel数据主节点发起写请求时，数据主节点阻塞应用程序中Redis客户端，直到数据主节点写入命令成功并且至少有/>
Figure SMS_31
数量的数据从节点复制完成。
图4是应用本发明实施例提供的基于Redis的数据读写方法的示意图之二，如图4所示，数据节点包括：1个主节点和2个从节点，则
Figure SMS_32
取值为1。
当JedisSentinelPool客户端对Redis发起写请求时，只有当1个从节点完成复制后，Redis才响应客户端，否则阻塞该客户端。
本发明实施例提供的基于Redis的数据读写方法，通过在多数从节点进行数据复制完成的情况下，才会响应写入请求，保证了在少数从节点故障状态下，多数数据节点保存了最新数据副本，提高数据读写的一致性。
本发明实施例还提供一种基于Redis的高性能、高可用、一致性的数据读写方法，包括：
步骤1、在基于Redis Sentinel主从架构的故障发现和故障转移机制的基础上，合理优化Redis sentinel节点中down-after-milliseconds参数（默认值为30秒）
Figure SMS_33
，优化sentinel节点对数据主节点、数据从节点、其它sentinel节点的主观下线判定时效，进而加快和优化Redis Sentinel架构故障发现和故障转移过程，从而实现数据库层面高可用。
具体步骤描述如下：
步骤1.1、通过Ping命令多次测试请求峰值条件下Redis Sentinel架构中不同时间段不同节点间的网络时延，求Redis Sentinel架构网络时延平均值为
Figure SMS_34
（单位ms）。
步骤1.2、求
Figure SMS_35
值大小等于10倍/>
Figure SMS_36
。
步骤1.3、为
Figure SMS_37
设定取值范围，避免当/>
Figure SMS_38
取值过小时，因网络抖动引起的Sentinel节点对数据节点主动下线的误判定，也避免当/>
Figure SMS_39
取值过大引起的Redis故障转移机制时效性差。
当
Figure SMS_40
时，/>
Figure SMS_41
取值不变，/>
Figure SMS_42
；
当
Figure SMS_43
时，/>
Figure SMS_44
取1000；
当
Figure SMS_45
时，/>
Figure SMS_46
取30000；
其中，1000（单位ms）为Sentinel节点对数据节点进行心跳检测的时间间隔，30000（单位ms）为Redis Sentinel架构down-after-milliseconds参数默认取值。
步骤1.4、依次配置sentinel节点中sentinel.conf文件（以linux系统安装Redis6.0默认配置为例，sentinel.conf所在目录为/etc/redis/）中down-after-milliseconds参数值为
Figure SMS_47
。sentinel.conf文件配置后相关参数如表1所示，其它无关参数未展示。
步骤1.5、重启sentinel节点，使sentinel.conf配置生效。
步骤2、作为一种应用程序设计，采用步骤1中所述工具、方法及步骤2中算法获取应用程序休眠时间
Figure SMS_48
，实现应用程序在Redis Sentinel架构主节点故障转移完成前读写数据库时，感知数据库异常，及时释放服务器cpu资源，并在Redis故障转移完成后及时、自动完成读写数据库请求，进而提升应用程序可用性。
应用程序执行逻辑描述如下：
步骤2.1、发起对Redis数据库的写请求，若写数据库请求成功，整个步骤结束，返回。
若写数据库请求失败，则捕获JedisConnectionException异常，从步骤2.2开始执行。
步骤2.2、程序执行休眠
Figure SMS_49
时间，/>
Figure SMS_50
值为2倍/>
Figure SMS_51
。/>
Figure SMS_52
如步骤1所述。
步骤2.3、从步骤2.1开始执行。
步骤3、通过配置Redis数据节点配置文件redis.conf（以linux系统安装Redis6.0默认配置为例，redis.conf所在目录为/etc/redis/）中持久化方式为AOF，并设置对每笔写请求都进行AOF持久化，从而保证Redis数据主节点在响应应用程序写请求前，已完成持久化，从而实现数据节点在单节点层面宕机数据不丢失。配置后相关参数如表2所示，其它无关参数未展示。
重启redis数据节点，以数据主节点为例，步骤3生效后，机制示意图如图3所示。
步骤4、通过在应用程序中，针对所有会引起Redis数据库数据集变更的写请求追加wait n m命令。
其中，参数n取值
Figure SMS_53
，参数m取值0，保障少数数据从节点故障状态下，多数数据节点保存了最新数据副本。
Figure SMS_54
为小于等于N/2的最大整数，N为数据节点总数。/>
Figure SMS_55
命令表示每次向Redis Sentinel数据主节点发起写请求时，数据主节点阻塞应用程序中Redis客户端，直到数据主节点写入命令成功并且至少有/>
Figure SMS_56
数量的数据从节点复制完成。
以1个数据主节点，2个数据从节点的架构为例，
Figure SMS_57
取值为1。步骤4机制效果如图4所示，当JedisSentinelPool客户端对Redis发起写请求时，只有当/>
Figure SMS_58
数量从节点完成复制后，Redis才响应客户端，否则阻塞该客户端。
可选地，上述步骤1至步骤4可以作为单独的实施例，也可以结合起来作为新的实施例，例如：
1.步骤1中测定Redis服务down-after-milliseconds参数优化值
Figure SMS_59
的算法和方法，可以作为整体对加快和优化Redis Sentinel故障发现、故障转移形成的方法。
2.步骤2作为一种应用程序创新，采用步骤1中工具、方法及步骤2中算法获取应用程序休眠时间
Figure SMS_60
，实现应用程序在Redis Sentinel架构主节点故障转移完成前读写数据库时，感知数据库异常，及时释放服务器cpu资源，并在Redis故障转移完成后及时、自动完成读写数据库请求，进而提升应用程序可用性。
3.步骤1和步骤2作为一个整体，共同形成的实现应用程序执行数据读写请求时，即使Redis数据库发生主节点故障，应用程序也能在较短时间内正确执行数据读写服务，从而实现应用程序数据读写请求高可用特性的整体方法。
4.步骤4作为一种应用程序创新，针对所有会引起Redis数据库数据集变更的写请求追加wait n m 命令，其中参数n取值
Figure SMS_61
，参数m取值0，保障应用在Redis少数数据从节点故障状态下，多数数据节点保存了最新数据副本。
5.步骤3和步骤4作为一个整体，共同形成的实现少数数据节点故障状态下，RedisSentinel架构经过故障转移后选出的新的数据主节点保存了全局最新的数据副本，应用程序总是能读写到最新数据，从而提升应用程序数据读写请求一致性特性的整体方法。
6.步骤1、2、3、4中的工具、算法、方法，通过对应用程序和Redis服务两部分的优化和创新，共同实现了一种能满足金融业务数据读写服务对高性能、高可用、一致性的综合性需求的数据读写方法。
下面对本发明提供的基于Redis的数据读写装置进行描述，下文描述的基于Redis的数据读写装置与上文描述的基于Redis的数据读写方法可相互对应参照。
图5是本发明实施例提供的基于Redis的数据读写装置的结构示意图，如图5所示，本发明实施例提供的基于Redis的数据读写装置，包括：
优化模块510，用于基于所有节点的网络时延值，优化所述所有节点中哨兵节点的目标参数；
接收模块520，用于基于优化后的目标参数，接收客户端发送的数据处理请求；所述数据处理请求包括以下至少一项：写入请求或读取请求；
处理模块530，用于响应所述数据处理请求，进行对应的数据处理。
在此需要说明的是，本发明实施例提供的基于Redis的数据读写装置，能够实现上述基于Redis的数据读写方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
可选地，所述优化模块510，具体用于：
基于所述网络时延值，确定目标时延值；
在所述目标时延值小于或等于第一预设值的情况下，将所述第一预设值确定为所述目标参数的值；
在所述目标时延值大于所述第一预设值，并小于或等于第二预设值的情况下，将所述目标时延值确定为所述目标参数的值；
在所述目标时延值大于所述第二预设值的情况下，将所述第二预设值确定为所述目标参数的值；
所述第一预设值小于所述第二预设值。
可选地，还包括：确定模块，用于：
在所述数据处理请求为写入请求，并且所述写入请求失败的情况下，基于所述网络时延值，确定所述客户端的休眠时长；
所述休眠时长为所述客户端再次发送所述写入请求的时间间隔。
可选地，还包括：设置模块，用于：
将所述所有节点中数据主节点的持久化方式设置为AOF持久化。
可选地，所述处理模块530，具体用于：
在所述数据处理请求为写入请求的情况下，基于所述所有节点中数据节点的第一数量，确定第二数量；所述数据节点包括数据主节点和数据从节点；
在确定第二数量数据从节点进行数据复制完成的情况下，响应所述写入请求，进行数据写入。
可选地，所述休眠时长为所述网络时延值对应的平均值的两倍。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行基于Redis的数据读写方法，该方法包括：基于所有节点的网络时延值，优化所述所有节点中哨兵节点的目标参数；基于优化后的目标参数，接收客户端发送的数据处理请求；所述数据处理请求包括以下至少一项：写入请求或读取请求；响应所述数据处理请求，进行对应的数据处理。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于Redis的数据读写方法，该方法包括：基于所有节点的网络时延值，优化所述所有节点中哨兵节点的目标参数；基于优化后的目标参数，接收客户端发送的数据处理请求；所述数据处理请求包括以下至少一项：写入请求或读取请求；响应所述数据处理请求，进行对应的数据处理。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于Redis的数据读写方法，该方法包括：基于所有节点的网络时延值，优化所述所有节点中哨兵节点的目标参数；基于优化后的目标参数，接收客户端发送的数据处理请求；所述数据处理请求包括以下至少一项：写入请求或读取请求；响应所述数据处理请求，进行对应的数据处理。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于Redis的数据读写方法，其特征在于，包括：
基于所有节点的网络时延值，优化所述所有节点中哨兵节点的目标参数；
基于优化后的目标参数，接收客户端发送的数据处理请求；所述数据处理请求包括以下至少一项：写入请求或读取请求；
响应所述数据处理请求，进行对应的数据处理。
2.根据权利要求1所述的基于Redis的数据读写方法，其特征在于，所述基于所有节点的网络时延值，优化所述所有节点中哨兵节点的目标参数，包括：
基于所述网络时延值，确定目标时延值；
在所述目标时延值小于或等于第一预设值的情况下，将所述第一预设值确定为所述目标参数的值；
在所述目标时延值大于所述第一预设值，并小于或等于第二预设值的情况下，将所述目标时延值确定为所述目标参数的值；
在所述目标时延值大于所述第二预设值的情况下，将所述第二预设值确定为所述目标参数的值；
所述第一预设值小于所述第二预设值。
3.根据权利要求1所述的基于Redis的数据读写方法，其特征在于，所述基于优化后的目标参数，接收客户端发送的数据处理请求之后，还包括：
在所述数据处理请求为写入请求，并且所述写入请求失败的情况下，基于所述网络时延值，确定所述客户端的休眠时长；
所述休眠时长为所述客户端再次发送所述写入请求的时间间隔。
4.根据权利要求1所述的基于Redis的数据读写方法，其特征在于，所述基于所有节点的网络时延值，优化所述所有节点中哨兵节点的目标参数之后，还包括：
将所述所有节点中数据主节点的持久化方式设置为AOF持久化。
5.根据权利要求4所述的基于Redis的数据读写方法，其特征在于，所述响应所述数据处理请求，进行对应的数据处理，包括：
在所述数据处理请求为写入请求的情况下，基于所述所有节点中数据节点的第一数量，确定第二数量；所述数据节点包括数据主节点和数据从节点；
在确定第二数量数据从节点进行数据复制完成的情况下，响应所述写入请求，进行数据写入。
6.根据权利要求3所述的基于Redis的数据读写方法，其特征在于，所述休眠时长为所述网络时延值对应的平均值的两倍。
7.一种基于Redis的数据读写装置，其特征在于，包括：
优化模块，用于基于所有节点的网络时延值，优化所述所有节点中哨兵节点的目标参数；
接收模块，用于基于优化后的目标参数，接收客户端发送的数据处理请求；所述数据处理请求包括以下至少一项：写入请求或读取请求；
处理模块，用于响应所述数据处理请求，进行对应的数据处理。
8.根据权利要求7所述的基于Redis的数据读写装置，其特征在于，所述优化模块，具体用于：
基于所述网络时延值，确定目标时延值；
在所述目标时延值小于或等于第一预设值的情况下，将所述第一预设值确定为所述目标参数的值；
在所述目标时延值大于所述第一预设值，并小于或等于第二预设值的情况下，将所述目标时延值确定为所述目标参数的值；
在所述目标时延值大于所述第二预设值的情况下，将所述第二预设值确定为所述目标参数的值；
所述第一预设值小于所述第二预设值。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于Redis的数据读写方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于Redis的数据读写方法。
CN202310709436.7A 2023-06-15 2023-06-15 基于Redis的数据读写方法、装置、电子设备及介质 Pending CN116431083A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310709436.7A CN116431083A (zh) 2023-06-15 2023-06-15 基于Redis的数据读写方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310709436.7A CN116431083A (zh) 2023-06-15 2023-06-15 基于Redis的数据读写方法、装置、电子设备及介质

Publications (1)

Publication Number Publication Date
CN116431083A true CN116431083A (zh) 2023-07-14

Family

ID=87087695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310709436.7A Pending CN116431083A (zh) 2023-06-15 2023-06-15 基于Redis的数据读写方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN116431083A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160283335A1 (en) * 2015-03-24 2016-09-29 Xinyu Xingbang Information Industry Co., Ltd. Method and system for achieving a high availability and high performance database cluster
US9942118B1 (en) * 2015-09-28 2018-04-10 Amazon Technologies, Inc. Sentinel network devices and sentinel marker
CN113326251A (zh) * 2021-06-25 2021-08-31 深信服科技股份有限公司 数据管理方法、系统、设备和存储介质
CN115033642A (zh) * 2022-05-26 2022-09-09 度小满科技(北京)有限公司 一种Redis集群的数据同步的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160283335A1 (en) * 2015-03-24 2016-09-29 Xinyu Xingbang Information Industry Co., Ltd. Method and system for achieving a high availability and high performance database cluster
US9942118B1 (en) * 2015-09-28 2018-04-10 Amazon Technologies, Inc. Sentinel network devices and sentinel marker
CN113326251A (zh) * 2021-06-25 2021-08-31 深信服科技股份有限公司 数据管理方法、系统、设备和存储介质
CN115033642A (zh) * 2022-05-26 2022-09-09 度小满科技(北京)有限公司 一种Redis集群的数据同步的方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TANTANLI: "Redis主从复制技术", pages 1, Retrieved from the Internet <URL:www.cnblogs.com/tantanli/p/13963821.html> *

Similar Documents

Publication Publication Date Title
US11163479B2 (en) Replicated state cluster with standby node state assessment during leadership transition
US10122595B2 (en) System and method for supporting service level quorum in a data grid cluster
US8898109B2 (en) Automatic transaction retry after session failure
EP2434729A2 (en) Method for providing access to data items from a distributed storage system
CN107919977B (zh) 一种基于Paxos协议的在线扩容、在线缩容的方法和装置
US10366106B2 (en) Quorum-based replication of data records
CN110807064B (zh) Rac分布式数据库集群系统中的数据恢复装置
US20170168756A1 (en) Storage transactions
CN106843749A (zh) 写入请求处理方法、装置及设备
CN106598768B (zh) 一种处理写请求的方法、装置和数据中心
CN113010496B (zh) 一种数据迁移方法、装置、设备和存储介质
CN113010549A (zh) 基于异地多活系统的数据处理方法、相关设备及存储介质
CN106325768B (zh) 一种双机存储系统及方法
JP2001184248A (ja) 分散処理システムにおけるデータアクセス管理装置
CN114461593B (zh) 日志写入方法及其装置、电子设备及存储介质
US9830263B1 (en) Cache consistency
CN107943615B (zh) 基于分布式集群的数据处理方法与系统
CN113987078A (zh) 数据同步方法、设备及计算机可读存储介质
EP4250119A1 (en) Data placement and recovery in the event of partition failures
CN107547593B (zh) 一种实现日志同步的方法、装置及分布式系统
CN116431083A (zh) 基于Redis的数据读写方法、装置、电子设备及介质
CN114816682A (zh) 分布式事务处理方法、系统及装置
CN110502460B (zh) 数据处理的方法和节点
US10656867B2 (en) Computer system, data management method, and data management program
CN112035070A (zh) 一种脏数据下刷方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230714

RJ01 Rejection of invention patent application after publication