CN111127252A - 一种水资源管理决策支持系统的数据管理方法 - Google Patents

一种水资源管理决策支持系统的数据管理方法 Download PDF

Info

Publication number
CN111127252A
CN111127252A CN201911346548.0A CN201911346548A CN111127252A CN 111127252 A CN111127252 A CN 111127252A CN 201911346548 A CN201911346548 A CN 201911346548A CN 111127252 A CN111127252 A CN 111127252A
Authority
CN
China
Prior art keywords
data
water resource
support system
decision support
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911346548.0A
Other languages
English (en)
Inventor
周建中
方豪文
刘懿
刘李斌
冯快乐
曾德晶
漆瑞丰
纪传波
何中政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201911346548.0A priority Critical patent/CN111127252A/zh
Publication of CN111127252A publication Critical patent/CN111127252A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于水利信息化领域，具体公开了一种水资源管理决策支持系统的数据管理方法，包括：当接收的管理指令为用户查询指令时，从水资源管理决策支持系统的Redis内存数据库中查询是否存在该指令对应的水资源数据，若有提取该数据；若否从磁盘数据库中查询该数据，将查询到的该数据或空值写入Redis内存数据库，设置过期时间并提取该数据；当管理指令为更新指令时，同步更新磁盘数据库和Redis内存数据库中该更新指令对应的数据，或从Redis内存数据库中删除缓存时间到达其过期时间的数据。本发明引入高性能的Redis内存数据库，在数据查询过程中进行Redis内存数据库缓存判断，加快数据查询速度，改变传统的水资源数据交互方式，提高水资源管理决策支持系统响应速度。

Description

一种水资源管理决策支持系统的数据管理方法
技术领域
本发明属于水利信息化技术领域，更具体地，涉及一种水资源管理决策支持系统的数据管理方法。
背景技术
近年来，随着信息技术的快速发展，水利信息化的受重视程度越来越高，伴随着流域巨型水库群的建成投运以及水文监控系统的逐步完善，水文水资源数据规模呈现出巨大的增长趋势。
传统的水资源管理决策支持系统架构中数据交互操作直接在磁盘数据库中进行，需要进行频繁的磁盘I/O操作，但水资源管理决策支持系统功能的多样化、数据的多元化、业务的复杂化，使得现有的结构数据库访问方式会对水资源系统服务造成巨大压力。具体的，一方面，在存储大量水资源数据的磁盘数据库中进行数据查找时会耗费大量的时间，另外一方面，当需要大量的水资源数据时，则需要频繁地在磁盘数据库中读取数据，这从而导致支持系统的延迟极大增加，吞吐量减小，从而造成系统崩溃，影响系统整体性能。
发明内容
本发明提供一种水资源管理决策支持系统的数据管理方法，用以解决现有水资源管理决策支持系统的数据管理中因需要频繁在磁盘数据库中进行大量读写操作而导致系统数据通信压力大的技术问题。
本发明解决上述技术问题的技术方案如下：一种水资源管理决策支持系统的数据管理方法，包括：
接收管理指令，当所述管理指令为用户数据查询指令时，从水资源管理决策支持系统的Redis内存数据库中查询是否存在该指令对应的水资源数据，若有，提取该数据；若否，从该系统的磁盘数据库中查询该数据，将查询到的该数据或空值写入所述Redis内存数据库，设置数据过期时间并提取该数据，完成数据查询；
当所述管理指令为数据更新指令时，则基于该更新指令的类型，同步更新磁盘数据库和Redis内存数据库中该更新指令对应的数据，或者，从Redis内存数据库中删除缓存时间到达其过期时间的数据，完成数据更新。
本发明的有益效果是：本发明引入高性能的Redis内存数据库，对系统业务常用水资源数据缓存进Redis内存数据库中，在数据查询过程中进行Redis内存数据库缓存判断，加快数据查询速度，改变传统的水资源数据交互方式，避免频繁地在磁盘数据库中进行数据读取，有效降低磁盘I/O，弥补磁盘数据库频繁I/O操作带来的巨大时间开销和系统压力的不足，提高系统响应速度，更适用于当下水资源管理决策支持系统的开发。
上述技术方案的基础上，本发明还可以做如下改进。
进一步，空值对应的数据过期时间为60±5秒。
本发明的进一步有益效果是：当查询结果为空时，则将空值缓存进Redis内存数据库，并设计一个较短的过期时间，防止有人恶意攻击系统，进行大量查询为空的请求，进而造成缓存穿透问题。
进一步，所述同步更新磁盘数据库和Redis内存数据库中该更新指令对应的数据，具体为：从Redis内存数据库中删除所述更新指令对应的数据，并根据所述更新指令在所述磁盘数据库中修改该数据。
进一步，所述水资源数据包括：降雨数据、径流数据、水电站运行数据。
进一步，所述Redis内存数据库包括一个主库和多个从库；
则所述将查询到的该数据或空值写入所述Redis内存数据库，具体为：
将查询到的该数据或空值复制至所述主库，则每个所述从库从所述主库中复制该数据或空值；
所述提取该数据，具体为：
从所述多个从库中的任一个从库中提取该数据。
本发明的进一步有益效果是：采用主从机制，将数据多次备份，提高数据缓存的安全性。
进一步，所述方法还包括：
实时监控所述主库和所述多个从库的工作状态，当所述主库宕机时，选择其它任一从库作为主库。
本发明的进一步有益效果是：采用哨兵机制，提高缓存数据的持续性。
进一步，每个所述从库采用AOF持久化机制。
进一步，所述设置数据过期时间，具体为：
在该数据的预设过期时间的基础上添加随机值，得到数据过期时间并保存。
本发明的进一步有益效果是：在对缓存数据设置过期时间时添加了随机值后，同一时间添加的缓存数据过期时间会在一个小范围内随机分布，缓存数据不会同时过期，避免大量缓存同时过期进而造成的缓存雪崩。
本发明还提供一种水资源管理决策支持系统的数据管理模型，包括：磁盘数据库，Redis内存数据库，以及用于执行如上所述的一种水资源管理决策支持系统的数据管理方法的管理处理器。
本发明的有益效果是：本数据管理模型采用上述执行上述方法，其改变了传统的水资源数据交互方式，弥补磁盘数据库频繁I/O操作带来的巨大时间开销和系统压力的不足，降低磁盘数据库服务器的压力，提高系统访问速度，更适用于当下水资源管理决策支持系统的开发。
本发明还提供一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上述任一种水资源管理决策支持系统的数据管理方法。
附图说明
图1为本发明实施例提供的一种水资源管理决策支持系统的数据管理方法的流程框图；
图2为本发明实施例提供的一种水资源管理决策支持系统的数据管理方法的流程图；
图3为本发明实施例提供的Redis内存数据库服务集群部署示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例一
一种水资源管理决策支持系统的数据管理方法100，如图1所示，包括：
步骤110、接收数据管理指令；
步骤120、当管理指令为用户数据查询指令时，从水资源管理决策支持系统的Redis内存数据库中查询是否存在该指令对应的水资源数据，若有，提取该数据；若否，从该系统的磁盘数据库中查询该数据，将查询到的该数据或空值写入Redis内存数据库，设置数据过期时间并提取该数据，完成数据查询；
步骤130、当管理指令为数据更新指令时，则基于该更新指令的类型，同步更新磁盘数据库和Redis内存数据库中该更新指令对应的数据，或者，从Redis内存数据库中删除缓存时间到达其过期时间的数据，完成数据更新。
需要说明的是，管理指令的发送可以是根据用户的输入而发送也可以是系统自动设置发送，例如，当某个数据缓存时间到达其过期时间时，会有一个数据更新指令，该更新指令使得Redis内存数据库删除缓存在其内的该数据。
另外，步骤130中，同步更新磁盘数据库和Redis内存数据库中该更新指令对应的数据，目的是使得磁盘数据库和Redis内存数据库中的数据保持一致，因此具体可为：首先删除Redis数据库中响应的缓存数据，再更新磁盘数据库中的数据，以免在更新磁盘数据库中的数据的过程中出现更新错误而此时Redis内存数据库还没有更新，导致后续查询该数据时查询的是错误数据。
水资源管理决策支持系统的普通用户在基于该支持系统进行数据查询的时候，系统接收查询指令，在Redis内存数据库中查询该指令对应的数据，若有，提取该数据并显示；若无，在磁盘数据库中查询，若查询结果不为空(即查询到查询指令对应的数据)，将查询结果写入Redis内存数据库中，并设置数据过期时间。当查询结果为空时，则将空值缓存进Redis内存数据库，同样设计一个过期时间，以避免攻击者的不断查询操作带来的缓存穿透问题。
另外，数据更新主要针对：具有数据修改权限的用户对缓存到Redis内存数据库中的数据进行更改以及缓存数据到期的情况。当具有数据修改权限的用户对缓存到Redis内存数据库中的数据进行更改时，则会同时操作磁盘数据库中的数据与Redis内存数据库保持数据一致性；当更新为缓存数据到期的情况，则对Redis内存数据库中的数据进行替换更新(即为删除)。
本方法的查询方式改变以往水资源系统中数据交互流程，该部分会在数据查询过程中进行缓存判断，加快数据查询速度，查询模块保证水资源数据快速高效查询，数据更新模块保证Redis内存数据库与磁盘数据库水资源数据一致性。
本方法引入高性能的Redis内存数据库，对系统业务常用水资源数据缓存进Redis内存数据库中，在数据查询过程中进行Redis内存数据库缓存判断，加快数据查询速度，改变传统的水资源数据交互方式，避免频繁地在磁盘数据库中进行数据读取，有效降低磁盘I/O，弥补磁盘数据库频繁I/O操作带来的巨大时间开销和系统压力的不足，提高系统响应速度，更适用于当下水资源管理决策支持系统的开发。
优选的，空值对应的数据过期时间为60±5秒。
当查询结果为空时，则将空值缓存进Redis内存数据库，并设计一个较短的过期时间，防止有人恶意攻击系统，进行大量查询为空的请求，进而造成缓存穿透问题。
优选的，所述同步更新磁盘数据库和Redis内存数据库中该更新指令对应的数据，具体为：从Redis内存数据库中删除所述更新指令对应的数据，并根据所述更新指令在所述磁盘数据库中修改该数据。
当再次读取时，再将该更改的数据缓存进Redis内存数据库，防止Redis内存数据库与磁盘数据库中数据存在不一致的问题。
优选的，上述水资源数据包括：降雨数据、径流数据和水电站运行数据。
优选的，上述Redis内存数据库包括一个主库和多个从库；
则上述将查询到的该数据或空值写入Redis内存数据库，具体为：
将查询到的该数据或空值复制至主库，则每个从库从主库中复制该数据或空值；
上述提取该数据，具体为：从多个从库中的任一个从库中提取该数据。
优选的，管理方法还包括：
实时监控主库和多个从库的工作状态，当库宕机时，选择其它任一从库作为主库，保证水资源数据持久化存储。
数据存储通过使用Redis主从机制、哨兵机制集群化部署Redis内存数据库。主从库进行数据同步，从库进行持久化存储，保证数据不会因为服务器宕机等意外情况丢失，保证系统安全稳定运行。
具体的，Redis内存数据库的主从机制是配置多台Redis内存数据库，其中一台主库master，其余为从库slave。主库主要负责写操作，从库主要负责读操作，从库会持续向主库发送数据同步指令，与主库数据保持一致。
哨兵机制是哨兵服务sentinel可以让redis实现主从复制，当集群中的master失效之后，sentinel可以选举出一个新的master自动接替工作，集群中的其他redis服务器自动向新的master同步数据。
优选的，每个从库采用AOF持久化机制。从库数据持久化是对于集群中的Redis从库开启AOF(Append Only File)持久化机制，定期对Redis从库中的数据持久化成为文件存储。
优选的，上述设置数据过期时间，具体为：在该数据的预设过期时间的基础上添加随机值，得到数据过期时间并保存。在对缓存数据设置过期时间时添加了随机值后，同一时间添加的缓存数据过期时间会在一个小范围内随机分布，在过期的时候不会同时过期，避免大量缓存同时过期进而造成的缓存雪崩。
上述添加随机值，具体可为：首先，根据对数据类型的判断，得到一个初始预设时间OriginalTime，然后使用数学函数生成一个小范围内随机值RandomTime，最后基于这个值设置数据过期时间为两个时间的加和，表示为：FinalTime＝OriginalTime+RandomTime。
本实施例在数据查询时，包括：水资源管理决策支持系统普通用户发出数据查询指令，则系统服务首先访问Redis内存数据库的水资源数据，如果存在所需数据则直接返回，如果不存在则在磁盘数据库中查询相关数据返回并写入Redis内存数据库；数据更新包括：流域管理员及方案制作者等具有数据修改权限的用户发出数据修改指令，则服务会访问Redis内存数据库和磁盘数据库做相同的数据修改操作；数据存储包括：水资源管理决策支持系统开发者通过使用Redis主从机制以及哨兵机制，对Redis内存数据库进行集群化部署，主从库进行同步，从库数据持久化存储，确保水资源管理决策支持系统中数据的完整性。基于Redis的水资源数据缓存方法，将系统所用的降雨数据、径流数据、水电站运行数据等常用水资源数据缓存进Redis内存数据库中，改变传统水资源管理决策支持系统数据交互模式，可以降低原始磁盘数据库的压力，极大缩短数据请求时间，保障系统安全稳定运行，提高系统的可用性与稳定性。
实施例二
一种水资源管理决策支持系统的数据管理模型，包括：磁盘数据库，Redis内存数据库，以及用于执行如上实施例一所述的一种水资源管理决策支持系统的数据管理方法的管理处理器。
例如，数据管理模型可主要由三个功能模块组成：水资源数据查询模块、水资源数据更新模块、水资源数据存储模块。数据查询模块保证系统数据快速高效查询，数据更新模块保证Redis内存数据库与磁盘数据库数据一致性，数据存储模块保证数据持久化存储，防止数据丢失。
其中数据查询以及数据更新过程，同实施例一所述，可见图2所示：
在数据查询模块中，水资源管理决策支持系统普通用户第一次查询的时候将数据将查询出来的数据写入到Redis内存数据库中，并设置过期时间。当其他用户再来请求相同的数据时，直接从Redis内存数据库中读取数据。
第一次查询是基于磁盘I/O的磁盘数据库查询，接下来的查询操作都是基于内存操作的Redis内存数据库查询。基于内存操作的Redis查询操作与基于磁盘I/O的磁盘数据库查询具有显著的效率差异，可以极大缩短数据请求时间。
对于Redis内存数据库中不存在的数据会在磁盘数据库中进行查找，在此过程中会对查询结果进行判断。查询结果不为空，将查询结果写入Redis内存数据库中，并设置一个加入随机值的缓存过期时间，避免大量缓存同时过期造成的缓存雪崩；查询结果为空，会将空值缓存进Redis内存数据库，设计一个较短的过期时间，防止有人恶意攻击系统，进行大量查询为空的请求造成的缓存穿透问题。
数据更新模块中更新操作首先删除Redis内存数据库中缓存的相关数据，再对磁盘数据库进行数据的更新操作，再次读取时缓存进Redis内存数据库，防止Redis内存数据库与磁盘数据库中数据存在不一致性的问题。
数据存储模块通过使用Redis主从复制，哨兵模式的集群化部署方式，对数据进行备份存储，保证数据完整性。
如图3所示，在多台服务器上部署Redis内存数据库集群，在每台Redis服务器上都部署了哨兵(Sentinel)系统以及Redis服务(Redis Server)。
在系统中，写操作相对较少，主要是读操作。在主从机制下，会选择一个主库master来主要负责写操作，其他从库slave负责读操作，从库会定时从主库中进行同步备份，保证主从库数据的一致性。
哨兵系统会实时监控所有的Redis内存数据库是否正常运行，当master数据库出现故障时，会选择其他的slave数据库来成为新的master数据库。即使在部分Redis服务器宕机的情况下，数据交互过程不受影响，系统能够正常运行。
主从机制下，从库会对主库中数据进行同步备份。在水资源数据缓存框架中，主库master完全关闭持久化配置，以此来保证master性能达到最优。从库slave关闭数据快照RDB持久化方式，开启文件追加AOF持久化方式，定时对AOF文件进行备份。
综上，本数据管理模型改变传统的水资源数据交互方式，弥补磁盘数据库频繁I/O操作带来的巨大时间开销和系统压力的不足，降低磁盘数据库服务器的压力，提高系统访问速度，更适用于当下水资源管理决策支持系统的开发。
实施例三
一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上述任一种水资源管理决策支持系统的数据管理方法。
相关技术方案同实施例一，在此不再赘述。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种水资源管理决策支持系统的数据管理方法，其特征在于，包括：
接收数据管理指令，当所述管理指令为用户数据查询指令时，从水资源管理决策支持系统的Redis内存数据库中查询是否存在该指令对应的水资源数据，若有，提取该数据；若否，从该系统的磁盘数据库中查询该数据，将查询到的该数据或空值写入所述Redis内存数据库，设置数据过期时间并提取该数据，完成数据查询；
当所述管理指令为数据更新指令时，则基于该更新指令的类型，同步更新磁盘数据库和Redis内存数据库中该更新指令对应的数据，或者，从Redis内存数据库中删除缓存时间到达其过期时间的数据，完成数据更新。
2.根据权利要求1所述的一种水资源管理决策支持系统的数据管理方法，其特征在于，所述空值对应的数据过期时间为60±5秒。
3.根据权利要求1所述的一种水资源管理决策支持系统的数据管理方法，其特征在于，所述同步更新磁盘数据库和Redis内存数据库中该更新指令对应的数据，具体为：从Redis内存数据库中删除所述更新指令对应的数据，并根据所述更新指令在所述磁盘数据库中修改该数据。
4.根据权利要求1所述的一种水资源管理决策支持系统的数据管理方法，其特征在于，所述水资源数据包括：降雨数据、径流数据、水电站运行数据。
5.根据权利要求1所述的一种水资源管理决策支持系统的数据管理方法，其特征在于，所述Redis内存数据库包括一个主库和多个从库；
则所述将查询到的该数据或空值写入所述Redis内存数据库，具体为：
将查询到的该数据或空值复制至所述主库，每个所述从库从所述主库中复制该数据或空值；
所述提取该数据，具体为：
从所述多个从库中的任一个从库中提取该数据。
6.根据权利要求5所述的一种水资源管理决策支持系统的数据管理方法，其特征在于，所述方法还包括：
实时监控所述主库和所述多个从库的工作状态，当所述主库宕机时，选择其它任一从库作为主库。
7.根据权利要求5所述的一种水资源管理决策支持系统的数据管理方法，其特征在于，每个所述从库采用AOF持久化机制。
8.根据权利要求1至7任一项所述的一种水资源管理决策支持系统的数据管理方法，其特征在于，所述设置数据过期时间，具体为：
在该数据的预设过期时间的基础上添加随机值，得到数据过期时间并保存。
9.一种水资源管理决策支持系统的数据管理模型，其特征在于，包括：磁盘数据库，Redis内存数据库，以及用于执行如权利要求1至8任一项所述的一种水资源管理决策支持系统的数据管理方法的管理处理器。
10.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行上述如权利要求1至8任一项所述的一种水资源管理决策支持系统的数据管理方法。
CN201911346548.0A 2019-12-24 2019-12-24 一种水资源管理决策支持系统的数据管理方法 Pending CN111127252A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911346548.0A CN111127252A (zh) 2019-12-24 2019-12-24 一种水资源管理决策支持系统的数据管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911346548.0A CN111127252A (zh) 2019-12-24 2019-12-24 一种水资源管理决策支持系统的数据管理方法

Publications (1)

Publication Number Publication Date
CN111127252A true CN111127252A (zh) 2020-05-08

Family

ID=70501852

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911346548.0A Pending CN111127252A (zh) 2019-12-24 2019-12-24 一种水资源管理决策支持系统的数据管理方法

Country Status (1)

Country Link
CN (1) CN111127252A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666305A (zh) * 2020-06-05 2020-09-15 福建天晴在线互动科技有限公司 一种实现redis缓存和数据库进行关联的方法及其系统
CN112347134A (zh) * 2020-11-05 2021-02-09 平安科技（深圳）有限公司 Redis缓存管理的方法、装置、计算机设备及存储介质
CN112699325A (zh) * 2021-01-14 2021-04-23 福建天晴在线互动科技有限公司 一种缓存二次淘汰保障数据一致性的方法及其系统
CN113468154A (zh) * 2021-06-25 2021-10-01 浙江数链科技有限公司 基于MySQL的大表减容方法、装置、电子装置和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902730A (zh) * 2012-09-10 2013-01-30 新浪网技术(中国)有限公司 基于数据缓存的读数据方法及装置
CN108491332A (zh) * 2018-04-04 2018-09-04 浙江小泰科技有限公司 一种基于Redis的实时缓存更新方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102902730A (zh) * 2012-09-10 2013-01-30 新浪网技术(中国)有限公司 基于数据缓存的读数据方法及装置
CN108491332A (zh) * 2018-04-04 2018-09-04 浙江小泰科技有限公司 一种基于Redis的实时缓存更新方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张红旗: ""面向智慧医疗平台的数据库设计与开发"", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *
许小媛等: "基于云计算的海量数据存储", 《制造业自动化》 *
邱书洋: ""Redis缓存技术研究及应用"", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666305A (zh) * 2020-06-05 2020-09-15 福建天晴在线互动科技有限公司 一种实现redis缓存和数据库进行关联的方法及其系统
CN111666305B (zh) * 2020-06-05 2023-03-14 福建天晴在线互动科技有限公司 一种实现redis缓存和数据库进行关联的方法及其系统
CN112347134A (zh) * 2020-11-05 2021-02-09 平安科技（深圳）有限公司 Redis缓存管理的方法、装置、计算机设备及存储介质
CN112347134B (zh) * 2020-11-05 2023-05-30 平安科技（深圳）有限公司 Redis缓存管理的方法、装置、计算机设备及存储介质
CN112699325A (zh) * 2021-01-14 2021-04-23 福建天晴在线互动科技有限公司 一种缓存二次淘汰保障数据一致性的方法及其系统
CN112699325B (zh) * 2021-01-14 2022-07-26 福建天晴在线互动科技有限公司 一种缓存二次淘汰保障数据一致性的方法及其系统
CN113468154A (zh) * 2021-06-25 2021-10-01 浙江数链科技有限公司 基于MySQL的大表减容方法、装置、电子装置和存储介质

Similar Documents

Publication Publication Date Title
CN111127252A (zh) 一种水资源管理决策支持系统的数据管理方法
US20180218000A1 (en) Systems, methods, and computer-readable media for a fast snapshot of application data in storage
US8401994B2 (en) Distributed consistent grid of in-memory database caches
US11132350B2 (en) Replicable differential store data structure
EP2653986B1 (en) Client-side caching of a database transaction token.
US7783607B2 (en) Decentralized record expiry
CN102395962B (zh) 对数据库表的哈希和列表组合划分
US11561930B2 (en) Independent evictions from datastore accelerator fleet nodes
CN111563102A (zh) 缓存更新方法、服务器、系统及存储介质
US11263236B2 (en) Real-time cross-system database replication for hybrid-cloud elastic scaling and high-performance data virtualization
US20140081911A1 (en) Optimizing automatic deletion of backup files
CN111078667B (zh) 一种数据迁移的方法以及相关装置
Spirovska et al. Wren: Nonblocking reads in a partitioned transactional causally consistent data store
CN104113587A (zh) 一种分布式文件系统客户端元数据缓存优化方法
US20040205088A1 (en) Method and apparatus for moving data between storage devices
CN112334891B (zh) 用于搜索服务器的集中式存储
CN115587118A (zh) 任务数据的维表关联处理方法及装置、电子设备
CN104166661A (zh) 数据存储系统和数据存储方法
CN104281673A (zh) 一种数据库的缓存构建系统及对应的构建方法
US10146833B1 (en) Write-back techniques at datastore accelerators
US20190057028A1 (en) Conflict Resolution and Garbage Collection in Distributed Databases
CN111459913B (zh) 分布式数据库的容量扩展方法、装置及电子设备
US10073874B1 (en) Updating inverted indices
CN114490744B (zh) 一种数据缓存方法、存储介质、电子装置
CN108376104B (zh) 节点调度方法及装置、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200508