CN105740383A - 一种大数据平台下数据库与缓存的数据一致性方法及系统 - Google Patents

一种大数据平台下数据库与缓存的数据一致性方法及系统 Download PDF

Info

Publication number
CN105740383A
CN105740383A CN201610056389.0A CN201610056389A CN105740383A CN 105740383 A CN105740383 A CN 105740383A CN 201610056389 A CN201610056389 A CN 201610056389A CN 105740383 A CN105740383 A CN 105740383A
Authority
CN
China
Prior art keywords
data
tables
key
table name
buffer memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610056389.0A
Other languages
English (en)
Inventor
董彦汝
孙毓忠
宋�莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN201610056389.0A priority Critical patent/CN105740383A/zh
Publication of CN105740383A publication Critical patent/CN105740383A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种大数据平台下数据库与缓存的数据一致性方法及系统，该方法包括构建缓存中的KEY，当数据库发生更新操作时，获取所述数据库中发生改变的数据表表名，其中所述KEY的格式为包含缓存中数据表表名的SELECT语句，或包含VALUE中数据表表名的字符串；大数据平台的系统进行初始化时，将所有所述KEY进行分解，获取所述KEY中的所有数据表表名，所述KEY中的所有数据表表名称为缓存数据表表名，按所述缓存数据表表名将所述KEY进行分类，并建立MAP存储分类后的所述KEY；判断所述发生改变的数据表表名与所述KEY中的所述数据表表名是否匹配，若匹配，则将所述KEY置为无效。

Description

一种大数据平台下数据库与缓存的数据一致性方法及系统
技术领域
本发明涉及大数据平台下数据一致性领域，特别涉及一种大数据平台下数据库与缓存的数据一致性方法及系统。
背景技术
计算机和通讯技术的发展，使数据量急剧增加，人类进入大数据时代，大数据平台下数据的存储、传输与传统平台下相比有很大的不同，首先，数据量增多，通常为TB级别，其次，在数据查询、检索等领域中应用的大数据平台，对能够及时获得数据有着很高的要求，如何在海量的数据中快速获取常用数据对大数据平台来说是一个挑战，为了解决上述问题，目前大数据平台存储系统的构造分为两部分，一是数据库构件，此部分主要用来存放原始数据；二是缓存系统构件，此部分主要用来存放查询结果，其中结果为数据库构件中的数据副本。
在具有缓存系统构件的大数据平台中，数据的传输方式为，当前端发来请求，请求数据时，系统会先去缓存系统中查询，是否有此请求包含的数据，如果相关数据在缓存系统中存在，则直接从缓存系统中读取数据返回给前端，如果相关数据在缓存系统中不存在，则系统会去查询数据库，从数据库中取出相关数据后，将相关数据返回给前端的同时，也将相关数据写入到缓存中。
由于缓存系统中的数据是原始数据的副本，所以当原始数据发生改变时，缓存中的数据如果没有被同时改变或者置为无效，就会使系统中数据出现不一致，当系统中数据不一致时，如果前端发来请求，恰好缓存系统中存在此请求包含的数据，那么会直接从缓存系统中读取数据返回给前端，导致前端读取的数据不是最新的，这会对需要及时更新和响应的系统产生很大影响，这些系统对数据一致性有着极高的要求，像支付宝这样的交易和账务数据是非常敏感的，通常不能容忍超过秒级的不一致。
随着具有缓存系统构件的大数据平台的广泛应用，对于缓存系统构件与数据库系统构件间数据一致性也显得越来越重要了，因而当数据库中原始数据发生改变时，保持缓存系统与数据库间数据的一致性便显得非常迫切需要了。
目前，大量相关研究开始针对于这种保持数据库构件与缓存系统构件间数据一致性，这其中主要有两大类，一类是通过中间件的周期性更新，达到数据库与缓存间数据的一致，发明(一种实现数据缓存的方法)中应用程序通过数据中间件获取缓存中的数据信息，当应用程序修改数据时，通过数据中间件写入数据库中数据，同时更新缓存中数据，且数据中间件根据更新周期，定时更新缓存中数据，保持缓存中数据和数据库中数据一致，但当程序通过中间件获取缓存中数据时，增加了时间开销，且中间件是根据更新周期定时更新缓存中的数据，这种周期性的更新不能保证原数据被更改后，缓存中数据也是最新的。
发明(一种实现数据一致性的方法及其系统)中提出了通过数据访问组件解决服务器缓存与关系数据库之间的数据一致性问题，其方式为数据访问组件接受用户消息，根据用户消息生成动态SQL，XML数据库配置文件连接关系数据库并获取数据，再将数据传给应用层；根据全局性质的数据访问组件对象名、数据获取对象名查询全局的缓存数据集合，若存在数据则返回数据给数据访问组件，由数据访问组件传递给应用层；若没有数据，则根据数据访问组件对象名、数据获取对象名，创建一个全局的缓存组件，并将获取的数据动态SQL、数据访问组件对象名、数据获取对象名传送给缓存组件，这种解决方式同样需要维护中间件，增加了时间开销，且过程中某些情况下还需要创建全局的缓存组件，更加增加了时间开销，且这种方式只适用于解决服务器缓存与关系数据库间的数据一致性问题，在大数据平台下，组成数据库构件中的数据库还包括IMPALA，MOGODB等非关系型数据库。
上述现有技术实现的功能虽然实现了原数据更新后，数据库构件中数据和缓存系统中数据能够达到一致，但是也存在一些问题，如缓存中数据更新不及时，误删缓存中数据，使请求效率降低，只是实现数据库系统内部数据库与缓存一致性等问题，对于大数据平台数据库构件和缓存系统构件是分离的，大数据平台中数据量庞大，误删会大大降低缓存的效率，且大数据平台中数据多，对某些实时性要求高的大数据系统，通过中间件修改缓存中数据，会浪费很多时间，同时由于中间件的周期性更新，缓存构件中数据和数据库构件中数据也不是实时一致的。
发明内容
本发明针对上述存在的问题提出一种大数据平台下数据库与缓存的数据一致性方法及系统，本发明针对大数据平台中数据更新和缓存中数据存储格式的特点，基于缓存系统中数据存储方式为KEY-VLAUE格式，其中KEY中含有数据表表名，在此基础上，通过数据库中表的改变获取数据表表名，找到缓存系统中相关的KEY，然后将缓存系统中的相关KEY置为无效，剔除旧缓存数据，同时请求WEB端重新查找数据，存入缓存系统中，相当于对缓存中的原数据进行替换，对缓存进行更新，使用户在数据库更新后，依然能够从缓存中高效的读取数据。
本发明提出一种大数据平台下数据库与缓存的数据一致性方法，包括：
步骤1，构建缓存中的KEY，当数据库发生更新操作时，获取所述数据库中发生改变的数据表表名，其中所述KEY的格式为包含缓存中数据表表名的SELECT语句，或包含VALUE中数据表表名的字符串；
步骤2，大数据平台的系统进行初始化时，将所有所述KEY进行分解，获取所述KEY中的所有数据表表名，所述KEY中的所有数据表表名称为缓存数据表表名，按所述缓存数据表表名将所述KEY进行分类，并建立MAP存储分类后的所述KEY；
步骤3，判断所述发生改变的数据表表名与所述KEY中的所述数据表表名是否匹配，若匹配，则将所述KEY置为无效。
所述步骤1包括如果通过数据装载工具更新数据块，则通过所述数据装载工具获取所述发生改变的数据表表名；
如果通过WEB端的命令更新数据库，则根据更新数据库的SQL语句获取所述发生改变的数据表表名。
MAP中的M为表名，N为缓存中的与所述M相对应的KEY。
所述步骤3中通过完全字符串匹配算法判断判断所述发生改变的数据表表名与所述KEY中的所述数据表表名是否匹配。
还包括WEB端根据置为无效的所述KEY，重新从更新后的数据库中查找数据，将查找到的数据放入缓存中。
本发明还提出一种大数据平台下数据库与缓存的数据一致性系统，包括：
构建KEY模块，用于构建缓存中的KEY，当数据库发生更新操作时，获取所述数据库中发生改变的数据表表名，其中所述KEY的格式为包含缓存中数据表表名的SELECT语句，或包含VALUE中数据表表名的字符串；
建立MAP模块，用于大数据平台的系统进行初始化时，将所有所述KEY进行分解，获取所述KEY中的所有数据表表名，所述KEY中的所有数据表表名称为缓存数据表表名，按所述缓存数据表表名将所述KEY进行分类，并建立MAP存储分类后的所述KEY；
匹配模块，用于判断所述发生改变的数据表表名与所述KEY中的所述数据表表名是否匹配，若匹配，则将所述KEY置为无效。
所述构建KEY模块包括如果通过数据装载工具更新数据块，则通过所述数据装载工具获取所述发生改变的数据表表名；
如果通过WEB端的命令更新数据库，则根据更新数据库的SQL语句获取所述发生改变的数据表表名。
MAP中的M为表名，N为缓存中的与所述M相对应的KEY。
所述匹配模块中通过完全字符串匹配算法判断判断所述发生改变的数据表表名与所述KEY中的所述数据表表名是否匹配。
还包括更新模块，用于WEB端根据置为无效的所述KEY，重新从更新后的数据库中查找数据，将查找到的数据放入缓存中。
由以上方案可知，本发明的优点在于：
当Hadoop平台中的数据发生更新时，能够及时将平台缓存系统中的过期数据置为无效，避免长时间重复使用旧数据，时刻保持数据库构件中数据和缓存系统构件中数据的一致性；在实时性要求不高的大数据平台中，将缓存中过期数据置为无效的同时，能够将最新数据更新到缓存中，这样可以在使用相同数据时，避免查询数据库，提高了使用效率。
附图说明
图1为本发明的整体步骤；
图2为本发明系统的结构图。
具体实施方式
本发明的思想是：在大数据平台中，缓存中数据采用KEY-VALUE的存储方式，其中KEY的格式为包含数据表表名的SELECT语句或其他包含VALUE中数据表表名的字符串；VALUE为从数据库获得的查询结果。当大平台系统下数据库构件中数据发生更新后，获取到数据库中发生改变的表的数据表表名，获取数据表表名后通过数据表表名查找到缓存中的相关KEY，获取到相关KEY后，如果该系统对实时性要求很高，则直接将获得的相关KEY置为无效；如果该系统对实时性要求不高，把获得的相关KEY置为无效后，再将相关KEY返回给WEB端，使WEB端根据相关KEY重新查询数据，然后将查询到的最新数据放到缓存中，实现缓存中的数据更新。以上两种情况下，都可以使缓存系统构件中数据与数据库构件中的数据一致，即数据库构件中数据发生更新后，避免了继续使用缓存中的旧数据。
以下为本发明具体步骤，如下所示：
本发明提出一种大数据平台下数据库与缓存的数据一致性方法，包括：
步骤1，构建缓存中的KEY，当数据库发生更新操作时，获取所述数据库中发生改变的数据表表名，其中所述KEY的格式为包含缓存中数据表表名的SELECT语句，或包含VALUE中数据表表名的字符串；
步骤2，大数据平台的系统进行初始化时，将所有所述KEY进行分解，获取所述KEY中的所有数据表表名，所述KEY中的所有数据表表名称为缓存数据表表名，按所述缓存数据表表名将所述KEY进行分类，并建立MAP存储分类后的所述KEY；
步骤3，判断所述发生改变的数据表表名与所述KEY中的所述数据表表名是否匹配，若匹配，则将所述KEY置为无效。
所述步骤1包括如果通过数据装载工具更新数据块，则通过所述数据装载工具获取所述发生改变的数据表表名；
如果通过WEB端的命令更新数据库，则根据更新数据库的SQL语句获取所述发生改变的数据表表名。
MAP中的M为表名，N为缓存中的与所述M相对应的KEY
所述步骤3中通过完全字符串匹配算法判断判断所述发生改变的数据表表名与所述KEY中的所述数据表表名是否匹配。
还包括WEB端根据置为无效的所述KEY，重新从更新后的数据库中查找数据，将查找到的数据放入缓存中。
如图2所述，本发明还提出一种大数据平台下数据库与缓存的数据一致性系统，包括：
构建KEY模块，用于构建缓存中的KEY，当数据库发生更新操作时，获取所述数据库中发生改变的数据表表名，其中所述KEY的格式为包含缓存中数据表表名的SELECT语句，或包含VALUE中数据表表名的字符串；
建立MAP模块，用于大数据平台的系统进行初始化时，将所有所述KEY进行分解，获取所述KEY中的所有数据表表名，所述KEY中的所有数据表表名称为缓存数据表表名，按所述缓存数据表表名将所述KEY进行分类，并建立MAP存储分类后的所述KEY；
匹配模块，用于判断所述发生改变的数据表表名与所述KEY中的所述数据表表名是否匹配，若匹配，则将所述KEY置为无效。
所述构建KEY模块包括如果通过数据装载工具更新数据块，则通过所述数据装载工具获取所述发生改变的数据表表名；
如果通过WEB端的命令更新数据库，则根据更新数据库的SQL语句获取所述发生改变的数据表表名。
MAP中的M为表名，N为缓存中的与所述M相对应的KEY
所述匹配模块中通过完全字符串匹配算法判断判断所述发生改变的数据表表名与所述KEY中的所述数据表表名是否匹配。
更新模块，用于WEB端根据置为无效的所述KEY，重新从更新后的数据库中查找数据，将查找到的数据放入缓存中。
以下为本发明实施例，如图1所示，更进一步描述本发明步骤，如图1所示，本发明的包含步骤：A、构建缓存中的KEY；B、获取数据表表名；C、获取缓存中的所有KEY；D、获取KEY中涉及的数据表表名；E、建立MAP存储数据表表名和KEY；F、根据获得的数据表表名，获取MAP中的相关KEY；G、将缓存中的相关KEY置为无效；补充步骤：H、更新缓存。具体的一种实施方式如下：
构造缓存系统构件中的KEY
A1、直接使用SQL语句中的SELECT语句作为缓存系统构件中的KEY形式；
A2、使用自己定义的字符串，但字符串中包含VALUE中数据所在数据表的数据表表名。
获取改变的数据表表名
B1、如果是通过数据装载工具将数据导入到大数据平台上，可以通过该工具直接获取改变的数据表表名。
B2、如果是通过WEB端的命令更新数据库，可以根据更新数据库的SQL语句获取改变的数据表表名，如：
B21、UPDATE语句
UPDATE语句的形式为UPDATEPersonSETFirstName＝'Fred'WHERELastName＝'Wilson'；其中Person为需要改变的数据表的数据表表名，通过拆分该语句获取该语句中涉及到的数据表表名：Person。
B22、DELETE语句
DELETE语句的形式为DELETEFROMPersonWHERELastName＝'Wilson'；其中Person为需要改变的数据表的数据表表名，通过拆分该语句获取该语句中涉及到的数据表表名：Person。
B23、INSERT语句
INSERT语句的形式为INSERTINTOtable_name(列1,列2,...)VALUES(值1,值2,....)；其中table_name为需要改变的数据表的数据表表名，通过拆分该语句获取该语句中涉及到的数据表表名：table_name。
获取缓存中的所有KEY
根据自身缓存系统的特点，直接读出缓存中的所有KEY，或自己维护缓存中的所有KEY，保证初始化时能够获取到缓存系统的所有KEY
获取KEY中涉及到的数据表表名
系统初始化时，读出缓存系统中的所有KEY，然后将所有的KEY进行分解，获得KEY中涉及到的所有数据表表名，所述KEY中的所有数据表表名称为缓存数据表表名。
建立MAP存储数据表表名和KEY
将缓存中的所有KEY分解出数据表表名后，再按数据表表名将所有的KEY进行分类(分类规则为：KEY中涉及的数据表表名与MAP中的表名相一致，则将KEY放入相应MAP下表名所对应的列表中，进行存储)，然后建立MAP存储分类后的所有KEY，其中MAP中的M为数据表表名，MAP中的N为缓存中的与该数据表表名相关的KEY。
根据获得的数据表表名查找MAP中的相关KEY
根据步骤B中获得的数据表表名，通过完全字符串匹配算法(该完全字符串匹配算法是在现有字符串匹配的Boyer-Moore算法的基础上进行的改进，Boyer-Moore算法常用于文本编辑器中的搜索匹配功能，被认为是目前最高效的字符串搜索算法，该算法的主要缺点为进行的是不完全匹配，例如使用taa,可以得到包含taabdd的结果，这在使用该算法进行表名匹配时，会得到不准确的结果，导致查找错误，为了避免这个问题，在观察SQL语句的基础上，发现SQL语句中涉及的表名后面的一位只能是空格或者逗号，所以在获得的表名的基础上，在其后添加一位字符(逗号或空格)，然后在与其他SQL语句进行匹配，获得相应的KEY，这样不仅提高了匹配速度也避免了不完全匹配的问题)，使用该数据表表名与MAP中的M相比较，若数据表表名与M完全匹配，则获取该M对应的N，该MAP中的N即为与该数据表表名相关的缓存中的所有KEY。
将缓存中的相关KEY置为无效
根据查找到的缓存中的相关KEY，调用缓存系统自身删除KEY的机制，将缓存系统中的相关KEY置为无效，也就是使缓存中的旧数据无法使用。
若系统对实时性要求不高，还包括
H、更新缓存
将查找到的相关KEY返回给WEB端，WEB端根据相关KEY，重新从跟新后的数据库中查找数据，查找到后将结果放入缓存中，相当于对原数据进行替换，使缓存中的数据成为当前最新的。
补充步骤：
初始化之后，不再直接读取缓存中的KEY，而是通过客户端直接获取要放入缓存中的KEY，获取KEY后将将KEY进行分解，获取数据表表名后将KEY放入与数据表表名相关的MAP中，如果没有数据表表名为KEY的MAP，则为该数据表表名建立以数据表表名为KEY的新MAP，同时将该KEY存入新建的MAP中。

Claims (10)

1.一种大数据平台下数据库与缓存的数据一致性方法，其特征在于，包括：
步骤1，构建缓存中的KEY，当数据库发生更新操作时，获取所述数据库中发生改变的数据表表名，其中所述KEY的格式为包含缓存中数据表表名的SELECT语句，或包含VALUE中数据表表名的字符串；
步骤2，大数据平台的系统进行初始化时，将所有所述KEY进行分解，获取所述KEY中的所有数据表表名，所述KEY中的所有数据表表名称为缓存数据表表名，按所述缓存数据表表名将所述KEY进行分类，并建立MAP存储分类后的所述KEY；
步骤3，判断所述发生改变的数据表表名与所述KEY中的所述数据表表名是否匹配，若匹配，则将所述KEY置为无效。
2.如权利要求1所述的大数据平台下数据库与缓存的数据一致性方法，其特征在于，所述步骤1包括如果通过数据装载工具更新数据块，则通过所述数据装载工具获取所述发生改变的数据表表名；
如果通过WEB端的命令更新数据库，则根据更新数据库的SQL语句获取所述发生改变的数据表表名。
3.如权利要求1所述的大数据平台下数据库与缓存的数据一致性方法，其特征在于，MAP中的M为表名，N为缓存中的与所述M相对应的KEY。
4.如权利要求1所述的大数据平台下数据库与缓存的数据一致性方法，其特征在于，所述步骤3中通过完全字符串匹配算法判断判断所述发生改变的数据表表名与所述KEY中的所述数据表表名是否匹配。
5.如权利要求1所述的大数据平台下数据库与缓存的数据一致性方法，其特征在于，还包括WEB端根据置为无效的所述KEY，重新从更新后的数据库中查找数据，将查找到的数据放入缓存中。
6.一种大数据平台下数据库与缓存的数据一致性系统，其特征在于，包括：
构建KEY模块，用于构建缓存中的KEY，当数据库发生更新操作时，获取所述数据库中发生改变的数据表表名，其中所述KEY的格式为包含缓存中数据表表名的SELECT语句，或包含VALUE中数据表表名的字符串；
建立MAP模块，用于大数据平台的系统进行初始化时，将所有所述KEY进行分解，获取所述KEY中的所有数据表表名，所述KEY中的所有数据表表名称为缓存数据表表名，按所述缓存数据表表名将所述KEY进行分类，并建立MAP存储分类后的所述KEY；
匹配模块，用于判断所述发生改变的数据表表名与所述KEY中的所述数据表表名是否匹配，若匹配，则将所述KEY置为无效。
7.如权利要求6所述的大数据平台下数据库与缓存的数据一致性系统，其特征在于，所述构建KEY模块包括如果通过数据装载工具更新数据块，则通过所述数据装载工具获取所述发生改变的数据表表名；
如果通过WEB端的命令更新数据库，则根据更新数据库的SQL语句获取所述发生改变的数据表表名。
8.如权利要求6所述的大数据平台下数据库与缓存的数据一致性系统，其特征在于，MAP中的M为表名，N为缓存中的与所述M相对应的KEY。
9.如权利要求6所述的大数据平台下数据库与缓存的数据一致性系统，其特征在于，所述匹配模块中通过完全字符串匹配算法判断判断所述发生改变的数据表表名与所述KEY中的所述数据表表名是否匹配。
10.如权利要求6所述的大数据平台下数据库与缓存的数据一致性系统，其特征在于，还包括更新模块，用于WEB端根据置为无效的所述KEY，重新从更新后的数据库中查找数据，将查找到的数据放入缓存中。
CN201610056389.0A 2016-01-27 2016-01-27 一种大数据平台下数据库与缓存的数据一致性方法及系统 Pending CN105740383A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610056389.0A CN105740383A (zh) 2016-01-27 2016-01-27 一种大数据平台下数据库与缓存的数据一致性方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610056389.0A CN105740383A (zh) 2016-01-27 2016-01-27 一种大数据平台下数据库与缓存的数据一致性方法及系统

Publications (1)

Publication Number Publication Date
CN105740383A true CN105740383A (zh) 2016-07-06

Family

ID=56246716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610056389.0A Pending CN105740383A (zh) 2016-01-27 2016-01-27 一种大数据平台下数据库与缓存的数据一致性方法及系统

Country Status (1)

Country Link
CN (1) CN105740383A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038222A (zh) * 2017-03-24 2017-08-11 福建天泉教育科技有限公司 数据库缓存实现方法及其系统
CN107145549A (zh) * 2017-04-27 2017-09-08 深圳智高点知识产权运营有限公司 一种数据库缓存控制方法以及系统
CN107341212A (zh) * 2017-06-26 2017-11-10 努比亚技术有限公司 一种缓存更新方法及设备
CN108009250A (zh) * 2017-12-01 2018-05-08 武汉斗鱼网络科技有限公司 一种多分类赛事数据缓存建立、查询方法及装置
CN109086279A (zh) * 2017-06-13 2018-12-25 北京京东尚科信息技术有限公司 报表缓存方法和装置
CN109800272A (zh) * 2019-02-25 2019-05-24 广州虎牙信息科技有限公司 缓存数据同步方法、服务器、应用系统及存储装置
CN110781189A (zh) * 2019-10-25 2020-02-11 北京达佳互联信息技术有限公司 文档平台构建方法、装置、电子设备及存储介质
CN111046106A (zh) * 2019-12-19 2020-04-21 杭州中恒电气股份有限公司 缓存数据同步方法、装置、设备及介质
WO2020233374A1 (zh) * 2019-05-21 2020-11-26 深圳壹账通智能科技有限公司 一种业务平台缓存策略的测试方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411598A (zh) * 2011-07-29 2012-04-11 株洲南车时代电气股份有限公司 一种实现数据一致性的方法及其系统
CN102779132A (zh) * 2011-05-12 2012-11-14 阿里巴巴集团控股有限公司 数据更新方法、系统及数据库服务器
CN102867070A (zh) * 2012-09-29 2013-01-09 瑞庭网络技术（上海）有限公司 更新key-value分布式存储系统缓存的方法
CN103617131A (zh) * 2013-11-26 2014-03-05 曙光信息产业股份有限公司 一种实现数据缓存的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102779132A (zh) * 2011-05-12 2012-11-14 阿里巴巴集团控股有限公司 数据更新方法、系统及数据库服务器
CN102411598A (zh) * 2011-07-29 2012-04-11 株洲南车时代电气股份有限公司 一种实现数据一致性的方法及其系统
CN102867070A (zh) * 2012-09-29 2013-01-09 瑞庭网络技术（上海）有限公司 更新key-value分布式存储系统缓存的方法
CN103617131A (zh) * 2013-11-26 2014-03-05 曙光信息产业股份有限公司 一种实现数据缓存的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
尹朝庆 等: "《计算机系统结构（第二版）》", 31 August 2006, 华中科技大学出版社 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038222B (zh) * 2017-03-24 2020-02-28 福建天泉教育科技有限公司 数据库缓存实现方法及其系统
CN107038222A (zh) * 2017-03-24 2017-08-11 福建天泉教育科技有限公司 数据库缓存实现方法及其系统
CN107145549A (zh) * 2017-04-27 2017-09-08 深圳智高点知识产权运营有限公司 一种数据库缓存控制方法以及系统
CN107145549B (zh) * 2017-04-27 2020-01-14 深圳智高点知识产权运营有限公司 一种数据库缓存控制方法以及系统
CN109086279A (zh) * 2017-06-13 2018-12-25 北京京东尚科信息技术有限公司 报表缓存方法和装置
CN109086279B (zh) * 2017-06-13 2021-10-15 北京京东尚科信息技术有限公司 报表缓存方法和装置
CN107341212A (zh) * 2017-06-26 2017-11-10 努比亚技术有限公司 一种缓存更新方法及设备
CN108009250A (zh) * 2017-12-01 2018-05-08 武汉斗鱼网络科技有限公司 一种多分类赛事数据缓存建立、查询方法及装置
CN108009250B (zh) * 2017-12-01 2021-09-07 武汉斗鱼网络科技有限公司 一种多分类赛事数据缓存建立、查询方法及装置
CN109800272A (zh) * 2019-02-25 2019-05-24 广州虎牙信息科技有限公司 缓存数据同步方法、服务器、应用系统及存储装置
WO2020233374A1 (zh) * 2019-05-21 2020-11-26 深圳壹账通智能科技有限公司 一种业务平台缓存策略的测试方法及装置
CN110781189A (zh) * 2019-10-25 2020-02-11 北京达佳互联信息技术有限公司 文档平台构建方法、装置、电子设备及存储介质
CN110781189B (zh) * 2019-10-25 2022-08-26 北京达佳互联信息技术有限公司 文档平台构建方法、装置、电子设备及存储介质
CN111046106A (zh) * 2019-12-19 2020-04-21 杭州中恒电气股份有限公司 缓存数据同步方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN105740383A (zh) 一种大数据平台下数据库与缓存的数据一致性方法及系统
CN107247808B (zh) 一种分布式NewSQL数据库系统及图片数据查询方法
CN103678556B (zh) 列式数据库处理的方法和处理设备
US8051045B2 (en) Archive indexing engine
US8140495B2 (en) Asynchronous database index maintenance
JP4856627B2 (ja) 部分的クエリーキャッシング
CN111459985B (zh) 标识信息处理方法及装置
US9251199B2 (en) Stateless database cache
CN100501731C (zh) 延迟取出用户定义类型的指定成员的系统和方法
US8868595B2 (en) Enhanced control to users to populate a cache in a database system
CN101158958B (zh) 基于MySQL存储引擎的融合查询方法
CN102867070A (zh) 更新key-value分布式存储系统缓存的方法
US11216516B2 (en) Method and system for scalable search using microservice and cloud based search with records indexes
CN101021875A (zh) 面向对象的数据库访问方法及系统
CN101510209A (zh) 实现实时检索的方法、系统和服务器
US20080028000A1 (en) Synchronization operations involving entity identifiers
CN107077480A (zh) 基于查询需求自适应地从当前时间的行存储数据库中构建列存储数据库的方法和系统
CN106547828B (zh) 一种基于神经网络的数据库缓存系统及方法
CN101916288B (zh) 一种移动通信用户搜索请求响应系统及其处理方法
CN110717073B (zh) 云流程平台中结合业务数据实现流程查询处理的系统及其方法
CN106354732B (zh) 一种支持并发协同的离线数据版本冲突解决方法
CN105843867A (zh) 基于元数据模型的检索方法和基于元数据模型的检索装置
CN104123356A (zh) 一种大数据量下提高网页响应的方法
CN109871338B (zh) 一种数据存储方法、装置及计算机设备
CN107609151A (zh) 基于Redis实现XBRL实例文档缓存的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160706

RJ01 Rejection of invention patent application after publication