CN106997378A - 基于Redis的数据库数据聚合同步的方法 - Google Patents

基于Redis的数据库数据聚合同步的方法 Download PDF

Info

Publication number
CN106997378A
CN106997378A CN201710145129.5A CN201710145129A CN106997378A CN 106997378 A CN106997378 A CN 106997378A CN 201710145129 A CN201710145129 A CN 201710145129A CN 106997378 A CN106997378 A CN 106997378A
Authority
CN
China
Prior art keywords
data
row
redis
database
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710145129.5A
Other languages
English (en)
Other versions
CN106997378B (zh
Inventor
徐长根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Moku Data Technology Co ltd
Original Assignee
Mobi (shanghai) Biotechnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mobi (shanghai) Biotechnology Co Ltd filed Critical Mobi (shanghai) Biotechnology Co Ltd
Priority to CN201710145129.5A priority Critical patent/CN106997378B/zh
Publication of CN106997378A publication Critical patent/CN106997378A/zh
Priority to US15/904,047 priority patent/US10872081B2/en
Application granted granted Critical
Publication of CN106997378B publication Critical patent/CN106997378B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G06F16/244—Grouping and aggregation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/273—Asynchronous replication or reconciliation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/275—Synchronous replication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了基于Redis的数据库数据聚合同步的方法，由于同步程序扫描目标数据库表的数据，计算每行数据的Key和Value，将其存储到Redis中，同时将该行数据写入聚合数据库，在目标数据库标数据发生变化时，同步程序重新计算目标数据库中每行数据的新Key和新Value，并查询Redis中是否存在与新Key相同的Key，从而对聚合数据库中数据进行更新，然后，对目标数据库数据同步完成的表主键集合与聚合数据库相应的表主键集合进行差集计算，通过判断差集中是否有元素来对聚合数据库中数据进行删除，本发明通过Redis来实现聚合同步过程中的增、改、删，从而将多个目标数据库数据聚合同步到一个聚合数据库中。

Description

基于Redis的数据库数据聚合同步的方法
技术领域
本发明属于互联网技术领域，具体涉及一种基于Redis的数据库数据聚合同步的方法。
背景技术
当今数据库软件技术中关系型数据库发展的已经很成熟，产品类型也相当的多，主流常见的关系型数据库有Oracle，MySQL，PostgreSQL等，针对这些数据库都有各自的数据主从同步方式，比如MySQL的主从数据库之间同步有自带的binlog主从同步数据的方式，Otter中间件同步等方式。但存在不足的地方是不能进行多个数据库同步到一个数据库的聚合同步。
然而，目前大部分互联网公司内部的业务支持系统会根据业务拆分到不同的系统中，但是，当建立DW数据仓库平台或者BI平台时需要聚合各个业务系统的数据到同一个数据库中做后续的统计汇总分析，而目前尚不能进行多个数据到一个数据库的聚合同步，因此对公司内部业务执行会造成不便。
发明内容
本发明是为了解决上述问题而进行的，目的在于提供一种能够将至少一个目标数据库数据聚合同步到一个聚合数据库中的基于Redis的数据库数据聚合同步的方法。
本发明提供了一种基于Redis的数据库数据聚合同步的方法，用于将至少一个目标数据库数据聚合同步到一个聚合数据库中，其特征在于，包括以下步骤：
步骤1，使用同步程序从配置文件中加载各所述目标数据库的远程连接信息，读取所述目标数据库中的表结构，然后提取每个表的字段和主键信息，并在所述聚合数据库中创建相对应的表结构；
步骤2，所述同步程序扫描所有所述目标数据库表的数据，然后逐行计算得到每行数据的Key和Value；
步骤3，将步骤2中得到的Key和Value作为Redis的k-v缓存写入Redis中，将所有所述目标数据库表的每行数据拼装出标准的“INSERT”SQL语句执行写入到所述聚合数据库中对应的表中；
步骤4，当所述目标数据库中表的数据发生变化时，执行步骤2，重新得到新Value和新Key，对于每行数据，判断Redis中是否存在与该行数据的新Key相同的Key，如果不存在，则该行数据执行步骤3，如果存在，则判断该行数据的新Value与Redis中存储的相对应的Value是否相同，如果不同，则将该行数据的新Value覆盖掉Redis中相对应的Value，同时将该行数据拼装出标准的“UPDATE”SQL语句对所述聚合数据库中对应表中的行数据进行更新；
步骤5，将发生变化后的所有的目标数据库数据的表主键集合与步骤4得到的聚合数据库相应的表主键集合进行差集计算得到差集，如果所述差集中存在元素，则在所述聚合数据库中对应的表生成标准的“DELETE”SQL语句删除所述聚合数据库中与所述目标数据库中已删除数据相应的数据。。
进一步，在本发明提供的基于Redis的数据库数据聚合同步的方法中，还可以具有这样的特征：其中，同步程序根据数据库表的主键字段进行扫描。
进一步，在本发明提供的基于Redis的数据库数据聚合同步的方法中，还可以具有这样的特征：其中，步骤2中，每行数据的Key和Value计算方法：首先每行数据采用MD5算法得到一个唯一标识的字符串Value,然后利用表名拼接该行数据的主键字段值得到一个唯一的字符串Key。
本发明的优点如下：
根据本发明所涉及的基于Redis的数据库数据聚合同步的方法，由于同步程序扫描目标数据库表的数据，计算每行数据的Key和Value，将其存储到Redis中，同时将该行数据写入聚合数据库，在目标数据库标数据发生变化时，同步程序重新计算目标数据库中每行数据的新Key和新Value，并查询Redis中是否存在与新Key相同的Key，如果不存在，则将该新Key和新Value存储到Redis中，同时将该行数据写入聚合数据库，如果存在，则判断新Value是否与Redis中存储的Value相同，如果不同，则将该新Value覆盖Redis中相应的Value，同时将该行数据更新到聚合数据库，然后，对目标数据库数据同步完成的表主键集合与聚合数据库相应的表主键集合进行差集计算，通过判断差集中是否有元素来对聚合数据库中数据进行删除，本发明通过Redis来实现聚合同步过程中的增、改、删，从而将多个目标数据库数据聚合同步到一个聚合数据库中,可轻松实现数据仓库或者BI平台所需数据的搭建。
附图说明
图1是本发明中基于Redis的数据库数据聚合同步的方法的关系图；
图2是本发明中同步程序处理的逻辑图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下实施例结合附图对本发明基于Redis的数据库数据聚合同步的方法作具体阐述。
基于Redis的数据库数据聚合同步的方法用于将至少一个目标数据库数据聚合同步到一个聚合数据库中。本发明的方法的关系图如图1所示，目标数据库10为需要同步数据到聚合数据库20的来源数据库，包括一个或者多个。
聚合数据库20存储从目标数据库10同步而来的相同数据，聚合数据库20中的次数据库类型、数据表空间、具体的数据内容均与目标数据库10保持一致。
同步程序30执行目标数据库10数据聚合同步到聚合数据库20的程序过程。
Redis40将同步程序30在执行操作时提取的数据进行存储，并供同步程序30进行查询。
如图2所示，基于Redis的数据库数据聚合同步的方法包含以下步骤：
步骤1，使用同步程序30从配置文件中加载各目标数据库10的远程连接信息，读取目标数据库10中的表结构，然后提取每个表的字段和主键信息，并在聚合数据库20中创建相对应的表结构。
步骤2，同步程序30扫描所有目标数据库10表的数据，然后逐行计算得到每行数据(Row)的Key和Value。同步程序30是根据数据库表的主键字段对目标数据库10进行扫描。每行数据(Row)的Key和Value计算方法为：首先每行数据(Row)采用MD5算法得到一个唯一标识的字符串Value,然后利用表名拼接该行数据(Row)的主键字段值(如图2所示“TBL+ID”)得到一个唯一的字符串Key。
MD5算法，Message-Digest Algorith的简称，即消息-摘要算法，为计算机安全领域广泛使用的一种散列函数。
步骤3，将步骤2中得到的Key和Value作为Redis的k-v缓存写入Redis中，将所有目标数据库表10的每行数据(Row)拼装出标准的“INSERT”SQL语句执行写入到聚合数据库20中对应的表中，完成所有目标数据库表10和聚合数据库20之间的新增同步。
步骤4，当目标数据库10中表的数据发生变化时，执行步骤2，重新得到新Value和新Key，对于每行数据(Row)，判断Redis中是否存在与该行数据(Row)的新Key相同的Key，如果不存在，则该行数据执行步骤3，如果存在，则判断该行数据(Row)的新Value与Redis中存储的相对应的Value是否相同，如果不同，则将该行数据(Row)的新Value覆盖掉Redis中相对应的Value，同时将该行数据(Row)拼装出标准的“UPDATE”SQL语句对聚合数据库20中对应表中的行数据(Row)进行更新，如果相同，则对该行数据(Row)不用进行处理，从而完成所有目标数据库表10和聚合数据库20之间的更新同步。该步骤用于将目标数据库10中表的发生变化的行数据(即发生变化的Row)进行更新。
步骤5，将发生变化后的所有的目标数据库10数据的表主键集合(set1)与步骤4得到的聚合数据库20相应的表主键集合(set2)进行差集计算得到差集，如果差集中存在元素，则在聚合数据库20中对应的表生成标准的“DELETE”SQL语句删除聚合数据库20中与目标数据库10中已删除数据相应的数据，如果差集中不存在元素，则不用进行处理，从而完成所有目标数据库表10和聚合数据库20之间的删除同步。该步骤用于从聚合数据库20删除与目标数据库10中删除的行数据(即删除的Row)相应的行数据。
其中，聚合数据库20相应的表主键集合(set2)与Redis中存储的Value和Key所代表的行数据(Row)相同。所有的目标数据库10数据的表主键集合(set1)为所有目标数据库10数据发生变化后的表主键集合。由于所有目标数据库10数据发生变化可能是某些行数据被删除，因此，对set1与set2做差集后，如果存在元素，则证明目标数据库10在发生变化时删掉了某些行数据，此时需将聚合数据库20中与目标数据库10中删除的这些行数据相对应的行数据删除，即可达到聚合数据库20与目标数据库10中数据相同；如果不存在元素，则说明目标数据库10在发生变化时没有删除某一行数据，聚合数据库20与目标数据库10中数据相同，不需要再进行任何操作。set1与set2的差集可以是将Redis中存储的Value-Key(代表set2)、变化后的所有的目标数据库10中的Value-Key(代表set1)进行差集。
上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。

Claims (3)

1.一种基于Redis的数据库数据聚合同步的方法，用于将至少一个目标数据库数据聚合同步到一个聚合数据库中，其特征在于，包括以下步骤：
步骤1，使用同步程序从配置文件中加载各所述目标数据库的远程连接信息，读取所述目标数据库中的表结构，然后提取每个表的字段和主键信息，并在所述聚合数据库中创建相对应的表结构；
步骤2，所述同步程序扫描所有所述目标数据库表的数据，然后逐行计算得到每行数据的Key和Value；
步骤3，将步骤2中得到的Key和Value作为Redis的k-v缓存写入Redis中，将所有所述目标数据库表的每行数据拼装出标准的“INSERT”SQL语句执行写入到所述聚合数据库中对应的表中；
步骤4，当所述目标数据库中表的数据发生变化时，执行步骤2，重新得到新Value和新Key，对于每行数据，判断Redis中是否存在与该行数据的新Key相同的Key，如果不存在，则该行数据执行步骤3，如果存在，则判断该行数据的新Value与Redis中存储的相对应的Value是否相同，如果不同，则将该行数据的新Value覆盖掉Redis中相对应的Value，同时将该行数据拼装出标准的“UPDATE”SQL语句对所述聚合数据库中对应表中的行数据进行更新；
步骤5，将发生变化后的所有的目标数据库数据的表主键集合与步骤4得到的聚合数据库相应的表主键集合进行差集计算得到差集，如果所述差集中存在元素，则在所述聚合数据库中对应的表生成标准的“DELETE”SQL语句删除所述聚合数据库中与所述目标数据库中已删除数据相应的数据。
2.根据权利要求1所述的基于Redis的数据库数据聚合同步的方法，其特征在于：
其中，步骤2中，所述同步程序根据数据库表的主键字段进行扫描。
3.根据权利要求1所述的基于Redis的数据库数据聚合同步的方法，其特征在于：
其中，步骤2中，每行数据的Key和Value计算方法：首先每行数据采用MD5算法得到一个唯一标识的字符串Value,然后利用表名拼接该行数据的主键字段值得到一个唯一的字符串Key。
CN201710145129.5A 2017-03-13 2017-03-13 基于Redis的数据库数据聚合同步的方法 Expired - Fee Related CN106997378B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710145129.5A CN106997378B (zh) 2017-03-13 2017-03-13 基于Redis的数据库数据聚合同步的方法
US15/904,047 US10872081B2 (en) 2017-03-13 2018-02-23 Redis-based database data aggregation and synchronization method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710145129.5A CN106997378B (zh) 2017-03-13 2017-03-13 基于Redis的数据库数据聚合同步的方法

Publications (2)

Publication Number Publication Date
CN106997378A true CN106997378A (zh) 2017-08-01
CN106997378B CN106997378B (zh) 2020-05-15

Family

ID=59431785

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710145129.5A Expired - Fee Related CN106997378B (zh) 2017-03-13 2017-03-13 基于Redis的数据库数据聚合同步的方法

Country Status (2)

Country Link
US (1) US10872081B2 (zh)
CN (1) CN106997378B (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107479829A (zh) * 2017-08-03 2017-12-15 杭州铭师堂教育科技发展有限公司 一种基于消息队列的Redis集群海量数据快速清理系统及方法
CN107729423A (zh) * 2017-09-28 2018-02-23 链家网（北京）科技有限公司 一种大数据处理方法及装置
CN107766413A (zh) * 2017-09-05 2018-03-06 珠海宇能云企科技有限公司 一种实时数据流聚合查询的实现方法
CN108090152A (zh) * 2017-12-11 2018-05-29 阿里巴巴集团控股有限公司 一种数据同步方法及系统
CN108197135A (zh) * 2017-11-01 2018-06-22 上海新数网络科技股份有限公司 一种基于mogodb的数据库数据聚合同步的方法
CN109710698A (zh) * 2018-12-28 2019-05-03 北京明朝万达科技股份有限公司 一种数据汇聚方法、装置、电子设备及介质
CN109857806A (zh) * 2018-12-30 2019-06-07 贝壳技术有限公司 数据库表的同步验证方法及装置
CN110209677A (zh) * 2018-02-06 2019-09-06 北京京东尚科信息技术有限公司 更新数据的方法和装置
CN110362629A (zh) * 2019-07-02 2019-10-22 北京字节跳动网络技术有限公司 一种用于保证数据一致性的方法、装置、介质和电子设备
CN110597910A (zh) * 2019-09-12 2019-12-20 聚好看科技股份有限公司 一种异地数据同步方法、装置和系统
CN111047242A (zh) * 2018-10-15 2020-04-21 北京京东尚科信息技术有限公司 一种库存差异的监控方法和装置
CN111414424A (zh) * 2020-03-23 2020-07-14 北京思特奇信息技术股份有限公司 一种配置数据自动同步redis的方法、系统、介质及设备
CN111460034A (zh) * 2020-03-25 2020-07-28 聚好看科技股份有限公司 一种数据库双向同步方法、同步单元及系统
CN111666305A (zh) * 2020-06-05 2020-09-15 福建天晴在线互动科技有限公司 一种实现redis缓存和数据库进行关联的方法及其系统
CN111914140A (zh) * 2020-07-24 2020-11-10 上海阅文信息技术有限公司 一种基于消息数据源的实时榜单实现方法及系统
CN112000739A (zh) * 2020-08-21 2020-11-27 西安寰宇卫星测控与数据应用有限公司 单元格的指定插入方法、装置、计算机设备、存储介质
CN112749233A (zh) * 2021-01-15 2021-05-04 京东数字科技控股股份有限公司 数据同步方法、装置、电子设备及存储介质
CN113032491A (zh) * 2021-04-07 2021-06-25 工银科技有限公司 实现静态数据同步的方法、装置、电子设备及介质
CN113313540A (zh) * 2021-08-02 2021-08-27 云账户技术(天津)有限公司 合同生成方法、装置、电子设备和可读存储介质
CN113407209A (zh) * 2021-06-18 2021-09-17 湖南快乐阳光互动娱乐传媒有限公司 一种配置数据更新方法及装置
CN114090522A (zh) * 2022-01-17 2022-02-25 泰山信息科技有限公司 一种电子文件的标识符定义方法、装置、设备
CN115794043A (zh) * 2023-01-31 2023-03-14 帆软软件有限公司帆软南京分公司 Bi工具的表数据聚合处理的计算系统及计算方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11086906B2 (en) * 2017-04-13 2021-08-10 Goldman Sachs & Co. LLC System and method for reconciliation of data in multiple systems using permutation matching
CN111831629B (zh) * 2019-04-15 2024-05-03 阿里巴巴集团控股有限公司 一种数据处理方法及装置
CN110209728B (zh) * 2019-04-22 2023-10-20 凯通科技股份有限公司 一种分布式异构数据库同步方法、电子设备及存储介质
CN110287273A (zh) * 2019-07-03 2019-09-27 成都路行通信息技术有限公司 基于监听MySQL数据库binlog变化实现数据同步的方法和系统
EP4062313A1 (en) * 2019-11-18 2022-09-28 Monday.com Ltd. Collaborative networking systems, methods, and devices
CN111046106A (zh) * 2019-12-19 2020-04-21 杭州中恒电气股份有限公司 缓存数据同步方法、装置、设备及介质
CN113268488B (zh) * 2020-02-14 2023-11-03 北京京东振世信息技术有限公司 数据持久化的方法和装置
CN112187904B (zh) * 2020-09-22 2021-12-14 四川长虹电器股份有限公司 基于多媒体系统的参数解密方法及系统
CN112463828B (zh) * 2020-11-02 2021-07-27 马上消费金融股份有限公司 一种数据处理方法、装置、设备、系统及可读存储介质
US11546307B2 (en) * 2021-04-20 2023-01-03 Sap Se Method to implement multi-tenant/shared Redis cluster using envoy
CN113127490B (zh) * 2021-04-23 2023-02-24 山东英信计算机技术有限公司 一种键名称生成方法、装置和计算机可读存储介质
US20220391418A1 (en) * 2021-06-08 2022-12-08 Kyndryl, Inc. Operating a storage server with a storage volume
CN113486019B (zh) * 2021-07-27 2024-02-23 中国银行股份有限公司 自动触发对远程多数据库数据实时批量同步方法和装置
US11768853B2 (en) * 2021-11-04 2023-09-26 Sap Se System to copy database client data
CN116737699A (zh) * 2022-03-04 2023-09-12 长鑫存储技术有限公司 数据同步方法、装置、存储介质和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103379159A (zh) * 2012-04-24 2013-10-30 阿里巴巴集团控股有限公司 一种分布式Web站点数据同步的方法
CN103942324A (zh) * 2014-04-29 2014-07-23 北京中科启信软件技术有限公司 数据实时同步系统及方法
CN104363303A (zh) * 2014-11-28 2015-02-18 东莞中国科学院云计算产业技术创新与育成中心 异步缓存数据同步的方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6681383B1 (en) * 2000-04-04 2004-01-20 Sosy, Inc. Automatic software production system
CA2311884A1 (en) * 2000-06-16 2001-12-16 Cognos Incorporated Method of managing slowly changing dimensions
US6895471B1 (en) * 2000-08-22 2005-05-17 Informatica Corporation Method and apparatus for synchronizing cache with target tables in a data warehousing system
US7203660B1 (en) * 2001-04-09 2007-04-10 Priceline.Com Incorporated Apparatus, system, and method for dynamic demand reporting and affectation
IL162008A0 (en) * 2001-11-15 2005-11-20 Visto Corp System and methods for asychronous synchronization
US7882132B2 (en) * 2003-10-09 2011-02-01 Oracle International Corporation Support for RDBMS in LDAP system
US7117203B2 (en) * 2003-12-03 2006-10-03 International Business Machines Corporation Content addressable data storage and compression for semi-persistent computer memory for a database management system
US7788225B2 (en) * 2005-03-18 2010-08-31 Oracle International Corporation Apparatus and method for identifying asynchronous data in redundant data stores and for re-synchronizing same
US8495371B2 (en) * 2010-01-06 2013-07-23 Calix, Inc. Network device authentication
US8676757B2 (en) * 2011-10-18 2014-03-18 Microsoft Corporation Application of a differential dataset to a data store using sequential change sets
US9288056B1 (en) * 2015-05-28 2016-03-15 Pearson Education, Inc. Data access and anonymity management
US9218383B2 (en) * 2013-03-15 2015-12-22 International Business Machines Corporation Differentiated secondary index maintenance in log structured NoSQL data stores
US9679037B2 (en) * 2013-06-07 2017-06-13 Wipro Limited System and method for implementing database replication configurations using replication modeling and transformation
US10394848B2 (en) * 2013-07-29 2019-08-27 Amazon Technologies, Inc. Generating a multi-column index for relational databases by interleaving data bits for selectivity
US9703814B1 (en) * 2013-10-15 2017-07-11 Amazon Technologies, Inc. Local key-value database synchronization
GB2519779A (en) * 2013-10-30 2015-05-06 Ibm Triplestore replicator
US10120905B2 (en) * 2014-12-22 2018-11-06 Amazon Technologies, Inc. Efficient determination of join paths via cardinality estimation
GB201615747D0 (en) * 2016-09-15 2016-11-02 Gb Gas Holdings Ltd System for data management in a large scale data repository
CN108319623B (zh) * 2017-01-18 2021-10-22 华为技术有限公司 一种数据重分布方法、装置及数据库集群
US10929384B2 (en) * 2017-08-16 2021-02-23 Walmart Apollo, Llc Systems and methods for distributed data validation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103379159A (zh) * 2012-04-24 2013-10-30 阿里巴巴集团控股有限公司 一种分布式Web站点数据同步的方法
CN103942324A (zh) * 2014-04-29 2014-07-23 北京中科启信软件技术有限公司 数据实时同步系统及方法
CN104363303A (zh) * 2014-11-28 2015-02-18 东莞中国科学院云计算产业技术创新与育成中心 异步缓存数据同步的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
温浩宇 等: "大数据时代的数字图书馆异构", 《情报杂志》 *

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107479829B (zh) * 2017-08-03 2020-04-17 杭州铭师堂教育科技发展有限公司 一种基于消息队列的Redis集群海量数据快速清理系统及方法
CN107479829A (zh) * 2017-08-03 2017-12-15 杭州铭师堂教育科技发展有限公司 一种基于消息队列的Redis集群海量数据快速清理系统及方法
CN107766413A (zh) * 2017-09-05 2018-03-06 珠海宇能云企科技有限公司 一种实时数据流聚合查询的实现方法
CN107766413B (zh) * 2017-09-05 2023-07-07 珠海宇能云企科技有限公司 一种实时数据流聚合查询的实现方法
CN107729423A (zh) * 2017-09-28 2018-02-23 链家网（北京）科技有限公司 一种大数据处理方法及装置
CN107729423B (zh) * 2017-09-28 2021-06-08 贝壳找房(北京)科技有限公司 一种大数据处理方法及装置
CN108197135A (zh) * 2017-11-01 2018-06-22 上海新数网络科技股份有限公司 一种基于mogodb的数据库数据聚合同步的方法
CN108090152A (zh) * 2017-12-11 2018-05-29 阿里巴巴集团控股有限公司 一种数据同步方法及系统
CN108090152B (zh) * 2017-12-11 2021-11-30 创新先进技术有限公司 一种数据同步方法及系统
CN110209677A (zh) * 2018-02-06 2019-09-06 北京京东尚科信息技术有限公司 更新数据的方法和装置
CN111047242B (zh) * 2018-10-15 2023-11-03 北京京东振世信息技术有限公司 一种库存差异的监控方法和装置
CN111047242A (zh) * 2018-10-15 2020-04-21 北京京东尚科信息技术有限公司 一种库存差异的监控方法和装置
CN109710698A (zh) * 2018-12-28 2019-05-03 北京明朝万达科技股份有限公司 一种数据汇聚方法、装置、电子设备及介质
CN109857806A (zh) * 2018-12-30 2019-06-07 贝壳技术有限公司 数据库表的同步验证方法及装置
CN109857806B (zh) * 2018-12-30 2021-07-27 贝壳技术有限公司 数据库表的同步验证方法及装置
CN110362629A (zh) * 2019-07-02 2019-10-22 北京字节跳动网络技术有限公司 一种用于保证数据一致性的方法、装置、介质和电子设备
CN110597910A (zh) * 2019-09-12 2019-12-20 聚好看科技股份有限公司 一种异地数据同步方法、装置和系统
CN111414424B (zh) * 2020-03-23 2023-08-04 北京思特奇信息技术股份有限公司 一种配置数据自动同步redis的方法、系统、介质及设备
CN111414424A (zh) * 2020-03-23 2020-07-14 北京思特奇信息技术股份有限公司 一种配置数据自动同步redis的方法、系统、介质及设备
CN111460034B (zh) * 2020-03-25 2024-02-23 聚好看科技股份有限公司 一种数据库双向同步方法、同步单元及系统
CN111460034A (zh) * 2020-03-25 2020-07-28 聚好看科技股份有限公司 一种数据库双向同步方法、同步单元及系统
CN111666305A (zh) * 2020-06-05 2020-09-15 福建天晴在线互动科技有限公司 一种实现redis缓存和数据库进行关联的方法及其系统
CN111666305B (zh) * 2020-06-05 2023-03-14 福建天晴在线互动科技有限公司 一种实现redis缓存和数据库进行关联的方法及其系统
CN111914140A (zh) * 2020-07-24 2020-11-10 上海阅文信息技术有限公司 一种基于消息数据源的实时榜单实现方法及系统
CN112000739B (zh) * 2020-08-21 2024-04-26 西安寰宇卫星测控与数据应用有限公司 单元格的指定插入方法、装置、计算机设备、存储介质
CN112000739A (zh) * 2020-08-21 2020-11-27 西安寰宇卫星测控与数据应用有限公司 单元格的指定插入方法、装置、计算机设备、存储介质
CN112749233A (zh) * 2021-01-15 2021-05-04 京东数字科技控股股份有限公司 数据同步方法、装置、电子设备及存储介质
CN112749233B (zh) * 2021-01-15 2024-05-17 京东科技控股股份有限公司 数据同步方法、装置、电子设备及存储介质
CN113032491B (zh) * 2021-04-07 2023-01-06 工银科技有限公司 实现静态数据同步的方法、装置、电子设备及介质
CN113032491A (zh) * 2021-04-07 2021-06-25 工银科技有限公司 实现静态数据同步的方法、装置、电子设备及介质
CN113407209A (zh) * 2021-06-18 2021-09-17 湖南快乐阳光互动娱乐传媒有限公司 一种配置数据更新方法及装置
CN113407209B (zh) * 2021-06-18 2023-06-02 湖南快乐阳光互动娱乐传媒有限公司 一种配置数据更新方法及装置
CN113313540B (zh) * 2021-08-02 2021-09-28 云账户技术(天津)有限公司 合同生成方法、装置、电子设备和可读存储介质
CN113313540A (zh) * 2021-08-02 2021-08-27 云账户技术(天津)有限公司 合同生成方法、装置、电子设备和可读存储介质
CN114090522A (zh) * 2022-01-17 2022-02-25 泰山信息科技有限公司 一种电子文件的标识符定义方法、装置、设备
CN115794043B (zh) * 2023-01-31 2023-06-09 帆软软件有限公司帆软南京分公司 Bi工具的表数据聚合处理的计算系统及计算方法
CN115794043A (zh) * 2023-01-31 2023-03-14 帆软软件有限公司帆软南京分公司 Bi工具的表数据聚合处理的计算系统及计算方法

Also Published As

Publication number Publication date
US10872081B2 (en) 2020-12-22
CN106997378B (zh) 2020-05-15
US20180260435A1 (en) 2018-09-13

Similar Documents

Publication Publication Date Title
CN106997378A (zh) 基于Redis的数据库数据聚合同步的方法
US20230350906A1 (en) Interactive identification of similar sql queries
US9678835B2 (en) Plural architecture master data management
US10430437B2 (en) Automated archival partitioning and synchronization on heterogeneous data systems
CN112364209B (zh) 分布式数据存储方法、数据查询方法、设备和存储介质
CN105488050B (zh) 一种数据库多索引方法、装置及系统
US11481440B2 (en) System and method for processing metadata to determine an object sequence
US11748351B2 (en) Class specific query processing
CN106844523A (zh) 顺序型多维拓展的区块链的生成方法及系统
US20120185464A1 (en) Apparatus, method, and program for integrating information
US20150293968A1 (en) Group-by processing for data containing singleton groups
KR102559290B1 (ko) 하이브리드 클라우드 기반의 실시간 데이터 아카이빙 방법 및 시스템
CN108134696A (zh) 一种微服务配置更新方法及装置
CN106227799B (zh) 一种基于分布式数据库的sql语句处理方法
US11144522B2 (en) Data storage using vectors of vectors
CN103220355B (zh) 内容分发网络中的多用户配置方法
CN107168822B (zh) Oracle streams的异常修复系统及方法
US7979451B2 (en) Data manipulation command method and system
CN108228226B (zh) 硬链接的差分方法、装置及相应终端
WO2021207831A1 (en) Method and systems for indexing databases on a contextual basis
Vijayalakshmi et al. Incremental load processing on ETL system through cloud
US11494093B2 (en) Method and apparatus for processing data of in-memory database
CN110609926A (zh) 数据标签存储管理方法及装置
JP7291870B2 (ja) 事業分割によって組職データを選別的に分離する方法およびシステム
US20170024438A1 (en) Method and system for data integration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20190116

Address after: 200233 Block A, Room 501, 12 Block 1001 Qinzhou North Road, Xuhui District, Shanghai

Applicant after: Shanghai Moku Data Technology Co.,Ltd.

Address before: Room 6020, 6th floor, No. 399 Fute North Road, Pudong New Area Free Trade Pilot Area, Shanghai, 2001

Applicant before: MOLBASE (SHANGHAI) BIOTECHNOLOGY CO.,LTD.

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200515