CN111008241A - 数据同步方法、装置、存储介质和计算机设备 - Google Patents

数据同步方法、装置、存储介质和计算机设备 Download PDF

Info

Publication number
CN111008241A
CN111008241A CN201911111938.XA CN201911111938A CN111008241A CN 111008241 A CN111008241 A CN 111008241A CN 201911111938 A CN201911111938 A CN 201911111938A CN 111008241 A CN111008241 A CN 111008241A
Authority
CN
China
Prior art keywords
data
source database
identifier
data warehouse
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911111938.XA
Other languages
English (en)
Inventor
曾泽敏
田力
李羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weimin Insurance Agency Co Ltd
Original Assignee
Weimin Insurance Agency Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weimin Insurance Agency Co Ltd filed Critical Weimin Insurance Agency Co Ltd
Priority to CN201911111938.XA priority Critical patent/CN111008241A/zh
Publication of CN111008241A publication Critical patent/CN111008241A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种数据同步方法、装置、存储介质和计算机设备，所述方法包括：获取源数据库的日志数据，根据所述日志数据确定当前批次的源数据库表的数据变更信息；获取所述数据变更信息中的源数据库表标识在数据仓库中对应的数据仓库表标识，根据所述源数据库表标识对应的数据变更内容确定所述数据仓库表标识对应的增量数据；根据所述数据仓库表标识对应的增量数据确定当前批次的数据仓库的增量数据；获取上一批次的数据仓库的全量数据，根据所述上一批次的数据仓库的全量数据和所述当前批次的数据仓库的增量数据，生成当前批次的数据仓库的全量数据。本申请提供的方案提高了数据同步的精确性。

Description

数据同步方法、装置、存储介质和计算机设备
技术领域
本申请涉及计算机互联网技术领域，特别是涉及一种数据同步方法、装置、存储介质和计算机设备。
背景技术
随着互联网和大数据技术的推广和普及，数据仓库逐步成为主流。由于数据仓库具有较大的存储量，且可处理结构化数据，可将数据库中的数据同步至数据仓库中进行处理。在传统的数据同步方式中，可利用数据抽取工具，比如sqoop，将数据库中的全量数据导入数据仓库；也可利用分布式日志收集系统，比如flume，将数据库中新增的数据导入数据仓库。但是，传统的数据同步方式不支持数据更新、删除等，导致数据同步不精确。
发明内容
基于此，有必要针对传统的数据同步方式不精确的技术问题，提供一种数据同步方法、装置、存储介质和计算机设备。
一种数据同步方法，包括：
获取源数据库的日志数据，根据所述日志数据确定当前批次的源数据库表的数据变更信息；
获取所述数据变更信息中的源数据库表标识在数据仓库中对应的数据仓库表标识，根据所述源数据库表标识对应的数据变更内容确定所述数据仓库表标识对应的增量数据；
根据所述数据仓库表标识对应的增量数据确定当前批次的数据仓库的增量数据；
获取上一批次的数据仓库的全量数据，根据所述上一批次的数据仓库的全量数据和所述当前批次的数据仓库的增量数据，生成当前批次的数据仓库的全量数据。
一种数据同步装置，所述装置包括：
获取模块，用于获取源数据库的日志数据，根据所述日志数据确定当前批次的源数据库表的数据变更信息；
确定模块，用于获取所述数据变更信息中的源数据库表标识在数据仓库中对应的数据仓库表标识，根据所述源数据库表标识对应的数据变更内容确定所述数据仓库表标识对应的增量数据；
所述确定模块，还用于根据所述数据仓库表标识对应的增量数据确定当前批次的数据仓库的增量数据；
生成模块，用于获取上一批次的数据仓库的全量数据，根据所述上一批次的数据仓库的全量数据和所述当前批次的数据仓库的增量数据，生成当前批次的数据仓库的全量数据。
一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述数据同步方法的步骤。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述数据同步方法的步骤。
上述数据同步方法、装置、存储介质和计算机设备，获取源数据库的日志数据，根据日志数据确定当前批次的源数据库表的数据变更信息，获取数据变更信息中的源数据库表标识在数据仓库中对应的数据仓库表标识，根据源数据库表标识对应的数据变更内容确定数据仓库表标识对应的增量数据，根据数据仓库表标识对应的增量数据确定当前批次的数据仓库的增量数据，获取上一批次的数据仓库的全量数据，根据上一批次的数据仓库的全量数据和当前批次的数据仓库的增量数据，生成当前批次的数据仓库的全量数据。由于日志数据中记录了源数据库的数据的全部变更，通过日志数据实现源数据库与数据仓库之间的数据同步，使得数据仓库的数据与源数据库的数据的变更相对应，提高了数据同步的精确性。
附图说明
图1为一个实施例中用于实现数据同步方法的应用环境图；
图2为一个实施例中数据同步方法的流程示意图；
图3为一个实施例中数据同步方法的应用环境图；
图4为另一个实施例中数据同步方法的应用环境图；
图5为另一个实施例中数据同步方法的流程示意图；
图6为又一个实施例中数据同步方法的流程示意图；
图7为另一个实施例中数据同步装置的结构框图；
图8为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中数据同步方法的应用环境图。参照图1，该数据同步方法应用于数据同步系统。该数据同步系统可包括源数据库102和数据仓库104。其中，源数据库102和数据仓库104可为不同的服务器。
在一个实施例中，数据仓库104获取源数据库102的日志数据，根据日志数据确定当前批次的源数据库102表的数据变更信息，获取数据变更信息中的源数据库102表标识在数据仓库104中对应的数据仓库104表标识，根据源数据库102表标识对应的数据变更内容确定数据仓库104表标识对应的增量数据，根据数据仓库104表标识对应的增量数据确定当前批次的数据仓库104的增量数据，获取上一批次的数据仓库104的全量数据，根据上一批次的数据仓库104的全量数据和当前批次的数据仓库104的增量数据，生成当前批次的数据仓库104的全量数据。
本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
如图2所示，在一个实施例中，提供了一种数据同步方法，该数据同步方法具体包括如下步骤：
步骤202，获取源数据库的日志数据，根据所述日志数据确定当前批次的源数据库表的数据变更信息。
其中，源数据库是指：在数据同步过程中，被抽取数据的一方。源数据库可以是关系型数据库，关系型数据库是指是指采用关系模型来组织数据的数据库，其以行和列的形式(即表的形式)存储数据，比如MySQL数据库、mariaDB数据库、Oracle数据库等。
源数据库表是指源数据库中用于存储数据的表。在源数据库中，若存在较大的数量和较高的读写并发，很容易突破单个数据库实例的性能上限，针对该情况，在源数据库中可采用分库分表。分库分表是把一个数据库分成多个部分，把一张主表拆成多张分表，从而有效缓解单个数据库或者单个表的读写压力。因此，本实施例中的源数据库表可能是经过分库分表操作后得到的分表。
日志数据记录了源数据库的数据或者表结构变更等信息。比如，MySQL数据库的Binlog，Oracle数据库的LogMiner。
数据变更信息是指用户对源数据库表中存储的数据的更改信息。以Binlog为例，Binlog是二进制格式的文件，其记录了用户对MySQL数据库执行数据变更的SQL语句。Binlog中保存有DML(Data Manipulation Language，数据操纵语言)，DML记录了用户对源数据库表中存储的数据的更改，即在MySQL数据库中，数据变更信息可为DML。
数据变更信息至少包括：源数据库表标识以及数据变更内容。数据变更内容包括：数据变更类型、数据变更前的数据、数据变更后的数据以及数据变更时间戳等。数据变更类型至少包括：新增、修改和删除。当数据变更类型为新增时，数据变更前的数据为空，数据变更后的数据为新增的数据；当数据变更类型为修改时，数据变更前的数据为修改前的数据，数据变更后的数据为修改后的数据；当数据变更类型为删除时，数据变更前的数据为删除前的数据，数据变更后的数据为空。
具体地，迁移批次的时间间隔可根据实际应用进行设置，比如每24h(小时)进行一批次的迁移操作。可通过迁移批次信息对数据同步的批次进行标注，以保证数据同步的有序性。迁移批次信息可根据实际应用进行设置，比如数字、字母等。
步骤204，获取所述数据变更信息中的源数据库表标识在数据仓库中对应的数据仓库表标识，根据所述源数据库表标识对应的数据变更内容确定所述数据仓库表标识对应的增量数据。
其中，源数据库表标识用于表征源数据库表的身份信息，该源数据库表标识可以是源数据库表的名称。数据仓库表标识用以表征用于表征数据仓库表的身份信息，该数据仓库表标识可以是数据仓库表的名称。
数据仓库是指：在数据同步的过程中，被抽取的数据所要导入的数据库。数据仓库中以行和列的形式(即表的形式)存储数据，数据仓库表是指数据仓库中用于存储数据的表。在一个实施例中，数据仓库可以是Hive，Hive具有相对较大的存储量，且可用于处理结构化数据。
由于数据仓库的存储量较大，且可处理结构化数据，一般不会对数据仓库进行分库分表。但是，当源数据库进行了分库分表，数据仓库没有进行分库分表时，由源数据库表向数据仓库表同步数据会出现同步数据错乱的问题。基于此，需要知道源数据库表与数据仓库表之间的映射关系，进而确定当前批次的源数据库表对应的数据仓库表。如图3所示，源数据库中一主表拆分为分表1、分表2和分表3，针对每一个发生数据变更的分表，均有对应的数据变更内容，确定分表1、分表2和分表3在数据仓库中对应的数据仓库表，根据分表1、分表2和分表3的数据变更内容更新数据仓库表的数据。
具体地，若源数据库表标识所表征的源数据库表为分表，检测源数据库表标识对应的主表标识是否在数据仓库中，当源数据库表标识对应主表标识在数据仓库中时，从配置文件中获取源数据库表对应的第一分表清单，根据第一分表清单确定源数据库表标识对应的数据仓库表标识。当源数据库表标识对应的主表标识不在数据仓库中时，计算得到源数据库表对应的第二分表清单，根据第二分表清单确定源数据库表标识对应的数据仓库表标识。其中，若一源数据库表(分表)向数据仓库执行过同步操作，或者与该源数据库表(分表)属于同一主表的其它分表向数据仓库执行过同步操作，数据仓库中会存储该源数据库表(分表)标识对应的主表标识。分表清单记录了属于同一主表标识的各个源数据表(分表)标识。
数据仓库表标识对应的增量数据是指：对于一个数据仓库表来说，当前批次的数据同步过程对应的待同步的数据。
步骤206，根据所述数据仓库表标识对应的增量数据确定当前批次的数据仓库的增量数据。
当前批次的数据仓库的增量数据是指：对于数据仓库来说，当前批次的数据同步过程对应的待同步的数据。即当前批次的数据仓库的增量数据是指，当前批次同步后的数据仓库的全量数据，与上一批次同步后的数据仓库的全量数据之间的差异。全量数据是指数据仓库中存储的全部数据。
具体地，将数据变更信息转化为数据仓库中对应的执行语句，在数据仓库中执行该执行语句，即得到增量数据。
步骤208，获取上一批次的数据仓库的全量数据，根据所述上一批次的数据仓库的全量数据和所述当前批次的数据仓库的增量数据，生成当前批次的数据仓库的全量数据。
如图4所示，在源数据库首次向数据仓库同步数据时，可利用数据抽取工具(比如sqoop等)将源数据库的数据全量同步至数据仓库。在后续的同步过程中，可利用日志抽取工具(比如canal等)实时或者定时将源数据库的日志数据发送至数据仓库，数据仓库根据源数据库表的日志数据进行更新，进而实现二者之间的数据同步。具体地，利用增量公式，根据上一批次(T0批次)的数据仓库的全量数据和数据仓库表的增量数据(T1批次)生成当前批次(T1批次)的数据仓库的全量数据。增量公式可以是：T1批次的数据仓库的全量数据＝T0批次的数据仓库的全量数据+T1批次的数据仓库表的增量数据。基于当前批次的数据仓库的增量数据更新上一批次的数据仓库的全量数据，即得到当前批次的数据仓库的全量数据。
本实施例提供的数据同步方法，获取源数据库的日志数据，根据日志数据确定当前批次的源数据库表的数据变更信息，获取数据变更信息中的源数据库表标识在数据仓库中对应的数据仓库表标识，根据源数据库表标识对应的数据变更内容确定数据仓库表标识对应的增量数据，根据数据仓库表标识对应的增量数据确定当前批次的数据仓库的增量数据，获取上一批次的数据仓库的全量数据，根据上一批次的数据仓库的全量数据和当前批次的数据仓库的增量数据，生成当前批次的数据仓库的全量数据。由于日志数据中记录了源数据库的数据的全部变更，通过日志数据实现源数据库与数据仓库之间的数据同步，使得数据仓库的数据与源数据库的数据的变更相对应，提高了数据同步的精确性。
在一个实施例中，所述根据所述日志数据确定当前批次的源数据库表的数据变更信息之前，还包括：根据所述日志数据确定当前批次的源数据库表的表结构变更信息；获取所述表结构变更信息中的源数据库表标识在所述数据仓库中对应的数据仓库表标识，根据所述源数据库表标识对应的表结构变更内容，更新所述数据仓库表标识对应的数据仓库表的表结构。
表结构变更信息是指用户对源数据库表的表结构的更改信息。以Binlog为例，Binlog是二进制格式的文件，其记录了用户对MySQL数据库执行数据变更的SQL语句。Binlog中还保存有DDL(Data Definition Language，数据定义语言)，DDL记录了用户对源数据库表的表结构的更改，即在MySQL数据库中，表结构变更信息为DDL。
表结构变更信息至少包括：源数据库表标识以及表结构变更内容。表结构变更内容包括：表结构变更类型、表结构变更数据以及表结构变更时间戳等。表结构变更类型至少包括：源数据库对象(比如库、表)的新增和结构变更。表结构变更数据至少包括变更的字段名和字段数据类型。
在实际应用中，可能会对源数据库表的表结构进行更改，若对源数据库表的表结构更改后，没有及时对数据仓库表的表结构进行更改，那么容易造成数据同步混乱。在数据同步前，可先检测源数据库表与数据仓库表的表结构是否一致，若一致，则执行数据同步操作；若不一致，则调整数据仓库表的表结构与源数据库表的表结构一致后，执行数据同步工作。
若日志数据中有结构变更信息，则判定源数据库表与数据仓库表的表结构不一致，则获取表结构变更信息中的源数据库标识对应的数据仓库表标识，根据表结构变更内容，更新数据仓库表标识对应的数据仓库表的表结构。具体地，将结构变更信息转化为数据仓库中对应的执行语句，在数据仓库中执行该表结构变更语句，即完成源数据库表与数据仓库表的表结构的同步。
若当前批次的日志数据中只有表结构变更信息，则获取表结构变更信息中的源数据库表标识在数据仓库中对应的数据仓库表标识，根据源数据库表标识对应的表结构变更内容，更新数据仓库表标识对应的数据仓库表的表结构。
若当前批次的日志数据中有数据变更信息和表结构变更信息，先获取表结构变更信息中的源数据库表标识在数据仓库中对应的数据仓库表标识，根据源数据库表标识对应的表结构变更内容，更新数据仓库表标识对应的数据仓库表的表结构；然后获取数据变更信息中的源数据库表标识在数据仓库中对应的数据仓库表标识，根据源数据库表标识对应的数据变更内容确定数据仓库表标识对应的增量数据。
本实施例提供的数据同步方法，通过结构变更信息实现源数据库与数据仓库之间的表结构同步，避免表结构更改所造成的数据同步混乱。
在一个实施例中，所述获取所述数据变更信息中的源数据库表标识在数据仓库中对应的数据仓库表标识，包括：若所述源数据库表标识所表征的源数据库表为分表，检测所述源数据库表标识对应的主表标识是否在所述数据仓库中；当所述源数据库表标识对应的主表标识在所述数据仓库中时，从配置文件中获取所述源数据库表标识对应的第一分表清单；根据所述第一分表清单，确定所述源数据库表标识对应的数据仓库表标识。
其中，主表标识用于确定在数据仓库中是否有一源数据库表标识对应的数据仓库表标识。分表清单记录了属于同一主表的各个源数据表(分表)标识。第一分表清单是指存储在配置文件中的分表清单。
若一源数据表(分表)或者与该源数据表(分表)属于同一主表的源数据库表(分表)向数据仓库执行过同步操作，数据仓库中会记录该源数据表(分表)标识对应的主表标识、第一分表清单以及数据仓库表。若数据仓库中存在该源数据库表(分表)标识对应的主表标识，则从配置文件中获取第一分表清单，根据第一分表清单确定源数据库表(分表)标识对应的数据仓库表标识。
本实施例提供的数据同步方法，实现准确识别属于同一主表的分表，并将源数据库中属于同一主表的分表同步至数据仓库的同一数据仓库表中。
在一个实施例中，所述根据所述第一分表清单，确定所述源数据库表标识对应的数据仓库表标识，包括：获取所述源数据库表标识所表征的源数据库表的分库分表规则；若所述源数据库表的分库分表规则为固定规则，则将所述第一分表清单对应的数据仓库表标识，作为所述源数据库表标识对应的数据仓库表标识。
其中，分库分表规则包括固定规则和时间规则。固定规则是指，将一张主表拆分为固定数量的分表；时间规则是指，将一张主表按照时间进行拆分，随着时间的推移，分表的数量会逐渐增加。
若源数据库表的分库分表规则为固定规则，那么第一分表清单上的源数据库表(分表)标识不会发生变化，将从配置文件中获取的第一分表清单对应的数据仓库表标识，作为源数据库表(分表)标识对应的数据仓库表标识。
本实施例提供的数据同步方法，实现准确识别属于同一主表的分表，并将源数据库中属于同一主表的分表同步至数据仓库的同一数据仓库表中。
在一个实施例中，所述方法还包括：若所述源数据库表的分库分表规则为时间规则，获取所述第一分表清单中的对照表标识；判断所述源数据库表的表结构，是否与所述对照表标识所表征的对照表的表结构一致；若一致，则将所述第一分表清单对应的数据仓库表标识，作为所述源数据库表标识对应的数据仓库表标识。
其中，对照表标识所表征的对照表，用于作为标准的表结构，与新生成的源数据库表(分表)的表结构进行比对。对照表标识的选取规则可分为静态选取和动态选取，静态选取是指在建立第一分表清单后，选取第一分表清单中任一源数据库表标识作为对照表标识；动态选取是指选取第一分表清单中距离当前时间最近的源数据库表标识作为对照表标识。
若源数据库表的分库分表规则为时间规则，需要对新生成的源数据库表(分表)的表结构进行校对，若一致，新生成的源数据库表(分表)标识对应的数据仓库表标识即为第一分表清单对应的数据仓库表标识。若不一致，则输出告警信息，以供业务人员检查分库分表错误。
本实施例提供的数据同步方法，实现准确识别属于同一主表的分表，并将源数据库中属于同一主表的分表同步至数据仓库的同一数据仓库表中。
在一个实施例中，所述判断所述源数据库表的表结构，是否与所述对照表标识所表征的对照表的表结构一致之后，还包括：若一致，根据所述源数据库表标识，更新所述第一分表清单。
若源数据库表的分库分表规则为时间规则，需要对新生成的源数据库表(分表)的表结构进行校对，若一致，新生成的源数据库表(分表)标识对应的数据仓库表标识即为第一分表清单对应的数据仓库表标识，并且，将新生成的源数据库表(分表)标识加入第一分表清单中。
本实施例提供的数据同步方法，保证第一分表清单记录的准确性。
在一个实施例中，所述获取所述第一分表清单中的对照表标识，包括：获取所述第一分表清单中距离当前时间最近的源数据库标识，将所述距离当前时间最近的源数据库标识，作为所述对照表标识。
本实施例提供的数据同步方法，动态选取对照表，保证对照表的表结构的准确性。
在一个实施例中，所述若所述源数据库表标识所表征的源数据库表为分表，检测所述源数据库表标识对应的主表标识是否在所述数据仓库中之后，还包括：当所述源数据库表标识所属的主表标识不在所述数据仓库中时，获取所述源数据库表标识所表征的源数据库表的分库分表命名规则；根据所述源数据库表的分库分表命名规则，计算得到所述源数据库表标识对应的第二分表清单；根据所述第二分表清单，确定所述源数据库表标识对应的数据仓库表标识。
其中，分库分表命名规则是指，对源数据库的分库分表结果所采用的命名方式。在对源数据库进行分库分表时，可在源数据库表(分表)的名称中增加名称标识，通过名称标识，可识别出属于同一主表的分表。
名称标识的内容可以是：固定标识(比如数字、字母等)、日期标识、月份标识等。固定标识，比如[0-9]{1}或者[0-9]{2}或者[0-9]{3}等；日期标识，比如[12]\d{3}(0[1-9]|1[0-2])(0[1-9]|[12]\d|3[01])等；月份标识，比如[12]\d{3}(0[1-9]|1[0-2])或者\d{2}(0[1-9]|1[0-2])等。
名称标识的模式可以是：在分表的库名和/或表名上添加名称标识。比如，可在分表的库名和/或表名上添加名称标识，对于分表a,b(库名为a，表名为b)，可在该分表的库名上添加名称标识：a_0,b、a_1,b、a_2,b等，也可在分表的表名上添加名称标识：a,b_0、a,b_1、a,b_2等，也可在分表的库名和表名上均添加名称标识：a_0,b_0、a_1,b_1、a_2,b_2等。
针对不同主表的分库分表操作，采用不同的分库分表命名规则，即采用不同的名称标识的内容和/或不同的名称标识的模式。根据分库分表命名规则，可在源数据库中获取与一源数据库表(分表)标识属于同一主表标识的各个源数据库表(分表)标识，进而得到该源数据库表(分表)标识对应的分表清单。
在实际应用时，可选取一定数量的源数据库表(分表)标识进行测试，检测通过分库分表命名规则，是否能够将源数据库中属于同一主表标识的源数据库表(分表)标识，确定为同一数据仓库表标识。
第二分表清单是指根据分库分表命名规则计算得到的分表清单。若数据仓库中不存在该源数据库表(分表)标识对应的主表标识，则根据分库分表命名规则计算源数据库表(分表)标识对应的第二分表清单，根据第二分表清单确定源数据库表标识对应的数据仓库表标识。
本实施例提供的数据同步方法，根据分库分表命名规则计算源数据库表(分表)标识对应的分表清单，实现准确识别属于同一主表的分表。
在一个实施例中，所述根据所述第二分表清单，确定所述源数据库表标识对应的数据仓库表标识，包括：判断所述第二分表清单中各个源数据库表标识所表征的源数据库表的表结构是否一致；若一致，则在所述数据仓库中创建所述源数据库表标识对应的数据仓库表标识。
在计算得到第二分表清单后，判断该分表清单中各个源数据库表(分表)的表结构是否一致，若一致，在数据仓库中创建源数据库表(分表)标识对应的数据仓库表标识，并将源数据库表(分表)标识对应的主表标识、第二分表清单以及数据仓库表标识关联存储；若不一致，则输出告警信息，以供业务人员检查分库分表错误。
本实施例提供的数据同步方法，实现将源数据库中属于同一主表的源数据库表(分表)同步至数据仓库的同一数据仓库表中。
如图5所示，在一个具体的实施例中，所述数据同步方法包括：
(a1)，若所述源数据库表标识所表征的源数据库表为分表，检测所述源数据库表标识对应的主表标识是否在所述数据仓库中。
(a2)，当所述源数据库表标识对应的主表标识在所述数据仓库中时，从配置文件中获取所述源数据库表标识对应的第一分表清单；获取所述源数据库表标识所表征的源数据库表的分库分表规则，若所述源数据库表的分库分表规则为固定规则，则将所述第一分表清单对应的数据仓库表标识，作为所述源数据库表标识对应的数据仓库表标识；若所述源数据库表的分库分表规则为时间规则，获取所述第一分表清单中的对照表标识，若所述源数据库表的表结构与所述对照表标识所表征的对照表的表结构一致，将所述第一分表清单对应的数据仓库表标识，作为所述源数据库表标识对应的数据仓库表标识，并且，根据所述源数据库表标识，更新所述第一分表清单。
(a3)，当所述源数据库表标识所属的主表标识不在所述数据仓库中时，获取所述源数据库表标识所表征的源数据库表的分库分表命名规则，根据所述源数据库表的分库分表命名规则，计算得到所述源数据库表标识对应的第二分表清单，若所述第二分表清单中各个源数据库表标识所表征的源数据库表的表结构一致，在所述数据仓库中创建所述源数据库表标识对应的数据仓库表标识。
本实施例提供的数据同步方法，实现将源数据库中属于同一主表的分表同步至数据仓库的同一数据仓库表中。
如图6所示，在一个具体的实施例中，所述数据同步方法包括以下步骤：
S602，获取MySQL的Binlog，根据所述Binlog确定当前批次的MySQL表的表结构变更信息；
S604，获取所述表结构变更信息中的MySQL表标识在所述Hive中对应的Hive表标识，根据所述MySQL表标识对应的表结构变更内容，更新所述Hive表标识对应的Hive表的表结构；
S606，根据所述Binlog确定当前批次的MySQL表的数据变更信息；
S608，获取所述数据变更信息中的MySQL表标识在Hive中对应的Hive表标识，根据所述MySQL表标识对应的数据变更内容确定所述Hive表标识对应的增量数据；
S610，根据所述Hive表标识对应的增量数据确定当前批次的Hive的增量数据；
S612，获取上一批次的Hive的全量数据，根据所述上一批次的Hive的全量数据和所述当前批次的Hive的增量数据，生成当前批次的Hive的全量数据。
本实施例提供的数据同步方法，由于Binlog中记录了MySQL的数据和表结构的全部变更，通过Binlog实现MySQL与Hive之间的数据同步和结构同步，使得Hive的数据与MySQL的数据的变更相对应、Hive的表结构与MySQL的表结构的变更相对应，提高了数据同步以及表结构同步的精确性。
在一个具体的实施例中，所述数据同步方法包括以下步骤：
(c1)，若所述MySQL表标识所表征的MySQL表为分表，检测所述MySQL表标识对应的主表标识是否在所述Hive中。
(c2)，当所述MySQL表标识对应的主表标识在所述Hive中时，从配置文件中获取所述MySQL表标识对应的第一分表清单；获取所述MySQL表标识所表征的MySQL表的分库分表规则，若所述MySQL表的分库分表规则为固定规则，则将所述第一分表清单对应的Hive表标识，作为所述MySQL表标识对应的Hive表标识；若所述MySQL表的分库分表规则为时间规则，获取所述第一分表清单中的对照表标识，若所述MySQL表的表结构与所述对照表标识所表征的对照表的表结构一致，将所述第一分表清单对应的Hive表标识，作为所述MySQL表标识对应的Hive表标识，并且，根据所述MySQL表标识，更新所述第一分表清单。
(c3)，当所述MySQL表标识所属的主表标识不在所述Hive中时，获取所述MySQL表标识所表征的MySQL表的分库分表命名规则，根据所述MySQL表的分库分表命名规则，计算得到所述MySQL表标识对应的第二分表清单，若所述第二分表清单中各个MySQL表标识所表征的MySQL表的表结构一致，在所述Hive中创建所述MySQL表标识对应的Hive表标识。
本实施例提供的数据同步方法，避免MySQL分库分表所造成的数据同步混乱，提高了数据同步以及表结构同步的精确性。
图2和图6为一个实施例中数据同步方法的流程示意图。应该理解的是，虽然图2和图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和图6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图7所示，提供了一种数据同步装置700，包括：获取模块702、确定模块704和生成模块706，其中：
获取模块702，用于：获取源数据库的日志数据，根据所述日志数据确定当前批次的源数据库表的数据变更信息；
确定模块704，用于：获取所述数据变更信息中的源数据库表标识在数据仓库中对应的数据仓库表标识，根据所述源数据库表标识对应的数据变更内容确定所述数据仓库表标识对应的增量数据；
所述确定模块704，还用于：根据所述数据仓库表标识对应的增量数据确定当前批次的数据仓库的增量数据；
生成模块706，用于：获取上一批次的数据仓库的全量数据，根据所述上一批次的数据仓库的全量数据和所述当前批次的数据仓库的增量数据，生成当前批次的数据仓库的全量数据。
本实施例提供的数据同步装置700，获取源数据库的日志数据，根据日志数据确定当前批次的源数据库表的数据变更信息，获取数据变更信息中的源数据库表标识在数据仓库中对应的数据仓库表标识，根据源数据库表标识对应的数据变更内容确定数据仓库表标识对应的增量数据，根据数据仓库表标识对应的增量数据确定当前批次的数据仓库的增量数据，获取上一批次的数据仓库的全量数据，根据上一批次的数据仓库的全量数据和当前批次的数据仓库的增量数据，生成当前批次的数据仓库的全量数据。由于日志数据中记录了源数据库的数据的全部变更，通过日志数据实现源数据库与数据仓库之间的数据同步，使得数据仓库的数据与源数据库的数据的变更相对应，提高了数据同步的精确性。
在一个实施例中，所述数据同步装置700还包括更新模块708，所述确定模块704，还用于：根据所述日志数据确定当前批次的源数据库表的表结构变更信息；所述更新模块708，用于：获取所述表结构变更信息中的源数据库表标识在所述数据仓库中对应的数据仓库表标识，根据所述源数据库表标识对应的表结构变更内容，更新所述数据仓库表标识对应的数据仓库表的表结构。
在一个实施例中，所述确定模块704，具体用于：若所述源数据库表标识所表征的源数据库表为分表，检测所述源数据库表标识对应的主表标识是否在所述数据仓库中；当所述源数据库表标识对应的主表标识在所述数据仓库中时，从配置文件中获取所述源数据库表标识对应的第一分表清单；根据所述第一分表清单，确定所述源数据库表标识对应的数据仓库表标识。
在一个实施例中，所述确定模块704，具体用于：获取所述源数据库表标识所表征的源数据库表的分库分表规则；若所述源数据库表的分库分表规则为固定规则，则将所述第一分表清单对应的数据仓库表标识，作为所述源数据库表标识对应的数据仓库表标识。
在一个实施例中，所述确定模块704，具体用于：若所述源数据库表的分库分表规则为时间规则，获取所述第一分表清单中的对照表标识；判断所述源数据库表的表结构，是否与所述对照表标识所表征的对照表的表结构一致；若一致，则将所述第一分表清单对应的数据仓库表标识，作为所述源数据库表标识对应的数据仓库表标识。
在一个实施例中，所述确定模块704，具体用于：若一致，根据所述源数据库表标识，更新所述第一分表清单。
在一个实施例中，所述确定模块704，具体用于：获取所述第一分表清单中距离当前时间最近的源数据库标识，将所述距离当前时间最近的源数据库标识，作为所述对照表标识。
在一个实施例中，所述确定模块704，具体用于：当所述源数据库表标识所属的主表标识不在所述数据仓库中时，获取所述源数据库表标识所表征的源数据库表的分库分表命名规则；根据所述源数据库表的分库分表命名规则，计算得到所述源数据库表标识对应的第二分表清单；根据所述第二分表清单，确定所述源数据库表标识对应的数据仓库表标识。
在一个实施例中，所述确定模块704，具体用于：判断所述第二分表清单中各个源数据库表标识所表征的源数据库表的表结构是否一致；若一致，则在所述数据仓库中创建所述源数据库表标识对应的数据仓库表标识。
图8示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端。如图8所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现数据同步方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行数据同步方法。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的数据同步装置可以采用一种计算机程序的形式来实现，计算机程序可在如图8所示的计算机设备上运行。计算机设备的存储器中可存储组成该数据同步装置的各个程序模块，比如，图7所示的获取模块702、确定模块704和生成模块706。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的数据同步方法中的步骤。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述数据同步方法的步骤。此处数据同步方法的步骤可以是上述各个实施例的数据同步方法中的步骤。
在一个实施例中，提供了一种存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述数据同步方法的步骤。此处数据同步方法的步骤可以是上述各个实施例的数据同步方法中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Sync小时link)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种数据同步方法，包括：
获取源数据库的日志数据，根据所述日志数据确定当前批次的源数据库表的数据变更信息；
获取所述数据变更信息中的源数据库表标识在数据仓库中对应的数据仓库表标识，根据所述源数据库表标识对应的数据变更内容确定所述数据仓库表标识对应的增量数据；
根据所述数据仓库表标识对应的增量数据确定当前批次的数据仓库的增量数据；
获取上一批次的数据仓库的全量数据，根据所述上一批次的数据仓库的全量数据和所述当前批次的数据仓库的增量数据，生成当前批次的数据仓库的全量数据。
2.根据权利要求1所述的方法，其特征在于，所述根据所述日志数据确定当前批次的源数据库表的数据变更信息之前，还包括：
根据所述日志数据确定当前批次的源数据库表的表结构变更信息；
获取所述表结构变更信息中的源数据库表标识在所述数据仓库中对应的数据仓库表标识，根据所述源数据库表标识对应的表结构变更内容，更新所述数据仓库表标识对应的数据仓库表的表结构。
3.根据权利要求1所述的方法，其特征在于，所述获取所述数据变更信息中的源数据库表标识在数据仓库中对应的数据仓库表标识，包括：
若所述源数据库表标识所表征的源数据库表为分表，检测所述源数据库表标识对应的主表标识是否在所述数据仓库中；
当所述源数据库表标识对应的主表标识在所述数据仓库中时，从配置文件中获取所述源数据库表标识对应的第一分表清单；
根据所述第一分表清单，确定所述源数据库表标识对应的数据仓库表标识。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一分表清单，确定所述源数据库表标识对应的数据仓库表标识，包括：
获取所述源数据库表标识所表征的源数据库表的分库分表规则；
若所述源数据库表的分库分表规则为固定规则，则将所述第一分表清单对应的数据仓库表标识，作为所述源数据库表标识对应的数据仓库表标识。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
若所述源数据库表的分库分表规则为时间规则，获取所述第一分表清单中的对照表标识；
判断所述源数据库表的表结构，是否与所述对照表标识所表征的对照表的表结构一致；
若一致，则将所述第一分表清单对应的数据仓库表标识，作为所述源数据库表标识对应的数据仓库表标识。
6.根据权利要求5所述的方法，其特征在于，所述判断所述源数据库表的表结构，是否与所述对照表标识所表征的对照表的表结构一致之后，还包括：
若一致，根据所述源数据库表标识，更新所述第一分表清单。
7.根据权利要求5所述的方法，其特征在于，所述获取所述第一分表清单中的对照表标识，包括：
获取所述第一分表清单中距离当前时间最近的源数据库标识，将所述距离当前时间最近的源数据库标识，作为所述对照表标识。
8.根据权利要求3所述的方法，其特征在于，所述若所述源数据库表标识所表征的源数据库表为分表，检测所述源数据库表标识对应的主表标识是否在所述数据仓库中之后，还包括：
当所述源数据库表标识所属的主表标识不在所述数据仓库中时，获取所述源数据库表标识所表征的源数据库表的分库分表命名规则；
根据所述源数据库表的分库分表命名规则，计算得到所述源数据库表标识对应的第二分表清单；
根据所述第二分表清单，确定所述源数据库表标识对应的数据仓库表标识。
9.根据权利要求8所述的方法，其特征在于，所述根据所述第二分表清单，确定所述源数据库表标识对应的数据仓库表标识，包括：
判断所述第二分表清单中各个源数据库表标识所表征的源数据库表的表结构是否一致；
若一致，则在所述数据仓库中创建所述源数据库表标识对应的数据仓库表标识。
10.一种数据同步装置，其特征在于，所述装置包括：
获取模块，用于获取源数据库的日志数据，根据所述日志数据确定当前批次的源数据库表的数据变更信息；
确定模块，用于获取所述数据变更信息中的源数据库表标识在数据仓库中对应的数据仓库表标识，根据所述源数据库表标识对应的数据变更内容确定所述数据仓库表标识对应的增量数据；
所述确定模块，还用于根据所述数据仓库表标识对应的增量数据确定当前批次的数据仓库的增量数据；
生成模块，用于获取上一批次的数据仓库的全量数据，根据所述上一批次的数据仓库的全量数据和所述当前批次的数据仓库的增量数据，生成当前批次的数据仓库的全量数据。
11.一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述方法的步骤。
12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至9中任一项所述方法的步骤。
CN201911111938.XA 2019-11-14 2019-11-14 数据同步方法、装置、存储介质和计算机设备 Pending CN111008241A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911111938.XA CN111008241A (zh) 2019-11-14 2019-11-14 数据同步方法、装置、存储介质和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911111938.XA CN111008241A (zh) 2019-11-14 2019-11-14 数据同步方法、装置、存储介质和计算机设备

Publications (1)

Publication Number Publication Date
CN111008241A true CN111008241A (zh) 2020-04-14

Family

ID=70113323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911111938.XA Pending CN111008241A (zh) 2019-11-14 2019-11-14 数据同步方法、装置、存储介质和计算机设备

Country Status (1)

Country Link
CN (1) CN111008241A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112148721A (zh) * 2020-09-25 2020-12-29 新华三大数据技术有限公司 数据检核方法、装置、电子设备及存储介质
CN113094442A (zh) * 2021-04-30 2021-07-09 广州虎牙科技有限公司 全量数据同步方法、装置、设备和介质
CN113821505A (zh) * 2020-09-29 2021-12-21 北京沃东天骏信息技术有限公司 一种全量数据更新方法和装置
CN114020850A (zh) * 2022-01-05 2022-02-08 深圳市明源云科技有限公司 数据库数据同步方法、装置、设备及可读存储介质
CN114398359A (zh) * 2022-01-17 2022-04-26 深圳依时货拉拉科技有限公司 订单数据自动化对账方法、装置及存储介质
CN114817338A (zh) * 2022-06-28 2022-07-29 杭州湖畔网络技术有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
CN114970479A (zh) * 2022-07-29 2022-08-30 飞狐信息技术（天津）有限公司 图表生成方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243067A (zh) * 2014-07-07 2016-01-13 北京明略软件系统有限公司 一种实现实时增量同步数据的方法及装置
US20180137186A1 (en) * 2016-11-11 2018-05-17 International Business Machines Corporation Copying data changes to a target database
CN108920698A (zh) * 2018-07-16 2018-11-30 北京京东金融科技控股有限公司 一种数据同步方法、装置、系统、介质及电子设备
CN110046168A (zh) * 2019-03-28 2019-07-23 苏宁易购集团股份有限公司 一种增量数据一致性实现方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105243067A (zh) * 2014-07-07 2016-01-13 北京明略软件系统有限公司 一种实现实时增量同步数据的方法及装置
US20180137186A1 (en) * 2016-11-11 2018-05-17 International Business Machines Corporation Copying data changes to a target database
CN108920698A (zh) * 2018-07-16 2018-11-30 北京京东金融科技控股有限公司 一种数据同步方法、装置、系统、介质及电子设备
CN110046168A (zh) * 2019-03-28 2019-07-23 苏宁易购集团股份有限公司 一种增量数据一致性实现方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HADOOP技术博文: "美团 MySQL 数据实时同步到 Hive 的架构与实践 Hadoop技术博文", pages 1 - 5, Retrieved from the Internet <URL:https://www.sohu.com/a/344520548_315839> *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112148721A (zh) * 2020-09-25 2020-12-29 新华三大数据技术有限公司 数据检核方法、装置、电子设备及存储介质
CN112148721B (zh) * 2020-09-25 2022-08-19 新华三大数据技术有限公司 数据检核方法、装置、电子设备及存储介质
CN113821505A (zh) * 2020-09-29 2021-12-21 北京沃东天骏信息技术有限公司 一种全量数据更新方法和装置
CN113094442A (zh) * 2021-04-30 2021-07-09 广州虎牙科技有限公司 全量数据同步方法、装置、设备和介质
CN113094442B (zh) * 2021-04-30 2024-04-19 广州虎牙科技有限公司 全量数据同步方法、装置、设备和介质
CN114020850A (zh) * 2022-01-05 2022-02-08 深圳市明源云科技有限公司 数据库数据同步方法、装置、设备及可读存储介质
CN114398359A (zh) * 2022-01-17 2022-04-26 深圳依时货拉拉科技有限公司 订单数据自动化对账方法、装置及存储介质
CN114817338A (zh) * 2022-06-28 2022-07-29 杭州湖畔网络技术有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
CN114970479A (zh) * 2022-07-29 2022-08-30 飞狐信息技术（天津）有限公司 图表生成方法及装置

Similar Documents

Publication Publication Date Title
CN111008241A (zh) 数据同步方法、装置、存储介质和计算机设备
CN108427684B (zh) 数据查询方法、装置及计算设备
CN111258989B (zh) 数据库迁移评估方法、装置、存储介质和计算机设备
US10552443B1 (en) Schemaless to relational representation conversion
CN106648446B (zh) 一种用于时序数据的存储方法、装置及电子设备
US20180260435A1 (en) Redis-based database data aggregation and synchronization method
US8799235B2 (en) Data de-duplication system
CN109117440B (zh) 一种元数据信息获取方法、系统和计算机可读存储介质
CN111177144B (zh) 表同步方法、装置、设备、存储介质及系统
CN112667630B (zh) 整合业务报表的方法、装置、设备以及存储介质
CN106407360B (zh) 一种数据的处理方法及装置
CN105205053A (zh) 一种数据库增量日志解析方法及系统
WO2021179488A1 (zh) 监控数据存储方法、设备、服务器及存储介质
CN110647531A (zh) 数据同步方法、装置、设备及计算机可读存储介质
CN112307124A (zh) 数据库同步验证方法、装置、设备及存储介质
CN112487083A (zh) 一种数据校验方法和设备
CN114780641A (zh) 多库多表同步方法、装置、计算机设备和存储介质
CN113420026A (zh) 数据库表结构变更方法、装置、设备及存储介质
CN113672692B (zh) 数据处理方法、装置、计算机设备和存储介质
CN114138907A (zh) 数据处理方法、计算机设备、存储介质和计算机程序产品
CN114996240A (zh) 数据表校验方法、装置、设备、存储介质及程序
CN114153910A (zh) 数据采集方法、装置及电子装置、计算机程序产品
CN113420036A (zh) 一种电网监控系统内存库关系库一致性校验方法
CN113377789A (zh) 数据库变更数据的处理方法、装置、计算机设备和介质
CN111858767A (zh) 同步数据的处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination