CN114780641B - 多库多表同步方法、装置、计算机设备和存储介质 - Google Patents

多库多表同步方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN114780641B
CN114780641B CN202210492214.XA CN202210492214A CN114780641B CN 114780641 B CN114780641 B CN 114780641B CN 202210492214 A CN202210492214 A CN 202210492214A CN 114780641 B CN114780641 B CN 114780641B
Authority
CN
China
Prior art keywords
source
target
database
synchronous
task
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210492214.XA
Other languages
English (en)
Other versions
CN114780641A (zh
Inventor
刘志超
罗东山
许洋
朱虹
刘石财
李聪
谢超峰
罗昊阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Changyin May 8th Consumer Finance Co ltd
Original Assignee
Hunan Changyin May 8th Consumer Finance Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Changyin May 8th Consumer Finance Co ltd filed Critical Hunan Changyin May 8th Consumer Finance Co ltd
Priority to CN202210492214.XA priority Critical patent/CN114780641B/zh
Publication of CN114780641A publication Critical patent/CN114780641A/zh
Application granted granted Critical
Publication of CN114780641B publication Critical patent/CN114780641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及一种多库多表同步方法、装置、计算机设备、存储介质和计算机程序产品。该方法通过获取同步配置文件；对同步配置文件进行解析，得到多个同步配置块，分别获取同步配置块对应的多个待同步源表标识；针对每个待同步源表标识，并行获取对应的源数据库配置信息以及目标数据库配置信息、并基于源数据库配置信息以及目标数据库配置信息生成单表同步任务；归集单表同步任务，得到同步配置块对应的表同步任务。整个方案通过获取多库多表的同步配置文件，针对源数据库与目标数据库相同的待同步源表，得到多个同步配置块，依次获取同步配置块中的待同步源表的配置信息，无须多次获取同步配置块中的源数据库和目标数据库信息，从而提高了配置效率。

Description

多库多表同步方法、装置、计算机设备和存储介质
技术领域
本申请涉及大数据技术领域，特别是涉及一种多库多表同步方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
在大数据技术领域，数据通常由业务系统产生，这些数据需要同步到大数据平台，才能进行数据挖掘与分析，发挥数据的价值。
目前的同步方法只能完成单库或者单表的数据同步，对于多库多表的数据同步问题，只能通过人工配置，需要人工参与撰写脚本代码，工作量大，配置效率低下。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高同步效率的多库多表同步方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种多库多表同步方法。该方法包括：
获取多库多表的同步配置文件；
对同步配置文件进行源数据库和目标数据库解析，得到多个同步配置块，同步配置块中各待同步源表对应的源数据库与目标数据库相同；
针对各同步配置块，分别执行同步任务生成处理，得到各同步配置块对应的表同步任务；
其中，同步任务生成处理包括：获取同步配置块对应的多个待同步源表标识；针对每个待同步源表标识，并行获取对应的源数据库配置信息以及目标数据库配置信息、并基于源数据库配置信息以及目标数据库配置信息生成单表同步任务；归集单表同步任务，得到同步配置块对应的表同步任务。
在其中一个实施例中，对同步配置文件进行源数据库和目标数据库解析，得到多个同步配置块包括：对同步配置文件进行解析，得到待同步列表；其中，待同步列表中包括多个待同步源表；将待同步列表中源库标识与目标库标识相同的待同步源表进行合并，得到多个同步配置块。
在其中一个实施例中，基于源数据库配置信息以及目标数据库配置信息生成单表同步任务之前，还包括：根据待同步源表标识，确定源数据库中存储的源表结构以及目标数据库中存储的目标表结构；基于源数据库配置信息以及目标数据库配置信息生成单表同步任务包括：若源表结构与目标表结构一致，则获取源表信息，根据源数据库配置信息、源表信息以及目标数据库配置信息，生成单表同步任务。
在其中一个实施例中，还包括：若判读源表结构与目标表结构不一致，则生成单表变更任务；执行表单变更任务，得到目标表更新配置信息；根据源数据库配置信息、目标表更新配置信息以及目标数据库配置信息，生成单表同步任务。
在其中一个实施例中，执行表单变更任务，得到目标表更新配置信息包括：根据单表变更任务，对目标表进行重命名，得到目标表更新名称；确定源表结构与目标表结构的差异字段，根据差异字段以及源表的建表语句，生成目标表的建表语句；对源表结构以及目标表结构进行字段对比，生成字段填充语句；根据目标表更新名称、目标表的建表语句以及字段填充语句，得到目标表更新配置信息。
在其中一个实施例中，根据单表变更任务，对目标表进行重命名，得到目标表更新名称包括：根据单表变更任务，获取当前系统时间；根据源数据库标识、目标数据库标识、目标表名称以及当前系统时间，生成目标表更新名称。
第二方面，本申请还提供了一种多库多表同步装置。该装置包括：
获取模块，用于获取多库多表的同步配置文件；
解析模块，用于对同步配置文件进行源数据库和目标数据库解析，得到多个同步配置块，同步配置块中各待同步源表对应的源数据库与目标数据库相同；
生成模块，用于针对各同步配置块，分别执行同步任务生成处理，得到各同步配置块对应的表同步任务；
其中，同步任务生成处理包括：获取同步配置块对应的多个待同步源表标识；针对每个待同步源表标识，并行获取对应的源数据库配置信息以及目标数据库配置信息、并基于源数据库配置信息以及目标数据库配置信息生成单表同步任务；归集单表同步任务，得到同步配置块对应的表同步任务。
第三方面，本申请还提供了一种计算机设备。该计算机设备包括存储器和处理器，该存储器存储有计算机程序，该处理器执行该计算机程序时实现以下步骤：
获取多库多表的同步配置文件；
对同步配置文件进行源数据库和目标数据库解析，得到多个同步配置块，同步配置块中各待同步源表对应的源数据库与目标数据库相同；
针对各同步配置块，分别执行同步任务生成处理，得到各同步配置块对应的表同步任务；
其中，同步任务生成处理包括：获取同步配置块对应的多个待同步源表标识；针对每个待同步源表标识，并行获取对应的源数据库配置信息以及目标数据库配置信息、并基于源数据库配置信息以及目标数据库配置信息生成单表同步任务；归集单表同步任务，得到同步配置块对应的表同步任务。
第四方面，本申请还提供了一种计算机可读存储介质。该计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取多库多表的同步配置文件；
对同步配置文件进行源数据库和目标数据库解析，得到多个同步配置块，同步配置块中各待同步源表对应的源数据库与目标数据库相同；
针对各同步配置块，分别执行同步任务生成处理，得到各同步配置块对应的表同步任务；
其中，同步任务生成处理包括：获取同步配置块对应的多个待同步源表标识；针对每个待同步源表标识，并行获取对应的源数据库配置信息以及目标数据库配置信息、并基于源数据库配置信息以及目标数据库配置信息生成单表同步任务；归集单表同步任务，得到同步配置块对应的表同步任务。
第五方面，本申请还提供了一种计算机程序产品。该计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取多库多表的同步配置文件；
对同步配置文件进行源数据库和目标数据库解析，得到多个同步配置块，同步配置块中各待同步源表对应的源数据库与目标数据库相同；
针对各同步配置块，分别执行同步任务生成处理，得到各同步配置块对应的表同步任务；
其中，同步任务生成处理包括：获取同步配置块对应的多个待同步源表标识；针对每个待同步源表标识，并行获取对应的源数据库配置信息以及目标数据库配置信息、并基于源数据库配置信息以及目标数据库配置信息生成单表同步任务；归集单表同步任务，得到同步配置块对应的表同步任务。
上述多库多表同步方法、装置、计算机设备、存储介质和计算机程序产品，获取多库多表的同步配置文件；对同步配置文件进行源数据库和目标数据库解析，得到多个同步配置块，同步配置块中各待同步源表对应的源数据库与目标数据库相同；针对各同步配置块，分别执行同步任务生成处理，得到各同步配置块对应的表同步任务；其中，同步任务生成处理包括：获取同步配置块对应的多个待同步源表标识；针对每个待同步源表标识，并行获取对应的源数据库配置信息以及目标数据库配置信息、并基于源数据库配置信息以及目标数据库配置信息生成单表同步任务；归集单表同步任务，得到同步配置块对应的表同步任务。整个方案通过获取多库多表的同步配置文件，针对源数据库与目标数据库相同的待同步源表，得到多个同步配置块，依次获取同步配置块中的待同步源表的配置信息，无须多次获取同步配置块中的源数据库和目标数据库信息，从而提高了配置效率。
附图说明
图1为一个实施例中多库多表同步方法的应用环境图；
图2为一个实施例中多库多表同步方法的流程示意图；
图3为一个实施例中多库多表同步步骤的流程示意图；
图4为一个实施例中多库多表同步装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请的应用背景，特指在数据仓库中，从业务Mysql表到数仓Hive表的数据同步。如Mysql库中有张表A，相应的在Hive库中建跟表A相同表结构的表A1，类似的将表A的数据同步到表A1称之为表数据同步。该数据同步过程，涉及的参数包括源数据库和目标数据库的环境信息，同步表和查询列，转存目录，数据合并字段等，其中环境信息包括数据库连接地址、访问用户名、访问密码等。
目前对单个表数据同步，有一些同步工具，如Sqoop、DataX、Kettle等，常见的调度工具也有集成这些同步工具，提供该同步工具对应的任务执行器和任务配置。但是缺乏多库多表的数据同步的解决方案。常见的解决方案是在调度任务中配置一个shell任务，人工编写一个shell文件，根据实际需要，逐个表人工编写同步工具调用参数和调用命令，调度通过执行该shell任务实现多库多表的数据同步集成。或者在调度任务里人工针对单个表依次配置对应同步工具任务，在实际工作中因需同步的表数量过多，需配置的单表任务太多，很少使用这种集成方法。
当前多库多表的数据同步集成方案的一大弊端，在于需人工编写shell文件的重复工作。实际上，同一个库的不同表数据同步，除了表名、列名和数据合并字段外，其余参数都一样。与此同时，人工配置列名易出错，如源表结构变更，需人工更新配置的列名才能实现同步更新。在实际的数据仓库工作中，需对成千上万张表数据同步进行集成管理，该方案弊端明显。
数据同步功能的任务执行器不支持多库多表同步，只支持单库单表同步。这个缺陷，是由对应的同步服务模块决定的。比如Sqoop同步工具，该工具聚焦单库单表的数据同步功能，本身就不支持也不提供同时多库多表的同步调用。Datax也好，Kettle也好，均存在这种缺陷。同步服务模块的原生不支持，导致调度在集成数据同步类的任务执行器如Datax、Sqoop、Kettle等时，相应的也不支持多库多表同步。目前的调度工具，重点聚焦在任务的集成化、配置化、可视化上，故面对多库多表同步任务，集成的任务执行器多，每种任务执行器的配置差异明显，自动生成并绘制任务，存在技术难度挑战大、不灵活等问题。
本申请的创新点在于，提供一个自动化集成方案，去掉人工编写shell文件、配置shell任务的过程，改用计算机自动生成多库多表数据同步任务。计算机通过扫描指定同步配置文件(内容格式为约定的同步配置格式)，解析文件，按照文件里指定的同步工具，调用调度工具接口，自动生成和配置任务。
本申请的另一大创新点在于，自动化集成方案，实现了源表结构变更，无需人工干预，同步任务及目标表自动更新。计算机在生成同步任务前，对比表结构的差异。如存在差异，则在同步任务前，新增生成SQL任务，包括表备份、表结构重建、数据合并等。同时调用调度接口，更新任务中的列名等配置。
本申请实施例提供的多库多表同步方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端102向服务器104发送同步指令，服务器104接收终端发送的同步指令，对同步指令进行解析，得到同步配置文件；对同步配置文件进行源数据库和目标数据库解析，得到多个同步配置块，同步配置块中各待同步源表对应的源数据库与目标数据库相同；针对各同步配置块，分别执行同步任务生成处理，得到各同步配置块对应的表同步任务；其中，同步任务生成处理包括：获取同步配置块对应的多个待同步源表标识；针对每个待同步源表标识，并行获取对应的源数据库配置信息以及目标数据库配置信息、并基于源数据库配置信息以及目标数据库配置信息生成单表同步任务；归集单表同步任务，得到同步配置块对应的表同步任务。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种多库多表同步方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：
步骤202，获取多库多表的同步配置文件。
其中，同步配置文件包括源数据库信息、目标数据库信息以及待同步列表。源数据库信息包括源数据库标识、源数据库地址、源数据库可访问用户、源数据库访问密码。目标数据库信息包括目标数据库标识、目标数据库地址、目标数据库可访问用户、目标数据库访问密码以及转存目录等，转存目录即源表中需要同步的字段信息。待同步列表包括待同步源表标识(即同步序号)、源数据库标识、目标数据库标识、待同步的源表名。一个待同步源表对应一个待同步源表信息，若一个源数据库中有待同步源表，则多个用逗号分割。
具体地，服务器接收终端发送的同步指令，对同步指令进行解析，得到多库多表的同步配置文件。
步骤204，对同步配置文件进行源数据库和目标数据库解析，得到多个同步配置块。
其中，同步配置块中各待同步源表对应的源数据库与目标数据库相同。若为多库多表数据同步，则同步配置块为多个，若为单库多表同步，同步配置块则为一个。
具体地，服务器提取同步配置文件的待同步源表的源数据库标识以及目标数据标识，将源数据库标识以及目标数据标识相同的待同步源表分为一个同步配置块中。
步骤206，针对各同步配置块，分别执行同步任务生成处理，得到各同步配置块对应的表同步任务。
具体地，服务器对每一个同步配置块分别进行同步任务配置，得到每一个同步配置块对应的表同步任务。服务器对每一个同步配置块中的多个待同步源表，依次进行单表同步任务配置，得到多个单表同步任务，归集所有单表同步任务，得到该同步配置块对应的表同步任务。
同步任务生成处理包括：获取同步配置块对应的多个待同步源表标识；针对每个待同步源表标识，并行获取对应的源数据库配置信息以及目标数据库配置信息、并基于源数据库配置信息以及目标数据库配置信息生成单表同步任务；归集单表同步任务，得到同步配置块对应的表同步任务。
具体地，针对每一个同步配置块，依次获取该同步配置块中每一个待同步源表标识，即同步序号。服务器根据同步序号，获取同步序号对应的待同步源表的源数据库标识和目标数据库标识，根据源数据库标识获取源数据库信息，即源数据库连接信息，包括源数据库标识、源数据库地址、源数据库可访问用户、源数据库访问密码。根据目标数据库标识获取目标数据库配置信息，即目标数据库连接信息或者目标数据库信息，包括目标数据库标识、目标数据库地址、目标数据库可访问用户、目标数据库访问密码以及转存目录。服务器根据源数据库配置信息配置单表同步任务的数据源信息，根据源数据库配置信息通过jdbc的方式连接并访问源数据库，从源数据库中获取源表结构，将源表中需要转存的列名进行拼接，配置任务的查询列名。根据目标数据库配置信息配置单表同步任务的目标库信息，以使后续服务器连接并访问目标数据库，完成单表同步任务的配置，生成单表同步任务。
服务器对每一个同步配置块中的多个待同步源表，依次进行单表同步任务配置，得到多个单表同步任务，归集所有单表同步任务，得到该同步配置块对应的表同步任务。
上述多库多表同步方法中，获取多库多表的同步配置文件；对同步配置文件进行源数据库和目标数据库解析，得到多个同步配置块，同步配置块中各待同步源表对应的源数据库与目标数据库相同；针对各同步配置块，分别执行同步任务生成处理，得到各同步配置块对应的表同步任务；其中，同步任务生成处理包括：获取同步配置块对应的多个待同步源表标识；针对每个待同步源表标识，并行获取对应的源数据库配置信息以及目标数据库配置信息、并基于源数据库配置信息以及目标数据库配置信息生成单表同步任务；归集单表同步任务，得到同步配置块对应的表同步任务。整个方案通过获取多库多表的同步配置文件，针对源数据库与目标数据库相同的待同步源表，得到多个同步配置块，依次获取同步配置块中的待同步源表的配置信息，无须多次获取同步配置块中的源数据库和目标数据库信息，从而提高了配置效率。
在一个可选的实施例中，对同步配置文件进行源数据库和目标数据库解析，得到多个同步配置块包括：对同步配置文件进行解析，得到待同步列表；将待同步列表中源库标识与目标库标识相同的待同步源表进行合并，得到多个同步配置块。
其中，待同步列表中包括多个待同步源表。
具体地，服务器同步配置文件进行解析，得到待同步列表，由于待同步列表包括待同步源表标识(即同步序号)、源数据库标识、目标数据库标识、待同步的源表名，则服务器提取待同步列表中源库标识与目标库标识相同的待同步源表，将待同步列表中源库标识与目标库标识相同的待同步源表进行合并，得到多个同步配置块。
在一个可选的实施例中，基于源数据库配置信息以及目标数据库配置信息生成单表同步任务之前，还包括：根据待同步源表标识，确定源数据库中存储的源表结构以及目标数据库中存储的目标表结构；基于源数据库配置信息以及目标数据库配置信息生成单表同步任务包括：若源表结构与目标表结构一致，则获取源表信息，根据源数据库配置信息、源表信息以及目标数据库配置信息，生成单表同步任务。
具体地，服务器根据同步序号，获取同步序号对应的待同步源表的源数据库标识和目标数据库标识，根据源数据库标识从同步配置文件中获取源数据库信息，根据源数据库配置信息通过jdbc的方式连接并访问源数据库，从源数据库中获取源表结构。服务器根据目标数据库标识从同步配置文件中获取目标数据库配置信息，根据目标数据库配置信息通过jdbc的方式连接并访问目标数据库，根据变更日期从目标数据库中获取源表表结构的最后一次变更记录，得到目标表结构。将源表结构与目标表结构按列依次进行对比，判断源表结构与目标表结构是否一致，若源表结构与目标表结构一致，则通过预设同步工具，如DataX、Sqoop、Kettle等，根据源数据库配置信息配置单表同步任务的数据源信息，根据源数据库配置信息通过jdbc的方式连接并访问源数据库，从源数据库中获取源表结构，将源表列名进行拼接，配置任务的查询列名。根据目标数据库配置信息配置单表同步任务的目标库信息，以使后续服务器连接并访问目标数据库，完成单表同步任务的配置，生成单表同步任务。
本实施例中，通过统一的配置规范，避免了人工单个表配置时因差异导致的出错。通过服务器读取源表结构，获取源表的字段信息，即列名，完成单表配置任务中列名自动生成，进一步提高了同步任务配置的效率。
在一个可选的实施例中，还包括：若判读源表结构与目标表结构不一致，则生成单表变更任务；执行表单变更任务，得到目标表更新配置信息；根据源数据库配置信息、目标表更新配置信息以及目标数据库配置信息，生成单表同步任务。
具体地，若服务器判断源表结构与目标表结构不一致，则生成单表变更任务；执行表单变更任务，对目标表配置信息进行更新，得到目标表更新配置信息。
本实施例中，基于表结构变更生成前置的表结构变更任务，可实现更新目标表结构，提高了数据同步的准确率。
在一个可选的实施例中，根据单表变更任务，对目标表进行重命名，得到目标表更新名称包括：根据单表变更任务，获取当前系统时间；根据源数据库标识、目标数据库标识、目标表名称以及当前系统时间，生成目标表更新名称。
具体地，服务器执行单表变更任务时，首先对目标数据库中存储的目标表进行重命名，获取当前系统时间，将源数据库标识、目标数据库标识、目标表名称以及当前系统时间填充至预设重命名规则中，得到目标表更新名称。预设重命名规则为目标数据库标识(即目标数据库名称)+库表连接符(英文句号)+源库标识(即源库名称)+分隔符+原目标表名+分隔符(下划线，下同)+当前系统日期+分隔符+当前系统时间，例如目标表更新名称SQL如下：alter table ods_adb.table_a rename to bak_db.adb_table_a_20220310_181010。
在一个可选的实施例中，执行表单变更任务，得到目标表更新配置信息包括：根据单表变更任务，对目标表进行重命名，得到目标表更新名称；确定源表结构与目标表结构的差异字段，根据差异字段以及源表的建表语句，生成目标表的建表语句；对源表结构以及目标表结构进行字段对比，生成字段填充语句；根据目标表更新名称、目标表的建表语句以及字段填充语句，得到目标表更新配置信息。
具体地，服务器执行单表变更任务时，首先对目标数据库中存储的目标表进行重命名，根据目标表更新名称SQL语句，得到目标表更新名称。之后，通过对比确定源表结构与目标表结构的差异字段，根据差异字段以及源表的建表语句，生成目标表的建表语句。例如，目标表的建表语句SQL为：create table ods_adb.table_a(column_1string,column_2int,column_new string)。而后，对源表字段以及目标表字段进行一一对比，以更新后的目标表为依据，将源表与目标表中相同的字段，数据一一写入；将源表中没有而目标表中存在的字段，写入空值；将源表中存在而目标表中没有的字段，跳过不进行写入，生成字段填充语句。例如insert overwrite table ods_prodccsdb.table_a(column_1,column_2,column_new)select column_1,column_2,null as column_new from bak_db.ods_prodccsdb_table_a_20220310_181010，其中column_1、column_2都有一一映射，column_new为新增加的列填充空值，column_del(假定为删除字段)则不写入跳过，根据源数据库配置信息、目标表更新配置信息以及目标数据库配置信息，完成单表同步任务配置，生成单表同步任务。
为了易于理解本申请实施例提供的技术方案，如图3所示，以完整的多库多表同步过程对本申请实施例提供的多库多表同步方法进行简要说明：
(1)获取多库多表的同步配置文件。
(2)对同步配置文件进行解析，得到待同步列表，将待同步列表中源库标识与目标库标识相同的待同步源表进行合并，得到多个同步配置块。
(3)针对每一个同步配置块，获取同步配置块对应的多个待同步源表标识。
(4)针对每个待同步源表标识，并行获取对应的根据待同步源表标识，根据待同步源表标识，确定源数据库中存储的源表结构以及目标数据库中存储的目标表结构。
(5)若源表结构与目标表结构一致，则获取源表信息、源数据库配置信息以及目标数据库配置信息，根据源数据库配置信息、源表信息以及目标数据库配置信息，生成单表同步任务。
(6)若判读源表结构与目标表结构不一致，则生成单表变更任务；执行表单变更任务，得到目标表更新配置信息；根据源数据库配置信息、目标表更新配置信息以及目标数据库配置信息，生成单表同步任务。
(7)归集单表同步任务，得到同步配置块对应的表同步任务。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的多库多表同步方法的多库多表同步装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个多库多表同步装置实施例中的具体限定可以参见上文中对于多库多表同步方法的限定，在此不再赘述。
在一个实施例中，如图4所示，提供了一种多库多表同步装置，包括：获取模块402、解析模块404和生成模块406，其中：
获取模块402，用于获取多库多表的同步配置文件。
解析模块404，用于对同步配置文件进行源数据库和目标数据库解析，得到多个同步配置块，同步配置块中各待同步源表对应的源数据库与目标数据库相同。
生成模块406，用于针对各同步配置块，分别执行同步任务生成处理，得到各同步配置块对应的表同步任务；
其中，同步任务生成处理包括：获取同步配置块对应的多个待同步源表标识；针对每个待同步源表标识，并行获取对应的源数据库配置信息以及目标数据库配置信息、并基于源数据库配置信息以及目标数据库配置信息生成单表同步任务；归集单表同步任务，得到同步配置块对应的表同步任务。
在一个可选的实施例中，解析模块404还用于对同步配置文件进行解析，得到待同步列表；其中，待同步列表中包括多个待同步源表；将待同步列表中源库标识与目标库标识相同的待同步源表进行合并，得到多个同步配置块。
在一个可选的实施例中，生成模块406还用于根据待同步源表标识，确定源数据库中存储的源表结构以及目标数据库中存储的目标表结构；若源表结构与目标表结构一致，则获取源表信息，根据源数据库配置信息、源表信息以及目标数据库配置信息，生成单表同步任务。
在一个可选的实施例中，生成模块406还用于若判读源表结构与目标表结构不一致，则生成单表变更任务；执行表单变更任务，得到目标表更新配置信息；根据源数据库配置信息、目标表更新配置信息以及目标数据库配置信息，生成单表同步任务。
在一个可选的实施例中，生成模块406还用于根据单表变更任务，对目标表进行重命名，得到目标表更新名称；确定源表结构与目标表结构的差异字段，根据差异字段以及源表的建表语句，生成目标表的建表语句；对源表结构以及目标表结构进行字段对比，生成字段填充语句；根据目标表更新名称、目标表的建表语句以及字段填充语句，得到目标表更新配置信息。
在一个可选的实施例中，生成模块406还用于根据单表变更任务，获取当前系统时间；根据源数据库标识、目标数据库标识、目标表名称以及当前系统时间，生成目标表更新名称。
上述多库多表同步装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储多个源数据库以及目标数据库信息。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多库多表同步方法。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取多库多表的同步配置文件；
对同步配置文件进行源数据库和目标数据库解析，得到多个同步配置块，同步配置块中各待同步源表对应的源数据库与目标数据库相同；
针对各同步配置块，分别执行同步任务生成处理，得到各同步配置块对应的表同步任务；
其中，同步任务生成处理包括：获取同步配置块对应的多个待同步源表标识；针对每个待同步源表标识，并行获取对应的源数据库配置信息以及目标数据库配置信息、并基于源数据库配置信息以及目标数据库配置信息生成单表同步任务；归集单表同步任务，得到同步配置块对应的表同步任务。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对同步配置文件进行源数据库和目标数据库解析，得到多个同步配置块包括：对同步配置文件进行解析，得到待同步列表；其中，待同步列表中包括多个待同步源表；将待同步列表中源库标识与目标库标识相同的待同步源表进行合并，得到多个同步配置块。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于源数据库配置信息以及目标数据库配置信息生成单表同步任务之前，还包括：根据待同步源表标识，确定源数据库中存储的源表结构以及目标数据库中存储的目标表结构；基于源数据库配置信息以及目标数据库配置信息生成单表同步任务包括：若源表结构与目标表结构一致，则获取源表信息，根据源数据库配置信息、源表信息以及目标数据库配置信息，生成单表同步任务。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：若判读源表结构与目标表结构不一致，则生成单表变更任务；执行表单变更任务，得到目标表更新配置信息；根据源数据库配置信息、目标表更新配置信息以及目标数据库配置信息，生成单表同步任务。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：执行表单变更任务，得到目标表更新配置信息包括：根据单表变更任务，对目标表进行重命名，得到目标表更新名称；确定源表结构与目标表结构的差异字段，根据差异字段以及源表的建表语句，生成目标表的建表语句；对源表结构以及目标表结构进行字段对比，生成字段填充语句；根据目标表更新名称、目标表的建表语句以及字段填充语句，得到目标表更新配置信息。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据单表变更任务，对目标表进行重命名，得到目标表更新名称包括：根据单表变更任务，获取当前系统时间；根据源数据库标识、目标数据库标识、目标表名称以及当前系统时间，生成目标表更新名称。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取多库多表的同步配置文件；
对同步配置文件进行源数据库和目标数据库解析，得到多个同步配置块，同步配置块中各待同步源表对应的源数据库与目标数据库相同；
针对各同步配置块，分别执行同步任务生成处理，得到各同步配置块对应的表同步任务；
其中，同步任务生成处理包括：获取同步配置块对应的多个待同步源表标识；针对每个待同步源表标识，并行获取对应的源数据库配置信息以及目标数据库配置信息、并基于源数据库配置信息以及目标数据库配置信息生成单表同步任务；归集单表同步任务，得到同步配置块对应的表同步任务。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对同步配置文件进行源数据库和目标数据库解析，得到多个同步配置块包括：对同步配置文件进行解析，得到待同步列表；其中，待同步列表中包括多个待同步源表；将待同步列表中源库标识与目标库标识相同的待同步源表进行合并，得到多个同步配置块。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于源数据库配置信息以及目标数据库配置信息生成单表同步任务之前，还包括：根据待同步源表标识，确定源数据库中存储的源表结构以及目标数据库中存储的目标表结构；基于源数据库配置信息以及目标数据库配置信息生成单表同步任务包括：若源表结构与目标表结构一致，则获取源表信息，根据源数据库配置信息、源表信息以及目标数据库配置信息，生成单表同步任务。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：若判读源表结构与目标表结构不一致，则生成单表变更任务；执行表单变更任务，得到目标表更新配置信息；根据源数据库配置信息、目标表更新配置信息以及目标数据库配置信息，生成单表同步任务。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：执行表单变更任务，得到目标表更新配置信息包括：根据单表变更任务，对目标表进行重命名，得到目标表更新名称；确定源表结构与目标表结构的差异字段，根据差异字段以及源表的建表语句，生成目标表的建表语句；对源表结构以及目标表结构进行字段对比，生成字段填充语句；根据目标表更新名称、目标表的建表语句以及字段填充语句，得到目标表更新配置信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据单表变更任务，对目标表进行重命名，得到目标表更新名称包括：根据单表变更任务，获取当前系统时间；根据源数据库标识、目标数据库标识、目标表名称以及当前系统时间，生成目标表更新名称。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取多库多表的同步配置文件；
对同步配置文件进行源数据库和目标数据库解析，得到多个同步配置块，同步配置块中各待同步源表对应的源数据库与目标数据库相同；
针对各同步配置块，分别执行同步任务生成处理，得到各同步配置块对应的表同步任务；
其中，同步任务生成处理包括：获取同步配置块对应的多个待同步源表标识；针对每个待同步源表标识，并行获取对应的源数据库配置信息以及目标数据库配置信息、并基于源数据库配置信息以及目标数据库配置信息生成单表同步任务；归集单表同步任务，得到同步配置块对应的表同步任务。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对同步配置文件进行源数据库和目标数据库解析，得到多个同步配置块包括：对同步配置文件进行解析，得到待同步列表；其中，待同步列表中包括多个待同步源表；将待同步列表中源库标识与目标库标识相同的待同步源表进行合并，得到多个同步配置块。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于源数据库配置信息以及目标数据库配置信息生成单表同步任务之前，还包括：根据待同步源表标识，确定源数据库中存储的源表结构以及目标数据库中存储的目标表结构；基于源数据库配置信息以及目标数据库配置信息生成单表同步任务包括：若源表结构与目标表结构一致，则获取源表信息，根据源数据库配置信息、源表信息以及目标数据库配置信息，生成单表同步任务。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：若判读源表结构与目标表结构不一致，则生成单表变更任务；执行表单变更任务，得到目标表更新配置信息；根据源数据库配置信息、目标表更新配置信息以及目标数据库配置信息，生成单表同步任务。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：执行表单变更任务，得到目标表更新配置信息包括：根据单表变更任务，对目标表进行重命名，得到目标表更新名称；确定源表结构与目标表结构的差异字段，根据差异字段以及源表的建表语句，生成目标表的建表语句；对源表结构以及目标表结构进行字段对比，生成字段填充语句；根据目标表更新名称、目标表的建表语句以及字段填充语句，得到目标表更新配置信息。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据单表变更任务，对目标表进行重命名，得到目标表更新名称包括：根据单表变更任务，获取当前系统时间；根据源数据库标识、目标数据库标识、目标表名称以及当前系统时间，生成目标表更新名称。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种多库多表同步方法，其特征在于，所述方法包括：
获取多库多表的同步配置文件；
对所述同步配置文件进行源数据库和目标数据库解析，得到多个同步配置块，所述同步配置块中各待同步源表对应的源数据库与目标数据库相同；
针对各所述同步配置模块，分别执行同步任务生成处理，得到各所述同步配置块对应的表同步任务；
其中，所述同步任务生成处理包括：获取所述同步配置块对应的多个待同步源表标识；针对每个待同步源表标识，并行获取对应的源数据库配置信息以及目标数据库配置信息、并基于所述源数据库配置信息以及所述目标数据库配置信息生成单表同步任务；归集所述单表同步任务，得到所述同步配置块对应的表同步任务；
所述对所述同步配置文件进行源数据库和目标数据库解析，得到多个同步配置块包括：对所述同步配置文件进行解析，得到待同步列表；其中，所述待同步列表中包括多个待同步源表；将所述待同步列表中源库标识与目标库标识相同的待同步源表进行合并，得到多个同步配置块；
所述单表同步任务的生成过程包括：针对每一个同步配置块，获取与所述同步配置块对应的待同步源表的源数据库标识和目标数据库标识，根据所述源数据库标识获取源数据库配置信息；根据所述目标数据库标识获取目标数据库配置信息；根据所述源数据库配置信息配置单表同步任务的数据源信息，根据所述源数据库配置信息通过jdbc的方式连接并访问源数据库，从源数据库中获取源表结构，将源表中需要转存的列名进行拼接，配置任务的查询列名；根据所述目标数据库配置信息配置单表同步任务的目标库信息，以使后续服务器连接并访问目标数据库，完成单表同步任务的配置，生成单表同步任务。
2.根据权利要求1所述的方法，其特征在于，所述待同步源表标识包括同步序号。
3.根据权利要求1所述的方法，其特征在于，基于所述源数据库配置信息以及所述目标数据库配置信息生成单表同步任务之前，还包括：
根据所述待同步源表标识，确定源数据库中存储的源表结构以及目标数据库中存储的目标表结构；
基于所述源数据库配置信息以及所述目标数据库配置信息生成单表同步任务包括：若所述源表结构与目标表结构一致，则获取源表信息，根据所述源数据库配置信息、所述源表信息以及所述目标数据库配置信息，生成单表同步任务。
4.根据权利要求3所述的方法，其特征在于，还包括：
若判读所述源表结构与目标表结构不一致，则生成单表变更任务；
执行所述表单变更任务，得到目标表更新配置信息；
根据所述源数据库配置信息、所述目标表更新配置信息以及所述目标数据库配置信息，生成单表同步任务。
5.根据权利要求4所述的方法，其特征在于，所述执行所述表单变更任务，得到目标表更新配置信息包括：
根据所述单表变更任务，对目标表进行重命名，得到目标表更新名称；
确定所述源表结构与所述目标表结构的差异字段，根据所述差异字段以及源表的建表语句，生成目标表的建表语句；
对所述源表结构以及所述目标表结构进行字段对比，生成字段填充语句；
根据所述目标表更新名称、所述目标表的建表语句以及字段填充语句，得到目标表更新配置信息。
6.根据权利要求5所述的方法，其特征在于，所述根据所述单表变更任务，对目标表进行重命名，得到目标表更新名称包括：
根据所述单表变更任务，获取当前系统时间；
根据源数据库标识、目标数据库标识、目标表名称以及当前系统时间，生成目标表更新名称。
7.一种多库多表同步装置，其特征在于，所述装置包括：
获取模块，用于获取多库多表的同步配置文件；
解析模块，用于对所述同步配置文件进行源数据库和目标数据库解析，得到多个同步配置块，所述同步配置块中各待同步源表对应的源数据库与目标数据库相同；
生成模块，用于针对各所述同步配置块，分别执行同步任务生成处理，得到各所述同步配置块对应的表同步任务；
其中，所述同步任务生成处理包括：获取所述同步配置块对应的多个待同步源表标识；针对每个待同步源表标识，并行获取对应的源数据库配置信息以及目标数据库配置信息、并基于所述源数据库配置信息以及所述目标数据库配置信息生成单表同步任务；归集所述单表同步任务，得到所述同步配置块对应的表同步任务；
所述解析模块还用于对所述同步配置文件进行解析，得到待同步列表；其中，所述待同步列表中包括多个待同步源表；将所述待同步列表中源库标识与目标库标识相同的待同步源表进行合并，得到多个同步配置块；
所述生成模块还用于针对每一个同步配置块，获取与所述同步配置块对应的待同步源表的源数据库标识和目标数据库标识，根据所述源数据库标识获取源数据库配置信息；根据所述目标数据库标识获取目标数据库配置信息；根据所述源数据库配置信息配置单表同步任务的数据源信息，根据所述源数据库配置信息通过jdbc的方式连接并访问源数据库，从源数据库中获取源表结构，将源表中需要转存的列名进行拼接，配置任务的查询列名；根据所述目标数据库配置信息配置单表同步任务的目标库信息，以使后续服务器连接并访问目标数据库，完成单表同步任务的配置，生成单表同步任务。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202210492214.XA 2022-05-07 2022-05-07 多库多表同步方法、装置、计算机设备和存储介质 Active CN114780641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210492214.XA CN114780641B (zh) 2022-05-07 2022-05-07 多库多表同步方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210492214.XA CN114780641B (zh) 2022-05-07 2022-05-07 多库多表同步方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN114780641A CN114780641A (zh) 2022-07-22
CN114780641B true CN114780641B (zh) 2023-07-14

Family

ID=82434161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210492214.XA Active CN114780641B (zh) 2022-05-07 2022-05-07 多库多表同步方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN114780641B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115391459A (zh) * 2022-08-24 2022-11-25 南京领行科技股份有限公司 数据同步方法、装置、电子设备及计算机可读存储介质
CN116204587B (zh) * 2023-02-21 2024-01-30 中国人民解放军海军工程大学 数据同步任务生成方法、装置和计算机可读存储介质
CN116089537B (zh) * 2023-04-07 2023-08-04 江西省智能产业技术创新研究院 增量数据同步方法、系统、计算机及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967316A (zh) * 2017-11-22 2018-04-27 平安科技（深圳）有限公司 一种数据同步方法、设备及计算机可读存储介质
CN113282599A (zh) * 2021-05-31 2021-08-20 平安国际智慧城市科技股份有限公司 数据同步方法及系统
CN113821249A (zh) * 2021-09-18 2021-12-21 挂号网（杭州）科技有限公司 项目开发配置的方法、装置、电子设备和可读存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10607461B2 (en) * 2017-01-31 2020-03-31 Albert Williams Drone based security system
CN109885581B (zh) * 2019-03-14 2021-09-17 苏州达家迎信息技术有限公司 数据库的同步方法、装置、设备及存储介质
CN112507020A (zh) * 2020-11-20 2021-03-16 平安普惠企业管理有限公司 数据同步方法、装置、计算机设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107967316A (zh) * 2017-11-22 2018-04-27 平安科技（深圳）有限公司 一种数据同步方法、设备及计算机可读存储介质
CN113282599A (zh) * 2021-05-31 2021-08-20 平安国际智慧城市科技股份有限公司 数据同步方法及系统
CN113821249A (zh) * 2021-09-18 2021-12-21 挂号网（杭州）科技有限公司 项目开发配置的方法、装置、电子设备和可读存储介质

Also Published As

Publication number Publication date
CN114780641A (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
CN114780641B (zh) 多库多表同步方法、装置、计算机设备和存储介质
US11475034B2 (en) Schemaless to relational representation conversion
US10762075B2 (en) Database interface agent for a tenant-based upgrade system
CN106598612B (zh) 一种数据库中数据表的操作方法及系统
CN109376196B (zh) 一种redo日志批量同步方法及装置
CN106874281B (zh) 实现数据库读写分离的方法和装置
CN109145055B (zh) 一种基于Flink的数据同步方法和系统
CN104133772A (zh) 一种自动生成测试数据的方法
CN106991100B (zh) 数据导入方法及装置
US11526465B2 (en) Generating hash trees for database schemas
CN109739828B (zh) 一种数据处理方法、设备及计算机可读存储介质
CN110737594A (zh) 自动生成测试用例的数据库标准符合性测试方法及装置
CN110019111B (zh) 数据处理方法、装置、存储介质以及处理器
CN112130891B (zh) 一种数据库持续部署的方法和设备
US8694525B2 (en) Systems and methods for performing index joins using auto generative queries
CN115292307A (zh) 数据同步系统、方法及相应计算机设备和存储介质
US20210303404A1 (en) Systems and methods for database migration
CN111984659B (zh) 数据更新方法、装置、计算机设备和存储介质
CN111414422B (zh) 一种数据分布方法、装置、设备和存储介质
CN113641651A (zh) 一种业务数据管理方法、系统及计算机存储介质
CN112579568A (zh) 数据库版本处理方法及系统
CN110399386B (zh) 一种基于Presto的SQL UPDATE方法及控制系统
CN116452123A (zh) 清单项目特征值的生成方法、装置和计算机设备
CN116010345A (zh) 一种实现流批一体数据湖的表服务方案的方法、装置及设备
CN102043853A (zh) 一种存储数据的更新方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant